大数据应用
方案概述
统一数据接入解决方案是一种分布式ETL解决方案,利用Hadoop平台的数据处理能力,能够有效的处理非结构化和半结构化的数据。并由用户来指定数据属性和预制的数据处理组件,灵活对各种类型的海量数据进处理。
功能特性
银行接入数据繁多,由于历史原因存在不同数据类型的情况,该方案主要通过可配置的原则实现海量数据进行实时数据接入。
方案价值
1)数据吞吐大:针对每天几百G的海量数据,通过并行计算实现海量数据处理。
2)需求响应快:针对不同类型数据,可以配置不同作业进行快速处理。
3)业务影响小:Hadoop中的数据能够均匀分配到MySQL等标准数据库,外部应用影响小。