E-MapReduce_大数据处理分析服务

E-MapReduce

E-MapReduce是构建于平安金融云之上业界领先的大数据处理分析服务。结合开源大数据生态系统，包括Spark、Hive、Storm、Hadoop等，为用户提供高可靠、高性能、安全的任务管理、集群管理、监控与告警等大数据处理分析服务。

核心价值

可以根据业务需求，选择相应的软硬件组合来创建不同集群分析版本，进行自动化部署

为集群配置金融级一体化安全服务，包括：服务器安全、DDoS防护等，硬件可用率大于99.94%

建立完善的监控和智能告警体系，实时监控主机操作系统层级、集群和任务的异常情况并及时通知相关负责人进行处理

可以按需随心所欲的创建和释放集群，并且可以动态增加节点，缩减高昂的硬件成本。支持预付费和按量付费两种付费模式

应用场景

把业务服务器上的海量数据上传到OBS对象存储并接入到E-MapReduce集群后，借助大数据分析和处理组件，包括Spark、Hive等主流计算框架对数据进行深度挖掘。还可以把分析后的数据同步到OBS数据库、HDFS等存储引擎。
推荐搭配使用：云服务器ECS 对象存储OBS

把业务服务器上产生的实时数据通过kafka通道接入到E-MapReduce集群后，在产品中选择合适的流数据处理引擎来处理实时的数据。还可以把分析过后的数据同步到OBS数据库、HDFS等存储引擎。
推荐搭配使用：云服务器ECS 对象存储OBS

功能服务

自动化弹性集群管理

根据业务需求进行master和core的硬件配置

自由选择大数据组件的组合、版本和作业类型

自由按需求添加服务以及添加和释放集群

通过交互式概览对集群状态、作业走势、服务状态等进行可视化监控

丰富的任务管理

通过交互式工作台实现自由选择开源大数据生态软件组合和版本，目前包括 Hadoop 和 Spark SQL

基于OBS数据库和HDFS的存储和管理

具有批量数据接入通道（OBS）和实时数据接入通道（kafka）

支持离线计算、流计算以及数据库管理

丰富的作业类型和作业管理，包括：Spark、Hive、Storm等

支持作业搜索和刷新

实时智能的监控和告警

建立完善的主机操作系统层级、集群和任务监控的监控体制并生成异常报告

将异常报告实时告警给相关联系人和报警接受组进行异常处理