随着企业生产规模的迅速扩张和快速发展带来了计量数据的海量增长,数据管理和处理的复杂性、难度大大增加。另一方面,企业发展节奏加快,资源紧张,市场多变,企业对数据和信息的准确性和处理速度的要求越来越高,需要对大量数据进行快速及时处理,以指导资源需求、物流计划和生产安排。
企业信息化程度不断提高,企业根据自身特点和自身需求,已经建设了不同信息系统,这些信息系统的很多数据,信息都是关联互动的,当发生某一复杂事件时,相关信息系统需要按照某些规则执行不同操作。在目前的企业中,事件的可能性是数不尽的。每一个事件产生一个消息。在一个事件驱动的架构中,这个消息要发送给一切相关的应用程序。采用事件,一项服务不需要知道哪一项服务关心它做了什么,只需要知道那个服务是什么。因此,它发出一个事件。任何其它有关的服务都能够订阅任何相关的事件传送信息。这是一个解耦合系统的性质:一个事件数据发射程序不需要知道接收者是谁。事件是在不知道其重要性是什么的情况下产生的,使用这些事件的服务需要了解这些事件。
及时响应实时的变化和事件成为了企业级架构的最重要需求。华创致远与Sun公司推出了基于事件驱动的分析平台解决方案,力求帮助企业解决分布式信息系统下对事件联动响应,监测分析的需求。
鑫博硕科技与Sun共同推广基于事件驱动的分析平台
事件驱动架构(EDA)是分布式应用程序的普遍架构形式,非常典型的是:分布式应用程序都被设计成为模块化的、封装的、可共享事件服务的组件,能够通过应用程序、适配器以及无入侵性的代理操作来创建这些服务。由于EDA的特点,在金融贸易、能源贸易、电信以及欺诈检测这些行业中,一直都在采用事件驱动架构(EDA)技术。近期在我国政府的电子政务建设中,利用EDA分布式处理架构的优势构建共享交换平台,实现跨部门、跨平台、跨应用系统的政务信息资源的共享与交换,并对政府应急系统和跨委办局之间的业务协同办公提供支撑和保障。
复杂事件处理技术能够搜集在企业中运行的任何服务的数据以及有关这些服务的数据。它还允许把商务逻辑应用到那个数据以便深入了解情况,对变化的情况做出合适的实时反应。在SOA环境中,事件驱动模型的力量在于它允许更大的灵活性,因为服务是完全独立的,不知道谁在制造他们操作的事件或者谁在消费他们制造的事件。它还允许更好地了解当前的状况,能够在事件发生时立即做出反应。
鑫博硕科技与Sun公司的基于事件驱动的分析平台解决方案,总体架构包含五层:源系统层、数据采集层、数据处理层、数据存储层、应用展现层。
源系统层:
源系统层是指为本系统提供源数据(如基础代码、主数据及其事务数据等)的相关业务及应用系统。
数据采集层:
数据采集层支持多种采集方式以从各个源系统中获得数据,包括:
1. 数据库表同步方式;
2. 消息中间件接口方式;
3. 数据库访问接口方式;
4. 文件传送FTP接口方式;
5. 工控机专用通讯接口方式;
6. 数据采集层还应支持基于Web界面的人工录入、Excel表格上传等数据采集方式。
数据处理层:
数据处理层包含EAP平台和ETL平台,前者提供实时的事件流处理功能,后者主要提供非实时的、定时的批量数据转换与加载处理功能。
EAP平台
EAP即“事件驱动的分析平台”(Event-driven Analytic Platform)的简称。EAP平台是基于复杂事件处理(CEP—Complex Event Processing)软件技术,实时处理、评估和分析事件。
如系统总体架构图所示,EAP平台除了内置强大的CEP引擎外,还包含以下组件:
1.EAP代理:用于在事件源与CEP引擎之间,提供消息接收和消息转换处理功能;
2.EAP配置管理服务:为前端的Web应用提供后台的EAP配置管理服务接口;
3.规则引擎:对经CEP引擎处理后的事件进行规则判断处理以产生通报/告警信息;
4.数据库访问接口:支持SQL/JDBC接口以访问外部的关系数据库;
5.实时展现组件:提供实时的KPI图表、仪表盘(Dashboard)、通报/告警展现组件。
ETL平台
ETL(数据抽取、转换与加载)平台,主要提供非实时的和定时的批量数据采集、批量数据校验与转换处理、批量数据加载处理功能。
数据存储层:
数据存储层包含一个关系数据库管理系统(RDBMS)。经EAP平台关联处理后的所有事件都存于这一数据库中;经ETL平台采集/转换后的批量数据也是加载至这一数据库中保存。数据存储层即数据库系统还为Web应用提供信息查询、信息发布、信息分析等数据库访问服务。
如上图所示,数据存储结构主要包含以下四个区:
1. 临时数据区:用于存放待转换、待归并处理的数据;
2. 数据归并区:经转换、归并处理后的数据存放于这一区;
3. 数据汇总区:用于存放日/周/月/年汇总等统计数据;
4. 应用数据区:可将供上层应用查询的数据以及待发布的信息存放于这一区。
此外,数据库中还包含基础数据表,如用户权限、数据转换处理规则表等。
应用展现层:
应用展现层包含一个基于Sun服务器平台的Web应用服务平台,主要是为门户应用及用户权限管理、系统配置管理、实时数据展现、手工数据录入、流程数据监控和平衡分析等应用的开发、运行提供支撑环境。
系统网络结构:
1. Web应用服务器集群区:
基于Sun服务器平台的应用服务器,运行系统门户、实时数据展现、流程数据监控与平衡分析等应用。通过负载均衡器设备实现应用访问流量均衡分发,并保证了这一集群内无单点故障,具有良好的系统可扩充性。
2. 数据库服务器集群区:
包含基于Sun服务器平台的数据库服务器,安装运行Oracle 10g数据库软件,并基于Oracle RAC并行数据库机制,构建一个高可靠、高性能、可扩展的数据库服务集群。
3. SAN存储区:
由光纤交换机和Sun StorageTek磁盘阵列设备构成一个SAN存储区,用于集中存储数据库数据、待处理的批量数据等。数据库服务器、EAP/ETL服务器通过光纤连接访问这一SAN存储区。
4. EAP/ETL服务器:
基于Sun服务器的EAP服务器与ETL服务器,通过HA软件构建一个高可靠的双机互备系统。
5. 其它设备:
负载均衡器,以太网交换机。
Sun为基于事件驱动的分析平台方案提供强大动力:
Sun以开放的架构、行业的标准、灵活的技术、极高的可扩展性、易管理性和低成本等优势,帮助企业用户大大降低复杂的计算问题,并实现了性能的突破,对需要获得最好的计算能力或最大提升空间的企业来说无疑是一个划时代的创新,打造了一个基于事件驱动的分析平台方案。
Sun是全球领先的整体解决方案供应商,拥有从Unix服务器、酷线程(CMT)服务器、X86服务器、存储到操作系统、数据库、Java等广泛的产品和技术,在企业级计算市场积累了丰富的经验,为容灾系统提供了强大动力。其中,芯片多线程(CMT)技术帮助用户降低能耗,节约空间,将生态负责和海量吞吐的概念引入行业,影响未来产业的技术走向。在UltraSPARC IV 上,Sun不断进行技术革新,以保护用户投资、维持了数据中心的稳定发展为目标。Sun将X86服务器的技术特性与高端服务器市场的技术实现了全方位的结合,将X86服务器的计算密度和能耗都提到了最优层次上。
Sun拥有业界最广泛的数据存储产品线,包括基于磁盘的解决方案、数据恢复和归档,能够为高性能计算提供所需要的存储平台。借助Sun磁带、磁盘、软件、服务和支持,客户能够基于不断变化的数据价值和数据访问需求,只得到他们想要的信息。Sun提供了面向客户的突破性技术,同时专注于降低运营成本,提升投资回报。
Solaris 10是Sun服务器产品线全面实现其各项功能的核心技术,这些功能包括:多线程技术、通过Solaris 10分区特性实现的虚拟化技术、预兆性自愈技术、由超大文件系统ZFS实现的超高数据缩放能力,以及通过机密级Trusted Solaris实现的强化的安全特性。Solaris 10操作系统不仅能够为用户提供高可靠和安全性,而且能够全面保护用户投资,提供了一个简单、安全的跨平台解决方案。
实时响应 监测分析:
鑫博硕科技与Sun的解决方案适用于有如下需求的企业:
搜集有关单个服务的信息;正常化、过滤和汇聚信息;把信息提供给需要信息的其它服务;
监视服务以发现机会或者威胁(也就是需要回应的情况);自动启动回应或者发送一个需要得到回复的警告;
同步分布式服务以保证一个服务状态中的变化根据需要传送给其它服务;
捕捉各种服务中的事件数据,记录这个事件的历史或者提供一个确定当前系统状态的一个单一的点;
整合各相关系统数据,在确保数据质量的前提下构建基于数据的管理平台;
建立数据监控模型,实现数据实时监控和平衡分析。
提供灵活的多层次的数据展示功能,提高数据报告的时效性和可用性。
方案具有强大的优势:
可以更容易开发和维护大规模分布式应用程序和不可预知的服务或异步服务;
可以很容易,低成本地集成、再集成、再配置新的和已存在的应用程序和服务;
促进远程组件和服务的再使用,拥有一个更灵敏、没有Bug的开发环境。
方案能够带给客户长期和短期的客户利益:
短期利益:更容易定制。因为设计对动态处理有更好的响应;
长期利益:系统和组织的状态变得更精准,对实时变化的响应接近于同步。
与Sun产品结合的优势:
解决方案中应用了Sun的主机服务器,磁盘阵列,光纤交换机等产品,其产品的高性能,安全稳定,绿色节能等特性为解决方案提供了良好的硬件平台。整套方案在良好的性价比的基础上,可灵活伸缩定制,适应不同规模企业的应用。