数据仓库系统的技术体系架构设计
作者：成晓旭
QQ：1182321168
该数据仓库系统的主要功能是从众多外部系统中，采集相关的业务数据，集中存储到系统的数据库中。系统内部对所有的原始数据通过一系列处理转换之后，存储到数据仓库的基础库中；然后，通过业务需要进行一系列的数据转换到相应的数据集市，供其他上层数据应用组件进行专题分析。
【概述】
因此，从数据被采集、转换、存储、分析、应用的角度对系统内部技术构件进行抽象，将系统内部分为采集层、数据处理层、业务应用层、配置层4个逻辑层次。数据分析系统的技术体系架构如下图：
【采集层】
在采集层，主要应用接口适配器、网络文件采集及转换器、ESB 总线等技术。
接口适配器技术，用于适配各专业系统的数据采集接口，通过接口适配器来屏蔽各专业接口方式的差异性；
网络文件采集及转换器，用于从各专业系统的采集文件数据，主要针对特定格式的各类网络数据文件，负责对数据格式进行格式化、规范化等预处理；
ESB 总线对标准的WebService/JMS接口方式的数据进行采集。
【数据处理层】
在处理层，主要应用数据持久化、J2EE、BI等技术。
数据持久化主要采用关系数据库技术和文件数据库技术。关系数据库技术，用于存储系统采集、处理、计算等业务数据，存储系统各类运行参数配置信息，以及其他的运行过程信息；文件服务器，为各类文件型数据提供数据存储和访问服务；
J2EE 技术，是系统中所有B/S逻辑构件、应用程序、Web 服务的容器，为各种B/S组件提供运行环境，并对其生命周期进行管控；
BI 的元数据管理为各类动态统计分析报表的数据聚合、多维分析、数据加载、数据生产、数据项、计算规则、展示方式等提供配置管理。
【应用层】
在应用层，用于人机交互的主要应用BI 、Web 等技术。
Web 技术，提供系统的B/S界面的应用，包括HTML 、CSS 、JS 、Ajax 等； BI 技术，为各类动态统计分析结果提供报表、图形、仪表盘等丰富的展示方式；用于系统交互的ESB 总线技术，以数据总线的方式发布WebService 调用、或者下发JMS 数据，通过统一的数据发布系统为外部系统提供服务数据共享服务。采用第三方标准中间件产品来实现，例如：SAP 的BOE （BusinessObjects Enterprise ）、IBM 的Cognos 、MSTR 的MicroStrategy 等主流的BI 中间件产品。
【配置层】
在配置层，主要应用ETL 可视化可配置平台、规则引擎、工作流引擎等技术。 ETL 可视化配置技术，用于提供可视化、可配置的ETL 数据抽取、转换、加载的处理，主要针对数据库数据、FTP 标准文件格式的数据或者经过网络文件采集及转换器预处理过的中间数据；
规则引擎部分为采集成各类适配及采集器提供配置数据的集中管理，包括提供接口文件的采集目录、文件名规则、数据项约定以及ETL 数据抽取规则等的配置管理；
工作流引擎，提供从数据采集接口配置、采集数据项、ETL 参数配置、指标关联映射、BI 参数关联映射等全过程的流程化配置向导。
数据仓库系统的技术体系架构设计
作者：成晓旭
QQ：1182321168
该数据仓库系统的主要功能是从众多外部系统中，采集相关的业务数据，集中存储到系统的数据库中。系统内部对所有的原始数据通过一系列处理转换之后，存储到数据仓库的基础库中；然后，通过业务需要进行一系列的数据转换到相应的数据集市，供其他上层数据应用组件进行专题分析。
【概述】
因此，从数据被采集、转换、存储、分析、应用的角度对系统内部技术构件进行抽象，将系统内部分为采集层、数据处理层、业务应用层、配置层4个逻辑层次。数据分析系统的技术体系架构如下图：
【采集层】
在采集层，主要应用接口适配器、网络文件采集及转换器、ESB 总线等技术。
接口适配器技术，用于适配各专业系统的数据采集接口，通过接口适配器来屏蔽各专业接口方式的差异性；
网络文件采集及转换器，用于从各专业系统的采集文件数据，主要针对特定格式的各类网络数据文件，负责对数据格式进行格式化、规范化等预处理；
ESB 总线对标准的WebService/JMS接口方式的数据进行采集。
【数据处理层】
在处理层，主要应用数据持久化、J2EE、BI等技术。
数据持久化主要采用关系数据库技术和文件数据库技术。关系数据库技术，用于存储系统采集、处理、计算等业务数据，存储系统各类运行参数配置信息，以及其他的运行过程信息；文件服务器，为各类文件型数据提供数据存储和访问服务；
J2EE 技术，是系统中所有B/S逻辑构件、应用程序、Web 服务的容器，为各种B/S组件提供运行环境，并对其生命周期进行管控；
BI 的元数据管理为各类动态统计分析报表的数据聚合、多维分析、数据加载、数据生产、数据项、计算规则、展示方式等提供配置管理。
【应用层】
在应用层，用于人机交互的主要应用BI 、Web 等技术。
Web 技术，提供系统的B/S界面的应用，包括HTML 、CSS 、JS 、Ajax 等； BI 技术，为各类动态统计分析结果提供报表、图形、仪表盘等丰富的展示方式；用于系统交互的ESB 总线技术，以数据总线的方式发布WebService 调用、或者下发JMS 数据，通过统一的数据发布系统为外部系统提供服务数据共享服务。采用第三方标准中间件产品来实现，例如：SAP 的BOE （BusinessObjects Enterprise ）、IBM 的Cognos 、MSTR 的MicroStrategy 等主流的BI 中间件产品。
【配置层】
在配置层，主要应用ETL 可视化可配置平台、规则引擎、工作流引擎等技术。 ETL 可视化配置技术，用于提供可视化、可配置的ETL 数据抽取、转换、加载的处理，主要针对数据库数据、FTP 标准文件格式的数据或者经过网络文件采集及转换器预处理过的中间数据；
规则引擎部分为采集成各类适配及采集器提供配置数据的集中管理，包括提供接口文件的采集目录、文件名规则、数据项约定以及ETL 数据抽取规则等的配置管理；
工作流引擎，提供从数据采集接口配置、采集数据项、ETL 参数配置、指标关联映射、BI 参数关联映射等全过程的流程化配置向导。