“科云”数据采集系统
产品简介
详细信息
“科云”数据采集系统支持对结构化数据、非结构化数据、网页互联网数据的抓取/抽取、清洗、转换、集成并加载到数据仓库中进行统一处理，实现从高速、海量、多样、无序的数据中提取有价值的信息，并发现其主要特征，将数据转换成后续可用的信息。
产品特点
1.集群化：采用多节点冗余设计，集群服务间自动监视并进行主从备份，支持动态服务节点的添加。
2.跨平台：支持Linux、windows、unix等主流操作系统，支持国产平台。
3.高并发：支持将用户爬虫任务进行分片，在集群服务进行分片任务处理后进行。
4.多样化：支持对结构化数据、非结构化数据、网页互联网数据的统一处理。