亚洲在线

亚洲在线 >产物中央>通用产物

SDI智能数据获取系统

一、 产物先容

亚洲在线产物提供富厚、无邪、高效、清静的信息收罗应用,将疏散的异构数据源如数据库(关系/非关系型数据库)、网络信息(WEB)资源、文件系统等数据举行抽取及洗濯、转换、加工,形成统一的数据尺度规范后举行数据加载,为信息搜索、信息整合使用、数据决议剖析等应用提供高质量数据。

 

二、 产物配景

随着信息手艺的迅猛生长和普及应用,信息资源越来越泛起出差异体现形式和结构多样性,大量信息漫衍在相互自力的各个子系统和节点中,需要通过信息手艺手段把种种差异尺度、差异泉源的异构数据转换为统一的信息和知识并加以使用,为行业化应用提供信息资源的整合服务。

 

三、 功效特征

亚洲在线1. 统一的收罗治理

亚洲在线平台模块化架构,支持收罗模块可插接扩展;

亚洲在线多线程调治管控,准时按需自动启动收罗;

亚洲在线多使命协作并行爬取统一目的,提高数据收罗效率;

统一使命监控,实时监测数据收罗的运行状态;

亚洲在线异常数据报警与追溯机制,保证数据的完整性;

收罗使命可视化的设置、治理、监控与统计;

亚洲在线统一认证与授权,为用户提供操作清静与数据清静保障;

尺度化接口,支持与第三方平台集成;

2. 完整的收罗方案

(1)数据库数据收罗

亚洲在线支持种种类型数据库(关系型/非关系型)数据收罗,包罗但不限于Oracle、MySQL、SQL Server、DB2、Mongo DB、TRS、ArcGIS、人大金仓、达梦等

支持数据表大工具字段、文件路径字段的内容属性与全文抽取

支持字段拆分、多字段合并后收罗

支持数据过滤、洗濯与类型转换

(2)网络资源收罗

支持全站点归档模式与指定页面内容收罗模式

亚洲在线支持动态页面(Ajax)与自媒体数据收罗

支持自动模拟登录;

支持多种防爬取战略:IP池轮询、署理服务器、可控收罗频度等;

亚洲在线支持多级关联页面的信息抽取与组织;

(3)文件资源收罗

亚洲在线支持FTP、当地文件目录、网络磁盘等文件泉源;

亚洲在线支持Word、PPT、EXCEL、PDF、TXT、HTML等常见文本名堂文件属性剖析与全文提取;

亚洲在线支持200多种常见文件名堂文件元数据提取;

(4)支持增量收罗

(5)支持大数据漫衍式收罗

(6)支持针对第三方系统接口的收罗适配器可扩展

亚洲在线例如:EMC Documentum、IBM FileNet、Oracle Opentxt以及OA、ERP、Email等企业级应用;

亚洲在线(7)支持可设置输出方案

收罗内容可凭证需要输出到种种型数据库或元数据仓储平台中。

四、 应用案例

1. 党政

中共中央某服务机构-523项目

国务院某服务机构-政务信息资源整合与使用项目

国家生长和刷新委员会-信息资源整合使用平台

2. 企业

国家电网公司运营监测(控)中央-互联网大数据收罗处置赏罚项目

亚洲在线北京航空航天大学-中航信情报剖析系统

中国电信-运维服务中央工单知识库搜索项目

3. 军队

某军事医学研究机构-军事医学战略论证与情报研究支持系统及综合资料库

亚洲在线某军兵种科技信息网-综合集成知识服务平台

4. 图情

亚洲在线浙江图书馆-网事典藏项目

亚洲在线国际关系学院-学科文献专题服务中央项目

分享到:
云南大学