新华社大数据处理平台
新华社大数据处理平台
2018-03-12 11:07:17
新华社多媒体数据库中的数据资源超过1.5亿条,如何更好使用和盘活这些数据资产,使之转化为新的生产力,服务于新华社战略转型,是新时期新华社信息化建设的一个历史使命。现有的文本检索系统检索精度差,基于规则的静态分词不适应业务发展需要。同时,对于历史新闻数据的语义分析,新闻文档对象之间的关系理解,都需要借助新的技术手段予以实现。另外,对于多语言的分析处理,海量多媒体资源(图像,音视频)识别和标引的需求也亟待被满足。 ...
从业务角度上看,新华社业务种类的日益丰富,原有的IT系统已显露出诸多的不足和问题,难以对新业务和新的需求进行快速的响应和有力的支撑。另外,随着新华社新闻稿件半结构化、非结构化数据的日益增长,信息管理平台应用已面临着数据备份恢复时间长、运维成本高、存储弹性扩展能力差、存储成本高、无法满足业务多维查询的问题;文档服务平台存在海量历史数据离线检索不便、数据备份恢复时间长的问题。同时,随着近年来业务的发展,产生了结构化数据与非结构化数据整合存储与联动查询的新需求。
1.解决方案
曙光公司大数据一体机在解决如上问题和新需求方面较传统技术手段更有优势,并具备现实可行性。非结构化数据分析采用XData-hadoop,结构化数据分析采用XData并行数据库,系统架构如图:
2.客户收益
1) 对各应用系统进行整合,避免之前的独立建设造成的IT资源浪费;
2) 实现了音像资料、金融信息的共享,能够很好地满足新媒体发展和全媒体融合的需要;
3) 基于标准规范构建的多媒体数据库数据共享服务,实现了系统间数据复用功能;
4) 能够很好地满足新华社对结构化和非结构化数据整合存储与联动查询的新需求;
5) 架构上采用松耦合的技术原则,能够实现系统的灵活扩展;
6) 平台针对不同子系统的需求特点,选用合适的技术,能够突破性能瓶颈提升单台设备的处理性能;
7) 系统具备良好的扩展能力,能够在适应当前需求的基础上尽量为将来可预见和不可预见的功能、性能扩充留有余地;
8) 新功能、新业务的增加能够在不影响系统运行的情况下实现;
9) 系统采用HA、负载匀衡、云计算虚拟化、副本式存储计算冗余等技术,从系统级、设备级和业务级等多个层面进行高可用设计;
10)有全面、完善、便捷、统一的网管系统和网络性能监控系统,支持多种故障报警,一旦发生问题能够在最短的时间内处理解决。
上海交大虚拟桌面项目
上海交大虚拟桌面项目
03-12
上海交通大学办公方式是基于传统的PC,需要在每台PC上安装所需要的软件程序及客户端,数据也分散在PC的硬盘中,不能方面的管理和存储备份,并且客户端的安全隐患很大,PC机安全漏洞较多,数据随时面临客户端泄露和丢失的危险以及办公系统被破坏的风险。另外,一旦PC出现问题,工作人员智能等待IT管理员修复之后才能继续工作,不仅降低了工作效率,并且系统维护的工作量较大。→
通信管理局统一资源管理系统
通信管理局统一资源管理系统
03-12
日益增长的数据量和不断加快的数据生成速度为某省通信管理局的数据处理系统带来了严峻的考验,性能问题逐渐成为影响该单位用户对系统满意度的最主要的因素,曙光公司希望能用XData大数据分析平台来解决用户的问题。本系统建成将有效提升通管局对数据的检测与监管能力,应对突发事件,增强管理与决策能力,为某省通信管理局提供网络运行数据、内容分析及决策建议。→
温州市智慧交通综合信息中心
温州市智慧交通综合信息中心
03-12
温州市智慧交通综合智慧交通中心项目是通过对交通运输系统信息化基础设施和信息资源的逐步整合,促进智慧化管理决策机制的逐步创建,为公众提供人性化、综合化、智慧化的交通出行服务,为行业管理提供科学决策和应急指挥调度的信息化支撑,同时为“智慧交通”搭建一个基础运行平台。→
扫描二维码分享到微信