英雄联盟外围下注

登录 | 注册 | English

资讯中心

英雄联盟外围下注  >  资讯中心  >  产品动态

使用 InfoSphere Streams 进行海量数据实时处理

当前海量数据实时处理面临挑战

        车联网是典型 的大数据应用场景。以中等规模(百万辆车辆并行接入) 的车联网系统为例,假设平均每辆车每秒通过无线通信实时上传 的信号是200个,工作制式是7*13小时,3备份存储,则服务器所需提供 的存储大小在一年内就轻松超过10PB。面对如此海量数据应用场合,传统 的数据处理方式是“先存储后处理”,但是往往很多数据有实时处理 的需求,比如实时监控,故障监测等,面对如此海量数据并行接入 的情况,“传统”方式已无法满足海量数据实时处理 的需求,流式计算应运而生。

流式计算

        在“传统 的”处理中,可以对历史数据运行分析查询:举例而言,针对车载终端实时传输 的全球定位系统 (GPS) 位置 的数据集进行处理,计算某车辆一个月 的里程。使用流计算,可以实行一种类似持续计算跑步距离 的“持续查询” 的过程,因为来自 GPS 数据 的位置信息不断在刷新。而在“传统 的”数据处理方式而言,GPS实时数据过来只能先存入数据库,然后等该月行程完成后,再对数据库历史数据进行查询计算得到当月里程。由于数据量比较大,这种类似离线分析 的数据处理方式响应会非常慢,无法满足某些实时数据应用 的场合。使用流式计算 的好处是数据实时被处理,一方面可以满足海量数据实时分析 的需求,另一方面针对海量价值比较低 的数据进行预处理再存储,可以有效节省存储空间,有利于提高后续对数据处理 的效率。流计算如下图所示:

IBM InfoSphere Streams为您提供海量数据实时分析平台

        IBM InfoSphere Streams是 的谙冉 的流式计算App,专门针对大数据 的特性定制,完全能满足海量数据高并发,结构/半结构/非结构多形式数据场合实时数据处理需求。此外,Streams也可以作为ETL工具对原有数据库 的历史数据进行处理,相比其它流式数据处理解决方案,Streams 的技术优势如下:

•  Streams是一种处理流数据 的低延迟平台

    ♦  能提供毫秒级,甚至微秒级端到端 的延迟

•  Streams是一个可高度扩展 的,用于实时分析 的高性能平台

    ♦  通过横向增加硬件可获得近线性 的处理能力扩展

    ♦  能支撑高达125个节点 的集群扩展

•  Streams是一个灵活 的,动态 的平台

    ♦  Streams应用灵活部署,支撑动态部署新 的分析应用

    ♦  支撑机器学习,可以将现有 的预测模型标记语言 (PMML) 模型重用到流数据上,对预测模型进行学习

•  提供丰富 的工具箱,支撑过滤、筛选、清洗等基本功能,支撑用户Java自定义工具箱

•  支撑TCP/UDP/file等数据接口,支撑DB2/Informix/solidDB/Oracle/SQL Server/MySQL/Netezza等数据库

        Streams研发项目是由美国政府和 IBM 于 2003 年协作启动,已由许多组织实施,在政府、电信、金融市场、能源、e-Science 和医疗等行业构建各种各样 的应用。

IBM InfoSphere Streams 产品组件

 

图 3:InfoSphere Streams 组件

•  Streams Studio:一个基于 Eclipse 3.6.2 的集成开发环境 (IDE),用于迅速开发、测试和调试流应用和 Streams Live Graph,以直观地显示在运行时集群上实行 的作业和作业组件。

•  Streams 运行环境:一个服务器或服务器集群,集群大小没有限制。高可用性功能包括检测失败 的流程元素、重新查找、重新启动和可选 的重新存储状态 的能力。

•  工具包、适配器和示例:

    ♦  包含关系、文件、通信和实用程序操作符 的标准工具包

    ♦  包含 HTTP、HTTPS、FTP、FTPS、RSS 和文件源操作符 的 Internet 工具包

    ♦  包含 ODBC 驱动程序和用于流扩充 的高速solidDB驱动程序 的数据库工具包

    ♦  用于预测模型标记语言 (PMML) 评分 的挖掘工具包

    ♦  包含 WebSphere Front Office v3.0.2.1、Financial Information eXchange (FIX)、QuantLib、Library 函数 的财务工具包,这些函数计算普通股期权衍生品值,比如 delta、theta、rho、vega 等

    ♦  超过 50 个示例应用和流处理语言工件示例

关于英雄联盟外围下注
企业概况
企业理念
企业资质
资讯中心
英雄联盟外围下注在全球
诚聘英才
校园招聘
实习生招聘
社会招聘
走进英雄联盟外围下注
常见问题
市场活动
在线研讨会
线下活动
微信课堂
用户社区
资料下载
英雄联盟外围下注月刊
用户留言
个人中心
PMT留言
相关链接
达索企业
IBM-中国
联系大家
电话:010-64840808
邮箱:market_dept@hirain.com
版权所有 ? 英雄联盟外围下注|2020电竞下注平台 京ICP备18000642号-1 京公网安备11010802017344号 网站地图 | 招聘信息 | 法律声明 | 隐私保护
XML 地图 | Sitemap 地图