发布信息当前位置: 首页 » 供应 » 诊断/测控系统 » 车联网解决方案(二)-远程运营中心大数据平台解决方案

车联网解决方案(二)-远程运营中心大数据平台解决方案

点击图片查看原图
公司: 北京经纬恒润科技有限公司 
单 价: 面议 询价 
最小起订量:    
供货总量:
发货期限: 自买家付款之日起 3 天内发货
有效期至: 长期有效
最后更新: 2016-03-07
相关信息
 
产品详细说明

恒润远程运营中心大数据平台(后称‘大数据平台’)的架构规划见下图。系统共分为五层:数据接入层、数据预处理层、数据存储层、数据分析层、应用系统层。该架构的主要优势是大数据框架技术、SOA 架构设计、高并发、安全与平台管理等。

 

•  数据接入层

        针对实时上传的车辆总线数据,大数据平台提供了基于Java NIO 技术(Netty),支持高并发TCP 连接的通讯数据网关;

        针对百万并发海量消息实时接入,恒润提供IBM 公司的高性能MessageSight 消息网关。

        针对实时视频流数据,系统提供独立的视频流网关可以接收RTSP(EasyDrawin)/RTMP(Red5)或基于UDP/TCP 协议的视频数据流。针对存放在关系型数据库中的历史数据,大数据平台提供了面向关系型数据库与分布式文件系统(Hadoop)的ETL 工具(Sqoop)。针对离线数据文件或视频文件,系统提供了基于HTTP 协议的文件上传应用功能(Plupload),应支持在应用层进行操作。

•  数据预处理层

        针对车辆数据,为确保高并发上传的实时数据能够被及时解析。数据网关后接分布式消息队列,即可通过添加服务器的模式横向动态扩充队列吞吐量。海量数据实时预处理采用分布式的流式数据处理工具(APAChe Storm)或IBM 公司商业软件Infosphere Streams,可将协议解析、解压缩、解密、数据流解析等数据处理流程进行分解,并通过增加并发量等手段近实时的得到所有信号物理量。也可根据实际业务需求对数据解析追加去重、标准化、降噪、筛选、清洗等业务相关操作。

        针对视频数据,视频网关将视频文件中继至内网,系统使用一个流媒体服务器(Red5)进行统一视频编解码与格式转换,并将视频文件或视频流根据浏览器端播放器支持的协议进行推送。同时提供了根据某一时间戳,对其前后一段时间的视频片段进行切割的功能(ffmpeg),这样可以仅对此片段进行视频流播放以期尽量降低带宽。

•  数据存储层

        针对车辆数据,恒润大数据平台提供先进的分布式大数据框架Hadoop。经过近10 年的发展,Hadoop 已经成为大数据领域的一个标准并形成了一个完整的软件生态圈。本系统中的车辆总线数据具有一次写入多次读取的特征,适合用hadoop生态圈中的Hbase nosql 数据库进行存储。该数据库继承了Hadoop 分布式易于扩容的特点,并通过LSM 数据结构做到了快速的数据读写平衡。

        针对视频数据,由于可能需要对源文件进行转码或切割的操作,视频数据并不适合用hadoop 存储。因为Hadoop 会对视频文件进行切割并将不同数据块存储于不同的数据节点,而当需要对视频文件进行任何操作时,都需要先从各个节点将视频文件进行恢复再操作。另外,由于视频文件往往比较大,Hadoop 的高可用3 备份方案会造成较大的空间浪费。对于视频文件的存储方案,本系统选用视频流媒体服务器所在服务器的文件系统。

        针对元数据与应用数据,应用相关数据结构化较强且增长速度较慢,本系统选用关系型数据库与文件系统结合的方案进行存储。

•  数据分析层

        大数据平台提供如下数据分析工具,以便在应用层协助完成用户的业务需求:

    ♦  基于Hbase 原生API 的简单数据统计与检索

    ♦  SQL on Hadoop/Hbase

    ♦  集成机器学习/ 统计学算法的工具

    ♦  基于流式数据处理的实时数据处理

•  应用系统层

        应用系统采用B/S 架构,即用户可随时随地通过浏览器对系统进行访问与操作。系统使用SpringMVC 与Hibernate框架进行开发,并在前台应用KendoUI、Echarts、高德地图等Javascript 库。

        应用系统采用模块化设计,使用ESB 技术有利于保证系统的可扩展性并兼顾多团队协同开发的情况。恒润大数据平台采用IBM 公司的IIB 商业解决方案,不对建设在其上的应用系统附加限制,如开发平台、语言、通讯协议等。

•  平台管理

        大数据平台的Hadoop 版本选用的是Cloudera 的CDH5。Cloudera 是规模最大、知名度最高的Hadoop 解决方案服务商之一。CDH5 封装了大量Hadoop 生态圈中的工具如Zookeeper、HDFS、YARN、Hbase、Spark 等。整体平台的管理则依托于Cloudera Manager,允许管理员通过web 的方式对Hadoop 集群进行监控与管理。

•  系统安全

        系统安全的保障则是通过以下四个手段进行保障:

    ♦  数据加密

        车辆总线端口(报文)数据经过通讯协议、加密、压缩等封装后,需在内网经过层层解析才能被解析为信号物理量。

    ♦  IT部署方式

        由于车载设备是通过数据网关与视频网关与大数据平台进行交互,因此网关需要提供公网IP。这意味着网关是部署在企业的DMZ区,大数据平台可确保数据的解析与处理均发生在企业内网。

    ♦  Hadoop自带安全机制

        大数据平台可通过Cloudera Manager与企业LDAP集成并配置使用Hadoop/Hbase提供的KMS、Kerberos等安全审计机制确保数据的安全。

    ♦  应用系统权限控制

        应用系统采用基于角色的权限控制(RBAC)对系统功能菜单进行权限分配。并提供资产管理对车型、车辆、车载终端设备等资产进行细颗粒度权限控制。

北京经纬恒润科技有限公司(www.hirain.com)


公司联系方式
  • 北京经纬恒润科技有限公司 [加为商友]
  • [第6年] 指数:7
  • 联系人许女士(女士)    
  • 电话
  • 手机(010)64840808-6104
  • 地区北京
  • 地址北京市海淀区知春路7号致真大厦6层
  •   
同类产品

[ 供应搜索 ]  [ ]  [ 告诉好友 ]  [ 打印本文 ]  [ 关闭窗口 ]  [ 返回顶部 ]

CK365测控网郑重提醒:网上过低的价格有可能是虛假价格信息,请买家谨慎对待,谨防价格欺诈行为。投诉或价格欺诈行为,请发送邮件至 1365099215@qq.com