当智能交通遇到大数据,如同二氧化锰在制取氧气的实验中作为催化剂一样,一场剧烈的化学反应加剧了两方的共同发展。
随着城市的迅速发展,交通拥堵、交通污染日益严重,交通事故频繁发生,这些都是各大城市亟待解决的问题。智能交通成为改善城市交通的关键所在。为此,及时、准确获取交通数据并构建交通数据处理模型是建设智能交通的前提,而这一难题可以通过大数据技术得到解决。
智能交通需求与大数据契合
智能交通整体框架主要包括物理感知层、软件应用平台及分析预测及优化管理的应用。其中物理感知层主要是对交通状况和交通数据的感知采集;软件应用平台是将各感知终端的信息进行整合、转换处理,以支撑分析预警与优化管理的应用系统建设;分析预测及优化管理应用主要包括交通规划、交通监控、智能诱导、智能停车等应用系统。
系统利用先进的视频监控、智能识别和信息技术手段,增加可管理空间、时间和范围,不断提升管理广度、深度和精细度。整个系统由信息综合应用平台、信号控制系统、视频监控系统、智能卡口系统、非现场执法系统、信息采集系统、信息发布系统等组成。以达到如下四方面的目标:
提高通行能力
减少交通事故
打击违章事件
出行信息服务
如下是智能交通整体应用架构图:
整个系统建设的核心是数据的沉淀、存储与计算,而其中最重要的核心思想就是“数据是价值”。问题就是如何把数据转换成价值。这就成为一个技术问题。
从统计学的角度,任何领域任何动态发展的事物,只要有足够多的样本数据,就一定能从样本数据中找到动态发展的规律。数据越多,准确率越高。这个“规律”就是数据的价值所在。对于商业机构,可以分析用户行为规律从而提高销售量;分析目标市场规律,定点投放广告从而降低成本等等;还可以分析交通行为规律,提前做交通疏导,提高交通通畅率,这就能真正挖掘数据的潜在价值,提高其社会价值。
从20世纪初的网络发展以来,进入一个高度联网的阶段。联网的同时,数据高度集中,数据量急剧增加。据IDC报告现在互联网的数据,每两年就翻一番。这个增长率在智能交通行业同样有效,随着卡口、电警、摄像机数量的增加,高清化、智能化的发展,如果再算上物联网的各种传感器,未来几年的数据量增加可能大大高于这个增长率。这就为智能交通行业实现大数据提供了数据基础。
从各种各样类型的数据中,快速获得有价值信息的能力,就是大数据技术。由此我们再看IBM归纳的4个V( 量Volume,多样Variety,价值Value,速Velocity):
1)Volume数据体量巨大。从TB级别,跃升到PB级别;
2)Variety数据类型繁多。包括视频、图片、地理位置信息、传感器数据等等。
3)Value价值密度低,应用价值高。以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒。
4) Velocity处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。在交通领域,海量的数据主要包括4个类型的数据:传感器数据(位置、温度、压力、图像、速度、RFID等信息);系统数据(日志、设备记录、MIBs等);服务数据(收费信息、上网服务及其他信息);应用数据(生成厂家、能源、交通、性能、兼容性等信息)。交通数据的类型繁多,而且体积巨大量Volume 和多样 Variety是因,数据类型的复杂和数据量的急剧增加,决定了原有简单因果关系的应用模式对数据使用率极低,完全无法发挥数据的作用;速Velocity是过程,巨大的运算量决定了速度必须快;价值 Value是最终的果。
大数据沉淀
在各城市建设智慧交通的过程中,将产生越来越多的视频监控、卡口电警、路况信息、管控信息、营运信息、GPS定位信息、RFID识别信息等数据,每天产生的数据量可以达到PB级别,并且呈现指数级增长。以丹东市的卡口电警产生的数据为例:
车道数 | 1300 |
---|---|
每车道平均每天过车数据 | 4000 |
每车道每天过车数据,峰值 | 12000 |
图片存储周期(天) | 180 |
过车信息存储周期(天) | 180 |
平均每张图片大小(KBytes) | 250 |
系统要求: | |
图片存储容量 | 数百TB |
数据库存储容量 | 数TB |
IPSAN吞吐率(MBytes/s),均值 | 15 |
IPSAN吞吐率(MBytes/s),峰值 | 45 |
数据库容量(亿条) | 百亿级 |
并发能力(条/S),均值 | 60 |
并发能力(条/S),峰值 | 200 |
大数据增值应用
深入挖掘数据价值,在智能交通等行业上推出车辆轨迹、道路流量、案件聚类等大数据模型。基于大数据模型,推出智能套牌、智能跟车分析、轨迹碰撞、智能比对、舆情分析等数据增值应用,逐步解决行业的深层次问题
海量数据计算
通过云计算集群,实现对海量数据的分布式高速计算,支撑对海量数据的高效分析挖掘。
云计算集群是一种M/S架构的分布式计算系统,Master作为调度管理服务器,负责计算任务分解与调度、计算资源统一管理。Slave则由大量的计算服务器组成,负责完成Master下发的计算任务。
海量数据检索
基于行业数据查询特点,对搜索引擎进行优化定制,支持百亿记录的秒级高速查询。通过集群机制,实现搜索服务的高可靠性、高容错性、高扩展性。
海量数据存储
对于海量数据存储,采用HBase分布式存储系统。 相比传统关系型数据库,有如下特点:
数据格式灵活
高可用
横向扩展能力强
访问高效
同时能够做到无缝集成,快速从关系型数据库导入已经存在的历史数据。 提供高可靠性、高容错性、高性能的海量数据存储 ,支持无缝容量扩展。
大数据在智能交通中的发展
宇视智能交通产品总监孙加君分析,智能交通产品的技术定位近年来有两大显著变化:
第一是智能前置,前端的抓拍单元发生了非常大的变化,实现了“一体化”,即所有的交通行为、智能分析行为都由相机来完成。而在2010年前后,抓拍单元还是纯粹的抓拍机,其他智能分析算法由路口工控机或后端设备完成;
第二是建设规模,现在一个中小城市建设卡口和电警设备的规模就能达到上千路,抓拍图片的数量规模非常庞大,有的甚至上亿条,如果存储时间较长则达到10亿条,对平台管理、检索这些过车记录,提出了非常大的挑战。
宇视副总裁闫夏卿从三个角度阐述智能交通与大数据的关系:
首先,从应用成熟度看,在今天无论卡口、非现场执法设备,视频监控是对图像和视频数据进行语意化和结构化处理最成熟、最完整、应用深度最深的领域。智能交通可能是现在新兴技术和应用领域里,率先突破数据应用瓶颈的一个技术领域;
其次,从技术角度看,包括大数据、云计算的技术架构,最先在智能交通里落地,智能交通也必将引领整个智慧城市各个子模块的技术潮流和走势;
最后,从使用者与应用者关联的角度看,交通的智能化,最终会影响到每一个人骑车、驾车、公交出行的感受。每位市民都能够有非常好的交通秩序体验,这一点就需要智能交通的技术方案去支撑实现。