一、交通大数据中心概述

发展智慧交通,利用信息化手段解决交通拥堵问题、提升道路交通管理水平,为老百姓提供灵活多样的出行服务,已经成为行业的共识。在“智慧交通体系”中,交通数据中心处于一个非常关键的位置,它是整个智慧交通的大脑,负责统一接收、处理和存储底层感知系统,如对视频监控、传感器、移动执法车辆等上传的数据的接收以及对实时交通流量数据进行统计分析,形成道路交通的诱导策略,并通过相应的诱导显示屏发布出去。

然而,目前传统的交通数据中心还存在许多的问题,首先,是服务器利用率的不均衡。很多地方的数据中心都存在整体资源利用率偏低、系统扩容压力巨大、机房资源不足的现象。其次,存储架构复杂。多种存储架构并存、厂家众多、资源整合难,且现有存储系统无法满足百PB级视频图片存储,扩容压力巨大。第三,数据结构不统一。半结构化、非结构化等数据类型繁多,关系型数据库Oracle、MySQL等越来越无法承担海量数据的管理查询带来的压力,查询过车数据、检索耗时长。除此之外,数据中心的运维也是个大问题,每年投入的成本开支巨大,但是运维效果却不甚理想。

因此,以虚拟化云计算及海量云存储为依托,辅以智能分析和大数据深度挖掘手段,结合高效统一的运维平台,打造弹性、灵活可扩展的交通大数据中心,打通数据孤岛,汇聚存储处理海量数据,对接上下级平台,支撑交警指挥中心决策则显得至关重要。

二、大数据与关系型数据库的关系

传统方案是所有结构化数据(包括卡口过车记录)存储于关系型数据库中,卡口过车图片存储于专用的存储设备中;大数据方案则是卡口过车记录存储于大数据平台中,其他结构化数据存储于关系型数据库中,卡口过车图片存储于专用的存储设备中。然而使用大数据技术并不是说替代原有的Oracle数据库。大数据主要用于存储分析与业务相关的结构化、半结构化数据,例如卡口过车记录(包括车牌、车速、车辆颜色、车牌图片、过车时间、卡口等信息),用于全文检索、智能研判等功能,其他结构化数据仍旧可以在关系型数据库中存储。

关系型数据库和大数据平台之间还可以使用数据迁移工具来进行数据迁移。当需要对旧系统进行改造时,可通过该工具将旧系统中的卡口过车记录迁移到大数据平台中。

三、大数据对智慧交通的价值

智慧交通数据中心为什么需要大数据平台?大数据平台能给交通行业带来什么价值呢?主要体现在两点:一方面,数据处理效率的大幅提升。交通数据量大以后,数据的检索、分析、统计,效率速度变得很慢,而大数据能够使效率大幅提升。另一方面,数据深层次挖掘与应用。交通数据量很大,但是监控数据价值低,未能有效产生警力,而大数据通过海量数据的深度关联分析,能够达到预测及趋势分析的目的。

1.数据处理效率提升体现在三个方面:高性能、低成本、灵活扩展。随着卡口数据的爆炸式增长,传统Oracle关系型数据库性能会存在瓶颈,规模超过10亿条时查询性能就会出现问题,并且部署Oracle数据库往往需要高性能的X86服务器甚至小型机,成本非常昂贵。而采用大数据方案,跟Oracle数据库方案相比,在性能、成本、扩展性方面均有无可比拟的优势。

高性能:大数据解决方案采用集群部署,利用协处理器进行分布式计算,具备更高的数据存储和处理性能,在数据检索、研判分析、统计分析等方面具备更高的性能。随着数据量的增大,传统方案的性能会越来越低,而大数据方案的性能基本不随数据量的增大而降低。

低成本:大数据解决方案可采用通用廉价的x86服务器,而传统解决方案(关系型数据库解决方案)往往采用高端的服务器甚至小型机,同时传统解决方案在软件上也会投入更多成本。

灵活的扩展能力:传统解决方案扩展能力偏弱,往往需要通过提升硬件配置的方式来提高系统性能,而大数据解决方案具备灵活的扩展能力,可以通过增加大数据平台中的集群节点,来提高系统的容量和计算能力。

2.数据深层次挖掘与应用。大数据的智慧体现在数据的深度挖掘利用,互联网巨头早已尝到了大数据的甜头,如谷歌、亚马逊、阿里巴巴等等。相信大家也都或多或少听说过各种各样关于大数据的神奇事迹,比如说亚马逊利用大数据在客户下单前,提前发货(利用鼠标停留时间、购物车存放时间、用户购物习惯等);某商场利用大数据分析将啤酒和尿不湿摆在一块,看似风马牛不相及的两样东西,结果这么摆放之后两者的销售量都大幅增长。

在交通行业里面,大数据同样可以发挥出意想不到的巨大作用。例如将各个路口的车流量统计及交通事件统计,乍看一下两者之间没有任何联系,通过大数据的分析处理可以告诉我们,豪华车多的路口醉驾事件数量多,大货车多的路口容易拥堵,工薪族社区附近的路口容易追尾。针对大数据的分析结果,可以制定相关的应对策略,醉驾整治重点布控豪车量大路口,部分路口增强大货车禁行管控,优化工薪族居住区路口的信号管控等,所以大数据对智慧交通最大的价值在于用无限的信息手段来指导有限的警力部署。

四、车辆大数据的应用

车辆大数据的应用,首先对前端采集拍摄的海量视频、图片等半结构化/非结构化数据,通过迁移工具,从传统Oracle数据库中读取车辆记录等结构化数据,对这些数据进行结构化、分布式并行计算等处理,实现车辆的车牌、车标、车型、年款、主副驾驶、遮阳板、安全带、年检标、纸巾盒等特征信息的提取与结构化等维度的信息,满足客户基于车辆信息的大数据深度挖掘需求。调用大数据的分析能力可以进行更加便利、更加智能的检索、研判及统计等智能化分析。

利用大数据可以从海量信息中快速检索、分析、定位目标车辆,例如,车牌搜车功能,通过车牌号码、车辆颜色、车辆品牌、车辆型号、车辆年款、时间范围和通过卡口等条件任意模糊组合查询,从上亿过车记录中,秒级返回所需的精确或模糊车牌车辆信息;特征搜车功能,有车辆特征图片信息时,通过特征搜车查找原车或相似车辆;以图搜车功能,提供基于上传目标车辆图片的二次识别结果,从海量过车记录中搜索与上传图片相同或相似的车辆图片的功能。

利用大数据深度挖掘,关联比对研判面向交管、警情研判、违法取证提供有力的技术支撑。

例如,行车轨迹:通过输入精准车牌号来查找车辆的行踪,掌控此车相应时间的从哪来,到哪去,在路网中经过的地方、发生的事情、有哪些异常都可以进行历史轨迹事件回溯;跟车分析:对被监控车辆的同行车辆按时间和路线进行查询,应用于团伙作案车辆挖掘和蓄意尾随车辆排查;碰撞分析:对流窜作案提供串并案涉案车辆分析,检索分析出多起同案事件发生的地点与时间内,出现的相同车辆信息,如在A、B、C多地发生案件,都出现过同一辆车情况下使用碰撞分析功能进行车辆作案场景还原;套牌车分析:通过对实时车辆信息以及历史过车记录,系统会自动形成结构化数据,并和公安8大库中车辆信息库作对比,如信息不一致,对有套牌的嫌疑通过人工辅助核实,再通知指挥中心实时追逃,套牌车一般涉案的嫌疑比较大,还需通知刑侦对涉案车分析,最后通过交警作出处罚;首次入城分析:选定区域卡口,通过系统查询在一定时间内首次出现的车辆,可排查外来作案嫌疑。稽查布控分析:支持黑白名单的单个布控或批量布控,方便用户操作,实现“一点布控全网响应”的完整业务处理流程;隐匿车辆挖掘:针对作案踩点车辆,分析案发前经常出现,案发后没有出现;昼伏夜出分析:此功能是判断嫌疑车辆是否为在查询时间范围内满足昼伏夜出的行驶规律,以帮助办案人员尽快锁定可疑车辆;频繁过车分析:根据设置分析类型,频繁阀值,对案发区域的过车记录进行分析,找出案发前频繁出入案发区域的车辆,帮助办案人员进行目标排查。