清研微视：引领国内公交客流计数系统走向实用化

在当前智能交通、智慧城市的建设浪潮中，有一款智能产品受到越来越多政府部门、公交营运单位的关注，那就是“公交车客流量统计系统”。

而在众多的供应商中，苏州清研微视电子科技有限公司的产品备受行业关注。从2015年6月开始，清研微视的公交车客流量统计系统已经开始大批量供货，产品实车检测精度达到92%以上。车云菌近期采访到了公司创始人兼CEO张伟和产品经理王杰，对这款产品及其背后的故事进行的深入了解。

基于摄像头的头顶识别跟踪方案提出

公交车客流量统计系统要做的，就是用机器代替人工，实现公交车每个站点和每条线路的人数统计。

这些数据可以支撑公交线路优化、公交客流的实时动态分析与预测、公交调度的决策和调控。将实时计数系统与电子站牌和手机APP结合，还可以为市民出行提供信息服务。因此，一款准确好用的公交车客流量统计系统是未来提升城市交通智能化水平必不可少的配置。

公交车客流统计并不是一个新概念，多年来人们一直在苦苦探寻一种能够实现对客流人数准确计数的技术手段，但一直未能如愿。

回顾公交车客流统计系统的发展历史，曾经有过IC卡、压力踏板、红外线等检方案来检测流量，但在实用化过程中均发现存在众多问题。

就IC卡方案而言，大型旅游城市刷卡乘车的人数在乘车总人数中的占比不高，用这种方法统计客流量可以部分反映本地乘客的坐车规律，但无法囊括外地游客的乘车情况，而且也无法从样本推算整体客流量。压力踏板根据踩踏次数和重量来判断人数，由于公交车人流量巨大，该类接触式测试设备无故障工作时间短，维修成本比较高，而且体重差异、单/双脚踩踏、原地踏步、多人踩踏等工况下会产生大量误检，检测精度不高。红外计数使用的是对射原理，过人时阻断红外线，形成一个计数。在人流高峰时段，多人并行、接踵而至的情况比较普遍，在这种情况下，漏检率很高，并且整套红外设备的安装、标定较为复杂。

行业中致力于公交车客流量统计系统研发与推广的公司并不少，但是能获得用户认可，并形成大规模批量销售的几乎没有。

张伟总经理告诉车云菌，在现场调研中他们发现，在公交车人流高峰期，虽然人的身体是相互接触的，但人的头部之间一般会有一定的间隙，因此若利用摄像头从公交车顶获取图像，利用机器视觉识别的方案有可能能解决该技术难题，即综合利用视频图像处理、模式识别等技术对摄像头采集到的图像中的人体头部目标进行检测及跟踪，实现人数统计的目的。

这种“点人头”的方式看上去简单，但实际乘车场景中，却要复杂得多。比如乘客不一定排队而是蜂拥而上；上车时进入车厢的过程，在视频中几乎是一闪而过；公交站点若处于阳光直射区域，光线变化复杂；头发的颜色、帽饰等都会影响计数的准确性。

清研微视作为一个拥有清华大学多年智能汽车技术积累，致力于提供ADAS产品与技术方案的高科技创业公司，在计算机视觉技术领域深耕多年，形成了坚实的技术积淀。其在智能交通行业的一款新产品—公交车客流量统计系统应运而生，目前该产品已在全国逐渐铺开市场并取得了令客户满意的准确率。

终端＋后台：实车客流统计精度92%+

清研微视的客流量统计系统包含硬件终端与网络后台两部分。

硬件终端由安装在前后门上方的两颗摄像头和隐藏在车内的控制器组成，利用目标识别技术实现上下车乘客计数。用户检测报告显示，这款产品在不同行车环境和车辆拥挤状态下，平均检测率可达到92%以上。

实现如此高的检测率依靠主要是核心软件算法、硬件设计以及大量的样本数据积累。

第一，系统所使用的目标检测和跟踪算法扮演着重要角色。目标检测算法要发现图像中上车的乘客。检测算法要实时提取视频中人体的头部形状、头发颜色、头部运动、头肩的拓扑关系等特征，与数据库中积累的样本对比和已经积累的特征数据库比较，确定目标是否为一个人。识别后算法还要同时对多个目标实时同步跟踪，精确跟踪每个乘客的上车路线， 确定乘客上车后，完成“一个”计数。

第二，软件之外，产品的性能保证也要依靠硬件配置。乘车环境光照变化大，需要摄像头模组过滤强光，在弱光时补光。蜂拥而上的人群，对控制器的处理速度也提出了更高要求，据介绍，清研微视公交客流量统计系统图像的处理速度要达到每秒25帧，比一些单目前向ADAS的处理速度更快。

第三，92%以上的检测率不是一蹴而就的，产品开发中大量的样本数据积累是不断提高系统精度的必要条件。目前，清研微视的产品已累计行驶上亿公里，实地运行的产品还在源源不断地提供样本数据，这些都是用来进行算法更新迭代，提高鲁棒性的珍贵素材。

此外，在保证检测精度的前提下，与终端配套的网络后台也发挥着重要作用。它自动接收上传车辆位置信息、上下车人数信息等数据，结合站点管理数据库中存储的线路表及站点信息，可实现车辆管理、线路管理、站点数据实时显示、客流报表生成等功能。

为了保证数据传输的实时性与稳定性，系统的控制器芯片除了用于图像处理的DSP之外，还配合了ARM负责联网数据传输和对外设备通讯等功能，保证数据可以实时上传到网络平台或者其他车载主机等设备。因为传输的是文本数据而非视频数据，2G网络的传输速率就能满足传输的需要。按照每10秒钟汇报一次数据的话，每月耗费流量不超过30M。这样的流量套餐不会给运营部门带来沉重的管理费用。

整套产品在云后台的方案提供也比较灵活。可以直接将数据发到运营管理者，也可以将数据传送到车上主机，再上传到后方平台。如果运营者没有自建云平台，可登陆清研微视云平台，根据授权账号对本单位车辆进行管理。网络信号不佳时，也能靠控制器内自带的存储模块短暂留存，等待网络通畅时再一并回传。

市场是检验产品的唯一标准：从实验室到产业化

和张伟聊到技术人员创业时，他提出了一个观点——演示样机和产品之间，不是量的差距，而是质的蜕变。技术人员可以在很短的时间内做出一个演示样机，但从演示样机到量产产品，要经过千锤百炼和长时间的实践验证，产品是在不断对问题进行修补的过程中慢慢打磨出来的，正所谓“行百里者半九十”。技术人员创业时往往不了解这一点，没有做好充分的思想准备，缺乏对市场的快速应对能力，导致很多项目失败。

客流量统计系统从实验室走进市场，经历和克服了很多技术人员意料之外的困难。作为公交车客流量系统的总负责人，王杰向我们介绍了历时半年的银川项目。

特征差异是团队在把产品带到当地迎来的第一个挑战。银川很多回族乘客头戴头巾，其头部特征与原有数据库存在巨大差异，急需补充与检测相关的特征数据库。团队不得不立马在当地紧锣密鼓地重启采集，然后迭代升级算法。

算法升级和验证产品是一件枯燥重复的工作。每一次算法迭代都需要人工计数和机器识别结果进行比较。为了实地验证算法，技术人员常常要把工作地点搬上公交车。兼顾不同路段和时间，一个人负责记录系统实时识别的人数，两个人负责在公交车上下门位置人工计数上下车人数，实时核对产品检测率。一个多月后，他们用“笨办法”对产品进行了最科学的验证，得到了客户的高度认可。

总计1500套的出货量，涵盖了这座中型城市所有公交车。安装工作只能每天在公交车停运后的晚上至凌晨进行，期限仅有1个多月，节奏上可以用争分夺秒来形容。除此之外，团队在整个项目实施过程积累了很多实验室里无法获取的经验。比如如何在车辆到站断电之前完成算法的远程更新，如何不用外部传感器获得开关门信号。

在经历了本地特征采集、算法完善、安装难题攻克、不断满足用户软硬件需求后，清研微视真正完成了样品到产品的蜕变。王杰向我们表示，“每一个项目都让我们的产品更加成熟”。

市场是检验产品的唯一标准。从2015年6月开始供货，截至2016年9月，清研微视公交车客流量统计系统的销售量已经达到了6000多台，产品足迹遍及全国多个城市，成为国内公交车客流统计产品的最大供应商。

人工智能技术的10年积淀

其实，公交车客流量统计系统只是清研微视核心技术—计算机视觉及人工智能技术的一个应用案例。公司核心技术人员自2006年即在清华大学从事人工智能技术车载应用方向的研究，在基于机器视觉的驾驶人状态识别、行车环境感知方面具有丰富的开发经验。

智能汽车 车联网 智慧交通人工智能 导航智能汽车 车联网 智慧交通人工智能 导航智能汽车 车联网 智慧交通人工智能 导航智能汽车 车联网 智慧交通人工智能 导航

例如，公司的另一产品——驾驶员疲劳驾驶预警系统，是通过驾驶员面部表情特征与方向盘操作特征的融合实现驾驶员疲劳状态实时识别。在ADAS技术日益普及的背景下，车内驾驶员的状态监测不仅事关安全，而且也是未来无人驾驶必须考虑的课题。

目前，该产品也已经进入国内汽车制造厂，实现前装销售，而在国际市场上，清研微视也已经和先锋达成长期战略合作关系，在今年上海的CES展会上召开新闻发布会，宣布将和清研微视就ADAS产品进行全面的战略合作。

另一项核心应用是一体化驾驶辅助系统—“护驾卫士”。这是一款配置网络服务平台的智能安全驾驶辅助产品，具有8路并行视频处理能力，可同时实现车道偏离预警（LDW）、前向碰撞预警（FCW）、盲点监测（BSD）、疲劳驾驶检测在内的一系列功能。

按照规划，未来疲劳检测、ADAS最后会汇聚在一个平台。底层的计算机视觉算法相通，根据用户需求供货，在应用场合可以更加发散。而且张伟认为模块与模块之间不会彼此独立，而是相互建立连接。人、车辆、行驶环境的信息，都会汇总到一起综合判断。届时有可能看到ADAS作为是否疲劳的判断维度，疲劳检测也可以和驾驶辅助功能打通，确保安全。