人工智能打造“功夫熊猫”是深兰科技公交智能转型之路之一？

深兰科学技术从2017年开始尝试整车设计，到现在为止提出了很多应用成果，同时取得了很多城市的自动驾驶执照。经过三年无数次的钻研和磨练，最终形成的熊猫智能巴士综合了自动驾驶技术、手脉识别系统、语音交互、正确的广告推进等功能，实现了巴士的动力、安全、利益和服务的全面升级。

中国公共交通行业:公共汽车服务需要智能技术加强乘客移动体验，扭转赤字运营

公共汽车是城市交通运输系统的重要组成部分。我国城市公共交通近年来发展迅速，但乘客不断抱怨旅游困难，交通成本高。为了改善巴士服务质量，国务院、交通主管部门多次强调巴士智能化、信息化。而后，国家于 2020 年初提出新基建， 让科技赋能战略深入各个层级。在此背景下，公交行业面临必然的转变，而其长期存在的痛点也亟待科技赋能，实现智能转型。

耗油及污染：油耗是决定公交车运营成本的根本问题。但是，燃料费的多少不仅与公共汽车的状况有关，公共汽车的路线配置、司机的燃料费技能等因素也影响着公共汽车的燃料费。另一方面，由于公共汽车身体大，长期处于运行状态，其排气成为重大污染源。

人力依赖:公共汽车司机技术门槛高，工作性质单一，劳动强度大，员工减少，行业人力成本上升。

舒适度和安全限制:公共汽车乘客复杂，整个车内设施落后，无法实时干预个别吸烟、盗窃等异常行为，影响整个车乘客的移动体验和人身安全。

线路长期损失:公共汽车系统属于利民服务，公共汽车费用相对较低，大量公共汽车线路长期处于损失状态，运营商收入整体依赖政府补助，难以积极升级车辆设施，改善服务效果。

智能巴士应用内案例分析:以深兰科技建设熊猫智能巴士为例

如何加快先进的AI技术与城市交通工具的融合，实现商业化落地，在提高人们移动舒适度的同时，扭转运营商长期赤字的困境

深兰科学技术拥有庞大完善的人工智能核心技术研发体系和大量科学研究人才，多年以此优势在自动驾驶技术领域蓄势，建立技术壁垒。近年来，深兰科技在CVPR、ICCV、ECCV、NeuIPS等世界顶级学术会议算法竞赛中获得世界冠军。其中，2019年ICCV COCO amp; Mapillary挑战赛Mapillary Vistas目标检测赛道中，任务内容与自动驾驶车辆的感知能力有着强关联，强调识别静态街道图像对象(如路灯、标志、标杆)和动态街道主体(如汽车、行人、自行车)的能力。而深兰科技在此次竞赛中一举夺冠，奠定了公司在自动驾驶领域的优势地位。此外，深兰科技在生物智能、边缘计算等技术领域同样有着技术优势及落地产品，为构建自动驾驶汽车打下深厚的基础。

另一方面，深兰科技技术从2017年开始尝试整车设计，继续发表多项应用成果。2018年6月，深兰科学技术新零售和自动驾驶相结合的产品芭比自动驾驶移动零售车同年9月，首次12米熊猫智能公共汽车在常州和长沙试运行。2019年，深兰科技引入氢能源专家团队，进入氢能源车的自动驾驶领域。

此后两年，深兰科技陆续取得多个城市的自动驾驶执照，熊猫智能巴士也在全国各地实现了商业运营。经过三年无数次的钻研和打磨，最终形成的熊猫智能巴士成功地实现了巴士的动力、安全、利益和服务的全面升级。

一、核心技术智能驾驶系统

深兰科技熊猫智能巴士是大型人工智能、自动驾驶巴士，总长约12米，驱动磷酸铁锂电池。其智能驾驶系统由感知域系统、决策控制子系统、线控底盘系统三大部分构成。感应域系统通过车辆全身配置的传感器检测环境信息，感应数据输入域控制器，进行感应数据的融合处理，同时结合车道协同路面交通信息和地图数据输出车辆行驶环境模型。为了最大限度地实现公共汽车的感知能力，车身设置了毫米波雷达、激光雷达、车身超声波雷达阵列和大量照相机，全面收集车身周围的环境信息。

由感应传感器收集的信息传输到FPGA车载高性能综合计算组件，通过各传感器的时间和空间同步、数据融合处理，完成对车辆周围交通环境的感知。自动驾驶计算单元X86实时控制器根据环境模型信息进行计划、决策和控制，输出驱动、制动和转向控制命令，通过整车控制器转发车辆线控制底盘的相应执行机构执行控制命令，实现车辆的自动驾驶功能。此外，X86实时控制器同样负责车身失效故障诊断与安全策略保护，将必要信息通过HMI(人机交互中控屏)或车载语音播报设备提供给司机或车内成员，在必要时切换手动操作，保证驾驶安全。

为了保证熊猫智能巴士的整体性能，其车载高性能混合计算平台采用ARM和FPGA混合计算结构，峰值功耗低于35瓦。同时，平台具备完整的标准车用I/O和整车通信端口，控制计算组件采用整车规则设计，自然风冷，实现IP67防护等级，满足整车控制和感知融合的计算要求。嵌入式软件结构保证操作系统的响应在1毫秒以内，满足高实时性的要求。在硬件结构方面，熊猫智能巴士采用x86、ARM、FPGA模式。X86CPU具有专用的实时核心，操作系统发生死机或重启，实时核心仍能正常运行，与业界常用的普通工业控制机GPU板卡模式相比可靠性高。

综合一系列技术优势，熊猫智能公共汽车可实现:

二、利润提高正确的广告推广系统

公共汽车是民间服务，也是社会必要的交通设施，其票价在世界范围内远远低于国际水平，因此我国公共汽车线路长期处于赤字状态是公认的普遍现象，国家为了保证公共汽车服务的存在，每年都需要向运营商提供大量补助金。为了控制成本，公共汽车从有人的费用变成了无人的费用，运营商也试图在车内设置广告画面创造收益。但是，单向的广告投入难以统计效果，广告很难对用户关注重点、喜好反馈、最重要的转化率形成客观的数据参考。因此，公共汽车的广告位置长期处于尴尬的位置。

为了提高公共汽车运营商的利益，熊猫智能公共汽车整车配备了7个广告屏幕，基于视频计时广告系统，结合屏幕配备的高清摄像头进行了高精度的用户行为记录。深兰科技眼控时间广告系统引入近距离眼球方向识别技术，在广告播放时间段内，系统将摄像机实时获取的客舱内乘客观看广告状况的图像进行算法处理和敏感数据脱敏处理，在保证乘客隐私的前提下，推算每位乘客的观看时间、性别、年龄段等乘客图像数据。系统可以根据这些数据正确统计各广告的投入效果，推出喜欢一段时间的广告内容，根据观众人数及其观众时间进行增值费用，使广告投入效果更加正确有效。

三、智能旅游智能巴士设施

为了优化乘客的旅游体验，深兰科学技术为熊猫智能巴士配置了多个智能应用程序，包括手脉识别收费系统、语音交互系统和无人零售系统。

手脉识别技术是高精确生物智能识别技术。通过深兰科技自主研发的特点提取算法，系统可通过近红外传感器，以非接触形式收集乘客皮肤以下3毫米处的内部生物特点，实现基于手脉的生物识别身份认证。乘客上车后，通过扫描手动自动扣除费用，比手机扫描二维码更方便。

针对乘客对路线信息、实时路况、站点周边设施等出行资讯的需求，熊猫智能公交所搭载的语音交互系统可根据车辆运行中所收集到的实时信息，以语音交互的模式为乘客提供信息服务，免除驾驶员分散注意力的风险。

在此之上，熊猫智能公交设智能有无人零售柜，其无人零售系统基于深度学习算法、计算机视觉等人工智能技术搭建。系统采用AI摄像头360度精确识别商品，自行完成贩售工作。结合手脉识别技术，乘客可以用扫描手支付，体验带走的便利购物体验。此外，根据大数据分析，无人零售系统也可以记录和分析乘客的消费情况，帮助供应商按需配置商品库存，实现精细化运营。

四、旅游安全保障乘客异常行为监视系统

公共汽车属于公共区域，其乘客身份复杂，个人异常行为影响全车乘客的舒适性和旅游安全性。针对公共汽车内的场景，深兰科学技术为熊猫智能无人车配置了异常行为分析系统，基于上述视频广告照相机，反馈了摄影范围内的乘客吸烟、受伤、物品丢失、盗窃等异常行为，并在车内显示器上联动注意。其具体功能包括:

吸烟检查:采用one-stage的检查模式，通过吸烟检查器获得不同特征图像(featuremap)的bbox指标，通过NMS(Non-maximum和suppression非常有价值的抑制算法)同时，系统配备多种定制的增长算法，提高分类器的精度，完成吸烟行为识别。

乘客区域的智能检测和警告:基于视觉广告照相机，系统可以对车内乘客区域、特定物品放置区域、货币箱、后门下客缓慢台、车内配电仓门等重点区域进行智能检测监视，对乘客进入危险区域、快速移动(车内有紧急事件的乘客快速移动、聚集等)同时，系统可以结合目标检测器识别乘车环境中的包和人的状态，判断摄像头区域内是否存在包裹丢失现象，并自动发包裹丢失提示。

偷盗检测：通过摄像头获取图像信息，先对车上乘客做检测和跟踪，并得到乘客的时间序列;随后通过使用two stre开发者_运维技巧am的方式对相关的两个行人之间的行为做判别，实现可疑/非可疑动作分析和判断，以实现偷盗识别。

摔倒检测：结合摄像头所采集的数据，通过乘客关键点检测器，跟踪模块，关键点分类四个模块，结合图像背景检测判断当前目标是站立或摔倒的状态，并将摔倒的识别结果进行告警。

五、应用成果深兰科技制造车道

目前，深兰科技以熊猫智能巴士参与广州5G运营车辆自动驾驶与车道合作示范区、天津中心生态城5G-V2X智能巴士运营示范线和武汉中央商务区自动驾驶巴士运营示范线的建设。深兰科技熊猫智能巴士已成为公司的拳头产品。成果的背景是深兰科学技术在过去3年的反复磨练和坚持制造汽车的道路:

2018年，深兰科学技术于6月推出芭堤雅自动驾驶移动零售车，结合新的零售和自动驾驶技术购物，以某店的模式在上海首次提供服务的同年9月，最初的12米熊猫智能巴士脱机，在常州和长沙试行。

2019年，AI闪闪发光的熊猫智能巴士发表会于1月在上海召开，同时在4个城市同时出发测试。之后，4月，天津政府大量购买熊猫智能巴士，乘客运行。同年6月，深兰科技围绕清洁卫生场景推出熊猫扫地王自动驾驶环卫车，为多个城市公园、广场、地铁站等场景提供服务。2019年8月，深兰科学技术正式引进氢能专家队伍，对城市配送场景推出熊猫物流车，正式进入新能源自动驾驶领域，为动力升级奠定基础。

2020年，熊猫智能巴士厚积薄发，6月份通过深圳自动驾驶测试，商业运行坪山高速铁路站线7月出发武汉，服务武汉市中心CBD路线，成为中国首条商业运行路线。

到目前为止，深兰科技是国内唯一一家获得长沙、上海、武汉、广州、深圳大型汽车自动驾驶测试牌照和武汉商业运营牌照的企业。同时熊猫巴士也是通过工信部公告进入整车目录的可批量生产的智能巴士。

在此基础上，根据公司在人工智能、自动驾驶等综合领先的科学技术和落地经验构筑的优势，深兰科学技术将进一步推出45吨自动驾驶熊猫重型卡，2021年2月8日在上海总部大楼举行项目合同仪式。根据协议，深兰科技将在两年内实现1000多台自动驾驶氢能源卡的交付，与大型港口集团、能源集团和运输集团等大型中央企业资源客户合作，共同在全国重点港口、物流、矿山等应用场景落地的无人驾驶卡和氢燃料卡产品。