无论是复杂的背景、多样的姿态、不同的尺度变化以及不同的衣着,步态识别系统都能够非常快速准确地分割出人像。 |
这是一场惊心动魄的人机对战。
在央视大型科技挑战节目《机智过人》中,由中科院自动化所研发出的步态识别系统,先后对10个身高、体型相似的蒙面人“嫌疑犯”与21只体型、毛色相似的金毛犬进行识别,在与“最强人类”袁梦(国际记忆大师,曾成功从168条音轨中辨识出TFBOYS三位的音轨)的挑战中,均取得了成功。
凭借“远距离步态识别系统研究与应用”项目,中国科学院自动化研究所及其所孵化的人工智能企业银河水滴科技(北京)有限公司,获得2018年度北京市科学技术奖二等奖。
又快又准,不看脸也能快速辨认
步态识别是一种非接触的生物特征识别技术。顾名思义,就是通过人们走路的姿态进行身份识别。“设想这样一个情景:某人头戴帽子口罩,脸部被遮挡,并离摄像头很远,这时已经无法根据脸部信息识别其身份,然而仍然可以分析他的步态信息,通过步态识别系统识别他的身份。”项目负责人、中科院自动化所研究员王亮举例说,与其他生物识别技术相比,步态识别具有远距离、非接触、不易伪装等优点。
首先是步态识别适用距离更远。通常情况下,为达到良好识别效果,虹膜识别需要目标在60厘米以内;人脸识别需要目标在3米以内;而步态识别的目标可以远达50米。其次是步态识别为非受控识别,无需识别对象主动配合与参与。指纹识别、虹膜识别、人脸识别等都需要识别对象主动配合。步态是远距离、非受控场景下唯一可清晰成像的生物特征,即便一个人在几十米外背对普通摄像头随意走动,步态识别算法也可对其进行身份判断。再者,步态难以伪装。不同的体型、肌肉骨骼特点、运动神经灵敏度、走路姿态等特征共同决定了步态具有较好的区分能力,通过精巧设计的算法和海量数据的训练,机器可以更好地识别这些细节特征。
黑科技满满的《碟中谍5》中,最吸睛的当属安保系统的最后一道防线——步态识别,通过分析人的身体体型和行走姿态来识别身份,这道防线让阿汤哥也难以瞒天过海。“每个人的肌肉力量、肌腱和骨骼长度和密度,以及每个人的神经灵敏程度、协调能力、体重、重心等生理条件都是不同的,所以,每个人走路的姿势都是不同的。人们可以借助道具将自己的外形甚至是性别进行翻天覆地的改变,却没办法改变自己的走路姿态。”王亮表示。
而相较于依靠人力从海量监控视频中快速查找目标人物的做法,步态识别不仅能实现对人海战术的替代,极大提升检索和识别的效率和准确度,而且当出现远距离、非配合、全视角(如只有侧面和背面身形)、弱光线、人脸隐蔽/遮挡、目标人物多次换装等一种或多种情况时,用步态识别技术也能成功搜检目标人物。
精确的图像分割和数据算法支撑
然而,要精确地通过步态特征识别出人的身份信息,需要复杂的系统支撑。步态识别系统包含了检测、跟踪、分割、识别等部分,任何一个模块都将对整体系统产生影响。
“远距离步态识别系统研究与应用”项目在算法层面对步态识别系统的4个关键模块分别进行研发,通过行人检测算法,将行人从背景中找出来,检测算法需要能够处理远距离、复杂背景以及部分遮挡等情况;与人脸识别只对一张图片识别不同,步态识别需要收集同一个人行走的视频序列,且实际场景中通常有多个人需要同时识别,因此需要使用在线多目标跟踪技术将同一个人的序列收集起来;步态能够去除着装颜色的干扰,只关注人走路的方式,因此需要使用人形分割算法将人从背景中分离出来;最后,对一系列分割序列通过步态识别算法进行识别。
在中科院自动化所的模式识别国家重点实验室,记者看到了项目的“高精度人形图像分割方法”演示。无论是复杂的背景、多样的姿态、不同的尺度变化以及不同的衣着,系统都能够非常快速准确地分割出人像。
“我们采用的是人形区域内像素点的多尺度上下文信息来表达人形目标,通过多通道深度学习网络来描述人形局部区域的不同尺度上下文信息。”王亮讲道,这种方法以模式识别和计算机视觉理论为指导,结合最新的深度学习算法,融合各个尺度的图像信息,能够将目标人物从背景中快速准确地分离出来。与传统的图模型方法需要对像素点之间建模,导致计算量大、难以收敛等问题相比,该方法具有很强的语义信息,并在由百度公司悬赏的人形图像分割大赛中,以绝对优势获得冠军。
此外,他们借助传统的步态识别的先验知识,结合最新的深度学习方法,能够在只给定某个视角的情况下,跨视角地识别出该人在其他视角的步态序列。“使用基于“正负对”的训练方式,可以充分地扩充样本数量,即使对很少的训练数据也能达到很高的结果。这种方式在人脸识别、行人再识别领域也有广泛应用。”在此基础上,项目组还提出了一种基于拓扑表达的跨视角步态识别方法来描述步态的整体时空结构,在跨视角和遮挡的条件下,比传统方法表现出了更强的鲁棒性和更高的识别精度;对跨着装以及跨背包的场景,也都能获得更好的结果。
除了算法以外,充足的数据支持是步态识别系统“聪明与否”的后盾保障。目前基于深度学习的步态识别相关算法都需要大量的数据,因此算法和数据之间的不断迭代是十分必要的。王亮告诉记者,中科院自动化所的CASIA步态数据库有三个数据数据集,即Dataset A(小规模库), Dataset B(多视角库)和Dataset C(红外库)。其中,Dataset B是一个大规模、多视角的步态库,世界知名,而银河水滴的步态数据库则已经超过Dataset B近100倍,命名为“CASIA—E”。
产学研紧密结合,不断拓展新应用场景
得益于中科院自动化所在计算机视觉领域20多年的技术积累,银河水滴在中科院“技术+团队”的离岗创业政策激励下成立。银河水滴联合中科院自动化所目前已经启动人工智能人才联合培养计划,联合打造中国顶级人工智能实习基地。该人才计划将配备强大的导师队伍,每位实习生配备至少一名中科院自动化所老师和银河水滴高级工程师做指导,银河水滴的技术应用场景将全部开放,供实习生研究和实地演练。
“在产、学、研紧密结合下,参与该人才计划的实习生,其人工智能算法和产品能力将得到巨大提升。”作为中国首个步态识别博士、模式识别国家重点实验室副主任,以及银河水滴联合创始人,王亮对于步态识别的产业化充满了信心。他表示,不要仅仅发表论文,通过银河水滴,把科研成果变成产品形成产业,提供世界领先的视觉大数据分析技术,是对年轻人很大的激励。
基于项目的一系列人工智能关键技术研发,银河水滴目前已经在公共安全以及智能家居领域取得了很好的进展。王亮介绍,项目所开发的步态检索系统,在维护公共安全方面发挥了重要作用;银河水滴在实现步态识别基本技术的基础上,还将全类型人脸识别以及人群计算应用于泛身份识别构建之中,以达到更精确的识别结果。“目前人脸识别方案在主流数据库上达到99%的识别率并可保持实时性;在远距离人脸识别方面,可对普通2K摄像机中25米外的人群进行实时人脸识别。”
在商业化应用方面,银河水滴科技已经基于产品雏形,面向安防、油田和家电等领域进行推广,寻找更多适合步态识别应用的客户,推动了传统行业的智能化升级:石油企业引入步态识别技术完善防控网络,防范非法闯入者对油田安全的威胁和对油田经济利益的损害;在智能家居领域,步态识别可很好地区分用户属性,开发的嵌入式模组,具有很大的成本优势及体积优势,不仅能替代遥控器等传统操作工具,还可以让家电感知更加智能化、服务更加个性化。“譬如,根据家庭成员的步态特征,空调可以及时识别老人、小孩等特殊人群的活动范围,能够根据不同人群调整空调的出风角度、出风量及温度,让温度控制更适合人群需求。”王亮说。
与此同时,步态识别也面临着很多挑战亟须解决:比如在人群密集场所,如何解决遮挡情况下的身份识别?智能深度传感硬件Kinect等又会对步态识别产生什么影响?王亮表示,这一系列的问题仍然需要我们在未来去深入探索。接下来,银河水滴科技还将选择一两个属于蓝海市场的细分领域深挖下去,与中科院自动化所紧密配合,做好科技成果的产业化。