计算机是如何进行指纹和掌纹识别的?为什么指纹识别有时候会失败?手机上的指纹识别与公安用的指纹识别有什么区别?1比1和1比N的指纹识别有什么区别?掌纹能用于身份识别吗?清华大学自动化系副教授、博士生导师, 中国生物特征识别学术会议(2015-2019)程序委员会主席, 国际生物特征识别学术会议(2014-2016)领域主席 冯建江带来分享《 计算机如何识别指纹和掌纹? 》。

 

冯建江演讲视频:

以下为冯建江演讲实录:

 

大家好,我是冯建江,我想介绍一些自己关于计算机识别指纹和掌纹的研究。

 

我主要讲这样几个部分——

 

 

01 指纹识别的应用

 

 

指纹识别的应用,现在已经非常广泛,我们可以粗略地将其分为三个方面:警方,政府,以及企事业单位,个人。

 

 

其中,警用AFIS是最早的自动识别系统(上世纪70年代末),因为该领域对自动识别的需求非常强烈——积累的海量数据库靠人工识别明显不现实。

 

这个系统主要有两个功能: 查犯罪前科和识别犯罪嫌疑人

 

 

大家可能知道,从犯和初犯惩罚是不一样的。所以犯罪分子如果原来犯过案,再被抓到就很可能会隐瞒。所以警察需要通过“十指比十指”来识别犯罪分子真实身份,从而查询犯罪前科。

 

 

如果在犯罪现场发现了指纹,就可以将它放到以往的数据库里面去比对,也就是“现场比十指”。这个难度要比查犯罪前科要大很多。

 

 

此外,指纹识别在各种身份证件里面也有较为广泛的应用,我们国家从2012年开始在生物特征护照以及港澳通行证里面录入指纹。目前,北京首都机场、深圳罗湖口岸等地已经启用基于生物特征(核验指纹以及人像)的自助通关。

 

2013年,身份证也开始录入指纹,目前应该超过5亿人的身份证里面有指纹了。身份证的生物特征验证系统已经在一些重要场所应用,比如一些敏感场所的出入验证,以及很多地方的高考考生身份核查。

 

 

第三类的应用种类就特别多。指纹、人脸考勤机,很早就开始应用。还有迪斯尼乐园指纹验票的例子:由于园区特别大,迪斯尼乐园就允许购买了通票的游客中间进出。但是怎样防止通票转让多人使用呢?它就要求游客第一次入园时录入指纹,将指纹与票绑定;以后再进就要通过指纹识别来验票。此外还有很多,比如指纹锁虽然出现很早,但也就是这几年普及越来越高。生活中常见的还有iphone率先引领的指纹解锁和指纹支付,等等。

 

02 指纹识别系统的一般原理

 

接下来,我就给大家讲一下各种类型的指纹识别系统一个比较共性的原理。我们把指纹识别流程进行简化,大概有以下三步, 采集、特征提取和匹配 ——

 

 

接下来,我就按照这三步来给大家分别介绍一下。

 

 

第一步是指纹采集。虽然用相机拍照的指纹图像(左图)跟大家肉眼看到的手指一致,但其实不太适合做指纹识别,因为对比度比较低。指纹识别系统希望用到的指纹是右图这样的,脊线和谷线黑白分明。

 

那么,怎样采集怎样的图像呢?

 

 

在非常非常古老的时候,人们就发现用油墨可以采集到质量非常好的指纹。所以从100多年前,警方就大规模使用油墨来采集有犯罪前科人员的指纹。他们会让犯人将每根手指都在平面纸上转一圈(rolled fingerprints),尽可能把边边角角全都采集到。此外,还会采集除大拇指外的四根手指并拢的图像(plain fingerprints)。

 

 

油墨采集指纹的方法,现在几乎不用了,取而代之的是电子化的采集设备。

 

基于超声波的采集设备虽然应用比较少;但目前高通公司推广的一项技术可能会改善现状:把手机放到显示屏下面,正面就全是屏了,一点边框都没有。

 

基于光学的采集设备非常多,警方用的基本上都是属于这一类 。它的原理是:一个倒立的三棱镜,上面是手指,左下角射来光源,右下角设置一个集成了相机的透镜(左图)。发出的光线以特定角度进入棱镜时,如果没有接触到凸起(放置手指会形成突起),就会发生全反射;而如果接触到凸起,就会被吸收,不会全反射,所以就得到了一个黑白分明的、类似油墨采集的指纹图像。

 

第三种就是基于电路的采集设备,现在的手机和电脑笔记本,都是采用这一类。它主要靠指纹凸起和凹陷的地方在电学上特征的不同来识别。

 

所以, 声、光、电都有指纹采集技术

 

采集图像之后,需要从上面要提取一些特征。什么特征呢?我们可以由从宏观到细节的三个层次来看看。

 

 

第一层,反映的是指纹上面的流线的方向场和奇异点。我们一般人说,指纹是斗型还是箕形?实际上就是第一层特征。

 

第二层,关注流线的开始,结束,以及交叉的地方,也就是脊线和细节点。

 

第三层。如果我们把图像放大,还会看到有很细节的特征,不同的人是不一样的。脊线实际上不是一条黑线,上面有很多白色的孔——也就是出汗的地方,汗孔。另外,线周围的轮廓也不是很直,有各种形状。这些特别细节的特征,对于识别也是有用的。

 

在实际中,大部分指纹识别系统都是采用这一层,也就是细节点的特征,因为 信息量非常多,而且比较稳定,也非常紧凑

 

 

这是一个示意图,展示的是怎么样从一幅图像通过提取图像处理算法,提取出脊线、细节点、方向场和奇异点等等特征。

 

 

有了这些点,将来提供两个指纹,我们就不是在对比图像,而是在对比两组点:通过某种方法,按照这些点的坐标把它编号在一起,然后就可以找到对应的点,最后根据点的匹配程度和数量计算出一个分数。

 

当然,如果平时用指纹识别的话,你肯定会发现有时候会识别就失败。也就是说,模式识别系统不是完美的,有时候会出错。我们假设系统最后会出一个分数,比如说0分就表示非常不像,100分就表示非常像。

 

 

真匹配,就是同一个人的手指之间的匹配 ,分数一般比较高;但有时候也会因为各种原因比较低。它的分数分布如图中所示,特别高和特别低的分数比较少。

 

假匹配,就是不同手指之间的匹配 ,分数一般比较低。但是它也是一个正态分布,从低到高都有。那么,对于一个系统来说,必须要出阈值——如果超过阈值,就认为这两根手指是同一个人的手指,否则就认为是不同的。

 

但是,不管阈值怎么选择,总会发生两种错误:一种是“错误不匹配”——本来是同一根手指,但是认为不匹配的;另外一种是“错误匹配”——不同手指的分数超过了阈值。

 

 

这是一些比较典型的“错误不匹配”的例子。什么情况下,会发生不匹配呢?一般来说,手指皮肤干燥(首行左)、手指磨损严重(首行中)、手指大量出汗(首行右)会导致识别失败。

 

还有一些其他的情景,也会导致错误不匹配。比如左下角这张是犯罪现场的指纹,它是从一本书上扫描出来的,干扰特别严重。手机上采集到的指纹图像(次行中),传感器太小导致得到的图像特别小,也容易出现失误。右下角是一个变形特别厉害的指纹,我们的手是软的,所以采集时如果角度或者力度非常夸张,就会形成这样比较难识别的图像。

 

接下来,我想介绍一些特殊的指纹识别系统的案例。

 

03 手机指纹识别

 

首先,就是手机指纹识别。其实,把指纹植入手机的想法,很早就出现了,但当时销量比较少;真正把指纹识别变成手机的标配是从这个iphone开始的——在iphone之前,全世界每年手机指纹传感器的出货量其实不过百万量级,但是有了iphone之后,达到了上亿量级。这样一个量级,就使得指纹识别技术往前推进了一步。

 

那么,从传感器技术到成像识别技术,手机指纹识别相比其它的指纹识别,有什么特殊性呢?

 

 

手机传感器非常小,中间这张图就是手机指纹传感器采集到的;而右边这张是比较常见的考勤机和公安用的采集设备采集到的图像。 这么小的图像,信息量肯定也比较少 ,有点像设置密码,两位数的密码和八位数的密码肯定不一样。

 

那么,该怎么提高识别率?目前有三方面的技术可以解决这个困境。

 

 

第一点,多次注册。大家首次使用手机注册指纹的时候,它一般会要求你反复地摁,还要不停地更换手指的位置。这样,手机就会存储手指各个角度的图像,就用一个比较小的传感器采集到了尽可能多的信息。

 

 

第二点,充分利用指纹特征。虽然可以注册多次,但使用的时候图像还是很小,所以要从这个很小的图片里面提取尽可能多的信息。如果我们还用传统的信息特征的话(比如细节点),那阈值就太低了(质量很好的图像可能只有两个细节点),错误匹配就会非常高。所以,现在手机指纹识别普遍采用的技术,是希望能够把指纹里面那些不如细节点稳定和显著的特征也都用上。手机的指纹识别属于高频应用,一天会用很多次,所以这个时刻采集,然后隔个几分钟再采,就还是比较稳定的。

 

 

第三点,模板更新。我们把这个注册的指纹信息叫做模板指纹,会随着使用不断更新——它会学习在各种皮肤状况下手指的状态,这项技术很重要。如果指纹识别成功,它就会认为是同一个人手指,就会把信息更新进去。所以,用得越多,识别也会越顺利。

 

但是去年出了一个漏洞:有一个人的苹果手机的指纹传感器摔碎了,然后他就发现其他人的手指也能解锁。后来,用橘子皮也能解锁手机,事实上任何东西只要碰一下就开了。

 

为什么会出现这样的事?就是因为模板更新。当传感器有裂缝的时候,手机会把裂缝本身 也当成一个模板存进去;而裂缝一直存在的,所以随便拿一个东西去摁,它就会发现新图像和刚才存的那个模板一致,所以谁都能解开。

 

04 刑侦指纹识别

 

接下来,我想介绍一下刑侦指纹识别。

 

 

所谓刑侦指纹识别,是指从犯罪现场提取一个很脏的一个指纹,然后到十指指纹数据库里去检索。大家可能也会注意到,有时候新闻上会说一个指纹破获了几十年的一起命案,这样的案例非常非常多——少部分案件因为社会影响太大,所以会上新闻,实际上指纹破案数量非常惊人。我们国家,每年靠指纹侦破的案件就超过10万起,也是因为这个原因,指纹被称为“物证之首”。

 

指纹有三个特性:唯一、终身不变、触物留痕 。其中,第三点对破案非常重要。

 

那刑侦指纹识别的难题是什么?

遗留的现场指纹非常不清晰,而且数据库非常庞大

 

这样的技术难题,该怎样解决呢?

 

 

这个视频介绍了怎样提取现场指纹。白色的板子曾被手指摸过,开始什么都看不见;但是工作人员用一个沾了黑色磁粉的刷子在上面刷,刷着刷着,指纹就显现出来了。

 

 

提取出来的指纹图像质量比较差(特别是相比传统的光学采集仪采集到的指纹),这时候就需要一种指纹图像增强技术,能够尽可能地把特征还原出来。图中所示的是一种增强技术,是将指纹上面每个位置,都用滤波器进行处理,有点像把噪音去掉、只保留指纹本身的信息。

 

 

嫌疑人的识别需要在一个很大的数据库里面比对查找,也就是1对N识别技术。N代表的数字非常庞大,我国犯罪前科人员数据库里面的指纹数量已经好几亿了。所以,将一个指纹放到好几亿个指纹里面去查谁跟它最像,难度非常大。这些年虽然技术一直在提升,但是确实太难了。

 

那么,现在公安怎么去查犯罪嫌疑人呢?人机融合。自动指纹识别系统会返回一个可能的列表(可能有,也有可能没有;可能在第一名,也有可能在第几十名),经过训练的公安指纹专家,在一套工具的帮助下一个一个去找。

 

05 掌纹识别

 

最后,我想简要介绍一下掌纹识别。

 

 

掌纹其实跟指纹非常类似,相机直接拍摄到的掌纹图像也不适合做识别。掌纹识别需要的掌纹主要用光学采集仪,利用的原理就是全反射,能够采集到这种黑白分明的掌纹图像。

 

 

掌纹的特征,其实跟指纹基本对应(脊线、细节点、汗孔、奇异点), 唯一的区别就是掌纹上的皱褶特别多 ,比如说图中蓝色线条就表示了三个主要皱褶,算命上也叫生命线、事业线、爱情线。除此之外,还有一些细一点、但是数量特别大的次要褶皱,特别是大拇指下面这块。掌纹上的褶皱跟年龄没有关系,小孩子的皱褶也很多。

 

 

掌纹识别,大家可能平常都没接触过,因为它主要应用在刑侦破案上面:警方抓到一个犯罪分子之后,会把他这个掌纹和指纹都会录上去,将来如果在犯罪现场发现掌纹,就可以通过掌纹识别去破案了。

 

有一项统计数据指出,犯罪现场有30%的手纹是掌纹,70%是指纹,量还是很大的。实际上掌纹识别技术跟指纹非常类似,主要的区别就是掌纹的奇异点数量非常多,图像又很大,所以运算采集的成本比较高。因此,这项技术进入实际应用的时间要比指纹要晚一些,范围也比较窄。

 

以上就是我的分享,谢谢大家。

 

演讲嘉宾冯建江:《计算机如何识别指纹和掌纹?》

    

作者:冯建江

编辑:麦芽杨、凝音

手机为什么能认出是我在解锁它?|冯建江

图文简介

计算机是如何进行指纹和掌纹识别的?为什么指纹识别有时候会失败?