QQ在線
企業微信
資訊
711
為了有效阻止新冠病毒的傳播和感染,近兩個多月來世界各國人民都帶上了口罩。雖然口罩能夠幫助我們抵御病毒 ,但先前已經廣泛使用的人臉識別系統卻無法正常工作了,包括乘坐交通工具認證、門禁、打卡、手機解鎖和付款等功能都無法正常進行。因此研發出佩戴口罩的人臉識別系統對于復工復產和正常的社會經濟活動具有十分重要的作用。
目前絕大多數的人臉識別系統都需要大規模的數據來訓練深度學習。雖然很多公司提出了自己的口罩人臉識別方案,但目前卻還沒有開源的人臉佩戴口罩公開數據集。
為了有效助力疫情防控中的人臉識別,促進復工復產的順利進行,來自武漢大學的研究人員提出了三種佩戴口罩的人臉數據集,包括1、口罩佩戴檢測人臉數據集(Masked Face Detection Dataset,MFDD)2、真實世界的口罩佩戴人臉識別數據集(Real-world Masked Face Recognition Dataset, RMFRD)3、模擬口罩佩戴人臉識別數據(Simulated Masked Face Recognition Dataset, SMFRD)
其中RMFRD是目前世界上最大的公開人臉口罩佩戴數據集,可以廣泛用于人臉識別、口罩佩戴檢測和多種識別任務中。實驗表明,這一數據和對應方法可以實現95%的佩戴口罩人臉識別準確率。
口罩抗疫,技術護航
我們周圍的每個人幾乎都在這次疫情中帶起了口罩保護自己,為抗疫作出自己的貢獻。然而在過去一段時間,人臉識別這一計算機視覺最為重要的應用在諸多場合失效了,除了日常生活不便外、在公共場所人臉識別的失效將會帶來較大的安全風險。同時在疫情期間,非接觸式的人臉識別與授權驗證的優勢也顯現了出來,比人臉識別認證比指紋識別或輸入密碼更加安全。
人臉識別技術基本上依賴于面部關鍵點和特征的檢測,絕大部分都是利用深度學習技術實現。在佩戴口罩的情況下只能漏出眉眼和額頭,需要對算法進行重新訓練,更重要的是需要龐大的佩戴口罩人臉數據對模型進行訓練。目前需求最大的任務要數口罩佩戴檢測和佩戴口罩人臉識別兩個應用了。
目前進入公共場所都需要佩戴口罩,利用視覺檢測進入場所的個人是否佩戴口罩對于疫情防控十分必要!而佩戴口罩者人臉身份識別則對于各類需要人臉識別認證、授權和支付的場合至關重要。這兩類任務需要不同的數據集進行訓練,前者只需要佩戴口罩的人臉樣本而后者則需要同一主體佩戴口罩和正常狀況下的多張照片,構建的難度更大。針對用途的不同,研究人員分類構建了口罩佩戴檢測數據集MFDD,真實口罩人臉識別數據集RMFRD和模擬人臉口罩數據集SMFRD。
三種數據集,了解一下!
MFDD的數據主要來源于兩部分:其中一部分數據來自于aizoo．com先前的研究,而另一部分則從互聯網上爬取,并對其進行了口罩佩戴和位置標注,最終構建了包含2771張口罩佩戴圖片。MFDD數據可用于訓練精確的佩戴口罩的人臉檢測模型,同時可以作為口罩人臉識別的預處理工具。此外還可用于判斷圖像中的個人是否按照規定佩戴口罩。
RMFRD則使用爬蟲爬取公眾人物的正面照和對應的口罩人臉照,并利用人工去除一系列不符合要求的人臉圖像。隨后利用LabelMe剪切了人物的頭部從而得到了包含525個人的90000張頭像。這是目前最大的公開人臉佩戴口罩數據集,下圖顯示了一些數據樣本:
為了擴充數據的多樣性,研究人員同時制作了合成數據集SMFRD,利用Dlib將口罩合成到現有的大規模人臉數據集上(包括LFW和Webface數據集),通過這樣的方法研究人員構建了包含一萬個人的五十萬張合成口罩佩戴圖像。下圖顯示了一系列合成的口罩佩戴圖像。
口罩佩戴人臉識別
人臉識別基本分為兩種場景:受控和非受控環境。
其中非受控環境主要是公共監控下,人臉的距離、光照、位姿、遮擋等帶來的不確定性,這種場景下的識別精度較低,再加上口罩后會使得精度進一步下降。
而受控場景主要包括公司門禁、打卡、火車站人臉查驗和手機解鎖等場景,這些場景具有高質量的正面照使得佩戴口罩識別的難度有所下降。即使口罩遮擋了部分面部,上半部分的眉眼額等特征也可以被用于人臉識別。
在本研究中提出的人臉識別技術兼顧了兩方面的因素,一方面是構建數據集,另一面則充分利用未被遮擋部分的人臉特征。研究人員充分利用了現有公開人臉數據集,并結合上文中提出的數據集來訓練面部-眉眼多粒度口罩人臉識別模型。研究人員對人臉輪廓、眼部、眼周圍、前額等面部可見區域的關鍵特征使用了不同的注意力權重,有效地解決了面部可識別特征的不平衡分布問題。在這些方法的提升下,研究人員最終將模型的識別精度從50%提升到了95%。
應用與展望
也許是疫情來勢兇猛,只有少數機構實現了人臉口罩佩戴情況下的準確識別。據作者了解,商湯目前在50%鼻子暴露的情況下達到了85%的準確率,漢王科技也達到了85%的識別精度,小視科技則報道了90%的識別精度。而本文提出的面部-眉眼多粒度口罩人臉識別模型則達到了95%的識別精度,但與常規情況下達到99%的人臉識別相比還不是太可靠。
而在另一識別主體是否佩戴口罩的任務中,騰訊、百度和京東等公司都達到了超過99%的精度。本文提出的數據集和算法將有效提升口罩佩戴檢測和佩戴口罩人臉識別的精度,為基于人臉的授權、驗證等場景應用提供較好的解決方案,為疫情期間甚至冬季霧霾期間佩戴口罩情況下的各類人臉識別場景作出貢獻。
山川異域,風月同天;共同戰疫,全球加油!
