中科視拓免費開放口罩人臉檢測與識別技術

疫情初期，中科視拓緊急研發口罩人臉檢測與識別技術，可以自動檢測是否佩戴口罩，又能實時進行口罩佩戴場景下的人臉精準識別。

中科視拓免費開放口罩人臉檢測與識別技術

全中科視拓免費開放口罩人臉檢測與識別技術民抗疫形勢下，口罩已成為復工復產的標配。對于人臉識別技術廠商而言，兩個應用需求應運而生：

1、檢測人臉是否佩戴口罩；

2、在戴口罩的情況下依舊能夠實現高精度人臉識別。

疫情初期，中科視拓緊急研發口罩人臉檢測與識別技術，可以自動檢測是否佩戴口罩，又能實時進行口罩佩戴場景下的人臉精準識別。近日，隨著技術測試成熟，中科視拓將免費開放安卓版本口罩人臉檢測與識別技術，提供給生產抗疫產品的公司，支持復工復產抗疫工作。

圖｜口罩佩戴檢測

圖｜口罩下人臉識別技術

中科視拓口罩人臉檢測與識別技術作為SeetaFace人臉識別與感知計算解決方案的新亮點，應用部署方式靈活，能夠單機應用、聯網管理，還可以對接疫情平臺。

對于社區、寫字樓、學校等防疫一線，日常需要進行口罩檢查、人員進出、防止陌生人進入等管理工作，人工排查費時費力。中科視拓口罩人臉檢測與識別技術升級樓宇、電梯和出入口的人臉識別設備性能，實現無感通行、一臉通，內部人員可佩戴口罩直接刷臉進出，訪客提前在系統后臺申請登記后也可戴口罩刷臉進出。無接觸式操作避免摘下口罩導致的交叉感染風險，同時有效減少人員排隊聚集現象，提高工作人員排查和管理外來人員的效率。

對于商場商鋪、高鐵、機場等人員密集、流動性大的公共場合，口罩人臉檢測與識別能夠自動檢測是否佩戴口罩，減少防疫工作人員工作量。人臉識別核驗身份，抓拍的數據可對接公安平臺，進行人員布控和人員聚集管控，也適用于公安抓捕遮擋面部的逃犯等安防場景。

口罩佩戴檢測場景示例：

口罩下人臉識別場景示例：

技術原理

傳統的人臉識別是通過全臉關鍵特征點定位來實現的，而口罩遮擋了鼻子、嘴巴等大部分面部有效信息，影響識別準確率。中科視拓口罩人臉檢測與識別技術能夠自動檢測并去除口罩信息，對未被遮擋的部位進行關鍵點精準定位，從而實現人臉識別。

01 人臉檢測

使用RetinaFace算法，基于MobileNet0.25骨干網絡，使用摻入50%帶口罩人臉的檢測數據進行訓練，得到可以同時檢測戴口罩和未戴口罩人臉的檢測模型。

02 口罩檢測

在人臉關鍵點算法的基礎上，通過多任務訓練的模式，增加一個新任務用于人臉遮擋物分類（未遮擋，口罩遮擋，手部遮擋等等）的識別，數據組成上增加了20%比例的戴口罩數據和其他人臉遮擋數據，并使用一般關鍵點模型進行Finetune訓練微調，最終得到可以同時進行關鍵點定位和口罩遮擋識別的模型。

03 戴口罩情況下的人臉識別模型訓練

通過摻入了20%以上戴口罩的人臉識別數據集訓練專門戴口罩識別模型，然后調整整個識別的Pipeline為先檢測是否戴口罩，如果判斷為帶口罩則使用戴口罩的識別模型進行識別，否則使用常規識別模型進行識別。如下圖示例：

04 SDK封裝

TenniS(Tenser based Edge Neural Network Inference System)是中科視拓自主研發的AI算法部署框架，提供從多個訓練框架到多種硬件平臺的通用部署能力。

通常AI算法是由專門的訓練框架（如TensorFlow、PyTorch、Caffe）訓練之后，通過一定手段進行部署，根據部署平臺的需求，封裝成最終要使用的SDK。

TenniS框架的一般部署邏輯如下圖：

圖｜TenniS部署算法結構圖

中科視拓把核心的網絡結構等價轉換為TenniS的模塊，從而完成結果的推理。部署框架采用相同的預處理，并使用更新后的人臉識別的幾個步驟：人臉檢測、關鍵點定位、人臉特征提取，都是采用這種方式。在人臉特征提取的過程中，“預處理”就是通過人臉對齊，得到對齊裁剪好可以直接提取特征的圖片。這些經過“預處理”的圖片，最終經過框架的推理，得出最終結果。

圖｜TenniS支持的框架和硬件 

利用TenniS Module的高擴展性模型表達，中科視拓可以將各種深度學習的框架模型最終部署到各個運行平臺上。利用TenniS提供好的兼容性底層，還可以在各個平臺終端上部署自行標注的C++ SDK包。

2016年和2019年，中科視拓陸續開源了SeetaFace1.0人臉識別引擎和SeetaFace2商用級人臉識別算法。此次免費開放口罩人臉檢測與識別技術，一方面可以與更多的開發者一起為企業、高校復工復產作出力所能及的貢獻；另一方面也可以推動算法交流，加速AI行業協同創新。

最后，記得關注微信公眾號：鎂客網（im2maker），更多干貨在等你！