視美泰openAI技術(shù)白皮書(shū)

　　----------------------------------------

　　Smartview AI SDK 向開(kāi)發(fā)者提供基于人臉識(shí)別的多種類(lèi)型的開(kāi)發(fā)包。

　　視美泰致力于為合作伙伴提供便捷準(zhǔn)確的人臉識(shí)別技術(shù)(包括但不限于人臉驗(yàn)證、人臉?biāo)阉鳌⑷四槞z測(cè)、關(guān)鍵點(diǎn)檢測(cè)、屬性檢測(cè)等)，為智慧標(biāo)牌、智慧零售、智慧安防等多個(gè)場(chǎng)景提供軟硬件一體化的系統(tǒng)級(jí)人臉識(shí)別解決方案。

　　核心技術(shù)簡(jiǎn)介

　　-------------------------------

　　1、人臉檢測(cè)

　　在靜止圖像或者視頻流中，人臉檢測(cè)技術(shù)能快速準(zhǔn)確地檢測(cè)出多張人臉的位置?；谏疃葘W(xué)習(xí)的人臉檢測(cè)算法，對(duì)光線變化，角度變化，不同膚色，不同年齡的人臉都有較好的適應(yīng)性，克服了側(cè)臉、半遮擋、模糊人臉等難題，極大提升了各種現(xiàn)實(shí)情況中的人臉檢出效果。

　　2、關(guān)鍵點(diǎn)定位

　　在人臉檢測(cè)的基礎(chǔ)上，可以進(jìn)行人臉關(guān)鍵點(diǎn)檢測(cè)(眼角，眉毛尖端，嘴角，鼻尖等)，每個(gè)特征點(diǎn)可以以圖像坐標(biāo)的形式表現(xiàn)，特征點(diǎn)數(shù)量的多少(21 點(diǎn)，106 點(diǎn))可以表達(dá)不同精度的人臉變化。人臉檢測(cè)技術(shù)中的關(guān)鍵點(diǎn)定位算法可對(duì)各種表情、姿態(tài)、角度豐富多變的人臉進(jìn)行精準(zhǔn)關(guān)鍵點(diǎn)定位。我們的技術(shù)經(jīng)測(cè)試(在 LFW 1 數(shù)據(jù)集上隨機(jī)選取 80%訓(xùn)練和 20% 測(cè)試，計(jì)算所有圖的平均每點(diǎn)誤差與眼距之比的平均誤差)誤差僅為 4.02% 。

　　2、人臉屬性檢測(cè)

　　人臉屬性檢測(cè)技術(shù)不僅可以準(zhǔn)確識(shí)別照片中人物的性別和年齡，也提供表情、顏值、 戴眼鏡、戴墨鏡、微笑等屬性。目前可檢測(cè)出年齡、性別、顏值、眼鏡、太陽(yáng)鏡、口罩、種族、睜眼、張嘴、胡須、微笑、生氣、平靜、困惑、 厭惡、高興、難過(guò)、害怕、驚訝、斜視、尖叫 21 種人臉屬性。

　　3、活體檢測(cè)

　　活體檢測(cè)技術(shù)能夠判斷在一段視頻中出現(xiàn)的人臉是活人還是照片，視美泰提供單目活體檢測(cè)技術(shù)，也就是只需要一個(gè)普通的USB攝像頭，當(dāng)被檢測(cè)者進(jìn)入到攝像監(jiān)控范圍內(nèi)，通過(guò)深度學(xué)習(xí)的活體檢測(cè)算法，1~2秒內(nèi)即可完成活體檢測(cè)。此舉在不增加硬件成本的基礎(chǔ)上，大大提高了識(shí)別認(rèn)證精度，有效避免人臉存在較大變化情況下識(shí)別失敗的問(wèn)題，可以有效抵御照片、視頻等欺騙手段，做到真正精準(zhǔn)安全的智能身份核驗(yàn)。

　　4、人臉驗(yàn)證系統(tǒng)

　　人臉驗(yàn)證技術(shù)可以實(shí)現(xiàn) 1:1和 1:N的人臉相似度比對(duì)，適用于身份識(shí)別及相似臉查詢等應(yīng)用場(chǎng)景。該技術(shù)采用深度學(xué)習(xí)方法對(duì)大量數(shù)據(jù)進(jìn)行特征提取，利用特征匹配程度來(lái)區(qū)分不同的人臉。

　　4.1人臉驗(yàn)證

　　人臉驗(yàn)證(Face Verification)可以計(jì)算兩張人臉的相似度，從而判斷是否為同一個(gè)人。

　　4.2人臉庫(kù)搜索

　　人臉庫(kù)搜索模塊可用于在大規(guī)模人臉數(shù)據(jù)庫(kù)中快速搜索相似的人臉數(shù)據(jù)，以確定身份。通過(guò)預(yù)先創(chuàng)建待查人員的面部特征索引，可在人臉數(shù)據(jù)庫(kù)中迅速查找相似人臉。

　　Smartview AI SDK優(yōu)勢(shì)

　　----------------------------------

　　視美泰的Smartview AI SDK支持Android系統(tǒng)，通過(guò)提供完整的API和測(cè)試APP以及測(cè)試APP源代碼，幫助用戶更高效地實(shí)現(xiàn)自主產(chǎn)品功能的開(kāi)發(fā)。

　　1、識(shí)別精準(zhǔn)

　　基于DeepID (深分證)的深度學(xué)習(xí)模型， 在公開(kāi)的LFW (Labeled Faces in the Wild)數(shù)據(jù)庫(kù)測(cè)試中，該解決方案的人臉驗(yàn)證技術(shù)可達(dá)到世界領(lǐng)先的 99.53% 準(zhǔn)確率(技術(shù)源自香港 中文大學(xué)的 DeepID3 3 )，已超過(guò)了人眼自身的識(shí)別能力(人用肉眼在LFW上的識(shí)別率為97.52%)。

　　2、極速高效

　　基于ARM NEON和Mali GPU，在視美泰RK3288系列以及RK3399系列人工智能硬件平臺(tái)可實(shí)現(xiàn)極速核驗(yàn)：

　　1)、人臉驗(yàn)證測(cè)試結(jié)果

　　測(cè)試方法：循環(huán) 10 次調(diào)用接口，取單次平均耗時(shí)。

　　時(shí)間：人臉特征提取時(shí)間

　　2)、人臉屬性測(cè)試結(jié)果

　　測(cè)試方法：循環(huán) 10 次調(diào)用人臉屬性檢測(cè)接口，取單次平均耗時(shí)。

　　平均每張人臉耗時(shí)(ms)：

　　3、離線識(shí)別

　　支持離線人臉識(shí)別，在本地處理所有數(shù)據(jù)。用戶只要提前將數(shù)據(jù)(卡號(hào)、指紋、人臉)導(dǎo)入，即可在獲取被識(shí)別者人臉信息、證件信息后在本機(jī)上進(jìn)行比對(duì)驗(yàn)證。

　　4、深度定制

　　視美泰的Smartview AI SDK針對(duì)ARM指令集的深度優(yōu)化，大幅提升性能，支持專有的人臉識(shí)別加速框架，方便用戶開(kāi)發(fā)上層應(yīng)用。

　　開(kāi)發(fā)資料

　　------------------------------

　　1、API文檔

　　視美泰為用戶提供API文檔，包括模塊介紹、Android開(kāi)發(fā)包、API列表、環(huán)境的搭建以及函數(shù)的調(diào)用等。

　　2、測(cè)試APP

　　視美泰可提供測(cè)試APP作為測(cè)試?yán)?，通過(guò)模擬典型應(yīng)用場(chǎng)景來(lái)測(cè)試Smartview AI SDK，包括：

　　1)、人臉檢測(cè)：通過(guò)攝像頭捕捉人臉，顯示人臉的性別和年齡信息以及人數(shù)統(tǒng)計(jì)。

　　2)、人臉驗(yàn)證：輕量級(jí)人臉驗(yàn)證，在人臉庫(kù)中預(yù)先注冊(cè)人臉信息，再通過(guò)攝像頭捕捉人臉，將捕捉到的人臉信息與人臉庫(kù)的信息進(jìn)行比對(duì)核驗(yàn)并返回驗(yàn)證結(jié)果。

　　3、測(cè)試 APP源代碼

　　視美泰的Smartview AI SDK為用戶提供測(cè)試APP源代碼，用戶可以參考測(cè)試APP源碼，根據(jù)自身需求進(jìn)行應(yīng)用軟件的開(kāi)發(fā)。

　　Smartview AI SDK分類(lèi)

　　----------------------------------

　　1、人臉識(shí)別硬件平臺(tái)

　　基于視美泰的高運(yùn)算性能RK3288系列及RK3399系列人工智能硬件平臺(tái)，可以為人工智能產(chǎn)品化提供無(wú)限可能，并且通過(guò)專業(yè)的硬件開(kāi)發(fā)，嵌入式開(kāi)發(fā)，系統(tǒng)開(kāi)發(fā)以及應(yīng)用開(kāi)發(fā)等服務(wù)幫助合作伙伴加快項(xiàng)目落地。

　　1)、RK3288系列人工智能硬件平臺(tái)

　　推薦主板：IoT-3288A / IoT-3288E

　　2)、RK3399系列人工智能硬件平臺(tái)

　　推薦版型：IoT-3399E

　　2、Smartview AI SDK開(kāi)發(fā)包分類(lèi)

　　Smartview AI SDK 向開(kāi)發(fā)者提供基于人臉識(shí)別的多種類(lèi)型的開(kāi)發(fā)包。針對(duì)不同的應(yīng)用環(huán)境，目前提供 4種類(lèi)型的系統(tǒng)級(jí)人臉解決方案：

　　1)、MIPS_AI_Basic(標(biāo)準(zhǔn)版人臉識(shí)別模塊)：

　　提供人臉跟蹤、人臉屬性識(shí)別(年齡、性別等)、人臉比對(duì)、人臉?biāo)阉鞯裙δ?/p>

　　2)、MIPS_AI_Basic_GerLivenessOffline(標(biāo)準(zhǔn)版人臉識(shí)別+活體識(shí)別模塊)：

　　除提供標(biāo)準(zhǔn)版人臉識(shí)別功能外，還提供活體識(shí)別功能;

　　3)、MIPS_AI_Basic_IDCheckOffline(人證比對(duì)模塊)：

　　提供人臉跟蹤、人臉比對(duì)、人臉?biāo)阉鞯裙δ?，與標(biāo)準(zhǔn)版的區(qū)別在于，人臉比對(duì)模塊使用的模型是針對(duì)人臉比對(duì)場(chǎng)景有特定優(yōu)化，人臉 1：1、1：N 比對(duì)準(zhǔn)確率更高。

　　4)、MIPS_AI_Basic_ _ LivenessIDCheckOffline(人證比對(duì)+活體識(shí)別模塊)：

　　除提供人臉比對(duì)外，還提供活體識(shí)別功能;

　　3、開(kāi)發(fā)包導(dǎo)入方式

　　Smartview AI SDK 包含 android開(kāi)發(fā)包：MIPS_AI_Basic_GerLivenessOffline.jar，導(dǎo)入此包即可開(kāi)始開(kāi)發(fā)。支持兩種導(dǎo)入方式：

　　1)、采用授權(quán)工具(MIPS_AI_Authorization.apk)手動(dòng)授權(quán)，

　　2)、采用 API( mipsGetDeviceInfo )獲得設(shè)備信息，集中授權(quán)。

　　Smartview AI SDK 典型應(yīng)用

　　---------------------------------------

　　人臉識(shí)別閘機(jī)

　　基于視美泰Smartview AI SDK的人臉識(shí)別閘機(jī)解決方案支持在設(shè)備本地獲取人臉圖像，調(diào)用人臉查找API，基于查找結(jié)果判斷是否可以放行，將返回結(jié)果通過(guò)信號(hào)指令傳輸給閘機(jī)或門(mén)禁，并完成設(shè)備聯(lián)動(dòng)。

　　人臉識(shí)別考勤機(jī)

　　用戶提前將數(shù)據(jù)(卡號(hào)、指紋、人臉)導(dǎo)入，即可在獲取被識(shí)別者人臉信息、證件信息后在本機(jī)上進(jìn)行比對(duì)驗(yàn)證。并且利用前端采集設(shè)備新獲取的人、證信息還可以實(shí)時(shí)回傳比對(duì)記錄供后臺(tái)系統(tǒng)實(shí)現(xiàn)遠(yuǎn)程數(shù)據(jù)分析。

　　人臉識(shí)別標(biāo)牌

　　基于Smartview AI SDK的支持，數(shù)字標(biāo)牌可實(shí)現(xiàn)精準(zhǔn)推廣以及客流統(tǒng)計(jì)，根據(jù)顧客的性別以及年齡等屬性自動(dòng)切換到更精準(zhǔn)的廣告信息。并且前端實(shí)現(xiàn)通過(guò)人臉檢測(cè)抓取分析客群年齡、性別，后端系統(tǒng)可自動(dòng)進(jìn)行數(shù)據(jù)的整合分析。

　　人臉識(shí)別支付

　　搭載視美泰人臉識(shí)別技術(shù)的智慧自助終端可以實(shí)現(xiàn)人臉識(shí)別支付功能，以自動(dòng)售貨機(jī)為例，可支持消費(fèi)者預(yù)先充值到個(gè)人賬戶后，再次購(gòu)物時(shí)登陸賬號(hào)刷臉支付購(gòu)物。