TW201835805A - 遠距離的身份辨識方法及其系統與電腦可讀取記錄媒體 - Google Patents

遠距離的身份辨識方法及其系統與電腦可讀取記錄媒體 Download PDF

Info

Publication number
TW201835805A
TW201835805A TW106109923A TW106109923A TW201835805A TW 201835805 A TW201835805 A TW 201835805A TW 106109923 A TW106109923 A TW 106109923A TW 106109923 A TW106109923 A TW 106109923A TW 201835805 A TW201835805 A TW 201835805A
Authority
TW
Taiwan
Prior art keywords
user
registered
similarity
image
information
Prior art date
Application number
TW106109923A
Other languages
English (en)
Other versions
TWI604332B (zh
Inventor
徐佑鈞
卓卿安
何明哲
Original Assignee
緯創資通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 緯創資通股份有限公司 filed Critical 緯創資通股份有限公司
Priority to TW106109923A priority Critical patent/TWI604332B/zh
Priority to CN201710232732.7A priority patent/CN108629261B/zh
Priority to US15/669,965 priority patent/US10423848B2/en
Application granted granted Critical
Publication of TWI604332B publication Critical patent/TWI604332B/zh
Publication of TW201835805A publication Critical patent/TW201835805A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/155Segmentation; Edge detection involving morphological operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50Maintenance of biometric data or enrolment thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70Multimodal biometrics, e.g. combining information from different biometric modalities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

一種遠距離的身份辨識方法及其系統與電腦可讀取記錄媒體,此方法適用於具有影像擷取裝置以及深度感測器的系統並且包括下列步驟。利用影像擷取裝置擷取使用者的影像,以產生使用者影像,並且利用深度感測器偵測使用者的深度資訊,以產生使用者深度資訊。根據使用者影像以及使用者深度資訊,取得使用者的多個軟性生物特徵,其中上述軟性生物特徵包括使用者的輪廓資訊以及多個身體部位特徵。根據上述軟性生物特徵,利用多個已註冊使用者的註冊資訊,計算使用者的軟性生物特徵相似度,據以輸出使用者的身份辨識結果。

Description

遠距離的身份辨識方法及其系統與電腦可讀取記錄媒體
本發明是有關於一種身份辨識方法及其系統與電腦可讀取記錄媒體,且特別是有關於一種遠距離的身份辨識方法及其系統與電腦可讀取記錄媒體。
隨著人機介面的應用日漸普及以及數位化的發展趨勢,目前已發展出的身份辨識技術種類繁多,其大致可略分為近距離以及遠距離兩大類。
近距離的身份辨識可細分為基於人體生物特徵以及基於行為特徵兩類。基於人體生物特徵的辨識例如是臉部、指紋、虹膜辨識等技術發展成熟且辨識率佳,但皆需要在使用者正對鏡頭或是手指放置在指紋辨識器上等特定情境才能使用。基於行為特徵的辨識例如是聲紋或是簽名等亦是需要在使用者進行特定行為時才能使用,並且此類技術對於距離的要求高甚至為接觸性,因而增加了應用的限制。
另一方面,遠距離的身份辨識包括例如步態、穿著等非接觸性的辨識方式,因此使用上彈性較高,適用於安全監控系統或是機器人視覺上。然而,遠距離所能獲取到的人體特徵較少且不明確。以步態辨識而言,其雖擁有其獨特性並且不易偽裝,但辨識過成需要經由一連串的影像序列進行判斷,因此辨識過程相當耗時。此外,步態辨識會因為穿著的舒適度或是身體受傷而影響到判斷結果。以穿著辨識而言,相同使用者的穿著變化極多,且不同使用者有可能具有相似的穿著,導致其辨識的獨特性較弱。因此,遠距離的身份辨識成效相對較差。
有鑑於此,本發明提供一種遠距離的身份辨識方法及其系統與電腦可讀取記錄媒體,其可達到非接觸性、速度快並且高成效的身份辨識。
在本發明的一實施例中,上述遠距離的身份辨識方法適用於具有影像擷取裝置以及深度感測器的系統並且包括下列步驟。利用影像擷取裝置擷取使用者的影像,以產生使用者影像,並且利用深度感測器偵測使用者的深度資訊,以產生使用者深度資訊。根據使用者影像以及使用者深度資訊,取得使用者的多個軟性生物特徵,其中上述軟性生物特徵包括使用者的輪廓資訊以及多個身體部位特徵。根據上述軟性生物特徵,利用多個已註冊使用者的註冊資訊,計算使用者的軟性生物特徵相似度,據以輸出使用者的身份辨識結果。
在本發明的一實施例中,上述身份辨識系統包括影像擷取裝置、深度感測器、記憶體以及處理器,其中處理器耦接影像擷取裝置、深度感測器以及記憶體。影像擷取裝置用以擷取影像。深度感測器用以偵測深度資訊。記憶體用以儲存多個已註冊使用者的註冊資訊。處理器用以利用影像擷取裝置擷取使用者的影像,以產生使用者影像,並且利用深度感測器偵測使用者的深度資訊,以產生使用者深度資訊,再根據使用者影像以及使用者深度資訊,取得包括使用者的輪廓資訊以及多個身體部位特徵的多個軟性生物特徵,又根據上述軟性生物特徵,利用上述已註冊使用者的註冊資訊,計算使用者的軟性生物特徵相似度,據以輸出使用者的身份辨識結果。
在本發明的一實施例中,上述電腦可讀取記錄媒體記錄電腦程式,其經由上述身份辨識系統的處理器載入以執行上述遠距離的身份辨識方法的步驟。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
本發明的部份實施例接下來將會配合附圖來詳細描述,以下的描述所引用的元件符號,當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份,並未揭示所有本發明的可實施方式。更確切的說,這些實施例只是本發明的專利申請範圍中的方法、系統以及電腦可讀取記錄媒體的範例。
圖1為根據本發明一實施例所繪示的身份辨識系統的方塊圖,但此僅是為了方便說明,並不用以限制本發明。首先圖1先介紹身份辨識系統中的所有構件以及配置關係,詳細功能將配合圖2一併揭露。
請參照圖1,身份辨識系統100包括影像擷取裝置110、深度感測器120、記憶體130以及處理器140,其中處理器140耦接至影像擷取裝置110、深度感測器120以及記憶體130,而影像擷取裝置110與深度感測器120設置於同一側。在本實施例中,身份辨識系統100可以是將所有構件整合為例如是智慧型手機、平板電腦、筆記型電腦等單一電子裝置。在另一實施例中,身份辨識系統100可以是具有記憶體130以及處理器140的電腦系統,而影像擷取裝置110以及深度感測器120則是外接於電腦系統或上述之電子裝置。身份辨識系統100可以是設置於居家環境、醫院病房等地,以達到安全監控的目的,然而本發明不在此設限。
影像擷取裝置110用以擷取其前方的影像並且包括具有透鏡以及感光元件的攝像鏡頭。感光元件用以感測進入透鏡的光線強度,進而產生影像。感光元件可以例如是電荷耦合元件(charge coupled device,CCD)、互補性氧化金屬半導體(complementary metal-oxide semiconductor,CMOS)元件或其他元件,本發明不在此設限。
深度感測器120用以偵測其前方的深度資訊,其可以分為主動式深度感測器以及被動式深度感測器。主動式深度感測器可藉由主動發出光源、超音波、雷射等作為訊號來計算前方的深度資訊。另一方面,被動式深度感測器可以例如是另一個影像擷取裝置,並且與影像擷取裝置110以不同視角同時擷取前方的兩張影像,以利用兩張影像的視差來計算前方的深度資訊。
記憶體130用以儲存影像、數據、程式碼等資料,其可以例如是任意型式的固定式或可移動式隨機存取記憶體(random access memory,RAM)、唯讀記憶體(read-only memory,ROM)、快閃記憶體(flash memory)、硬碟或其他類似裝置、積體電路及其組合。
處理器140用以控制身份辨識系統100的構件之間的作動,其可以例如是中央處理單元(central processing unit,CPU),或是其他可程式化之一般用途或特殊用途的微處理器(microprocessor)、數位訊號處理器(digital signal processor,DSP)、可程式化控制器、特殊應用積體電路(application specific integrated circuits,ASIC)、可程式化邏輯裝置(programmable logic device,PLD)、應用處理器(application processor,AP)或其他類似裝置或這些裝置的組合。
以下即搭配圖1的身份辨識系統100的各元件列舉實施例,以說明身份辨識系統100執行其遠距離的身份辨識方法的詳細步驟。
圖2為根據本發明之一實施例所繪示的遠距離的身份辨識方法的流程圖。
請同時參照圖1以及圖2,在此可假設使用者已存在於身份辨識系統100的影像擷取裝置110以及深度感測器120可偵測到的範圍中。首先,處理器140將利用影像擷取裝置110擷取使用者的影像,以產生使用者影像(步驟S202),並且利用深度感測器120偵測使用者的深度資訊,以產生使用者深度資訊(步驟S204)。詳細來說,影像擷取裝置110可擷取其前方使用者的影像,而深度感測器120可偵測其前方使用者的深度資訊。處理器140會將所擷取到的使用者影像的各個畫素與偵測到的深度資訊相關聯,進而取得各個畫素所對應的深度資訊。
接著,處理器140將根據使用者影像以及使用者深度資訊,取得使用者的多個軟性生物特徵(步驟S206),其中軟性生物特徵可包括使用者的輪廓資訊以及多個身體部位特徵。輪廓資訊可以是使用者上半身的身形以及姿態角度,而軟性生物特徵可以是使用者的身高、肩寬以及頭寬等身體部位的尺寸。在此,處理器140是基於特徵擷取(Feature Extraction)以及影像分割(Image Segmentation)的演算法自使用者影像取得使用者的軟性生物特徵。
詳細來說,處理器140可以利用基於AdaBoost演算法的Haar分類器或者是方向梯度直方圖(histogram of gradient)來針對使用者影像進行特徵擷取,以先初步地自使用者影像中過濾取出候選人體區塊,而在此的候選人體區塊可以是具有使用者全身或上半身的矩形範圍。接著,處理器140可以根據使用者深度資訊來針對候選人體區塊進行粗略的前背景分割(Foreground-Background Segmentation),再利用GrabCut演算法進行精確的前背景分割,以提取出前景區域並且設定為使用者的輪廓資訊。
一般而言,GrabCut演算法雖可分離出精確的前景與背景,但前提是要提供足夠的候選前背景資訊,因此此演算法通常會以半互動的方式達到良好的分割效果。然而,本實施例中的處理器140可利用使用者深度資訊進行形態學影像處理(morphological image processing)以及細線化處理(thinning processing),並且將處理後的深度資訊來做為GrabCut演算法所需要的前背景資訊,以達到全自動的前背景分割。
具體來說,習知GrabCut演算法可將影像分為背景、前景、可能的背景以及可能的前景四種類型。此演算法的最低要求僅需將影像分成背景以及可能的前景即可,而前景以及可能的背景這兩類為可讓分割效果更好的加強部分並且通常為人為標註。以圖3A根據習知GrabCut所繪示的影像示意圖為例,區塊FG為所需要自影像Img所切割出的前景,而區塊PFG(包括區塊FG)為可能的前景,區塊PFG以外的區塊BG皆為背景。因此,若能準確地標記出區塊FG的特定像素為前景,則可提升分割效果。
基此,處理器140可以利用的資訊為可能存在使用者的矩形範圍、深度資訊(在此稱為「深度前景」)以及影像,其中深度資訊可以是以深度圖的形式來表示,因此深度前景亦可稱為「深度前景影像」。詳細來說,圖3B根據本發明之一實施例所繪示的影像切割的示意圖。請參照圖3B,處理器140可先將根據深度資訊所粗略地判斷出的深度前景影像Img1進行形態學影像處理,以將破洞部份補齊並且設定為可能的前景,以產生形態學影像Img2。接著,處理器140再針對形態學影像Img2進行細線化處理並且標記為前景,以產生細線化影像Img3。之後,處理器140可將細線化影像Img3對應到使用者影像的原始圖,以自使用者影像的原始圖找出前景。最後是將使用者影像的原始圖中可能存在使用者的矩形範圍內的剩餘像素點(非對應於所標記為前景的像素點)設定為背景,從而產生分割後的前景影像Img4。因此,良好的前背景分割除了可得精確的輪廓資訊之外,其對於身體部位特徵的辨識結果亦有助益。
請再回到圖2,處理器140將根據上述軟性生物特徵,利用記憶體130所預先儲存的多個已註冊使用者的註冊資訊,計算使用者的軟性生物特徵相似度(步驟S208),據以輸出使用者的身份辨識結果(步驟S210)。換句話說,身份辨識系統100在進行使用者的身份辨識之前,會先要求使用者進行註冊程序,以將使用者的註冊資訊儲存至記憶體130中。類似於身份辨識的步驟,處理器140將先利用影像擷取裝置110擷取使用者於不同角度的影像,以產生多張註冊影像,並且利用深度感測器120偵測使用者的深度資訊,以產生註冊深度資訊。接著,處理器140將根據註冊影像以及註冊深度資訊,取得使用者的多個註冊生物特徵,以將使用者設定為已註冊使用者,並且將其註冊生物特徵設定為註冊資訊,以供處理器140在進行身份辨識時進行比對。
在本實施例中,處理器140可以先利用影像擷取裝置110以使用者正臉對著鏡頭的情況下擷取10張具有人臉的上半身影像後,再擷取使用者相對於鏡頭45度以及90度各一張上半身的影像,而使用者即完成註冊。在此的10張人臉影像中,使用者的表情並不見得相同。處理器140可以是利用Fisherface演算法來針對10張具有人臉的上半身影像來進行特徵擷取,並且針對0度(即10張人臉影像中的其中一張)、45度以及90度的上半身影像進行兩種不同的特徵擷取。第一種為利用深度資訊所計算出的身高、肩寬以及頭寬等身體部位特徵的尺寸,第二種為利用形狀上下文(shape context)所取得的輪廓資訊。
因此,在軟性生物特徵的比對上,處理器140將利用步驟S206所取得到的使用者的輪廓資訊與已註冊使用者的註冊影像進行基於像素點的形狀上下文比對,以計算輪廓相似度,其中處理器140會將與使用者具有最高輪廓相似度的已註冊使用者視為候選使用者。此外,處理器140將利用步驟S206所取得到的使用者的身體部位特徵與候選使用者所註冊的身體部位特徵進行尺寸比對,以計算身體部位相似度。處理器140可以是利用基於歐氏距離(Euclidean distance)的支援向量機(support vector machine,SVM)演算法來計算輪廓相似度以及身體部位相似度。必須說明的是,在另一實施例中,處理器140可以先進行身體部位特徵的比對,以取得候選使用者及其身體部位相似度後,再針對此候選使用者影像的註冊影像進行輪廓資訊的比對,以取得輪廓相似度。本發明將不限制計算輪廓相似度以及身體部位相似度的順序。
接著,處理器140將根據輪廓相似度以及身體部位相似度來計算軟性生物特徵相似度,而其計算方式可以是輪廓相似度與身體部位相似度的權重總和(weighted sum)。舉例來說,假設輪廓相似度與身體部位相似度具有相同的權重,則軟性生物特徵相似度即為輪廓相似度與身體部位相似度的加總。
之後,處理器140將根據軟性生物特徵相似度,輸出使用者的身份辨識結果。在此,處理器140可以判斷軟性生物特徵相似度是否大於軟性生物特徵門檻值。若是,處理器140將判定使用者確實為候選使用者。若否,則代表身份辨識結果為失敗,而處理器140可例如是回到步驟S202以及步驟S204以重新針對使用者進行影像擷取以及深度計算。在一實施例中,假設身份辨識系統100是做為居家安全監控之用途,則處理器140可在連續身份辨識失敗到達一定次數以上以簡訊、電子郵件、行動應用程式等方式通知身份辨識系統100的使用者,以提供完善的安全防護。
前述實施例是基於軟性生物特徵來做為身份辨識的依據。在另一實施例中,身份辨識系統100更可以是利用臉部辨識以及日常穿著做為輔助的判斷依據,以達到更為精確的身份辨識。詳細來說,圖4為根據本發明之另一實施例所繪示的遠距離的身份辨識方法的流程圖,而圖4的流程亦可以身份辨識系統100的各元件來實現。
請同時參照圖1以及圖4,假設處理器140已事先利用影像擷取裝置110擷取使用者影像以及利用深度感測器120偵測使用者深度資訊,其相關說明請參照步驟S202~S204,於此不再贅述。在第一階段的身份辨識中,處理器140將利用記憶體130中所儲存的已註冊使用者的註冊影像,針對目前所擷取到的使用者影像以習知的人臉辨識演算法進行臉部辨識(步驟S402),以自所有已註冊使用者的註冊影像中比對以及辨識出與使用者具有最高臉部相似度的已註冊使用者,並且將其視為候選使用者,其中使用者影像與候選使用者的註冊影像之間的臉部相似度將以S1來表示。接著,處理器140將判斷使用者影像的臉部相似度S1是否大於臉部門檻值t1(步驟S404)。若是,則代表臉部辨識成功,而處理器140將直接輸出使用者的辨識結果(步驟S420),即使用者為具有最高臉部相似度的已註冊使用者。若否,有可能是使用者是以斜臉、側臉或、背對影像擷取裝置110或者是距離影像擷取裝置110太遠以至於影像擷取裝置110無法補捉到用以進行人臉辨識的影像時,處理器140將進入第二階段的身份辨識。
在第二階段的身份辨識中,處理器140將利用輪廓資訊以及身體部位特徵來進行軟性生物特徵辨識(步驟S406),其中軟性生物特徵辨識的實施方式請參照步驟S206的相關說明,於此不再贅述。接著,處理器140將計算使用者與各個已註冊使用者的之間的軟性生物特徵相似度,其中軟性生物特徵相似度包括輪廓相似度S2以及身體部位相似度S3,並且與使用者具有最高軟性生物特徵相似度的已註冊使用者將視為候選使用者。軟性生物特徵相似度的計算方式請參照步驟S208的相關說明,於此不再贅述。
在本實施例中,軟性生物特徵相似度即為輪廓相似度S2與身體部位相似度S3的加總(即S2+S3),以代表兩者相似度具有均等的權重。處理器140將判斷軟性生物特徵相似度S2+S3是否大於軟性生物特徵門檻值t2(步驟S408)。若否,則處理器140將判定身份辨識結果為失敗,而結束此身份辨識流程或是重新利用影像擷取裝置110以及深度感測器120重新進行影像擷取以及深度偵測。若是,處理器140在進入第三階段的衣著辨識之前,會先判斷軟性生物特徵相似度S2+S3是否大於門檻值t4(以下稱為「最大門檻值t4」)(步驟S410),其中t4>t2。在此設置最大門檻值t4的原因在於,當軟性生物特徵相似度S2+S3的值越高,即代表第二階段的辨識結果的可信賴度高,因此當軟性生物特徵相似度S2+S3高到一定的程度時,無須再進行第三階段的衣著辨識即可輸出辨識結果(步驟S420),也就是處理器140將判定使用者確實為候選使用者。另一方面,當軟性生物特徵相似度S2+S3不大於軟性生物特徵門檻值t4時,則將進入第三階段的衣著辨識。
必須先說明的是,處理器140在進行使用者的註冊程序時,更會根據註冊影像取得使用者的衣著特徵。在本實施例中,衣著特徵包括服飾的紋理資訊以及色彩資訊。處理器140可以是基於高階局部自相關(higher-order local auto-correlation,HLAC)來進行紋理分析,以針對0度、45度以及90度的上半身影像中的下半部份(即,非頭部的部份)分別提取出25個特徵。此外,處理器140可以是基於RGB組合的三通道來進行色彩特徵的判斷。舉例來說,此三通道可以分別為R+G-B、R-G以及R+G。在另一實施例中,衣著特徵更可以包括例如項鍊、帽子、手環、眼鏡等有助於辨識的飾品配件。處理器140在註冊程序中所取得的衣著特徵亦會一併將其設定為註冊資訊並且儲存於記憶體130中。
請再回到圖4的流程,在第三階段的身份辨識中,處理器140將先自使用者影像取得衣著特徵,並且針對衣著特徵進行衣著辨識(步驟S412),以取得使用者與候選使用者之間的衣著相似度S4。由於相同使用者的穿著變化極多,且不同使用者有可能具有相似的穿著,因此衣著辨識僅是做為輔助之用,處理器140並不會單獨地根據衣著特徵來做為辨識的判斷。基此,處理器140將根據衣著相似度搭配軟性生物特徵相似度,輸出使用者的身份辨識結果。
在本實施例中,處理器140會先將軟性生物特徵相似度與衣著相似度進行加總(即S2+S3+S4,以下稱為「相似度總和」),以代表此些相似度具有均等的權重。處理器140將判斷相似度總和S2+S3+S4是否大於最大門檻值t4(步驟S416)。若是,處理器140將會判定此使用者確實為候選使用者,並且將以目前使用者的衣著特徵更新其所註冊的衣著資訊(步驟S414),以增加往後衣著辨識的強度,並且輸出辨識結果(步驟S420),也就是處理器140將判定使用者確實為候選使用者。此外,在前述的步驟S410中,當軟性生物特徵相似度S2+S3大於軟性生物特徵門檻值t4時,亦可以以目前使用者的衣著特徵更新其所註冊的衣著資訊。
另一方面,為了避免因衣著特徵不相似而做出錯誤的判斷,當處理器140判定相似度總和S2+S3+S4不大於最大門檻值t4,處理器140可以降低判斷標準,以進一步地判斷相似度總和S2+S3+S4是否大於最大門檻值t3(步驟S418),其中t4>t3>t2。若否,則處理器140將判定身份辨識結果為失敗,而結束此身份辨識流程或是重新利用影像擷取裝置110以及深度感測器120重新進行影像擷取以及深度偵測。若是,則處理器140將輸出辨識結果(步驟S420),也就是處理器140將判定使用者確實為候選使用者但不更新衣著資訊。
本發明另提供一種非暫態的電腦可讀取媒體,此電腦可讀取媒體可儲存多數個程式碼片段(例如建立組織圖程式碼片段、簽核表單程式碼片段、設定程式碼片段、以及部署程式碼片段),並且這些程式碼片段在載入身份辨識系統100的處理器140中並執行之後,即可完成上述遠距離的身份辨識方法步驟。
綜上所述,本發明所提出的遠距離的身份辨識方法及其系統與電腦可讀取記錄媒體,其利用軟性生物特徵做為身份辨識的依據,以達到非接觸性並且高成效的判斷結果。此外,本發明所提出更可導入臉部辨識以及日常穿著來做為輔助判斷,相較於現有的身份辨識方式,本發明可在不干擾到使用者的前提下,達到速度快並且精確的身份辨識。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。輔以臉部辨識以及日常穿著做為身份辨識的依據。
100‧‧‧身份辨識系統
110‧‧‧影像擷取裝置
120‧‧‧深度感測器
130‧‧‧記憶體
140‧‧‧處理器
S202~S210、S402~S420‧‧‧遠距離的身份辨識方法流程
Img‧‧‧影像
BG、PFG、FG‧‧‧區塊
Img1‧‧‧深度前景影像
Img2‧‧‧形態學影像
Img3‧‧‧細線化影像
Img4‧‧‧切割後的前景影像
圖1為根據本發明一實施例所繪示的身份辨識系統的方塊圖。 圖2為根據本發明之一實施例所繪示的遠距離的身份辨識方法的流程圖。 圖3A為根據習知GrabCut所繪示的影像示意圖。 圖3B根據本發明之一實施例所繪示的影像分割的示意圖。 圖4為根據本發明之另一實施例所繪示的遠距離的身份辨識方法的流程圖。

Claims (23)

  1. 一種遠距離的身份辨識方法,適用於具有影像擷取裝置以及深度感測器的系統,包括下列步驟:   利用該影像擷取裝置擷取使用者的影像,以產生使用者影像; 利用該深度感測器偵測該使用者的深度資訊,以產生使用者深度資訊;   根據該使用者影像以及該使用者深度資訊,取得該使用者的多個軟性生物特徵,其中所述軟性生物特徵包括該使用者的輪廓資訊以及多個身體部位特徵;以及   根據所述軟性生物特徵,利用多個已註冊使用者的註冊資訊,計算該使用者的軟性生物特徵相似度,並根據該軟性生物特徵相似度輸出該使用者的身份辨識結果。
  2. 如申請專利範圍第1項所述的方法,其中取得該使用者的所述軟性生物特徵之中的該輪廓資訊的步驟包括:   自該使用者影像擷取具有該使用者的區塊,並且自該使用者深度資訊取得該區塊所對應的深度資訊,以產生深度前景影像; 針對該深度前景影像進行形態學處理以及細線化處理,以產生處理後的深度前景影像;以及   根據該處理後的深度前景影像,針對該使用者影像進行Grabcut處理,以自該使用者影像中切割出前景區域,並且設定該前景區域為該輪廓資訊。
  3. 如申請專利範圍第1項所述的方法,其中取得該使用者的所述軟性生物特徵之中的所述身體部位特徵的步驟包括:   利用該使用者深度資訊,計算所述身體部位特徵的尺寸。
  4. 如申請專利範圍第3項所述的方法,其中所述身體部位特徵的所述尺寸包括該使用者的身高、肩寬以及頭寬。
  5. 如申請專利範圍第1項所述的方法,其中在利用該影像擷取裝置擷取該使用者的該影像以及利用該深度感測器取得該使用者的該深度資訊的步驟之前,該方法更包括: 利用該影像擷取裝置擷取該使用者於不同角度的影像,以產生該使用者的多張註冊影像; 利用該深度感測器偵測該使用者的深度資訊,以產生該使用者的註冊深度資訊;   根據所述註冊影像以及該註冊深度資訊,取得該使用者的多個註冊軟性生物特徵;以及 設定該使用者為所述已註冊使用者之一,並且設定該使用者的所述註冊影像以及所述註冊軟性生物特徵為該使用者的該註冊資訊。
  6. 如申請專利範圍第1項所述的方法,其中各所述已註冊使用者的該註冊資訊包括多個註冊軟性生物特徵,所述軟性生物特徵包括註冊輪廓資訊以及多個註冊身體部位特徵,而根據所述軟性生物特徵,利用所述已註冊使用者的該註冊資訊,計算該使用者的軟性生物特徵相似度,並根據該軟性生物特徵相似度輸出該使用者的身份辨識結果的步驟包括: 針對該輪廓資訊與所述已註冊使用者的所述註冊輪廓資訊進行形狀上下文的比對,以取得該使用者與所述已註冊使用者之中的候選使用者的輪廓相似度,其中該使用者與該候選使用者之間具有最高輪廓相似度; 針對所述身體部位特徵與該候選使用者的所述註冊身體部位特徵進行尺寸的比對,以計算該使用者與該候選使用者的身體部位相似度; 根據該輪廓相似度以及該身體部位相似度,計算該軟性生物特徵相似度;以及   根據該軟性生物特徵相似度,輸出該使用者的該身份辨識結果。
  7. 如申請專利範圍第6項所述的方法,其中根據該軟性生物特徵相似度,輸出該使用者的該身份辨識結果的步驟包括:   判斷該軟性生物特徵相似度是否大於軟性生物特徵門檻值; 若是,判定該使用者為該候選使用者;以及   若否,判定該身份辨識結果為失敗。
  8. 如申請專利範圍第1項所述的方法,其中各所述已註冊使用者的該註冊資訊包括多個註冊影像,而根據所述軟性生物特徵,利用所述已註冊使用者的該註冊資訊,計算該使用者的軟性生物特徵相似度,並根據該軟性生物特徵相似度輸出該使用者的身份辨識結果的步驟包括:   利用所述已註冊使用者的所述註冊影像,針對該使用者影像進行臉部辨識,取得該使用者與所述已註冊使用者之中的候選使用者的臉部相似度,其中該使用者與該候選使用者之間具有最高臉部相似度;   判斷該臉部相似度是否大於臉部門檻值;   若是,直接輸出該使用者的該身份辨識結果;以及   若否,執行該使用者與該候選使用者的該軟性生物特徵相似度的計算,並根據該軟性生物特徵相似度輸出該使用者的該身份辨識結果。
  9. 如申請專利範圍第6項所述的方法,其中各所述已註冊使用者的該註冊資訊包括多個註冊衣著特徵,而根據該軟性生物特徵相似度,輸出該使用者的該身份辨識結果的步驟更包括: 自該使用者影像取得多個衣著特徵; 利用所述衣著特徵與該候選使用者的所述註冊衣著特徵進行衣著辨識,以取得該使用者的衣著相似度;以及   根據該衣著相似度以及該軟性生物特徵相似度,據以輸出該使用者的身份辨識結果。
  10. 如申請專利範圍第9項所述的方法,其中根據該衣著相似度以及該軟性生物特徵相似度,據以輸出該使用者的身份辨識結果的步驟更包括:   以所述衣著特徵更新該使用者的註冊衣著特徵。
  11. 如申請專利範圍第9項所述的方法,其中該衣著特徵包括衣服的紋理資訊以及色彩資訊。
  12. 一種身份辨識系統,包括: 影像擷取裝置,用以擷取影像; 深度感測器,用以偵測深度資訊; 記憶體,用以儲存多個已註冊使用者的註冊資訊; 處理器,耦接該影像擷取裝置、該深度感測器以及該記憶體,用以執行下列步驟:     利用該影像擷取裝置擷取使用者的影像,以產生使用者影像; 利用該深度感測器偵測該使用者的深度資訊,以產生使用者深度資訊;    根據該使用者影像以及該使用者深度資訊,取得該使用者的多個軟性生物特徵,其中所述軟性生物特徵包括該使用者的輪廓資訊以及多個身體部位特徵;以及    根據所述軟性生物特徵,利用多個已註冊使用者的註冊資訊,計算該使用者的軟性生物特徵相似度,並根據該軟性生物特徵相似度輸出該使用者的身份辨識結果。
  13. 如申請專利範圍第12項所述的系統,其中該處理器自該使用者影像擷取具有該使用者的區塊,並且自該使用者深度資訊取得該區塊所對應的深度資訊,以產生深度前景影像,再針對該深度前景影像進行形態學處理以及細線化處理,以產生處理後的深度前景影像,以及根據該處理後的深度前景影像,針對該使用者影像進行Grabcut處理,以自該使用者影像中切割出前景區域並且設定該前景區域為該輪廓資訊。
  14. 如申請專利範圍第12項所述的系統,其中該處理器利用該使用者深度資訊,計算所述身體部位特徵的尺寸。
  15. 如申請專利範圍第14項所述的系統,其中所述身體部位特徵的所述尺寸包括該使用者的身高、肩寬以及頭寬。
  16. 如申請專利範圍第12項所述的系統,其中該處理器更利用該影像擷取裝置擷取該使用者於不同角度的影像,以產生該使用者的多張註冊影像,並且利用該深度感測器偵測該使用者的深度資訊,以產生該使用者的註冊深度資訊,再根據所述註冊影像以及該註冊深度資訊,取得該使用者的多個註冊軟性生物特徵,以及設定該使用者為所述已註冊使用者之一,並且設定該使用者的所述註冊影像以及所述註冊軟性生物特徵為該使用者的該註冊資訊。
  17. 如申請專利範圍第12項所述的系統,其中各所述已註冊使用者的該註冊資訊包括多個註冊軟性生物特徵,所述軟性生物特徵包括註冊輪廓資訊以及多個註冊身體部位特徵,而該處理器針對該輪廓資訊與所述已註冊使用者的所述註冊輪廓資訊進行形狀上下文的比對,以取得該使用者與所述已註冊使用者之中的候選使用者的輪廓相似度,又針對所述身體部位特徵與該候選使用者的所述註冊身體部位特徵進行尺寸的比對,以計算該使用者與該候選使用者的身體部位相似度,再根據該輪廓相似度以及該身體部位相似度,計算該軟性生物特徵相似度,以及根據該軟性生物特徵相似度,輸出該使用者的該身份辨識結果,其中該使用者與該候選使用者之間具有最高輪廓相似度。
  18. 如申請專利範圍第17項所述的系統,其中該處理器判斷該軟性生物特徵相似度是否大於軟性生物特徵門檻值,若是,該處理器判定該使用者為該候選使用者,而若否,該處理器判定該身份辨識結果為失敗。
  19. 如申請專利範圍第12項所述的系統,其中各所述已註冊使用者的該註冊資訊包括多個註冊影像,而該處理器利用所述已註冊使用者的所述註冊影像,針對該使用者影像進行臉部辨識,取得該使用者與所述已註冊使用者之中的候選使用者的臉部相似度,判斷該臉部相似度是否大於臉部門檻值,若是,直接輸出該使用者的該身份辨識結果,而若否,執行該使用者與該候選使用者的該軟性生物特徵相似度的計算,並根據該軟性生物特徵相似度輸出該使用者的該身份辨識結果,其中該使用者與該候選使用者之間具有最高臉部相似度。
  20. 如申請專利範圍第17項所述的系統,其中各所述已註冊使用者的該註冊資訊包括多個註冊衣著特徵,而該處理器更自該使用者影像取得多個衣著特徵,再利用所述衣著特徵與該候選使用者的所述註冊衣著特徵進行衣著辨識,以取得該使用者的衣著相似度,以及根據該衣著相似度以及該軟性生物特徵相似度,據以輸出該使用者的身份辨識結果。
  21. 如申請專利範圍第20項所述的系統,其中該處理器更以所述衣著特徵更新該使用者的註冊衣著特徵。
  22. 如申請專利範圍第20項所述的系統,其中該衣著特徵包括衣服的紋理資訊以及色彩資訊。
  23. 一種電腦可讀取記錄媒體,記錄電腦程式,經由身份辨識系統的處理器載入以執行下列步驟: 利用影像擷取裝置擷取使用者的影像,以產生使用者影像; 利用深度感測器偵測該使用者的深度資訊,以產生使用者深度資訊; 根據該使用者影像以及該使用者深度資訊,取得該使用者的多個軟性生物特徵,其中所述軟性生物特徵包括該使用者的輪廓資訊以及多個身體部位特徵;以及 根據所述軟性生物特徵,利用多個已註冊使用者的註冊資訊,計算該使用者的軟性生物特徵相似度,並根據該軟性生物特徵相似度輸出該使用者的身份辨識結果。
TW106109923A 2017-03-24 2017-03-24 遠距離的身份辨識方法及其系統與電腦可讀取記錄媒體 TWI604332B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW106109923A TWI604332B (zh) 2017-03-24 2017-03-24 遠距離的身份辨識方法及其系統與電腦可讀取記錄媒體
CN201710232732.7A CN108629261B (zh) 2017-03-24 2017-04-11 远距离的身份识别方法及其系统与计算机可读取记录媒体
US15/669,965 US10423848B2 (en) 2017-03-24 2017-08-07 Method, system, and computer-readable recording medium for long-distance person identification

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106109923A TWI604332B (zh) 2017-03-24 2017-03-24 遠距離的身份辨識方法及其系統與電腦可讀取記錄媒體

Publications (2)

Publication Number Publication Date
TWI604332B TWI604332B (zh) 2017-11-01
TW201835805A true TW201835805A (zh) 2018-10-01

Family

ID=61022995

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106109923A TWI604332B (zh) 2017-03-24 2017-03-24 遠距離的身份辨識方法及其系統與電腦可讀取記錄媒體

Country Status (3)

Country Link
US (1) US10423848B2 (zh)
CN (1) CN108629261B (zh)
TW (1) TWI604332B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109190539B (zh) * 2018-08-24 2020-07-07 阿里巴巴集团控股有限公司 人脸识别方法及装置
JP7020567B2 (ja) * 2018-12-07 2022-02-16 日本電気株式会社 情報処理システム、情報処理装置、情報処理方法、およびプログラム
WO2020115890A1 (ja) * 2018-12-07 2020-06-11 日本電気株式会社 情報処理システム、情報処理装置、情報処理方法、およびプログラム
CN111754559A (zh) * 2019-03-26 2020-10-09 群光电子股份有限公司 监控装置与监控方法
WO2020258119A1 (zh) * 2019-06-27 2020-12-30 深圳市汇顶科技股份有限公司 人脸识别的方法、装置和电子设备
CN110532746B (zh) * 2019-07-24 2021-07-23 创新先进技术有限公司 人脸校验方法、装置、服务器及可读存储介质
CN111178252A (zh) * 2019-12-27 2020-05-19 东北大学 多特征融合的身份识别方法
CN111444849B (zh) * 2020-03-27 2024-02-27 上海依图网络科技有限公司 人员识别方法、装置、电子设备、及计算机可读存储介质
CN111651742A (zh) * 2020-04-29 2020-09-11 华为技术有限公司 验证用户身份的方法、电子设备和系统
DE102020113318A1 (de) * 2020-05-15 2021-11-18 Bundesdruckerei Gmbh Verfahren und Vorrichtung zum biometrischen Identifizieren einer Person sowie Zugangskontrolleinrichtung
CN112307934B (zh) * 2020-10-27 2021-11-09 深圳市商汤科技有限公司 图像检测方法及相关模型的训练方法、装置、设备、介质
CN113516082A (zh) * 2021-07-19 2021-10-19 曙光信息产业(北京)有限公司 安全帽的检测方法、装置、计算机设备及存储介质
CN113537121A (zh) * 2021-07-28 2021-10-22 浙江大华技术股份有限公司 身份识别方法和装置、存储介质及电子设备

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2049273A1 (en) * 1990-10-25 1992-04-26 Cindy E. Daniell Self adaptive hierarchical target identification and recognition neural network
US5291560A (en) * 1991-07-15 1994-03-01 Iri Scan Incorporated Biometric personal identification system based on iris analysis
US5335288A (en) * 1992-02-10 1994-08-02 Faulkner Keith W Apparatus and method for biometric identification
JP2007206991A (ja) * 2006-02-02 2007-08-16 Hitachi Ltd 生体情報処理装置及び生体情報処理プログラム
CN101075868B (zh) * 2006-05-19 2010-05-12 华为技术有限公司 一种远程身份认证的系统、终端、服务器和方法
CN101408938B (zh) * 2008-11-18 2012-05-23 华南理工大学 基于指部生物特征的身份认证装置
JP5228872B2 (ja) * 2008-12-16 2013-07-03 富士通株式会社 生体認証装置、生体認証方法及び生体認証用コンピュータプログラムならびにコンピュータシステム
US8638985B2 (en) * 2009-05-01 2014-01-28 Microsoft Corporation Human body pose estimation
RU2455676C2 (ru) * 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
CN102521565B (zh) * 2011-11-23 2014-02-26 浙江晨鹰科技有限公司 低分辨率视频的服装识别方法及系统
CN102706319B (zh) * 2012-06-13 2015-05-13 深圳泰山在线科技有限公司 一种基于图像拍摄的距离标定和测量方法及系统
CN104813340B (zh) * 2012-09-05 2018-02-23 体通有限公司 从2d图像序列导出准确身体尺寸测量的系统和方法
US9395543B2 (en) * 2013-01-12 2016-07-19 Microsoft Technology Licensing, Llc Wearable behavior-based vision system
US9201958B2 (en) * 2013-10-24 2015-12-01 TCL Research America Inc. Video object retrieval system and method
JP2015087102A (ja) * 2013-09-26 2015-05-07 株式会社リコー 機器管理システム、機器管理装置、制御方法及びプログラム
CN103533332B (zh) * 2013-10-22 2016-01-20 清华大学深圳研究生院 一种2d视频转3d视频的图像处理方法
CN103559719B (zh) * 2013-11-20 2016-05-04 电子科技大学 一种交互式图像分割方法
JP6197613B2 (ja) * 2013-12-02 2017-09-20 富士通株式会社 生体情報抽出装置、生体情報抽出方法、および生体情報抽出プログラム
US20160162673A1 (en) * 2014-12-05 2016-06-09 Gershom Kutliroff Technologies for learning body part geometry for use in biometric authentication
US9886769B1 (en) * 2014-12-09 2018-02-06 Jamie Douglas Tremaine Use of 3D depth map with low and high resolution 2D images for gesture recognition and object tracking systems
US9836756B2 (en) * 2015-06-24 2017-12-05 Intel Corporation Emotional engagement detector
CN105096420A (zh) * 2015-07-31 2015-11-25 北京旷视科技有限公司 门禁系统以及用于其的数据处理方法
CN105120167B (zh) * 2015-08-31 2018-11-06 广州市幸福网络技术有限公司 一种证照相机及证照拍摄方法
CN105447466B (zh) * 2015-12-01 2019-07-23 深圳市图灵机器人有限公司 一种基于Kinect传感器的身份综合识别方法
CN105740683B (zh) * 2016-01-20 2018-10-12 北京信安盟科技有限公司 基于多因素、多引擎、人机相结合的身份验证方法与系统
CN105989604A (zh) * 2016-02-18 2016-10-05 合肥工业大学 一种基于kinect的目标物体三维彩色点云生成方法
CN205693767U (zh) * 2016-03-31 2016-11-16 深圳奥比中光科技有限公司 无人机系统
WO2018026838A1 (en) * 2016-08-02 2018-02-08 Atlas5D, Inc. Systems and methods to identify persons and/or identify and quantify pain, fatigue, mood, and intent with protection of privacy

Also Published As

Publication number Publication date
TWI604332B (zh) 2017-11-01
CN108629261B (zh) 2021-04-09
US10423848B2 (en) 2019-09-24
US20180276487A1 (en) 2018-09-27
CN108629261A (zh) 2018-10-09

Similar Documents

Publication Publication Date Title
TWI604332B (zh) 遠距離的身份辨識方法及其系統與電腦可讀取記錄媒體
US10789454B2 (en) Image processing device, image processing method, and computer program product
EP2357589B1 (en) Image recognition apparatus and method
WO2019071664A1 (zh) 结合深度信息的人脸识别方法、装置及存储介质
JP4241763B2 (ja) 人物認識装置及びその方法
JP6494253B2 (ja) 物体検出装置、物体検出方法、画像認識装置及びコンピュータプログラム
US9626553B2 (en) Object identification apparatus and object identification method
CN105740778B (zh) 一种改进的三维人脸活体检测方法及其装置
KR101865253B1 (ko) Region-sift와 discriminant svm 분류기를 이용한 나이 및 성별 인식 장치 및 그 방법
KR20160066380A (ko) 얼굴 등록 방법 및 장치, 얼굴 인식 방법 및 장치
JP6351243B2 (ja) 画像処理装置、画像処理方法
JP2000105829A (ja) 顔パーツ検出方法及びその装置
CN106997457B (zh) 人物肢体识别方法、人物肢体识别装置及电子装置
KR20150143304A (ko) 화상 인식 장치 및 화상 인식 장치에의 특징량 데이터 등록 방법
JP6157165B2 (ja) 視線検出装置及び撮像装置
KR101640014B1 (ko) 허위 안면 이미지 분류가 가능한 홍채 인식 장치
JPWO2019003973A1 (ja) 顔認証装置、顔認証方法およびプログラム
KR101796027B1 (ko) 얼굴 영상 기반 성별 인식 방법 및 장치
JP2021503139A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP5730044B2 (ja) 顔画像認証装置
JP2015197708A (ja) オブジェクト識別装置、オブジェクト識別方法及びプログラム
JP5648452B2 (ja) 画像処理プログラムおよび画像処理装置
Masaoud et al. A review paper on ear recognition techniques: models, algorithms and methods
JP6555940B2 (ja) 被写体追跡装置、撮像装置、及び被写体追跡装置の制御方法
JP2011141799A (ja) オブジェクト検出認識装置、オブジェクト検出認識方法、および、プログラム