TW202004669A - 多頻譜高精確辨識物體的方法 - Google Patents

Abstract

一種多頻譜高精確辨識物體的方法，主要利用一多頻譜發光單元發出不同頻率的光投照到待測物，及一多頻譜影像感測單元擷取待測物在不同頻率光下反射的影像，以X軸、Y軸為單張平面影像，以Z軸不同光譜波長為影深，其中Z軸之取樣波長至少包含有二紅外線光窄域影像信號，光譜範圍間隔分佈位在850nm至1050nm之間的影像，且每一紅外線光的頻寛至少為10nm至60nm之間，將Z軸不同頻寬波段所取樣的複數X軸、Y軸單張平面影像，經演算疊合成一3D立體浮雕影像以供精確比對辨識，而可廣泛應用在安防監控、工業監控、人臉識別、交通工具影像辨識開門等。

Description

多頻譜高精確辨識物體的方法

本發明係有關影像辨識的技術領域，尤指一種多頻譜高精確辨識物體的方法，具體操作能簡單有效疊合產生一優質的3D立體浮雕影像以供精確比對辨識。

影像感測器主要是利用光電轉換來取得平面影像，隨著科技進步已被廣泛應用在安防監控、工業監控、人臉識別設備、網路攝影機、無人機、機器人、汽車倒車輔助影像拍攝等各類產品。

尤其，在人臉識別因為使用上具有自然、簡便、非接觸等眾多優點，無需干擾人們的正常行為就可以實現識別的目的，在當今網路發達智慧型行動裝置普遍風行的時代更顯重要，近年來已獲得了迅猛的發展，特別用在身份識別、資安控管，金融支付、醫學應用、視覺監控等諸多領域。

目前較先進的人臉識別，主要採用以下兩種3D 立體影像感測技術來達成：

1.飛時測距（ToF：Time of Flight）：利用紅外線光源照射到物體表面反射回來，由於光速（v）已知，可以利用一個紅外光影像感測器量測物體不同深度的位置反射回來的時間（t），利用簡單的數學公式就可以計算出物體不同位置的距離（深度）。

2.結構光（Structured light）：利用特殊光源打出不同的光線圖形，經由物體不同深度的位置反射回來會造成光線圖形扭曲來供辨識，例如目前先進的蘋果iPhoneX智慧型手機採用點陣投射器（Dot projector），以高功率的垂直共振腔面射型雷射發射紅外光雷射，經由晶圓級光學（Wafer Level Optics，WLO）、繞射光學元件（Diffractive Optical Elements，DOE）等結構，產生大約 3 萬個「結構」（Structured）光點投射到使用者的臉部，利用這些光點所形成的陣列反射回紅外光相機（Infrared camera），計算出臉部不同位置的距離（深度）。

如第10圖所示，為了更有效結合上述兩種方法來提高臉部辨識的準確度，目前先進的蘋果iPhoneX智慧型手機，基本的配備必需要有一紅外線鏡頭a1、一700萬畫素鏡頭a2、一泛光照明器a3（Flood illuminator）、一接近感測器a4（Proximity sensor）、一環境光感測器a5（Ambient light sensor）及一點陣投射器a6（Dot projector）才能達成，其所應用的高精密組合不但元件多、成本高、而且組裝相當佔空間。

更重要的是，即使都已經採用這樣高單價精密元件來產生大約 3 萬個「結構」（Structured）光點投射到使用者的臉部，但事實上其所取的辨識效果，依然容易受到外在環境光的變化影響，使得擷取人臉特徵訊息時發生顯著變化，導致後續人臉訊息進行比對時容易出現誤差，讓人臉特徵比對的準確率下降，大大影響到人臉識別的性能。

不幸的是以上這些缺點，不僅只在智慧型手機應用上才會發生，實際上在其他應用到相同技術的人臉識別相關產品也都普遍存在，但一直以來卻未能改善有效克服。

有鑑於此，本發明之主要目的，在提供一種多頻譜高精確辨識物體的方法，主要包含以下之步驟：

在一辨識系統中建置一辨識硬體機構，至少具有一多頻譜發光單元及一多頻譜影像感測單元；

以該多頻譜發光單元發出不同頻率的光投照到待測物，該多頻譜發光單元所發出的光中包含至少二紅外線光，其光譜範圍間隔分佈位在850nm至1050nm之間；

以該多頻譜影像感測單元擷取待測物在不同頻率光下投照的影像，該多頻譜影像感測單元擷取包含至少二紅外線光反射的窄域影像信號，其光譜範圍與該多頻譜發光單元相對應間隔分佈位在850nm至1050nm之間，且該每一紅外線光的窄域影像信號波長頻寬界在10nm至60nm之間；

以X軸、Y軸為單張平面影像，以Z軸不同光譜波長為影深，其中Z軸之取樣波長至少包含有二紅外線光窄域影像信號，光譜範圍與該多頻譜影像感測單元相對應間隔分佈位在850nm至1050nm之間的影像，且每一紅外線光的頻寛至少為10nm至60nm之間；

將Z軸不同頻寬波段所取樣的複數X軸、Y軸單張平面影像，經演算疊合成一3D立體浮雕影像以供精確比對辨識。

藉此，使本發明能廣泛應用在安防監控、工業監控、人臉識別、交通工具影像辨識開門等，尤其是應用在智慧型行動裝置時，其組合的元件少，可大幅降低成本並節省空間，而且使用上可快速精準取得3D立體浮雕影像，又可明顯改善較不受環境光影響，故能有效提高整個人臉識別的精確度，是本發明的最大特點。

與現有習知技術相較，習知技術是採用高單價精密的元件來產生特殊效果的結構光去投照在待測物上，但因為技術上無法突破，只能用一般普通影像感測單元來接收，其過程中當然比較容易受到外在環境光影響，收到的影像受環境光影響效果不好，即使後面採用結構光搭配飛時測距來產生3D立體浮雕影像，其整體辨識效果當然也會變差，以致辨識的精確度明顯降低。

反觀本發明採用低單價普通的多頻譜發光單元以一般泛光源去投照在待測物上，然後再以高精密具有前後層次清晰立體成像的多頻譜影像感測單元來接收，其收到的影像前後層次清晰較不受環境光影響，並將Z軸不同頻寬波段所取樣的複數X軸、Y軸單張平面影像再經演算疊合，自然可獲得一精確的3D立體浮雕影像以供比對辨識，故無論在生物或非生物實體辨識上效果一定較佳，比現有習知技術簡單而且精確許多。

為方便對本發明之目的、組成方法、應用功能特徵及其功效，做更進一步之介紹與揭露，茲舉實施例配合圖式，詳細說明如下：如第1~5圖所示，本發明所設一種多頻譜高精確辨識物體的方法，主要包含以下之步驟：

在一辨識系統100中建置一辨識硬體機構1，至少具有一多頻譜發光單元2及一多頻譜影像感測單元3；

以該多頻譜發光單元2發出不同頻率的光投照到待測物90，該多頻譜發光單元2所發出的光中包含至少二紅外線光，其光譜範圍間隔分佈位在850nm至1050nm之間；

以該多頻譜影像感測單元3擷取待測物90在不同頻率光下投照的影像，該多頻譜影像感測單元3擷取包含至少二紅外線光反射的窄域影像信號301及302，其光譜範圍與該多頻譜發光單元2相對應間隔分佈位在850nm至1050nm之間，且該每一紅外線光的窄域影像信號301及302波長頻寬界在10nm至60nm之間；

以X軸、Y軸為單張平面影像4，以Z軸不同光譜波長為影深，其中Z軸之取樣波長至少包含有二紅外線光窄域影像信號301、302，光譜範圍與該多頻譜影像感測單元3相對應間隔分佈位在850nm至1050nm之間的影像，且每一紅外線光的窄域影像信號301、302頻寛至少為10nm至60nm之間；

如第2圖所示，將Z軸不同頻寬波段所取樣的複數X軸、Y軸單張平面影像4，經演算疊合成一3D立體浮雕影像5以供精確比對辨識。

較佳實施，如第3圖所示，其中該多頻譜發光單元2可為複數顆不同頻率發光二極體21或單顆多頻發光二極體20所構成，所述該單顆可多頻發光二極體20，其至少可發出二種紅外線光範圍在850nm至1050nm之間，較佳實施，該二紅外線光可分別為850nm與940nm，或是940nm與1050nm，但實際並不以此為限。

較佳實施，如第3~5圖所示，其中該影像感測單元3為複數不同頻譜的影像感測器31或單顆多頻影像感測器30所構成，所述該單顆多頻影像感測器30主要包括：一感光圖元陣列310及其相連的封裝電路311、以驅動控制該感光圖元陣列310捕捉外在光線轉換成輸出組合圖像信號，其中該感光圖元陣列310可以捕捉RGB全彩可見光及IR紅外線非可見光以進行光電轉換，以及；一影像加強處理單元312，內建在該封裝電路311中，以調控該感光圖元陣列310捕捉的影像，包括：一全彩RGB可見光的廣域影像信號305，其全彩RGB可見光的波長光譜範圍位在400nm至700nm之間，及至少二紅外線非可見光的窄域影像信號301、302，其範圍間隔分佈位在850nm至940nm之間，該每一紅外線非可見光的窄域影像信號301或302波長頻寬界在10nm至60nm之間，並將該一廣域影像信號305及該二窄域影像信號301及302重新整合堆疊組成一具有前後層次立體感的清晰輸出影像。

其中因為組合影像輸出信號係透過二窄域影像信號301、302堆疊不同光譜範圍分佈在850nm至1050nm之間的紅外光波，使得辨識效果遠勝於習式結構，同時更提升了立體呈現的層次感與清晰度，而能確實達到利用單顆多頻影像感測器30，清晰捕捉影像較不受環境光的變化影響，以供影像辨識的實用目的。

較佳實施，為本發明的應用例，其中該待測物90可以是人體的臉部，譬如應用在當下正流行的行動裝置臉部辨識開機，或臉部辨識自動付費機制…等。

較佳實施，如第6圖所示，以上具體應用的辨識方法可進一步對應設有一初步辨識學習單元6，譬如: 已基本選定該多頻譜發光單元2的二紅外線光分別為850nm及940nm，S101以該兩種紅外線光譜850nm及940nm為基準對一原始物60的上下中左右角度至少各拍一張影像，即在不同紅外線光譜850nm及940nm基準下各拍一張總共兩張，以及S102當原始物在十字換位移動中每一間隔角度至少各拍一張影像，亦即在不同間隔角度以紅外線光譜850nm及940nm為基準各拍一張總共兩張，S103將Z軸不同頻寬其窄域紅外線光譜850nm及940nm波段所取樣的複數X軸、Y軸單張平面影像40，經演算疊合建檔成一原始物60的參考立體浮雕影像65以供後續比對辨識。

較佳實施，其中該初步辨識學習單元6執行時並可進一步發出間斷的聲音或語音，使方便作為該原始物60在對應進行上中下左右角度移位速度之參考指示。

較佳實施，以上該原始物60的參考立體浮雕影像65建檔完成後，S201當系統對該待測物90執行辨識取得3D立體浮雕影像5時，首先S202會判斷該待測物90是否為生物或非生物的具型實體，若是經判斷是具型的實體，S203才進一步與初步辨識學習單元6所儲存原始物60的參考立體浮雕影像65作比對，S204若比對正確無誤才執行開通，若不正確則不開通，譬如：用在手機人臉辨識自動開通或同意付費開通…等，或其他以人臉辨識自動開通的各項不同應用領域。

較佳實施，如第7圖所示，並可在該辨識系統100上進一步設有一環境光感測器70及一環境光加強比對單元7，其中當環境光感測器70測到環境光到達第一偏暗等級，此時環境光加強比對單元7啟動，將待測物90的3D立體浮雕影像5與紅外線光940nm取得原始物60的參考立體浮雕影像65作比對，而當環境光感測器70測到環境光到達第二更暗等級，此時環境光加強比對單元7自動切換，將待測物90的3D立體浮雕影像5與紅外線光850nm取得原始物60的參考立體浮雕影像65作比對，如此即可針對不同環境光亮度而自行調整，以取得更精確的影像辨識效果。

較佳實施，其中該辨識硬體機構1係設在智慧型行動裝置上，譬如智慧型手機、平板電腦…等，但並不以此為限，實際上也可設在桌上型電腦或筆記型電腦。如第8圖所示，本發明的人臉識別若應用在智慧型手機上，其結構基本只要用一單顆可多頻發光二極體20及一單顆單顆多頻影像感測器30再加上一環境光感測器70來達成，整個配置絕對比蘋果iPhoneX手機現有設計更省成本、更省空間，尤其更重要的是其整個辨識精確度上也一定能更有效的提昇。

甚至，較佳實施，如第3圖所示，如果在比對上要求更為精確一點，實務應用本發明的相同方法及即有設備，除了可提供臉部辨識之外，還可進一步提供作為眼睛虹膜辨識，如此將兩種生物識別特徵相互結合就可提供更高精確的身份識別等級。

較佳實施，如第4、5圖所示，因為本發明是採用一廣域影像信號305及至少二窄域影像信號301、302重疊組合而成，所取得影像具有層次清晰深度極佳，可用來精確計算被測物立體特徵深淺距離、手勢動作、障礙物迴避等，這對未來3D新興應用相當重要，能有效提供目前包括：VR／AR、無人機、客流計算（People／Things Counting）等3D深度影像測距功能應用，甚至以精確偵測物體及四周環境深度量測能力，故也可提供未來人工智慧（Artificial Intelligence ）、電腦視覺（Computer Vision）等的應用。譬如，其中該辨識硬體機構1可係設在交通工具上，用在一般的汽車或機車臉部辨識開門或疲勞偵測等，但實際應用上並不以此為限。

較佳實施，如第4、9圖所示，本發明影像加強處理單元312可為一軟體或靭體來達成，使方便修改增加捕捉窄域影像的數量，或用來調整影像的透光率，使透光率可界在30%至95%之間。譬如，捕捉時可再多一窄域影像信號303位在波長1050nm範圍處，這樣透過堆疊三個窄域影像信號301、302、303不同光譜範圍間隔分佈在850nm、940nm、1050nm之間的紅外光波，即使得辨識層次深度更加明顯，更有效提升整個影像的立體感與清晰度。

以上僅為方便舉例說明，其所增加的窄域影像數量並不以此為限，實際上可分級設成不同精度的多種規格，客制化用來精確辨識該待測物90為生物或非生物的具型實體。而廣泛應用在安防監控、工業監控、人臉識別設備、網路攝影機、無人機、機器人、汽車輔助影像拍攝等各類產品。

綜上所述，本發明的確可達成前述目的，實已符合專利法之規定，爰依法提出專利申請。惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍；故，凡依本發明申請專利範圍及專利說明書內容所作簡單的等效變化與修飾，皆應屬本發明專利涵蓋之範圍內。

1‧‧‧辨識硬體機構 100‧‧‧辨識系統 2‧‧‧多頻譜發光單元 20‧‧‧單顆多頻發光二極體 21‧‧‧發光二極體 3‧‧‧多頻譜影像感測單元 30‧‧‧單顆多頻影像感測器 31‧‧‧影像感測器 301‧‧‧窄域影像信號 302‧‧‧窄域影像信號 303‧‧‧窄域影像信號 305‧‧‧廣域影像信號 310‧‧‧感光圖元陣列 311‧‧‧封裝電路 312‧‧‧影像加強處理單元 4‧‧‧單張平面影像 5‧‧‧3D立體浮雕影像 6‧‧‧初步辨識學習單元 60‧‧‧原始物 65‧‧‧參考立體浮雕影像 7‧‧‧環境光加強比對單元 70‧‧‧環境光感測器 90‧‧‧待測物 a1‧‧‧紅外線鏡頭 a2‧‧‧700萬畫素鏡頭 a3‧‧‧泛光照明器 a4‧‧‧接近感測器 a5‧‧‧環境光感測器 a6‧‧‧點陣投射器

第1圖 本發明辨識系統的示意圖。 第2圖 本發明辨識方法產生3D立體浮雕影像的示意圖。 第3圖 本發明系統的方塊圖。 第4圖 本發明單顆多頻影像感測器示意圖。 第5圖 本發明單顆多頻影像感測器接收範圍的光譜圖。 第6圖 本發明人臉識別比對的流程圖。 第7圖 本發明增設有環境光感測器的示意圖。 第8圖 本發明在智慧型手機的應用例圖。 第9圖 本發明單顆多頻影像感測器另一實施例接收範圍的光譜圖。 第10圖 習知蘋果iPhoneX智慧型手機人臉辨識的配置圖。

1‧‧‧辨識硬體機構

100‧‧‧辨識系統

2‧‧‧多頻譜發光單元

3‧‧‧多頻譜影像感測單元

301‧‧‧窄域影像信號

302‧‧‧窄域影像信號

4‧‧‧單張平面影像

90‧‧‧待測物

Claims (11)

1. 一種多頻譜高精確辨識物體的方法，主要包含以下之步驟： 在一辨識系統中建置一辨識硬體機構，至少具有一多頻譜發光單元及一多頻譜影像感測單元； 以該多頻譜發光單元發出不同頻率的光投照到待測物，該多頻譜發光單元所發出的光中包含至少二紅外線光，其光譜範圍間隔分佈位在850nm至1050nm之間； 以該多頻譜影像感測單元擷取待測物在不同頻率光下投照的影像，該多頻譜影像感測單元擷取包含至少二紅外線光反射的窄域影像信號，其光譜範圍與該多頻譜發光單元相對應間隔分佈位在850nm至1050nm之間，且該每一紅外線光的窄域影像信號波長頻寬界在10nm至60nm之間 以X軸、Y軸為單張平面影像，以Z軸不同光譜波長為影深，其中Z軸之取樣波長至少包含有二紅外線光窄域影像信號，光譜範圍與該多頻譜影像感測單元相對應間隔分佈位在850nm至1050nm之間的影像，且每一紅外線光的頻寛至少為10nm至60nm之間； 將Z軸不同頻寬波段所取樣的複數X軸、Y軸單張平面影像，經演算疊合成一3D立體浮雕影像以供精確比對辨識。
2. 如申請專利範圍第1項所述多頻譜高精確辨識物體的方法，其中該影像感測單元為複數不同頻譜影像感測器或單顆多頻影像感測器所構成，所述該單顆多頻影像感測器主要包括：一感光圖元陣列及其相連的封裝電路、以驅動控制該感光圖元陣列捕捉外在光線轉換成輸出組合圖像信號，其中該感光圖元陣列可以捕捉RGB全彩可見光及IR紅外線非可見光以進行光電轉換，以及；一影像加強處理單元，內建在該封裝電路中，以調控該感光圖元陣列捕捉的影像，包括：一全彩RGB可見光的廣域影像信號，其全彩RGB可見光的波長光譜範圍位在400nm至700nm之間，及至少二紅外線非可見光的窄域影像信號，其範圍間隔分佈位在850nm至940nm之間，該每一紅外線非可見光的窄域影像信號波長頻寬界在10nm至60nm之間，並將該一廣域影像信號及該二窄域影像信號重新整合堆疊組成一具有前後層次立體感的清晰輸出影像。
3. 如申請專利範圍第1項所述多頻譜高精確辨識物體的方法，其中該多頻譜發光單元為複數顆不同頻率發光二極體或單顆多頻發光二極體所構成，所述該單顆可多頻發光二極體，至少可發出二種紅外線光範圍在850nm至1050nm之間。
4. 如申請專利範圍第1項所述多頻譜高精確辨識物體的方法，其中該待測物為生物或非生物的具型實體；而該辨識方法進一步對應設有一初步辨識學習單元，以該兩種窄域紅外線光譜設為850nm及940nm為基準對一原始物的上下中左右角度至少各拍一張影像，以及當原始物在十字換位移動中每一間隔角度至少各拍一張影像，將Z軸不同頻寬窄域紅外線光譜850nm及940nm波段所取樣的複數X軸、Y軸單張平面影像，經演算疊合建檔成一原始物參考立體浮雕影像以供後續比對辨識。
5. 如申請專利範圍第4項所述多頻譜高精確辨識物體的方法，其中該初步辨識學習單元執行時進一步發出間斷的聲音或語音，以作為該原始物在對應進行上中下左右角度移位速度之參考指示。
6. 如申請專利範圍第4項所述多頻譜高精確辨識物體的方法，其中該待測物的3D立體浮雕影像完成時，首先判斷該待測物是否為實體，若是進一步與初步辨識學習單元儲存之原始物參考立體浮雕影像作比對，比對正確無誤以執行開通，若不正確則不開通。
7. 如申請專利範圍第4項所述多頻譜高精確辨識物體的方法，其中該辨識硬體機構進一步設有一環境光感測器，該辨識方法進一步對應設有一環境光加強比對單元，當環境光感測器測到環境光到達第一偏暗等級，此時環境光加強比對單元啟動，將待測物的3D立體浮雕影像與紅外線光940nm取得原始物的參考立體浮雕影像作比對，而當環境光感測器測到環境光到達第二更暗等級，此時環境光加強比對單元自動切換，將待測物的3D立體浮雕影像與紅外線光850nm取得原始物的參考立體浮雕影像作比對，針對不同環境光亮度自行調整，以取得更精確的影像識效果。
8. 如申請專利範圍第1項所述多頻譜高精確辨識物體的方法，其中該待測物為人體的臉部。
9. 如申請專利範圍第1項所述多頻譜高精確辨識物體的方法，其中該待測物為人體臉部及眼睛虹膜。
10. 如申請專利範圍第1項所述多頻譜高精確辨識物體的方法，其中該辨識硬體機構係設在智慧型行動裝置上。
11. 如申請專利範圍第1項所述多頻譜高精確辨識物體的方法，其中該辨識硬體機構係設在交通工具上。

Images