TWI430186B - 影像處理裝置及影像處理方法 - Google Patents

Description

影像處理裝置及影像處理方法

在此中所敘述之具體實施例大致上有關影像處理裝置及影像處理方法，兩者被設計來拍攝影像及計算每一被拍攝影像之特徵值。

監視系統一般已被使用，每一監視系統使用位在複數位置之複數照相機及協力地監視該等照相機已取得之資料項。為能夠使看守人施行更可靠之監視，顯示包含人體容貌之影像的技術已被開發。

影像處理裝置譬如預先設定一決定用於來自複數照相機之影像輸入的優先順序之方法。該影像處理裝置按照設定至其上之優先順序決定方法相對於任何另一影像決定每一影像之優先順序。按照所決定之優先順序，該影像處理裝置施行各種製程，諸如“切換該顯示器以較佳顯示該影像”、“改變該傳送畫面速率及/或編碼方法”、“選擇一影像來傳送及一照相機來使用”、“改變視頻記錄之優先順序”、及“在該照相機上施行PTZ控制”。

譬如，日本專利申請案KORAI公告第2005-347942號敘述一影像處理裝置，該專利申請案係一日本專利文件，用於複數監視照相機，該影像處理裝置可按照所計算之指定物件的數目切換該照相機監視位置、影像品質、記錄開/關、記錄影像品質、監視器顯示開/關、監視器顯示影像尺寸、監視模式開/關、及計數模式開/關。此影像處理裝置將該監視照相機已拍攝之影像顯示給看守者，並有效率地傳輸、顯示及記錄該看守者已目視地確認之任何影像。

再者，日本專利申請案KOKAI公告第2007-156541號敘述一影像處理系統，該專利申請案亦係一日本專利文件，該影像處理系統處理所監視之任何影像，且接著由該影像自動地偵測一特定之事件。如果藉由照相機所拍攝之影像顯示複數人員，此影像處理系統由各種資料項決定能被用耗盡來處理該影像之處理負載，該等資料項代表所監視之任何人員的步行速率、該影像中所看見之過路人的數目、該等過路人及由開始對照所消逝的時間之間的距離。按照如此決定之處理負載，該影像處理系統控制該處理精確性及關於所監視之任何人員的資料。

在日本專利申請案KORAI公告第2005-347942號中所敘述之方法被設計來控制該影像，以顯示給看守人。然而，該方法係未如此組構，以藉著自動辨識來監視任何人員。再者，視該等影像內容而定，如果該等照相機係比所使用之照相機更少地連接至影像處理裝置，該方法可能無法如所想要地快速辨識人員。其因此係需要使用高性能影像處理裝置或比該等照相機更多之影像處理裝置。因此，該系統將為昂貴的，且該等裝置將佔有一大的安裝空間。

日本專利申請案KOKAI公告第2007-156541號中所敘述之方法被設計來在高效率處理一影像，未被設計來處理藉由複數照相機所拍攝之影像。因此，此方法不能一致地監視複數照相機已拍攝之影像。

【發明內容及實施方式】

大致上，根據一具體實施例，影像處理裝置包括：複數影像輸入模組，其被組構成輸入影像；一偵測模組，其被組構成自藉由任何影像輸入模組所輸入之影像偵測物件區域；一特徵擷取模組，其被組構成自藉由該偵測模組所偵測之任何物件區域擷取特徵值；及一控制模組，其被組構成按照藉由該偵測模組所施行之偵測的結果，控制該偵測模組與特徵擷取模組在藉由該複數影像輸入模組所輸入之影像上所施行的製程。

根據第一具體實施例之影像處理裝置將參考所附圖面被詳細地敘述。

圖1係一方塊圖，說明根據該第一具體實施例之影像處理裝置100的示範組構。

假設該影像處理裝置100係譬如併入一控制人員之通過的通道控制系統，且被安裝在僅只特定人員能通過之位置，諸如至一建築物(例如公司建築物)之入口或至娛樂或交通設施之閘門。

亦假設該影像處理裝置100被組構成對照已由人員的容貌影像所取得之特徵資料與預先登錄之特徵資料項，藉此決定是否至少一人員存在，其特徵係與已登錄之特徵資料項完全相同。

如圖1所示，該影像處理裝置100包括面孔偵測模組111、112及113(大致上被稱為“面孔偵測模組114”)、特徵擷取模組116、117及118(大致上被稱為“特徵擷取模組119”)、處理方法控制模組120、辨識模組130、已登錄之顏面特徵控制(儲存)模組140、及輸出模組150。

再者，照相機106被安裝在通道101中。照相機107被安裝在通道102中。照相機108被安裝在通道103中。大致上，該等照相機106、107及108被稱為“照相機109”。該照相機106係連接至該面孔偵測模組111。該照相機107係連接至該面孔偵測模組112。該照相機108係連接至該面孔偵測模組113。注意連接至該面孔偵測模組114的照相機之數目不被限制於三台。

該照相機109用作影像輸入模組。該照相機109係由譬如藉由工業用電視(ITV)照相機所構成。該照相機109掃描一被規定之面積，產生一移動影像(亦即存在於該面積中之許多物件的連續影像)。如此，該照相機109產生影像，每一影像包含在該面積中步行的任何過路人之面孔。該照相機109具有一將該等影像轉換成數位視頻資料項之類比至數位(A/D)轉換器。該等數位視頻資料項被由該照相機109連續地傳送至該面孔偵測模組114。該照相機可包括一用於測量每一過路人之步行速率的機構。

該面孔偵測模組114由該任何之輸入影像偵測面孔。該特徵擷取模組119由該面孔偵測模組114已偵測之每一面孔影像擷取特徵資料。

按照在該輸入影像上所施行之各種製程的結果，該處理方法控制模組120控制辨識任何人員之方法及在該面孔偵測模組114中偵測該人員之面孔的方法。該處理方法控制模組120用作控制模組。

該已登錄之顏面特徵控制模組140登錄及控制任何人員之顏面特徵來辨識。該辨識模組130比較該特徵擷取模組119已由過路人M之影像擷取的過路人M之顏面特徵、與已登錄之顏面特徵控制模組140中所登錄之顏面特徵，藉此決定過路人M是誰。

該已登錄之顏面特徵控制模組140當作登錄資料地儲存關於人員之顏面特徵資料項，每一資料項與關於一人員之ID資料有關，其被用作一鑰匙。亦即，該已登錄之顏面特徵控制模組140分別地儲存與該等顏面特徵資料項有關聯之ID資料項。注意於該已登錄之顏面特徵控制模組140中，一顏面特徵資料項可為與複數顏面特徵資料項有關聯。為了基於所拍攝之影像辨識一人員，該影像處理裝置100可使用複數顏面特徵資料項。再者，該已登錄之顏面特徵控制模組140可被設在該影像處理裝置100外面。

該輸出模組150由該辨識模組130接收辨識之結果及輸出該辨識結果。按照該辨識結果，該輸出模組150進一步輸出控制信號、音頻資料、及視頻資料至連接到該影像處理裝置100之外部裝置。

該面孔偵測模組114偵測由該照相機189所輸入的影像中之任何區域(面孔區域)，其中一人員之面孔存在。更精確地是，該面孔偵測模組114由該輸入影像偵測在該照相機109正掃描的面積中步行之過路人M的面孔之影像(面孔影像)，及亦偵測在該輸入影像中拍攝該面孔影像的位置。

該面孔偵測模組114藉由移動該輸入影像中之模板偵測該輸入影像之面孔區域，藉此獲得一相互關係值。於此具體實施例中，該面孔偵測模組114偵測該再排部位當作面孔區域，在此該最大相互關係值被計算。

偵測面孔區域之各種方法係可用的。依據此具體實施例之影像處理裝置100可使用譬如該本徵空間方法或該次空間方法，以偵測來自該輸入影像之面孔區域。

該影像處理裝置100能由待偵測之面孔區域偵測面孔部位，諸如該眼睛、鼻子及嘴巴。為偵測該等面孔部位，該裝置100可施行譬如於Kazuhiro Fukui及Osamu Yamaguchi“藉由使用形狀擷取及圖案對照的顏面特徵之擷取”1997年電子工學、資訊及通訊工程師期刊(D)第J80-D-II冊、第8號、第2170-2177頁(下文稱為“文件1”)及Mayumi Yuasa及Akiko Nakajima“基於顏面特徵之高精確性偵測的數位製造系統”2004年第10屆影像感測座談會之論文集第219-224頁(下文稱為“文件2”)中所揭示之方法。

此具體實施例將在其被組構來藉由使用他或她的面孔影像鑑定任何人員之假定上所說明。儘管如此，該眼睛影像可被代替地使用於辨識該人員。更精確地是，整個眼睛之影像、該虹膜之影像、或該視網膜之影像可被使用。於此案例中，該影像處理裝置100偵測該面孔影像之眼睛區域，且該照相機係用變焦距鏡頭使景物放大，以取得該等眼睛之放大影像。

該影像處理裝置100產生代表藉由配置於二維矩陣圖案中之像素所界定的影像之視頻資料，不論該影像是否與該眼睛、該虹膜、或該視網膜有關。

為了由輸入影像擷取一面孔，該影像處理裝置100獲得該輸入影像相對於該模板所具有之相互關係值，且當作面孔區域偵測該相互關係值為最大的位置及尺寸。

為了由一輸入影像擷取複數面孔，該影像處理裝置100首先獲得該影像中之最大相互關係值，且接著考慮該影像中之面孔的相互重疊選擇該等面孔候選者的某些個。再者，該影像處理裝置100考慮該影像所具有之關係同時地偵測複數面孔區域，而在輸入之前具有一些連續之影像(亦即，該影像已隨著時間改變而改變)。

如上面所述，依據此具體實施例之影像處理裝置100偵測人員之面孔區域。代替之，該影像處理裝置100可偵測存在於該輸入影像中之人員區域。該影像處理裝置100能偵測人員區域，如果其利用譬如Nobuto Matsuhira，Hideki Ogawa及Taku Yoshimi，“用於人類之生活輔助機器人”2005年Toshiba回顧評論、第60冊、第7號、第112-115頁中所揭示之技術(下文稱為“文件3”)。

該照相機109逐一地產生影像，及逐格地傳送影像資料至該面孔偵測模組114。該面孔偵測模組114偵測輸入至其中之每一影像中的面孔區域。

由在此所偵測之資料，資料項能被擷取，其代表每一過路人M之面孔的位置(座標)、其尺寸、其移動速率、及所發現的面孔之數目。

該面孔偵測模組114能計算該整個影像的片格間之差異，藉此發現代表該整個影像之移動區域(或該移動區域的面積)的像素之數目。毗連該改變區域的輸入影像之區域係於任何另一區域之前處理，由此任何面孔區域可在高速被偵測。再者，該面孔偵測模組114能基於像素之數目推斷異於人類之任何事物的物理值，該等像素代表該整個影像的一移動區域。

在基於所偵測之面孔區域的位置或所偵測之面孔部位的位置之尺寸中，該面孔偵測模組114擷取該影像的的一區域。更精確地是，該面孔偵測模組114由該輸入影像擷取藉由譬如m像素×n像素所界定之面孔區域。該面孔偵測模組114傳送如此擷取之影像至該特徵擷取模組119。

該特徵擷取模組119擷取關於所擷取之影像的灰階資料當作特徵值。在此情況下，形成二維影像的m×n像素之灰階值被用作一特徵向量。該辨識模組130藉由該簡單之類似性方法計算這些像素間之類似性。亦即，該辨識模組130施行該簡單之類似性方法，藉此設定該向量及其長度至值“1”。該辨識模組130進一步計算該內積，藉此發現複數特徵向量間之類似性。如果該照相機109已取得僅只一影像，該影像之特徵可藉由施行上述製程來擷取。

為了輸出該辨識結果，一由複數連續影像所構成之移動影像可被使用。如果事實為如此，該影像處理裝置100能比以別的方式在較高精確性辨識人員。由於此，此具體實施例使用一移動影像施行一辨識方法，如將在下面被說明者。

為藉由使用一移動影像辨識人員，該照相機109連續地拍攝一區域。該面孔偵測模組114由這些連續影像擷取面孔區域影像(m×n像素影像)。該辨識模組130為所擷取之每一面孔區域影像取得一特徵向量，藉此由為每一面孔區域影像所取得之特徵向量獲得一相互關係矩陣。

該辨識模組130由特徵向量之相互關係矩陣藉著譬如Karhunen-Loeve展開(KL展開)取得一常態化正交向量。該辨識模組130可因此計算代表該等連續影像中顯現之顏面特徵的次空間，並可藉此可辨識該等顏面特徵。

為了計算一次空間，該辨識模組130首先獲得特徵向量之相互關係矩陣(或共變異數矩陣)。然後，該辨識模組130在特徵向量之相互關係矩陣上施行KL展開，獲得該常態化之正交向量(亦即，本徵向量)。該辨識模組130藉此計算次空間。

該辨識模組130選擇對應於本徵值及大於任何其他本徵向量之k個本徵向量。該辨識模組130使用所選擇之k個本徵向量，其代表一個次空間。

在本具體實施例中，該辨識模組130獲得Cd=ΦdΔdΦdT之相互關係矩陣。該辨識模組130呈現該相互關係矩陣(Cd=ΦdΔdΦdT)對角線，藉此獲得該等本徵向量之矩陣Φd。代表此矩陣Φd之資料係代表待辨識的人員之顏面特徵的次空間。

該已登錄之顏面特徵控制模組140儲存如此計算之次空間，如已登錄之資料。該已登錄之顏面特徵控制模組140中所儲存的特徵資料項係譬如m×n像素之特徵向量。另一選擇係，該已登錄之顏面特徵控制模組140可儲存該面孔影像，而沒有特徵又已由該面孔影像擷取。又另一選擇係，儲存於該已登錄的顏面特徵控制模組140中之特徵資料項可為代表該次空間或尚未遭受KL展開之相互關係矩陣的資料。

該等顏面特徵資料項可被以任何方式保持在該已登錄之顏面特徵控制模組140中，只要至少一資料項用於每一人員。亦即，當該已登錄之顏面特徵控制模組140正儲存用於每一人員之複數顏面特徵資料項時，該顏面特徵資料項能被由一人員切換至另一人員，以辨識該人員，如按照該監視狀態所需要者。

當作另一特徵擷取方法，一方法係可用的，其由一面孔影像獲得特徵資料。此方法能擷取面孔特徵資料。例如看Elky Oya、Hidemitsu Ogawa及Makotc Satoh，“圖案辨識及次空間方法”Sangyo Tosho，1986(下文稱為“文件4”)，及Tatsuo Kozakatani、Toshiba，“用於辨識影像之裝置、方法及程式”日本專利申請案KOKAI公告第2007-4767號(下文稱為“文件5”)。

文件4敘述藉由投射一影像至由已登錄的資料所代表之次空間來辨識人員的方法，該已登錄之資料藉著該次空間方法由複數面孔影像所製備。如果在文件4中所敘述之方法被施行，該辨識模組130能使用一影像來辨識該人員。

文件5敘述產生一影像(擾動影像)之方法，其中該面孔之方位、狀態等已被故意地改變。顯示該面孔之已改變方位、狀態等的擾動影像可被用來辨識該人員。

該辨識模組130以類似性之觀點比較藉由該特徵擷取模組119所取得之輸入次空間與該已登錄之顏面特徵控制模組140所登錄的一或多個次空間。該辨識模組130可因此決定一已登錄人員之影像是否存在於該輸入影像中。

該辨識製程能藉由使用該相互之次空間方法所達成，該方法譬如被揭示於Kenichi Maeda及Sadakazu Watanabe，“使用一局部結構之圖案匹配方法”1985年電子工學、資訊及通訊工程師日本期刊(D)第J68-DI冊、第3號、第345-352頁(下文稱為“文件6”)中。

於此方法中，該已登錄之資料中所包含之辨識資料及該輸入資料被表達為次空間。亦即，於該相互之次空間方法中，儲存於該已登錄的顏面特徵控制模組140中之顏面特徵資料及藉由該照相機109所拍攝之像影所產生的特徵資料被規定為次空間。這些二次空間界定一角度，其被計算為類似性。

在此中，由該輸入影像所計算之次空間將被稱為“輸入次空間”。該辨識模組130由一輸入資料列(亦即，藉由該照相機109所拍攝之影像)獲得一相互關係矩陣，“Cin=ΦinΔinΦinT”。

該辨識模組130接著呈現該相互關係矩陣(Cin=ΦinΔinΦinT)對角線，藉此獲得一本徵向量Φin。該辨識模組130計算藉由向量Φin所標示之次空間及藉由向量Φd所標示的次空間之間的類似性。換句話說，該辨識模組130發現這些二次空間之間的類似性(0.0至1.0)。

如果複數面孔區域存在於該輸入影像中，該辨識模組130在每一面孔區域上施行該辨識製程。亦即，該辨識模組130計算該已登錄之顏面特徵控制模組140中所保有之任何特徵資料項及該面孔區域中的影像間之類似性。該辨識模組130可藉此獲得該辨識製程之結果。譬如，X個人員可步行朝向儲存關於Y個人員之字典的影像處理裝置100。於此案例中，該辨識模組130計算類似性X×Y次數，完成該辨識製程。該辨識模組130可因此輸出辨識所有X個人員之結果。

無該等輸入影像可被發現與該已登錄之顏面特徵控制模組140中所保有之任何特徵資料項完全相同。亦即，基於該照相機109下一次已拍攝之影像(亦即，該下一片格之影像)，該辨識模組130不能輸出任何辨識結果。該辨識模組130接著再次施行該辨識製程。

於此案例中，該辨識模組130將用於一片格之相互關係矩陣加至用於已往所輸入之片格的相互關係矩陣之總和。該辨識模組130計算該本徵向量，藉此再次產生次空間。如此，該辨識模組130更新用於該輸入影像之次空間。

為對照一步行人員之連續的面孔影像，該辨識模組130逐一地更新次空間。亦即，每一次一影像被輸入至該辨識模組時，該辨識模組130施行該辨識製程。該對照精確性因此與所輸入之影像的數目成比例地逐漸增加。

如果複數照相機被連接至如圖1所示之影像處理裝置100，該影像處理裝置100中之處理負載將輕易地增加。如果在該影像中偵測到很多過路人，該面孔偵測模組114將擷取所偵測之同樣多的面孔區域之特徵值。再者，該辨識模組130按照如此擷取之特徵值施行該辨識製程。

為防止一可發生在該特徵擷取製程及該辨識製程中之延遲，這些製程必需在高速被施行。再者，如果一些過路人在該影像中被偵測，該面孔偵測模組114需要在低速、但在高精確性下施行一製程。

該處理方法控制模組120按照在該輸入影像上所施行之各種製程的結果控制該辨識製程及藉由該面孔偵測模組114所施行之面孔偵測製程。

既然複數照相機被連接至該影像處理裝置100，分配給該中央處理單元(CPU)供處理來自每一照相機的影像輸入之時間必需按照處理影像輸入之負載被控制。亦即，該處理方法控制模組120與處理該輸入影像之負載成比例地加長分配給該CPU之時間。

基於至少一資料項、諸如位置(座標)、尺寸、及移動速率、由該照相機109所輸入之影像中所偵測的面孔區域之數目及該輸入影像所偵測的移動像素之數目，該處理方法控制模組120對每一輸入影像設定處理優先順序。

首先，該處理方法控制模組120計數每一輸入影像中所偵測之面孔區域的數目N。在此，其係假設該處理方法控制模組120對很多面孔區域已被偵測之影像比對沒有偵測到任何面孔區域之影像設定較高的優先順序。該處理方法控制模組120譬如與該影像中所偵測之面孔區域的數目成比例地分配一優先順序給每一輸入影像。

再者，該處理方法控制模組120決定任何面孔區域之定位置L1。該處理方法控制模組120由設定至該照相機109之視角推斷一面孔是否將由該影像很快消失。如果一照相機像監視照相機被定位高於人員，且如果一人員之影像在由該照相機所輸入之影像中移向該照相機，該Y座標將於該面孔區域中增加。該處理方法控制模組120因此推斷該人員之影像留在該影像中之時間與該Y座標之值成比例地為短的，且增加設定至該影像之優先順序。

再者，如果該面孔區域採用該X軸上之零位置或最大位置，該處理方法控制模組120推斷該人員之影像留在該影像中之時間為短的。該處理方法控制模組120對一影像設定高優先順序，其中一面孔區域存在接近該X軸的任一端部之位置。如果一距離感測器被使用當作輸入機構，該優先順序可按照該感測器已偵測之距離被設定。

該處理方法控制模組120亦決定任何人員之移動速率V。亦即，該處理方法控制模組120由一影像片格中之面孔區域的位置及該下一影像片格中之面孔區域的位置中之變化計算該人員之移動速率。該處理方法控制模組120對一影像設定較高優先順序，其中該面孔區域比該面孔區域在低速移動之影像較高速地移動。

再者，該處理方法控制模組120由所偵測之面孔區域的特徵值決定顯現在該等面孔區域中之人員的分類。該處理方法控制模組120按照如此決定之分類設定該優先順序。

該處理方法控制模組120設定任何已被偵測到面孔區域之人員的P型(分類)。該P型係譬如該人員之性別、年齡、高度或服裝。按照如此設定之P型，該處理方法控制模組120對該影像設定優先順序。

該處理方法控制模組120由與該顏面特徵資料之類似性決定該人員之性別及年紀。再者，該處理方法控制模組120參考一已基於關於所記錄之男性及女性顏面特徵的資料項及關於各種年紀階層的顏面資料項所製備之字典。如此，該處理方法控制模組120決定該輸入影像之面孔區域中所顯現之人員是否為男性或女性或該人員屬於哪一年齡層。

該處理方法控制模組120由任何鄰接片格間之差異計算一人員之任何影像移動的區域之尺寸，並可由該區域之高度與該人員之面孔影像的坐標決定該人員之高度。再者，該處理方法控制模組120基於關於該整個人員之區域的影像資料區分該人員之服裝，由亮度資料之直方圖決定該人員是否穿“黑色”、“白色”等衣服。

再者，該處理方法控制模組120決定該影像中所改變之任何區域的尺寸“S”。更精確地是，該處理方法控制模組120首先發現任何二鄰接片格間之差異，且接著在具有該差異之區域上施行一上標籤製程。該處理方法控制模組120可因此決定在該整個影像中移動之物件的尺寸。

如果該人員正在該影像中移動，該處理方法控制模組120將該人員之整個區域視為一正改變之區域。如果一汽車或一棵樹木正在該影像中移動，該處理方法控制模組120將該汽車或樹木視為一正改變之區域。很多區域可為正在該影像中移動。於此案例中，該處理方法控制模組120決定一事件將或許發生，及設定高優先順序。

再者，該處理方法控制模組120決定該影像中之中之正改變區域的位置“L2”。為更明確，該處理方法控制模組120由該正改變區域之尺寸、該正改變區域的片格及重心間之差異決定該正改變區域之位置，該差異已於該上標籤製程中決定。如此，該正改變區域消失之時間越短，則該處理方法控制模組120將設定之優先順序該越高。

按照所偵測之面孔區域的數目“N”、所偵測之每一面孔區域的位置“L1”、所偵測之任何人員的移動速率“V”、該人員之類型P”、該正改變區域之尺寸“S”、及該正改變區域之位置“L2”(所有藉由上述方法所決定)，該處理方法控制模組120對由每一照相機106、107及108所輸入之影像設定優先順序。

該處理方法控制模組120對每一輸入影像設定此優先順序，如藉由以下之方程式所表達：

優先順序=K1×N+K2×L1×+K3×v+K4×P+K5×S+K6×L2(1)

在此K1至K6係分別加權該等值N、L1、V、P、S及L2之計數值。此優先順序越高，則處理資料之速率將為越高。

將在下面說明該製程如何按照該優先順序被控制。

圖2A、2B、2C及2D係圖解，說明可被由該照相機109輸入之各種影像。更精確地是，圖2A顯示一大幅地變化之影像，圖2B顯示該面孔區域係靠近該照相機109之影像。圖2C顯示該面孔區域在高速移動之影像，及圖2D顯示一具有很多面孔區域之影像。

該處理方法控制模組120藉由使用該方程式(1)計算用於由每一照相機109所輸入之影像的優先順序。然後，該處理方法控制模組120比較為該等影像所計算之優先順序，藉此決定哪一影像應於任何其他影像之前被處理。

圖2A、2B、2C及2D中所示之影像譬如可被同時輸入至該處理方法控制模組120。於此案例中，該處理方法控制模組120分別計算用於該四個影像之優先順序。

用於所偵測之面孔區域的數目N為大的案例中，為升高該優先順序，該處理方法控制模組120設定K1為該最大值。於此案例中，該處理方法控制模組120決定圖2D之影像應於任何其他影像之前被處理。亦即，該處理方法控制模組120在相同之優先順序處理圖2A、圖2B及圖2C之其他影像。

為升高用於一影像的優先順序，其中一面孔區域在高於任何其他影像中之速率的速率V移動，該處理方法控制模組120設定K3為該最大值。於此案例中，該處理方法控制模組120決定圖2C之影像應於任何其他影像之前被處理。亦即，該處理方法控制模組120在相同之優先順序處理圖2A、圖2B及圖2D之其他影像。

如果該面孔區域之位置L1被考慮為最要緊，該處理方法控制模組120設定K2為該最大值。於此案例中，該處理方法控制模組120決定該圖2B之影像應於任何其他影像之前被處理。亦即，該處理方法控制模組120在相同之優先順序處理圖2A、圖2C及圖2D之其他影像。

如果該影像中之正改變區域S被考慮為最要緊，該處理方法控制模組120設定K5為該最大值。於此案例中，該處理方法控制模組120決定該圖2A之影像應於任何其他影像之前被處理。亦即，該處理方法控制模組120在相同之優先順序處理圖2B、圖2C及圖2D之其他影像。

再者，該處理方法控制模組120可被組構成組合地施行該上述方法，藉此計算用於輸入至其上之每一影像的優先順序。如果事實如此，其能按照各種因素對於圖2A至2D所示之任何一影像設定該優先順序。

該處理方法控制模組120按照所決定之優先順序控制在該輸入影像中偵測一面孔之製程。為偵測一面孔，該面孔偵測模組114設定由該影像擷取一面孔區域之解析度。

圖3A、3B及3C係圖解，說明一面孔偵測製程如何被施行，以由輸入影像擷取一面孔區域。更特定言之，圖3A係一圖解，說明如何在低解析度擷取一面孔區域，圖3B係一圖解，說明如何在中間解析度擷取一面孔區域，及圖3C係一圖解，說明如何在高解析度擷取一面孔區域。

為了例如由一已計算其高優先順序之影像擷取一面孔區域，該處理方法控制模組120控制該面孔偵測模組114，造成該面孔偵測模組在低解析度擷取該影像，如圖3A中所顯示。

為了由已計算其中間優先順序之影像擷取一面孔區域，該處理方法控制模組120控制該面孔偵測模組114，造成該面孔偵測模組在中間解析度擷取該影像，如圖3B中所顯示。

為了由已計算其低優先順序之影像擷取一面孔區域，該處理方法控制模組120控制該面孔偵測模組114，造成該面孔偵測模組在高解析度擷取該影像，如圖3C中所顯示。

為計算用於該等個別面孔區域之特徵值，該面孔偵測模組114標示該等面孔區域，以在該等區域上施行該面孔偵測製程。於此案例中，該處理方法控制模組120按照所決定之優先順序控制待由該影像擷取的面孔區域之數目。

圖4A、4B及4C係圖解，說明如何由一輸入影像擷取面孔區域。更特別地是，圖4A係一圖解，說明如何擷取一些面孔區域，圖4D係一圖解，說明如何擷取更多之面孔區域，及圖4C係一圖解，說明如何擷取又更多之面孔區域。

為由一已計算其高優先順序之影像擷取諸區域，該處理方法控制模組120控制該面孔偵測模組114，造成該面孔偵測模組由該輸入影像擷取一些面孔區域，如圖4A所示。

為由一已計算其中間優先順序之影像擷取諸區域，該處理方法控制模組120控制該面孔偵測模組114，造成該面孔偵測模組由該輸入影像擷取更多面孔區域，如圖4B所示。

為由一已計算其低優先順序之影像擷取諸區域，該處理方法控制模組120控制該面孔偵測模組114，造成該面孔偵測模組由該輸入影像擷取甚至更多的面孔區域，如圖4C所示。

該影像處理裝置100可因此按照所想要之製程速率由一模式至另一模式切換該偵測製程。

亦即，如果該優先順序計算為高的，該影像處理裝置100縮短該製程時間。譬如，該影像處理裝置100可改變該製程參數，以在高速、但在低精確性施行該製程。另一選擇係，該影像處理裝置100可改變該製程參數，以反之在低速、但在高精確性施行該製程。

再者，該處理方法控制模組120可控制該面孔偵測模組114，造成該面孔偵測模組由一自照相機109所輸入之低優先順序已被設定的影像逐格地擷取面孔區域，因為該影像全然沒有面孔區域。

圖5A、5B及5C係圖解，說明在藉由圖1所示照相機109所拍攝之影像上施行一面孔偵測製程。更精確地是，圖5A係一圖解，說明如何在高優先順序之影像上施行該面孔偵測製程，圖5B係一圖解，說明如何在中間優先順序之影像上施行該面孔偵測製程，及圖5C係一圖解，說明如何在低優先順序之影像上施行該面孔偵測製程。

為由一已計算其高優先順序之影像擷取面孔區域，該處理方法控制模組120逐格地施行該面孔偵測製程，如圖5A所示。亦即，該處理方法控制模組120設定一用於將被該照相機109所拍攝的任何片格之高面孔偵測頻率，該照相機輸出已計算其高優先順序之影像。

為由一已計算其中間優先順序之影像擷取面孔區域，該處理方法控制模組120每隔二片格地施行該面孔偵測製程，如圖5B所示。亦即，該處理方法控制模組120設定一用於將被該照相機109所拍攝的任何片格之中間面孔偵測頻率，該照相機輸出已計算其高優先順序之影像。

為由一已計算其低優先順序之影像擷取面孔區域，該處理方法控制模組120每隔四片格地施行該面孔偵測製程，如圖5C所示。亦即，該處理方法控制模組120設定一用於將被該照相機109所拍攝的任何片格之低面孔偵測頻率，該照相機輸出已計算其低優先順序之影像。如此，該影像處理裝置100能按照處理該影像之負載改變該製程精確性。

該特徵擷取模組119計算用於該面孔偵測模組114已偵測的個別面孔區域(或顏面區域)之特徵值。該特徵擷取模組119傳送該等特徵值至該辨識模組130。亦即，該影像處理裝置100能預測處理該影像之負載及施行該面孔偵測製程，如上面所說明，藉此控制該特徵擷取模組119可處理的影像之數目。其結果是，該影像處理裝置100之整個工作負載可被減少。

在正常之操作模式中，該面孔偵測模組114偵測像素模組中之一面孔區域。如果該優先順序為低的，譬如，該面孔偵測模組114可被組構，以在面孔偵測製程中擷取每一個第四像素。

再者，該處理方法控制模組120可控制該特徵擷取模組119，造成該特徵擷取模組在擷取特徵之前選擇與該優先順序一致之解析度。該處理方法控制模組120可控制該特徵擷取模組119，造成該特徵擷取模組譬如在低解析度擷取特徵。

又再者，該處理方法控制模組120可被組構，以控制該特徵擷取模組119施行之特徵擷取製程。該特徵擷取模組119包括第一特徵擷取模組，其被組構成由一影像擷取特徵；及第二特徵擷取模組，其被組構成由複數影像擷取特徵。該處理方法控制模組120控制該特徵擷取模組119，使得該第一特徵擷取模組被切換至該第二特徵擷取模組、或反之亦然。

譬如，該處理方法控制模組120造成該第二特徵擷取模組由低優先順序之影像擷取特徵，且造成該第一特徵擷取模組由高優先順序之影像擷取特徵。該辨識模組130基於藉由該特徵擷取模組119所擷取之特徵施行該辨識製程。

再者，該處理方法控制模組120可變更使影像遭受該特徵擷取製程之順序，以致一較高優先順序之影像可於低優先順序的影像之前被處理。再者，該處理方法控制模組120可變更使影像遭受類似性計算之順序，以致較高優先順序之影像可於低優先順序的影像之前被辨識。該影像處理裝置100可因此立刻辨識任何影像中之人員，不論多少人員顯現在該影像中或它們正在該影像中多快地移動。

再者，該處理方法控制模組120控制該辨識模組130，造成該辨識模組按照該優先順序在計算類似性之前改變該次空間之平面數目。該類似性計算之時間及精確性可藉此被均衡。注意該平面數目係代表被使用於該相互次空間方法中之向量的數目之資料，以便計算類似性。亦即，更多平面孔被使用，以升高該辨識製程之精確性，且較少之平面被使用於降低該辨識製程。

該輸出模組150由該影像處理裝置100輸出藉由該辨識模組130所施行之辨識結果。亦即，該輸出模組150按照辨識之結果輸出控制信號、音頻資料、及影像資料。

該輸出模組150輸出譬如關於該輸入影像之特徵資料及儲存於該已登錄的顏面特徵控制模組140中之顏面特徵資料。於此案例中，該輸出模組150由該辨識模組130接收關於該輸入資料之特徵資料，且亦接收具有高類似性之被儲存於該已登錄的顏面特徵控制模組140中之顏面特徵資料，並由該影像處理裝置100輸出兩資料項。再者，該輸出模組150可將類似性加至所擷取之特徵。又再者，如果該類似性超過一規定值，該輸出模組150可輸出用於產生一警報之控制信號。

如上面所述，此具體實施例之影像處理裝置100設定類似性至每一輸入影像。按照該類似性，該處理方法控制模組120控制該解析度及頻率，該面孔偵測模組114將在該解析度及頻率擷取面孔區域，與該面孔偵測模組114亦將擷取的面孔區域之數目。任何輸入影像能夠因此在一比以別的方式較小之負載被處理。其結果是，該具體實施例能提供一裝置及一方法，該兩者能夠處理影像，以便完成有效率之監視。

於上述具體實施例中，該面孔偵測模組114及該特徵擷取模組119彼此獨立地操作。儘管如此，該面孔偵測模組114可被組構，以同樣施行該特徵擷取模組119之功能。於此案例中，該面孔偵測模組114不只是由該輸入影像偵測面孔區域，而且亦計算用於該等個別之面孔區域的特徵值。另一選擇係，該辨識模組130可被組構，以同樣施行該特徵擷取模組119之功能。如果事實如此，該面孔偵測模組114傳送所擷取之面孔影像至該辨識模組130，且該辨識模組130由該等面孔影像計算該特徵值，辨識顯現在該輸入影像中之任何人員。

兩者皆根據第二具體實施例之影像處理裝置及影像處理方法將被詳細地敘述。

圖6係一方塊圖，說明根據該第二具體實施例的影像處理裝置200之示範組構。

如圖6所顯示，該影像處理裝置200包括次控制模組261、362及263(下文一般稱為“次控制模組264”)及一主要控制模組270。

該次控制模組261包括一面孔偵測模組211及一特徵擷取模組216。相同地，該次控制模組262包括一面孔偵測模組212及一特徵擷取模組217，且該次控制模組263包括一面孔偵測模組213及一特徵擷取模組218。下文，該等面孔偵測模組211、212及213大致上被稱為“面孔偵測模組214”，且該等特徵擷取模組216、217及218將大致上被稱為“特徵擷取模組219”。

該主要控制模組270包括一連接方法控制模組220、一辨識模組230、一已登錄之顏面特徵控制模組240、及一輸出模組250。

該面孔偵測模組214施行一面孔偵測製程，其類似於該第一具體實施例中之面孔偵測模組214所作之製程。該特徵擷取模組219施行一特徵擷取製程，其類似於該第一具體實施例中之特徵擷取模組119所作之製程。再者，該辨識模組230施行一辨識製程，其類似於該第一具體實施例中之辨識模組130所作之製程。

如圖6所顯示，照相機206被安裝在通道201中。照相機207被安裝在通道202中。照相機208被安裝在通道203中。該等照相機206、207及208(大致上被稱為“照相機209”)係連接至該次控制模組264。更精確地是，該照相機206係連接至該等次控制模組261、262及263，該照相機207連接至該等次控制模組261、262及263，且該照相機208連接至該等次控制模組261、262及263。

亦即，每一照相機209係藉由集線器(HUB)或區域網路(LAN)連接至複數次控制模組264。

該照相機209係在該等次控制模組264的控制之下由一次控制模組切換至另一次控制模組。亦即，該照相機209係如此藉著NTSC系統切換，並可連接至任何次控制模組264。該照相機209可藉由網路照相機所構成。於此案例中，該等次控制模組264標示任何想要之照相機209的IP位址，藉此由該照相機209接收影像。其不管多少照相機209被連接至每一次控制模組264。

每一次控制模組264包括例如CPU、RAM、ROM、及非揮發性記憶體。該CPU係該次控制模組26之控制模組。該CPU用作用於按照儲存於該ROM或該非揮發性記憶體中之控制程式及控制資料施行各種製程的機構。

該RAM係一用作該CPU用之工作記憶體的揮發性記憶體。亦即，該RAM作為儲存機構，用於暫時地儲存該CPU正處理之資料。再者，該RAM暫時地儲存其已由輸入模組接收之資料。該ROM係一儲存控制程式及控制資料之非揮發性記憶體。

該非揮發性記憶體係藉由一能寫入及重寫資料之記錄媒體所構成，諸如EEPROM及HDD。於該非揮發性記憶體中，控制程式及各種資料項已被寫入，其用於該影像處理裝置200之操作係全部需要的。

該次控制模組264具有一被組構成由該照相機209接收影像之介面。該次控制模組264另具有一介面，其被組構成由該主要控制模組270接收資料，及傳送資料至該主要控制模組270。

像該次控制模組264，該主要控制模組270具有CPU、RAM、ROM、及非揮發性記憶體。該主要控制模組270另具有一介面，其被組構成由該次控制模組264接收資料，及傳送資料至該次控制模組264。

根據本具體實施例之影像處理裝置200具有一顧客伺服器組構，且處理由每一次控制模組264所接收之資料，以便由藉著複數照相機206、207及208所拍攝之影像辨識一特定之人員。所有藉由每一照相機209所拍攝的影像所偵測之面孔區域及特徵值的影像係藉此輸入至該主要控制模組270。用作伺服器之主要控制模組270決定所偵測之任何面孔影像的人員是否已登錄或未登錄於該已登錄的顏面特徵控制模組240中。

按照在藉由該照相機209所拍攝之影像上所施行的面孔偵測製程之結果，該連接方法控制模組220控制該次控制模組264相對於該照相機209之切換。在此，該連接方法控制模組220用作控制模組。

該連接方法控制模組220施行與在該第一具體實施例中所作成之處理方法控制模組120相同的方法，且設定對於藉由每一照相機209所拍攝之影像的優先順序。亦即，按照設定至該影像之優先順序，該連接方法控制模組220切換每一次控制模組264及每一照相機209間之連接。

圖7係一圖解，說明該連接方法控制模組220(圖6)施行之製程圖7顯示三個影像271、272及273。該影像271已藉由該照相機206被拍攝，圖7所示之影像272已藉由該照相機207被拍攝，且該影像273已藉由該照相機208被拍攝。於該影像271中，四個面孔區域被偵測。於該影像272中，一個面孔區域被偵測。於該影像273中，沒有面孔區域被偵測。

因此，該連接方法控制模組220決定藉由該照相機206所拍攝之影像271具有該最高優先順序，藉由該照相機207所拍攝之影像272具有該第二最高之優先順序，且藉由該照相機208所拍攝之影像273具有該最低的優先順序。

於此案例中，該連接方法控制模組220控制連接該照相機209及次控制模組264之方法，以便輸入藉由該照相機206所拍攝之具有該最高優先順序的影像至該次控制模組264。於圖7之案例中，該連接方法控制模組220輸入藉由該照相機206所拍攝之影像271至該等次控制模組261及263。

於此案例中，該次控制模組261之面孔偵測模組211及該次控制模組263的面孔偵測模組213逐格交互地處理一影像。該次控制模組261之面孔偵測模組211及該次控制模組263的面孔偵測模組213可被組構，以分別處理一半影像。

該連接方法控制模組220控制該連接，致使由該照相機208所輸出之已於該前一片格中偵測沒有面孔區域的影像可在規定的間隔被輸入至該次控制模組264。該次控制模組264於譬如藉由該照相機208所拍攝之影像的每隔四個片格之一中偵測面孔區域。

如已被敘述，根據本具體實施例之影像處理裝置200對由任何照相機所輸入之每一影像設定優先順序。於該影像處理裝置200中，該照相機209及該次控制模組264間之連接係按照設定至該影像之優先順序控制。任何需要大處理負載之影像被輸入至複數次控制模組264，其處理該等影像之各區域。如此，此具體實施例能提供一裝置及一方法，兩者能夠處理影像，以便完成有效率之監視。

該第二具體實施例具有三個次控制模組264。儘管如此，該第二具體實施例可很好地操作，如果其具有至少二個次控制模組264。

雖然某些具體實施例已被敘述，這些具體實施例已僅只當作範例被呈現，且係不意欲限制該等發明之範圍。實際上，在此中所敘述之新穎的具體實施例可被以各種其他形式具體化；再者，在此中所敘述之具體實施例的形式中之各種省略、替代及變化可被作成，而不會由該等發明之精神脫離。所附申請專利範圍及其同等項係意欲涵蓋此等形式或修改，如將落在該等發明之範圍及精神內者。

100．．．影像處理裝置

101．．．通道

102．．．通道

103．．．通道

106．．．照相機

107．．．照相機

108．．．照相機

109．．．照相機

111．．．面孔偵測模組

112．．．面孔偵測模組

113．．．面孔偵測模組

114．．．面孔偵測模組

116．．．特徵擷取模組

117．．．特徵擷取模組

118．．．特徵擷取模組

119．．．特徵擷取模組

120．．．處理方法控制模組

130．．．辨識模組

140．．．顏面特徵控制模組

150．．．輸出模組

200．．．影像處理裝置

201．．．通道

202．．．通道

203．．．通道

206．．．照相機

207．．．照相機

208．．．照相機

209．．．照相機

211．．．面孔偵測模組

212．．．面孔偵測模組

213．．．面孔偵測模組

214．．．面孔偵測模組

216．．．特徵擷取模組

217．．．特徵擷取模組

218．．．特徵擷取模組

219．．．特徵擷取模組

220．．．連接方法控制模組

230．．．辨識模組

240．．．顏面特徵控制模組

250．．．輸出模組

260．．．次控制模組

261．．．次控制模組

262．．．次控制模組

263．．．次控制模組

264．．．次控制模組

270．．．主要控制模組

271．．．影像

272．．．影像

273．．．影像

圖1係一方塊圖，說明根據第一具體實施例之影像處理裝置的示範組構；

圖2A係一圖解，說明藉由圖1所示照相機之一所拍攝的示範影像；

圖2B係一圖解，說明藉由圖1所示照相機之一所拍攝的另一示範影像；

圖2C係一圖解，說明藉由圖1所示照相機之一所拍攝的又另一示範影像；

圖2D係一圖解，說明藉由圖1所示照相機之一所拍攝的進一步示範影像；

圖3A係一圖解，說明在藉由圖1所示照相機之一所拍攝的影像上所施行之面孔偵測製程；

圖3B係另一圖解，說明在藉由圖1所示照相機之一所拍攝的影像上所施行之面孔偵測製程；

圖3C係又另一圖解，說明在藉由圖1所示照相機之一所拍攝的影像上所施行之面孔偵測製程；

圖4A係一圖解，說明在藉由圖1所示照相機之一所拍攝的影像上所施行之面孔偵測製程；

圖4B係一圖解，說明在藉由圖1所示照相機之一所拍攝的影像上所施行之另一面孔偵測製程；

圖4C係一圖解，說明在藉由圖1所示照相機之一所拍攝的影像上所施行之又另一面孔偵測製程；

圖5A係一圖解，說明在藉由圖1所示照相機之一所拍攝的影像上所施行之示範面孔偵測製程；

圖5B係一圖解，說明在藉由圖1所示照相機之一所拍攝的影像上所施行之另一示範面孔偵測製程；

圖5C係一圖解，說明在藉由圖1所示照相機之一所拍攝的影像上所施行之又另一示範面孔偵測製程；

圖6係一方塊圖，說明根據第二具體實施例之影像處理裝置的示範組構；及

圖7係一圖解，說明在藉由圖6所示照相機所拍攝的影像上所施行之示範面孔偵測製程。

100．．．影像處理裝置

101．．．通道

102．．．通道

103．．．通道

106．．．照相機

107．．．照相機

108．．．照相機

111．．．面孔偵測模組

112．．．面孔偵測模組

113．．．面孔偵測模組

116．．．特徵擷取模組

117．．．特徵擷取模組

118．．．特徵擷取模組

120．．．處理方法控制模組

130．．．辨識模組

140．．．顏面特徵控制模組

150．．．輸出模組

Claims (3)

1. 一種影像處理裝置，包括：複數影像輸入模組，其被組構成輸入影像；一偵測模組，其被組構成自藉由任何影像輸入模組所輸入之影像偵測面孔區域；一特徵擷取模組，其被組構成自藉由該偵測模組所偵測之任何面孔區域擷取特徵值；及一控制模組，其被組構成對於每一影像輸入模組按照由該偵測模組所偵測的面孔區域之數量設定優先順序，按照該優先順序從複數負載不同的方法中選擇一方法，及控制該偵測模組與該特徵擷取模組以藉由選擇的該方法處理由該複數影像輸入模組輸入的影像。
2. 如申請專利範圍第1項之影像處理裝置，其中該特徵擷取模組包括被組構成由一影像擷取一特徵值之第一擷取模組、及被組構成由複數影像擷取特徵值之第二擷取模組；且該處理方法控制模組按照該優先順序設定將該第一擷取模組切換至該第二擷取模組、或反之亦然。
3. 一種供使用於影像處理裝置中之影像處理方法，該影像處理裝置具有被組構成輸入影像之複數影像輸入模組，該方法包括：自藉由任何影像輸入模組所輸入之影像偵測面孔區域；自所偵測之任何面孔區域擷取特徵值；對於每一影像輸入模組按照所偵測的面孔區域之數量 設定優先順序；按照該優先順序從複數負載不同的方法中選擇一方法；及按照選擇的方法，控制由複數影像輸入模組輸入之該影像偵測的處理方法，及控制從該面孔區域擷取該特徵值的處理方法。