TWI416433B

TWI416433B - 紅眼影像偵測方法及其相關裝置

Info

Publication number: TWI416433B
Application number: TW099114610A
Authority: TW
Inventors: Ting Yuan Cheng; Pai Yu Tien; Sheng Ling Huang
Original assignee: Primax Electronics Ltd
Priority date: 2010-05-07
Filing date: 2010-05-07
Publication date: 2013-11-21
Also published as: US20110274347A1; US8774506B2; TW201140501A

Description

紅眼影像偵測方法及其相關裝置

本發明有關於紅眼影像偵測，尤指一種可簡易而快速地在一輸入影像中偵測出至少一紅眼影像的偵測方法及其相關裝置。

在低亮度的環境中，人的瞳孔會放大以盡可能地收集光線以在視網膜上投射出可辨識的影像。然而，在光線不足的環境中，當相機的閃光燈閃動，強烈的光線會穿過瞳孔並反射出眼球內視網膜後血管的顏色，導致最後在底片上成像時產生一紅眼影像。

在一般的取像裝置上，往往會配置偵測紅眼影像的功能以確保攝影成像時能將紅眼影像加以消除。一般的紅眼偵測技術會先偵測出人的臉部影像，接著再偵測臉部影像的其中一雙眼睛是否有紅眼現象，最後再對所找出的紅眼影像加以補償。然而，實際上所拍攝到的影像可能會沒有完整的臉部影像又或是臉部影像中僅出現一個眼睛或一部分眼睛的影像，上述的情況均可能會導致紅眼影像偵測功能錯誤而無法正確地產生正確的影像。然而為了預先找出臉部影像，習知的取像裝置須進行多項繁雜運算(例如膚色判定等流程)才能正確地找出臉部影像，而這些運算程序亦會增加系統的複雜度。此外，習知的取像裝置僅會對人類的眼睛進行紅眼偵測，對於動物的眼睛並無法正確地判斷並進行適當補償。

為了解決上述的問題，本發明同時應用了紅色像素以及邊緣偵測的技術，提供了一種可簡易而快速地在一輸入影像中偵測出至少一紅眼影像的偵測方法以及相關裝置。

依據本發明之一實施例，其提供了一種紅眼影像偵測方法，用以在一輸入影像中偵測出至少一紅眼影像。該紅眼影像偵測方法包含有：對該輸入影像執行一邊緣偵測程序，以偵測該輸入影像之邊緣特徵來得到一邊緣偵測結果；對該輸入影像執行一紅色像素偵測程序，以偵測該輸入影像之紅色像素來得到一紅色像素偵測結果；以及使用一決定電路來依據該邊緣偵測結果以及該紅色像素偵測結果得到一初步偵測結果，並依據該初步偵測結果來得到該至少一紅眼影像。

依據本發明之另一實施例，其提供一種紅眼影像偵測裝置，用以在一輸入影像中偵測出至少一紅眼影像。該紅眼影像偵測裝置包含有一邊緣偵測電路、一紅色像素偵測電路以及一決定電路。該邊緣偵測電路耦接至輸入影像，用以對該輸入影像執行一邊緣偵測程序，以偵測該輸入影像之邊緣特徵來得到一邊緣偵測結果。該紅色像素偵測電路耦接至該輸入影像，用以對該輸入影像執行一紅色像素偵測程序，以偵測該輸入影像之紅色像素來得到一紅色像素偵測結果。該決定電路耦接至該邊緣偵測電路與該紅色像素偵測電路，用以依據該邊緣偵測結果以及該紅色像素偵測結果得到一初步偵測結果，並依據該初步偵測結果來得到該至少一紅眼影像。

本發明係同時應用了紅色像素以及邊緣偵測的技術以在一輸入影像中快速且正確地偵測出至少一紅眼影像。詳細操作請參照以下的說明。

第1圖為依本發明之一實施例所實現之一紅眼影像偵測裝置1000的示意圖。紅眼影像偵測裝置1000包含有(但不侷限於)一邊緣偵測電路1100、一紅色像素偵測電路1200、一決定電路1300以及一紅眼補償電路1400。由於眼睛的瞳孔與虹彩周圍通常會環繞著眼白的部分，瞳孔與虹彩的影像往往帶有十分明顯的邊緣特徵，亦即其中的像素與周圍的像素有著極大的亮度差而呈現強烈的對比，基於此一特性，邊緣偵測電路1100在接收一輸入影像IMG_IN後，會對輸入影像IMG_IN執行一邊緣偵測程序，以偵測輸入影像IMG_IN之邊緣特徵來得到一邊緣偵測結果EG，此外，紅色像素偵測電路1200同樣接收輸入影像IMG_IN，並對輸入影像IMG_IN執行一紅色像素偵測程序，以偵測輸入影像IMG_IN之紅色像素來得到一紅色像素偵測結果RP。而決定電路1300則耦接至邊緣偵測電路1100與紅色像素偵測電路1200，用以依據邊緣偵測結果EG以及紅色像素偵測結果RP來得到一偵測結果Ra，並依據偵測結果Ra來得到至少一紅眼影像。最後，紅眼補償裝置1400會接收偵測結果Ra，並依據偵測結果Ra所得到的該至少一紅眼影像之一色度值，對該至少一紅眼影像進行調整來得到一調整後紅眼影像IMG_ADJ，並對調整後紅眼影像IMG_ADJ進行一濾波處理，以得到一補償後紅眼影像IMG_COM。

請注意，在此實施例中，紅眼補償裝置1400會進一步對輸入影像IMG_IN作補償而輸出補償後紅眼影像IMG_COM。然而，在其他實施例中，紅眼影像偵測裝置1000亦可直接輸出偵測結果Ra，而由使用者來判定是否要對所偵測到的紅眼影像作出處理，因此，紅眼影像偵測裝置1000並不一定需要包含有紅眼補償裝置1400(亦即，紅眼補償裝置1400係為一選擇性(optional)的元件)。簡言之，只要是同時應用邊緣偵測以及紅色像素偵測來擷取出一輸入影像中的紅眼影像的技術，均落於本發明的範疇之內。

邊緣偵測電路1100會針對輸入影像IMG_IN中每個像素之亮度以及其周圍的像素之亮度來決定出邊緣偵測結果EG，舉例來說，邊緣偵測電路1100可以針對輸入影像IMG_IN中分別作侵蝕(erosion)與擴張(dilation)處理，並以經過侵蝕與擴張處理後的影像來得到邊緣偵測結果EG。舉例來說，請參照第2圖，第2圖為依據本發明之一實施例以邊緣偵測電路1100處理輸入影像IMG_IN以得到邊緣偵測結果EG的範例示意圖。首先，邊緣偵測電路1100會針對輸入影像IMG_IN中的像素作侵蝕處理，而以一預定大小的侵蝕遮罩(例如：一大小為5x5像素之矩陣)來處理輸入影像IMG_IN中每一像素，因此，會以該侵蝕遮罩內亮度最低的一像素之一亮度值來取代該侵蝕遮罩一中心像素之一亮度值，並得到一侵蝕處理結果IMG_ERO；而在此同時，邊緣偵測電路1100亦會針對輸入影像IMG_IN中亮度較高的像素作擴張處理，以一預定大小的擴張遮罩(例如：一大小為5x5像素之矩陣)來處理輸入影像IMG_IN中每一像素，因此，會以該擴張遮罩內亮度最高的一像素之一亮度值來取代該擴張遮罩一中心像素之一亮度值，並得到一擴張處理結果IMG_DIL。在得到侵蝕處理結果IMG_ERO與擴張處理結果IMG_DIL之後，邊緣偵測電路1100會比較侵蝕處理結果IMG_ERO與擴張處理結果IMG_DIL中相對應的像素亮度，當侵蝕處理結果IMG_ERO中一像素與擴張處理結果IMG_DIL中一相對應位置的像素之間的一亮度差超過一門檻值時，邊緣偵測電路1100便會將該像素標示為一邊緣像素，並在處理完侵蝕處理結果IMG_ERO與擴張處理結果IMG_DIL之後，依據所有得到的邊緣像素來產生邊緣偵測結果EG。如第2圖所示，邊緣偵測電路1100可成功地將具有邊緣特徵的影像(包括眼睛的影像)取出。然而，上述之侵蝕處理與擴散處理程序僅為本發明用來偵測邊緣特徵的一實施例，並非用來限定本發明的範圍，應用其他若偵測邊緣特徵來得到邊緣偵測結果EG之方法亦屬於本發明之範疇。

另一方面，紅色像素偵測電路1200同時也針對輸入影像IMG_IN中具有紅色特徵的像素作處理，在此實施例中，紅色像素偵測電路1200會依據所有像素在RGB色度空間中的數值來作處理。舉例來說，假設一像素具有紅色色度Rp，綠色色度Gp以及藍色色度Bp，當該像素的紅色色度Rp高於一紅色門檻值Rth且紅色色度Rp、綠色色度Gp及藍色色度Bp三個數值的比例均滿足一預定條件時(例如：Rp/(Rp+Gp+Bp)>R_ratio ，Gp/(Rp+Gp+Bp)<G_ratio 且Bp/(Rp+Gp+Bp)<B_ratio )，紅色像素偵測電路1200便會判定該像素為符合紅色特徵的一紅色像素。在處理完所有的像素之後，紅色像素偵測電路1200會得到一紅色像素初步偵測結果RP_PRE，然而紅色像素初步偵測結果RP_PRE中所顯示的紅色像素可能會因紅色像素的不連續而顯得不自然，是故紅色像素偵測電路1200會進一步對紅色像素初步偵測結果RP_PRE進行一擴張程序來產生紅色像素偵測結果RP，以形成較為圓滑而完整的影像。請參照第3圖，第3圖為依據本發明之一實施例以紅色像素偵測電路1200處理輸入影像IMG_IN以得到紅色像素偵測結果RP的範例示意圖。由圖可知，紅色像素偵測電路1200確實可成功地將包含有眼睛瞳孔的影像取出。

請參照第4圖，其為依據本發明之一實施例所實現的決定電路1300的示意圖。決定電路1300包含有一初選電路1310、一候選像素群組偵測電路1320，其中候選像素群組偵測電路1320包含有一亮點偵測電路1321以及一幾何偵測電路1322。初選電路1310用以依據邊緣偵測結果EG與紅色像素偵測結果RP處理輸入影像IMG_IN以得到一初步偵測結果R0，並依據初步偵測結果R0來擷取至少一候選像素群組。請配合第2圖與第3圖來參照第5圖，第5圖為依據本發明之一實施例以初選電路1310依據邊緣偵測結果EG與紅色像素偵測結果RP得到初步偵測結果R0的範例示意圖。在此範例中，初選電路1310係將邊緣偵測結果EG與紅色像素偵測結果RP作一交集來得到初步偵測結果R0。接著，初選電路1310會進一步從輸入影像IMG_IN中擷取至少一候選像素群組，其中該至少一候選像素群組涵蓋初步偵測結果R0於輸入影像IMG_IN中所對應之像素，在此範例中，每一候選像素群組係為具有符合紅色像素特徵以及邊緣特徵的影像群組一定範圍內所界定之一方形影像。請參照第6圖，其為依據本發明之一實施例以初選電路1310處理輸入影像IMG_IN以得到候選像素群組G1~G4的範例示意圖。由第6圖可知，初選電路13100可成功地將眼睛的影像(即候選像素群組G1與G2)取出，但同樣地也會將同時具有紅色像素特徵以及邊緣特徵的非眼球影像(如候選像素群組G3與G4)擷取出來。因此，初選電路1310會就各個候選像素群組的相對位置再去除一些誤判的結果。

請參照第7圖，其為依據本發明之一實施例以初選電路1310依據各個候選像素群組的相對位置以去除誤判結果的範例示意圖。由於各個眼睛的影像不會重疊，且眼睛在一般的影像中會顯得是較小的物體，是故初選電路1310會依據各個候選像素群組是否有重疊的現象，再將重疊的兩個候選像素群組中去除掉較大的候選像素群組，在第7圖中，候選像素群組G3位在候選像素群組G4之中，初選電路1310於是便將較大的候選像素群組G4去除，僅留下候選像素群組G1~G3。然而，初選電路1310所處理的結果仍會有誤判的情形，因此需要候選像素群組偵測電路1320進一步對候選像素群組G1~G3進行篩選。由於在低亮度的環境中攝影時，閃光燈同時也會在眼睛上形成強烈的反射光，因而在最後成像上的每個紅眼影像中亦會有一光點，是故可依據此一特性對候選像素群組G1~G3來作進一步的篩選。

候選像素群組偵測電路1320所包含的亮點偵測電路1321會分別針對初選電路1310所選出的候選像素群組(亦即候選像素群組G1~G3)，計算每一候選像素群組之中所包含之像素的亮度值的一最大值(亦即紅眼影像中的光點之亮度)以及該候選像素群組所包含之像素的亮度值的一平均值(亦即紅眼影像的一平均亮度)，當該最大值與該平均值之間的一差值大於一門檻值時，亮點偵測電路1310便決定該候選像素群組為一目標像素群組。請參照第8圖，其為依據本發明之一實施例以亮點偵測電路1321依據各個候選像素群組所包含之像素的亮度值來得到目標像素群組的範例示意圖。由第8圖可知，候選像素群組G1與G2中均具有相對高亮度的像素，而候選像素群組G3的像素之中則沒有太大的亮度差異，因此亮點偵測電路1321會去除候選像素群組G3，並將候選像素群組G1與G2決定為目標像素群組。

在擷取出目標像素群組之後，候選像素群組偵測電路1300仍會進一步地依據目標像素群組的幾何特徵來進行更進一步的篩選。舉例來說，請參照第9圖，其為依據本發明之一實施例以幾何偵測電路1322處理目標像素群組G1的幾何特徵的範例示意圖。首先，幾何偵測電路1322會將目標像素群組G1中具有紅色像素特徵的像素群組擷取出來並定義為一紅色區域G1’。由第9圖可知，目標像素群組G1係為長寬分別為X0、Y0之一矩形，而紅色區域G1’中分別以最上方、最左方、最右方以及最下方的四個像素(a0、a1、a2以及a3)來定義出一外部矩陣，而該外部矩陣的長寬分別為X1、Y1，且該外部矩陣具有一中心ac(其座標即為a0、a1、a2以及a3位置座標所計算出的一平均值)。同樣地，紅色區域G1’中分別以最左上方、最右上方、最左下方以及最右下方的四個像素(b0、b1、b2以及b3)來定義出一內部矩陣，而該內部矩陣的長寬分別為X2、Y2，且該內部矩陣具有一中心bc(其座標即為b0、b1、b2以及b3位置座標所計算出的一平均值)。經由計算目標像素群組G1的長寬比X0/Y0、外部矩陣的長寬比X1/Y1、內部矩陣的長寬比X2/Y2是否在一預定長寬比範圍內，該外部矩陣的中心ac與周邊像素(a0、a1、a2以及a3)的距離是否在一預定範圍內，以及該內部矩陣的中心bc與周邊像素(b0、b1、b2以及b3)的距離是否在一預定範圍內，幾何偵測電路1322便可決定目標像素群組G1內的紅色區域G1’為一紅色幾何群組(亦即可能為一紅眼影像)。請注意，在其他實施例中，幾何偵測電路1322並不一定需要依據所有長寬比以及中心與周邊像素的距離來決定紅眼影像，其亦可依據長寬比以及中心與周邊像素的距離其中之一或是其他的幾何特徵來作判斷。

經由以上的步驟，幾何偵測電路1322可粗略地判斷出目標像素群組G1中的紅色區域G1’是否可能為一紅眼影像。然而幾何偵測電路1322會進一步地檢測，以精確地決定紅色區域G1’是否為一紅眼影像。舉例來說，請參照第10圖，其為依據本發明之一實施例以幾何偵測電路1322處理紅色區域G1’的幾何特徵的範例示意圖。首先，幾何偵測電路1322會先擷取出紅色區域G1’的邊框像素Prim，經由計算所有邊框像素Prim位置的平均，幾何偵測電路1322可得到邊框像素Prim的一中心Pc，接著，幾何偵測電路1322再計算中心Pc到所有邊框像素Prim的距離之一平均值av_R，其中中心Pc到所有邊框像素Prim的距離中的一最大值為max_R以及一最小值為min_R，而每一邊框像素Prim與平均值av_R的差值之絕對值為diffR。當所有像素平均值av_R的差值之絕對值diffR均小於平均值av_R的15%(dis_R<ac_R*15%)，且最大值max_R與最小值min_R的一比例小於3時(max_R/min_R<3)，幾何偵測電路1322便會判定紅色區域G1’的幾何特徵符合一圓形的特徵，因此便決定紅色區域G1’所對應的像素為一紅眼影像。

在本實施例中，於紅眼影像偵測裝置1000決定出紅眼影像之後，會另外應用一紅眼補償裝置1400來依據偵測結果Ra對輸入影像IMG_IN作出補償，以得到一補償後影像IMG_COM。紅眼補償裝置1400會先檢查偵測結果Ra中所指出的紅眼影像的一亮度值與一色度值，舉例來說，偵測結果Ra指出的一紅眼影像之一像素在一Lab色彩空間的一亮度值為L，色度值為a以及b，其中該紅眼影像內所有像素所具有的最高亮度為Lmax以及最低亮度為Lmin，紅眼補償裝置1400此時會將該像素的亮度調整為L’=(L-Lmin)/(Lmax-Lmin)，此外紅眼補償裝置1400亦會對該像素的色度作出調整，在此紅眼補償裝置1400會將該像素的亮度調整為a’=a*0.3、b’=b*0.3。然而，上述的調整方式僅為本發明之一實施例，並非用來限定本發明的範圍。在調整完該紅眼影像的亮度與色度以得到一調整後影像IMG_ADJ後，紅眼補償裝置1400會進一步應用一高斯低通濾波器(Gaussian low pass filter)來對除了亮點區域外的紅眼影像作濾波，以使得最後呈現的紅眼影像在視覺上更加自然。

綜上所述，本發明同時應用了紅色像素以及邊緣偵測的技術，因此提供了一種可簡易而快速地在一輸入影像中偵測出至少一紅眼影像的偵測方法以及相關裝置。相較於習知技術，本發明省略的臉部偵測的步驟，並在臉部影像中僅有一個眼睛時或是偵測其他動物的紅眼影像時，均可準確偵測出紅眼影像。

以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

1000．．．紅眼偵測裝置

1100．．．邊緣偵測裝置

1200．．．紅色像素偵測裝置

1300．．．決定裝置

1310．．．初選電路

1320．．．候選像素群組偵測電路

1321．．．亮點偵測電路

1322．．．幾何偵測電路

1400．．．紅眼補償裝置

IMG_IN．．．輸入影像

IMG_COM．．．補償後影像

EG．．．邊緣偵測結

IMG_ERO．．．侵蝕處理結果

IMG_DIL．．．擴張處理結果

RP．．．紅色像素偵測結果

Ra．．．偵測結果

Ra．．．初步偵測結果

RP_PRE．．．紅色像素初步偵測結果

G1~G4．．．候選像素群組

第1圖為依本發明之一實施例所實現之一紅眼影像偵測裝置的示意圖。

第2圖為依據本發明之一實施例以一邊緣偵測電路處理一輸入影像以得到一邊緣偵測結果的範例示意圖。

第3圖為依據本發明之一實施例以一紅色像素偵測電路處理一輸入影像以得到一紅色像素偵測結果的範例示意圖。

第4圖為依據本發明之一實施例所實現的一決定電路的示意圖。

第5圖為依據本發明之一實施例以一初選電路依據一邊緣偵測結果與一紅色像素偵測結果得到一初步偵測結果的範例示意圖。

第6圖為依據本發明之一實施例以一初選電路處理一輸入影像以得到候選像素群組的範例示意圖。

第7圖為依據本發明之一實施例以一初選電路依據各個候選像素群組的相對位置以去除誤判結果的範例示意圖。

第8圖為依據本發明之一實施例以一亮點偵測電路依據各個候選像素群組所包含之像素的亮度值來得到目標像素群組的範例示意圖。

第9圖為依據本發明之一實施例以一幾何偵測電路處理一目標像素群組的幾何特徵的範例示意圖。

第10圖為依據本發明之一實施例以一幾何偵測電路處理紅色區域的幾何特徵的範例示意圖