TWI444041B

TWI444041B - 影像處理裝置、影像處理方法及記錄媒體

Info

Publication number: TWI444041B
Application number: TW099123946A
Authority: TW
Inventors: Kosuke Matsumoto; Erina Ichikawa
Original assignee: Casio Computer Co Ltd
Priority date: 2009-07-23
Filing date: 2010-07-21
Publication date: 2014-07-01
Also published as: CN101964874A; KR101204724B1; US8446485B2; CN101964874B; JP4983962B2; TW201112754A; KR20120099608A; US20110019029A1; JP2011044132A; KR20110010076A

Description

影像處理裝置、影像處理方法及記錄媒體

本發明係有關於影像處理裝置、影像處理方法及記錄媒體。

例如，在專利文獻1(日本特開2006-121416號公報)中，有揭示對拍攝人物之數位影像的臉區域進行使突顯(highlight)加工部分更亮之美白處理的技術。

在該專利文獻1所記載的影像處理方法中，從處理對象的原影像產生模糊影像，再利用此模糊影像進行使突顯(highlight)加工部分更亮之美白處理。

在拍攝人物的情況，因臉表面的油脂成分等，以致攝影時之室內的照明或閃光發光等映照在人的臉上，而在所拍攝之影像產生不自然的光澤。將此不自然的光澤稱為「反光」。在該專利文獻1所記載的影像處理方法中，在作為處理對象之臉的影像有反光成分時，美白處理會使該反光成分的區域擴大，而無法減輕反光成分。

本發明之目的在於提供可減輕所拍攝之影像包含之臉的反光成分，而變換成更佳的影像的影像處理裝置、影像處理方法及記錄媒體。

為了達成該目的，本發明之一形態係一種影像處理裝置，其具備：取得影像的影像取得手段；顏色區域檢測手段，係從藉該影像取得手段所取得之影像檢測出既定的顏色區域；區域指定手段，係根據由該顏色區域檢測手段所檢測出之該顏色區域的色度及亮度，指定應調整的區域；及顏色調整手段，係調整由該區域指定手段所指定之該應調整區域之像素的色調、色度及亮度當中的至少一個。

為了達成該目的，本發明之一形態係一種影像處理方法，其具備：取得影像的影像取得步驟；顏色區域檢測步驟，係從藉該影像取得步驟所取得之影像檢測出既定的顏色區域；處理區域指定步驟，係根據藉該顏色區域檢測步驟所檢測出之該顏色區域的色度及亮度，指定應調整的區域；及顏色調整步驟，係調整藉該處理區域指定步驟所指定之該處理區域之像素的色調、色度及亮度當中的至少一個。

為了達成該目的，本發明之一形態係一種記錄媒體，其記錄影像處理程式，用以讓具備取得影像之影像取得手段的電腦作為如下手段發揮功能：顏色區域檢測手段，係從藉該影像取得手段所取得之影像檢測出既定的顏色區域；區域指定手段，係根據由該顏色區域檢測手段所檢測出之該顏色區域的色度及亮度，指定處理區域；及顏色調整手段，係調整由該區域指定手段所指定之該處理區域之像素的色調、色度及亮度當中的至少一個。

若依據本發明，可減輕所拍攝之影像包含之臉的反光成分，而變換成更佳的影像。

以下，根據圖面說明本發明的實施形態。

[第1實施形態]

第1圖係表示作為本發明之第1實施形態的影像處理裝置發揮功能之數位相機1的電路構成圖。

本實施形態的數位相機1，在作為基本的動作模式方面，有用以拍攝靜止影像或動態影像的記錄模式、和用以播放所拍攝之影像的播放模式。此外，攝影模式具備一般模式、景物模式、影片模式等。其中，作為景物模式的下階模式，設定有人物攝影模式、風景攝影模式、夜景攝影模式等。人物攝影模式是適合拍攝人物的攝影模式。

數位相機1如第1圖所示，具備攝影透鏡2、攝影部3、前處理部4、處理資訊記憶部5、程式記憶體6、影像處理部7、控制部8、影像記錄部9、顯示部10、按鍵輸入部11及發光部12。

攝影透鏡2是用以將所射入之被攝體的光作為光學像成像於後述之攝影部3的光學透鏡，且係由聚焦透鏡、變焦透鏡等所構成。

攝影部3由CMOS(Complementary Metal Oxide Semiconductor)等圖像感測器所構成，並配置於攝影透鏡2的光軸上。攝影部3接收由攝影透鏡2所收歛的攝影光，同時將成像於感光面之被攝體的光學像進行光電變換，並作為類比的攝像信號輸出。攝影透鏡2及攝影部3作為本發明的影像取得手段發揮作用。

前處理部4，係被輸入與從攝影部3所輸出之被攝體的光學像對應之類比的攝像信號，且控制將保持所輸入之攝像信號的CDS(相關雙重取樣)、及該攝像信號放大並將該放大的攝像信號變換成數位之影像資料的A/D變換器(ADC)等。攝影部3所輸出之攝像信號經由前處理部4，作為數位之影像資料被送至影像記錄部9。前處理部4的處理係根據控制部8的命令被執行。

處理資訊記憶部5將調整影像資料時所使用之資料作為處理資訊記憶。處理資訊記憶部5在第1實施形態中至少具備白色成分增益表記憶部5a和反光成分增益表記憶部5b。

白色成分增益表記憶部5a對被指定為後述之膚色區域的各像素，將在判定白色增減時所使用之色度增益值作成表予以記憶。反光成分增益表記憶部5b同樣地對被指定為後述之膚色區域的各像素，將在判定反光成分增減時所使用之色度增益值及亮度增益值作成表予以記憶。

程式記憶體6記憶與影像處理部7、控制部8等所執行之各種處理對應的程式。

影像處理部7進行關於後述之影像處理的各種處理。影像處理部7作為本發明的顏色區域檢測手段、區域指定手段、顏色調整手段、區域設定手段、攝影條件設定手段及強度算出手段之各手段發揮作用。

又，影像處理部7進行將所拍攝之影像中的RGB色空間信號和HSV色空間信號相互變換的處理。RGB色空間意指由紅(R)、綠(G)、藍(B)之3種成分所構成的色空間。又，HSV色空間意指以由色調(H：Hue)、色度(S：Saturation Chroma)、亮度(V：Brightness Light Value)之3種成分所構成HSV模型(HSV model)表示的色空間。關於HSV色空間將後述。

回到第1圖，控制部8例如是中央處理裝置(CPU)，根據程式記憶體6所記憶之程式控制數位相機1整體。控制部8亦控制前處理部4、影像處理部7之各部處理。又，因應於後述之攝影模式設定鍵11b的操作，而設定攝影模式，並因應於所設定之攝影模式而設定攝像部的攝影條件。控制部8是本發明中的設定手段及攝影條件設定手段。

影像記錄部9係記憶由攝影部3所拍攝並由前處理部4處理過的影像資料。在播放影像時，控制部8從影像記錄部9讀出影像資料，並顯示於顯示部10。

顯示部10例如係彩色TFT(Thin Film Transistor)液晶、或STN(Super Twisted Nematic)液晶等，且係根據控制部8的控制而顯示預覽影像、或攝影後的影像資料、設定選單等。

按鍵輸入部11輸入來自使用者的指示。按鍵輸入部11包含快門按鍵11a和攝影模式設定鍵11b。快門按鍵11a是輸入來自使用者之攝影開始之指示的輸入部。攝影模式設定鍵11b是從使用者輸入所期望之動作模式設定之指示的輸入部。

發光部12是對被攝體照射閃光的發光裝置。因為在照射閃光所拍攝之人物的臉易發生反光成分，所以在本實施形態，作成從伴隨閃光所拍攝的影像實施後述之除去反光成分的處理。

其次，就RGB色空間和HSV色空間說明。第2圖係用以說明RGB色空間的示意圖，第3圖係用以說明HSV色空間的示意圖。

由前處理部4所處理的影像資料如第2圖所示，以由紅(R)、綠(G)、藍(B)之3種成分所構成的色空間來呈現。本實施形態的影像處理部7具備將影像資料從RGB色空間變換成HSV色空間之功能。

HSV色空間如第3圖所示，可使用圓錐C表示。以圓錐C所呈現的HSV色空間將色調H畫成作為圓錐C之底面的圓形區域來表達。色調H表示紅、藍、黃等顏色的種類，並以0°~359°之範圍的強度分布來呈現。

色度S係以由屬圓錐C的底面之圓形區域的中心往圓周方向的距離(半徑)來呈現。色度S是顏色的鮮艷度，以將圓形區域的中央設為0，在0~255之範圍來呈現。在HSV色空間，隨著色度S的值變小而灰色變得顯著，而以暗沉的顏色呈現色度S。

亮度V係以從圓錐C之頂點往底面方向的距離來呈現。亮度V是顏色的明亮程度，可以將頂點設為0，在0~255之範圍來呈現。在HSV色空間，隨著亮度V的值變小，以暗色呈現亮度V。

其次，參照第4圖所示的流程圖，說明在第1實施形態的數位相機1中，藉由從所拍攝之影像資料減輕反光成分，而抑制反光之處理(以下稱為「反光抑制處理」)的步驟。以下的處理係藉由控制部8控制各部而被執行。又，本流程圖的處理係在使用者操作攝影模式設定鍵11b而設定任一種攝影模式後，並在操作快門按鍵11a且指示開始記錄攝影時起動。

首先，在步驟S1，影像處理部7從影像記錄部9取得已由前處理部4處理的影像資料。此外，在像素尺寸大的情況，因為處理費時，所以亦可將影像記錄部9所保存的影像資料縮小而產生縮小影像，並對此縮小影像施加以下的處理。

在步驟S2，影像處理部7判定所取得之影像資料是否為伴隨發光部12之閃光所拍攝的影像資料。在此，控制部8例如亦可根據發光部12是否已照射閃光而判斷，或者亦可藉由參照被附加於影像資料的攝影資訊，而判斷是否為伴隨閃光的攝影。若步驟S2的判斷為「是」，則進入步驟S3。在步驟S3，影像處理部7對影像資料實施臉檢測處理。關於臉檢測處理，因為是周知的技術，所以省略細節。

在步驟S4，影像處理部7判斷從影像是否檢測出臉區域。若步驟S4的判斷為「是」，則在步驟S5，影像處理部7將臉區域的影像資料從RGB色空間變換成HSV色空間。在步驟S6，影像處理部7從HSV色空間的影像取得色調H，並指定與人物之膚色相當的膚色區域。

第5圖係在HSV色空間中色調值H所分布之圓形區域的示意圖。而相當於人物之膚色的膚色區域係大致成為色調值H分布於第5圖中以斜線所示之範圍之像素的集合。影像處理部7從HSV色空間的影像將位於此範圍內的像素指定為膚色區域。

在步驟S7，影像處理部7從膚色區域中將由色度S是既定值以下而且亮度V是既定值以上之像素所構成的區域指定為應調整區域(處理區域)。處理區域係膚色區域中被特定為反光成分的區域。接著，在步驟S8，影像處理部7算出在處理區域之反光成分的強度。

在此，對處理區域之各像素進行判定白色增減和反光成分增減的處理。在白色增減的判定中，比較白色成分增益表記憶部5a所記憶的色度增益值和成為判定對象之像素的色度。因為白色成分的色度很低，所以藉由比較像素的色度和色度增益值，可算出該像素之白色增減的程度。又，在反光成分增減的判定中，將反光成分成分增益表記憶部5b所記憶的色度增益值及亮度增益值、和成為判定對象之像素的色度及亮度的值作比較。因為反光成分的色度低、亮度高，所以藉由將色度增益值及亮度增益值和像素的色度及亮度的值作比較，可算出該像素的反光成分增減。影像處理部7係針對成為判定對象的各像素，從白色增減和反光成分增減，算出作為反光成分的強度(反光強度)。

在步驟S9，影像處理部7根據反光成分的強度，對處理區域的各像素調整色度S及亮度V。第6圖係第3圖所示之HSV色空間的部分剖面圖。屬於構成在步驟S7所指定之處理區域的像素之一的像素A係如第6圖所示，位於色度S低且亮度V高的位置。因此，在步驟S9中，對於構成處理區域之全部的像素，藉由根據反光成分的強度以提高色度S且降低亮度V的方式，調整成接近膚色。在此，因為光是降低亮度V會變成灰色，所以藉由同時提高色度S，可使其接近本來的膚色。

藉由如上述那樣調整色度及亮度，第6圖所示之處理區域中的像素A從第6圖中實線所示的位置被調整成位於虛線所示的位置。利用此處理，減輕在膚色區域的反光成分，可使其接近與本來之膚色相近的影像。

在步驟S10，影像處理部7將包含有已減輕反光成分之處理區域之臉區域的影像資料從HSV色空間變換成RGB色空間。

如此一來，利用第1實施形態之第4圖的反光抑制處理中步驟S5至S10的一連串處理，以色度S變高且亮度V變低的方式調整處理區域，減輕在處理區域的反光成分，結果，得以抑制反光成分。因此，以下將步驟S5至S10的一連串處理稱為「第1處理」。

結束這樣的「第1處理」時，處理移至步驟S11。

在步驟S11，影像處理部7將已處理的影像資料記錄於影像記錄部9。

又，若在步驟S2或步驟S4的判定為「否」，則進入步驟S12。在步驟S12，影像處理部7將所拍攝之影像資料直接記錄於(寫入)影像記錄部9。在步驟S11或步驟S12之後，影像處理部7及控制部8結束本流程圖的處理。

依據第1實施形態的數位相機1，具有以下那樣的效果。

(1)因為作成從所拍攝之影像資料中指定屬於在人物臉上的反光成分之處理區域、並調整該處理區域的色度及亮度，所以減輕影像資料所包含之反光成分，而可將人物的臉影像區域變換成更佳的影像。

(2)因為作成利用臉檢測功能從影像資料檢測出臉區域，並從該臉區域指定膚色區域，所以可使處理高速化。

(3)因為作成在膚色區域，將色度為處理值以下且亮度為既定值以上的像素指定為屬反光成分的處理區域，所以可有效率地判別反光成分的像素。

(4)因為作成在所拍攝之影像資料是伴隨閃光所拍攝的情況會執行減輕反光成分的反光抑制處理，所以可執行對在易發生反光成分的條件下所拍攝之影像資料有效率地減輕反光成分的反光抑制處理。

(5)因為作成算出處理區域之色度及亮度的強度，並根據此色度及亮度，調整處理區域之各像素的色度及亮度，所以可更正確地調整在處理區域之各像素的色度及亮度。

[第2實施形態]

在第2實施形態，執行作為被攝體的第2處理。

此外，第1圖的數位相機1亦作為第2實施形態的影像處理裝置發揮作用。因此，關於其電路構成的說明，因為和第1實施形態一樣，所以在此省略。但是，在第2實施形態的處理資訊記憶部5，並未具備白色成分增益表記憶部5a和反光成分增益表記憶部5b，但記憶有在後述之第7圖的反光抑制處理所使用之各種資訊。

其次，參照第7圖所示的流程圖，說明由第2實施形態的數位相機1所執行之反光抑制處理的步驟。

以下的處理係藉由第1圖所示的控制部8控制各部而被執行。又，本流程圖的處理係在使用者操作攝影模式設定鍵11b而設定任一種攝影模式後且在操作快門按鍵11a而指示開始攝影記錄時起動。

在步驟S21，影像處理部7從影像記錄部9取得已由前處理部4處理的影像資料。此外，在像素尺寸大的情況，因為處理費時，所以亦可將影像記錄部9所保存的影像資料縮小，產生縮小影像，並對此縮小影像施加以下的處理。

在步驟S22，影像處理部7嘗試藉由對影像資料實施臉檢測處理，而從藉該影像資料所表示的影像，檢測出臉區域。關於臉檢測處理，因為是周知的技術，所以省略細節。

在步驟S23，影像處理部7判定是否已從影像檢測出臉區域。

在未從影像檢測出臉區域的情況，在步驟S23被判定為「否」，處理移至步驟S33。

在步驟S33，影像處理部7將所拍攝之影像資料直接記錄於(寫入)影像記錄部9。因而，本流程圖的處理結束。

相對地，在從影像檢測出臉區域的情況，在步驟S23被判定為「是」，處理移至步驟S24。

在步驟S24，影像處理部7根據步驟S22之臉檢測處理的結果，取得關於臉區域內所包含的臉之各種資訊(以下將這些資訊總稱為「臉資訊」)。

具體而言，例如取得包圍臉區域之框的座標、或該臉區域內所包含之被攝體之眼位置的座標(以下稱為「眼位置座標」)作為臉資訊。

在步驟S25，影像處理部7根據在步驟S24的處理所取得之臉資訊，取得關於根據該臉資訊所特定之被攝體之個人的膚色之資訊(以下稱為「肌膚參數」)。

具體而言，例如影像處理部7根據臉資訊中的眼位置座標，將眼之周邊的既定區域設定為「膚色取得區域」。此「膚色取得區域」是被判斷可確實取得作為被攝體之個人的肌膚參數之區域。

此外，可成為膚色取得區域的區域，一般是眼之下、鼻或臉頰等之周邊，為該被攝體之個人的肌膚確實存在的區域。因此，為了算出膚色取得區域，在此是使用眼位置資訊。然而，為了算出膚色取得區域，未限定為眼位置資訊，只要是可算出膚色取得區域的資訊，可使用任何的資訊。

影像處理部7將該膚色取得區域的影像資料，從RGB色空間變換成HSV色空間。

然後，影像處理部7從HSV色空間上之膚色取得區域的影像資料，取得如下之(a)至(c)的資訊以作為肌膚參數。

此外，在以下之(a)及(b)的資訊，「該人物」是表示臉區域被檢測出的個人，也就是具有膚色取得區域所包含的臉之部分的個人。又，「(HSV)」是表示由色調H、色度S及亮度V之各個值構成資訊。

(a)該人物之反光區域的平均參數(HSV的值)(以下簡稱為「第1參數」)。

(b)該人物之排除反光之膚色區域的平均參數(HSV的值)(以下簡稱為「第2參數」)。

(c)膚色取得區域中之反光區域的佔有率

即，影像處理部7將膚色取得區域區分成反光區域和除此以外的膚色區域。然後，影像處理部7針對構成反光區域的各像素，算出色調H、色度S及亮度V之各自的平均值，作為第1參數。另一方面，影像處理部7針對構成該人物之膚色區域的各像素算出色調H、色度S及亮度V之各自的平均值，作為第2參數。又，影像處理部7將膚色取得區域中之反光區域的佔有率[%]算出作為反光區域相對於肌膚之反光佔有率算出。

在步驟S26，影像處理部7根據在步驟S25的處理所取得之肌膚參數，算出目標值。

在此，「目標值」是在將處理區域之各像素之色調H、色度S及亮度V的值(以下將這些值總稱為「HSV值」)調整(修正)成接近作為被攝體之個人之膚色的情況所使用的目標值。此目標值被建構成HSV值。

例如，目標值係根據在步驟S25的處理所取得之第1參數和第2參數的差分，並因應於反光區域的佔有率而被算出。

以上所說明之各種資訊，也就是在步驟S24所取得之臉資訊、在步驟S25的處理所計算之肌膚參數(在此，為第1參數、第2參數及反光區域相對於肌膚之佔有率)以及在步驟S26之處理所算出之目標值，被記憶於處理資訊記憶部5。

接著，在步驟S27，影像處理部7將步驟S22所取得之臉區域的影像資料，從RGB色空間變換成HSV色空間。

在步驟S28，影像處理部7從HSV色空間的影像取得色調H，並根據該色調H指定膚色區域。

在步驟S29，影像處理部7從步驟28中影像處理部7所指定之膚色區域中指定處理區域。

處理區域意指如第1實施形態之步驟S7的說明所述的膚色區域中之被特定為反光成分的區域。

因此，處理區域的指定手法只要是可特定反光成分的手法即可，在第2實施形態，是以和第1實施形態一樣的手法，也就是將由色度S為既定值以下且亮度V為既定值以上之像素所構成的區域指定為處理區域。

在步驟S30，影像處理部7根據在步驟S26的處理所算出之目標值，修正在步驟S29的處理所指定之處理區域的各個HSV值。

因而，減輕處理區域的反光成分，而可接近攝影影像所包含的作為被攝體之個人的膚色。

在步驟S31，影像處理部7將包含有已減輕反光成分之處理區域之臉區域的影像資料，從HSV色空間變換成RGB色空間。

依此方式，利用第2實施形態之第7圖的反光抑制處理中的步驟S26至步驟S31之一連串的處理，考慮作為被攝體之個人的膚色，調整處理區域之HSV值的各值，得以減輕在處理區域之反光成分。因此，以下，將步驟S26至步驟S31之一連串的處理稱為「第2處理」。

結束這樣的第2處理後，處理移至步驟S32。

在步驟S32，影像處理部7將已處理的影像資料記錄於影像記錄部9，因而，本流程圖的處理結束。

其次，適當地參照第8A圖、第8B圖及9A圖、第9B圖，說明第7圖之步驟S26之處理的具體例，亦即，目標值之算出處理的具體例。

如同上述，在之前的步驟S25，將臉區域中之可確實確保作為被攝體之個人之膚色的區域，被作為膚色取得區域算出。然後，將此膚色取得區域區分成反光區域和膚色區域，再從反光區域算出第1參數，並從膚色區域算出第2參數。

第8A圖、第8B圖係表示描繪這種膚色取得區域之各像素的HSV空間。詳言之，第8A圖表示HSV空間之部分上視圖，第8B圖係表示HSV空間之部分剖面圖。

在第8A圖，╳記號表示膚色取得區域中構成反光區域的各像素。關於這些各像素之色調H、色度S及亮度V的平均值被算出作為第1參數51。

在第8A圖，空白圓圈記號(被附加符號52的圓圈記號除外)表示膚色取得區域中構成膚色區域的各像素。關於這些各像素之色調H、色度S及亮度V的平均值被算出作為第2參數52。

如第8A圖及第8B圖所示，目標值53係以連接第1參數51和第2參數52之線段上之點(圖中黑圓圈記號)的座標值，即在該點之色調H、色度S及亮度V之各個的值來表示。

這種目標值53係例如以如下的方式計算。

首先，影像處理部7算出第2參數52之各HSV值和第1參數51之各HSV值的各個差分。

接著，影像處理部7在所算出之各差分的絕對值較大的情況，需要將目標值53設定成接近第1參數51。為了進行這種設定，成為需要用以表示目標值53有多靠近第1參數51的指標。以下將這種指標中，在以第1參數51為起點(0%)、以第2參數52為終點(100%)且以百分比值表示連接第1參數51和第2參數52之線段上之點的位置者稱為「修正比例」，即修正比例是指表示目標值53接近於第1參數51之值的程度之指標，百分比值愈小，表示是愈接近第1參數51的值。

第9A圖、第9B圖係用以說明修正比例之HSV空間之部分上視圖的例子。詳言之，第9A圖表示修正比例是15%之情況的目標值53。另一方面，第9B圖表示修正比例是50%之情況的目標值53。比較第9A圖和第9B圖，得知第9A圖之修正比例是15%之情況的目標值53比第9B圖之修正比例是50%之情況的目標值53更接近第1參數51。

在此，影像處理部7根據是否是伴隨發光部12之閃光所拍攝者、及第2參數和第1參數之差分等各條件而設定修正比例。

然後，影像處理部7從第1參數、第2參數及所設定之修正比例，計算目標值53。

以上，適當地參照第8A圖、第8B圖及第9A圖、第9B圖，說明第7圖之步驟S26之處理的具體例，亦即，目標值之算出處理的具體例。

接著，利用第7圖之步驟S30的處理，以靠近這種目標值的方式修正處理對象區域之各個像素的HSV值。

以上，依據第2實施形態的數位相機1，除了具有和第1實施形態一樣之效果以外，更執行了考慮到作為被攝體之個人之膚色的第2處理(參照第7圖的步驟S26至S31)。即，基於個人之膚色的顏色被設定為目標值，並以接近該目標值的方式適當地修正處理對象區域之各個像素。藉此，因為可根據被攝體的膚色，減輕反光成分，所以可自然地抑制被攝體的反光。

[第3實施形態]

在第3實施形態的反光抑制處理中，係選擇性執行第1實施形態所採用的「第1處理」(參照第4圖的步驟S5至S10)、和第2實施形態所採用的「第2處理」(參照第7圖的步驟S26至S31)。

此外，第1圖的數位相機1亦作為第3實施形態的影像處理裝置發揮功能。因此，關於該電路構成的說明，因為和第1實施形態一樣，所以在此省略。

因此，以下參照第10圖所示的流程圖，說明由第3實施形態的數位相機1所執行之反光抑制處理的步驟。

以下的處理係藉由第1圖所示的控制部8控制各部而被執行。又，本流程圖的處理係在使用者操作攝影模式設定鍵11b而設定任一種攝影模式後起動。或者，進行操作快門按鍵11a的半按操作時起動。

在步驟S41，控制部8執行攝像及即時預覽顯示。

控制部8依序讀出在即時預覽攝像時在處理資訊記憶部5等所暫時記憶之各圖框影像的影像資料，並使顯示部10依序顯示對應於各個影像資料的圖框影像。在此，將這種一連串的處理稱為「即時預覽顯示」。將利用這種即時預覽方式顯示顯示於顯示部10的圖框影像稱為「即時預覽影像」。

此外，攝像或即時預覽顯示係在第1實施形態或第2實施形態的數位相機1亦當然被執行。即，第4圖或第7圖所示的流程圖如同上述所示，因為表示快門按鍵11a被按下(被全按)而指示記錄攝像影像之後的處理，所以只不過是省略進行攝像或即時預覽顯示之步驟的圖示。

在步驟S42，影像處理部7嘗試藉由對即時預覽影像的影像資料實施臉檢測處理，而從該即時預覽影像檢測出臉區域。關於臉檢測處理，因為是周知的技術，所以省略細節。

臉檢測處理的結果被記憶於處理資訊記憶部5後，處理移至步驟S43。

在步驟S43，控制部8判定是否已按下(全按)快門按鍵11a。

在使用者未全按快門按鍵11a的情況，在步驟S43被判定為「否」，處理回到步驟S41。即，在迄至使用者全按快門按鍵11a為止的期間，重複步驟S41至S43的迴圈處理，而即時預覽影像繼續顯示於顯示部10，在該期間，重複執行對即時預覽影像的臉檢測處理。

然後，在使用者全按快門按鍵11a後，在步驟S43被判定為「是」，當作已指示要記錄攝像影像，處理移至步驟S45。以後，由前處理部4所處理之圖框影像的影像資料被記錄於影像記錄部9。

在步驟S44，影像處理部7從影像記錄部9取得已由前處理部4處理之圖框影像的影像資料。此外，在像素尺寸大的情況，因為處理費時，所以亦可將影像記錄部9所保存的影像資料縮小，產生縮小影像，並對此縮小影像施加以下的處理。

在步驟S45，影像處理部7藉由對在步驟S44的處理所取得之圖框影像的影像資料實施臉檢測處理，而嘗試從藉該圖框影像檢測出臉區域。關於臉檢測處理，因為是周知的技術，所以省略細節。

在步驟S46，影像處理部7判定是否已從圖框影像檢測出臉區域。

在從圖框影像未檢測出臉區域的情況，在步驟S46被判定為「否」，處理移至步驟S54。

在步驟S54，影像處理部7將所拍攝之影像資料直接記錄於(寫入)影像記錄部9。因而，本流程圖的處理結束。

相對地，在從圖框影像檢測出臉區域的情況，在步驟S46被判定為「是」，處理移至步驟S47。

在步驟S47，影像處理部7根據步驟S45之臉檢測處理的結果，取得臉資訊。

具體而言，例如取得包圍臉區域之框的座標、或該臉區域內所包含之被攝體的眼位置資訊等作為臉資訊。

在步驟S48，影像處理部7根據在步驟S47的處理所取得之臉資訊，計算肌膚參數等。

具體而言，例如影像處理部7係和第2實施形態之第7圖之步驟S25的處理一樣，根據眼位置資訊，將臉區域中可確實取得作為被攝體之個人的肌膚參數之區域算出作為膚色取得區域。

影像處理部7將該膚色取得區域的影像資料從RGB色空間變換成HSV色空間。

然後，影像處理部7從HSV色空間上之膚色取得區域的影像資料將如下之(a)至(g)的資訊作為肌膚參數等計算。

(a)第1參數。

(b)第2參數。

(c)膚色取得區域中之反光區域的佔有率。

(d)第2參數的可靠度

(e)對畫面整個面之該人物的臉面積

此外，因為(a)至(c)的資訊在第2實施形態之第7圖之步驟S25的處理亦一樣地被計算，所以在此省略其說明。因而，以下僅簡單說明在第2實施形態之第7圖之步驟S25的處理未被計算之(d)及(e)的資訊。

即，影像處理部7在算出第2參數後，以百分比顯示算出該第2參數的可靠度。在此情況之算出手法無特別限定，例如可採用將一般作為膚色之顏色的平均性HSV值、和作為被攝體所包含之個人之第2參數的HSV值作比較的手法等。

又，影像處理部7例如計算在圖框影像之臉區域的空間佔有率(百分比顯示)作為對畫面整個面之該人物的臉面積。

進而，在第3實施形態，影像處理部7作為步驟S48之處理的一部分，執行如下的處理。

即，在之前之步驟S47的處理，取得包圍臉區域之框的座標以作為臉資訊的一部分。

因此，影像處理部7根據包圍這種臉區域之框的座標，將圖框影像中包圍臉區域之框的區域算出作為背景區域。

影像處理部7將該背景區域的影像資料從RGB色空間變換成HSV色空間。

然後，影像處理部7從HSV色空間上之背景區域的影像資料將如下(f)及(g)的資訊作為肌膚參數等作進一步計算。

此外，在以下(f)及(g)的資訊，「背景」是表示背景區域所包含的影像。又，「(HSV)」是表示由色調H、色度S及亮度V的各個值構成資訊。

(f)背景區域之反光區域的平均參數(HSV)(以下簡稱為「第3參數」)。

(g)相對於背景之膚色的背景部反光%(以下簡稱為「背景部反光%」)。

即，將背景區域區分成反光區域(具有和反光一樣之HSV特性的部分)和除此以外的膚色區域。然後，影像處理部7對構成反光區域的各像素算出色調H、色度S及亮度V之各自的平均值，作為第3參數。又，影像處理部7算出在背景區域之反光區域的佔有率[%]。

在步驟S49，影像處理部7根據依此方式在步驟S48的處理所取得之肌膚參數等，作為用以抑制反光之修正處理的方式，選擇執行「第1處理」(參照第4圖之步驟S5至S10)的方式、和執行「第2處理」(參照第7圖之步驟S26至S31)的方式中之任一方式。

以下將這種步驟S49的處理稱為「反光抑制方式選擇處理」，關於反光抑制方式選擇處理的細節，將參照第11圖敘述如後。

在步驟S50，影像處理部7判定在步驟S49之反光抑制方式選擇處理所選擇的方式是否為執行第2處理的方式。

在步驟S49之反光抑制方式選擇處理，在選擇執行「第1處理」之方式的情況，在步驟S50被判定為「否」，處理移至步驟S51。

在步驟S51，影像處理部7執行「第1處理」(參照第4圖之步驟S5至S10)。

相對地，於步驟S49之反光抑制方式選擇處理選擇執行「第2處理」之方式的情況，在步驟S50被判定為「是」，處理移至步驟S52。

在步驟S52，影像處理部7執行「第2處理」(參照第7圖之步驟S26至S31)。

依此方式，對在步驟S44的處理所取得之影像資料，實施步驟S51的「第1處理」或步驟S52的「第2處理」後，處理移至步驟S53。

在步驟S53，影像處理部7將在步驟S51或S52所處理的影像資料記錄於影像記錄部9。因而，本流程圖的處理結束。

其次，參照第11圖所示之流程圖，說明第10圖之步驟S49之反光抑制方式選擇處理之步驟的細節。

在步驟S61，影像處理部7判定在第10圖之步驟S45的臉檢測處理所檢測出之臉之人數的可靠度(以下僅稱為「可靠度」)。

可靠度的判定手法無特別限定，例如在本實施形態，採用如下所示的手法。

即，在第10圖之步驟S44的處理所取得之圖框影像的影像資料是伴隨發光部12之閃光所拍攝之影像資料的情況，判定可靠度是「1」。

又，在步驟S44的處理所取得之圖框影像的影像資料是未伴隨發光部12之閃光所拍攝之影像資料，且在步驟S45的臉檢測處理從該圖框影像檢測出臉的人數和在步驟S42的臉檢測處理從即時預覽影像檢測出臉之人數一致的情況，判定可靠度是「1」。

另一方面，在步驟S44的處理所取得之圖框影像的影像資料是未伴隨發光部12之閃光所拍攝之影像資料，而且在步驟S45的臉檢測處理從該圖框影像檢測出臉的人數和在步驟S42的臉檢測處理從即時預覽影像檢測出臉之人數是不一致的情況，判定可靠度是「0」。

在步驟S62，影像處理部7設定減少反光抑制處理的效果之色度S的界限值(以下適當地稱為「界限值S」)。

即，除了第3實施形態以外，亦包含第1實施形態或第2實施形態，在反光抑制處理中，預先設定界限值S，以下將這種值S稱為「起始界限值」。例如，起始界限值一般被設定成為日光燈等之白色區域和除此以外之的區域之界限之色度S的值。即，在使用起始界限值的反光抑制處理中，僅對日光燈等之白色區域降低反光抑制處理之效果的程度。

可是，在膚色取得區域之第1參數之色度S的值(以下稱為「肌膚反光平均S值」)超過第3參數之色度S的值(以下稱為「背景反光平均S值」)。

依此方式，在肌膚反光平均S值超過背景反光平均S值之狀態，僅對膚色取得區域中是反光區域的區域施加反光抑制處理即可。

因此，在這種狀態，影像處理部7將肌膚反光平均S值和背景反光平均S值112之間的值設定為界限值S。因而，對背景區域亦可降低反光抑制處理之效果的程度。

在步驟S63，影像處理部7判定在步驟S61之處理所判定的可靠度是否是「1」。

在可靠度是「0」的情況，在步驟S63被判定為「否」，處理移至步驟S69。在步驟S69，影像處理部7選擇執行「第1處理」(參照第4圖的步驟S5至S10)的方式，作為反光抑制方式。

相對地，在可靠度是「1」的情況，當作在此階段尚不足以選定反光抑制方式，在步驟S63被判定為「是」，處理移至步驟S64。

在步驟S64，影像處理部7判定被攝體是否為1人。

有關對在第10圖之步驟S44的處理所取得之圖框影像的影像資料，實施步驟S45之臉檢測處理的結果，在檢測出複數個人臉的情況，即在被攝體為複數個人的情況，在步驟S64被判定為「否」，處理移至步驟S69。在步驟S69，影像處理部7選擇執行「第1處理」的方式，作為反光抑制方式。

相對地，有關對在步驟S44的處理所取得之圖框影像的影像資料，實施步驟S45之臉檢測處理的結果，在檢測出1個人之臉的情況，即在被攝體為1個人的情況，當作在此階段尚不足以選定反光抑制方式，在步驟S64被判定為「是」，處理移至步驟S65。

此外，因為第3實施形態的「第2處理」以僅考慮一位被攝體之個人的膚色為前提，所以設置步驟S64的處理。即，在採用可考慮複數個被攝體之各個人的膚色之「第2處理」的情況，可省略步驟S64的處理。

在步驟S65，影像處理部7判定第2參數的可靠度(在第10圖之步驟S48的處理所取得之(d)的資訊)是否為定值以下。

在第2參數的可靠度是定值以下的情況，在步驟S65被判定為「是」，處理移至步驟S69。在步驟S69，影像處理部7在反光抑制方式方面，是選擇執行「第1處理」的方式。

相對地，在第2參數的可靠度超過定值的情況，當作在此階段尚不足以選定反光抑制方式，在步驟S65被判定為「否」，處理移至步驟S66。

在步驟S66，影像處理部7判定相對於畫面整個面之該人物的臉面積(在第10圖之步驟S48的處理所取得之(e)的資訊)是否是定值以上。

在臉面積是定值以上的情況，在步驟S66被判定為「是」，處理移至步驟S70。在步驟S70，影像處理部7在反光抑制方式方面，是選擇執行「第2處理」(參照第7圖的步驟S26至S31)的方式。

相對地，在臉面積未滿定值的情況，當作在此階段尚不足以選定反光抑制方式，在步驟S66被判定為「否」，處理移至步驟S67。

在步驟S67，影像處理部7判定第2參數之色度S的值(是在第10圖之步驟S48的處理所取得之(b)的資訊，以下稱為「第2參數的S值」)是否位於固定範圍內。

在第2參數的S值是固定範圍內之值的情況，在步驟S67被判定為「是」，處理移至步驟S70。在步驟S70，影像處理部7在反光抑制方式方面，是選擇執行「第2處理」的方式。

相對地，在第2參數的S值是不在固定範圍內之值的情況，當作在此階段尚不足以選定反光抑制方式，在步驟S67被判定為「否」，處理移至步驟S68。

在步驟S68，影像處理部7判定在背景區域之反光區域的佔有率(在第10圖之步驟S48的處理所取得之(g)的資訊)是否是定值以下。

在背景部反光%是定值以下的情況，在步驟S68被判定為「是」，處理移至步驟S70。在步驟S70，影像處理部7在反光抑制方式方面，是選擇執行「第2處理」的方式。

相對地，在背景部反光%超過定值的情況，在步驟S68被判定為「否」，處理移至步驟S69。在步驟S69，影像處理部7在反光抑制方式方面，是選擇執行「第1處理」的方式。

依此方式，在步驟S69或S70的處理選擇反光抑制方式後，反光抑制方式選擇處理結束。

即，第10圖之步驟S49的處理結束，處理移至步驟S50。

在第11圖之步驟S69的處理選擇了執行「第1處理」之方式的情況，在步驟S50被判定為「否」，在步驟S51的處理執行「第1處理」。

相對地，在第11圖之步驟S70的處理選擇了執行「第2處理」之方式的情況，在步驟S50被判定為「是」，在步驟S52的處理執行「第2處理」。

依據第3實施形態之數位相機1，除了和第1實施形態一樣，具有上述之(1)至(5)的效果，而且和第2實施形態一樣，具有上述之(6)至(8)的效果以外，更具有如下之(9)的效果。

(9)藉由執行第2實施形態的「第2處理」(參照第7圖的步驟S26至S31)，而可具有如上述之(6)的效果。即，在第1實施形態的「第1處理」(參照第4圖的步驟S5至S10)會掩生變紅程度增加的課題。上述之(6)的效果是可解決該課題之效果。

可是，在無法適當地得到關於作為被攝體之個人的肌膚之資訊的情況等，即使執行「第2處理」，亦不僅無法解決該課題，而且亦可能得到不佳的處理結果。或者，畢竟在欠缺必要的資訊之下，亦可能成為無法執行「第2處理」的情況。

即使是這種情況，亦因為在第3實施形態，可替代「第2處理」，執行「第1處理」，所以可得到一定程度以上之抑制反光的效果。

以上，雖然作為本發明之實施形態，說明第1實施形態及第2實施形態，但是本發明未限定為上述的實施形態。即，如以下所示之在可達成本發明之目的之範圍的變形、改良等亦包含於本發明。

(1)亦可作成在設定人物攝影模式後，控制部8執行從所拍攝之影像資料，減輕反光成分的反光抑制處理。在人物攝影模式，亦有自動發出閃光的情況，在所拍攝之人物的臉發生反光成分的機率高。因此，在已設定人物攝影模式時，不論有無發出閃光，藉由對所拍攝之影像資料執行減輕反光成分的反光抑制處理，而可得到減輕反光成分之更佳的影像。

(2)亦可作成從藉臉檢測處理所檢測出之臉區域抽出相當於易發生反光成分之相當於人物之額頭、臉頰、鼻的部分，並從該部分指定處理區域。若依據此方式，藉由抽出易發生反光成分的部分，而可更正確地指定處理區域。

(3)亦可作成使用者一面看顯示於顯示部10的影像，一面經由未圖示的操作輸入構件進行指定膚色區域或處理區域。在此情況，關於膚色區域，藉由將第2圖所示之HSV色空間的示意圖以彩色顯示於顯示部10，而可讓使用者以視覺判別色調H的分布。

(4)亦可作成藉由使控制部8根據本發明之影像處理程式動作，而實現上述之影像處理部7之功能的一部分或全部。

(5)在上述的實施形態中，雖然表示將攝影透鏡2及攝影部3作為本發明之影像取得手段的例子，但是亦能建構成以將藉其他的數位相機等所拍攝之影像，取入數位相機1的方式。在此情況，供可拆裝自如之記錄影像資料之記錄媒體裝填用的卡槽部、或和用以藉有線或無線取入影像資料之電纜或發射機一部分的連接端子係作為影像取得手段發揮作用。

(6)又，在上述的實施形態，雖然作成從膚色區域中檢測出處理區域，但是亦可為其他的顏色區域。在此情況，指定所期望之色調值H的範圍，再於該指定之色調值H的範圍內，將由色度S為既定值以下，而且亮度V為既定值以上之像素所構成的區域，指定為處理區域。

(7)此外，在第2實施形態，雖然影像處理部7從膚色取得區域的第1參數和第2參數設定目標值，但是亦可作成在僅考慮第2參數而設定目標值。

(8)再者，本發明未特別限定為HSV空間，此外，可廣泛應用於YUV空間或RGB空間等之各種色調空間。

(9)本發明未限定為數位相機，例如，可應用於具有相機之手機等之具備靜態影像攝影功能的電子機器整體。又，本發明亦可應用於具備影像之顏色處理功能之任意的影像處理裝置。進而，在本發明的影像處理裝置，亦包含藉由根據指定程式動作可實現本發明之影像處理部7之功能的電腦裝置。

1．．．數位相機

2．．．攝影透鏡

3．．．攝影部

4．．．前處理部

5．．．處理資訊記憶部

5a．．．白色成分增益表記憶部

5b．．．反光成分增益表記憶部

6．．．程式記憶體

7．．．影像處理部

8．．．控制部

9．．．影像記錄部

10．．．顯示部

11．．．按鍵輸入部

11a．．．快門按鍵

11b．．．攝影模式設定鍵

12．．．發光部

第1圖係表示作用為本發明之一實施形態的影像處理裝置之數位相機之電路構成的方塊圖。

第2圖係用以說明RGB色空間的示意圖。

第3圖係用以說明HSV色空間的示意圖。

第4圖係表示是藉由從由第1圖的數位相機所拍攝之影像資料減輕反光成分，而抑制反光的反光抑制處理之第1實施形態的反光抑制處理之步驟的流程圖。

第5圖係在HSV色空間色調值H所分布之圓形區域的示意圖。

第6圖係第3圖所示之HSV色空間的部分剖面圖。

第7圖係表示是藉由從由第1圖的數位相機所拍攝之影像資料減輕反光成分，而抑制反光的反光抑制處理之第2實施形態的反光抑制處理之步驟的流程圖。

第8A圖、第8B圖係說明在第7圖之第2實施形態的反光抑制處理之個人之目標值的算出手法例的圖，表示畫這種膚色取得區域之各像素之HSV空間的部分上視圖及部分剖面圖。

第9A圖、第9B圖係說明在第7圖之第2實施形態的反光抑制處理之個人之目標值的算出手法例的圖，表示HSV空間的部分上視圖。

第10圖係表示是藉由從由第1圖的數位相機所拍攝之影像資料減輕反光成分，而抑制反光的反光抑制處理之第3實施形態的反光抑制處理之步驟的流程圖。

第11圖係表示第10圖之第3實施形態的反光抑制處理中反光抑制方式選擇處理之步驟之細節的流程圖。