JP4750520B2 - 人物画像補正装置および方法 - Google Patents

Description

本発明は、画像処理の技術分野に属し、詳しくは、人物が撮影された画像を補正する補正装置および方法に関する。

デジタルカメラでの撮影によって取得されたデジタル画像データや、写真フィルムに撮影された画像を光電的に読み取って得られたデジタル画像データから写真プリントを作成する際には、撮影画像が適正な色や濃度で再生されるように、画像に対して補正が施される。特に、人物を撮影した画像の場合には、人物の肌色がきれいに再生されることが重要である。

人物の肌色に着目した画像処理方法としては、例えば、画像データから人物の顔を自動的に抽出し、目標濃度範囲になるように補正する技術（特許文献１参照）や、画像データから人物の顔を自動的に抽出し、目標色度になるように補正する技術（特許文献２参照）が知られている。
これらの技術は、肌色の目標濃度や目標色度値を予め設定しておき、画像データから抽出した顔領域の濃度や色が目標値に近付くように各画像を補正するものである。そのため、肌色の濃度や色の目標値を設定した人種と同じ人種の人物画像を対象とする場合には、ほぼ適正な補正を行うことができる。

しかし、人種によって肌色が異なるため、複数の人種の人物画像についてある目標の色濃度に補正すると、同一撮影条件で撮影された画像群（例えば、卒業写真）などでは背景がばらつき、また、肌の色味も必ずしも好ましくないという問題がある。このような複数の画像から成る画像群に対しては、同一の補正を行うことが望ましい。

これに対し、特許文献３には、写真フィルムに撮影された画像を感光材料（印画紙）に投影して露光する、いわゆる直接露光による写真焼付において、自動的に露出を決定するカメラでフィルムに撮影した複数の画像コマを印画紙に焼付けるにあたり、複数の画像コマの各々を多数個に分割測光し、この測光結果に基づいて予め定めた同一露光量により各画像コマを焼付けて得られるプリントと同様の画像を画像表示装置上に表示し、表示された画像コマの一つ又は複数を確認・修正してその画像コマに対する修正露光量を決定し、同一露光量と修正露光量とに基づいて画像コマの焼付露光量を決定し、この焼付露光量で複数の画像コマを印画紙に焼付ける写真焼付方法が記載されている。

この方法によれば、同一フィルムに撮影された画像について、そのうちの１または複数コマ（全コマを含む）の画像を画像表示装置上に表示して各画像に対する修正露光量を求め、この修正露光量の平均値を用いて焼付露光量を決定し、決定された焼付露光量で、そのフィルム１本分の全画像について焼付処理を行うので、同一撮影条件で撮影された画像群における背景のばらつきの問題は防ぐことができる。
しかし、１本のフィルムの複数コマについて修正露光量を求めると、表示された各コマを確認・修正して修正露光量を決定する作業に時間が掛かるという問題がある。また、１コマについてのみ修正露光量を求めると、肌色の異なる人種の人物画像が混在している場合等には、他のコマでは肌色が必ずしも適正な色濃度に再生されないという問題がある。
特開２０００−１９６８９０号公報 特開２０００−１８２０４３号公報 特開平６−２０８１７８号公報

本発明の目的は、上記従来技術の問題点を解消し、同一撮影条件で撮影された複数の画像について、その画像群に肌色が大きく異なる顔の人物画像が混在している場合にも、顔色を適正な色濃度に再生することができるとともに、背景色のばらつきを防ぐことができ、かつ、補正処理を効率良く行うことのできる人物画像補正装置および方法を提供することにある。

上記課題を解決するために、本発明は、同一撮影条件で撮影された複数の人物画像を補正する人物画像補正装置であって、入力された前記人物画像の顔領域を抽出する顔領域抽出手段と、前記顔領域抽出手段で抽出された前記顔領域の特徴量に応じて、前記複数の人物画像から、平均的な肌色の画像と、平均から大きく異なる肌色の画像のうちの１以上とを表示用画像として自動的に選択し、かつ、前記複数の人物画像を、顔領域の明るさの値が大きい順にソートして、予め設定されている画像点数だけ一定間隔置きに表示用画像として自動的に選択する、表示画像選択手段と、色および濃度の少なくとも一方の修正値の入力を受け付ける修正値入力手段と、前記修正値の確定を受け付ける修正値確定手段と、前記修正値入力手段により入力された前記修正値を用いて前記表示用画像を補正し、かつ、前記修正値確定手段で確定された前記修正値を用いて前記人物画像を補正して補正後の前記人物画像を出力する画像補正手段と、前記画像補正手段で補正された前記表示用画像を、前記平均的な肌色の画像を用いて、前記平均から大きく異なる肌色の画像の肌色の関係を表すように配置した表示、および、前記顔領域の明るさの値が大きい順に配列した表示を行なう、画像表示手段と、を備えることを特徴とする人物画像補正装置を提供する。

また、前記顔領域抽出手段で抽出された前記顔領域の特徴量に基づいて、色および濃度の少なくとも一方の補正値を自動で算出する補正値自動算出手段をさらに備え、前記画像補正手段は、前記補正値自動算出手段で算出された前記補正値と前記修正値入力手段により入力された前記修正値とを用いて前記表示用画像および前記人物画像を補正するのが好ましい。

また、前記表示画像選択手段は、前記顔領域の特徴量に基づいて、前記顔領域の濃度または色が異なる２以上の前記表示用画像を選択し、前記画像表示手段は、濃度または色味の分布に応じて前記表示用画像の配置間隔を変更し、該配置間隔で前記表示用画像を配置して表示するのが好ましい。

また、さらに、前記表示用画像および前記人物画像を、入力された指示に対応する前記特徴量を境界として２以上の群に分割する分割確定手段を有し、
前記修正値入力手段は、前記分割確定手段で分割された前記表示用画像群のそれぞれについて前記修正値の入力を受け付けるものであり、
前記画像補正手段は、前記修正値入力手段により入力された前記修正値を用いて、対応する前記分割された表示用画像群を補正し、かつ、前記修正値確定手段で確定された前記修正値を用いて、対応する前記分割された人物画像群を補正して補正後の前記人物画像を出力するのが好ましい。

また、本発明は、同一撮影条件で撮影された複数の人物画像を入力する工程と、入力された前記複数の人物画像のそれぞれについて顔領域を抽出する工程と、顔領域の特徴量に応じて、前記複数の人物画像から、平均的な肌色の画像と、平均から大きく異なる肌色の画像のうちの１以上とを表示用画像として選択し、かつ、前記複数の人物画像を、顔領域の明るさの値が大きい順にソートして、予め設定されている画像点数だけ一定間隔置きに表示用画像として選択する工程と、入力された色および濃度の少なくとも一方の修正値を用いて前記表示用画像を補正する工程と、補正された前記表示用画像を、前記平均的な肌色の画像を用いて、前記平均から大きく異なる肌色の画像の肌色の関係を表すように配置した表示、および、前記顔領域の明るさの値が大きい順に配列した表示を、画像表示装置に表示する工程と、前記修正値の確定が指示された後、その修正値を用いて前記複数の人物画像を補正する工程と、補正後の前記人物画像を出力する工程とを有する人物画像補正方法を提供する。

また、抽出された前記顔領域の特徴量に基づいて、色および濃度の少なくとも一方の補正値を算出する工程をさらに有し、前記表示用画像を補正する工程および前記複数の人物画像を補正する工程は、前記補正値と前記修正値とを用いて前記表示用画像および前記人物画像を補正するのが好ましい。

また、前記表示用画像を選択する工程は、前記顔領域の特徴量に基づいて、前記顔領域の濃度または色の異なる２以上の前記表示用画像を選択し、前記表示する工程は、濃度または色味の分布に応じて前記表示用画像の配置間隔を変更し、該配置間隔で前記表示用画像を配置して画像表示装置に表示するのが好ましい。

また、さらに、前記表示用画像および前記人物画像を、入力された指示に対応する前記特徴量を境界として２以上の群に分割する工程を有し、
前記表示用画像を補正する工程および前記複数の人物画像を補正する工程は、分割された前記表示用画像群のそれぞれについて入力された前記修正値を用いて、対応する前記分割された表示用画像群および前記分割された人物画像群を補正するのが好ましい。

本発明によれば、上記構成により、同一撮影条件で撮影された複数画像の画像群に肌色が異なる顔の人物画像が混在している場合にも、顔色を適正な色濃度に再生することができるとともに、背景色のばらつきを防ぐことができ、かつ、補正処理を効率良く行うことができる。

本発明に係る人物画像補正装置および方法を、添付の図面に示す好適実施例に基づいて以下に詳細に説明する。

図１は、本発明の人物画像補正方法を実施する本発明の人物画像補正装置の一実施形態を示すブロック図である。
図１に示す人物画像補正装置１０は、同一撮影条件で撮影された複数の人物画像（画像データ）が入力され、入力された複数の人物画像に対して同一の補正を行って、補正後の人物画像（補正済み画像データ）を出力するものである。
人物画像補正装置１０は、顔領域抽出手段１２と、表示画像選択手段１４と、画像補正手段１６と、画像表示手段１８と、修正値入力手段２０と、修正値確定手段２２とを有している。

顔領域抽出手段１２は、入力された各画像について顔領域を抽出する。
表示画像選択手段１４は、抽出された顔領域の特徴量に基づいて複数の人物画像から複数の表示用画像を自動的に選択する。
画像補正手段１６は、表示画像選択手段１４で選択された複数の表示用画像に対して修正値入力手段２０から入力された修正値を用いて補正し、補正後の表示用画像を画像表示手段１８へ供給する。また、画像補正手段１６は、修正値確定手段２２で確定された修正値を用いて、人物画像補正装置１０に入力された複数の人物画像の全部について補正して、補正後の人物画像を出力する。
顔領域抽出手段１２、表示画像選択手段１４および画像補正手段１６は、所定の演算処理を実行するハードウェアまたはソフトウェアにより構成することができる。

画像表示手段１８は、画像補正手段１６から供給された表示用画像を表示する表示装置である。画像表示手段１８は、供給された複数の表示用画像を１つの画面に配置して表示する。
修正値入力手段２０は、画像表示手段１８に表示された画像に対して色および濃度の少なくとも一方の修正値の入力を受け付けるものであり、修正値確定手段２２は、その修正値の確定を受け付けるものである。修正値入力手段２０および修正値確定手段２２としては、マウス等のポインティングデバイスやキーボードや画像表示手段１８に組み込まれたタッチパネル等の入力装置が用いられる。

人物画像補正装置１０において実施される人物画像補正処理を、図２に示すフローチャートに沿って説明する。
人物画像補正装置１０は、同一撮影条件で撮影された複数枚の人物画像が顔領域抽出手段１２に入力されると（ステップＳ１０１）、入力された複数枚の人物画像のそれぞれに対して、顔領域抽出手段１２で顔領域を抽出する（ステップＳ１０２）。顔領域抽出の具体的方法としては、例えば、特開平８−１２２９４４号公報に記載の、色相値のヒストグラムに基づいてカラー原画像を分割し、分割された領域からカメラ情報等に基づいて顔領域を選択する方法や、特開平５−１００３２８号公報に記載の、画像中の人物の頭部輪郭や顔輪郭等の形状パターンを検出して顔領域を判断する方法が利用できる。

次に、表示画像選択手段１４では、顔領域抽出手段１２で抽出された顔領域に基づいて顔領域の特徴量を計算し、入力された複数の人物画像（人物画像群）のうち一部の画像を、表示用画像として選択する（ステップＳ１０３）。
ここで、表示用画像として選択する画像は、修正値決定に重要な顔画像とすることが重要である。そうすることにより、入力された人物画像群のうちの一部の画像のみを画像表示手段１８上で確認して、全画像に対する適切な修正値の決定を効率良く行うことができる。

修正値決定に重要な顔画像とは、画像群中の全画像に対して適切な補正が行われているか否かを判断するために有効な、特徴的な画像のことであり、画像群において平均的な肌色の画像や平均から大きく異なる肌色の画像が好適である。すなわち、例えば、人物画像群のうち一番平均的な濃度または色の顔領域を有する画像、一番明るい（濃度の低い）顔領域を有する画像、一番暗い（濃度の高い）顔領域を有する画像、または、色が両極に異なる顔領域を有する２つの画像組を用いるのが好ましい。
このような表示用画像として適切な画像の組合せは種々考えられるが、本実施形態では、一番平均的な顔、一番明るい顔、一番暗い顔、一番赤い顔、一番青い顔、一番黄色い顔、一番シアン色の顔の７つを選択する。もちろん、本発明はこれには限定されず、修正値決定に有効な画像であれば、他の特徴を有するものを用いても良い。

また、表示用画像として選択された画像は、表示画像選択手段１４で一度にモニタ上に表示され、補正結果の確認に供されるが、あまりたくさんの画像を表示すると、どの顔に着目してよいかが分かりにくく、補正の適否の判断が難しい。しかし、複数の人物画像のうちの１コマを表示し、表示したコマが適正となる修正値を求めても、他の画像については適正な補正とはならない場合もある。
そのため、表示用画像として選択する画像数は、２個以上とし、その最大数は、表示画面のサイズに応じて各画像の確認が困難とならない範囲とし、例えば２０個程度までとするのが好ましい。なお、人物画像群の画像数が少ない場合には、全画像を表示用画像として選択してもよい。

このように、複数の人物画像において、濃度または色に関して特徴的な画像（例えば、平均的な画像と平均値から最も隔たった画像）を、限られた数だけ選択して表示することにより、限られた数の表示画像だけに着目して、補正の適否を判断することができ、判断が容易となる。また、表示された画像について適正な補正とすれば、その間の濃度や色を有する他の画像についても適正な補正となっており、したがって、全画像について適正な補正とすることができる。

ステップＳ１０３において、表示画像選択手段１４は、顔領域の画像特徴量によって、上記の表示用画像を選択する。
表示画像選択手段１４は、まず、入力された複数枚の全人物画像に対して、個々の顔領域の特徴量を計算する。
本実施形態では、ｉ番目の人物画像に対して、顔領域のＲＧＢデータ値の平均値（Ｒfi、Ｇfi、Ｂfi）を計算する。
次に、算出した顔領域のＲＧＢデータ値の平均値（Ｒfi、Ｇfi、Ｂfi）を用いて、顔領域の明るさＹfiを下記式（１）に基づき計算する。
Ｙfi＝0.299×Ｒfi＋0.587×Ｇfi＋0.114×Ｂfi ・・・（１）

全人物画像に対する顔領域特徴量計算が終了すると、下記の表１に示す選択基準に沿って表示用の顔を選択する。下記表１に示す選択基準において、Ｅiは、下記式（２）で計算できる数値とする。
Ｅi＝{(Ｒfi−Ｒfav)^2＋(Ｇfi−Ｇfav)^2＋(Ｂfi−Ｂfav)^2}^0.5 ・・・（２）
ただし、（Ｒfav，Ｇfav，Ｂfav）は、（Ｒfi，Ｇfi，Ｂfi）（ｉ＝1,2,3,・・・,N）の平均値とする。このＥi は、個々の画像の、複数枚の全人物画像の平均値からの近さを示し、Ｅi が小さい画像ほど平均値に近く、平均的な色味の顔領域を有する画像である。

このように、入力された画像の顔領域特徴量に基づいた上記の選択基準で表示用画像を選択できるのは、同一撮影条件で撮影された人物画像においては、撮影画像上の相対的なデータの関係が、被写体である人物間の相対的な肌色の関係と対応していると言えるためである。すなわち、例えば、被写体のうち一番明るい顔の人物が、画像データ上も一番明るい顔になっているからである。

表示画像選択手段１４における表示用画像の選択方法は、上記には限定されず、他の方法によって行っても良い。例えば、顔領域特徴量として、顔領域のＲＧＢデータ値の平均値（Ｒfi、Ｇfi、Ｂfi）をＬ^* ａ^* ｂ^* データ値に変換した（Ｌfi，ａfi，ｂfi）を使って、下記の表２に示す選択基準で選択しても良い。下記表２に示す選択基準において、Ｅiは下記式（３）で計算できる数値とする。
Ｅi＝{(Ｌfi−Ｌfav)^2＋(ａfi−ａfav)^2＋(ｂfi−ｂfav)^2}^0.5 ・・・（３）
ただし、（Ｌfav，ａfav，ｂfav）は、（Ｌfi，ａfi，ｂfi）（ｉ＝1,2,3,・・・,N）の平均値とする。上記の例と同様に、Ｅi は、個々の画像の、複数枚の全人物画像の平均値からの近さを示す。

表示用画像が選択されると、次に、画像補正手段１６で、選択された表示用画像群に対して現在の修正値を使ってその全画像を補正する（ステップＳ１０４）。
画像補正手段１６において、修正値は、（Ｄ，Ｃ，Ｍ，Ｙ）の４つのパラメータで構成されており、修正値入力手段２０からは、この４つのパラメータについて、修正値が入力される。ここで、Ｄは濃度を示すパラメータであり、Ｃ，Ｍ，Ｙはそれぞれシアン、マゼンタ、イエローの色味を示すパラメータである。

修正値（Ｄ，Ｃ，Ｍ，Ｙ）の初期値は全て０（ゼロ）とされている。そのため、初めてステップＳ１０４の処理を行う時は、表示用画像は、実質上補正されない。したがって、１度目のステップＳ１０４では、補正をスキップするように制御しても構わない。
また、ステップＳ１０４では、表示用画像について補正を行って、表示用の補正済み画像を生成する。そのため、表示に必要な画像サイズが入力された画像のサイズよりも小さい場合は、表示用に選択された画像に対して、表示用画像サイズに縮小した画像を作成してメモリ等に保持しておき、ステップＳ１０４では、縮小した表示用画像に対して補正を行うようにしてもよい。そうすることにより、ステップＳ１０４の画像補正処理の負荷を低減し、処理効率を高くすることができる。

ステップＳ１０４における画像補正の具体的な方法の一例を以下に説明する。
本実施形態においては、修正値入力手段２０から入力される修正値（Ｄ，Ｃ，Ｍ，Ｙ）は、対数とされている。また、濃度Ｄの増加または減少は、Ｃ，Ｍ，Ｙ全てを一律に増加または減少させることと等価となるように設定されている。
画像補正手段１６は、まず、修正値入力手段２０から入力された対数の修正値（Ｄ，Ｃ，Ｍ，Ｙ）を、下記式（４）により、（gainＲ，gainＧ，gainＢ）の真数の修正値に変換する。

上記式（４）において、0.01は、修正値入力手段２０による修正値の入力幅に対応する係数である。
今、修正値（Ｄ，Ｃ，Ｍ，Ｙ）の初期値は全て０（ゼロ）とされているので、このときの（gainＲ，gainＧ，gainＢ）は全て１となる。

また、画像補正手段１６は、入力された人物画像のデータ値（画素値）を輝度リニアな信号に変換する。
例えば、入力データが８ｂｉｔの場合、入力データ値を２５５で割った値を（Ｒin，Ｇin，Ｂin）とすると、Ｒinについて、下記式（５）または（６）によって、lr0を算出する。

lg0，lb0も同様の式で算出する。

次に、上記で得られた（lr0，lg0，lb0）に対して真数の修正値（gainＲ，gainＧ，gainＢ）で補正（ゲイン補正）を行って、（lr1，lg1，lb1）を得る。

最後に、補正後の信号（lr1，lg1，lb1）を再びガンマを掛けた信号に変換して（Ｒout，Ｇout，Ｂout）を得る。lr1について、下記式（８）または（６）により、Ｒoutを算出する。

Ｇout，Ｂoutも同様の式で算出する。
そして、例えば、補正済み画像を８ｂｉｔにする場合は、Ｒout，Ｇout，Ｂoutに２５５を掛けた値を出力データ値とする。

上記において、入力データ値（それに対応するＲin，Ｇin，Ｂin）および出力データ値（それに対応するＲout，Ｇout，Ｂout）は、１画素の値であり、補正対象画像の全画素について同様の計算を行う。
このようにして、画像補正手段１６において、修正値入力手段２０によって入力された修正値による画像補正が行われる。この補正処理は、表示画像選択手段１４で選択された全表示用画像について行われる。

なお、本実施形態では、ｓＲＧＢの規格に則って画像データを扱っているが、他の信号規格（例えば、ＩＴＵ−Ｒ．ＢＴ７０９等）に対応するものとしてもよく、その場合は、入力データ値を輝度リニアな信号に変換する上記式（５），（６）およびその逆の変換をする上記式（７），（８）として、その信号規格に対応する式を用いればよい。

ステップＳ１０４における画像補正が終わると、次に、画像補正手段１６は、補正後の表示用画像（表示用補正済み画像）を画像表示手段１８へ供給し、画像表示手段１８は、供給された表示用補正済み画像を表示画面（モニタ）に表示する（Ｓ１０５）。
画像表示手段１８は、表示用補正済み画像の表示に際し、各画像の関係を考慮することなく、単に、入力順や処理順、ファイル番号順などにより表示画面上に配置しても良いが、各々の関係が分かりやすいように表示画面上に配置することが望ましい。

図３に、画像表示手段１８における表示画面の好ましい一例を示す。
上述のように、ステップＳ１０３では、表示画像選択手段１４において、一番平均的な顔、一番明るい顔、一番暗い顔、一番赤い顔、一番青い顔、一番黄色い顔、一番シアン色の顔の７つの顔領域を有する人物画像が選択されている。図３に示す表示画面２４では、これらの人物画像（その表示用画像）を、濃度別表示領域である第１表示領域２６と、色別表示領域である第２表示領域とに分けて表示している。

第１表示領域２６には、一番平均的な顔の画像を中央にして、その上側に一番明るい顔の画像を、下側に一番暗い顔の画像を表示する。すなわち、明るさ（濃度）の順に、３つの画像が配置される。
また、第２表示領域には、一番平均的な顔を中央にして、上側に一番黄色い顔、下側に一番青い顔、左側に一番シアン色の顔、右側に一番赤い顔の画像を表示する。すなわち、平均的な色味の顔を挟んで、補色の関係にある黄色と青色、または、シアン色と赤色の傾向にある顔が、反対側の位置になるように配置される。これは、Ｌ^*ａ^*ｂ^* 表色系に対応する配置形態である。オペレータには、この表示形態に慣れている人も多いので、このように表示することにより、オペレータが各画像の関係を直感的に理解することができる。
このように、表示用画像として選択された複数の画像を、濃度の関係および色の関係が表された配置で表示することにより、各々の関係が分かりやすくなる。

また、図３の表示画面２４に、画像群における分布の偏りをさらに表示してもよい。
例えば、明るさに関して、一番平均的な顔より明るい顔の画像数を、一番明るい顔の画像と一番平均的な顔の画像の間に表示し、一番平均的な顔よりも暗い顔の画像数を、一番暗い顔の画像と一番平均的な顔の画像の間に表示すれば、平均よりも明るい顔が多いのか、平均よりも暗い顔が多いのかが分かる。
色味に関しても同様の表示をしてもよい。

画像表示手段１８のモニタに表示画面２４が表示されると、オペレータは、この表示画面２４を見て、画像の補正が適正か否かを判断する。そして、オペレータの判断に応じた指示が、修正値入力手段２０または修正値確定手段２２によって画像補正手段１６に入力される（ステップＳ１０６）。修正値入力手段２０からの入力があった場合は、ステップＳ１０６の判断がＮｏとなり、修正値確定手段２２からの入力があった場合は、Ｙｅｓとなる。

表示画面２４に表示された画像について、補正が適正でない場合は、オペレータが修正値入力手段２０を操作することにより、修正値が入力される（ステップＳ１０７）。
表示画面２４には、Ｄ，Ｃ，Ｍ，Ｙのそれぞれについての修正値を表示する修正値入力表示部３０が設けられており、修正値入力手段２０によって入力された値が修正値入力表示部３０に表示される。

例えば、濃度を明るく（薄く）したい場合には、修正値入力手段２０によって、Ｄの値を小さくする（初期値のゼロからはマイナスにする）。Ｄの値を小さくされると、画像補正手段１６は、濃度を明るく（薄く）するように補正する。反対に、Ｄの値を大きく（プラスに）されると、濃度を濃く（暗く）するように補正する。これにより、濃度を修正することができる。
また、Ｃの値をプラスにするとシアン側（シアンが強くなる側）に、マイナスにすると赤側に補正し、Ｍの値をプラスにするとマゼンタ側に、マイナスにすると緑側に補正し、Ｙの値をプラスにすると黄色側に、マイナスにすると青側に補正する。これにより、色を修正することができる。

修正値が入力されると、再びステップＳ１０４に戻り、画像補正手段１６は、入力された修正値を使って表示用画像の全部を再度補正して、表示用補正済み画像を再生成する。ここにおける画像の補正方法は、上述した通りであり、ステップＳ１０３で選択された、補正前の表示用画像（縮小した表示用画像を保持している場合にはその縮小表示用画像）に対し、ステップＳ１０７で入力された新たな修正値によって補正を行う。

再生成された表示用補正済み画像は、画像表示手段１８によってモニタ上に再表示される（Ｓ１０５）。オペレータは再表示された補正済み画像を見て、補正が適正か否かを判断する。そして、オペレータの判断に応じた指示が、修正値入力手段２０または修正値確定手段２２によって画像補正手段１６に入力される（ステップＳ１０６）。
ステップＳ１０４からステップＳ１０７までの工程は、補正が適正であるとの指示が入力されるまで、繰り返される。

補正が適正である（または、適正となった）場合は、オペレータが修正値確定手段２２を操作することにより修正値確定の指示が入力され、修正値が確定する（ステップＳ１０８）。
表示画面２４には、修正値確定ボタン３２が表示されており、修正値確定手段２２によって修正値確定ボタン３２をクリックすること等により、修正値確定の指示が画像補正手段１６に入力される。
修正値が確定すると、画像補正手段１６は、確定された修正値を使って、入力された複数枚の人物画像全てを補正し（ステップＳ１０９）、補正された画像（補正済み画像データ）を出力する（ステップＳ１１０）。
ステップＳ１０９における人物画像の補正は、ステップＳ１０４における表示用画像に対する補正と同様の方法で行われる。

上述したように、ステップＳ１０４では、モニタ表示用の画像を生成するので、表示用画像サイズに縮小して補正することが望ましい。この場合には、ステップＳ１０９では、入力されたもとの画像サイズの人物画像の全てについて、補正を行う。
なお、ステップＳ１０４で画像サイズを縮小せず、入力された画像サイズのままで補正する形態としてもよい。この場合には、表示用に補正した画像を出力用にも利用できるので、ステップＳ１０９では、まだ補正していない、すなわち表示用に用いていない残りの画像に対して、補正するようにすればよい。

このように、本発明の人物画像補正装置１０およびその補正方法は、同一撮影条件で撮影された複数の人物画像において、顔領域の特徴量に基づいて肌色の異なる顔が写っている画像を、限られた数だけ選択し表示する構成としたので、限られた数の表示画像だけに着目して、補正の適否を判断することができ、判断が容易となる。

また、修正値を決定するに当たっての重要な複数の画像、すなわち濃度または色に関して特徴的な画像が選択されて表示される構成としたので、同一撮影条件で撮影された複数画像の画像群に肌色が大きく異なる顔の人物画像が混在している場合であっても、表示された画像について適正な補正とすれば、他の画像についても適正な補正となっており、したがって、全画像について適正な補正とするような修正値を効率良く求めることができる。

さらに、色濃度の補正値を入力した場合に、表示されている全ての画像に適用して再表示する構成としたので、補正の適否の判断が容易となり、また、一度の入力で全画像の補正に適用されるので、修正値の決定作業が効率化できる。

以上により、複数の人物画像に対して、顔色を適正な色濃度に再生することができるとともに、背景色のばらつきを防ぐことができ、かつ、修正値決定作業や補正処理を効率化することができる。

なお、上述の例では、色および濃度の両方について修正値を入力する形態としたが、本発明はこれには限定されず、色および濃度のいずれか一方についてのみ修正値を入力し、補正を行ってもよい。その場合には、修正値が入力されない方のパラメータについては、予め設定された目標値を用いた従来の補正方法等を用いればよい。

次に、本発明の人物画像補正装置の他の実施形態について、図４および図５を参照して
説明する。図４は、本発明の人物画像補正装置の他の実施形態を示すブロック図であり、図５は、人物画像補正装置４０における人物画像補正処理のフローチャートである。
図４に示す人物画像補正装置４０は、上述の人物画像補正装置１０と同様に、同一撮影条件で撮影された複数の人物画像（画像データ）が入力され、入力された複数の人物画像に対して同一の補正を行って、補正後の人物画像（画像データ）を出力するものである。
この人物画像補正装置４０が上述の例と構成上異なる点は、顔領域抽出手段１２と画像補正手段４４との間に、補正値自動算出手段４２をさらに有している点、および、画像補正手段４４が、補正値自動算出手段４２からのデータを受け取って画像補正処理に用いる点である。
図４の人物画像補正装置４０において、上述の人物画像補正装置１０と同様の構成要素には同一の符号を付してその説明を省略し、以下では、主に、異なる点について説明する。

人物画像補正装置４０は、同一撮影条件で撮影された複数枚の人物画像が顔領域抽出手段１２に入力されると（ステップＳ２０１）、入力された複数枚の人物画像のそれぞれに対して、顔領域抽出手段１２で顔領域を抽出する（ステップＳ２０２）。

次に、補正値自動算出手段４２で、顔領域抽出手段１２で抽出された顔領域の特徴量に基づいて、入力された複数の人物画像を補正するための補正値（Ｄav，Ｃav，Ｍav，Ｙav）を自動で算出する（ステップＳ２０３）。
人物画像補正装置４０に入力される人物画像は、同一撮影条件で撮影されているので、全画像がその撮影条件の影響を受けて、例えば、全部が暗い、全部が赤っぽいなどとなっている場合がある。補正値自動算出手段４２で自動算出される補正値は、そのような、全画像に共通して必要となる補正をある程度まで自動で行うためのものであり、画像データ値を予め定められた目標値に近付ける補正値である。
補正値自動算出手段４２は、色および濃度の一方の補正値を算出するものとしてもよいが、ここでは両方の補正値を算出する例について説明する。

補正値自動算出手段４２は、先ず、入力された複数枚の全人物画像に対して、個々の画像に対する補正値（Ｄi，Ｃi，Ｍi，Ｙi）を、以下のようにして算出する。
まず、顔領域の特徴量を算出する。例えば、ｉ番目の人物画像に対して、顔領域のＲＧＢデータ値の平均値（Ｒfi、Ｇfi、Ｂfi）を計算する。この顔領域のＲＧＢデータ値の平均値（Ｒfi、Ｇfi、Ｂfi）を、下記式（１０）または（１１）によって、輝度リニアな信号（lrfi，lgfi，lbfi）に変換する。ここで、例えば、入力画像データが８ｂｉｔの場合は、顔領域のＲＧＢデータ値の平均値を２５５で割った値をＲfi、Ｇfi、Ｂfiとして、下記式（１０）、（１１）を適用すればよい。
式（１０）および（１１）は、Ｒfiからlrfiを得る式であるが、同様にして、Ｇfi，Ｂfiからlgfi，lbfiを得る。

また、予め設定されている顔領域の目標値（顔目標値とする）（Ｒft、Ｇft、Ｂft）を、上記式（１０）または（１１）によって、輝度リニアな信号（lrft，lgft，lbft）に変換する。

次に、顔領域のＲＧＢデータ値の平均値（Ｒfi、Ｇfi、Ｂfi）から得られた（lrfi，lgfi，lbfi）と、顔目標値とする（Ｒft、Ｇft、Ｂft）から得られた（lrft，lgft，lbft）とから、下記式（１２）によって、補正ゲイン値（gainＲi，gainＧi，gainＢi）を算出する。

そして、得られた補正ゲイン値（gainＲi，gainＧi，gainＢi）から、下記式（１３）および（１４）によって補正値（Ｄi，Ｃi，Ｍi，Ｙi）を得る。

ただし、Ｃ＝−log10(gainＲi)，Ｍ＝−log10(gainＧi)，Ｙ＝−log10(gainＢi)とする。

全人物画像に対する補正値の計算が終了すると、画像ごとの補正値（Ｄi，Ｃi，Ｍi，Ｙi）の全画像における平均値を計算し、補正値（Ｄav，Ｃav，Ｍav，Ｙav）とする。
目標値を用いて補正値を自動算出する場合、被写体の肌色が目標とする肌色と大きく異なる場合には、不適正な補正値が算出されてしまうが、補正値自動算出手段４２で算出される補正値（Ｄav，Ｃav，Ｍav，Ｙav）は、各画像について算出された補正値（Ｄi，Ｃi，Ｍi，Ｙi）の全画像についての平均値としているので、肌色の異なる画像が混在していた場合にも、極端に不適正な補正値が適用されるのを防止できる。

ステップＳ２０３で補正値が自動算出されると、次に、表示画像選択手段１４で、表示用画像を選択する（ステップＳ２０４）。ステップＳ２０４における処理は、上述の例と同様である。なお、ステップＳ２０３とステップＳ２０４の処理は、並行して行ってもよい。

また、他の実施形態として、図６に示すように、補正値自動算出手段４２で算出した全画像についての補正値（Ｄav，Ｃav，Ｍav，Ｙav）および各画像についての補正値（Ｄi，Ｃi，Ｍi，Ｙi）を表示画像選択手段４８へ供給し、表示画像選択手段４８は、これを用いて表示用画像を選択してもよい。この場合には、図５に示すとおり、ステップＳ２０３の後にステップ２０４を実行する。
この形態においては、表示画像選択手段４８は、下記の表３に示す選択基準で選択すればよい。表３の選択基準において、Ｅiは、下記式（１５）で計算できる数値とする。
Ｅi＝{(Ｄi−Ｄav)^2＋(Ｃi−Ｃav)^2＋(Ｍi−Ｍav)^2＋(Ｙi−Ｙav)^2}^0.5
・・・（１５）

このように、先に求めた全画像についての補正値（Ｄav，Ｃav，Ｍav，Ｙav）および各画像についての補正値（Ｄi，Ｃi，Ｍi，Ｙi）を利用することにより、表示画像選択手段４８での処理を簡略化できる。

表示用画像が選択されると、次に、画像補正手段４４で、補正値自動算出手段４２で算出された補正値（Ｄav，Ｃav，Ｍav，Ｙav）と修正値入力手段２０により入力された修正値（Ｄ，Ｃ，Ｍ，Ｙ）とを用いて表示用画像の補正を行う（ステップＳ２０５）。
具体的には、図２のステップＳ１０４で実行する画像補正方法において、式（４）によって算出した（gainＲ，gainＧ，gainＢ）に代えて、下記式（１６）によって算出した（gainＲ，gainＧ，gainＢ）を用いる。

以下同様にして、各表示用画像の全画素について入力データ値（Ｒin，Ｇin，Ｂin）から出力データ値（Ｒout，Ｇout，Ｂout）を得て、画像補正を行って、補正後の表示用画像（表示用補正済み画像）を画像表示手段１８で表示する（Ｓ２０６）。
本実施形態では、最初に表示された画像について、ステップＳ２０３で自動算出した補正値によって補正が施されているので、その補正が適性であれば、ステップＳ２０７で修正値（初期値のゼロ）が確定される（ステップＳ２０９）。
補正が適正でない場合は、修正値入力（ステップＳ２０８）が行われて、画像補正（ステップＳ２０５）、画像の再表示（ステップＳ２０６）が行われ、補正が適正であるとの指示が入力されるまで、繰り返される。

修正値が確定すると、画像補正手段４４は、確定された修正値を使って、入力された複数枚の人物画像全てを補正し（Ｓ２１０）、補正された画像（補正済み画像データ）を出力する（Ｓ２１１）。
ステップＳ２１０における画像補正手段４４での人物画像の補正は、ステップＳ２９５における表示用画像の補正と同様に、図２のステップＳ１０９において実行する画像補正方法において、式（４）によって算出した（gainＲ，gainＧ，gainＢ）に代えて、上記式（１６）によって算出した（gainＲ，gainＧ，gainＢ）を用いて行う。

次に、本発明の人物画像補正装置における表示画像選択手段の好ましい形態について、図１の人物画像補正装置１０を例にして説明する。
上述の例では、図２のステップＳ１０３において、表示画像選択手段１４は、濃度に関しては、一番平均的な顔、一番明るい顔、一番暗い顔の３つの顔を選択し、色に関しては、一番平均的な顔（重複して使用）、一番赤い顔、一番青い顔、一番黄色い顔、一番シアン色の顔の５つ顔を選択した。すなわち、画像群における平均的な画像と外縁にある画像を選択して表示していた。
これに対し、本実施形態では、顔の色または濃度の分布に基づき表示画像を選択する。

すなわち、図２のステップＳ１０３において、表示画像選択手段１４は、上述したのと同様に、まず、入力された複数枚の全人物画像に対して、個々の顔領域の特徴量を計算する。例えば、ｉ番目の人物画像に対して、顔領域のＲＧＢデータ値の平均値（Ｒfi、Ｇfi、Ｂfi）を計算する。次に、顔領域の明るさＹfiを下記式（１７）に基づき計算する。この式は、上述の式（１）と同一である。
Ｙfi＝0.299×Ｒfi＋0.587×Ｇfi＋0.114×Ｂfi ・・・（１７）

次に、特徴量として算出した顔領域のＲＧＢデータ値の平均値（Ｒfi、Ｇfi、Ｂfi）や明るさＹfiの分布に基づいて表示画像を選択する。
顔の明るさ（濃度）の分布に基づいた表示画像選択の具体的な方法の一例としては、図７に示すように、Ｙfiの値が大きい順に画像をソートして、予め設定されている画像点数だけ一定間隔置きに画像を選択する方法が挙げられる。例えば、人物画像が全部で１３枚あり、その中から顔の明るさ分布に基づき５枚選択する場合、Ｙfiが大きい順に３画像に１枚の間隔で画像を選択すればよい。
色味に関しても同様に、分布に応じて表示画像を選択する。例えば、Ｒfi/Ｙfiの分布やＢfi/Ｙfiの分布に基づき予め設定されている画像点数だけ選択する。

これにより、その画像群に明るい顔の画像が多ければ明るい顔が多く選択され、暗い顔の画像が多ければ暗い顔の画像が多く選択され、平均的な顔が多ければ平均的な顔が多く選択されて、画像表示手段１８でモニタ表示される。
また、色についても、その画像群における色味の偏りを反映した表示用画像が選択され、表示される。
このように、画像群における顔の濃度や色の分布に基づいて、いわば、画像群における分布を縮小して表すような表示用画像を選択して表示することにより、修正値を入力するオペレータに有力な情報を与えることができ、修正値の決定作業を効率化できる。

このように選択した画像を表示する場合には（図２のステップＳ１０５）、画像表示手段１８は、表示用の補正済み画像を単に表示画面上に配置しても良いが、各々の関係が分かりやすいように表示画面上に配置することが望ましい。
すなわち、例えば、顔の明るさに関して明るい順に並べて表示するのが好ましく、さらに、図８に示す表示画面６０のように、分布の関係が分かるように表示位置の間隔を変えるのも好ましい。

すなわち、図８に示すように、明るさの分布に基づいて選択されている画像が５画像で、各画像のＹfiが230、193、145、125、120の場合、表示画面６０において、画面上の表示間隔が37:48:20:5になるように各画像を配置する。図８の例では、表示画面６０の第１表示領域２６に、各画像が上下方向におよそ37:48:20:5の間隔で配置されている。
このように表示することで、この例の場合には、入力されている画像は相対的に暗い画像に大きな分布を持っていることが直感的に分かり、修正値を決める際の有力な情報となる。
色味に関しても分布に基づいて表示位置を決めると直感的に分布が分かりやすく、修正値を決める際の有力な情報となる。
これにより、修正値の決定作業を効率化できる。

次に、本発明の人物画像補正装置のさらに異なる実施形態について説明する。
上述したように、同一撮影条件で撮影された複数の人物画像に対しては、同一の補正を行うことが好ましいが、顔の濃度や色味の分布があまりにも広い場合、いかなる同一の修正値を適用しても全画像がうまく補正されるようなことがない場合がありうる。そのような場合は、複数の画像群に分割して画像群ごとに異なる修正値を用いても良い。

具体的には、図９に示す人物画像補正装置５０ように、図１の人物画像補正装置１０において、分割確定手段５２をさらに有する構成とする。この分割確定手段５２は、修正値入力手段２０および修正値確定手段２２と同様の入力装置が用いられる。
人物画像補正装置５０の画像表示手段１８において、表示画面６２には、図１０（Ａ）に示すように、各表示画像の近傍に分割チェックボックス６４が配置されている。また、分割切り替えボタン付きの修正値入力表示部６８と、分割確定ボタン６６とが設けられている。

このような人物画像補正装置５０における、図２のフローチャートのステップＳ１０７に対応する修正値入力の工程の処理を以下に説明する。
例えば、明るい顔と、暗い顔を分割するために、オペレータの分割確定手段５２の操作によって、Ｙfi＝193とＹfi＝230の２画像に対するチェックボックスにチェックを入れられ、分割確定ボタン６６を押されると、Ｙfi＜193の画像群ＡとＹfi≧193の画像群Ｂとに分割する。これにより、画像群Ａと画像群Ｂに対して別々の修正値を入力することを可能にする。

画像群が分割されると、画像表示手段１８は、図１０（Ｂ）に示すように、表示画面６２において分割された画像群が明確になるような表示をするとともに、修正値入力表示部６８の分割切り替えボタンを表示する。
例えば、画像表示手段１８は、同一の画像群の画像は、同じ色で縁取り表示し、修正値入力表示部６８の縁取りの色も画像群に対応して切り替える。これにより、画像群の別が分かり易く、また、修正値入力対象となっている画像群を明確に表示することができる。

オペレータは、分割確定手段５２を操作することによって、修正値入力表示部６８の画像群切り替えボタンで画像群を切り替え、それぞれの画像群に対する修正値を入力する。入力された修正値で画像が補正されるのは該当する画像群の表示画像のみである。
このようにすることで、画像群ごとのバランスを見ながら、複数の画像群に対する修正値を別々に決めることができる。
もちろん、画像群ごとに、その画像群内の顔の濃度や色味の分布に基づいて表示画像を再選択し表示しても良い。

以上、本発明に係る人物画像補正装置および方法について詳細に説明したが、本発明は上記種々の実施例に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

本発明の人物画像補正装置の一実施形態を示すブロック図である。 図１の人物画像補正装置において実施される人物画像補正処理のフローチャートである。 表示画面の一例を示す図である。 本発明の人物画像補正装置の他の実施形態を示すブロック図である。 図４の人物画像補正装置において実施される人物画像補正処理のフローチャートである。 本発明の人物画像補正装置の他の実施形態を示すブロック図である。 表示用画像選択の一例を説明する図である。 表示画面の一例を示す図である。 本発明の人物画像補正装置の他の実施形態を示すブロック図である。 （Ａ）およびお（Ｂ）は、表示画面の一例を示す図である。

符号の説明

１０、４０、４６、５０ 人物画像補正装置
１２ 顔領域抽出手段
１４、４８ 表示画像選択手段
１６、４４ 画像補正手段
１８ 画像表示手段
２０ 修正値入力手段
２２ 修正値確定手段
２４、６０、６２、６４ 表示画面
２６ 第１表示領域／濃度別表示領域
２８ 第２表示領域／色別表示領域
３０、６８ 修正値入力表示部
３２ 修正値確定ボタン
４２ 補正値自動算出手段
５２ 分割確定手段
６６ 分割チェックボックス
６８ 分割確定ボタン

Claims (8)

1. 同一撮影条件で撮影された複数の人物画像を補正する人物画像補正装置であって、
   入力された前記人物画像の顔領域を抽出する顔領域抽出手段と、
   前記顔領域抽出手段で抽出された前記顔領域の特徴量に応じて、前記複数の人物画像から、平均的な肌色の画像と、平均から大きく異なる肌色の画像のうちの１以上とを表示用画像として自動的に選択し、かつ、前記複数の人物画像を、顔領域の明るさの値が大きい順にソートして、予め設定されている画像点数だけ一定間隔置きに表示用画像として自動的に選択する、表示画像選択手段と、
   色および濃度の少なくとも一方の修正値の入力を受け付ける修正値入力手段と、
   前記修正値の確定を受け付ける修正値確定手段と、
   前記修正値入力手段により入力された前記修正値を用いて前記表示用画像を補正し、かつ、前記修正値確定手段で確定された前記修正値を用いて前記人物画像を補正して補正後の前記人物画像を出力する画像補正手段と、
   前記画像補正手段で補正された前記表示用画像を、前記平均的な肌色の画像を用いて、前記平均から大きく異なる肌色の画像の肌色の関係を表すように配置した表示、および、前記顔領域の明るさの値が大きい順に配列した表示を行なう、画像表示手段と、
   を備えることを特徴とする人物画像補正装置。
2. 前記顔領域抽出手段で抽出された前記顔領域の特徴量に基づいて、色および濃度の少なくとも一方の補正値を自動で算出する補正値自動算出手段をさらに備え、
   前記画像補正手段は、前記補正値自動算出手段で算出された前記補正値と前記修正値入力手段により入力された前記修正値とを用いて前記表示用画像および前記人物画像を補正することを特徴とする請求項１に記載の人物画像補正装置。
3. 前記表示画像選択手段は、前記顔領域の特徴量に基づいて、前記顔領域の濃度または色が異なる２以上の前記表示用画像を選択し、
   前記画像表示手段は、濃度または色味の分布に応じて前記表示用画像の配置間隔を変更し、該配置間隔で前記表示用画像を配置して表示することを特徴とする請求項１または２に記載の人物画像補正装置。
4. さらに、前記表示用画像および前記人物画像を、入力された指示に対応する前記特徴量を境界として２以上の群に分割する分割確定手段を有し、
   前記修正値入力手段は、前記分割確定手段で分割された前記表示用画像群のそれぞれについて前記修正値の入力を受け付けるものであり、
   前記画像補正手段は、前記修正値入力手段により入力された前記修正値を用いて、対応する前記分割された表示用画像群を補正し、かつ、前記修正値確定手段で確定された前記修正値を用いて、対応する前記分割された人物画像群を補正して補正後の前記人物画像を出力することを特徴とする請求項１〜３のいずれかに記載の人物画像補正装置。
5. 同一撮影条件で撮影された複数の人物画像を入力する工程と、
   入力された前記複数の人物画像のそれぞれについて顔領域を抽出する工程と、
   顔領域の特徴量に応じて、前記複数の人物画像から、平均的な肌色の画像と、平均から大きく異なる肌色の画像のうちの１以上とを表示用画像として選択し、かつ、前記複数の人物画像を、顔領域の明るさの値が大きい順にソートして、予め設定されている画像点数だけ一定間隔置きに表示用画像として選択する工程と、
   入力された色および濃度の少なくとも一方の修正値を用いて前記表示用画像を補正する工程と、
   補正された前記表示用画像を、前記平均的な肌色の画像を用いて、前記平均から大きく異なる肌色の画像の肌色の関係を表すように配置した表示、および、前記顔領域の明るさの値が大きい順に配列した表示を、画像表示装置に表示する工程と、
   前記修正値の確定が指示された後、その修正値を用いて前記複数の人物画像を補正する工程と、
   補正後の前記人物画像を出力する工程とを有する人物画像補正方法。
6. 抽出された前記顔領域の特徴量に基づいて、色および濃度の少なくとも一方の補正値を算出する工程をさらに有し、
   前記表示用画像を補正する工程および前記複数の人物画像を補正する工程は、前記補正値と前記修正値とを用いて前記表示用画像および前記人物画像を補正する請求項５に記載の人物画像補正方法。
7. 前記表示用画像を選択する工程は、前記顔領域の特徴量に基づいて、前記顔領域の濃度または色の異なる２以上の前記表示用画像を選択し、
   前記表示する工程は、濃度または色味の分布に応じて前記表示用画像の配置間隔を変更し、該配置間隔で前記表示用画像を配置して画像表示装置に表示する請求項５または６に記載の人物画像補正方法。
8. さらに、前記表示用画像および前記人物画像を、入力された指示に対応する前記特徴量を境界として２以上の群に分割する工程を有し、
   前記表示用画像を補正する工程および前記複数の人物画像を補正する工程は、分割された前記表示用画像群のそれぞれについて入力された前記修正値を用いて、対応する前記分割された表示用画像群および前記分割された人物画像群を補正する請求項５〜７のいずれかに記載の人物画像補正方法。

Images