JP4793648B2

JP4793648B2 - 画像補正ユニットと画像補正プログラム

Info

Publication number: JP4793648B2
Application number: JP2006256050A
Authority: JP
Inventors: 耕次北
Original assignee: NK Works Co Ltd
Current assignee: Noritsu Precision Co Ltd
Priority date: 2006-09-21
Filing date: 2006-09-21
Publication date: 2011-10-12
Anticipated expiration: 2026-09-21
Also published as: JP2008079022A

Description

本発明は、入力された撮影画像を構成する画素に対する色成分毎の補正量を決定するカラー補正技術に関する。

写真プリント業界では、写真フィルムに形成された撮影画像をフィルムスキャナを用いてデジタル化して得られた撮影画像（詳しくは撮影画像データであるが、特に区別する必要がある場合を除いて以下単に撮影画像と略称する）や、デジタルカメラなどのデジタル撮影機器によって直接撮影画像をデジタル化して得られた撮影画像に適切な画像処理を施した後これをプリントデータに変換し、このプリントデータに基づいてプリントユニットを駆動して、撮影画像を感光材料やプリント紙に形成するデジタル写真処理技術が主流となっている。取得されたプリントソースとしてのカラー撮影画像に輝度分布の偏りを原因とするデンシティフェリアや色の分布の偏りを原因とするカラーフェリアあるいはその他の不正発色が発生している場合には適正なカラープリントが得られないので、プリント時には適正な濃度と適正なカラーバランスとをもった写真プリントが得られるように濃度補正とカラー補正が行われる。

デンシティフェリアを解消するための濃度補正として、基本濃度特性曲線を出力側基準で複数の領域に分割し、画像の濃度の代表値に対して、基本濃度特性曲線がとり得る入力輝度の範囲を変更するための調整率を定めたデータテーブルを上記領域別に設定し、入力画像を構成する各画素の濃度から、入力画像の濃度の代表値を求め、求めた代表値と上記データテーブルとから、入力画像に応じた調整率を領域毎に検出し、領域毎で、基準となるガンマカーブのとり得る出力輝度の範囲は一定としつつ、基本濃度特性曲線がとり得る入力濃度の範囲に入力画像に応じた調整率をかけることで、基本濃度特性曲線を修正し、その修正された濃度特性曲線で入力撮影画像データを濃度補正するものがある（特許文献１参照。）。

また、カラーフェリアを解消するためのカラー補正として、入力された撮影画像のうち最も大きい面積を占める特徴色に対する色補正率をこの特徴色以外の背景色に対する色補正率よりも低い色補正率に設定することで特徴色をより自然な色の仕上がりとするものが知られている（例えば、特許文献２参照。）。

上述したようなデンシティフェリアを解消するための濃度補正やカラーフェリアを解消するためのカラー補正を人物の顔を含む撮影画像に対して施した場合、全体的なデンシティフェリアやカラーフェリアの問題は解消されたように見えるが、ポートレートなど顔を重要視する撮影画像の場合、補正の過不足も生じて補正後の顔領域に関しての輝度分布や色分布は適切とはいえず、人物を被写体とした写真プリントのための画像補正としてはなお不十分であった。

また、人物の顔を含む撮影画像に対しては、顔領域を考慮しながら行う濃度補正が提案されている（例えば、特許文献３参照）。この濃度補正では、撮影画像に基づいて算出される基本補正値に基づいて基本濃度特性曲線が生成され、前記撮影画像データから顔領域が検出され、前記検出された顔領域の平均濃度値である顔平均濃度値が算出され、前記顔平均濃度値に基づいて顔依存濃度特性曲線が生成され、前記基本濃度特性曲線と前記顔依存濃度特性曲線との差（第１差分値）から第１補正値が決定され、前記第１補正値に基づいて前記基本特性曲線を修正して前記適正濃度特性曲線が生成される。これにより、人物を被写体とする撮影画像において顔領域と背景の濃度バランスが適正となる濃度補正が可能となるが、カラーへの影響はないのでカラーフェリア等の問題は解消されない。

特開２００３−３０４３９８号公報（段落番号０００８、００２１、第１図）特開２０００−３３０２２１号公報（段落番号００３２、００３３、第３図）特開２００５−１５９３８７号公報（段落番号０００９、第４図）

上記実状に鑑み、本発明の課題は、人物を被写体としてカメラ撮影して得られた撮影画像に対して、単にカラーフェリアを解消するだけでなく、補正過不足も解消し、顔領域と背景のカラーバランスのよい見た目に適正な画像を得る画像補正を施すことができる技術を提供することである。

上記課題を解決するため、入力された撮影画像を構成する画素に対する色成分毎の補正量を決定するカラー補正モジュールを有する、本発明による画像補正ユニットでは、前記撮影画像の全領域の平均RGB画素値と前記撮影画像を構成する各画素のRGB画素値とを原点からの距離で彩度が規定され原点周りの角度で色相が規定される色相彩度座標系の色相彩度画素値に変換し、前記色相彩度座標系において前記平均RGB画素値から変換された前記色相彩度画素値を中心とする複数の半径の異なる同心円どうしにより規定される複数の円領域を画定し、各前記円領域に含まれる画素数および各前記円領域に含まれる画素の平均RGB画素値と前記撮影画像の全領域の平均RGB画素値との差分値を円領域特性値とし、前記撮影画像の前記円領域特性値を入力することにより当該撮影画像に対する基準カラー補正量を出力する統計的学習則に当該円領域特性値を入力することにより得られる前記基準カラー補正量を前記第１カラー補正量として出力する第１カラー補正量決定手段と、前記撮影画像の顔領域から色成分毎の顔領域カラー補正量を決定する顔領域カラー補正量決定手段と、前記撮影画像の前記第１カラー補正量と前記顔領域カラー補正量とを入力することにより当該撮影画像に対するカラー補正量を出力する統計的学習則に対して、前記第１カラー補正量決定手段で決定された第１カラー補正量と前記顔領域カラー補正量決定手段で決定された顔領域カラー補正量を入力パラメータとして設定し、当該統計的学習則の出力を前記撮影画像に対する色成分毎の最適カラー補正量として出力するカラー補正量融合部を有する第２カラー補正量決定手段とが備えられている。

太陽光やタングステン光等の撮影光源を含む撮影条件の差異や、フィルム種の差異等があると、基本的に撮影画像全体にそれらの影響が及び、同一シーンを撮影しても、撮像画面上に形成された画像は見た目にも異なる色合いを呈している。しかし、撮影画像に写っている物体間の相対的な色に注目すれば相違は無い。そこで、平均的な戸外の被写体は、コマ全体の色を混ぜ合わせるとグレーに近くなるというエバンスの説に基づくＬＡＴＤ(Large Area Transmittance Density)補正を行なうと撮影条件やフィルム種等に基づく撮影画像全体の特徴が無彩色として全体として補正され、平均化が過剰に作用したカラーフェリア現象だけが不都合として残ることになる。これに対して本発明のように、色相彩度座標系に撮影画像の平均画素値を中心とする同心円上の複数の円領域を画定し、各領域における撮影画像の画素の分布特性を評価すると、カラーフェリアの起こらない撮影画像においては各円領域の分布特性がほぼ等しくなるが、カラーフェリアの傾向が強くなる撮影画像においては各円領域間の分布特性の差が大きくなり、カラーフェリアの状況が特徴的に反映される。つまり、中心側の円領域から外側の円領域に沿って構成画素数の累積ヒストグラムをとると、カラーフェリアの傾向が弱い撮影画像は比較的低彩度領域、つまり中心側の円領域で飽和する傾向があるのに対して、カラーフェリアの傾向が強いコマ画像は比較的高彩度領域、つまり外側の円領域まで飽和することが無いという顕著な相違が見られるのである。この傾向は、画素数の分布特性のみならず画素値も同様である。そこで、各円領域に含まれる画素の分布特性を示す円領域特性値に基づいて所定の分布特性を示すように基準カラー補正量を求めることにより、カラーフェリアの発生を回避した適切なカラー補正が可能となる。さらに、上述の構成によれば、上述のように決定された第１カラー補正量と、撮影画像に含まれている顔領域の色合いを適正にすべく撮影画像の顔領域から決定された顔領域カラー補正量とを融合して最適カラー補正量が導き出されているので、この最適カラー補正量を用いて入力撮影画像に対してカラー補正を施すことで、顔も背景も満足できる色合いを有する人物写真プリントを作製することが可能となる。

第１カラー補正量と顔領域カラー補正量とを融合する際、顔が大きく写っている撮影画像と顔が小さく写っている撮影画像とでは、その撮影画像における顔の重要性が異なってくる。ポートレート写真のようにその撮影画像に占める顔の割合が大きく、顔領域の色合いが他の領域に較べて特に重要な場合、顔領域カラー補正量が第１カラー補正量より重みをもつことになる。このように、撮影画像に占める顔の割合が第１カラー補正量と顔領域カラー補正量との融合に影響を与えることになる。なお、ここでは、１つの顔の撮影画像に占める割合が重要であり、複数の顔が存在する場合の合計の顔領域の割合は重要ではない。このため、本発明の好適な実施形態の１つでは、前記撮影画像に含まれる最大の顔領域が前記撮影画像に占める割合を最大顔サイズ値として出力する最大顔サイズ演算部が備えられ、前記カラー補正量を出力する統計的学習則はさらに前記最大顔サイズ値を前記入力パラメータの１つとしており、撮影画像に占める顔の割合が第１カラー補正量と顔領域カラー補正量との融合に係わるように構成されている。

また、顔領域カラー補正量を決定する際、小さく写っている顔と大きく写っている顔ではその色合いの適正化処理は必ずしも同じである必要はない。例えば、小さく写っている顔では周囲の影響を強く受けるので理想的な肌色とは異なるものとなった方が自然であるのに対して、大きく写っている顔ではより理想的な肌色に近い方が好まれるからである。従って、本発明の好適な実施形態の１つでは、前記顔領域カラー補正量決定手段は、顔検出モジュールで取得された前記撮影画像における顔位置情報から肌色に基づいて顔領域を求め、前記顔領域に含まれている画素の画素値から算出された色成分毎の顔平均画素値と予め設定されている色成分毎の基準顔画素値とを前記最大顔サイズ値に応じた重みを用いた重み付き差分することにより前記顔領域カラー補正量を決定するように構成されている。

さらにカラーフェリアが効果的に抑制されるとともに見栄えのよい写真プリントを得るためには、白い部分がより白く再現される必要があるが、上述の基準カラー補正量で補正された画像には無彩色に近いが僅かに着色が認められる領域が生じる。このような領域を単純な閾値に基づいて抽出して補正すると、似たようなシーンで補正にばらつきが生じる可能性があり、また、無彩色になるように補正すべきか否かは色相により異なる。例えば、写真プリントがイエローやレッドに修正される場合は概ね問題が無いが、シアンやマゼンダに修正される場合は視覚的に支障を来たす可能性が高いのである。そこで、色相彩度座標系で対象画像が無彩色として表される点、つまり、前述した基準カラー補正量で表される画素を中心として色相に基づいて放射状に延びた扇状領域に領域分割し、分割された各扇状領域に含まれる画素の分布特性を示す扇状領域特性値に基づいて色相毎に適正なカラー補正量を求めることにより、色相を考慮した見栄えのよい精度の高いカラー補正ができるようになるのである。このため、本発明の好適な実施形態の１つでは、前記基準カラー補正量を用いて補正することにより無彩色となる画素値を中心として前記色相彩度座標系に所定角度間隔で周方向に複数の扇状領域を画定し、前記各扇状領域に含まれる画素数および前記各扇状領域に含まれている画素の画素値に対して低彩度ほど大きな重みによる加重平均して得られる平均画素値とを扇状領域特性値とし、前記撮影画像の前記基準カラー補正量と前記扇状領域特性値とを入力することにより当該基準カラー補正量を調整した調整カラー補正量を出力する統計的学習則に前記基準カラー補正量と扇状領域特性値を入力することにより得られる前記調整カラー補正量を前記第１カラー補正量として出力するように構成されている。

前記第１カラー補正量と前記顔領域カラー補正量とを融合するカラー補正量融合部における統計的学習則は重回帰分析手法やニューラルネットワーク手法によって構築することができるが、教師データとしての数千以上の写真プリントサンプルを比較的容易に準備できることやその結果判定が人間の主観に頼ることなどを考慮するならば、ニューラルネットワーク手法が適している。

また、本発明は入力された撮影画像を構成する画素に対する色成分毎の補正量を決定するカラー補正プログラムも権利範囲としており、そのようなカラー補正プログラムの特徴は、前記撮影画像の全領域の平均RGB画素値と前記撮影画像を構成する各画素のRGB画素値とを原点からの距離で彩度が規定され原点周りの角度で色相が規定される色相彩度座標系の色相彩度画素値に変換し、前記色相彩度座標系において前記平均RGB画素値から変換された前記色相彩度画素値を中心とする複数の半径の異なる同心円どうしにより規定される複数の円領域を画定し、各前記円領域に含まれる画素数および各前記円領域に含まれる画素の平均RGB画素値と前記撮影画像の全領域の平均RGB画素値との差分値を円領域特性値とし、前記撮影画像の前記円領域特性値を入力することにより当該撮影画像に対する基準カラー補正量を出力する統計的学習則に当該円領域特性値を入力することにより得られる前記基準カラー補正量を前記第１カラー補正量として出力する第１カラー補正量決定機能と、前記撮影画像の顔領域から色成分毎の顔領域カラー補正量を決定する顔領域カラー補正量決定機能と、前記撮影画像の前記第１カラー補正量と前記顔領域カラー補正量とを入力することにより当該撮影画像に対するカラー補正量を出力する統計的学習則に対して、前記第１カラー補正量決定機能を通じて決定された第１カラー補正量と前記顔領域カラー補正量決定機能を通じて決定された顔領域カラー補正量を入力パラメータとして設定し、当該統計的学習則の出力を前記撮影画像に対する色成分毎の最適カラー補正量として出力するカラー補正量融合演算ルーチンを有する第２カラー補正量決定機能とをコンピュータに実現させることである。このように構成されたカラー補正プログラムも当然前述した本発明によるカラー補正ユニットと同様な作用効果をもたらすものであり、さらに同様な好適実施形態を適用させることも可能である。
本発明によるその他の特徴及び利点は、以下図面を用いた実施形態の説明により明らかになるだろう。

図１に、本発明によるカラー補正量を決定する手法の基本原理が模式的に示されている。このカラー補正量とは、入力された撮影画像を構成する画素に対する色成分毎の補正量を示すものであり、一般には、入力Ｒ・Ｇ・Ｂ画素値と出力Ｒ・Ｇ・Ｂ画素値を座標軸とする座標面における入力Ｒ・Ｇ・Ｂ画素値を出力Ｒ・Ｇ・Ｂ画素値に変換するためのカラー画素値変換曲線（Ｒ・Ｇ・Ｂ毎に設定される）の位置を設定する値であり、各入力Ｒ・Ｇ・Ｂ画素値と出力Ｒ・Ｇ・Ｂ画素値との差分値群と表現することもできる。図１から明らかなように、入力された撮影画像に対してカラー補正を行う際に用いられる、本発明による最適カラー補正量：Ｒ0、Ｇ0、Ｂ0は、撮影画像の全領域から所定のアルゴリズムで決定される色成分毎の第１カラー補正量：Ｒ1、Ｇ1、Ｂ1と、当該撮影画像の顔領域から所定のアルゴリズムで決定される色成分毎の顔領域カラー補正量：Ｒf、Ｇf、Ｂfを所定のアルゴリズム、例えば、ニューラルネットワーク手法を用いて融合させることによって求められる。

上記カラー補正技術を組み込んだ写真プリント装置の外観図が図２に示されている。この写真プリント装置は、印画紙Ｐに対して露光処理と現像処理とを行う写真プリンタとしてのプリントステーション１Ｂと、現像済み写真フィルム２ａやデジタルカメラ用メモリカード２ｂなどの画像入力メディアから取り込んだ撮影画像（ここでは、特別に区別する必要がある場合を除いて、デジタルデータとしての撮影画像データやこの撮影画像データに基づくプリント撮影画像やモニタ表示撮影画像を単に撮影画像という語句で総称している。）を処理してプリントステーション１Ｂで使用されるプリントデータの生成・転送などを行う操作ステーション１Ａとから構成されている。

この写真プリント装置はデジタルミニラボとも称せられるものであり、図３からよく理解できるように、プリントステーション１Ｂは２つの印画紙マガジン１１に納めたロール状の印画紙Ｐを引き出してシートカッター１２でプリントサイズに切断すると共に、このように切断された印画紙Ｐに対し、バックプリント部１３で色補正情報やコマ番号などのプリント処理情報を印画紙Ｐの裏面に印字するとともに、プリント露光部１４で印画紙Ｐの表面に撮影画像の露光を行い、この露光後の印画紙Ｐを複数の現像処理槽を有した処理槽ユニット１５に送り込んで現像処理する。乾燥の後に装置上部の横送りコンベア１６からソータ１７に送られた印画紙Ｐ、つまり写真プリントＰは、このソータ１７の複数のトレイにオーダ単位で仕分けられた状態で集積される（図２参照）。

上述した印画紙Ｐに対する各種処理に合わせた搬送速度で印画紙Ｐを搬送するために印画紙搬送機構１８が敷設されている。印画紙搬送機構１８は、印画紙搬送方向に関してプリント露光部１４の前後に配置されたチャッカー式印画紙搬送ユニット１８ａを含む複数の挟持搬送ローラ対から構成されている。

プリント露光部１４には、副走査方向に搬送される印画紙Ｐに対して、主走査方向に沿って操作ステーション１Ａからのプリントデータに基づいてＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色のレーザ光線の照射を行うライン露光ヘッドが設けられている。処理槽ユニット１５は、発色現像処理液を貯留する発色現像槽１５ａと、漂白定着処理液を貯留する漂白定着槽１５ｂと、安定処理液を貯留する安定槽１５ｃとを備えている。

前記操作ステーション１Ａのデスク状コンソールの上部位置には、写真フィルム２ａの撮影画像コマから撮影画像データを取得するフィルムスキャナ２０が配置されており、デジタルカメラ等に装着される撮影画像記録媒体２ｂとして用いられている各種メモリカードやＣＤ−Ｒなどから撮影画像を取得するメディアリーダ２１は、この写真プリント装置のコントローラ３として機能する汎用パソコンに組み込まれている。この汎用パソコンには、さらに各種情報を表示するモニタ２３、各種設定や調整を行う際に用いる操作入力部として利用される操作入力デバイスとしてのキーボード２４やマウス２５も接続されている。

この写真プリント装置のコントローラ３は、ＣＰＵを中核部材として、写真プリント装置の種々の動作を行うための機能部をハードウエア又はソフトウエアあるいはその両方で構築しているが、図４に示されているように、本発明に特に関係する機能部としては、スキャナ２０やメディアリーダ２１によって読み取られた撮影画像を取り込んで次の処理のために必要な前処理を行う画像入力部３１と、各種操作ウインドウや各種操作ボタンなどを含むグラフィック操作画面の作成やそのようなグラフィック操作画面を通じてのユーザ操作入力（キーボード２４やマウス２５などによる）から制御コマンドを生成するグラフィックユーザインターフェース（以下ＧＵＩと略称する）を構築するＧＵＩ部３３と、ＧＵＩ部３３から送られてきた制御コマンドや直接キーボード２４等から入力された操作命令に基づいて所望のプリントデータを生成するために画像入力部３１からメモリ３０に転送された撮影画像に対する画像処理等を行うプリント管理部３２と、プリント管理部３２で管理されるプリント枚数設定や色補正等のプレジャッジプリント作業時にプリントソース画像や予想仕上がりプリント画像としてのシミュレート画像やＧＵＩ部３３から送られてきたグラフィックデータをモニタ２３に表示させるためのビデオ信号を生成するビデオ制御部３５と、画像処理が完了した処理済み撮影画像に基づいてプリントステーション１Ｂに装備されているプリント露光部１４に適したプリントデータを生成するプリントデータ生成部３６と、顧客の要望に応じて生の撮影画像データや画像処理が完了した処理済み撮影画像データなどをＣＤ−Ｒに書き込むための形式にフォーマットするフォーマッタ部３７などが挙げられる。

画像入力部３１は、撮影画像記録媒体がフィルム２ａの場合プレスキャンモードと本スキャンモードによってそれぞれの適切なタイミングで生成された低解像度と高解像度のスキャンデータを別々にメモリ３０に送り込み、それぞれの目的に合わせた前処理を行う。また、撮影画像記録媒体がメモリカード２ｂの場合、取り込んだ撮影画像にサムネイル画像（低解像度データ）が含まれている場合はモニタ２３での一覧表示などの目的で使用するため撮影画像の本データ（高解像度データ）とは別にメモリ３０に送り込むが、もしサムネイル画像データが含まれていない場合は本データから縮小画像を作り出してサムネイル画像データとしてメモリ３０に送り込む。この低解像度データは２００×３００画素程度のものであり、濃度補正やカラー補正などの補正量を決定する目的でも使用され、この低解像度データを用いて高速で求められた補正量を高解像度データに施して、最終的な補正済み撮影画像が得られる。

また、この画像入力部３１には、写真プリント受付装置と呼ばれているセルフサービスで写真プリントを受け付ける装置も接続されており、この写真プリント受付装置から、プリントサイズやプリント枚数を記録しているプリント注文データと撮影条件などを記録している画像属性データとともに撮影画像を受け取ると、撮影画像をメモリ３０に転送し、プリント注文データや画像属性データをプリント管理部３２に転送する。

プリント管理部３２には、プリントサイズやプリント枚数、さらには個別の色補正などを管理するプリント注文処理ユニット６０、メモリ３０に展開された撮影画像に対してトリミングやフィルタリング（ぼかしやシャープネスなど）などのフォトレタッチ処理を施す画像処理ユニット６５、及び上述したカラー補正を含む各種画像補正を行う画像補正ユニット１００がソフトウエア又はハードウエアあるいはその両方で構築されている。

プリント注文処理ユニット６０には、プリント枚数設定や色補正等をオペレータがマニュアルで行うプレジャッジプリント作業を管理するプレジャッジプリント管理部６１が組み込まれており、チェックないしは入力設定の対象となる撮影画像を数枚単位で表示するプレジャッジ画面や単一の撮影画像を拡大して表示する編集画面を生成する機能を有し、ＧＵＩ部３３と協働してこれらの画面をオペレータとの間での双方向コミュニケーションを可能とする形でモニタ２３に表示する。

図５に示されているように、画像補正ユニット１００には、濃度補正モジュール７０と、顔検出モジュール８０と、カラー補正モジュール９０が含まれている。濃度補正モジュール７０は、人物の顔を含む撮影画像に対しては顔領域を考慮した濃度補正を行う濃度補正曲線を決定することができる濃度補正量決定部７１と、ここで決定された濃度補正曲線を用いて入力撮影画像に対する濃度補正を行う濃度補正実行部７２を備えており、そこで行われる濃度補正手順の一例は、特許文献３として先に紹介した特開２００５−１５９３８７号公報に開示されている。

顔検出モジュール８０は、メモリ３０に展開された撮影画像から顔領域を検出して、その座標位置や向きなどの顔検出情報を濃度補正モジュール７０やカラー補正モジュール９０に与えるものであり、汎用的なものを利用することが可能であるが、ここでは、顔検出アルゴリズムに基づいて撮影画像中の顔と見なされる領域を検出してその顔位置とサイズ（顔位置を基点とした矩形画素領域の縦横サイズ）からなる顔領域データ、及び顔の正立・倒立といった構図姿勢を顔角度として表している顔姿勢データが顔検出情報として出力されるものが使われている。

カラー補正モジュール９０は、メモリ３０に展開された撮影画像（縮小画像）の全領域（もちろん、本発明では撮影画像の中で明らかに不要と思われる部分を除外することを許容しているので、厳密な意味での全領域に限定しているわけではない）から第１カラー補正量：Ｒ1、Ｇ1、Ｂ1を決定する第１カラー補正量決定手段９０Ａと、顔検出モジュール８０から顔検出情報によって規定される処理対象撮影画像における顔領域から色成分毎の顔領域カラー補正量：Ｒf、Ｇf、Ｂfを決定する顔領域カラー補正量決定手段９０Ｂと、前記第１カラー補正量決定手段９０Ａで決定された色成分毎の第１カラー補正量と前記顔領域カラー補正量決定手段９０Ｂで決定された色成分毎の顔領域カラー補正量を入力パラメータとして前記撮影画像に対する色成分毎の最適カラー補正量：Ｒ0、Ｇ0、Ｂ0を出力する第２カラー補正量決定手段９０Ｃと、出力された最適カラー補正量に基づいて撮影画像（本画像）のカラー補正を実行するカラー補正実行部９０Ｄを備えている。

第１カラー補正量決定手段９０Ａは、図６に示されているように、後で説明されるアルゴリズムを用いて基本カラー補正量を演算する基本カラー補正量演算部９１と、基本カラー補正量に基づいて調整カラー補正量を算出する補正量調整部９２と、前記基本カラー補正量と調整カラー補正量のいずれかを前記第１カラー補正量：Ｒ1、Ｇ1、Ｂ1として出力する補正量選択部９３を備えている。補正量選択部９３における選択は、処理すべき撮影画像の画像特性によって自動的に行ってもよいし、ＧＵＩ部３３を通じてユーザがマニュアルで行ってもよい。

まず、基本カラー補正量演算部９１における基本カラー補正量演算ルーチンを図７に示されたフローチャートを用いて説明する。まず、処理対象となっている撮影画像に含まれる全画素の色成分（Ｒ・Ｇ・Ｂ）毎の全体平均画素値を演算する（＃１０）。さらに、撮影画像に含まれる各画素のＲ成分画素値：ｒとＧ成分画素値：ｇとＢ成分画素値：ｂを次の変換式を用いて、中心からの距離で彩度が規定されるとともに中心周りの角度の色相が規定されている色相彩度座標系の座標値（ｘ，ｙ）に変換する（＃１１）。

ステップ＃１０で得られた全体平均画素値も上記変換式でもって色相彩度座標系の座標値に変換し、この座標値を中心とする複数の同心円（環）領域を設定する。この同心円（環）領域は図８で示しているように、ここでは１２個の同心円（環）領域：Ｓ1，Ｓ2，・・・Ｓ12に画定されている。このような同心円領域が画定されている色相彩度座標系に、撮影画像に含まれる各画素を色相彩度座標系に変換された座標値（色相彩度画素値）によってプロットして分布させる（＃１２）。同心円領域における各画素の分布状態から以下のように定義された円領域特性を求める（＃１３）。この円領域特性の１つは、各同心円領域に含まれている画素の数、つまり円領域別画素数：Ｍi（i＝１〜１２）である。円領域特性の他の１つは、各同心円領域に含まれている画素の色成分（Ｒ・Ｇ・Ｂ）毎の平均画素値とステップ＃１０で得られた全体平均画素値との差分値：ΔＲi、ΔＧi、ΔＢi（i＝１〜１２）である。最後に、上記のようにして得られた円領域特性から基準カラー補正量を算定するが、この算定手法としては、円領域別画素数：Ｍi（i＝１〜１２）と差分値：ΔＲi、ΔＧi、ΔＢi（i＝１〜１２）を入力パラメータとするとともに色成分（Ｒ・Ｇ・Ｂ）別の基準カラー補正量を出力とするニューラルネットワーク、又は重回帰分析が適している（＃１４）。

基本カラー補正量演算部９１によって算定された基本カラー補正量は、そのまま第１カラー補正量として出力することも可能であるが、さらにこの基本カラー補正量を補正量調整部９２で調整して調整カラー補正量とすることができる。この調整カラー補正量演算ルーチンを図９に示されたフローチャートを用いて説明する。まず、基本カラー補正量演算部９１によって算定された基本カラー補正量をＲ・Ｇ・Ｂ画素値として、このＲ・Ｇ・Ｂ画素値を色相彩度座標系に変換して得られた座標値を中心とする複数の扇状領域を設定する（＃２０）。この扇状領域は、図１０で示しているように、ここでは１２個の扇状領域：Ｈ1，Ｈ2，・・・Ｈ12に画定されている。このような扇状領域が画定されている色相彩度座標系に、撮影画像に含まれる各画素を色相彩度座標系に変換された座標値（色相彩度画素値）によってプロットして分布させる（＃２１）。次に、各扇状領域に含まれている画素の数、つまり扇状領域別画素数：Ｎi（i＝１〜１２）を求める（＃２２）。この扇状領域別画素数は扇状領域特性の１つとしても利用される。さらに、各扇状領域に含まれている画素に対して、低彩度画素ほど大きな重み係数を与えて色成分（Ｒ・Ｇ・Ｂ）毎の重み付き積算画素値：Σi（i＝１〜１２）を演算する（＃２３）。得られた重み付き積算画素値はステップ＃２２で求めた扇状領域別画素数で除算し、さらに必要に応じて正規化して、扇状領域特性の１つである重み付き平均画素値：σi（i＝１〜１２）を得る（＃２４）。最後に、上記のようにして得られた扇状領域特性としての扇状領域別画素数と重み付き平均画素値とから調整カラー補正量を算定するが、ここでもこの算定手法としては、扇状領域別画素数：Ｎi（i＝１〜１２）と重み付き平均画素値：σi（i＝１〜１２）を入力パラメータとするとともに色成分（Ｒ・Ｇ・Ｂ）別の調整カラー補正量を出力とするニューラルネットワーク、又は重回帰分析が適している（＃２５）。

顔領域カラー補正量決定手段９０Ｂは、図１１に示されているように、顔検出モジュール８０で取得された処理対象の撮影画像における顔位置情報から肌色に基づいてさらに精緻な顔領域を求める顔領域精査部９４と、前記精緻な顔領域に含まれている画素の画素値から色成分毎の顔平均画素値を算出する顔平均画素値演算部９５と、前記撮影画像に含まれる最大の顔領域がこの撮影画像に占める割合を最大顔サイズ値：Ｆmaxとして出力する最大顔サイズ演算部９６と、前記顔平均画素値と最大顔サイズ値と予め設定されている色成分毎の基準顔画素値とから顔領域カラー補正量：Ｒf、Ｇf、Ｂfを決定する顔領域カラー補正量演算部９７とを備えている。なお、ここでは、処理対象となる撮影画像のサイズが一定値に設定されているので、各顔領域に含まれている画素の数のうち最大の画素数を最大顔サイズ値：Ｆmaxとして取り扱うことができる。

顔領域カラー補正量決定手段９０Ｂにおける顔領域カラー補正量演算ルーチンを図１２に示されたフローチャートと図１３に示された処理手順模式図を用いて説明する。まず、顔検出情報によって規定される顔領域矩形輪郭線における中点を顔中心とし（図１３（ａ））、その中点を中心とする所定半径：ｒの顔基準円を設定する（＃３０）（図１３（ｂ））。この顔基準円は高い信頼性をもってその内部が顔肌に属するように設定されている。顔基準円の輪郭画素値に基づいて、その画素値が肌色に属するところまで拡大して（半径：Ｒ）、精緻な顔領域を決定する（＃３１）（図１３（ｃ））。決定された精緻な顔領域に含まれる画素の平均画素値を顔平均画素値として算出する（＃３２）。顔平均画素値と基準顔画素値を最大顔サイズ値を考慮して融合させて（重み付き差分）、顔領域カラー補正量：Ｒf、Ｇf、Ｂfを求める（＃３３）。

第２カラー補正量決定手段９０Ｃは、図１４に示すように、７個の入力要素を有する入力層と３つから５つの好ましくは４つの中間要素を有する中間層と３個の出力要素を有する出力層からなるニューラルネットワークとして構成されたカラー補正量融合部９８と、このカラー補正量融合部９８の動きを制御するとともにニューラルネットワークに対する教師データをＧＵＩ部３３からの操作を通じて入力する演算管理部９９とを備えている。このニューラルネットワークの入力層の各要素には、第１カラー補正量決定手段９０Ａからの第１カラー補正量：Ｒ1、Ｇ1、Ｂ1、及び顔領域カラー補正量決定手段９０Ｂからの顔領域カラー補正量：Ｒf、Ｇf、Ｂfと最大顔サイズ値：Ｆmaxが入力し、出力層の各要素から出力される最適カラー補正量：Ｒ0、Ｇ0、Ｂ0はカラー補正実行部９０Ｄに送られる。

なお、撮影画像から顔が検出されなかった場合は、顔領域カラー補正量決定手段９０Ｂと第２カラー補正量決定手段９０Ｃは動作しないので、第１カラー補正量決定手段９０Ａで決定された第１カラー補正量がそのままカラー補正実行部９０Ｄに与えられ、そこでのカラー補正に用いられる。

第１カラー補正量決定手段における第１カラー補正量の決定手順や顔領域カラー補正量決定手段９０Ｂにおける顔領域カラー補正量の決定手順は、上述したもの以外を採用してもよい。本発明の重要な点は、前記第１カラー補正量決定手段で決定された色成分毎の第１カラー補正量と前記顔領域カラー補正量決定手段９０Ｂで決定された色成分毎の顔領域カラー補正量とを入力パラメータとして入力撮影画像に対する色成分毎の最適カラー補正量を、好ましくはニューラルネットワークを用いて出力することである。

本発明によるカラー補正技術の基本原理を説明する説明図本発明によるカラー補正技術を採用した写真プリント装置の外観図写真プリント装置のプリントステーションの構成を模式的に示す模式図写真プリント装置のコントローラ内に構築される機能要素を説明する機能ブロック図画像補正ユニットの機能構成を示す機能ブロック図第１カラー補正量決定手段の機能構成を示す機能ブロック図基本カラー補正量演算ルーチンを示すフローチャート色相彩度座標系に設定された同心円領域を説明する説明図調整カラー補正量演算ルーチンを示すフローチャート色相彩度座標系に設定された扇状領域を説明する説明図顔領域カラー補正量決定手段の機能構成を示す機能ブロック図顔領域カラー補正量演算ルーチンを示すフローチャート顔領域精査部による顔領域検出過程を説明する説明図第２カラー補正量決定手段の機能構成を示す機能ブロック図

符号の説明

７０：濃度補正モジュール
８０：顔検出モジュール
９０：カラー補正モジュール
９０Ａ：第１カラー補正量決定手段
９０Ｂ：顔領域カラー補正量決定手段
９０Ｃ：第２カラー補正量決定手段
９０Ｄ：カラー補正実行部
９１：基本カラー補正量演算部
９２：補正量調整部
９３：補正量選択部
９８：カラー補正量融合部
１００：画像補正ユニット

Claims

入力された撮影画像を構成する画素に対する色成分毎の補正量を決定するカラー補正モジュールを有する画像補正ユニットにおいて、
前記撮影画像の全領域の平均RGB画素値と前記撮影画像を構成する各画素のRGB画素値とを原点からの距離で彩度が規定され原点周りの角度で色相が規定される色相彩度座標系の色相彩度画素値に変換し、前記色相彩度座標系において前記平均RGB画素値から変換された前記色相彩度画素値を中心とする複数の半径の異なる同心円どうしにより規定される複数の円領域を画定し、各前記円領域に含まれる画素数および各前記円領域に含まれる画素の平均RGB画素値と前記撮影画像の全領域の平均RGB画素値との差分値を円領域特性値とし、前記撮影画像の前記円領域特性値を入力することにより当該撮影画像に対する基準カラー補正量を出力する統計的学習則に当該円領域特性値を入力することにより得られる前記基準カラー補正量を前記第１カラー補正量として出力する第１カラー補正量決定手段と、
前記撮影画像の顔領域から色成分毎の顔領域カラー補正量を決定する顔領域カラー補正量決定手段と、
前記撮影画像の前記第１カラー補正量と前記顔領域カラー補正量とを入力することにより当該撮影画像に対するカラー補正量を出力する統計的学習則に対して、前記第１カラー補正量決定手段で決定された第１カラー補正量と前記顔領域カラー補正量決定手段で決定された顔領域カラー補正量を入力パラメータとして設定し、当該統計的学習則の出力を前記撮影画像に対する色成分毎の最適カラー補正量として出力するカラー補正量融合部を有する第２カラー補正量決定手段とを備えた画像補正ユニット。
前記撮影画像に含まれる最大の顔領域が前記撮影画像に占める割合を最大顔サイズ値として出力する最大顔サイズ演算部が備えられ、前記カラー補正量を出力する統計的学習則はさらに前記最大顔サイズ値を前記入力パラメータの１つとすることを特徴とする請求項１に記載の画像補正ユニット。
前記顔領域カラー補正量決定手段は、顔検出モジュールで取得された前記撮影画像における顔位置情報から肌色に基づいて顔領域を求め、前記顔領域に含まれている画素の画素値から算出された色成分毎の顔平均画素値と予め設定されている色成分毎の基準顔画素値とを前記最大顔サイズ値に応じた重みを用いた重み付き差分することにより前記顔領域カラー補正量を決定することを特徴とする請求項２に記載の画像補正ユニット。
前記基準カラー補正量を用いて補正することにより無彩色となる画素値を中心として前記色相彩度座標系に所定角度間隔で周方向に複数の扇状領域を画定し、前記各扇状領域に含まれる画素数および前記各扇状領域に含まれている画素の画素値に対して低彩度ほど大きな重みによる加重平均して得られる平均画素値とを扇状領域特性値とし、前記撮影画像の前記基準カラー補正量と前記扇状領域特性値とを入力することにより当該基準カラー補正量を調整した調整カラー補正量を出力する統計的学習則に前記基準カラー補正量と扇状領域特性値を入力することにより得られる前記調整カラー補正量を前記第１カラー補正量として出力することを特徴とする請求項１から３のいずれか一項に記載の画像補正ユニット。
前記第２カラー補正量決定手段のカラー補正量融合部における統計的学習則がニューラルネットワークによって構成されていることを特徴とする請求項１から４のいずれか一項に記載の画像補正ユニット。
入力された撮影画像を構成する画素に対する色成分毎の補正量を決定するカラー補正プログラムにおいて、
前記撮影画像の全領域の平均RGB画素値と前記撮影画像を構成する各画素のRGB画素値とを原点からの距離で彩度が規定され原点周りの角度で色相が規定される色相彩度座標系の色相彩度画素値に変換し、前記色相彩度座標系において前記平均RGB画素値から変換された前記色相彩度画素値を中心とする複数の半径の異なる同心円どうしにより規定される複数の円領域を画定し、各前記円領域に含まれる画素数および各前記円領域に含まれる画素の平均RGB画素値と前記撮影画像の全領域の平均RGB画素値との差分値を円領域特性値とし、前記撮影画像の前記円領域特性値を入力することにより当該撮影画像に対する基準カラー補正量を出力する統計的学習則に当該円領域特性値を入力することにより得られる前記基準カラー補正量を前記第１カラー補正量として出力する第１カラー補正量決定機能と、前記撮影画像の顔領域から色成分毎の顔領域カラー補正量を決定する顔領域カラー補正量決定機能と、前記撮影画像の前記第１カラー補正量と前記顔領域カラー補正量とを入力することにより当該撮影画像に対するカラー補正量を出力する統計的学習則に対して、前記第１カラー補正量決定機能を通じて決定された第１カラー補正量と前記顔領域カラー補正量決定機能を通じて決定された顔領域カラー補正量を入力パラメータとして設定し、当該統計的学習則の出力を前記撮影画像に対する色成分毎の最適カラー補正量として出力するカラー補正量融合演算ルーチンを有する第２カラー補正量決定機能とをコンピュータに実現させるカラー補正プログラム。