JP5211768B2 - 画像処理装置、撮像装置、および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、および画像処理プログラムに関する。

従来、画像データから背景部と前景部を抽出し、背景部の色に基づいて前景部の色を補正する技術が知られている（特許文献１参照）。この従来技術により、背景色との対比によって前景色に生じる心理的な変化（色対比効果）を抑制し、前景部の色再現性を高めることができる。

また、この従来技術では、前景色と背景色が共に大きな面積を占めるベタ画像か否かを判定し、そのベタ画像の場合に色補正を実施している。
特開２００１−２９２３３３号公報

ところで、多種多様な撮影シーンによって、心理的に生じる色対比効果の発生量は変動する。そのため、上述したベタ画像の判定では、色対比効果の抑制が不足したり、逆に色対比効果を過度に抑制して色再現性を損なうなどの問題点があった。

そこで、本発明は、色対比効果の強弱をより実用的に推定し、主要領域の色補正を適切に制御することを目的とする。

本発明の一例としての画像処理装置は、画像入力部、画像区分部、補正部、および判定部を備える。画像入力部は、入力される画像データを取り込む。画像区分部は、画像データを、主要被写体の画像を含む主要領域と、それ以外の非主要領域とに区分する。補正部は、非主要領域の色に基づいて、主要領域の色を補正する。判定部は、非主要領域の色相の分散を判定する。上記構成において、補正部は、非主要領域の代表色から求まる非主要領域の補色の色相に対して、主要領域の代表色の色相が離れるように主要領域の色を補正する。また、補正部は、非主要領域の色相の分散が小さい場合、分散が大きい場合よりも、主要領域の色の補正を強める。

本発明の一例では、非主要領域の色相の分散を判定する。この非主要領域の色相の分散が小さいほど、非主要領域は同系色に近いと判断できる。

このように、極端なベタ画像とまではならないが、非主要領域に限っては同系色の範囲に収まる場合が多い。このように非主要領域が同系色に近づくほど、画像データの配色関係は単純化され、色対比の心理効果は強くなる。

本発明の一例は、このような非主要領域の色相分散に基づいて、色対比効果の強弱を実用的に推定できる。さらに、その推定結果に基づいて主要領域の色補正を適切に制御することができる。

《実施形態の構成》
図１は、本実施形態の撮像装置１１を示すブロック図である。

図１において、撮像装置１１は、撮像部１２、画像処理装置１３、記録部１４、および撮像制御部１５を備えて概略構成される。撮像制御部１５は、撮像部１２，画像処理装置１３、記録部１４等を制御する。また撮像制御部１５は、不図示の測光部からの被写体輝度情報やＩＳＯ感度設定情報、露出モード設定等より撮像時の露出設定値（シャッタ速度、絞り値）の算出および設定を行ったり、オートフォーカスの焦点検出エリアの設定、不図示の撮像レンズの焦点距離情報や撮像レンズの焦点調節光学系の情報の取得、撮像レンズの合焦距離情報の算出、クロップ撮像時の撮像素子の利用撮像領域の設定、などの処理を行う。なお、露出モードとは、人物撮影に適した露出設定値（シャッタ速度，絞り値）などを算出するポートレートモードや風景撮影に適した露出設定値等を算出する風景モード等のシーンモードや、汎用的な撮像に適したプログラムオートモード、ユーザーの設定した絞り値に応じてシャッタ速度を自動的に算出する絞り優先オートモードなどの周知の露出モードである。撮像制御部１５で処理された設定値や算出値、検出値等は後述する情報取得部２５等に出力可能である。この画像処理装置１３は、下記の構成を備える。
（１）画像入力部２１…撮像部１２などから出力される画像データを取り込む。
（２）画像区分部２２…主要被写体を検出し、画像データを主要被写体の画像を含む主要領域と、それ以外の非主要領域とに区分する。
（３）補正部２３…非主要領域の色に基づいて、主要領域の色を補正する。
（４）判定部２４…非主要領域の色相の分散を判定する。
（５）情報取得部２５…画像データの撮影時の画像取得条件を情報取得する。
（６）条件判定部２６…画像取得条件に基づいて被写界深度を判定する。
（７）被写体判定部２７…主要領域や画像取得条件に基づいて、主要被写体が記憶色重視の被写体か否かを判定する。
（８）対応記憶部２８…主要領域／非主要領域の代表色の組み合わせと、その組み合わせによって主要領域に生じる色対比効果の発生傾向とを、対応関係として記憶する。この対応関係は、色対比効果の心理実験などによって予め作成される。
《画像処理装置１３の動作》
図２は、画像処理装置１３の動作を説明する流れ図である。以下、図２に示すステップ番号に沿って、この処理動作を説明する。
ステップＳ１： 画像入力部２１は、撮像部１２から出力される画像データを取り込み、内部メモリ上に格納する。
ステップＳ２： 情報取得部２５は、画像データを撮影した際の画像取得条件を取得する。例えば、情報取得部２５は、撮像制御部１５などから画像取得条件を取得する。
ステップＳ３： 条件判定部２６は、画像データの画像取得条件に基づいて、撮影時の被写界深度を判定する。

図３は、被写界深度の判定例を示す図である。ここでは、画像取得条件が下記条件を満足するほど、被写界深度が浅いと判定する。
(条件1)撮影時のレンズの焦点距離が望遠域である。
(条件2)ポートレート用の露出設定である。
(条件3)レンズの合焦距離が至近域である。
(条件4)撮影時の絞り値が小さい。
(条件5)撮像素子の撮像画面サイズが大きい（非クロップ撮影など）
(条件6)レンズの合焦範囲がマクロ域である。
ステップＳ４： 画像区分部２２は、画像データを、主要被写体を含む主要領域と、それ以外の非主要領域とに区分する。

例えば、画像区分部２２は、公知の顔認識処理（肌色認識、顔の輪郭認識、または目鼻口耳などの形状認識など）を実施し、画像データ内の顔位置や顔サイズを検出する。この顔認識の処理結果に基づいて、画像区分部２２は、顔領域または人体領域を含む主要領域と、それ以外の非主要領域とに画像データを区分することができる。

また例えば、画像区分部２２は、撮影時に合焦状態にあった焦点検出エリア（合焦エリア）の位置を取得する。この取得情報に基づいて、画像区分部２２は、合焦エリアの被写体画像を含む主要領域と、それ以外の非主要領域とに画像データを区分することができる。

また例えば、画像区分部２２は、画像データから、高コントラスト領域や高域空間周波数領域を検出する。この検出結果に基づいて、高コントラスト領域または高域空間周波数領域を含む主要領域と、それ以外の非主要領域とに画像データを区分することができる。

また例えば、画像区分部２２は、画像データから、輪郭箇所を検出する。この検出結果に基づいて、輪郭箇所で囲まれる主要領域と、それ以外の非主要領域とに画像データを区分することができる。
ステップＳ５： 被写体判定部２７は、画像取得条件や画像データの代表色に基づいて、画像データに写っている被写体が、記憶色重視の被写体か否かを判定する。

図４は、画像取得条件と記憶色重視との関係を説明する図である。この例では、画像データを撮影した際の、撮像部１２の撮影モードに注目する。この撮影モードが、子供スナップモードのように撮影対象や撮影意図の明確な撮影モードである場合、被写体判定部２７は、記憶色重視の度合いを高く判定する。

なお、複数種類の撮影モードごとに、記憶色を重視すべき撮影か否かの使用者アンケートを予め実施してもよい。この場合、アンケート結果に従って、撮影モードごとに記憶色重視の度合いを点数付けすることができる。

また例えば、画像データの代表色が、肌色や青空色などの記憶色である場合に、記憶色重視の度合いを高く判定してもよい。
ステップＳ６： 判定部２４は、ステップＳ４で区分された非主要領域について、色相の分散（色相のバラツキ幅の二乗平均など）を算出する。図５に示すように、この色相の分散が狭いほど、非主要領域が同系色に近いと判断できる。
ステップＳ７： 補正部２３は、上述した（１）被写界深度の浅さ、（２）記憶色重視の被写体の可能性、（３）非主要領域の色相分散の狭さ、の少なくとも一つに基づいて、色対比効果の補正の必要性を求める。

例えば、被写界深度が浅いほど、非主要領域が同系色に近づいて色配置が単純になるため、色対比の心理効果が強調されると推定できる。したがって、被写界深度が浅いほど、主要領域の色補正の必要性が高いと判断できる。

また例えば、記憶色重視の被写体の可能性が高いほど、色対比効果の不自然さが目立つため、主要領域の色補正の必要性が高いと判断できる。

また例えば、非主要領域の色相の分散が狭いほど、非主要領域が同系色に近づいて色配置が単純になるため、色対比の心理効果が強調されると推定できる。したがって、非主要領域の色相の分散が狭いほど、主要領域の色補正の必要性が高いと判断できる。

なお、下式に基づいて、色対比効果の補正必要性を総合的に判断してもよい。
補正必要性＝ Ａ×[被写界深度の浅さ]
＋Ｂ×[記憶色重視の被写体の可能性]
＋Ｃ×[非主要領域の色相分散の狭さ]
ただし、Ａ，Ｂ，Ｃは評価重みの係数である。これら係数の重み配分は、補正必要性に反映させる各項目の優先度に基づいて、実験的に調整することが好ましい。
ステップＳ８： 補正部２３は、ステップＳ７で求めた補正必要性が閾値以上か否かを判断する。ここでの閾値は、色対比効果が色再現性を損ねるか否かを判断する閾値であり、使用者アンケートなどに基づいて予め定めることが好ましい。

ここで、補正必要性が閾値未満の場合、補正部２３は、主要領域の色補正を行わずに、処理ルーチンを完了する。

一方、補正必要性が閾値以上の場合、補正部２３は、主要領域の色補正を行うために、ステップＳ９に動作を移行する。
ステップＳ９： 補正部２３は、ステップＳ４で求めた主要領域および非主要領域について代表色をそれぞれ求める。

例えば、その領域に出現する最大頻度の色を代表色として求めてもよい。また例えば、その領域に出現する色を抽出して平均化し、その平均色を代表色としてもよい。また例えば、その領域から高彩度かつ高頻度の目立つ色を選別し、その色を代表色としてもよい。

補正部２３は、主要領域の代表色と、非主要領域の代表色との組み合わせを、対応記憶部２８に照会し、主要領域に生じる色対比効果の発生傾向を求める。

図６および図７は、この色対比効果の発生例を示す図である。図６では、主要領域の代表色が肌色、非主要領域の代表色が青空色のケースを示す。この場合、主要領域の肌色は、黄色〜オレンジ色の方向へ色がずれて見える。図７では、主要領域の代表色が赤色、非主要領域の代表色が緑色のケースを示す。この場合、主要領域の赤色は、紫色の方向へ色がずれて見える。
ステップＳ１０： 補正部２３は、ステップＳ９で求めた色対比効果の発生傾向を打ち消すための色補正方向を求める。

図８は、この色補正方向を説明する図である。図８において、横軸は色差成分Ｃｂの軸であり、縦軸は色差成分Ｃｒの軸である。図８中に示す白丸は、非主要領域の代表色である。図８中に示す二重丸は、この非主要領域の補色（厳密には心理補色）を示す。主要領域の代表色（図８中の黒丸）は、この補色の透過ベールで覆われているように見える。そこで、この補色から離れる方向に、主要領域の色相を補正することにより、色相の対比効果の発生傾向を打ち消すことができる。

なお、色対比効果は主要領域の彩度にも影響を及ぼす。すなわち、非主要領域の彩度が高くなるほど、主要領域の彩度はくすんで見える。そこで、非主要領域の代表色の彩度が高い場合、主要領域の彩度を相対的に高める方向に調整することにより、彩度の対比効果の発生傾向を打ち消すことができる。

また、色対比効果は主要領域の明度にも影響を及ぼす。すなわち、非主要領域の明度が高いほど、主要領域の明度は低く見える。そこで、非主要領域の代表色の明度が高い場合、主要領域の明度を相対的に高める方向に調整することにより、明度の対比効果の発生傾向を打ち消すことができる。
ステップＳ１１： 補正部２３は、ステップＳ７で求めた補正必要性が高いほど、色補正量を強めに調整して設定する。この補正必要性と色補正の強弱加減との関係については、補正後の色の自然さを評価基準として予め実験的に定めておくことが好ましい。
ステップＳ１２： ステップＳ１０で定めた色補正方向と、ステップＳ１１で定めた色補正量とによって、図８に示すように色の補正処理が決定される。この補正処理に従って、主要領域の色を補正する。

上述した一連の処理を完了した画像データは、その他の画像処理を経た後、記録部１４によって不図示の記録媒体に記録される。
《実施形態の効果など》
本実施形態では、非主要領域の色相の分散により、色対比効果の強弱を実用的に推定する。その推定結果に従って色補正の強弱を変更することにより、色対比効果を適正に抑制し、見た目に自然な色再現性を得ることが可能になる。

また、本実施形態では、画像取得条件から被写界深度の浅さを判定することで、色対比効果の強弱を実用的に推定する。この推定結果によっても色補正の強弱を適宜に制御することが可能になる。その結果、見た目に自然な色再現性を得ることが可能になる。

さらに、本実施形態では、画像取得条件から色対比効果の強弱を大まかに推定する。この場合には、複雑な画像解析を行わずに、色対比効果を簡易かつ迅速に推定することも可能になる。
《実施形態の補足事項》
なお、上述した実施形態では、画像処理装置１３を撮像装置１１に搭載するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。例えば、コンピュータおよび画像処理プログラム（図２の動作をプログラムコード化したもの）を用いて、本発明の画像処理装置をソフトウェア的に実現することができる。

なお、この場合は、画像データに付随する情報（Exif情報など）から画像取得条件を取得することが好ましい。

また、上述した実施形態では、画像処理装置１３が色対比効果の補正を主要領域に対して行う例を説明した。しかし、色対比効果は相対的な効果であるので、画像処理装置１３は、色対比効果の補正を非主要領域に対して行ってもよい。

例えば、分散が小さい、または被写界深度が浅いと判断された場合において、画像処理装置１３は、色対比効果の影響を打ち消す方向に非主要領域の色を補正してもよい。このとき、主要領域および非主要領域のいずれの領域を補正するかについては、画像処理装置１３が、例えば、以下の判断基準に基づいて設定する。

一例として、記憶色重視の被写体という判断のときに補正を行う場合において、その被写体が人物（肌色）で、かつ主要被写体として判断されており、また、画像処理装置１３が肌色を記憶色として最適化出力しているケースでは、画像処理装置１３は、出力された肌色の色再現を重視し、非主要領域（背景）側の色相、彩度、明度を補正してもよい。

一例として、記憶色重視の被写体という判断のときに補正を行う場合において、同様に、重視されるとともに最適化表示されている被写体が空であって、かつその被写体が非主要領域（背景）であると判断されているケースでは、画像処理装置１３は、主要領域（主要被写体）側の色相、彩度、明度を補正してもよい。

一例として、彩度の対比効果で、背景が鮮やかで主要被写体がくすんで見える場合や、主要被写体の彩度が既に十分に高く、それ以上の高彩度化によって主要被写体が色飽和を起こしてしまうような場合には、画像処理装置１３は、非主要被写体側の彩度を下げてもよい。

一例として、明度の対比効果で、背景が明るく主要被写体の明度が低く見える場合や、主要被写体が既に十分に明るく、それ以上の高明度化によって主要被写体が白トビを起こしてしまうような場合には、画像処理装置１３は、非主要被写体側の明度を下げてもよい。

なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

以上説明したように、本発明は、画像処理装置などに利用可能な技術である。

本実施形態の撮像装置１１を示すブロック図である。 画像処理装置１３の動作を説明する流れ図である。 被写界深度の判定例を示す図である。 画像取得条件と記憶色重視との関係を説明する図である。 色相の分散と単色性との関係を説明する図である。 色対比効果の発生例を説明する図である。 色対比効果の発生例を説明する図である。 色補正方向および色補正量を説明する図である。

符号の説明

１１…撮像装置，１２…撮像部，１３…画像処理装置，１４…記録部，２１…画像入力部，２２…画像区分部，２３…補正部，２４…判定部，２５…情報取得部，２６…条件判定部，２７…被写体判定部，２８…対応記憶部

Claims (5)

1. 入力される画像データを取り込む画像入力部と、
   前記画像データを、主要被写体の画像を含む主要領域と、それ以外の非主要領域とに区分する画像区分部と、
   前記非主要領域の色に基づいて、前記主要領域の色を補正する補正部と、
   前記非主要領域の色相の分散を判定する判定部とを備え、
   前記補正部は、前記非主要領域の代表色から求まる前記非主要領域の補色の色相に対して、前記主要領域の代表色の色相が離れるように前記主要領域の色を補正し、前記分散が小さい場合、前記分散が大きい場合よりも、前記主要領域の色の補正を強める
   ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記画像データの撮影時の画像取得条件を情報取得する情報取得部と、
   前記画像取得条件に基づいて前記画像データが被写界深度の浅い撮影状況で撮影されたか否かを判定する条件判定部と、をさらに備え、
   前記補正部は、前記被写界深度が浅い場合、前記被写界深度が深い場合よりも、前記主要領域の色の補正を強める
   ことを特徴とする画像処理装置。
3. 請求項１または請求項２の画像処理装置において、
   前記主要領域および前記非主要領域の色の組み合わせと、前記主要領域に生じる色対比効果の発生傾向とを、対応関係として予め記憶する対応記憶部をさらに備え、
   前記補正部は、
   前記主要領域および前記非主要領域の色の組み合わせを、前記対応記憶部に照会して、前記色対比効果の発生傾向を決定し、
   前記色対比効果の発生傾向を打ち消す方向に、前記主要領域の色を補正する
   ことを特徴とする画像処理装置。
4. 請求項１ないし請求項３のいずれか１項に記載の画像処理装置と、
   被写体を撮影して、画像データを生成する撮像部とを備え、
   前記画像処理装置は、
   前記撮像部で生成される前記画像データの色を補正する
   ことを特徴とする撮像装置。
5. コンピュータを、請求項１ないし請求項３のいずれか１項に記載の画像処理装置として機能させるための画像処理プログラム。

Images