JP6376673B2 - 画像処理装置 - Google Patents

Description

本発明は、画像を生成する画像処理装置に関する。

被写体を魅力的に撮像する方法として、外部ストロボやレフ板などの照明機材を用いて被写体にライティングを施し、立体感の演出を行う方法がある。このような技術は、高価な機材やユーザのスキルを必要とするため、一般ユーザが所望のライティングを施した画像を撮像することは困難である。

特許文献１では所望の部分に対して所望のライティングがなされた状態の画像を得ることができる撮像装置が開示されている。

特開２０１２−１３８８１９（２０１２年７月１９日公開）

しかしながら、上述した方法では、照明位置を変更しながら被写体を複数回撮像する必要があるため、動く物体への適用が困難であった。例えば、被写体が人間の場合は瞬きをしたり、照明が眩しければまぶたを伏せたり、被写体本人が意識せずとも体を動かしてしまうことがあり、複数回撮像した画像を合成する際、撮像画像間で被写体の位置ずれが生じるため、自然な合成画像を得ることは難しかった。

本発明は上記課題を鑑みて発明されたものであり、被写体が動く場合にも容易に適用でき、好適な立体感を有する画像を生成することが可能な画像処理装置を提供することを目的とする。

本発明の一観点によれば、画像処理装置は、対象画像の暗部画素を抽出する暗部画素抽出部と、暗部画素を対象画像のコントラストの変化を抑制するように補正する暗部画素補正部と、暗部画素補正部において補正された画像に応じて暗部モデルを生成する暗部モデル生成部と、暗部モデルに基づいて暗部画素補正部において補正された画像に暗部モデル生成部において生成された暗部モデルを構成する暗部画素を付与する画像生成部と、を備えている。

本発明によれば、被写体が動く場合にも容易に適用でき、好適な立体感を有する画像を生成することができる。

本発明の第１の実施の形態による画像処理装置を備える画像表示装置の一構成を示す機能ブロック図である。 注目画素と近傍画素との関係を説明する図である。 色差と輝度差とを用いて注目画素が暗部画素として抽出される指標を説明する図である。 近傍画素が複数となる場合の注目画素と近傍画素との関係を説明する図である。 暗部画素補正において輝度差の分散と重みとの関係を説明する図である。 人間の顔にライティングを施したときに現れる陰影の暗部画素テンプレートを説明する図である。 暗部モデルに基づいた暗部画素付与について説明する図である。 本発明の第１の実施の形態における画像処理の流れを示すフローチャート図である。 本発明の第２の実施の形態による画像処理を備える画像表示装置の一構成例を示す機能ブロック図である。 検出された顔の大きさを説明するための図である。 本発明の第２の実施の形態における画像処理の流れを示すフローチャート図である。

〔実施形態１〕
以下、添付図面を参照して本発明の実施形態１について説明する。なお、添付図面は本発明の原理に則った具体的な実施形態を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。また、各図における構成は、理解しやすいように誇張して記載しており、実際の間隔や大きさとは異なる。

図１は、本発明の実施形態１に係る画像処理装置１０１を備える画像表示装置１０２の構成を示す機能ブロック図である。本実施形態では、画像表示装置１０２が、撮像部１０３で被写体を撮像し、撮像した画像から好適な立体感を有する画像を生成し、生成画像を表示部１０４に表示する場合の例について説明する。

以下、本発明の実施形態１に係るシステム構成及び動作の詳細を、図１を用いて詳細に説明する。画像表示装置１０２は、撮像部１０３と、表示部１０４と、記憶部１０５と、画像処理装置１０１と、入出力部１０６と、を備える。

撮像部１０３は、撮像レンズ及びＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔaｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子を備えており、被写体の静止画や動画を撮像できる。

表示部１０４は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶ディスプレイ）や有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどの表示画面であり、画像や文字などの情報や被写体の画像等を表示する。

画像処理装置１０１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央処理装置）やＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：画像処理用処理装置）等で構成することができる。また、画像処理装置１０１は、撮像部１０３または記憶部１０５等から取得した画像を、入出力部１０６から取得したユーザ指示に基づいて処理し、表示部１０４および記憶部１０５の少なくとも一つへ処理後の画像を出力する。

また、画像処理装置１０１は、暗部画素抽出部１０７と暗部画素補正部１０８と暗部モデル生成部１０９と画像生成部１１０とを備えている。これらの各部は、以下の各処理を行う。
＜暗部画素抽出処理＞
暗部画素抽出部１０７は、上述の撮像部１０３または記憶部１０５等より画像処理装置１０１が取得した画像から、１又は複数の暗部画素を抽出する。ここで暗部画素とは、取得した画像において、被写体に現れる陰影を構成する画素のことで、輝度や色の変化が少ない箇所のことである。例えば人間の顔における陰影は、顔の凹凸により生じるシミ、ほうれい線などのシワ、鼻の影及び光源からの光が遮られることにより額や頬などに現れる影などのことである。暗部画素抽出処理の詳細については後述する。
＜暗部画素補正処理＞
暗部画素補正部１０８は、暗部画素抽出部１０７で抽出された１又は複数の暗部画素の少なくとも何れかを、画像のコントラストの変化を抑制するように補正することによって補正画像を生成する。暗部画素補正処理の詳細については後述する。
＜暗部モデル生成処理＞
暗部モデル生成部１０９は、暗部画素抽出部１０７によって抽出された暗部画素を基に、被写体に応じた暗部モデルを生成する。暗部モデル生成処理及び暗部モデルの詳細については後述する。
＜画像生成処理＞
画像生成部１１０は、暗部画素補正部１０８において補正された画像（補正画像）と暗部モデル生成部において生成された暗部モデルとに基づいて、当該補正された画像に暗部画素を付与した画像を生成する。画像生成処理の詳細については後述する。

記憶部１０５は、例えばフラッシュメモリやハードディスクであり、画像および暗部モデルの基となる暗部画素テンプレート等を記憶したり、機器固有のデータを保存したりする。

入出力部１０６は、キーボタンやマイクやスピーカー等を用いて、ユーザ指示を画像処理装置１０１に入力したり、画像処理装置１０１から入力された音声等を出力したりする。以上が実施形態１のシステム構成である。

次に、実施形態１における画像表示装置１０２の動作について図２乃至図８を用いて詳しく説明する。まず、暗部画素抽出部１０７による暗部画素抽出処理の詳細について、図２乃至図４を用いて詳しく説明する。図２は、処理対象の画像である対象画像における注目画素２０１と注目画素２０１の近傍に位置する近傍画素２０２との関係を説明する図である。図３は、色差と輝度差とを用いて注目画素が暗部画素として抽出される場合の指標を説明する図である。図４は、近傍画素が複数となる場合の注目画素と近傍画素との関係を説明する図である。暗部画素抽出部１０７は、注目画素２０１と近傍画素２０２との色差と輝度差とに基づいて注目画素２０１が暗部画素であるか判断する。また、注目画素２０１を暗部画素として判断した場合、暗部画素抽出部１０７は、注目画素２０１を暗部画素として抽出する。

より具体的には、暗部画素抽出部１０７は、注目画素２０１と近傍画素２０２との色差ｓ_ｈを式（１）を用いて算出する。

ここでＮ_{（ｉ、ｊ)}＝（Ｎ_{ｒ（ｉ、ｊ)}、Ｎ_{ｇ（ｉ、ｊ)}、Ｎ_{ｂ（ｉ、ｊ)}）は、対象画像Ｉにおける第（ｉ、ｊ）画素の画素値Ｉ_{（ｉ、ｊ)}を３変数のベクトルとみなして正規化したものである。画素値はＲＧＢ値、すなわち、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）の３つの値で表され、それぞれ０以上１以下の値をとる。画像の横方向をｘ軸、縦方向をｙ軸、画像の左上座標を原点（０、０）としたとき、変数ｉは画像中のｘ軸方向の位置を表し、０から画像の横画素数−１までの範囲をとる。変数ｊは画像中におけるｙ軸方向の位置を表し、０から画像の縦画素数−１までの範囲をとる。注目画素２０１を第（ｉ、ｊ）画素とすると、近傍画素２０２は第（ｉ＋１、ｊ）画素となるので、近傍画素２０２の画素値はＩ_{（ｉ＋１、ｊ）}とされる。画素値Ｉ_{（ｉ＋１、ｊ）}を３変数のベクトルとみなして正規化したものをＮ_{（ｉ＋１、ｊ)}とする。色差ｓ_ｈは０以上１以下の値をとり、０に近いほど色ずれが少ないことを表す。注目画素２０１と近傍画素２０２が画素値として同じＲＧＢ値を有する場合、色差ｓ_ｈは０で最小となる。例えば注目画素２０１が無彩色で近傍画素２０２が赤色であった場合、色差ｓ_ｈは０．９と最大値に近い値をとなる。このように、注目画素２０１と近傍画素２０２とのＲＧＢ値をベクトルと見なした時のベクトルのなす角度を用いて注目画素２０１と近傍画素２０２との色差を表す。

また、暗部画素抽出部１０７は、注目画素２０１と近傍画素２０２との輝度差s_yを式（２）で算出する。

ここで、注目画素２０１の輝度をｙ_{（ｉ、ｊ）}、近傍画素２０２の輝度をｙ_{（ｉ＋１、ｊ）}とする。輝度差は−１以上１以下の値をとるように正規化されており、注目画素２０１と近傍画素２０２とが同じ輝度値を有する場合は０、注目画素２０１が０、すなわち黒で、近傍画素２０２が１、すなわち白の場合、輝度差は最大値の１となる。暗部画素抽出部１０７は、ＲＧＢ値から輝度ｙへの変換処理を式（３）を用いて実行する。

また、暗部画素抽出部１０７は、画素の輝度としてＲＧＢ値の平均値（Ｉ_ｒ＋Ｉ_ｇ＋Ｉ_ｂ）／３やＩ_ｇ値などを用いる構成としてもよい。

暗部画素抽出部１０７は上述した方法にて算出した注目画素２０１と近傍画素２０２との色差および輝度差の少なくとも何れかに基づき、暗部画素の抽出処理を行う。図３に色差と輝度差とを用いて注目画素２０１が暗部画素として抽出される場合の指標を示す。輝度差が０または負の値の場合、暗部画素抽出部１０７は、注目画素２０１が暗部領域ではないと判断する。これは、注目画素２０１の輝度よりも近傍画素２０２の輝度が低く、近傍画素２０２が暗部領域である可能性が高いためである。輝度差が正の値で、色差または輝度差が所定の閾値以上の場合も、暗部画素抽出部１０７は、注目画素２０１が暗部領域ではないとする。これは、色と輝度との両方が大きく変動している箇所は被写体の輪郭である可能性が高いためである。輝度差が正の値で、色差および輝度差が所定の閾値よりも小さい場合、暗部画素抽出部１０７は、注目画素２０１を第１の暗部画素として抽出する。色差および輝度差に係る各々の閾値は、暗部画素抽出部１０７において、あらかじめ被写体の暗部画素と非暗部画素とが接する箇所を解析することにより算出する方法や入出力部から入力されるユーザの設定値から算出する方法等を用いて設定しておくことができる。例えば、ユーザの設定値が「陰影強め」である場合、暗部画素抽出部１０７は、各々の閾値を大きく設定し、「陰影弱め」である場合は、各々の閾値を小さめに設定することにより最適な閾値を設定できる。

なお、閾値の設定方法は上記の例に限るものではなく、公知の手法を適用してもよい。

上述の方法では、画像に向かって右側に注目画素、画像に向かって左側に近傍画素が設置されているため、暗部画素抽出部１０７は、画像の左側から右側へとなだらかに暗くなるような陰影のみを暗部画素として抽出したが、実画像においては上下左右斜め方向のいずれの方向においてもなだらかに暗くなるような箇所を暗部画素として抽出する必要がある。全方向の陰影を暗部画素として抽出するために、図４に示すように注目画素４０１に対し、近傍画素４０２を注目画素４０１の上下左右斜めに位置する８画素とする。近傍画素４０２が８画素の場合、注目画素４０１と近傍画素４０２である８画素それぞれについて注目画素４０１が暗部画素として抽出されるか計算する。

より具体的には、暗部画素抽出部１０７は、まず、ある要素を注目画素４０１とし他の要素を複数の近傍画素４０２の何れかとする組を、複数の近傍画素４０２のそれぞれに関して設定する。例えば、近傍画素４０２が８画素の場合、それぞれの近傍画素をＮＰ１〜ＮＰ８と表記し、注目画素をＩＰと表記したとすると、暗部画素抽出部１０７は、（ＮＰ１、ＩＰ），（ＮＰ２、ＩＰ），…，（ＮＰ８、ＩＰ）の合計８組を設定する。続いて、注目画素４０１と近傍画素４０２との各組において、注目画素４０１が暗部画素であるとされた組が、注目画素４０１が暗部画素ではないとされた組よりも多い場合、暗部画素抽出部１０７は、注目画素４０１を暗部画素として抽出する。

また、暗部画素抽出部１０７は、近傍画素毎に暗部画素か否かを判定したそれぞれの判定結果に対して重み付けを行った結果を用いて、注目画素４０１が暗部画素か否かを判定しても構わない。上述の判定方法を行うことにより、例えば、陰影は上から下へと暗くなることが多いといった前提条件を用いた重み付けにより、注目画素４０１の上下方向に位置する近傍画素４０２の判断を優先させることができる。これにより、多くの画像において、暗部画素の誤抽出を抑制できるため好適である。

なお、上記では、暗部画素抽出部１０７は、近傍画素毎に第１の暗部画素か否かを判定した結果に対して重み付けを行い、注目画素４０１が暗部画素か否かを判定しているが、暗部画素抽出部１０７は、近傍画素毎に算出した色差と輝度差に対して重み付けを行った結果をすべて集計し、その集計値と上述した閾値とを用いて注目画素４０１を暗部画素か否かを判定しても構わない。具体的には、注目画素ＩＰと近傍画素が８画素（ＮＰ１〜ＮＰ８）の場合、注目画素ＩＰと近傍画素ＮＰ１との輝度差をｓ_ｙ１、色差をｓ_ｈ１、注目画素ＩＰと近傍画素ＮＰ２との輝度差をｓ_ｙ２、色差をｓ_ｈ２、・・・、注目画素ＩＰと近傍画素ＮＰ８との輝度差をｓ_ｙ８、色差をｓ_ｈ８とした場合、暗部画素抽出部１０７は、輝度差の集計値ｓ_{ｙ＿ｓｕｍ}と色差の集計値ｓ_{ｈ＿ｓｕｍ}を式（４）と（５）で算出する構成としてもよい。

ここでｋは近傍画素の範囲を、αは輝度値に対する重み付け係数を、βは色差に対する重み付け係数を表す。αとβは正の値として設定する。重み付け係数αとβを全て１と設定すると、輝度差と色差の各々の総和が集計結果ｓ_{ｙ＿ｓｕｍ}、ｓ_{ｈ＿ｓｕｍ}として算出される。αとβを、各々違う値に設定することで暗部画素抽出を制御できる。例えば、重み付け係数αを１に近い値に、βを０．０１など０に近い値に設定すると、色差よりも輝度差を重視して暗部画素判定が行えるようになる。複雑なテクスチャを有する被写体でも、局所領域で見るとおおむね単一の色で構成されているとみなせるため、被写体に対し設定される局所諸領域が十分に小さい場合に有効である。

以上により、暗部画素抽出部１０７による暗部画素抽出処理がなされる。

次に、暗部画素補正部１０８による暗部画素補正処理の詳細について、図５を用いて説明する。図５は輝度差の分散と重みとの関係を説明する図である。暗部画素補正部１０８は、暗部画素と暗部画素以外の画素との画素値の差を小さくし、画像のコントラストの変化を抑制するように補正を行う。

暗部画素補正部１０８は、暗部画素抽出部１０７で抽出された暗部画素に対し、暗部画素補正処理を施す。具体的には、注目画素Ｉ_{（ｉ、ｊ)}が暗部画素である場合、暗部画素補正後の画像（補正画像）をＩ’とし、第１の暗部画素の近傍画素としてＮ×Ｍの近傍を用いる場合、補正後の画像Ｉ’を、式（６）、（７）を用いて算出する。

ここで、画素値Ｉ_{（ｉ、ｊ)}は、対象画像Ｉにおける第（ｉ、ｊ）画素の画素値を示す。注目画素Ｉ_{（ｉ、ｊ)}が暗部画素でない場合は、Ｉ’_{（ｉ、ｊ)}＝Ｉ_{（ｉ、ｊ)}となる。

このように注目画素に対し近傍画素に重み付き平滑化処理を施すことで、暗部画素補正部は、暗部画素と暗部画素以外の画素との画素値の差を小さくし、コントラストの変化を抑制する。式（７）から明らかなように、重みω_klは、ガウシアン（正規分布）型の重み係数である。重みω_klは、暗部画素と近傍画素との輝度差が小さいときに値が大きくなる。すなわち、暗部画素補正部１０８は、暗部画素とその近傍画素のうち輝度差の小さなものは陰影である可能性が高いため重みを強くする。反対に、暗部画素補正部１０８は、暗部画素とその近傍画素のうち輝度差の大きなものは被写体の輪郭である可能性が高いため重みを弱くする。ここで、式（７）におけるσは暗部画素と近傍画素との輝度差の分散を表す。暗部画素補正部１０８は、分散σの値を変えることにより、注目画素の輝度と近傍画素との輝度の差をどの程度許容するかを制御することができる。暗部画素補正部１０８は、分散σの値を変えることにより、暗部画素以外の画素値を暗部画素に伝搬させる度合いを制御することができる。これにより、暗部画素補正部１０８は、平滑化の度合いを制御し、コントラストの変化を抑制する度合いを調節することができる。図５は横軸５０１が輝度差、縦軸５０２が重みωを表す。分散σを大きくすると曲線５０３に示すように伝搬の度合いは強くなるが、被写体の輪郭と非輪郭とを区別できなくなり、被写体の輪郭がぼやけてしまう。分散σに小さい値を設定すると曲線５０４に示すように伝搬の度合いは弱くなり被写体の輪郭のぼやけは防げるが、コントラストの変化の抑制度合いが小さくなってしまう。そこで、暗部画素補正部１０８は分散σに小さい値を設定し、暗部画素補正処理を繰り返し施す方法をとることが好ましい。このような方法を採用することにより、暗部画素補正処理を繰り返す毎に暗部画素以外の画素の画素値を暗部画素に伝搬させることができ、被写体の輪郭を保ったままコントラストの変化を抑制することができるため好適である。

また、分散σの具体的な設定方法としては、抽出対象とする陰影の分散値の２倍程度に設定すると好適である。例えば、画素値が０〜２５５階調をとり、陰影の分散値が１０であるとき、分散σは２０と設定すれば良い。ここでは、画素値であるＲＧＢ値が０以上１未満に正規化されて用いられているため、σ＝０．０８（＝２０／２５５）と設定する。陰影の分散値が既知でない場合は、σ＝０．０４（＝１０／２５５）など小さめに設定すると良い。

以上により、暗部画素補正部１０８による暗部画素補正処理が行われる。

次に、暗部モデル生成部１０９による暗部モデル生成処理について図６を用いて説明をする。図６は人間の顔にライティングを施したときに現れる陰影を暗部画素テンプレートとして使用する場合の例を説明する図である。暗部モデル生成部１０９は、暗部画素抽出部１０７によって抽出された暗部画素に基づき暗部モデルを生成する。暗部モデルとは、被写体に付与するための暗部画素から構成されるモデルのことである。例えば、被写体が人間の顔である場合、暗部画素抽出部１０７が抽出した暗部画素を左右対称となるように補正し、当該補正した暗部画素を暗部モデルとして用いることにより、暗部モデル生成部１０９は、顔の対称性が向上した画像を生成することができる。被写体から抽出した暗部画素を用いることにより、被写体に適した暗部モデルを生成できるため、画像生成部において生成される画像の画質を向上させることができ好適である。

このように、暗部モデル生成部１０９は、暗部画素抽出部１０７が抽出した暗部画素を適宜複製して再配置することによって暗部モデルを生成することができる。

また、暗部モデル生成部が、記憶部１０５に保持してある暗部画素テンプレートに基づき暗部モデルを生成する構成とすれば、様々なライティング手法を施したような暗部モデルを簡易に生成できるため好適である。ここで、暗部画素テンプレートとは、スプリットライトテンプレート６０１やレンブラントライトテンプレート６０２、バタフライライトテンプレート６０３、ループライトテンプレート６０４のように、被写体にライティングを施したときに現れる陰影を暗部画素として抽出したものである。暗部モデル生成部１０９は、これらの暗部画素テンプレートＴに基づき暗部モデルＳを、式（８）を用いて生成する。

ここで、関数ｆは暗部画素テンプレートＴを暗部画素補正後の画像Ｉ’に適合するように補正する関数である。この補正において、暗部モデル生成部１０９は、暗部モデルＳの画像Ｉ’上の付与位置と大きさの変更を行うことができる。まず、暗部モデルＳを画像Ｉ’の画像中心に配置し、大きさは画像の半分とする。入出力部１０６から入力されるユーザの指示Ｕに従い、暗部モデルの付与位置と大きさの変更を行い、暗部モデルＳの画像Ｉ’上の付与位置と大きさとの調整を行う。例えば、生成された暗部モデルが被写体よりも大きめに生成された場合、ユーザは暗部モデル縮小処理を行う指示を出すことで、暗部モデルを縮小する。また、生成された暗部モデルの位置が被写体位置とずれていた場合、ユーザは暗部モデルの移動処理を行う指示を出すことで、暗部モデルの位置を変更する。このとき、被写体が人間の顔など既知の物体であれば、暗部モデル生成部１０９が、画像中の肌色の分布に合わせて暗部モデルの付与位置と大きさの変更を自動的に行う構成とすれば、ユーザによる調整を行わずとも、適切な位置に暗部モデルが付与されるため好適である。

以上により、暗部モデル生成部１０９による暗部モデル生成処理が行われる。

最後に、画像生成部１１０による画像生成処理について図７を用いて詳しく説明する。図７は暗部モデルに基づいた暗部画素付与について説明する図である。

画像生成部１１０は、暗部モデルＳと暗部画素を補正した画像（補正画像）Ｉ’とから、暗部画素を付与した画像Ｏを、式（９）を用いて生成する。画像Ｏのことを暗部モデルＳを適用した画像または暗部モデルＳを付与した画像と呼ぶこともある。

暗部モデルＳは、画素毎に０以上１以下の値をとる。第（ｉ、ｊ）画素の暗部モデルＳの値Ｓ（ｉ、ｊ）が１であれば、生成画像Ｏの画素値Ｏ（ｉ、ｊ）と暗部画素を補正した画像Ｉ’の画素値Ｉ’（ｉ、ｊ）とは同じ値となる。第（ｉ、ｊ）画素の暗部モデルＳの値Ｓ（ｉ、ｊ）が０であれば、生成画像Ｏの画素値Ｏ（ｉ、ｊ）は０となる。すなわち、暗部モデルＳの値が０に近いほど生成画像Ｏの画素値は暗くなり、１に近いほど生成画像Ｏの画素値は暗部画素を補正した画像Ｉ’に近づく。

また、人間の色の見え方を考慮して、画像生成部１１０は生成画像の明るさを補正するようにしても良い。人間の色の見え方のうち、明るさに関係するものの一つに、色の面積効果がある。色の面積効果とは、物理的には同じ色であっても、提示する面積の大きさによって色の見え方が変化する現象のことである。提示する面積が大きくなると、暗部画素はより暗く感じられるため、画像生成部１１０は色の面積効果を打ち消すように暗部モデルの明るさを変化させることが好ましい。具体的には、画像生成部１１０は、暗部モデルを付与する画像上の画素の総和（換言すれば、暗部モデルと重複する画素の総数）に応じて、暗部モデルの明るさ（暗部モデルを構成する暗部画素の明るさ）を変更し、当該変更した暗部モデルを用いて画像生成を行うことが好ましい。

上記の処理では、画素の総和が大きくなるほど暗部モデルの明るさを大きくし、総和が小さくなるほど暗部モデルの明るさを小さくする。これにより、人間の色の見え方を考慮した自然な暗部モデル付与を行うことができるため好適である。

なお、画像生成部１１０は、暗部モデルを適用したうえで、暗部モデルを付与した画素の総和（換言すれば、暗部モデルと重複する画素の総数）に応じて、暗部モデル適用後の明るさを変更する構成としてもよい。

さらに、人間の色の見え方に応じて、画像生成部１１０は、生成画像の色相を補正するようにしても良い。人間の色の見え方のうち、色相に関係するものの一つに、ベゾルト−ブリュッケ現象がある。ベゾルト−ブリュッケ現象とは、明るさによって色相が変化する現象で、具体的には明るさが低下すると赤紫とオレンジは赤に、黄緑と青緑は緑にシフトする現象のことである。暗部モデルの明るさと暗部モデルを付与する画像上の画素の色相に応じて、画像生成部１１０は暗部モデルの色相を変化させる。画像生成部１１０は、暗部モデルの明るさが小さくなるほど、陰影の効果が強いと判断し、暗部モデルの色相の変化を大きくする。また、画像生成部１１０は、暗部モデルの明るさが大きくなるほど、陰影の効果が弱いと判断し、暗部モデルの色相の変化を小さくする。また、画像生成部１１０は、暗部モデルを付与する画像上の画素の色相が赤紫からオレンジに含まれるのであれば、赤が強くなるように暗部モデルの色相を変更する。画像生成部１１０は、暗部モデルを付与する画像上の画素の色相が黄緑から青緑に含まれるのであれば、緑が強くなるように暗部モデルの色相を変更する。暗部モデルを付与する被写体が人間の顔の場合、肌色の色相は赤紫からオレンジに含まれる可能性が高いため、画像生成部１１０において、赤が強くなるように暗部モデルの色相を変化させると、違和感の少ない自然な暗部モデル付与を行うことができ好適である。

上述した処理により、人間の色の見え方を考慮した暗部モデルを付与できるため、生成される画質を向上させることができ好適である。

なお、画像生成部１１０は、暗部モデルの明るさと暗部モデルを付与する画像上の画素の色相に応じて、暗部モデルを適用した後の画像の色相を変化させる構成としてもよい。

以上により、画像生成部１１０による画像生成処理が行われる。

以上、上記動作の流れを図８に示すフローチャートを用いて説明をする。

まず、ステップＳ８０１では、画像処理装置１０１は、撮像部１０３または記憶部１０５から画像を取り込む。次に、ステップＳ８０２では、ステップＳ８０１にて取り込んだ画像から、暗部画素抽出部１０７が暗部画素を抽出する（上述した暗部画素抽出処理に対応）。次に、ステップＳ８０３では、ステップＳ８０２にて抽出された暗部画素を、暗部画素補正部１０８が補正する（上述した暗部画素補正処理に対応）。次に、ステップＳ８０４では、記憶部１０５から暗部画素テンプレートを取得する。次に、ステップＳ８０５では、ステップＳ８０４にて取得した暗部画素テンプレートを用いて、暗部モデル生成部１０９は暗部モデルを生成する（上述した暗部モデル生成処理に対応）。次に、ステップＳ８０６では、ステップＳ８０５にて生成された暗部モデルを用いて、画像生成部１１０が暗部画素補正後の画像に暗部モデルを付与し、照明位置を変更して撮像したかのような画像を生成する（上述した画像生成処理に対応）。そして、ステップＳ８０７では、ステップＳ８０６にて生成した画像を、画像生成部１１０が表示部１０４に出力する。以上が画像処理装置１０１の動作の流れである。以上のようにして、第１実施例の画像表示装置１０２は動作する。

上述した本発明に係る画像処理装置１０１を備える画像表示装置１０２によれば、ユーザが所望しない暗部画素を補正した後、所望の陰影を付与することで好適な立体感を有する画像を表示することができる。また、従来技術のように、照明位置を変更しながら被写体を複数回撮像するといった処理が不要なため、動く物体に対しても容易に適用することができる。

〔実施形態２〕
次に、本発明の第２実施例に係る画像処理装置９０１を備える画像表示装置９０２の構成について、図９を用いて説明する。図９において、図１と同じ構成要素には同じ番号を付しており、これらの要素は図９の実施例と同じ処理を行うため説明を省略する。

本実施例と第１実施例との違いは、画像表示装置１０２は、顔の大きさ情報を検出する顔検出部９０３と、顔検出部９０３で検出された顔の大きさ情報を基に、暗部画素抽出部１０７における近傍画素が取りうる範囲を決定する近傍画素範囲決定部９０４とを備えた構成になっていることである。

次に、第２の実施例における画像表示装置９０２の動作について図１０乃至図１１を用いて詳しく説明する。まず、顔検出部９０３の動作について、図１０を用いて詳しく説明する。図１０は検出された顔の大きさを説明する図である。
＜顔検出処理＞
顔検出部９０３は、画像から、被写体の顔の大きさを検出する。ここで、顔の大きさとは、検出された顔領域の横画素数Ｗ１００１と縦画素数Ｈ１００２のことである。画像から顔の大きさを検出する方法は、肌色を検出して顔領域を特定する方法や、多数の顔画像と顔以外の画像（非顔）の学習サンプルから統計的に識別関数を求め、顔の位置情報と顔の大きさ情報を検出する方法（Ｐ．Ｖｉｏｌａ ａｎｄ Ｍ．Ｊｏｎｅｓ，“Ｒａｐｉｄ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ ｂｏｏｓｔｉｎｇ ｃａｓｃａｄｅ ｏｆ ｓｉｍｐｌｅ ｆｅａｔｕｒｅｓ”，Ｐｒｏｃ．ＩＥＥＥ Ｃｏｎｆ．ＣＶＰＲ，ｐｐ．５１１−５１８，２００１）が知られており、上述した方法を用いることで実現できる。以上により、顔の大きさの検出がなされる。
＜近傍画素範囲決定処理＞
次に、近傍画素範囲決定部９０４の動作について詳しく説明する。ここでは、暗部画素抽出で用いる近傍画素の大きさを決定する。被写体の顔の大きさが大きくなるに従って、生じる影もより大きくなるため、近傍画素範囲決定部９０４は近傍画素範囲をより大きくする。被写体の顔の大きさが小さくなるに従って、生じる影もより小さくなるため、近傍画素範囲決定部９０４は近傍画素範囲をより小さくする。近傍画素範囲がＮ×Ｍのとき、近傍画素範囲を大きくするとは近傍画素範囲をｋＮ×ｋＭに拡大することを指し、近傍画素範囲を小さくするとは近傍画素範囲をＮ／ｋ×Ｍ／ｋに縮小することを指す（ここで、ｋ＞１であり、例えばｋ＝２、３等の値が好適である）。これにより、被写体の顔の大きさが大きいにも関わらず小さな近傍画素範囲を用いて暗部画素抽出を行った結果、大きな影を構成する暗部画素を抽出できなかったり、被写体の顔の大きさが小さいにも関わらず大きな近傍画素範囲を用いて暗部画素抽出を行った結果、アイブロウ、アイラインや輪郭付近のシェーディングなどの好ましい印象を与える微小な陰影を暗部画素として抽出してしまったりすることを防ぐことができる。このように、上記構成によれば、好ましい暗部画素を残しながら不必要とされる暗部画素のみを補正することができる。

また、近傍画素範囲決定部９０４は被写体の顔の大きさによって近傍画素範囲の形を変更してもよい。例えば、被写体の顔の大きさが縦長さと横長さとがほぼ同じ値であったとき、被写体の顔は丸みを帯びていると判断し、円形の近傍画素範囲を設定する。近傍画素範囲の形は、正方形や長方形、円形だけでなく、上下左右の４近傍で表される十字型や、斜めのみの４近傍で表されるクロス型など、別の画素の組み合わせでもよい。被写体に合わせて近傍画素範囲の形を変更することで、被写体に適した近傍範囲で画像処理を行うため、画像生成部は生成される画質を向上させることができ好適である。

以下、上記動作の流れを図１１に示すフローチャートを用いて説明をする。

まず、ステップＳ１１０１では、画像処理装置９０１は、撮像部１０３または記憶部１０５から画像を取り込む。次に、ステップＳ１１０２では、ステップ１１０１にて取り込まれた画像から、顔検出部９０３が顔の大きさを検出する。この処理は、上述した顔検出処理に該当する。次に、ステップＳ１１０３では、ステップＳ１１０２にて検出された顔の大きさから、近傍画素範囲決定部９０４が近傍画素範囲を決定する。この処理は、上述した近傍画素範囲決定処理に該当する。次に、ステップＳ１１０４では、ステップＳ１１０１にて取り込んだ画像とステップＳ１１０３にて決定した近傍画素範囲とから、暗部画素抽出部１０７が暗部画素を抽出する。次に、ステップＳ１１０５では、ステップＳ１１０４にて抽出された暗部画素を、暗部画素補正部１０８が補正する。次に、ステップＳ１１０６では、記憶部１０５から暗部画素テンプレートを取得する。次に、ステップＳ１１０７では、ステップＳ１１０６にて取得した暗部画素テンプレートを用いて、暗部モデル生成部１０９は暗部モデルを生成する。次に、ステップＳ１１０８では、ステップＳ１１０７にて生成された暗部モデルを用いて、画像生成部１１０が、暗部画素補正後の画像に暗部モデルを付与し、照明位置を変更して撮像したかのような画像を生成する。そして、ステップＳ１１０９では、ステップＳ１１０８にて生成した画像を、画像生成部１１０が表示部１０４に出力する。以上が画像処理装置９０１の動作の流れである。以上のようにして、第２実施例の画像表示装置９０２は動作する。

上述した本発明に係る画像処理装置９０１を備える画像表示装置９０２によれば、被写体の大きさに基づき抽出する暗部画素の範囲を制御するので、好ましい暗部画素を残しながら不必要とされる暗部画素を補正した画像に所望の暗部画素を付与することができ、好適な立体感を有する画像を表示することができる。

なお、本発明は、上述した実施例によって限定的に解釈されるものではなく、特許請求の範囲に記載した事項の範囲内で、種々の変更が可能であり本発明の技術的範囲に含まれる。

本発明による画像処理装置で動作するプログラムは、本発明に関わる上記実施例の機能を実現するように、ＣＰＵ等を制御するプログラム（コンピュータを機能させるプログラム）であっても良い。そして、これら装置で取り扱われる情報は、その処理時に一時的にＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）に蓄積され、その後、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの各種ＲＯＭやＨＤＤに格納され、必要に応じてＣＰＵによって読み出し、修正・書き込みが行われる。

また、図１の各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、ＣＰＵなどが実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）および周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。

また、上述した実施例における画像処理装置の一部、または全部を典型的には集積回路であるＬＳＩとして実現してもよい。画像処理装置の各機能ブロックは個別にチップ化してもよいし、一部、または全部を集積してチップ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いることも可能である。

また、上述の実施例において、制御線および情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。
〔まとめ〕
本発明の態様１に係る画像処理装置は、対象画像から１又は複数の暗部画素を抽出する暗部画素抽出部１０７と、前記１又は複数の暗部画素を、上記対象画像のコントラストの変化を抑制するように補正することによって補正画像を生成する暗部画素補正部１０８と、前記暗部画素に基づいて暗部モデルを生成する暗部モデル生成部１０９と、
前記補正画像に対して、前記暗部モデルを構成する暗部画素を付与する画像生成部１１０と、を備えている。

上記の構成によれば、上記１又は複数の暗部画素を上記対象画像のコントラストの変化を抑制するように補正することによって生成した補正画像に対して上記暗部モデルを構成する暗部画素を付与するので、好適な立体感を有する画像を生成することができる。また、上記構成は、被写体が動く場合にも容易に適用できる。

本発明の態様２に係る画像処理装置では、上記態様１において、前記暗部画素抽出部１０７は、前記対象画像における注目画素と当該注目画素の近傍に位置する近傍画素との色差及び輝度差の少なくとも何れかに応じて、当該注目画素を暗部画素として抽出することが好ましい。

上記の構成によれば、暗部画素を好適に抽出することができる。

本発明の態様３に係る画像処理装置では、上記態様２において、前記暗部画素抽出部１０７は、注目画素と近傍画素との色差が色差に関する閾値よりも小さく、かつ近傍画素の輝度から注目画素の輝度を引いた輝度差が正の値でありかつ輝度差に関する閾値よりも小さい場合に注目画素を暗部画素として抽出することが好ましい。

上記の構成によれば、暗部画素をより好適に抽出することができる。

本発明の態様４に係る画像処理装置では、上記態様１〜３において、前記画像生成部１１０は、前記暗部モデルを適用する前記補正画像上の画素の総数に応じて、前記暗部モデルの明るさ、または、前記暗部モデルを適用した後の画像の明るさを変化させることが好ましい。

上記の構成によれば、人間の色の見え方を考慮した自然な暗部モデル付与を行うことができる。

本発明の態様５に係る画像処理装置では、上記態様１〜４において、前記画像生成部１１０は、前記暗部モデルの明るさと前記暗部モデルを付与する前記補正画像上の画素の色相とに応じて、前記暗部モデルの色相、または、前記暗部モデルを適用した後の画像の色相を変化させることが好ましい。

上記の構成によれば、人間の色の見え方を考慮した自然な暗部モデル付与を行うことができる。

本発明の態様６に係る画像処理装置は、上記態様１〜５において、画像から被写体の顔の大きさ情報を検出する顔検出部９０３と、前記顔の大きさ情報から前記暗部画素抽出部１０７における近傍画素が取りうる範囲を決定する近傍画素範囲決定部９０４と、をさらに備え、前記暗部画素抽出部１０７は前記決定された範囲内の画素を近傍画素とすることが好ましい。

上記の構成によれば、被写体に適した近傍範囲を設定するので、生成される画像の画質を向上させることができる。

本発明の態様７に係る画像処理方法は、対象画像から１又は複数の暗部画素を抽出する暗部画素抽出ステップと、前記１又は複数の暗部画素を、上記対象画像のコントラストの変化を抑制するように補正することによって補正画像を生成する暗部画素補正ステップと、前記暗部画素に基づいて暗部モデルを生成する暗部モデル生成ステップと、前記補正画像に対して、前記暗部モデルを構成する暗部画素を付与する画像生成ステップと、を含んでいる。

上記の構成によれば、上記態様１と同様の効果を奏する。

１０１ 画像処理装置
１０２ 画像表示装置
１０３ 撮像部
１０４ 表示部
１０５ 記憶部
１０６ 入出力部
１０７ 暗部画素抽出部
１０８ 暗部画素補正部
１０９ 暗部モデル生成部
１１０ 画像生成部
９０３ 顔検出部
９０４ 近傍画素範囲決定部

Claims (4)

1. 対象画像から１又は複数の暗部画素を抽出する暗部画素抽出部と、
   前記対象画像の暗部画素と暗部画素以外の画素との画素値の差を小さくするように前記１又は複数の暗部画素を補正する暗部画素補正部と、
   前記対象画像の暗部画素、または、予め設定された暗部モデルに基づいて、前記暗部画素補正部が補正した前記対象画像に暗部画素を付与する画像生成部と、
   を備え、
   前記暗部画素抽出部は、前記対象画像における注目画素と当該注目画素の近傍に位置する近傍画素との色差が色差に関する閾値よりも小さく、かつ、近傍画素の輝度から注目画素の輝度を引いた輝度差が正の値であり、輝度差に関する閾値よりも小さい場合に注目画素を暗部画素として抽出することを特徴とする画像処理装置。
2. 対象画像から１又は複数の暗部画素を抽出する暗部画素抽出部と、
   前記対象画像の暗部画素と暗部画素以外の画素との画素値の差を小さくするように前記１又は複数の暗部画素を補正する暗部画素補正部と、
   予め設定された暗部モデルに基づいて、前記暗部画素補正部が補正した前記対象画像に暗部画素を付与する画像生成部と、
   を備え
   前記画像生成部は、前記暗部モデルに基づいて前記暗部画素を付与する前記対象画像上の画素の総数に応じて、前記暗部モデルの明るさ、または、前記暗部モデルに基づいて前記暗部画素を付与した後の前記対象画像の明るさを変化させることを特徴とする画像処理装置。
3. 対象画像から１又は複数の暗部画素を抽出する暗部画素抽出部と、
   前記対象画像の暗部画素と暗部画素以外の画素との画素値の差を小さくするように前記１又は複数の暗部画素を補正する暗部画素補正部と、
   予め設定された暗部モデルに基づいて、前記暗部画素補正部が補正した前記対象画像に暗部画素を付与する画像生成部と、
   を備え、
   前記画像生成部は、前記暗部モデルの明るさと、前記暗部モデルに基づいて前記暗部画
   素を付与する前記対象画像上の画素の色相とに応じて、前記暗部モデルの色相、または、前記暗部モデルに基づいて前記暗部画素を付与した後の前記対象画像の色相を変化させることを特徴とする画像処理装置。
4. 対象画像から１又は複数の暗部画素を抽出する暗部画素抽出部と、
   前記対象画像の暗部画素と暗部画素以外の画素との画素値の差を小さくするように前記１又は複数の暗部画素を補正する暗部画素補正部と、
   前記対象画像の暗部画素、または、予め設定された暗部モデルに基づいて、前記暗部画素補正部が補正した前記対象画像に暗部画素を付与する画像生成部と、
   画像から被写体の顔の大きさ情報を検出する顔検出部と、
   前記顔の大きさ情報から前記暗部画素抽出部における近傍画素が取りうる範囲を決定する近傍画素範囲決定部と、
   を備え、
   前記暗部画素抽出部は前記決定された範囲内の画素を近傍画素とすることを特徴とする画像処理装置。

Images