JP6745658B2 - 画像処理装置及び画像処理方法、並びにプログラム - Google Patents

Description

本発明は、被写体に生じるハイライト領域を補正する画像処理技術に関する。

従来、人物撮影において、光源・人物・撮像装置の位置関係によっては、人物の肌の一部にハイライト領域が生じる場合がある。ハイライト領域とは、光源から照射された光が被写体の表面で反射することにより、被写体の一部が白くなる領域のことである。ハイライト領域は、画像を見る側に対して良くない印象を与える場合がある。これに対して、特許文献１には、ハイライト領域に対して、ハイライト領域の最も明るい領域から周囲に向けて周囲の色に徐々に近づくように塗りつぶす技術が記載されている。

特開２０１３−１６１３４８号公報

上記特許文献１により肌のハイライト領域を抑えることは可能である。しかしながら、ハイライト領域の色を徐々に周囲の色に近づけていく場合、陰影の付き方や化粧の具合によって周囲の肌領域の色が適切でないと、周囲の肌領域から適切な補色を算出できず、ハイライト領域から補色を減算しても適切な色に補正することができない可能性がある。

本発明は、上記課題に鑑みてなされ、その目的は、ハイライト領域を適切な色に補正することができる画像処理技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の画像処理装置は、取得した画像から被写体領域を検出する被写体領域検出手段と、前記被写体領域検出手段により検出された被写体領域の法線情報を取得する法線情報取得手段と、前記被写体領域検出手段により検出された被写体領域におけるハイライト領域を検出するハイライト領域検出手段と、前記被写体領域の法線情報に基づいて、ハイライト領域を補正する際に参照する被写体領域を設定し、ハイライト補正処理を行うハイライト補正手段と、を有し、前記ハイライト補正手段は、前記被写体領域の法線情報と、前記ハイライト領域の法線情報とを比較し、前記被写体領域の法線方向と、前記ハイライト領域の法線方向とのなす角度が所定の閾値より小さい領域を参照する被写体領域として設定する。

本発明によれば、被写体領域の法線情報に基づいて、ハイライト領域を補正する際に参照する被写体領域を決定することによって、ハイライト補正後の肌の色が適切な色に補正される。

本実施形態の装置構成を示すブロック図。 図１の画像処理部の構成を示すブロック図。 本実施形態の画像処理部によるハイライト補正処理を示すフローチャート。 本実施形態の法線テンプレートを例示する図。 ハイライト領域が１つの場合（ａ）と複数の場合（ｂ）を例示する図。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。

［実施形態１］以下、本実施形態の画像処理装置として、例えば、デジタルカメラ等の撮像装置に適用した例について説明する。

＜装置構成＞図１を参照して、本発明に係る実施形態の撮像装置の構成及び機能の概略について説明する。

本実施形態の撮像装置１００は、画像から被写体領域を検出し、検出した被写体領域の法線情報を用いて参照する被写体領域を決定することによって、ハイライト領域の補正を行う機能を有する。

図１において、撮影レンズ１０１はズームレンズ、フォーカスレンズを含むレンズ群である。シャッター１０２は絞り機能を備える。撮像部１０３は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。Ａ／Ｄ変換器１０４は、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器１０４は、撮像部１０３から出力されるアナログ信号をデジタル信号に変換する。

画像処理部１０５は、Ａ／Ｄ変換器１０４からのデータ、または、メモリ制御部１０７からのデータに対し所定の画素補間、リサイズ処理、色処理やガンマ処理を行い、ベイヤーＲＧＢデータ、ＡＣＥＳ＿ＲＧＢ信号、輝度・色差信号Ｙ、Ｒ−Ｙ、Ｂ−Ｙのいずれかを出力する。また、画像処理部１０５では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部１５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部１０５では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。また、画像処理部１０５は、図２〜図５で後述するハイライト補正処理を行う。なお、ハイライト領域とは、光源から照射された光が被写体の表面で反射することにより、被写体の一部が白くなる領域のことである。

Ａ／Ｄ変換器１０４からの出力データは、画像処理部１０５及びメモリ制御部１０７を介して、或いは、メモリ制御部１０７を介して画像メモリ１０６に直接書き込まれる。画像メモリ１０６は、撮像部１０３によって得られＡ／Ｄ変換器１０４によりデジタルデータに変換された画像データや、表示部１０９に表示するための画像データを格納する。画像メモリ１０６は、所定枚数の静止画像や所定時間の動画および音声を格納するのに十分な記憶容量を備えている。

また、画像メモリ１０６は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１０８は、画像メモリ１０６に格納されている画像表示用のデータをアナログ信号に変換して表示部１０９に供給する。こうして、画像メモリ１０６に書き込まれた表示用の画像データはＤ／Ａ変換器１０８を介して表示部１０９により表示される。表示部１０９は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１０８からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器１０４によって一度Ａ／Ｄ変換され画像メモリ１０６に蓄積されたデジタル信号をＤ／Ａ変換器１０８においてアナログ変換し、表示部１０９に逐次転送して表示することで、電子ビューファインダ（ＥＶＦ）として機能し、スルー画像表示を行える。

コーデック部１１０は、画像メモリ１０６に書き込まれた画像データをＭＰＥＧやＨ．２６４等の所定のビットレートおよびフォーマットで圧縮符号化して映像ファイルを生成し、記録媒体１１２に記録する。また、コーデック１１０は、記録媒体１１２に記録されている映像ファイルを所定のビットレートおよびフォーマットで復号し、画像メモリ１０６に格納する。

記録媒体Ｉ／Ｆ１１１は、記録媒体１１２へのアクセスを制御するインターフェースである。記録媒体１１２は、撮影された画像データを記録するための内蔵および／または外付けのメモリカードやＨＤＤ（ハードディスクドライブ）等である。

操作部１２０は、ユーザからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材であり、電源スイッチ、シャッターボタン、録画開始・終了ボタン等を含む。システム制御部１５０に各種の操作状態を通知する。また、操作部１２０の各操作部材は、表示部１０９に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部１０９に表示される。ユーザは、表示部１０９に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。

電源制御部１２２は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源部１２３は、その検出結果及びシステム制御部１５０からの制御指令に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１１２を含む各部へ供給する。

電源部１２３は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。

不揮発性メモリ１２４は、電気的に消去・記録可能な、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ１２４には、システム制御部１５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは主として、後述するフローチャートを実行するためのプログラムのことである。

通信部１２８は、外部機器と通信するためのＵＳＢなどのインターフェースであり、外部機器は、例えば、サーバ、パーソナルコンピュータ、スマートフォン、カメラ、プリンタその他の電子機器である。撮像装置１００は、通信部１２８を介して、外部機器とデータの授受を行うことができる。例えば、撮像部１０３で生成された画像データを、通信部１２８を介して外部機器に送信したり、外部機器から画像データや更新プログラムなどを受信することができる。

測距センサ１２７は、被写体までの距離を計測し、撮影画素の画素単位に対応する距離情報を２次元の距離マップ画像として出力する。

システム制御部１５０は、不揮発性メモリ１２４に格納されたプログラムを実行することで、後述するフローチャートの各処理を実現する。１２６はシステムメモリであり、ＲＡＭが用いられる。システムメモリ１２６には、システム制御部１５０の動作用の定数、変数、不揮発性メモリ１２４から読み出したプログラム等を展開する。また、システム制御部１５０は画像メモリ１０６、Ｄ／Ａ変換器１０８、表示部１０９等を制御することにより表示制御も行う。システムタイマ１２５は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

＜画像処理部によるハイライト補正処理＞次に、図２から図５を参照して、本実施形態の画像処理部１０５の構成及び機能について説明する。

図２に示すように、画像処理部１０５は、被写体領域検出部２０１、法線情報取得部２０２、ハイライト領域検出部２０３、およびハイライト補正部２０４を備える。

次に、図３から図５を参照して、図２の構成を備える画像処理部１０５によるハイライト補正処理について説明する。

なお、図３の処理は、不揮発性メモリ１２４に格納されたプログラムをシステムメモリ１２６に展開してシステム制御部１５０が実行し、システム制御部１５０が画像処理部１０５を制御することにより実現する。

図３において、ユーザにより電源スイッチ１２１がオンされると、撮像装置１００が起動する。

Ｓ３０１では、被写体領域検出部２０１が、撮像した画像から顔領域を検出する。顔領域の検出処理は既存の方法を用いる。例えば、目や口などの器官を検出して顔領域を検出する。なお、対象画像は、撮像装置１００で撮像した画像に限らず、記録媒体１１２から読み出した画像や通信部１２８により外部機器から取得した画像であってもよい。

Ｓ３０２では、法線情報取得部２０２が、図４に示す法線テンプレートを参照してＳ３０１で検出した顔領域の法線情報を取得する。

Ｓ３０３では、ハイライト領域検出部２０３が、顔領域の中で輝度の高い領域をハイライト領域として検出する。

Ｓ３０４では、ハイライト補正部２０４が、Ｓ３０２で取得した法線情報を参照して、Ｓ３０３で検出したハイライト領域の法線方向Ｎ１を算出する。

Ｓ３０５では、ハイライト補正部２０４が、Ｓ３０４で算出した法線方向Ｎ１と、ハイライト領域を除く顔領域の各画素の法線方向を比較して、参照する顔領域を設定する。

Ｓ３０６では、ハイライト補正部２０４が、Ｓ３０５で設定した参照する顔領域の肌の補色を算出する。

Ｓ３０７では、ハイライト補正部２０４が、Ｓ３０６で算出した肌の補色を参照して、ハイライト補正処理を行う。

次に、Ｓ３０２〜Ｓ３０７におけるハイライト補正処理の詳細について説明する。

Ｓ３０２の法線情報取得処理では、法線情報取得部２０２は、図４に示すような法線テンプレートを用いて、撮像した画像の顔領域の法線情報を取得する。図４に示す法線テンプレートは、顔が正面を向いている場合の法線情報を例示している。

実際に撮像された画像では、顔が正面を向いているとは限らないので、法線テンプレートを参照して、画像の顔の向きに合わせた法線情報を求める必要がある。法線情報を算出するには、画像された顔の向きが正面方向から何度傾いているかを示す角度情報がわかればよい。角度情報の算出方法としては、公知の技術を用いる。例えば、特開２０１４−１１５８５９号公報に記載されているように目や鼻などの器官の位置関係から角度情報を算出する方法がある。算出した角度情報に応じて法線テンプレートを回転させることによって撮影された顔領域の法線情報を取得する。

Ｓ３０３のハイライト領域検出処理では、ハイライト領域検出部２０３により顔領域中の高輝度領域を検出する。高輝度領域を検出する方法としては、顔領域の各画素の輝度が、所定の閾値Ｔ１以上であるか否かで検出する。閾値Ｔ１は、例えば顔領域の平均輝度を用いることができるが、これに限らず、他の決定方法を用いてもよい。抽出した各画素が隣接する場合は、同一のハイライト領域として扱う。この処理によって顔領域の各画素のうち、輝度が閾値Ｔ１以上である画素がハイライト領域として抽出される。なお、本実施形態では、図５（ａ）に示すようにハイライト領域が１つ検出される場合について説明する。

Ｓ３０４のハイライト領域法線方向算出処理では、ハイライト補正部２０４によりハイライト領域の法線方向Ｎ１を算出する。この処理では、ハイライト領域として検出された各画素の法線方向を平均した値を用いる。例えば、以下のように法線方向Ｎ１を求めることができる。

各画素の法線方向Ｎは３次元上で式１で表すことができる。

Ｎ＝（Ｎｘ，Ｎｙ，Ｎｚ）・・・（１）
ハイライト領域に含まれる画素数をｉ１とすると、ハイライト領域の法線方向Ｎ１は、式２のように求まる。

Ｎ１＝（ＡｖｇＮｘ，ＡｖｇＮｙ，ＡｖｇＮｚ）・・・（２）
ＡｖｇＮｘ＝ΣＮｘ／ｉ１
ＡｖｇＮｙ＝ΣＮｙ／ｉ１
ＡｖｇＮｚ＝ΣＮｚ／ｉ１
Ｓ３０５の顔領域設定処理では、ハイライト補正部２０４がハイライト補正を行う際に参照する顔領域を設定する。この処理では、Ｓ３０４で算出したハイライト領域の法線方向Ｎ１と、ハイライト領域を除く顔領域中の各画素の法線方向Ｎを比較して、参照する顔領域を設定する。Ｎ１とＮとの方向が近ければ、Ｎに対応する画素を参照する顔領域として設定する。

具体的には、法線方向Ｎ１とＮとのなす角θを求め、θが所定の閾値Ｔ２よりも小さくなる領域を参照する顔領域として検出する。Ｎ１及びＮを用いると、ｃｏｓθを以下の式３で表すことができる。

ｃｏｓθ＝＜Ｎ１，Ｎ＞／（｜｜Ｎ１｜｜×｜｜Ｎ｜｜）・・・（３）
ここで、＜ａ，ｂ＞はａとｂの内積を、｜｜ａ｜｜はａのノルムをそれぞれ表すものとする。式３からｃｏｓθが求められるので、逆三角関数を用いてθが求められる。求めたθが閾値Ｔ２よりも小さい場合、対応する画素を参照する顔領域とする。

Ｓ３０６の補色算出処理では、ハイライト補正部２０４は、Ｓ３０５で設定した参照する顔領域の肌の補色を算出する。この処理では、参照する顔領域として設定された各画素の色を平均して肌色を算出し、更にその補色を算出する。例えば、以下の式４で肌色Ｃｓの補色Ｃｃを算出する。

各画素の色をＲＧＢ空間上で（Ｒ，Ｇ，Ｂ）、参照する顔領域に含まれる画素数をｉ２とすると、参照する顔領域の肌色Ｃｓは、以下の式４から求められる。

Ｃｓ＝（ＡｖｇＲ，ＡｖｇＧ，ＡｖｇＢ）・・・（４）
ＡｖｇＲ＝ΣＲ／ｉ２
ＡｖｇＧ＝ΣＧ／ｉ２
ＡｖｇＢ＝ΣＢ／ｉ２
ここで、Ｒ，Ｇ，Ｂはそれぞれ０〜２５５の範囲の値をとるものとする。

Ｒ，Ｇ，Ｂは０〜２５５の範囲の値をとるので、肌色Ｃｓの補色Ｃｃは、以下の式５から求められる。

Ｃｃ＝（２５５−ＡｖｇＲ，２５５−ＡｖｇＧ，２５５−ＡｖｇＢ）・・・（５）
Ｓ３０７のハイライト補正処理では、ハイライト補正部２０４が、Ｓ３０６で算出した補色Ｃｃを参照して、Ｓ３０３で検出されたハイライト領域に対してハイライト補正を行う。この処理では、以下の式６のように、ハイライト補正前の各画素の色Ｃｈから、補色Ｃｃに係数ｋｙを乗算した値を減算して、ハイライト補正後の各画素の色ＣＨを算出する。

ＣＨ＝Ｃｈ−ｋｙ×Ｃｃ・・・（６）
乗算する係数ｋｙは適宜決められるが、本実施形態では、以下の式７のようにハイライト領域の各画素の輝度Ｙｈに基づいて決定する。

ｋｙ＝α×（Ｙｈ／２５５）・・・（７）
ここで、輝度Ｙｈは０〜２５５の範囲で表すとする。また、αは０〜１の範囲をとる値であり、ハイライト補正の度合いを調節するために用いる。αの値はユーザが適宜決めてもよい。

なお、本実施形態では、ハイライト領域の法線方向の算出方法として、ハイライト領域に含まれる全画素の法線方向を平均する方法を用いたが、これに限らず、例えばハイライト領域中で最も輝度の高い画素の法線方向をハイライト領域の法線方向としてもよい。

また、本実施形態では、法線情報の取得方法として、法線テンプレートを使用したが、これに限らず、例えば距離情報取得部としての測距センサ１２７から出力される距離マップ画像を使用して法線情報を取得してもよい。

なお、本実施形態では、図５（ａ）のようにハイライト領域が１つの場合について説明したが、図５（ｂ）のように複数のハイライト領域が検出された場合でも同様にハイライト補正処理を行うことができる。この場合、検出されたハイライト領域ごとにＳ３０４からＳ３０７の処理を繰り返し行えばよい。

また、ハイライト領域が複数検出された際に、あるハイライト領域の法線方向が求められない場合、同じ光源によって生じた他のハイライト領域の参照する顔領域を使用してもよい。例えば、図５（ｂ）において、ハイライト領域５０２と５０３が同じ光源によって生じたハイライト領域であり、かつハイライト領域５０２は白飛びしていて法線情報が求められないが、ハイライト領域５０３は白飛びせず法線情報が求められているとする。この場合、ハイライト領域５０３に設定した参照する顔領域を、ハイライト領域５０２で参照する顔領域として使用すればよい。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…撮像装置、１０５…画像処理部、２０１…被写体領域検出部、２０２…法線情報取得部、２０３…ハイライト領域検出部、２０４…ハイライト補正部

Claims (8)

1. 取得した画像から被写体領域を検出する被写体領域検出手段と、
   前記被写体領域検出手段により検出された被写体領域の法線情報を取得する法線情報取得手段と、
   前記被写体領域検出手段により検出された被写体領域におけるハイライト領域を検出するハイライト領域検出手段と、
   前記被写体領域の法線情報に基づいて、ハイライト領域を補正する際に参照する被写体領域を設定し、ハイライト補正処理を行うハイライト補正手段と、を有し、
   前記ハイライト補正手段は、前記被写体領域の法線情報と、前記ハイライト領域の法線情報とを比較し、前記被写体領域の法線方向と、前記ハイライト領域の法線方向とのなす角度が所定の閾値より小さい領域を参照する被写体領域として設定することを特徴とする画像処理装置。
2. 前記法線情報取得手段は、所定の法線テンプレートを用いて前記被写体領域の法線情報を取得することを特徴とする請求項１に記載の画像処理装置。
3. 被写体までの距離情報を取得する距離情報取得手段をさらに有し、
   前記法線情報取得手段は、前記距離情報に基づいて前記被写体領域の法線情報を取得することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記ハイライト補正手段は、前記ハイライト領域検出手段により複数のハイライト領域が検出された場合には、検出されたハイライト領域ごとに参照する被写体領域を設定してハイライト補正処理を行うことを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
5. 前記法線情報取得手段により前記ハイライト領域の法線情報が取得できない場合に、前記ハイライト補正手段は、同じ光源によって生じた他のハイライト領域の法線情報が取得できた場合には、当該他のハイライト領域が参照する被写体領域を用いてハイライト補正処理を行うことを特徴とする請求項１、２、４のいずれか１項に記載の画像処理装置。
6. 画像を撮像する撮像手段をさらに有し、
   前記取得した画像は、前記撮像手段により撮像した画像であることを特徴とする請求項１ないし５のいずれか１項に記載の画像処理装置。
7. 被写体領域検出手段が、取得した画像から被写体領域を検出する被写体領域検出工程と、
   法線情報取得手段が、前記被写体領域検出工程により検出された被写体領域の法線情報を取得する法線情報取得工程と、
   ハイライト領域検出手段が、前記被写体領域検出工程により検出された被写体領域におけるハイライト領域を検出するハイライト領域検出工程と、
   ハイライト補正手段が、前記被写体領域の法線情報に基づいて、ハイライト領域を補正する際に参照する被写体領域を設定し、ハイライト補正処理を行うハイライト補正工程と、を有し、
   前記ハイライト補正工程では、前記被写体領域の法線情報と、前記ハイライト領域の法線情報とを比較し、前記被写体領域の法線方向と、前記ハイライト領域の法線方向とのなす角度が所定の閾値より小さい領域を参照する被写体領域として設定することを特徴とする画像処理方法。
8. コンピュータを、請求項１から６のいずれか１項に記載の画像処理装置の各手段として機能させるための、コンピュータにより読み取り可能なプログラム。