JP5744490B2

JP5744490B2 - 画像処理方法、画像処理装置、記憶媒体及びプログラム

Info

Publication number: JP5744490B2
Application number: JP2010268755A
Authority: JP
Inventors: 健造久
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-12-01
Filing date: 2010-12-01
Publication date: 2015-07-08
Anticipated expiration: 2030-12-01
Also published as: JP2012119997A

Description

本発明は撮像装置により得られた画像データの画像処理に関し、特に顔等の特定被写体検出時の階調表現の手法に関する。

従来のデジタルビデオカメラはモニタのガンマ特性に対して補正するためにガンマ補正回路を備えているのが一般的である。ガンマ補正回路でモニタの逆ガンマ特性をそのまま設定し、露出を適正にすると、ダイナミックレンジが低く、高輝度部が白飛びしやすい。そこで、高輝度部は階調を犠牲にしてモニタの逆ガンマ特性よりも抑圧された特性にすることにより、階調表現できるダイナミックレンジを広げる処理を行っている。

さらに高輝度部の映像表現良くするために、適応的に高輝度部の階調を変更するオートニー制御やダイナミックレンジ制御が考案されている。オートニー制御は高輝度部の信号量が多ければ高輝度部の非線形特性の傾きを大きくし、高輝度部の階調表現を高める手法である。また、ダイナミックレンジ制御は高輝度部の信号量が多ければ、露出を下げ、ダイナミックレンジを広げ、ガンマ補正回路でより高輝度部の階調を表現できるような非線形特性になるように変更する手法である。オートニー制御に比べ、露出の変更を行うため、より高輝度な被写体を表現することができる。さらに特許文献１では上記手法に加え、高輝度部の信号量に加え、顔の白飛び量からダイナミックレンジ拡大量を決定する手法が考案されている。この手法では顔や背景の白飛びが多いとダイナミックレンジを拡大するため、顔や背景の白飛びを防ぐことができる。

特開２０１０−１８３４６０号公報

しかしながら、上記の手法では高輝度部の階調性を良くするために、他の部分の階調性を落としている。例えば顔のような見慣れた特定の被写体の階調性が落ちると、出力映像を鑑賞する際に違和感を感じやすく、階調の劣化を極力防ぎたい。

本発明は、上述した問題点を解決するためのものであり、特定の被写体の劣化を極力防いだ状態で、画像全体に適したダイナミックレンジ拡大を行うようにする。

上述した課題を解決するために、本発明の画像処理方法は、画像データから特定の被写体を検出する検出ステップと、検出された被写体の輝度信号から被写体の明るさを示す第１の代表値を取得する第１の取得ステップと、前記画像データから輝度信号が所定の閾値を超える高輝度部の明るさを示す第２の代表値を取得する第２の取得ステップと、前記第１の代表値及び前記第２の代表値に基づいて、予め備えた複数の非線形特性の中から１つの非線形特性を選択する選択ステップと、選択された非線形特性に応じて、画像データのガンマ補正を行うガンマ補正ステップと、を有することを特徴とする。

本発明によれば、特定の被写体の劣化を極力防いだ状態で、画像全体に適したダイナミックレンジ拡大を行うことができる。

本発明の実施の形態におけるデジタルビデオカメラの構成を概略的に示す図の一例である。第１の実施形態における非線形特性の決定方法を示すフローチャートである。第１及び第２の実施形態における入射光に対するガンマ補正回路の出力の非線形特性を例示した図である。第２の実施形態における非線形特性の決定方法を示すフローチャートである。

以下、図面を参照して、本発明に係る実施の形態を説明する。

＜第１の実施形態＞
図１に本実施形態における画像処理方法を実行可能なデジタルビデオカメラの概略構成図を示す。図示のデジタルビデオカメラは、アイリス及びレンズを備える光学系１０１、撮像部１０２、アナログフロントエンド（ＡＦＥ）１０３、信号処理部１０４、ガンマ補正回路１０５、検波部１０６、顔検出部１０７、システム制御部１０８を有している。

システム制御部１０８は、光学系１０１、撮像部１０２、ＡＦＥ１０３、ガンマ補正回路１０５、検波部１０６、顔検出部１０７を制御する。また、システム制御部１０８は検波部１０６、顔検出部１０７より検波信号を得る。光学系１０１は光量調性に使用するアイリス、結像やズーミングを行うレンズを有している。

撮像部１０２は、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサーまたはＣＣＤイメージセンサー（図示せず）等の撮像素子を有している。また、撮像部１０２にはタイミングジェネレータ（ＴＧ）も含まれている。

被写体（図示せず）を撮影すると、光学系１０１を通過した光が、撮像部１０２内の撮像素子上に結像される。そして、撮像素子は、結像による像を光電変換して、アナログ画像信号として出力する。この際、システム制御部１０８によって定められたシャッタースピードでアナログ画像信号を撮像部１０２から出力する。

ＡＦＥ１０３では、このアナログ画像信号をアナログ−デジタル（Ａ／Ｄ）変換して、デジタル画像信号（以下、画像データと呼ぶ）とする。また、撮影状況に応じて信号の増幅も行われる。例えば、暗い被写体の時は信号の増幅値を大きくして、出力を上げる。ＡＤ変換や信号増幅が行われた画像データは、信号処理部１０４に与えられる。

信号処理部１０４では黒レベルの補正、ホワイトバランスの調整やエッジ補正等が行われる。信号処理部１０４を経た画像データはガンマ補正回路１０５に送られる。

ガンマ補正回路１０５では信号が非線形変換される。非線形変換の特性は撮影モードや被写体、撮影条件に応じて、システム制御部１０８があらかじめ記憶している非線形特性より選択し、ガンマ補正回路１０５に設定する。

非線形変換された画像データはビデオ信号処理され、ＬＣＤやビューファインダー等の表示装置（図示せず）やモニタアウトとして出力される。

検波部１０６は、信号処理部１０４より出力された画像データは検波し、システム制御部１０８の指定に基づき、露出制御用の代表値や高輝度信号量を示す代表値を、システム制御部１０８に出力する。

露出制御用の代表値は例えば、１フレームの画面全体の輝度信号の平均値である。また、１フレームの画面を複数の枠に分割して枠ごとの輝度の平均値を取得し、枠に重みを付けた平均値としても良い。

高輝度信号量を示す代表値は、あるフレームにおける高輝度部の信号量を表す値となる。例えば、予め閾値を決めておき、その閾値を超えた輝度信号の積分値を代表値とする。

顔検出部１０７では信号処理部１０４より出力された画像データに対して顔検出処理を施し、顔の位置、大きさを検出する。検出された顔の位置、大きさよりおおよその顔の領域が枠として設定される。設定された枠の中の信号より、例えば枠の中の輝度信号の平均値等の顔の代表値を取得する。取得された代表値はシステム制御部１０８に送信される。

顔検出処理としては、例えば、画像データで表される各画素の階調色から、肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔を検出する方法が知られている。また、周知のパターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することで顔を検出する方法等がある。本発明の顔検出処理は、本実施形態により限定されるものではなく、どのような手法を用いても構わない。また、本発明は、人物の顔に限らず、特定の被写体であればよい。例えば、顔検出部の代わりに動体検出部を設け、フレーム差分等から検出した動体を特定の被写体としてもよい。

システム制御部１０８では検波部１０６より取得した、露出制御用の代表値を使用して、光学系１０１に含まれるアイリスの開口量、撮像部１０２で設定されるシャッタースピード、ＡＦＥ１０３で設定されるゲイン値を決定する。あらかじめ目標値を定め、露出制御用の代表値が目標値になるようにアイリス、シャッター、ゲイン値を決める。高輝度信号量や顔の代表値を使用して上記の値を決めても良い。

また、システム制御部１０８では高輝度信号量と顔の代表値より、入射光に対するガンマ補正回路１０５の出力の非線形特性を決定する。決定された非線形特性になるように、露出とガンマ補正回路１０５の非線形特性または、ガンマ補正回路１０５の非線形特性のみを変更する。

図２に、システム制御部１０８が、高輝度信号量と顔の代表値より、入射光に対するガンマ補正回路１０５の非線形特性を決定する手順を説明するためのフローチャートを示す。以下、フローチャートに従って説明を行う。

最初に高輝度信号量の代表値Ｈを取得する（Ｓ２０１）。次にＨに応じた高輝度レベルＬ（白飛び量）を算出する。Ｈが大きいほどＬが高く、小さいほどＬが低い。高輝度レベルＬの数は予め非線形特性を準備している数とする。

図３に本実施形態における非線形特性の例を示す。本実施形態では３種類の非線形特性３０１、３０２、３０３を予め準備しているものとする。参考のためにモニタの逆ガンマ特性３００も記載している。非線形特性の数は特に限定するものではなく、例示した３種類の非線形特性の間の非線形特性を複数準備しても良い。

図３に示す非線形特性は入射光に対するガンマ補正回路１０５の出力の特性である。所望の非線形特性を実現する際に、ガンマ補正回路１０５の非線形特性のみで実現しても良いし、露出の変更とガンマ補正回路１０５の非線形特性の変更を組み合わせて実現しても良い。

高輝度レベルＬ１、２、３に対応する非線形特性はそれぞれ３０１、３０２、３０３となる。非線形特性３０１、３０２、３０３の入力最大光量はＸ_ｍａｘ１、Ｘ_ｍａｘ２（＝１．５×Ｘ_ｍａｘ１）、Ｘ_ｍａｘ３（＝２×Ｘ_ｍａｘ１）であり出力最大信号は全てＹ_ｍａｘとなる。また、モニタの逆ガンマ特性３００に対して非線形特性３０１、３０２、３０３はそれぞれ（Ｘ_１、Ｙ_１）、（Ｘ_２、Ｙ_２）、（Ｘ_３、Ｙ_３）以上で特性が異なる。例示した非線形特性は基本的にはモニタの逆ガンマ特性になっており、上記ポイント以降でモニタの逆ガンマ特性を抑圧した特性となっている。つまり、上記ポイント以降では階調表現が劣化していることを意味している。

次に顔の代表値Ｆを取得する（Ｓ２０３）。次に顔の代表値Ｆに応じた高輝度レベルＬの上限値Ｌ_ｍａｘを選択する（Ｓ２０４）。Ｌ_ｍａｘは非線形特性により予め決められている。本実施形態では以下のように決定されている。顔の代表値Ｆは図３の横軸の値に換算することができる。換算された値をＦ’とする。Ｆ’がＸ_３未満の時Ｌ_ｍａｘを３、Ｆ’がＸ_３以上Ｘ_２未満の時Ｌ_ｍａｘを２、Ｘ_２以上の時Ｌ_ｍａｘを１とする。このように制限すれば、Ｆ’がＸ_３以上Ｘ_２の時に非線形特性３０３が選ばれることが無くなる。またＦ’がＸ_３以上Ｘ_２未満の時に非線形特性３０２、３０３が選ばれることが無くなる。

次にＬとＬ_ｍａｘを比較する（Ｓ２０５）。ＬがＬ_ｍａｘより大きい時ＬをＬ_ｍａｘに変更する（Ｓ２０６）。ＬがＬ_ｍａｘより小さい時はＬをそのまま使用する（Ｓ２０７）。決定されたＬに対応した非線形特性を選択する（Ｓ２０８）。例えば、Ｌが３であったとする。顔の代表値がＸ_３未満であれば、Ｌは３のままとなり、非線形特性は３０３が選択される。顔の代表値はＸ_３未満にあるため顔の階調は抑圧されない。顔の代表値がＸ_３以上Ｘ_２未満であれば、Ｌ_ｍａｘが２となりＬは２となる。そのため非線形特性３０２が選択され、高輝度部の被写体は飛び気味になるが、顔の階調は保たれる。また顔の階調がＸ_２以上の時はＬ_ｍａｘが１であるため、非線形特性３０１が選択される。顔の代表値がＸ_２以上、Ｘ_１未満の時は顔の階調が保たれる。

以上のような手法で非線形特性を選択すれば、顔の階調を極力保つ高輝度レベルの上限値Ｌ_ｍａｘ以下の高輝度レベルＬの中で最適値が選択されるため、顔の階調を極力保ちつつ、高輝度信号を極力表現することができる。

以上説明したように、本実施形態によれば、顔の明るさ情報に基づき、選択する非線形特性に制限を持たせているため、顔の階調の劣化を極力防いだ状態で、画像全体に適した非線形特性を選択し、ダイナミックレンジを拡大させることができる。また、露出と非線形特性を変更して階調表現を変更する際にも、同様の効果を有する。

＜第２の実施形態＞
第１の実施形態では顔の代表値と高輝度部の代表値より、選択された非線形特性となるように露出とガンマ補正回路の設定値を変更している。動画の場合、連続したフレームで非線形特性が大きく変化すると、非線形特性の切り替わりが映像の中に見えてしまう。そこで本実施形態では、動画の生成に適した非線形特性の生成の手法を提案する。

概略構成は第１の実施形態と同様であるため省略する。図４に非線形特性を決定する方法を説明するフローチャートを示す。以下フローチャートに従い本実施形態の制御を説明する。

Ｓ４０１〜Ｓ４０７までのステップでは第１の実施形態と同様の手法で、高輝度信号量Ｈと顔の代表値Ｆより高輝度レベルＬを決定する。本実施形態では、ここで求めたＬを目標の値とし、実際に選択するためのＬ_{ｂｅｆｏｒｅ}を算出する。以前に得られたフレーム、ここでは１枚だけ前フレームで決定したＬをＬ_{ｂｅｆｏｒｅ}とする。決定されたＬとＬ_{ｂｅｆｏｒｅ}を比較する（Ｓ４０８）。

Ｌ_{ｂｅｆｏｒｅ}がＬ未満であれば目標より小さいため、Ｌ_{ｂｅｆｏｒｅ}に１を加算する（Ｓ４０９）。Ｌ_{ｂｅｆｏｒｅ}がＬ以上であれば再度ＬとＬ_{ｂｅｆｏｒｅ}を比較する（Ｓ４１０）。Ｌ_{ｂｅｆｏｒｅ}がＬより大きければ目標より大きいためＬ_{ｂｅｆｏｒｅ}を小さくする必要がある。さらにＬ_{ｂｅｆｏｒｅ}とＬ_ｍａｘを比較する（Ｓ４１１）。

Ｌ_{ｂｅｆｏｒｅ}よりＬ_ｍａｘが小さい時、Ｌ_{ｂｅｆｏｒｅ}に１を減算する（Ｓ４１２）。Ｌ_{ｂｅｆｏｒｅ}よりＬ_ｍａｘが小さい時、顔の階調は所望の階調になっていないため、この場合は通常より速くＬに近づけたい。そこでＬ_{ｂｅｆｏｒｅ}に２を減算する（Ｓ４１３）。ステップ４１０でＬ_{ｂｅｆｏｒｅ}がＬ以上ではないとき、つまりＬ_{ｂｅｆｏｒｅ}がＬと等しい時Ｌ_{ｂｅｆｏｒｅ}の値に対して演算を行わないためそのまま維持される。以上でＬ_{ｂｅｆｏｒｅ}が決まる。Ｌ_{ｂｅｆｏｒｅ}に対応する非線形特性を決定する（Ｓ４１４）。

図３の非線形特性を例に挙げて説明する。現在のＬ_{ｂｅｆｏｒｅ}が１で非線形特性が３０１であったとする。ステップＳ４０６、ステップＳ４０７でＬが３となると通常であれば非線形特性３０３が選択される。しかし急激な変化を避けたいため、次のフレームではＬ_{ｂｅｆｏｒｅ}に１が加算され２となり、非線形特性３０２が選択される。次のフレームでもう一度Ｌが３であれば、Ｌ_{ｂｅｆｏｒｅ}に１が加算され３となり、非線形特性３０３が選択される。図３の例では非線形特性が３種類であるが、さらに細かく非線形特性を準備することで非線形特性の動きを滑らかにすることができる。

本実施形態ではＬ_{ｂｅｆｏｒｅ}に加減する値を１とした。また高速に変更する際には減じる量を２とした。この値は限定されるものではなく、別の値でも良い。また、応答速度が速くなると映像の変化が大きくなるため、顔の階調が所望の階調になっていない状況においても同様の応答速度としても良い。また、ＬとＬ_{ｂｅｆｏｒｅ}の差を見て、差が大きければ応答速度を上げて、差が小さければ応答速度を下げても良い。

フレーム毎に上述した方法で非線形特性を決定する。応答速度が速ければＬ_{ｂｅｆｏｒｅ}の変更を数フレームに１回にしても良い。決定された非線形特性にするように露出とガンマ補正回路１０５の非線形特性を変化させる。

以上のような方法で非線形特性を決定すれば、急激な非線形特性の変化を防ぐことができる。そのため、連続したフレームの非線形特性の変化が小さいため、違和感のない動画映像を生成することができる。

＜他の実施形態＞
本発明の目的は、前述した各実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

１０１光学系
１０２撮像部
１０３アナログフロントエンド（ＡＦＥ）
１０４信号処理部
１０５ガンマ補正回路
１０６検波部
１０７顔検出部
１０８システム制御部

Claims

画像データから特定の被写体を検出する検出ステップと、
検出された被写体の輝度信号から被写体の明るさを示す第１の代表値を取得する第１の取得ステップと、
前記画像データから輝度信号が所定の閾値を超える高輝度部の明るさを示す第２の代表値を取得する第２の取得ステップと、
前記第１の代表値及び前記第２の代表値に基づいて、予め備えた複数の非線形特性の中から１つの非線形特性を選択する選択ステップと、
選択された非線形特性に応じて、画像データのガンマ補正を行うガンマ補正ステップと、を有することを特徴とする画像処理方法。
前記特定の被写体は顔であることを特徴とする請求項１記載の画像処理方法。
前記選択ステップでは、前記複数の非線形特性の中から前記特定の被写体の明るさが所定の逆ガンマ特性よりも抑圧されない非線形特性を選択することを特徴とする請求項１または２記載の画像処理方法。
前記複数の非線形特性は、前記第２の代表値の大きさのそれぞれに対して基準となる非線形特性が対応づけされていて、
前記選択ステップでは、前記第２の取得ステップで取得された前記第２の代表値の大きさに対応づけされた基準となる非線形特性で前記特定の被写体の明るさが前記逆ガンマ特性よりも抑制されない場合、当該基準となる非線形特性を選択することを特徴とする請求項３に記載の画像処理方法。
前記選択ステップでは、前記第２の取得ステップで取得された前記第２の代表値の大きさに対応づけされた基準となる非線形特性では前記特定の被写体の明るさが前記逆ガンマ特性よりも抑制される場合、前記複数の非線形特性の中から前記特定の被写体の明るさが前記逆ガンマ特性よりも抑圧されず前記高輝度部の明るさが最も抑制されない非線形特性を選択することを特徴とする請求項４に記載の画像処理方法。
画像データから特定の被写体を検出する検出手段と、
検出された被写体の輝度信号から被写体の明るさを示す第１の代表値を取得する第１の取得手段と、
前記画像データから輝度信号が所定の閾値を超える高輝度部の明るさを示す第２の代表値を取得する第２の取得手段と、
前記第１の代表値及び前記第２の代表値に基づいて、予め備えた複数の非線形特性の中から１つの非線形特性を選択する選択手段と、
選択された非線形特性に応じて、画像データのガンマ補正を行うガンマ補正手段と、を有することを特徴とする画像処理装置。
前記特定の被写体は顔であることを特徴とする請求項６記載の画像処理装置。
前記選択手段は、前記複数の非線形特性の中から前記特定の被写体の明るさが所定の逆ガンマ特性よりも抑圧されない非線形特性を選択することを特徴とする請求項６または７記載の画像処理装置。
前記複数の非線形特性は、前記第２の代表値の大きさのそれぞれに対して基準となる非線形特性が対応づけされていて、
前記選択手段は、前記第２の取得手段により取得された前記第２の代表値の大きさに対応づけされた基準となる非線形特性で前記特定の被写体の明るさが前記逆ガンマ特性よりも抑制されない場合、当該基準となる非線形特性を選択することを特徴とする請求項８に記載の画像処理装置。
前記選択手段は、前記第２の取得手段により取得された前記第２の代表値の大きさに対応づけされた基準となる非線形特性では前記特定の被写体の明るさが前記逆ガンマ特性よりも抑制される場合、前記複数の非線形特性の中から前記特定の被写体の明るさが前記逆ガンマ特性よりも抑圧されず前記高輝度部の明るさが最も抑制されない非線形特性を選択することを特徴とする請求項９に記載の画像処理装置。
コンピュータに、請求項１に記載の画像処理方法を実行するためのプログラムを記憶したコンピュータにより読み取り可能な記憶媒体。
請求項１に記載の画像処理方法をコンピュータに実行させるためのプログラム。