JP6060498B2 - 補正装置 - Google Patents

Description

本発明は、補正装置に関する。

動画像についての階調補正技術としては、例えば、直前のフレームにおいて適用したガンマ特性からの大幅な変化を抑制することにより、被写体の輝度が大幅に変動することを防ぐ技術が提案されている(特許文献１)。

一方、静止画像について、適応的な階調補正を行う技術として、例えば、ＳＳＲ(Single Scale Retinex)やＭＳＲ(Multi Scale Retinex)を適用した手法が提案されている。ＭＳＲモデルなどを適用した適応的階調補正技術によれば、部分ごとに階調変化を強調することができるので、全体的に白とびや黒つぶれの少ない見栄えのよい画像を得ることができる。

特開２００４−１１２４７３号公報

ところで、静止画像を対象とした適応的階調補正技術は、個々の静止画像についての階調再現を最適化するように構成されている。このため、動画像の階調補正にそのまま適用すると、被写体が輝度変化の激しい背景の前で移動する場合などに、フレーム間で被写体の明るさが不自然に変動する場合がある。

本件開示の装置は、動画像の階調補正に適用した際に、被写体の明るさの不自然な変動を抑制することが可能な補正装置を提供することを目的とする。

一つの観点による補正装置は、複数の画像データの輝度値を階調変換特性に基づいて補正する補正部と、前記複数の画像データのうちの第１の画像データの輝度値を前記補正部で補正した第１の画像データの被写体の部分の輝度値と、前記複数の画像データのうちの第２の画像データの輝度値を２つの階調変換特性に基づいて前記補正部でそれぞれ補正した２つの画像データの被写体の部分の輝度値との差が小さい階調変換特性を選択する選択部とを備える。

上述したように構成された補正装置によれば、動画像の階調補正に適用した際に、被写体の明るさの不自然な変動を抑制することが可能である。

適応的階調補正装置の一実施形態を示す図である。 適応的階調補正動作を表す流れ図である。 適応的階調補正を説明する図である。 適応的階調補正装置の別実施形態を示す図である。 適応的階調補正動作を表す流れ図である。 適応的階調補正装置の別実施形態を示す図である。 特性選択動作を表す流れ図である。 適応的階調補正装置の別実施形態を示す図である。 補正設定テーブルを説明する図である。 特性選択動作を表す流れ図である。

以下、図面に基づいて、本発明の実施形態について詳細に説明する。

図１に、適応的階調補正装置の一実施形態を示す。図１では、デジタルビデオカメラ１０に適応的階調補正装置２０を搭載する例を示す。

図１に示したデジタルビデオカメラ１０は、撮影光学系１１、撮像素子１２、信号処理部１３、画像処理部１４、撮影制御部１５、動画圧縮処理部１６、記録インタフェース(Ｉ／Ｆ)１７を備えている。

撮影光学系１１と撮像素子１２とを備えた撮像部で得られた画像信号は、信号処理部１３によって画像データに変換された後に画像処理部１４に渡される。画像処理部１４は、受け取った画像データに対して補間処理やホワイトバランス補正処理などを施し、処理後の画像データを適応的階調補正装置２０に入力する。

また、適応的階調補正装置２０によって階調補正が為された画像データは、動画圧縮処理部１６によってＭＰＥＧなどに従う動画符号データに変換される。また、得られた動画符号データは、記録インタフェース１７を介してメモリカードなどの記憶媒体１８に記録される。

適応的階調補正装置２０に備えられる特性選択部２１は、補正候補算出部２２と差分算出部２３とを備える。補正候補算出部２２は、画像処理部１４から読み込んだ補正対象フレームの画像に含まれる少なくとも一つのサンプル画素について、例えば、選択制御部２６から指定された階調補正特性を適用した際の補正結果をそれぞれ算出する。各階調補正特性に対応して算出された補正結果は、補正結果候補として差分算出部２３に渡される。

差分算出部２３は、前フレーム輝度保持部２４と輝度値減算部２５とを備える。前フレーム輝度保持部２４には、補正対象画像の前のフレームの画像について得られた階調補正後の画像から生成された輝度画像が保持される。輝度値減算部２５は、補正候補算出部２２から渡されたサンプル画素に対応する補正結果候補から、前フレーム輝度保持部２４にサンプル画素に対応して保持された輝度値を減算する。また、輝度値減算部２５は、各サンプル画素に対応して得られた減算結果の絶対値を、前フレームの階調補正結果からの輝度値の差分として出力し、選択制御部２６の処理に供する。

選択制御部２６は、例えば、複数の階調補正特性のいずれかを順次に指定して、補正候補算出部２２により、各階調補正特性を適用した場合の階調補正結果をそれぞれ算出させる。選択制御部２６は、例えば、補正候補算出部２２に対して、階調補正特性を効果が大きい順に指定して、補正結果候補を算出させることができる。また、選択制御部２６は、輝度値減算部２５で各サンプル画素に対応して得られた輝度値の差分に基づいて、最適な階調補正特性を選択する。選択制御部２６の処理の詳細については後述する。

階調補正部２７は、特性選択部２１の選択制御部２６によって選択された階調補正特性を適用して、補正対象の画像について階調補正処理を行う。そして、この階調補正部２７によって階調補正された画像から生成された輝度画像が、前フレーム輝度保持部２４に保持される。

図２に、適応的階調補正動作を表す流れ図を示す。図２に示した流れ図では、複数の階調補正特性について、順次に補正結果候補を算出し、算出した補正結果候補と前フレームの補正後の輝度との差が大きい場合に、別の階調補正特性を試す例を説明する。

まず、補正対象フレームの画像が読み込まれる(ステップＳ１)。次いで、補正候補算出部２２は、選択制御部２６から指定されたｉ番目の階調補正特性ｉを補正対象の画像に含まれる各サンプル画素の輝度値に適用して、各サンプル画素対応の補正結果候補を算出する(ステップＳ２)。なお、サンプル画素は、例えば、１フレームの画像から所定の密度で均等に抽出することもできるし、画面の中央部分から集中的に抽出することもできる。また、画像に含まれる被写体部分が特定されている場合は、補正対象画像中の被写体部分について多くのサンプル画素を配置することもできる。

また、複数の階調補正特性のそれぞれは、例えば、入力輝度値に適用するゲインを規定するゲインカーブの形状で表すことができる。また、補正対象画素とその周辺の画素の輝度値について作用するデジタルフィルタのパラメータの違いとして、個々の階調補正特性の違いを表すこともできる。

図３に、適応的階調補正を説明する図を示す。図３(ａ)は、入力輝度値に対する出力輝度値の変化として表したゲインカーブの例である。適応的階調補正処理では、補正対象の画素を含む所定の領域の平均輝度値とゲインカーブとに基づいて、この領域内の各画素に共通して適用するゲインを決定する。このゲインは、平均輝度値を入力輝度値とした場合に、適用するゲインカーブから求めた出力輝度値と平均輝度値との比として与えられる。

複数の階調補正特性が、図３(ａ)に示したような複数のゲインカーブとして与えられる場合に、補正候補算出部２２は、まず、各サンプル画素について、サンプル画素を含む所定の領域の平均輝度値を求める。そして、補正候補算出部２２は、各サンプル画素に対応する平均輝度値と、階調補正特性ｉとして指定されたゲインカーブとから、各サンプル画素の輝度値に適用するゲインを決定する。このようにして決定されたゲインを各サンプル画素の輝度値に適用することにより、階調補正特性ｉに対応する補正結果候補が得られる。

各サンプル画素に対応して算出された補正結果候補は、差分算出部２３に渡される。図２に示したステップＳ３において、差分算出部２３の輝度値減算部２５は、前フレーム輝度保持部２４に各サンプル画素に対応して保持された輝度値を対応する補正結果候補から減算する。そして、この減算結果の絶対値が、対応するサンプル画素の輝度値の差分として選択制御部２６に渡される。

選択制御部２６は、輝度値減算部２５から各サンプル画素について受け取った差分の平均値Ｄａｖを求め(ステップＳ４)、この平均値Ｄａｖを所定の閾値Ｔｈとを比較する(ステップＳ５)。そして、輝度値の差分の平均値Ｄａｖが上述した閾値Ｔｈを超えている場合に(ステップＳ５の否定判定)、指定する階調補正特性を示す番号ｉをインクリメントして(ステップＳ６)、ステップＳ２に戻る。この場合は、次の番号で示される階調補正特性について、補正結果候補を算出する処理が行われ、ステップＳ３〜Ｓ５と同様にして算出された補正結果候補の評価が行われる。

一方、ステップＳ５の肯定判定の場合に、選択制御部２６は、最後に補正結果候補が算出された階調補正特性ｉを、補正対象画像に適した階調補正特性として選択する(ステップＳ７)。

例えば、複数の階調補正特性に階調補正効果が大きいものから順に番号を付与しておき、選択制御部２６により、この番号に従って補正候補算出部２２の処理に供することができる。この場合は、補正対象画像に適用した場合に、より高い階調補正効果が得られる階調補正特性に基づいて算出される補正結果候補を優先的に評価することができる。これにより、前フレームとの輝度差を目立たせない階調補正特性を、階調補正効果が比較的高い階調補正特性の中から優先的に見つけることができる。

なお、選択制御部２６は、例えば、前フレームとの輝度値の差分の最大値Ｄｍａｘが別の所定の閾値以下となるような階調補正特性を選択することもできる。また、補正対象画像において被写体部分など重要視するべき領域が特定されている場合に、そのような領域の重要性を階調補正特性の選択に反映することもできる。例えば、選択制御部２６は、被写体部分から抽出されたサンプル画素に対応する輝度値の差分に重みを付けて加重平均値を算出し、この加重平均値が上述した閾値Ｔｈ以下となる階調補正特性を選択するように制御することもできる。

このようにして選択された階調補正特性に基づいて、階調補正部２７による適応的階調補正処理が行われる(ステップＳ８)。階調補正特性がゲインカーブとして与えられる場合に、階調補正部２７は、まず、補正対象画像に対応する縮小輝度画像を生成する。ついで、階調補正部２７は、この縮小輝度画像の各画素の輝度値とステップＳ７で選択されたゲインカーブとに基づいてゲインマップを生成する。ゲインマップは、例えば、縮小輝度画像の各画素の輝度値に対応してゲインカーブから求めたゲインを、縮小輝度画像の各画素に対応して格納することによって生成することができる。このようにして生成されたゲインマップを用いて、階調補正部２７は、補正対象画像の各画素に輝度値を補正する。階調補正部２７は、縮小輝度画像の画素に対してゲインマップに格納されたゲインを用いて、この縮小輝度画像の画素に対応する補正対象画像の領域に含まれる各画素の輝度値を増幅することにより、階調補正を行う。

このようにして階調補正された画像に対応して、例えば、階調補正部２７により、輝度画像が生成され、この輝度画像が前フレーム輝度保持部２４に保持される(ステップＳ９)。その後、全てのフレームの画像についての読み込みが完了したか否かがステップＳ１０において判定され、否定判定の場合は、処理は、ステップＳ１に戻って、新たな補正対象フレームの画像の読み込みが行われる。一方、全てのフレームの画像についての読み込みが完了したと判断された場合に(ステップＳ１０の肯定判定)、処理は終了する。

図１に示したように構成された適応的階調補正装置２０によれば、前フレームの画像の輝度との差が大きくならないような階調補正特性を現フレームの階調補正に適用することができる。これにより、例えば、輝度変化が激しいシーンを背景として人物などの被写体が移動している場合などに、人物の顔の明るさが不自然に変動する現象を抑制することができる。

ここで、図３(ｂ)、(ｃ)を参照して、上述した適応的階調補正装置による階調補正の効果について説明する。図３(ｂ)、(ｃ)に示した例では、明るい被写体Ｓ１が、空などの明るい背景ｂ１と樹木などの暗い背景ｂ２の前景に捉えられている。図３(ｂ)、(ｃ)に示したように、被写体Ｓ１が暗い背景ｂ２に重なるように移動すると、画面内の領域Ｅ１の平均輝度は前フレームから大きく変化する。このような大きな輝度変化にかかわらず、適応的階調補正装置において効果の高い階調補正特性を固定的に適用していると、領域Ｅ１に対応するゲインが大幅に変動する場合がある。

上述した適応的階調補正装置２０では、このようにフレーム間で平均輝度が急激に変化する部分があるときに、特性選択部２１により、この変化がその部分に適用されるゲインに及ぼす影響を弱めるような階調補正特性が選択される。このとき、特性選択部２１は、例えば、図３(ａ)に太い実線で示したように階調補正効果の高いゲインカーブＳ０の代わりに、補正効果が中程度のゲインカーブＭ０あるいは補正効果が緩やかなゲインカーブＧ０を選択する。図３(ａ)から分かるように、ゲインカーブＭ０やゲインカーブＧ０では、ゲインカーブＳ０に比べて、入力輝度値が低い場合のゲインの増加が少ない。

したがって、上述したように階調補正特性の選択を制御することにより、図３(ｃ)に示した領域Ｅ１の平均輝度値に対応するゲインと、図３(ｂ)に示した被写体Ｓ１を含む領域に対してゲインカーブＳ０を適用した場合のゲインとの違いを少なくすることができる。つまり、被写体Ｓ１が明るさの異なる背景の境界を横切るように移動した場合などにおいても、被写体Ｓ１の部分の輝度が大きく変化することを防ぐことができる。

なお、上述したような被写体と背景との相対的な移動が停止した後は、最も階調補正効果の高いゲインカーブを適用したとしても、フレーム間での平均輝度の変動は少なくなるので、再び階調補正効果の高いゲインカーブが選ばれるようになる。

また、上に説明したように構成された適応的階調補正装置は、デジタルビデオカメラに限らず、動画撮影機能を備えたデジタルスチルカメラに搭載することも可能である。また、図１に示した適応的階調補正装置の各部の機能は、コンピュータプログラムによって実現することも可能である。そして、このような適応的階調補正プログラムをパーソナルコンピュータなどに読み込ませ、パーソナルコンピュータを適応的階調補正装置として動作させることもできる。この場合は、デジタルビデオカメラやデジタルスチルカメラによってメモリカードなどに記録された圧縮動画データをパーソナルコンピュータなどに読み込んで補正処理を行うこと可能である。

次に、ゲインマップを用いた適応的階調補正手法において好ましい適応的階調補正装置を説明する。
(実施形態２)
図４に、適応的階調補正装置の別実施形態を示す。なお、図４に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。

図４に示した補正候補算出部２２は、画像縮小部３１とゲインカーブ保持部３２とゲインマップ生成部３３と候補輝度マップ算出部３４とを備えている。画像縮小部３１は、補正対象の画像の入力に応じて、この補正対象の画像を縮小した縮小画像に対応する縮小輝度画像を生成して、ゲインマップ生成部３３と候補輝度マップ算出部３４とに渡す。画像縮小部３１は、例えば、入力された画像の縮小率に対応する範囲の輝度値の平均値を求め、この平均値を縮小輝度画像の対応する画素の輝度値とする。ゲインマップ生成部３３は、選択制御部２６からの指示に応じて、ゲインカーブ保持部３２から指定されたゲインカーブを読み出す。そして、ゲインマップ生成部３３は、読み出したゲインカーブに基づいて、上述した縮小輝度画像の各画素の輝度に対応するゲインを示すゲインマップを生成する。生成されたゲインマップは、候補輝度マップ算出部３４に渡される。候補輝度マップ算出部３４は、縮小輝度画像の各画素の輝度を、ゲインマップの各画素に対応するゲインを用いて増幅することにより、候補輝度マップを生成する。なお、ゲインカーブ保持部３２に保持されたゲインカーブには、例えば、階調補正効果の高い順に番号が付与されている。

図４に示した補正候補算出部２２では、縮小輝度画像の各画素について、指定された階調補正特性を適用した場合の補正結果の候補が算出され、これらの補正結果候補がまとめられた候補輝度マップとして差分算出部２３の処理に供される。

図４に示した適応的階調補正装置２０では、階調補正部２７による補正後の画像は、上述した画像縮小部３１に入力され、これに応じて、補正後の画像を縮小した縮小画像に対応する補正後の縮小輝度画像が生成される。この補正後の縮小輝度画像は、差分算出部２３の前フレーム輝度保持部２４に保持される。

また、図４に示した適応的階調補正装置では、選択制御部２６は、差分算出部２３によって得られた差分に基づいて適切なゲインマップを選択する。選択制御部２６によって選択されたゲインマップは、階調補正部２７の輝度増幅部３６に渡され、補正対象画像に含まれる各画素の輝度値の増幅に適用される。

図５に、適応的階調補正動作を表す流れ図を示す。なお、図５に示したステップのうち、図２に示したステップと同等のものについては、同一の符号を付して示し、その説明は省略する。

図５のステップＳ１１において、画像縮小部３１は、補正対象の画像に対応する縮小輝度画像を生成する。次いで、ゲインマップ生成部３３は、選択制御部２６からの指示で指定された番号ｉのゲインカーブについて、ゲインマップｉを生成する(ステップＳ１２)。このとき、選択制御部２６は、例えば、番号１から順にゲインカーブを指定すればよい。

ステップＳ１２で生成されたゲインマップｉに基づいて、候補輝度マップ算出部３４により、ゲインカーブｉを縮小輝度画像に適用した場合の補正結果候補である候補輝度マップが生成される(ステップＳ１３)。そして、差分算出部２３の輝度値減算部２５は、生成された候補輝度マップから、前フレーム輝度保持部２４に保持された前フレームの補正後縮小輝度画像を減算する処理を各画素について行い、各画素対応の差分の絶対値を算出する(ステップＳ１４)。次いで、ステップＳ４では、選択制御部２６により、上述したようにして縮小画像に含まれる各画素に対応して算出された差分の絶対値の平均値Ｄａｖが算出される。そして、この平均値Ｄａｖと閾値Ｔｈとの比較結果に基づいて、図２を用いて説明したように、ゲインカーブ保持部３２に保持された各ゲインカーブが順番に評価される。

そして、ステップＳ５の肯定判定が得られたときに、選択制御部２６は、候補輝度マップの算出に用いられたゲインマップｉを適切な階調補正特性を持つゲインマップとして選択する(ステップＳ１５)。このゲインマップｉは、ゲインマップ生成部３３から選択制御部２６を介して、輝度増幅部３６に渡される。そして、輝度増幅部３６が、補正対象画像に含まれる各画素の輝度値の増幅処理に上述したゲインマップを適用することにより、補正対象画像の階調補正が行われる(ステップＳ１６)。

このようにして階調補正が行われた画像は、適応的階調補正装置２０から出力されるとともに、画像縮小部３１に渡される。そして、この補正後の画像から、画像縮小部３１によって補正後縮小輝度画像が生成され、この補正後縮小輝度画像が前フレーム輝度保持部２４に保持されて(ステップＳ１７)、次のフレームの画像についての階調補正処理に利用される。

上述したように構成された適応的階調補正装置２０では、補正結果候補の算出に用いたゲインマップをそのまま輝度増幅部３６の処理に供することにより、階調補正処理の負担が軽減されている。

なお、ゲインカーブ保持部３２に保持された全てのゲインカーブに対応するゲインマップについて候補輝度マップを算出し、前フレームの補正後縮小輝度画像との差分の平均値を最小とするゲインマップを選択するように選択制御部２６を構成することもできる。

次に、動画像における被写体の動きの大きさを階調補正特性の選択に反映する方法について説明する。
(実施形態３)
図６に、適応的階調補正装置の別実施形態を示す。なお、図６に示した構成要素のうち、図１および図４に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。

図６に示した補正候補算出部２２は、図４に示した各部に加えて、動き検出部３７と、画像縮小部３１とは別の画像縮小部３８を備える。動き検出部３７は、画像縮小部３１で得られた補正対象フレームに対応する縮小輝度画像と、前フレーム輝度保持部２４に保持された前フレームの補正後縮小輝度画像とを比較して、被写体の動きを検出する。被写体の動き検出には、様々な公知技術を用いることができる。動き検出部３７によって検出された動きの大きさを示す動き量Ｍｖは、画像縮小部３８に渡される。画像縮小部３８は、受け取った動き量Ｍｖが、所定の閾値Ｔｈｍ以上の場合に、画像縮小部３１で生成された縮小輝度画像を、動き量Ｍｖに対応する縮小率を適用して更に縮小する。そして、画像縮小部３８は、この縮小処理で生成された二段縮小輝度画像を、縮小輝度画像の代わりにゲインマップ生成部３３の処理に供する。一方、動き量Ｍｖが上述した所定の閾値Ｔｈｍ以下の場合に、画像縮小部３８は、画像縮小部３１から受け取った縮小輝度画像をそのまま出力してゲインマップ生成部３３に渡す。

図７に、特性選択動作を表す流れ図を示す。なお、図７に示したステップのうち、図２および図５に示したステップと同等のものについては、同一の符号を付して示し、その説明は省略する。

図７に示したステップＳ２１において、動き検出部３７は、縮小輝度画像と前フレームの補正後縮小輝度画像との比較に基づいて、被写体と背景との相対的な動きを検出する。次いで、画像縮小部３８により、動き検出部３７で検出された動き量Ｍｖが、所定の閾値Ｔｈｍと比較される(ステップＳ２２)。

動き量Ｍｖが閾値Ｔｈｍ以上である場合に(ステップＳ２２の肯定判定)、画像縮小部３８は、例えば、動き量Ｍｖに対応する縮小輝度画像の範囲ごとに輝度値の平均値を求め、縮小輝度画像を更に縮小した二段縮小輝度画像を生成する(ステップＳ２３)。一方、ステップＳ２２の否定判定の場合には、ステップＳ２３の処理はスキップされる。

したがって、ステップＳ２２の肯定判定の場合は、縮小輝度画像に代えて、ステップＳ２３で生成した二段縮小輝度画像がゲインマップ生成部３３に渡され、ステップＳ１２において、低解像度のゲインマップが生成される。一方、否定判定の場合は、縮小輝度画像がそのままゲインマップ生成部３３に渡され、ステップＳ１２において、縮小輝度画像と同じ解像度のゲインマップが生成される。

二段縮小輝度画像に対応して低解像度のゲインマップが生成された場合に、候補輝度マップ算出部３４は、例えば、低解像度のゲインマップの各画素に対応するゲインを、縮小輝度画像の対応する範囲について適用して候補輝度マップを生成する(ステップＳ１２)。このようにして、低解像度のゲインマップを用いて、前フレームの補正後縮小輝度画像と同等の解像度の候補輝度マップを生成することができる。

以降は、実施形態２と同様にして、各ゲインカーブを適用した場合の候補輝度マップと前フレームの補正後縮小輝度画像との差分の絶対値に基づいて、補正対象画像と前フレームの画像との間の輝度変化を抑制するようなゲインカーブが選択される。

上述したように構成された特性選択部２１では、検出された動き量に応じて、生成される低解像度の輝度画像に基づいて、ゲインマップが生成される。低解像度の輝度画像では、例えば、図３(ｂ)に示した暗い背景ｂ２と明るい背景ｂ１との境界がぼやけ、この境界付近での輝度変化が緩やかになる。図３(ｄ)に、上述した二段縮小輝度画像に相当する低解像度の輝度画像の例を示す。このような低解像度の輝度画像に基づいてゲインマップが生成される場合は、高解像度の輝度画像に基づいてゲインマップが生成される場合に比べて、画面内での位置によるゲインの変動が緩やかになっている。したがって、被写体Ｓ１が上述した境界を横切るように移動しているときに、上述したような低解像度のゲインマップを適用することにより、被写体Ｓ１の位置変化によるゲインの変動を抑制することができる。

次に、利用者の意図を反映しつつ、適切な階調補正特性を選択する方法について説明する。
(実施形態４)
図８に、適応的階調補正装置の別実施形態を示す。なお、図８に示した構成要素のうち、図１および図４に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。

図８に示した補正候補算出部２２は、補正設定テーブル４１と予備選択部４２とを備えている。補正設定テーブル４１には、階調補正効果と動画輝度の安定性要求との組み合わせに対応して、上述した特性選択処理の過程で補正結果の評価を行う対象とする複数の階調補正特性の候補が格納されている。

図９に、補正設定テーブルを説明する図を示す。図９(ａ)は、ゲインカーブ保持部３２の格納場所Ｇ１〜Ｇ１６に格納された個々のゲインカーブについて、それぞれのゲインカーブＩＤと階調補正効果の強さに基づくグループ分けを示している。図９(ａ)に示した例では、各ゲインカーブは、階調補正効果の強さの順に並べられている。図９(ｂ)は、補正設定テーブルの一例を示している。図９(ｂ)では、階調補正効果と動画輝度安定性要求とがそれぞれ３段階に分けて、それぞれの組み合わせに対応する３つのゲインカーブを格納する例を示した。なお、補正設定テーブル４１に、階調補正効果と動画輝度安定性要求とを分類する段階の数や、それぞれの組み合わせに対応して格納するゲインカーブの数は、図９(ｂ)に示した例に限定されない。また、ゲインカーブ保持部３２に格納されるゲインカーブの数も、図９(ａ)に示した例に制限されない。

図８に示した予備選択部４２は、選択制御部４３からの指示に応じて補正設定テーブル４１を参照し、指定された階調補正効果と動画輝度安定性要求との組み合わせに対応するゲインカーブを評価対象の階調補正特性の候補として予備的に選択する。そして、この予備的な選択で選択されたゲインカーブに基づいて、ゲインマップ生成部３３により、ゲインマップの生成が行われる。つまり、図８に示した補正候補算出部２２では、ゲインカーブ保持部３２に保持されたゲインカーブの中から、上述した予備的な選択で選択されたゲインカーブに基づく補正結果候補が算出される。

図８に示した選択制御部４３は、例えば、デジタルビデオカメラの操作パネルを介して、利用者の操作入力を受け取る。選択制御部４３は、操作入力を解釈した結果に基づいて、予備選択部４２に、上述した補正設定テーブル４２のいずれかの欄を指定する指示を入力する。例えば、選択制御部４３は、階調補正効果と動画輝度安定性要求との組み合わせを指定する操作入力に応じて、上述した補正設定テーブル４２の対応する欄を指定するように指示することができる。このように、利用者に階調補正効果と動画輝度安定性要求との組み合わせを指定させることにより、利用者の意図を階調補正特性の選択に反映させることができる。

図１０に、特性選択動作を表す流れ図を示す。なお、図１０に示したステップのうち、図２および図５に示したステップと同等のものについては、同一の符号を付して示し、その説明は省略する。図１０に示した流れ図では、動画像の撮影前に、利用者により、上述した補正設定テーブル４１のいずれかの欄を指定する操作入力が行われている場合について説明する。

補正対象の画像に対応する縮小輝度画像が生成された後に、予備選択部４２は、選択制御部４３からの指示に基づいて補正設定テーブル４１を参照する。そして、予備選択部４２は、補正設定テーブル４１の指定された欄に格納されたゲインカーブＩＤに基づいて、ゲインカーブ保持部３２からゲインカーブ候補を読み出す(ステップＳ２４)。

例えば、階調補正効果「強」と動画輝度安定性要求「高」との組み合わせが利用者によって指定されている場合のゲインカーブ候補の選択は次のようになる。選択制御部４３からの指示に応じて、予備選択部４２は、補正設定テーブル４１の階調補正効果「強」と動画輝度安定性要求「高」との組み合わせに対応する欄を参照する。そして、この欄に格納されたゲインカーブＩＤ(Ｓ(０)，Ｓ(−３)，Ｍ(０))で示される３本のゲインカーブを、ゲインカーブ候補としてゲインカーブ保持部３２から読み出す。

このようにして読み出されたゲインカーブ候補は、ゲインマップ生成部３３に渡される。そして、ゲインマップ生成部３３では、これらのゲインカーブ候補に基づいて、縮小輝度画像に含まれる各画素の輝度に対応するゲインを設定する処理を行い、各ゲインカーブ候補に対応するゲインマップ候補を生成する(ステップＳ２５)。

これらのゲインマップ候補は、候補輝度マップ算出部３４に渡される。そして、候補輝度マップ算出部３４では、これらのゲインマップ候補をそれぞれ縮小輝度画像に適用して、候補輝度マップＹ_Ａ１，Ｙ_Ａ２，Ｙ_Ａ３を生成する(ステップＳ２６)。

次いで、ステップＳ２７において、差分算出部２３の輝度値減算部２５では、各候補輝度マップＹ_Ａ１，Ｙ_Ａ２，Ｙ_Ａ３と前フレーム輝度保持部２４に保持された補正後縮小輝度画像Ｙ_Ｂとの差分の絶対値を各画素について算出する処理が行われる。

各候補輝度マップＹ_Ａ１，Ｙ_Ａ２，Ｙ_Ａ３について算出された前フレームからの輝度値の差分の絶対値は、選択制御部４３に渡される。そして、選択制御部４３は、各候補輝度マップＹ_Ａ１，Ｙ_Ａ２，Ｙ_Ａ３について、前フレームからの輝度値の差分の絶対値を平均化して、それぞれ平均Ｄａｖ_１、Ｄａｖ_２，Ｄａｖ_３を算出する(ステップＳ２８)。

選択制御部４３は、算出された差分の絶対値の平均Ｄａｖ_１、Ｄａｖ_２，Ｄａｖ_３を互いに比較し、最小のものに対応するゲインマップを選択して(ステップＳ２９)、階調補正処理に供する。

上述したように、利用者が指定した階調補正効果と動画輝度安定性要求との組み合わせに適合するゲインカーブの中から、前フレームからの輝度変化が抑制されるゲインカーブを選択することができる。これにより、例えば、動画像を撮影しつつも、動画像としての見え方よりも、動画像に含まれる各フレームの画像の画質を重視したいといった利用者の意向を階調補正特性の選択に反映させることができる。

なお、補正設定テーブル４１の各欄に格納するゲインカーブの組み合わせは、例えば、階調補正効果の強さに基づくグループに属する範囲のゲインカーブの中から動画輝度安定性要求の高さに適合するゲインカーブが見つかりやすいように選ぶことができる。図９（ｂ）に示した例では、高い動画輝度安定性が要求された場合に、階調補正効果の強さが比較的広い範囲に分布しているゲインカーブをゲインカーブ候補となるように補正設定テーブル４１が作られている。そして、逆に、動画輝度安定性要求が低い場合には、階調補正効果の強さに基づくグループのうち、もっとも強い階調補正効果をもたらすゲインカーブがゲインカーブ候補となるように補正設定テーブル４１が作られている。

１０…デジタルビデオカメラ、１１…撮影光学系、１２…撮像素子、１３…信号処理部、１４…画像処理部、１５…撮影制御部、１６…動画圧縮処理部、１７…記録インタフェース(Ｉ／Ｆ)、１８…記憶媒体、２０…適応的階調補正装置、２１…特性選択部、２２…補正候補算出部、２３…差分算出部、２４…前フレーム輝度保持部、２５…輝度値減算部、２６，４３…選択制御部、２７…階調補正部、３１，３８…画像縮小部、３２…ゲインカーブ保持部、３３…ゲインマップ生成部、３４…候補輝度マップ算出部、３６…輝度増幅部、３７…動き検出部、４１…補正設定テーブル、４２…予備選択部。

Claims (3)

1. 複数の画像データの輝度値を階調変換特性に基づいて補正する補正部と、
   前記複数の画像データのうちの第１の画像データの輝度値を前記補正部で補正した第１の画像データの被写体の部分の輝度値と、前記複数の画像データのうちの第２の画像データの輝度値を２つの階調変換特性に基づいて前記補正部でそれぞれ補正した２つの画像データの被写体の部分の輝度値との差が小さい階調変換特性を選択する選択部と
   を備える補正装置。
2. 請求項１記載の補正装置において、
   前記選択部は、前記第１の画像データの輝度値を前記補正部で補正した第１の画像データの被写体の部分の輝度値と、前記第２の画像データの被写体の部分の輝度値を２つの階調変換特性に基づいて前記補正部でそれぞれ補正した２つの画像データの輝度値との差が小さい階調変換特性を選択し、
   前記補正部は、前記選択部によって選択された階調変換特性に基づいて前記第２の画像データの輝度値を補正する補正装置。
3. 請求項１または請求項２に記載の補正装置において、
   前記第１の画像データは、前記第２の画像データより前に撮像された画像データである補正装置。
   

Images