JP4680639B2 - 画像処理装置およびその処理方法 - Google Patents

Description

本発明は、画像処理装置およびその処理方法に関するものである。本発明の画像処理装置は、ディジタルカメラやビデオカメラ等の撮影した動画像に対する色変換に関するものである。また、本発明の画像処理方法は、撮影した動画像や記録済の動画像の再生等に適用する方法に関するものである。

写真ネガフィルムやリバーサルフィルムのような銀塩フィルムに記録された画像をカラープリントする場合、撮影された画像には撮影時におけるシーンと同様になるように色変換が施される。しかしながら、撮像素子により記録されたディジタル画像をプリントすると、光源、周辺の色により色が偏ってしまう現象が生じることがある。

特許文献１の画像処理装置は、特定な被写体としてたとえば、画像の中から顔等を検出し検出した顔の色を所望の色になるように補正パラメータを算出する。この算出した補正パラメータを用いてディジタル画像全体を補正し画質を改良する。

また、特許文献２の画像処理装置は、ディジタル画像全体の改良における困難さから顔領域が適正な色や濃度となるように、言い換えると顔領域周辺の色濃度に影響されないように顔領域の色濃度を調整する。
特開2000−182043号公報 特開2000−242775号公報 特開平５−307605号公報

ところで、これらの調整は静止画に対する画質の改良である。この画質改良を動画に適用した場合、特定の被写体すなわち、顔の検出ができるときとできないときが生じる。動画では、この検出の可否それぞれに応じて２つの色調整または色変換が行われる。

第１に顔検出できた場合、所望の色、たとえば肌色を基準にしてフレーム画像の色を調整し、第２に顔検出できなかった場合の一部フレーム画像に対して別な基準に基づく色で調整する。この結果、２つの方法により色調整した動画を表示装置に表示すると、時系列的に画質にバラツキがあり色表現の上で急激な変動が生じ動画に不安定感を持たせてしまう。

検出の可否は、たとえば連続フレーム画像中に撮影された顔の位置や顔のサイズが微妙に変化することだけで生じると考えられる。

本発明はこのような従来技術の欠点を解消し、色調整した動画像の画質を安定に見せることができる画像処理装置およびその処理方法を提供することを目的とする。

本発明は上述の課題を解決するために、ディジタル動画像の現フレーム画像に画像処理する画像処理装置において、この装置は、現フレーム画像に対応する過去のフレーム画像から得られたこの現フレーム画像の補正対象に関する第１の補正情報を格納する補正情報格納手段と、現フレーム画像に含まれる補正対象を検出しこの補正対象に対する補正対象情報を求める補正対象検出手段と、この補正対象検出手段によって得られた現フレーム画像における補正対象情報および第１の補正情報に基づいて、現フレーム画像を補正する第２の補正情報を算出する補正情報算出手段と、第２の補正情報に基づいて現フレーム画像を補正する画像補正手段とを含むことを特徴とする。

本発明の画像処理装置は、補正対象検出手段に現フレーム画像を入力し、情報格納手段から第１の補正情報を読み出し、補正対象検出手段で補正対象を検出しこの検出結果に応じて補正対象情報を求め、得られた現フレーム画像における補正対象情報および第１の補正情報に基づいて現フレーム画像における第２の補正情報を算出し、算出した第２の補正情報を画像補正手段に供給し画像補正手段で第２の補正情報を用いて現フレーム画像を補正することにより、動画像の画質を安定に表示させることができる。

また、本発明は上述の課題を解決するために、ディジタル動画像の現フレーム画像に画像処理する画像処理方法において、この方法は、現フレーム画像に対応する過去のフレーム画像から得られたこの現フレーム画像の補正対象に関する第１の補正情報を格納する補正情報格納手段から第１の補正情報を読み出す第１の工程と、現フレーム画像に含まれる補正対象を検出しこの補正対象に対する補正対象情報を求める第２の工程と、現フレーム画像における補正対象情報および第１の補正情報に基づいて、現フレーム画像を補正する第２の補正情報を算出する第３の工程と、第２の補正情報に基づいて現フレーム画像を補正する第４の工程とを含むことを特徴とする。

本発明の画像処理方法は、現フレーム画像を入力し第１の補正情報を読み出し、現フレーム画像に含まれる補正対象を検出しこの検出に応じて補正対象情報を求め、補正対象情報および第１の補正情報から現フレーム画像に対する第２の補正情報を算出し第２の補正情報で現フレーム画像を補正することにより、動画像の画質を安定にし、第１および第２の補正情報を保存すれば次のフレーム画像の補正にも大いに寄与することができる。

本発明によればまた、次のようなディジタルカメラが提供される。すなわち、このディジタルカメラは、被写界を撮像してディジタル動画像の映像信号を形成する撮像手段と、映像信号を受けて、ディジタル動画像の現フレーム画像に対応する過去のフレーム画像から得られた現フレーム画像の補正対象に関する第１の補正情報を格納する補正情報格納手段と、現フレーム画像に含まれる補正対象を検出し、この補正対象に対する補正対象情報を求める補正対象検出手段と、補正対象検出手段によって得られた現フレーム画像における補正対象情報および第１の補正情報に基づいて、現フレーム画像を補正する第２の補正情報を算出する補正情報算出手段と、第２の補正情報に基づいて現フレーム画像を補正する画像補正手段とを含み、これによって現フレーム画像に画像処理を行なうことを特徴とする。

次に添付図面を参照して本発明による画像処理装置の一実施例を詳細に説明する。

本実施例は、被写界を撮像してディジタル動画像の映像信号を形成する、たとえばディジタルビデオカメラや動画撮影機能のあるディジタル電子スチルカメラなどを包含する撮像装置10に、本発明の画像処理装置を適用したものである。本発明と直接関係のない部分について図示および説明を省略する。以下の説明で、信号はその現れる接続線の参照番号で指示する。

本実施例の撮像装置10は、図１に示すように、画像入力部12、信号処理部14、中央演算ユニット（CPU: Central Process Unit）16、メモリ18、ドライバ20、メモリカードインタフェース（IF： InterFace）部22、表示制御部24、メモリカード26、モニタ28および操作部30を含む。

画像入力部12は、レンズの絞り32および撮像素子34を含む。レンズの絞り32は被写界からの入射光を所定の光量に設定する。撮像素子34には、レンズの絞り32により絞られた入射光が図示しない、たとえば単板のカラーフィルタを透過し送られる。本実施例のカラーフィルタは、三原色RGBのフィルタセグメントが所定のパターンに配列するように形成されている。フィルタセグメントは後述する受光素子と一対一に対応させている。画像入力部12では、光学像が撮像素子34で結像するように調整される。撮像素子34は、光電変換する受光素子を２次元配列し、設定された露光時間にわたって受光素子に蓄積された信号電荷を色の属性を有する画素として読み出す。撮像素子34はこの読出しにより２次元画像信号を生成する。画像入力部12は、２次元画像信号から、図示しないが信号ノイズを除去しディジタル化し画像データを生成する。画像入力部12はこのように入射光から画像データ36を生成し生成した画像データ36を信号処理部14およびCPU 16に出力する。

信号処理部14は、画像データに対し適切に画像処理し、とくに補正対象の色がシーンに合った適正な表現の画像として表示されるように処理する機能を有する。信号処理部14は、補正対象検出部38およびディジタル処理部40を含む。補正対象検出部38は、画像データ36に補正対象が含まれるか否かの検出機能および補正情報の算出機能を有する。補正対象検出部38は、これらの機能に合わせて図２に示すように、対象検出機能部42および補正情報算出機能部44を有する。補正対象検出部38は、CPU 16からの制御信号46に応じて動作する。

この実施の形態では補正対象を顔とした場合を例に挙げて説明するが、補正対象はこの他、目、肌とすることができる。補正対象は複数の人物中のひとりを対象としてもよい。また、補正対象情報とは、たとえば補正対象の明るさ、補正対象の領域位置やサイズあるいは補正対象の顔らしさを表す確率を示す検出スコアや顔らしさの評価値を含む情報である。また、補正情報とは、たとえば色補正パラメータ、階調パラメータ、レンズの絞り（値）およびシャッタ速度を含む情報である。この情報には、上述した情報の少なくとも一つが含まれる。

対象検出機能部40は、たとえば特許文献３の画像処理方法を用いた構成要素を有することが好ましい。この方法を用いれば、所定の被写体候補を高精度に抽出することから、次段での検出における負担を著しく軽減でき、適用したシステムの能力を向上させることができる。

対象検出機能部42は、上述した構成要素を含み、画像データ36を入力する。対象検出機能部42は、過去の補正対象情報48をCPU 16内のメモリから読み出す。対象検出機能部42は、検出可能領域算出機能部42aおよびスコア算出機能部42bを含む。検出可能領域算出機能部42aは入力した画像データ34が表す画像の中から過去の補正対象情報48を用いて補正対象を算出する。スコア算出機能部42bは算出した補正対象に応じて現フレームにおける検出スコアS_nを求め仮の補正情報Q_n, R_nを算出する機能を有する。

ここで、CPU 16に格納する情報、すなわち過去の補正対象情報および過去の補正情報は、並列的なデータ構造で格納されている。読み出す信号線が同じであるから参照符号も同じに記載される。

補正情報算出機能部44は、過去の補正情報、検出スコアおよび重み係数を用い、これらから現フレーム画像に対する画像補正情報を算出する機能を有する。過去の補正情報48は、たとえばCPU 16から読み出される。補正情報算出機能部44もCPU 16の制御信号46に応じて動作する。補正情報算出機能部44は、現フレーム画像の画像補正情報P_nを線形結合および非線形結合のいずれかのアルゴリズムを用いる。具体的な算出は後段にてさらに示す。補正情報算出機能部44は、算出した現フレーム画像に対する画像補正情報50をディジタル処理部40に出力する。画像補正情報50は、階調補正パラメータおよび色補正パラメータの少なくとも一つを含む。また、CPU 16には、画像補正情報50におけるレンズの絞りおよびシャッタ速度が補正情報算出機能部44から信号線48を介して送られる。

なお、補正情報算出機能部44は、補正対象検出部38に設けず、CPU 16にて算出するようにしてもよい。この場合、補正対象検出部38には、求めた検出スコアが信号線48を介してCPU 16に供給される。CPU 16は、算出した結果、すなわち現フレーム画像の補正情報が信号線48を介して補正対象検出部38に送る。

ディジタル処理部40は、図３に示すように、画像補正機能部52を含む。画像補正機能部52は、制御信号46に応じて動作させ、画像補正情報50を基に画像データ36を補正する。ディジタル処理部40は、画像データ36を最適な色に表現されるように色変換する。ディジタル処理部40は、たとえば同時化等も行なう。信号処理部14は、ディジタル処理部40の処理結果である画像データ54をメモリ18に出力する。

図１に戻って、CPU 16は、図示しないが演算機能部、ROM（Read Only Memory）およびRAM（Random Access Memory）を含む。ROMには撮像装置10を動作させる手順、すなわちプログラムが書かれ、RAMにはたとえば過去の補正情報を格納される。CPU 16には、画像データ36および操作の指示データ56が入力される。また、CPU 16は、過去の補正情報48を出力し現フレームの補正情報48を入力する。CPU 16は、上述した入力とプログラムに基づき制御信号46および58を出力する。CPU 16は、画像データ36を基にレンズの絞りおよびシャッタ速度をどのくらいの値にするか演算し演算した結果にて動作させる制御信号58を生成する。CPU 16は現フレームの補正情報48におけるレンズの絞りおよびシャッタ速度が供給されている場合、この補正情報に基づく制御信号58をドライバ20に出力する。

メモリ18は、画像データ54を制御信号46に応じて入出力するバッファ機能を有する。メモリ18は、信号処理部14、メモリIF部22および表示制御部24と接続されている。メモリ18は、撮像された画像データやメモリカード26からの再生した画像データを扱う。

ドライバ20は、画像入力部12におけるレンズの絞り32および撮像素子34に対する駆動信号60および62を生成する。ドライバ20は、レンズの絞り32の機構に駆動信号60を供給する。また、ドライバ20は、撮像素子34に露出時間を規定し露出にともない蓄積した信号電荷を読み出す駆動信号62を出力する。

メモリIF部22は、メモリ18の画像データ54とメモリカード26の画像データ64を入出力するインタフェースである。

表示制御部24は、画像データ54をモニタ28に対する表示データ66に変換する。メモリカード26は、着脱自在な半導体メモリである。モニタ28は、表示データ66を表示する機能を有する。

操作部30は、電源投入スイッチ、モード設定、モニタ表示スイッチおよびレリーズシャッタボタン等を含む。操作部30は、レリーズシャッタボタンに対する押圧状態に応じた指示データ56を出力する。指示データ56は、押圧していない状態をS0、半押し状態をS1および全押し状態をS2とする。モニタ28には、たとえば電源投入後からスルー画が表示される。状態S1は予備撮像状態である。状態S2は、静止画モードで本撮像タイミングであり、動画モードでは撮影開始と終了のタイミングである。操作部30は、CPU 16にこれらのモードにおけるタイミングを指示データ56として出力する。

次に本発明の画像処理装置を適用した撮像装置10における画像処理方法を説明する。本実施例は、画像に含まれる対象の有無に応じた動画像処理について開示する。動画像処理は、電源投入ボタンがオン状態に操作され、モニタ表示スイッチがオンになったとき、画像データ36に対して処理する。モニタ表示スイッチの状態をチェックすることにより無駄なモニタ表示の電力を抑制することができる。電源が投入されモニタ表示スイッチがオンの場合、レリーズシャッタボタンが状態S0およびS1でも撮像装置10は動画像処理した画像をモニタ28に表示する。この状態がスルー画表示である。また、撮像装置10は、静止画モードでスルー画表示する場合や記録する撮影画像のモニタ表示する場合も動画像処理を行なう。

動画モードで動画像処理は、動画像のモニタ表示に関わらず行なう。操作部30でモードを動画に設定し操作部30におけるレリーズシャッタボタンが状態S2、すなわち全押しされると、撮像装置10は、CPU 16の制御により記録用の動画撮影を開始する。再びレリーズシャッタボタンが全押しされると、撮像装置10は動画の記録を終了する。

撮像装置10は、上述した各モードでの条件の下、動画像処理を含む画像処理を行なう。一例として撮像素子34からの画像データ36をモニタ28に表示する場合の画像処理を説明する。この画像処理の手順を図４に示す。撮像素子34から供給される画像データ36に対して補正対象検出部38の対象検出機能部40で補正対象を検出する（サブルーチンSUB1）。ここでの検出とは、補正対象を求め対象における検出スコアを求めることである。検出についてはさらに後段で説明する。

次にCPU 16から過去の補正情報48を読み出す（ステップS10）。過去の補正情報46は、現フレームから少なくとも、過去k=10サンプル程度の補正対象における色補正パラメータおよび階調パラメータの少なくとも一つを表す情報であり、後述するパラメータP, QおよびRが対応している。また、サンプリング間隔は、複数のフレームの時間になる。これは、対象検出に多大の時間を要すためである。CPU 16は、読み出した過去の補正情報48を補正情報算出機能部42に出力する。

補正情報算出機能部42では、現フレームにおける画像補正情報50を対象の検出の有無に応じて算出する（サブルーチンSUB2）。算出した現フレームにおける画像補正情報50がディジタル処理部40およびCPU 16にそれぞれ、供給される。

ディジタル処理部40では、画像補正情報50に応じて画像データ36を補正する（サブルーチンSUB3）。この補正後、撮像装置10は、CPU 16に現フレームの画像補正情報50と同じ情報を保存する（ステップS12）。この保存後、動画像処理を終了するか否かを判断する（ステップS14）。判断は、CPU 16で行なう。CPU 16は、操作部30から供給される指示データ56の値で判断する。動画像処理は、ユーザが操作部30のモードに関わらず、電源投入ボタンがオン状態で、モニタ表示ボタンがオンにある場合や動画モードで記録中の場合に継続させる（NO：サブルーチンSUB1へ）。また、これ以外の場合（YES）、とくに電源投入ボタンがオフ状態を示す指示データ56がCPU 16に供給されると、撮像装置10は終了に進んで動作を停止させる。

次に補正対象の検出処理（サブルーチンSUB1）について説明する。図５に示すように画像データ36のフレーム画像に対して過去の補正対象情報48をCPU 16から読み出す（サブステップSS10）。過去の補正対象情報48は、検出対象の位置、サイズおよび検出スコアまたは評価値である。繰り返すが、過去の補正対象情報48は、過去の補正情報48、すなわち色補正パラメータ、階調パラメータ、レンズの絞りおよびシャッタ速度の少なくとも一つである、補正対象部分だけで算出した補正情報Q: Q_n-k, Q_n-k+1, ・・・, Q_n-1, 画像全体から算出した補正情報R: R_n-k, R_n-k+1, ・・・, R_n-1および画像補正情報P: P_n-k, P_n-k+1, ・・・, P_n-1とたとえば並列的に記録される情報であるが情報内容は異なる点に注意する。過去の補正対象情報48は、検出スコアとしてフレーム画像に含まれる顔らしさの確率または評価値をS: S_n-k, S_n-k+1, ・・・, S_n-1でもある。

ここで、検出スコアがゼロならば、未検出を表す。また、過去の補正対象情報48における検出スコアがゼロでない個数jを求める。

次に求めた個数jが検出スコアのゼロでない個数の閾値i以上か否かを比較する（サブステップSS12）。個数jが閾値i以上のとき（YES）、領域の算出処理に進む（サブステップSS14へ）。また、個数jが閾値iより小さいとき（NO）、補正対象における検出処理に進む（サブステップSS16へ）。この比較により領域に対する検出を回避できるので、検出の高速化および省電力化することができる。

サブステップSS14では、過去の補正対象情報に含まれる位置およびサイズを基に対象の検出が可能な領域を算出する。検出可能領域の算出では、たとえば位置およびサイズの差分で対象の移動量と位置の変化から移動方向を求める。これにより対象検出機能部42では現フレームにおける補正対象の検出可能な領域、位置およびサイズを求める。これにより検出可能な領域の有無がわかる。

次に現フレームにおける補正対象を検出する（サブステップSS16）。検出により現フレームにおける検出スコアS_nを求める。検出スコアの算出には、前述した特許文献３の検出方法を用いる。この検出ルーチンでは検出可能な領域の有無に応じてさらに、仮の補正情報を算出する。すなわち、この領域を基に検出スコアS_nが求められた場合、現フレームにおける仮の補正情報Q_nも算出する。また、可能な領域が得られなかった検出スコアS_n=0に対して画像全体から仮の補正情報R_nを算出する。

このようにして現フレームにおける検出結果を保存する（サブステップSS18）。ここでの検出結果とは、検出対象の有無、対象が検出された場合に得られた検出位置、サイズである。検出スコアS、レンズの絞り、シャッタ速度、仮の補正情報Q_n,およびR_nである。この後、リターンに進んでサブルーチンSUB1を終える。

次に補正対象の算出処理（サブルーチンSUB2）について説明する。この算出は補正情報算出機能部44で行なう。まず、算出は、図６に示すように検出対象が有ったか否か判断する（サブステップSS20）。現フレームにおける補正対象が検出された場合（YES）、検出に対応した補正情報の算出に進む（サブルーチンSUB4）。また、現フレームにおける補正対象が検出されなかった場合（NO）、非検出に対応した補正情報の算出に進む（サブルーチンSUB5）。補正情報には、画像補正情報が含まれる。画像補正情報には階調補正パラメータ、色補正パラメータ、レンズの絞りおよびシャッタ速度の少なくとも一つが含まれる。

これら一方の算出後、リターンに進んでサブルーチンSUB2を終了する。

次に検出に対応した補正情報の算出について図７を参照しながら説明する。現フレームにおいて検出された補正対象領域だけを用いて好ましい補正情報を算出する（サブステップSS40）。ここでの好ましい補正情報とは、現フレームにおける検出スコアS_nおよび補正対象部分だけで算出するQ_nである。補正情報Q_nは、検出成功だけの場合に算出する。

次に過去の補正情報を読み出す（サブステップSS42）。読み出す過去の補正情報は、とくに、過去の補正対象情報である検出スコアSを含む、補正情報Q, RおよびPである。

次に総合した現フレームにおける画像補正情報P_nを算出する（サブステップSS44）。算出には、線形結合と非線形結合のいずれかが用いられる。線形結合による算出では、画像補正情報P_nを検出スコアに応じた重み係数Wを補正情報Q, Pに乗算する。線形結合は、式(1)で表す。また、重み係数Wは、検出スコアが大きいほど大きい値にすることが望ましく、時系列的には現フレームに近いほど大きい値にすることが好ましい。

現フレームにおける画像補正情報P_nは、式(1)
P_n=W_n(S_n)Q_n+W_n-1(S_n)P_n-1+・・・+W_n-k(S_n)P_n-k ・・・(1)
により算出される。

また、現フレームにおける画像補正情報P_nは、式(1)だけに限定されるものでなく、非線形結合を表す式(2)で行なうようにしてもよい。式(2)は、
P_n=f_D(S_n, Q_n, P_n-1, P_n-2, ・・・, P_n-k) ・・・(2)
で表される。ここで、f_Dは対象検出における多次元非線形関数である。このように算出した後、リターンに進みサブルーチンSUB4を終了する。

次に非検出に対応した補正情報の算出について図８を参照しながら説明する。現フレームにおいて補正対象が非検出の場合、現フレームの画像全体からバランスのよい補正情報を算出する（サブステップSS50）。ここでのバランスよい補正情報とは、現フレームにおける検出スコアS_n=0と画像全体から算出するR_nである。

次に過去の補正情報を読み出す（サブステップSS52）。ここでも読み出す過去の補正情報は、とくに、過去の補正対象情報である検出スコアSを含む、補正情報Q, RおよびPである。

次に総合した現フレームにおける画像補正情報P_nを算出する（サブステップSS54）。算出には、線形結合と非線形結合のいずれかが用いられる。線形結合による算出では、画像補正情報P_nを検出スコアに応じた重み係数Wおよび固定値Cを情報P, Rに乗算する。この場合の線形結合を式(3)に示す。また、重み係数Wは、上述したように検出スコアが大きいほど大きい値にすることが望ましく、時系列的には現フレームに近いほど大きい値にすることが好ましい。

現フレームにおける画像補正情報P_nは、式(3)
P_n=C(0)R_n+W_n-1(S_n-1)P_n-1+・・・+W_n-k(S_n-k)P_n-k ・・・(3)
により算出される。

また、非検出での現フレームにおける画像補正情報P_nは、式(3)だけに限定されるものでなく、非線形結合を表す式(4)で行なうようにしてもよい。式(4)は、
P_n=f_ND(R_n, P_n-1, P_n-2, ・・・, P_n-k) ・・・(4)
で表される。ここで、f_NDは対象の非検出における多次元非線形関数である。このように算出した後、リターンに進みサブルーチンSUB5を終了する。

このようにして補正情報算出機能部44では、補正対象の検出や非検出に対応した現フレームにおける画像補正情報P_nが算出される。算出した画像補正情報P_nがCPU 16およびディジタル処理部40に供給される。CPU 16は、算出した画像補正情報P_nを基に次のフレームに対するレンズの絞りおよびシャッタ速度も算出する。CPU 16はここで算出したレンズの絞りおよびシャッタ速度で制御信号58を生成するとよい。

次に算出した画像補正情報P_n (50)を用いて、現フレームにおける画像データ36を補正する（サブルーチンSUB3）。この補正は、図９に示すように、画像データ36の現フレーム画像に対して画像補正情報P_n (50)で色補正する（サブステップSS30）。

このように時系列的にサンプリングした画像データ36に対する補正を補正対象の有無に応じたアルゴリズムにより行なうように補正情報を算出しこの補正情報で階調補正および色補正することから、時系列的にフレーム画像のそれぞれが補正対象の有無で急激な動画像の変動なく、適切な動画像を得ることができる。本発明は動画像だけでなく、静止画の本撮像においても適用できる。

なお、前述した動画処理の手順や構成要素の動作は、プログラムを用いたソフトウェアで実現できることは言うまでもない。

本発明の画像処理装置を適用した実施例における撮像装置の概略的な構成を示すブロック図である。 図１の補正対象検出部における概略的な構成を示すブロック図である。 図１のディジタル処理部における概略的な構成を示すブロック図である。 図１の画像処理装置における動作を説明するフローチャートである。 図４の対象検出ルーチンにおけるフローチャートである。 図４の補正対象に基づく現フレーム画像における補正情報を算出するフローチャートである。 図６の補正対象の検出に基づく補正情報の算出手順を説明するフローチャートである。 図６の補正対象の非検出に基づく補正情報の算出手順を説明するフローチャートである。 図４の色補正ルーチンにおけるフローチャートである。

符号の説明

10 撮像装置
12 画像入力部
14 信号処理部
16 CPU
18 メモリ
20 ドライバ
22 メモリIF部
24 表示制御部
26 メモリカード
28 モニタ
30 操作部

Claims (12)

1. ディジタル動画像の現フレーム画像に画像処理を行なう画像処理装置において、該装置は、
   前記現フレーム画像に含まれる、顔、目、および肌色領域のうちの少なくとも一つを含む補正対象を検出し、該補正対象に対する顔、目、および肌色領域に関する情報、ならびに該補正対象の検出における確からしさを示す評価値の少なくとも一つを含む補正対象情報を求める補正対象検出手段と、
   前記補正対象情報を格納する補正情報格納手段と、
   前記補正対象検出手段により、前記補正対象が検出されたか否かを判断する対象検出判断手段と、
   前記補正対象検出手段によって得られた前記現フレーム画像における前記補正対象情報および前記現フレーム画像の前記補正対象に関する補正情報であって、前記補正情報格納手段に格納された、該現フレーム画像に対応する過去のフレーム画像から得られた補正情報に基づいて、前記現フレーム画像における補正対象の検出可能な領域を算出し、前記現フレーム画像を補正する第１の補正情報を算出する第１補正情報算出手段と、
   前記現フレーム画像の画像全体から該フレーム画像を補正する第２の補正情報を算出する第２補正情報算出手段と、
   前記補正対象検出手段により、前記補正対象が検出された場合、前記第１の補正情報に基づいて前記現フレーム画像を補正し、前記補正対象が検出されなかった場合、前記第２の補正情報に基づいて前記現フレーム画像を補正する画像補正手段とを含み、
   第１および第２の画像補正情報は、階調補正パラメータ、色補正パラメータ、レンズの絞りおよびシャッタ速度のうちの少なくとも一つを含むことを特徴とする画像処理装置。
2. 請求項１に記載の装置において、前記第１補正情報算出手段は、前記現フレーム画像における前記補正対象情報に基づいて、前記現フレームに対する仮の補正情報を算出する第３の補正情報算出手段と、
   前記第１の補正情報および前記仮の補正情報に基づいて、前記現フレーム画像を補正する第４の補正情報を算出する第４の補正情報算出手段とを含むことを特徴とする画像処理装置。
3. 請求項１または２に記載の装置において、前記補正情報算出手段は、前記現フレーム画像に前記補正対象が検出されたか否かの結果に応じて前記現フレーム画像に対する前記仮の補正情報を算出することを特徴とする画像処理装置。
4. 請求項１ないし３のいずれか一項に記載の装置において、該装置は、前記補正対象検出手段、前記第１および第２補正情報算出手段、ならびに前記画像補正手段の機能をプログラムで実現させることを特徴とする画像処理装置。
5. ディジタル動画像の現フレーム画像に画像処理を行なう画像処理方法において、該方法は、
   前記現フレーム画像に含まれる、顔、目、および肌色領域のうちの少なくとも一つを含む補正対象を検出し、該補正対象に対する顔、目、および肌色領域に関する情報、ならびに該補正対象の検出における確からしさを示す評価値の少なくとも一つを含む補正対象情報を求める補正対象検出手段で該補正対象情報を求める第１の工程と、
   前記現フレーム画像に対応する過去のフレーム画像における前記補正対象情報を格納する補正情報格納手段から過去における補正対象情報として第１の補正情報を読み出す第２の工程と、
   前記補正対象が検出されたか否かを判断する対象検出判断手段での判断結果に応じて、前記現フレーム画像における補正対象の検出可能な領域を算出し、算出した前記現フレームにおける補正対象の検出可能な領域の第２の補正情報を算出する第３の工程と、
   該算出した第２の補正情報に基づいて前記現フレーム画像を補正する画像補正手段で該現フレーム画像を補正する第４の工程とを含み、
   第２の工程は、第１の補正情報に対する前記過去のフレーム画像における補正対象情報を過去情報として前記補正情報格納手段から読み出す第５の工程と、
   該過去情報に基づいて、前記現フレーム画像における前記補正対象の検出可能な領域を算出する第６の工程と、
   前記検出可能な領域から前記現フレーム画像の補正対象を検出し該補正対象に対する補正対象情報を算出する第７の工程とを含み、
   第３の工程は、第２の工程での処理結果が前記補正対象の存在を示す場合、前記現フレーム画像を補正する第２の補正情報を算出する第１補正情報算出手段で前記現フレーム画像における前記補正対象情報に基づいて前記現フレーム画像に対する仮の補正情報を算出する第８の工程と、
   第１の補正情報および前記仮の補正情報に基づいて、前記第１補正情報算出手段で前記現フレーム画像を補正する第２の補正情報を算出する第９の工程と、
   第２の工程での処理結果が前記補正対象の存在を示さない場合、前記現フレーム画像の画像全体から該フレーム画像を補正する第２の補正情報を算出する第２補正情報算出手段で前記現フレーム画像全体に基づいて前記現フレーム画像に対する仮の補正情報を算出する第10の工程と、
   第１の補正情報および前記仮の補正情報に基づいて、前記第２補正情報算出手段で前記現フレーム画像を補正する第２の補正情報を算出する第11の工程とを含み、
   第１および第２の補正情報は、階調補正パラメータ、色補正パラメータ、レンズの絞りおよびシャッタ速度のうちの少なくとも一つを含むことを特徴とする画像処理方法。
6. ディジタル動画像の現フレーム画像に画像処理を行なう画像処理方法において、該方法は、
   前記現フレーム画像に含まれる、顔、目、および肌色領域のうちの少なくとも一つを含む補正対象を検出し、該補正対象に対する顔、目、および肌色領域に関する情報、ならびに該補正対象の検出における確からしさを示す評価値の少なくとも一つを含む補正対象情報を求める補正対象検出手段で該補正対象情報を求める第１の工程と、
   前記現フレーム画像に対応する過去のフレーム画像における前記補正対象情報を格納する補正情報格納手段から過去における補正対象情報として第１の補正情報を読み出す第２の工程と、
   前記補正対象が検出されたか否かを判断する対象検出判断手段での判断結果に応じて、前記現フレーム画像における補正対象の検出可能な領域を算出し、算出した前記現フレームにおける補正対象の検出可能な領域の第２の補正情報を算出する第３の工程と、
   該算出した第２の補正情報に基づいて前記現フレーム画像を補正する画像補正手段で該現フレーム画像を補正する第４の工程とを含み、
   第２の工程は、第１の補正情報に対する前記過去のフレーム画像における補正対象情報を過去情報として前記補正情報格納手段から読み出す第５の工程と、
   該過去情報に基づいて、前記現フレーム画像における前記補正対象の検出可能な領域を算出する第６の工程と、
   前記検出可能な領域から前記現フレーム画像の補正対象を検出し該補正対象に対する補正対象情報を算出する第７の工程とを含み、
   第３の工程は、前記補正対象情報を、前記補正対象の検出における確からしさを示す評価値とし、
   第２の工程での処理結果が前記現フレーム画像に前記補正対象の存在を示す場合、該場合における前記仮の補正情報および前記評価値に基づく重み係数の乗算結果と、第１の補正情報および前記評価値に基づく重み係数の乗算結果とを線形結合し該線形結合に基づいて第２の補正情報を算出し、
   第２の工程での処理結果が前記現フレーム画像に前記補正対象の存在を示さない場合、該場合における前記仮の補正情報および固定した重み係数の乗算結果と、第１の補正情報および前記評価値に基づく重み係数の乗算結果とを線形結合し該線形結合に基づいて第２の補正情報を算出することを特徴とする画像処理方法。
7. ディジタル動画像の現フレーム画像に画像処理を行なう画像処理方法において、該方法は、
   前記現フレーム画像に含まれる、顔、目、および肌色領域のうちの少なくとも一つを含む補正対象を検出し、該補正対象に対する顔、目、および肌色領域に関する情報、ならびに該補正対象の検出における確からしさを示す評価値の少なくとも一つを含む補正対象情報を求める補正対象検出手段で該補正対象情報を求める第１の工程と、
   前記現フレーム画像に対応する過去のフレーム画像における前記補正対象情報を格納する補正情報格納手段から過去における補正対象情報として第１の補正情報を読み出す第２の工程と、
   前記補正対象が検出されたか否かを判断する対象検出判断手段での判断結果に応じて、前記現フレーム画像における補正対象の検出可能な領域を算出し、算出した前記現フレームにおける補正対象の検出可能な領域の第２の補正情報を算出する第３の工程と、
   該算出した第２の補正情報に基づいて前記現フレーム画像を補正する画像補正手段で該現フレーム画像を補正する第４の工程とを含み、
   第２の工程は、第１の補正情報に対する前記過去のフレーム画像における補正対象情報を過去情報として前記補正情報格納手段から読み出す第５の工程と、
   該過去情報に基づいて、前記現フレーム画像における前記補正対象の検出可能な領域を算出する第６の工程と、
   前記検出可能な領域から前記現フレーム画像の補正対象を検出し該補正対象に対する補正対象情報を算出する第７の工程とを含み、
   第３の工程は、前記補正対象情報を、前記補正対象の検出における確からしさを示す評価値とし、
   第２の工程での処理結果が前記現フレーム画像に前記補正対象の存在を示す場合、該場合の前記仮の補正情報、前記現フレーム画像に対する評価値および第１の補正情報のそれぞれを従属変数とする多次元非線形関数により第２の補正情報を算出し、
   第２の工程での処理結果が前記現フレーム画像に前記補正対象の存在を示さない場合、該場合の前記仮の補正情報および第１の補正情報のそれぞれを従属変数とする多次元非線形関数により前記現画像補正情報を算出することを特徴とする画像処理方法。
8. 請求項５、６または７に記載の方法において、該方法は、前記仮の補正情報として、第２の工程で複数検出された前記補正対象のうちの一つを選択し該選択した補正対象に対して前記仮の補正情報を算出することを特徴とする画像処理方法。
9. 請求項５ないし８のいずれか一項に記載の方法において、該方法は、前記仮の補正情報として、第２の工程で複数検出された前記補正対象のうちの２つ以上を選択し該選択した補正対象に対して前記仮の補正情報を算出することを特徴とする画像処理方法。
10. 請求項５、６または７に記載の方法において、該方法は、前記補正対象を、該補正対象の明るさ、サイズ、位置および評価値のうちの少なくとも一つに基づいて選択することを特徴とする画像処理方法。
11. 請求項５ないし10のいずれか一項に記載の方法において、該方法は、静止画の本撮像においても用いることを特徴とする画像処理方法。
12. 被写界を撮像してディジタル動画像の映像信号を形成する撮像手段と、
    該映像信号を受けて、前記ディジタル動画像の現フレーム画像に含まれる、顔、目、および肌色領域のうちの少なくとも一つを含む補正対象を検出し、該補正対象に対する顔、目、および肌色領域に関する情報、ならびに該補正対象の検出における確からしさを示す評価値の少なくとも一つを含む補正対象情報を求める補正対象検出手段と、
    前記補正対象情報を格納する補正情報格納手段と、
    前記補正対象検出手段により、前記補正対象が検出されたか否かを判断する対象検出判断手段と、
    前記補正対象検出手段によって得られた前記現フレーム画像における前記補正対象情報および前記現フレーム画像の前記補正対象に関する補正情報であって、前記補正情報格納手段に格納された、該現フレーム画像に対応する過去のフレーム画像から得られた補正情報に基づいて、前記現フレーム画像における補正対象の検出可能な領域を算出し、前記現フレーム画像を補正する第１の補正情報を算出する第１補正情報算出手段と、
    前記現フレーム画像の画像全体から該フレーム画像を補正する第２の補正情報を算出する第２補正情報算出手段と、
    前記補正対象検出手段により、前記補正対象が検出された場合、前記第１の補正情報に基づいて前記現フレーム画像を補正し、前記補正対象が検出されなかった場合、前記第２の補正情報に基づいて前記現フレーム画像を補正する画像補正手段とを含み、
    第１および第２の画像補正情報は、階調補正パラメータ、色補正パラメータ、レンズの絞りおよびシャッタ速度のうちの少なくとも一つを含むことを特徴とするディジタルカメラ。

Images