JP4983643B2 - 撮像装置及び補正プログラム - Google Patents

Description

本発明は、撮像装置及び補正プログラムに関する。

従来より、人物を撮影した撮影画像から顔を検出し、その顔の肌色部分を補正する撮像装置が種々提案されている。一例として、特許文献１には、顔の検出結果に応じて顔の肌色部分にコントラスト補正などを行う撮像装置が開示されている。

また、顔の検出結果に応じて人物の年齢や性別などを推論し、年齢や性別などを加味して顔の肌色部分を補正する撮像装置も提案されている（例えば、特許文献２参照）。
特開２００６−１４８３２６号公報 特開２００４−２２２１１８号公報

しかしながら、上記撮像装置では、撮影シーンによっては、顔の肌色部分を補正することでかえって背景とのバランスが崩れるなどの問題が生じるおそれがある。

本発明は、顔の補正効果を引き出すことが可能な撮像装置及び補正プログラムを提供することを目的とする。

請求項１に記載の撮像装置は、被写体を撮像して画像データを生成する撮像部と、前記画像データに基づいて人物の顔の特徴を表す特徴点を抽出する抽出部と、前記特徴点に基づいて前記人物の属性を推論する推論部と、前記画像データに基づいて撮影シーンを認識する認識部と、前記人物の属性及び前記撮影シーンの組み合わせと、補正用パラメータとの対応関係を記憶する記憶部と、前記推論部により推論された前記人物の属性と前記認識部により認識された前記撮影シーンとの組み合わせに対応する補正用パラメータを前記記憶部から取得し、取得した前記補正用パラメータを用いて、前記画像データのうち前記人物の顔を含む第１領域に対応する第１画像データと前記第１領域とは異なる第２領域に対応する第２画像データとをそれぞれ独立して補正する補正部とを備え、前記撮像部により生成された前記画像データが、前記推論部により推論された前記人物の属性と前記認識部により認識された前記撮影シーンとの組み合わせに対応する補正用パラメータが前記記憶部に存在しない補正用パラメータなし画像データである場合、前記補正用パラメータなし画像データを補正するためにユーザーが設定した補正用パラメータを、前記補正用パラメータなし画像データに対して前記推論部により推論された前記人物の属性と前記認識部により認識された前記撮影シーンとの組み合わせに対応づけて前記記憶部に記憶することを特徴とする。

請求項７に記載の補正プログラムは、画像データに基づいて人物の顔の特徴を表す特徴点を抽出する抽出ステップと、前記特徴点に基づいて前記人物の属性を推論する推論ステップと、前記画像データに基づいて撮影シーンを認識する認識ステップと、前記推論ステップにより推論された前記人物の属性と前記認識ステップにより認識された前記撮影シーンとの組み合わせに対応する補正用パラメータを記憶部から取得し、取得した前記補正用パラメータを用いて、前記画像データのうち前記人物の顔を含む第１領域に対応する第１画像データと前記第１領域とは異なる第２領域に対応する第２画像データとをそれぞれ独立して補正する補正ステップと、前記画像データが、前記推論ステップにより推論された前記人物の属性と前記認識ステップにより認識された前記撮影シーンとの組み合わせに対応する補正用パラメータが前記記憶部に存在しない補正用パラメータなし画像データである場合、前記補正用パラメータなし画像データを補正するためにユーザーが設定した補正用パラメータを、前記補正用パラメータなし画像データに対して前記推論ステップにより推論された前記人物の属性と前記認識ステップにより認識された前記撮影シーンとの組み合わせに対応づけて前記記憶部に記憶する記憶ステップとをコンピュータに実行させる。

本発明の撮像装置及び補正プログラムによれば、顔の補正効果を引き出すことが可能となる。

（第１実施形態の説明）
以下、図面に基づいて本発明の実施の形態を詳細に説明する。

図１は、本実施形態の電子カメラの構成を示すブロック図である。図１に示す通り電子カメラ１には、撮影レンズ１０と、レンズ駆動部１１と、絞り１２と、絞り駆動部１３と、撮像素子１４と、タイミングジェネレータ（ＴＧ）１５と、アナログフロントエンド部(以下、「ＡＦＥ」という。）１６と、画像処理部１７と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１８と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１９と、表示制御部２０と、液晶表示モニタ２１と、操作部２２と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２３と、記録インターフェース（記録Ｉ／Ｆ）２４と、バス２５とが備えられる。このうち画像処理部１７、ＲＡＭ１８、ＲＯＭ１９、表示制御部２０、ＣＰＵ２３および記録インターフェース（記録Ｉ／Ｆ）２４は、バス２５を介して互いに接続されている。また、操作部２２はＣＰＵ２３に接続されている。

撮影レンズ１０は、ズームレンズと、フォーカスレンズとを含む複数のレンズ群で構成されている。なお、簡単のため、図１では、撮影レンズ１０を１枚のレンズとして図示する。撮影レンズ１０を構成する各々のレンズは、レンズ駆動部１１によって光軸方向に移動する。なお、レンズ駆動部１１の入出力はＣＰＵ２３と接続されている。

絞り１２は、撮影レンズ１０からの入射光量を調整する。絞り１２の開口量は、絞り駆動部１３によって調整される。なお、絞り駆動部１３の入出力はＣＰＵ２３と接続されている。

撮像素子１４は、撮影レンズ１０からの入射光を光電変換することにより、画像信号（アナログ信号）を生成する。被写体の撮影を行う撮影モードでは、撮像素子１４は、撮影時に記録用の画像を出力する。また、撮影待機時には、撮像素子１４は、所定時間経過毎に構図確認用のスルー画像を出力する。

また、タイミングジェネレータ（ＴＧ）１５は、ＣＰＵ２３からの指示に従い撮像素子１４およびＡＦＥ１６の各々へ向けて駆動信号を送出し、それによって両者の駆動タイミングを制御する。

ＡＦＥ１６は、撮像素子１４が生成する画像信号に対して信号処理を施すアナログフロントエンド回路である。このＡＦＥ１６は、画像信号のゲイン調整や、画像信号のＡ／Ｄ変換などを行う。このＡＦＥ１６が出力する画像信号（デジタル信号）は、画像処理部１７へ入力される。

画像処理部１７は、ＡＦＥ１６が出力する画像データをＲＡＭ１８のフレームメモリに一時的に記憶させる。また、画像処理部１７は、フレームメモリに記憶されている画像データに対してホワイトバランス補正処理、ゲインコントロール処理などの画像処理を施す。さらに、顔が検出された場合には、後述する補正処理部２３ｄの指示により、顔および背景の画像処理を施す。

記録インターフェース（記録Ｉ／Ｆ）２４には、記録媒体２６を接続するためのコネクタが形成されている。記録インターフェース（記録Ｉ／Ｆ）２４はＣＰＵ２３からの指示により、そのコネクタに接続された記録媒体２６にアクセスして画像の記録処理を行う。

操作部２２は、レリーズボタン、コマンドダイヤルなどであり、ユーザによる操作内容に応じてＣＰＵ２３へ信号を与えるものである。例えばユーザは、レリーズボタンを全押しすることにより撮影の指示をＣＰＵ２３へ与えることができる。

ＣＰＵ２３は、電子カメラ１の統括的な制御を行うプロセッサである。ＣＰＵ２３は、ＲＯＭ１９に予め格納されたシーケンスプログラムを実行することにより、各処理のパラメータを算出したり、電子カメラ１の各部を制御したりする。また、本実施形態のＣＰＵ２３は、顔検出部２３ａ、推論部２３ｂ、シーン認識部２３ｃ、補正処理部２３ｄとして機能する。

顔検出部２３ａは、液晶表示モニタ２１に表示されたスルー画像や撮影画像から顔を検出する。さらに、顔検出部２３ａは、検出した顔に基づいて顔の器官を構成する特徴点を抽出する。顔検出部２３ａは、一例として特開２００１−１６５７３号公報などに記載された特徴点抽出処理によって顔の特徴点を抽出する。特徴点としては、例えば、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点などが挙げられる。なお、特徴点抽出処理では、例えば、顔の色彩や明度の分散、強度分布などを特徴量として検出することもできる。

推論部２３ｂは、上記特徴点抽出処理で得られた特徴点を用いた演算処理により人物の年齢層および性別を推定する。推論部２３ｂは、一例として下記の非特許文献１に開示された方法により、人物の年齢層および性別を推定する。

＜非特許文献１＞：細井聖、瀧川えりな、川出雅人；「ガボールウェーブレット変換とサポートベクタマシンによる性別・年代推定システム」；第８回画像センシングシンポジウム講演論文集；画像センシング技術研究会；２００２年７月
シーン認識部２３ｃは、被写体像に含まれる空や海などを輝度分布やＲＧＢ信号の分布に基づいて認識する。シーン認識部２３ｃは、一例として特開２００６―２０３３４６に開示された方法により、撮影シーンの種別を認識することができる。

補正処理部２３ｄは、推論部２３ｂの推論結果および撮影シーンの種別に基づいて、撮像素子１４で撮像された記録用の画像に対して、顔と撮影シーンの背景とを各々独立に補正する。この際、補正処理部２３ｄは、推論結果と撮影シーンの種別との組み合わせと、補正用のパラメータとの対応関係が予め記憶されているテーブルを参照し、パラメータに基づいて補正する。このテーブルは予めＲＯＭ１９に記憶されている。

図２は、補正処理用のテーブルの一例を示す図である。例えば、推論部２３ｂの推論結果が「２０代の男性」であり、シーン認識部２３ｃの認識結果が「海」であった場合、補正処理部２３ｄは以下の補正処理を行う。補正処理部２３ｄは、顔に対しては「肌色部分を日焼けしたような色」に補正するとともに背景に対しては「輪郭を強調して色鮮やか」にする。具体的な処理の詳細については後述する。なお、テーブルの項目は、一例であってこれに限定されるものではない。

次に、第１実施形態における電子カメラの動作の一例を説明する。

図３は、電子カメラ１の動作を表すフローチャートである。ここで、以下の説明では、顔検出機能、人物の年齢層および性別の推論機能をオンにするとともに、シーン認識機能もオンに設定した場合について説明する。また、一例として、２０代の男性が海辺を背景にして立っている状態を電子カメラ１で撮影するものとする。

ステップＳ１０１：ＣＰＵ２３は、タイミングジェネレータ（ＴＧ）１５を介して撮像素子１４を駆動させることによりスルー画像の取得を開始する。このスルー画像は、液晶表示モニタ２１に表示される。

図４は、顔検出機能、推論機能およびシーン認識機能を説明する図である。図４（ａ）では、スルー画像が液晶表示モニタ２１に表示されている様子を表している。このスルー画像を用いて、顔検出処理、推論処理およびシーン認識処理が行われる。

ステップＳ１０２：ＣＰＵ２３は、スルー画像取得が開始されたか否かを判別する。スルー画像取得が開始された場合は（ステップＳ１０２：Ｙｅｓ）、ステップＳ１０３に移行する。一方、スルー画像取得が所定時間経過しても開始されない場合は（ステップＳ１０２：Ｎｏ）、節電モードが機能してこの処理ルーチンは終了する。

ステップＳ１０３：ＣＰＵ２３の顔検出部２３ａは、スルー画像に上述した顔検出処理を施して撮影画面から顔を検出する。さらに、顔検出部２３ａは、検出した顔に基づいて顔の器官を構成する特徴点を抽出する。なお、顔検出がなされた場合、ＣＰＵ２３は、撮影画面内の顔の位置を特定するための座標データに基づいて、図４（ｂ）に示すように顔を囲む矩形状のマークを液晶表示モニタ２１に表示させる。このマークで囲まれる顔の領域が撮影画面上で予め定めた大きさよりも大きい場合には、ポートレートモードの撮影が行なわれる（詳細は後述する）。

ステップＳ１０４：ＣＰＵ２３は、ステップＳ１０３の顔検出処理で顔を検出したか否かを判定する。顔検出部２３ａが顔を検出できた場合には（ステップＳ１０４：Ｙｅｓ）、人物の年齢層および性別の推論（ステップＳ１０５）に移行する。

一方、顔検出部２３ａが顔を検出できなかった場合には（ステップＳ１０４：Ｎｏ）、通常の撮影モードとして、ステップＳ１０８に移行する。この場合、全押し操作がなされると（ステップＳ１０８：Ｙｅｓ）、本画像取得の処理（ステップＳ１０９）へ移行する。ステップＳ１０９以降の処理については、後述する。

ステップＳ１０５：ＣＰＵ２３の推論部２３ｂは、人物の年齢層および性別を推定する推論処理を実行する。本実施形態では、推論部２３ｂは、年齢層について、「１０歳未満、１０代、２０代、３０代、４０歳以上」のようにクラス分けして推定する。なお、これは一例であって、推論部２３ｂは、例えば「子供、大人、老人」のようにクラス分けして推定してもよい。図４（ｃ）では、推論部２３ｃが、人物を「２０代の男性」に推定した結果を表している。

ステップＳ１０６：ＣＰＵ２３のシーン認識部２３ｃは、被写体の輝度分布やＲＧＢ信号の分布に基づいて、撮影シーンの種別を認識する。図４（ｄ）では、シーン認識部２３ｃにより、「空、海、砂浜」が認識された結果を表している。この場合、シーン認識部２３ｃは撮影シーンを「海」とする。

ステップＳ１０７：ＣＰＵ２３の補正処理部２３ｄは、先ず、推論部２３ｂの推論結果およびシーン認識部２３ｃの認識結果を取得する。図４の例では、推論部２３ｂの推論結果が「２０代の男性」であり、シーン認識部２３ｃの認識結果が「海」である。続いて、補正処理部２３ｄは、ＲＯＭ１９に記憶されているテーブル（図２）を参照する。補正処理部２３ｄは、顔に対しては「肌色部分を日焼けしたような色に補正する」ためのパラメータを取得する。また、補正処理部２３ｄは、背景（海）に対しては、「輪郭を強調して、色鮮やかにする」ためのパラメータを取得する。

ステップＳ１０８：ＣＰＵ２３は、レリーズボタンが全押しされたか否かを判別する。レリーズボタンが全押しされていない場合は（ステップＳ１０８：Ｎｏ）、ステップＳ１０２に戻る。一方、レリーズボタンが全押しされた場合は（ステップＳ１０８：Ｙｅｓ）、ステップＳ１０９へ移行する。

ステップＳ１０９：ＣＰＵ２３は、操作部２２からの全押し操作を受けて、本画像取得のため、タイミングジェネレータ１５を介して撮像素子１４を駆動させる。ＡＦＥ１６では、画像信号のゲイン調整や画像信号のＡ／Ｄ変換が行われる。このＡＦＥ１６が出力する画像信号（デジタル信号）は、画像処理部１７へ入力される。画像処理部１７は、ＡＦＥ１６が出力する本画像データをＲＡＭ１８のフレームメモリに記憶させる。

ステップＳ１１０：画像処理部１７は、フレームメモリに記憶されている本画像データに対してホワイトバランス補正処理、ゲインコントロール処理などの画像処理を施す。

ここで、ステップＳ１０４の判定結果において、顔検出部２３ａが顔検出できず、通常の撮影モードの場合、画像処理部１７は、本画像のデータに対して顔および撮影シーンの背景の補正処理を行わない。

一方、ステップＳ１０４の判定結果において、顔検出部２３ａが顔を検出できた場合の本画像データについては、さらに以下の補正処理が行われる。補正処理部２３ｄは、画像処理部１７に顔および背景の補正を指示する。この際、補正処理部２３ｄは、画像処理部１７に対して「肌色部分を日焼けしたような色に補正する」ためのパラメータと「輪郭を強調して、色鮮やかにする」ためのパラメータとを設定する。

画像処理部１７は、ホワイトバランス補正処理などが施された後の本画像データに対して顔および背景の補正処理を施す。ここで、顔の補正では、「肌色部分を日焼けしたような色に補正する」ために、画像処理部１７は顔の肌色の色相を補正する。本実施形態では、一例として、色相に関する情報を予めＲＯＭ１９に記憶しておく。具体的には、色相としては、Ｒ（赤）、Ｙ（黄）、Ｇ（緑）、Ｂ（青）、Ｐ（紫）の基本色相に中間色を加えて、複数通りの色相を定める。そして、複数通りの色相のうち、「肌色部分を日焼けしたような色」を所定の色相に対応付けておく。補正処理部２３ｄは、画像処理部１７に対して、「肌色部分を日焼けしたような色」に対応付けられた色相の情報をパラメータとして設定する。画像処理部１７は、顔検出部２３ａが検出した顔の肌色に対して、「肌色部分を日焼けしたような色」に対応付けられた色相になるようにＲＧＢの分布を調整する。

また、背景の補正では、「輪郭を強調して、色鮮やかにする」ため、画像処理部１７は輪郭、色、輝度の調整を行う。本実施形態では、一例として色相の色毎に「色の鮮やかさ」のレベルを０から１０の間の数字にクラス分けしておく。鮮やかさを持たない無彩色をゼロとし、鮮やかさが増すにしたがって数字が大きくなるようにする。補正処理部２３ｄは、画像処理部１７に対して、背景が「海」に対応付けられた「色の鮮やかさ」のレベル値をパラメータとして設定する。画像処理部１７は、そのレベル値に応じて色、輝度の調整を行う。また、輪郭の強調として、画像処理部１７は、画像データに対して所定の空間フィルタを用いて演算処理を行う。これにより、輪郭補正を強くかける。

ステップＳ１１１：ＣＰＵ２３は、本画像データを圧縮処理して記録媒体２６に保存する。そして、この処理ルーチンは終了する。

以上、推論部の推論結果（２０代の男性）およびシーン認識部の認識結果（海）に応じて顔のみならず背景も合わせて補正される。その結果、顔の領域は日焼けの度合いが高まるとともに背景については色鮮やかになる。そのため、背景も含めて、顔の補正効果が十分に引き出される。

なお、上記電子カメラ１の動作の一例では、全押し操作後に画像データの補正処理を行っているが、ＣＰＵ２３は全押し操作前にスルー画像に対して補正処理を施して、液晶表示モニタ２１に画像を表示させてもよい。これにより、ユーザは、補正処理後の画像を液晶表示モニタ２１で確認した上で全押し操作することができる。また、電子カメラ１の動作の一例として、ＣＰＵ２３は全押し操作後に顔および背景の補正処理を行わず、記憶媒体２６に画像データを保存してもよい。この場合、記録媒体２６に保存された画像を液晶表示モニタ２１に表示させた後に、顔検出、人物の年齢層および性別の推定、シーン認識を行う。そして、補正処理部２３ｄが顔および背景の補正処理を行い、この補正処理が施された画像を新たに生成してもよい。

また、図３のフローチャートにおいては、顔検出処理、推論処理、シーン認識処理をシーケンシャルに行ったが、顔検出処理および推論処理と、シーン認識処理を並列に行ってもよい。

上述した例では、２０代の男性が海辺を背景にして立っている場合について説明した。次に、推論部２３ｂの推論結果が「２０〜３０代の女性」であって、シーン認識部２３ｃの認識結果が「ポートレート用の撮影シーン」であった場合の補正処理（ステップＳ１１０）について説明する。

本実施形態では、顔検出部２３ａで検出された顔の領域が、撮影画面内において予め定められた大きさを超えた場合、シーン認識部２３ｃは、背景をぼかすポートレート用の撮影シーンと判断する。ただし、背景の輝度分布は一様であるものとする。これにより、例えば、ユーザが人物の顔をズームして撮影する場合、ポートレートモードに自動的に移行するため、ユーザがポートレートを意識しなくても、背景がぼけた画像を得ることができる。さらに、顔については年齢層、性別に応じて補正処理がされるため、結果的に人物が美しく引き立つような画像を得ることができる。なお、ポートレート用の撮影シーンの場合、ＣＰＵ２３は、顔を焦点検出エリアとして撮影を実行するものとする。

図５は、ポートレート用の撮影シーンの場合における補正処理の一例を説明する図である。図５（ａ）では、２０〜３０代の女性が液晶表示モニタ２１にスルー画像として映し出されているものとする。

この場合、シーン認識部２３ｃは、図５（ｂ）に示す通り、上述したマークで囲まれる顔の領域が撮影画面内で予め定めた大きさよりも大きい場合には、ポートレート用の撮影シーンと認識する。そして、補正処理部２３ｄは、図２に示す通り、顔については「肌色部分をなめらか、色を明るくする」するためのパラメータを取得し、背景については「輪郭をぼかして、ナチュラルにする」ためのパラメータを取得する。

続いて、補正処理部２３ｄは、画像処理部１７に対して撮影画像にソフトフォーカス処理を指示する。これにより、主要被写体である女性が強調されるとともに輪郭をぼかしてナチュラルな画像を得ることができる。

具体的には、画像処理部１７のソフトフォーカス処理は、以下の手段で行われる。例えば、画像処理部１７は、所定のソフトフォーカス処理を示すフィルタやローパスフィルタなどによるフィルタ処理を撮影画像に施してソフトフォーカス画像を生成する。

また、補正処理部２３ｄは、画像処理部１７に対して、顔の肌色について色、輝度のパラメータを調整する指示を行う。例えば、画像処理部１７は、肌色部分を明るく（美白）、なめらかにする為に、色、輝度の調整を行う。これにより、肌色部分がなめらかになり、色が明るくなる。なお、例えば、４０代の女性の場合には、画像処理部１７は、肌色のくすみやしわを目立たなくする為に、肌色の色、輝度の調整を行う。

以上、撮影シーンがポートレート用の撮影シーンであって撮影対象の人物が２０〜３０代の女性である場合、顔の肌色部分がなめらか、かつ明るくなり、背景については輪郭をぼかしてナチュラルな撮影画像が得られる。

第１の実施形態では、撮影対象の人物に見合うように背景も補正処理がなされる。そのため、顔のみを補正する場合と比較してより良い画像が得られる。

なお、顔検出処理において複数の顔が検出された場合の対処として、検出した顔毎に年齢層、性別に応じて顔の補正処理を行ってもよい。具体例として以下に説明する。

図６は、複数の顔が検出された場合における補正処理の一例を示す図である。図６（ａ）では、２０代の女性と２０代の男性とが液晶表示画面２１にスルー画像として映し出されているものとする。顔検出部２３ａは、図６（ａ）に示すように各々の顔を検出する。続いて、推論部２３ｂは２０代の女性と２０代の男性とを推定する。シーン認識部２３ｃは、上述したマークで囲まれる顔の領域が撮影画面上で予め定めた大きさよりも大きいか否かを判定する。この例では、顔の領域が撮影画面上で予め定めた大きさよりも小さいものとする。すると、シーン認識部２３ｃは、一例として、撮影シーンを風景と認識する。そして、補正処理部２３ｄは、図２のテーブルには示してはいないが以下の補正処理を行う。２０代の女性について、肌色部分をなめらか、かつ、色を明るくする補正処理を行う。そして、補正処理部２３ｄは、２０代の男性について、色を明るくする補正処理を行う。さらに、補正処理部２３ｄは、背景の風景について、輪郭を強調して色をナチュラルにする補正処理を行う。

ここで、複数の顔が検出された場合の補正処理は上記の例に限られず、例えば、予め優先順位を決めておいて、優先順位の高い顔に対応付けられた背景の補正処理を行ってもよい。また、図２に示したテーブルにおける顔の補正処理について、上述した以外に、「肌色部分をきれいにする」処理とは、例えば、画像処理部１７がシャープネスを下げる色補正を行うことをいう。また、「肌色部分を暗くする」処理とは、例えば画像処理部１７が肌色部分の明度を暗くする色補正を行うことをいう。背景の補正処理については、上述した以外に、「明るい部分（光源）は、ぼかしてその他は自然に見える範囲で輪郭強調」とは、以下の処理をいう。明るい部分（光源）については、画像処理部１７が所定の空間フィルタを用いて演算処理を施すことにより、光源付近をぼかす。また、光源以外の背景については、画像処理部１７が所定の空間フィルタを用いて演算処理を施すことにより輪郭強調を行う。

図２に示したテーブルのパラメータについては、色相、輝度、明度、空間フィルタなどを適宜選択して補正することにより、顔および背景が補正された撮影画像が得られる。なお、色相、輝度、明度、空間フィルタなどは一例であって、これらに限定されるものではない。
（第２実施形態の説明）
次に、本発明の第２実施形態について説明する。本発明の第２実施形態では、コンピュータに電子カメラで撮影された画像（顔および背景が補正されていないものとする）を読み出し、顔および背景について補正処理を行う。この補正処理を行うに際し、本発明の一実施形態である画像処理プログラムを用いる。

以下、具体的に説明する。図７は、コンピュータの構成を示すブロック図である。図７に示すコンピュータ３には、コンピュータ用ＣＰＵ３０と、メモリ３１と、通信インターフェース（Ｉ／Ｆ）３２と、キーボード３３と、表示モニタ３４とが備えられている。メモリ３１には、本発明の一実施形態である画像処理プログラムも格納されている。

このコンピュータ用ＣＰＵ３０は、本発明の一実施形態である画像処理プログラムが組み込まれることによって、顔検出部３０ａと、推論部３０ｂと、シーン認識部３０ｃと、補正処理部３０ｄとが構築される。また、メモリ３１には、図２に示した補正処理用のテーブルが記憶される。なお、顔検出部３０ａ、推論部３０ｂおよびシーン認識部３０ｃについては、第１実施形態で説明した内容と同様であるため、重複説明を省略する。また、補正処理部３０ｄについては、図１に示す画像処理部１７における顔および背景の補正処理の機能も持っているものとする。

次に、本発明の一実施形態である画像処理プログラムの動作について説明する。ここでは、電子カメラ１で記録された画像は、予め、通信インターフェース（Ｉ／Ｆ）３２を介してメモリ３１に記憶されているものとする。また、補正処理の対象となる画像は、図４で説明した２０代の男性が海辺を背景にして立っている状態を電子カメラ１で撮影した画像とする。ただし、顔および背景の補正処理はされていないものとする。

図８は、画像処理プログラムの動作を表すフローチャートである。この処理ルーチンは、キーボード３３から画像処理プログラムの起動を受け付けると開始する。

ステップＳ２０１：ＣＰＵ３０は、処理対象の画像をメモリ３１から読み出して、表示モニタ３４に表示させる。

ステップＳ２０２：ＣＰＵ３０の顔検出部３０ａは、表示モニタ３４に表示された画像に対して顔検出処理を施して顔を検出する。さらに、顔検出部３０ａは、検出した顔に基づいて顔の器官を構成する特徴点を抽出する。

ステップＳ２０３：ＣＰＵ３０は、ステップＳ２０２の顔検出処理で顔を検出したか否かを判定する。顔検出部３０ａが顔を検出した場合（ステップＳ２０３：Ｙｅｓ）、人物の年齢層および性別の推論（ステップＳ２０４）に移行する。

一方、顔検出部２３ａが顔を検出しなかった場合（ステップＳ２０３：Ｎｏ）、顔および背景の補正処理は行わないため、この処理ルーチンを終了する。

ステップＳ２０４：ＣＰＵ３０の推論部３０ｂは、人物の年齢層および性別を推定する推論処理を実行する。

ステップＳ２０５：ＣＰＵ３０のシーン認識部３０ｃは、被写体の輝度分布やＲＧＢ信号の分布に基づいて、背景のシーンを認識する。

ステップＳ２０６：ＣＰＵ３０の補正処理部３０ｄは、先ず、推論部３０ｂの推論結果（２０代の男性）およびシーン認識部３０ｃの認識結果（海）を設定する。続いて、補正処理部３０ｄは、メモリ３１に記憶されているテーブルを参照する。補正処理部３０ｄは、顔に対しては「肌色部分を日焼けしたような色に補正する」ためのパラメータを取得する。また、補正処理部３０ｄは、背景（海）に対しては、「輪郭を強調して、色鮮やかにする」ためのパラメータを設定する。

ステップＳ２０７：補正処理部３０ｄは、顔検出部３０ａが検出した顔の肌色に対して、「肌色部分を日焼けしたような色」に対応付けられた色相になるようにＲＧＢの分布を調整する。また、背景の補正では、「輪郭を強調して、色鮮やかにする」ため、補正処理部３０ｄは輪郭、色および輝度の調整を行う。補正処理部３０ｄは、背景が「海」に対応付けられた「色の鮮やかさ」のレベル値に基づいて色、輝度の調整を行う。また、輪郭の強調として、補正処理部３０ｄは、画像データに対して所定の空間フィルタを用いて演算処理を行う。これにより、輪郭補正を強くかける。

ステップＳ２０８：ＣＰＵ３０は、補正処理後の画像を表示モニタ３４に表示するとともに補正処理後の画像データを圧縮処理してメモリ３１に保存する。そして、この処理ルーチンは終了する。

以上、本実施形態の電子カメラ１によれば、推論部２３ｂの推論結果および撮影シーンの種別に基づいて、顔および背景の補正を記録用の画像に対して各々独立に行う。また、本実施形態の画像処理プログラムによれば、推論部３０ｂの推論結果および撮影シーンの種別に基づいて、顔および背景の補正を電子カメラで撮影された画像に対して行う。これにより、顔のみならず背景も合わせて補正される。すなわち、撮影人物に応じて背景も補正されるため、顔と背景のバランスを崩すことなく、顔の補正効果を十分に引き出すことができる。
＜実施形態の補足事項＞
（１）上記実施形態では、推論部２３ｂ、３０ｂは年齢層、性別を推定したが、これに限られず、さらに人種を加えて推定してもよい。この場合、人種の推論については、一例として下記の非特許文献２に開示された方法により、人種を推定する。

＜非特許文献２＞：グレゴリー シャナロビッチ（Ｇｒｅｇｏｒｙ Ｓｈａｋｈｎａｒｏｖｉｃｈ），ポール Ａ ヴィオラ（Ｐａｕｌ Ａ． Ｖｉｏｌａ），ババック モハダム（Ｂａｂａｃｋ Ｍｏｇｈａｄｄａｍ）；「ア ユニファイド ラーニング フレームワーク フォア リアルタイム フェイス ディテクション アンド クラシフィケーション（Ａ Ｕｎｉｆｉｅｄ Ｌｅａｒｎｉｎｇ Ｆｒａｍｅｗｏｒｋ ｆｏｒ Ｒｅａｌ Ｔｉｍｅ Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）」；プロシーディングス オブ ザ フィフス ＩＥＥＥ インターナショナル コンファレンス オン オートマティック フェイス アンド ジェスチャー レコグニッション（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｆｉｆｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｕｔｏｍａｔｉｃ Ｆａｃｅ ａｎｄ Ｇｅｓｔｕｒｅ ａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ）；（米国） インスティチュート オブ エレクトリカル アンド エレクトロニクス エンジニアズ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ，略称 ＩＥＥＥ）；２００２年５月
（２）上記実施形態では、「ポートレート」、「夜景」、「風景」などの撮影モードを予め設定しておいてもよい。これにより、シーン認識部２３ｃにおけるシーン認識の精度がさらに向上する。

（３）上記実施形態では、電子カメラ１に人工衛星を用いた汎地球測位システム（ＧＰＳ：Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）や方位センサを搭載してもよい。この場合、ＲＯＭ１９に地図情報が格納されているものとする。ＣＰＵ２３は、位置情報と方位情報を取得する。これにより、シーン認識部２３ｃは地図情報に基づいて撮影方向に存在する人物以外の対象物の特定がしやすくなる。したがって、シーン認識部２３ｃは、例えば、海や山などの背景に対してシーン認識の精度を向上させることができる。

（４）上記実施形態の電子カメラ１では、推論結果と認識結果との組み合わせがテーブルに該当しない場合、マニュアル設定にて補正処理を行ってもよい。

具体的には、推論結果と認識結果との組み合わせがテーブルに該当しない場合、電子カメラ１では、一旦通常の撮影を行う。そして、本画像データは記録媒体２６に保存される。また、本画像を液晶表示モニタ２１に表示させる。ユーザは、推論結果と認識結果との組み合わせの補正処理のパラメータをマニュアル操作で設定する。すると、ＣＰＵ２３は、マニュアル操作で設定された補正処理のパラメータに基づいて、顔および背景の補正処理を行う。そして、ＣＰＵ２３は、この補正処理が施された画像を新たに生成する。そして、ユーザにて設定された補正処理のパラメータの内容は、テーブルに追加されるものとする。

本実施形態の電子カメラの構成を示すブロック図 補正処理用のテーブルの一例を示す図 電子カメラ１の動作を表すフローチャート 顔検出機能、推論機能およびシーン認識機能を説明する図 ポートレート用の撮影シーンの場合における補正処理の一例を説明する図 複数の顔が検出された場合における補正処理の一例を示す図 コンピュータの構成を示すブロック図 画像処理プログラムの動作を表すフローチャート

符号の説明

１・・・電子カメラ、３・・・コンピュータ、１７・・・画像処理部、２３ａ、３０ａ・・・顔検出部、２３ｂ、３０ｂ・・・推論部、２３ｃ、３０ｃ・・・シーン認識部、２３ｄ、３０ｄ・・・補正処理部

Claims (7)

1. 被写体を撮像して画像データを生成する撮像部と、
   前記画像データに基づいて人物の顔の特徴を表す特徴点を抽出する抽出部と、
   前記特徴点に基づいて前記人物の属性を推論する推論部と、
   前記画像データに基づいて撮影シーンを認識する認識部と、
   前記人物の属性及び前記撮影シーンの組み合わせと、補正用パラメータとの対応関係を記憶する記憶部と、
   前記推論部により推論された前記人物の属性と前記認識部により認識された前記撮影シーンとの組み合わせに対応する補正用パラメータを前記記憶部から取得し、取得した前記補正用パラメータを用いて、前記画像データのうち前記人物の顔を含む第１領域に対応する第１画像データと前記第１領域とは異なる第２領域に対応する第２画像データとをそれぞれ独立して補正する補正部とを備え、
   前記撮像部により生成された前記画像データが、前記推論部により推論された前記人物の属性と前記認識部により認識された前記撮影シーンとの組み合わせに対応する補正用パラメータが前記記憶部に存在しない補正用パラメータなし画像データである場合、前記補正用パラメータなし画像データを補正するためにユーザーが設定した補正用パラメータを、前記補正用パラメータなし画像データに対して前記推論部により推論された前記人物の属性と前記認識部により認識された前記撮影シーンとの組み合わせに対応づけて前記記憶部に記憶すること
   を特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記撮像部により生成された前記画像データが、前記推論部により推論された前記人物の属性と前記認識部により認識された前記撮影シーンとの組み合わせに対応する補正用パラメータが前記記憶部に存在しない補正用パラメータなし画像データである場合、前記補正部は、前記補正用パラメータなし画像データを補正するためにユーザーが設定した補正用パラメータを用いて、前記補正用パラメータなし画像データのうち前記第１領域に対応する画像データと前記第２領域に対応する画像データとをそれぞれ独立して補正すること
   を特徴とする撮像装置。
3. 請求項１又は請求項２に記載の撮像装置において、
   位置情報を取得する位置情報取得部と、
   方位情報を取得する方位情報取得部とを更に備え、
   前記認識部は、前記画像データと前記位置情報と前記方位情報とに基づいて前記撮影シーンを認識すること
   を特徴とする撮像装置。
4. 請求項１から請求項３のいずれか一項に記載の撮像装置において、
   前記人物の属性は、前記人物の年齢層及び性別の少なくとも一方を含むこと
   を特徴とする撮像装置。
5. 請求項１から請求項４のいずれか一項に記載の撮像装置において、
   前記補正部は、前記画像データの色、輝度及び輪郭の補正を行なうこと
   を特徴とする撮像装置。
6. 請求項５に記載の撮像装置において、
   前記補正部は、前記顔の肌色及び輝度の補正を行なうこと
   を特徴とする撮像装置。
7. 画像データに基づいて人物の顔の特徴を表す特徴点を抽出する抽出ステップと、
   前記特徴点に基づいて前記人物の属性を推論する推論ステップと、
   前記画像データに基づいて撮影シーンを認識する認識ステップと、
   前記推論ステップにより推論された前記人物の属性と前記認識ステップにより認識された前記撮影シーンとの組み合わせに対応する補正用パラメータを記憶部から取得し、取得した前記補正用パラメータを用いて、前記画像データのうち前記人物の顔を含む第１領域に対応する第１画像データと前記第１領域とは異なる第２領域に対応する第２画像データとをそれぞれ独立して補正する補正ステップと、
   前記画像データが、前記推論ステップにより推論された前記人物の属性と前記認識ステップにより認識された前記撮影シーンとの組み合わせに対応する補正用パラメータが前記記憶部に存在しない補正用パラメータなし画像データである場合、前記補正用パラメータなし画像データを補正するためにユーザーが設定した補正用パラメータを、前記補正用パラメータなし画像データに対して前記推論ステップにより推論された前記人物の属性と前記認識ステップにより認識された前記撮影シーンとの組み合わせに対応づけて前記記憶部に記憶する記憶ステップとをコンピュータに実行させる補正プログラム。

Images