JP4946913B2 - 撮像装置および画像処理プログラム - Google Patents

Description

本発明は、顔検出機能を備える撮像装置および画像処理プログラムに関する。

従来より、人物を撮影した撮影画像から顔を検出し、その顔の肌色部分を補正する撮像装置が種々提案されている（例えば、特許文献１参照）。特許文献１には、顔の検出結果に応じて顔の肌色部分にコントラスト補正などを行う撮像装置が開示されている。

また、顔の検出結果に応じて人物の年齢や性別などを推論し、年齢や性別などを加味して顔の肌色部分を補正する撮像装置も提案されている（例えば、特許文献２参照）。

さらに、被写体の顔の表情を認識し、認識結果に基づいて撮影画面全体の明るさの補正を行う撮像装置も提案されている（例えば、特許文献３参照）。また、被写体の顔の表情を認識し、顔の表情を評価して採点する撮像装置も提案されている（例えば、特許文献４参照）。
特開２００６−１４８３２６号公報 特開２００４−２２２１１８号公報 特開２００１−５１３３８号公報 特開２００４−４６５９１号公報

しかしながら、特許文献１や特許文献２の撮像装置では、顔の補正内容を決定する条件に背景などの条件が考慮されていない。そのため、顔の肌色部分を補正することでかえって背景とのバランスが崩れるなどの問題が生じるおそれがある。また、特許文献３の撮像装置では、被写体の顔の表情が撮影画像全体の露出条件の決定に反映されるため、顔と背景とのバランスが崩れるなどの問題が生じるおそれがある。また、特許文献４の撮像装置では、撮影画像から顔の表情を評価して採点するものの、評価結果が画像に反映されることはない。

そこで、本発明は、顔の補正効果を背景も含めて十分に引き出すことができる撮像装置および画像処理プログラムを提供することを目的とする。

第１の発明に係る撮像装置は、撮像素子と、顔検出部と、推論部と、表情判定部と、補正処理部と、を備える。撮像素子は、被写体像を光電変換して画像信号を生成する。顔検出部は、画像信号に基づいて撮影画面から人物の顔を検出し、顔の特徴を表す特徴点を抽出する。推論部は、特徴点に基づいて人物の顔から人物の属性を推論する。表情判定部は、特徴点に基づいて人物の顔から顔の表情を判定する。補正処理部は、推論部の推論結果および表情判定部の判定結果に基づいて、撮像素子で撮像された記録用の画像のうち、顔を含む第１の領域と、第１領域と異なる第２の領域とを各々独立に補正する。

第２の発明は、第１の発明において、画像信号に基づいて撮影シーンの種別を認識するシーン認識部をさらに備え、補正処理部は、撮影シーンの種別も考慮して、第２の領域の補正をする。

第３の発明は、第１の発明において、人物の属性は、人物の年齢層および性別の少なくとも一方を含む。

第４の発明は、第１の発明において、表情判定部は、顔の表情のうち、笑顔の度合いを判定する。

第５の発明は、第４の発明において、補正処理部は、笑顔の度合いに応じて、第１の領域および第２の領域の補正を行う補正用のパラメータを決定する。

第６の発明は、第１から第５のいずれか１の発明において、推論結果と判定結果との組み合わせと、補正用のパラメータとの対応関係が予め記憶されているメモリを備え、補正処理部は、推論結果と判定結果との組み合わせから求めたパラメータに基づいて、第１の領域と第２の領域とを各々独立に補正する。

第７の発明は、第１から第５のいずれか１の発明において、推論結果、判定結果および撮影シーンの種別との組み合わせと、補正用のパラメータとの対応関係が予め記憶されているメモリを備え、補正処理部は、推論結果、判定結果および撮影シーンの種別との組み合わせから求めたパラメータに基づいて、第１の領域と第２の領域とを各々独立に補正する。

第８の発明に係る画像処理プログラムは、画像処理をコンピュータに実行させる画像処理プログラムであって、画像から人物の顔を検出し、顔の特徴を表す特徴点を抽出する顔検出ステップと、特徴点に基づいて人物の顔から人物の属性を推論する推論ステップと、特徴点に基づいて人物の顔から顔の表情を判定する表情判定ステップと、推論ステップの推論結果および表情判定ステップの判定結果に基づいて、画像のうち、顔を含む第１の領域と、第１領域と異なる第２の領域とを各々独立に補正する補正処理ステップとをコンピュータに実行させる。

第９の発明に係る画像処理プログラムは、画像処理をコンピュータに実行させる画像処理プログラムであって、画像から人物の顔を検出し、顔の特徴を表す特徴点を抽出する顔検出ステップと、特徴点に基づいて人物の顔から人物の属性を推論する推論ステップと、特徴点に基づいて人物の顔から顔の表情を判定する表情判定ステップと、画像から撮影シーンの種別を認識するシーン認識ステップと、推論ステップの推論結果、表情判定ステップの判定結果およびシーン認識ステップの認識結果に基づいて、画像のうち、顔を含む第１の領域と、第１領域と異なる第２の領域とを各々独立に補正する補正処理ステップとをコンピュータに実行させる。

本発明の撮像装置によれば、顔の補正効果を背景も含めて十分に引き出すことができる。これにより、ユーザの利便性が向上する。

（第１実施形態）
以下、図面に基づいて本発明の実施の形態を詳細に説明する。

図１は、第１実施形態の電子カメラ１の構成を示すブロック図である。図１に示す通り電子カメラ１には、撮影レンズ１０と、レンズ駆動部１１と、絞り１２と、絞り駆動部１３と、撮像素子１４と、タイミングジェネレータ（ＴＧ）１５と、アナログフロントエンド部(以下、「ＡＦＥ」という。）１６と、画像処理部１７と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１８と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１９と、表示制御部２０と、液晶表示モニタ２１と、操作部２２と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２３と、記録インターフェース（記録Ｉ／Ｆ）２４と、バス２５と、記録媒体２６とが備えられている。このうち画像処理部１７、ＲＡＭ１８、ＲＯＭ１９、表示制御部２０、ＣＰＵ２３および記録インターフェース（記録Ｉ／Ｆ）２４は、バス２５を介して互いに接続されている。また、操作部２２はＣＰＵ２３に接続されている。

撮影レンズ１０は、ズームレンズと、フォーカスレンズとを含む複数のレンズ群で構成されている。なお、簡単のため、図１では、撮影レンズ１０を１枚のレンズとして図示する。撮影レンズ１０を構成する各々のレンズは、レンズ駆動部１１によって光軸方向に移動する。なお、レンズ駆動部１１の入出力はＣＰＵ２３と接続されている。

絞り１２は、撮影レンズ１０からの入射光量を調整する。絞り１２の開口量は、絞り駆動部１３によって調整される。なお、絞り駆動部１３の入出力はＣＰＵ２３と接続されている。

撮像素子１４は、撮影レンズ１０からの入射光を光電変換することにより、画像信号（アナログ信号）を生成する。被写体の撮影を行う撮影モードでは、撮像素子１４は、撮影時に記録用の画像を出力する。また、撮影待機時には、撮像素子１４は、所定時間経過毎に構図確認用のスルー画像を出力する。

また、タイミングジェネレータ（ＴＧ）１５は、ＣＰＵ２３からの指示に従い撮像素子１４およびＡＦＥ１６の各々へ向けて駆動信号を送出し、それによって両者の駆動タイミングを制御する。

ＡＦＥ１６は、撮像素子１４が生成する画像信号に対して信号処理を施すアナログフロントエンド回路である。このＡＦＥ１６は、画像信号のゲイン調整や、画像信号のＡ／Ｄ変換などを行う。このＡＦＥ１６が出力する画像信号（デジタル信号）は、画像処理部１７へ入力される。

画像処理部１７は、ＡＦＥ１６が出力するＲＧＢ信号の画像データをＲＡＭ１８のフレームメモリに一時的に記憶させる。また、画像処理部１６はＲＧＢ信号の画像データを輝度（Ｙ）と色（Ｃ）とで表されるＹＣ信号の画像データに変換する。

また、画像処理部１７は、フレームメモリに記憶されている画像データに対してホワイトバランス補正処理、ゲインコントロール処理などの画像処理を行う。さらに、顔が検出された場合には、後述する補正処理部２３ｄの指示により、顔および背景の画像処理を行う。

記録インターフェース（記録Ｉ／Ｆ）２４には、記録媒体２６を接続するためのコネクタが形成されている。記録インターフェース（記録Ｉ／Ｆ）２４はＣＰＵ２３からの指示により、そのコネクタに接続された記録媒体２６にアクセスして画像の記録処理を行う。

操作部２２は、レリーズボタン、コマンドダイヤルなどであり、ユーザによる操作内容に応じてＣＰＵ２３へ信号を与えるものである。例えばユーザは、レリーズボタンを全押しすることにより撮影の指示をＣＰＵ２３へ与えることができる。

ＣＰＵ２３は、電子カメラ１の統括的な制御を行うプロセッサである。ＣＰＵ２３は、ＲＯＭ１９に予め格納されたシーケンスプログラムを実行することにより、各処理のパラメータを算出したり、電子カメラ１の各部を制御したりする。また、本実施形態のＣＰＵ２３は、顔検出部２３ａ、推論部２３ｂ、表情判定部２３ｃ、補正処理部２３ｄとして機能する。

顔検出部２３ａは、液晶表示モニタ２１に表示されたスルー画像や撮影画像から顔を検出する。さらに、顔検出部２３ａは、検出した顔に基づいて顔の器官を構成する特徴点を抽出する。顔検出部２３ａは、一例として特開２００１−１６５７３号公報などに記載された特徴点抽出処理によって顔の特徴点を抽出する。特徴点としては、例えば、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点などが挙げられる。なお、特徴点抽出処理では、例えば、顔の色彩や明度の分散、強度分布などを特徴量として検出することもできる。

推論部２３ｂは、上記特徴点抽出処理で得られた特徴点を用いた演算処理により人物の年齢層および性別を推定する。推論部２３ｂは、一例として下記の非特許文献１に開示された方法により、人物の年齢層および性別を推定する。

＜非特許文献１＞：細井聖、瀧川えりな、川出雅人；「ガボールウェーブレット変換とサポートベクタマシンによる性別・年代推定システム」；第８回画像センシングシンポジウム講演論文集；画像センシング技術研究会；２００２年７月
表情判定部２３ｃは、上記特徴点抽出処理で得られた特徴点に基づいて、人物の顔から顔の表情を判定する。表情判定部２３ｃは、一例として、上記特開２００１−１６５７３号公報および特開平８−２４９４５３号公報に開示された方法を組み合わせることにより、顔の表情を判定する。さらに、表情判定部２３ｃは、顔の表情のうち、例えば笑顔の度合いを判定する。この場合、表情判定部２３ｃは、一例として特許文献４に開示された方法により、笑顔の度合いを判定する。

補正処理部２３ｄは、推論部２３ｂの推論結果および表情判定部２３ｃの判定結果に基づいて、撮像素子１４で撮像された記録用の画像に対して、顔と背景とを補正する。この際、補正処理部２３ｄは、推論部２３ｂの推論結果と表情判定部２３ｃの判定結果との組み合わせと、補正用のパラメータとの対応関係が予め記憶されているテーブルを参照し、パラメータに基づいて補正する。このテーブルは予めＲＯＭ１９に記憶されている。

図２は、補正処理用のテーブルの一例を示す図である。例えば、推論部２３ｂの推論結果が「２０代、３０代の女性」であり、表情判定部２３ｃの判定結果が「笑顔度２」であった場合、補正処理部２３ｄは以下の補正処理を行う。補正処理部２３ｄは、顔に対しては「肌色部分をなめらかにし、色を明るくする」補正をするとともに、背景に対しては「色鮮やかにするために輝度を調整する」補正をする。図２において、背景の欄の「輝度値＋１」、「輝度値＋２」、「輝度値＋３」は、「輝度値（標準）」から段階的に輝度を上げることを意味している。具体的な処理の詳細については後述する。なお、テーブルの項目は、一例であってこれに限定されるものではない。

次に、第１実施形態における電子カメラ１の動作の一例を説明する。

図３は、電子カメラ１の動作を表すフローチャートである。ここで、以下の説明では、顔検出機能、人物の年齢層および性別の推論機能をオンにするとともに、表情判定機能もオンに設定した場合について説明する。また、一例として、２０代の女性（笑顔度２）を電子カメラ１で撮影するものとする。

ステップＳ１０１：ＣＰＵ２３は、タイミングジェネレータ（ＴＧ）１５を介して撮像素子１４を駆動させることによりスルー画像の取得を開始する。このスルー画像は、液晶表示モニタ２１に表示される。

図４は、顔検出機能、推論機能および表情判定機能を説明する図である。図４（ａ）では、スルー画像（被写体）が液晶表示モニタ２１に表示されている様子を表している。このスルー画像を用いて、顔検出処理、推論処理および表情判定処理が行われる。

ステップＳ１０２：ＣＰＵ２３は、スルー画像が取得開始されたか否かを判定する。スルー画像が取得開始された場合は（ステップＳ１０２：Ｙｅｓ）、ステップＳ１０３に移行する。一方、レリーズボタンが所定時間経過しても半押しされない場合は（ステップＳ１０２：Ｎｏ）、節電モードが機能してこの処理ルーチンは終了する。

ステップＳ１０３：ＣＰＵ２３の顔検出部２３ａは、スルー画像に上述した顔検出処理を施して撮影画面から顔を検出する。この際、顔検出部２３ａは、撮像素子１４で生成する画像信号に基づいて分割測光し、撮影画面内の各測光領域の輝度値を取得する。これにより、撮影画面内における背景の平均的な輝度値が算出される。さらに、顔検出部２３ａは、検出した顔に基づいて顔の器官を構成する特徴点を抽出する。なお、顔検出がなされた場合、ＣＰＵ２３は、撮影画面内の顔の位置を特定するための座標データに基づいて、図４（ｂ）に示すように顔を囲む矩形状のマークを液晶表示モニタ２１に表示させる。

ステップＳ１０４：ＣＰＵ２３は、ステップＳ１０３の顔検出処理で顔を検出したか否かを判定する。顔検出部２３ａが顔を検出できた場合には（ステップＳ１０４：Ｙｅｓ）、人物の年齢層および性別の推論（ステップＳ１０５）に移行する。

一方、顔検出部２３ａが顔を検出できなかった場合には（ステップＳ１０４：Ｎｏ）、通常の撮影モードとして、ステップＳ１０８に移行する。この場合、全押し操作がなされると（ステップＳ１０８：Ｙｅｓ）、本画像取得の処理（ステップＳ１０９）へ移行する。ステップＳ１０９以降の処理については、後述する。

ステップＳ１０５：ＣＰＵ２３の推論部２３ｂは、人物の年齢層および性別を推定する推論処理を実行する。本実施形態では、推論部２３ｂは、年齢層について、「１０歳未満、１０代、２０代、３０代、４０歳以上」のようにクラス分けして推定する。なお、これは一例であって、推論部２３ｂは、例えば「子供、大人、老人」のようにクラス分けして推定してもよい。図４（ｃ）では、推論部２３ｂが、人物を「２０代の女性」に推定した結果を表している。

ステップＳ１０６：ＣＰＵ２３の表情判定部２３ｃは、上記特開２００１−１６５７３号公報および特開平８−２４９４５３号公報に開示された方法を組み合わせることにより、顔の表情を判定する。さらに、表情判定部２３ｃは、上記特開２００４−４６５９１号公報に開示された方法を用いるなどして笑顔の度合いを判定する。図４（ｄ）では、表情判定部２３ｃが、人物の笑顔度を判定した結果を表している。

図５は、表情判定部２３ｃにおける表情判定処理の一例を説明する図である。本実施形態では、笑顔の度合いを３段階（笑顔度１、２、３）にクラス分けしている。また、笑顔ではなく、平静な顔の状態を笑顔度０としている。笑顔の度合いについては、口元、目尻、笑った時の歯の見え具合等によって、判定される。図５（ａ）では、女性が平静な顔の状態を表しており、表情判定部２３ｃは笑顔度０と判定する。また、図５（ｂ）では、女性の口元がゆるんで微笑している状態を表しており、表情判定部２３ｃは笑顔度１と判定する。また、図５（ｃ）では、女性が口元、目尻もゆるみ、いわゆる「ニコニコと笑っている」状態を表しており、表情判定部２３ｃは笑顔度２と判定する。図５（ｄ）では、女性が大声を出して笑っている状態を表しており、表情判定部２３ｃは笑顔度３と判定する。
なお、上述した表情判定処理は、一例であって、例えば笑顔度を５段階にクラス分けしてもよい。

ステップＳ１０７：ＣＰＵ２３の補正処理部２３ｄは、先ず、推論部２３ｂの推論結果および表情判定部２３ｃの判定結果を取得する。図４の例では、推論部２３ｂの推論結果は「２０代の女性」であり、表情判定部２３ｃの判定結果は「笑顔度２」とする。続いて、補正処理部２３ｄは、ＲＯＭ１９に記憶されているテーブル（図２）を参照する。補正処理部２３ｄは、顔に対しては「肌色部分をなめらかにし、色を明るくする」ためのパラメータを取得する。また、補正処理部２３ｄは、背景に対しては、「色鮮やかにする」ためのパラメータを取得する。そして、これらのパラメータを補正用のパラメータの設定値とする。

ステップＳ１０８：ＣＰＵ２３は、レリーズボタンが全押しされたか否かを判定する。レリーズボタンが全押しされていない場合は（ステップＳ１０８：Ｎｏ）、ステップＳ１０２に戻る。一方、レリーズボタンが全押しされた場合は（ステップＳ１０８：Ｙｅｓ）、ステップＳ１０９へ移行する。そして、これらのパラメータを補正用のパラメータの設定値とする。

ステップＳ１０９：ＣＰＵ２３は、操作部２２からの全押し操作を受けて、本画像取得のため、タイミングジェネレータ（ＴＧ）１５を介して撮像素子１４を駆動させる。ＡＦＥ１６では、画像信号のゲイン調整や画像信号のＡ／Ｄ変換が行われる。このＡＦＥ１６が出力する画像信号（デジタル信号）は、画像処理部１７へ入力される。画像処理部１７は、ＡＦＥ１６が出力する本画像データをＲＡＭ１８のフレームメモリに記憶させる。

ステップＳ１１０：画像処理部１７は、フレームメモリに記憶されている本画像データに対してホワイトバランス補正処理、ゲインコントロール処理などの画像処理を行う。

ここで、ステップＳ１０４の判定結果において、顔検出部２３ａが顔検出できず、通常の撮影モードの場合、画像処理部１７は、本画像のデータに対して顔および撮影シーンの背景の補正処理を行わない。

一方、ステップＳ１０４の判定結果において、顔検出部２３ａが顔を検出できた場合の本画像データについては、さらに以下の補正処理が行われる。補正処理部２３ｄは、画像処理部１７に顔および背景の補正を指示する。この際、補正処理部２３ｄは、画像処理部１７に対して「肌色部分をなめらかにし、色を明るくする」ためのパラメータと「色鮮やかにする」ためのパラメータとを設定する。

画像処理部１７は、ホワイトバランス補正処理などが施された後の本画像データに対して顔および背景の補正処理を行う。ここで、顔の補正では、「肌色部分をなめらかにし、色を明るくする」ために、画像処理部１７は顔の肌色の色相を補正する。本実施形態では、一例として、色相に関する情報を予めＲＯＭ１９に記憶しておく。具体的には、色相としては、Ｒ（赤）、Ｙ（黄）、Ｇ（緑）、Ｂ（青）、Ｐ（紫）の基本色相に中間色を加えて、複数通りの色相を定める。そして、複数通りの色相のうち、「肌色部分がなめらかであって明るい色」を所定の色相に対応付けておく。補正処理部２３ｄは、画像処理部１７に対して、「肌色部分がなめらかであって明るい色」に対応付けられた色相の情報をパラメータとして設定する。画像処理部１７は、顔検出部２３ａが検出した顔の肌色に対して、「肌色部分がなめらかであって明るい色」に対応付けられた色相になるようにＲＧＢの分布を調整する。

また、背景の補正では、「明るくする」ため、画像処理部１７は、背景の輝度を調整する。ここでは、笑顔度０の場合、撮影画面内における背景の平均的な輝度値を標準の輝度値とする。画像処理部１７は、笑顔度が上がるにしたがって背景の輝度を段階的に上げていく。

ステップＳ１１１：ＣＰＵ２３は、本画像データを圧縮処理して記録媒体２６に保存する。そして、この処理ルーチンは終了する。

以上、本実施形態の電子カメラ１によれば、推論部２３ｂの推論結果（２０代の女性）および表情判定部２３ｃの判定結果（笑顔度２）に応じて顔のみならず背景も合わせて補正する。その結果、顔の領域は肌色部分がなめらかになるとともに明るくなる。また、背景が明るくなる。そのため、背景も含めて顔の補正効果が十分に引き出される。

なお、上記電子カメラ１の動作の一例では、全押し操作後に画像データの補正処理を行っているが、ＣＰＵ２３は全押し操作前にスルー画像に対して補正処理を施して、液晶表示モニタ２１に画像を表示させてもよい。これにより、ユーザは、補正処理後の画像を液晶表示モニタ２１で確認した上で全押し操作することができる。また、電子カメラ１の動作の一例として、ＣＰＵ２３は全押し操作後に顔および背景の補正処理を行わず、記憶媒体２６に画像データを保存してもよい。この場合、記録媒体２６に保存された画像を液晶表示モニタ２１に表示させた後に、顔検出、人物の年齢層および性別の推定、表情判定を行う。そして、補正処理部２３ｄが顔および背景の補正処理を行い、この補正処理が施された画像を新たに生成してもよい。

また、図３のフローチャートにおいては、推論処理（ステップＳ１０５）と表情判定処理（ステップＳ１０６）とをシーケンシャルに行ったが、推論処理と表情判定処理とを並列に行ってもよい。

また、図２の補正処理用のテーブルにおいて、顔の処理を一律に「肌色部分をなめらか、色を明るくする」としているが、笑顔度に応じて、顔の補正処理も変えてもよい。
（第２実施形態）
次に、本発明の第２実施形態について説明する。本発明の第２実施形態では、画像信号に基づいて撮影シーンの種別を認識するシーン認識部２３ｅをさらに備え、補正処理部２３ｄは、撮影シーンの種別も考慮して、顔と背景の補正処理を行う。

なお、本発明の第１実施形態と本発明の第２実施形態とでは、同じ要素については同じ符号を付して説明を省略する。

図６は、第２実施形態の電子カメラ２の構成を示すブロック図である。図６では、図１に示す電子カメラ１の構成を示すブロック図と比較して、新たにシーン認識部２３ｅを備えている。シーン認識部２３ｅは、被写体像に含まれる空や海などを輝度分布やＲＧＢ信号の分布に基づいて認識する。シーン認識部２３ｅは、一例として特開２００６―２０３３４６号公報に開示された方法により、撮影シーンの種別を認識する。

補正処理部２３ｄは、推論部２３ｂの推論結果、表情判定部２３ｃの判定結果およびシーン認識部２３ｅが認識した撮影シーンの種別に基づいて、撮像素子１４で撮像された記録用の画像に対して、顔と撮影シーンに基づく背景とを補正する。この際、補正処理部２３ｄは、推論結果、判定結果および撮影シーンの種別との組み合わせと、補正用のパラメータとの対応関係が予め記憶されているテーブルを参照し、パラメータに基づいて補正する。このテーブルは予めＲＯＭ１９に記憶されている。

図７は、補正処理用のテーブルの一例を示す図である。例えば、推論部２３ｂの推論結果が「２０代の男性」であり、表情判定部２３ｃの判定結果が「笑顔」であり、シーン認識部２３ｅの認識結果が「海」であった場合、補正処理部２３ｄは以下の補正処理を行う。補正処理部２３ｄは、顔に対しては「肌色部分を日焼けしたような色」に補正するとともに背景に対しては「輪郭を強調して、色鮮やか（輝度を上げる）」にする。具体的な処理の詳細については後述する。

図７において、表情判定部２３ｃは、特開２００１−１６５７３号公報および特開平８−２４９４５３号公報に開示された方法を組み合わせることにより、笑顔や悲しみの顔を判定する。図７では、笑顔度をクラス分けして明記していないものの、実際には図２で示した通り、笑顔度は０から３までクラス分けされているものとする。

また、本実施形態では、悲しみの度合いを３段階（悲しみ度１、２、３）にクラス分けしている。また、悲しい顔ではなく、平静な顔の状態を悲しみ度０としている。悲しみの度合いについては、口元、目尻、目の開き具合等によって判定される。図７では、悲しみ度をクラス分けして明記していないものの、悲しみ度は０から３までクラス分けされているものとする。なお、上述した表情判定処理は、一例であって、例えば悲しみ度を５段階にクラス分けしてもよい。

次に、第２実施形態における電子カメラ２の動作の一例を説明する。

図８は、電子カメラ２の動作を表すフローチャートである。ここで、以下の説明では、顔検出機能、人物の年齢層および性別の推論機能、表情判定機能をオンにするとともに、シーン認識機能もオンに設定した場合について説明する。また、一例として、２０代の男性が海辺を背景にして立っている状態を電子カメラ２で撮影するものとする。この際、２０代の男性の笑顔度は１とする。

ステップＳ２０１：ＣＰＵ２３は、タイミングジェネレータ（ＴＧ）１５を介して撮像素子１４を駆動させることによりスルー画像の取得を開始する。このスルー画像は、液晶表示モニタ２１に表示される。

図９は、顔検出機能、推論機能、表情判定機能およびシーン認識機能を説明する図である。図９（ａ）では、スルー画像（被写体）が液晶表示モニタ２１に表示されている様子を表している。このスルー画像を用いて、顔検出処理、推論処理、表情判定機能およびシーン認識処理が行われる。

ステップＳ２０２：ＣＰＵ２３は、スルー画像が取得開始されたか否かを判定する。スルー画像が取得開始された場合は（ステップＳ２０２：Ｙｅｓ）、ステップＳ２０３に移行する。一方、レリーズボタンが所定時間経過しても半押しされない場合は（ステップＳ２０２：Ｎｏ）、節電モードが機能してこの処理ルーチンは終了する。

ステップＳ２０３：ＣＰＵ２３の顔検出部２３ａは、スルー画像に上述した顔検出処理を施して撮影画面から顔を検出する。さらに、顔検出部２３ａは、検出した顔に基づいて顔の器官を構成する特徴点を抽出する。なお、図９（ｂ）に示すように顔を囲む矩形状のマークで囲まれる顔の領域が撮影画面上で予め定めた大きさよりも大きい場合には、ポートレートモードの撮影が行なわれる（詳細は後述する）。

ステップＳ２０４：ＣＰＵ２３は、ステップＳ２０３の顔検出処理で顔を検出したか否かを判定する。顔検出部２３ａが顔を検出できた場合には（ステップＳ２０４：Ｙｅｓ）、人物の年齢層および性別の推論（ステップＳ２０５）に移行する。

一方、顔検出部２３ａが顔を検出できなかった場合には（ステップＳ２０４：Ｎｏ）、通常の撮影モードとして、ステップＳ２０９に移行する。この場合、全押し操作がなされると（ステップＳ２０９：Ｙｅｓ）、本画像取得の処理（ステップＳ２１０）へ移行する。ステップＳ２０９以降の処理については、後述する。

ステップＳ２０５：ＣＰＵ２３の推論部２３ｂは、人物の年齢層および性別を推定する推論処理を実行する。図９（ｃ）では、推論部２３ｂが、人物を「２０代の男性」に推定した結果を表している。

ステップＳ２０６：ＣＰＵ２３の表情判定部２３ｃは、顔の表情の判定処理を実行する。図９（ｄ）では、表情判定部２３ｃは、男性の笑顔度を１と判定した結果を表している。

ステップＳ２０７：ＣＰＵ２３のシーン認識部２３ｅは、被写体の輝度分布やＲＧＢ信号の分布に基づいて、撮影シーンの種別を認識する。図９（ｅ）では、シーン認識部２３ｅにより、「空、海、砂浜」が認識された結果を表している。この場合、シーン認識部２３ｅは撮影シーンを「海」とする。

ステップＳ２０８：ＣＰＵ２３の補正処理部２３ｄは、先ず、推論部２３ｂの推論結果表情判定部２３ｃの判定結果およびシーン認識部２３ｅの認識結果を取得する。図９の例では、推論部２３ｂの推論結果が「２０代の男性」であり、表情判定部２３ｃの判定結果が「笑顔度１」であり、シーン認識部２３ｅの認識結果が「海」である。続いて、補正処理部２３ｄは、ＲＯＭ１９に記憶されているテーブル（図７）を参照する。補正処理部２３ｄは、顔に対しては「肌色部分を日焼けしたような色に補正する」ためのパラメータを取得する。また、補正処理部２３ｄは、背景（海）に対しては、「輪郭を強調して、色鮮やかにする（輝度を上げる）」ためのパラメータを取得する。そして、これらのパラメータを補正用のパラメータの設定値とする。

ステップＳ２０９：ＣＰＵ２３は、レリーズボタンが全押しされたか否かを判定する。レリーズボタンが全押しされていない場合は（ステップＳ２０９：Ｎｏ）、ステップＳ２０２に戻る。一方、レリーズボタンが全押しされた場合は（ステップＳ２０９：Ｙｅｓ）、ステップＳ２１０へ移行する。

ステップＳ２１０：ＣＰＵ２３は、操作部２２からの全押し操作を受けて、本画像取得のため、タイミングジェネレータ（ＴＧ）１５を介して撮像素子１４を駆動させる。ＡＦＥ１６では、画像信号のゲイン調整や画像信号のＡ／Ｄ変換が行われる。このＡＦＥ１６が出力する画像信号（デジタル信号）は、画像処理部１７へ入力される。画像処理部１７は、ＡＦＥ１６が出力する本画像データをＲＡＭ１８のフレームメモリに記憶させる。

ステップＳ２１１：画像処理部１７は、フレームメモリに記憶されている本画像データに対してホワイトバランス補正処理、ゲインコントロール処理などの画像処理を行う。

ここで、ステップＳ２０４の判定結果において、顔検出部２３ａが顔検出できず、通常の撮影モードの場合、画像処理部１７は、本画像のデータに対して顔および撮影シーンの背景の補正処理を行わない。

一方、ステップＳ２０４の判定結果において、顔検出部２３ａが顔を検出できた場合の本画像データについては、さらに以下の補正処理が行われる。補正処理部２３ｄは、画像処理部１７に顔および背景の補正を指示する。この際、補正処理部２３ｄは、画像処理部１７に対して「肌色部分を日焼けしたような色に補正する」ためのパラメータと「輪郭を強調して、色鮮やかにする（輝度を上げる）」ためのパラメータとを設定する。

画像処理部１７は、ホワイトバランス補正処理などが施された後の本画像データに対して顔および背景の補正処理を行う。ここで、顔の補正では、「肌色部分を日焼けしたような色に補正する」ために、画像処理部１７は顔の肌色の色相を補正する。本実施形態では、複数通りの色相のうち、「肌色部分を日焼けしたような色」を所定の色相に対応付けておく。補正処理部２３ｄは、画像処理部１７に対して、「肌色部分を日焼けしたような色」に対応付けられた色相の情報をパラメータとして設定する。画像処理部１７は、顔検出部２３ａが検出した顔の肌色に対して、「肌色部分を日焼けしたような色」に対応付けられた色相になるようにＲＧＢの分布を調整する。

また、背景の補正では、「輪郭を強調して、色鮮やかにする」ため、画像処理部１７は輪郭や輝度の調整を行う。本実施形態では、例えば、笑顔度や悲しみ度に応じて「色の明るさ」のレベルをクラス分けしておく。具体的には、画像処理部１７は、背景の輝度を調整する。ここでは、画像処理部１７は、笑顔度が上がるにしたがって背景の輝度を段階的に上げていく。一方、悲しみ度が上がるにしたがって背景の輝度を段階的に下げていく。

このようにして、補正処理部２３ｄは、画像処理部１７に対して、背景が「海」に対応付けられた「色の明るさ」に笑顔度を加味して、輝度値をパラメータとして設定する。画像処理部１７は、背景が「海」の場合において、笑顔度に応じて輝度を調整する。また、輪郭の強調として、画像処理部１７は、画像データに対して所定の空間フィルタを用いて演算処理を行う。これにより、輪郭補正を強くかける。

ステップＳ２１２：ＣＰＵ２３は、本画像データを圧縮処理して記録媒体２６に保存する。そして、この処理ルーチンは終了する。

上述した例では、２０代の男性が海辺を背景にして立っている場合について説明した。次に、推論部２３ｂの推論結果が「２０〜３０代の女性」であり、表情判定部２３ｃの判定結果が「笑顔度１」であり、シーン認識部２３ｅの認識結果が「ポートレート用の撮影シーン」の場合の補正処理（ステップＳ２１１）について説明する。

本実施形態では、顔検出部２３ａで検出された顔の領域が、撮影画面内において予め定められた大きさを超えた場合、シーン認識部２３ｅは、背景をぼかすポートレート用の撮影シーンと判断する。これにより、例えば、ユーザが人物の顔をズームして撮影する場合、ポートレートモードに自動的に移行するため、ユーザがポートレートを意識しなくても、背景がぼけた画像を得ることができる。さらに、顔については年齢層、性別に応じて補正処理がされるため、結果的に人物が美しく引き立つような画像を得ることができる。さらに笑顔度に応じて、背景の輝度が変化する。なお、ポートレート用の撮影シーンの場合、ＣＰＵ２３は、顔を焦点検出エリアとして撮影を実行するものとする。

この場合、補正処理部２３ｄは、図７に示す通り、顔については「肌色部分をなめらか、色を明るくする」するためのパラメータを取得し、背景については「輪郭をぼかして、ナチュラルにする（輝度を上げる）」ためのパラメータを取得する。

続いて、補正処理部２３ｄは、画像処理部１７に対して撮影画像にソフトフォーカス処理を指示する。これにより、主要被写体である女性が強調されるとともに輪郭をぼかしてナチュラルな画像を得ることができる。さらに、背景の輝度を笑顔度１の条件で調整する。

具体的には、画像処理部１７のソフトフォーカス処理は、以下の手段で行われる。例えば、画像処理部１７は、所定のソフトフォーカス処理を示すフィルタやローパスフィルタなどによるフィルタ処理を撮影画像に施してソフトフォーカス画像を生成する。

また、補正処理部２３ｄは、画像処理部１７に対して、顔の肌色について色、輝度のパラメータを補正する指示を行う。例えば、画像処理部１７は、肌色部分を明るく（美白）、なめらかにする為に、色、輝度の調整を行う。なお、４０代の女性の場合には、肌色のくすみやしわを目立たなくする為に、肌色の色、輝度の調整を行う。

以上、撮影シーンがポートレート用の撮影シーンであって撮影対象の人物が２０〜３０代の女性（笑顔度１）である場合、顔の肌色部分がなめらか、かつ明るくなり、背景については輪郭をぼかしてナチュラルな撮影画像が得られる。

なお、顔検出処理において複数の顔が検出された場合の対処として、検出した顔毎に年齢層、性別に応じて顔の補正処理を行ってもよい。また、予め優先順位を決めておいて、優先順位の高い顔に対応付けられた背景の補正処理を行ってもよい。

ここで、図７に示したテーブルにおける顔の補正処理について、上述した以外に、「肌色部分をきれいにする」処理とは、例えば、画像処理部１７がシャープネスを下げる色補正を行うことをいう。また、「肌色部分を暗くする」処理とは、例えば画像処理部１７が肌色部分の明度を暗くする色補正を行うことをいう。背景の補正処理については、上述した以外に、「明るい部分（光源）は、ぼかしてその他は自然に見える範囲で輪郭強調」とは、以下の処理をいう。明るい部分（光源）については、画像処理部１７が所定の空間フィルタを用いて演算処理を施すことにより、光源付近をぼかす。また、光源以外の背景については、画像処理部１７が所定の空間フィルタを用いて演算処理を施すことにより輪郭強調を行う。また、画像処理部１７は、悲しみ度が上がるにつれて段階的に輝度を下げる。これにより、悲しみ度が上がるにつれて、背景が段階的に暗くなる。

図７に示したテーブルのパラメータについては、色相、輝度、明度、空間フィルタなどを適宜選択して補正することにより、顔および背景が補正された撮影画像が得られる。なお、色相、輝度、明度、空間フィルタなどは一例であって、これらに限定されるものではない。

以上、本実施形態の電子カメラ２によれば、推論部２３ｂの推論結果、表情判定部２３ｃの判定結果およびシーン認識部２３ｅの認識結果に基づいて、顔および背景の補正を記録用の画像に対して各々独立に行う。これにより、顔のみならず背景も合わせて補正される。さらに、撮影シーンおよび撮影人物の表情に応じて背景も補正されるため、顔と背景のバランスを崩すことなく、顔の補正効果を十分に引き出すことができる。
（第３実施形態）
次に、本発明の第３実施形態について説明する。第３実施形態では、図１０に示すコンピュータ３に電子カメラ１で撮影された画像（顔および背景が補正されていないものとする）を読み出し、顔および背景について補正処理を行う。この補正処理を行うに際し、本発明の一実施形態である画像処理プログラムを用いる。

以下、具体的に説明する。図１０は、コンピュータの構成を示すブロック図である。図１０に示すコンピュータ３には、コンピュータ用ＣＰＵ３０と、メモリ３１と、通信インターフェース（Ｉ／Ｆ）３２と、キーボード３３と、表示モニタ３４とが備えられている。メモリ３１には、本発明の一実施形態である画像処理プログラムも格納されている。

図１１は、本発明の一実施形態である画像処理プログラムの模式図である。第３実施形態では、図１１（ａ）の画像処理プログラムＡがコンピュータ用ＣＰＵ３０に組み込まれる。すなわち、コンピュータ用ＣＰＵ３０は、本発明の一実施形態である画像処理プログラムＡが組み込まれることによって、顔検出部３０ａと、推論部３０ｂと、表情判定部３０ｃと、補正処理部３０ｄとが構築される。また、メモリ３１には、図２に示した補正処理用のテーブルが記憶されているものとする。なお、顔検出部３０ａ、推論部３０ｂおよび表情判定部３０ｃの処理については、第１実施形態で説明した内容と同様であるため、説明を省略する。また、補正処理部３０ｄについては、図１に示す画像処理部１７における顔および背景の補正処理の機能も持っているものとする。

次に、本発明の一実施形態である画像処理プログラムＡの動作について説明する。ここでは、電子カメラ１で記録された画像は、予め、通信インターフェース（Ｉ／Ｆ）３２を介してメモリ３１に記憶されているものとする。また、補正処理の対象となる画像は、図５で説明した２０代の女性（笑顔度２）を電子カメラ１で撮影した画像とする。ただし、顔および背景の補正処理はされていないものとする。

図１２は、第３実施形態の画像処理プログラムＡの動作を表すフローチャートである。この処理ルーチンは、図１０に示すキーボード３３から画像処理プログラムＡの起動を受け付けると開始する。

ステップＳ３０１：ＣＰＵ３０は、処理対象の画像をメモリ３１から読み出して、表示モニタ３４に表示させる。

ステップＳ３０２：ＣＰＵ３０の顔検出部３０ａは、表示モニタ３４に表示された画像に対して顔検出処理を施して顔を検出する。さらに、顔検出部３０ａは、検出した顔に基づいて顔の器官を構成する特徴点を抽出する。

ステップＳ３０３：ＣＰＵ３０は、ステップＳ３０２の顔検出処理で顔を検出したか否かを判定する。顔検出部３０ａが顔を検出した場合（ステップＳ３０３：Ｙｅｓ）、人物の年齢層および性別の推論（ステップＳ３０４）に移行する。

一方、顔検出部２３ａが顔を検出しなかった場合（ステップＳ３０３：Ｎｏ）、顔および背景の補正処理は行わないため、この処理ルーチンは終了する。

ステップＳ３０４：ＣＰＵ３０の推論部３０ｂは、第１実施形態で説明した推論部２３ｂと同様にして、人物の年齢層および性別を推定する推論処理を実行する。

ステップＳ３０５：ＣＰＵ３０の表情判定部３０ｃは、第１実施形態で説明した表情判定部２３ｃと同様にして、顔の表情を判定する。

ステップＳ３０６：ＣＰＵ３０の補正処理部３０ｄは、先ず、推論部３０ｂの推論結果（２０代の女性）および表情判定部３０ｃの判定結果（笑顔度２）を取得する。続いて、補正処理部３０ｄは、メモリ３１に記憶されているテーブルを参照する。補正処理部３０ｄは、顔に対しては「肌色部分をなめらかにし、色を明るくする」ためのパラメータを取得する。また、補正処理部３０ｄは、背景に対しては、「明るくする（笑顔度２）」ためのパラメータを取得する。そして、これらのパラメータを補正用のパラメータの設定値とする。

ステップＳ３０７：補正処理部３０ｄは、顔検出部３０ａが検出した顔の肌色に対して、「肌色部分がなめらかであって明るい色」に対応付けられた色相になるようにＲＧＢの分布を調整する。また、背景の補正では、「明るくする（笑顔度２）」ため、背景の輝度を調整する。

ステップＳ３０８：ＣＰＵ３０は、補正処理後の画像を表示モニタ３４に表示するとともに補正処理後の画像データを圧縮処理してメモリ３１に保存する。そして、この処理ルーチンは終了する。

以上、第３実施形態の画像処理プログラムＡによれば、推論部３０ｂの推論結果および表情判定部３０ｃに基づいて、顔および背景の補正を電子カメラ１で撮影された画像（補正処理がなされていない画像）に対して行う。これにより、顔のみならず背景も合わせて補正される。すなわち、撮影人物の笑顔に応じて背景も補正されるため、顔と背景のバランスを崩すことなく、顔の補正効果を十分に引き出すことができる。
（第４実施形態）
次に、本発明の第４実施形態について説明する。本発明の第４実施形態では、図１０に示すコンピュータ３に電子カメラ２で撮影された画像（顔および背景が補正されていないものとする）を読み出し、顔および背景について補正処理を行う。

なお、本発明の第３実施形態と本発明の第４実施形態とでは、コンピュータ３は同じであるため、コンピュータ３の構成の説明は省略する。

第４実施形態では、図１１（ｂ）の画像処理プログラムＢがコンピュータ用ＣＰＵ３０に組み込まれる。すなわち、コンピュータ用ＣＰＵ３０は、本発明の一実施形態である画像処理プログラムＢが組み込まれることによって、顔検出部３０ａと、推論部３０ｂと、表情判定部３０ｃと、シーン認識部３０ｅと、補正処理部３０ｄとが構築される。

また、メモリ３１には、図７に示した補正処理用のテーブルが記憶されているものとする。なお、顔検出部３０ａ、推論部３０ｂ、表情判定部３０ｃおよびシーン認識部３０ｅについては、第２実施形態で説明した内容と同様であるため、説明を省略する。

次に、本発明の一実施形態である画像処理プログラムＢの動作について説明する。ここでは、電子カメラ２で記録された画像は、予め、通信インターフェース（Ｉ／Ｆ）３２を介してメモリ３１に記憶されているものとする。また、補正処理の対象となる画像は、第２実施形態で説明した、２０代の男性（笑顔度１）が海辺を背景にして立っている状態を電子カメラ２で撮影した画像とする。ただし、顔および背景の補正処理はされていないものとする。

図１３は、第４実施形態の画像処理プログラムＢの動作を表すフローチャートである。この処理ルーチンは、図１０に示すキーボード３３から画像処理プログラムＢの起動を受け付けると開始する。

なお、ステップＳ４０１からステップＳ４０３の処理については、図１２に示す、ステップＳ３０１からステップＳ３０３の処理と同様であるため、説明は省略する。

ステップＳ４０４：ＣＰＵ３０の推論部３０ｂは、人物の年齢層および性別を推定する推論処理を実行する。ここでは、推論部３０ｂは２０代の男性を推定する。

ステップＳ４０５：ＣＰＵ３０の表情判定部３０ｃは顔の表情を判定する。ここでは、表情判定部３０ｃは、男性の笑顔度として笑顔度１を判定する。

ステップＳ４０６：ＣＰＵ３０のシーン認識部３０ｅは、被写体の輝度分布やＲＧＢ信号の分布に基づいて、背景のシーンを認識する。ここでは、シーン認識部３０ｅは、撮影シーンの種別として「海」を認識する。

ステップＳ４０７：ＣＰＵ３０の補正処理部３０ｄは、先ず、推論部３０ｂの推論結果（２０代の男性）、表情判定部３０ｃの判定結果（笑顔度１）およびシーン認識部３０ｃの認識結果（海）を取得する。続いて、補正処理部３０ｄは、メモリ３１に記憶されているテーブルを参照する。補正処理部３０ｄは、顔に対しては「肌色部分を日焼けしたような色に補正する」ためのパラメータを取得する。また、補正処理部３０ｄは、背景（海）に対しては、「輪郭を強調して、色鮮やかにする」ためのパラメータを取得する。そして、これらのパラメータを補正用のパラメータの設定値とする。

ステップＳ４０８：補正処理部３０ｄは、顔検出部３０ａが検出した顔の肌色に対して、「肌色部分を日焼けしたような色」に対応付けられた色相になるようにＲＧＢの分布を調整する。また、背景の補正では、「輪郭を強調して、色鮮やかにする（輝度を上げる）」ため、補正処理部３０ｄは輪郭や輝度の調整を行う。すなわち、補正処理部３０ｄは、背景が「海」の場合において、笑顔度に応じて輝度を調整する。また、輪郭の強調として、補正処理部３０ｄは、画像データに対して所定の空間フィルタを用いて演算処理を行う。これにより、輪郭補正を強くかける。

ステップＳ４０９：ＣＰＵ３０は、補正処理後の画像を表示モニタ３４に表示するとともに補正処理後の画像データを圧縮処理してメモリ３１に保存する。そして、この処理ルーチンは終了する。

以上、第４実施形態の画像処理プログラムＢによれば、推論部２３ｂの推論結果、表情判定部２３ｃの判定結果およびシーン認識部２３ｅの認識結果に基づいて、顔および背景の補正を電子カメラ２で撮影された画像（補正処理がなされていない画像）に対して行う。これにより、顔のみならず背景も合わせて補正される。さらに、撮影シーンおよび撮影人物の表情に応じて背景も補正されるため、顔と背景のバランスを崩すことなく、顔の補正効果を十分に引き出すことができる。
＜実施形態の補足事項＞
（１）上記実施形態では、推論部２３ｂ、３０ｂは年齢層、性別を推定したが、これに限られず、さらに人種を加えて推定してもよい。この場合、人種の推論については、一例として下記の非特許文献２に開示された方法により、人種を推定する。

＜非特許文献２＞：グレゴリー シャナロビッチ（Ｇｒｅｇｏｒｙ Ｓｈａｋｈｎａｒｏｖｉｃｈ），ポール Ａ ヴィオラ（Ｐａｕｌ Ａ． Ｖｉｏｌａ），ババック モハダム（Ｂａｂａｃｋ Ｍｏｇｈａｄｄａｍ）；「ア ユニファイド ラーニング フレームワーク フォア リアルタイム フェイス ディテクション アンド クラシフィケーション（Ａ Ｕｎｉｆｉｅｄ Ｌｅａｒｎｉｎｇ Ｆｒａｍｅｗｏｒｋ ｆｏｒ Ｒｅａｌ Ｔｉｍｅ Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）」；プロシーディングス オブ ザ フィフス ＩＥＥＥ インターナショナル コンファレンス オン オートマティック フェイス アンド ジェスチャー レコグニッション（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｆｉｆｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｕｔｏｍａｔｉｃ Ｆａｃｅ ａｎｄ Ｇｅｓｔｕｒｅ ａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ）；（米国） インスティチュート オブ エレクトリカル アンド エレクトロニクス エンジニアズ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ，略称 ＩＥＥＥ）；２００２年５月
（２）上記実施形態では、「ポートレート」、「夜景」、「風景」などの撮影モードを予め設定しておいてもよい。これにより、シーン認識部２３ｅにおけるシーン認識の精度がさらに向上する。

（３）上記実施形態では、電子カメラ２に人工衛星を用いた汎地球測位システム（ＧＰＳ：Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）や方位センサを搭載してもよい。この場合、ＲＯＭ１９に地図情報が格納されているものとする。ＣＰＵ２３は、位置情報と方位情報を取得する。これにより、シーン認識部２３ｅは地図情報に基づいて撮影方向に存在する人物以外の対象物の特定がしやすくなる。したがって、シーン認識部２３ｅは、例えば、海や山などの背景に対してシーン認識の精度を向上させることができる。

（４）上記実施形態では、推論部２３ｂの推論結果、表情判定部２３ｃの判定結果およびシーン認識部２３ｅの認識結果との組み合わせがテーブルに該当しない場合、マニュアル設定にて補正処理を行ってもよい。具体的には、電子カメラ２では、一旦通常の撮影を行う。そして、本画像データは記録媒体２６に保存される。また、本画像を液晶表示モニタ２１に表示させる。ユーザは、推論部２３ｂの推論結果、表情判定部２３ｃの判定結果およびシーン認識部２３ｅの認識結果との組み合わせの補正処理のパラメータをマニュアル操作で設定する。すると、ＣＰＵ２３は、マニュアル操作で設定された補正処理のパラメータに基づいて、顔および背景の補正処理を行う。そして、ＣＰＵ２３は、この補正処理が施された画像を新たに生成する。そして、ユーザにて設定された補正処理のパラメータの内容は、テーブルに追加されるものとする。なお、電子カメラ１についても同様とする。

（５）上記実施形態では、表情の種類として、‘笑顔（嬉しい）’と、‘悲しい’との２種類としたが、これらの表情に限られず、例えば、怒り、嫌悪、恐れ、驚き、幸福などの表情を加えてもよい。

第１実施形態の電子カメラ１の構成を示すブロック図 補正処理用のテーブルの一例を示す図 電子カメラ１の動作を表すフローチャート 顔検出機能、推論機能および表情判定機能を説明する図 表情判定部２３ｃにおける表情判定処理の一例を説明する図 第２実施形態の電子カメラ２の構成を示すブロック図 補正処理用のテーブルの一例を示す図 電子カメラ２の動作を表すフローチャート 顔検出機能、推論機能、表情判定機能およびシーン認識機能を説明する図 コンピュータ３の構成を示すブロック図 本発明の一実施形態である画像処理プログラムの模式図 第３実施形態の画像処理プログラムＡの動作を表すフローチャート 第４実施形態の画像処理プログラムＢの動作を表すフローチャート

符号の説明

１、２・・・電子カメラ、３・・・コンピュータ、１７・・・画像処理部、２３ａ、３０ａ・・・顔検出部、２３ｂ、３０ｂ・・・推論部、２３ｃ、３０ｃ・・・表情判定部、２３ｅ、３０ｅ・・・シーン認識部、２３ｄ、３０ｄ・・・補正処理部

Claims (9)

1. 被写体像を光電変換して画像信号を生成する撮像素子と、
   前記画像信号に基づいて撮影画面から人物の顔を検出し、前記顔の特徴を表す特徴点を抽出する顔検出部と、
   前記特徴点に基づいて前記人物の顔から前記人物の属性を推論する推論部と、
   前記特徴点に基づいて前記人物の顔から前記顔の表情を判定する表情判定部と、
   前記推論部の推論結果および前記表情判定部の判定結果に基づいて、前記撮像素子で撮像された記録用の画像のうち、前記顔を含む第１の領域と、前記第１領域と異なる第２の領域とを各々独立に補正する補正処理部と、
   を備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記画像信号に基づいて撮影シーンの種別を認識するシーン認識部をさらに備え、
   前記補正処理部は、前記撮影シーンの種別も考慮して、前記第２の領域の補正をすることを特徴とする撮像装置。
3. 請求項１に記載の撮像装置において、
   前記人物の属性は、前記人物の年齢層および性別の少なくとも一方を含むことを特徴とする撮像装置。
4. 請求項１に記載の撮像装置において、
   前記表情判定部は、前記顔の表情のうち、笑顔の度合いを判定することを特徴とする撮像装置。
5. 請求項４記載の撮像装置において、
   前記補正処理部は、前記笑顔の度合いに応じて、前記第１の領域および前記第２の領域の補正を行う補正用のパラメータを決定することを特徴とする撮像装置。
6. 請求項１から請求項５のいずれか１項に記載の撮像装置において、
   前記推論結果と前記判定結果との組み合わせと、前記第１の領域および前記第２の領域の補正を行う補正用のパラメータとの対応関係が予め記憶されているメモリを備え、
   前記補正処理部は、前記推論結果と前記判定結果との組み合わせから求めた前記パラメータに基づいて、前記第１の領域と前記第２の領域とを各々独立に補正することを特徴とする撮像装置。
7. 請求項１から請求項５のいずれか１項に記載の撮像装置において、
   前記推論結果、前記判定結果および前記撮影シーンの種別との組み合わせと、前記第１の領域および前記第２の領域の補正を行う補正用のパラメータとの対応関係が予め記憶されているメモリを備え、
   前記補正処理部は、前記推論結果、前記判定結果および前記撮影シーンの種別との組み合わせから求めた前記パラメータに基づいて、前記第１の領域と前記第２の領域とを各々独立に補正することを特徴とする撮像装置。
8. 画像処理をコンピュータに実行させる画像処理プログラムであって、
   前記画像から人物の顔を検出し、前記顔の特徴を表す特徴点を抽出する顔検出ステップと、
   前記特徴点に基づいて前記人物の顔から前記人物の属性を推論する推論ステップと、
   前記特徴点に基づいて前記人物の顔から前記顔の表情を判定する表情判定ステップと、
   
   前記推論ステップの推論結果および前記表情判定ステップの判定結果に基づいて、前記画像のうち、前記顔を含む第１の領域と、前記第１領域と異なる第２の領域とを各々独立に補正する補正処理ステップとをコンピュータに実行させることを特徴とする画像処理プログラム。
9. 画像処理をコンピュータに実行させる画像処理プログラムであって、
   前記画像から人物の顔を検出し、前記顔の特徴を表す特徴点を抽出する顔検出ステップと、
   前記特徴点に基づいて前記人物の顔から前記人物の属性を推論する推論ステップと、
   前記特徴点に基づいて前記人物の顔から前記顔の表情を判定する表情判定ステップと、
   前記画像から撮影シーンの種別を認識するシーン認識ステップと、
   前記推論ステップの推論結果、前記表情判定ステップの判定結果および前記シーン認識ステップの認識結果に基づいて、前記画像のうち、前記顔を含む第１の領域と、前記第１領域と異なる第２の領域とを各々独立に補正する補正処理ステップとをコンピュータに実行させることを特徴とする画像処理プログラム。

Images