JP4534750B2

JP4534750B2 - 画像処理装置および画像処理プログラム

Info

Publication number: JP4534750B2
Application number: JP2004369580A
Authority: JP
Inventors: 大亮築山
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2004-12-21
Filing date: 2004-12-21
Publication date: 2010-09-01
Anticipated expiration: 2024-12-21
Also published as: JP2006180078A

Description

本発明は、被写体像を光電変換して画像データを生成する電子カメラについて、特に顔認識機能により撮影画像の顔領域の画質を判断しうる電子カメラに関する。

近年、撮像素子によって被写体像を電子的に記録する電子カメラが急速に普及しつつある。かかる電子カメラでは、撮影条件によっては撮影画像に粒状感が生じて見映えが悪くなることがある。特に被写体が人物である場合には撮影画像の顔部分は高い画質であることが求められ、撮影画像の顔部分に粒状感があると撮影失敗とみなされることも少なくない。

一方、特許文献１には画像データから顔を認識してカラーバランスを顔の存在に関連付けることで良好な撮影画像を得る電子カメラが開示されている。
特開２００１−３０９２２５号公報［００３４］

電子カメラの撮影画像は半導体メモリ等の記録媒体などに記録される。そして、上記のような顔部分に粒状感のある撮影画像を削除またはＰＣ上で修正処理する場合には、ユーザは多数の撮影画像を逐一確認しなければならず多大な労力を強いられる。
ところで、撮影画像の粒状感は撮影画像に含まれる空間周波数成分の高周波成分がノイズとして現れることに起因する。そのため、撮影画像の空間周波数を解析すれば顔領域の画質判定の自動化は十分可能である。一方、顔領域の画質判定はコンピュータ等の演算負荷も大きいので、例えば手ぶれした画像などについては画質判定の対象から除外することが好ましい。

なお、上記特許文献１の技術では、顔認識の結果を肌の色調補正に適用しうる旨を示唆しているにすぎず、上記問題を何ら解決するものではない。
本発明は上記従来技術の課題を解決するためのものであって、その目的は、顔領域の画質判定を容易に行うことができ、かつ装置側の演算負荷が少ない画像処理装置等を提供することである。

第１の発明は、画像データを含む画像ファイルを読み込んで、前記画像データを加工する画像処理装置であって、前記画像ファイルを読み込む読込部と、前記画像データから顔領域を抽出する顔認識部と、前記顔領域および前記顔領域以外の任意の部分領域の空間周波数成分を解析する空間周波数解析部と、前記顔領域の画質判定を行う第１の画像処理モードと前記画質判定を行わない第２の画像処理モードとを前記解析結果に基づいて切り替えるモード切替部と、前記第１の画像処理モードで画像の粒状感と高い相関をもつ空間周波数成分に基づいて前記顔領域の画質を判定し、該画質が閾値以下の特殊画像データを検出する顔画質判定部と、前記顔画質判定部によって検出された特殊画像データを含む画像ファイルの一覧を表示部に表示させる表示制御部と、前記表示部に表示された画像ファイルの全指定を受け付ける指定部と、前記指定された画像ファイルに対して所定の処理を行う制御部と、を備え、前記モード切換部は、前記空間周波数解析部が解析した前記顔領域の空間周波数成分および前記顔領域以外の任意の部分領域の空間周波数成分の少なくとも一方の空間周波数成分に所定値以上の高周波成分が含まれているか否かによって前記第１のモードと前記第２のモードとを切り換えることを特徴とする。
第２の発明は、第１の発明において、前記制御部は、前記指定された画像ファイルに含まれる特殊画像データの顔領域に粒状感を低下させる補正処理を施すことを特徴とする。
第３の発明は、第１の発明において、前記制御部は、前記指定された画像ファイルを削除することを特徴とする。

第４の発明は、画像データを含む画像ファイルを読み込んで、前記画像データを加工する画像処理プログラムであって、前記画像ファイルを読み込む手順と、前記画像データから顔領域を抽出する手順と、前記顔領域および前記顔領域以外の任意の部分領域の空間周波数成分を解析する手順と、前記顔領域の画質判定を行う第１の画像処理モードと前記画質判定を行わない第２の画像処理モードとを前記解析結果に基づいて切り替える手順と、前記第１の画像処理モードで画像の粒状感と高い相関をもつ空間周波数成分に基づいて前記顔領域の画質を判定し、該画質が閾値以下の特殊画像データを検出する手順と、前記顔画質判定部によって検出された特殊画像データを含む画像ファイルの一覧を表示部に表示させる手順と、前記表示部に表示された画像ファイルの全指定を受け付ける手順と、前記指定された画像ファイルに対して所定の処理を行う手順と、をコンピュータに実行させるとともに、画像処理モードを切り替える手順では、前記空間周波数成分の解析で得られた前記顔領域の空間周波数成分および前記顔領域以外の任意の部分領域の空間周波数成分の少なくとも一方の空間周波数成分に所定値以上の高周波成分が含まれているか否かによって前記第１のモードと前記第２のモードとを切り換えをコンピュータに実行させる。
第５の発明は、第４の発明において、前記所定の処理は、前記指定された画像ファイルに含まれる特殊画像データの顔領域に粒状感を低下させる補正処理であることを特徴とする。
第６の発明は、第４の発明において、前記所定の処理は、前記指定された画像ファイルを削除する処理であることを特徴とする。

本発明の画像処理装置および画像処理プログラムでは、撮影画像データから顔領域を抽出し、画像の粒状感と高い相関をもつ空間周波数成分に基づいて顔領域の画質が粗い特殊画像データを検出するので、撮影画像データの顔領域の画質判定を容易に行うことができる。

（第１実施形態の説明）
図１は第１実施形態の電子カメラのブロック図である。電子カメラ１０は、撮影レンズ１１と、撮像素子１２と、アナログ信号処理部１３と、Ａ／Ｄ変換部１４と、画像処理部１５と、圧縮伸長処理部１６と、メモリ１７と、コンデンサの蓄積電荷でキセノン発光管を発光させる閃光発光部１８と、タイミングジェネレータ（ＴＧ）１９と、カードインターフェース（カードＩ／Ｆ）２０および記録媒体２１と、モニタ２２と、操作部２３と、ＣＰＵ２４と、各部を接続するデータバス２５とを有している。

撮像素子１２は撮影レンズ１１の像空間側に配置されている。撮像素子１２の受光面（撮影レンズ１１と相対する面）には被写体像を光電変換してアナログ画像信号を生成する受光画素が２次元配列されている。撮像素子１２の出力はアナログ信号処理部１３に接続されている。
アナログ信号処理部１３は、相関二重サンプリングを行うＣＤＳ回路、アナログ画像信号の出力を増幅するゲイン回路、入力信号の波形を一定の電圧レベルにクランプするクランプ回路等で構成されている。Ａ／Ｄ変換部１４はアナログ信号処理部１３から出力されたアナログ画像信号をデジタル画像信号に変換する。

画像処理部１５は、デジタル画像信号に画像処理（欠陥画素補正、ガンマ補正、補間、色変換、エッジ強調など）を施して撮影画像データを生成する。特に第１実施形態の画像処理部１５は以下の機能を有している。
（ａ）第１に画像処理部１５は撮影画像データに対して公知の顔認識処理を施し、被写体の顔領域を検出する。なお、顔認識処理の例として特開平８−６３５９５号公報には、色に基いて肌色領域の輪郭を抽出し、予め用意する顔の輪郭テンプレートとのマッチング度で顔を検出する方法や、更に目候補領域を求めて目テンプレートとのマッチング度を用いて顔検出する方法や、顔の輪郭テンプレートで求まる顔候補領域の２次元フーリエ変換結果と、目、鼻、口及び髪等を含む予め用意した顔テンプレート画像の２次元フーリエ変換結果とから定義される特徴量を求め、この特徴量を閾値処理して顔検出を行なう方法等が開示されている。

（ｂ）第２に画像処理部１５は高速フーリエ変換（ＦＦＴ）などで撮影画像データの顔領域に含まれる空間周波数成分を分析する。そして、画像処理部１５は画像の粒状感と高い相関をもつ空間周波数成分に基づいて、撮影画像データの中で顔領域の画質が粗い（顔領域の粒状感が強い）特殊画像データを検出する。なお、「画像の粒状感と高い相関をもつ空間周波数成分」は、予め統計的に求めた電子カメラの特性（特定の空間周波数成分が強いとノイズが発生し易いなど）に基づいて設定される。

（ｃ）第３に画像処理部１５は、ＣＰＵ２４の指示によりぼかしフィルタ等で特殊画像データの顔領域に対して画像の粒状感を低下させる補正処理を施す。
圧縮伸長処理部１６は画像処理後の画像データをＪＰＥＧ形式で圧縮する処理や、ＪＰＥＧ形式の圧縮画像データを伸長して復元する処理を実行する。メモリ１７はＳＤＲＡＭ等で構成され、画像処理部１５での画像処理前または画像処理後の撮影画像データを一時的に保存する。

ＴＧ１９はＣＰＵの指示に基づいて所定のタイミングで駆動信号を生成する。ＴＧ１９の駆動信号は撮像素子１２に供給され、受光画素の不要電荷排出、電荷蓄積および蓄積電荷出力等に使用される。
カードＩ／Ｆ２０には記録媒体２１を着脱可能に接続するためのコネクタが形成されている。記録媒体２１は公知の半導体メモリなどで構成され、この記録媒体２１には上記の撮影画像データが最終的に記録される。

モニタ２２は主として電子カメラ１０の背面部分に配置される。モニタ２２には撮影画像データの再生画面、電子カメラ１０の各種設定を変更するための設定画面、後述の通知画面などが表示される。操作部２３は十字状のカーソルキーなどで構成される。この操作部２３は上記の設定画面での各種入力などに使用される。
ＣＰＵ２４は、例えば、ＡＥ演算およびＡＦ演算などの演算処理、撮影時の一連の画像処理制御、閃光発光部１８の発光タイミング制御、記録媒体２１へのデータ書込／読出制御などを実行し、電子カメラ１０の各部を制御する。

特に第１実施形態のＣＰＵ２４は、画像処理部１５による顔領域の画質判定のＯＮ／ＯＦＦを撮影条件のパラメータに応じて切り替える。ここで、上記の切替は「電子カメラのシーンモードが人物主体か否か」または「撮影時に手ぶれが発生し易いか否か」を基準とする。
例えば、ＣＰＵ２４はシーンモードが風景モードの場合には顔領域の画質判定をＯＦＦにし、シーンモードがポートレートモードの場合には人物が主要被写体であるので顔領域の画質判定をＯＮにする。また、長秒時撮影で閃光発光部の発光を行わない場合には撮影時に手ぶれで顔領域の画質判定が困難となる可能性が高いので、ＣＰＵ２４は予め顔領域の画質判定をＯＦＦにする。さらに、加速度センサの出力により手ぶれを検知する公知の手ぶれ検知機構が電子カメラ１０に実装されている場合は、手ぶれ検知機構が手ぶれを検知したときにＣＰＵは顔領域の画質判定をＯＦＦにするようにしてもよい。また、撮影レンズ１１をシフトさせて手ぶれをキャンセルする公知の手ぶれ補正機構が電子カメラ１０に実装されている場合には、ＣＰＵ２４は手ぶれ補正がＯＮのときに顔領域の画質判定をＯＮにするようにしてもよい（手ぶれ検知機構、手ぶれ補正機構の図示は省略する）。

また、顔領域の画質判定がＯＮのときには、ＣＰＵ２４は設定画面での入力に基づいて特殊画像データ検出時の処理を、（１）特殊画像データの顔領域の画質を自動的に補正する、（２）特殊画像データを記録媒体に書込禁止して自動的に削除する、（３）通知画面をモニタに表示する、のいずれかから選択して実行する。
以下、第１実施形態の電子カメラの撮影動作を図２の流れ図に沿って説明する。

ステップＳ１０１：カメラ使用者は設定画面において特殊画像データ検出時の処理を「（１）顔領域の画質の自動補正」、「（２）特殊画像データの自動削除」、「（３）通知画面の表示」のいずれかから選択入力する。
ステップＳ１０２：カメラ使用者は、図示しないレリーズ釦の全押しにより電子カメラ１０に被写体の撮影を指示する。電子カメラ１０のＣＰＵ２４はＴＧ１９を介して撮像素子１２を駆動させ、撮像素子１２は被写体像のアナログ画像信号を出力する。アナログ画像信号は、アナログ信号処理部１３を通過した後にＡ／Ｄ変換部１４でデジタル画像信号に変換される。そして、画像処理部１５はデジタル画像信号に所定の画像処理を施して撮影画像データを生成する。

ステップＳ１０３：ＣＰＵ２４はＳ１０２の撮影における撮影条件のパラメータに基づいて顔領域の画質判定を行うか否かを判定する。顔領域の画質判定を行う場合（ＹＥＳ側）にはＳ１０４に移行する。一方、顔領域の画質判定を行わない場合（ＮＯ側）にはＳ１１０に移行する。
ステップＳ１０４：画像処理部１５は撮影画像データに顔認識処理を施し、撮影画像データにおける顔の有無をＣＰＵ２４に出力する。ＣＰＵ２４は撮影画像データから顔が検出されたか否かを画像処理部１５の出力に基づいて判定する。撮影画像データから顔が検出された場合（ＹＥＳ側）にはＳ１０５に移行する。一方、撮影画像データから顔が検出されない場合（ＮＯ側）にはＳ１１０に移行する。

ステップＳ１０５：画像処理部１５は撮影画像データの顔領域に含まれる空間周波数成分を分析する。
ステップＳ１０６：ＣＰＵ２４は顔領域の画質が閾値以下の特殊画像データであるか否か（具体的には、顔領域において画像の粒状感と高い相関をもつ空間周波数成分の量が閾値以上か否か）を判定する。撮影画像データが特殊画像データの場合（ＹＥＳ側）はＳ１０７に移行する。一方、撮影画像データが特殊画像データではない場合（ＮＯ側）はＳ１１０に移行する。

ステップＳ１０７：ＣＰＵ２４はＳ１０１での設定内容に基づいて特殊画像データ検出時の処理を判定する。Ｓ１０１で「（１）顔領域の画質の自動補正」が選択入力されている場合はＳ１１２に移行する。Ｓ１０１で「（２）特殊画像データの自動削除」が選択入力されている場合はＳ１１１に移行する。Ｓ１０１で「（３）通知画面の表示」が選択入力されている場合はＳ１０８に移行する。

ステップＳ１０８：ＣＰＵ２４は通知画面をモニタ２２に表示する。この通知画面では、撮影画像が特殊画像データ（顔荒れ画像）であって、顔が美しく撮影されていない旨のメッセージと、特殊画像データの処理の選択枝として「保存（記録媒体への特殊画像データの書込許可）」、「削除（記録媒体への特殊画像データの書込禁止）」、「補正（顔領域の画質の補正処理）」とが表示される（図３参照）。そして、カメラ使用者はモニタ２２に表示されるアイコンを操作部２３で操作して、特殊画像データの処理を選択入力する。

ステップＳ１０９：ＣＰＵ２４はＳ１０８でカメラ使用者がいずれの処理を選択入力したかを判定する。「保存」が選択された場合はＳ１１０に移行する。「削除」が選択された場合はＳ１１１に移行する。「補正」が選択された場合にはＳ１１２に移行する。
ステップＳ１１０：この場合にはＣＰＵ２４はＳ１０２で生成された撮影画像データをそのまま記録媒体２１に記録し、その後に撮影動作を終了する。

ステップＳ１１１：この場合にはＣＰＵ２４はＳ１０２で生成された撮影画像データ（特殊画像データ）を削除し、記録媒体２１に特殊画像データを記録することなく撮影動作を終了する。
ステップＳ１１２：この場合には画像処理部１５が特殊画像データの顔領域に対してぼかしフィルタによるフィルタ演算を行って、顔領域の粒状感を低下させる補正処理を施す（図４参照）。なお、上記のぼかしフィルタによるフィルタ演算では、画像処理部１５は顔認識時に抽出した目、鼻、口、眉などの顔パーツの領域を補正処理の対象から除外して、顔パーツの輪郭や微細な情報が失われないようにするのが好ましい。

また、ぼかしフィルタによる補正処理の結果、画像中の顔部分とその外側とで画像の粒状感に顕著な差が生じ、顔部分が周囲から浮き上がって違和感が生じることもある。そのため、画像処理部１５は顔領域の境界部分近傍と内側とでぼかし効果の強弱が変化する重み付けをして補正処理をしてもよい。例えば、画像処理部１５は顔領域内の境界部分近傍にはぼかし効果の弱いフィルタを適用し、顔領域内のそれ以外の部分にはぼかし効果の強いフィルタを適用する。あるいは、画像処理部１５は顔領域外の境界部分近傍にはぼかし効果の弱いフィルタを適用し、顔領域内にはぼかし効果の強いフィルタを適用するようにしてもよい。これらの場合には顔領域の境界部分近傍から顔領域の内側に向けて画像の粒状感の差が滑らかになるので、顔部分とその周囲とで違和感が生じるおそれも低減する。

そして、ＣＰＵ２４は補正処理後の特殊画像データを記録媒体２１に記録し、その後に撮影動作を終了する。なお、ＣＰＵ２４は記録媒体２１に記録した特殊画像データに対して顔領域の粒状感を低下させる補正処理を事後的に施すことも勿論可能である。
上記の第１実施形態の電子カメラでは、顔領域の空間周波数解析の結果に基づいて顔領域の画質が悪い（顔領域において画像の粒状感の高い）特殊画像データを検出することができる。特に第１実施形態では、撮影条件のパラメータによって顔領域の画質判定のＯＮ／ＯＦＦを切り替えるので、顔領域の画質判定が必要でない撮影画像データや手ぶれした撮影画像データなどが判定対象から除外され、電子カメラの演算負荷は軽減される。

また第１実施形態の電子カメラでは特殊画像データの検出時の処理として、特殊画像データの自動削除、自動補正処理、カメラ使用者への通知、のいずれかを状況に応じて選択できるので、カメラ使用者の利便性が大きく向上する。
（第２実施形態の説明）
図５は第２実施形態の電子カメラの動作を示す流れ図である。第２実施形態は第１実施形態の変形例であって、顔領域と顔領域以外の空間周波数成分を比較して、手ぶれ、ピンぼけの可能性が高い場合には顔領域の画質判定を行わない構成である。なお、第２実施形態および第３実施形態の電子カメラにおいて、第１実施形態と共通の構成には同一符号を付して説明を省略する。また、図５のＳ２０１、Ｓ２０２、Ｓ２０６〜Ｓ２１２は図２のＳ１０１、Ｓ１０２、Ｓ１０６〜Ｓ１１２にそれぞれ対応するのでその説明は省略する。

ステップＳ２０３：画像処理部１５は撮影画像データに顔認識処理を施し、撮影画像データにおける顔の有無をＣＰＵ２４に出力する。ＣＰＵ２４は撮影画像データから顔が検出されたか否かを画像処理部１５の出力に基づいて判定する。撮影画像データから顔が検出された場合（ＹＥＳ側）にはＳ２０４に移行する。一方、撮影画像データから顔が検出されない場合（ＮＯ側）にはＳ２１０に移行する。

ステップＳ２０４：画像処理部１５は撮影画像データの顔領域の空間周波数成分と、顔領域以外の任意の部分領域の空間周波数成分とをそれぞれ解析する。この部分領域の空間周波数成分は、顔領域の空間周波数成分とともに手ぶれ、ピンぼけの判定に使用される。
ステップＳ２０５：ＣＰＵ２４は顔領域および部分領域の少なくとも一方の空間周波数成分に所定値以上の高周波成分が含まれているか否かを判定する。高周波成分が含まれる場合（ＹＥＳ側）には画像の輪郭は鮮明であって、手ぶれ、ピンぼけの可能性は低いのでＳ２０６の顔画質判定に移行する。一方、高周波成分が含まれない場合（ＮＯ側）には画像の輪郭が不鮮明であって、手ぶれまたはピンぼけしている可能性が高い。そのためＣＰＵ２４はＳ２１０に移行して顔領域の画質判定を行うことなく撮影画像データを保存する。なお、この場合にはＣＰＵ２４は撮影画像データを自動的に削除して記録媒体２１の容量を確保するようにしてもよい。

上記の第２実施形態の電子カメラでは第１実施形態とほぼ同様の効果を得ることができる。特に第２実施形態では、各撮影画像データの顔領域および部分領域の高周波成分に基づいて手ぶれ、ピンぼけの画像を個別的に除外してから顔領域の画質判定を行うので、第１実施形態の場合よりも顔領域の画質判定の検出精度は向上しうる。
（第３実施形態の説明）
図６は第３実施形態の電子カメラの動作を示す流れ図である。第３実施形態では、画像信号のゲイン設定およびシャッタ秒時の組み合わせを変化させて複数回のブラケティング撮影を実行し、顔領域の画質が最も高い撮影画像データを記録する例である。

ステップＳ３０１：カメラ使用者は、設定画面において撮影フレーム数（撮影回数）や撮影毎のパラメータ変動量（シャッタ秒時、画像信号のゲイン設定）を設定する。なお、第３実施形態では撮像素子１２の電荷蓄積時間やシャッタ機構（図示を省略する）のシャッタ走行間隔を調整してシャッタ秒時を変更し、アナログ信号処理部１３のゲイン設定を調整して画像信号のゲイン設定を変更する。

ステップＳ３０２：カメラ使用者は、図示しないレリーズ釦の全押しにより電子カメラ１０に被写体のブラケティング撮影を指示する。このブラケティング撮影では、ＣＰＵ２４は１フレーム目の撮影画像データを生成した後に、Ｓ３０１での設定に従ってパラメータを変更して次フレームの撮影画像データを生成する。そして、ＣＰＵ２４はＳ３０１で設定された撮影フレーム数の撮影終了まで上記の工程を繰り返す。

ステップＳ３０３：画像処理部１５は撮影画像データに顔認識処理を施し、撮影画像データにおける顔の有無をＣＰＵ２４に出力する。ＣＰＵ２４は各撮影画像データから顔が検出されたか否かを画像処理部１５の出力に基づいて判定する。撮影画像データから顔が検出された場合（ＹＥＳ側）にはＳ３０４に移行する。一方、撮影画像データから顔が検出されない場合（ＮＯ側）にはＳ３０７に移行して、ＣＰＵは顔領域を検出できない撮影画像データを保存する。なお、このＳ３０３の判定はブラケティング撮影の各撮影画像データ毎に実行される。

ステップＳ３０４：画像処理部１５は、Ｓ３０３で顔が検出された撮影画像データについて、顔領域に含まれる空間周波数成分をそれぞれ分析する。そして、画像処理部１５は画像の粒状感と高い相関をもつ空間周波数成分の量に基づいて、顔領域における画像の粒状感の強さを示す評価値を上記の各撮影画像データ毎に生成する。
ステップＳ３０５：ＣＰＵ２４はＳ３０３で顔が検出された撮影画像データのうち、顔の画質が最もよい（すなわち、顔領域における画像の粒状感が弱くて評価値の値が小さい）撮影画像データをＳ３０４の評価値に基づいて決定する。

ステップＳ３０６：ＣＰＵ２４はＳ３０５で決定された撮影画像データを記録媒体２１に記録し、一連の撮影動作を終了する。
上記の第３実施形態の電子カメラでは、画像信号のゲイン設定およびシャッタ秒時の組み合わせを変化させてブラケティング撮影を行い、顔の画質が最もよい撮影画像データを記録する。そのため、顔領域における画像の粒状感が低くて顔の画質が良好な撮影画像を取得できる可能性が向上する。

（第４実施形態の説明）
図７は第４実施形態の画像処理装置の機能ブロック図である。第４実施形態はパーソナルコンピュータ等に画像処理プログラムを実行させて画像処理装置３０を構成する例である。ここで、第４実施形態の画像処理プログラムは、電子カメラで生成された「撮影画像データ」と、電子カメラの撮影条件のパラメータを示す「付加データ」とを含む画像ファイルを処理対象とする。この画像ファイルの例としては、Ｅｘｉｆ規格準拠の画像ファイルや、撮影条件のパラメータの情報を有するＲＡＷデータファイルなどが該当する。

画像処理装置３０は、マイクロプロセッサ３１と、メモリ３２と、バスインターフェース部（バスＩ／Ｆ部）３３と、表示ドライバ部３４と、ディスクドライブ部３５と、各部を接続するシステムバス３６とを有している。また、画像処理装置３０には、キーボードやポインティングデバイス等の入力手段３７と、モニタ３８とが接続されている。
マイクロプロセッサ３１は画像処理装置３０の各部を演算制御し、後述の画像処理プログラムを実行する。メモリ３２はプログラムおよびデータを記憶し、マイクロプロセッサ３１にデータを送ったり、マイクロプロセッサ３１から返された処理結果を記憶する。バスＩ／Ｆ部３３は、画像処理装置３０に接続された周辺機器（例えば、電子カメラや記録媒体など）とのデータ送受信をＵＳＢ（Universal Serial Bus）やＩＥＥＥ１３９４などのシリアル通信規格に準拠して制御する。表示ドライバ部３４はモニタ３８に画像出力を行う。ディスクドライブ部３５では、光ディスク、光磁気ディスクなどの記録媒体に対して撮影画像データの読み出し／書き込みを実行する。

第４実施形態の画像処理装置は上記のように構成され、以下、図８の流れ図に従って第４実施形態の画像処理プログラムの動作を説明する。
ステップＳ４０１：マイクロプロセッサ３１はバスＩ／Ｆ部３３またはディスクドライブ部３５から画像ファイルを読み込み、読み込んだ画像ファイルの一覧をモニタ３８に表示する。そして、ユーザーに顔領域の画質判定を行う画像ファイルを選択入力させる。

ステップＳ４０２：マイクロプロセッサ３１はＳ４０１で選択された画像ファイルのうち、処理対象とする画像ファイルをメモリ３２に読み込んで、撮影画像データの撮影条件のパラメータを付加データから取得する。そして、マイクロプロセッサ３１は、現在処理中の撮影画像データに対して顔領域の画質判定を行うか否かを撮影条件のパラメータに基づいて判定する。上記の判定では第１実施形態と同様に撮影条件のパラメータが「電子カメラのシーンモードが人物主体か否か」または「撮影時に手ぶれが発生し易いか否か」を基準とする。顔領域の画質判定を行う場合（ＹＥＳ側）にはＳ４０３に移行する。一方、顔領域の画質判定を行わない場合（ＮＯ側）にはＳ４０７に移行する。

ステップＳ４０３：マイクロプロセッサ３１は撮影画像データに顔認識処理を施し、現在処理中の撮影画像データから顔が検出されたか否かを判定する。撮影画像データから顔が検出された場合（ＹＥＳ側）にはＳ４０４に移行する。一方、撮影画像データから顔が検出されない場合（ＮＯ側）にはＳ４０７に移行する。
ステップＳ４０４：マイクロプロセッサ３１は現在処理中の撮影画像データの顔領域に含まれる空間周波数成分を分析する。

ステップＳ４０５：マイクロプロセッサ３１は、現在処理中の撮影画像データにおける顔領域の画質が閾値以下であるか否か（顔領域において画像の粒状感と高い相関をもつ空間周波数成分の量が閾値以上か否か）を判定する。顔領域の画質が閾値以下の場合（ＹＥＳ側）はＳ４０６に移行する。一方、顔領域の画質が閾値を上回る場合（ＮＯ側）はＳ４０７に移行する。

ステップＳ４０６：マイクロプロセッサ３１は顔領域の画質が閾値以下であることを示すマーカー情報を生成し、マーカー情報とその画像ファイルの特定情報（ファイル名、ディレクトリパスなど）とを対応付けてメモリ３２に記憶する。
ステップＳ４０７：マイクロプロセッサ３１は次に処理対象となる画像ファイルが存在するか否かを判定する。次の画像ファイルが存在する場合（ＹＥＳ側）にはＳ４０２に戻ってマイクロプロセッサは上記動作を繰り返す。一方、次の画像ファイルが存在しない場合（ＮＯ側）にはＳ４０８に移行する。

ステップＳ４０８：マイクロプロセッサ３１はマーカー情報および画像ファイルの特定情報に基づいて、撮影画像データの顔領域の画質が閾値以下である画像ファイルの一覧をモニタ３８に表示する。ユーザーは一覧画面の画像ファイルを全指定または個別指定して画像ファイルの処理を指示し、マイクロプロセッサ３１は画像ファイルの削除や画像ファイルの補正などの処理を実行する。なお、画像ファイルの補正は第１実施形態のＳ１１２のように行われる。以上で画像処理プログラムの一連の動作が終了する。

上記の第４実施形態では、コンピュータによる後処理工程において、顔領域の空間周波数解析の結果に基づいて顔領域の画質が悪い撮影画像データを検出できる。第４実施形態においても第１実施形態と同様に撮影条件のパラメータによって顔領域の画質判定のＯＮ／ＯＦＦを切り替えるので、顔領域の画質判定が必要でない撮影画像データや手ぶれした撮影画像データなどは判定対象から除外され、コンピュータの演算負荷が軽減される。

（第５実施形態の説明）
図９は第５実施形態の画像処理プログラムの動作を示す流れ図である。第５実施形態は第４実施形態の変形例であって、顔領域と顔領域以外の空間周波数成分を比較して、手ぶれ、ピンぼけの可能性が高い場合には顔領域の画質判定を行わない構成である。なお、第４実施形態の画像処理装置において、第４実施形態と共通の構成には同一符号を付して説明を省略する。また、図９のＳ５０１、Ｓ５０５〜Ｓ５０８は図８のＳ４０１、Ｓ４０５〜Ｓ４０８にそれぞれ対応するのでその説明は省略する。

ステップＳ５０２：マイクロプロセッサ３１はＳ５０１で選択された画像ファイルのうち、処理対象とする画像ファイルの撮影画像データに顔認識処理を施し、撮影画像データから顔が検出されたか否かを判定する。撮影画像データから顔が検出された場合（ＹＥＳ側）にはＳ５０３に移行する。一方、撮影画像データから顔が検出されない場合（ＮＯ側）にはＳ５０７に移行する。

ステップＳ５０３：マイクロプロセッサ３１は撮影画像データの顔領域の空間周波数成分と、顔領域以外の任意の部分領域の空間周波数成分とをそれぞれ解析する。この部分領域の空間周波数成分は、顔領域の空間周波数成分とともに手ぶれ、ピンぼけの判定に使用される。
ステップＳ５０４：マイクロプロセッサ３１は顔領域および部分領域の少なくとも一方の空間周波数成分に所定値以上の高周波成分が含まれているか否かを判定する。高周波成分が含まれる場合（ＹＥＳ側）には画像の輪郭は鮮明であって、手ぶれ、ピンぼけの可能性は低いのでＳ５０５の顔画質判定に移行する。一方、高周波成分が含まれない場合（ＮＯ側）には画像の輪郭が不鮮明であって、手ぶれまたはピンぼけしている可能性が高い。そのためマイクロプロセッサはＳ５０７に移行する。

上記の第５実施形態では第４実施形態とほぼ同様の効果を得ることができる。特に第５実施形態では、各撮影画像データの顔領域および部分領域の高周波成分に基づいて手ぶれ、ピンぼけの画像を個別的に除外してから顔領域の画質判定を行うので、付加データのない画像ファイルにも顔領域の画質判定を行うことができる。

（実施形態の補足事項）
以上、本発明を上記の実施形態によって説明してきたが、本発明の技術的範囲は上記実施形態に限定されるものではない。
（１）上記実施形態の電子カメラでは特殊画像データの顔領域にぼかしフィルタを適用して補正処理する例を示したが、本発明ではメディアンフィルタを適用して顔領域の画像の粒状感を低下させるように補正処理してもよい。

（２）上記実施形態の電子カメラでは、特殊画像データ検出時には画像データのタグにマーカー情報を付加するようにしてもよい。この場合には、撮影終了後にマーカー情報に基づいてＣＰＵが特殊画像データを抽出できるので、再生時にユーザーが特殊画像データを識別することが容易になる。

第１実施形態の電子カメラのブロック図第１実施形態の電子カメラの撮影動作の流れ図通知画面の一例を示す図顔認識処理および補正処理の一例を示す図第２実施形態の電子カメラの撮影動作の流れ図第３実施形態の電子カメラの撮影動作の流れ図第４実施形態の画像処理装置のブロック図第４実施形態の画像処理プログラムの動作の流れ図第５実施形態の画像処理プログラムの動作の流れ図

符号の説明

１０電子カメラ
１２撮像素子
１３アナログ信号処理部
１５画像処理部
２０カードＩ／Ｆ
２１記録媒体
２２モニタ
２４ＣＰＵ
３０画像処理装置
３１マイクロプロセッサ
３２メモリ
３３バスＩ／Ｆ部
３５ディスクドライブ部
３８モニタ

Claims

画像データを含む画像ファイルを読み込んで、前記画像データを加工する画像処理装置であって、
前記画像ファイルを読み込む読込部と、
前記画像データから顔領域を抽出する顔認識部と、
前記顔領域および前記顔領域以外の任意の部分領域の空間周波数成分を解析する空間周波数解析部と、
前記顔領域の画質判定を行う第１の画像処理モードと前記画質判定を行わない第２の画像処理モードとを前記解析結果に基づいて切り替えるモード切替部と、
前記第１の画像処理モードで画像の粒状感と高い相関をもつ空間周波数成分に基づいて前記顔領域の画質を判定し、該画質が閾値以下の特殊画像データを検出する顔画質判定部と、
前記顔画質判定部によって検出された特殊画像データを含む画像ファイルの一覧を表示部に表示させる表示制御部と、
前記表示部に表示された画像ファイルの全指定を受け付ける指定部と、
前記指定された画像ファイルに対して所定の処理を行う制御部と、を備え、
前記モード切換部は、前記空間周波数解析部が解析した前記顔領域の空間周波数成分および前記顔領域以外の任意の部分領域の空間周波数成分の少なくとも一方の空間周波数成分に所定値以上の高周波成分が含まれているか否かによって前記第１のモードと前記第２のモードとを切り換えることを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記制御部は、前記指定された画像ファイルに含まれる特殊画像データの顔領域に粒状感を低下させる補正処理を施すことを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記制御部は、前記指定された画像ファイルを削除することを特徴とする画像処理装置。
画像データを含む画像ファイルを読み込んで、前記画像データを加工する画像処理プログラムであって、
前記画像ファイルを読み込む手順と、
前記画像データから顔領域を抽出する手順と、
前記顔領域および前記顔領域以外の任意の部分領域の空間周波数成分を解析する手順と、
前記顔領域の画質判定を行う第１の画像処理モードと前記画質判定を行わない第２の画像処理モードとを前記解析結果に基づいて切り替える手順と、
前記第１の画像処理モードで画像の粒状感と高い相関をもつ空間周波数成分に基づいて前記顔領域の画質を判定し、該画質が閾値以下の特殊画像データを検出する手順と、
前記顔画質判定部によって検出された特殊画像データを含む画像ファイルの一覧を表示部に表示させる手順と、
前記表示部に表示された画像ファイルの全指定を受け付ける手順と、
前記指定された画像ファイルに対して所定の処理を行う手順と、をコンピュータに実行させるとともに、
画像処理モードを切り替える手順では、前記空間周波数成分の解析で得られた前記顔領域の空間周波数成分および前記顔領域以外の任意の部分領域の空間周波数成分の少なくとも一方の空間周波数成分に所定値以上の高周波成分が含まれているか否かによって前記第１のモードと前記第２のモードとを切り換えをコンピュータに実行させることを特徴とする画像処理プログラム。
請求項４に記載の画像処理プログラムにおいて、
前記所定の処理は、前記指定された画像ファイルに含まれる特殊画像データの顔領域に粒状感を低下させる補正処理であることを特徴とする画像処理プログラム。
請求項４に記載の画像処理プログラムにおいて、
前記所定の処理は、前記指定された画像ファイルを削除する処理であることを特徴とする画像処理プログラム。