JP4832518B2 - 画像処理装置、その画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は画像処理装置、その画像処理方法及び画像処理プログラムに関し、より詳細には、撮影した被写体の顔画像を認識する技術に関するものである。

電子カメラに於いては、カメラの背面に設けられた液晶モニタ等の画面により、撮影した被写体の画像を確認することができるようになっている。これにより、被写体が人物の場合等、撮影したときの顔の表情を確認することができる。

そして、人物の顔を抽出する技術として、例えば、下記特許文献１には、人の顔の形状に相当する顔候補領域を決定し、顔候補領域内の特徴量から顔領域を決定することにより、カラー原画像から人の顔を抽出する方法が開示されている。

また、顔画像を認識するものとしては、例えば、下記特許文献２には、メモリに展開した顔写真画像データからエッジを検出し、エッジのペアを両眼の候補として抽出し、それら候補の中から人の顔が備える特徴により絞り込み、その絞り込んだ両眼の位置から前記顔写真画像データにおける顔の領域を推定し、その推定された顔の領域の輝度の平均値より補正量を求め、該補正量により前記顔写真画像データを補正して、前記顔写真画像データの明るさ調整を行う技術が開示されている。

更に、下記特許文献３には、画像の顔の部分の大きさが一定になるようにズームを調整して、被写体が動いても安定した画像を得る技術が開示されている。

また、下記特許文献４には、見本となる人物の顔画像をサンプル画像として受け付け、入力されたサンプル画像の特徴を用いて該入力された画像の顔の近傍領域を検出し、この検出した画像の顔の近傍領域の候補を表示して、表示された画像が顔の画像であるか否か、前記表示された顔の近傍領域の候補に対して絞り込む条件を入力して顔検出処理を行う技術が開示されている。

一方、下記特許文献５乃至７には、画面に表示された人物の顔画像が小さい場合に、当該顔画像をトリミングによって拡大してモニタ画面に表示する技術が開示されている。
特開平８−６３５９７号公報 特開２００４−２４０８２９号公報 特開平６−２１７１８７号公報 特開２００３−３２３６１５号公報 特開平５−２６８５１３号公報 特開平９−２３３３８４号公報 特開平１１−８４４８１号公報

ところで、前述した特許文献１、２、３、５、６及び７には、顔画像の認識については述べているものの、１枚の写真画像の中に被写体である人物が複数存在する場合については明記されていない。また、前記特許文献４には、被写体が複数の人物である場合に、画像中の人物を認識するための技術が記載されている。

しかしながら、この特許文献４に記載の顔画像検出では、複数存在する人物の顔画像を認識するものの、個別の顔画像について写りの良さなどを容易に確認するインターフェースを備えていない。したがって、人物の数が多い場合等、被写体の顔画像の大きさが小さい場合は、表情等の顔の確認や写りの良さの確認を行うことは困難なものであった。

したがって本発明の目的は、複数の顔が被写体として写っている場合に、それぞれの顔の確認や写りの良さを確認するための容易なインターフェースを有する画像処理装置、その画像処理方法及び画像処理プログラムを提供することである。

したがって本発明のある態様は、画像処理装置であって、撮像レンズと、撮像された画像から、顔画像を含む複数の関心領域を抽出する抽出部と、前記抽出部によって抽出された前記複数の関心領域が合焦状態であるときの前記撮像レンズの推定レンズ位置である複数の合焦推定レンズ位置を取得する測距部と、前記測距部によって取得された前記複数の合焦推定レンズ位置に基づいて、前記複数の関心領域を表示させる表示順序を決定する表示順序決定部と、前記表示順序決定部によって決定された前記表示順序に基づいて、前記複数の関心領域を表示する表示部と、を具備することを特徴とする。
また本発明の別の態様は、撮像された画像から顔画像を含む複数の関心領域を抽出し、 抽出された前記複数の関心領域が合焦状態であるときの撮像レンズの推定レンズ位置である複数の合焦推定レンズ位置を取得し、 取得された前記合焦推定レンズ位置に基づいて、前記複数の関心領域を表示させる表示順序を決定することを特徴とする。
更に本発明のさらなる別の態様は、 撮像された画像から顔画像を含む複数の関心領域を抽出する抽出するステップと、 抽出された前記複数の関心領域が合焦状態であるときの撮像レンズの推定レンズ位置である複数の合焦推定レンズ位置を取得するステップと、 取得された前記複数の合焦推定レンズ位置に基づいて、前記複数の関心領域を表示させる表示順序を決定するステップと、をコンピュータに実行させる。

本発明によれば、複数の顔が被写体として写っている場合に、それぞれの顔の確認や写りの良さを確認するための容易なインターフェースを有する画像処理装置、その画像処理方法及び画像処理プログラムを提供することができる。

以下、図面を参照して、本発明の実施形態を説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る電子カメラの概略構成を示したブロック図である。

図１に於いて、システムコントローラ１０は、この電子カメラ全体の制御動作を司る制御手段であり、ＣＰＵ等により構成される。そして、このシステムコントローラ１０には、図示されないレンズ鏡筒に内蔵された撮影レンズ１２と、該撮影レンズ１２を介して被写体の光学像を結像するための撮像素子であるＣＣＤ１４と、該ＣＣＤ１４で取り込まれた光学像を電気信号に変換する撮像回路１６と、Ａ／Ｄ変換器１８と、信号処理回路２０と、メモリ２２とが接続されている。更に、前記システムコントローラ１０には、測距ユニット３４と、レリーズスイッチ（ＳＷ）３８と、メニュースイッチ（ＳＷ）４０と、画像操作スイッチ（ＳＷ）４２と、操作スイッチ（ＳＷ）４４とが接続されている。また、前記メモリ２２には、圧縮回路２８を介して記憶メディア３０と、表示用メモリ２６を介して表示装置３２とが接続されている。

前記測距ユニット３４は、自動測距により図示されない被写体の合焦位置を得るためのユニットである。前記レリーズスイッチ３８は、撮影操作を開始するための後述するレリーズ釦５２に対応するもので、第１レリーズスイッチと第２レリーズスイッチの２段式のスイッチで構成されている。レリーズ釦５２が半押し操作されることによって、第１レリーズスイッチがオンされて測光処理や測距処理などの撮影準備動作が実行される。また、レリーズ釦５２が全押し操作されることによって、第２レリーズスイッチがオンされて露光動作が実行される。

前記メニュースイッチ４０は、この電子カメラの各種機能を操作するためのスイッチである。また、前記画像操作スイッチ４２は、表示装置３２に表示される画像の切り替え等を行うためのスイッチである。この画像操作スイッチ４２は、後述する顔画像閲覧モードスイッチ５８と、画像切り替え釦６０と、被写体切り替え釦６２等を有して構成される。これらの釦が操作されることによって、表示装置３２の表示面に表示される画像が切り替えられる。操作スイッチ４４は、パワースイッチ等、当該カメラを操作するために必要な操作釦に対応した操作スイッチである。

尚、前述した撮影レンズ１２、ＣＣＤ１４、撮像回路１６、Ａ／Ｄ変換器１８、信号処理回路２０、メモリ２２、表示用メモリ２６、圧縮回路２８、記憶メディア３０、表示装置３２、測距ユニット３４は周知のものであるため、その詳細な説明は省略する。

このような構成に於いて、撮影レンズ１２を通過した被写体の光学像は、ＣＣＤ１４にて電気信号に変換され、更に撮像回路１６でアナログ画像信号に変換される。このアナログ画像信号は、Ａ／Ｄ変換器１８でデジタル画像信号（以下、「画像情報」とも称する）に変換されて、信号処理回路２０にて画像情報の色情報の変換処理、画素数変換処理、顔画像の認識処理等の処理が行われる。そして、信号処理回路２０にて種々の画像処理が施された画像情報は、揮発性のメモリ２２に記憶される。このメモリ２２は、高速な記憶手段、例えばＳＤＲＡＭで構成されるもので、後述する画像処理用のワークエリアとしても使用される。

こうして、一旦メモリ２２に記憶された画像情報は、圧縮回路２８にて、例えばＪＰＥＧ圧縮されて、スマートメディア（登録商標）等の記憶メディア３０に記憶される。また、信号処理後の画像情報は、メモリ２２から表示用メモリ２６に移され、更に図示されない駆動回路を介して表示装置３２に表示される。

尚、記憶メディア３０に記憶された画像を表示する場合には、記憶された画像が図示されない伸長回路で伸長されて、例えば信号処理回路２０で所定の画像処理がなされた後に、撮影した場合と同様に表示装置３２に表示される。

図３は、本発明の第１の実施形態に於ける電子カメラの構造を示したもので、電子カメラの後方より見た背面図である。

図３に於いて、カメラ本体５０ａの上方には、前述したレリーズスイッチ３８に対応したレリーズ釦５２と、撮影モードを選択するための撮影モードスイッチ５４が設けられている。そして、カメラ本体５０ａの背面部には、その略中央に前記表示装置３２としての液晶ディスプレイ６０が設けられている。

この液晶ディスプレイ６０の左側には、詳細を後述する顔画像閲覧モードを操作するための顔画像閲覧モードスイッチ６２が設けられている。一方、液晶ディスプレイ６０の右側には、現在液晶ディスプレイ６０に表示されている画像を１コマ切り替えるための画像切り替え釦６４と、液晶ディスプレイ６０に表示されている被写体を切り替えて選択するための被写体切り替え釦６６が設けられている。この場合、画像切り替え釦６４は、現在表示されている画像を１コマ先の画像に切り替えて表示させるための切り替え釦６４ａと、現在表示されている画像を１コマ前の画像に切り替えて表示させるための切り替え釦６４ｂとを有して構成されている。

次に、図４のフローチャートを参照して、第１の実施形態に於ける電子カメラによる顔画像確認の動作について説明する。

図示されない電源スイッチがオンされると、先ずステップＳ１に於いて、被写体の撮影が行われる。この場合、被写体を撮影することで得た被写体像には、図５に示されるように、複数（この場合５人）の人物７０ａ〜７０ｅが存在しているものとする。前記ステップＳ１にて被写体が撮影されると、前述したようにＣＣＤ１４から撮像回路１６、Ａ／Ｄ変換器１８を介して信号処理回路２０に送られる。次いで、ステップＳ２にて、色情報の変換処理、画素数変更処理、顔画像の認識処理等が、信号処理回路２０によって実行される。尚、この顔画像認識処理は周知のものであり、例えば前述した特許文献２にその詳細が記載されているので、ここでは説明を省略する。

次いで、ステップＳ３に於いて、顔画像に応じた領域である関心領域（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ；ＲＯＩ）の決定が信号処理回路２０で行われる。そして、関心領域と画面上の被写体の顔の個数Ｎ１（＝５）が、メモリ２２に記憶される。ここで、例えば、液晶ディスプレイ５０に、図５に示されるような画像が表示されているものとする。この場合、顔画像の関心領域は、人物７０ａ〜７０ｅのそれぞれに対して、７２ａ〜７２ｅで表される５つである。これらについて、関心領域の大きさ、座標開始位置等がメモリ２２に記憶される。メモリ２２には、色情報の変換処理、画素数変換処理の結果の画像情報も記憶される。

次に、ステップＳ４では、顔画像閲覧モードスイッチ６２が押下されて、顔画像閲覧モードが以降のステップのように実行される。続くステップＳ５にて、メモリ２２の記憶内容に基づいてラスタ順位で画面の左上に位置する関心領域の顔画像が拡大されて表示される。そして、顔画像がＮ＝１にセットされる。この場合、図５に示されるように、ラスタ順位で上位にある関心領域７２ｂ、すなわち人物７０ｂの顔画像が、図６Ａに示されるように、拡大画像７４ｂとして液晶ディスプレイ６０に表示される。

また、このとき、液晶ディスプレイ６０上には、拡大画像７４ｂとして表示される関心領域７２ｂが、図５の画面のどの位置に対応しているのかが、スーパーインポーズによって表示される。すなわち、スーパーインポーズ表示されている画面枠７６が、液晶ディスプレイ６０の画面全体を表している。そして、画面枠７６内の表示領域７８ａが図５の関心領域７２ｂに相当する。したがって、ユーザは、図６Ａに示される拡大画像７４ｂと同時に、当該拡大画像７４ｂが画面内の何れの位置に存在しているのかを、液晶ディスプレイ６０上で確認することができる。

その後、ステップＳ６にて入力待機状態となる。そして、ステップＳ７に於いて、被写体切り替え釦６６の状態が検出される。ここで、被写体切り替え釦６６が押下された場合はステップＳ８に移行するが、押下されない場合は前記ステップＳ６に移行する。つまり、被写体切り替え釦６６が押下されるまで、ステップＳ６及びＳ７が繰り返される。

一方、前記ステップＳ７に於いて、被写体切り替え釦６６が押下されたことが検出された場合は、ステップＳ８に移行して、前記ステップＳ５にてセットされた顔画像ＮがＮ１であるか否かが判定される。この場合、前記ステップＳ５にてＮに“１”がセットされており、被写体の顔の個数Ｎ１は前記ステップＳ３にて“５”がセットされているので、ステップＳ９に移行してＮがインクリメントされる。

次いで、ステップＳ１１に於いて、Ｎ番目の被写体の顔画像についての関心領域が液晶ディスプレイ６０上に拡大表示される。この場合、前記ステップＳ９にてインクリメントされているので、Ｎ＝２の顔画像が表示される。すなわち、図５に示されるように、ラスタ順位で２番目に上位にある関心領域７２ｃ、すなわち人物７０ｃの顔画像が、図６Ｂに示されるように、拡大画像７４ｃとして液晶ディスプレイ６０に表示される。また、同時に、図５の関心領域７２ｃに相当する画面枠７６内の表示領域７８ｃが、液晶ディスプレイ６０上にスーパーインポーズ表示される。その後、前記ステップＳ６に移行して入力待機状態となる。

このようにして、ステップＳ８に於いてＮ＝Ｎ１が成立するまで、前述したステップＳ６〜Ｓ９及びＳ１１の処理動作が繰り返される。すなわち、本実施形態に於いては、１番目に拡大画像７４ｂと画面枠７６及び表示領域７８ａ（図６Ａ参照）が、液晶ディスプレイ６０上に表示される。その後、被写体切り替え釦６６が押下される毎に、拡大画像７４ｃと画面枠７６及び表示領域７８ｃ（図６Ｂ参照）、拡大画像７４ａと画面枠７６及び表示領域７８ａ（図６Ｃ参照）、拡大画像７４ｅと画面枠７６及び表示領域７８ｅ（図６Ｄ参照）が、拡大画像７４ｄと画面枠７６及び表示領域７８ｄ（図６Ｅ参照）が、順次液晶ディスプレイ６０上に表示される。

そして、ステップＳ８に於いて、Ｎ＝Ｎ１が成立したならば、ステップＳ１０へ移行して、再びＮに“１”がセットされる。これは、本実施形態に於いて被写体の顔画像（人物）は５つであり、被写体切り替え釦６６が４回押下されると、５番目の人物の顔画像が拡大表示されるからである。したがって、被写体切り替え釦６６が５回押下されると、次は最初の拡大画像７４ｂを表示するため、ステップＳ１０では顔画像が再びＮ＝１にセットされる。これにより、続くステップＳ１１ではＮ番目の被写体、つまり１番目の被写体の顔の拡大画像７４ｂと、画面枠７６及び表示領域７８ａが、液晶ディスプレイ６０上に表示される。

尚、拡大画像７４ａ〜７４ｅは、各関心領域の画像情報に対して縮小、拡大処理が行われることで、略同じ大きさで液晶ディスプレイ６０に表示される。

このように、第１の実施形態によれば、複数の顔が被写体として写っている場合でも、被写体切り替え釦６６を操作することで、複数の顔画像を選択的に切り替えて略同じ大きさに表示することができる。したがって、それぞれの顔の確認や写りの良さを確認することが容易になる。

また、液晶ディスプレイ６０上に表示される画面枠７６及び表示領域７８ａ〜７８ｅにより、現在液晶ディスプレイ６０上に表示されている拡大画像が、撮影画像のどの位置に存在するものであるかを容易に確認することができる。

更に、前述した実施形態では、関心領域の大きさ、座標開始位置を記憶するとしたが、これに限られるものではなく、関心領域の中心点を記憶するようにしても良い。その場合、ラスタ順位が図６に示された表示順序とは異なるものになる。

尚、ユーザが撮影を行うための撮影モードと、表示装置３２での顔画像の閲覧を行うための顔画像閲覧モードを備えている場合に於いて、顔画像閲覧モードがユーザによって指定されたことを条件に、前述したステップＳ２以降の処理を行うようにすることもできる。この場合、顔画像閲覧モードスイッチ６２の操作を検出することで、顔画像閲覧モードがユーザによって指定されたことを検出するようにすればよく、ステップＳ４は省略される。

更に、図２Ａに示されるように、信号処理回路４６を加えた構成の変形例の場合には、撮影された被写体像をユーザが閲覧するための再生モードに於いて、記憶メディア３０に保存されている複数の画像の中から被写体像を選択するようにすることもできる。すなわち、再生モードに於いて、ユーザによって被写体像が選択され、顔画像閲覧モードがユーザによって指定されたことを条件に、Ａ／Ｄ変換器１８からの被写体像の代わりに選択された被写体像に対して、ステップＳ２以降の処理を信号処理回路４６で行うようにする。この場合、ステップＳ４は省略され、ユーザによる被写体像の選択は、画像切り替え釦６４の操作で受け付け、顔画像閲覧モードの指定は顔画像閲覧モードスイッチ６２の操作で受け付けることができる。

また、本電子カメラは、図２Ｂに示される変形例のように構成することも可能である。図２Ｂの例では、Ａ／Ｄ変換器１８からの画像情報（被写体像）に対して、信号処理回路２０で色情報の変換処理や画素数変換処理等が行われた後に、画像情報がメモリ２２に記憶される。図２Ｂの例では、メモリ２２に記憶された画像情報は、圧縮回路２８に転送されて前述のように圧縮されると共に、顔画像の認識処理を行う信号処理回路４６に転送されて、前述のステップＳ２以降の処理が、この画像情報に対して行われる。この場合、ステップＳ４の処理は省略される。

尚、ステップＳ６にて、再び顔画像閲覧モードスイッチ３６が押下された場合には、撮影モードや再生モードに移行する。

次に、本発明の第１の実施形態の第１の変形例について説明する。

前述した第１の実施形態では、カメラ本体５０ａに設けられた被写体切り替え釦６６は１つのみであり、この被写体切り替え釦６６を押下する毎に、順次ラスタ順位に従って拡大画像が切り替えられて表示されるようになっていた。この第１の実施形態の第１の変形例は、被写体切り替え釦を４つで構成し、ユーザの選択に従って所望の拡大画像を切り替えて表示することができるようにしたものである。

以下、第１の実施形態の第１の変形例について説明する。

図７は、第１の実施形態の第１の変形例による被写体切り替え釦の構成例を示した図である。

図７に於いて、被写体切り替え釦８０は、１コマ先の画像に切り替えて表示させるための切り替え釦（Ｒ）８０ａと、１コマ前の画像に切り替えて表示させるための切り替え釦（Ｌ）８０ｂと、画像拡大のための切り替え釦（Ｕ）８０ｃと、画像縮小のための切り替え釦（Ｄ）８０ｄとから構成されている。

そして、この被写体切り替え釦８０が設けられたカメラ本体５０ｂは、図８に示されるように構成されている。この第１の変形例に於いて、被写体切り替え釦８０以外の構成は、前述した第１の実施形態と同じであるので、同一の部分には同一の参照番号を付してここでは説明を省略する。

図９は、本発明の第１の実施形態の第１の変形例に於ける電子カメラによる顔画像確認の動作について説明するフローチャートである。尚、ステップＳ２１〜Ｓ２５の処理動作は、前述した図４のフローチャートに於けるステップＳ１〜Ｓ５に関する説明と同様である。

図示されない電源スイッチがオンされると、先ずステップＳ２１に於いて、被写体の撮影が行われる。次いで、ステップＳ２２にて、周知の顔画像の認識処理が実行される。そして、ステップＳ２３に於いて、顔画像の関心領域（ＲＯＩ）と画面上の被写体の顔の個数Ｎ１がメモリ２２に記憶される。ステップＳ２４では、顔画像閲覧モードスイッチ３６が押下されて、顔画像閲覧モードが実行される。更に、ステップＳ２５では、ラスタ順位で画面の左上に位置する顔画像が拡大されて表示され、当該顔画像がＮ＝１にセットされる。

その後、ステップＳ２６にて入力待機状態となり、被写体切り替え釦８０の何れが押下されたかが検出される。すなわち、被写体切り替え釦（Ｌ）８０ｂが押下された場合はステップＳ２７に、被写体切り替え釦（Ｒ）８０ａが押下された場合はステップＳ３１に、被写体切り替え釦（Ｕ）８０ｃが押下された場合はステップＳ３６に、被写体切り替え釦（Ｄ）８０ｄが押下された場合はステップＳ４０に、それぞれ移行する。

前記ステップＳ２７にて被写体切り替え釦（Ｌ）８０ｂが押下された場合は、続くステップＳ２８に於いて、前記ステップＳ２５にてセットされた顔画像ＮがＮ１であるか否かが判定される。ここで、Ｎが“１”であれば、ステップＳ３０に移行してそのままＮ＝１の顔画像がセットされる。更に、ステップＳ３５に移行して、１番目の被写体の顔画像についての関心領域が液晶ディスプレイ６０上に拡大表示される。

一方、前記ステップＳ２８にてＮ＝１でないならば、ステップＳ２９に移行してＮがデクリメントされる。これは、後述するように、被写体切り替え釦（Ｒ）８０ａによって２番目以降の被写体の顔画像が表示されていた場合に、１つ前の被写体の顔画像を表示するために行われる。これにより、例えば、図６Ｂに示されていた拡大画像７４ｃが、図６Ａに示される拡大画像７４ｂに切り替えられることになる。

また、前記ステップＳ３１にて被写体切り替え釦（Ｒ）８０ａが押下された場合は、続くステップＳ３２に於いて、顔画像Ｎが前記ステップＳ２５にてセットされた画面上の被写体の顔の個数Ｎ１に等しいか否かが判定される。ここで、ＮがＮ１に等しくない場合は、ステップＳ３３に移行してＮがインクリメントされる。次いで、ステップＳ３５に於いて、インクリメントされたＮ番目の被写体の顔画像が液晶ディスプレイ６０上に拡大表示される。

一方、前記ステップＳ３２に於いて、Ｎ＝Ｎ１が成立したならば、ステップＳ３４へ移行して、再びＮに“１”がセットされる。これは、前述した第１の実施形態と同じく、前記ステップＳ２３でセットされた被写体の顔画像の数に達したならば、１番目の被写体の顔画像の表示に戻るからである。したがって、続くステップＳ３５では、Ｎ番目、すなわち１番目の被写体の顔画像が液晶ディスプレイ６０上に拡大表示される。

ステップＳ３５の拡大表示の後は、前記ステップＳ２６に移行して入力待機状態となる。

そして、前記ステップＳ２６の入力待機状態にて、ステップＳ３６で被写体切り替え釦（Ｕ）８０ｃが押下された場合は、ステップＳ３７に移行して、現在の拡大率Ｘが所定の拡大率最大値閾値Ｔｈｒ＿１と比較される。ここで、前記拡大率Ｘが所定の拡大率最大値閾値Ｔｈｒ＿１以下であれば、ステップＳ３８に移行して、現在の拡大率Ｘが所定倍Ａ（例えば、１．１倍）にされる。そして、ステップＳ４４に移行して、前記ステップＳ２５若しくはＳ３５で表示されている顔画像が、前記ステップＳ３８で拡大された拡大率Ｘにて液晶ディスプレイ３５に表示される。

一方、前記ステップＳ３７にて前記拡大率Ｘが所定の拡大率最大値閾値Ｔｈｒ＿１を超えたならば、ステップＳ３９に移行して、この所定の拡大率最大値閾値Ｔｈｒ＿１の値が現在の拡大率Ｘとされる。そして、ステップＳ４４に移行して、前記ステップＳ２５若しくはＳ３５で表示されている顔画像が、前記ステップＳ３８で拡大された拡大率Ｘにて液晶ディスプレイ６０に表示される。

また、前記ステップＳ２６の入力待機状態にて、ステップＳ４０で被写体切り替え釦（Ｄ）８０ｄが押下された場合は、ステップＳ４１に移行して、現在の拡大率Ｘが所定の拡大率最小閾値Ｔｈｒ＿２と比較される。ここで、前記拡大率Ｘが所定の拡大率最小値閾値Ｔｈｒ＿２以上であれば、ステップＳ４２に移行して、現在の拡大率Ｘが所定倍Ｂに縮小（例えば、Ｂ＝１／Ａ倍）される。そして、ステップＳ４４に移行して、前記ステップＳ２５若しくはＳ３５で表示されている顔画像が、前記ステップＳ４２で縮小された拡大率Ｘにて液晶ディスプレイ６０に表示される。

一方、前記ステップＳ４１にて前記拡大率Ｘが所定の拡大率最小値閾値Ｔｈｒ＿２未満であれば、ステップＳ４３に移行して、この所定の拡大率最小値閾値Ｔｈｒ＿２の値が現在の拡大率Ｘとされる。そして、ステップＳ４４に移行して、前記ステップＳ２５若しくはＳ３５で表示されている顔画像が、前記ステップＳ４３で縮小された拡大率Ｘにて液晶ディスプレイ６０に表示される。

ステップＳ４４の拡大表示の後は、前記ステップＳ２６に移行して入力待機状態となる。

このように、第１の実施形態の第１の変形例によれば、前述した第１の実施形態と同様に、複数の顔が被写体として写っている場合でも、被写体切り替え釦８０ａ〜８０ｄを操作することで、複数の顔画像を選択的に切り替えて略同じ大きさに表示することができるうえ、顔画像を所望の大きさに変更して表示することができる。

尚、この第１の変形例にも、液晶ディスプレイ上に画面枠及び表示領域をスーパーインポーズ表示することができるのは勿論である。７８ａ〜７８ｅにより、現在液晶ディスプレイ６０上に表示されている拡大画像が、撮影画像のどの位置に存在するものであるかを容易に確認することができる。

更に、前述した第１の変形例では、関心領域の大きさ、座標開始位置を記憶するとしたが、ラスタ順位としては、関心領域の中心点、或いは左上の点等を記憶するようにしても良い。その場合、ラスタ順位は図６に示された表示順序とは異なるものになる。

次に、本発明の第１の実施形態の第２の変形例について説明する。

前述した第１の実施形態及びその第１の変形例では、ラスタ順位で画面の左上に位置する顔画像から順に拡大されて表示されるようになっている。しかしながら、厳密にラスタ順位に従って表示するようにすると、ユーザの有する左上から右下という感覚とズレが生じる。そのため、この第２の変形例では、モニタ画面上で画像を複数の分割領域に分割して、その分割の区画順に並べて表示するようにしている。

以下、図１０のフローチャートを参照して、本発明の第１の実施形態の第２の変形例に於ける電子カメラによる顔画像確認の動作について説明する。

尚、この第１の実施形態に於ける第２の変形例に於いて、電子カメラの構成及び基本的な動作については、前述した第１の実施形態と同じであるので、同一の部分には同一の参照番号を付してここでは説明を省略する。

図示されない電源スイッチがオンされると、ステップＳ５１にて被写体の撮影が行われる。この場合、被写体は、図１１に示されるように、複数（この場合５人）の人物７０ａ〜７０ｅが存在しているものとする。前記ステップＳ５１にて被写体が撮影されると、続くステップＳ５２にて顔画像の認識処理が実行される。尚、前述したステップＳ２の場合と同様に、ステップＳ５２以降の処理を、顔画像閲覧モードの指定を受け付けた後に行ってもよい。

次いで、ステップＳ５３に於いて、顔画像のインデックスと、関心領域（ＲＯＩ）及び画面上の被写体の顔の個数Ｎ１（＝５）がメモリ２２に記憶される。ここで、例えば、液晶ディスプレイ６０に、図１１に示されるような画像が表示されているものとする。この場合、顔画像の関心領域は、人物７０ａ〜７０ｅのそれぞれに対して７２ａ〜７２ｅで表される５つである。これらについて、前述した情報が記憶される。更に、ステップＳ５４に於いて、被写体画像がインデックス付きの分割領域に分割される。この場合、図１１に示されるような、分割領域（１）６０_１〜（９）６０_９の９つの分割領域に分割されるものとする。ここで、分割領域（１）〜（９）は、図１１の各領域に描かれている数字１〜９を表すものとする。

次に、ステップＳ５５にて、前記ステップＳ５４にて分割された各分割領域に顔画像の関心領域の開始位置が含まれた場合に、当該分割領域のインデックスと顔画像のインデックスが記憶される。ここで、同じ分割領域に２つ以上の顔画像が含まれる場合は、関心領域の開始位置が小さい方を小さいインデックスとする。例えば、関心領域の中心点をラスタ順位で表示すると、図１１に示される被写体画像の場合、分割領域（２）６０_２内に２人の人物７０ｂ、７０ｃの顔画像が存在するが、その開始位置が小さい関心領域７２ｂが、関心領域７２ｃよりも小さいインデックスとなる。

そして、ステップＳ５６にて、顔画像閲覧モードスイッチ６２が押下されて、顔画像閲覧モードが実行される。続くステップＳ５７にて、前述した分割領域のインデックス番号と顔画像のインデックス番号が最も小さい画像が、拡大されて表示され、顔画像がＮ＝１にセットされる。その後、ステップＳ５８に移行して、入力待機状態となる。ステップＳ５８〜Ｓ６３の各処理動作については、前述した図４のフローチャートに於けるステップＳ６〜Ｓ１１と同様であるので、ここでは対応するステップ番号を参照するものとして、説明は省略する。

このように、第２の変形例によれば、例えば、図１１に示されるような位置に人物７０ａ〜７０ｅが存在する場合に、その拡大画像は、関心領域７２ａ、７２ｂ、７２ｃ、７２ｄ、７２ｅの順に表示されるようになる。これによって、実際に拡大画像が表示される順序と、ユーザの感覚との間に生じるズレを防ぐことができる。

尚、この第２の変形例にも、液晶ディスプレイ上に画面枠及び表示領域をスーパーインポーズ表示することができるのは勿論である。更に、前述した第２の変形例では、ラスタ順位としては、関心領域の中心点としたが、関心領域の左上の点等を用いるようにしても良い。

（第２の実施形態）
次に、本発明の第２の実施形態を説明する。

前述した第１の実施形態では、拡大画像の表示をラスタ順位に従って行っていたが、この第２の実施形態では、被写体の顔画像の認識の評価値を計算し、この評価値の順位に従って拡大画像の表示を切り替えるようにしている。

尚、以下に述べる第２の実施形態に於いて、電子カメラの構成及び基本的な動作については、前述した第１の実施形態と同じであるので、同一の部分には同一の参照番号を付してここでは説明を省略する。

以下、図１２のフローチャートを参照して、本発明の第２の実施形態に於ける電子カメラによる顔画像確認の動作について説明する。

図示されない電源スイッチがオンされると、先ずステップＳ７１にて被写体の撮影が行われ、続くステップＳ７２にて顔画像の認識処理が実行される。そして、ステップＳ７３に於いて、顔画像認識について評価値計算がなされる。尚、前述したステップＳ２の場合と同様に、ステップＳ７２以降の処理を、顔画像閲覧モードの指定を受け付けた後に行ってもよい。

ここで、評価値とは、画像から人の顔を認識するための認識方法に於いて、所定の顔の形状をしたテンプレートとの類似度で定まるもので、マッチング度とも称する。マッチング度を利用した顔画像の認識方法については、例えば、顔の形状をしたテンプレートを複数種類用意しておき、このテンプレートと画像とのマッチング度を正規化相互相関によって計算し、マッチング度の最も高いテンプレートを選択し、最も高かったマッチング度が予め定めた閾値以上であれば、選択されたテンプレート内の領域を顔候補領域とするようにした認識方法が、前述した特開平８−６３５９７号公報に開示されている。

尚、このような顔の形状のテンプレートと画像のマッチング度の計算による方法以外にも、例えば顔候補領域内で、目の領域を抽出して顔領域を認識したり、目の位置情報から口や髪、首等を抽出して顔領域を認識するものであっても良い。

ステップＳ７４では、前述した顔画像の評価値と、関心領域及びその個数Ｎ１（＝５）がメモリ２２に記憶される。例えば、液晶ディスプレイ６０に、図５に示されるような画像が表示されている場合、顔画像の関心領域は、人物７０ａ〜７０ｅのそれぞれに対して７２ａ〜７２ｅで表される５つである。更に、ステップＳ７５にて、顔画像閲覧モードスイッチ６２が押下されると、顔画像閲覧モードが実行される。そして、ステップＳ７６にて、前記ステップＳ７３で算出された顔画像認識の評価値の高い領域の顔画像が拡大されて表示され、当該顔画像がＮ＝１にセットされる。この場合、前記ステップＳ７３で計算された評価値の高い顔画像の順にＮ＝１，２，…となる。

その後、ステップＳ７７にて入力待機状態となる。そして、ステップＳ７８に於いて、被写体切り替え釦６６の状態が検出される。ここで、被写体切り替え釦６６が押下されるまで、ステップＳ７７及びＳ７８の処理が繰り返される。前記ステップＳ７８に於いて、被写体切り替え釦６６が押下されたことが検出された場合は、ステップＳ７９に移行して前記ステップＳ７６にてセットされた顔画像ＮがＮ１であるか否かが判定される。

ここで、顔画像ＮがＮ１に等しくなるまでは、ステップＳ８０に移行してＮがインクリメントされる。そして、ステップＳ８２に於いて、評価値の順位がＮ番目の被写体の顔画像についての関心領域が液晶ディスプレイ６０上に拡大表示される。一方、ステップＳ７９に於いて、顔画像ＮがＮ１に等しくなったならば、ステップＳ８１に移行して最初の顔画像が表示されるべく、顔画像Ｎに“１”がセットされる。その後、ステップＳ８２にて元の画像が表示されると、再度前記ステップＳ７７の入力待機状態となる。

このように、第２の実施形態によれば、顔画像認識の評価値の高い順に顔画像を順次切り替えて表示するので、精度の高い顔画像から顔の確認や写りの良さを確認することができる。

尚、本第２の実施形態に於いても、液晶ディスプレイ上に画面枠及び表示領域をスーパーインポーズ表示することができるのは勿論である。

また、第２の実施形態では、顔画像の認識の評価値の高い順位に従って、順次液晶ディスプレイに表示するようにしているが、これに限られるものではなく、評価値の低い順位に従って表示するようにしても良いのは勿論である。

そして、第２の実施形態に於いては、顔画像の切り替えを被写体切り替え釦６６として説明したが、これに限られるものではなく、前述した第１の実施形態の第１の変形例のように、４つの釦から成る被写体切り替え釦８０ａ〜８０ｄを用いても勿論良い。

更に、顔画像認識の評価値に関して、例えば、被写体の目の部分に注目し、例えば、特開２００３−２８７７８４号公報に開示された方法により、目のつぶり具合を評価して、その評価値の高い順、或いは低い順に表示するようにしても良い。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。

本第３の実施形態は、顔画像の拡大表示をフォーカス検出と連動して、フォーカス推定位置がカメラから至近の順位で切り替えて表示するようにしたものである。

尚、以下に述べる第３の実施形態に於いて、電子カメラの構成及び基本的な動作については、前述した第１及び第２の実施形態と同じであるので、同一の部分には同一の参照番号を付してここでは説明を省略する。

以下、図１３のフローチャートを参照して、本発明の第３の実施形態に於ける電子カメラによる顔画像確認の動作について説明する。

図示されない電源スイッチがオンされると、先ずステップＳ９１にて周知の顔画像の認識処理が実行される。続いて、ステップＳ９２に於いて、前記顔画像について、その関心領域及び個数Ｎ１が記憶される。そして、ステップＳ９３にて、周知のコントラスト法により測距ユニット３４によってフォーカス検出処理が実行される。このコントラスト法は、例えば特許公報第２５０７１４４号に開示されている。

次に、ステップＳ９４にて各画像の関心領域の中でフォーカスが最良、すなわち評価値が最も高い撮影レンズ１２の推定レンズ位置（ステップ数）がメモリ２２に記憶される。そして、ステップＳ９５にて、前記ステップＳ９４で記憶されたフォーカス位置がベストフォーカスとなるレンズ位置として制御され、続くステップＳ９６にて撮影が行われる。

撮影後、ステップＳ９７にて、顔画像閲覧モードスイッチ６２が押下されると、顔画像閲覧モードが実行される。そして、ステップＳ９８にて、前記ステップＳ９４で得られたフォーカス推定位置が、カメラから最も近いとされた被写体の顔画像についての関心領域が拡大されて表示され、当該顔画像がＮ＝１にセットされる。この場合、前記ステップＳ９３でのフォーカス検出処理に従って、カメラからの距離が遠くなるにつれて順にＮ＝１，２，…となる。

その後、ステップＳ９９にて入力待機状態となる。そして、ステップＳ１００に於いて、被写体切り替え釦３８の状態が検出される。ここで、被写体切り替え釦３８が押下されるまで、ステップＳ９９及びＳ１００の処理が繰り返される。前記ステップＳ１００に於いて、被写体切り替え釦６６が押下されたことが検出された場合は、ステップＳ１０１に移行して前記ステップＳ９８にてセットされた顔画像ＮがＮ１であるか否かが判定される。

ここで、顔画像ＮがＮ１に等しくなるまでは、ステップＳ１０２に移行してＮがインクリメントされる。そして、ステップＳ１０４に於いて、カメラからＮ番目に近い被写体の顔画像が液晶ディスプレイ６０上に拡大表示される。一方、ステップＳ１０１に於いて、顔画像ＮがＮ１に等しくなったならば、ステップＳ１０３に移行して最初の顔画像が表示されるべく、顔画像Ｎに“１”がセットされる。その後、ステップＳ１０４にて元の画像が表示されると、再度前記ステップＳ９９の入力待機状態となる。

このように、第３の実施形態によれば、フォーカス推定位置がカメラから至近の順位で被写体を順次切り替えて表示するので、容易に顔画像から顔の確認や写りの良さを確認することができる。

尚、本第３の実施形態に於いても、液晶ディスプレイ上に画面枠及び表示領域をスーパーインポーズ表示することができるのは勿論である。

また、第３の実施形態では、フォーカス推定位置がカメラから至近の順位で表示するようにしているが、これとは逆にカメラから遠方の被写体の顔画像の順位に従って表示するようにしても良いのは勿論である。

そして、第３の実施形態に於いても、顔画像の切り替えを被写体切り替え釦６６として説明したが、これに限られるものではなく、前述した第１の実施形態の第１の変形例のように、４つの釦から成る被写体切り替え釦８０ａ〜８０ｄを用いても勿論良い。

次に、第３の実施形態の変形例について説明する。

前述した第３の実施形態では、カメラからの距離に従って被写体の顔画像の順位を決定しているが、この第３の実施形態の変形例では、カメラのベストフォーカスの位置から至近の順番に被写体の顔画像の順位を決定するようにしている。

尚、以下に述べる第３の実施形態の変形例に於いて、電子カメラの構成及び基本的な動作については、前述した第１乃至第３の実施形態と同じであるので、同一の部分には同一の参照番号を付してここでは説明を省略する。

以下、図１４のフローチャートを参照して、本発明の第３の実施形態の変形例に於ける電子カメラによる顔画像確認の動作について説明する。尚、図１４のフローチャートに於けるステップＳ１１１〜Ｓ１１７の処理動作は、前述した図１３のフローチャートに於けるステップＳ９１〜Ｓ９７と同じであるので、それぞれ対応するステップ番号を参照するものとしてその説明は省略する。

ステップＳ１１８に於いて、前記ステップＳ１１４得られたフォーカス推定位置が、ベストフォーカスに最も近いとされた被写体の顔画像についての関心領域が拡大されて表示され、当該顔画像がＮ＝１にセットされる。この場合、前記ステップＳ９３でのフォーカス検出処理に従って、ベストフォーカス位置から離れるにつれて順にＮ＝１，２，…となる。

その後、ステップＳ１１９にて入力待機状態となる。そして、ステップＳ１２０に於いて、被写体切り替え釦６６の状態が検出される。ここで、被写体切り替え釦６６が押下されるまで、ステップＳ１１９及びＳ１２０の処理が繰り返される。前記ステップＳ１２０に於いて、被写体切り替え釦６６が押下されたことが検出された場合は、ステップＳ１２１に移行して前記ステップＳ１１８にてセットされた顔画像ＮがＮ１であるか否かが判定される。

ここで、顔画像ＮがＮ１に等しくなるまでは、ステップＳ１２２に移行してＮがインクリメントされる。そして、ステップＳ１２４に於いて、前記ベストフォーカス位置からＮ番目に近いフォーカス位置の被写体の顔画像が液晶ディスプレイ６０上に拡大表示される。一方、ステップＳ１２１に於いて、顔画像ＮがＮ１に等しくなったならば、ステップＳ１２３に移行して最初の顔画像が表示されるべく、顔画像Ｎに“１”がセットされる。その後、ステップＳ１２４にて元の画像が表示されると、再度前記ステップＳ１１９の入力待機状態となる。

このように、第３の実施形態の変形例によれば、フォーカス推定位置がカメラのベストフォーカス位置から離れる順位で顔画像を順次切り替えて表示するので、容易に顔画像から顔の確認や写りの良さを確認することができる。

尚、本第３の実施形態の変形例に於いても、液晶ディスプレイ上に画面枠及び表示領域をスーパーインポーズ表示することができるのは勿論である。

また、第３の実施形態の変形例では、フォーカス推定位置がカメラのベストフォーカス位置から離れる順位で表示するようにしているが、これとは逆にカメラのベストフォーカス位置から遠方の被写体の顔画像から近づく順位に従って表示するようにしても良いのは勿論である。

そして、第３の実施形態の変形例に於いても、顔画像の切り替えを被写体切り替え釦６６として説明したが、これに限られるものではなく、前述した第１の実施形態の第１の変形例のように、４つの釦から成る被写体切り替え釦８０ａ〜８０ｄを用いても勿論良い。

以上、本発明の実施形態について説明したが、本発明は前述した実施形態以外にも、本発明の要旨を逸脱しない範囲で種々の変形実施が可能である。

更に、上述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

図１は、本発明の第１の実施形態に係る電子カメラの概略構成を示したブロック図である。 図２Ａは本発明の一変形例に係る電子カメラの概略構成を示したもので、変形例１のブロック図である。 図２Ｂは本発明の一変形例に係る電子カメラの概略構成を示したもので、変形例２のブロック図である。 図３は、本発明の第１の実施形態に於ける電子カメラの構造を示したもので、電子カメラの後方より見た背面図である。 図４は、本発明の第１の実施形態に於ける電子カメラによる顔画像確認の動作について説明するフローチャートである。 図５は、図１の表示装置内の液晶ディスプレイ６０に表示される被写体像と関心領域の例を示した図である。 図６Ａは、図５の関心領域７２ｂの拡大画像と画面枠及び表示領域のスーパーインポーズ表示の例を示した図である。 図６Ｂは、図５の関心領域７２ｃの拡大画像と画面枠及び表示領域のスーパーインポーズ表示の例を示した図である。 図６Ｃは、図５の関心領域７２ａの拡大画像と画面枠及び表示領域のスーパーインポーズ表示の例を示した図である。 図６Ｄは、図５の関心領域７２ｅの拡大画像と画面枠及び表示領域のスーパーインポーズ表示の例を示した図である。 図６Ｅは、図５の関心領域７２ｄの拡大画像と画面枠及び表示領域のスーパーインポーズ表示の例を示した図である。 図７は、本発明の第１の実施形態の第１の変形例による被写体切り替え釦の構成例を示した図である。 図８は、本発明の第１の実施形態の第１の変形例に於ける電子カメラの構造を示したもので、電子カメラの後方より見た背面図である。 図９は、本発明の第１の実施形態の第１の変形例に於ける電子カメラによる顔画像確認の動作について説明するフローチャートである。 図１０は、本発明の第１の実施形態の第２の変形例に於ける電子カメラによる顔画像確認の動作について説明するフローチャートである。 図１１は、本発明の第１の実施形態の第２の変形例に於ける電子カメラによる被写体画像を小領域に分割した例を示した図である。 図１２は、本発明の第２の実施形態に於ける電子カメラによる顔画像確認の動作について説明するフローチャートである。 図１３は、本発明の第３の実施形態に於ける電子カメラによる顔画像確認の動作について説明するフローチャートである。 図１４は、本発明の第３の実施形態の変形例に於ける電子カメラによる顔画像確認の動作について説明するフローチャートである。

符号の説明

１０…システムコントローラ、１２…撮影レンズ、１４…ＣＣＤ、１６…撮像回路、１８…Ａ／Ｄ変換器、２０…信号処理回路、２２…メモリ、２６…表示用メモリ、２８…圧縮回路、３０…記憶メディア、３２…表示装置、３４…測距ユニット、３８…レリーズスイッチ（ＳＷ）、４０…メニュースイッチ（ＳＷ）、４２…画像操作スイッチ（ＳＷ）、４４…操作スイッチ（ＳＷ）、５０ａ、５０ｂ…カメラ本体、５２…レリーズ釦、５４…撮影モードスイッチ、６０…液晶ディスプレイ、６２…顔画像閲覧モードスイッチ、６４…画像切り替え釦、６４ａ、６４ｂ…切り替え釦、６６、８０…被写体切り替え釦、８０ａ…切り替え釦（Ｒ）、８０ｂ…切り替え釦（Ｌ）、８０ｃ…切り替え釦（Ｕ）、８０ｄ…切り替え釦（Ｄ）、７０ａ〜７０ｅ…人物、７２ａ〜７２ｅ…関心領域（ＲＯＩ）、７４ａ〜７４ｅ…拡大画像、７６…画面枠、７８ａ〜７８ｅ…表示領域。

Claims (9)

1. 撮像レンズと、
   撮像された画像から、顔画像を含む複数の関心領域を抽出する抽出部と、
   前記抽出部によって抽出された前記複数の関心領域が合焦状態であるときの前記撮像レンズの推定レンズ位置である複数の合焦推定レンズ位置を取得する測距部と、
   前記測距部によって取得された前記複数の合焦推定レンズ位置に基づいて、前記複数の関心領域を表示させる表示順序を決定する表示順序決定部と、
   前記表示順序決定部によって決定された前記表示順序に基づいて、前記複数の関心領域を表示する表示部と、
   を具備することを特徴とする画像処理装置。
2. 前記測距部は、前記画像処理装置の前記撮像レンズのベストフォーカス位置を取得し、
   前記表示順序決定部は、前記ベストフォーカス位置と前記複数の関心領域の合焦推定レンズ位置との関係に基づいて、前記表示部に前記複数の関心領域を表示させるように前記表示順序を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記表示順序決定部は、前記複数の関心領域のうち、前記ベストフォーカス位置に対して最も近い合焦推定レンズ位置を有する関心領域を最初に前記表示部に表示させるように前記表示順序を決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記表示順序決定部は、前記複数の関心領域のうち、前記ベストフォーカス位置と前記関心領域の合焦推定レンズ位置との差が小さい順から前記表示部に表示させるように前記表示順序を決定することを特徴とする請求項２に記載の画像処理装置。
5. 前記表示順序決定部は、前記複数の関心領域のうち、前記関心領域の合焦推定レンズ位置が前記画像処理装置と近い順から前記表示部に表示させるように前記表示順序を決定することを特徴とする請求項１に記載の画像処理装置。
6. 前記表示部に表示させる前記顔画像を含む関心領域を所望の大きさに変更する変更部をさらに備えることを特徴とする請求項１から請求項５のいずれかに記載の画像処理装置。
7. 前記表示部は、前記表示部に表示される前記顔画像が前記被写体像中の何処に位置しているのかを前記表示部にスーパーインポーズによって表示することを特徴とする請求項１から請求項６のいずれかに記載の画像処理装置。
8. 撮像された画像から顔画像を含む複数の関心領域を抽出し、
   抽出された前記複数の関心領域が合焦状態であるときの撮像レンズの推定レンズ位置である複数の合焦推定レンズ位置を取得し、
   取得された前記合焦推定レンズ位置に基づいて、前記複数の関心領域を表示させる表示順序を決定することを特徴とする画像処理方法。
9. 撮像された画像から顔画像を含む複数の関心領域を抽出する抽出するステップと、
   抽出された前記複数の関心領域が合焦状態であるときの撮像レンズの推定レンズ位置である複数の合焦推定レンズ位置を取得するステップと、
   取得された前記合焦推定レンズ位置に基づいて、前記複数の関心領域を表示させる表示順序を決定するステップと、をコンピュータに実行させる画像処理プログラム。

Images