JP7154758B2 - 画像処理装置及びその制御方法 - Google Patents

Description

本発明は、焦点検出に用いるための信号を取得する撮像素子の領域である焦点検出領域の設定に関するものである。

顔に含まれる器官として瞳などを検出し、検出した器官に対して焦点検出を行い、当該焦点検出結果に基づいて焦点調整を行う技術が知られている。

特許文献１では、顔に含まれる器官である瞳を検出した場合に、瞳に対して焦点検出領域を設定し、当該焦点検出領域に対応する撮像素子の領域からの出力に基づいて焦点検出を行うことを開示している。

特開２０１１－１３６８３号公報

特許文献１によれば、被写体の瞳を検出して焦点検出調節を行うことで、被写体距離が変化しやすい人物の瞳に対しても、ユーザの操作技術に依存せず、容易にピントを合わせることができる。

しかしながら特許文献１では、例えば当該焦点検出領域に瞳に対して遠近競合する被写体が含まれてしまった場合であっても当該焦点検出領域に対応する撮像素子の領域からの出力に基づいて焦点検出を行う。このことから、構図やシーンによっては焦点検出の精度が低下してしまう場合があった。このように焦点検出精度が低下してしまうと、遠近競合の程度によっては、背景にピントを合わせてしまうなど、所望の被写体にピントが合わない場合もあり得る。

そこで、本発明は、従来技術と比較してより精度良く被写体にピントを合わせることができる画像処理装置及びその制御方法を提供することを目的とする。

撮像素子からの出力に基づいて被写体の顔を検出する顏検出手段と、
被写体の顔に含まれる、第１の器官および第２の器官を検出する器官検出手段と、
前記器官検出手段による器官の検出結果の信頼度を判定する判定手段と、
前記判定手段による判定の結果に応じて焦点検出領域を設定する設定手段と、
前記設定手段によって設定された焦点検出領域の焦点検出の結果に基づいてフォーカスレンズの駆動を制御する制御手段と、を備え、
前記設定手段は、前記第２の器官の信頼度が高いと判定された場合には、前記第１の器官に対応する第１の焦点検出領域を設定し、第２の器官の信頼度が高くないと判定された場合には、前記被写体の顔に対応する第２の焦点検出領域を設定するよう構成したことを特徴とする。

本発明によれば、従来技術と比較して、より精度良く被写体にピントを合わせることができる。

実施例の画像処理装置１００の構成を説明する図である 本実施例を示すフローチャートである 本実施例を示すフローチャートである 本実施例を示すフローチャートである 図２における主顔を決定するための評価値の例を説明するための図である 図２における顔の向きと瞳の位置との関係を説明する図である焦点検出領域の例を説明するための図である 図４における焦点検出領域の例を示す図である 本実施例が解決せんとする課題を説明する図である

＜カメラの構成＞
以下、図面を参照して、本発明を適用した実施例を説明する。図１は、本実施例の画像処理装置１００が有する構成を説明する図である。本実施例の画像処理装置１００は、デジタルカメラである場合を例に説明する。

撮像素子１４は、撮像光学系に含まれる撮影レンズ１０、絞り機能を有するシャッタ１２、を介して受光した光学像を、電気信号に変換する。Ａ／Ｄ変換器１６は、撮像素子１４のアナログ信号出力をデジタル信号に変換する。撮影レンズ１０は、不図示のフォーカスレンズを有する。

タイミング発生部１８は、撮像素子１４、Ａ／Ｄ変換器１６にクロック信号や制御信号を供給するタイミング発生部であり、メモリ制御部２２及びシステム制御部５０により制御される。

なお、本実施例のシャッタ１２は機械式のシャッタであるが、タイミング発生部１８の撮像素子のリセットタイミングの制御によって、電子シャッタとして、蓄積時間を制御することが可能であり、動画撮影などに使用可能である。

画像処理部２０は、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御部２２からのデータに対して画像拡大／縮小のための画素補間処理や色変換処理、ノイズ除去処理やエッジ強調処理などを行う。

また、画像処理部２０においては画像から顔領域を検出する顔検出機能や、顔に含まれる瞳や鼻や口などの器官を検出する器官検出機能を備え、顔検出や器官検出の結果においての確からしさを示す信頼度の算出処理なども行う。

画像処理部２０での顏検出は、顏の輪郭部分の形状を特徴データとして画像処理部２０内部に保存しておいて、検出する画像内に特徴データ（テンプレート）に合致する画像領域の特定をテンプレートマッチング処理により行う。また、特徴データとの一致度を算出することにより顔検出の信頼度を算出する。

また、顔の検出機会を増やしたり検出精度を高めるために、複数の特徴データを用いてンプレートマッチング処理を行ったり、顔の形状の一部の特徴データを用意してテンプレートマッチング処理を行った結果を使用しても構わない。また、顔の大きさによらず検出するために特徴データの大きさを変化させてテンプレートマッチング処理を行っても構わない。

器官検出は、顔検出により求められた領域に対して領域内にあらかじめ画像処理部２０内部に保存しておいた器官の形状データを特徴データ（テンプレート）に合致する画像領域の特定をテンプレートマッチング処理により行う。特徴データとの合致度を算出することにより器官の信頼度を算出する。

本実施例では特徴データを用いたテンプレートマッチング処理により顔検出および器官検出を実現しているが、本発明はこの方式に限定されるものではなく顔領域または器官の領域の検出および信頼度の算出ができれば他の方法を用いても構わない。

その他にも、画像処理部２０では、オートホワイトバランス（以下ＡＷＢという）処理をするために撮像した画像データを用いて所定の演算処理を行う。当該演算処理によって得られた演算結果をホワイトバランス（以下ＷＢという）の評価値として算出したり、算出されたＷＢ評価値を基に画像データの色の変換なども行う。

さらに、画像処理部２０では、自動露出制御（以下ＡＥという）処理、ストロボ露出制御（以下ＥＦという）処理を行うための、ＡＥ評価値、ＥＦ評価値を算出するために、撮像した画像データを用いて所定の演算処理を行う。

得られたＡＥ評価値、ＥＦ評価値を基にシステム制御部５０が、アルゴリズムに従って露光制御部４０に対して制御を行う。

メモリ制御部２２は、Ａ／Ｄ変換器１６、タイミング発生部１８、画像処理部２０、メモリ３０、圧縮・伸長部３２を制御する。

Ａ／Ｄ変換器１６のデータが画像処理部２０、メモリ制御部２２を介して、或いはＡ／Ｄ変換器１６のデータがメモリ制御部２２を介して、メモリ３０に書き込まれる。

画像表示部２８はディスプレイであり、例えばＴＦＴ ＬＣＤである。メモリ３０に書き込まれた表示用の画像データはメモリ制御部２２を介して画像表示部２８により表示される。本実施例では、画像表示部２８を用いて撮像した画像データを逐次表示することで、電子ファインダー機能を実現する。また、画像表示部２８は、システム制御部５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には画像処理装置１００の電力消費を大幅に低減することが出来る。

メモリ３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０は認証用の特徴データを一時記憶する領域やシステム制御部５０の作業領域としても使用することが可能である。

不揮発性メモリ３１は、本実施例では一例としてＦｌａｓｈＲＯＭである。システム制御部５０が実行するプログラムコードは不揮発性メモリ３１に書き込まれ、逐次読み出しながらプログラムコードを実行する。また、不揮発性メモリ内には認証用の顔の特徴データを辞書データとして記憶する領域や、システム情報を記憶する領域、ユーザ設定情報を記憶する領域を設け、さまざまな情報や設定を次回起動時に読み出して、復元することを実現している。

圧縮・伸長部３２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データの圧縮伸長処理を行う。メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

露光制御部４０は、シャッタ１２を制御する。フラッシュ４８と連動することにより、フラッシュ調光機能も有するものである。

フォーカス制御部４２は、撮影レンズ１０のフォーカシングを制御する。

ズーム制御部４４は、撮影レンズ１０のズーム動作を制御する。

フラッシュ４８は、フラッシュ調光機能を有する。

露光制御部４０、フォーカス制御部４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理部２０によって演算した演算結果に基づき、システム制御部５０が露光制御部４０、フォーカス制御部４２に対して制御を行う。

システム制御部５０は、画像処理装置１００全体を制御する。システム制御部５０では撮像素子１４から得られる画素データをもとにオートフォーカス（以下ＡＦという）処理も行う。ＡＦとは、設定された焦点検出領域から出力された信号に基づいて焦点状態を示す情報を検出し、当該情報に基づいてフォーカスレンズの駆動を制御することによって所望の被写体にピントが合うよう焦点位置を調節する制御である。ここで、焦点検出領域は、焦点検出に用いる信号を取得する撮像素子上の領域である。焦点検出領域はユーザが被写体に対応する領域を選択することによって設定されても良いし、カメラが自動的に設定しても良い。カメラが焦点検出領域を自動で設定する際には、被写体に対応する撮像素子上の領域が焦点検出領域として設定される。

撮像素子１４は、Ｃ－ＭＯＳセンサとその周辺部で構成され、複数の画素部が横方向ｍ画素部、縦方向ｎ画素部の２次元上に配置されている。各画素部が１つの光電変換素子を有している。撮像素子１４は、全画素部から独立に出力できるように構成されている。

本実施例の撮像素子１４は、一例として、撮像用画素部と焦点検出用画素部の２種類の画素部を有する。図１ｂは撮像素子１４の画素部の構成の一部を抜粋して示したものである。斜線の各画素部が撮像用画素部２５０である。また、それ以外の画素部が焦点検出用画素部２５１である。本実施例では各画素部が有するＲＧＢのカラーフィルターの配置がいわゆるベイヤー配列となっている。そして、一例として、２行×２列の画素のうち、対角に配置される一対のＧ画素は撮像用画素部２５０とし、Ｒ画素とＢ画素の一部を焦点検出用画素部２５１としている。

撮像用画素部２５０は、被写体の像を形成する撮影光学系の射出瞳の全域を通る光束を各々が受光して、光電変換素子によって光電変換することで、撮影画像として用いられる信号を出力する。これに対し、焦点検出用画素部２５１は、焦点検出用画素部２５１Ａと焦点検出用画素部２５１Ｂとで、各々が撮影光学系の異なる射出瞳の領域を通る光束を受光する。図１ｂで示されるように、画素部の中心に対して互いに対照的な方向に偏芯した位置に遮光部（黒塗り）を有しているためである。これにより、焦点検出用画素部２５１Ａの画素部群からいわゆるＡ像信号、焦点検出用画素部２５１Ｂの画素部群からいわゆるＢ像信号を取得することができる。互いに視差を有する一対の像信号であるＡ像信号とＢ像信号とを用いることで、公知の位相差式焦点検出を行うことができる。このように、本実施例の撮像素子１４では、撮像素子から取得した信号に基づいて位相差式の焦点検出を行う、いわゆる撮像面位相差式の焦点検出を行うことができる。

システム制御部５０は、焦点検出用画素部２５１から取得したＡ像信号とＢ像信号とを用いて位相差式の焦点検出処理を行う。より具体的には、システム制御部５０は視差を有する一対の像信号であるＡ像信号とＢ像信号との像ずれ量を、公知の相関演算により算出する。また、像ずれ量に所定の係数を掛けることでデフォーカス量を算出し、当該デフォーカス量に基づいてフォーカスレンズの駆動量を算出する。

なお、本実施例では焦点検出を行うための構成として上述の構成を例示したが、焦点検出を行うことができる構成であれば、異なる構成であっても本実施例の目的とする効果を得ることができる。例えば、異なる画素構成によって撮像面位相差式の焦点検出を実現しても良いし、公知のコントラスト式の焦点検出を採用しても良い。また、焦点検出専用センサを用いることで位相差式の焦点検出を実現しても良い。

ここで、本実施例の画像処理装置１００が有する操作手段の説明を行う。以下に説明する各操作手段は、システム制御部５０の各種の動作指示を入力するための操作手段であり。一例としてスイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

モードダイアルスイッチ６０をユーザが操作することで、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、ＰＣ接続モード等の各機能モードを切り替え設定することが出来る。

シャッタスイッチ６２をユーザが半押しすることで、ＳＷ１がＯＮとなる。これに伴い、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の動作開始がシステム制御部５０によって制御される。また、シャッタスイッチ６２をユーザが全押しすることで、ＳＷ２がＯＮとなる。これに伴い、フラッシュ撮影の場合、ＡＦのためのフラッシュプリ発光処理を行った後に、ＡＥ処理で決定された露光時間分、撮像素子１４を露光させる。フラッシュ撮影の場合、この露光期間中に発光させて、露光期間終了と同時に露光制御部４０により遮光することで、撮像素子１４への露光を終了させる。その他、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御部２２を介してメモリ３０に画像データを書き込む読み出し処理、画像処理部２０やメモリ制御部２２での演算を用いた現像処理が行われる。また、メモリ３０から画像データを読み出し、圧縮・伸長部３２で圧縮が行われる。次に記録媒体２００に画像データを書き込む記録処理という一連の処理の動作開始が指示される。なお、シャッタスイッチ６２が操作されていない状態では、ＳＷ１及びＳＷ２はＯＦＦである。

表示切替スイッチ６６をユーザが操作することで、画像表示部２８の表示切替をすることが出来る。この機能により、光学ファインダー１０４を用いて撮影を行う際に、ＴＦＴ ＬＣＤ等から成る画像表示部への電流供給を遮断することにより、省電力を図ることが可能となる。

操作部７０は各種ボタン、タッチパネルや回転式ダイアル等により構成されている。メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等がある。またメニュー移動＋（プラス）ボタン、メニュー移動－（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像－（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等もある。

ズームスイッチ７２はユーザが撮像画像の倍率変更指示を行うズーム操作手段である。このズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチからなる。このズームスイッチ７２を用いることにより、ズーム制御部４４に撮影レンズ１０の撮像画角の変更を指示し光学ズーム操作を行うトリガとなる。また、画像処理部２０による画像の切り出しや、画素補間処理などによる撮像画角の電子的なズーミング変更のトリガともなる。

電源部８６は、画像処理装置１００に電源を供給する。例えばアルカリ電池の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等である。

Ｉ／Ｆ９０はメモリカードやハードディスク等の記録媒体とのインタフェースである。

コネクタ９２はメモリカードやハードディスク等の記録媒体と接続を行う。

通信部１１０は、画像処理装置１００が外部通信を行うための手段であり、例えば通信によりＧＰＳで位置情報を特定することが可能である。

記録媒体２００は、例えばメモリカードやハードディスク等である。半導体メモリや磁気ディスク等から構成される記録部２０２、画像処理装置１００とのインタフェース２０４、画像処理装置１００と接続を行うコネクタ２０６を備えている。

＜本実施例で解決せんとする課題＞
前述のように、本実施例の撮像面位相差式の焦点検出では焦点検出用画素部から取得された一対の像信号に基づいて像ずれ量を検出することで焦点検出を行う。ここで、精度良く焦点検出を行うには、焦点検出領域を一定面積以上確保する必要がある。焦点検出領域の面積が小さすぎると、例えば本来一対の像信号が一致しない像ずれ量で、２像が一致したと誤検出しやすくなるためである。また、画素のノイズの影響をより受けやすくなるためである。焦点検出領域を一定面積以上確保する必要があるという点は、撮像面位相差式の焦点検出とは異なる焦点検出方式であっても同様である。

ここで、従来技術では、人物の顔に含まれる瞳に焦点検出を行う場合に、顔の向きと焦点検出精度との関係が考慮されていなかった。このため、顔の向きによっては焦点検出の精度が低下してしまう場合があった。例えば図８ａのように顔が正面を向いている場合は、点線で示す焦点検出領域は、目と目の周辺の顔領域とを含むように設定されることから、瞳に合焦させるために精度良く焦点検出を行うことができる。しかしながら、図８ｂのように顔の向きが正面から外れて横向きになった状態で、顔が正面を向いている状態で同じ面積の焦点検出領域を設定しようとすると、顔の向きによっては、焦点検出領域が鼻や背景を含んでしまう場合があった。例えば図８のように人物が横方向に傾いている瞳に対して焦点検出領域を設定すると、焦点検出領域内に背景が含まれてしまう。焦点検出領域に瞳と顔と背景が含まれた像信号に基づいて焦点検出を行うと、遠近競合により、瞳にピントが合わなくなってしまう場合があった。これに対し、本実施例の処理によれば、人物の顔の向きによらず瞳に対して、従来技術と比較してより精度良く焦点検出を行うことができる。

＜撮影動作＞
続いて図２～図４のフローを用いて、本実施例における画像処理装置１００の動作を説明する。図２以降において、「Ｓ」はステップの略である。

図２のフローは本実施例メインフローであり、システム制御部５０が制御する撮像動作を説明する図である。本フロー中において、システム制御部５０がピントを合わせるべき主被写体に対して、焦点検出領域を設定する。そして、システム制御部５０は、当該焦点検出領域に対応する撮像素子の領域から取得した信号に基づいて焦点検出を行い、当該焦点検出結果に基づいて焦点調節を行い、撮影動作を行う。

Ｓ２０１で、システム制御部５０は、ＡＦモードがコンティニュアスＡＦモードであるかどうかを判定する。コンティニュアスＡＦモードはライブビュー表示中は常に被写体にピントを合わせ続けるべく、システム制御部５０が焦点検出処理とフォーカスレンズの駆動制御を繰り返すモードである。コンティニュアスＡＦモードであればＳ２０２に遷移し、コンティニュアスＡＦモードでなければＳ２０３に進む。

Ｓ２０２で、システム制御部５０は、シャッタスイッチ６２の状態を判定することで、ＳＷ１がＯＮ状態かどうかを判定する。ＳＷ１がＯＮであれば、ユーザによってＡＦ動作が指示されているとしてＳ２０３に遷移し、ＯＮでなければＳ２０１に戻る。

Ｓ２０３で、画像処理部２０は、撮像素子１４によって取得された画像に基づいて、顔検出されているかどうかを判定する。顔が検出されていないと判定した場合はＳ２０４に遷移し、顏が検出されていると判定した場合はＳ２１４に遷移する。本実施例における顔の検出方法は＜カメラの構成＞において説明した通りであるが、顔を検出するという目的が達成できれば、他の方法であっても良い。

顔の検出に用いる画像としては、例えばライブビュー表示と同じ周期でメモリ３０に格納されるライブビューの表示用画像を検出画像として画像処理部２０に投入して、顔の検出に用いても良い。また、撮像素子１４から定期的に撮像して、画像処理部２０を使って撮像された画像データを検出画像として生成してメモリ３０に一時的に格納し、画像処理部２０に検出画像を投入して顔の検出に用いても良い。

Ｓ２０４では、顔が検出されていないか、顔が検出されていても瞳が検出されていないため、撮影画角内で最も撮像面から近い場所に少なくとも１つ以上の焦点検出領域を設定してフローを終了する。ピントを合わせたい被写体を至近に配置するようユーザがフレーミングして撮影する可能性が高いからである。

最も撮像面から近い場所を特定する方法の一例として、フォーカス制御部４２により近距離にピント合わせた状態からコントラストのある領域が検索できるまでピント位置を遠距離側に移動させて、焦点検出領域を決定する方法などがある。

Ｓ２０５で、システム制御部５０は、主顔の瞳が検出されているかどうかの判定を行う。本実施例において主顔とは、主被写体の顔である。複数の顔を検出していた場合には、顔の大きさや顔の位置に応じてシステム制御部５０が主顔を決定する。例えば、顔の大きさがより大きく、また静止画または動画として撮影される画像の中心により近い顏を主顔として設定する。

例えば図５のように顔の大きさと顔の位置に応じて評価値を設定する。図５における顔の大きさ（水平）は検出された顔の水平画素数に応じた評価値である。画角中心からの顔位置は、画像中心から画像対角までを１００％とした場合に、顔位置の中心が画像中心からどの程度離れているかに応じた評価値である。それぞれの評価値を加算することで主顔の評価値を算出する。

例えば、顔の大きさが３５ピクセルで顔の中心が画像中心にあった場合は顔の大きさによる評価値は３０で画像中心からの顔位置による評価値は５０となり、主顔としての評価値は８０となる。顏が複数検出された場合はそれぞれの顔に対して主顔としての評価値を求めて、最も評価値の高い顔を主顔とする。

そして上述のようにして検出された主顔に対して、画像処理部２０は、瞳の検出処理を行う。主顔の瞳が検出されなかったとシステム制御部５０が判断した場合には、Ｓ２０４に遷移する。瞳が検出されていた場合はＳ２０６に遷移する。

Ｓ２０６では主顔の振り向き角度がカメラに対して正面であるかどうかを判定する。図６ａは顔の向きが正面である場合を示している。また、図６ｂのようにカメラに対して顔が斜めを向いている場合は、顔の向きは正面ではない（非正面顔とも称する）。顔が正面を向いているかどうかの判定は、例えば画像処理部２０が正面を向いた顔をテンプレートとしてパターンマッチングを行い、テンプレートとマッチした場合には顔が正面を向いていると判断することによって可能である。

また、検出された顔の位置と顔に含まれる器官（瞳、鼻、口等）の位置から判定しても良い。例えば、顔の中心から左の瞳までの距離と右の瞳までの距離が、水平方向と垂直方向について等しければ顔が正面を向いていると判定し、等しくなければ顔が正面を向いていないと判定することができる。

Ｓ２０６で主顔が正面を向いていないと判定された場合はＳ２０７に遷移する。Ｓ２０７では、システム制御部５０は、図３を用いて後述する非正面顔の焦点検出領域の設定処理を行う。

Ｓ２０６で主顔が正面を向いていると判定された場合はＳ２０９に遷移して、システム制御部５０は、主顔の左右の瞳のうち静止画または動画として撮影される画像の画角中心から近い瞳に対して、瞳の検出結果の信頼度が閾値Ｂ以上かどうかを判定する。

瞳の検出結果の信頼度とは、瞳検出において検出された瞳の確からしさを示す度合いを示す数値（評価値とも称する）であり、数値が高ければ検出された瞳の確からしさが高くなる。

瞳の検出結果の信頼度の算出方法として、例えば検出できた器官のパーツ数による信頼度と画像に含まれるノイズ成分による信頼度を求めてそれらを足し合わせたものを最終的な信頼度とする。

検出できた器官のパーツ数による信頼度は器官を複数のパーツに分け、検出できたパーツの数から信頼度を算出する。各々のパーツの検出は、検出する器官に応じたパーツ検出領域を設定し、画像処理部２０内部に保存してあるパーツのテンプレートと一致している領域がパーツ検出領域内に存在すると破断した場合はパーツが検出されたものとする。１つの器官に対して検出できたパーツの数に応じて器官検出の信頼度を算出する。例えば器官を瞳として検出した場合、目の虹彩、目頭、目尻、まぶた上部、まぶた下部、など複数のパーツに分けて検出できたパーツが多いほど信頼度が高くなる。

画像に含まれるノイズ成分による信頼度は、器官検出領域の画像のノイズ成分を抽出してノイズが少ないと判断した場合は信頼度を高く設定しノイズが多いと判断した場合は信頼度を低く設定する。ノイズ成分の抽出方法としては、検出領域のオリジナル画像に対して検出領域のオリジナル画像にローパスフィルターをかけた画像を減算し、減算された画像の差の絶対値を取る方法などがある。

器官検出の信頼度は、他の方法を用いても構わず、器官だと判断した領域に対して輝度ヒストグラムを取り、画像処理部２０内部に保存してある器官のテンプレートの輝度ヒストグラムとの一致度を算出することによって信頼度を算出する方法がある。また、エッジ情報を抽出してエッジ量から信頼度を算出する方法を用いたり、他の複数の方法を加味して信頼度を算出しても構わない。

例えば閾値Ｂは、ノイズ成分は考慮せず器官のパーツがすべて検出できる閾値を目安に設定する。

Ｓ２０９で主顔の左右の瞳のうち画角中心に近い瞳の検出結果の信頼度がＢ以上であればＳ２１０に遷移して焦点検出領域を主顔の画角中心に近い瞳に設定してフローを終了する。

Ｓ２１０で焦点検出領域を設定した場合の焦点検出領域の例を図６ａに示す。焦点検出領域は瞳位置を中心として設定し、大きさはＡＦ精度が保てる最低限の面積を含んだ領域を設定しても構わない。また、顔の大きさから一定の比率を掛けた面積を領域として設定しても構わない。

Ｓ２０９で主顔の画角中心に近い瞳の検出結果の信頼度が閾値Ｂ以上でない場合はＳ２１１に遷移する。

Ｓ２１１で、システム制御部５０は、主顔の左右の瞳のうち画角中心に近い瞳とは異なる瞳の検出結果の信頼度が閾値Ｂ以上であればＳ２１２に遷移し、閾値Ｂ以上でなければＳ２１３に遷移する。

Ｓ２１２で、システム制御部５０は、焦点検出領域を画角中心に近い瞳とは異なる瞳に設定してフローを終了する。

Ｓ２１３で、システム制御部５０は、図６ｃに示すように顔を焦点検出領域として設定し、Ｓ２１５に遷移する。

Ｓ２１５でシステム制御部５０は、設定された焦点検出領域で焦点検出を行いＳ２１６に遷移する。

Ｓ２１６ではフォーカス制御部４２は、Ｓ２１６で求められた焦点検出結果に基づいてフォーカスレンズの駆動を制御することで、焦点調節を行いＳ２１７に遷移する。

Ｓ２１７でシステム制御部５０は、ＳＷ２がＯＮかどうかを判定し、ＳＷ２がＯＮではなかった場合はＳ２０１に遷移し、ＳＷ２がＯＮの場合はＳ２１８に遷移する。

Ｓ２１８で、システム制御部５０は、撮影を行うよう撮像素子１４の駆動を制御し終了する。

＜非正面顔の焦点検出領域の設定＞
次に、図３を用いて図２のＳ２０７における非正面顔の焦点検出領域の設定処理を説明する。

Ｓ３０１で、システム制御部５０は、主顔の左右の瞳のうち、よりカメラ（すなわち撮像面）に対して近い第１の瞳を決定してＳ３０２に遷移する。いずれの瞳がカメラに対して近いかは、例えば、横方向に顔が振り向いている方向や角度から判断することができる。

例えば図６ｄのように撮像面から向かって顔が右側に傾いていれば、左側の瞳ｂが第１の瞳であると判断する。図６ｄとは異なり顔が左側に傾いていれば、右側の瞳ａを第１の瞳と判断する。

顏が左右のどちらに傾いているかどうかは、例えば、顔検出において左右に傾いた顔をテンプレートとしてパターンマッチングを用いて傾きを判断することができる。また、例えば、顏の検出位置と器官の検出位置の関係から器官が顔の方側に偏っていれば、器官が偏っている方に顔が傾いていると判定することができる。また例えば、各々の瞳に対して焦点検出結果などを用いて距離に相当する情報を算出し、どちらに傾いているか判定する方法を用いても構わない。この場合、顔領域を分割して各々の領域のデフォーカス量を求めてデフォーカス量から傾きを求める方法をとっても構わない。

Ｓ３０２で、システム制御部５０は、Ｓ３０１で決定した主顔の第１の瞳の検出結果の信頼度が閾値Ｂ以上であるか否かを判定する。信頼度が閾値Ｂ以上であればＳ３０３に遷移し、信頼度がＢ以上でなければＳ３０６に遷移する。

Ｓ３０３では、Ｓ３０１で決定した第１の瞳とは異なる瞳である、主顔の第２の瞳に対する信頼度が閾値Ｄ以上かどうかを判定する。閾値Ｄはノイズ成分は考慮せず瞳のパーツが半分検出できる閾値を目安に設定し、閾値Ｂ＞閾値Ｄの関係が成り立つようにする。このため、閾値Ｂ＞閾値Ｄという関係が成り立つ。瞳が検出できている割合については、器官検出におけるテンプレートマッチングとの適合率を使う。

Ｓ３０２において第１の瞳の閾値Ｂ以上つまり第１の瞳のパーツがすべて検出できている場合、かつＳ３０３において第２の瞳の閾値Ｄ以上つまり第２の瞳のパーツが半分以上検出できている場合は、顔の向きが正面顔に近い顔であると判断している。

Ｓ３０３で信頼度が閾値Ｄ以上と判定された場合は、Ｓ３０４に遷移する。Ｓ３０４でシステム制御部５０は、焦点検出領域を第１の瞳に設定して、図３のフローを終了する。図３のフローが終了すると図２のＳ２０８に遷移する。

Ｓ３０３で信頼度が閾値Ｄ以上ではないと判定された場合は、Ｓ３０５に遷移する。３０５で、システム制御部５０は、図４を用いて後述する焦点検出領域の調整処理を実行して図３のフローを終了する。

Ｓ３０２で主顔の第１の瞳の信頼度が閾値Ｂ以上ではないと判定された場合はＳ３０６に遷移する。Ｓ３０６で、システム制御部５０は、第２の瞳の検出結果の信頼度が閾値Ａ以上かどうかを判定する。閾値Ａはノイズ成分が少なく、器官のパーツがすべて検出できる閾値を目安に設定することで、閾値Ａ＞閾値Ｂの関係が成り立つように設定する。第２の瞳の検出結果の信頼度が閾値Ａ以上である場合は、第２の瞳のパーツがすべて検出できていることから顏の角度が正面顔に近く、ノイズが少ないため第２の瞳が鮮明であり焦点検出の精度を保つことができる。このことから第２の瞳に対する焦点検出結果を代わりに採用できると判断し、Ｓ３０７に遷移する。Ｓ３０７で、システム制御部５０は、第２の瞳に対して焦点検出領域を設定し、図３のフローを終了する。

Ｓ３０６で第２の瞳の検出結果の信頼度が閾値Ａ以上ではないと判断された場合は、第１の瞳と第２の瞳のいずれの検出結果も信頼できないと判断してＳ３０８に遷移する。Ｓ３０８で、システム制御部５０は、図６ｂに示すように焦点検出領域を顔に対応する領域に設定して、図３のフローを終了する。

＜焦点検出領域の調整処理＞
次に図４を用いて図３のフローのＳ３０５の焦点検出領域調整処理の説明をする。

図４のＳ４０１で第２瞳の検出結果の信頼度が閾値Ｅ以上かどうかを判定する。顔の向きが、所定の角度よりも横顔に近くなると、瞳に対する焦点検出精度を保てるような焦点検出領域を設定することが困難となる。このような場合には、顔に焦点検出領域を設定した方が、結果としてより瞳に対してもピント状態が良いことが考えられる。そこで、本実施例では、第２の瞳の信頼度が閾値Ｅ未満であるとシステム制御部５０が判断した場合には、顔に焦点検出領域を設定する。ここで、閾値Ｄ＞閾値Ｅと設定する。すなわち、第２の瞳の信頼度がＥの場合は信頼度がＤの場合に比べて顔の向きが横顔に近い場合である。閾値Ｅは、ノイズ成分は考慮せず、器官のパーツが３割以上検出できる閾値を目安に設定する。

Ｓ４０２で、システム制御部５０は、図６ｂで示すように焦点検出領域を顔に対して設定し、図４のフローを終了する。図４のフローが終了すると図３のフローも終了し、図２のＳ２０８に遷移する。

Ｓ４０１で第２の瞳の検出結果の信頼度が閾値Ｅ以上であるとシステム制御部５０が判断した場合は、Ｓ４０３に遷移する。Ｓ４０３で、システム制御部５０は、第２の瞳の検出結果の信頼度が閾値Ａ以上かどうかを判定し、閾値Ａ以上である場合は焦点検出の精度が確保できるため、Ｓ４０４に遷移する。

Ｓ４０４で、システム制御部５０は、焦点検出領域を瞳位置から焦点検出領域の大きさの半分顔の内側にずらして設定する。第１の瞳のパーツがすべて検出できていてノイズが少ないことから第１の瞳が鮮明であり焦点検出領域を半分ずらしても焦点検出の精度が保てると考えられるためである。焦点検出領域をずらした例を、図７を用いて説明する。

図７の枠ａはＳ４０４で移動する前の焦点検出領域である。枠ｂはＳ４０４によって枠ａに対して焦点検出領域の水平サイズの半分を顔の内側に移動して設定した枠である。

Ｓ４０４で第１の瞳の検出結果の信頼度が閾値Ａ以上でないと判断された場合はＳ４０５に遷移する。Ｓ４０５で、システム制御部５０は、図６ｂで示すように焦点検出領域を顔に設定して図４のフローを終了する。

＜本実施例による効果＞
以上のように、本実施例では、焦点検出領域を設定する瞳とは異なる瞳の信頼度を判定し、当該判定結果に応じて、焦点検出領域を設定する。これにより、顔の向きを考慮して焦点検出領域を設定することが可能になることから、例えば顔が横を向いている場合であっても、焦点検出領域として設定した焦点検出領域が瞳以外のものを含んで瞳以外の被写体にＡＦをしてしまうことを防ぐことが可能となる。

＜その他の実施形態＞
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

例えば、本実施例は主顔を求めて主顔の瞳に対して焦点検出領域を決定しているが、主顔の代わりに指示手段によりユーザが指定した顔や、認証された顏にしても構わない。

また、図４のＳ４０４の焦点検出領域対象のずらし量を変えても構わないし、焦点検出領域をずらす代わりに焦点検出領域の形状を変化させても構わない。

また、本発明は上述の実施例の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み取り実行する処理でも実現できる。更に、１以上の機能を実現する部（例えば、ＡＳＩＣ）によっても実現できる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

２０ 画像処理部
５０ システム制御部
１００ 画像処理装置

Claims (4)

1. 撮像素子からの出力に基づいて被写体の顔を検出する顏検出手段と、
   被写体の顔に含まれる、第１の器官および第２の器官を検出する器官検出手段と、
   前記器官検出手段による器官の検出結果の信頼度を判定する判定手段と、
   前記判定手段による判定の結果に応じて焦点検出領域を設定する設定手段と、
   前記設定手段によって設定された焦点検出領域の焦点検出の結果に基づいてフォーカスレンズの駆動を制御する制御手段と、を備え、
   前記設定手段は、前記第２の器官の信頼度が高いと判定された場合には、前記第１の器官に対応する第１の焦点検出領域を設定し、第２の器官の信頼度が高くないと判定された場合には、前記被写体の顔に対応する第２の焦点検出領域を設定することを特徴とする画像処理装置。
2. 前記設定手段は、前記器官検出手段が検出した第１の瞳とは異なる第２の瞳の信頼度が高くないと判定された場合には、焦点検出領域として前記第１の焦点検出領域を設定しなおすことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の器官は前記第２の器官よりも画像処理装置に近いことを特徴とする請求項１又は請求項２に記載の画像処理装置。
4. 撮像素子からの出力に基づいて被写体の顔を検出する顏検出ステップと、
   被写体の顔に含まれる、第１の器官および第２の器官を検出する器官検出ステップと、
   前記器官検出ステップでの器官の検出結果の信頼度を判定する判定ステップと、前記判定ステップでの判定の結果に応じて焦点検出領域を設定する設定ステップと、前記設定ステップにおいて設定された焦点検出領域の焦点検出の結果に基づいてフォーカスレンズの駆動を制御する制御ステップとを備え、
   前記設定ステップでは、前記第２の器官の信頼度が高いと判定された場合には、前記第１の器官に対応する領域を第１の焦点検出領域を設定し、第２の器官の信頼度が高くないと判定された場合には前記被写体の顔に対応する第２の焦点検出領域を設定することを特徴とする画像処理装置の制御方法。

Images