JP4967992B2 - 画像認識装置及び焦点検出装置並びに撮像装置 - Google Patents

Description

本発明は、画像認識装置及び焦点検出装置並びに撮像装置に関するものである。

ピントを合わせる対象物の画像を基準パターンとして記憶し、撮影画像の中からその基準パターンに合致する画像をパターンマッチング処理により検出し、対象物の画像を検出するごとに基準パターンを更新しながらその検出位置にＡＦエリアを移動させて対象物を追尾するオートフォーカスシステムが知られている（特許文献１参照）。

特開２００６−５８４３１号公報

しかしながら、追尾動作において対象被写体を誤認識すると、基準パターンが適切に更新されず、正確に対象物を認識できないといった問題がある。

本発明が解決しようとする課題は、被写体を正確に認識できる画像認識装置及び焦点検出装置並びに撮像装置を提供することである。

本発明は、以下の解決手段によって上記課題を解決する。なお、本発明の実施形態を示す図面に対応する符号を付して説明するが、この符号は本発明の理解を容易にするためだけのものであって本発明を限定する趣旨ではない。

［１］本発明の撮像装置は、撮影レンズを介して撮像する撮像素子と、撮影領域内に設定された複数の焦点検出エリアの焦点調節状態を検出する焦点検出部と、前記複数の焦点検出エリアの焦点調節状態に基づいて、前記複数の焦点検出エリアから所定条件を満たす第１エリアを決定する第１決定部と、設定された基準画像を用いて前記撮像素子で撮像した画像内の主要被写体を認識する認識部と、前記認識部の認識結果に基づいて、前記主要被写体の位置に対応する第２エリアを決定する第２決定部と、前記第１エリアが前記第２エリア外にあるか否かを判断する判断部と、前記判断部により前記第１エリアが前記第２エリア外にあると判断された場合に、前記基準画像の再設定を行なう制御部と、を含むことを特徴とする。

また、上記発明に係る撮像装置において、制御部は、前記第１エリアが前記第２エリア外にあるとの判断が所定回数以上連続した場合に、前記基準画像の再設定を行うように構成することができる。

また、上記発明に係る撮像装置において、前記第２エリア内に前記第１エリアがある場合に、当該第１エリアを、前記光学系の焦点調節の対象とする焦点検出位置に決定する第３決定部を備えることができる。

この場合、制御部は、前記第２エリア内に前記第１エリアがない場合であっても、前記第２エリアの信頼度が高い場合には、前記基準画像の再設定を行わないように構成することができる。

また、上記発明に係る撮像装置において、制御部は、基準画像を設定した時刻と、焦点調節状態を検出した時刻との差が所定時間以上である場合に、基準画像の再設定と基準画像に相当する第２エリアの再認識の少なくとも一方を行うように構成することができる。

本発明によれば、被写体を正確に認識することができる。

以下、本発明の実施形態を図面に基づいて説明する。

図１は本発明の実施形態に係るカメラを示すブロック図である。本実施形態に係るカメラ１は、カメラボディ１００と、該カメラボディ１００に着脱自在に装着されるレンズ鏡筒２００を有する。

レンズ鏡筒２００には、光軸Ｌ１に沿って移動可能なフォーカスレンズ２１１を含むレンズ群２１０と、光束を制限する絞り機構２２０と、フォーカスレンズ２１１を光軸Ｌ１に沿って移動させるレンズ駆動モータ２３０が設けられている。

フォーカスレンズ２１１の光軸Ｌ１に沿う移動機構の具体的構成は特に限定されないが、一例として、レンズ鏡筒２００に固定された固定筒に回転可能に回転筒を挿入し、この回転筒の内周面にヘリコイド溝（螺旋溝）を形成するとともに、フォーカスレンズ２１１を固定するレンズ枠の端部をヘリコイド溝に嵌合させる。そして、レンズ駆動モータ２３０によって回転筒を回転させることで、レンズ枠に固定されたフォーカスレンズが光軸Ｌ１に沿って直進移動することになる。

このようにレンズ鏡筒２００に対して回転筒を回転させることによりレンズ枠に固定されたフォーカスレンズ２１１は光軸Ｌ１方向に直進移動するが、その駆動源としてのレンズ駆動モータ（アクチュエータ）２３０がレンズ鏡筒２００に設けられている。レンズ駆動モータ２３０と回転筒とは、たとえば複数の歯車からなる変速機で連結され、レンズ駆動モータ２３０の駆動軸を何れか一方向へ回転駆動すると所定のギヤ比で回転筒に伝達され、そして、回転筒が何れか一方向へ回転することで、レンズ枠に固定されたフォーカスレンズ２１１が光軸Ｌ１の何れかの方向へ直進移動することになる。なお、レンズ駆動モータ２３０の駆動軸が逆方向に回転駆動すると、変速機を構成する複数の歯車も逆方向に回転し、フォーカスレンズ２１１は光軸Ｌ１の逆方向へ直進移動することになる。

フォーカスレンズ２１１は、上述した回転筒の回転によってカメラボディ１００側の端部（至近端ともいう）から被写体側の端部（無限端ともいう）までの間を光軸Ｌ１方向に移動することができ、この移動はカメラボディ１００のレンズ駆動制御部からの指令によって制御される。

カメラボディ１００には、二次元ＣＣＤイメージセンサ、ＭＯＳセンサまたはＣＩＤなどで構成される撮像素子１１０が設けられ、該撮像素子１１０で光電変換された電気画像信号は、図示しないメモリに格納される。

撮像素子１１０の前面には、所定の角度だけ回転可能なハーフミラー１２１と、該ハーフミラー１２１とともに回転する全反射ミラー１２２が設けられている。このハーフミラー１２１および全反射ミラー１２２は、自動合焦動作を行うオートフォーカスモードにおいては実線で図示する位置にあり、この状態でシャッターを押すと（レリーズすると）、二点鎖線で示す位置に回転し、被写体像が撮像装置１１０に結像して露光が行われる。

また、カメラボディ１００には、自動合焦制御を行うためのオートフォーカスモジュール１６１（以下、ＡＦモジュールともいう）が設けられている。そして、オートフォーカスモードにおいては、同図に実線で示す位置にハーフミラー１２１と全反射ミラー１２２が位置するので、被写体からの光束は、フォーカスレンズ２１１を通ってハーフミラー１２１に導かれ、その一部は該ハーフミラー１２１を透過し、全反射ミラー１２２により光軸Ｌ４に沿ってＡＦモジュール１６１に入力する。このＡＦモジュール１６１にて、被写体光を用いた位相差検出方式による自動合焦制御が実行される。

一方、ハーフミラー１２１で反射された被写体光の一部は、撮像素子１１０と光学的に等価な面に配置されたファインダースクリーン１３１を通過してペンタプリズム１３２に導かれ、ペンタプリズム１３２で折曲されたのち、光軸Ｌ２に沿って接眼レンズ１３３を通り撮影者の眼球に導かれる。これにより、レリーズしない状態において、ファインダー１３４を通して被写体およびその背景等を観察することができる。

また、接眼レンズ１３３の近傍には、測光用レンズ１３５と測光センサ１３６が設けられ、ハーフミラー１２１で反射された被写体光の一部は、ファインダースクリーン１３１で結像したのちペンタプリズム１３２に導かれ、ペンタプリズム１３２で折曲されたのち、光軸Ｌ３に沿って測光センサ１３６に導かれる。

測光センサ１３６は、二次元カラーＣＣＤイメージセンサなどで構成され、撮影の際の露出値を演算するため像の明るさを検出するとともに、本例の自動追尾動作の際の被写体像を検出する。測光センサ１３６で検出された画像情報は後述する制御装置１７０へ出力され、自動露出制御及び被写体追尾制御に用いられる。

これらファインダースクリーン１３１、ペンタプリズム１３２、接眼レンズ１３３を観察光学系１３０ともいう。

図２は、図１に示すＡＦモジュール１６１の構成を示す図であり、いわゆる位相差方式の焦点検出素子である。本例のＡＦモジュール１６１は、コンバータレンズ１６１ａ、一対の開口が形成された絞りマスク１６１ｂ、一対の再結像レンズ１６１ｃおよび一対のラインセンサ１６１ｄを有し、レンズ鏡筒２００の射出光束から２つの部分光束が取り出され、各々の部分光束の結像位置の違いによりピント状態を検出する。

そして、同図に示すように被写体像Ｐが撮像素子１１０の等価面１６１ｅで結像すると合焦状態となるが、撮像レンズ（フォーカスレンズ）２１１が光軸Ｌ１方向に移動することで、結像点が等価面１６１ｅより被写体側にずれたり（前ピンと称される）、カメラボディ１００側にずれたりすると（後ピンと称される）、ピントずれの状態となる。

なお、被写体像Ｐの結像点が等価面１６１ｅより被写体側にずれると、一対のラインセンサ１６１ｄで検出される一対の出力パターンの間隔Ｗが、合焦状態の間隔Ｗに比べて短くなり、逆に被写体像Ｐの結像点がカメラボディ１００側にずれると、一対のラインセンサ１６１ｄで検出される一対の出力パターンの間隔Ｗが、合焦状態の間隔Ｗに比べて長くなる。

すなわち、合焦状態では一対のラインセンサ１６１ｄで検出される出力パターンがラインセンサの中心に対して重なるが、非合焦状態ではラインセンサの中心に対して各出力パターンがずれる、すなわち位相差が生じるので、この位相差（ずれ量）がゼロとなるようにフォーカスレンズ２１１を移動させることでピントを合わせる。

図１に戻り、ＡＦ−ＣＣＤ制御部１６２は、オートフォーカスモードにおいて、ラインセンサ１６１ｅのゲインや蓄積時間を制御するもので、焦点検出位置として選択された焦点検出エリアに関する情報を制御装置１７０から受け、この焦点検出エリアに相当する一対のラインセンサ１６１ｅにて検出された一対の出力パターンを読み出し、デフォーカス演算部１６２へ出力する。

デフォーカス演算部１６２は、ＡＦ−ＣＣＤ制御部１６２から送られてきた一対の出力パターンから当該出力パターンのずれ量（デフォーカス量ΔＷ）を演算し、これをレンズ駆動量演算部１６４へ出力する。

レンズ駆動量演算部１６４は、デフォーカス演算部１６３から送られてきたデフォーカス量ΔＷに基づいて、当該デフォーカス量ΔＷをゼロにするためのレンズ駆動量Δｄを演算し、これをレンズ駆動制御部１６５へ出力する。

レンズ駆動制御部１６５は、レンズ駆動量演算部１６４から送られてきたレンズ駆動量Δｄを取り込みながら、レンズ駆動モータ２３０へ駆動指令を送出し、レンズ駆動量Δｄだけフォーカスレンズ２１１を移動させる。

なお、操作部１５０は、オートフォーカスモードその他の撮影モード設定や、各モードにおけるエリア選択などをユーザが行うスイッチである。本例の被写体追尾モードにおける対象被写体の設定もこの操作部１５０を操作することにより行われる。

図３Ａ〜図３Ｃは、本実施形態に係る焦点検出エリア５１、被写体エリア５２及び選択された焦点検出位置５３を示す図である。

撮像素子１１０の撮像範囲の所定位置には、レンズ群２１０による焦点調節状態を検出するための焦点検出エリアが複数設けられ、それぞれの焦点検出エリアは、図３Ａに示すように、ファインダー１３４により観察される観察画面５０に焦点検出エリア５１として表示される。本例では、同図に１〜３１の数字で示すように３１点の焦点検出エリア５１が設けられ、それぞれの位置が撮像素子１１０の撮像範囲の所定位置に対応している。

そして、後述する所定条件によってこの３１点の中からそのときの焦点調節状態を検出する焦点検出エリア５１が１つ選択されるが、この焦点検出エリアを、選択されなかった他の焦点検出エリア５１と区別するため特に焦点検出位置５３と称することとする。なお、この３１点の焦点検出エリア５１のエリア数や設定位置は適宜変更することができる。

また、観察画面５０には、被写体追尾モードを設定した場合の被写体エリア５２が枠状に表示される。この被写体エリア５２は、被写体追尾モードを開始する際に、ユーザが操作部１５０を操作することにより所望の位置に設定され、その後の追尾動作によって移動するようになっている。この被写体追尾エリア５２も撮像素子１１０の撮像範囲の所定位置に対応している。

観察画面５０（撮像素子１１０、ファインダースクリーン１３１及びＡＦモジュール１６１の等価面１６１ｅも同じ）における焦点検出エリア５１と被写体エリア５２と焦点検出位置５３との位置関係は、図３Ａに示すように、被写体エリア５２内に焦点検出エリア５１が存在し、さらに被写体エリア５２内にある焦点検出エリア５１が焦点検出位置５３として選択される場合と、図３Ｂに示すように、被写体エリア５２内に焦点検出エリア５１が存在するが、被写体エリア５２外にある焦点検出エリア５１が焦点検出位置５３として選択される場合と、図３Ｃに示すように、被写体エリア５２内に焦点検出エリア５１が存在しない場合（すなわち、この場合は必然的に被写体エリア５２外にある焦点検出エリア５１が焦点検出位置５３として選択される）と、に分類することができる。

次に、本実施形態に係る被写体の追尾動作について説明する。

図４は、被写体追尾の動作例を示すフローチャートである。まず、ステップＳ１０１にて、撮影モードを選択する操作部１５０により、使用者が追尾モード（スポーツモード等と称することもある。）を選択しているかどうかを判断し、追尾モードを選択している場合はステップＳ１０２へ進み、選択していない場合は選択されるまでこの判断を繰り返す。

ステップＳ１０１にて、操作部１５０により追尾モード（スポーツモード）が設定されている場合は、ステップＳ１０２へ進み、被写体エリア５２が設定されているか否かを判断する。

被写体エリア５２は、図示しないレリーズボタンの半押しや、被写体エリア設定ボタンを別途設けておくことで設定することができる。ここでは操作部１５０の一つである移動ボタンを左右上下に操作して被写体エリアを所望位置に移動した状態でレリーズボタンを半押しすることで、ファインダー１３４による観察画面５０の所望領域を被写体エリア５２に設定するものとする。つまり、ユーザはファインダー１３４を覗きながら、追尾対象にしたい被写体に被写体エリア５２を合わせ、レリーズボタンを半押しすることで、被写体が追尾対象として認識される。

ステップＳ１０２にて被写体エリア５２が設定されたらステップＳ１０３に進み、設定された被写体エリア５２に相当する測光センサ１３６の領域の光電変換素子のアナログ出力信号を読み込み、これをデジタル信号に変換する。そして、色情報のデジタル信号を画像処理することにより、被写体エリア５２に対応するテンプレート画像情報を生成する。このテンプレート画像情報は図３Ａ〜図３Ｃに示す被写体エリア５２のデジタル画像データであり、制御装置１７０のメモリに一時的に保存される。

次いで、ステップＳ１０４にて、被写体エリア５２を含みこれより広い周辺の所定エリアを設定し、所定時間経過後の周辺エリアに相当する画像情報を測光センサ１３６の出力信号に基づいて生成し、先に生成したテンプレート画像情報と比較する。

この比較の際に用いられる画像情報は、測光センサ１３６により検出される色情報及び輝度値であり、テンプレート画像情報と周辺画像情報との一致の度合いを類似度として評価するとともに、周辺エリアに他に一致するエリアが存在したかどうかといった可能性の有無を信頼度として評価する。

そして、ステップＳ１０５にて、周辺エリアの画像情報とテンプレート画像情報とのマッチング処理を実行し、マッチングする場合はステップＳ１０６へ進み、周辺エリアの画像情報のうちマッチングするエリアの二次元座標を演算して求める。なお、マッチングしない場合はステップＳ１０１へ戻り、以上の処理を繰り返す。

テンプレート画像情報とマッチングし、そのエリアの二次元座標が求められたら、制御装置１７０にてマッチングした旨と座標情報を保持する。さらに、マッチング処理した結果、テンプレート画像情報と周辺画像情報との類似度及び信頼度についても制御装置１７０にて保持する。なお、ステップＳ１０５にてマッチングしなかった場合についても制御装置１７０にてその旨を保持する。

次に、本実施形態に係るカメラの動作について説明する。

図５は、本実施形態に係るカメラの動作を示すフローチャートである。

まずステップＳ１にて、上述した被写体の追尾モードによる追尾情報を取得する。この追尾情報は制御装置１７０に保持されている、テンプレート画像情報とマッチングしたかしなかったかという情報に加え、マッチングした場合の類似度及び信頼度についても取得する。これらの追尾情報は後述するステップＳ５の焦点検出位置の決定処理において使用される。

これと同時に、後述するステップＳ５のサブルーチンで用いられるカウンタとフラグを初期化する。

ステップＳ２では、オートフォーカスモードに設定されていることを確認したうえで、ＡＦモジュール１６１のラインセンサ１６１ｅによる光束の蓄積を行い、次のステップＳ３では、ラインセンサ１６１ｅで蓄積された信号情報を読み出す。

このとき読み出されるラインセンサ１６１ｅは、ユーザにより操作部１５０で設定された焦点検出エリアに相当するラインセンサ１６１ｅであり、ユーザは操作部１５０を操作することにより図３Ａに示す３１点の焦点検出エリア５１から所望の焦点検出エリア５１を選択することができる。以下においては、便宜的に全ての焦点検出エリア５１が選択されているものとして説明する。

ステップＳ４では、読み出されたラインセンサ１６１ｅのそれぞれについて、すなわち各焦点検出エリア５１におけるデフォーカス量を演算して求める。

ステップＳ５では、求められた各デフォーカス量に基づいて、焦点検出エリア５１の中からピント合せするための最適な焦点検出エリア、すなわち焦点検出位置５３を決定する。

図６は、図５のステップＳ５のサブルーチンを示すフローチャートである。

まず、ステップＳ５０１では、ＡＦ蓄積時刻と被写体認識情報の蓄積時刻との差を演算し、これが所定時間内であるかどうかを判断する。ＡＦ蓄積時刻とは、図５のステップＳ２におけるＡＦモジュール１６１のラインセンサ１６１ｅへの蓄積時刻であり、被写体情報蓄積時刻とは、図４のステップＳ１０３におけるテンプレート画像情報の生成時刻である。被写体追尾のためにテンプレート画像情報を生成して被写体を認識するが、その被写体を認識した時刻が所定時間以前であるときはその被写体の認識情報は古く、これを用いるのは適切ではないため、このステップＳ５０１で選別する。

ステップＳ５０１にてＡＦ蓄積時刻と被写体認識情報の蓄積時刻との差が所定時刻以内であるときはステップＳ５０２へ進み、現在設定されている被写体エリア５２内に焦点検出エリア５１が存在するかどうかを判断する。図３Ａ〜図３Ｃに示す例で言えば、図３Ａと図３Ｂのような位置関係の場合は被写体エリア５２内に焦点検出エリア５１が存在し、図３Ｃのような位置関係の場合は被写体エリア５２内に焦点検出エリア５１が存在しないものとする。

ステップＳ５０２にて被写体エリア５２内に焦点検出エリア５１が存在すると判断された場合はステップＳ５０３及びステップＳ５０４へ進み、被写体エリア５２内に存在する焦点検出エリア５１のデフォーカス量と、被写体エリア５２外に存在する焦点検出エリア５１のデフォーカス量をそれぞれ求める。各焦点検出エリア５１におけるデフォーカス量は図５のステップＳ４において既に求められているのでこれを用いて集計する。

図３Ａの例で言えば、符合１２，１３，１８及び１９で示す焦点検出エリア５１が被写体エリア５２内に存在する焦点検出エリアであり、その他の符号が付された２７点の焦点検出エリア５１が被写体エリア５２外に存在する焦点検出エリアである。

なお、ステップＳ５０３のデフォーカス量の演算に続いてステップＳ５０４のデフォーカス量の演算を行ったが、ステップＳ５０４のデフォーカス量の演算は、後述するステップＳ５０５の焦点検出位置の決定及びステップＳ５０６の焦点検出位置の有無の処理の後であって、当該ステップＳ５０６にて適切な焦点検出位置５３がなかった場合に実行することもできる。こうすることで、オートフォーカスの演算時間を短縮することができるとともに、演算処理による消費電力を抑制することができる。

次のステップＳ５０５では、ステップＳ５０３及びＳ５０４にて求められたデフォーカス量に基づいて、ピント合せするための適切な焦点検出位置５３を焦点検出エリア５１の中から決定する。

この焦点検出位置５３の決定条件は、特に限定されないが、たとえば焦点検出エリア５１の中で最もカメラに近い位置（至近端）で合焦するもの、焦点検出エリアの中で現在のフォーカスレンズ２１１の位置から最も近い位置で合焦するもの、観察画面５０において最も中心に近い位置にあるもの等々、又はこれらを組み合わせた条件とすることができる。また、ユーザが操作部１５０により設定した撮影モードなどに応じて決定条件を変更することもできる。

ステップＳ５０６で適切な焦点検出位置５３が存在した場合はステップＳ５０７へ進み、選択された焦点検出位置５３が被写体エリア５２内の焦点検出エリア５１かどうかを判断する。図３Ａに示すように被写体エリア５２内の焦点検出エリア（符号１９）が焦点検出位置５３として選択された場合にはステップＳ５１６へ進むのに対し、図３Ｂに示すように被写体エリア５２外の焦点検出エリア（符号２）が焦点検出位置５３として選択された場合にはステップＳ５０８へ進んでカウンタを１加算する。カウンタは図５のステップＳ１の初期化により当初は０とされている。

ステップＳ５０８にてカウンタの加算を実行したらステップＳ５１８へ進み、現在のカウンタが所定値ｎ以上であるかどうかを判断する。この所定値ｎは自然数とすることができる。

ここで、上記ステップＳ５０５〜Ｓ５０７の処理においては、焦点検出エリア５１内にピント合せするのに適切な焦点検出位置５３が選択されたにも拘らず、この焦点検出位置５３が被写体エリア５２外である場合を抽出する。そして、このような場合がｎ回以上連続して発生した場合には、その被写体エリア５２は誤認識等された、追尾動作には不適切なエリアであるとみなす。

次のステップＳ５１９では、現在のカウンタがｎ以上である場合に、被写体認識によるテンプレート画像情報を再設定するとともに、新たに設定されたテンプレート画像情報に基づいて被写体位置を再認識する。この処理は、図４に示すＳ１０３からステップＳ１０６に至る処理に相当する。

なお、ステップＳ５１９において、被写体認識によるテンプレート画像情報を再設定する処理だけ実行することもでき、またテンプレート画像情報はそのまま使用して被写体位置の再認識処理だけ実行することもできる。

以上のステップＳ５０１〜Ｓ５０８及びステップＳ５１８〜Ｓ５１９という一連の処理によれば、焦点検出エリア５１内にピント合せするのに適切な焦点検出位置５３が選択されたにも拘らず、この焦点検出位置５３が被写体エリア５２外である場合を抽出することができ、しかもこのような場合がｎ回以上連続して発生した場合には、その被写体エリア５２は誤認識等された、追尾動作には不適切なエリアであるとみなす。そして、このような場合には、現在認識（追尾）されている被写体エリア５２はピント合せするのに有効に活用できない位置であるから、テンプレート画像情報を再設定するとともに被写体位置を再認識するとった追尾動作の再起動を実行する。これにより、有効に活用できる被写体位置を認識することができる。

なお、ステップＳ５１９にて追尾動作を再起動したらステップＳ５２０へ進み、カウンタをリセットする。

ステップＳ５０１へ戻り、ここでＡＦ蓄積時刻と被写体認識情報の蓄積時刻との差が所定時間内でない場合、すなわち被写体の認識情報が古い場合には、ステップＳ５０９でフラグを０にしたのちステップＳ５１１へ進む。

一方、ステップＳ５０１にて、ＡＦ蓄積時刻と被写体認識情報の蓄積時刻との差が所定時間内ではあるが、ステップＳ５０２にて被写体エリア５２内に焦点検出エリア５１が存在しない場合、つまり図３Ｃに示すような場合は、ステップＳ５１０でフラグを１にしたのちステップＳ５１１へ進む。

このフラグは、ステップＳ５１１に至る処理ルートが、ステップＳ５０１からの処理ルートか、ステップＳ５０２からの処理ルートかを判別するためのフラグであり、 被写体の認識情報がそのまま使用できる程度に古くないかどうかを後述するステップＳ５１５で判別するためのものである。

ステップＳ５１１は、被写体の認識情報が古くてこれを用いるのは適切ではないか（ステップＳ５０１→Ｓ５０９→Ｓ５１１）、あるいは被写体情報は新しいが、被写体エリア５２内に焦点検出エリア５１が存在しない場合（ステップＳ５０１→Ｓ５０２→Ｓ５１０→Ｓ５１１）であるため、焦点検出エリア５１のみによる焦点検出位置の決定を行う。このため、前回選択された焦点検出位置５３を含む、その周辺の焦点検出エリア５１におけるデフォーカス量を演算する。

ステップＳ５１２では、ステップＳ５１１で演算して求められた複数の焦点検出エリア５１の中からピント合せするのに適切な焦点検出位置５３を決定する。

ここでの焦点検出位置５３の決定条件は、ステップＳ５０５における処理と同様に特に限定されないが、たとえば焦点検出エリア５１の中で最もカメラに近い位置（至近端）で合焦するもの、焦点検出エリアの中で現在のフォーカスレンズ２１１の位置から最も近い位置で合焦するもの、観察画面５０において最も中心に近い位置にあるもの等々、又はこれらを組み合わせた条件とすることができる。また、ユーザが操作部１５０により設定した撮影モードなどに応じて決定条件を変更することもできる。さらに、ステップＳ５０５の決定条件と同じにすることもできるし、異なる条件で決定することもできる。

ステップＳ５１２で適切な焦点検出位置５３が存在した場合はステップＳ５１４へ進み、現在取得されている被写体エリア５２の類似度又は信頼度が所定値より高いかどうかを判断する。

ステップＳ５１４にて被写体エリア５２の類似度又は信頼度が所定値より低い場合には、その被写体エリア５２の認識情報は利用価値が低いので、ステップＳ５１７へ進みカウンタを１加算する。

これに対して、ステップＳ５１４にて被写体エリア５２の類似度又は信頼度が所定値より高い場合には、その被写体エリア５２の認識情報は古くても利用価値があるので、ステップＳ５１５へ進み、フラグが０であることを確認したうえで、カウンタを加算又はリセットすることなくステップＳ５１８へ進む。

また、ステップＳ５１４にて被写体エリア５２の類似度又は信頼度が所定値より高い場合であって、ステップＳ５１５においてフラグが１であると判断されたとき、すなわち被写体エリア５２の認識情報が新しく、かつ被写体エリア５２内に焦点検出エリア５１が存在しない場合であっても、そのまま被写体エリア５２の認識情報は利用できるので、ステップＳ５１６へ進み、カウンタをリセットしたのち、ステップＳ５１８へ進む。

以上のステップＳ５０１→Ｓ５０９→Ｓ５１１〜Ｓ５１４→Ｓ５１７→Ｓ５１８〜Ｓ５１９という一連の処理によれば、現在の被写体エリア５２の認識情報が焦点検出情報に比べて古い場合には、この被写体エリア５２はピント合せするのに有効に活用できない位置であるから、テンプレート画像情報を再設定するとともに被写体位置を再認識するとった追尾動作の再起動を実行する。これにより、有効に活用できる被写体位置を認識することができる。

また、ステップＳ５０１〜Ｓ５０２→Ｓ５１０→Ｓ５１１〜Ｓ５１４→Ｓ５１７→Ｓ５１８〜Ｓ５１９という一連の処理によれば、現在の被写体エリア５２の認識情報が焦点検出情報に比べて古くはないが、被写体エリア５２内に焦点検出エリア５１が存在せず、しかも被写体エリア５２の類似度や信頼度も高くない場合には、この被写体エリア５２はピント合せするのに有効に活用できない位置であるから、テンプレート画像情報を再設定するとともに被写体位置を再認識するとった追尾動作の再起動を実行する。これにより、有効に活用できる被写体位置を認識することができる。

これに対して、ステップＳ５０１→Ｓ５０９→Ｓ５１１〜Ｓ５１５→Ｓ５１８〜Ｓ５１９という一連の処理によれば、現在の被写体エリア５２の認識情報が焦点検出情報に比べて古いが、この被写体エリア５２はピント合せするのに有効に活用できる位置とみなせることから、追尾動作の再起動のためのカウンタアップは実行しない。

また、ステップＳ５０１〜Ｓ５０２→Ｓ５１０→Ｓ５１１〜Ｓ５１５→Ｓ５１６→Ｓ５１８〜Ｓ５１９という一連の処理によれば、被写体エリア５２内に焦点検出エリア５１が存在しないが、被写体エリア５２の類似度や信頼度が高い場合には、この被写体エリア５２はピント合せするのに有効に活用できる位置とみなせることから、カウンタをリセットする。

ちなみに、ステップＳ５０７において、選択された焦点検出位置５３が被写体エリア５２内に存在する場合は、その被写体エリア５２の認識情報は適切であるとみなせることから、ステップＳ５１６へ進んでカウンタをリセットする。

また、ステップＳ５０６及びステップＳ５１３において焦点検出位置５３が決定されなかった場合は、ステップＳ５１６にてカウンタをリセットする。この場合は適切な焦点検出位置５３が決定されなかったので、図５のステップＳ６からステップＳ３へ戻る処理となり、再度焦点調節状態の検出から実行する。

図５に戻り、以上のようにして焦点検出位置５３を決定したら、ステップＳ７において、レンズ駆動量演算部１６４にて、選択された焦点検出位置５３のデフォーカス量に基づいてフォーカスレンズ２１１の駆動量を演算する。そして、ステップＳ８において、レンズ駆動制御部１６５からレンズ駆動モータ２３０へ駆動信号を出力し、フォーカスレンズ２１１を合焦位置に駆動する。

なお、上述した実施形態では、焦点検出をいわゆる位相差検出方式により行うように構成したが、焦点検出方法はこれ以外にも、いわゆる山登り法によるコントラスト検出方式や、撮像素子１１０に対をなす焦点検出用画素を設けて、この位相差により焦点を検出する方式を用いることができる。

本発明の実施形態に係るカメラを示すブロック図である。 図１に示すＡＦモジュールを示す図である。 本発明の実施形態に係る焦点検出エリア、被写体エリア及び焦点検出位置を示す図である。 本発明の実施形態に係る焦点検出エリア、被写体エリア及び焦点検出位置を示す図（被写体エリア内で焦点検出位置が選択された場合）である。 本発明の実施形態に係る焦点検出エリア、被写体エリア及び焦点検出位置を示す図（被写体エリア外で焦点検出位置が選択された場合）である。 本発明の実施形態に係る被写体の追尾動作の一例を示すフローチャートである。 本発明の実施形態に係るカメラの動作を示すフローチャートである。 図５のステップＳ５のサブルーチンを示すフローチャートである。

符号の説明

１００…カメラボディ
１１０…撮像素子
１２１…ハーフミラー
１３０…観察光学系
１３１…ファインダースクリーン
１３６…測光センサ
１６１…ＡＦモジュール
１６２…ＡＦ−ＣＣＤ制御部
１６３…デフォーカス演算部
１６４…レンズ駆動量演算部
１６５…レンズ駆動制御部
１７０…制御装置
２００…レンズ鏡筒
２１１…フォーカスレンズ
２３０…レンズ駆動モータ

Claims (5)

1. 撮影レンズを介して撮像する撮像素子と、
   撮影領域内に設定された複数の焦点検出エリアの焦点調節状態を検出する焦点検出部と、
   前記複数の焦点検出エリアの焦点調節状態に基づいて、前記複数の焦点検出エリアから所定条件を満たす第１エリアを決定する第１決定部と、
   設定された基準画像を用いて前記撮像素子で撮像した画像内の主要被写体を認識する認識部と、
   前記認識部の認識結果に基づいて、前記主要被写体の位置に対応する第２エリアを決定する第２決定部と、
   前記第１エリアが前記第２エリア外にあるか否かを判断する判断部と、
   前記判断部により前記第１エリアが前記第２エリア外にあると判断された場合に、前記基準画像の再設定を行なう制御部と、を含むことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記制御部は、前記第１エリアが前記第２エリア外にあるとの判断が所定回数以上連続した場合に、前記基準画像の再設定を行うことを特徴とする撮像装置。
3. 請求項１又は２に記載の撮像装置において、
   前記第２エリア内に前記第１エリアがある場合に、当該第１エリアを、前記光学系の焦点調節の対象とする焦点検出位置に決定する第３決定部を備えることを特徴とする撮像装置。
4. 請求項１〜３のいずれか一項に記載の撮像装置において、
   前記制御部は、前記第２エリア内に前記第１エリアがない場合であっても、前記第２エリアの信頼度が高い場合には、前記基準画像の再設定を行わないことを特徴とする撮像装置。
5. 請求項１〜４のいずれか一項に記載の撮像装置において、
   前記制御部は、前記基準画像を設定した時刻と、前記焦点調節状態を検出した時刻との差が所定時間以上である場合に、前記基準画像の再設定と前記第２エリアの再認識の少なくとも一方を行うことを特徴とする撮像装置。

Images