JP7071569B2 - 画像処理装置、撮像装置、制御方法、プログラム及び記憶媒体 - Google Patents

Description

本発明は、画像処理装置、撮像装置、制御方法、プログラム及び記憶媒体に関する。

撮像装置の高機能化が進展し、例えば、タッチパネルを利用したピント合わせ位置を指示する機能など、よりユーザの直観に沿った操作を可能とする機能を搭載する撮像装置が提案されている。また、従来から、ユーザが注視する領域である注視点の検出結果を利用したインタフェースが提案されている。

特許文献１は、注視点の検出結果と被写体の検出結果に加えて、カメラの設定（いわゆるモード）を参照して各検出部の優先度を設定することで、ユーザの意図に沿ったピント合わせを行う技術を開示している。また、特許文献２は、注視点の検出と測光手段を利用した被写体追尾システムにおいて、注視点検出の信頼性を判定して最終的な被写体位置を決定する方法を開示している。

特開２０１５－２２２０７号公報 特開平５－２３２３７４号公報

特許文献１と特許文献２のいずれの技術も、ピントを合わせるための主たる被写体の領域と、注視点とを別個に認識可能に表示していない。ここで、仮に、被写体の検出結果や測光結果の判定に誤りがあると、ユーザが意図していない被写体の領域に対して追尾枠などの表示が行われてしまうことになるため、ユーザに違和感を与えてしまう。反対に、撮影画角や主たる被写体が定まる前から、常に主たる被写体の領域と注視点の両方を認識可能に表示してしまうと、ユーザにとって煩雑かつ煩わしい表示となってしまうおそれがある。そこで本発明は、主たる被写体の領域と注視点の表示の仕方を改善することによって、これらの表示に対するユーザビリティを向上した画像処理装置の提供を目的とする。

本発明の一実施形態の画像処理装置は、撮影画像を取得する取得手段と、前記撮影画像の領域のうち、ユーザが注視する領域である第１の領域を検知する検知手段と、前記撮影画像の領域のうち、被写体の領域である第２の領域を決定する決定手段と、第１の領域情報と第２の領域情報とを、それぞれ前記撮影画像に重畳させて表示する制御を行う表示制御手段と、を備え、前記表示制御手段は、第１の指示手段が操作されるとき、前記第１の領域の位置を示す情報に基づいて前記第１の領域情報及び前記第２の領域情報を表示し、前記第１の指示手段が操作された後、前記第１の領域を示す情報に基づいて、前記第１の領域情報を表示し、前記第２の領域の位置を示す情報に基づいて、前記第２の領域情報を表示する。

本発明の画像処理装置によれば、主たる被写体の領域と注視点の表示に対するユーザビリティを向上することが可能になる。

本実施形態の画像処理装置の構成を示す図である。 撮像装置の外観の一例を示す図である。 撮像装置の動作処理の例を説明するフローチャートである。 画像処理装置が表示する撮影画像の一例を示す図である。 画像処理装置が表示する撮影画像の他の例を示す図である。 注視点追尾モードで撮影した場合の撮影画像の例を説明する図である。

図１は、本実施形態の画像処理装置の構成を示す図である。
図１では、画像処理装置としてデジタルカメラ等の撮像装置を例にとって説明する。なお、本発明は、撮像素子６が出力する信号に係る撮影画像の入力を受けて画像処理する任意の画像処理装置装置に適用可能である。図１（Ａ）は、撮像装置の中央断面図を示す。図１（Ｂ）は、撮像装置の機能ブロック図を示す。図１（Ａ）および図１（Ｂ）で同一の符号が付された構成要素は、それぞれ対応している。

図１（Ａ）および図１（Ｂ）に示すレンズユニット２は、カメラ本体１に着脱可能なレンズ装置である。レンズユニット２とカメラ本体１とは、電気接点１１で電気的に接続される。レンズユニット２は、レンズシステム制御回路１２、レンズ駆動手段１３、撮影光学系３を有する。撮影光学系３は、複数のレンズを有する。レンズシステム制御回路１２は、レンズユニット２全体を制御する。光軸４は撮影光学系の光軸である。レンズ駆動手段１３は、焦点レンズ、ブレ補正レンズ、絞りなどを駆動する。

図１（Ｂ）に示すように、カメラ本体１は、カメラシステム制御回路５、撮像素子６、画像処理部７、メモリ手段８、表示手段９、操作検出部１０、シャッタ機構１４、注視点検出手段１５を備える。また、図１（Ａ）に示すように、撮像装置は、背面表示装置９ａ、電子ビューファインダ（ＥＶＦ）９ｂを備える。操作検出部１０は、不図示のレリーズボタンを含み、本発明の指示手段として動作する。画像処理部７は、撮像素子６から出力された信号に画像処理を行う。これにより、撮影画像における被写体が検知可能となる。

カメラシステム制御回路５、レンズシステム制御回路１２及びレンズ駆動手段１３は、撮影光学系３の状態を変化させることにより電子ビューファインダ９ｂに提示される出力画像の状態を調整する画像状態調整手段として機能する。画像状態調整手段は、例えば、焦点調節処理を実行し、所定の領域にピントを合わせる。電子ビューファインダ９ｂは、撮影画像に加えて、ユーザに有用な情報を別途若しくは重畳させて表示する。カメラシステム制御回路５は、操作検出部１０の動作に応じて、撮影画像の領域のうち、画像状態調整手段の制御に用いる選択領域（第２の領域）を決定する。選択領域は、例えば、主たる被写体の領域である。選択領域が、ピントを合わせる焦点検出領域であってもよい。また、注視点検出手段１５は、図１（Ａ）に示す投光部１５ａ、光線の分離部１５ｂ、注視点検出センサ１５ｃを有する。注視点の検出については、公知技術であるので詳述しないが、赤外線等人間の視界を妨げない光線を角膜に対して投光してその反射光を分析することで注視点の検出を行う。すなわち、注視点検出手段１５は、撮影画像の領域のうち、ユーザが注視する領域である第１の領域（注視点）を検知する。カメラシステム制御回路５は、撮影画像に追尾マーカーと注視点マーカーとをそれぞれ識別可能に重畳させて表示手段９に表示する制御を行う（表示制御手段である）。追尾マーカーは、選択領域（第２の領域）を示す第２の領域情報である。注視点マーカーは、注視点（第１の領域）を示す第１の領域情報である。

撮影画像の取得について説明する。物体からの光（被写体光）が、撮影光学系３を介して撮像素子６の撮像面に結像する。撮像素子６は、被写体光を光電変換する。撮像素子６からピント評価量／適切な露光量が得られるので、この信号に基づいて適切に撮影光学系３が調整されることで、適切な光量の物体光を撮像素子６に露光するとともに、撮像素子６近傍で被写体像が結像する。

画像処理部７は、内部にＡ／Ｄ変換器、ホワイトバランス調整回路、ガンマ補正回路、補間演算回路等を有しており、記録用の画像を生成することができる。また、色補間処理手段が画像処理部７に設けられており、ベイヤ配列の信号から色補間（デモザイキング）処理を施してカラー画像を生成する。また、画像処理部７は、予め定められた方法を用いて画像、動画、音声などの圧縮を行う。さらに、画像処理部７は、撮像素子６から得られた複数の画像間の比較に基づいてブレ検知信号を生成することができる。画像処理部７が生成した画像は、カメラシステム制御回路５によって、メモリ手段８の記録部へ出力されるとともに、表示手段９に表示される。

また、カメラシステム制御回路５は、撮像の際のタイミング信号などを生成して出力することで、外部操作に応動して撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、不図示のシャッターレリーズ釦の押下を操作検出部１０が検出し、撮像素子６の駆動、画像処理部７の動作、圧縮処理などが制御される。さらに、カメラシステム制御回路５は、表示手段９によって、液晶モニタ等に情報表示を行う情報表示装置の各セグメントの状態を制御する。なお、この例では、背面表示装置９ａは、タッチパネルであって、操作検出部１０に接続されている。

制御系による光学系の調整動作について説明する。カメラシステム制御回路５には画像処理部７が接続されており、撮像素子６からの信号を元に適切な焦点位置、絞り位置を求める。カメラシステム制御回路５は、電気接点１１を介してレンズシステム制御回路１２に指令を出し、レンズシステム制御回路１２は、レンズ駆動手段１３を適切に制御する。さらに、手ぶれ補正を行うモードにおいては、撮像素子から得られた信号を基にレンズ駆動手段１３を介してブレ補正レンズを適切に制御する。レンズシステム制御およびレンズ駆動手段は本発明の光学系駆動手段として機能する。また、カメラシステム制御回路５は、シャッタ機構１４を制御して、露光制御を実行する。

図２は、撮像装置の外観の一例を示す図である。
図２（Ａ）は、撮像装置の正面を示す。図２（Ｂ）は、背面を示す。レリーズボタン１０ａは、操作検出部１０の一部をなしている。また、操作ボタン１０ｂは、レリーズボタンとは異なる操作ボタンである。操作ボタン１０ｂも操作検出部１０の一部をなしている。操作ボタン１０ｂは、トリガ入力用のボタンとして動作する。

図３は、撮像装置の動作処理の例を説明するフローチャートである。
Ｓ１００において、撮像装置の電源がＯＮとなって、動作が開始される。Ｓ１１０において、カメラシステム制御回路５が、動作モードの読み出しを行う。カメラシステム制御回路５は、予め定められた設定Ｓ１２０を読み出し、動作に反映させる。この例において、動作モードとは、ピントを合わせる動作に関する動作モードである。第１の動作モードとして、一度ピント合わせを行って以降のピントを合わせるための位置の設定を画像認識による主たる被写体の追尾によって行うこと、つまり主たる被写体の領域を選択領域としてピントを合わせることを示す被写体追尾モードがある。また、第２の動作モードとして、検出された注視点に基づいて、ピントを合わせる選択領域を設定することを示す注視点追尾モードがある。なお、ここでは、選択領域に対してピントを合わせる処理を行う動作モードを例にあげて説明を行うが、これに限られるものではない。選択領域に基づいて、露出値の調整、色相や彩度などの色の調整、コントラストや階調の修正、あるいは、画像信号の圧縮レベルの決定を行う処理などを行うこともできる。また、撮影時の処理でなくとも、再生時の画像処理で参照するための情報として、選択領域を示す情報を撮像画像とともに記録するようにしてもよい。

撮影装置１では、いわゆるＳ１と呼ばれるレリーズボタン１０ａの半押し動作によって、撮影準備指示が行われ、ピント合わせが実行される。その後Ｓ２と呼ばれるレリーズボタン１０ａの全押し動作によって画像の取得（撮影）が行われる。ユーザは、ピント合わせを行う前の段階で構図の決定（フレーミング）を行い、Ｓ１によって被写体を決めて撮影したい画像を決め（エイミング）、Ｓ２によって撮影を行う（シューティング）。この時、エイミング後のピント合わせの位置を決める動作に対応する。

次に、Ｓ１３０において、カメラシステム制御回路５が、撮影画像において追尾マーカーと注視点マーカーとを同一の位置に表示する。すなわち、Ｓ１の操作前においては、追尾という概念が無いので、カメラシステム制御回路５は、注視点マーカーと追尾マーカーを同一の位置の情報に基づいて表示する。Ｓ１の操作後においては、注視点マーカーと追尾マーカーとは、互いに別の位置の情報に基づいて表示される。より具体的には、Ｓ１の操作後においては、カメラシステム制御回路５は、注視点の位置を示す情報に基づいて、注視点マーカーを表示し、選択領域の位置を示す情報に基づいて、追尾マーカーを表示する。続いて、Ｓ１４０において、Ｓ１が操作されたか否かを判断する。図２に示すレリーズボタン１０ａを半押しによりＳ１が操作された場合は、処理がＳ１５０に進む。Ｓ１が操作されていない場合は、処理がＳ１６０に進む。

Ｓ１５０において、画像状態調整手段、つまりカメラシステム制御回路５、レンズシステム制御回路１２及びレンズ駆動手段１３が、ピント合わせを行う。画像状態調整手段は、さらに、ピント合わせを行った領域でのテンプレートの取得なども行う。このテンプレートは必要に応じて後述するテンプレートマッチングに利用される。すなわち、画像状態調整手段は、Ｓ１という第１の指示手段の動作に応じて、画像状態の調整処理（例えば、ピント合わせ）の実行に用いる選択領域を決定する。第１の指示手段は、例えば、撮影準備指示のための操作ボタンである。画像状態調整手段は、例えば、顔検出によって得られる顔領域の中から選択領域を決定する。そして、画像状態調整手段が、選択領域に対してピント合わせを実行する。

Ｓ１６０において、カメラシステム制御回路５が、注視点検出手段１５に指示することによって、注視点を検出する。続いて、Ｓ１７０において、カメラシステム制御回路５が、表示手段９に現在の情報すなわち撮影画像と追尾マーカーと注視点マーカーとを表示する。その後、処理がステップＳ１４０に戻る。すなわち、カメラシステム制御回路５は、注視点の位置を示す情報に基づいて、追尾マーカーと注視点マーカーとを表示する。

Ｓ１８０以降の処理において、カメラシステム制御回路５は、ピントを合わせる動作に関する動作モードと、撮影状態を示す情報とに基づいて、選択領域を決定する。撮影状態を示す情報は、例えば、後述するＳ２１０におけるトリガが検知された状態、Ｓ２３０において用いる被写体の検知結果の信頼性を示す情報、Ｓ２００における、注視点の信頼性を示す情報である。被写体の検知結果の信頼性は、被写体の検知に関する評価値の大きさを示す。注視点の信頼性は、注視点の検知に関する評価値の大きさを示す。Ｓ１８０において、カメラシステム制御回路５が、Ｓ１１０で読み出された動作モードが被写体追尾モードであるかを判断する。動作モードが被写体追尾モードである場合は、処理がＳ１９０に進む。動作モードが被写体追尾モードでなく、注視点追尾モードである場合は、処理がＳ２００に進む。

次に、Ｓ１９０において、カメラシステム制御回路５が、画像認識で被写体追尾を行う。具体的には、カメラシステム制御回路５は、画像認識で検知される被写体を基に被写体の追尾を行う。つまり、カメラシステム制御回路５は、撮影画像に基づいて決定された被写体の領域の位置に対応する領域を選択領域として決定する。被写体の追尾方法に関しては多くの先行文献があるので詳述しないが、テンプレートマッチングなどの方法がある。この時にテンプレートマッチングのマッチングの程度に基づいて演算の信頼性を計測することができる。計測された信頼性を、被写体の検知結果の信頼性として定義する。すなわち、画面内の被写体の位置が変化した場合は、カメラシステム制御回路５は、ピントを合わせる位置を示す情報（例えば、焦点検出領域を示す焦点検出枠）を移動させて、同じ被写体にピントを合わせ続ける。

次に、Ｓ２１０において、カメラシステム制御回路５が、トリガ検知がされたかを判断する。ユーザが図３で示したレリーズボタン１０ａとは異なる第２の指示手段である操作ボタン１０ｂを操作することでトリガが発生する。トリガ検知がされた場合は、処理がＳ２２０に進む。トリガ検知がされない場合は、処理がＳ２３０に進む。

Ｓ２２０において、カメラシステム制御回路５が、注視点の位置に対応する領域を選択領域として決定し、再度追尾を開始する。すなわち、カメラシステム制御回路５は、注視点の位置に焦点検出枠を設定し、焦点検出処理を実行してピント合わせを行った後、当該位置でテンプレートを取得して追尾を再開する。Ｓ２２０の処理は、選択領域を、一度、注視点の位置に設定すること、つまり、注視点の位置を示す情報に基づいて追尾マーカーを表示することに対応する。その後は、Ｓ１９０の処理によって、選択領域は、検知される被写体に基づいて決定される。そして、処理がＳ２６０に進む。Ｓ２１０の処理とＳ２２０の処理とによって、意図しない焦点検出領域の乗り移りが発生した場合に、注視点に焦点検出枠を戻すことができる。

次に、Ｓ２３０において、カメラシステム制御回路５が、ユーザが被写体をロストしたか（見失ったか）を判断する。カメラシステム制御回路５は、被写体の検知結果の信頼性が予め定められた閾値より低い場合には、被写体をロストしたと判断する。カメラシステム制御回路５は、被写体の検知結果の信頼性が予め定められた閾値以上である場合は、被写体をロストしていないと判断する。被写体の前を別の物体が横切り、テンプレートマッチングが非常に良くない場合には、被写体をロストしたと判断される。被写体をロストした場合は、処理がＳ２２０に進む。被写体をロストしていない場合は、処理がＳ２６０に進む。Ｓ２３０の処理とＳ２２０の処理とにより、被写体をロストした場合に注視点に焦点検出枠を引き戻すことができる。

また、Ｓ２００において、カメラシステム制御回路５が、注視点検出手段による注視点の信頼性が閾値以上であるかを判断する。注視点の信頼性が閾値以上である場合は、処理がＳ２４０に進む。注視点の信頼性が閾値より小さい場合は、処理がＳ２５０に進む。注視点の検出は外光の影響などにより一時的に正確でなくなる場合がある。Ｓ２００の判断処理は、この場合に適切な動作を行わせるための処理である。

Ｓ２４０において、カメラシステム制御回路５が、注視点検出手段による注視点の検出結果に基づいて、焦点検出枠の位置を決定する。具体的には、カメラシステム制御回路５は、注視点の位置に対応する（同一の）位置の領域を選択領域として決定する。そして、カメラシステム制御回路５は、注視点を焦点検出枠の位置として追尾し、ピント合わせを行う。その後、処理がＳ２６０に進む。また、Ｓ２５０において、カメラシステム制御回路５が、画像認識で被写体追尾を行う。つまり、カメラシステム制御回路５は、注視点の位置に対応する領域を選択領域として決定する。そして、処理がＳ２６０に進む。

次に、Ｓ２６０において、カメラシステム制御回路５が、現在の情報を表示手段によって表示する。すなわち、注視点に対応した第１のマーカーと、選択領域に対応した第２のマーカーとを、撮影画像に重畳して表示する。続いて、カメラシステム制御回路５が、Ｓ２が操作されたかを判断する。ユーザがレリーズボタン１０ａを全押ししてＳ２が操作された場合は、処理がＳ２８０に進む。Ｓ２が操作されていない場合は、処理がＳ２９０に進む。

Ｓ２８０において、カメラシステム制御回路５が、撮影によって出力される撮影画像を取得する。そして、処理がＳ２９０に進む。Ｓ２９０において、カメラシステム制御回路５が、Ｓ１が維持されているかを判断する。Ｓ１が維持されている場合は、処理がＳ１８０に進む。Ｓ１が解除された場合は、処理がＳ１３０に進む。なお、カメラシステム制御回路５は、Ｓ２が操作されている最中は、Ｓ１は維持されていると判断する。すなわち、連写などでＳ２が押し続けられている場合は、Ｓ１が維持されているものとして処理が進行する。電源のＯＦＦ動作が生じた場合は、図３のフローチャートが示す処理に関わらず割り込みが発生してその時点で動作を終了する。

図３を参照した説明から、注視点追尾モードでは、ユーザによる指示手段の動作であるＳ１に関わらず注視点に対応したピント合わせが行われる。一方で、被写体追尾モードにおいては、指示手段の動作に連動して、検知される被写体に対応した領域（Ｓ１以降）と注視点に対応した領域（Ｓ１以前）の選択が切り替えられる。このような複数のモードを備えることでユーザの意図に沿った撮影を行うことができる。つまり、注視点を正確に追尾してほしい場合と、ピント合わせ後に周辺の状況も確認しながらピントを維持するモードを使い分けることが可能となる。

また、表示の状態に着目すると、被写体追尾モードにおいては、指示手段の操作前（Ｓ１以前）は、第１のマーカーと第２のマーカーが同一の位置に表示される。指示手段の操作後（Ｓ１以降）は、第１のマーカーと第２のマーカーは、それぞれ関連付けられた値に基づいて表示される。注視点追尾モードにおいても、選択領域が注視点に関連付けられていると考えれば、同様になる。

図４は、本実施形態の画像処理装置が表示する撮影画像の一例を示す図である。
図４（Ａ），（Ｂ），（Ｃ）は、この順に時間が経過した３つの時間的に異なる画像を示している。図４（Ａ）は、Ｓ１以前の状態（いわゆるＳ０）における表示例である。図４（Ｂ）は、Ｓ１を押した瞬間における表示例である。図４（Ｃ）は、Ｓ１を維持している状態における表示例である。

図４において、２０は、ＥＶＦ９ｂへの提示画像（撮影画像）を示す。２１は、第１の被写体を示す。２２は、注視点に対応した第１のマーカーである注視点マーカー（矩形の枠で図示）を示す。２３は、選択領域に対応した第２のマーカーである追尾マーカー（＋で図示）を示す。２４は、第２の被写体を示す。

図４に示す例では、カメラシステム制御回路５は、撮影画像にマーカーを重畳して表示する。図４（Ａ）は、Ｓ１より前の時点であるので、図３のＳ１４０に留まっている状態にある。この状態の時は、Ｓ１６０およびＳ１７０の動作によって、注視点マーカー２２と追尾マーカー２３が重ねて注視点位置に表示される。すなわち、ユーザが注視する位置に注視点マーカー２２と追尾マーカー２３が表示される。

図４（Ｂ）では、ユーザが被写体を見るとともに、レリーズボタン１０ａを半押ししてＳ１を指示している。図３ではステップＳ１４０からステップＳ１５０に進むところに対応する。図４（Ｂ）では、注視点マーカー２２と追尾マーカー２３とは重ねた状態で表示されるとともに、注視点位置でピント合わせが行われ、テンプレートの取得が行われる。図４（Ｂ）では、第１の被写体２１の顔部分にピント合わせが行われるとともに、当該箇所でテンプレートが取得される。

図４（Ｃ）では、Ｓ１後にＳ１を維持しているので、カメラシステム制御回路５は、被写体追尾モード時の動作を実行する。動作モードが被写体追尾モードであるので、図３のステップＳ１８０からステップＳ１９０の処理がなされる。この時は、ステップＳ１９０で、画像認識によって焦点検出枠が移動する。すなわち、画面内で被写体が移動するような場合には、カメラシステム制御回路５は、Ｓ１の時点でピント合わせを行った個所でピント合わせを継続するとともに選択領域に対応した第２のマーカーを当該位置に表示する。図４（Ｃ）では、追尾マーカー２３（第２のマーカー）が第１の被写体２１の顔（選択領域）に表示されている。この時、注視点マーカー２２は、注視点の検出結果に対応した位置に表示されるので、必ずしも追尾マーカー２３と同じ位置には表示されない。

図４（Ｃ）の例では、ユーザは第２の被写体２４に注目している。したがって、図４に示す表示は、例えば、ユーザがスポーツの撮影をしており、動く被写体が複数ある場合などに、被写体となる候補の選手に一度ピントを合わせ、ピントを維持しつつ、別の被写体を探る場合などに活用できる。球技でボールをパスするような場合には、被写体の切り替えが容易となる。図３のＳ２１０のトリガ検知によってＳ２２０に進み、注視点位置で再度ピント合わせと追尾を開始できるからである。図４（Ｃ）に示すタイミングでユーザが操作ボタン１０ｂを操作してトリガが発生すると、カメラシステム制御回路５は、第２の被写体２４でピント合わせを行い、以降は第２の被写体２４を追尾する。トリガの別の発生方法としては、一度Ｓ１を解除して再度Ｓ１を押せばよい。この操作をすることで、処理が図３のＳ２９０，Ｓ１３０，Ｓ１４０，Ｓ１５０のように進み、注視点位置で再度ピント合わせと追尾を開始できる。

図５は、本実施形態の画像処理装置が表示する撮影画像の他の例を示す図である。
図５に示す例では、第１の被写体３１が主被写体であり、シャッタータイミングを考えている最中に第２の被写体３２が前を横切ったものとする。図５に示す例に類似する場面としては、遊戯会で主被写体の前を他の演技者が横切るような場面が考えられる。図５（Ａ）、（Ｂ）、（Ｃ）は、この順に時間が経過した３つの時間的に異なる画像を示している。図５において図４と同じ機能のものには同じ番号を付した。図５において、３１は第１の被写体を、３２は第２の被写体を示す。図５（Ａ）では、Ｓ１を押した瞬間の状態である。図５（Ｂ）および図５（Ｃ）では、Ｓ１を維持している状態である。

図５（Ａ）から図５（Ｂ）の状態では、カメラシステム制御回路５は、第１の被写体３１に焦点検出枠を設定してピント合わせを行う。この時、ユーザが第１の被写体を注視し続けていれば、注視点マーカー２２と追尾マーカー２３は、ほぼ同じ個所に表示される。ユーザが別の点を注視した場合は、図５には図示していないが、図４に示したように注視点マーカー２２は、検出された注視点の位置に、追尾マーカー２３は、第１の被写体３１上にそれぞれ表示される。

図５（Ｂ）に示すように、第２の被写体が前を横切って、焦点検出枠の不適切な乗り移りが発生した場合を想定する。人の顔同士のように、類似したものが前を横切った場合は、テンプレートマッチングで不適切な焦点検出枠の乗り移りが発生する場合がある。この場合には、図５（Ｂ）に示す状態以降は、第２の被写体３２の顔に焦点検出枠が設定されてピント合わせが行われる。

図５（Ｃ）に示すように、ユーザが第１の被写体を注視している場合には、注視点マーカー２２は第１の被写体３１上に、追尾マーカー２３は第２の被写体３２上に表示される。これにより、ピントが第１の被写体３１から外れてしまったことをユーザが認識できる。図５（Ｃ）の状態において、第１の被写体３１にピントを合わせるためには、図３を参照して説明したように、ユーザは操作ボタン１０ｂを操作してトリガを発生させればよい。図４に示す例と同様に、ユーザがＳ１を解除して再度押しても良い。図５に示すように、ピントの追尾が不適切になった場合に、ユーザに適切な情報を提示することで、ピントの再調整などのきっかけを与えることができる。

また、図５（Ｂ）に示す状態において、被写体の横切りによってテンプレートマッチングのマッチングが良くなくなった場合には、自動的に注視点位置でピントを合わせなおしても良い。例えば、前を横切った被写体が、自動車などもともとのテンプレートとの際が大きい場合には、焦点検出枠の乗り移りではなく、適切な対応点が見つからなくなる。このような場合には、注視点位置でピント合わせを再度行えば良い。横切る被写体が通り過ぎるまではテンプレートの変化が大きく、結果として注視点位置でピント合わせが行われる。その後被写体が通り過ぎると、元の被写体での追尾が再開される。図３では、Ｓ２３０で適切な対応点が見つからなくなり被写体をロストしたか否かの判断がなされる。ロストした場合は、Ｓ２２０で注視点位置でのピント合わせが行われる。これにより、人の前を自動車などが横切った場合でも自動的に注視点で再度のピント合わせが行われ、自動車の通過後に主被写体に再度ピントが合う。

図６は、図４と同じシーンを注視点追尾モードで撮影した場合の撮影画像の例を説明する図である。
図６において、図４と同じものには同じ番号を付している。図６のＳ１のタイミングは図４と異なっている。図６（Ａ）は、Ｓ１の瞬間の状態を示す。図６（Ｂ）および図６（Ｃ）は、Ｓ１を維持している状態を示す。また、図６では、動作モードは、注視点でピント合わせを行い続ける注視点追尾モードであるものとする。すなわち、図６は、図３のＳ１８０からＳ２００に進む場合に対応している。

図６（Ａ）に示すように、Ｓ１の瞬間までは、追尾マーカー２３と注視点マーカー２２とは重なっている。注視点追尾モードでは、その後も追尾マーカーと注視点マーカーとは重なって表示される。図６に示す例では、いずれの検出結果によって追尾を行っているかを明示するためにマーカーの太さを異ならせている。図６（Ａ）および図６（Ｂ）では、検出される注視点に基づいてマーカーを提示する位置を決めているので、注視点マーカー２２を太線で、追尾マーカー２３を細線で示す。図６（Ｃ）では、画像認識により検知される被写体に基づいてマーカーを提示する位置を決めているので、追尾マーカー２３を太線で、注視点マーカー２２を細線で示す。なお、注視点の検出結果と被写体の検知結果のいずれによってマーカーを提示する位置を決めるのかを、マーカーの太さに代えて色の違いによって示してもよい。

図６（Ａ）に示す状態から図６（Ｂ）に示す状態の間は、注視点が適切に検出できているとする。この時、注視点の信頼性は閾値以上であり、図３のＳ２００からＳ２４０に進む場合に対応する。この時は、カメラシステム制御回路５は、注視点の検出結果に基づいてマーカーを提示する位置を決めている。図６（Ｂ）に示す状態から図６（Ｃ）に示す状態に進むいずれかの時間で注視点が適切に検出できなくなったとする。注視点検出は太陽光の迷光などがある場合には適切に動作しない場合がある。この時、注視点の信頼性は閾値以下であり、図３のＳ２００からＳ２５０に進む場合に対応する。この時は、カメラシステム制御回路５は、画像認識により検知される被写体に基づいてマーカーを提示する位置を決めている。図６を参照して説明した表示動作によれば、注視点検出手段の出力が不適切な場合においても、被写体の検知によって追尾を継続し、シャッターチャンスを逃さないようにピントを維持することができる。以上説明したように、本実施形態の画像処理装置によれば、ピントの状態の確認、ピントを合わせる被写体の選択を直感的に行うことが可能な情報をユーザに提示することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１ カメラ本体
２ レンズユニット

Claims (21)

1. 撮影画像を取得する取得手段と、
   前記撮影画像の領域のうち、ユーザが注視する領域である第１の領域を検知する検知手段と、
   前記撮影画像の領域のうち、被写体の領域である第２の領域を決定する決定手段と、
   第１の領域情報と第２の領域情報とを、それぞれ前記撮影画像に重畳させて表示する制御を行う表示制御手段と、を備え、
   前記表示制御手段は、第１の指示手段が操作されるとき、前記第１の領域の位置を示す情報に基づいて前記第１の領域情報及び前記第２の領域情報を表示し、前記第１の指示手段が操作された後、前記第１の領域を示す情報に基づいて、前記第１の領域情報を表示し、前記第２の領域の位置を示す情報に基づいて、前記第２の領域情報を表示することを特徴とする画像処理装置。
2. 前記決定手段は、前記第１の指示手段が操作された後、画像認識を用いて前記第２の領域を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記表示制御手段は、前記第１の指示手段の操作後において、前記第１の指示手段とは異なる第２の指示手段の操作が検知された場合に、前記第１の領域の位置を示す情報に基づいて前記第２の領域情報を表示することを特徴とする請求項２に記載の画像処理装置。
4. 前記表示制御手段は、前記被写体の検知に関する評価値が閾値より低い場合に、前記第１の領域の位置を示す情報に基づいて前記第２の領域情報を表示することを特徴とする請求項３に記載の画像処理装置。
5. 前記第１の指示手段が操作された場合に、前記決定手段は、ピントを合わせる動作に関する動作モードと、撮影状態を示す情報とに基づいて、前記第２の領域を決定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記決定手段は、前記動作モードが第１の動作モードである場合に、前記撮影画像に基づいて決定された被写体の領域の位置に対応する領域を前記第２の領域として決定し、
   前記動作モードが第２の動作モードである場合に、前記第１の領域の位置に対応する領域を前記第２の領域として決定することを特徴とする請求項５に記載の画像処理装置。
7. 前記決定手段は、前記第１の領域にピントを合わせる動作を行う第２の動作モードであって、前記第１の領域の検知に関する評価値が閾値以上である場合に、前記第１の領域の位置に対応する領域を前記第２の領域として決定することを特徴とする請求項６に記載の画像処理装置。
8. 前記決定手段は、前記第１の領域にピントを合わせる動作を行う第２の動作モードであって、前記第１の領域の検知に関する評価値が閾値より低い場合に、前記撮影画像に基づいて決定された被写体の領域を前記第２の領域として決定することを特徴とする請求項６または７に記載の画像処理装置。
9. 前記表示制御手段は、前記第１の指示手段の操作後において、前記第１の領域の検知に関する評価値が閾値より低い場合に、前記第１の領域情報の表示を目立たなくすることを特徴とする請求項６乃至８のいずれか１項に記載の画像処理装置。
10. 前記表示制御手段は、前記第１の指示手段の操作後において、前記第１の領域情報の表示する色を前記第１の領域の検知に関する評価値が閾値より低い場合と前記評価値が閾値以上の場合とで異ならせることを特徴とする請求項９に記載の画像処理装置。
11. 前記表示制御手段は、前記第１の指示手段が操作前は、前記第１の領域を示す情報に基づいて、前記第１の領域情報を表示することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記表示制御手段は時間的に連続して取得される撮影画像のそれぞれについて第１の領域情報と第２の領域情報を重畳して表示することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記第１の領域情報は第１のマーカーであり、前記第２の領域情報は第２のマーカーであることを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 前記第１のマーカーと前記第２のマーカーはそれぞれ大きさと形状の少なくとも１つが異なることを特徴とする請求項１３に記載の画像処理装置。
15. 前記表示制御手段は、前記第１の指示手段が操作された時、前記第１のマーカーと前記第２のマーカーが重なって前記撮影画像上に表示されることを特徴とする請求項１３または１４に記載の画像処理装置。
16. 被写体光を光電変換する撮像素子と、請求項１乃至１５のいずれか１項に記載の画像処理装置と、を備えることを特徴とする撮像装置。
17. 前記第１の指示手段は、撮影準備指示のための操作ボタンであることを特徴とする請求
    項１６に記載の撮像装置。
18. 前記撮影準備指示に応じて、前記第２の領域に合焦するように合焦動作を行い、撮影指
    示によって撮影を行うことを特徴とする請求項１７に記載の撮像装置。
19. 撮影画像を取得する工程と、
    前記撮影画像の領域のうち、ユーザが注視する領域である第１の領域を検知する工程と、
    前記撮影画像の領域のうち、被写体の領域である第２の領域を決定する工程と、
    第１の領域情報と第２の領域情報とを、それぞれ前記撮影画像に重畳させて表示する制御を行う工程と、を有し、
    第１の指示手段が操作されるとき、前記第１の領域の位置を示す情報に基づいて前記第１の領域情報及び前記第２の領域情報を表示し、前記第１の指示手段が操作された後、前記第１の領域を示す情報に基づいて、前記第１の領域情報を表示し、前記第２の領域の位置を示す情報に基づいて、前記第２の領域情報を表示することを特徴とする画像処理装置の制御方法。
20. 請求項１９に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
21. 請求項１９に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読取り可能な記憶媒体。

Images