JP7309451B2 - 撮像装置および制御方法 - Google Patents

Description

本発明は、複数の撮像動作が可能な撮像素子を有し、ライブビュー撮影時の追尾枠制御を行う撮像装置に関する。

従来、ライブビュー画面の表示に用いる画像信号と、追尾枠領域の検出に用いる画像信号とで同じ撮像結果を用いる撮像装置が知られている。このような構成において、表示画像は読出しを行いながら順次更新すること可能である。しかし、枠表示は、画像信号の読出し結果を用いて検出を行うため、読出しが完了するまで枠の更新を行うことができない。その結果、画面表示と枠表示にズレや遅延が生じてしまう。

特許文献１には、記録映像用の撮像素子とは別に追尾用の撮像素子を設けてそれぞれ同一撮影範囲の被写体画像を撮像し、追尾用の撮像素子の映像信号を用いて追尾対象となる被写体を検出しながら追尾枠を表示するオートフォーカスシステムが開示されている。

特開２００５－３３８３５２号公報

しかしながら、特許文献１には、ライブビュー画面の表示に用いる画像信号の撮像と検出用の画像信号の撮像との時間的な関係について言及されていない。実際には、映像信号の蓄積や読出、または被写体検出の処理時間が律速となり、遅延やずれが発生する可能性がある。

そこで本発明は、ライブビュー画像の表示に対して遅延量やズレの少ない追尾領域表示が可能な撮像装置および制御方法を提供することを目的とする。

本発明の一側面としての撮像装置は、撮像素子と、前記撮像素子の第１の読出し動作によって読み出された画像データに基づく画像に、被写体の領域を示す情報を重ねた画像を、ディスプレイに表示させる制御手段と、前記撮像素子の第２の読出し動作によって読み出された画像データから、前記被写体を検出する検出手段と、を有し、前記撮像素子は、前記第１の読出し動作で読み出される第１のフレームの画像データのための蓄積を行う間に、前記第２の読出し動作で読み出される２以上のフレームの画像データのための蓄積を行い、前記制御手段は、前記第１のフレームの画像データに基づく画像に、前記２以上のフレームの画像データのいずれか１つである第２のフレームの画像データから、前記検出手段で検出された前記被写体の領域を示す情報を重ねた画像を生成するものであって、前記第２のフレームの画像データは、前記第１のフレームの画像データに基づく画像が前記ディスプレイに表示される前に、前記検出手段が前記被写体を検出することができるフレームの画像データのうち、前記第１のフレームの画像データの露光重心タイミングにもっとも近いタイミングで蓄積が行われたフレームの画像データである。

本発明の他の側面としての撮像装置は、撮像素子と、前記撮像素子の第１の読出し動作によって読み出された画像データに基づく画像に、被写体の領域を示す情報を重ねた画像を、ディスプレイに表示させる制御手段と、前記撮像素子の第２の読出し動作によって読み出された画像データから、第１の方法と第２の方法で前記被写体を検出する検出手段と、を有し、前記撮像素子は、前記第１の読出し動作で読み出される第１のフレームの画像データのための蓄積を行う間に、前記第２の読出し動作で読み出される２以上のフレームの画像データのための蓄積を行い、前記制御手段は、前記第１のフレームの画像データに基づく画像に、前記２以上のフレームの画像データのいずれか１つである第２のフレームの画像データから、前記検出手段で検出された前記被写体の領域を示す情報を重ねた画像を生成するものであって、前記第２のフレームの画像データは、前記第１のフレームの画像データに基づく画像のうち、前記２以上のフレームの画像データのいずれかにおいて前記第１の方法で検出された前記被写体に対応する領域が前記ディスプレイに表示される前に、前記検出手段が前記第２の方法で前記被写体を検出することができるフレームの画像データのうち、前記第１のフレームの画像データの露光重心タイミングにもっとも近いタイミングで蓄積が行われたフレームの画像データである。
本発明の他の側面としての制御方法は、第１の読出し動作と第２の読出し動作とを行う撮像素子と、ディスプレイと、を有する撮像装置の制御方法であって、前記第２の読出し動作によって読み出された画像データから、被写体を検出する検出ステップと、前記第１の読出し動作によって読み出された画像データに基づく画像に、前記被写体の領域を示す情報を重ねた画像を、前記ディスプレイに表示させる制御ステップと、を有し、前記撮像素子は、前記第１の読出し動作で読み出される第１のフレームの画像データのための蓄積を行う間に、前記第２の読出し動作で読み出される２以上のフレームの画像データのための蓄積を行い、前記制御ステップは、前記第１のフレームの画像データに基づく画像に、前記２以上のフレームの画像データのいずれか１つである第２のフレームの画像データから、前記検出ステップで検出された前記被写体の領域を示す情報を重ねた画像を生成するステップであって、前記第２のフレームの画像データは、前記第１のフレームの画像データに基づく画像が前記ディスプレイに表示される前に、前記検出ステップが前記被写体を検出することができるフレームの画像データのうち、前記第１のフレームの画像データの露光重心タイミングにもっとも近いタイミングで蓄積が行われたフレームの画像データである。
また、本発明の他の側面としての制御方法は、第１の読出し動作と第２の読出し動作とを行う撮像素子と、と、ディスプレイと、を有する撮像装置の制御方法であって、前記第２の読出し動作によって読み出された画像データから、第１の方法と第２の方法で被写体を検出する検出ステップと、前記第１の読出し動作によって読み出された画像データに基づく画像に、前記被写体の領域を示す情報を重ねた画像を、前記ディスプレイに表示させる制御ステップと、を有し、前記撮像素子は、前記第１の読出し動作で読み出される第１のフレームの画像データのための蓄積を行う間に、前記第２の読出し動作で読み出される２以上のフレームの画像データのための蓄積を行い、前記制御ステップは、前記第１のフレームの画像データに基づく画像に、前記２以上のフレームの画像データのいずれか１つである第２のフレームの画像データから、前記検出ステップで検出された前記被写体の領域を示す情報を重ねた画像を生成するステップであって、前記第２のフレームの画像データは、前記第１のフレームの画像データに基づく画像のうち、前記２以上のフレームの画像データのいずれかにおいて前記第１の方法で検出された前記被写体に対応する領域が前記ディスプレイに表示される前に、前記検出ステップが前記第２の方法で前記被写体を検出することができるフレームの画像データのうち、前記第１のフレームの画像データの露光重心タイミングにもっとも近いタイミングで蓄積が行われたフレームの画像データである。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、ライブビュー画像の表示に対して遅延量やズレの少ない追尾領域表示が可能な撮像装置および制御方法を提供することができる。

各実施例における撮像素子の構成図である。 各実施例における撮像素子の画素配列図である。 各実施例における撮像装置の構成図である。 各実施例における撮像装置の表示画像の説明図である。 比較例としての画像表示の制御処理の概念図である。 実施例１における画像表示の制御処理を示すフローチャートである。 実施例１における画像表示の制御処理の概念図である。 実施例１において使用する検出用画像信号を選択し直した場合の画像表示の概念図である。 実施例２における画像表示の制御処理を示すフローチャートである。 実施例２における画像表示の制御処理の概念図である。 実施例２における画像表示の制御処理の概念図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。

まず、図１を参照して、本発明の実施例１における撮像装置の撮像素子の構成について説明する。図１は、本実施例における撮像素子（撮像手段）１００の構成図である。

撮像素子１００は、マトリクス状に配列された複数の画素１０１を有し、水平方向（行方向）において転送信号線１０３、リセット信号線１０４、および、行選択信号線１０５に接続され、垂直方向（列方向）において垂直出力線１０２に接続されている。なお、垂直出力線１０２の各々は読み出し行単位に応じて接続先が異なる。

撮像素子１００は、カラムＡＤＣブロック１１１、行走査回路１１２、列走査回路１１３、タイミング制御回路（画素駆動回路）１１４、切り替スイッチ１１６、フレームメモリ１１７、素子内演算部１１８、リサイズ変換部１１９、Ｐ／Ｓ変換部１２０を有する。切り替スイッチ１１６は、チャンネル毎の水平信号線１１５－ａ、１１５－ｂから出力される画像信号をフレームメモリ１１７に選択的に出力するためのスイッチである。フレームメモリ１１７は、出力された画像信号を画像データとして一時的に記憶する。素子内演算部１１８は、駆動モードに応じてリサイズや圧縮の演算を行う。リサイズ変換部１１９は、素子内演算部１１８にて算出された結果を基にフレームメモリ１１７に保存された画像データを必要な画角にリサイズする。リサイズ変換部１１９においてリサイズされた画像データは、Ｐ／Ｓ変換部１２０にてパラレル・シリアル変換を行い、撮像素子１００外の撮像信号処理回路３０７へ送られる。タイミング制御回路１１４およびフレームメモリ１１７は、撮像素子１００の外部の全体制御演算部（選択手段）３０９により制御される。

撮像素子１００と撮像信号処理回路３０７とは、複数のレーンで接続されており、駆動モードに応じた異なる画素の信号や同一の画素の信号が、メインストリーム１２１およびサブストリーム１２２に振り分けて、またはメインストリームのみから転送される。リサイズや圧縮の処理が不要な場合には、切り替スイッチ１１６から直接Ｐ／Ｓ変換部１２０への転送が行われる。また、駆動モードとして、全画素の読出駆動、垂直方向を１／３や１／９に間引いた読出駆動、水平方向を加算した読出駆動、垂直間引き水平加算の読出駆動などを選択することが可能である。

本実施例では、表示用画像をメインストリームとして垂直方向１／３間引きの読出駆動を、検出用画像をサブストリームとして垂直１／９間引き水平加算の読出駆動を使用する。また、メインストリーム１２１の読み出し行とサブストリーム１２２の読み出し行はそれぞれ異なり、メインストリーム１２１とサブストリーム１２２はそれぞれが異なる撮像設定で独立した動作を行うことができる。

次に、図２を参照して、撮像素子１００の画素配列について説明する。図２は、撮像素子１００の画素配列図である。カラーフィルタにはベイヤー配列が適用され、奇数行の画素には、左から順に赤（Ｒ）と緑（Ｇｒ）のカラーフィルタが交互に設けられる。偶数行の画素には、左から順に緑（Ｇｂ）と青（Ｂ）のカラーフィルタが交互に設けられる。また、オンチップマイクロレンズ２０１がカラーフィルタ２０２の上に構成されている。

次に、図３を参照して、本実施例における撮像装置の構成について説明する。図３は、本実施例における撮像装置３００の構成図である。撮像装置３００は、撮像素子１００を有する。

レンズ部（撮像光学系）３０１は、レンズ駆動部３０２によってズームやフォーカス等が駆動制御される。メカシャッタ３０３および絞り３０４は、シャッタ・絞り駆動部３０５によって駆動制御される。レンズ部３０１を通った被写体像（光学像）は、メカシャッタ３０３や絞り３０４にて適切な光量に調整され、撮像素子１００上の撮像面に結像される。撮像素子１００は、その撮像面に結像した被写体像を光電変換し、さらにゲイン調整、アナログ信号からデジタル信号へのＡ／Ｄ変換を行い、Ｒ、Ｇｒ、Ｇｂ、Ｂの画像信号を撮像信号処理回路３０７へ出力する。なお本実施例において、レンズ部３０１は、撮像素子１００を備えた撮像装置（カメラ本体）３００と一体的に構成されている。ただし本発明は、これに限定されるものではなく、カメラ本体と、カメラ本体に対して着脱可能なレンズ部（交換レンズ）とを備えて構成された撮像装置にも適用可能である。

撮像信号処理回路３０７は、撮像した画像信号を用いて所定の演算処理を行う。全体制御演算部３０９は、撮像信号処理回路３０７による演算結果に基づいて、ＡＥ（自動露光制御）やＡＦ（自動焦点調整制御）を行う。また撮像信号処理回路３０７は、撮像された画像信号を用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。また撮像信号処理回路３０７は、ノイズを軽減するローパスフィルタ処理やシェーディング処理、ＷＢ処理などの各種の撮像信号処理、さらに各種の補正、画像信号の圧縮等を行う。メモリ部I３０８は、撮像信号処理回路３０７で処理された画像信号を一時的に記憶する。全体制御演算部３０９は、撮像装置３００の全体の制御と各種演算を行う。被写体検出部（検出手段）３１０は、全体制御演算部３０９を介して、メモリ部I３０８に記録された検出用画像信号から被写体の検出を行う。検出された被写体の情報は、メモリ部II３１５に保存される。

記録媒体制御インターフェース部３１１は、記録媒体３１３に画像信号の記録または読み出しを行う。表示部（画像表示手段および領域表示手段）３１２は、出力用のデータをライン毎に順次読み出し、画像信号や検出領域の表示を行う。記録媒体３１３は、半導体メモリ等の着脱可能記憶媒体であり、画像信号の記録または読み出しを行う。外部インターフェース部３１４は、外部コンピュータ等と通信を行うために為のインターフェースである。メモリ部II３１５は、全体制御演算部３０９での演算結果を記憶する。

操作部（操作検知手段）３１６にてユーザが設定した撮像装置３００の駆動条件に関する情報は、全体制御演算部３０９に送られる。全体制御演算部３０９は、これらの情報に基づいて撮像装置３００の全体の制御を行う。また操作部３１６は、シャッタスイッチを含む。シャッタスイッチの半押し状態で信号ＳＷ１が、全押し状態で信号ＳＷ２がそれぞれ全体制御演算部３０９に通知される。

次に、図４を参照して、撮像装置３００の表示部３１２に表示される画面（表示画像）について説明する。図４は、撮像装置３００の表示画像の説明図である。図４において、４０１は表示用映像信号を示し、４０２は被写体検出部（検出手段）３１０が検出した被写体に対して枠表示した例を示している。

被写体を検出するための手法には、いくつもの公知技術がある。例えば、顔検出のような画像認識技術を用いて個々の画像から被写体として検出する技術や、動体検出のような被写体領域として指定された領域の動きを検出（追尾）する技術など、多数提案されている。一般的には、これらの手法を複数組み合わせることで顔検出の精度を向上させることができる。本実施例では、顔領域の検出を行う。検出された顔領域の情報は、メモリ部II３１５に保存される。全体制御演算部３０９は、メモリ部II３１５に保存された顔領域の情報に基づいて、ユーザが検出領域を視認可能な表示情報に変換する。本実施例では、検出された領域を囲うような枠を表示用画像信号に重ねて表示する。この他にも座標情報を表示する例などが挙げられる。

次に、図５を参照して、比較例としての画像表示の制御処理について説明する。図５は、比較例としての画像表示の制御処理の概念図である。 蓄積５０１にて蓄積された画像信号は、読出５０２で示されるように読出処理が行われる。読出された画像は、被写体検出部３１０に入力されて顔検出５１３が行われる。

表示開始Ｔ５０９以降、表示５０３で示されるように表示処理が行われる。このとき、表示部３１２には表示画像５０４が出力され、表示画像５０４の被写体に対して枠５１１が遅延やずれが発生することなく表示される。しかしながら、次のフレームでは被写体の位置が変化し、表示部３１２には表示画像５０８が出力されたとする。表示画像５０８は、前述と同様に、蓄積５０５、読出５０６、および、標示開始Ｔ５１０以降の表示５０７の一連の処理が行われて出力されるが、枠５１２の位置は、顔検出５１３で検出した被写体の情報を基に算出される。このため、表示画像５０８の被写体に対して、枠５１２は１フレームの遅延やずれが発生する。

次に、図６および図７を参照して、本実施例における撮像装置３００による画像表示の制御処理について説明する。図６は、本実施例における画像表示の制御処理を示すフローチャートである。図６の各ステップは、主に、全体制御演算部３０９により実行され、例えば全体制御演算部３０９がコンピュータプログラムである画像表示の制御プログラムに従って実行される。図７は、本実施例における画像表示の概念図であり、表示画像、表示用画像の読出駆動、および、検出用画像の読出駆動の関係を示している。

まず、図６のステップＳ６０１において、全体制御演算部３０９は、１フレーム分の画像が表示されるまでの表示制御を開始する。図７において、１フレーム分の表示とは、蓄積Ａ７０１、読出しＡ７０２、および、表示Ａ７０３によって表示更新開始タイミングＴ７２１から表示画像７０４および枠７０５を表示することを指す。全体制御演算部３０９は、枠７０５において、読出駆動Ｂの読出しから得られた画像信号を用いて検出処理および枠更新処理を行う。

この表示制御はステップＳ６２０まで行われ、２フレーム以降の画面表示に関しては同様にステップＳ６０１からステップＳ６２０が繰り返し行われる。図７において、２フレーム目の表示は、蓄積Ａ７０６、読出しＡ７０７、および、表示Ａ７０８によって表示更新開始タイミングＴ７２２から表示画像７０９および枠７１０が表示されることを指す。全体制御演算部３０９は、枠７１０において、読出駆動Ｂの読出しから得られた画像信号を用いて検出処理および枠更新処理を行う。

続いて、図６のステップＳ６０２において、全体制御演算部３０９は、表示用画像の読出しを読出駆動Ａ、検出用画像の読出しを読出駆動Ｂとし、マルチストリーム駆動を設定する。より具体的には、全体制御演算部３０９は、読出駆動Ａ、Ｂの蓄積設定および読出し設定を行う。本実施例において、全体制御演算部３０９は、検出用画像の読出しのフレームレートとして、表示用画像の読出しよりも高速なフレームレートを設定する。

続いてステップＳ６０３において、全体制御演算部３０９は、表示用画像の露光重心（露光重心タイミングＴａ）を算出する。露光重心タイミングＴａは、図７においてＴ７１８で示される。続いてステップＳ６０４において、全体制御演算部（選択手段）３０９は、ステップＳ６０３にて算出した露光重心タイミングＴａに最も近いタイミングで撮像を行った検出用駆動のフレームを選択する。選択されたフレームはＦＢとする。本実施例において、全体制御演算部３０９は、露光重心に最も近いタイミングで蓄積を行った検出用駆動のフレームＦＢを選択する。選択されたフレームＦＢは、図７において蓄積Ｂ７１３および読出しＢ７１４から得られる画像信号である。

続いてステップＳ６０５において、全体制御演算部３０９は、ステップＳ６０４にて選択したフレームＦＢを用いた枠の更新処理が枠更新期限までに完了するかを判定する。更新処理が枠更新期限までに完了する場合、分岐処理ステップＳ６０７および分岐処理ステップＳ６１３へ進む。一方、更新処理が枠更新期限までに完了しない場合、ステップＳ６０６へ進む。本実施例において、全体制御演算部３０９は、図７に示されるように、選択されたフレームＦＢの読出しＢ７１２によって得られた画像信号を用いて画像内の顔領域を検出し、その検出結果に基づいて枠を更新する。選択されたフレームＦＢの読出し完了タイミングＴ７１９から、検出処理時間および枠更新処理時間が経過したタイミングが枠更新完了タイミングＴ７２０である。枠更新期限は、表示更新開始タイミングＴ７２１と同じタイミングである。全体制御演算部３０９は、枠更新完了タイミングＴ７２０が表示更新開始タイミングＴ７２１までに完了するか否かを判定する。図７の例では完了するため、分岐処理ステップＳ６０７および分岐処理ステップＳ７１３へ進む。ステップＳ６０６において、全体制御演算部３０９は、ステップＳ６０４にて選択されたフレームＦＢよりも１フレーム前に撮像されたフレームを選択し直す。なお、この詳細は、図８を参照して後述する。

以降、読出駆動Ａおよび読出駆動Ｂは、並列処理としてステップＳ６０７とステップＳ６１３に分岐する。読出駆動ＡのフレームはＦａ（ｎ）で表され、ステップＳ６０１からステップＳ６２０までの１フレーム分の画像の表示制御に対して、ｎ＝１であるとする。読出駆動Ｂのフレームは、ステップＳ６０１からステップＳ６２０までの１フレーム分の画像の表示制御に対して、ｎ＝１～Ｎ（Ｎはフレームレートに依存する２以上の自然数）であるとする。本実施例では、読出駆動Ａを３０ｆｐｓ、読出駆動Ｂを９０ｆｐｓとして、ｎ＝１～３とする。

ステップＳ６０７において、全体制御演算部３０９は、表示用画像のフレームＦａ（ｎ）に関する処理を開始する。図７において、制御開始タイミングＴ７１７で示される。続いてステップＳ６０８において、全体制御演算部３０９は、フレームＦａ（ｎ）の蓄積処理を行う。この処理は、図７において蓄積Ａ７０１で表される。ｎ＝２の場合、この処理は、図７において蓄積Ａ７０６で表される。続いてステップＳ６０９にて、全体制御演算部３０９は、フレームＦａ（ｎ）の読出処理を行う。この処理は、図７において読出Ａ７０２で表される。続いてステップＳ６１０において、全体制御演算部３０９は、フレームＦａ（ｎ）の表示処理を開始する。この処理は、図７において表示Ａ７０３で表される。続いてステップＳ６１１において、全体制御演算部３０９は、フレームＦａ（ｎ）の表示処理を終了する。この処理は、図７において表示Ａ７０３、表示更新開始タイミングＴ７２２で表される。続いてステップＳ６１２において、全体制御演算部３０９は、フレームＦａ（ｎ）に関する処理を終了する。

ステップＳ６１３において、全体制御演算部３０９は、検出用画像のフレームＦｂ（ｎ）に関する処理を開始する。図７において、この処理は制御開始タイミングＴ７１７で表される。続いてステップＳ６１４において、全体制御演算部３０９は、フレームＦｂ（ｎ）の蓄積処理を行う。この処理は、図７において蓄積Ｂ７１１で表される。ｎ＝２、３の場合、この処理はそれぞれ、図７において蓄積Ｂ７１３、Ｂ７１５で表される。続いてステップＳ６１５において、全体制御演算部３０９は、フレームＦｂ（ｎ）の読出処理を行う。この処理は、図７において読出Ｂ７１２で表される。ｎ＝２、３の場合、この処理はそれぞれ、図７において読出Ｂ７１４、Ｂ７１６で表される。

続いてステップＳ６１６において、全体制御演算部３０９は、フレームＦｂ（ｎ）がステップ６０４にて選択されたフレームＦＢであるか否かを判定する。図７において、ｎ＝１の場合、読出Ｂ７１２で得られる画像信号はフレームＦＢではない。ｎ＝２の場合、読出Ｂ７１２で得られる画像信号はフレームＦＢである。画像信号がフレームＦＢである場合、ステップＳ６１７に進む。一方、画像信号がフレームＦＢでない場合、ステップＳ６１８に進む。

ステップＳ６１７において、全体制御演算部３０９は、フレームＦＢを用いた検出処理および枠更新処理を開始する。更新した枠情報は、図７において表示更新開始タイミングＴ７１７で表示される。ステップＳ６１８において、全体制御演算部３０９は、フレームＦｂ（ｎ）がフレームＦｂ（Ｎ）であるか否かを判定する。フレームＦｂ（ｎ）がフレームＦｂ（Ｎ）である場合、ステップＳ６１９へ進む。一方、フレームＦｂ（ｎ）がフレームＦｂ（Ｎ）でない場合、ステップＳ６１４へ進む。ステップＳ６１４において、全体制御演算部３０９は、ｎ＋１フレームＦｂ（ｎ＋１）の処理を行う。ステップＳ６１９において、全体制御演算部３０９は、フレームＦｂ（ｎ）に関する処理を終了する。

ステップＳ６２０において、全体制御演算部３０９は、１フレーム分の画像が表示されるまでの表示制御を終了する。

次に、図８を参照して、使用する検出用画像信号を選択し直した場合の画像表示について説明する。図８は、使用する検出用画像信号を選択し直した場合の画像表示の概念図であり、表示画像、表示用画像の読出駆動、および、検出用画像の読出駆動の関係を示している。なお、全体制御演算部３０９によるフローチャートは、図６と同様である。

まず、ステップＳ６０１、Ｓ６０２において、全体制御演算部３０９は、前述と同様の制御を行う。続いてステップＳ６０３において、全体制御演算部３０９は、表示用画像の露光重心タイミングＴａを算出する。露光重心タイミングＴａは、図８においてＴ８１８で示される。続いてステップＳ６０４において、全体制御演算部３０９は、ステップＳ６０３にて算出した露光重心タイミングＴａに最も近いタイミングで、撮像を行った検出用駆動のフレームＦＢを選択する。選択されたフレームはＦＢとする。本実施例において、全体制御演算部３０９は、露光重心に最も近いタイミングで蓄積を行った検出用駆動のフレームを選択する。選択されたフレームＦＢは、図８において蓄積Ｂ８０８および読出し８０９から得られる画像信号である。

続いてステップＳ６０５において、全体制御演算部３０９は、ステップＳ６０４にて選択したフレームＦＢを用いた枠の更新処理が枠更新期限までに完了するか否かを判定する。枠更新期限は、表示更新開始タイミングＴ８１３と同じタイミングである。図８の例では、更新処理が枠更新期限までに完了しない判定がなされ、ステップＳ６０６へ進む。

ステップＳ６０６において、全体制御演算部３０９は、ステップＳ６０４にて選択されたフレームＦＢよりも１フレーム前に撮像されたフレームを選択し直す。図８において、読出しＢ８０７によって得られる画像信号が選択し直されている。全体制御演算部３０９が画像信号を選択し直すと、ステップＳ６０５に戻る。図８の例では、ステップＳ６０６でフレームが選択し直されたことで、ステップＳ６０５にて枠更新完了タイミングＴ８１２が表示更新開始タイミングＴ８１３までに間に合うようになった例を示している。このため、分岐処理ステップＳ６０７および分岐処理ステップＳ６１３へ進む。

ステップＳ６０７～Ｓ６２０は、前述と同様の制御である。図８の例では、ステップＳ６１７にて検出処理および枠更新行処理を行うための画像信号には読み出し８０７を用いており、表示画像８０４に表示される枠８０５は読出Ｂ８０７を受けたものである。

このように本実施例において、制御装置は、検出手段（被写体検出部３１０）および選択手段（全体制御演算部３０９）を有する。検出手段は、第一の撮像動作（Ｓ６０８、Ｓ６０９）および第二の撮像動作（Ｓ６１４、Ｓ６１５）が可能な撮像手段（撮像素子１００）により撮像された信号（画像信号）に基づいて、特定の領域を検出する。選択手段は、撮像手段の第一の撮像動作に基づいて、第二の撮像動作の撮像タイミング（Ｂ７１３）を選択する。また検出手段は、選択手段により選択された撮像タイミングで撮像された信号を用いて、特定の領域を検出する。

好ましくは、選択手段は、第一の撮像動作の蓄積タイミング（Ａ７０１）と検出手段による検出結果を使用するタイミング（Ｔ７１９）とに基づいて、第二の撮像動作の撮像タイミング（Ｂ７１３）を選択する。また好ましくは、選択手段は、第一の撮影動作の露光重心（Ｔ７１８）に基づいて、第二の撮像手段の撮像タイミングを選択する。また好ましくは、第二の撮像動作のフレームレートは、第一の撮像動作のフレームレートよりも速い。また好ましくは、制御装置は、検出手段により検出された特定の領域を表示する領域表示手段（全体制御演算部３０９）を有する。より好ましくは、選択手段は、領域表示手段が検出手段による検出結果を使用するタイミング（Ｔ７２１）に基づいて、第二の撮像動作の撮像タイミング（Ｂ７１３）を選択する。また好ましくは、特定の領域は、被写体領域である。

本実施例によれば、表示用画像信号の撮像設定と検出用画像信号の利用タイミングに応じて、検出に用いる画像信号を切り替えることにより、ライブビュー画像の表示に対して遅延量やズレの少ない追尾領域表示が可能になる。

次に、図９乃至図１１を参照して、本発明の実施例２における画像表示の制御処理について説明する。図９は、本実施例における画像表示の制御処理を示すフローチャートである。図９の各ステップは、主に、全体制御演算部３０９により実行され、例えば全体制御演算部３０９がコンピュータプログラムである画像表示の制御プログラムに従って実行される。図１０および図１１は、本実施例における画像表示の概念図であり、表示画像、表示用画像の読出駆動、および、検出用画像の読出駆動の関係を示している。なお本実施例において、撮像装置の基本構成は、実施例１の撮像装置３００と同様であるため、その説明は省略する。

本実施例の前提として、顔検出は顔を構成する複数の部位をそれぞれ認識する必要があり、検出精度が高い反面、演算が複雑で処理に時間を要するため、検出速度において動体検出に劣る。一方、動体検出は複数のフレーム画像間の差分演算によって被写体を検出するため、検出速度が速い反面、被写体の輝度が変化した場合に検出が困難になるなど、検出精度において顔検出に劣る。ただし、検出手段の精度や速度の優劣は、その検出の対象や環境、内容などに依存するため、前述の前提に限定されるものではない。

本実施例では、被写体の検出手段として、前述の顔検出および動体検出を用いる。その意図は、顔検出は動体検出よりも検出精度が高く検出速度が遅いという前提に基づく。ただし、動体検出と同等に検出速度が速ければ顔検出のみを用いてもよく、顔検出と同等に検出精度が高ければ動体検出だけを用いてもよい。また本実施例において、便宜上、これらの検出手段のうち顔検出によるものを「顔検出」、動体検出によるものを「追尾検出」と呼ぶ。それぞれにより検出された被写体の情報には、少なくとも、被写体の位置と範囲（大きさ）が含まれる。

まず、図９のステップＳ９０１において、全体制御演算部３０９は、１フレーム分の画像が表示されるまでの表示制御を開始する。この表示制御はステップＳ９２７まで行われ、２フレーム以降の画像表示に関しても同様に、ステップＳ９０１～Ｓ９２７の処理の繰り返しとなる。

続いてステップＳ９０２において、全体制御演算部３０９は、表示用画像の読出駆動Ａと、検出用画像の読出駆動Ｂの２系統の撮像設定を行う。本実施例において、読出駆動Ｂのフレームレートは、読出駆動Ａのフレームレートよりも速い。続いてステップＳ９０３において、全体制御演算部３０９は、読出駆動Ａの露光重心Ｔａを算出する。この露光重心Ｔａは、図１０においてＴ１０１５、図１１においてＴ１１１５で表される。続いてステップＳ９０４において、全体制御演算部３０９は、読出駆動Ａの露光重心Ｔａに最も近い読出駆動ＢのフレームＦｂ（Ｇ）を算出する。フレームＦｂ（Ｇ）は、図１０において蓄積Ｂ１０１１（読出Ｂ１０１２）、図１１において蓄積Ｂ１１１１（読出Ｂ１１１２）で表される。

以降、読出駆動Ａおよび読出駆動Ｂは並列処理として、ステップＳ９０５とステップＳ９１１に分岐する。読出駆動ＡのフレームはＦａ（ｎ）で表され、ステップＳ９０１～Ｓ９２７の１フレーム分の画像の表示制御に対して、ｎ＝１であるとする。読出駆動ＢのフレームはＦｂ（ｎ）で表され、ステップＳ９０１～Ｓ９２７の１フレーム分の画像の表示制御に対して、ｎ＝１～Ｎ（Ｎはフレームレートに依存する２以上の自然数）であるとする。説明が重複するが、前述した読出駆動Ａの露光重心Ｔａに最も近い読出駆動ＢのフレームはＦｂ（Ｇ）で表される。

ステップＳ９０５において、全体制御演算部３０９は、フレームＦａ（ｎ）に関する処理を開始する。続いてステップＳ９０６において、全体制御演算部３０９は、フレームＦａ（ｎ）の蓄積処理を行う。この処理は、図１０において蓄積Ａ１００１、Ａ１００５、図１１において蓄積Ａ１１０１で表される。続いてステップＳ９０７において、全体制御演算部３０９は、フレームＦａ（ｎ）の読出処理を行う。この処理は、図１０において読出Ａ１００２、Ａ１００６、図１１において読出Ａ１１０２で表される。続いてステップＳ９０８において、全体制御演算部３０９は、フレームＦａ（ｎ）の表示処理を開始する。この処理は、図１０において表示Ａ１００３（Ｔ１０１７）、Ａ１００７（Ｔ１０１９）、図１１において表示Ａ１１０３（Ｔ１１１７）で表される。続いてステップＳ９０９において、全体制御演算部３０９は、フレームＦａ（ｎ）の表示処理を終了する。この処理は、図１０において表示Ａ１００３、Ａ１００７、図１１において表示Ａ１１０３で表される。続いてステップＳ９１０において、全体制御演算部３０９は、フレームＦａ（ｎ）に関する処理を終了する。

ステップＳ９１１において、全体制御演算部３０９は、フレームＦｂ（ｎ）に関する処理を開始する。続いてステップＳ９１２において、全体制御演算部３０９は、フレームＦｂ（ｎ）の蓄積処理を行う。この処理は、図１０において蓄積Ｂ１００９、Ｂ１０１１、Ｂ１０１３、図１１において蓄積Ｂ１１０９、Ｂ１１１１、Ｂ１１１３で表される。続いてステップＳ９１３において、全体制御演算部３０９は、フレームＦｂ（ｎ）の読出処理を行う。この処理は、図１０において蓄積Ｂ１０１０、Ｂ１０１２、Ｂ１０１４、図１１において蓄積Ｂ１１１０、Ｂ１１１２、Ｂ１１１４で表される。続いてステップＳ９１４において、全体制御演算部３０９は、被写体に対する追尾枠が更新済であるか否かを判定する。追尾枠の更新は、後述するステップＳ９２０、Ｓ９２４、Ｓ９２５にて行われる。追尾枠が更新済の場合、ステップＳ９２１へ進む。一方、追尾枠が更新済でない場合、ステップＳ９１５へ進む。

ステップＳ９１５において、全体制御演算部３０９は、フレームＦｂ（ｎ）の追尾検出および顔検出を開始する。この処理は、図１０において追尾検出１０２０、１０２２、１０２４、顔検出１０２１、１０２３、１０２５、図１１において追尾検出１１２０、１１２２、１１２４、顔検出１１２１、１１２３、１１２５で表される。本実施例において、全体制御演算部３０９は、複数の顔検出を同時に動作させている。ただし、複数の顔検出を同時に動作させることができない場合、既に動作している顔検出を停止させた上で新たに顔検出を開始することで対応可能である。

続いてステップＳ９１６において、全体制御演算部３０９は、ステップＳ９１５にて行った追尾検出による被写体の情報を用いて、追尾対象の被写体が表示される時点Ｔｄを算出する。時点Ｔｄは、図１０においてＴ１０１８、図１１においてＴ１１１８で表される。被写体の情報には、表示画像の座標系における被写体の位置に相当する情報を含むため、表示を開始してから被写体が表示される時点Ｔｄまでの時間が算出可能である。すなわち、時点Ｔｄの値は、表示画像上の被写体の位置に依存し、被写体が下部に位置するほど大きく、同一ライン上では右部に位置するほど大きい。

続いてステップＳ９１７において、全体制御演算部３０９は、被写体の顔検出時間がステップＳ９１６にて算出した時点Ｔｄを超えないか否かを判定する。顔検出時間は、前回のフレームに対する処理の実績値を用いる。また、時点Ｔｄは、図１０における顔検出１０２１、１０２３、１０２５それぞれとＴ１０１８、図１１における顔検出１１２１、１１２３、１１２５それぞれとの時間的な関係により導き出される。その結果、図１０において顔検出１０２１、１０２３は時点Ｔｄを超えないと判定され、顔検出１０２５は時点Ｔｄを超えると判定される。また、図１１において、顔検出１１２１、１１２３、１１２５は時点Ｔｄを超えると判定される。時点Ｔｄを超えない場合、ステップＳ９１８へ進む。一方、時点ｔｄを超える場合、ステップＳ９２２へ進む。図１１は、顔検出時間が長い場合の概念図を示しており、いずれの顔検出も枠１１１６の更新に間に合わない。そのような場合の対応として、ステップＳ９２２以降の処理が行われる。

ステップＳ９１８において、全体制御演算部３０９は、フレームＦｂ（ｎ）がＦｂ（Ｇ）であるか否かを判定する。フレームＦｂ（ｎ）がＦｂ（Ｇ）である場合、ステップＳ９２０へ進む。一方、フレームＦｂ（ｎ）がＦｂ（Ｇ）でない場合、ステップＳ９１９へ進む。ステップＳ９１９において、全体制御演算部３０９は、フレームＦｂ（ｎ＋１）の被写体の顔検出時間がステップＳ９１５にて算出した時点Ｔｄを超えるか否かを判定する。顔検出時間が時点Ｔｄを超える場合、ステップＳ９２０へ進む。一方、顔検出時間が時点Ｔｄを超えない場合、ステップＳ９１２へ進み、全体制御演算部３０９はフレームＦｂ（ｎ＋１）の処理を行う。

ステップＳ９２０において、全体制御演算部３０９は、ステップＳ９１５にて行った顔検出による被写体の情報を用いて、追尾対象の被写体に対する追尾枠を更新する。この処理の結果は、図１０における枠１０１６で表される。続いてステップＳ９２１において、全体制御演算部３０９は、フレームＦｂ（ｎ）がＦｂ（Ｎ）であるか否かを判定する。フレームＦｂ（ｎ）がＦｂ（Ｎ）の場合、ステップＳ９２６へ進む。一方、フレームＦｂ（ｎ）がＦｂ（Ｎ）でない場合、ステップＳ９１２へ進み、全体制御演算部３０９はフレームＦｂ（ｎ＋１）の処理を行う。

ステップＳ９２２にて、全体制御演算部３０９は、ＳＷ１またはＳＷ２中であるか否かを判定する。ＳＷ１またはＳＷ２中である場合、ステップＳ９２３へ進む。一方、ＳＷ１またはＳＷ２中のいずれでもない場合、ステップＳ９２５へ進む。ステップＳ９２２を通過する場合、ステップＳ９１７にて説明したように、顔検出時間が律速となって枠１１１６の更新に間に合わない場合である。この場合、本実施例において、全体制御演算部３０９は、ＳＷ１またはＳＷ２中であれば追尾速度を重視する目的で、追尾検出による被写体の情報を用いて追尾枠を更新する。一方、ＳＷ１またはＳＷ２中でない場合、全体制御演算部３０９は、前回のフレームでの顔検出による被写体の情報を用いて追尾枠を更新する。これらは、以降のステップＳ９２３～Ｓ９２５で説明する。

ステップＳ９２３において、全体制御演算部３０９は、フレームＦｂ（ｎ）がＦｂ（Ｇ）であるか否かを判定する。フレームＦｂ（ｎ）がＦｂ（Ｇ）である場合、ステップＳ９２４へ進む。一方、フレームＦｂ（ｎ）がＦｂ（Ｇ）でない場合、ステップＳ９１２へ進み、全体制御演算部３０９はフレームＦｂ（ｎ＋１）の処理を行う。

ステップＳ９２４において、全体制御演算部３０９は、ステップＳ９１５にて行った追尾検出による被写体の情報を用いて、追尾対象の被写体に対する追尾枠を更新する。この処理の結果は、図１１における枠１１１６で表される。ステップＳ９２５において、全体制御演算部３０９は、前回のフレームでのステップＳ９１５にて行った顔検出による被写体の情報を用いて、追尾対象の被写体に対する追尾枠を更新する。この処理の結果は、図１１における枠１１１６で表される。

ステップＳ９２６において、全体制御演算部３０９は、フレームＦｂ（ｎ）に関する処理を終了する。続いてステップＳ９２７において、全体制御演算部３０９は、１フレーム分の画像が表示されるまでの表示制御を終了する。

このように本実施例において、制御装置は、検出手段（被写体検出部３１０）、画像表示手段（表示部３１２）、および、領域表示手段（表示部３１２）を有する。検出手段は、第一の撮像動作（Ｓ９０６～Ｓ９０７）および第二の撮像動作（Ｓ９１２～Ｓ９１３）が可能な撮像手段（１００）により撮像された信号に基づいて、画像内の被写体を検出する。画像表示手段は、第一の撮像動作による画像を表示する（Ｓ９０８～Ｓ９０９）。領域表示手段は、検出手段により検出された被写体領域を表示する。検出手段は、第二の撮像動作により撮像された画像を用いて被写体を検出する（Ｓ９２０）。領域表示手段は、画像表示手段により追尾対象の被写体が表示される時点（Ｔｄ：Ｓ９１５）までに検出手段による検出が完了する（Ｓ９１７）画像から選択された特定の画像を用いて検出された被写体領域を表示する。特定の画像は、第一の撮像動作における露光時点（Ｔａ）に最も近い（Ｓ９０４、Ｓ９１８）蓄積による画像である（Ｓ９２０、Ｓ９２１）。

好ましくは、露光時点は、露光重心である。また好ましくは、第二の撮像動作のフレームレートは、第一の撮像動作のフレームレートよりも速い。また好ましくは、検出手段は、第一の検出処理と、第一の検出処理よりも速い第二の検出処理が可能であり、追尾対象の被写体が表示される時点は、第二の検出処理により検出された被写体の情報に基づいて算出される（Ｓ９１５）。より好ましくは、第一の検出処理は顔検出処理であり、第二の検出処理は追尾検出処理である。また好ましくは、制御装置は、特定の操作を検知する操作検知手段（操作部３１６）を有する。追尾対象の被写体が表示される時点までに第一の検出処理が完了する画像が存在しない場合（Ｓ９１７でＮｏ）、領域表示手段は、操作検知手段による検知内容に応じて（Ｓ９２３）、特定の画像を用いて検出された被写体領域を表示する。特定の画像は、前記時点までに第二の検出処理が完了する画像から選択された画像である。特定の画像は、第一の撮像動作における露光時点に最も近い（Ｓ９０４、Ｓ９２４）蓄積による画像である（Ｓ９１４、Ｓ９２５）。より好ましくは、特定の操作は、シャッターボタンの半押し、全押し、または、追尾対象の指定の少なくとも一つである。

本実施形態によれば、追尾対象の被写体が表示される時点までに、最適な被写体検出用の画像を用いて、その追尾枠の更新を終えるようにすることで、被写体に対する追尾枠を遅延やずれが発生することなく表示することができる。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、ライブビュー画像の表示に対して遅延量やズレの少ない追尾領域表示が可能な制御装置、撮像装置、制御方法、および、プログラムを提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。上述の実施例の一部を適宜組み合わせることも可能である。

３０９ 全体制御演算部（選択手段）
３１０ 被写体検出部（検出手段）

Claims (7)

1. 撮像素子と、
   前記撮像素子の第１の読出し動作によって読み出された画像データに基づく画像に、被写体の領域を示す情報を重ねた画像を、ディスプレイに表示させる制御手段と、
   前記撮像素子の第２の読出し動作によって読み出された画像データから、前記被写体を検出する検出手段と、を有し、
   前記撮像素子は、前記第１の読出し動作で読み出される第１のフレームの画像データのための蓄積を行う間に、前記第２の読出し動作で読み出される２以上のフレームの画像データのための蓄積を行い、
   前記制御手段は、前記第１のフレームの画像データに基づく画像に、前記２以上のフレームの画像データのいずれか１つである第２のフレームの画像データから、前記検出手段で検出された前記被写体の領域を示す情報を重ねた画像を生成するものであって、
   前記第２のフレームの画像データは、前記第１のフレームの画像データに基づく画像が前記ディスプレイに表示される前に、前記検出手段が前記被写体を検出することができるフレームの画像データのうち、前記第１のフレームの画像データの露光重心タイミングにもっとも近いタイミングで蓄積が行われたフレームの画像データである
   ことを特徴とする撮像装置。
2. 前記撮像素子は、前記第１の読出し動作によって読み出された画像データを出力する第１のレーンと、前記第２の読出し動作によって読み出された画像データを出力する第２のレーンを有することを特徴とする請求項１に記載の撮像装置。
3. 前記撮像素子は、第１のラインにおける画素に対して前記第１の読出し動作を行い、第２のラインにおける画素に対して前記第２の読出し動作を行うことを特徴とする請求項２に記載の撮像装置。
4. 撮像素子と、
   前記撮像素子の第１の読出し動作によって読み出された画像データに基づく画像に、被写体の領域を示す情報を重ねた画像を、ディスプレイに表示させる制御手段と、
   前記撮像素子の第２の読出し動作によって読み出された画像データから、第１の方法と第２の方法で前記被写体を検出する検出手段と、を有し、
   前記撮像素子は、前記第１の読出し動作で読み出される第１のフレームの画像データのための蓄積を行う間に、前記第２の読出し動作で読み出される２以上のフレームの画像データのための蓄積を行い、
   前記制御手段は、前記第１のフレームの画像データに基づく画像に、前記２以上のフレームの画像データのいずれか１つである第２のフレームの画像データから、前記検出手段で検出された前記被写体の領域を示す情報を重ねた画像を生成するものであって、
   前記第２のフレームの画像データは、
   前記第１のフレームの画像データに基づく画像のうち、前記２以上のフレームの画像データのいずれかにおいて前記第１の方法で検出された前記被写体に対応する領域が前記ディスプレイに表示される前に、前記検出手段が前記第２の方法で前記被写体を検出することができるフレームの画像データのうち、前記第１のフレームの画像データの露光重心タイミングにもっとも近いタイミングで蓄積が行われたフレームの画像データである
   ことを特徴とする撮像装置。
5. 前記第１の方法は追尾であり、前記第２の方法は顔検出であることを特徴とする請求項４に記載の撮像装置。
6. 第１の読出し動作と第２の読出し動作とを行う撮像素子と、ディスプレイと、を有する撮像装置の制御方法であって、
   前記第２の読出し動作によって読み出された画像データから、被写体を検出する検出ステップと、
   前記第１の読出し動作によって読み出された画像データに基づく画像に、前記被写体の領域を示す情報を重ねた画像を、前記ディスプレイに表示させる制御ステップと、を有し、
   前記撮像素子は、前記第１の読出し動作で読み出される第１のフレームの画像データのための蓄積を行う間に、前記第２の読出し動作で読み出される２以上のフレームの画像データのための蓄積を行い、
   前記制御ステップは、前記第１のフレームの画像データに基づく画像に、前記２以上のフレームの画像データのいずれか１つである第２のフレームの画像データから、前記検出ステップで検出された前記被写体の領域を示す情報を重ねた画像を生成するステップであって、
   前記第２のフレームの画像データは、前記第１のフレームの画像データに基づく画像が前記ディスプレイに表示される前に、前記検出ステップが前記被写体を検出することができるフレームの画像データのうち、前記第１のフレームの画像データの露光重心タイミングにもっとも近いタイミングで蓄積が行われたフレームの画像データである
   ことを特徴とする制御方法。
7. 第１の読出し動作と第２の読出し動作とを行う撮像素子と、ディスプレイと、を有する撮像装置の制御方法であって、
   前記第２の読出し動作によって読み出された画像データから、第１の方法と第２の方法で被写体を検出する検出ステップと、
   前記第１の読出し動作によって読み出された画像データに基づく画像に、前記被写体の領域を示す情報を重ねた画像を、前記ディスプレイに表示させる制御ステップと、を有し、
   前記撮像素子は、前記第１の読出し動作で読み出される第１のフレームの画像データのための蓄積を行う間に、前記第２の読出し動作で読み出される２以上のフレームの画像データのための蓄積を行い、
   前記制御ステップは、前記第１のフレームの画像データに基づく画像に、前記２以上のフレームの画像データのいずれか１つである第２のフレームの画像データから、前記検出ステップで検出された前記被写体の領域を示す情報を重ねた画像を生成するステップであって、
   前記第２のフレームの画像データは、
   前記第１のフレームの画像データに基づく画像のうち、前記２以上のフレームの画像データのいずれかにおいて前記第１の方法で検出された前記被写体に対応する領域が前記ディスプレイに表示される前に、前記検出ステップが前記第２の方法で前記被写体を検出することができるフレームの画像データのうち、前記第１のフレームの画像データの露光重心タイミングにもっとも近いタイミングで蓄積が行われたフレームの画像データである
   ことを特徴とする制御方法。