WO2012124669A1

WO2012124669A1 - 撮像装置及びその制御方法

Info

Publication number: WO2012124669A1
Application number: PCT/JP2012/056348
Authority: WO
Inventors: 将平船本
Original assignee: キヤノン株式会社
Priority date: 2011-03-17
Filing date: 2012-03-13
Publication date: 2012-09-20
Also published as: RU2013146332A; JPWO2012124669A1; JP5925186B2; US8743209B2; RU2549143C1; US20120300083A1

Abstract

　撮像装置の連写中における被写体追尾機能の精度の向上を実現する撮像装置を提供する。この撮像装置は、本画像の撮像と次の本画像の撮像を行う合間に、複数の補助画像を撮像する撮像手段と、主被写体を決定する主被写体決定手段と、複数の補助画像のうちの第１の補助画像のその一部である第１の領域から、主被写体と同一の被写体が存在する領域を検出する第１の被写体追尾処理手段と、複数の補助画像のうちの第２の補助画像の第１の領域よりも広い第２の領域から、主被写体と同一の被写体が存在する領域を検出する第２の被写体追尾処理手段とを有し、第１の被写体追尾処理手段による検出の結果を次の本画像の撮像より前に行う焦点調節に用い、第２の被写体追尾処理手段による検出の結果を次の本画像の撮像の後に行う主被写体と同一の被写体が存在する領域の検出に用いる。

Description

撮像装置及びその制御方法

　本発明は、複数の静止画を連続撮像する連写機能と被写体追尾機能を有する撮像装置及びその制御方法に関する。

　被写体の明るさや被写体の位置は、時間の経過とともに変化する。そのため、連写機能を有する撮像装置を用いて静止画の連写を行う場合には、静止画を撮像する毎に、露出や焦点を調節しなければならなかった。そこで、直前に撮像した静止画から次の静止画のための露出調節値を求める撮像装置や、撮像素子とは別に設けたＡＥ（auto exposure）センサーおよびＡＦ（auto focus）センサーなどから得られる情報を用いて、露出と焦点を自動的に調節しながら連写を行う機能を備えた撮像装置が存在する。さらに、連写中に得られる画像データを用いて被写体を追尾したり、人物の顔情報を検出したりといった機能を備えたカメラも存在する。

　例えば、下記の特許文献１には、連写モードのときに、直前に得られた静止画から被写体を検出し、この被写体に焦点を追従させた状態で、次のフレームの静止画を撮像する一眼レフカメラが記載されている。

特開２０１０－７２２８３号公報

　しかしながら、上述の特許文献１に記載の技術では、被写体検出処理に用いる画像を撮像してから、その被写体の位置を基準に焦点検出処理を行うまでの間に、１回のミラーダウン動作を挟んでいる。そのため、被写体を検出してから、その被写体の位置における焦点情報を得るまでの間に、多少の時間差があるため、被写体検出処理のときの被写体の位置と、焦点検出処理のときの被写体の位置に許容できないズレが生じてしまうことがある。ゆえに、撮像装置の被写体追尾機能について、まだ改善の余地があると考えられる。

　また、このようなミラーを有していないミラーレスの一眼カメラにおいても、被写体の検出を開始してから、その被写体に対して焦点調節を行うまでの時間が短いほうが、上記のようなズレを抑制することができる。

　本発明は、このような問題点に鑑みてなされたものであり、撮像装置の連写中における被写体追尾機能の向上を実現する仕組みを提供することを目的とする。

　本発明の請求項１に係る発明は、連写モード時に複数の本画像を撮像する撮像装置であって、本画像の撮像と次の本画像の撮像を行う合間に、複数の補助画像を撮像する撮像手段と、主被写体を決定する主被写体決定手段と、複数の補助画像のうちの第１の補助画像のその一部である第１の領域から、主被写体と同一の被写体が存在する領域を検出する第１の被写体追尾処理手段と、複数の補助画像のうちの第２の補助画像の第１の領域よりも広い第２の領域から、主被写体と同一の被写体が存在する領域を検出する第２の被写体追尾処理手段とを有し、第１の被写体追尾処理手段による検出の結果を次の本画像の撮像より前に行う焦点調節に用い、第２の被写体追尾処理手段による検出の結果を次の本画像の撮像の後に行う主被写体と同一の被写体が存在する領域の検出に用いることを特徴とするものである。

　本発明によれば、撮像装置の連写中における被写体追尾機能の精度を向上させることができる。

第１の実施形態に係る撮像装置の機械的構成の一例を示す模式図である。第１の実施形態に係る撮像装置の測距点配置を示す模式図である。第１の実施形態に係る撮像装置の電気的構成の一例を示す模式図である。第１の実施形態に係る撮像装置の連写モード時の処理手順の一例を示すフローチャートである。第１の実施形態に係る追尾範囲を説明するための図である。第１の実施形態に係る各処理が行われるタイミングを説明するための図である。第２の実施形態に係る撮像装置の機械的構成の一例を示す模式図である。第２の実施形態に係る撮像素子の位相差検出用の画素の構成を示す図である。第２の実施形態に係る撮像装置の測距点配置を示す模式図である。第２の実施形態に係る撮像装置の電気的構成の一例を示す模式図である。第２の実施形態に係る撮像装置の連写モード時の処理手順の一例を示すフローチャートである。第２の実施形態に係る追尾範囲を説明するための図である。

　以下に、図面を参照しながら、本発明を実施するための好適な形態について説明する。

[規則91に基づく訂正 10.07.2012]　
　（第１の実施形態）
　まず、図１乃至図６を参照して、本発明の第１の実施形態に係る撮像装置について説明する。

　図１は、第１の実施形態に係る撮像装置である、デジタル一眼レフカメラの機械的構成の一例を示す模式図である。

　図１の撮像装置２００において、カメラ本体２０１の前面には、撮影レンズユニット２０２が装着されている。カメラ本体２０１は、装着する撮影レンズユニット２０２を、別の撮影レンズユニットと交換することが可能である。このカメラ本体２０１と撮影レンズユニット２０２は、不図示のマウント接点群を介して通信を行う。撮影レンズユニット２０２の内部にはレンズ群２１３と絞り２１４がある。カメラ本体２０１は、前記マウント接点群を介した通信制御により、絞り２１４の開口径を調節してカメラ内に取り込む光量を調整し、レンズ群２１３の位置を調節してピント位置を調節することができる。

　メインミラー２０３は、ハーフミラーで構成されている。このメインミラー２０３は、静止画を撮影するための本撮影時以外は、撮影光路上に斜設されている。この状態では、撮影レンズユニット２０２からの光束の一部が、メインミラー２０３で反射されてファインダー光学系へ導かれる一方、メインミラー２０３を透過した残りの光束は、サブミラー２０４で反射されてＡＦユニット２０５へ導かれる。

　ＡＦユニット２０５は、位相差検出方式のＡＦセンサーで構成されている。ＡＦユニット２０５は、撮影レンズユニット２０２の２次結像面を、焦点検出ラインセンサー上に形成している。カメラ本体２０１は焦点検出ラインセンサーの出力から撮影レンズユニット２０２の焦点調節状態を検出し、その検出結果をもとにレンズ群２１３を駆動するための制御信号を出力して自動焦点調節を行う。位相差検出方式による焦点検出は公知の技術であるため、具体的な制御に関してはここでは省略する。

　図２は、第１の実施形態に係る撮像装置の測距点配置を示す模式図である。

　ＡＦユニット２０５は、例えば、図２に示す測距点レイアウトを持つ。

　図１のピント板２０６は、ファインダー光学系を構成する撮影レンズユニット２０２の予定結像面に配置されたものであり、ペンタプリズム２０７は、ファインダー光路変更用のペンタプリズムである。

　撮影者はアイピース２０９を介してピント板２０６を観察することによって、撮像対象を視認することができる。

　ＡＥユニット（ＡＥセンサー）２０８は、被写体の明るさを観測するため、二次元に配置された多数の画素の出力より、被写体輝度に関する出力を得ることができる。本実施形態においてＡＥセンサーは、図２で示される外枠の領域（撮像範囲）を観測しており、Ｒ（赤）、Ｇ（緑）及びＢ（青）のそれぞれの色フィルタに対応した画素が、色フィルタ別にストライプ状に配列されたものである。本実施形態においては、ＡＥセンサー２０８において被写体の明るさを観測すると同時に、ＡＥセンサー２０８で得られる画像データを用いて、被写体の追尾処理を行う。

　また、カメラ本体２０１の内部には、フォーカルプレーンシャッター２１０、撮像素子２１１が備えられている。露光を行う際は、メインミラー２０３及びサブミラー２０４は、光束を遮らないようにピント板２０６に隣接するように退避し、フォーカルプレーンシャッター２１０が開くことにより、撮像素子２１１が露光される。ここで、以降は混同を避けるために、画像データの保存を目的とした撮像素子２１１による撮像を「本撮像」、ＡＥセンサー２０８による撮像を「補助撮像」と呼ぶこととする。また、本撮像よって生成される画像データを「本画像データ」、補助撮像によって生成される画像データを「補助画像データ」と呼ぶこととする。つまり、本画像データを生成する撮像素子２１１が第１の撮像素子として機能し、補助画像データを生成するＡＥセンサー２０８が第２の撮像素子として機能する。

　また、ディスプレイユニット２１２は、撮影情報や撮影画像を表示し、ユーザーがその内容を確認できるようにするものである。

　次に、本実施形態に係る撮像装置の電気的構成について説明する。
　図３は、第１の実施形態に係る撮像装置２００の電気的構成の一例を示す模式図である。なお、図１と同じ部材については、同一の符号を付している。

　図３の操作検出部３０８は、ユーザーが、カメラ本体２０１に取り付けられたボタン、スイッチ、またはダイヤル等を介して行った操作を検知し、操作内容に応じた信号をシステム制御部３０３へ送る。特に、操作検出部３０８は、レリーズボタンが半押しされた瞬間にＳＷ１信号をシステム制御部３０３に出力し、レリーズボタンが押し込まれた瞬間にＳＷ２信号をシステム制御部３０３に出力する。ここで、ユーザーがレリーズボタンの半押しを維持した状態を「ＳＷ１保持状態」と呼び、レリーズボタンの押し込みを維持した状態を「ＳＷ２保持状態」と呼ぶことにする。また、操作検出部３０８は、ユーザーがＳＷ１保持状態においてレリーズボタンを離した瞬間にＳＷ１解除信号をシステム制御部３０３に出力し、ＳＷ２保持状態においてレリーズボタンを離した瞬間にＳＷ２解除信号をシステム制御部３０３に出力する。

　ミラー制御部３０９は、システム制御部３０３から送られてくる制御信号に基づいてメインミラー２０３及びサブミラー２０４の動作を制御する。

　システム制御部３０３は、操作検出部３０８からＳＷ１信号を受け取ったとき、及び連写モードのミラーダウン状態のときに、ＡＦユニット２０５の各測距点に対応するラインセンサーから蓄積データを読み出し、焦点調節を行う測距点の選択と焦点調節演算を行う。そして、システム制御部３０３は、演算結果に基づくレンズ駆動信号をレンズ駆動部３１４へ送る。

　レンズ駆動部３１４は、システム制御部３０３から送られてきたレンズ駆動信号に基づいてレンズ群２１３を動かし、合焦動作を行う。

　撮像素子２１１は、レンズ群２１３を通して入射してきた光を電気信号に変換して画像データを生成し、システム制御部３０３へ当該画像データを出力する。システム制御部３０３は、撮像素子２１１から出力された画像データをディスプレイ制御部３１２へ出力するとともに、画像記憶装置３１１へ書き込む（記憶する）。

　ディスプレイ制御部３１２は、システム制御部３０３からの画像データの出力に基づいて、当該画像データに基づく画像をディスプレイに表示する。

　メインメモリ３０７は、システム制御部３０３及びＡＥ画像処理部３０４が行う演算に必要なデータを格納するための記憶装置である。

　ＡＥ画像処理部３０４は、ＡＥセンサー２０８から読み出した画像データに基づいて露出調節演算を行い、演算結果をシステム制御部３０３に出力する。システム制御部３０３は、ＡＥ画像処理部３０４から出力された露出調節演算の結果に基づいて、絞り制御信号を絞り制御部３１３に送る。また、システム制御部３０３は、レリーズ時にシャッター制御信号をシャッター制御部３１０に送る。

　絞り制御部３１３は、システム制御部３０３から受け取った絞り制御信号に基づいて絞り２１４を駆動する。

　シャッター制御部３１０は、システム制御部３０３から送られてくるシャッター制御信号に基づいてフォーカルプレーンシャッター２１０を駆動する。

　また、ＡＥ画像処理部３０４は、連写モードのときに被写体追尾処理を行い、ＡＥセンサー２０８から読み出した補助画像データ中の主被写体位置を検出する。ここで、上述した被写体追尾処理は、第１の被写体追尾処理と第２の被写体追尾処理との２種類のアルゴリズムを有する。このうち、第１の被写体追尾処理の結果はシステム制御部３０３に出力され、第２の被写体追尾処理の結果はメインメモリ３０７に記録される。２種類の被写体追尾処理のアルゴリズムについては後述する。

　システム制御部３０３は、ＡＥ画像処理部３０４から出力された第１の被写体追尾処理の結果に基づいて、図２の測距点群の中から１つの測距点を選択する。そして、選択した測距点の焦点調節演算の結果に基づいてレンズ駆動部３１４へレンズ駆動信号を送る。

　次に、本実施形態に係る撮像装置の、連写モードが設定されているときの動作について説明する。

　図４は、第１の実施形態に係る撮像装置の連写モード時の処理手順の一例を示すフローチャートである。本実施形態の撮像装置は、連写モード時に複数のフレームの静止画を撮像する。

　ステップＳ４０１乃至ステップＳ４０５は、ＳＷ１保持状態で行われる処理であり、連写の準備動作に該当する。ステップＳ４０６乃至ステップＳ４１６は、上述した連写の準備動作の完了後に、レリーズボタンが押し込まれてＳＷ２保持状態になると行われる処理である。

　ユーザーがレリーズボタンを半押しし、操作検出部３０８からＳＷ１信号がシステム制御部３０３に出力されると、図４のフローチャートの処理が開始される。以下に、個々のステップについての説明を行う。

　まず、ステップＳ４０１において、システム制御部３０３は、ＡＦユニット２０５の出力に基づいて、測距点の選択と焦点調節演算を行う。例えば、システム制御部３０３は、撮像装置２００に対して至近となる位置に存在するとみなされる被写体に重畳している測距点を選択する。

　続いて、ステップＳ４０２において、ＡＥ画像処理部３０４は、ＡＥセンサー２０８から補助画像データを読み出し、ステップＳ４０１で選択された測距点を中心とする一定の領域を抽出する。そして、ＡＥ画像処理部３０４（或いはシステム制御部３０３）は、抽出された領域の画像データ、及び、補助画像データ中における抽出された領域の中心座標をメインメモリ３０７に記録する。これらは、後述する追尾処理に用いられる。ここで、以降は、メインメモリ３０７に記録されている前記抽出された領域の画像データを「テンプレート画像データ」と呼び、前記抽出された領域の中心座標を「直前の被写体位置」と呼ぶことにする。ここで、後述する図５に示すように、テンプレート画像データは主被写体に係るものであり、このテンプレート画像データを抽出するＡＥ画像処理部３０４は、連写の開始前に主被写体を決定する主被写体決定手段を構成する。

　続いて、ステップＳ４０３において、ＡＥ画像処理部３０４は、ステップＳ４０２でＡＥセンサー２０８から読み出した補助画像データを用いて露出演算を行い、その結果をシステム制御部３０３に出力する。

　続いて、ステップＳ４０４において、システム制御部３０３は、ステップＳ４０１の焦点調節演算結果、及び、ステップＳ４０３の露出演算結果に基づいて、絞り制御部３１３及びレンズ駆動部３１４へ制御信号を送る。これにより、絞り制御部３１３は、制御信号に基づいて絞り（露出）を調節し、レンズ駆動部３１４は、制御信号に基づいて焦点を調節する。

　次のステップＳ４０５は、ユーザーの次の操作を待つステップである。具体的に、ステップＳ４０５において、システム制御部３０３は、ユーザーがレリーズボタンを離すか（ＳＷ１解除）、或いは、レリーズボタンを押し込むか（ＳＷ２入力）の動作を行うまで待機する。そして、システム制御部３０３は、操作検出部３０８から、ＳＷ１解除信号或いはＳＷ２信号が入力された場合に、ステップＳ４０６へ進む。

　ステップＳ４０６に進むと、システム制御部３０３は、ステップＳ４０５の待機状態を解除する信号が入力された際に、入力された信号がＳＷ２信号であるか否かを判断する。この判断の結果、入力された信号がＳＷ２信号でない（ＳＷ１解除信号である）場合には、図４のフローチャートにおける連写処理を終了し、一方、入力された信号がＳＷ２信号である場合には、ステップＳ４０７へ進んで連写を開始する。

　なお、連写開始後の処理において、ステップＳ４０７乃至ステップＳ４０９と、ステップＳ４１５乃至ステップＳ４１６とは並行して行われる。そのため、本実施形態では、システム制御部３０３がステップＳ４０７乃至ステップＳ４０９を処理し、ＡＥ画像処理部３０４がステップＳ４１５乃至ステップＳ４１６を処理することによる並列処理を行う。

　ステップＳ４０７乃至ステップＳ４０９は、システム制御部３０３が、本撮像を行う処理である。

　まず、ステップＳ４０７において、システム制御部３０３は、ミラー制御部３０９へ制御信号を送り、メインミラー２０３をアップさせて、本撮影時の光路から退避させる。

　続いて、ステップＳ４０８において、システム制御部３０３は、シャッター制御部３１０へ制御信号を送ってレリーズを行い、撮像素子２１１に露光して本撮像を行う。そして、システム制御部３０３は、撮像素子２１１で生成された画像データを読み込み、これを画像記憶装置３１１へ記録（記憶）する。

　続いて、ステップＳ４０９において、システム制御部３０３は、ミラー制御部３０９へ制御信号を送り、メインミラー２０３及びサブミラー２０４をダウンさせ、本撮影時の光路に侵入させる。

　なお、ステップＳ４１５乃至ステップＳ４１６の処理については後述する。

　続いて、ステップＳ４１０において、システム制御部３０３は、ＳＷ２保持状態が解除されたか否かを判断する。この判断の結果、既にＳＷ２解除信号を受け取っていてＳＷ２保持状態が解除された場合には、図４のフローチャートにおける連写処理を終了し、一方、ＳＷ２解除信号を受け取っておらずＳＷ２保持状態が解除されていない場合には、ステップＳ４１１へ進む。

　ステップＳ４１１に進むと、ＡＥ画像処理部３０４は、第１の被写体追尾処理による主被写体位置の検出を行う。この際、第１の被写体追尾処理は、テンプレートマッチング法により行う。

　ステップＳ４１１では、まず、ＡＥセンサー２０８が、適正な露出調節演算を行うために必要とされる蓄積期間よりも短い期間（第１の蓄積期間）だけ電荷の蓄積を行う。ＡＥセンサー２０８が電荷の蓄積を終えると、ＡＥ画像処理部３０４は、ＡＥセンサー２０８から第１の補助画像データを読み出すとともに、メインメモリ３０７からテンプレート画像データを読み出す。そして、ＡＥ画像処理部３０４は、この２枚の画像データ間の相関を取ることにより、第１の補助画像データにおける主被写体の位置を検出する。そして、その検出結果をシステム制御部３０３に出力する。第１の補助画像データを得るための第１の蓄積期間を、適正な露出調節演算を行うために必要とされる蓄積期間よりも短くすることで、主被写体の位置を検出する処理を開始するタイミングを早めることが可能となる。

　ここで、本実施形態においては、ＡＥセンサー２０８は、連写モード時の本撮像が行われる合間に複数の補助画像データを撮像するための補助画像撮像手段を構成する。また、例えば、第１の被写体追尾処理による主被写体位置の検出の結果は、次の本撮像のための焦点調節演算に利用される。

　図５は、第１の実施形態に係る追尾範囲を説明するための図である。
　ここで、第１の被写体追尾処理では、図５のように、マッチングを行う領域を、メインメモリ３０７から読み出した直前の被写体位置を基準として上下測距点１つ分、左右測距点２つ分の範囲（第１の被写体追尾処理の追尾範囲）に限定する。即ち、第１の被写体追尾処理では、補助画像データの一部の範囲について、主被写体の位置を検出する。さらに、補助画像データ及びテンプレート画像データの解像度を１／２に変換した状態でマッチングを行う。これにより、マッチングを高速に処理することができ、この後のレンズ駆動等の時間を確保できる。

　ここで、以降は、ステップＳ４１１でＡＥセンサー２０８から読み出した第１の補助画像データを「補助画像データ１」と呼ぶことにする。また、マッチングを行う範囲を「追尾範囲」と呼ぶことにする。

　続いて、ステップＳ４１２において、ＡＥセンサー２０８が、適正な露出調節演算を行うために必要とされる蓄積期間から、第１の蓄積期間を減算して求められる第２の蓄積期間だけ、電荷の蓄積を行う。ＡＥ画像処理部３０４は、ＡＥセンサー２０８から第２の補助画像データを読み出し、ステップＳ４１１でＡＥセンサー２０８から読み出した補助画像データ１との足し合わせを行った新たな合成補助画像データを生成する。ＡＥ画像処理部３０４は、生成した合成補助画像データを用いて露出調節演算を行い、その露出調節演算結果をシステム制御部３０３に出力する。

　ここで、以降は、ステップＳ４１２でＡＥセンサー２０８から読み出した補助画像データを、「補助画像データ２」と呼び、補助画像データ１と補助画像データ２との合成補助画像データを「補助画像データ１２」と呼ぶことにする。

　補助画像データ１と補助画像データ２のそれぞれを得るときのＡＥセンサー２０８の蓄積期間を足すと、適正な露出調節演算を行うために必要とされる蓄積期間となる。そのため、ＡＥ画像処理部３０４は、この補助画像データ１２を用いることで、正確な露出調節演算を行うことができる。さらに、補助画像データを合成することにより、合成しない画像データを用いる場合よりも、ノイズの低下や光量の増加による安定した露出演算が期待できる。

　続いて、ステップＳ４１３において、システム制御部３０３は、ステップＳ４１１で検出した被写体位置の測距点に対して、焦点調節演算を行う。

　続いて、ステップＳ４１４において、システム制御部３０３は、ステップＳ４１２及びステップＳ４１３の演算結果に基づいて、絞り制御部３１３、レンズ駆動部３１４へ制御信号を送り、露出調節と焦点調節を行う。

　ステップＳ４１４が終了すると、レリーズ動作に入る。システム制御部３０３は、ステップＳ４０７乃至ステップＳ４０９、ＡＥ画像処理部３０４は、ステップＳ４１５乃至ステップＳ４１６の処理を行う。

　ステップＳ４１５において、ＡＥ画像処理部３０４は、撮像が１フレーム目であるか否かを判断する。この判断の結果、撮像が１フレーム目でない（撮像が２フレーム目以降である）場合には、ステップＳ４１６へ進む。

　ステップＳ４１６に進むと、ＡＥ画像処理部３０４は、第２の被写体追尾処理による主被写体位置の検出を行い、直前に（直前のフレームで）行った第１の被写体追尾処理の結果の検証及び修正を行う。この第２の被写体追尾処理は、第１の被写体追尾処理と同様に、テンプレートマッチング法により行う。ＡＥ画像処理部３０４は、ステップＳ４１２で読み出した補助画像データ２と、メインメモリ３０７に記録されているテンプレート画像データとの相関を取ることにより、主被写体位置を検出する。ただし、第２の被写体追尾処理では、第１の被写体追尾処理とは異なり、図５に示すように、マッチングを行う領域（第２の被写体追尾処理の追尾範囲）を補助画像データ２の全体とし、解像度もそのままで行う。これにより、第１の被写体追尾処理よりも範囲が広く、精度の高い追尾結果を得ることができる。

　この追尾結果を利用して、直前にステップＳ４１１で行った第１の被写体追尾結果の検証と修正を行う。ここでは、以下に３点について検証する。

　第１に、第１の被写体追尾処理では、追尾範囲を限定しているため、主被写体の移動が速く追尾範囲を越えてしまった場合には、正しい結果を得られない。そこで、第２の被写体追尾処理により補助画像データ２の全体を探索し、第１の被写体追尾処理の範囲外に主被写体がいないかどうかを調べる。

　第２に、第１の被写体追尾処理では、追尾範囲中に主被写体と類似する被写体が存在する場合、画像データの解像度を落としているためにそれらを判別できず、追尾対象を間違えてしまう可能性がある。そこで、より解像度を落としていない補助画像データ２を用いて第２の被写体追尾処理を行うことで、主被写体と類似被写体とを判別し、第１の被写体追尾処理の結果が正しいものかどうかを検証する。

　第３に、第１の被写体追尾処理に用いた画像データは解像度を１／２に変換しているため、検出した被写体の位置が粗く、正しい被写体の位置との間にズレが生じる可能性がある。そこで、より解像度の高い第２の被写体追尾処理を行うことで、被写体の位置をより高い精度で検出する。

　以上の３点の検証において、もし第１の被写体追尾処理と第２の被写体追尾処理で異なる結果が得られた場合、メインメモリ３０７に記録されている直前の被写体位置情報を第２の被写体追尾処理の結果に修正する。

　また、第１の被写体追尾処理と第２の被写体追尾処理で検出された被写体が同一でものである可能性が高く、かつ、それらの位置に予め定めた閾値以上のズレがあるならば、その被写体の位置の変化に基づいて、被写体の動きを予測することも可能である。

　なお、ステップＳ４１５で撮像が１フレーム目であると判断された場合、或いは、ステップＳ４１６が終了した場合には、ステップＳ４０７乃至ステップＳ４０９の終了とともに、ステップＳ４１０に進み、以降の処理が行われる。

　図６は、本実施形態において、各処理が行われるタイミングを説明するための図である。

　本撮像が行われてメインミラー２０３及びサブミラー２０４をダウンさせると、ＡＥ画像処理部３０４は、ＡＥセンサー２０８に第１の蓄積期間だけ電荷の蓄積を行わせ、補助画像データ１を読み出す。この補助画像データ１は蓄積期間が短く設定されているため、露出調節演算を行うためには輝度が不足している。

　続いて、ＡＥ画像処理部３０４は、読み出した補助画像データ１に現像処理を施し、現像処理を施した補助画像データ１を用いて第１の被写体追尾処理を行う。そして、第１の被写体追尾処理の結果はシステム制御部３０３に出力され、この結果に基づいて新たな測距点を選択する。そして、システム制御部３０３は、ＡＦユニット２０５から送信されてきた焦点検出ラインセンサーの出力から、新たに選択した測距点における撮影レンズユニット２０２の焦点調節状態を演算し、レンズ群２１３を駆動するための制御信号を生成する。

　ＡＥ画像処理部３０４は、ＡＥセンサー２０８に第１の蓄積期間だけ電荷の蓄積を行わせた後、すぐにＡＥセンサー２０８に第２の蓄積期間だけ電荷の蓄積を行わせ、補助画像データ２を読み出す。この補助画像データ２も蓄積期間が短く設定されているため、露出調節演算を行うためには輝度が不足している。

　続いて、ＡＥ画像処理部３０４は、読み出した補助画像データ２に現像処理を施し、現像処理を施した補助画像データ１と補助画像データ２を合成する。補助画像データ１と補助画像データ２を合成することで、適切な露出調節演算を行うために必要な明るさである補助画像データ１２を得ることができる。ＡＥ画像処理部３０４は、この補助画像データ１２を用いて露出調整演算を行い、演算結果をシステム制御部３０３に出力する。

　システム制御部３０３は、焦点調節演算と露出調節演算の結果に基づいて、絞り制御部３１３、レンズ駆動部３１４へ制御信号を送り、露出調節と焦点調節を行う。そして、システム制御部３０３はこの露出調節と焦点調節を終えると、メインミラー２０３及びサブミラー２０４をアップさせ、本撮像を行う。

　また、ＡＥ画像処理部３０４は、補助画像データ２を用いて第１の被写体追尾処理よりも精度の高い第２の被写体追尾処理を行う。この第２の被写体追尾処理は第１の被写体追尾処理よりも時間を要し、かつ、処理を開始するタイミングが第１の被写体追尾処理に比べて遅いため、直後の本撮像に第２の被写体追尾処理の結果を反映させることができない。さらに、ＡＥ画像処理部３０４による第２の被写体追尾処理が継続されている間に、次の本撮像が開始される。

　その代わり、精度の高い被写体追尾処理を行うことで、その後に行われる第１の被写体追尾処理のための「追尾範囲」を正しく設定することができるため、その後に行われる第１の被写体追尾処理の精度を高めることに貢献することができる。

　このように本実施形態では、複数の補助画像データのうちの最初の１枚は比較的早い段階で読み出すことになるため、被写体追尾処理の処理時間を確保することができる。そして、この補助画像データ１とその後に得られた補助画像データ２を合成し、この合成した補助画像データ１２を比較的処理時間の短い露出調節演算に用いる。これにより、被写体追尾処理の時間を確保しつつ、適切な蓄積期間を確保した画像データを用いて露出調節演算を行うことできる。

　さらに、本撮像の処理と並行して、補助画像データ２を用いて詳細な被写体追尾処理を行うことで、被写体の位置の修正を行い、次の被写体追尾処理の追尾範囲を正しく設定することが可能となる。以上の手法において、第１の被写体追尾処理結果の検証と修正を行うことにより、１フレーム中に１度しか被写体追尾処理を行わない場合よりも、被写体追尾の精度を高めることができる。なお、図６では、ミラーアップの動作よりも前に第２の被写体追尾処理が開始されているが、ミラーアップの動作よりも後に第２の被写体追尾処理が開始されても構わない。その後に行われる第１の被写体追尾処理が行われるよりも前に、第２の被写体追尾処理が完了するようにさえすれば、第２の被写体追尾処理が開始されるタイミングは任意に設定することができる。

　以上、本発明の好ましい実施形態について説明したが、本発明は本実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、被写体の位置を検出する手法に関しては、テンプレートマッチングによる被写体追尾だけでなく、色情報を用いた追尾や、顔検出による結果を用いても良い。他にも、オプティカルフローを利用した動体解析や、エッジ検出によるシーン検出技術を用いても良い。また、本実施形態では、テンプレートマッチングに用いるテンプレートを、最初に保存した１枚の画像データのみとしたが、連写中に新たに撮影された画像データから主被写体の領域を切り出して新たなテンプレートとしても良い。ここで、補助画像を解析することで同一の被写体を追尾する処理であって、かつ、第１の被写体追尾処理は比較的低精度ながら高速に動作し、第２の被写体追尾処理が低速であるが高精度に追尾するようなアルゴリズム構成となっていれば良い。

　また、図４のステップＳ４１６の第２の被写体追尾処理では、テンプレート画像データとの相関を取る画像データとしてステップＳ４１２で生成した補助画像データ２を用いているが、本発明においては、必ずしもこの形態に限られない。例えば、撮像された複数の補助画像データのうちのいずれかの補助画像データであれば本発明に適用可能であり、例えば、２枚目以降の単数又は複数の画像データを用いてテンプレート画像データとの相関を取るようにしてもよい。あるいは、補助画像データ２の代わりに、補助画像データ１と補助画像データ２を合成して得られる補助画像データ１２を用いて、第２の被写体追尾処理を行うようにしてもよい。

　また、図４のステップＳ４０１の処理では、撮像装置２００に対して至近となる位置に存在するとみなされる被写体に重畳している測距点を選択したが、ユーザーの指示に応じて任意の測距点を選択するようにしてもよい。また、ＡＥ画像処理部３０４が、ＡＥセンサー２０８から読み出した画像データから人物の顔を検出する顔検出機能を備えているならば、この顔を被写体として選択し、検出した顔を囲う領域の画像データをテンプレート画像データとしてもよい。

　（第２の実施形態）
　次に、図７乃至図１２を参照して、第２の実施形態に係る撮像装置について説明する。
　図７は、第２の実施形態に係る撮像装置である、ミラーレスデジタル一眼カメラの機械的構成の一例を示す模式図である。

　図７の撮像装置７００において、カメラ本体７０１の前面には、撮影レンズユニット７０２が装着されている。カメラ本体７０１は、装着する撮影レンズユニット７０２を、別の撮影レンズユニットと交換することが可能である。このカメラ本体７０１と撮影レンズユニット７０２は、不図示のマウント接点群を介して通信を行う。撮影レンズユニット７０２の内部にはレンズ群７０６と絞り７０７がある。カメラ本体７０１は、前記マウント接点群を介した通信制御により、絞り７０７の開口径を調節してカメラ内に取り込む光量を調整し、レンズ群７０６の位置を調節してピント位置を調節することができる。

　カメラ本体７０１の内部には、フォーカルプレーンシャッター７０３、撮像素子７０４が設けられている。露光を行う際は、フォーカルプレーンシャッター７０３が開くことにより、撮像素子７０４が露光される。撮像素子７０４は、画像生成用の画素と位相差検出用の画素を持つ。ここで、画像生成用の画素は、露光時に画像データを生成するための画素であり、位相差検出用の画素は位相差を検出して焦点調節を行うための画素である。

　この撮像素子７０４の焦点調節を行うための画素の構造について説明する。

[規則91に基づく訂正 10.07.2012]　
　図８（ａ）は、撮像素子７０４の画素の正面図を示し、図８（ｂ）は画素の断面図を示す。図８において、８０１はマイクロレンズであり、８０２及び８０３はそれぞれフォトダイオードである。１つのマイクロレンズに対して２つのフォトダイオードを用いて画像データを読み出すことにより、図中の左右に瞳分割を行っている。この左の画素の出力を集めて形成される像と、右の画素の出力を集めて形成さえる像を比較することで、ＡＦユニットの焦点検出ラインセンサーと同様に、位相差検出方式によって撮影レンズユニット７０２の焦点調節状態を検出することができる。

　図９は、第２の実施形態に係る撮像装置（撮像素子７０４内）の測距点配置を示す模式図である。格子状に分けられた各測距点の領域に対応する位相差検出用画素の出力を用いて焦点調節を行う。

　図７のディスプレイユニット７０５は、撮影情報や撮影画像を表示し、ユーザーがその内容を確認できるようにするものである。

　次に、本実施形態に係る撮像装置の電気的構成について説明する。

　図１０は、第２の実施形態に係る撮像装置の電気的構成の一例を示す模式図である。なお、図７と同じ部材については、同一の符号を付している。

　図１０の操作検出部１００５は、ユーザーがカメラ本体７０１に取り付けられたボタン、スイッチ、またはダイヤル等を介して行った操作を検知し、操作内容に応じた信号をシステム制御部１００３へ送る。特に、操作検出部１００５は、レリーズボタンを半押しされた瞬間にＳＷ１信号をシステム制御部１００３に出力し、レリーズボタンが押し込まれた瞬間にＳＷ２信号をシステム制御部１００３に出力する。また、操作検出部１００５は、ユーザーがＳＷ１保持状態においてレリーズボタンを離した瞬間にＳＷ１解除信号をシステム制御部１００３に出力し、ＳＷ２保持状態においてレリーズボタンを離した瞬間にＳＷ２解除信号をシステム制御部１００３に出力する。

　システム制御部１００３は、撮像素子７０４で生成された動画を読み出し、ディスプレイ制御部１００８への出力を行う。これは、いわゆるライブビュー表示を行うものであり、ディスプレイ制御部１００８は、受け取った動画に基づく画像をディスプレイユニット７０５へ表示する。

　システム制御部１００３は、操作検出部１００５からＳＷ１信号を受け取ると、撮像素子７０４の位相差検出用画素から位相差情報を読み出して焦点調節演算を行う。この焦点調節演算を完了したシステム制御部１００３は、焦点調節演算結果に基づくレンズ駆動信号をレンズ駆動部１０１０へ送る。

　レンズ駆動部１０１０は、システム制御部１００３から受け取ったレンズ駆動信号に基づいてレンズ群７０６を動かし、合焦動作を行う。

　撮像素子７０４は、撮影レンズユニット７０２を通して入射してきた光を電気信号に変換して画像データを生成し、システム制御部１００３へ当該画像データを出力する。システム制御部１００３は、撮像素子７０４の画像生成用画素から出力された画像データをディスプレイ制御部１００８へ出力するとともに、本撮像時には、当該画像データを画像記憶装置１００７へ書き込む（記憶する）。

　ディスプレイ制御部１００８は、システム制御部１００３からの画像データの出力に基づいて、当該画像データに基づく画像をディスプレイユニット７０５に表示する。ここで、撮像素子７０４から出力される画像データのうち、ＳＷ２信号に応じて保存を目的として、画像記憶装置１００７へ記録する画像データを得るための撮像を「本撮像」、画像記憶装置１００７に記録されないライブビュー表示用の画像を「補助画像」と呼ぶことにする。

　メインメモリ１００４は、システム制御部１００３が行う演算等に必要なデータを格納するための記憶装置である。

　絞り制御部１００９は、システム制御部１００３から受け取った絞り制御信号に基づいて絞り７０７を駆動する。

　シャッター制御部１００６は、システム制御部１００３から送られてくるシャッター制御信号に基づいてフォーカルプレーンシャッター７０３を駆動する。

　また、システム制御部１００３は、連写モードのときに被写体追尾処理を行い、撮像素子７０４から読み出した画像データから主被写体位置を検出する。ここで、上述した被写体追尾処理は、第１の被写体追尾処理と第２の被写体追尾処理の２種類のアルゴリズムを有する。この２種類の被写体追尾処理は、第１の実施形態と同様のアルゴリズムを用いて行う。

　システム制御部１００３は、第１の被写体追尾処理の結果に基づいて、図９に示す測距点群の中から１つの測距点を選択する。そして、選択した測距点の焦点調節演算の結果に基づいてレンズ駆動部１０１０へレンズ駆動信号を送る。

　次に、本実施形態に係る撮像装置の連写モードの動作について説明する。

　図１１は、第２の実施形態に係る撮像装置の連写モード時の処理手順の一例を示すフローチャートである。本実施形態の撮像装置は、連写モード時に複数のフレームの静止画を撮像する。

[規則91に基づく訂正 10.07.2012]　
　ステップＳ１１０１乃至ステップＳ１１０５は、ＳＷ１保持状態で行われる処理であり、連写の準備動作に該当する。ステップＳ１１０６乃至ステップＳ１１１５は、上述した連写の準備動作の完了後に、レリーズボタンが押し込まれてＳＷ２保持状態になると行われる処理である。

　ユーザーがレリーズボタンを半押しし、操作検出部１００５からＳＷ１信号がシステム制御部１００３に出力されると、図１１のフローチャートの処理が開始される。以下に、個々のステップについての説明を行う。この図１１のフローチャートが始まるよりも前に、ライブビュー表示は開始されているものとする。

　まず、ステップＳ１１０１において、システム制御部１００３は、撮像素子７０４の位相差検出用画素の出力に基づいて、焦点調節演算を行う。例えば、システム制御部１００３は、撮像装置７００に対して至近となる位置に存在するとみなされる被写体に重畳している測距点を選択する。

　続いて、ステップＳ１１０２において、システム制御部１００３は、撮像素子７０４の画像生成用画素から画像データを読み出し、ステップＳ１１０１で選択された測距点を中心とする一定の領域を抽出する。そして、システム制御部１００３は、抽出された領域の画像データ、及び、画像データ中における抽出された領域の中心座標をメインメモリ１００４に記録する。これらは、後述する追尾処理に用いられる。ここで、以降は、メインメモリ１００４に記録されている前記抽出された領域の画像データを「テンプレート画像データ」と呼び、前記抽出された領域の中心座標を「直前の被写体位置」と呼ぶことにする。ここで、後述する図１２に示すように、テンプレート画像データは主被写体に係るものであり、このテンプレート画像を抽出するシステム制御部１００３は、連写の開始前に主被写体を決定する主被写体決定手段を構成する。

[規則91に基づく訂正 10.07.2012]　
　続いて、ステップＳ１１０３において、システム制御部１００３は、ステップＳ１１０２で読み出した画像データを用いて露出演算を行う。

　続いて、ステップＳ１１０４において、システム制御部１００３は、ステップＳ１１０１の焦点調節演算結果、及び、ステップＳ１１０３の露出演算結果に基づいて、絞り制御部１００９及びレンズ駆動部１０１０へ制御信号を送る。これにより、絞り制御部１００９は、制御信号に基づいて絞り（露出）を調節し、レンズ駆動部１０１０は、制御信号に基づいて焦点を調節する。

　ステップＳ１１０５において、システム制御部１００３は、ユーザーがレリーズボタンを離すか（ＳＷ１解除）、或いは、レリーズボタンを押し込むか（ＳＷ２入力）の動作を行うまで待機する。そして、システム制御部１００３は、操作検出部１００５から、ＳＷ１解除信号或いはＳＷ２信号が入力された場合（ＳＷ１保持状態が解除された場合）に、ステップＳ１１０６へ進む。

　ステップＳ１１０６に進むと、システム制御部１００３は、ステップＳ１１０５の待機状態を解除する信号が入力された際に、入力された信号がＳＷ２信号であるか否かを判断する。この判断の結果、入力された信号がＳＷ２信号でない（ＳＷ１解除信号である）場合には、図１１のフローチャートにおける連写処理を終了し、一方、入力された信号がＳＷ２信号である場合には、ステップＳ１１０７へ進んで、ライブビュー表示を停止するとともに、連写を開始する。

[規則91に基づく訂正 10.07.2012]　
　ステップＳ１１０７に進むと、システム制御部１００３は、ライブビュー表示を停止してから、シャッター制御部１００６へ制御信号を送ってレリーズを行い、撮像素子７０４に露光して本撮像を行う。そして、システム制御部１００３は、撮像素子７０４で生成された画像データを読み込み、これを画像記憶装置１００７へ記録（記憶）する。

　続いて、ステップＳ１１０８において、システム制御部１００３は、ＳＷ２保持状態が解除されたか否かを判断する。この判断の結果、既にＳＷ２解除信号を受け取っていてＳＷ２保持状態が解除された場合には、図１１のフローチャートにおける連写処理を終了し、一方、ＳＷ２解除信号を受け取っておらずＳＷ２保持状態が解除されていない場合には、ステップＳ１１０９へ進む。

　ステップＳ１１０９では、まず、撮像素子７０４が、適正な露出調節演算を行うために必要とされる蓄積期間よりも短い期間（第１の蓄積期間）だけ電荷の蓄積を行う。撮像素子７０４が電荷の蓄積を終えると、システム制御部１００３は、撮像素子７０４の画像生成用画素から第１の補助画像データ（補助画像データ１）を読み出すとともに、メインメモリ１００４からテンプレート画像データを読み出す。そして、システム制御部１００３は、この２枚の画像データ間の相関を取ることにより、補助画像データ１における主被写体の位置を検出する。上述のように、追尾のアルゴリズムに関しては第１の実施形態と同様のアルゴリズムを用いる。ここで、本実施形態においては、撮像素子７０４は、連写モード時の本撮像が行われる合間に複数の補助画像データを撮像するための補助画像撮像手段を構成する。

　図１２は、第２の実施形態における追尾範囲を説明するための図である。

　本実施形態における第１の被写体追尾処理では、図１２のように、マッチングを行う範囲を、直前の被写体位置を基準とする測距点左右３測距点分、上下１測距点分の範囲（第１の被写体追尾処理の追尾範囲）とする。

　続いて、ステップＳ１１１０において、撮像素子７０４が、適正な露出調節演算を行うために必要とされる蓄積期間から、第１の蓄積期間を減算して求められる第２の蓄積期間だけ、電荷の蓄積を行う。システム制御部１００３は、撮像素子７０４から第２の補助画像データ（補助画像データ２）を読み出し、ステップＳ１１０９で撮像素子７０４から読み出した補助画像データ１との足し合わせを行った新たな合成補助画像データを生成する。システム制御部１００３は、この合成補助画像データを用いて露出調節演算を行う。

　続いて、ステップＳ１１１１において、システム制御部１００３は、ステップＳ１１０９で検出した被写体位置に対応する位相差検出用画素からの出力を用いて焦点調節演算を行う。

　続いて、ステップＳ１１１２において、システム制御部１００３は、ステップＳ１１１０及びステップＳ１１１１の演算結果に基づいて、絞り制御部１００９、レンズ駆動部１０１０へ制御信号を送り、露出調節と焦点調節を行う。

　また、ステップＳ１１１２においてレンズ駆動部１０１０がレンズ群７０６を動かしている間、ステップＳ１１１３乃至ステップＳ１１１５において、システム制御部１００３は、ライブビュー表示を行い、第２の被写体追尾処理も行う。

　まず、ステップＳ１１１３において、システム制御部１００３はライブビュー表示を再開する。撮像素子７０４は、１フレーム目のみ合成補助画像データを用いて、２フレーム目以降は通常通り１回の蓄積で得られた画像データを用いてライブビュー表示を継続する。このライブビューは再び本撮像が行われるまで継続される。

　続いて、ステップＳ１１１４において、システム制御部１００３は、ステップＳ１１１０で得られた合成補助画像データの全体を追尾範囲に設定し、第２の被写体追尾処理による主被写体位置の検出を開始する。具体的に、システム制御部１００３は、ステップＳ１１１０で生成した合成補助画像データと、メインメモリ１００４に記録されているテンプレート画像データとの相関を取ることにより、主被写体位置を検出する。この第２の被写体追尾処理は、第１の実施形態と同様のアルゴリズムを用いる。

　ステップＳ１１１４にて第２の被写体追尾処理が開始されると、すぐにステップＳ１１１５において、システム制御部１００３がステップＳ１１１２の露出調節と焦点調節が完了したか否かを判断する。この判断の結果、ステップＳ１１１２の露出調節と焦点調節が完了していない場合は待機し、露出調節と焦点調節が完了した場合には、ライブビュー表示を停止してステップＳ１１０７に戻る。ここで、ステップＳ１１１５にて露出調節と焦点調節が完了したと判断された場合は、第２の被写体追尾処理が完了していなくとも、ステップＳ１１０７に戻る。この第２の被写体追尾処理は、その後の第１の被写体追尾処理が開始されるよりも前に、その処理が完了していればよい。

　ここで、ステップＳ１１０９の第１の被写体追尾処理は、連写中の本撮像と本撮像の合間に行う処理であるため、処理が速ければ速いほど連写速度が向上することになる。これに対し、ステップＳ１１１４の第２の被写体追尾処理は、本撮像とは独立して行われている処理であるため、時間をかけて精度の高い追尾処理を行うことができる。そして、本撮像の処理を行っている間に第２の被写体追尾処理が完了すれば、その結果を用いて、第１の被写体追尾処理結果の検証と修正を行い、メインメモリ１００４に記録されている直前の被写体位置情報を更新する。

　このように本実施形態においても、複数の補助画像データのうちの最初の１枚は比較的早い段階で読み出すことになるため、被写体追尾処理の処理時間を確保することができる。そして、この１枚目の補助画像データとその後に得られた補助画像データを合成し、この合成した補助画像データを比較的処理時間の短い露出調節演算に用いる。これにより、被写体追尾処理の時間を確保しつつ、適切な蓄積期間を確保した画像データを用いて露出調節演算を行うことできる。

　さらに、本撮像の処理と並行して、この合成画像データを用いて詳細な被写体追尾処理を行うことで、被写体の位置の修正を行い、次の被写体追尾処理の追尾範囲を正しく設定することが可能となる。

　以上、本発明の好ましい実施形態について説明したが、本発明は本実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、本実施形態では、撮影レンズユニットを着脱可能なミラーレスデジタル一眼カメラを例にあげて説明を行ったが、撮影レンズユニットとカメラ本体が一体化されたカメラにおいても、同様の構成を適用することが可能である。

　（その他の実施形態）
　また、本発明は、以下の処理を実行することによっても実現される。
　即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な不揮発性の記録媒体は、本発明に含まれる。

　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。

　本願は、２０１１年３月１７日提出の日本国特許出願特願２０１１‐０５９４２５を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

　２０１　カメラ本体
　２０２　撮影レンズユニット
　３０３　システム制御部
　３０４　ＡＥ画像処理部
　３０７　メインメモリ
　３０８　操作検出部
　３０９　ミラー制御部
　３１０　シャッター制御部
　３１１　画像記憶装置
　３１２　ディスプレイ制御部
　３１３　絞り制御部
　３１４　レンズ駆動部

Claims

　連写モード時に複数の本画像を撮像する撮像装置であって、
　本画像の撮像と次の本画像の撮像を行う合間に、複数の補助画像を撮像する撮像手段と、
　主被写体を決定する主被写体決定手段と、
　前記複数の補助画像のうちの第１の補助画像の、その一部である第１の領域から、前記主被写体と同一の被写体が存在する領域を検出する第１の被写体追尾処理手段と、
　前記複数の補助画像のうちの第２の補助画像の、前記第１の領域よりも広い第２の領域から、前記主被写体と同一の被写体が存在する領域を検出する第２の被写体追尾処理手段と
を有し、
　前記第１の被写体追尾処理手段による検出の結果を、前記次の本画像の撮像より前に行う焦点調節に用い、前記第２の被写体追尾処理手段による検出の結果を、前記次の本画像の撮像の後に行う前記主被写体と同一の被写体が存在する領域の検出に用いることを特徴とする撮像装置。
　前記次の本画像の撮像の後に行う前記主被写体と同一の被写体が存在する領域の検出は、前記第１の被写体追尾処理手段によって行われることを特徴とする請求項１に記載の撮像装置。
　前記第１の被写体追尾処理手段は、前記第２の被写体追尾処理手段による検出結果を基準に、前記第１の領域を設定することを特徴とする請求項２に記載の撮像装置。
[規則91に基づく訂正 10.07.2012]　
　前記複数の補助画像を合成する合成手段と、前記合成手段にて合成された補助画像を用いて前記撮像装置の露出調節演算を行う露出調節手段をさらに有することを特徴とする請求項１乃至３のいずれかに記載の撮像装置。
[規則91に基づく訂正 10.07.2012]　
　前記第１の被写体追尾処理手段にて検出された前記主被写体と相関の高い領域に対して、焦点調節を行う焦点調節手段をさらに有することを特徴とする請求項１乃至４のいずれかに記載の撮像装置。
　前記第２の被写体追尾処理手段で用いる補助画像は、前記第１の被写体追尾処理手段で用いる補助画像よりも解像度が高いことを特徴とする請求項１乃至５のいずれかに記載の撮像装置。
　複数の補助画像を撮像する撮像手段は、前記本画像を生成するための第１の撮像素子とは別に、前記複数の補助画像を生成するための第２の撮像素子を有することを特徴とする請求項１乃至６のいずれかに記載の撮像装置。
[規則91に基づく訂正 10.07.2012]　
　レンズ群を通ってきた光束を前記第２の撮像素子に導くためのミラーをさらに有し、
　前記第１の被写体追尾処理手段は、前記本画像の撮像の後に前記ミラーが前記本画像の撮影時の光路から退避し、前記次の本画像の撮像の前に前記ミラーが前記本画像の撮影時の光路に侵入するまでの間に、前記主被写体の位置を検出することを特徴とする請求項１乃至７のいずれかに記載の撮像装置。
[規則91に基づく訂正 10.07.2012]　
　前記第２の被写体追尾処理手段が前記主被写体と相関の高い領域の検出を継続している間に、前記次の本画像の撮像が行われることを特徴とする請求項１乃至８のいずれかに記載の撮像装置。
　連写モード時に複数の本画像を撮像する撮像装置の制御方法であって、
　本画像の撮像と次の本画像の撮像を行う合間に、複数の補助画像を撮像する撮像工程と、
　主被写体を決定する主被写体決定工程と、
　前記複数の補助画像のうちの第１の補助画像の、その一部である第１の領域から、前記主被写体と同一の被写体が存在する領域を検出する第１の被写体追尾処理工程と、
　前記複数の補助画像のうちの第２の補助画像の、前記第１の領域よりも広い第２の領域から、前記主被写体と同一の被写体が存在する領域を検出する第２の被写体追尾処理工程と
を有し、
　前記第１の被写体追尾処理工程における検出結果を、前記次の本画像の撮像より前に行う焦点調節に用い、前記第２の被写体追尾処理工程における検出の結果を、前記次の本画像の撮像の後に行う前記主被写体と同一の被写体が存在する領域の検出に用いることを特徴とする撮像装置の制御方法。
　連写モード時に複数の本画像を撮像する撮像装置の制御方法をコンピュータに実行させるためのプログラムであって、
　本画像の撮像と次の本画像の撮像を行う合間に、複数の補助画像を撮像する撮像ステップと、
　主被写体を決定する主被写体決定ステップと、
　前記複数の補助画像のうちの第１の補助画像の、その一部である第１の領域から、前記主被写体と同一の被写体が存在する領域を検出する第１の被写体追尾処理ステップと、
　前記複数の補助画像のうちの第２の補助画像の、前記第１の領域よりも広い第２の領域から、前記主被写体と同一の被写体が存在する領域を検出する第２の被写体追尾処理ステップと
をコンピュータに実行させ、
　前記第１の被写体追尾処理ステップにおける検出結果を、前記次の本画像の撮像より前に行う焦点調節に用い、前記第２の被写体追尾処理ステップにおける検出の結果を、前記次の本画像の撮像の後に行う前記主被写体と同一の被写体が存在する領域の検出に用いることを特徴とするプログラム。
　連写モード時に複数の本画像を撮像する撮像装置の制御方法をコンピュータに実行させるためのプログラムを記憶した不揮発性の記憶媒体であって、
　前記プログラムは、
　本画像の撮像と次の本画像の撮像を行う合間に、複数の補助画像を撮像する撮像ステップと、
　主被写体を決定する主被写体決定ステップと、
　前記複数の補助画像のうちの第１の補助画像の、その一部である第１の領域から、前記主被写体と同一の被写体が存在する領域を検出する第１の被写体追尾処理ステップと、
　前記複数の補助画像のうちの第２の補助画像の、前記第１の領域よりも広い第２の領域から、前記主被写体と同一の被写体が存在する領域を検出する第２の被写体追尾処理ステップと
をコンピュータに実行させ、
　前記第１の被写体追尾処理ステップにおける検出結果を、前記次の本画像の撮像より前に行う焦点調節に用い、前記第２の被写体追尾処理ステップにおける検出の結果を、前記次の本画像の撮像の後に行う前記主被写体と同一の被写体が存在する領域の検出に用いることを特徴とするプログラムを記憶した不揮発性の記憶媒体。