JP7366635B2 - 撮像装置、コンピュータプログラム及び記憶媒体 - Google Patents

Description

本発明は撮像装置等に関し、特に、２つの撮像手段を有する撮像装置に関する。

一般にデジタルカメラなどの撮像装置において、画像に含まれる被写体を追尾する、いわゆる被写体追尾機能が知られている。この被写体追尾機能を備えた撮像装置では例えばライブビュー（以下ＬＶと略す。）の表示を行う際に、追尾対象となる被写体に対して追尾枠を表示することで撮影者に認識しやすくしている（特許文献１参照）。また、別の技術では、記録映像用とは別に追尾用の撮像素子を設けてそれぞれ同一撮影範囲の被写体画像を撮像し、追尾用の撮像素子で撮像した画像信号を用いて追尾対象となる被写体を検出しながら、その追尾枠を表示するものがある（特許文献２参照）。

特開２０１０－８１５８７号公報 特開２００５－３３８３５２号公報

特許文献２に示す撮像装置では、被写体の検出性能や追尾性能の向上を目的として、追尾用の撮像素子の撮像周期を、記録映像用の撮像素子の撮像周期より短くし、１枚の記録映像用の撮像を行う時間で、複数枚の追尾用の撮像を行う構成が例示されている。この場合、追尾用の撮像素子と記録映像用の撮像素子とでは、撮像周期や露光開始タイミングが異なる。

ところで、一般に記録映像用の撮像や追尾用の撮像を行う際の撮像素子における撮像手法として、蓄積された電荷を上部から下部に向かってライン毎に読み出す、所謂ローリングシャッタ方式による読み出し制御が用いられる。このローリングシャッタ方式による読み出しでは、撮像素子の上部と下部とで読み出しタイミングが異なる。そのため、撮像面上で被写体の位置が移動した場合に、撮像素子の電荷読み出しのタイミングが異なることに起因する撮像画像の歪み（ローリングシャッタ歪み）が生じる。このローリングシャッタ歪みは撮像素子の撮像周期によって歪み量が異なる。

ここで、記録映像用の撮像素子で撮像した画像信号（ＬＶ画像信号）に対して、追尾用の撮像素子で撮像した画像信号（追尾画像信号）から生成する追尾対象となる被写体の追尾領域を用いた画像処理を行う場合を考える。追尾用の撮像素子の撮像周期と、記録映像用の撮像素子の撮像周期が同じであり、且つ、露光開始タイミングも同期していれば、追尾領域位置と被写体位置とでずれが発生することはないため、適切な画像処理を行うことができる。しかし、追尾用の撮像素子と記録映像用の撮像素子とで撮像周期や露光開始タイミングが異なる場合がある。その場合に、追尾画像信号から作成する追尾領域位置は、追尾対象となる被写体が移動していると、露光開始タイミングの違いや、ローリングシャッタ歪みの歪み量の違いから、ＬＶ画像信号における被写体位置に対して、ずれが発生する可能性がある。

従来技術では、追尾用の撮像素子と記録映像用の撮像素子とで、撮像周期や露光開始タイミングが異なる場合の追尾画像信号から作成する追尾領域位置と、ＬＶ画像信号上の被写体位置とのずれについては考慮されていない。

本発明はこうした状況に鑑みなされたものであり、その目的は、２つの撮像手段の画像出力の相対的な位置ずれを抑制した撮像装置を提供することにある。

本発明に係る撮像装置は、
第１の周期でローリングシャッタ動作による撮像をして第１の画像信号を生成する第１の撮像手段と、
前記第１の撮像手段より短い第２の周期で撮像をして複数の第２の画像信号を生成する第２の撮像手段と、
前記第１の撮像手段における露光期間と前記第２の撮像手段の前記周期での撮像タイミングとの重なりに基づいて、前記第１の画像信号と複数の前記第２の画像信号との撮像タイミングの前記重なりに関する関連度情報を生成する関連度情報生成手段と、
前記関連度情報生成手段によって生成した関連度情報に基づいて、複数の前記第２の画像信号の中から、所定の被写体が含まれると共に前記第１の画像信号の撮像タイミングと重なる特定の領域を選択する領域選択手段と、
前記領域選択手段で選択した前記特定の領域に基づき前記第１の画像信号に対して枠の重畳、フォーカス演算、圧縮処理の少なくとも１つを含む画像処理を行う画像処理手段と、
を備えることを特徴とする。

２つの撮像手段の画像出力の相対的な位置ずれを抑制した撮像装置を実現できる。

実施例１における撮像装置のブロック図である。 実施例１、２における露光開始タイミングを示すタイミング図である。 実施例１における追尾画像の垂直ラインごとのＬＶ画像と追尾画像の関連度の例を示す図である。 実施例１における追尾画像の垂直ラインごとのＬＶ画像と追尾画像の関連度を示す図である。 実施例１における表示用画像と追尾枠付き表示用画像を示す図である。 実施例１における検出処理結果を用いた主被写体追尾枠の重畳が表示にすべて間に合うケースのタイミング図である。 実施例１における検出処理結果を用いた主被写体追尾枠の重畳が表示にすべて間に合うケースのタイミング図である。 実施例１における検出処理結果を用いた主被写体追尾枠の重畳が一部のフレームにおいては表示に間に合わないケースのタイミング図である。 実施例１における検出処理結果を用いた主被写体追尾枠の重畳が一部のフレームにおいては表示に間に合わないケースのタイミング図である。 実施例１における撮像装置のＬＶ画像信号の記録処理の流れを説明するフローチャートである。 実施例１における撮像装置のＬＶ画像信号の表示処理の流れを説明するフローチャートである。 実施例１における撮像装置の追尾用画像信号の主被写体追尾枠を重畳する処理の流れを説明するフローチャートである。 実施例１における撮像装置の追尾用画像信号の主被写体追尾枠を重畳する処理の流れを説明するフローチャートである。 実施例２における撮像装置のブロック図である。 実施例２におけるＬＶ画像と追尾画像との画角の違いを示す図である。 実施例２におけるＬＶ画像の垂直ラインごとのＬＶ画像と追尾画像の関連度を示す図である。 実施例２における追尾画像垂直ラインごとのＬＶ画像と追尾画像の関連度を示す図である。 実施例２におけるデフォーカス量演算処理の流れを示すフローチャートである。 実施例２における追尾用画像信号の主被写体領域を作成する処理の流れを示すフローチャートである。 実施例２における露光開始タイミングごとの追尾画像における被写体検出領域を示す図である。

以下、添付図面を参照して、本発明の好適な実施の形態について実施例を用いて説明する。なお、各図において、同一の部材ないし要素については同一の参照番号を付し、重複する説明は省略ないし簡略化する。
また、実施例においては、撮像装置としてデジタルスチルカメラに適用した例について説明する。しかし、撮像装置はデジタルムービーカメラ、カメラ付きのスマートフォン、カメラ付きのタブレットコンピュータ、ネットワークカメラなど撮像機能を有する電子機器等を含む。

実施例１の概要を述べる。実施例１に係る撮像装置１００は、追尾画像信号から生成する追尾枠を、ＬＶ画像信号から作成するＬＶ画像に重畳表示する。
図１は実施例１に係る撮像装置１００の内部構造を模式的に示す図である。撮像装置１００は、光学系１０１、光学制御部１０２、撮像素子１０３、表示用画像前処理部１０４、検出追尾用画像前処理部１０５、画像補正部１０６を含む。

また、表示用画像データ制御部１０７、メモリ１０８、特定領域検出部１０９、表示用画像後処理部１１３、特定領域選択合成部１１４、関連度情報生成部１１５、記録部１１６、特定領域重畳部１１７、記録媒体１１８、表示部１１９、メモリ１２０を含む。なお、前記特定領域検出部１０９は内部にコンピュータとしてのＣＰＵを含み、メモリ１２０に記憶されたコンピュータプログラムに基づき装置全体の各種動作を実行する制御手段として機能する。
また、表示部１１９は、例えばＬＣＤパネルや有機ＥＬパネルであり、特定領域重畳部１１７で表示用画像に主被写体追尾枠を重畳した追尾枠付き表示用画像等を表示する。
光学系１０１はズームレンズ、フォーカスレンズ等の複数枚のレンズを含み、被写体からの光情報を撮像素子１０３に結像する。

撮像素子１０３は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサであり、光学系１０１により結像された光情報を電気情報に変換する。本実施例では、撮像素子１０３は、撮像周期や撮像開始タイミングの異なるＬＶ画像信号と追尾画像信号とを並列に出力することができるように構成されている。即ち、ＬＶ画像信号を出力するための（第１の）撮像手段と、追尾画像信号を出力するための（第２の）撮像手段とが同じ撮像素子内に設けられている。
なお、ＬＶ画像信号を出力するための（第１の）撮像手段と、追尾画像信号を出力するための（第２の）撮像手段とを、それぞれ別の撮像素子としてもよい。
表示用画像前処理部１０４は、撮像素子１０３が第１の撮像手段として第１の周期で撮像して生成したＬＶ画像信号（第１の画像信号）をＲＧＢ各色の信号（ＬＶＲＧＢ信号）に変換する。

画像補正部１０６は、表示用画像前処理部１０４が変換したＬＶＲＧＢ信号に対して、ホワイトバランス補正やシェーディング補正、ＲＧＢ信号のＹＵＶ信号への変換などの各種画像補正処理を行う。
画像補正部１０６内の表示用画像データ制御部１０７は、ＬＶＲＧＢ信号に画像補正処理を行う際に、メモリ１０８へのＬＶＲＧＢ信号、または変換処理をしたＹＵＶ信号の書き込み、読み出しを行う。それによって、複数ライン分、または複数フレーム分の画像補正処理を実行可能とする。なお、ここでライン（垂直ライン）とは画面における水平方向の行のことを指す。

表示用画像後処理部１１３は、画像補正部１０６が画像補正処理をしたＬＶＲＧＢ信号、または変換処理をしたＹＵＶ信号を記録媒体１１８に記録するための記録用画像信号に変換する。記録用画像信号は、例えばＪＰＥＧを適応した圧縮データ信号が挙げられる。
また、表示用画像後処理部１１３は、画像補正部１０６が画像補正処理をしたライブビューＲＧＢ信号、または変換処理をしたＹＵＶ信号を、表示部１１９に表示するための表示用画像信号に変換する。ここで、表示部１１９における表示周期は、撮像素子１０３におけるＬＶ画像信号の撮像周期と同じ周期である。また、表示用画像後処理部１１３は画像補正部１０６から入力されるＬＶＲＧＢ信号、または変換処理をしたＹＵＶ信号を毎フレーム、表示部１１９が表示するために最適な画像サイズに変換する。

表示部１１９における表示周期が、ＬＶ画像信号の撮像周期と異なる場合、例えば、表示周期が３０ｆｐｓ（Ｆｒａｍｅ ｐｅｒ Ｓｅｃｏｎｄ）であり、撮像周期が６０ｆｐｓである場合を考える。その場合、表示用画像信号への変換を２フレームに１回にすることで、表示用画像後処理部１１３は、表示部１１９の表示周期にあわせた出力を行う。表示周期が６０ｆｐｓであり、撮像周期が３０ｆｐｓである場合は、表示用画像後処理部１１３の表示用画像信号１フレーム分の出力に対し、表示部１１９において２フレーム期間、同じ表示を繰り返す。それによって、表示用画像後処理部１１３の出力が表示部１１９の表示周期に間に合わない場合の表示処理行う。

記録部１１６は、表示用画像後処理部１１３で変換された記録用画像信号を記録媒体１１８に記録する。記録媒体としては、例えばＳＤメモリカード、ＣＦカードなどのフラッシュメモリを使用する。
検出追尾用画像前処理部１０５は、撮像素子１０３が第２の撮像手段として前記第１の周期よりも短い（前記第１の周期の整数分の一の）第２の周期で撮像して生成した追尾画像信号（第２の画像信号）をＲＧＢ各色の信号（追尾ＲＧＢ信号）に変換する。

特定領域検出部１０９は、検出追尾用画像データ制御部１１０、画像検出部１１１、画像追尾部１１２を有する。検出追尾用画像データ制御部１１０は、検出追尾用画像前処理部１０５が変換した追尾ＲＧＢ信号に対して、ホワイトバランス補正やシェーディング補正、ＲＧＢ信号のＹＵＶ信号への変換などの画像補正処理を行う。画像検出部１１１はフレーム毎の追尾ＲＧＢ信号（第２の画像信号）から一つ以上の被写体を検出し、検出した被写体から主被写体を決定する。画像追尾部１１２は、検出処理で決定した主被写体が次のフレーム以降の追尾ＲＧＢ信号においてどの位置に移動しているかを追尾する追尾処理を行う。

特定領域検出部１０９内の検出追尾用画像データ制御部１１０は、メモリ１０８への追尾ＲＧＢ信号、または変換処理をしたＹＵＶ信号の書き込み、読み出しを行う。
特定領域検出部１０９内の画像検出部１１１は、例えば、１フレームの画像信号からエッジ情報に基づいた領域特徴量を抽出する。そして、抽出した特徴量に基づいて被写体となる領域候補を検出する被写体検出技術を用いて、追尾ＲＧＢ信号、または変換処理をしたＹＵＶ信号から被写体の検出を行い、検出した一つ以上の被写体から主被写体を決定する。

一つ以上の被写体から主被写体を決定する手法としては、例えば、あらかじめ用意した人物顔、自動車、動物などの特徴画像と被写体候補領域画像とのパターンマッチングを行う。そして、マッチング率の高い被写体に対して任意の優先順位に基づいて、主被写体を決定する。任意の優先順位としては、例えば、サイズの大きい人物顔を最も優先する、オートフォーカス設定枠に最も近い被写体を優先する、などを適宜組み合わせる。
画像検出部１１１により決定した主被写体のエッジ情報、ヒストグラム情報などの特徴情報を、検出追尾用画像データ制御部１１０を通して、メモリ１０８に一旦記憶する。また、画像検出部１１１は決定した主被写体から主被写体のサイズ、重心位置を算出する。そして、主被写体を内包する最小の矩形領域を特定領域として、特定領域位置情報、特定領域サイズ情報、および、主被写体重心位置情報を主被写体検出情報として出力する。

画像追尾部１１２は、追尾ＲＧＢ信号、または変換処理をしたＹＵＶ信号、および、画像検出部１１１が検出した１フレーム過去、または複数フレーム過去の主被写体の特徴情報を、検出追尾用画像データ制御部１１０を通して、メモリ１０８から読み出す。そして、取得フレームの追尾ＲＧＢ信号、または変換処理をしたＹＵＶ信号における、例えば主被写体のヒストグラム情報と最も類似性が高い被写体領域を主被写体の追尾結果領域として決定することで、主被写体の追尾処理を行う。また、画像追尾部１１２は追尾した主被写体から主被写体のサイズ、重心位置を算出し、主被写体を内包する最小の矩形領域を特定領域として、特定領域位置情報、特定領域サイズ情報、および、主被写体重心位置情報を主被写体追尾情報として出力する。

追尾処理は検出処理における領域特徴量を使った被写体検出の演算量に比べ、演算量が少ないヒストグラムマッチング処理技術、テンプレート画像マッチング処理技術などを用いて構成する。これによって、一般的に、検出処理に必要とする時間に対して短い時間で処理を完了することができる。しかし前述したアルゴリズムを用いる主被写体追尾情報は、特徴量の演算を用いる検出情報に比べて精度は低い。

特定領域検出部１０９で検出した主被写体検出情報、および、主被写体追尾情報に基づいて、撮像面における、合焦対象とする矩形領域を決定する。光学制御部１０２は、例えば撮像素子１０３として、位相差オートフォーカスセンサーを用いて撮像対象となる空間を撮像し、撮像面における前記矩形領域のデフォーカス量を演算する。そして、前記矩形領域のデフォーカス量に基づいてフォーカスレンズのフォーカス制御を実行する。フォーカス制御は高速であるほど撮影者が撮影しやすくなることから、ＬＶ画像信号の撮像周期（第１の周期）を追尾画像信号の撮像周期（第２の周期）より長い周期（整数倍）とする。

例えば、ＬＶ画像信号の撮像周期を６０ｆｐｓ、追尾画像信号の撮像周期を２４０ｆｐｓとする。ただし、同じ信号量の画像信号を転送する場合、撮像周期が短くなるほど時間当たりの転送信号量が増え、データ転送負荷が増大する。従って、例えばＬＶ画像信号の画像サイズ、水平１９２０画素、垂直１４４０ラインに対して、追尾画像信号の画像サイズを水平９６０画素、垂直７２０ラインとする。このように、追尾画像信号の撮像周期をＬＶ画像信号の例えば１／４の周期とするとともに、追尾画像信号の解像度をＬＶ画像信号の解像度の１／４としている。このように周期の比に応じて解像度の比を設定することによって、時間当たりの転送信号量を等価とし、データ転送負荷を抑制している。

関連度情報生成部１１５は、１フレームのＬＶ画像信号と、ＬＶ画像信号とは撮像周期や撮像タイミングの異なる複数フレームの追尾画像信号との撮像タイミングとの重なり（割合）に基づき、露光重なりマップを関連度情報として生成する。そして、どのラインに主被写体重心が位置する場合に、どの露光期間を含む表示用画像信号から生成する追尾枠が表示用画像に重畳する追尾枠として最適であるかを示す。

図２（Ａ）、（Ｂ）は実施例１、２における露光開始タイミングを示すタイミング図である。図２（Ａ）において、ＬＶ画像信号の撮像周期５０７を１／６０ｍｓとし、追尾画像信号の撮像周期５１２を１／２４０ｍｓとし、ＬＶ画像信号露光のローリングシャッタの傾きを５００とする。また、１ラインのＬＶ画像信号露光時間（露光期間）を５０１、ＬＶ画像信号の読み出し傾きを５０２、１フレームのＬＶ画像信号の露光時間を５０６、追尾画像信号露光のローリングシャッタ傾きを５０３とする。また、１ラインの追尾画像信号の露光時間を５０４、追尾画像信号の読み出し傾きを５０５、複数フレームの追尾画像信号の露光時間をそれぞれ５０８、５０９、５１０、５１１とする。なお、ローリングシャッタ傾きとは、各行毎にずれたタイミングで露光（蓄積）を開始することによって生じる露光タイミングのずれの傾きを意味し、信号読み出し傾きとは、各行毎の読出しタイミングのずれの傾きを意味する。

このとき、傾き５００と、５０２とは、ラインあたりの露光時間を一定とするため、同じ傾きである。また傾き５０３と傾き５０５も同じ傾きとする。追尾画像信号の露光時間５０８においてＬＶ画像信号が露光する領域はＡで表され、追尾画像信号の露光時間５０９においてＬＶ画像信号が露光する領域はＢで表され、追尾画像信号の露光時間５１０においてＬＶ画像信号が露光する領域はＣで表される。ＬＶ画像信号が全ライン露光する際の各ラインの露光において、追尾画像信号の露光時間５０８、５０９、５１０がどのように重なるかを図２（Ｂ）に示す。

最も上のラインではＬＶ画像信号の１ラインの露光時間と追尾画像信号の露光時間５０８は等しいことから、１００％重なっており、ラインが１ラインずつ下に下がるにつれ重なり割合はリニアに下がり、垂直ライン５１９で０％になる。重なり割合はＬＶ画像信号の傾き５００と露光時間５０１と傾き５０２と、追尾画像信号の傾き５０３と露光時間５０４と傾き５０５と撮像周期５１２から計算で容易に求めることができる。
図３（Ａ）、（Ｂ）は実施例１における追尾画像の垂直ラインごとのＬＶ画像と追尾画像の関連度の例を示す図である。
図３（Ａ）は、追尾画像信号において、５０８～５１０のいずれの露光時間で露光した追尾画像信号が、ＬＶ画像信号の各ラインと重なり割合が最も高いかを示す露光重なりマップを追尾画像にマッピングし直したものである。ラインごとの重なり割合が相対的に最も高い追尾画像信号を追尾画像関連度１００％とし、それ以外の追尾画像信号は０％としている。

露光重なりマップは、ＬＶ画像信号と追尾画像信号の画角が同じである場合、図２（Ｂ）の重なり割合の大小関係から容易に作成することができる。即ち、図３（Ａ）における５０８と５０９の境目のライン５１５´が、図２（Ｂ）における露光時間５０８の重なり割合５１３と露光時間５０９の重なり割合５１４が等しくなっているライン５１５を示す。図３（Ａ）における５０９と５１０の境目のライン５１８´が、図２（Ｂ）における露光時間５０９の重なり割合５１６と露光時間５１０の重なり割合５１７が等しくなっているライン５１８を示す。つまり、境目のライン５１５´より下のラインでは５０８の割合より５０９の割合の方が大きくなり、境目のライン５１８´より下のラインでは５０９の割合より５１０の割合の方が大きくなる。

ただしＬＶ画像信号と追尾画像信号とで垂直ライン数が異なる場合、追尾画像信号におけるライン５１５´はＬＶ画像信号におけるライン５１５に（追尾画像信号の垂直ライン数／ＬＶ画像信号の垂直ライン数）を乗じてマッピングし直す。追尾画像信号におけるライン５１８´に関しても同様である。
なお、ここであげる露光重なりマップの作成手法は実施例１における一例であり、図３（Ｂ）に示すように、露光時間の重なり割合そのものを追尾画像関連度とし、露光重なりマップとしても良い。

最も簡単な露光重なりマップとしては、図２（Ａ）の追尾画像信号の露光開始時間５２１～５２３と、ＬＶ画像信号のローリングシャッタの傾き５００とのそれぞれの交点を追尾画像信号ライン数にマッピングし直す方法があり、その結果を図４に示す。図４は実施例１における追尾画像の垂直ラインごとのＬＶ画像と追尾画像の関連度を示す図である。図４において、ライン５２４～５２６をライン境界として、重なり割合の高い露光時間５０８～５１０を０％と１００％のいずれかに切り替える露光重なりマップとすることができる。
ライン５２５までは、露光時間５０８の追尾画像信号が１００％の追尾画像関連度を有し、ライン５２５の次のラインからライン５２６までは、露光時間５０９の追尾画像信号が１００％の追尾画像関連度を有する。また、ライン５２６の次のラインからは、露光時間５１０の追尾画像信号が１００％の追尾画像関連度を有するものとする。

なお、関連度情報生成部１１５は、撮像装置１００の構成に含めず、撮像装置１００とは異なる演算装置に関連度情報生成手段としてプログラム実装し、プログラム実行により露光重なりマップを生成するようにしても良い。そして、生成した露光重なりマップをあらかじめメモリ１０８に書き込み、特定領域選択合成部１１４がメモリ１０８から露光重なりマップを読み出す構成としても良い。それによって、撮像装置内で、リアルタイムで露光重なりマップを生成するための演算量を削減することもできる。
特定領域選択合成部１１４は、関連度情報生成部１１５で生成した露光重なりマップと、特定領域検出部１０９で取得した複数フレームの主被写体検出情報と、主被写体追尾情報に基づいて、主被写体位置、主被写体サイズを示す主被写体追尾枠を選択する。そして、ＬＶ画像に合成する。

例えば図３（Ａ）が露光重なりマップである場合について説明する。特定領域選択合成部１１４は、図２（Ａ）における追尾画像の露光時間５０８～５１０の中でＬＶ画像信号の露光時間５０６の露光重心タイミング５２０に最も露光重心が近い露光時間５０９を基準露光画像とする。そして、露光時間５０９で撮像した追尾画像信号における主被写体追尾情報に含まれる主被写体重心位置が露光重なりマップのどの露光時間（露光期間）に位置するかを確認する。確認の結果、仮に主被写体重心位置が露光時間５０８に位置する場合、特定領域選択合成部１１４は、ＬＶ画像信号における主被写体は露光時間５０８で撮像した追尾画像信号との関係性が最も高いと判断する。そして、露光時間５０８で撮像した追尾画像信号における主被写体検出情報、主被写体追尾情報を用いて主被写体追尾枠（特定の領域）の選択、もしくは合成を行う。なお、合成に限らずＬＶ画像信号（第１の画像信号）に対する所定の画像処理であれば良い。

前記確認の結果、仮に主被写体重心位置が露光時間５０９に位置する場合、特定領域選択合成部１１４は、ＬＶ画像信号における主被写体は露光時間５０９で撮像した追尾画像信号との関係性が最も高いと判断する。そして、露光時間５０９で撮像した追尾画像信号における主被写体検出情報、主被写体追尾情報を用いて主被写体追尾枠の選択、もしくは合成を行う。仮に主被写体重心位置が露光時間５１０に位置する場合、特定領域選択合成部１１４は、ＬＶ画像信号における主被写体は露光時間５１０で撮像した追尾画像信号との関係性が最も高いと判断する。そして、露光時間５１０で撮像した追尾画像信号における主被写体検出情報、主被写体追尾情報を用いて主被写体追尾枠の選択、もしくは合成を行う。

他の例として、特定領域選択合成部１１４は、露光時間５１０で撮像した追尾画像信号における主被写体追尾情報に含まれる主被写体重心位置が、露光重なりマップのどの露光時間に位置するかを確認する。仮に主被写体重心位置が露光時間５１０に位置する場合、特定領域選択合成部１１４は、ＬＶ画像信号における主被写体は露光時間５１０で撮像した追尾画像信号との関係性が最も高いと判断する。そして、露光時間５１０で撮像した追尾画像信号における主被写体検出情報、主被写体追尾情報を用いて主被写体追尾枠の選択、もしくは合成を行う。
続いて露光時間５０９で撮像した追尾画像信号における主被写体追尾情報に含まれる主被写体重心位置が、露光重なりマップのどの露光時間に位置するかを確認する。

主被写体重心位置が露光重なりマップの露光時間５０９に位置する場合、ＬＶ画像信号における主被写体は露光時間５０９で撮像した追尾画像信号との関係性が最も高いと判断する。そして、露光時間５０９で撮像した追尾画像信号における主被写体検出情報、主被写体追尾情報を用いて主被写体追尾枠の選択、もしくは合成を行う。続いて露光時間５０８で撮像した追尾画像信号における主被写体追尾情報に含まれる主被写体重心位置が、露光重なりマップのどの露光時間に位置するかを確認する。そして、主被写体重心位置が露光重なりマップの露光時間５０８に位置する場合、ＬＶ画像信号における主被写体は露光時間５０８で撮像した追尾画像信号との関係性が最も高いと判断する。

そして、露光時間５０８で撮像した追尾画像信号における主被写体検出情報、主被写体追尾情報を用いて主被写体追尾枠の選択、もしくは合成を行う。いずれでもない場合、基準露光画像である露光時間５０９で撮像した追尾画像信号における主被写体検出情報、主被写体追尾情報を用いて主被写体追尾枠の選択、もしくは合成を行う。
また、他の例として、以下のようにしても良い。即ち、特定領域選択合成部１１４は、露光時間５０８～５１０で撮像した追尾画像信号における主被写体追尾情報に含まれる主被写体重心位置の平均位置を求める。そして、主被写体重心位置の平均位置が露光重なりマップのどの露光時間に位置するかを確認する。そして露光時間５０８～５１０で撮像した追尾画像信号におけるいずれの主被写体追尾情報、および、主被写体検出情報を用いて主被写体追尾枠の選択、もしくは合成を行うかを決定するようにしても良い。

また、更に他の例として、特定領域選択合成部１１４は、ＬＶ画像信号の露光時間５０６の露光重心タイミング５２０に最も露光重心が近い露光時間５０９を基準露光画像とし、二番目に近い露光時間５１０を副基準露光画像とする。そして、露光時間５０９で撮像した追尾画像信号における主被写体追尾情報に含まれる主被写体重心位置と、露光時間５１０で撮像した追尾画像信号における主被写体追尾情報に含まれる主被写体重心位置を求める。そして、これらの主被写体重心位置に対して、露光時間５０９、５１０それぞれの露光重心タイミングとＬＶ画像信号の露光時間５０６の露光重心タイミング５２０との距離に応じた重み付けをした平均位置を求める。主被写体重心の重み付け平均位置が露光重なりマップのどの露光時間に位置するかを確認する。そして、露光時間５０８～５１０で撮像した追尾画像信号におけるいずれの主被写体追尾情報、および、主被写体検出情報を用いて主被写体追尾枠の選択、もしくは合成を行うかを決定するようにしても良い。

特定領域選択合成部１１４は、露光時間５０８～５１０で撮像した追尾画像信号における主被写体追尾情報に含まれる主被写体重心位置の平均位置を求め、主被写体重心の平均位置が露光重なりマップのどの露光時間に位置するかを確認する。その場合に、主被写体重心位置の平均位置との距離合計値を求め、距離合計値に対応した主被写体追尾枠の拡大率を設定し、特定領域選択合成部１１４が選択、もしくは合成する主被写体追尾枠に拡大率を乗じて拡大する。それによって、露光時間５０８、５０９、５１０で主被写体が激しく動いた場合に追尾枠をより拡大し、追尾枠の内側に主被写体が収まる頻度を高める機能を有する。

また、更に別の例として、特定領域選択合成部１１４は、図３（Ｂ）に示す露光重なりマップを用いる。露光時間５０９で撮像した追尾画像信号を基準露光画像とし、露光時間５０９で撮像した追尾画像信号における主被写体追尾情報に含まれる主被写体重心位置が露光重なりマップのどの垂直ラインに位置するかを確認する。そして、その垂直ラインにおける露光時間重なり割合に基づいて、露光時間５０８～５１０で撮像した追尾画像信号における主被写体追尾情報と主被写体検出情報に対して、重なり割合の重み付けをしたり、主被写体追尾枠の合成を行ったりしても良い。

露光時間５０８との重なり割合が４０％、露光時間５０９との重なり割合が６０％である場合について考える。
露光時間５０８で撮像した追尾画像信号における主被写体検出情報の特定領域位置情報を（ｘ１、ｙ１）、特定領域サイズ情報を（ｓ１）、露光時間５０９で撮像した追尾画像信号における主被写体検出情報の特定領域位置情報を（ｘ２、ｙ２）とする。そして、特定領域サイズ情報を（ｓ２）とすると、主被写体追尾枠の位置情報（ｘ３、ｙ３）、サイズ情報（ｓ３）は以下の計算式で求めることができる。

ｘ３＝０．４×ｘ１ ＋ ０．６×ｘ２
ｙ３＝０．４×ｙ１ ＋ ０．６×ｙ２
ｓ３＝０．４×ｓ１ ＋ ０．６×ｓ２

特定領域重畳部１１７は、表示用画像後処理部１１３で変換した表示用画像に、特定領域選択合成部１１４で選択、もしくは合成した主被写体追尾枠を重畳し、追尾枠付き表示用画像として表示部１１９に出力する。図５は実施例１における表示用画像と追尾枠付き表示用画像を示す図である。図５（Ａ）に示すように、表示用画像６００の主被写体６０１に対して図５（Ｂ）のように主被写体追尾枠６０３を重畳し、追尾枠付き表示用画像６０２を生成する。

なお、図６、図７は実施例１における検出処理結果を用いた主被写体追尾枠の重畳が表示に間に合うケースのタイミング図である。図６、図７では、ＬＶ画像信号の露光時間ｔ７００～ｔ７０３と露光時間が重なる追尾画像信号７０６～７０９から検出する主被写体検出情報から生成する主被写体追尾枠が表示用画像への重畳に間に合っている。即ち、追尾画像信号７０９を用いて検出処理した主被写体検出情報の出力タイミングｔ７０５に追尾枠生成処理、表示用画像への追尾枠の重畳処理を加えた時間が、ＬＶ画像信号７１０の表示を開始する表示開始時間ｔ７０６に対して間に合っている。この場合には、主被写体検出情報から生成する主被写体追尾枠を表示用画像に重畳する。

一方、図８、図９は実施例１における検出処理結果を用いた主被写体追尾枠の重畳が一部のフレームにおいては表示に間に合わないケースのタイミング図である。図８、図９では、ＬＶ画像信号の露光時間ｔ８００～ｔ８０３と露光時間が重なる追尾画像信号８０６、～８０９から検出する主被写体検出情報から生成する主被写体追尾枠が、表示用画像への重畳に間に合わない。即ち追尾画像信号８０９を用いて検出処理した主被写体検出情報の出力タイミングｔ８０５に、追尾枠生成処理、表示用画像への追尾枠の重畳処理を加えた時間が、ＬＶ画像信号８１０の表示を開始する表示開始時間ｔ８０６に対して間に合わない。

この場合には、間に合う主被写体検出情報８１２、８１３、８１４と主被写体追尾情報８１１とを用いて主被写体追尾枠を生成し、表示用画像に重畳する。
即ち、本来の主被写体追尾枠の表示が間に合わない場合には、間に合う別の主被写体追尾枠を表示するようにする。
図１０は、実施例１に係る撮像装置１００のＬＶ画像信号の記録処理の流れを説明するフローチャートである。
撮像素子１０３は、光学制御部１０２によって焦点調整された光学系１０１を介して被写体からの光信号を受光し、電気信号であるＬＶ画像信号に変換する（Ｓ２００）。

表示用画像前処理部１０４は、撮像素子１０３が変換したＬＶ画像信号をＲＧＢ各色の信号に変換する（Ｓ２０１）。ＬＶＲＧＢ信号は画面の左上を先頭にしてラインごとに順々に右下に至るまで画像補正部１０６に出力する。
画像補正部１０６の表示用画像データ制御部１０７は、表示用画像前処理部１０４より取得したＲＧＢ信号、または画像補正部１０６で画像補正処理したＲＧＢ信号／ＹＵＶ信号をメモリ１０８に書き込む（Ｓ２０２）。

画像補正部１０６の表示用画像データ制御部１０７は、Ｓ２０２でメモリ１０８に書き込んだＲＧＢ信号／ＹＵＶ信号を読み出し、画像補正処理を行う（Ｓ２０３）。読み出すライン数は画像補正部１０６で実施する画像処理によって異なり、１ライン分の画像処理に対して、１ライン分のＲＧＢ信号を読み出す場合や、複数ライン分のＲＧＢ信号を読み出す場合を有する。また、画像を矩形エリアに分割し、矩形エリア単位で読み出す場合など、様々な読み出し処理を実行できるように構成しても良い。

画像補正部１０６は、必要なすべての画像補正処理が完了していない場合、Ｓ２０２の処理に戻る（Ｓ２０４のＮＯ）。必要なすべての画像補正処理が完了した場合、画像補正処理されたＲＧＢ信号／ＹＵＶ信号は表示用画像後処理部１１３に出力される（Ｓ２０４のＹＥＳ）。
表示用画像後処理部１１３は、画像補正部１０６より取得した画像補正処理されたＲＧＢ信号／ＹＵＶ信号を記録媒体で記録するための記録用信号に変換する（Ｓ２０５）。
記録部１１６は、表示用画像後処理部１１３より取得した記録用画像を記録媒体１１８に書き込む（Ｓ２０６）。

図１１は、実施例１に係る撮像装置１００のＬＶ画像信号の表示処理の流れを説明するフローチャートである。
Ｓ３００、Ｓ３０１、Ｓ３０２、Ｓ３０３、Ｓ３０４の処理についてはＳ２００、Ｓ２０１、Ｓ２０２、Ｓ２０３、Ｓ２０４処理と同様のため説明を省略する。
表示用画像後処理部１１３は、画像補正部１０６より取得した画像補正処理されたＲＧＢ信号／ＹＵＶ信号を表示用画像信号に変換する（Ｓ３０５）。表示用画像信号は特定領域重畳部１１７に供給される。

特定領域重畳部１１７は、表示用画像後処理部１１３より取得した表示用画像信号に、特定領域選択合成部１１４で選択、もしくは合成した矩形枠（主被写体追尾枠）を重畳する（Ｓ３０６）。前記矩形枠（主被写体追尾枠）は、表示用画像信号内に含まれる主被写体を内包する最小の矩形領域である特定領域を示す枠である。
主被写体追尾枠が重畳された表示用信号は表示部１１９に供給され、表示部１１９は、特定領域重畳部１１７より取得した主被写体追尾枠が重畳された表示用信号を撮影者が視認できる形式で表示する（Ｓ３０７）。

図１２、図１３は、実施例１に係る撮像装置１００の追尾画像信号の主被写体追尾枠を重畳する処理の流れを説明するフローチャートである。
関連度情報生成部１１５は、撮像素子１０３におけるＬＶ画像信号の露光開始タイミングと露光時間と、露光開始タイミングの異なる複数フレームの追尾画像信号の夫々の露光開始タイミングと露光時間から露光重なりマップを生成する（Ｓ４００）。この露光重なりマップにより１フレームのＬＶ画像信号と複数フレームの追尾画像信号との関連度を示す。

露光重なりマップは特定領域選択合成部１１４に出力される。露光重なりマップの生成は、１フレームのＬＶ画像信号の撮像周期と、複数フレームの追尾画像信号の撮像周期とが同期している場合、１回生成した露光重なりマップを繰り返し複数回使う。同期していない場合、ＬＶ画像信号を１フレーム撮像するごとに、生成する。
Ｓ４０１、Ｓ４０２、Ｓ４０３、Ｓ４０４、Ｓ４０５の処理に関しては、Ｓ２００、Ｓ２０１、Ｓ２０２、Ｓ２０３、Ｓ２０４処理と同様のため説明を省略する。

画像追尾部１１２は、Ｓ４０５のＹＥＳで、必要なすべての画像補正処理が完了したＲＧＢ信号／ＹＵＶ信号を取得する。そして、画像検出部１１１における過去フレームの検出処理によってメモリ１０８に記憶された主被写体の特徴情報を、検出追尾用画像データ制御部１１０を通して取得する。そして取得した特徴情報に基づいて特定領域の追尾処理を行う（Ｓ４０６）。
ステップＳ４０６において、特定領域を追尾した主被写体追尾情報は特定領域選択合成部１１４に出力される。また、画像検出部１１１は、Ｓ４０５のＹＥＳで必要なすべての画像補正処理が完了したＲＧＢ信号／ＹＵＶ信号を取得し、主被写体領域である特定領域の検出処理を開始する。特定領域を検出した主被写体検出情報は特定領域選択合成部１１４に出力される。

また、ステップＳ４０６において、画像検出部１１１はエッジ情報、ヒストグラム情報に代表される主被写体の特徴情報を、検出追尾用画像データ制御部１１０を通してメモリ１０８に出力する。ただし検出処理は追尾処理に比べ時間がかかることから、Ｓ４０７処理への遷移は追尾処理の完了をトリガーとして行う。
関連度情報生成部１１５より取得した露光重なりマップから、ＬＶ画像信号の露光時間と露光時間が重なる複数フレームの追尾画像信号の追尾処理がすべて完了していない場合、次のフレームのＳ４００の処理に戻る（Ｓ４０７のＮＯ）。追尾処理がすべて完了している場合、Ｓ４０８の処理に進む（Ｓ４０７のＹＥＳ）。

特定領域選択合成部１１４は、関連度情報生成部１１５より取得した露光重なりマップと、画像追尾部１１２より取得した複数フレームの主被写体追尾情報をもとに、一つの特定領域を選択、もしくは合成するのに必要なフレームを決定する（Ｓ４０８）。図３（Ａ）で示す露光重なりマップの場合に、例えば露光時間５０８～５１０で撮像した追尾画像信号の主被写体追尾情報における主被写体重心位置の平均位置が５１５´より上のライン位置であるとする。その場合には、ＬＶ画像信号における主被写体は露光時間５０８で撮像した追尾画像信号との関係性が最も高いと判断し、露光時間５０８のフレームを前記の必要フレームとして決定する。露光重なりマップが図３（Ｂ）で示すものである場合、主被写体重心位置によって決定される前記の必要フレームは２フレームとなる。

特定領域選択合成部１１４は、Ｓ４０８の処理で決定した必要フレームの追尾画像信号から変換したＲＧＢ信号／ＹＵＶ信号を用いて、画像検出部１１１で行う特定領域の検出処理を行う。また、画像検出部１１１が出力する主被写体検出情報から主被写体追尾枠を作成する。また、表示用信号に重畳する処理の完了タイミングが、表示部１１９における表示用信号の表示開始タイミングに間に合う場合、Ｓ４１０の処理に進む（Ｓ４０９のＹＥＳ）。表示用信号の表示開始タイミングに間に合わない場合、Ｓ４１１の処理に進む（Ｓ４０９のＮＯ）。

Ｓ４１１において、特定領域選択合成部１１４は、Ｓ４０８で決定した必要フレームの数が１フレームである場合、該当フレームの主被写体追尾情報を選択する。そして、選択した主被写体追尾情報の特定領域位置、特定領域サイズ、主被写体重心位置から主被写体追尾枠を作成する。Ｓ４０８で決定した必要フレームが複数フレームである場合、複数の必要フレームの中から表示開始タイミングに間に合うフレームの主被写体検出情報、および、間に合わないフレームにおける主被写体追尾情報を選択する。そして、選択した主被写体検出情報、および主被写体追尾情報の特定領域位置、特定領域サイズ、主被写体重心位置から主被写体追尾枠を作成する（Ｓ４１１）。作成された主被写体追尾枠は特定領域重畳部１１７に出力される。

特定領域選択合成部１１４は、Ｓ４１０の処理として、Ｓ４０８で決定した必要フレームの画像検出部１１１における検出処理がすべて完了し、すべての必要フレームの主被写体検出情報を取得している場合、Ｓ４１２の処理に進む（Ｓ４１０のＹＥＳ）。必要フレームの主被写体検出情報の取得が完了していない場合、完了するまでＳ４１０の処理を繰り返す（Ｓ４１０のＮＯ）。

特定領域選択合成部１１４は、Ｓ４０８で決定した必要フレームが１フレームである場合、該当フレームの主被写体検出情報を選択し、選択した主被写体検出情報の特定領域位置、特定領域サイズ、主被写体重心位置から主被写体追尾枠を作成する（Ｓ４１２）。Ｓ４０８で決定した必要フレームが複数フレームである場合、複数フレームの主被写体検出情報における特定領域位置、特定領域サイズ、主被写体重心位置から主被写体追尾枠を合成する（Ｓ４１２）。作成された主被写体追尾枠は特定領域重畳部１１７に出力される。

特定領域重畳部１１７は、表示用画像後処理部１１３より取得した表示用信号に、特定領域選択合成部１１４より取得した表示用信号内に含まれる主被写体を内包する最小の矩形領域である特定領域を示す矩形（主被写体追尾枠）を重畳する（Ｓ４１３）。主被写体追尾枠が重畳された表示用信号は表示部１１９に出力される。
表示部１１９は、特定領域重畳部１１７より取得した主被写体追尾枠が重畳された表示用信号を撮影者が視認できる形式で表示する（Ｓ４１４）。

以上のように、実施例１に係る撮像装置１００は、露光開始タイミングの異なる複数フレームの追尾画像信号から検出処理、および、追尾処理した主被写体位置情報を取得する。そして、この主被写体位置情報と、ＬＶ画像信号と追尾画像信号との関係度を表す露光重なりマップとに基づいて、最適な露光時間で撮像した追尾画像信号を選択する。そして、選択した追尾画像信号から生成した主被写体追尾枠を、表示部１１９で表示する表示用画像上の主被写体に重畳処理する。それによって、主被写体の動きによって発生する主被写体と主被写体追尾枠との位置ずれを抑制し、撮影者に対して主被写体の認識を容易に、且つ、正確に行わせることができる。
なお、重畳表示させる枠としては追尾枠に限らない。例えば、何らかのアイコンなどの所定の枠等を重畳表示させても良い。

次に実施例２について説明する。実施例２に係る撮像装置９００は、追尾画像信号から生成する被写体領域を用いてＬＶ画像から被写体領域のレンズデフォーカス量演算処理を行う。また、追尾用の撮像素子と、表示用の撮像素子を別々に有する。
図１４は実施例２に係る撮像装置９００の内部構造を模式的に示すブロック図である。撮像装置９００は、検出追尾用光学系９０１、表示用光学系９０２、光学制御部９０３、検出追尾用撮像素子９０４、表示用撮像素子９０５、検出追尾用画像前処理部９０６、表示用画像前処理部９０７、デフォーカス量演算部９０８を有する。

また、位相差情報メモリ９１０、特定領域検出部９１１、主メモリ９１４、画像補正部９１２、特定領域選択合成部９１６、関連度情報生成部９１７、表示用画像後処理部９１８、表示部９１９、記録部９２０、記録媒体９２１を有する。
検出追尾用光学系９０１は、複数枚のレンズを含む固定の焦点距離の光学系であり、表示用光学系９０２より焦点距離が短く、広角な範囲の被写体からの光情報を結像して取得する。

図１５は実施例２におけるＬＶ画像と追尾画像との画角の違いを示す図である。表示用光学系９０２を通し、表示用撮像素子９０５で撮像した図１５（Ａ）のＬＶ画像信号画角１２００は、検出追尾用光学系９０１を通し、検出追尾用撮像素子９０４で撮像した図１５（Ｂ）の追尾画像信号画角１２０２上では画角１２０３に該当する。図１５（Ａ）のＬＶ画像信号上の主被写体１２０１は、図１５（Ｂ）の追尾画像信号画角１２０２上では主被写体１２０４に該当する。図１５（Ｂ）の被写体１２０５、１２０６はＬＶ画像信号画角１２００では撮像できない範囲に位置する被写体である。これらの被写体情報は、例えば、被写体の動きベクトルを算出することで、次フレーム以降で被写体が画角１２０３に入ってくる可能性のある場合には、撮影者に報知等するのに用いられる。

検出追尾用撮像素子９０４は例えばＣＭＯＳイメージセンサであり、表示用撮像素子９０５とは異なる撮像周期、撮像開始タイミングで撮像処理を行い、検出追尾用光学系９０１によって結像された光情報を電気信号に変換する。
表示用光学系９０２は、実施例１に述べた光学系１０１と同様のため説明を省略する。
表示用撮像素子９０５は、通常の撮像機能を有するとともに、表示用撮像素子９０５上に離散的に配置された特定の複数の画素（位相差検出用画素）に対して、水平方向に配置された２画素を１組とし、各組の画素に左右対称の一部遮光部を設けてある。

そして上記２画素の組によって、位相差を有する画像信号（位相差画像信号）を生成し、前記位相差画像信号を用いて撮像面の一部の矩形領域毎にレンズデフォーカス量を演算するように構成されている。
そして前記レンズデフォーカス量に基づきレンズ制御を行うことで、いわゆる像面位相差オートフォーカスを行うように構成されている。
表示用撮像素子９０５は、位相差検出用画素が生成した位相差画像信号と、通常画素から得られたＬＶ画像信号をそれぞれ出力できるように構成されている。

検出追尾用画像前処理部９０６は、実施例１に述べた検出追尾用画像前処理部１０５と同様の処理を実施する。
特定領域検出部９１１は、検出追尾用画像データ制御部９１３を有し、実施例１に述べた画像検出部１１１の処理を特定領域検出部９１１で行う。
画像検出部１１１の処理と同様に、追尾ＲＧＢ信号、または追尾ＲＧＢ信号を変換処理したＹＵＶ信号から被写体の検出を行う。そして、検出した一つ以上の被写体から主被写体を決定し、決定した主被写体の特徴情報を、検出追尾用画像データ制御部９１３を通して、主メモリ９１４に記憶する。

なお、前記特定領域検出部９１１は内部にコンピュータとしてのＣＰＵを含み、メモリ９２２に記憶されたコンピュータプログラムに基づき装置全体の各種動作を実行する制御手段として機能する。
また、特定領域検出部９１１は決定した主被写体から主被写体のサイズ、重心位置を算出し、主被写体を内包する最小の矩形領域を特定領域として、特定領域位置情報、特定領域サイズ情報、および、主被写体重心位置情報を主被写体検出情報として出力する。特定領域検出部９１１は、図１５（Ｂ）に示す追尾画像信号画角１２０２におけるＬＶ画像信号の画角１２０３の内側のみを検出対象領域とする。それにより、検出処理の演算量を削減するモードと、ＬＶ画像信号の画角１２０３の外側の領域を含めて検出対象領域とするモードを任意に切り替える構成とする。

関連度情報生成部９１７は、実施例１に述べた関連度情報生成部１１５と同様の処理を実施する。図１６はＬＶ画像における垂直ラインごとの追尾画像関連度を示す露光重なりマップを示す図である。
撮像装置９００ではＬＶ画像信号と追尾画像信号とで撮影画角が異なることから、図１６に示すＬＶ画像垂直ラインを、追尾画像垂直ラインにマッピングし直す際に、画角の違いを考慮したマッピングを行う。マッピングをし直した後の露光重なりマップを図１７に示す。図１７は実施例２における追尾画像垂直ラインごとのＬＶ画像と追尾画像の関連度を示す図であり、図１７における垂直ライン５２７´´は図１６における先頭ライン５２７に対して、画角を考慮したマッピングを行ったラインである。また、図１７における垂直ライン５２８´´は図１６における最終ライン５２８に対して、画角を考慮したマッピングを行ったラインである。

同様に、５１５´´は図１６における垂直ライン５１５に対してマッピングを行ったラインであり、５１８´´は図１６における垂直ライン５１８に対してマッピングを行ったラインである。図１７の露光時間５０８、５０９、５１０で示されている領域は、該当の垂直ラインに主被写体が位置した場合に関連度が１００％となる追尾画像がどの露光時間で撮像した追尾画像であるかを示す。図１７において先頭ラインから５２７´´までのライン、および、５２８´´から最終ラインまでのラインは図１５における画角１２０３の外側を意味し、ＬＶ画像と関連する追尾画像がないため、追尾画像関連度はすべて０％とする。

特定領域選択合成部９１６は、関連度情報生成部９１７で生成した露光重なりマップと、特定領域検出部９１１で検出処理した複数フレームの主被写体検出情報に基づいて、主被写体位置、主被写体サイズを示す主被写体領域を選択、もしくは合成する。実施例１に述べた特定領域選択合成部１１４の処理と同様に基準露光画像を定め、基準露光画像における主被写体検出情報に含まれる主被写体重心位置が露光重なりマップのどの露光時間に位置するかを確認する。そして、主被写体重心位置に対応した露光重なりマップの追尾画像関連度に従い、複数フレームの主被写体検出情報から主被写体領域の選択、もしくは合成に必要な複数フレームの主被写体検出情報を選択する。

選択した主被写体検出情報が１フレームのみであれば該当フレームの主被写体検出情報を主被写体領域情報としてデフォーカス量演算部９０８に出力する。２フレーム以上の主被写体検出情報であれば各フレームの主被写体情報における主被写体位置、主被写体サイズを合成し、合成した主被写体領域としてデフォーカス量演算部９０８に出力する。
表示用画像前処理部９０７は、表示用撮像素子９０５が変換した位相差画像信号を含むＬＶ画像信号から位相差画像信号を抽出し、デフォーカス量演算部９０８に出力するとともに、ＬＶ画像信号を画像補正部９１２に出力する。

画像補正部９１２は、実施例１に述べた画像補正部１０６と同様の処理を実施する。表示用画像データ制御部９１５、表示用画像後処理部９１８、表示部９１９、記録部９２０、記録媒体９２１は実施例１の表示用画像データ制御部１０７、表示用画像後処理部１１３、表示部１１９、記録部１１６、記録媒体１１８と同様の処理を実施する。
デフォーカス量演算部９０８は、位相差情報制御部９０９を有し、特定領域選択合成部９１６より取得した主被写体領域と、表示用画像前処理部９０７より取得した位相差画像信号から前記主被写体領域におけるデフォーカス量を演算する。

デフォーカス量の演算は矩形領域ごとに行い、一つの矩形領域におけるデフォーカス量の演算には複数ラインの位相差画像信号を用いる。そのためラインごとに取得した位相差画像信号を、位相差情報制御部９０９を通して位相差情報メモリ９１０に書き込み、読み出しを行う。ここで、デフォーカス量の演算、および、位相差情報制御部９０９における位相差情報メモリ９１０への位相差画像信号の書き込み、読み出しを、ＬＶ画像信号における画角全体ではなく主被写体領域を含む矩形領域に制限する。それによって、デフォーカス量演算部は、演算処理量、メモリへの書き込み、読み出しデータ量の削減を行う。デフォーカス量演算部９０８は主被写体領域を含む矩形領域ごとのデフォーカス量を光学制御部９０３に出力する。

光学制御部９０３は、デフォーカス量演算部９０８より取得した矩形領域ごとのデフォーカス量と、特定領域検出部９１１より取得した主被写体検出情報に基づいて、合焦対象とする矩形領域を決定する。そして、決定した矩形領域のデフォーカス量が減少するようにレンズのフォーカス制御を実行する。
図１８は、実施例２に係る撮像装置９００のデフォーカス量演算処理の流れを説明するフローチャートである。

表示用撮像素子９０５は、被写体からの光信号を、光学制御部９０３によって焦点調整された表示用光学系９０２を介して受光し、電気信号に変換する（Ｓ１０００）。像面位相差用画素位置における電気信号は位相差画像信号として出力する。一方、像面位相差用画素ではない通常画素で光源変換された電気信号はＬＶ画像信号として、表示用画像前処理部９０７に出力される。
表示用画像前処理部９０７は、表示用撮像素子９０５からのＬＶ画像信号をＲＧＢ各色の信号に変換し、位相差画像信号をＧ（緑）信号に変換する（Ｓ１００１）。
ＲＧＢ各色の信号に変換されたＬＶ画像信号は、画像補正部９１２に出力される。

表示用画像前処理部９０７は、Ｇ色信号に変換した位相差画像信号を、２画素を１組とした位相差情報としてデフォーカス量演算部９０８に出力する（Ｓ１００２）。
デフォーカス量演算部９０８は、ＬＶ画像信号の画角を複数の矩形領域に分割する。そして、分割した矩形領域（ＡＦ枠）ごとに、ＡＦ枠が特定領域選択合成部９１６から取得した主被写体領域を含むか否かを判定し、主被写体領域を含むＡＦ枠における位相差情報を位相差情報メモリ９１０に書き込む（Ｓ１００３）。

デフォーカス量演算部９０８は、位相差情報メモリ９１０より位相差情報をＡＦ枠単位で読み出し、ＡＦ枠単位でデフォーカス量演算処理を行う（Ｓ１００４）。Ｓ１００３において位相差情報メモリ９１０に書き込まれている位相差情報は主被写体領域を含むＡＦ枠に制限されているため、デフォーカス量演算処理も主被写体領域を含むＡＦ枠においてのみ行う。主被写体領域を含むＡＦ枠が１つである場合は、デフォーカス量の演算を１回行い、該当ＡＦ枠におけるデフォーカス量として光学制御部９０３に出力する。主被写体領域を含むＡＦ枠が複数ある場合は、デフォーカス量の演算を複数回行い、複数のＡＦ枠それぞれのデフォーカス量を光学制御部９０３に出力する。

光学制御部９０３は、特定領域検出部９１１より取得した複数フレームの主被写体検出情報から、主被写体の重心位置を含む可能性が最も高いＡＦ枠を選定する。そして、デフォーカス量演算部９０８より取得した該当ＡＦ枠におけるデフォーカス量に基づいてレンズのフォーカス制御を実行する（Ｓ１００５）。
図１９は、実施例２に係る撮像装置９００の追尾画像信号から主被写体領域を作成し、作成した主被写体領域情報をデフォーカス量演算部９０８に出力する処理の流れを説明するフローチャートである。

関連度情報生成部９１７は、先に述べたように、１フレームのＬＶ画像信号と複数フレームの追尾画像信号との関連度を示す露光重なりマップを生成する（Ｓ１１００）。その際に、表示用撮像素子９０５におけるＬＶ画像信号の露光開始タイミングと露光時間と撮像時の表示用光学系９０２の状態より定まる画角を用いる。更に、検出追尾用撮像素子９０４における複数フレームの追尾画像信号のそれぞれの露光開始タイミングと露光時間と検出追尾用光学系９０１の画角とを用いて前記露光重なりマップを生成する。
露光重なりマップは特定領域検出部９１１、および、特定領域選択合成部９１６に出力される。Ｓ４００と同様に、１フレームのＬＶ画像信号の撮像周期と、複数フレームの追尾画像信号の撮像周期とが同期している場合、１回生成した露光重なりマップを繰り返し複数回使う。同期していない場合、ＬＶ画像信号を１フレーム撮像するごとに、露光重なりマップを生成する。

Ｓ１１０１、Ｓ１１０２、Ｓ１１０３、Ｓ１１０４、Ｓ１１０５の処理に関しては、Ｓ２００、Ｓ２０１、Ｓ２０２、Ｓ２０３、Ｓ２０４処理と同様のため説明を省略する。
特定領域検出部９１１は、Ｓ１１０５のＹＥＳで、必要なすべての画像補正処理が完了したＲＧＢ信号／ＹＵＶ信号を取得し、主被写体領域の検出処理を行う（Ｓ１１０６）。検出した主被写体検出情報は特定領域選択合成部９１６に出力される。
図２０は関連度情報生成部９１７より取得した露光重なりマップの各垂直ライン情報から、複数フレームの追尾画像信号のそれぞれのフレームの追尾画像信号において検出領域をどのように絞り込むかを示す図である。なお、検出領域を絞り込むのは演算量の削減のためである。

追尾画像信号５２９は露光時間５０８で撮像した追尾画像信号であり、追尾画像信号５３１は露光時間５０９で撮像した追尾画像信号であり、追尾画像信号５３３は露光時間５１０で撮像した追尾画像信号である。それぞれの追尾画像信号の内側の矩形５３０、５３２、５３４は追尾画像信号上のＬＶ画像信号の画角を示す。ここで、追尾画像信号５２９における主被写体位置が露光重なりマップにおける５２７´´から５１５´´の垂直ライン範囲であるとする。その場合には、ＬＶ画像信号における主被写体は露光時間５０８で撮像した追尾画像信号との関連度が高いと判断する。そして、特定領域選択合成部９１６は露光時間５０８で撮像した追尾画像信号における主被写体検出結果を選択し、主被写体領域を生成する。

したがって、露光時間５０８で撮像した追尾画像信号５２９における主被写体検出は、ＬＶ画像信号の画角を示す矩形５３０の内側で、且つ、５２７´´から５１５´´の垂直ライン範囲に絞り込みをして検出すればよい。同様に、追尾画像信号５３１における主被写体検出は、ＬＶ画像信号の画角を示す矩形５３２の内側で、且つ、５１５´´から５１８´´の垂直ライン範囲に絞り込みをして検出すればよい。また、追尾画像信号５３３における主被写体検出は、ＬＶ画像の画角を示す矩形５３０の内側で、且つ、５１８´´から５２８´´の垂直ライン範囲に絞り込みをして検出すればよい。このように関連度情報である露光重なりマップに基づいて、複数フレームの追尾画像の検出処理におけるフレームごとの検出領域を切り替えることで、検出処理に係る演算量を削減することができる。

関連度情報生成部９１７より取得した露光重なりマップから、ＬＶ画像信号の露光時間と露光時間が重なる複数フレームの追尾画像信号の検出処理がすべて完了していない場合、次のフレームのＳ１１００の処理に進む（Ｓ１１０７のＮＯ）。検出処理がすべて完了している場合、Ｓ１１０８の処理に進む（Ｓ１１０７のＹＥＳ）。

特定領域選択合成部９１６は、関連度情報生成部９１７より取得した露光重なりマップと、特定領域検出部９１１より取得した複数フレームの主被写体検出情報をもとに、一つの主被写体領域を選択する。或いは合成するのに必要なフレームを決定する（Ｓ１１０８）。
特定領域選択合成部９１６は、Ｓ１１０８で決定した必要なフレームの主被写体検出情報から主被写体領域を作成する（Ｓ１１０９）。主被写体領域はデフォーカス量演算部９０８に出力される。

以上のように、実施例２に係る撮像装置９００は、主被写体の動きによって発生する主被写体と主被写体領域との位置ずれが抑制された主被写体領域を用いて、主被写体領域を含む矩形領域に絞ったデフォーカス量の演算をしている。従って、デフォーカス演算量や位相差情報のメモリアクセス量等を低減することができる。

次に撮像装置９００の実施例３につき説明する。
実施例３に係る撮像装置は、表示用画像後処理部９１８においてＬＶ画像信号の画像圧縮処理をする際に、特定領域選択合成部９１６で作成した主被写体領域を用いて、主被写体領域の内側の圧縮率を低くして、高画質な画像圧縮処理をする。また、主被写体領域の外側の圧縮率を高くして、低画質な高能率の圧縮処理をする。
これにより、ＬＶ画像信号の主被写体位置に対する主被写体領域位置のずれを抑制しつつ、主被写体領域の内外の圧縮率を制御することで、主被写体の画質低下を抑えながら、圧縮後のデータ量が少ない高能率の圧縮処理を実現することができる。

以上、本発明をその好適な実施例に基づいて詳述してきたが、本発明は上記実施例に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。
また、本実施例における制御の一部または全部を上述した実施例の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して撮像装置に供給するようにしてもよい。そしてその撮像装置におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。

１００ 撮像装置、
１０１ 光学系、
１０２ 光学制御部、
１０３ 撮像素子、
１０４ 表示用画像前処理部、
１０５ 検出追尾用画像前処理部、
１０６ 画像補正部、
１０７ 表示用画像データ制御部、
１０８ メモリ、
１０９ 特定領域検出部、
１１０ 検出追尾用画像データ制御部、
１１１ 画像検出部、
１１２ 画像追尾部、
１１３ 表示用画像後処理部、
１１４ 特定領域選択合成部、
１１５ 関連度情報生成部、
１１６ 記録部、
１１７ 特定領域重畳部、
１１８ 記録媒体、
１１９ 表示部、
１２０ メモリ

Claims (13)

1. 第１の周期でローリングシャッタ動作による撮像をして第１の画像信号を生成する第１の撮像手段と、
   前記第１の撮像手段より短い第２の周期で撮像をして複数の第２の画像信号を生成する第２の撮像手段と、
   前記第１の撮像手段における露光期間と前記第２の撮像手段の前記周期での撮像タイミングとの重なりに基づいて、前記第１の画像信号と複数の前記第２の画像信号との撮像タイミングの前記重なりに関する関連度情報を生成する関連度情報生成手段と、
   前記関連度情報生成手段によって生成した関連度情報に基づいて、複数の前記第２の画像信号の中から、所定の被写体が含まれると共に前記第１の画像信号の撮像タイミングと重なる特定の領域を選択する領域選択手段と、
   前記領域選択手段で選択した前記特定の領域に基づき前記第１の画像信号に対して枠の重畳、フォーカス演算、圧縮処理の少なくとも１つを含む画像処理を行う画像処理手段と、
   を備えることを特徴とする撮像装置。
2. 前記第１の周期は前記第２の周期の整数倍であることを特徴とする請求項１に記載の撮像装置。
3. 前記第２の画像信号における主被写体を検出する検出手段を有することを特徴とする請求項１または２に記載の撮像装置。
4. 前記検出手段によって検出された前記第２の画像信号における前記主被写体の検出領域を前記関連度情報に基づき切り替えることを特徴とする請求項３に記載の撮像装置。
5. 前記検出手段によって検出された前記第２の画像信号における主被写体を追尾する追尾手段を有することを特徴とする請求項３または４に記載の撮像装置。
6. 前記第１の周期と前記第２の周期の比に応じて前記第１の撮像手段の解像度と前記第２の撮像手段の解像度の比を設定したことを特徴とする請求項１～５のいずれか１項に記載の撮像装置。
7. 前記所定の画像処理は、前記第１の画像に対して所定の枠を重畳する処理を含むことを特徴とする請求項１～６のいずれか１項に記載の撮像装置。
8. 前記所定の画像処理は、デフォーカス量に関する演算処理を含むことを特徴とする請求項１～７のいずれか１項に記載の撮像装置。
9. 前記所定の画像処理は、画像圧縮処理を含むことを特徴とする請求項１～８のいずれか１項に記載の撮像装置。
10. 前記第１の撮像手段と前記第２の撮像手段は別々の撮像素子から成ることを特徴とする請求項１～９のいずれか１項に記載の撮像装置。
11. 前記第１の撮像手段と前記第２の撮像手段は同じ撮像素子内に設けられていることを特徴とする請求項１～９のいずれか１項に記載の撮像装置。
12. 請求項１～１１のうちいずれか一項に記載の前記撮像装置の関連度情報生成手段としてコンピュータを機能させるためのコンピュータプログラム。
13. 請求項１２に記載のコンピュータプログラムを記憶したコンピュータで読み取り可能な記憶媒体。
    

Images