JP6675510B2 - 被写体追跡装置およびその制御方法、画像処理装置およびその制御方法、撮像装置およびその制御方法、プログラム - Google Patents

Description

本発明は、被写体を光学的に追跡する画像処理技術に関する。

時系列的に供給される画像から特定の被写体像を抽出して被写体を追跡する技術は、動画像における人間の顔領域や人体領域の特定などに利用されている。被写体追跡技術は、例えば、通信会議、マン・マシン・インターフェイス、セキュリティ、任意の被写体を追跡するためのモニタ・システム、画像圧縮などの多くの分野で使用可能である。

デジタルスチルカメラやデジタルビデオカメラでは、タッチパネルなどを用いた操作により指定される撮像画像内の被写体像を抽出して追跡し、被写体に対する焦点状態や露出状態を最適化する技術が提案されている。特許文献１には、撮像画像に含まれる顔領域の位置を検出（抽出）および追跡し、顔に焦点を合わせると共に最適な露出で撮像する撮像装置が開示されている。特許文献２には、テンプレートマッチングを用いて、特定の被写体を自動で追跡する技術が開示されている。テンプレートマッチング処理では、特定の被写体（以下、追跡対象ともいう）の画像を含む画像領域を切り出した部分画像がテンプレート画像として登録される。タッチパネルなどの入力インターフェイスを用いて、画像に含まれる任意の領域が指定され、当該領域を基準としてテンプレート画像が登録される。テンプレート画像との間で類似度が最も高い領域、または相違度が最も低い領域を画像内において算出することで、特定の被写体を追跡可能である。

特開２００５−３１８５５４号公報 特開２００１−６０２６９号公報 特開２００２−２５１３８０号公報 特開２００８−１５７５４号公報

テンプレートマッチング処理では、画素パターンの類似度を評価尺度として用いる。そのため、追跡対象と追跡対象以外の被写体（背景など）において部分領域の画素パターンが類似する場合、誤った追跡対象が追跡される可能性がある。別の追跡方法としては、マッチングの評価尺度に色ヒストグラムの類似度を利用する方法がある。この場合、追跡対象と他の被写体において部分領域の色の割合が類似していると、誤った被写体が追跡される可能性がある。被写体追跡の精度を向上させるためには、追跡対象と追跡対象以外の被写体とを区別するための新たな情報が必要である。
本発明は、被写体に係る距離情報を追跡用情報に利用することで、被写体追跡の精度を向上させることを目的とする。

本発明に係る装置は、複数の画像データを取得して被写体領域を検出し、追跡被写体の被写体領域の追跡を行う被写体追跡装置であって、被写体の画像データと取得された画像データとを照合して取得される前記被写体の候補領域の情報から前記追跡被写体の被写体領域を決定する領域決定手段と、前記複数の画像データに対応する距離情報を算出する距離情報算出手段と、前記被写体領域の情報と前記距離情報から距離範囲を設定する距離範囲設定手段を有し、前記領域決定手段は、前記距離範囲設定手段により設定される距離範囲を用いて絞り込んだ前記候補領域から、当該距離範囲内の前記追跡被写体の被写体領域を決定することを特徴とする。

本発明によれば、被写体に係る距離情報を追跡用情報に利用することで、被写体追跡の精度を向上させることができる。

本発明の実施形態に係る撮像装置の構成例を示すブロック図である。 本発明の実施形態における画素配列の概略図である。 本発明の実施形態における画素の概略平面図（Ａ）と概略断面図（Ｂ）である。 本発明の実施形態における画素と瞳分割との関係を説明する概略図である。 本発明の実施形態における撮像素子と瞳分割の概略説明図である。 本発明の実施形態に係る被写体追跡装置の構成例を示すブロック図である。 本発明の実施形態に係るテンプレートマッチングを説明する図である。 本発明の実施形態に係る被写体追跡処理を説明するフローチャートである。 本発明の実施形態に係る設定距離範囲の具体例を説明する図である。

以下、本発明の各実施形態について図面を参照して説明する。本発明に係る光学機器は各種のレンズ装置や撮像装置、双眼鏡などに適用可能である。以下の実施形態は、本発明の好ましい形態として、デジタルスチルカメラ、ビデオカメラ等の撮像装置への適用例を示すが、本発明の技術的範囲を限定するものではない。

［第１実施形態］
図１を参照して、本発明の第１実施形態に係る撮像装置の構成について説明する。図１は、撮像装置１００の構成例を示すブロック図である。撮像装置１００は、被写体を撮像して動画や静止画のデータを記録媒体に記録する処理を行う。記録媒体として、テープ状記録媒体や固体メモリ、光ディスクや磁気ディスクなどの各種メディアにデータを記録可能である。撮像装置１００内の各部は、バス１６０を介して接続され、ＣＰＵ（中央演算処理装置）１５１により制御される。

撮影レンズ（レンズユニット）１０１は、固定１群レンズ１０２、ズームレンズ１１１、絞り１０３、固定３群レンズ１２１、および、フォーカスレンズ１３１を備える。絞り制御部１０５は、ＣＰＵ１５１の指令に従い、絞りモータ１０４を介して絞り１０３を駆動することにより、絞り１０３の開口径を調整して撮影時の光量調節を行う。ズーム制御部１１３は、ズームモータ１１２を介してズームレンズ１１１を駆動することにより、焦点距離を変更する。また、フォーカス制御部１３３は、撮影レンズ１０１の焦点検出信号に基づき焦点位置のずれ量に応じてフォーカスモータ１３２の駆動量を決定し、フォーカスモータ１３２の駆動制御を行う。フォーカス制御部１３３およびフォーカスモータ１３２によってフォーカスレンズ１３１の移動が制御されることで、ＡＦ（自動焦点調節）制御が実現される。図１ではフォーカスレンズ１３１を単レンズで簡略的に示しているが、通常複数のレンズで構成される。

被写体からの光は、撮影レンズ１０１を構成する各光学部材を介して撮像素子１４１上に結像される。撮像素子１４１上に結像する被写体像は、撮像素子１４１により電気信号に変換される。撮像素子１４１は、被写体像（光学像）を電気信号に光電変換する光電変換素子である。撮像素子１４１は、複数のマイクロレンズと、各マイクロレンズに対応する複数の光電変換素子を備える画素部により構成される。つまり、一つのマイクロレンズを共有する複数の光電変換素子（第１の光電変換素子および第２の光電変換素子）を備えた撮像素子を用いることで、視差画像を生成可能である。撮像装置１００は、特定の被写体を追跡する被写体追跡装置を備え、被写体追跡において視差画像より算出される距離情報を用いて演算を行う。

図２を参照して、本実施形態における撮像素子１４１の撮像画素と焦点検出画素の配列を説明する。図２は、２次元ＣＭＯＳ（相補型金属酸化膜半導体）センサの撮像画素配列を４列×４行の範囲で例示し、焦点検出画素配列を８列×４行の範囲で例示する。２列×２行の画素群２００は、以下に示す１組の画素２００Ｒ，２００Ｇ，２００Ｂを備える。
・画素２００Ｒ（左上の位置参照）：Ｒ（赤）色の分光感度を有する画素。
・画素２００Ｇ（右上と左下の位置参照）：Ｇ（緑）色の分光感度を有する画素。
・画素２００Ｂ（右下の位置参照）：Ｂ（青）色の分光感度を有する画素。
各画素部は、２列×１行に配列した、第１焦点検出画素２０１と第２焦点検出画素２０２により構成されている。図２に示した４列×４行の画素（８列×４行の焦点検出画素）が平面上にて格子状に多数配置されることで、撮像画像信号および焦点検出信号を取得可能である。

図２に示した撮像素子における１つの画素２００Ｇを、撮像素子の受光面側（＋ｚ側）から見た平面図を図３（Ａ）に示す。図３（Ａ）の紙面に垂直な方向にｚ軸を設定し、手前側をｚ軸の正方向と定義する。また、ｚ軸に直交する上下方向にｙ軸を設定して上方をｙ軸の正方向とし、ｚ軸およびｙ軸に直交する左右方向にｘ軸を設定して右方をｘ軸の正方向と定義する。図３（Ａ）にてａ−ａ切断線に沿って、−ｙ方向から見た場合の断面図を図３（Ｂ）に示す。

図３（Ｂ）に示す画素２００Ｇは、各画素の受光面側（＋ｚ方向）にて入射光を集光するマイクロレンズ３０５が形成され、分割された複数の光電変換部を備える。例えば、ｘ方向における分割数をＮ_Ｈとし、ｙ方向における分割数をＮ_Ｖとする。図３には、瞳領域をｘ方向にて２分割した例、すなわち、Ｎ_Ｈ＝２，Ｎ_Ｖ＝１の場合を例示し、副画素としての光電変換部３０１と光電変換部３０２が形成されている。光電変換部３０１は第１焦点検出画素２０１に対応し、光電変換部３０２は第２焦点検出画素２０２に対応する。光電変換部３０１と光電変換部３０２は、例えばｐ型層３００とｎ型層との間にイントリンシック層を挟んだｐｉｎ構造フォトダイオードとして形成される。または必要に応じて、イントリンシック層を省略し、ｐｎ接合フォトダイオードとして形成してもよい。各画素には、マイクロレンズ３０５と、光電変換部３０１および光電変換部３０２との間に、カラーフィルタ３０６が形成される。必要に応じて、副画素ごとにカラーフィルタ３０６の分光透過率を変えてもよいし、カラーフィルタを省略しても構わない。

画素２００Ｇに入射した光はマイクロレンズ３０５が集光し、さらにカラーフィルタ３０６で分光された後に、光電変換部３０１と光電変換部３０２が受光する。光電変換部３０１と光電変換部３０２では、受光量に応じて電子とホール（正孔）が対生成され、空乏層で分離された後、負電荷をもつ電子はｎ型層（不図示）に蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて撮像素子の外部へ排出される。光電変換部３０１と光電変換部３０２のｎ型層（不図示）に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送されて電圧信号に変換される。

図４は、画素構造と瞳分割との対応関係を示した概略的な説明図である。図４には、図３（Ａ）に示した画素構造のａ−ａ線での切断面を、＋ｙ方向から見た場合の断面図と、結像光学系の射出瞳面（射出瞳４００参照）を、−ｚ方向から見た図を示す。図４では、射出瞳面の座標軸と対応を取るために、断面図にてｘ軸とｙ軸を図３（Ａ）に示す状態とは反転させて示している。第１焦点検出画素２０１に対応する第１瞳部分領域５０１は、−ｘ方向に重心が偏倚している光電変換部３０１の受光面に対し、マイクロレンズ３０５によって、概ね共役関係になっている。つまり、第１瞳部分領域５０１は第１焦点検出画素２０１で受光可能な瞳領域を表し、瞳面上で＋ｘ方向に重心が偏倚している。また、第２焦点検出画素２０２に対応する第２瞳部分領域５０２は、重心が、＋ｘ方向に偏心している光電変換部３０２の受光面に対し、マイクロレンズ３０５によって、概ね共役関係になっている。第２瞳部分領域５０２は第２焦点検出画素２０２で受光可能な瞳領域を表し、瞳面上で、−ｘ方向に重心が偏倚している。

図４に示す瞳領域５００は、光電変換部３０１と光電変換部３０２（第１焦点検出画素２０１と第２焦点検出画素２０２）を全て併せた場合の、画素２００Ｇ全体で受光可能な瞳領域である。撮像素子と瞳分割との対応関係を図５の概略図に示す。第１瞳部分領域５０１と第２瞳部分領域５０２の、異なる瞳部分領域をそれぞれ通過した光束は、撮像素子の各画素に異なる角度で入射する。撮像面８００への入射光は、Ｎ_Ｈ（＝２）×Ｎ_Ｖ（＝１）に分割された第１焦点検出画素２０１と第２焦点検出画素２０２で受光される。第１焦点検出画素２０１の光電変換部３０１と第２焦点検出画素２０２の光電変換部３０２は光を電気信号に変換する。本実施形態では、瞳領域が水平方向にて２つに瞳分割されている例を示す。必要に応じて、垂直方向に瞳分割を行ってもよい。

本実施形態に係る撮像素子１４１は、結像光学系の第１瞳部分領域を通過する光束を受光する第１焦点検出画素と、第１瞳部分領域とは異なる、結像光学系の第２瞳部分領域を通過する光束を受光する第２焦点検出画素を備える。結像光学系の第１瞳部分領域と第２瞳部分領域とを併せた瞳領域を通過する光束を受光する撮像画素は２次元アレイ状に複数配列されている。つまり、各撮像画素は第１焦点検出画素と第２焦点検出画素から構成される。必要に応じて、撮像画素と、第１焦点検出画素および第２焦点検出画素を個別の画素構成とし、撮像画素配列にて第１焦点検出画素と第２焦点検出画素を部分的に分散配置した構成を採用してもよい。

本実施形態では、撮像素子１４１における各画素の第１焦点検出画素２０１の受光信号を集めて第１焦点検出信号である「Ａ像」が生成され、各画素の第２焦点検出画素２０２の受光信号を集めて第２焦点検出信号である「Ｂ像」が生成される。後述する被写体追跡部１６１は、視差を有するＡ像とＢ像から像ずれ量を算出し、この像ずれ量から距離情報（奥行き情報）を算出する処理が行われる。また、撮像素子１４１の画素ごとに、Ａ像とＢ像を加算して「Ａ＋Ｂ像」を生成することで、表示あるいは記録に用いる画像データを生成することができる。このように撮像素子１４１上に結像されて光電変換により生成された画像信号は、図１の撮像信号処理部１４２に出力される。撮像信号処理部１４２は、入力される画像信号を処理し、画像データへの整形処理を行う。

撮像信号処理部１４２は、処理済みの画像データを撮像制御部１４３に出力する。処理済みの画像データは一時的に、ＲＡＭ（ランダム・アクセス・メモリ）１５４に記憶されて蓄積される。ＲＡＭ１５４に蓄積された画像データに対し、画像圧縮伸長部１５３は圧縮処理を施した後、画像記録媒体１５７に記録する処理を行う。これと並行して、ＲＡＭ１５４に蓄積された画像データは、画像処理部１５２に送られる。画像処理部１５２は、画像データを処理し、例えば、画像データに対して最適なサイズへの縮小処理または拡大処理を行う。最適なサイズに処理された画像データは、モニタディスプレイ１５０に送られて画像表示される。操作者は、モニタディスプレイ１５０の表示画像を見ながらリアルタイムで撮影画像を観察することができる。なお、撮影直後にはモニタディスプレイ１５０が所定時間だけ撮影画像を表示することで、操作者は撮影画像を確認できる。操作部１５６は各種の操作スイッチを備え、操作者が撮像装置１００への指示を行う際に使用する。操作部１５６から入力された操作指示信号は、バス１６０を介してＣＰＵ１５１に送られる。

ＣＰＵ１５１は、操作部１５６から入力された操作指示信号、あるいは、一時的にＲＡＭ１５４に蓄積された画像データの画素信号の大きさに基づき、各種のパラメータの設定値を決定する。各種のパラメータとは、例えば撮像素子１４１の蓄積時間、撮像素子１４１から撮像信号処理部１４２へ出力を行う際のゲインの設定値などである。撮像制御部１４３は、ＣＰＵ１５１から蓄積時間やゲインの設定値の指示信号を取得し、指示信号にしたがって撮像素子１４１を制御する。

ＲＡＭ１５４に蓄積された画像データである、Ａ＋Ｂ像のデータは、被写体追跡部１６１にも送られる。被写体追跡部１６１は、撮像時刻の異なる複数の画像データを用いて特定の被写体を追跡する。追跡の結果として、特定の被写体を示す部分領域（画像領域）が抽出される。また、ＲＡＭ１５４には、視差画像に対応するＡ像、Ｂ像の各データも蓄積される。Ａ像、Ｂ像の各データは、視差画像に基づいて距離情報（奥行き情報）を算出し、特定の被写体を追跡するための情報として利用される。その詳細については後述する。

被写体追跡部１６１の出力は、バス１６０を介して各処理部に通知される。例えばフォーカス制御部１３３は被写体追跡部１６１の出力を取得し、特定の被写体領域に対するＡＦ制御を行う。また、絞り制御部１０５は被写体追跡部１６１の出力を取得し、特定の被写体領域での輝度値を用いた露出制御を行う。画像処理部１５２は被写体追跡部１６１の出力を取得し、特定の被写体領域に基づいたガンマ補正、ホワイトバランス処理などを行う。また、モニタディスプレイ１５０は、被写体追跡部１６１の出力にしたがい、追跡対象である被写体像の一部を含む被写体領域を、矩形枠などで他の画像領域と区別して画面上に表示する。

電源管理部１５８は、バッテリ１５９を管理し、撮像装置１００の全体に安定した電源供給を行う。フラッシュメモリ１５５は、撮像装置１００の動作に必要な制御プログラムを記憶している。操作者が撮像装置１００の起動操作を行うと、電源ＯＦＦ状態から電源ＯＮ状態へ移行し、フラッシュメモリ１５５に格納された制御プログラムがロードされてＲＡＭ１５４の一部に読み込まれる。ＣＰＵ１５１は、ＲＡＭ１５４にロードされた制御プログラムに従って撮像装置１００の動作を制御する。

次に図６を参照して、被写体追跡部１６１の詳細を説明する。被写体追跡部１６１は、追跡対象とする被写体を検出し、逐次に供給される画像データを用いて特定の被写体を追跡する。追跡の結果として、画像内における特定の被写体を示す部分領域が抽出される。被写体追跡部１６１は、検出処理や追跡のためのマッチング処理において、Ａ＋Ｂ像の画像データを利用し、また、被写体の距離情報を用いることで精度の高い被写体追跡を行う。距離情報を算出するために被写体追跡部１６１はＡ像およびＢ像のデータを利用する。

図６は被写体追跡部１６１の構成例を示すブロック図である。被写体検出部６０１は、入力画像であるＡ＋Ｂ像から、目的とする所定の被写体の画像を検出し、被写体追跡の追跡対象とする。例えば顔検出の場合、被写体追跡部１６１は被写体領域として人物などの顔領域を特定する。顔検出技術としては、例えば顔に関する知識（肌色情報、目・鼻・口などの形状情報）を利用する方法と、ニューラルネットワークに代表される学習アルゴリズムにより顔検出のための識別処理部を構成する方法などがある。また、顔検出では、認識率の向上のために、複数の方法を組み合わせて顔認識を行うのが一般的である。具体的には、ウェーブレット変換と画像特徴量を利用して顔検出する方法などがある（特許文献３参照）。あるいは、操作部１５６がタッチパネルや操作ボタンなどを含む入力インターフェイス部を備える形態にて、操作者が、撮像画像に含まれる任意の被写体像を追跡対象に指定する構成としてもよい。その場合、被写体検出部６０１は操作部１５６より指定された位置情報を取得し、位置情報に基づいて被写体領域を検出する。

図６のマッチング部６０２は、入力画像であるＡ＋Ｂ像のデータを取得し、被写体検出部６０１により検出された被写体領域をテンプレートとして登録する。マッチング部６０２は登録したテンプレートと、逐次に入力される画像の部分領域とを照合するマッチング処理を行い、上位の複数の評価値と領域情報を追跡被写体の候補領域として出力する。マッチングの方式は多種多様に存在するが、本実施形態では、画素パターンの相違度に基づくテンプレートマッチングによる方法を適用する。図７を参照して、テンプレートマッチングの詳細を説明する。

図７（Ａ）は、テンプレートマッチングにおける被写体モデル（テンプレート）を例示する。左側の画像７０１は、目的とする追跡対象の被写体領域の画像を示す。画像７０１の画素パターンを特徴量として扱う例を説明する。データ配列７０２は、画像７０１の特徴量を表現したものであり、画素データの輝度信号を特徴量とした場合の２次元配列を例示する。テンプレート領域内に２次元座標(i,j)を設定し、変数”ｉ”は水平方向の位置座標を表し、変数”j”は垂直方向の位置座標を表す。２次元座標(i,j)における特徴量を”T(i,j)”とし、水平画素数をＷとし、垂直画素数をＨとする。特徴量T(i,j)は下記式で表現される。

図７（Ｂ）は、追跡対象を探索する際の探索画像を例示する。左側の画像７０３はマッチング処理を行う範囲の画像を示す。探索画像における２次元座標については、水平方向をｘ方向とし、垂直方向をｙ方向と定義して、（x,y）で表現する。画像７０３内に示す矩形状の領域７０４は、マッチングの評価値を取得するための部分領域である。部分領域７０４の特徴量７０５を２次元配列で示し、テンプレートの場合と同様に画像データの輝度信号を特徴量とする。部分領域７０４内での２次元座標（i,j）における特徴量をS(i,j)とし、水平画素数をＷとし、垂直画素数をＨとする。特徴量S(i,j)は下記式で表現される。

本実施形態ではテンプレート領域と部分領域との類似性を評価する演算方法として、差分の絶対値の総和、いわゆるＳＡＤ（Sum of Absolute Difference）値を用いる。ＳＡＤ値をV(x,y)と記すと、これは下記式により算出される。

部分領域７０４を、探索範囲の画像７０３の左上から順に１画素ずつずらしながら、ＳＡＤ値V(x,y)の演算が行われる。演算により得られたＳＡＤ値V(x,y)が最小値を示す場合、その座標（x,y）がテンプレートと最も類似した位置を示す。つまり、ＳＡＤ値が最小値を示す位置は、探索画像において目的とする追跡対象が存在する可能性の高い位置である。

上述の説明では、特徴量として輝度信号という１種類の情報を用いる例を示したが、明度または色相または彩度の信号、あるいはこれらを組み合わせた信号などのように、２種類以上の情報を特徴量として扱ってもよい。またマッチング評価値の演算方法としてＳＡＤ値を例示して説明したが、正規化相互相関、いわゆるＮＣＣ（Normalized Correlation Coefficient）などの演算方法を用いてもよい。また、本発明の適用上、テンプレートマッチングのみに限定されず、ヒストグラムの類似性に基づくヒストグラムマッチングなどの他のマッチング方式を採用してもよい。

図６の被写体領域決定部６０３は、マッチング部６０２より供給される、上位の複数の評価値と領域情報に基づき、追跡対象とすべき被写体の候補領域から、１つの被写体領域を決定する。例えば、最も評価値の高い領域が被写体領域として決定される。これは簡単な決定方法であるが、追跡対象と、背景やその他の被写体などにおける部分領域との間で画素パターンが類似している場合、本来追跡対象とすべきでない被写体領域の評価値が高くなってしまう可能性がある。そこで本実施形態では、視差画像データから算出される距離情報（距離マップデータ）を参照することで、正しい被写体領域を決定する処理が行われる。これにより、追跡対象とすべき被写体領域の検出確率を高めることができる。被写体領域決定部６０３が決定した１つの被写体領域の情報は、被写体追跡部１６１の出力となる。

距離マップ算出部６０４は、水平方向に視差をもつ一対の画像（Ａ像、Ｂ像）のデータを取得し、被写体距離を算出する。被写体距離は、撮像装置から被写体までの距離を示す情報である。水平方向に視差をもつ一対の画像に相関演算処理を施すことで、像ズレ量を検出することができる。像ズレ量の検出処理では、例えば画像領域を小領域に分割した小ブロックごとに相関演算が行われる（特許文献４参照）。相関演算で算出された像ズレ量に対し、所定の変換係数を乗算することにより、画像の結像面における偏差（デフォーカス量）が算出される。以下、算出されたデフォーカス量を算出距離という。撮像面の画像の各画素に対して、算出距離が割り当てられた距離分布の情報を距離マップと呼ぶ。

被写体距離設定部６０５は、過去の時点で被写体領域決定部６０３が決定した被写体領域の情報、および距離マップ算出部６０４が算出した距離マップデータを取得し、被写体が存在し得る所定範囲の距離を設定する。被写体領域決定部６０３は、被写体距離設定部６０５によって設定される所定範囲の距離に該当する領域であって、かつ、マッチング部６０２で抽出された候補領域である１つの領域を被写体領域として決定する。具体的には、時間経過を表す変数をｎとし、時刻ｎ−１での画像データ、および時刻ｎでの画像データが取得されているものとする。この場合、時刻ｎ−１と時刻ｎとが連続的であって、２つの時刻の間で被写体距離が大きく変化しないものとする。被写体距離設定部６０５は、時刻ｎ−１で被写体領域決定部６０３が決定した部分領域（被写体領域）と、当該部分領域の時刻ｎ−１での距離マップから、時刻ｎ−１にて被写体が存在する距離を算出する。被写体距離設定部６０５は、目的とする被写体の算出距離を基準として距離範囲（以下、設定距離範囲という）を設定し、設定距離範囲内に該当する部分領域が、時刻ｎでの距離マップにより判定される。被写体領域決定部６０３は、時刻ｎでのマッチング部６０２による上位の複数の評価値に対して、設定距離範囲内に該当する部分領域のみを抽出する。そして、抽出された部分領域から被写体領域が決定される。

次に図８のフローチャートを参照して、被写体追跡部１６１が行う処理を説明する。
まず、時刻ｎ−１での撮像画像が被写体追跡部１６１への入力画像として供給される（Ｓ８０１）。この画像から被写体検出部６０１は特定の被写体領域を検出する（Ｓ８０２）。マッチング部６０２は、検出された特定の被写体領域に基づき、テンプレートマッチングの被写体モデルであるテンプレートを登録する（Ｓ８０３）。また追跡処理の初期タイミングでは、被写体距離設定部６０５が被写体距離（設定距離範囲）の値を初期化してクリアする（Ｓ８０４）。なお、Ｓ８０２およびＳ８０３と、Ｓ８０４は順不同である。

次に、Ｓ８０１での時刻とは異なる時刻ｎでの撮像画像が入力画像として供給される（Ｓ８０５）。Ｓ８０５での入力画像は被写体追跡部１６１の探索画像を示す。この探索画像に基づき、マッチング部６０２はテンプレートマッチングにより照合を行う（Ｓ８０６）。また、Ｓ８０５での入力画像のデータから距離マップ算出部６０４が距離マップを算出する（Ｓ８０７）。なお、Ｓ８０６とＳ８０７は順不同である。

Ｓ８０８で被写体領域決定部６０３は、予め設定された距離範囲（Ｓ８１２で更新される前の設定距離範囲）とＳ８０７で算出された距離マップから、Ｓ８０６によるマッチング結果を絞り込む。ただし、初期の処理に関しては、設定距離範囲が存在しないので（Ｓ８０４でクリアされているため）、マッチング結果が絞り込まれることはない。次に被写体領域決定部６０３は、設定距離範囲内にて絞り込まれたマッチング結果から評価値が最上位となる部分領域を被写体領域として決定する（Ｓ８０９）。設定距離範囲に属する１つの被写体領域が決定されると、決定された被写体領域に基づき、被写体追跡部１６１は追跡を継続するか否かを判定する（Ｓ８１０）。判定の一例としては、Ｓ８０８においてマッチング結果が全て対象外となった場合に追跡を継続しないと判定される。

被写体追跡処理を継続しないことが判定された場合（Ｓ８１０でＮＯと判定）、被写体追跡の処理を終了する。例えば、追跡の目的とする被写体の画像が探索範囲の画像に存在しなくなった場合に処理が終了する。一方、被写体追跡処理を継続することが判定された場合（Ｓ８１０でＹＥＳと判定）、Ｓ８１１に処理を進める。

Ｓ８１１で被写体領域決定部６０３は、決定した被写体領域に基づき、マッチング部６０２のテンプレートを更新する。被写体距離設定部６０５は距離マップと、決定された被写体領域に基づいて設定距離範囲を更新する（Ｓ８１２）。設定距離範囲の詳細については後述する。次にＳ８０５に戻り、被写体追跡部１６１は逐次に供給される入力画像に基づいて被写体追跡処理を続行する。

上述した説明では、マッチング評価値を設定距離範囲に基づいて絞り込む処理を例示して説明した。これに限らず、マッチング評価値と設定距離範囲の２つの条件より被写体領域が決定できればよい。例えば、設定距離範囲と距離マップによって、マッチングする領域を制限することで、設定距離範囲のマッチング評価値が出力されない仕組みで実施してもよい。

上述したように本実施形態に係る被写体追跡装置は、所定範囲の距離に該当する領域であって、かつ、マッチング部６０２により抽出された候補領域から被写体領域を決定する。所定範囲の距離は、過去の履歴情報である被写体追跡の結果に基づいて設定される。所定範囲の距離という条件を適切に利用することで、被写体追跡の精度を向上させることができる。例えば、設定距離範囲が大きすぎる場合には距離情報に基づく制限が弱くなるので、距離情報を参照する効果が低くなる。また、設定距離範囲が小さすぎる場合には、被写体が奥行き方向（撮影方向に沿う方向）に大きく動くと、設定距離範囲から外れてしまう可能性がある。この場合、追跡対象とすべき領域が候補領域から外されてしまうことが懸念される。そこで本実施形態では、被写体追跡の精度を向上させるために、最適な距離範囲が設定される。

図９を参照して、被写体追跡の状況に応じて距離範囲を設定する処理に関して説明する。図９中の撮像装置１００に示す位置を基準として、ｘ軸、ｙ軸、ｚ軸からなる３次元空間座標系を設定している。ｘ軸、ｙ軸からなるｘ−ｙ平面は撮像画像の撮像面に平行な平面であり、ｚ軸はｘ−ｙ平面に直交して撮像光学系の光軸方向に沿う軸である。ｚ軸方向において撮像装置１００の位置を基準として距離が算出されるものとする。複数の被写体９０１から９０４のうちで、被写体９０１は追跡対象を示し、被写体９０２から９０４は追跡対象とは異なる被写体を示す。図９に示したように、被写体９０２と９０３は、追跡被写体９０１に比べて撮像装置１００に近い距離に位置し、被写体９０４は追跡被写体９０１に比べて撮像装置１００から遠い距離に位置している。撮像装置１００に搭載された被写体追跡装置は、距離範囲の設定を行う際、現時点よりも過去の時点で取得されている履歴情報を使用する。履歴情報とは、例えば直前の所定期間内に取得されている、被写体領域の距離情報である。図９は、各追跡状況における設定距離範囲９０５、９０６、９０７、９１３が設定されている様子を示す。

図９（Ａ）および図９（Ｂ）は、追跡対象の過去の動きに基づいて距離範囲が設定される場合を例示する。図９（Ａ）は追跡対象の動きが遅い場合を示す。設定距離範囲９０５は、ｚ軸方向にて追跡被写体９０１の位置の前後に幅をもつ範囲に設定されている。図９（Ｂ）は追跡対象の動きが速い場合を示す。設定距離範囲９０６は、ｚ軸方向にて追跡被写体９０１の位置の前後に幅をもつ範囲に設定されており、設定距離範囲９０５よりも大きい。つまり、設定距離範囲９０５と９０６を比較すると、追跡対象の移動速度の大きい状況の方が、設定距離範囲が大きい。動きの速い追跡対象の場合、追跡被写体が設定距離範囲から外れてしまう可能性があるため、設定距離範囲が大きくなっている。一方で、動きの遅い追跡対象の場合には、追跡被写体が設定距離範囲外となる可能性は低い。よって、距離情報を参照する効果を高めるために設定距離範囲が小さい。

図９（Ｃ）および図９（Ｄ）は、追跡被写体と追跡対象とは異なる被写体との距離関係（距離差）に基づいて距離範囲が設定される場合を例示する。図９（Ｃ）では、追跡対象以外の複数の被写体の距離情報に基づいて距離範囲が設定される。複数の被写体とは、追跡被写体９０１に対して撮像装置１００に近い前方に位置する最近傍の被写体９０２と９０３、および、撮像装置１００から遠い後方に位置する最近傍の被写体９０４である。被写体９０２と９０３の距離情報と被写体９０４の距離情報に基づき距離範囲の設定が行われる。被写体追跡において距離情報を参照する目的は、追跡対象とその他の対象とを識別することである。追跡対象とその他の対象との距離が短い場合（距離差が小さい場合）、被写体追跡装置は設定距離範囲を小さくする。逆に、追跡対象とその他の対象との距離が長い場合（距離差が大きい場合）に、被写体追跡装置は設定距離範囲を大きくする。

図９（Ｄ）は、追跡対象と類似した対象との距離関係に基づいて距離範囲が設定される場合を例示する。追跡対象と類似した対象とは、追跡対象の特徴と類似した特徴を有する被写体のことである。図９（Ｄ）に示す被写体９０２、９０４は、追跡対象である被写体９０１と類似していない対象を示す。また被写体９０８、９０９は、追跡対象である被写体９０１と類似している対象を示す。類似判定にはマッチング評価値が使用される。つまり、「対象が類似している」とは、追跡対象とその他の対象との間でマッチング評価値が近いことを示す。本実施形態で説明したテンプレートマッチング方式を用いる場合、取得される画像の画素パターンが類似している対象が類似対象となる。あるいは、色ヒストグラムマッチング方式の場合には、色の割合が類似した対象が類似対象となる。マッチング評価値だけでは追跡対象とその他の対象との識別が困難である場合、被写体の距離情報を参照することで複数の対象を識別することが可能となるので効果的である。すなわち、追跡対象と当該追跡対象に類似した対象との距離関係（距離差）に基づいて距離範囲を設定することにより、距離情報を用いた被写体追跡の精度を向上させることができる。その結果、設定距離範囲を比較的大きく設定することができるので、被写体追跡装置は追跡対象の速い動きにも対応できる。

また、被写体追跡装置は追跡対象と類似した対象の動き（撮影方向の移動速度）を判別する。例えば、被写体追跡装置は追跡対象と類似した対象が動体であるか、または静止物体であるかを判別し、判別結果に応じて距離範囲の設定を変更する。動体の場合に距離範囲が小さく設定され、静止物体の場合には距離範囲が大きく設定される。あるいは、追跡対象と類似した対象が動体である場合に、その移動速度に応じて、速い動体であるほど距離範囲が小さく設定される。
以上のように、被写体距離設定部６０５が行う距離範囲設定処理にて被写体追跡の状況に応じて設定距離範囲を動的に変更することで、被写体追跡処理にて距離情報を有効に活用できる。

本実施形態では、追跡対象である被写体とその他の被写体との間で各画像における画素パターンが類似しており、マッチングの評価値のみでは識別が困難な場合でも、各被写体までの距離が異なっていれば、距離情報を使用して正確に追跡できる。すなわち、追跡被写体とその他の被写体とにおいて画素パターンや色ヒストグラムが類似していたとしても、距離が異なっている場合には正確な被写体追跡が可能である。本実施形態によれば、被写体の光学的な追跡において、被写体の距離情報を利用することで追跡の精度を向上させることができる。

［第２実施形態］
次に、本発明の第２実施形態を説明する。本実施形態では、距離情報が正確でない場合に、当該距離情報を参照してしまうと追跡の精度が低下することへの対策を講じる。本実施形態に係る装置は、距離マップと併せて、距離マップデータの信頼性を示す信頼度マップの算出部をさらに備える。具体的には、図６において、距離マップ算出部６０４を、距離マップおよび信頼度マップ算出部６１４に置き換える。距離マップおよび信頼度マップ算出部６１４は距離情報算出処理により距離情報を算出する際、信頼度算出処理を実行し、距離情報に関する信頼度マップを算出する。例えば信頼度の値が小さい場合、対応する距離マップデータの信頼性が低いものとする。

ここで、信頼度マップの生成処理例に関して説明する。距離マップの算出処理では、水平方向に視差をもつ一対の画像領域を小領域に分割し、その小ブロックごとに相関演算を行うことで像ズレ量が検出される。相関演算が画像パターンの類似性に基づく場合に、小ブロックの画像パターンが類似した画素同士の集合体であるときには、相関度のピーク値が生じにくい。このため、正確な像ズレ量の検出が困難となる。したがって、相関演算の結果として得られる計算値の平均値とピーク値（類似度の場合には最大値）との差分が小さい場合には、信頼性が低いと判断される。つまり差分を利用して信頼度を定義することができる。この信頼度は、小ブロックごとに算出されるため座標情報を有しているので、距離情報に関する信頼度情報の分布を表すマップ（信頼度マップ）が生成される。

図６の被写体領域決定部６０３は、被写体距離設定部６０５により設定される所定範囲内の距離に該当し、または、信頼度マップによる信頼度が閾値より高い領域であって、かつ、マッチング部６０２で抽出された候補領域から被写体領域を決定する。つまり、距離マップデータの信頼度が閾値より小さい場合には、マッチング結果の候補領域を絞り込まないように回避する処理が行われる。
本実施形態によれば、距離情報の信頼性を表す信頼度情報を使用することにより、正確な距離情報を用いて被写体追跡の精度を高めることができる。
なお、第１および第２実施形態では、撮像素子１４１から得られたデータから距離マップデータを生成したが、これに限られるものではない。例えば、撮影レンズ１０１を通過した光の一部を、ハーフミラーを用いて、撮像素子１４１とは別に設けられた測距回路に導くことで、撮像素子１４１とは別部材の測距回路から距離情報を得て、距離マップデータを生成するようにしても構わない。

［その他の実施形態例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮像装置
１６１ 被写体追跡部
６０１ 被写体検出部
６０２ マッチング部
６０３ 被写体領域決定部
６０４ 距離マップ算出部
６０５ 被写体距離設定部
６１４ 距離マップおよび信頼度マップ算出部

Claims (20)

1. 複数の画像データを取得して被写体領域を検出し、追跡被写体の被写体領域の追跡を行う被写体追跡装置であって、
   被写体の画像データと取得された画像データとを照合して取得される前記被写体の候補領域の情報から前記追跡被写体の被写体領域を決定する領域決定手段と、
   前記複数の画像データに対応する距離情報を算出する距離情報算出手段と、
   前記被写体領域の情報と前記距離情報から距離範囲を設定する距離範囲設定手段を有し、
   前記領域決定手段は、前記距離範囲設定手段により設定される距離範囲を用いて絞り込んだ前記候補領域から、当該距離範囲内の前記追跡被写体の被写体領域を決定することを特徴とする被写体追跡装置。
2. 前記距離情報は、視差を有する複数の画像のデータから取得され、前記複数の画像の像ズレ量が算出されることを特徴とする請求項１に記載の被写体追跡装置。
3. 前記距離情報の信頼性を表す信頼度の情報を算出する信頼度算出手段を更に有し、
   前記領域決定手段は、前記信頼度算出手段により算出された信頼度が閾値より高い距離情報を有する前記候補領域から前記追跡被写体の被写体領域を決定することを特徴とする請求項１または２に記載の被写体追跡装置。
4. 前記距離情報は、視差を有する複数の画像のデータから取得され、前記複数の画像の像ズレ量が算出され、
   前記信頼度の情報は、前記複数の画像データの相関演算に基づいて算出されることを特徴とする請求項３に記載の被写体追跡装置。
5. 前記距離情報は、撮像光学系の異なる射出瞳の部分領域をそれぞれ通過する複数の光束に対応する前記複数の画像データから取得されることを特徴とする請求項２に記載の被写体追跡装置。
6. 前記追跡被写体の被写体領域の画像データは、学習アルゴリズムにより決定されることを特徴とする請求項１に記載の被写体追跡装置。
7. テンプレートマッチングにより前記画像データの照合が行われることを特徴とする請求項１乃至６のいずれか１項に記載の被写体追跡装置。
8. ヒストグラムの類似性に基づくヒストグラムマッチングにより前記画像データの照合が行われることを特徴とする請求項１乃至６のいずれか１項に記載の被写体追跡装置。
9. 前記距離情報は、前記複数の画像データを出力する測距回路によって取得されることを特徴とする請求項１に記載の被写体追跡装置。
10. 前記距離範囲設定手段は、前記追跡被写体の撮影方向の移動速度が大きい場合に設定する前記距離範囲を、前記追跡被写体の撮影方向の移動速度が小さい場合に設定する前記距離範囲より大きくすることを特徴とする請求項１乃至９のいずれか１項に記載の被写体追跡装置。
11. 前記距離範囲設定手段は、前記追跡被写体と当該追跡被写体とは異なる被写体との距離差の情報を前記距離情報算出手段から取得し、前記距離差が大きい場合に設定される前記距離範囲を、前記距離差が小さい場合に設定される前記距離範囲より大きくすることを特徴とする請求項１乃至９のいずれか１項に記載の被写体追跡装置。
12. 前記距離範囲設定手段は、前記追跡被写体と類似すると判断された被写体を前記追跡被写体とは異なる被写体として決定し、決定された当該被写体と前記追跡被写体との距離差の情報を前記距離情報算出手段から取得することを特徴とする請求項１乃至１１のいずれか１項に記載の被写体追跡装置。
13. 前記距離範囲設定手段は、前記追跡被写体とは異なる被写体の移動速度を判定し、当該被写体が静止物体であると判定した場合に設定される前記距離範囲を、当該被写体が動体であると判定した場合に設定される前記距離範囲より大きくすることを特徴とする請求項１２に記載の被写体追跡装置。
14. 請求項１乃至１３のいずれか１項に記載の被写体追跡装置を備えることを特徴とする撮像装置。
15. 追跡被写体の被写体領域を検出して追跡を行う画像処理装置であって、
    複数の画像データにおける前記追跡被写体の候補領域を取得する第１の取得手段と、
    前記複数の画像データに対応する距離情報を取得する第２の取得手段と、
    前記第２の取得手段により取得された前記距離情報に関わる距離範囲内に絞り込んだ前記第１の取得手段による前記候補領域から、当該距離範囲内の前記追跡被写体の被写体領域を決定する領域決定手段と、を備えることを特徴とする画像処理装置。
16. 複数の画像データを取得して被写体領域を検出し、追跡被写体の被写体領域の追跡を行う撮像装置であって、
    撮像光学系の異なる射出瞳の部分領域をそれぞれ通過する複数の光束を受光して光電変換を行う複数の光電変換部を備える撮像素子と、
    前記撮像素子により取得された複数の画像データと前記被写体領域の画像データとの照合を行い、前記追跡被写体の候補領域の情報を出力する出力手段と、
    前記射出瞳の部分領域をそれぞれ通過する光束に対応する複数の画像データの像ズレ量を算出して被写体の距離情報を取得する取得手段と、
    前記被写体領域の情報および前記距離情報から距離範囲を設定する設定手段と、
    前記設定手段により設定された前記距離範囲内に絞り込んだ前記追跡被写体の候補領域から、前記画像データにおける前記追跡被写体の被写体領域を決定する決定手段と、を備えることを特徴とする撮像装置。
17. 複数の画像データを取得して被写体領域を検出し、追跡被写体の被写体領域の追跡を行う被写体追跡装置にて実行される制御方法であって、
    被写体の画像データと取得された画像データとを照合して取得される前記被写体の候補領域の情報から前記追跡被写体の被写体領域を決定する領域決定工程と、
    前記複数の画像データに対応する距離情報を算出する距離情報算出工程と、
    前記被写体領域の情報と前記距離情報から距離範囲を設定する距離範囲設定工程を有し、
    前記領域決定工程では、前記距離範囲設定工程で設定される距離範囲を用いて絞り込んだ前記候補領域から、当該距離範囲内の前記追跡被写体の被写体領域が決定されることを特徴とする被写体追跡装置の制御方法。
18. 追跡被写体の被写体領域を検出して追跡を行う画像処理装置にて実行される制御方法であって、
    複数の画像データにおける前記追跡被写体の候補領域を取得する第１の取得工程と、
    前記複数の画像データに対応する距離情報を取得する第２の取得工程と、
    前記第２の取得工程で取得された前記距離情報に関わる距離範囲内に絞り込んだ前記第１の取得工程での前記候補領域から、当該距離範囲内の前記追跡被写体の被写体領域を決定する領域決定工程と、を有する特徴とする画像処理装置の制御方法。
19. 撮像光学系の異なる射出瞳の部分領域をそれぞれ通過する複数の光束を受光して光電変換を行う複数の光電変換部を備える撮像素子により複数の画像データを取得して被写体領域を検出し、追跡被写体の被写体領域の追跡を行う撮像装置にて実行される制御方法であって、
    前記撮像素子により取得された複数の画像データと前記被写体領域の画像データとの照合を行い、前記追跡被写体の候補領域の情報を出力する工程と、
    前記複数の画像データの像ズレ量を算出して被写体の距離情報を取得する工程と、
    前記被写体領域の情報および前記距離情報から距離範囲を設定する工程と、
    設定された前記距離範囲内に絞り込んだ前記追跡被写体の候補領域から、前記画像データにおける前記追跡被写体の被写体領域を決定する工程と、を有することを特徴とする撮像装置の制御方法。
20. 請求項１７乃至１９のいずれか１項に記載した制御方法の各工程をコンピュータに実行させるプログラム。
    

Images