JP5878924B2 - 画像処理装置、撮像装置および画像処理方法 - Google Patents

Description

本発明は、第１画像に含まれる被写体を第１画像よりも後に撮影された第２画像内において追尾する画像処理装置、撮像装置および画像処理方法に関する。

リアルタイムに画像を表示するタッチパネルを備えるカメラ（デジタルスチルカメラまたはデジタルビデオカメラなど）が広く普及している。ユーザは、タッチパネルに表示された画像を確認しながら、写真あるいはビデオを撮影することができる。また、ユーザは、タッチパネルをタッチすることにより、タッチパネルに表示された画像内の注目している被写体の位置を指示することができる。

注目している被写体の位置が指示された場合、カメラは、当該位置の周辺領域から抽出される特徴量を利用して、オートフォーカス（ＡＦ：Ａｕｔｏｆｏｃｕｓ）あるいは自動露出（ＡＥ：Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）などを実行する。その結果、カメラは、ユーザが注目している被写体に適した写真あるいはビデオを撮影することできる。

ここで、例えばＡＦが実行された後に被写体あるいはカメラが動いた場合、被写体に合っていた焦点がずれてしまう。そこで、タッチパネルに表示されている画像内の被写体を自動で追尾する技術が提案されている（例えば、特許文献１を参照）。

このように追尾された被写体の領域から抽出される特徴量を利用して、再度ＡＦを実行することにより、カメラは、被写体あるいはカメラが動いた場合であっても、自動で被写体にピントを合わせることができる。

国際公開第２００９／１２５５９６号

しかしながら、上記従来の方法では、特徴量が抽出される領域が予め定められた形状（矩形あるいは楕円形など）であるため、被写体の形状が予め定められた形状と異なる場合に、カメラは被写体の特徴量を適切に抽出することができない。その結果、カメラは、被写体を正しく追尾することが難しい。

そこで、本発明は、第１画像に含まれる被写体を第１画像よりも後に撮影された第２画像内において正確に追尾することができる画像処理装置、撮像装置および画像処理方法を提供する。

本発明の一態様に係る画像処理装置は、第１画像に含まれる被写体を前記第１画像よりも後に撮影された第２画像内において追尾する画像処理装置であって、画素値の類似性に基づいて、前記第１画像を複数のセグメントに分割するセグメンテーション部と、前記第１画像における被写体の位置を指示する指示部と、指示された前記位置に存在するセグメントである指示セグメントを含むセグメント集合を対象領域と設定する領域設定部と、設定された前記対象領域から特徴量を抽出する抽出部と、抽出された前記特徴量を用いて、前記対象領域に類似する領域を前記第２画像内で探索することにより、前記被写体を追尾する追尾部とを備える。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本発明の一態様に係る画像処理装置によれば、第１画像に含まれる被写体を第１画像よりも後に撮影された第２画像内において正確に追尾することができる。

図１は、実施の形態に係る画像処理装置の機能構成を示すブロック図である。 図２は、実施の形態に係る画像処理装置の処理動作を示すフローチャートである。 図３は、実施の形態に係るセグメンテーション部の処理動作の詳細を示すフローチャートである。 図４は、実施の形態に係るセグメンテーション部の処理動作の一例を説明するための図である。 図５は、実施の形態に係るセグメンテーション部の処理動作の一例を説明するための図である。 図６は、実施の形態に係るセグメンテーション結果の一例を示す図である。 図７は、実施の形態に係る指示部の処理動作の一例を説明するための図である。 図８は、実施の形態に係る領域設定部の処理動作の詳細を示すフローチャートである。 図９は、実施の形態に係る領域設定部の処理動作の一例を説明するための図である。 図１０は、実施の形態に係る追尾部の処理動作の一例を説明するための図である。 図１１は、実施の形態の変形例に係る追尾部の処理動作の一例を説明するための図である。 図１２は、一実施形態に係る撮像装置の構成を示すブロック図である。

本発明の一態様に係る画像処理装置は、第１画像に含まれる被写体を前記第１画像よりも後に撮影された第２画像内において追尾する画像処理装置であって、画素値の類似性に基づいて、前記第１画像を複数のセグメントに分割するセグメンテーション部と、前記第１画像における被写体の位置を指示する指示部と、指示された前記位置に存在するセグメントである指示セグメントを含むセグメント集合を対象領域と設定する領域設定部と、設定された前記対象領域から特徴量を抽出する抽出部と、抽出された前記特徴量を用いて、前記対象領域に類似する領域を前記第２画像内で探索することにより、前記被写体を追尾する追尾部とを備える。

この構成によれば、画素値の類似性に基づいて第１画像を分割することにより得られる複数のセグメントを利用して、対象領域が設定される。したがって、複雑な幾何形状を有する被写体であっても、その複雑な幾何形状に適した形状の対象領域を設定することが可能となる。その結果、予め定められた形状の対象領域から特徴量を抽出する場合よりも、適切に被写体の特徴量を抽出することができるので、被写体を正確に追尾することが可能となる。

また、前記セグメンテーション部は、色の類似性に基づいて、前記第１画像を複数のセグメントに分割することが好ましい。

この構成によれば、色の類似性に基づいて第１画像を複数のセグメントに分割することができる。したがって、１つのセグメントに互いに異なる複数の被写体が含まれないように、第１画像を複数のセグメントに分割することが可能となる。その結果、被写体の境界がセグメント内に含まれる可能性を低減することができるので、被写体の形状により適した形状の対象領域を設定することが可能となる。

また、前記セグメンテーション部は、色および画素位置を用いて定義された類似性に基づくクラスタリングにより、前記第１画像を複数のセグメントに分割することが好ましい。

この構成によれば、色および画素位置を用いて定義された類似性に基づくクラスタリングにより、第１画像を複数のセグメントに分割することができる。したがって、１つのセグメントに互いに異なる複数の被写体が含まれないように、第１画像を複数のセグメントに高精度に分割することが可能となる。

また、前記クラスタリングは、ｋ平均法（ｋ−ｍｅａｎｓ ｃｌｕｓｔｅｒｉｎｇ）であることが好ましい。

この構成によれば、ｋ平均法により第１画像を複数のセグメントに分割することができる。したがって、１つのセグメントに互いに異なる複数の被写体が含まれないように、第１画像を複数のセグメントにさらに高精度に分割することが可能となる。さらに、比較的簡易な処理によりセグメンテーションが可能となるので、被写体を追尾するための処理負荷を軽減することも可能となる。

また、前記領域設定部は、前記指示セグメントと、前記指示セグメントに対する画像の類似性を示す値が閾値より大きい類似セグメントとを含むセグメント集合であって１つの連続した領域を形成するセグメント集合を前記対象領域と設定することが好ましい。

この構成によれば、指示セグメントと類似セグメントとを含むセグメント集合を対象領域と設定することができる。したがって、１つの被写体の領域が複数のセグメントにまたがっている場合であっても、被写体の形状に適した形状の対象領域を設定することが可能となる。

また、前記追尾部は、前記対象領域を囲む予め定められた形状の枠を前記第２画像内で走査することにより、走査された前記第２画像内の各位置において、前記枠内の領域のうち前記対象領域に対応する領域のみから特徴量を抽出し、各位置において抽出された特徴量と、前記対象領域から抽出された特徴量とを比較することにより、前記対象領域に類似する領域を探索することが好ましい。

この構成によれば、対象領域を囲む予め定められた形状の枠を走査することにより、対象領域に類似する領域を探索することが可能となる。このとき、第２画像において、枠内の領域のうち対象領域に対応する領域のみから特徴量を抽出するので、特徴量の類似性だけではなく、形状の類似性も考慮して、対象領域に類似する領域を探索することができる。したがって、より正確に被写体を追尾することが可能となる。

また、前記抽出部は、前記対象領域に含まれるセグメントごとに特徴量を抽出し、前記追尾部は、前記対象領域に含まれるセグメントごとに、当該セグメントから抽出された特徴量を用いて当該セグメントと類似する領域を前記第２画像内で探索することにより、前記対象領域と類似する領域を探索することが好ましい。

この構成によれば、セグメントごとに、特徴量を用いて当該セグメントに類似する領域を探索することができる。したがって、被写体の形状が大きく変化した場合であっても被写体を追尾することが可能となる。

また、前記追尾部は、当該セグメントから抽出された特徴量に加えて、当該セグメントと、対象領域の重心に最も近いセグメントとの位置関係を用いて、当該セグメントと類似する領域を第２画像内で探索することが好ましい。

この構成によれば、セグメント間の位置関係を用いて、セグメントに類似する領域を探索することができるので、より正確に被写体を追尾することが可能となる。

また、前記画像処理装置は、集積回路として構成されてもよい。

また、本発明の一態様に係る撮像装置は、上記画像処理装置と、前記第１画像および前記第２画像を撮影する撮像部とを備える。

この構成によれば、上記画像処理装置と同様の効果を奏することができる。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

以下、実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示す。つまり、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置および接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態）
図１は、実施の形態に係る画像処理装置１０の機能構成を示すブロック図である。画像処理装置１０は、第１画像に含まれる被写体を当該第１画像よりも後に撮影された第２画像内において追尾する。

図１に示すように、本実施の形態に係る画像処理装置１０は、セグメンテーション部１１と、指示部１２と、領域設定部１３と、抽出部１４と、追尾部１５とを備える。

セグメンテーション部１１は、画素値の類似性に基づいて、第１画像を複数のセグメントに分割する。つまり、セグメンテーション部１１は、画素値が互いに類似する画素が１つのセグメントに含まれるように、第１画像を複数のセグメントに分割する。

ここで、セグメントとは、第１画像内の一部の領域に相当する。また、複数のセグメントに分割する処理を、以下においてセグメンテーションともいう。

また、画素値とは、画像を構成する画素が有する値である。画素値は、例えば、画素の輝度、色、明度、色相もしくは彩度、またはそれらの組合せを示す値である。

本実施の形態では、セグメンテーション部１１は、色の類似性に基づいて、第１画像を複数のセグメントに分割する。例えば、セグメンテーション部１１は、色および画素位置を用いて定義された類似性に基づくクラスタリングにより、第１画像を複数のセグメントに分割する。

指示部１２は、第１画像における被写体の位置を指示する。例えば、指示部１２は、第１画像における被写体の位置を指示するためのユーザからの入力を入力装置（タッチパネルなど）を介して受け付ける。そして、指示部１２は、受け付けた入力に基づいて、被写体の位置を指示する。また例えば、指示部１２は、第１画像内の予め定められた位置（例えば中心位置など）を被写体の位置として指示してもよい。以下において、指示部１２によって指示された位置を指示位置と呼ぶ。

領域設定部１３は、指示セグメントを含むセグメント集合を対象領域と設定する。指示セグメントとは、指示部１２によって指示された位置に存在するセグメントである。また、セグメント集合とは、少なくとも１つのセグメントを含む集合である。本実施の形態では、領域設定部１３は、指示セグメントと、当該指示セグメントに対する画像の類似性を示す値が閾値より大きい類似セグメントとを含むセグメント集合であって１つの連続した領域を形成するセグメント集合を対象領域と設定する。

なお、領域設定部１３は、必ずしも指示セグメントと類似セグメントとを含むセグメント集合を対象領域と設定する必要はない。例えば、領域設定部１３は、指示セグメントのみを含むセグメント集合を対象領域と設定しても構わない。

抽出部１４は、設定された対象領域から特徴量を抽出する。特徴量とは、対象領域の画像の特徴を定量的に示す値である。本実施の形態では、抽出部１４は、対象領域の色ヒストグラムを特徴量として抽出する。色ヒストグラムとは、予め定められた複数の色の種類の各々に対応する度数を表す。複数の色の種類は、例えば、ＨＳＶ色空間におけるＨ（色相）成分値の範囲を用いて予め定められる。

なお、複数の色の種類は、必ずしもＨＳＶ色空間におけるＨ成分値の範囲を用いて定められる必要はない。例えば、複数の色の種類は、Ｈ成分値と、Ｖ（明度）成分値およびＳ（彩度）成分値の少なくとも一方とから得られる値の範囲を用いて定められてもよい。また、複数の色の種類は、ＨＳＶ色空間における成分値ではなく、他の色空間（例えば、ＲＧＢ色空間、ＹＵＶ色空間、Ｌａｂ色空間など）における成分値を用いて定められてもよい。

追尾部１５は、抽出された特徴量を用いて、対象領域に類似する領域を第２画像内で探索することにより、被写体を追尾する。つまり、追尾部１５は、対象領域から抽出された特徴量と最も類似する特徴量が抽出される第２画像内の領域を探索することにより、被写体を追尾する。

本実施の形態では、特徴量として色ヒストグラムが用いられる。つまり、追尾部１５は、対象領域から抽出された色ヒストグラムと最も類似する色ヒストグラムが抽出される領域を第２画像内で探索する。ここで、２つの色ヒストグラムの類似度合いは、２つの色ヒストグラムの重なり度合いで表される。２つの色ヒストグラムの重なり度合いとは、２つの色ヒストグラムの各色の種類において重複している度数の大きさを示す。

なお、２つの色ヒストグラムは、度数の和が互いに等しくなるように、それぞれ正規化された色ヒストグラムであることが好ましい。これにより、追尾部１５は、各色の種類における２つ度数のうち小さい方の度数をすべての色の種類について加算することにより、２つの色ヒストグラムの類似度合いを示す値を容易に算出することができる。

次に、以上のように構成された画像処理装置１０の処理動作を説明する。

図２は、実施の形態に係る画像処理装置１０の処理動作を示すフローチャートである。

まず、セグメンテーション部１１は、画素値の類似性に基づいて、第１画像を複数のセグメントに分割する（Ｓ１０１）。指示部１２は、第１画像における被写体の位置を指示する（Ｓ１０２）。

領域設定部１３は、指示位置に存在するセグメントを少なくとも含む領域を対象領域として設定する（Ｓ１０３）。抽出部１４は、対象領域から特徴量を抽出する（Ｓ１０４）。追尾部１５は、抽出された特徴量を用いて、対象領域に類似する領域を第２画像内で探索することにより、被写体を追尾する（Ｓ１０５）。

このように画像処理装置１０は、第１画像に含まれる被写体を当該第１画像よりも後に撮影された第２画像内において追尾することができる。

なお、画像処理装置１０は、必ずしも図２に示すステップの順番で処理を行う必要はない。例えば、画像処理装置１０は、ステップＳ１０２の後にステップＳ１０１を実行しても構わない。また例えば、画像処理装置１０は、ステップＳ１０１とステップＳ１０２とを並行で実行してもよい。

以下に、このような画像処理装置１０の処理動作の詳細について図面を参照しながら説明する。まず、セグメンテーション処理（Ｓ１０１）の詳細について図３〜図６を用いて説明する。なお、ここでは、セグメンテーションの一例として、ｋ平均法（ｋ−ｍｅａｎｓ ｃｌｕｓｔｅｒｉｎｇ）に基づくセグメンテーションについて説明する。

図３は、実施の形態に係るセグメンテーション部１１の処理動作の詳細を示すフローチャートである。図４は、実施の形態に係るセグメンテーション部１１の処理動作の一例を説明するための図である。図５は、実施の形態に係るセグメンテーション部１１の処理動作の一例を説明するための図である。図６は、実施の形態に係るセグメンテーション結果の一例を示す図である。

図３に示すように、セグメンテーション部１１は、まず、第１画像および第２画像の色空間を変換する（Ｓ２０１）。具体的には、セグメンテーション部１１は、第１画像および第２画像を、ＲＧＢ色空間からＬａｂ色空間に変換する。

このＬａｂ色空間は、知覚的に均等な色空間である。つまり、Ｌａｂ色空間では、色の値が同じだけ変化したとき、人間がそれを見たときに感じられる変化も等しい。したがって、セグメンテーション部１１は、Ｌａｂ色空間において第１画像のセグメンテーションを行うことにより、人間が知覚する被写体の境界に沿って第１画像を分割することが可能となる。

次に、セグメンテーション部１１は、ｋ個（ｋ：２以上の整数）の初期クラスタの重心を設定する（Ｓ２０２）。これらのｋ個の初期クラスタの重心は、例えば、第１画像上において均等に配置されるように設定される。ここでは、隣り合う重心間の間隔がＳ（画素）となるように、ｋ個の初期クラスタの重心が設定される。

続いて、第１画像内の各画素に対してステップＳ２０３、Ｓ２０４の処理が行われる。具体的には、セグメンテーション部１１は、各クラスタの重心に対する距離Ｄｓを算出する（Ｓ２０３）。この距離Ｄｓは、画素値および画素位置を用いて定義された類似性を示す値に相当する。ここでは、距離Ｄｓが小さいほど、クラスタの重心に対する画素の類似性が高いことを示す。

なお、図４に示すように、セグメンテーション部１１は、距離算出対象範囲内に位置する重心Ｃｋに対してのみ対象画素ｉの距離Ｄｓを算出する。ここでは、水平方向および垂直方向において、対象画素ｉの位置から初期クラスタの重心間隔Ｓ以下となる位置を距離算出対象範囲と設定する。つまり、セグメンテーション部１１は、対象画素ｉについては、重心Ｃ２、Ｃ３、Ｃ６、Ｃ７の各々に対する距離を算出する。このように、距離算出対象範囲が設定されることにより、すべての重心に対して距離を算出する場合よりも、計算負荷を軽減することが可能となる。

重心Ｃｋ（画素位置（ｘｋ，ｙｋ）、画素値（ｌｋ，ａｋ，ｂｋ））に対する対象画素ｉ（画素位置（ｘｉ，ｙｉ）、画素値（ｌｉ，ａｉ，ｂｉ））の距離Ｄｓは、以下の式１によって算出される。

ここで、ｍは、画素値に基づく距離ｄｌａｂと、画素位置に基づく距離ｄｘｙとが距離Ｄｓに及ぼす影響のバランスを図るための係数である。この係数ｍは、実験的あるは経験的に予め定められればよい。

次に、セグメンテーション部１１は、このように対象画素ｉの各重心に対する距離Ｄｓを用いて、対象画素ｉが所属するクラスタを決定する（Ｓ２０４）。具体的には、セグメンテーション部１１は、距離Ｄｓが最も小さい重心を有するクラスタを対象画素ｉの所属クラスタと決定する。

このようなステップＳ２０３、Ｓ２０４の処理を第１画像に含まれる画素ごとに繰り返すことにより、各画素の所属クラスタが決定される。

次に、セグメンテーション部１１は、各クラスタの重心を更新する（Ｓ２０５）。例えば、ステップＳ２０４において各画素の所属クラスタが決定された結果、図５に示すように、矩形状のクラスタが六角形状のクラスタに変化した場合に重心Ｃ６の画素値および画素位置を更新する。

具体的には、セグメンテーション部１１は、以下の式２に従って、新たな重心の画素値（ｌｋ＿ｎｅｗ，ａｋ＿ｎｅｗ、ｂｋ＿ｎｅｗ）および画素位置（ｘｋ＿ｎｅｗ，ｙｋ＿ｎｅｗ）を算出する。

ここで、各クラスタの重心が収束している場合（Ｓ２０６のＹｅｓ）、セグメンテーション部１１は、処理を終了する。つまり、ステップＳ２０５の更新前後において各クラスタの重心に変化がない場合に、セグメンテーション部１１は、セグメンテーションを終了する。一方、各クラスタの重心が収束していない場合（Ｓ２０６のＮｏ）、セグメンテーション部１１は、ステップＳ２０３〜Ｓ２０５の処理を繰り返す。

このように、セグメンテーション部１１は、画素値および画素位置を用いて定義された類似度に基づくクラスタリング（ここではｋ平均法）により、第１画像を複数のセグメントに分割することができる。したがって、図６に示すように、セグメンテーション部１１は、第１画像に含まれる被写体領域の特徴に応じて、第１画像を複数のセグメントに分割することができる。

つまり、セグメンテーション部１１は、１つのセグメントに同一の被写体が含まれるように第１画像を複数のセグメントに分割することが可能となる。その結果、各セグメント内の画素の視差値が類似するので、セグメントごとに特定される視差値の正確度を向上させることができる。つまり、デプスデータはより正確に生成されうる。さらに、ｋ平均法は、比較的簡易なクラスタリングであるので、デプスデータを生成するための処理負荷を軽減することも可能となる。

次に、指示処理（Ｓ１０２）の詳細について図７を用いて説明する。

図７は、実施の形態に係る指示部１２の処理動作の一例を説明するための図である。図７では、指示部１２は、ユーザがタッチしたタッチパネル上の位置を、被写体の位置として指示する。タッチパネルは、例えば抵抗膜方式あるいは静電容量方式などにより、ユーザがタッチした位置を検出する。

このように、指示部１２が、ユーザがタッチしたタッチパネル上の位置を、被写体の位置として指示することにより、ユーザは、タッチパネルをタッチするだけで容易に被写体の位置を指示することができる。

なお、タッチした位置とは、ユーザが接触した位置だけではなく、ユーザが接触した位置によって描かれる軌跡によって囲まれた領域を表す位置であってもよい。

また、指示部１２は、必ずしもタッチパネルを介してユーザが入力した位置を取得する必要はない。例えば、指示部１２は、ユーザが操作ボタンなどを介して入力したディスプレイ上の位置を被写体の位置として指示しても構わない。

次に、対象領域の設定処理（Ｓ１０３）の詳細について図８および図９を用いて説明する。

図８は、実施の形態に係る領域設定部１３の処理動作の詳細を示すフローチャートである。図９は、実施の形態に係る領域設定部１３の処理動作の一例を説明するための図である。

図８に示すように、まず、領域設定部１３は、指示セグメントを選択する（Ｓ３０１）。続いて、領域設定部１３は、指示セグメントと、ステップＳ３０１またはステップＳ３０４で選択されたセグメント（以下、「選択セグメント」という）に隣接するセグメント（以下、「隣接セグメント」という）との画像の類似性を示す値（以下、「類似値」という）を算出する（Ｓ３０２）。具体的には、領域設定部１３は、例えば、指示セグメントの色ヒストグラムと隣接セグメントの色ヒストグラムとの重なり度合いを示す値を類似値として算出する。

類似値が閾値より大きい場合（Ｓ３０３のＹｅｓ）、領域設定部１３は、隣接セグメントを類似セグメントとして選択し（Ｓ３０４）、再び、ステップＳ３０２の処理に戻る。一方、類似値が閾値より小さい場合（Ｓ３０３のＮｏ）、領域設定部１３は、選択セグメントを含む領域を対象領域と設定する（Ｓ３０５）。つまり、領域設定部１３は、ステップＳ３０１およびステップＳ３０４で選択されたセグメントを対象領域と設定する。

以上のような処理を行うことで、領域設定部１３は、指示セグメントと、指示セグメントに対する画像の類似性を示す値が閾値より大きい類似セグメントとを含むセグメント集合を対象領域と設定することができる。例えば、図９の（ａ）に示すように被写体の位置が指示された場合、領域設定部１３は、図９の（ｂ）に示すように、指示セグメントと類似セグメントとを含む領域を対象領域と設定することができる。

なお、隣接セグメントが複数ある場合には、領域設定部１３は、隣接セグメントごとに、ステップＳ３０２〜ステップＳ３０４の処理を実行すればよい。

また、類似値は、必ずしも色ヒストグラムの重なり度合いを示す値である必要はない。例えば、類似値は、２つのセグメント間の平均色の差分を示す値であってもよい。また、類似値は、色ではなく、輝度、明度あるいは彩度の類似性を示す値であってもよい。

また、類似値は、画像の類似性に加えて、位置の類似性も示す値であってもよい。この場合、指示セグメントからの距離が大きいセグメントほど類似値が小さくなる。

次に、追尾処理（Ｓ１０５）の詳細について図１０を用いて説明する。図１０は、実施の形態に係る追尾部１５の処理動作の一例を説明するための図である。

ここでは、追尾部１５は、対象領域を囲む予め定められた形状の枠を第２画像内で走査する。例えば、追尾部１５は、図１０の（ａ）および（ｂ）に示すように、対象領域に外接する矩形の枠を第２画像内で走査する。

このとき、追尾部１５は、走査された第２画像内の各位置において、枠内の領域のうち対象領域に対応する領域のみから特徴量を抽出する。例えば、追尾部１５は、図１０の（ｂ）に示すように、枠内の領域のうち空白領域を除く領域のみから特徴量を抽出する。

追尾部１５は、このように第２画像内の各位置において抽出された特徴量と、対象領域から抽出された特徴量とを比較することにより、対象領域に類似する領域を第２画像内で探索する。

以上のように、本実施の形態に係る画像処理装置によれば、画素値の類似性に基づいて第１画像を分割することにより得られる複数のセグメントを利用して、対象領域が設定される。したがって、複雑な幾何形状を有する被写体であっても、その複雑な幾何形状に適した形状の対象領域を設定することが可能となる。その結果、予め定められた形状の対象領域から特徴量を抽出する場合よりも、適切に被写体の特徴量を抽出することができるので、被写体を正確に追尾することが可能となる。

また、本実施の形態に係る画像処理装置によれば、色の類似性に基づいて第１画像を複数のセグメントに分割することができる。したがって、１つのセグメントに互いに異なる複数の被写体が含まれないように、第１画像を複数のセグメントに分割することが可能となる。その結果、被写体の境界がセグメント内に含まれる可能性を低減することができるので、被写体の形状により適した形状の対象領域を設定することが可能となる。

また、本実施の形態に係る画像処理装置によれば、色および画素位置を用いて定義された類似性に基づくクラスタリングにより、第１画像を複数のセグメントに分割することができる。したがって、１つのセグメントに互いに異なる複数の被写体が含まれないように、第１画像を複数のセグメントに高精度に分割することが可能となる。

また、本実施の形態に係る画像処理装置によれば、ｋ平均法により第１画像を複数のセグメントに分割することができる。したがって、１つのセグメントに互いに異なる複数の被写体が含まれないように、第１画像を複数のセグメントにさらに高精度に分割することが可能となる。さらに、比較的簡易な処理によりセグメンテーションが可能となるので、被写体を追尾するための処理負荷を軽減することも可能となる。

また、本実施の形態に係る画像処理装置によれば、指示セグメントと類似セグメントとを含むセグメント集合を対象領域と設定することができる。したがって、１つの被写体の領域が複数のセグメントにまたがっている場合であっても、被写体の形状に適した形状の対象領域を設定することが可能となる。

また、本実施の形態に係る画像処理装置によれば、対象領域を囲む予め定められた形状の枠を走査することにより、対象領域に類似する領域を探索することが可能となる。このとき、第２画像において、枠内の領域のうち対象領域に対応する領域のみから特徴量を抽出するので、特徴量の類似性だけではなく、形状の類似性も考慮して、対象領域に類似する領域を探索することができる。したがって、より正確に被写体を追尾することが可能となる。

（変形例）
次に、上記実施の形態の変形例について説明する。本変形例では、本変形例では、抽出部１４および追尾部１５の処理動作が上記実施の形態と異なる。図１１は、実施の形態の変形例に係る追尾部１５の処理動作の一例を説明するための図である。

本変形例に係る抽出部１４は、対象領域に含まれるセグメントごとに特徴量を抽出する。

本変形例に係る追尾部１５は、対象領域に含まれるセグメントごとに、当該セグメントから抽出された特徴量を用いて当該セグメントに類似する領域を第２画像内で探索することにより、対象領域と類似する領域を探索する。

このとき、追尾部１５は、当該セグメントから抽出された特徴量に加えて、対象領域の重心に対する当該セグメントの位置関係も用いて、当該セグメントと類似する領域を第２画像内で探索する。具体的には、追尾部１５は、対象領域の重心に対するセグメントの位置関係の類似性と、特徴量の類似性との両方に基づいて、セグメントに類似する領域を第２画像内で探索する。

例えば、追尾部１５は、図１１に示すように、重心とセグメントとを結ぶベクトルを利用して、当該セグメントと類似する領域を第２画像内で探索する。具体的には、追尾部１５は、対象領域内の各セグメントに類似する領域を第２画像内で探索する場合に、対象領域の重心と当該セグメントとの代表点とを結ぶベクトルと、第２画像内の対象領域の重心に対応する位置と探索の対象となる領域の代表点とを結ぶベクトルとの類似性を示す値を算出する。さらに、追尾部１５は、当該セグメントから抽出される特徴量と、探索の対象となる領域から抽出される特徴量との類似性を示す値を算出する。追尾部１５は、このように算出された２つの類似性を示す値を用いて、探索の対象となる領域が当該セグメントに類似しているか否かを判定する。

以上のように、本変形例に係る画像処理装置によれば、セグメントごとに、特徴量を用いて当該セグメントに類似する領域を探索することができる。したがって、被写体の形状が大きく変化した場合であっても被写体を追尾することが可能となる。

また、本変形例に係る画像処理装置によれば、セグメント間の位置関係を用いて、セグメントに類似する領域を探索することができるので、より正確に被写体を追尾することが可能となる。

以上、１つまたは複数の態様に係る画像処理装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものも、１つまたは複数の範囲内に含まれる。

例えば、上記実施の形態において、セグメンテーション部１１は、ｋ平均法に基づいてセグメンテーションを行なっていたが、他のクラスタリング手法に基づいてセグメンテーションを行なってもよい。例えば、セグメンテーション部１１は、平均変位法（ｍｅａｎ−ｓｈｉｆｔ ｃｌｕｓｔｅｒｉｎｇ）に基づいてセグメンテーションを行なってもよい。

また、上記実施の形態において、追尾部１５は、第２画像内の全領域において対象領域に類似する領域の探索を行なっていたが、必ずしも全領域において探索を行う必要はない。例えば、追尾部１５は、第２画像内の対象領域に対応する位置の近傍領域内において、対象領域に類似する領域の探索を行なってもよい。これにより、探索領域を小さくすることができるので、処理負荷を軽減することが可能となる。

また、上記実施の形態における画像処理装置１０が備える構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。例えば、画像処理装置１０は、セグメンテーション部１１と、指示部１２と、領域設定部１３と、抽出部１４と、追尾部１５とを有するシステムＬＳＩから構成されてもよい。

システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。前記ＲＯＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

また、このような画像処理装置は、撮像装置に備えられてもよい。図１０は、一実施形態に係る撮像装置３０の機能構成を示すブロック図である。撮像装置３０は、例えば、デジタルスチルカメラまたはデジタルビデオカメラである。図１０に示すように、撮像装置３０は、互いに異なる視点から第１画像および第２画像を撮影する撮像部３１と、上記実施の形態に係る画像処理装置１０とを備える。

なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像復号化装置などを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、第１画像に含まれる被写体を前記第１画像よりも後に撮影された第２画像内において追尾する画像処理方法であって、画素値の類似性に基づいて、前記第１画像を複数のセグメントに分割するセグメンテーションステップと、前記第１画像における被写体の位置を指示する指示ステップと、指示された前記位置に存在するセグメントである指示セグメントを含むセグメント集合を対象領域と設定する領域設定ステップと、設定された前記対象領域から特徴量を抽出する抽出ステップと、抽出された前記特徴量を用いて、前記対象領域に類似する領域を前記第２画像内で探索することにより、前記被写体を追尾する追尾ステップとを含む画像処理方法を実行させる。

本発明は、第１画像に含まれる被写体を前記第１画像よりも後に撮影された第２画像内において正確に追尾することができる画像処理装置、およびその画像処理装置を備える、デジタルスチルカメラまたはデジタルビデオカメラなどの撮像装置として利用可能である。

１０ 画像処理装置
１１ セグメンテーション部
１２ 指示部
１３ 領域設定部
１４ 抽出部
１５ 追尾部
３０ 撮像装置
３１ 撮像部

Claims (11)

1. 第１画像に含まれる被写体を前記第１画像よりも後に撮影された第２画像内において追尾する画像処理装置であって、
   画素値の類似性に基づいて、前記第１画像を複数のセグメントに分割するセグメンテーション部と、
   前記第１画像における被写体の位置を指示する指示部と、
   指示された前記位置に存在するセグメントである指示セグメントを含むセグメント集合を対象領域と設定する領域設定部と、
   設定された前記対象領域から特徴量を抽出する抽出部と、
   抽出された前記特徴量を用いて、前記対象領域に類似する領域を前記第２画像内で探索することにより、前記被写体を追尾する追尾部とを備え、
   前記領域設定部は、前記指示セグメントと、前記指示セグメントに対する画像の類似性を示す値が閾値より大きい類似セグメントとを含むセグメント集合であって１つの連続した領域を形成するセグメント集合を前記対象領域と設定する
   画像処理装置。
2. 前記セグメンテーション部は、色の類似性に基づいて、前記第１画像を複数のセグメントに分割する
   請求項１に記載の画像処理装置。
3. 前記セグメンテーション部は、色および画素位置を用いて定義された類似性に基づくクラスタリングにより、前記第１画像を複数のセグメントに分割する
   請求項２に記載の画像処理装置。
4. 前記クラスタリングは、ｋ平均法（ｋ−ｍｅａｎｓ ｃｌｕｓｔｅｒｉｎｇ）である
   請求項３に記載の画像処理装置。
5. 前記追尾部は、
   前記対象領域を囲む予め定められた形状の枠を前記第２画像内で走査することにより、走査された前記第２画像内の各位置において、前記枠内の領域のうち前記対象領域に対応する領域のみから特徴量を抽出し、
   各位置において抽出された特徴量と、前記対象領域から抽出された特徴量とを比較することにより、前記対象領域に類似する領域を探索する
   請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記抽出部は、前記対象領域に含まれるセグメントごとに特徴量を抽出し、
   前記追尾部は、前記対象領域に含まれるセグメントごとに、当該セグメントから抽出された特徴量を用いて当該セグメントと類似する領域を前記第２画像内で探索することにより、前記対象領域と類似する領域を探索する
   請求項１〜４のいずれか１項に記載の画像処理装置。
7. 前記追尾部は、当該セグメントから抽出された特徴量に加えて、当該セグメントと、対象領域の重心に最も近いセグメントとの位置関係を用いて、当該セグメントと類似する領域を第２画像内で探索する
   請求項６に記載の画像処理装置。
8. 前記画像処理装置は、集積回路として構成されている
   請求項１〜７のいずれか１項に記載の画像処理装置。
9. 請求項１〜８のいずれか１項に記載の画像処理装置と、
   前記第１画像および前記第２画像を撮影する撮像部とを備える
   撮像装置。
10. 第１画像に含まれる被写体を前記第１画像よりも後に撮影された第２画像内において追尾する画像処理方法であって、
    画素値の類似性に基づいて、前記第１画像を複数のセグメントに分割するセグメンテーションステップと、
    前記第１画像における被写体の位置を指示する指示ステップと、
    指示された前記位置に存在するセグメントである指示セグメントを含むセグメント集合を対象領域と設定する領域設定ステップと、
    設定された前記対象領域から特徴量を抽出する抽出ステップと、
    抽出された前記特徴量を用いて、前記対象領域に類似する領域を前記第２画像内で探索することにより、前記被写体を追尾する追尾ステップとを含み、
    前記領域設定ステップでは、前記指示セグメントと、前記指示セグメントに対する画像の類似性を示す値が閾値より大きい類似セグメントとを含むセグメント集合であって１つの連続した領域を形成するセグメント集合を前記対象領域と設定する
    画像処理方法。
11. 請求項１０に記載の画像処理方法をコンピュータに実行させるためのプログラム。

Images