JP6526589B2 - 画像処理デバイス及び画像処理プログラム - Google Patents

Description

実施形態は、画像処理デバイス及び画像処理プログラムに関する。

近年、画像処理技術の１つとして、画像（撮影範囲）内の観測対象を認識し、追跡する技術の研究及び開発が推進されている。

特開２００４−１４５４９３号公報 特開２０１３−２０５９８１号公報 特許第４５６５２７３号明細書

製造コストの増大を抑制し、処理効率の向上を図る。

本実施形態の画像処理デバイスは、第１の時刻において取得された第１の画像、及び、前記第１の時刻の後の第２の時刻に取得された第２の画像に対する処理を実行する処理部と、前記第２の画像のデータサイズより小さい第１の記憶容量を有する第１の格納部と、前記第１の画像の第１のブロックのデータが格納される第２の格納部と、前記第２の画像の検証すべき第１の範囲内のブロックの個数を示す第１の値を含む第１の情報が格納される第３の格納部と、比較処理済みの前記第１の範囲内のブロックの個数を示す第２の値を含む第２の情報が格納される第４の格納部と、を含み、前記第２の画像内に、少なくとも第１及び第２の領域が、設定され、前記第１の領域のデータが、前記第１の格納部内に、格納され、前記第１のブロックの特徴量が、前記第１の範囲のうち前記第１の領域内の１以上の第２のブロックのそれぞれの特徴量と、比較され、前記第１の領域における比較結果が得られた後、前記第１の格納部内のデータが、前記第１の領域のデータから前記第２の領域のデータに変更され、前記第１のブロックの前記特徴量が、前記第１の範囲のうち前記第２の領域内の前記１以上の第３のブロックのそれぞれの特徴量と、比較され、前記第１の格納部のデータが、前記第２の領域のデータから、前記第２の領域に続く第３の領域のデータに変更される時、前記第１の値と前記第２の値とが比較され、前記第２の値が前記第１の値と一致する場合、前記第１のブロックのデータは、前記第２の格納部から前記処理部へ転送されない。

実施形態の画像処理デバイスを含むデバイスの構成例を示す図。 実施形態の画像処理デバイスを説明するための図。 実施形態の画像処理デバイスを説明するための図。 実施形態の画像処理デバイスの内部構成例の一例を示すブロック図。 実施形態の画像処理デバイスを説明するための図。 第１の実施形態の画像処理デバイスの動作例を説明するための図。 第１の実施形態の画像処理デバイスの動作例を説明するための図。 第１の実施形態の画像処理デバイスの動作例を説明するための図。 第１の実施形態の画像処理デバイスの動作例を説明するための図。 第１の実施形態の画像処理デバイスの動作例を説明するための図。 第１の実施形態の画像処理デバイスの動作例を説明するための図。 第１の実施形態の画像処理デバイスの動作例を説明するための図。 第２の実施形態の画像処理デバイス及び処理方法を説明するための図。 第２の実施形態の画像処理デバイス及び処理方法を説明するための図。 第３の実施形態の画像処理デバイスを説明するための図。 第４の実施形態の画像処理デバイスのプログラムを説明するための図。

以下、図面を参照しながら、本実施形態について詳細に説明する。以下の説明において、同一の機能及び構成を有する要素については、同一符号を付す。

［実施形態］
図１乃至図１２を参照して、実施形態に係る画像処理デバイス及び画像処理方法について説明する。

（１）第１の実施形態
（ａ） 基本例
図１乃至５を参照して、第１の実施形態の画像処理デバイスについて、説明する。

図１は、実施形態の画像処理デバイスを含むデバイスを説明するための図である。

図１に示されるように、実施形態の画像処理デバイス（又は画像処理システム）１は、例えば、撮像デバイス（又は撮像システム）５００内に設けられている。

撮像デバイス５００は、実施形態の画像処理デバイス１、センシングデバイス２、メモリデバイス５、表示デバイス８及びＣＰＵ（コントローラ）９などを含む。例えば、撮像デバイス５００は、車載カメラ、監視カメラ、デジタルカメラ又はカメラ付き携帯端末である。

センシングデバイス２は、撮影範囲内に存在する物体（被写体、観測対象物）の動画又は静止画を取得する。センシングデバイス２は、動画又は静止画のデータを生成する。以下では、センシングデバイス２によって生成された動画又は静止画のデータを、画像データとよぶ。
例えば、センシングデバイス２は、イメージセンサ（カメラモジュール）を含む。イメージセンサは、被写体からの光に基づいて、画像データを形成する。イメージセンサは、マトリクス状に配列された複数の画素を含む。

メモリデバイス５は、センシングデバイス２からのデータ、画像処理デバイス１からのデータ、及びＣＰＵ９からのデータを、揮発的に又は不揮発的に記憶できる。例えば、メモリデバイス５は、ＤＲＡＭ（Dynamic Random Access Memory）である。

実施形態の画像処理デバイス１は、センシングデバイス２からの画像データ、又は、メモリデバイス５からの画像データに対して、各種の画像処理を施すことができる。画像処理デバイス１は、画像データの格納のために、メモリ領域１０１を含んでいる。メモリ領域１０１は、例えば、ＳＲＡＭ（static random access memory）である。

表示デバイス８は、撮像デバイス、メモリデバイス５、又は画像処理デバイス１からの画像データを、表示できる。例えば、表示デバイス８は、液晶ディスプレイデバイスである。表示デバイス８は、タッチパネルでもよい。

ＣＰＵ９は、各デバイス１，２，５，８の動作を制御できる。

各デバイス１，２，５，８，９は、バス、ケーブル、又は、ワイヤレス通信を介して、互いに結合されている。

尚、撮像デバイス５００は、光記録媒体（例えば、ＣＤ−ＲＯＭ及びＤＶＤ）の再生デバイス、及び、外付けメモリ（例えば、ＵＳＢメモリ又はメモリカードのような補助メモリデバイス）に接続可能なコネクタを、さらに含んでいてもよい。

＜画像処理の基本例＞
図２及び図３を用いて、本実施形態の画像処理デバイス１が実行する画像処理について、説明する。
本実施形態の画像処理デバイス１を含む撮像デバイスは、移動物追跡機能を有する。移動物追跡機能を実行するために、本実施形態の画像処理デバイス１は、ブロックマッチング処理を行う。

図２は、本実施形態の画像処理デバイス１の機能及び処理の基本構成を説明するための模式図である。

例えば、画像処理デバイス１は、図２の（ａ）及び（ｂ）に示されるように、ブロックマッチング処理において、ある期間内にセンシングデバイス２によって取得された動画像（連続した静止画像）のうち、時刻ｔにおける画像（フレーム）ＩＭＧ１と、時刻ｔの後のある時刻ｔ＋ａ（例えば、現在）における画像ＩＭＧ２とを、用いる。

画像処理デバイス１は、時刻ｔにおける画像データＩＭＧ１内の観測物（追跡対象物）ＯＢＪ１が、時刻ｔ＋ａにおける画像データＩＭＧ２内の観測物ＯＢＪ２と同じであるか否か、判定する。

以下では、説明の明確化のため、時刻ｔにおける画像ＩＭＧ１のことを、テンプレート画像ＴＩＭＧとよび、時刻ｔ＋ａにおける画像ＩＭＧ２のことを、参照画像ＲＩＭＧとよぶ。テンプレート画像ＴＩＭＧのデータのことを、テンプレート画像データとよび、参照画像ＲＩＭＧのデータのことを、参照画像データとよぶ。
尚、テンプレート画像とそのデータとを、区別しない場合には、単に、テンプレート画像とよぶ。また、参照画像とそのデータとを区別しない場合には、単に、参照画像とよぶ。

画像ＴＩＭＧ，ＲＩＭＧは、複数のブロックＴＢ，ＲＢを含む。ブロックＴＢ，ＲＢは、画像ＴＩＭＧ，ＲＩＭＧ内のｘ座標及びｙ座標の範囲に基づいて設定される領域である。例えば、ＦｕｌｌＨＤの１つの画像（フレーム）は、数万のブロックを含む。画像ＴＩＭＧ，ＲＩＭＧ内の１つのブロックは、例えば、１０×１０画素程度の領域（データ）である。

テンプレート画像ＴＩＭＧは、ブロックマッチング処理のための基準データとなる。

画像処理デバイス１は、テンプレート画像ＴＩＭＧ内から、あるブロック（以下では、テンプレートブロックとよばれる）ＴＢ（ＴＢ１，ＴＢ２）を抽出する。

画像処理デバイス１は、テンプレートブロックＴＢと類似度の高いブロックを、参照画像ＲＩＭＧ内のブロック（以下では、参照ブロックとよばれる）ＲＢから探索する。

画像処理デバイス１（又はＣＰＵ９）は、画像ＴＩＭＧ，ＲＩＭＧ間の類似度の判定のために、ブロックＴＢ，ＲＢの輝度値及び位相情報など、ブロックから得られる情報を用いて、ブロックＴＢ，ＲＢの特徴量を計算する。

ブロックＴＢ，ＲＢ間の類似度は、テンプレートブロックＴＢの特徴量と参照ブロックＲＢの特徴量との比較結果に基づいた相対的な指標（例えば、差分値及び比率などから計算される値）である。

例えば、ブロックＴＢ，ＲＢの特徴量及び類似度は、ブロックＴＢ，ＲＢのＳＡＤ（差分絶対和）及びＺＮＣＣ（正規化相互相関）などを計算することよって、得られる。ＳＡＤは、２つのブロック（例えば、ブロック内の各画素）の輝度値の差の絶対値の総和を計算する手法である。ＺＮＣＣは、各ブロックの輝度値の平均値を考慮した上で、２つのブロックの輝度値（濃度値）分布から統計量としての相互相関係数を計算する手法である。

尚、ブロックＴＢ，ＲＢの特徴量及び類似度は、画像ＴＩＭＧ，ＲＩＭＧ内のある処理単位（例えば、ブロック）又は画素から得られる情報から計算可能な値であれば、特に限定されない。テンプレートブロックＴＢと参照ブロックＲＢとの両方を用いた計算処理によって、２つのブロック間の類似度（又は相違度）が直接得られてもよい。

画像処理デバイス１は、画像間の類似性の評価のために、１つのテンプレートブロックＴＢに対して、参照画像ＲＩＭＧ内の数十から数百のブロックを探索する。ブロックの探索処理のために、１以上の探索範囲ＳＲ（ＳＲａ，ＳＲｂ）が、参照画像ＲＩＭＧ内に設定される。

画像処理デバイス１は、探索範囲ＳＲ内の複数のブロックＲＢを、ある探索方向ＳＤ（ＳＤａ，ＳＤｂ）に沿って、スキャンする。
観測対象物が移動物（例えば、車両）である場合、時間の変化に応じた撮像デバイスと追跡対象物との距離の変化、及び、追跡対象物の位置の変化によって、画像ＲＩＭＧ内の物体の大きさが変わる可能性がある。それゆえ、ブロックマッチング処理の効率化のため、参照画像ＲＩＭＧ内における探索範囲ＳＲ及び探索方向ＳＤは、画像のｘ方向（横軸方向）及びｙ方向（縦軸方向）に対して、斜め方向に設定される。

参照画像ＲＩＭＧ内の探索範囲ＳＲ及び探索方向（探索範囲の始点及び終点の座標）ＳＤは、テンプレートブロックＴＢの特徴量などテンプレートブロックＴＢに対する計算処理によって、決定される。それゆえ、参照画像ＲＩＭＧ内における探索範囲ＳＲの位置は、固定されること無しに、テンプレート画像ＴＩＭＧ内のブロックの特徴量に応じて、変わる。

画像処理デバイス１は、テンプレートブロックＴＢの特徴量を、そのテンプレートブロックに対応する探索範囲ＳＲ内の参照ブロックＲＢの特徴量と比較する。
これによって、画像処理デバイス１は、探索範囲ＳＲ内の参照ブロックＲＢがテンプレートブロックＴＢに類似しているか否かを評価する。
この結果として、テンプレート画像ＴＩＭＧ内の観測物ＯＢＪ１内と参照画像ＲＩＭＧ内の物体ＯＢＪ２との類似性が、評価される。

このように、画像処理デバイス１のブロックマッチングの結果に基づいて、ブロックＴＢ，ＲＢ間の類似性の評価によって、２つの画像内の物体が同一であるか否か判定される。

このようなブロックマッチング処理に基づいて、本実施形態の画像処理デバイス１を含む撮像デバイス５００は、画像における同一性（類似性）が認識されたある観測対象物（移動物）の追跡を、実行できる。

センシングデバイス２によって撮影された画像データは、ＤＲＡＭ５内に格納される。そして、本実施形態の画像処理デバイス１が、ブロックマッチング処理のために、画像データのうちある時刻の参照画像ＲＩＭＧを、用いる。
そのため、参照画像ＲＩＭＧが、ＤＲＡＭ５から画像処理デバイス１内のメモリ領域（ＳＲＡＭ）１０１に転送される。

本実施形態の画像処理デバイス１は、ブロックマッチング処理時に、参照画像ＲＩＭＧを分割し、分割された参照画像ＲＩＭＧ内に含まれる複数の領域のうち１つを、デバイス１のメモリ領域１０１内に格納する。

図３は、本実施形態の画像処理デバイスの画像処理を説明するための模式図である。

図３の（ａ）において、本実施形態の画像処理デバイスに用いられる参照画像が示されている。図３の（ｂ）において、画像のブロックが示されている。

参照画像ＲＩＭＧは、ＤＲＡＭ５内に記憶されている。ブロックマッチング処理が実行される時に、画像処理デバイス１が、ＤＲＡＭ５内の参照画像ＲＩＭＧを、読み出す。

図３の（ａ）に示されるように、画像処理デバイス１は、参照画像ＲＩＭＧの読み出し時において、参照画像ＲＩＭＧを分割し、参照画像ＩＭＧ内の１つの領域ＤＲ（ＤＲ１，ＤＲ２，ＤＲ３，ＤＲ４）を選択的に読み出す。以下では、参照画像ＲＩＭＧ内の分割された領域ＤＲを、分割領域（又は分割画像）とよぶ。

図３の（ａ）において、参照画像ＲＩＭＧは、ｙ方向に分割された複数の分割領域ＤＲを含んでいる。各分割領域ＤＲは、複数のブロックＲＤを含む。

分割領域ＤＲは、ＤＲＡＭ５と画像処理デバイス１との間のデータの転送単位である。分割領域ＤＲのデータは、画像処理デバイス１内のＳＲＡＭ１０１内に、格納される。

１つの参照画像ＲＩＭＧがデータの読み出し単位（データの転送単位）として４つに分割された場合、１つの参照画像ＲＩＭＧは、４つの分割領域（分割画像）ＤＲを含む。各分割領域ＤＲの範囲は、参照画像ＲＩＭＧのデータサイズ、及び、参照画像（画像データ）のｙ座標の範囲などに基づいて、設定される。尚、参照画像ＲＩＭＧに対して設定される分割数は、４つに限定されず、４つより小さい分割数（例えば、２個）でもよいし、４より大きい分割数（例えば、８個又は１６個）でもよい。

参照画像ＲＩＭＧがｎ分割された場合、分割領域ＤＲのデータサイズは、参照画像ＲＩＭＧのデータサイズのｎ分の１（ここでは、４分の１）に対応する。分割領域ＤＲは、１つの参照ブロックＲＢ（及びテンプレートブロックＴＢ）より大きいデータサイズを有する。例えば、参照画像ＲＩＭＧ内の複数の分割領域ＤＲのそれぞれは、同じデータサイズを有する。但し、複数の分割領域のうち１以上の領域のデータサイズが、他の領域のデータサイズと異なってもよい。

このように、本実施形態の画像処理デバイス１において、参照画像ＲＩＭＧ内に、複数の領域ＤＲ１，ＤＲ２，ＤＲ３，ＤＲ４が、論理的な領域として設定される。

本実施形態において、画像処理デバイス１は、テンプレートブロックＴＩＭＧのブロックマッチング処理のための解析処理（類似性の評価）を、読み出された分割領域ＤＲごとに行う。

分割領域ＤＲ１に対する解析処理時において、画像処理デバイス１は、参照画像ＲＩＭＧに設定された探索範囲ＳＲのうち、分割領域ＤＲ１内の探索範囲ＳＲ内のブロックＲＢに関して、テンプレートブロックＴＢとの解析処理を行う。

分割領域ＤＲ１に対する処理が完了した後、画像処理デバイス１は、画像処理デバイス１内のメモリ領域１０１内の分割領域ＤＲ１のデータを、メモリデバイス５内の他の分割領域ＤＲ２のデータに入れ替える。

そして、画像処理デバイス１は、分割領域ＤＲ１の処理に続いて、分割領域ＤＲ２内に含まれる探索範囲ＳＲ内のブロックＲＢに関して、テンプレートブロックＴＢとの解析処理を行う。

解析処理時において、探索範囲ＳＲ内のデータが、ブロック単位で、メモリ領域１０１から読み出される。図３の（ｂ）のように、ブロック（例えば、１０×１０画素のデータ）ＲＢのデータ転送は、１ライン（１×１０画素ＰＸ）ＬＮずつ実行される。

分割領域ＤＲ２に対する処理の後、画像処理デバイス１は、メモリ領域１０１内の分割領域ＤＲ３，ＤＲ４のデータの入れ替え、及び、分割領域Ｒ３，Ｒ４に対する解析処理を、順次実行する。

これによって、ある参照画像ＲＩＭＧの全体に対するブロックマッチング処理が、完了する。

本実施形態のように、参照画像ＲＩＭＧが論理的に分割され、ブロックマッチング処理のためのデータ転送は、分割された領域ＤＲのデータ単位で実行される。選択された領域ＤＲが、領域ＤＲが処理の対象となるタイミングで、画像処理デバイス１内のメモリ領域１０１に転送される。

このように、分割領域ＤＲのそれぞれが異なるタイミングで転送される結果として、画像処理デバイス１内のメモリ領域１０１の参照画像を格納するための記憶容量は、１つの分割領域ＤＲを格納可能な記憶容量（分割領域のデータサイズ）程度でよくなる。

したがって、本実施形態において、画像処理デバイス１内のメモリ領域１０１の参照画像を格納するための記憶容量は、参照画像ＲＩＭＧの全体を記憶するための記憶容量より小さくできる。

（ｂ） 構成例
図４及び図５を参照して、本実施形態の画像処理デバイスの構成例を説明する。
図４は、本実施形態の画像処理デバイスの内部構成を説明するためのブロック図である。

本実施形態の画像処理デバイス１は、１つの参照画像ＲＩＭＧ内の複数の分割領域ＤＲを選択的に転送し、分割領域に対してブロックマッチング処理のための処理を実行するために、図４に示される構成及び機能を有する。

図４に示されるように、画像処理デバイス１は、メモリ領域（以下では、内部メモリともよばれる）１０１、画像分割部１０２、ＤＭＡ部１０３、探索範囲確認部１０４、ブロックマッチング部１０５、及び、制御部１０９を含む。

メモリ領域１０１としてのＳＲＡＭ１０１は、テンプレートリスト格納部１１１、テンプレートブロック格納部１１２、分割領域格納部（分割参照画像格納部）１１３、及び、結果格納部１１４を含む。

テンプレートリスト格納部１１１内に、テンプレート画像ＴＩＭＧに関する１以上のリスト２００が、格納されている。以下では、テンプレート画像に関するリストのことを、テンプレートリストとよぶ。

図５は、本実施形態の画像処理デバイスに用いられるテンプレートリストの一例を説明するための図である。

図５の（ａ）に示されるように、１つのテンプレート画像ＴＩＭＧ内に、１以上のテンプレートブロックＴＢ（ＴＢ１，ＴＢ２，ＴＢ３）が、設定されている。テンプレートブロックＴＢは、観測対象物（追跡対象物）ＯＢＪ１のある部分（例えば、特徴点）に対応している。各テンプレートブロックＴＢに対して、識別番号ＩＤ（ＩＤ１，ＩＤ２，ＩＤ３）が付されている。尚、図５において、図示及び説明の簡略化のために、３つのテンプレートブロックを示しているが、１つのテンプレート画像ＴＩＭＧ内のテンプレートブロックの個数は、３つに限定されない。

テンプレートリスト２００は、ブロックマッチング処理のための各種の設定条件（探索条件）が記載されたリスト（テーブル）である。

図５の（ｂ）に示されるように、テンプレートリスト２００は、テンプレートブロックＴＢの識別番号の情報、テンプレート画像ＴＩＭＧ内におけるテンプレートブロックＴＢの座標の情報を含む。

テンプレートブロックＴＢの座標は、テンプレート画像ＴＩＭＧのｘ−ｙ平面（２次元平面）におけるｘ方向の位置（ｘ座標）及びｙ方向の位置（ｙ座標）を、それぞれ示している。

テンプレートリスト２００は、テンプレートブロックＴＢに関する参照画像ＲＩＭＧ内の探索すべきブロックの数（探索数とよぶ）の情報、及び、テンプレートブロックＴＢに関する参照画像ＲＩＮＧ内のブロックＲＢの探索方向（探索範囲の始点／終点）の情報を、含む。

例えば、画像処理デバイス１（又はＣＰＵ９）は、テンプレート画像ＴＩＭＧごとに、テンプレートリスト２００を生成する。複数のテンプレートリスト２００が、テンプレートリスト格納部１１１内に格納されている。

テンプレートブロック格納部１１２内に、テンプレートブロックＴＢ及びテンプレートブロックＴＢに関する各種の情報（例えば、テンプレートブロックの特徴量の値）が、格納されている。尚、テンプレートブロックの特徴量は、テンプレートリスト２００内に格納（記述）されてもよい。

分割領域格納部１１３内に、ブロックマッチング処理中において、参照画像ＲＩＭＧの１つの分割領域（分割画像）ＤＲのデータが、格納される。分割領域格納部１１３の記憶容量は、参照画像ＲＩＭＧのデータサイズより小さい。分割領域格納部１１３は、例えば、画像格納用ＳＲＡＭである。

結果格納部１１４内に、テンプレート画像ＴＩＭＧと分割領域ＤＲとの解析処理の結果（中間結果）、及び、ブロックマッチング処理の結果（最終結果）が、格納される。結果格納部１１４は、解析処理の結果のリスト３００を保持する。

ＤＭＡ（Direct Memory Access）部１０３は、メモリデバイス（ＤＲＡＭ）５とＳＲＡＭ１０１との間のデータ転送を行う。ＤＭＡ部１０３は、ＤＲＡＭ５に直接アクセスし、ＤＲＡＭ５内のデータを、ＳＲＡＭ１０１に転送する。また、ＤＭＡ部１０３は、ＳＲＡＭ１０１内のデータを、ＤＲＡＭ５に転送する。

画像分割部１０２は、参照画像ＲＩＭＧのサイズ（データサイズ又は画素数）に応じて、参照画像ＲＩＭＧの分割数（分割領域の数）、及び、参照画像ＲＩＭＧ内に設定される分割領域ＤＲの範囲を設定する。画像分割部１０２は、ＤＭＡ部１０３に、参照画像ＲＩＭＧ内の１つの分割領域ＤＲを、画像処理デバイス１の外部のＤＲＡＭ５からＳＲＡＭ１０１内の分割領域格納部１１３へ転送するように指示する。

探索範囲確認部１０４は、テンプレートリスト格納部１１１内のテンプレートリスト２００を読み出す。探索範囲確認部１０４は、読み出したテンプレートリスト２００を参照し、あるテンプレートブロックＴＢに対応する探索範囲ＳＲが、分割領域格納部１１３内の分割領域ＤＲ内に含まれているか否か判定する。

ブロックマッチング部１０５は、テンプレートブロックＴＢと分割領域ＤＲとに対して、テンプレートリスト２００内の探索範囲及び探索方向に基づいた各種の解析処理を、実行する。

制御部（プロセッサ又はコントローラ）１０９は、画像処理デバイス１内の各回路（ユニット、セクション）１０１，１０２，１０３，１０４，１０５の動作を制御する。

本実施形態の画像処理デバイス１において、分割領域格納部１１３は、１つの分割領域のデータサイズを保持できる記憶容量を有していればよい。参照画像ＲＩＭＧがｎ分割された場合、分割領域格納部１１３は、参照画像ＲＩＭＧのデータサイズのｎ分の１に対応する記憶容量を有する。例えば、２Ｍｂｙｔｅのデータサイズの参照画像ＲＩＭＧが４つに分割される場合、分割領域格納部１１３の記憶容量は、０．５Ｍｂｙｔｅでよい。

このように、本実施形態の画像処理デバイス１は、参照画像が格納される領域を、小さくできる。

（ｃ） 動作例
図６乃至図１２を参照して、本実施形態の画像処理デバイス１の動作例（制御方法）について、説明する。
尚、本実施形態の画像処理デバイス１の動作例を説明するために、図６乃至図１２に加えて、図１乃至５も適宜用いる。

図６は、本実施形態の画像処理デバイス１の動作例を説明するためのフローチャートである。

図６に示されるように、撮像デバイス５００が移動物追跡機能を実行する時、本実施形態の画像処理デバイス１は、ブロックマッチング処理を開始する（ステップＳＴ１）。撮像デバイス５００は、センシングデバイス（イメージセンサ）２の撮影範囲内に存在するある観測対象物（追跡対象物）ＯＢＪの撮影を開始する。

これによって、画像データ（例えば、動画像データ）が生成され、生成された画像データは、メモリデバイス５としてのＤＲＡＭ５内に、記憶される。

撮像デバイス５００内の画像処理デバイス１又はＣＰＵ５は、動画像データに含まれる画像データ（フレーム）のうち、時刻ｔに撮影された画像データを、テンプレート画像ＴＩＭＧに設定し、管理する（ステップＳＴ２）。

画像処理デバイス１の制御部１０９（又はＣＰＵ５）は、テンプレート画像ＴＩＭＧに対して計算処理を施す。

これによって、テンプレート画像ＴＩＭＧの中から複数のブロックが抽出され、１以上のテンプレートブロックＴＢが、生成される。
ブロックマッチング部１０５は、テンプレートブロックＴＢの特徴量を、計算する。

ブロックマッチング部１０５（又は制御部１０９）は、テンプレートブロックＴＢ及び計算された特徴量を、テンプレートブロック格納部１１２内に格納する。

ブロックマッチング部１０５（又は制御部１０９）は、テンプレートブロックＴＢに対する計算処理に基づいて、テンプレート画像ＴＩＭＧのテンプレートリスト２００を生成する。ブロックマッチング部１０５（又は制御部１０９）は、生成されたテンプレートリスト２００を、テンプレートリスト格納部１１１内に格納する。
図５に示されるように、テンプレートリスト２００は、各テンプレートブロックＴＢのＩＤ（識別番号）及び座標、参照画像ＲＩＭＧにおけるブロックの探索数及び探索方向を含む。

尚、各テンプレートブロックＴＢの計算された特徴量は、リスト化されてもよい。

画像処理デバイス１（又はＣＰＵ５）は、ブロックマッチング処理のために、時刻ｔの後の時刻ｔ＋ａにおける画像データを参照画像ＲＩＭＧに設定する（ステップＳＴ３）。

画像処理デバイス１は、ブロックマッチング処理時において、参照画像ＲＩＭＧを、ｎ個の領域に分割する（ステップＳＴ４）。これによって、参照画像ＲＩＭＧ内に、ｎ個（例えば、４個）の分割領域ＤＲが設定される。ｎは、２以上の整数である。

例えば、参照画像ＲＩＭＧのデータサイズ又は参照画像ＲＩＭＧの画素数（例えば、ｙ方向の画素数）に基づいて、参照画像ＲＩＭＧ内における各分割領域ＤＲの範囲が、設定される。

参照画像ＲＩＭＧのうち１番目（ｉ番目）の分割領域ＤＲが、ＤＲＡＭ５から画像処理デバイス１内に、転送される（ステップＳＴ５）。尚、ｉは、１以上、ｎ以下の整数である。

例えば、ステップＳＴ４〜ＳＴ５における参照画像ＲＩＭＧの分割領域ＤＲのデータ転送処理は、画像処理デバイス１内の画像分割部１０２及びＤＭＡ部１０３によって、実行される。

画像分割部１０２は、参照画像ＲＩＭＧのデータサイズ（又は、ｙ方向の画素数）に基づいて、参照画像ＲＩＭＧのデータサイズのｎ分の１（ここでは、４分の１）に対応する範囲を指定する。画像分割部１０２は、ＤＭＡ部１０３に、参照画像ＲＩＭＧ内の４つの分割領域ＤＲのうち、１番目の分割領域（第１の分割領域）ＤＲ１に対応するデータを、ＤＲＡＭ５からＳＲＡＭ１０１内に転送させる。

画像処理デバイス１において、ＤＭＡ部１０３は、ＤＲＡＭ５にアクセスし、参照画像ＲＩＭＧの中から１番目の分割領域ＤＲに対応する範囲（データサイズ）のデータを、読み出す。

ＤＭＡ部１０３は、読み出した分割領域ＤＲを、ＳＲＡＭ１０１内の分割領域格納部１１３内に、転送する。これによって、複数の分割領域ＤＲのうち、選択された１つの分割領域ＤＲが、分割領域格納部１１３内に、格納される。

本実施形態の画像処理デバイス１は、ブロックマッチング処理のために、テンプレート画像ＴＩＭＧと分割領域ＤＲ１とに対する解析処理を実行する（ステップＳＴ６）。

画像処理デバイス１において、制御部１０９は、解析処理を実行するために、画像処理デバイス１の各部分（回路、ファームウェア又はソフトウェア）を、制御する。

探索範囲確認部１０４は、テンプレートリスト格納部１１１にアクセスし、テンプレートリスト２００を参照する。

探索範囲確認部１０４は、参照されたテンプレートリスト２００に基づいて、処理されるべき分割領域ＤＲ内に、各テンプレートブロックＴＢに関する探索範囲が存在するか否か確認する。探索範囲確認部１０４は、探索範囲の確認結果に基づいて、分割領域ＤＲ内の探索範囲、参照ブロックＲＢの探索数及び探索方向などを、ブロックマッチング部１０５に通知する。

ブロックマッチング部１０５は、探索範囲確認部１０４からの通知に基づいて、各種の処理を実行する。

ブロックマッチング部１０５は、テンプレートブロック格納部１１２内のテンプレートブロックＴＢ及びその特徴量を読み出し、参照する。

ブロックマッチング部１０５は、分割領域格納部１１３内の分割領域ＤＲを、参照する。ブロックマッチング部１０５は、探索範囲確認部１０４からの通知に基づいて、分割領域ＤＲ内におけるテンプレートブロックＴＢに対応する探索範囲ＳＲ内の複数の参照ブロックＲＢを、探索方向に沿ってスキャンする。ブロックマッチング部１０５は、スキャンされた各参照ブロックＲＢの特徴量を、順次計算する。

ブロックマッチング部１０５は、テンプレートブロックＴＢの特徴量と探索範囲ＳＲ内の参照ブロックＲＢの特徴量とを比較する。これによって、テンプレートブロックＴＢと分割領域ＤＲ内の参照ブロックＲＢとの類似性が、評価される。

この結果として、画像処理デバイス１内において、ブロックマッチング部１０５は、各テンプレートブロックＴＢに関する分割領域ＤＲの探索範囲内の参照ブロックＲＢに対する解析結果（中間結果）を取得する。

尚、テンプレートブロックＴＢの特徴量の計算及びテンプレートリスト２００の作成は、テンプレートブロックＴＢと参照ブロックＲＢとに対する解析処理の前のタイミングであれば、参照画像ＲＩＭＧが画像処理デバイス１内に転送された後に実行されてもよい。

本実施形態のように、分割された参照画像ＲＩＭＧに対してブロックマッチング処理が実行された場合、あるテンプレートブロックＴＢ１，ＴＢ２，ＴＢ３に対する参照画像ＲＩＭＧ内の探索範囲ＳＲは、複数の分割領域ＤＲにまたがる可能性がある。

図７及び図８は、ブロックマッチング処理のための参照画像内のある分割領域（ここでは、１番目の分割領域ＤＲ１）における解析処理を説明するための模式図である。

図７に示されるように、分割領域ＤＲ１内に、複数のテンプレートブロックＴＢ１，ＴＢ３に関する複数の探索範囲ＳＲ１，ＳＲ３が含まれている場合、各テンプレートブロックＴＢ１，ＴＢ３の探索範囲ＳＲ１，ＳＲ３において、テンプレートブロックＴＢ１，ＴＢ３と参照ブロックＲＢとの類似度の解析が、実行される。これによって、分割領域ＤＲ１の探索範囲ＳＲ１，ＳＲ３内のブロックの中から、テンプレートブロックＴＢ１，ＴＢ３に対して高い類似度を有するブロック３０１，３０３ｚが、検知される。例えば、本実施形態において、テンプレートブロックＴＢと参照ブロックＲＢとの類似度は、各ブロックの比較結果（特徴量の比較結果）から求められる百分率の値で、示される。

ブロックマッチング部１０５は、ある１つの探索範囲ＳＲ１のうち、１つの分割領域ＤＲ１内に含まれる範囲Ｒ１ａまでの処理結果を、結果格納部１１４内に、格納する。

図８に示されるように、テンプレートブロックＴＢ１の探索範囲ＳＲ１内の部分（分割探索範囲）Ｒ１ａ内において、処理結果のうち最も高い類似度の値（ここでは、９０％）、及び、最も類似度の高い参照ブロック（以下では、類似ブロックともよばれる）３０１の識別番号（ここでは、インデックス：１４）又はアドレスが、結果リスト３００−１内に、書き込まれる。参照ブロックＲＢの識別番号（インデックス）は、参照ブロックのスキャンされた順番又は参照画像（分割領域）内の参照ブロックの座標に基づいて、設定される。

また、探索範囲ＳＲ１内の複数の参照ブロックＲＢのうち、部分Ｒ１ａに属するブロック数が、ＩＤ１のテンプレートブロックＴＢ１に関する探索済みブロック数（ここでは、１５個）として、結果リスト３００−１に、書き込まれる。尚、分割された参照画像ＲＩＭＧにおける探索範囲ＳＲ内の探索の進捗を示す指標として、探索済みのブロック数（探索済み数）の代わりに、分割領域ＤＲ内の探索範囲の部分における最終の参照ブロックのＩＤが、用いられてもよい。

テンプレートブロックＴＢ１に対する解析処理及び中間結果の保存処理と同様に、ＩＤ３のテンプレートブロックＴＢ３に関する解析処理が、分割領域ＤＲ１における探索範囲ＳＲ３の部分Ｒ３ａの複数のブロックに対して実行される。
これによって、部分Ｒ３ａ内の複数の参照ブロックＲＢのうち、テンプレートブロックＴＢ３に最も類似の高い参照ブロック３０３ｚが、検知される。部分Ｒ３ａにおけるテンプレートブロックＴＢ３の解析処理の中間結果が、結果リスト３００−１に書き込まれる。

例えば、参照画像ＲＩＭＧ内に分割領域ＤＲが設定されている場合、１ブロックに設定されたサイズ（例えば、１０×１０画素）より小さいサイズのデータ領域（例えば、数ラインの領域）が発生する可能性がある。
このような１ブロックよりサイズの小さいデータ領域に対する解析処理の発生を回避するために、隣り合う２つの分割領域の境界領域において、一方の分割領域の末端部分（境界部分）に、他方の分割領域の先頭部分の領域が付加されることが好ましい。

例えば、１番目の分割領域ＤＲ１と２番目の分割領域ＤＲ２との境界部分において、１番目の分割領域のｙ方向の末端部（領域ＤＲ２側の部分）に、２番目の分割領域ＤＲ２のｙ方向の先頭部（領域ＤＲ１側の部分）の領域（以下では、付加領域とよばれる）ＡＲが、付加されている。１番目の分割領域ＤＲ１に、２番目の分割領域ＤＲ２の一部分が、付加領域ＡＲとして追加されている。

付加領域ＡＲのｙ方向のサイズは、参照ブロックＲＢのＹ方向のサイズ以下である。例えば、付加領域ＡＲのｙ方向のサイズは、参照ブロックＲＢのＹ方向のデータサイズ（画素数）から数ライン（例えば、１つのラインＬＮ）に相当するサイズが差し引かれた大きさに対応する。

画像分割部１０２は、分割領域ＤＲの読み出し時、参照画像ＲＩＭＧのデータサイズに基づいた分割領域ＤＲの読み出しとともに、解析処理のためのマージン部として、分割領域ＤＲのＹ方向の末尾に連続する数ライン分の領域（例えば、８〜９ライン分の領域）ＡＲを分割領域ＤＲに追加し、分割領域格納部（画像用ＳＲＡＭ）１１３内に転送するように、ＤＭＡ部１０３に指示する。

付加領域ＡＲは、１番目の分割領域ＤＲ１に対する解析処理時、及び、２番目の分割領域ＤＲ２に対する解析処理時の両方で、ＤＲＡＭ５（参照画像ＲＩＭＧ）から分割領域格納部１１３に、読み出される領域である。

分割領域ＤＲに付加領域ＡＲが追加される場合、分割領域格納部１１３の記憶容量は、分割領域ＤＲのデータサイズと付加領域ＡＲのデータサイズとの合計に対応する記憶容量に設定される。

付加領域ＡＲのデータは、１番目の分割領域ＤＲ１に対する解析処理時において、解析の対象として、テンプレートブロックＴＢに対する類似度の計算に用いられる。また、付加領域ＡＲのデータは、２番目の分割領域ＤＲ２のデータとしても、解析処理される。

付加領域ＡＲは、参照画像ＲＩＭＧの複数の分割領域ＤＲのうち最後に処理される分割領域（ここでは、４番目の分割領域ＤＲ４）には、付加されなくともよい。

尚、本実施形態において、ある分割領域ＤＲ１が後続の分割領域ＤＲ２の一部分（領域ＡＲ）を含んでいる、と扱われてもよい。この場合、分割領域ＤＲ１と分割領域ＤＲ２とは、領域ＤＲ内において重なった部分を有する。画像分割部１０２は、付加領域ＡＲに相当する部分を考慮して各分割領域ＤＲのデータサイズ（範囲）を設定し、付加領域ＡＲを含む分割領域ＤＲの読み出しを制御する。

本実施形態のように、付加領域（後続の分割領域の一部）ＡＲが処理対象の分割領域ＤＲに付加されることによって、分割領域ＤＲの境界部分にマージンが、確保される。

それゆえ、本実施形態において、付加領域ＡＲの追加によって、分割領域ＤＲの末端部分（境界部分）において、１ブロック分のデータサイズより小さい領域に対する解析処理は、発生しなくなる。

この結果として、本実施形態の画像処理デバイス１は、参照画像ＲＩＭＧが複数の領域ＤＲに分割されてブロックマッチング処理されたとしても、テンプレートブロックＴＢと参照ブロックＲＢとの解析処理（類似度の判定）の精度を、維持できる。

また、付加領域ＡＲのサイズは、分割領域ＤＲのサイズに比較して小さいため、付加領域ＡＲが分割領域ＤＲに付加されたとしても、付加領域ＡＲの格納が、分割領域格納部１１３の記憶容量に対して大きな負担となることを、抑制できる。

尚、１ブロックＲＢより小さいサイズの領域が１ブロックとみなされ、１ブロックより小さいサイズの領域に対して類似度の評価のための計算処理が、実行される場合もある。

１つの分割領域（ここでは、１番目の分割領域ＤＲ１）及び付加領域ＡＲに対する解析が完了した後、制御部１０９は、参照画像ＲＩＭＧの全ての分割領域ＤＲに対する解析処理（ブロックマッチング処理）が完了したか否か判定する（ステップＳＴ７）。

参照画像ＲＩＭＧ内における残り（未処理）の分割領域ＤＲの有無は、画像分割部１０２及び制御部１０９によって、例えば、参照画像ＲＩＭＧ及び分割領域ＤＲのｙ軸方向の座標、参照画像ＲＩＭＧ及び分割領域ＤＲのデータサイズ、分割領域ＤＲに付された識別番号、データの転送回数などに基づいて、判定可能である。

例えば、解析処理が完了していない分割領域ＤＲが存在する場合、制御部１０９は、画像分割部１０２に、処理対象の分割領域を変更するように、指示する（ステップＳＴ８）。

画像分割部１０２は、上述の動作と同様に、処理済みの分割領域に連続する他の分割領域を、ＤＭＡ部１０３を介して、ＤＲＡＭ５から分割領域格納部１１３内に、転送する（ステップＳＴ５）。

これによって、画像処理デバイス１は、解析済みの分割領域（ここでは、１番目の分割領域ＤＲ１）に続く分割領域（ここでは、２番目の分割領域ＤＲ２）のデータを、ＳＲＡＭ１０１内に取得する。

制御部１０９（又はＤＭＡ部１０３）は、分割領域格納部１１３内の分割領域ＤＲ１のデータを、新たな分割領域ＤＲ２のデータに書き換える。制御部１０９は、分割領域格納部１１３内の分割領域ＤＲ１のデータを消去し、新たに取得した分割領域ＤＲ２のデータを、分割領域格納部１１３内に書き込む。このように、解析処理されるべき分割領域ＤＲ２のデータのみが、ＳＲＡＭ１０１の分割領域格納部１１３内に格納される。

画像処理デバイス１は、探索範囲確認部１０４及びブロックマッチング部１０５によって、処理済みの分割領域ＤＲ１に続く分割領域ＤＲ２に対する解析処理を、図７及び図８を用いて説明された処理ＳＴ６と実質的に同じ処理によって、実行する。

図９及び図１０は、ブロックマッチング処理のための参照画像内のある分割領域（ここでは、２番目の分割領域ＤＲ２）に対する解析処理を説明するための模式図である。

ブロックマッチング部１０５は、探索範囲確認部１０４の確認結果（通知）に基づいて、２番目の分割領域（第２の分割領域）ＤＲ２に対する解析処理のために、各格納部１１１，１１２に対してアクセスし、テンプレートリスト２００及びテンプレートブロックＴＢを読み出す。尚、２番目の分割領域ＤＲ２は、その領域ＤＲ２の末端部において、３番目の分割領域（第３の分割領域）ＤＲ３の先頭の数ライン分のデータを、付加領域ＡＲとして付加されている。

図９に示されるように、ブロックマッチング部１０５は、テンプレートブロックＴＢ１に関する探索範囲ＳＲ１のうち、分割領域ＤＲ２内に含まれる部分Ｒ１ｂの複数の参照ブロックＲＢの特徴量を、計算する。ブロックマッチング部１０５は、ＩＤ１のテンプレートブロックＴＢ１と部分Ｒ１ｂの複数の参照ブロックＲＢとの類似度を、判定する。これと同様に、分割領域ＤＲ２内のテンプレートブロックＴＢ３に関する探索範囲ＳＲ３において、ＩＤ３のテンプレートブロックＴＢ３と部分Ｒ３ｂ内の複数の参照ブロックＲＢとの類似度が、判定される。

ブロックマッチング部１０５は、２番目の分割領域ＤＲ２に対する解析処理の結果に基づいて、結果リスト３００（３００−１，３００−２）の内容を更新する。

図１０に示されるように、結果リスト３００−２において、探索済みブロック数が、更新される。２番目の分割領域ＤＲ２内の各探索範囲ＳＲ内で探索された参照ブロックの個数が、リスト３００−２中の探索済み数に、加算される。尚、探索済み数が参照ブロックのＩＤによって示される場合、結果リスト３００−２内の探索済みブロックのＩＤ番号が、分割領域ＤＲ２における探索範囲ＳＲ内の部分における最終値の参照ブロックＲＢのＩＤ番号に、書き換えられてもよい。

これによって、図１０に示されるように、結果リスト３００（３００−２）中の探索済み数の値が、ブロックマッチング部１０５によって、更新される。

ＩＤ３のテンプレートブロックＴＢ３に関する解析処理のように、分割領域ＤＲ２内の参照ブロックＲＢにおいて、処理済みの分割領域ＤＲ１の参照ブロック３０３ｚよりもテンプレートブロックＴＢ３に対する類似度が高いブロック３０３が、検知された場合、中間結果リスト３００−２内における類似度の値及び類似度が高いブロックのＩＤ（座標）が、更新される。

尚、ＩＤ１のテンプレートブロックＴＢ１に関する分離領域ＤＲ２の解析結果のように、処理済みの分割領域ＤＲ１の参照ブロック３０１の類似度を超えるブロックが、処理中の分割領域ＤＲ２の探索範囲ＳＲ３の部分Ｒ１ｂ内に存在しない場合、テンプレートブロックＴＢ１に関する最大類似度は、更新されない。

２番目の分割領域ＤＲ２（及び付加領域ＡＲ）に対する解析処理の後、ステップＳＰ７の判定結果に基づいて、分割領域格納部１１３内のデータの変更及び変更後の分割領域の処理が、実質的に同様の処理によっって、実行される。

これによって、参照画像ＲＩＭＧに設定された残りの分割領域（ここでは、３番目及び４番目の分割領域ＤＲ３，ＤＲ４）のそれぞれに対して、上述の処理と解析処理及び結果リストの更新が、順次実行される。

図１１及び図１２は、ブロックマッチング処理のための参照画像内のある分割領域（ここでは、３番目及び４番目の分割領域ＤＲ３，ＤＲ４）に対する解析処理を説明するための模式図である。

図１１及び図１２に示されるように、３番目の分割領域ＤＲ３（及び付加領域ＡＲ）に対する解析処理において、読み出されたテンプレートリスト２００の探索数及び結果リスト３００の探索済み数の参照結果に基づいて、参照画像ＲＩＭＧに対する探索処理が完了したテンプレートブロックＴＢ１に関する処理は、実行されない。

例えば、結果リスト３００中の探索済み数が、テンプレートリスト２００中の探索数に達したテンプレートブロック（ここでは、ＩＤ１のテンプレートブロック）は、参照画像ＲＩＭＧに対するブロックマッチング処理の途中で、処理対象から除外される。

ＩＤ３のテンプレートブロックＴＢ３に関する分割領域ＤＲ３の解析処理において、探索範囲ＳＲ３の部分Ｒ３ｃ内の参照ブロックＲＢが、解析される。

これによって、ＩＤ３のテンプレートブロックＴＢ３に関する結果リスト３００−３中の値が、部分Ｒ３ｃ内のブロックに対する解析結果に応じて、更新される。

一方、ＩＤ２のテンプレートブロックＴＢ２のように、探索範囲ＳＲ２に属する最初のブロックが、データの入れ替えにより新たに処理対象となった分割領域ＤＲ３内に存在する場合、ＩＤ２のテンプレートブロックＴＢ２に関する探索範囲ＳＲ２内の参照ブロックＲＢに対する解析処理が、参照画像ＲＩＭＧに対するブロックマッチング処理の途中から、処理対象として加わる。

これによって、分割領域ＤＲ３に対する解析処理によって、探索範囲ＳＲ２の部分Ｒ２ａ内の参照ブロックＲＢの中から、テンプレートブロックＴＢ２に対して最も類似度の高い参照ブロック３０２が、検知される。

探索範囲ＳＲ２の部分Ｒ２ａ内の参照ブロックＲＢに対する解析結果に基づいて、テンプレートブロックＴＢ３に対する最も高い類似度、最も類似度の高いブロックの番号、及び、探索済み数が、結果リスト３００−３内に書き込まれる。

このように、ブロックマッチング処理の途中から処理対象となったテンプレートブロックＴＢ２に関する解析処理の結果が、結果リスト３００−３中に、追加される。

画像分割部１０２及び制御部１０９は、３番目の分割領域ＤＲ３に対する解析処理の後、分割領域格納部１１３内のデータを、４番目の分割領域（第４の分割領域）ＤＲ４のデータに書き換える。

分割領域ＤＲ４に対する解析処理において、分割領域ＤＲ４内に探索範囲が存在しないテンプレートブロック（ここでは、ＩＤ３のテンプレートブロック）に対する処理は、実行されない。

ＩＤ２のテンプレートブロックＴＢ２に関する分割領域ＤＲ４において、解析処理が、探索範囲ＳＲ２の部分Ｒ２ｂ内の参照ブロックＲＢに対して実行される。

これによって、図１２に示されるように、ＩＤ２のテンプレートブロックＴＢに関して、結果リスト３００−４中の値が、部分Ｒ２ｂ内の参照ブロックＲＢに対する解析結果に応じて、更新される。

ステップＳＴ７において、１つの参照画像ＲＩＭＧ内の全ての分割領域ＤＲに対する解析処理（類似度の高いブロックの抽出）が完了したと判定された場合、画像処理デバイス１は、テンプレートブロックＴＢと各分割領域ＤＲに対する解析処理を終了する。

画像処理デバイス１は、結果リスト３００に基づいて、テンプレート画像ＴＩＭＧと参照画像ＲＩＭＧの類似性を評価する。

画像処理デバイス１は、類似性の評価結果を、ＣＰＵ５に転送する。
これによって、画像処理デバイス１によるブロックマッチング処理が、完了する。

例えば、ＣＰＵ５は、画像処理デバイス１のブロックマッチング処理の結果に基づいて、時刻ｔにおけるテンプレート画像ＩＭＧ内の追跡対象物ＯＢＪ１が、時刻ｔ＋ａにおける参照画像ＲＩＭＧ内の物体ＯＢＪ２と同一であるか（類似しているか）否か判定する。

２つの画像間の観測対象物の同一性（類似性）が認定された場合、撮像デバイス５００は、画像（現在の撮影領域）内の移動物を、観測対象として追跡する。

尚、画像処理デバイス１がブロックマッチング処理の結果（結果リスト）３００を、ＣＰＵ９に転送し、ＣＰＵ９が、受け取った結果リスト３００に基づいて、追跡対象物ＯＢＪの同一性の判定を実行してもよい。

以上のように、本実施形態の画像処理デバイスにおけるブロックマッチング処理が、完了する。この結果として、撮像デバイス５００の移動物追跡機能が実現される。

尚、上述において、ブロックマッチング処理のために画像処理デバイス１によって実行された各処理の全て又は一部は、ＣＰＵ５によって、実行されてもよい。

（ｄ）まとめ
本実施形態の画像処理デバイス及び画像処理方法において、ブロックマッチング処理時において、参照画像が複数の領域に分割される。そして、分割された複数の領域のうち、解析処理の対象に設定された領域のデータのみが、画像処理デバイス内のメモリ領域内に、転送され、格納される。

それゆえ、本実施形態において、画像処理デバイス１内における参照画像を記憶するための記憶容量は、参照画像内の一部の領域に対応するデータサイズを記憶できる記憶容量でよい。

すなわち、参照画像の全体を記憶するための記憶容量が、画像処理デバイス１内のメモリ領域内に確保されなくともよい。

この結果として、本実施形態の画像処理デバイスは、大きな記憶容量のメモリ領域（画像格納用のＳＲＡＭ）の搭載を、回避できる。

また、本実施形態において、画像処理デバイス内に、参照画像のある領域のデータを格納できることによって、参照画像内の固定されない探索範囲内のデータサイズの小さいブロックに対するプリフェッチを実行すること無しに、参照画像内のブロック単位のデータ転送を、効率よく実行できる。

したがって、実施形態の画像処理デバイス及び画像処理方法によれば、画像処理デバイスのコストを増大させずに、画像処理デバイスのデータの転送効率を向上できる。

（２） 第２の実施形態
図１３及び図１４を参照して、第２の実施形態の画像処理デバイス及び画像処理方法について、説明する。

上述のように、１つのテンプレート画像内において、複数のテンプレートブロックが、設定されている。

ブロックマッチング処理時に、あるテンプレート画像における複数のテンプレートブロックの全てに関する情報が、分割領域のデータの入れ替えの度に参照され及び読み出される場合、画像処理デバイスのメモリバンド幅（ある時間におけるデータの転送容量）は、増加する。この場合、画像処理デバイス内部において転送されるデータサイズの増大に起因して、画像処理デバイス内部のデータ転送効率が劣化し、画像処理デバイスの処理能力が低減する可能性がある。

図１３は、本実施形態の画像処理デバイス及び画像処理方法を説明するための模式図である。

図１３に示されるように、テンプレートリスト２００Ｚに、各テンプレートブロックＴＢに対する探索されるべき参照ブロックＲＢの数（探索数）が、格納されている。

結果リスト３００に、各分割領域ＤＲに対する処理結果に応じて、各テンプレートブロックＴＢに対する探索済みの参照ブロックの数（探索済み数）が、格納されている。

以下のように、画像処理デバイスが、各リストにおける探索数と探索済み数とを比較することによって、画像処理デバイス内におけるデータ転送を効率化できる。

図１４に示されるように、本実施形態の画像処理デバイス及び画像処理方法において、参照画像の処理の中間結果に基づいて、テンプレートリスト内の複数のテンプレートブロックのうち、探索済みのテンプレートブロックに関する情報は転送されずに、探索が未完了のテンプレートブロックに関する情報のみが、転送される。

図１４は、本実施形態の画像処理デバイスの動作を説明するためのフローチャートである。

例えば、画像処理デバイス１のブロックマッチング部１０５（又は制御部１０９）は、分割領域ＤＲのデータの入れ替え時（ステップＳＴ８）において、テンプレートリスト２００Ｚ及び結果リスト３００を参照する（ステップＳＴ１０）。

ブロックマッチング部１０５は、テンプレートリスト２００Ｚ内の各テンプレートブロックＴＢの探索数と、結果リスト３００内の各テンプレートブロックＴＢに対する参照ブロックＲＢの探索済み数とを比較する。

各リスト２００Ｚ，３００内のテンプレートブロックＴＢに関する探索数と探索済み数とが一致した場合、ブロックマッチング部１０５は、探索数と探索済み数とが一致しているテンプレートブロックＴＢを、処理が完了したブロック（処理完了ブロックとよぶ）と判定する。

各リスト２００Ｚ，３００内のテンプレートブロックに関する探索数と探索済み数とが一致しない場合、ブロックマッチング部１０５は、探索数と探索済み数とが一致していないテンプレートブロックを、処理が未完了のブロック（未完了ブロックとよぶ）と判定する。

制御部１０９は、比較結果に基づいて、処理完了ブロックが存在するか否か判定する（ステップＳＴ１１）。

処理完了ブロックが存在する場合、制御部１０９は、処理完了ブロックのデータ及び処理完了ブロックに関するリスト２００Ｚ内の情報を、データの入れ替え後の分割領域ＤＲに対する処理のための情報から除外する（ステップＳＴ１２）。

これによって、処理完了ブロックに関するデータは、各格納部１１１，１１２から読み出されず、処理完了ブロックに関するデータの内部転送は、実行されない。

未完了ブロックのデータ及び未完了ブロックに関する情報は、データの入れ替え後の分割領域ＤＲに対する処理のための情報として、テンプレートリスト格納部１１１及びテンプレートブロック格納部１１２から読み出され、ブロックマッチング部１０５に転送される。

これによって、未完了ブロックに関するデータが、画像処理デバイス１の内部においてデータ転送される（ステップＳＴ１３）。

尚、図１３に示されるように、テンプレートブロックＴＢのＩＤ番号は、テンプレート画像ＴＩＭＧ内のｙ座標の大きさに応じた値に、設定されることが好ましい。
例えば、テンプレートブロックＴＢの生成時（ステップＳＴ２）において、制御部１０９（又はブロックマッチング部１０５）は、ｙ座標の大きさに応じた順序（例えば、昇順）で、生成されたテンプレートブロックＴＢにＩＤ番号を付す。

これによって、テンプレートブロックＴＢのＩＤ番号が、分割領域ＤＲのデータの入れ替え順序に関連付けられる。

例えば、複数の未完了ブロックが存在する場合、複数の未完了ブロックのＩＤ番号のうち、最も小さいＩＤ番号がチェックされ、そのＩＤ番号がリスト２００内にマーキングされる。

ｙ座標の大きさに応じた順序でテンプレートブロックＴＢにＩＤ番号が付された場合、未完了ブロックのうちの最小のＩＤ番号より小さいＩＤ番号のブロックは、ブロックマッチング処理のための解析処理が完了したブロックである。

それゆえ、未完了ブロックのうち最小のＩＤ番号より小さいＩＤ番号のテンプレートブロック（図１３では、ＩＤ１〜ＩＤ３のテンプレートブロック）ＴＢのデータ及びリスト２００Ｚ内の情報は、転送せずともよい。

未処理ブロックのＩＤ番号の最小値のチェックは、分割領域ＤＲのデータ入れ替え時のたびに行われ、更新される。

このように、本実施形態において、未完了ブロックのＩＤ番号を基準に用いて、テンプレートブロックのデータ及び情報の転送の要否を判定できる。

以上のように、本実施形態の画像処理デバイスは、画像処理デバイスの内部で転送されるデータ量を削減でき、画像処理デバイスのメモリバンド幅を低減できる。

以上のように、第２の実施形態の画像処理デバイス及び画像処理方法によれば、データ転送処理を効率化できる。

（３） 第３の実施形態
図１５を参照して、第３の実施形態の画像処理デバイス及び画像処理方法について、説明する。

図１５は、本実施形態の画像処理デバイス内のＳＲＡＭのアドレス空間を示す模式図である。
本実施形態において、図１５に示されるように、画像データの記憶に用いられるＳＲＡＭ１０１（１１３）において、アドレス空間８００は、複数のワード領域８０１を含む。ワード領域８０１は、同じワードアドレスを有する複数のワードＷＤがタイル状に配列された論理的な記憶領域である。

あるワード領域８０１内において、複数のワードＷＤのそれぞれは、異なるバンクアドレスを有する。バンクは、独立してアクセスが可能な領域である。

各ワード領域８０１において、複数のワードＷＤは、２列×Ｎ個（行）で配列されている。

ワード領域８０１の２つの列のうち、一方の列に、奇数番目のバンクアドレスを有するワードＷＤが割り付けられ、他方の列に、偶数番目のバンクアドレスを有するワードＷＤが割り付けられている。

このように、複数のワードＷＤがアドレス空間８００に配列されることによって、アドレス空間８００のデータが、記憶されるべき画像データに対応付けられている。

例えば、１つのワードＷＤのデータサイズは、“Ｍ”ｂｙｔｅに、設定される。Ｍｂｙｔｅは、Ｍ個の画素に対応する。

例えば、Ｍ×Ｎのデータサイズを有する単位（ブロック）が、ＳＲＡＭ１０１（１１３）に対するアクセス単位として、扱われる。

データ転送のためのＳＲＡＭに対するアクセス時、ブロック単位でアクセスされるため、Ｍ×Ｎ以下のデータサイズのデータの転送は、異なるバンクＢＫに対するアクセスになる。
それゆえ、ＳＲＡＭのアドレス空間８００が図１５のように設定されることによって、メモリのポート数が増大され、Ｍ×Ｎ以下のデータサイズのデータの転送時において、ＳＲＡＭ１０１の物理アドレスに対して、同時にアクセスできる。
したがって、本実施形態の画像処理デバイスは、１つのデータ転送サイクルにおいて、任意のＭ×Ｎサイズのデータ単位で、ＳＲＡＭに対するパラレルなアクセスが可能になる。

したがって、本実施形態の画像処理デバイスは、データ転送の時間を短縮できる。

（４） 第４の実施形態
図１６を参照して、第４の実施形態における画像処理デバイス及び画像処理方法について、説明する。

第１の実施形態において説明された画像処理デバイスの制御方法（画像処理方法）は、プログラムによって、実行されてもよい。

本実施形態の画像処理デバイス１を動作させるためのプログラム９００は、記録媒体９０１に格納されて、撮像デバイス５００に提供される。コンピュータとしての撮像デバイス５００は、ＣＰＵ９によって、記録媒体９０１内のプログラム９００を読み取り可能である。

例えば、ＣＰＵ９が、プログラム９００を記憶可能なメモリ９０１を、記録媒体（例えば、ＲＯＭ、又は、フラッシュメモリ）として含む。

例えば、図６乃至図１４を用いて説明された各ステップ及び各処理が、プログラムコードとして、プログラム９００内に記述される。

プログラム９００は、ＣＰＵ９の外部のストレージデバイス（例えば、ＨＤＤ）内に、記憶されてもよい。プログラム９００は、撮像デバイス５００に設けられたコネクタ９０９又は再生装置９０９を介して、撮像デバイス５００に提供されてもよい。この場合、プログラム９００を含む記録媒体は、光記録媒体（例えば、ＣＤ−ＲＯＭ又はＤＶＤ）、メモリカード、又はＵＳＢメモリなどである。

本実施形態において、プログラム９００の全体が、ＣＰＵ９のメモリ９０１内に格納されることに限定されず、プログラム９００の一部が、メモリ９０１内に格納されてもよい。また、画像処理デバイス１のプログラム９００の全体又は一部が、撮像デバイス５００内のメモリデバイス５に、格納されてもよい。画像処理デバイス１内に、プログラム９００の全体又は一部が、格納されてもよい。

尚、本実施形態の画像処理デバイスのプログラム９００は、ケーブル、インターネット、イントラネット、又は、無線通信などによって、他のデバイス（例えば、サーバー）からデバイス１，５００に提供されてもよい。

ＣＰＵ９が、プログラム９００に基づいて、画像処理デバイス１に、図６乃至図１２を用いて説明された参照画像ＲＩＭＧ内の分割領域単位のデータ転送を含むブロックマッチング処理を、実行させる。

プログラム９００が、画像処理デバイス１内に格納される場合、プログラム９００によって、画像処理デバイス１が直接制御されてもよい。

尚、第２及び第３の実施形態の画像処理方法が、記憶媒体内のプログラムとして、提供されてもよい。

これによって、上述の各実施形態のように、記憶容量の大きいＳＲＡＭを用いずに、撮像デバイス５００及び画像処理デバイス１は、ブロックマッチング処理のような画像処理を、実行できる。

以上のように、各実施形態で説明された画像処理方法が、プログラムとして提供され、実行された場合であっても、本実施形態の画像処理方法は、第１乃至第３の実施形態と同じ効果を得ることができる。

（５） その他
実施形態において、ブロックマッチングのための参照画像は、ｙ方向に分割された複数の分割領域を含む。但し、参照画像は、ｘ方向に分割された複数の分割領域を含んでもよい。この場合、参照画像の分割領域のデータ転送は、ｘ方向に分割された分割領域単位で、メモリデバイス（ＤＲＡＭ）と画像処理デバイス内の記憶領域（ＳＲＡＭ）間で、実行される。
例えば、本実施形態の画像処理デバイスを含む図１の撮像デバイス５００が車載カメラである場合、本実施形態の画像処理デバイスを用いた移動物追跡機能による観測対象物（例えば、車両）の追跡によって、ある観測対象物と撮像デバイス５００を有する自車両との間の衝突を、防止できる可能性が向上する。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１：画像処理デバイス、１０１：ＳＲＡＭ、１１１：テンプレートリスト格納部、１１２：テンプレートブロック格納部、１１３：分割領域格納部、１１４：結果格納部、１０２：画像分割部、１０３：ＤＭＡ部、１０４：探索範囲確認部、１０５：ブロックマッチング部、ＲＩＭＧ：参照画像、ＤＲ：分割領域。

Claims (3)

1. 第１の時刻において取得された第１の画像、及び、前記第１の時刻の後の第２の時刻に取得された第２の画像に対する処理を実行する処理部と、
   前記第２の画像のデータサイズより小さい第１の記憶容量を有する第１の格納部と、
   前記第１の画像の第１のブロックのデータが格納される第２の格納部と、
   前記第２の画像の検証すべき第１の範囲内のブロックの個数を示す第１の値を含む第１の情報が格納される第３の格納部と、
   比較処理済みの前記第１の範囲内のブロックの個数を示す第２の値を含む第２の情報が格納される第４の格納部と、
   を具備し、
   前記第２の画像内に、少なくとも第１及び第２の領域が、設定され、
   前記第１の領域のデータが、前記第１の格納部内に、格納され、
   前記第１のブロックの特徴量が、前記第１の範囲のうち前記第１の領域内の１以上の第２のブロックのそれぞれの特徴量と、比較され、
   前記第１の領域における比較結果が得られた後、前記第１の格納部内のデータが、前記第１の領域のデータから前記第２の領域のデータに変更され、
   前記第１のブロックの前記特徴量が、前記第１の範囲のうち前記第２の領域内の前記１以上の第３のブロックのそれぞれの特徴量と、比較され、
   前記第１の格納部のデータが、前記第２の領域のデータから、前記第２の領域に続く第３の領域のデータに変更される時、前記第１の値と前記第２の値とが比較され、
   前記第２の値が前記第１の値と一致する場合、前記第１のブロックのデータは、前記第２の格納部から前記処理部へ転送されない、
   画像処理デバイス。
2. 前記第１のブロックの前記特徴量と前記第２のブロックの前記特徴量との比較結果に基づいて、前記第２のブロックの中から前記第１のブロックに最も類似する類似ブロックが、検知され、
   前記第２の情報内に、前記第１のブロックと前記類似ブロックとの類似度と、前記類似ブロックの位置情報とが、格納され、
   前記第１の領域のデータから前記第２の領域のデータへの変更時において、
   前記第２の値が、前記第１の領域内の前記第２のブロックの個数に応じて更新され、前記類似度及び前記位置情報が、前記第１のブロックの前記特徴量と前記第２のブロックの前記特徴量との比較結果に応じて更新される、
   請求項１に記載の画像処理デバイス。
3. 画像処理デバイスに、
   第１の時刻において取得された第１の画像内から、第１のブロックを生成させるステップと、
   生成された前記第１のブロックのデータを第１の格納部内に格納させるステップと、
   前記第１のブロックが生成された後、検証すべき探索範囲内のブロックの個数を示す第１の値を含む第１の情報を生成するステップと、
   前記第１の時刻の後の第２の時刻に取得された第２の画像内に、少なくとも第１及び第２の領域を設定させるステップと、
   前記第１の領域のデータを、前記画像処理デバイス内の前記第２の画像のデータサイズより小さい記憶容量を有する第２の格納部内に、格納させるステップと、
   前記第１のブロックの特徴量と、前記第１の領域内の前記探索範囲内の１以上の第２のブロックの特徴量と、を比較させるステップと、
   前記第１の領域における比較結果が得られた後、前記第２の格納部内のデータを、前記第１の領域のデータから前記第２の領域のデータに変えさせるステップと、
   前記第１のブロックの前記特徴量と、前記第２の領域内の前記探索範囲内の１以上の第２のブロックのそれぞれの特徴量と、を比較させるステップと、
   前記第１のブロックの前記特徴量と前記第２のブロックの前記特徴量との比較処理の後、比較処理済みの前記探索範囲内の前記ブロックの個数を示す第２の値を含む第２の情報を生成するステップと、
   前記第２の格納部内のデータが、前記第２の領域のデータから前記第２の領域に続く第３の領域のデータに変更される時、前記第１の値と前記第２の値とを比較し、前記第２の値が前記第１の値と一致する場合、前記第１の格納部からの前記第１のブロックのデータの転送を停止させるステップと、
   を実行させる画像処理プログラム。