JP4775277B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、動きベクトルを用いて画像を処理する画像処理装置及び画像処理方法に関する。

従来より、車両の周囲の画像を撮影して処理する画像処理装置として、動画の動きベクトルを利用する装置が知られている。この動きベクトルを検出する方法としては、動きベクトルの誤検出を減らすため、一度画像メモリに格納した画像から特徴点を決定し、その特徴点を取り囲むテンプレート画像が、１フレーム後の画像上のどこに移動したかを示す動きベクトルを算出する方法が提案されている（例えば、特許文献１、２、３参照）。

この従来技術では、例えば、図５（Ａ）の入力画像のように、８ｘ８画素の画像単位（以降、画像ブロックと呼ぶ）で動き検出することを考える。このとき、各画像ブロック上で特徴点抽出処理するが、この特徴点抽出処理では、各画素の特徴点らしさの指標を示す値を算出し、最も高い値を持つ画素を決定する。そして、その値があるしきい値を超えた場合に特徴点と決定し、その特徴点を取り囲むテンプレート画像が、１フレーム後の画像上のどこに移動したかを決定する。
特開平８−２４２４５３号公報 特開平９−５５９４３号公報 特開平９−５５９４４号公報

上述した画像処理装置において、動きベクトルを検出する装置（動きベクトル検出装置）は、車や人などの対象物の検出や、対象物の移動方向、速度などの状況把握に応用展開できることから車載画像認識システムに必須機能である。

この信頼性が求められる車載画像認識においては、動き検出方式として、サブピクセルの精度で検出できるＫａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ法（以降、ＫＬＴ法）などの勾配法を採用することが考えられる。

ＫＬＴ法を例にとって説明すると、ＫＬＴ法が高精度に検出できる動きベクトルの大きさはＸ，Ｙ方向ともに３画素程度までとなっている。そこで、画像の取り込み周期を短くする、すなわち高フレームレートカメラを使用することにより、車載における多くのシーンで動きベクトル検出装置を使用することができる。

また、動き検出方式として、ブロックマッチング法を採用した場合でも、高フレームレートカメラを使用することは、検出範囲を小さくすることができ、ミスマッチングする確率を低減することができることから有効である。

しかし、高フレームレートカメラを使用する場合、画像の取り込み周期が短くなるため、高速に動きベクトルを算出できる装置が必要となる。
ところが、上述した従来の動きベクトル検出装置では、画像上の動きベクトルを求める対象となる特徴点を抽出するために、画像データが格納された画像記憶装置にアクセスして、特徴点を求め動きベクトルを算出するため、処理の高速化の点で問題がある。

つまり、カメラで撮影した画像を前処理した全て（平滑化画像、Ｘ微分画像、Ｙ微分画像）の画像を画像記録装置に格納した後に、その画像記録装置から特徴点を算出するために各画像ブロックの画像データを転送し、この画像データから特徴点を算出して動きベクトルを求めるために、演算処理に時間がかかっていた。

例えば、特徴点抽出の方式として、Ｈａｒｒｉｓコーナー検出法を用いた場合、Ｘ微分画像とＹ微分画像を使用するが、このとき、入力画像の全範囲を動き検出する場合には、全ての画像データを格納した画像記憶装置から、２種類の画像データを演算処理部に転送して特徴点を抽出することとなり、高速化を妨げる要因となっていた。

更に、従来は、特徴点の抽出のみならず動きベクトルを抽出するために画像データを転送する際には、全て（過去フレームと現フレームの平滑化画像、Ｘ微分画像、Ｙ微分画像）の画像ブロックの画像データを一律に転送する必要があり、その点でも、演算の高速化の妨げになっていた。

本発明は、上記問題点を解決するためになされたものであり、動きベクトルの算出を速めて、画像処理を高速化できる画像処理装置及び画像処理方法を提供することを目的とする。

（１）請求項１に記載の画像処理装置は、画像処理装置に取り込まれた画像データを記憶する画像記憶部と、画像データ上の特徴点を抽出するため、及び動きベクトルを算出するために、必要な画像データを作成する前処理部と、画像データ上の特徴点が、動き検出する画像単位である画像ブロック単位で、どこに存在するかを示す特徴点マップと、画素単位で抽出された特徴点の位置のデータと動きベクトルのデータとを記憶する動き情報テーブルと、前処理部から得られる画像データから画像ブロック単位で特徴点を抽出し、特徴点が抽出できた場合には、画像ブロックに特徴点が存在することを示すフラグを特徴点マップに立て、かつ、特徴点の位置を動き情報テーブルに格納する特徴点抽出部と、画像記憶部に記憶された画像データと、特徴点マップに記憶された画像ブロック単位の特徴点のデータと、動き情報テーブルに記憶された画素単位の特徴点の位置のデータとに基づいて、動きベクトルを算出する動き検出部と、を備え、更に、前記動き検出部は、動き検出するのに必要な過去の画像データと現在の画像データを記憶する動き検出用画像記憶部と、前記画像記憶部に格納された画像データを、前記動き検出用画像記憶部に転送する画像データ転送部と、前記動き検出用画像記憶部を使用して、過去の画像上の特徴点を含むテンプレート画像が現在の画像上でどこに移動したかを示す動きベクトルを算出し、その算出結果を過去の画像が入力されたときに特徴点座標を格納した過去の動き情報テーブルに格納する動き検出演算部と、過去の画像が入力されたときにフラグを立てた過去の特徴点マップを参照して、特徴点が存在する全ての画像ブロックをラスタ方向に処理するために、現時点で動きベクトルの算出を終えた画像ブロックとその画像ブロックライン上の特徴点が存在する次の画像ブロックまでの距離を計算し、その距離の値から、既に前記動き検出用画像記憶部に転送している画像データが、特徴点が存在する次の画像ブロックにおいて、動きベクトルの算出に使用できるかを判定し、不足している画像データのみを転送するように前記画像データ転送部に命令する動き検出制御部と、を備えたことを特徴とする。

前記図１に例示するように、本発明の画像処理装置Ａ１では、例えばカメラＡ２によって撮影された画像は、例えば画像入力Ｉ／Ｆ部Ａ３によって取り込まれ、その画像データは前処理部Ａ４にて処理される。従って、画像記憶部Ａ５では、例えば前処理された画像データを記憶する。また、特徴点抽出部Ａ６では、前処理された画像データに基づいて、特徴点を抽出し、その特徴点は特徴点マップＡ７に記憶されるとともに、画素単位の特徴点の位置（画像における位置：座標）は動き情報テーブルＡ９に記憶される。よって、動き検出部Ａ８では、例えば周知のＫＬＴ法などにより、特徴点マップＡ７に記憶された画像ブロック単位の特徴点のデータと動き情報テーブルに記憶された画素単位の特徴点の位置のデータとに基づき、画像記憶部Ａ５に記憶された画像データを利用して、動きベクトルを算出することができる。

この様に、本発明では、画像が入力されたときに画像記憶部にアクセスすることなく、前処理部から得られた画像データに基づいて特徴点抽出部により特徴点を抽出して、特徴点マップ及び動き情報テーブルに記憶することができる。よって、特徴点マップを用いて、動きベクトルを算出することができ、この動きベクトルは動き情報テーブルに記憶することができる。

これにより、従来の様に、一旦画像記録部に全画像データを記憶した後に、この画像記録部から画像データを求めて特徴点を抽出する場合に比べて、速やかに動きベクトルを算出することができるという効果がある。

また、特徴点マップには、画像ブロック毎に特徴点の有無を記録できるので、この特徴点の配置を利用して、演算処理の軽減（例えば動きベクトルを算出する際に、画像記憶部から動き検出部に転送される画像データの削減）を図ることができる。

なお、動き情報テーブルとして、現在画像（最新の画像）における特徴点や動きベクトルのデータを記憶したテーブル及び過去画像（最新の画像より例えば１フレーム前の画像）における特徴点や動きベクトルのデータを記憶したテーブルが挙げられる。

また、画像記憶部には、必要に応じて前処理部で作成した画像データを記憶することができる。

更に、本発明によれば、動き検出制御部は、動き検出演算のために必要な画像データのみを転送できる。しかも、動き検出制御部では、現在の処理ブロックと次の特徴点が存在する画像ブロックまでの距離を特徴点マップから求め、その値から、既に転送している画像データが次の動き検出演算に使用できるかを判定し、不足している画像データのみを転送するようにデータ転送を最小とするように制御する。これにより、動きベクトル検出の処理速度を向上させることができる。

（２）請求項２に記載の画像処理装置によれば、動き検出制御部は、動き検出演算部に動きベクトルの算出をさせている間の画像データ転送部の待ち時間に、動き検出用画像記憶部に記憶された画像範囲に対して、動き検出方向に隣接する、所定の数の画像ブロック列の画像データを転送するように、画像データ転送部に命令する。

このことにより、動きベクトルを算出している間の画像データ転送部の待ち時間を解消し、以降の画像ブロックの動きベクトルの算出に必要となる可能性のある画像データを先に転送しておくことができる。

（３）請求項３に記載の画像処理装置によれば、動き検出制御部は、特徴点マップを走査して、Ｘ軸方向にラスタ処理した場合、Ｙ軸方向にラスタ処理した場合の予測処理時間を算出し、予測処理時間の短い方を処理方向とする。

これにより、動きベクトル検出の処理速度を向上させる。
（４）請求項４に記載の画像処理装置によれば、特徴点マップは、特徴点が存在する画像ブロックと次の特徴点が存在する画像ブロックまでの距離に応じた出現回数の情報を格納している。よって、それらの情報を使用することで、特徴点マップを走査することなく予測処理時間を算出でき、動きベクトル検出の処理速度を向上させる。

（５）請求項５に記載の画像処理装置によれば、動き検出制御部が、特徴点マップから、画像の取り込み周期に動きベクトルの算出処理が間に合わないと判断した場合に、処理できる画像ブロックラインまでを算出し、その画像ブロックラインまでを処理する。

これにより、演算の破綻を回避し、可能な範囲で情報を確保することができる。
（６）請求項６に記載の画像処理装置によれば、動き検出制御部が、特徴点マップから、画像の取り込み周期に動きベクトルの算出処理が間に合わないと判断した場合に、優先順位の高い検出領域のみを処理する。

これにより、演算の破綻を回避し、可能な範囲で重要度の高い情報を確保することができる。
（７）請求項７に記載の画像処理装置によれば、動き検出制御部が、特徴点マップから、画像の取り込み周期に動きベクトルの算出処理が間に合わないと判断した場合に、縮小した画像（例えば画像ドットを減らした縮小画像）を処理する。

これにより、演算の破綻を回避し、可能な範囲で画像処理に必要な情報を確保することができる。
（８）請求項８に記載の画像処理装置によれば、特徴点抽出部は、基準となるしきい値の他に、補助となる所定の数の、基準となるしきい値より大きい所定の値を設定できるしきい値を設定することができ、補助となるしきい値についても特徴点抽出し、補助となるしきい値の数と同数の補助特徴点マップに特徴点の検出の有無を書き込む。そして、動き検出制御部は、特徴点マップから、画像の取り込み周期に動きベクトルの算出処理が間に合わないと判断した場合に、補助特徴点マップの中から、取り込み周期に算出処理が間に合うものがあるかを探索し、存在する場合にはその補助特徴点マップを使用して、（例えば画像データ転送部に画像データを転送させ、新たに追加した、例えば後段特徴点抽出部に特徴点座標を計算させ、その座標値を動き検出演算部に与えるようにして）動きベクトルを算出する。

これにより、演算の破綻を回避し、可能な範囲で画像処理に必要な情報を確保することができる。
（９）請求項９に記載の画像処理装置によれば、動き検出部は、複数個搭載されており、処理する画像領域を動き検出部の総数と同一の処理領域に分割し、各領域の画像ブロックを各動き検出部が独立で動きベクトルを算出する。

これにより、動きベクトル検出の処理速度を向上させる。
（１０）請求項１０に記載の画像処理装置によれば、動き検出演算部は、複数個搭載されており、各動き検出演算部は同一方向の隣接した画像ブロックと同期を取りながら、各画像ブロックの動きベクトルを算出する。

これにより、画像データの転送量を抑制し、かつ並列処理で、動きベクトル検出の処理速度を向上させる。
（１１）請求項１１に記載の画像処理装置によれば、画像処理装置を、車載画像認識システムにおける車両前方検知センサに用いる。

つまり、車載画像認識システムにおいて、撮影画像上に特徴点が検出されにくい道路や空の領域の占有率が高い、車両前方検知センサへの使用用途とする場合には、動きベクトル検出を短時間で処理できるため、より高いフレームレート（例えば６０〜１００ｆｐｓ）のカメラを使用することができる。

（１２）請求項１２に記載の画像処理装置によれば、画像を取り込むカメラとして、取り込み周期が短い高フレームレートのカメラを使用するとともに、ＫＬＴ法を使用して動きベクトルを求める。

つまり、動き検出演算部に、サブピクセル単位で高精度に検出できるが、検出できる範囲が狭いＫＬＴ法を使用し、検出できる範囲に収まるように、カメラを取り込み周期が短い高フレームレートのカメラを使用することで、高い信頼性が求められる車載画像認識システムに適用できる。

なお、ここでＫＬＴ法とは、周知の前記Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ法のことである。
（１３）請求項１３に記載の画像処理装置によれば、画像処理装置を、車載画像認識システムにおける車室内侵入者検知センサに用いる。

（１４）請求項１４に記載の画像処理装置によれば、侵入者がいない場合には動きベクトルの算出をしないように制御するので、低消費電力を実現できる。
具体的には、動き検出制御部が、特徴点マップから画像上に存在する特徴点の総数を算出し、その総数が所定のしきい値を超えた場合に、動きベクトルを算出するように制御する。この結果、動き検出処理が必要ない場合には消費電力を抑えることができる。

（１５）請求項１５に記載の画像処理装置によれば、侵入者がいない場合には動きベクトルの算出をしないように制御するので、低消費電力を実現できる。
具体的には、動き検出制御部が、特徴点マップと過去の特徴点マップを比較し、特徴点の有無に変化があった画像ブロックの総数が、所定のしきい値を超えた場合に、動きベクトルを算出するように制御する。この結果、動き検出処理が必要ない場合には消費電力を抑えることができる。

（１６）請求項１６に記載の画像処理方法によれば、画像入力Ｉ／Ｆ処理により、画像データを（画像処理を行う画像処理装置内に）取り込み、画像記憶処理により、画像データを画像ブロック単位で画像記憶部に記憶する。また、前処理により、画像データ上の特徴点を抽出するため、及び動きベクトルを算出するために、必要な画像データを作成し、特徴点抽出処理により、この前処理から得られる画像データから画像ブロック単位で特徴点を抽出し、かつ、特徴点が抽出できた場合には、画像ブロックに特徴点が存在することを示すフラグを特徴点マップに立てる。そして、動きベクトル検出処理により、特徴点マップに記憶された画像ブロック単位の特徴点のデータと（例えば特徴点抽出部によって抽出されて動き情報テーブルに記憶された）画素単位の特徴点の位置のデータとに基づき、画像記録部に記録された画像データを利用して、動きベクトルを算出する。

これにより、本発明では、画像が入力されたときに画像記憶部にアクセスすることなく、画像データから特徴点抽出部により特徴点を抽出して特徴点マップを作成することができる。そして、特徴点抽出時に作成した特徴点マップや（例えば動き情報テーブルに記憶された）画素単位の特徴点の位置のデータを用いて、動きベクトルを算出することができる。よって、演算処理の負担を軽減して処理の高速化を実現できる。

更に、本発明によれば、動きベクトル検出処理では、終了判定処理により、特徴点が存在する全ての画像ブロックの動きベクトルの算出を終了したかを判断する。そして、終了判定処理により算出が終了していないと判断された場合には、画像データ転送量判断処理により、過去の画像が入力されたときにフラグを立てた過去の特徴点マップを参照して、特徴点が存在する全ての画像ブロックをラスタ方向に処理するために、現時点で動きベクトルの算出を終えた画像ブロックとその画像ブロックライン上の特徴点が存在する次の画像ブロックまでの距離を計算し、その距離の値から、既に動きベクトルの算出に用いる過去と現在の画像データを記憶する動き検出用画像記憶部に転送している画像データが、特徴点が存在する次の画像ブロックにおいて、動きベクトルの算出に使用できるかを判定し、不足している画像データ量を明らかにする。そして、不足している画像データ量が明らかになった場合には、画像データ転送処理により、不足している画像データ量分だけを、全画像データを画像ブロック単位で記憶している画像記憶部から動き検出用画像記憶部に転送する。

つまり、本発明によれば、動き検出演算のために必要な画像データのみを転送できる。さらに、現在の処理ブロックと次の特徴点が存在する画像ブロックまでの距離を特徴点マップから求め、その値から、既に転送している画像データが次の動き検出演算に使用できるかを判定し、不足している画像データのみを転送するようにデータ転送を最小とするように制御する。これにより、動きベクトル検出の処理速度を向上させることができる。

以下に本発明の実施形態を図面と共に説明する。
［第１の実施形態］
ａ）図２に、本実施形態における画像処理装置のブロック図を示す。同図に示すように、画像処理装置１は、カメラ３によって撮影された動画の動きベクトルを検出し、その動きベクトルに基づいて画像を処理する装置である。

この画像処理装置１は、画像を取り込む画像入力Ｉ／Ｆ部５と、入力画素を平滑化する平滑化処理部７と、平滑化処理された入力画素をＸ微分するＹ微分処理部９と、同様に平滑化処理された入力画素をＹ微分するＹ微分処理部１１と、Ｘ微分された入力画素とＹ微分された入力画素から画像上の特徴となる画素である特徴点を抽出する特徴点抽出部１３と、動き検出する画像単位である画像ブロック単位で特徴点がどこにあるかを示す特徴点マップ１５と、画素単位の特徴点の座標位置と動きベクトルを記憶する動き情報テーブル１７と、平滑化処理部７、Ｘ微分処理部９、Ｙ微分処理部１１の出力画素を、画像ブロック単位で画像データを記憶する画像記憶部（画像メモリ）１９と、画像記憶部１９に格納された１フレーム前の画像データ（平滑画像、Ｘ微分画像、Ｙ微分画像）、現在の画像データ（平滑画像、Ｘ微分画像、Ｙ微分画像）、特徴点マップ１５、動き情報テーブル１７を用いて動きベクトルを算出する動き検出部２１によって構成される。

なお、画像ブロック単位の特徴点とは、画像ブロックに特徴点が存在するか存在しないかを示すものであり、よって、特徴点マップとは、画像が複数の画像ブロックで区分された場合に、画像ブロック単位で特徴点の有無が示してあるマップである。

このうち、前記動き検出部２１は、動きベクトルの算出に必要な画像記憶部１９に格納された画像データを転送する画像データ転送部２１ａと、転送した画像データを記憶しておく動き検出用画像記憶部２１ｂと、動き検出用画像記憶部２１ｂを使用して、１フレーム前の画像上の特徴点を含むテンプレート画像が現在の画像上でどこに移動したかを示す動きベクトルを算出し、算出結果を動き情報テーブル１７に格納する動き検出演算部２１ｃと、画像上の特徴点の動きベクトルを算出するために、画像データ転送部２１ａと動き検出演算部２１ｃを制御する動き検出制御部２１ｄによって構成される。

なお、この画像処理装置１のうち、画像記憶部１９、動き検出用画像記憶部２１ｂ、特徴点マップ１５、情報テーブル１７が、各種のデータを記憶するメモリ部分であり、それ以外の、平滑化処理部７、Ｘ微分処理部９、Ｙ微分処理部１１、特徴点抽出部１３、画像データ転送部２１ａ、動き検出演算部２１ｃ、動き検出制御部２１ｄが、各種データによる演算処理を行う演算処理部分である。

ｂ）次に、図２における各ブロックの動作を説明する。
カメラ３は、モノクロ画像データを出力し、ここでは画像サイズを６４０×４８０画素のＶＧＡサイズとする。ただし、画像サイズはこの限りではない。また、カラー画像でも問題はなく、その場合には、輝度画像を変換する機能を画像入力Ｉ／Ｆ部５に追加する必要がある。

画像入力Ｉ／Ｆ部５は、カメラ３からの出力信号から、各画素の輝度値、ｘ座標、ｙ座標を取り出し、平滑化処理部７に出力する。また、ここで画像データを１画素ずつ間引いて処理画像サイズを縮小してもよい。

平滑化処理部７、図３に示すように、内部に４ライン分のバッファを保持しており、座標値（ｘ，ｙ）の画素データが入力されたとき、５×５の平滑フィルタ係数に基づく畳み込み演算により、座標値（ｘ−２，ｙ−２）の平滑画素データを、Ｘ微分処理部９とＹ微分処理部１１、画像記憶部１９に出力する。

Ｘ微分処理部９は、平滑化処理部７と同様に、内部に４ライン分のバッファを保持しており、座標値（ｘ，ｙ）の画素データが入力されたとき、５×５のＸ微分フィルタ係数に基づく畳み込み演算により、座標値（ｘ−２，ｙ−２）のＸ微分画素データを、特徴点抽出部３、画像記録部１９に出力する。

Ｙ微分処理部１１は、平滑化処理部７と同様に、内部に４ライン分のバッファを保持しており、座標値（ｘ，ｙ）の画素データが入力されたとき、５×５のＹ微分フィルタ係数に基づく畳み込み演算により、座標値（ｘ−２，ｙ−２）のＹ微分画素データを、特徴点抽出部１３、画像記録部１９に出力する。

なお、平滑化、Ｘ微分、Ｙ微分のフィルタサイズの大きさは、これに限る必要は無いことは言うまでもない。
特徴点抽出部１３は、動き検出する画像単位である画像ブロックの大きさを８ｘ８画素とした場合には、図４（Ａ）に示す通り、８ライン分のＸ微分画像とＹ微分画像のラインバッファを２つ備えている。そして、一方のＸ微分画像とＹ微分画像のラインバッファに画像データを書き込んでいる間、他方のＸ微分画像とＹ微分画像のラインバッファを使用して、８×８画素の画像ブロックの中で最もコーナーらしい画素を抽出する。

具体的には、Ｈａｒｒｉｓコーナー検出と呼ばれる手法により、各画素のコーナーらしさを示す指標を計算し、その画像ブロックの中で、任意のしきい値より大きく、かつ最も高い値の画素を特徴点とする。

詳細に説明すると、図４（Ｂ）に示す通り、４×４画素のＨａｒｒｉｓウィンドウをずらして各画素のコーナーらしさを示す指標を計算する。そして、特徴点が検出できた場合、その結果を特徴点マップ１５と動き情報テーブル１７に格納する。

このＨａｒｒｉｓウィンドウのサイズは、画像ブロックの大きさ以下であればよく、４ｘ４画素に限る必要は無い。また、検出する特徴点は各画像ブロックで１個に限る必要はなく、例えば、コーナーらしさの指標がある基準値を超えた画素については、全て処理するようにしてもよい。

特徴点マップ１５は、図５（Ｂ）に示す通り、どこの画像ブロックに特徴点が存在するかを示す表である。特徴点が検出できた場合には、例えば、フラグとして１を立て、検出できなかった場合にはフラグとして０を立てることができる記憶手段である。また、Ｔ−１フレームの過去の画像用とＴフレームの現在の画像用に２バンクの構成となっている。

ここでの処理画像の画像ブロックは、図５（Ａ）に示すように、横８０個×縦６０個であり、外周部分の１列分の画像ブロックは、特徴点抽出に使用しない。従って、処理領域の画像ブロックは、縦７８個×横５８個である。なお、図５では一部の画像ブロックのみを記載してある。

動き情報テーブル１７は、図６に示す通り、各画像ブロックには識別番号が割り当てられており、その識別番号を索引として、その画像ブロック上の特徴点と動きベクトル情報が参照できるようになっている。また、Ｔ−１フレームの過去の画像用とＴフレームの現在の画像用に２バンクの構成となっている。

なお、動き情報テーブル１７には、特徴点のデータとして、特徴点の座標データ（画素のｘ、ｙの座標のデータが記憶され、動きベクトルとして、ベクトルのＸ成分、Ｙ成分のデータが記憶されている。

ここで、Ｔ−１フレーム用の動き情報テーブル１７に記憶されている動きベクトルは、Ｔ−１フレームとＴフレームの画像データから算出された動きベクトルであり、Ｔフレーム用の動き情報テーブル１７に記憶されている動きベクトルは、ＴフレームとＴ＋１フレームの画像データから算出された動きベクトルである。

画像記憶部１９には、図７に示す通り、画像ブロック単位で画像データが格納される。例えば、１画素８ビット、１ワード３２ビットのメモリを使用した場合には、４画素単位でデータが格納され、８×８画素の画像ブロックの場合、１６ワード単位で格納される。

ここまでの処理は、現在の入力画像Ｔフレームにおける処理である。
ｃ）次に、Ｔ−１フレームで求めた特徴点マップ１５と動き情報テーブル１７、Ｔ−１フレームとＴフレームの画像を用いて動き検出処理する動き検出部２１を説明する。

動き検出部２１は、図８に示す通り、Ｘラスタ方向に各画像ブロックを処理する。以降の説明では、各端部の画像ブロックを除く７８×５８個の画像ブロックを処理することとする。なお、処理する画像ブロック数は、任意に変更することが可能であり、処理する方向についてもＹラスタ方向でもよい。

・まず、動き検出演算部２１ｃについて説明する。
動き検出演算部２１ｃは、図９に示す通り、動き検出制御部２１ｄから与えられた、Ｔ−１フレームの画像上の特徴点を中心とする８×８画素のテンプレート画像がＴフレームの画像上でどこに移動したかを示す動きベクトルを算出する。

具体的には、勾配法の一種であるＫａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ法（以降、ＫＬＴ法）を用いる。このＫＬＴ法では、Ｔ−１フレームとＴフレームの６種類の画像データ（即ち、Ｔ−１及びＴフレームの、平滑化画像、Ｘ微分画像、Ｙ微分画像）を用いて動きベクトルを算出し、算出した画像ブロックの識別番号を索引番号として、その結果を動き情報テーブル１７に格納する。

例えば、図１０に示す通り、テンプレート画像のサイズを８×８画素、ＫＬＴ法が高精度に検出できる範囲であることから、動きベクトルの検出範囲を±３画素とすると、演算に必要となる可能性のある画像データとしては、左図のハッチングを施した部分の画像データを必要とすることになる。したがって、１個の画像ブロックを動き検出処理するためには、９個（処理対象を中心にした９個の画像ブロック）×６枚（前記６種類の画像データ）の画像ブロックの画像データを必要となる。但し、外周部分の３画素分のデータは使用しない。

なお、テンプレート画像のサイズを８×８画素、動き検出範囲は±３画素としたが、それに限る必要はない。その場合、適宜動き検出演算に必要な画像ブロック数及び画像ブロックそのものの大きさを変更することになる。

・次に動き検出制御部２１ｄについて説明する。
動き検出制御部２１ｄは、１フレーム前（Ｔ−１フレーム）の特徴点マップ１５と動き情報テーブル１７を参照して、画像上の特徴点が存在する画像ブロックのみを動き検出処理するように、動き検出演算部２１ｃと画像データ転送部２１ａを制御する。

まず、Ｔ−１フレームの特徴点マップ１５を参照して、処理する画像ブロックライン（ここではＸラスタ方向の１ライン分のブロック）上の最初に特徴点が存在する画像ブロックを対象とする。

上述したように、動き検出演算部２１ｃでは、動きベクトルの算出のために、対象の画像ブロックを含む９個×６枚の画像ブロックの画像データを必要とするので、図１１に示すように、画像データ転送部２１ａに、９個×６枚の画像ブロックの画像データを画像記憶部１９から検出用画像記憶部２１ｂに転送するように命令する。この転送された画像データは、図１１の画像データ（Ａ）に示す通り、動き検出用画像記憶部２１ｂに格納される。

そして、画像データ転送部２１ａが画像データの転送を終了した後、動き検出制御部２１ｄにデータ転送を終了通知する。データ転送の終了通知を受信した動き検出制御部２１ｄは、動き検出演算部２１ｃにＴ−１フレームの動き情報テーブル１７から参照した特徴点の座標値を渡し、動きベクトルを算出するように命令する。また、動き検出演算部２１ｃに演算命令を出すのに並行して、図１１の画像データ（Ｂ）に示す画像データを転送するように、画像データ転送部２１ａに命令する。そして、動き検出演算部２１ｃと画像データ転送部２１ａから終了通知を受けた後、次の特徴点が存在する画像ブロックを処理する。

このとき、特徴点が存在する画像ブロックを処理するごとに９個×６枚の画像データを転送していては効率が悪い。そこで、動き検出制御部２１ｄでは、以下に示すデータ転送方式により、無駄のない画像データの転送を実現する。

具体的には、現在処理を終えた画像ブロックと次の特徴点が存在する画像ブロックまでの距離（単位：画像ブロック）を求める。そして、図１２に示す通り、距離値が３画像ブロック以下であれば、隣り合う画像ブロックのデータを利用できるので、動き検出処理するのに不足している画像データのみを転送（バースト転送）し、４画像ブロック以上であれば９個×６枚の画像データを転送する。

同様の処理を、同じ画像ブロックライン上の特徴点が存在する画像ブロックについて、全て処理するまで繰り返す。さらに、これらの処理を全画像ブロックラインに対して適用する。

以上の構成により、特徴点が存在する画像ブロックを処理するために必要な画像データのみを転送し、高速に動きベクトルを検出できる装置を実現できる。
ｄ）次に、本実施形態の画像処理方法について説明する。

・最初に、全体の処理について、図１３に基づいて説明する。なお、同図では、処理の流れを実線で示すとともに、データの流れを破線で示している。
この処理は、過去の画像上の特徴となる画素である特徴点を抽出して、その特徴点を含む所定の大きさを持つテンプレート画像が、現在の画像上のどこに移動したかを示す動きベクトルを算出するための処理である。

図１３に示すように、ステップ（Ｓ）１００では、カメラ３で撮影した画像データを取り込む（画像入力Ｉ／Ｆ処理）。
続くステップ１１０では、取り込んだ画像データの前処理を行う。具体的には、上述した平滑化処理、Ｘ微分処理、Ｙ微分処理を行う。

続くステップ１２０では、特徴点を抽出する処理を行う（特徴点抽出処理）。この特徴点抽出処理とは、前処理から得られる画像から画像ブロック単位で特徴点を抽出し、かつ、特徴点が抽出できた場合には、画像ブロックに特徴点が存在するフラグを特徴点マップに立て、特徴点の位置を動き情報テーブルに格納する処理である。また、この特徴点抽出処理とは別に（並列に）、平滑化した画像データを画像記憶部１９に記憶する処理を行う。

続くステップ１３０では、特徴点が存在する全ての画像ブロックの動きベクトルの算出を終了したかを判断する（終了判定処理）。ここで肯定判断されると本処理を終了し、否定判断されるとステップ１４０に進む。

ステップ１４０では、画像データ転送量判断処理を行う。この画像データ転送量判断処理とは、過去の画像が入力されたときにフラグを立てた他方（過去）の特徴点マップを参照して、特徴点が存在する全ての画像ブロックをラスタ方向に処理するために、現時点で動きベクトルの算出を終えた画像ブロックとその画像ブロックライン上の特徴点が存在する次の画像ブロックまでの距離を計算し、距離の値から、既に動き検出用画像記憶部２１ｂに転送している画像データが、特徴点が存在する次の画像ブロックにおいて、動きベクトルの算出に使用できるか判定し、不足している画像データ量を明らかにする処理である。

続くステップ１５０では、上記画像データ量分だけ、画像記憶部１９から動き検出用画像記憶部２１に転送する（画像データ転送処理）。
続くステップ１６０では、動き検出演算処理を行ってから前記ステップ１３０に進む。この動き検出演算処理とは、動き検出用画像記憶部２１ｂを使用して、過去の画像上の特徴点を含むテンプレート画像が現在の画像上でどこに移動したかを示す動きベクトルを算出し、算出結果を過去の画像が入力されたときに特徴点座標を格納した他方（過去）の動き情報テーブルに格納する処理である。

なお、前記ステップ１３０〜１６０の処理が、動き検出部２１にて行われる動き検出処理（動きベクトルを算出する処理）である。
・次に、上述した処理のうち、各画像ブロックラインの処理について、図１４に基づいて説明する。

なお、処理に使用する変数は下記の通りである。
ＳＴＡＴＥ ：状態を示す変数
ｍａｐ［７８］：１ライン分の特徴点マップ
ｍｃ ：特徴点マップカウンタ
Ｌ ：次の特徴点が存在する画像ブロックまでの距離（個数）
図１４に示すように、ステップ２００では、初期化処理を行う。具体的には、ＳＴＡＴＥを、初期状態を示すＩＮＩＴに設定し、ｍｃを０に設定する。

続くステップ２１０では、１ライン分の処理が終了したかどうかを、ｍｃが７８か否かによって判定する。ここで肯定判断されると、１ライン分終了したとして、次の画像ブロックラインの処理に移行する。一方否定判断されると、ステップ２２０に進む。

ステップ２２０では、特徴点の有無を、特徴点を示すフラグが１であるか否かによって判定する。ここで肯定判断されるとステップ２３０に進み、一方否定判断されるとステップ３００に進む。

ステップ３００では、ＳＴＡＴＥがＩＮＩＴか否かを判定する。ここで肯定判断されるとステップ３２０に進み、一方否定判断されるとステップ３１０に進む。
ステップ３１０では、バースト転送（３個×６枚の画像ブロックの転送）を行い、ステップ３２０に進む。

ステップ３２０では、ｍｃをインクリメントし、前記ステップ２１０に戻る。
一方、前記ステップ２２０で肯定判断されて進むステップ２３０では、ＳＴＡＴＥがＩＮＩＴ又は（スキップ転送を示す）ＳＫＩＰであるか否かを判定する。ここで肯定判断されるとステップ２４０に進み、一方否定判断されるとステップ２５０に進む。

ステップ２４０では、ステップ転送（９個×６枚の画像ブロックの転送）を行う。
続くステップ２５０では、ＫＬＴ演算を行う。また、並列して、隣接する画像ブロックのバースト転送（３個×６枚の画像ブロックの転送）を行う。

続くステップ２６０では、次の特徴点が存在する画像ブロックまでの距離Ｌを測定する。なお、距離Ｌが求めることができなかった場合（１ライン終了した場合）には、一旦本処理を終了する。

続くステップ２７０では、距離Ｌが４以上か否かを判定する。ここで肯定判断されるとステップ２９０に進み、一方否定判断されるとステップ２８０に進む。
ステップ２８０では、ＳＴＡＴＥを（バースト転送を示す）ＢＵＲＳＴに設定し、前記ステップ３２０に進む。

一方、ステップ２９０では、ＳＴＡＴＥを（スキップ転送を示す）ＳＫＩＰに設定する。また、カウンタｍｃとして、ｍｃに距離Ｌを加えた値を設定し、前記ステップ２１０に戻る。

上述した処理により、１ライン分の画像ブロックの処理を行うことができるので、この処理を５８ライン分処理することにより全てのラインの処理を完了することができる。
なお、図１５に、変数ＳＴＡＴＥにて設定される状態の遷移を示す。この状態遷移図から明らかな様に、ＳＴＡＴＥは、距離Ｌに応じてＩＮＩＴ、ＢＵＲＳＴ、ＳＫＩＰに切り替わることが分かる。

ｅ）この様に、本実施形態では、上述した処理を行うことにより、高速にて必要な画像データの転送ができるので、この画像データに基づいて動きベクトルの処理を速やかに行うことができる。

また、本画像処理装置１は、車載画像認識システムにおいて、撮影画像上に特徴点が検出されにくい道路や空の領域の占有率が高い、車両前方検知センサへの使用用途に有効である。

更に、この車両前方検知センサに使用する場合には、高い信頼性が求められるため、動き検出演算部２１ｃに、サブピクセル単位で高精度に検出できる勾配法、例えば、ＫＬＴ法を使用することが望ましい。ただし、勾配法は、検出できる範囲が狭いため、検出できる範囲に収まるように、カメラ３として取り込み周期が短い高フレームレートのカメラを使用することが望ましい。

［第２の実施形態]
次に、第２の実施形態について説明するが、第２の実施形態は、第１の実施形態によるものと共通するところが多いので、以下、共通部分についての詳しい説明は省略し、異なる部分を重点的に説明する。

ａ）第１の実施形態の画像処理装置においては、画像ブロックの処理方向はＸ軸にラスタ処理するか、Ｙ軸にラスタ処理するかは任意であった。これに対し、本実施形態の画像処理装置は、Ｘ軸にラスタ処理するか、Ｙ軸にラスタ処理するか、どちらが高速に処理できるか判断する機能を動き検出制御部が備える。

つまり、本実施形態の動き検出制御部では、Ｘ軸方向、Ｙ軸方向のラスタ処理の両方の予測処理時間を算出し、どちらで処理するか判定する。
具体的な予測処理時間の計算方法を図１６に示す。なお、図１６（Ａ）はＸ軸方向に特徴点を走査した場合、図１６（Ｂ）はＹ軸方向に特徴点を走査した場合である。

ここでは、例えば図１６（Ｃ）に示す様に特徴点が配列されている場合に、同図の矢印方向に特徴点を走査する場合を例に挙げる。
まず、下記Ｓｔｅｐ１〜５の式に示す様に、最初の特徴点において、初期転送のための処理時間に動き検出演算の処理時間Ｋを加算する（Ｓｔｅｐ１）。

次に、最初の特徴点から距離１だけ離れた２番目の特徴点においては、距離が１であり画像データの転送が不要であるので、前Ｓｔｅｐまでの予測処理時間Ｓに、動き検出演算の処理時間Ｋを加算する（Ｓｔｅｐ２）。

次に、２番目の特徴点から距離２だけ離れた３番目の特徴点においては、前Ｓｔｅｐまでの予測処理時間Ｓに、距離２に応じた処理時間（３個×６枚）×Ｔと動き検出演算の処理時間Ｋとを加算する（Ｓｔｅｐ３）。

次に、３番目の特徴点から距離３だけ離れた４番目の特徴点において、前Ｓｔｅｐまでの予測処理時間Ｓに、距離３に応じた処理時間（６個×６枚）×Ｔと動き検出演算の処理時間Ｋとを加算する（Ｓｔｅｐ４）。

次に、４番目の特徴点から距離４だけ離れた５番目の特徴点において、前Ｓｔｅｐまでの予測処理時間Ｓに、距離４に応じた処理時間（９個×６枚）×Ｔと動き検出演算の処理時間Ｋとを加算する（Ｓｔｅｐ５）。

・Ｓｔｅｐ１：Ｓ＝（９個×６枚）×Ｔ＋Ｋ
・Ｓｔｅｐ２：Ｓ＝Ｓ＋Ｋ
・Ｓｔｅｐ３：Ｓ＝Ｓ＋（３個×６枚）×Ｔ＋Ｋ
・Ｓｔｅｐ４：Ｓ＝Ｓ＋（６個×６枚）×Ｔ＋Ｋ
・Ｓｔｅｐ５：Ｓ＝Ｓ＋（９個×６枚）×Ｔ＋Ｋ
但し、予測処理時間：Ｓ、動き検出演算の処理時間：Ｋサイクル、画像ブロック１個の転送時間：Ｔサイクル（Ｔ＜Ｋ）
つまり、本実施形態では、Ｓｔｅｐ１〜５の処理を行うことにより、１ラインにおける処理時間が分かるので、全てのラインについて合計することにより、Ｘ軸方向及びＹ軸方向における各処理時間が分かる。よって、それらの処理時間を比べることにより、処理時間の短いラスタ処理方向を求めることができる。

それにより、第１の実施対応より処理の高速化を実現することができる。
ｂ）次に、本実施形態の変形例について説明する。
この変形例では、Ｘ軸にラスタ処理するか、Ｙ軸にラスタ処理するか、どちらが高速に処理できるか判断する際に、上記のように特徴点マップを走査して処理時間を予測するのではなく、図１７に示す通り、各画像ブロックの行、列ごとに、距離値が１ブロック、２ブロック、３ブロック、４ブロック以上または初期転送の出現回数の情報を付加しておく。

なお、距離値に応じた処理時間は、１ブロックが０、２ブロックが（３個×６枚）×Ｔ、３ブロックが（６個×６枚）×Ｔ、４ブロック以上または初期転送が（９個×６枚）×Ｔである。

そして、図１７に示す距離値の場合は、下記式のようにして予測処理時間を求める。
Ｓ＝ １回×｛（０個×６枚）×Ｔ＋Ｋ｝ （←距離値１の場合）
＋１回×｛（３個×６枚）×Ｔ＋Ｋ｝ （←距離値２の場合）
＋１回×｛（６個×６枚）×Ｔ＋Ｋ｝ （←距離値３の場合）
＋２回×｛（９個×６枚）×Ｔ＋Ｋ｝ （←距離値４及び初期転送の場合）
この様に、この変形例では、特徴点マップを走査することなく、処理時間を予測することができるので、一層処理時間を短縮できるという利点がある。

［第３の実施形態］
次に、第３の実施形態について説明するが、第３の実施形態は、第１、２の実施形態によるものと共通するところが多いので、以下、共通部分についての詳しい説明は省略し、異なる部分を重点的に説明する。

第２の実施形態で説明した通り、特徴点マップから、動きベクトルの算出にかかる処理時間を予測することができる。しかし、処理時間に十分な余裕を持たせないように設定した場合、画像の取り込み周期間内に動きベクトルの算出処理が間に合わないときには、処理が破綻してしまう。

そこで、本実施形態では、動き検出制御部２１ｄで、処理時間が間に合わないと判断した場合には、処理できる範囲（例えば処理できる画像ブロックライン）までを算出し、その範囲までを処理するように制御し、継続的に動きベクトルを算出できるようにする。

以下、詳細に説明する。
図１８（Ａ）に示す様に、画像データの格納は、３枚のフレームバッファを循環するように用いて行う（リングで格納する）。

従って、図１８（Ｂ）に示す様に、処理が遅れない場合には、Ｔフレームの画像データの取り込みの際に、Ｔ−２フレームの画像データとＴ−１フレームの画像データとから動きベクトルを算出することができる。

一方、図１８（Ｃ）に示す様に、処理が遅れる場合には、例えばＴ−２フレームの画像を使用する一方で、Ｔ＋１の画像に書き換えられているので、動作が破綻してしまう。
この対策として、図１９に示す様に、フレームの同期信号Ｖｓｙｎｃをチェックし、ＶｓｙｎｃがＨ→Ｌになった場合に、まだ、動き検出処理をしていれば、次のフレーム（この例で言えば、Ｔ＋１フレーム）の画像の取り込みを止め、動き検出処理が完了した段階で、回路全体の動作を一旦停止した後、回路の動作を再開する（この例で言えば、Ｔ＋２フレームからの処理を再開する）方法が考えられる。これにより、動作の破綻を回避することができる。

（変形例１）
上述したフレームの同期信号を用いた場合には、一応、動作の破綻を回避できるが、この場合も、処理方向がラスタ方向なので、本当に動き検出したかった処理ブロックまで行き着かない可能性がある。

そこで、本変形例１では、特徴点マップ１５から、画像の取り込み周期に動きベクトルの算出処理が間に合わないと判断した場合に、予め設定しておいた優先順位の高い検出領域のみを処理する。

つまり、動き検出を開始する前に、取り込み周期内で終了できるかを判断し、間に合わない場合には、優先順位の高い検出範囲のみを処理するのである。
なお、優先順位の高い検出範囲とは、例えば先行車を検知している場合には、その車両周辺の領域を示すものであり、例えば空や上方の風景の領域は優先順位が低いとする。

以下、詳細に説明する。
（１）まず、前記図１６又は図１７に示した手法にて、予測処理時間を見積もる。
ここで、動き検出にどれだけの処理時間がかかるかは、設計すれば正確に見積もることが可能である。具体的には、回路設計し、シミュレーションすれば、画像データ転送サイクル数、動き検出処理サイクル数、メモリの調停サイクル数が分かる。その数値を使用すれば計算できる。なお、前記図１６及び図１８の説明では、メモリの調停サイクル数は考慮していない。というのは、実際には、下記（２）で説明するＴｖを実際の値より厳しく設定すれば良いからである。

（２）次に、予測処理時間と画像の取り込み周期とを比較する。
画像の取り込み周期Ｔｖ（例えば６０ｆｐｓのカメラであれば１６．７ｍｓｅｃ）と前記（１）で求めた予測処理時間Ｔｐとを比較する。

そして、Ｔｐ＞Ｔｖの場合は、取り込み周期内に終了できないと判断する。また、Ｔｐ≦Ｔｖの場合は、取り込み周期内に終了できると判断する。
従って、この判定結果に基づいて、処理が間に合わない場合には、優先順位の高い検出範囲のみを処理するのである。

これにより、重要な処理を確実に実行できるという利点がある。
（変形例２）
この変形例２では、特徴点マップから、画像の取り込み周期に動きベクトルの算出処理が間に合わないと判断した場合には、画像サイズを縮小した画像データを用いて処理する。

以下、詳細に説明する。
図２０に示す様に、本変形例２の画像処理装置３１では、前記第１の実施形態と同様に、（カメラ３３からの画像を取り込む）画像入力Ｉ／Ｆ部３５と、平滑化処理部３７と、Ｘ微分処理部３９と、Ｙ微分処理部４１と、特徴点抽出部４３と、特徴点マップ４５と、動き情報テーブル４７と、画像記憶部４９と、動き検出部５１を備えており、この動き検出部５１は、画像データ転送部５１ａと、動き検出用画像記憶部５１ｂと、動き検出演算部５１ｃと、動き検出制御部５１ｄによって構成される。

更に、本画像処理装置３１は、平滑化処理部３７とＸ微分処理部３９とＹ微分処理部４１からのデータに基づいて、微小画像の特徴点を抽出する微小画像特徴点抽出部５３と、その微小画像特徴点抽出部５３によって抽出された微小画像の特徴点のデータを記憶する微小特徴点マップ５５と微小動き情報テーブル５７とを備えている。

なお、特徴点マップ４５及び動き情報テーブル４７の構成と、微小特徴点マップ５５及び微小動き情報テーブル５７の構成は、記憶するデータが異なるのみでその構成は同様である。

そして、本変形例２では、前記第１の実施形態の処理に加えて、平滑化処理部３７、Ｘ微分処理部３９、Ｙ微分処理部４１からは、微小画像特徴点抽出部５３に対して、１画素単位で間引いた画像データを送って格納する。

従って、縮小画像特徴点抽出部５３では、通常より少ない画像データで特徴点の抽出を行って、その縮小画像の特徴点のデータを、微小特徴点マップ５５及び微小動き情報テーブル５７に記憶する。

更に、動き検出制御部５１ｄにて、特徴点マップ４５から、画像の取り込み周期に動きベクトルの算出処理が間に合わないと判断した場合に、動き検出演算部５１ｃは、縮小画像特徴点マップ５５と縮小動き情報テーブル５７のデータを使用して画像上の動きベクトルを算出する。

これにより、短時間で処理が可能となるので、必要な処理を行うことができる。
［第４の実施形態］
次に、第４の実施形態は、第３の実施形態によるものと共通するところが多いので、以下、共通部分についての詳しい説明は省略し、異なる部分を重点的に説明する。

図２１に示す様に、本実施形態の画像処理装置６１では、前記第１の実施形態と同様に、（カメラ６３からの画像を取り込む）画像入力Ｉ／Ｆ部６５と、平滑化処理部６７と、Ｘ微分処理部６９と、Ｙ微分処理部７１と、特徴点抽出部７３と、特徴点マップ７５と、動き情報テーブル７７と、画像記憶部７９と、動き検出部８１を備えており、この動き検出部８１は、画像データ転送部８１ａと、動き検出用画像記憶部８１ｂと、動き検出演算部８１ｃと、動き検出制御部８１ｄによって構成される。

更に、本画像処理装置６１では、２個の補助特徴点マップ８３、８５を備えるとともに、動き検出部８１には、後段特徴点抽出部８１ｅを備えている。
以下、詳細に説明する。

前記特徴点抽出部７３では、基準となるしきい値（特徴点を抽出するためのしきい値）の他に、補助となる任意の数の、基準となるしきい値よりも大きい任意の値を設定できる、補助しきい値を設定する。これにより使用する特徴点を減らすことができる。ここでは２個の補助しきい値を設定するので、補助特徴点マップは２個設定されている。

この補助しきい値については、特徴点抽出のみし、特徴点抽出できた場合には、補助特徴点マップ８３、８５にフラグを立てるが、動き情報テーブル７７には特徴点座標値は書き込まない。

そして、動き検出制御部８１ｄは、特徴点マップ７５から、画像の取り込み周期に動きベクトルの算出処理が間に合わないと判断した場合に、２つの補助特徴点マップ８３、８５の中から、取り込み周期に算出処理が間に合うものがあるかを探索する。

その結果、間に合うものが存在する場合には、その補助特徴点マップ８３又は８５を使用して、前記第１の実施形態の画像処理装置１と同様に、画像データ転送部８１ａに画像データを転送させ、後段特徴点抽出部８１ｅに特徴点座標を計算させ、その座標値を動き検出演算部８１ｃに与えて、動きベクトルを算出する。

このように、本実施形態では、代表的な特徴点のみを使用するので、演算処理の負担を軽減することができる。
［第５の実施形態］
次に、第５の実施形態は、第１の実施形態によるものと共通するところが多いので、以下、共通部分についての詳しい説明は省略し、異なる部分を重点的に説明する。

図２２に示す様に、本実施形態の画像処理装置９１では、前記第１の実施形態と同様に、（カメラ９３からの画像を取り込む）画像入力Ｉ／Ｆ部９５と、平滑化処理部９７と、Ｘ微分処理部９９と、Ｙ微分処理部１０１と、特徴点抽出部１０３と、特徴点マップ１０５と、動き情報テーブル１０７と、画像記憶部１０９と、２個の動き検出部（第１動き検出部１１１、第２動き検出部１１３）を備えており、各動き検出部１１１、１１３は、それぞれ、画像データ転送部１１１ａ、１１３ａと、動き検出用画像記憶部１１１ｂ、１１３ｂと、動き検出演算部１１１ｃ、１１３ｃと、動き検出制御部１１１ｄ、１１３ｄによって構成される。

本実施形態では、２個の演算用チップである動き検出部１１１、１１３を備えているので、図２３に示す様に、処理する画像領域は任意の大きさの２つの検出領域に分割されており、各検出領域の画像ブロックの動きベクトルを各動き検出演算部１１１、１１３が独立して算出する。この並列処理により、高速に動きベクトルを算出することができる。

（変形例）
図２４に示す様に、本変形例１の画像処理装置１２１では、前記第１の実施形態と同様に、（カメラ１２３からの画像を取り込む）画像入力Ｉ／Ｆ部１２５と、平滑化処理部１２７と、Ｘ微分処理部１２９と、Ｙ微分処理部１３１と、特徴点抽出部１３３と、特徴点マップ１３５と、動き情報テーブル１３７と、画像記憶部１３９と、動き検出部１４１を備えており、この動き検出部１４１は、画像データ転送部１４１ａと、動き検出用画像記憶部１４１ｂと、２つの動き検出演算部（第１動き検出演算部１４１ｃ１、第２動き検出演算部１４１ｃ２）と、動き検出制御部１４１ｄによって構成される。

以下、詳細に説明する。
上述した第５の実施形態では、動き検出部１１１、１１３の総数と同数、上記例で言えば２個の検出領域に分割し、各検出領域の画像ブロックの動きベクトルを各動き検出演算部１１１ｃ、１１３ｃが独立して算出する。それに対して、本変形例１では、動き検出部１４１は１個であるが、２個の動き検出演算部１４１ｃ１、１４１ｃ２を備えている。

そして、本変形例では、図２５に示す通り、隣接する画像ブロックを同期しながら同一方向に処理する。なお、どちらかの処理ブロックに特徴点が存在した場合には、その特徴点の動きベクトルを算出するまで、一方の動き検出演算部１４１ｃ１、１４１ｃ２は停止し、同期を取りながら同一方向（例えばＸ軸方向）に処理する。

この方式のメリットは、画像記憶部１３９からのデータ転送量を抑制できるところにある。例えば、特徴点を発見し、新規に９個ｘ６枚の画像ブロックを転送する場合には、第５の実施形態の場合には、単純に２倍の１０８個の画像ブロックを転送することになるが、本変形例１では、必要な画像データブロックが重なり合うため、１２個ｘ６枚の画像ブロック、すなわち７２個の画像ブロックを転送するだけでよいことになる。

したがって、画像データ転送量を１．３倍程度に抑制することができた上で、並列処理による高速な動きベクトルの算出も期待することができる。
［第６の実施形態］
第６の実施形態は、画像処理装置を、車載画像認識システムにおける車室内侵入者検知センサへの使用用途を目的とし、侵入者がいない場合には動きベクトルの算出をしないように制御し、低消費電力を狙いとするものである。

具体的には、動き検出制御部が、特徴点マップから画像上に存在する特徴点の総数を算出し、ある任意のしきい値を超えた場合に、動きベクトルを算出するように制御する。
つまり、侵入者の有無を、例えば特徴点の総数が３００個以上になったか否かによって判定し、その場合のみ動きベクトルを算出する。

（変形例）
第６の実施形態では、動きベクトルの算出の判断を、特徴点の総数により判断していたのに対して、本変形例では、現在の特徴点マップと過去の特徴点マップを比較し、特徴点の有無に変化があった画像ブロックの総数が、ある任意のしきい値を超えた場合に、動きベクトルを算出するように制御する。

尚、本発明は上記実施形態に限定されるものではなく、様々な態様にて実施することが可能である。

各請求項に係わる、画像処理装置を示すブロック図である。 第１の実施形態に係わる、画像処理装置を示すブロック図である。 第１の実施形態に係わる、平滑化処理を説明する図である。 第１の実施形態に係わる、特徴点抽出を説明する図である。 第１の実施形態に係わる、特徴点マップを示す図である。 第１の実施形態に係わる、動き情報テーブルを示す図である。 第１の実施形態に係わる、画像記憶部の格納を説明する図である。 第１の実施形態に係わる、動き検出処理の方向を示す図である。 第１の実施形態に係わる、動き検出処理の概要を説明する図である。 第１の実施形態に係わる、動き検出の範囲を示す図である。 第１の実施形態に係わる、動き検出用記憶部を説明する図である。 第１の実施形態に係わる、データ転送方式を説明する図である。 第１の実施形態に係わる、動き検出処理を説明するフローチャートである。 第１の実施形態に係わる、画像ブロックラインの処理を説明するフローチャートである。 第１の実施形態に係わる、状態遷移を説明する図である。 第２の実施形態に係わる、予測処理時間の算出方法を説明する図である。 第２の実施形態の変形例に係わる、予測処理時間の算出方法を説明する図である。 第３の実施形態に係わる、フレームバッファの利用方法を説明する図である。 第３の実施形態に係わる、動き検出のタイミングを説明する図である。 第３の実施形態の変形例２に係わる、画像処理装置を示すブロック図である。 第４の実施形態に係わる、画像処理装置を示すブロック図である。 第５の実施形態に係わる、画像処理装置を示すブロック図である。 第５の実施形態に係わる、処理内容を説明する図である。 第５の実施形態の変形例に係わる、画像処理装置を示すブロック図である。 第５の実施形態の変形例に係わる、処理内容を説明する図である。

符号の説明

１、３１、６１、９１、１２１、Ａ１…画像処理装置
３、３３、６３、９３、１２３、Ａ２…カメラ
５、３５、６５、９５、１２５、Ａ３…画像入力Ｉ／Ｆ部
７、３７、６７、９７、１２７…平滑化処理部
９、３９、６９、９９、１２９…Ｘ微分処理部
１１、４１、７１、１０１、１３１…Ｙ微分処理部
１３、４３、７３、１０３、１３３、Ａ６…特徴点抽出部
１５、４５、７５、１０５、１３５、Ａ７…特徴点マップ
１７、４７、７７、１０７、１３７、Ａ９…動き情報テーブル
１９、４９、７９、１０９、１３９、Ａ５…画像記憶部
２１、５１、８１、１１１、１１３、１４１、Ａ８…動き検出部
２１ａ、５１ａ、８１ａ、１１１ａ、１１３ａ、１４１ａ、Ａ１１…画像データ転送部
２１ｂ、５１ｂ、８１ｂ、１１１ｂ、１１３ｂ、１４１ｂ、Ａ１０…動き検出用画像記憶部
２１ｃ、５１ｃ、８１ｃ、１１１ｃ、１１３ｃ、１４１ｃ１、１４１ｃ２、Ａ１２…動き検出演算部
２１ｄ、５１ｄ、８１ｄ、１１１ｄ、１１３ｄ、１４１ｄ、Ａ１３…動き検出制御部
５３…縮小画像特徴点抽出部
５５…微小特徴点マップ
５７…微小動き情報テーブル
８３、８５…補助特徴点マップ
８１ｅ…後段特徴点抽出部
Ａ４…前処理部

Claims (16)

1. 過去の画像上の特徴となる画素である特徴点を抽出して、その特徴点を含む所定の大きさを持つテンプレート画像が、現在の画像上のどこに移動したかを示す動きベクトルを算出する画像処理装置であって、
   前記画像処理装置に取り込まれた画像データを記憶する画像記憶部と、
   前記画像データ上の特徴点を抽出するため、及び動きベクトルを算出するために、必要な画像データを作成する前処理部と、
   前記画像データ上の特徴点が、動き検出する画像単位である画像ブロック単位で、どこに存在するかを示す特徴点マップと、
   前記画素単位で抽出された特徴点の位置のデータと動きベクトルのデータとを記憶する動き情報テーブルと、
   前記前処理部から得られる画像データから画像ブロック単位で特徴点を抽出し、特徴点が抽出できた場合には、画像ブロックに特徴点が存在することを示すフラグを前記特徴点マップに立て、かつ、特徴点の位置を前記動き情報テーブルに格納する特徴点抽出部と、
   前記画像記憶部に記憶された画像データと、前記特徴点マップに記憶された画像ブロック単位の特徴点のデータと、前記動き情報テーブルに記憶された画素単位の特徴点の位置のデータとに基づいて、動きベクトルを算出する動き検出部と、
   を備え、
   更に、前記動き検出部は、
   動き検出するのに必要な過去の画像データと現在の画像データを記憶する動き検出用画像記憶部と、
   前記画像記憶部に格納された画像データを、前記動き検出用画像記憶部に転送する画像データ転送部と、
   前記動き検出用画像記憶部を使用して、過去の画像上の特徴点を含むテンプレート画像が現在の画像上でどこに移動したかを示す動きベクトルを算出し、その算出結果を過去の画像が入力されたときに特徴点座標を格納した過去の動き情報テーブルに格納する動き検出演算部と、
   過去の画像が入力されたときにフラグを立てた過去の特徴点マップを参照して、特徴点が存在する全ての画像ブロックをラスタ方向に処理するために、現時点で動きベクトルの算出を終えた画像ブロックとその画像ブロックライン上の特徴点が存在する次の画像ブロックまでの距離を計算し、その距離の値から、既に前記動き検出用画像記憶部に転送して
   いる画像データが、特徴点が存在する次の画像ブロックにおいて、動きベクトルの算出に使用できるかを判定し、不足している画像データのみを転送するように前記画像データ転送部に命令する動き検出制御部と、
   を備えたことを特徴とする画像処理装置。
2. 前記動き検出制御部は、前記動き検出演算部に動きベクトルの算出をさせている間の待ち時間に、前記動き検出用画像記憶部に記憶された画像範囲に対して、動き検出方向に隣接する所定の数の画像ブロック列の画像データを転送するように、前記画像データ転送部に命令する、動き検出機能を備えたことを特徴とする請求項１に記載の画像処理装置。
3. 前記動き検出制御部は、前記特徴点マップを参照して、動き検出する画像ブロックの処理方向をＸ軸方向にラスタ処理するか、Ｙ軸方向にラスタ処理するかを判断する機能を備えたことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記特徴点マップは、特徴点が存在する画像ブロックと次の特徴点が存在する画像ブロックまでの距離に応じた出現回数の情報も保持することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
5. 前記動き検出制御部は、前記特徴点マップから、画像の取り込み周期に動きベクトルの算出処理が間に合わないと判断した場合に、処理できる画像ブロックラインまでを算出し、その画像ブロックラインまでを処理する機能を備えたことを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
6. 前記動き検出制御部は、前記特徴点マップから、画像の取り込み周期に動きベクトルの算出処理が間に合わないと判断した場合に、優先順位の高い検出領域のみを処理する機能を備えたことを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
7. 前記動き検出制御部は、前記特徴点マップから、画像の取り込み周期に動きベクトルの算出処理が間に合わないと判断した場合に、縮小した画像を処理する機能を備え、前記前処理部は、縮小画像を作成する機能を備えたことを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
8. 前記特徴点抽出部は、基準となるしきい値の他に、補助となる所定の数の、基準となるしきい値より大きい所定の値を設定できるしきい値を設定することができ、補助となるしきい値については特徴点抽出し、補助となるしきい値の数と同数の補助特徴点マップに特徴点の検出の有無を書き込み、
   前記動き検出制御部は、前記特徴点マップから、画像の取り込み周期に動きベクトルの算出処理が間に合わないと判断した場合に、補助特徴点マップの中から、取り込み周期に算出処理が間に合うものがあるかを探索し、存在する場合には、前記特徴点マップに代えて前記補助特徴点マップを使用することを特徴とする請求項１〜７の何れか１項に記載の画像処理装置。
9. 前記動き検出制御部と、前記動き検出用画像記憶部と、前記動き検出演算部と、前記画像データ転送部とを備えた動き検出部が、複数個搭載され、処理する画像領域を前記動き検出部の総数と同一の処理領域に分割し、各領域の画像ブロックについて前記各動き検出部が独立で動きベクトルを算出することを特徴とする請求項１〜８の何れか１項に記載の画像処理装置。
10. 前記動き検出演算部が、複数個搭載され、前記各動き検出演算部は同一方向の隣接した画像ブロックと同期を取りながら、各画像ブロックの動きベクトルを算出することを特徴とする請求項１〜９の何れか１項に記載の画像処理装置。
11. 前記画像処理装置を、車載画像認識システムにおける車両前方検知センサに用いることを特徴とする請求項１〜１０の何れか１項に記載の画像処理装置。
12. 画像を取り込むカメラとして、取り込み周期が短い高フレームレートのカメラを使用するとともに、ＫＬＴ法を使用して動きベクトルを求めることを特徴とする請求項１１に記載の画像処理装置。
13. 前記画像処理装置を、車載画像認識システムにおける車室内侵入者検知センサに用いることを特徴とする請求項１〜１０の何れ１項に記載の画像処理装置。
14. 前記特徴点マップから画像上に存在する特徴点の総数を算出し、その総数が所定のしきい値を超えた場合に、動きベクトルを算出するように制御することを特徴とする請求項１３に記載の画像処理装置。
15. 現在の特徴点マップと過去の特徴点マップとを比較し、特徴点の有無に変化があった画像ブロックの総数が、所定の任意のしきい値を超えた場合に、動きベクトルを算出するように制御することを特徴とする請求項１３に記載の画像処理装置。
16. 過去の画像上の特徴となる画素である特徴点を抽出して、その特徴点を含む所定の大きさを持つテンプレート画像が、現在の画像上のどこに移動したかを示す動きベクトルを算出する画像処理方法であって、
    画像データを取り込む画像入力Ｉ／Ｆ処理と、
    前記画像データを画像ブロック単位で画像記憶部に記憶する画像記憶処理と、
    前記画像データ上の特徴点を抽出するため、及び動きベクトルを算出するために、必要な画像データを作成する前処理と、
    前記前処理から得られる画像データから画像ブロック単位で特徴点を抽出し、かつ、特徴点が抽出できた場合には、画像ブロックに特徴点が存在することを示すフラグを特徴点マップに立てる特徴点抽出処理と、
    前記特徴点マップに記憶された画像ブロック単位の特徴点のデータと前記画素単位で抽出された特徴点の位置のデータとに基づき、前記画像記録部に記録された画像データを利用して、前記動きベクトルを算出する動きベクトル検出処理と、
    を備え、
    更に、前記動きベクトル検出処理は、
    前記特徴点が存在する全ての画像ブロックの動きベクトルの算出を終了したかを判断する終了判定処理と、
    前記終了判定処理により前記算出が終了していないと判断された場合に、過去の画像が入力されたときにフラグを立てた過去の特徴点マップを参照して、特徴点が存在する全ての画像ブロックをラスタ方向に処理するために、現時点で動きベクトルの算出を終えた画像ブロックとその画像ブロックライン上の特徴点が存在する次の画像ブロックまでの距離を計算し、その距離の値から、既に動きベクトルの算出に用いる過去と現在の画像データを記憶する動き検出用画像記憶部に転送している画像データが、特徴点が存在する次の画像ブロックにおいて、動きベクトルの算出に使用できるかを判定し、不足している画像データ量を明らかにする画像データ転送量判断処理と、
    前記不足している画像データ量分だけを、全画像データを画像ブロック単位で記憶している画像記憶部から前記動き検出用画像記憶部に転送する画像データ転送処理と、
    を備えたことを特徴とする画像処理方法。