JP5455682B2 - 画像処理装置、画像処理方法及び画像処理用プログラム - Google Patents

Description

この発明は、人や人の手、或いは車両等のような各種の移動物体を検出する場合に好適な画像処理装置、画像処理方法及び画像処理用プログラムに関するものである。

従来の画像処理においては、移動物体検出のために背景差分やフレーム間差分を１画素（ピクセル）単位で行っており、高精度で検出を行うための閾値設定が難しいという問題があった。

また、移動物体検出においては、エッジ検出、ラベリング、トラッキング、ハフ変換などの後処理を行うことが多いが（特許文献１参照）、上記のように１画素単位で差分を得た場合には、前述の後処理の計算量が膨大となり、またアルゴリズムが複雑となる問題があった。

特開２００６−９８１１９号公報

本発明は上記のような従来の画像処理における問題点を解決せんとしてなされたもので、その目的は、高精度な移動物体検出が可能であり、また、エッジ検出、ラベリング、トラッキング、ハフ変換などの後処理における演算量の低減とアルゴリズムの簡素化を図ることが可能な画像処理装置、画像処理方法及び画像処理用プログラムを提供することである。

本発明に係る画像処理装置は、画像における１フレーム中のｍ×ｍ（ｍ：２以上の整数）画素を１ブロックとして、時間的に前後のフレームにおいて所定の対応位置からブロックを所定数Ｒ(Ｒは整数)づつ取り出す処理をフレーム全体に亙って行い、前後のフレームにおける対応するＲブロック毎の全てに対して画像処理を行う画像処理装置であって、前フレームについてＲブロックの１番目のブロックにおける各画素の輝度データを１列目に並べ、以降の各ブロックにおける各画素の輝度データを各ブロック毎に１列に順次並べてＲ列を有する第１の行列を作成し、後フレームについてＲブロックの１番目のブロックにおける各画素の輝度データを１列目に並べ、以降の各ブロックにおける各画素の輝度データを各ブロック毎に１列に順次並べてＲ列を有する第２の行列を作成し、前記第１の行列の要素を前半行側に配置し前記第２の行列の要素を後半行側に配置して行列を作成する行列作成手段と、前記行列を用いて共分散行列を生成する生成手段と、前記共分散行列から固有値及び固有ベクトルを求め、固有値及び固有ベクトルに基づき前後のフレームの対応する各ブロック間のユークリッド距離を求める演算手段と、ユークリッド距離と閾値とを用いて画像処理を行う処理手段とを具備することを特徴とする。

本発明に係る画像処理装置は、Ｒづつ取り出す処理においては、１フレームにおける全ブロックについて間引くことなくまたは所定間隔で間引くことにより、Ｒブロックを取り出すことを特徴とする。

本発明に係る画像処理装置は、処理手段においては、移動物体のエッジ検出、トラッキング、ラベリング及びハフ変換の少なくとも１つを行うことを特徴とする。

本発明に係る画像処理方法は、画像における１フレーム中のｍ×ｍ（ｍ：２以上の整数）画素を１ブロックとして、時間的に前後のフレームにおいて所定の対応位置からブロックを所定数Ｒ(Ｒは整数)づつ取り出す処理をフレーム全体に亙って行い、前後のフレームにおける対応するＲブロック毎の全てに対して画像処理を行う画像処理方法であって、前フレームについてＲブロックの１番目のブロックにおける各画素の輝度データを１列目に並べ、以降の各ブロックにおける各画素の輝度データを各ブロック毎に１列に順次並べてＲ列を有する第１の行列を作成し、後フレームについてＲブロックの１番目のブロックにおける各画素の輝度データを１列目に並べ、以降の各ブロックにおける各画素の輝度データを各ブロック毎に１列に順次並べてＲ列を有する第２の行列を作成し、前記第１の行列の要素を前半行側に配置し前記第２の行列の要素を後半行側に配置して行列を作成する行列作成ステップと、前記行列を用いて共分散行列を生成する生成ステップと、前記共分散行列から固有値及び固有ベクトルを求め、固有値及び固有ベクトルに基づき前後のフレームの対応する各ブロック間のユークリッド距離を求める演算ステップと、ユークリッド距離と閾値とを用いて画像処理を行う処理ステップとを実行することを特徴とする。

本発明に係る画像処理方法は、Ｒづつ取り出す処理においては、１フレームにおける全ブロックについて間引くことなくまたは所定間隔で間引くことにより、Ｒブロックを取り出すことを特徴とする。

本発明に係る画像処理方法では、処理ステップにおいては、移動物体のエッジ検出、トラッキング、ラベリング及びハフ変換の少なくとも１つを行うことを特徴とする。

本発明に係る画像処理用プログラムは、画像における１フレーム中のｍ×ｍ（ｍ：２以上の整数）画素を１ブロックとして、時間的に前後のフレームにおいて所定の対応位置からブロックを所定数Ｒ(Ｒは整数)づつ取り出す処理をフレーム全体に亙って行い、前後のフレームにおける対応するＲブロック毎の全てに対して画像処理を行うように、コンピュータを機能させる画像処理用プログラムであって、画像処理を行うコンピュータを、前フレームについてＲブロックの１番目のブロックにおける各画素の輝度データを１列目に並べ、以降の各ブロックにおける各画素の輝度データを各ブロック毎に１列に順次並べてＲ列を有する第１の行列を作成し、後フレームについてＲブロックの１番目のブロックにおける各画素の輝度データを１列目に並べ、以降の各ブロックにおける各画素の輝度データを各ブロック毎に１列に順次並べてＲ列を有する第２の行列を作成し、前記第１の行列の要素を前半行側に配置し前記第２の行列の要素を後半行側に配置して行列を作成する行列作成手段、前記行列を用いて共分散行列を生成する生成手段、前記共分散行列から固有値及び固有ベクトルを求め、固有値及び固有ベクトルに基づき前後のフレームの対応する各ブロック間のユークリッド距離を求める演算手段、ユークリッド距離と閾値とを用いて画像処理を行う処理手段として機能させることを特徴とする。

本発明に係る画像処理用プログラムは、Ｒづつ取り出す処理においては、コンピュータを、１フレームにおける全ブロックについて間引くことなくまたは所定間隔で間引くことにより、Ｒブロックを取り出すように機能させることを特徴とする。

本発明に係る画像処理用プログラムでは、コンピュータを処理手段として、移動物体のエッジ検出、トラッキング、ラベリング及びハフ変換の少なくとも１つを行うように機能させることを特徴とする。

本発明によれば、画像における１フレーム中のｍ×ｍ（ｍ：２以上の整数）画素を１ブロックとして行列を作成して、前後のフレームの対応する各ブロック間のユークリッド距離を求め、ユークリッド距離と閾値とを用いて画像処理するので、閾値を適宜設定して高精度な移動物体検出が可能であり、また、エッジ検出、トラッキング、ラベリング及びハフ変換などの後処理における演算量の低減とアルゴリズムの簡素化を図ることが可能である。

本発明に係る画像処理装置の実施例を示す構成図。 本発明に係る画像処理装置の実施例によるブロック分けを説明するための図。 本発明に係る画像処理装置の実施例による行列作成を説明するための図。 本発明に係る画像処理装置の実施例による行列作成から共分散行列生成までの動作を説明するための図。 本発明に係る画像処理装置の実施例による共分散行列からユークリッド距離を求めるまでの動作を説明するための図。 発明に係る画像処理装置の実施例により求められたユークリッド距離をマトリックス状に並べた状態を示す図。 発明に係る画像処理装置の実施例によるエッジ検出の動作を説明するための図。 発明に係る画像処理装置の実施例によるラベリングの動作を説明するための図。 発明に係る画像処理装置の実施例による画像処理の動作を説明するためのフローチャート。

以下添付図面を用いて本発明に係る画像処理装置、画像処理方法及び画像処理用プログラムの実施例を説明する。各図において、同一の構成要素には同一の符号を付して重複する説明を省略する。図１に実施形態に係る画像処理装置の構成図を示す。この画像処理装置は、ＣＰＵ１０とメモリ（主メモリ及び外部記憶メモリ）１１を有し、情報を表示するための表示部１３がＣＰＵ１０に接続されたコンピュータシステムにより構成されている。

メモリ１１には、画像処理用プログラムが記憶されており、この画像処理用プログラムによりコンピュータであるＣＰＵ１０が、行列作成手段２１、生成手段２２、演算手段２３及び処理手段２４として機能する。

行列作成手段２１は、動画像の画像信号における１フレーム中のｍ×ｍ（ｍ：２以上の整数）画素を１ブロックとして、時間的に前後のフレームにおける対応する複数のブロックについてそれぞれの輝度データによる行列を前後のフレーム分作成するものである。上記画像信号はカメラから送られたものでも、或いは記憶媒体に記憶されていたものでも良い。

例えば、１フレームが３２０×２４０画素により構成される場合、図２に示すように５×５画素を１ブロックとすると、６４×４８ブロックに分けることになる。以下、１ブロックの画素構成を分割粒度という。上記では分割粒度が５×５画素であるが、分割粒度が１０×１０画素や分割粒度が２×２画素であっても良い。

１フレームにおける全ブロックまたは間引いたブロックを行列の作成に使用する。分割粒度が５×５画素として間引く場合には例えば図３に示すように、第１フレームFrame1及び第２フレームFrame2においては、最左列から１列おきであって最上行から１行おきにサンプリングしたブロック（合計３２×２４）ブロックを用いる。第２フレームFrame2及び第３フレームFrame3においては、最左列の次列から１列おきであって最上行から１行おきにサンプリングしたブロック（合計３２×２４）を用いる。

第３フレームFrame3及び第４フレームFrame4においては、最左列の次列から１列おきであって最上行の次行から１行おきにサンプリングしたブロック（合計３２×２４）を用いる。第４フレームFrame4及び第５フレームFrame5においては、最左列から１列おきであって最上行の次行から１行おきにサンプリングしたブロック（合計３２×２４）ブロックを用いる。以下、同様にサンプリングを行う。上記のようにインターレース方式でサンプリングすることによって、均等なサンプリングを行うことができる。

全ブロックを用いて行列を作成して処理する場合には、上記よりも高精度な処理を行うことができ、また、分割粒度を小さくすることにより精度を上げることができる。分割粒度を５×５画素として行列を作成する場合には、例えば、４ブロック毎に一つの行列を作成する。

図４に示すように、第１フレームFrame1の１〜４で示す４ブロックの画素の輝度情報を２５行×４列の行列とする。つまり、１により示されるブロックにおける５×５＝２５画素の輝度情報が第１列に並べられ、２により示されるブロックにおける５×５＝２５画素の輝度情報が第２列に並べられ、３により示されるブロックにおける５×５＝２５画素の輝度情報が第３列に並べられ、４により示されるブロックにおける５×５＝２５画素の輝度情報が第４列に並べられて全体で４行とされた行列が図４の行列１である。

同様に第２フレームFrame2の５〜８で示す４ブロックの画素の輝度情報を２５行×４列の行列とする。即ち、５により示されるブロックにおける５×５＝２５画素の輝度情報が第１列に並べられ、６により示されるブロックにおける５×５＝２５画素の輝度情報が第２列に並べられ、７により示されるブロックにおける５×５＝２５画素の輝度情報が第３列に並べられ、８により示されるブロックにおける５×５＝２５画素の輝度情報が第４列に並べられて全体で４行とされた行列が図４の行列２である。以下、同様にして全ブロックについて行列を作成する。

生成手段２２は、上記行列作成手段２１によって作成された行列における対応する行列を用いて共分散行列を生成する。図４におけるＳ１１に示されるように、行列１と行列２とを並べた２５行×８列の行列３を生成し、これの転置行列３^Ｔを生成する（Ｓ１２）。この転置行列３^Ｔは、８行×２５列である。更に、生成手段２２は、図４におけるＳ１３に示すように転置行列３^Ｔと行列３との乗算を行い、Ｓ１４に示す共分散行列を生成する。生成手段２２は、以下同様に、前後するフレームの対応ブロックによって作成された行列から共分散行列を生成する。画面が縦長横長或いは正方形である場合において、一般的に、粒度をｍ×ｍ（ｍ：２以上の整数）として、１フレームをＮブロックに分割すると、（２×Ｎ）×（２×Ｎ）の共分散行列が生成される。

演算手段２３は、上記共分散行列から固有値及び固有ベクトルを求め、固有値及び固有ベクトルに基づき前後のフレームの対応する各ブロック間のユークリッド距離を求めるものである。図５に示すように、まず共分散行列から既知の演算により固有値及び固有ベクトルを求める（Ｓ１５）。求められた固有値をλ₁〜λ₈とし、固有ベクトルＶを次の（式１）とする。

次に演算手段２３は、（式１）の固有ベクトルＶと上記（行列３^T）と（行列３）を用いて、（（行列３）・Ｖ）^T・（行列３）を計算して特徴ベクトルを算出する。ここで算出される特徴ベクトルは、次に示す（式２）のように８行８列（一般的にはｋ行ｋ列）であり、（式２）における行方向に並ぶ要素を集合して特徴ベクトルｃ１〜ｃ８を得る。即ち、ｃ１＝｛ｃ₁₁，・・・，ｃ₈₁｝^T 、ｃ２＝｛ｃ₁₂，・・・，ｃ₈₂｝^T 、・・・、ｃ８＝｛ｃ₁₈，・・・，ｃ₈₈｝^T を得る。なお、（式２）においては、行列３をＱにより示している。

更に演算手段２３は、特徴ベクトルｃ１〜ｃ８の各要素間の距離を算出するものであり、本実施例では各要素間の距離をｄmnとするとき、次の（式３）により、ユークリッド距離が求められる（図５のＳ１６）。（式３）は、一般式であり、共分散行列が８行×８列である本例では、ｋ＝８である。

演算手段２３によって求められたユークリッド距離は、図５に示す距離行列Ｄのように、８行×８列であり、第１フレームFrame1の１〜４で示す４ブロックと第２フレームFrame2の５〜８で示す４ブロックにおいてそれぞれ対応するブロックについての距離は、右上側に斜めに並ぶＤ（１，５）、Ｄ（２，６）、Ｄ（３，７）、Ｄ（４，８）或いは、左下側に斜めに並ぶＤ（５，１）、Ｄ（６，２）、Ｄ（７，３）、Ｄ（８，４）に存在する。図５には、上記以外に第１フレームFrame1のブロック１と第２フレームFrame2のブロック８との距離Ｄ（８，１）の位置と、第２フレームFrame2のブロック６と第２フレームFrame2のブロック７との距離Ｄ（７，６）の位置についても示すことにより、距離行列Ｄの構成を説明している。

演算手段２３は、前後フレームにおける残りの対応するブロックについても同様の演算によりユークリッド距離を求める。ここでは、１フレームが３２０×２４０画素で、分割粒度を５×５画素としたので、全体では６４×４８＝３０７２個のユークリッド距離が求められる。

図１における処理手段２４は、ユークリッド距離と閾値とを用いて画像処理を行う。分割粒度を５×５画素とした場合、前後する１フレームにおいて対応するブロック間のユークリッド距離は６４×４８得られ、図６のマトリックスに並べることができる。これに対し、例えば実際に移動物体が移動する画像から得たユークリッド距離を用いて作成した閾値と、上記マトリックスのユークリッド距離を求めて閾値を超えているブロックを選択し、移動物体と判定する。処理手段２４は、移動物体のエッジ検出、トラッキング、ラベリング及びハフ変換の少なくとも１つを行う。ここでは、処理手段２４は、まずエッジ検出及びラベリングを実行する。

例えば、閾値を超えているブロックに１を割り当て、閾値以下のブロックに０を割り当て１フレームについて１と０のモザイクにより構成し、前後するフレームにおいて値が０から１にまたは１から０に変化しているブロックを検出するエッジ検出を行う。このエッジ検出の後、図７においてはハッチングが施されて示されているエッジとされたブロックが図７（ａ）のようにループしているか、図７（ｂ）のようにループしていないかを検出し、ループしている場合に、ループのエリアに異なる番号を割り当てるラベリングを行う。

ラベリングにより、例えば図８に示されるように移動物体Ａ（番号１）と移動物体Ｂ（番号２）が１フレームに検出されている場合に、複数フレームにおいてはトラッキングを行う。この場合、各フレームにおいて全ブロックのユークリッド距離が求まっているため、処理手段２４はこのユークリッド距離を用いて移動物体Ａと移動物体Ｂのトラッキングを行う。

トラッキングの手法としては、例えば、前述の閾値を超えている領域の大きさを用いることや、ラベリングされた領域のユークリッド距離の平均や分布を用いる等して、各フレームにおいて移動物体Ａと移動物体Ｂとを同定する。トラッキングした移動物体Ａの領域に例えば赤い矩形による枠を表示し、トラッキングした移動物体Ｂの領域に例えば黒い矩形による枠を表示して、図１に示されている図１の表示部１３に表示する。これにより、表示された映像を目視することにより移動物体Ａを赤い矩形によって追跡することができ、また移動物体Ｂを黒い矩形によって追跡することができ、監視の場合に有効である。

処理手段２４が、ハフ変換を行うものであっても良い。例えば前述のトラッキングにより移動物体が複数フレームに検出され、この移動物体の移動方向を示す線分をハフ変換により求める。移動物体が単一ブロックはまたは複数ブロックの塊としてトラッキングにより検出し、この移動物体の位置情報（座標）を用いてハフ変換するだけでよく、高精度なハフ変換による結果を得て表示することができる。

図９は、画像処理用プログラムに対応するフローチャートである。このフローチャートにより図１に示されている各手段が実現されるので、このフローチャートに基づきＣＰＵ１０による動作を説明する。画像処理装置が起動されてスタートとなると、画像信号の第ｉ（当初ｉ＝１）フレームを取り込み（Ｓ２１）、更に画像信号の第ｉ＋１フレームを取り込む（Ｓ２２）。次に、ＣＰＵ１０は、第ｉフレームと第ｉ＋１フレームにおける対応するｊ個のブロックを取り込み、行列を作成する（Ｓ２３）。これによって、１フロックの分割粒度を５×５画素とした場合には、図２に示される行列が作成される。

次に、ＣＰＵ１０は、上記行列を用いて固有値と固有ベクトルを求め、この固有値と固有ベクトルを用いて既に説明の通りの処理により共分散行列を生成する（Ｓ２４）。この共分散行列は、図４に示されているようである。

ステップＳ２４に続いて、共分散行列を用いて第ｉフレームと第ｉ＋１フレームにおける対応するブロック間のユークリッド距離を求める（Ｓ２５）。求められるユークリッド距離は、図５に示すように８行×８列の距離行列Ｄである。

ステップＳ２５においてユークリッド距離が求められると、全対象ブロックの処理が終了したのかを検出し（Ｓ２６）、ＮＯとなると選択するブロックを更新して（Ｓ２７）、ステップＳ２３へ戻って処理を続ける。また、ステップＳ２６において全対象ブロックの処理が終了したことが検出された場合には、対応ブロックのユークリッド距離と予め用意した閾値を比較し、閾値を超えるブロックを抽出する（Ｓ２８）。

更にステップＳ２８に続いて抽出されたブロックがあるかを検出し（Ｓ２９）、抽出ブロックがある場合には既に述べた通りにエッジ検出及びラベリングを行い（Ｓ３０）、トラッキングやハフ変換を行うための所定フレーム数の処理が終了しているかを検出して（Ｓ３１）、所定フレーム数が処理されている場合には、既述のトラッキングを行い（Ｓ３２）、予め設定された線分等を検出するためのハフ変換を行う（Ｓ３３）。

ステップＳ３３の終了後、またはステップＳ２９、Ｓ３１においてＮＯとなった場合には、処理結果と共に処理した画像信号による画像表示を行う（Ｓ３４）。この表示に続いて次の処理フレームの有無を検出して（Ｓ３５）、次の処理フレームがある場合には、ｉを１インクリメントして（Ｓ３６）、ステップＳ２２へ戻って処理を続ける一方、次の処理フレームがなければエンドとなる。

以上の通り、１フレームをブロックに分割して前後のフレームにおける対応ブロックのユークリッド距離を求めることにより、閾値と比較して移動物体を高精度で検出することができ、また、エッジ検出、トラッキング、ラベリング及びハフ変換などの後処理における演算量の低減とアルゴリズムの簡素化が可能である。尚、上記の実施形態では、各手段をソフトウエアによって実現したが、演算回路や論理回路のようなハードウエアの組み合わせによっても各手段を実現し、これにより画像処理装置を構成するようにしても良い。

１０ ＣＰＵ
１１ メモリ
１３ 表示部
２１ 行列作成手段
２２ 生成手段
２３ 演算手段
２４ 処理手段

Claims (9)

1. 画像における１フレーム中のｍ×ｍ（ｍ：２以上の整数）画素を１ブロックとして、時間的に前後のフレームにおいて所定の対応位置からブロックを所定数Ｒ(Ｒは整数)づつ取り出す処理をフレーム全体に亙って行い、前後のフレームにおける対応するＲブロック毎の全てに対して画像処理を行う画像処理装置であって、
   前フレームについてＲブロックの１番目のブロックにおける各画素の輝度データを１列目に並べ、以降の各ブロックにおける各画素の輝度データを各ブロック毎に１列に順次並べてＲ列を有する第１の行列を作成し、後フレームについてＲブロックの１番目のブロックにおける各画素の輝度データを１列目に並べ、以降の各ブロックにおける各画素の輝度データを各ブロック毎に１列に順次並べてＲ列を有する第２の行列を作成し、前記第１の行列の要素を前半行側に配置し前記第２の行列の要素を後半行側に配置して行列を作成する行列作成手段と、
   前記対応する行列を用いて共分散行列を生成する生成手段と、
   前記共分散行列から固有値及び固有ベクトルを求め、固有値及び固有ベクトルに基づき前後のフレームの対応する各ブロック間のユークリッド距離を求める演算手段と、
   ユークリッド距離と閾値とを用いて画像処理を行う処理手段と
   を具備することを特徴とする画像処理装置。
2. Ｒづつ取り出す処理においては、１フレームにおける全ブロックについて間引くことなくまたは所定間隔で間引くことにより、Ｒブロックを取り出すことを特徴とする請求項１に記載の画像処理装置。
3. 処理手段においては、移動物体のエッジ検出、トラッキング、ラベリング及びハフ変換の少なくとも１つを行うことを特徴とする請求項１または２に記載の画像処理装置。
4. 画像における１フレーム中のｍ×ｍ（ｍ：２以上の整数）画素を１ブロックとして、時間的に前後のフレームにおいて所定の対応位置からブロックを所定数Ｒ(Ｒは整数)づつ取り出す処理をフレーム全体に亙って行い、前後のフレームにおける対応するＲブロック毎の全てに対して画像処理を行う画像処理方法であって、
   前フレームについてＲブロックの１番目のブロックにおける各画素の輝度データを１列目に並べ、以降の各ブロックにおける各画素の輝度データを各ブロック毎に１列に順次並べてＲ列を有する第１の行列を作成し、後フレームについてＲブロックの１番目のブロックにおける各画素の輝度データを１列目に並べ、以降の各ブロックにおける各画素の輝度データを各ブロック毎に１列に順次並べてＲ列を有する第２の行列を作成し、前記第１の行列の要素を前半行側に配置し前記第２の行列の要素を後半行側に配置して行列を作成する行列作成ステップと、
   前記行列を用いて共分散行列を生成する生成ステップと、
   前記共分散行列から固有値及び固有ベクトルを求め、固有値及び固有ベクトルに基づき前後のフレームの対応する各ブロック間のユークリッド距離を求める演算ステップと、
   ユークリッド距離と閾値とを用いて画像処理を行う処理ステップと
   を実行することを特徴とする画像処理方法。
5. Ｒづつ取り出す処理においては、１フレームにおける全ブロックについて間引くことなくまたは所定間隔で間引くことにより、Ｒブロックを取り出すことを特徴とする請求項４に記載の画像処理方法。
6. 処理ステップにおいては、移動物体のエッジ検出、トラッキング、ラベリング及びハフ変換の少なくとも１つを行うことを特徴とする請求項４または５に記載の画像処理方法。
7. 画像における１フレーム中のｍ×ｍ（ｍ：２以上の整数）画素を１ブロックとして、時間的に前後のフレームにおいて所定の対応位置からブロックを所定数Ｒ(Ｒは整数)づつ取り出す処理をフレーム全体に亙って行い、前後のフレームにおける対応するＲブロック毎の全てに対して画像処理を行うように、コンピュータを機能させる画像処理用プログラムであって、
   画像処理を行うコンピュータを、
   前フレームについてＲブロックの１番目のブロックにおける各画素の輝度データを１列目に並べ、以降の各ブロックにおける各画素の輝度データを各ブロック毎に１列に順次並べてＲ列を有する第１の行列を作成し、後フレームについてＲブロックの１番目のブロックにおける各画素の輝度データを１列目に並べ、以降の各ブロックにおける各画素の輝度データを各ブロック毎に１列に順次並べてＲ列を有する第２の行列を作成し、前記第１の行列の要素を前半行側に配置し前記第２の行列の要素を後半行側に配置して行列を作成する行列作成手段、
   前記行列を用いて共分散行列を生成する生成手段、
   前記共分散行列から固有値及び固有ベクトルを求め、固有値及び固有ベクトルに基づき前後のフレームの対応する各ブロック間のユークリッド距離を求める演算手段、
   ユークリッド距離と閾値とを用いて画像処理を行う処理手段
   として機能させることを特徴とする画像処理用プログラム。
8. Ｒづつ取り出す処理においては、コンピュータを、１フレームにおける全ブロックについて間引くことなくまたは所定間隔で間引くことにより、Ｒブロックを取り出すように機能させることを特徴とする請求項７に記載の画像処理用プログラム。
9. コンピュータを処理手段として、移動物体のエッジ検出、トラッキング、ラベリング及びハフ変換の少なくとも１つを行うように機能させることを特徴とする請求項７または８に記載の画像処理用プログラム。