JP3862728B2

JP3862728B2 - 画像動きベクトル検出装置

Info

Publication number: JP3862728B2
Application number: JP2005085380A
Authority: JP
Inventors: 修司外田
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2005-03-24
Filing date: 2005-03-24
Publication date: 2006-12-27
Anticipated expiration: 2025-03-24
Also published as: JP2006268413A; EP1862970A1; KR100901945B1; CN101040299A; EP1862970A4; WO2006101032A1; EP2506217A2; KR20070090209A; EP2506217A3; EP1862970B1

Description

本発明は、動画像において画面内の被写体の動きを表す画像動きベクトルを検出する画像動きベクトル検出装置に関するものである。

ビデオカメラの手ぶれ補正に画像動きベクトル検出技術が応用されている（例えば、非特許文献１参照）。画像動きベクトル検出技術によって、連続して取り込んだ画像から動きベクトルを検出する方式として、代表点マッチング方式がある。代表点マッチング方式では、連続して取り込んだ画像において、前フレームの画像の固定された位置に代表点を設定し、現フレームの画像に対して前フレームの画像を２次元方向にずらしながら、対応する画素で相関演算を行い、相関が最も高くなるずれ量を動きベクトルとして出力する。しかし、この方式では、代表点に対して一定以上の輝度勾配が存在する必要があり、例えば、文書画像のように輝度勾配の低い画像では動き量がうまく検出できないという問題がある。

このような問題を解決するために、初めに画像の特徴点抽出を行い、抽出された特徴点を代表点として代表点マッチング処理を行うことにより、代表点に必ず輝度勾配が存在するようにした提案もある（例えば、特許文献１参照）。

テレビジョン学会技術報告Ｖｏｌ．１５、Ｎｏ．７（１９９１年１月）、ｐ４３−４８、「純電子式画像揺れ補正システム」特許第３５３４５５１号公報

しかしながら、特徴点を代表点とする従来の代表点マッチング処理においては、前のフレームと現在のフレームにおいて探索範囲の全体にわたって画素を少しずつずらしながら代表点の相関演算を行い、相関が最も高くなる位置を求めることにより動きベクトルを求めるという処理を行う必要があるので、演算量が増加するという問題がある。

そこで、本発明は、上記したような従来技術の課題を解決するためになされたものであり、その目的は、少ない演算量で画像動きベクトルを検出することができる画像動きベクトル検出装置を提供することである。

本発明の画像動きベクトル検出装置は、１フレームの画像から所定行数の行データを取り出す行間引き手段と、前記取り出された行データに対してエッジ抽出のためのフィルタリングを行う横方向エッジ抽出フィルタリング手段と、前記フィルタリング後の行データと予め設定された第１のしきい値とに基づく画素数だけ、現フレームのフィルタリング後の行データのそれぞれをシフトして積算する第１の判定・積算手段と、前記第１の判定・積算手段の出力に基づいて横方向動きベクトルを決定する横方向動きベクトル判定手段と、前記１フレームの画像から所定列数の列データを取り出す列間引き手段と、前記取り出された列データに対してエッジ抽出のためのフィルタリングを行う縦方向エッジ抽出フィルタリング手段と、前記フィルタリング後の列データと予め設定された第２のしきい値とに基づく画素数だけ、現フレームのフィルタリング後の列データのそれぞれをシフトして積算する第２の判定・積算手段と、前記第２の判定・積算手段の出力に基づいて縦方向動きベクトルを決定する縦方向動きベクトル判定手段とを有するものである。

本発明によれば、画像の特徴的な点であるエッジを追跡することにより動きベクトルを検出しているので、画像内の個々の画素の輝度勾配が小さい画像においても、動きベクトルを適切に検出することができるという効果がある。また、本発明によれば、少ない演算量で動きベクトルを検出することができるので、例えば、カメラ付き携帯電話などのような小型の機器に搭載することが可能であるという効果がある。

実施の形態１．
図１は、本発明の実施の形態１に係る画像動きベクトル検出装置の構成を示すブロック図である。本発明の画像動きベクトル検出装置は、ビデオカメラの手ぶれ補正などに用いることができる。このようなビデオカメラにおいては、検出された動きベクトルに基づいてビデオカメラの動いた方向と量を検出し、ビデオカメラの動いた方向と量を打ち消す方向に撮像素子上の使用エリアを移動させることによって、手ぶれ補正を実現できる。

図１に示されるように、実施の形態１に係る画像動きベクトル検出装置は、１フレーム分の入力画像を保存するフレームメモリ１と、フレームメモリ１に保存された画像から複数行の画像データを取り出す行間引き手段２Ｈと、この行間引き手段２Ｈの出力に対してエッジ抽出のためのフィルタリングを行うエッジ抽出フィルタリング手段３Ｈと、１フレーム分に相当するエッジ抽出フィルタリング手段３Ｈの出力を保存するラインメモリ４Ｈと、ラインメモリ４Ｈに蓄積された前フレームのＮ行目（Ｎは正の整数）の行間引きデータのエッジ抽出フィルタリング手段３Ｈの出力が、入力されたしきい値Ｌ_ｘと交差したかどうかを判定するしきい値交差判定手段５Ｈと、このしきい値交差判定手段５Ｈの出力にしたがってエッジ抽出フィルタリング手段３Ｈの出力であるＮ行目のフィルタリングデータを積算する信号積算手段６Ｈと、この信号積算手段６Ｈの出力が最大となる位置を求めるピーク判定手段７Ｈと、複数行分のピーク判定手段７Ｈの出力から画面全体の横方向動きベクトルを求める横方向動きベクトル判定手段８Ｈとを有している。

また、実施の形態１に係る画像動きベクトル検出装置は、フレームメモリ１に保存された画像から複数列の画像データを取り出す列間引き手段２Ｖと、この列間引き手段２Ｖの出力に対してエッジ抽出のためのフィルタリングを行うエッジ抽出フィルタリング手段３Ｖと、１フレーム分に相当するエッジ抽出フィルタリング手段３Ｖの出力を保存するラインメモリ４Ｖと、このラインメモリ４Ｖに蓄積された前フレームのＭ列目（Ｍは正の整数）の行間引きデータのエッジ抽出フィルタリング手段３Ｖの出力が、入力されたしきい値Ｌ_ｙと交差したかどうかを判定するしきい値交差判定手段５Ｖと、このしきい値交差判定手段５Ｖの出力にしたがってエッジ抽出フィルタリング手段３Ｖの出力であるＭ列目のフィルタリングデータを積算する信号積算手段６Ｖと、この信号積算手段６Ｖの出力が最大となる位置を求めるピーク判定手段７Ｖと、数列分のピーク判定手段７Ｖの出力から画面全体の縦方向動きベクトルを求める縦方向動きベクトル判定手段８Ｖとを有している。

次に、実施の形態１に係る画像動きベクトル検出装置の動作について説明する。実施の形態１に係る画像動きベクトル検出装置において、フレームメモリ１は、１画面分の画像データを保存する。行間引き手段２Ｈは、フレームメモリ１に保存された画像データから、例えば、１６ラインごとに画像の横方向１ライン分のデータを抜き出す。図２は、行間引き手段２Ｈの動作を説明するための図である。図２において、１１は現フレームの画像データ全体を示している。行間引き手段２Ｈは、画像データ全体１１から、例えば、１６ラインごとに１行分のデータを抜き出す。図２においては、画像データ全体１１内に示された太線が、これらの抜き出されたデータを示しており、例えば、データ１２はｋ番目（ｋは正の整数）に抜き出された行データを示している。このようにして抜き出されたすべての行データは、エッジ抽出フィルタリング手段３Ｈに出力される。

エッジ抽出フィルタリング手段３Ｈは、行間引き手段２Ｈによって抜き出された行データに対して、エッジ抽出のためのフィルタリングを行う。エッジ抽出のためのフィルタとしては、単純に隣の画素との差分を取るタップ係数（１，−１）の２タップフィルタ、又は、２次微分に相当するタップ係数（−１，２，−１）の３タップフィルタなどがある。ただし、エッジ抽出のためのフィルタとしては、輝度変化の大きな部分で、出力値又はその絶対値が大きくなり、輝度変化の大きな部分以外の部分で、出力値又はその絶対値が小さくなるようなフィルタであれば、他のフィルタであってもよい。

また、エッジ抽出フィルタリング手段３Ｈは、輝度変化の大きな部分で、出力値又はその絶対値が大きくなるようなフィルタを通した後で、しきい値処理を行うことにより、「エッジあり」と「エッジなし」の２値化、又は、「正のエッジあり」と「エッジなし」と「負のエッジあり」の３値化を行うことも可能である。このようにしきい値処理を行うことにより、しきい値以上の規模のエッジを同一に扱うことが可能となる。

エッジ抽出フィルタリング手段３Ｈの出力は、ラインメモリ４Ｈ及び信号積算手段６Ｈに出力される。

ラインメモリ４Ｈは、エッジ抽出フィルタリング手段３Ｈの出力を１フレーム分保存し、しきい値交差判定手段５Ｈに１フレーム前の前フレームのデータを出力する。

しきい値交差判定手段５Ｈ及び信号積算手段６Ｈの動作を、図３（ａ）〜（ｎ）を用いて説明する。図３（ａ）は、例えば、図２における前フレームのｋ番目のデータであるライン１３をエッジ抽出フィルタリング手段３Ｈによって処理した結果の行データを示している。これらのデータは、ラインメモリ４Ｈによって保存されていたものである。しきい値交差判定手段５Ｈは、まず、信号ｘ_ｎ−１（ｔ）が、入力されたしきい値（予め設定されたしきい値）Ｌ_ｘを、下から上に交差する点を探し出し、信号積算手段６Ｈに出力する。

図３（ａ）において、しきい値交差判定手段５Ｈは、しきい値Ｌ_ｘを下から上に交差する点（黒丸で示される点）、
ｔ^＋ _１，ｔ^＋ _２，…，ｔ^＋ _ｋ−１，ｔ^＋ _ｋ，ｔ^＋ _ｋ＋１，…を検出する。

また、図３（ａ）において、しきい値交差判定手段５Ｈは、しきい値Ｌ_ｘを上から下に交差する点（白丸で示される点）、
ｔ⁻ _１，ｔ⁻ _２，…，ｔ⁻ _ｋ−１，ｔ⁻ _ｋ，ｔ⁻ _ｋ＋１，…を検出する。

しきい値交差判定手段５Ｈは、このようにして検出された
点ｔ^＋ _１，ｔ^＋ _２，…，ｔ^＋ _ｋ−１，ｔ^＋ _ｋ，ｔ^＋ _ｋ＋１，…、及び、
点ｔ⁻ _１，ｔ⁻ _２，…，ｔ⁻ _ｋ−１，ｔ⁻ _ｋ，ｔ⁻ _ｋ＋１，…
の情報（位置情報）を、信号積算手段６Ｈに出力する。

信号積算手段６Ｈには、これらの位置情報とともに、現フレームの画像の行データの処理結果がエッジ抽出フィルタリング手段３Ｈから送られてくる。図３（ｂ）は、例えば、図２における現フレームのｋ番目のデータ１２をエッジ抽出フィルタリング手段３Ｈによって処理した結果の行データｘ_ｎ（ｔ）の例を示している。ここでは、しきい値交差判定手段５Ｈによって処理した行と同じ位置にある現フレームの行データを取り扱う。

実施の形態１においては、処理の内容を分かりやすくするために、現フレームのデータｘ_ｎ（ｔ）が前フレームのデータｘ_ｎ−１（ｔ）を右に画素数ｔ_ｖｅｃだけシフトした信号となっている場合を示している。

先ず、信号積算手段６Ｈは、図３（ｃ）に示されるように、現フレームの行データを、左にｔ^＋ _１だけずらした信号を生成する。

次に、信号積算手段６Ｈは、図３（ｄ）に示されるように、現フレームの行データを、左にｔ^＋ _２だけずらした信号を生成する。

さらに、信号積算手段６Ｈは、図３（ｅ）、（ｆ）に示されるように、同様の作業をすべての交差点…，ｔ^＋ _ｋ−１，ｔ^＋ _ｋ，ｔ^＋ _ｋ＋１，…に対して行う。

このようにして、得られたすべての信号の平均値を取り、図３（ｇ）に示されるような信号を得る。ここで、図３（ｇ）に示された信号は、前フレームの信号に対する現フレームの信号のシフト量であるｔ_ｖｅｃの位置でしきい値Ｌ_ｘを下から上に横切るような曲線になる。ここでは、現フレームの信号が前フレームの信号をシフトしたものとして説明しているが、実際の画像においては、手ぶれによる画像の動きに対応したｔ_ｖｅｃだけずれた部分において、しきい値Ｌ_ｘを下から上に横切る曲線を得ることができる。

なお、以上においては、点ｔ^＋ _１，ｔ^＋ _２，…，ｔ^＋ _ｋ−１，ｔ^＋ _ｋ，ｔ^＋ _ｋ＋１，…に対してそれぞれに対応する信号、例えば、図３（ｃ）、（ｄ）、…、（ｅ）、（ｆ）、…に示されたような信号をすべて生成してから平均値を取る場合を説明しているが、図３（ｄ）の信号を生成したときに図３（ｃ）の信号と足し合わせて平均を取り、図３（ｅ）の信号を生成したときに、それまでに求めた平均値と重み付けの足し算をすることにより全体の平均値を取るなどのような、他の処理手順を採用してもよい。

また、装置の処理能力及びデータ保存能力によっては、図３（ｃ）、（ｄ）、…、（ｅ）、（ｆ）、…の信号の平均を取る代わりに、信号を単に足し合わせた値を用いることもできる。

次に、信号積算手段６Ｈは、図３（ｈ）に示されるような現フレームの行データｘ_ｎ（ｔ）を左にｔ⁻ _１だけずらした、図３（ｉ）に示されるような信号を生成する。

次に、信号積算手段６Ｈは、図３（ｈ）に示されるような現フレームの行データｘ_ｎ（ｔ）を左にｔ⁻ _２だけずらした、図３（ｊ）に示されるような信号を生成する。

さらに、信号積算手段６Ｈは、図３（ｋ）、（ｌ）に示されるように、このような作業をすべての交差点…，ｔ⁻ _ｋ−１，ｔ⁻ _ｋ，ｔ⁻ _ｋ＋１，…に対して行う。このようにして得られたすべての信号の平均値を取り、図３（ｍ）のような信号を得る。ここで、図３（ｍ）に示された信号は、前フレームの信号に対する現フレームの信号のシフト量であるｔ_ｖｅｃの位置でしきい値Ｌ_ｘを上から下に横切るような曲線になる。ここでは、現フレームの信号が前フレームの信号をシフトしたものとして説明しているが、実際の画像においては手ぶれによる画像の動きに対応したｔ_ｖｅｃだけずれた部分でしきい値を上から下に横切る曲線を得ることができる。

なお、以上においては、点ｔ⁻ _１，ｔ⁻ _２，…，ｔ⁻ _ｋ−１，ｔ⁻ _ｋ，ｔ⁻ _ｋ＋１，…に対してそれぞれに対応する信号、例えば、図３（ｉ）、（ｊ）、…、（ｋ）、（ｌ）、…に示されたような信号をすべて生成してから平均値を取る場合を説明しているが、図３（ｊ）の信号を生成したときに図３（ｉ）の信号と足し合わせて平均を取り、図３（ｋ）の信号を生成したときに、それまでに求めた平均値と重み付けの足し算をすることにより全体の平均値を取るなどの、他の処理手順を採用してもよい。

最終的に、信号積算手段６Ｈにおいて、図３（ｇ）に示される信号と図３（ｍ）に示される信号の和を取り、図３（ｎ）に示されたような信号を得る。ここで得られた図３（ｎ）に示された信号は、ピーク判定手段７Ｈに送られる。

ピーク判定手段７Ｈでは、図３（ｎ）に示されたような信号積算手段６Ｈの出力信号から、その信号が最大となる点を求める。ここで、図３（ｎ）に示された信号は、前フレームの信号に対する現フレームの信号のシフト量であるのところで最大値２×Ｌ_ｘを取るような曲線になる。ここでは、現フレームの信号が前フレームの信号をシフトしたものとして説明しているが、実際の画像においては手ぶれによる画像の動きに対応したｔ_ｖｅｃだけずれた部分で最大値を取るような曲線を得ることができる。図３（ｎ）の例では、信号がｔ_ｖｅｃにおいて最大となっていると判定し、ｔ_ｖｅｃを該当行データの横方向動きベクトルとして横方向動きベクトル判定手段８Ｈに出力する。

なお、ピーク判定手段７Ｈにおいて、図３（ｎ）に示されたような曲線のピークを判定する際に、小さなピークが複数発生し、１つのピークが明確に現れない場合がある。この場合は、図３（ｎ）に示されたような曲線に対してしきい値処理を行い、一定以上の値を持ったピークのみを判定するというような処理を行うことが可能である。これにより、動きベクトル検出の誤検出を減らすことが可能となる。

しきい値交差判定手段５Ｈ、信号積算手段６Ｈ、ピーク判定手段７Ｈでは、行間引き手段２Ｈによって選択されエッジ抽出フィルタリング手段３Ｈによって処理されたすべての行データに対して、以上で説明したような処理が行われ、それぞれの行データに対してそれぞれの横方向動きベクトルを求め、それが横方向動きベクトル判定手段８Ｈに出力される。

横方向動きベクトル判定手段８Ｈは、ピーク判定手段７Ｈから送られてきたすべての行データの横方向動きベクトルを受け取り、例えば、最も出現頻度が高い横方向動きベクトルを画像全体の横方向動きベクトルとして、出力する。ここでは、画像全体の横方向動きベクトルを求めるときに最も出現頻度が高いものとしたが、この手法に限ったものではなく、例えば、平均値を取るなどの画面全体の横方向動きベクトルを求めるものであれば他の方法であってもよい。

一方、列間引き手段２Ｖでは、例えば、１６画素ごとに画像の縦方向の１列分のデータを抜き出す。エッジ抽出フィルタリング手段３Ｖ、ラインメモリ４Ｖ、しきい値交差判定手段５Ｖ、信号積算手段６Ｖ、ピーク判定手段７Ｖ、及び縦方向動きベクトル判定手段８Ｖにおける処理はそれぞれ、エッジ抽出フィルタリング手段３Ｈ、ラインメモリ４Ｈ、しきい値交差判定手段５Ｈ、信号積算手段６Ｈ、ピーク判定手段７Ｈ、及び横方向動きベクトル判定手段８Ｈにおける処理と同様であり、この結果、縦方向動きベクトル判定手段８Ｖからは、画像全体の縦方向動きベクトルが出力される。

以上のようにして、横方向動きベクトル判定手段８Ｈからは画面全体の横方向ベクトル、縦方向動きベクトル判定手段８Ｖからは画面全体の縦方向ベクトルが出力され、これらを合わせて画面全体の動きベクトルとして出力される。

このように、実施の形態１に係る画像動きベクトル検出装置において、１フレーム前の画像信号の行データ及び列データがしきい値を上から下に横切る点、及び、下から上に横切る点に注目し、現フレームのデータをこれらの横切る点に相当するだけ移動させたものの平均値を取り、その値の最大値を検索することによって動きベクトルを検出することにより、エッジのような特徴的な点の動きを追いかけることが可能となり、少ない演算量で画像の動きベクトルを求めることが可能となる。

実施の形態２．
図４は、本発明の実施の形態２に係る画像動きベクトル検出装置の構成を示すブロック図である。図４において、図１（実施の形態１）の構成と同一又は対応する構成には同じ符号を付す。実施の形態２に係る画像動きベクトル検出装置は、図１における行間引き手段２Ｈ及びエッジ抽出フィルタリング手段３Ｈに代えて横方向エッジ抽出フィルタリング手段１４Ｈ及び縦方向射影手段１５Ｈを備えた点、図１における列間引き手段２Ｖ及びエッジ抽出フィルタリング手段３Ｖに代えて縦方向エッジ抽出フィルタリング手段１４Ｖ及び横方向射影手段１５Ｖを備えた点が、上記実施の形態１の場合と相違する。

図５は、実施の形態２に係る画像動きベクトル検出装置の横方向エッジ抽出フィルタリング手段１４Ｈと縦方向射影手段１５Ｈの動作を説明するための図である。図５において、１８は横方向エッジ抽出フィルタリング手段１４Ｈに入力された画像データを表している。横方向エッジ抽出フィルタリング手段１４Ｈは、まず、画像データ１８から１ラインのデータを抜き出し、エッジ抽出フィルタリング手段３Ｈと同様のフィルタリングを行うことにより、横方向のエッジ情報を持った１ラインのデータを作成する。これを画像データ１８のすべてのラインに対して行い、横方向のエッジが抽出されたデータ１９を得る。縦方向射影手段１５Ｈは、横方向のエッジが抽出されたデータ１９のすべてのデータに対して縦方向の射影を取ることにより、１ライン分の射影データ２０を得る。ここでは、縦方向の射影とは、例えば、縦方向にデータを足し合わせることにより実現する。

これにより、縦方向射影データ２０は、画像データ１８の横方向のエッジの情報をすべて含んだものとなっており、また、射影を取っているためにそれぞれのラインのノイズ成分はお互いに打ち消しあっている。このデータの振る舞いを解析することにより、１ラインのデータから画像全体の横方向の動きの情報を得ることが可能となる。

以下、縦方向射影手段１５Ｈによって取り出された横１行分の画素データを用いて、ラインメモリ４Ｈからピーク判定手段７Ｈまでの構成を用いて、実施の形態１と同様の処理を行う。これにより、縦方向射影データ２０から求められた、図３（ｎ）に対応する信号により、ピークの位置を求める。横方向動きベクトル判定手段８Ｈは、ピーク判定手段７Ｈの出力をそのまま横方向の動きベクトルとして出力する。

実施の形態１においては、しきい値交差判定手段５Ｈからピーク判定手段７Ｈまでの処理が行間引き手段２Ｈによって取り出された行数分だけの回数の処理が必要であったが、実施の形態２ではこれが１回だけでよく、かつ、画像全体の横方向の動きベクトルを検出することが可能となる。

縦方向の動きベクトル検出についても同様であり、縦方向エッジ抽出フィルタリング手段１４Ｖによってすべての列において縦方向のエッジ抽出のフィルタリングを行い、横方向射影手段１５Ｖによって横方向にすべてのデータの射影をとることにより、１列分のデータを得ることができる。以下、横方向射影手段１５Ｖによって取り出された縦１列分のデータに対して横方向と同じ処理を行うことにより、縦方向動きベクトル判定手段８Ｖより縦方向動きベクトルを得る。

最後に、横方向動きベクトル判定手段８Ｈの出力である横方向動きベクトルと、縦方向動きベクトル判定手段８Ｖの出力である縦方向動きベクトルを合わせることにより、画像全体の動きベクトルを得ることができる。

このように、実施の形態２に係る動きベクトル検出手段において、１フレーム前の画像信号の縦方向射影データ及び横方向射影データがしきい値を上から下に横切る点、及び、下から上に横切る点に注目し、現フレームの射影データをこれらの横切る点に相当するだけ移動させたものの平均値を取り、その値の最大値を検索することによって動きベクトルを検出することにより、少ないしきい値処理量で動きベクトルを求めることが可能となる。

なお、実施の形態２において、上記以外の点は、上記実施の形態１の場合と同じである。

実施の形態３．
図６は、本発明の実施の形態３に係る画像動きベクトル検出装置の構成を示すブロック図である。図６において、図４（実施の形態２）の構成と同一又は対応する構成には同じ符号を付す。実施の形態３に係る画像動きベクトル検出装置は、フレームメモリ１と横方向エッジ抽出フィルタリング手段１４Ｈとのあいだに行間引き手段２Ｈが配置され、フレームメモリ１と縦方向エッジ抽出フィルタリング手段１４Ｖとのあいだに行間引き手段２Ｖが配置されている点が、上記実施の形態２の場合と相違する。

図７は、実施の形態３に係る画像動きベクトル検出装置の行間引き手段１２Ｈ、横方向エッジ抽出フィルタリング手段１４Ｈ、及び縦方向射影手段１５Ｈの動作を説明するための図である。図７では、フレームメモリ１に保存された画像データを符号１８で示している。行間引き手段２Ｈは、フレームメモリ１に保存された画像データ１８から、例えば、数行おきに画像データを間引く。図７では、画像データ１８において抜き出された画像ラインデータが太線で示されている。次に、横方向エッジ抽出フィルタリング手段１４Ｈは、図７の画像データ１８において太線で示されたような行間引き手段２Ｈによって抜き出された画像ラインデータのそれぞれに対して、横方向エッジ抽出フィルタリングを施し、横方向エッジ抽出フィルタリング手段１４Ｈの出力として、図７において符号２１で示されるようなラインデータ群を得る。縦方向射影手段１５Ｈは、図７において符号２１で示されたようなラインデータ群を縦方向に射影をとることにより、図７において符号２２で示されたような１ラインのデータを得る。

以下、図６において、ラインメモリ４Ｈ、しきい値交差判定手段５Ｈ、信号積算手段６Ｈ、ピーク判定手段７Ｈでは、図４に示された実施の形態２と同じ処理を行う。

一方、列間引き手段２Ｖは、所定画像ごとに縦方向の１列分のデータを抜き出す。縦方向エッジ抽出フィルタリング手段１４Ｖ、横方向射影手段１５Ｖ、ラインメモリ４Ｖ、しきい値交差判定手段５Ｖ、信号積算手段６Ｖ、ピーク判定手段７Ｖ、及び縦方向動きベクトル判定手段８Ｖにおける処理はそれぞれ、横方向エッジ抽出フィルタリング手段１４Ｈ、エッジ抽出フィルタリング手段３Ｈ、ラインメモリ４Ｈ、しきい値交差判定手段５Ｈ、信号積算手段６Ｈ、ピーク判定手段７Ｈ、及び横方向動きベクトル判定手段８Ｈにおける処理と同様であり、この結果、縦方向動きベクトル判定手段８Ｖからは、画像全体の縦方向動きベクトルが出力される。

これにより、縦方向射影データ２２は、画像データ１８から取り出された横方向のエッジの情報をすべて含んだものとなっており、また、射影をとっているためにそれぞれのラインのノイズ成分はお互いに打ち消しあっている。このデータの振る舞いを解析することにより、１ラインのデータから画像全体の横方向の動きの情報を得ることが可能となる。さらに、実施の形態３は、実施の形態２と比べた場合、行間引きを行った後に処理を行っているために、その演算量が少ないものになっている。

なお、実施の形態３において、上記以外の点は、上記実施の形態２の場合と同じである。

実施の形態４．
図８は、本発明の実施の形態４に係る画像動きベクトル検出装置の構成を示すブロック図である。図８において、図１（実施の形態１）の構成と同一又は対応する構成には同じ符号を付す。実施の形態４に係る画像動きベクトル検出装置は、図１における行間引き手段２Ｈ及びエッジ抽出フィルタリング手段３Ｈに代えて横方向エッジ抽出フィルタリング手段１４Ｈ及び縦方向ブロック射影手段２３Ｈを備えた点、図１における列間引き手段２Ｖ及びエッジ抽出フィルタリング手段３Ｖに代えて縦方向エッジ抽出フィルタリング手段１４Ｖ及び横方向ブロック射影手段２３Ｖを備えた点が、上記実施の形態１の場合と相違する。

図９は、実施の形態４に係る画像動きベクトル検出装置の横方向エッジ抽出フィルタリング手段１４Ｈ及び縦方向ブロック射影手段２３Ｈの動作を示す図である。図９では、フレームメモリ１に保存された画像データを符号１８で示している。横方向エッジ抽出手段フィルタリング手段１４Ｈは、フレームメモリ１に保存された画像データ１８のすべてのラインに対して横方向のエッジ抽出を行うフィルタリングを行い、データ１９を得る。縦方向ブロック射影手段２３Ｈは、まず、横方向エッジ抽出フィルタリング手段１４Ｈの出力である図９の符号１９を縦方向に複数のブロックに分割する。例えば、図９の符号２５は、分割されたブロックの一つを示している。ブロックの分け方は、例えば、一定のライン数ごとに１ブロックを構成してもよく、また、異なるライン数で１つのブロックを構成してもよい。次に、縦方向ブロック射影手段２３Ｈは、分割されたすべてのブロックに対して縦方向の射影データを取る。図９では、最終的に得られたそれぞれのブロックの縦方向射影データが符号２６で示されている。

以下、図８において、ラインメモリ４Ｈ、しきい値交差判定手段５Ｈ、信号積算手段６Ｈ、ピーク判定手段７Ｈでは、図９で符号２６として示されたデータ群に対して、実施の形態１の場合と同様の処理を行う。

一方、縦方向エッジ抽出フィルタリング手段１４Ｖ、横方向ブロック射影手段２３Ｖ、ラインメモリ４Ｖ、しきい値交差判定手段５Ｖ、信号積算手段６Ｖ、ピーク判定手段７Ｖ、及び縦方向動きベクトル判定手段８Ｖにおける処理はそれぞれ、横方向エッジ抽出フィルタリング手段１４Ｈ、縦方向ブロック射影手段２３Ｈ、ラインメモリ４Ｈ、しきい値交差判定手段５Ｈ、信号積算手段６Ｈ、ピーク判定手段７Ｈ、及び横方向動きベクトル判定手段８Ｈにおける処理と同様であり、この結果、縦方向動きベクトル判定手段８Ｖからは、画像全体の縦方向動きベクトルが出力される。

これにより、縦方向射影データ２６は、画像データ１８の横方向のエッジの情報をすべて含んだものとなっており、また、射影をとっているためにそれぞれのラインのノイズ成分はお互いに打ち消しあっている。さらに、これらをブロックごとに動きベクトルを求めて最終的に画面全体の動きベクトルを求めることにより、画像の全体ではなく画像の一部で動きがあった場合に、画像に動きが無かったと判定させることが可能となる。

なお、実施の形態４において、上記以外の点は、上記実施の形態１の場合と同じである。

実施の形態５．
図１０は、本発明の実施の形態５に係る画像動きベクトル検出装置の構成を示すブロック図である。図１０において、図８（実施の形態４）の構成と同一又は対応する構成には同じ符号を付す。実施の形態５に係る画像動きベクトル検出装置は、フレームメモリ１と横方向エッジ抽出フィルタリング手段１４Ｈとのあいだに行間引き手段２Ｈが配置され、フレームメモリ１と縦方向エッジ抽出フィルタリング手段１４Ｖとのあいだに行間引き手段２Ｖが配置されている点が、上記実施の形態４の場合と相違する。

図１１は、実施の形態５に係る画像動きベクトル検出装置の行間引き手段２Ｈ、横方向エッジ抽出フィルタリング手段１４Ｈ、及び縦方向ブロック射影手段２３Ｈの動作を説明するための図である。図１１では、フレームメモリ１に保存された画像データを符号１８で示している。行間引き手段２Ｈによって画像データ１８より、画像データ１８内の太線で示されたようなデータが間引かれ、出力される。横方向エッジ抽出フィルタリング手段１４Ｈは、これらの行間引き手段２Ｈの出力に対して横方向のエッジ抽出フィルタリングを施し、図１１の符号２１で示された破線部分のような、行データ群を得る。縦方向ブロック射影手段２３Ｈでは、図１１の符号２１で示された横方向エッジ抽出フィルタリング手段１４Ｈの出力を複数のブロックに分割する。ブロックの分け方は、例えば、一定のライン数ごとに１ブロックを構成してもよく、また、異なるライン数で１つのブロックを構成してよい。次に、縦方向ブロック射影手段２３では、分割されたすべてのブロックに対して縦方向の射影データを取る。図１１では、最終的に得られたそれぞれのブロックの縦方向射影データが符号２７で示されている。

以下、図１０において、ラインメモリ４Ｈ、しきい値交差判定手段５Ｈ、信号積算手段６Ｈ、ピーク判定手段７Ｈ、及び横方向動きベクトル判定手段８Ｈでは、図１１の符号２７として示されたデータ群に対して、実施の形態４と同様の処理を行う。

一方、列間引き手段２Ｖは、所定画像ごとに縦方向の１列分のデータを抜き出す。縦方向エッジ抽出フィルタリング手段１４Ｖ、横方向ブロック射影手段２３Ｖ、ラインメモリ４Ｖ、しきい値交差判定手段５Ｖ、信号積算手段６Ｖ、ピーク判定手段７Ｖ、及び縦方向動きベクトル判定手段８Ｖにおける処理はそれぞれ、横方向エッジ抽出フィルタリング手段１４Ｈ、縦方向ブロック射影手段２３Ｈ、ラインメモリ４Ｈ、しきい値交差判定手段５Ｈ、信号積算手段６Ｈ、ピーク判定手段７Ｈ、及び縦方向動きベクトル判定手段８Ｈにおける処理と同様であり、この結果、縦方向動きベクトル判定手段８Ｖからは、画像全体の縦方向動きベクトルが出力される。

これにより、縦方向射影データ２７は、画像データ１８から取り出された横方向のエッジの情報をすべて含んだものとなっており、また、射影を取っているためにそれぞれのラインのノイズ成分はお互いに打ち消しあっている。さらに、これらをブロックごとに動きベクトルを求めて最終的に画面全体の動きベクトルを求めることにより、画像の全体ではなく画像の一部で動きがあった場合に、画像に動きが無かったと判定させることが可能となる。さらに、実施の形態５は、射影データを予め間引かれた画像データから求めることにより、実施の形態４の場合より、演算量を削減することができる。

なお、実施の形態５において、上記以外の点は、上記実施の形態４の場合と同じである。

本発明の実施の形態１に係る画像動きベクトル検出装置の構成を示すブロック図である。実施の形態１に係る画像動きベクトル検出装置の行間引き手段の動作を説明するための図である。（ａ）〜（ｎ）は、実施の形態１に係る画像動きベクトル検出装置のしきい値交差判定手段及び信号積算手段の動作を説明するための波形図である。本発明の実施の形態２に係る画像動きベクトル検出装置の構成を示すブロック図である。実施の形態２に係る画像動きベクトル検出装置の横方向エッジ抽出フィルタリング手段と縦方向射影手段の動作を説明するための図である。本発明の実施の形態３に係る画像動きベクトル検出装置の構成を示すブロック図である。実施の形態３に係る画像動きベクトル検出装置の行間引き手段、横方向エッジ抽出フィルタリング手段、及び縦方向射影手段の動作を説明するための図である。本発明の実施の形態４に係る画像動きベクトル検出装置の構成を示すブロック図である。実施の形態４に係る画像動きベクトル検出装置の横方向エッジ抽出フィルタリング手段及び縦方向ブロック射影手段の動作を示す図である。本発明の実施の形態５に係る画像動きベクトル検出装置の構成を示すブロック図である。実施の形態５に係る画像動きベクトル検出装置の行間引き手段、横方向エッジ抽出フィルタリング手段、及び縦方向ブロック射影手段の動作を説明するための図である。

符号の説明

１フレームメモリ、２Ｈ行間引き手段、２Ｖ列間引き手段、３Ｈ，３Ｖエッジ抽出フィルタリング手段、４Ｈ，４Ｖラインメモリ、５Ｈ，５Ｖしきい値交差判定手段、６Ｈ，６Ｖ信号積算手段、７Ｈ，７Ｖピーク判定手段、８Ｈ横方向動きベクトル判定手段、８Ｖ縦方向動きベクトル判定手段、１１現フレームの画像、１２現フレーム画像におけるｋ番目の行データ、１３前フレーム画像におけるｋ番目の行データ、１４Ｈ横方向エッジ抽出フィルタリング手段、１４Ｖ縦方向エッジ抽出フィルタリング手段、１５Ｈ縦方向射影手段、１５Ｖ横方向射影手段、１８フレームメモリ内の画像データ、１９横方向エッジ抽出の出力、２０縦方向射影演算結果、２１行間引きデータのエッジ抽出フィルタリング結果、２２縦方向に射影出力結果、２３Ｈ縦方向ブロック射影手段、２３Ｖ横方向ブロック射影手段、２５横方向エッジ抽出を行った画像データを数行分まとめたもの、２６縦方向射影出力結果、２７縦方向射影出力結果。

Claims

１フレームの画像から所定行数の行データを取り出す行間引き手段と、
前記取り出された行データに対してエッジ抽出のためのフィルタリングを行う横方向エッジ抽出フィルタリング手段と、
前記フィルタリング後の行データと予め設定された第１のしきい値とに基づく画素数だけ、現フレームのフィルタリング後の行データのそれぞれをシフトして積算する第１の判定・積算手段と、
前記第１の判定・積算手段の出力に基づいて横方向動きベクトルを決定する横方向動きベクトル判定手段と、
前記１フレームの画像から所定列数の列データを取り出す列間引き手段と、
前記取り出された列データに対してエッジ抽出のためのフィルタリングを行う縦方向エッジ抽出フィルタリング手段と、
前記フィルタリング後の列データと予め設定された第２のしきい値とに基づく画素数だけ、現フレームのフィルタリング後の列データのそれぞれをシフトして積算する第２の判定・積算手段と、
前記第２の判定・積算手段の出力に基づいて縦方向動きベクトルを決定する縦方向動きベクトル判定手段と
を有することを特徴とする画像動きベクトル検出装置。
前記第１の判定・積算手段は、
前記フィルタリング後の行データと前記第１のしきい値との交差を判定する第１のしきい値交差判定手段と、
前フレームのフィルタリング後の行データが前記第１のしきい値と交差する位置に応じた画素数だけ、現フレームのフィルタリング後の行データのそれぞれをシフトして積算する第１の信号積算手段と、
前記第１の信号積算手段の出力のピークを判定する第１のピーク判定手段と
を有し、
前記横方向動きベクトル判定手段による前記横方向動きベクトルの決定は、前記第１のピーク判定手段の出力に基づいて行われ、
前記第２の判定・積算手段は、
前記フィルタリング後の列データと前記第２のしきい値との交差を判定する第２のしきい値交差判定手段と、
前フレームのフィルタリング後の列データが前記第２のしきい値と交差する位置に応じた画素数だけ、現フレームのフィルタリング後の列データのそれぞれをシフトして積算する第２の信号積算手段と、
前記第２の信号積算手段の出力のピークを判定する第２のピーク判定手段と
を有し、
前記縦方向動きベクトル判定手段による前記縦方向動きベクトルの決定は、前記第２のピーク判定手段の出力に基づいて行われる
ことを特徴とする請求項１に記載の画像動きベクトル検出装置。
画像の横方向の行データに対してエッジ抽出のためのフィルタリングを行う横方向エッジ抽出フィルタリング手段と、
前記横方向エッジ抽出フィルタリング手段から出力されるフィルタリング後の行データに対して画像の縦方向の射影を取る縦方向射影手段と、
前記縦方向射影手段の出力データと予め設定された第１のしきい値とに基づく画素数だけ、現フレームについての前記縦方向射影手段の出力データをシフトして積算する第１の判定・積算手段と、
前記第１の判定・積算手段の出力に基づいて横方向動きベクトルを決定する横方向動きベクトル判定手段と、
画像の縦方向の列データに対してエッジ抽出のためのフィルタリングを行う縦方向エッジ抽出フィルタリング手段と、
前記縦方向エッジ抽出フィルタリング手段から出力されるフィルタリング後の列データに対して画像の横方向の射影を取る横方向射影手段と、
前記横方向射影手段の出力データと予め設定された第２のしきい値とに基づく画素数だけ、現フレームについての前記横方向射影手段の出力データをシフトして積算する第２の判定・積算手段と、
前記第２の判定・積算手段の出力に基づいて縦方向動きベクトルを決定する縦方向動きベクトル判定手段と
を有することを特徴とする画像動きベクトル検出装置。
１フレームの画像から所定行数の行データを取り出す行間引き手段と、
前記１フレームの画像から所定列数の列データを取り出す列間引き手段と
をさらに有し、
前記横方向エッジ抽出フィルタリング手段による前記フィルタリングは、前記行間引き手段により取り出された前記行データに対して行われ、
前記縦方向エッジ抽出フィルタリング手段による前記フィルタリングは、前記列間引き手段により取り出された前記列データに対して行われる
ことを特徴とする請求項３に記載の画像動きベクトル検出装置。
前記第１の判定・積算手段は、
前記縦方向射影手段の出力データと前記第１のしきい値との交差を判定する第１のしきい値交差判定手段と、
前記縦方向射影手段の出力データが前記第１のしきい値と交差する位置に応じた画素数だけ、現フレームについての前記縦方向射影手段の出力データをシフトして積算する第１の信号積算手段と、
前記第１の信号積算手段の出力のピークを判定する第１のピーク判定手段と
を有し、
前記横方向動きベクトル判定手段による前記横方向動きベクトルの決定は、前記第１のピーク判定手段の出力に基づいて行われ、
前記第２の判定・積算手段は、
前記横方向射影手段の出力データと前記第２のしきい値との交差を判定する第２のしきい値交差判定手段と、
前記横方向射影手段の出力データが前記第２のしきい値と交差する位置に応じた画素数だけ、現フレームについての前記横方向射影手段の出力データをシフトして積算する第２の信号積算手段と、
前記第２の信号積算手段の出力のピークを判定する第２のピーク判定手段と
を有し、
前記縦方向動きベクトル判定手段による前記縦方向動きベクトルの決定は、前記第２のピーク判定手段の出力に基づいて行われる
ことを特徴とする請求項３又は４のいずれかに記載の画像動きベクトル検出装置。
画像の横方向の行データに対してエッジ抽出のためのフィルタリングを行う横方向エッジ抽出フィルタリング手段と、
１フレームの画像を縦方向に複数のブロックに分割し、前記ブロック毎に、前記横方向エッジ抽出フィルタリング手段から出力されるフィルタリング後の行データに対して画像の縦方向の射影を取る縦方向ブロック射影手段と、
前記縦方向ブロック射影手段の出力データと予め設定された第１のしきい値とに基づく画素数だけ、現フレームについての前記縦方向ブロック射影手段の出力データをシフトして積算する第１の判定・積算手段と、
前記第１の判定・積算手段の出力に基づいて横方向動きベクトルを決定する横方向動きベクトル判定手段と、
画像の縦方向の列データに対してエッジ抽出のためのフィルタリングを行う縦方向エッジ抽出フィルタリング手段と、
１フレームの画像を横方向に複数のブロックに分割し、前記ブロック毎に、前記縦方向エッジ抽出フィルタリング手段から出力されるフィルタリング後の列データに対して画像の横方向の射影を取る横方向ブロック射影手段と、
前記横方向ブロック射影手段の出力データと予め設定された第２のしきい値とに基づく画素数だけ、現フレームについての前記横方向ブロック射影手段の出力データをシフトして積算する第２の判定・積算手段と、
前記第２の判定・積算手段の出力に基づいて縦方向動きベクトルを決定する縦方向動きベクトル判定手段と
を有することを特徴とする画像動きベクトル検出装置。
１フレームの画像から所定行数の行データを取り出す行間引き手段と、
前記１フレームの画像から所定列数の列データを取り出す列間引き手段と
をさらに有し、
前記横方向エッジ抽出フィルタリング手段による前記フィルタリングは、前記行間引き手段により取り出された前記行データに対して行われ、
前記縦方向エッジ抽出フィルタリング手段による前記フィルタリングは、前記列間引き手段により取り出された前記列データに対して行われる
ことを特徴とする請求項６に記載の画像動きベクトル検出装置。
前記第１の判定・積算手段は、
前記縦方向ブロック射影手段の出力データと前記第１のしきい値との交差を判定する第１のしきい値交差判定手段と、
前記縦方向ブロック射影手段の出力データが前記第１のしきい値と交差する位置に応じた画素数だけ、現フレームについての前記縦方向ブロック射影手段の出力データをシフトして積算する第１の信号積算手段と、
前記第１の信号積算手段の出力のピークを判定する第１のピーク判定手段と
を有し、
前記横方向動きベクトル判定手段による前記横方向動きベクトルの決定は、前記第１のピーク判定手段の出力に基づいて行われ、
前記第２の判定・積算手段は、
前記横方向ブロック射影手段の出力データと前記第２のしきい値との交差を判定する第２のしきい値交差判定手段と、
前記横方向ブロック射影手段の出力データが前記第２のしきい値と交差する位置に応じた画素数だけ、現フレームについての前記横方向ブロック射影手段の出力データをシフトして積算する第２の信号積算手段と、
前記第２の信号積算手段の出力のピークを判定する第２のピーク判定手段と
を有し、
前記縦方向動きベクトル判定手段による前記縦方向動きベクトルの決定は、前記第２のピーク判定手段の出力に基づいて行われる
ことを特徴とする請求項６又は７のいずれかに記載の画像動きベクトル検出装置。
前記横方向エッジ抽出フィルタリング手段によるエッジ抽出は、行方向において隣の画素との差分を求めることにより行われ、
前記縦方向エッジ抽出フィルタリング手段によるエッジ抽出は、列方向において隣の画素との差分を求めることにより行われる
ことを特徴とする請求項１から８までのいずれかに記載の画像動きベクトル検出装置。
前記横方向エッジ抽出フィルタリング手段によるエッジ抽出は、行方向において隣接する両側の画素との差分を求めることにより行われ、
前記縦方向エッジ抽出フィルタリング手段によるエッジ抽出は、列方向において隣接する両側の画素との差分を求めることにより行われる
ことを特徴とする請求項１から８までのいずれかに記載の画像動きベクトル検出装置。