JPH0252914B2 - - Google Patents

Description

【発明の詳細な説明】 本発明は、画像中の各部それぞれの動きの方向
および速さを表わす動ベクトルを検出する動ベク
トル検出方法に関するものである。

テレビジヨン画像は、本来、動画像を伝送し得
ることが最大の特徴であるが、画像中の各部が画
面内でどの方向にどの程度の速さで動くかを検出
するに好適な検出方法は少ない。本発明は、テレ
ビジヨン画像の各部の動きの方向と速さとを表わ
す動ベクトルを実時間で検出する動ベクトル検出
方法を提供することを目的としたものである。

テレビジヨン画像、あるいは、映画フイルムに
撮影した画像中のある部分の動きを検出する方法
としては、つぎのような検出方法が従来知られて
いる。

すなわち、第１図に示すように、連続した２フ
レームあるいは２駒の画像（以下には専らテレビ
ジヨン技術用語のフレームを使つて説明する。な
お、テレビジヨンの場合には、インターレースを
行なつているので、連続した２フイールドについ
ても同様な考え方が成立するが、この場合は正確
には連続した２駒には対応せず、話が多少複雑に
なる。）について、注目する現在フレーム１の画
像中において注目する適切な大きさのブロツク３
を設定し、その注目ブロツク３中の各画素Ｂに
ｘ、ｙ二次元走査の順に番号をつけてｉ番とす
る。例えば、注目フレーム１の画像における注目
ブロツク３中にｎ個の画素が存在しているとする
と、それらｎ個の画素B₁，…，B_oが注目ブロツ
ク３の画像を構成する。なお、記号B_iは各画素の
画像信号電圧値をも表わすものとする。一方、一
つ前の先行フレーム２の画像中のほぼ対応する位
置に上述の注目ブロツク３と同一サイズの比較ブ
ロツク４を設定し、上述と同様に各画素Ａに番号
ｉを付けて記号A_iをそれぞれの画素の画像信号電
圧値とする。

このようにしてつぎの式について計算すると、
注目ブロツク３と比較ブロツク４との間における
画像の相関の大きさに対応した値Ｃが得られる。

Ｃ＝_o 〓ⁱ⁼¹ ｜A_i−B_i｜ ここで、先行フレーム２の画像中に設定する比
較ブロツク４の位置を注目ブロツク３に対応する
位置の周りに種々移動させてそれぞれの位置にお
ける比較ブロツク４′について上述の相関値Ｃを
計算し、その相関値Ｃが最小となる位置の比較ブ
ロツク４の位置、すなわち、現在フレーム１の画
像中における注目ブロツク３に対して最大の相関
を示す比較ブロツク４の位置を求める。この最大
相関を示す比較ブロツク４の画面上の位置座標と
現在フレーム１の画像中の注目ブロツク３の画面
上の位置座標との差が現在フレーム１の画像中の
注目ブロツク３の画像に関する動ベクトルとな
る。

つぎに、上述した動ベクトル検出の従来の方法
を、具体的に、第２図に矢印で示すように連続し
て移動する順次のフレーム（ｎ−１）、（ｎ）、（ｎ
＋１）における同一円形部分の画像の動きについ
て説明する。

第３図は、第２図に示した画像の動きのうち、
先行フレーム（ｎ−１）と現在フレーム（ｎ）と
で実線矢印で示すように中心が移動する同一円形
部分の画像間において動ベクトルを検出する場合
の手順の例を示す。図中、細い実線の長方形によ
つて動ベクトルを検出しようとする注目ブロツク
を示してあり、太い実線の円形によつて先行フレ
ーム（ｎ−１）における物体像を示し、また、細
い鎖線の円形によつて現在フレーム（ｎ）におけ
る物体像をそれぞれ示してある。かかる物体像の
動きに対して、上、下、左、右、各斜めおよび中
心（動かず）の計９とおりの位置シフトを注目ブ
ロツクに施した９個の比較ブロツク（図示せず）
をそれぞれ先行フレームの図中細い破線で示す近
傍領域内に設定して前述の方法で相関を求め、図
中太い破線で示した最大の相関を呈する最近似比
較ブロツクのシフト位置に基づき図中複線矢印で
示す動ベクトルを得る。なお、図にはシフト量の
単位を線分の長さで示してあり、後出の各図にお
いても同様である。

一方、第４図は、第２図に示した画像の動きの
うち、現在フレーム（ｎ）と後続フレーム（ｎ＋
１）とで実線矢印で示すように中心が移動する同
一円形部分の画像間において動ベクトルを検出す
る場合の手順の例を示すが、前述と全く同様の手
順を繰り返すことになる。なお、第４図において
は、第３図におけるよりフレーム番号が一番繰り
下つているので、（ｎ）を（ｎ＋１）、（ｎ−１）
を（ｎ）とそれぞれ読み替えれば、説明は第３図
におけると全く同様になる。また、第３図および
第４図における細い破線は、前述したように、現
在フレームを物体像について動ベクトルを検出す
るために注目ブロツクとの間で相関計算を行なう
比較ブロツクの設定範囲を示している。

上述の各例では、同一円形で示した物体像の実
際の動きを表わす動ベクトルを実線矢印で示して
あり、複線矢印で示した検出結果の動ベクトルを
これと対比すれば本来一致すべき両者が一致して
いないことから明らかなように、注目ブロツクと
の相関を求める比較ブロツクの個数が９個に過ぎ
ないために、相関に基づく動ベクトルの検出が完
全に実際に則して行われてはいない。しかしなが
ら、相関を求める比較ブロツクの個数を単に少々
増しても正しい動ベクトルを検出し得るとは限ら
ず、完全に正しい動ベクトルを検出するために
は、比較するフレームの画面全体に亘つて比較ブ
ロツクを無数に設定する必要があり、仮に実用的
な範囲の有限個数に制限したとしても、ほぼ正し
い動ベクトルを検出するにはその個数が相当多数
になり、それら有限個数の比較ブロツクのすべて
について限られた一定の実時間内で相関を計算す
ることは、現実には不可能である。

以上、従来の動ベクトル検出方法の一例につい
て述べてきたが、この従来の検出方法は、画面中
の物体のパターン認識をする必要がなく、機械的
に動ベクトルを検出し得る利点がある反面、正し
い動ベクトルを検出するためには、動ベクトルの
検出の対象範囲を広くとるとともに、比較ブロツ
クの個数を増大させて数多くの相関を求めなけれ
ばならず、したがつて、実時間的にベクトル検出
を行なうことは所要計算時間の点で無理であり、
実用的ではなかつた。その結果、この種の動ベク
トル検出方法においては、限られた一定の実時間
内で、いかに相関計算の回数を少なくして、より
正しい動ベクトルを求めるかがその課題となつて
いた。

本発明の目的は、上述の原理に基づく動ベクト
ル検出方法に改良を加え、テレビジヨン画像につ
いて実時間で動ベクトル検出を行ない得る動ベク
トル検出方法を提供することにある。

すなわち、本発明動ベクトル検出方法は、動ベ
クトル検出の対象とする注目フレームの画像中に
複数の画素からなる注目ブロツクを設定するとと
もに、当該注目フレームより１フレーム前の先行
フレームの画像中において前記注目ブロツクの前
記注目フレームにおける位置に対応して比較ブロ
ツク設定領域の中心となる基準位置の周りの位置
に複数個の比較ブロツクを設定し、前記注目ブロ
ツクと前記複数個の比較ブロツクとの相関をそれ
ぞれ求めて前記注目ブロツクに対し最大の相関を
有する前記比較ブロツクの前記基準位置に対する
相対的位置に基づいて順次に連続する複数フレー
ムの映像信号相互間における画像の移動の方向と
距離とを表わす動ベクトルを順次に検出するにあ
たり、前記先行フレームの画像中において前記注
目ブロツクの前記注目フレームにおける位置に対
応する位置から当該先行フレームについて直前に
検出した動ベクトルとは逆向きに同じ距離だけシ
フトさせた前記基準位置の周りに前記複数個の比
較ブロツクを設定することにより、前記複数個の
比較ブロツクの中から前記注目ブロツクに対して
最大の相関を有する前記比較ブロツクを検出する
確率を増大させるようにしたことを特徴とするも
のである。

以下に実施例につき本発明を詳細に説明する。

本発明動ベクトル検出方法の基本をなすもの
は、動ベクトルの予測であり、先行フレーム（ｎ
−１）と現在フレーム（ｎ）との画像間の動ベク
トルを検出したのちに、引続き現在フレーム
（ｎ）と後続フレーム（ｎ＋１）との画像間の動
ベクトルを検出する場合に、後続フレーム（ｎ＋
１）の注目ブロツクに対して現在フレーム（ｎ）
に設定する比較ブロツクの位置を、先行フレーム
（ｎ−１）と現在フレーム（ｎ）との画像間で直
前に検出した動ベクトルの分だけあらかじめ従来
の基準位置からその動ベクトルとは逆の方向にシ
フトさせておけば、一般に、画像の動きは、本
来、第２図に示したように、順次のフレーム間で
ほぼ連続性を有しているので、注目ブロツクの位
置に対応した基準位置の周りに等方性的に万遍な
く比較ブロツクを設定するよりも、直前の画像の
動きを逆に辿つた領域に集中的に比較ブロツクを
設定した方が最大の相関が得られる確率の最も高
い設定領域内の比較ブロツクについて相関を求め
ることになり、相関計算の対象とする比較ブロツ
クの個数が限られていて相関計算の回数が少ない
にも拘わらず、従来より格段に正確な動ベクトル
を求めることができる、という点に着目して本発
明をなしたものである。

つぎに、第２図に示した画像の動きについて、
本発明動ベクトル検出方法の実施例を説明する
と、最初の動ベクトル検出、すなわち、先行フレ
ーム（ｎ−１）と現在フレーム（ｎ）とでの画像
間の動ベクトル検出は第３図につき前述した従来
方法の場合と同様であるが、その結果検出した動
ベクトルを参考にして現在フレーム（ｎ）と後続
フレーム（ｎ＋１）とでの画像間の動ベクトルを
検出するようにした本発明検出方法においては、
第５図に示すように、後続フレーム（ｎ＋１）に
おける細い実線の長方形で示した注目ブロツクと
比較して相関を計算すべき現在フレーム（ｎ）に
おける細い２点鎖線の長方形で示した比較ブロツ
クの従来の設定領域を、細い破線の長方形で示す
ように、先行フレーム（ｎ−１）と現在フレーム
（ｎ）との画像間で、第３図に複線矢印で示した
ようにすでに検出した動ベクトルの分だけ第５図
に複破線矢印で示すように、逆方向にシフトして
おく。

上述のようにすると、第５図に示した本発明検
出方法においては、相関を求める比較ブロツクの
個数は第４図に示した従来例と同じく９個である
にも拘わらず、第４図と第５図とについて太い実
線矢印と細い実複線矢印とをそれぞれ比較すれば
両者が、第４図では一致せず、第５図では一致す
ることから明らかなように、現在フレーム（ｎ）
と後続フレーム（ｎ＋１）との画像間の動ベクト
ルが実際の画像の動きに則して正しく検出される
ことが判る。また、後続フレーム（ｎ＋１）と再
後続フレーム（ｎ＋２）との画像間、さらに、そ
れ以降についても同様の計算を繰り返すことによ
り、順次に正しい動ベクトルの検出が可能とな
る。

以上の説明では、本発明検出方法においても、
最初の動ベクトル検出は、直前の動ベクトル検出
が行なわれていないので、実際にはほとんど問題
にはならないが、比較的不正確であり、２回目の
動ベクトル検出から正確に行なわれることにな
る。したがつて、仮に最初の２回の動ベクトル検
出だけに注目すると、初回の動ベクトル検出にお
いては実時間に囚われずに２倍の時間をかけるこ
ともできるので、従来の検出方法においても、相
関を計算する比較ブロツクの個数を２倍にすれ
ば、本発明検出方法と同様に正確な動ベクトル検
出を期待し得ると考えられなくもないが、かかる
考えはつぎの例に示すように誤りである。

第６図は、本発明検出方法において個数を２倍
にして比較ブロツクを設定した18ブロツクにつき
従来の検出方法によつて相関を求めた場合を示
し、図中、相関を計算すべき比較ブロツクの設定
領域を細い破線で囲んで示す。この場合には、確
かに、従来方法によつても動ベクトルを正しく検
出している。しかしながら、仮に画像の動きが第
２図に示したようになるものとして、第６図に示
したように正しい動ベクトルを検出し得る筈の領
域に２倍の個数の比較ブロツクを予め設定したと
きに、実際の画像の動きが、第２図とは相違し
て、第７図に示すようになつた場合には、折角個
数を２倍に増して設定した18個の比較ブロツクも
その設定位置が第６図に示した正しい動ベクトル
を検出し得る領域から一部外れることになり、第
８図に示すように、もはや正確には実際の画像の
動きに則した動ベクトルが検出されない場合がお
こり得る。このような画像の動きの場合であつて
も、本発明動ベクトル検出方法によれば９個の比
較ブロツクを第９図に示すように設定して、従来
方法の半分の計算時間で正しい動ベクトルの検出
を行なうことが可能となる。

なお、上述したところは、単に３フレーム（ｎ
−１）、（ｎ）、（ｎ＋１）の画像間における動ベク
トル検出について述べたものであるが、前述した
とおり、本発明動ベクトル検出方法においては、
第１回目の動ベクトル検出の確度が低下すること
はあつても、第２回目以降の動ベクトル検出は全
く正確に行なうことができ、しかも、実際には３
フレームで画像の動きが終わつてしまうシヨツト
はほとんどないので、本発明動ベクトル検出方法
の有用性は一層明白であろう。

つぎに、本発明方法による動ベクトル検出装置
の原理的構成の例を第１０図に示し、その動作の
概要について以下に述べる。

図示の構成においては、まず、フレーム（ｎ−
１）の入力映像信号がフレームメモリ５に１フレ
ーム期間保持され、ついで、フレームメモリ５の
入出力における２フレーム（ｎ−１）、（ｎ）の画
像間で動ベクトル検出の対象とする注目ブロツク
に関する相関を相関計算部６によつて計算する。
その際、先行フレーム（ｎ−１）における比較ブ
ロツクの相対的位置は、シフトベクトル発生部７
によつて設定する。かかる比較ブロツクの注目ブ
ロツクに関するそれぞれの相関値群からその最小
値を検出する最小ゲート８によつて最大相関値を
抽出してその最大相関値に対応した動ベクトル出
力を取出すと同時に、その動ベクトル出力値を動
ベクトルメモリ９に蓄えて、つぎに後続フレーム
（ｎ＋１）について同様に相関を計算する際にシ
フトベクトル発生部７に制御入力として印加し、
前述したようにその動ベクトル出力値に対応して
シフトさせた比較ブロツクの位置設定を行なう。

ついで、本発明方法による動ベクトル検出装置
のより詳細な構成の例を第１１図に示す。

図示の構成による動ベクトル検出装置の動作は
つぎのとおりであり、各ブロツク１１〜２１の機
能は図中にそれぞれ示すとおりである。

すなわち、映像信号入力は、Ａ／Ｄ変換器１９
によりデイジタル信号に変換したのちに、現フレ
ーム用バツフアメモリ１７とフレームメモリ２０
とに送り、フレームメモリ２０で１フレーム期間
遅らせたデイジタル映像信号を前フレーム用バツ
フアメモリ１８に送る。ついで、前フレーム用バ
ツフアメモリ１８と現フレーム用バツフアメモリ
１７との互いに対応する出力画素信号を差検出器
１６に送つて相互間の差の絶対値を求め、その差
の絶対値を積算器１５に送つて相関計算の対象と
するブロツク毎に積算する。

一方、前フレーム用バツフアメモリ１８および
現フレーム用バツフアメモリ１７から比較ブロツ
クおよび注目ブロツクの画素信号をそれぞれ読出
す読出しアドレスは、順次の相関計算を制御する
ミニコン１１から、命令動作カウンタ１４の制御
のもとに、命令ストア１２に入れてある命令によ
つて制御し、それらの読出しアドレスを各バツフ
アメモリ１８，１７に印加して読出したフレーム
間で互いに対応する画素毎の画像信号の差を上述
したように差検出器１６により検出して相互間の
相関を求める。

以下順次のフレームの画像信号について、各バ
ツフアメモリ１８および１７の書込みおよび読出
しのアドレスを順次に制御し、フレーム間で相関
を求める画素信号のアドレスを所望のブロツク内
で逐次移動させ、積算器１５により各ブロツク毎
の相関値の積分を求める。

かかる相関値積分の結果を例えば積算器１５内
に一時憶えておいて、さらにメモリアドレスを同
様に制御して別の注目ブロツクにつき同様に相関
値積分を行ない、同様の操作を繰返して最大の相
関が効率よく得られるように比較ブロツクの設定
位置を直前に検出した動ベクトルに応じてシフト
させるブロツクシフトを順次に行なつていく。

かかる操作を順次に繰返して最もよい相関が得
られたときのアドレスが動ベクトルに対応するの
で、その動ベクトル値を動ベクトルメモリ２１に
蓄積しておく。

ついで、次のフレームについて相関を求めるに
際しては、動ベクトルメモリ２１の蓄積内容の動
ベクトル値を読出し、その動ベクトル値をベース
にして、前述したところに従い、前フレーム用バ
ツフアメモリ１８に送るアドレスを設定し、以下
同様の操作を繰返すと、動ベクトルメモリ２１に
は順次に所要の動ベクトル値が蓄積される。

上述のようにして順次のフレーム相互間におけ
る相関を求め、その相関に基づいて動ベクトルを
検出する場合のフローチヤートの一例を第１２図
に示し、その動作の概要について以下に述べる。

上述した動ベクトル検出命令の実行は、第１１
図示の構成における命令動作カウンタ１４の出力
を命令ストア１２のアドレスに与えることにより
行なわれ、その命令動作カウンタ１４そのものも
命令ストア１２の中にストアされている命令によ
つて制御される。なお、これらの動作は、第１２
図示のフローチヤートから判るように、通常の計
算機におけると全く同様である。すなわち、第１
２図示のフローチヤートにおいては、ステツプ
（Ｘ）で現フレームの画素のアドレスＮを設定し、
ステツプ(a)で、まず、最初の動ベクトル検出のた
めのシフトベクトルを決定する。ついで、ステツ
プ(b)では、前フレームまでについて得た動ベクト
ルに注目ブロツク内の画素アドレスＮおよびステ
ツプ(a)で得たシフトベクトルを加算する。つい
で、ステツプ(c)では、ステツプ(b)で得た画素アド
レスを前フレーム用バツフアメモリに送るととも
に、画素アドレスＮを現フレーム用バツフアメモ
リに送つて順次のフレーム間で互いに対応する画
素点を指定し、画素相互間の差検出による相関計
算を行ない、ブロツクシフトが全て終了するま
で、アドレスＮを１つずつ変えてかかる相関計算
を繰返し、ステツプ(d)までの過程で１ブロツク分
の相関値を得る。

ついで、ステツプ(e)で、積算器１５による相関
値の積算結果をブロツクシフトによつて最小相関
値が得られたブロツクについて求めた積算結果と
比較し、前者の方が小さければ、改めて前者を最
強の相関値とし、そのときのシフトベクトルを動
ベクトルメモリ２１に書込む。

最終ステツプ(f)で相関を求めるべきブロツクに
対する相関計算を全部実行したか否かを調べて、
すべて実行していたとき、一連の動ベクトル検出
の動作を停止する。

以上は、現フレームにおける１個のブロツクに
ついて動ベクトル検出を行なう場合のフローチヤ
ートであり、実際には比較ブロツクを基準位置の
周りに多数設定するので、それぞれの比較ブロツ
クについて以上の操作を繰返すことになる。

以上の説明から明らかなように、本発明の動ベ
クトル検出方法によれば、１フレーム毎に実時間
で計算しなければならない相関の個数がそれほど
多くならないので、実時間で従来より格段に正確
な動ベクトルを検出することができ、かかる動ベ
クトル検出の結果は、フレーム間符号化方式、モ
ーシヨンアナライザ、自動追尾システム等に広く
利用することができる。

【図面の簡単な説明】

第１図は動ベクトル検出の原理を説明するため
の線図、第２図は画像の動きの一例を示す線図、
第３図は従来の検出方法における順次の画像フレ
ーム間の関係の例を示す線図、第４図は従来の検
出方法における順次の画像フレーム間の関係の他
の例を示す線図、第５図は本発明検出方法におけ
る順次の画像フレーム間の関係の例を示す線図、
第６図は従来の検出方法において第３図、第４図
で用いた情報の２倍の情報を用いたときの順次の
画像フレーム間の関係の例を示す線図、第７図は
画像の動きの他の例を示す線図、第８図は従来の
検出方法における順次の画像フレーム間の関係の
さらに他の例を示す線図、第９図は本発明検出方
法における順次の画像フレーム間の関係の他の例
を示す線図、第１０図は本発明による動ベクトル
検出装置の原理的構成の例を示すブロツク線図、
第１１図は同じくその動ベクトル検出装置の詳細
な構成の例を示すブロツク線図、第１２図は同じ
くそのフローチヤートの例を示す線図である。 １……現在フレーム、２……先行フレーム、３
……注目ブロツク、４，４′……比較ブロツク、
５……フレームメモリ、６……相関計算部、７…
…シフトベクトル発生器、８……最小ゲート、９
……動ベクトルメモリ、１１……ミニコン、１２
……命令ストア、１３……命令デコーダ、１４…
…命令動作カウンタ、１５……積算器、１６……
差検出器、１７……現フレーム用バツフアメモ
リ、１８……前フレーム用バツフアメモリ、１９
……Ａ／Ｄコンバータ、２０……フレームメモ
リ、２１……動ベクトルメモリ。

Claims (1)

1. 【特許請求の範囲】 １ 動ベクトル検出の対象とする注目フレームの
   画像中に複数の画素からなる注目ブロツクを設定
   するとともに、当該注目フレームより１フレーム
   前の先行フレームの画像中において前記注目ブロ
   ツクの前記注目フレームにおける位置に対応して
   比較ブロツク設定領域の中心となる基準位置の周
   りの位置に複数個の比較ブロツクを設定し、 前記注目ブロツクと前記複数個の比較ブロツク
   との相関をそれぞれ求めて前記注目ブロツクに対
   し最大の相関を有する前記比較ブロツクの前記基
   準位置に対する相対的位置に基づいて順次に連続
   する複数フレームの映像信号相互間における画像
   の移動の方向と距離とを表わす動ベクトルを順次
   に検出するにあたり、前記先行フレームの画像中
   において前記注目ブロツクの前記注目フレームに
   おける位置に対応する位置から当該先行フレーム
   について直前に検出した動ベクトルとは逆向きに
   同じ距離だけシフトさせた前記基準位置の周りに
   前記複数個の比較ブロツクを設定することによ
   り、前記複数個の比較ブロツクの中から前記注目
   ブロツクに対して最大の相関を有する前記比較ブ
   ロツクを検出する確率を増大させるようにしたこ
   とを特徴とする動ベクトル検出方法。