JPH09200765A - ブロックマッチングによる動き推定用の装置 - Google Patents

Abstract

(57)【要約】 【課題】 画像の各ブロックに対するマッチングされた
画素間の誤差を計算するためにブロックマッチングによ
りビデオ画像の動きを推定する装置を提供する。 【解決手段】 それは処理回路は部分和を得るためにブ
ロックの各ラインで誤差を集積し、似た成分の動きベク
トル候補に関する処理回路はそれ自体がメモリによりル
ープバックされたチェーン形成するよう共に結合され、
前のブロックに対する現在のビデオラインで計算されこ
れらの候補ベクトルのそれぞれに対応する誤差の部分和
を転送し、前のビデオラインで計算され次のブロックに
関連する部分和に対するメモリによりループバックされ
るこのメモリから対応する処理回路にチェーンを形成す
るために共に結合され、これらの転送は現在のブロック
の部分和を計算する間に実行される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はブロックマッチング
技術に基づく動き推定装置に関する。

【０００２】

【従来の技術】この技術はテレビジョン画像に関する動
き推定の分野で良く知られている。それは画素の組から
なる現在の画像ブロックから開始され、ある基準により
それに最も良く適合する前の画像のブロックに対する検
索からなる。例えばオーバーレイされた画素の輝度値間
の絶対誤差又は平均二乗誤差であり、その誤差はブロッ
クの画素の組に亘って加算される。

【０００３】この検索は現在のブロックの位置の周囲で
決定された前の画像の検索窓内でなされる。２つのブロ
ックの相対的な位置は変位、即ち動きベクトルを与え
る。前の画像のみに基づくこの技術は「片側（ワンサイ
ド）ブロックマッチング」という用語により知られてい
る。画像を補間するときにそれはこの補間された画像の
仮想的なそれらと相関されるブロックに対する検索に拡
張される。それは「両側（ツウサイド）ブロックマッチ
ング」という用語により知られており、例えばトムソン
コンシューマーエレクトロニクスＳＡの名前で１９９３
年９月８日に出願されたヨーロッパ特許出願Ｎ゜９３４
０２１８７．４に記載される。

【０００４】従来技術から知られており、上記特許出願
に記載される動き推定アーキテクチャーの２つの例は図
１、２に示される。これらの例で現在ブロックの±２画
素の水平及び垂直の周囲の窓でなされる。図１は「片側
ブロックマッチング」に関する。図で斜線で示される処
理回路は１の入力に平行に現在の画素に関する情報（輝
度）を受ける。画像（又はフレーム）遅延回路による前
の画像から由来する情報の同じ型は各処理回路の第二の
入力上に現れる。輝度情報が処理回路の入力に到達する
前にクロスしなければならないラインと画素（又はサン
プル）遅延回路は現在のブロックと適合されるブロッ
ク、故に処理回路に関する動きベクトルを決定する。こ
のブロックは水平（要素遅延）及び垂直（ライン遅延）
への連続した遅延によりシフトされる現在ブロックに対
応し、輝度情報はそれを問題の回路に到達する前にクロ
スする。各処理回路は特定のシフト、故に動きベクトル
の候補に関係する。現在ブロックの±２画素の水平及び
垂直の周囲である検索窓は２５の動きベクトル候補に対
応する。

【０００５】各処理回路は現在のブロックと回路に対応
する前の画像のブロックとの間の全体の誤差を与えるよ
うな方法でその入力に到来する現在ブロックの画素のそ
れぞれに対する輝度値間の誤差を集積する。この現在ブ
ロックに対して集積された誤差の最小値は回路、故に前
の画像のブロック、故に動きベクトルを指定する。これ
は画像のブロックのそれぞれに対して実施される。

【０００６】計算誤差は絶対誤差又は平均二乗誤差であ
りうる。図２は「両側ブロックマッチング」に関する。
ここで処理回路は補間された画像の現在のブロックに割
り当てられた動きベクトルを決定するように上記の特許
明細書にあるように次の画像のブロックと前の画像のブ
ロックとの間の誤差を集積する。

【０００７】テレビジョンスキャンによるビデオ情報を
利用するその様なアーキテクチャーは実施するために複
雑な記憶回路を必要とする；スキャンのこの型により各
ブロックに対する計算される誤差を許容する中間結果の
この記憶は与えられた処理回路に対して各ブロックのレ
ベルで及び各ブロックの各ラインのレベルに対してでさ
え各処理回路のレベルでなされねばならない。次のブロ
ックに送られる前にブロックの全てのラインを、即ちブ
ロック毎にスキャンすることからなる解決策は同様に複
雑なスキャン変換回路を形成する。

【０００８】動き推定器及び特に処理回路はこの特殊性
により規格化又は低コスト一体化を予め含む処理される
ブロックの数と大きさに依存する異なる構造を有する。

【０００９】

【発明が解決しようとする課題】本発明の目的は上記の
問題を解決することにある。

【００１０】

【課題を解決するための手段】この課題は動きベクトル
の各候補に対する処理回路からなり、画像の各ブロック
に対するこのベクトルによりマッチングされた画素間の
誤差を計算するためにブロックマッチングによりビデオ
画像の動きを推定するための装置である。処理回路は部
分和を得るためにブロックの各ラインで誤差を集積し、
似た成分の動きベクトル候補に関する処理回路はそれ自
体がメモリによりループバックされたチェーン形成する
ように共に結合され、前のブロックに対する現在のビデ
オラインで計算されこれらの候補ベクトルのそれぞれに
対応する誤差の部分和をこのメモリに転送し、前のビデ
オラインで計算され次のブロックに関連する和に対する
このメモリから対応する処理回路に転送し、これらの転
送は現在のブロックの部分和を計算する間に実行され
る。

【００１１】

【発明の実施の形態】本発明の特徴及び利点は以下に図
を参照して例により説明することからよりよく理解され
る。処理回路特有の第一のアーキテクチャーは図３に示
される。回路に入力された情報入力はテレビジョンスキ
ャンに対応する。画像は知られた方法でブロックに分解
され、画像内のＭブロックのラインはバンド又は「スト
ライプ」を構成する。

【００１２】二乗誤差又は絶対誤差を計算する回路１は
第一の入力Ｖ１ｉで現在のブロックの現在の画素の輝度
を受容し、第二の入力Ｖ２ｉで前の画像の問題の処理回
路ｉに関してシフトされた画素の輝度を受容する。この
シフトは実際図１、２で見るように問題の処理回路に依
存し、それに関連し、前の画像又は前の画像の画素及び
処理回路に到達する前の次の画像の画素により実際「ク
ロスされ」なければならない遅延回路に関する。これら
の数値的な輝度値は画像サンプリング周波数又は画素周
波数で受容される。計算回路の出力はその第二の入力が
マルチプレクサ３から得られる加算器２の第一の入力に
接続される。加算器の出力は画素サンプリングクロック
に制御された遅延回路４又はメモリレジスタに伝送さ
れ、そのクロックはクロック入力Ｈ１で受容され、それ
の遅延は２つのサンプル間の間隔に従って対応する。そ
の出力はマルチプレクサ３の第一の入力に結合される。
斯くして後者の出力がマルチプレクサの制御入力Ｃ１に
転送された制御信号により遅延回路に接続されたこの入
力上でスイッチされるときに加算器２はその第二の入力
に到来する予め集積され、記憶された誤差をその第一の
入力に到来する現在の誤差に加算する。斯くしてそれは
画素クロックと同期して、受容されたサンプル（画素）
の組に対する計算回路１により計算された誤差を集積
し、マルチプレクサが斯くの如く設定される限りその様
に動作する。加算器２の出力はまた前のものと同じ型で
あるが、ここではクロック入力Ｈ２により制御される第
二のメモリレジスタ５の入力に接続される。レジスタの
出力は処理回路のＳｉとラベルされた出力であり、シフ
トレジスタ６の入力に接続される。このシフトレジスタ
の出力はマルチプレクサ３の第二の入力及びまた処理回
路のＳｉとラベルされた入力に接続される。入力及び出
力Ｅｉ、Ｓｉは処理回路特有のものであり、シフトレジ
スタはこの回路の部分を形成しない。

【００１３】Ｃ１をスイッチングすることは以下にライ
ンブロック周波数と称するその周波数がＰがブロックの
ラインの画素の数である場合に画素周波数よりＰ倍低い
ラインブロッククロックと同期して動作する。後のブロ
ックの画素に送るときに、マルチプレクサは入力Ｅｉ上
の１画素クロックビートに対してスイッチされる。この
入力Ｅｉはブロックの第一のラインに対してゼロに等し
く、他のラインに対してこのブロックの部分和に等し
く、この部分和は現在のラインまでのこのブロックの各
ラインに亘り集積された誤差の和に対応する。値Ｅｉは
加算器２によりクロックの処理されたラインの第一の画
素に関して計算された誤差に加算される。和は入力Ｖ１
ｉ、Ｖ２ｉ上の後のサンプルの出現に対応する後の画素
クロックビートでレジスタ４に記憶され、加算器２の入
力に転送され、マルチプレクサ３はメモリレジスタ４の
出力上でこれと同じ画素クロックビート中に再びスイッ
チされる。このように誤差はブロックのラインのサンプ
ルのそれぞれに対して集積され、次のブロックへの通路
はＥｉ上のマルチプレクサのスイッチングをトリガーす
る。

【００１４】入力Ｈ２はラインブロッククロックを受
け、ブロックのラインの端でレジスタ５内の加算器によ
り送られる部分和を記憶する。出力ＳｉはＭ−１のビン
（記憶場所）からなるシフトレジスタ６内のラインブロ
ッククロックの次のビートで記録される。故にレジスタ
５により記憶された部分和はシフトレジスタ６の出力、
故にマルチプレクサ３の第二の入力上にＭのラインブロ
ッククロックビートを出す。このレジスタは回路５と関
連して加算器に入力を可能にするよう１ライン周期の遅
延で遅延回路の役割を果たし、ブロックの新たなライン
を処理するときには部分和はこのブロックの次のライン
に対応する。出力Ｓｉはまたブロック全体に亘り集積さ
れた誤差に対応する値Ｓｉのみをピックアップし、各画
像のブロックに対してその様にするバッファメモリに転
送される。

【００１５】上記の処理回路は動きベクトルの候補と同
じ回数繰り返され、回路全体の複雑さは検索窓の寸法に
比例する。本発明の装置の第二の実施例は図４、５に表
され、回路全体の大幅な簡単化が達成可能となってい
る。図４は入力及び出力Ｅｉ、Ｓｉに適切な処理回路を
示す。図３の回路と共通の要素は再び記載され、同じ符
号で示される。

【００１６】加算器２の出力で得られる集積された誤差
はその役割が以下に説明されるマルチプレクサ７を介し
てレジスタ５に転送される。加算器２の出力はそのスイ
ッチングはその制御入力Ｃ２に転送される信号により制
御され、その出力はクロック入力Ｈ２により制御される
シフトレジスタ５の入力に接続される第二のマルチプレ
クサ７の第一の入力に接続される。処理回路の入力Ｓｉ
は第一のマルチプレクサ３の第二の入力及びまた第二の
マルチプレクサ７の第二の入力に接続される。

【００１７】図５は類似の水平成分を有する動きベクト
ル候補の組のブロック毎に集積された誤差を計算する回
路を示す。故に処理回路のこの型の５つの組又は群は図
１、２に示される例によるマッチング処理動作をなすよ
う要求される。動きベクトルの最大の可能な水平成分
（画素の数）に対応するカスケード接続された処理回路
の数Ｎはこの例ではまた５である。上記の処理回路であ
るこれらの回路８ｉのそれぞれは輝度に関するビデオ入
力Ｖ１ｉ，Ｖ２ｉを受ける。各階路の出力Ｓｉは次の回
路の入力Ｅｉ＋１に接続され、ＥｉとＳｉは図４に記載
される入力と出力である。最後の回路８ｉの出力Ｓｉ
は、処理群の出力と称され、ＦＩＦＯメモリ９の入力に
接続され、このメモリの出力はチェーンの第一の回路８
の入力に接続される。

【００１８】処理回路のそれぞれに対して上記型のシフ
トレジスタで部分和を集積するよりもむしろ与えられた
ブロックのラインの処理の後に処理回路８ｉの出力で得
られるこれらの和は次のブロックの部分和の計算の時間
中に１つのＦＩＦＯメモリ９内に転送される。このメモ
リは各ブロックの各ライン、故に処理回路８ｉの組に対
して計算された部分和を一時的に記憶することを可能に
する。

【００１９】これらの測定された部分和を１つのＦＩＦ
Ｏメモリに送ることがマルチプレクサ７の役割である。
斯くしてマルチプレクサ７のスイッチングはマルチプレ
クサ３に対してラインブロック周波数で実行される。し
かしながらここで入力Ｅｉはブロックの最後の画素に対
応する画素クロック期間と、マルチプレクサがメモリレ
ジスタ５に対する部分和を転送するために加算器の出力
でスイッチされる間を除きメモリレジスタ５に部分和を
転送するために、マルチプレクサを介して、メモリレジ
スタ５に連続的に転送され、後者はそれをＨ２により記
憶する。

【００２０】マルチプレクサがＥｉへスイッチオンする
ときに各メモリレジスタ５内に記憶されるこれらの部分
和は１つの処理回路のメモリレジスタからＨ２上で受け
られた信号の速度、例えば画素周波数で次の処理回路の
メモリレジスタにシフトされ、これと同じ速度でＦＩＦ
Ｏメモリに記録される。ＦＩＦＯメモリへの集積は処理
されたブロックのそれぞれに対する、即ちＭ−１ブロッ
クに対応するストライプＮｘ（Ｍ−１）値に対するＮの
部分和であり、計算された最後のＮの値はメモリレジス
タ５に記憶される。

【００２１】斯くして新たなブロックのラインを処理す
るときにこの新たなブロックと処理回路のそれぞれに対
する前に記憶された部分和は処理回路のそれぞれにより
前のブロックに対して計算された部分和がＦＩＦＯメモ
リに転送されるのと同時にこれらの回路のそれぞれの入
力に転送され、これはマルチプレクサ７が入力Ｅｉと連
結されるときにメモリレジスタ５を順に並べることによ
りなされる。それでこれらのレジスタはＮビンを有する
シフト回路の役割を果たす。転送はＨ２で受容される画
素クロック周波数でなされる。ＦＩＦＯメモリは例えば
入／出力のテンポが同じときにＮ（Ｍ−１）メモリビン
を有する簡単なシフトレジスタでありうる。

【００２２】ストライプの最後のラインを処理する一方
でカスケードの最後の処理回路のメモリレジスタ５を介
して到来した「部分和」は実際にブロックの動きベクト
ルのそれぞれ（又はチェーンの処理回路のそれぞれ）の
最終誤差であり、これはストライプの各ブロックに対し
てそうである。処理群の出力で得られるこれらの値は動
き推定器の下流の回路により考慮に入れられる。

【００２３】動きベクトル候補の全体、故に処理回路の
数がブロックのライン内の画素の数に等しいかそれ以下
である場合に全ての部分和はブロックの処理の間に画素
クロック周波数で転送される。転送の瞬間は１の群から
他へ画素周期のＮ倍でシフトされるよう提供され、与え
られたブロックに対して最後のメモリレジスタ５による
最終誤差出力は例えば動きベクトルの垂直成分に対応す
る処理群のそれぞれの出力を多重化することによりシー
ケンシャルに転送され、これはラインブロック周期内で
ある（Ｐ画素周期に対応する）。

【００２４】ブロックのライン内の画素の数が処理回路
の数全体より少なく、一方で処理群の処理回路の数より
多い場合にはバッファメモリは図６に表されるように各
処理群の出力で用いられる。これは画像の各ブロックに
対する測定された誤差を収集し、順に並べる回路であ
る。回路１０ｊは図５に記載された回路に対応し、これ
もまた処理群と称される。同じ水平振幅を有する動きベ
クトルの群ｊに関するこの回路１０ｊの出力は故にカス
ケード内の最後の処理回路８ｉの出力である。

【００２５】この出力はバッファメモリ回路１１ｊの入
力に接続され、これは回路１０ｊに対応する動きベクト
ルに対する画像のブロックのそれぞれに関する誤差を記
憶し、転送クロックはＦＩＦＯメモリにこれらの誤差を
転送するためにまた用いられる画素クロックである。バ
ッファ１１ｊの容量はストライプ内のブロックの数を乗
算されたこのバッファに接続される処理群の処理回路８
の数に等しい。

【００２６】最終的にブロックのライン内の画素の数が
処理群の処理回路の数より少なく、ＦＩＦＯに対する部
分和及びバッファメモリへのブロック毎の誤差の転送の
周波数は画素周波数より大きくなければならない。しか
しながら簡単な実施例は群当たりの処理回路の数がブロ
ックのライン当たりの画素の数に対応する。

【００２７】この例ではｊは５に等しく、これは垂直方
向で±２の窓に対応し、ブロックのライン内の画素の数
は少なくとも５に等しく、２５よりも小さいと仮定され
る。それから計算された誤差は対応するバッファメモリ
１１ｊにより群のそれぞれに同時に転送される。この転
送は各ストライプの最後のラインをスキャンする一方で
なされる。それの５つの入力でマルチプレクサ１２はバ
ッファメモリからの出力を受ける。各メモリ出力はマル
チプレクサを介して順次デバイスにより出力され、それ
により各ブロックの１及び同一ブロック及び等々に対応
する誤差を供給し、これは画素周波数と等しいバッファ
メモリ読み出し速度である。故に与えられた画像ブロッ
クに対する動きベクトル候補に対応する誤差の全ては画
像の最初から最後のブロックへ、マルチプレクサの出力
でシリアルに転送される。

【００２８】各動きベクトルに関連するブロックの誤差
のシリアル転送はそれが構成される、即ちブロックのラ
インの数を乗算されたラインブロック周期の間にブロッ
クの数により分割されるストライプ周期の間を通過して
達成され、これは転送が画素周波数で実行された場合に
はブロックのがぞの数に等しい動きベクトルの最大数に
対応する。故に動きベクトルの候補の数はサンプリング
周波数で転送用のブロックで多くとも画素の数全体と等
しくなければならない。

【００２９】反対の場合にはバッファレジスタ１１を読
み出す周波数は画素周波数より大きくなければならな
い。特定の実施例は水平に１６画素、垂直に８画素のブ
ロックに関する。検索窓は垂直に±２画素、水平に＋
７，−８画素である。故に動きベクトル又処理回路の数
は８０であり、５つの処理群に分配され、それぞれは１
６の処理回路を有する。ストライプに対して測定された
誤差はストライプ内のブロックの数を乗算された８０の
値に対応する。これらの値はストライプの５ラインの周
期に亘り画素周波数でマルチプレクサ１２によりシリア
ルに転送され、このストライプ転送のない他の３ライン
の間は離され、一方で現在のストライプの誤差の計算は
完了する。

【００３０】上記の実施例は無論限定されたものであ
る。故に処理回路を水平方向よりもむしろ垂直に結合す
ることは全く問題のないことである。画素周波数で転送
に匹敵する結合の型を選択することは可能である。動き
推定の処理回路の組全体に対して単一のメモリ９を用い
ることはまた考えられ得ることである。処理群の出力は
三状態回路によりＦＩＦＯ入力上で多重化され、又はそ
うでなければ充分な数である入力に転送される。

【００３１】

【発明の効果】この装置の利点により推定器を実施する
回路は簡単化され、後者の計算時間とコストは減少され
る。スキャン変換は必要とされない。限定された数のメ
モリ回路は動き推定器の全体のアーキテクチャーの簡単
化を許容する。このアーキテクチャーはマッチングの種
々の型、例えば「片側ブロックマッチング」型又は補間
的な「両側ブロックマッチング」型の前の画像に亘り適
合する。それはまた種々の大きさのブロックの利用に適
合され、下流の処理用のブロックに対して計算された誤
差に容易なアクセスを提供する。共に結合し共通の回路
への小さな反復的な基本的な構造の利用は例えばＶＬＳ
Ｉ（大規模集積）回路のような大規模な集積に対して特
に良く適合する。

【図面の簡単な説明】

【図１】従来技術による「片側ブロックマッチング」型
の動き推定のアーキテクチャーを示す。

【図２】従来技術による「両側ブロックマッチング」型
の動き推定のアーキテクチャーを示す。

【図３】シフトレジスタへループバックされた動き推定
器の処理回路を示す。

【図４】動き推定器の処理回路の他のバージョンを示
す。

【図５】一群の処理回路を示す。

【図６】一群の動き推定器の処理回路のレイアウトを示
す。

【符号の説明】

１ 計算回路 ２ 加算器 ３ マルチプレクサ ４ 遅延回路 ５ メモリレジスタ ６ シフトレジスタ ７、１２マルチプレクサ ９ ＦＩＦＯメモリ １１バッファレジスタ Ｖ１ｉ、Ｖ２ｉ 入力 Ｃ１ 制御入力 Ｈ１ クロック入力 Ｅｉ 入力 Ｓｉ 出力 ８ｉ処理回路

───────────────────────────────────────────────────── フロントページの続き (72)発明者 マイケル ニー イギリス国 ジーユー32 ２イーイー ピ ーターズフィールド・ハンツ ウッドベリ ー・アヴェニュー ６

Claims (6)

【特許請求の範囲】
1. 【請求項１】 現在の画像のビデオデータはラインスキ
   ャンにより受けられ、動きベクトルの各候補に対する処
   理回路からなり、そのベクトルは画像の各ブロックに対
   するこのベクトルによりマッチングされた画素間の誤差
   を計算するために水平及び垂直成分により決定される、
   ブロックマッチングによりビデオ画像の動きを推定する
   装置であって、処理回路は部分和を得るためにブロック
   の各ラインで誤差を集積し、似た成分の動きベクトル候
   補に関する処理回路はそれ自体がメモリによりループバ
   ックされたチェーン形成するよう共に結合され、前のブ
   ロックに対する現在のビデオラインで計算されこれらの
   候補ベクトルのそれぞれに対応する誤差の部分和をこの
   メモリに転送し、前のビデオラインで計算され次のブロ
   ックに関連する部分和をこのメモリから対応する処理回
   路に転送し、これらの転送は現在のブロックの部分和を
   計算する間に実行されることを特徴とする装置。
2. 【請求項２】 結合は、転送中にレジスタに亘り部分和
   を送るよう部分和を記憶するレジスタ及びこのレジスタ
   に処理回路の入力を直接スイッチングするマルチプレク
   サにより各処理回路の出力でなされることを特徴とする
   請求項１記載の装置。
3. 【請求項３】 転送はビデオサンプリング周波数でなさ
   れることを特徴とする請求項１又は２記載の装置。
4. 【請求項４】 各チェーンによりブロック毎の誤差出力
   を記憶するために処理回路の各チェーンの出力にバッフ
   ァを含み、ブロック毎にシリアルに誤差を転送するため
   にバッファの出力でマルチプレクサを含むことを特徴と
   する請求項１乃至３のうちいずれか１項記載の装置。
5. 【請求項５】 動き推定器は「片側ブロックマッチン
   グ」型であることを特徴とする請求項１乃至４のうちい
   ずれか１項記載の装置。
6. 【請求項６】 動き推定器は「両側ブロックマッチン
   グ」型であることを特徴とする請求項１乃至４のうちい
   ずれか１項記載の装置。