JP3101691B2

JP3101691B2 - 二次元動画像の連続するピクセルを表わすデータ信号を処理するための方法および回路

Info

Publication number: JP3101691B2
Application number: JP01292109A
Authority: JP
Inventors: アラン・アルティエリ; フランシス・ジュタン
Original assignee: フランス共和国
Priority date: 1988-11-09
Filing date: 1989-11-09
Publication date: 2000-10-23
Anticipated expiration: 2015-10-23
Also published as: EP0369854A1; FR2638924B1; DE68924043T2; ES2077587T3; EP0369854B1; DE68924043D1; FR2638924A1; JPH02213291A; US5099325A

Description

【発明の詳細な説明】発明の背景発明の分野この発明は、動画像を表わす２次元信号に対する、伝
送または格納されるデータ量を削減するための処理に関
する。この発明はテレビ電話およびテレビ会議のよう
な、たとえば電話線を介した毎秒64キロビット程度とい
う低いデータ速度でも、許容できる画質で伝送すること
が問題となる分野に関する。

先行技術必要なデータ速度を削減するためのさまざまな提案が
なされてきた。これら提案のうちいくつかは、画像内の
空間的相関を使用する。考慮すべき技術のうちでは、ル
ープを符号化するための離散コサイン変換が特に興味あ
るものであると思われる。

また、連続する画像内での時間的相関を用いることも
提案されている。通常使用される解決法は、連続する画
像ピクセルをそれぞれ表わす信号を伝送するのではな
く、現在の画像信号と、問題となる画像点（ピクセル）
における信号の推定値である予測値との間の差分を用い
る。

特に、先行するフレーム内において同一のピクセルを
表わす信号の値が、現在の画像内のそのピクセルの予測
値として使用されてきている。しかしこのイメージ間符
号化方法は、画像内のかなりの部分が同時に移動してい
ることもあり得るという事実を考慮していない。

より効果的な方法は、動きを考慮したものであり、す
なわち画像内の異なる部分の動きを評価することを意味
する。最も興味ある動き予測法は、いわゆるブロックマ
ッチング方式である。画像は予め定められたサイズを有
するブロックに分割される。現在の画像の各ブロックに
対して、先行する画像内の、そのブロックを包含した窓
内で最も類似しているブロックが探索される。各ブロッ
クに対して、この最も類似しているブロックを現在の画
像の当該ブロックに対応づけるような動きベクトルが計
算され、デコーダに転送される。そのような動きベクタ
を評価するための装置がヨーロッパ特許第０ 181 215
号に記載されている。

たとえば、現在の画像の、８×８のブロックの中で、
23×23ピクセルの窓内で最も近いブロックを探索するこ
とができる。

一見するとこの場合に必要とされるコンピューティン
グパワー、すなわちCIF（Common Intermediate Format:
共通中間フォーマット）画像に対して1.6×10⁹回の演算
に対応するコンピューティングパワーは、非常に複雑な
回路を必要とし、したがってそうした解決法は受け入れ
られないものであるかのように思われる。

発明の要約この発明の目的は、リアルタイム計算に対して許容で
きる複雑さを得ることを実現し、それを可能とするよう
な画像処理方法および回路を提供することである。

この目的のために、ここに提供される方法は、画像
が、各々が画像の高さの整数分の１に等しいような予め
定められた高さを有する帯状帯のスキャンによって列ご
とに得られたピクセルによって最初に表現されることを
条件とする。画像は、各々がＭピクセルのＮ列を含んだ
ブロックに分割される。Ｍは帯状帯の高さ方向の画素数
の何倍か、恐らく１倍に等しい数であり、Ｎは画像当り
の列の数の整数分の１である。現在の画像のブロックの
各々に対して、前記ブロックを、直前の画像のＨ画素か
らなるＬ列のサーチ窓内の、同一サイズの可能なブロッ
クの各々と比較することによって、全体的な最小の歪み
が決定される。このサーチ窓は現在のイメージのブロッ
クを含む。この計算はＭ×Ｎサイクル内で、すなわち現
在の画像のブロックを走査するために要するのに必要な
時間と正確に同じ時間で、各サイクルの間の並列計算に
よって、現在のブロックの所与のピクセルと、先行する
画像内のサーチ窓内のブロックのオフセットまたは動き
に基づき、そのピクセルに対応すると思われるピクセル
の各々との間で計算される部分的な歪みのすべてについ
て行なわれる。その後現在の画像のブロックに対して最
も小さな歪みを有する、先行する画像内のブロックの１
つが、典型的にはまず行比較、次に列比較により決定さ
れる。

本願発明の方法および回路は、利用可能な伝送帯域と
の互換性を保つために信号圧縮を必要とする、高品位テ
レビジョン（HDTV）に提供することができる。本願発明
の方法または回路によって各ブロックに対して得られた
動きベクトルは、伝送されないフレーム（またはフィー
ルド）を近似的に整形するための補助データとして伝送
できる。

本願発明が提供する回路は、２次元動画像信号をブロ
ック処理するための回路であって、各画像を列ごとのス
キャンによって得られたピクセルで表わし、当該画像を
Ｍ行Ｎ列のブロックに分割するための手段を含み、ここ
でＭおよびＮは画像内の行および列の数の整数分の１で
あり、この回路はさらに、現在の画像内のあるブロック
と、先行する画像のＨ行Ｌ列を有するサーチ窓内の、同
一サイズを有する各ブロックとの間の最もよい一致を決
定するための手段を含む。この回路の重要な特徴の１つ
は、現在のブロックのピクセルが各々順に計算経路のす
べてに分配され、一方でサーチ窓内のピクセルが循環し
回路内の固定位置で部分和が形成されるという点であ
る。特に、この回路は各々が（Ｌ−Ｎ＋１）個のプロセ
ッサ（サーチ窓内で可能な限りのオフセットと同じ数の
プロセッサ）を有する（Ｈ−Ｍ＋１）行のマトリクスを
含み、各プロセッサは特定のオフセットまたは変位に対
応する歪みを計算する。この回路はさらに、以下を含
む。

すべてのプロセッサに対して、同一サイクル内におい
て、現在のイメージのブロックの同一ピクセルを表わす
データ（たとえば輝度または色信号）を分配し、あるサ
イクルから次のサイクルに移るときに、あるピクセルに
関するデータを、そのブロックの他のピクセルに関する
データで置換することをＭ×Ｎサイクルが実行されるま
で行なうための手段と、連続するサイクルの間に、各プロセッサに対して、そ
のサイクルの間で分配されたブロックのピクセルに対し
常に同じオフセットを有するサーチ窓内のピクセルを表
わすデータを与えるための手段と、プロセッサの各々は
あるピクセルに対する歪みを計算し、これらサイクルの
間にこのブロックのすべてのピクセルに対する部分歪み
を累積し、累積値を格納するよう構成されており、およ
びこの累積値の間の比較により、現在の画像のブロック
と最もよく一致する、サーチ窓内のブロックを判定する
ための手段。

本願発明は、この発明を限定する例として与えられる
ものではない、特定の実施例に関する以下の記載を読め
ばよりよく理解できるであろう。以下の記載は添付の図
面を参照する。

好ましい実施例本願発明の特定の実施例を記載する前に、ブロックご
とのマッチングにより動きを予測する原理を想起するこ
とが有用である。

処理されるべき画像は複数個のブロックに分割され
る。これらブロックは各々Ｍ×Ｎというサイズを有す
る。Ｍは行数を、Ｎは行内のピクセル数を表わす。現在
の画像の各ブロックに対して、これと最も高い相関を有
するブロック、すなわち最も類似しているブロックが、
先行する画像（または別のより前に画像）内で探索され
る。このとき探索範囲は、サイズＨ×Ｌの窓内に限定さ
れる。このために、現在の画像のブロックＭ×Ｎを、窓
Ｈ×Ｌ内の同一サイズのブロックの１つに対応づけさせ
るような可能な変位、これを＜＞（i,j）ベクトルとし
て表わすが、これに関連した歪み関数が計算される。そ
して最も小さな歪みを導くような変位が決定される。

歪み関数は２引数関数である。最も重要なのは相関関
数である。しかしこれは計算する上で複雑であり、通常
は計算をあまりに複雑なものにするおそれがある。した
がってより簡単な歪みＤ（i,j）関数で以下の形のもの
を用いる。

通常は、関数ｄ（x,y）＝ｘ−ｙまたはｄ（x,y）＝
（ｘ−ｙ）^２が使用される。以下ではｄ（x,y）＝ｘ−
ｙの場合のみ考える。現在の画像のブロックに最も近い
サーチウィンドウ内のブロックとしては、Ｄが最小とな
るものが選ばれる。

第１図において、Ｍ＝Ｎ＝２である。すなわち現在の
画像の各ブロックは４ピクセルｘ_0,0，…,x_1,1を含む。
Ｈ＝Ｌ＝４である。すなわち各サーチ窓は16ピクセルｙ
_0,0，…,y_3,3を含む。この場合（Ｈ−Ｍ＋１）（Ｌ−Ｎ
＋１）＝９個の歪みが計算され、各歪みの計算ではＮ×
Ｍ個の絶対値計算およびＮ×Ｍ回の累積演算が行なわ
れ、そのブロックで2NM（Ｈ＋Ｍ＋１）（Ｌ−Ｎ＋１）
回の演算が行なわれることに対応する。リアルタイムで
は、あるブロックは各点ずつＮ×Ｍサイクルで伝送され
るので、したがって計算回路は各サイクルにつき２（Ｈ
−Ｍ＋１）（Ｌ−Ｎ＋１）回の演算を実行することが可
能であること、すなわちブロックのＭ×Ｎというサイズ
ではなく、サーチ窓内で、このブロックに対応する可能
な限りの変位の数のみに依存するコンピューティングパ
ワーが必要とされる。

本願発明は特に、計算モードの選択をなす上でこの属
性を用いている。本願発明によれば、窓内のブロックＭ
×Ｎの可能な変位のすべてに対応する計算は並列に行な
われる。計算サイクルの数は、そしてそれのみが、ブロ
ックのサイズに依存する。

テレビジョン画像を伝送するために従来はラスタスキ
ャンが用いられてきており、より一般的には画像が点ご
とに分析されてきた。各ラインの全体が順にスキャンさ
れ、２本のライン間にはラインのブランキング期間が設
けられている。本願発明の方法はこれとは異なるスキャ
ン方法が用いており、それは「列ごとのブロックスキャ
ン」とでも呼ぶべきものである。この方法は計算回路の
アーキテクチャを非常に簡略化する。

第２図はそうしたスキャンの第１の例を示しており、
ブロックサイズがＭだけであるという条件を利用してい
る。画像は連続する帯状帯によってスキャンされる。こ
の帯状帯の高さは画像の高さの整数分の１であり、ブロ
ックの高さと等しい。

後者のような選択を行なっている理由は以下のとおり
である。もし、高さＭ（Ｍは偶数のラインを示す）のブ
ロックにつき、帯状帯の高さＰ＝M/2が選択され、Ｈ＝2
Mとすれば、現在の画像内のブロックと、現在のブロッ
クの上および下の先行する画像の窓の「周囲」とにおい
て比較されるべき点が、このタイプの走査により、より
直接的に利用可能となるためである。

画像のデジタル表現を、第３図のスキャンシーケンス
に従って配列されるピクセルとして提供するための装置
についての記載は必要ない。なぜならばそれは、連続す
るピクセルをデジタル化する従来のラスタスキャン装置
と、アドレス指定可能な画像メモリと、要求されている
走査方法に従ってメモリから読出を行なうための手段と
を含んでいればよいからである。

第３図は前述したものよりもさらに有利な、列ごとの
ブロックスキャンの修正したものを示す。しかし一方の
スキャン方法から他のスキャン方法への変換は、ブロッ
クの１列を含むのに十分な容量を有するレジスタを用い
ることによって非常に簡単な方法で達成できる。画像の
ラインごとの伝送が従来のラスタスキャンにより行なわ
れるものとすれば、いわゆる画像処理の前に、画像のＰ
ラインに等しい容量を持つメモリを用いて入力変換を行
なうことができる。ここでＰはブロックスキャンのため
の帯状帯の高さである。

本願発明を明確にするために、本願発明の方法を実現
するための説明を最初に、ブロック（この場合カーネ
ル）および窓が第１図に示されるような種類である場合
に限定して行なう。この方法を一般化するのは直ちに可
能であって、計算経路の数はいずれの場合にも可能な限
りのシフトまたはオフセットの数と等しく、この方法の
各ブロックに対する基本的シーケンスのサイクル数はい
ずれの場合にも、Ｎの値にかかわらず2Mに等しく、この
基本シーケンスはＭ×Ｎサイクルの実行が完了するのに
必要な数だけ繰返される。

第4A図〜第4D図はそれぞれ計算サイクル０、１、２お
よび３を示す。各サイクルの間、４つの計算が同時に実
行される。この計算はすべての可能な関連づけについて
の部分積を、しかし一時には係数ｘ_0,0、ｘ_0,1、
ｘ_1,0、ｘ_1,1のうち１つのみについてであり、かつ窓内
のすべての適切なピクセルについて行なわれる（第１
図）。各サイクルにおいて、すべての経路は係数ｘ_m,n
（ｍ∈｛0,1｝およびｎ∈｛0,1｝）を受け、すべての経
路は並列に動作し、各々は９つのグローバルな歪みの部
分項ｄ（ｘ_m,n,y_{ｍ＋i,n＋ｊ}）を計算するが、これら項
は部分歪みを計算する、ｘ_m,nを必要とする９つの計算
に対応する項である。

この場合サーチ窓のピクセルに対して必要となる演算
は、シフト演算のみとなる（Ｍ＝Ｎ＝２の場合には、上
方向に１ポジション、下方向に１ポジション、および左
方向に１ポジション）。算術演算は積和のみに限定され
る。そして、窓のピクセルを定義するデータを得るため
に、入力に対して複雑な操作をする必要がないこと、こ
の好ましい結果がスキャン方法の性質によって得られる
ということがわかるであろう。

第4A図〜第4D図に示される例では、４サイクルの間に
実行される演算は以下のとおりである。

サイクル０（第4A図）ピクセルｘ_0,0を表わすデータ（たとえば輝度）が互
いに並列な関係にある計算経路のすべてに与えられる。
これら計算経路はいずれもプロセッサにより実現され
る。計算経路の各々はその計算経路に関連したポジショ
ン（i,j）（ただし０≦ｉ≦３および０≦ｊ≦３）に関
連した項ｄ（ｘ_0,0,y_i,j）を計算しストアする。

第4A図の左手部分は、同時に現われる、ピクセルｙ
_0,0、…、ｙ_2,2およびピクセルｘ_0,0の間のそれぞれの
歪みに対応する。

サイクル１（第4B図）サイクル１の間に、４つの項ｄ（ｘ_1,0,y_１＋i,j）が
並列に計算される。このためには計算経路の各々は、サ
イクル０の間に使用された、サーチ窓内のピクセルのす
ぐ下に位置するピクセルを表わすデータを受取らなけれ
ばならない。すなわちサーチ窓内のすべてのピクセル
を、９つの可能性に対応する歪みを計算する前に、矢印
f1で示されるように上方向に１ポジションシフトするこ
とが必要である。

この同じサイクル１の間に、オフセットに対応する部
分歪みがサイクル０での部分歪みに和演算によって加算
され、これは第4B図の左手部分に示されているとおりで
ある。

サイクル２（第4C図）サイクル２は、ピクセルＸ_1,1に対するすべての歪み
の積を計算することに対応する。したがって各プロセッ
サは項ｄ（ｘ_1,1,y_{１＋i,1＋ｊ}）のうちの１つを計算す
る。この目的のためにサーチ窓内のすべての点は、部分
歪みが計算される前に１ポジションだけ左方向（矢印f
2）にシフトされ、それ以前の歪みとの和がとられる
（第4C図の左部分）。

サイクル３（第4D図）サイクル３の間には、サイクル２と同一の計算が、た
だしｘ_0,1に対して行なわれ、そのためサーチ窓内のす
べての点を、１ポジションだけ下方向に（矢印f3）シフ
トすることが必要である。計算された各部分歪みは、可
能なオフセットの各々に対する、対応する部分または中
間結果に加算される。その結果９つの可能なオフセット
の各々に対応するブロック全体に対するグローバルな歪
みが得られる。

この結果、９つの歪みのうちの最小のものと、現在の
画像のブロックを、歪みが最小となるような先行する画
像内のブロックに対応するようにさせるシフトを規定す
るベクトルとを決定することができる。

第4A図〜第4D図に示す操作は、３×３のプロセッサの
マトリクス配列と、複数個のレジスタとを含む回路を用
いることにより効果的に実行できる。このプロセッサの
各々は計算経路を形成し、サーチ窓の１ピクセルを表わ
すデータと、オフセットに対応する計算結果の歪みとを
ストアすることが可能である。レジスタは各サイクルの
間に得られた窓内のピクセルをストアするためのもので
ある。これらはこのサイクルでの計算には用いられない
が次の計算サイクルで用いられる。

第4A図〜第4D図においてハッチングした部分が、必要
とされるプロセッサを表わすものと考えれば、初期化期
間を除くデータ転送が以下のように行なわれることがわ
かるであろう。

サイクル０の始めには、データｙ_0,0,0〜ｙ_0,2,2は既
にその前の一連のサイクルによりプロセッサ内で利用可
能となっている。ｘ_0,0,0はすべてのプロセッサに分配
される。ｙ_0,0,3およびｙ_0,2,3はマトリクス配列の入力
に与えられ入力レジスタにストアされる。

サイクル１の始めにおいて、データｘ_0,1,0がすべて
のプロセッサに分配される。データｙ_0,1,3およびｙ^3,3
は入力レジスタに格納される。これら入力レジスタはこ
の結果サーチ窓の次の列のすべてを含むことになる。す
なわちサーチ窓内の次の列のすべてのピクセルが含まれ
る。プロセッサの内容ｙは上方向に１ポジションだけシ
フトされる（矢印f1）。

サイクル２の間に、データｘ_0,1,1がすべてのプロセ
ッサに分配され、サーチ窓のピクセルは左方向に１ポジ
ションだけシフトされる（矢印f2）。同時にデータｙ
_0,1,4およびｙ^3,4が対応する入力レジスタに格納され
る。

最後に、サイクル３の間に、データｘ_0,0,1が分配さ
れ窓が下方向にシフトされると（矢印f3）、データｙ
_0,0,4およびｙ_0,2,4が導入される。このようにして画像
の次のブロックに対応する一連のシーケンスを開始する
のに必要なデータｙが利用可能となる。

Ｄの最小値は２つのフェーズで計算される。

（１）第１フェーズでは、格納された歪みがマトリク
スの辺方向にずらされ、１列の演算子に供給される。あ
る演算子は、ライン歪みの中の最小値を計算するために
割当てられる。

まず最初に、シフトが左方向に行なわれることが仮定
される。これは第4A図に示されたケースに対応する。

第１のサイクルでは、各演算子はブロックＭ×Ｎの水
平方向の可能なオフセットのうち最も左のものに対応す
る歪みを受ける。すなわちこの場合のオフセットは図示
されたように−１左方向である。

各演算子は歪みＤと、それと関連したｘに沿ったオフ
セットとをストアする。

第２のサイクルでは各演算子は次の歪みを受け、それ
を格納されている歪みと比較する。新たな歪みの方が小
さい場合には演算子はそれをそれに関連するオフセッ
ト、すなわちその前のサイクルのオフセットに１を加算
したものとともにストアする。オフセットを決定するに
はカウンタで十分である。

同じ演算が、可能な歪みのすべてが１列の演算子に与
えられるまで繰返される。この結果各演算子は各列の歪
みのうちで最小値と、それに関連するオフセットとを含
むことになる。

（２）第２フェーズは演算子にストアされているすべ
ての歪みの中の最小値を決定することを含む。この演算
は先行する演算に直接続く。

第５図に、最小値とそれぞれのベクトルがどのように
して決定されるかをよりよく理解するための例を示す。
この図ではステップ「ゼロ」は、既に説明し第4A図〜第
4D図に示された方法によって得られた、歪みのマトリク
スの決定からなる。最小の歪みが１に等しくポジション
（0,−１）に対応するものであることがわかる。上述し
た第１フェーズは第５図のステップ１、２および３に対
応する。第２フェーズ、すなわち最小値の探索はステッ
プ４、５および６により形成される。

上述した方法を実現する可能な回路について以下説明
する。ここではその原理を第３図に示した、修正された
列ごとのスキャンによるスキャン方法を採用するものと
仮定する。さらに、ブロックはサイズＭ×Ｎを有し、サ
ーチ窓はサイズＨ×Ｌを有するものと仮定する。M/H以
上である整数（好ましくはM/Hのすぐ上の数である）は
Ｋとする。

第4A図〜第4D図に示すように、サーチ窓内の列全体の
点の値が、そのブロックのある列を処理するための時間
の間に供給されなければならない。Ｎ＝２およびＨ＝４
として、サーチ窓のブロックに対してはＫ＝２入力が必
要である。

第６図および第７図に示された例はＫ＝３に対応し、
これはたとえば８×８ブロックおよび23×23サーチ窓に
対応する。

この場合動き予測モジュール10はその入力12に、現在
の画像のピクセルの値ｘを受ける。現在の画像の帯状帯
Ｂによって規定されるブロック（第７図）を処理するた
めには、先行する画像の帯状帯Ａ、ＢおよびＣの画素が
予測モジュール10に対して利用可能でなければならな
い。そのため予測モジュール10の３入力14、16および18
はそれぞれ先行する画像の、ブロックＢの帯状帯のすぐ
下のブロックＣの帯状帯の画像信号、ブロックの１つの
帯状帯を格納するのに必要な容量を有する遅延線20を介
して得られた、先行する画像内のブロックＢの帯状帯
（現在の画像の帯状帯Ｂと同じ位置の、帯状帯）の、先
行する画像の信号、および最後に、先行する画像の、ブ
ロックＢの帯状帯のすぐ上のブロックＡの帯状帯の信号
であって、遅延線20と同じ遅延線22を介して得られた信
号をそれぞれ受ける。要約すると、入力12および16は１
画像に相当する時間的オフセットを持った同じピクセル
に対応し、入力14および16はブロックの１つの帯状帯に
対応する時間的オフセットを持った同じピクセルに対応
する。

帯状帯Ｂにより規定されるブロックが処理された後、
現在の画像内のブロックＣおよびＤの帯状帯の処理が始
まる。このとき、先行する画像のブロックの帯状帯
Ｂ′、Ｃ′およびＤのピクセルがモジュール10に与えら
れる（第７図）。

動き予測モジュール10のコアは、各々が（Ｌ−Ｎ＋
１）個のプロセッサを有する（Ｈ−Ｍ＋１）ラインのマ
トリクス配列により形成される。各プロセッサは歪みを
計算するためのものである。マトリクス配列内で各プロ
セッサにより占められる位置は、歪みが計算されるべ
き、サーチ窓内のブロックのオフセットに対応する。

モジュール10のプロセッサの各々は、ｄ（X,Y）が差
分の絶対値である場合には、第８図に概略を示したとお
りに構成することができる。Ｘはすべてのプロセッサに
ついて共通であり、共通入力から与えられる。Ｙは各プ
ロセッサに特有の局部的データである。プロセッサは、
歪み計算回路24、入力レジスタ32および出力レジスタ34
を含んでいるものと考えることができる。

計算回路24は共通データＸおよび局部データＹを受け
る加算器26を含む。この加算器は|X−Y|を決定すること
を可能とするXORゲート27に関連づけられ、XORゲート27
は加算器28およびレジスタ30により形成される累算器の
入力の１つにその値を与える。加算器の２番目の入力は
レジスタ30の出力から値をフィードバックされる。加算
器の出力および|X−Y|はそれぞれレジスタ30の２つの入
力に与えられ、レジスタ30の部分的歪みを合計する。レ
ジスタの出力を加算器28の入力に再入力することによ
り、すべての計算サイクルが終了するときにレジスタ30
の出力にＤが現われる。初期化入力T0は、各ブロック処
理演算の終了後に累積器をクリア可能にする。

入力レジスタ32は、マトリクス配列内の上方に配置さ
れたプロセッサ、下方に配置されたプロセッサ、または
右側に配置されたプロセッサから発生される新たなデー
タＹの再生を可能とする。そのため入力レジスタ32は３
つのデータ入力36および選択入力38を有する。

出力レジスタ34は、計算回路24の、加算器28およびレ
ジスタ30により形成される累算器に含まれている歪み
（累算器の初期化サイクルの間に、信号T0に応答して転
送が生ずる）、または今考慮しているプロセッサの右側
に存在しているプロセッサ24の出力レジスタの内容のい
ずれかをストアする。そのためにレジスタ34は歪みＤを
受ける入力と、右側に位置するプロセッサのレジスタの
内容を受ける入力40と、同期信号T0を受ける制御入力と
を有する。

特に、８ビット符号化されたデータを用いることが可
能であり、その場合には累算器の構成要素は16ビットワ
ードを処理できるようにされ、オーバーフローなしで25
6の部分歪みを合計できる。

第９図に示される動き予測モジュール10は、（Ｌ−Ｎ
＋１）×（Ｈ−Ｍ＋１）個のプロセッサのマトリクス配
列に加えて、新たなレジスタの２つのグループ44および
46を含む。これら新たなレジスタは、垂直方向のシフト
が生ずるときに、プロセッサのマトリクス配列の外とな
る窓のピクセルを受けるためのものである。したがって
各々が（Ｌ−Ｍ＋１）個の３入力レジスタを有する（Ｈ
−Ｍ）個のラインであって、プロセッサのマトリクス配
列の入力レジスタ32と同様に形成されたものを設けるこ
とが必要となる。

第９図においてこれらレジスタはプロセッサの上に
（Ｈ−Ｍ）ラインのレジスタと、プロセッサの下に（Ｈ
−Ｍ）ラインのレジスタという形にグループ化されてい
る。必要とされるレジスタに関してより好ましい他の解
決法が第10図に示される。ここでは、厳密に必要とされ
る数だけのレジスタのみ（ハッチングによって示されて
いる）が使用され、プロセッサマトリクス配列42からの
フィードバックを受けている。しかしこの解決法では、
プロセッサマトリクスアレイについてより大きな透過性
が必要となる。

最後に、このモジュールは、上で考慮したシフトおよ
びオフセットの場合には、プロセッサのマトリクス配列
の右側に設けられた汎用入力レジスタ47と、プログラム
マトリクスアレイの左側に設けられた、最小値を決定す
るためのユニット48とを含む。

汎用入力レジスタはレジスタ32と同様に動作し、ユニ
ット48は第８図と同様の構成で、ただし第５図に示され
ている機能を充足するように構成される。

上記した処理回路の種々の構成要素を所定のシーケン
スで動作させるのは非常に簡単である。なぜなら、４つ
の同期信号のみで十分だからであり、これらは直接に、
またはローカルクロック信号（図示せず）により供給さ
れる、回路の汎用クロック信号と組合わせて用いられ
る。

第11図は最上段に示したクロック信号に対する、４つ
の信号の時間的配分を示している。

リセット信号RSTは計算プロセスの開始を示す。この
信号は、先行するブロックについて既に実行済みの計算
結果の転送を生じさせる。したがってこれは第８図に示
す信号Ｔ_0,0と等価である。

水平方向の左シフト信号Ｓ−HORは、窓のピクセル全
体の水平左方向へのシフトを制御し、この例のサイクル
０および２の間に、シフトを生じさせる。この信号はし
たがって新たな列の処理の開始を示し、その列の第１ピ
クセルの処理と同期している。

垂直上方向シフト信号Ｓ−UPは、ある列内で残ってい
る、上から下までの一連のＭ−１個のピクセルに対応す
る計算を実行するのに必要なＭ−１サイクルの間に必要
とされるシフトを生じさせる。

垂直下方向シフト信号Ｓ−DOWNは、列の下から上まで
に対して同じ役割を果たす。

窓の点に対する上方向シフトの信号Ｓ−UPおよび下方
向シフトのための信号Ｓ−DOWNは交互に生じ、各々がＭ
−１個のサイクルの間続く。

したがって基本的な2M個のサイクルのシーケンスは、
Ｓ−HORによって起動される水平方向の１シフトサイク
ルと、その後にＳ−UPによって可能化されるＭ−１個の
サイクルの上方向のシフトと、Ｓ−HORによって可能化
される、水平方向のシフトサイクルと、Ｓ−DOWNによっ
て可能化されるＭ−１個のサイクルの下方向のシフトと
を、この順で含む。

本願発明は従来のCMOSテクノロジーを用いて実現する
ことができる。垂直方向および水平方向に−８ピクセル
から＋７ピクセルまでの最大変位、すなわち最大で256
の変位に対応するピクセルレートで動作する動き予測回
路について、トランジスタ数は390,000個となる。この
数を削減するために、いくつかの歪み計算で同じプロセ
ッサを時分割で動作させ、さらに内部動作周波数を逓倍
することも可能である。

たとえば仮に同一のプロセッサが複数の歪み計算を行
なうものとすれば、そのプロセッサの内部タイミングク
ロック周波数はＮで逓倍されなければならず、第８図の
ダイヤグラムは第12図のものとなる。

この技術は、現在のCMOSテクノロジーで可能な最大動
作周波数が、多くの応用分野で必要とされるピクセルレ
ートよりも遥かに高いので有望である。

たとえば動作周波数とピクセルレートとの比が2/1で
ある場合、上記した回路内のトランジスタ数を240,000
にまで削減することができる。

【図面の簡単な説明】

第１図は４つの現在の画像ピクセルのブロックと、関連
するサーチ窓とを示す図である。第２図は本願発明を実現するために使用できる「列ごと
の」ブロックスキャンを示す図である。第３図は第２図と同様に、第１図に示す方法の変形例を
形成する「列ごとの」ブロックスキャン方法を示す図で
あり、本願発明を実現するために特に適合した方法を示
す図である。第4A図〜第4D図は、サーチ窓内での最適なブロックマッ
チングを探索するシーケンスを示す、連続するサイクル
を示す図である。第５図は最小値の計算例を示す図である。第６図は必要な信号を動き予測回路に与えるために遅延
線を用いる方法を示す図である。第７図はＨ＝3Mの場合の、サーチ窓をスキャンする可能
な方法の１つを示す図である。第８図は計算マトリクスを形成する基本となるプロセッ
サを示すブロック図である。第９図は本願発明に従った装置の一般的構成を示す図で
ある。第10図は上記構成の可能な変形例を示す図である。第11図は本願発明の装置の主要なシーケンス信号のタイ
ミング図である。第12図は第８図と同様に、プロセッサを時分割で動作さ
せる変形構成例を示す図である。図において10は動き予測モジュール、24は歪み計算回
路、32は入力レジスタ、34は出力レジスタ、26は加算
器、27はXORゲート、28は加算器、38は選択入力、40は
入力、42はプロセッサマトリクス配列、47はレジスタ、
48は最小値決定ユニットである。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開昭61−60092（ＪＰ，Ａ) 国際公開89／8891（ＷＯ，Ａ１) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68

Claims

(57)【特許請求の範囲】

【請求項１】２次元動画像の連続する画像のピクセルを
表わすデータ信号を処理するための方法であって、（ａ）前記画像の各々を、前記画像の高さの整数分の
１に等しい高さを各々が有する連続する水平方向の帯状
帯で、列ごとにスキャンするステップを含み、それによ
って行および列に配置されたピクセルとして前記画像の
表現が得られ、各帯状帯は共通の予め定められた個数の
行を含み、（ｂ）前記画像を、相互に隣接するピクセルブロック
に分割するステップを含み、各前記ブロックはＮ個の相
互に隣接する列を有し、前記列の各々はＭ個のピクセル
を有し、ＭおよびＮは予め定められた整数であり、Ｍは
一帯状帯の１本の列内のピクセル数の倍数であり、Ｎは
画像あたりの列数の整数分の１であり、（ｃ）現在の画像のブロックの各々に対して順に、そ
れぞれのブロックを、先行する画像内のＨ個のピクセル
のＬ個の列からなるサーチ窓内の、同一サイズの複数個
のブロックの各々と比較するステップを含み、Ｌおよび
Ｈはそれぞれ、ＭおよびＮよりも大きな予め定められた
整数であり、前記窓は前記現在の画像の前記ブロックを
含み、前記計算はＭ＊Ｎサイクル、すなわち現在の画像
のブロックをスキャンするために要する時間内で、各サ
イクルにおいて、現在のブロックの各ピクセルと、先行
する画像のサーチ窓内のブロックの、可能なオフセット
のすべてにおいて、前記ピクセルに対応するピクセルの
各々との間の部分的歪みのすべてに対して並列計算によ
って行なわれ、（ｄ）先行する画像のブロックのうちいずれのブロッ
クが現在の画像のブロックに対して最小の歪みを有する
かを、まず行ごとの比較により、次に列ごとの比較によ
り決定するステップとを含む、方法。
【請求項２】各ピクセルの歪みが、現在の画像内の前記
ピクセルを表わすデータと、当該ピクセルと比較され
る、先行する画像内のピクセルを表わすデータとの間の
差分の絶対値によって定義される、請求項１に記載の方
法。
【請求項３】各ピクセルの歪みが、現在の画像内の前記
ピクセルを表わすデータと、当該ピクセルと比較される
先行する画像内の、当該ピクセルに対応する特徴点を表
わすデータとの間の差分の二乗として定義される、請求
項１に記載の方法。
【請求項４】前記帯状帯の前記列の各々は、Ｈ＝2Mとし
てＭまたはM/2個のピクセルを有する、請求項１に記載
の方法。
【請求項５】２次元動画像の、連続する画像を表わすデ
ータ信号をブロック処理するための回路であって、（ａ）各画像を列ごとのスキャンによって得られたピ
クセルとして表わし、当該画像をＭ行Ｎ列のブロックに
分割して表現するための表現手段を含み、ＭおよびＮは
前記画像の各々内の行および列の数の整数分の１であ
り、（ｂ）現在の画像の第１のブロックと、先行する画像
内の、Ｈ行Ｌ列を有するサーチ窓内の、同一サイズの各
ブロックとの間での最もよい一致を決定するための計算
手段を含み、前記計算手段は、現在のブロックのピクセ
ルを順に複数個の計算経路の全てに分配するように構成
され、同時に、前記サーチ窓内のピクセルは前記経路の
間を循環するようにされ、前記計算手段内の固定位置に
おいて、歪みを合計するための手段を含む、回路。
【請求項６】２次元動画像の連続する画像を表わすデー
タ信号をブロック処理するための回路であって、（ａ）各画像を、列ごとのスキャンにより得られたピ
クセルとして表現し、前記画像をＭ行Ｎ列のブロックに
分割して表現するための表現手段を含み、ＭおよびＮは
前記画像の行および列の数の整数分の１であり、（ｂ）現在の画像内の前記ブロックの各々と、直前の
先行する画像内のＨ行Ｌ列を有するサーチ窓内の、同一
サイズを有する各ブロックとの間での最もよい一致を決
定するための手段を含み、ＨおよびＬは、それぞれＭお
よびＮより大きな予め定められた整数であり、前記第２
の手段は、（b1）各々が（Ｌ−Ｎ＋１）個のプロセッサを有する
（Ｈ−Ｍ＋１）行のマトリクスを含み、各プロセッサは
特定のオフセットすなわち変位に対応する歪みを計算
し、（b2）前記プロセッサのすべてに対して、同一の計算
サイクルの間に、現在の画像の前記ブロックの所与のピ
クセルを表わすデータ信号を分配し、１サイクルから次
のサイクルに移るときに、あるピクセルに関するデータ
を、現在のブロックの他のピクセルに関連するデータに
置換することを、Ｍ×Ｎサイクルが実行されるまで行な
うための第１の手段と、（b3）連続するサイクルの間に、各プロセッサに対し
て当該サイクル内で分配された現在のブロックのピクセ
ルに対して常に同一オフセットを有するサーチ窓内のピ
クセルを表わすデータを与えるための第２の手段と、を
含み、前記プロセッサの各々は、前記サイクルの間に、前記ブ
ロックのすべてのピクセルに対する部分的歪みを累積
し、累積された値をストアするよう構成され、（ｃ）前記累積された値の間の比較によって、前記サ
ーチ窓内のブロックであって、現在の画像のブロックと
最もよく一致するブロックを決定するための比較手段と
を含む、回路。
【請求項７】前記第２の手段が、前記行列内の先行する
画像のすべてのピクセルを、Ｍ×Ｎサイクルの後に、各
プロセッサがある予め定められたオフセットに対するす
べての部分的歪みを累積するような経路に沿って同時に
移動させるよう構成されている、請求項６に記載の回
路。
【請求項８】前記最もよい一致を決定するための比較手
段は、１列の演算と、行方向に可能な限りの数のオフセ
ット数だけのサイクル内で前記演算子を動作させ、行方
向のオフセットのうちのどの１つが最小の歪みに対応す
るものであるかを判定し、それぞれのオフセットを表わ
すベクトルを格納するための手段と、列方向に可能な限
りのオフセットの数だけのサイクル内で動作し、それぞ
れのオフセットを表わすベクトルのうちでどの１つが最
も小さな可能な歪みに対応するものであるかを判定する
ための手段とを含む、請求項６に記載の回路。
【請求項９】前記プロセッサの各々は、歪み計算回路
と、入力レジスタと、出力レジスタとを含み、前記出力
レジスタは最もよい一致を決定することが可能なように
相互接続されている、請求項８に記載の回路。
【請求項１０】前記計算回路は部分歪み計算機と、加算
累算器手段とを含む、請求項９に記載の回路。