JPH0795526A - 画像処理装置及びその処理方法 - Google Patents

Abstract

(57)【要約】 （修正有） 【目的】 動画像の動き予測を、効率的に、かつ高速に
行う。 【構成】 現フレームの画像信号を記憶するフレームメ
モリ１０１、１０３、前フレームの画像信号を記憶する
フレームメモリ１０２、１０４、フレームメモリ１０１
から読み出された参照ブロックに対応する画像信号及び
フレームメモリ１０２から読み出されたサブサンプルさ
れた画像信号を比較してブロックの動きを予測する第１
の予測処理部１２１、ブロックの最終的な動き予測を決
定する第２の予測処理部１２２、最終的に決定された動
き予測を記憶する動き予測メモリ１４１、並びに記憶さ
れた動き予測に基づきフレームメモリ１０２の下位アド
レスを供給する適応型インデックス制御部１３１を有
し、下位アドレス及びアドレスレジスタ１１２から供給
される上位アドレスによりフレームメモリ１０２の読み
出しを制御し、画像信号のサブサンプルされる位置を制
御する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像のディジタル画
像信号を圧縮／伸長するための画像処理装置及びその処
理方法に関し、特に、画像信号の圧縮を効率的に、かつ
高速に実行することができる改良された動き予測技術に
関する。

【０００２】

【従来技術】近年、画像や音声などの種々のデータを統
合的に扱うマルチメディアシステムの研究、開発が進め
られ、これに伴い、ディジタル化された静／動画像の蓄
積・伝送が不可欠となっている。しかし、画像情報をデ
ィジタル化すると、そのデータ量は、音声データなどと
比べて非常に膨大である。例えば、７２０＊４８０画素
のカラー動画像をディジタル化した場合には、数１００
Ｍｂ／ｓの高速データレートを必要とし、これを実行す
るには、伝送速度や記録媒体の面で問題がある。

【０００３】このような問題を解決するために、画像情
報を圧縮する技術が開発され、各分野において国際標準
化が進んでいる。テレビ電話やテレビ会議用の方式につ
いてはＣＣＩＴＴで、テレビ伝送用の方式についてはＣ
ＭＴＴ／２で、他方、静止画像についてはＪＰＥＧ（Ｊ
ｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ ＥｘｐｅｒｔＧ
ｒｏｕｐ）で、動画像についてはＭＰＥＧ（Ｍｏｖｉｎ
ｇ ＰｉｃｔｕｒｅＥｘｐｅｒｔ Ｇｒｏｕｐ）で標準
化が行われている。

【０００４】ＭＰＥＧでは、画像圧縮について基本的な
２つの基礎技術を有しており、それは、離散コサイン変
換（ＤＣＴ）と、動き予測である。動き予測は、すでに
進行された画像の部分に対して画像のセグメントを一致
させるように機能させる技術であり、その能力は、参照
ブロックサイズとサーチウインドウの範囲によって決定
される。

【０００５】動き予測の技術は、今日の画像圧縮システ
ムにおいて非常に重要視されており、高性能の動き予測
を行うチップの開発が注目されている。チップの心臓部
である並列プロセッサアレイのデザイン開発において、
サーチウインドウの範囲が（−８から＋７）の予測機能
を実行するためには、一般に、２００，０００の論理ゲ
ートを必要とする。

【０００６】現在のところ、数多くのチップが開発され
てきているが、ＭＰＥＧ２（符号化速度：４−９Ｍビッ
ト／秒、品質：ＮＴＳＣと同等以上）を満足するリアル
タイムＴＶアプリケーションの要求に十分に適合するも
のはない。さらに、こうした状況を悪化させているの
は、非常に大きなサーチ領域を伴う高い圧縮率が要求さ
れているからであり、この要求は、単一チップ構成のＬ
ＳＩ容量をはるかに越えるものである。従って、許容サ
イズのハードウエアにおいて、リアルタイム動作可能な
優れた性能を有する動き予測を開発しなければならない
という課題がある。

【０００７】現在行われている動き予測の実用的な例で
は、１６＊１６または８＊１６サイズの参照ブロック
で、水平方向（−６３．５、＋６３．５）、垂直方向
（−１５．５、＋１５．５）のサーチ範囲を必要として
いる。これは、半画素単位の精度を考慮すると、全体で
２５５＊６３＝１６０６５の個々の位置についてのサー
チを必要とし、これらの位置は、それぞれ絶対値の差分
で比較され、その全体の中から最小値（ＧＬＯＢＡＬ
ＭＩＮＩＭＵＭ）を見つけ出さなければならない。以上
のことから明かなことは、これらのすべての個々の位置
をサーチすること（以下、フルサーチ方式と呼ぶ）は、
リアルタイム動作を必要とするハードウエアにとっては
現実的ではない。例えば、ＴＶにおけるサーチでは、２
５マイクロ秒以内に完了しなければならないことにな
る。従って、新しい効率的なサーチアルゴリズムを開発
しなければならず、これによって、適切なハードウエア
によってフルサーチと同等の性能を実現することが可能
となる。

【０００８】次に、従来の一般的な動き予測の例を説明
する。ＩＳＯ（国際標準化機構）／ＭＰＥＧの共同で行
われたシミュレーション研究において、いくつかのテス
トシーケンスが共通のワーキングソースマテリアルとし
て定義された。これらのマテリアルは、一連のクリチカ
ルなビデオシーケンスを表せるように選択され、このシ
ーケンスによって、圧縮によるひずみを検知できるよう
にしている。

【０００９】動き予測は、前述したように、すでに進行
された画像の部分に対して画像のセグメントを一致させ
るように機能し（その後、圧縮画像を伸長するためにデ
コーダーで利用される）、その能力は、参照ブロックサ
イズとサーチするウインドウの範囲によって決定され
る。より動きの速いシーンでは、より大きなサーチ範囲
を必要とし、ＭＰＥＧの１つのテストシーケンスである
“ＣＡＲ”では、水平方向（−６３．５、＋６３．５）
のサーチ範囲を必要とする。通常の画素と画素のマッチ
ングサーチに加えて、ＭＰＥＧ２では、１／２画素精度
の精巧なマッチングを必要とする。このため、マッチン
グが行われる前に、画素の補間を行わなければならな
い。

【００１０】動き予測は、同一サイズのブロック間のも
っとも高い相関を探すような処理である。与えられたサ
ーチ範囲（−Ｖ≦変位Ｖ≦＋Ｖ）及び（−Ｈ≦変位Ｈ≦
＋Ｈ）で、次の基準を最小にする変位ベクトル（変位
Ｖ、変位Ｈ）を見つける処理を行う：

【数１】

【００１１】ここで、１⁽ⁿ⁾ ｉｊは、空間位置（ｉｊ）
でのｎ番目のオリジナルフレーム信号を表し、上線を伴
うＩは、デコードされ、かつ、エンコーダのフレームメ
モリに蓄積された前のフレームを信号を表す。ｒｅｆ
Ｖとｒｅｆ Ｈは動き予測が行われる参照ブロックの位
置を表す。

【００１２】ＭＰＥＧ２の条件では、ｒｅｆ Ｖとｒｅ
ｆ Ｈの両者はともに１６画素（ライン）で、サーチ範
囲Ｖ、Ｈの大きさは、ともに６３．５である。また、１
／２画素精度の動き予測は、中間の画素値を隣接する画
素を用いて補間するだけで、そのサーチ方法は変わらな
い。つまり、１／２画素精度の動き予測は、水平及び垂
直方向でそれぞれ２倍のサーチを行うため、サーチ範囲
を４倍に増加させることになる。

【００１３】ＭＰＥＧ２における動き予測は、１／３０
秒内に７０４画素＊４８０ラインの画像フレームのすべ
てについて、１６画素＊１６ラインのブロックサイズで
行われる。このブロックは、ＭＰＥＧにおいてマクロブ
ロックと呼ばれ、各マクロブロックについてのサーチ
は、２５マイクロ秒以内に行われなければならないこと
を意味する。そして、サーチ範囲（−６３．５、＋６
３．５）について、式(1)に示すフルサーチのブロック
マッチングを行うためには、各マクロブロックを１．６
ナノ秒で計算を行わなければならない。これは、１秒に
つき１０の１２乗のオーダーで信号処理することであ
り、リアルタイムで動作するハードウエアの現実的な実
行を妨げるものである。

【００１４】従来、こうした問題を軽減するために、
(1) 階層サーチアルゴリズム、(2) ステップサーチアル
ゴリズム、(3) グラデイエントアルゴリズムの３つの基
本的な手法が用いられてきた。

【００１５】階層サーチアルゴリズムは、図１２に示す
ように、オリジナルイメージを１／２ずつ階層的にサブ
サンプルし、サブサンプルされたイメージから順次サー
チを開始する。つまり、サーチは、最初に１／８にサブ
サンプルされた粗いイメージで行われ、そこで得られた
情報に基づき１／４のサブサンプルイメージでサーチさ
れ、順にオリジナルイメージへと降下し、ここで最終的
に一致するブロック位置を求めるものである。

【００１６】一般的な階層サーチアルゴリズムでは、参
照ブロックと同一サイズのものが上位の層内に保持さ
れ、そして実際の参照ブロックサイズへ展開される。し
かし、実際のアルゴリズムでは、現に参照ブロックに含
まれていない関連のない信号パターンにマッチングが行
われる可能性があり、一度、エラーが上位の層でつくら
れてしまうと、下位の層でエラーを補償することはでき
ず、動きベクトル、すなわち式(1) の変位Ｖ、Ｈの最小
値に到達することができない。また、１／８にサブサン
プルされたイメージにおいて測定された変位は、通常の
ピクセルスケールの８倍の大きさであり、こうした粗い
イメージから開始されるサーチは、繊細な動きを有する
動画像には、あまり適するものではない。

【００１７】ステップサーチアルゴリズムは、図１３に
示すように、一般に、参照ブロックと同一サイズを保持
し、ここから動きベクトルを求め、この動きベクトルか
らサーチ位置を階層的に求めるものである。このアルゴ
リズムでは、マッチングは常に参照ブロック自身を用い
て行われ、最初のサーチは散在的に分配された粗いサー
チ点で行われる。そして、サーチは各部の最小値の点か
ら開始し、順次階層的にサーチ範囲を狭くして、画素単
位の精度について最終的な結果が得られるまで同一プロ
セスが繰り返される。このアルゴリズムでも、上位の層
で生じたエラーは、全体的な性能に対して致命的なもの
となる。また、静止画像もしくは動きが小さい動画像に
対しては適しているが、動きが大きい画像に対しては、
最初のサーチする位置を選択することが非常に困難であ
る。

【００１８】なお、グラデイエントアルゴリズムは、物
理法則に従う物体の動きを予測するために開発されたも
のであるが、画像圧縮では、動きは単に信号差を最小に
する（相関）参照ブロックの変位として定義されている
にすぎないので、ここでの説明は省略する。

【００１９】

【発明が解決しようとする課題】上述した従来の階層サ
ーチアルゴリズムとステップサーチアルゴリズムには、
以下に述べるような課題がある。

【００２０】階層サーチアルゴリズムでは、サブサンプ
リングによる実質的な参照ブロックの拡張によって生じ
るマッチングの不明瞭さを最小限にするため、層の数を
少なくしなければならない。実際のブロックのマッチン
グは、ブロック位置の小さな変位に対しても非常に敏感
であり、上の層でのマッチング結果は、しばしば正しい
結果（最小値）ではない位置を選択することがある。

【００２１】ステップサーチアルゴリズムでは、最初に
サーチされる分散された位置はお互いに離れすぎないよ
うにしなければならない。階層サーチと同様に、最初の
散在的なサーチ結果が、ブロックの変位の最小値を検知
しないときには、誤りを生じることになる。このため、
ステップサーチは、大きなサーチウインドウを用いたも
のには適するものではない。

【００２２】本発明の目的は、上記従来技術の課題を解
決し、動画像の圧縮／伸長のための新規な動き予測を実
行する画像処理装置及びその方法を提供することであ
る。

【００２３】本発明の他の目的は、動画像の動き予測
を、効率的に、かつ高速にサーチすることができる画像
処理装置及びその方法を提供することである。

【００２４】本発明の他の目的は、動きが速い動画につ
いて、高圧縮率で動き予測の精度が優れた画像処理装置
及びその方法を提供することである。

【００２５】

【課題を解決するための手段】本発明に係る画像処理装
置は、上記従来技術の課題を解決するために、以下の手
段を有する。

【００２６】現フレームまたはフィールドを構成する第
１の画像信号を記憶する第１の記憶手段と、前フレーム
またはフィールドを構成する第２の画像信号を記憶する
第２の記憶手段と、現フレームまたはフィールドを複数
のブロックから構成し、ブロックに対応する第１の画像
信号を第１の記憶手段から一定の割合でサブサンプルし
て読み出す第１の読出手段と、第２の記憶手段から第２
の画像信号を前記割合と同一の割合でサブサンプルして
読み出す第２の読出手段と、第１の読出手段によって読
み出された第１の画像信号を、第２の読出手段によって
読み出された第２の画像信号と比較し、読み出された第
１の画像信号に対応するブロックの動きを予測する予測
手段と、前記予測手段の予測結果を利用して、動き予測
されたブロックの最終的な動き予測を決定する動き予測
決定手段と、前記動き予測決定手段で決定された動き予
測結果を記憶する予測記憶手段と、前記予測記憶手段に
記憶された複数個のブロックの各動き予測結果に基づき
第２の画像信号のサブサンプル位置のシフトの最良値を
推定し、該推定値を用いて前記第２の読出手段を制御す
る適応型制御手段とを有する。

【００２７】好適には、第１の読出手段によって、例え
ば８＊８画素（これ以外の８＊１６、１６＊１６でも良
い）のブロックの画像信号が読み出される。第２の画像
信号は、動き予測を行うためのサーチデータであり、サ
ーチデータの範囲は、サーチウインドウとして（−１
５．５、＋１５．５）＊（−６３．５、＋６３．５）が
好ましい。この場合、第２の読出手段によって、サーチ
ウインドウを垂直方向に１／２、水平方向に１／４の割
合でサブサンプルされた画像信号が読み出される。

【００２８】また、適応型制御手段は、現フレームまた
はフィールドの動き予測の対称となっているブロックに
ついて、該ブロックに隣接した複数のブロックの動き予
測結果を予測記憶手段から読み出し、これらのブロック
の動き予測結果に基づいて第２の読み出しを制御する。
さらに、適応型制御手段は、前フレーム（フィールド）
の画像信号を構成するブロックについて求められた動き
予測結果を用いることもできる。

【００２９】

【作用】本発明によれば、既に求められた少なくとも１
つのブロックについての動き予測の結果を利用して、第
２の画像信号についてのサブサンプル位置を制御するこ
とができるので、第２の画像信号の中からブロックのマ
ッチングに適した位置を選択することができる。従っ
て、ブロックの動き予測を行うためのサーチデータ（第
２の画像信号）を著しく増加させることなく、効率の良
い動き予測を行うことができる。

【００３０】

【実施例】以下、本発明の実施例について説明する。先
ず、本発明に係る画像圧縮を理解するために、ブロック
の変位の最小値（動きベクトル）に隣接するサーチ位置
において、そのブロックがどのようなマッチング挙動を
するのか、ということを認識することが大事である。

【００３１】図１及び図２は、ＭＰＥＧテストシーケン
スである“モービル”（ＭＯＢＩＬＥ）と“バイシク
ル”（ＢＩＣＹＣＬＥ）のある場面を示す図であり、こ
れらの場面の特徴的な位置Ａ、Ｂ、Ｃについて、連続す
る２フレーム（フレーム＃１及び＃２）間の選択された
サーチ範囲内における絶対値（式(1) ）の変化をそれぞ
れ図３ないし図８に示す。図３ないし図５は、テストシ
ーケンス“モービル”の位置ＡないしＣに対応するブロ
ック差分の絶対値を示しており、図６ないし図８は“バ
イシクル”に対応するものである。

【００３２】図３及び図４では、垂直変位Ｖ＝０で、水
平変位Ｈが“−２ないし−３”で絶対値が最小であり、
図５では、垂直変位Ｖ＝０で、水平変位Ｈが約“−１
５”で絶対値が最小である。

【００３３】図６では、垂直変位Ｖ＝２で、水平変位Ｈ
が約“５”で絶対値が最小であり、図７では、垂直変位
Ｖ＝−２で、水平変位Ｈが約“−３”で絶対値が最小で
あり、図８では、垂直変位Ｖ＝−４で、水平変位Ｈが約
“−２”で絶対値が最小である。

【００３４】図３ないし図８の結果から、式(1) の絶対
値の最小値に対応する動きベクトルは、変位Ｖ、Ｈに対
してかなり敏感である。このため、散在的にサブサンプ
ルされた空間内において動きベクトルが最小値に近い値
をとることにより、その存在を検知可能にすることは必
ずしも容易であるとは限らない。というのは、サブサン
プルされたサーチ位置のすぐ近傍に、必ずしも最小値が
存在するとは限らないからである。従って、リアルタイ
ムで動作するハードウエアの要求に満足させるために、
サーチする候補数を減少させることは、基本的な問題と
なり得る。

【００３５】そこで、本実施例では、サーチ範囲（−１
５．５、＋１５．５）＊（−６３．５、＋６３．５）、
これの水平方向のサブサンプル率１／４、垂直方向のサ
ブサンプル率１／２を最良の選択とし、低いサーチ精度
を補償するために追加の手段を設ける。なお、垂直のサ
ブサンプリングは、１つの奇数フィールドの動きサーチ
に対応する。

【００３６】これらの条件から、本実施例では、以下の
動きサーチアルゴリズムを定義する。 (1) 全体のサーチウインドウ（−１５．５、＋１５．
５）＊（−６３．５、＋６３．５）を２段階でサーチす
る。最初の段階では、垂直１／２、水平１／４の割合で
サブサンプルされた（−１４、＋１４）＊（−６０、＋
６０）の変位空間（変位Ｖ、変位Ｈ）内で動きをサーチ
する。このサーチは、実質的には（−７、＋７）＊（−
１５、＋１５）の点でのブロックマッチングに対応す
る。また、参照ブロックサイズは、８＊８を用いて行
う。従って、通常のピクセルスケールにおいて１６＊３
２に対応することとなる。 (2) 第２段階は、第１段階で得られた結果の回りの（−
３．５、＋３．５）＊（−３．５、＋３．５）範囲内で
動きをサーチする。 (3) 非常に高速なスピードで動く自己相関が低いイメー
ジ（例えば“ＭＯＢＩＬＥ”）の場合、粗いサーチが低
感度となるために、最小値を検出することが非常に困難
である。このため、本実施例では、サーチ性能を向上さ
せるために適応型インデックスと呼ばれる方法を用い
る。

【００３７】つまり、サブサンプルによる粗い動きのサ
ーチの欠点は、画像の自己相関が低いときに、動きに対
する感度が低下することであり、これが大きな問題点で
ある。粗い動きが、（２、４）の倍数の個々の格子点で
サーチされ、かつ、最小値の位置が特定の変位だけに感
度がよい場合には（ブロックマッチングの自己相関係数
の絶対値がほぼ０．０）、もし格子点が最小値の位置に
一致しなければ、最小値の位置をサーチすることはでき
ない。（２、４）の倍数でサブサンプルされた粗いサー
チの場合、このようなサーチされない確率は１／８であ
る。

【００３８】本実施例では、こうした欠点を補償するた
めに以下に述べる適応型インデックス法を用い、すべて
の格子点に部分的な小変位のバイアスを与えることを可
能とする。これによって、格子点は高い確率で最小値の
位置をカバーすることができる。

【００３９】もっとも簡単な適応型インデックスを図９
に示す。同図において、ｎは現フレームを、ｎ−１は前
フレームを示し、ＰＢは現フレームの参照ブロック、Ｂ
Ｂは前フレームの参照ブロックＰＢと同一位置における
マクロブロック、ＵＬ、ＵＵ、ＬＬは現フレームの参照
ブロックＰＢと隣接する各マクロブロックである。この
例では、マッチングの対象であるマクロブロックＰＢを
囲むマクロブロックＵＬ、ＵＵ、ＬＬの変位（絶対値）
及び前フレームのブロックＢＢの変位（絶対値）を用
い、対応する動きベクトルを選択して、以下に定める部
分的な変位値デルタＶ、デルタＨを計算する。

【数２】

【００４０】簡単に上記(2) 式の意味を説明する。ｉｎ
ｄｅｘ（ｍｉｎ（ＡＢＤ・・・ＡＢＤ）とは、マクロブ
ロックの各インデックスであるＵＬ、ＵＵ、ＬＬ、ＰＢ
のうちの最小値をとるもののインデックスを意味する。
つまり、マクロブロックＵＬの絶対値が最小であれば、
そのインデックス“ＵＬ”が選択される。

【００４１】次に、ｍｏｖｅｍｅｎｔ Ｖ〔ｉｎｄｅｘ
・・・〕で、ｍｏｖｅｍｅｎｔ Ｖ _ULとなり、ＡＢＤ_UL
に対応する動きベクトルＶ_ULを意味する。

【００４２】最後に、ｍｏｖｅｍｅｎｔ Ｖ_UL％ｖｅｒ
ｔｉｃａｌ＿ｓｕｂｓａｍｐｌｉｎｇ＿ｒａｔｅで、こ
れは、縦方向のサブサンプルレート（例えば、本実施例
では“２”）に対するモジューロ演算（この場合、２で
割った余り）であり、その結果、“０または１”の値と
なる。％は、Ｃ言語で余り（商ではない）の意である。

【００４３】水平方向のｓｕｂｓａｍｐｌｉｎｇ＿ｒａ
ｔｅが“４”であれば、デルタＨ＝０、１、２、３のい
ずれかになる。

【００４４】こうして、デルタＶとデルタＨのそれぞれ
は、最初に（２，４）の倍数で粗いサーチがされた格子
点に追加されるべき部分的な垂直及び水平の変位を表
す。つまり、デルタＶとデルタＨは、（２，４）の倍数
で定められる格子点のシフト量を与えるものであり、例
えば、サーチウインドウにおける水平方向のサーチ位
置、即ち格子点が、“・・・−８、−４、０、＋４、＋
８、・・・”である場合、デルタＨがシフト量“１”を
示すものであれば、格子点が“・・・−７、−３、＋
１、＋３、＋７、・・・”にシフトされる。このシフト
は、後述するサーチデータをストアするフレームメモリ
の行及び列の下位アドレスを与えることにより行われ
る。

【００４５】予め固定された粗いサーチスケール（２，
４）において、２段階動き予測の性能は、第１段階のサ
ーチブロックの大きさの関数となる。

【００４６】図１０は、“カー”（ＣＡＲ）及び“モー
ビル＆カレンダー”（ＭＯＢＩＬＥ＆ＣＡＬＥＮＤＡ
Ｒ）のテストシーケンスを用いたシミュレーション結果
をまとめたものである。

【００４７】Ａは動き予測をしていないもの、Ｂは（８
＊１６）のサイズで適応型インデックスを用いずに２段
階サーチを行ったもの、Ｃは（８＊１２）のサイズで適
応型インデックスを用いずに２段階サーチを行ったも
の、Ｄは（８＊８）のサイズで適応型インデックスを用
いずに２段階サーチを行ったもの、Ｅは（８＊１６）の
サイズで適応型インデックスを有する２段階サーチを行
ったもの、Ｆは（８＊１２）のサイズで適応型インデッ
クスを有する２段階サーチを行ったもの、Ｇは（８＊
８）のサイズで適応型インデックスを有する２段階サー
チを行ったもの、Ｈはフルサーチを行ったものである。
なお、縦軸のフレーム間差分は、エラー／マクロブロッ
クの自乗で測定した。

【００４８】これらの結果から、第１段のブロックサイ
ズが（８＊８）の適応型インデックスを有する２段階サ
ーチ、つまり“Ｇ”が、もっとも高い性能を示すことが
わかる。

【００４９】

【表１】 表 １

【００５０】表１は、各種のテストシーケンスにおい
て、動き補償されないフレーム間差分、動き補償された
フレーム間差分、６ステップサーチ、適応型インデック
スを有さない２段階予測、適応型予測を有する２段階予
測による予測効率を比較したものである。

【００５１】動き予測は、フットボールシーケンスにつ
いてフレーム＃１３１と１３２の間で行われ、他の残り
のシーケンスについてフレーム＃１と＃２間で行われ
た。これらのビデオセグメントは、テレビで一般に観察
される高速移動に対する速さを表すように考慮されてい
る。表中の各シーケンスにおける数字は、それぞれサー
チ候補数を示し、圧縮効率は、フルサーチを基準（０．
０ｄＢ）として求めた平均値である。なお、６ステップ
サーチは、（３２−１６−８−４−２−１）で行われ、
大きいサーチウインドウでのステップサーチアルゴリズ
ムの性能を示す目的で表に含まれている。

【００５２】これらの結果から、ステップサーチは、大
きなウインドウをサーチしなければならないとき、まっ
たく効率でないということがわかる。他方、２段階アル
ゴリズムは高い性能を達成するが、第１段階でのサーチ
ウインドウの粗いサブサンプリングのために、その性能
は制限され、常に適切とは限らない。適応型インデック
スは、このような性能の劣化に対する便利的かつ効果的
な解決法である。例えば、“ＭＯＢＩＬＥ＆ＣＡＬＥＮ
ＤＡＲ”のような低い自己相関（大きい高周波数成分）
を持つシーケンスでは、より効果的に補償される。平均
的な性能では、適応型インデックスは、対応するフレー
ム間差分を０．７ｄＢ減少させていることがわかる。

【００５３】次に、本実施例による適応型インデックス
を有する動き予測を実行する画像処理装置の構成を説明
する。

【００５４】図１１は、フレームモードで動き予測を行
う予測回路の構成を示すブロック図である。本実施例に
係る予測回路は、フレームメモリ１０１、１０２、１０
３、１０４と、第１及び第２の予測処理部１２１、１２
２と、適応型インデックス制御部１３１と、動き予測メ
モリ１４１とを備えている。

【００５５】フレームメモリ１０１、１０３は、現在の
オリジナルイメージフレーム（ｎ）を記憶し、参照ブロ
ックメモリとして用いられる。フレームメモリ１０２、
１０４は、デコードされた前のイメージフレーム（ｎ−
１）を記憶し、サーチウインドウメモリとして用いられ
る。入力フレームメモリは、それぞれ一対のダブルバッ
ファメモリとして構成され、リアルタイム動作を行うに
あたって、新しいデータが一方のメモリに書き込まれる
とき、他方のメモリを用いて動き予測が行われる。な
お、フレームメモリは、例えばＳＲＡＭのような高速動
作を行うものが望ましい。

【００５６】フレームメモリ１０１は、制御線１に接続
されたアドレスレジスタ１１１からアドレスを受け取
り、これによって現フレームの参照ブロックに対応する
イメージ信号を第１の予測処理部１２１へ出力する。フ
レームメモリ１０３に書き込まれるイメージ信号（ｎ）
は、１／２画素精度のマッチングに適合するように、補
間部１１５によって水平、垂直方向に２倍づつ拡張され
る。そして、フレームメモリ１０３は、制御線３に接続
されたアドレスレジスタ１１３からアドレスを受け取
り、参照ブロックのイメージ信号を第２の予測処理部１
２２へ出力する。

【００５７】一方、フレームメモリ１０２は、アドレス
レジスタ１１２から上位アドレスを、適応型インデック
ス制御部１３１から下位アドレスをそれぞれ受け取り、
これらのアドレスによりサーチウインドウのイメージ信
号を第１の予測処理部１２１へ出力する。

【００５８】フレームメモリ１０４に書き込まれるイメ
ージ信号（ｎ−１）は、１／２画素精度のマッチングに
適合するように補間部１１６によって４倍に拡張され、
この信号の読み出しは、第１の予測処理部１３１からの
上位アドレスと、アドレスレジスタ１１４からの下位ア
ドレスとによって行われ、第２の予測処理部１２２へ出
力される。

【００５９】第１の予測処理部１２１は、フレームメモ
リ１０１から供給される参照ブロックをサブサンプルし
たイメージ信号と、フレームメモリ１０２から供給され
るサーチウインドウをサブサンプルしたイメージ信号と
から、上述した式(1) に示す計算を行い、ブロックの最
小の変位Ｖ、Ｈを求める。第２の予測処理部１２２は、
フレームメモリ１０３、１０４から供給されるイメージ
信号に基づき再度ブロックの最小変位、即ち絶対値を最
終的に求め、これにより得られた動き予測値と対応する
絶対値を動き予測メモリ１４１及び動き補償回路１５１
へ出力する。

【００６０】適応型インデックス制御部１３１は、動き
予測メモリ１４１に記憶された各マクロブロックの絶対
値を受け取り、上述した(2) 式に従いデルタＶ、Ｈを求
め、対応する下位アドレスをフレームメモリ１０２へ供
給する。これによってサーチウインドウをサブサンプル
する格子点の位置を最適な位置へシフトさせる。同時
に、このシフトに関連する情報は、ＶＬＣエンコーダ１
５２へ出力される。

【００６１】次に、本実施例の適応型インデックスを有
する動き予測の動作を説明する。動作を開始するにあた
って、２フレーム、つまり現在のオリジナルイメージフ
レーム（ｎ）と前のデコードされたイメージフレーム
（ｎ−１）が、フレームメモリ１０１、１０２、１０
３、及び１０４に書き込まれる。フレームメモリ１０
３、１０４に書き込まれるイメージ信号は、前述したよ
うに、補間部１１５、１１６で線形補間処理を施され、
１／２画素サーチ精度に合うように、水平方向及び垂直
方向にそれぞれ２倍ずつ、つまり４倍に拡張される。

【００６２】予測処理は、パイプライン処理で行われ
る。制御線１によってアドレスレジスタ１１１、１１２
が初期化され、アドレスレジスタ１１１、１１２は、参
照ブロックアドレスとサーチウインドウのピクセルアド
レスをそれぞれ発生する。これらのアドレスは、サブサ
ンプルされたサーチ位置に対応する量子化された値をと
る。アドレスレジスタ１１２のアドレスは、前述したよ
うにフレームメモリ１０２の上位アドレスとなる。こう
して、フレームメモリ１０１からは、サブサンプルされ
た８＊８画素の参照ブロックのデータが読み出され、フ
レームメモリ１０２からは、同一の割合でサブサンプル
された（−７、＋７）＊（−１５、＋１５）のサーチ用
のイメージ信号が読み出される。

【００６３】第１の予測処理部１２１は、制御線２によ
り初期化され、フレームメモリ１０１、１０２からのイ
メージ信号に基づき参照ブロックの変位を求め、この結
果は、基準サーチ位置としてフレームメモリ１０４の上
位アドレスに与えられる。また、低位アドレスは、制御
線３により制御されるタイミングでアドレスレジスタ１
１４で発生される。

【００６４】アドレスレジスタ１１３の制御下において
フレームメモリ１０３から、参照ブロックのサイズ（１
６＊３２）の中心を共通にした（８＊８）を補間処理し
た（１６＊１６）イメージ信号が読み出される。また、
フレームメモリ１０４から、第１の予測処理結果に基づ
き、サーチウインドウ内の所定の位置の補間処理された
（−７、＋７）＊（−７、＋７）のサーチ用イメージ信
号が読み出される。

【００６５】第２の予測処理部１２２は、制御線４のタ
イミングにより、これらのイメージ信号から１／２画素
精度のマッチングを行い、最終的な参照ブロックの動き
予測を求める。そして、最終的な動き予測の結果は、対
応するブロック差分の絶対値とともに動き予測メモリ１
４１に記憶される。

【００６６】次に、適応型インデックス制御部の動作に
ついて説明する。第１段階の粗いサーチにおいて、サー
チウインドウを（垂直方向１／２、水平方向１／４）で
サブサンプルする場合、サーチウインドウの垂直方向に
対応するアドレスを列アドレス、水平方向に対応するア
ドレスを行アドレスとすると、アドレスレジスタ１１２
からフレームメモリ１０２へ供給される列アドレスは、
最下位ビットを除く上位アドレスであり、行アドレス
は、下位２ビットを除く上位アドレスである。そして、
アドレスレジスタ１１２からの上位アドレスをインクリ
メントすることで、格子間隔が（２、４）の倍数となる
イメージ信号が読み出される。

【００６７】一方、適応型インデックス制御部１３１
が、例えば、図９で述べた適応型インデックス法を実行
するとすれば、既に算出された各ブロック（ＵＬ、Ｕ
Ｕ、ＬＬ、ＢＢ）の変位（最小の絶対値）を、制御線１
のタイミングの下で、動き予測メモリ１４１から読み出
し、式(2) に従いデルタＶ、デルタＨを求める。求めら
れたデルタＶ、デルタＨは、それぞれフレームメモリ１
０４に対する下位アドレス、すなわち、デルタＶは列ア
ドレスの最下位ビット、デルタＨは行アドレスの下位２
ビットに対応する。このため、デルタＶによる最下位ビ
ットが“０”であれば、列アドレスは、−４、−２、
０、＋２、＋４を特定し、“１”であれば、−３、−
１、＋１、＋３を特定することとなる。デルタＨも同様
に、下位２ビットの値により、格子間隔（４の倍数）を
変えることなく、格子位置をシフトすることができる。

【００６８】つまり、図３ないし図８で示したように、
ブロック差分の最小値が急激なピーク値を持つため、そ
の回りのレベルの変化を検知すれば、その動きベクトル
をサーチするように格子位置をシフトすることができ
る。

【００６９】このように、第１段階のサーチにおいて、
各参照ブロックごとにサブサンプル位置を調整すること
により、たとえ粗いサーチであったとしても、動きベク
トルが敏感となる位置にサブサンプル位置を適合させ
て、より効率のよい動き予測を行うことができる。

【００７０】Ｂピクチャー能力（双方向符号化）を有す
るＭＰＥＧ２の適応型フィールド／フレームの動き予測
は、図１１に示す予測ユニットを１５個必要とし、２７
の基本的な性能（領域（−７、＋７）をサーチする能
力、例えば、ＳＴＩ３２２０）を備えた集積チップとな
る。他方、（ｂｒｕｔｅｌ−ｆｏｒｃｅ）のフルサーチ
は、そうしたチップを９４５個必要とする。図１１のユ
ニットを実行する１チップ上のゲート数は、メモリを除
き約１−１、５百万個となる。

【００７１】本実施例に係る新しい動き予測スキームを
説明したが、この適応型インデックス技術を用いること
により、自己相関が低いものと、「検出することができ
ない」中間のスピードの動きを有するイメージについて
のサーチ精度の悪化を補償することができる。シミュレ
ーションを通して、この新規なサーチスキームが効果的
な解決を提供し、かつ実行できることが理解されよう。
なお、ここで説明したすべてのシミュレーションは、フ
レームモードの動き予測、つまりＭＰＥＧ２における基
本的なフレーム間の動き予測として実行したものであ
る。動きの速いシーケンスでは、フィールドモードと呼
ばれるフィールド間の動き予測モードによって、性能よ
く実行できることも知られている。

【００７２】また、実際のハードウエア装置では、第１
段の予測が、種々のサーチ特性を持つすべての第２段の
予測ブロックに均等に供給され、独立したサーチがハー
フピクセルオーダーで実行される。そして、最もマッチ
ングされたブロックがフレーム間予測で選択される。こ
のように、適応型インデックスは、リアルタイムで動作
するビデオ圧縮エンコーダを性能良く確実に実行させる
ための重要な要素となる。

【００７３】

【発明の効果】以上詳細に説明したように、本発明によ
れば、フレームまたはフィールドの画像信号についての
動き予測を行うにあたって、既に求められたブロックの
動き予測の結果を利用して、第２の画像信号についての
サブサンプル位置のシフトを制御する適応型制御手段を
設けたので、第２の画像信号の中からブロックのマッチ
ングに適した位置を選択することができる。従って、ブ
ロックの動き予測のためのサーチデータを著しく増加さ
せることなく、効率の良い動き予測を行うことが可能と
なり、ひいては、画像の圧縮効率の優れた高速で動作す
る画像処理装置を提供することができる。

【００７４】また、複数のステップサーチにより動き予
測を行う場合、最初のサブサンプリングによる粗いサー
チ時に、適応型制御手段を用いれば、エラーを生じる可
能性は低減され、少ないサーチデータでフルサーチと同
等の性能を達成することが可能となる。

【図面の簡単な説明】

【図１】テストシーケンス“ＭＯＢＩＬＥ”を示す図。

【図２】テストシーケンス“ＢＩＣＹＣＬＥ”を示す
図。

【図３】図１のシーケンスにおけるブロック間差分の絶
対値の変化を示す図。

【図４】図１のシーケンスにおけるブロック間差分の絶
対値の変化を示す図。

【図５】図１のシーケンスにおけるブロック間差分の絶
対値の変化を示す図。

【図６】図２のシーケンスにおけるブロック間差分の絶
対値の変化を示す図。

【図７】図２のシーケンスにおけるブロック間差分の絶
対値の変化を示す図。

【図８】図２のシーケンスにおけるブロック間差分の絶
対値の変化を示す図。

【図９】本発明の実施例に係る適応型インデックス法を
示す図。

【図１０】種々の圧縮技術によるシミュレーション結果
を示す図。

【図１１】本発明の実施例に係る動き予測回路の構成を
示すブロック図。

【図１２】従来の階層サーチアルゴリズムを示す図。

【図１３】従来のステップサーチアルゴリズムを示す
図。

【符号の説明】

１０１、１０２、１０３、１０４ フレームメモリ １１１、１１２、１１３、１１４ アドレスレジスタ １２１ 第１の予測処理部 １２２ 第２の予測処理部 １３１ 適応型インデックス制御部 １４１ 動き予測メモリ

Claims (2)

【特許請求の範囲】
1. 【請求項１】 現フレームまたはフィールドを構成する
   第１の画像信号を記憶する第１の記憶手段と、 前フレームまたはフィールドを構成する第２の画像信号
   を記憶する第２の記憶手段と、 現フレームまたはフィールドを複数のブロックから構成
   し、ブロックに対応する第１の画像信号を第１の記憶手
   段から一定の割合でサブサンプルして読み出す第１の読
   出手段と、 第２の記憶手段から第２の画像信号を前記割合と同一の
   割合でサブサンプルして読み出す第２の読出手段と、 第１の読出手段によって読み出された第１の画像信号
   を、第２の読出手段によって読み出された第２の画像信
   号と比較し、読み出された第１の画像信号に対応するブ
   ロックの動きを予測する予測手段と、 前記予測手段の予測結果を利用して、動き予測されたブ
   ロックの最終的な動き予測を決定する動き予測決定手段
   と、 前記動き予測決定手段で決定された動き予測結果を記憶
   する予測記憶手段と、 前記予測記憶手段に記憶された複数個のブロックの各動
   き予測結果に基づき第２の画像信号のサブサンプル位置
   のシフトの最良値を推定し、該推定値を用いて前記第２
   の読出手段を制御する適応型制御手段とを有することを
   特徴とする画像処理装置。
2. 【請求項２】 現フレームまたはフィールドを構成する
   第１の画像信号と、前フレームまたはフィールドを構成
   する第２の画像信号を各々第１、第２のフレームメモリ
   に記憶し、 現フレームまたはフィールドを複数のブロックに分割
   し、ブロックに対応する第１の画像信号を一定の割合で
   サブサンプルして第１のフレームメモリから読み出すと
   ともに、第２の画像信号を前記割合と同一の割合でサブ
   サンプルして第２のフレームメモリから読み出し、 読み出された第１の画像信号を、読み出された第２の画
   像信号と比較し、読み出された第１の画像信号に対応す
   るブロックの動きを予測し、 予測された結果を利用して、動き予測されたブロックの
   最終的な動き予測を決定し、 前記第２の画像信号を第２のフレームメモリから読み出
   す時に、前記複数個のブロックに対応した複数個の動き
   ベクトルの推定結果に基づいて、前記第２の画像信号の
   サブサンプル位置をシフト可能にすることを特徴とする
   画像処理方法。