JPH10174108A - 動きベクトル探索装置および動画像符号化装置 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】 動きベクトル探索の際にフレームメモリから
読み出す参照画像データ量を低減する。 【解決手段】 フレームメモリ制御部１５０２及び相関
度計算部１５０３と動きベクトル情報を格納する動きベ
クトル情報記憶手段１５０４を新たに設けることによ
り、Ｂピクチャの符号化におけるベクトル探索処理のう
ち前方予測に用いる前方動きベクトル探索を符号化処理
と非同期に行えるようにし、フレームメモリアクセスを
分散させる。また同時にＰピクチャにおける動きベクト
ル探索範囲を絞り込むための情報を得ることができる。

Description

【発明の詳細な説明】

【０００１】

【発明が属する技術分野】本発明はデジタル画像の予測
符号化における動きベクトル探索に関するものである。

【０００２】

【従来の技術】動画像情報のデータ量を圧縮する方法の
うち、動画像の時間軸方向の冗長性を利用して情報を削
減する方法としてフレーム間予測符号化が挙げられる。
デジタル動画像符号化の国際標準化方式であるＭＰＥＧ
−１／２では、前方予測と両方向予測の両方を利用する
ことができる。 （前方予測）図１に示すように、過去のフレームと現在
のフレームの間の動きを前方動きベクトルとして検出
し、過去のフレームを参照して現在のフレームを生成す
るものである（図１）。この動きベクトルの探索範囲と
しては、だとえば１６×１６画素のマクロブロックを最
小単位とする。この領域の検出に際しては、前方参照フ
レームの中で予測を行うフレームとの間で相関が一番大
きい領域との空間位置の差分を動きベクトルとして検出
する。 （両方向予測）図２に示すように、両方向予測は過去の
フレームと未来のフレームの両方または片方のフレーム
を参照して現在のフレームを生成するものである。

【０００３】これらの予測方式は、複数の画素からなる
領域毎に動きを求め、画素データの代わりに各領域の動
きをベクトル情報として符号化するため情報量は大幅に
削減できる。動きベクトルを使って構成した画像（予測
画像）と、原画像の間に差がある場合は、その差分の情
報をベクトル情報とともに符号化する。つまり、この予
測画像と原画像の差分を少ない場合ほど情報量を削減す
ることができる。動きベクトル探索範囲が同じなら、前
方予測より両方向予測の方がより予測対象となる画像に
近い参照画像を利用できる可能性が高くなるため、一般
的には両方向予測を用いた方が予測効率が高くなる。以
降では、前後の画面情報なしに生成可能なフレームをＩ
ピクチャ(Intra符号化画像)、過去の予測を用いていな
いフレームおよび前方予測フレームから前方予測のみを
用いて符号化するフレームをＰピクチャ(Predictive符
号化画像)、過去／未来予測を用いていないフレームま
たは前方予測フレームから前方／後方の両方向予測を用
いて符号化するフレームをＢピクチャ(Bidirectionally
predictive符号化画像)と呼ぶ。

【０００４】一般的に動きベクトル探索は、原画像を符
号化する単位で複数領域に分割し、この領域を１画素づ
つ水平・垂直方向に平行移動させながら参照画像と比較
し、もっとも相関の高い位置を求めることで実現する。
相関度を求めるために画像を平行移動させる範囲は相関
度を計算するプロセッサおよび参照画像を格納するフレ
ームメモリとの間のデータ転送性能により制限を受け
る。図７、図９に従来のベクトル探索方法を用いた符号
化装置の構成およびフローチャートを示す。また従来の
動きベクトル探索と符号化の順序の例を図３に示す。

【０００５】図７において、通常フレームメモリ７１
は、画像入力に使用される領域７１ａと、符号化対象画
像を格納する領域７１ｂと、前方参照画像を格納する領
域７１ｃと、後方参照画像７１ｄを格納する領域とに分
けて使用される。動きベクトル探索は相関度計算部７２
によって行われる。この相関度計算部７２では符号化対
象画像の符号化領域情報が入力されると、前方参照画像
と後方参照画像に対して領域指定を行い、これらの参照
画像より参照領域の画像データが入力される。

【０００６】ここで、Ｐピクチャの符号化を行う場合に
は、相関度計算部７２に入力されるデータは、原画像の
符号化対象となる領域の画素データ（７１ｂ）と前方参
照画像の参照範囲の画素データ（７１ｃ）のみである。
また、Ｂピクチャの符号化を行う際は参照画像が前方・
後方の両方の参照範囲内の画素データ（７１ｃ，７１
ｄ）となる。

【０００７】そして相関度計算部７２からはＰピクチャ
符号化の場合には前方動きベクトルが、Ｂピクチャ符号
化のときには前方・後方動きベクトルが符号化部７３に
出力される。符号化部７３では、これらのベクトル情報
に基づいてローカルデコード画像用フレームメモリ７４
を参照して参照画像を生成し、フレーム間予測符号化を
行う。符号化した画像は同時に復号を行い、以降の画像
の参照画として使用するためにローカルデコード画像用
フレームメモリ７４に記録する。

【０００８】図９は、図７の符号化装置の処理フローを
示している。まず、ピクチャタイプ、たとえばＰピクチ
ャ符号化か、Ｂピクチャ符号化かが決定されると（９０
１）、フレームメモリ７１に必要な画像データが入力さ
れるまで待機状態となる（９０２）。画像データが入力
されると、符号化対象領域の画像データの切り出しが行
われ（９０３）、当該画像データの種類（Ｉピクチャ
か、Ｐピクチャか、Ｂピクチャ）によって処理が分かれ
る（９０４，９０５）。すなわち、Ｉピクチャの場合に
はそのまま符号化ステップ（９０９）に移行し、Ｐピク
チャの場合には直前のＩまたはＰピクチャを参照フレー
ムとして動きベクトル探索を行った後（９０８）、符号
化される（９０９）。さらにＢピクチャの場合には、直
前のＩまたはＰピクチャを前方参照フレームとして動き
ベクトル探索を行い（９０６）、さらに直前のＩまたは
Ｐピクチャを後方参照フレームとして動きベクトル探索
を行った後（９０７）、符号化処理を行う（９０９）。

【０００９】以上に述べた一連の処理を１ピクチャ毎に
繰り返す（９１０）。図３は、前方向予測を適用するフ
レームの間に両方向予測を適用するフレームを１枚設け
た場合を仮定したシーケンス図である。

【００１０】この図では５面のフレームメモリを用いて
符号化を行っており、一般的な映像信号の仕様により各
フレームが入力される間隔は一定であり、各フレームを
符号化する間隔も一定である。したがってたとえば符号
化における時間Iと時間IIは等しい。

【００１１】両方向の予測を行うためには未来のフレー
ムを先に符号化する必要があるため、画像データの入力
順序と符号化の順序は異なる。この処理順序の並べ替え
のためにフレームメモリが５面分必要となっている。

【００１２】この図に示すように、従来技術では前方／
両方向予測に関わらず動きベクトル探索は符号化の直前
に行っていた。時間Iの間にＰ１の動きベクトル探索
（Ｐ１ｆ）と符号化を行い、時間IIの間にＢ２の両方向
の動きベクトル探索（Ｂ２ｆ，Ｂ２ｂ）と符号化を行う
のが一般的だった。

【００１３】

【発明が解決しようとする課題】画像情報を扱う場合に
は大量なデータを処理するため、安価なＤＲＡＭを用い
て複数のフレームメモリを構成することが一般的であ
る。この場合、複数のフレームメモリで１つのデータバ
スを共用することになる。また動きベクトル探索モジュ
ールの製造コストを削減するためには、フレームメモリ
用のデータ入出力端子数を少なくする必要がある。しか
し複数のフレームメモリで入出力端子を共用する場合、
アクセスの競合によりフレームメモリアクセスの自由度
が制限されるため、あまり端子数を削減しすぎてしまう
と転送できるデータ量を確保できない。

【００１４】またメモリデバイスのデータ書き込み・読
み出し速度の限界により、時間当たり転送可能なデータ
量は制限を受ける。一方動きベクトル探索を確実に行う
ためには、参照画像のある程度広い領域に対してベクト
ル探索を行う必要がある。特にＢピクチャの動きベクト
ル探索では、前方向と後方向の参照画像を必要とするた
め、画像の相関度を求めるプロセッサに対して前方向予
測のみのピクチャに比べて２倍の参照画像データが必要
になり、これを読み出すために参照画像データを格納し
ているフレームメモリへの多量のアクセスが必要だっ
た。

【００１５】図３から明かなように従来技術では動きベ
クトル探索を符号化の直前に行うため、一定時間内で動
きベクトル探索と符号化の両方を行う必要がある。この
場合動きベクトル探索に費やせる時間が限られるため、
参照画像上でベクトル探索範囲を広くとると必要なデー
タを転送するだけのフレームメモリアクセスができなく
なり、十分な動きベクトル探索範囲を確保することが困
難になっていた。

【００１６】またＢピクチャを多用した場合は、必然的
にＰピクチャの参照フレームからの距離が遠くなるた
め、動きベクトル探索範囲をより広くとる必要がでてく
る。しかしこの場合にも同様にフレームメモリアクセス
が増加するため、十分な動きベクトル探索範囲を確保で
きない。

【００１７】

【課題を解決するための手段】本発明は前述の課題に鑑
みてなされたものであり、以下の解決手段を提供するも
のである。

【００１８】すはわち、本発明の第１の解決手段は少な
くとも複数面で構成され原画像、参照画像等の画像デー
タを格納するフレームメモリを用意し、外部から与えら
れる予測方式情報に基づいて前記フレームメモリを制御
するとともに原画像と参照画像との相関度を求めること
により画像間の動きベクトルを判定する制御手段と、動
きベクトル情報を記憶する動きベクトル情報記憶手段と
で構成した。

【００１９】これを原理図で示したものが図１５であ
る。本発明の制御手段は外部から予測方式情報が入力さ
れるフレームメモリ制御部１５０２と相関度計算部１５
０３とで構成されている。

【００２０】フレームメモリ１５０１は、画像入力に用
いられる領域（１５０１ａ）、動きベクトル探索対象画
像が格納される領域（１５０１ｂ）、未来の動きベクト
ル探索対象画像が格納される領域（１５０１ｃ）および
共通に参照する画像が格納される領域（１５０１ｄ）に
区画されフレームメモリ制御部１５０２よりバンク（ア
ドレス）が指定されて読み出されるようになっている。

【００２１】相関度計算部は探索対象領域の画像ブロッ
クデータがフレームメモリ１５０１の各領域より入力さ
れて参照画ブロックとの相関度が計算され動きベクトル
が計算されるようになっている。動きベクトル情報格納
用メモリ１５０４には相関度計算部１５０３で算出され
た動きベクトルが一時的に格納される。１５０５は多重
化部である。

【００２２】前記フレームメモリ制御部１５０２および
相関度計算部１５０３は、指定されたピクチャの任意の
領域の動きベクトル（１５０１ｂ）を探索する際に、こ
のピクチャが参照する参照画像内の領域（１５０１ｄ）
と同じ領域を参照する予定の未処理のピクチャ内の領域
（１５０１ｃ）がフレームメモリ内にある場合に、この
領域についての動きベクトル探索も同時に行い、前記で
求めた動きベクトル情報のうち、未来のピクチャ（１５
０１ｃ）に対する前記の領域のベクトル情報を前記ベク
トル情報記憶手段（動きベクトル情報格納用メモリ１５
０４）に記憶させ、現在のピクチャの前記の領域につい
て過去に求めたベクトル情報が前記ベクトル情報記憶手
段（動きベクトル情報格納用メモリ１５０４）にある場
合に前記で求めた動きベクトル情報に加えて指定された
領域の動きベクトルを出力する本発明の第２の解決手段
は、指定されたピクチャ内の任意の領域の前方動きベク
トルを求める際に、過去に同じ参照画像を使って予測を
行ったピクチャがあり、その前方向動きベクトルが前記
ベクトル情報記憶手段に記憶されていた場合にこれを読
み出し、その動きベクトルが示す座標を基準として前方
動きベクトル探索を行うものである。

【００２３】この原理を示したものが図１６である。こ
の解決手段における制御手段もフレームメモリ制御部１
５０２と相関度計算部１５０３とで構成されている。フ
レームメモリ制御部１５０２は、予測方式管理部１６０
２から予測方式情報を与えられるようになっている。

【００２４】フレームメモリ１６０１は、画像入力に用
いられる領域（１６０１ａ）、前方動きベクトル探索対
象画像が格納される領域（１６０１ｂ）、および参照す
る画像が格納される領域（１６０１ｃ）に区画されフレ
ームメモリ制御部１５０２よりバンク（アドレス）が指
定されて読み出されるようになっている。

【００２５】相関度計算部１５０３は探索対象領域の画
像ブロックデータがフレームメモリ１６０１の各領域よ
り入力されて参照画ブロックとの相関度が計算され動き
ベクトルが計算されるようになっている。動きベクトル
情報格納用メモリ１５０４には相関度計算部１５０３で
算出された動きベクトルが一時的に格納される。１５０
５は多重化部である。

【００２６】同図において、指定されたピクチャ内の任
意の領域（１６０１ｂ）の前方動きベクトルを求めると
きに、フレームメモリ制御部１５０２が過去に同じ参照
画像を使って予測を行ったピクチャがあることを検出
し、さらにその前方向動きベクトルが動きベクトル情報
格納用メモリ１５０４に記憶されていた場合にこれを読
み出し、その動きベクトルが示す座標を基準として前方
動きベクトル探索を行う。

【００２７】本発明の第３の解決手段は、少なくとも複
数面で構成され原画像、参照画像等の画像データを格納
するフレームメモリと、外部から与えられる予測方式情
報に基づいて前記フレームメモリを制御し、原画像と参
照画像との相関度を求めることにより画像間の動きベク
トルを判定する制御手段と、動きベクトル情報を記憶す
る動きベクトル情報記憶手段とで構成した。

【００２８】この原理を示したものが図１７である。本
解決手段の制御手段は外部から予測方式情報が入力され
るフレームメモリ制御部１５０２と相関度計算部１５０
３とで構成されている。

【００２９】フレームメモリ１５０１は、画像入力に用
いられる領域（１７０１ａ）、両方向動きベクトル探索
対象画像が格納される領域（１７０１ｂ）、未来の動き
ベクトル探索対象画像が格納される領域（１７０１ｃ）
および共通に参照する画像が格納される領域（１７０１
ｄ）に区画されフレームメモリ制御部１５０２よりバン
ク（アドレス）が指定されて読み出されるようになって
いる。

【００３０】相関度計算部１５０３は探索対象領域の画
像ブロックデータがフレームメモリ１５０１の各領域よ
り入力されて参照画ブロックとの相関度が計算され動き
ベクトルが計算されるようになっている。動きベクトル
情報格納用メモリ１５０４には相関度計算部１５０３で
算出された動きベクトルが一時的に格納される。１５０
５は多重化部である。

【００３１】同図において、フレームメモリ制御部１５
０２および相関度計算部１５０３は、指定された両方向
予測ピクチャの任意の領域（１７０１ｂ）の後方側の動
きベクトルを探索する際に、前記両方向予測ピクチャ内
の領域が後方参照する参照画像内の領域と同じ領域を前
方参照する予定の未処理の両方向予測ピクチャ内の領域
（１７０１ｃ）が前記フレームメモリ内にある場合にこ
の領域についての前方動きベクトル探索も同時に行い、
前記で求めた未来の領域の前方動きベクトル情報を動き
ベクトル情報格納用メモリ１５０４に記憶させ、前記で
求めた後方動きベクトル情報と、前記と同様の方法によ
り過去に既に求めて前記動きベクトル情報格納用メモリ
１０５４に保存してある前方動きベクトル情報とを、指
定された領域の動きベクトル情報として多重化部１５０
５を通じて出力する。

【００３２】本発明の第４の解決手段は、過去に同じ参
照画像を使って予測を行ったピクチャがあり、その前方
向動きベクトルが前記動きベクトル情報記憶手段に記憶
されている場合にこれを読み出し、動きベクトルが示す
座標を基準として前方向予測ピクチャの前方動きベクト
ル探索を行うものである。

【００３３】この原理図は前述の第２の解決手段で説明
した図１６と同様である。図１６において、フレームメ
モリ制御部１５０２および相関度計算部１５０３は、前
方動きベクトル探索対象画像（１６０１ｂ）に基づいて
前方動きベクトルの探索を行う際に、過去に同じ参照画
像を使って予測を行ったピクチャがあり、その前方向動
きベクトルが前記動きベクトル情報格納用メモリ１５０
４に記憶されている場合にこれを読み出し、動きベクト
ルが示す座標を基準として前方向予測ピクチャの前方動
きベクトル探索を行うものである。

【００３４】本発明の第５の解決手段は、動画像符号化
装置に関するものであり、前記第３の解決手段に基づい
て出力された前方動きベクトルと後方動きベクトルとを
入力し、前記動きベクトルを用いてローカルデコード画
像から前方参照画像、後方参照画像を構築する手段と、
前記の各参照画像のうち原画像に最も近似しているもの
を予測画像として選別する手段と、前記予測画像と原画
像の差分情報を量子化・逆量子化する手段と、前記逆量
子化データをローカルデコード画像情報として保存する
手段とで構成した。

【００３５】この原理図を示したのが図１８である。前
述の第１〜第４の解決手段で示した動きベクトル探索装
置からの前方動きベクトルと後方動きベクトルは、フレ
ームメモリ１８０１からそれぞれの参照画像用バッファ
１８０２，１８０３に参照画像を読み出す。この参照画
像バッファ１８０２，１８０３から参照画像判定部に読
み出された参照画像データは、選択的に符号化対象画像
データと減算処理されてその差分が量子化部１８０５で
量子化される。量子化されたデータは逆量子化部１８０
６で逆量子化された後に前記参照画像データと加算され
て復元画像データとしてフレームメモリに格納される。

【００３６】本発明の第６の解決手段は、参照画像と原
画像の画素の差分絶対値和が少ないものを予測画像とし
て選別するものである。同じく原理図である図１８を用
いて説明すると、参照画像データと符号化対象画像（原
画像）との差分の累積値を計算しておき、参照画像と原
画像との画素の差分絶対値和がすくないものだけを量子
化部１８０５に出力するようにしてもよい。このとき、
たとえば差分演算と量子化部１８０５との間に複数の差
分累積値計算手段と、これらの比較を行う比較手段とを
設けてもよい。

【００３７】本発明によれば、動きベクトルを情報を格
納する動きベクトル情報記憶手段（たとえばメモリ）を
新たに設けることにより、Ｂピクチャの符号化における
ベクトル探索処理のうち前方予測に用いる前方動きベク
トル探索を符号化処理と非同期に行えるようにし、フレ
ームメモリアクセスを分散させるものである。また同時
にＰピクチャにおける動きベクトル探索範囲が絞り込む
ための情報を得ることも可能となる。

【００３８】

【発明の実施の形態】図８、図１０に本発明の動きベク
トル探索方法を用いた符号化装置の構成およびフローチ
ャートを示す。また動きベクトル探索と符号化処理の順
序の例を図４に示す。

【００３９】図８において、フレームメモリ８０１は、
画像入力に使用される領域８０１ａと、符号化対象画像
を格納する領域８０１ｂと、未来のＢピクチャ用の原画
像を格納する領域８０１ｃと、共通に参照する画像が格
納された領域８０１ｄとに分けて使用される。動きベク
トル探索は相関度計算部８０２によって行われる。この
相関度計算部８０２では符号化対象画像の符号化領域情
報（８０１ｂ）が入力されると、前方参照画像と後方参
照画像に対して領域指定を行い（８０１ｄ）、これらの
参照画像より参照領域の画像データが入力される。

【００４０】ここで、動きベクトル探索を行うための相
関度計算部８０２への入力は、Ｐピクチャの符号化を行
う際は従来方式と同じく原画像の符号化対象となる領域
の画素データ（８０１ｂ）と前方参照画像の参照範囲の
画素データ（８０１ｄ）のみである。

【００４１】Ｂピクチャの符号化を行う際は、符号化対
象となるピクチャ内の領域の画素データ（８０１ｂ）
と、未来のＢピクチャで現在の符号化対象のピクチャと
同じ画像を前方参照する領域の画素データ（８０１
ｃ）、それらの２つの符号化対象領域になってそれぞれ
前方・後方から共通に参照されるフレームの参照範囲内
の画素データ（８０１ｄ）の３種類が入力となる。この
とき相関度計算部８０２においては図５のように、１つ
の参照画像について２つの原画像を同時に平行移動させ
ることにより、２つの画像の相関度計算を一度に求める
ことができる。

【００４２】図８で説明した符号化処理のフローを図１
０を用いてさらに詳しく説明する。まず、ピクチャタイ
プ、たとえばＰピクチャ符号化か、Ｂピクチャ符号化か
が決定されると（１００１）、フレームメモリ７１に必
要な画像データが入力されるまで待機状態となる（１０
０２）。画像データが入力されると、符号化対象領域の
画像データの切り出しが行われ（１００３）、当該画像
データの種類（Ｉピクチャか、Ｐピクチャか、Ｂピクチ
ャ）によって処理が分かれる（１００４，１００５）。
すなわち、Ｉピクチャの場合にはそのまま符号化ステッ
プ（１００９）に移行し、Ｐピクチャの場合には直前の
ＩまたはＰピクチャを参照フレームとして動きベクトル
探索を行った後（１００８）、符号化される（１００
９）。

【００４３】さらにＢピクチャの場合には、直後のＩま
たはＰピクチャを後方参照フレームとして動きベクトル
探索を行うと同時に、同じフレームに対して前方参照す
る未来のＢピクチャの動きベクトル探索も行う（１００
６）。

【００４４】そして、前方参照フレームに対する動きベ
クトルは、過去に探索を完了しているものを動きベクト
ル情報記憶部８０５から読み出す（１００７）。このス
テップ１００６および１００７の機能を符号化装置のブ
ロック構成で示したものが図１１である。同図におい
て、直後のＩまたはＰピクチャを後方参照フレームとし
てフレームメモリ（１１０１ｃ）から読み出して動きベ
クトル探索を行うと同時に、このフレームメモリ（１１
０１ｃ）に対して前方参照する未来のＢピクチャの動き
ベクトル探索も行い、この結果を動きベクトル情報記憶
部８０５に記憶しておく、そして次のステップ１００７
において、前方参照フレームに対する動きベクトルは既
に探索を完了している直前のＢピクチャの前方動きベク
トルを動きベクトル情報記憶部８０５から読み出す。

【００４５】そして以上に述べた一連の処理を１ピクチ
ャ毎に繰り返す（９１０）。このように本発明で提案す
る方式ではＢピクチャの前方動きベクトル探索を図４の
ように原画像入力直後から開始する。たとえばＢ３の前
方向の動きベクトル探索（図ではＢ３ｆと表現）をＢ３
の入力終了直後から開始する。ここでＢ３の前方予測と
Ｂ２の後方予測（図ではＢ２ｂと表現）に用いる参照画
像は同じＰ１なので、この２つのフレームの動きベクト
ル探索を一度に処理することで参照画像転送のためのフ
レームメモリのリードアクセスを一度で済ませることが
できる。

【００４６】その結果、従来方式では同じ参照画像デー
タを個別に転送していたのに比べてフレームメモリへの
アクセスを半減できる。また図３の従来例に比べて参照
フレームを保存する期間が短くできるので、フレームメ
モリが１面分だけ不要になる。

【００４７】また従来方法ではＰ２の前方向動きベクト
ル探索はＰ１の画素と直接比較を行う以外に方法がな
く、Ｂフレームを多用した場合、探索の精度を確保する
ためにはＰフレームの動きベクトル探索範囲を広くとる
しか方法がなかった。

【００４８】しかし本発明によれば、Ｐ２の動きベクト
ル探索を開始する時点で既にＢ３ｆが終了しており、こ
の結果を参考にして動きベクトル探索範囲を絞り込むこ
とが可能である。

【００４９】さらに、前方向の動きベクトル探索を行っ
てから実際に符号化を行うまで時間が空くので、新たに
動きベクトル保存用のメモリが必要となるが、これは同
時に削減した１面分のフレームメモリよりもはるかに少
ない容量で済む。たとえばＭＰＥＧ−１の場合、８ｂｉ
ｔ、１６×１６（２５６）画素のブロック領域１つにつ
き１本のベクトルを必要とし、動きベクトルの範囲を水
平・垂直成分とも±１２８画素以内と仮定すると、削減
できる参照画素データの量が１ブロックあたり２５６ｂ
ｙｔｅであるのに対し、新たに保存すべきベクトルの情
報量は２ｂｙｔｅでしかない。

【００５０】以下にさらに詳しい実施例で説明する。

【００５１】

【実施例１】図１２に本発明を適用した動きベクトル探
索装置の例を示す。また図１３に本発明を適用した動き
ベクトル探索装置が出力する動きベクトル情報を使って
画像を符号化する装置の例を示す。

【００５２】図１２において、１２０１は制御部であ
り、動きベクトル探索の主制御を行う。１２０２はセレ
クタであり、入力される画像データを制御部１２０１か
らのバンク指定により切り換える機能を有している。フ
レームメモリ１２０４はアドレス発生部１２０３を通じ
て制御部１２０１からアクセスされ書き込みおよび読み
出しが行われる。１２０５は読み出し側のセレクタであ
り、フレームメモリ１２０４から読み出された画像デー
タを原画ブロックデータメモリ１２０６、参照画ブロッ
クデータメモリ１２０７および原画ブロックデータメモ
リ１２０８にそれぞれ選択的に出力する機能を有してい
る。

【００５３】１２０９は制御部１２０１から起動される
探索用ベクトル発生部であり、ここで発生されたベクト
ル値がアドレス発生部１２１０で決められたアドレスに
従って参照画ブロックデータメモリ１２０７に格納され
るようになっている。

【００５４】相関度計算部１２１１および１２１２は、
各画像データより動きベクトルを計算してフリップフロ
ップＦＦ（１２１３および１２１４）を通じて符号化部
に出力するようになっている。

【００５５】また、１２１５は動きベクトル一時保存用
メモリであり、Ｂピクチャ前方動きベクトルを一時格納
する。この構成図を用いた画像処理を説明する。

【００５６】まずＰピクチャ時の処理を説明するがこの
例ではＰピクチャについては従来方式と同じ探索を行う
ものとする。まず制御部１２０１の制御により、原画ブ
ロックデータメモリ１２０６に対して符号化する領域の
画素データがフレームメモリ１２０４よりセレクタ１２
０５を経由して転送される。それに応じて前方参照対象
となるフレームの画素データが同じくフレームメモリ１
２０４よりセレクタ１２０５を経由して参照画ブロック
データメモリ１２０７に転送される。ここで参照画ブロ
ックは原画ブロック内にある物体がもとあった位置をカ
バーできるよう広い領域が確保されているものとする。

【００５７】次に制御部１２０１からの信号により、相
関度計算部１２１１に対して参照画ブロックデータメモ
リ１２０７より原画ブロックサイズと同じ大きさの領域
のデータが送られ、相関度が計算される。

【００５８】以降は探索用ベクトル発生部１２０９から
出力される仮のベクトル値から算出されるアドレス指定
により、参照画ブロックデータメモリ１２０７から水平
・垂直方向のどちらかに１画素づつ平行移動させたブロ
ック画像が順次相関計算部１２１１に送られるので、そ
の都度相関度を求める。最終的に参照画像ブロック全体
について最も相関の高かった位置とのずれを動きベクト
ルとして符号化部に出力する。

【００５９】次にＢピクチャ時の処理を説明する。まず
原画ブロックデータメモリ１２０６に対して符号化する
領域の画素データがフレームメモリ１２０４より転送さ
れる。それに応じて後方参照対象となるフレームの画素
データがフレームメモリ１２０４より参照画ブロックデ
ータメモリ１２０７に転送される。この時点で、未来に
Ｂピクチャとして処理される画像で同じ参照画像を前方
参照するものがフレームメモリ１２０４に入力されてい
る。

【００６０】ここで、未来のＢピクチャとなるフレーム
のうち、今現在符号化しようとしているＢピクチャとの
領域と同じ領域を当該フレームメモリ１２０４より原画
ブロックデータメモリ１２０８に転送する。次に、制御
部１２０１からの信号により、相関度計算部１２１１お
よび１２１２に対して参照画ブロックデータメモリ１２
０７から原画ブロックサイズと同じ大きさの領域データ
が送られる。

【００６１】次に、相関度計算部１２１１，１２１２で
はそれぞれの原画データ（１２０６と１２０８から出力
されたデータ）と参照画ブロック（１２０７から出力さ
れたデータ）との相関度を計算する。

【００６２】以降は探索用ベクトル発生部１２０９から
出力される仮のベクトル値に基づいてアドレス発生部１
２１０で算出されるアドレス値により、参照画ブロック
データメモリ１２０７から相関計算部１２１１，１２１
２に対して水平・垂直方向のどちらかに１画素づつ平行
移動させたブロック画像が送られ、その都度相関度が算
出される。そして、最終的に参照画像ブロック全体につ
いても最も相関の高かった位置とのずれを動きベクトル
として出力する。

【００６３】前述で算出した動きベクトルのうち後方動
きベクトルについては、続く符号化に使用するため後段
の符号化部へ出力する。前方動きベクトルについては未
来のＢピクチャを処理する時点まで動きベクトル一時保
存用メモリ１２１５に格納する。現時点で符号化するＢ
ピクチャの前方動きベクトルについては同様にして既に
動きベクトル一時保存用メモリ１２１５に格納されてい
るので、これを読み出して符号化部に出力する。

【００６４】次に図１３の符号化部の構成を説明する。
１３０１は制御部であり、符号化の主制御を行う。１３
０２および１３０３はアドレス発生部であり、前方動き
ベクトルおよび後方動きベクトルの入力に基づいてロー
カルデコード画像用フレームメモリ１３０５にアクセス
するアドレスを発生させる。１３０４はセレクタであ
り、制御部１３０１からの制御によりローカルデコード
画像用フレームメモリ１３０５へのアクセスアドレスを
制御する。

【００６５】スイッチ１３６０はローカルデコード画像
用フレームメモリから読み出される参照画ブロックデー
タを前方向メモリ１３０７および後方向メモリ１３０８
にそれぞれ振り分けて格納する機能を有している。

【００６６】平均値計算部１３０９は、前方向メモリ１
３０７に格納された前方向参照画ブロックデータと後方
向メモリ１３０８に格納された後方向参照がブロックデ
ータとの平均値を計算する機能を有している。

【００６７】メモリ１３１０ａ〜１３１０ｃはそれぞれ
前方向参照画ブロックデータ、後方向参照画ブロックデ
ータおよび平均参照画ブロックデータをそれぞれ一時的
に格納するバッファである。

【００６８】差分累積値計算部１３１１ａ〜１３１１ｃ
はそれぞれ前方向参照画ブロックデータ、後方向参照画
ブロックデータおよび平均参照画ブロックデータと原画
ブロックデータの差分累積値を計算する機能を有してい
る。比較部１３１３はこれらの差分累積値を比較してセ
レクタ１３１２を制御して量子化部１３１４に出力する
データを選択する。また、比較部１３１３は、ローカル
デコード画像用フレームメモリ１３０５に書き込む復号
画像を生成するための参照画ブロックデータを選択する
セレクタ１３１７も制御している。

【００６９】つまり、比較部１３１３は参照画ブロック
データと原画ブロックデータとを比較してその差分絶対
値和を予測画像として選別してローカルデコード画像用
フレームメモリ１３０５に記録しておく機能を有してい
る。

【００７０】符号化割り当て部１３１６は、量子化部１
３１４から出力された量子化データを動きベクトル情報
に基づいて符号化して出力する。次に図１３の符号化部
の動作について説明する。

【００７１】Ｐピクチャ時は前方動きベクトルが入力さ
れ、アドレス発生部１３０２で指定されたアドレスに基
づいてセレクタ１３０４を通じてそれに対応した参照画
像ブロックがローカルデコード用フレームメモリ１３０
５から読み出される。この参照画像ブロックは、スイッ
チ１３０６を通じて前方向メモリ１３０７に格納され、
さらに原画ブロックとの差分が算出されてメモリ１３１
０ａに格納される。この差分はさらにセレクタ１３１２
を通じて量子化部１３１４で量子化される。さらにこの
量子化されたデータは逆量子化されて前述の参照画ブロ
ックと加算されて復号画像が再現されてローカルデコー
ド画像用フレームメモリ１３０５に格納される。

【００７２】Ｂピクチャ時は前方・後方の２つの動きベ
クトルが入力され、それぞれアドレス発生部１３０２，
１３０３で指定されたアドレスに基づいてローカルデコ
ード画像用フレームメモリ１３０５がアクセスされてそ
れぞれの動きベクトルに対応した参照画ブロックがスイ
ッチ１３０６を経由して前方向メモリ１３０７，後方向
メモリ１３０８にそれぞれ格納される。

【００７３】ここで、ＭＰＥＧ−１／２の仕様では、２
つの参照画像の他に双方の平均値を参照画像とすること
が可能なので平均値計算部１３０９でこれを算出してお
く。そして、前方向参照画ブロック、後方向参照画ブロ
ックおよびこれらの平均値（平均参照ブロック）が原画
ブロックと減算処理され、選択された１つの参照画につ
いて算出された差分がそれぞれのメモリ１３１０ａ，１
３１０ｂ，１３１０ｃを通じて量子化部１３１４で量子
化されさらに逆量子化部１３１５で逆量子化され参照画
ブロックと加算されて復号画像が再現されローカルデコ
ード画像用フレームメモリ１３０５に格納される。

【００７４】

【実施例２】図１４は本発明の別の実施例を示す構成図
である。本装置の構成は、図１２で説明した実施例１の
ものとほぼ同様であるが、原画ブロックデータメモリ１
２０８，相関度計算部１２１２およびフリップフロップ
１２１４（いずれも破線で示している部分）が省略され
ている。その他の構造は図１２と同様であるので説明は
省略する。

【００７５】図１４において、まず原画ブロックデータ
メモリ１２０６に符号化する領域の画素データがフレー
ムメモリ１２０４から転送される。それに応じて前方参
照対象となるフレームの画素データが参照画ブロックデ
ータメモリ１２０７に転送されるが、このとき直前に求
めた同じ位置の領域のＢピクチャの前方動きベクトルが
動きベクトル一次保存用メモリ１２１５より参照され、
これを基準として探索用ベクトル発生部１２０９におい
て探索領域が決定される。

【００７６】その後は実施例１で示した従来方式と同様
に、制御部１２０１からの信号により相関度計算部１２
１１に対して参照画ブロックデータメモリ１２０７から
原画ブロックサイズと同じ大きさの領域のデータが送ら
れ、相関度が計算される。

【００７７】以降は探索用ベクトル発生部１２０９から
出力される仮のベクトル値から算出されるアドレス指定
により、参照画ブロックデータメモリ１２０７から水平
・垂直方向のどちらかに１画素づつ平行移動させたブロ
ック画像が送られ、その都度相関度が計算される。そし
て、相関度計算部１２１１は最終的に参照画像ブロック
全体について最も相関の高かった位置とのずれを動きベ
クトルとしてフリップフロップ１２１３を通じて符号部
に出力する。

【００７８】

【発明の効果】本発明によれば、動きベクトル探索を行
う際、フレームメモリから読み出す参照画像データ量を
削減できる。代わりにフレームメモリからの原画データ
の読み出しと、動きベクトル探索結果を保存するための
メモリへのライトアクセスが増加するが、全体としては
メモリへの入出力データ量を削減できる。このため、よ
り安価なデータ入出力の遅いメモリを使いながら、従来
と同等の探索範囲を確保したまま動きベクトル探索を行
うことが可能になる。あるいは従来と同じ入出力速度の
メモリを使って、より広い範囲での動きベクトル探索が
可能になる。

【図面の簡単な説明】

【図１】 ＭＰＥＧにおける前方予測を説明するための
概念図

【図２】 ＭＰＥＧにおける両方向予測を説明するため
の概念図

【図３】 従来の符号化装置における画像入力と動きベ
クトル探索の時間関係を示すチャート図

【図４】 本発明における画像入力と動きベクトル探索
の時間関係を示すチャート図

【図５】 同一参照画像データによる２つのＢピクチャ
の前後方向の動きベクトル探索の一括処理を説明する概
念図

【図６】 本発明における画像入力と動きベクトル探索
の時間関係を示すチャート図

【図７】 従来の動きベクトル探索方法を用いた符号化
装置の機能構成図

【図８】 本発明における動きベクトル探索方法を用い
た符号化装置の構成図

【図９】 従来の動きベクトル探索方法を用いた符号化
処理のフロー図

【図１０】 本発明の動きベクトル探索方法を用いた符
号化処理のフロー図

【図１１】 直前のＢピクチャの前方ベクトルを利用し
たＰピクチャ時のベクトル探索を行う際の符号化装置の
機能構成図

【図１２】 本発明の実施例１における動き探索部の機
能構成図

【図１３】 本発明の実施例１における符号化部の機能
構成図

【図１４】 本発明の実施例２における動き探索部の機
能構成図

【図１５】 本発明の第１の課題解決手段に対応する動
き探索装置の機能構成図

【図１６】 本発明の第２および第４の課題解決手段に
対応する動き探索装置の機能構成図

【図１７】 本発明の第３の課題解決手段に対応する動
き探索装置の機能構成図

【図１８】 本発明の第５および第６の課題解決手段に
対応する符号化装置の機能構成図

【符合の説明】

７１・・フレームメモリ ７２・・相関度計算部 ７３・・符号化部 ７４・・ローカルデコード画像用フレームメモリ ８０１・・フレームメモリ ８０２・・相関度計算部 ８０３・・符号化部 ８０４・・ローカルデコード画像用フレームメモリ ８０５・・動きベクトル格納用メモリ １１０１・・フレームメモリ １２０１・・制御部 １２０２・・セレクタ １２０３・・アドレス発生部 １２０４・・フレームメモリ １２０５・・セレクタ １２０６・・原画ブロックデータメモリ１ １２０７・・参照画ブロックデータメモリ １２０８・・原画ブロックデータメモリ２ １２０９・・探索用ベクトル発生部 １２１０・・アドレス発生部 １２１１・・相関度計算部１ １２１２・・相関度計算部２ １２１３，１２１４・・フリップフロップ １２１５・・動きベクトル一次保存用メモリ １３０１・・制御部 １３０２，１３０３・・アドレス発生部 １３０４・・セレクタ １３０５・・ローカルデコード画像用フレームメモリ １３０６・・スイッチ １３０７・・前方向メモリ １３０８・・後方向メモリ １３０９・・平均値計算部 １３１０ａ〜１３１０ｃ・・メモリ １３１１ａ〜１３１１ｃ・・差分累積値計算部 １３１２・・セレクタ １３１３・・比較部 １３１４・・量子化部 １３１５・・逆量子化部 １３１６・・符号割り当て部 １３１７・・セレクタ １５０１・・フレームメモリ １５０２・・フレームメモリ制御部 １５０３・・相関度計算部 １５０４・・動きベクトル情報格納用メモリ １５０５・・多重化部 １６０１・・フレームメモリ １６０２・・予測方式管理部 １８０１・・フレームメモリ １８０２，１８０３・・参照画像用バッファ １８０４・・参照画像判定部 １８０５・・量子化部 １８０６・・逆量子化部

Claims (6)

【特許請求の範囲】
1. 【請求項１】 少なくとも複数面で構成され原画像、参
   照画像等の画像データを格納するフレームメモリと、 外部から与えられる予測方式情報に基づいて前記フレー
   ムメモリを制御し、原画像と参照画像との相関度を求め
   ることにより画像間の動きベクトルを判定する制御手段
   と、 動きベクトル情報を記憶する動きベクトル情報記憶手段
   とからなり、 前記制御手段は、指定されたピクチャの任意の領域の動
   きベクトルを探索する際に、このピクチャが参照する参
   照画像内の領域と同じ領域を参照する予定の未処理のピ
   クチャ内の領域がフレームメモリ内にある場合に、この
   領域についての動きベクトル探索も同時に行い、 前記で求めた動きベクトル情報のうち、未来のピクチャ
   に対する前記の領域のベクトル情報を前記ベクトル情報
   記憶手段に記憶させ、 現在のピクチャの前記の領域について過去に求めたベク
   トル情報がある場合に前記で求めた動きベクトル情報に
   加えて指定された領域の動きベクトルを出力する動きベ
   クトル探索装置。
2. 【請求項２】 指定されたピクチャ内の任意の領域の前
   方動きベクトルを求める際に、 過去に同じ参照画像を使って予測を行ったピクチャがあ
   り、その前方向動きベクトルが前記ベクトル情報記憶手
   段に記憶されていた場合にこれを読み出し、その動きベ
   クトルが示す座標を基準として前方動きベクトル探索を
   行うことを特徴とする請求項１に記載の動きベクトル探
   索装置
3. 【請求項３】 少なくとも複数面で構成され原画像、参
   照画像等の画像データを格納するフレームメモリと、 外部から与えられる予測方式情報に基づいて前記フレー
   ムメモリを制御し、原画像と参照画像との相関度を求め
   ることにより画像間の動きベクトルを判定する制御手段
   と、 動きベクトル情報を記憶する動きベクトル情報記憶手段
   とからなり、 前記制御手段は、指定された両方向予測ピクチャの任意
   の領域の後方側の動きベクトルを探索する際に、前記両
   方向予測ピクチャ内の領域が後方参照する参照画像内の
   領域と同じ領域を前方参照する予定の未処理の両方向予
   測ピクチャ内の領域が前記フレームメモリ内にある場合
   にこの領域についての前方動きベクトル探索も同時に行
   い前記で求めた未来の領域の前方動きベクトル情報を前
   記動きベクトル情報記憶手段に記憶させ、 前記で求めた後方動きベクトル情報と、前記と同様の方
   法により過去に既に求めて前記記録手段に保存してある
   前方動きベクトル情報とを、指定された領域の動きベク
   トル情報として出力する動きベクトル探索装置。
4. 【請求項４】 前記制御手段は、過去に同じ参照画像を
   使って予測を行ったピクチャがあり、その前方向動きベ
   クトルが前記動きベクトル情報記憶手段に記憶されてい
   る場合にこれを読み出し、動きベクトルが示す座標を基
   準として前方向予測ピクチャの前方動きベクトル探索を
   行う請求項３に記載の動きベクトル探索装置
5. 【請求項５】 請求項３に基づいて出力された前方動き
   ベクトルと後方動きベクトルとを入力し、 前記動きベクトルを用いてローカルデコード画像から前
   方参照画像、後方参照画像を構築する手段と、 前記の各参照画像のうち原画像に最も近似しているもの
   を予測画像として選別する手段と前記予測画像と原画像
   の差分情報を量子化・逆量子化する手段と前記逆量子化
   データをローカルデコード画像情報として保存する手段
   とからなり、 選別された前記予測画像と原画像の差分を符号化する動
   画像符号化装置。
6. 【請求項６】 参照画像と原画像の画素の差分絶対値和
   が少ないものを予測画像として選別することを特徴とす
   る請求項５に記載の動画像符号化装置