JPH0537923A - 動き補償予測の２段階ブロツクマツチング探索におけるメモリの使用方法 - Google Patents

Abstract

(57)【要約】 【目的】 動き補償予測方式におけるメモリの使用方法
に関し、メモリ部からマッチング演算部へ効率良く画素
データを供給する動き補償予測の２段階ブロックマッチ
ング探索におけるメモリの使用方法の提供を目的とす
る。 【構成】 メモリ200の前段に、入力画像データに対し
て間引きを行い間引いたデータと残りのデータを選別し
て出力するデータ選択部700 を設け、メモリ200に、デ
ータ選択部700 の出力の間引いたデータを記憶する第１
の領域と残りのデータを記憶する第２の領域を設け、誤
差比較部500において、最初メモリ200 の第１の領域に
記憶したデータを読み出して、ブロック毎に現フレーム
と直前フレームの画像データを比較し誤差が最小となる
ブロックを求め、次に、誤差が最小となるブロックの近
傍の画像データに対してメモリ200の第１及び第２の領
域に記憶したデータを読み出して、誤差が最小となるブ
ロックを求めるように構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は動画像信号の高能率符号
化時の、特に動き補償予測方式の２段階ブロックマッチ
ング探索におけるメモリの使用方法に関するものであ
る。

【０００２】動き補償予測方式によるフレーム間符号化
とは、符号化する画面をブロックに分割し、図５(A)に
示す直前の画面について、同図(B) に示す符号化するブ
ロックと同じ位置のブロック及びその近傍より最小誤差
のブロックを探し、このブロックとのベクトルを求め、
最小誤差のブロックをベクトル分だけ移動させ、その後
フレーム間符号化を行うものである。

【０００３】一般に、動き補償予測は、探索ブロック数
Ｎを大きくすれば大きな動きにも追従でき、予測誤差信
号のパワーは減少し符号化効率は上がるが、それだけ多
くの処理能力が必要となる。

【０００４】そこで、この問題点を解決するために符号
化画面と予測画面をある整数比（ｎ：１）に間引いて演
算を行って誤差が最小となる予測画面を求め、更にその
近傍についてのみ間引きを行わない予測画面との誤差を
求める２段階のマッチング演算を行うことにより、マッ
チング演算を減少させている。

【０００５】この際、メモリ部からマッチング演算部へ
効率良く画素データを供給する動き補償予測方式の２段
階ブロックマッチング探索におけるメモリの使用方法が
要望されている。

【０００６】

【従来の技術】図６は一例のメモリの使用方法を説明す
るための図である。図７は従来例のブロックマッチング
探索回路の構成を示すブロック図である。

【０００７】図７において、アナログの画像信号をアナ
ログ／ディジタル変換回路（以下Ａ／Ｄと称する）１で
ディジタル化し、このディジタル化したデータをメモリ
２に入力し所定のアドレスに書き込む。この場合、メモ
リ２は、(a)処理部へ現在取り込まれている画面（例え
ばＮ＋１番目の画面）用、(b)これからマッチング処理
を行う画面（Ｎ番目の画面）用、(c)マッチング演算の
参照となる画面（Ｎ−１番目の画面）用、及び(d)局部
復号画面（Ｎ' −１番目の画面）用の４画面分の容量を
持たせている。このフレームメモリは大容量になるた
め、多くの場合ＤＲＡＭ（Dynamic RAM)を使用する。

【０００８】ただし、ＤＲＡＭはアクセス速度が遅いた
め、図６に点線で示すように各フレームメモリを１／４
ずつの容量に分け参照画素の供給量を増やしている。
（尚、これについては、本願発明者により前に出願した
「複数メモリへのアクセス方法」に記述してあるため、
その説明を省略する。）そして、このメモリ２には演算
を高効率に行わせるため、画面のイメージで各画素のデ
ータを記憶している。

【０００９】次にデータ選択回路３内に有するアドレス
発生部（図示しない）の出力のアドレスを示す信号によ
り、メモリ２の上記アドレスに記憶したデータをブロッ
ク単位で読み出してデータ選択回路３に加え、データ選
択回路３で符号化画面（Ｎ）と予測画面（Ｎ−１）を整
数比（ｎ：１）に（例えば縦横とも１画素おきに）間引
いてデータを差分絶対値演算部４に加える。

【００１０】差分絶対値演算部４で、現フレームのある
ブロックの画素データ（Ｘi)と直前のフレームのあるブ
ロックの画素データ（Ｙi)との差分（Ｘi −Ｙi)を求
め、この差分（Ｘi −Ｙi)の絶対値をブロック内の全画
素に対して加算する。上記加算値の出力を誤差比較部５
に加える。上記直前のフレームのブロック位置を縦、横
に一定画素数だけ移動させて、同様に差分（Ｘi −Ｙi)
の絶対値をブロック内の全画素に対して加算し、加算値
の出力を誤差比較部５に加える。そして、移動前のブロ
ック位置における値との比較を行い、誤差が最小となる
ブロック位置を順次求める（図５参照）。

【００１１】誤差比較部５で得られた誤差が最小となる
ブロック位置の値を動きベクトル発生部６に入力して、
この誤差が最小となるブロック位置と現フレームのブロ
ックの位置の間のベクトル（動きベクトル）を求める。
この動きベクトルの値をフィードバックしてデータ選択
回路３に加え、データ選択回路３で、この動きベクトル
に対応するメモリ２のアドレスを算出してメモリ２に加
える。

【００１２】動きベクトルに対応するメモリ２のアドレ
スに記憶したデータとその近傍のアドレスに記憶したデ
ータを読み出して、前述したデータ選択回路３に加え
る。この場合、上述したように誤差が最小となる予測画
面を既に求めているため、更にその近傍についてのみ間
引きを行わない予測画面との誤差を、データ選択回路
３、差分絶対値演算部４及び誤差比較部５で求める。そ
して、誤差比較部５の出力を動きベクトル発生部６に加
え、予測誤差が最も少なくなるブロックを求め対応する
動きベクトルを算出して後段の回路（図示しない）に送
出する。後段の回路（図示しない）では、この動きベク
トルに対して量子化等の符号化を行う。

【００１３】このようにして動き補償予測方式により動
きベクトルを求めていた。

【００１４】

【発明が解決しようとする課題】しかしながら上述した
回路の構成においては、圧縮対象画像信号として通常の
13.5ＭHzでサンプリングしたNTSC信号を考え、探索対象
ブロック数を961(＝31×31) として全探索（フルサー
チ）すると、約13000MOPS の差分絶対値の和の累積演算
（マッチング演算）が必要となり、膨大な演算が必要と
なるという問題点があった。

【００１５】したがって本発明の目的は、メモリ２から
マッチング演算部へ効率良く画素データを供給する動き
補償予測の２段階ブロックマッチング探索におけるメモ
リの使用方法を提供することにある。

【００１６】

【課題を解決するための手段】上記問題点は図１に示す
回路の構成によって解決される。即ち図１において、画
像データを入力して記憶するメモリ200 と、メモリ200
に記憶したデータを読み出してブロック毎に現フレーム
と直前フレームの画像データを比較し、誤差が最小とな
るブロックを求める誤差比較部500 とを有する回路にお
いて、メモリ200 の前段に、入力画像データに対して間
引きを行い、間引いたデータと残りのデータを選別して
出力するデータ選択部700 を設ける。

【００１７】又、メモリ200 に、間引いたデータを記憶
する第１の領域と残りのデータを記憶する第２の領域を
設ける。そして、データ選択部700の出力の画像データ
をメモリ200 に入力して対応する領域に記憶する。

【００１８】誤差比較部500 において、最初メモリ200
の第１の領域に記憶したデータを読み出して、ブロック
毎に現フレームと直前フレームの画像データを比較し誤
差が最小となるブロックを求める。

【００１９】次に、誤差が最小となるブロックの近傍の
画像データに対してメモリ200 の第１及び第２の領域に
記憶したデータを読み出して、ブロック毎に現フレーム
と直前フレームの画像データを比較し誤差が最小となる
ブロックを求めるように構成する。

【００２０】

【作用】図１において、メモリ200 の前段に設けたデー
タ選択部700 において、入力画像データに対して例えば
１画素おきに間引きを行い、間引いたデータと残りのデ
ータを選別して出力する。

【００２１】そして、データ選択部700 の出力の画像デ
ータをメモリ200 に入力して、間引いたデータを第１の
領域に記憶する。又、残りのデータを第２の領域に記憶
する。

【００２２】誤差比較部500 において、最初メモリ200
の第１の領域に記憶したデータを読み出して、現フレー
ムのブロックの画像データと直前フレームのブロックの
画像データとを比較し誤差が最小となるブロックを直前
フレーム内に求める。

【００２３】次に、誤差が最小となるブロックの近傍の
画像データに対してメモリ200 の第１及び第２の領域に
記憶したデータを読み出して、現フレームのブロックの
画像データと直前フレームのブロックの画像データとを
比較し、誤差が最小となるブロックを直前フレーム内に
求める。

【００２４】この結果、最初間引いたデータをメモリ20
0 から読み出して誤差が最小となるブロックを求めるよ
うにしているため、誤差比較部500においてあらためて
データを間引く必要がなく、メモリ200から誤差比較部5
00へ効率良くデータを供給することが可能となる。

【００２５】

【実施例】図２は本発明の実施例の回路の構成を示すブ
ロック図である。図３は実施例の原画像選択回路の構成
を示すブロック図である。

【００２６】図４は実施例の動作を説明するための図で
ある。全図を通じて同一符号は同一対象物を示す。図２
において、アナログの画像信号をＡ／Ｄ１でディジタル
化し、このディジタル化したデータを原画像選択回路７
に入力するとともに、画像データから抽出したクロック
をカウンタ８に入力する。図３に示す原画像選択回路７
において、入力の画像データを分岐して並列変換部12、
13及び14に加える。又、画像データから抽出したクロッ
クを前述したカウンタ８に加えるとともに分周回路10に
加える。

【００２７】後述するデータ選択回路３' 及び差分絶対
値演算部４で、現フレームのあるブロックの画素データ
（Ｘi)と直前のフレームのあるブロックの画素データ
（Ｙi)との差分（Ｘi −Ｙi)を例えば１画素おきに求め
る場合、分周回路10におけるクロックの分周比を２：１
に設定する。

【００２８】そして、この周波数を１／２に設定したク
ロックにより、まず並列変換部12で画像データを図４
(A) の１段目（以下順次奇数段目）に示す○印の画素デ
ータ（１画素おきのデータ）を抽出してシリアルの画像
データをパラレルの画像データに変換した後、選択部
（以下ＳＥＬと称する）９の一方の入力端子に加え
る。

【００２９】又、上述した分周回路10の出力の１／２に
分周したクロックを移相器11を介してその位相を１クロ
ック分ずらして並列回路13に加え、このクロックにより
図４(A) の１段目（以下順次奇数段目）に示す×印の画
素データ（１画素おきのデータ）を抽出してシリアルの
画像データをパラレルの画像データに変換した後、ＳＥ
Ｌ９の他方の入力端子に加える。

【００３０】更に、分周回路10に入力するクロックを分
岐して並列変換部14に加え、このクロックにより図４
(A) の２段目（以下順次偶数段目）に示す×印のシリア
ルの画素データ（連続したデータ）をパラレルの画像デ
ータに変換した後、ＳＥＬ９の別の入力端子に加え
る。

【００３１】一方、カウンタ８で、入力のクロックに対
して図４(A) の１段目（以下順次奇数段目）に示す○
印、又は×印、又は２段目（以下順次偶数段目）の画像
データの位置を示すタイミングでＳＥＬ９に切替信号を
出力する。そして、上述した並列変換部12、13又は14か
ら入力した１段目（奇数段目）の○印、×印の画像デー
タ、又は２段目（偶数段目）の画像データをそれぞれの
タイミングでＳＥＬ９からメモリ２' に出力するように
する。

【００３２】メモリ２' には、前述したように処理部へ
現在取り込まれている画面（例えばＮ＋１番目の画面）
用のフレームメモリ(a) 、これからマッチング処理を行
う画面（Ｎ番目の画面）用のフレームメモリ(b) 、マッ
チング演算の参照となる画面（Ｎ−１番目の画面）用の
フレームメモリ(c) 及び局部復号画面（Ｎ' −１番目の
画面）用のフレームメモリ(d)の４画面分の容量を持た
せている。

【００３３】このメモリ２' で、前述した原画像選択回
路７の出力の画像データをＳＥＬ９を介して入力し、
(a) の領域、即ち前述した処理部へ現在取り込まれてい
る画面（例えばＮ＋１番目の画面）用のフレームメモリ
に書き込む。この場合、このフレームメモリ(a) 、(b)
、(c)、(d) を例えば４分割して、１／４の領域に前述
した○印のデータを、又、残り３／４の領域に×印のデ
ータを書き込む。

【００３４】そして、データ選択回路３' 内のアドレス
発生部（図示しない）の出力のアドレスを示す信号によ
り、(b) の領域（Ｎ番目の画面）の○印のデータと(c)
番目の領域（Ｎ−１番目の画面）の○印のデータとを例
えば４画素単位にまとめて読み出して、差分絶対値演算
部４に入力する。

【００３５】差分絶対値演算部４で、従来の技術で説明
したのと同様に、現フレームのあるブロックの画素デー
タ（Ｘi)と直前のフレームのあるブロックの画素データ
（Ｙi)との差分（Ｘi −Ｙi)を求め、この差分（Ｘi −
Ｙi)の絶対値をブロック内の全画素に対して加算する。
上記加算値の出力を誤差比較部５に加える。上記直前の
フレームのブロック位置を縦、横に一定画素数だけ移動
させて、同様に差分（Ｘi −Ｙi)の絶対値をブロック内
の全画素に対して加算し、加算値の出力を誤差比較部５
に加える。そして、移動前のブロック位置における値と
の比較を行い、誤差が最小となるブロック位置を順次求
める（図５参照）。

【００３６】誤差比較部５で得られた誤差が最小となる
ブロック位置の値を動きベクトル発生部６に入力して、
この誤差が最小となるブロック位置と現フレームのブロ
ックの位置の間のベクトル（動きベクトル）を求める。
この動きベクトルの値をフィードバックしてデータ選択
回路３'に加え、データ選択回路３'で、この動きベクト
ルに対応するメモリ２'のアドレスを算出してメモリ２'
に加える。

【００３７】この場合、上述したように誤差が最小とな
る予測画面を既に求めているため、動きベクトルに対応
するメモリ２'のアドレスに記憶したデータとその近傍
のアドレスに記憶したデータを読み出すが、間引きを行
わない○印と×印を含む全データについて読み出して差
分絶対値演算部４に加える。

【００３８】差分絶対値演算部４で、前述したと同様に
現フレームのあるブロックの画素データ（Ｘi)と直前の
フレームのあるブロックの画素データ（Ｙi)との差分
（Ｘi−Ｙi)の絶対値をブロック内の全画素に対して加
算する。上記加算値の出力を誤差比較部５に加え、誤差
が最小となるブロック位置を求める。

【００３９】そして、誤差比較部５の出力を動きベクト
ル発生部６に加え、予測誤差が最も少なくなるブロック
を求め対応する動きベクトルを算出して後段の回路（図
示しない）に送出する。後段の回路（図示しない）で
は、この動きベクトルに対して量子化等の符号化を行
う。

【００４０】この結果、ｎ：１に間引きを行い、メモリ
に○印のデータと×印のデータとをそれぞれまとめて記
憶し、１回目は○印のデータのみ読み出し２回目は○印
と×印とを含む全データを読み出すことにより、メモリ
部からマッチング演算部へ効率良く画素データを供給す
ることが可能となる。

【００４１】

【発明の効果】以上説明したように本発明によれば、メ
モリ部から誤差比較部（マッチング演算部）へ効率良く
画素データを供給することが可能となる。

【図面の簡単な説明】

【図１】は本発明の原理図、

【図２】は本発明の実施例の回路の構成を示すブロック
図、

【図３】は実施例の原画像選択回路の構成を示すブロッ
ク図、

【図４】は実施例の動作を説明するための図、

【図５】は一例の動き補償フレーム間符号化を説明する
ための図、

【図６】は一例のメモリの使用方法を説明するための
図、

【図７】は従来例のブロックマッチング探索回路の構成
を示すブロック図である。

【符号の説明】

200 はメモリ、500 は誤差比較部、700 はデータ選択部
を示す。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 田中 淳 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 川井 修 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 松田 喜一 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内

Claims (1)

1. 【特許請求の範囲】 【請求項１】 画像データを入力して記憶するメモリ(2
   00) と、該メモリ(200) に記憶したデータを読み出して
   ブロック毎に現フレームと直前フレームの画像データを
   比較し、誤差が最小となるブロックを求める誤差比較部
   (500) とを有する回路において、 該メモリ(200) の前段に、該入力画像データに対して間
   引きを行い、間引いたデータと残りのデータを選別して
   出力するデータ選択部(700) を設け、 該メモリ(200) に、該間引いたデータを記憶する第１の
   領域と残りのデータを記憶する第２の領域を設け、 該データ選択部(700) の出力の画像データを該メモリ(2
   00) に入力して対応する領域に記憶し、 該誤差比較部(500) において、 最初該メモリ(200) の第１の領域に記憶したデータを読
   み出して、ブロック毎に現フレームと直前フレームの画
   像データを比較し誤差が最小となるブロックを求め、 次に、該誤差が最小となるブロックの近傍の画像データ
   に対して該メモリ(200) の第１及び第２の領域に記憶し
   たデータを読み出して、ブロック毎に現フレームと直前
   フレームの画像データを比較し誤差が最小となるブロッ
   クを求めるようにしたことを特徴とする動き補償予測の
   ２段階ブロックマッチング探索におけるメモリの使用方
   法。