JPH07203462A - 動きベクトル検出方法及び画像データの符号化方法 - Google Patents
動きベクトル検出方法及び画像データの符号化方法Info
- Publication number
- JPH07203462A JPH07203462A JP35538493A JP35538493A JPH07203462A JP H07203462 A JPH07203462 A JP H07203462A JP 35538493 A JP35538493 A JP 35538493A JP 35538493 A JP35538493 A JP 35538493A JP H07203462 A JPH07203462 A JP H07203462A
- Authority
- JP
- Japan
- Prior art keywords
- absolute value
- motion vector
- detected
- block
- inspection block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
レームに上記基準ブロックと同画素数の検査ブロックを
設定し、この検査ブロックを移動しながら、該検査ブロ
ックと基準ブロックとのブロックマッチング処理を行
い、上記検査ブロックの移動範囲を多段階的に徐々に狭
めながら動きベクトルの検出を行う動きベクトル検出方
法であって、第1ステップにおいて、上記検査ブロック
を第1の移動範囲SV1で移動した際に得られた、検査
ブロックと基準ブロックとの各画素の差分の絶対値和の
うち、値の小さいものから順に複数の絶対値和を検出
し、次のステップで、上記各絶対値和に基づいて移動範
囲を第1ステップよりも狭めてそれぞれ設定し動きベク
トルの検出を行う。 【効果】 動きベクトルの検出精度の向上を図ることが
できる。
Description
像データの圧縮符号化処理を行う、例えば動画像圧縮処
理装置(MPEG装置)等に用いて好適な動きベクトル
検出方法及び画像データの符号化方法に関し、特に、最
初は大きく、徐々に範囲を狭めながら画像の動きベクト
ルの検出を多段階に亘って行うマルチステップサーチに
おける動きベクトルの検出精度の向上等を図った動きベ
クトル検出方法、及び、この動きベクトル検出方法を用
いて画像データの圧縮符号化を行うことにより、圧縮符
号化効率及び圧縮符号化精度の向上等を図った画像デー
タの符号化方法に関する。
の国際標準方式としてMPEG(Moving Picture Codin
g Transform )方式が知られている。このMPEG方式
は、画像データに直交変換処理を施す、例えばDCT
(Discrete Cosine Transform )変換と、動き補償とを
組み合わせた画像の高能率圧縮技術である。
画像と現在フレームの画像との相関性を利用して画像デ
ータを圧縮符号化する、図7に示すような画像データの
符号化装置に適用することができる。
は、入力端子201を介して現在フレームの画像データ
が供給される。この現在フレームの画像データは、動き
ベクトル検出回路202及び減算器203に供給され
る。
記現在フレームの画像データの他、以下に説明するフレ
ームメモリ205からの前フレームの画像データが供給
されている。上記動きベクトル検出回路202は、上記
現在フレームの画像データ及び前フレームの画像データ
に基づいて画像の動きを検出することにより動きベクト
ルを形成し、これを動き補償回路204に供給する。
モリ205から前フレームの画像データが供給されてい
る。上記動き補償回路204は、上記動きベクトル検出
回路202からの動きベクトルに基づいて、上記前フレ
ームの画像データに動き補償処理を施し、これを上記減
算器203及び加算器206に供給する。
画像データと、上記動き補償処理の施された前フレーム
の画像データとを減算処理することにより、現在フレー
ムの画像データと前フレームの画像データとの差分を示
す差分データを形成し、これをDCT回路207に供給
する。
を所定画素数のブロック毎に周波数軸上に変換してDC
Tブロックを形成し、これを量子化回路208に供給す
る。上記量子化回路208は、上記DCTブロックのレ
ベルに応じて量子化ステップ可変し、この量子化ステッ
プにより上記DCTブロックに量子化処理を施すことに
より圧縮画像データを形成し、これを出力端子209を
介して例えばディスク記録装置等の外部機器に供給する
とともに、逆量子化回路210に供給する。
路208で選択された量子化ステップで、上記圧縮画像
データに逆量子化処理を施すことにより、量子化処理さ
れる前のDCTブロックを再生し、これを逆DCT回路
211に供給する。上記逆DCT回路211は、上記再
生されたDCTブロックに逆DCT処理を施すことによ
り、DCTブロック化される前の差分データを形成し、
これを上記加算器206に供給する。
204からの動き補償された前フレームの画像データが
別に供給されている。上記加算器206は、上記動き補
償された前フレームの画像データと、上記逆DCT回路
211からの差分データとを加算処理することにより、
現在フレームの画像データを再生し、これをフレームメ
モリ205に供給する。
在フレームの画像データは、1フレーム分の遅延が施さ
れ読み出される。これにより、上記現在フレームの画像
データは、読み出しの段階で前フレームの画像データと
され、上記動き補償回路204及び動きベクトル検出回
路202に供給される。上述のように、上記動き補償回
路204は、上記動きベクトル検出回路202からの動
きベクトルに応じて上記前フレームの画像データに動き
補償処理を施し、これを上記減算器203及び加算器2
06に供給する。以後、各回路において、上述の動作が
繰り返される。
は、動きベクトルに基づいて動きベクトル補償された前
フレームの画像データと、現在フレームの画像データと
の差分を符号化して出力する。これにより、画像データ
の高能率圧縮を行うことができる。
は、図8に示すように現在フレーム221に複数設定さ
れた複数画素(N画素×Mライン)から形成される基準
ブロック223が、前フレーム222内を移動する複数
画素(N画素×Mライン)から形成される検査ブロック
のうち、どの検査ブロック224と一致するかを検出す
るブロックマッチングにより動きベクトルを検出してい
る。
2は、前フレーム222の検査ブロック224を所定の
移動範囲内において移動し、該移動する毎に検査ブロッ
ク224と上記現在フレーム221の基準ブロック22
3とを比較する。そして、上記基準ブロック223に最
も合致する検査ブロック224をマッチングブロックと
して検出し、このマッチングブロックに基づいて動きベ
クトルの検出を行う。
は、フルサーチと呼ばれるブロックマッチング法と、マ
ルチステップサーチと呼ばれるブロックマッチング法と
が知られている。
適用された動きベクトル検出回路は、例えば図9に示す
ような構成を有している。この図9において、現フレー
ムメモリ231には入力端子233を介して現在フレー
ムの画像データが供給され、前フレームメモリ232に
は入力端子234を介して前フレームの画像データが供
給される。上記各フレームメモリ231,232に供給
された各画像データは、それぞれコントローラ235の
書き込み制御により、該各フレームメモリ231,23
2内に一旦書き込まれる。
232内に各画像データが書き込まれると、上記コント
ローラ235は、上記図8に示した現在フレーム221
の基準ブロックの画像データを読み出すように上記現フ
レームメモリ231を読み出し制御するとともに、前フ
レーム222の検査ブロック224の画像データを読み
出すようにアドレス移動回路236を介して前フレーム
メモリ232を読み出し制御する。また、上記コントロ
ーラ235は、上記検査ブロック224が、図10に示
すように1画素毎に所定の移動範囲SV内を移動するよ
うに、1画素ずつ上記前フレームメモリ232の読み出
しアドレスをアドレス移動回路236を介して可変制御
する。
から上記基準ブロック223の画像データが差分検出回
路237に供給されるとともに、上記前フレームメモリ
232から上記移動範囲SV内において1画素ずつ移動
された検査位置の検査ブロック224の画像データが上
記差分検出回路237に供給される。
ック223の画像データと、上記検査ブロック224の
画像データとを1画素毎に減算処理して差分データを形
成し、これを絶対値和検出回路238に供給する。
ロックの比較により形成された差分データの絶対値を検
出し、この絶対値を全て加算処理することにより絶対値
和データを形成し、これを判断回路239に供給する。
囲SV内を上記検査ブロック224を1画素ずつ移動し
てブロックマッチングを行う1回のブロックマッチング
処理により形成される全ての絶対値和データを記憶でき
るメモリを有している。上記判断回路239は、上記絶
対値和検出回路238から供給される絶対値和データ
を、その絶対値和データが形成された上記移動範囲SV
の検査位置に対応するアドレスに一旦記憶する。そし
て、上記メモリの全てのアドレスに上記絶対値和データ
が記憶されると、この絶対値和データの中から値が最小
のものが記憶されているアドレスを検出し、このアドレ
スに基づいて動きベクトルを検出する。そして、この動
きベクトルを出力端子240を介して、上記図7に示し
た動き補償回路204に供給する。
ームの検査ブロック224の画像データと現在フレーム
の基準ブロック223の画像データとの差分が最小であ
ること、すなわち、その検査ブロック224の画像デー
タと基準ブロック223の画像データとの相関性が高い
ことを示している。また、上述のように上記絶対値和デ
ータは、ブロックマッチングを行った位置に対応した上
記メモリ上のアドレスに記憶される。
記憶されている上記メモリ上のアドレスを検出すること
により、上記値が最小の絶対値和データが形成された検
査ブロック224に対する上記基準ブロック223の動
き分(動きベクトル)を検出することができる。
グで動きベクトルの検出がなされると、上記判断回路2
59は、コントローラ235に該動きベクトルの検出が
なされたことを示すデータを供給する。上記コントロー
ラ235は、上記動きベクトルの検出がなされたことを
示すデータが供給されると、新たな現在フレームの画像
データ及び前フレームの画像データが上記各フレームメ
モリ231,232に書き込まれるように該各フレーム
メモリ231,232を書き込み制御する。これによ
り、新たに上述のブロックマッチング処理が行われる。
上記検査ブロック224を、上記移動範囲SVにおいて
1画素毎に移動させながら動きベクトルの検出を行う必
要があるため、演算量が膨大なものとなり画像データの
高速処理に支障をきたす。このため、現在では、最初は
大きな移動範囲で動きベクトルの検出を行い、この検出
結果に応じて徐々に移動範囲を小さくするように、多段
階に亘ってブロックマッチング処理を行うことにより、
演算量の軽減を図るマルチステップサーチが多く行われ
ている。
階に亘って動きベクトルの検出を行う3ステップサー
チ、2段階に分けて動きベクトルの検出を行う2ステッ
プサーチ等が知られている。
動きベクトル検出回路は、例えば図11に示すような構
成を有している。この図11において、現フレームメモ
リ251には入力端子253を介して現在フレームの画
像データが供給され、前フレームメモリ252には入力
端子254を介して前フレームの画像データが供給され
る。上記各フレームメモリ251,252に供給された
各画像データは、それぞれコントローラ255の書き込
み制御により、該各フレームメモリ251,252内に
一旦書き込まれる。
252内に各画像データが書き込まれると、上記コント
ローラ255は、例えば上記現フレームメモリ251に
設定された基準ブロックの画像データが読み出されるよ
うに上記現フレームメモリ251を読み出し制御する。
この基準ブロックの画像データは、差分検出回路257
に供給される。
ともに、まず、第1ステップとして図12に示すように
上記前フレームメモリ252に記憶された画像データの
うち、例えば上記基準ブロックの中心のアドレスに対応
するアドレスの画像データを原点の画像データ270と
し、この原点の画像データ270に対して左斜め上方向
に4画素分ずれた画像データ271を中心とする上記基
準ブロックの画像データと同数の画像データを有する検
査ブロックの画像データが読み出されるようにi画素ス
テップアドレス移動回路256Aを介して上記前フレー
ムメモリ252を読み出し制御する。
続いて、上記画像データ271から右方向に4画素分離
れた画像データ272を中心とする検査ブロック,上記
画像データ272から右方向に4画素分離れた画像デー
タ273を中心とする検査ブロック,上記原点の画像デ
ータ270から左方向に4画素分離れた画像データ27
4を中心とする検査ブロック,上記原点の画像データ2
70を中心とする検査ブロック,上記原点の画像データ
270から右方向に4画素分離れた画像データ275を
中心とする検査ブロック,上記原点の画像データ270
から左斜め下方向に4画素分離れた画像データ276を
中心とする検査ブロック,上記画像データ276から右
方向に4画素分離れた画像データ277を中心とする検
査ブロック,上記画像データ277から右方向に4画素
分離れた画像データ278を中心とする検査ブロックの
各画像データが順に読み出されるように上記i画素ステ
ップアドレス移動回路256Aを介して上記前フレーム
メモリ252を読み出し制御する。
れた各検査ブロックの画像データは、それぞれ上記差分
検出回路257に供給される。
12に示す各画像データ271〜278をそれぞれ中心
として4画素毎に検査ブロックを移動することにより、
同図中太線で示す第1の移動範囲SV1でブロックマッ
チング処理が行われることとなる。
ックの画像データと、上記各検査ブロックの画像データ
とを比較してその差分を検出し、この差分データを絶対
値和検出回路258に供給する。上記絶対値和検出回路
258は、上記差分データの絶対値を検出し、1回のブ
ロック同士の比較により検出される差分データを全て加
算して絶対値和データを形成する。これにより、上記検
査ブロックの移動を行った分である計9個の絶対値和デ
ータが形成されることとなる。この絶対値和データは、
それぞれ判断回路259に供給される。
移動範囲SV1内を上記検査ブロックを4画素ずつ移動
してブロックマッチングを行う1回のブロックマッチン
グ処理により形成される全ての絶対値和データを記憶で
きるメモリを有している。上記判断回路259は、上記
絶対値和検出回路258から供給される絶対値和データ
を、その絶対値和データが形成された上記第1の移動範
囲SV1の検査位置に対応するアドレスに一旦記憶す
る。そして、上記メモリの全てのアドレスに上記絶対値
和データが記憶されると、この絶対値和データの中から
値が最小のものを検出し、この値が最小の絶対値和デー
タを上記コントローラ255に供給する。
うことは、前フレームにおける検査ブロックと現在フレ
ームにおける基準ブロックとの相関性が高いことを示し
ている。このため、上記コントローラ255は、上記絶
対値和データに基づいて、その絶対値和データが検出さ
れた検査ブロックの中心に位置する、上記前フレームメ
モリ252上のアドレスの画像データを検出する。そし
て、第2のステップとして、上記画像データを中心とし
て移動範囲を狭めてブロックマッチング処理を行う。
が検出された検査ブロックの中心の画像データが図12
に×点で示す画像データ276であったとすると、上記
コントローラ255は、第2ステップとして図13
(a)に示すように、上記画像データ276から左斜め
上に2画素分離れた画像データ281を中心とする検査
ブロック,上記画像データ281から右方向に2画素分
離れた画像データ282を中心とする検査ブロック,上
記画像データ282から右方向に2画素分離れた画像デ
ータ283を中心とする検査ブロック,上記画像データ
276から左方向に2画素分離れた画像データ284を
中心とする検査ブロック,上記画像データ276を中心
とする検査ブロック,上記画像データ276から右方向
に2画素分離れた画像データ285を中心とする検査ブ
ロック,上記画像データ276から左斜め下方向に2画
素分離れた画像データ286を中心とする検査ブロッ
ク,上記画像データ286から右方向に2画素分離れた
画像データ287を中心とする検査ブロック,上記画像
データ287から2画素分離れた画像データ288を中
心とする検査ブロックの各画像データが順に読み出され
るように上記i画素ステップアドレス移動回路256A
を介して上記前フレームメモリ252を読み出し制御す
る。
れた各検査ブロックの画像データは、それぞれ上記差分
検出回路257に供給される。
13(a)に示す各画像データ281〜288及び画像
データ276をそれぞれ中心として2画素毎に検査ブロ
ックを移動することにより、同図(a)中太線で示す第
2の移動範囲SV2でブロックマッチング処理が行われ
ることとなる。
ックの画像データと、上記各検査ブロックの画像データ
とを比較してその差分を検出し、この差分データを絶対
値和検出回路258に供給する。上記絶対値和検出回路
258は、上記差分データの絶対値を検出し、1回のブ
ロック同士の比較により検出される差分データを全て加
算して絶対値和データを形成する。これにより、上記検
査ブロックの移動を行った分である計9個の絶対値和デ
ータが形成されることとなる。この絶対値和データは、
それぞれ判断回路259に供給される。
回路258から供給される上記9つの絶対値和データ
を、その絶対値和データが形成された上記第2の移動範
囲SV2の検査位置に対応するアドレスに一旦記憶す
る。そして、上記メモリの全てのアドレスに上記絶対値
和データが記憶されると、この絶対値和データの中から
値が最小のものを検出し、この値が最小の絶対値和デー
タを上記コントローラ255に供給する。
最小であるということは、前フレームにおける検査ブロ
ックと現在フレームにおける基準ブロックとの相関性が
高いことを示している。このため、上記コントローラ2
55は、上記絶対値和データに基づいて、その絶対値和
データが検出された検査ブロックの中心に位置する、上
記前フレームメモリ252上のアドレスの画像データを
検出する。そして、第3のステップとして、上記画像デ
ータを中心として移動範囲をさらに狭めてブロックマッ
チング処理を行う。
が検出された検査ブロックの中心の画像データが図13
(a)に△点で示す画像データ283であったとする
と、上記コントローラ255は、第3ステップとして図
13(b)に示すように、上記画像データ283から左
斜め上に1画素分離れた画像データ291を中心とする
検査ブロック,上記画像データ291から右方向に1画
素分離れた画像データ292を中心とする検査ブロッ
ク,上記画像データ292から右方向に1画素分離れた
画像データ293を中心とする検査ブロック,上記画像
データ283から左方向に1画素分離れた画像データ2
94を中心とする検査ブロック,上記画像データ283
を中心とする検査ブロック,上記画像データ283から
右方向に1画素分離れた画像データ295を中心とする
検査ブロック,上記画像データ283から左斜め下方向
に1画素分離れた画像データ296を中心とする検査ブ
ロック,上記画像データ296から右方向に1画素分離
れた画像データ297を中心とする検査ブロック,上記
画像データ297から1画素分離れた画像データ298
を中心とする検査ブロックの各画像データが順に読み出
されるように1画素ステップアドレス移動回路256B
を介して上記前フレームメモリ252を読み出し制御す
る。
れた各検査ブロックの画像データは、それぞれ上記差分
検出回路257に供給される。
13(b)に示す各画像データ291〜298及び画像
データ283をそれぞれ中心として1画素毎に検査ブロ
ックを移動することにより、同図(b)中太線で示す第
3の移動範囲SV3でブロックマッチング処理が行われ
ることとなる。
ックの画像データと、上記各検査ブロックの画像データ
とを比較してその差分を検出し、この差分データを絶対
値和検出回路258に供給する。上記絶対値和検出回路
258は、上記差分データの絶対値を検出し、1回のブ
ロックどおしの比較により検出される差分データを全て
加算して絶対値和データを形成する。これにより、上記
検査ブロックの移動を行った分である計9個の絶対値和
データが形成されることとなる。この絶対値和データ
は、それぞれ判断回路259に供給される。
回路258から供給される上記9つの絶対値和データ
を、その絶対値和データが形成された上記第3の移動範
囲SV3の検査位置に対応するアドレスに一旦記憶す
る。そして、上記メモリの全てのアドレスに上記絶対値
和データが記憶されると、この絶対値和データの中から
値が最小のものを検出し、この値が最小の絶対値和デー
タを上記コントローラ255に供給する。
の絶対値和データが形成された検査ブロックを検出し、
この検査ブロックの中心に位置する画像データを検出す
る。具体的には、例えば上記値が最小の絶対値和データ
が形成された検査ブロックの中心に位置する画像データ
が図13(b)に斜線で示す画像データ296であった
とすると、上記コントローラ255は、上記画像データ
296の前フレームメモリ252上のアドレスを検出す
る。そして、この検査ブロックの中心の画像データの前
フレームメモリ252上のアドレスと、上記現在フレー
ムメモリ251上の基準ブロックの中心の画像データの
アドレスとの差分を検出することにより、上記値が最小
の絶対値和データが形成された検査ブロックに対する上
記基準ブロックの動き分(動きベクトル)を検出し、こ
の動きベクトルを出力端子260を介して上記図7に示
した動き補償回路204に供給する。
の符号化装置において、上述のように画像データの圧縮
符号化処理を行うことができる。
ベクトル検出回路は、構成的には上記図11に示した回
路と同じであるが、この場合、上記コントローラ255
は、第1ステップで2画素毎に検査ブロックを移動させ
るように上記i画素ステップアドレス移動回路256を
制御し、第2ステップで1画素毎に検査ブロックを移動
させるように上記1画素ステップアドレス移動回路を制
御するようになっている。
レームメモリ251に現在フレームの画像データが記憶
され、前フレームメモリ252に前フレームの画像デー
タが記憶されると、上記コントローラ255は、例えば
上記現フレームメモリ251に設定された基準ブロック
の画像データが読み出されるように上記現フレームメモ
リ251を読み出し制御する。この基準ブロックの画像
データは、差分検出回路257に供給される。
ともに、まず、第1ステップとして図14(a)に示す
ように上記前フレームメモリ252に記憶された画像デ
ータのうち、例えば上記現フレームメモリ251から読
み出した基準ブロックの中心のアドレスに対応するアド
レスの画像データを原点の画像データ300とし、同図
(a)中太線で示すように上記原点の画像データ300
を中心とする第1の移動範囲SV1内を2画素毎に検査
ブロックが移動するように上記i画素ステップアドレス
移動回路256Aを介して上記前フレームメモリ252
を読み出し制御する。この各検査ブロックの画像データ
は、それぞれ上記差分検出回路257に供給される。
ックの画像データと、上記各検査ブロックの画像データ
とを比較してその差分を検出し、この差分データを絶対
値和検出回路258に供給する。上記絶対値和検出回路
258は、上記差分データの絶対値を検出し、1回のブ
ロック同士の比較により検出される差分データを全て加
算して絶対値和データを形成する。例えば、図14
(a)の○点及び●点に示すように49回に亘って、上
記検査ブロックの移動が行われたとすると、計49個の
絶対値和データが形成されることとなる。この絶対値和
データは、それぞれ判断回路259に供給される。
移動範囲SV1内を上記検査ブロックを2画素ずつ移動
してブロックマッチングを行う1回のブロックマッチン
グ処理により形成される全ての絶対値和データを記憶で
きるメモリを有している。上記判断回路259は、上記
絶対値和検出回路258から供給される絶対値和データ
を、その絶対値和データが形成された上記第1の移動範
囲SV1の検査位置に対応するアドレスに一旦記憶す
る。そして、上記メモリの全てのアドレスに上記絶対値
和データが記憶されると、この絶対値和データの中から
値が最小のものを検出し、この値が最小の絶対値和デー
タを上記コントローラ255に供給する。
うことは、前フレームにおける検査ブロックと現在フレ
ームにおける基準ブロックとの相関性が高いことを示し
ている。このため、上記コントローラ255は、上記絶
対値和データに基づいて、その絶対値和データが検出さ
れた検査ブロックの中心に位置する、上記前フレームメ
モリ252上のアドレスの画像データを検出する。そし
て、第2のステップとして、上記画像データを中心とし
て移動範囲を狭めてブロックマッチング処理を行う。
が検出された検査ブロックの中心の画像データが図14
(a)に斜線で示す画像データ301であったとする
と、上記コントローラ255は、第2ステップとして同
図(b)中太線で示すように、上記画像データ301を
中心とする第2の移動範囲SV2内を1画素毎に検査ブ
ロックが移動するように上記1画素ステップアドレス移
動回路256Bを介して上記前フレームメモリ252を
読み出し制御する。この各検査ブロックの画像データ
は、それぞれ上記差分検出回路257に供給される。
ックの画像データと、上記各検査ブロックの画像データ
とを比較してその差分を検出し、この差分データを絶対
値和検出回路258に供給する。上記絶対値和検出回路
258は、上記差分データの絶対値を検出し、1回のブ
ロックどおしの比較により検出される差分データを全て
加算して絶対値和データを形成する。これにより、図1
4(b)に示すように上記検査ブロックの移動を行った
分の計9個の絶対値和データが形成されることとなる。
この絶対値和データは、それぞれ判断回路259に供給
される。
回路258から供給される上記9つの絶対値和データ
を、その絶対値和データが形成された上記第2の移動範
囲SV2の検査位置に対応するアドレスに一旦記憶す
る。そして、上記メモリの全てのアドレスに上記絶対値
和データが記憶されると、この絶対値和データの中から
値が最小のものを検出し、この値が最小の絶対値和デー
タを上記コントローラ255に供給する。
の絶対値和データが形成された検査ブロックが上記基準
ブロックと一致しているとし、その絶対値和データが形
成された検査ブロックの例えば中心の画像データのアド
レスを検出する。そして、この検査ブロックの中心の画
像データのアドレスと、上記基準ブロックの中心の画像
データのアドレスとの差分を検出することにより、上記
値が最小の絶対値和データが形成された検査ブロックに
対する上記基準ブロックの動き分(動きベクトル)を検
出し、この動きベクトルを出力端子260を介して上記
図7に示した動き補償回路204に供給する。
第1ステップ〜第3ステップの計3段階に分けて、或い
は、第1ステップ及び第2ステップの計2段階に分けて
動きベクトルの検出を行うようにしているため、最初は
粗く徐々に細かく動きベクトルの検出を行うことがで
き、上述のフルサーチよりも演算量を削減することがで
き、画像データの高速処理化を図ることができる。
ップサーチ及び2ステップサーチ等のマルチステップサ
ーチにおいて、各ステップで選択される絶対値和データ
は、最小値の絶対値和データ1点のみであるが、この最
小値の絶対値和データは、最終的に正確な動きベクトル
を検出できるものであるとは限らない。
させる画素間隔と、正確な動きベクトルを検出すること
ができる確率(正解率)とは比例関係にあり、上記検査
ブロックを移動させる画素間隔を狭めれば上記正解率は
向上するが、該検査ブロックを移動させる画素間隔を狭
めると、ブロックマッチングの回数を増やすこととなる
ため、計算量が増大して動きベクトルの検出速度が遅く
なってしまう問題が生ずる。
のであり、多段階に亘ってブロックマッチング処理を行
うことにより動きベクトルの検出を行うマルチステップ
サーチにおいて、計算量の増大及び検出速度の遅延化を
極力抑制して動きベクトルの検出精度の向上を図ること
ができるような動きベクトル検出方法、及び、この動き
ベクトル検出方法で形成された正確な動きベクトルを用
いることにより、画像データに応じた正確な圧縮符号化
及び符号化効率の向上を図ることができるような画像デ
ータの符号化方法の提供を目的とする。
ル検出方法は、時間的に前後する現在画像或いは前画像
に所定画素からなる基準ブロックを設定し、上記基準ブ
ロックと同じ画素数からなる検査ブロックを、上記基準
ブロックが設定された画像以外の画像の所定の移動範囲
内で移動し、該検査ブロックを移動する毎に、検査ブロ
ックと基準ブロックとの相関を示す評価関数値を検出
し、上記検査ブロックの移動に対応して得られた各評価
関数値の中から値が最小の評価関数値を検出し、この値
が最小の評価関数値が形成された移動範囲内の所定位置
の画素に基づいて上記検査ブロックの次の移動範囲を所
定分狭め、再度、上記値が最小の評価関数値を検出する
動作を、上記検査ブロックの最小限度の移動範囲となる
まで繰り返し行い、この最小限度の移動範囲で検出され
た、値が最小の評価関数値に基づいて動きベクトルを検
出する動きベクトル検出方法において、上記検査ブロッ
クを、最小限度の移動範囲以外の移動範囲で移動した際
に得られた評価関数値のうち、値が最小の評価関数値か
ら順に値が小さい評価関数値を複数検出し、この複数検
出された評価関数値が形成された各移動範囲内の所定位
置の画素に基づいて、上記検査ブロックの次の移動範囲
を所定分狭めてそれぞれ設定し、この狭めて設定された
各移動範囲で上記検査ブロックの移動をそれぞれ行って
評価関数値を検出する動作を、上記検査ブロックの最小
限度の移動範囲となるまで繰り返し行い、上記最小限度
の移動範囲で検査ブロックを移動した際に得られた、値
が最小の評価関数値に基づいて動きベクトルを検出する
ことを特徴として上述の課題を解決する。
は、上記最小限度の移動範囲以外の移動範囲で検査ブロ
ックを移動することにより得られた評価関数値のうち、
値が最小の評価関数値及び2番目に値が小さな評価関数
値を検出し、上記値が最小の評価関数値及び2番目に値
が小さな評価関数値が検出された各移動範囲内の所定位
置の各画素に基づいて、上記検査ブロックの次の移動範
囲を所定分狭めてそれぞれ設定することを特徴として上
述の課題を解決する。
は、複数回設定される上記検査ブロックの移動範囲のう
ち、所定の移動範囲で上記複数の評価関数値の検出を行
うことを特徴として上述の課題を解決する。
は、上記最小限度の移動範囲以外の移動範囲で検査ブロ
ックを移動することにより得られた複数の評価関数値ど
うしの差分と閾値とを比較し、上記複数の評価関数値ど
うしの差分が閾値よりも小さかった場合には、上記複数
検出された評価関数値が形成された各移動範囲内の所定
位置の画素に基づいて、上記検査ブロックの次の移動範
囲を所定分狭めてそれぞれ設定して動きベクトルの検出
を行い、上記複数の評価関数値どうしの差分が閾値より
も大きかった場合には、最小値の評価関数値が形成され
た移動範囲内の所定位置の画素に基づいて、上記検査ブ
ロックの次の移動範囲を、上記最小限度の移動範囲、或
いは、上記所定分以上狭めて設定して動きベクトルの検
出を行うことを特徴として上述の課題を解決する。
法は、時間的に前後する現在画像及び前画像から画像の
動きベクトルを検出し、この動きベクトルに応じて前画
像の動き補償を行い、上記現在画像と動き補償を行った
前画像との差分を直交変換処理し量子化することによ
り、圧縮符号化した画像データを形成する画像データの
符号化方法であって、上記動きベクトルを検出する際
に、上記現在画像或いは前画像に所定画素からなる基準
ブロックを設定し、上記基準ブロックと同じ画素数から
なる検査ブロックを、上記基準ブロックが設定された画
像以外の画像の所定の移動範囲内で移動し、上記検査ブ
ロックを移動する毎に、検査ブロックと基準ブロックと
の相関を示す評価関数値を検出し、上記移動範囲で検査
ブロックを移動させることにより検出された上記評価関
数値のうち、値が最小の評価関数値から順に値が小さい
評価関数値を複数検出し、この複数検出された各評価関
数値が形成された各移動範囲内の所定位置の画素に基づ
いて、上記検査ブロックの次の移動範囲を所定分狭めて
それぞれ設定し、上記所定分狭めて設定された各移動範
囲で上記検査ブロックの移動をそれぞれ行って評価関数
値を検出する動作を、上記検査ブロックの最小限度の移
動範囲となるまで繰り返し行い、上記最小限度の移動範
囲で検査ブロックを移動した際に得られた、値が最小の
評価関数値に基づいて動きベクトルを検出することを特
徴として上述の課題を解決する。
時間的に前後する現在画像或いは前画像に所定画素から
なる基準ブロックを設定し、上記基準ブロックと同じ画
素数からなる検査ブロックを、上記基準ブロックが設定
された画像以外の画像に設定する。
在フレームの画像を、また、前画像として前フレームの
画像を用い、上記現在フレームの画像に複数の上記基準
ブロックを設定し、上記前フレームの画像の所定位置に
上記検査ブロックを設定する。当該検出方法は、以下に
説明するように、前フレームの所定の移動範囲内におい
て上記検査ブロックを移動し、この検査ブロックの移動
を行う毎に、該検査ブロックの画像と上記基準ブロック
の画像とを比較して、該基準ブロックの画像に一致する
画像の検査ブロックを検出する(ブロックマッチング処
理)。そして、この検査ブロックに対して上記基準ブロ
ックがどれだけ移動しているかを検出することにより、
動きベクトルの検出を行うものである。
ックが設定されると、上記検査ブロックを大きな移動範
囲内で移動し、この検査ブロックの移動を行う毎に該検
査ブロックと基準ブロックとの相関を示す評価関数値を
検出する。上記評価関数値としては、例えば該検査ブロ
ックの各画素と上記基準ブロックの各画素との差分の絶
対値和や、該絶対値和の二乗等がある。
して例えば上記絶対値和を用いるとすると、まず、上記
検査ブロックの移動を行う毎に、検査ブロックの各画素
と基準ブロックの各画素の差分の絶対値和を検出する。
これにより、上記検査ブロックの移動回数分の絶対値和
が検出されることとなる。
絶対値和から順に複数の絶対値和を検出する。これは、
例えば、値が最小の絶対値和,2番目に値が小さい絶対
値和の2つを検出するようにしてもよいし、値が最小の
絶対値和,2番目に値が小さい絶対値和,3番目に値が
小さい絶対値和の3つを検出するようにしてもよく、そ
の選択は自由である。
2番目に値が小さい絶対値和の2つが選択されたとする
と、上記値が最小の絶対値和が検出された検査ブロック
の例えば中央に位置する画素を中心として上記最初の移
動範囲以下の移動範囲の第1の移動範囲を設定するとと
もに、上記2番目に値が小さい絶対値和が検出された検
査ブロックの例えば中央に位置する画素を中心として、
上記第1の移動範囲と同範囲の第2の移動範囲を設定す
る。
検査ブロックを移動させ上記絶対値和の検出を行うとと
もに、上記第2の移動範囲内において上記検査ブロック
を移動させ上記絶対値和の検出を行い、上記第1の移動
範囲内で上記検査ブロックを移動させることにより検出
された各絶対値和、及び、上記第2の移動範囲内で上記
検査ブロックを移動させることにより検出された各絶対
値和の中から、値が最小の絶対値和及び2番目に値が小
さい絶対値和を検出する。
その絶対値和が検出された位置の検査ブロックの画像
と、上記基準ブロックとの画像との相関性が高いことを
示している。このため、当該検出方法では、値が小さい
ものから順に複数の絶対値和を検出し、この各絶対値和
に基づいて次の移動範囲を決定するようにしている。
動範囲内で検査ブロックを移動させることにより検出さ
れた複数の絶対値和の中から、値が小さい順に複数の絶
対値和を検出し、この複数の絶対値和に基づいて検査ブ
ロックの移動範囲を徐々に狭めながら該絶対値和の検出
を行う動作を、上記検査ブロックの最小限度の移動範囲
となるまで繰り返し行う。
れた、複数の絶対値和のうち、値が最小の絶対値和に基
づいて動きベクトルの検出を行う。
を移動させることにより検出された複数の絶対値和のう
ち、値が最小の絶対値和のみに基づいて、上記検査ブロ
ックの次の移動範囲を設定すると、上記値が最小の絶対
値和が、最終的に正確な動きベクトルを検出できるもの
とは限らないため、該動きベクトルの誤検出を生ずる虞
れがある。
移動範囲内で移動させることで検出された絶対値和のう
ち、値が小さいものから順に複数の絶対値和を検出し、
この各絶対値和に基づいて次の移動範囲を設定すること
により、上記検出した複数の絶対値和の数分だけ動きベ
クトルの検出範囲を広げることができる。従って、最終
的に正確な動きベクトルを検出できる確率(動きベクト
ルの検出精度)を向上させることができる。
により得られた絶対値和の中から選択する絶対値和の数
を多くすればするほど動きベクトルの検出精度を向上さ
せることができるが、該選択する絶対値和の数を多くす
るとこれに伴い計算量が増大する。このため、上記各絶
対値和の中からいくつ絶対値和を選択するかは、得たい
精度に応じて設定することとなる。
定する毎に上記複数の絶対値和の検出を行うようにする
と検出精度は向上するが計算量が増大する。このため、
本発明に係る動きベクトル検出方法では、上記複数回設
定される検査ブロックの移動範囲のうち、所定の移動範
囲でのみ、上記複数の絶対値和を検出するようにした。
1回目に設定された移動範囲で正確な動きベクトルを検
出することができる絶対値和を誤検出してしまうと、最
終的に不正確な動きベクトルが検出されてしまう等のよ
うに、第1回目に設定された移動範囲で検出される絶対
値和に依存する。
動範囲でのみ、上記絶対値和の選択数を増やすようにす
る。これにより、上記第1回目に設定された移動範囲
で、上記正確な動きベクトルを検出することができる絶
対値和を選択することができる。従って、計算量の増大
を極力抑えて正確な動きベクトルを検出することができ
る。
み上記絶対値和の選択数を増やす以外に、第2回目に設
定された移動範囲でのみ絶対値和の選択数を増やした
り、第3回目に設定された移動範囲でのみ絶対値和の選
択数を増やす等のように、1回の移動範囲でのみ絶対値
和の選択数を増やしてもよいし、或いは、第1回目及び
第3回目に設定された移動範囲で上記絶対値和の選択数
を増やす等のように、複数の移動範囲を選択して上記絶
対値和の選択数を増やすようにしてもよい。
範囲を省略した分だけ計算量の増大を抑制することがで
きる。
は、上記最小限度の移動範囲以外の移動範囲で検査ブロ
ックを移動することにより得られた複数の絶対値和の差
分を検出し、この複数の絶対値和どうしの差分と閾値と
を比較する。
きベクトルを検出できる値に設定されており、この閾値
と上記複数の絶対値和の差分とを比較することにより、
該複数の絶対値和により正確な動きベクトルを検出でき
るか否かを検出することができる。
さかった場合には、上述のように上記複数検出された絶
対値和が形成された各移動範囲内の所定位置の画素に基
づいて、上記検査ブロックの次の移動範囲を所定分狭め
てそれぞれ設定して動きベクトルの検出を行う。これに
より、検査ブロックの移動範囲を設定する毎に値の小さ
な複数の絶対値和を検出し、該複数の絶対値和に基づい
て動きベクトルの検出を行うことができるため、上述の
動きベクトル検出方法と計算量としては変わらないが、
動きベクトルの検出精度を向上させることができる。
りも大きかった場合には、各絶対値和の差が大きく、こ
の絶対値和のうち最小の値を有する絶対値和が正確な動
きベクトルを検出することができる絶対値和であること
を示している。
絶対値和の差分が閾値よりも大きかった場合には、該複
数の絶対値和のうち、値が最小の絶対値和が形成された
移動範囲内の所定位置の画素に基づいて、上記検査ブロ
ックの次の移動範囲を、上記最小限度の移動範囲、或い
は、上記所定分以上狭めてそれぞれ設定して動きベクト
ルの検出を行う。
移動範囲で検査ブロックの移動を行うことにより検出さ
れた各絶対値和の差分が上記閾値よりも大きかった場合
には、次に検査ブロックを移動する範囲を上記各絶対値
和に基づいて最小限度の移動範囲まで狭めて動きベクト
ルの検出を行う。或いは、次の移動範囲以下の移動範囲
となるように、上記各絶対値和に基づいて移動範囲を狭
めて動きベクトルの検出を行う。
囲から上記最小限度の移動範囲までの中間の移動範囲ま
で、或いは、次の移動範囲以下の移動範囲に狭めた分の
演算を省略することができ、検出精度を維持しながら動
きベクトルの検出に必要な計算量の増大を極力抑制する
ことができる。
法は、動きベクトルに応じて画像データの圧縮符号化を
行う画像データの符号化方法であって、上記動きベクト
ルの検出に、上述のように、設定された移動範囲内で検
査ブロックを移動させることにより検出された複数の絶
対値和の中から、値が小さい順に複数の絶対値和を検出
し、この複数の絶対値和に基づいて検査ブロックの移動
範囲を徐々に狭めながら該絶対値和の検出を行う動作
を、上記検査ブロックの最小限度の移動範囲となるまで
繰り返し行い、上記最小限度の移動範囲で検出された、
複数の絶対値和のうち、値が最小の絶対値和に基づいて
動きベクトルの検出を行う方法を用いる。
確な動きベクトルを用いることができるため、画像の動
きに応じて正確に画像データを圧縮符号化することがで
きるうえ、圧縮する画像データのデータ数を削減するこ
とができ、圧縮符号化効率の向上を図ることができる。
画像を、また、前画像として前フレームの画像を用いる
こととしたが、これは、上記現在画像として現在フレー
ムの画像を、また、前画像として2フレーム前の画像,
3フレーム前の画像・・・を用いるようにしてもよい。
同じく、上記現在画像として現在フィールドの画像を、
また、前画像として前フィールドの画像、或いは、2フ
ィールド前の画像,3フィールド前の画像・・・を用い
るようにしてもよい。
定し、上記検査ブロックを前画像内に設定することとし
たが、これは、逆に、前画像内に基準ブロックを設定
し、現在画像内に検査ブロックを設定して、該現在画像
内において検査ブロックを移動させて動きベクトルの検
出を行うようにしてもよい。
び画像データの符号化方法の好ましい実施例について図
面を参照しながら詳細に説明する。本発明に係る動きベ
クトル検出方法は、現在画像中に所定画素数からなる基
準ブロックを複数設定し、該基準ブロックと同画素の検
査ブロックを、最初のステップでは大きく移動させて基
準ブロックと検査ブロックとの相関性を検出し(ブロッ
クマッチング処理)、続くステップでは検出された相関
性に応じて移動範囲の位置を設定するとともに、該移動
範囲を徐々に狭めながら相関性を検出し、最終的なステ
ップで検出された検査ブロックの位置に対する上記基準
ブロックの位置に基づいて動きベクトルの検出を行うマ
ルチステップサーチ法である。
検査ブロックの移動範囲を2段階に分けて徐々に狭めて
いく2ステップサーチ、及び、上記検査ブロックの移動
範囲を3段階に分けて徐々に狭めていく3ステップサー
チ等がある。
検出方法は、上記2ステップサーチに適用したものであ
り、図1(a)に示すように第1ステップとして、前フ
レームの中心に位置する画素(図中●=原点)1を中心
とする第1の移動範囲SV1を設定し、この第1の移動
範囲SV1内において上記ブロックマッチング処理を行
って相関性の高い順に3つの検査ブロックを検出する。
そして、同図(b)に示すように、第2ステップにおい
て、上記相関性の高い順に選択された3つの検査ブロッ
クに基づいて、移動範囲の狭められた第1〜第3の3つ
の移動範囲SV21〜SV23を設定してそれぞれブロ
ックマッチング処理を行い、該第2ステップでの相関性
の一番高い検査ブロックに基づいて動きベクトルの検出
を行うものである。
クトル検出方法は、図7に示す画像データの符号化装置
の動きベクトル検出回路202に適用することができ
る。
は、入力端子201を介して現在フレームの画像データ
が供給される。この現在フレームの画像データは、動き
ベクトル検出回路202及び減算器203に供給され
る。
記現在フレームの画像データの他、以下に説明するフレ
ームメモリ205からの前フレームの画像データが供給
されている。上記動きベクトル検出回路202は、上記
現在フレームの画像データ及び前フレームの画像データ
に基づいて画像の動きを検出することにより動きベクト
ルを形成し、これを動き補償回路204に供給する。
モリ205から前フレームの画像データが供給されてい
る。上記動き補償回路204は、上記動きベクトル検出
回路202からの動きベクトルに基づいて、上記前フレ
ームの画像データに動き補償処理を施し、これを上記減
算器203及び加算器206に供給する。
画像データと、上記動き補償処理の施された前フレーム
の画像データとを減算処理することにより、現在フレー
ムの画像データと前フレームの画像データとの差分を示
す差分データを形成し、これを直交変換回路(DCT:
Discrete Cosine Transform 回路)207に供給する。
を所定画素数のブロック毎に周波数軸上に変換してDC
Tブロックを形成し、これを量子化回路208に供給す
る。上記量子化回路208は、上記DCTブロックのレ
ベルに応じて量子化ステップ可変し、この量子化ステッ
プにより上記DCTブロックに量子化処理を施すことに
より圧縮画像データを形成し、これを出力端子209を
介して例えばディスク記録装置等の外部機器に供給する
とともに、逆量子化回路210に供給する。
路208で選択された量子化ステップとは逆の量子化ス
テップで、上記圧縮画像データに逆量子化処理を施すこ
とにより、量子化処理される前のDCTブロックを再生
し、これを逆DCT回路211に供給する。上記逆DC
T回路211は、上記再生されたDCTブロックに逆D
CT処理を施すことにより、DCTブロック化される前
の差分データを形成し、これを上記加算器206に供給
する。
204からの動き補償された前フレームの画像データが
別に供給されている。上記加算器206は、上記動き補
償された前フレームの画像データと、上記逆DCT回路
211からの差分データとを加算処理することにより、
現在フレームの画像データを再生し、これをフレームメ
モリ205に供給する。
在フレームの画像データは、1フレーム分の遅延が施さ
れ読み出される。これにより、上記現在フレームの画像
データは、読み出しの段階で前フレームの画像データと
され、上記動き補償回路204及び動きベクトル検出回
路202に供給される。上述のように、上記動き補償回
路204は、上記動きベクトル検出回路202からの動
きベクトルに応じて上記前フレームの画像データに動き
補償処理を施し、これを上記減算器203及び加算器2
06に供給する。以後、各回路において、上述の動作が
繰り返される。
は、動きベクトルに基づいて動きベクトル補償された前
フレームの画像データと、現在フレームの画像データと
の差分を符号化して出力する。これにより、画像データ
の高能率圧縮を行うことができる。
は、図11に示すような構成を有しており、上記図7に
示す入力端子201からの現在フレームの画像データが
入力端子253を介して現フレームメモリ251に供給
されて記憶され、上記図7に示すフレームメモリ205
からの前フレームの画像データが入力端子254を介し
て前フレームメモリ252に供給されて記憶される。
上記現フレームメモリ251に記憶された現在フレーム
の画像221の中央部分の画像データ(N画素×Mライ
ン)からなる基準ブロック223の画像データを読み出
すように該現フレームメモリ251を読み出し制御す
る。この現フレームメモリ251から読み出された基準
ブロック223は、差分検出回路257に供給される。
ともに、上記前フレームメモリ252に記憶された上記
図8に示す前フレームの画像データ222のうち、第1
ステップとして図1(a)に示すように上記基準ブロッ
ク223の中心画素に対応する図中●で示す該前フレー
ムの画像データ222の中心画素(原点)1を検出する
とともに、図中太線で示す上記原点1を中心とした略々
正方形状の第1の移動範囲SV1を設定する。
に示すように4つの角部に画素2〜画素5が位置するよ
うになっている。また、1ラインおきに設定された計7
ラインからなっており、上記1ラインには、1画素おき
に設定された計7点の画素(検索点)を有している。す
なわち、上記第1の移動範囲SV1は、計49点の検索
点で構成されている。
れると、上記コントローラ255は、例えば上記検索点
2を中心に有する、上記図8に示す上記基準ブロック2
23と同画素の検査ブロック224を設定し、この検査
ブロック224の画像データが読み出されるように、i
画素ステップアドレス移動回路256Aを介して上記前
フレームメモリ252を読み出し制御する。
続いて、上記49点の各検索点を中心とする検査ブロッ
ク224を次々と設定し、該設定した検査ブロック22
4の画像データが読み出されるように、i画素ステップ
アドレス移動回路256Aを介して上記前フレームメモ
リ252を読み出し制御する。
記第1の移動範囲SV1内において、2画素間隔で(1
画素おきに)検査ブロック224を移動しながら該検査
ブロック224の画像データの読み出しを行うように、
i画素ステップアドレス移動回路256Aを介して上記
前フレームメモリ252を読み出し制御する。上記各検
査ブロック224の画像データは、それぞれ上記差分検
出回路257に供給される。
ック223の画像データと、上記各検査ブロック224
の画像データとを同位置の画素毎に比較してその差分を
検出し、この各差分データを絶対値和検出回路258に
供給する。
データの絶対値を検出し、1回のブロックどおしの比較
(ブロックマッチング処理)により検出される差分デー
タの絶対値を全て加算して絶対値和データを形成する。
これにより、上記検査ブロック224の移動を行った分
である計49個の絶対値和データが形成されることとな
る。この絶対値和データは、それぞれ判断回路259に
供給される。
移動範囲SV1内を上記検査ブロック224を2画素間
隔で移動して得られた49個の絶対値和データを、その
絶対値和データが検出された検査ブロック224の位置
(検索点)に対応して記憶できるメモリを有している。
上記コントローラ255は、上記絶対値和検出回路25
8から判断回路259に供給される絶対値和データを、
その絶対値和データが形成された上記検査ブロック22
4の位置に対応して記憶されるように、上記メモリを書
き込み制御する。
259のメモリに上記49個の絶対値和データが記憶さ
れると、この絶対値和データの中から最小値の絶対値和
データ,2番目に値が小さい絶対値和データ、及び、3
番目に値が小さい絶対値和データを検出する。
査ブロック224と基準ブロック223との間の各画像
の相関性が高いことを示しているが、必ずしも上記値が
最小の絶対値和データが検出された検査ブロック224
と基準ブロック223との各画像が一致しているとは限
らない。また、この第1ステップにおいて正確な動きベ
クトルを検出できる絶対値和データを検出しなければ、
後に続く第2ステップではこの第1ステップで検出され
た絶対値和データに基づいて動きベクトルの検出を行う
ため、該第2ステップにおいて誤った動きベクトルが検
出される可能性が高くなる。このため、上記コントロー
ラ255は、この第1ステップでの絶対値和データの検
出を慎重化すべく、値が小さいものから順に3つの絶対
値和データを検出する。
対値和データを検出すると、図1(a)に示すように上
記最小値の絶対値和データが検出された検査ブロック2
24の中心の検索点6(図中×で示す)、2番目に値が
小さい絶対値和データが検出された検査ブロック224
の中心の検索点7(図中△で示す)、及び、3番目に値
が小さい絶対値和データが検出された検査ブロック22
4の中心の検索点8(図中◇で示す)を検出する。
ップとして、上記検索点6を中心とした略々正方形状の
第1の移動範囲SV21,上記検索点7を中心とした略
々正方形状の第2の移動範囲SV22、及び、上記検索
点8を中心とした略々正方形状の第3の移動範囲SV2
3を設定する。
23は、それぞれ4つの角部に検索点10〜13,検索
点15〜18,検索点20〜23を有している。また、
上記各移動範囲SV21,SV22,SV23は、それ
ぞれ1ライン毎に設定された計3ラインからなってお
り、上記1ラインには、1画素毎に設定された計3点の
画素(検索点)を有している。すなわち、上記各移動範
囲SV21,SV22,SV23は、それぞれ計9点の
検索点で構成されている。
2,SV23が設定されると、上記コントローラ255
は、該各移動範囲SV21,SV22,SV23に沿っ
て検査ブロック224を移動し、該移動する毎にその検
査ブロック224の画像データを読み出すように、i画
素ステップアドレス移動回路256Aを介して上記前フ
レームメモリ252を読み出し制御する。
範囲SV21,SV22,SV23の中心となる各検索
点6〜8に係る絶対値和データは、それぞれ上記第1ス
テップにおいて既に検出済であるため、上記コントロー
ラ255は、上記各移動範囲SV21,SV22,SV
23において、上記各検索点6〜8をぬかして検査ブロ
ック224を移動するように、上記i画素ステップアド
レス移動回路256Aを介して上記前フレームメモリ2
52を読み出し制御する。
出された画像データは、それぞれ上記差分検出回路25
7に供給される。
ック223の画像データと、上記各検査ブロック224
の画像データとを比較してその差分を検出し、この差分
データを絶対値和検出回路258に供給する。上記絶対
値和検出回路258は、上記差分データの絶対値を検出
し、1回のブロックどおしの比較により検出される差分
データを全て加算して絶対値和データを形成する。
V22,SV23に沿って検査ブロック224の移動を
行った分である計27個(上記各検索点6〜8における
3つの絶対値和データも含む。)の絶対値和データが形
成されることとなる。この絶対値和データは、それぞれ
判断回路259に供給される。
回路258から供給される上記27個の絶対値和データ
を、その絶対値和データが形成された各移動範囲SV2
1,SV22,SV23に対応するメモリ上のアドレス
に一旦記憶する。そして、上記全ての絶対値和データが
上記メモリ上に記憶されると、この絶対値和データの中
から最小値の絶対値和データを検出し、この最小値の絶
対値和データを上記コントローラ255に供給する。
うことは、上記検査ブロック224と基準ブロック22
3との間の各画像の相関性が高いことを示している。従
って、上記基準ブロック223に対して、上記最小値の
絶対値和データが検出された検査ブロック224がどれ
だけ離れているかを検出することにより、画像の動きベ
クトルを検出することができる。
記最小値の絶対値和データに基づいて、その絶対値和デ
ータが検出された検査ブロック224の中心に位置す
る、上記前フレームメモリ252上の検索点のアドレス
を検出する。そして、この検索点のアドレスと、上記基
準ブロック223の現フレームメモリ251上の中心画
素のアドレスとの差分を検出することにより、上記最小
値の絶対値和データが検出された検査ブロック224に
対する上記基準ブロック223の動き分(動きベクト
ル)を検出し、この動きベクトルを出力端子260を介
して上記図7に示す動き補償回路204に供給する。
の符号化装置において、画像データの圧縮符号化処理を
行うことができる。
きベクトル検出方法では、2ステップサーチにおける第
1ステップにおいて、値が小さいものから順に3つの絶
対値和データを検出するようにしている。通常の2ステ
ップサーチでは、上記検索点の数が第1ステップにおい
て49点、第2ステップにおいて8点の計57点である
が、当該動きベクトル検出方法では、第1ステップにお
いて49点、第2ステップにおいて24点の計73点で
あり、従来と比較して16点の検索点の増加となり、多
少、計算量が増加するが、第1ステップにおいて正確な
動きベクトルを検出できる絶対値和データの検出確率を
高めることができる。従って、計算量の増加を極力抑制
して動きベクトルの検出精度の向上を図ることができ
る。
ル検出方法の説明では、本発明に係る動きベクトル検出
方法を2ステップサーチに適用することとしたが、これ
は、3ステップサーチ等にも適用することができる。ま
た、第1ステップにおいて、値が小さいものから順に3
つの絶対値和データを検出することとしたが、これは、
値が小さいものから順に2つ選択するようにしてもよ
い。この場合、第1ステップにおいて検出される絶対値
和データの数が1つ減るため、上記値が小さいものから
順に3つの絶対値和データを検出するときよりも動きベ
クトルの検出精度は多少落ちる虞れがあるが、第2ステ
ップにおける検索点の数を16点とすることができるた
め、従来の2ステップサーチと比較して8点の検索点の
増加に止めることができ、従来と比較して動きベクトル
の検出精度の向上を図ることができるうえ、計算量の相
加を抑制することができる。
値の小さいものから順に4点あるいは5点等のように多
くすればするほど、上記動きベクトルの検出精度の向上
を図ることができるが、該絶対値和データの検出点数の
増加にともない計算量が増大する。また、上記検査ブロ
ック224の移動範囲を設定する毎に上記複数の絶対値
和データの検出を行うようにすると検出精度は向上する
が計算量が増大する。このため、本発明の第2の実施例
に係る動きベクトル検出方法では、複数回設定される検
査ブロック224の移動範囲のうち、所定の移動範囲で
のみ、上記複数の絶対値和を検出するようにした。
で正確な動きベクトルを検出することができる絶対値和
データを検出できないと、最終的に不正確な動きベクト
ルが検出されてしまう。このため、第1ステップにおい
て、どれだけ確率よく、正確な動きベクトルを検出する
ことができる絶対値和データを検出することができるか
により、上記動きベクトルの検出精度は左右される。
クトル検出方法では、例えば3ステップサーチにおける
第1ステップにおいてのみ最初値の絶対値和データ及び
2番目に値が小さい絶対値和データの計2点の絶対値和
データを選択するようにした。
方法は、上述の第1の実施例に係る動きベクトル検出方
法と同様に、図11に示す動きベクトル検出回路202
に適用することができる。
2(a)に示すように3ステップサーチの第1ステップ
となると、上記前フレームメモリ252に同図(a)中
太線で示す略々正方形状の第1の移動範囲SV1を設定
する。
中●で示すように、上記基準ブロック223の中心画素
に対応する該前フレームの画像データ222の中心画素
(原点)1を中心として形成されており、その4つの角
部に検索点31〜34を有している。各検索点の間は、
それぞれ4画素間隔となっており、この第1の移動範囲
全体で計9点の検索点を有している。
れると、上記コントローラ255は、例えば上記検索点
31を中心に有する、上記検査ブロック224を設定
し、この検査ブロック224の画像データが読み出され
るように、i画素ステップアドレス移動回路256Aを
介して上記前フレームメモリ252を読み出し制御す
る。
続いて、上記9点の各検索点を中心とする検査ブロック
224を次々と設定し、該設定した検査ブロック224
の画像データが読み出されるように、i画素ステップア
ドレス移動回路256Aを介して上記前フレームメモリ
252を読み出し制御する。
記第1の移動範囲SV1内において、4画素間隔で検査
ブロック224を移動しながら該検査ブロック224の
画像データの読み出しを行うように、i画素ステップア
ドレス移動回路256Aを介して上記前フレームメモリ
252を読み出し制御する。上記各検査ブロック224
の画像データは、それぞれ上記差分検出回路257に供
給される。
ック223の画像データと、上記各検査ブロック224
の画像データとを同位置の画素毎に比較してその差分を
検出し、この各差分データを絶対値和検出回路258に
供給する。
データの絶対値を検出し、1回のブロックマッチング処
理で検出された差分データの絶対値を全て加算して絶対
値和データを形成する。これにより、上記検査ブロック
224の移動を行った分である計9個の絶対値和データ
が形成されることとなる。この絶対値和データは、それ
ぞれ判断回路259に供給される。
移動範囲SV1内を上記検査ブロック224を4画素間
隔で移動して得られた9個の絶対値和データを、その絶
対値和データが検出された検査ブロック224の位置
(検索点)に対応してメモリ上に記憶する。
259のメモリに上記9個の絶対値和データが記憶され
ると、この絶対値和データの中から最小値の絶対値和デ
ータ、及び、2番目に値が小さい絶対値和データを検出
するとともに、上記最小値の絶対値和データが検出され
た検査ブロック224の中心の検索点33(図中×で示
す)、2番目に値が小さい絶対値和データが検出された
検査ブロック224の中心の検索点35(図中△で示
す)を検出する。
ップとして、上記検索点33を中心とした略々正方形状
の第1の移動範囲SV21、及び、上記検索点35を中
心とした略々正方形状の第2の移動範囲SV22を設定
する。
れぞれ4つの角部に検索点40〜43,検索点45〜4
8を有している。また、上記各移動範囲SV21,SV
22は、1画素おきに設定された計3点の検索点を有す
るラインを、1ラインおきに計3ライン設定することに
より形成されている。すなわち、上記各移動範囲SV2
1,SV22は、それぞれ計9点の検索点で構成されて
いる。
が設定されると、上記コントローラ255は、該各移動
範囲SV21,SV22に沿って検査ブロック224が
移動し、該移動する毎にその検査ブロック224の画像
データが読み出されるように、i画素ステップアドレス
移動回路256Aを介して上記前フレームメモリ252
を読み出し制御する。
範囲SV21,SV22の中心となる各検索点33,3
5に係る絶対値和データは、それぞれ上記第1ステップ
において既に検出済であるため、上記コントローラ25
5は、上記各移動範囲SV21,SV22において、上
記各検索点33,35をぬかして検査ブロック224を
移動するように、上記i画素ステップアドレス移動回路
256Aを介して上記前フレームメモリ252を読み出
し制御する。
出された画像データは、それぞれ上記差分検出回路25
7に供給される。
ック223の画像データと、上記各検査ブロック224
の画像データとを比較してその差分を検出し、この差分
データを絶対値和検出回路258に供給する。上記絶対
値和検出回路258は、上記差分データの絶対値を検出
し、1回のブロックどおしの比較により検出される差分
データを全て加算して絶対値和データを形成する。
V22に沿って検査ブロック224の移動を行った分で
ある計18個(上記各検索点33,35における2つの
絶対値和データも含む。)の絶対値和データが形成され
ることとなる。この絶対値和データは、それぞれ判断回
路259に供給される。
回路258から供給される上記18個の絶対値和データ
を、その絶対値和データが形成された各移動範囲SV2
1,SV22に対応するアドレスに一旦記憶する。そし
て、上記メモリに全ての絶対値和データが記憶される
と、この絶対値和データの中から最小値の絶対値和デー
タを検出し、この最小値の絶対値和データを上記コント
ローラ255に供給するとともに、この最小値の絶対値
和データが検出された検査ブロック224の中心の検索
点46(図中◇で示す)を検出する。
(c)に示すように第3ステップとして、上記検索点4
6を中心とした略々正方形状の移動範囲SV3を設定す
る。
点50〜53を有しており、1画素毎に設定された計3
点の検索点を有するラインを、順に計3ライン設定する
ことにより形成されている。すなわち、上記移動範囲S
V3は、計9点の検索点で構成されている。
と、上記コントローラ255は、上記移動範囲SV3に
沿って検査ブロック224を移動し、該移動する毎にそ
の検査ブロック224の画像データを読み出すように、
i画素ステップアドレス移動回路256Aを介して上記
前フレームメモリ252を読み出し制御する。
囲SV3の中心となる検索点46に係る絶対値和データ
は、上記第2ステップにおいて既に検出済であるため、
上記コントローラ255は、上記移動範囲SV3におい
て、上記検索点46をぬかして検査ブロック224を移
動するように、上記i画素ステップアドレス移動回路2
56Aを介して上記前フレームメモリ252を読み出し
制御する。
出された画像データは、それぞれ上記差分検出回路25
7に供給される。
ック223の画像データと、上記検査ブロック224の
画像データとを比較してその差分を検出し、この差分デ
ータを絶対値和検出回路258に供給する。上記絶対値
和検出回路258は、上記差分データの絶対値を検出
し、1回のブロックどおしの比較により検出される差分
データを全て加算して絶対値和データを形成する。
検査ブロック224の移動を行った分である計9個(上
記各検索点46における1つの絶対値和データも含
む。)の絶対値和データが形成されることとなる。この
絶対値和データは、それぞれ判断回路259に供給され
る。
回路258から供給される上記9個の絶対値和データ
を、その絶対値和データが形成された移動範囲SV3に
対応するメモリ上のアドレスに一旦記憶する。そして、
上記メモリに全ての絶対値和データが記憶されると、こ
の絶対値和データの中から最小値の絶対値和データを検
出し、この最小値の絶対値和データを上記コントローラ
255に供給する。
ップで検出された最小値の絶対値和データに基づいて、
その絶対値和データが検出された検査ブロック224の
中心に位置する、上記前フレームメモリ252上の検索
点のアドレスを検出する。そして、この検索点のアドレ
スと、上記基準ブロック223の現フレームメモリ25
1上の中心画素のアドレスとの差分を検出することによ
り、上記最小値の絶対値和データが検出された検査ブロ
ック224に対する上記基準ブロック223の動き分
(動きベクトル)を検出し、この動きベクトルを出力端
子260を介して上記図7に示す動き補償回路204に
供給する。
の符号化装置において、画像データの圧縮符号化処理を
行うことができる。
方法では、3ステップサーチにおける第1ステップにお
いてのみ複数の絶対値和データ、例えば最小値の絶対値
和データ及び2番目に値の小さい絶対値和データを検出
するようにしている。通常の3ステップサーチでは、上
記検索点の数が第1ステップにおいて9点、第2ステッ
プにおいて8点,第3ステップにおいて8点の計25点
であるが、当該動きベクトル検出方法では、第1ステッ
プにおいて9点、第2ステップにおいて16点、第3ス
テップにおいて8点の計33点であり、従来と比較して
8点の検索点の増加となり、多少、計算量が増加する
が、第1ステップにおいて正確な動きベクトルを検出で
きる絶対値和データの検出確率を高めることができる。
は、第1ステップにおいて、どれだけ確率よく、正確な
動きベクトルを検出することができる絶対値和データを
検出することができるかで左右されるが、上記第1ステ
ップにおける、正確な動きベクトルを検出できる絶対値
和データの検出確率を高めることができるため、動きベ
クトルの検出精度の向上を図ることができる。しかも、
上記複数の絶対値和データの検出を第1ステップでのみ
適用しているため、計算量の増加を最低限に抑えること
ができる。
ル検出方法の説明では、本発明に係る動きベクトル検出
方法を3ステップサーチに適用することとしたが、これ
は、2ステップサーチ等にも適用することができる。ま
た、第1ステップにおいて、値が小さいものから順に2
つの絶対値和データを検出することとしたが、これは、
値が小さいものから順に3つ,4つ或いは5つ選択する
ようにしてもよい。この場合、第1ステップにおいて検
出される絶対値和データの数が増えた分計算量が増加す
るが、その分、正確な動きベクトルを検出できる絶対値
和データの検出確率を高めることができ、動きベクトル
の検出精度をさらに向上させることができる。
ータを検出するようにしたが、これは、第2ステップの
み複数の絶対値和データを検出するようにしてもよい。
クトル検出方法の説明をする。上述の第2の実施例に係
る動きベクトル検出方法では、所望のステップにおいて
のみ複数の絶対値和データを検出することにより計算量
の削減を図ったが、この第3の実施例に係る動きベクト
ル検出方法では、所望のステップにおいてのみ複数の絶
対値和データを検出するとともに、この検出した絶対値
和データの差分を閾値と比較し、この比較結果に応じて
後のステップの移動範囲を決定することにより、さらな
る計算量の削減を図った。
トル検出方法は、図3に示すような動きベクトル検出回
路に適用することができる。なお、この図3に示す動き
ベクトル検出回路は、3ステップサーチにより動きベク
トルの検出を行うものとする。また、上記図3に示す動
きベクトル検出回路において、上記図11に示した動き
ベクトル検出回路202と同じ動作を示す箇所には同符
号を付し、その詳細な説明を省略する。
5は3ステップサーチの第1ステップとなると前フレー
ムメモリ252に、図4中太線で示すような略々正方形
状の第1の移動範囲SV1を設定する。
示す中心画素(原点)1を中心として形成されており、
その4つの角部に検索点71〜74を有している。この
第1の移動範囲SV1全体では計9点の検索点を有して
おり、各検索点の間はそれぞれ4画素間隔となってい
る。
れると、上記コントローラ255は、例えば上記検索点
71を中心に有する検査ブロック224を設定し、この
検査ブロック224の画像データが読み出されるよう
に、i画素ステップアドレス移動回路256Aを介して
上記前フレームメモリ252を読み出し制御する。
続いて、上記9点の各検索点を中心とする検査ブロック
224を次々と設定し、該設定した検査ブロック224
の画像データが読み出されるように、i画素ステップア
ドレス移動回路256Aを介して上記前フレームメモリ
252を読み出し制御する。
記第1の移動範囲SV1内において、4画素間隔で検査
ブロック224を移動しながら該検査ブロック224の
画像データの読み出しを行うように、i画素ステップア
ドレス移動回路256Aを介して上記前フレームメモリ
252を読み出し制御する。上記各検査ブロック224
の画像データは、それぞれ上記差分検出回路257に供
給される。
ック223の画像データと、上記各検査ブロック224
の画像データとを同位置の画素毎に比較してその差分を
検出し、この各差分データを絶対値和検出回路258に
供給する。
データの絶対値を検出し、1回のブロックマッチング処
理で検出された差分データの絶対値を全て加算して絶対
値和データを形成する。これにより、上記検査ブロック
224の移動を行った分である計9個の絶対値和データ
が形成されることとなる。この絶対値和データは、それ
ぞれ判断回路259に供給される。
移動範囲SV1に沿って、上記検査ブロック224を4
画素間隔で移動して得られた9個の絶対値和データを、
その絶対値和データが検出された検査ブロック224の
位置(検索点)に対応してメモリ上に記憶する。
259のメモリに上記9個の絶対値和データが記憶され
ると、この絶対値和データの中から最小値の絶対値和デ
ータ、及び、2番目に値が小さい絶対値和データを検出
するとともに、該最小値の絶対値和データ、及び、2番
目に値が小さい絶対値和データの差分を検出する。
61からの、例えば正確な動きベクトルを検出できる上
記最小値の絶対値和データ及び2番目に値が小さい絶対
値和データの差分値の限界値が閾値データとして供給さ
れている。上記判断回路259は、この閾値データと、
上記最小値の絶対値和データ及び2番目に値が小さい絶
対値和データの差分値とを比較し、この比較データを上
記コントローラ255に供給する。
ルを検出できる差分値の限界値となっている。このた
め、上記最小値の絶対値和データと2番目に値が小さい
絶対値和データとの差分と上記閾値データとを比較する
ことにより、その絶対値和データにより正確な動きベク
トルを検出できるか否かを検出することができる。
記閾値データよりも上記差分値の方が小さかった場合、
さらなる詳細な検出が必要あるとして、図5(a)に示
すように第2ステップに移行する。
ップとなると、上記最小値の絶対値和データが検出され
た検査ブロック224の中心の検索点73(図中×で示
す)、2番目に値が小さい絶対値和データが検出された
検査ブロック224の中心の検索点75(図中△で示
す)を検出する。
ップとして、上記検索点73を中心とした略々正方形状
の第1の移動範囲SV21、及び、上記検索点75を中
心とした略々正方形状の第2の移動範囲SV22を設定
する。
れぞれ4つの角部に検索点77〜80,検索点81〜8
4を有している。また、上記各移動範囲SV21,SV
22は、1画素おきに設定された計3点の検索点を有す
るラインを、1ラインおきに計3ライン設定することに
より形成されている。すなわち、上記各移動範囲SV2
1,SV22は、それぞれ計9点の検索点で構成されて
いる。
が設定されると、上記コントローラ255は、該各移動
範囲SV21,SV22に沿って検査ブロック224が
移動し、該移動する毎にその検査ブロック224の画像
データが読み出されるように、i画素ステップアドレス
移動回路256Aを介して上記前フレームメモリ252
を読み出し制御する。
範囲SV21,SV22の中心となる各検索点33,3
5に係る絶対値和データは、それぞれ上記第1ステップ
において既に検出済であるため、上記コントローラ25
5は、上記各移動範囲SV21,SV22において、上
記各検索点33,35をぬかして検査ブロック224を
移動するように、上記i画素ステップアドレス移動回路
256Aを介して上記前フレームメモリ252を読み出
し制御する。
出された画像データは、それぞれ上記差分検出回路25
7に供給される。
ック223の画像データと、上記各検査ブロック224
の画像データとを比較してその差分を検出し、この差分
データを絶対値和検出回路258に供給する。上記絶対
値和検出回路258は、上記差分データの絶対値を検出
し、1回のブロックどおしの比較により検出される差分
データを全て加算して絶対値和データを形成する。
V22に沿って検査ブロック224の移動を行った分で
ある計18個(上記各検索点73,75における2つの
絶対値和データも含む。)の絶対値和データが形成され
ることとなる。この絶対値和データは、それぞれ判断回
路259に供給される。
回路258から供給される上記18個の絶対値和データ
を、その絶対値和データが形成された各移動範囲SV2
1,SV22に対応するアドレスに一旦記憶する。そし
て、上記メモリに全ての絶対値和データが記憶される
と、この絶対値和データの中から最小値の絶対値和デー
タを検出し、この最小値の絶対値和データを上記コント
ローラ255に供給するとともに、この最小値の絶対値
和データが検出された検査ブロック224の中心の検索
点82(図中◇で示す)を検出する。
(b)に示すように第3ステップとして、上記検索点8
2を中心とした略々正方形状の移動範囲SV3を設定す
る。
点86〜89を有しており、1画素毎に設定された計3
点の検索点を有するラインを、順に計3ライン設定する
ことにより形成されている。すなわち、上記移動範囲S
V3は、計9点の検索点で構成されている。
と、上記コントローラ255は、上記移動範囲SV3に
沿って検査ブロック224を移動し、該移動する毎にそ
の検査ブロック224の画像データを読み出すように、
i画素ステップアドレス移動回路256Aを介して上記
前フレームメモリ252を読み出し制御する。
囲SV3の中心となる検索点82に係る絶対値和データ
は、上記第2ステップにおいて既に検出済であるため、
上記コントローラ255は、上記移動範囲SV3におい
て、上記検索点82をぬかして検査ブロック224を移
動するように、上記i画素ステップアドレス移動回路2
56Aを介して上記前フレームメモリ252を読み出し
制御する。
出された画像データは、それぞれ上記差分検出回路25
7に供給される。
ック223の画像データと、上記検査ブロック224の
画像データとを比較してその差分を検出し、この差分デ
ータを絶対値和検出回路258に供給する。上記絶対値
和検出回路258は、上記差分データの絶対値を検出
し、1回のブロックどおしの比較により検出される差分
データを全て加算して絶対値和データを形成する。
検査ブロック224の移動を行った分である計9個(上
記各検索点82における1つの絶対値和データも含
む。)の絶対値和データが形成されることとなる。この
絶対値和データは、それぞれ判断回路259に供給され
る。
回路258から供給される上記9個の絶対値和データ
を、その絶対値和データが形成された移動範囲SV3に
対応するメモリ上のアドレスに一旦記憶する。そして、
上記メモリに全ての絶対値和データが記憶されると、こ
の絶対値和データの中から最小値の絶対値和データを検
出し、この最小値の絶対値和データを上記コントローラ
255に供給する。
ップで検出された最小値の絶対値和データに基づいて、
その絶対値和データが検出された検査ブロック224の
中心に位置する、上記前フレームメモリ252上の検索
点のアドレスを検出する。そして、この検索点のアドレ
スと、上記基準ブロック223の現フレームメモリ25
1上の中心画素のアドレスとの差分を検出することによ
り、上記最小値の絶対値和データが検出された検査ブロ
ック224に対する上記基準ブロック223の動き分
(動きベクトル)を検出し、この動きベクトルを出力端
子260を介して上記図7に示す動き補償回路204に
供給する。
の符号化装置において、画像データの圧縮符号化処理を
行うことができる。
の絶対値和データと2番目に値の小さい絶対値和データ
との差分値の方が大きかった場合、該差分値が大きいと
いうことは、上記最小値の絶対値和データを用いて正確
な動きベクトルの検出が行えることを示している。この
ため、上記コントローラ255は、上記最小値の絶対値
和データに基づいて動きベクトルを検出すべく、上述の
第2ステップをぬかして第3ステップに移行する。
記最小値の絶対値和データと2番目に値の小さい絶対値
和データとの差分値の方が大きかった場合、上記最小値
の絶対値和データが検出された検査ブロック224の中
心の検索点73(図中×で示す)を検出するとともに、
図6に示すように上記検索点73を中心とした略々正方
形状の第3ステップの移動範囲SV3を設定する。
つの角部に検索点90〜93を有しており、1画素毎に
設定された計3点の検索点を有するラインを、順に計3
ライン設定することにより形成されている。すなわち、
上記移動範囲SV3は、計9点の検索点で構成されてい
る。
と、上記コントローラ255は、上記移動範囲SV3に
沿って検査ブロック224を移動し、該移動する毎にそ
の検査ブロック224の画像データを読み出すように、
i画素ステップアドレス移動回路256Aを介して上記
前フレームメモリ252を読み出し制御する。
囲SV3の中心となる検索点73に係る絶対値和データ
は、上記第1ステップにおいて既に検出済であるため、
上記コントローラ255は、上記移動範囲SV3におい
て、上記検索点73をぬかして検査ブロック224を移
動するように、上記i画素ステップアドレス移動回路2
56Aを介して上記前フレームメモリ252を読み出し
制御する。
出された画像データは、それぞれ上記差分検出回路25
7に供給される。
ック223の画像データと、上記検査ブロック224の
画像データとを比較してその差分を検出し、この差分デ
ータを絶対値和検出回路258に供給する。上記絶対値
和検出回路258は、上記差分データの絶対値を検出
し、1回のブロックマッチング処理により検出される差
分データを全て加算して絶対値和データを形成する。
検査ブロック224の移動を行った分である計9個(上
記各検索点73における1つの絶対値和データも含
む。)の絶対値和データが形成されることとなる。この
絶対値和データは、それぞれ判断回路259に供給され
る。
回路258から供給される上記9個の絶対値和データ
を、その絶対値和データが形成された移動範囲SV3に
対応するメモリ上のアドレスに一旦記憶する。そして、
上記メモリに全ての絶対値和データが記憶されると、こ
の絶対値和データの中から最小値の絶対値和データを検
出し、この最小値の絶対値和データを上記コントローラ
255に供給する。
ップで検出された最小値の絶対値和データに基づいて、
その絶対値和データが検出された検査ブロック224の
中心に位置する、上記前フレームメモリ252上の検索
点のアドレスを検出する。そして、この検索点のアドレ
スと、上記基準ブロック223の現フレームメモリ25
1上の中心画素のアドレスとの差分を検出することによ
り、上記最小値の絶対値和データが検出された検査ブロ
ック224に対する上記基準ブロック223の動き分
(動きベクトル)を検出し、この動きベクトルを出力端
子260を介して上記図7に示す動き補償回路204に
供給する。
の符号化装置において、画像データの圧縮符号化処理を
行うことができる。
方法では、第1ステップでのみ複数の絶対値和データを
検出し、この各絶対値和データの差分値と閾値とを比較
し、この比較結果に応じて次の移動範囲を制御すること
により、上記差分値が閾値よりも小さかった場合はさら
に詳細に動きベクトルの検出を行って動きベクトルの検
出精度を維持することができ、また、上記差分値が閾値
よりも大きかった場合には、途中のステップを省略して
計算量を削減して動きベクトルの検出を行うことができ
る。すなわち、上記第2の実施例に係る動きベクトル検
出方法で述べた動きベクトルの検出精度を維持したま
ま、計算量の削減を図ることができる。
トル検出方法の説明では、第1ステップにおいて、最小
値の絶対値和データ及び2番目に値の小さい絶対値和デ
ータを検出することとしたが、これは、値の小さいもの
から順に3つ,4つ,5つ・・・の絶対値和データを検
出するようにしてもよい。
複数の絶対値和データを検出することとしたが、これ
は、4段階にわけて動きベクトルの検出を行う4ステッ
プサーチの第2ステップにおいて複数の絶対値和データ
の差分を検出して上記閾値と比較し、この比較結果に応
じて後のステップを移動範囲を設定するようにしてもよ
いし、5段階に分けて動きベクトルの検出を行う5ステ
ップサーチの第2ステップ或いは第3ステップにおいて
複数の絶対値和データの差分を検出して上記閾値と比較
し、この比較結果に応じて後のステップを移動範囲を設
定するようにしてもよい。
出方法は、上述のように正確な動きベクトルを検出する
ことができる。このため、上記図7に示したような画像
データの符号化装置において、圧縮符号化する画像デー
タを削減することができ、圧縮符号化効率の向上を図る
ことができる。
現在画像として現在フレームの画像を、また、前画像と
して前フレームの画像を用いることとしたが、これは、
上記現在画像として現在フレームの画像を、また、前画
像として2フレーム前の画像,3フレーム前の画像・・
・を用いるようにしてもよい。同じく、上記現在画像と
して現在フィールドの画像を、また、前画像として前フ
ィールドの画像、或いは、2フィールド前の画像,3フ
ィールド前の画像・・・を用いるようにしてもよい。
定し、上記検査ブロックを前画像内に設定することとし
たが、これは、逆に、前画像内に基準ブロックを設定
し、現在画像内に検査ブロックを設定して、該現在画像
内において検査ブロックを移動させて動きベクトルの検
出を行うようにしてもよい。
及び画像データの符号化方法を、直交変換回路として上
記DCT回路207を用いた画像データの圧縮符号化装
置に適用することとしたが、これは、いわゆるフーリエ
変換,アダマール変換,K−L変換等の他の直交変換手
段を用いるようにしてもよい。
及び画像データの符号化方法を、2ステップサーチ及び
3ステップサーチに適用した場合について説明したが、
これは、検査ブロックの移動範囲を4段階に分けて徐々
に狭めていく4ステップサーチや、該検査ブロックの移
動範囲を5段階に分けて徐々に狭めていく5ステップサ
ーチ等、多段階に分けて検査ブロックの移動範囲を狭め
ながら動きベクトルの検出を行う方法であれば何にでも
適用可能である。
ロックと基準ブロックとの相関を示す評価関数値として
上記絶対値和を用いることとしたが、これは、例えば上
記差分の二乗和等、検査ブロックと基準ブロックとの相
関を示す情報であれば何でもよく、その他、本発明に係
る技術的思想を逸脱しない範囲であれば種々の変更が可
能であることは勿論である。
多段階に亘ってブロックマッチング処理を行うことによ
り動きベクトルの検出を行うマルチステップサーチにお
ける、計算量の増大及び検出速度の遅延化を極力抑制し
て動きベクトルの検出精度の向上を図ることができる。
法は、動きベクトル検出手段における計算量の増大及び
検出速度の遅延化を極力抑制して正確な動きベクトルを
検出することができるため、画像データに応じた正確な
圧縮符号化を行うことができる。また、圧縮符号化する
画像データを削減して圧縮符号化効率の向上を図ること
ができる。
方法を説明するための図である。
方法を説明するための図である。
方法を適用した動きベクトル検出装置のブロック図であ
る。
を適用した動きベクトル検出装置の第1ステップでの動
作を説明するための図である。
を適用した動きベクトル検出装置における、上記第1ス
テップで検出された絶対値和の差分が閾値以上の場合の
動作を説明するための図である。
を適用した動きベクトル検出装置における、上記第1ス
テップで検出された絶対値和の差分が閾値以下の場合の
動作を説明するための図である。
縮符号化処理を行う画像データの圧縮符号化装置のブロ
ック図である。
いる動きベクトル検出回路で行われるブロックマッチン
グ処理を説明するための図である。
ベクトル検出回路のブロック図である。
仕方を説明するための図である。
より動きベクトルの検出を行う動きベクトル検出回路の
ブロック図である。
る動きベクトルの検出の仕方を説明するための図であ
る。
プによる動きベクトルの検出の仕方を説明するための図
である。
の検出の仕方を説明するための図である。
囲 1・・・・・・・第1ステップの移動範囲の中心に位置
する画素(原点) 2〜5・・・・・第1ステップの移動範囲の角部に位置
する画素 6・・・・・・・第1ステップの絶対値和の最小値に係
る画素 7・・・・・・・第1ステップの2番目に値の小さい絶
対値和に係る画素 8・・・・・・・第1ステップの3番目に値の小さい絶
対値和に係る画素 SV21・・・・最小値の絶対値和による第2ステップ
での第1の移動範囲 10〜13・・・第1の移動範囲の角部に位置する画素 SV22・・・・2番目に値の小さい絶対値和による第
2ステップでの第2の移動範囲 15〜18・・・第2の移動範囲の角部に位置する画素 SV23・・・・3番目に値の小さい絶対値和による第
2ステップでの第3の移動範囲 20〜23・・・第3の移動範囲の角部に位置する画素 SV1・・・・・第1ステップの検査ブロックの移動範
囲 30・・・・・・第1ステップの移動範囲の中心に位置
する画素(原点) 31〜34・・・第1ステップの移動範囲の角部に位置
する画素 33・・・・・・第1ステップの絶対値和の最小値に係
る画素 35・・・・・・第1ステップの2番目に値の小さい絶
対値和に係る画素 SV21・・・・最小値の絶対値和による第2ステップ
での第1の移動範囲 40〜43・・・第1の移動範囲の角部に位置する画素 SV22・・・・2番目に値の小さい絶対値和による第
2ステップでの第2の移動範囲 45〜48・・・第2の移動範囲の角部に位置する画素 46・・・・・・第2ステップの絶対値和の最小値に係
る画素 49・・・・・・第2ステップの2番目に値の小さい絶
対値和に係る画素 SV3・・・・・絶対値和の最初値による第3ステップ
での第3の移動範囲 50〜53・・・第3の移動範囲の角部に位置する画素 251・・・・・現フレームメモリ 252・・・・・前フレームメモリ 253・・・・・現フレームの画像データの入力端子 254・・・・・前フレームの画像データの入力端子 255・・・・・コントローラ 256A・・・・i画素ステップアドレス移動回路 256B・・・・1画素ステップアドレス移動回路 257・・・・・差分検出回路 258・・・・・絶対値和検出回路 259・・・・・判断回路 260・・・・・動きベクトルの出力端子 261・・・・・閾値発生回路 SV1・・・・・第1ステップの検査ブロックの移動範
囲 70・・・・・・第1ステップの移動範囲の中心に位置
する画素(原点) 71〜74・・・第1ステップの移動範囲の角部に位置
する画素 73・・・・・・第1ステップの絶対値和の最小値に係
る画素 75・・・・・・第1ステップの2番目に値の小さい絶
対値和に係る画素 SV21・・・・最小値の絶対値和による第2ステップ
での第1の移動範囲 77〜80・・・第1の移動範囲の角部に位置する画素 SV22・・・・2番目に値の小さい絶対値和による第
2ステップでの第2の移動範囲 81〜84・・・第2の移動範囲の角部に位置する画素 82・・・・・・第2ステップの絶対値和の最小値に係
る画素 85・・・・・・第2ステップの2番目に値の小さい絶
対値和に係る画素 SV3・・・・・絶対値和の最初値による第3ステップ
での第3の移動範囲 86〜89・・・第3の移動範囲の角部に位置する画素 90〜93・・・第3の移動範囲の角部に位置する画素 201・・・・・画像データの入力端子 202・・・・・動きベクトル検出回路 203・・・・・減算器 204・・・・・動き補償回路 205・・・・・フレームメモリ 206・・・・・加算器 207・・・・・直交変換回路 208・・・・・量子化器 209・・・・・圧縮符号化された画像データの出力端
子 210・・・・・逆量子化器 211・・・・・逆直交変換回路
Claims (5)
- 【請求項1】 時間的に前後する現在画像或いは前画像
に所定画素からなる基準ブロックを設定し、上記基準ブ
ロックと同じ画素数からなる検査ブロックを、上記基準
ブロックが設定された画像以外の画像の所定の移動範囲
内で移動し、該検査ブロックを移動する毎に、検査ブロ
ックと基準ブロックとの相関を示す評価関数値を検出
し、上記検査ブロックの移動に対応して得られた各評価
関数値の中から値が最小の評価関数値を検出し、この値
が最小の評価関数値が形成された移動範囲内の所定位置
の画素に基づいて上記検査ブロックの次の移動範囲を所
定分狭め、再度、上記値が最小の評価関数値を検出する
動作を、上記検査ブロックの最小限度の移動範囲となる
まで繰り返し行い、この最小限度の移動範囲で検出され
た、値が最小の評価関数値に基づいて動きベクトルを検
出する動きベクトル検出方法において、 上記検査ブロックを、最小限度の移動範囲以外の移動範
囲で移動した際に得られた評価関数値のうち、値が最小
の評価関数値から順に値が小さい評価関数値を複数検出
し、 この複数検出された評価関数値が形成された各移動範囲
内の所定位置の画素に基づいて、上記検査ブロックの次
の移動範囲を所定分狭めてそれぞれ設定し、この狭めて
設定された各移動範囲で上記検査ブロックの移動をそれ
ぞれ行って評価関数値を検出する動作を、上記検査ブロ
ックの最小限度の移動範囲となるまで繰り返し行い、 上記最小限度の移動範囲で検査ブロックを移動した際に
得られた、値が最小の評価関数値に基づいて動きベクト
ルを検出することを特徴とする動きベクトル検出方法。 - 【請求項2】 上記最小限度の移動範囲以外の移動範囲
で検査ブロックを移動することにより得られた評価関数
値のうち、値が最小の評価関数値及び2番目に値が小さ
な評価関数値を検出し、 上記値が最小の評価関数値及び2番目に値が小さな評価
関数値が検出された各移動範囲内の所定位置の各画素に
基づいて、上記検査ブロックの次の移動範囲を所定分狭
めてそれぞれ設定することを特徴とする請求項1記載の
動きベクトル検出方法。 - 【請求項3】 複数回設定される上記検査ブロックの移
動範囲のうち、所定の移動範囲で上記複数の評価関数値
の検出を行うことを特徴とする請求項1又は請求項2記
載の動きベクトル検出方法。 - 【請求項4】 上記最小限度の移動範囲以外の移動範囲
で検査ブロックを移動することにより得られた複数の評
価関数値どうしの差分と閾値とを比較し、 上記複数の評価関数値どうしの差分が閾値よりも小さか
った場合には、上記複数検出された評価関数値が形成さ
れた各移動範囲内の所定位置の画素に基づいて、上記検
査ブロックの次の移動範囲を所定分狭めてそれぞれ設定
して動きベクトルの検出を行い、 上記複数の評価関数値どうしの差分が閾値よりも大きか
った場合には、最小値の評価関数値が形成された移動範
囲内の所定位置の画素に基づいて、上記検査ブロックの
次の移動範囲を、上記最小限度の移動範囲、或いは、上
記所定分以上狭めて設定して動きベクトルの検出を行う
ことを特徴とする請求項1,請求項2又は請求項3記載
の動きベクトル検出方法。 - 【請求項5】 時間的に前後する現在画像及び前画像か
ら画像の動きベクトルを検出し、この動きベクトルに応
じて前画像の動き補償を行い、上記現在画像と動き補償
を行った前画像との差分を直交変換処理し量子化するこ
とにより、圧縮符号化した画像データを形成する画像デ
ータの符号化方法であって、 上記動きベクトルを検出する際に、 上記現在画像或いは前画像に所定画素からなる基準ブロ
ックを設定し、上記基準ブロックと同じ画素数からなる
検査ブロックを、上記基準ブロックが設定された画像以
外の画像の所定の移動範囲内で移動し、 上記検査ブロックを移動する毎に、検査ブロックと基準
ブロックとの相関を示す評価関数値を検出し、 上記移動範囲で検査ブロックを移動させることにより検
出された上記評価関数値のうち、値が最小の評価関数値
から順に値が小さい評価関数値を複数検出し、 この複数検出された各評価関数値が形成された各移動範
囲内の所定位置の画素に基づいて、上記検査ブロックの
次の移動範囲を所定分狭めてそれぞれ設定し、 上記所定分狭めて設定された各移動範囲で上記検査ブロ
ックの移動をそれぞれ行って評価関数値を検出する動作
を、上記検査ブロックの最小限度の移動範囲となるまで
繰り返し行い、 上記最小限度の移動範囲で検査ブロックを移動した際に
得られた、値が最小の評価関数値に基づいて動きベクト
ルを検出することを特徴とする画像データの符号化方
法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP35538493A JP3598526B2 (ja) | 1993-12-29 | 1993-12-29 | 動きベクトル検出方法及び画像データの符号化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP35538493A JP3598526B2 (ja) | 1993-12-29 | 1993-12-29 | 動きベクトル検出方法及び画像データの符号化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH07203462A true JPH07203462A (ja) | 1995-08-04 |
JP3598526B2 JP3598526B2 (ja) | 2004-12-08 |
Family
ID=18443626
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP35538493A Expired - Fee Related JP3598526B2 (ja) | 1993-12-29 | 1993-12-29 | 動きベクトル検出方法及び画像データの符号化方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3598526B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000172848A (ja) * | 1998-12-09 | 2000-06-23 | Mitsubishi Electric Corp | 位置ずれ量検出装置 |
US6377623B1 (en) | 1998-03-02 | 2002-04-23 | Samsung Electronics Co., Ltd. | High speed motion estimating method for real time moving image coding and apparatus therefor |
JP2011508517A (ja) * | 2007-12-20 | 2011-03-10 | インテグレーテッド・デバイス・テクノロジー・インコーポレーテッド | 適応探索範囲を用いた動き推定 |
JP2011160470A (ja) * | 2004-06-27 | 2011-08-18 | Apple Inc | 画像の符号化および復号化 |
WO2012066866A1 (ja) * | 2010-11-17 | 2012-05-24 | 三菱電機株式会社 | 動きベクトル検出装置、動きベクトル検出方法、フレーム補間装置及びフレーム補間方法 |
US8537283B2 (en) | 2010-04-15 | 2013-09-17 | Qualcomm Incorporated | High definition frame rate conversion |
US8649437B2 (en) | 2007-12-20 | 2014-02-11 | Qualcomm Incorporated | Image interpolation with halo reduction |
-
1993
- 1993-12-29 JP JP35538493A patent/JP3598526B2/ja not_active Expired - Fee Related
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6377623B1 (en) | 1998-03-02 | 2002-04-23 | Samsung Electronics Co., Ltd. | High speed motion estimating method for real time moving image coding and apparatus therefor |
JP2000172848A (ja) * | 1998-12-09 | 2000-06-23 | Mitsubishi Electric Corp | 位置ずれ量検出装置 |
JP2011160470A (ja) * | 2004-06-27 | 2011-08-18 | Apple Inc | 画像の符号化および復号化 |
JP2011508517A (ja) * | 2007-12-20 | 2011-03-10 | インテグレーテッド・デバイス・テクノロジー・インコーポレーテッド | 適応探索範囲を用いた動き推定 |
US8649437B2 (en) | 2007-12-20 | 2014-02-11 | Qualcomm Incorporated | Image interpolation with halo reduction |
US8537283B2 (en) | 2010-04-15 | 2013-09-17 | Qualcomm Incorporated | High definition frame rate conversion |
WO2012066866A1 (ja) * | 2010-11-17 | 2012-05-24 | 三菱電機株式会社 | 動きベクトル検出装置、動きベクトル検出方法、フレーム補間装置及びフレーム補間方法 |
JPWO2012066866A1 (ja) * | 2010-11-17 | 2014-05-12 | 三菱電機株式会社 | 動きベクトル検出装置、動きベクトル検出方法、フレーム補間装置及びフレーム補間方法 |
Also Published As
Publication number | Publication date |
---|---|
JP3598526B2 (ja) | 2004-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4528441B2 (ja) | ブロック整合法及び統合投射法を用いた階層的動き評価処理及び装置 | |
US9800889B2 (en) | Video decoding device, video decoding method, video decoding program, and video decoding integrated circuit | |
EP1389016B1 (en) | Improved motion estimation and block matching pattern | |
EP0643539A2 (en) | Motion vector detection apparatus and method | |
JPH06205386A (ja) | 画像再生装置 | |
EP1755342A1 (en) | Method and apparatus for iteratively calculating a set of global motion parameters for a picture sequence from block motion vectors | |
US6058142A (en) | Image processing apparatus | |
KR100272120B1 (ko) | 양자화 컨트롤 회로 | |
JPH07203462A (ja) | 動きベクトル検出方法及び画像データの符号化方法 | |
JP2007527126A (ja) | 画像部分の圧縮方法および装置 | |
EP0981251B1 (en) | Method and apparatus for video coding at high efficiency | |
US6993077B2 (en) | Experimental design for motion estimation | |
JP3473528B2 (ja) | 動き検出装置及び動き検出方法 | |
JP3433489B2 (ja) | 動きベクトル検出方法及び画像データの符号化方法 | |
US6788741B1 (en) | Device and method of retrieving high-speed motion | |
US20090268822A1 (en) | Motion vector detection by stepwise search | |
JP3063380B2 (ja) | 高能率符号化装置 | |
JPH0262178A (ja) | 画像処理装置の動き検出方式 | |
JPH10327401A (ja) | 動きベクトル検出方法及びそれを用いた画像信号の符号化方法及び装置 | |
JP2861963B2 (ja) | 動きベクトル検出回路 | |
JP2000050278A (ja) | 動きベクトル算出方法及び動きベクトル算出プログラムを記録した記録媒体 | |
JP3334317B2 (ja) | 画像照合方法および装置 | |
JPH11239350A (ja) | 動画像信号の動きベクトル検出方法およびフレーム間符号化装置における動きベクトル検出回路 | |
JPH10164596A (ja) | 動き検出装置 | |
KR100295837B1 (ko) | 동영상 부호화를 위한 움직임 추정장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040309 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040430 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040824 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040906 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080924 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090924 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090924 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100924 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100924 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110924 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110924 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120924 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120924 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130924 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |