JP2853973B2 - 階層型動きベクトル検出方法及びその装置 - Google Patents
階層型動きベクトル検出方法及びその装置Info
- Publication number
- JP2853973B2 JP2853973B2 JP6538295A JP6538295A JP2853973B2 JP 2853973 B2 JP2853973 B2 JP 2853973B2 JP 6538295 A JP6538295 A JP 6538295A JP 6538295 A JP6538295 A JP 6538295A JP 2853973 B2 JP2853973 B2 JP 2853973B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- block
- layer
- image
- peripheral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
- Color Television Systems (AREA)
Description
【0001】
【産業上の利用分野】本発明は、動画圧縮の中核技術の
一つである「動きベクトル」の検出方法に関し、とく
に、階層型画像情報に周辺ブロック参照法を適用する検
出方法及びその装置の改良に関する。
一つである「動きベクトル」の検出方法に関し、とく
に、階層型画像情報に周辺ブロック参照法を適用する検
出方法及びその装置の改良に関する。
【0002】
「動画像圧縮」一般に、動画像の情報量は、静止画像に
比べてはるかに膨大であり、情報伝達メディアや蓄積メ
ディアへの利用に際して静止画以上に効率の高い圧縮技
術が求められる。たとえば、画像圧縮の国際標準化委員
会の一つであるMPEG(Moving Picture Experts Gro
up)によって制定された動画像符号化/復号方式(MP
EG1及びMPEG2;以下これらを総称して「MPE
G」と言う)は、こうした用途に好ましい圧縮技術であ
る。 「時間的冗長性と予測誤差」静止画像では、主に「空間
的冗長性」を使って圧縮を実現している。一方、動画像
圧縮でも空間的冗長性を利用するが「時間的冗長性」の
利用がより重要になる。時間的冗長性とは、動画像を構
成する多数のフレームのうち、時間的に近いフレーム同
士は非常に似通った画像になるという性質のことをい
う。たとえば、アニメーションでは、この性質を利用し
て連続する絵を少しずつ変化させることにより、違和感
のないスムーズな動きを出している。この場合、時間的
に隣り合うフレーム同士には、程度の差こそあれほとん
ど違いがないことが多い。したがって、時間的に近いフ
レームの“異なる部分”(予測誤差と呼ばれる)だけを
伝送または蓄積すれば(言い換えれば、同一の部分を伝
送または蓄積しないようにすれば)、結果として相当に
高い圧縮率を得ることができる。 「フレーム間予測符号化」予測誤差を得るために、いわ
ゆる「フレーム間予測符号化」が行なわれる。これは、
圧縮したいフレームが持つ画像情報を他のフレームから
予測するという方式であり、MPEGでは、「順方向予
測」、「逆方向予測」及び「双方向予測」の三つが行な
われる。順方向予測は時間的に近い“過去のフレーム”
と圧縮したい“現在のフレーム”との間の予測誤差を得
るというもの、逆方向予測は時間的に近い“未来のフレ
ーム”と圧縮したい“現在のフレーム”との間の予測誤
差を得るというもの、さらに、双方向予測は“過去のフ
レーム”と“未来のフレーム”との平均値と“現在のフ
レーム”との間の予測誤差を得るというものである。
比べてはるかに膨大であり、情報伝達メディアや蓄積メ
ディアへの利用に際して静止画以上に効率の高い圧縮技
術が求められる。たとえば、画像圧縮の国際標準化委員
会の一つであるMPEG(Moving Picture Experts Gro
up)によって制定された動画像符号化/復号方式(MP
EG1及びMPEG2;以下これらを総称して「MPE
G」と言う)は、こうした用途に好ましい圧縮技術であ
る。 「時間的冗長性と予測誤差」静止画像では、主に「空間
的冗長性」を使って圧縮を実現している。一方、動画像
圧縮でも空間的冗長性を利用するが「時間的冗長性」の
利用がより重要になる。時間的冗長性とは、動画像を構
成する多数のフレームのうち、時間的に近いフレーム同
士は非常に似通った画像になるという性質のことをい
う。たとえば、アニメーションでは、この性質を利用し
て連続する絵を少しずつ変化させることにより、違和感
のないスムーズな動きを出している。この場合、時間的
に隣り合うフレーム同士には、程度の差こそあれほとん
ど違いがないことが多い。したがって、時間的に近いフ
レームの“異なる部分”(予測誤差と呼ばれる)だけを
伝送または蓄積すれば(言い換えれば、同一の部分を伝
送または蓄積しないようにすれば)、結果として相当に
高い圧縮率を得ることができる。 「フレーム間予測符号化」予測誤差を得るために、いわ
ゆる「フレーム間予測符号化」が行なわれる。これは、
圧縮したいフレームが持つ画像情報を他のフレームから
予測するという方式であり、MPEGでは、「順方向予
測」、「逆方向予測」及び「双方向予測」の三つが行な
われる。順方向予測は時間的に近い“過去のフレーム”
と圧縮したい“現在のフレーム”との間の予測誤差を得
るというもの、逆方向予測は時間的に近い“未来のフレ
ーム”と圧縮したい“現在のフレーム”との間の予測誤
差を得るというもの、さらに、双方向予測は“過去のフ
レーム”と“未来のフレーム”との平均値と“現在のフ
レーム”との間の予測誤差を得るというものである。
【0003】なお、MPEGでは、I、P及びBといっ
た3種類のピクチャ・タイプを規定する。Iピクチャは
フレーム間予測を行わず(参照フレームを必要とせず)
に生成される画像、Pピクチャは順方向予測によって
(過去の1枚のフレームを参照フレームとして)生成さ
れる画像、Bピクチャは順方向予測や逆方向予測若しく
は双方向予測によって(過去と未来の2枚のフレームを
参照フレームとして)生成される画像であり、それぞ
れ、Intra-Picture、Predictive-Picture、Bidirection
ally Predictive-Pictureの頭文字をとったものであ
る。 「動きベクトルと動き補償」動画像における動き部分、
たとえば疾走する車両を考えると、時間的に隣り合うフ
レーム間では、車両だけが平行移動し、背景はほとんど
変化しない。このため、動き部分(車両)の画像を画素
値……画像を構成する点(画素)の情報を数値で表した
もの……で見た場合には、時間的に隣り合うフレーム
(便宜的にnフレームとn−1フレーム)同士で異なる
のは、位置の情報(座標情報)だけで、他の情報(たと
えば色情報や輝度情報)にはほとんど変化が見られな
い。したがって、n−1フレームの動き部分(車両)の
画素に、直線的な移動情報である「動きベクトル」を与
えれば、動きベクトル情報のみを送り、予測誤差情報を
ほとんど送る必要がなくなる。動きベクトルを利用して
画像信号をずらす方法を「動き補償」という。単純にフ
レーム間予測符号化を利用するのに比べて伝送情報量を
大幅に減らすことができ、圧縮効率をさらに高めること
ができる。 「ブロック・マッチング法による動きベクトル検出の基
本原理」図4、図5を用いて、動きベクトル検出の基本
原理を説明する。図4において、100は現在のフレー
ム(上述のnフレームに相当)であり、このフレーム1
00は、所定サイズ(たとえば16×16画素)のブロ
ックに分割されている。ここでは、そのうちの一つのブ
ロック101を、動きベクトルの検出対象ブロック(以
下「検出対象ブロック」)として代表する。図5におい
て、102は時間的に一つ前のフレーム(上述のn−1
フレームに相当)であり、このフレーム102には、動
きベクトル探索のための領域(以下「探索領域」)10
3が設定されている。探索領域103のサイズは検出対
象ブロック101よりも大きく、たとえば、検出対象ブ
ロック101の縦と横の−方向に16画素を加えるとと
もに+方向に15画素を加えた47×47画素の大きさ
を有している。
た3種類のピクチャ・タイプを規定する。Iピクチャは
フレーム間予測を行わず(参照フレームを必要とせず)
に生成される画像、Pピクチャは順方向予測によって
(過去の1枚のフレームを参照フレームとして)生成さ
れる画像、Bピクチャは順方向予測や逆方向予測若しく
は双方向予測によって(過去と未来の2枚のフレームを
参照フレームとして)生成される画像であり、それぞ
れ、Intra-Picture、Predictive-Picture、Bidirection
ally Predictive-Pictureの頭文字をとったものであ
る。 「動きベクトルと動き補償」動画像における動き部分、
たとえば疾走する車両を考えると、時間的に隣り合うフ
レーム間では、車両だけが平行移動し、背景はほとんど
変化しない。このため、動き部分(車両)の画像を画素
値……画像を構成する点(画素)の情報を数値で表した
もの……で見た場合には、時間的に隣り合うフレーム
(便宜的にnフレームとn−1フレーム)同士で異なる
のは、位置の情報(座標情報)だけで、他の情報(たと
えば色情報や輝度情報)にはほとんど変化が見られな
い。したがって、n−1フレームの動き部分(車両)の
画素に、直線的な移動情報である「動きベクトル」を与
えれば、動きベクトル情報のみを送り、予測誤差情報を
ほとんど送る必要がなくなる。動きベクトルを利用して
画像信号をずらす方法を「動き補償」という。単純にフ
レーム間予測符号化を利用するのに比べて伝送情報量を
大幅に減らすことができ、圧縮効率をさらに高めること
ができる。 「ブロック・マッチング法による動きベクトル検出の基
本原理」図4、図5を用いて、動きベクトル検出の基本
原理を説明する。図4において、100は現在のフレー
ム(上述のnフレームに相当)であり、このフレーム1
00は、所定サイズ(たとえば16×16画素)のブロ
ックに分割されている。ここでは、そのうちの一つのブ
ロック101を、動きベクトルの検出対象ブロック(以
下「検出対象ブロック」)として代表する。図5におい
て、102は時間的に一つ前のフレーム(上述のn−1
フレームに相当)であり、このフレーム102には、動
きベクトル探索のための領域(以下「探索領域」)10
3が設定されている。探索領域103のサイズは検出対
象ブロック101よりも大きく、たとえば、検出対象ブ
ロック101の縦と横の−方向に16画素を加えるとと
もに+方向に15画素を加えた47×47画素の大きさ
を有している。
【0004】いま、探索領域103内で、検出対象ブロ
ック101を水平/垂直方向に所定画素数(一般には1
画素)ずつずらしながら、重なり合う画素間の画素値の
差分を順次に求めていくと、探索領域103の内部を一
巡した段階で、すべての画素の差分値の合計を表す値
(たとえば、差分値の絶対値の和や差分値の自乗の和)
が最小となる部分領域104が見つかる。この部分領域
104は、nフレームの検出対象ブロック101との相
関性が最も高い領域であり、その大きさは検出対象ブロ
ック101と同一(ここでは16×16画素)である。
したがって、二つのブロック101、104がマッチン
グしているから、検出対象ブロック101の中心から部
分領域ブロック104の中心へと向かうベクトル105
を求め、このベクトル105を検出対象ブロック101
の「動きベクトル」とすればよい。 「ブロック・マッチング法の検出精度」ブロック・マッ
チング法は、基本的にフレーム間予測誤差エントロピー
の低減を実現するための動き量検出を狙いとしている。
このため、検出精度に関しては検出誤りの発生頻度が高
く、元々の被写体の動きに即した正確な動き量の検出に
至っていないのが現状である。 「周辺ブロック参照法」周辺ブロック参照法は、ブロッ
ク・マッチング法の検出精度を高めるための技術であ
り、要するに、検出対象ブロックの予測動き量を初期偏
位ベクトルとして検出する際に、周辺に位置するいくつ
かのブロックの確定済み動きベクトルを参照するという
ものである。以下、周辺ブロックの中で、動きベクトル
検出のために参照されるブロックを単に「参照ブロッ
ク」と言う。
ック101を水平/垂直方向に所定画素数(一般には1
画素)ずつずらしながら、重なり合う画素間の画素値の
差分を順次に求めていくと、探索領域103の内部を一
巡した段階で、すべての画素の差分値の合計を表す値
(たとえば、差分値の絶対値の和や差分値の自乗の和)
が最小となる部分領域104が見つかる。この部分領域
104は、nフレームの検出対象ブロック101との相
関性が最も高い領域であり、その大きさは検出対象ブロ
ック101と同一(ここでは16×16画素)である。
したがって、二つのブロック101、104がマッチン
グしているから、検出対象ブロック101の中心から部
分領域ブロック104の中心へと向かうベクトル105
を求め、このベクトル105を検出対象ブロック101
の「動きベクトル」とすればよい。 「ブロック・マッチング法の検出精度」ブロック・マッ
チング法は、基本的にフレーム間予測誤差エントロピー
の低減を実現するための動き量検出を狙いとしている。
このため、検出精度に関しては検出誤りの発生頻度が高
く、元々の被写体の動きに即した正確な動き量の検出に
至っていないのが現状である。 「周辺ブロック参照法」周辺ブロック参照法は、ブロッ
ク・マッチング法の検出精度を高めるための技術であ
り、要するに、検出対象ブロックの予測動き量を初期偏
位ベクトルとして検出する際に、周辺に位置するいくつ
かのブロックの確定済み動きベクトルを参照するという
ものである。以下、周辺ブロックの中で、動きベクトル
検出のために参照されるブロックを単に「参照ブロッ
ク」と言う。
【0005】図6において、升目の一つ一つはブロック
を表している。いま、eを予測動き量を検出しようとす
る検出対象ブロックとすると、A〜Dがそれに対する参
照ブロックになる。なお、残りのf〜iのブロックも検
出対象ブロックのまわりに位置する周辺ブロックである
が、参照ブロックにはならない。これは、ブロックのス
キャン順を「……A→B→C→D→e→f→g→h→i
……」と想定しているからで、アルファベットの小文字
を付したブロックは、動きベクトルがまだ確定していな
いブロック(言い換えればこれから検出対象ブロックに
なるブロック)だからである。
を表している。いま、eを予測動き量を検出しようとす
る検出対象ブロックとすると、A〜Dがそれに対する参
照ブロックになる。なお、残りのf〜iのブロックも検
出対象ブロックのまわりに位置する周辺ブロックである
が、参照ブロックにはならない。これは、ブロックのス
キャン順を「……A→B→C→D→e→f→g→h→i
……」と想定しているからで、アルファベットの小文字
を付したブロックは、動きベクトルがまだ確定していな
いブロック(言い換えればこれから検出対象ブロックに
なるブロック)だからである。
【0006】参照ブロックで検出された動きベクトルに
基づいて、検出対象ブロックの初期偏位ベクトルを得る
には、たとえば、参照ブロックのそれぞれの動き量の平
均値を検出対象ブロックの初期偏位とする方法や、参照
ブロックにおける動き補償誤差を判定条件として、これ
が最小となる参照ブロックの動き量を検出対象ブロック
の初期偏位とする方法、若しくは、参照ブロックの動き
量による検出対象ブロックの動き補償誤差を判定条件と
して、これが最小となる参照ブロックの動き量を検出対
象ブロックの初期偏位とする方法など、いろいろ知られ
ている。
基づいて、検出対象ブロックの初期偏位ベクトルを得る
には、たとえば、参照ブロックのそれぞれの動き量の平
均値を検出対象ブロックの初期偏位とする方法や、参照
ブロックにおける動き補償誤差を判定条件として、これ
が最小となる参照ブロックの動き量を検出対象ブロック
の初期偏位とする方法、若しくは、参照ブロックの動き
量による検出対象ブロックの動き補償誤差を判定条件と
して、これが最小となる参照ブロックの動き量を検出対
象ブロックの初期偏位とする方法など、いろいろ知られ
ている。
【0007】
【従来の技術】電子情報通信学会論文誌(D−II Vol.
J72−D−II No.3 pp.395−403 1989年3月)に
は、階層型画像情報を用いた動画像における動きベクト
ル検出方式が記載されている。この論文の技術では、検
出精度を改善するために、周辺ブロック参照法を適用し
ている。
J72−D−II No.3 pp.395−403 1989年3月)に
は、階層型画像情報を用いた動画像における動きベクト
ル検出方式が記載されている。この論文の技術では、検
出精度を改善するために、周辺ブロック参照法を適用し
ている。
【0008】図7は階層型画像情報の模式図である。図
7において、「0」、「h」及び「h+1」は代表的に
示す三つの階層画像であり、0は最下層の画像、hは任
意の中位階層の画像、h+1は画像hの一つ上層の画像
である。画像0を原画像とすると、画像hの画素密度は
画像0の画素密度よりも少なく、画像h+1の画素密度
はさらに少なくなるように設定されている。好ましい例
によれば、画像h+1の画素密度は画像hの画素密度の
1/2である。これは、画像hの周波数帯域とサンプリ
ング周波数を1/2にして得られた画像に相当する。
7において、「0」、「h」及び「h+1」は代表的に
示す三つの階層画像であり、0は最下層の画像、hは任
意の中位階層の画像、h+1は画像hの一つ上層の画像
である。画像0を原画像とすると、画像hの画素密度は
画像0の画素密度よりも少なく、画像h+1の画素密度
はさらに少なくなるように設定されている。好ましい例
によれば、画像h+1の画素密度は画像hの画素密度の
1/2である。これは、画像hの周波数帯域とサンプリ
ング周波数を1/2にして得られた画像に相当する。
【0009】このような階層画像においては、その上位
階層の画像の空間解像度が下位階層に比べて劣化するた
め、上位階層と下位階層では相反する性質を持つことに
なる。すなわち、上位階層では被写体の動きを大局的に
捉えることができ(言い換えれば、上位階層では被写体
の動きを詳細に捉えることができない)、一方、下位階
層ではこの逆に被写体の動きを詳細に捉えることができ
る(言い換えれば、下位階層では被写体の動きを局所的
にしか捉えることができない)。
階層の画像の空間解像度が下位階層に比べて劣化するた
め、上位階層と下位階層では相反する性質を持つことに
なる。すなわち、上位階層では被写体の動きを大局的に
捉えることができ(言い換えれば、上位階層では被写体
の動きを詳細に捉えることができない)、一方、下位階
層ではこの逆に被写体の動きを詳細に捉えることができ
る(言い換えれば、下位階層では被写体の動きを局所的
にしか捉えることができない)。
【0010】したがって、上位階層で検出された動きベ
クトルに基づいて、下位階層の動きベクトルを逐次検出
すれば、被写体の動きを効率よく、しかも高い精度で検
出することが可能となる。画像hの階層(以下「第h階
層」)におけるブロック・マッチングの探索は、一つ上
の画像h+1の階層(以下「第h+1階層」)の被従属
ブロック(親ブロック)の検出結果Vh+1を2倍したも
の(2Vh+1)を初期偏位ベクトルとして行なう。たと
えば、次式で定義するマッチング評価関数「S
(uh′,vh′)」が最小となるVh′を探索して検出
する。このとき、第h階層での動きベクトルVhは、図
8(a)に示すように、Vh=Vh′+2Vh+1で与えら
れる。また、マッチングの探索範囲は、階層画像の各層
間の対応を考慮し、親ブロックの検出結果2Vh+1=
(2uh+1,2vh+1)を中心に、たとえば5×5の範囲
に設定する。
クトルに基づいて、下位階層の動きベクトルを逐次検出
すれば、被写体の動きを効率よく、しかも高い精度で検
出することが可能となる。画像hの階層(以下「第h階
層」)におけるブロック・マッチングの探索は、一つ上
の画像h+1の階層(以下「第h+1階層」)の被従属
ブロック(親ブロック)の検出結果Vh+1を2倍したも
の(2Vh+1)を初期偏位ベクトルとして行なう。たと
えば、次式で定義するマッチング評価関数「S
(uh′,vh′)」が最小となるVh′を探索して検出
する。このとき、第h階層での動きベクトルVhは、図
8(a)に示すように、Vh=Vh′+2Vh+1で与えら
れる。また、マッチングの探索範囲は、階層画像の各層
間の対応を考慮し、親ブロックの検出結果2Vh+1=
(2uh+1,2vh+1)を中心に、たとえば5×5の範囲
に設定する。
【0011】
【数1】
【0012】 但し、初期偏位点:2Vh+1=(2uh+1,2vh+1) 探索点:Vh′=(uh′,vh′) 前フレームの画像h:ft-1,h(x,y) 現フレームの画像h:ft,h(x,y) 検出動きベクトル:Vh=(uh,vh) =(2uh+1+uh′,2vh+1+vh′) 前出の図7の階層画像では、画像h+1の解像度が画像
hと比べて1/2になっている。このため、初期偏位と
して用いる親ブロックの検出結果Vh+1も、検出対象の
動きベクトルVhの1/2の解像度でしかないから、親
ブロックの検出結果を2倍し、画像hの解像度に合わせ
た後、これを初期偏位ベクトルとして設定する必要があ
る。たとえば、Vhmax=0とおくと、各階層のマッチン
グによって検出される動きベクトルVhは、次式のよ
うになる(図8(b)参照)。
hと比べて1/2になっている。このため、初期偏位と
して用いる親ブロックの検出結果Vh+1も、検出対象の
動きベクトルVhの1/2の解像度でしかないから、親
ブロックの検出結果を2倍し、画像hの解像度に合わせ
た後、これを初期偏位ベクトルとして設定する必要があ
る。たとえば、Vhmax=0とおくと、各階層のマッチン
グによって検出される動きベクトルVhは、次式のよ
うになる(図8(b)参照)。
【0013】
【数2】
【0014】以上のとおり、階層型動きベクトル検出で
は、上位階層で比較的大まかな動きを、下位階層でさら
に詳細な動きを逐次に検出するという作用が得られる
が、各階層間の対応から、マッチングの探索範囲を狭い
範囲(たとえば親ブロックの検出結果を中心に5×5の
範囲)に制限せざるを得ず、このため、とくに一つのブ
ロック内に動きの異なる領域が複数存在する場合には、
各層間の対応付けが追従しきれないという不都合があ
る。
は、上位階層で比較的大まかな動きを、下位階層でさら
に詳細な動きを逐次に検出するという作用が得られる
が、各階層間の対応から、マッチングの探索範囲を狭い
範囲(たとえば親ブロックの検出結果を中心に5×5の
範囲)に制限せざるを得ず、このため、とくに一つのブ
ロック内に動きの異なる領域が複数存在する場合には、
各層間の対応付けが追従しきれないという不都合があ
る。
【0015】図9はその不都合例である。いま、静止背
景上の被写体(ハッチング部)が矢線ベクトル200の
方向に移動したとき(図9(a))、第h+1階層の親
ブロックにおける最上位階層からの検出過程で動きベク
トルVh+1が検出されたとすると(図9(b))、第h
階層のブロックでは、2Vh+1を中心として所定範囲
(5×5)の探索を行なうが(図9(c))、2Vh+1
がVh′の探索範囲を超えていると、静止領域に対応す
るブロック201の動きベクトルVh=0が検出できな
い。
景上の被写体(ハッチング部)が矢線ベクトル200の
方向に移動したとき(図9(a))、第h+1階層の親
ブロックにおける最上位階層からの検出過程で動きベク
トルVh+1が検出されたとすると(図9(b))、第h
階層のブロックでは、2Vh+1を中心として所定範囲
(5×5)の探索を行なうが(図9(c))、2Vh+1
がVh′の探索範囲を超えていると、静止領域に対応す
るブロック201の動きベクトルVh=0が検出できな
い。
【0016】そこで、前出論文の技術では、「周辺ブロ
ック参照法」を階層的に適用し、親ブロックの検出結果
を中心点とする探索点(図10(a)の◎印参照)のほ
かに、親ブロックと境界を接する四つの周辺ブロック
(図10(a)の☆印参照)の検出結果を新たな探索点
に加えている。これによれば、親ブロックの検出結果と
は別に、周辺ブロックの検出結果を探索点として参照で
きるから、親ブロックの検出結果を中心とする探索範囲
が狭くても、周辺ブロックの動きに対応する相対的な動
きが、その探索範囲内であれば、実際の動きに十分に追
従した検出(図10(b)の●印参照)を行なうことが
できる。
ック参照法」を階層的に適用し、親ブロックの検出結果
を中心点とする探索点(図10(a)の◎印参照)のほ
かに、親ブロックと境界を接する四つの周辺ブロック
(図10(a)の☆印参照)の検出結果を新たな探索点
に加えている。これによれば、親ブロックの検出結果と
は別に、周辺ブロックの検出結果を探索点として参照で
きるから、親ブロックの検出結果を中心とする探索範囲
が狭くても、周辺ブロックの動きに対応する相対的な動
きが、その探索範囲内であれば、実際の動きに十分に追
従した検出(図10(b)の●印参照)を行なうことが
できる。
【0017】
【発明が解決しようとする課題】ところで、前出論文の
技術は、親ブロックと境界を接する全ての周辺ブロック
(図10(a)の☆印参照)を参照ブロックとするもの
であるが、参照ブロックの数が多いと、それだけ参照メ
モリへのアクセス量が増え、その結果、メモリのバンド
幅が大きくなり、LSI化した場合のピン数の増加を招
くという不都合がある。また、演算処理のオーバーヘッ
ドが増大するから、とくに、画像サイズが大きく、演算
量の多いHD/UD(High Definition/Ultra Definit
ion)画像に適用すると、回路規模がきわめて増大する
という不都合がある。なお、参照ブロックの数を減らせ
ば、かかる不都合を低減できるが、単に減らしただけで
は、動きベクトルの推定精度が大幅に低下するという新
たな不都合を招く。
技術は、親ブロックと境界を接する全ての周辺ブロック
(図10(a)の☆印参照)を参照ブロックとするもの
であるが、参照ブロックの数が多いと、それだけ参照メ
モリへのアクセス量が増え、その結果、メモリのバンド
幅が大きくなり、LSI化した場合のピン数の増加を招
くという不都合がある。また、演算処理のオーバーヘッ
ドが増大するから、とくに、画像サイズが大きく、演算
量の多いHD/UD(High Definition/Ultra Definit
ion)画像に適用すると、回路規模がきわめて増大する
という不都合がある。なお、参照ブロックの数を減らせ
ば、かかる不都合を低減できるが、単に減らしただけで
は、動きベクトルの推定精度が大幅に低下するという新
たな不都合を招く。
【0018】
【目的】そこで、本発明は、大幅な精度低下を招くこと
なく、参照ブロック数を少なくしてメモリアクセス量の
削減を図ることを目的とする。
なく、参照ブロック数を少なくしてメモリアクセス量の
削減を図ることを目的とする。
【0019】
【課題を解決するための手段】請求項1記載の方法発明
は、原画像と同一または近い解像度を有する最下位の第
1階層画像と、この第1階層画像の解像度に対して段階
的に解像度が低下する上位側の第2〜第m階層画像とを
用い、上位側の任意階層で検出された親ブロックの動き
ベクトルに基づいて、該任意階層の一つ下位の階層の検
出対象ブロックの動きベクトルを検出する際に、前記検
出対象ブロックと同一階層内の各ブロックのうち、該検
出対象ブロックの直近に位置する周辺ブロックの動きベ
クトルを参照する場合は、前記周辺ブロックの数を1個
を含む少ない個数に制限するとともに、該周辺ブロック
の位置を少なくとも一つの隣接階層間で異ならせること
を特徴とする。
は、原画像と同一または近い解像度を有する最下位の第
1階層画像と、この第1階層画像の解像度に対して段階
的に解像度が低下する上位側の第2〜第m階層画像とを
用い、上位側の任意階層で検出された親ブロックの動き
ベクトルに基づいて、該任意階層の一つ下位の階層の検
出対象ブロックの動きベクトルを検出する際に、前記検
出対象ブロックと同一階層内の各ブロックのうち、該検
出対象ブロックの直近に位置する周辺ブロックの動きベ
クトルを参照する場合は、前記周辺ブロックの数を1個
を含む少ない個数に制限するとともに、該周辺ブロック
の位置を少なくとも一つの隣接階層間で異ならせること
を特徴とする。
【0020】請求項2記載の方法発明は、請求項1記載
の発明において、前記検出対象ブロックの動きベクトル
の検出に際し、一つ上位の層の親ブロックの周辺に位置
する周辺ブロック(上位層周辺ブロック)の動きベクト
ルも参照する場合は、該上位層周辺ブロックの数も1個
を含む少ない個数に制限するとともに、該上位層周辺ブ
ロックの位置を少なくとも一つの隣接階層間で異ならせ
ることを特徴とする。
の発明において、前記検出対象ブロックの動きベクトル
の検出に際し、一つ上位の層の親ブロックの周辺に位置
する周辺ブロック(上位層周辺ブロック)の動きベクト
ルも参照する場合は、該上位層周辺ブロックの数も1個
を含む少ない個数に制限するとともに、該上位層周辺ブ
ロックの位置を少なくとも一つの隣接階層間で異ならせ
ることを特徴とする。
【0021】請求項3記載の装置発明は、原画像と同一
または近い解像度を有する最下位の第1階層画像を格納
する第1階層メモリと、この第1階層画像の解像度に対
して段階的に解像度が低下する上位側の第2〜第m階層
画像を格納する第2〜第m階層メモリと、上位側の任意
階層で検出された親ブロックの動きベクトルに基づい
て、該任意階層の一つ下位の階層の検出対象ブロックの
動きベクトルを検出する動きベクトル検出手段と、前記
検出対象ブロックと同一階層内の各ブロックのうち、該
検出対象ブロックの直近に位置する周辺ブロックの動き
ベクトルを参照する動きベクトル参照手段とを備え、前
記周辺ブロックの数を1個を含む少ない個数に制限する
とともに、該周辺ブロックの位置を少なくとも一つの隣
接階層間で異ならせることを特徴とする。
または近い解像度を有する最下位の第1階層画像を格納
する第1階層メモリと、この第1階層画像の解像度に対
して段階的に解像度が低下する上位側の第2〜第m階層
画像を格納する第2〜第m階層メモリと、上位側の任意
階層で検出された親ブロックの動きベクトルに基づい
て、該任意階層の一つ下位の階層の検出対象ブロックの
動きベクトルを検出する動きベクトル検出手段と、前記
検出対象ブロックと同一階層内の各ブロックのうち、該
検出対象ブロックの直近に位置する周辺ブロックの動き
ベクトルを参照する動きベクトル参照手段とを備え、前
記周辺ブロックの数を1個を含む少ない個数に制限する
とともに、該周辺ブロックの位置を少なくとも一つの隣
接階層間で異ならせることを特徴とする。
【0022】請求項4記載の装置発明は、請求項3記載
の発明において、一つ上位の層の親ブロックの周辺に位
置する周辺ブロック(上位層周辺ブロック)の動きベク
トルを参照する第2の動きベクトル参照手段を備え、該
上位層周辺ブロックの数を1個を含む少ない個数に制限
するとともに、該上位層周辺ブロックの位置を少なくと
も一つの隣接階層間で異ならせることを特徴とする。
の発明において、一つ上位の層の親ブロックの周辺に位
置する周辺ブロック(上位層周辺ブロック)の動きベク
トルを参照する第2の動きベクトル参照手段を備え、該
上位層周辺ブロックの数を1個を含む少ない個数に制限
するとともに、該上位層周辺ブロックの位置を少なくと
も一つの隣接階層間で異ならせることを特徴とする。
【0023】
【作用】請求項1または3記載の発明では、検出対象ブ
ロックの動きベクトル検出に際して参照する周辺ブロッ
クの数が少ないため、参照メモリへのアクセスが減り、
信号処理のオーバーヘッドが減少する。したがって、処
理時間の十分な確保が可能になるから、とくに、処理量
の多い高精細動画像(たとえば、HD/UD画像)に適
用して好適な技術が実現される。
ロックの動きベクトル検出に際して参照する周辺ブロッ
クの数が少ないため、参照メモリへのアクセスが減り、
信号処理のオーバーヘッドが減少する。したがって、処
理時間の十分な確保が可能になるから、とくに、処理量
の多い高精細動画像(たとえば、HD/UD画像)に適
用して好適な技術が実現される。
【0024】また、周辺ブロックを少ない数に制限した
ことによる動きベクトルの推定精度の低下問題は、少な
くとも一つの隣接階層間で周辺ブロックの位置パターン
を異ならせることによって解決される。このようにする
と、同隣接階層間の周辺ブロックが互いに補間し合う関
係となり、仮に、隣接する二つの階層を一つの階層とし
て見た場合、この一つの階層は、実質的に両階層の周辺
ブロック(たとえば1階層の周辺ブロックが2個であれ
ば2×2個の周辺ブロック)を含むことになるからであ
る。したがって、この場合には、4個の周辺ブロックを
参照するのと略同程度の精度が得られるから、周辺ブロ
ック数を少なくしたことによる精度低下が抑えられる。
ことによる動きベクトルの推定精度の低下問題は、少な
くとも一つの隣接階層間で周辺ブロックの位置パターン
を異ならせることによって解決される。このようにする
と、同隣接階層間の周辺ブロックが互いに補間し合う関
係となり、仮に、隣接する二つの階層を一つの階層とし
て見た場合、この一つの階層は、実質的に両階層の周辺
ブロック(たとえば1階層の周辺ブロックが2個であれ
ば2×2個の周辺ブロック)を含むことになるからであ
る。したがって、この場合には、4個の周辺ブロックを
参照するのと略同程度の精度が得られるから、周辺ブロ
ック数を少なくしたことによる精度低下が抑えられる。
【0025】請求項2または4記載の発明では、上位層
周辺ブロックを参照する場合にも、オーバヘッドを少な
くして十分な処理時間の確保が可能になるとともに、該
上位層周辺ブロック数を少なくしたことによる精度低下
も抑えられる。
周辺ブロックを参照する場合にも、オーバヘッドを少な
くして十分な処理時間の確保が可能になるとともに、該
上位層周辺ブロック数を少なくしたことによる精度低下
も抑えられる。
【0026】
【実施例】以下、本発明の実施例を図面に基づいて説明
する。図1〜図3は本発明に係る階層型動きベクトル検
出装置の一実施例の原理構成図である。なお、以下の説
明では、3階層の階層型画像に適用した例であるが、こ
の階層数に限定されるものではない。
する。図1〜図3は本発明に係る階層型動きベクトル検
出装置の一実施例の原理構成図である。なお、以下の説
明では、3階層の階層型画像に適用した例であるが、こ
の階層数に限定されるものではない。
【0027】図1において、10〜30は、階層毎に設
けられた動きベクトル検出部であり、図面下側の動きベ
クトル検出部30は3階層型画像の第1層目の画像(最
下位層画像)に対応し、図面中央の動きベクトル検出部
20は同画像の第2層目の画像(中間層画像)に対応
し、さらに、図面上側の動きベクトル検出部10は同画
像の第3層目の画像(最上位層画像)に対応している。
以下、説明の都合上、図面上側の動きベクトル検出部1
0を「最上位層動きベクトル検出部」、図面中央の動き
ベクトル検出部20を「中位層動きベクトル検出部」、
さらに、図面下側の動きベクトル検出部30を「最下位
層動きベクトル検出部」と呼称する。
けられた動きベクトル検出部であり、図面下側の動きベ
クトル検出部30は3階層型画像の第1層目の画像(最
下位層画像)に対応し、図面中央の動きベクトル検出部
20は同画像の第2層目の画像(中間層画像)に対応
し、さらに、図面上側の動きベクトル検出部10は同画
像の第3層目の画像(最上位層画像)に対応している。
以下、説明の都合上、図面上側の動きベクトル検出部1
0を「最上位層動きベクトル検出部」、図面中央の動き
ベクトル検出部20を「中位層動きベクトル検出部」、
さらに、図面下側の動きベクトル検出部30を「最下位
層動きベクトル検出部」と呼称する。
【0028】各部の構成は、中位層動きベクトル検出部
20と最下位層動きベクトル検出部30が同一で、最上
位層動きベクトル検出部10が一部異なっている。すな
わち、最上位層動きベクトル検出部10は、二つの画像
メモリ10a、10b、動きベクトル/評価値メモリ1
0c及び動きベクトル評価器10dを含み、一方、中位
層動きベクトル検出部20(最下位層動きベクトル検出
部30)は、二つの画像メモリ20a、20b(30
a、30b)、動きベクトル/評価値メモリ20c(3
0c)及び動きベクトル評価器20d(30d)に加
え、動きベクトル伸長器20e(30e)を構成に含
む。
20と最下位層動きベクトル検出部30が同一で、最上
位層動きベクトル検出部10が一部異なっている。すな
わち、最上位層動きベクトル検出部10は、二つの画像
メモリ10a、10b、動きベクトル/評価値メモリ1
0c及び動きベクトル評価器10dを含み、一方、中位
層動きベクトル検出部20(最下位層動きベクトル検出
部30)は、二つの画像メモリ20a、20b(30
a、30b)、動きベクトル/評価値メモリ20c(3
0c)及び動きベクトル評価器20d(30d)に加
え、動きベクトル伸長器20e(30e)を構成に含
む。
【0029】動きベクトル検出部10(20または3
0)に含まれる二つの画像メモリ10a、10b(20
a、20bまたは30a、30b)の一方は、現フレー
ムの画像信号(以下、単に「現フレーム」と言う)の格
納用、他方は参照フレーム(たとえば、時間的に一つ前
のフレーム)の画像信号(以下、単に「参照フレーム」
と言う)の格納用であり、特に限定しないが、図では、
左側の画像メモリ10a(20aまたは30a)を現フ
レーム格納用、右側の画像メモリ10b(20bまたは
30b)を参照フレーム格納用としている。
0)に含まれる二つの画像メモリ10a、10b(20
a、20bまたは30a、30b)の一方は、現フレー
ムの画像信号(以下、単に「現フレーム」と言う)の格
納用、他方は参照フレーム(たとえば、時間的に一つ前
のフレーム)の画像信号(以下、単に「参照フレーム」
と言う)の格納用であり、特に限定しないが、図では、
左側の画像メモリ10a(20aまたは30a)を現フ
レーム格納用、右側の画像メモリ10b(20bまたは
30b)を参照フレーム格納用としている。
【0030】ここで、画像メモリ10a、10b、20
a、20b、30a、30bの解像度(画素密度)は、
下位側から上位側へといくにつれて段階的に低くなって
いる。すなわち、最下位層動きベクトル検出部30の画
像メモリ30a、30bに格納された画像は「高解像度
画像」であり、また、中位層動きベクトル検出部20の
画像メモリ20a、20bに格納された画像は「中解像
度画像」であり、さらに、最上位層動きベクトル検出部
10の画像メモリ10a、10bに格納された画像は
「低解像度画像」である。
a、20b、30a、30bの解像度(画素密度)は、
下位側から上位側へといくにつれて段階的に低くなって
いる。すなわち、最下位層動きベクトル検出部30の画
像メモリ30a、30bに格納された画像は「高解像度
画像」であり、また、中位層動きベクトル検出部20の
画像メモリ20a、20bに格納された画像は「中解像
度画像」であり、さらに、最上位層動きベクトル検出部
10の画像メモリ10a、10bに格納された画像は
「低解像度画像」である。
【0031】したがって、高解像度画像を格納する画像
メモリ30a、30bは、発明の要旨に記載の「第1階
層メモリ」として機能し、中解像度画像と低解像度画像
を格納する残りの画像メモリ10a、10b、20a、
20bは、発明の要旨に記載の「第2〜第m階層メモ
リ」としての機能を有している。各画像の画素密度は、
「高」、「中」、「低」の順に段階的に低くなるように
設定すればよいが、設計容易性の点で、一定の倍率で変
化するようにした方が望ましい。たとえば、高解像度画
像の画素密度を原画像と同一の(または近い)解像度に
するとともに、この高解像度画像の画素を1/4間引い
たものを中解像度画像とし、さらに、中解像度画像の画
素を1/4間引いたものを低解像度画像としてもよい。
この場合、低解像度画像の画素密度は、高解像度画像の
1/16になる。
メモリ30a、30bは、発明の要旨に記載の「第1階
層メモリ」として機能し、中解像度画像と低解像度画像
を格納する残りの画像メモリ10a、10b、20a、
20bは、発明の要旨に記載の「第2〜第m階層メモ
リ」としての機能を有している。各画像の画素密度は、
「高」、「中」、「低」の順に段階的に低くなるように
設定すればよいが、設計容易性の点で、一定の倍率で変
化するようにした方が望ましい。たとえば、高解像度画
像の画素密度を原画像と同一の(または近い)解像度に
するとともに、この高解像度画像の画素を1/4間引い
たものを中解像度画像とし、さらに、中解像度画像の画
素を1/4間引いたものを低解像度画像としてもよい。
この場合、低解像度画像の画素密度は、高解像度画像の
1/16になる。
【0032】次に、画像メモリ以外の各部の機能を説明
する。まず、最上位層動きベクトル検出部10の動きベ
クトル評価器10dは、一方の画像メモリ10aから読
み出した現フレームの検出対象ブロックの画像(図5の
符号101参照)と、他方の画像メモリ10bから読み
出した探索領域(図5の符号103参照)の画像とに基
づき、公知の手法(前述のブロックマッチング法参照)
によって検出対象ブロックの動きベクトルを検出するも
ので、検出された動きベクトルと評価値は、動きベクト
ル/評価値メモリ10cに書き込まれる。
する。まず、最上位層動きベクトル検出部10の動きベ
クトル評価器10dは、一方の画像メモリ10aから読
み出した現フレームの検出対象ブロックの画像(図5の
符号101参照)と、他方の画像メモリ10bから読み
出した探索領域(図5の符号103参照)の画像とに基
づき、公知の手法(前述のブロックマッチング法参照)
によって検出対象ブロックの動きベクトルを検出するも
ので、検出された動きベクトルと評価値は、動きベクト
ル/評価値メモリ10cに書き込まれる。
【0033】中位層動きベクトル検出部20の動きベク
トル評価器20d(または最下位層動きベクトル検出部
30の動きベクトル評価器30d)は、一方の画像メモ
リ20a(30a)から読み出した現フレームの検出対
象ブロックの画像と、他方の画像メモリ20b(30
b)から読み出した探索領域の画像とに基づき、公知の
手法によって検出対象ブロックの動きベクトルを検出す
る点で、最上位層の動きベクトル評価器10dと類似す
るが、第1に、一つ上の階層の親ブロックの動きベクト
ルを初期偏位ベクトルとする点で相違する。
トル評価器20d(または最下位層動きベクトル検出部
30の動きベクトル評価器30d)は、一方の画像メモ
リ20a(30a)から読み出した現フレームの検出対
象ブロックの画像と、他方の画像メモリ20b(30
b)から読み出した探索領域の画像とに基づき、公知の
手法によって検出対象ブロックの動きベクトルを検出す
る点で、最上位層の動きベクトル評価器10dと類似す
るが、第1に、一つ上の階層の親ブロックの動きベクト
ルを初期偏位ベクトルとする点で相違する。
【0034】すなわち、中位層動きベクトル検出部20
の動きベクトル評価器20d(または最下位層動きベク
トル検出部30の動きベクトル評価器30d)には、動
きベクトル伸長器20e(30e)によって所定の伸長
処理を施された一つ上の階層の親ブロックの動きベクト
ル10f(20f)……10f′または20f′は伸長
処理後の動きベクトル……が入力しており、動きベクト
ル評価器20d(30d)は、親ブロックの動きベクト
ル10f′(20f′)で指示されるベクトルに対応す
る探索領域(x)を設定し、その領域内の画像を画像メ
モリ20b(30b)から読み込み、領域(x)の中で
評価が最も高いベクトルVxを探し出し、その探索結果
のベクトルVxと評価値xとを動きベクトル/評価値メ
モリ20c(30c)に書き込む点で相違する。探索領
域xを必要最小限の大きさにすることで、無駄な探索処
理を回避できる。したがって、中位層と最下位層の動き
ベクトル評価器20d、30dは、上位側の階層で検出
された親ブロックの動きベクトルに基づいて、一つ下位
の階層の検出対象ブロックの動きベクトルを検出する
「動きベクトル検出手段」としての機能を有している。
の動きベクトル評価器20d(または最下位層動きベク
トル検出部30の動きベクトル評価器30d)には、動
きベクトル伸長器20e(30e)によって所定の伸長
処理を施された一つ上の階層の親ブロックの動きベクト
ル10f(20f)……10f′または20f′は伸長
処理後の動きベクトル……が入力しており、動きベクト
ル評価器20d(30d)は、親ブロックの動きベクト
ル10f′(20f′)で指示されるベクトルに対応す
る探索領域(x)を設定し、その領域内の画像を画像メ
モリ20b(30b)から読み込み、領域(x)の中で
評価が最も高いベクトルVxを探し出し、その探索結果
のベクトルVxと評価値xとを動きベクトル/評価値メ
モリ20c(30c)に書き込む点で相違する。探索領
域xを必要最小限の大きさにすることで、無駄な探索処
理を回避できる。したがって、中位層と最下位層の動き
ベクトル評価器20d、30dは、上位側の階層で検出
された親ブロックの動きベクトルに基づいて、一つ下位
の階層の検出対象ブロックの動きベクトルを検出する
「動きベクトル検出手段」としての機能を有している。
【0035】また、第2に、同一階層内の周辺ブロック
の動きベクトルを参照する点で相違する。すなわち、動
きベクトル/評価値メモリ20c(30c)にすでに書
き込まれている周辺ブロックの動きベクトルを、参照動
きベクトル20g(30g)として少なくとも一つ読み
出し、この参照動きベクトル20g(30g)に対応し
た探索領域(Yi)(iは参照動きベクトルの識別番
号)の画像を、画像メモリ20b(30b)から読み出
す。そして、領域(Yi)の中で最も評価の高いベクト
ルVyを探し出し、その探索結果の動きベクトルVyi
と評価値yiとを動きベクトル/評価値メモリ20c
(30c)に書き込む。最後に、親ブロックの動きベク
トルを参照したときの評価値xと、周辺ブロックの動き
ベクトルを参照したときの評価値yi(たとえば二つの
周辺ブロックを参照した場合にはy1、y 2)との中で最
も評価の高いベクトルVzを当該階層画像の検出対象ブ
ロックにおける動きベクトル20f(30f)として確
定し、一つ下の階層へ出力するとともに、動きベクトル
/評価値メモリ20c(30c)に書き込む。したがっ
て、中位層と最下位層の動きベクトル評価器20d、3
0dは、検出対象ブロックと同一階層内の各ブロックの
うち、該検出対象ブロックの直近に位置する周辺ブロッ
クの動きベクトルを参照する「動きベクトル参照手段」
としての機能も有している。
の動きベクトルを参照する点で相違する。すなわち、動
きベクトル/評価値メモリ20c(30c)にすでに書
き込まれている周辺ブロックの動きベクトルを、参照動
きベクトル20g(30g)として少なくとも一つ読み
出し、この参照動きベクトル20g(30g)に対応し
た探索領域(Yi)(iは参照動きベクトルの識別番
号)の画像を、画像メモリ20b(30b)から読み出
す。そして、領域(Yi)の中で最も評価の高いベクト
ルVyを探し出し、その探索結果の動きベクトルVyi
と評価値yiとを動きベクトル/評価値メモリ20c
(30c)に書き込む。最後に、親ブロックの動きベク
トルを参照したときの評価値xと、周辺ブロックの動き
ベクトルを参照したときの評価値yi(たとえば二つの
周辺ブロックを参照した場合にはy1、y 2)との中で最
も評価の高いベクトルVzを当該階層画像の検出対象ブ
ロックにおける動きベクトル20f(30f)として確
定し、一つ下の階層へ出力するとともに、動きベクトル
/評価値メモリ20c(30c)に書き込む。したがっ
て、中位層と最下位層の動きベクトル評価器20d、3
0dは、検出対象ブロックと同一階層内の各ブロックの
うち、該検出対象ブロックの直近に位置する周辺ブロッ
クの動きベクトルを参照する「動きベクトル参照手段」
としての機能も有している。
【0036】ここで、本実施例のポイントについて述べ
る。本実施例では、周辺ブロックの動きベクトルを参照
する場合、参照ブロック数を4個未満の少ない数(好ま
しくは1個または2個)に制限する。これによれば、冒
頭の従来例の4個(図10の☆印参照)に比べて、参照
メモリのアクセス量を大幅に削減できる。参照ブロック
を2個とした場合、参照ブロックの組み合わせパターン
は、全部で28通り(8×7÷2通り)になる。実際に
は、動きベクトルが確定した処理済みのブロックしか参
照できないのと、MPEGでは左のブロックの検出結果
との差分符号化を考慮に入れなければならないから、直
前のブロックの結果を常に参照することが望ましい。し
たがって、画像の左上から順に処理していくとすると、
参照ブロックの位置は、検出対象ブロックの「左と左
上」、「左と上」または「左と右上」の3種類となる。
または、画像の右上から順に処理していくとすると、参
照ブロックの位置は、検出対象ブロックの「右と右
上」、「右と上」または「右と左上」の3種類となる。
図2は位置パターン毎の参照ブロックの検出結果の移入
イメージである。同図(a)は「左と左上」の場合、同
図(b)は「左と上」の場合、同図(c)は「左と右
上」の場合である。左下がりのハッチングは検出対象ブ
ロックを、ドットは参照ブロックを表している。なお、
矢印は移入方向を示している。
る。本実施例では、周辺ブロックの動きベクトルを参照
する場合、参照ブロック数を4個未満の少ない数(好ま
しくは1個または2個)に制限する。これによれば、冒
頭の従来例の4個(図10の☆印参照)に比べて、参照
メモリのアクセス量を大幅に削減できる。参照ブロック
を2個とした場合、参照ブロックの組み合わせパターン
は、全部で28通り(8×7÷2通り)になる。実際に
は、動きベクトルが確定した処理済みのブロックしか参
照できないのと、MPEGでは左のブロックの検出結果
との差分符号化を考慮に入れなければならないから、直
前のブロックの結果を常に参照することが望ましい。し
たがって、画像の左上から順に処理していくとすると、
参照ブロックの位置は、検出対象ブロックの「左と左
上」、「左と上」または「左と右上」の3種類となる。
または、画像の右上から順に処理していくとすると、参
照ブロックの位置は、検出対象ブロックの「右と右
上」、「右と上」または「右と左上」の3種類となる。
図2は位置パターン毎の参照ブロックの検出結果の移入
イメージである。同図(a)は「左と左上」の場合、同
図(b)は「左と上」の場合、同図(c)は「左と右
上」の場合である。左下がりのハッチングは検出対象ブ
ロックを、ドットは参照ブロックを表している。なお、
矢印は移入方向を示している。
【0037】ところで、単に参照ブロックの数を少なく
しただけでは、動きベクトルの推測精度の低下を免れな
い。この対策として、本実施例では、参照ブロックの位
置パターンを隣接階層画像間で異ならせている。たとえ
ば、図3に示すように、ある階層画像(便宜的にj層;
処理順は右上から)における位置パターンが「左上と
右」(☆印)であったとすると、その一つ下または一つ
上の階層画像(便宜的にi層;処理順は左上から)にお
ける位置パターンを「左と右上」(☆印)にする。な
お、◎印は移入対象の検出対象ブロックである。このよ
うにすると、同隣接階層画像間の参照ブロック(☆印)
が補間し合う関係となるから、各層での参照ブロックを
2個に制限したにも関わらず、たとえば、図3の例で
は、「左上」、「左」、「右」及び「右上」の4個の参
照ブロックを用いた場合と略同等の推測精度が得られ
る。なお、参照ブロックの位置パターンを異ならせるの
は、全ての隣接階層画像間であってもよいし、または、
一部の階層画像間であってもよい。要は、少なくとも一
つの隣接階層画像間で位置パターンを異ならせればよ
い。
しただけでは、動きベクトルの推測精度の低下を免れな
い。この対策として、本実施例では、参照ブロックの位
置パターンを隣接階層画像間で異ならせている。たとえ
ば、図3に示すように、ある階層画像(便宜的にj層;
処理順は右上から)における位置パターンが「左上と
右」(☆印)であったとすると、その一つ下または一つ
上の階層画像(便宜的にi層;処理順は左上から)にお
ける位置パターンを「左と右上」(☆印)にする。な
お、◎印は移入対象の検出対象ブロックである。このよ
うにすると、同隣接階層画像間の参照ブロック(☆印)
が補間し合う関係となるから、各層での参照ブロックを
2個に制限したにも関わらず、たとえば、図3の例で
は、「左上」、「左」、「右」及び「右上」の4個の参
照ブロックを用いた場合と略同等の推測精度が得られ
る。なお、参照ブロックの位置パターンを異ならせるの
は、全ての隣接階層画像間であってもよいし、または、
一部の階層画像間であってもよい。要は、少なくとも一
つの隣接階層画像間で位置パターンを異ならせればよ
い。
【0038】ちなみに、図3の処理手順は、まず、ブロ
ック(m,n)におけるベクトルV m,nを用いたときの
評価値(ブロックマッチング誤差値)をF(Vm,n)と
すると、j層では、Min{F(Vm-1,n-1),F(V
m,n),F(Vm+1,n)}となるベクトルVをブロック
(m,n)の真のベクトルとし、次いで、ブロック(m
−1,n)におけるベクトルの計算を行い、mが下限に
達したら、nを1インクリメントしてmを上限に戻した
後、以上の処理を繰り返す。
ック(m,n)におけるベクトルV m,nを用いたときの
評価値(ブロックマッチング誤差値)をF(Vm,n)と
すると、j層では、Min{F(Vm-1,n-1),F(V
m,n),F(Vm+1,n)}となるベクトルVをブロック
(m,n)の真のベクトルとし、次いで、ブロック(m
−1,n)におけるベクトルの計算を行い、mが下限に
達したら、nを1インクリメントしてmを上限に戻した
後、以上の処理を繰り返す。
【0039】一方、i層では、Min{F
(Vm-1,n),F(Vm,n),F(Vm+1,n-1)}となる
ベクトルVをブロック(m,n)の真のベクトルとし、
次いで、ブロック(m+1,n)におけるベクトルの計
算を行い、mが上限に達したら、nを1インクリメント
してmを下限に戻した後、以上の処理を繰り返すという
処理を行う。
(Vm-1,n),F(Vm,n),F(Vm+1,n-1)}となる
ベクトルVをブロック(m,n)の真のベクトルとし、
次いで、ブロック(m+1,n)におけるベクトルの計
算を行い、mが上限に達したら、nを1インクリメント
してmを下限に戻した後、以上の処理を繰り返すという
処理を行う。
【0040】または、j層では、Min{F(V
m-1,n+1),F(Vm,n),F(Vm+1,n)}となるベク
トルVをブロック(m,n)の真のベクトルとしてもよ
い。この場合には、次いで、ブロック(m−1,n)に
おけるベクトルの計算を行い、mが下限に達したら、n
を1デクリメントしてmを上限に戻した後、以上の処理
を繰り返す。
m-1,n+1),F(Vm,n),F(Vm+1,n)}となるベク
トルVをブロック(m,n)の真のベクトルとしてもよ
い。この場合には、次いで、ブロック(m−1,n)に
おけるベクトルの計算を行い、mが下限に達したら、n
を1デクリメントしてmを上限に戻した後、以上の処理
を繰り返す。
【0041】以上のとおり、本実施例では、参照ブロッ
クの数を少なくしても、動きベクトルの推測精度の大幅
な低下を招かない。したがって、画質の劣化を視覚的許
容範囲に抑えながら、メモリアクセス量の削減を図るこ
とができ、とくに、HD/UD画像に適用して好ましい
有用な技術を提供できる。なお、以上の実施例では、検
出対象ブロックと同一階層内のブロックを参照ブロック
としているが、これに限るものではない。一つ上位の層
の親ブロックの周辺に位置する周辺ブロック(上位層周
辺ブロック)の動きベクトルを参照してもかまわない。
この場合には、たとえば、図1の信号10f、20fを
上位層周辺ブロックの数だけ増やせばよい。したがっ
て、上位層周辺ブロックを参照する場合には、中位層と
最下位層の動きベクトル評価器20d、30dは、発明
の要旨に記載の「第2の動きベクトル参照手段」の機能
も兼ね備えることになる。
クの数を少なくしても、動きベクトルの推測精度の大幅
な低下を招かない。したがって、画質の劣化を視覚的許
容範囲に抑えながら、メモリアクセス量の削減を図るこ
とができ、とくに、HD/UD画像に適用して好ましい
有用な技術を提供できる。なお、以上の実施例では、検
出対象ブロックと同一階層内のブロックを参照ブロック
としているが、これに限るものではない。一つ上位の層
の親ブロックの周辺に位置する周辺ブロック(上位層周
辺ブロック)の動きベクトルを参照してもかまわない。
この場合には、たとえば、図1の信号10f、20fを
上位層周辺ブロックの数だけ増やせばよい。したがっ
て、上位層周辺ブロックを参照する場合には、中位層と
最下位層の動きベクトル評価器20d、30dは、発明
の要旨に記載の「第2の動きベクトル参照手段」の機能
も兼ね備えることになる。
【0042】
【発明の効果】本発明によれば、大幅な精度低下を招く
ことなく、参照ブロック数を少なくしてメモリアクセス
量を削減できる。
ことなく、参照ブロック数を少なくしてメモリアクセス
量を削減できる。
【図1】一実施例の概念的な要部全体構成図である。
【図2】一実施例の周辺ブロック参照による検出結果の
移入イメージ図である。
移入イメージ図である。
【図3】一実施例の参照ブロックの位置パターンを異な
らせた隣接階層画像の概念図である。
らせた隣接階層画像の概念図である。
【図4】動きベクトル検出の基本原理図(その1)であ
る。
る。
【図5】動きベクトル検出の基本原理図(その2)であ
る。
る。
【図6】同一階層における参照ブロックの概念図であ
る。
る。
【図7】階層型画像の模式図である。
【図8】階層型画像における動きベクトル検出の概念図
である。
である。
【図9】階層型画像における不都合説明図である。
【図10】周辺ブロック参照法を階層的に適用した従来
技術の概念図である。
技術の概念図である。
10a、10b:画像メモリ(第1階層メモリ) 20a、20b、30a、30b:画像メモリ(第2〜
第m階層メモリ) 20d、30d:動きベクトル評価器(動きベクトル検
出手段、動きベクトル参照手段、第2の動きベクトル参
照手段)
第m階層メモリ) 20d、30d:動きベクトル評価器(動きベクトル検
出手段、動きベクトル参照手段、第2の動きベクトル参
照手段)
───────────────────────────────────────────────────── フロントページの続き (72)発明者 花村 剛 東京都渋谷区代々木4丁目36番19号 株 式会社グラフィックス・コミュニケーシ ョン・ラボラトリーズ内 (72)発明者 森田 一彦 東京都渋谷区代々木4丁目36番19号 株 式会社グラフィックス・コミュニケーシ ョン・ラボラトリーズ内 (72)発明者 山田 恭裕 東京都渋谷区代々木4丁目36番19号 株 式会社グラフィックス・コミュニケーシ ョン・ラボラトリーズ内 (56)参考文献 特開 平3−4686(JP,A) 特開 平3−247190(JP,A) 特開 平6−78292(JP,A) (58)調査した分野(Int.Cl.6,DB名) H04N 7/24 - 7/68
Claims (4)
- 【請求項1】原画像と同一または近い解像度を有する最
下位の第1階層画像と、この第1階層画像の解像度に対
して段階的に解像度が低下する上位側の第2〜第m階層
画像とを用い、 上位側の任意階層で検出された親ブロックの動きベクト
ルに基づいて、該任意階層の一つ下位の階層の検出対象
ブロックの動きベクトルを検出する際に、 前記検出対象ブロックと同一階層内の各ブロックのう
ち、該検出対象ブロックの直近に位置する周辺ブロック
の動きベクトルを参照する場合は、 前記周辺ブロックの数を1個を含む少ない個数に制限す
るとともに、 該周辺ブロックの位置を少なくとも一つの隣接階層間で
異ならせることを特徴とする階層型動きベクトル検出方
法。 - 【請求項2】前記検出対象ブロックの動きベクトルの検
出に際し、 一つ上位の層の親ブロックの周辺に位置する周辺ブロッ
ク(上位層周辺ブロック)の動きベクトルも参照する場
合は、 該上位層周辺ブロックの数も1個を含む少ない個数に制
限するとともに、 該上位層周辺ブロックの位置を少なくとも一つの隣接階
層間で異ならせることを特徴とする請求項1記載の階層
型動きベクトル検出方法。 - 【請求項3】原画像と同一または近い解像度を有する最
下位の第1階層画像を格納する第1階層メモリと、 この第1階層画像の解像度に対して段階的に解像度が低
下する上位側の第2〜第m階層画像を格納する第2〜第
m階層メモリと、 上位側の任意階層で検出された親ブロックの動きベクト
ルに基づいて、該任意階層の一つ下位の階層の検出対象
ブロックの動きベクトルを検出する動きベクトル検出手
段と、 前記検出対象ブロックと同一階層内の各ブロックのう
ち、該検出対象ブロックの直近に位置する周辺ブロック
の動きベクトルを参照する動きベクトル参照手段とを備
え、 前記周辺ブロックの数を1個を含む少ない個数に制限す
るとともに、 該周辺ブロックの位置を少なくとも一つの隣接階層間で
異ならせることを特徴とする階層型動きベクトル検出装
置。 - 【請求項4】一つ上位の層の親ブロックの周辺に位置す
る周辺ブロック(上位層周辺ブロック)の動きベクトル
を参照する第2の動きベクトル参照手段を備え、 該上位層周辺ブロックの数を1個を含む少ない個数に制
限するとともに、 該上位層周辺ブロックの位置を少なくとも一つの隣接階
層間で異ならせることを特徴とする請求項3記載の階層
型動きベクトル検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6538295A JP2853973B2 (ja) | 1995-03-24 | 1995-03-24 | 階層型動きベクトル検出方法及びその装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6538295A JP2853973B2 (ja) | 1995-03-24 | 1995-03-24 | 階層型動きベクトル検出方法及びその装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH08265771A JPH08265771A (ja) | 1996-10-11 |
JP2853973B2 true JP2853973B2 (ja) | 1999-02-03 |
Family
ID=13285385
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP6538295A Expired - Lifetime JP2853973B2 (ja) | 1995-03-24 | 1995-03-24 | 階層型動きベクトル検出方法及びその装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2853973B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11215502A (ja) * | 1998-01-27 | 1999-08-06 | Sanyo Electric Co Ltd | 動きベクトル検出装置及び方法 |
KR100275694B1 (ko) | 1998-03-02 | 2000-12-15 | 윤덕용 | 실시간 동영상 부호화를 위한 초고속 움직임 벡터 추정방법 |
JP4536325B2 (ja) | 2003-02-04 | 2010-09-01 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP6259272B2 (ja) * | 2013-12-06 | 2018-01-10 | 日本電信電話株式会社 | 映像符号化装置及び映像符号化プログラム |
US11153600B2 (en) * | 2016-02-08 | 2021-10-19 | Sharp Kabushiki Kaisha | Motion vector generation device, prediction image generation device, video decoding device, and video coding device |
-
1995
- 1995-03-24 JP JP6538295A patent/JP2853973B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH08265771A (ja) | 1996-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Bovik | The essential guide to video processing | |
JP2636622B2 (ja) | ビデオ信号の符号化方法及び復号化方法ならびにビデオ信号の符号化装置及び復号化装置 | |
US5689306A (en) | Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction | |
JP3621152B2 (ja) | 特徴点の特定装置及びその方法 | |
EP0528293B1 (en) | Apparatus for reducing quantization artifacts in an interframe hybrid coding system with motion compensation | |
KR100209793B1 (ko) | 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화 및 복호화하는 장치 | |
US9503728B2 (en) | Image processing device, decoding method, intra-frame decoder, method of decoding intra-frame and intra-frame encoder | |
JP4739651B2 (ja) | ビデオ符号化における中間画素高精度高速探索を実現する装置及び方法 | |
US20050094899A1 (en) | Adaptive image upscaling method and apparatus | |
US20180124425A1 (en) | Motion estimation through machine learning | |
KR0178229B1 (ko) | 특징점에 근거한 화소단위 움직임 추정을 이용한 영상 처리 장치 | |
JP2004242309A (ja) | 飛越走査方式の動画符号化/復号化方法及びその装置 | |
JP2853973B2 (ja) | 階層型動きベクトル検出方法及びその装置 | |
US20030063671A1 (en) | Method and system for estimating motion vector at high speed for low bit-rate coding | |
JP2963362B2 (ja) | 階層型動きベクトル検出方法及びその装置 | |
US5731851A (en) | Method for determining feature points based on hierarchical block searching technique | |
EP1018841A1 (en) | Image encoding system | |
JPH09182082A (ja) | 動画像の動き補償予測符号化方法とその装置 | |
JPH08205149A (ja) | ビデオ信号の符号化方法 | |
KR0178230B1 (ko) | 특징점에 의한 움직임 추정을 이용한 영상 처리 장치 | |
JP4490351B2 (ja) | 階層間予測処理方法,階層間予測処理装置,階層間予測処理プログラムおよびその記録媒体 | |
JP3537616B2 (ja) | ビデオシーケンスの時間的に順次連続する画像の画素に対する、計算機による動き予測方法 | |
JP2002199349A (ja) | 画像処理装置および方法 | |
JP2853974B2 (ja) | 階層型動きベクトル検出方法及びその装置 | |
KR100266161B1 (ko) | 디지털 영상을 위한 움직임 추정방법(Method of Predicting Motion for Digital Image) |