JPH08149472A - 動きベクトル探索方法および装置 - Google Patents
動きベクトル探索方法および装置Info
- Publication number
- JPH08149472A JPH08149472A JP28305194A JP28305194A JPH08149472A JP H08149472 A JPH08149472 A JP H08149472A JP 28305194 A JP28305194 A JP 28305194A JP 28305194 A JP28305194 A JP 28305194A JP H08149472 A JPH08149472 A JP H08149472A
- Authority
- JP
- Japan
- Prior art keywords
- block
- pixel
- template
- distortion
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【目的】 フェードインやフェードアウト画像やフリカ
を有する画像であっても、正確な動きベクトルを算出す
ることができる。 【構成】 ブロックIにおいては、テンプレート内の画
素a(m,n)が加算器101に入力されラッチ103
の出力と加算されラッチ103に再入力されることで累
算が行われ、テンプレート内の全画素値の合計が求めら
れる。次いでその平均値が求められ、この値と遅延器1
07で遅延された画素値との減算が加算器111で行わ
れ、これを新しいテンプレートとする。ブロックIIで
はサーチウィンドウ内の候補ブロックの平均値を求め、
この値が候補ブロックの画素値から減算され、これを新
しい候補ブロックとして前記新しいテンプレートとの間
でディストーションを求める構成を特徴としている。
を有する画像であっても、正確な動きベクトルを算出す
ることができる。 【構成】 ブロックIにおいては、テンプレート内の画
素a(m,n)が加算器101に入力されラッチ103
の出力と加算されラッチ103に再入力されることで累
算が行われ、テンプレート内の全画素値の合計が求めら
れる。次いでその平均値が求められ、この値と遅延器1
07で遅延された画素値との減算が加算器111で行わ
れ、これを新しいテンプレートとする。ブロックIIで
はサーチウィンドウ内の候補ブロックの平均値を求め、
この値が候補ブロックの画素値から減算され、これを新
しい候補ブロックとして前記新しいテンプレートとの間
でディストーションを求める構成を特徴としている。
Description
【0001】
【産業上の利用分野】本発明は、ディジタル動画像の圧
縮における動き補償予測符号化装置に適用する動きベク
トル探索方法および装置に関するものである。
縮における動き補償予測符号化装置に適用する動きベク
トル探索方法および装置に関するものである。
【0002】
【従来の技術】図9には、ディジタル動画像のデータ量
を圧縮するために用いるフレーム間予測の概念が示さ
れ、同図(a)には、前符号化画像A(t=t0)から
(c)に示す現符号化画像C(t=t1)を予測してい
る。前符号化画像Aから現符号化画像Cを直接予測する
フレーム間予測と、動きベクトルを用いた前符号化画像
Aの平行移動画像から現符号化画像Cを予測する動き補
償フレーム間予測がある。この動き補償予測では、同図
(b)に示すように、破線で示した位置の前符号化画像
Aから、実線で示した現符号化画像Cの位置を予測し動
きベクトルMVを得て、この動きベクトルMVを用いて
予測を行い、(c)に示す現符号化画像Cを得ている。
この動き補償フレーム間予測を用いることによって、フ
レーム間予測のみに比べて一般にそのデータ量を大幅に
圧縮できる。
を圧縮するために用いるフレーム間予測の概念が示さ
れ、同図(a)には、前符号化画像A(t=t0)から
(c)に示す現符号化画像C(t=t1)を予測してい
る。前符号化画像Aから現符号化画像Cを直接予測する
フレーム間予測と、動きベクトルを用いた前符号化画像
Aの平行移動画像から現符号化画像Cを予測する動き補
償フレーム間予測がある。この動き補償予測では、同図
(b)に示すように、破線で示した位置の前符号化画像
Aから、実線で示した現符号化画像Cの位置を予測し動
きベクトルMVを得て、この動きベクトルMVを用いて
予測を行い、(c)に示す現符号化画像Cを得ている。
この動き補償フレーム間予測を用いることによって、フ
レーム間予測のみに比べて一般にそのデータ量を大幅に
圧縮できる。
【0003】動画像を圧縮して符号化する国際標準方式
であるITU-T H.261 のような動き補償予測符号化装置で
は、図10のように入力される現画像Bを、まずブロッ
ク状に分割し、前符号化画像A中からの最適な予測ブロ
ックBBに対し平行移動量を計算し、この移動量を動き
ベクトルMVとして符号化し、この動きベクトルMVで
示された位置にある前符号化画像Aの予測ブロックBB
と現画像Bの符号化ブロックBPとの差分を符号化する
ことにより圧縮効率を高めている。図10中の1はサー
チウィンドウ(W)、2は予測ブロック(BB)、3は
現符号化ブロック、4は動きベクトル(MV)を表わ
す。
であるITU-T H.261 のような動き補償予測符号化装置で
は、図10のように入力される現画像Bを、まずブロッ
ク状に分割し、前符号化画像A中からの最適な予測ブロ
ックBBに対し平行移動量を計算し、この移動量を動き
ベクトルMVとして符号化し、この動きベクトルMVで
示された位置にある前符号化画像Aの予測ブロックBB
と現画像Bの符号化ブロックBPとの差分を符号化する
ことにより圧縮効率を高めている。図10中の1はサー
チウィンドウ(W)、2は予測ブロック(BB)、3は
現符号化ブロック、4は動きベクトル(MV)を表わ
す。
【0004】さらに、国際標準方式であるISO/IEC 1117
2-2 と暫定標準方式ISO/IEC 13818-2 (これ以降MPE
Gと呼ぶ)では、上記方式に加えて、図11に示すよう
に、前符号化画像A(図10)の整数画素b0,0、b
1,0、b0,1、b1,1から1/2画素Hh,H
d,Hvを得て1/2画素精度の画像を生成し、これに
対し動きベクトルMVを探索することにより、さらに予
測精度を高めている。すなわち、1/2画素精度の探索
は、図11に示すように、サーチウィンドウW内の整数
画素b0,0、b1,0、b0,1、b1,1から水平
方向と垂直方向と対角方向に1/2画素Hh,Hv,H
dを生成し、この生成した1/2画素Hh,Hv,Hd
に対し、探索を行う。このため、整数画素b0,0、b
1,0、b0,1、b1,1のみの探索に比べて、4倍
の画素について探索を行わなければならない。
2-2 と暫定標準方式ISO/IEC 13818-2 (これ以降MPE
Gと呼ぶ)では、上記方式に加えて、図11に示すよう
に、前符号化画像A(図10)の整数画素b0,0、b
1,0、b0,1、b1,1から1/2画素Hh,H
d,Hvを得て1/2画素精度の画像を生成し、これに
対し動きベクトルMVを探索することにより、さらに予
測精度を高めている。すなわち、1/2画素精度の探索
は、図11に示すように、サーチウィンドウW内の整数
画素b0,0、b1,0、b0,1、b1,1から水平
方向と垂直方向と対角方向に1/2画素Hh,Hv,H
dを生成し、この生成した1/2画素Hh,Hv,Hd
に対し、探索を行う。このため、整数画素b0,0、b
1,0、b0,1、b1,1のみの探索に比べて、4倍
の画素について探索を行わなければならない。
【0005】この動きベクトルMVを検出する手法は、
多くの技術が存在するが、その中で最も一般的な方法
は、連続するフレーム間のある大きさの画素ブロック毎
の処理を基本としたものであり、ブロックマッチング法
と呼ばれている。
多くの技術が存在するが、その中で最も一般的な方法
は、連続するフレーム間のある大きさの画素ブロック毎
の処理を基本としたものであり、ブロックマッチング法
と呼ばれている。
【0006】ブロックマッチング法では、図10に示す
現画像Bにおける参照ブロック(現符号化ブロックB
P)は前符号化画像Aのサーチ・ウィンドウWに囲まれ
た領域に含まれる同じ大きさの候補ブロック(予測ブロ
ックBB)との算術演算結果同士の算術的比較により探
索される。そのフレーム間の比較に使用する算術演算結
果は、ディストーションと呼ばれ、2つのブロックの類
似性の単位として使用される。最も小さいディストーシ
ョン値を持つ候補ブロックBBは、最良のマッチングを
示すものであり、それを参照ブロックBPと関連づける
動きベクトルMVとにより、動き予測を行う。探索する
サーチウィンドウW内に含まれれる可能な全てのブロッ
クが参照ブロックBPと逐次比較されるとき、このプロ
セスは全点探索法(フル・サーチ・ブロック・マッチン
グ法)と呼ばれる。
現画像Bにおける参照ブロック(現符号化ブロックB
P)は前符号化画像Aのサーチ・ウィンドウWに囲まれ
た領域に含まれる同じ大きさの候補ブロック(予測ブロ
ックBB)との算術演算結果同士の算術的比較により探
索される。そのフレーム間の比較に使用する算術演算結
果は、ディストーションと呼ばれ、2つのブロックの類
似性の単位として使用される。最も小さいディストーシ
ョン値を持つ候補ブロックBBは、最良のマッチングを
示すものであり、それを参照ブロックBPと関連づける
動きベクトルMVとにより、動き予測を行う。探索する
サーチウィンドウW内に含まれれる可能な全てのブロッ
クが参照ブロックBPと逐次比較されるとき、このプロ
セスは全点探索法(フル・サーチ・ブロック・マッチン
グ法)と呼ばれる。
【0007】図12には、ブロック・マッチング法にお
けるブロックの関係が示されている。図12(a)は、
探索領域E(x;0〜K−M,y;0〜H−N)に対す
るサーチウィンドウW(x;0〜K−1,y;0〜H−
1)と現符号化ブロックBP(水平サイズ;M,垂直サ
イズ;N)の関係が示され、同図(b)には、サーチウ
ィンドウW内の候補ブロックBBの画素の位置と現符号
化ブロックBPの画素の位置の関係が示されている。
けるブロックの関係が示されている。図12(a)は、
探索領域E(x;0〜K−M,y;0〜H−N)に対す
るサーチウィンドウW(x;0〜K−1,y;0〜H−
1)と現符号化ブロックBP(水平サイズ;M,垂直サ
イズ;N)の関係が示され、同図(b)には、サーチウ
ィンドウW内の候補ブロックBBの画素の位置と現符号
化ブロックBPの画素の位置の関係が示されている。
【0008】図12(b)では、現符号化ブロックBP
と、サーチウィンドウW内に破線で示す候補ブロックB
Bのブロック間累積誤差値であるディストーションD
(k,h)は、下記のように表される。
と、サーチウィンドウW内に破線で示す候補ブロックB
Bのブロック間累積誤差値であるディストーションD
(k,h)は、下記のように表される。
【0009】
【数1】 だだし、a,bはそれぞれBP、BB内の画素値であ
り、最初のΣはm=0からM−1までの加算を表し、次
のΣはn=0からN−1までの加算を表している。‖‖
は、ディストーションを演算するためのノルム演算を示
しており、d(k,h)は画素差分を示している。この
ノルム演算の内、絶対値演算と2乗演算が最も一般的に
使用される。その中で誤差絶対値和は、その計算の複雑
さと効率の点で、良いトレードオフを提供するから最も
頻繁に用いられる。
り、最初のΣはm=0からM−1までの加算を表し、次
のΣはn=0からN−1までの加算を表している。‖‖
は、ディストーションを演算するためのノルム演算を示
しており、d(k,h)は画素差分を示している。この
ノルム演算の内、絶対値演算と2乗演算が最も一般的に
使用される。その中で誤差絶対値和は、その計算の複雑
さと効率の点で、良いトレードオフを提供するから最も
頻繁に用いられる。
【0010】全点探索法の場合、このディストーション
を探索領域E(x;O〜K−M.y;O〜H−N)の全
ての点で算出し、その中から一番小さい値を持つ点をそ
の動きベクトルMVとする。
を探索領域E(x;O〜K−M.y;O〜H−N)の全
ての点で算出し、その中から一番小さい値を持つ点をそ
の動きベクトルMVとする。
【0011】また、1/2画素精度の探索は、図11に
示すように、サーチウィンドウW内の整数画素b0,
0、b1,0、b0,1、b1,1から水平方向と垂直
方向と対角方向に1/2画素Hh,Hv,Hdを生成
し、この生成した1/2画素Hh,Hv,Hdに対し、
探索を行う。このため、整数画素b0,0、b1,0、
b0,1、b1,1のみの探索に比べて、4倍の画素に
ついて探索を行わなければならないことは前述したとお
りである。
示すように、サーチウィンドウW内の整数画素b0,
0、b1,0、b0,1、b1,1から水平方向と垂直
方向と対角方向に1/2画素Hh,Hv,Hdを生成
し、この生成した1/2画素Hh,Hv,Hdに対し、
探索を行う。このため、整数画素b0,0、b1,0、
b0,1、b1,1のみの探索に比べて、4倍の画素に
ついて探索を行わなければならないことは前述したとお
りである。
【0012】図13は、式(1)のディストーション演
算を実行する従来の演算器の例である。本従来例では、
ディストーションを算出するためのノルム演算に絶対値
演算を使用している。
算を実行する従来の演算器の例である。本従来例では、
ディストーションを算出するためのノルム演算に絶対値
演算を使用している。
【0013】図13の演算器を、後述する図5のシスト
リックアレー構造の並列処理型動きベクトル探索装置中
の図6に示すプロセッサエレメント部分のディストーシ
ョン算出部(DIS)を置き換えることで動きベクトル
の並列処理が可能となる。
リックアレー構造の並列処理型動きベクトル探索装置中
の図6に示すプロセッサエレメント部分のディストーシ
ョン算出部(DIS)を置き換えることで動きベクトル
の並列処理が可能となる。
【0014】
【発明が解決しようとする課題】ブロックマッチング法
における従来のノルム演算を使用したディストーション
算出法による動きベクトル探索手法では、DC成分の変
動を持つフェードインやフェードアウトなどの編集処理
画像や照明とカメラのスキャンの関係によるフリッカを
持つ画像について、正確な動きベクトルが算出できなか
った。
における従来のノルム演算を使用したディストーション
算出法による動きベクトル探索手法では、DC成分の変
動を持つフェードインやフェードアウトなどの編集処理
画像や照明とカメラのスキャンの関係によるフリッカを
持つ画像について、正確な動きベクトルが算出できなか
った。
【0015】本発明の目的は、処理の迅速化と簡易な構
成によって、フェードインやフェードアウト画像やフリ
ッカを有する画像であっても、正確な動きベクトルを算
出することができる動きベクトル探索方法および装置を
提供するにある。
成によって、フェードインやフェードアウト画像やフリ
ッカを有する画像であっても、正確な動きベクトルを算
出することができる動きベクトル探索方法および装置を
提供するにある。
【0016】
【課題を解決するための手段】本発明にかかる動きベク
トル探索方法は、テンプレート中の各画素の総和から求
めた平均値(DC成分)を前記各画素から引いたものを
新しいテンプレートとし、サーチウィンドウ中の候補ブ
ロック中の各画素の総和から求めた平均値(DC成分)
を前記候補ブロック中の各画素から引いたものを新しい
候補ブロックとし、前記新しいテンプレートと前記新し
い候補ブロックを用いてディストーションの演算を行
い、前記サーチウィンドウ中の各新しい候補ブロックの
内から最も小さいディストーションを持つものを、予測
ブロックとするものである。
トル探索方法は、テンプレート中の各画素の総和から求
めた平均値(DC成分)を前記各画素から引いたものを
新しいテンプレートとし、サーチウィンドウ中の候補ブ
ロック中の各画素の総和から求めた平均値(DC成分)
を前記候補ブロック中の各画素から引いたものを新しい
候補ブロックとし、前記新しいテンプレートと前記新し
い候補ブロックを用いてディストーションの演算を行
い、前記サーチウィンドウ中の各新しい候補ブロックの
内から最も小さいディストーションを持つものを、予測
ブロックとするものである。
【0017】また、テンプレートと候補ブロックの各画
素毎の差分値の平均値(DC成分)を求め、テンプレー
トと候補ブロックの各画素毎の差分値からこの平均値
(DC成分)を引くことにより、ディストーションを求
めるものである。
素毎の差分値の平均値(DC成分)を求め、テンプレー
トと候補ブロックの各画素毎の差分値からこの平均値
(DC成分)を引くことにより、ディストーションを求
めるものである。
【0018】さらに、各画素毎の差分値を算出する減算
器と、ブロックマッチングで使用される減算器を共有使
用し、さらに、各画素毎の差分値のDC成分を算出する
ための累算器とブロックマッチング中でディストーショ
ンを算出するための累算器を共有使用するものである。
また、本発明にかかる動きベクトル探索装置は、現符号
化フレーム内のブロックをテンプレートとし前符号化フ
レーム内の候補ブロックとの間のディストーションを求
めるブロックマッチング法を使用する動きベクトル探索
装置において、前記テンプレート中の各画素の総和から
求めた平均値を前記テンプレート中の各画素から引いた
ものを新しいテンプレートとする手段と、サーチウィン
ドウ中の候補ブロック中の各画素の総和から求めた平均
値を前記候補ブロック中の各画素から引いたものを新し
い候補ブロックとする手段とを備え、前記新しいテンプ
レートと前記新しい候補ブロックを用いてディストーシ
ョンの演算を行い、前記サーチウィンドウ中の各新しい
候補ブロックの内から最も小さいディストーションを持
つものを、予測ブロックとするものである。
器と、ブロックマッチングで使用される減算器を共有使
用し、さらに、各画素毎の差分値のDC成分を算出する
ための累算器とブロックマッチング中でディストーショ
ンを算出するための累算器を共有使用するものである。
また、本発明にかかる動きベクトル探索装置は、現符号
化フレーム内のブロックをテンプレートとし前符号化フ
レーム内の候補ブロックとの間のディストーションを求
めるブロックマッチング法を使用する動きベクトル探索
装置において、前記テンプレート中の各画素の総和から
求めた平均値を前記テンプレート中の各画素から引いた
ものを新しいテンプレートとする手段と、サーチウィン
ドウ中の候補ブロック中の各画素の総和から求めた平均
値を前記候補ブロック中の各画素から引いたものを新し
い候補ブロックとする手段とを備え、前記新しいテンプ
レートと前記新しい候補ブロックを用いてディストーシ
ョンの演算を行い、前記サーチウィンドウ中の各新しい
候補ブロックの内から最も小さいディストーションを持
つものを、予測ブロックとするものである。
【0019】
【作用】本発明の動きベクトル探索方法および装置にお
いては、テンプレートブロックおよびサーチウィンドウ
中の候補ブロックのDC成分をブロック中の各画素から
引いた画素から構成される新しいブロックを使用し、ブ
ロックマッチング演算を行うことにより、フェードイン
やフェードアウトなどの編集処理画像や照明とカメラの
スキャンの関係によるフリッカを持つ画像のようなDC
成分の変動が存在する画像に対し正確な動きベクトルの
算出を行う。
いては、テンプレートブロックおよびサーチウィンドウ
中の候補ブロックのDC成分をブロック中の各画素から
引いた画素から構成される新しいブロックを使用し、ブ
ロックマッチング演算を行うことにより、フェードイン
やフェードアウトなどの編集処理画像や照明とカメラの
スキャンの関係によるフリッカを持つ画像のようなDC
成分の変動が存在する画像に対し正確な動きベクトルの
算出を行う。
【0020】また、テンプレートブロックと候補ブロッ
クの各画素毎の差分値のDC成分を求め、テンプレート
ブロックと候補ブロックの各画素毎の差分値からこのD
C成分を引くことにより、ディストーションを求める。
クの各画素毎の差分値のDC成分を求め、テンプレート
ブロックと候補ブロックの各画素毎の差分値からこのD
C成分を引くことにより、ディストーションを求める。
【0021】さらに、各画素毎の差分値を算出する減算
器と、ブロックマッチングで使用される減算器を共有使
用すること、各画素毎の差分値のDC成分を算出するた
めの累算器とブロックマッチング中でディストーション
を算出するための累算器を共有使用することにより、動
きベクトル算出ためのブロックマッチング演算を行うこ
とで、一層の回路構成の簡略化が可能となった。
器と、ブロックマッチングで使用される減算器を共有使
用すること、各画素毎の差分値のDC成分を算出するた
めの累算器とブロックマッチング中でディストーション
を算出するための累算器を共有使用することにより、動
きベクトル算出ためのブロックマッチング演算を行うこ
とで、一層の回路構成の簡略化が可能となった。
【0022】
【実施例】まず、本発明の原理について説明する。
【0023】ブロック中のDC成分は、ブロック中の各
画素の平均をとることにより得られる。すなわち、テン
プレートブロック中の画素をa(m,n)とし、サーチ
ウィンドウ内の候補ブロック中の画素をb(k+m,h
+n)とすると、ブロック中のDC成分AおよびBは式
(2),(3)のように求められる。
画素の平均をとることにより得られる。すなわち、テン
プレートブロック中の画素をa(m,n)とし、サーチ
ウィンドウ内の候補ブロック中の画素をb(k+m,h
+n)とすると、ブロック中のDC成分AおよびBは式
(2),(3)のように求められる。
【0024】
【数2】
【0025】
【数3】 ただし、最初のΣはm=0からM−1までの加算を表
し、次のΣはn=0からN−1までの加算を表してい
る。
し、次のΣはn=0からN−1までの加算を表してい
る。
【0026】このテンプレート中の各画素からDC成分
Aを引いた画素から成る新しいテンプレートブロック
と、候補ブロック中の各画素からDC成分Bを引いた画
素から成る新しい候補ブロックとのディストーションD
(k,h)は、式(4)のように求められる。
Aを引いた画素から成る新しいテンプレートブロック
と、候補ブロック中の各画素からDC成分Bを引いた画
素から成る新しい候補ブロックとのディストーションD
(k,h)は、式(4)のように求められる。
【0027】
【数4】 ここで、各ブロックのDC成分の差分B−Aは式(5)
のように求められる。
のように求められる。
【0028】
【数5】 従って、テンプレート内の各画素から、相当する候補ブ
ロック中の各画素を引いた差分値から成るブロックのD
C成分を求め、差分値から成るブロック中の各画素の差
分値からこのDC成分を引いた値に対し、絶対値演算や
2乗演算から成るノルム演算を行いディストーションを
求めることで、DC成分の算出のための累算とおよびブ
ロック中の各画素毎のDC成分の引き算の回数を減らす
ことが可能と成る。
ロック中の各画素を引いた差分値から成るブロックのD
C成分を求め、差分値から成るブロック中の各画素の差
分値からこのDC成分を引いた値に対し、絶対値演算や
2乗演算から成るノルム演算を行いディストーションを
求めることで、DC成分の算出のための累算とおよびブ
ロック中の各画素毎のDC成分の引き算の回数を減らす
ことが可能と成る。
【0029】図1は、本発明の一実施例を示すブロック
図である。本実施例では、テンプレートおよびサーチウ
ィンドウ内の候補ブロックの各々DC成分を算出し、各
ブロック内の各画素から求まったDC成分を引き、ディ
ストーション演算を行っている。
図である。本実施例では、テンプレートおよびサーチウ
ィンドウ内の候補ブロックの各々DC成分を算出し、各
ブロック内の各画素から求まったDC成分を引き、ディ
ストーション演算を行っている。
【0030】まず、初期化信号INITにより、各ラッ
チ103,104,119は0に初期化される。次に、
破線で囲まれたIのブロックでは、テンプレート内の画
素a(m,n)が、加算器101に入力され、ラッチ1
03の出力と加算され、ラッチ103に再入力されるこ
とにより累算が行われる。テンプレート内の全画素が入
力され、ラッチ103に全画素値の合計が求められる。
次に、割算器105により前画素値の合計がテンプレー
ト内の総数で割られ平均値(DC値)が求められる。こ
こでテンプレートサイズを2の累乗に選ぶことにより割
算器105はシフト演算で行うことが可能となる。次
に、遅延器107によりテンプレート内の画素数分遅延
を受けたテンプレート内の画素値と、このDC値の間で
減算が行われる。ここでは、DC値を2の補数に変換す
ることにより加算器111で実現している。
チ103,104,119は0に初期化される。次に、
破線で囲まれたIのブロックでは、テンプレート内の画
素a(m,n)が、加算器101に入力され、ラッチ1
03の出力と加算され、ラッチ103に再入力されるこ
とにより累算が行われる。テンプレート内の全画素が入
力され、ラッチ103に全画素値の合計が求められる。
次に、割算器105により前画素値の合計がテンプレー
ト内の総数で割られ平均値(DC値)が求められる。こ
こでテンプレートサイズを2の累乗に選ぶことにより割
算器105はシフト演算で行うことが可能となる。次
に、遅延器107によりテンプレート内の画素数分遅延
を受けたテンプレート内の画素値と、このDC値の間で
減算が行われる。ここでは、DC値を2の補数に変換す
ることにより加算器111で実現している。
【0031】上記テンプレートのDC成分の除去動作と
同様な動作がサーチウィンドウ内の候補ブロックにおい
ても破線で囲まれたIIのブロックで同時に行われる。
同様な動作がサーチウィンドウ内の候補ブロックにおい
ても破線で囲まれたIIのブロックで同時に行われる。
【0032】さて、上記動作によってそれぞれDC成分
を除去されたテンプレートデータ及びサーチウィンドウ
中の候補ブロックデータは、次の加算器114により2
の補数演算を使った減算が行われ、インバータ115,
117とセレクタ116により絶対値に変換され、次の
加算器118とラッチ119により累算が行われディス
トーションが求められる。
を除去されたテンプレートデータ及びサーチウィンドウ
中の候補ブロックデータは、次の加算器114により2
の補数演算を使った減算が行われ、インバータ115,
117とセレクタ116により絶対値に変換され、次の
加算器118とラッチ119により累算が行われディス
トーションが求められる。
【0033】図2は、本発明の別の実施例である。本実
施例では、式(4)および式(5)のように、まずテン
プレートブロックと候補ブロックの各画素差分を算出
し、それから画素差分のDC成分を算出し、その後、画
素差分からDC成分を引いたものについて、ノルム演算
を行ってディストーションを算出している。
施例では、式(4)および式(5)のように、まずテン
プレートブロックと候補ブロックの各画素差分を算出
し、それから画素差分のDC成分を算出し、その後、画
素差分からDC成分を引いたものについて、ノルム演算
を行ってディストーションを算出している。
【0034】その動作は、加算器202とインバータ2
01により2の補数演算を使用したテンプレート内の画
素と、これに対応するサーチウィンドウ内の候補ブロッ
ク内の画素との差分が求められ、次の加算器203とラ
ッチ204により画素差分の累算が行われ、ブロック内
の全画素が入力されるとラッチ204に画素差分の総和
が求められる。次に、除算器205により総和に対し、
ブロック内の総画素数で割ることにより画素差分の平均
値(DC成分)が求められる。
01により2の補数演算を使用したテンプレート内の画
素と、これに対応するサーチウィンドウ内の候補ブロッ
ク内の画素との差分が求められ、次の加算器203とラ
ッチ204により画素差分の累算が行われ、ブロック内
の全画素が入力されるとラッチ204に画素差分の総和
が求められる。次に、除算器205により総和に対し、
ブロック内の総画素数で割ることにより画素差分の平均
値(DC成分)が求められる。
【0035】次に、遅延器206により、ブロック内の
総画素数分遅延された画素差分から上記動作により求め
られたDC成分がインバータ207と加算器208によ
り2の補数での減算が行われ、セレクタ210、インバ
ータ209,211により絶対値に変換され、加算器2
12とラッチ213により画素差分値からDC成分を除
去した値の累算が行われ、全画素差分が入力されること
によりラッチ213にディストーションが求められる。
総画素数分遅延された画素差分から上記動作により求め
られたDC成分がインバータ207と加算器208によ
り2の補数での減算が行われ、セレクタ210、インバ
ータ209,211により絶対値に変換され、加算器2
12とラッチ213により画素差分値からDC成分を除
去した値の累算が行われ、全画素差分が入力されること
によりラッチ213にディストーションが求められる。
【0036】図3は、本発明の別の実施例である。図4
は図3の実施例の動作を説明するためのタイミングチャ
ートである。本実施例では、図2の実施例の画素差分を
算出する減算器(インバータ201と加算器202)と
画素差分からDC成分を引くための減算器(インバータ
207と加算器208)を、図3ではセレクタ303,
304により減算器インバータ305と加算器306)
を時分割使用している。また、DC成分を算出するため
の図2の累算器(加算器203とラッチ204)とディ
ストーションを算出するための累算器(加算器212と
ラッチ213)を、図3では累算器(加算器311とラ
ッチ312)を時分割使用することにより実現してい
る。
は図3の実施例の動作を説明するためのタイミングチャ
ートである。本実施例では、図2の実施例の画素差分を
算出する減算器(インバータ201と加算器202)と
画素差分からDC成分を引くための減算器(インバータ
207と加算器208)を、図3ではセレクタ303,
304により減算器インバータ305と加算器306)
を時分割使用している。また、DC成分を算出するため
の図2の累算器(加算器203とラッチ204)とディ
ストーションを算出するための累算器(加算器212と
ラッチ213)を、図3では累算器(加算器311とラ
ッチ312)を時分割使用することにより実現してい
る。
【0037】図5は、本実施例を使用した並列処理法の
動きベクトル探索装置の一実施例である。
動きベクトル探索装置の一実施例である。
【0038】図5において、MVDは動きベクトル検出
部、TIMはタイミング制御部、IRは入力レジスタ、
SRはサイドレジスタ、PEはプロセッサエレメント
(演算部)、Rは現符号化ブロック入力線、S0,S1
はサーチウィンドウデータ入力線を示す。
部、TIMはタイミング制御部、IRは入力レジスタ、
SRはサイドレジスタ、PEはプロセッサエレメント
(演算部)、Rは現符号化ブロック入力線、S0,S1
はサーチウィンドウデータ入力線を示す。
【0039】その動作は、図8で示されたテンプレート
とサーチウィンドウデータ入力に対し、図7で示される
タイミング信号に従って、動きベクトルが求められる。
とサーチウィンドウデータ入力に対し、図7で示される
タイミング信号に従って、動きベクトルが求められる。
【0040】すなわち、サーチウィンドウデータ入力線
S0,S1より入力レジスタIRに入力されたサーチウ
ィンドウデータは上方向へ現符号化ブロックデータの垂
直方向サイズNに対しN−1クロックシフトされ、次
に、左方向へ1クロックシフトされ、次に、下方向へN
−1クロックシフトされ、次に、また1クロック左方向
へシフトされ、以下、上記動作が繰り返される。このサ
ーチウィンドウデータのシフトに合わせて現符号化ブロ
ックデータ入力線Rにより現符号化ブロックデータが入
力され各プロセッサエレメント(演算部)PEに探索領
域Eの位置に対応したディストーションが算出され、こ
のディストーションは左方向にシフトされながら動きベ
クトル検出部MVDで比較され、最小値をもつものを動
きベクトルとする。
S0,S1より入力レジスタIRに入力されたサーチウ
ィンドウデータは上方向へ現符号化ブロックデータの垂
直方向サイズNに対しN−1クロックシフトされ、次
に、左方向へ1クロックシフトされ、次に、下方向へN
−1クロックシフトされ、次に、また1クロック左方向
へシフトされ、以下、上記動作が繰り返される。このサ
ーチウィンドウデータのシフトに合わせて現符号化ブロ
ックデータ入力線Rにより現符号化ブロックデータが入
力され各プロセッサエレメント(演算部)PEに探索領
域Eの位置に対応したディストーションが算出され、こ
のディストーションは左方向にシフトされながら動きベ
クトル検出部MVDで比較され、最小値をもつものを動
きベクトルとする。
【0041】図6は、図5の実施例中のプロセッサエレ
メント部(PE)の詳細を示したものである。各プロセ
ッサエレメント(PE)部のディストーション算出部
(DIS)に図1,2,3の実施例を用いることで、図
8に示すサーチウィンドウの動きベクトルを同時に探索
することが可能となる。
メント部(PE)の詳細を示したものである。各プロセ
ッサエレメント(PE)部のディストーション算出部
(DIS)に図1,2,3の実施例を用いることで、図
8に示すサーチウィンドウの動きベクトルを同時に探索
することが可能となる。
【0042】次に、図2のプロセッサエレメントを図6
のディストーション算出部に適用した例について説明す
る。
のディストーション算出部に適用した例について説明す
る。
【0043】その動作は、3入力セレクタSEL2によ
り、サーチウィンドウデータのシフト方向,上,下,左
方向(図5における方向)が選択される。このサーチウ
ィンドウデータはセレクタSEL2とDフリップフロッ
プD2を介しディストーション算出部DISの入力b
(m+k,n+h)に入力され、端子Xより入力される
現符号化ブロックデータと差分がとられる。この差分値
データは平均値算出部(加算器203,ラッチ204お
よび除算器205)によりDC値が算出される。遅延器
206よりテンプレート内の画素数分遅延されたこの画
素差分値データとこのDC値は、次のディストーション
算出部によりDC成分が除去された差分値データの累算
が行われ、ディストーションが得られる。この求められ
たディストーションは2入力セレクタSEL1によりD
フリップフロップD1に転送され、出力端子Doにより
動きベクトル検出部MVDに順次転送される。
り、サーチウィンドウデータのシフト方向,上,下,左
方向(図5における方向)が選択される。このサーチウ
ィンドウデータはセレクタSEL2とDフリップフロッ
プD2を介しディストーション算出部DISの入力b
(m+k,n+h)に入力され、端子Xより入力される
現符号化ブロックデータと差分がとられる。この差分値
データは平均値算出部(加算器203,ラッチ204お
よび除算器205)によりDC値が算出される。遅延器
206よりテンプレート内の画素数分遅延されたこの画
素差分値データとこのDC値は、次のディストーション
算出部によりDC成分が除去された差分値データの累算
が行われ、ディストーションが得られる。この求められ
たディストーションは2入力セレクタSEL1によりD
フリップフロップD1に転送され、出力端子Doにより
動きベクトル検出部MVDに順次転送される。
【0044】
【発明の効果】本発明にかかる動きベクトル探索方法お
よび装置は、以上詳細に述べたように、前記テンプレー
ト中の各画素の総和から求めた平均値を前記各画素から
引いたものを新しいテンプレートとし、サーチウィンド
ウ中の候補ブロック中の各画素の総和から求めた平均値
を前記候補ブロック中の各画素から引いたものを新しい
候補ブロックとし、前記新しいテンプレートと前記新し
い候補ブロックを用いてディストーションの演算を行
い、前記サーチウィンドウ中の各新しい候補ブロックの
内から最も小さいディストーションを持つものを、予測
ブロックとするようにしたので、画像のDC成分が変動
するような電灯線によるフリッカを持つ画像やフェード
イン/フェードアウトなどの処理を行った画像におい
て、従来のブロックマッチング法では正確な動きベクト
ルを求めることができなかったが、本実施例によりDC
成分を除いた画像同士を使用しブロックマッチングを行
うため正確な動きベクトルを求めることが可能である。
よび装置は、以上詳細に述べたように、前記テンプレー
ト中の各画素の総和から求めた平均値を前記各画素から
引いたものを新しいテンプレートとし、サーチウィンド
ウ中の候補ブロック中の各画素の総和から求めた平均値
を前記候補ブロック中の各画素から引いたものを新しい
候補ブロックとし、前記新しいテンプレートと前記新し
い候補ブロックを用いてディストーションの演算を行
い、前記サーチウィンドウ中の各新しい候補ブロックの
内から最も小さいディストーションを持つものを、予測
ブロックとするようにしたので、画像のDC成分が変動
するような電灯線によるフリッカを持つ画像やフェード
イン/フェードアウトなどの処理を行った画像におい
て、従来のブロックマッチング法では正確な動きベクト
ルを求めることができなかったが、本実施例によりDC
成分を除いた画像同士を使用しブロックマッチングを行
うため正確な動きベクトルを求めることが可能である。
【0045】また、ブロック内のDC成分を除去してブ
ロックマッチングを行うときに、各ブロックのDC成分
を求めることなく、ブロックの画素毎の差分値のDC成
分を求め、各画素毎の差分値からこのDC成分を引くこ
とによりブロックマッチングを行うので、回路の簡素化
が可能である。
ロックマッチングを行うときに、各ブロックのDC成分
を求めることなく、ブロックの画素毎の差分値のDC成
分を求め、各画素毎の差分値からこのDC成分を引くこ
とによりブロックマッチングを行うので、回路の簡素化
が可能である。
【0046】さらに、テンプレートブロックと候補ブロ
ックとの画素差分値を演算する減算器とDC成分を減算
した後の画素差分値を演算する減算器を共有したこと、
テンプレートブロックと候補ブロックの各画素差分値の
DC成分を求める演算器とディストーションを求める演
算器を共有したことにより、一層の回路の簡素化が可能
である。
ックとの画素差分値を演算する減算器とDC成分を減算
した後の画素差分値を演算する減算器を共有したこと、
テンプレートブロックと候補ブロックの各画素差分値の
DC成分を求める演算器とディストーションを求める演
算器を共有したことにより、一層の回路の簡素化が可能
である。
【0047】また、本演算部をシストリックアレー中の
演算部としてそのまま利用することが可能で、並列処理
により一層の高速処理が可能である。
演算部としてそのまま利用することが可能で、並列処理
により一層の高速処理が可能である。
【図1】本発明の第1実施例に用いる装置の構成を示す
ブロック図である。
ブロック図である。
【図2】本発明の第2実施例に用いる装置の構成を示す
ブロック図である。
ブロック図である。
【図3】本発明の第3実施例に用いる装置の構成を示す
ブロック図である。
ブロック図である。
【図4】図3の装置の動作説明のためのタイミングチャ
ートである。
ートである。
【図5】本発明を使用した並列処理法の動きベクトル探
索装置の一実施例を示すブロック図である。
索装置の一実施例を示すブロック図である。
【図6】図5の装置中のプロセッサエレメントの構成を
示す図である。
示す図である。
【図7】図5の装置の動作説明のためのタイミングチャ
ートである。
ートである。
【図8】符号化ブロック(テンプレート)とサーチウィ
ンドウと予測ブロックの関係を示したものである。
ンドウと予測ブロックの関係を示したものである。
【図9】フレーム間予測符号化の原理を示したものであ
る。
る。
【図10】ディストーションの算出方法について説明す
るための図である。
るための図である。
【図11】探索領域内の整数画素と1/2画素との関係
を示す図である。
を示す図である。
【図12】ブロックマッチング法におけるブロックの関
係を説明するための図である。
係を説明するための図である。
【図13】ディストーション演算を実行する従来の演算
器の構成例を示すブロック図である。
器の構成例を示すブロック図である。
ADD 加算器 LAT ラッチ DIV 除算器 SEL セレクタ DLY 遅延器 PE プロセッサエレメント SR サイドレジスタ IR 入力レジスタ DIS ディストーション算出部 TIM タイミング制御部 MVD 動きベクトル検出部
Claims (4)
- 【請求項1】 現符号化フレーム内のブロックをテンプ
レートとし前符号化フレーム内の候補ブロックとの間の
ディストーションを求めるブロックマッチング法を使用
する動きベクトル探索方法において、前記テンプレート
中の各画素の総和から求めた平均値を前記テンプレート
中の各画素から引いたものを新しいテンプレートとし、
サーチウィンドウ中の候補ブロック中の各画素の総和か
ら求めた平均値を前記候補ブロック中の各画素から引い
たものを新しい候補ブロックとし、前記新しいテンプレ
ートと前記新しい候補ブロックを用いてディストーショ
ンの演算を行い、前記サーチウィンドウ中の各新しい候
補ブロックの内から最も小さいディストーションを持つ
ものを、予測ブロックとすることを特徴とする動きベク
トル探索方法。 - 【請求項2】 請求項1に記載のテンプレートと候補ブ
ロックの各画素毎の差分値のDC成分を求め、テンプレ
ートと候補ブロックの各画素毎の差分値からこのDC成
分を引くことにより、ディストーションを求めることを
特徴とする請求項1に記載の動きベクトル探索方法。 - 【請求項3】 各画素毎の差分値を算出する減算器と、
ブロックマッチングで使用される減算器を共有使用し、
さらに、各画素毎の差分値のDC成分を算出するための
累算器とブロックマッチング中でディストーションを算
出するための累算器を共有使用することを特徴とする請
求項1または2に記載の動きベクトル探索方法。 - 【請求項4】 現符号化フレーム内のブロックをテンプ
レートとし前符号化フレーム内の候補ブロックとの間の
ディストーションを求めるブロックマッチング法を使用
する動きベクトル探索装置において、前記テンプレート
中の各画素の総和から求めた平均値を前記テンプレート
中の各画素から引いたものを新しいテンプレートとする
手段と、サーチウィンドウ中の候補ブロック中の各画素
の総和から求めた平均値を前記候補ブロック中の各画素
から引いたものを新しい候補ブロックとする手段とを備
え、前記新しいテンプレートと前記新しい候補ブロック
を用いてディストーションの演算を行い、前記サーチウ
ィンドウ中の各新しい候補ブロックの内から最も小さい
ディストーションを持つものを、予測ブロックとするこ
とを特徴とする動きベクトル探索装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP28305194A JP2988836B2 (ja) | 1994-11-17 | 1994-11-17 | 動きベクトル探索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP28305194A JP2988836B2 (ja) | 1994-11-17 | 1994-11-17 | 動きベクトル探索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH08149472A true JPH08149472A (ja) | 1996-06-07 |
JP2988836B2 JP2988836B2 (ja) | 1999-12-13 |
Family
ID=17660573
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP28305194A Expired - Lifetime JP2988836B2 (ja) | 1994-11-17 | 1994-11-17 | 動きベクトル探索方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2988836B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007029640A1 (ja) * | 2005-09-09 | 2007-03-15 | Sony Corporation | 画像処理装置および方法、プログラム、並びに記録媒体 |
-
1994
- 1994-11-17 JP JP28305194A patent/JP2988836B2/ja not_active Expired - Lifetime
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007029640A1 (ja) * | 2005-09-09 | 2007-03-15 | Sony Corporation | 画像処理装置および方法、プログラム、並びに記録媒体 |
JP2007074592A (ja) * | 2005-09-09 | 2007-03-22 | Sony Corp | 画像処理装置および方法、プログラム、並びに記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP2988836B2 (ja) | 1999-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100482898B1 (ko) | 모션벡터를추정하는방법,장치및그장치를포함하는비디오디스플레이장치 | |
US5623313A (en) | Fractional pixel motion estimation of video signals | |
KR100203913B1 (ko) | 모션 벡터 생성기 | |
JP4724459B2 (ja) | 適応時間予測を用いた動きベクトル検出 | |
AU2011240486B2 (en) | Method for performing localized multihypothesis prediction during video coding of a coding unit, and associated apparatus | |
RU2117412C1 (ru) | Способ и устройство для сравнения сигнала изображения между соседними кадрами и оценки движения изображений | |
JP3089165B2 (ja) | 動きベクトル探索装置 | |
CN116233463A (zh) | 用于多参考预测的运动矢量修正 | |
US7321626B2 (en) | System and method for predictive motion estimation using a global motion predictor | |
JPH10285602A (ja) | 映像データをエンコードするための動的なスプライト | |
JP2000222587A (ja) | 直交変換―ドメインブロックマッチングを用いる動き推定 | |
CN112292861B (zh) | 用于解码端运动矢量修正的基于误差面的子像素精确修正方法 | |
Kappagantula et al. | Motion compensated predictive coding | |
JP2008502196A (ja) | グローバル動きベクトルの探索方法 | |
US6104439A (en) | Method and apparatus for motion estimation | |
JPH10322705A (ja) | 動き検出及び動き補償予測回路 | |
JP2988836B2 (ja) | 動きベクトル探索方法 | |
Kovačević et al. | Block-matching correlation motion estimation for frame-rate up-conversion | |
JP4250598B2 (ja) | 動き補償型ip変換処理装置及び動き補償型ip変換処理方法 | |
KR100810391B1 (ko) | 움직임 보간을 이용한 프레임 레이트 변환 방법 | |
KR0185940B1 (ko) | 미세한 움직임 추정 방법 및 그 장치 | |
JPH11243546A (ja) | 画像符号化装置及び方法 | |
JP3437381B2 (ja) | 動きベクトル検出装置 | |
JP2768644B2 (ja) | 動きベクトル探索方法および探索装置 | |
JP2596352B2 (ja) | 小数精度動きベクトル探索装置 |