JP2988836B2 - 動きベクトル探索方法 - Google Patents
動きベクトル探索方法Info
- Publication number
- JP2988836B2 JP2988836B2 JP28305194A JP28305194A JP2988836B2 JP 2988836 B2 JP2988836 B2 JP 2988836B2 JP 28305194 A JP28305194 A JP 28305194A JP 28305194 A JP28305194 A JP 28305194A JP 2988836 B2 JP2988836 B2 JP 2988836B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- pixel
- motion vector
- distortion
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Description
【０００１】
【産業上の利用分野】本発明は、ディジタル動画像の圧
縮における動き補償予測符号化装置に適用する動きベク
トル探索方法に関するものである。
縮における動き補償予測符号化装置に適用する動きベク
トル探索方法に関するものである。
【０００２】
【従来の技術】図９には、ディジタル動画像のデータ量
を圧縮するために用いるフレーム間予測の概念が示さ
れ、同図（ａ）には、前符号化画像Ａ（ｔ＝ｔ０）から
（ｃ）に示す現符号化画像Ｃ（ｔ＝ｔ１）を予測してい
る。前符号化画像Ａから現符号化画像Ｃを直接予測する
フレーム間予測と、動きベクトルを用いた前符号化画像
Ａの平行移動画像から現符号化画像Ｃを予測する動き補
償フレーム間予測がある。この動き補償予測では、同図
（ｂ）に示すように、破線で示した位置の前符号化画像
Ａから、実線で示した現符号化画像Ｃの位置を予測し動
きベクトルＭＶを得て、この動きベクトルＭＶを用いて
予測を行い、（ｃ）に示す現符号化画像Ｃを得ている。
この動き補償フレーム間予測を用いることによって、フ
レーム間予測のみに比べて一般にそのデータ量を大幅に
圧縮できる。
を圧縮するために用いるフレーム間予測の概念が示さ
れ、同図（ａ）には、前符号化画像Ａ（ｔ＝ｔ０）から
（ｃ）に示す現符号化画像Ｃ（ｔ＝ｔ１）を予測してい
る。前符号化画像Ａから現符号化画像Ｃを直接予測する
フレーム間予測と、動きベクトルを用いた前符号化画像
Ａの平行移動画像から現符号化画像Ｃを予測する動き補
償フレーム間予測がある。この動き補償予測では、同図
（ｂ）に示すように、破線で示した位置の前符号化画像
Ａから、実線で示した現符号化画像Ｃの位置を予測し動
きベクトルＭＶを得て、この動きベクトルＭＶを用いて
予測を行い、（ｃ）に示す現符号化画像Ｃを得ている。
この動き補償フレーム間予測を用いることによって、フ
レーム間予測のみに比べて一般にそのデータ量を大幅に
圧縮できる。
【０００３】動画像を圧縮して符号化する国際標準方式
であるITU-T H.261 のような動き補償予測符号化装置で
は、図１０のように入力される現画像Ｂを、まずブロッ
ク状に分割し、前符号化画像Ａ中からの最適な予測ブロ
ックＢＢに対し平行移動量を計算し、この移動量を動き
ベクトルＭＶとして符号化し、この動きベクトルＭＶで
示された位置にある前符号化画像Ａの予測ブロックＢＢ
と現画像Ｂの現符号化ブロックＢＰとの差分を符号化す
ることにより圧縮効率を高めている。図１０中の１はサ
ーチウィンドウ（Ｗ）、２は予測ブロック（ＢＢ）、３
は現符号化ブロック（ＢＰ）、４は動きベクトル（Ｍ
Ｖ）を表わす。
であるITU-T H.261 のような動き補償予測符号化装置で
は、図１０のように入力される現画像Ｂを、まずブロッ
ク状に分割し、前符号化画像Ａ中からの最適な予測ブロ
ックＢＢに対し平行移動量を計算し、この移動量を動き
ベクトルＭＶとして符号化し、この動きベクトルＭＶで
示された位置にある前符号化画像Ａの予測ブロックＢＢ
と現画像Ｂの現符号化ブロックＢＰとの差分を符号化す
ることにより圧縮効率を高めている。図１０中の１はサ
ーチウィンドウ（Ｗ）、２は予測ブロック（ＢＢ）、３
は現符号化ブロック（ＢＰ）、４は動きベクトル（Ｍ
Ｖ）を表わす。
【０００４】さらに、国際標準方式であるISO/IEC 1117
2-2 と暫定標準方式ISO/IEC 13818-2 （これ以降ＭＰＥ
Ｇと呼ぶ）では、上記方式に加えて、図１１に示すよう
に、前符号化画像Ａ（図１０）の整数画素ｂ０，０、ｂ
１，０、ｂ０，１、ｂ１，１から１／２画素Ｈｈ，Ｈ
ｄ，Ｈｖを得て１／２画素精度の画像を生成し、これに
対し動きベクトルＭＶを探索することにより、さらに予
測精度を高めている。すなわち、１／２画素精度の探索
は、図１１に示すように、サーチウィンドウＷ内の整数
画素ｂ０，０、ｂ１，０、ｂ０，１、ｂ１，１から水平
方向と垂直方向と対角方向に１／２画素Ｈｈ，Ｈｖ，Ｈ
ｄを生成し、この生成した１／２画素Ｈｈ，Ｈｖ，Ｈｄ
に対し、探索を行う。このため、整数画素ｂ０，０、ｂ
１，０、ｂ０，１、ｂ１，１のみの探索に比べて、４倍
の画素について探索を行わなければならない。
2-2 と暫定標準方式ISO/IEC 13818-2 （これ以降ＭＰＥ
Ｇと呼ぶ）では、上記方式に加えて、図１１に示すよう
に、前符号化画像Ａ（図１０）の整数画素ｂ０，０、ｂ
１，０、ｂ０，１、ｂ１，１から１／２画素Ｈｈ，Ｈ
ｄ，Ｈｖを得て１／２画素精度の画像を生成し、これに
対し動きベクトルＭＶを探索することにより、さらに予
測精度を高めている。すなわち、１／２画素精度の探索
は、図１１に示すように、サーチウィンドウＷ内の整数
画素ｂ０，０、ｂ１，０、ｂ０，１、ｂ１，１から水平
方向と垂直方向と対角方向に１／２画素Ｈｈ，Ｈｖ，Ｈ
ｄを生成し、この生成した１／２画素Ｈｈ，Ｈｖ，Ｈｄ
に対し、探索を行う。このため、整数画素ｂ０，０、ｂ
１，０、ｂ０，１、ｂ１，１のみの探索に比べて、４倍
の画素について探索を行わなければならない。
【０００５】この動きベクトルＭＶを検出する手法は、
多くの技術が存在するが、その中で最も一般的な方法
は、連続するフレーム間のある大きさの画素ブロック毎
の処理を基本としたものであり、ブロックマッチング法
と呼ばれている。
多くの技術が存在するが、その中で最も一般的な方法
は、連続するフレーム間のある大きさの画素ブロック毎
の処理を基本としたものであり、ブロックマッチング法
と呼ばれている。
【０００６】ブロックマッチング法では、図１０に示す
現画像Ｂにおける参照ブロック（現符号化ブロックＢ
Ｐ）は前符号化画像ＡのサーチウィンドウＷに囲まれた
領域に含まれる同じ大きさの候補ブロック（予測ブロッ
クＢＢ）との算術演算結果同士の算術的比較により探索
される。そのフレーム間の比較に使用する算術演算結果
は、ディストーションと呼ばれ、２つのブロックの類似
性の単位として使用される。最も小さいディストーショ
ン値を持つ候補ブロックＢＢは、最良のマッチングを示
すものであり、それを参照ブロックＢＰと関連づける動
きベクトルＭＶとにより、動き予測を行う。探索するサ
ーチウィンドウＷ内に含まれる可能な全てのブロックが
参照ブロックＢＰと逐次比較されるとき、このプロセス
は全点探索法（フル・サーチ・ブロック・マッチング
法）と呼ばれる。
現画像Ｂにおける参照ブロック（現符号化ブロックＢ
Ｐ）は前符号化画像ＡのサーチウィンドウＷに囲まれた
領域に含まれる同じ大きさの候補ブロック（予測ブロッ
クＢＢ）との算術演算結果同士の算術的比較により探索
される。そのフレーム間の比較に使用する算術演算結果
は、ディストーションと呼ばれ、２つのブロックの類似
性の単位として使用される。最も小さいディストーショ
ン値を持つ候補ブロックＢＢは、最良のマッチングを示
すものであり、それを参照ブロックＢＰと関連づける動
きベクトルＭＶとにより、動き予測を行う。探索するサ
ーチウィンドウＷ内に含まれる可能な全てのブロックが
参照ブロックＢＰと逐次比較されるとき、このプロセス
は全点探索法（フル・サーチ・ブロック・マッチング
法）と呼ばれる。
【０００７】図１２には、ブロック・マッチング法にお
けるブロックの関係が示されている。図１２（ａ）は、
探索領域Ｅ（ｘ；０〜Ｋ−Ｍ，ｙ；０〜Ｈ−Ｎ）に対す
るサーチウィンドウＷ（ｘ；０〜Ｋ−１，ｙ；０〜Ｈ−
１）と現符号化ブロックＢＰ（水平サイズ；Ｍ，垂直サ
イズ；Ｎ）の関係が示され、同図（ｂ）には、サーチウ
ィンドウＷ内の候補ブロックＢＢの画素の位置と現符号
化ブロックＢＰの画素の位置の関係が示されている。
けるブロックの関係が示されている。図１２（ａ）は、
探索領域Ｅ（ｘ；０〜Ｋ−Ｍ，ｙ；０〜Ｈ−Ｎ）に対す
るサーチウィンドウＷ（ｘ；０〜Ｋ−１，ｙ；０〜Ｈ−
１）と現符号化ブロックＢＰ（水平サイズ；Ｍ，垂直サ
イズ；Ｎ）の関係が示され、同図（ｂ）には、サーチウ
ィンドウＷ内の候補ブロックＢＢの画素の位置と現符号
化ブロックＢＰの画素の位置の関係が示されている。
【０００８】図１２（ｂ）では、現符号化ブロックＢＰ
と、サーチウィンドウＷ内に破線で示す候補ブロックＢ
Ｂのブロック間累積誤差値であるディストーションＤ
（ｋ，ｈ）は、下記のように表される。
と、サーチウィンドウＷ内に破線で示す候補ブロックＢ
Ｂのブロック間累積誤差値であるディストーションＤ
（ｋ，ｈ）は、下記のように表される。
【０００９】
【数１】 だだし、ａ，ｂはそれぞれＢＰ、ＢＢ内の画素値であ
り、最初のΣはｍ＝０からＭ−１までの加算を表し、次
のΣはｎ＝０からＮ−１までの加算を表している。‖‖
は、ディストーションを演算するためのノルム演算を示
しており、ｄ（ｋ，ｈ）は画素差分を示している。この
ノルム演算の内、絶対値演算と２乗演算が最も一般的に
使用される。その中で誤差絶対値和は、その計算の複雑
さと効率の点で、良いトレードオフを提供するから最も
頻繁に用いられる。
り、最初のΣはｍ＝０からＭ−１までの加算を表し、次
のΣはｎ＝０からＮ−１までの加算を表している。‖‖
は、ディストーションを演算するためのノルム演算を示
しており、ｄ（ｋ，ｈ）は画素差分を示している。この
ノルム演算の内、絶対値演算と２乗演算が最も一般的に
使用される。その中で誤差絶対値和は、その計算の複雑
さと効率の点で、良いトレードオフを提供するから最も
頻繁に用いられる。
【００１０】全点探索法の場合、このディストーション
を探索領域Ｅ（ｘ；０〜Ｋ−Ｍ．ｙ；０〜Ｈ−Ｎ）の全
ての点で算出し、その中から一番小さい値を持つ点をそ
の動きベクトルＭＶとする。
を探索領域Ｅ（ｘ；０〜Ｋ−Ｍ．ｙ；０〜Ｈ−Ｎ）の全
ての点で算出し、その中から一番小さい値を持つ点をそ
の動きベクトルＭＶとする。
【００１１】また、１／２画素精度の探索は、図１１に
示すように、サーチウィンドウＷ内の整数画素ｂ０，
０、ｂ１，０、ｂ０，１、ｂ１，１から水平方向と垂直
方向と対角方向に１／２画素Ｈｈ，Ｈｖ，Ｈｄを生成
し、この生成した１／２画素Ｈｈ，Ｈｖ，Ｈｄに対し、
探索を行う。このため、整数画素ｂ０，０、ｂ１，０、
ｂ０，１、ｂ１，１のみの探索に比べて、４倍の画素に
ついて探索を行わなければならないことは前述したとお
りである。
示すように、サーチウィンドウＷ内の整数画素ｂ０，
０、ｂ１，０、ｂ０，１、ｂ１，１から水平方向と垂直
方向と対角方向に１／２画素Ｈｈ，Ｈｖ，Ｈｄを生成
し、この生成した１／２画素Ｈｈ，Ｈｖ，Ｈｄに対し、
探索を行う。このため、整数画素ｂ０，０、ｂ１，０、
ｂ０，１、ｂ１，１のみの探索に比べて、４倍の画素に
ついて探索を行わなければならないことは前述したとお
りである。
【００１２】図１３は、式（１）のディストーション演
算を実行する従来の演算器の例である。本従来例では、
ディストーションを算出するためのノルム演算に絶対値
演算を使用している。
算を実行する従来の演算器の例である。本従来例では、
ディストーションを算出するためのノルム演算に絶対値
演算を使用している。
【００１３】図１３の演算器を、後述する図５のシスト
リックアレー構造の並列処理型動きベクトル探索装置中
の図６に示すプロセッサエレメント部分のディストーシ
ョン算出部（ＤＩＳ）を置き換えることで動きベクトル
の並列処理が可能となる。
リックアレー構造の並列処理型動きベクトル探索装置中
の図６に示すプロセッサエレメント部分のディストーシ
ョン算出部（ＤＩＳ）を置き換えることで動きベクトル
の並列処理が可能となる。
【００１４】
【発明が解決しようとする課題】ブロックマッチング法
における従来のノルム演算を使用したディストーション
算出法による動きベクトル探索手法では、ＤＣ成分の変
動を持つフェードインやフェードアウトなどの編集処理
画像や照明とカメラのスキャンの関係によるフリッカを
持つ画像について、正確な動きベクトルが算出できなか
った。
における従来のノルム演算を使用したディストーション
算出法による動きベクトル探索手法では、ＤＣ成分の変
動を持つフェードインやフェードアウトなどの編集処理
画像や照明とカメラのスキャンの関係によるフリッカを
持つ画像について、正確な動きベクトルが算出できなか
った。
【００１５】本発明の目的は、処理の迅速化と簡易な構
成によって、フェードインやフェードアウト画像やフリ
ッカを有する画像であっても、正確な動きベクトルを算
出することができる動きベクトル探索方法を提供するこ
とにある。
成によって、フェードインやフェードアウト画像やフリ
ッカを有する画像であっても、正確な動きベクトルを算
出することができる動きベクトル探索方法を提供するこ
とにある。
【００１６】
【００１７】
【課題を解決するための手段】 本発明にかかる動きベク
トル探索方法は、 テンプレートと候補ブロックの各画素
毎の差分値の平均値（ＤＣ成分）を求め、テンプレート
と候補ブロックの各画素毎の差分値からこの平均値（Ｄ
Ｃ成分）を引くことにより、ディストーションを求める
ものである。
トル探索方法は、 テンプレートと候補ブロックの各画素
毎の差分値の平均値（ＤＣ成分）を求め、テンプレート
と候補ブロックの各画素毎の差分値からこの平均値（Ｄ
Ｃ成分）を引くことにより、ディストーションを求める
ものである。
【００１８】さらに、各画素毎の差分値を算出する減算
器と、ブロックマッチングで使用される減算器を共有使
用し、さらに、各画素毎の差分値のＤＣ成分を算出する
ための累算器とブロックマッチング中でディストーショ
ンを算出するための累算器を共有使用するものである。
器と、ブロックマッチングで使用される減算器を共有使
用し、さらに、各画素毎の差分値のＤＣ成分を算出する
ための累算器とブロックマッチング中でディストーショ
ンを算出するための累算器を共有使用するものである。
【００１９】
【００２０】
【作用】 本発明の動きベクトル探索方法においては、 テ
ンプレートブロックと候補ブロックの各画素毎の差分値
のＤＣ成分を求め、テンプレートブロックと候補ブロッ
クの各画素毎の差分値からこのＤＣ成分を引くことによ
り、ディストーションを求める。
ンプレートブロックと候補ブロックの各画素毎の差分値
のＤＣ成分を求め、テンプレートブロックと候補ブロッ
クの各画素毎の差分値からこのＤＣ成分を引くことによ
り、ディストーションを求める。
【００２１】さらに、各画素毎の差分値を算出する減算
器と、ブロックマッチングで使用される減算器を共有使
用すること、各画素毎の差分値のＤＣ成分を算出するた
めの累算器とブロックマッチング中でディストーション
を算出するための累算器を共有使用することにより、動
きベクトル算出のためのブロックマッチング演算を行う
ことで、一層の回路構成の簡略化が可能となった。
器と、ブロックマッチングで使用される減算器を共有使
用すること、各画素毎の差分値のＤＣ成分を算出するた
めの累算器とブロックマッチング中でディストーション
を算出するための累算器を共有使用することにより、動
きベクトル算出のためのブロックマッチング演算を行う
ことで、一層の回路構成の簡略化が可能となった。
【００２２】
【実施例】まず、本発明の原理について説明する。
【００２３】ブロック中のＤＣ成分は、ブロック中の各
画素の平均をとることにより得られる。すなわち、テン
プレートブロック中の画素をａ（ｍ，ｎ）とし、サーチ
ウィンドウ内の候補ブロック中の画素をｂ（ｋ＋ｍ，ｈ
＋ｎ）とすると、ブロック中のＤＣ成分ＡおよびＢは式
（２），（３）のように求められる。
画素の平均をとることにより得られる。すなわち、テン
プレートブロック中の画素をａ（ｍ，ｎ）とし、サーチ
ウィンドウ内の候補ブロック中の画素をｂ（ｋ＋ｍ，ｈ
＋ｎ）とすると、ブロック中のＤＣ成分ＡおよびＢは式
（２），（３）のように求められる。
【００２４】
【数２】
【００２５】
【数３】 ただし、最初のΣはｍ＝０からＭ−１までの加算を表
し、次のΣはｎ＝０からＮ−１までの加算を表してい
る。
し、次のΣはｎ＝０からＮ−１までの加算を表してい
る。
【００２６】このテンプレート中の各画素からＤＣ成分
Ａを引いた画素から成る新しいテンプレートブロック
と、候補ブロック中の各画素からＤＣ成分Ｂを引いた画
素から成る新しい候補ブロックとのディストーションＤ
（ｋ，ｈ）は、式（４）のように求められる。
Ａを引いた画素から成る新しいテンプレートブロック
と、候補ブロック中の各画素からＤＣ成分Ｂを引いた画
素から成る新しい候補ブロックとのディストーションＤ
（ｋ，ｈ）は、式（４）のように求められる。
【００２７】
【数４】 ここで、各ブロックのＤＣ成分の差分Ｂ−Ａは式（５）
のように求められる。
のように求められる。
【００２８】
【数５】 従って、テンプレート内の各画素から、相当する候補ブ
ロック中の各画素を引いた差分値から成るブロックのＤ
Ｃ成分を求め、差分値から成るブロック中の各画素の差
分値からこのＤＣ成分を引いた値に対し、絶対値演算や
２乗演算から成るノルム演算を行いディストーションを
求めることで、ＤＣ成分の算出のための累算とおよびブ
ロック中の各画素毎のＤＣ成分の引き算の回数を減らす
ことが可能と成る。
ロック中の各画素を引いた差分値から成るブロックのＤ
Ｃ成分を求め、差分値から成るブロック中の各画素の差
分値からこのＤＣ成分を引いた値に対し、絶対値演算や
２乗演算から成るノルム演算を行いディストーションを
求めることで、ＤＣ成分の算出のための累算とおよびブ
ロック中の各画素毎のＤＣ成分の引き算の回数を減らす
ことが可能と成る。
【００２９】図１は、本発明の基本構成を示すブロック
図である。ここでは、テンプレートおよびサーチウィン
ドウ内の候補ブロックの各々ＤＣ成分を算出し、各ブロ
ック内の各画素から求まったＤＣ成分を引き、ディスト
ーション演算を行っている。
図である。ここでは、テンプレートおよびサーチウィン
ドウ内の候補ブロックの各々ＤＣ成分を算出し、各ブロ
ック内の各画素から求まったＤＣ成分を引き、ディスト
ーション演算を行っている。
【００３０】まず、初期化信号ＩＮＩＴにより、各ラッ
チ１０３，１０４，１１９は０に初期化される。次に、
破線で囲まれたＩのブロックでは、テンプレート内の画
素ａ（ｍ，ｎ）が、加算器１０１に入力され、ラッチ１
０３の出力と加算され、ラッチ１０３に再入力されるこ
とにより累算が行われる。テンプレート内の全画素が入
力され、ラッチ１０３に全画素値の合計が求められる。
次に、割算器１０５により前画素値の合計がテンプレー
ト内の総数で割られ平均値（ＤＣ値）が求められる。こ
こでテンプレートサイズを２の累乗に選ぶことにより割
算器１０５はシフト演算で行うことが可能となる。次
に、遅延器１０７によりテンプレート内の画素数分遅延
を受けたテンプレート内の画素値と、このＤＣ値の間で
減算が行われる。ここでは、ＤＣ値を２の補数に変換す
ることにより加算器１１１で実現している。
チ１０３，１０４，１１９は０に初期化される。次に、
破線で囲まれたＩのブロックでは、テンプレート内の画
素ａ（ｍ，ｎ）が、加算器１０１に入力され、ラッチ１
０３の出力と加算され、ラッチ１０３に再入力されるこ
とにより累算が行われる。テンプレート内の全画素が入
力され、ラッチ１０３に全画素値の合計が求められる。
次に、割算器１０５により前画素値の合計がテンプレー
ト内の総数で割られ平均値（ＤＣ値）が求められる。こ
こでテンプレートサイズを２の累乗に選ぶことにより割
算器１０５はシフト演算で行うことが可能となる。次
に、遅延器１０７によりテンプレート内の画素数分遅延
を受けたテンプレート内の画素値と、このＤＣ値の間で
減算が行われる。ここでは、ＤＣ値を２の補数に変換す
ることにより加算器１１１で実現している。
【００３１】上記テンプレートのＤＣ成分の除去動作と
同様な動作がサーチウィンドウ内の候補ブロックにおい
ても破線で囲まれたＩＩのブロックで同時に行われる。
同様な動作がサーチウィンドウ内の候補ブロックにおい
ても破線で囲まれたＩＩのブロックで同時に行われる。
【００３２】さて、上記動作によってそれぞれＤＣ成分
を除去されたテンプレートデータ及びサーチウィンドウ
中の候補ブロックデータは、次の加算器１１４により２
の補数演算を使った減算が行われ、インバータ１１５，
１１７とセレクタ１１６により絶対値に変換され、次の
加算器１１８とラッチ１１９により累算が行われディス
トーションが求められる。
を除去されたテンプレートデータ及びサーチウィンドウ
中の候補ブロックデータは、次の加算器１１４により２
の補数演算を使った減算が行われ、インバータ１１５，
１１７とセレクタ１１６により絶対値に変換され、次の
加算器１１８とラッチ１１９により累算が行われディス
トーションが求められる。
【００３３】図２は、本発明の実施例である。本実施例
では、式（４）および式（５）のように、まずテンプレ
ートブロックと候補ブロックの各画素差分を算出し、そ
れから画素差分のＤＣ成分を算出し、その後、画素差分
からＤＣ成分を引いたものについて、ノルム演算を行っ
てディストーションを算出している。
では、式（４）および式（５）のように、まずテンプレ
ートブロックと候補ブロックの各画素差分を算出し、そ
れから画素差分のＤＣ成分を算出し、その後、画素差分
からＤＣ成分を引いたものについて、ノルム演算を行っ
てディストーションを算出している。
【００３４】その動作は、加算器２０２とインバータ２
０１により２の補数演算を使用したテンプレート内の画
素と、これに対応するサーチウィンドウ内の候補ブロッ
ク内の画素との差分が求められ、次の加算器２０３とラ
ッチ２０４により画素差分の累算が行われ、ブロック内
の全画素が入力されるとラッチ２０４に画素差分の総和
が求められる。次に、除算器２０５により総和に対し、
ブロック内の総画素数で割ることにより画素差分の平均
値（ＤＣ成分）が求められる。
０１により２の補数演算を使用したテンプレート内の画
素と、これに対応するサーチウィンドウ内の候補ブロッ
ク内の画素との差分が求められ、次の加算器２０３とラ
ッチ２０４により画素差分の累算が行われ、ブロック内
の全画素が入力されるとラッチ２０４に画素差分の総和
が求められる。次に、除算器２０５により総和に対し、
ブロック内の総画素数で割ることにより画素差分の平均
値（ＤＣ成分）が求められる。
【００３５】次に、遅延器２０６により、ブロック内の
総画素数分遅延された画素差分から上記動作により求め
られたＤＣ成分がインバータ２０７と加算器２０８によ
り２の補数での減算が行われ、セレクタ２１０、インバ
ータ２０９，２１１により絶対値に変換され、加算器２
１２とラッチ２１３により画素差分値からＤＣ成分を除
去した値の累算が行われ、全画素差分が入力されること
によりラッチ２１３にディストーションが求められる。
総画素数分遅延された画素差分から上記動作により求め
られたＤＣ成分がインバータ２０７と加算器２０８によ
り２の補数での減算が行われ、セレクタ２１０、インバ
ータ２０９，２１１により絶対値に変換され、加算器２
１２とラッチ２１３により画素差分値からＤＣ成分を除
去した値の累算が行われ、全画素差分が入力されること
によりラッチ２１３にディストーションが求められる。
【００３６】図３は、本発明の別の実施例である。図４
は図３の実施例の動作を説明するためのタイミングチャ
ートである。本実施例では、図２の実施例の画素差分を
算出する減算器（インバータ２０１と加算器２０２）と
画素差分からＤＣ成分を引くための減算器（インバータ
２０７と加算器２０８）を、図３ではセレクタ３０３，
３０４により減算器（インバータ３０５と加算器３０
６）を時分割使用している。また、ＤＣ成分を算出する
ための図２の累算器（加算器２０３とラッチ２０４）と
ディストーションを算出するための累算器（加算器２１
２とラッチ２１３）を、図３では累算器（加算器３１１
とラッチ３１２）を時分割使用することにより実現して
いる。
は図３の実施例の動作を説明するためのタイミングチャ
ートである。本実施例では、図２の実施例の画素差分を
算出する減算器（インバータ２０１と加算器２０２）と
画素差分からＤＣ成分を引くための減算器（インバータ
２０７と加算器２０８）を、図３ではセレクタ３０３，
３０４により減算器（インバータ３０５と加算器３０
６）を時分割使用している。また、ＤＣ成分を算出する
ための図２の累算器（加算器２０３とラッチ２０４）と
ディストーションを算出するための累算器（加算器２１
２とラッチ２１３）を、図３では累算器（加算器３１１
とラッチ３１２）を時分割使用することにより実現して
いる。
【００３７】図５は、基本構成及び本実施例を使用した
並列処理法の動きベクトル探索装置の一実施例である。
並列処理法の動きベクトル探索装置の一実施例である。
【００３８】図５において、ＭＶＤは動きベクトル検出
部、ＴＩＭはタイミング制御部、ＩＲは入力レジスタ、
ＳＲはサイドレジスタ、ＰＥはプロセッサエレメント
（演算部）、Ｒは現符号化ブロック入力線、Ｓ０，Ｓ１
はサーチウィンドウデータ入力線を示す。
部、ＴＩＭはタイミング制御部、ＩＲは入力レジスタ、
ＳＲはサイドレジスタ、ＰＥはプロセッサエレメント
（演算部）、Ｒは現符号化ブロック入力線、Ｓ０，Ｓ１
はサーチウィンドウデータ入力線を示す。
【００３９】その動作は、図８で示されたテンプレート
とサーチウィンドウデータ入力に対し、図７で示される
タイミング信号に従って、動きベクトルが求められる。
とサーチウィンドウデータ入力に対し、図７で示される
タイミング信号に従って、動きベクトルが求められる。
【００４０】すなわち、サーチウィンドウデータ入力線
Ｓ０，Ｓ１より入力レジスタＩＲに入力されたサーチウ
ィンドウデータは上方向へ現符号化ブロックデータの垂
直方向サイズＮに対しＮ−１クロックシフトされ、次
に、左方向へ１クロックシフトされ、次に、下方向へＮ
−１クロックシフトされ、次に、また１クロック左方向
へシフトされ、以下、上記動作が繰り返される。このサ
ーチウィンドウデータのシフトに合わせて現符号化ブロ
ックデータ入力線Ｒにより現符号化ブロックデータが入
力され各プロセッサエレメント（演算部）ＰＥに探索領
域Ｅの位置に対応したディストーションが算出され、こ
のディストーションは左方向にシフトされながら動きベ
クトル検出部ＭＶＤで比較され、最小値をもつものを動
きベクトルとする。
Ｓ０，Ｓ１より入力レジスタＩＲに入力されたサーチウ
ィンドウデータは上方向へ現符号化ブロックデータの垂
直方向サイズＮに対しＮ−１クロックシフトされ、次
に、左方向へ１クロックシフトされ、次に、下方向へＮ
−１クロックシフトされ、次に、また１クロック左方向
へシフトされ、以下、上記動作が繰り返される。このサ
ーチウィンドウデータのシフトに合わせて現符号化ブロ
ックデータ入力線Ｒにより現符号化ブロックデータが入
力され各プロセッサエレメント（演算部）ＰＥに探索領
域Ｅの位置に対応したディストーションが算出され、こ
のディストーションは左方向にシフトされながら動きベ
クトル検出部ＭＶＤで比較され、最小値をもつものを動
きベクトルとする。
【００４１】図６は、図５の実施例中のプロセッサエレ
メント部（ＰＥ）の詳細を示したものである。各プロセ
ッサエレメント（ＰＥ）部のディストーション算出部
（ＤＩＳ）に図１，２，３の実施例を用いることで、図
８に示すサーチウィンドウの動きベクトルを同時に探索
することが可能となる。
メント部（ＰＥ）の詳細を示したものである。各プロセ
ッサエレメント（ＰＥ）部のディストーション算出部
（ＤＩＳ）に図１，２，３の実施例を用いることで、図
８に示すサーチウィンドウの動きベクトルを同時に探索
することが可能となる。
【００４２】次に、図２のプロセッサエレメントを図６
のディストーション算出部に適用した例について説明す
る。
のディストーション算出部に適用した例について説明す
る。
【００４３】その動作は、３入力セレクタＳＥＬ２によ
り、サーチウィンドウデータのシフト方向，上，下，左
方向（図５における方向）が選択される。このサーチウ
ィンドウデータはセレクタＳＥＬ２とＤフリップフロッ
プＤ２を介しディストーション算出部ＤＩＳの入力ｂ
（ｍ＋ｋ，ｎ＋ｈ）に入力され、端子Ｘより入力される
現符号化ブロックデータと差分がとられる。この差分値
データは平均値算出部（加算器２０３，ラッチ２０４お
よび除算器２０５）によりＤＣ値が算出される。遅延器
２０６よりテンプレート内の画素数分遅延されたこの画
素差分値データとこのＤＣ値は、次のディストーション
算出部によりＤＣ成分が除去された差分値データの累算
が行われ、ディストーションが得られる。この求められ
たディストーションは２入力セレクタＳＥＬ１によりＤ
フリップフロップＤ１に転送され、出力端子Ｄｏにより
動きベクトル検出部ＭＶＤに順次転送される。
り、サーチウィンドウデータのシフト方向，上，下，左
方向（図５における方向）が選択される。このサーチウ
ィンドウデータはセレクタＳＥＬ２とＤフリップフロッ
プＤ２を介しディストーション算出部ＤＩＳの入力ｂ
（ｍ＋ｋ，ｎ＋ｈ）に入力され、端子Ｘより入力される
現符号化ブロックデータと差分がとられる。この差分値
データは平均値算出部（加算器２０３，ラッチ２０４お
よび除算器２０５）によりＤＣ値が算出される。遅延器
２０６よりテンプレート内の画素数分遅延されたこの画
素差分値データとこのＤＣ値は、次のディストーション
算出部によりＤＣ成分が除去された差分値データの累算
が行われ、ディストーションが得られる。この求められ
たディストーションは２入力セレクタＳＥＬ１によりＤ
フリップフロップＤ１に転送され、出力端子Ｄｏにより
動きベクトル検出部ＭＶＤに順次転送される。
【００４４】
【００４５】
【発明の効果】 本発明にかかる動きベクトル探索方法
は、 ブロック内のＤＣ成分を除去してブロックマッチン
グを行うときに、各ブロックのＤＣ成分を求めることな
く、ブロックの画素毎の差分値のＤＣ成分を求め、各画
素毎の差分値からこのＤＣ成分を引くことによりブロッ
クマッチングを行うので、回路の簡素化が可能である。
は、 ブロック内のＤＣ成分を除去してブロックマッチン
グを行うときに、各ブロックのＤＣ成分を求めることな
く、ブロックの画素毎の差分値のＤＣ成分を求め、各画
素毎の差分値からこのＤＣ成分を引くことによりブロッ
クマッチングを行うので、回路の簡素化が可能である。
【００４６】さらに、テンプレートブロックと候補ブロ
ックとの画素差分値を演算する減算器とＤＣ成分を減算
した後の画素差分値を演算する減算器を共有したこと、
テンプレートブロックと候補ブロックの各画素差分値の
ＤＣ成分を求める演算器とディストーションを求める演
算器を共有したことにより、一層の回路の簡素化が可能
である。
ックとの画素差分値を演算する減算器とＤＣ成分を減算
した後の画素差分値を演算する減算器を共有したこと、
テンプレートブロックと候補ブロックの各画素差分値の
ＤＣ成分を求める演算器とディストーションを求める演
算器を共有したことにより、一層の回路の簡素化が可能
である。
【００４７】また、本演算部をシストリックアレー中の
演算部としてそのまま利用することが可能で、並列処理
により一層の高速処理が可能である。
演算部としてそのまま利用することが可能で、並列処理
により一層の高速処理が可能である。
【図１】本発明の基本構成に用いる装置の構成を示すブ
ロック図である。
ロック図である。
【図２】本発明の実施例に用いる装置の構成を示すブロ
ック図である。
ック図である。
【図３】本発明の別の実施例に用いる装置の構成を示す
ブロック図である。
ブロック図である。
【図４】図３の装置の動作説明のためのタイミングチャ
ートである。
ートである。
【図５】基本構成及び本発明を使用した並列処理法の動
きベクトル探索装置の一実施例を示すブロック図であ
る。
きベクトル探索装置の一実施例を示すブロック図であ
る。
【図６】図５の装置中のプロセッサエレメントの構成を
示す図である。
示す図である。
【図７】図５の装置の動作説明のためのタイミングチャ
ートである。
ートである。
【図８】符号化ブロック（テンプレート）とサーチウィ
ンドウと予測ブロックの関係を示したものである。
ンドウと予測ブロックの関係を示したものである。
【図９】フレーム間予測符号化の原理を示したものであ
る。
る。
【図１０】ディストーションの算出方法について説明す
るための図である。
るための図である。
【図１１】探索領域内の整数画素と１／２画素との関係
を示す図である。
を示す図である。
【図１２】ブロックマッチング法におけるブロックの関
係を説明するための図である。
係を説明するための図である。
【図１３】ディストーション演算を実行する従来の演算
器の構成例を示すブロック図である。
器の構成例を示すブロック図である。
ＡＤＤ 加算器 ＬＡＴ ラッチ ＤＩＶ 除算器 ＳＥＬ セレクタ ＤＬＹ 遅延器 ＰＥ プロセッサエレメント ＳＲ サイドレジスタ ＩＲ 入力レジスタ ＤＩＳ ディストーション算出部 ＴＩＭ タイミング制御部 ＭＶＤ 動きベクトル検出部
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平２−5689（ＪＰ，Ａ) 特開 平５−292489（ＪＰ，Ａ) 特開 平６−178284（ＪＰ，Ａ) 特開 平８−65684（ＪＰ，Ａ) (58)調査した分野(Int.Cl.6，ＤＢ名) H04N 7/24 - 7/68
Claims (2)
- 【請求項１】 現符号化フレーム内のブロックをテンプ
レートとし前符号化フレーム内の候補ブロックとの間の
ディストーションを求めるブロックマッチング法を使用
する動きベクトル探索方法において、テンプレートと各
候補ブロックの各画素毎の差分値の平均値（ＤＣ成分）
を求め、テンプレートと各候補ブロックの各画素毎の差
分値からこの平均値（ＤＣ成分）を引くことにより、デ
ィストーションを求め、各候補ブロックの内から最も小
さいディストーションを持つものを、予測ブロックとす
ることを特徴とする動きベクトル探索方法。 - 【請求項２】 各画素毎の差分値を算出する減算器と、
ブロックマッチングで使用される減算器を共有使用し、
さらに、各画素毎の差分値のＤＣ成分を算出するための
累算器とブロックマッチング中でディストーションを算
出するための累算器を共有使用することを特徴とする請
求項１に記載の動きベクトル探索方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28305194A JP2988836B2 (ja) | 1994-11-17 | 1994-11-17 | 動きベクトル探索方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28305194A JP2988836B2 (ja) | 1994-11-17 | 1994-11-17 | 動きベクトル探索方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08149472A JPH08149472A (ja) | 1996-06-07 |
| JP2988836B2 true JP2988836B2 (ja) | 1999-12-13 |
Family
ID=17660573
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28305194A Expired - Lifetime JP2988836B2 (ja) | 1994-11-17 | 1994-11-17 | 動きベクトル探索方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2988836B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007074592A (ja) * | 2005-09-09 | 2007-03-22 | Sony Corp | 画像処理装置および方法、プログラム、並びに記録媒体 |
-
1994
- 1994-11-17 JP JP28305194A patent/JP2988836B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08149472A (ja) | 1996-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3089165B2 (ja) | 動きベクトル探索装置 | |
| RU2117412C1 (ru) | Способ и устройство для сравнения сигнала изображения между соседними кадрами и оценки движения изображений | |
| US7408988B2 (en) | Motion estimation engine with parallel interpolation and search hardware | |
| JPH10285602A (ja) | 映像データをエンコードするための動的なスプライト | |
| KR100657261B1 (ko) | 적응적 움직임 보상 보간 방법 및 장치 | |
| JPS62213392A (ja) | フイ−ルド補間方法 | |
| US6690728B1 (en) | Methods and apparatus for motion estimation in compressed domain | |
| Kappagantula et al. | Motion compensated predictive coding | |
| US6925124B2 (en) | Unit for and method of motion estimation and image processing apparatus provided with such motion estimation unit | |
| JP2005505841A (ja) | 動き推定のための装置及び方法 | |
| US20080144716A1 (en) | Method For Motion Vector Determination | |
| JP2988836B2 (ja) | 動きベクトル探索方法 | |
| JP2003085566A (ja) | 対応点探索方法及びこれを用いたマッチング装置 | |
| Kovačević et al. | Block-matching correlation motion estimation for frame-rate up-conversion | |
| US6088397A (en) | Method of estimation of motion between images | |
| KR100810391B1 (ko) | 움직임 보간을 이용한 프레임 레이트 변환 방법 | |
| JPH0888855A (ja) | 動きベクトル検出方法及び装置 | |
| JP2001025021A (ja) | 動き検出方法および動き検出装置 | |
| US20090324115A1 (en) | Converting the frame rate of video streams | |
| JPH0540828A (ja) | ブロツクマツチング探索方式 | |
| JPH11243546A (ja) | 画像符号化装置及び方法 | |
| JP3171249B2 (ja) | 動画像符号化の動きベクトル探索方法 | |
| JP2866321B2 (ja) | 動きベクトル探索方法および装置 | |
| JP2872105B2 (ja) | ディストーション算出装置 | |
| JP2963369B2 (ja) | 動きベクトル探索装置 |