JP3636216B2 - 動きベクトル検索方法、及び映像信号符号化方法 - Google Patents
動きベクトル検索方法、及び映像信号符号化方法 Download PDFInfo
- Publication number
- JP3636216B2 JP3636216B2 JP28966894A JP28966894A JP3636216B2 JP 3636216 B2 JP3636216 B2 JP 3636216B2 JP 28966894 A JP28966894 A JP 28966894A JP 28966894 A JP28966894 A JP 28966894A JP 3636216 B2 JP3636216 B2 JP 3636216B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- circuit
- input
- vector
- distortion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、映像信号を符号化する動き補償画像間予測符号化方法に関し、特に、動きを検出する動きベクトル探索方法に関する。
【０００２】
【従来の技術】
図８は、例えば、ISO-IEC/JTC1/SC29/WG11 MPEG 92/N0245 Test Model 2 に示された従来の映像信号符号化方式を示すブロック図である。図において、入力端子１から入力されたディジタル化された映像信号１０１は、減算器１０の第１の入力、動き補償予測回路１７ａの第１の入力、および量子化回路１２の第２の入力に与えられる。減算器１０の出力は、ＤＣＴ回路１１を介して量子化回路１２の第１の入力に与えられる。量子化回路１２の出力１０８は、可変長符号化回路１９ａの第１の入力に与えられるとともに、逆量子化回路１３およびＩＤＣＴ回路１４を介して加算器１５の第１の入力に与えられる。
【０００３】
加算器１５の出力は、メモリ回路１６の第１の入力に与えられ、メモリ回路１６の出力１０２は、動き補償予測回路１７ａの第２の入力および切り替え回路１８の第１の入力に与えられる。メモリ回路１６の第２の入力には、動き補償予測回路１７ａの第１の出力１０５が与えられる。切り替え回路１８の第２の入力には、ゼロ信号が与えられ、切り替え回路１８の第３の入力には、動き補償予測回路１７ａの第２の出力１０４が与えられる。切り替え回路１８の出力１０３は、減算器１０の第２の入力および加算器１５の第２の入力に与えられる。
【０００４】
一方、動き補償予測回路１７ａの第３の出力１０６は、可変長符号化回路１９ａの第２の入力に与えられる。可変長符号化回路１９ａの出力は送信バッファ２０に入力され、送信バッファ２０の第１の出力は出力端子２より出力される。送信バッファ２０の第２の出力１０７は、量子化回路１２の第３の入力に与えられる。
【０００５】
図９は動き補償予測方式の概念図である。
【０００６】
図１０は、例えば、ISO-IEC/JTC1/SC29/WG11 MPEG 92/N0245 Test Model 2 に示された従来の映像信号符号化方式における動き補償予測回路１７ａの一例を示すブロック図である。図において、入力端子１から入力されたディジタル映像信号１０１は動きベクトル探索回路３ａの第１の入力に与えられ、メモリ回路１６から出力された参照画像１０２は、動きベクトル探索回路３ａの第２の入力に与えられる。
【０００７】
動きベクトル探索回路３ａから出力される動きベクトル４０３は、切り替え回路４ａの第１の入力に与えられる。切り替え回路４ａの第２の入力には０ベクトルが与えられる。一方、動きベクトル探索回路３ａから出力される予測画像４０４は、歪算出回路５ａの第１の入力に与えられる。歪算出回路５ａの第２の入力には、入力端子１から入力された映像信号１０１が与えられる。歪算出回路５ａから出力される歪４０５は、比較選択回路６ａの第１の入力に与えられる。
【０００８】
一方、入力端子１から入力された映像信号１０１は、歪算出回路５ｂの第１の入力にも与えられ、メモリ回路１６から出力された参照画像１０２は、歪算出回路５ｂの第２の入力にも与えられる。歪算出回路５ｂから出力される歪４０６は、比較選択回路６ａの第２の入力に与えられる。比較選択回路６ａから出力される選択モード４０７は、比較選択回路６ｂの第１の入力に与えられ、比較選択回路６ａから出力される歪４０８は、比較選択回路６ｂの第２の入力に与えられる。また、比較選択回路６ａから出力される選択モード４０７は、切り換え回路４ａの第３の入力にも与えられる。
【０００９】
切り替え回路４ａから出力される動きベクトル１０６は、可変長符号化回路１９ａに入力される。また、動きベクトル探索回路３ａから出力される予測画像４０４は切り替え回路４ｂの第１の入力にも与えられ、メモリ回路１６から出力された参照画像１０２は切り替え回路４ｂの第２の入力にも与えられ、比較選択回路６ａから出力される選択モード４０７は切り替え回路４ｂの第３の入力にも与えられる。切り替え回路４ｂから出力される予測画像１０５は、メモリ回路１６に入力される。
【００１０】
一方、入力端子１から入力された映像信号１０１は、分散算出回路７にも入力され、分散算出回路７の出力４０９は、比較選択回路６ｂの第３の入力に与えられる。比較選択回路６ｂから出力される選択モード１０４は、切り替え回路１８に入力される。
【００１１】
次に動作について説明する。映像信号を符号化する場合の高能率符号化方式の一つとして、動き補償予測を用いた画像間予測符号化と画像内変換符号化を組み合わせたハイブリッド符号化方式がある。本従来例も、上記ハイブリッド符号化方式を採用している。図８は、上記ハイブリッド符号化方式のブロック図である。この場合、入力された映像信号１０１は、時間軸方向の冗長度を落とすために動き補償予測を用いて画像間の差分がとられ、空間軸方向にＤＣＴが施される。変換された係数は量子化され、可変長符号化された後に、送信バッファ２０を介して伝送される。
【００１２】
動き補償予測方式の概略を図９に示した。現在符号化しようとしている画像を、例えば１６画素×１６ラインのマッチングブロックに分割する。個々のマッチングブロックについて、参照画像のどの部分を予測画像とすれば歪が最も小さくなるかを調べる。すなわち、静止画であれば、各マッチングブロックと同一位置の１６画素×１６ラインを予測画像とすれば歪は０となる。動画の場合、例えば、図９のように点線で示した同一位置の１６画素×１６ラインよりも、左に８画素、下に１７画素ずらした斜線部の１６画素×１６ラインのブロックが最も歪が小さいという場合、このブロックを予測画像とするとともに、（−８、１７）を動きベクトルとして伝送する。
【００１３】
以下、図１０に従って、動き補償予測方式について詳しく述べる。まず、動きベクトル探索回路３ａにおいて、入力画像１０１と参照画像１０２とから動きベクトル４０３を探索する。これは、図９で説明したように、各マッチングブロックについて歪が最小となるベクトルを動きベクトルとして選び、その動きベクトルと予測画像とを出力するものである。歪としては、誤差の絶対値和などを用いる。
【００１４】
例えば、画像のサイズをＩ画素×Ｊラインとし、入力画像をＦ(i,j)（ただし、iは水平方向の画素番号で0≦i＜Ｉ、jは垂直方向の画素番号で0≦j＜Ｊ）と表し、マッチングブロックが互いにオーバーラップしないとすると、各マッチングブロックはＦ(n*16+i,m*16+j)（0≦i≦15、0≦j≦15）と表せる。ここで、(n,m)はマッチングブロックの位置を表す。この(n,m)番目のマッチングブロックを
Ｍ(i,j)＝Ｆ(n*16+i,m*16+j)（0≦i≦15、0≦j≦15）
とおく。
【００１５】
一方、参照画像をＧ(i,j)（0≦i＜Ｉ、0≦j＜Ｊ）とすると、ベクトル（Ｈ，Ｖ）を動きベクトルとしたときの予測画像ＰH,V(i,j)は、
ＰH,V(i,j)＝Ｇ(n*16+i+Ｈ,m*16+j+Ｖ)
となる。ここで、ベクトル（Ｈ，Ｖ）を動きベクトルとしたときの歪Ｓを、次のような絶対値和で評価する。
【００１６】
【数１】
【００１７】
動きベクトル探索回路３ａは、上記の歪Ｓが最小となるベクトル（Ｈ，Ｖ）を動きベクトルに決定し、この動きベクトル（Ｈ，Ｖ）とそのときの予測画像ＰH,V(i,j)を出力する。
【００１８】
次に、歪算出回路５ａにおいて、動きベクトル探索回路３ａから出力される予測画像４０４と入力画像１０１との誤差の自乗和による歪を、マッチングブロック毎に算出する。この歪をＳＥmcと呼ぶことにする。一方、歪算出回路５ｂにおいては、入力画像１０１と参照画像１０２とから、各マッチングブロックの誤差の自乗和による歪４０６を算出する。この歪４０６をＳＥnomcとする。この歪算出回路５ｂは、動きベクトルを０ベクトルとしたときの歪を計算することになる。
【００１９】
比較選択回路６ａは、ＳＥmc＜ＳＥnomcのとき、ＭＣ（動き補償）モードを示す信号と歪ＳＥmcを出力し、ＳＥmc≧ＳＥnomcのときは、ＮｏＭＣ（動き補償なし）モードを示す信号と歪ＳＥnomcを出力する。比較選択回路６ａで選択されたモードがＭＣモードのとき、切り替え回路４ａは、動きベクトル探索回路３ａで選択された動きベクトル４０３を出力し、切り替え回路４ｂは、動きベクトル探索回路３ａで選択された予測画像４０４を出力する。一方、比較選択回路６ａで選択されたモードがＮｏＭＣモードのとき、切り替え回路４ａは、０ベクトルを出力し、切り替え回路４ｂは、参照画像１０２を出力する。
【００２０】
さらに、分散算出回路７は、入力映像信号１０１の各マッチングブロックの分散を算出する。比較選択回路６ｂは、比較選択回路６ａから出力される歪４０８と、分散算出回路７から出力される分散値４０９とを比較し、画像内符号化を行うイントラモードか、比較選択回路６ａから出力される選択モードのいずれかを選択し出力する。
【００２１】
ところで、動き補償予測回路１７ａから出力される動きベクトル１０６は、可変長符号化回路１９ａにおいて符号化される。可変長符号化回路１９ａの構成を図１１に示す。図１１において、動き補償予測回路１７ａから出力される動きベクトル１０６は、減算器３０の第１の入力となる。減算器３０の出力は可変長符号選択器３１ａに入力されるとともに、メモリ３２を通して、切り替え器３３の第１の入力にも与えられる。切り替え器３３の第２の入力には０ベクトルが与えられる。切り替え器３３の出力は減算器３０の第２の入力に与えられる。一方、量子化回路１２の出力１０８は、符号化器３４で可変長符号化される。可変長符号選択器３１ａの出力と符号化器３４の出力は、多重化回路３５で多重化され、送信バッファ２０へ出力される。
【００２２】
図１１に示したように、各マッチングブロックの動きベクトルは、前のマッチングブロックの動きベクトルとの差分がとられ、その差分ベクトルに対応する可変長符号が出力される。なお、現マッチングブロックがイントラモードのときとＮｏＭＣモードのときは、動きベクトルは符号化されない。前のマッチングブロックがイントラモードのときとＮｏＭＣモードのとき、および、符号化の初期状態などでは、前の動きベクトルの代わりに０ベクトルを用いる。また、差分ベクトルを表す可変長符号は、０ベクトルに近いほど短い符号が割り当てられている。
【００２３】
【発明が解決しようとする課題】
従来の映像信号符号化方式における動き補償予測方式は、動きベクトルの選択において、動きベクトルの伝送効率については全く考慮していない。
また、動きベクトルは、予測歪の大小のみによって選択されるので、同じようなパターンが広範囲に存在するような画像内容や特徴のないフラットな画像の場合、予測歪の差が小さいために、実際の動きと異なる遠いブロックを選択し、不必要に大きい動きベクトルを伝送した上、画質劣化を生じるという問題があった。
また、従来の映像信号符号化方式においては、動きベクトルの探索範囲を広げるとベクトルの符号量が増え、狭めると速い動きを追えないという問題があった。
【００２４】
この発明は上記のような問題点を解消するためになされたもので、動きベクトルの伝送効率を考慮し、予測歪の差が小さい場合には小さい動きベクトルを優先する動き補償予測方式を備えた映像信号符号化方式を得ることを目的とする。
また、この発明は、画像内容によって動きベクトルの探索範囲を容易に変えることのできる動き補償予測方式を備えた映像信号符号化方式を得ることを目的とする。
【００２５】
【課題を解決するための手段】
請求項１の発明は、
入力画像の各ブロックについて、参照画像の複数の部分との間の歪を計算し、
上記参照画像の複数の部分の各々の、上記入力画像ブロックに対する相対位置を表すベクトルの大きさに対応するオフセット値を、上記歪に加算し、その加算の結果が最小となる参照画像の部分の、上記入力画像ブロックに対する上記相対位置を表すベクトルを、動きベクトルと決定する動きベクトル検索方法であって、
上記オフセット値は、上記相対位置を表すベクトルの大きさがある値（εと記す）以上のときに正の値を取り、上記ある値ε未満のときは０を取るものであることを特徴とする動きベクトル検索方法を提供するものである。
【００３０】
【作用】
請求項１の発明によれば、
入力画像の各ブロックについて、参照画像の複数の部分との間の歪を計算し、
上記参照画像の複数の部分の各々の、上記入力画像ブロックに対する相対位置を表すベクトルの大きさに対応するオフセット値を、上記歪に加算し、その加算の結果が最小となる参照画像の部分の、上記入力画像ブロックに対する上記相対位置を表すベクトルを、動きベクトルと決定することとし、
上記オフセット値は、上記相対位置を表すベクトルの大きさがある値（εと記す）以上のときに正の値を取り、上記ある値ε未満のときは０を取るものであることとしたので、
同じようなパターンが広範囲に存在するような画像内容や特徴のないフラットな画像のように予測歪の差が小さい場合には、小さい動きベクトルを選択し、不必要に大きいベクトルを選択することを避けるので、画質が向上する。
【００３１】
請求項２の発明によれば、β≧εを満たす所定値βについて、大きさが上記所定値β以上である上記相対位置を表すベクトルに対する上記オフセット値を該歪が取り得る最大値よりも大きな値に設定し、大きさが０である上記相対位置を表すベクトルに対する上記オフセット値を０に設定することにより、動きベクトルとして決定される上記相対位置を表すベクトルの範囲が所定値内に限定され、これにより動きベクトルの範囲が限定されるように構成したので、画像の内容に応じて、容易に動きベクトルの範囲を変更することができる。
【００３２】
請求項３の発明によれば、上記所定値βを２のべき乗とし、この所定値βによって限定される動きベクトルの範囲に応じて、動きベクトルを表現する符号のビット数を切り換え、上記動きベクトルの範囲が狭いほど動きベクトルを表現するビット数を少なくするように構成したので、その動きベクトルの範囲にあったビット数の符号を使うことができるので、動きベクトルの伝送効率が向上する。
【００３５】
【実施例】
実施例１．
以下、この発明の実施例１を図について説明する。図１は、この発明の第１の実施例における映像信号符号化方式を示すブロック図である。図において、図８と同一符号は同一または相当部分を示しており、動き補償予測回路１７ｂの第１の入力には映像信号１０１が与えられ、第２の入力には参照画像１０２が与えられ、第３の入力には入力端子１ａから入力されるオフセット設定信号３０１が与えられる。一方、動き補償予測回路１７ｂの第１の出力１０５はメモリ回路１６の第２の入力に与えられ、第２の出力１０４は切り替え回路１８の第３の入力に与えられ、第３の出力１０６は可変長符号化回路１９ａの第２の入力に与えられる。その他の部分の構成は、図８と同様であるので説明は省略する。
【００３６】
図２は、この発明の実施例１の映像信号符号化方式における動き補償予測回路１７ｂの一構成例を示すブロック図である。図において、図１０と同一符号は同一または相当部分を示す。入力端子１から入力された映像信号１０１は、動きベクトル探索回路３ｂの第１の入力に与えられ、メモリ回路１６から出力された参照画像１０２は、動きベクトル探索回路３ｂの第２の入力に与えられる。
【００３７】
また、入力端子１ａから入力されたオフセット設定信号３０１は、動きベクトル探索回路３ｂの第３の入力に与えられる。動きベクトル探索回路３ｂの第１の出力である動きベクトル２０３は、切り替え回路４ａの第１の入力に与えられる。切り替え回路４ａの第２の入力には０ベクトルが与えられる。動きベクトル探索回路３ｂの第２の出力である予測画像２０４は、切り替え回路４ｂの第１の入力に与えられる。切り替え回路４ｂの第２の入力には、メモリ回路１６から出力される参照画像１０２が与えられる。
【００３８】
動きベクトル探索回路３ｂの第２の出力である予測画像２０４は、歪算出回路５ａの第１の入力にも与えられる。歪算出回路５ａの第２の入力には、入力端子１から入力される映像信号１０１が与えられる。歪算出回路５ａから出力される歪２０５は、比較選択回路６ａの第１の入力に与えられる。
【００３９】
一方、入力端子１から入力された映像信号１０１は、歪算出回路５ｂの第１の入力にも与えられ、メモリ回路１６から出力された参照画像１０２は、歪算出回路５ｂの第２の入力にも与えられる。歪算出回路５ｂから出力される歪２０６は、比較選択回路６ａの第２の入力に与えられる。比較選択回路６ａの第１の出力である選択モード２０７は、比較選択回路６ｂの第１の入力に与えられ、比較選択回路６ａの第２の出力である歪２０８は、比較選択回路６ｂの第２の入力に与えられる。比較選択回路６ａの第１の出力である選択モード２０７は、切り替え回路４ａの第３の入力にも与えられる。切り替え回路４ａの出力である動きベクトル１０６は、可変長符号化回路１９ａに入力される。
【００４０】
また、比較選択回路６ａの第１の出力である選択モード２０７は、切り替え回路４ｂの第３の入力にも与えられる。切り替え回路４ｂの出力である予測画像１０５はメモリ回路１６に入力される。一方、入力端子１から入力される映像信号１０１は、分散算出回路７にも入力される。分散算出回路７から出力される分散２０９は、比較選択回路６ｂの第３の入力に与えられる。比較選択回路６ｂで選択された選択モード１０４は、切り替え回路１８へ入力される。
【００４１】
次に動作について説明する。実施例１は、動き補償予測回路１７ｂにオフセット設定信号３０１を入力することが、従来例と異なる。オフセット設定信号３０１は、大きさαのベクトルに対するオフセット値Ｃ(α)を与える信号である。
例えば、図３に示したように、ベクトルの大きさが８未満なら０、８以上１６未満なら１、１６以上３２未満なら２、３２以上６４未満なら４、６４以上なら８のように設定する。
【００４２】
以下、動き補償予測回路１７ｂの動作を、図２について説明する。まず、動きベクトル探索回路３ｂにおいて、入力画像１０１と参照画像１０２とから動きベクトルを探索する。このとき、入力端子１ａから入力したオフセット設定信号３０１により、各ベクトルの大きさに応じてオフセット値を設定し、歪とオフセット値の和が最小となるベクトルを動きベクトルとして選び、その動きベクトルと予測画像とを出力する。
【００４３】
すなわち、画像のサイズをＩ画素×Ｊラインとし、入力画像をＦ(i,j)（ただし、iは水平方向の画素番号で0≦i＜Ｉ、jは垂直方向の画素番号で0≦j＜Ｊ）と表し、マッチングブロックが互いにオーバーラップしない１６画素×１６ラインとすると、各マッチングブロックはＦ(n*16+i,m*16+j)（0≦i≦15、0≦j≦15）と表せる。ここで、(n,m)はマッチングブロックの位置を表す。この(n,m)番目のマッチングブロックを
Ｍ(i,j)＝Ｆ(n*16+i,m*16+j)（0≦i≦15、0≦j≦15）
とおく。
【００４４】
一方、参照画像をＧ(i,j)（0≦i＜Ｉ、0≦j＜Ｊ）とすると、ベクトル（Ｈ，Ｖ）を動きベクトルとしたときの予測画像ＰH,V(i,j)は、
ＰH,V(i,j)＝Ｇ(n*16+i+Ｈ,m*16+j+Ｖ)
となる。ここで、ベクトル（Ｈ，Ｖ）を動きベクトルとしたときの歪Ｓを、次のような絶対値和で評価する。
【００４５】
【数２】
【００４６】
さらに、ベクトル（Ｈ，Ｖ）の大きさＤ(H,V)を、
Ｄ(H,V)＝max｛｜Ｈ｜，｜Ｖ｜｝
により求め、あらかじめオフセット設定信号３０１により設定したオフセット値を歪Ｓに付加し、オフセットされた歪Ｓ１を求める。
Ｓ１＝Ｓ＋Ｃ（Ｄ(H,V)）
動きベクトル探索回路３ｂは、上記の歪Ｓ１が最小となるベクトル（Ｈ，Ｖ）を動きベクトルに決定し、この動きベクトル（Ｈ，Ｖ）とそのときの予測画像ＰH,V(i,j)を出力する。
【００４７】
次に、歪算出回路５ａにおいて、動きベクトル探索回路３ｂから出力される予測画像２０４と入力画像１０１との誤差の自乗和による歪２０５を、マッチングブロック毎に算出する。この歪２０５をＳＥmcと呼ぶことにする。一方、歪算出回路５ｂにおいては、入力画像１０１と参照画像１０２とから、各マッチングブロックの誤差の自乗和による歪２０６を算出する。この歪２０６をＳＥnomcとする。この歪算出回路５ｂは動きベクトルを０ベクトルとしたときの歪を計算することになる。
【００４８】
比較選択回路６ａは、ＳＥmc＜ＳＥnomcのとき、ＭＣ（動き補償）モードを示す信号２０７と歪ＳＥmcを出力し、ＳＥmc≧ＳＥnomcのときは、ＮｏＭＣ（動き補償なし）モードを示す信号２０７と歪ＳＥnomcを出力する。比較選択回路６ａで選択されたモードがＭＣモードのとき、切り替え回路４ａは、動きベクトル探索回路３ｂで選択された動きベクトル２０３を出力し、切り替え回路４ｂは、動きベクトル探索回路３ｂで選択された予測画像２０４を出力する。一方、比較選択回路６ａで選択されたモードがＮｏＭＣモードのとき、切り替え回路４ａは、０ベクトルを出力し、切り替え回路４ｂは、参照画像１０２を出力する。
【００４９】
さらに、分散算出回路７は、入力信号の各マッチングブロックの分散２０９を算出する。比較選択回路６ｂは、比較選択回路６ａから出力される歪２０８と、分散算出回路７から出力される分散値２０９とを比較し、画像内符号化を行うイントラモードか、比較選択回路６ａから出力される選択モード２０７のいずれかを選択し出力する。
【００５０】
なお、上記実施例１において、動きベクトル探索回路３ｂはベクトル（Ｈ，Ｖ）の大きさＤ(H,V)を、
Ｄ(H,V)＝max｛｜Ｈ｜，｜Ｖ｜｝
により求めるとしたが、ベクトルの大きさの定義はこれに限るものではなく、例えば、
Ｄ(H,V)＝｜Ｈ｜＋｜Ｖ｜
あるいは、
Ｄ(H,V)＝｜Ｈ｜2＋｜Ｖ｜2
あるいは、
Ｄ(H,V)＝｛｜Ｈ｜2＋｜Ｖ｜2｝1/2
としてもよい。
【００５１】
また、上記実施例１において、大きさαのベクトルに対するオフセット値Ｃ(α)は、図３のように設定するとしたが、オフセット値の設定もこれに限るものではなく、例えば、定数ｋを用いて、
Ｃ(α)＝α×ｋ
のように設定してもよい。
また、ベクトル（Ｈ，Ｖ）の大きさを、水平方向の大きさ｜Ｈ｜と垂直方向の大きさ｜Ｖ｜に分けて、｜Ｈ｜と｜Ｖ｜に応じてオフセット値Ｃ’(｜Ｈ｜，｜Ｖ｜)を与えてもよい。
【００５２】
さらに、上記実施例１では、歪Ｓに誤差の絶対値和を用いるとしたが、歪の求め方はこれに限るものではなく、誤差の自乗和などを用いてもよい。
また、歪算出回路５ａ、５ｂで演算する歪も、誤差の自乗和に限るものではなく、誤差の絶対値和、あるいは、誤差の大きさとベクトルの大きさを引数とする関数などでもよい。
【００５３】
実施例２．
上記実施例１において、オフセット値Ｃ(α)は可変としてもよい。特に、動きの少ない画像については、ある値βを決めて、大きさがβ以上であるベクトルに対するオフセット値を、歪Ｓが取り得る値より大きい値に設定することにより、動きベクトルの範囲をβ以内に限定することができる。
【００５４】
例えば、実施例１と同様に、(n,m)番目のマッチングブロックを
Ｍ(i,j)＝Ｆ(n*16+i,m*16+j)（0≦i≦15、0≦j≦15）
とおき、ベクトル（Ｈ，Ｖ）を動きベクトルとしたときの予測画像ＰH,V(i,j)を
ＰH,V(i,j)＝Ｇ(n*16+i+Ｈ,m*16+j+Ｖ)
とおき、そのときの歪Ｓを、
【００５５】
【数３】
【００５６】
で評価する場合、Ｓの最大値は、入力映像信号のレンジの２５６倍である。つまり、入力映像信号が８ビットとすれば、Ｓの最大値は６５５３６である。したがって、例えば、α≧βなるαに対して、
Ｃ(α)＝６５５３７
とし、
Ｃ(０)＝０
とすれば、ベクトル（Ｈ，Ｖ）の大きさがβ以上のとき、オフセットされた歪Ｓ１は、つねに、
Ｓ１＝Ｓ＋Ｃ(Ｄ(H,V))＝Ｓ＋６５５３７＞６５５３６
となる。
【００５７】
一方、０ベクトルに対するオフセットされた歪Ｓ１は、
Ｓ１＝Ｓ＋Ｃ(Ｄ(0,0))＝Ｓ≦６５５３６
となるので、動きベクトル探索回路３ｂは、β以上の大きいベクトルを選択しない。
【００５８】
逆に、オフセット値Ｃ(α)を、この値６５５３７より大きくしても、もはや効果は同じである。つまり、オフセット値Ｃ(α)の最大値は６５５３７としてよい。
以上のことから、オフセット値Ｃ(α)の値を最大値に設定することにより、Ｈ／Ｗを変更することなく、動きベクトルの探索範囲を変えることができる。
【００５９】
実施例３．
以下、この発明の実施例３を図について説明する。図４は、実施例３における映像信号符号化方式を示すブロック図である。図において、図１と同一符号は同一または相当部分を示しており、１９ｂは可変長符号化回路で、可変長符号化回路１９ｂの第３の入力に、入力端子１ａから入力されるオフセット設定信号３０１が与えられる点が実施例１と異なり、その他の部分の構成は実施例１と同様であるので説明は省略する。
【００６０】
図５は、この発明の実施例３の映像信号符号化方式における可変長符号化回路１９ｂの一構成例を示すブロック図である。図において、図１１と同一符号は同一または相当部分を示しており、２１はオフセット設定信号３０１が入力される検出器、３１ｂはこの検出器２１の出力が第２の入力として入力される可変長符号選択器で、その他の部分の構成は図１１と同様であるので説明は省略する。
【００６１】
次に動作について説明する。実施例３は、可変長符号化回路１９ｂにもオフセット設定信号３０１を入力する点が、実施例１と異なる。実施例１で述べたように、オフセット設定信号３０１は、大きさαのベクトルに対するオフセット値Ｃ(α)を設定するための信号で、動き補償予測回路１７ｂにおいて動きベクトルを探索するときに、各ベクトルを動きベクトルとしたときの歪Ｓに、このオフセット値Ｃ(α)を加算して、その値の大小比較により動きベクトルを決定する。
この動き補償予測回路１７ｂの動作は実施例１，２と同様である。特に、実施例２で説明したように、大きさがβ以上のベクトルに対するオフセット値を最大値に設定すると、β以上の大きいベクトルは選択されなくなるので、βの値を８、１６、３２、６４など２のべき乗に設定して、動きベクトルの範囲を制限し、その範囲に従って、可変長符号化回路１９ｂにおける動きベクトルの符号を切り換える。
【００６２】
以下、可変長符号化回路１９ｂの動作を、図５について説明する。まず、検出器２１は、オフセット設定信号３０１で規定されるオフセット値Ｃ(α)から、動きベクトルの範囲の制限を検出し、動きベクトルの範囲を出力する。一方、動き補償予測回路１７ｂから出力される各マッチングブロックの動きベクトル１０６は、前のマッチングブロックの動きベクトルとの差分がとられ、その差分ベクトルに対応する可変長符号が、可変長符号選択器３１ｂから出力される。このとき、可変長符号選択器３１ｂは、検出器２１から出力される動きベクトルの範囲に従って、差分ベクトルの符号を選択する。すなわち、例えば、動きベクトルを固定長符号で送るとして、ベクトルの範囲が水平±７画素、垂直±７ラインであれば、動きベクトルの水平、垂直成分を表わすのに、それぞれ４ビットしか必要としない。
【００６３】
ところが、ベクトルの範囲が水平±６３画素、垂直±６３ラインになると、水平、垂直成分を表わすのに、それぞれ７ビット必要となる。可変長符号で送る場合も同様で、動きベクトルの範囲が狭いほどベクトルを表わすのに必要なビット数は減少する。そこで、可変長符号選択器３１ｂは、検出器２１から出力される動きベクトルの範囲に従って、ベクトルを表わす符号を切り換えて出力する。
【００６４】
なお、従来例と同様に、現マッチングブロックがイントラモードのときとＮｏＭＣモードのときは、動きベクトルは符号化されない。前のマッチングブロックがイントラモードのときとＮｏＭＣモードのとき、および、符号化の初期状態などでは、前の動きベクトルの代わりに０ベクトルを用いる。
【００６５】
一方、量子化器１２の出力１０８は、符号化器３４で可変長符号化される。符号化器３４の出力は、可変長符号選択器３１ｂから出力される符号と、検出器２１から出力される動きベクトルの範囲と多重化され、出力される。
【００６６】
実施例４．
以下、この発明の実施例４を図について説明する。図６は、実施例４における映像信号符号化方式を示すブロック図である。図において、図１および図４と同一符号は同一または相当部分を示しており、１７ｃは動き補償予測回路で、その第４の出力６０１が可変長符号化回路１９ｂの第３の入力に与えられる点以外の構成は図１と同様であるので説明は省略する。
【００６７】
図７は、この発明の実施例４の映像信号符号化方式における動き補償予測回路１７ｃの一構成例を示すブロック図である。図において、図２と同一符号は同一または相当部分を示しており、入力端子１から入力された映像信号１０１は、動きベクトル探索回路３ｃの第１の入力に与えられ、メモリ回路１６から出力された参照画像１０２は、動きベクトル探索回路３ｃの第２の入力に与えられ、入力端子１ａから入力されたオフセット設定信号３０１は、動きベクトル探索回路３ｃの第３の入力に与えられる。
【００６８】
一方、動きベクトル探索回路３ｃの第３の出力７０１は、探索範囲設定回路２２に入力され、探索範囲設定回路２２の出力６０１は、可変長符号化回路１９ｂに入力されるとともに、動きベクトル探索回路３ｃの第４の入力に与えられる。その他の部分の構成は図２と同様であるので説明は省略する。
【００６９】
次に動作について説明する。実施例４は、動き補償予測回路１７ｃで探索する動きベクトルの範囲を、画像により適応的に変化させる点が実施例３と異なる。すなわち、図６において、動き補償予測回路１７ｃは、動き補償に用いる動きベクトルを可変の範囲で求めるとともに、常に固定の探索範囲で動きベクトルを探索してその最大値を求め、過去の画像におけるこの動きベクトルの最大値によって現在の画像の可変の動きベクトルの範囲を決定するとともに、その動きベクトルの範囲６０１を可変長符号化回路１９ｂに出力する。可変長符号化回路１９ｂは、実施例３と同様に、動きベクトルの範囲６０１に従って、ベクトルを表わす符号を切り替えて、可変長符号化を行う。以下、この動き補償予測回路１７ｃの動作を図７について説明する。
【００７０】
実施例１と同様に、動きベクトル探索回路３ｃは、入力画像Ｆ(i,j)を互いにオーバーラップしない１６画素×１６ラインのマッチングブロックに分割する。各マッチングブロックは、
Ｍ(i,j)＝Ｆ(n*16+i,m*16+j)（0≦i≦15、0≦j≦15）
と表わせる。ここで、(n,m)はマッチングブロックの位置を表す。一方、参照画像をＧ(i,j)とすると、ベクトル（Ｈ，Ｖ）を動きベクトルとしたときの予測画像ＰH,V(i,j)は、
ＰH,V(i,j)＝Ｇ(n*16+i+Ｈ,m*16+j+Ｖ)
となる。ここで、ベクトル（Ｈ，Ｖ）を動きベクトルとしたときの歪Ｓを、次のような絶対値和で評価する。
【００７１】
【数４】
【００７２】
さらに、ベクトル（Ｈ，Ｖ）の大きさＤ(H,V)を、
Ｄ(H,V)＝max｛｜Ｈ｜，｜Ｖ｜｝
により求め、あらかじめオフセット設定信号３０１により設定したオフセット値を歪Ｓに付加し、オフセットされた歪Ｓ１を求める。
Ｓ１＝Ｓ＋Ｃ（Ｄ(H,V)）
【００７３】
動きベクトル探索回路３ｃは、常に、あらかじめ定められた水平±Mh画素、垂直±Mvラインの範囲で上記の演算を行い、歪Ｓ１が最小となるベクトル（Ｈ，Ｖ）＝（Ｈ’，Ｖ’）を求め、探索範囲設定回路２２へ出力する。
一方、探索範囲設定回路２２から出力される動きベクトルの範囲を水平±Nh画素、垂直±Nvライン（Nh≦Mh、Nv≦Mv）とすると、動きベクトル探索回路３ｃは、
｜Ｈ｜≦Nh、｜Ｖ｜≦Nv
の範囲で、上記歪Ｓ１が最小となるベクトル（Ｈ，Ｖ）も求め、この動きベクトル（Ｈ，Ｖ）とそのときの予測画像ＰH,V(i,j)を第１、第２の出力として出力する。
【００７４】
探索範囲設定回路２２は、動きベクトル探索回路３ｃにおいて固定の探索範囲（水平±Mh画素、垂直±Mvライン）で求めた動きベクトル（Ｈ’，Ｖ’）の各成分の絶対値の最大値を求め、次の画像の動きベクトルの範囲Nh、Nvを決定する。例えば、過去の画像の動きベクトル（Ｈ’，Ｖ’）において、｜Ｈ’｜の最大値が３１、｜Ｖ’｜の最大値が１５であれば、次の画像の動きベクトルの範囲はNh＝３１、Nv＝１５とする。
また、例えば、｜Ｈ’｜の最大値が３０、｜Ｖ’｜の最大値が１４でも、次の画像の動きベクトルの範囲をNh＝３１、Nv＝１５としてよい。また、ｋ，ｌを整数として、｜Ｈ’｜の最大値が２k−１以下で、｜Ｖ’｜の最大値が２ｌ−１以下であれば、次の画像の動きベクトルの範囲をNh＝２k−１、Nv＝２ｌ−１としてよい。
【００７５】
探索範囲設定回路２２は、固定の広い探索範囲で求めた動きベクトルを用いて次の画像の動きベクトルの範囲を決定するので、過去の画像の動きベクトルの範囲を狭くした場合でも、動きが速くなればその大きさを検出することができ、次の画像で動きベクトルの範囲を広げることができる。
また、探索範囲設定回路２２で用いる固定の広い探索範囲による動きベクトルは、動きベクトル探索回路３ｃにおいて、可変の動きベクトル探索範囲による動きベクトルと一緒に求めるので、演算量はほとんど増加しない。他の動作は実施例１および３と同様である。
【００７６】
【発明の効果】
以上のように、請求項１の発明によれば、
入力画像の各ブロックについて、参照画像の複数の部分との間の歪を計算し、
上記参照画像の複数の部分の各々の、上記入力画像ブロックに対する相対位置を表すベクトルの大きさに対応するオフセット値を、上記歪に加算し、その加算の結果が最小となる参照画像の部分の、上記入力画像ブロックに対する上記相対位置を表すベクトルを、動きベクトルと決定することとし、
上記オフセット値は、上記相対位置を表すベクトルの大きさがある値（εと記す）以上のときに正の値を取り、上記ある値ε未満のときは０を取るものであることとしたので、
同じようなパターンが広範囲に存在するような画像内容や特徴のないフラットな画像のように予測歪の差が小さい場合には、小さい動きベクトルを選択し、不必要に大きいベクトルを選択することを避けるので、動きベクトルの符号量が減少し、画質を向上させることができる。
【００７７】
また、請求項２の発明によれば、β≧εを満たす所定値βについて、大きさが上記所定値β以上である上記相対位置を表すベクトルに対する上記オフセット値を該歪が取り得る最大値よりも大きな値に設定し、大きさが０である上記相対位置を表すベクトルに対する上記オフセット値を０に設定することにより、動きベクトルのとして決定される上記相対位置を表すベクトルの範囲が所定値内に限定され、これにより動きベクトルの範囲が限定されるように構成したので、画像の内容に応じて、容易に動きベクトルの範囲を変更することができる。
【００７８】
また、請求項３の発明によれば、上記所定値βを２のべき乗とし、この所定値βによって限定される動きベクトルの範囲に応じて、動きベクトルを表現する符号のビット数を切り換え、上記動きベクトルの範囲が狭いほど動きベクトルを表現するビット数を少なくするように構成したので、動きベクトルの範囲にあったビット数の符号を使うことができ、動きベクトルの伝送効率を向上させることができる。
【図面の簡単な説明】
【図１】 この発明の実施例１の映像信号符号化方式を示すブロック図である。
【図２】 実施例１の映像信号符号化方式における動き補償予測回路の一構成例を示すブロック図である。
【図３】 実施例１の映像信号符号化方式におけるオフセット値の一例を示す図である。
【図４】 この発明の実施例３の映像信号符号化方式を示すブロック図である。
【図５】 実施例３の映像信号符号化方式における可変長符号化回路の一構成例を示すブロック図である。
【図６】 この発明の実施例４の映像信号符号化方式を示すブロック図である。
【図７】 実施例４の映像信号符号化方式における動き補償予測回路の一構成例を示すブロック図である。
【図８】 従来の映像信号符号化方式を示すブロック図である。
【図９】 動き補償予測方式の概略を示す概念図である。
【図１０】 従来の映像信号符号化方式における動き補償予測回路の一例を示すブロック図である。
【図１１】 従来の映像信号符号化方式における可変長符号化回路の一例を示すブロック図である。
【符号の説明】
３ａ，３ｂ，３ｃ 動きベクトル探索回路、４ａ，４ｂ 切り替え回路、５ａ，５ｂ 歪算出回路、６ａ，６ｂ 比較選択回路、７ 分散算出回路、１７ａ，１７ｂ，１７ｃ 動き補償予測回路、１９ａ，１９ｂ，１９ｃ 可変長符号化回路。
【産業上の利用分野】
本発明は、映像信号を符号化する動き補償画像間予測符号化方法に関し、特に、動きを検出する動きベクトル探索方法に関する。
【０００２】
【従来の技術】
図８は、例えば、ISO-IEC/JTC1/SC29/WG11 MPEG 92/N0245 Test Model 2 に示された従来の映像信号符号化方式を示すブロック図である。図において、入力端子１から入力されたディジタル化された映像信号１０１は、減算器１０の第１の入力、動き補償予測回路１７ａの第１の入力、および量子化回路１２の第２の入力に与えられる。減算器１０の出力は、ＤＣＴ回路１１を介して量子化回路１２の第１の入力に与えられる。量子化回路１２の出力１０８は、可変長符号化回路１９ａの第１の入力に与えられるとともに、逆量子化回路１３およびＩＤＣＴ回路１４を介して加算器１５の第１の入力に与えられる。
【０００３】
加算器１５の出力は、メモリ回路１６の第１の入力に与えられ、メモリ回路１６の出力１０２は、動き補償予測回路１７ａの第２の入力および切り替え回路１８の第１の入力に与えられる。メモリ回路１６の第２の入力には、動き補償予測回路１７ａの第１の出力１０５が与えられる。切り替え回路１８の第２の入力には、ゼロ信号が与えられ、切り替え回路１８の第３の入力には、動き補償予測回路１７ａの第２の出力１０４が与えられる。切り替え回路１８の出力１０３は、減算器１０の第２の入力および加算器１５の第２の入力に与えられる。
【０００４】
一方、動き補償予測回路１７ａの第３の出力１０６は、可変長符号化回路１９ａの第２の入力に与えられる。可変長符号化回路１９ａの出力は送信バッファ２０に入力され、送信バッファ２０の第１の出力は出力端子２より出力される。送信バッファ２０の第２の出力１０７は、量子化回路１２の第３の入力に与えられる。
【０００５】
図９は動き補償予測方式の概念図である。
【０００６】
図１０は、例えば、ISO-IEC/JTC1/SC29/WG11 MPEG 92/N0245 Test Model 2 に示された従来の映像信号符号化方式における動き補償予測回路１７ａの一例を示すブロック図である。図において、入力端子１から入力されたディジタル映像信号１０１は動きベクトル探索回路３ａの第１の入力に与えられ、メモリ回路１６から出力された参照画像１０２は、動きベクトル探索回路３ａの第２の入力に与えられる。
【０００７】
動きベクトル探索回路３ａから出力される動きベクトル４０３は、切り替え回路４ａの第１の入力に与えられる。切り替え回路４ａの第２の入力には０ベクトルが与えられる。一方、動きベクトル探索回路３ａから出力される予測画像４０４は、歪算出回路５ａの第１の入力に与えられる。歪算出回路５ａの第２の入力には、入力端子１から入力された映像信号１０１が与えられる。歪算出回路５ａから出力される歪４０５は、比較選択回路６ａの第１の入力に与えられる。
【０００８】
一方、入力端子１から入力された映像信号１０１は、歪算出回路５ｂの第１の入力にも与えられ、メモリ回路１６から出力された参照画像１０２は、歪算出回路５ｂの第２の入力にも与えられる。歪算出回路５ｂから出力される歪４０６は、比較選択回路６ａの第２の入力に与えられる。比較選択回路６ａから出力される選択モード４０７は、比較選択回路６ｂの第１の入力に与えられ、比較選択回路６ａから出力される歪４０８は、比較選択回路６ｂの第２の入力に与えられる。また、比較選択回路６ａから出力される選択モード４０７は、切り換え回路４ａの第３の入力にも与えられる。
【０００９】
切り替え回路４ａから出力される動きベクトル１０６は、可変長符号化回路１９ａに入力される。また、動きベクトル探索回路３ａから出力される予測画像４０４は切り替え回路４ｂの第１の入力にも与えられ、メモリ回路１６から出力された参照画像１０２は切り替え回路４ｂの第２の入力にも与えられ、比較選択回路６ａから出力される選択モード４０７は切り替え回路４ｂの第３の入力にも与えられる。切り替え回路４ｂから出力される予測画像１０５は、メモリ回路１６に入力される。
【００１０】
一方、入力端子１から入力された映像信号１０１は、分散算出回路７にも入力され、分散算出回路７の出力４０９は、比較選択回路６ｂの第３の入力に与えられる。比較選択回路６ｂから出力される選択モード１０４は、切り替え回路１８に入力される。
【００１１】
次に動作について説明する。映像信号を符号化する場合の高能率符号化方式の一つとして、動き補償予測を用いた画像間予測符号化と画像内変換符号化を組み合わせたハイブリッド符号化方式がある。本従来例も、上記ハイブリッド符号化方式を採用している。図８は、上記ハイブリッド符号化方式のブロック図である。この場合、入力された映像信号１０１は、時間軸方向の冗長度を落とすために動き補償予測を用いて画像間の差分がとられ、空間軸方向にＤＣＴが施される。変換された係数は量子化され、可変長符号化された後に、送信バッファ２０を介して伝送される。
【００１２】
動き補償予測方式の概略を図９に示した。現在符号化しようとしている画像を、例えば１６画素×１６ラインのマッチングブロックに分割する。個々のマッチングブロックについて、参照画像のどの部分を予測画像とすれば歪が最も小さくなるかを調べる。すなわち、静止画であれば、各マッチングブロックと同一位置の１６画素×１６ラインを予測画像とすれば歪は０となる。動画の場合、例えば、図９のように点線で示した同一位置の１６画素×１６ラインよりも、左に８画素、下に１７画素ずらした斜線部の１６画素×１６ラインのブロックが最も歪が小さいという場合、このブロックを予測画像とするとともに、（−８、１７）を動きベクトルとして伝送する。
【００１３】
以下、図１０に従って、動き補償予測方式について詳しく述べる。まず、動きベクトル探索回路３ａにおいて、入力画像１０１と参照画像１０２とから動きベクトル４０３を探索する。これは、図９で説明したように、各マッチングブロックについて歪が最小となるベクトルを動きベクトルとして選び、その動きベクトルと予測画像とを出力するものである。歪としては、誤差の絶対値和などを用いる。
【００１４】
例えば、画像のサイズをＩ画素×Ｊラインとし、入力画像をＦ(i,j)（ただし、iは水平方向の画素番号で0≦i＜Ｉ、jは垂直方向の画素番号で0≦j＜Ｊ）と表し、マッチングブロックが互いにオーバーラップしないとすると、各マッチングブロックはＦ(n*16+i,m*16+j)（0≦i≦15、0≦j≦15）と表せる。ここで、(n,m)はマッチングブロックの位置を表す。この(n,m)番目のマッチングブロックを
Ｍ(i,j)＝Ｆ(n*16+i,m*16+j)（0≦i≦15、0≦j≦15）
とおく。
【００１５】
一方、参照画像をＧ(i,j)（0≦i＜Ｉ、0≦j＜Ｊ）とすると、ベクトル（Ｈ，Ｖ）を動きベクトルとしたときの予測画像ＰH,V(i,j)は、
ＰH,V(i,j)＝Ｇ(n*16+i+Ｈ,m*16+j+Ｖ)
となる。ここで、ベクトル（Ｈ，Ｖ）を動きベクトルとしたときの歪Ｓを、次のような絶対値和で評価する。
【００１６】
【数１】
動きベクトル探索回路３ａは、上記の歪Ｓが最小となるベクトル（Ｈ，Ｖ）を動きベクトルに決定し、この動きベクトル（Ｈ，Ｖ）とそのときの予測画像ＰH,V(i,j)を出力する。
【００１８】
次に、歪算出回路５ａにおいて、動きベクトル探索回路３ａから出力される予測画像４０４と入力画像１０１との誤差の自乗和による歪を、マッチングブロック毎に算出する。この歪をＳＥmcと呼ぶことにする。一方、歪算出回路５ｂにおいては、入力画像１０１と参照画像１０２とから、各マッチングブロックの誤差の自乗和による歪４０６を算出する。この歪４０６をＳＥnomcとする。この歪算出回路５ｂは、動きベクトルを０ベクトルとしたときの歪を計算することになる。
【００１９】
比較選択回路６ａは、ＳＥmc＜ＳＥnomcのとき、ＭＣ（動き補償）モードを示す信号と歪ＳＥmcを出力し、ＳＥmc≧ＳＥnomcのときは、ＮｏＭＣ（動き補償なし）モードを示す信号と歪ＳＥnomcを出力する。比較選択回路６ａで選択されたモードがＭＣモードのとき、切り替え回路４ａは、動きベクトル探索回路３ａで選択された動きベクトル４０３を出力し、切り替え回路４ｂは、動きベクトル探索回路３ａで選択された予測画像４０４を出力する。一方、比較選択回路６ａで選択されたモードがＮｏＭＣモードのとき、切り替え回路４ａは、０ベクトルを出力し、切り替え回路４ｂは、参照画像１０２を出力する。
【００２０】
さらに、分散算出回路７は、入力映像信号１０１の各マッチングブロックの分散を算出する。比較選択回路６ｂは、比較選択回路６ａから出力される歪４０８と、分散算出回路７から出力される分散値４０９とを比較し、画像内符号化を行うイントラモードか、比較選択回路６ａから出力される選択モードのいずれかを選択し出力する。
【００２１】
ところで、動き補償予測回路１７ａから出力される動きベクトル１０６は、可変長符号化回路１９ａにおいて符号化される。可変長符号化回路１９ａの構成を図１１に示す。図１１において、動き補償予測回路１７ａから出力される動きベクトル１０６は、減算器３０の第１の入力となる。減算器３０の出力は可変長符号選択器３１ａに入力されるとともに、メモリ３２を通して、切り替え器３３の第１の入力にも与えられる。切り替え器３３の第２の入力には０ベクトルが与えられる。切り替え器３３の出力は減算器３０の第２の入力に与えられる。一方、量子化回路１２の出力１０８は、符号化器３４で可変長符号化される。可変長符号選択器３１ａの出力と符号化器３４の出力は、多重化回路３５で多重化され、送信バッファ２０へ出力される。
【００２２】
図１１に示したように、各マッチングブロックの動きベクトルは、前のマッチングブロックの動きベクトルとの差分がとられ、その差分ベクトルに対応する可変長符号が出力される。なお、現マッチングブロックがイントラモードのときとＮｏＭＣモードのときは、動きベクトルは符号化されない。前のマッチングブロックがイントラモードのときとＮｏＭＣモードのとき、および、符号化の初期状態などでは、前の動きベクトルの代わりに０ベクトルを用いる。また、差分ベクトルを表す可変長符号は、０ベクトルに近いほど短い符号が割り当てられている。
【００２３】
【発明が解決しようとする課題】
従来の映像信号符号化方式における動き補償予測方式は、動きベクトルの選択において、動きベクトルの伝送効率については全く考慮していない。
また、動きベクトルは、予測歪の大小のみによって選択されるので、同じようなパターンが広範囲に存在するような画像内容や特徴のないフラットな画像の場合、予測歪の差が小さいために、実際の動きと異なる遠いブロックを選択し、不必要に大きい動きベクトルを伝送した上、画質劣化を生じるという問題があった。
また、従来の映像信号符号化方式においては、動きベクトルの探索範囲を広げるとベクトルの符号量が増え、狭めると速い動きを追えないという問題があった。
【００２４】
この発明は上記のような問題点を解消するためになされたもので、動きベクトルの伝送効率を考慮し、予測歪の差が小さい場合には小さい動きベクトルを優先する動き補償予測方式を備えた映像信号符号化方式を得ることを目的とする。
また、この発明は、画像内容によって動きベクトルの探索範囲を容易に変えることのできる動き補償予測方式を備えた映像信号符号化方式を得ることを目的とする。
【００２５】
【課題を解決するための手段】
請求項１の発明は、
入力画像の各ブロックについて、参照画像の複数の部分との間の歪を計算し、
上記参照画像の複数の部分の各々の、上記入力画像ブロックに対する相対位置を表すベクトルの大きさに対応するオフセット値を、上記歪に加算し、その加算の結果が最小となる参照画像の部分の、上記入力画像ブロックに対する上記相対位置を表すベクトルを、動きベクトルと決定する動きベクトル検索方法であって、
上記オフセット値は、上記相対位置を表すベクトルの大きさがある値（εと記す）以上のときに正の値を取り、上記ある値ε未満のときは０を取るものであることを特徴とする動きベクトル検索方法を提供するものである。
【００３０】
【作用】
請求項１の発明によれば、
入力画像の各ブロックについて、参照画像の複数の部分との間の歪を計算し、
上記参照画像の複数の部分の各々の、上記入力画像ブロックに対する相対位置を表すベクトルの大きさに対応するオフセット値を、上記歪に加算し、その加算の結果が最小となる参照画像の部分の、上記入力画像ブロックに対する上記相対位置を表すベクトルを、動きベクトルと決定することとし、
上記オフセット値は、上記相対位置を表すベクトルの大きさがある値（εと記す）以上のときに正の値を取り、上記ある値ε未満のときは０を取るものであることとしたので、
同じようなパターンが広範囲に存在するような画像内容や特徴のないフラットな画像のように予測歪の差が小さい場合には、小さい動きベクトルを選択し、不必要に大きいベクトルを選択することを避けるので、画質が向上する。
【００３１】
請求項２の発明によれば、β≧εを満たす所定値βについて、大きさが上記所定値β以上である上記相対位置を表すベクトルに対する上記オフセット値を該歪が取り得る最大値よりも大きな値に設定し、大きさが０である上記相対位置を表すベクトルに対する上記オフセット値を０に設定することにより、動きベクトルとして決定される上記相対位置を表すベクトルの範囲が所定値内に限定され、これにより動きベクトルの範囲が限定されるように構成したので、画像の内容に応じて、容易に動きベクトルの範囲を変更することができる。
【００３２】
請求項３の発明によれば、上記所定値βを２のべき乗とし、この所定値βによって限定される動きベクトルの範囲に応じて、動きベクトルを表現する符号のビット数を切り換え、上記動きベクトルの範囲が狭いほど動きベクトルを表現するビット数を少なくするように構成したので、その動きベクトルの範囲にあったビット数の符号を使うことができるので、動きベクトルの伝送効率が向上する。
【００３５】
【実施例】
実施例１．
以下、この発明の実施例１を図について説明する。図１は、この発明の第１の実施例における映像信号符号化方式を示すブロック図である。図において、図８と同一符号は同一または相当部分を示しており、動き補償予測回路１７ｂの第１の入力には映像信号１０１が与えられ、第２の入力には参照画像１０２が与えられ、第３の入力には入力端子１ａから入力されるオフセット設定信号３０１が与えられる。一方、動き補償予測回路１７ｂの第１の出力１０５はメモリ回路１６の第２の入力に与えられ、第２の出力１０４は切り替え回路１８の第３の入力に与えられ、第３の出力１０６は可変長符号化回路１９ａの第２の入力に与えられる。その他の部分の構成は、図８と同様であるので説明は省略する。
【００３６】
図２は、この発明の実施例１の映像信号符号化方式における動き補償予測回路１７ｂの一構成例を示すブロック図である。図において、図１０と同一符号は同一または相当部分を示す。入力端子１から入力された映像信号１０１は、動きベクトル探索回路３ｂの第１の入力に与えられ、メモリ回路１６から出力された参照画像１０２は、動きベクトル探索回路３ｂの第２の入力に与えられる。
【００３７】
また、入力端子１ａから入力されたオフセット設定信号３０１は、動きベクトル探索回路３ｂの第３の入力に与えられる。動きベクトル探索回路３ｂの第１の出力である動きベクトル２０３は、切り替え回路４ａの第１の入力に与えられる。切り替え回路４ａの第２の入力には０ベクトルが与えられる。動きベクトル探索回路３ｂの第２の出力である予測画像２０４は、切り替え回路４ｂの第１の入力に与えられる。切り替え回路４ｂの第２の入力には、メモリ回路１６から出力される参照画像１０２が与えられる。
【００３８】
動きベクトル探索回路３ｂの第２の出力である予測画像２０４は、歪算出回路５ａの第１の入力にも与えられる。歪算出回路５ａの第２の入力には、入力端子１から入力される映像信号１０１が与えられる。歪算出回路５ａから出力される歪２０５は、比較選択回路６ａの第１の入力に与えられる。
【００３９】
一方、入力端子１から入力された映像信号１０１は、歪算出回路５ｂの第１の入力にも与えられ、メモリ回路１６から出力された参照画像１０２は、歪算出回路５ｂの第２の入力にも与えられる。歪算出回路５ｂから出力される歪２０６は、比較選択回路６ａの第２の入力に与えられる。比較選択回路６ａの第１の出力である選択モード２０７は、比較選択回路６ｂの第１の入力に与えられ、比較選択回路６ａの第２の出力である歪２０８は、比較選択回路６ｂの第２の入力に与えられる。比較選択回路６ａの第１の出力である選択モード２０７は、切り替え回路４ａの第３の入力にも与えられる。切り替え回路４ａの出力である動きベクトル１０６は、可変長符号化回路１９ａに入力される。
【００４０】
また、比較選択回路６ａの第１の出力である選択モード２０７は、切り替え回路４ｂの第３の入力にも与えられる。切り替え回路４ｂの出力である予測画像１０５はメモリ回路１６に入力される。一方、入力端子１から入力される映像信号１０１は、分散算出回路７にも入力される。分散算出回路７から出力される分散２０９は、比較選択回路６ｂの第３の入力に与えられる。比較選択回路６ｂで選択された選択モード１０４は、切り替え回路１８へ入力される。
【００４１】
次に動作について説明する。実施例１は、動き補償予測回路１７ｂにオフセット設定信号３０１を入力することが、従来例と異なる。オフセット設定信号３０１は、大きさαのベクトルに対するオフセット値Ｃ(α)を与える信号である。
例えば、図３に示したように、ベクトルの大きさが８未満なら０、８以上１６未満なら１、１６以上３２未満なら２、３２以上６４未満なら４、６４以上なら８のように設定する。
【００４２】
以下、動き補償予測回路１７ｂの動作を、図２について説明する。まず、動きベクトル探索回路３ｂにおいて、入力画像１０１と参照画像１０２とから動きベクトルを探索する。このとき、入力端子１ａから入力したオフセット設定信号３０１により、各ベクトルの大きさに応じてオフセット値を設定し、歪とオフセット値の和が最小となるベクトルを動きベクトルとして選び、その動きベクトルと予測画像とを出力する。
【００４３】
すなわち、画像のサイズをＩ画素×Ｊラインとし、入力画像をＦ(i,j)（ただし、iは水平方向の画素番号で0≦i＜Ｉ、jは垂直方向の画素番号で0≦j＜Ｊ）と表し、マッチングブロックが互いにオーバーラップしない１６画素×１６ラインとすると、各マッチングブロックはＦ(n*16+i,m*16+j)（0≦i≦15、0≦j≦15）と表せる。ここで、(n,m)はマッチングブロックの位置を表す。この(n,m)番目のマッチングブロックを
Ｍ(i,j)＝Ｆ(n*16+i,m*16+j)（0≦i≦15、0≦j≦15）
とおく。
【００４４】
一方、参照画像をＧ(i,j)（0≦i＜Ｉ、0≦j＜Ｊ）とすると、ベクトル（Ｈ，Ｖ）を動きベクトルとしたときの予測画像ＰH,V(i,j)は、
ＰH,V(i,j)＝Ｇ(n*16+i+Ｈ,m*16+j+Ｖ)
となる。ここで、ベクトル（Ｈ，Ｖ）を動きベクトルとしたときの歪Ｓを、次のような絶対値和で評価する。
【００４５】
【数２】
さらに、ベクトル（Ｈ，Ｖ）の大きさＤ(H,V)を、
Ｄ(H,V)＝max｛｜Ｈ｜，｜Ｖ｜｝
により求め、あらかじめオフセット設定信号３０１により設定したオフセット値を歪Ｓに付加し、オフセットされた歪Ｓ１を求める。
Ｓ１＝Ｓ＋Ｃ（Ｄ(H,V)）
動きベクトル探索回路３ｂは、上記の歪Ｓ１が最小となるベクトル（Ｈ，Ｖ）を動きベクトルに決定し、この動きベクトル（Ｈ，Ｖ）とそのときの予測画像ＰH,V(i,j)を出力する。
【００４７】
次に、歪算出回路５ａにおいて、動きベクトル探索回路３ｂから出力される予測画像２０４と入力画像１０１との誤差の自乗和による歪２０５を、マッチングブロック毎に算出する。この歪２０５をＳＥmcと呼ぶことにする。一方、歪算出回路５ｂにおいては、入力画像１０１と参照画像１０２とから、各マッチングブロックの誤差の自乗和による歪２０６を算出する。この歪２０６をＳＥnomcとする。この歪算出回路５ｂは動きベクトルを０ベクトルとしたときの歪を計算することになる。
【００４８】
比較選択回路６ａは、ＳＥmc＜ＳＥnomcのとき、ＭＣ（動き補償）モードを示す信号２０７と歪ＳＥmcを出力し、ＳＥmc≧ＳＥnomcのときは、ＮｏＭＣ（動き補償なし）モードを示す信号２０７と歪ＳＥnomcを出力する。比較選択回路６ａで選択されたモードがＭＣモードのとき、切り替え回路４ａは、動きベクトル探索回路３ｂで選択された動きベクトル２０３を出力し、切り替え回路４ｂは、動きベクトル探索回路３ｂで選択された予測画像２０４を出力する。一方、比較選択回路６ａで選択されたモードがＮｏＭＣモードのとき、切り替え回路４ａは、０ベクトルを出力し、切り替え回路４ｂは、参照画像１０２を出力する。
【００４９】
さらに、分散算出回路７は、入力信号の各マッチングブロックの分散２０９を算出する。比較選択回路６ｂは、比較選択回路６ａから出力される歪２０８と、分散算出回路７から出力される分散値２０９とを比較し、画像内符号化を行うイントラモードか、比較選択回路６ａから出力される選択モード２０７のいずれかを選択し出力する。
【００５０】
なお、上記実施例１において、動きベクトル探索回路３ｂはベクトル（Ｈ，Ｖ）の大きさＤ(H,V)を、
Ｄ(H,V)＝max｛｜Ｈ｜，｜Ｖ｜｝
により求めるとしたが、ベクトルの大きさの定義はこれに限るものではなく、例えば、
Ｄ(H,V)＝｜Ｈ｜＋｜Ｖ｜
あるいは、
Ｄ(H,V)＝｜Ｈ｜2＋｜Ｖ｜2
あるいは、
Ｄ(H,V)＝｛｜Ｈ｜2＋｜Ｖ｜2｝1/2
としてもよい。
【００５１】
また、上記実施例１において、大きさαのベクトルに対するオフセット値Ｃ(α)は、図３のように設定するとしたが、オフセット値の設定もこれに限るものではなく、例えば、定数ｋを用いて、
Ｃ(α)＝α×ｋ
のように設定してもよい。
また、ベクトル（Ｈ，Ｖ）の大きさを、水平方向の大きさ｜Ｈ｜と垂直方向の大きさ｜Ｖ｜に分けて、｜Ｈ｜と｜Ｖ｜に応じてオフセット値Ｃ’(｜Ｈ｜，｜Ｖ｜)を与えてもよい。
【００５２】
さらに、上記実施例１では、歪Ｓに誤差の絶対値和を用いるとしたが、歪の求め方はこれに限るものではなく、誤差の自乗和などを用いてもよい。
また、歪算出回路５ａ、５ｂで演算する歪も、誤差の自乗和に限るものではなく、誤差の絶対値和、あるいは、誤差の大きさとベクトルの大きさを引数とする関数などでもよい。
【００５３】
実施例２．
上記実施例１において、オフセット値Ｃ(α)は可変としてもよい。特に、動きの少ない画像については、ある値βを決めて、大きさがβ以上であるベクトルに対するオフセット値を、歪Ｓが取り得る値より大きい値に設定することにより、動きベクトルの範囲をβ以内に限定することができる。
【００５４】
例えば、実施例１と同様に、(n,m)番目のマッチングブロックを
Ｍ(i,j)＝Ｆ(n*16+i,m*16+j)（0≦i≦15、0≦j≦15）
とおき、ベクトル（Ｈ，Ｖ）を動きベクトルとしたときの予測画像ＰH,V(i,j)を
ＰH,V(i,j)＝Ｇ(n*16+i+Ｈ,m*16+j+Ｖ)
とおき、そのときの歪Ｓを、
【００５５】
【数３】
で評価する場合、Ｓの最大値は、入力映像信号のレンジの２５６倍である。つまり、入力映像信号が８ビットとすれば、Ｓの最大値は６５５３６である。したがって、例えば、α≧βなるαに対して、
Ｃ(α)＝６５５３７
とし、
Ｃ(０)＝０
とすれば、ベクトル（Ｈ，Ｖ）の大きさがβ以上のとき、オフセットされた歪Ｓ１は、つねに、
Ｓ１＝Ｓ＋Ｃ(Ｄ(H,V))＝Ｓ＋６５５３７＞６５５３６
となる。
【００５７】
一方、０ベクトルに対するオフセットされた歪Ｓ１は、
Ｓ１＝Ｓ＋Ｃ(Ｄ(0,0))＝Ｓ≦６５５３６
となるので、動きベクトル探索回路３ｂは、β以上の大きいベクトルを選択しない。
【００５８】
逆に、オフセット値Ｃ(α)を、この値６５５３７より大きくしても、もはや効果は同じである。つまり、オフセット値Ｃ(α)の最大値は６５５３７としてよい。
以上のことから、オフセット値Ｃ(α)の値を最大値に設定することにより、Ｈ／Ｗを変更することなく、動きベクトルの探索範囲を変えることができる。
【００５９】
実施例３．
以下、この発明の実施例３を図について説明する。図４は、実施例３における映像信号符号化方式を示すブロック図である。図において、図１と同一符号は同一または相当部分を示しており、１９ｂは可変長符号化回路で、可変長符号化回路１９ｂの第３の入力に、入力端子１ａから入力されるオフセット設定信号３０１が与えられる点が実施例１と異なり、その他の部分の構成は実施例１と同様であるので説明は省略する。
【００６０】
図５は、この発明の実施例３の映像信号符号化方式における可変長符号化回路１９ｂの一構成例を示すブロック図である。図において、図１１と同一符号は同一または相当部分を示しており、２１はオフセット設定信号３０１が入力される検出器、３１ｂはこの検出器２１の出力が第２の入力として入力される可変長符号選択器で、その他の部分の構成は図１１と同様であるので説明は省略する。
【００６１】
次に動作について説明する。実施例３は、可変長符号化回路１９ｂにもオフセット設定信号３０１を入力する点が、実施例１と異なる。実施例１で述べたように、オフセット設定信号３０１は、大きさαのベクトルに対するオフセット値Ｃ(α)を設定するための信号で、動き補償予測回路１７ｂにおいて動きベクトルを探索するときに、各ベクトルを動きベクトルとしたときの歪Ｓに、このオフセット値Ｃ(α)を加算して、その値の大小比較により動きベクトルを決定する。
この動き補償予測回路１７ｂの動作は実施例１，２と同様である。特に、実施例２で説明したように、大きさがβ以上のベクトルに対するオフセット値を最大値に設定すると、β以上の大きいベクトルは選択されなくなるので、βの値を８、１６、３２、６４など２のべき乗に設定して、動きベクトルの範囲を制限し、その範囲に従って、可変長符号化回路１９ｂにおける動きベクトルの符号を切り換える。
【００６２】
以下、可変長符号化回路１９ｂの動作を、図５について説明する。まず、検出器２１は、オフセット設定信号３０１で規定されるオフセット値Ｃ(α)から、動きベクトルの範囲の制限を検出し、動きベクトルの範囲を出力する。一方、動き補償予測回路１７ｂから出力される各マッチングブロックの動きベクトル１０６は、前のマッチングブロックの動きベクトルとの差分がとられ、その差分ベクトルに対応する可変長符号が、可変長符号選択器３１ｂから出力される。このとき、可変長符号選択器３１ｂは、検出器２１から出力される動きベクトルの範囲に従って、差分ベクトルの符号を選択する。すなわち、例えば、動きベクトルを固定長符号で送るとして、ベクトルの範囲が水平±７画素、垂直±７ラインであれば、動きベクトルの水平、垂直成分を表わすのに、それぞれ４ビットしか必要としない。
【００６３】
ところが、ベクトルの範囲が水平±６３画素、垂直±６３ラインになると、水平、垂直成分を表わすのに、それぞれ７ビット必要となる。可変長符号で送る場合も同様で、動きベクトルの範囲が狭いほどベクトルを表わすのに必要なビット数は減少する。そこで、可変長符号選択器３１ｂは、検出器２１から出力される動きベクトルの範囲に従って、ベクトルを表わす符号を切り換えて出力する。
【００６４】
なお、従来例と同様に、現マッチングブロックがイントラモードのときとＮｏＭＣモードのときは、動きベクトルは符号化されない。前のマッチングブロックがイントラモードのときとＮｏＭＣモードのとき、および、符号化の初期状態などでは、前の動きベクトルの代わりに０ベクトルを用いる。
【００６５】
一方、量子化器１２の出力１０８は、符号化器３４で可変長符号化される。符号化器３４の出力は、可変長符号選択器３１ｂから出力される符号と、検出器２１から出力される動きベクトルの範囲と多重化され、出力される。
【００６６】
実施例４．
以下、この発明の実施例４を図について説明する。図６は、実施例４における映像信号符号化方式を示すブロック図である。図において、図１および図４と同一符号は同一または相当部分を示しており、１７ｃは動き補償予測回路で、その第４の出力６０１が可変長符号化回路１９ｂの第３の入力に与えられる点以外の構成は図１と同様であるので説明は省略する。
【００６７】
図７は、この発明の実施例４の映像信号符号化方式における動き補償予測回路１７ｃの一構成例を示すブロック図である。図において、図２と同一符号は同一または相当部分を示しており、入力端子１から入力された映像信号１０１は、動きベクトル探索回路３ｃの第１の入力に与えられ、メモリ回路１６から出力された参照画像１０２は、動きベクトル探索回路３ｃの第２の入力に与えられ、入力端子１ａから入力されたオフセット設定信号３０１は、動きベクトル探索回路３ｃの第３の入力に与えられる。
【００６８】
一方、動きベクトル探索回路３ｃの第３の出力７０１は、探索範囲設定回路２２に入力され、探索範囲設定回路２２の出力６０１は、可変長符号化回路１９ｂに入力されるとともに、動きベクトル探索回路３ｃの第４の入力に与えられる。その他の部分の構成は図２と同様であるので説明は省略する。
【００６９】
次に動作について説明する。実施例４は、動き補償予測回路１７ｃで探索する動きベクトルの範囲を、画像により適応的に変化させる点が実施例３と異なる。すなわち、図６において、動き補償予測回路１７ｃは、動き補償に用いる動きベクトルを可変の範囲で求めるとともに、常に固定の探索範囲で動きベクトルを探索してその最大値を求め、過去の画像におけるこの動きベクトルの最大値によって現在の画像の可変の動きベクトルの範囲を決定するとともに、その動きベクトルの範囲６０１を可変長符号化回路１９ｂに出力する。可変長符号化回路１９ｂは、実施例３と同様に、動きベクトルの範囲６０１に従って、ベクトルを表わす符号を切り替えて、可変長符号化を行う。以下、この動き補償予測回路１７ｃの動作を図７について説明する。
【００７０】
実施例１と同様に、動きベクトル探索回路３ｃは、入力画像Ｆ(i,j)を互いにオーバーラップしない１６画素×１６ラインのマッチングブロックに分割する。各マッチングブロックは、
Ｍ(i,j)＝Ｆ(n*16+i,m*16+j)（0≦i≦15、0≦j≦15）
と表わせる。ここで、(n,m)はマッチングブロックの位置を表す。一方、参照画像をＧ(i,j)とすると、ベクトル（Ｈ，Ｖ）を動きベクトルとしたときの予測画像ＰH,V(i,j)は、
ＰH,V(i,j)＝Ｇ(n*16+i+Ｈ,m*16+j+Ｖ)
となる。ここで、ベクトル（Ｈ，Ｖ）を動きベクトルとしたときの歪Ｓを、次のような絶対値和で評価する。
【００７１】
【数４】
さらに、ベクトル（Ｈ，Ｖ）の大きさＤ(H,V)を、
Ｄ(H,V)＝max｛｜Ｈ｜，｜Ｖ｜｝
により求め、あらかじめオフセット設定信号３０１により設定したオフセット値を歪Ｓに付加し、オフセットされた歪Ｓ１を求める。
Ｓ１＝Ｓ＋Ｃ（Ｄ(H,V)）
【００７３】
動きベクトル探索回路３ｃは、常に、あらかじめ定められた水平±Mh画素、垂直±Mvラインの範囲で上記の演算を行い、歪Ｓ１が最小となるベクトル（Ｈ，Ｖ）＝（Ｈ’，Ｖ’）を求め、探索範囲設定回路２２へ出力する。
一方、探索範囲設定回路２２から出力される動きベクトルの範囲を水平±Nh画素、垂直±Nvライン（Nh≦Mh、Nv≦Mv）とすると、動きベクトル探索回路３ｃは、
｜Ｈ｜≦Nh、｜Ｖ｜≦Nv
の範囲で、上記歪Ｓ１が最小となるベクトル（Ｈ，Ｖ）も求め、この動きベクトル（Ｈ，Ｖ）とそのときの予測画像ＰH,V(i,j)を第１、第２の出力として出力する。
【００７４】
探索範囲設定回路２２は、動きベクトル探索回路３ｃにおいて固定の探索範囲（水平±Mh画素、垂直±Mvライン）で求めた動きベクトル（Ｈ’，Ｖ’）の各成分の絶対値の最大値を求め、次の画像の動きベクトルの範囲Nh、Nvを決定する。例えば、過去の画像の動きベクトル（Ｈ’，Ｖ’）において、｜Ｈ’｜の最大値が３１、｜Ｖ’｜の最大値が１５であれば、次の画像の動きベクトルの範囲はNh＝３１、Nv＝１５とする。
また、例えば、｜Ｈ’｜の最大値が３０、｜Ｖ’｜の最大値が１４でも、次の画像の動きベクトルの範囲をNh＝３１、Nv＝１５としてよい。また、ｋ，ｌを整数として、｜Ｈ’｜の最大値が２k−１以下で、｜Ｖ’｜の最大値が２ｌ−１以下であれば、次の画像の動きベクトルの範囲をNh＝２k−１、Nv＝２ｌ−１としてよい。
【００７５】
探索範囲設定回路２２は、固定の広い探索範囲で求めた動きベクトルを用いて次の画像の動きベクトルの範囲を決定するので、過去の画像の動きベクトルの範囲を狭くした場合でも、動きが速くなればその大きさを検出することができ、次の画像で動きベクトルの範囲を広げることができる。
また、探索範囲設定回路２２で用いる固定の広い探索範囲による動きベクトルは、動きベクトル探索回路３ｃにおいて、可変の動きベクトル探索範囲による動きベクトルと一緒に求めるので、演算量はほとんど増加しない。他の動作は実施例１および３と同様である。
【００７６】
【発明の効果】
以上のように、請求項１の発明によれば、
入力画像の各ブロックについて、参照画像の複数の部分との間の歪を計算し、
上記参照画像の複数の部分の各々の、上記入力画像ブロックに対する相対位置を表すベクトルの大きさに対応するオフセット値を、上記歪に加算し、その加算の結果が最小となる参照画像の部分の、上記入力画像ブロックに対する上記相対位置を表すベクトルを、動きベクトルと決定することとし、
上記オフセット値は、上記相対位置を表すベクトルの大きさがある値（εと記す）以上のときに正の値を取り、上記ある値ε未満のときは０を取るものであることとしたので、
同じようなパターンが広範囲に存在するような画像内容や特徴のないフラットな画像のように予測歪の差が小さい場合には、小さい動きベクトルを選択し、不必要に大きいベクトルを選択することを避けるので、動きベクトルの符号量が減少し、画質を向上させることができる。
【００７７】
また、請求項２の発明によれば、β≧εを満たす所定値βについて、大きさが上記所定値β以上である上記相対位置を表すベクトルに対する上記オフセット値を該歪が取り得る最大値よりも大きな値に設定し、大きさが０である上記相対位置を表すベクトルに対する上記オフセット値を０に設定することにより、動きベクトルのとして決定される上記相対位置を表すベクトルの範囲が所定値内に限定され、これにより動きベクトルの範囲が限定されるように構成したので、画像の内容に応じて、容易に動きベクトルの範囲を変更することができる。
【００７８】
また、請求項３の発明によれば、上記所定値βを２のべき乗とし、この所定値βによって限定される動きベクトルの範囲に応じて、動きベクトルを表現する符号のビット数を切り換え、上記動きベクトルの範囲が狭いほど動きベクトルを表現するビット数を少なくするように構成したので、動きベクトルの範囲にあったビット数の符号を使うことができ、動きベクトルの伝送効率を向上させることができる。
【図面の簡単な説明】
【図１】 この発明の実施例１の映像信号符号化方式を示すブロック図である。
【図２】 実施例１の映像信号符号化方式における動き補償予測回路の一構成例を示すブロック図である。
【図３】 実施例１の映像信号符号化方式におけるオフセット値の一例を示す図である。
【図４】 この発明の実施例３の映像信号符号化方式を示すブロック図である。
【図５】 実施例３の映像信号符号化方式における可変長符号化回路の一構成例を示すブロック図である。
【図６】 この発明の実施例４の映像信号符号化方式を示すブロック図である。
【図７】 実施例４の映像信号符号化方式における動き補償予測回路の一構成例を示すブロック図である。
【図８】 従来の映像信号符号化方式を示すブロック図である。
【図９】 動き補償予測方式の概略を示す概念図である。
【図１０】 従来の映像信号符号化方式における動き補償予測回路の一例を示すブロック図である。
【図１１】 従来の映像信号符号化方式における可変長符号化回路の一例を示すブロック図である。
【符号の説明】
３ａ，３ｂ，３ｃ 動きベクトル探索回路、４ａ，４ｂ 切り替え回路、５ａ，５ｂ 歪算出回路、６ａ，６ｂ 比較選択回路、７ 分散算出回路、１７ａ，１７ｂ，１７ｃ 動き補償予測回路、１９ａ，１９ｂ，１９ｃ 可変長符号化回路。
Claims (4)
- 入力画像の各ブロックについて、参照画像の複数の部分との間の歪を計算し、
上記参照画像の複数の部分の各々の、上記入力画像ブロックに対する相対位置を表すベクトルの大きさに対応するオフセット値を、上記歪に加算し、その加算の結果が最小となる参照画像の部分の、上記入力画像ブロックに対する上記相対位置を表すベクトルを、動きベクトルと決定する動きベクトル検索方法であって、
上記オフセット値は、上記相対位置を表すベクトルの大きさがある値（εと記す）以上のときに正の値を取り、上記ある値ε未満のときは０を取るものであることを特徴とする動きベクトル検索方法。 - β≧εを満たす所定値βについて、大きさが上記所定値β以上である上記相対位置を表すベクトルに対する上記オフセット値を該歪が取り得る最大値よりも大きな値に設定し、大きさが０である上記相対位置を表すベクトルに対する上記オフセット値を０に設定することにより、動きベクトルとして決定される上記相対位置を表すベクトルの範囲が限定され、これにより動きベクトルの範囲が限定されるように構成したことを特徴とする請求項１記載の動きベクトル検索方法。
- 上記所定値βを２のべき乗とし、上記所定値βによって限定される動きベクトルの範囲に応じて、動きベクトルを表現する符号のビット数を切り換え、上記動きベクトルの範囲が狭いほど動きベクトルを表現する符号のビット数を少なくするように構成したことを特徴とする請求項２記載の動きベクトル検索方法。
- 請求項１乃至３のいずれかの方法によって求められた上記動きベクトルに対応する予測画像と入力映像信号の差分を求め、
上記差分を符号化することを特徴とする映像信号符号化方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28966894A JP3636216B2 (ja) | 1994-11-24 | 1994-11-24 | 動きベクトル検索方法、及び映像信号符号化方法 |
| US08/948,589 US6091460A (en) | 1994-03-31 | 1997-10-10 | Video signal encoding method and system |
| US09/449,494 US6480670B1 (en) | 1994-03-31 | 1999-11-29 | Video signal encoding method and system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28966894A JP3636216B2 (ja) | 1994-11-24 | 1994-11-24 | 動きベクトル検索方法、及び映像信号符号化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08149478A JPH08149478A (ja) | 1996-06-07 |
| JP3636216B2 true JP3636216B2 (ja) | 2005-04-06 |
Family
ID=17746211
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28966894A Expired - Fee Related JP3636216B2 (ja) | 1994-03-31 | 1994-11-24 | 動きベクトル検索方法、及び映像信号符号化方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3636216B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013165340A (ja) * | 2012-02-09 | 2013-08-22 | Sony Corp | 画像処理装置と画像処理方法 |
-
1994
- 1994-11-24 JP JP28966894A patent/JP3636216B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08149478A (ja) | 1996-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5337086A (en) | Image signal coding and decoding apparatus with multiple-process motion compensation | |
| JP2897763B2 (ja) | 動き補償符号化装置、復号化装置、符号化方法及び復号化方法 | |
| EP0676900B1 (en) | Motion compensation for interlaced digital video signals | |
| US5453799A (en) | Unified motion estimation architecture | |
| KR0181034B1 (ko) | 특징점 기반 움직임 추정을 이용한 움직임 벡터 검출 방법 및 장치 | |
| KR100924850B1 (ko) | 동화상 신호의 부호화 방법 및 복호화 방법 | |
| KR100294999B1 (ko) | 디지탈비디오데이타스트림의시간적인압축방법및탐색프로세서 | |
| KR100739281B1 (ko) | 움직임 추정 방법 및 장치 | |
| EP0511778A2 (en) | Multiple frame motion estimation | |
| US20130128980A1 (en) | Motion vector predictive encoding method, motion vector decoding method, predictive encoding apparatus and decoding apparatus, and storage media storing motion vector predictive encoding and decoding programs | |
| JP2866222B2 (ja) | 動き補償予測方式 | |
| KR100247997B1 (ko) | 움직임예측방법 | |
| JP2004336369A (ja) | 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム | |
| KR20000053028A (ko) | 움직임 보상을 이용한 예측 코딩 방법 및 장치 | |
| JP3589480B2 (ja) | 映像信号符号化方式 | |
| EP0921688B1 (en) | Moving vector predictive coding method and moving vector decoding method, and storage medium stored with moving vector predictive coding program and moving vector decoding program | |
| JPH0846969A (ja) | 映像信号符号化方式 | |
| JP3636216B2 (ja) | 動きベクトル検索方法、及び映像信号符号化方法 | |
| JP3355964B2 (ja) | 適応直交変換モード判定方法 | |
| JP3589481B2 (ja) | 映像信号符号化方式 | |
| JPH07336695A (ja) | 動画像の符号化及び復号化方法 | |
| KR100602148B1 (ko) | 1/4픽셀 움직임 벡터를 이용한 동영상 압축방법 | |
| JPH09182081A (ja) | 動き補償予測符号化装置 | |
| JP4932987B2 (ja) | 動きベクトル処理方法 | |
| KR100382540B1 (ko) | 움직임추정방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040525 |
|
| RD07 | Notification of extinguishment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7427 Effective date: 20040527 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040623 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040721 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041019 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041126 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041228 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041228 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080114 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090114 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100114 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |