JP3589481B2 - 映像信号符号化方式 - Google Patents
映像信号符号化方式 Download PDFInfo
- Publication number
- JP3589481B2 JP3589481B2 JP08789594A JP8789594A JP3589481B2 JP 3589481 B2 JP3589481 B2 JP 3589481B2 JP 08789594 A JP08789594 A JP 08789594A JP 8789594 A JP8789594 A JP 8789594A JP 3589481 B2 JP3589481 B2 JP 3589481B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- vector
- circuit
- input
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Description
【０００１】
【産業上の利用分野】
本発明は、映像信号の符号化方式に関し、特に、動きベクトルの大きさを考慮した動き補償を行う符号化方式に関する。
【０００２】
【従来の技術】
映像信号を符号化する場合の高能率符号化方式の一つとして、動き補償予測を用いた画像間予測符号化と画像内変換符号化を組み合わせたハイブリッド符号化方式がある。本従来例も、上記ハイブリッド符号化方式を採用している。図３は、例えば、ＩＳＯ−ＩＥＣ／ＪＴＣ１／ＳＣ２９／ＷＧ１１ ＭＰＥＧ ９２／Ｎ０２４５ Ｔｅｓｔ Ｍｏｄｅｌ ２ に示された従来のハイブリッド符号化方式を用いた符号化装置のブロック回路図である。図において、入力端子１から入力されたディジタル化された映像信号１０１は、減算器１０の第１の入力，動き補償予測回路１７の第１の入力および量子化回路１２の第２の入力に与えられる。減算器１０の出力は、ＤＣＴ回路１１を介して量子化回路１２の第１の入力に与えられる。量子化回路１２の出力１０２は、可変長符号化回路１９の第１の入力に与えられるとともに、逆量子化回路１３に与えられ、逆量子化回路１３の出力はＩＤＣＴ回路１４を介して加算器１５の第１の入力に与えられる。加算器１５の出力はメモリ回路１６の第１の入力に与えられ、メモリ回路１６から出力される参照画像信号１０３は、動き補償予測回路１７の第２の入力および切り替え回路１８の第１の入力に与えられる。メモリ回路１６の第二の入力には、動き補償予測回路１７の第１の出力１０４が与えられる。
【０００３】
一方、切り替え回路１８の第２の入力には、ゼロ信号が与えられ、切り替え回路１８の第３の入力には、動き補償予測回路１７の第２の出力１０５が与えられる。切り替え回路１８の出力１０６は、減算器１０の第２の入力および加算器１５の第２の入力に与えられる。一方、動き補償予測回路１７の第３の出力１０７は可変長符号化回路１９の第２の入力に与えられる。可変長符号化回路１９の出力は送信バッファ２０に入力され、送信バッファ２０の第１の出力は出力端子２より出力される。送信バッファ２０の第２の出力１０８は量子化回路１２の第３の入力に与えられる。
【０００４】
図４は従来の動き補償予測方式を説明するための概念図である。
【０００５】
図５は、図３に示した従来例の動き補償予測回路１７の一構成例を示すブロック図である。図において、入力端子１には入力されたディジタル映像信号１０１が入力され、入力端子１ａにはメモリ回路１６から出力された映像信号１０３が与えられる。入力端子１から入力された映像信号１０１は動きベクトル探索回路３ａの第１の入力に与えられる。入力端子１ａから入力された参照画像信号１０３は、動きベクトル探索回路３ａの第２の入力に与えられる。動きベクトル探索回路３ａから出力される動きベクトル１０９は、切り替え回路４ａの第１の入力に与えられる。切り替え回路４ａの第２の入力には０ベクトルが与えられる。
【０００６】
一方、動きベクトル探索回路３ａから出力される予測画像１１０は、歪算出回路５ａの第１の入力に与えられる。歪算出回路５ａの第２の入力には、入力端子１から入力された映像信号１０１が与えられる。歪算出回路５ａから出力された歪１１１は、比較選択回路７ａの第１の入力に与えられる。
【０００７】
一方、入力端子１から入力された映像信号１０１は、歪算出回路５ｂの第１の入力に与えられ、入力端子１ａから入力された参照画像信号１０３は、歪算出回路５ｂの第２の入力に与えられる。歪算出回路５ｂから出力される歪１１２は、比較選択回路７ａの第２の入力に与えられる。比較選択回路７ａから出力される選択モード１１３は、比較選択回路７ｂの第１の入力に与えられ、比較選択回路７ａから出力される歪１１４は比較選択回路７ｂの第２の入力に与えられる。
【０００８】
また、比較選択回路７ａから出力される選択モード１１３は、切り換え回路４ａの第３の入力にも与えられる。切り替え回路４ａから出力される動きベクトル１０７は、出力端子２ａから可変長符号化回路１９に出力される。
【０００９】
また、動きベクトル探索回路３ａから出力される予測画像１１０は切り替え回路４ｂの第１の入力に与えられ、入力端子１ａから入力された参照画像１０３は切り替え回路４ｂの第２の入力に与えられ、比較選択回路７ａから出力される選択モード１１３は切り替え回路４ｂの第３の入力に与えられる。
【００１０】
切り替え回路４ｂから出力される予測画像１０４は、出力端子２ｂからメモリ回路１６へ出力される。一方、入力端子１から入力された映像信号１０１は、分散算出回路９にも入力され、分散算出回路９の出力１１５は、比較選択回路７ｂの第３の入力に与えられる。比較選択回路７ｂから出力される選択モード１０５は、出力端子２ｃから切り替え回路１８に出力される。
【００１１】
次に動作について説明する。ディジタル化された入力信号は、時間軸方向の冗長度を落とすために動き補償予測を用いて画像間の差分がとられ、空間軸方向にＤＣＴが施される。変換された係数は量子化され、可変長符号化された後に、送信バッファ２０を介して伝送される。
【００１２】
動き補償予測方式の概念図を図４に示した。現在符号化しようとしている画像を、例えば１６画素×１６ラインのマッチングブロックに分割する。個々のマッチングブロックについて、参照画像のどの部分を予測画像とすれば、歪が最も小さくなるかを調べる。すなわち、静止画の場合は、各マッチングブロックと同一位置の１６画素×１６ラインを予測画像とすれば歪は０となる。動画の場合は、例えば、図４中に点線で示した同一位置の１６画素×１６ラインよりも、左に８画素、下に１７画素ずらした斜線部の１６画素×１６ラインのブロックが最も歪が小さいという場合、このブロックを予測画像とするとともに、（−８，１７）を動きベクトルとして伝送する。
【００１３】
以下、図５を用いて、動き補償予測方式について詳しく説明する。まず、動きベクトル探索回路３ａにおいて、入力画像１０１と参照画像１０３とから動きベクトルを探索する。これは、図４で説明したように各マッチングブロックについて、歪が最小となるベクトルを動きベクトルとして選び、その動きベクトルと予測画像とを出力するものである。歪としては、誤差の絶対値和などを用いる。
【００１４】
次に、歪算出回路５ａにおいて、入力画像１０１と動きベクトル探索回路３ａから出力される予測画像１１０との誤差の自乗和による歪を、マッチングブロック毎に算出する。この歪１１１をＳＥｍｃと呼ぶことにする。一方、歪算出回路５ｂにおいては、入力画像１０１と参照画像１０３とから、各マッチングブロックの誤差の自乗和による歪を算出する。この歪１１２をＳＥｎｏｍｃとする。この歪算出回路５ｂは動きベクトルを０ベクトルとしたときの歪を計算することになる。
【００１５】
比較選択回路７ａは、ＳＥｍｃ＜ＳＥｎｏｍｃのとき、ＭＣ（動き補償）モードを示す信号１１３と歪ＳＥｍｃ（１１１）を出力し、ＳＥｍｃ≧ＳＥｎｏｍｃのときは、ＮｏＭＣ（動き補償なし）モードを示す信号１１３と歪ＳＥｎｏｍｃ（１１２）を出力する。比較選択回路７ａで選択されたモードがＭＣモードのとき、切り替え回路４ａは、動きベクトル探索回路３ａで選択された動きベクトル１０９を出力し、切り替え回路４ｂは、動きベクトル探索回路３ａで選択された予測画像１１０を出力する。
【００１６】
一方、比較選択回路７ａで選択されたモードがＮｏＭＣモードのとき、切り替え回路４ａは、０ベクトルを出力し、切り替え回路４ｂは、参照画像１０３を出力する。
【００１７】
さらに、分散算出回路９は、入力映像信号１０１の各マッチングブロックの分散を算出する。比較選択回路７ｂは、比較選択回路７ａから出力される歪１１４と、分散算出回路９から出力される分散値１１５とを比較し、画像内符号化を行うイントラモードか、比較選択回路７ａから出力される選択モードのいずれかを選択し出力する。
【００１８】
ところで、動き補償予測回路１７から出力される動きベクトル１０７は、図６に示す可変長符号化回路１９において符号化される。図６において、動き補償予測回路１７から出力される動きベクトル１０７は、減算器３０の第１の入力となる。減算器３０の出力は可変長符号選択器３１に入力されるとともに、メモリ３２を通して、切り替え器３３の第１の入力にも与えられる。切り替え器３３の第２の入力には０ベクトルが与えられる。切り替え器３３の出力は減算器３０の第２の入力に与えられる。一方、量子化回路１２の出力１０２は、符号化器３４で可変長符号化される。可変長符号選択器３１の出力と符号化器３４の出力は、多重化回路３５で多重化され、送信バッファ２０へ出力される。
【００１９】
図６に示したように、各マッチングブロックの動きベクトルは、前のマッチングブロックの動きベクトルとの差分がとられ、その差分ベクトルに対応する可変長符号が出力される。なお、現マッチングブロックがイントラモードのときとＮｏＭＣモードのときは、動きベクトルは符号化されない。前のマッチングブロックがイントラモードのときとＮｏＭＣモードのとき、および符号化の初期状態などでは、前の動きベクトルの代わりに０ベクトルを用いる。また、差分ベクトルを表す可変長符号は、０ベクトルに近いほど短い符号が割り当てられている。
【００２０】
【発明が解決しようとする課題】
従来の映像信号符号化方式における動き補償予測方式は、動きベクトルの選択において、動きベクトルの伝送効率については全く考慮していないという問題点があり、また、動きベクトルは、予測歪の大小のみによって選択されるので、同じようなパターンが広範囲に存在するような画像内容の場合、予測歪の差が小さいために、実際の動きと異なる遠いブロックを選択し、不必要に大きい動きベクトルを伝送した上、画質劣化を生じるという問題点があった。
【００２１】
この発明は上記のような問題点を解消するためになされたもので、動きベクトルの伝送効率を考慮し、予測歪の差が小さい場合には小さい動きベクトルを優先する動き補償方式を備えた映像信号符号化方式を得ることを目的とする。
【００２２】
【課題を解決するための手段】
請求項１の発明に係る映像信号符号化方法は、
入力映像信号を複数のブロックに分割し、ブロック単位に動きベクトルを求めて、この動きベクトルを基に既に符号化した画像から各ブロックに対する予測画像を作成し、各ブロックと予測画像との差分を符号化する映像信号符号化方法において、
各ブロックの動きベクトルを求めるステップが、探索範囲内のベクトルに対して、そのベクトルを動きベクトルとしたときの当該ブロックと予測画像との差分を評価する第１の評価関数と、当該ベクトルの大きさを評価する第２の評価関数との和を計算し、２つの評価関数の和が最小となるようなベクトルを動きベクトルとして選択することを特徴とする。
【００２３】
請求項６の発明に係る映像信号符号化方法は、
入力映像信号を複数のブロックに分割し、ブロック単位に動きベクトルを求めて、この動きベクトルを基に既に符号化した画像から各ブロックに対する予測画像を作成し、各ブロックと予測画像との差分を符号化する映像信号符号化方法において、
各ブロックの動きベクトルを求めるステップが、探索範囲内のベクトルに対して、そのベクトルを動きベクトルとしたときの当該ブロックと予測画像との差分を評価する第１の評価関数と、当該ベクトルの大きさを評価する第２の評価関数とを計算し、第１、第２の評価関数から動きベクトルを決定するとともに、
上記動きベクトルによる当該ブロックと予測画像との差分の評価値をＳ１、動き補償しない場合の当該ブロックと予測画像との差分の評価値をＳ２としたときに、Ｓ２≦Ｓ１＋Ｋ（Ｋは定数；Ｋ≧０）のときは動きベクトルを０ベクトルに置き換え、動き補償しない予測符号化を行うことを特徴とする。
【００２８】
【作用】
請求項１の発明によれば、探索範囲内のベクトルに対して、そのベクトルを動きベクトルとしたときの当該ブロックと予測画像との差分を評価する第１の評価関数と、当該ベクトルの大きさを評価する第２の評価関数との和を計算し、２つの評価関数の和が最小となるようなベクトルを動きベクトルとして選択することにより、予測歪の差が小さい場合には小さい動きベクトルを選択し、動きベクトルの伝送効率を向上させるとともに、画質劣化を防ぐ。
【００２９】
請求項６の発明によれば、探索された動きベクトルによる当該ブロックと予測画像との差分の評価値をＳ１、動き補償しない場合の当該ブロックと予測画像との差分の評価値をＳ２としたときに、Ｓ２≦Ｓ１＋Ｋ（Ｋは定数；Ｋ≧０）のときは動きベクトルを０ベクトルに置き換え、動き補償しない予測符号化を行うことにより、動きベクトルの伝送効率を向上させる。
【００３０】
【実施例】
実施例１．
以下、この発明の第１の実施例を図について説明する。図１は、この実施例１の動き補償予測回路を示すブロック図である。図において、入力端子１には入力映像信号１０１が、入力端子１ａにはメモリ回路１６からの参照画像１０３がそれぞれ与えられる。入力端子１から入力された映像信号１０１は、動きベクトル探索回路３ａの第１の入力に与えられ、入力端子１ａから入力された参照画像１０３は、動きベクトル探索回路３ａの第２の入力に与えられる。
【００３１】
動きベクトル探索回路３ａの第１の出力である動きベクトル１０９は、切り替え回路４ａの第１の入力に与えられる。切り替え回路４ａの第２の入力には０ベクトルが与えられる。動きベクトル探索回路３ａの第２の出力である予測画像１１０は、切り替え回路４ｂの第１の入力に与えられる。切り替え回路４ｂの第２の入力には、入力端子１ａから入力される参照画像１０３が与えられる。
【００３２】
動きベクトル探索回路３ａの第２の出力である予測画像１１０は、歪算出回路５ａの第１の入力にも与えられる。歪算出回路５ａの第２の入力には、入力端子１から入力される映像信号１０１が与えられる。歪算出回路５ａから出力される歪１１１は、比較選択回路７ｃの第１の入力に与えられる。
【００３３】
一方、入力端子１から入力された映像信号１０１は、歪算出回路５ｂの第１の入力にも与えられ、入力端子１ａから入力された参照画像１０３は、歪算出回路５ｂの第２の入力にも与えられる。歪算出回路５ｂから出力される歪１１２は、比較選択回路７ｃの第２の入力に与えられる。比較選択回路７ｃの第１の出力である選択モード１１６は、比較選択回路７ｂの第１の入力に与えられ、比較選択回路７ｃの第２の出力である歪１１７は、比較選択回路７ｂの第２の入力に与えられる。
【００３４】
比較選択回路７ｃの第１の出力である選択モード１１６は、切り替え回路４ａの第３の入力にも与えられる。切り替え回路４ａの出力である動きベクトル１０７は、出力端子２ａから出力され、可変長符号化回路１９に入力される。また比較選択回路７ｃの第１の出力である選択モード１１６は、切り替え回路４ｂの第３の入力にも与えられる。切り替え回路４ｂの出力である予測画像１０４は出力端子２ｂから出力され、メモリ回路１６に入力される。
【００３５】
一方、入力端子１から入力される映像信号１０１は、分散算出回路９にも入力される。分散算出回路９から出力される分散１１５は、比較選択回路７ｂの第３の入力に与えられる。比較選択回路７ｂで選択された選択モード１０５は出力端子２ｃから出力され、切り替え回路１８へ入力される。
【００３６】
次に動作について説明する。まず、動きベクトル探索回路３ａにおいて、入力画像１０１と参照画像１０３とから動きベクトルを探索する。これは、従来例と同様に、各マッチングブロックについて、歪が最小となるベクトルを動きベクトルとして選び、その動きベクトルと予測画像とを出力するものである。歪としては、誤差の絶対値和などを用いる。次に、歪算出回路５ａにおいて、動きベクトル探索回路３ａから出力される予測画像１１０と入力画像１０１との誤差の自乗和による歪を、マッチングブロック毎に算出する。この歪をＳ１と呼ぶことにする。
【００３７】
一方、歪算出回路５ｂにおいては、入力画像１０１と参照画像１０３とから、各マッチングブロックの誤差の自乗和による歪１１２を算出する。これをＳ２とする。歪算出回路５ｂは、動きベクトルを０ベクトルとしたときの歪を計算することになる。
【００３８】
比較選択回路７ｃは、Ｓ２≦Ｓ１＋Ｋ（Ｋは定数；Ｋ＞０）のとき、ＮｏＭＣモードを示す信号と歪Ｓ２を出力し、Ｓ２＞Ｓ１＋Ｋのとき、ＭＣモードを示す信号と歪Ｓ１を出力する。比較選択回路７ｃから出力される選択モード１１６がＭＣモードのとき、切り替え回路４ａは動きベクトル探索回路３ａで選択された動きベクトル１０９を出力し、切り替え回路４ｂは動きベクトル探索回路３ａで選択された予測画像１１０を出力する。比較選択回路７ｃから出力される選択モード１１６がＮｏＭＣモードのとき、切り替え回路４ａは０ベクトルを出力し、切り替え回路４ｂは、参照画像１０３を出力する。
【００３９】
さらに、分散算出回路９は、入力信号の各マッチングブロックの分散を算出する。比較選択回路７ｂは、比較選択回路７ｃから出力される歪１１７と、分散算出回路９から出力される分散値１１５とを比較し、画像内符号化を行うイントラモードか、比較選択回路７ｃから出力される選択モードのいずれかを選択して出力する。
【００４０】
なお、上記の実施例１において、動きベクトル探索回路３ａは動きベクトルを決定するための評価関数として誤差の絶対値和を用いるとしたが、評価関数はこれに限るものではなく、誤差の自乗和などを用いてもよい。
【００４１】
また、歪算出回路５ａ，５ｂで演算する歪も、誤差の自乗和に限るものではなく、誤差の絶対値和、あるいは、誤差の大きさとベクトルの大きさを引数とする関数などでもよい。
【００４２】
さらに、動きベクトル探索回路３ａで用いる評価関数と歪算出回路５ａで演算する歪が同等の関数である場合、動きベクトル探索回路３ａで演算した評価関数の最小値を第３の出力として出力し、歪算出回路５ａから出力される歪の代わりに用いてもよい。
【００４３】
また、上記実施例１においては、比較選択回路７ｃで用いる定数ＫをＫ＞０としたが、定数Ｋは０も取り得るとし、その値を変化させることにより、画像の内容に応じて０ベクトルの優先の度合を変えることができる。特に、コントラストの低い画像のパンなど、ブロックマッチングにおける歪の差が小さい特殊な画像では、Ｋの値を大きくすると、動きがあるにもかかわらず、０ベクトルが選択され、不必要な画質劣化を招くので、このような画像の場合はＫを小さくするとよい。
【００４４】
実施例２．
以下、この発明の第２の実施例を図について説明する。図２は、この実施例２における動き補償予測回路を示すブロック図である。図において、入力端子１には入力映像信号１０１が、入力端子１ａにはメモリ回路１６からの参照画像１０３がそれぞれ与えられる。入力端子１から入力された映像信号１０１は、動きベクトル探索回路３ｂの第１の入力に与えられ、入力端子１ａから入力される参照画像１０３は、動きベクトル探索回路３ｂの第２の入力に与えられる。動きベクトル探索回路３ｂの第１の出力である動きベクトル１０９は、切り替え回路４ａの第１の入力に与えられる。切り替え回路４ａの第２の入力には、０ベクトルが与えられる。
【００４５】
動きベクトル探索回路３ｂの第２の出力である予測画像１１０は、切り替え回路４ｂの第１の入力に与えられる。切り替え回路４ｂの第２の入力には、入力端子１ａから入力される参照画像１０３が与えられる。動きベクトル探索回路３ｂの第２の出力である予測画像１１０は、歪算出回路５ａの第１の入力にも与えられる。歪算出回路５ａの第２の入力には、入力端子１から入力される映像信号１０１が与えられる。
【００４６】
歪算出回路５ａから出力される歪１１１は、比較選択回路７ｄの第１の入力に与えられる。一方、入力端子１から入力される映像信号１０１は歪算出回路５ｂの第１の入力にも与えられ、入力端子１ａから入力される参照画像１０３は歪算出回路５ｂの第２の入力にも与えられる。歪算出回路５ｂから出力される歪１１２は、比較選択回路７ｄの第２の入力に与えられる。比較選択回路７ｄの第１の出力である選択モード１１８は、比較選択回路７ｂの第１の入力に与えられ、比較選択回路７ｄの第２の出力である歪１１９は、比較選択回路７ｂの第２の入力に与えられる。また、比較選択回路７ｄの第１の出力である選択モード１１８はは、切り替え回路４ａの第３の入力と、切り替え回路４ｂの第３の入力にも与えられる。切り替え回路４ａの出力である動きベクトル１０７は出力端子２ａから出力され、可変長符号化回路１９へ入力される。切り替え回路４ｂから出力される予測画像１０４は、出力端子２ｂから出力され、メモリ回路１６へ入力されるる。また、入力端子１から入力される映像信号１０１は、分散算出回路９にも入力され、分散算出回路９の出力１１５は比較選択回路７ｂの第３の入力に与えられる。比較選択回路７ｂの出力である選択モード１０５は出力端子２ｃから出力され、切り替え回路１８に入力される。
【００４７】
次に動作について説明する。まず、動きベクトル探索回路３ｂは、入力画像１０１と参照画像１０３とから動きベクトルを探索する。すなわち、入力画像を例えば１６画素×１６ラインのマッチングブロックに分割し、各マッチングブロックについて、歪が最小となる動きベクトルを探索する。このとき、歪として、予測誤差だけでなく、動きベクトルの大きさも評価する。
【００４８】
例えば、画像のサイズをＩ画素×Ｊラインとし、入力画像をＦ（ｉ，ｊ） （ただし、ｉ は水平方向の画素番号で０≦ｉ ＜Ｉ、ｊ は垂直方向の画素番号で０≦ｊ ＜Ｊ）と表し、マッチングブロックが互いにオーバーラップしないとすると、各マッチングブロックはＦ（ｎ×１６＋ｉ，ｍ×１６＋ｊ）（０≦ｉ ≦１５、０≦ｊ ≦１５）と表せる。ここで、（ｎ，ｍ） はマッチングブロックの位置を表す。この（ｎ，ｍ） 番目のマッチングブロックを
Ｍ（ｉ，ｊ） ＝Ｆ（ｎ×１６＋ｉ，ｍ×１６＋ｊ）（０≦ｉ ≦１５、０≦ｊ ≦１５）
とおく。
【００４９】
一方、参照画像をＧ（ｉ，ｊ）（０≦ｉ ＜Ｉ、０≦ｊ ＜Ｊ）とすると、ベクトル（Ｈ，Ｖ）を動きベクトルとしたときの予測画像ＰＨ，Ｖ（ｉ，ｊ）は、
ＰＨ，Ｖ（ｉ，ｊ）＝Ｇ（ｎ×１６＋ｉ＋Ｈ，ｍ×１６＋ｊ＋Ｖ）
となる。
【００５０】
ここで、ベクトル（Ｈ，Ｖ）を動きベクトルとしたときの歪Ｓを、次のような評価関数ｆで評価する。
Ｓ＝ｆ（ Ｍ（ｉ，ｊ） ，ＰＨ，Ｖ（ｉ，ｊ），Ｈ，Ｖ）
動きベクトル探索回路３ｂは、上記の評価関数ｆで評価された歪Ｓが最小となるベクトル（Ｈ，Ｖ）を動きベクトルに決定し、この動きベクトル（Ｈ，Ｖ）とそのときの予測画像ＰＨ，Ｖ（ｉ，ｊ）を出力する。
【００５１】
上記の評価関数ｆとしては、例えば、
【００５２】
【数１】
【００５３】
あるいは、
【００５４】
【数２】
【００５５】
あるいは、
【００５６】
【数３】
【００５７】
などを用いる。
【００５８】
歪算出回路５ａは、動きベクトル探索回路３ｂから出力される予測画像ＰＨ，Ｖ（ｉ，ｊ）と入力画像の誤差の自乗和Ｓ１を算出する。
【００５９】
【数４】
【００６０】
一方、歪算出回路５ｂにおいては、入力画像と参照画像Ｇ（ｉ，ｊ） とから、各マッチングブロックの誤差の自乗和による歪Ｓ２を算出する。
【００６１】
【数５】
【００６２】
すなわち、歪算出回路５ｂは動きベクトルを０ベクトルとしたときの歪を計算する。比較選択回路７ｄは、Ｓ１＜Ｓ２のとき、ＭＣモードを示す信号と歪Ｓ１を出力し、Ｓ１≧Ｓ２のとき、ＮｏＭＣモードを示す信号と歪Ｓ２を出力する。比較選択回路７ｄから出力される選択モード１１８がＭＣモードのとき、切り替え回路４ａは動きベクトル探索回路３ｂで選択された動きベクトル１０９を出力し、切り替え回路４ｂは動きベクトル探索回路３ｂで選択された予測画像１１０を出力する。比較選択回路７ｄから出力される選択モード１１８がＮｏＭＣモードのとき、切り替え回路４ａは０ベクトルを出力し、切り替え回路４ｂは、参照画像１０３を出力する。
【００６３】
さらに、分散算出回路９は、入力信号の各マッチングブロックの分散を算出する。比較選択回路７ｂは、比較選択回路７ｄから出力される歪１１９と、分散算出回路９から出力される分散値１１５とを比較し、画像内符号化を行うイントラモードか、比較選択回路７ｄから出力される選択モード１１８のいずれかを選択して切り替え回路１８に出力する。
【００６４】
なお、上記実施例２においては、歪算出回路５ａ，５ｂで演算する歪は誤差の自乗和としたが、歪はこれに限るものではなく、誤差の絶対値和、あるいは、動きベクトル探索回路３ｂと同様にベクトルの大きさも考慮した評価関数でもよい。また、歪算出回路５ａで演算する歪が、動きベクトル探索回路３ｂで動きベクトルを決定するために用いる評価関数と同等の関数である場合、動きベクトル探索回路３ｂで演算した評価関数の最小値を第３の出力として出力し、歪算出回路５ａの出力の代わりに用いてもよい。
【００６５】
また、上記実施例１および実施例２の動き補償予測回路は、互いに構成がよく似ているので、簡単にこれらを組み合わせた動き補償予測回路を構成することができる。さらに、画像内容に従って、実施例１および実施例２の動き補償予測回路または２つを組み合わせた動き補償予測回路を制御信号等により切り換えて用いることもできる。通常の画像においては、実施例２にように、動きベクトル探索回路の評価関数が、動きベクトルの大きさを引数に含むよう構成するほうが、同じようなパターンが広範囲にわたって存在するような画像でも、不必要に大きなベクトルが選択されないので、画質劣化を防ぐとともに、動きベクトルの伝送効率を上げることができる。さらに、実施例１のように、動き補償がある場合と無い場合の予測歪の差が小さい場合には、動き補償をしない画像間予測符号化を選択することにより、動きベクトルの伝送効率を確実にあげることができる。
【００６６】
しかし、コントラストの低い画像のパンなどブロックマッチングにおける歪の差が小さい特殊な画像では、動きベクトル探索回路は動きベクトルの大きさを評価しない評価関数を用いることにより、０ベクトルを優先せず、不必要な画質劣化を防ぐことができる。また、このような画像においても、ブロックマッチングの歪の大きさに応じて定数Ｋを決め、動き補償がある場合と無い場合の予測歪の差がＫ以下であれば、動き補償をしない画像間予測符号化を選択することにより、動きベクトルの伝送効率を改善することができる。
【００６９】
【発明の効果】
以上のように、請求項１の発明によれば、探索範囲内のベクトルに対して、そのベクトルを動きベクトルとしたときの当該ブロックと予測画像との差分を評価する第１の評価関数と、当該ベクトルの大きさを評価する第２の評価関数との和を計算し、２つの評価関数の和が最小となるようなベクトルを動きベクトルとして選択するので、予測歪の差が小さい場合には小さい動きベクトルを選択し、動きベクトルの伝送効率を向上させるとともに、画質劣化を防ぐことができる。
【００７０】
また、請求項６の発明によれば、探索範囲内のベクトルに対して、そのベクトルを動きベクトルとしたときの当該ブロックと予測画像との差分を評価する第１の評価関数と、当該ベクトルの大きさを評価する第２の評価関数とを計算し、第１、第２の評価関数から動きベクトルを決定することにより、動きベクトルの伝送効率を向上させることができる。また、探索された動きベクトルによる当該ブロックと予測画像との差分の評価値をＳ１、動き補償しない場合の当該ブロックと予測画像との差分の評価値をＳ２としたときに、Ｓ２≦Ｓ１＋Ｋ（Ｋは定数；Ｋ≧０）のときは動きベクトルを０ベクトルに置き換え、動き補償しない予測符号化を行うことにより、動きベクトルの伝送効率を確実に向上させることができる。
【図面の簡単な説明】
【図１】この発明の映像信号符号化方式を適用した符号化装置の動き補償予測回路の第１の実施例を示すブロック図である。
【図２】この発明の映像信号符号化方式を適用した符号化装置の動き補償予測回路の第２の実施例を示す概略ブロック図である。
【図３】従来の映像信号符号化方式を適用した映像信号処理回路を示すブロック図である。
【図４】従来の動き補償予測方式を説明するための概念図である。
【図５】従来の映像信号符号化方式を適用した符号化装置の動き補償予測回路を示すブロック図である。
【図６】従来の映像信号符号化方式を適用した符号装置の動きベクトルの可変長符号化回路を示すブロック図である。
【符号の説明】
３ 動きベクトル探索回路
４ 切り替え回路
５ 歪算出回路
７ 比較選択回路
９ 分散算出回路
１０ 減算器
１１ ＤＣＴ回路
１２ 量子化回路
１３ 逆量子化回路
１４ ＩＤＣＴ回路
１５ 加算器
１６ メモリ回路
１７ 動き補償予測回路
１８ 切り替え回路
１９ 可変長符号化回路
２０ 送信バッファ
【産業上の利用分野】
本発明は、映像信号の符号化方式に関し、特に、動きベクトルの大きさを考慮した動き補償を行う符号化方式に関する。
【０００２】
【従来の技術】
映像信号を符号化する場合の高能率符号化方式の一つとして、動き補償予測を用いた画像間予測符号化と画像内変換符号化を組み合わせたハイブリッド符号化方式がある。本従来例も、上記ハイブリッド符号化方式を採用している。図３は、例えば、ＩＳＯ−ＩＥＣ／ＪＴＣ１／ＳＣ２９／ＷＧ１１ ＭＰＥＧ ９２／Ｎ０２４５ Ｔｅｓｔ Ｍｏｄｅｌ ２ に示された従来のハイブリッド符号化方式を用いた符号化装置のブロック回路図である。図において、入力端子１から入力されたディジタル化された映像信号１０１は、減算器１０の第１の入力，動き補償予測回路１７の第１の入力および量子化回路１２の第２の入力に与えられる。減算器１０の出力は、ＤＣＴ回路１１を介して量子化回路１２の第１の入力に与えられる。量子化回路１２の出力１０２は、可変長符号化回路１９の第１の入力に与えられるとともに、逆量子化回路１３に与えられ、逆量子化回路１３の出力はＩＤＣＴ回路１４を介して加算器１５の第１の入力に与えられる。加算器１５の出力はメモリ回路１６の第１の入力に与えられ、メモリ回路１６から出力される参照画像信号１０３は、動き補償予測回路１７の第２の入力および切り替え回路１８の第１の入力に与えられる。メモリ回路１６の第二の入力には、動き補償予測回路１７の第１の出力１０４が与えられる。
【０００３】
一方、切り替え回路１８の第２の入力には、ゼロ信号が与えられ、切り替え回路１８の第３の入力には、動き補償予測回路１７の第２の出力１０５が与えられる。切り替え回路１８の出力１０６は、減算器１０の第２の入力および加算器１５の第２の入力に与えられる。一方、動き補償予測回路１７の第３の出力１０７は可変長符号化回路１９の第２の入力に与えられる。可変長符号化回路１９の出力は送信バッファ２０に入力され、送信バッファ２０の第１の出力は出力端子２より出力される。送信バッファ２０の第２の出力１０８は量子化回路１２の第３の入力に与えられる。
【０００４】
図４は従来の動き補償予測方式を説明するための概念図である。
【０００５】
図５は、図３に示した従来例の動き補償予測回路１７の一構成例を示すブロック図である。図において、入力端子１には入力されたディジタル映像信号１０１が入力され、入力端子１ａにはメモリ回路１６から出力された映像信号１０３が与えられる。入力端子１から入力された映像信号１０１は動きベクトル探索回路３ａの第１の入力に与えられる。入力端子１ａから入力された参照画像信号１０３は、動きベクトル探索回路３ａの第２の入力に与えられる。動きベクトル探索回路３ａから出力される動きベクトル１０９は、切り替え回路４ａの第１の入力に与えられる。切り替え回路４ａの第２の入力には０ベクトルが与えられる。
【０００６】
一方、動きベクトル探索回路３ａから出力される予測画像１１０は、歪算出回路５ａの第１の入力に与えられる。歪算出回路５ａの第２の入力には、入力端子１から入力された映像信号１０１が与えられる。歪算出回路５ａから出力された歪１１１は、比較選択回路７ａの第１の入力に与えられる。
【０００７】
一方、入力端子１から入力された映像信号１０１は、歪算出回路５ｂの第１の入力に与えられ、入力端子１ａから入力された参照画像信号１０３は、歪算出回路５ｂの第２の入力に与えられる。歪算出回路５ｂから出力される歪１１２は、比較選択回路７ａの第２の入力に与えられる。比較選択回路７ａから出力される選択モード１１３は、比較選択回路７ｂの第１の入力に与えられ、比較選択回路７ａから出力される歪１１４は比較選択回路７ｂの第２の入力に与えられる。
【０００８】
また、比較選択回路７ａから出力される選択モード１１３は、切り換え回路４ａの第３の入力にも与えられる。切り替え回路４ａから出力される動きベクトル１０７は、出力端子２ａから可変長符号化回路１９に出力される。
【０００９】
また、動きベクトル探索回路３ａから出力される予測画像１１０は切り替え回路４ｂの第１の入力に与えられ、入力端子１ａから入力された参照画像１０３は切り替え回路４ｂの第２の入力に与えられ、比較選択回路７ａから出力される選択モード１１３は切り替え回路４ｂの第３の入力に与えられる。
【００１０】
切り替え回路４ｂから出力される予測画像１０４は、出力端子２ｂからメモリ回路１６へ出力される。一方、入力端子１から入力された映像信号１０１は、分散算出回路９にも入力され、分散算出回路９の出力１１５は、比較選択回路７ｂの第３の入力に与えられる。比較選択回路７ｂから出力される選択モード１０５は、出力端子２ｃから切り替え回路１８に出力される。
【００１１】
次に動作について説明する。ディジタル化された入力信号は、時間軸方向の冗長度を落とすために動き補償予測を用いて画像間の差分がとられ、空間軸方向にＤＣＴが施される。変換された係数は量子化され、可変長符号化された後に、送信バッファ２０を介して伝送される。
【００１２】
動き補償予測方式の概念図を図４に示した。現在符号化しようとしている画像を、例えば１６画素×１６ラインのマッチングブロックに分割する。個々のマッチングブロックについて、参照画像のどの部分を予測画像とすれば、歪が最も小さくなるかを調べる。すなわち、静止画の場合は、各マッチングブロックと同一位置の１６画素×１６ラインを予測画像とすれば歪は０となる。動画の場合は、例えば、図４中に点線で示した同一位置の１６画素×１６ラインよりも、左に８画素、下に１７画素ずらした斜線部の１６画素×１６ラインのブロックが最も歪が小さいという場合、このブロックを予測画像とするとともに、（−８，１７）を動きベクトルとして伝送する。
【００１３】
以下、図５を用いて、動き補償予測方式について詳しく説明する。まず、動きベクトル探索回路３ａにおいて、入力画像１０１と参照画像１０３とから動きベクトルを探索する。これは、図４で説明したように各マッチングブロックについて、歪が最小となるベクトルを動きベクトルとして選び、その動きベクトルと予測画像とを出力するものである。歪としては、誤差の絶対値和などを用いる。
【００１４】
次に、歪算出回路５ａにおいて、入力画像１０１と動きベクトル探索回路３ａから出力される予測画像１１０との誤差の自乗和による歪を、マッチングブロック毎に算出する。この歪１１１をＳＥｍｃと呼ぶことにする。一方、歪算出回路５ｂにおいては、入力画像１０１と参照画像１０３とから、各マッチングブロックの誤差の自乗和による歪を算出する。この歪１１２をＳＥｎｏｍｃとする。この歪算出回路５ｂは動きベクトルを０ベクトルとしたときの歪を計算することになる。
【００１５】
比較選択回路７ａは、ＳＥｍｃ＜ＳＥｎｏｍｃのとき、ＭＣ（動き補償）モードを示す信号１１３と歪ＳＥｍｃ（１１１）を出力し、ＳＥｍｃ≧ＳＥｎｏｍｃのときは、ＮｏＭＣ（動き補償なし）モードを示す信号１１３と歪ＳＥｎｏｍｃ（１１２）を出力する。比較選択回路７ａで選択されたモードがＭＣモードのとき、切り替え回路４ａは、動きベクトル探索回路３ａで選択された動きベクトル１０９を出力し、切り替え回路４ｂは、動きベクトル探索回路３ａで選択された予測画像１１０を出力する。
【００１６】
一方、比較選択回路７ａで選択されたモードがＮｏＭＣモードのとき、切り替え回路４ａは、０ベクトルを出力し、切り替え回路４ｂは、参照画像１０３を出力する。
【００１７】
さらに、分散算出回路９は、入力映像信号１０１の各マッチングブロックの分散を算出する。比較選択回路７ｂは、比較選択回路７ａから出力される歪１１４と、分散算出回路９から出力される分散値１１５とを比較し、画像内符号化を行うイントラモードか、比較選択回路７ａから出力される選択モードのいずれかを選択し出力する。
【００１８】
ところで、動き補償予測回路１７から出力される動きベクトル１０７は、図６に示す可変長符号化回路１９において符号化される。図６において、動き補償予測回路１７から出力される動きベクトル１０７は、減算器３０の第１の入力となる。減算器３０の出力は可変長符号選択器３１に入力されるとともに、メモリ３２を通して、切り替え器３３の第１の入力にも与えられる。切り替え器３３の第２の入力には０ベクトルが与えられる。切り替え器３３の出力は減算器３０の第２の入力に与えられる。一方、量子化回路１２の出力１０２は、符号化器３４で可変長符号化される。可変長符号選択器３１の出力と符号化器３４の出力は、多重化回路３５で多重化され、送信バッファ２０へ出力される。
【００１９】
図６に示したように、各マッチングブロックの動きベクトルは、前のマッチングブロックの動きベクトルとの差分がとられ、その差分ベクトルに対応する可変長符号が出力される。なお、現マッチングブロックがイントラモードのときとＮｏＭＣモードのときは、動きベクトルは符号化されない。前のマッチングブロックがイントラモードのときとＮｏＭＣモードのとき、および符号化の初期状態などでは、前の動きベクトルの代わりに０ベクトルを用いる。また、差分ベクトルを表す可変長符号は、０ベクトルに近いほど短い符号が割り当てられている。
【００２０】
【発明が解決しようとする課題】
従来の映像信号符号化方式における動き補償予測方式は、動きベクトルの選択において、動きベクトルの伝送効率については全く考慮していないという問題点があり、また、動きベクトルは、予測歪の大小のみによって選択されるので、同じようなパターンが広範囲に存在するような画像内容の場合、予測歪の差が小さいために、実際の動きと異なる遠いブロックを選択し、不必要に大きい動きベクトルを伝送した上、画質劣化を生じるという問題点があった。
【００２１】
この発明は上記のような問題点を解消するためになされたもので、動きベクトルの伝送効率を考慮し、予測歪の差が小さい場合には小さい動きベクトルを優先する動き補償方式を備えた映像信号符号化方式を得ることを目的とする。
【００２２】
【課題を解決するための手段】
請求項１の発明に係る映像信号符号化方法は、
入力映像信号を複数のブロックに分割し、ブロック単位に動きベクトルを求めて、この動きベクトルを基に既に符号化した画像から各ブロックに対する予測画像を作成し、各ブロックと予測画像との差分を符号化する映像信号符号化方法において、
各ブロックの動きベクトルを求めるステップが、探索範囲内のベクトルに対して、そのベクトルを動きベクトルとしたときの当該ブロックと予測画像との差分を評価する第１の評価関数と、当該ベクトルの大きさを評価する第２の評価関数との和を計算し、２つの評価関数の和が最小となるようなベクトルを動きベクトルとして選択することを特徴とする。
【００２３】
請求項６の発明に係る映像信号符号化方法は、
入力映像信号を複数のブロックに分割し、ブロック単位に動きベクトルを求めて、この動きベクトルを基に既に符号化した画像から各ブロックに対する予測画像を作成し、各ブロックと予測画像との差分を符号化する映像信号符号化方法において、
各ブロックの動きベクトルを求めるステップが、探索範囲内のベクトルに対して、そのベクトルを動きベクトルとしたときの当該ブロックと予測画像との差分を評価する第１の評価関数と、当該ベクトルの大きさを評価する第２の評価関数とを計算し、第１、第２の評価関数から動きベクトルを決定するとともに、
上記動きベクトルによる当該ブロックと予測画像との差分の評価値をＳ１、動き補償しない場合の当該ブロックと予測画像との差分の評価値をＳ２としたときに、Ｓ２≦Ｓ１＋Ｋ（Ｋは定数；Ｋ≧０）のときは動きベクトルを０ベクトルに置き換え、動き補償しない予測符号化を行うことを特徴とする。
【００２８】
【作用】
請求項１の発明によれば、探索範囲内のベクトルに対して、そのベクトルを動きベクトルとしたときの当該ブロックと予測画像との差分を評価する第１の評価関数と、当該ベクトルの大きさを評価する第２の評価関数との和を計算し、２つの評価関数の和が最小となるようなベクトルを動きベクトルとして選択することにより、予測歪の差が小さい場合には小さい動きベクトルを選択し、動きベクトルの伝送効率を向上させるとともに、画質劣化を防ぐ。
【００２９】
請求項６の発明によれば、探索された動きベクトルによる当該ブロックと予測画像との差分の評価値をＳ１、動き補償しない場合の当該ブロックと予測画像との差分の評価値をＳ２としたときに、Ｓ２≦Ｓ１＋Ｋ（Ｋは定数；Ｋ≧０）のときは動きベクトルを０ベクトルに置き換え、動き補償しない予測符号化を行うことにより、動きベクトルの伝送効率を向上させる。
【００３０】
【実施例】
実施例１．
以下、この発明の第１の実施例を図について説明する。図１は、この実施例１の動き補償予測回路を示すブロック図である。図において、入力端子１には入力映像信号１０１が、入力端子１ａにはメモリ回路１６からの参照画像１０３がそれぞれ与えられる。入力端子１から入力された映像信号１０１は、動きベクトル探索回路３ａの第１の入力に与えられ、入力端子１ａから入力された参照画像１０３は、動きベクトル探索回路３ａの第２の入力に与えられる。
【００３１】
動きベクトル探索回路３ａの第１の出力である動きベクトル１０９は、切り替え回路４ａの第１の入力に与えられる。切り替え回路４ａの第２の入力には０ベクトルが与えられる。動きベクトル探索回路３ａの第２の出力である予測画像１１０は、切り替え回路４ｂの第１の入力に与えられる。切り替え回路４ｂの第２の入力には、入力端子１ａから入力される参照画像１０３が与えられる。
【００３２】
動きベクトル探索回路３ａの第２の出力である予測画像１１０は、歪算出回路５ａの第１の入力にも与えられる。歪算出回路５ａの第２の入力には、入力端子１から入力される映像信号１０１が与えられる。歪算出回路５ａから出力される歪１１１は、比較選択回路７ｃの第１の入力に与えられる。
【００３３】
一方、入力端子１から入力された映像信号１０１は、歪算出回路５ｂの第１の入力にも与えられ、入力端子１ａから入力された参照画像１０３は、歪算出回路５ｂの第２の入力にも与えられる。歪算出回路５ｂから出力される歪１１２は、比較選択回路７ｃの第２の入力に与えられる。比較選択回路７ｃの第１の出力である選択モード１１６は、比較選択回路７ｂの第１の入力に与えられ、比較選択回路７ｃの第２の出力である歪１１７は、比較選択回路７ｂの第２の入力に与えられる。
【００３４】
比較選択回路７ｃの第１の出力である選択モード１１６は、切り替え回路４ａの第３の入力にも与えられる。切り替え回路４ａの出力である動きベクトル１０７は、出力端子２ａから出力され、可変長符号化回路１９に入力される。また比較選択回路７ｃの第１の出力である選択モード１１６は、切り替え回路４ｂの第３の入力にも与えられる。切り替え回路４ｂの出力である予測画像１０４は出力端子２ｂから出力され、メモリ回路１６に入力される。
【００３５】
一方、入力端子１から入力される映像信号１０１は、分散算出回路９にも入力される。分散算出回路９から出力される分散１１５は、比較選択回路７ｂの第３の入力に与えられる。比較選択回路７ｂで選択された選択モード１０５は出力端子２ｃから出力され、切り替え回路１８へ入力される。
【００３６】
次に動作について説明する。まず、動きベクトル探索回路３ａにおいて、入力画像１０１と参照画像１０３とから動きベクトルを探索する。これは、従来例と同様に、各マッチングブロックについて、歪が最小となるベクトルを動きベクトルとして選び、その動きベクトルと予測画像とを出力するものである。歪としては、誤差の絶対値和などを用いる。次に、歪算出回路５ａにおいて、動きベクトル探索回路３ａから出力される予測画像１１０と入力画像１０１との誤差の自乗和による歪を、マッチングブロック毎に算出する。この歪をＳ１と呼ぶことにする。
【００３７】
一方、歪算出回路５ｂにおいては、入力画像１０１と参照画像１０３とから、各マッチングブロックの誤差の自乗和による歪１１２を算出する。これをＳ２とする。歪算出回路５ｂは、動きベクトルを０ベクトルとしたときの歪を計算することになる。
【００３８】
比較選択回路７ｃは、Ｓ２≦Ｓ１＋Ｋ（Ｋは定数；Ｋ＞０）のとき、ＮｏＭＣモードを示す信号と歪Ｓ２を出力し、Ｓ２＞Ｓ１＋Ｋのとき、ＭＣモードを示す信号と歪Ｓ１を出力する。比較選択回路７ｃから出力される選択モード１１６がＭＣモードのとき、切り替え回路４ａは動きベクトル探索回路３ａで選択された動きベクトル１０９を出力し、切り替え回路４ｂは動きベクトル探索回路３ａで選択された予測画像１１０を出力する。比較選択回路７ｃから出力される選択モード１１６がＮｏＭＣモードのとき、切り替え回路４ａは０ベクトルを出力し、切り替え回路４ｂは、参照画像１０３を出力する。
【００３９】
さらに、分散算出回路９は、入力信号の各マッチングブロックの分散を算出する。比較選択回路７ｂは、比較選択回路７ｃから出力される歪１１７と、分散算出回路９から出力される分散値１１５とを比較し、画像内符号化を行うイントラモードか、比較選択回路７ｃから出力される選択モードのいずれかを選択して出力する。
【００４０】
なお、上記の実施例１において、動きベクトル探索回路３ａは動きベクトルを決定するための評価関数として誤差の絶対値和を用いるとしたが、評価関数はこれに限るものではなく、誤差の自乗和などを用いてもよい。
【００４１】
また、歪算出回路５ａ，５ｂで演算する歪も、誤差の自乗和に限るものではなく、誤差の絶対値和、あるいは、誤差の大きさとベクトルの大きさを引数とする関数などでもよい。
【００４２】
さらに、動きベクトル探索回路３ａで用いる評価関数と歪算出回路５ａで演算する歪が同等の関数である場合、動きベクトル探索回路３ａで演算した評価関数の最小値を第３の出力として出力し、歪算出回路５ａから出力される歪の代わりに用いてもよい。
【００４３】
また、上記実施例１においては、比較選択回路７ｃで用いる定数ＫをＫ＞０としたが、定数Ｋは０も取り得るとし、その値を変化させることにより、画像の内容に応じて０ベクトルの優先の度合を変えることができる。特に、コントラストの低い画像のパンなど、ブロックマッチングにおける歪の差が小さい特殊な画像では、Ｋの値を大きくすると、動きがあるにもかかわらず、０ベクトルが選択され、不必要な画質劣化を招くので、このような画像の場合はＫを小さくするとよい。
【００４４】
実施例２．
以下、この発明の第２の実施例を図について説明する。図２は、この実施例２における動き補償予測回路を示すブロック図である。図において、入力端子１には入力映像信号１０１が、入力端子１ａにはメモリ回路１６からの参照画像１０３がそれぞれ与えられる。入力端子１から入力された映像信号１０１は、動きベクトル探索回路３ｂの第１の入力に与えられ、入力端子１ａから入力される参照画像１０３は、動きベクトル探索回路３ｂの第２の入力に与えられる。動きベクトル探索回路３ｂの第１の出力である動きベクトル１０９は、切り替え回路４ａの第１の入力に与えられる。切り替え回路４ａの第２の入力には、０ベクトルが与えられる。
【００４５】
動きベクトル探索回路３ｂの第２の出力である予測画像１１０は、切り替え回路４ｂの第１の入力に与えられる。切り替え回路４ｂの第２の入力には、入力端子１ａから入力される参照画像１０３が与えられる。動きベクトル探索回路３ｂの第２の出力である予測画像１１０は、歪算出回路５ａの第１の入力にも与えられる。歪算出回路５ａの第２の入力には、入力端子１から入力される映像信号１０１が与えられる。
【００４６】
歪算出回路５ａから出力される歪１１１は、比較選択回路７ｄの第１の入力に与えられる。一方、入力端子１から入力される映像信号１０１は歪算出回路５ｂの第１の入力にも与えられ、入力端子１ａから入力される参照画像１０３は歪算出回路５ｂの第２の入力にも与えられる。歪算出回路５ｂから出力される歪１１２は、比較選択回路７ｄの第２の入力に与えられる。比較選択回路７ｄの第１の出力である選択モード１１８は、比較選択回路７ｂの第１の入力に与えられ、比較選択回路７ｄの第２の出力である歪１１９は、比較選択回路７ｂの第２の入力に与えられる。また、比較選択回路７ｄの第１の出力である選択モード１１８はは、切り替え回路４ａの第３の入力と、切り替え回路４ｂの第３の入力にも与えられる。切り替え回路４ａの出力である動きベクトル１０７は出力端子２ａから出力され、可変長符号化回路１９へ入力される。切り替え回路４ｂから出力される予測画像１０４は、出力端子２ｂから出力され、メモリ回路１６へ入力されるる。また、入力端子１から入力される映像信号１０１は、分散算出回路９にも入力され、分散算出回路９の出力１１５は比較選択回路７ｂの第３の入力に与えられる。比較選択回路７ｂの出力である選択モード１０５は出力端子２ｃから出力され、切り替え回路１８に入力される。
【００４７】
次に動作について説明する。まず、動きベクトル探索回路３ｂは、入力画像１０１と参照画像１０３とから動きベクトルを探索する。すなわち、入力画像を例えば１６画素×１６ラインのマッチングブロックに分割し、各マッチングブロックについて、歪が最小となる動きベクトルを探索する。このとき、歪として、予測誤差だけでなく、動きベクトルの大きさも評価する。
【００４８】
例えば、画像のサイズをＩ画素×Ｊラインとし、入力画像をＦ（ｉ，ｊ） （ただし、ｉ は水平方向の画素番号で０≦ｉ ＜Ｉ、ｊ は垂直方向の画素番号で０≦ｊ ＜Ｊ）と表し、マッチングブロックが互いにオーバーラップしないとすると、各マッチングブロックはＦ（ｎ×１６＋ｉ，ｍ×１６＋ｊ）（０≦ｉ ≦１５、０≦ｊ ≦１５）と表せる。ここで、（ｎ，ｍ） はマッチングブロックの位置を表す。この（ｎ，ｍ） 番目のマッチングブロックを
Ｍ（ｉ，ｊ） ＝Ｆ（ｎ×１６＋ｉ，ｍ×１６＋ｊ）（０≦ｉ ≦１５、０≦ｊ ≦１５）
とおく。
【００４９】
一方、参照画像をＧ（ｉ，ｊ）（０≦ｉ ＜Ｉ、０≦ｊ ＜Ｊ）とすると、ベクトル（Ｈ，Ｖ）を動きベクトルとしたときの予測画像ＰＨ，Ｖ（ｉ，ｊ）は、
ＰＨ，Ｖ（ｉ，ｊ）＝Ｇ（ｎ×１６＋ｉ＋Ｈ，ｍ×１６＋ｊ＋Ｖ）
となる。
【００５０】
ここで、ベクトル（Ｈ，Ｖ）を動きベクトルとしたときの歪Ｓを、次のような評価関数ｆで評価する。
Ｓ＝ｆ（ Ｍ（ｉ，ｊ） ，ＰＨ，Ｖ（ｉ，ｊ），Ｈ，Ｖ）
動きベクトル探索回路３ｂは、上記の評価関数ｆで評価された歪Ｓが最小となるベクトル（Ｈ，Ｖ）を動きベクトルに決定し、この動きベクトル（Ｈ，Ｖ）とそのときの予測画像ＰＨ，Ｖ（ｉ，ｊ）を出力する。
【００５１】
上記の評価関数ｆとしては、例えば、
【００５２】
【数１】
あるいは、
【００５４】
【数２】
あるいは、
【００５６】
【数３】
などを用いる。
【００５８】
歪算出回路５ａは、動きベクトル探索回路３ｂから出力される予測画像ＰＨ，Ｖ（ｉ，ｊ）と入力画像の誤差の自乗和Ｓ１を算出する。
【００５９】
【数４】
一方、歪算出回路５ｂにおいては、入力画像と参照画像Ｇ（ｉ，ｊ） とから、各マッチングブロックの誤差の自乗和による歪Ｓ２を算出する。
【００６１】
【数５】
すなわち、歪算出回路５ｂは動きベクトルを０ベクトルとしたときの歪を計算する。比較選択回路７ｄは、Ｓ１＜Ｓ２のとき、ＭＣモードを示す信号と歪Ｓ１を出力し、Ｓ１≧Ｓ２のとき、ＮｏＭＣモードを示す信号と歪Ｓ２を出力する。比較選択回路７ｄから出力される選択モード１１８がＭＣモードのとき、切り替え回路４ａは動きベクトル探索回路３ｂで選択された動きベクトル１０９を出力し、切り替え回路４ｂは動きベクトル探索回路３ｂで選択された予測画像１１０を出力する。比較選択回路７ｄから出力される選択モード１１８がＮｏＭＣモードのとき、切り替え回路４ａは０ベクトルを出力し、切り替え回路４ｂは、参照画像１０３を出力する。
【００６３】
さらに、分散算出回路９は、入力信号の各マッチングブロックの分散を算出する。比較選択回路７ｂは、比較選択回路７ｄから出力される歪１１９と、分散算出回路９から出力される分散値１１５とを比較し、画像内符号化を行うイントラモードか、比較選択回路７ｄから出力される選択モード１１８のいずれかを選択して切り替え回路１８に出力する。
【００６４】
なお、上記実施例２においては、歪算出回路５ａ，５ｂで演算する歪は誤差の自乗和としたが、歪はこれに限るものではなく、誤差の絶対値和、あるいは、動きベクトル探索回路３ｂと同様にベクトルの大きさも考慮した評価関数でもよい。また、歪算出回路５ａで演算する歪が、動きベクトル探索回路３ｂで動きベクトルを決定するために用いる評価関数と同等の関数である場合、動きベクトル探索回路３ｂで演算した評価関数の最小値を第３の出力として出力し、歪算出回路５ａの出力の代わりに用いてもよい。
【００６５】
また、上記実施例１および実施例２の動き補償予測回路は、互いに構成がよく似ているので、簡単にこれらを組み合わせた動き補償予測回路を構成することができる。さらに、画像内容に従って、実施例１および実施例２の動き補償予測回路または２つを組み合わせた動き補償予測回路を制御信号等により切り換えて用いることもできる。通常の画像においては、実施例２にように、動きベクトル探索回路の評価関数が、動きベクトルの大きさを引数に含むよう構成するほうが、同じようなパターンが広範囲にわたって存在するような画像でも、不必要に大きなベクトルが選択されないので、画質劣化を防ぐとともに、動きベクトルの伝送効率を上げることができる。さらに、実施例１のように、動き補償がある場合と無い場合の予測歪の差が小さい場合には、動き補償をしない画像間予測符号化を選択することにより、動きベクトルの伝送効率を確実にあげることができる。
【００６６】
しかし、コントラストの低い画像のパンなどブロックマッチングにおける歪の差が小さい特殊な画像では、動きベクトル探索回路は動きベクトルの大きさを評価しない評価関数を用いることにより、０ベクトルを優先せず、不必要な画質劣化を防ぐことができる。また、このような画像においても、ブロックマッチングの歪の大きさに応じて定数Ｋを決め、動き補償がある場合と無い場合の予測歪の差がＫ以下であれば、動き補償をしない画像間予測符号化を選択することにより、動きベクトルの伝送効率を改善することができる。
【００６９】
【発明の効果】
以上のように、請求項１の発明によれば、探索範囲内のベクトルに対して、そのベクトルを動きベクトルとしたときの当該ブロックと予測画像との差分を評価する第１の評価関数と、当該ベクトルの大きさを評価する第２の評価関数との和を計算し、２つの評価関数の和が最小となるようなベクトルを動きベクトルとして選択するので、予測歪の差が小さい場合には小さい動きベクトルを選択し、動きベクトルの伝送効率を向上させるとともに、画質劣化を防ぐことができる。
【００７０】
また、請求項６の発明によれば、探索範囲内のベクトルに対して、そのベクトルを動きベクトルとしたときの当該ブロックと予測画像との差分を評価する第１の評価関数と、当該ベクトルの大きさを評価する第２の評価関数とを計算し、第１、第２の評価関数から動きベクトルを決定することにより、動きベクトルの伝送効率を向上させることができる。また、探索された動きベクトルによる当該ブロックと予測画像との差分の評価値をＳ１、動き補償しない場合の当該ブロックと予測画像との差分の評価値をＳ２としたときに、Ｓ２≦Ｓ１＋Ｋ（Ｋは定数；Ｋ≧０）のときは動きベクトルを０ベクトルに置き換え、動き補償しない予測符号化を行うことにより、動きベクトルの伝送効率を確実に向上させることができる。
【図面の簡単な説明】
【図１】この発明の映像信号符号化方式を適用した符号化装置の動き補償予測回路の第１の実施例を示すブロック図である。
【図２】この発明の映像信号符号化方式を適用した符号化装置の動き補償予測回路の第２の実施例を示す概略ブロック図である。
【図３】従来の映像信号符号化方式を適用した映像信号処理回路を示すブロック図である。
【図４】従来の動き補償予測方式を説明するための概念図である。
【図５】従来の映像信号符号化方式を適用した符号化装置の動き補償予測回路を示すブロック図である。
【図６】従来の映像信号符号化方式を適用した符号装置の動きベクトルの可変長符号化回路を示すブロック図である。
【符号の説明】
３ 動きベクトル探索回路
４ 切り替え回路
５ 歪算出回路
７ 比較選択回路
９ 分散算出回路
１０ 減算器
１１ ＤＣＴ回路
１２ 量子化回路
１３ 逆量子化回路
１４ ＩＤＣＴ回路
１５ 加算器
１６ メモリ回路
１７ 動き補償予測回路
１８ 切り替え回路
１９ 可変長符号化回路
２０ 送信バッファ
Claims (7)
- 入力映像信号を複数のブロックに分割し、ブロック単位に動きベクトルを求めて、この動きベクトルを基に既に符号化した画像から各ブロックに対する予測画像を作成し、各ブロックと予測画像との差分を符号化する映像信号符号化方法において、
各ブロックの動きベクトルを求めるステップが、探索範囲内のベクトルに対して、そのベクトルを動きベクトルとしたときの当該ブロックと予測画像との差分を評価する第１の評価関数と、当該ベクトルの大きさを評価する第２の評価関数との和を計算し、２つの評価関数の和が最小となるようなベクトルを動きベクトルとして選択することを特徴とする映像信号符号化方法。 - 入力ベクトルを（Ｈ，Ｖ）と表したときに、上記第２の評価関数が、
｛｜Ｈ｜＋｜Ｖ｜｝×α （αは定数、α＞０）
で表されることを特徴とする請求項１記載の映像信号符号化方法。 - 入力ベクトルを（Ｈ，Ｖ）と表したときに、上記第２の評価関数が、
｛Ｈ ２ ＋Ｖ ２ ｝×β （βは定数、β＞０）
で表されることを特徴とする請求項１記載の映像信号符号化方法。 - 入力ベクトルを（Ｈ，Ｖ）と表したときに、上記第２の評価関数が、
ｍａｘ｛｜Ｈ｜，｜Ｖ｜｝×γ （γは定数、γ＞０）
で表されることを特徴とする請求項１記載の映像信号符号化方法。 - 入力映像信号を複数のブロックに分割し、ブロック単位に動きベクトルを求めて、この動きベクトルを基に既に符号化した画像から各ブロックに対する予測画像を作成し、各ブロックと予測画像との差分を符号化する映像信号符号化装置において、
各ブロックの動きベクトルを求める動きベクトル探索回路が、探索範囲内のベクトルに対して、そのベクトルを動きベクトルとしたときの当該ブロックと予測画像との差分を評価する第１の評価関数と、当該ベクトルの大きさを評価する第２の評価関数との和を計算する手段を備え、２つの評価関数の和が最小となるようなベクトルを動きベクトルとして出力することを特徴とする映像信号符号化装置。 - 入力映像信号を複数のブロックに分割し、ブロック単位に動きベクトルを求めて、この動きベクトルを基に既に符号化した画像から各ブロックに対する予測画像を作成し、各ブロックと予測画像との差分を符号化する映像信号符号化方法において、
各ブロックの動きベクトルを求めるステップが、探索範囲内のベクトルに対して、そのベクトルを動きベクトルとしたときの当該ブロックと予測画像との差分を評価する第１の評価関数と、当該ベクトルの大きさを評価する第２の評価関数とを計算し、第１、第２の評価関数から動きベクトルを決定するとともに、
上記動きベクトルによる当該ブロックと予測画像との差分の評価値をＳ１、動き補償しない場合の当該ブロックと予測画像との差分の評価値をＳ２としたときに、Ｓ２≦Ｓ１＋Ｋ（Ｋは定数；Ｋ≧０）のときは動きベクトルを０ベクトルに置き換え、動き補償しない予測符号化を行うことを特徴とする映像信号符号化方法。 - 入力映像信号を複数のブロックに分割し、ブロック単位に動きベクトルを求めて、この動きベクトルを基に既に符号化した画像から各ブロックに対する予測画像を作成し、各ブロックと予測画像との差分を符号化する映像信号符号化装置において、
探索範囲内のベクトルに対して、そのベクトルを動きベクトルとしたときの当該ブロックと予測画像との差分を評価する第１の評価関数と、当該ベクトルの大きさを評価する第２の評価関数とを計算し、第１、第２の評価関数から動きベクトルを決定する動きベクト ル探索回路と、
上記動きベクトル探索回路から出力される動きベクトルによる当該ブロックと予測画像との差分の評価値Ｓ１を求める第１の歪算出回路と、
動きベクトルを０ベクトルとしたときの当該ブロックと予測画像との差分の評価値Ｓ２を求める第２の歪算出回路と、
上記第１、第２の歪算出回路の出力から、Ｓ２≦Ｓ１＋Ｋ（Ｋは定数；Ｋ≧０）のとき、０ベクトルを動きベクトルとして選択し、Ｓ２＞Ｓ１＋Ｋのときに動きベクトル探索回路から出力される動きベクトルを選択する比較選択回路と
を備えたことを特徴とする映像信号符号化装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08789594A JP3589481B2 (ja) | 1994-03-31 | 1994-03-31 | 映像信号符号化方式 |
| US08/948,589 US6091460A (en) | 1994-03-31 | 1997-10-10 | Video signal encoding method and system |
| US09/449,494 US6480670B1 (en) | 1994-03-31 | 1999-11-29 | Video signal encoding method and system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08789594A JP3589481B2 (ja) | 1994-03-31 | 1994-03-31 | 映像信号符号化方式 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07274182A JPH07274182A (ja) | 1995-10-20 |
| JP3589481B2 true JP3589481B2 (ja) | 2004-11-17 |
Family
ID=13927628
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP08789594A Expired - Fee Related JP3589481B2 (ja) | 1994-03-31 | 1994-03-31 | 映像信号符号化方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3589481B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002101416A (ja) * | 2000-09-25 | 2002-04-05 | Fujitsu Ltd | 画像制御装置 |
| KR100787655B1 (ko) * | 2003-12-22 | 2007-12-21 | 닛본 덴끼 가부시끼가이샤 | 동화상을 부호화하는 방법 및 장치 |
| WO2006001485A1 (ja) * | 2004-06-29 | 2006-01-05 | Sony Corporation | 動き予測補償方法及び動き予測補償装置 |
| JP6468703B2 (ja) * | 2013-12-20 | 2019-02-13 | キヤノン株式会社 | 動き検出装置、動き検出方法及びプログラム |
-
1994
- 1994-03-31 JP JP08789594A patent/JP3589481B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07274182A (ja) | 1995-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3844844B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
| US5337086A (en) | Image signal coding and decoding apparatus with multiple-process motion compensation | |
| JP2897763B2 (ja) | 動き補償符号化装置、復号化装置、符号化方法及び復号化方法 | |
| KR0181034B1 (ko) | 특징점 기반 움직임 추정을 이용한 움직임 벡터 검출 방법 및 장치 | |
| US20130128980A1 (en) | Motion vector predictive encoding method, motion vector decoding method, predictive encoding apparatus and decoding apparatus, and storage media storing motion vector predictive encoding and decoding programs | |
| JPH10136375A (ja) | 動画像の動き補償方法 | |
| JPH08251601A (ja) | 動きベクトルを符号化又は復号化する方法及び装置 | |
| EP1449384A2 (en) | Reduced-complexity video decoding using larger pixel-grid motion compensation | |
| KR20040077774A (ko) | 화상 정보 부호화 장치 및 방법, 및 화상 정보 복호 장치및 방법 | |
| US6205178B1 (en) | Method and synthesizing a predicted image, video coding device and video coding method | |
| JP3589480B2 (ja) | 映像信号符号化方式 | |
| JPH10276439A (ja) | 領域統合が可能な動き補償フレーム間予測方式を用いた動画像符号化・復号化装置 | |
| JPH0775111A (ja) | デジタル信号符号化装置 | |
| JP3589481B2 (ja) | 映像信号符号化方式 | |
| JPH07336695A (ja) | 動画像の符号化及び復号化方法 | |
| JPH07240944A (ja) | ステレオ画像符号化装置 | |
| JP4153150B2 (ja) | 動画像符号化データのトランスコーディング方法およびトランスコーディング装置 | |
| JP2947103B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
| JP3738511B2 (ja) | 動画像符号化方式 | |
| JPH09322175A (ja) | 動画像復号化方法及び装置 | |
| JP3636216B2 (ja) | 動きベクトル検索方法、及び映像信号符号化方法 | |
| KR100240620B1 (ko) | 양방향의 반화소 움직임 추정을 위한 대칭 탐색 윈도우를 형성하는 방법 및 장치 | |
| JPH09182081A (ja) | 動き補償予測符号化装置 | |
| JPH04369192A (ja) | 画像符号化方法及び装置 | |
| JP4359273B2 (ja) | 符号化モード選択方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040817 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040817 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070827 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080827 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080827 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090827 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090827 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100827 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110827 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |