JP3589480B2 - 映像信号符号化方式 - Google Patents
映像信号符号化方式 Download PDFInfo
- Publication number
- JP3589480B2 JP3589480B2 JP8789494A JP8789494A JP3589480B2 JP 3589480 B2 JP3589480 B2 JP 3589480B2 JP 8789494 A JP8789494 A JP 8789494A JP 8789494 A JP8789494 A JP 8789494A JP 3589480 B2 JP3589480 B2 JP 3589480B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- block
- vector
- circuit
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Analysis (AREA)
Description
【産業上の利用分野】
本発明は、映像信号の符号化方式に関し、特に、映像信号の隣接ブロック間の動きベクトルを考慮した動き補償を行う符号化方式に関する。
【0002】
【従来の技術】
映像信号を符号化する場合の高能率符号化方式の一つとして、動き補償予測を用いた画像間予測符号化と画像内変換符号化を組み合わせたハイブリッド符号化方式がある。本従来例も、上記ハイブリッド符号化方式を採用している。図3は、例えば、ISO−IEC/JTC1/SC29/WG11 MPEG 92/N0245 Test Model 2 に示された従来のハイブリッド符号化方式を用いた符号化装置のブロック回路図である。図において、入力端子1から入力されたディジタル化された映像信号101は、減算器10の第1の入力,動き補償予測回路17の第1の入力および量子化回路12の第2の入力に与えられる。減算器10の出力は、DCT回路11を介して量子化回路12の第1の入力に与えられる。量子化回路12の出力102は、可変長符号化回路19の第1の入力に与えられるとともに、逆量子化回路13に与えられ、逆量子化回路13の出力はIDCT回路14を介して加算器15の第1の入力に与えられる。加算器15の出力はメモリ回路16の第1の入力に与えられ、メモリ回路16から出力される参照画像信号103は、動き補償予測回路17の第2の入力および切り替え回路18の第1の入力に与えられる。メモリ回路16の第二の入力には、動き補償予測回路17の第1の出力104が与えられる。
【0003】
一方、切り替え回路18の第2の入力には、ゼロ信号が与えられ、切り替え回路18の第3の入力には、動き補償予測回路17の第2の出力105が与えられる。切り替え回路18の出力106は、減算器10の第2の入力および加算器15の第2の入力に与えられる。一方、動き補償予測回路17の第3の出力107は可変長符号化回路19の第2の入力に与えられる。可変長符号化回路19の出力は送信バッファ20に入力され、送信バッファ20の第1の出力は出力端子2より出力される。送信バッファ20の第2の出力108は量子化回路12の第3の入力に与えられる。
【0004】
図4は従来の動き補償予測方式を説明するための概念図である。
【0005】
図5は、図3に示した従来例の動き補償予測回路17の一構成例を示すブロック図である。図において、入力端子1には入力されたディジタル映像信号101が入力され、入力端子1aにはメモリ回路16から出力された映像信号103が与えられる。入力端子1から入力された映像信号101は動きベクトル探索回路3aの第1の入力に与えられる。入力端子1aから入力された参照画像信号103は、動きベクトル探索回路3aの第2の入力に与えられる。動きベクトル探索回路3aから出力される動きベクトル109は、切り替え回路4aの第1の入力に与えられる。切り替え回路4aの第2の入力には0ベクトルが与えられる。
【0006】
一方、動きベクトル探索回路3aから出力される予測画像110は、歪算出回路5aの第1の入力に与えられる。歪算出回路5aの第2の入力には、入力端子1から入力された映像信号101が与えられる。歪算出回路5aから出力された歪111は、比較選択回路7aの第1の入力に与えられる。
【0007】
一方、入力端子1から入力された映像信号101は、歪算出回路5bの第1の入力に与えられ、入力端子1aから入力された参照画像信号103は、歪算出回路5bの第2の入力に与えられる。歪算出回路5bから出力される歪112は、比較選択回路7aの第2の入力に与えられる。比較選択回路7aから出力される選択モード113は、比較選択回路7bの第1の入力に与えられ、比較選択回路7aから出力される歪114は、比較選択回路7bの第2の入力に与えられる。
【0008】
また、比較選択回路7aから出力される選択モード113は、切り換え回路4aの第3の入力にも与えられる。切り替え回路4aから出力される動きベクトル107は、出力端子2aから可変長符号化回路19に出力される。
【0009】
また、動きベクトル探索回路3aから出力される予測画像110は切り替え回路4bの第1の入力に与えられ、入力端子1aから入力された参照画像103は切り替え回路4bの第2の入力に与えられ、比較選択回路7aから出力される選択モード113は切り替え回路4bの第3の入力に与えられる。
【0010】
切り替え回路4bから出力される予測画像104は、出力端子2bからメモリ回路16へ出力される。一方、入力端子1から入力された映像信号101は、分散算出回路9にも入力され、分散算出回路9の出力115は、比較選択回路7bの第3の入力に与えられる。比較選択回路7bから出力される選択モード105は、出力端子2cから切り替え回路18に出力される。
【0011】
次に動作について説明する。ディジタル化された入力信号は、時間軸方向の冗長度を落とすために動き補償予測を用いて画像間の差分がとられ、空間軸方向にDCTが施される。変換された係数は量子化され、可変長符号化された後に、送信バッファ20を介して伝送される。
【0012】
動き補償予測方式の概念図を図4に示した。現在符号化しようとしている画像を、例えば16画素×16ラインのマッチングブロックに分割する。個々のマッチングブロックについて、参照画像のどの部分を予測画像とすれば、歪が最も小さくなるかを調べる。すなわち、静止画の場合は、各マッチングブロックと同一位置の16画素×16ラインを予測画像とすれば歪は0となる。動画の場合は、例えば、図4中に点線で示した同一位置の16画素×16ラインよりも、左に8画素、下に17画素ずらした斜線部の16画素×16ラインのブロックが最も歪が小さいという場合、このブロックを予測画像とするとともに、(−8,17)を動きベクトルとして伝送する。
【0013】
以下、図5を用いて、動き補償予測方式について詳しく説明する。まず、動きベクトル探索回路3aにおいて、入力画像101と参照画像103とから動きベクトルを探索する。これは、図4で説明したように各マッチングブロックについて、歪が最小となるベクトルを動きベクトルとして選び、その動きベクトルと予8画像とを出力するものである。歪としては、誤差の絶対値和などを用いる。
【0014】
次に、歪算出回路5aにおいて、入力画像101と動きベクトル探索回路3aから出力される予測画像110との誤差の自乗和による歪を、マッチングブロック毎に算出する。この歪111をSEmcと呼ぶことにする。一方、歪算出回路5bにおいては、入力画像101と参照画像103とから、各マッチングブロックの誤差の自乗和による歪を算出する。この歪112をSEnomcとする。この歪算出回路5bは動きベクトルを0ベクトルとしたときの歪を計算することになる。
【0015】
比較選択回路7aは、SEmc<SEnomcのとき、MC(動き補償)モードを示す信号113と歪SEmc(111)を出力し、SEmc≧SEnomcのときは、NoMC(動き補償なし)モードを示す信号113と歪SEnomc(112)を出力する。比較選択回路7aで選択されたモードがMCモードのとき、切り替え回路4aは、動きベクトル探索回路3aで選択された動きベクトル109を出力し、切り替え回路4bは、動きベクトル探索回路3aで選択された予測画像110を出力する。
【0016】
一方、比較選択回路7aで選択されたモードがNoMCモードのとき、切り替え回路4aは、0ベクトルを出力し、切り替え回路4bは、参照画像103を出力する。
【0017】
さらに、分散算出回路9は、入力映像信号101の各マッチングブロックの分散を算出する。比較選択回路7bは、比較選択回路7aから出力される歪114と、分散算出回路9から出力される分散値115とを比較し、画像内符号化を行うイントラモードか、比較選択回路7aから出力される選択モードのいずれかを選択し出力する。
【0018】
ところで、動き補償予測回路17から出力される動きベクトル107は、図6に示す可変長符号化回路19において符号化される。図6において、動き補償予測回路17から出力される動きベクトル107は、減算器30の第1の入力となる。減算器30の出力は可変長符号選択器31に入力されるとともに、メモリ32を通して切り替え器33の第1の入力にも与えられる。切り替え器33の第2の入力には0ベクトルが与えられる。切り替え器33の出力は減算器30の第2の入力に与えられる。一方、量子化回路12の出力102は、符号化器34で可変長符号化される。可変長符号選択器31の出力と符号化器34の出力は、多重化回路35で多重化され、送信バッファ20へ出力される。
【0019】
図6に示したように、各マッチングブロックの動きベクトルは、前のマッチングブロックの動きベクトルとの差分がとられ、その差分ベクトルに対応する可変長符号が出力される。なお、現マッチングブロックがイントラモードのときとNoMCモードのときは、動きベクトルは符号化されない。前のマッチングブロックがイントラモードのときとNoMCモードのとき、および符号化の初期状態などでは、前の動きベクトルの代わりに0ベクトルを用いる。また、差分ベクトルを表す可変長符号は、0ベクトルに近いほど短い符号が割り当てられている。
【0020】
【発明が解決しようとする課題】
従来の映像信号符号化方式における動き補償方式は、隣接ブロック間の動きベクトルのばらつきによる画質劣化を考慮していないという問題点があり、また、動きベクトルの選択は、単にその歪の大小のみに依存し、動きベクトルの伝送における伝送効率については全く考慮されていないという問題点があった。
【0021】
この発明は上記のような問題点を解消するためになされたもので、隣接ブロックにおける動きベクトルを考慮した動き補償方式を備えた映像信号符号化方式を得ることを目的とする。
【0022】
【課題を解決するための手段】
請求項1の発明に係る映像信号符号化方法は、
入力映像信号を複数のブロックに分割し、ブロック単位に動きベクトルを求めて、この動きベクトルを基に既に符号化した画像から各ブロックに対する予測画像を作成し、各ブロックと予測画像との差分を符号化する映像信号符号化方法において、
各ブロックの動きベクトルを求めるステップが、探索範囲内のベクトルに対して、そのベクトルを動きベクトルとしたときの当該ブロックと予測画像との差分を評価する第1の評価関数と、当該ブロックに画面上または時間軸上で隣接する1つまたは複数の既に符号化したブロックの動きベクトルと当該ベクトルとの距離を評価する第2の評価関数との和を計算し、2つの評価関数の和が最小となるようなベクトルを動きベクトルとして選択することを特徴とする。
【0026】
請求項6の発明に係る映像信号符号化方法は、
入力映像信号を複数のブロックに分割し、ブロック単位に動きベクトルを求めて、この動きベクトルを基に既に符号化した画像から各ブロックに対する予測画像を作成し、各ブロックと予測画像との差分を符号化する映像信号符号化方法において、
各ブロックの動きベクトルを求めるステップが、検索範囲内のベクトルに対して、そのベクトルを動きベクトルとしたときの当該ブロックと予測画像との差分を評価する第1の評価関数と、当該ブロックに画面上または時間軸上で隣接する1つまたは複数の既に符号化したブロックの動きベクトルと当該ベクトルとの距離を評価する第2の評価関数とを計算し、第1、第2の評価関数から第1の動きベクトルを決定するとともに、
当該ブロックに画面上または時間軸上で隣接する既に符号化したブロックの動きベクトルを第2の動きベクトルとし、第2の動きベクトルによる当該ブロックと予測画像との差分の評価値をS2、上記第1の動きベクトルによる当該ブロックと予測画像との差分の評価値をS1としたときに、S2≦S1+K(Kは定数;K≧0)のとき、第2の動きベクトルを動きベクトルとして出力し、S2>S1+Kのときに第1の動きベクトルを動きベクトルとして選択することを特徴とする。
【0030】
【作用】
請求項1の発明によれば、動きベクトル探索手段が、画面上で隣接するブロックまたは過去の画面における同一位置に相当するブロックの動きベクトルとの距離を、動きベクトル決定のための評価関数として含むので、隣接ブロック間の動きベクトルのばらつきを抑えて、画質を向上させるとともに、動きベクトルの伝送効率も向上させることができる。
【0031】
請求項6の発明によれば、動きベクトルを決定するための評価関数として、既に符号化した隣接ブロックにおける動きベクトルとの距離を含むことにより、隣接ブロック間の動きベクトルのばらつきを抑えて、画質を向上させるとともに、動きベクトルの伝送効率も向上させることができる。また、探索した動きベクトルによる動き補償予測の歪と、既に符号化した隣接ブロックの動きベクトルによる動き補償予測の歪との差が小さい場合には、既に符号化した隣接ブロックの動きベクトルを用いるよう構成することにより、参照するべき隣接ブロックの動きベクトルが複数ある場合にも、簡単な構成で、動きベクトルの伝送効率を向上させることができる。
【0032】
【実施例】
実施例1.
以下、この発明の第1の実施例を図について説明する。図1は、この実施例1の動き補償予測回路を示す概略ブロック図である。図において、入力端子1には入力映像信号101が、入力端子1aにはメモリ回路16からの参照画像103が、それぞれ与えられる。入力端子1から入力された映像信号101は、動きベクトル探索回路3aの第1の入力に与えられ、入力端子1aから入力された参照画像103は、動きベクトル探索回路3aの第2の入力に与えられる。
【0033】
動きベクトル探索回路3aの第1の出力である動きベクトル109は、切り替え回路4cの第1の入力に与えられる。切り替え回路4cの第2の入力には0ベクトルが与えられ、切り替え回路4cの第3の入力には、切り替え回路4cの出力107が遅延器8を介して入力される。動きベクトル探索回路3aの第2の出力である予測画像110は、切り替え回路4dの第1の入力に与えられる。切り替え回路4dの第2の入力には、入力端子1aから入力される参照画像103が与えられる。
【0034】
動きベクトル探索回路3aの第2の出力である予測画像110は、歪算出回路5aの第1の入力にも与えられる。歪算出回路5aの第2の入力には、入力端子1から入力される映像信号101が与えられる。歪算出回路5aから出力される歪111は、比較選択回路7cの第1の入力に与えられる。
【0035】
一方、入力端子1から入力される映像信号101は、優先ベクトル参照回路6の第1の入力にも与えられ、入力端子1aから入力される参照画像103は、優先ベクトル参照回路6の第2の入力にも与えられる。優先ベクトル参照回路6の第3の入力には、遅延器8から出力されるベクトル116が与えられる。優先ベクトル参照回路6の第1の出力である予測画像117は、切り替え回路4dの第3の入力に与えられる。優先ベクトル参照回路6の第2の出力である歪118は、比較選択回路7cの第2の入力に与えられる。
【0036】
比較選択回路7cの第1の出力である選択モード119は、比較選択回路7dの第1の入力に与えられ、比較選択回路7cの第2の出力である歪120は、比較選択回路7dの第2の入力に与えられる。
【0037】
また、入力端子1から入力された映像信号101は、歪算出回路5bの第1の入力にも与えられ、入力端子1aから入力された参照画像103は、歪算出回路5bの第2の入力にも与えられる。歪算出回路5bから出力される歪112は、比較選択回路7dの第3の入力に与えられる。比較選択回路7dの第1の出力である選択モード121は、比較選択回路7eの第1の入力に与えられ、比較選択回路7dの第2の出力である歪122は、比較選択回路7eの第2の入力に与えられる。
【0038】
比較選択回路7dの第1の出力である選択モード121は、切り替え回路4cの第4の入力にも与えられる。切り替え回路4cの出力である動きベクトル107は出力端子2aより出力され、可変長符号化回路19へ入力される。また、比較選択回路7dの第1の出力である選択モード121は、切り替え回路4dの第4の入力にも与えられる。切り替え回路4dの出力である予測画像104は出力端子2bより出力され、メモリ回路16に入力される。
【0039】
一方、入力端子1から入力される映像信号101は、分散算出回路9にも入力される。分散算出回路9から出力される分散115は、比較選択回路7eの第3の入力に与えられる。比較選択回路7eで選択された選択モード105は、出力端子2cから出力され、切り替え回路18へ入力される。
【0040】
次に動作について説明する。まず、動きベクトル探索回路3aにおいて、入力画像101と参照画像103とから動きベクトルを探索する。これは、従来例と同様に、各マッチングブロックについて、歪が最小となるベクトルを動きベクトルとして選び、その動きベクトルと予測画像とを出力するものである。歪としては、誤差の絶対値和などを用いる。次に、歪算出回路5aにおいて、動きベクトル探索回路3aから出力される予測画像110と入力画像101との誤差の自乗和による歪S1を、マッチングブロック毎に算出する。
【0041】
一方、優先ベクトル参照回路6は、前のマッチングブロックで用いられたベクトルを動きベクトルとしたときの予測画像117を作成し、予測画像117と入力画像101との誤差の自乗和による歪118(S2)を算出する。比較選択回路7cは、S2≦S1+K(Kは定数;K≧0)のとき、優先MCモードを示す信号119とこのときの歪Smc=S2(118)を出力し、S2>S1+Kのとき、通常MCモードを示す信号119とこのときの歪Smc=S1(111)を出力する。
【0042】
一方、歪算出回路5bにおいては、入力画像101と参照画像103とから、各マッチングブロックの誤差の自乗和による歪112を算出する。これをSEnomcとする。歪算出回路5bは、動きベクトルを0ベクトルとしたときの歪を計算することになる。比較選択回路7dは、SEmc<SEnomcのとき、比較選択回路7cから出力されるMCモードを示す信号と歪SEmcを出力し、SEmc≧SEnomcのとき、NoMCモードを示す信号と歪SEnomcを出力する。
【0043】
比較選択回路7dから出力される選択モード121が通常MCモードのとき、切り替え回路4cは動きベクトル探索回路3aで選択された動きベクトル109を出力し、切り替え回路4dは動きベクトル探索回路3aで選択された予測画像110を出力する。また、比較選択回路7dから出力される選択モード121が優先MCモードのとき、切り替え回路4cは遅延器8から出力される前のマッチングブロックで用いた動きベクトル116を出力し、切り替え回路4dは優先ベクトル参照回路6から出力される予測画像117を出力する。また、比較選択回路7dから出力される選択モード121がNoMCモードのとき、切り替え回路4cは0ベクトルを出力し、切り替え回路4dは参照画像103を出力する。
【0044】
さらに、分散算出回路9は、入力映像信号101の各マッチングブロックの分散を算出する。比較選択回路7eは、比較選択回路7dから出力される歪122と、分散算出回路9から出力される分散値115とを比較し、画像内符号化を行うイントラモードか、比較選択回路7dから出力される選択モードのいずれかを選択して出力する。
【0045】
なお、上記の実施例1において、動きベクトル探索回路3aは動きベクトルを決定するための評価関数として誤差の絶対値和を用いるとしたが、評価関数はこれに限るものではなく、誤差の自乗和、あるいは、誤差の大きさとベクトルの大きさを引数とする関数などでもよい。
【0046】
また、歪算出回路5a、5bで演算する歪も、誤差の自乗和に限るものではなく、誤差の絶対値和、あるいは、誤差の大きさとベクトルの大きさを引数とする関数などでもよい。
【0047】
さらに、動きベクトル探索回路3aで用いる評価関数と歪算出回路5aで演算する歪が同等の関数である場合、動きベクトル探索回路3aで演算した評価関数の最小値を第3の出力として出力し、歪算出回路5aから出力される歪の代わりに、用いてもよい。
【0048】
また、上記実施例1においては、直前のマッチングブロックにおける動きベクトルを優先ベクトルとしたが、優先するベクトルはこれに限るものではなく、画面上で当該マッチングブロックに隣接するマッチングブロック、例えば、真上、斜め上、左のマッチングブロック、および、過去の画面における同一位置に相当するマッチングブロックの動きベクトルのうちの1つ、または複数を用いてもよい。
【0049】
また、上記実施例1においては、比較選択回路7cで用いる定数KをK≧0としたが、定数Kは負の値も取り得るとし、その値を変化させることにより、画像の内容に応じて優先ベクトルの優先の度合を変えることができる。特に、画面全体で多数の小さい物体がそれぞれ別の方向に動いているような特殊な画像では、優先ベクトルを選択しないほうがよいので、このような画像の場合はK<0とするとよい。
【0050】
実施例2.
以下、この発明の第2の実施例を図について説明する。図2は、この実施例2における動き補償予測回路を示すブロック図である。図において、入力端子1には入力映像信号101が、入力端子1aにはメモリ回路16から出力される参照画像103が、それぞれ与えられる。入力端子1から入力される映像信号101は、動きベクトル探索回路3bの第1の入力に与えられ、入力端子1aから入力される参照画像103は、動きベクトル探索回路3bの第2の入力に与えられる。
【0051】
動きベクトル探索回路3bの第1の出力である動きベクトル123は、切り替え回路4eの第1の入力に与えられる。切り替え回路4eの第2の入力には、0ベクトルが与えられる。切り替え回路4eから出力される動きベクトル107は、出力端子2aから出力されるとともに、遅延器8を介して動きベクトル探索回路3bの第3の入力に与えられる。
【0052】
動きベクトル探索回路3bの第2の出力である予測画像124は、切り替え回路4fの第1の入力に与えられる。切り替え回路4fの第2の入力には、入力端子1aから入力される参照画像103が与えられる。動きベクトル探索回路3bの第2の出力である予測画像124は、歪算出回路5aの第1の入力にも与えられる。歪算出回路5aの第2の入力には、入力端子1から入力される映像信号101が与えられる。歪算出回路5aから出力される歪125は、比較選択回路7fの第1の入力に与えられる。
【0053】
一方、入力端子1から入力される映像信号101は歪算出回路5bの第1の入力にも与えられ、入力端子1aから入力される参照画像103は歪算出回路5bの第2の入力にも与えられる。歪算出回路5bから出力される歪112は、比較選択回路7fの第2の入力に与えられる。比較選択回路7fの第1の出力である選択モード126は、比較選択回路7gの第1の入力に与えられ、比較選択回路7fの第2の出力である歪127は、比較選択回路7gの第2の入力に与えられる。
【0054】
また、比較選択回路7fの第1の出力である選択モード126は、切り替え回路4eの第3の入力と、切り替え回路4fの第3の入力にも与えられる。切り替え回路4eの出力である動きベクトル107は、出力端子2aから出力され、可変長符号化回路19へ入力される。切り替え回路4fから出力される予測画像104は、出力端子2bから出力され、メモリ回路16へ入力される。
【0055】
また、入力端子1から入力される映像信号101は、分散算出回路9にも入力され、分散算出回路9の出力115は比較選択回路7gの第3の入力に与えられる。比較選択回路7gの出力である選択モード105は、出力端子2cから出力され、切り替え回路18に入力される。
【0056】
次に動作について説明する。まず、動きベクトル探索回路3bは、入力画像101と参照画像103とから動きベクトルを探索する。すなわち、入力画像を例えば16画素×16ラインのマッチングブロックに分割し、各マッチングブロックについて、歪が最小となる動きベクトルを探索する。このとき、歪として、予測誤差だけでなく、遅延器8から入力される直前のマッチングブロックの動きベクトルとの距離も評価する。
【0057】
例えば、画像のサイズをI画素×Jラインとし、入力画像をF(i,j) (ただし、i は水平方向の画素番号で0≦i <I、j は垂直方向の画素番号で0≦j <J)と表し、マッチングブロックが互いにオーバーラップしないとすると、各マッチングブロックはF(n×16+i,m ×16+j)( 0≦i ≦15、0≦j ≦15)と表せる。ここで、(n,m) はマッチングブロックの位置を表す。この(n,m) 番目のマッチングブロックを
M(i,j) =F(n×16+i,m ×16+j)( 0≦i ≦15、0≦j ≦15)
とおく。
【0058】
一方、参照画像をG(i,j)(0≦i <I、0≦j <J)とすると、ベクトル(H,V)を動きベクトルとしたときの予測画像PH,V(i,j)は、
PH,V(i,j)=G(n×16+i +H,m×16+j +V)
となる。
【0059】
ここで、直前のマッチングブロックにおける動きベクトルを(Hp,Vp)とし、ベクトル(H,V)を動きベクトルとしたときの歪Sを、次のような評価関数fで評価する。
S=f( M(i,j) ,PH,V(i,j),H−Hp,V−Vp )
動きベクトル探索回路3bは、上記の評価関数fで評価された歪Sが最小となるベクトル(H,V)を動きベクトルに決定し、この動きベクトル(H,V)とそのときの予測画像PH,V(i,j)を出力する。
【0060】
上記の評価関数fとしては、例えば、
【0061】
【数1】
【0062】
あるいは、
【0063】
【数2】
【0064】
あるいは、
【0065】
【数3】
【0066】
などを用いる。
【0067】
歪算出回路5aは、動きベクトル探索回路3bから出力される予測画像PH,V(i,j)と入力画像の誤差の自乗和SEmcを算出する。
【0068】
【数4】
【0069】
一方、歪算出回路5bにおいては、入力画像と参照画像G(i,j) とから、各マッチングブロックの誤差の自乗和による歪みSEnomcを算出する。
【0070】
【数5】
【0071】
すなわち、歪算出回路5bは動きベクトルを0ベクトルとしたときの歪を計算する。比較選択回路7fは、SEmc<SEnomcのとき、MCモードを示す信号と歪SEmcを出力し、SEmc≧SEnomcのとき、NoMCモードを示す信号と歪SEnomcを出力する。比較選択回路7fから出力される選択モード126がMCモードのとき、切り替え回路4eは動きベクトル探索回路3bで選択された動きベクトル123を出力し、切り替え回路4fは動きベクトル探索回路3bで選択された予測画像124を出力する。比較選択回路7fから出力される選択モード126がNoMCモードのとき、切り替え回路4eは0ベクトルを出力し、切り替え回路4fは、参照画像103を出力する。
【0072】
さらに、分散算出回路9は、入力信号の各マッチングブロックの分散を算出する。比較選択回路7gは、比較選択回路7fから出力される歪127と、分散算出回路9から出力される分散値115とを比較し、画像内符号化を行うイントラモードか、比較選択回路7fから出力される選択モード126のいずれかを選択して切り替え回路18に出力する。
【0073】
なお、上記実施例2においては、歪算出回路5a,5bで演算する歪は誤差の自乗和としたが、歪はこれに限るものではなく、誤差の絶対値和、あるいは、動きベクトル探索回路3bと同様に、前のベクトルとの距離も考慮した評価関数でもよい。また、歪算出回路5aで演算する歪が、動きベクトル探索回路3bで動きベクトルを決定するために用いる評価関数と同等の関数である場合、動きベクトル探索回路3bで演算した評価関数の最小値を第3の出力として出力し、歪算出回路5aの出力の代わりに用いてもよい。
【0074】
また、上記実施例2においては、動きベクトル探索回路3bの評価関数は、直前のマッチングブロックの動きベクトルとの距離を引数に含んだ。しかし、評価関数が引数に含む動きベクトルは、直前のマッチングブロックの動きベクトルに限るものではなく、画面上で当該マッチングブロックに隣接するマッチングブロック、例えば、真上、斜め上、左のマッチングブロック、および、過去の画面における同一位置に相当するマッチングブロックの動きベクトルのうちの1つ、または複数を用いてもよい。
【0075】
また、上記実施例1および実施例2の動き補償予測回路を組み合わせた構成を用いてもよい。特に、実施例2において、動きベクトル探索回路3bの評価関数が、複数の動きベクトルを引数に含むことが、回路構成上、または、処理時間の問題上困難な場合は、動きベクトル探索回路3bの評価関数が含む動きベクトルは1つまたは2つ程度とし、残りの動きベクトルは優先ベクトルとして、複数の優先ベクトル参照回路により、評価することができる。また、動きベクトル探索回路3bの評価関数が歪算出回路5cで演算する歪と同等でない場合、優先ベクトル参照回路を付け加えることで、動きベクトルの伝送効率を重視する構成にすることができる。
【0079】
【発明の効果】
以上のように、請求項1の発明によれば、動きベクトルを決定するための評価関数として、既に符号化した隣接ブロックにおける動きベクトルとの距離を含むので、隣接ブロック間の動きベクトルのばらつきを抑えて、画質を向上させるとともに、動きベクトルの伝送効率を向上させることができる。
【0080】
また、請求項6の発明によれば、動きベクトルを決定するための評価関数として、既に符号化した隣接ブロックにおける動きベクトルとの距離を含むので、隣接ブロック間の動きベクトルのばらつきを抑えて、画質を向上させるとともに、動きベクトルの伝送効率も向上させることができる。また、探索した動きベクトルによる動き補償予測の歪と、既に符号化した隣接ブロックの動きベクトルによる動き補償予測の歪との差が小さい場合には、既に符号化した隣接ブロックの動きベクトルを用いるよう構成するので、参照するべき隣接ブロックの動きベクトルが複数ある場合にも、簡単な構成で、動きベクトルの伝送効率を向上させることができる。
【図面の簡単な説明】
【図1】この発明の映像信号符号化方式を適用した符号化装置の動き補償予測回路の第1の実施例を示すブロック図である。
【図2】この発明の映像信号符号化方式を適用した符号化装置の動き補償予測回路の第2の実施例を示す概略ブロック図である。
【図3】従来の映像信号符号化方式を適用した映像信号処理回路を示すブロック図である。
【図4】従来の動き補償予測方式を説明するための概念図である。
【図5】従来の映像信号符号化方式を適用した符号化装置の動き補償予測回路を示すブロック図である。
【図6】従来の映像信号符号化方式を適用した符号装置の動きベクトルの可変長符号化回路を示すブロック図である。
【符号の説明】
3 動きベクトル探索回路
4 切り替え回路
5 歪算出回路
6 優先ベクトル参照回路
7 比較選択回路
8 遅延器
9 分散算出回路
10 減算器
11 DCT回路
12 量子化回路
13 逆量子化回路
14 IDCT回路
15 加算器
16 メモリ回路
17 動き補償予測回路
18 切り替え回路
19 可変長符号化回路
20 送信バッファ
Claims (7)
- 入力映像信号を複数のブロックに分割し、ブロック単位に動きベクトルを求めて、この動きベクトルを基に既に符号化した画像から各ブロックに対する予測画像を作成し、各ブロックと予測画像との差分を符号化する映像信号符号化方法において、
各ブロックの動きベクトルを求めるステップが、探索範囲内のベクトルに対して、そのベクトルを動きベクトルとしたときの当該ブロックと予測画像との差分を評価する第1の評価関数と、当該ブロックに画面上または時間軸上で隣接する1つまたは複数の既に符号化したブロックの動きベクトルと当該ベクトルとの距離を評価する第2の評価関数との和を計算し、2つの評価関数の和が最小となるようなベクトルを動きベクトルとして選択することを特徴とする映像信号符号化方法。 - 入力ベクトルを(H,V)、当該ブロックに画面上または時間軸上で隣接するブロックの動きベクトルを(Hp,Vp)と表したときに、上記第2の評価関数が、
{|H−Hp|+|V−Vp|}×α (αは定数、α>0)
で表されることを特徴とする請求項1記載の映像信号符号化方法。 - 入力ベクトルを(H,V)、当該ブロックに画面上または時間軸上で隣接するブロックの動きベクトルを(Hp,Vp)と表したときに、上記第2の評価関数が、
{(H−Hp) 2 +(V−Vp) 2 }×β (βは定数、β>0)
で表されることを特徴とする請求項1記載の映像信号符号化方法。 - 入力ベクトルを(H,V)、当該ブロックに画面上または時間軸上で隣接するブロックの動きベクトルを(Hp,Vp)と表したときに、上記第2の評価関数が、
max{|H−Hp|,|V−Vp|}×γ (γは定数、γ>0)
で表されることを特徴とする請求項1記載の映像信号符号化方法。 - 入力映像信号を複数のブロックに分割し、ブロック単位に動きベクトルを求めて、この動きベクトルを基に既に符号化した画像から各ブロックに対する予測画像を作成し、各ブロックと予測画像との差分を符号化する映像信号符号化装置において、
各ブロックの動きベクトルを求める動きベクトル探索回路が、探索範囲内のベクトルに対して、そのベクトルを動きベクトルとしたときの当該ブロックと予測画像との差分を評価する第1の評価関数と、当該ブロックに画面上または時間軸上で隣接する1つまたは複数の既に符号化したブロックの動きベクトルと当該ベクトルとの距離を評価する第2の評価関数との和を計算する手段を備え、2つの評価関数の和が最小となるようなベクトルを動きベクトルとして出力することを特徴とする映像信号符号化装置。 - 入力映像信号を複数のブロックに分割し、ブロック単位に動きベクトルを求めて、この動きベクトルを基に既に符号化した画像から各ブロックに対する予測画像を作成し、各ブロックと予測画像との差分を符号化する映像信号符号化方法において、
各ブロックの動きベクトルを求めるステップが、検索範囲内のベクトルに対して、そのベクトルを動きベクトルとしたときの当該ブロックと予測画像との差分を評価する第1の評価関数と、当該ブロックに画面上または時間軸上で隣接する1つまたは複数の既に符号化したブロックの動きベクトルと当該ベクトルとの距離を評価する第2の評価関数とを計算し、第1、第2の評価関数から第1の動きベクトルを決定するとともに、
当該ブロックに画面上または時間軸上で隣接する既に符号化したブロックの動きベクトルを第2の動きベクトルとし、第2の動きベクトルによる当該ブロックと予測画像との差分の評価値をS2、上記第1の動きベクトルによる当該ブロックと予測画像との差分の評価値をS1としたときに、S2≦S1+K(Kは定数;K≧0)のとき、第2の動きベクトルを動きベクトルとして出力し、S2>S1+Kのときに第1の動きベクトルを動きベ クトルとして選択することを特徴とする映像信号符号化方法。 - 入力映像信号を複数のブロックに分割し、ブロック単位に動きベクトルを求めて、この動きベクトルを基に既に符号化した画像から各ブロックに対する予測画像を作成し、各ブロックと予測画像との差分を符号化する映像信号符号化装置において、
探索範囲内のベクトルに対して、そのベクトルを動きベクトルとしたときの当該ブロックと予測画像との差分を評価する第1の評価関数と、当該ブロックに画面上または時間軸上で隣接する1つまたは複数の既に符号化したブロックの動きベクトルと当該ベクトルとの距離を評価する第2の評価関数とを計算し、第1、第2の評価関数から第1の動きベクトルを決定する動きベクトル探索回路と、
当該ブロックに画面上または時間軸上で隣接する既に符号化したブロックの動きベクトルを第2の動きベクトルとして入力し、第2の動きベクトルによる当該ブロックと予測画像との差分の評価値S2を求める優先ベクトル参照回路と、
上記第1の動きベクトルによる当該ブロックと予測画像との差分の評価値S1を求める歪算出回路と、S2≦S1+K(Kは定数;K≧0)のとき第2の動きベクトルを動きベクトルとして選択し、S2>S1+Kのときに第1の動きベクトルを動きベクトルとして選択する比較選択回路とを備えたことを特徴とする映像信号符号化装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8789494A JP3589480B2 (ja) | 1994-03-31 | 1994-03-31 | 映像信号符号化方式 |
US08/948,589 US6091460A (en) | 1994-03-31 | 1997-10-10 | Video signal encoding method and system |
US09/449,494 US6480670B1 (en) | 1994-03-31 | 1999-11-29 | Video signal encoding method and system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8789494A JP3589480B2 (ja) | 1994-03-31 | 1994-03-31 | 映像信号符号化方式 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH07274181A JPH07274181A (ja) | 1995-10-20 |
JP3589480B2 true JP3589480B2 (ja) | 2004-11-17 |
Family
ID=13927601
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP8789494A Expired - Fee Related JP3589480B2 (ja) | 1994-03-31 | 1994-03-31 | 映像信号符号化方式 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3589480B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012043841A1 (en) * | 2010-09-29 | 2012-04-05 | Sharp Kabushiki Kaisha | Systems for producing a motion vector field |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1034660A2 (en) * | 1998-07-10 | 2000-09-13 | Koninklijke Philips Electronics N.V. | Motion vector processing |
US7003035B2 (en) | 2002-01-25 | 2006-02-21 | Microsoft Corporation | Video coding methods and apparatuses |
US20040001546A1 (en) | 2002-06-03 | 2004-01-01 | Alexandros Tourapis | Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation |
WO2006101126A1 (ja) * | 2005-03-22 | 2006-09-28 | Matsushita Electric Industrial Co., Ltd. | 符号化装置および符号化装置を備えた動画像記録システム |
GB2432068B (en) * | 2005-11-02 | 2010-10-06 | Imagination Tech Ltd | Motion estimation |
JP6131652B2 (ja) * | 2013-03-18 | 2017-05-24 | 富士通株式会社 | 符号化装置、符号化方法、および符号化プログラム |
JP6835337B2 (ja) * | 2019-06-20 | 2021-02-24 | Kddi株式会社 | 画像復号装置、画像復号方法及びプログラム |
JP6914462B2 (ja) * | 2019-06-20 | 2021-08-04 | Kddi株式会社 | 画像復号装置、画像復号方法及びプログラム |
JP7076660B2 (ja) * | 2021-01-20 | 2022-05-27 | Kddi株式会社 | 画像復号装置、画像復号方法及びプログラム |
JP7026276B2 (ja) * | 2021-01-20 | 2022-02-25 | Kddi株式会社 | 画像復号装置、画像復号方法及びプログラム |
-
1994
- 1994-03-31 JP JP8789494A patent/JP3589480B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012043841A1 (en) * | 2010-09-29 | 2012-04-05 | Sharp Kabushiki Kaisha | Systems for producing a motion vector field |
Also Published As
Publication number | Publication date |
---|---|
JPH07274181A (ja) | 1995-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR0181034B1 (ko) | 특징점 기반 움직임 추정을 이용한 움직임 벡터 검출 방법 및 장치 | |
EP1672926B1 (en) | Bi-directional predicting method for video coding/decoding | |
JP2897763B2 (ja) | 動き補償符号化装置、復号化装置、符号化方法及び復号化方法 | |
US20130128980A1 (en) | Motion vector predictive encoding method, motion vector decoding method, predictive encoding apparatus and decoding apparatus, and storage media storing motion vector predictive encoding and decoding programs | |
JP3338460B2 (ja) | 映像信号符号化装置及び映像信号符号化方法 | |
EP1449384A2 (en) | Reduced-complexity video decoding using larger pixel-grid motion compensation | |
US6205178B1 (en) | Method and synthesizing a predicted image, video coding device and video coding method | |
JP3589480B2 (ja) | 映像信号符号化方式 | |
JPH10276439A (ja) | 領域統合が可能な動き補償フレーム間予測方式を用いた動画像符号化・復号化装置 | |
JPH08265765A (ja) | イメージ符号化システムとこれに用いる動き補償装置 | |
JP2004032355A (ja) | 動画像符号化方法,動画像復号方法,動画像符号化装置および動画像復号装置 | |
JPH0775111A (ja) | デジタル信号符号化装置 | |
WO2000005899A1 (en) | Image encoding system | |
JP3589481B2 (ja) | 映像信号符号化方式 | |
JP4000928B2 (ja) | 動き補償装置 | |
JPH07240944A (ja) | ステレオ画像符号化装置 | |
JP2947103B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
JP3738511B2 (ja) | 動画像符号化方式 | |
JP2507199B2 (ja) | 画像符号化方法及び装置 | |
EP1162848A2 (en) | Image encoding device | |
JPH10150665A (ja) | 予測画像の作成方法及び画像符号化方法及び画像符号化装置 | |
JP3636216B2 (ja) | 動きベクトル検索方法、及び映像信号符号化方法 | |
JP4359273B2 (ja) | 符号化モード選択方法 | |
JPH09182081A (ja) | 動き補償予測符号化装置 | |
JPH10191347A (ja) | 動き検出装置、動き検出方法、及び、記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040817 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040817 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070827 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080827 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080827 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090827 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |