JPWO2011061880A1 - 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 - Google Patents
画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 Download PDFInfo
- Publication number
- JPWO2011061880A1 JPWO2011061880A1 JP2011541788A JP2011541788A JPWO2011061880A1 JP WO2011061880 A1 JPWO2011061880 A1 JP WO2011061880A1 JP 2011541788 A JP2011541788 A JP 2011541788A JP 2011541788 A JP2011541788 A JP 2011541788A JP WO2011061880 A1 JPWO2011061880 A1 JP WO2011061880A1
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- vector
- unit
- motion
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/93—Run-length coding
Abstract
予測ベクトル生成部109が、符号化対象ブロックの動きベクトルの推定を行って予測ベクトル125を生成し、可変長符号化部110が動きベクトル117と予測ベクトル125の差分ベクトルを符号化する。予測ベクトル生成部109での予測ベクトル推定の際、予測残差絶対値和122aの小さいブロックにおける信頼性の高い動きベクトル117に対して強い重みを与えて、予測ベクトルの推定精度を向上させる。
Description
この発明は、動画像信号の各フレームを動き予測を用いてマクロブロック単位に予測符号化する画像符号化装置とその方法、並びに符号化した動画像符号化データを復号及び再生する画像復号装置とその方法に関するものである。
従来、MPEGやITU−T H.26x等の国際標準映像符号化方式では、画面を分割したマクロブロックを1つの符号化処理の単位とし、動き補償技術及び直交変換/変換係数量子化技術に基づいて圧縮する方法が採用されている。
動き補償技術とは、ビデオフレーム間に存在する高い相関を利用して、マクロブロック毎に時間方向の信号の冗長度を削減する技術である。この技術を用いる画像符号化装置は、過去に符号化済みの画像を参照画像としてメモリ内に蓄積しておき、参照画像中の所定の探索範囲内で、動き補償予測の対象となっている現マクロブロックと最も差分電力の小さいブロック領域を探索して、現マクロブロックの空間位置と探索結果のブロックの空間位置とのずれを動きベクトルとして符号化する。
動き補償技術により生成された動きベクトルMVは、符号化済みブロックの動きベクトルから符号化対象ブロックの動きベクトルを予測したベクトルを用いて符号化される。画像符号化装置は、下式(1)のように予測されたベクトル(以下、予測ベクトル)PMVと符号化対象ブロックの動きベクトルMVの差分(以下、差分動きベクトルMVD)を可変長符号化する。
MVD=MV−PMV (1)
MVD=MV−PMV (1)
そのため、予測ベクトルPMVが符号化対象ブロックの動きベクトルMVに似たベクトルであればMVDの値は小さくなり、符号量を削減できることになる。
空間予測ベクトルの生成方法としては、例えば非特許文献1に記載された方法がある。図13に、非特許文献1に係る空間予測ベクトルの生成方法を示す。予測ベクトルPMVを算出する対象のマクロブロックが、図13に示すようなカレントマクロブロック(図13中のcurrent MB)である場合、そのカレントマクロブロックの左横、上、右上にそれぞれ位置している符号化済みマクロブロックA,B,Cの動きベクトルMVa,MVb,MVcを用いて、そのカレントマクロブロックの予測ベクトルPMVを算出する。
即ち、画像符号化装置は、符号化済みマクロブロックA,B,Cの動きベクトルMVa,MVb,MVcを、下式(2)に代入して、動きベクトルMVa,MVb,MVcのメディアン(中央値)を算出し、このメディアンを予測ベクトルPMVとする。
PMV=median(MVa,MVb,MVc) (2)
ここで、median(x,y,z)は、x,y,zのメディアンを算出する関数である。
即ち、画像符号化装置は、符号化済みマクロブロックA,B,Cの動きベクトルMVa,MVb,MVcを、下式(2)に代入して、動きベクトルMVa,MVb,MVcのメディアン(中央値)を算出し、このメディアンを予測ベクトルPMVとする。
PMV=median(MVa,MVb,MVc) (2)
ここで、median(x,y,z)は、x,y,zのメディアンを算出する関数である。
また、時間方向でのベクトル推定については、例えば非特許文献1に記載されたBピクチャの時間ダイレクトモードを用いる方法がある。図14に、非特許文献1の時間ダイレクトモードにおける動きベクトルの推定方法を示す。図14において、Pは片方向予測ピクチャを表し、Bは双方向予測ピクチャを表す。また、P又はBに続く数字0〜3は表示順を示し、時間T0,T1,T2,T3における表示画像であることを表す。ここで、符号化処理はP0,P3,B1,B2の順に行ったものとする。
MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264規格
従来の画像符号化装置は以上のように構成されているので、非特許文献1の予測ベクトル生成方法では、隣接する符号化済みブロックにおける動きベクトルが符号化対象ブロックにおける予測ベクトルとして適切であるかどうかの評価をしておらず、従って生成した予測ベクトルの精度が著しく低下したときに符号化効率が悪化するという課題があった。
また、符号化対象ブロックと隣接する空間位置にあるブロックの動きベクトルのみから予測ベクトルを算出するため、生成した予測ベクトルが局所的な動きベクトルの変化に影響されてしまうという課題がある。さらに、時間方向の予測は、参照画像の空間的に同じ位置にあるブロックの動きベクトルのみを用いるため、局所的な動きに対して弱いという課題がある。
この発明は、上記のような課題を解決するためになされたもので、空間から予測される予測ベクトル及び時間方向から予測されるベクトルの精度を向上させることで、動きベクトルの符号量を削減することを目的とする。
この発明に係る画像符号化装置は、処理対象ブロックと同一位置の参照フレーム中の符号化済ブロック及びその周辺ブロックの情報を用いて、当該同一位置の符号化済ブロック及びその周辺ブロックの各動きベクトルの信頼度を算出し、信頼度に応じて各動きベクトルを重み付け加算して処理対象ブロックの予測ベクトルを生成する予測ベクトル生成部を備え、可変長符号化部は、処理対象ブロックについて、動き補償予測部が探索した動きベクトルと予測ベクトル生成部が生成した予測ベクトルとの差分ベクトルを生成し、当該差分ベクトルを予測残差生成部が生成した予測残差信号と共に符号化するものである。
この発明に係る画像復号装置は、復号部が復元した参照フレームの符号化シンボルを用いて、処理対象ブロックの予測ベクトルを生成する予測ベクトル生成部を備え、復号部は、解析部が抽出した符号化シンボル及び参照フレームと共に予測ベクトル生成部が生成した予測ベクトルを用いて、動画像圧縮信号を復元するものである。
この発明に係る画像符号化方法は、処理対象ブロックと同一位置の参照フレーム中の符号化済ブロック及びその周辺ブロックの情報を用いて、当該同一位置の符号化済ブロック及びその周辺ブロックの各動きベクトルの信頼度を算出し、信頼度に応じて各動きベクトルを重み付け加算して処理対象ブロックの予測ベクトルを生成する予測ベクトル生成ステップを備え、可変長符号化ステップは、処理対象ブロックについて、動き補償予測ステップで探索した動きベクトルと予測ベクトル生成ステップで生成した予測ベクトルとの差分ベクトルを生成し、当該差分ベクトルを予測残差生成ステップで生成した予測残差信号と共に符号化するものである。
この発明に係る画像復号方法は、復号ステップで復元した参照フレームの符号化シンボルを用いて、処理対象ブロックの予測ベクトルを生成する予測ベクトル生成ステップを備え、復号ステップは、解析ステップで抽出した符号化シンボル及び参照フレームと共に予測ベクトル生成ステップで生成した予測ベクトルを用いて、動画像圧縮信号を復元するものである。
この発明によれば、処理対象ブロックと同一位置の参照フレーム中の符号化済ブロック及びその周辺ブロックの情報を用いて、当該同一位置の符号化済ブロック及びその周辺ブロックの各動きベクトルの信頼度を算出し、信頼度に応じて各動きベクトルを重み付け加算して処理対象ブロックの予測ベクトルを生成するようにしたので、処理対象ブロックの動きベクトルに近い高精度な予測ベクトルを生成することができ、この結果、差分ベクトルに対する可変長符号化の効率を高めて符号量を削減することができる。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図1は、この発明の実施の形態1に係る画像符号化装置の構成を示すブロック図であり、図2は画像復号装置の構成を示すブロック図である。
実施の形態1.
図1は、この発明の実施の形態1に係る画像符号化装置の構成を示すブロック図であり、図2は画像復号装置の構成を示すブロック図である。
なお、本実施の形態1では、映像フレームを16×16画素の矩形領域(以下、マクロブロック)に均等分割した単位で符号化を行う画像符号化装置、及びその復号を行う画像復号装置を例に用いて説明する。なお、この画像符号化装置は、先立って説明した非特許文献1に記載された符号化方式をベースとしているため、同様の構成については説明を簡略化する。
1.画像符号化装置
先ず、図1に示す画像符号化装置を説明する。以下に説明する動き補償予測部101、減算器102、符号化モード判定部103、圧縮部104、局部復号部105、加算器106、ループフィルタ107及びフレームメモリ108の各部が行う処理方法は、先立って説明した非特許文献1であるMPEG−4 AVC(ISO/IEC 14496−10)/ITU−T H.264規格で採用される符号化方式をベースとする。
先ず、図1に示す画像符号化装置を説明する。以下に説明する動き補償予測部101、減算器102、符号化モード判定部103、圧縮部104、局部復号部105、加算器106、ループフィルタ107及びフレームメモリ108の各部が行う処理方法は、先立って説明した非特許文献1であるMPEG−4 AVC(ISO/IEC 14496−10)/ITU−T H.264規格で採用される符号化方式をベースとする。
先ず、符号化対象となる動画像信号114が、動き補償予測部101及び減算器102にそれぞれ入力される。
動き補償予測部101は、動画像信号114に対して、フレームメモリ108に格納されている動き補償予測用の参照画像の中から1フレームの参照画像信号(参照フレーム)115を選択し、16×16画素のマクロブロック単位で、又はマクロブロックを複数のブロックに分割したサブブロック単位で動き補償予測処理を行い、動き補償予測処理を行ったブロック毎に選択した参照画像の識別番号と動きベクトルの情報を得る。また、動き補償予測部101は、全ブロックサイズ又はサブブロックサイズの所定の探索範囲の全ての動きベクトル、及び選択可能な1枚以上の参照画像を用いて動画像信号114の動き補償予測処理を行い、1枚の予測画像(予測画像信号、予測信号)116を得る。
予測画像信号116は、減算器102及び加算器106へ出力され、動きベクトル117の情報は可変長符号化部110及び動きベクトル保存用メモリ112に出力される。
動き補償予測部101は、動画像信号114に対して、フレームメモリ108に格納されている動き補償予測用の参照画像の中から1フレームの参照画像信号(参照フレーム)115を選択し、16×16画素のマクロブロック単位で、又はマクロブロックを複数のブロックに分割したサブブロック単位で動き補償予測処理を行い、動き補償予測処理を行ったブロック毎に選択した参照画像の識別番号と動きベクトルの情報を得る。また、動き補償予測部101は、全ブロックサイズ又はサブブロックサイズの所定の探索範囲の全ての動きベクトル、及び選択可能な1枚以上の参照画像を用いて動画像信号114の動き補償予測処理を行い、1枚の予測画像(予測画像信号、予測信号)116を得る。
予測画像信号116は、減算器102及び加算器106へ出力され、動きベクトル117の情報は可変長符号化部110及び動きベクトル保存用メモリ112に出力される。
減算器102は、動き補償予測部101から入力される予測画像信号116と動画像信号114の差分処理を行い、予測残差信号118を得る。この予測残差信号118は符号化モード判定部103へ出力される。なお、減算器102は予測残差生成部を構成する。
符号化モード判定部103は、減算器102から入力される予測残差信号118の予測効率を評価し、減算器102が実行した動き補償予測処理を行ったブロックに対して、最適な予測効率が得られるマクロブロックタイプ又はサブマクロブロックタイプ(符号化モード)、動きベクトル、及び参照画像の識別番号を選択する。これらマクロブロックタイプ又はサブマクロブロックタイプ(符号化モード)、動きベクトル、及び参照画像の識別番号は、予測画像生成用パラメータ119として可変長符号化部110及び符号化モード保存用メモリ113へ出力される。また、符号化モード判定部103は、選定されたタイプ、動きベクトル、及び参照画像に基づく動き補償予測によって得られる予測残差信号120(即ち予測残差信号118)を圧縮部104へ出力する。
圧縮部104は、符号化モード判定部103から入力される予測残差信号120に対してDCT(離散コサイン変換)処理を実施することでDCT係数を算出すると共に、そのDCT係数を量子化して、量子化後のDCT係数である圧縮データ121を生成する。この圧縮データ121は、局部復号部105及び可変長符号化部110へ出力される。
局部復号部105は、圧縮部104から入力される圧縮データ121に対して逆量子化処理及び逆DCT処理を実施することで、復号予測残差信号122を算出する。この復号予測残差信号122は加算器106へ出力されると共に、復号予測残差信号122の絶対値和が予測残差絶対値和保存用メモリ111へ出力される。なお、この復号予測残差信号122は、符号化モード判定部103から出力される予測残差信号120に相当する。
加算器106は、局部復号部105から入力される復号予測残差信号122と、動き補償予測部101から入力される予測画像信号116を加算することで、局部復号画像信号123を生成する。この局所復号画像信号123はループフィルタ107へ出力される。
ループフィルタ107は、加算器106から入力される局部復号画像信号123に対して、局所復号画像信号123に重畳されている符号化歪みを補償し、ループフィルタ画像信号124を生成する。このループフィルタ画像信号124は、参照画像としてフレームメモリ108に出力される。
予測ベクトル生成部109は、符号化対象ブロックの動きベクトルの推定を行って予測ベクトルを生成する。図3は、予測ベクトル生成部109の予測ベクトル生成方法を説明する図である。図3において、フレームtは符号化対象のフレームであり、フレームtのうちの符号化対象のブロックをx、符号化対象ブロックxに対する予測ベクトルをdf(x,t)とする。また、フレームt+1は符号化済みのフレームであり、符号化対象ブロックxと画面空間上で同じ位置となるブロックを中心に周囲8つのブロックを含む領域をRとする。
予測ベクトル生成部109は、図3に示すフレームt+1における領域Rで示すような、符号化対象ブロック及びその近傍8ブロックに関して、予測残差絶対値和保存用メモリ111から予測残差絶対値和を、動きベクトル保存用メモリ112から動きベクトル117を、符号化モード保存用メモリ113から符号化モード119aをそれぞれ取得する。図3のように、9つの動きベクトル(符号化ベクトル)を下式(4)とし、予測残差(符号化残差)を下式(5)としたとき、予測ベクトル生成部109が下式(6)の演算を行うことにより、符号化対象ブロックxに対するフレームtにおける予測ベクトルdf(x,t)を算出する。
ここで、添え字iはマクロブロック位置を示し、左上を0とし、ラスタスキャン順に番号が割り振られているものとする。また、このとき、重みφiは下式(7)であり、式(7)の分母は動きベクトルviにおける予測残差絶対値和を示している。
ここで、添え字iはマクロブロック位置を示し、左上を0とし、ラスタスキャン順に番号が割り振られているものとする。また、このとき、重みφiは下式(7)であり、式(7)の分母は動きベクトルviにおける予測残差絶対値和を示している。
予測残差絶対値和が小さいほど動きベクトル自体の信頼性が高く、予測残差の絶対値和が大きいほど動きベクトル自体の信頼性が低いという性質がある。そこで、この性質に基づいて、重みφiで動きベクトルd(x+vi,t+1)を重み付けすることにより、予測残差絶対値和の小さいブロックにおける信頼性の高い動きベクトルに対して強い重みを与えることができる。従って、予測残差絶対値和の小さいブロックの動きベクトルの重みを大きくすることにより予測ベクトルの推定精度を向上させることができる。
ただし、図3の領域Rで示す9つのブロックのうち、符号化モードがイントラモードのブロックには動きベクトルが存在しないため、上式(6)による演算から除外する。
また、符号化モードがスキップモードのブロックの場合には、画像復号装置において予測ベクトルを用いた動き補償結果を復号画像として用いるため、画像符号化装置では予測残差を符号化しない。そのため、予測ベクトル生成部109は予測残差絶対値和として固定値Aを用いて上式(6)による演算を実施する。
また、符号化モードがインターモードのブロックでもDCT係数が符号化されておらず予測残差絶対値和が0になる場合には、予測ベクトル生成部109が予測残差絶対値和として固定値Bを用いて上式(6)による演算を実施する。
また、領域Rで示す9つのブロック全てがイントラモードのブロックである場合には、例外的にdf(x,t)=(0,0)とする。
また、符号化モードがスキップモードのブロックの場合には、画像復号装置において予測ベクトルを用いた動き補償結果を復号画像として用いるため、画像符号化装置では予測残差を符号化しない。そのため、予測ベクトル生成部109は予測残差絶対値和として固定値Aを用いて上式(6)による演算を実施する。
また、符号化モードがインターモードのブロックでもDCT係数が符号化されておらず予測残差絶対値和が0になる場合には、予測ベクトル生成部109が予測残差絶対値和として固定値Bを用いて上式(6)による演算を実施する。
また、領域Rで示す9つのブロック全てがイントラモードのブロックである場合には、例外的にdf(x,t)=(0,0)とする。
上記のように予測ベクトル生成部109で推定されたブロックxの予測ベクトル125(df(x,t))は、予測ベクトル生成部109から可変長符号化部110に出力される。
可変長符号化部110は、動き補償予測部101から入力される動きベクトル117について、予測ベクトル生成部109から入力される予測ベクトル125との間で差分をとり、得られた差分動きベクトルに対して可変長符号化(エントロピー符号化)処理を行う。同様に、可変長符号化部110は、予測画像生成用パラメータ119のうちのマクロブロックタイプ(又はサブマクロブロックタイプ)、圧縮部104から入力される圧縮データ121、圧縮部104の量子化処理の量子化ステップパラメータ及びDCT処理の直交変換係数も可変長符号化処理して、符号化結果を示すビットストリーム126を生成する。
2.画像復号装置
次に、図2に示す画像復号装置を説明する。先ず、復号対象となる動画像圧縮信号200が、可変長復号部201に入力される。この動画像圧縮信号200は、上述した画像符号化装置が生成したビットストリーム126である。
次に、図2に示す画像復号装置を説明する。先ず、復号対象となる動画像圧縮信号200が、可変長復号部201に入力される。この動画像圧縮信号200は、上述した画像符号化装置が生成したビットストリーム126である。
可変長復号部201は、動画像圧縮信号200に対してエントロピー復号処理を行い、信号中に符号化されていた直交変換係数212、量子化ステップパラメータ213、符号化モード214、差分動きベクトル215等を復元する。直交変換係数212及び量子化ステップパラメータ213は、逆量子化部202及び逆直交変換部203へ出力される。符号化モード214は、動き補償部204及び符号化モード保存用メモリ207に出力される。差分動きベクトル215は、動き補償部204に出力される。
逆量子化部202は、量子化ステップパラメータ213を復号し、逆直交変換部203は、直交変換係数212を復号する。なお、可変長復号部201、逆量子化部202及び逆直交変換部203は解析部を構成し、直交変換係数212、量子化ステップパラメータ213、符号化モード214、差分動きベクトル215等の情報が符号化シンボルを構成する。
動き補償部204は、可変長復号部201から入力される符号化モード214がインターモードの場合、同じく可変長復号部201から入力される差分動きベクトル215と予測ベクトル生成部205(後述)から入力される予測ベクトル216の和を動きベクトル217とする。また、動き補償部204は、この動きベクトル217と符号化モード214とに基づいて、フレームメモリ211の参照画像信号から予測画像信号218を生成する。
一方、可変長復号部201から入力される符号化モード214がイントラモードの場合、動き補償部204は予測画像信号218として「0」を生成する。
動きベクトル217は動きベクトル保存用メモリ206に出力され、予測画像信号218は加算器209に出力される。
一方、可変長復号部201から入力される符号化モード214がイントラモードの場合、動き補償部204は予測画像信号218として「0」を生成する。
動きベクトル217は動きベクトル保存用メモリ206に出力され、予測画像信号218は加算器209に出力される。
符号化モード214がインターモードの場合、逆直交変換部203の出力219は、上述した画像符号化装置における動き補償予測の結果の予測残差信号120である。従って、動き補償部204は動きベクトル217を用いて、画像符号化装置で生成した予測画像信号116と同じ予測画像信号218を生成し、加算器209において逆直交変換部203の出力219と予測画像信号218とを加算することによって復号画像信号220が再現される。
一方、イントラモードの場合、画像符号化装置では参照画像を全く利用せずにフレーム内符号化するので、逆直交変換部203の出力219がそのまま復号画像信号220となる。そのため、動き補償部204は予測画像信号218として0を出力している。
一方、イントラモードの場合、画像符号化装置では参照画像を全く利用せずにフレーム内符号化するので、逆直交変換部203の出力219がそのまま復号画像信号220となる。そのため、動き補償部204は予測画像信号218として0を出力している。
加算器209から出力される復号画像信号220は、ループフィルタ210に入力される。ループフィルタ210は、復号画像信号220の符号化歪みを補正して、動画像信号221として出力される。また、この動画像信号221は、これ以降のフレームの予測画像生成に用いられるため、フレームメモリ211に格納される。なお、動き補償部204、加算器209及びループフィルタ210は、復号部を構成している。
また、動きベクトル217は符号化モード保存用メモリ207によって保持され、符号化モード214は符号化モード保存用メモリ207によって保持され、逆直交変換部203の出力(予測残差信号)219の絶対値和の値は予測残差絶対値和保存用メモリ208によって保持されて、予測ベクトル生成部205による予測ベクトル216の生成に備える。
予測ベクトル生成部205は、動きベクトル保存用メモリ206から入力される動きベクトル217と、符号化モード保存用メモリ207から入力される符号化モード214と、予測残差絶対値和保存用メモリ208から入力される予測残差絶対値和219aを用いて、上述の画像符号化装置の予測ベクトル生成部109と同様の処理によって予測ベクトル216を生成する。
以上より、実施の形態1によれば、動画像信号114の各フレームについて、動き予測単位ブロックのサイズを適応的に決定し、当該ブロックを動きベクトル割り当て領域に分割して各領域それぞれの動きベクトルを探索して、検索結果に基づきフレームメモリ108に保持された参照画像信号115から予測画像信号116を生成する動き補償予測部101と、予測画像信号116と当該ブロックとの予測残差信号118を生成する減算器102と、減算器102が生成した予測残差信号118を圧縮する圧縮部104と、動き補償予測部101が探索した動きベクトル等の予測画像生成用パラメータ119及び圧縮部104が生成した圧縮データ121を符号化する可変長符号化部110とを備える画像符号化装置において、処理対象ブロックと同一位置の参照画像信号115中の符号化済ブロック及びその周辺ブロックの予測残差絶対値和122a、動きベクトル117及び符号化モード119aの情報を用いて、当該同一位置の符号化済ブロック及びその周辺ブロックの各動きベクトルの信頼度を算出し、信頼度に応じて各動きベクトルを重み付け加算して処理対象ブロックの予測ベクトル125を生成する予測ベクトル生成部109を備え、可変長符号化部110は、処理対象ブロックについて、動き補償予測部101が探索した動きベクトル117と予測ベクトル生成部109が生成した予測ベクトル125との差分ベクトルを生成し、当該差分ベクトルを圧縮データ121及び予測画像生成用パラメータ119と共に符号化してビットストリーム126を生成するように構成した。このため、従来のように参照画像信号の空間的に同じ位置にある動きベクトルを単に予測ベクトルとして利用する場合に比べ、時間方向から予測する予測ベクトルの精度を向上させることができる。その結果、動きベクトルの符号量を削減することができる。
また、実施の形態1によれば、動画像信号が動き予測単位ブロック毎に圧縮符号化されてなる動画像圧縮信号200を解析して当該ブロック毎の符号化シンボルを抽出する可変長復号部201と、可変長復号部201が抽出した符号化シンボルを用いて、動画像圧縮信号200を動画像信号221に復元する動き補償部204とを備える画像復号装置において、動き補償部204が復元してフレームメモリ211に保持される参照画像信号の符号化シンボルを用いて、処理対象ブロックの予測ベクトルを生成する予測ベクトル生成部205を備え、動き補償部204は、可変長復号部201が抽出した符号化シンボル及び参照画像信号と共に予測ベクトル生成部205が生成した予測ベクトル216を用いて、動画像圧縮信号200を復元して動画像信号221を生成するように構成した。このため、画像復号装置側では予測ベクトル生成のために必要な情報を動画像圧縮信号200から取り出すことが可能であり、追加の情報が不要である。
なお、上記実施の形態1では、予測ベクトル生成部109及び予測ベクトル生成部205が図3に示す方法により動きベクトルから予測ベクトルを生成したが、この方法に限定されるものではなく、差分動きベクトルMVDから予測ベクトルを生成する構成であってもよい。図4に、差分動きベクトルMVDを用いた場合の予測ベクトル生成部109の予測ベクトル生成方法を示す。予測ベクトルdf(x,t)を求める式は、上記実施の形態1と同様に上式(6)を用いるが、重みφiは上式(7)に代えて下式(7A)を用いる。
式(7A)の分母は、上記実施の形態1と同様に予測残差絶対値和を示す。また、p(x)はx-1に依存するようなある非線形関数であり、kiは差分動きベクトルMVDのベクトルの大きさである、よって、p(ki)は、下式(8)に示すように、全体としては差分動きベクトルMVDの大きさの逆数を表す関数である。また、添え字iはマクロブロック位置を示し、右上を0とし、ラスタスキャン順に番号が割り振られているものとする。
差分動きベクトルMVDの大きさはベクトルの孤立度を表し、差分動きベクトルMVDが大きいほど孤立度が大きい可能性が高い。そして、孤立したベクトルは信頼性が低い確率が高いと推定される。そこで、重みφiの計算式に差分動きベクトルMVDの逆数を取り入れることにより、信頼性の低い孤立したベクトルの重みを小さくすることができる。従って、孤立したベクトルの重みを小さくすることにより予測ベクトルの推定精度を向上させることができる。
また、上記実施の形態1の予測ベクトル生成部109及び予測ベクトル生成部205による予測ベクトル生成の際に、動きベクトルの分散を用いる構成を追加してもよい。図5に、動きベクトルの分散を用いた場合の予測ベクトル生成部109の予測ベクトル生成方法を示す。
このとき、φi(m),φi(n)はそれぞれ下式(9)で表され、gi(m),gi(n)はそれぞれ下式(10)で表される。
ここで、h(x)は、本実施の形態1ではx-1に依存する非線形関数とし、gi(m),gi(n)は分散の逆数の意味を持つ。
ここで、h(x)は、本実施の形態1ではx-1に依存する非線形関数とし、gi(m),gi(n)は分散の逆数の意味を持つ。
実施の形態1では、領域Rのベクトルが全体的に小さい場合、領域Rのある特定の予測残差絶対値和が小さなブロックに対する重みが必要以上に大きすぎ、そのような予測残差絶対値和が小さいブロックにおけるベクトルはほとんどの場合ゼロであるため、結果として必要以上に推定結果としてゼロベクトルとなるブロックが多発する場合がある。
これに対して、図5に示す構成の場合、予測ベクトル生成部109及び予測ベクトル生成部205の演算量は増えるが、動き量が少ないために分散の小さな微細なベクトル場を、必要以上にゼロベクトルに落とすことなく、微細なベクトル場を反映した予測ベクトルを生成することができる。
また、上記実施の形態1の動き補償予測部101が輝度信号と色差信号で別々の動きベクトルを生成し、予測ベクトル生成部109及び予測ベクトル生成部205が、色差信号の予測ベクトルを輝度信号の予測ベクトルを求める場合と同様の方法で求める構成にしてもよいし、又は、輝度信号の動きベクトルから色差信号の予測ベクトルを別途求める構成にしてもよい。
図6は、輝度信号の動きベクトルから色差信号の予測ベクトル(クロマベクトル)を別途求める構成を説明する図である。動き補償予測部101により得られる、斜線で示すあるマクロブロックにおける各ブロックの輝度ベクトルの推定結果をそれぞれ輝度ベクトルdf1〜df4とする。予測ベクトル生成部109及び予測ベクトル生成部205は、これらの輝度ベクトルを用いて、斜線で示すマクロブロックの色差ベクトルdfcを下式(12)のように計算する。
図6は、輝度信号の動きベクトルから色差信号の予測ベクトル(クロマベクトル)を別途求める構成を説明する図である。動き補償予測部101により得られる、斜線で示すあるマクロブロックにおける各ブロックの輝度ベクトルの推定結果をそれぞれ輝度ベクトルdf1〜df4とする。予測ベクトル生成部109及び予測ベクトル生成部205は、これらの輝度ベクトルを用いて、斜線で示すマクロブロックの色差ベクトルdfcを下式(12)のように計算する。
また、上記実施の形態1では、予測ベクトル生成部109における予測ベクトル生成方法について記したが、この方法を、前述のダイレクトモードやスキップモードに用いるベクトルの生成方法として利用してもよい。ダイレクトモードやスキップモードで上記実施の形態1の予測ベクトル生成方法を用いることにより、ダイレクトモードやスキップモードが選ばれやすくなり、符号化効率が向上するという効果がある。
実施の形態2.
本実施の形態2では、予測ベクトル生成部109及び予測ベクトル生成部205の予測ベクトル生成処理について、上記実施の形態1とは異なる方法を説明する。なお、本実施の形態2に係る画像符号化装置及び画像復号装置は、図1に示す画像符号化装置及び図2に示す画像復号装置と図面上では同様の構成であるため以下では図1及び図2を援用し、予測ベクトル生成部109及び予測ベクトル生成部205以外の各部については上記実施の形態1と同様のため説明を省略する。
本実施の形態2では、予測ベクトル生成部109及び予測ベクトル生成部205の予測ベクトル生成処理について、上記実施の形態1とは異なる方法を説明する。なお、本実施の形態2に係る画像符号化装置及び画像復号装置は、図1に示す画像符号化装置及び図2に示す画像復号装置と図面上では同様の構成であるため以下では図1及び図2を援用し、予測ベクトル生成部109及び予測ベクトル生成部205以外の各部については上記実施の形態1と同様のため説明を省略する。
図7は、実施の形態2に係る予測ベクトル生成部109の予測ベクトル生成方法を説明する図である。ここでは、予測ベクトル生成処理に際して、空間的に隣接した符号化済みブロックの動きベクトルを用いることを前提とする。
予測ベクトル生成部109は、図7のフレームtにおける領域Rで示すような、符号化対象ブロック及びその近傍4ブロックに関して、動きベクトル保存用メモリ112から動きベクトル117を、符号化モード保存用メモリ113から符号化モード119aをそれぞれ取得する。図7のように、符号化済みのブロックの動きベクトル(符号化ベクトル)を下式(4A)とし、予測残差(符号化残差)を下式(5A)としたとき、予測ベクトル生成部109が下式(6A)の演算を行うことにより、符号化対象ブロックxにおける予測ベクトルdf(x,t)を算出する。
なお、式(6A)中の重みφiは上記実施の形態1の上式(7)と同じであり、動きベクトルd(x+vi,t)における予測残差絶対値和も同じである。
予測ベクトル生成部109は、図7のフレームtにおける領域Rで示すような、符号化対象ブロック及びその近傍4ブロックに関して、動きベクトル保存用メモリ112から動きベクトル117を、符号化モード保存用メモリ113から符号化モード119aをそれぞれ取得する。図7のように、符号化済みのブロックの動きベクトル(符号化ベクトル)を下式(4A)とし、予測残差(符号化残差)を下式(5A)としたとき、予測ベクトル生成部109が下式(6A)の演算を行うことにより、符号化対象ブロックxにおける予測ベクトルdf(x,t)を算出する。
なお、式(6A)中の重みφiは上記実施の形態1の上式(7)と同じであり、動きベクトルd(x+vi,t)における予測残差絶対値和も同じである。
上記実施の形態1と同様に、本実施の形態2の式(6A)を用いても、予測残差絶対値和が小さいほど動きベクトル自体の信頼性が高く、予測絶対値和が大きいほど動きベクトル自体の信頼性が低いという性質に基づいて、予測残差絶対値和の小さいブロックの動きベクトルの重みを大きくすることにより予測ベクトルの推定精度を向上させることができる。
なお、図7の領域Rで示す9つのブロックのうち、符号化モードがイントラモードのブロックには動きベクトルが存在しないため、上式(6A)による演算から除外する。
また、符号化モードがスキップモードのブロックの場合には、画像復号装置において予測ベクトルを用いた動き補償結果を復号画像として用いるため、画像符号化装置では予測残差を符号化しない。そのため、予測ベクトル生成部109は予測残差絶対値和として固定値Aを用いて上式(6A)による演算を実施する。
また、符号化モードがインターモードのブロックでもDCT係数が符号化されておらず予測残差絶対値和が0になる場合には、予測ベクトル生成部109が予測残差絶対値和として固定値Bを用いて上式(6A)による演算を実施する。
また、領域Rで示す9つのブロック全てがイントラモードのブロックである場合には、例外的にdf(x,t)=(0,0)とする。
また、符号化モードがスキップモードのブロックの場合には、画像復号装置において予測ベクトルを用いた動き補償結果を復号画像として用いるため、画像符号化装置では予測残差を符号化しない。そのため、予測ベクトル生成部109は予測残差絶対値和として固定値Aを用いて上式(6A)による演算を実施する。
また、符号化モードがインターモードのブロックでもDCT係数が符号化されておらず予測残差絶対値和が0になる場合には、予測ベクトル生成部109が予測残差絶対値和として固定値Bを用いて上式(6A)による演算を実施する。
また、領域Rで示す9つのブロック全てがイントラモードのブロックである場合には、例外的にdf(x,t)=(0,0)とする。
予測ベクトル生成部109は、上述の予測ベクトル生成方法によって生成した予測ベクトルdf(x,t)を、予測ベクトル125として可変長符号化部110へ出力する。
なお、画像復号装置の予測ベクトル生成部205も、上記同様の予測ベクトル生成方法によって予測ベクトル216を生成して、動き補償部204へ出力する。
なお、画像復号装置の予測ベクトル生成部205も、上記同様の予測ベクトル生成方法によって予測ベクトル216を生成して、動き補償部204へ出力する。
以上より、実施の形態2によれば、予測ベクトル生成部109は、処理対象ブロックに隣接する隣接ブロックの予測残差絶対値和122a、動きベクトル117及び符号化モード119aの情報を用いて、当該隣接ブロックの各動きベクトルの信頼度を算出し、信頼度に応じて各動きベクトルを重み付け加算して予測ベクトル125を生成するように構成した。このため、従来のように隣接するブロックの動きベクトルのメディアンを予測ベクトルとして利用する場合に比べ、予測残差絶対値和で重み付けを行うことによって空間予測により求める予測ベクトルの精度を向上させることができる。そのため、ビットストリーム126に含まれる動きベクトルの符号量を削減することができる。
なお、上記実施の形態2では、予測ベクトル生成部109及び予測ベクトル生成部205が図7に示す方法により動きベクトルから予測ベクトルを生成したが、この方法に限定されるものではなく、差分動きベクトルMVDから予測ベクトルを生成する構成であってもよい。その構成の詳細は図4を用いて上述したので省略するが、孤立したベクトルの重みを小さくすることにより予測ベクトルの推定精度を向上させることができる。
また、上記実施の形態2の予測ベクトル生成部109及び予測ベクトル生成部205による予測ベクトル生成の際に、動きベクトルの分散を用いる構成を追加してもよい。その構成の詳細は図5を用いて上述したので省略するが、この構成の場合、予測ベクトル生成部109及び予測ベクトル生成部205の演算量は増えるが、動き量が少ないために分散の小さな微細なベクトル場を、必要以上にゼロベクトルに落とすことなく、微細なベクトル場を反映した予測ベクトルを生成することができる。
また、上記実施の形態2の動き補償予測部101が輝度信号と色差信号で別々の動きベクトルを生成し、予測ベクトル生成部109及び予測ベクトル生成部205が、色差信号の予測ベクトルを輝度信号の予測ベクトルを求める場合と同様の方法で求める構成にしてもよいし、又は、輝度信号の動きベクトルから色差信号の予測ベクトルを別途求める構成にしてもよい。この構成の詳細は図6を用いて上述したので省略する。
また、上記実施の形態2では、予測ベクトル生成部109における予測ベクトル生成方法について記したが、この方法を、前述のダイレクトモードやスキップモードに用いるベクトルの生成方法として利用してもよい。ダイレクトモードやスキップモードで上記実施の形態2の予測ベクトル生成方法を用いることにより、ダイレクトモードやスキップモードが選ばれやすくなり、符号化効率が向上するという効果がある。
実施の形態3.
本実施の形態3では、上記実施の形態1又は上記実施の形態2で説明した予測ベクトル生成方法に基づいて生成したベクトル、及び既存の方法で生成したベクトルから予測ベクトルを選択する方法を説明する。
本実施の形態3では、上記実施の形態1又は上記実施の形態2で説明した予測ベクトル生成方法に基づいて生成したベクトル、及び既存の方法で生成したベクトルから予測ベクトルを選択する方法を説明する。
図8は、この発明の実施の形態3に係る画像符号化装置の構成を示すブロック図であり、図9は、画像復号装置の構成を示すブロック図である。図8及び図9において、図1及び図2と同一又は相当の部分については同一の符号を付し説明を省略する。
1.画像符号化装置
先ず、図8に示す画像符号化装置を説明する。
図10は、図8に示す予測ベクトル決定部130の内部構成を示すブロック図である。予測ベクトル決定部130は、予測ベクトル生成部109と予測ベクトル選択部131とから構成される。この予測ベクトル生成部109は、上記実施の形態1又は実施の形態2に係る予測ベクトル生成部109と同一のため、説明を省略する。
先ず、図8に示す画像符号化装置を説明する。
図10は、図8に示す予測ベクトル決定部130の内部構成を示すブロック図である。予測ベクトル決定部130は、予測ベクトル生成部109と予測ベクトル選択部131とから構成される。この予測ベクトル生成部109は、上記実施の形態1又は実施の形態2に係る予測ベクトル生成部109と同一のため、説明を省略する。
予測ベクトル選択部131は、下式(13)により、ブロックの動きベクトル符号量と、1つ以上の予測ベクトル候補から選んだ予測ベクトルのインデックス符号量から得られるコストが最小となるベクトルを予測ベクトルとする。
また、式(13)中、Rは動きベクトルのコスト、εmvは差分動きベクトル、iは予測ベクトルインデックス、λはラグランジュ乗数を表す。
また、式(13)中、Rは動きベクトルのコスト、εmvは差分動きベクトル、iは予測ベクトルインデックス、λはラグランジュ乗数を表す。
なお、予測ベクトル選択部131が予測ベクトル選択処理に用いる予測ベクトル候補は、符号化済みブロックの動きベクトル122a及び予測ベクトル生成部109で生成した予測ベクトル125である。
そして、予測ベクトル選択部131は、上式(13)により選択した予測ベクトル133と、その予測ベクトルのインデックス134とを可変長符号化部132に出力する。
そして、予測ベクトル選択部131は、上式(13)により選択した予測ベクトル133と、その予測ベクトルのインデックス134とを可変長符号化部132に出力する。
予測ベクトルのインデックス134は、例えば図11に示すような、画像符号化装置と画像復号装置とが共通のインデックステーブルを保持しておき、予測ベクトル選択部131は、そのインデックステーブルから予測ベクトル133に対応するインデックスを選択する。図11におけるMV_A〜MV_Cは図13に示す符号化済みブロックA〜C、時間予測ベクトルは実施の形態1で生成するベクトルとする。また、インデックステーブルは図11に示す以外の動きベクトル、例えばH.264の時間ダイレクトモードで用いるベクトル等を候補としてもよいし、図11に示すよりも少ない数であってもよい。候補を増やすことで予測ベクトルの精度を高めることが可能であるし、数を厳選することで画像符号化装置の負荷を低減する効果がある。なお、このインデックステーブルは、事前に作成して画像符号化装置及び画像復号装置に設定しておいてもよいし、画像符号化装置がシーケンスヘッダ又はピクチャヘッダ等に含めて符号化して画像復号装置へ通知してもよい。インデックステーブルをヘッダ等に含めて符号化する構成の場合には、ヘッダの符号量は増えるが、符号化対象となるシーケンス又はピクチャにあわせた予測ベクトル候補を設定することができるため、予測ベクトルの精度を向上させることができる。そして、予測ベクトルの精度が上がるため、シーケンス又はピクチャ単位では符号量を削減できる。
可変長符号化部132は、予測ベクトル決定部130から入力される予測ベクトルのインデックス134に対して可変長符号化(エントロピー符号化)処理を行う。同様に、可変長符号化部132は、動き補償予測部101から入力される動きベクトル117について、予測ベクトル決定部130から入力される予測ベクトル133との間で差分をとり、得られた差分動きベクトルに対して可変長符号化処理を行う。さらに、可変長符号化部132は、予測画像生成用パラメータ119のうちのマクロブロックタイプ(又はサブマクロブロックタイプ)、圧縮部104から入力される圧縮データ121、圧縮部104の量子化処理の量子化ステップパラメータ及びDCT処理の直交変換係数も可変長符号化処理して、符号化結果を示すビットストリーム126を生成する。
2.画像復号装置
次に、図9に示す画像復号装置を説明する。
可変長復号部230は、動画像圧縮信号220に対してエントロピー復号処理を行い、信号中に符号化されていた直交変換係数212、量子化ステップパラメータ213、符号化モード214、差分動きベクトル215等を復元する。直交変換係数212及び量子化ステップパラメータ213は、逆量子化部202及び逆直交変換部203へ出力される。符号化モード214は、動き補償部204及び符号化モード保存用メモリ207に出力される。差分動きベクトル215は、動き補償部204に出力される。
さらに、可変長復号部230は、動画像圧縮信号220中に符号化されていた予測ベクトルのインデックス233を復元し、予測ベクトル決定部231に出力する。
次に、図9に示す画像復号装置を説明する。
可変長復号部230は、動画像圧縮信号220に対してエントロピー復号処理を行い、信号中に符号化されていた直交変換係数212、量子化ステップパラメータ213、符号化モード214、差分動きベクトル215等を復元する。直交変換係数212及び量子化ステップパラメータ213は、逆量子化部202及び逆直交変換部203へ出力される。符号化モード214は、動き補償部204及び符号化モード保存用メモリ207に出力される。差分動きベクトル215は、動き補償部204に出力される。
さらに、可変長復号部230は、動画像圧縮信号220中に符号化されていた予測ベクトルのインデックス233を復元し、予測ベクトル決定部231に出力する。
図12は、図9に示す予測ベクトル決定部231の内部構成を示すブロック図である。予測ベクトル決定部231は、予測ベクトル生成部205と予測ベクトル選択部232とから構成される。
予測ベクトル選択部232は、可変長復号部230から入力される予測ベクトルのインデックス233と、インデックステーブルをもとにして予測ベクトルを選択する。選択した予測ベクトルが、上記実施の形態1又は実施の形態2のように生成する予測ベクトルであった場合には、予測ベクトル選択部232が予測ベクトルの種類234を予測ベクトル生成部205へ出力する。
予測ベクトル選択部232は、可変長復号部230から入力される予測ベクトルのインデックス233と、インデックステーブルをもとにして予測ベクトルを選択する。選択した予測ベクトルが、上記実施の形態1又は実施の形態2のように生成する予測ベクトルであった場合には、予測ベクトル選択部232が予測ベクトルの種類234を予測ベクトル生成部205へ出力する。
なお、上述したように画像符号化装置と画像復号装置とが共通のインデックステーブルを保持しておき、予測ベクトル選択部232がそのインデックステーブルから予測ベクトルを決定する。あるいは、画像符号化装置がシーケンスヘッダ又はピクチャヘッダ等に含めて符号化してビットストリーム126(即ち動画像圧縮信号)を生成した場合には、画像復号装置の可変長復号部230が動画像圧縮信号200からインデックステーブルを復元して、予測ベクトル選択部232へ出力する。
予測ベクトル生成部205は、上記実施の形態1又は実施の形態2に係る予測ベクトル生成部205と同一である。予測ベクトル選択部232から入力される予測ベクトルの種類234をもとに、動きベクトル保存用メモリ206から入力される参照画像内の動きベクトル217又は復号対象ブロックに隣接するブロックの動きベクトル217と、符号化モード保存用メモリ207から入力される符号化モード214と、予測残差絶対値和保存用メモリ208から入力される予測残差絶対値和219aとを用いて、上記実施の形態1又は実施の形態2の予測ベクトル生成部205と同じ方法によって予測ベクトル216を生成し、動き補償部204へ出力する。
以上より、実施の形態3によれば、処理対象ブロックについて、予測ベクトル生成部109が生成した予測ベクトル125及び動き補償予測部101が探索した動きベクトル117を予測ベクトル候補とし、当該予測ベクトル候補から所定条件に合うベクトルを予測ベクトル133として選択して所定規則に従って変換して予測ベクトルのインデックス134を生成する予測ベクトル選択部131を備え、可変長符号化部132は、処理対象ブロックについて、動き補償予測部101が探索した動きベクトル117と前記予測ベクトル選択部131が選択した予測ベクトル133との差分ベクトルを生成し、当該差分ベクトル及び予測ベクトル選択部131が変換した予測ベクトルのインデックス134を圧縮データ121及び予測画像生成用パラメータ119と共に符号化してビットストリーム126を生成するように構成した。このため、予測ベクトル決定部130が画像の局所性に応じた最適なベクトルを予測ベクトルとして採用することができるため、符号量を削減することができる。
また、上記実施の形態1又は実施の形態2の予測ベクトル生成部109では動きベクトルに重みφiによる重み付けを行って予測ベクトルを生成するが、局所的には重み付けを行わない動きベクトルを使用した方が予測ベクトルを生成するよりも予測精度が高い場合も考えられる。これに対して、本実施の形態3の予測ベクトル決定部130では予測ベクトル生成方法により生成した予測ベクトルと符号化済みブロックの動きベクトルとから最適なベクトルを選択するようにしたので、上記のような場合にも予測精度を落とすことなく符号化することができる。従って、符号量を削減することができる。
また、実施の形態3によれば、可変長復号部201は、動画像圧縮信号200から予測ベクトルのインデックス233を抽出し、予測ベクトル選択部232は、予測ベクトルのインデックス233を所定規則に従って変換して予測ベクトルの種類234を特定し、予測ベクトル生成部205が予測ベクトルの種類234に応じて予測ベクトル216を生成するように構成した。このため、画像復号装置においては、予測ベクトル決定部231が予測ベクトルのインデックス233に従って予測ベクトルを選択するだけであるため、従来のような画像復号装置に比べ処理量を増やすことなく予測ベクトルを生成することができる。
また、上記実施の形態3では、予測ベクトル生成部109における予測ベクトル生成方法について記したが、この方法を、前述のダイレクトモードやスキップモードに用いるベクトルの生成方法として利用してもよい。ダイレクトモードやスキップモードで上記実施の形態3の予測ベクトル生成方法を用いることにより、ダイレクトモードやスキップモードが選ばれやすくなり、符号化効率が向上するという効果がある。
この発明に係る画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法は、処理対象ブロックの動きベクトルに近い高精度な予測ベクトルを生成することができ、この結果、差分ベクトルに対する可変長符号化の効率を高めて符号量を削減することができるため、動画像信号の各フレームを動き予測を用いてマクロブロック単位に予測符号化する画像符号化装置とその方法、並びに符号化した動画像符号化データを復号及び再生する画像復号装置とその方法に用いるのに適している。
Claims (10)
- 動画像信号の各フレームについて、当該フレームを複数のブロックに分割しブロック毎に動きベクトルを探索して、検索結果に基づき前記動画像信号の参照フレームから予測信号を生成する動き補償予測部と、
前記予測信号と前記ブロックとの予測残差信号を生成する予測残差生成部と、
前記動き補償予測部が探索した動きベクトル及び前記予測残差生成部が生成した予測残差信号を符号化する可変長符号化部とを備える画像符号化装置であって、
処理対象ブロックと同一位置の前記参照フレーム中の符号化済ブロック及びその周辺ブロックの情報を用いて、当該同一位置の符号化済ブロック及びその周辺ブロックの各動きベクトルの信頼度を算出し、前記信頼度に応じて前記各動きベクトルを重み付け加算して前記処理対象ブロックの予測ベクトルを生成する予測ベクトル生成部を備え、
前記可変長符号化部は、前記処理対象ブロックについて、前記動き補償予測部が探索した動きベクトルと前記予測ベクトル生成部が生成した予測ベクトルとの差分ベクトルを生成し、当該差分ベクトルを前記予測残差生成部が生成した予測残差信号と共に符号化することを特徴とする画像符号化装置。 - 予測ベクトル生成部は、処理対象ブロックに隣接する隣接ブロックの情報を用いて、当該隣接ブロックの各動きベクトルの信頼度を算出し、前記信頼度に応じて前記各動きベクトルを重み付け加算して予測ベクトルを生成することを特徴とする請求項1記載の画像符号化装置。
- 処理対象ブロックについて、予測ベクトル生成部が生成した予測ベクトル及び動き補償予測部が探索した動きベクトルを予測ベクトル候補とし、当該予測ベクトル候補から所定条件に合うベクトルを予測ベクトルとして選択して所定規則に従って変換して予測ベクトル情報を生成する予測ベクトル選択部を備え、
可変長符号化部は、前記処理対象ブロックについて、動き補償予測部が探索した動きベクトルと前記予測ベクトル選択部が選択した予測ベクトルとの差分ベクトルを生成し、当該差分ベクトル及び前記予測ベクトル選択部が変換した予測ベクトル情報を予測残差生成部が生成した予測残差信号と共に符号化することを特徴とする請求項1記載の画像符号化装置。 - 動画像信号が動き予測単位ブロック毎に圧縮符号化されてなる動画像圧縮信号を解析して当該ブロック毎の符号化シンボルを抽出する解析部と、
前記解析部が抽出した符号化シンボルを用いて、前記動画像圧縮信号を前記動画像信号に復元する復号部とを備える画像復号装置であって、
前記復号部が復元した参照フレームの符号化シンボルを用いて、処理対象ブロックの予測ベクトルを生成する予測ベクトル生成部を備え、
前記復号部は、前記解析部が抽出した符号化シンボル及び前記参照フレームと共に前記予測ベクトル生成部が生成した予測ベクトルを用いて、前記動画像圧縮信号を復元することを特徴とする画像復号装置。 - 解析部は、動き予測単位ブロックの動きベクトルを動画像圧縮信号から抽出し、
予測ベクトル生成部は、処理対象ブロック及びその周辺ブロックの符号化シンボルを用いて、当該処理対象ブロック及びその周辺ブロックの各動きベクトルの信頼度を算出し、前記信頼度に応じて前記各動きベクトルを重み付け加算して前記処理対象ブロックの予測ベクトルを生成することを特徴とする請求項4記載の画像復号装置。 - 解析部は、動き予測単位ブロックの動きベクトルを動画像圧縮信号から抽出し、
予測ベクトル生成部は、処理対象ブロック及び隣接する隣接ブロックの符号化シンボルを用いて、当該隣接ブロックの前記各動きベクトルの信頼度を算出し、前記信頼度に応じて前記各動きベクトルを重み付け加算して前記処理対象ブロックの予測ベクトルを生成することを特徴とする請求項4記載の画像復号装置。 - 解析部は、予測ベクトルが所定規則に従って変換された予測ベクトル情報を動画像圧縮信号から抽出し、
予測ベクトル生成部は、前記解析部が抽出した予測ベクトル情報を前記所定規則に従って予測ベクトルに変換することを特徴とする請求項4記載の画像復号装置。 - 予測ベクトル生成部は、予測ベクトル情報を所定規則に従って変換して、予測ベクトルを生成する動き予測単位ブロックを決定し、当該ブロックの符号化シンボルを用いて動きベクトルの信頼度を算出し、前記信頼度に応じて前記動きベクトルを重み付け加算して予測ベクトルを生成することを特徴とする請求項7記載の画像復号装置。
- 動画像信号の各フレームについて、当該フレームを複数のブロックに分割しブロック毎に動きベクトルを探索して、検索結果に基づき前記動画像信号の参照フレームから予測信号を生成する動き補償予測ステップと、
前記予測信号と前記ブロックとの予測残差信号を生成する予測残差生成ステップと、
前記動き補償予測ステップで探索した動きベクトル及び前記予測残差生成ステップで生成した予測残差信号を符号化する可変長符号化ステップとを備える画像符号化方法であって、
処理対象ブロックと同一位置の前記参照フレーム中の符号化済ブロック及びその周辺ブロックの情報を用いて、当該同一位置の符号化済ブロック及びその周辺ブロックの各動きベクトルの信頼度を算出し、前記信頼度に応じて前記各動きベクトルを重み付け加算して前記処理対象ブロックの予測ベクトルを生成する予測ベクトル生成ステップを備え、
前記可変長符号化ステップは、前記処理対象ブロックについて、前記動き補償予測ステップで探索した動きベクトルと前記予測ベクトル生成ステップで生成した予測ベクトルとの差分ベクトルを生成し、当該差分ベクトルを前記予測残差生成ステップで生成した予測残差信号と共に符号化することを特徴とする画像符号化方法。 - 動画像信号が動き予測単位ブロック毎に圧縮符号化されてなる動画像圧縮信号を解析して当該ブロック毎の符号化シンボルを抽出する解析ステップと、
前記解析ステップで抽出した符号化シンボルを用いて、前記動画像圧縮信号を前記動画像信号に復元する復号ステップとを備える画像復号方法であって、
前記復号ステップで復元した参照フレームの符号化シンボルを用いて、処理対象ブロックの予測ベクトルを生成する予測ベクトル生成ステップを備え、
前記復号ステップは、前記解析ステップで抽出した符号化シンボル及び前記参照フレームと共に前記予測ベクトル生成ステップで生成した予測ベクトルを用いて、前記動画像圧縮信号を復元することを特徴とする画像復号方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009263796 | 2009-11-19 | ||
JP2009263796 | 2009-11-19 | ||
PCT/JP2010/005148 WO2011061880A1 (ja) | 2009-11-19 | 2010-08-20 | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2011061880A1 true JPWO2011061880A1 (ja) | 2013-04-04 |
Family
ID=44059368
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011541788A Pending JPWO2011061880A1 (ja) | 2009-11-19 | 2010-08-20 | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2011061880A1 (ja) |
WO (1) | WO2011061880A1 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110068792A (ko) | 2009-12-16 | 2011-06-22 | 한국전자통신연구원 | 적응적 영상 부호화 장치 및 방법 |
MX2012010863A (es) | 2010-04-01 | 2012-10-15 | Sony Corp | Dispositivo y metodo de procesamiento de imagenes. |
PL3136727T3 (pl) | 2011-04-12 | 2018-11-30 | Sun Patent Trust | Sposób kodowania ruchomych obrazów i urządzenie do kodowania ruchomych obrazów |
US9485518B2 (en) | 2011-05-27 | 2016-11-01 | Sun Patent Trust | Decoding method and apparatus with candidate motion vectors |
CA2834123C (en) | 2011-05-27 | 2020-02-11 | Panasonic Corporation | Image coding method, image coding apparatus, image decoding method, image decoding apparatus, and image coding and decoding apparatus |
EP4270953A3 (en) | 2011-05-31 | 2023-11-22 | Sun Patent Trust | Video decoding method, video decoding device |
KR101900986B1 (ko) | 2011-06-30 | 2018-09-20 | 선 페이턴트 트러스트 | 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치, 및, 화상 부호화 복호 장치 |
JP5786499B2 (ja) * | 2011-06-30 | 2015-09-30 | 株式会社Jvcケンウッド | 画像復号装置、画像復号方法及び画像復号プログラム |
CN106658015B (zh) * | 2011-06-30 | 2020-08-18 | 三菱电机株式会社 | 图像编码装置以及图像编码方法 |
JP5786498B2 (ja) * | 2011-06-30 | 2015-09-30 | 株式会社Jvcケンウッド | 画像符号化装置、画像符号化方法及び画像符号化プログラム |
EP2741499A4 (en) | 2011-08-03 | 2014-12-10 | Panasonic Ip Corp America | VIDEO CODING METHOD, VIDEO CODING METHOD, VIDEO CODING DEVICE, VIDEO ENCODING DEVICE AND VIDEO ENCODING / DECODING DEVICE |
JP5651560B2 (ja) * | 2011-09-07 | 2015-01-14 | 日本放送協会 | 動きベクトル予測装置、符号化装置、復号装置、及びこれらのプログラム |
CN103858428B (zh) | 2011-10-19 | 2018-07-03 | 太阳专利托管公司 | 图像编码方法、图像编码装置、图像解码方法及图像解码装置 |
GB2501535A (en) * | 2012-04-26 | 2013-10-30 | Sony Corp | Chrominance Processing in High Efficiency Video Codecs |
JP6344508B2 (ja) * | 2017-06-12 | 2018-06-20 | 株式会社Jvcケンウッド | 画像復号装置、画像復号方法、画像復号プログラム |
JP6344509B2 (ja) * | 2017-06-12 | 2018-06-20 | 株式会社Jvcケンウッド | 画像符号化装置、画像符号化方法、画像符号化プログラム |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008283490A (ja) * | 2007-05-10 | 2008-11-20 | Ntt Docomo Inc | 動画像符号化装置、方法及びプログラム、並びに動画像復号化装置、方法及びプログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5025286B2 (ja) * | 2007-02-28 | 2012-09-12 | シャープ株式会社 | 符号化装置及び復号装置 |
JP4786612B2 (ja) * | 2007-08-14 | 2011-10-05 | Kddi株式会社 | 動画像符号化装置の予測動きベクトル生成装置 |
-
2010
- 2010-08-20 WO PCT/JP2010/005148 patent/WO2011061880A1/ja active Application Filing
- 2010-08-20 JP JP2011541788A patent/JPWO2011061880A1/ja active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008283490A (ja) * | 2007-05-10 | 2008-11-20 | Ntt Docomo Inc | 動画像符号化装置、方法及びプログラム、並びに動画像復号化装置、方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2011061880A1 (ja) | 2011-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2011061880A1 (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
RU2720702C1 (ru) | Устройство прогнозирующего декодирования изображений, способ прогнозирующего декодирования изображений | |
JP5485969B2 (ja) | 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム | |
JP2005318497A (ja) | 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、及び画像復号プログラム。 | |
KR101866440B1 (ko) | 화상 예측 부호화 장치, 화상 예측 부호화 방법, 화상 예측 부호화 프로그램, 화상 예측 복호 장치, 화상 예측 복호 방법, 및 화상 예측 복호 프로그램 | |
JP5922281B2 (ja) | 動画像予測符号化装置、動画像予測符号化方法、動画像予測復号装置及び動画像予測復号方法 | |
JP5533885B2 (ja) | 動画像符号化装置および動画像復号装置 | |
US20130215966A1 (en) | Image encoding method, image decoding method, image encoding device, image decoding device | |
JP6134418B2 (ja) | 動画像予測復号装置及び動画像予測復号方法 | |
JP5642305B2 (ja) | 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム | |
JP5736083B2 (ja) | 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム | |
JP5668169B2 (ja) | 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム | |
AU2015202089B2 (en) | Image predictive encoding device, image predictive encoding method, image predictive encoding program, image predictive decoding device, image predictive decoding method, and image predictive decoding program | |
JP5698541B2 (ja) | 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130423 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130820 |