JP5277257B2 - 動画像復号化方法および動画像符号化方法 - Google Patents

動画像復号化方法および動画像符号化方法 Download PDF

Info

Publication number
JP5277257B2
JP5277257B2 JP2010541217A JP2010541217A JP5277257B2 JP 5277257 B2 JP5277257 B2 JP 5277257B2 JP 2010541217 A JP2010541217 A JP 2010541217A JP 2010541217 A JP2010541217 A JP 2010541217A JP 5277257 B2 JP5277257 B2 JP 5277257B2
Authority
JP
Japan
Prior art keywords
vector
motion vector
prediction
calculating
calculated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010541217A
Other languages
English (en)
Other versions
JPWO2010064396A1 (ja
Inventor
昌史 高橋
宗明 山口
浩朗 伊藤
武洋 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2010541217A priority Critical patent/JP5277257B2/ja
Publication of JPWO2010064396A1 publication Critical patent/JPWO2010064396A1/ja
Application granted granted Critical
Publication of JP5277257B2 publication Critical patent/JP5277257B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream

Description

本発明は動画像を復号化する動画像復号化技術および動画像を符号化する動画像符号化技術に関する。
符号化処理が完了した画像情報を利用して符号化対象画像をブロック単位で予測し、原画像との予測差分を符号化することによって、動画像の持つ冗長性を除いて符号量を減らす技術が開示されている。しかし、予測差分に加えてブロック探索の結果を動きベクトルとして符号化する必要があり、符号量のオーバーヘッドが発生する。
H.264/AVC（非特許文献１）では、上記動きベクトルの符号量を減らすために、動きベクトルに対する予測技術を開示している。すなわち、動きベクトルを符号化する際には、対象ブロックの周辺に位置する符号化済みのブロックを利用して対象ブロックの動きベクトルを予測し、予測ベクトルと動きベクトルの差分(差分ベクトル)を可変長符号化する。しかし、動きベクトルの予測精度は十分であるとは言えず、特に動く物体が複数存在するなど、動きの複雑な画像に対しては依然として動きベクトルに多くの符号量が必要であるといった問題がある。
ITU-T Recommendation H.264/AVC
上記技術は、動きベクトルの予測精度が十分高くないため、依然として動きベクトルに多くの符号量が必要である。
本発明は、上記課題を鑑みてなされたものであり、その目的は、予測ベクトルの算出方法を改善して動きベクトルの符号量を減少し、圧縮効率を向上させることである。
上記の課題を解決するために、本発明の一実施の態様は、例えば特許請求の範囲に記載されるように構成すればよい。
少ない符号量で高画質の映像を提供することが可能である。
本発明における画像符号化装置のブロック図 本発明における画像符号化装置のブロック図 本発明における画像復号化装置のブロック図 本発明における画像復号化装置のブロック図 H.264/AVCにおける画面間予測の概念的な説明図 H.264/AVCにおける動きベクトルの予測技術に関する概念的な説明図 実施例1,2,3における動きベクトルの予測技術に関する概念的な説明図 実施例1,2,3における動きベクトルの予測技術に関する概念的な説明図 実施例2における動きベクトルの予測技術に関する概念的な説明図 実施例3における動きベクトルの予測技術に関する概念的な説明図 実施例4における動きベクトルの予測技術に関する概念的な説明図 本発明における画像符号化方法の流れ図 本発明における画像復号化方法の流れ図 本発明における画像符号化方法の流れ図 本発明における画像復号化方法の流れ図 本発明における画像符号化方法の流れ図 本発明における画像復号化方法の流れ図 本発明における画像符号化方法の流れ図 本発明における画像復号化方法の流れ図
以下、本発明の実施例について、図面を参照して説明する。
図５はH.264/AVCによる画面間予測処理の動作について概念的に示したものである。
H.264/AVCでは、符号化対象画像に対してラスタースキャンの順序に従ってブロック単位による符号化を行う。画面間予測を行う際には、符号化対象画像(503)と同じ映像(501)に含まれる符号化済みの画像の復号画像を参照画像(502)とし、対象画像中の対象ブロック(504)と相関の高いブロック(予測画像)(505)を参照画像中から探索する。このとき、両ブロックの差分として計算される予測差分に加えて、両ブロックの座標値の差分を動きベクトル(506)として符号化する。一方復号化の際には上記の逆の手順を行えばよく、復号化された予測差分を参照画像中のブロック(予測画像)(505)に加えることにより、復号化画像を取得できる。
H.264/AVCでは、以上で説明した動きベクトルによる符号量のオーバーヘッドを低減するために、動きベクトルに対する予測技術を導入している。すなわち、動きベクトルを符号化する際には、対象ブロックの周辺に位置する符号化済みのブロックを利用して対象ブロックの動きベクトルを予測し、予測ベクトルと動きベクトルとの差分(差分ベクトル)を符号化する。このとき、差分ベクトルの大きさはほぼ0に集中するため、これを可変長符号化することにより符号量を削減できる。
図６は予測ベクトルを算出する方法について概念的に示したものである。対象ブロック (601)の左側、上側、右上側に隣接する符号化済みのブロックをそれぞれブロックA(602)、ブロックB(603)、ブロックC(604)とし、各ブロックにおける動きベクトルMVをMVA、MVB、MVCとする。このとき、予測ベクトルはMVA、MVB、MVCの中央値として表される。すなわち、予測ベクトルPMVは、引数として指定されたベクトルの各成分に対して中央値を返す関数Medianを用いて、(605)のように算出される。さらに、差分ベクトルDMVを対象ブロックの動きベクトルMVと予測ベクトルPMVの差分(606)として算出し、続いて差分ベクトルDMVを可変長符号化する。復号化の際には上記の逆の手順を行えばよく、復号化された差分ベクトルDMVを上記と同様の手順によって算出した予測ベクトルPMVに加算することにより、動きベクトルMVを復号化する。
以上のように、H.264/AVCでは、動きベクトルに対する予測技術を導入することにより、動きベクトルに必要な符号量を大幅に削減することが可能になった。しかし、H.264/AVCの場合、予測ベクトルを算出する際に画面内の近傍ブロックしか考慮しておらず、必ずしも物体の動きを反映できているとはいえなかった。そのため、特に近傍領域に動く物体が複数存在する場合、動きベクトルの予測精度が十分とは言えず、依然として動きベクトルに多くの符号量が必要であった。本発明では、既符号化領域の動きベクトルのうち値が近いものを統合することにより動領域の存在とその範囲を推定し、対象領域の近傍に存在する動領域の動きベクトルに基づいて予測ベクトルを算出することにより、動きベクトルに対する予測精度を向上できるようになる。
以下、本発明による予測ベクトルPMVの算出方法について述べる。
予測ベクトルPMVの算出手順は符号化側と復号化側で同一であり、符号化側では動きベクトルMVと予測ベクトルPMVとの差分ベクトルDMVを算出してこれを符号化する処理が行われる。復号化側では復号化された差分ベクトルDMVに予測ベクトルPMVを加算して動きベクトルMVを復号化する処理が行われる。
実施例1は、対象ブロックの予測ベクトルを算出する際に、統合領域の情報を利用する。すなわち、対象ブロックの周辺に統合領域が存在する場合は、対象ブロックも統合領域に含まれる物体と同じ物体の一部を含むと判断し、統合領域に含まれるブロックの動きベクトルに基づいて予測ベクトルを算出する。
これにより、対象領域の近傍に存在する動領域の動きベクトルに基づいて予測ベクトルを算出できるため、動きベクトルに対する予測精度を向上できる。また、予測ベクトルの算出方法を改善して動きベクトルの符号量を減少し、圧縮効率を向上できる。
図７は、本実施例における予測ベクトルPMV算出方法の一例について概念的に示した図である。
例えば、物体(702)が映っているフレーム(701)において、物体(702)の一部を含むブロック(703)を画面間符号化する場合について考える。この場合、まず対象ブロック(703)の左や上に位置する既符号化領域における動きベクトルMV (704)について、近い動きベクトルMV同士を互いに統合する。例えば、統合条件|V1-V2|＜Thresholdが成立した場合、2つの動きベクトルV1とV2を統合し、同一の領域に含める。
ここで、|A|をベクトルAの大きさ、Thresholdを定数とする。定数Thresholdはあらかじめ一意の値に設定しておいても良いし、符号化側で値を自由に設定して符号化ストリームに含めても良い。また、動きベクトルMVの分散値や平均値などの符号化情報や、統合領域の大きさなどに基づいて動的に決定しても良い。また、特にこの数式に従わなくても良い。さらに、統合の際に、色情報など動きベクトルMV以外の情報を考慮しても良い。
一般的に同じ物体の一部を含む領域の動きベクトルMVは互いに近い値を示す性質があるため、統合領域(705)を取得することによって物体(702)の存在とその範囲を特定することができる。
本発明では、対象ブロック(703)の予測ベクトルPMVを算出する際に、統合領域(705)の情報を利用する。すなわち、対象ブロック(703)の周辺に統合領域(705)が存在する場合は、対象ブロック(703)も統合領域(705)に含まれる物体(702)と同じ物体の一部を含むと判断し、統合領域(705)に含まれるブロックの動きベクトルMVに基づいて予測ベクトルPMVを算出する。予測ベクトルPMVの算出方法は特に問わないが、例えば図７の式(706)のように、統合領域内の動きベクトルMVの平均値(AVE(C))として算出しても良いし、統合領域内の動きベクトルMVの中間値など、統合領域内の代表的な動きベクトルMVを選択することによって予測ベクトルPMVを算出しても良い。
ここで、Cを統合領域に含まれる動きベクトルMVの集合、|C|をその本数とする。
次に、対象ブロック(703)の周辺に統合領域(705)が存在しない場合について説明する。対象ブロック(703)の周辺に統合領域(705)が存在しない場合は、例えば図8に示す手順に従って予測ベクトルPMVを算出する。ここでは、図7と同様の物体(802)が映っているフレーム(801)において、物体(802)とは離れたブロック(803)を画面間符号化する場合について考える。この場合、既符号化領域の動きベクトルMV (804)に対して図7と同様の手順にて統合を行い、統合領域(805)を得る。そして、H.264など、対象ブロック(803)の周辺ブロックの動きベクトルMVを利用する従来の計算式(807)にて予測ベクトルPMVを算出する(806)。ただし、従来方式としてはH.264に限定しない。
次に、本実施例における動画像符号化装置の構成、動作について説明する。
図1は本実施例における動画像符号化装置の一例を示したものである。
本実施例における動画像符号化装置は、入力された原画像(101)を保持する入力画像メモリ(102)と、入力画像メモリ(102)から入力された画像データを複数の領域に分割するブロック分割部(103)と、ブロック単位で画面内予測を行う画面内予測部(105)と、ブロック分割部(103)より入力された画像データに対して動きベクトル算出を行う動きベクトル算出部(104)と、動きベクトル算出部(104)にて検出された動きベクトルMVを用いてブロック単位で画面間予測を行う画面間予測部(106)と、予測符号化手段(予測方法およびブロックサイズ)を決定するモード選択部(107)と、予測差分データを生成する減算部(108)と、予測差分データに対して周波数変換を行う周波数変換部(109)と、周波数変換部(109)より入力された予測差分データを量子化する量子化部(110)と、量子化部(110)が量子化したデータを可変長符号化する可変長符号化部(111)と、量子化部(110)より入力された予測差分データを逆量子化する逆量子化処理部(112)と、逆量子化処理部(112)が逆量子化したデータを逆周波数変換する逆周波数変換部(113)と、逆周波数変換されたデータを用いて復号化画像を生成する加算部(114)と、復号化画像を保持する参照画像メモリ(115)とを有する。
本実施例における動画像符号化装置の各構成部の動作について説明する。
入力画像メモリ(102)は原画像(101)のうち一枚の画像を符号化対象画像として保持し、これをブロック分割部(103)に出力する。ブロック分割部(103)は、原画像(101)を複数のブロックに分割し、動きベクトル算出部(104)、画面内予測部(105)、および画面間予測部 (106)に出力する。動きベクトル算出部(104)は、参照画像メモリ(115)に格納されている復号化済み画像を用いて対象ブロックの動きベクトルMVを算出し、動きベクトルMVを画面間予測部(106)に出力する。画面内予測部(105)および画面間予測部(106)は、画面内予測処理および画面間予測処理をブロック単位で実行し、モード選択部(107)は、画面内予測処理および画面間予測処理の結果を参照し、どちらか最適な予測符号化手段を選択する。続いて減算部(108)は、最適な予測符号化手段による予測差分データを生成し、周波数変換部(109)に出力する。周波数変換部(109)および量子化処理部(110)は、入力された予測差分データに対して、ブロック単位でそれぞれDCT(Discrete Cosine Transformation：離散コサイン変換)などの周波数変換および量子化処理を行い、可変長符号化処理部(111)および逆量子化処理部(112)に出力する。ここで、DCTの他にDST(Discrete Sine Transformation：離散サイン変換)、WT(Wavelet Transformation：ウェーブレット変換)、DFT(Discrete Fourier Transformation：離散フーリエ変換)、KLT(Karhunen-Loeve Transformation：カルーネン-レーブ変換)などを用いて処理を行っても良い。可変長符号化処理部(111)は、周波数変換係数によって表される予測差分情報と、例えば画面内予測を行う際に用いた予測方向データや、画面間予測を行う際に利用した動きベクトルMVなど、復号化に必要な情報を、発生頻度の高い記号には短い符号長を割り当てるなど、記号の発生確率に基づいて可変長符号化を行い、符号化ストリームを生成する。逆量子化処理部(112)および逆周波数変換部(113)は、量子化後の周波数変換係数に対して、それぞれ逆量子化およびIDCT(Inverse DCT：逆DCT)などの逆周波数変換を施し、予測差分データを取得して加算部(114)に出力する。加算部(114)は、復号化画像を生成して参照画像メモリ(115)に出力し、参照画像メモリ(115)は、生成された復号化画像を格納する。
図２を用いて画面間予測部(106)について説明する。
画面間予測部(106)は、既符号化領域の動きベクトルMVを記憶するための動きベクトル記憶メモリ(201)と、既符号化領域の動きベクトルMVを用いて予測ベクトルPMVを算出する予測ベクトル算出部(202)と、動きベクトルMVと予測ベクトルPMVとの差を計算して差分ベクトルDMVを算出する減算器(203)と、予測画像を生成する予測画像生成部(204)とを有する。
画面間予測部(106)の各構成部の動作について説明する。
予測ベクトル算出部(202)は、動きベクトル記憶メモリ(201)に記憶されている既符号化領域の動きベクトルMVに基づいて対象ブロックの予測ベクトルPMVを算出する。減算部(203)は、動きベクトル算出部(104)で算出された動きベクトルMVと予測ベクトルPMVとの差分を計算して差分ベクトルDMV (205)を算出する。予測画像生成部(204)は、動きベクトルMVと参照画像とから予測画像(206)を生成する。動きベクトル記憶メモリ(201)は、動きベクトルMVを記憶する。
図３は本実施例における動画像復号化装置の一例を示したものである。
本実施例における動画像復号化装置は、例えば図1に示す動画像符号化装置によって生成された符号化ストリーム(301)に対して可変長符号化の逆の手順を踏む可変長復号化部(302)と、予測差分データを逆量子化する逆量子化処理部(303)と、逆量子化処理部(303)が逆量子化したデータを逆周波数変換する逆周波数変換部(304)と、画面間予測を行う画面間予測部(305)と、画面内予測を行う画面内予測部(306)と、復号化画像を生成する加算部 (307)と、復号化画像を記憶する参照画像メモリ(308)とを有する。
本実施例における動画像復号化装置の各構成部の動作について説明する。
可変長復号化部(302)は、符号化ストリーム(301)を可変長復号化し、予測差分の周波数変換係数成分やブロックサイズや動きベクトルMVなど、予測処理に必要な情報を取得する。予測差分の周波数変換係数成分などは逆量子化処理部(303)に、ブロックサイズや動きベクトルMVなどは画面間予測部(305)または画面内予測部(306)に送られる。逆量子化処理部(303)および逆周波数変換部(304)は、予測差分情報に対してそれぞれ逆量子化と逆周波数変換を施して予測差分データの復号化を行う。画面間予測部(305)および画面内予測部(306)は、可変長復号化部(302)から入力された画像情報と参照画像メモリ(308)に格納される参照画像とに基づいて予測処理を行う。加算部(307)は、可変長復号化部(302)から入力された予測差分データと画面間予測部(305)または画面内予測部(306)から入力された予測画像データとに基づいて復号化画像を生成する。参照画像メモリ(308)は、加算部(307)より入力された復号化画像を格納する。
図４を用いて、画面間予測部(305)について説明する。画面間予測部(305)は、既復号化領域の動きベクトルMVを記憶する動きベクトル記憶メモリ(401)と、既復号化領域の動きベクトルMVを用いて予測ベクトルPMVを算出する予測ベクトル算出部(402)と、差分ベクトルDMVと予測ベクトルPMVとの和を算出して動きベクトルMVを算出する加算器(403)と、予測画像を生成する予測画像生成部(404)とを有する。
画面間予測部(305)の各構成部の動作について説明する。
予測ベクトル算出部(402)は、動きベクトル記憶メモリ(401)に記憶されている既復号化領域の動きベクトルMVに基づいて対象ブロックの予測ベクトルPMVを算出する。加算部(404)は、可変長復号化部(302)にて復号化された差分ベクトルDMVと予測ベクトルPMVとの和を計算して動きベクトルMVを復号化する。動きベクトル記憶メモリ(401)は、復号化された動きベクトルMVを記憶する。予測画像生成部(404)は、動きベクトルMVと参照画像とから予測画像(405)を生成する。
図12は、本実施例における符号化処理手順について示す図である。
まず、符号化対象となるフレーム内に存在するすべてのブロックに対して以下の処理を行う(1201)。すなわち、対象ブロックに対して、すべての符号化モード(予測方法とブロックサイズの組み合わせ)について予測を行う(1202)。ここでは予測モードに応じて、画面内予測(1204)または画面間予測(1220)を行い、予測差分の算出を行う。さらに、画面間予測(1220)を行う際には、予測差分の他に動きベクトルMVを符号化する(1205)。また、既符号化領域の動きベクトルMVについて統合処理を行い(1206)、対象ブロックの周辺に統合領域が存在するか否か判定を行う(1207)。対象ブロックの周辺に統合領域が存在すれば、統合領域に含まれる動きベクトルMVに基づいて予測ベクトルPMVを算出して(1208)、動きベクトルMVとの差分を算出することにより、差分ベクトルDMVを取得する(1209)。一方、対象ブロックの周辺に統合領域が存在しなければ、H.264などの従来方式により予測ベクトルPMVを算出して(1210)、差分ベクトルDMVを取得する(1211)。続いて、予測差分データに対して周波数変換処理(1212)、量子化処理(1213)、および可変長符号化処理(1214)を行い、各符号化モードの画質歪と符号量とを算出する。以上の処理をすべての符号化モードにおいて終了すれば、その結果に基づいて、最も符号化効率が良い符号化モードを選択する(1215)。なお、複数の符号化モードのうち、最も符号化効率が良いものを選択するには、例えば画質歪みと符号量との関係から最適な符号化モードを決定するRD-Optimization方式を利用することによって、効率良く符号化することができる。RD-Optimization方式の詳細については参考文献1を参照のこと。
（参考文献1）G. Sullivan and T.Wiegand : “Rate-Distortion Optimization for Video Compression”, IEEE Signal Processing Magazine, vol.15, no.6, pp.74-90, 1998.
続いて、選択された符号化モードに対して、量子化済みの周波数変換係数に逆量子化処理(1216)と逆周波数変換処理(1217)を施して予測差分データを復号化し、復号化画像を生成して(1218)、参照画像メモリに格納する。以上の処理をすべてのブロックに対して完了すれば、画像1フレーム分の符号化は終了する(1219)。
図13は、本実施例における1フレームの復号化処理手順について示した図である。
まず、1フレーム内のすべてのブロックに対して、以下の処理を行う(1301)。すなわち、入力ストリームに対して可変長復号化処理を施し(1302)、逆量子化処理(1303)および逆周波数変換処理(1304)を施して予測差分データを復号化する。続いて、予測モードに応じて、画面内予測処理(1306)および画面間予測処理(1315)を行う。なお、画面間予測を行う際には動きベクトルMVの復号化を行う。ここでは、既復号化領域の動きベクトルMVに対して統合処理を行い(1307)、対象ブロックの周辺に統合領域が存在するか否かの判定を行う (1308)。対象ブロックの周辺に統合領域が存在すれば、統合領域に含まれる動きベクトルMVに基づいて予測ベクトルPMVを算出して(1309)、差分ベクトルDMVと加算することにより対象ブロックの動きベクトルMVを取得する(1310)。一方、対象ブロックの周辺に統合領域が存在しなければ、H.264などの従来方式により予測ベクトルPMVを算出して(1311)、動きベクトルMVを算出する(1312)。次に、算出した動きベクトルMVを用いて、予測画像および復号画像の生成を行う(1313)。以上の処理をフレーム中のすべてのブロックに対して完了すれば、画像1フレーム分の復号化が終了する(1314)。
なお、本実施例では、予測ベクトルPMVの算出をブロック単位で行っているが、それ以外にも例えば画像の背景から分離したオブジェクト単位で算出しても良い。また、周波数変換の一例としてDCTを挙げているが、DST(Discrete Sine Transformation：離散サイン変換)、WT(Wavelet Transformation：ウェーブレット変換)、DFT(Discrete Fourier Transformation：離散フーリエ変換)、KLT(Karhunen-Loeve Transformation：カルーネン-レーブ変換)など、画素間相関除去に利用する直交変換であればどのようなものでも良い。特に周波数変換を施さずに予測差分そのものに対して符号化を行っても良い。さらに、可変長符号化を行わなくて良い。また、本実施例では統合領域に含まれる動きベクトルMVに基づいて予測ベクトルPMVを算出しているが、これを用いて動きベクトル自体を算出しても良い。
本実施例は、対象ブロックの周辺に統合領域が存在する場合は、対象ブロックも統合領域に含まれる物体と同じ物体の一部を含むと判断し、統合領域に含まれるブロックの動きベクトルに基づいて予測ベクトルを算出する。これにより、動きベクトルに対する予測精度を向上できる。また、予測ベクトルの算出方法を改善して動きベクトルの符号量を減少し、圧縮効率を向上できる。
実施例1は、対象ブロックが周辺の物体領域に含まれる場合において予測精度が改善される。一方、実施例2は、符号化または復号化済みの過去フレームを用いて、対象ブロックの予測ベクトルPMVを算出する。これにより、例えば対象ブロックが物体領域の境界に位置する場合の予測精度を改善することが可能である。
図9は符号化済みの過去フレームを用いた一例を示した図である。
ここでは、対象フレーム(表示時刻t=n)(901)よりも前のフレーム(表示時刻t=m) (902)に対し、実施例1と同様の手順にて動きベクトルMVの統合を行う。フレーム(902)はさらに過去のフレーム(表示時刻t=k) (903)を参照しており、フレーム(902)における統合領域(904)の移動先は、当該統合領域に含まれる動きベクトルMVの代表値F(C)(905)によって表すことができる。ここで、代表値F(C)は、当該統合領域に含まれる動きベクトルの平均値、重み付け平均値や中央値などにより算出すればよい。なお、k<m<nであるとする。このとき、k、m、nの値を考慮することによって、例えば式(908)を用いて、統合領域(904)が対象フレーム(901)中のどこに移動するかを推定するための補正ベクトルF’(C)(906)を算出することができる。これにより、過去フレーム(902)における統合領域(904)に対応した対象フレーム(903)上の動き推定領域(907)を推定することが可能になる。
対象ブロックが領域(907)に含まれる場合、統合領域(904)に含まれる動きベクトルMVに基づいて予測ベクトルPMVを算出する。例えば、予測ベクトルPMVは統合領域(904)に含まれる動きベクトルMVの平均値AVE(C)として算出しても良いし、統合領域(904)に含まれる一つのベクトルを選択しても良い。または、H.264などの従来方式を用いて予測ベクトルPMVを算出しても良い。また、予測ベクトルPMVは、例えば式(909)、式(910)、式(911)などにより算出することができる。
本実施例における動画像符号化装置、動画像復号化装置の構成は、実施例１において図1〜図4に示した動画像符号化装置、動画像復号化装置の構成と同様であるため、これらの説明を省略する。
図１４は本実施例における符号化手順を示した図である。ここでは、図１２における画面間予測処理(1220)のみ記述しており、その他の動作は図１２と同様の手順を行うものであるため、説明を省略する。
まず動きベクトル算出および差分画像算出を行う(1401)。続いて、過去のフレームにおける動きベクトルMVに対して統合処理を行い(1402)、統合領域の代表ベクトル（例えば平均値ベクトルとして算出すれば効果的である。以下、「平均ベクトル」として記載する。）を算出する(1403)。次に、平均ベクトルと過去フレームの時刻情報に基づいて、過去フレームにおける統合領域が符号化対象フレーム中のどこに移動するのかを示す補正ベクトルを算出し(1404)、動き推定領域を特定する。対象ブロックが動き推定領域に含まれているか否かの判定を行い(1405)、対象ブロックが動き推定領域に含まれていれば、統合領域に含まれる動きベクトルMVに基づいて予測ベクトルPMVを算出する(1406)。当該予測ベクトルPMVの算出方法は、図９に示した通りである。次に、予測ベクトルPMVと動きベクトルMVとの差分を算出することによって差分ベクトルDMVを取得する(1407)。一方、対象ブロックが動き推定領域に含まれていなければ、H.264などの従来方式により予測ベクトルPMVを算出して(1408)、差分ベクトルDMVを取得する(1409)。
図１５は本実施例における復号化手順を示した図である。ここでは、図１３の画面間予測処理(1315)のみ記述しており、その他の動作は図１３と同様の手順を行うものであるため、説明を省略する。
まず、過去のフレームにおける動きベクトルMVに対して統合処理を行い(1501)、統合領域の平均ベクトルを計算する(1502)。続いて、平均ベクトルと過去フレームの時刻とに基づいて、過去フレームにおける統合領域が符号化対象フレーム中のどこに移動するのかを示す補正ベクトルを算出し(1503)、動き推定領域を特定する。対象ブロックが動き推定領域に含まれているか否かの判定を行い(1504)、対象ブロックが動き推定領域に含まれていれば、統合領域に含まれる動きベクトルMVに基づいて予測ベクトルPMVを算出して(1505)、差分ベクトルDMVとの和を計算することによって動きベクトルMVを取得する(1506)。一方、対象ブロックが動き推定領域に含まれていなければ、H.264などの従来方式により予測ベクトルPMVを算出する(1507)。当該予測ベクトルPMVの算出方法は、図９の通りである。次に、予測ベクトルPMVと差分ベクトルDMVとの和を計算することによって動きベクトルMVを算出する(1508)。最後に、算出した動きベクトルMVに基づいて予測画像および復号画像を生成し(1509)、画像の復号化を行う。
本実施例では、予測ベクトルPMVの算出をブロック単位で行っているが、それ以外にも例えば画像の背景から分離したオブジェクト単位で算出しても良い。また、本実施例と実施例1を組み合わせても良い。
本実施例は、符号化または復号化済みの過去フレームを用いて、対象ブロックの予測ベクトルPMVを算出する。これにより、例えば対象ブロックが物体領域の境界に位置する場合の予測精度を改善することが可能である。
実施例2は、統合ベクトル(904)の平均ベクトル(905)によって算出した補正ベクトル(906)を用いて統合領域(904)の移動先(907)を推定した。一方、実施例3は、図10に示すように、統合領域の動きを数式にてモデル化する。この動作を符号化側・復号化側で行えば、これらの動きパラメータを符号化する必要が無くなるため、符号量の増加を防ぐことができる。
図10は符号化済みの過去フレームを用いて、統合領域の動きを数式にてモデル化した一例を示した図である。
対象フレーム(1001)の過去フレーム(1002)、・・、(1003)、(1004)における統合領域の軌跡から、その動きを時間関数RMV(t)によってモデル化する。RMV(n)を算出することによって対象フレーム(1001)中の動き推定領域(1006)を推定する。動きをモデル化する関数RMV(t)としては、例えば(1008)のような線形関数のようなモデルを利用しても良いし、例えば楕円、二次曲線(放物線)、ベジエ曲線、クロソイド曲線、サイクロイド、反射、振り子運動などの関数を利用しても良い。このとき、動きのモデル化を行うためには、例えば(1008)のA、B、C、Dのような動きパラメータが必要になるが、これらは符号化側で自由に設定してストリームに含めることができるようにしても良いし、統合領域の軌跡から自動で計算してもよい。すなわち、過去のフレーム(1002)、・・、(1003)、(1004)のそれぞれに対して動きベクトルMVの統合を行うと、統合領域の座標列(X1, Y1)、・・、(Xm-1, Ym-1)、(Xm、Ym)が取得できるため、これらの値を（1008）等の方程式に代入して連立方程式を解けば、パラメータの値が求まる。この動作を符号化側・復号化側で行えば、これらの動きパラメータを符号化する必要が無くなるため、符号量の増加を防ぐことができる。
なお、上記関数RMV(t)によって算出した動き推定領域(1006)における予測ベクトルPMVは、例えば式(1009)、式(1010)、式(1011)などにより算出することができる。
本実施例における動画像符号化装置、動画像復号化装置の構成は、実施例１において図1〜図4に示した動画像符号化装置、動画像復号化装置の構成と同様であるため、これらの説明を省略する。
図１６は本実施例における符号化手順を示した図である。ここでは、図１２の画面間予測処理(1220)のみ記述しており、その他の動作は図１２と同様の手順を行うものであるため、説明を省略する。
まず動きベクトルおよび差分画像の算出を行う(1601)。次に、対象となるすべての過去フレームに対し、以下の処理を行う(1602)。すなわち、過去フレームの動きベクトルMVに対して統合処理を行い(1603)、例えば統合領域の重心などから統合領域の代表座標を算出する(1604)。以上の処理により統合領域の座標列が得られれば、例えば異なるフレームで検出された統合領域の座標のうち、対象ブロックまたは対象ブロックに対応する過去ブロックとの距離が近いブロックを、対象ブロックと同じ物体を含むブロックであると判定することにより、統合領域の追跡処理を行う(1605)。すなわち、当該追跡処理とは、対象ブロックと同じ物体を含むと判定される統合領域を過去フレーム毎に決定し、各統合領域の代表座標からなる座標列を生成する処理である。続いて、座標列より動きのモデル化パラメータを算出し(1606)、そのパラメータを用いて過去フレームの統合領域が対象フレーム中のどこに移動したかを調べて対象フレーム中の動き推定領域を特定する(1607)。対象ブロックが動き推定領域に含まれているか否かの判定を行い(1608)、対象ブロックが動き推定領域に含まれていれば、統合領域に含まれる動きベクトルMVに基づいて予測ベクトルPMVを算出して(1609)、動きベクトルMVとの差分を計算することによって差分ベクトルDMVを算出する(1610)。一方、対象ブロックが動き推定領域に含まれていなければ、H.264などの従来方式により予測ベクトルPMVを算出して(1611)、差分ベクトルDMVを算出する(1612)。
図１７は本実施例における復号化手順を示した図である。ここでは、図１３の画面間予測処理(1315)のみ記述しており、その他の動作は図１３と同様の手順を行うものであるため、説明を省略する。
まず、対象となるすべての過去フレームに対し、以下の処理を行う(1701)。すなわち、過去フレームの動きベクトルMVに対して統合処理を行い(1702)、例えば統合領域の重心などから統合領域の代表座標を算出する(1703)。以上の処理により統合領域の座標列が得られれば、例えば異なるフレームで検出された統合領域の座標のうち、対象ブロックまたは対象ブロックに対応する過去ブロックとの距離が近いブロックを同じ物体を含むブロックであると判定することにより、統合領域の追跡処理を行う(1704)。続いて、座標列より動きのモデル化パラメータを算出し(1705)、そのパラメータを用いて過去フレームの統合領域が対象フレーム中のどこに移動したかを調べて動き推定領域を特定する(1706)。対象ブロックが動き推定領域に含まれているか否かの判定を行い(1707)、対象ブロックが動き推定領域に含まれていれば、統合領域に含まれる動きベクトルMVに基づいて予測ベクトルPMVを算出して(1708)、差分ベクトルDMVとの和を計算することによって動きベクトルMVを算出する(1709)。一方、対象ブロックが動き推定領域に含まれていなければ、H.264などの従来方式により予測ベクトルPMVを算出して(1710)、動きベクトルMVを算出する(1711)。最後に、算出した動きベクトルMVに基づいて予測画像および復号画像の生成を行う(1712)
。
本実施例では、予測ベクトルPMVの算出をブロック単位で行っているが、それ以外にも例えば画像の背景から分離したオブジェクト単位で算出しても良い。また、本実施例と実施例1、実施例2とを組み合わせても良い。
本実施例は、図10に示すように、統合領域の動きを数式にてモデル化する。この動作を符号化側・復号化側で行えば、これらの動きパラメータを符号化する必要が無くなるため、符号量の増加を防ぐことができる。
実施例1乃至3は、過去フレームの画面全体、もしくは現フレームの既符号化領域全体の動きベクトルMVを利用して予測ベクトルPMVを算出する。一方、実施例4では、対象ブロックと同一フレーム内でかつ周辺のブロックのみを利用して、少ない符号量で、実施例1乃至3と同等の効果が得られる方法を示す。
本実施例における動画像符号化装置、動画像復号化装置の構成は、実施例１において図1〜図4に示した動画像符号化装置、動画像復号化装置の構成と同様であるため、これらの説明を省略する。
図１１は、本発明による予測ベクトルPMV算出方法の一例について概念的に示したものである。対象ブロック(1101)の左側、上側、右上側に隣接する符号化済みのブロックをそれぞれブロックA(1102)、ブロックB(1103)、ブロックC(1104)とし、各ブロックにおける動きベクトルをMVA、MVB、MVCとする。このとき、各ベクトルMVX(MVX∈MVA、MVB、MVC)に対し、周りのベクトルと統合できる度合いの逆数を計算する関数Cluster設定して、これを利用してCluster(MVX)を算出し、この値が最小となるベクトルを選択する(1105)。
ここで、関数Clusterは、例えば、各ベクトルMVX(MVX∈MVA、MVB、MVC)に対してその周辺のベクトルとの差分の絶対値和を算出するものを設定すると効果的である。すなわち、ブロックX(X∈A、B、C)(1107)の左側、上側、右上側に隣接する符号化済みのブロックをそれぞれブロックX1(1108)、ブロックX2(1109)、ブロックX3(1110)とし、各ブロックにおける動きベクトルをMVX1、MVX2、MVX3とすると、関数Clusterは(1111)のように表される。または、ブロックX(X∈A、B、C)(1107)の動きベクトルMVXとブロックX1,X2,X3の動きベクトルMVXnとの内積を、ブロックX(X∈A、B、C)(1107)の動きベクトルの絶対値とブロックX1,X2,X3の動きベクトルの絶対値との積で除算した値に基づいて算出しても良い(1112)。ただし、動きベクトル間の類似性を算出するものであれば、特にこれらの数式に従わなくても良い。
さらに、選択されたベクトルによる評価値Cluster（BESTMV）が定数Threshold2よりも小さい場合は、対象ブロックの周辺に物体が存在すると判断し、選択されたベクトルに基づいて予測ベクトルPMVを算出する。この計算方法は特に問わないが、例えば選択されたベクトルをそのまま予測ベクトルPMVに設定すると効果的である(1106)。一方、選択されたベクトルによる評価値Cluster（BESTMV）がThreshold2以上なら、対象ブロックの周辺には物体が存在しないと判断し、H.264などの従来方式と同様の手順にて予測ベクトルPMVを算出する(1106)。定数Threshold2はあらかじめ一意の値に設定しておいても良いし、符号化側で値を自由に設定して符号化ストリームに含めても良い。また、動きベクトルMVの分散値や平均値などの符号化情報や、統合領域の大きさなどに基づいて動的に決定しても良いし、特にこの数式に従わなくても良い。
本実施例では、上記Cluster関数を用いることにより、少ない計算量で動きベクトルを統合しているのと同じ効果を得ることができる。上記の例では、この関数を適用するブロックを、対象ブロックの左側、上側、右上側の3種類のブロックに限定したが、適用するブロック数は特に問わない。例えば左上側のブロックを加えた4種類のブロックに適用すると、さらに予測精度が高まる。
図１８は本実施例における符号化手順を示している。ここでは、図１２の画面間予測処理(1220)のみ記述しており、その他の動作は図１２と同様の手順を行うものであるため、説明を省略する。
まず動きベクトルおよび差分画像の算出を行う(1801)。続いて、対象ブロックの周辺に存在する動きベクトルのうち、さらに周辺の動きベクトルとの類似性を示す評価値Cluster（MVx）が最小となるベクトルを選択し (1802)、その評価値Cluster（BESTMV）と閾値とを比較する(1803)。評価値Cluster（BESTMV）が閾値より小さければ、選択された最小ベクトルを予測ベクトルPMVとして(1804)、動きベクトルMVとの差分を算出することにより差分ベクトルDMVを算出する(1805)。一方、評価値Cluster（BESTMV）が閾値以上であれば、H.264などの従来方式により予測ベクトルPMVを算出して(1806)、差分ベクトルDMVを算出する(1807)。
図１９は本実施例における復号化手順を示している。ここでは、図１３の画面間予測処理(1315)のみ記述しており、その他の動作は図１３と同様の手順を行うものであるため、説明を省略する。
まず、対象ブロックの周辺に存在する動きベクトルの中で、さらに周辺の動きベクトルとの類似性を示す評価値Cluster（MVx）が最小となるベクトルを選択し (1901)、その評価値Cluster（BESTMV）と閾値とを比較する(1902)。その評価値Cluster（BESTMV）が閾値より小さければ、選択された最小ベクトルを予測ベクトルPMVとして(1903)、差分ベクトルDMVとの和を算出することにより動きベクトルMVを取得する(1904)。一方、評価値Cluster（BESTMV）が閾値以上であれば、H.264などの従来方式により予測ベクトルPMVを算出して(1905)、動きベクトルMVを算出する(1906)。最後に、算出した動きベクトルMVを用いて予測画像および復号画像を生成し(1907)、画像の復号化を行う。
本実施例は、対象ブロックと同一フレーム内でかつ周辺のブロックのみを利用する。これにより、少ない符号量で、実施例1乃至3と同等の効果が得られる
本発明は動画像を復号化する動画像復号化技術および動画像を符号化する動画像符号化技術として有用である。
１０１〜１１５…本発明による動画像符号化装置の説明図、２０１〜２０７…本発明による動画像符号化装置の説明図、３０１〜３０８…本発明による動画像復号化装置の説明図、４０１〜４０６…本発明による動画像復号化装置の説明図、５０１〜５０５…H.264/AVCによる画面間予測符号化処理の説明図、６０１〜６０６…H.264/AVCによる動きベクトルの予測技術に関する説明図、７０１〜７０６…本発明による動きベクトルの予測技術に関する説明図、８０１〜８０７…本発明による動きベクトルの予測技術に関する説明図、９０１〜９１１…本発明による動きベクトルの予測技術に関する説明図、１００１〜１０１１…本発明による動きベクトルの予測技術に関する説明図、１１０１〜１１１２…本発明による動きベクトルの予測技術に関する説明図、１２０１〜１２１９…フローチャートのブロック、１３０１〜１３１４…フローチャートのブロック、１４０１〜１４０９…フローチャートのブロック、１５０１〜１５０９…フローチャートのブロック、１６０１〜１６１２…フローチャートのブロック、１７０１〜１７１２…フローチャートのブロック、１８０１〜１８０７…フローチャートのブロック、１９０１〜１９０７…フローチャートのブロック。

Claims (6)

  1. 画面間予測処理を行う動画像復号化方法であって、
    前記画面間予測処理において、
    既に復号化された複数のブロックの動きベクトルのうち、類似する動きベクトルを有するブロックを統合して統合領域を算出する統合ステップと、
    前記統合領域の動きベクトルを用いて復号化対象ブロックの予測ベクトルを算出する予測ベクトル算出ステップと、
    前記予測ベクトルと入力された符号化ストリームに含まれる差分ベクトルとに基づいて、前記対象ブロックの動きベクトルを算出する動きベクトル算出ステップと、
    前記動きベクトルを用いて予測画像を生成する予測画像生成ステップと、
    前記符号化ストリームに含まれる差分画像と前記予測画像とを加算して復号画像を生成する復号画像生成ステップとを備え、
    前記画面間予測処理において、
    前記復号化対象ブロックに隣接する統合領域が存在するか否かを判定し、前記隣接する統合領域が存在する場合に、前記統合領域に含まれるブロックの動きベクトル情報を用いて前記予測ベクトルを算出する
    ことを特徴とする動画像復号化方法。
  2. 画面間予測処理を行う動画像復号化方法であって、
    前記画面間予測処理において、
    既に復号化された複数のブロックの動きベクトルのうち、類似する動きベクトルを有するブロックを統合して統合領域を算出する統合ステップと、
    前記統合領域の動きベクトルを用いて復号化対象ブロックの予測ベクトルを算出する予測ベクトル算出ステップと、
    前記予測ベクトルと入力された符号化ストリームに含まれる差分ベクトルとに基づいて、前記対象ブロックの動きベクトルを算出する動きベクトル算出ステップと、
    前記動きベクトルを用いて予測画像を生成する予測画像生成ステップと、
    前記符号化ストリームに含まれる差分画像と前記予測画像とを加算して復号画像を生成する復号画像生成ステップとを備え、
    前記画面間予測処理において、
    既に復号化した過去フレームにおける統合領域に含まれる動きベクトルに基づいて算出した第一の動きベクトルと前記過去フレームの時刻とに基づいて、前記過去フレームにおける統合領域の復号化対象フレームへの移動先を示す第二の動きベクトルを算出し、前記第二の動きベクトルを用いて前記復号化対象フレームにおける統合領域を算出し、前記統合領域に前記復号化対象ブロックが含まれる場合に、前記第一の動きベクトルに基づいて前記復号化対象ブロックの予測ベクトルを算出する
    ことを特徴とする動画像復号化方法。
  3. 画面間予測処理を行う動画像復号化方法であって、
    前記画面間予測処理において、
    既に復号化された複数のブロックの動きベクトルのうち、類似する動きベクトルを有するブロックを統合して統合領域を算出する統合ステップと、
    前記統合領域の動きベクトルを用いて復号化対象ブロックの予測ベクトルを算出する予測ベクトル算出ステップと、
    前記予測ベクトルと入力された符号化ストリームに含まれる差分ベクトルとに基づいて、前記対象ブロックの動きベクトルを算出する動きベクトル算出ステップと、
    前記動きベクトルを用いて予測画像を生成する予測画像生成ステップと、
    前記符号化ストリームに含まれる差分画像と前記予測画像とを加算して復号画像を生成する復号画像生成ステップとを備え、
    前記画面間予測処理において、
    既に復号化した複数の過去フレームにおける統合領域のうち一の統合領域に含まれる動きベクトル情報に基づいて、該統合領域における動きベクトルを算出し、符号化ストリームに含まれる動きパラメータを用いて、前記複数の過去フレームにおける統合領域の軌跡を示す関数を算出し、前記関数を用いて復号化対象フレームにおける統合領域を算出し、該統合領域に前記復号化対象ブロックが含まれる場合に、前記統合領域における動きベクトルに基づいて前記復号化対象ブロックの予測ベクトルを算出する
    ことを特徴とする動画像復号化方法。
  4. 画面間予測処理を行う動画像符号化方法であって、
    前記画面間予測処理において、
    符号化対象ブロックの動きベクトル算出を行う動きベクトル算出ステップと、
    既に符号化された複数のブロックの動きベクトルのうち、類似する動きベクトルを有するブロックを統合して統合領域を算出する統合ステップと、
    前記統合領域の動きベクトルを用いて符号化対象ブロックの予測ベクトルを算出する予測ベクトル算出ステップと、
    前記動きベクトル算出ステップで算出した前記動きベクトルと前記予測ベクトルとの差分ベクトルを算出する差分ベクトル算出ステップとを備え、
    前記画面間予測処理において、
    前記符号化対象ブロックに隣接する統合領域が存在するか否かを判定し、前記隣接する統合領域が存在する場合に、前記統合領域に含まれるブロックの動きベクトル情報を用いて前記予測ベクトルを算出する
    ことを特徴とする動画像符号化方法。
  5. 画面間予測処理を行う動画像符号化方法であって、
    前記画面間予測処理において、
    符号化対象ブロックの動きベクトル算出を行う動きベクトル算出ステップと、
    既に符号化された複数のブロックの動きベクトルのうち、類似する動きベクトルを有するブロックを統合して統合領域を算出する統合ステップと、
    前記統合領域の動きベクトルを用いて符号化対象ブロックの予測ベクトルを算出する予測ベクトル算出ステップと、
    前記動きベクトル算出ステップで算出した前記動きベクトルと前記予測ベクトルとの差分ベクトルを算出する差分ベクトル算出ステップとを備え、
    前記画面間予測処理において、
    既に符号化した過去フレームにおける統合領域に含まれる動きベクトルに基づいて算出した第一の動きベクトルと前記過去フレームの時刻とに基づいて、前記過去フレームにおける統合領域の符号化対象フレーム中の移動先を示す第二の動きベクトルを算出し、前記第二の動きベクトルを用いて前記符号化対象フレームにおける統合領域を算出し、該統合領域に前記符号化対象ブロックが含まれる場合に、前記第一の動きベクトルに基づいて前記符号化対象ブロックの予測ベクトルを算出する
    ことを特徴とする動画像符号化方法。
  6. 画面間予測処理を行う動画像符号化方法であって、
    前記画面間予測処理において、
    符号化対象ブロックの動きベクトル算出を行う動きベクトル算出ステップと、
    既に符号化された複数のブロックの動きベクトルのうち、類似する動きベクトルを有するブロックを統合して統合領域を算出する統合ステップと、
    前記統合領域の動きベクトルを用いて符号化対象ブロックの予測ベクトルを算出する予測ベクトル算出ステップと、
    前記動きベクトル算出ステップで算出した前記動きベクトルと前記予測ベクトルとの差分ベクトルを算出する差分ベクトル算出ステップとを備え、
    前記画面間予測処理において、
    複数の過去フレームにおける統合領域の座標から、前記複数の過去フレームにおける前記統合領域の座標列を示す関数を算出し、前記関数を用いて符号化対象フレームにおける統合領域を算出し、該統合領域に前記符号化対象ブロックが含まれる場合に、既に符号化した過去フレームにおける統合領域のうち一の統合領域に含まれる動きベクトルに基づいて算出した動きベクトルに基づいて前記符号化対象ブロックの予測ベクトルを算出する
    ことを特徴とする動画像符号化方法。
JP2010541217A 2008-12-03 2009-11-27 動画像復号化方法および動画像符号化方法 Active JP5277257B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010541217A JP5277257B2 (ja) 2008-12-03 2009-11-27 動画像復号化方法および動画像符号化方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008308113 2008-12-03
JP2008308113 2008-12-03
JP2010541217A JP5277257B2 (ja) 2008-12-03 2009-11-27 動画像復号化方法および動画像符号化方法
PCT/JP2009/006438 WO2010064396A1 (ja) 2008-12-03 2009-11-27 動画像復号化方法および動画像符号化方法

Publications (2)

Publication Number Publication Date
JPWO2010064396A1 JPWO2010064396A1 (ja) 2012-05-10
JP5277257B2 true JP5277257B2 (ja) 2013-08-28

Family

ID=42233054

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010541217A Active JP5277257B2 (ja) 2008-12-03 2009-11-27 動画像復号化方法および動画像符号化方法

Country Status (4)

Country Link
US (6) US9560368B2 (ja)
JP (1) JP5277257B2 (ja)
CN (2) CN103647972B (ja)
WO (1) WO2010064396A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101619972B1 (ko) 2008-10-02 2016-05-11 한국전자통신연구원 이산 여현 변환/이산 정현 변환을 선택적으로 이용하는 부호화/복호화 장치 및 방법
DK3567855T3 (da) 2009-03-23 2023-01-30 Ntt Docomo Inc Billedforudsigelseskodningsindretning, billedforudsigelseskodningsfremgangsmåde, billedforudsigelseskodningsprogram, billedforudsigelsesafkodningsindretning, billedforudsigelsesafkodningsfremgangsmåde og billedforudsigelsesafkodningsprogram
WO2011046008A1 (ja) * 2009-10-16 2011-04-21 シャープ株式会社 動画像符号化装置、および、動画像復号装置
CN102823248B (zh) * 2010-04-08 2015-06-24 株式会社东芝 图像编码方法以及图像编码装置
FI3661210T3 (fi) * 2010-07-20 2023-08-31 Ntt Docomo Inc Kuvanennustusdekoodausmenetelmä
AU2015252039B2 (en) * 2010-07-20 2016-09-01 Ntt Docomo, Inc. Image prediction encoding device, image prediction encoding method, image prediction encoding program, image prediction decoding device, image prediction decoding method, and image prediction decoding program
US8885701B2 (en) * 2010-09-08 2014-11-11 Samsung Electronics Co., Ltd. Low complexity transform coding using adaptive DCT/DST for intra-prediction
JP4938884B2 (ja) * 2010-09-30 2012-05-23 シャープ株式会社 予測ベクトル生成方法、画像符号化方法、画像復号方法、予測ベクトル生成装置、画像符号化装置、画像復号装置、予測ベクトル生成プログラム、画像符号化プログラムおよび画像復号プログラム
JP2012094959A (ja) * 2010-10-25 2012-05-17 Sony Corp 画像処理装置と画像処理方法およびプログラム
JP2012209911A (ja) * 2010-12-20 2012-10-25 Sony Corp 画像処理装置および方法
BR122021004600B1 (pt) 2010-12-23 2022-08-16 Samsung Electronics Co., Ltd Método de decodificar uma imagem, e método de codificação de uma imagem
WO2012090397A1 (ja) * 2010-12-28 2012-07-05 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム
JP2012151576A (ja) 2011-01-18 2012-08-09 Hitachi Ltd 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置
WO2012124121A1 (ja) * 2011-03-17 2012-09-20 富士通株式会社 動画像復号方法、動画像符号化方法、動画像復号装置及び動画像復号プログラム
WO2012128068A1 (ja) * 2011-03-18 2012-09-27 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
JP5853841B2 (ja) * 2011-04-27 2016-02-09 株式会社Ｊｖｃケンウッド 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
WO2012153440A1 (ja) * 2011-05-09 2012-11-15 シャープ株式会社 予測ベクトル生成方法、予測ベクトル生成装置、予測ベクトル生成プログラム、画像符号化方法、画像符号化装置、画像符号化プログラム、画像復号方法、画像復号装置、及び画像復号プログラム
WO2013099244A1 (ja) * 2011-12-28 2013-07-04 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム
JP5969408B2 (ja) * 2013-01-31 2016-08-17 Kddi株式会社 映像圧縮フォーマット変換装置、映像圧縮フォーマット変換方法、およびプログラム
CN104539929B (zh) * 2015-01-20 2016-12-07 深圳威阿科技有限公司 带有运动预测的立体图像编码方法和编码装置
WO2016202189A1 (zh) * 2015-06-14 2016-12-22 同济大学 图像编码及解码方法、图像处理设备、计算机存储介质
CN106254878B (zh) 2015-06-14 2020-06-12 同济大学 一种图像编码及解码方法、图像处理设备
CN107770540B (zh) * 2016-08-21 2024-01-09 上海天荷电子信息有限公司 融合多种具有不同参考关系的基元的数据压缩方法和装置
CN112203091B (zh) * 2020-12-04 2021-05-04 浙江智慧视频安防创新中心有限公司 基于二次多项式的运动矢量预测方法、系统及计算机介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005124001A (ja) * 2003-10-17 2005-05-12 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
JP2007110672A (ja) * 2005-09-14 2007-04-26 Sanyo Electric Co Ltd 符号化方法
JP2007300209A (ja) * 2006-04-27 2007-11-15 Pioneer Electronic Corp 動画像再符号化装置およびその動きベクトル判定方法
JP2008278091A (ja) * 2007-04-27 2008-11-13 Hitachi Ltd 動画像記録方法及びその装置
JP2008283490A (ja) * 2007-05-10 2008-11-20 Ntt Docomo Inc 動画像符号化装置、方法及びプログラム、並びに動画像復号化装置、方法及びプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09261648A (ja) * 1996-03-21 1997-10-03 Fujitsu Ltd シーンチェンジ検出装置
JP4142180B2 (ja) * 1998-10-29 2008-08-27 富士通株式会社 動きベクトル符号化装置および復号装置
KR100833228B1 (ko) * 2002-02-21 2008-05-28 삼성전자주식회사 고정 연산량을 갖는 동영상 부호화 방법 및 그 장치
KR100865034B1 (ko) * 2002-07-18 2008-10-23 엘지전자 주식회사 모션 벡터 예측 방법
US20040081238A1 (en) * 2002-10-25 2004-04-29 Manindra Parhy Asymmetric block shape modes for motion estimation
JP4373702B2 (ja) * 2003-05-07 2009-11-25 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
US20050013498A1 (en) * 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US7366237B2 (en) * 2003-09-09 2008-04-29 Microsoft Corporation Low complexity real-time video coding
US7822116B2 (en) * 2005-04-14 2010-10-26 Broadcom Corporation Method and system for rate estimation in a video encoder
CN1322758C (zh) * 2005-06-09 2007-06-20 上海交通大学 基于对象的纹理快速运动估值的方法
CN100473168C (zh) * 2005-06-21 2009-03-25 中国科学院计算技术研究所 视频编码的运动矢量空间预测方法
US20080123947A1 (en) * 2005-07-22 2008-05-29 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein
US20070064809A1 (en) 2005-09-14 2007-03-22 Tsuyoshi Watanabe Coding method for coding moving images
US8879856B2 (en) * 2005-09-27 2014-11-04 Qualcomm Incorporated Content driven transcoder that orchestrates multimedia transcoding using content information
JP4879558B2 (ja) * 2005-11-02 2012-02-22 パナソニック株式会社 動きベクトル検出装置
US8204124B2 (en) * 2007-08-27 2012-06-19 Sony Corporation Image processing apparatus, method thereof, and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005124001A (ja) * 2003-10-17 2005-05-12 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
JP2007110672A (ja) * 2005-09-14 2007-04-26 Sanyo Electric Co Ltd 符号化方法
JP2007300209A (ja) * 2006-04-27 2007-11-15 Pioneer Electronic Corp 動画像再符号化装置およびその動きベクトル判定方法
JP2008278091A (ja) * 2007-04-27 2008-11-13 Hitachi Ltd 動画像記録方法及びその装置
JP2008283490A (ja) * 2007-05-10 2008-11-20 Ntt Docomo Inc 動画像符号化装置、方法及びプログラム、並びに動画像復号化装置、方法及びプログラム

Also Published As

Publication number Publication date
US10382775B2 (en) 2019-08-13
CN102239693A (zh) 2011-11-09
US11134263B2 (en) 2021-09-28
US20210385486A1 (en) 2021-12-09
US9906808B2 (en) 2018-02-27
US20110249749A1 (en) 2011-10-13
CN103647972A (zh) 2014-03-19
US20180146210A1 (en) 2018-05-24
US11546627B2 (en) 2023-01-03
CN102239693B (zh) 2013-12-18
US9560368B2 (en) 2017-01-31
US20190306529A1 (en) 2019-10-03
US20170099497A1 (en) 2017-04-06
JPWO2010064396A1 (ja) 2012-05-10
US10764599B2 (en) 2020-09-01
WO2010064396A1 (ja) 2010-06-10
CN103647972B (zh) 2017-04-12
US20200351516A1 (en) 2020-11-05

Similar Documents

Publication Publication Date Title
JP5277257B2 (ja) 動画像復号化方法および動画像符号化方法
JP6272948B2 (ja) 動き情報の復号化方法
JP5669278B2 (ja) 画像シーケンスのブロックを符号化する方法およびこのブロックを再構成する方法
JP5061179B2 (ja) 照明変化補償動き予測符号化および復号化方法とその装置
CN116233463A (zh) 用于多参考预测的运动矢量修正
JP5310614B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法
KR20080088299A (ko) 움직임 모델 파라메터의 부호화, 복호화 방법 및 움직임모델 파라메터를 이용한 영상의 부호화, 복호화 방법 및장치
JP5216710B2 (ja) 復号化処理方法
KR20090095012A (ko) 연속적인 움직임 추정을 이용한 영상 부호화, 복호화 방법및 장치
JP5367097B2 (ja) 動きベクトル予測符号化方法、動きベクトル予測復号方法、動画像符号化装置、動画像復号装置およびそれらのプログラム
JP2016154395A (ja) 以前ブロックの動きベクトルを現在ブロックの動きベクトルとして用いる映像符号化／復号化方法及び装置
WO2012121234A1 (ja) 映像符号化装置、映像符号化方法および映像符号化プログラム
WO2017010073A1 (ja) 動画像符号化装置、動画像符号化方法および動画像符号化プログラムを記憶する記録媒体
JP6019797B2 (ja) 動画像符号化装置、動画像符号化方法、及びプログラム
WO2019150411A1 (ja) 映像符号化装置、映像符号化方法、映像復号装置、映像復号方法、及び映像符号化システム
JP2009212667A (ja) 動画像符号化装置および復号装置
JP5281597B2 (ja) 動きベクトル予測方法，動きベクトル予測装置および動きベクトル予測プログラム
JP2013121044A (ja) 画像符号化装置及び画像符号化方法
WO2020059616A1 (ja) 画像符号化装置、画像復号装置、及びプログラム
JP5281596B2 (ja) 動きベクトル予測方法，動きベクトル予測装置および動きベクトル予測プログラム
KR20130105402A (ko) 추가의 비트 레이트 오버헤드 없이 참조 블록의 로컬 조명 및 콘트라스트 보상에 기초한 멀티 뷰 비디오 코딩 및 디코딩 방법
JPWO2009128208A1 (ja) 動画像符号化装置、動画像復号化装置、動画像符号化方法、および動画像復号化方法
WO2011142221A1 (ja) 符号化装置、および、復号装置
JP2013517733A (ja) 以前ブロックの動きベクトルを現在ブロックの動きベクトルとして用いる映像符号化／復号化方法及び装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130423

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130520

R150 Certificate of patent or registration of utility model

Ref document number: 5277257

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250