JP5115519B2 - 動画像復号装置、動画像復号方法及び動画像復号用コンピュータプログラム - Google Patents
動画像復号装置、動画像復号方法及び動画像復号用コンピュータプログラム Download PDFInfo
- Publication number
- JP5115519B2 JP5115519B2 JP2009126550A JP2009126550A JP5115519B2 JP 5115519 B2 JP5115519 B2 JP 5115519B2 JP 2009126550 A JP2009126550 A JP 2009126550A JP 2009126550 A JP2009126550 A JP 2009126550A JP 5115519 B2 JP5115519 B2 JP 5115519B2
- Authority
- JP
- Japan
- Prior art keywords
- picture
- error
- area
- motion vector
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
- H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
Description
しかし、動画像復号装置が動画像データの一部のデータを取得できないことがある。例えば、無線電波により配信された符号化動画像データを受信して、その符号化動画像データを復号するテレビジョンまたは携帯端末は、電波の受信状態によっては、動画像データの一部を受信できないことがある。このような場合、動画像復号装置は、受信できずに失われたデータに対応するピクチャを正確に復号できない。特に、符号化対象のピクチャの前後のピクチャの情報を用いて符号化対象のピクチャを符号化するインター符号化方法により動画像データが符号化されていると、動画像復号装置は失われたデータに相当するピクチャを参照するピクチャも復号できなくなってしまう。
また、特許文献2に開示された動画像復号装置は、修復対象のマクロブロックの周辺のマクロブロックの有効性を判定する。その動画像復号装置は、有効と判定された周辺のマクロブロックから画像修復用コンテキスト情報を取得して、修復対象のマクロブロックの修復に用いる推定動きベクトルを求める。そしてその動画像復号装置は、求めた推定動きベクトルに基づき既に復号済みのフレームから復号画像を取得して修復画像を生成する。
しかし、エラー発生領域に写っている像の動きが、そのエラー発生領域の周囲の像の動きと異なることも往々にしてある。そのため、これらのエラー隠蔽技術は、エラー発生領域に対応する動きベクトルを正確に推定できないおそれがあった。特に、エラー発生領域が大きく、エラー発生領域に動きベクトルの算出単位であるマクロブロックが複数個含まれる場合、エラー発生領域に含まれる各マクロブロックの像は、互いに異なる方向へ移動していることがある。したがって、エラー隠蔽された領域の像がその領域周囲の像と整合せずに、エラー隠蔽された領域を含むピクチャの画質が著しく劣化してしまうおそれがあった。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
この動画像復号装置は、入力された符号化動画像データに含まれる何れかのピクチャにおいてエラーが発生している場合、そのピクチャのうちのエラーが発生した領域を参照する他のピクチャの動きベクトルを抽出する。そしてこの動画像復号装置は、抽出された動きベクトルに基づいて、既に復号されているピクチャ上で、エラーが発生した領域に類似する領域を推定し、その推定された領域のデータを用いてエラーが発生した領域を隠蔽する。
さらに符号化動画像データに含まれる各ピクチャは、Group Of Pictures(GOP)単位で、イントラ符号化またはインター符号化される。なお、イントラ符号化方法は、符号化対象の1枚のピクチャ内に含まれる情報のみを用いてそのピクチャを符号化する方法である。一方、インター符号化方法は、符号化対象のピクチャの前後のピクチャの情報を用いて、符号化対象のピクチャを符号化する方法である。そして本実施形態では、GOPは、イントラ符号化されるIピクチャと、時間的に前後のピクチャの情報を用いて双方向予測符号化されるBピクチャと、時間的に前のピクチャの情報を用いて順方向予測符号化されるPピクチャが含まれる、いわゆるIBBP構造を有する。しかし、この動画像復号装置による復号対象となる動画像データに適用されるGOP構造は、他の構造、例えば、Bピクチャを使用しないIPPP構成を有してもよい。
可変長復号部11は、各マクロブロックの可変長復号された符号化データ及び動きベクトル及びそれらに付随する各種情報をエラー検出部12へ渡す。また可変長復号部11は、各マクロブロックの動きベクトルを、そのマクロブロックのマクロ・ブロック・アドレス及びそのマクロブロックが含まれるピクチャの識別番号とともにバッファメモリ16に一時的に記憶する。
また、可変長復号部11が被参照領域決定部13及び画像復号部15よりも4ピクチャ分先行して可変長復号処理を実行すれば、被参照領域決定部13は、復号順序では、エラー隠蔽されるピクチャよりも後に位置する3枚のピクチャが持つ動きベクトルを利用できる。例えば、ピクチャP5に対するエラー隠蔽処理が必要であるとき、被参照領域決定部13は、復号順序ではピクチャP5よりも後のピクチャB3、B4、P8のそれぞれが持つ動きベクトルを利用できる。
例えば、エラー検出部12は、マクロブロックごとに設けられるマクロ・ブロック・アドレスの値からエラー検出対象となるマクロブロックを特定する。そしてエラー検出部12は、特定されたマクロブロックについて、符号化方法の規格によって定められた所定の情報が全て存在するか否かを調べる。そして全ての情報が存在すれば、エラー検出部12は、そのマクロブロックにはエラーがないと判定する。一方、何れかの情報が存在しなければ、エラー検出部12は、そのマクロブロックにおいてエラーが発生したと判定する。
またエラー検出部12は、1枚のピクチャを任意の長さに分割することにより得られるスライスごとに設けられる、スライス・スタート・コードなどの所定の情報が全て存在するか否かを調べてもよい。そしてエラー検出部12は、何れかの情報が存在しなければ、そのスライスに含まれる全てのマクロブロックにおいてエラーが発生したと判定してもよい。
エラー検出部12は、エラーMBを示すマクロ・ブロック・アドレス及びそのマクロブロックが含まれるピクチャの識別番号を被参照領域決定部13及びエラー隠蔽部14へ通知する。
一方、エラー検出部12は、エラーが発生していないマクロブロックに関する符号化データ、動きベクトル、そのマクロブロックが含まれるピクチャの識別番号及びそのピクチャの符号化種別を示す情報などを画像復号部15へ渡す。
図3において、ピクチャP5のマクロブロック301においてエラーが発生しているとする。この場合において、ピクチャB3のマクロブロック302に対する、時間的に後のピクチャを参照する動きベクトルである後方向動きベクトルMVBがマクロブロック301を参照しているとする。また、マクロブロック302に対する、時間的に前のピクチャを参照する動きベクトルである前方向動きベクトルMVFがピクチャI2のマクロブロック303を参照しているとする。この場合、マクロブロック302上の像は、マクロブロック301上の像とマクロブロック303上の像の両方に類似していると考えられる。そのため、マクロブロック301上の像は、マクロブロック303上の像に類似している可能性が高い。すなわち、マクロブロック301を隠蔽するために使用されるマクロブロックとして、マクロブロック303が適切である。そこで被参照領域決定部13は、マクロブロック301に対する被参照領域がマクロブロック303となるように、隠蔽ベクトルMVCを以下の式に従って算出する。
MVC = MVF - MVB (1)
図4において、ピクチャP5のマクロブロック401においてエラーが発生しているとする。また、ピクチャP8のマクロブロック402に対する、前方向動きベクトルMVFがマクロブロック401を参照しているとする。この場合、マクロブロック401上の像がマクロブロック402の位置へ移動したと推定される。そのため、マクロブロック401上の像は、ピクチャP5以前においても、マクロブロック402の動きベクトルMVFと同じ方向に沿って移動している可能性が高い。そこで、被参照領域決定部13は、マクロブロック401に対する被参照領域が、その動きベクトルMVFの延長線上に位置する、既に復号されているピクチャI2上のマクロブロック403となるように、隠蔽ベクトルMVCを以下の式に従って算出する。
MVC = MVF (2)
ただし、IピクチャとPピクチャの間隔またはPピクチャ同士の間隔は可変であってもよい。この場合、被参照領域決定部13は、エラーMBを含むピクチャとエラーMBを参照するマクロブロックを含むピクチャ間の距離に対する、エラーMBを含むピクチャと隠蔽に使用されるマクロブロックを含むピクチャ間の距離の比を求める。そして被参照領域決定部13は、その比を動きベクトルMVFに乗じることにより、隠蔽ベクトルMVCを算出できる。例えば、図4において、ピクチャP5とピクチャP8間の距離をD1、ピクチャP5とピクチャI2間の距離をD2とすれば、被参照領域決定部13は隠蔽ベクトルMVCをMVF*D2/D1とする。
また、図3において、ピクチャB3上のマクロブロック302が、前方向動きベクトルMVFを持たない場合、被参照領域決定部13は、マクロブロック302の後方向動きベクトルMVBのみを用いて、隠蔽ベクトルMVCを算出してもよい。この場合、エラーMB301上の像は、マクロブロック302の位置からマクロブロック301へ移動したと推定される。そこで、被参照領域決定部13は、ピクチャP5のマクロブロック301の後方向動きベクトルMVBと平行かつ逆向きに、ピクチャI2までの動きを表すベクトル(すなわち、-3/2×MVB)を、隠蔽ベクトルMVCとする。
また、隠蔽ベクトルMVCにより参照されるマクロブロックを含むピクチャは、エラーMBを含むピクチャよりも前に復号されている。そのため、後述するエラー隠蔽部14は、被参照領域決定部13により算出された隠蔽ベクトルMVCにより示された被参照領域となるマクロブロックの情報を用いて、エラーMBを隠蔽できる。
先ず、被参照領域決定部13は、バッファメモリ16に記憶されている動きベクトルの中に、エラーMBを参照する動きベクトルが存在するか否か判定する(ステップS101)。エラーMBを参照する動きベクトルが存在しなければ(ステップS101−No)、被参照領域決定部13は、エラーMB周囲のマクロブロックに関する情報から隠蔽ベクトルを決定する(ステップS102)。例えば、被参照領域決定部13は、エラーMBの周囲のマクロブロックの動きベクトルの水平成分及び垂直成分のそれぞれを平均することにより、隠蔽ベクトルを算出してもよい。あるいは、エラーMBは、エラーMBの周囲のマクロブロックから補間されてもよい。この場合、被参照領域決定部13は、隠蔽ベクトルとして、参照するピクチャをエラーMBが含まれるピクチャ自身とし、エラーMBの周囲のマクロブロックを示すベクトルを作成する。
エラーMBを参照する動きベクトルが一つのみ存在する場合(ステップS103−No)、被参照領域決定部13は、その動きベクトルに基づいて隠蔽ベクトルを算出する(ステップS108)。なお、隠蔽ベクトル算出の詳細については上述したとおりである。
一方、抽出された動きベクトルの組が複数存在する場合、あるいは上記のような動きベクトルの組が一つも抽出されなかった場合もある(ステップS105−No)。このような場合、被参照領域決定部13は、エラーMBを参照する動きベクトルのそれぞれについて、その動きベクトルに対応するマクロブロックの量子化された周波数係数または量子化スケールなどに基づいて1個以上の評価値を算出する(ステップS106)。そして被参照領域決定部13は、その評価値が最適値となる動きベクトルを選択する(ステップS107)。
ステップS102またはステップS108の後、被参照領域決定部13は、隠蔽ベクトル算出処理を終了する。
例えば、被参照領域決定部13は、それら複数の隠蔽ベクトルのうち、隠蔽ベクトルの水平方向成分値及び垂直方向成分値がマクロブロックの水平方向及び垂直方向のサイズの整数倍に最も近い隠蔽ベクトルを選択してもよい。これは、隠蔽ベクトルの水平方向成分値及び垂直方向成分値がマクロブロックの水平方向及び垂直方向のサイズの整数倍に近いほど、エラーMBと、被参照領域であるマクロブロックの重なる領域が広くなるためである。
具体的に、被参照領域決定部13は、複数の隠蔽ベクトルのそれぞれについて、下記の式に従って水平方向成分値及び垂直方向成分値のマクロブロックサイズの半分からのずれ量の合計値Δを第4の評価値として求める。
Δ= |mod(MVCH,MBH)-MBH/2|+|mod(MVCV,MBV)-MBV/2| (3)
ここで関数mod(x,y)は、xをyで除したときの剰余を求める関数である。また、MVCHは隠蔽ベクトルの水平方向成分値であり、MVCVは隠蔽ベクトルの垂直方向成分値である。そしてMBHはマクロブロックの水平方向サイズであり、MBVはマクロブロックの垂直方向サイズである。
ずれ量の合計値Δが大きいほど、隠蔽ベクトルの水平方向成分値及び垂直方向成分値がマクロブロックの水平方向及び垂直方向のサイズの整数倍に近くなる。そこで被参照領域決定部13は、第4の評価値が最大となる、すなわち、ずれ量の合計値Δが最大となる隠蔽ベクトルを選択する。
なお、動きベクトルが、1画素未満の精度を有している場合、被参照領域決定部13は、(3)式におけるMVCH、MVCV、MBH、MBVの各値に対して、動きベクトルの最小単位が1以上の整数となるような係数を乗じた上で、ずれ量の合計値Δを計算すればよい。例えば、動きベクトルの精度が0.5画素であれば、被参照領域決定部13は、MVCH、MVCV、MBH、MBVの各値に2を乗じる。また動きベクトルの精度が0.25画素であれば、被参照領域決定部13は、MVCH、MVCV、MBH、MBVの各値に4を乗じる。
エラー隠蔽部14は、隠蔽処理されたエラーMBを、エラーMBに対するマクロ・ブロック・アドレス及びエラーMBを含むピクチャの識別番号とともに画像統合部17へ出力する。
画像復号部15は、GOPの構造に従った復号順序で各ピクチャに含まれるマクロブロックを復号する。そして画像復号部15は、マクロブロックが復号される度に、その復号されたマクロブロックを、そのマクロブロックに対応するマクロ・ブロック・アドレス及びそのマクロブロックを含むピクチャの識別番号とともに画像統合部17へ出力する。また画像復号部15は、復号されたマクロブロックのうち、符号化の際に他のピクチャに参照される可能性のあるピクチャに含まれるマクロブロックをバッファメモリ16に書き込む。なお、他のピクチャに参照される可能性のあるピクチャとは、例えば、Iピクチャ及びPピクチャである。
画像統合部17は、再現された各ピクチャを、再生順序に従って出力する。
まず、動画像復号装置1は、バッファメモリ10に符号化された動画像データが所定の初期蓄積量だけ蓄積された後、復号順序に従ってピクチャ1枚分のデータずつ、可変長復号部11に入力する。そして可変長復号部11は、入力されたピクチャの各マクロブロックに関して可変長符号化された情報を可変長復号する(ステップS201)。そして可変長復号部11は、可変長復号により再現された各マクロブロックの量子化された周波数係数、量子化スケール及び動きベクトルなどのデータをエラー検出部12へ渡す。また可変長復号部11は、各マクロブロックの動きベクトルを、そのマクロブロックのマクロ・ブロック・アドレス及びそのマクロブロックが含まれるピクチャの識別番号とともにバッファメモリ16に一時的に記憶する(ステップS202)。
次に、被参照領域決定部13は、エラーMBを隠蔽するために使用される、既に復号された他のピクチャに含まれるマクロブロックまたは着目ピクチャに含まれる他のマクロブロックを被参照領域として示す隠蔽ベクトルを算出する(ステップS208)。なお、被参照領域決定部13は、図5に示した動作フローに従って隠蔽ベクトルを算出する。そして被参照領域決定部13は、その隠蔽ベクトルをエラー隠蔽部14へ渡す。
エラー隠蔽部14は、隠蔽ベクトルに示されたマクロブロックのデータでエラーMBのデータを補間することにより、エラーMBを隠蔽する(ステップS209)。そしてエラー隠蔽部14は、隠蔽したエラーMBのデータ及びそのマクロブロックのマクロ・ブロック・アドレスを画像統合部17へ渡す。
一方、着目ピクチャに含まれる全てのマクロブロックのデータが画像統合部17に入力されていれば、画像統合部17は着目ピクチャを再現する(ステップS211)。そして画像統合部17は、再現された着目ピクチャを出力する。
一方、入力された符号化動画像データに含まれる全てのピクチャが再現されていれば(ステップS212−Yes)、動画像復号装置1は復号処理を終了する。
入力部101は、例えば、アンテナ105と接続され、アンテナを介して、無線電波により搬送された映像信号を受信する回路を有する。入力部101は、受け取った映像信号をアナログ−デジタル変換する。そして入力部101は、デジタル化された映像信号を搬送波の変調方式に応じた復調方式(例えば、直交周波数分割多重(Orthogonal Frequency Division Multiplexing、OFDM)復調方式)にて復調する。入力部101は、その復調された映像信号に対して、前方誤り訂正などの誤り訂正処理を実行する。そして入力部101は、復調され、かつ誤り訂正処理が施されることにより得られた映像信号を信号処理部102へ渡す。
表示部103は、例えば、液晶ディスプレイなどの表示装置を有する。そして表示部103は、信号処理部102から受け取った動画像データを表示する。
音声出力部104は、スピーカを有する。そして音声出力部104は信号処理部102から受け取ったオーディオ信号に従って音声を出力する。
動画像復号部22は、上記の実施形態による動画像復号装置とすることができ、デマルチプレクサ21から受け取った、符号化された動画像データを復号する。その際、動画像復号部22は、符号化された動画像データに含まれる何れかのピクチャにエラーが発生した場合、そのエラーが発生したピクチャを上記のように隠蔽する。そして動画像復号部22は、復号された動画像データを表示部103へ渡す。
音声復号部23は、デマルチプレクサ21から受け取った、符号化されたオーディオ信号を、その符号化方式に応じた復号方法を用いて復号する。その符号化方式として、例えば、MPEG-2 Advanced Audio Coding(MPEG-2 AAC)またはMPEG-4 AACが採用される。
(付記1)
符号化された動画像データに含まれる複数のピクチャのそれぞれについて、前記ピクチャが分割された複数の部分領域と前記部分領域を符号化するために参照される他のピクチャの部分領域との位置関係を表す動きベクトルとを復号する復号部と、
前記複数の部分領域のうち、前記復号部により復号不可能な部分領域をエラー領域として検出するエラー検出部と、
第1のピクチャに含まれる前記エラー領域を参照する、該第1のピクチャよりも復号順序が後である第2のピクチャに含まれる部分領域に関する前記動きベクトルに基づいて、前記エラー領域に対応する既に復号されている第3のピクチャ上の被参照領域を決定する被参照領域決定部と、
前記被参照領域に含まれるデータを用いて前記エラー領域を隠蔽する隠蔽部と、
前記第1のピクチャに含まれる、前記隠蔽されたエラー領域と前記復号された部分領域を所定の順序に従って配列することにより、前記第1のピクチャを再現する画像統合部と、
を有する動画像復号装置。
(付記2)
前記復号部は、前記第1のピクチャの各部分領域を復号するよりも前に、前記第2のピクチャの各部分領域に関する前記動きベクトルを復号する、付記1に記載の動画像復号装置。
(付記3)
前記第2のピクチャの部分領域は、前記第1のピクチャに含まれる前記エラー領域を参照する後方向動きベクトルと前記第3のピクチャに含まれる所定領域を参照する前方向動きベクトルを用いて符号化されており、
前記被参照領域決定部は、前記後方向動きベクトルと前記前方向動きベクトルの差に相当するベクトルを、前記エラー領域に対する前記被参照領域の相対的位置を示す隠蔽ベクトルとして算出することにより、前記所定領域を前記被参照領域とする、付記1または2に記載の動画像復号装置。
(付記4)
前記第2のピクチャの部分領域は、前記第1のピクチャに含まれる前記エラー領域を参照する前方向動きベクトルを用いて符号化されており、
前記被参照領域決定部は、前記前方向動きベクトルに、前記第1のピクチャと前記第2のピクチャ間の第1の距離に対する前記第1のピクチャと前記第3のピクチャ間の第2の距離の比を乗じることにより、前記エラー領域に対する前記被参照領域の相対的位置を示す隠蔽ベクトルを算出することにより、前記所定領域を前記被参照領域とする、付記1または2に記載の動画像復号装置。
(付記5)
前記被参照領域決定部は、前記第1のピクチャに含まれる前記エラー領域を参照する後方向動きベクトルと前記第3のピクチャに含まれる所定領域を参照する前方向動きベクトルを用いて符号化された第4のピクチャに含まれる部分領域と、前記第1のピクチャに含まれる前記エラー領域を参照する前方向動きベクトルを用いて符号化された第5のピクチャに含まれる部分領域が存在する場合、前記第4のピクチャに含まれる部分領域に関する前記後方向動きベクトルと前記前方向動きベクトルの差に相当するベクトルを、前記エラー領域に対する前記被参照領域の相対的位置を示す隠蔽ベクトルとして算出することにより、前記所定領域を前記被参照領域とする、付記1または2に記載の動画像復号装置。
(付記6)
前記被参照領域決定部は、前記エラー領域を参照する動きベクトルが複数存在する場合、前記エラー領域を参照する複数の動きベクトルのそれぞれについて、該動きベクトルを用いて符号化された部分領域と前記エラー領域の差を表す評価値を算出し、該評価値が最小となる動きベクトルに基づいて前記被参照領域を決定する、付記1〜4の何れか一項に記載の動画像復号装置。
(付記7)
前記エラー領域を参照する複数の動きベクトルのそれぞれを用いて符号化された部分領域は、前記エラー領域と当該部分領域との差分画像を周波数変換して得られた複数の周波数係数を所定の量子化幅で量子化することにより得られた複数の量子化された周波数係数を符号化データとして含み、
前記評価値は、前記動きベクトルのそれぞれに対応する部分領域に関する前記符号化データに含まれる量子化された周波数係数のうち、0でない量子化された周波数係数の個数の合計である、付記6に記載の動画像符号化装置。
(付記8)
前記エラー領域を参照する複数の動きベクトルのそれぞれを用いて符号化された部分領域は、前記エラー領域と当該部分領域との差分画像を周波数変換して得られた複数の周波数係数を所定の量子化幅で量子化することにより得られた複数の量子化された周波数係数を符号化データとして含み、
前記評価値は、前記動きベクトルのそれぞれに対応する部分領域に関する前記符号化データに含まれる量子化された周波数係数の絶対値の合計である、付記6に記載の動画像符号化装置。
(付記9)
前記被参照領域決定部は、前記エラー領域を参照する動きベクトルが複数存在する場合、前記エラー領域を参照する複数の動きベクトルのうち、該動きベクトルを用いて符号化された部分領域と前記エラー領域のピクチャ内でのずれ量が前記エラー領域のサイズの整数倍に最も近い動きベクトルに基づいて前記被参照領域を決定する、付記1〜4の何れか一項に記載の動画像復号装置。
(付記10)
符号化された動画像データを含む映像信号を受信する入力部と、
前記映像信号から前記符号化された動画像データを分離するデマルチプレクサと、
前記符号化された動画像データに含まれる複数のピクチャを復号する動画像復号部と、
復号された複数のピクチャを再生順序に従って表示する表示部とを有し、
前記動画像復号部は、付記1〜9の何れか一項に記載の動画像復号装置である、
映像再生装置。
(付記11)
符号化された動画像データに含まれる複数のピクチャのそれぞれについて、前記ピクチャが分割された複数の部分領域と前記部分領域を符号化するために参照される他のピクチャの部分領域との位置関係を表す動きベクトルとを復号し、
前記複数の部分領域のうち、復号不可能な部分領域をエラー領域として検出し、
第1のピクチャに含まれる前記エラー領域を参照する、該第1のピクチャよりも復号順序が後である第2のピクチャに含まれる部分領域に関する前記動きベクトルに基づいて、前記エラー領域に対応する既に復号されている第3のピクチャ上の被参照領域を決定し、
前記被参照領域に含まれるデータを用いて前記エラー領域を隠蔽し、
前記第1のピクチャに含まれる、前記隠蔽されたエラー領域と前記復号された部分領域を所定の順序に従って配列することにより、前記第1のピクチャを再現する、
ことを含む動画像復号方法。
(付記12)
符号化された動画像データに含まれる複数のピクチャのそれぞれについて、前記ピクチャが分割された複数の部分領域と前記部分領域を符号化するために参照される他のピクチャの部分領域との位置関係を表す動きベクトルとを復号し、
前記複数の部分領域のうち、復号不可能な部分領域をエラー領域として検出し、
第1のピクチャに含まれる前記エラー領域を参照する、該第1のピクチャよりも復号順序が後である第2のピクチャに含まれる部分領域に関する前記動きベクトルに基づいて、前記エラー領域に対応する既に復号されている第3のピクチャ上の被参照領域を決定し、
前記被参照領域に含まれるデータを用いて前記エラー領域を隠蔽し、
前記第1のピクチャに含まれる、前記隠蔽されたエラー領域と前記復号された部分領域を所定の順序に従って配列することにより、前記第1のピクチャを再現する、
ことをコンピュータに実行させる動画像復号用コンピュータプログラム。
11 可変長復号部
12 エラー検出部
13 被参照領域決定部
14 エラー隠蔽部
15 画像復号部
10、16 バッファメモリ
17 画像統合部
21 デマルチプレクサ
22 動画像復号部
23 音声復号部
100 映像再生装置
101 アンテナ
102 チューナー
103 動画像復号部
104 表示部
105 アンテナ
Claims (7)
- 符号化された動画像データに含まれる複数のピクチャのそれぞれについて、前記ピクチャが分割された複数の部分領域と前記部分領域を符号化するために参照される他のピクチャの部分領域との位置関係を表す動きベクトルとを復号する復号部と、
前記複数の部分領域のうち、前記復号部により復号不可能な部分領域をエラー領域として検出するエラー検出部と、
第1のピクチャに含まれる前記エラー領域を参照する、該第1のピクチャよりも復号順序が後である第2のピクチャに含まれる部分領域に関する前記動きベクトルに基づいて、前記エラー領域に対応する既に復号されている第3のピクチャ上の被参照領域を決定する被参照領域決定部と、
前記被参照領域に含まれるデータを用いて前記エラー領域を隠蔽する隠蔽部と、
前記第1のピクチャに含まれる、前記隠蔽されたエラー領域と前記復号された部分領域を所定の順序に従って配列することにより、前記第1のピクチャを再現する画像統合部と、
を有する動画像復号装置。 - 前記復号部は、前記第1のピクチャの各部分領域を復号するよりも前に、前記第2のピクチャの各部分領域に関する前記動きベクトルを復号する、請求項1に記載の動画像復号装置。
- 前記第2のピクチャの部分領域は、前記第1のピクチャに含まれる前記エラー領域を参照する後方向動きベクトルと前記第3のピクチャに含まれる所定領域を参照する前方向動きベクトルを用いて符号化されており、
前記被参照領域決定部は、前記後方向動きベクトルと前記前方向動きベクトルの差に相当するベクトルを、前記エラー領域に対する前記被参照領域の相対的位置を示す隠蔽ベクトルとして算出することにより、前記所定領域を前記被参照領域とする、請求項1または2に記載の動画像復号装置。 - 前記第2のピクチャの部分領域は、前記第1のピクチャに含まれる前記エラー領域を参照する前方向動きベクトルを用いて符号化されており、
前記被参照領域決定部は、前記前方向動きベクトルに、前記第1のピクチャと前記第2のピクチャ間の第1の距離に対する前記第1のピクチャと前記第3のピクチャ間の第2の距離の比を乗じることにより、前記エラー領域に対する前記被参照領域の相対的位置を示す隠蔽ベクトルを算出することにより、前記所定領域を前記被参照領域とする、請求項1または2に記載の動画像復号装置。 - 前記被参照領域決定部は、前記エラー領域を参照する動きベクトルが複数存在する場合、前記エラー領域を参照する複数の動きベクトルのそれぞれについて、該動きベクトルを用いて符号化された部分領域と前記エラー領域の差を表す評価値を算出し、該評価値が最小となる動きベクトルに基づいて前記被参照領域を決定する、請求項1〜4の何れか一項に記載の動画像復号装置。
- 符号化された動画像データに含まれる複数のピクチャのそれぞれについて、前記ピクチャが分割された複数の部分領域と前記部分領域を符号化するために参照される他のピクチャの部分領域との位置関係を表す動きベクトルとを復号し、
前記複数の部分領域のうち、復号不可能な部分領域をエラー領域として検出し、
第1のピクチャに含まれる前記エラー領域を参照する、該第1のピクチャよりも復号順序が後である第2のピクチャに含まれる部分領域に関する前記動きベクトルに基づいて、前記エラー領域に対応する既に復号されている第3のピクチャ上の被参照領域を決定し、
前記被参照領域に含まれるデータを用いて前記エラー領域を隠蔽し、
前記第1のピクチャに含まれる、前記隠蔽されたエラー領域と前記復号された部分領域を所定の順序に従って配列することにより、前記第1のピクチャを再現する、
ことを含む動画像復号方法。 - 符号化された動画像データに含まれる複数のピクチャのそれぞれについて、前記ピクチャが分割された複数の部分領域と前記部分領域を符号化するために参照される他のピクチャの部分領域との位置関係を表す動きベクトルとを復号し、
前記複数の部分領域のうち、復号不可能な部分領域をエラー領域として検出し、
第1のピクチャに含まれる前記エラー領域を参照する、該第1のピクチャよりも復号順序が後である第2のピクチャに含まれる部分領域に関する前記動きベクトルに基づいて、前記エラー領域に対応する既に復号されている第3のピクチャ上の被参照領域を決定し、
前記被参照領域に含まれるデータを用いて前記エラー領域を隠蔽し、
前記第1のピクチャに含まれる、前記隠蔽されたエラー領域と前記復号された部分領域を所定の順序に従って配列することにより、前記第1のピクチャを再現する、
ことをコンピュータに実行させる動画像復号用コンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009126550A JP5115519B2 (ja) | 2009-05-26 | 2009-05-26 | 動画像復号装置、動画像復号方法及び動画像復号用コンピュータプログラム |
US12/782,975 US8364019B2 (en) | 2009-05-26 | 2010-05-19 | Video decoding device and video decoding method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009126550A JP5115519B2 (ja) | 2009-05-26 | 2009-05-26 | 動画像復号装置、動画像復号方法及び動画像復号用コンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010278533A JP2010278533A (ja) | 2010-12-09 |
JP5115519B2 true JP5115519B2 (ja) | 2013-01-09 |
Family
ID=43220299
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009126550A Expired - Fee Related JP5115519B2 (ja) | 2009-05-26 | 2009-05-26 | 動画像復号装置、動画像復号方法及び動画像復号用コンピュータプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8364019B2 (ja) |
JP (1) | JP5115519B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI359617B (en) * | 2008-07-03 | 2012-03-01 | Univ Nat Taiwan | Low-complexity and high-quality error concealment |
US20130083845A1 (en) | 2011-09-30 | 2013-04-04 | Research In Motion Limited | Methods and devices for data compression using a non-uniform reconstruction space |
EP2575364B1 (en) * | 2011-09-30 | 2020-03-18 | BlackBerry Limited | Methods and devices for data compression using a non-uniform reconstruction space |
KR101307682B1 (ko) * | 2011-12-14 | 2013-09-12 | 충북대학교 산학협력단 | H.264/avc 베이스라인 프로파일에서의 rdo에 기반한 움직임 벡터 숨김 정보 삽입을 이용한 에러 검출 방법 |
JP6438777B2 (ja) * | 2015-01-30 | 2018-12-19 | ルネサスエレクトロニクス株式会社 | 画像処理装置および半導体装置 |
CN106791642B (zh) * | 2016-12-16 | 2020-01-14 | 浙江宇视科技有限公司 | 一种视频数据恢复方法及装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05153574A (ja) * | 1991-11-30 | 1993-06-18 | Sony Corp | 動画像データ復号化装置 |
JP3604290B2 (ja) * | 1998-09-25 | 2004-12-22 | 沖電気工業株式会社 | 動画像復号方法及び装置 |
KR100941123B1 (ko) * | 2003-10-09 | 2010-02-10 | 톰슨 라이센싱 | 에러 은닉을 위한 직접 모드 도출 프로세스 |
JP4509809B2 (ja) | 2005-01-21 | 2010-07-21 | パイオニア株式会社 | ディジタル画像復号装置及び方法 |
EP1739974B1 (en) * | 2005-06-30 | 2010-08-11 | Samsung Electronics Co., Ltd. | Error concealment method and apparatus |
JP4624308B2 (ja) | 2006-06-05 | 2011-02-02 | 三菱電機株式会社 | 動画像復号装置及び動画像復号方法 |
-
2009
- 2009-05-26 JP JP2009126550A patent/JP5115519B2/ja not_active Expired - Fee Related
-
2010
- 2010-05-19 US US12/782,975 patent/US8364019B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US8364019B2 (en) | 2013-01-29 |
JP2010278533A (ja) | 2010-12-09 |
US20100303370A1 (en) | 2010-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6701409B2 (ja) | 符号化装置、復号装置、符号化方法、復号方法、及びプログラム | |
KR101545382B1 (ko) | 비디오 코딩을 위한 장치, 방법 및 컴퓨터 프로그램 | |
US8126052B2 (en) | Motion image encoding apparatus, motion image decoding apparatus, motion image encoding method, motion image decoding method, motion image encoding program, and motion image decoding program | |
JP4949028B2 (ja) | 復号化装置、符号化装置、復号化方法、符号化方法 | |
JP5310614B2 (ja) | 動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法 | |
JP5115519B2 (ja) | 動画像復号装置、動画像復号方法及び動画像復号用コンピュータプログラム | |
WO2011086964A1 (ja) | 画像処理装置および方法、並びにプログラム | |
TW201146024A (en) | An apparatus, a method and a computer program for video processing | |
US20110019740A1 (en) | Video Decoding Method | |
JP5531881B2 (ja) | 動画像復号装置、動画像復号方法、及び集積回路 | |
KR20110122167A (ko) | 압축 동화상 부호화 장치, 압축 동화상 복호화 장치, 압축 동화상 부호화 방법 및 압축 동화상 복호화 방법 | |
TW201204054A (en) | Techniques for motion estimation | |
JP2011135326A (ja) | 画像処理装置および方法、並びにプログラム | |
JP3519441B2 (ja) | 動画像伝送装置 | |
US6909750B2 (en) | Detection and proper interpolation of interlaced moving areas for MPEG decoding with embedded resizing | |
JP4641995B2 (ja) | 画像符号化方法および画像符号化装置 | |
JP2006203598A (ja) | ディジタル画像復号装置及び方法 | |
WO2012056924A1 (ja) | 画像処理装置と画像処理方法 | |
JP4624308B2 (ja) | 動画像復号装置及び動画像復号方法 | |
US8509314B2 (en) | Method and apparatus for spatial error concealment of image | |
KR101615503B1 (ko) | 인트라 예측 정보를 이용한 해상도 변환 방법 및 그 장치 | |
JP5701018B2 (ja) | 画像復号装置 | |
JP4222274B2 (ja) | 符号化モード選択装置及び符号化モード選択プログラム | |
WO2011099242A1 (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
KR101615507B1 (ko) | 움직임 정보를 이용한 해상도 변환 방법 및 그 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120105 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120905 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120918 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121001 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151026 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |