JP5115519B2 - 動画像復号装置、動画像復号方法及び動画像復号用コンピュータプログラム - Google Patents

動画像復号装置、動画像復号方法及び動画像復号用コンピュータプログラム Download PDF

Info

Publication number
JP5115519B2
JP5115519B2 JP2009126550A JP2009126550A JP5115519B2 JP 5115519 B2 JP5115519 B2 JP 5115519B2 JP 2009126550 A JP2009126550 A JP 2009126550A JP 2009126550 A JP2009126550 A JP 2009126550A JP 5115519 B2 JP5115519 B2 JP 5115519B2
Authority
JP
Japan
Prior art keywords
picture
error
area
motion vector
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009126550A
Other languages
English (en)
Other versions
JP2010278533A (ja
Inventor
章弘 屋森
章 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2009126550A priority Critical patent/JP5115519B2/ja
Priority to US12/782,975 priority patent/US8364019B2/en
Publication of JP2010278533A publication Critical patent/JP2010278533A/ja
Application granted granted Critical
Publication of JP5115519B2 publication Critical patent/JP5115519B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection

Description

ここに開示される実施形態は、複数のピクチャを含み、その複数のピクチャのうちの何れかのピクチャが他のピクチャを参照して符号化された動画像データを復号する動画像復号装置、動画像復号方法及び動画像復号用コンピュータプログラムに関する。
従来より、データ量を圧縮するように符号化された動画像データを復号する動画像復号装置が利用されている。
しかし、動画像復号装置が動画像データの一部のデータを取得できないことがある。例えば、無線電波により配信された符号化動画像データを受信して、その符号化動画像データを復号するテレビジョンまたは携帯端末は、電波の受信状態によっては、動画像データの一部を受信できないことがある。このような場合、動画像復号装置は、受信できずに失われたデータに対応するピクチャを正確に復号できない。特に、符号化対象のピクチャの前後のピクチャの情報を用いて符号化対象のピクチャを符号化するインター符号化方法により動画像データが符号化されていると、動画像復号装置は失われたデータに相当するピクチャを参照するピクチャも復号できなくなってしまう。
そこで、失われたデータに相当するエラーピクチャまたはピクチャのエラー領域を、失われていないピクチャの他の領域または他のピクチャの情報を用いて擬似的に再現するエラー隠蔽技術が開発されている(例えば、特許文献1及び2を参照)。
例えば、特許文献1に開示されたディジタル画像復号装置は、パーン(pan)した映像か否かを判定し、エラー有りのエラーブロックを検出する。そのディジタル画像復号装置は、対象となる映像がパーンした映像であると判定しかつエラーブロックを検出した場合、そのエラーブロックの近傍の複数の正常ブロック各々の動きベクトルに基づいてそのエラーブロック用の動き補償用動きベクトルを設定する。
また、特許文献2に開示された動画像復号装置は、修復対象のマクロブロックの周辺のマクロブロックの有効性を判定する。その動画像復号装置は、有効と判定された周辺のマクロブロックから画像修復用コンテキスト情報を取得して、修復対象のマクロブロックの修復に用いる推定動きベクトルを求める。そしてその動画像復号装置は、求めた推定動きベクトルに基づき既に復号済みのフレームから復号画像を取得して修復画像を生成する。
特開2006−203598号公報 特開2007−325206号公報
これらのエラー隠蔽技術は、あるピクチャ上のエラーが発生した領域を隠蔽するために使用される他のピクチャの領域を決定するために、エラーが発生した領域の周囲の領域の像と類似する像が写っている他のピクチャの領域を示す動きベクトルを利用する。したがって、エラーが発生した領域であるエラー発生領域に対する動きベクトルが正確に推定できれば、これらのエラー隠蔽技術は、エラー発生領域を、その領域に本来写っている像と類似する像で補間することができる。
しかし、エラー発生領域に写っている像の動きが、そのエラー発生領域の周囲の像の動きと異なることも往々にしてある。そのため、これらのエラー隠蔽技術は、エラー発生領域に対応する動きベクトルを正確に推定できないおそれがあった。特に、エラー発生領域が大きく、エラー発生領域に動きベクトルの算出単位であるマクロブロックが複数個含まれる場合、エラー発生領域に含まれる各マクロブロックの像は、互いに異なる方向へ移動していることがある。したがって、エラー隠蔽された領域の像がその領域周囲の像と整合せずに、エラー隠蔽された領域を含むピクチャの画質が著しく劣化してしまうおそれがあった。
そこで、本明細書は、エラー発生領域の大きさ及びエラー発生領域とその周辺領域での動きの相違によらず、エラー発生領域を隠蔽できる動画像復号装置、動画像復号方法及び動画像復号用コンピュータプログラムを提供することを目的とする。
一つの実施形態によれば、符号化された動画像データを復号する動画像復号装置が提供される。この動画像復号装置は、符号化された動画像データに含まれる複数のピクチャのそれぞれについて、ピクチャが分割された複数の部分領域とその部分領域を符号化するために参照される他のピクチャの部分領域との位置関係を表す動きベクトルとを復号する復号部と、複数の部分領域のうち、復号部により復号不可能な部分領域をエラー領域として検出するエラー検出部と、第1のピクチャに含まれるエラー領域を参照する、第1のピクチャよりも復号順序が後である第2のピクチャに含まれる部分領域に関する動きベクトルに基づいて、エラー領域に対応する既に復号されている第3のピクチャ上の被参照領域を決定する被参照領域決定部と、被参照領域に含まれるデータを用いてエラー領域を隠蔽する隠蔽部と、第1のピクチャに含まれる、隠蔽されたエラー領域と復号された部分領域を所定の順序に従って配列することにより、第1のピクチャを再現する画像統合部とを有する。
また他の実施形態によれば、符号化された動画像データを復号する動画像復号方法が提供される。この動画像復号方法は、符号化された動画像データに含まれる複数のピクチャのそれぞれについて、ピクチャが分割された複数の部分領域とその部分領域を符号化するために参照される他のピクチャの部分領域との位置関係を表す動きベクトルとを復号し、複数の部分領域のうち、復号不可能な部分領域をエラー領域として検出し、第1のピクチャに含まれるエラー領域を参照する、第1のピクチャよりも復号順序が後である第2のピクチャに含まれる部分領域に関する動きベクトルに基づいて、エラー領域に対応する既に復号されている第3のピクチャ上の被参照領域を決定し、被参照領域に含まれるデータを用いてエラー領域を隠蔽し、第1のピクチャに含まれる、隠蔽されたエラー領域と復号された部分領域を所定の順序に従って配列することにより、第1のピクチャを再現することを含む。
さらに他の実施形態によれば、コンピュータに符号化された動画像データを復号させる動画像復号用コンピュータプログラムが提供される。このコンピュータプログラムは、符号化された動画像データに含まれる複数のピクチャのそれぞれについて、ピクチャが分割された複数の部分領域とその部分領域を符号化するために参照される他のピクチャの部分領域との位置関係を表す動きベクトルとを復号し、複数の部分領域のうち、復号不可能な部分領域をエラー領域として検出し、第1のピクチャに含まれるエラー領域を参照する、第1のピクチャよりも復号順序が後である第2のピクチャに含まれる部分領域に関する動きベクトルに基づいて、エラー領域に対応する既に復号されている第3のピクチャ上の被参照領域を決定し、被参照領域に含まれるデータを用いてエラー領域を隠蔽し、第1のピクチャに含まれる、隠蔽されたエラー領域と復号された部分領域を所定の順序に従って配列することにより、第1のピクチャを再現することをコンピュータに実行させる命令を有する。
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
本明細書に開示された動画像復号装置、動画像復号方法及び動画像復号用コンピュータプログラムは、エラー発生領域の大きさ及びエラー発生領域とその周辺領域での動きの相違によらず、エラー発生領域を隠蔽できる。
一つの実施形態に係る動画像復号装置の概略構成図である。 可変長復号のタイミングと画像復号のタイミングの関係を示す概念図である。 エラーが発生したマクロブロックとエラー隠蔽に使用されるマクロブロックの対応関係の一例を示す図である。 エラーが発生したマクロブロックとエラー隠蔽に使用されるマクロブロックの対応関係の他の一例を示す図である。 隠蔽ベクトル算出処理の動作フローチャートである。 一つの実施形態に係る動画像復号装置により実行される、動画像復号処理の動作フローチャートである。 一つの実施形態に係る動画像復号装置を有する映像再生装置の概略構成図である。 図7に示された映像再生装置が有する信号処理部の概略構成図である。
以下、図を参照しつつ、一つの実施形態による動画像復号装置について説明する。
この動画像復号装置は、入力された符号化動画像データに含まれる何れかのピクチャにおいてエラーが発生している場合、そのピクチャのうちのエラーが発生した領域を参照する他のピクチャの動きベクトルを抽出する。そしてこの動画像復号装置は、抽出された動きベクトルに基づいて、既に復号されているピクチャ上で、エラーが発生した領域に類似する領域を推定し、その推定された領域のデータを用いてエラーが発生した領域を隠蔽する。
なお、復号対象となる符号化動画像データに含まれるピクチャは、インターレース方式により取得されるフィールド、または、プログレッシブ方式により取得されるフレームの何れであってもよい。また、復号対象となる符号化動画像データは、符号化対象のピクチャについて、その前後のピクチャとの動き補償を行って、符号化対象のピクチャを符号化する符号化方法が採用された符号化規格であれば、何れの符号化規格に従って符号化されていてもよい。その符号化動画像データは、例えば、Moving Picture Experts Group phase 2(MPEG-2)、MPEG-4、あるいはH.264 MPEG-4 Advanced Video Coding(H.264 MPEG-4 AVC)などの規格に従って符号化されたものとすることができる。
さらに符号化動画像データに含まれる各ピクチャは、Group Of Pictures(GOP)単位で、イントラ符号化またはインター符号化される。なお、イントラ符号化方法は、符号化対象の1枚のピクチャ内に含まれる情報のみを用いてそのピクチャを符号化する方法である。一方、インター符号化方法は、符号化対象のピクチャの前後のピクチャの情報を用いて、符号化対象のピクチャを符号化する方法である。そして本実施形態では、GOPは、イントラ符号化されるIピクチャと、時間的に前後のピクチャの情報を用いて双方向予測符号化されるBピクチャと、時間的に前のピクチャの情報を用いて順方向予測符号化されるPピクチャが含まれる、いわゆるIBBP構造を有する。しかし、この動画像復号装置による復号対象となる動画像データに適用されるGOP構造は、他の構造、例えば、Bピクチャを使用しないIPPP構成を有してもよい。
図1は、一つの実施形態による動画像復号装置1の概略構成図である。図1に示すように、動画像復号装置1は、バッファメモリ10、16と、可変長復号部11と、エラー検出部12と、被参照領域決定部13と、エラー隠蔽部14と、画像復号部15と、画像統合部17とを有する。動画像復号装置1が有するこれらの各部は、例えば、それぞれ別個の回路とすることができる。また動画像復号装置1は、動画像復号装置1が有するこれらの各部の機能を有する回路が集積された集積回路であってもよい。あるいはまた、動画像復号装置1が有するこれらの各部は、動画像復号装置1が有する一つまたは複数のプロセッサ上で実行されるコンピュータプログラムにより実現される機能モジュールであってもよい。
バッファメモリ10は、入力された符号化動画像データを一時的に蓄積する。そしてバッファメモリ10に蓄積されたデータ量が所定の初期蓄積量に達すると、その後、ピクチャ1枚分のデータずつ、バッファメモリ10から復号順序に従って順次読み出される。読み出されたデータは可変長復号部11に入力される。
可変長復号部11は、符号化動画像データに含まれる各ピクチャに関して可変長符号化された情報を所定の可変長復号方式に従って復号する。その可変長復号方式は、符号化動画像データに対して適用された符号化方式に応じたものであり、例えば、ハフマン符号あるいは算術符号に対する復号方式である。そして可変長復号部11は、マクロブロックごとに、量子化された周波数係数、量子化スケールなどの符号化データ及び動きベクトルを再現する。
可変長復号部11は、各マクロブロックの可変長復号された符号化データ及び動きベクトル及びそれらに付随する各種情報をエラー検出部12へ渡す。また可変長復号部11は、各マクロブロックの動きベクトルを、そのマクロブロックのマクロ・ブロック・アドレス及びそのマクロブロックが含まれるピクチャの識別番号とともにバッファメモリ16に一時的に記憶する。
ここで、可変長復号部11は、ピクチャそのものを復号する画像復号部15及びエラー隠蔽を行うための被参照領域を決定する被参照領域決定部13よりも、復号順序に従って2以上の所定枚数分先行して可変長符号化された情報を可変長復号する。これにより、後述するように、動画像復号装置1は、エラー隠蔽対象となるピクチャよりも後に復号されるピクチャに含まれるマクロブロックについて求められた動きベクトルを、被参照領域を決定するために利用することができる。なお、この所定枚数は、2から、エラー隠蔽対象となるピクチャを参照する可能性のあるピクチャの枚数に1を加えた値までの何れかに設定される。
図2は、可変長復号のタイミングと画像復号のタイミングの関係を示す概念図である。図2において、横軸は経過時間を表す。またブロック列201は、可変長復号部11による可変長復号対象となる動画像データの一部のタイミングを表し、ブロック列201内の各ブロックは、それぞれ一つのピクチャに対応する。一方、ブロック列202は、ブロック列201に示された各ピクチャと同じピクチャが画像復号部15による復号され、あるいは被参照領域決定部13による処理が実行されるタイミングを表す。またブロック列203は、ブロック列201及びブロック列202に示された各ピクチャを再生順序に沿って並べたものである。各ブロック列のブロック内に示された記号I、B、Pは、そのピクチャの符号化タイプを表し、それぞれ、Iピクチャ、Bピクチャ、Pピクチャを表す。また符号化タイプを表す記号に続いて示された数値は、再生順序に従ったピクチャの順番を表す。その数値が小さいほど、再生順序も早い。
図2に示される例では、可変長復号部11が、被参照領域決定部13及び画像復号部15よりも3ピクチャ分先行して可変長復号処理を実行している。そのため、被参照領域決定部13は、復号順序では、エラー隠蔽されるピクチャよりも後に位置する2枚のピクチャが持つ動きベクトルを利用できる。例えば、ピクチャP5に対するエラー隠蔽処理が必要であるとき、被参照領域決定部13は、復号順序ではピクチャP5よりも後のピクチャB3、B4のそれぞれが持つ動きベクトルを利用できる。
また、可変長復号部11が被参照領域決定部13及び画像復号部15よりも4ピクチャ分先行して可変長復号処理を実行すれば、被参照領域決定部13は、復号順序では、エラー隠蔽されるピクチャよりも後に位置する3枚のピクチャが持つ動きベクトルを利用できる。例えば、ピクチャP5に対するエラー隠蔽処理が必要であるとき、被参照領域決定部13は、復号順序ではピクチャP5よりも後のピクチャB3、B4、P8のそれぞれが持つ動きベクトルを利用できる。
エラー検出部12は、動画像データに含まれる各ピクチャについて、エラーが発生した領域を検出する。本実施形態では、エラー検出部12は、動き補償が行われる領域の単位であるマクロブロックもしくはブロックごとに、エラーが発生したか否か、すなわち、マクロブロックもしくはブロックを復号するために必要なデータが欠落したか否かを調べる。なお、以下では、エラーが発生したマクロブロックをエラーMBと呼ぶ。また以下では、説明の簡単化のために、エラー検出される各ピクチャ中の部分領域をマクロブロックとして説明する。しかし、エラー検出される各ピクチャ中の部分領域がブロックであっても、マクロブロックに対する処理と同様の処理が実行されればよい。
例えば、エラー検出部12は、マクロブロックごとに設けられるマクロ・ブロック・アドレスの値からエラー検出対象となるマクロブロックを特定する。そしてエラー検出部12は、特定されたマクロブロックについて、符号化方法の規格によって定められた所定の情報が全て存在するか否かを調べる。そして全ての情報が存在すれば、エラー検出部12は、そのマクロブロックにはエラーがないと判定する。一方、何れかの情報が存在しなければ、エラー検出部12は、そのマクロブロックにおいてエラーが発生したと判定する。
またエラー検出部12は、1枚のピクチャを任意の長さに分割することにより得られるスライスごとに設けられる、スライス・スタート・コードなどの所定の情報が全て存在するか否かを調べてもよい。そしてエラー検出部12は、何れかの情報が存在しなければ、そのスライスに含まれる全てのマクロブロックにおいてエラーが発生したと判定してもよい。
エラー検出部12は、エラーMBを示すマクロ・ブロック・アドレス及びそのマクロブロックが含まれるピクチャの識別番号を被参照領域決定部13及びエラー隠蔽部14へ通知する。
一方、エラー検出部12は、エラーが発生していないマクロブロックに関する符号化データ、動きベクトル、そのマクロブロックが含まれるピクチャの識別番号及びそのピクチャの符号化種別を示す情報などを画像復号部15へ渡す。
被参照領域決定部13は、エラー検出部12から通知されたエラーMBを隠蔽するために使用される、被参照領域をマクロブロック単位で決定する。そこで、被参照領域決定部13は、バッファメモリ16に記憶されている動きベクトルから、エラーMBを参照する、他のピクチャのマクロブロックの動きベクトルを抽出する。そして、被参照領域決定部13は、そのような動きベクトルを抽出できると、その動きベクトルに対応するマクロブロックに関連する情報もバッファメモリ16から読み出す。例えば、エラーMBを参照する動きベクトルが、Bピクチャに含まれるマクロブロックについての二つの動きベクトルの一方であれば、そのマクロブロックに対する他方の動きベクトルもバッファメモリ16から読み出される。そして、被参照領域決定部13は、その動きベクトルなどの情報を用いて、被参照領域となるマクロブロックを特定するための隠蔽ベクトルMVCを算出する。この隠蔽ベクトルMVCは、エラーMBと被参照領域となるマクロブロックのピクチャ内での水平方向及び垂直方向のずれ量と、エラーMBが含まれるピクチャから被参照領域が含まれるピクチャまでのピクチャ枚数をそれぞれベクトルの要素として持つ。
図3は、エラーMBとエラー隠蔽に使用されるマクロブロックの対応関係の一例を示す図である。図3において、各ピクチャB0〜P8は、再生順序に従って並んでおり、最も左側に位置するピクチャB0が最初に再生されるピクチャである。各ピクチャに付された記号I、B、Pは、そのピクチャの符号化タイプを表し、それぞれ、Iピクチャ、Bピクチャ、Pピクチャを表す。また、各ピクチャ番号の上に示された番号は、復号順序を示す。
図3において、ピクチャP5のマクロブロック301においてエラーが発生しているとする。この場合において、ピクチャB3のマクロブロック302に対する、時間的に後のピクチャを参照する動きベクトルである後方向動きベクトルMVBがマクロブロック301を参照しているとする。また、マクロブロック302に対する、時間的に前のピクチャを参照する動きベクトルである前方向動きベクトルMVFがピクチャI2のマクロブロック303を参照しているとする。この場合、マクロブロック302上の像は、マクロブロック301上の像とマクロブロック303上の像の両方に類似していると考えられる。そのため、マクロブロック301上の像は、マクロブロック303上の像に類似している可能性が高い。すなわち、マクロブロック301を隠蔽するために使用されるマクロブロックとして、マクロブロック303が適切である。そこで被参照領域決定部13は、マクロブロック301に対する被参照領域がマクロブロック303となるように、隠蔽ベクトルMVCを以下の式に従って算出する。
MVC = MVF - MVB (1)
図4は、エラーMBとエラー隠蔽に使用されるマクロブロックの対応関係の他の一例を示す図である。図4において、各ピクチャB0〜P8は、再生順序に従って並んでおり、最も左側に位置するピクチャB0が最初に再生されるピクチャである。各ピクチャに付された記号I、B、Pは、そのピクチャの符号化タイプを表し、それぞれ、Iピクチャ、Bピクチャ、Pピクチャを表す。また、各ピクチャ番号の上に示された番号は、復号順序を示す。
図4において、ピクチャP5のマクロブロック401においてエラーが発生しているとする。また、ピクチャP8のマクロブロック402に対する、前方向動きベクトルMVFがマクロブロック401を参照しているとする。この場合、マクロブロック401上の像がマクロブロック402の位置へ移動したと推定される。そのため、マクロブロック401上の像は、ピクチャP5以前においても、マクロブロック402の動きベクトルMVFと同じ方向に沿って移動している可能性が高い。そこで、被参照領域決定部13は、マクロブロック401に対する被参照領域が、その動きベクトルMVFの延長線上に位置する、既に復号されているピクチャI2上のマクロブロック403となるように、隠蔽ベクトルMVCを以下の式に従って算出する。
MVC = MVF (2)
ただし、IピクチャとPピクチャの間隔またはPピクチャ同士の間隔は可変であってもよい。この場合、被参照領域決定部13は、エラーMBを含むピクチャとエラーMBを参照するマクロブロックを含むピクチャ間の距離に対する、エラーMBを含むピクチャと隠蔽に使用されるマクロブロックを含むピクチャ間の距離の比を求める。そして被参照領域決定部13は、その比を動きベクトルMVFに乗じることにより、隠蔽ベクトルMVCを算出できる。例えば、図4において、ピクチャP5とピクチャP8間の距離をD1、ピクチャP5とピクチャI2間の距離をD2とすれば、被参照領域決定部13は隠蔽ベクトルMVCをMVF*D2/D1とする。
なお、隠蔽ベクトルMVCの算出に利用されるピクチャ及び動きベクトルは、上記の例に限られない。例えば、図4において、ピクチャB6またはB7に含まれる何れかのマクロブロックの前方向動きベクトルMVFがエラーMB401を参照しているとする。この場合、被参照領域決定部13は、そのマクロブロックの前方向動きベクトルMVFと後方向動きベクトルMVBから、(1)式と同様に、(MVF - MVB)として隠蔽ベクトルMVCを算出できる。
また、図3において、ピクチャB3上のマクロブロック302が、前方向動きベクトルMVFを持たない場合、被参照領域決定部13は、マクロブロック302の後方向動きベクトルMVBのみを用いて、隠蔽ベクトルMVCを算出してもよい。この場合、エラーMB301上の像は、マクロブロック302の位置からマクロブロック301へ移動したと推定される。そこで、被参照領域決定部13は、ピクチャP5のマクロブロック301の後方向動きベクトルMVBと平行かつ逆向きに、ピクチャI2までの動きを表すベクトル(すなわち、-3/2×MVB)を、隠蔽ベクトルMVCとする。
図3、図4の何れにおいても、エラーMBが含まれるピクチャP5よりも、隠蔽ベクトルMVCの算出に利用される動きベクトルに対応するマクロブロックを含むピクチャの方が、復号順序では後に位置する。しかしながら、上述したように、本実施形態では、可変長復号部11は、ピクチャB3、B4、P8の各マクロブロックに対する動きベクトルをピクチャP5に対するエラー隠蔽処理が行われるよりも前に復号することができる。そのため、被参照領域決定部13は、そのような動きベクトルを用いて隠蔽ベクトルMVCを算出できる。
また、隠蔽ベクトルMVCにより参照されるマクロブロックを含むピクチャは、エラーMBを含むピクチャよりも前に復号されている。そのため、後述するエラー隠蔽部14は、被参照領域決定部13により算出された隠蔽ベクトルMVCにより示された被参照領域となるマクロブロックの情報を用いて、エラーMBを隠蔽できる。
なお、エラーMBを参照する動きベクトルが複数存在する、すなわち、エラーMBが含まれるピクチャ以外のピクチャ上で、エラーMBを参照する他のマクロブロックが複数存在する場合がある。そのような場合、被参照領域決定部13は、エラーMB上の像と最も類似している像を含むマクロブロックを下記のように推定する。そして被参照領域決定部13は、最も類似すると推定されたマクロブロックを被参照領域とするように、隠蔽ベクトルMVCを決定する。
図5は、被参照領域決定部13による、隠蔽ベクトル算出処理の動作フローチャートである。この動作フローは、エラーMBが検出される度に実行される。
先ず、被参照領域決定部13は、バッファメモリ16に記憶されている動きベクトルの中に、エラーMBを参照する動きベクトルが存在するか否か判定する(ステップS101)。エラーMBを参照する動きベクトルが存在しなければ(ステップS101−No)、被参照領域決定部13は、エラーMB周囲のマクロブロックに関する情報から隠蔽ベクトルを決定する(ステップS102)。例えば、被参照領域決定部13は、エラーMBの周囲のマクロブロックの動きベクトルの水平成分及び垂直成分のそれぞれを平均することにより、隠蔽ベクトルを算出してもよい。あるいは、エラーMBは、エラーMBの周囲のマクロブロックから補間されてもよい。この場合、被参照領域決定部13は、隠蔽ベクトルとして、参照するピクチャをエラーMBが含まれるピクチャ自身とし、エラーMBの周囲のマクロブロックを示すベクトルを作成する。
一方、エラーMBを参照する動きベクトルが存在する場合(ステップS101−Yes)、被参照領域決定部13は、エラーMBを参照する動きベクトルが複数存在するか否か判定する(ステップS103)。
エラーMBを参照する動きベクトルが一つのみ存在する場合(ステップS103−No)、被参照領域決定部13は、その動きベクトルに基づいて隠蔽ベクトルを算出する(ステップS108)。なお、隠蔽ベクトル算出の詳細については上述したとおりである。
一方、エラーMBを参照する動きベクトルが複数存在する場合(ステップS103−Yes)、被参照領域決定部13は、それら複数の動きベクトルから、エラーMBと最も類似するマクロブロックを示す動きベクトルを抽出する。具体的には、被参照領域決定部13は、何れかの双方向予測符号化されたマクロブロックの一方の動きベクトルがエラーMBを参照し、かつ他方の動きベクトルが既に復号されたマクロブロックを示すとき、それら動きベクトルの組を抽出する(ステップS104)。
次に、被参照領域決定部13は、ステップS104にて抽出された動きベクトルの組が一つのみ存在するか否か判定する(ステップS105)。抽出された動きベクトルの組が一つのみ存在する場合(ステップS105−Yes)、被参照領域決定部13は、それら動きベクトルの組に基づいて隠蔽ベクトルを算出する(ステップS108)。この場合、被参照領域決定部13は、上記の(1)式に従って隠蔽ベクトルを算出する。
一方、抽出された動きベクトルの組が複数存在する場合、あるいは上記のような動きベクトルの組が一つも抽出されなかった場合もある(ステップS105−No)。このような場合、被参照領域決定部13は、エラーMBを参照する動きベクトルのそれぞれについて、その動きベクトルに対応するマクロブロックの量子化された周波数係数または量子化スケールなどに基づいて1個以上の評価値を算出する(ステップS106)。そして被参照領域決定部13は、その評価値が最適値となる動きベクトルを選択する(ステップS107)。
例えば、動きベクトルを持つマクロブロックのそれぞれの量子化された周波数係数は、そのマクロブロックと、その動きベクトルにより示された被参照マクロブロックの差分画像に対する周波数変換処理により得られた各周波数係数が量子化されたものである。したがって、それら二つのマクロブロックが類似しているほど、各画素に対する差分値のばらつきが少なくなる。そのため、それら二つのマクロブロックが類似しているほど、0となる量子化された周波数係数の数が増加する。そこで被参照領域決定部13は、エラーMBを参照する複数のマクロブロックのそれぞれについて、0でない量子化された周波数係数の数を第1の評価値として算出する。被参照領域決定部13は、第1の評価値が最小となる、すなわち、0でない量子化された周波数係数の数が最も少ないマクロブロックを選択する。そして被参照領域決定部13は、量子化された周波数係数の数が最小となるマクロブロックに関する動きベクトルに基づいて、隠蔽ベクトルを算出する。
さらに、0でない量子化された周波数係数の数が最少となるマクロブロックが複数存在する場合、被参照領域決定部13は、量子化スケールを第2の評価値とする。そして被参照領域決定部13は、それらマクロブロックのうち、第2の評価値が最小となる、すなわち、量子化スケールが最小であるマクロブロックを選択する。そして被参照領域決定部13は、量子化スケールが最小となるマクロブロックに関する動きベクトルに基づいて、隠蔽ベクトルを算出する。量子化スケールが小さいほど、小さな量子化された周波数係数の値も保存される。そのため、0でない量子化された周波数係数の数が等しければ、対応する量子化スケールが小さいマクロブロックほどエラーMBに類似していると考えられるためである。
また、エラーMBを参照する、同一の量子化スケールで量子化されたマクロブロックが複数存在する場合、被参照領域決定部13は、それらマクロブロックのうち、量子化された周波数係数値の絶対値の合計を第3の評価値とする。被参照領域決定部13は、第3の評価値が最小となる、すなわち、量子化された周波数係数値の合計が最小であるマクロブロックを選択してもよい。そして被参照領域決定部13は、量子化された周波数係数値の合計が最小であるマクロブロックに関する動きベクトルに基づいて、隠蔽ベクトルを算出する。量子化された周波数係数値の合計が小さいほど、エラーMBに類似していると考えられるためである。この場合、被参照領域決定部13は、第1の評価値にかかわらず、第2の評価値及び第3の評価値のみに基づいて、動きベクトルを選択してもよい。
被参照領域決定部13は、選択された動きベクトルに基づいて隠蔽ベクトルを算出する(ステップS108)。
ステップS102またはステップS108の後、被参照領域決定部13は、隠蔽ベクトル算出処理を終了する。
なお、ステップS105にて抽出された動きベクトルの組が一組でない場合、被参照領域決定部13は、エラーMBを参照する複数の動きベクトルのそれぞれについて隠蔽ベクトルを算出し、それら複数の隠蔽ベクトルから最も適した隠蔽ベクトルを選択してもよい。
例えば、被参照領域決定部13は、それら複数の隠蔽ベクトルのうち、隠蔽ベクトルの水平方向成分値及び垂直方向成分値がマクロブロックの水平方向及び垂直方向のサイズの整数倍に最も近い隠蔽ベクトルを選択してもよい。これは、隠蔽ベクトルの水平方向成分値及び垂直方向成分値がマクロブロックの水平方向及び垂直方向のサイズの整数倍に近いほど、エラーMBと、被参照領域であるマクロブロックの重なる領域が広くなるためである。
具体的に、被参照領域決定部13は、複数の隠蔽ベクトルのそれぞれについて、下記の式に従って水平方向成分値及び垂直方向成分値のマクロブロックサイズの半分からのずれ量の合計値Δを第4の評価値として求める。
Δ= |mod(MVCH,MBH)-MBH/2|+|mod(MVCV,MBV)-MBV/2| (3)
ここで関数mod(x,y)は、xをyで除したときの剰余を求める関数である。また、MVCHは隠蔽ベクトルの水平方向成分値であり、MVCVは隠蔽ベクトルの垂直方向成分値である。そしてMBHはマクロブロックの水平方向サイズであり、MBVはマクロブロックの垂直方向サイズである。
ずれ量の合計値Δが大きいほど、隠蔽ベクトルの水平方向成分値及び垂直方向成分値がマクロブロックの水平方向及び垂直方向のサイズの整数倍に近くなる。そこで被参照領域決定部13は、第4の評価値が最大となる、すなわち、ずれ量の合計値Δが最大となる隠蔽ベクトルを選択する。
なお、動きベクトルが、1画素未満の精度を有している場合、被参照領域決定部13は、(3)式におけるMVCH、MVCV、MBH、MBVの各値に対して、動きベクトルの最小単位が1以上の整数となるような係数を乗じた上で、ずれ量の合計値Δを計算すればよい。例えば、動きベクトルの精度が0.5画素であれば、被参照領域決定部13は、MVCH、MVCV、MBH、MBVの各値に2を乗じる。また動きベクトルの精度が0.25画素であれば、被参照領域決定部13は、MVCH、MVCV、MBH、MBVの各値に4を乗じる。
また、エラーMBに関する色差信号が復元可能であり、複数の隠蔽ベクトルのそれぞれにより示されるマクロブロックに含まれる像の形状が同一である場合、それらマクロブロックのうち、エラーMBと色の差が最も小さいマクロブロックを隠蔽に使用することが好ましい。そこで、被参照領域決定部13は、それらマクロブロックのうち、エラーMBに関する色差信号との差を第5の評価値として算出する。そして被参照領域決定部13は、第5の評価値が最も小さい、すなわちエラーMBに関する色差信号との差が最小となる色差信号を有するマクロブロックを示す隠蔽ベクトルを選択する。
なお、被参照領域決定部13は、エラーMBを参照するマクロブロックが存在しても、エラーMBとその周囲のマクロブロックが類似していると推定される場合には、その周囲のマクロブロックが被参照領域となるように隠蔽ベクトルを算出してもよい。例えば、エラーMBが他のエラーMBと接触しておらず、エラーMBの周囲(例えば、4近傍あるいは8近傍)のマクロブロックの像が類似している場合、被参照領域決定部13は、エラーMBの周囲のマクロブロックを示すように隠蔽ベクトルを算出する。
被参照領域決定部13は、エラーMBについて算出した隠蔽ベクトルMVC、そのマクロブロックを示すマクロ・ブロック・アドレス及びそのマクロブロックが含まれるピクチャの識別番号をエラー隠蔽部14へ渡す。
エラー隠蔽部14は、被参照領域決定部13により決定された隠蔽用の被参照領域の情報を用いて、エラーが発生した領域をマクロブロック単位で隠蔽する。例えば、エラー隠蔽部14は、エラーMBの各画素値を、被参照領域決定部13により決定された被参照ピクチャのマクロブロックの対応する画素値とする。
エラー隠蔽部14は、隠蔽処理されたエラーMBを、エラーMBに対するマクロ・ブロック・アドレス及びエラーMBを含むピクチャの識別番号とともに画像統合部17へ出力する。
画像復号部15は、可変長復号された符号化データに対応するピクチャの部分領域を復号する。そのために、画像復号部15は、例えば、可変長復号された符号化データに含まれる、量子化された周波数係数に対して逆量子化処理及び逆直交変換処理を実行する。さらに画像復号部15は、逆直交変換処理により差分信号が得られる場合には、その差分信号を、動きベクトルにより特定される、既に復号されている参照ピクチャの対応ブロックから求められた予測画像に加算することによりそのピクチャの部分領域を復号する。
画像復号部15は、GOPの構造に従った復号順序で各ピクチャに含まれるマクロブロックを復号する。そして画像復号部15は、マクロブロックが復号される度に、その復号されたマクロブロックを、そのマクロブロックに対応するマクロ・ブロック・アドレス及びそのマクロブロックを含むピクチャの識別番号とともに画像統合部17へ出力する。また画像復号部15は、復号されたマクロブロックのうち、符号化の際に他のピクチャに参照される可能性のあるピクチャに含まれるマクロブロックをバッファメモリ16に書き込む。なお、他のピクチャに参照される可能性のあるピクチャとは、例えば、Iピクチャ及びPピクチャである。
バッファメモリ16は、可変長復号部11から受け取った動きベクトル及び動画像復号部15から受け取った復号されたピクチャのマクロブロックを、それぞれ対応するピクチャの識別番号及びマクロ・ブロック・アドレスとともに一時的に保存する。そしてバッファメモリ16は、被参照領域決定部13からの要求に応じて動きベクトルを被参照領域決定部13へ出力する。またバッファメモリ16は、エラー隠蔽部14からの要求に応じて復号されたピクチャをマクロブロック単位でエラー隠蔽部14へ出力する。
画像統合部17は、ピクチャの識別番号及びマクロ・ブロック・アドレスを参照することにより、同一のピクチャについての画像復号部15により復号されたマクロブロックと、エラー隠蔽部13によりエラー隠蔽されたマクロブロックを所定の順序に従って配列する。そして画像統合部17は、動画像データに含まれる各ピクチャを再現する。
画像統合部17は、再現された各ピクチャを、再生順序に従って出力する。
図6は、動画像復号装置1により実行される動画像復号処理の動作フローチャートである。なお、動画像復号装置1の各部がコンピュータプログラムにより実現される機能モジュールである場合、図6に示す動作フローは、動画像復号装置1が有するプロセッサ上で動作するコンピュータプログラムにより制御される。
まず、動画像復号装置1は、バッファメモリ10に符号化された動画像データが所定の初期蓄積量だけ蓄積された後、復号順序に従ってピクチャ1枚分のデータずつ、可変長復号部11に入力する。そして可変長復号部11は、入力されたピクチャの各マクロブロックに関して可変長符号化された情報を可変長復号する(ステップS201)。そして可変長復号部11は、可変長復号により再現された各マクロブロックの量子化された周波数係数、量子化スケール及び動きベクトルなどのデータをエラー検出部12へ渡す。また可変長復号部11は、各マクロブロックの動きベクトルを、そのマクロブロックのマクロ・ブロック・アドレス及びそのマクロブロックが含まれるピクチャの識別番号とともにバッファメモリ16に一時的に記憶する(ステップS202)。
次に、動画像復号装置1は、可変長復号されたピクチャの枚数が、画像復号部15がピクチャを復号するよりも先行して可変長復号されるピクチャの所定枚数に達したか否か判定する(ステップS203)。可変長復号されたピクチャの枚数がその所定枚数に達していない場合(ステップS203−No)、動画像復号装置1は制御をステップS201に戻す。一方、可変長復号されたピクチャの枚数がその所定枚数に達した場合(ステップS203−Yes)、可変長復号部11は、その後に入力されたピクチャを可変長復号対象ピクチャとする。そして可変長復号部11は、その可変長復号対象ピクチャに関して可変長符号化された情報を可変長復号する(ステップS204)。そして可変長復号部11は、可変長復号により再現された各マクロブロックの量子化された周波数係数及び量子化スケールなどの符号化データ及び動きベクトルなどの情報をエラー検出部12へ渡す。また可変長復号部11は、各マクロブロックの動きベクトルを、そのマクロブロックのマクロ・ブロック・アドレス及びそのマクロブロックが含まれるピクチャの識別番号とともにバッファメモリ16に一時的に記憶する(ステップS205)。
また、エラー検出部12は、入力された符号化動画像データに含まれる最初のピクチャを着目ピクチャとし、その着目ピクチャに含まれる着目するマクロブロックについて、エラーが発生したか否か判定する(ステップS206)。着目するマクロブロックについてエラーが発生していなければ(ステップS206−No)、エラー検出部12は、着目するマクロブロックに関するデータを画像復号部15へ渡す。そして画像復号部15は、着目するマクロブロックを復号する(ステップS207)。画像復号部15は、復号されたマクロブロックを画像統合部17へ渡す。また画像復号部15は、復号されたマクロブロックのうち、符号化の際に他のピクチャに参照される可能性のあるピクチャに含まれるマクロブロックをバッファメモリ16に書き込む。
一方、着目するマクロブロックについてエラーが発生していれば(ステップS206−Yes)、エラー検出部12は、その着目するマクロブロックをエラーMBとし、エラーMBに関する情報を被参照領域決定部13及びエラー隠蔽部14へ通知する。その情報には、例えば、エラーMBを示すマクロ・ブロック・アドレス及びそのマクロブロックが含まれるピクチャの識別番号が含まれる。
次に、被参照領域決定部13は、エラーMBを隠蔽するために使用される、既に復号された他のピクチャに含まれるマクロブロックまたは着目ピクチャに含まれる他のマクロブロックを被参照領域として示す隠蔽ベクトルを算出する(ステップS208)。なお、被参照領域決定部13は、図5に示した動作フローに従って隠蔽ベクトルを算出する。そして被参照領域決定部13は、その隠蔽ベクトルをエラー隠蔽部14へ渡す。
エラー隠蔽部14は、隠蔽ベクトルに示されたマクロブロックのデータでエラーMBのデータを補間することにより、エラーMBを隠蔽する(ステップS209)。そしてエラー隠蔽部14は、隠蔽したエラーMBのデータ及びそのマクロブロックのマクロ・ブロック・アドレスを画像統合部17へ渡す。
ステップS207またはS209の後、動画像復号装置1は、画像統合部17に着目するピクチャに含まれる全てのマクロブロックのデータが入力されたか否か判定する(ステップS210)。まだ入力されていないマクロブロックのデータがあれば(ステップS210−No)、動画像復号装置1は、その未入力のマクロブロックを着目するマクロブロックとして、ステップS206〜S210の処理を繰り返す。
一方、着目ピクチャに含まれる全てのマクロブロックのデータが画像統合部17に入力されていれば、画像統合部17は着目ピクチャを再現する(ステップS211)。そして画像統合部17は、再現された着目ピクチャを出力する。
動画像復号装置1は、入力された符号化動画像データに含まれる全てのピクチャが再現されたか否か判定する(ステップS212)。まだ再現されていないピクチャがあれば(ステップS212−No)、動画像復号装置1は、復号順序に従って現在の着目するピクチャの次のピクチャを着目するピクチャとする。また動画像復号装置1は、復号順序に従って現在の可変長復号対象ピクチャの次のピクチャを可変長復号対象ピクチャとする。そして動画像復号装置1は、ステップS204〜S212の処理を繰り返す。
一方、入力された符号化動画像データに含まれる全てのピクチャが再現されていれば(ステップS212−Yes)、動画像復号装置1は復号処理を終了する。
以上に説明してきたように、この動画像復号装置は、入力された符号化動画像データに含まれる何れかのピクチャにおいてエラーが発生している場合、そのピクチャのうちのエラーが発生した領域を参照する他のピクチャの動きベクトルを抽出する。そしてこの動画像復号装置は、抽出された動きベクトルに基づいて、既に復号されているピクチャ上で、エラーが発生した領域に対応する領域を推定し、その推定された領域のデータを用いてエラーが発生した領域を隠蔽する。これにより、この動画像復号装置は、エラーが発生した領域に類似する、他のピクチャ上の領域を正確に推定できる。そのため、この動画像復号装置は、エラー発生領域の大きさ及びエラー発生領域とその周辺領域での動きの相違によらず、画質の劣化を抑制するようにエラー発生領域を隠蔽できる。特にこの動画像復号装置は、エラー発生領域を隠蔽するための被参照領域を、エラー発生領域が含まれるピクチャ以外のピクチャの情報を用いて特定できる。そのため、この動画像復号装置は、一枚のピクチャ全体の情報が欠落しても、その欠落したピクチャを適切に隠蔽できる。
図7は、上記の実施形態による動画像復号装置を有する映像再生装置の概略構成図である。図7に示すように、この映像再生装置100は、入力部101と、信号処理部102と、表示部103と、音声出力部104を有する。
入力部101は、例えば、アンテナ105と接続され、アンテナを介して、無線電波により搬送された映像信号を受信する回路を有する。入力部101は、受け取った映像信号をアナログ−デジタル変換する。そして入力部101は、デジタル化された映像信号を搬送波の変調方式に応じた復調方式(例えば、直交周波数分割多重(Orthogonal Frequency Division Multiplexing、OFDM)復調方式)にて復調する。入力部101は、その復調された映像信号に対して、前方誤り訂正などの誤り訂正処理を実行する。そして入力部101は、復調され、かつ誤り訂正処理が施されることにより得られた映像信号を信号処理部102へ渡す。
信号処理部102は、例えば1個または複数個のプロセッサ及びその周辺回路を有する。そして信号処理部102は、映像信号に含まれる符号化された動画像データ及びオーディオ信号を復号する。そして信号処理部102は、復号された動画像データを表示部103へ渡す。また信号処理部102は、復号されたオーディオ信号を音声出力部104へ渡す。
表示部103は、例えば、液晶ディスプレイなどの表示装置を有する。そして表示部103は、信号処理部102から受け取った動画像データを表示する。
音声出力部104は、スピーカを有する。そして音声出力部104は信号処理部102から受け取ったオーディオ信号に従って音声を出力する。
図8は、信号処理部102の概略構成図である。図8に示すように、信号処理部102は、デマルチプレクサ21と、動画像復号部22と、音声復号部23とを有する。
デマルチプレクサ21は、映像信号を、符号化された動画像データと、符号化されたオーディオ信号に分離する。そしてデマルチプレクサ21は、符号化された動画像データをピクチャ単位で動画像復号部22へ渡す。またデマルチプレクサ21は、符号化されたオーディオ信号を音声復号部23へ渡す。
動画像復号部22は、上記の実施形態による動画像復号装置とすることができ、デマルチプレクサ21から受け取った、符号化された動画像データを復号する。その際、動画像復号部22は、符号化された動画像データに含まれる何れかのピクチャにエラーが発生した場合、そのエラーが発生したピクチャを上記のように隠蔽する。そして動画像復号部22は、復号された動画像データを表示部103へ渡す。
音声復号部23は、デマルチプレクサ21から受け取った、符号化されたオーディオ信号を、その符号化方式に応じた復号方法を用いて復号する。その符号化方式として、例えば、MPEG-2 Advanced Audio Coding(MPEG-2 AAC)またはMPEG-4 AACが採用される。
この映像再生装置は、上記の実施形態の動画像復号装置を用いて映像信号に含まれる動画像データを復号している。そのため、この映像再生装置は、映像信号の受信状態が悪く、映像信号に含まれる動画像データの一部にエラーが発生しても、再生された画像の画質の劣化を抑制することができる。
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
(付記1)
符号化された動画像データに含まれる複数のピクチャのそれぞれについて、前記ピクチャが分割された複数の部分領域と前記部分領域を符号化するために参照される他のピクチャの部分領域との位置関係を表す動きベクトルとを復号する復号部と、
前記複数の部分領域のうち、前記復号部により復号不可能な部分領域をエラー領域として検出するエラー検出部と、
第1のピクチャに含まれる前記エラー領域を参照する、該第1のピクチャよりも復号順序が後である第2のピクチャに含まれる部分領域に関する前記動きベクトルに基づいて、前記エラー領域に対応する既に復号されている第3のピクチャ上の被参照領域を決定する被参照領域決定部と、
前記被参照領域に含まれるデータを用いて前記エラー領域を隠蔽する隠蔽部と、
前記第1のピクチャに含まれる、前記隠蔽されたエラー領域と前記復号された部分領域を所定の順序に従って配列することにより、前記第1のピクチャを再現する画像統合部と、
を有する動画像復号装置。
(付記2)
前記復号部は、前記第1のピクチャの各部分領域を復号するよりも前に、前記第2のピクチャの各部分領域に関する前記動きベクトルを復号する、付記1に記載の動画像復号装置。
(付記3)
前記第2のピクチャの部分領域は、前記第1のピクチャに含まれる前記エラー領域を参照する後方向動きベクトルと前記第3のピクチャに含まれる所定領域を参照する前方向動きベクトルを用いて符号化されており、
前記被参照領域決定部は、前記後方向動きベクトルと前記前方向動きベクトルの差に相当するベクトルを、前記エラー領域に対する前記被参照領域の相対的位置を示す隠蔽ベクトルとして算出することにより、前記所定領域を前記被参照領域とする、付記1または2に記載の動画像復号装置。
(付記4)
前記第2のピクチャの部分領域は、前記第1のピクチャに含まれる前記エラー領域を参照する前方向動きベクトルを用いて符号化されており、
前記被参照領域決定部は、前記前方向動きベクトルに、前記第1のピクチャと前記第2のピクチャ間の第1の距離に対する前記第1のピクチャと前記第3のピクチャ間の第2の距離の比を乗じることにより、前記エラー領域に対する前記被参照領域の相対的位置を示す隠蔽ベクトルを算出することにより、前記所定領域を前記被参照領域とする、付記1または2に記載の動画像復号装置。
(付記5)
前記被参照領域決定部は、前記第1のピクチャに含まれる前記エラー領域を参照する後方向動きベクトルと前記第3のピクチャに含まれる所定領域を参照する前方向動きベクトルを用いて符号化された第4のピクチャに含まれる部分領域と、前記第1のピクチャに含まれる前記エラー領域を参照する前方向動きベクトルを用いて符号化された第5のピクチャに含まれる部分領域が存在する場合、前記第4のピクチャに含まれる部分領域に関する前記後方向動きベクトルと前記前方向動きベクトルの差に相当するベクトルを、前記エラー領域に対する前記被参照領域の相対的位置を示す隠蔽ベクトルとして算出することにより、前記所定領域を前記被参照領域とする、付記1または2に記載の動画像復号装置。
(付記6)
前記被参照領域決定部は、前記エラー領域を参照する動きベクトルが複数存在する場合、前記エラー領域を参照する複数の動きベクトルのそれぞれについて、該動きベクトルを用いて符号化された部分領域と前記エラー領域の差を表す評価値を算出し、該評価値が最小となる動きベクトルに基づいて前記被参照領域を決定する、付記1〜4の何れか一項に記載の動画像復号装置。
(付記7)
前記エラー領域を参照する複数の動きベクトルのそれぞれを用いて符号化された部分領域は、前記エラー領域と当該部分領域との差分画像を周波数変換して得られた複数の周波数係数を所定の量子化幅で量子化することにより得られた複数の量子化された周波数係数を符号化データとして含み、
前記評価値は、前記動きベクトルのそれぞれに対応する部分領域に関する前記符号化データに含まれる量子化された周波数係数のうち、0でない量子化された周波数係数の個数の合計である、付記6に記載の動画像符号化装置。
(付記8)
前記エラー領域を参照する複数の動きベクトルのそれぞれを用いて符号化された部分領域は、前記エラー領域と当該部分領域との差分画像を周波数変換して得られた複数の周波数係数を所定の量子化幅で量子化することにより得られた複数の量子化された周波数係数を符号化データとして含み、
前記評価値は、前記動きベクトルのそれぞれに対応する部分領域に関する前記符号化データに含まれる量子化された周波数係数の絶対値の合計である、付記6に記載の動画像符号化装置。
(付記9)
前記被参照領域決定部は、前記エラー領域を参照する動きベクトルが複数存在する場合、前記エラー領域を参照する複数の動きベクトルのうち、該動きベクトルを用いて符号化された部分領域と前記エラー領域のピクチャ内でのずれ量が前記エラー領域のサイズの整数倍に最も近い動きベクトルに基づいて前記被参照領域を決定する、付記1〜4の何れか一項に記載の動画像復号装置。
(付記10)
符号化された動画像データを含む映像信号を受信する入力部と、
前記映像信号から前記符号化された動画像データを分離するデマルチプレクサと、
前記符号化された動画像データに含まれる複数のピクチャを復号する動画像復号部と、
復号された複数のピクチャを再生順序に従って表示する表示部とを有し、
前記動画像復号部は、付記1〜9の何れか一項に記載の動画像復号装置である、
映像再生装置。
(付記11)
符号化された動画像データに含まれる複数のピクチャのそれぞれについて、前記ピクチャが分割された複数の部分領域と前記部分領域を符号化するために参照される他のピクチャの部分領域との位置関係を表す動きベクトルとを復号し、
前記複数の部分領域のうち、復号不可能な部分領域をエラー領域として検出し、
第1のピクチャに含まれる前記エラー領域を参照する、該第1のピクチャよりも復号順序が後である第2のピクチャに含まれる部分領域に関する前記動きベクトルに基づいて、前記エラー領域に対応する既に復号されている第3のピクチャ上の被参照領域を決定し、
前記被参照領域に含まれるデータを用いて前記エラー領域を隠蔽し、
前記第1のピクチャに含まれる、前記隠蔽されたエラー領域と前記復号された部分領域を所定の順序に従って配列することにより、前記第1のピクチャを再現する、
ことを含む動画像復号方法。
(付記12)
符号化された動画像データに含まれる複数のピクチャのそれぞれについて、前記ピクチャが分割された複数の部分領域と前記部分領域を符号化するために参照される他のピクチャの部分領域との位置関係を表す動きベクトルとを復号し、
前記複数の部分領域のうち、復号不可能な部分領域をエラー領域として検出し、
第1のピクチャに含まれる前記エラー領域を参照する、該第1のピクチャよりも復号順序が後である第2のピクチャに含まれる部分領域に関する前記動きベクトルに基づいて、前記エラー領域に対応する既に復号されている第3のピクチャ上の被参照領域を決定し、
前記被参照領域に含まれるデータを用いて前記エラー領域を隠蔽し、
前記第1のピクチャに含まれる、前記隠蔽されたエラー領域と前記復号された部分領域を所定の順序に従って配列することにより、前記第1のピクチャを再現する、
ことをコンピュータに実行させる動画像復号用コンピュータプログラム。
1 動画像復号装置
11 可変長復号部
12 エラー検出部
13 被参照領域決定部
14 エラー隠蔽部
15 画像復号部
10、16 バッファメモリ
17 画像統合部
21 デマルチプレクサ
22 動画像復号部
23 音声復号部
100 映像再生装置
101 アンテナ
102 チューナー
103 動画像復号部
104 表示部
105 アンテナ

Claims (7)

  1. 符号化された動画像データに含まれる複数のピクチャのそれぞれについて、前記ピクチャが分割された複数の部分領域と前記部分領域を符号化するために参照される他のピクチャの部分領域との位置関係を表す動きベクトルとを復号する復号部と、
    前記複数の部分領域のうち、前記復号部により復号不可能な部分領域をエラー領域として検出するエラー検出部と、
    第1のピクチャに含まれる前記エラー領域を参照する、該第1のピクチャよりも復号順序が後である第2のピクチャに含まれる部分領域に関する前記動きベクトルに基づいて、前記エラー領域に対応する既に復号されている第3のピクチャ上の被参照領域を決定する被参照領域決定部と、
    前記被参照領域に含まれるデータを用いて前記エラー領域を隠蔽する隠蔽部と、
    前記第1のピクチャに含まれる、前記隠蔽されたエラー領域と前記復号された部分領域を所定の順序に従って配列することにより、前記第1のピクチャを再現する画像統合部と、
    を有する動画像復号装置。
  2. 前記復号部は、前記第1のピクチャの各部分領域を復号するよりも前に、前記第2のピクチャの各部分領域に関する前記動きベクトルを復号する、請求項1に記載の動画像復号装置。
  3. 前記第2のピクチャの部分領域は、前記第1のピクチャに含まれる前記エラー領域を参照する後方向動きベクトルと前記第3のピクチャに含まれる所定領域を参照する前方向動きベクトルを用いて符号化されており、
    前記被参照領域決定部は、前記後方向動きベクトルと前記前方向動きベクトルの差に相当するベクトルを、前記エラー領域に対する前記被参照領域の相対的位置を示す隠蔽ベクトルとして算出することにより、前記所定領域を前記被参照領域とする、請求項1または2に記載の動画像復号装置。
  4. 前記第2のピクチャの部分領域は、前記第1のピクチャに含まれる前記エラー領域を参照する前方向動きベクトルを用いて符号化されており、
    前記被参照領域決定部は、前記前方向動きベクトルに、前記第1のピクチャと前記第2のピクチャ間の第1の距離に対する前記第1のピクチャと前記第3のピクチャ間の第2の距離の比を乗じることにより、前記エラー領域に対する前記被参照領域の相対的位置を示す隠蔽ベクトルを算出することにより、前記所定領域を前記被参照領域とする、請求項1または2に記載の動画像復号装置。
  5. 前記被参照領域決定部は、前記エラー領域を参照する動きベクトルが複数存在する場合、前記エラー領域を参照する複数の動きベクトルのそれぞれについて、該動きベクトルを用いて符号化された部分領域と前記エラー領域の差を表す評価値を算出し、該評価値が最小となる動きベクトルに基づいて前記被参照領域を決定する、請求項1〜4の何れか一項に記載の動画像復号装置。
  6. 符号化された動画像データに含まれる複数のピクチャのそれぞれについて、前記ピクチャが分割された複数の部分領域と前記部分領域を符号化するために参照される他のピクチャの部分領域との位置関係を表す動きベクトルとを復号し、
    前記複数の部分領域のうち、復号不可能な部分領域をエラー領域として検出し、
    第1のピクチャに含まれる前記エラー領域を参照する、該第1のピクチャよりも復号順序が後である第2のピクチャに含まれる部分領域に関する前記動きベクトルに基づいて、前記エラー領域に対応する既に復号されている第3のピクチャ上の被参照領域を決定し、
    前記被参照領域に含まれるデータを用いて前記エラー領域を隠蔽し、
    前記第1のピクチャに含まれる、前記隠蔽されたエラー領域と前記復号された部分領域を所定の順序に従って配列することにより、前記第1のピクチャを再現する、
    ことを含む動画像復号方法。
  7. 符号化された動画像データに含まれる複数のピクチャのそれぞれについて、前記ピクチャが分割された複数の部分領域と前記部分領域を符号化するために参照される他のピクチャの部分領域との位置関係を表す動きベクトルとを復号し、
    前記複数の部分領域のうち、復号不可能な部分領域をエラー領域として検出し、
    第1のピクチャに含まれる前記エラー領域を参照する、該第1のピクチャよりも復号順序が後である第2のピクチャに含まれる部分領域に関する前記動きベクトルに基づいて、前記エラー領域に対応する既に復号されている第3のピクチャ上の被参照領域を決定し、
    前記被参照領域に含まれるデータを用いて前記エラー領域を隠蔽し、
    前記第1のピクチャに含まれる、前記隠蔽されたエラー領域と前記復号された部分領域を所定の順序に従って配列することにより、前記第1のピクチャを再現する、
    ことをコンピュータに実行させる動画像復号用コンピュータプログラム。
JP2009126550A 2009-05-26 2009-05-26 動画像復号装置、動画像復号方法及び動画像復号用コンピュータプログラム Expired - Fee Related JP5115519B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009126550A JP5115519B2 (ja) 2009-05-26 2009-05-26 動画像復号装置、動画像復号方法及び動画像復号用コンピュータプログラム
US12/782,975 US8364019B2 (en) 2009-05-26 2010-05-19 Video decoding device and video decoding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009126550A JP5115519B2 (ja) 2009-05-26 2009-05-26 動画像復号装置、動画像復号方法及び動画像復号用コンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2010278533A JP2010278533A (ja) 2010-12-09
JP5115519B2 true JP5115519B2 (ja) 2013-01-09

Family

ID=43220299

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009126550A Expired - Fee Related JP5115519B2 (ja) 2009-05-26 2009-05-26 動画像復号装置、動画像復号方法及び動画像復号用コンピュータプログラム

Country Status (2)

Country Link
US (1) US8364019B2 (ja)
JP (1) JP5115519B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI359617B (en) * 2008-07-03 2012-03-01 Univ Nat Taiwan Low-complexity and high-quality error concealment
US20130083845A1 (en) 2011-09-30 2013-04-04 Research In Motion Limited Methods and devices for data compression using a non-uniform reconstruction space
EP2575364B1 (en) * 2011-09-30 2020-03-18 BlackBerry Limited Methods and devices for data compression using a non-uniform reconstruction space
KR101307682B1 (ko) * 2011-12-14 2013-09-12 충북대학교 산학협력단 H.264/avc 베이스라인 프로파일에서의 rdo에 기반한 움직임 벡터 숨김 정보 삽입을 이용한 에러 검출 방법
JP6438777B2 (ja) * 2015-01-30 2018-12-19 ルネサスエレクトロニクス株式会社 画像処理装置および半導体装置
CN106791642B (zh) * 2016-12-16 2020-01-14 浙江宇视科技有限公司 一种视频数据恢复方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05153574A (ja) * 1991-11-30 1993-06-18 Sony Corp 動画像データ復号化装置
JP3604290B2 (ja) * 1998-09-25 2004-12-22 沖電気工業株式会社 動画像復号方法及び装置
KR100941123B1 (ko) * 2003-10-09 2010-02-10 톰슨 라이센싱 에러 은닉을 위한 직접 모드 도출 프로세스
JP4509809B2 (ja) 2005-01-21 2010-07-21 パイオニア株式会社 ディジタル画像復号装置及び方法
EP1739974B1 (en) * 2005-06-30 2010-08-11 Samsung Electronics Co., Ltd. Error concealment method and apparatus
JP4624308B2 (ja) 2006-06-05 2011-02-02 三菱電機株式会社 動画像復号装置及び動画像復号方法

Also Published As

Publication number Publication date
US8364019B2 (en) 2013-01-29
JP2010278533A (ja) 2010-12-09
US20100303370A1 (en) 2010-12-02

Similar Documents

Publication Publication Date Title
JP6701409B2 (ja) 符号化装置、復号装置、符号化方法、復号方法、及びプログラム
KR101545382B1 (ko) 비디오 코딩을 위한 장치, 방법 및 컴퓨터 프로그램
US8126052B2 (en) Motion image encoding apparatus, motion image decoding apparatus, motion image encoding method, motion image decoding method, motion image encoding program, and motion image decoding program
JP4949028B2 (ja) 復号化装置、符号化装置、復号化方法、符号化方法
JP5310614B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法
JP5115519B2 (ja) 動画像復号装置、動画像復号方法及び動画像復号用コンピュータプログラム
WO2011086964A1 (ja) 画像処理装置および方法、並びにプログラム
TW201146024A (en) An apparatus, a method and a computer program for video processing
US20110019740A1 (en) Video Decoding Method
JP5531881B2 (ja) 動画像復号装置、動画像復号方法、及び集積回路
KR20110122167A (ko) 압축 동화상 부호화 장치, 압축 동화상 복호화 장치, 압축 동화상 부호화 방법 및 압축 동화상 복호화 방법
TW201204054A (en) Techniques for motion estimation
JP2011135326A (ja) 画像処理装置および方法、並びにプログラム
JP3519441B2 (ja) 動画像伝送装置
US6909750B2 (en) Detection and proper interpolation of interlaced moving areas for MPEG decoding with embedded resizing
JP4641995B2 (ja) 画像符号化方法および画像符号化装置
JP2006203598A (ja) ディジタル画像復号装置及び方法
WO2012056924A1 (ja) 画像処理装置と画像処理方法
JP4624308B2 (ja) 動画像復号装置及び動画像復号方法
US8509314B2 (en) Method and apparatus for spatial error concealment of image
KR101615503B1 (ko) 인트라 예측 정보를 이용한 해상도 변환 방법 및 그 장치
JP5701018B2 (ja) 画像復号装置
JP4222274B2 (ja) 符号化モード選択装置及び符号化モード選択プログラム
WO2011099242A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
KR101615507B1 (ko) 움직임 정보를 이용한 해상도 변환 방법 및 그 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120905

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120918

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121001

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151026

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees