JP3967688B2 - 映像データ符号化方法，映像データ復号方法，映像データ符号化装置，映像データ復号装置，映像データ符号化プログラム，映像データ復号プログラム，およびそれらのプログラムを記録した記録媒体 - Google Patents
映像データ符号化方法，映像データ復号方法，映像データ符号化装置，映像データ復号装置，映像データ符号化プログラム，映像データ復号プログラム，およびそれらのプログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP3967688B2 JP3967688B2 JP2003066214A JP2003066214A JP3967688B2 JP 3967688 B2 JP3967688 B2 JP 3967688B2 JP 2003066214 A JP2003066214 A JP 2003066214A JP 2003066214 A JP2003066214 A JP 2003066214A JP 3967688 B2 JP3967688 B2 JP 3967688B2
- Authority
- JP
- Japan
- Prior art keywords
- video data
- image area
- decoding
- area unit
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は，映像データの符号化および復号技術に関し，特に，エラーの影響をより限定するための動画像データの符号化方法および動画像データの復号中にエラーが検出された際のエラーコンシールメント処理方法に関するものである。
【０００２】
【従来の技術】
例えば，以下の非特許文献１に記載されているように，ＭＰＥＧ−２映像符号化方式においては，ビットストリームは階層構造になっており，上位層から順にシーケンス（Sequence) 層，ＧＯＰ(Group Of Picture)層，ピクチャ(Picture) 層，スライス(slice) 層，マクロブロック(Macro Block) 層，およびブロック(Block) 層から構成される。シーケンス層からスライス層までの各階層では，３２ビットのユニークなスタートコードが与えられており，これにより各層が区別されるとともに，エラー回復ポイントにもなっている。
【０００３】
スライス層は画面内で横長の帯状の領域を示し，画面を複数のスライスで構成することにより，あるスライス層でエラーが発生すると，次のスライス層のスタート(slice start code)からの同期でエラーを回復する。
【０００４】
【非特許文献１】
MPEG-2 International Standard ISO/IEC 13818-2 1995
【０００５】
【発明が解決しようとする課題】
例えばＭＰＥＧ−２映像符号化方式においては，あるスライス層を復号している際に復号が不可能になってエラーが検出されると，従来は次のスライス層のスタートからの同期でエラーを回復することになる。スライス層は１つ以上のマクロブロック層から構成されているが，マクロブロック層にはユニークなスタートコードが与えられておらず，かつ可変長符号化されているため，マクロブロック層の境界のデータ位置を特定することが困難である。
【０００６】
したがって，この場合，エラーが生じた時点からそのスライス層の最後までの画像領域は全て復号が不可能になってしまう。そこで，エラーが生じた時点からそのスライス層の最後までの画像領域のうち，なるべく多くの領域を復号可能にすることが，本発明が解決しようとする課題である。
【０００７】
【課題を解決するための手段】
本発明は，上記間題点を解決するために，可変長符号化を利用し，かつユーザデータの利用が可能なディジタル映像データ符号化方式において，可変長符号化された１つまたは連続した複数のマクロブロックからなる画像領域単位であって，その画像領域単位を構成するマクロブロックの数が可変である画像領域単位毎のマクロブロック数情報および画像領域単位毎の符号量を，ユーザデータとして符号化して符号化結果のビットストリームに挿入する。そして，符号化された映像データを復号する過程でエラーが生じた場合に，ビットストリームに挿入された上記ユーザデータに基づいて復号処理を行う。
【０００８】
ここで，ユーザデータは，ユーザによる特定のアプリケーションのために定義されるデータであり，例えばＭＰＥＧ−２においては，ユーザデータスタートコード（１６進法で０００００１Ｂ２）から始まるビット列のことである。ユーザデータは，他のスタートコードを受け取るまで継続する。
【０００９】
また，付加的情報は，画像領域単位についての全ての情報のうち，画像領域単位の符号量を除いたものである。ＭＰＥＧ−２では，ＤＣ係数予測値，量子化スケールコード（quantiser ＿scale ＿code），動きベクトルの予測値などの付加的情報がある。
【００１０】
本発明は，符号化された映像を伝送する際に，(1) ビットストリーム上でエラーが発生したことを検出する，(2) 映像を復号する際にユーザデータを利用してエラー範囲を限定する，または(3) 画像中の重要な部分を選択的に復号する，という特徴を有し，本発明を用いることにより，映像データの復号中にエラーが発生した場合に，エラーによって復号できない情報を少なくして，エラーの影響をより限定することが可能となる。
【００１１】
【発明の実施の形態】
以下，図を用いて本発明の実施の形態を説明する。
【００１２】
図１は，本発明に係る映像データ符号化装置の構成の一例を示す図である。図１において，１は映像データ符号化装置，１１は符号化対象のビットストリームを入力するストリーム入力部，１２は入力されたビットストリームを符号化する符号化部，１３は符号化された画像領域単位のピクチャデータが記憶される第１バッファ，１４は符号化された画像領域単位の符号量またはその符号量と付加的情報とがユーザデータとして記憶される第２バッファ，１５は第１バッファ１３に記憶されたピクチャデータと第２バッファ１４に記憶されたユーザデータを出力するストリーム出力部，１６は映像データ符号化装置１内の上記各部を制御する符号化制御部である。また，図１中，点線は制御の流れを，実線はストリームの流れを示す。
【００１３】
図２は，本発明に係る映像データ符号化処理フローの一例を示す図である。まず，ｎ＝０として（ステップＳ１），ｎ番目の画像領域単位を符号化して，そのピクチャデータを第１バッファ１３に送り，符号量またはその符号量と付加的情報とを抽出したユーザデータを第２バッファ１４に送る（ステップＳ２）。
【００１４】
次に，ピクチャデータとユーザデータを出力してよいかの判断を行う（ステップＳ３）。今後符号化する画像領域単位とストリームの位置が逆転することがない場合，データを出力してよいと判断する。出力してよい場合には，各バッファ中のピクチャデータとユーザデータを出力してバッファをクリアする（ステップＳ４）。出力不可の場合には，ステップＳ５に移行する。
【００１５】
ステップＳ５では，符号化すべき画像の最後かを判断し，符号化すべき画像の最後である場合には処理を終了し，符号化すべき画像が残っている場合には，ｎを１インクリメントして（ステップＳ６），ステップＳ２に戻る。
【００１６】
図３は，本発明に係る映像データ復号装置の構成の一例を示す図である。図３において，２は映像データ復号装置，２１は符号化されたビットストリームを入力するストリーム入力部，２２は入力されたビットストリームを復号する復号部，２３は復号された画像領域単位のピクチャデータが記憶される第３バッファ，２４は復号された画像領域単位のユーザデータである符号量またはその符号量と付加的情報とが記憶される第４バッファ，２５は復号されたビットストリームを出力するストリーム出力部，２６はビットストリーム復号中のエラー検出を行うとともに，エラーが検出された場合に，第４バッファ２４に記憶されたユーザデータ（符号量，付加的情報）に基づいて，次の画像領域単位の復号を復号部２２に行わせる復号制御部である。また，図３中，点線は制御の流れを，実線はストリームの流れを示す。
【００１７】
図４は，本発明に係る映像データ復号処理フローの一例を示す図である。まず，ｎ＝０として（ステップＳ１１），ｎ番目の画像領域単位を復号し，その復号したピクチャデータを第３バッファ２３に送り，ユーザデータを復号した符号量またはその符号量と付加的情報とを第４バッファ２４に送る（ステップＳ１２）。
【００１８】
ステップＳ１２におけるｎ番目の画像領域単位を復号中にエラーを生じたかを判断する（ステップＳ１３）。すなわち，解釈不能あるいは矛盾を生じるビットストリームを受信したかを判断する。エラーを生じていない場合には，第３バッファ２３の映像を表示した後，第３バッファ２３をクリアして第４バッファ２４を更新する（ステップＳ１４）。復号中にエラーを生じた場合には，第４バッファ２４中の情報からｎ＋１番目の画像領域単位を復号するための情報を抽出して第４バッファ２４を更新する（ステップＳ１５）。
【００１９】
復号すべき画像の最後かを判断し（ステップＳ１６），復号すべき画像の最後である場合には処理を終了し，復号すべき画像が残っている場合には，ｎを１インクリメントして（ステップＳ１７），ステップＳ１２に戻る。
【００２０】
以上の映像データ符号化装置１および映像データ復号装置２による処理は，ハードウェアによっても実現できるが，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。
【００２１】
［第１の実施の形態］
以下に，本発明の実施例を説明する前に，本発明に関連する技術である第１の実施の形態について，ＭＰＥＧ−２で符号化された映像を例に，具体的に説明する。この第１の実施の形態では，可変長符号化されている画像領域単位毎の符号量を，ユーザデータとしてビットストリーム中に挿入する。
【００２２】
ＭＰＥＧ−２映像符号化では，ユーザデータをビットストリーム中の以下の場所に挿入できる。
(1) sequence ＿extension() の直後
(2) group＿of＿pictures＿header()の直後
(3) picture＿coding＿extension() の直後
例えば，図５は，ユーザデータ（user＿data）をビットストリーム中の picture＿coding＿extension() の直後に挿入した場合の例である。
【００２３】
マクロブロックにおけるビットの上限数は，chroma format が４：２：０，４：２：２，４：４：４のとき，それぞれ４６０８，６１４４，９２１６である。しかし，マクロブロックの各水平列にあるマクロブロック２つまでは，この数を上回ることができる。
【００２４】
chroma format が４：２：２以下の場合には，マクロブロックあたりのビット数は１３ビットで表現できる（２13＝8192）。また，ユーザデータは２３個またはそれ以上の連続した“０”のビット列を含んではならない。
【００２５】
以上の第１の実施の形態は，ＭＰＥＧ−２映像符号化において，画像領域単位を単一のマクロブロックとした場合の例である。ここで，本実施の形態における画像領域単位の符号量は，０ビット以上３３５６２６１７（＝２25＋２13−７）ビット以下とする。フレームを構成する全ての画像領域単位について，符号化する順番に各画像領域単位（＝マクロブロック）の符号量を以下のようにして符号化する。図６に，符号化されたマクロブロックの符号量をユーザデータとした場合の例を示す。
【００２６】
(1) マクロブロックの符号量が０ビット以上８１８６（＝２13−６）ビット以下の場合には，図６（Ａ）に示すように，「（マクロブロックの符号量＋４）の値（１３ビット）」を１３ビットで符号化する。
【００２７】
(2) 画像領域単位の符号量が８１８７（＝２13−５）ビット以上３３５６２６１７ビット（＝２25＋２13−７）以下の場合には，図６（Ｂ）に示すように，「１ＦＦＦ（１３ビット）」，「（マクロブロックの符号量−２13＋５）の値を２５ビットで表したときの上位２２ビット」，「１（１ビット）」，「（マクロブロックの符号量−２13＋５）の値を２５ビットで表したときの下位３ビット」の順に３９ビットで符号化する。なお，上記１ＦＦＦは，１６進数で表したビット値であり，以下の説明でもビット値は１６進数で表す。
【００２８】
マクロブロックの符号量が０ビット以上８１８６ビット以下の場合に「マクロブロックの符号量＋４の値（１３ビット）」を符号化する理由は，この１３ビットの上位１１ビットのいずれかに“１”を含ませるためである。これにより，この１３ビットに先行する１３ビットの下位１２ビットが全てゼロであっても“０”が２３個以上連続することを防ぐことができる。
【００２９】
ここで，各フレームは６８個のスライスから構成され，各スライスは１２０個のマクロブロックから構成されており，かつ全てのマクロブロックの符号量が０ビット以上８１８６ビット以下であると仮定すると，本実施の形態における映像データ符号化方法でフレーム内の全てのマクロブロックの符号量を表すには，１３ビット×１２０×６８＝１０６０８０ビットだけ必要とするため，これを本実施の形態におけるユーザデータとする。
【００３０】
そして，当該フレームのpicture ＿coding＿extension() の直後に３２ビットのユーザデータスタートコード（０００００１Ｂ２）と上記ユーザデータを挿入する。本実施の形態では，ピクチャ毎にユーザデータスタートコードを含めて１０６１１２ビット必要とすることから，フレーム周波数が２９．９７（＝30000/1001）Ｈｚの場合には，約３．１８×１０6 ビット／秒の符号量となる。
【００３１】
［第２の実施の形態］
本発明の第２の実施の形態は，ユーザデータとしてビットストリーム中に挿入する付加的情報がマクロブロック数の場合の例であり，可変長符号化されている画像領域単位毎の符号量およびマクロブロック数を，ユーザデータとして挿入する。また，本実施の形態は，ＭＰＥＧ−２映像符号化において，画像領域単位を「１つまたは連続した複数のマクロブロック」とした場合の例である。
【００３２】
これにより，第１の実施の形態に比較して，ユーザデータの符号量を削減することができる。すなわち，本実施の形態では，フレーム内の各スライスを１つまたは連続した複数のマクロブロック単位で分割し，分割された各画像領域を画像領域単位とする。
【００３３】
ここで，第２の実施の形態における画像領域単位については，以下の(a) 〜(d) について，「(a) かつ(b) かつ（(c) または(d) ）」を満たすものとする。(a) 画像領域単位を構成するマクロブロックの数は，１個以上１１１４１０８（＝２20＋２16−４）個以下である。
(b) 画像領域単位の符号量は，０ビット以上１１１４１０８（＝２20＋２16−４）ビット以下である。
(c) 画像領域単位を構成するマクロブロックのうち，最後のマクロブロックはスキップマクロブロックではない。
(d) 画像領域単位を構成する全てのマクロブロックはスキップマクロブロックである。
【００３４】
フレームを構成する全ての画像領域単位について，符号化する順番に各画像領域単位の符号量を以下のようにして符号化する。図７に，符号化された画像領域単位の符号量とマクロブロック数をユーザデータとした場合の例を示す。
【００３５】
(1) 画像領域単位を構成するマクロブロックの数が１４個以下で，かつ画像領域単位の符号量が６５５３４（＝２16−２）ビット以下の場合には，図７（Ａ）に示すように，「その画像領域単位を構成するマクロブロック数（４ビット）」，「画像領域単位の符号量の値（１６ビット）」の順に２０ビットで符号化する。
【００３６】
(2) 画像領域単位を構成するマクロブロックの数が１４個以下で，かつ画像領域単位の符号量が６５５３５（＝２16−１）ビット以上１１１４１０８（＝２20＋２16−４）ビット以下の場合には，図７（Ｂ）に示すように，「その画像領域単位を構成するマクロブロック数（４ビット）」，「ＦＦＦＦ（１６ビット）」，「（画像領域単位の符号量−２16＋２）の値（２０ビット）」の順に４０ビットで符号化する。
【００３７】
(3) 画像領域単位を構成するマクロブロックの数が１５個以上１１１４１０８（＝２19＋１３）個以下で，かつ画像領域単位の符号量が６５５３４（＝２16−２）ビット以下の場合には，図７（Ｃ）に示すように，「Ｆ（４ビット）」，「（画像領域単位を構成するマクロブロックの数−１５）の値（１９ビット）」，「１（１ビット）」，「画像領域単位の符号量の値（１６ビット）」の順に４０ビットで符号化する。
【００３８】
(4) 画像領域単位を構成するマクロブロックの数が１５個以上１１１４１０８（＝２19＋１３）個以下で，かつ画像領域単位の符号量が６５５３５（＝２16−１）ビット以上１１１４１０８（＝２20＋２16−４）ビット以下の場合には，図７（Ｄ）に示すように，「Ｆ（４ビット）」，「（画像領域単位を構成するマクロブロックの数−１５）の値（１９ビット）」，「１ＦＦＦＦ（１７ビット）」，「（画像領域単位の符号量−２16＋２）の値（２０ビット）」の順に６０ビットで符号化する。
【００３９】
例えば，画像領域単位の「マクロブロック数」と「そのマクロブロック数全体の符号量」の組がスライスの先頭から順に（１０，５３６７），（１１，４５３６６），（３，６５５３７），（１５，０），（１２，５８６７）であった場合，画像領域単位毎の符号量は１６進数表示でＡ１４Ｆ７ ＢＢ１３６ ３ＦＦＦＦ００００３Ｆ００００１００００ Ｃ１６ＥＢのように符号化される。（１０，５３６７，１１，４５３６６，１２，５８６７を１６進数表示するとそれぞれＡ，１４Ｆ７，Ｂ，Ｂ１３６，Ｃ，１６ＥＢとなる。）
ここで，各フレームは６８個のスライスから構成され，１スライスあたり平均１２個の画像領域単位で構成されており，画像領域単位を構成するマクロブロックの数が１４個以下で，かつ全ての画像領域単位の符号量が０ビット以上６５５３５ビット以下であると仮定すると，本発明の第２の実施の形態における映像データ符号化方法でフレーム内の全ての画像領域単位の符号量を表すには，２０ビット×１２×６８＝１６３２０ビットだけ必要とするため，これを本実施の形態におけるユーザデータとする。
【００４０】
この符号化結果から，当該フレームの picture＿coding＿extension() の直後に３２ビットのユーザデータスタートコード（０００００１Ｂ２）と上記ユーザデータを挿入する。
【００４１】
本発明の第２の実施の形態では，フレーム毎にユーザデータスタートコードを含めて１６３５８ビット必要とすることから，フレーム周波数が２９．９７（＝30000/1001）Ｈｚの場合には，約４９０×１０3 ビット／秒の符号量となる。
【００４２】
［第３の実施の形態］
本発明の第３の実施の形態は，第２の実施の形態と同様に，可変長符号化されている画像領域単位毎の符号量およびマクロブロック数を，ユーザデータとして挿入する。本発明の第３の実施の形態は，ＭＰＥＧ−４映像符号化において，画像領域単位を「１つまたは連続した複数のマクロブロック」とした場合の例である。
【００４３】
ＭＰＥＧ−４映像符号化では，ユーザデータをビットストリーム中の以下の場所に挿入できる。
(1) profile＿and ＿level ＿indecation()の直後
(2) visual ＿object＿type()の直後
(3) Group＿of＿VideoObjectPlane()の直前
(4) Group＿of＿VideoObjectPlane()がない場合にはVideoObjectPlane（）の直前
(5) Group＿of＿VideoObjectPlane()中のbroken＿linkの直後
ユーザデータは，２３個またはそれ以上の連続した“０”のビット列を含んではならない。
【００４４】
本実施の形態では，上記(3) の「 Group＿of＿VideoObjectPlane()の直前」にユーザデータを挿入する。また，本実施の形態では，Group ＿of＿VideoObjectPlane内の各VideoObjectPlaneを１つまたは連続した複数のマクロブロック単位で分割し，分割された各画像領域を画像領域単位とする。
【００４５】
ここで，本実施の形態における画像領域単位については，以下の(a) 〜(e) について，「(a) かつ(b) かつ(c) かつ（(d) または(e) ）」を満たすものとする。
(a) 画像領域単位を構成するマクロブロックの数は，１個以上１３１０８５（＝２17＋１３）個以下である。
(b) 画像領域単位の符号量が０ビット以上１１１４１０８（＝２20＋２16−４）ビット以下である。
(c) 画像領域単位を構成するマクロブロックは，同一のVideoObjectPlane内にある。
(d) 画像領域単位を構成するマクロブロックのうち，最後のマクロブロックはスキップマクロブロックではない。
(e) 画像領域単位を構成する全てのマクロブロックは，スキップマクロブロックである。
【００４６】
Group ＿of＿VideoObjectPlaneを構成する全ての画像領域単位について，符号化する順番に各画像領域単位の符号量を以下のようにして符号化する。図８に，本実施の形態において符号化された画像領域単位の符号量とマクロブロック数をユーザデータとした場合の例を示す。
【００４７】
(1) 画像領域単位を構成するマクロブロックの数が１４個以下で，かつ画像領域単位の符号量が１６３８２（＝２14−２）ビット以下の場合には，図８（Ａ）に示すように，「その画像領域単位を構成するマクロブロック数（４ビット）」，「画像領域単位の符号量の値（１４ビット）」の順に１８ビットで符号化する。
【００４８】
(2) 画像領域単位を構成するマクロブロックの数が１４個以下で，かつ画像領域単位の符号量が１６３８３（＝２14−１）ビット以上２７８５２５（＝２18＋２14−３）ビット以下の場合には，図８（Ｂ）に示すように，「その画像領域単位を構成するマクロブロック数（４ビット）」，「３ＦＦＦ（１４ビット）」，「（画像領域単位の符号量−２14＋１）の値（１８ビット）」の順に３６ビットで符号化する。
【００４９】
(3) 画像領域単位を構成するマクロブロックの数が１５個以上１３１０８５（＝２17＋１３）個以下で，かつ画像領域単位の符号量が１６３８２（＝２14−２）ビット以下の場合には，図８（Ｃ）に示すように，「Ｆ（４ビット）」，「（画像領域単位を構成するマクロブロックの数−１５）の値（１７ビット）」，「１（１ビット）」，「画像領域単位の符号量の値（１４ビット）」の順に３６ビットで符号化する。
【００５０】
(4) 画像領域単位を構成するマクロブロックの数が１５個以上１３１０８５（＝２17＋１３）個以下で，かつ画像領域単位の符号量が１６３８３（＝２14−１）ビット以上２７８５２５（２18＋２14−３）ビット以下の場合には，図８（Ｄ）に示すように，「Ｆ（４ビット）」，「（画像領域単位を構成するマクロブロックの数−１５）の値（１７ビット）」，「７ＦＦＦ（１５ビット）」，「（画像領域単位の符号量−２14＋１）の値（１８ビット）」の順に５４ビットで符号化する。
【００５１】
ここで，各VideoObjectPlaneは３９６（＝２２×１８）個のマクロブロックから構成されており，各VideoObjectPlaneは平均３６個の画像領域単位で構成されており，画像領域単位を構成するマクロブロックの数が１４個以下で，かつ全ての画像領域単位の符号量が０ビット以上１６３８２ビット以下であると仮定すると，第３の実施の形態における映像データ符号化方法でVideoObjectPlane内の全ての画像領域単位の符号量を表すには，１８ビット×３６＝６４８ビットだけ必要とする。
【００５２】
さらに，Group ＿of＿VideoObjectPlaneは１５個のVideoObjectPlaneからなるとすると，これを第３の実施の形態におけるユーザデータとする。当該 Group＿of＿VideoObjectPlaneのGroup ＿of＿VideoObjectPlane()の直前に３２ビットのユーザデータスタートコード（０００００１Ｂ２）と９７２０（＝６４８×１５）ビットのユーザデータを挿入する。
【００５３】
本発明の第３の実施の形態では，Group ＿of＿VideoObjectPlane毎にユーザデータスタートコードを含めて９７５２ビット必要とすることから，フレーム周波数が３０Ｈｚの場合には，約１９．５×１０3 ビット／秒の符号量となる。
【００５４】
［第４の実施の形態］
本発明の第４の実施の形態は，ＭＰＥＧ−２映像符号化において，画像領域単位を「１つまたは連続した複数のマクロブロック」とし，かつ画像領域単位毎の符号量に加えて付加的情報をユーザデータとして符号化する場合の例であり，特に，ユーザデータとしてビットストリーム中に挿入する付加的情報が，マクロブロック数，ＤＣ係数予測値，量子化スケールコード，動きベクトルの予測値の場合の例である。
【００５５】
本実施の形態では，第２の実施の形態と同様に，フレーム内の各スライスを１つまたは連続した複数のマクロブロック単位で分割し，分割された各画像領域を画像領域単位とする。
【００５６】
ここで本実施の形態における画像領域単位については，第２の実施の形態と同様に，以下の(a) 〜(d) について，「(a) かつ(b) かつ（(c) または(d) ）」を満たすものとする。
(a) 画像領域単位を構成するマクロブロックの数は，１個以上１１１４１０８（＝２20＋２16−４）個以下である。
(b) 画像領域単位の符号量は，０ビット以上１１１４１０８（＝２20＋２16−４）ビット以下である。
(c) 画像領域単位を構成するマクロブロックのうち，最後のマクロブロックはスキップマクロブロックではない。
(d) 画像領域単位を構成する全てのマクロブロックは，スキップマクロブロックである。
【００５７】
フレームを構成する全ての画像領域単位について，符号化する順番に各画像領域単位の符号量を以下のようにして符号化する。図９に，本実施の形態において符号化された画像領域単位の符号量とマクロブロック数をユーザデータとした場合の例を示す。
【００５８】
(1) 画像領域単位を構成するマクロブロックの数が１４個以下で，かつ画像領域単位の符号量が６５５３４（＝２16−２）ビット以下の場合には，図９（Ａ）に示すように，「その画像領域単位を構成するマクロブロック数（４ビット）」，「画像領域単位の符号量の値（１６ビット）」，「マクロブロック数以外の付加的情報」の順に符号化する。
【００５９】
(2) 画像領域単位を構成するマクロブロックの数が１４個以下で，かつ画像領域単位の符号量が６５５３５（＝２16−１）ビット以上１１１４１０８（＝２20＋２16−４）ビット以下の場合には，図９（Ｂ）に示すように，「その画像領域単位を構成するマクロブロック数（４ビット）」，「ＦＦＦＦ（１６ビット）」，「（画像領域単位の符号量−２16＋２）の値（２０ビット）」，マクロブロック数以外の「付加的情報」の順に符号化する。
【００６０】
(3) 画像領域単位を構成するマクロブロックの数が１５個以上１１１４１０８（＝２19＋１３）個以下で，かつ画像領域単位の符号量が６５５３４（＝２16−２）ビット以下の場合には，図９（Ｃ）に示すように，「Ｆ（４ビット）」，「（画像領域単位を構成するマクロブロックの数−１５）の値（１９ビット）」，「１（１ビット）」，「画像領域単位の符号量の値（１６ビット）」，マクロブロック数以外の「付加的情報」の順に符号化する。
【００６１】
(4) 画像領域単位を構成するマクロブロックの数が１５個以上１１１４１０８（＝２19＋１３）個以下で，かつ画像領域単位の符号量が６５５３５（＝２16−１）ビット以上１１１４１０８（２20＋２16−４）ビット以下の場合には，図９（Ｄ）に示すように，「Ｆ（４ビット）」，「（画像領域単位を構成するマクロブロックの数−１５）の値（１９ビット）」，「１ＦＦＦＦ（１７ビット）」，「（画像領域単位の符号量−２16＋２）の値（２０ビット）」，マクロブロック数以外の「付加的情報」の順に符号化する。
【００６２】
ここで上記「マクロブロック数以外の付加的情報」とは，画像領域単位の最後のマクロブロックを符号化した直後における「ＤＣ係数予測値（(intra＿dc＿precision+8)ビット）」，「 quantiser＿scale ＿code（５ビット）」，「ｍｖ[0][0][0]((f code+4)ビット) 」，「ｍｖ[0][0][1]((f code+4)ビット) 」，「ｍｖ[0][1][0]((f code+4)ビット) 」，「ｍｖ[0][1][1]((f code+4)ビット) 」，「ｍｖ[1][0][0]((f code+4)ビット) 」，「ｍｖ[1][0][1]((f code+4)ビット) 」，「ｍｖ[1][1][0]((f code+4)ビット) 」，「ｍｖ[1][1][1]((f code+4)ビット) 」である。
【００６３】
なお， quantiser＿scale ＿codeは量子化スケールコード，ｍｖは動きベクトルの予測値であり，ｍｖ[r][s][t] におけるインデックスの意味は，ｒ：マクロブロックにおける最初のベクトル（０）か第二のベクトル（１）か，ｓ：前方向（０）か後方向（１）か，ｔ：水平成分（０）か垂直成分（１）かである。
【００６４】
［第５の実施の形態］
本発明の第５の実施の形態は，本発明の第４の実施の形態における映像データ符号化方法で符号化された符号化データを復号する過程で，ある画像領域単位を復号中にエラーを検出した場合の例である。図１０は，本発明の第５の実施の形態における復号時のエラー処理の例を示す図である。
【００６５】
図１０に示すように，第一の画像領域単位を復号中にシンタックスその他に起因するエラーが発生して復号できない事象が生じたとする。その場合，第５の実施の形態では，ユーザデータに符号化されている第一の画像領域単位の符号量および付加的情報に基づき，第一の画像領域単位に相当するデータの次のビットから第二の画像領域単位を復号する。
【００６６】
第二の画像領域単位がスライス上のどの位置に相当するかは，ユーザデータに符号化されている，同一スライス内にあり，かつ第二の画像領域単位より前に符号化されている画像領域単位を構成するマクロブロック数の和から判断できる。第二の画像領域単位の先頭のマクロブロックのＤＣ係数，動きベクトル，量子化スケールを復号する際の予測値としては，ユーザデータに符号化されている，第一の画像領域単位の付加的情報を用いる。
【００６７】
この映像データ復号方法により，第二の画像領域単位以降の復号が可能になり，エラーの影響を少なくすることができる。
【００６８】
第５の実施の形態では，第４の実施の形態に係る映像データ符号化方法で符号化された符号化データを復号する過程でエラーを検出した場合の例について述べたが，付加的情報がユーザデータに符号化されていない前記第１，第２，第３の実施の形態の場合であっても，第一の画像領域単位に関するエラーが発生する以前の復号結果を可能な限り保持することにより，あるいはエラーが発生する直前の予測値を用いることにより，第二の画像領域単位を不完全ながら復号し，エラーの影響を少なくすることができる。
【００６９】
本発明の第５の実施の形態の応用として，画像領域単位の最後のマクロブロックがイントラ符号化されている場合には，動きベクトル予測値がリセットされているので，ユーザデータに画像領域単位あたり１ビットフラグを追加する代わりにｍｖ[r][s][t] のユーザデータへの符号化を省略することができる。
【００７０】
第５の実施の形態において，例えば次のように本発明を実施することもできる。符号化側において，事前にまたは符号化の際に符号化対象の映像データを解析して，人物の顔などの重要な画像部分と背景などのそれほど重要ではない部分を判別し，重要な画像部分については画像領域単位を小さくし，重要でない部分は画像領域単位を大きくしてユーザデータを作成し，ビットストリームに挿入する。こうすれば，重要でない画像部分についてユーザデータのデータ量を少なくし，かつエラーが生じた際の影響を少なくすることができる。
【００７１】
また，第５の実施の形態は，ある画像領域単位を復号中にエラーを検出した場合の例であるが，エラーを検出しない場合でも，重要な画像領域単位のみを復号する場合に，この映像データ復号方法を用いて，特定の一つ以上の画像領域単位のみを復号することができる。復号側において，重要な画像領域単位であるか，あまり重要でない画像領域単位であるかを判別する方法として，例えば符号化側で作成したビットストリーム中のユーザデータにおいて，画像領域単位が小さいか大きいかによって判別する方法を用いることができる。
【００７２】
［第６の実施の形態］
本発明の第６の実施の形態は，本発明の第４の実施の形態に係る映像データ符号化方法で符号化された符号化データを復号する過程で，第一の画像領域単位を復号中に第一のエラーを検出した場合に，ユーザデータに符号化されている第一の画像領域単位の符号量および付加的情報に基づき，第一の画像領域単位に相当するデータの次のビットから第二の画像領域単位を復号し，かつ第二の画像領域単位を復号する過程で第二のエラーを検出した場合の例である。
【００７３】
図１１は，本発明の第６の実施の形態における復号時のエラー処理の例を示す図である。図１１に示すように，第一の画像領域単位を復号中にシンタックスその他に起因する第一のエラーが発生して復号できない事象が生じたとする。その場合，ユーザデータに符号化されている第一の画像領域単位の符号量および付加的情報に基づき，第一の画像領域単位に相当するデータの次のビットから第二の画像領域単位を復号する。
【００７４】
しかし，第二の画像領域単位を復号する過程でシンタックスその他に起因する第二のエラーが発生して復号できない事象が生じたとする。この場合，第一の画像領域単位において，余分なビットが加わったか必要なビットが欠落し，第一の画像領域単位と第二の画像領域単位の境界が正しく認識できなくなったということが想定される。そこで，以下の手順で復号する。
【００７５】
(1) 「（第一の画像領域単位に相当するデータ）＋１ビット」の次のビットから第二の画像領域単位を復号する。
【００７６】
(2) 上記 (1)で第二の画像領域単位が正しく復号できた場合には，以後の復号を継続する。エラー処理は終わる。
【００７７】
(3) 上記 (1)で第二の画像領域単位を復号中にシンタックスその他に起因するエラーが生じた場合には，「（第一の画像領域単位に相当するデータ）−１ビット」の次のビットから第二の画像領域単位を復号する。
【００７８】
(4) 上記 (3)で第二の画像領域単位が正しく復号できた場合には，以後の復号を継続する。エラー処理は終わる。
【００７９】
(5) 上記 (3)で第二の画像領域単位を復号中にシンタックスその他に起因するエラーが生じた場合には，「（第一の画像領域単位に相当するデータ）＋（第二の画像領域単位に相当するデータ）」の次のビットから第三の画像領域単位を復号する。
【００８０】
この第６の実施の形態では，「（第一の画像領域単位に相当するデータ）＋ｘビット」の次のビットから第二の画像領域単位を復号するとしたときのｘを＋１と−１としたが，本発明においては，このｘとして０を含む任意の範囲の整数値を指定して，その範囲内で絶対値が０に近い順に復号を試みてもよいことはいうまでもない。
【００８１】
【発明の効果】
以上述べたように，本発明によれば，ディジタル映像データをネットワークで送受信する際に通信路その他でエラーが生じた場合に，そのエラーによって復号できない情報を少なくして，エラーの影響をより限定することができる。
【図面の簡単な説明】
【図１】映像データ符号化装置の構成の一例を示す図である。
【図２】映像データ符号化処理フローの一例を示す図である。
【図３】映像データ復号装置の構成の一例を示す図である。
【図４】映像データ復号処理フローの一例を示す図である。
【図５】ビットストリームへのユーザデータの挿入の一例を示す図である。
【図６】ユーザデータの例を示す図である。
【図７】ユーザデータの例を示す図である。
【図８】ユーザデータの例を示す図である。
【図９】ユーザデータの例を示す図である。
【図１０】復号時のエラー処理の例を示す図である。
【図１１】復号時のエラー処理の例を示す図である。
【符号の説明】
１ 映像データ符号化装置
１１ ストリーム入力部
１２ 符号化部
１３ 第１バッファ
１４ 第２バッファ
１５ ストリーム出力部
１６ 符号化制御部
２ 映像データ復号装置
２１ ストリーム入力部
２２ 復号部
２３ 第３バッファ
２４ 第４バッファ
２５ ストリーム出力部
２６ 復号制御部
【発明の属する技術分野】
本発明は，映像データの符号化および復号技術に関し，特に，エラーの影響をより限定するための動画像データの符号化方法および動画像データの復号中にエラーが検出された際のエラーコンシールメント処理方法に関するものである。
【０００２】
【従来の技術】
例えば，以下の非特許文献１に記載されているように，ＭＰＥＧ−２映像符号化方式においては，ビットストリームは階層構造になっており，上位層から順にシーケンス（Sequence) 層，ＧＯＰ(Group Of Picture)層，ピクチャ(Picture) 層，スライス(slice) 層，マクロブロック(Macro Block) 層，およびブロック(Block) 層から構成される。シーケンス層からスライス層までの各階層では，３２ビットのユニークなスタートコードが与えられており，これにより各層が区別されるとともに，エラー回復ポイントにもなっている。
【０００３】
スライス層は画面内で横長の帯状の領域を示し，画面を複数のスライスで構成することにより，あるスライス層でエラーが発生すると，次のスライス層のスタート(slice start code)からの同期でエラーを回復する。
【０００４】
【非特許文献１】
MPEG-2 International Standard ISO/IEC 13818-2 1995
【０００５】
【発明が解決しようとする課題】
例えばＭＰＥＧ−２映像符号化方式においては，あるスライス層を復号している際に復号が不可能になってエラーが検出されると，従来は次のスライス層のスタートからの同期でエラーを回復することになる。スライス層は１つ以上のマクロブロック層から構成されているが，マクロブロック層にはユニークなスタートコードが与えられておらず，かつ可変長符号化されているため，マクロブロック層の境界のデータ位置を特定することが困難である。
【０００６】
したがって，この場合，エラーが生じた時点からそのスライス層の最後までの画像領域は全て復号が不可能になってしまう。そこで，エラーが生じた時点からそのスライス層の最後までの画像領域のうち，なるべく多くの領域を復号可能にすることが，本発明が解決しようとする課題である。
【０００７】
【課題を解決するための手段】
本発明は，上記間題点を解決するために，可変長符号化を利用し，かつユーザデータの利用が可能なディジタル映像データ符号化方式において，可変長符号化された１つまたは連続した複数のマクロブロックからなる画像領域単位であって，その画像領域単位を構成するマクロブロックの数が可変である画像領域単位毎のマクロブロック数情報および画像領域単位毎の符号量を，ユーザデータとして符号化して符号化結果のビットストリームに挿入する。そして，符号化された映像データを復号する過程でエラーが生じた場合に，ビットストリームに挿入された上記ユーザデータに基づいて復号処理を行う。
【０００８】
ここで，ユーザデータは，ユーザによる特定のアプリケーションのために定義されるデータであり，例えばＭＰＥＧ−２においては，ユーザデータスタートコード（１６進法で０００００１Ｂ２）から始まるビット列のことである。ユーザデータは，他のスタートコードを受け取るまで継続する。
【０００９】
また，付加的情報は，画像領域単位についての全ての情報のうち，画像領域単位の符号量を除いたものである。ＭＰＥＧ−２では，ＤＣ係数予測値，量子化スケールコード（quantiser ＿scale ＿code），動きベクトルの予測値などの付加的情報がある。
【００１０】
本発明は，符号化された映像を伝送する際に，(1) ビットストリーム上でエラーが発生したことを検出する，(2) 映像を復号する際にユーザデータを利用してエラー範囲を限定する，または(3) 画像中の重要な部分を選択的に復号する，という特徴を有し，本発明を用いることにより，映像データの復号中にエラーが発生した場合に，エラーによって復号できない情報を少なくして，エラーの影響をより限定することが可能となる。
【００１１】
【発明の実施の形態】
以下，図を用いて本発明の実施の形態を説明する。
【００１２】
図１は，本発明に係る映像データ符号化装置の構成の一例を示す図である。図１において，１は映像データ符号化装置，１１は符号化対象のビットストリームを入力するストリーム入力部，１２は入力されたビットストリームを符号化する符号化部，１３は符号化された画像領域単位のピクチャデータが記憶される第１バッファ，１４は符号化された画像領域単位の符号量またはその符号量と付加的情報とがユーザデータとして記憶される第２バッファ，１５は第１バッファ１３に記憶されたピクチャデータと第２バッファ１４に記憶されたユーザデータを出力するストリーム出力部，１６は映像データ符号化装置１内の上記各部を制御する符号化制御部である。また，図１中，点線は制御の流れを，実線はストリームの流れを示す。
【００１３】
図２は，本発明に係る映像データ符号化処理フローの一例を示す図である。まず，ｎ＝０として（ステップＳ１），ｎ番目の画像領域単位を符号化して，そのピクチャデータを第１バッファ１３に送り，符号量またはその符号量と付加的情報とを抽出したユーザデータを第２バッファ１４に送る（ステップＳ２）。
【００１４】
次に，ピクチャデータとユーザデータを出力してよいかの判断を行う（ステップＳ３）。今後符号化する画像領域単位とストリームの位置が逆転することがない場合，データを出力してよいと判断する。出力してよい場合には，各バッファ中のピクチャデータとユーザデータを出力してバッファをクリアする（ステップＳ４）。出力不可の場合には，ステップＳ５に移行する。
【００１５】
ステップＳ５では，符号化すべき画像の最後かを判断し，符号化すべき画像の最後である場合には処理を終了し，符号化すべき画像が残っている場合には，ｎを１インクリメントして（ステップＳ６），ステップＳ２に戻る。
【００１６】
図３は，本発明に係る映像データ復号装置の構成の一例を示す図である。図３において，２は映像データ復号装置，２１は符号化されたビットストリームを入力するストリーム入力部，２２は入力されたビットストリームを復号する復号部，２３は復号された画像領域単位のピクチャデータが記憶される第３バッファ，２４は復号された画像領域単位のユーザデータである符号量またはその符号量と付加的情報とが記憶される第４バッファ，２５は復号されたビットストリームを出力するストリーム出力部，２６はビットストリーム復号中のエラー検出を行うとともに，エラーが検出された場合に，第４バッファ２４に記憶されたユーザデータ（符号量，付加的情報）に基づいて，次の画像領域単位の復号を復号部２２に行わせる復号制御部である。また，図３中，点線は制御の流れを，実線はストリームの流れを示す。
【００１７】
図４は，本発明に係る映像データ復号処理フローの一例を示す図である。まず，ｎ＝０として（ステップＳ１１），ｎ番目の画像領域単位を復号し，その復号したピクチャデータを第３バッファ２３に送り，ユーザデータを復号した符号量またはその符号量と付加的情報とを第４バッファ２４に送る（ステップＳ１２）。
【００１８】
ステップＳ１２におけるｎ番目の画像領域単位を復号中にエラーを生じたかを判断する（ステップＳ１３）。すなわち，解釈不能あるいは矛盾を生じるビットストリームを受信したかを判断する。エラーを生じていない場合には，第３バッファ２３の映像を表示した後，第３バッファ２３をクリアして第４バッファ２４を更新する（ステップＳ１４）。復号中にエラーを生じた場合には，第４バッファ２４中の情報からｎ＋１番目の画像領域単位を復号するための情報を抽出して第４バッファ２４を更新する（ステップＳ１５）。
【００１９】
復号すべき画像の最後かを判断し（ステップＳ１６），復号すべき画像の最後である場合には処理を終了し，復号すべき画像が残っている場合には，ｎを１インクリメントして（ステップＳ１７），ステップＳ１２に戻る。
【００２０】
以上の映像データ符号化装置１および映像データ復号装置２による処理は，ハードウェアによっても実現できるが，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。
【００２１】
［第１の実施の形態］
以下に，本発明の実施例を説明する前に，本発明に関連する技術である第１の実施の形態について，ＭＰＥＧ−２で符号化された映像を例に，具体的に説明する。この第１の実施の形態では，可変長符号化されている画像領域単位毎の符号量を，ユーザデータとしてビットストリーム中に挿入する。
【００２２】
ＭＰＥＧ−２映像符号化では，ユーザデータをビットストリーム中の以下の場所に挿入できる。
(1) sequence ＿extension() の直後
(2) group＿of＿pictures＿header()の直後
(3) picture＿coding＿extension() の直後
例えば，図５は，ユーザデータ（user＿data）をビットストリーム中の picture＿coding＿extension() の直後に挿入した場合の例である。
【００２３】
マクロブロックにおけるビットの上限数は，chroma format が４：２：０，４：２：２，４：４：４のとき，それぞれ４６０８，６１４４，９２１６である。しかし，マクロブロックの各水平列にあるマクロブロック２つまでは，この数を上回ることができる。
【００２４】
chroma format が４：２：２以下の場合には，マクロブロックあたりのビット数は１３ビットで表現できる（２13＝8192）。また，ユーザデータは２３個またはそれ以上の連続した“０”のビット列を含んではならない。
【００２５】
以上の第１の実施の形態は，ＭＰＥＧ−２映像符号化において，画像領域単位を単一のマクロブロックとした場合の例である。ここで，本実施の形態における画像領域単位の符号量は，０ビット以上３３５６２６１７（＝２25＋２13−７）ビット以下とする。フレームを構成する全ての画像領域単位について，符号化する順番に各画像領域単位（＝マクロブロック）の符号量を以下のようにして符号化する。図６に，符号化されたマクロブロックの符号量をユーザデータとした場合の例を示す。
【００２６】
(1) マクロブロックの符号量が０ビット以上８１８６（＝２13−６）ビット以下の場合には，図６（Ａ）に示すように，「（マクロブロックの符号量＋４）の値（１３ビット）」を１３ビットで符号化する。
【００２７】
(2) 画像領域単位の符号量が８１８７（＝２13−５）ビット以上３３５６２６１７ビット（＝２25＋２13−７）以下の場合には，図６（Ｂ）に示すように，「１ＦＦＦ（１３ビット）」，「（マクロブロックの符号量−２13＋５）の値を２５ビットで表したときの上位２２ビット」，「１（１ビット）」，「（マクロブロックの符号量−２13＋５）の値を２５ビットで表したときの下位３ビット」の順に３９ビットで符号化する。なお，上記１ＦＦＦは，１６進数で表したビット値であり，以下の説明でもビット値は１６進数で表す。
【００２８】
マクロブロックの符号量が０ビット以上８１８６ビット以下の場合に「マクロブロックの符号量＋４の値（１３ビット）」を符号化する理由は，この１３ビットの上位１１ビットのいずれかに“１”を含ませるためである。これにより，この１３ビットに先行する１３ビットの下位１２ビットが全てゼロであっても“０”が２３個以上連続することを防ぐことができる。
【００２９】
ここで，各フレームは６８個のスライスから構成され，各スライスは１２０個のマクロブロックから構成されており，かつ全てのマクロブロックの符号量が０ビット以上８１８６ビット以下であると仮定すると，本実施の形態における映像データ符号化方法でフレーム内の全てのマクロブロックの符号量を表すには，１３ビット×１２０×６８＝１０６０８０ビットだけ必要とするため，これを本実施の形態におけるユーザデータとする。
【００３０】
そして，当該フレームのpicture ＿coding＿extension() の直後に３２ビットのユーザデータスタートコード（０００００１Ｂ２）と上記ユーザデータを挿入する。本実施の形態では，ピクチャ毎にユーザデータスタートコードを含めて１０６１１２ビット必要とすることから，フレーム周波数が２９．９７（＝30000/1001）Ｈｚの場合には，約３．１８×１０6 ビット／秒の符号量となる。
【００３１】
［第２の実施の形態］
本発明の第２の実施の形態は，ユーザデータとしてビットストリーム中に挿入する付加的情報がマクロブロック数の場合の例であり，可変長符号化されている画像領域単位毎の符号量およびマクロブロック数を，ユーザデータとして挿入する。また，本実施の形態は，ＭＰＥＧ−２映像符号化において，画像領域単位を「１つまたは連続した複数のマクロブロック」とした場合の例である。
【００３２】
これにより，第１の実施の形態に比較して，ユーザデータの符号量を削減することができる。すなわち，本実施の形態では，フレーム内の各スライスを１つまたは連続した複数のマクロブロック単位で分割し，分割された各画像領域を画像領域単位とする。
【００３３】
ここで，第２の実施の形態における画像領域単位については，以下の(a) 〜(d) について，「(a) かつ(b) かつ（(c) または(d) ）」を満たすものとする。(a) 画像領域単位を構成するマクロブロックの数は，１個以上１１１４１０８（＝２20＋２16−４）個以下である。
(b) 画像領域単位の符号量は，０ビット以上１１１４１０８（＝２20＋２16−４）ビット以下である。
(c) 画像領域単位を構成するマクロブロックのうち，最後のマクロブロックはスキップマクロブロックではない。
(d) 画像領域単位を構成する全てのマクロブロックはスキップマクロブロックである。
【００３４】
フレームを構成する全ての画像領域単位について，符号化する順番に各画像領域単位の符号量を以下のようにして符号化する。図７に，符号化された画像領域単位の符号量とマクロブロック数をユーザデータとした場合の例を示す。
【００３５】
(1) 画像領域単位を構成するマクロブロックの数が１４個以下で，かつ画像領域単位の符号量が６５５３４（＝２16−２）ビット以下の場合には，図７（Ａ）に示すように，「その画像領域単位を構成するマクロブロック数（４ビット）」，「画像領域単位の符号量の値（１６ビット）」の順に２０ビットで符号化する。
【００３６】
(2) 画像領域単位を構成するマクロブロックの数が１４個以下で，かつ画像領域単位の符号量が６５５３５（＝２16−１）ビット以上１１１４１０８（＝２20＋２16−４）ビット以下の場合には，図７（Ｂ）に示すように，「その画像領域単位を構成するマクロブロック数（４ビット）」，「ＦＦＦＦ（１６ビット）」，「（画像領域単位の符号量−２16＋２）の値（２０ビット）」の順に４０ビットで符号化する。
【００３７】
(3) 画像領域単位を構成するマクロブロックの数が１５個以上１１１４１０８（＝２19＋１３）個以下で，かつ画像領域単位の符号量が６５５３４（＝２16−２）ビット以下の場合には，図７（Ｃ）に示すように，「Ｆ（４ビット）」，「（画像領域単位を構成するマクロブロックの数−１５）の値（１９ビット）」，「１（１ビット）」，「画像領域単位の符号量の値（１６ビット）」の順に４０ビットで符号化する。
【００３８】
(4) 画像領域単位を構成するマクロブロックの数が１５個以上１１１４１０８（＝２19＋１３）個以下で，かつ画像領域単位の符号量が６５５３５（＝２16−１）ビット以上１１１４１０８（＝２20＋２16−４）ビット以下の場合には，図７（Ｄ）に示すように，「Ｆ（４ビット）」，「（画像領域単位を構成するマクロブロックの数−１５）の値（１９ビット）」，「１ＦＦＦＦ（１７ビット）」，「（画像領域単位の符号量−２16＋２）の値（２０ビット）」の順に６０ビットで符号化する。
【００３９】
例えば，画像領域単位の「マクロブロック数」と「そのマクロブロック数全体の符号量」の組がスライスの先頭から順に（１０，５３６７），（１１，４５３６６），（３，６５５３７），（１５，０），（１２，５８６７）であった場合，画像領域単位毎の符号量は１６進数表示でＡ１４Ｆ７ ＢＢ１３６ ３ＦＦＦＦ００００３Ｆ００００１００００ Ｃ１６ＥＢのように符号化される。（１０，５３６７，１１，４５３６６，１２，５８６７を１６進数表示するとそれぞれＡ，１４Ｆ７，Ｂ，Ｂ１３６，Ｃ，１６ＥＢとなる。）
ここで，各フレームは６８個のスライスから構成され，１スライスあたり平均１２個の画像領域単位で構成されており，画像領域単位を構成するマクロブロックの数が１４個以下で，かつ全ての画像領域単位の符号量が０ビット以上６５５３５ビット以下であると仮定すると，本発明の第２の実施の形態における映像データ符号化方法でフレーム内の全ての画像領域単位の符号量を表すには，２０ビット×１２×６８＝１６３２０ビットだけ必要とするため，これを本実施の形態におけるユーザデータとする。
【００４０】
この符号化結果から，当該フレームの picture＿coding＿extension() の直後に３２ビットのユーザデータスタートコード（０００００１Ｂ２）と上記ユーザデータを挿入する。
【００４１】
本発明の第２の実施の形態では，フレーム毎にユーザデータスタートコードを含めて１６３５８ビット必要とすることから，フレーム周波数が２９．９７（＝30000/1001）Ｈｚの場合には，約４９０×１０3 ビット／秒の符号量となる。
【００４２】
［第３の実施の形態］
本発明の第３の実施の形態は，第２の実施の形態と同様に，可変長符号化されている画像領域単位毎の符号量およびマクロブロック数を，ユーザデータとして挿入する。本発明の第３の実施の形態は，ＭＰＥＧ−４映像符号化において，画像領域単位を「１つまたは連続した複数のマクロブロック」とした場合の例である。
【００４３】
ＭＰＥＧ−４映像符号化では，ユーザデータをビットストリーム中の以下の場所に挿入できる。
(1) profile＿and ＿level ＿indecation()の直後
(2) visual ＿object＿type()の直後
(3) Group＿of＿VideoObjectPlane()の直前
(4) Group＿of＿VideoObjectPlane()がない場合にはVideoObjectPlane（）の直前
(5) Group＿of＿VideoObjectPlane()中のbroken＿linkの直後
ユーザデータは，２３個またはそれ以上の連続した“０”のビット列を含んではならない。
【００４４】
本実施の形態では，上記(3) の「 Group＿of＿VideoObjectPlane()の直前」にユーザデータを挿入する。また，本実施の形態では，Group ＿of＿VideoObjectPlane内の各VideoObjectPlaneを１つまたは連続した複数のマクロブロック単位で分割し，分割された各画像領域を画像領域単位とする。
【００４５】
ここで，本実施の形態における画像領域単位については，以下の(a) 〜(e) について，「(a) かつ(b) かつ(c) かつ（(d) または(e) ）」を満たすものとする。
(a) 画像領域単位を構成するマクロブロックの数は，１個以上１３１０８５（＝２17＋１３）個以下である。
(b) 画像領域単位の符号量が０ビット以上１１１４１０８（＝２20＋２16−４）ビット以下である。
(c) 画像領域単位を構成するマクロブロックは，同一のVideoObjectPlane内にある。
(d) 画像領域単位を構成するマクロブロックのうち，最後のマクロブロックはスキップマクロブロックではない。
(e) 画像領域単位を構成する全てのマクロブロックは，スキップマクロブロックである。
【００４６】
Group ＿of＿VideoObjectPlaneを構成する全ての画像領域単位について，符号化する順番に各画像領域単位の符号量を以下のようにして符号化する。図８に，本実施の形態において符号化された画像領域単位の符号量とマクロブロック数をユーザデータとした場合の例を示す。
【００４７】
(1) 画像領域単位を構成するマクロブロックの数が１４個以下で，かつ画像領域単位の符号量が１６３８２（＝２14−２）ビット以下の場合には，図８（Ａ）に示すように，「その画像領域単位を構成するマクロブロック数（４ビット）」，「画像領域単位の符号量の値（１４ビット）」の順に１８ビットで符号化する。
【００４８】
(2) 画像領域単位を構成するマクロブロックの数が１４個以下で，かつ画像領域単位の符号量が１６３８３（＝２14−１）ビット以上２７８５２５（＝２18＋２14−３）ビット以下の場合には，図８（Ｂ）に示すように，「その画像領域単位を構成するマクロブロック数（４ビット）」，「３ＦＦＦ（１４ビット）」，「（画像領域単位の符号量−２14＋１）の値（１８ビット）」の順に３６ビットで符号化する。
【００４９】
(3) 画像領域単位を構成するマクロブロックの数が１５個以上１３１０８５（＝２17＋１３）個以下で，かつ画像領域単位の符号量が１６３８２（＝２14−２）ビット以下の場合には，図８（Ｃ）に示すように，「Ｆ（４ビット）」，「（画像領域単位を構成するマクロブロックの数−１５）の値（１７ビット）」，「１（１ビット）」，「画像領域単位の符号量の値（１４ビット）」の順に３６ビットで符号化する。
【００５０】
(4) 画像領域単位を構成するマクロブロックの数が１５個以上１３１０８５（＝２17＋１３）個以下で，かつ画像領域単位の符号量が１６３８３（＝２14−１）ビット以上２７８５２５（２18＋２14−３）ビット以下の場合には，図８（Ｄ）に示すように，「Ｆ（４ビット）」，「（画像領域単位を構成するマクロブロックの数−１５）の値（１７ビット）」，「７ＦＦＦ（１５ビット）」，「（画像領域単位の符号量−２14＋１）の値（１８ビット）」の順に５４ビットで符号化する。
【００５１】
ここで，各VideoObjectPlaneは３９６（＝２２×１８）個のマクロブロックから構成されており，各VideoObjectPlaneは平均３６個の画像領域単位で構成されており，画像領域単位を構成するマクロブロックの数が１４個以下で，かつ全ての画像領域単位の符号量が０ビット以上１６３８２ビット以下であると仮定すると，第３の実施の形態における映像データ符号化方法でVideoObjectPlane内の全ての画像領域単位の符号量を表すには，１８ビット×３６＝６４８ビットだけ必要とする。
【００５２】
さらに，Group ＿of＿VideoObjectPlaneは１５個のVideoObjectPlaneからなるとすると，これを第３の実施の形態におけるユーザデータとする。当該 Group＿of＿VideoObjectPlaneのGroup ＿of＿VideoObjectPlane()の直前に３２ビットのユーザデータスタートコード（０００００１Ｂ２）と９７２０（＝６４８×１５）ビットのユーザデータを挿入する。
【００５３】
本発明の第３の実施の形態では，Group ＿of＿VideoObjectPlane毎にユーザデータスタートコードを含めて９７５２ビット必要とすることから，フレーム周波数が３０Ｈｚの場合には，約１９．５×１０3 ビット／秒の符号量となる。
【００５４】
［第４の実施の形態］
本発明の第４の実施の形態は，ＭＰＥＧ−２映像符号化において，画像領域単位を「１つまたは連続した複数のマクロブロック」とし，かつ画像領域単位毎の符号量に加えて付加的情報をユーザデータとして符号化する場合の例であり，特に，ユーザデータとしてビットストリーム中に挿入する付加的情報が，マクロブロック数，ＤＣ係数予測値，量子化スケールコード，動きベクトルの予測値の場合の例である。
【００５５】
本実施の形態では，第２の実施の形態と同様に，フレーム内の各スライスを１つまたは連続した複数のマクロブロック単位で分割し，分割された各画像領域を画像領域単位とする。
【００５６】
ここで本実施の形態における画像領域単位については，第２の実施の形態と同様に，以下の(a) 〜(d) について，「(a) かつ(b) かつ（(c) または(d) ）」を満たすものとする。
(a) 画像領域単位を構成するマクロブロックの数は，１個以上１１１４１０８（＝２20＋２16−４）個以下である。
(b) 画像領域単位の符号量は，０ビット以上１１１４１０８（＝２20＋２16−４）ビット以下である。
(c) 画像領域単位を構成するマクロブロックのうち，最後のマクロブロックはスキップマクロブロックではない。
(d) 画像領域単位を構成する全てのマクロブロックは，スキップマクロブロックである。
【００５７】
フレームを構成する全ての画像領域単位について，符号化する順番に各画像領域単位の符号量を以下のようにして符号化する。図９に，本実施の形態において符号化された画像領域単位の符号量とマクロブロック数をユーザデータとした場合の例を示す。
【００５８】
(1) 画像領域単位を構成するマクロブロックの数が１４個以下で，かつ画像領域単位の符号量が６５５３４（＝２16−２）ビット以下の場合には，図９（Ａ）に示すように，「その画像領域単位を構成するマクロブロック数（４ビット）」，「画像領域単位の符号量の値（１６ビット）」，「マクロブロック数以外の付加的情報」の順に符号化する。
【００５９】
(2) 画像領域単位を構成するマクロブロックの数が１４個以下で，かつ画像領域単位の符号量が６５５３５（＝２16−１）ビット以上１１１４１０８（＝２20＋２16−４）ビット以下の場合には，図９（Ｂ）に示すように，「その画像領域単位を構成するマクロブロック数（４ビット）」，「ＦＦＦＦ（１６ビット）」，「（画像領域単位の符号量−２16＋２）の値（２０ビット）」，マクロブロック数以外の「付加的情報」の順に符号化する。
【００６０】
(3) 画像領域単位を構成するマクロブロックの数が１５個以上１１１４１０８（＝２19＋１３）個以下で，かつ画像領域単位の符号量が６５５３４（＝２16−２）ビット以下の場合には，図９（Ｃ）に示すように，「Ｆ（４ビット）」，「（画像領域単位を構成するマクロブロックの数−１５）の値（１９ビット）」，「１（１ビット）」，「画像領域単位の符号量の値（１６ビット）」，マクロブロック数以外の「付加的情報」の順に符号化する。
【００６１】
(4) 画像領域単位を構成するマクロブロックの数が１５個以上１１１４１０８（＝２19＋１３）個以下で，かつ画像領域単位の符号量が６５５３５（＝２16−１）ビット以上１１１４１０８（２20＋２16−４）ビット以下の場合には，図９（Ｄ）に示すように，「Ｆ（４ビット）」，「（画像領域単位を構成するマクロブロックの数−１５）の値（１９ビット）」，「１ＦＦＦＦ（１７ビット）」，「（画像領域単位の符号量−２16＋２）の値（２０ビット）」，マクロブロック数以外の「付加的情報」の順に符号化する。
【００６２】
ここで上記「マクロブロック数以外の付加的情報」とは，画像領域単位の最後のマクロブロックを符号化した直後における「ＤＣ係数予測値（(intra＿dc＿precision+8)ビット）」，「 quantiser＿scale ＿code（５ビット）」，「ｍｖ[0][0][0]((f code+4)ビット) 」，「ｍｖ[0][0][1]((f code+4)ビット) 」，「ｍｖ[0][1][0]((f code+4)ビット) 」，「ｍｖ[0][1][1]((f code+4)ビット) 」，「ｍｖ[1][0][0]((f code+4)ビット) 」，「ｍｖ[1][0][1]((f code+4)ビット) 」，「ｍｖ[1][1][0]((f code+4)ビット) 」，「ｍｖ[1][1][1]((f code+4)ビット) 」である。
【００６３】
なお， quantiser＿scale ＿codeは量子化スケールコード，ｍｖは動きベクトルの予測値であり，ｍｖ[r][s][t] におけるインデックスの意味は，ｒ：マクロブロックにおける最初のベクトル（０）か第二のベクトル（１）か，ｓ：前方向（０）か後方向（１）か，ｔ：水平成分（０）か垂直成分（１）かである。
【００６４】
［第５の実施の形態］
本発明の第５の実施の形態は，本発明の第４の実施の形態における映像データ符号化方法で符号化された符号化データを復号する過程で，ある画像領域単位を復号中にエラーを検出した場合の例である。図１０は，本発明の第５の実施の形態における復号時のエラー処理の例を示す図である。
【００６５】
図１０に示すように，第一の画像領域単位を復号中にシンタックスその他に起因するエラーが発生して復号できない事象が生じたとする。その場合，第５の実施の形態では，ユーザデータに符号化されている第一の画像領域単位の符号量および付加的情報に基づき，第一の画像領域単位に相当するデータの次のビットから第二の画像領域単位を復号する。
【００６６】
第二の画像領域単位がスライス上のどの位置に相当するかは，ユーザデータに符号化されている，同一スライス内にあり，かつ第二の画像領域単位より前に符号化されている画像領域単位を構成するマクロブロック数の和から判断できる。第二の画像領域単位の先頭のマクロブロックのＤＣ係数，動きベクトル，量子化スケールを復号する際の予測値としては，ユーザデータに符号化されている，第一の画像領域単位の付加的情報を用いる。
【００６７】
この映像データ復号方法により，第二の画像領域単位以降の復号が可能になり，エラーの影響を少なくすることができる。
【００６８】
第５の実施の形態では，第４の実施の形態に係る映像データ符号化方法で符号化された符号化データを復号する過程でエラーを検出した場合の例について述べたが，付加的情報がユーザデータに符号化されていない前記第１，第２，第３の実施の形態の場合であっても，第一の画像領域単位に関するエラーが発生する以前の復号結果を可能な限り保持することにより，あるいはエラーが発生する直前の予測値を用いることにより，第二の画像領域単位を不完全ながら復号し，エラーの影響を少なくすることができる。
【００６９】
本発明の第５の実施の形態の応用として，画像領域単位の最後のマクロブロックがイントラ符号化されている場合には，動きベクトル予測値がリセットされているので，ユーザデータに画像領域単位あたり１ビットフラグを追加する代わりにｍｖ[r][s][t] のユーザデータへの符号化を省略することができる。
【００７０】
第５の実施の形態において，例えば次のように本発明を実施することもできる。符号化側において，事前にまたは符号化の際に符号化対象の映像データを解析して，人物の顔などの重要な画像部分と背景などのそれほど重要ではない部分を判別し，重要な画像部分については画像領域単位を小さくし，重要でない部分は画像領域単位を大きくしてユーザデータを作成し，ビットストリームに挿入する。こうすれば，重要でない画像部分についてユーザデータのデータ量を少なくし，かつエラーが生じた際の影響を少なくすることができる。
【００７１】
また，第５の実施の形態は，ある画像領域単位を復号中にエラーを検出した場合の例であるが，エラーを検出しない場合でも，重要な画像領域単位のみを復号する場合に，この映像データ復号方法を用いて，特定の一つ以上の画像領域単位のみを復号することができる。復号側において，重要な画像領域単位であるか，あまり重要でない画像領域単位であるかを判別する方法として，例えば符号化側で作成したビットストリーム中のユーザデータにおいて，画像領域単位が小さいか大きいかによって判別する方法を用いることができる。
【００７２】
［第６の実施の形態］
本発明の第６の実施の形態は，本発明の第４の実施の形態に係る映像データ符号化方法で符号化された符号化データを復号する過程で，第一の画像領域単位を復号中に第一のエラーを検出した場合に，ユーザデータに符号化されている第一の画像領域単位の符号量および付加的情報に基づき，第一の画像領域単位に相当するデータの次のビットから第二の画像領域単位を復号し，かつ第二の画像領域単位を復号する過程で第二のエラーを検出した場合の例である。
【００７３】
図１１は，本発明の第６の実施の形態における復号時のエラー処理の例を示す図である。図１１に示すように，第一の画像領域単位を復号中にシンタックスその他に起因する第一のエラーが発生して復号できない事象が生じたとする。その場合，ユーザデータに符号化されている第一の画像領域単位の符号量および付加的情報に基づき，第一の画像領域単位に相当するデータの次のビットから第二の画像領域単位を復号する。
【００７４】
しかし，第二の画像領域単位を復号する過程でシンタックスその他に起因する第二のエラーが発生して復号できない事象が生じたとする。この場合，第一の画像領域単位において，余分なビットが加わったか必要なビットが欠落し，第一の画像領域単位と第二の画像領域単位の境界が正しく認識できなくなったということが想定される。そこで，以下の手順で復号する。
【００７５】
(1) 「（第一の画像領域単位に相当するデータ）＋１ビット」の次のビットから第二の画像領域単位を復号する。
【００７６】
(2) 上記 (1)で第二の画像領域単位が正しく復号できた場合には，以後の復号を継続する。エラー処理は終わる。
【００７７】
(3) 上記 (1)で第二の画像領域単位を復号中にシンタックスその他に起因するエラーが生じた場合には，「（第一の画像領域単位に相当するデータ）−１ビット」の次のビットから第二の画像領域単位を復号する。
【００７８】
(4) 上記 (3)で第二の画像領域単位が正しく復号できた場合には，以後の復号を継続する。エラー処理は終わる。
【００７９】
(5) 上記 (3)で第二の画像領域単位を復号中にシンタックスその他に起因するエラーが生じた場合には，「（第一の画像領域単位に相当するデータ）＋（第二の画像領域単位に相当するデータ）」の次のビットから第三の画像領域単位を復号する。
【００８０】
この第６の実施の形態では，「（第一の画像領域単位に相当するデータ）＋ｘビット」の次のビットから第二の画像領域単位を復号するとしたときのｘを＋１と−１としたが，本発明においては，このｘとして０を含む任意の範囲の整数値を指定して，その範囲内で絶対値が０に近い順に復号を試みてもよいことはいうまでもない。
【００８１】
【発明の効果】
以上述べたように，本発明によれば，ディジタル映像データをネットワークで送受信する際に通信路その他でエラーが生じた場合に，そのエラーによって復号できない情報を少なくして，エラーの影響をより限定することができる。
【図面の簡単な説明】
【図１】映像データ符号化装置の構成の一例を示す図である。
【図２】映像データ符号化処理フローの一例を示す図である。
【図３】映像データ復号装置の構成の一例を示す図である。
【図４】映像データ復号処理フローの一例を示す図である。
【図５】ビットストリームへのユーザデータの挿入の一例を示す図である。
【図６】ユーザデータの例を示す図である。
【図７】ユーザデータの例を示す図である。
【図８】ユーザデータの例を示す図である。
【図９】ユーザデータの例を示す図である。
【図１０】復号時のエラー処理の例を示す図である。
【図１１】復号時のエラー処理の例を示す図である。
【符号の説明】
１ 映像データ符号化装置
１１ ストリーム入力部
１２ 符号化部
１３ 第１バッファ
１４ 第２バッファ
１５ ストリーム出力部
１６ 符号化制御部
２ 映像データ復号装置
２１ ストリーム入力部
２２ 復号部
２３ 第３バッファ
２４ 第４バッファ
２５ ストリーム出力部
２６ 復号制御部
Claims (11)
- 可変長符号化を利用し，かつユーザデータの利用が可能な符号化方式を用いて映像データを符号化する映像データ符号化方法において，
符号化対象の映像データを可変長符号化する過程と，
可変長符号化された１つまたは連続した複数のマクロブロックからなる画像領域単位であって，その画像領域単位を構成するマクロブロックの数が可変である画像領域単位毎のマクロブロック数情報および画像領域単位毎の符号量を，ユーザデータとして符号化して符号化結果のビットストリームに挿入する過程とを有する
ことを特徴とする映像データ符号化方法。 - 請求項１記載の映像データ符号化方法を用いて符号化された映像データを復号する映像データ復号方法において，
前記ユーザデータとして符号化されている画像領域単位毎のマクロブロック数情報および画像領域単位毎の符号量を復号する過程と，
前記復号された画像領域単位毎のマクロブロック数情報および画像領域単位毎の符号量に基づき，復号対象のビットストリームにおける特定の１つ以上の画像領域単位の映像データの符号化ビット位置を算出し，その映像データのみを復号する過程を有する
ことを特徴とする映像データ復号方法。 - 請求項１記載の映像データ符号化方法を用いて符号化された映像データを復号する映像データ復号方法において，
前記ユーザデータとして符号化されている画像領域単位毎のマクロブロック数情報および画像領域単位毎の符号量を復号する過程と，
復号対象の映像データを復号する過程と，
前記映像データを復号する過程で，第一の画像領域単位を復号中にエラーを検出した場合に，前記ユーザデータを復号して得られた第一の画像領域単位のマクロブロック数情報および画像領域単位毎の符号量に基づき，第一の画像領域単位に相当する映像データの次のビット位置を算出し，そのビット位置から第二の画像領域単位の映像データを復号する過程を有する
ことを特徴とする映像データ復号方法。 - 請求項１記載の映像データ符号化方法を用いて符号化された映像データを復号する映像データ復号方法において，
前記ユーザデータとして符号化されている画像領域単位毎のマクロブロック数情報および画像領域単位毎の符号量を復号する過程と，
復号対象の映像データを復号する過程と，
前記映像データを復号する過程で，第一の画像領域単位を復号中にエラーを検出した場合に，前記ユーザデータを復号して得られた第一の画像領域単位のマクロブロック数情報および画像領域単位毎の符号量に基づき，第一の画像領域単位に相当する映像データの次のビット位置を算出し，そのビット位置から第二の画像領域単位の映像データを復号する過程と，
さらに前記第二の画像領域単位を復号する過程で，第二のエラーを検出した場合に，第一の画像領域単位に相当する映像データから特定のビット数だけ先または後ろのビット位置から第二の画像領域単位の映像データを復号する過程とを有する
ことを特徴とする映像データ復号方法。 - 可変長符号化を利用し，かつユーザデータの利用が可能な符号化方式を用いて映像データを符号化する映像データ符号化装置において，
符号化対象の映像データを可変長符号化する手段と，
可変長符号化された１つまたは連続した複数のマクロブロックからなる画像領域単位であって，その画像領域単位を構成するマクロブロックの数が可変である画像領域単位毎のマクロブロック数情報および画像領域単位毎の符号量を，ユーザデータとして符号化して符号化結果のビットストリームに挿入する手段とを備える
ことを特徴とする映像データ符号化装置。 - 請求項５記載の映像データ符号化装置により符号化された映像データを復号する映像データ復号装置であって，
前記ユーザデータとして符号化されている画像領域単位毎のマクロブロック数情報および画像領域単位毎の符号量を復号する手段と，
前記復号された画像領域単位毎のマクロブロック数情報および画像領域単位毎の符号量に基づき，復号対象のビットストリームにおける特定の１つ以上の画像領域単位の映像データの符号化ビット位置を算出し，その映像データのみを復号する手段とを備える
ことを特徴とする映像データ復号装置。 - 請求項５記載の映像データ符号化装置により符号化された映像データを復号する映像データ復号装置において，
前記ユーザデータとして符号化されている画像領域単位毎のマクロブロック数情報および画像領域単位毎の符号量を復号する手段と，
復号対象の映像データを復号する手段と，
前記映像データの復号中に，ある画像領域単位でエラーを検出した場合に，前記ユーザデータを復号して得られた当該画像領域単位のマクロブロック数情報および画像領域単位毎の符号量に基づき，次に復号を開始するビットストリーム中のビット位置を決定する手段とを備える
ことを特徴とする映像データ復号装置。 - 請求項１記載の映像データ符号化方法をコンピュータに実行させるための映像データ符号化プログラム。
- 請求項２，請求項３または請求項４記載の映像データ復号方法をコンピュータに実行させるための映像データ復号プログラム。
- 請求項１記載の映像データ符号化方法をコンピュータに実行させるための映像データ符号化プログラムを記録した記録媒体。
- 請求項２，請求項３または請求項４記載の映像データ復号方法をコンピュータに実行させるための映像データ復号プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003066214A JP3967688B2 (ja) | 2003-03-12 | 2003-03-12 | 映像データ符号化方法，映像データ復号方法，映像データ符号化装置，映像データ復号装置，映像データ符号化プログラム，映像データ復号プログラム，およびそれらのプログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003066214A JP3967688B2 (ja) | 2003-03-12 | 2003-03-12 | 映像データ符号化方法，映像データ復号方法，映像データ符号化装置，映像データ復号装置，映像データ符号化プログラム，映像データ復号プログラム，およびそれらのプログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004274663A JP2004274663A (ja) | 2004-09-30 |
| JP3967688B2 true JP3967688B2 (ja) | 2007-08-29 |
Family
ID=33126997
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003066214A Expired - Fee Related JP3967688B2 (ja) | 2003-03-12 | 2003-03-12 | 映像データ符号化方法，映像データ復号方法，映像データ符号化装置，映像データ復号装置，映像データ符号化プログラム，映像データ復号プログラム，およびそれらのプログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3967688B2 (ja) |
-
2003
- 2003-03-12 JP JP2003066214A patent/JP3967688B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004274663A (ja) | 2004-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6081551A (en) | Image coding and decoding apparatus and methods thereof | |
| JP5007322B2 (ja) | ビデオ符号化方法 | |
| EP1656793B1 (en) | Slice layer in video codec | |
| US6577682B1 (en) | Video processing system also compressing coding decision data | |
| EP1781040A2 (en) | Moving picture coding and/or decoding systems | |
| US20100177820A1 (en) | Video encoding device, video decoding device, video encoding method, video decoding method, video encoding or decoding program | |
| JP3419042B2 (ja) | 伝送システムにおける誤りマスキング方法 | |
| JPH08111867A (ja) | 動画像符号化方法及び動画像復号方法 | |
| WO2003007495A1 (en) | A method and device for suspecting errors and recovering macroblock data in video coding | |
| EP1468566A1 (en) | Methods and systems for encoding and decoding video data to enable random access and splicing | |
| JPH08317388A (ja) | 画像信号の符号化装置及び復号装置 | |
| KR20060088461A (ko) | 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치 | |
| KR101044935B1 (ko) | 전송 에러가 발생한 지점을 탐지하여 바르게 디코딩된데이터를 복원하는 디코딩 방법 및 그 디코딩 장치 | |
| JP2000102018A (ja) | 動画像復号方法及び装置 | |
| US20090052530A1 (en) | Image data compression device, compressing method, image data decompression device, decompressing method, and recording medium | |
| EP1056296A2 (en) | Decoding apparatus, decoding method, encoding apparatus, encoding method, image processing system and image processing method | |
| KR100987777B1 (ko) | 에러의 전파를 방지하고 병렬 처리가 가능한 디코딩 방법및 그 디코딩 장치 | |
| KR101029492B1 (ko) | 코딩된 비디오 패킷 구조, 비디오 데이터 인코딩 방법, 및 복수의 인코딩된 비디오 패킷을 디코딩하는 장치 | |
| JPH10262243A (ja) | 動画像圧縮符号の復号方法及び復号装置 | |
| US7733954B2 (en) | Method of coding a video image stream with a view for subsequent recoding using the same type of code | |
| KR20090046812A (ko) | 비디오 압축 방법 | |
| US20050089102A1 (en) | Video processing | |
| JP4295861B2 (ja) | トランスコーダ装置 | |
| JP2002027483A (ja) | 画像符号化装置、画像復号化装置および記憶媒体 | |
| JP3967688B2 (ja) | 映像データ符号化方法，映像データ復号方法，映像データ符号化装置，映像データ復号装置，映像データ符号化プログラム，映像データ復号プログラム，およびそれらのプログラムを記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050126 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070306 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070502 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070502 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070529 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070531 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100608 Year of fee payment: 3 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100608 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110608 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120608 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130608 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140608 Year of fee payment: 7 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |