JP3611790B2

JP3611790B2 - 動画像信号の復号化方法

Info

Publication number: JP3611790B2
Application number: JP2001007044A
Authority: JP
Inventors: 豊町田
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2001-01-15
Filing date: 2001-01-15
Publication date: 2005-01-19
Anticipated expiration: 2020-01-19
Also published as: JP2001245306A

Description

【０００１】
【発明の属する技術分野】
本発明は、テレビ電話、テレビ会議などに利用する、ディジタル動画像信号の復号化方法に関する。
【０００２】
【従来の技術】
従来のディジタル動画像信号の符号化方法は、入力された動画像のフレームを、複数のＮ×Ｍ画素からなるブロックに分割し、このブロックを単位として動き検出、予測、直交変換、量子化、可変長符号化といった処理を行なう。
【０００３】
一方、従来のディジタル動画像信号の復号化方法は、符号化方法の逆の手続き、すなわち可変長復号化、逆量子化、逆直交変換、動き補償といった処理によってＮ×Ｍ画素からなるブロックを再生する。
【０００４】
このような符号化方法および復号化方法を用いることによって動画像信号が持つ冗長性を除去し、少ない情報量で効率的に動画像の通信、蓄積を行なうことを可能にしている。
【０００５】
従来のディジタル動画像信号の符号化方法および復号化方法では、前述のように画素ブロックを単位として処理を行なうが、画素ブロックの集合をサブフレームとして、またサブフレームの集合をフレームとして符号化、復号化の単位とすることが一般的である。
【０００６】
以下、従来のディジタル動画像信号の符号化方法および復号化方法の例として、１９９３年３月に勧告されたＩＴＵ−ＴＲｅｃｏｍｍｅｎｄａｔｉｏｎＨ．２６１を取りあげ、ブロック、サブフレーム、フレーム単位の符号化、復号化について説明する。
【０００７】
Ｈ．２６１はディジタル動画像信号の輝度信号、色差信号それぞれに対しての符号化方法、復号化方法を規定しているが、以下では便宜上輝度信号に関する説明のみを行なう。基本的に輝度信号と色差信号の符号化方法、復号化方法に相違はない。
【０００８】
Ｈ．２６１では、ディジタル動画像信号の１フレームは、３５２×２８８画素で構成される。また、このフレームは、１７６×４８画素からなりＧＯＢ（ＧｒｏｕｐＯｆＢｌｏｃｋ）と呼ばれる１２個のサブフレームに分割される。さらに、このサブフレームは１６×１６画素からなりマクロブロックと呼ばれる３３個のブロックに分割される。この様子を図４に示した。
【０００９】
ここで、Ｈ．２６１の符号化方法では、符号化した１フレーム分の情報を、前述のフレーム、ＧＯＢ、マクロブロックといった空間的な階層構造に対応させて、図５のように構成することを規定している。図５において矩形で囲まれた部分は符号化された情報を意味し、それぞれの符号化ビット数を矩形の下に示してある。一方、図５において矢印は符号化情報のつながり方を示しており、このような一連の符号化動画像信号列をビットストリームという。
【００１０】
図５のＨ．２６１ビットストリームにおいて、１つのマクロブロックに関する符号化情報すべてを配置している部分をマクロブロック層、１つのＧＯＢに関する符号化情報すべてを配置している部分をＧＯＢ層、１つのフレームに関する符号化情報すべてを配置している部分をフレーム層と呼ぶ。
【００１１】
図５に示される各層の、符号化情報の意味を以下に示す。
フレーム層
ＰＳＣ（２０ビット）フレーム識別子。復号化方法が常に識別可能なユニーク符号であり、”０００００００００００００００１００００”で表される。
ＴＲ（５ビット）フレーム番号。このフレームが表示される時間的位置を示す。
ＰＴＹＰＥ（６ビット）フレームタイプ情報。フレームに関する諸情報。
ＰＥＩ（１ビット）拡張用データ挿入情報。引き続くＰＳＰＡＲＥの有無を示すフラグ。
ＰＳＰＡＲＥ（８ビット）拡張用データ。
ＧＯＢ層
ＧＢＳＣ（１６ビット）ＧＯＢ識別子。復号化方法が常に識別可能なユニーク符号であり、”０００００００００００００００１” で表される。
ＧＮ（４ビット）ＧＯＢ番号。フレーム内におけるこのＧＯＢの空間的位置を示す。
ＧＱＵＡＮＴ（５ビット）量子化特性情報。ＧＯＢ内のマクロブロックを符号化する際の量子化特性を示す。
ＧＥＩ（１ビット）拡張用データ挿入情報。引き続くＧＳＰＡＲＥの有無を示すフラグ。
ＧＳＰＡＲＥ（８ビット）拡張用データ。
【００１２】
なお、図５で最も下の階層であるマクロブロック層の符号化情報は、冒頭に述べたように、動き検出、予測、直交変換、量子化、可変長符号化といった符号化方法によって生成されるものであり、符号化ビット数は一定でない。
一般的に、マクロブロック内に含まれる画素の空間的レベル変化が激しいか、または同じ空間的位置を持つマクロブロック内画素の時間的レベル変化が激しい場合には、マクロブロック層の符号化ビット数は増大する。このようなマクロブロックを以後、符号化が難しいマクロブロックと呼ぶことにする。
【００１３】
一方、マクロブロック内に含まれる画素のレベルが空間的にも時間的にも定常的な場合、マクロブロック層の符号化ビット数は著しく減少し、０となる場合もある。このようなマクロブロックを以後、符号化が易しいマクロブロックと呼ぶことにする。
【００１４】
次に、Ｈ．２６１の復号化方法では、まず最初に、ビットストリームからフレーム層の識別子であるＰＳＣを探し出す。このように正しく復号可能な符号を探し出すことに成功した状態を同期が確立したという。ビットストリームからＰＳＣを探し出しフレーム層の同期が確立すると、それ以後、次のＰＳＣが現われるまでのビットストリームは１フレーム分の符号化情報であると識別できる。さらに、その１フレーム分のビットストリームを復号化して得られる３５２×２８８画素のフレームが表示されるべき時間な位置は、ＰＳＣに引き続くフレーム番号ＴＲを調べることにより得られる。
【００１５】
また、Ｈ．２６１の復号化方法では、フレーム層の同期が確立した後、引き続くビットストリームからＧＯＢ層の識別子であるＧＢＳＣを捜し出す。ＧＢＳＣ層の同期が確立すると、それ以後、次のＧＢＳＣが現われるまでのビットストリームは１ＧＯＢ分の符号化情報であると識別できる。
さらに、その１ＧＯＢ分のビットストリームを復号化して得られる１７６×４８画素のＧＯＢが配置されるフレーム内の空間的位置は、ＧＢＳＣに引き続くＧＯＢ番号ＧＮを調べることにより得られる。
【００１６】
さらに、Ｈ．２６１の復号化方法では、ＧＯＢ層の同期が確立した後、引き続くマクロブロック層のビットストリームを復号する。このマクロブロック層の復号化方法は、冒頭に述べたように、可変長復号化、逆量子化、逆直交変換、動き補償といった処理によって１６×１６画素からなるマクロブロックを再生する手続きである。ここで注意すべきなのは、マクロブロック層にはＰＳＣやＧＢＳＣのように復号化方法が常に識別可能なユニーク符号がなく、かつ各マクロブロック符号化情報は可変長符号による不定長ビットで構成されている点である。
【００１７】
ＯＢ層において、第１番目から第３３番目までのマクロブロック符号化情報は、図６に示すように、ユニーク符号のない可変長符号の連なりとして表される。よって、復号化方法が、図６中Ａで示した点からマクロブロック符号化情報の復号を開始して、第１、第２．．．、第ｎ．．．．、第３３マクロブロックと順次復号してゆけば，ＧＯＢ層のすべてのマクロブロックは再生できる。しかし、復号化方法が、図６中ＢやＣで示した点からマクロブロック符号化情報の復号を開始すると、どこから１つのマクロブロック符号化情報が始まるのか識別できず同期が確立しないため、次のＧＢＳＣが現われるまですべてのマクロブロックの復号、再生が不可能になる。つまり、ＧＢＳＣはマクロブロック層の復号開始点をも表わしている。
【００１８】
最後に、Ｈ．２６１の復号化方法では、再生されたマクロブロックの集合であるＧＯＢをＧＮで示されるフレーム内の空間的位置に配置し、さらに再生されたＧＯＢの集合であるフレームをＴＲで示される時間的位置に配置する。
【００１９】
このようにして、Ｈ．２６１ではディジタル動画像１フレームを空間的に、時間的に正しく復号することが可能になっている。
【００２０】
【発明が解決しようとする課題】
しかしながら、上記従来のディジタル動画像信号の復号化方法では、ビットストリームの一部が欠落したり、誤りが発生した場合、次のフレーム層の同期が確立するまで、すべてのサブフレームを時間的に正しく復号することが不可能になる問題があった。
【００２１】
以下にその理由を説明する。従来の復号化方法では、ビットストリーム中で常に識別可能な符号は、フレーム識別子とサブフレーム識別子のみである。よって、ビットストリームの一部が欠落したり、誤りが発生すると、次のサブフレーム識別子が現われるまで復号の同期は回復できず、復号が不可能になる。しかし、次のサブフレーム識別子が現われても、そのサブフレーム層のビットストリームは時間的に正しく復号できない。それは、図７を参照することにより理解される。
【００２２】
図７はバースト的なビットストリームの欠落、誤りによって、時間的にｎ番目のフレームにおける５番目のサブフレームから、時間的にｎ＋１番目のフレームにおける６番目のサブフレームまで復号が不可能となった例を示している。この例では、時間的にｎ＋１番目のフレームに対応するフレーム識別子はもとより、それに引き続くＴＲも欠落しているか、誤っている。よって、時間的にｎ＋１番目のフレームにおける７番目のサブフレームに対応するサブフレーム識別子から同期を確立し、それに引き続くＧＮを復号することによって、このサブフレームを空間的に正しく復号することはできても、このサブフレームが時間的にｎ番目に位置するのか、ｎ＋１番目に位置するのか特定することはできない。時間的にｎ＋１番目のフレームにおける８番目のサブフレームから１２番目のサブフレームの復号に関しても同様に、これらサブフレームが時間的にｎ番目に位置するのか、ｎ＋１番目に位置するのか特定することはできない。
【００２３】
よって、ビットストリームの一部が欠落したり、誤りが発生した場合、次にフレーム層の同期が確立するまですべてのサブフレームを時間的に正しく復号することが不可能になる。
【００２４】
さらに、従来のディジタル動画像信号の復号化方法では、時間的に動きのある画像を含んだサブフレームの復号が不可能になった場合、復号画質が大きく劣化する問題があった。
【００２５】
この問題をさらに詳しく説明するため、図８を参照する。図８は復号されたディジタル動画像信号のある１フレームを示しており、フレームの中央で人物が動いている。図８中、時間的に動きのある部分は斜線で示してあり、それ以外は背景で時間的に静止している。このようなシーンは、テレビ会議、テレビ電話などで一般的である。
【００２６】
まず、図８を参照して、１番目から４番目いずれかのサブフレームの復号が不可能になる場合を考える。１番目から４番目のサブフレームは、時間的に静止した画像を含んでいる。よって、例えば２番目のサブフレームの復号が不可能である場合、時間的に前のフレームの２番目のサブフレームをもって、現フレームの２番目のサブフレームを置き換えるという巧妙な操作を復号化方法で行なえば、現フレームの２番目のサブフレームにおける画質の劣化はほとんど検知されないであろう。
【００２７】
しかし、図８で示す５番目から１２番目のサブフレームの復号が不可能である場合は問題である。５番目から１２番目のサブフレームは、時間的に動きのある画像を含んでいる。これは、例えば、時間的に前のフレームの９番目のサブフレームの画像と、現フレームの９番目のサブフレームの画像は大きく異なることを意味する。よって、９番目のサブフレームの復号が不可能である場合、復号化方法で前述のような巧妙な操作を行なっても、現フレームの９番目のサブフレームにおける画質劣化は明らかに検知されるであろう。
【００２８】
よって、時間的に動きのある画像を含んだサブフレームの復号が不可能になった場合、復号画質が大きく劣化する。
【００２９】
本発明は、上記従来の問題点を解決するもので、ビットストリームの一部が欠落したり、誤りが発生した場合でも、その後サブフレームを単位として時間的に正しく復号することができ、かつ時間的に動きのある画像を含んだサブフレームの復号が不可能になっても、復号画質の劣化を小さく抑えられる優れたディジタル動画像信号の復号化方法を提供することを目的とする。
【００３０】
【課題を解決するための手段】
本発明は、上記目的を達成するために、本発明のディジタル動画像信号の復号化方法は、動画像信号の符号化方法によって符号化された動画像信号列からサブフレームを識別するための識別子を復号する際に、前記サブフレームを識別するための識別子に付加された前記サブフレームの表示順に関する時間的位置情報を用いて、前記サブフレームを時間的に正しく復号するようにしたものである。以上の構成により、サブフレームを識別するための識別子に付加された当該サブフレームの表示順に関する時間的位置情報を用いて当該サブフレームを復号することにより、ビットストリームの一部が欠落したり、誤りが発生した場合でも、その後サブフレームを単位として時間的に正しい復号が可能になる。
【００３１】
【発明の実施の形態】
以下、本発明の第１の実施の形態として、ビットストリームの一部が欠落したり、誤りが発生した場合でも、その後サブフレームを単位として時間的に正しい復号を可能にするディジタル動画像信号の符号化方法および復号化方法について説明する。
【００３２】
まず、本実施の形態の符号化方法は、ディジタル動画像信号の１フレームを、例えば３５２×２８８画素で構成する。また、このフレームを、例えば１７６×４８画素からなる１２個のサブフレームに分割する。さらに、このサブフレームを例えば１６×１６画素からなる３３個のブロックに分割する。
【００３３】
また、本実施の形態の符号化方法では、符号化した１フレーム分の情報を、フレーム、サブフレーム、ブロックの空間的な階層構造に対応させて、例えば図１のように構成してビットストリームを生成する。
【００３４】
図１に示される各層の、符号化情報の意味を以下に示す。
フレーム層
ＦＳＣ（２０ビット）フレーム識別子。復号化方法が常に識別可能なユニーク符号であり、”０００００００００００００００１００００”で表される。
サブフレーム層
ＳＦＳＣ（１６ビット）サブフレーム識別子。復号化方法が常に識別可能なユニーク符号であり、”０００００００００００００００１” で表される。
ＳＦＮＴ（５ビット）時間的サブフレーム番号。このサブフレームが表示される時間的位置を示す。
ＳＦＮＳ（４ビット）空間的サブフレーム番号。フレーム内におけるこのサブフレームの空間的位置を示す。
ＳＦＱＵＡＮＴ（５ビット）量子化特性情報。サブフレーム内のブロックを符号化する際の量子化特性を示す。
【００３５】
なお、図１で最も下の階層であるブロック層の符号化情報は、例えば、動き検出、予測、直交変換、量子化、可変長符号化といった符号化方法によって生成され、符号化ビット数は一定でない。
【００３６】
次に、本実施の形態の復号化方法について説明する。まず最初に、ビットストリームからフレーム層の識別子であるＦＳＣを探し出し、フレーム層の同期を確立する。次に、フレーム層の同期が確立した後、引き続くビットストリームからサブフレーム層の識別子であるＳＦＳＣを捜し出し、サブフレーム層の同期を確立する。そして、ＳＦＳＣに引き続く時間的サブフレーム番号ＳＦＮＴと空間的サブフレーム番号ＳＦＮＳを調べる。次に、ブロック層のビットストリームを復号する。このマクロブロック層の復号化方法は、例えば、可変長復号化、逆量子化、逆直交変換、動き補償といった処理によってブロックを再生する手続きである。最後に、再生されたブロックの集合であるサブフレームをＳＦＮＴ、ＳＦＮＳで示される時間的、空間的位置に配置する。そして、もしビットストリームの一部が欠落したり誤ったりして復号の同期が外れると、常にサブフレーム層の識別子であるＳＦＳＣを捜し始める。そして再びサブフレーム層の同期を確立すると、前述のようにＳＦＮＴ、ＳＦＮＳを調べ、ブロック層を復号、再生し、再生されたブロックの集合であるサブフレームをＳＦＮＴ、ＳＦＮＳで示される時間的、空間的位置に配置する。
【００３７】
以上述べたように、本発明の第１の実施の形態によれば、ビットストリームの一部が欠落したり、誤りが発生した場合、復号の同期が外れて一時的に復号は行なえなくなるが、その直後のサブフレームからすぐに時間的に正しい復号が可能になる。
【００３８】
なお、上記第１の実施の形態は一例であって、フレーム、サブフレーム、ブロックなどは違う大きさ、形状でもよい。また、各符号化情報のビット長は違う長さでもよく、フレーム層はなくてもよい。
【００３９】
次に、本発明の第２の実施の形態として、時間的に動きのある画像を含んだサブフレームの復号が不可能になっても、復号画質の劣化を小さく抑えられるディジタル動画像信号の符号化方法について説明する。
【００４０】
まず、本発明の実施の形態の符号化方法は、ディジタル動画像信号の１フレームを、例えば３５２×２８８画素で構成する。また、このフレームを、例えば１６×１６画素からなるブロックに分割する。つまり、１フレームを２２ブロッック×１８ブロックラインで構成する。
【００４１】
また、本実施の形態の符号化方法は、図２に示すように、上のブロックラインから順にブロック単位で符号化を行ない、符号化情報を生成する。各ブロックの符号化情報は、例えば、動き検出、予測、直交変換、量子化、可変長符号化といった符号化方法によって生成し、符号化ビット数は一定でない。つまり、符号化が難しいブロックの符号化ビット数は大きく、符号化が易しいブロックの符号化ビット数は小さい。また、本実施の形態の符号化方法は、ブロックの集合をサブフレームとして符号化の単位とするが、１サブフレームに含まれるブロック数は一定でない。
【００４２】
次に、図１を参照して、本実施の形態の符号化方法のビットストリームの生成方法と、サブフレーム層の構成について説明する。まず、１フレームの符号化を始めるにあたり、フレーム層識別子符号化し、符号ＦＳＣをビットストリームに配置する。次いで、サブフレーム層識別子と、当該サブフレームの時間的番号、空間的番号、および当該サブフレームの量子化特性を符号化し、符号語ＳＦＳＣ、ＳＦＮＴ、ＳＦＮＳおよびＳＦＱＵＡＮＴをビットストリームに配置する。それと同時に、ブロック符号化ビット数積算値Ｂａｄｄを０とする。引き続いて、ブロックの符号化を行ない、可変長符号で構成されるブロックの符号化情報をビットストリームに配置する。それと同時に本ブロックの符号化ビット数ＢをＢａｄｄに加算する。すなわち、Ｂａｄｄ＝Ｂａｄｄ＋Ｂなる計算を行なう。同様にして、順次ブロックの符号化を行ない、ブロック符号化情報をビットストリームに配置し、Ｂａｄｄ＝Ｂａｄｄ＋Ｂなる計算を繰り返す。そして、あるブロックの符号化が終了した時点で、Ｂａｄｄがサブフレーム間隔ＳＦｄを越えていたら、サブフレーム層識別子と、当該サブフレームの時間的番号、空間的番号、および当該サブフレームの量子化特性を符号化し、符号語ＳＦＳＣ、ＳＦＮＴ、ＳＦＮＳおよびＳＦＱＵＡＮＴをビットストリームに配置する。それと同時に、ブロック符号化ビット数積算値Ｂａｄｄを０とする。つまり、ここから新しいサブフレーム層を構成する。
【００４３】
サブフレーム間隔ＳＦｄは、例えば５４０ビットに定める。したがって、本実施の形態の符号化方法が、１フレームを例えば６４００ビットで符号化するとき、１フレームに６４００／５４０＝１１．８５から１２個のサブフレームが存在する。
【００４４】
このように、本発明の実施の形態の符号化方法では、１サブフレームに含まれるブロックの発生情報量に対応してサブフレームに含まれるブロックの個数を変化させ、サブフレームの空間的な大きさを可変にする。すなわち、符号化が難しいブロックを含むサブフレームは小さくし、逆に符号化が易しいブロックを含むサブフレームは大きくする。図３は本実施の形態の符号化方法によるサブフレーム構成例を示す。
【００４５】
以上述べたように、本発明の第２の実施の形態によれば、時間的に動きがあって符号化が難しいブロックを含むサブフレームを空間的に小さくするので、このようなサブフレームの復号が不可能になっても、復号画質の劣化を小さく抑えられる。また、フレーム内で時間的に動きがなく、復号が不可能でも復号画質の劣化が検知されない領域では１サブフレームが空間的に大きくなり、サブフレーム識別子、サブフレーム番号などのサイド情報が少なくなるので、符号化効率を低下させない効果がある。
【００４６】
なお、上記本発明の第２の実施の形態は一例であって、フレーム、ザブフレーム、ブロックなどは違う大きさ、形状でもよい。また、１フレームの符号量、サブフレーム間隔ＳＦｄは違うビット数でもよい。
【００４７】
【発明の効果】
以上の実施の形態から明らかなように、本発明によれば、ビットストリームの一部が欠落したり、誤りが発生した場合でも、その後サブフレームを単位として時間的に正しい復号が可能になる。
【００４８】
さらに、本発明によれば、時間的に動きがあるブロックを含むサブフレームの復号が不可能になっても、復号画質の劣化を小さく抑えられる。
【００４９】
さらに、フレーム内で時間的に動きがなく、復号が不可能でも復号画質の劣化が検知されない領域ではサイド情報が少なくなるので、符号化効率を低下させない効果がある。
【図面の簡単な説明】
【図１】本発明の第１および第２の実施の形態の動画像信号の符号化方法を説明する模式図
【図２】本発明の第２の実施の形態動画像信号の符号化方法を説明する模式図
【図３】本発明の第２の実施の形態におけるサブフレーム構成を説明する模式図
【図４】従来の動画像信号の符号化方法における符号化単位を説明する模式図
【図５】従来の動画像信号の符号化方法を説明する模式図
【図６】従来の動画像信号の符号化方法におけるＧＯＢ層を説明する模式図
【図７】従来の動画像信号の符号化方法および復号化方法におけるビットストリームの欠落、誤りの影響を説明する模式図
【図８】従来の動画像信号の復号化方法においてサブフレームの復号が不可能な場合の影響を説明する模式図
【符号の説明】
ＦＳＣフレーム識別子
ＳＦＳＣサブフレーム識別子
ＳＦＮＴ時間的サブフレーム番号
ＳＦＮＳ空間的サブフレーム番号
ＳＦＱＵＡＮＴ量子化統制情報

Claims

動画像信号の符号化方法によって符号化された動画像信号列からサブフレームを識別するための識別子を復号する際に、前記サブフレームを識別するための識別子に付加された前記サブフレームの表示順に関する時間的位置情報を用いて、前記サブフレームを時間的に正しく復号することを特徴とする動画像信号の復号化方法。