JP3708745B2 - 動画像復号装置および動画像復号方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像復号装置および動画像復号方法に係り、本発明の動画像復号装置は、特に、たとえば、MPEG（Motion Picture coding Experts Group）方式にて符号化された高精細画像を簡易再生する際に用いて好適な動画像復号装置に関するものである。また、本発明の動画像復号方法は、たとえば MPEG 方式で符号化された高精細画像のうち、特定の画像を間引いて復号して、再生する方法に関するものである。
【０００２】
【従来の技術】
たとえば、テレビジョン画像またはコンピュータ画像などの動画像を符号化する方式として、動き補償フレーム間符号化を用いたMPEGによる符号化方式が標準化されつつある。MPEG方式では、フレーム内符号化したＩピクチャを基準として、前方向予測によりフレーム間符号化したＰピクチャと、両方向予測により符号化したＢピクチャとによってそれぞれのフレームを圧縮符号化して伝送し、あるいは記憶媒体に蓄積するものであった。
【０００３】
一方、近年、放送分野ではハイビジョン（HDTV）などの高精細画像あるいはコンピュータ分野ではSVGA（super video graphics array）などの高解像度画像が知られており、また、その走査方式としてフレーム毎に表示する順次走査、フィールド毎に表示する飛越し走査が知られている。
【０００４】
これらを上記MPEG方式にて符号化する場合において、たとえば、ATSC（advanced television systems committee ）では、図８に示すように、それぞれの解像度の動画像毎に、縦横比を表わすアスペクト比と、フレーム周波数と、走査方式などを規格化している。その中で、720Pと呼ばれる（720 ×1280）の画像では、順次走査にのみ対応しており、さらに毎秒60フレームの動画像となると、現行のテレビジョン受像機などの表示装置では、走査方式およびフレーム周波数の違いにより、そのまま復号した動画像を表示できないものであった。
【０００５】
そこで従来、上記のような720Pの動画像信号を復号して現行のテレビジョン受像機などの表示装置に表示する動画像復号装置として、たとえば、720P相当のMPEG対応の復号器と、その出力をプログレッシブ（順次走査）−インタレース（飛越し走査）変換する変換器とを用いたものが考えられる。
【０００６】
図９は、このような装置の一例である。図９において、MPEG方式にて符号化されたストリーム500 をストリーム解析部50で受け、そのストリームが720Pの符号化ストリームであるか否かをそのヘッダを解析して検出する。720Pの符号化ストリームであると、それぞれの符号化フレームを検出して順次、その符号をビデオ復号部52に供給する。ビデオ復号部52では、符号化側と反対の工程にて、Ｉピクチャを基準として、ＰピクチャおよびＢピクチャを順次復号して、その結果をプログレッシブ−インタレース変換部54に順次供給する。プログレッシブ−インタレース変換部52では、ビデオ復号部52にて復号された毎秒60フレームの動画像信号を受けて、それぞれのフレームから順次交互に、奇数フィールドまたは偶数フィールドの画像信号を読み出して、毎秒60フィールドの動画像502 に変換して、現行のテレビジョン受像機などの表示装置に供給して順次表示していた。
【０００７】
【発明が解決しようとする課題】
しかしながら、上述した従来の技術では、テレビジョン受像機側では毎秒60フィールド（毎秒30フレーム）の表示速度でよいにもかかわらず、ビデオ復号部では（720 ×1280）の画像を毎秒60フレームという高い処理速度にて復号する能力が必要であり、そのため装置が高価になるなどの問題があった。
【０００８】
本発明は上述の課題を解決し、表示装置の表示速度よりも高いフレームレートの動画像を符号化した信号を低い処理能力のビデオ復号部を用いて有効に復号して表示することができる動画像復号装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明による動画像復号装置は、上述した課題を解決するために、所定のフレーム周波数以上の動画像信号が所定の符号化方式にて符号化された符号化ストリームを受けて、それより低いフレーム周波数の動画像信号に復号してインタレース方式の表示装置に表示する動画像復号装置であって、所定の符号化方式にて符号化された動画像信号の符号化ストリームからそれぞれの符号化フレームの符号を検出するストリーム解析手段と、ストリーム解析手段からの符号化フレームのうち所定のフレーム毎の符号化フレームの符号を破棄する破棄手段と、破棄手段にて破棄された符号化フレームの符号を除くストリーム解析手段からの符号化フレームの符号を受けて順次元のフレームの動画像信号を復号する復号手段と、復号手段にて復号された動画像信号に基づいてそれぞれのフレームを順次フィールド毎に変換してインタレース表示方式の表示装置に表示する表示制御手段とを含むことを特徴とする。
【００１０】
特に、本発明による動画像復号装置は、毎秒60フレームの順次走査の動画像信号がフレーム間符号化を含む符号化方式にて符号化された符号化ストリームを受けて、そのストリームから毎秒60フィールドの飛越し走査の動画像信号を復号して表示装置に表示するものに適用するとよい。
【００１１】
この場合、破棄手段は、ストリーム解析手段からのそれぞれの符号化フレームのうちの双方向予測にてフレーム間符号化された複数のＢピクチャのうちのいくつかを破棄する破棄手段であって、表示手段に表示すべきフレームの次のフレームに相当するＢピクチャの符号を順次破棄するとよい。
【００１２】
また、この場合、表示制御手段は、復号手段にて復号された動画像信号のうち破棄されたＢピクチャの次のフレームに相当する前方向予測によるフレーム間符号化されたＰピクチャを復号した動画像を除く、残りのフレームの動画像信号をそれぞれフィールド毎に読み出して表示手段に表示するとよい。
【００１３】
一方、本発明による動画像復号装置において、破棄手段は、ストリーム解析手段からの符号化フレームのうち双方向予測によるフレーム間符号化されたＢピクチャの符号をすべて破棄するＢピクチャ破棄手段であり、復号手段は、フレーム内符号化されたＩピクチャおよび前方向予測によるフレーム間符号化されたＰピクチャのみの符号を順次復号するI,P ピクチャ復号手段であってもよい。
【００１４】
この場合、表示制御手段は、復号手段にて復号されたＩピクチャおよびＰピクチャの復号フレームをそれぞれ３フィールド以上のフィールドとして読み出して表示装置に表示するとよい。
【００１５】
【発明の実施の形態】
次に添付図面を参照して本発明による動画像復号装置の実施例を詳細に説明する。図１には、本発明による動画像復号装置の一実施例が示されている。本実施例による動画像復号装置は、たとえば、各画面毎に（720 ×1280）画素であってフレーム周波数60Hzの動画像信号、いわゆる720Pの動画像信号がMPEG符号化方式にて符号化された符号化ストリームを受けて、これを復号する復号装置であって、現行のインタレース方式のテレビジョン受像機などの表示装置にフィールド周波数60Hzの動画像として変換して表示する簡易表示装置である。
【００１６】
特に、本実施例の動画像復号装置では、MPEG方式の符号化フレームのうちの両方向予測によりフレーム間符号化されたＢピクチャのうちのいくつかを破棄するフレーム破棄部４を符号化フレームを復号するビデオ復号部６の前段に設けて、ビデオ復号部６にて復号されたフレームのうち前方向予測によるフレーム間符号化されたＰピクチャを復号した画像信号のうちのいくつかを間引いてから残りのフレームの画像をフィールド表示する表示制御部８を有する点が主な特徴点である。
【００１７】
本実施例の理解を容易にするため、本実施例の動画像復号装置に供給される符号化ストリームを図２に示す符号化装置とともに説明すると、たとえば、図３に示すような720Pの動画像信号F0,F1,F2,F3,... が符号化装置の入力部10に供給される。動画像信号F0,F1,F2,F3,... は、各フレーム毎に（720 ×1280）画素の画像信号であり、毎秒60フレームの順次走査にて、たとえば高解像度カメラなどにて撮影された動画像を表わす信号である。
【００１８】
符号化装置は、たとえば、図２に示すように、フレーム間差分値を生成する減算器12と、その差分値または直接の画像信号に直交変換を施す直交変換回路14と、その変換係数を量子化する量子化回路16と、量子化された変換係数をさらにハフマン符号などにより可変長符号化する可変長符号化回路18と、量子化された符号を逆量子化する逆量子化回路20と、逆量子化された符号を元の変換係数に逆変換する逆直交変換回路22と、逆変換された前フレームの画像信号を一時蓄積するフレームメモリ24と、前フレームの画像信号と現フレーム画像信号とから動きベクトルを求めて動き補償する動き補償回路26と、動き補償した画像信号と逆直交変換回路22からの画像信号とを加算してフレームメモリ24に供給する加算回路28と、動き補償回路26にて求めた動きベクトルを符号化するベクトル符号化回路30と、それぞれの回路を制御して、生成された符号化フレームのI,P,B ピクチャの種類などを表わす制御符号を出力する符号化制御部32と、制御符号、可変長符号および動きベクトル符号を含むそれぞれの符号化フレームを所定の符号化ストリームに生成して出力するストリーム生成回路34とを含む。
【００１９】
このような符号化装置において、たとえば、図３に示す符号化ストリームにてI1ピクチャは、入力したF3フレームが直交変換回路14にてフレーム内符号化されて、その変換係数が量子化回路16にてそれぞれ量子化され、さらに可変長符号化回路18にて可変長符号化されて、ストリーム生成回路34にて符号化フレームに形成される。
【００２０】
次に、P4ピクチャは、入力したF6フレームとフレームメモリ24に蓄積されたF3フレームに相当する前フレームとが動き補償回路26にて前方向予測により動き補償され、その差分値が上記と同様に、直交変換され量子化され、さらに可変長符号化された符号と、ベクトル符号化回路30からの動きベクトル符号とを含むフレーム間符号化された符号化フレームとして生成される。
【００２１】
次いで、B5ピクチャは、F4フレームがフレーム内符号化されたF3フレームと前方向予測によりフレーム間符号化されたF6フレームとから両方向予測により動き補償されて、上記と同様にそれらの差分値が直交変換され量子化され可変長符号化された符号と、動きベクトルの符号とにて表わされる符号化フレームに形成される。同様に、B6ピクチャは、F5フレームがF3フレームおよびF6フレームとから両方向予測によりフレーム間符号化された符号化フレームに形成される。
【００２２】
次に、P7ピクチャは、P4ピクチャのF6フレームに相当するフレームを前フレームとしてF9フレームを動き補償してから前方向予測によりフレーム間符号化された符号化フレームとして形成される。次に、B8およびB9ピクチャは、F7またはF8フレームがF6およびF9フレームからそれぞれ両方向予測によりフレーム間符号化された符号化フレームとして形成される。
【００２３】
以下同様に、３フレーム毎に前方向予測のＰピクチャが形成され、それらの間の２つのフレームがそれぞれ両方向予測のＢピクチャとして形成される。なお、I1ピクチャの後のB2,B3 ピクチャは、I1ピクチャのF3フレームと、それより前に前方向予測により符号化されたP0ピクチャのF0フレームとの間にてF1,F2 フレームがそれぞれ両方向予測により符号化された符号化フレームである。この結果、図３に示す符号化フレームの順序にて符号化ストリームが形成されて本実施例の動画像復号装置に供給される。
【００２４】
次に、本実施例による動画像復号装置の詳細を説明すると、本実施例による動画像復号装置は、図１に示すように、ストリーム解析部２と、フレーム破棄部４と、ビデオ復号部６と、表示制御部８とを含み、その出力が現行のテレビジョン受像機などのインタレース方式の表示装置に接続されている。
【００２５】
ストリーム解析部２は、符号化側から供給された上記符号化ストリーム200 を受けて、そのヘッダを解析してそれぞれの符号化フレームの符号をそのシンタックスに基づいて順次検出する符号検出部であり、本実施例では720Pの符号化ストリームであることを検出した際に、それぞれの符号をとり出して順次フレーム破棄部４を介してフレーム復号部６に供給するストリーム分離回路である。特に、本実施例ではそれぞれの符号化フレームのI,P,B ピクチャの種類を検出して、その結果をフレーム破棄部４およびビデオ復号部６並びに表示制御部８に送り、その符号の処理または画像の処理を指示する制御回路を含み、それぞれの指示とともに符号化フレームの符号をフレーム破棄部４を介して供給する。
【００２６】
フレーム破棄部４は、ストリーム解析部２からそれぞれの符号化フレームの符号を順次受けて、そのうちＢピクチャを指示する符号化フレームのうちのいくつかを破棄する回路であり、本実施例では、たとえば、１つの入力を２つの出力に自在に切り替えて一方の出力をビデオ復号部６に他方を破棄とするスイッチング回路などが有効に適用される。特に、本実施例にて破棄するＢピクチャは、表示すべきフレームの直後のＢピクチャとする。
【００２７】
たとえば、図３に示す元の動画像フレームF0,F1,F2,...にて交互に表示または不表示とすれば、毎秒30フレームの動画像が得られる。これをI1ピクチャに対応するF3フレームから考えると、F3,F5,F7,F9,... の奇数番のフレームが表示すべきフレームとなる。これにより、符号化フレームI1,B2,B3,...にて、元の動画像フレームの偶数番のフレームF2,F4 ,F6,... に相当するもののうちB3,B5,B9,B11,...が廃棄するＢピクチャとなる。これは、I1,P4 ピクチャ間ではB2,B3 ピクチャのうち後のB3ピクチャ、P4,P7 ピクチャ間ではB5,B6 ピクチャのうち前のB5ピクチャ、P7,P10ピクチャ間では後のB9ピクチャとなり、P10,P13 ピクチャ間では前のB11 ピクチャとなる。以下、Ｐピクチャ間の２つのＢピクチャのうち前のもの、次いで後ろのものとなる。
【００２８】
つまり、本実施例のフレーム破棄部４は、ストリーム解析部２からのI,P,B ピクチャの指示に基づいてＩピクチャを基準として、連続する２つのＢピクチャを検出すると順次交互に前、後ろ、前、．．．と廃棄する回路であり、その他の符号化フレームを順次ビデオ復号部６に供給する。これにより、ビデオ復号部６に供給される符号化フレーム数が低減される。
【００２９】
ビデオ復号部６は、MPEG対応の復号器であり、フレーム破棄部４を介して供給されるそれぞれの符号化ストリームの符号をストリーム解析部２からの指示に応動して復号する復号回路である。より具体的には、たとえば、図４に示すように可変長復号回路62と、逆量子化回路64と、逆直交変換回路66と、加算器68と、ベクトル復号回路72と、動き補償回路74と、フレームメモリ76とを含み、それぞれの符号を符号化側とほぼ反対の工程にて元の動画像信号に復号する復号回路である。
【００３０】
各部の詳細を説明すると、可変長復号回路62は、それぞれの符号化フレームからハフマン符号などの可変長符号を検出して、元の変換係数の符号に復号する復号回路であり、分離した動きベクトルの符号はベクトル復号回路72に供給する。復号された変換係数の符号は、逆量子化回路64に供給される。
【００３１】
逆量子化回路64は、符号化側にて量子化された変換係数の符号を元の変換係数に逆変換する変換回路であり、ストリーム解析部２の制御部からの指示による量子化ステップにて逆量子化する。逆量子化かれた変換係数は、逆直交変換回路66に供給される。
【００３２】
逆直交変換回路66は、逆量子化回路64からの変換係数を元の画素値に逆変換する変換回路であり、たとえば、符号化側にてDCT （discrete cosine transform ）変換されたそれぞれのマクロブロック毎の画像信号を再生する再生回路である。再生された画像信号は、加算器68を介して図１の表示制御装置８に供給され、またはフレームメモリ76に一時蓄積される。
【００３３】
一方、ベクトル復号回路72は、符号化された動きベクトルを復号する復号回路であり、復号した動きベクトルは順次動き補償回路74に供給される。動き補償回路74は、フレームメモリ76からの前フレームの画像信号をベクトル復号回路72からの動きベクトルにて動き補償した現フレームの画像信号を生成する動き補正回路である。動き補正した画像信号は、加算器68にて逆直交変換回路66からの画像信号と加算されて表示制御装置８に供給される。
【００３４】
図１に戻って、表示制御部８は、復号されたフレーム毎の画像信号をフィールド単位に変換して表示装置に供給する回路であり、たとえば、一方のポートから画像信号を順次書込み他方のポートからランダムに読出し可能なデュアルポートRAM （random access memory）などの記憶回路と、その出力をディジタル−アナログ変換するA-D 変換器とを含む変換回路である。特に、本実施例では、ストリーム解析部２からの指示に従って表示しないＰピクチャを間引いて残りのフレームを順次フィールド毎に読み出して表示装置に供給する信号制御回路であり、たとえば、Ｉピクチャを基準として生起するＰピクチャを順次交互に不表示、表示、不表示、．．．を繰り返して制御するとよい。
【００３５】
以上のような構成において、本実施例による動画像復号装置の動作を説明すると、まず、ストリーム解析部２に符号化ストリームが供給されると、ストリーム解析部２ではそのヘッダなどを解析してその符号化ストリームが720Pのストリームであるか否かを検出する。720Pのストリームであると、それぞれの符号化フレームの種類、I,P,B ピクチャの別を検出しつつ、それぞれの符号化フレームをフレーム破棄部４に順次供給する。たとえば、ストリーム解析部２に供給される符号化ストリーム200 が図５の上段に示す符号化ストリームI1,B2,B3,...であるとすると、それぞれの符号化フレームの符号の処理および表示の処理の指示がI1ピクチャを基準として、フレーム破棄部４、ビデオ復号部６および表示制御部８に供給される。
【００３６】
次に、フレーム破棄部４では、ストリーム解析部２からの指示に基づいて、まずI1ピクチャの符号を受けると、リセットしてそのI1ピクチャをビデオ復号部６に接続して出力する。次にB2ピクチャを受けると、ビデオ復号部６に接続したままそのB2ピクチャを出力する。次いで、B3ピクチャを受けると、破棄側に切り替えて、そのB3ピクチャを破棄する。B3ピクチャの破棄が終わると、再びビデオ復号部６に接続してP4ピクチャを出力し、続いてB5ピクチャを受けると、破棄側に切り替えて破棄する。
【００３７】
以下同様に、ストリーム解析部２からの指示に基づいて連続する２つのＢピクチャのうち、前または後ろのＢピクチャを交互に破棄して、残りのＢピクチャおよびＰピクチャを順次ビデオ復号部６に出力する。これにより、ビデオ復号部６には、図５に示す中段のストリームI1,B2,P4,...としてそれぞれの符号化フレームが供給される。
【００３８】
次に、ビデオ復号部６では、まず、I1ピクチャを受けると、ストリーム解析部２の指示に応動して、可変長復号、逆量子化および逆直交変換によりフレーム内復号し、その結果の画像信号をフレームメモリ76に一時蓄積する。次いで、B2ピクチャの符号を受けると、その変換係数から上記と同様に差分値が復号され、かつ動きベクトルが復号されて、フレームメモリ76に蓄積した前フレーム（図３のF0フレームに相当する）およびI1ピクチャを復号した後フレームから双方向予測により元のF1フレームを再生する。再生したB2ピクチャのフレームは、順次出力され、続いて、I1ピクチャがフレームメモリ76から読み出されて、それぞれ表示制御部８に供給される。
【００３９】
次に、P4ピクチャがビデオ復号部６に供給されると、上記と同様に変換係数が復号され、かつその動きベクトルが復号されて、I1ピクチャを復号した前フレームの画像信号から前方向予測により元の画像信号が再生される。再生された画像信号はP1ピクチャと同様にフレームメモリ76に一時蓄積される。次いで、B6ピクチャが供給されると、上記と同様に、その差分値および動きベクトルが復号されて、I1ピクチャを復号した前フレームと、P4ピクチャを復号した後フレームとからの双方向予測により元の画像信号が再生される。再生されたB6ピクチャのフレームが先に出力され、後にP4ピクチャのフレームが読み出されて表示制御装置８に供給される。
【００４０】
以下同様に、Ｐピクチャが前方向予測により前フレームから復号されてフレームメモリ76に一時蓄積され、これに続くＢピクチャがその前に復号された前フレームおよび後フレームから双方向予測により復号されて、それぞれ元の画像信号に再生される。再生された画像信号は、Ｂピクチャのフレームから先に出力されて、続いてフレームメモリ76から読み出されたＰピクチャのフレームが出力されて、順次それぞれのフレームの画像信号が表示制御装置８に供給される。
【００４１】
次に、表示制御部８では、まず、B2ピクチャの復号フレームを受けると、これを蓄積して、その奇数フィールドを読み出して、表示装置に表示し、さらに偶数フィールドを読み出して表示する。この間、I1ピクチャの復号フレームを受けて順次蓄積し、B2フィールドの表示が終了すると、同様にI1ピクチャの復号フレームの奇数フィールドを読み出して表示し、次いで偶数フィールドを読み出して表示する。
【００４２】
この間に、B6ピクチャおよびP4ピクチャが復号されて供給されるが、B6ピクチャの復号フレームのみ蓄積して、ストリーム解析部２からの指示に基づいて、I1ピクチャの次のＰピクチャとなるP4ピクチャの復号フレームを蓄積せず、I1ピクチャのフレーム表示が終了すると、B6ピクチャの復号フレームをフィールド表示する。
【００４３】
この間に、B8ピクチャおよびP7ピクチャの復号フレームが供給されると、上記と同様にB8ピクチャの復号フレームを蓄積し、続いて、P7ピクチャの復号フレームを蓄積する。今回は不表示であったP4ピクチャの次のＰピクチャの復号フレームであるので、蓄積して表示する。これにより、B6ピクチャのフレームの表示が終了すると、B8ピクチャの復号フレームをフィールド表示して、続いてP7ピクチャの復号フレームを同様にフィールド表示する。
【００４４】
以下、順次復号されるＢピクチャの復号フレームは、すべてフィールド表示して、その間のＰピクチャの復号フレームは、ストリーム解析部２からの指示に従って交互に間引いて、不表示、表示を繰り返していく。この結果、図５の下段に示すように、元の符号化ストリームI1,B2,B3,...の半分のフレーム周波数のフレーム列B2,I1,B6,...にて、それぞれをフィールド読み出しすることにより、現行のインタレース表示のテレビジョン受像機などの表示装置に有効に動画像を表示することができる。
【００４５】
以上のように本実施例の動画像復号装置によれば、ストリーム解析部２にて検出したI,P,B の指示に基づいて、フレーム破棄部４にてI,P ピクチャ間およびP,P ピクチャ間の２つのＢピクチャのうちの一つをそれぞれ破棄した後に、復号部６にて残りの符号化フレームを復号するので、その処理速度はすべての符号化フレームを復号する場合に比べて、ほぼ３分の２の低い処理性能のものでよく、安価なビデオ復号器を適用することができる。
【００４６】
また、フレーム破棄部４では、表示すべきフレームの後のＢピクチャを破棄して、表示制御部８にて残りの表示しないＰピクチャを間引いて、表示装置に供給するので、符号化する前の元の動画像フレーム列のそれぞれのフレームを一つおきに正確に表示することができる。したがって、元の画像の間隔を乱すことなく的確な表示とすることができる。
【００４７】
たとえば、図９に示す従来の動画像復号装置では、ストリーム解析部50からの符号化フレームは、すべてビデオ復号部52に供給される。ビデオ復号部52では毎秒60フレームの動画像信号を復号して、プログレッシブ−インタレース変換部54に供給する。変換部54では、毎秒60フレームの動画像を交互に奇数フィールド、偶数フィールドと読み出して毎秒60フィールドの画像を表示装置に表示する。その復号の処理過程が図10に示されている。
【００４８】
この図９の動画像復号装置では、図10から明かなように、すべての符号化フレーム（上段から中段）を復号して、復号画像を得る。したがって、そのビデオ復号部52は、本実施例のビデオ復号部６に比べて、高速処理のものが必要となる。たとえば、フレーム間差分値と動き補償した画像信号を加算する加算器では、特に全画素についての演算が必要となるので、毎秒60フレームの処理では、複数の加算器をたとえば並列に用いる必要がある。本実施例では、その加算器の個数または並列度をたとえば、2/3 にすることができる。
【００４９】
つまり、ハードウェアの量を削減することができる。また、他の部分もほぼ2/3 の処理能力でよく、たとえばフレームメモリの書込みおよび読出し速度を低くして、その制御を簡単なものとすることができる。同様に、本実施例の表示制御部８でのメモリへのデータの書込み速度は、図９に示すプログレッシブ−インタレース変換器54の書込み速度に比べて、低いものでよくその制御を簡単なものとすることができる。
【００５０】
次に、図６には本発明による動画像復号装置の他の実施例が示されている。本実施例の動画像復号装置において、上記実施例と異なる点は、フレーム破棄部42にてすべてのＢピクチャを破棄する点と、ビデオ復号部44にてI,P ピクチャのみを復号する点と、表示制御部46にて１つのフレームから３フィールド分の読み出しをする点とである。
【００５１】
詳しくは、ストリーム解析部40は、上記と同様に、符号化ストリーム400 からそれぞれの符号化フレームの符号をとり出して、フレーム破棄部42に供給する。この際、上記実施例では、I,P,B ピクチャの順序に応じた処理を指示したが、本実施例ではその種類の別のみの指示でよく、また、表示制御部46への指示を必要としない。
【００５２】
フレーム破棄部42は、ストリーム解析部40からの指示によりそのフレームがＢピクチャである場合にその符号を廃棄するＢピクチャ廃棄回路であり、残りのI,P ピクチャのすべてをビデオ復号部44に供給する、たとえばスイッチング回路である。
【００５３】
ビデオ復号部44は、Ｉピクチャをフレーム内復号して、Ｐピクチャを前方向予測にて復号するI,P ピクチャ復号回路である。したがって、フレームメモリには前フレーム分の領域のみあればよく、後フレームを蓄積するメモリ領域を必要としない。
【００５４】
表示制御部46は、ビデオ復号部44にて復号されたフレームの画像信号を順次蓄積するフレームメモリを含み、奇数番目の復号フレームでは奇数フィールド、偶数フィールド、さらに奇数フィールドを読み出して表示し、偶数番目の復号フレームでは、まず偶数フィールドを読み出し、続いて奇数フィールド、さらに偶数フィールドを読み出して、それぞれのフレーム毎に３フィールド分の表示をする信号制御回路である。
【００５５】
すなわち、図７を参照してその処理過程を説明すると、まず、図の上段に示すように、上記と同様にストリーム解析部40に符号化ストリームI1,B2,B3,...が供給されると、ストリーム解析部40では、その順序にてそれぞれの符号化フレームを検出してフレーム破棄部42に供給する。
【００５６】
次に、フレーム破棄部42では、I1ピクチャを受けると、これをビデオ復号部44に接続して出力し、B2ピクチャを受けると、破棄側に切り替えて破棄する。続いて、B3ピクチャを受けると、破棄側に接続したまま、これを破棄して、P4ピクチャを受けると、再びビデオ復号部44に接続してこれを出力する。同様に、B5ピクチャ、B6ピクチャを破棄して、P7ピクチャを受けるとビデオ復号部44側に切り替えて出力する。以下同様に、Ｂピクチャを受けるとこれを破棄して、Ｐピクチャを受けると、ビデオ復号部44側に切り替えて順次出力する。これにより、図の中段に示すように、I1,P4,P7,...の符号化フレームが順次ビデオ復号部44に供給される。
【００５７】
次いで、ビデオ復号部44では、I1ピクチャを受けると、上記実施例と同様にその符号をハフマン復号し、逆量子化し、さらに逆直交変換して、元の画像信号を再生する。再生したI1ピクチャの復号フレームは、フレームメモリに蓄積されるとともに、表示制御部46に供給される。
【００５８】
次に、P4ピクチャを受けると、その差分値の符号は、I1ピクチャと同様にハフマン復号、逆量子化および逆直交変換により復号される。一方、動きベクトルの符号が復号されて、その動きベクトルによりI1ピクチャを復号した前フレームを動き補正して、その画像信号と差分値とが加算されて、元の画像信号が再生される。再生されたP4ピクチャの復号フレームは、フレームメモリに蓄積されるとともに、表示制御部46に供給される。
【００５９】
以下同様に、P7ピクチャがP4ピクチャの復号フレームを前フレームとして前方向予測により復号されて出力され、P10 ピクチャがP7ピクチャの復号フレームを前フレームとして復号されて出力され、P13 ピクチャ、P16 ピクチャと順次同様に復号されて、表示制御部46に出力される。
【００６０】
次に、表示制御部46では、まず、I1ピクチャの復号フレームを受けると、これを一旦蓄積して、その奇数フィールドを読み出して、表示装置に表示する。次いで、偶数フィールドを読み出して表示装置に表示し、さらに奇数フィールドを再び読み出して表示する。
【００６１】
この間にP4ピクチャの復号フレームを蓄積して、I1ピクチャの復号フレームの３フィールド目の表示が終了すると、蓄積したP4ピクチャの復号フレームの偶数フィールドを読み出して表示装置に表示する。これにより、表示装置では、前フィールドの奇数フィールドと重ならずに、的確なインタレース表示となる。次いで、P4ピクチャの復号フレームの奇数フィールドが読み出されて表示され、さらに再び偶数フィールドが読み出されて表示される。
【００６２】
次に、P7ピクチャの復号フレームを表示する場合は、P4ピクチャの３フィールド目に続いて、P7ピクチャの奇数フィールドを読み出して表示する。次いで、I1ピクチャの場合と同様に、偶数フィールドを表示し、さらに再び奇数フィールドを表示する。
【００６３】
以下同様に、前フレームにて３フィールド目に奇数フィールドが表示された場合には、続くフレームでは、偶数フィールドから読み出され、次に奇数フィールド、続いて偶数フィールドが読み出されて表示される。前フレームにて３フィールド目に偶数フィールドが表示された場合には、続くフレームでは、奇数フィールド、偶数フィールド、奇数フィールドと読み出されて３フィールド分づつそれぞれ表示される。
【００６４】
この結果、毎秒60フレームの動画像信号における符号化ストリームから毎秒60フィールドの動画像信号が復号されて、現行のインタレース表示のテレビジョン受像機などの表示装置に有効に表示される。
【００６５】
以上のように本実施例の動画像復号装置によれば、フレーム破棄部42にてすべてのＢピクチャの符号を破棄してから、残りのI,P ピクチャのみをビデオ復号部44にて復号するので、すべての符号化フレームを復号する場合と比較してビデオ復号部44の処理性能をほぼ３分の１のものとすることができる。これにより、上記実施例と比較してもさらに加算器などの個数または並列度を少なくすることができ、ハードウェア量を削減することができる。また、フレームメモリの制御も簡単なものとすることができ、さらにビデオ復号部44では、I,P ピクチャのみを復号するので、双方向予測のための後フレームを蓄積する領域を必要とせず、安価な記憶回路を適用することができる。
【００６６】
なお、上記各実施例では、それぞれの部位をハードウェアにて構成する場合を例に挙げて説明したが、本発明においては、その一部または全部をソフトウェアに置き換えて適用する場合をもちろん含む。
【００６７】
【発明の効果】
以上説明したように本発明の動画像復号装置によれば、所定のフレーム周波数以上の順次走査の動画像信号を符号化した符号化ストリームを復号する際に、復号前にフレーム破棄手段にてＢピクチャを破棄してから、残りの符号化フレームのみを復号手段にて復号して、その復号フレームに基づいて所定の飛越し走査の表示装置に表示するので、復号手段の処理性能または処理速度をすべての符号化フレームを復号するものと比べて低いものとすることができる。したがって、安価な復号手段を適用することができ、安価な装置を提供することができる効果を奏する。
【図面の簡単な説明】
【図１】本発明による動画像復号装置の一実施例を示す機能ブロック図である。
【図２】図１の実施例に適用される符号化ストリームを形成する符号化装置の一例を示す機能ブロック図である。
【図３】図２の符号化装置における符号化順を示すタイミング図である。
【図４】図１の動画像復号装置におけるビデオ復号部の一例を示す機能ブロック図である。
【図５】図１の動画像復号装置における復号処理、表示の順を示すタイミング図である。
【図６】本発明による動画像復号装置の他の実施例を示す機能ブロック図である。
【図７】図７の動画像復号装置における復号処理、表示の順を示すタイミング図である。
【図８】 ATSCで規定された映像フォーマットを説明するための図である。
【図９】従来の動画像復号装置の一例を示す機能ブロック図である。
【図１０】図９の動画像復号装置における復号処理、表示の順を示すタイミング図である。
【符号の説明】
２、40 ストリーム解析部
４、42 フレーム破棄部
６、44 ビデオ復号部
８、46 表示制御部

Claims (7)

1. 所定のフレーム周波数以上の順次走査にて表わされる動画像信号が所定の符号化方式にて符号化された符号化ストリームを受けて、それより低いフレーム周波数の動画像信号に復号して飛越し走査の表示装置に表示する動画像復号装置であって、該装置は、
   所定の符号化方式にて符号化された動画像信号の符号化ストリームからそれぞれの符号化フレームの符号を検出するストリーム解析手段と、
   該ストリーム解析手段からの符号化フレームのうち、所定のフレーム毎の符号化フレームの符号を破棄する破棄手段と、
   該破棄手段にて破棄された符号化フレームの符号を除く前記ストリーム解析手段からの符号化フレームの符号を受けて、順次元のフレームの動画像信号を復号する復号手段と、
   該復号手段にて復号された動画像信号に基づいてそれぞれのフレームを順次フィールド毎に変換して、前記表示装置に表示する表示制御手段とを含み、
   該表示制御手段は、前記復号手段にて復号された動画像信号のうち破棄されたＢピクチャの次のフレームに相当する前方向予測によるフレーム間符号化されたＰピクチャを復号した動画像信号を除く、残りの復号フレームの動画像信号をそれぞれフィールド毎に読み出して前記表示手段に表示することを特徴とする動画像復号装置。
2. 請求項１に記載の動画像復号装置において、該装置は、毎秒60フレームの順次走査の動画像信号がフレーム間符号化を含む符号化方式にて符号化された符号化ストリームを受けて、該ストリームから毎秒60フィールドの飛越し走査の動画像信号を復号して、前記表示装置に表示することを特徴とする動画像復号装置。
3. 請求項２に記載の動画像復号装置において、前記破棄手段は、前記ストリーム解析手段からのそれぞれの符号化フレームのうちの双方向予測によりフレーム間符号化された複数のＢピクチャのうちのいくつかを破棄する破棄手段であって、前記表示手段に表示すべきフレームの次のフレームに相当するＢピクチャの符号を順次破棄することを特徴とする動画像復号装置。
4. 請求項２に記載の動画像復号装置において、前記破棄手段は、前記ストリーム解析手段からの符号化フレームのうち双方向予測によるフレーム間符号化されたＢピクチャの符号をすべて破棄するＢピクチャ破棄手段であり、前記復号手段は、フレーム内符号化されたＩピクチャおよび前方向予測によるフレーム間符号化されたＰピクチャのみの符号を順次復号する I,P ピクチャ復号手段であることを特徴とする動画像復号装置。
5. 請求項４に記載の動画像復号装置において、前記表示制御手段は、前記復号手段にて復号されたＩピクチャおよびＰピクチャの復号フレームをそれぞれ３フィールド以上のフィールドとして読み出して前記表示装置に表示することを特徴とする動画像復号装置。
6. 動画像符号化方式で符号化され、フレーム内符号化された第１のデータと、第１のデータに連続し両方向予測により符号化された第２のデータと、第２のデータに連続し両方向予測により符号化された第３のデータと、第３のデータに連続し前方向予測により符号化された第４のデータと、第４のデータに連続し両方向予測により符号化された第５のデータと、第５のデータに連続し両方向予測により符号化された第６のデータとを有するデータ列を受信し、
   第２および第６のデータを除いて、第１、第３、第４および第５のデータを復号し、
   前記復号された第４のデータを除いて、第１、第３、および第５のデータを表示することを特徴とする動画像復号方法。
7. 動画像符号化方式で符号化され、フレーム内符号化された第１のデータと、第１のデータに連続し両方向予測により符号化された第２のデータと、第２のデータに連続し両方向予測により符号化された第３のデータと、第３のデータに連続し前方向予測により符号化された第４のデータと、第４のデータに連続し両方向予測により符号化された第５のデータと、第５のデータに連続し両方向予測により符号化された第６の データとを有するデータ列を受信し、
   第３および第５のデータを除いて、第１、第２、第４および第６のデータを復号し、
   前記復号された第４のデータを除いて、第１、第２、および第６のデータを表示することを特徴とする動画像復号方法。

Images