JP3615379B2 - 画像復号化装置及び多重化装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ディジタル放送の分野に属し、画像圧縮された動画、圧縮された音声、及び時間情報を多重化してディジタル放送信号を作成する、ＭＰＥＧ２システムエンコーダなどの多重化装置、及びディジタル放送信号を受信するセットトップボックスなどに内蔵され、選択されたビデオストリームから動画を復号化し表示する、ＭＰＥＧ２ビデオデコーダなどの画像復号化装置に関するものである。
【０００２】
【従来の技術】
従来の多重化装置として、動画を圧縮したビデオ・エレメンタリ・ストリーム（以下、ビデオＥＳと略す）と、音声を圧縮したオーディオ・エレメンタリ・ストリーム（以下、オーディオＥＳと略す）と、それぞれの表示時刻を指定するための時間情報とを多重化して、番組ストリームを作成し、さらにこの番組ストリームを、多くのチャネル数多重化してディジタル放送信号を作成する多重化装置がある。
【０００３】
また、従来の画像復号化装置として、このディジタル放送信号から、１つの番組ストリームを選択し、この番組ストリームから分離された、ビデオＥＳもしくはビデオ・パケッタイズド・エレメンタリ・ストリーム（以下、ビデオＰＥＳと略す）を入力して、画像復号化を施し、復号された動画信号を表示する画像復号化装置がある（例えば、「７０近くの多チャネルを実現する日本初のディジタル衛星放送」日経エレクトロニクス、日経ＢＰ社、１４９頁〜１６４頁、１９９６年９月２日号）。
【０００４】
多重化装置は、画像信号の圧縮方式としてＭＰＥＧ２を用いた場合、圧縮の際に、複数の動き予測（以下、ＭＣと略す）モード、符号化モードを画像の特性によって切り替えている。そして、これらのモードの選択結果をヘッダとしてビデオＥＳの中に多重して伝送している。画像復号化装置は、このヘッダの情報を解析し、解析結果に基づいて、内部の動作を切り替えている（例えば、「ビデオ圧縮」テレビジョン学会誌、Ｖｏｌ．４９、Ｎｏ．４、４３５頁〜４６６頁、（１９９５））。
【０００５】
図１６に、従来の多重化装置の構成例を示す。図１６において、５０、５１、６０、６１は入力端子、５２、６２は映像符号化手段、５３、６３は音声符号化手段、５４、５５、６４、６５はＰＥＳ化手段、５６、５７、６６、６７はＴＳ化手段、５８、６８は１次多重手段、７０は時間情報発生手段、７１は２次多重手段、７２は出力端子である。
【０００６】
入力端子５０及び６０には映像信号、入力端子５１及び６１には音声信号が入力される。
【０００７】
入力端子５０に入力された映像信号は、映像符号化手段５２で画像圧縮されて、ビデオＥＳとなり、ＰＥＳ化手段５４で、時間情報発生手段７０からの表示タイムスタンプ（以下ＰＴＳと略す）を多重され、パケッタイズド・エレメンタリ・ストリーム（以下ＰＥＳと略す）に変換される。ＰＥＳ化手段５４から出力されたビデオＰＥＳは、ＴＳ化手段５６で、時間情報発生手段７０からの番組基準時間情報（以下ＰＣＲと略す）を多重され、トランスポート・ストリーム（以下ＴＳと略す）に変換される。ＴＳ化手段５６から出力されたビデオＴＳは、１次多重手段５８に入力される。
【０００８】
入力端子５１に入力された音声信号も、音声符号化手段５３、ＰＥＳ化手段５５、ＴＳ化手段５７で同様の処理を施され、１次多重手段５８に入力される。
【０００９】
１次多重手段５８は、入力されたビデオＴＳとオーディオＴＳを多重化して、番組ストリームを作成し、２次多重手段７１に出力する。
【００１０】
同様に、入力端子６０に入力された映像信号、および、入力端子６１に入力された音声信号も、上述したようにして処理を施され、１次多重手段６８でビデオＴＳとオーディオＴＳが多重化されて番組ストリームが作成され、２次多重手段７１に出力される。
【００１１】
２次多重手段７１は、入力された複数の番組ストリームを多重化して、ディジタル放送信号を作成し、出力端子７２から出力する。
【００１２】
図１７および１８に、従来の画像復号化装置を用いたセットトップボックスの構成例を示す。なお、図１８は、図１７の画像復号化装置４０を構成する各構成手段のブロック図である。図１７において、４１は入力端子、４２はシステムデコーダ、４３は音声復号化装置、４４は出力端子、４０は画像復号化装置３０及び３２は入力端子を示す。また、図１８において、３１はＥＳ分離手段、３３は同期出画制御手段、２はストリームバッファメモリ、３は可変長復号手段、４は逆量子化手段、５は逆ＤＣＴ手段、６は加算手段、７はヘッダ解析手段、３９は第３のシーケンサ、９は動き補償手段、１０は第１のフレームメモリ、１１は第２のフレームメモリ、２１は第１の表示用メモリ、２２は第２の表示用メモリ、２４は表示画像選択手段、２３は出力端子、２０は第２のシーケンサ、２５はタイミング生成手段を示す。
【００１３】
システムデコーダ４２は、入力端子４１から入力されたディジタル放送信号から、表示すべき番組ストリームを選択し、ビデオＰＥＳ及びオーディオＰＥＳを抜き出して、それぞれ画像復号化装置４０及び音声復号化装置４３に入力する。また、各ＰＥＳに対応するＰＣＲを抜き出して、画像復号化装置４０及び音声復号化装置４３に出力する。
【００１４】
オーディオＰＥＳは、音声復号化装置４３で復号化され、出力端子４４から出力される。
【００１５】
一方、入力端子３０を介して、画像復号化装置４０に入力されたビデオＰＥＳは、ＥＳ分離手段３１でビデオＥＳのみが分離されて、ストリームバッファメモリ２に蓄積される。また、ＥＳ分離手段３１は、ＰＴＳを抜き取り、同期出画制御手段３３に入力する。同期出画制御手段３３は、入力端子３２を介して入力されるＰＣＲと、ＥＳ分離手段から入力されたＰＴＳとを用いて、復号画像の表示タイミングがＰＴＳで指定されたタイミングになるように、第３のシーケンサ３９を制御する。このことにより、復号後の映像と音声の同期が実現される。
【００１６】
ストリームバッファメモリ２に蓄積されたビデオＥＳは、可変長復号手段３に入力される。可変長復号手段３は、ＭＰＥＧ規格に沿って、可変長符号化されたビデオＥＳをもとの符号に戻し、量子化ＤＣＴ係数データを逆量子化手段４に出力するとともに、必要な情報をヘッダ解析手段７に出力する。逆量子化手段４に入力された量子化ＤＣＴ係数データは、逆量子化手段４で逆量子化され、逆ＤＣＴ手段５で逆ＤＣＴ処理され、さらに、加算手段６で動き予測データと加算されて、復号画像データとなる。
【００１７】
この復号画像データは、第２のシーケンサ２０の制御により、第１のフレームメモリ１０、第２のフレームメモリ１１、第１の表示用メモリ２１、第２の表示用メモリ２２のうちで、最適なメモリに記憶される。動き補償の際に、参照画像として用いられるフレームの復号画像データは、第１のフレームメモリ１０または第２のフレームメモリ１１に記憶され、動き補償（以下、ＭＣと略す）を行う動き補償手段９に入力されて、動き予測データに変換される。参照画像として用いられない、双方向予測により圧縮されたフレームの復号画像データは、第１の表示用メモリ２１または第２の表示用メモリ２２に記憶される。表示画像選択手段２４は、第２のシーケンサ２０の制御により、第１のフレームメモリ１０、第２のフレームメモリ１１、第１の表示用メモリ２１、第２の表示用メモリ２２に記憶された復号画像データのうち、適切なフレームを順次読み出して、出力端子２３に出力する。
【００１８】
ヘッダ解析手段７は、ビデオストリームに多重されたヘッダ情報から、フレームレートなどの原画の画像フォーマット、動き予測モード、ＤＣＴモード、動きベクトルなどの付加情報を解析し、解析結果を逆量子化手段４、逆ＤＣＴ手段５、動き補償手段９及び第３のシーケンサ３９に出力する。第３のシーケンサ３９は、ヘッダ解析手段７からの情報、及び、タイミング生成手段２５からのタイミング信号に基づき、可変長復号手段３、逆量子化手段４、逆ＤＣＴ手段５、動き補償手段９及び第２のシーケンサ２０を制御して、順次、復号及び表示動作を行わせる。
【００１９】
図１９に、図１８に示した従来の画像復号化装置の動作の一例を示すタイミングチャートを示す。ここでは、現行のテレビ放送の信号で用いられている、５９．９４フィールド／秒の飛び越し走査画像を符号化したビデオＥＳを、従来の画像復号化装置で復号化する場合の動作を示すが、同時に、従来の画像復号化装置に入力される入力ストリームが、５９．９４フレーム／秒の順次走査画像をフレーム符号化したストリームに切り替わった場合の動作も、併せて示す。
【００２０】
図１９において、１０１は復号区間、１０２は表示区間、１０３は垂直同期信号を示す。また、Ｉはイントラ符号化されたフレーム、Ｐは前方向予測符号化されたフレーム、Ｂは双方向予測符号化されたフレームを示し、Ｔｏｐはトップフィールド、Ｂｏｔはボトムフィールドを、添え字は画像番号を示す。
【００２１】
復号、表示ともに垂直同期信号１０３を基準に開始されるよう構成されている。例えば、５９．９４フィールド／秒の飛び越し走査画像を復号する際に、フレームＰ２６のボトムフィールドが第１のフレームメモリ１０から読み出されて表示されるのと同時に、フレームＢ２７が復号されて第１の表示用メモリ２１に記憶される。同様に、フレームＢ２７のボトムフィールドが第１の表示用メモリ２１から読み出されるのと同時に、フレームＢ２８が復号されて第２の表示用メモリ２２に記憶される。このような動作により、表示用メモリに記憶された復号画像データが、表示のために読み出される前に、次の復号画像データで書きつぶされることの無いように構成されている。
【００２２】
【発明が解決しようとする課題】
このような、従来の画像復号化装置においては、現行のテレビ放送の信号で用いられている、５９．９４フィールド／秒の飛び越し走査画像を符号化したビデオＥＳを、復号化する際には問題がないものの、５９．９４フレーム／秒の順次走査画像を符号化したビデオＥＳとの切り替わり時点において、問題点を生ずる。すなわち、図１９のタイミングチャートに示したように、フレームＰ２９のトップフィールドを表示した次の、垂直同期期間において、フレームＩ０が表示されてしまい、フレームＰ２９のボトムフィールドが表示されない。
【００２３】
本発明は、上記問題点に鑑み、画像復号化装置の入力が、５９．９４フィールド／秒の飛び越し走査画像を符号化したビデオＥＳと、５９．９４フレーム／秒の順次走査画像を符号化したビデオＥＳとの間で切り替わっても、切り替わり時点において、表示できないフィールドを生じることなく、全画像情報を復号できる画像復号化装置及び多重化装置を提供することを目的とする。
【００２４】
【課題を解決するための手段】
請求項１の本発明は、飛び越し走査画像が符号化された第１ビットストリーム、および、順次走査画像が符号化された第２ビットストリームを入力する入力手段と、前記入力手段が入力した前記第１ビットストリームおよび前記第２ビットストリームに含まれる個々の画像フレームデータの復号を、復号画像の表示に用いる垂直同期信号に同期して開始する復号手段と、復号された前記画像フレームデータを蓄積するメモリと、前記復号手段に復号されるビットストリームが前記第１ビットストリームから前記第２ビットストリームへ変更されたことを検出し、その検出情報をモード遷移情報として出力するモード遷移検出手段と、前記モード遷移検出手段からの前記モード遷移情報を入力し、そのモード遷移情報に基づいて前記復号手段を制御し、前記第２ビットストリームにおいて最初の双方向予測符号化された画像フレームデータより前に存在する画像フレームデータの復号開始時間を前記垂直同期信号における１垂直期間以上で前記メモリに蓄積された画像フレームデータが読み出される前に次の画像フレームデータで書きつぶされない時間だけ遅らせる制御手段とを備えたことを特徴とする画像復号化装置である。
【００２５】
請求項１２の本発明は、飛び越し走査画像を入力して、第１ビットストリームに符号化し、また、順次走査画像を入力して、第２ビットストリームに符号化する符号化手段と、前記符号化手段が符号化した前記第１ビットストリームおよび前記第２ビットストリームの各画像フレームデータに表示時刻基準信号を多重化する多重化手段と、前記符号化手段に符号化されたビットストリームが前記第２ビットストリームから前記第１ビットストリームへ変更されたこと、および前記飛び越し走査画像において同一フレームのトップフィールド画像がボトムフィールド画像より前の時刻に入力されたことを検出し、その検出情報をモード遷移情報として前記多重化手段へ出力するモード遷移検出手段とを備え、前記多重化手段は、前記モード遷移情報に基づき前記第１ビットストリームの最先頭の画像フレームデータに、そのデータの復号画像フレームデータが前記飛び越し走査画像における３垂直同期期間だけ遅れて表示されるように、前記表示時刻基準信号の値を変更して多重化することを特徴とする多重化装置である。
【００２６】
【発明の実施の形態】
以下に、本発明の画像復号化装置及び多重化装置を図面を参照して説明する。
【００２７】
（実施の形態１）
図１に、本発明の実施の形態１の画像復号化装置のブロック図を示す。図１において、２〜７、９〜１１、２０〜３３は図１８に示す従来例と同一であり、８は第１のシーケンサ、１２はモード遷移検出手段である。
【００２８】
入力端子３０を介して、画像復号化装置に入力されたビデオＰＥＳは、ＥＳ分離手段３１でビデオＥＳのみが分離されて、ストリームバッファメモリ２に蓄積される。また、ＥＳ分離手段３１は、ＰＴＳを抜き取り、同期出画制御手段３３に出力する。同期出画制御手段３３は、入力端子３２を介して入力されるＰＣＲと、ＥＳ分離手段３１から入力されたＰＴＳとを用いて、復号画像の表示タイミングが、ＰＴＳで指定されたタイミングになるように第１のシーケンサ８を制御する。
【００２９】
ストリームバッファメモリ２に蓄積されたビデオＥＳは、可変長復号手段３に入力される。可変長復号手段３は、ＭＰＥＧ規格に沿って、可変長符号化されたビデオＥＳを、もとの符号に戻し、量子化ＤＣＴ係数データを逆量子化手段４に出力するとともに、必要な情報をヘッダ解析手段７に出力する。逆量子化手段４に入力された量子化ＤＣＴ係数データは、逆量子化手段４で逆量子化され、逆ＤＣＴ手段５で逆ＤＣＴ処理され、さらに、加算手段６で動き予測データと加算されて、復号画像データとなる。
【００３０】
この復号画像データは、第２のシーケンサ２０の制御により、第１のフレームメモリ１０、第２のフレームメモリ１１、第１の表示用メモリ２１、第２の表示用メモリ２２のうちで、最適なメモリに記憶される。動き補償の際に、参照画像として用いられるフレームの復号画像データは、第１のフレームメモリ１０または第２のフレームメモリ１１に記憶され、動き補償手段９に入力されて、動き予測データに変換される。参照画像として用いられないフレームの復号画像データは、第１の表示用メモリ２１または第２の表示用メモリ２２に記憶される。表示画像選択手段２４は、第２のシーケンサ２０の制御により、第１のフレームメモリ１０、第２のフレームメモリ１１、第１の表示用メモリ２１、第２の表示用メモリ２２に記憶された復号画像データのうち、適切なフレームを順次読み出して、出力端子２３に出力する。
【００３１】
ヘッダ解析手段７は、ビデオストリームに多重されたヘッダ情報から、フレームレートなどの原画の画像フォーマット、動き予測モード、ＤＣＴモード、動きベクトルなどの付加情報を解析し、解析結果を逆量子化手段４、逆ＤＣＴ手段５、動き補償手段９及びモード遷移検出手段１２に出力する。モード遷移検出手段１２は、ヘッダ解析手段７からのヘッダ情報の、必要なものを第１のシーケンサ８に出力すると同時に、５９．９４フィールド／秒の飛び越し走査画像を符号化したビデオＥＳから、５９．９４フレーム／秒の順次走査画像を符号化したビデオＥＳへの切り替わりを検出して、モード遷移情報として第１のシーケンサ８に出力する。第１のシーケンサ８は、モード遷移検出手段１２からのヘッダ情報、モード遷移情報及びタイミング生成手段２５からの垂直同期信号に基づき、可変長復号手段３、逆量子化手段４、逆ＤＣＴ手段５、動き補償手段９及び第２のシーケンサ２０を制御して、順次、復号及び表示動作を行わせる。
【００３２】
図２に、図１の本発明の実施の形態１の画像復号化装置の動作の一例を示すタイミングチャートを示す。図２において、１０３は、図１９に示す従来の画像復号化装置のタイミングチャートに示した垂直同期信号と同一のものである。２０１は復号区間、２０２は表示区間を示す。
【００３３】
図１、図２において、モード遷移検出手段１２は、５９．９４フィールド／秒の飛び越し走査画像を符号化したビデオＥＳから、５９．９４フレーム／秒の順次走査画像を符号化したビデオＥＳへの切り替わった最初のフレームＩ０を検出して、モード遷移情報を第１のシーケンサ８に出力する。第１のシーケンサ８は、モード遷移情報を受け取ると、次のフレームのデコード開始を、図２の２１０から２１１へ、１垂直同期期間だけ遅らせる。
【００３４】
図３に、この様な動作を行うための、第１のシーケンサ８の垂直同期パルス入力部分に設けられる回路の一例を示す。図３において、９０、９１は入力端子、９２はＳＲフリップフロップ（以下ＳＲ−ＦＦと略す）、９３は反転手段、９４はＯＲ演算手段、９５は出力端子である。
【００３５】
入力端子９０に垂直同期パルスが、また、入力端子９１にモード遷移情報のパルスが入力される。入力端子９１にモード遷移情報のパルスが入力されると、ＳＲ−ＦＦ９２の出力はＬになり、その結果ＯＲ演算手段９４の出力は、入力端子９０からの信号に関わらず、常にＨとなる。その場合の、入力端子９０に入った垂直同期パルスは、出力端子９５には出力されない。これ以降は、入力端子９０に入った垂直同期パルスがそのまま出力端子９５から出力される。第１のシーケンサ８は、この出力端子９５からの信号を基準として次のフレームの復号を開始する。
【００３６】
このような動作により、フレームＩ０の表示区間を１垂直同期期間遅らせることで、フレームＰ２９のボトムフィールドが抜けることなく、ストリーム内の全てのフレームを表示することが可能となる。
【００３７】
（実施の形態２）
図４に、本発明の実施の形態２の画像復号化装置のブロック図を示す。図４において、２〜１２、２０、２１、２３〜３３は図１に示す本発明の実施の形態１と同一であり、１３は遅延手段である。また、第２の表示用メモリ２２が削除され、第１の表示用メモリ２１の書き込み／読み出しアドレスの情報を伝える表示アドレス情報信号４００が、第２のシーケンサ２０から第１のシーケンサ８に入力される。遅延手段１３は、タイミング生成手段２５からの垂直同期信号から、第１の復号開始信号を作成して、第１のシーケンサ８に出力する。
【００３８】
図５に、図４の本発明の実施の形態２の画像復号化装置の動作の一例を示すタイミングチャートを示す。図５において、１０３は図１に示す本発明の実施の形態１のタイミングチャートに示した垂直同期信号と同一のものである。３０１は復号区間、３０２は表示区間、３０３は遅延手段１３から出力される、第１の復号開始信号を示す。
【００３９】
図４、図５において、遅延手段１３は、５９．９４フィールド／秒の飛び越し走査画像を符号化したビデオＥＳを復号している間は、垂直同期信号をそのまま第１のシーケンサ８に入力している。モード遷移検出手段１２は、５９．９４フレーム／秒の順次走査画像を符号化したビデオＥＳへの切り替わった最初のフレームＩ０を検出して、モード遷移情報を第１のシーケンサ８に出力する。第１のシーケンサ８は、モード遷移情報を受け取ると、遅延手段１３を制御して、第１の復号開始信号３０３を図５の３１１から３１２へ、所定の期間Ｔだけ遅延させるとともに、次のフレームのデコード開始を、図５の３１０から３１２へ、つまり、１垂直同期期間と所定の期間Ｔだけ遅らせる。このような動作により、フレームＰ２９のボトムフィールドを表示することが可能となる。
【００４０】
さらに、本発明の実施の形態２においては、フレームメモリの量を削減できる。図６に、５９．９４フィールド／秒の飛び越し走査画像を復号および表示する際の、第１の表示用メモリ２１の動作を概念的に示す。図６は、第１の表示用メモリ２１のアドレスを２次元で表現しており、この２次元表現は、復号画像データのそれぞれの画素データの、画面上の位置と一致しているものとする。すなわち、復号画像データの１ライン目のデータが図６の一番上に記憶されており、最終ラインのデータが一番下に記憶されているものとする。
【００４１】
５０２は、フレームＢ２７のボトムフィールドが、第１の表示用メモリ２１から読み出される際の、読み出しアドレスを示すリードポインタである。また、５０１は、フレームＢ２８が復号されて、第１の表示用メモリ２１に記憶される際の、書き込みアドレスを示すライトポインタである。これらのポインタは、第２のシーケンサ２０に制御されており、その値を表示アドレス情報信号４００として、第１のシーケンサ８に出力する。図６においては、これらのポインタはともに、上端から読み出し／書き込みを開始し、下に向かって進む。下端までポインタが進んだ時点で、１フレームの処理を終了する。
【００４２】
第１のシーケンサ８は、ライトポインタ５０１の値とリードポインタ５０２の値の差が、所定の値以下になった場合、すなわち、フレームＢ２７の復号画像データが表示される前に、フレームＢ２８の復号画像データで書きつぶされそうになった場合には、ポインタの差が所定の値以上になるまで、復号、すなわち書き込み動作を一時停止させる。
【００４３】
フレームＢ２８の復号画像データがフレーム符号化されたＥＳであるため、ライトポインタ５０１は、図５の３１３から３１５までの時間で、図６の上端から下端まで順に進んでいく。一方、フレームＢ２８の復号画像データの表示は飛び越し走査の表示となるため、リードポインタ５０２は、図５の３１６から３１３までの時間で、図６の上端から下端まで、トップフィールドのみを読み出し、その後、図５の３１３から３１４までの時間で、ボトムフィールドのみを読み出す。従って、フレームＢ２７の読み出しと、フレームＢ２８の書き込みが同時に発生する。この場合、図５の３１３から３１４までの時間において、読み出しがフィールド単位、すなわち１ラインおきであるのに対し、書き込みはフレーム単位であるため、基本的にはリードポインタの進行がライトポインタの進行よりも速い。従って、復号画像データの書きつぶしが発生しそうになった時点で、復号動作が一時停止しても、復号停止による影響は発生しない。このような動作により、第１の表示用メモリ２１に記憶された復号画像データが、表示のために読み出される前に、次の復号画像データで書きつぶされることの無いように構成されている。
【００４４】
図７に、５９．９４フレーム／秒の順次走査画像を復号および表示する際の、第１の表示用メモリ２１の動作を概念的に示す。図７においても、図６と同様に、第１の表示用メモリ２１のアドレスを２次元で表現しており、この２次元表現は、復号画像データのそれぞれの画素データの、画面上の位置と一致しているものとする。
【００４５】
６０２は、フレームＢ１が、第１の表示用メモリ２１から読み出される際の、読み出しアドレスを示すリードポインタである。また、６０１は、フレームＢ２が復号されて、第１の表示用メモリ２１に記憶される際の、書き込みアドレスを示すライトポインタである。
【００４６】
フレームＢ２の復号画像データがフレーム符号化されたＥＳであるため、ライトポインタ６０１は、図５の３２０から３２１までの時間で、図７の上端から下端まで順に進んでいく。一方、フレームＢ１の復号画像データの表示のため、リードポインタ６０２は、図５の３２２から３２３までの時間で、図７の上端から下端まで順に進んでいく。従って、フレームＢ１の読み出しと、フレームＢ２の書き込みが同時に発生する。この場合、図５の３２２から３２１までの時間において、ライトポインタ６０１の進行は、リードポインタ６０２の進行に対して、遅延手段１３で設定される所定の遅延時間Ｔ、すなわち図５の３１１から３１２までの時間だけの余裕がある。このような動作により、５９．９４フレーム／秒の順次走査画像を復号する際も、第１の表示用メモリ２１に記憶された復号画像データが、表示のために読み出される前に、次の復号画像データで書きつぶされるということは無い。
【００４７】
本発明の実施の形態２は、画像復号化装置の入力が５９．９４フィールド／秒の飛び越し走査画像を符号化したビデオＥＳから５９．９４フレーム／秒の順次走査画像を符号化したビデオＥＳへ切り替わっても、それぞれのビデオＥＳの復号において、必要な表示用メモリの容量を削減した上で、切り替わり時点において、表示できないフィールドを生じることなく、全画像情報を復号できる画像復号化装置を提供可能とする。
【００４８】
（実施の形態３）
図８に、本発明の実施の形態３の画像復号化装置のブロック図を示す。図８において、２〜１２、２０〜２４、３０〜３３は図４に示す本発明の実施の形態２と同一であり、１４は復号タイミング選択手段、２６は第２のタイミング生成手段である。第２のタイミング生成手段２６は、垂直同期信号１０３以外に、第２の復号開始信号７００、第３の復号開始信号７０１、第４の復号開始信号７０２を作成して、復号タイミング選択手段１４に出力する。第２の復号開始信号７００は飛び越し走査画像のトップ・フィールドの復号開始時刻を示す信号、第３の復号開始信号７０１は同じくボトム・フィールドの復号開始時刻を、また、第４の復号開始信号７０２は順次走査画像の復号開始時刻を示す信号である。また、第１のシーケンサ８から復号タイミング選択手段１４への入力７８０はリセットパルス、７８１は制御信号である。
【００４９】
図９に、図８の本発明の実施の形態３の画像復号化装置において、５９．９４フィールド／秒で、トップ・フィールド・ファーストの飛び越し走査画像を復号した後に、５９．９４フレーム／秒の順次走査画像を復号した場合の動作の一例を示すタイミングチャートを示す。図９において、１０３、３０１、３０２それぞれは、図５に示す本発明の実施の形態２のタイミングチャートに示した垂直同期信号、復号区間、表示区間と同一のものである。７００は第２の復号開始信号、７０１は第３の復号開始信号、７０２は第４の復号開始信号、７５０は復号タイミング選択手段１４の出力である。また、飛び越し走査画像を符号化したビデオＥＳの最後には、シーケンスエンドコード７４０が付加されているものとする。また、この実施の形態３では、ビデオＥＳのシーケンスレイヤが復号されて、原画像のフォーマットがわかるまでは、初期設定として、第２の復号開始信号７００を復号の開始時刻の基準として用いるものとする。
【００５０】
図８、図９において、復号タイミング選択手段１４は、５９．９４フィールド／秒の飛び越し走査画像を符号化したビデオＥＳを復号している間は、第２の復号開始信号７００を第１のシーケンサ８に出力している。モード遷移検出手段１２は、シーケンスエンドコード７４０を検出すると、シーケンスエンドコード検出情報（以下、ＳＥＣ検出情報と略する）を第１のシーケンサ８に出力する。第１のシーケンサ８は、ＳＥＣ検出情報を入力すると、そのビデオＥＳの復号を一旦終了させ、復号タイミング選択手段１４にリセットパルスを出力する。復号タイミング選択手段１４は、リセットパルスを入力した直後から、初期設定である、第２の復号開始信号７００を出力する。
【００５１】
その後、第１のシーケンサ８は、次に入ってきたビデオＥＳを、第２の復号開始信号７００を基準として、図９の７２０から復号する。このときに、モード遷移検出手段１２は、５９．９４フレーム／秒の順次走査画像を符号化したビデオＥＳへ切り替わった最初のフレームＩ０を検出して、モード遷移情報を第１のシーケンサ８に出力する。この際、実施の形態３においては、前にデコードしていたビデオＥＳが、飛び越し走査のボトム・フィールド・ファーストのビデオＥＳであったかどうかの情報を、フレーム遷移情報に含めて、第１のシーケンサ８に出力するものとする。
【００５２】
第１のシーケンサ８は、モード遷移情報を受け取ると、復号タイミング選択手段１４を、制御信号７８１により制御して、第４の復号開始信号７０２を出力させる。この際に、復号タイミング選択手段１４は、第１のシーケンサ８から入力される制御信号７８１を、垂直同期信号１０３の立ち上がりでラッチするように構成する。このとき、第１のシーケンサ８から、制御信号７８１により送られた内容は、その次の垂直同期期間から、復号タイミング選択手段１４の動作に反映される。従って、復号タイミング選択手段１４の出力７５０は、図９のタイミング７２１以降から、第４の復号開始信号７０２を出力するようになる。
【００５３】
一方、第１のシーケンサ８は、復号タイミング選択手段１４の出力７５０に基づいて復号を行うが、モード遷移情報を受け取ると、前にデコードしていたビデオＥＳが、飛び越し走査のボトム・フィールド・ファーストのビデオＥＳで無ければ、次のフレームのデコード開始を、復号開始信号１回分待ってから行う。図９においては、信号７２２を１回分飛ばして、次の７２３からデコードを開始する。このような動作により、フレームＰ２９のボトムフィールドを表示することが可能となる。
【００５４】
図１０に、図８の本発明の実施の形態３の画像復号化装置において、５９．９４フィールド／秒で、ボトム・フィールド・ファーストの飛び越し走査画像を復号した後に、５９．９４フレーム／秒の順次走査画像を復号した場合の動作の一例を示すタイミングチャートを示す。図１０において、７００、７０１、７０２、１０３、７４０それぞれは、図９に示すタイミングチャートに示したものと同一である。７１０は復号区間、７１１は表示区間である。
図８、図１０において、復号タイミング選択手段１４は、５９．９４フィールド／秒の飛び越し走査画像を符号化したビデオＥＳを復号している間は、ボトム・フィールド・ファーストのため、第３の復号開始信号７０１を第１のシーケンサ８に出力する。モード遷移検出手段１２は、シーケンスエンドコード７４０を検出すると、ＳＥＣ検出情報を第１のシーケンサ８に出力する。第１のシーケンサ８は、ＳＥＣ検出情報を入力すると、そのビデオＥＳの復号を一旦終了させ、復号タイミング選択手段１４にリセットパルスを出力する。復号タイミング選択手段１４は、リセットパルスを入力した直後から、初期設定である、第２の復号開始信号７００を出力する。
【００５５】
その後、第１のシーケンサ８は、次に入ってきたビデオＥＳを、第２の復号開始信号７００を基準として、図１０の７３０から復号する。このときに、モード遷移検出手段１２は、５９．９４フレーム／秒の順次走査画像を符号化したビデオＥＳへ切り替わった最初のフレームＩ０を検出して、モード遷移情報を第１のシーケンサ８に出力する。
【００５６】
第１のシーケンサ８は、モード遷移情報を受け取ると、復号タイミング選択手段１４を、制御信号７８１により制御して、第４の復号開始信号７０２を出力させる。この際に、復号タイミング選択手段１４は、第１のシーケンサ８から入力される制御信号７８１を、垂直同期信号１０３の立ち上がりでラッチするように構成する。このとき、第１のシーケンサ８から、制御信号７８１により送られた内容は、その次の垂直同期期間１０３から、復号タイミング選択手段１４の動作に反映される。従って、復号タイミング選択手段１４の出力７５１は、図１０のタイミング７３１以降から、第４の復号開始信号７０２を出力するようになる。
【００５７】
一方、第１のシーケンサ８は、復号タイミング選択手段１４の出力７５１に基づいて復号を行わせる。図１０の場合は、前にデコードしていたビデオＥＳが、飛び越し走査のボトム・フィールド・ファーストであるため、モード遷移情報を受け取っても、次のフレームの復号を、次の復号開始信号で行う。図１０においては、信号７３２からすぐに復号を開始する。このような動作により、ボトム・フィールド・ファーストのビデオＥＳから順次走査のビデオＥＳへの切り替わりで、逆にフレームを多く表示することを防ぐことが可能となる。
【００５８】
以上のように、実施の形態３は、飛び越し走査のビデオＥＳから順次走査のビデオＥＳへの切り替わりにおいて、飛び越し走査のビデオＥＳが、トップ・フィールド・ファーストでも、ボトム・フィールド・ファーストでも、ビデオＥＳの切り替わり時点で、全てのフレームを表示でき、かつ特定のフレームが繰り返し表示されない画像復号化装置を提供可能とする。さらに、ビデオＥＳの切り替わり時点に、シーケンスエンドコードが挿入されているストリームに対応可能である。さらに、復号開始信号の選択を垂直同期信号１０３に同期して行うことで、復号を待つ回数が、復号タイミング選択手段１４の出力信号の、１パルス以上にならないようになり、回路の構成を簡略にすることができる。
【００５９】
（実施の形態４）
図１１および１２に、本発明の実施の形態４の画像復号化装置を用いたセットトップボックスの構成例を示す。なお、図１２は、図１１の画像復号化装置４０を構成する各構成手段のブロック図である。図１１において、４０〜４４は図１７に示す従来例と同一であり、また、図１２において、２〜３３は図７に示す本発明の実施の形態３と同一である。さらに、図１２において、３５は第２の同期出画制御手段、９００はモード遷移情報である。
【００６０】
図１３に、図１２の本発明の実施の形態４の画像復号化装置４０において、５９．９４フレーム／秒の順次走査画像を復号した後に、５９．９４フィールド／秒で、トップ・フィールド・ファーストの飛び越し走査画像を復号した場合の動作の一例を示すタイミングチャートを示す。図１３において、７００、７０１、７０２、１０３それぞれは、図９に示す本発明の実施の形態３のタイミングチャートに示したものと同一である。９１０は復号区間、９１１は表示区間、９５０は復号タイミング選択手段１４の出力である。また、図１３は、図９に示す本発明の実施の形態３のタイミングチャートとは異なり、順次走査画像を符号化したビデオＥＳの最後に、シーケンスエンドコードが付加されていない場合の例である。
【００６１】
図１２、図１３において、復号タイミング選択手段１４は、５９．９４フレーム／秒の順次走査画像を符号化したビデオＥＳを復号している間は、第４の復号開始信号７０２を第１のシーケンサ８に出力する。第１のシーケンサ８は、この復号タイミング選択手段１４の出力を基準に、入力されたビデオＥＳを復号する。
【００６２】
モード遷移検出手段１２は、５９．９４フレーム／秒の順次走査画像を符号化したビデオＥＳから、５９．９４フィールド／秒の飛び越し走査画像を符号化したビデオＥＳへの切り替わった最初のフレームＩ０を検出して、モード遷移情報を第１のシーケンサ８に出力する。
【００６３】
第１のシーケンサ８は、モード遷移情報を受け取ると、復号タイミング選択手段１４を、制御信号７８１により制御して、第２の復号開始信号７００を出力させる。この際に、復号タイミング選択手段１４は、第１のシーケンサ８から入力される制御信号７８１を、垂直同期信号１０３の立ち上がりでラッチするように構成する。このとき、第１のシーケンサ８から、制御信号７８１により送られた内容は、その次の垂直同期期間１０３から、復号タイミング選択手段１４の動作に反映される。従って、復号タイミング選択手段１４の出力９５０は、図１３のタイミング９２１以降から、第２の復号開始信号７００を出力するようになる。
【００６４】
一方、第１のシーケンサ８は、復号タイミング選択手段１４の出力９５０に基づいて復号を行うが、モード遷移情報を受け取ると、モード遷移後に復号するビデオＥＳが、飛び越し走査のボトム・フィールド・ファーストのビデオＥＳで無ければ、そのまま復号を行う。図１３においては、タイミング９２２から続きのフレームを復号する。
【００６５】
この際に、表示区間９１１において、９２３及び９２４のように、先に復号した５９．９４フレーム／秒の順次走査画像の最後のフレームＰ２９が３回繰り返して表示されることになる。これは、Ｂフレームの復号の際に、順次走査画像のビデオＥＳでも、飛び越し走査のビデオＥＳでも、少ないメモリで復号するためには避けられない動作である。すなわち、順次走査画像の復号で、フレームＢ２８の復号をタイミング９２５で開始し、表示をタイミング９２６で開始することと、飛び越し走査画像の復号で、フレームＢ１の復号をタイミング９２７で開始し、表示をタイミング９２８で開始することを両立しようとすると、タイミング９２３と９２４の時刻に空きが必ず発生する。ところが、上述したような復号／表示タイミングで動作することで、本発明の実施の形態２で述べたように、少ないメモりで復号することができる。
【００６６】
従って、メモリ容量の少ないメモリを有する画像復号化装置で、画像と音声の同期を合わせて表示しようとすると、ＰＴＳ同期出画を、図１３のタイミングに合わせて行う必要がある。このため、図１２の画像復号化装置４０においては、モード遷移検出手段１２は、モード遷移情報９００を第２の同期出画制御手段３５に出力する。第２の同期出画制御手段３５は、５９．９４フレーム／秒の順次走査画像を符号化したビデオＥＳから、５９．９４フィールド／秒の飛び越し走査画像を符号化したビデオＥＳへの切り替わりをモード遷移情報９００から検出し、ＰＴＳ同期出画が正常に行われているかどうかの判定、及びその結果に基づいて、タイミング９２３及び９２４においては復号が一時中止されるように、復号タイミングを制御する。このような動作により、フレームＰ２９が複数回表示されることに起因して、ＰＴＳ同期出画の動作が異常になることが回避される。ただし、後述するように、送信側の多重化装置においても対策を行うことが必要である。
【００６７】
図１４に、図１２の本発明の実施の形態４の画像復号化装置４０において、５９．９４フレーム／秒の順次走査画像を復号した後に、５９．９４フィールド／秒で、ボトム・フィールド・ファーストの飛び越し走査画像を復号した場合の動作の一例を示すタイミングチャートを示す。図１４において、７００、７０１、７０２、１０３それぞれは、図１３のタイミングチャートに示したものと同一である。９１２は復号区間、９１３は表示区間、９５１は復号タイミング選択手段１４の出力である。
【００６８】
図１２、図１４において、復号タイミング選択手段１４は、５９．９４フレーム／秒の順次走査画像を符号化したビデオＥＳを復号している間は、第４の復号開始信号７０２を第１のシーケンサ８に出力する。第１のシーケンサ８は、この復号タイミング選択手段１４の出力を基準に、入力されたビデオＥＳを復号する。
【００６９】
モード遷移検出手段１２は、５９．９４フレーム／秒の順次走査画像を符号化したビデオＥＳから、５９．９４フィールド／秒の飛び越し走査画像を符号化したビデオＥＳへの切り替わった最初のフレームＩ０を検出して、モード遷移情報を第１のシーケンサ８に出力する。
【００７０】
第１のシーケンサ８は、モード遷移情報を受け取ると、復号タイミング選択手段１４を、制御信号７８１により制御して、第３の復号開始信号７０１を出力させる。この際に、復号タイミング選択手段１４は、第１のシーケンサ８から入力される制御信号７８１を、垂直同期信号１０３の立ち上がりでラッチするように構成する。このとき、第１のシーケンサ８から、制御信号７８１により送られた内容は、その次の垂直同期期間１０３から、復号タイミング選択手段１４の動作に反映される。従って、復号タイミング選択手段１４の出力９５１は、図１４のタイミング９３１以降から、第３の復号開始信号７０１を出力するようになる。
【００７１】
一方、第１のシーケンサ８は、復号タイミング選択手段１４の出力９５１に基づいて復号を行うが、モード遷移情報を受け取ると、モード遷移後に復号するビデオＥＳが、飛び越し走査のボトム・フィールド・ファーストのビデオＥＳであれば、１垂直同期期間開けて、次のフレームから復号を行う。図１４においては、タイミング９３２から続きのフレームを復号する。
【００７２】
この際に、表示区間９１３において、９３３、９３４及び９３５の様に、先に復号した５９．９４フレーム／秒の順次走査画像の最後のフレームＰ２９が４回繰り返して表示されることになる。
【００７３】
従って、メモリ容量の少ないメモリを有する画像復号化装置で、画像と音声の同期を合わせて表示しようとすると、ＰＴＳ同期出画を、図１４のタイミングに合わせて行う必要がある。このため、図１２の画像復号化装置４０においては、モード遷移検出手段１２は、モード遷移情報９００を第２の同期出画制御手段３５に出力する。第２の同期出画制御手段３５は、５９．９４フレーム／秒の順次走査画像を符号化したビデオＥＳから、５９．９４フィールド／秒の飛び越し走査画像を符号化したビデオＥＳへの切り替わりをモード遷移情報９００から検出し、ＰＴＳ同期出画が正常に行われているかどうかの判定、及びその結果に基づいて、タイミング９３３、９３４及び９３５においては復号が一時中止されるように、復号タイミングを制御する。このような動作により、フレームＰ２９が複数回表示されることに起因する、ＰＴＳ同期出画の動作が異常になることが回避される。
【００７４】
上述したように、本発明の実施の形態４の画像復号化装置を用いることにより、５９．９４フレーム／秒の順次走査画像を符号化したビデオＥＳから、５９．９４フィールド／秒の飛び越し走査画像を符号化したビデオＥＳへの切り替わり時に、順次走査画像の最後のフレームが複数回表示されることに伴う、ＰＴＳ同期出画の動作異常を避けることが可能になる。ただし、送信側の多重化装置においても対策を施しておく必要がある。これについて、以下に記述する。
【００７５】
図１５に本発明の実施の形態４の多重化装置のブロック図を示す。図１５において、５０〜７２は図１６に示した従来例のブロック図と同一である。８０、８１はモード遷移検出手段である。
【００７６】
入力端子５０に入力された映像信号は、映像符号化手段５２で画像圧縮されて、ビデオＥＳとなり、ＰＥＳ化手段５４で、時間情報発生手段７０からのＰＴＳを多重され、ＰＥＳに変換される。ＰＥＳ化手段５４から出力されたビデオＰＥＳは、ＴＳ化手段５６で、時間情報発生手段７０からのＰＣＲを多重され、ＴＳに変換される。ＴＳ化手段５６から出力されたビデオＴＳは１次多重手段５８に入力される。
【００７７】
入力端子５１に入力された音声信号も、音声符号化手段５３、ＰＥＳ化手段５５、ＴＳ化手段５７で同様の処理を施され、１次多重手段５８に入力される。
【００７８】
１次多重手段５８は、入力されたビデオＴＳとオーディオＴＳを多重化して、番組ストリームを作成し、２次多重手段７１に出力する。
【００７９】
同様に、入力端子６０に入力された映像信号、および、入力端子６１に入力された音声信号も、上述したようにして処理を施され、１次多重手段６８でビデオＴＳとオーディオＴＳが多重化されて番組ストリームが作成され、２次多重手段７１に出力される。
【００８０】
２次多重手段７１は、入力された複数の番組ストリームを多重化して、ディジタル放送信号を作成し、出力端子７２から出力する。
【００８１】
モード遷移検出手段８０は、映像符号化手段５２からのヘッダ情報から、５９．９４フレーム／秒の順次走査画像から、５９．９４フィールド／秒の飛び越し走査画像への切り替わりを検出し、順次走査画像の最後に表示されるＰフレームのＰＴＳに対し、飛び越し走査画像の最初のＩフレームのＰＴＳを、飛び越し走査画像がトップ・フィールド・ファーストの時は３垂直同期期間だけ後の時刻、飛び越し走査画像がボトム・フィールド・ファーストの時は４垂直同期期間だけ後の時刻に、Ｉフレームが表示されるように、ＰＥＳ化手段５４及び５５を制御する。このことは、例えば単純にＰＥＳ化手段５４及び５５において、ビデオＥＳの切り替わり以降の、飛び越し走査の各フレームのデータをＰＥＳ化する際に、時間情報発生手段７０から入力されたＰＴＳに対して、３垂直同期期間分または４垂直同期期間分の時間に相当する値を、常にオフセット値として加算することによって実現できる。
【００８２】
以上のように構成した多重化装置と、図１２に示した画像復号化装置の組み合わせにより、５９．９４フレーム／秒の順次走査画像を符号化したビデオＥＳから、５９．９４フィールド／秒の飛び越し走査画像を符号化したビデオＥＳへの切り替わり時に、順次走査画像の最後のフレームが複数回表示されることに伴う、ＰＴＳ同期出画の動作異常を避けることが可能になる。
【００８３】
なお、上述した本発明の実施の形態においては、画像復号化装置の入力が、５９．９４フィールド／秒の飛び越し走査画像を符号化したビデオＥＳと、５９．９４フレーム／秒の順次走査画像を符号化したビデオＥＳとの間で切り替わった場合について説明したが、フレームレートはこの数字に限られるものではなく、タイミング図の関係が、実質上本発明の実施の形態に示したような関係になるものであれば、何でも良い。例えば、６０フィールド／秒の飛び越し走査画像を符号化したビデオＥＳと、５９．９４フレーム／秒の順次走査画像を符号化したビデオＥＳとの場合を考えても良いし、２９．９７フィールド／秒の飛び越し走査画像を符号化したビデオＥＳと、３０フレーム／秒の順次走査画像を符号化したビデオＥＳとの場合を考えても良い。
【００８４】
また、上述した実施の形態１から３では、図２、５、９、１０において、Ｉ０とＰ３との間に１垂直期間以上の期間を設けて、Ｂ１のフレームの復号遅らせるとしたが、上述した例に限らない。要するに、復号されるデータが飛び越し走査画像が符号化された第１ビットストリームから、順次走査画像が符号化された第２ビットストリームへ変更された場合、第２ビットストリームにおいて、はじめて出てくる双方向予測符号化された画像のデータより前のタイミングのその第２ビットストリームの所定のデータ復号の開始が垂直同期信号の１垂直期間以上遅れさえすればよい。
【００８５】
【発明の効果】
以上説明したところから明らかなように、本発明においては、画像復号化装置の入力が、飛び越し走査画像を符号化したビデオＥＳと、順次走査画像を符号化したビデオＥＳとの間で切り替わっても、切り替わり時点において、表示できないフィールドを生じることなく、全画像情報を復号することができる。
【００８６】
また、画像復号化装置の入力が、飛び越し走査画像を符号化したビデオＥＳと、順次走査画像を符号化したビデオＥＳとの間で切り替わっても、それぞれのビデオＥＳの復号において、表示用メモリの容量を削減した上で、切り替わり時点において、表示できないフィールドを生じることなく、全画像情報を復号することができる。
【００８７】
また、飛び越し走査のビデオＥＳから順次走査のビデオＥＳへの切り替わりにおいて、飛び越し走査のビデオＥＳが、トップ・フィールド・ファーストでも、ボトム・フィールド・ファーストでも、ビデオＥＳの切り替わり時点で、全てのフレームを表示でき、かつ、特定のフレームが繰り返し表示されることなく全画像情報を復号することが出来る。さらに、ビデオＥＳの切り替わり時点に、シーケンスエンドコードが挿入されているストリームに対応できる。
【００８８】
さらに、順次走査画像のビデオＥＳでも、飛び越し走査のビデオＥＳでも、少ないメモリで復号するためには、順次走査画像を符号化したビデオＥＳから、飛び越し走査画像を符号化したビデオＥＳへの切り替わり時に、先に復号した順次走査画像の最後のフレームが、繰り返して表示されることが避けられないが、このことに伴う、ＰＴＳ同期出画の動作異常を避けることができるという顕著な効果を得ることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１の画像復号化装置のブロック図
【図２】本発明の実施の形態１の画像復号化装置の動作の一例を示すタイミングチャート
【図３】本発明の実施の形態１における、第１のシーケンサ８の垂直同期パルス入力部分に設けられる回路の一例を示す回路図
【図４】本発明の実施の形態２の画像復号化装置のブロック図
【図５】本発明の実施の形態２の画像復号化装置の動作の一例を示すタイミングチャート
【図６】本発明の実施の形態２における、５９．９４フィールド／秒の飛び越し走査画像を復号および表示する際の第１の表示用メモリ２１の動作の一例を示す概念図
【図７】本発明の実施の形態２における、５９．９４フレーム／秒の順次走査画像を復号および表示する際の第１の表示用メモリ２１の動作の一例を示す概念図
【図８】本発明の実施の形態３の画像復号化装置のブロック図
【図９】本発明の実施の形態３の画像復号化装置において、５９．９４フィールド／秒で、トップ・フィールド・ファーストの飛び越し走査画像を復号した後に、５９．９４フレーム／秒の順次走査画像を復号した場合の動作の一例を示すタイミングチャート
【図１０】本発明の実施の形態３の画像復号化装置において、５９．９４フィールド／秒で、ボトム・フィールド・ファーストの飛び越し走査画像を復号した後に、５９．９４フレーム／秒の順次走査画像を復号した場合の動作の一例を示すタイミングチャート
【図１１】本発明の実施の形態４の画像復号化装置を用いたセットトップボックスのブロック図
【図１２】図１１の画像復号化装置４０を構成する各構成手段のブロック図
【図１３】本発明の実施の形態４の画像復号化装置において、５９．９４フレーム／秒の順次走査画像を復号した後に、５９．９４フィールド／秒で、トップ・フィールド・ファーストの飛び越し走査画像を復号した場合の動作の一例を示すタイミングチャート
【図１４】本発明の実施の形態４の画像復号化装置において、５９．９４フレーム／秒の順次走査画像を復号した後に、５９．９４フィールド／秒で、ボトム・フィールド・ファーストの飛び越し走査画像を復号した場合の動作の一例を示すタイミングチャート
【図１５】本発明の実施の形態４の多重化装置のブロック図
【図１６】従来の多重化装置のブロック図
【図１７】従来の画像復号化装置を用いたセットトップボックスのブロック図
【図１８】図１７の画像復号化装置４０を構成する各構成手段のブロック図
【図１９】従来の画像復号化装置の動作の一例を示すタイミングチャート
【符号の説明】
２ ストリームバッファメモリ
３ 可変長復号手段
４ 逆量子化手段
５ 逆ＤＣＴ手段
６ 加算手段
７ ヘッダ解析手段
８ 第１のシーケンサ
９ 動き補償手段
１０ 第１のフレームメモリ
１１ 第２のフレームメモリ
１２ モード遷移検出手段
１３ 遅延手段
１４ 復号タイミング選択手段
２０ 第２のシーケンサ
２１ 第１の表示用メモリ
２２ 第２の表示用メモリ
２３ 出力端子
２４ 表示画像選択手段
２５ タイミング生成手段
２６ 第２のタイミング生成手段
３０ 入力端子
３１ ＥＳ分離手段
３２ 入力端子
３３ 同期出画制御手段
３５ 第２の同期出画制御手段
３９ 第３のシーケンサ
４０ 画像復号化装置
４１ 入力端子
４２ システムデコーダ
４３ 音声復号化装置
４４ 出力端子
５０、５１ 入力端子
５２ 映像符号化手段
５３ 音声符号化手段
５４、５５ ＰＥＳ化手段
５６、５７ ＴＳ化手段
５８ １次多重手段
６０、６１ 入力端子
６２ 映像符号化手段
６３ 音声符号化手段
６４、６５ ＰＥＳ化手段
６６、６７ ＴＳ化手段
６８ １次多重手段
７０ 時間情報発生手段
７１ ２次多重手段
７２ 出力端子
８０、８１ モード遷移検出手段
９０、９１ 入力端子
９２ ＳＲフリップフロップ
９３ 反転手段
９４ ＯＲ演算手段
９５ 出力端子
１０１ 復号区間
１０２ 表示区間
１０３ 垂直同期信号
２０１ 復号区間
２０２ 表示区間
３０１ 復号区間
３０２ 表示区間
３０３ 第１の復号開始信号
４００ 表示アドレス情報信号
５０１ ライトポインタ
５０２ リードポインタ
６０１ ライトポインタ
６０２ リードポインタ
７００ 第２の復号開始信号
７０１ 第３の復号開始信号
７０２ 第４の復号開始信号
７１０ 復号区間
７１１ 表示区間
７４０ シーケンスエンドコード
７５０ 復号タイミング選択手段１４の出力
７５１ 復号タイミング選択手段１４の出力
７８０ リセットパルス
７８１ 制御信号
９００ モード遷移情報
９１０ 復号区間
９１１ 表示区間
９１２ 復号区間
９１３ 表示区間
９５０ 復号タイミング選択手段１４の出力
９５１ 復号タイミング選択手段１４の出力

Claims (15)

1. 飛び越し走査画像が符号化された第１ビットストリーム、および順次走査画像が符号化された第２ビットストリームを入力する入力手段と、
   前記入力手段が入力した前記第１ビットストリームおよび前記第２ビットストリームに含まれる個々の画像フレームデータの復号を、復号画像の表示に用いる垂直同期信号に同期して開始する復号手段と、
   復号された前記画像フレームデータを蓄積するメモリと、
   前記復号手段に復号されるビットストリームが前記第１ビットストリームから前記第２ビットストリームへ変更されたことを検出し、その検出情報をモード遷移情報として出力するモード遷移検出手段と、
   前記モード遷移検出手段からの前記モード遷移情報に基づいて前記復号手段を制御し、前記第２ビットストリームにおいて最初の双方向予測符号化された画像フレームデータより前に存在する画像フレームデータの復号開始時間を前記垂直同期信号における１垂直期間以上で前記メモリに蓄積された画像フレームデータが読み出される前に次の画像フレームデータで書きつぶされない時間だけ遅らせる制御手段と
   を備えたことを特徴とする画像復号化装置。
2. 前記制御手段は、前記メモリから読み出す画像フレームデータの読み出し位置と、前記メモリに蓄積される次の画像フレームデータの書き込み位置とを検出し、前記第２ビットストリームにおいて最初の双方向予測符号化された画像フレームデータより前に存在する画像フレームデータの復号開始時間を前記垂直同期信号における１垂直期間以上で前記メモリの読み出し位置より前記書き込み位置が先行しない範囲に遅らせる
   ことを特徴とする請求項１記載の画像復号化装置。
3. 前記第１ビットストリームのトップフィールドの復号開始を指示する第１タイミング信号、前記第１ビットストリームのボトムフィールドの復号開始を指示する第２タイミング信号、および、前記第２ビットストリームの順次走査フレームの復号開始を指示する第３タイミング信号を出力するタイミング信号発生手段と、
   前記モード遷移検出手段からの前記モード遷移情報に基づいて、前記タイミング信号発生手段からの前記第１、第２または第３タイミング信号のいずれかを選択する選択手段とを備え、
   前記モード遷移検出手段は、前記第１ビットストリームのトップフィールドの画像と、ボトムフィールドの画像のいずれが先の時刻の画像であるのかを検出し、その検出結果をフィールド順情報として出力し、
   前記選択手段は、前記第１ビットストリームを復号する際には前記第１タイミング信号もしくは前記第２タイミング信号を選択し、前記第２ビットストリームにおける最初の画像フレームデータを復号したのちに前記第３タイミング信号を選択して前記制御手段に出力し、
   前記制御手段は、前記第２ビットストリームにおいて最初の双方向予測符号化された画像フレームデータより前に存在する画像フレームデータの復号開始時間を前記フィールド順情報の内容に対応して変化させる
   ことを特徴とする請求項１記載の画像復号化装置。
4. 前記第１ビットストリームの前記トップフィールドの画像が前記ボトムフィールドの画像より先の時刻の画像である場合、
   前記選択手段は、前記第２ビットストリームにおける最初の画像フレームデータを復号する時点では前記第１または第２タイミング信号を選択しており、前記最初の画像フレームデータを復号したのちに、復号画像の表示に用いる垂直同期信号に同期して前記第３タイミング信号を選択し、
   前記制御手段は、前記第３タイミング信号が選択された後、前記第２ビットストリームにおいて最初の双方向予測符号化された画像フレームデータより前に存在する画像フレームデータの復号開始時間を前記第３タイミング信号における１垂直期間だけ遅らせるとともに、前記第２ビットストリームの次の画像フレームデータの復号開始時間を、前記第３タイミング信号に同期させる
   ことを特徴とする請求項３記載の画像復号化装置。
5. 前記第１ビットストリームの前記ボトムフィールドの画像が前記トップフィールドの画像より前の時刻の画像である場合、
   前記選択手段は、前記第２ビットストリームにおける最初の画像フレームデータを復号する時点では前記第１または第２タイミング信号を選択しており、前記最初の画像フレームデータを復号したのちに、復号画像の表示に用いる垂直同期信号に同期して前記第３タイミング信号を選択し、
   前記制御手段は、前記第３タイミング信号が選択された後、前記第２ビットストリームにおいて最初の双方向予測符号化された画像フレームデータより前に存在する画像フレームデータの復号を前記第３タイミング信号に同期してすぐに開始するとともに、前記第２ビットストリームの次の画像フレームデータの復号を、前記第３タイミング信号に同期させる
   ことを特徴とする請求項３記載の画像復号化装置。
6. 飛び越し走査画像が符号化された第１ビットストリーム、および順次走査画像が符号化された第２ビットストリームを入力する入力手段と、
   前記入力手段が入力した前記第１ビットストリームおよび前記第２ビットストリームに含まれる個々の画像フレームデータの復号を、復号画像の表示に用いる垂直同期信号に同期して開始する復号手段と、
   前記復号手段に復号されるビットストリームが前記第２ビットストリームから前記第１ビットストリームへ変更されたことを検出し、その検出情報をモード遷移情報として出力するモード遷移検出手段と、
   前記第１ビットストリームのトップフィールドの復号開始を指示する第１タイミング信号、前記第１ビットストリームのボトムフィールドの復号開始を指示する第２タイミング信号、および、前記第２ビットストリームの順次走査フレームの復号開始を指示する第３タイミング信号を出力するタイミング信号発生手段と、
   前記モード遷移検出手段からの前記モード遷移情報に基づいて、前記第２ビットストリームを復号する際には前記第３タイミング信号を選択し、前記第１ビットストリームにおける最初の画像フレームデータを復号したのちに前記第１タイミング信号もしくは前記第２タイミング信号を選択する選択手段と
   前記モード遷移検出手段からの前記モード遷移情報を入力し、そのモード遷移情報に基づいて前記復号手段を制御し、前記第１ビットストリームにおいて最初の双方向予測符号化された画像フレームデータより前に存在する画像フレームデータの復号開始時間を遅らせる制御手段を備え、
   前記モード遷移検出手段は、前記第１ビットストリームのトップフィールドの画像と、ボトムフィールドの画像のいずれが先の時刻の画像であるのかを検出し、その検出結果をフィールド順情報として出力し、
   前記制御手段は、前記第１ビットストリームにおいて最初の双方向予測符号化された画像フレームデータより前に存在する画像フレームデータの復号開始時間を前記フィールド順情報の内容に対応して変化させる
   ことを特徴とする画像復号化装置。
7. 前記制御手段は、前記復号手段が復号した復号画像の表示時刻を表示時刻基準信号に同期させる制御手段であって、
   前記復号画像の表示時刻を前記表示時刻基準信号に同期させる動作を、少なくとも前記第２ビットストリームの最後の画像フレームデータが表示されている間は中止することを特徴とする請求項６記載の画像復号化装置。
8. 前記第１ビットストリームの前記トップフィールドの画像が前記ボトムフィールドの画像より先の時刻の画像である場合、
   前記選択手段は、前記第１ビットストリームにおける最初の画像フレームデータを復号する時点では前記第３タイミング信号を選択しており、前記最初の画像フレームデータを 復号したのちに、復号画像の表示に用いる垂直同期信号に同期して前記第１タイミング信号を選択し、
   前記制御手段は、前記第１タイミング信号が選択された後、前記第１ビットストリームにおいて最初の双方向予測符号化された画像フレームデータより前に存在する画像フレームデータの復号を前記第１タイミング信号に同期してすぐに開始するとともに、
   その後の前記第１ビットストリームに含まれる各画像フレームデータの復号を、前記第１タイミング信号に同期させる
   ことを特徴とする請求項６もしくは７記載の画像復号化装置。
9. 前記第１ビットストリームの前記ボトムフィールドの画像が前記トップフィールドの画像より前の時刻の画像である場合、
   前記選択手段は、前記第１ビットストリームにおける最初の画像フレームデータを復号する時点では前記第３タイミング信号を選択しており、前記最初の画像フレームデータを復号したのちに、復号画像の表示に用いる垂直同期信号に同期して前記第２タイミング信号を選択し、
   前記制御手段は、前記第２タイミング信号が選択された後、前記第１ビットストリームにおいて最初の双方向予測符号化された画像フレームデータより前に存在する画像フレームデータの復号開始時間を前記第２タイミング信号における１垂直期間だけ遅らせるとともに、その後の前記第１ビットストリームに含まれる各画像フレームデータの復号を、前記第２タイミング信号に同期させる
   ことを特徴とする請求項６もしくは７記載の画像復号化装置。
10. 前記第１のビットストリームの飛び越し走査画像は、１秒間のフィールド数が５９．９４もしくは６０の動画であり、前記第２のビットストリームの順次走査画像は、１秒間のフレーム数が５９．９４もしくは６０の動画であることを特徴とする請求項１から９のいずれかに記載の画像復号化装置。
11. 前記第１のビットストリームの飛び越し走査画像は、１秒間のフィールド数が２９．９７もしくは３０の動画であり、前記第２のビットストリームの順次走査画像は、１秒間のフレーム数が２９．９７もしくは３０の動画であることを特徴とする請求項１から９のいずれかに記載の画像復号化装置。
12. 飛び越し走査画像を入力して、第１ビットストリームに符号化し、また、順次走査画像を入力して、第２ビットストリームに符号化する符号化手段と、
    前記符号化手段が符号化した前記第１ビットストリームおよび前記第２ビットストリームの各画像フレームデータに表示時刻基準信号を多重化する多重化手段と、
    前記符号化手段に符号化されたビットストリームが前記第２ビットストリームから前記第１ビットストリームへ変更されたこと、および前記飛び越し走査画像において同一フレームのトップフィールド画像がボトムフィールド画像より前の時刻に入力されたことを検出し、その検出情報をモード遷移情報として前記多重化手段へ出力するモード遷移検出手段とを備え、
    前記多重化手段は、前記モード遷移情報に基づき前記第１ビットストリームの最先頭の画像フレームデータに、そのデータの復号画像フレームデータが前記飛び越し走査画像における３垂直同期期間だけ遅れて表示されるように、前記表示時刻基準信号の値を変更して多重化する
    ことを特徴とする多重化装置。
13. 飛び越し走査画像を入力して、第１ビットストリームに符号化し、また、順次走査画像を入力して、第２ビットストリームに符号化する符号化手段と、
    前記符号化手段が符号化した前記第１ビットストリームおよび前記第２ビットストリームの各画像フレームデータに表示時刻基準信号を多重化する多重化手段と、
    前記符号化手段に符号化されたビットストリームが前記第２ビットストリームから前記第１ビットストリームへ変更されたこと、および前記飛び越し走査画像において同一フレームのボトムフィールド画像がトップフィールド画像より先の時刻に入力されたことを検出し、その検出情報をモード遷移情報として前記多重化手段へ出力するモード遷移検出手段とを備え、
    前記多重化手段は、前記モード遷移情報に基づき前記第１ビットストリームの最先の画像フレームデータに、そのデータの復号画像フレームデータが前記飛び越し走査画像における４垂直同期期間だけ遅れて表示されるように、前記表示時刻基準信号の値を変更して多重化する
    ことを特徴とする多重化装置。
14. 前記第１のビットストリームの飛び越し走査画像は、１秒間のフィールド数が５９．９４もしくは６０の動画であり、前記第２のビットストリームの順次走査画像は、１秒間のフレーム数が５９．９４もしくは６０の動画であることを特徴とする請求項１２または１３に記載の多重化装置。
15. 前記第１のビットストリームの飛び越し走査画像は、１秒間のフィールド数が２９．９７もしくは３０の動画であり、前記第２のビットストリームの順次走査画像は、１秒間のフレーム数が２９．９７もしくは３０の動画であることを特徴とする請求項１２または１３に記載の多重化装置。

Images