JP3680074B2 - 画像情報のエンコード方法と再生方法と再生装置 - Google Patents

Description

この発明は、主映像とともに同時再生される副映像などの画像情報をエンコードする画像情報のエンコード方法と画像情報をデコードして再生する再生装置と再生方法に関する。

近年、映像や音声用のデータをディジタルで記録した光ディスクを再生する動画対応の光ディスク再生装置が開発されており、例えば、映画ソフトやカラオケ等の再生装置として広く利用されている。また、最近では、動画に対するデータ圧縮方式がＭＰＥＧ（Moving Picture Image Coding Expert Group）方式として国際標準化されるに至っている。このＭＰＥＧ方式は映像データを可変長圧縮する方式である。

また、現在、ＭＰＥＧ２方式が国際標準化されつつあり、これに伴ってＭＰＥＧ圧縮方式に対応したシステムフォーマットもＭＰＥＧ２システムレイヤとして規定されている。このＭＰＥＧ２システムレイヤでは、動画、音声、その他のデータを同期して転送かつ再生できるように、それぞれのデータに基準時刻を用いて表現した転送開始時刻と再生開始時刻を設定することが規定されている。これらの情報により通常再生を行う。

映画の字幕やテレビ音量の設定値として表示されるイメージなど主映像にスーパーインポーズされる１または複数の副映像は、主映像に同期して再生されるようにランレングス圧縮されて記録されており、この副映像は複数のパックからなる副映像ユニットごとに、その副映像ユニットに付与されているタイムスタンプに基づいて再生されるようになっている。

この場合、対応する最初の副映像ユニットのタイムスタンプを零とすることができず、画素データの転送時間を考慮した値を記述しなければならなかった。

また、１つの副映像ユニットは複数のシーケンスから構成され、各シーケンスごとに各シーケンス順に付与される表示開始時刻としてのタイムスタンプとコマンド等からなる表示制御シーケンスから構成されている。

この発明は、同じ副映像データを複数の異なる時刻で表示する場合でも全く同じ表示制御シーケンステーブルを用いることができ、表示制御シーケンステーブルをリロケータブルとすることができることを目的とする。

この発明では、主映像情報とともに同時再生可能な副映像情報が副映像データーユニットを構成し、前記副映像データーユニットは一定のデーターサイズのパケットに分割され、前記副映像パケットはパケットヘッダを含み、前記パケットヘッダは表示時刻を表現したタイムスタンプを含み、更に前記副映像データーユニットは、副映像ユニットヘッダと、ランレングス圧縮された副映像の画素データーと、表示制御シーケンステーブルとを含み、
前記副映像ユニットヘッダは前記表示制御シーケンステーブルの開始アドレス情報を含み、前記ランレングス圧縮は前記副映像の同一画素データーの連続をデーター単位に変換して行われ、前記表示制御シーケンステーブルは、複数の表示制御シーケンスを含み、１個の上記表示制御シーケンスは、副映像の表示制御に関する開始時間を示す情報と、アドレス情報と、１以上の表示制御コマンドとを含み、前記アドレス情報は、次の表示制御シーケンスの位置を示すように構成し、前記副映像表示制御コマンドとして、前記副映像の画素データーと前記主映像間のコントラストをセットするコマンドが設定可能であり、前記コントラストを設定するコマンドによりパターン画素と強調画素と背景画素に対してコントラストの設定ができるように構成し前記副映像の画素データーをエンコード処理する事を特徴とする。

以上詳述したように、この発明によれば、同じ副映像データを複数の異なる時刻で表示する場合でも全く同じ表示制御シーケンステーブルを用いることができ、表示制御シーケンステーブルをリロケータブルとすることができる。

以下、図面を参照して、この発明の一実施の形態に係る画像情報のエンコード／デコードシステムを説明する。なお、重複説明を避けるために、複数の図面に渡り機能上共通する部分には共通の参照符号が用いられている。

図１〜図２７は、この発明の一実施の形態に係る画像情報のエンコード／デコードシステムを説明するための図である。

図１は、この発明を適用できる情報保持媒体の一例としての光ディスクＯＤの記録データ構造を略示している。

この光ディスクＯＤは、たとえば片面約５Ｇバイトの記憶容量をもつ両面貼合せディスクであり、ディスク内周側のリードインエリアからディスク外周側のリードアウトエリアまでの間に多数の記録トラックが配置されている。各トラックは多数の論理セクタで構成されており、それぞれのセクタに各種情報（適宜圧縮されたデジタルデータ）が格納されている。

図２は、図１の光ディスクＯＤに記録される映像（ビデオ）用ファイルのデータ構造を例示している。

図２に示すように、この映像用ファイルは、ファイル管理情報１および映像用データ２を含んでいる。映像用データ２は、ビデオデータユニット（ブロック）、オーディオデータユニット（ブロック）、副映像データユニット（ブロック）、そしてこれらのデータ再生を制御するために必要な情報（ＤＳＩ；Disk Search Information ）を記録したＤＳＩユニット（ブロック）から構成されている。各ユニットは、たとえばデータの種類毎に一定のデータサイズのパケットに、それぞれ分割される。ビデオデータユニット、オーディオデータユニットおよび副映像データユニットは、これらユニット群の直前に配置されたＤＳＩを基に、それぞれ同期をとって再生される。

すなわち、図１の複数論理セクタの集合体の中に、ディスクＯＤで使用されるシステムデータを格納するシステムエリアと、ボリューム管理情報エリアと複数ファイルエリアが、形成される。

上記複数のファイルエリアのうち、たとえばファイル１は、主映像情報（図中のＶＩＤＥＯ）、主映像に対して補助的な内容を持つ副映像情報（図中のＳＵＢ−ＰＩＣＴＵＲＥ）、音声情報（図中のＡＵＤＩＯ）、再生情報（図中のＰＬＡＹＢＡＣＫ ＩＮＦＯ．）等を含んでいる。

図３は、図２で例示したデータ構造のうち、エンコード（ランレングス圧縮）された副映像情報のパックの論理構造を例示している。

図３の上部に示すように、ビデオデータに含まれる副映像情報の１パックはたとえば２０４８バイト（２ｋＢ）で構成される。この副映像情報の１パックは、先頭のパックのヘッダのあとに、１以上の副映像パケットを含んでいる。パックヘッダには、それぞれファイル全体の再生を通じて基準となる時刻（ＳＣＲ； System Clock Reference）が付与されており、同じ時刻のＳＣＲが付与されている副映像情報のパック内の副映像パケットが後述するデコーダへ転送されるようになっている。第１の副映像パケットは、そのパケットのヘッダのあとに、ランレングス圧縮された副映像データ（ＳＰ ＤＡＴＡ１）を含んでいる。同様に、第２の副映像パケットは、そのパケットのヘッダのあとに、ランレングス圧縮された副映像データ（ＳＰ ＤＡＴＡ２）を含んでいる。

このような複数の副映像データ（ＳＰ ＤＡＴＡ１、ＳＰ ＤＡＴＡ２、…）をランレングス圧縮の１ユニット（１単位）分集めたもの、すなわち副映像データユニット３０に、副映像ユニットヘッダ３１が付与される。この副映像ユニットヘッダ３１のあとに、１ユニット分の映像データ（たとえば２次元表示画面の１水平ライン分のデータ）をランレングス圧縮した画素データ３２、および各副映像パックの表示制御シーケンス情報を含むテーブル３３が続く。

換言すると、１ユニット分のランレングス圧縮データ３０は、１以上の副映像パケットの副映像データ部分（ＳＰ ＤＡＴＡ１、ＳＰ ＤＡＴＡ２、…）の集まりで形成されている。この副映像データユニット３０は、副映像表示用の各種パラメータが記録されている副映像ユニットヘッダＳＰＵＨ３１と、ランレングス符号からなる表示データ（圧縮された画素データ）ＰＸＤ３２と、表示制御シーケンステーブルＤＣＳＱＴ３３とで構成されている。

図４は、図３で例示した１ユニット分のランレングス圧縮データ３０のうち、副映像ユニットヘッダ３１の内容の一部を例示している（ＳＰＵＨ３１の他部については図１９参照）。ここでは、主映像（たとえば映画の映像本体）とともに記録・伝送（通信）される副映像（たとえば主映像の映画のシーンに対応した字幕）のデータに関して、説明を行なう。

図４に示すように、副映像ユニットヘッダＳＰＵＨ３１には、画素データ３２のＴＶ画面上での表示サイズすなわち表示開始位置および表示範囲（幅と高さ）ＳＰＤＳＺと、副映像データパケット内の表示制御シーケンステーブル３３の記録開始位置ＳＰＤＣＳＱＴＡとが、記録されている。

もう少し具体的にいうと、副映像ユニットヘッダＳＰＵＨ３１には、図４に示すように、以下の内容を持つ種々なパラメータ（ＳＰＤＤＡＤＲなど）が記録されている：
（１）この表示データのモニタ画面上における表示開始位置および表示範囲 （幅および高さ）を示す情報（ＳＰＤＳＺ）と；
（２）パケット内の表示制御シーケンステーブル３３の記録開始位置情報（副映像の表示制御シーケンステーブル開始アドレスＳＰＤＣＳＱＴＡ）。

図３または図４に示す副映像の画素データ（ランレングスデータ）３２は、図５に示すランレングス圧縮規則１〜６によって、その１単位のデータ長（可変長）が決まる。そして、決まったデータ長でエンコード（ランレングス圧縮）およびデコード（ランレングス伸張）が行われる。

図５は、図４で例示した副映像画素データ（ランレングスデータ）３２部分が２ビットの画素データで構成される場合において、一実施の形態に係るエンコード方法で採用されるランレングス圧縮規則１〜６を説明するものである。

また、図６は、図４で例示した副映像画素データ（ランレングスデータ）３２部分が２ビットの画素データで構成される場合において、上記圧縮規則１〜６を具体的に説明するための図である。

図５の１列目に示す規則１では、同一画素が１〜３個続く場合、４ビットデータでエンコード（ランレングス圧縮）のデータ１単位を構成する。この場合、最初の２ビットで継続画素数を表し、続く２ビットで画素データ（画素の色情報など）を表す。

たとえば、図６の上部に示される圧縮前の映像データＰＸＤの最初の圧縮データ単位ＣＵ０１は、２個の２ビット画素データｄ０、ｄ１＝（００００）ｂを含んでいる（ｂはバイナリであることを指す）。この例では、同一の２ビット画素データ（００）ｂが２個連続（継続）している。

この場合、図６の下部に示すように、継続数「２」の２ビット表示（１０）ｂと画素データの内容（００）ｂとを繋げたｄ０、ｄ１＝（１０００）ｂが、圧縮後の映像データＰＸＤのデータ単位ＣＵ０１＊となる。

換言すれば、規則１によってデータ単位ＣＵ０１の（００００）ｂがデータ単位ＣＵ０１＊の（１０００）ｂに変換される。この例では実質的なビット長の圧縮は得られていないが、たとえば同一画素（００）ｂが３個連続するＣＵ０１＝（００００００）ｂならば、圧縮後はＣＵ０１＊＝（１１００）ｂとなって、２ビットの圧縮効果が得られる。

図５の２列目に示す規則２では、同一画素が４〜１５個続く場合、８ビットデータでエンコードのデータ１単位を構成する。この場合、最初の２ビットで規則２に基づくことを示す符号化ヘッダを表し、続く４ビットで継続画素数を表し、その後の２ビットで画素データを表す。

たとえば、図６の上部に示される圧縮前の映像データＰＸＤの２番目の圧縮データ単位ＣＵ０２は、５個の２ビット画素データｄ２、ｄ３、ｄ４、ｄ５、ｄ６＝（０１０１０１０１０１）ｂを含んでいる。この例では、同一の２ビット画素データ（０１）ｂが５個連続（継続）している。

この場合、図６の下部に示すように、符号化ヘッダ（００）ｂと、継続数「５」の４ビット表示（０１０１）ｂと画素データの内容（０１）ｂとを繋げたｄ２〜ｄ６＝（０００１０１０１）ｂが、圧縮後の映像データＰＸＤのデータ単位ＣＵ０２＊となる。

換言すれば、規則２によってデータ単位ＣＵ０２の（０１０１０１０１０１）ｂ（１０ビット長）がデータ単位ＣＵ０２＊の（０００１０１０１）ｂ（８ビット長）に変換される。この例では実質的なビット長圧縮分は１０ビットから８ビットへの２ビットしかないが、継続数がたとえば１５（ＣＵ０２の０１が１５個連続するので３０ビット長）の場合は、これが８ビットの圧縮データ（ＣＵ０２＊＝００１１１１０１）となり、３０ビットに対して２２ビットの圧縮効果が得られる。つまり、規則２に基づくビット圧縮効果は、規則１のものよりも大きい。しかし、解像度の高い微細な画像のランレングス圧縮に対応するためには、規則１も必要となる。

図５の３列目に示す規則３では、同一画素が１６〜６３個続く場合、１２ビットデータでエンコードのデータ１単位を構成する。この場合、最初の４ビットで規則３に基づくことを示す符号化ヘッダを表し、続く６ビットで継続画素数を表し、その後の２ビットで画素データを表す。

たとえば、図６の上部に示される圧縮前の映像データＰＸＤの３番目の圧縮データ単位ＣＵ０３は、１６個の２ビット画素データｄ７〜ｄ２２＝（１０１０１０………１０１０）ｂを含んでいる。この例では、同一の２ビット画素データ （１０）ｂが１６個連続（継続）している。

この場合、図６の下部に示すように、符号化ヘッダ（００００）ｂと、継続数「１６」の６ビット表示（０１００００）ｂと画素データの内容（１０）ｂとを繋げたｄ７〜ｄ２２＝（０００００１００００１０）ｂが、圧縮後の映像データＰＸＤのデータ単位ＣＵ０３＊となる。

換言すれば、規則３によってデータ単位ＣＵ０３の（１０１０１０………１０１０）ｂ（３２ビット長）がデータ単位ＣＵ０３＊の（０００００１００００１０）ｂ（１２ビット長）に変換される。この例では実質的なビット長圧縮分は３２ビットから１２ビットへの２０ビットであるが、継続数がたとえば６３（ＣＵ０３の１０が６３個連続するので１２６ビット長）の場合は、これが１２ビットの圧縮データ（ＣＵ０３＊＝００００１１１１１１１０）となり、１２６ビットに対して１１４ビットの圧縮効果が得られる。つまり、規則３に基づくビット圧縮効果は、規則２のものよりも大きい。

図５の４列目に示す規則４では、同一画素が６４〜２５５個続く場合、１６ビットデータでエンコードのデータ１単位を構成する。この場合、最初の６ビットで規則４に基づくことを示す符号化ヘッダを表し、続く８ビットで継続画素数を表し、その後の２ビットで画素データを表す。

たとえば、図６の上部に示される圧縮前の映像データＰＸＤの４番目の圧縮データ単位ＣＵ０４は、６９個の２ビット画素データｄ２３〜ｄ９１＝（１１１１１１………１１１１）ｂを含んでいる。この例では、同一の２ビット画素データ（１１）ｂが６９個連続（継続）している。

この場合、図６の下部に示すように、符号化ヘッダ（００００００）ｂと、継続数「６９」の８ビット表示（００１００１０１）ｂと画素データの内容（１１）ｂとを繋げたｄ２３〜ｄ９１＝（００００００００１００１０１１１）ｂが、圧縮後の映像データＰＸＤのデータ単位ＣＵ０４＊となる。

換言すれば、規則４によってデータ単位ＣＵ０４の（１１１１１１………１１１１）ｂ（１３８ビット長）がデータ単位ＣＵ０４＊の（００００００００１００１０１１１）ｂ（１６ビット長）に変換される。この例では実質的なビット長圧縮分は１３８ビットから１６ビットへの１２２ビットであるが、継続数がたとえば２５５（ＣＵ０１の１１が２５５個連続するので５１０ビット長）の場合は、これが１６ビットの圧縮データ（ＣＵ０４＊＝００００００１１１１１１１１１１）となり、５１０ビットに対して４９４ビットの圧縮効果が得られる。つまり、規則４に基づくビット圧縮効果は、規則３のものよりも大きい。

図５の５列目に示す規則５では、エンコードデータ単位の切換点からラインの終わりまで同一画素が続く場合に、１６ビットデータでエンコードのデータ１単位を構成する。この場合、最初の１４ビットで規則５に基づくことを示す符号化ヘッダを表し、続く２ビットで画素データを表す。

たとえば、図６の上部に示される圧縮前の映像データＰＸＤの５番目の圧縮データ単位ＣＵ０５は、１個以上の２ビット画素データｄ９２〜ｄｎ＝（００００００………００００）ｂを含んでいる。この例では、同一の２ビット画素データ（００）ｂが有限個連続（継続）しているが、規則５では継続画素数が１以上いくつでも良い。

この場合、図６の下部に示すように、符号化ヘッダ（００００００００００００００）ｂと、画素データの内容（００）ｂとを繋げたｄ９２〜ｄｎ＝（００００００００００００００００）ｂが、圧縮後の映像データＰＸＤのデータ単位ＣＵ０５＊となる。

換言すれば、規則５によってデータ単位ＣＵ０５の（００００００………００００）ｂ（不特定ビット長）がデータ単位ＣＵ０５＊の（００００００００００００００００）ｂ（１６ビット長）に変換される。規則５では、ラインエンドまでの同一画素継続数が１６ビット長以上あれば、圧縮効果が得られる。

図５の６列目に示す規則６では、エンコード対象データが並んだ画素ラインが１ライン終了した時点で、１ライン分の圧縮データＰＸＤの長さが８ビットの整数倍でない（すなわちバイトアラインでない）場合に、４ビットのダミーデータを追加して、１ライン分の圧縮データＰＸＤがバイト単位になるように（すなわちバイトアラインされるように）している。

たとえば、図６の下部に示される圧縮後の映像データＰＸＤのデータ単位ＣＵ０１＊〜ＣＵ０５＊の合計ビット長は、必ず４ビットの整数倍にはなっているが、必ずしも８ビットの整数倍になっているとは限らない。

たとえばデータ単位ＣＵ０１＊〜ＣＵ０５＊の合計ビット長が１０２０ビットでありバイトアラインとするために４ビット不足しているなら、図６の下部に示すように、４ビットのダミーデータＣＵ０６＊＝（００００）ｂを１０２０ビットの末尾に付加して、バイトアラインされた１０２４ビットのデータ単位ＣＵ０１＊〜ＣＵ０６＊を出力する。

なお、２ビット画素データは、必ずしも４種類の画素色を表示するものに限定されない。たとえば、画素データ（００）ｂで副映像の背景画素を表し、画素データ（０１）ｂで副映像のパターン画素を表し、画素データ（１０）ｂで副映像の第１強調画素を表し、画素データ（１１）ｂで副映像の第２強調画素を表わすようにしても良い。

画素データの構成ビット数がもっと多ければ、より他種類の副映像画素を指定できる。たとえば画素データが３ビットの（０００）ｂ〜（１１１）ｂで構成されているときは、ランレングスエンコード／デコードされる副映像データにおいて、最大８種類の画素色＋画素種類（強調効果）を指定できるようになる。

図７は、エンコードされた画像情報（図３の３１＋３２＋３３）を持つ高密度光ディスクの、量産からユーザサイドにおける再生までの流れを説明するとともに；エンコードされた画像情報の、放送／ケーブル配信からユーザ／加入者における受信／再生までの流れを説明するブロック図である。

たとえば圧縮前ランレングスデータが図７のエンコーダ２００に入力されると、エンコーダ２００は、たとえば図５の圧縮規則１〜６に基づくソフトウエア処理により、入力されたデータがランレングス圧縮（エンコード）される。

図１に示すような光ディスクＯＤに図２に示すような論理構成のデータが記録される場合は、図７のエンコーダ２００によるランレングス圧縮処理（エンコード処理）は、図３の副映像データに対して実施される。

図７のエンコーダ２００には、上記光ディスクＯＤを完成させるに必要な種々なデータも入力される。これらのデータは、たとえばＭＰＥＧ（Mortion Picture Expert Group）の規格に基づき圧縮され、圧縮後のデジタルデータがレーザカッティングマシン２０２または変調器／送信器２１０に送られる。

レーザカッティングマシン２０２において、図示しないマザーディスクにエンコーダ２００からのＭＰＥＧ圧縮データがカッティングされて、光ディスクマスタ２０４が製造される。

２枚貼合せ高密度光ディスク量産設備２０６では、このマスタ２０４を雛形にして、たとえば厚さ０. ６ミリのポリカーボネート基板上のレーザ光反射膜に、マスタの情報が転写される。それぞれ別のマスタ情報が転写された大量２枚のポリカーボネート基板は、張り合わされて、厚さ１. ２ミリの両面光ディスク（あるいは片面読み取り形両面ディスク）となる。

設備２０６で量産された貼合せ高密度光ディスクＯＤは各種市場に頒布され、ユーザの手元に届く。

頒布されたディスクＯＤは、ユーザの再生装置３００で再生される。この装置３００は、エンコーダ２００でエンコードされたデータを元の情報に復元するデコーダ１０１を備えている。デコーダ１０１でデコードされた情報は、たとえばユーザのモニタＴＶに送られ、映像化される。こうして、エンドユーザは大量頒布されたディスクＯＤから、元の映像情報を観賞することができるようになる。

一方、エンコーダ２００から変調器／送信器２１０に送られた圧縮情報は、所定の規格に沿って変調され、送信される。たとえば、エンコーダ２００からの圧縮映像情報は、対応する音声情報とともに衛星放送（２１２）される。あるいは、エンコーダ２００からの圧縮映像情報は、対応する音声情報とともにケーブル伝送（２１２）される。

放送あるいはケーブル伝送された圧縮映像／音声情報は、ユーザあるいは加入者の受信器／復調器４００で受信される。この受信器／復調器４００は、エンコーダ２００でエンコードされたデータを元の情報に復元するデコーダ１０１を備えている。デコーダ１０１でデコードされた情報は、たとえばユーザのモニタＴＶに送られ、映像化される。こうして、エンドユーザは放送あるいはケーブル伝送された圧縮映像情報から、元の映像情報を観賞することができるようになる。

図８は、この発明に基づく画像デコード（ランレングス伸張）を実行するデコーダのハードウエアの一実施形態（ノンインターレース仕様）を示すブロック図である。ランレングス圧縮された副映像データＳＰＤ（図３のデータ３２相当）をデコードするデコーダ１０１（図７参照）は、図８のように構成することができる。このデコーダ１０１には、同じ時刻のＳＣＲが付与されている副映像情報のパック内の副映像パケットが順次転送されるようになっており、上記ＳＣＲも供給されており、このＳＣＲに応じて後述するメインＳＴＣ１２０ａの計数が所定時間後に零となる値から開始されるようになっている。この所定時間とは、上記ＳＣＲに対応する１副映像ユニット（最大サイズ）のものの転送時間分に対応している。たとえば、１副映像ユニットの最大サイズが６５５３５バイトで転送レートが７４０ｎｓｅｃ／１バイトの場合、６５５３５×７４０／１００００００≒４８．５ｍｓｅｃとなり、約４８．５ｍｓｅｃ後に零となる値から開始されるようになっている。

以下、図８を参照しながら、図４に示すようなフォーマットのランレングス圧縮された画素データを含む信号をランレングス伸張する副映像データデコーダについて、説明する。

図８に示すように、この副映像デコーダ１０１は、副映像データＳＰＤが入力されるデータＩ／Ｏ１０２と；副映像データＳＰＤを保存するメモリ１０８と；このメモリ１０８の読み書き動作を制御するメモリ制御部１０５と；メモリ１０８から読み出された符号データ（ランレングス圧縮された画素データ）のラン情報から１単位（１ユニット）の継続コード長（符号化ヘッダ）を検知し、その継続コード長の切り分け情報を出力する継続コード長検知部１０６と；この継続コード長検知部１０６からの情報にしたがって１ユニット分の符号データを取り出す符号データ切分部１０３と；この符号データ切分部１０３から出力されるものであって１圧縮単位のラン情報を示す信号と、継続コード長検知部１０６から出力されるものであってデータビットの「０」が１ユニット分の符号データの先頭から幾つ連続しているかという「０」ビット連続数を示す信号（期間信号）とを受け取り、これらの信号から１ユニットの継続画素数を計算するラン長設定部１０７と；符号データ切分部１０３からの画素色情報とラン長設定部１０７から出力された期間信号とを受け取り、その期間だけ色情報を出力する画素色出力部１０４（Fast-in/Fast-outタイプ）と；メモリ１０８から読み出された副映像データＳＰＤ中のヘッダデータ（図４参照）を読み込み、読み込んだデータに基づき各種処理設定および制御を行なうマイクロコンピュータ１１２と；メモリ１０８の読み書きアドレスを制御するアドレス制御部１０９と；ラン情報が存在しないラインに対する色情報がマイクロコンピュータ１１２により設定される不足画素色設定部１１１と；ＴＶ画面などに副映像を表示するときの表示エリアを決定する表示有効許可部１１０などで、構成されている。

なお、図２４〜図２７の説明で言及されるが、デコーダ１０１のＭＰＵ１１２には、タイマ１２０およびバッファ１２１が接続されている。タイマ１２０は、メインＳＴＣ（システムタイマ）１２０ａとサブＳＴＣ（サブタイマ）１２０ｂから構成されている。

上記説明を別の言い方で再度説明すると、次のようになる。すなわち、図８に示すように、ランレングス圧縮された副映像データＳＰＤは、データＩ／Ｏ１０２を介して、デコーダ１０１内部のバスに送り込まれる。バスに送り込まれたデータＳＰＤは、メモリ制御部１０５を介してメモリ１０８へ送られ、そこに記憶される。また、デコーダ１０１の内部バスは、符号データ切分部１０３と、継続コード長検知部１０６と、マイクロコンピュータ（ＭＰＵまたはＣＰＵ）１１２とに接続されている。

メモリ１０８から読み出された副映像データの副映像ユニットヘッダ３１は、マイクロコンピュータ１１２により読み取られる。マイクロコンピュータ１１２は、読み出したヘッダ３１から、図４に示す各種パラメータに基づいて、アドレス制御部１０９にデコード開始アドレス（ＳＰＤＤＡＤＲ）を設定し、表示有効許可部１１０に副映像の表示開始位置と表示幅と表示高との情報（ＳＰＤＳＺ）を設定し、符号データ切分部１０３に副映像の表示幅（ライン上のドット数）を設定する。設定された各種情報は各部（１０９、１１０、１０３）の内部レジスタに保存される。それ以後、レジスタに保存された各種情報は、マイクロコンピュータ１１２によりアクセスできるようになる。

アドレス制御部１０９は、レジスタに設定されたデコード開始アドレス（ＳＰＤＤＡＤＲ）に基づき、メモリ制御部１０５を介しメモリ１０８にアクセスして、デコードしようとする副映像データの読み出しを開始する。こうしてメモリ１０８から読み出された副映像データは、符号データ切出部１０３および継続コード長検知部１０６に与えられる。

ランレングス圧縮された副映像データＳＰＤの符号化ヘッダ（図５の規則２〜５では２〜１４ビット）は継続コード長検知部１０６により検出され、データＳＰＤ内における同一画素データの継続画素数が継続コード長検知部１０６からの信号を基にラン長設定部１０７により検出される。

すなわち、継続コード長検知部１０６は、メモリ１０８から読み込んだデータの”０”ビットの数を数えて、符号化ヘッダ（図５参照）を検知する。この検知部１０６は、検知した符号化ヘッダの値にしたがって、符号データ切分部１０３に切り分け情報ＳＥＰ．ＩＮＦＯ．を与える。

符号データ切分部１０３は、与えられた切り分け情報ＳＥＰ．ＩＮＦＯ．にしたがって、継続画素数（ラン情報）をラン長設定部１０７に設定するとともに、画素データ（ＳＥＰＡＲＡＴＥＤ ＤＡＴＡ；ここでは画素色）をＦＩＦＯタイプの画素色出力部１０４に設定する。その際、符号データ切分部１０３は、副映像データの画素数をカウントし、画素数カウント値と副映像の表示幅（１ラインの画素数）とを比較している。

１ライン分のデコードが終了した時点でバイトアラインされていない（つまり１ライン分のデータビット長が８の倍数でない）場合は、符号データ切分部１０３は、そのライン上の末尾４ビットデータをエンコード時に付加されたダミーデータであるとみなして、切り捨てる。

ラン長設定部１０７は、前記継続画素数（ラン情報）と画素ドットクロック（ＤＯＴＣＬＫ）と水平／垂直同期信号（Ｈ−ＳＹＮＣ／Ｖ−ＳＹＮＣ）とに基づいて、画素色出力部１０４に、画素データを出力させるための信号（ＰＥＲＩＯＤ ＳＩＧＮＡＬ）を与える。すると、画素色出力部１０４は、画素データ出力信号（ＰＥＲＩＯＤ ＳＩＧＮＡＬ）がアクティブである間（つまり同じ画素色を出力する期間中）、符号データ切分部１０３からの画素データを、デコード
された表示データとして出力する。

その際、マイクロコンピュータ１１２からの指示によりデコード開始ラインが変更されている場合には、ラン情報のないラインが存在することがある。その場合には、不足画素色設定部１１１が、予め設定された不足の画素色のデータ（ＣＯＬＯＲ ＩＮＦＯ．）を画素色出力部１０４に与える。すると、ラン情報のないラインデータが符号データ切分部１０３に与えられている間、画素色出力部１０４は、不足画素色設定部１１１からの不足画素色データ（ＣＯＬＯＲ ＩＮＦＯ．）を出力する。

すなわち、図８のデコーダ１０１の場合、入力された副映像データＳＰＤ中に画像データがないと、マイクロコンピュータ１１２はその分不足する画素色情報を不足画素色設定部１１１に設定するようになっている。

この画素色出力部１０４へは、図示しないモニタ画面上のどの位置にデコードされた副映像を表示させるかを決定する表示許可（Display Enable）信号が、副映像画像の水平／垂直同期信号に同期して、表示有効許可部（Display Activator ）１１０から与えられる。また、マイクロコンピュータ１１２からの色情報指示に基づいて、許可部１１０から出力部１０４へ、色切換信号が送られる。

アドレス制御部１０９は、マイクロコンピュータ１１２による処理設定後、メモリ制御部１０５、継続コード長検知部１０６、符号データ切分部１０３およびラン長設定部１０７に対して、アドレスデータおよび各種タイミング信号を送出する。

データＩ／Ｏ部１０２を介して副映像データＳＰＤのパックが取り込まれ、それがメモリ１０８に格納される際、このデータＳＰＤのパックヘッダの内容（デコード開始アドレス、デコード終了アドレス、表示開始位置、表示幅、表示高さなど）がマイクロコンピュータ１１２により読み取られる。マイクロコンピュータ１１２は、読み取った内容に基づいて、表示有効許可部１１０に、デコード開始アドレス、デコード終了アドレス、表示開始位置、表示幅、表示高さなどを設定する。

以下、圧縮された画素データが２ビット構成（使用規則は図５の規則１〜６）の場合について、図８のデコーダ１０１の動作を説明する。

マイクロコンピュータ１１２によりデコードスタートアドレスが設定されると、アドレス制御部１０９は、メモリ制御部１０５に対応するアドレスデータを送るとともに、継続コード長検知部１０６に読込開始信号を送る。

継続コード長検知部１０６は、送られてきた読込開始信号に応答してメモリ制御部１０５にリード信号を送って符号化データ（圧縮された副映像データ３２）を読み込む。そして、この検知部１０６において、読み込んだデータのうち上位２ビット全てが「０」かどうかがチェックされる。

それらが「０」でない場合は、圧縮単位のブロック長が４ビットであると判定される（図５の規則１参照）。

それら（上位２ビット）が「０」であれば、さらに続く２ビット（上位４ビット）がチェックされる。それらが「０」でない場合は、圧縮単位のブロック長が８ビットであると判定される（図５の規則２参照）。

それら（上位４ビット）が「０」であれば、さらに続く２ビット（上位６ビット）がチェックされる。それらが「０」でない場合は、圧縮単位のブロック長が１２ビットであると判定される（図５の規則３参照）。

それら（上位６ビット）が「０」であれば、さらに続く８ビット（上位１４ビット）がチェックされる。それらが「０」でない場合は、圧縮単位のブロック長が１６ビットであると判定される（図５の規則４参照）。

それら（上位１４ビット）が「０」であれば、圧縮単位のブロック長が１６ビットであるとともに、ラインエンドまで同じ画素データが連続していると判定される（図５の規則５参照）。

また、ラインエンドまで読み込んだ画素データのビット数が８の整数倍であればそのままとし、８の整数倍でなければ、バイトアラインを実現するために、読み込んだデータの末尾に４ビットのダミーデータが必要であると判定される（図５の規則６参照）。

符号データ切分部１０３は、継続コード長検知部１０６による上記判定結果に基づいて、メモリ１０８から副映像データ３２の１ブロック分（１圧縮単位）を取り出す。そして、切分部１０３において、取り出された１ブロック分データが、継続画素数と画素データ（画素の色情報など）に切り分けられる。切り分けられた継続画素数のデータ（ＲＵＮ ＩＮＦＯ．）はラン長設定部１０７に送られ、切り分けられた画素データ（ＳＥＰＡＲＡＴＥＤ ＤＡＴＡ）は画素色出力部１０４に送られる。

一方、表示有効許可部１１０は、マイクロコンピュータ１１２から受け取った表示開始位置情報、表示幅情報および表示高情報にしたがい、装置外部から供給される画素ドットクロック（ＰＩＸＥＬーＤＯＴ ＣＬＫ）、水平同期信号（Ｈ−ＳＹＮＣ）および垂直同期信号（Ｖ−ＳＹＮＣ）に同期して、副映像表示期間を指定する表示許可信号（イネーブル信号）を生成する。この表示許可信号は、ラン長設定部１０７に出力される。

ラン長設定部１０７には、継続コード長検知部１０６から出力されるものであって現在のブロックデータがラインエンドまで連続するかどうかを示す信号と、符号データ切分部１０３からの継続画素データ（ＲＵＮ ＩＮＦＯ．）とが送られる。ラン長設定部１０７は、検知部１０６からの信号および切分部１０３からのデータに基づいて、デコード中のブロックが受け持つ画素ドット数を決定し、このドット数に対応する期間中、画素色出力部１０４へ表示許可信号（出力イネーブル信号）を出力するように構成されている。

画素色出力部１０４は、ラン長設定部１０７からの期間信号受信中イネーブルとなり、その期間中、符号データ切分部１０３から受け取った画素色情報を、画素ドットクロック（ＰＩＸＥＬーＤＯＴ ＣＬＫ）に同期して、デコードされた表示データとして、図示しない表示装置などへ送出する。すなわち、デコード中ブロックの画素パターン連続ドット数分の同じ表示データが、画素色出力部１０４から出力される。

また、継続コード長検知部１０６は、符号化データがラインエンドまで同じ画素色データであると判定すると、符号データ切分部１０３へ継続コード長１６ビット用の信号を出力し、ラン長設定部１０７にはラインエンドまで同じ画素色データであることを示す信号を出力する。

ラン長設定部１０７は、検知部１０６から上記信号を受け取ると、水平同期信号Ｈ−ＳＹＮＣが非アクティブになるまで符号化データの色情報がイネーブル状態を保持し続けるように、画素色出力部１０４へ出力イネーブル信号（期間信号）を出力する。

なお、マイクロコンピュータ１１２が副映像の表示内容をスクロールさせるためにデコード開始ラインを変更した場合は、予め設定していた表示領域内にデコード使用とするデータラインが存在しない（つまりデコードラインが不足する）可能性がある。

図８のデコーダ１０１は、このような場合に対処するために、不足したラインを埋める画素色データを予め用意している。そして、実際にライン不足が検知されると、不足画素色データの表示モードに切り換えられる。具体的にいえば、データエンド信号がアドレス制御部１０９から表示有効許可部１１０に与えられると、許可部１１０は画素色出力部１０４に色切換信号（ＣＯＬＯＲ ＳＷ ＳＩＧＮＡＬ）を送る。画素色出力部１０４は、この切換信号に応答して、符号データからの画素色データのデコード出力を、不足画素色設定部１１０からの色情報（ＣＯＬＯＲ ＩＮＦＯ．）のデコード出力に切り換える。この切換状態は、不足ラインの表示期間中（ＤＩＳＰＬＡＹ ＥＮＡＢＬＥ＝アクティブ）、維持される。

なお、上記ライン不足が生じた場合、不足画素色データを用いる代わりに、その間、デコード処理動作を中止することもできる。

具体的には、例えばデータエンド信号がアドレス制御部１０９から表示有効許可部１１０へ入力されたときに、許可部１１０から画素色出力部１０４へ表示中止を指定する色切換信号を出力すればよい。すると、画素色出力部１０４は、この表示中止指定色切換信号がアクティブの期間中、副映像の表示を中止するようになる。

図９は、エンコードされた画素データ（副映像データ）のうち、文字パターン「Ａ」がどのようにデコードされるかを、２例（ノンインターレース表示およびインターレース表示）説明するものである。

図８のデコーダ１０１は、図９の上部で示すような圧縮データを図９の左下部に示すようなノンインターレース表示データにデコードする場合に用いることができる。

これに対し、図９の上部で示すような圧縮データを図９の右下部に示すようなインターレース表示データにデコードする場合は、同一画素ラインを二度スキャンするラインダブラ（たとえば、奇数フィールドのライン＃１と同じ内容のライン＃１０を、偶数フィールドにおいて再スキャンする；Ｖ−ＳＹＮＣ単位の切換）が必要になる。

また、インターレース表示と同等の画像表示量をノンインターレース表示する場合は、別のインダブラ（たとえば、図９右下部のライン＃１と同じ内容を持つライン＃１０をライン＃１に連続させる；Ｈ−ＳＹＮＣ単位の切換）が必要になる。

図１０は、この発明の一実施の形態に係る画像デコード（ランレングス伸張）を実行するものであって、たとえば図１１あるいは図１２マイクロコンピュータ１１２により実行されるソフトウエアを説明するフローチャートである。（ここでは、図３の表示制御シーケンステーブルＤＣＳＱＴ３３のデコードについては触れない。ＤＣＳＱＴ３３部分のデコードについては、図２５〜図２７を参照して後述する。）
また、図１１は、図１０のソフトウエアで使用されるデコードステップ（ＳＴ１０５）の内容の一例を説明するフローチャートである。

すなわち、マイクロコンピュータ１１２は、ランレングス圧縮された副映像データ（画素データは２ビット構成）の初めのヘッダ３１部分を読み込んで、その内容（図４参照）を解析する。そして、解析されたヘッダの内容に基づいて、デコードされる画像データのライン数およびドット数が指定される。これらライン数およびドット数が指定されると（ステップＳＴ１０１）、ラインカウント数およびドットカウント数が「０」に初期化される（ステップＳＴ１０２〜ステップＳＴ１０３）。

マイクロコンピュータ１１２は、副映像ユニットヘッダ３１の後に続くデータビット列を順次取り込んで行き、ドット数およびドットカウント数を計数する。そしてドット数からドットカウント数を引き算して、継続画素数を算出する（ステップＳＴ１０４）。

こうして継続画素数が算出されると、マイクロコンピュータ１１２は、この継続画素数の値に応じてデコード処理を実行する（ステップＳＴ１０５）。

ステップＳＴ１０５のデコード処理後、マイクロコンピュータ１１２はドットカウント数と継続画素数とを加算し、これを新たなドットカウント数とする（ステップＳＴ１０６）。

そして、マイクロコンピュータ１１２はデータを順次とりこんではステップＳＴ１０５のデコード処理を実行し、累積したドットカウント数が初めに設定したライン終了数（ラインエンドの位置）と一致したとき、１ライン分のデータについてのデコード処理を終了する（ステップＳＴ１０７イエス）。

次に、デコードしたデータがバイトアラインされておれば（ステップＳＴ１０８Ａイエス）、ダミーデータ分を取り除く（ステップＳＴ１０８Ｂ）。そしてラインカウント数を＋１インクリメントし（ステップＳＴ１０９）、最終ラインに到達するまで（ステップＳＴ１０１０ノー）、ステップＳＴ１０２〜ステップＳＴ１０９の処理を反復する。最終ラインに到達すれば（ステップＳＴ１０１０イエス）、デコードは終了する。

図１０のデコード処理ステップＳＴ１０５の処理内容は、たとえば図１１に示すようになっている。

この処理では、初めから２ビットを取得しては、そのビットが「０」か否かを判定する織りを繰り返す（ステップＳＴ１１１〜ステップＳＴ１１９）。これにより、図５のランレングス圧縮規則１〜６に対応した継続画素数、つまりラン連続数が決定される（ステップＳＴ１２０〜ステップＳＴ１２３）。

そしてラン連続数が決定された後、そのあとに続けて読み込んだ２ビットが画素パターン（画素データ；画素の色情報）とされる（ステップＳＴ１２４）。

画素データ（画素の色情報）が決まると、インデックスパラメータ「ｉ」を０とし（ステップＳＴ１２５）、パラメータ「ｉ」がラン連続数と一致するまで（ステップＳＴ１２６）、２ビット画素パターンを出力しては（ステップＳＴ１２７）、パラメータ「ｉ」を＋１インクリメントし（ステップＳＴ１２８）、同じ画素データの１単位分の出力を終えて、デコード処理を終了する。

このように、この副映像データのデコード方法によれば、副映像データのデコード処理が、数ビットの判定処理とデータブロックの切り分け処理とデータビットの計数処理だけという、簡単な処理で済む。このため、従来のＭＨ符号化方法などで使用される大掛かりなコード表は必要なくなり、エンコードされたビットデータを元の画素情報にデコードする処理・構成が簡単になる。

なお、上記実施の形態では、データデコード時に最大１６ビットのビットデータを読み取れば、同じ画素の１単位分の符号ビット長を決定できるものとしたが、この符号ビット長はこれに限定されない。たとえばこの符号ビット長は３２ビットでも６４ビットでもよい。ただしビット長が増えれば、その分容量の大きなデータバッファが必要になる。

また、上記実施の形態では画素データ（画素の色情報）を、たとえば１６色のカラーパレットから選択された３色の色情報としたが、これ以外に、色の３原色（赤成分Ｒ、緑成分Ｇ、青成分Ｂ；または輝度信号成分Ｙ、クロマ赤信号成分Ｃｒ、クロマ青信号成分Ｃｂなど）それぞれの振幅情報を、２ビットの画素データで表現することもできる。つまり、画素データは特定種類の色情報に限定されることはない。

図１２は、エンコード（図３のＳＰＵＨ＋ＰＸＤ＋ＤＣＳＱＴのエンコード）およびデコード（ＳＰＵＨ＋ＰＸＤ＋ＤＣＳＱＴのデコード）が実行される光ディスク記録再生装置の概要を説明するブロック図である。

図１２において、光ディスクプレーヤ３００は、基本的には従来の光ディスク再生装置（コンパクトディスクプレーヤあるいはレーザディスクプレーヤ）と同様な構成を持つ。ただし、この光ディスクプレーヤ３００は、挿入された光ディスクＯＤ（ランレングス圧縮された副映像データを含む画像情報が記録されたもの）から、ランレングス圧縮された画像情報をデコードする前のデジタル信号 （エンコードされたままのデジタル信号）を出力できるようになっている。このエンコードされたままのデジタル信号は圧縮されているので、必要な伝送帯域幅は非圧縮データを伝送する場合に比べて少なくて良い。

光ディスクプレーヤ３００からの圧縮デジタル信号は変調器／送信器２１０を介してオンエアされ、または通信ケーブルに送出される。

オンエアされた圧縮デジタル信号、あるいはケーブル送信された圧縮デジタル信号は、受信者あるいはケーブル加入者の受信器／復調器４００により、受信される。この受信器４００は、たとえば図８に示すような構成のデコーダ１０１を備えている。受信器４００のデコーダ１０１は、受信し復調した圧縮デジタル信号をデコードして、エンコードされる前の原副映像データを含む画像情報を出力する。

図１２の構成において、送受信の伝送系がおよそ５Ｍビット／秒以上の平均ビットレートを持つものであれば、高品位なマルチメディア映像・音声情報の放送ができる。

図１３は、この発明に基づきエンコードされた画像情報が、通信ネットワーク（インターネットなど）を介して、任意の２コンピュータユーザ間で送受される場合を説明するブロック図である。

図示しないホストコンピュータで管理する自己情報＃１を持つユーザ＃１はパーソナルコンピュータ５００１を所有しており、このパーソナルコンピュータ５００１には、種々な入出力機器５０１１および種々な外部記憶装置５０２１が接続されている。また、このパーソナルコンピュータ５００１の内部スロット（図示せず）には、この発明に基づくエンコーダおよびデコーダが組み込まれ、通信に必要な機能を持つモデムカード５０３１が装着されている。

同様に、別の自己情報＃Ｎを持つユーザ＃Ｎはパーソナルコンピュータ５００Ｎを所有しており、このパーソナルコンピュータ５００Ｎには、種々な入出力機器５０１Ｎおよび種々な外部記憶装置５０２Ｎが接続されている。また、このパーソナルコンピュータ５００Ｎの内部スロット（図示せず）には、この発明に基づくエンコーダおよびデコーダが組み込まれ、通信に必要な機能を持つモデムカード５０３Ｎが装着されている。

いま、あるユーザ＃１がコンピュータ５００１を操作し、インターネットなどの回線６００を介して別のユーザ＃Ｎのコンピュータ５００Ｎと通信を行なう場合を想定してみる。この場合、ユーザ＃１およびユーザ＃Ｎは双方ともエンコーダおよびデコーダが組み込まれたモデムカード５０３１および５０３Ｎを持っているので、この発明により効率よく圧縮された画像データを短時間で交換できる。

図２４は、エンコードされた画像情報（図３のＳＰＵＨ＋ＰＸＤ＋ＤＣＳＱＴ）を光ディスクＯＤに記録し、記録された情報（ＳＰＵＨ＋ＰＸＤ＋ＤＣＳＱＴ）をこの発明に基づきデコードする記録再生装置の概要を示している。

図２４のエンコーダ２００は、図７のエンコーダ２００と同様なエンコード処理（図１３〜図１４に対応する処理）を、ソフトウエアあるいはハードウエア（ファームウエアあるいはワイアードロジック回路を含む）で実行するように構成されている。

エンコーダ２００でエンコードされた副映像データその他を含む記録信号は、変調器／レーザドライバ７０２において、たとえば（２、７）ＲＬＬ変調される。変調された記録信号は、レーザドライバ７０２から光ヘッド７０４の高出力レーザダイオードに送られる。この光ヘッド７０４からの記録用レーザにより、記録信号に対応したパターンが、光磁気記録ディスクまたは相変化光ディスクＯＤに、書き込まれる。

ディスクＯＤに書き込まれた情報は、光ヘッド７０６のレーザピックアップにより読み取られ、復調器／エラー訂正部７０８において復調され、かつ必要に応じてエラー訂正処理を受ける。復調されエラー訂正された信号は、音声／映像用データ処理部７１０において種々なデータ処理を受けて、記録前の情報が再生される。

このデータ処理部７１０は、図８のデコーダ１０１に対応するデコード処理部を含んでいる。このデコード処理部により、図１０〜図１１に対応するデコード処理（圧縮された副映像データの伸張）が実行される。

ここで、図２または図３に示される副映像データは、図１５に示すように複数チャネルで構成されている。副映像データユニットは、これら複数チャネルの中から任意に選択されたチャネルの、複数副映像データパケットで構成される。ここでの副映像は、文字あるいは図形などの情報を持ち、ビデオデータやオーディオデータと同時に再生処理されて、ビデオデータの再生画面上にスーパーインポーズ表示される。

図１６は、副映像パケットのデータ構造を示す。図１６に示すように、副映像のパケットデータは、パケットヘッダ３と、副映像ヘッダ３１と、副映像データ３２と、表示制御シーケンステーブル３３とで構成されている。

パケットヘッダ３には、再生システムがその副映像データユニットの表示制御を開始すべき時刻がプレゼンテーションタイムスタンプ（ＰＴＳ；Presentation Time Stamp ）として記録されている。ただし、このＰＴＳは、図１７に示すように、各副映像データユニット（Ｙ，Ｗ）内の先頭の副映像データパケットのヘッダ３にだけ記録されるようになっている。このＰＴＳは、所定の再生時刻ＳＣＲにより再生される複数の副映像データユニットにおいて、その再生順に沿った値が各副映像データユニットに対して記述されている。

図１８は、１以上の副映像パケットで構成される副映像ユニット（図３の３０参照）の直列配列状態（ｎ、ｎ＋１）と、そのうちの１ユニット（ｎ＋１）のパケットヘッダに記述されたタイムスタンプＰＴＳと、このＰＴＳに対応したユニット（ｎ＋１）の表示制御の状態（それ以前の副映像の表示クリアと、これから表示する副映像の表示制御シーケンスの指定）とを、例示している。

副映像ヘッダ３１には、副映像データパケットのサイズ（２バイトのＳＰＣＳＺ）と、パケット内の表示制御シーケンステーブル３３の記録開始位置（２バイトのＳＰＤＣＳＱＴＡ）とが記録されている。

表示制御シーケンステーブル３３には、映像データの表示開始時刻／表示終了時刻を示す副映像表示制御タイムスタンプ（ＳＰＤＣＴＳ；Sub-Picture Display Control Time Stamp）と、表示すべき副映像データ（ＰＸＤ）３２の記録位置（ＳＰＮＤＣＳＱＡ；Sub-Picture Next Display Control Sequence Address ）、副映像データの表示制御コマンド（ＣＯＭＭＡＮＤ）とを１グループとする表示制御シーケンス情報（ＤＣＳＱＴ；Display Control Sequence Table）が、１以上記録される。

ここで、パケットヘッダ３内のタイムスタンプＰＴＳは、たとえばファイル （図２）先頭の再生開始時刻のような、ファイル全体の再生を通じて基準となる時刻（ＳＣＲ；System Clock Reference）からの相対時間で規定されている。このＳＣＲは、パケットヘッダ３の手前に付与されているパックヘッダ内に記述されている。一方、表示制御シーケンステーブル３３内の各タイムスタンプＳＰＤＣＴＳは、上記ＰＴＳからの相対時間で規定される。

最初に表示処理されるシーケンスの副映像表示制御タイムスタンプＳＰＤＣＴＳには「０」を記述される。

次に、再生システムにおける副映像データパケットのタイムスタンプＰＴＳ処理について説明する。ここでは、再生システム内の副映像プロセサ（たとえば図８のＭＰＵ１１２およびその周辺回路）において、このＰＴＳ処理が実行されるものとする。

図１５は、副映像データをデコードする場合において、副映像データユニットのバッファリング状態が、タイムスタンプＰＴＳのある副映像チャネルによってどのように変化するかを説明するための図である。

（１）副映像プロセサ（図８その他）は、外部（光ディスクあるいは放送局など）から送られてくる副映像データパケットの中から、予め選択されたチャネルの副映像データパケットをデコードし、そのパケット内にＰＴＳがあるかどうかを調べる。

たとえば図１５のチャネル＊４ｆに示すようにＰＴＳが存在する場合は、そのＰＴＳがパケットヘッダ３から切り離される。その後、たとえば図１７に示すように副映像データの頭にＰＴＳが付けられ、ＰＴＳヘッダ付きの副映像データが副映像バッファ（たとえば図８のバッファ１２１）にバッファリング（格納）される。

なお、図１５のグラフは、ＰＴＳ付きチャネル＊４ｆの副映像データパケットがバッファリングされるにつれて、副映像バッファ１２１へのバッファリング量が累積して行く様子を例示している。

（２）システムリセット後、副映像プロセサは、ＰＴＳを含んだ最初のパケットを受け取った直後の垂直ブランキング期間中（ある表示画面フレーム／フィールドから次の表示画面フレーム／フィールドへの切り換わり期間中）にこのＰＴＳを取り込み、取り込んだＰＴＳを基準タイムカウンタとしてのメインＳＴＣ１２０ａ（副映像プロセサ内のカウンタ例えば図８のタイマ１２０の一部）のカウント値と比較する。このメインＳＴＣ１２０ａは、たとえばファイル先頭の再生開始時刻などファイル全体の再生を通じて基準となる時刻ＳＣＲからの経過時間を計るものであるが、上述した所定時間後に零となる値から開始されるようになっている。これにより、上記ＰＴＳ（副映像ユニットの最初のパケットに付与されている）には、この副映像ユニットの転送時間を考慮することなく、「０」を記述することができる。

（３）上記ＰＴＳとＳＴＣ１２０ａのカウント値との比較の結果、ＳＴＣ１２０ａのカウント値がＰＴＳより大きい場合には、その副映像データは直ちに表示処理される。一方、ＳＴＣ１２０ａのカウント値がＰＴＳより小さい場合には何の処理も行われない。この比較は、次の垂直ブランキング期間中に、再度実行される。

（４）副映像データの処理に入ると、同じ垂直ブランキング期間中に、その副映像データパケット内の表示制御シーケンステーブル３３に記録されている最初の副映像表示制御タイムスタンプＳＰＤＣＴＳが、副映像プロセサ内のサブ基準タイムカウンタ（サブＳＴＣ）のカウント値と比較される。このサブＳＴＣは、副映像データユニットの再生開始時刻からの経過時間を計る、副映像プロセサ内のサブ基準タイムカウンタ（例えば図８のタイマ１２０の他部）サブＳＴＣ１２０ｂで構成される。したがって、このサブＳＴＣ１２０ｂは、次の（後続の）副映像データユニットに表示が切り替わる度に、全ビットが”０”にクリアされ、その後再びインクリメント（タイムカウント）を開始する。

（５）サブＳＴＣ１２０ｂのカウント値と副映像表示制御タイムスタンプＳＰＤＣＴＳとの比較の結果、サブＳＴＣ１２０ｂのカウント値がＳＰＤＣＴＳよりも大きい場合は、表示制御シーケンステーブル３３の先頭の表示制御シーケンスの制御データ（ＤＣＳＱＴ；たとえば図１６のＤＣＳＱＴ０）が直ちに実行され、副映像の表示処理が開始される。

（６）一旦表示処理が開始されると、垂直ブランキング期間毎に、現在表示している副映像データユニットの次の副映像データユニットの先頭パケットに付加されているＰＴＳが読み込まれ、この読み込まれたＰＴＳとメインＳＴＣ１２０ａのカウント値とが比較される。

この比較の結果、メインＳＴＣ１２０ａのカウント値がＰＴＳよりも大きければ、図１６のチャネルポインタが次の副映像データユニットのＰＴＳのアドレス値に設定され、処理すべき副映像データユニットが次のものに切り替えられる。たとえば、図１７を例にとると、上記チャネルポインタの設定変更により、副映像データユニットＹから次の副映像データユニットＷに切り替わる。この時点で、副映像データユニットＹのデータはもう必要ないので、副映像バッファ（たとえば図８ではメモリ１０８）には副映像データユニットＹの大きさの空き領域が生じる。このため、新たに副映像データパケットをこの空き領域に転送することができる。

これによって、副映像データユニット（たとえば図１７のユニットＷ）のサイズおよびその切り換わり時刻（ユニットＹからユニットＷへの切り換わり時刻）から、副映像データパケットのバッファリング状態（図１５参照）を、（ユニットＷの）副映像データのエンコード時点で、事前に一意的に規定することができるようになる。したがって、映像・音声・副映像のパケットをシリアル転送したときに、それぞれのデコーダ部のバッファ（副映像デコーダの場合は図８その他のメモリ１０８）においてオーバーフローあるいはアンダーフローが生じないようなビットストリームの生成が可能になる。

また、上記ＰＴＳとメインＳＴＣ１２０ａのカウント値との比較の結果、メインＳＴＣ１２０ａのカウント値がＰＴＳよりも大きくない場合は副映像データユニットの切り替えは行われず、表示制御シーケンステーブルポインタ（図１６のＤＣＳＱＴポインタ）が次の表示制御シーケンステーブルＤＣＳＱＴのアドレス値に設定される。そして、現在の副映像データパケット内の次のＤＣＳＱＴの副映像表示制御タイムスタンプＳＰＤＣＴＳとサブＳＴＣ１２０ｂのカウント値とが比較される。この比較結果を基に、次のＤＣＳＱＴを実行するかどうかが判定される。この動作については、後に詳述する。

なお、副映像データパケット内の最後のＤＣＳＱＴは、次の表示制御シーケンステーブルＤＣＳＱＴとして自分自身を指し示しているので、前記（５）のＤＣＳＱＴ処理は基本的には変わらない。

（７）通常再生では、前記（４）、（５）、（６）の処理が繰り返される。

なお、前記（６）の処理において、次の副映像データユニットのＰＴＳを読み込む際にそのＰＴＳを指し示すチャネルポインタ（図１６参照）の値は、現在の副映像データユニット内のパケットサイズ（ＳＰＣＳＺ）を用いることで、求めるられる。

同様に、表示制御シーケンステーブル３３内で次のＤＣＳＱＴの副映像表示制御タイムスタンプＳＰＤＣＴＳを指し示すＤＣＳＱＴポインタの値は、このテーブル３３内に記述されているＤＣＳＱＴのサイズ情報（次の副映像表示制御シーケンスのアドレスＳＰＮＤＣＳＱＴＡ）を用いて求められる。

次に、副映像ヘッダ３１、副映像データ３２、および表示制御シーケンステーブル３３それぞれの詳細について説明する。

図１９は、副映像ユニットヘッダ（ＳＰＵＨ）３１の構造を示す。副映像ユニットヘッダＳＰＵＨは、副映像データパケットのサイズ（ＳＰＤＳＺ）およびパケット内の表示制御シーケンステーブル３３の記録開始位置情報（副映像の表示制御シーケンステーブル開始アドレスＳＰＤＣＳＱＴＡ；ＤＣＳＱの相対アドレスポインタ）を含んでいる。

なお、アドレスＳＰＤＣＳＱＴＡで指し示される副映像表示制御シーケンステーブルＳＰＤＣＳＱＴの内容は、図２０に示すように、複数の表示制御シーケンスＤＣＳＱ１〜ＤＣＳＱｎで構成されている。

また、各表示制御シーケンスＤＣＳＱ（１〜ｎ）は、図２１に示すように、副映像の表示制御開始時間を示す副映像表示制御タイムスタンプＳＰＤＣＴＳと、次の表示制御シーケンスの位置を示すアドレスＳＰＮＤＣＳＱＡと、１以上の副映像表示制御コマンドＳＰＤＣＣＭＤとを含んでいる。

副映像データ３２は、個々の副映像データパケットと１対１で対応するデータ領域（ＰＸＤエリア）の集まりで構成されている。

ここで、副映像データユニットが切り替わるまでは、同じデータ領域中の任意のアドレスの副映像画素データＰＸＤを読み出せるようになっている。これにより、１つの副映像表示イメージに固定されない、任意の副映像表示（たとえば副映像のスクロール表示）が可能となる。この任意のアドレスは、副映像データ（画素データＰＸＤ）の表示開始アドレスを設定するコマンド（図２２のコマンドテーブル中のＳＥＴＤＳＰＸＡ）により設定される。

図２３は、表示制御シーケンステーブル３３の具体例を示す。前述したように、表示制御シーケンステーブル３３内の１つの表示制御シーケンス情報（ＤＣＳＱＴ）には、副映像表示制御タイムスタンプ（ＳＰＤＣＴＳ）および副映像データ記録位置（ＳＰＮＤＣＳＱＡ）の後に、複数の表示制御コマンド（ＣＯＭＭＡＮＤ３、ＣＯＭＭＡＮＤ４など）とそのコマンドにより設定される各種パラメータデータが配置されている。そして、表示制御の終了を示す終了コマンド（エンドコード）が最後に付加されている。

次に、表示制御シーケンステーブル３３の処理手順を説明する。

（１）まず、表示制御シーケンステーブル３３の最初のＤＣＳＱＴ（図１６ではＤＣＳＱＴ０）に記録されているタイムスタンプ（ＳＰＤＣＴＳ）が、副映像プロセサのサブＳＴＣ１２０ｂ（たとえば図８のタイマ１２０の一機能）のカウント値と比較される。

（２）比較の結果、サブＳＴＣ１２０ｂのカウント値がタイムスタンプＳＰＤＣＴＳよりも大きい場合には、表示制御シーケンステーブル３３内の全ての表示制御コマンドＣＯＭＭＡＮＤが、表示制御終了コマンドＣＭＤＥＮＤ（図２２）が現れるまで実行される。

（３）表示制御が開始されたあとは、一定時間毎（たとえば垂直ブランキング期間毎）に、次の表示制御シーケンステーブルＤＣＳＱＴに記録されている副映像表示制御タイムスタンプＳＰＤＣＴＳとサブＳＴＣ１２０ｂのカウント値とを比較することにより、次のＤＣＳＱＴに更新するか（つまり図１６のＤＣＳＱＴポインタを次のＤＣＳＱＴに移すか）どうかが、判定される。

ここで、表示制御シーケンステーブル３３内のタイムスタンプＳＰＤＣＴＳ
は、ＰＴＳが更新されてから（つまり副映像データユニットが更新されてから）の相対時間で記録されているので、副映像データユニットのＰＴＳが変わってもＳＰＤＣＴＳを書き替える必要はない。したがって、同じ副映像データ３２を複数の異なる時刻で表示する場合でも全く同じ表示制御シーケンステーブルＤＣＳＱＴを用いることができる。すなわち、表示制御シーケンステーブルＤＣＳＱＴをリロケータブルとすることができる。

次に、副映像の表示制御コマンドの詳細について説明する。図２２は、副映像表示制御コマンドＳＰＤＣＣＭＤの一覧を示す。主な副映像表示制御コマンドとしては、次のようなものがある。

（１）副映像画素データの表示開始タイミングをセットするコマンドＳＴＡＤＳＰ
これは、副映像データ３２の表示開始制御を実行するコマンドである。すなわち、あるＤＣＳＱＴからこのコマンドＳＴＡＤＳＰを含むＤＣＳＱＴに切り替わったときに、副映像データ３２の表示が、このコマンドを含むＤＣＳＱＴのタイムスタンプＳＰＤＣＴＳで示された時刻から開始されることになる。

副映像プロセサ（たとえば図８のＭＰＵ１１２）は、このコマンドをデコードすると、（このコマンドをアクセスした時点ではこのコマンドが属するＤＣＳＱＴのＳＰＤＣＴＳで示された時刻はすぎているので）直ちに、副映像プロセサ内部の表示制御系のイネーブルビットを、アクティブ状態にする。

（２）副映像画素データの表示終了タイミングをセットするコマンドＳＴＰＤＳＰ
これは、副映像データ３２の表示終了制御を実行するためのコマンドである。副映像プロセサは、このコマンドをデコードすると、（このコマンドをアクセスした時点ではこのコマンドが属するＤＣＳＱＴのＳＰＤＣＴＳで示された時刻はすぎているので）直ちに、副映像プロセサ内部の表示制御系のイネーブルビットを、アクティブ状態にする。

（３）副映像画素データのカラーコードをセットするコマンドＳＥＴＣＯＬＯＲ
これは、副映像画素データの色コードを設定するためのコマンドである。このコマンドによって、副映像は、文字あるいは模様などのパターン画素と、パターン画素のふちどり等の強調画素と、副映像が表示される範囲領域でパターン画素および強調画素以外の領域の画素である背景画素とに分けて、色情報を設定することができる。

（４）主映像に対する副映像画素データのコントラストをセットするコマンドＳＥＴＣＯＮＴＲ
これは、コマンドＳＥＴＣＯＬＯＲと同様、図４０で例示した４種類の画素に対して色コードデータの代わりにコントラストデータを設定するためのコマンドである。

（５）主映像上における副映像画素データの表示エリアをセットするコマンドＳＥＴＤＡＲＥＡ
これは、副映像画素データ３２を表示する位置を指定するためのコマンドである。

（６）副映像画素データの表示開始アドレスをセットするコマンドＳＥＴＤＳＰＸＡ
これは、副映像画素データ３２の表示開始アドレスを設定するためのコマンドである。

（７）副映像画素データのカラーコードおよび主映像に対する副映像画素データのコントラストの切換をセットするコマンドＣＨＧＣＯＬＣＯＮ
これは、副映像画素データ３２の色コードおよび主映像に対する副映像画素データ３２のコントラストを表示中に変更するためのコマンドである。

なお、図２２のコマンドテーブルは、上述したコマンドの他に、副映像画素データの表示開始タイミングを強制的にセットするコマンドＦＳＴＡＤＳＰと、および副映像の表示制御を終了するコマンドＣＭＤＥＮＤを含んでいる。

図２４は、図３に示すような副映像ユニット３０を生成する方法の一例を説明するフローチャートである。

副映像として、たとえばビデオ（主映像）の台詞に対応した字幕および／またはイメージが使用される場合、この台詞字幕／イメージがビットマップデータ化される（ステップＳＴ１０）。このビットマップデータを作成するときには、字幕部分をビデオの画面のどの位置のどの領域に表示するかを、決定しなければならない。そのために、表示制御コマンドＳＥＴＤＡＲＥＡ（図２２参照）のパラメータが決定される（ステップＳＴ１２）。

副映像の表示位置（空間的パラメータ）が決定されると、副映像を構成する画素データＰＸＤのエンコードに移る（主映像全体をエンコードするわけではない）。その際、字幕（副映像）の色、字幕領域の背景色、字幕色・背景色のビデオ主映像に対する混合比が決定される。そのために、表示制御コマンドＳＥＴＣＯＬＯＲおよびＳＥＴＣＯＮＴＲ（図２２参照）のパラメータが決定される（ステップＳＴ１４）。

次に、作成したビットマップデータをビデオの台詞に合わせて表示すべきタイミングが決定される。このタイミング決定は副映像タイムスタンプＰＴＳにより行なわれる。その際、タイムスタンプＰＴＳの最大限度時刻と、表示制御コマンドＳＴＡＤＳＰ、ＳＴＰＤＳＰおよびＣＨＧＣＯＬＣＯＮ（図２２参照）の各パラメータ（時間的パラメータ）が決定される（ステップＳＴ１６）。

ここで、副映像タイムスタンプＰＴＳは、ＭＰＥＧ２システムレイヤのターゲットデコーダバッファの消費モデルから、最終的に決定される。ここでは、字幕の表示を開始する時刻が、副映像タイムスタンプＰＴＳの最大限度時刻として決められる。

表示制御コマンドＳＴＡＤＳＰおよびＳＴＰＤＳＰは、副映像タイムスタンプＰＴＳからの相対時刻として記録される。そのため、ＰＴＳが決まるまではコマンドＳＴＡＤＳＰおよびＳＴＰＤＳＰを決定することはできない。そこで、この実施形態では、絶対時刻を決めておき、ＰＴＳの絶対時間が決まってから、その相対値を決定するようにしている。

また、作成した字幕に対して、空間的・時間的に表示色や表示領域を変化させたい場合には、その変化に基づいたコマンドＣＨＧＣＯＬＣＯＮのパラメータが決定される。

副映像の表示位置（空間的パラメータ）および表示タイミング（時間的パラメータ）が（仮に）決定されると、副映像表示制御シーケンステーブルＤＣＳＱＴの内容（ＤＣＳＱ）が作成される（ステップＳＴ１８）。具体的には、表示制御シーケンステーブルＤＣＳＱの表示制御開始時間ＳＰＤＣＴＳ（図２１参照）の値は、表示制御コマンドＳＴＡＤＳＰ（表示開始タイミング）の発効時刻および表示制御コマンドＳＴＰＤＳＰ（表示終了タイミング）の発効時刻に準拠して、決定される。

作成された画素データＰＸＤ３２および表示制御シーケンステーブルＤＣＳＱＴ３３を合わせると、副映像データユニット３０（図３参照）のサイズを決定することができる。そこで、そのサイズを元に副映像ユニットヘッダＳＰＵＨ３１のパラメータＳＰＤＳＺ（副映像サイズ；図１９参照）およびＳＰＤＣＳＱＴＡ（表示制御シーケンステーブルの開始アドレス；図１９参照）を決めて、副映像ユニットヘッダＳＰＵＨ３１を作成する。その後、ＳＰＵＨ３１とＰＸＤ３２とＤＣＳＱＴ３３とを結合することにより、１つの字幕に対する副映像ユニットが作成される（ステップＳＴ２０）。

作成された副映像ユニット３０のサイズが所定値（２０４８バイトあるいは２ｋバイト）を超える場合は（ステップＳＴ２２イエス）、２ｋバイト単位で複数パケットに分割される（ステップＳＴ２４）。この場合、タイムスタンプＰＴＳは、副映像ユニット３０の先頭になるパケットにのみ記録される（ステップＳＴ２６）。

作成された副映像ユニット３０のサイズが所定値（２ｋバイト）以内である場合は（ステップＳＴ２２ノー）、１つだけパケットが生成され（ステップＳＴ２３）、タイムスタンプＰＴＳはそのパケットの頭に記録される（ステップＳＴ２６）。

こうして出来上がった１以上のパケットはパック化され、ビデオその他のパックと合わされて、１本のデータストリームが出来上がる（ステップＳＴ２８）。このとき、各パックのならび順は、ＭＰＥＧ２システムレイヤのターゲットデコーダバッファの消費モデルから、そのシーケンス記録コードＳＲＣと副映像タイムスタンプＰＴＳとを基に決定される。ここで初めてＰＴＳが確定し、これにより図２１の各パラメータ（ＳＰＤＣＴＳ等）が最終的に決定されることになる。

図２５は、図２４の処理手順にしたがって生成された副映像データストリームのパック分解およびデコードを並列処理する手順の一例を説明するフローチャートである。

まず、デコードシステムは、転送されてくるストリームのＩＤを読み取って、選択された副映像パック（データストリームから分離されたもの）だけを副映像デコーダ（たとえば図８の副映像デコーダ１０１）に転送する（ステップＳＴ４０）。

最初のパック転送が行われると、インデックスパラメータ”ｉ”が「１」にセットされ（ステップＳＴ４２）、１番目の副映像パックの分解処理（ステップＳＴ４４；図２６を参照して後述する）が実行される。

分解されたパック（図６下部に示すような圧縮された副映像データＰＸＤを含む）は、副映像バッファ（図８ではメモリ１０８）に一時格納され（ステップＳＴ４６）、インデックスパラメータ”ｉ”が１つインクリメントされる（ステップＳＴ５０）。

インクリメントされたｉ番目のパックが存在すれば、すなわちステップＳＴ４４で分解処理したパックが最終パックでなければ（ステップＳＴ５２ノー）、インクリメントされたｉ番目の副映像パックに対する分解処理（ステップＳＴ４４）が実行される。

分解されたｉ番目の副映像パック（ここでは２番目のパック）は、１番目に分解されたパックと同様に副映像バッファ（メモリ１０８）に一時格納され（ステップＳＴ４６）、インデックスパラメータ”ｉ”がさらに１つインクリメントされる（ステップＳＴ５０）。

以上のようにして、インデックスパラメータ”ｉ”をインクリメントしながら複数の副映像パックが連続的に分解され（ステップＳＴ４４）、副映像バッファ（メモリ１０８）に格納される（ステップＳＴ４６）。

連続してインクリメントされたｉ番目のパックが存在しなくなれば、すなわちステップＳＴ４４で分解処理したパックが最終パックであれば（ステップＳＴ５２イエス）、デコードしようとするストリームの副映像パック分解処理が終了する。

上記副映像パック分解処理（ステップＳＴ４４〜ＳＴ５２）が連続的に実行されている最中に、この副映像パック分解処理と独立・並行して、副映像バッファ（メモリ１０８）に一時格納された副映像パックのデコード処理が行われる。

すなわち、インデックスパラメータ”ｊ”が「１」にセットされると（ステップＳＴ６０）、１番目の副映像パックを副映像バッファ（メモリ１０８）から読み出す動作に入る（ステップＳＴ６２）。この時点で、まだメモリ１０８に１番目の副映像パックが格納されていないならば（ステップＳＴ６３ノー；ステップＳＴ４６の処理がまだ行われていないとき）、読出対象のパックデータがメモリ１０８に格納されるまで、デコード処理は、パック読出動作の空ループ（ステップＳＴ６２〜ＳＴ６３）を実行している。

メモリ１０８に１番目の副映像パックが格納されておれば（ステップＳＴ６３イエス）、その副映像パックが読み出され、デコード処理される（ステップＳＴ６４；デコード処理の具体例は図２４〜図２７を参照して後述する）。

このデコード処理の結果（たとえば図６上部に示すような圧縮前の副映像データＰＸＤを含む）は、デコード処理中に図８の副映像デコーダ１０１から表示系（図示せず）へ送られ、デコードデータに対応する副映像の表示がなされる。

上記デコード処理において表示制御終了コマンド（図２２のＣＭＤＥＮＤ）が実行されていなければ（ステップＳＴ６６ノー）、インデックスパラメータ”ｊ”が１つインクリメントされる（ステップＳＴ６７）。

インクリメントされたｊ番目のパック（ここでは２番目）がメモリ１０８に存在すれば、そのパックがメモリ１０８から読み出され、デコードされる（ステップＳＴ６４）。デコードされたｊ番目の副映像パック（ここでは２番目のパック）は、１番目にデコードされたパックと同様に表示系に送られ、インデックスパラメータ”ｊ”がさらに１つインクリメントされる（ステップＳＴ６７）。

以上のようにして、インデックスパラメータ”ｊ”をインクリメントしながら（ステップＳＴ６７）、メモリ１０８に格納されている１以上の副映像パックが連続的にデコードされ（ステップＳＴ６４）、デコードされた副映像データ（ＰＸＤ）に対応する副映像の画像表示が実行される。

上記デコード処理において表示制御終了コマンド（図２２のＣＭＤＥＮＤ）が実行されれば（ステップＳＴ６６イエス）、副映像バッファ（メモリ１０８）内の副映像データのデコード処理が終了する。

以上のデコード処理（ステップＳＴ６２〜ＳＴ６４）は、終了コマンドＣＭＤＥＮＤが実行されない限り（ステップＳＴ６６ノー）反復される。この実施の形態では、デコード処理は、終了コマンドＣＭＤＥＮＤの実行（ステップＳＴ６６イエス）をもって終了するようになっている。

図２６は、図２５のパック分解処理の一例を説明するフローチャートである。副映像デコーダ１０１は、転送されてくるパックからパックヘッダ（図３参照）を読み飛ばして、パケットを得る（ステップＳＴ７２）。このパケットにタイムスタンプＰＴＳがないときは（ステップＳＴ７４ノー）、パケットヘッダ（ＰＨ）を削除して、副映像ユニットデータ（ＰＸＤ）だけを、副映像デコーダのバッファ（たとえば１２１）に格納する（ステップＳＴ７６）。

上記パケットにタイムスタンプＰＴＳがあるときは（ステップＳＴ７４イエス）、パケットヘッダ（ＰＨ）からＰＴＳだけが抜き取られ、抜き取られたＰＴＳが副映像ユニットデータ（３０）に接続されて、副映像デコーダ１０１のバッファ１２１に格納される（ステップＳＴ７８）。

図２７、図２８は、図２５の副映像デコード処理の一例を説明するフローチャートである。このデコード処理のうち、たとえば図６の下部に示す圧縮データＰＸＤを図６の上部に示す非圧縮データＰＸＤに戻す処理については、図１０、図１１その他を参照して説明済みである。

すなわち、所定の再生時刻に対応するつまり同じ時刻のＳＣＲが付与されている副映像情報のパック内の副映像パケットが１副映像ユニット分、副映像デコーダ１０１に順次転送され、そのＳＣＲに応じて副映像デコーダ１０１は、メインＳＴＣ１２０ａの計数が所定時間後に零となる値から開始し、副映像データユニットの先頭パケットに付加されているＰＴＳが転送されているか否かを調べる （ステップＳＴ８０）。この結果、副映像デコーダ１０１は、そのＰＴＳが転送されている場合、そのＰＴＳとメインＳＴＣ１２０ａのカウント値とが比較され（ステップＳＴ８１）、そのＰＴＳが転送されていない場合、転送されるまで待機している。

この比較の結果、副映像デコーダ１０１は、メインＳＴＣ１２０ａのカウント値がＰＴＳよりも大きい場合、次の副映像データユニットの先頭パケットに付加されているＰＴＳが転送されているか否かを調べ（ステップＳＴ８２）、メインＳＴＣ１２０ａのカウント値がＰＴＳよりも小さい場合、同じになるまで待機している。

この結果、次の副映像データユニットの先頭パケットに付加されているＰＴＳが転送されている場合、副映像デコーダ１０１は、そのＰＴＳとメインＳＴＣ１２０ａのカウント値とが比較される（ステップＳＴ８３）。

ステップ８２で次の副映像データユニットのＰＴＳが転送されていない場合、あるいはステップ８３でメインＳＴＣ１２０ａのカウント値が次の副映像データユニットのＰＴＳよりも小さい場合、副映像デコーダ１０１は、デコードする副映像データユニットを現在のものに決定し（ステップＳＴ８４）、ステップ８６へ進む。

すなわち、最初の副映像データユニットのＰＴＳは「０」のため、メインＳＴＣ１２０ａのカウント値が「０」となった際に、デコードする副映像データユニットを決定し、ステップ８６へ進む。

ステップ８３でメインＳＴＣ１２０ａのカウント値が次の副映像データユニットのＰＴＳよりも大きい場合、副映像デコーダ１０１は、デコードする副映像データユニットを次のものに決定し（ステップＳＴ８５）、ステップ８６へ進む。

次に、副映像デコーダ１０１は、表示制御シーケンステーブル３３の最初のＤＣＳＱＴ（図１６ではＤＣＳＱＴ０）に記録されているタイムスタンプＳＰＤＣＴＳ（「０」）が転送されているか否かを調べる（ステップＳＴ８６）。このタイムスタンプＳＰＤＣＴＳが転送されている場合、副映像デコーダ１０１は、このタイムスタンプＳＰＤＣＴＳとサブＳＴＣ１２０ｂのカウント値とが比較され（ステップＳＴ８７）、転送されていない場合、ステップ８１に戻る。

そして、ステップ８７の比較の結果、サブＳＴＣ１２０ｂのカウント値がタイムスタンプＳＰＤＣＴＳよりも大きい場合、副映像デコーダ１０１は、次の表示制御シーケンスＤＣＳＱのタイムスタンプＳＰＤＣＴＳが転送されているか否かを調べる（ステップＳＴ８８）。この結果、そのタイムスタンプＳＰＤＣＴＳが転送されている場合、副映像デコーダ１０１は、そのタイムスタンプＳＰＤＣＴＳとサブＳＴＣ１２０ｂのカウント値とが比較される（ステップＳＴ８９）。

ステップ８８で次の表示制御シーケンスＤＣＳＱのタイムスタンプＳＰＤＣＴＳが転送されていない場合、あるいはステップ８９でサブＳＴＣ１２０ｂのカウント値が次の表示制御シーケンスＤＣＳＱのタイムスタンプＳＰＤＣＴＳよりも小さい場合、副映像デコーダ１０１は、デコードする表示制御シーケンスＤＣＳＱを現在のものに決定し（ステップＳＴ９０）、ステップ９２へ進む。

ステップ８９でサブＳＴＣ１２０ｂのカウント値が次の表示制御シーケンスＤＣＳＱのタイムスタンプＳＰＤＣＴＳよりも大きい場合、副映像デコーダ１０１は、デコードする表示制御シーケンスＤＣＳＱを次のものに決定し（ステップＳＴ９１）、ステップ９２へ進む。

次に、副映像デコーダ１０１は、デコードする表示制御シーケンスＤＣＳＱに対応する画素データのデコードをその各コマンドを用いて開始する（ステップＳＴ９２）。

たとえば、コマンドＳＥＴＤＡＲＥＡにより副映像の表示位置および表示領域が設定され、コマンドＳＥＴＣＯＬＯＲにより副映像の表示色が設定され、コマンドＳＥＴＣＯＮＴＲによりビデオ主映像に対する副映像のコントラストが設定される。

そして、表示開始タイミングコマンドＳＴＡＤＳＰを実行してから別の表示制御シーケンスＤＣＳＱで表示終了タイミングコマンドＳＴＰＤＳＰが実行されるまで、切換コマンドＣＨＧＣＯＬＣＯＮに準拠した表示制御を行いつつ、ランレングス圧縮されている画素データＰＸＤ（３２）のデコードが行われる。

また、副映像デコーダ１０１は、表示制御シーケンスＤＣＳＱに対応する全ての表示制御コマンドＣＯＭＭＡＮＤが表示制御終了コマンドＣＭＤＥＮＤまですべて転送されているか否かを調べる（ステップＳＴ９３）。

この結果、副映像デコーダ１０１は、転送されていない場合、サブＳＴＣ１２０ｂのカウント値をクリアし、ステップ８１に戻り、再び、最初の表示制御シーケンスＤＣＳＱに対するデコードが行われ、転送されている場合、ステップ９４に進む。

このステップ９４において、副映像デコーダ１０１は、次の表示制御シーケンスＤＣＳＱがあるか否かを調べ、次の表示制御シーケンスＤＣＳＱがある場合、ステップ８８に戻り、次の表示制御シーケンスＤＣＳＱに対するデコードが行われ、次の表示制御シーケンスＤＣＳＱがない場合、ステップ８２に戻り、次の副映像データユニットに対する処理が行われる。

上記したように、メインタイマの初期値が画素データの転送時間を考慮して所定時間後に「０」となる値となっているため、再生を行う最初の副映像データユニットにおけるプレゼンテーションタイムスタンプＰＴＳを画素データの転送時間を考慮せずに零を記述することができる。

また、メインタイマが最初に零に変化するまで副映像の表示が禁止されているため、メインタイマの負の値と正の値の区別をする機能を省くことができる。

さらに、所望の表示制御シーケンスＤＣＳＱに対する処理の途中で、デコード処理が中断してしまった場合に、再び最初の表示制御シーケンスＤＣＳＱ０からデコード処理を行うことにより、デコード処理が中断することによる表示抜け等の表示崩れが発生するのを防ぐことができる。

また、上記例では、メインタイマの初期値を画素データの転送時間を考慮して所定時間後に「０」となる値としたが、これに限らず、サブタイマの初期値を画素データの転送時間を考慮して所定時間後に「０」となる値とするようにしても良い。この場合も上記同様な効果が達成できる。

この発明を適用できる情報保持媒体の一例としての光ディスクの記録データ構造を略示する図。 図１の光ディスクに記録されるデータの論理構造を例示する図。 図２で例示したデータ構造のうち、エンコード（ランレングス圧縮、表示制御シーケンステーブルの付加など）される副映像パックの論理構造を例示する図。 図３で例示した副映像パックのうち、この発明の一実施の形態に係るエンコード方法が適用される副映像データ部分の内容を例示する図。 図４で例示した副映像データ部分を構成する画素データが複数ビット（ここでは２ビット）で構成される場合において、この発明の一実施の形態に係るエンコード方法で採用される圧縮規則１〜６を説明する図。 図４で例示した副映像データ部分を構成する画素データが２ビットで構成される場合において、この発明の一実施の形態に係るエンコード方法で採用される圧縮規則１〜６を具体的に説明する図。 エンコードされた画像情報を持つ高密度光ディスクの、量産からユーザサイドにおける再生までの流れを説明するとともに；エンコードされた画像情報の、放送／ケーブル配信からユーザ／加入者における受信／再生までの流れを説明するブロック図。 この発明に基づく画像デコード（ランレングス伸張など）を実行するデコーダハードウエアの一実施形態（ノンインターレース仕様）を説明するブロック図。 エンコードされた画素データ（副映像データ）のうち、文字パターン「Ａ」がどのようにデコードされるかを、２例（ノンインターレース表示およびインターレース表示）説明する図。 この発明の一実施の形態に係る画像デコード（ランレングス伸張部分）を実行するものであって、たとえば図８のＭＰＵ（１１２）により実行されるソフトウエアを説明するフローチャート図。 図１０のソフトウエアで使用されるデコードステップ（ＳＴ１０５）の内容の一例を説明するフローチャート図。 エンコードされた画像情報を持つ高密度光ディスクから再生された圧縮データがそのまま放送またはケーブル配信され、放送またはケーブル配信された圧縮データがユーザまたは加入者側でデコードされる場合を説明するブロック図。 エンコードされた画像情報が、通信ネットワーク（インターネットなど）を介して、任意の２コンピュータユーザ間で送受される場合を説明するブロック図。 エンコードおよびデコードが実行される光ディスク記録再生装置の概要を説明するブロック図。 この発明により副映像データをデコードする場合において、副映像データユニットのバッファリング状態が、タイムスタンプ（ＰＴＳ）のある副映像チャネルによってどのように変化するかを説明する図。 副映像パケットのデータ構造を説明する図。 副映像データユニット内のタイムスタンプ（ＰＴＳ）の位置を説明する図。 直列に並んだ副映像ユニットと、そのうちの１ユニットのパケットヘッダに記述されたタイムスタンプ（ＰＴＳ）および表示制御シーケンス（ＤＣＳＱ）との対応関係を例示する図。 図３または図４の副映像ユニットヘッダ（ＳＰＵＨ）に含まれるパラメータのうち、副映像サイズおよび表示制御シーケンステーブルの開始アドレス（ＤＣＳＱの相対アドレスポインタ）を説明する図。 副映像表示制御シーケンステーブル（ＳＰＤＣＳＱＴ）の構成を説明する図。 図２０のテーブル（ＳＰＤＣＳＱＴ）を構成する各パラメータ（ＤＣＳＱ）の中身を説明する図。 副映像の表示制御コマンド（ＳＰＤＣＣＭＤ）の内容を説明する図。 図１６に示すパケット内の表示制御シーケンステーブルの具体例を示す図。 表示制御シーケンス（ＤＣＳＱ）の処理を中心にした、この発明の副映像エンコード処理手順の一例を説明するフローチャート図。 図２４の処理手順でエンコードされた副映像データストリームのパック分解およびデコードを並列処理する手順の一例を説明するフローチャート図。 図２５のパック分解処理の一例を説明するフローチャート図。 図２５の副映像デコード処理の一例を説明するフローチャート図。 図２５の副映像デコード処理の一例を説明するフローチャート図。

符号の説明

１…ファイル管理情報 ２…映像用データ ＰＨ…パケットヘッダ ３０…副映像ユニット ３１…副映像ユニットヘッダＳＰＵＨ ３２…副映像の画素データＰＸＤ ３３…表示制御シーケンステーブルＤＣＳＱＴ １０１…デコーダ １０２…データＩ／Ｏ １０３…符号データ切分部 １０４…画素色出力部（ＦＩＦＯタイプ） １０５…メモリ制御部 １０６…継続コード長検知部 １０７…ラン長設定部 １０８…メモリ １０９…アドレス制御部 １１０…表示有効許可部 １１１…不足画素色設定部 １１２…マイクロコンピュータ（ＭＰＵまたはＣＰＵ） １１３…ヘッダ切分部 １１４…ラインメモリ １１５…セレクタ １１８…セレクト信号生成部 １２０…システムタイマ １２０ａ…メインＳＴＣ １２０ｂ…サブＳＴＣ １２１…バッファメモリ

Claims (5)

1. 主映像情報とともに同時再生可能な副映像情報が副映像データーユニットを構成し、
   前記副映像データーユニットは一定のデーターサイズのパケットに分割され、
   前記副映像パケットはパケットヘッダを含み、前記パケットヘッダは表示時刻を表現したタイムスタンプを含み、
   更に前記副映像データーユニットは、副映像ユニットヘッダと、ランレングス圧縮された副映像の画素データーと、表示制御シーケンステーブルとを含み、
   前記副映像ユニットヘッダは前記表示制御シーケンステーブルの開始アドレス情報を含み、
   前記ランレングス圧縮は前記副映像の同一画素データーの連続をデーター単位に変換して行われ、
   前記表示制御シーケンステーブルは、複数の表示制御シーケンスを含み、
   １個の上記表示制御シーケンスは、副映像の表示制御に関する開始時間を示す情報と、アドレス情報と、１以上の表示制御コマンドとを含み、
   前記アドレス情報は、次の表示制御シーケンスの位置を示すように構成し、
   前記副映像表示制御コマンドとして、前記副映像の画素データーと前記主映像間のコントラストをセットするコマンドが設定可能であり、前記コントラストを設定するコマンドによりパターン画素と強調画素と背景画素に対してコントラストの設定ができるように構成し、
   前記副映像の画素データーをエンコード処理する事を特徴とする副映像のエンコード方法。
2. 前記表示制御シーケンス内は、前記副映像の表示制御に関する開始時間を示す情報の後に前記次の表示制御シーケンスの位置を示すアドレス情報が配置され、かつ前記次の表示制御シーケンスの位置を示すアドレス情報の後に、前記１以上の表示制御コマンドが配置されている特許請求範囲第1項記載の副映像のエンコード方法。
3. 前記副映像データーユニット内は、前記副映像ユニットヘッダの後に前記ランレングス圧縮された副映像の画素データーが配置され、かつ前記ランレングス圧縮された副映像の画素データーの後に前記表示制御シーケンステーブルが配置されている特許請求範囲第1項記載の副映像のエンコード方法。
4. 主映像情報とともに同時再生可能な副映像情報が副映像データーユニットを構成し、
   前記副映像データーユニットは一定のデーターサイズのパケットに分割され、
   前記副映像パケットはパケットヘッダを含み、前記パケットヘッダは表示時刻を表現したタイムスタンプを含み、
   更に前記副映像データーユニットは、副映像ユニットヘッダと、ランレングス圧縮された副映像の画素データーと、表示制御シーケンステーブルとを含み、
   前記副映像ユニットヘッダは前記表示制御シーケンステーブルの開始アドレス情報を含み、
   前記ランレングス圧縮は前記副映像の同一画素データーの連続をデーター単位に変換して行われ、
   前記表示制御シーケンステーブルは、複数の表示制御シーケンスを含み、
   １個の上記表示制御シーケンスは、副映像の表示制御に関する開始時間を示す情報と、アドレス情報と、１以上の表示制御コマンドとを含み、
   前記アドレス情報は、次の表示制御シーケンスの位置を示すように構成し、
   前記副映像表示制御コマンドとして、前記副映像の画素データーと前記主映像間のコントラストをセットするコマンドが設定可能であり、前記コントラストを設定するコマンドによりパターン画素と強調画素と背景画素に対してコントラストの設定ができるように構成した情報記録媒体から前記副映像を再生することを特徴とする再生方法。
5. 主映像情報とともに同時再生可能な副映像情報が副映像データーユニットを構成し、
   前記副映像データーユニットは一定のデーターサイズのパケットに分割され、
   前記副映像パケットはパケットヘッダを含み、前記パケットヘッダは表示時刻を表現したタイムスタンプを含み、
   更に前記副映像データーユニットは、副映像ユニットヘッダと、ランレングス圧縮された副映像の画素データーと、表示制御シーケンステーブルとを含み、
   前記副映像ユニットヘッダは前記表示制御シーケンステーブルの開始アドレス情報を含み、
   前記ランレングス圧縮は前記副映像の同一画素データーの連続をデーター単位に変換して行われ、
   前記表示制御シーケンステーブルは、複数の表示制御シーケンスを含み、
   １個の上記表示制御シーケンスは、副映像の表示制御に関する開始時間を示す情報と、アドレス情報と、１以上の表示制御コマンドとを含み、
   前記アドレス情報は、次の表示制御シーケンスの位置を示すように構成し、
   前記副映像表示制御コマンドとして、前記副映像の画素データーと前記主映像間のコントラストをセットするコマンドが設定可能であり、前記コントラストを設定するコマンドによりパターン画素と強調画素と背景画素に対してコントラストの設定ができるように構成した前記副映像情報に対するデコーダを具備することを特徴とする再生装置。

Images