JP4718616B2 - 動画像符号化方法、動画像符号化装置、動画像記録方法、動画像再生方法および動画像再生装置 - Google Patents

Description

本発明は、輝度レベルの閾値に従って前景と背景が分離可能な符号化ストリームを生成する際に、閾値を切り替えて動画像を符号化する動画像符号化方法、動画像記録方法、動画像再生方法、および、符号化ストリームを記録した記録媒体等に関する。

従来の技術である、ＤＶＤ−Ｖｉｄｅｏディスク（以下単にＤＶＤと呼ぶ）について説明する。

図１は、ＤＶＤの構造を示した図である。図１の下段に示すように、ＤＶＤディスク上にはリード・インからリード・アウトまでの間に論理アドレス空間が設けられ、論理アドレス空間の先頭からファイルシステムのボリューム情報が記録され、続いて映像音声などのアプリケーションデータが記録されている。

ファイルシステムとは、ＩＳＯ９６６０やＵＤＦ（Ｕｎｉｖｅｒｓａｌ Ｄｉｓｃ Ｆｏｒｍａｔ）のことであり、ディスク上のデータをディレクトリまたはファイルと呼ばれる単位で表現する仕組みである。日常使っているＰＣ（パーソナルコンピュータ）の場合でも、ＦＡＴまたはＮＴＦＳと呼ばれるファイルシステムを通すことにより、ディレクトリやファイルという構造でハードディスクに記録されたデータがコンピュータ上で表現され、ユーザビリティを高めている。

ＤＶＤの場合、ＵＤＦおよびＩＳＯ９６６０の両方を使用しており（両方を合わせて「ＵＤＦブリッジ」と呼ぶ事がある）、ＵＤＦまたはＩＳＯ９６６０のどちらのファイルシステムドライバによってもデータの読み出しができるようになっている。勿論、書き換え型のＤＶＤディスクであるＤＶＤ−ＲＡＭ／Ｒ／ＲＷでは、これらファイルシステムを介し、物理的にデータの読み、書き、削除が可能である。

ＤＶＤ上に記録されたデータは、ＵＤＦブリッジを通して、図１左上に示すようなディレクトリまたはファイルとして見ることができる。ルートディレクトリ（図中「ＲＯＯＴ」）の直下に「ＶＩＤＥＯ＿ＴＳ」と呼ばれるディレクトリが置かれ、ここにＤＶＤのアプリケーションデータが記録されている。アプリケーションデータは、複数のファイルとして記録され、主なファイルとして以下のものがある。

ＶＩＤＥＯ＿ＴＳ．ＩＦＯ ディスク再生制御情報ファイル
ＶＴＳ＿０１＿０．ＩＦＯ ビデオタイトルセット＃１再生制御情報ファイル
ＶＴＳ＿０１＿０．ＶＯＢ ビデオタイトルセット＃１ストリームファイル
．．．．．

拡張子として２つの種類が規定されており、「ＩＦＯ」は再生制御情報が記録されたファイルであって、「ＶＯＢ」はＡＶデータであるＭＰＥＧストリームが記録されたファイルである。再生制御情報とは、ＤＶＤで採用されたインタラクティビティ（ユーザの操作に応じて再生を動的に変化させる技術）を実現するための情報や、メタデータのようなタイトルやＡＶストリームに付属する情報などのことである。また、ＤＶＤでは一般的に再生制御情報のことをナビゲーション情報と呼ぶことがある。

再生制御情報ファイルは、ディスク全体を管理する「ＶＩＤＥＯ＿ＴＳ．ＩＦＯ」と、個々のビデオタイトルセット（ＤＶＤでは複数のタイトル、言い換えれば異なる映画や異なるバージョンの映画を１枚のディスクに記録することが可能である。）毎の再生制御情報である「ＶＴＳ＿０１＿０．ＩＦＯ」がある。ここで、ファイル名ボディにある「０１」はビデオタイトルセットの番号を示しており、例えば、ビデオタイトルセット＃２の場合は、「ＶＴＳ＿０２＿０．ＩＦＯ」となる。

図１の右上部は、ＤＶＤのアプリケーション層でのＤＶＤナビゲーション空間であり、前述した再生制御情報が展開された論理構造空間である。「ＶＩＤＥＯ＿ＴＳ．ＩＦＯ」内の情報は、ＶＭＧＩ（Ｖｉｄｅｏ Ｍａｎａｇｅｒ Ｉｎｆｏｒｍａｔｉｏｎ）として、「ＶＴＳ＿０１＿０．ＩＦＯ」または、他のビデオタイトルセット毎に存在する再生制御情報はＶＴＳＩ（Ｖｉｄｅｏ Ｔｉｔｌｅ Ｓｅｔ Ｉｎｆｏｒｍａｔｉｏｎ）としてＤＶＤナビゲーション空間に展開される。

ＶＴＳＩの中にはＰＧＣ（Ｐｒｏｇｒａｍ Ｃｈａｉｎ）と呼ばれる再生シーケンスの情報であるＰＧＣＩ（Ｐｒｏｇｒａｍ Ｃｈａｉｎ Ｉｎｆｏｒｍａｔｉｏｎ）が記述されている。ＰＧＣＩは、Ｃｅｌｌの集合とコマンドと呼ばれる一種のプログラミング情報によって構成されている。Ｃｅｌｌ自身はＶＯＢ（Ｖｉｄｅｏ Ｏｂｊｅｃｔの略であり、ＭＰＥＧストリームを指す）の一部区間または全部区間の集合であり、Ｃｅｌｌの再生は、当該ＶＯＢのＣｅｌｌによって指定された区間を再生することを意味している。

コマンドは、ＤＶＤの仮想マシンによって処理されるものであり、ブラウザ上で実行されるＪａｖａ（登録商標）スクリプトなどに近いものである。しかしながらＪａｖａ（登録商標）スクリプトが論理演算の他にウィンドウやブラウザの制御（例えば、新しいブラウザのウィンドウを開くなど）を行うのに対して、ＤＶＤのコマンドは、論理演算の他にＡＶタイトルの再生制御、例えば、再生するチャプタの指定などを実行するだけのものである点で異なっている。

Ｃｅｌｌはディスク上に記録されているＶＯＢの開始および終了アドレス（ディスク上での論理記録アドレス）をその内部情報として有しており、プレーヤは、Ｃｅｌｌに記述されたＶＯＢの開始および終了アドレス情報を使ってデータの読み出し、再生を実行する。

図２はＡＶストリーム中に埋め込まれているナビゲーション情報を説明する概略図である。ＤＶＤの特徴であるインタラクティビティは前述した「ＶＩＤＥＯ＿ＴＳ．ＩＦＯ」や「ＶＴＳ＿０１＿０．ＩＦＯ」などに記録されているナビゲーション情報だけによって実現されているのではなく、幾つかの重要な情報はナビゲーションパック（ナビパックまたは、ＮＶ＿ＰＣＫと称する）と呼ばれる専用キャリアを使いＶＯＢ内に映像、音声データと一緒に多重化されている。

ここでは簡単なインタラクティビティの例としてメニューを説明する。メニュー画面上には、幾つかのボタンが現れ、夫々のボタンには当該ボタンが選択実行された時の処理が定義されている。また、メニュー上では一つのボタンが選択されており（ハイライトによって選択ボタン上に半透明色がオーバーレイされており該ボタンが選択状態であることをユーザに示す）、ユーザは、リモコンの上下左右キーを使って、選択状態のボタンを上下左右の何れかのボタンに移動させることが出来る。リモコンの上下左右キーを使って、選択実行したいボタンまでハイライトを移動させ、決定する（決定キーを押す）ことによって対応するコマンドのプログラムが実行される。一般的には対応するタイトルやチャプタの再生がコマンドによって実行されている。

図２の左上部はＮＶ＿ＰＣＫ内に格納される制御情報の概要を示している。

ＮＶ＿ＰＣＫ内には、ハイライトカラー情報と個々のボタン情報などが含まれている。ハイライトカラー情報には、カラーパレット情報が記述され、オーバーレイ表示されるハイライトの半透明色が指定される。ボタン情報には、個々のボタンの位置情報である矩形領域情報と、当該ボタンから他のボタンへの移動情報（ユーザの上下左右キー操作夫々に対応する移動先ボタンの指定）と、ボタンコマンド情報（当該ボタンが決定された時に実行されるコマンド）が記述されている。

メニュー上のハイライトは、図２の中央右上部に示すように、オーバーレイ画像として作られる。オーバーレイ画像は、ボタン情報の矩形領域情報にカラーパレット情報の色をつけた物である。このオーバーレイ画像は図２の右部に示す背景画像と合成されて画面上に表示される。

上述のようにして、ＤＶＤではメニューを実現している。また、ナビゲーションデータの一部をＮＶ＿ＰＣＫを使ってストリーム中に埋め込んでいるのは、ストリームと同期して動的にメニュー情報を更新したり（例えば、映画再生の途中５分〜１０分の間にだけメニューが表示されるなど）、同期タイミングが問題となりやすいアプリケーションの場合でも、問題なく実現できるようにしたためである。また、もう一つの大きな理由は、ＮＶ＿ＰＣＫには特殊再生を支援するための情報を格納し、ＤＶＤ再生時の早送り、巻き戻しなどの非通常再生時にも円滑にＡＶデータをデコードし再生させる等、ユーザの操作性を向上させるためである。

図３は、ＤＶＤのストリームであるＶＯＢのイメージである。図に示すように、映像、音声、字幕などのデータ（図３のａ段）は、ＭＰＥＧシステム規格（ＩＳＯ／ＩＥＣ１３８１８−１）に基づいて、パケットおよびパック化し（図３のｂ段）、夫々を多重化して１本のＭＰＥＧプログラムストリームにしている（図３のｃ段）。また、前述した通りインタラクティブを実現するためのボタンコマンドを含んだＮＶ＿ＰＣＫも一緒に多重化をされている。

ＭＰＥＧシステムの多重化の特徴は、多重化する個々のデータは、そのデコード順に基づくビット列になっているが、多重化されるデータ間、即ち、映像、音声、字幕の間は必ずしも再生順に基づいてビット列が形成されている訳ではない。これは多重化したＭＰＥＧシステムストリームのデコーダモデル（一般にＳｙｓｔｅｍ Ｔａｒｇｅｔ Ｄｅｃｏｄｅｒ、またはＳＴＤと呼ばれる（図３のｄ段））が多重化を解いた後に個々のエレメンタリストリームに対応するデコーダバッファを持ち、デコードタイミングまでに一時的にデータを蓄積している事に由来している。例えばＤＶＤ−Ｖｉｄｅｏで規定されるデコーダバッファは、個々のエレメンタリストリーム毎にサイズが異なり、映像に対しては、２３２ＫＢ、音声に対しては４ＫＢ、字幕に対しては５２ＫＢを夫々有している。

即ち、映像データと並んで多重化されている字幕データが必ずしも同一タイミングでデコードもしくは再生されているわけでは無い。

一方、次世代ＤＶＤ規格としてＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）がある。

ＤＶＤでは、標準画質（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ画質）の映像に対する、パッケージ配信（ＤＶＤ−Ｖｉｄｅｏ規格）やアナログ放送の記録（ＤＶＤ Ｖｉｄｅｏ Ｒｅｃｏｒｄｉｎｇ規格）を目的としてきたが、ＢＤでは、高精度画質（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ画質）のデジタル放送をそのまま記録する（Ｂｌｕ−ｒａｙ Ｄｉｓｃ Ｒｅｗｒｉｔａｂｌｅ規格、以下ＢＤ−ＲＥ）ことができる。

しかしながら、ＢＤ−ＲＥ規格は広くデジタル放送の記録を目的としているため、特殊再生の支援情報などが最適化されていない。将来的に、高精度映像をデジタル放送よりも高レートでパッケージ配信させることを考えると（ＢＤ−ＲＯＭ規格）、非通常再生時でもユーザにストレスを与えない仕組みが必要となってくる。

また、ＢＤにおける動画像の符号化方式の１つとして、ＭＰＥＧ−４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）が採用されている。ＭＰＥＧ−４ ＡＶＣとは、ＩＳＯ／ＩＥＣ（国際標準化機構 国際電気標準会議）のＪＴＣ１／ＳＣ２９／ＷＧ１１とＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）が共同で策定した高圧縮率の次世代符号化方式である。

一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは１枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。

参照画像を持たず画面内予測符号化を行うものをＩピクチャと呼ぶ。また、１枚のピクチャのみを参照し画面間予測符号化を行うものをＰピクチャと呼ぶ。また、同時に２枚のピクチャを参照して画面間予測符号化を行うことのできるものをＢピクチャと呼ぶ。Ｂピクチャは表示時間が前方もしくは後方から任意の組み合わせとして２枚のピクチャを参照することが可能である。参照画像（参照ピクチャ）は符号化および復号化の基本単位であるブロックごとに指定することができるが、符号化を行ったビットストリーム中に先に記述される方の参照ピクチャを第１参照ピクチャ、後に記述される方を第２参照ピクチャとして区別する。ただし、これらのピクチャを符号化および復号化する場合の条件として、参照するピクチャが既に符号化および復号化されている必要がある。

符号化する画像から、画面内予測、あるいは画面間予測から得られた予測信号を引き算した残差信号は、周波数変換して量子化した後に、可変長符号化されて符号化ストリームとして出力される。ＭＰＥＧ−４ ＡＶＣには、可変長符号化の方式としてＣＡＶＬＣ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ：コンテキスト適応型可変長符号化）とＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ：コンテキスト適応型２値算術符号化）の２種類があり、ピクチャ単位で切り替えることができる。ここで、コンテキスト適応型とは、周囲の状況に応じて効率の良い符号化方式を適応的に選択する方式である。

次に、異なる符号化方式（あるいは、異なる属性の動画像）が混在し得るストリーム、及び、そのようなストリームを受信した復号装置における復号処理について説明する。ここでは、２つの例、つまり、可変長符号化方式（ＣＡＶＬＣ／ＣＡＢＡＣ）が混在し得る第１の例と、ピクチャ内ピクチャにおいて輝度キーによる透過処理を行う際に用いられる輝度の閾値が混在し得る第２の例とを説明する。

まず、異なる符号化方式（あるいは、異なる属性の動画像）が混在し得るストリームの第１の例、つまり、可変長符号化方式（ＣＡＶＬＣ／ＣＡＢＡＣ）が混在し得る例について説明する。図４は、ＭＰＥＧ−４ ＡＶＣのストリームにおいて、ランダムアクセス可能な単位を構成するピクチャに適用される可変長符号化の方式を示す例である。ここで、ＭＰＥＧ−４ ＡＶＣでは、ＭＰＥＧ−２ビデオのＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）に相当する概念は無いが他のピクチャに依存せずに復号化できる特別なピクチャ単位でデータを分割すればＧＯＰに相当するランダムアクセス可能な単位が構成できるので、これをランダムアクセス単位（ＲＡＵ）と呼ぶことにする。図４に示すように、可変長符号化の方式としてＣＡＢＡＣ、あるいはＣＡＶＬＣが適用されるかがピクチャ単位で切り替わる。

次に、ＣＡＢＡＣとＣＡＶＬＣとでは可変長復号時の処理が異なるため、図５Ａ〜図５Ｃを参照してそれぞれの可変長復号処理について説明する。図５Ａは、ＣＡＢＡＣにより可変長符号化されたデータの復号処理であるＣＡＢＡＤ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｄｅｃｏｄｉｎｇ：コンテキスト適応型２値算術復号）と、ＣＡＶＬＣにより可変長符号化されたデータの復号処理であるＣＡＶＬＤ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｄｅｃｏｄｉｎｇ：コンテキスト適応型可変長復号）とを行う画像復号化装置のブロック図を示す。

ＣＡＢＡＤを伴う画像復号化処理は次のように行われる。まず、ＣＡＢＡＣが適用された符号化データＶｉｎがストリームバッファ５００１に入力される。続いて、算術復号部５００２は、ストリームバッファから符号化データＶｒを読み出して算術復号を行い、２値データＢｉｎ１を２値データバッファ５００３に入力する。２値データ復号処理部５００４は、２値データバッファ５００３から２値データＢｉｎ２を取得して、２値データを復号し、復号後の２値データＤｉｎ１を画素復元部５００５に入力する。画素復元部５００５は、２値復号データＤｉｎ１に対して逆量子化、逆変換、および動き補償などを行い、画素を復元し、復号データＶｏｕｔを出力する。図５Ｂは、ＣＡＢＡＣが適用された符号化データを復号開始してから、画素復元処理を実施するまでの動作を示すフローチャートである。まず、ステップ５００１において、ＣＡＢＡＣが適用された符号化データＶｉｎを算術復号して、２値データを生成する。次に、ステップ５００２において、１以上のピクチャなど、所定のデータ単位分の２値データが揃ったかどうか判定し、揃った際にはステップＳ５００３に進み、揃っていない場合にはステップＳ５００１の処理を繰り返す。ここで、２値データのバッファリングを行うのは、ＣＡＢＡＣでは、ピクチャあるいはマクロブロックあたりの２値データの符号量が著しく大きくなることがあり、それに伴い算術復号の処理負荷も著しく増加し得るため、ワーストケースにおいても途切れのない再生を実現するためには、予め一定量の算術復号処理を行っておく必要があるためである。ステップＳ５００３では、２値データを復号し、ステップＳ５００４において画素復元処理を実施する。このように、ＣＡＢＡＤにおいては、ステップＳ５００１およびステップＳ５００２において所定のデータ単位分の２値データが揃うまで画素復元処理を開始できないため、復号開始時に遅延が発生する。

ＣＡＶＬＤを伴う画像復号化処理は次のように行われる。まず、ＣＡＶＬＣが適用された符号化データＶｉｎがストリームバッファ５００１に入力される。続いて、ＣＡＶＬＤ部５００６は、可変長復号処理を行い、ＶＬＤ復号データＤｉｎ２を画素復元部５００５に入力する。画素復元部５００５は、逆量子化、逆変換、および動き補償などを行い、画素を復元し、復号データＶｏｕｔを出力する。図５Ｃは、ＣＡＶＬＣが適用された符号化データを復号開始してから、画素復元処理を実施するまでの動作を示すフローチャートである。まず、ステップＳ５００５においてＣＡＶＬＤを行い、続いて、ステップＳ５００４において画素復元処理を実施する。このように、ＣＡＶＬＤにおいては、ＣＡＢＡＤとは異なり、画素復元処理を開始する前に、所定のデータ単位分のデータが揃うまで待つ必要がないとともに、２値データバッファ５００３のような、可変長復号処理における中間バッファをもつ必要がない。

図６は、図４の例のように、ストリームの途中で可変長符号化の方式が切り替わるストリームを復号する、従来の復号装置の動作を示すフローチャートである。なお、本明細書において、復号装置及び復号方法は、それぞれ、動画像再生装置及び動画像再生方法の一例である。

まず、ステップＳ５１０１において、ピクチャに適用された可変長符号化方式を示す情報を取得して、ステップＳ５１０２に進む。ステップＳ５１０２では、復号順で直前のピクチャと現ピクチャとで可変長符号化の方式が切り替わったかどうかを判定する。ＣＡＢＡＤとＣＡＶＬＤとでは、可変長復号処理におけるバッファの管理方法が異なるため、可変長符号化の方式が切り替わった際には、ステップＳ５１０３に進んでバッファ管理の切替え処理を行い、可変長符号化の方式が切り替わっていなければステップＳ５１０４に進む。ステップＳ５１０４において可変長符号化方式がＣＡＶＬＣであるかどうか判定し、ＣＡＶＬＣである際にはステップＳ５１０５に進んでＣＡＶＬＤ処理を行い、ＣＡＢＡＣである際にはステップＳ５１０６に進む。ステップＳ５１０６では、復号順で直前のピクチャと現ピクチャとで可変長符号化の方式が切り替わったかどうか判定し、切り替わった際にはステップＳ５１０７に進み、図５のステップＳ５００１とステップＳ５００２に示すように、所定のデータ単位分の２値データが揃うまで算術復号を行ってから、２値データを復号する。ステップＳ５１０６で可変長符号化の方式が切り替わっていないと判定された際には、ステップＳ５１０８に進み、通常のＣＡＢＡＤ処理を行う。ここで、通常のＣＡＢＡＤ処理とは、ＣＡＶＬＣからＣＡＢＡＣに切り替わる、あるいはＣＡＢＡＣが適用されたストリームの復号を開始する際に必要であった２値データのバッファリングを行わない処理である。最後に、ステップＳ５１０９において画素復元処理を実施する。

次に、異なる符号化方式（あるいは、異なる属性の動画像）が混在し得るストリームの第２例、つまり、ピクチャ内ピクチャにおいて輝度キーによる透過処理を行う際に用いられる輝度の閾値（動画像の属性）が混在し得る例について説明する。ＢＤ−ＲＯＭなどのパッケージメディアでは、本編映像にオーバーレイしてディレクターズ・カット（監督による解説映像）など、本編とは異なる映像を表示するアプリケーションがあり、このようなアプリケーションをピクチャ内ピクチャと呼ぶ。図７は、ピクチャ内ピクチャを説明する図である。図７（ａ）は画像の表示プレーンを示し、プレーン２がプレーン１にオーバーレイして表示される。図７（ｂ）と図７（ｃ）は、それぞれ、プレーン１とプレーン２に表示する画像を示し、プレーン２の表示画像がプレーン１の表示画像にオーバーレイして表示される（図７（ｄ））。ピクチャ内ピクチャのケースでは、プレーン１に表示されるのが本編映像、プレーン２に表示されるのが本編とは異なる映像となる。ここで、プレーン２に表示される映像をそのままオーバーレイしてしまうと、プレーン１の画像が完全に隠れてしまうため、プレーン２の画像には輝度キーによる透過処理が行われる。以下に、輝度キーによる透過処理について説明する。透過処理においては、画像内の各画素の輝度値に応じて当該画素を透過して表示するかどうかを切替える。具体的には、次のようになる。

１．輝度値が０以上で、所定の閾値ＹＬ以下である場合、当該画素は完全に透過（透過率が１）とする。

２．輝度値が所定の閾値ＹＬを超える場合、当該画素は透過せず（透過率が０）に、輝度値に示されるように表示する。

図７（ｃ）において、黒塗りの領域は輝度値が前記所定の閾値ＹＬ以下であり、その他の領域は、輝度値が前記所定の閾値ＹＬを超えるものとすると、図７（ｄ）に示されるように、プレーン２の画像をプレーン１にオーバーレイする際に、黒塗りの領域は透過させ、それ以外の領域は透過させずに表示する。つまり、プレーン２の画像のうち、輝度が閾値ＹＬを超える領域（画素）だけが、プレーン１の画像にオーバーレイされ、表示される。これにより、プレーン２は、輝度レベルの閾値に従って前景と背景に分離され、前景だけがプレーン１にオーバーレイされて表示され、ピクチャ内ピクチャが実現される。

特開２０００−２２８６５６号公報

Ｐｒｏｐｏｓｅｄ ＳＭＰＴＥ Ｓｔａｎｄａｒｄ ｆｏｒ Ｔｅｌｅｖｉｓｉｏｎ： ＶＣ−１ Ｃｏｍｐｒｅｓｓｅｄ Ｖｉｄｅｏ Ｂｉｔｓｔｒｅａｍ Ｆｏｒｍａｔ ａｎｄ Ｄｅｃｏｄｉｎｇ Ｐｒｏｃｅｓｓ， Ｆｉｎａｌ Ｃｏｍｍｉｔｔｅｅ Ｄｒａｆｔ １ Ｒｅｖｉｓｉｏｎ ６， ２００５．７．１３

以上のような異なる符号化方式（あるいは、異なる属性の動画像）が混在し得るストリームを受信した復号装置は、復号処理において切り替え処理が必要とされるために、処理負荷が大きくなるという問題がある。図８は、従来の多重化装置により生成された従来の記録媒体において輝度キーによる透過処理を実現する際の課題について説明する図である。図８は、輝度キーによる透過処理を行う映像が連続再生される区間を示し、区間１、区間２、区間３が順に再生される。ここで、透過率を１として透過して表示する画素における輝度値の閾値が、区間１では２０、区間２では４０、区間３では３０となっているため、区間の切替わりにおいて、透過して表示する画素における輝度値の閾値を変更する必要がある。輝度値の閾値が変更されると、プレーンを合成する際の動作の変更が必要となり、動作の変更に伴う遅延が発生する。この結果、途切れなく再生されるべき各区間の切替わり部分において、再生が途切れるという課題がある。

このように、従来の画像符号化方式により生成されたストリームが多重化された従来の記録媒体を再生する際には、再生区間毎に輝度キーの閾値が変更されるため、前記閾値の切り替わりに伴って、再生時における輝度値の閾値処理において遅延が発生するという課題がある。

本発明は、再生時の処理負荷を増大させることなく再生途切れを発生させない動画像符号化方法、動画像符号化装置、動画像記録方法、動画像再生方法及び動画像再生装置を提供することを目的とする。

本発明は、以上の課題を解決するためになされたものである。

本発明に係る動画像符号化方法は、連続再生の対象となる区間（連続再生区間）においては、符号化方式（あるいは、動画像の属性）を切り替えることなく動画像を符号化しておくとともに、その区間においては符号化方式が固定であることを示すフラグ情報を含む管理情報を作成しておくことを特徴とする。

より具体的には、ピクチャ内ピクチャのケースに対応した発明として、本発明に係る動画像符号化方法は、第１動画像と、前記第１動画像にオーバーレイするための第２動画像とを含む映像ストリームを符号化する動画像符号化方法であって、前記オーバーレイでは、前記第２動画像のうち、予め定められた閾値を超える輝度を有する画像領域だけが前記第１動画像にオーバーレイされ、前記動画像符号化方法は、前記映像ストリームのうち、部分区間の集まりであって、連続再生の対象となる区間である連続再生区間を決定する連続再生区間決定ステップと、前記連続再生区間決定ステップで決定された連続再生区間においては前記閾値を変更しないという制約を満たすように、前記連続再生区間を構成する複数の部分区間における前記第１及び第２動画像を符号化する符号化ステップと、前記連続再生区間においては前記閾値が固定であることを示すフラグ情報を含む管理情報を作成する管理情報作成ステップと、前記符号化ステップで符号化された前記第１及び第２動画像と前記管理情報作成ステップで作成された管理情報とを結合して出力する結合ステップとを含むことを特徴とする。

また、本発明に係る動画像符号化装置は、第１動画像と、前記第１動画像にオーバーレイするための第２動画像とを含む映像ストリームを符号化する動画像符号化装置であって、前記オーバーレイでは、前記第２動画像のうち、予め定められた閾値を超える輝度を有する画像領域だけが前記第１動画像にオーバーレイされ、前記動画像符号化装置は、前記映像ストリームのうち、部分区間の集まりであって、連続再生の対象となる区間である連続再生区間を決定する連続再生区間決定部と、前記連続再生区間決定部で決定された連続再生区間においては前記閾値を変更しないという制約を満たすように、前記連続再生区間を構成する複数の部分区間における前記第１及び第２動画像を符号化する符号化部と、前記連続再生区間においては前記閾値が固定であることを示すフラグ情報を含む管理情報を作成する管理情報作成部と、前記符号化部で符号化された前記第１及び第２動画像と前記管理情報作成部で作成された管理情報とを結合して出力する結合部とを備えることを特徴とする。

また、本発明に係る動画像記録方法は、第１動画像と、前記第１動画像にオーバーレイするための第２動画像とを含む映像ストリームを符号化して記録媒体に記録する動画像記録方法であって、前記オーバーレイでは、前記第２動画像のうち、予め定められた閾値を超える輝度を有する画像領域だけが前記第１動画像にオーバーレイされ、前記動画像記録方法は、前記映像ストリームのうち、部分区間の集まりであって、連続再生の対象となる区間である連続再生区間を決定する連続再生区間決定ステップと、前記連続再生区間決定ステップで決定された連続再生区間においては前記閾値を変更しないという制約を満たすように、前記連続再生区間を構成する複数の部分区間における前記第１及び第２動画像を符号化する符号化ステップと、前記連続再生区間においては前記閾値が固定であることを示すフラグ情報を含む管理情報を作成する管理情報作成ステップと、前記符号化ステップで符号化された前記第１及び第２動画像と前記管理情報作成ステップで作成された管理情報とを結合して記録媒体に記録する結合ステップとを含むことを特徴とする。

また、本発明に係る記録媒体は、コンピュータ読み取り可能なデータが記録された記録媒体であって、前記データには、第１動画像と、前記第１動画像にオーバーレイするための第２動画像とを含む映像ストリーム、及び、前記映像ストリームを管理する情報である管理情報が含まれ、前記オーバーレイでは、前記第２動画像のうち、予め定められた閾値を超える輝度を有する画像領域だけが前記第１動画像にオーバーレイされ、前記映像ストリームでは、部分区間の集まりであって、連続再生の対象となる区間である連続再生区間においては前記閾値を変更しないという制約を満たすように、前記連続再生区間を構成する複数の部分区間における前記第１及び第２動画像が符号化されており、前記管理情報には、前記連続再生区間においては前記閾値が固定であることを示すフラグ情報が含まれることを特徴とする。

また、本発明に係る動画像再生方法は、符号化された第１及び第２動画像を含む映像ストリームを復号化し、前記第２動画像を前記第１動画像にオーバーレイして表示する動画像再生方法であって、前記映像ストリームに対応する管理情報を取得し、取得した管理情報を解釈する管理情報処理ステップと、前記管理情報処理ステップでの解釈に従って、前記第１及び第２動画像を復号化する復号化ステップと、復号化された前記第２動画像のうち、予め定められた閾値を超える輝度を有する画像領域だけを、復号化された前記第１動画像にオーバーレイして表示する表示ステップとを含み、前記管理情報処理ステップでは、前記管理情報に、前記閾値が固定であることを示すフラグ情報が含まれるか否かを判断し、前記表示ステップでは、前記管理情報処理ステップで前記管理情報に前記フラグ情報が含まれると判断された場合に、直前の部分区間における閾値と同じ値の閾値を用いて、現部分区間における前記オーバーレイ表示をすることを特徴とする。

また、本発明に係る動画像再生装置は、符号化された第１及び第２動画像を含む映像ストリームを復号化し、前記第２動画像を前記第１動画像にオーバーレイして表示する動画像再生装置であって、前記映像ストリームに対応する管理情報を取得し、取得した管理情報を解釈する管理情報処理部と、前記管理情報処理部による解釈に従って、前記第１及び第２動画像を復号化する復号化部と、復号化された前記第２動画像のうち、予め定められた閾値を超える輝度を有する画像領域だけを、復号化された前記第１動画像にオーバーレイして表示する表示部とを備え、前記管理情報処理部は、前記管理情報に、前記閾値が固定であることを示すフラグ情報が含まれるか否かを判断し、前記表示部は、前記管理情報処理部で前記管理情報に前記フラグ情報が含まれると判断された場合に、直前の部分区間における閾値と同じ値の閾値を用いて、現部分区間における前記オーバーレイ表示をすることを特徴とする。

また、本発明に係る動画像再生システムは、上記記録媒体と、前記記録媒体に記録されたデータを読み出して再生する動画像再生装置とを備える動画像再生システムであって、前記動画像再生装置は、前記記録媒体から管理情報を読み出して解釈する管理情報処理部と、前記管理情報処理部による解釈に従って、前記記録媒体から前記第１及び第２動画像を読み出して復号化する復号化部と、復号化された前記第２動画像のうち、予め定められた閾値を超える輝度を有する画像領域だけを、復号化された前記第１動画像にオーバーレイして表示する表示部とを備え、前記管理情報処理部は、前記管理情報に、前記閾値が固定であることを示すフラグ情報が含まれるか否かを判断し、前記表示部は、前記管理情報処理部で前記管理情報に前記フラグ情報が含まれると判断された場合に、直前の部分区間における閾値と同じ値の閾値を用いて、現部分区間における前記オーバーレイ表示をすることを特徴とする。

なお、本発明は、以上のような動画像符号化方法、動画像符号化装置、動画像記録方法、記録媒体、動画像再生方法、動画像再生装置および動画像再生システムとして実現できるだけでなく、上記各方法に含まれるステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムが記録されたＤＶＤ等のコンピュータ読み取り可能な記録媒体として実現したり、上記各装置をＬＳＩ等の半導体集積回路として実現してもよい。

以上のように、本発明の動画像符号化方法等によれば、連続再生の対象となる区間においては、符号化方式（あるいは、動画像の属性）を切り替えることなく動画像が符号化されるとともに、その区間においては符号化方式が固定であることを示すフラグ情報を含む管理情報を作成される。これにより、このようなデータ構造の動画像及び管理情報を受け取った（あるいは、記録媒体から読み出した）再生装置は、符号化方式あるいは動画像の属性の切り替わりを監視する処理が不要となり、処理負荷が軽減される。

つまり、ピクチャ内ピクチャについては、連続再生区間内の動画像の符号化データにおいて、各画素を透過して表示するかどうかの判定に用いる輝度値の閾値を固定としたことで、閾値の切り替わりに起因する再生時の遅延をなくし、シームレスな再生を実現できる。このため、動画像、グラフィクス、あるいは静止画などに動画像をオーバーレイして表示させるパッケージメディア、配信アプリケーションなどの再生品質を向上できる。また、前記アプリケーションを実現する再生装置の処理負荷を軽減できることから、その実用的価値が高い。

図１は、ＤＶＤの構成図である。 図２は、ハイライトの構成図である。 図３は、ＤＶＤでの多重化の例を示す図である。 図４は、従来のＭＰＥＧ−４ ＡＶＣストリームにおいてピクチャ単位に適用される可変長符号化方式の例を示す図である。 図５Ａは、ＣＡＢＡＣとＣＡＶＬＣが適用された符号化ストリームを復号する復号装置の構成を示すブロック図である。 図５Ｂは、ＣＡＢＡＣが適用された符号化ストリームを復号する動作を示すフローチャートである。 図５Ｃは、ＣＡＶＬＣが適用された符号化ストリームを復号する動作を示すフローチャートである。 図６は、従来の復号装置の動作を示すフローチャートである。 図７は、ピクチャ内ピクチャにおける表示例を説明する図である。 図８は、輝度キーの閾値が連続再生区間内で切り替わることに起因する課題を説明する図である。 図９は、実施の形態１の記録媒体に格納されるＭＰＥＧ−４ ＡＶＣストリームにおいてピクチャ単位に適用される可変長符号化の方式の例を示す図である。 図１０は、記録媒体において、可変長符号化の方式が固定である単位を示すフラグ情報の格納例を示す図である。 図１１は、記録媒体を再生する復号装置の動作を示すフローチャートである。 図１２は、多重化装置の構成を示すブロック図である。 図１３は、多重化装置の動作を示すフローチャートである。 図１４は、図１３中のＳ５２０１の具体例を示すフローチャートである。 図１５は、図１３中のＳ５２０２の具体例を示すフローチャートである。 図１６は、図１３中のＳ５２０４及びＳ５２０５の他の具体例を示すフローチャートである。 図１７は、図１３中のＳ５２０２の具体例を示すフローチャートである。 図１８は、ＢＤのデータ階層図である。 図１９は、ＢＤ上の論理空間の構成図である。 図２０は、ＢＤプレーヤの概要ブロック図である。 図２１は、ＢＤプレーヤの構成ブロック図である。 図２２は、ＢＤのアプリケーション空間の説明図である。 図２３は、ＭＰＥＧストリーム（ＶＯＢ）の構成図である。 図２４は、パックの構成図である。 図２５は、ＡＶストリームとプレーヤ構成の関係を説明する図である。 図２６は、トラックバッファへのＡＶデータ連続供給モデル図である。 図２７は、ＶＯＢ情報ファイル構成図である。 図２８は、タイムマップの説明図である。 図２９は、プレイリストファイルの構成図である。 図３０は、プレイリストに対応するプログラムファイルの構成図である。 図３１は、ＢＤディスク全体管理情報ファイルの構成図である。 図３２は、グローバルイベントハンドラを記録するファイルの構成図である。 図３３は、タイムイベントの例を説明する図である。 図３４は、ユーザイベントの例を説明する図である。 図３５は、グローバルイベントハンドラの例を説明する図である。 図３６は、仮想マシンの構成図である。 図３７は、プレーヤ変数テーブルの図である。 図３８は、イベントハンドラ（タイムイベント）の例を示す図である。 図３９は、イベントハンドラ（ユーザイベント）の例を示す図である。 図４０は、プレーヤの基本処理のフローチャートである。 図４１は、プレイリスト再生処理のフローチャートである。 図４２は、イベント処理のフローチャートである。 図４３は、字幕処理のフローチャートである。 図４４は、輝度キーの閾値を連続再生区間内固定とした例を説明する図である。 図４５は、シームレス再生区間において輝度キーの値が固定とすることを説明する図である。 図４６は、輝度キーの閾値が固定であることを保証するフラグを説明する図である。 図４７は、本発明の記録媒体におけるピクチャ内ピクチャ動作を説明する図である。 図４８は、プライマリ・ビデオとセカンダリ・ビデオの多重化について説明する図である。 図４９は、本発明の実施の形態２のピクチャ内ピクチャ動作を実現する多重化方法の動作を示すフローチャートである。 図５０は、本発明の実施の形態２のピクチャ内ピクチャ動作を実現する多重化方法において、管理情報を生成する動作を説明するフローチャートである。 図５１は、本発明の実施の形態２の多重化装置の構成を示すブロック図である。 図５２は、ピクチャ内ピクチャのメタ情報に格納される表示属性情報の例を示す図である。 図５３は、多重化装置５２００によって生成される管理情報のデータ構造を示す図であり、図５３（ａ）は、管理情報の一つであるプレイリストのデータ要素を示し、図５３（ｂ）は、シームレス接続される再生区間を示すプレイリストの例を示す図である。 図５４は、本発明の実施の形態２のピクチャ内ピクチャ動作を行うプレーヤの動作を示すフローチャートである。 図５５Ａは、実施の形態３における記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示す図である。 図５５Ｂは、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示す図である。 図５５Ｃは、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す図である。

本発明に係る動画像符号化方法は、連続再生の対象となる区間（連続再生区間）においては、符号化方式（あるいは、動画像の属性）を切り替えることなく動画像を符号化しておくとともに、その区間においては符号化方式が固定であることを示すフラグ情報を含む管理情報を作成しておくことを特徴とする。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
まず、異なる符号化方式（あるいは、異なる属性の動画像）が混在し得るストリームの第１の例、つまり、可変長符号化方式（ＣＡＶＬＣ／ＣＡＢＡＣ）が混在し得る例について、本発明の第１の実施の形態として、説明する。

本実施の形態では、ＢＤ−ＲＯＭなどのパッケージメディアなどにおいて、動画像の符号化データを復号する際に、可変長符号化方式が切り替わることによる復号動作の遅延、また、同時に必要となるバッファ管理方法の切替えに伴う処理負荷の増加を抑えることのできる記録媒体、およびその再生装置について説明する。ここで、動画像の符号化方式はＭＰＥＧ−４ ＡＶＣとするが、ストリームの途中で可変長符号化方式を切り替えることのできる他の符号化方式であってもよい。

本実施の形態の記録媒体に格納されるＭＰＥＧ−４ ＡＶＣストリームにおいては、可変長符号化の方式を切り替えることのできる単位が制約されるとともに、切替え単位が制約されていること、あるいは制約された切替え単位を示す情報が管理情報に格納される。

図９は、ＭＰＥＧ−４ ＡＶＣのストリームにおける、可変長符号化方式の切替え単位の制約例を示す。ＢＤ−ＲＯＭなどのパッケージメディアにおいては、プレイリストなどによって、動画像の符号化データを連続して再生する単位（以降、連続再生単位と呼ぶ）が示されるため、連続再生単位において可変長符号化方式を固定とすれば、連続して再生される区間において、可変長符号化方式の切替えに伴う復号動作の遅延や、バッファ管理方法の切り替わりによる処理負荷の増加は発生しない。従って、本実施の形態では、連続再生単位において可変長符号化方式を固定とする。図９（ａ）と図９（ｂ）は、それぞれ、連続再生単位において可変長符号化の方式をＣＡＶＬＣのみ、ＣＡＢＡＣのみに制限した例を示す。さらに、連続して再生されるクリップの接続条件には、シームレス接続と、非シームレス接続の２種類がある。ここでの接続とは、同一クリップ内の複数の区間を接続するケースを含めるものとする。非シームレス接続においては、例えば、オープンＧＯＰへの接続時のように復号動作にギャップが発生することがあるため、可変長符号化方式の切り替わりも許容することにして、シームレス接続される連続再生単位において可変長符号化の方式を固定としてもよい。

なお、クリップやランダムアクセス単位（ＲＡＵ）など連続再生単位とは異なる単位において可変長符号化の方式を固定としてもよい。図９（ｃ）と図９（ｄ）は、クリップ単位で固定とした例、図９（ｅ）はランダムアクセス単位で固定とした例を示す。

次に、管理情報においては、ＭＰＥＧ−４ ＡＶＣのストリームにおいて、可変長符号化方式の切替え単位が制約されていることを示すフラグ情報が格納される。ここでは、符号化方式の識別情報をフラグとして使用する。図１０は、ＢＤ−ＲＯＭにおけるフラグの格納例を示す。ＢＤ−ＲＯＭにおいては、プレイリストから参照される各クリップの符号化方式は、管理情報内のＳｔｒｅａｍＣｏｄｉｎｇＩｎｆｏと呼ばれる領域に格納されるため、ここで符号化方式がＭＰＥＧ−４ ＡＶＣであることが示される際には、連続再生単位において可変長符号化の方式が固定であるとする。なお、可変長符号化の方式がＣＡＢＡＣであるかＣＡＶＬＣであるかを別途示してもよい。

なお、可変長符号化方式の切替え単位が制約されていることを示すフラグを別途規定して格納してもよいし、さらに、切替え単位を示す情報を格納してもよい。また、これらの情報は、ＭＰＥＧ−４ ＡＶＣのストリーム内に格納してもよい。例えば、ランダムアクセス単位内のピクチャにおいて可変長符号化の方式が固定であることを示す情報を、ランダムアクセス単位の先頭ピクチャにおけるＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）、あるいはＵｎｓｐｅｃｉｆｉｅｄのタイプを持つＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットに格納できる。

なお、ＭＰＥＧ−４ ＡＶＣでは、ピクチャ単位の初期化情報を示すＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）内のｅｎｔｒｏｐｙ＿ｃｏｄｉｎｇ＿ｍｏｄｅ＿ｆｌａｇにおいて、可変長符号化の方式がＣＡＶＬＣであるかＣＡＢＡＣであるかが示される。従って、一定の区間において可変長符号化の方式が固定である際には、当該区間におけるピクチャが参照する全てのＰＰＳにおいて、ｅｎｔｒｏｐｙ＿ｃｏｄｉｎｇ＿ｍｏｄｅ＿ｆｌａｇのフィールド値が固定となる。ＭＰＥＧ−４ ＡＶＣでは、復号順で所定の区間に存在するピクチャから参照されないＰＰＳを、前記所定の区間に格納することも許されるが、区間内のピクチャから参照されないＰＰＳにおけるｅｎｔｒｏｐｙ＿ｃｏｄｉｎｇ＿ｍｏｄｅ＿ｆｌａｇのフィールド値については特に制限する必要はない。例えば、ランダムアクセス単位ＲＡＵ内のピクチャが参照するＰＰＳは、全てランダムアクセス単位ＲＡＵ内に存在することが保証されるが、ランダムアクセス単位ＲＡＵ内のピクチャから参照されないＰＰＳがランダムアクセス単位内に存在してもよい。このとき、参照されないＰＰＳは復号に影響しないため、ｅｎｔｒｏｐｙ＿ｃｏｄｉｎｇ＿ｍｏｄｅ＿ｆｌａｇのフィールド値については制限しなくてもよい。ただし、所定区間に含まれるＰＰＳにおけるｅｎｔｒｏｐｙ＿ｃｏｄｉｎｇ＿ｍｏｄｅ＿ｆｌａｇのフィールド値を一意に定めたほうが扱いが簡単であるため、参照されないＰＰＳも含めてフィールド値を固定としてもよい。

図１１は、本実施の形態の記録媒体における連続再生単位の復号動作を示すフローチャートである。連続再生単位においては可変長符号化の方式が固定であるため、図６の従来の復号動作とは異なり、復号途中での２値データのバッファリング、およびバッファ管理方法の切替えは不要となる。各ステップの動作については、図６において同一符号を附したステップと同一であるため、説明を省略する。

さらに、新規の符号化方式として、現在、ＳＭＰＴＥ（Ｔｈｅ Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ）でＶＣ−１（非特許文献１）の規格が策定中である。ＶＣ−１では、マクロブロック（１６×１６画素の大きさを有する単位）の符号化方法を示す種々のフラグが定義されている。フラグとしては例えば、スキップマクロブロックであるか否か、フィールドモード／フレームモードのいずれであるか、ダイレクトモードマクロブロックであるか否か、等がある。

拡張された符号化ツールの一つに、ビットプレーン符号化がある。ビットプレーン符号化は、上記のマクロブロックの符号化方法を示すフラグを示す際に用いられる。ビットプレーン符号化では、これらのフラグを１ピクチャ分まとめて、ピクチャヘッダで示すことができる。一般的に隣接するマクロブロックは相関が高いため、フラグにも相関が高くなる。よって、隣接する複数のマクロブロックのフラグをまとめて符号化することにより、フラグを表現する符号量を削減することができる。

ビットプレーン符号化では、７種類の符号化方法が規定されている。うち１つはマクロブロックヘッダで各フラグを符号化する方法であり、この方法はローモード（ＲＡＷ ＭＯＤＥ）と呼ばれ、ＭＰＥＧ−２ビデオ方式やＭＰＥＧ−４ビジュアル方式と同様の方法となる。残りの６つの方法は、１ピクチャ分のフラグをまとめて符号化する方法であり、隣接するマクロブロックのフラグをどのようにまとめて符号化するかにより、異なる方法が定義されている。この６つの方法としては、例えば、左右に隣接する２つのマクロブロックのフラグをまとめて符号化する方法、水平方向に並ぶ一列のマクロブロックのフラグがすべて「０」であればそれを１ビットの「０」で表し、一列のマクロブロックのフラグに１つでも「１」があれば各フラグをそのまま符号化する方法、等がある。

ビットプレーン符号化でこの７種類のいずれの方法を用いるかは、フラグ毎に独立して、ピクチャ単位で変更することができる。

ここで、ビットプレーン符号化において、マクロブロックヘッダで各フラグを符号化する方法のみを使う場合をモード１、１ピクチャ分のフラグをまとめて符号化する方法のみを使う場合をモード２とすると、モード１とモード２とでは復号時の動作が異なるため、モードの切り替わり部分において処理の負荷が増大し、遅延が発生することがある。そこで、上記可変長符号化の切り替わり単位を制約したのと同様に、ビットプレーン符号化についてもモード１とモード２の切り替わり単位を制約してもよい。例えば、連続再生単位、あるいはシームレス接続される連続再生単位において、モードを固定とする。また、ビットプレーン符号化のモードが所定の単位において固定であることを示すフラグ情報を管理情報に含めてもよい。例えば、ＳｔｒｅａｍＣｏｄｉｎｇＩｎｆｏにより示される符号化方式をフラグ情報として使用し、符号化方式がＶＣ−１であると示される際には所定の単位においてビットプレーン符号化のモードが固定であるとできる。

さらに、マクロブロックヘッダで各フラグを符号化する方法と１ピクチャ分のフラグをまとめて符号化する方法を共に使える場合をモード３とすると、ＶＣ−１の使用される環境に応じて、モード１とモード３を使い分けるケースがある。例えば、処理能力が低い端末向けにはモード１を使い、処理能力が高い端末向けにはモード３を使うことができる。このようなケースでは、所定の再生単位においてモード１、あるいはモード３のどちらか一方に固定することが有効である。さらに、モード１、あるいはモード３のどちらか一方に固定されていることを示すフラグ情報、あるいは、どちらのモードに固定されているかを示す情報を、管理情報、あるいは符号化ストリームに格納できる。なお、モード２とモード３を使い分けてもよい。

図１２は、本実施の形態の多重化方法を実現する多重化装置５１００の構成を示すブロック図である。多重化装置５１００は、切替え単位決定部５１０１、切替え情報生成部５１０２、符号化部５１０３、システム多重化部５１０４、管理情報作成部５１０５、結合部５１０６を備える。以下に、各部の動作について説明する。

切替え単位決定部５１０１は、可変長符号化の方式を切り替えられる単位を決定し、決定した切替え単位Ｕｎｉｔを切替え情報生成部５１０２、および符号化部５１０３に入力する。切替え単位は予め定められているものとするが、外部から設定できるようにしてもよい。切替え情報生成部５１０２は、切替え単位Ｕｎｉｔに基づいて、可変長符号化を切替え可能な単位を示す切替え情報ＳｗＩｎｆを生成し、管理情報作成部５１０５に入力する。符号化部５１０３は、切替え単位Ｕｎｉｔの制約を満たすように各クリップのデータを符号化し、符号化データＣｄａｔａ１をシステム多重化部５１０４に入力する。システム多重化部５１０４は、符号化データＣｄａｔａ１をシステム多重化し、ストリーム情報ＳｔｒＩｎｆ１を管理情報作成部５１０５に入力し、多重化データＭｄａｔａ１を結合部５１０６に入力する。ＢＤ−ＲＯＭではシステム多重化の方式として、ソースパケットと呼ばれる、ＭＰＥＧ−２のトランスポートストリームに４バイトのヘッダを付加した方式が用いられる。また、ストリーム情報ＳｔｒＩｎｆ１は、タイムマップなど、多重化データＭｄａｔａ１についての管理情報を生成するための情報を含む。管理情報作成部５１０５は、ストリーム情報ＳｔｒＩｎｆ１に基づいて生成したタイムマップ、および切替え情報ＳｗＩｎｆなどを含む管理情報ＣｔｒｌＩｎｆ１を生成し、結合部５１０６に入力する。結合部５１０６は、管理情報ＣｔｒｌＩｎｆ１と多重化データＭｄａｔａ１を結合して記録データＤｏｕｔ１として出力する。

なお、オーサリングツールなどでデータを作成する際には、符号化データの生成と、システム多重化あるいは管理情報の作成を別々の装置で行うことがあるが、そのような場合でも、各装置の動作は多重化装置５１００における各部と同一にすればよい。

図１３は、本実施の形態における記録媒体に格納された多重化データを作成するための多重化方法の動作を示すフローチャートである。本実施の形態の多重化方法は、可変長符号化の方式を切り替えられる単位を決定するステップ（ステップＳ５２０１）、決定した単位に基づいてクリップを符号化するステップ（ステップＳ５２０２）、および可変長符号化の切替え単位を示すフラグ情報を生成するステップ（ステップＳ５２０４）とを備える点において、従来の多重化方法と異なる。

まず、ステップＳ５２０１において、可変長符号化の方式を切り替えられる単位を決定する。すなわち、連続再生単位、クリップ、あるいはランダムアクセス単位のいずれの単位で切替え可能であるかを決定する。続いて、ステップＳ５２０２では、ステップＳ５２０１で決定した切替え単位に基づいてＭＰＥＧ−４ ＡＶＣのクリップのデータを符号化する。ステップＳ５２０３では、最終クリップの符号化が終了したかどうかを判定し、終了したと判定された際にはステップＳ５２０４に進み、終了していないと判定されればステップＳ５２０２に戻りクリップの符号化を繰り返す。ステップＳ５２０４では、可変長符号化の切替え単位を示すフラグ情報を生成し、ステップＳ５２０５に進む。ステップＳ５２０５では、ステップＳ５２０４において生成したフラグ情報を含む管理情報を作成し、管理情報とクリップのデータとを多重化して出力する。

図１４は、図１３中の可変長符号の方式を切り替えられる単位を決定するステップ（Ｓ５２０１）の具体例を示すフローチャートである。同図では、可変長符号の方式を切り替えられる最小単位を図９（ｃ）、図９（ｄ）に示したクリップとしている。ここで、クリップとは、記録媒体上ではＡＶデータのファイルとして格納され、例えば、ＭＰＥＧ−４ ＡＶＣの１つのストリームや、ＶＣ−１の１つのストリームを格納した１つのファイルを指す。また、クリップは、トランスポートスリームでは、ＴＳパケットの識別子によって特定されるストリームを指す。

図１４において、切り替え単位決定部５１０１は、符号化対象のピクチャがクリップの開始ピクチャであるか否かを判定し（Ｓ５２０１ａ）、開始ピクチャでない場合つまりクリップの途中のピクチャである場合には、当該クリップの符号化では可変長符号の方式を切り替え不可と決定する（Ｓ５２０１ｆ）。

開始ピクチャである場合、切り替え単位決定部５１０１は、開始ピクチャのクリップが、符号化済の直前のクリップとシームレス接続されるか否かを判定し（Ｓ５２０１ｂ）、シームレス接続される場合には、開始ピクチャのクリップの符号化では可変長符号の方式を切り替え不可と決定する（Ｓ５２０１ｆ）。

シームレス接続されない場合、切り替え単位決定部５１０１は、開始ピクチャのクリップが、マルチアングルを構成するアングルに対応するクリップであるか否かを判定し（Ｓ５２０１ｃ）、当該アングルに対応するクリップである場合には開始ピクチャのクリップの符号化では、当該マルチアングルを構成するアングル間では可変長符号の方式を切り替え不可と決定する（Ｓ５２０１ｆ）。ここで、各アングルにシームレスに接続できるシームレス・マルチアングルにおいては、各アングルの可変長符号化の方式は、マルチアングル区間の直前のクリップと同一の方式に決定される。一方、各アングルにシームレスに接続できることが保証されないノンシームレス・マルチアングルにおいては、各アングルにおいて可変長符号化の方式が同一であれば、当該方式がマルチアングル区間の直前のクリップと異なっていてもよい。

また、切り替え単位決定部５１０１は、符号化対象のピクチャがクリップの開始ピクチャであって、Ｓ５２０１ｂ〜Ｓ５２０１ｃのいずれにも該当しない場合（ｎｏの場合）には、開始ピクチャのクリップの可変長符号化方式を、符号化済の直前のクリップに対して切り替え可能と決定する（Ｓ５２０１ｅ）。

このように図１４のフローチャートでは、切り替え単位決定部５１０１において切り替えられないと決定されるクリップは、（ａ）トランスポートストリームのパケット識別子によって特定されるクリップ、（ｂ）シームレス接続の対象となる複数のクリップ、（ｃ）マルチアングルを構成する各アングルに対応する複数のクリップと決定される。なお、Ｓ５２０１ａ〜Ｓ５２０１ｃの判定は、どの順序で行ってもよい。なお、マルチアングルの場合についても、シームレス・マルチアングルにおいてのみ、可変長符号化方式を切り替え不可としてもよい。また、クリップはファイル名などパケット識別子とは異なる情報により識別してもよい。また、図１４において可変長符号の方式を切り替えられる最小単位が図９（ｃ）、図９（ｄ）に示したクリップである場合を説明したが、図９（ｅ）のようなＲＡＵを最小単位としてもよい。その場合、図中の「クリップ」を「ＲＡＵ」に読み替えた処理を行えばよい。

図１５は、図１３中のクリップ符号化ステップ（Ｓ５２０２）の具体例を示すフローチャートである。図１５では、ＭＰＥＧ−４ ＡＶＣの符号化を行う場合を示している。同図において、符号化部５１０３は、クリップの符号化開始に先立って当該クリップの可変長符号の方式を切り替え可能か否かを判定する（Ｓ５２０２ａ）。この判定は、図１４での決定に従う。符号化部５１０３は、切り替え可能と判定された場合には当該クリップの可変長符号化方式を任意に決定し（Ｓ５２０２ｂ）、切り替え可能でないと判定された場合には当該クリップの可変長符号化方式を互いにシームレス接続される直前の、あるいは同一のマルチアングルを構成する他のクリップと同じ方式に決定する（Ｓ５２０２ｃ）。さらに、符号化部５１０３は、決定された可変長符号化方式を示すフラグをピクチャパラメータセットＰＰＳに設定し（Ｓ５２０２ｄ）、決定された可変長符号化方式に従って当該クリップを符号化する（Ｓ５２０２ｅ）。このフラグは、ＭＰＥＧ４−ＡＶＣでは、ｅｎｔｏｒｏｐｙ＿ｃｏｄｉｎｇ＿ｍｏｄｅ＿ｆｌａｇと呼ばれる。

このように、符号化部５１０３は、切り替え可能でないと判定された連続再生区間のクリップに対して可変長符号化の方式を切り替えないで、動画像を符号化することにより符号化データＣｄａｔａ１を生成する。

図１６は、図１３中のフラグ情報生成ステップ（Ｓ５２０４）および管理情報生成ステップ（Ｓ５２０５）の具体例を示すフローチャートである。

同図において切替え情報生成部５１０２は、符号化部５１０３によって符号化されたクリップが、可変長符号化方式を切り替え可能と判定されたクリップであるか否かを判定し（Ｓ５２０４ａ）、切り替え可能と判定されたクリップである場合には、可変長符号化の方式が固定でないことを示すフラグ情報を生成し、当該クリップに対応付けてフラグ情報をメモリのワーク領域に蓄積し（Ｓ５２０４ｂ）、切り替え可能と判定されたクリップでない場合には、可変長符号化の方式が固定であることを示すフラグ情報を生成し、当該クリップに対応付けてフラグ情報をメモリのワーク領域に蓄積する（Ｓ５２０４ｃ）。さらに、切替え情報生成部５１０２は、当該クリップが、符号化部５１０３によって符号化された最後のクリップであるか否かを判定し（Ｓ５２０４ｄ）、最後のクリップでなければ上記Ｓ５２０４ａ〜Ｓ５２０４ｃを繰り返し、最後のクリップであればメモリのワーク領域に蓄積されたフラグ情報を切り替え情報ＳｗＩｎｆとして管理情報作成部５１０５に出力する。

さらに、管理情報作成部５１０５は、プレイリストを含む管理情報を生成し（Ｓ５２０５ａ）、切り替え情報ＳｗＩｎｆを参照して、プレイリストに含まれるプレイアイテムに可変長符号化の方式が固定であることを示すフラグ情報を付加する（Ｓ５２０５ｂ）。なお、フラグ情報は、直前のプレイアイテムにより参照される再生区間と可変長符号化の方式が同一であるかどうかを示すものであってもよい。ここで、プレイリストは、１つ以上のプレイアイテムの再生順を示す。プレイアイテムは、再生すべきクリップを指す情報であり、１つのクリップの全部または一部を再生区間として指す。また、上記フラグ情報は、プレイアイテムに付加されている他のパラメータと兼用してもよい。その場合、例えば、クリップがシームレス接続されることを意味するパラメータ（例えば"ｃｏｎｎｅｃｔｉｏｎ＿ｃｏｎｄｉｔｉｏｎ＝５"）を上記フラグ情報と兼用することができる。なぜなら、図１４において、切り替えられないと決定される連続再生区間（可変長符号化の方式が固定である区間）は、（ａ）トランスポートストリームのパケット識別子によって特定されるクリップ、（ｂ）シームレス接続の対象となる複数のクリップ、（ｃ）マルチアングルを構成する各アングルに対応する複数のクリップであり、このうち（ｂ）はシームレス接続が前提だからである。また、マルチアングル区間であるかどうかは、"ｉｓ＿ｍｕｌｔｉ＿ａｎｇｌｅ"と呼ばれるフラグによって示すことができるため、本フラグを可変長符号化の方式が固定であることを示すフラグと兼用してもよい。これにより、管理情報のデータ量を削減することができる。

図１７は、図１３中のクリップ符号化ステップ（Ｓ５２０２）の他の具体例を示すフローチャートである。図１７では、ＶＣ−１の符号化を行う場合を示している。同図において、符号化部５１０３は、クリップの符号化開始に先立って当該クリップの可変長符号の方式を、ローモードとそれ以外のモードとの間で切り替え可能か否かを判定する（Ｓ５２０２ａ）。この判定は、図１４での決定に従う。符号化部５１０３は、切り替え可能と判定された場合には当該クリップのビットプレーン符号化の方式を任意に決定し（Ｓ５２０２ｆ）、切り替え可能でないと判定された場合には当該クリップのビットプレーン符号化方式を直前のクリップと同じ方式に決定する（Ｓ５２０２ｇ）。符号化部５１０３は、決定されたビットプレーン符号化方式がローモード（ＲＡＷ ＭＯＤＥ）であるかそれ以外の方式であるかを判定する（Ｓ５２０２ｈ）。符号化部５１０３は、モードを示す情報をピクチャ単位に付加し、ローモード（ＲＡＷ ＭＯＤＥ）であると判定された場合、マクロブロックＭＢ毎の所定の情報を各マクロブロックにおいて符号化し（Ｓ５２０２ｉ）、ローモード（ＲＡＷ ＭＯＤＥ）でないと判定された場合、マクロブロックＭＢ毎の所定の情報をピクチャの先頭にまとめて設定し、当該クリップを符号化する（Ｓ５２０２ｊ）。なお、前記モードを示す情報は、ＶＣ−１においてはＩＭＯＤＥと呼ばれるフィールドにより示される。

このように、符号化部５１０３は、切り替え可能でないと判定された連続再生区間のクリップに対してビットプレーン符号化の方式を切り替えないで、動画像を符号化することにより符号化データＣｄａｔａ１を生成する。

なお、上記プレイリストは光ディスクにおける使用に限定されるものではなく、ネットワーク経由でストリームを受信する際に、まずプレイリストを受信して解析し、受信するストリームを決定した後に、実際のストリームの受信を開始するような使い方も可能である。また、ストリームをＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）のパケットやＴＳパケットなどにパケット化してからＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）網で伝送する際にも、再生制御情報として、例えばＳＤＰ（Ｓｅｓｓｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ Ｐｒｏｔｏｃｏｌ）などにより、再生区間において可変長符号化の方式が固定であるかどうかを示してもよい。

以下に、本実施の形態に係る動画像符号化方法により生成したデータを格納したＢＤ−ＲＯＭディスクのデータ構造、および当該ディスクを再生するプレーヤの構成について示す。

（ディスク上の論理データ構造）
図１８は、ＢＤ−ＲＯＭの構成、特にディスク媒体であるＢＤディスク１０４と、ディスクに記録されているデータ１０１、１０２、１０３の構成を示す図である。ＢＤディスク１０４に記録されるデータは、ＡＶデータ１０３と、ＡＶデータに関する管理情報およびＡＶ再生シーケンスなどのＢＤ管理情報１０２と、インタラクティブを実現するＢＤ再生プログラム１０１である。本実施の形態では、説明の都合上、映画のＡＶコンテンツを再生するためのＡＶアプリケーションを主眼においてのＢＤディスクの説明を行うが、他の用途として用いても勿論同様である。

図１９は、上述したＢＤディスクに記録されている論理データのディレクトリ・ファイル構成を示した図である。ＢＤディスクは、他の光ディスク、例えばＤＶＤやＣＤなどと同様にその内周から外周に向けてらせん状に記録領域を持ち、内周のリード・インと外周のリード・アウトの間に論理データを記録できる論理アドレス空間を有している。また、リード・インの内側にはＢＣＡ（Ｂｕｒｓｔ Ｃｕｔｔｉｎｇ Ａｒｅａ）と呼ばれるドライブでしか読み出せない特別な領域がある。この領域はアプリケーションから読み出せないため、例えば著作権保護技術などに利用されることがある。

論理アドレス空間には、ファイルシステム情報（ボリューム）を先頭に映像データなどのアプリケーションデータが記録されている。ファイルシステムとは従来技術で説明した通り、ＵＤＦやＩＳＯ９６６０などのことであり、通常のＰＣと同じように記録されている論理データをディレクトリ、ファイル構造を使って読み出しする事が可能になっている。

本実施例の場合、ＢＤディスク上のディレクトリ、ファイル構造は、ルートディレクトリ（ＲＯＯＴ）直下にＢＤＶＩＤＥＯディレクトリが置かれている。このディレクトリはＢＤで扱うＡＶコンテンツや管理情報などのデータ（図１８で説明した１０１、１０２、１０３）が格納されているディレクトリである。

ＢＤＶＩＤＥＯディレクトリの下には、次の７種類のファイルが記録されている。

ＢＤ．ＩＮＦＯ（ファイル名固定）
「ＢＤ管理情報」の一つであり、ＢＤディスク全体に関する情報を記録したファイルである。ＢＤプレーヤは最初にこのファイルを読み出す。

ＢＤ．ＰＲＯＧ（ファイル名固定）
「ＢＤ再生プログラム」の一つであり、ＢＤディスク全体に関わる再生制御情報を記録したファイルである。

ＸＸＸ．ＰＬ（「ＸＸＸ」は可変、拡張子「ＰＬ」は固定）
「ＢＤ管理情報」の一つであり、シナリオ（再生シーケンス）であるプレイリスト情報を記録したファイルである。プレイリスト毎に１つのファイルを持っている。

ＸＸＸ．ＰＲＯＧ（「ＸＸＸ」は可変、拡張子「ＰＲＯＧ」は固定）
「ＢＤ再生プログラム」の一つであり、前述したプレイリスト毎の再生制御情報を記録したファイルである。プレイリストとの対応はファイルボディ名（「ＸＸＸ」が一致する）によって識別される。

ＹＹＹ．ＶＯＢ（「ＹＹＹ」は可変、拡張子「ＶＯＢ」は固定）
「ＡＶデータ」の一つであり、ＶＯＢ（従来例で説明したＶＯＢと同じ）を記録したファイルである。ＶＯＢ毎に１つのファイルを持っている。

ＹＹＹ．ＶＯＢＩ（「ＹＹＹ」は可変、拡張子「ＶＯＢＩ」は固定）
「ＢＤ管理情報」の一つであり、ＡＶデータであるＶＯＢに関わるストリーム管理情報を記録したファイルである。ＶＯＢとの対応はファイルボディ名（「ＹＹＹ」が一致する）によって識別される。

ＺＺＺ．ＰＮＧ（「ＺＺＺ」は可変、拡張子「ＰＮＧ」は固定）
「ＡＶデータ」の一つであり、字幕およびメニューを構成するためのイメージデータＰＮＧ（Ｗ３Ｃによって標準化された画像フォーマットであり「ピング」と読む）を記録したファイルである。１つのＰＮＧイメージ毎に１つのファイルを持つ。

（プレーヤの構成）
次に、前述したＢＤディスクを再生するプレーヤの構成について図２０および図２１を用いて説明する。

図２０は、プレーヤの大まかな機能構成を示すブロック図である。

ＢＤディスク２０１上のデータは、光ピックアップ２０２を通して読み出される。読み出されたデータは夫々のデータの種類に応じて専用のメモリに転送される。ＢＤ再生プログラム（「ＢＤ．ＰＲＯＧ」または「ＸＸＸ．ＰＲＯＧ」ファイルの中身）はプログラム記録メモリ２０３に、ＢＤ管理情報（「ＢＤ．ＩＮＦＯ」、「ＸＸＸ．ＰＬ」または「ＹＹＹ．ＶＯＢＩ」）は管理情報記録メモリ２０４に、ＡＶデータ（「ＹＹＹ．ＶＯＢ」または「ＺＺＺ．ＰＮＧ」）はＡＶ記録メモリ２０５に夫々転送される。

プログラム記録メモリ２０３に記録されたＢＤ再生プログラムはプログラム処理部２０６によって、管理情報記録メモリ２０４に記録されたＢＤ管理情報は管理情報処理部２０７によって、また、ＡＶ記録メモリ２０５に記録されたＡＶデータはプレゼンテーション処理部２０８によって夫々処理される。

プログラム処理部２０６は、管理情報処理部２０７より再生するプレイリストの情報やプログラムの実行タイミングなどのイベント情報を受け取りプログラムの処理を行う。また、プログラムでは再生するプレイリストを動的に変える事が可能であり、この場合は管理情報処理部２０７に対してプレイリストの再生命令を送ることで実現する。プログラム処理部２０６は、ユーザからのイベント、即ちリモコンキーからのリクエストを受け、ユーザイベントに対応するプログラムがある場合は、それを実行する。

管理情報処理部２０７は、プログラム処理部２０６の指示を受け、対応するプレイリストおよびプレイリストに対応したＶＯＢの管理情報を解析し、プレゼンテーション処理部２０８に対象となるＡＶデータの再生を指示する。また、管理情報処理部２０７は、プレゼンテーション処理部２０８より基準時刻情報を受け取り、時刻情報に基づいてプレゼンテーション処理部２０８にＡＶデータ再生の停止指示を行い、また、プログラム処理部２０６に対してプログラム実行タイミングを示すイベントを生成する。

プレゼンテーション処理部２０８は、映像、音声、字幕／イメージ（静止画）の夫々に対応するデコーダを持ち、管理情報処理部２０７からの指示に従い、ＡＶデータのデコードおよび出力を行う。映像データ、字幕／イメージの場合は、デコード後に夫々の専用プレーン、ビデオプレーン２１０およびイメージプレーン２０９に描画され、合成処理部２１１によって映像の合成処理が行われＴＶなどの表示デバイスへ出力される。

このように図２０に示すように、ＢＤプレーヤは図１８で示したＢＤディスクに記録されているデータ構成に基づいた機器構成をとっている。

図２１は前述したプレーヤ構成を詳細化したブロック図である。図２１では、ＡＶ記録メモリ２０５はイメージメモリ３０８とトラックバッファ３０９に、プログラム処理部２０６はプログラムプロセッサ３０２とＵＯＰマネージャ３０３に、管理情報処理部２０７はシナリオプロセッサ３０５とプレゼンテーションコントローラ３０６に、プレゼンテーション処理部２０８はクロック３０７、デマルチプレクサ３１０、イメージプロセッサ３１１、ビデオプロセッサ３１２とサウンドプロセッサ３１３に夫々対応／展開している。

ＢＤディスク２０１から読み出されたＶＯＢデータ（ＭＰＥＧストリーム）はトラックバッファ３０９に、イメージデータ（ＰＮＧ）はイメージメモリ３０８に夫々記録される。デマルチプレクサ３１０がクロック３０７の時刻に基づき、トラックバッファ３０９に記録されたＶＯＢデータを抜き出し、映像データをビデオプロセッサ３１２に音声データをサウンドプロセッサ３１３に夫々送り込む。ビデオプロセッサ３１２およびサウンドプロセッサ３１３は夫々ＭＰＥＧシステム規格で定める通りに、デコーダバッファとデコーダから夫々構成されている。即ち、デマルチプレクサ３１０から送りこまれる映像、音声夫々のデータは、夫々のデコーダバッファに一時的に記録され、クロック３０７に従い個々のデコーダでデコード処理される。

イメージメモリ３０８に記録されたＰＮＧは、次の２つの処理方法がある。

イメージデータが字幕用の場合は、プレゼンテーションコントローラ３０６によってデコードタイミングが指示される。クロック３０７からの時刻情報をシナリオプロセッサ３０５が一旦受け、適切な字幕表示が行えるように、字幕表示時刻（開始および終了）になればプレゼンテーションコントローラ３０６に対して字幕の表示、非表示の指示を出す。プレゼンテーションコントローラ３０６からデコード／表示の指示を受けたイメージプロセッサ３１１は対応するＰＮＧデータをイメージメモリ３０８から抜き出し、デコードし、イメージプレーン３１４に描画する。

次に、イメージデータがメニュー用の場合は、プログラムプロセッサ３０２によってデコードタイミングが指示される。プログラムプロセッサ３０２が何時イメージのデコードを指示するかは、プログラムプロセッサ３０２が処理しているＢＤプログラムに因るものであって一概には決まらない。

イメージデータおよび映像データは、図２０で説明したように夫々デコード後にイメージプレーン３１４、ビデオプレーン３１５に出力され、合成処理部３１６によって合成後出力される。

ＢＤディスク２０１から読み出された管理情報（シナリオ、ＡＶ管理情報）は、管理情報記録メモリ３０４に格納されるが、シナリオ情報（「ＢＤ．ＩＮＦＯ」および「ＸＸＸ．ＰＬ」）はシナリオプロセッサ３０５へ読み込み処理される。また、ＡＶ管理情報（「ＹＹＹ．ＶＯＢＩ」）はプレゼンテーションコントローラ３０６によって読み出され処理される。

シナリオプロセッサ３０５は、プレイリストの情報を解析し、プレイリストによって参照されているＶＯＢとその再生位置をプレゼンテーションコントローラ３０６に指示し、プレゼンテーションコントローラ３０６は対象となるＶＯＢの管理情報（「ＹＹＹ．ＶＯＢＩ」）を解析して、対象となるＶＯＢを読み出すようにドライブコントローラ３１７に指示を出す。

ドライブコントローラ３１７はプレゼンテーションコントローラ３０６の指示に従い、光ピックアップを移動させ、対象となるＡＶデータの読み出しを行う。読み出されたＡＶデータは、前述したようにイメージメモリ３０８またはトラックバッファ３０９に読み出される。

また、シナリオプロセッサ３０５は、クロック３０７の時刻を監視し、管理情報で設定されているタイミングでイベントをプログラムプロセッサ３０２に投げる。

プログラム記録メモリ３０１に記録されたＢＤプログラム（「ＢＤ．ＰＲＯＧ」または「ＸＸＸ．ＰＲＯＧ」）は、プログラムプロセッサ３０２によって実行処理される。プログラムプロセッサ３０２がＢＤプログラムを処理するのは、シナリオプロセッサ３０５からイベントが送られてきた場合か、ＵＯＰマネージャ３０３からイベントが送られてきた場合である。ＵＯＰマネージャ３０３は、ユーザからリモコンキーによってリクエストが送られてきた場合に、プログラムプロセッサ３０２に対するイベントを生成する。

（アプリケーション空間）
図２２は、ＢＤのアプリケーション空間を示す図である。

ＢＤのアプリケーション空間では、プレイリスト（ＰｌａｙＬｉｓｔ）が一つの再生単位になっている。プレイリストはセル（Ｃｅｌｌ）の連結で、連結の順序により決定される再生シーケンスである静的なシナリオと、プログラムによって記述される動的なシナリオを有している。プログラムによる動的なシナリオが無い限り、プレイリストは個々のセルを順に再生するだけであり、また、全てのセルの再生を終了した時点でプレイリストの再生は終了する。一方で、プログラムは、プレイリストを超えての再生記述や、ユーザ選択またはプレーヤの状態によって再生する対象を動的に変えることが可能である。典型的な例としてはメニューがあげられる。ＢＤの場合、メニューとはユーザの選択によって再生するシナリオと定義でき、プログラムによってプレイリストを動的に選択することである。

ここで言うプログラムとは、時間イベントまたはユーザイベントによって実行されるイベントハンドラの事である。

時間イベントは、プレイリスト中に埋め込まれた時刻情報に基づいて生成されるイベントである。図２１で説明したシナリオプロセッサ３０５からプログラムプロセッサ３０２に送られるイベントがこれに相当する。時間イベントが発行されると、プログラムプロセッサ３０２はＩＤによって対応付けられるイベントハンドラを実行処理する。前述した通り、実行されるプログラムが他のプレイリストの再生を指示することが可能であり、この場合には、現在再生されているプレイリストの再生は中止され、指定されたプレイリストの再生へと遷移する。

ユーザイベントは、ユーザのリモコンキー操作によって生成されるイベントである。ユーザイベントは大きく２つのタイプに分けられる。一つ目は、カーソルキー（「上」「下」「左」「右」キー）または「決定」キーの操作によって生成されるメニュー選択のイベントである。メニュー選択のイベントに対応するイベントハンドラはプレイリスト内の限られた期間でのみ有効であり（プレイリストの情報として、個々のイベントハンドラの有効期間が設定されている）、リモコンの「上」「下」「左」「右」キーまたは「決定」キーが押された時に有効なイベントハンドラを検索して、有効なイベントハンドラがある場合は当該イベントハンドラが実行処理される。他の場合は、メニュー選択のイベントは無視されることになる。

二つ目のユーザイベントは、「メニュー」キーの操作によって生成されるメニュー呼び出しのイベントである。メニュー呼び出しのイベントが生成されると、グローバルイベントハンドラが呼ばれる。グローバルイベントハンドラはプレイリストに依存せず、常に有効なイベントハンドラである。この機能を使うことにより、ＤＶＤのメニューコール（タイトル再生中に音声、字幕メニューなどを呼び出し、音声または字幕を変更後に中断した地点からのタイトル再生を実行する機能等）を実装することができる。

プレイリストで静的シナリオを構成する単位であるセル（Ｃｅｌｌ）はＶＯＢ（ＭＰＥＧストリーム）の全部または一部の再生区間を参照したものである。セルはＶＯＢ内の再生区間を開始、終了時刻の情報として持っている。個々のＶＯＢと一対になっているＶＯＢ管理情報（ＶＯＢＩ）は、その内部にデータの再生時刻に対応した記録アドレスのテーブル情報であるタイムマップ（Ｔｉｍｅ ＭａｐまたはＴＭＡＰ）を有しており、このタイムマップによって前述したＶＯＢの再生、終了時刻をＶＯＢ内（即ち対象となるファイル「ＹＹＹ．ＶＯＢ」内）での読み出し開始アドレスおよび終了アドレスを導き出すことが可能である。なおタイムマップの詳細は後述する。

（ＶＯＢの詳細）
図２３は、本実施例で使用するＭＰＥＧストリーム（ＶＯＢ）の構成図である。

図２３に示すように、ＶＯＢは複数のＶＯＢＵ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｕｎｉｔ）によって構成されている。ＶＯＢＵは、ＭＰＥＧビデオストリームで言うＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）を基準として、音声データも含んだ多重化ストリームとしての一再生単位である。ＶＯＢＵは１．０秒以下のビデオ再生時間を持ち、通常は０．５秒程度の再生時間を持っている。

ＶＯＢＵ先頭のＴＳパケット（ＭＰＥＧ−２ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ Ｐａｃｋｅｔ）は、シーケンスヘッダとそれに続くＧＯＰヘッダとＩピクチャ（Ｉｎｔｒａ−ｃｏｄｅｄ）を格納しており、このＩピクチャからの復号が開始可能なようになっている。また、このＶＯＢＵ先頭のＩピクチャの先頭を含むＴＳパケットのアドレス（開始アドレス）と、この開始アドレスからＩピクチャの最後を含むＴＳパケットまでのアドレス（終了アドレス）と、このＩピクチャの再生開始時刻（ＰＴＳ）をタイムマップで管理している。したがって、タイムマップのエントリはＶＯＢＵ先頭のＴＳパケットごとに与えられている。

ＶＯＢＵは、その内部にビデオパケット（Ｖ＿ＰＫＴ）とオーディオパケット（Ａ＿ＰＫＴ）を有している。各パケットは１８８バイトであり、図２３に図示してはいないが、各ＴＳパケットの直前には、そのＴＳパケットの相対的なデコーダ供給開始時刻であるＡＴＳ（Ａｒｒｉｖａｌ Ｔｉｍｅ Ｓｔａｍｐ）が付与されている。

ＡＴＳを各ＴＳパケットごとに付与するのは、このＴＳストリームのシステムレートが固定レートでなく、可変レートであるためである。一般的にシステムレートを固定にする場合にはＮＵＬＬパケットと呼ばれるダミーのＴＳパケットを挿入することになるが、限られた記録容量の中に高画質で記録するためには、可変レートが適しており、ＢＤではＡＴＳ付きのＴＳストリームとして記録している。

図２４は、ＴＳパケットの構成を示した図である。

図２４に示すように、ＴＳパケットは、ＴＳパケットヘッダと、適用フィールドと、ペイロード部から構成される。ＴＳパケットヘッダにはＰＩＤ（Ｐａｃｋｅｔ Ｉｄｅｎｔｉｆｉｅｒ）が格納され、これにより、ＴＳパケットがどのような情報を格納しているのか識別される。適用フィールドにはＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）が格納される。ＰＣＲはストリームをデコードする機器の基準クロック（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ、ＳＴＣと呼ぶ）の参照値である。機器は典型的にはＰＣＲのタイミングでシステムストリームをデマルチプレクスし、ビデオストリーム等の各種ストリームを再構築する。ペイロードにはＰＥＳパケットが格納される。

ＰＥＳパケットヘッダには、ＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ）とＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）が格納される。ＤＴＳは当該ＰＥＳパケットに格納されるピクチャ／オーディオフレームのデコードタイミングを示し、ＰＴＳは映像音声出力等のプレゼンテーションタイミングを示す。ビデオデータおよびオーディオデータといったエレメンタリデータは、ＰＥＳパケットペイロード（ＰＥＳ Ｐａｃｋｅｔ Ｐａｙｌｏａｄ）と呼ばれるパケット（ＰＥＳ Ｐａｃｋｅｔ）のデータ格納領域に先頭から順次入れられていく。ＰＥＳパケットヘッダには、ペイロードに格納してあるデータがどのストリームなのかを識別するためのＩＤ（ｓｔｒｅａｍ＿ｉｄ）も記録されている。

ＴＳストリームの詳細についてはＩＳＯ／ＩＥＣ１３８１８−１で規定されており、ＢＤで特徴的なのはＡＴＳを各ＴＳパケットごとに付与したことである。

（ＶＯＢのインターリーブ記録）
次に図２５および図２６を用いてＶＯＢファイルのインターリーブ記録について説明する。

図２５上段は、前述したプレーヤ構成図の一部である。図の通り、ＢＤディスク上のデータは、光ピックアップを通してＶＯＢ即ちＭＰＥＧストリームであればトラックバッファへ入力され、ＰＮＧ即ちイメージデータであればイメージメモリへと入力される。

トラックバッファはＦＩＦＯであり、入力されたＶＯＢのデータは入力された順にデマルチプレクサへと送られる。この時、前述したＡＴＳに従って個々のＴＳパケットはトラックバッファから引き抜かれデマルチプレクサを介してビデオプロセッサまたはサウンドプロセッサへとデータが送り届けられる。一方で、イメージデータの場合は、どのイメージを描画するかはプレゼンテーションコントローラによって指示される。また、描画に使ったイメージデータは、字幕用イメージデータの場合は同時にイメージメモリから削除されるが、メニュー用のイメージデータの場合は、そのメニュー描画中はイメージメモリ内にそのまま残される。これはメニューの描画はユーザ操作に依存しており、ユーザの操作に追従してメニューの一部分を再表示もしくは異なるイメージに置き換えることがあり、その際に再表示される部分のイメージデータをデコードし易くするためである。

図２５下段は、ＢＤディスク上でのＶＯＢファイルおよびＰＮＧファイルのインターリーブ記録を示す図である。一般的にＲＯＭ、例えばＣＤ−ＲＯＭやＤＶＤ−ＲＯＭの場合、一連の連続再生単位となるＡＶデータは連続記録されている。これは、連続記録されている限り、ドライブは順次データを読み出し、デコーダに送り届けるだけで良いが、連続データが分断されてディスク上に離散配置されている場合は、個々の連続再生区間の間でシーク操作が入ることになり、この間データの読み出しが止まることになり、データの供給が止まる可能性があるからである。ＢＤの場合も同様に、ＶＯＢファイルは連続領域に記録することができる方が望ましいが、例えば字幕データのようにＶＯＢに記録されている映像データと同期して再生されるデータがあり、ＶＯＢファイルと同様に字幕データも何らかの方法によってＢＤディスクから読み出す事が必要になる。

字幕データの読み出し方法の一手段として、ＶＯＢの再生開始前に一まとめで字幕用のイメージデータ（ＰＮＧファイル）を読み出してしまう方法がある。しかしながら、この場合には大量のメモリが必要となり、非現実的である。

そこで、ＶＯＢファイルを幾つかのブロックに分けて、イメージデータとインターリーブ記録する方式を使用している。図２５下段はそのインターリーブ記録を説明した図である。

ＶＯＢファイルとイメージデータを適切にインターリーブ配置することで、前述したような大量の一時記録メモリ無しに、必要なタイミングでイメージデータをイメージメモリに格納することが可能になる。しかしながらイメージデータを読み出している際には、ＶＯＢデータの読み込みは当然のことながら停止することになる。

図２６は、この問題を解決するトラックバッファを使ったＶＯＢデータ連続供給モデルを説明する図である。

既に説明したように、ＶＯＢのデータは、一旦トラックバッファに蓄積される。トラックバッファへのデータ入力レート（Ｖａ）とトラックバッファからのデータ出力レート（Ｖｂ）の間に差（Ｖａ＞Ｖｂ）を設けると、ＢＤディスクからデータを読み出し続けている限り、トラックバッファのデータ蓄積量は増加をしていくことになる。

図２６の上段に記すようにＶＯＢの一連続記録領域が論理アドレスの"ａ１"から"ａ２"まで続くとする。"ａ２"から"ａ３"の間は、イメージデータが記録されていて、ＶＯＢデータの読み出しが行えない区間であるとする。

図２６の下段は、トラックバッファの内部を示す図である。横軸が時間、縦軸がトラックバッファ内部に蓄積されているデータ量を示している。時刻"ｔ１"がＶＯＢの一連続記録領域の開始点である"ａ１"の読み出しを開始した時刻を示している。この時刻以降、トラックバッファにはレートＶａ−Ｖｂでデータが蓄積されていくことになる。このレートは言うまでもなくトラックバッファの入出力レートの差である。時刻"ｔ２"は一連続記録領域の終了点である"ａ２"のデータを読み込む時刻である。即ち時刻"ｔ１"から"ｔ２"の間レートＶａ−Ｖｂでトラックバッファ内はデータ量が増加していき、時刻"ｔ２"でのデータ蓄積量Ｂ（ｔ２）は下式によって求めることができる。

Ｂ（ｔ２） ＝ （Ｖａ−Ｖｂ）×（ｔ２−ｔ１） （式１）

この後、ＢＤディスク上のアドレス"ａ３"まではイメージデータが続くため、トラックバッファへの入力は０となり、出力レートである"−Ｖｂ"でトラックバッファ内のデータ量は減少していくことになる。これは読み出し位置"ａ３"まで、時刻でいう"ｔ３"までになる。

ここで大事なことは、時刻"ｔ３"より前にトラックバッファに蓄積されているデータ量が０になると、デコーダへ供給するＶＯＢのデータが無くなってしまい、ＶＯＢの再生がストップしてしまう可能性がある。しかしながら、時刻"ｔ３"でトラックバッファにデータが残っている場合には、ＶＯＢの再生がストップすることなく連続できることを意味している。

この条件は下式によって示すことができる。

Ｂ（ｔ２） ≧ Ｖｂ×（ｔ３−ｔ２） （式２）

即ち、式２を満たすようにイメージデータ（非ＶＯＢデータ）の配置を決めればよい事になる。

（ナビゲーションデータ構造）
図２７から図３３を用いて、ＢＤのナビゲーションデータ（ＢＤ管理情報）構造について説明をする。

図２７は、ＶＯＢ管理情報ファイル（"ＹＹＹ．ＶＯＢＩ"）の内部構造を示した図である。

ＶＯＢ管理情報は、当該ＶＯＢのストリーム属性情報（Ａｔｔｒｉｂｕｔｅ）とタイムマップを有している。ストリーム属性は、ビデオ属性（Ｖｉｄｅｏ）、オーディオ属性（Ａｕｄｉｏ＃０〜Ａｕｄｉｏ＃ｍ）を個々に持つ構成となっている。特にオーディオストリームの場合は、ＶＯＢが複数本のオーディオストリームを同時に持つことができることから、オーディオストリーム数（Ｎｕｍｂｅｒ）によって、データフィールドの有無を示している。

下記はビデオ属性（Ｖｉｄｅｏ）の持つフィールドと夫々が持ち得る値である。

圧縮方式（Ｃｏｄｉｎｇ）：
ＭＰＥＧ１
ＭＰＥＧ２
ＭＰＥＧ４
ＭＰＥＧ４−ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）
解像度（Ｒｅｓｏｌｕｔｉｏｎ）：
１９２０ｘ１０８０
１４４０ｘ１０８０
１２８０ｘ７２０
７２０ｘ４８０
７２０ｘ５６５
アスペクト比（Ａｓｐｅｃｔ）：
４：３
１６：９
フレームレート（Ｆｒａｍｅｒａｔｅ）：
６０
５９．９４（６０／１．００１）
５０
３０
２９．９７（３０／１．００１）
２５
２４
２３．９７６（２４／１．００１）

下記はオーディオ属性（Ａｕｄｉｏ）の持つフィールドと夫々が持ち得る値である。

圧縮方式（Ｃｏｄｉｎｇ）：
ＡＣ３
ＭＰＥＧ１
ＭＰＥＧ２
ＬＰＣＭ
チャンネル数（Ｃｈ）：
１〜８
言語属性（Ｌａｎｇｕａｇｅ）：

タイムマップ（ＴＭＡＰ）はＶＯＢＵ毎の情報を持つテーブルであって、当該ＶＯＢが有するＶＯＢＵ数（Ｎｕｍｂｅｒ）と各ＶＯＢＵ情報（ＶＯＢＵ＃１〜ＶＯＢＵ＃ｎ）を持つ。個々のＶＯＢＵ情報は、ＶＯＢＵ先頭ＴＳパケット（Ｉピクチャ開始）のアドレスＩ＿ｓｔａｒｔと、そのＩピクチャの終了アドレスまでのオフセットアドレス（Ｉ＿ｅｎｄ）、およびそのＩピクチャの再生開始時刻（ＰＴＳ）から構成される。

なお、Ｉ＿ｅｎｄの値はオフセット値、すなわちＩピクチャのサイズを持たせるのではなく、実際のＩピクチャの終了アドレスを持たせてもよい。

図２８はＶＯＢＵ情報の詳細を説明する図である。

広く知られているように、ＭＰＥＧビデオストリームは高画質記録するために可変ビットレート圧縮されることがあり、その再生時間とデータサイズ間に単純な相関はない。逆に、音声の圧縮規格であるＡＣ３は固定ビットレートでの圧縮を行っているため、時間とアドレスとの関係は１次式によって求めることができる。しかしながらＭＰＥＧビデオデータの場合は、個々のフレームは固定の表示時間、例えばＮＴＳＣの場合は１フレームは１／２９．９７秒の表示時間を持つが、個々のフレームの圧縮後のデータサイズは絵の特性や圧縮に使ったピクチャタイプ、いわゆるＩ／Ｐ／Ｂピクチャによってデータサイズは大きく変わってくる。従って、ＭＰＥＧビデオの場合は、時間とアドレスの関係は一次式の形で表現することは不可能である。

当然の事として、ＭＰＥＧビデオデータを多重化しているＭＰＥＧシステムストリーム、即ちＶＯＢも時間とデータサイズとを一次式の形で表現することは不可能である。このため、ＶＯＢ内での時間とアドレスとの関係を結びつけるのがタイムマップ（ＴＭＡＰ）である。

このようにして、ある時刻情報が与えられた場合、先ずは当該時刻がどのＶＯＢＵに属するのかを検索（ＶＯＢＵ毎のＰＴＳを追っていく）して、当該時刻の直前のＰＴＳをＴＭＡＰに持つＶＯＢＵに飛びこみ（Ｉ＿ｓｔａｒｔで指定されたアドレス）、ＶＯＢＵ先頭のＩピクチャから復号を開始し、当該時刻のピクチャから表示を開始する。

次に図２９を使って、プレイリスト情報（"ＸＸＸ．ＰＬ"）の内部構造を説明する。

プレイリスト情報は、セルリスト（ＣｅｌｌＬｉｓｔ）とイベントリスト（ＥｖｅｎｔＬｉｓｔ）から構成されている。

セルリスト（ＣｅｌｌＬｉｓｔ）は、プレイリスト内の再生セルシーケンスであり、本リストの記述順でセルが再生される事になる。セルリスト（ＣｅｌｌＬｉｓｔ）の中身は、セルの数（Ｎｕｍｂｅｒ）と各セル情報（Ｃｅｌｌ＃１〜Ｃｅｌｌ＃ｎ）である。

セル情報（Ｃｅｌｌ＃）は、ＶＯＢファイル名（ＶＯＢＮａｍｅ）、当該ＶＯＢ内での開始時刻（Ｉｎ）および終了時刻（Ｏｕｔ）と、字幕テーブル（ＳｕｂｔｉｔｌｅＴａｂｌｅ）を持っている。開始時刻（Ｉｎ）および終了時刻（Ｏｕｔ）は、夫々当該ＶＯＢ内でのフレーム番号で表現され、前述したタイムマップを使うことによって再生に必要なＶＯＢデータのアドレスを得る事ができる。

字幕テーブル（ＳｕｂｔｉｔｌｅＴａｂｌｅ）は、当該ＶＯＢと同期再生される字幕情報を持つテーブルである。字幕は音声同様に複数の言語を持つことができ、字幕テーブル（ＳｕｂｔｉｔｌｅＴａｂｌｅ）は、最初の情報である言語数（Ｎｕｍｂｅｒ）とそれに続く個々の言語ごとのテーブル（Ｌａｎｇｕａｇｅ＃１〜Ｌａｎｇｕａｇｅ＃ｋ）から構成されている。

各言語のテーブル（Ｌａｎｇｕａｇｅ＃）は、言語情報（Ｌａｎｇ）と、個々に表示される字幕の字幕情報数（Ｎｕｍｂｅｒ）と、個々に表示される字幕の字幕情報（Ｓｐｅｅｃｈ＃１〜Ｓｐｅｅｃｈ＃ｊ）から構成され、字幕情報（Ｓｐｅｅｃｈ＃）は対応するイメージデータファイル名（Ｎａｍｅ）、字幕表示開始時刻（Ｉｎ）および字幕表示終了時刻（Ｏｕｔ）と、字幕の表示位置（Ｐｏｓｉｔｉｏｎ）から構成されている。

イベントリスト（ＥｖｅｎｔＬｉｓｔ）は、当該プレイリスト内で発生するイベントを定義したテーブルである。イベントリストは、イベント数（Ｎｕｍｂｅｒ）に続いて個々のイベント（Ｅｖｅｎｔ＃１〜Ｅｖｅｎｔ＃ｍ）から構成され、個々のイベント（Ｅｖｅｎｔ＃）は、イベントの種類（Ｔｙｐｅ）、イベントのＩＤ（ＩＤ）、イベント発生時刻（Ｔｉｍｅ）と有効期間（Ｄｕｒａｔｉｏｎ）から構成されている。

図３０は、個々のプレイリスト毎のイベントハンドラ（時間イベントと、メニュー選択用のユーザイベント）を持つイベントハンドラテーブル（"ＸＸＸ．ＰＲＯＧ"）である。

イベントハンドラテーブルは、定義されているイベントハンドラ／プログラム数（Ｎｕｍｂｅｒ）と個々のイベントハンドラ／プログラム（Ｐｒｏｇｒａｍ＃１〜Ｐｒｏｇｒａｍ＃ｎ）を有している。各イベントハンドラ／プログラム（Ｐｒｏｇｒａｍ＃）内の記述は、イベントハンドラ開始の定義（＜ｅｖｅｎｔ＿ｈａｎｄｌｅｒ＞タグ）と前述したイベントのＩＤと対になるイベントハンドラのＩＤ（ＩＤ）を持ち、その後に当該プログラムもＦｕｎｃｔｉｏｎに続く括弧"｛"と"｝"の間に記述する。前述の"ＸＸＸ．ＰＬ"のイベントリスト（ＥｖｅｎｔＬｉｓｔ）に格納されたイベント（Ｅｖｅｎｔ＃１〜Ｅｖｅｎｔ＃ｍ）は"ＸＸＸ．ＰＲＯＧ"のイベントハンドラのＩＤ（ＩＤ）を用いて特定される。

次に図３１を用いてＢＤディスク全体に関する情報（"ＢＤ．ＩＮＦＯ"）の内部構造を説明する。

ＢＤディスク全体情報は、タイトルリスト（ＴｉｔｌｅＬｉｓｔ）とグローバルイベント用のイベントテーブル（ＥｖｅｎｔＬｉｓｔ）から構成されている。

タイトルリスト（ＴｉｔｌｅＬｉｓｔ）は、ディスク内のタイトル数（Ｎｕｍｂｅｒ）と、これに続く各タイトル情報（Ｔｉｔｌｅ＃１〜Ｔｉｔｌｅ＃ｎ）から構成されている。個々のタイトル情報（Ｔｉｔｌｅ＃）は、タイトルに含まれるプレイリストのテーブル（ＰＬＴａｂｌｅ）とタイトル内のチャプタリスト（ＣｈａｐｔｅｒＬｉｓｔ）を含んでいる。プレイリストのテーブル（ＰＬＴａｂｌｅ）はタイトル内のプレイリストの数（Ｎｕｍｂｅｒ）と、プレイリスト名（Ｎａｍｅ）即ちプレイリストのファイル名を有している。

チャプタリスト（ＣｈａｐｔｅｒＬｉｓｔ）は、当該タイトルに含まれるチャプタ数（Ｎｕｍｂｅｒ）と個々のチャプタ情報（Ｃｈａｐｔｅｒ＃１〜Ｃｈａｐｔｅｒ＃ｎ）から構成され、個々のチャプタ情報（Ｃｈａｐｔｅｒ＃）は当該チャプタが含むセルのテーブル（ＣｅｌｌＴａｂｌｅ）を持ち、セルのテーブル（ＣｅｌｌＴａｂｌｅ）はセル数（Ｎｕｍｂｅｒ）と個々のセルのエントリ情報（ＣｅｌｌＥｎｔｒｙ＃１〜ＣｅｌｌＥｎｔｒｙ＃ｋ）から構成されている。セルのエントリ情報（ＣｅｌｌＥｎｔｒｙ＃）は当該セルを含むプレイリスト名と、プレイリスト内でのセル番号によって記述されている。

イベントリスト（ＥｖｅｎｔＬｉｓｔ）は、グローバルイベントの数（Ｎｕｍｂｅｒ）と個々のグローバルイベントの情報を持っている。ここで注意すべきは、最初に定義されるグローバルイベントは、ファーストイベント（ＦｉｒｓｔＥｖｅｎｔ）と呼ばれ、ＢＤディスクがプレーヤに挿入された時、最初に呼ばれるイベントである。グローバルイベント用イベント情報はイベントタイプ（Ｔｙｐｅ）とイベントのＩＤ（ＩＤ）だけを持っている。

図３２は、グローバルイベントハンドラのプログラムのテーブル（"ＢＤ．ＰＲＯＧ"）である。

本テーブルは、図３０で説明したイベントハンドラテーブルと同一内容である。

（イベント発生のメカニズム）
図３３から図３５を使ってイベント発生のメカニズムについて説明する。

図３３はタイムイベントの例である。

前述したとおり、タイムイベントはプレイリスト情報（"ＸＸＸ．ＰＬ"）のイベントリスト（ＥｖｅｎｔＬｉｓｔ）で定義される。タイムイベントとして定義されているイベント、即ちイベントタイプ（Ｔｙｐｅ）が"ＴｉｍｅＥｖｅｎｔ"の場合、イベント生成時刻（"ｔ１"）になった時点で、ＩＤ"Ｅｘ１"を持つタイムイベントがシナリオプロセッサからプログラムプロセッサに対してあげられる。プログラムプロセッサは、イベントＩＤ"Ｅｘ１"を持つイベントハンドラを探し、対象のイベントハンドラを実行処理する。例えば、本実施例の場合では、２つのボタンイメージの描画を行うなどを行うことができる。

図３４はメニュー操作を行うユーザイベントの例である。

前述したとおり、メニュー操作を行うユーザイベントもプレイリスト情報（"ＸＸＸ．ＰＬ"）のイベントリスト（ＥｖｅｎｔＬｉｓｔ）で定義される。ユーザイベントとして定義されるイベント、即ちイベントタイプ（Ｔｙｐｅ）が"ＵｓｅｒＥｖｅｎｔ"の場合、イベント生成時刻（"ｔ１"）になった時点で、当該ユーザイベントがレディとなる。この時、イベント自身は未だ生成されてはいない。当該イベントは、有効期間情報（Ｄｕｒａｔｉｏｎ）で記される期間レディ状態にある。

図３４に描くように、ユーザがリモコンキーの「上」「下」「左」「右」キーまたは「決定」キーを押した場合、先ずＵＯＰイベントがＵＯＰマネージャによって生成されプログラムプロセッサに上げられる。プログラムプロセッサは、シナリオプロセッサに対してＵＯＰイベントを流し、シナリオプロセッサはＵＯＰイベントを受け取った時刻に有効なユーザイベントが存在するかを検索し、対象となるユーザイベントがあった場合は、ユーザイベントを生成し、プログラムプロセッサに持ち上げる。プログラムプロセッサでは、イベントＩＤ"Ｅｖ１"を持つイベントハンドラを探し、対象のイベントハンドラを実行処理する。例えば、本実施例の場合では、プレイリスト＃２の再生を開始する。

生成されるユーザイベントには、どのリモコンキーがユーザによって押されたかの情報は含まれていない。選択されたリモコンキーの情報は、ＵＯＰイベントによってプログラムプロセッサに伝えられ、仮想プレーヤが持つレジスタＳＰＲＭ（８）に記録保持される。イベントハンドラのプログラムは、このレジスタの値を調べ分岐処理を実行することが可能である。

図３５はグローバルイベントの例である。

前述したとおり、グローバルイベントはＢＤディスク全体に関する情報（"ＢＤ．ＩＮＦＯ"）のイベントリスト（ＥｖｅｎｔＬｉｓｔ）で定義される。グローバルイベントとして定義されるイベント、即ちイベントタイプ（Ｔｙｐｅ）が"ＧｌｏｂａｌＥｖｅｎｔ"の場合、ユーザのリモコンキー操作があった場合にのみイベントが生成される。

ユーザが"メニュー"を押した場合、先ずＵＯＰイベントがＵＯＰマネージャによって生成されプログラムプロセッサに上げられる。プログラムプロセッサは、シナリオプロセッサに対してＵＯＰイベントを流し、シナリオプロセッサは、該当するグローバルイベントを生成し、プログラムプロセッサに送る。プログラムプロセッサでは、イベントＩＤ"ｍｅｎｕ"を持つイベントハンドラを探し、対象のイベントハンドラを実行処理する。例えば、本実施例の場合ではプレイリスト＃３の再生を開始している。

本実施例では、単に"メニュー"キーと呼んでいるが、ＤＶＤのように複数のメニューキーがあってもよい。各メニューキーに対応するＩＤを夫々定義することで対応することが可能である。

（仮想プレーヤマシン）
図３６を用いてプログラムプロセッサの機能構成を説明する。

プログラムプロセッサは、内部に仮想プレーヤマシンを持つ処理モジュールである。仮想プレーヤマシンはＢＤとして定義された機能モデルであって、各ＢＤプレーヤの実装には依存しないものである。即ち、どのＢＤプレーヤにおいても同様の機能を実行できることを保証している。

仮想プレーヤマシンは大きく２つの機能を持っている。プログラミング関数とプレーヤ変数（レジスタ）である。プログラミング関数は、Ｊａｖａ（登録商標）Ｓｃｒｉｐｔをベースとして、以下に記す機能をＢＤ固有関数として定義している。

リンク関数：現在の再生を停止し、指定するプレイリスト、セル、時刻からの再生を開始する
Ｌｉｎｋ（ＰＬ＃，Ｃｅｌｌ＃，ｔｉｍｅ）
ＰＬ＃ ： プレイリスト名
Ｃｅｌｌ＃ ： セル番号
ｔｉｍｅ ： セル内での再生開始時刻
ＰＮＧ描画関数：指定ＰＮＧデータをイメージプレーンに描画する
Ｄｒａｗ（Ｆｉｌｅ，Ｘ，Ｙ）
Ｆｉｌｅ ： ＰＮＧファイル名
Ｘ ： Ｘ座標位置
Ｙ ： Ｙ座標位置
イメージプレーンクリア関数：イメージプレーンの指定領域をクリアする
Ｃｌｅａｒ（Ｘ，Ｙ，Ｗ，Ｈ）
Ｘ ： Ｘ座標位置
Ｙ ： Ｙ座標位置
Ｗ ： Ｘ方向幅
Ｈ ： Ｙ方向幅
プレーヤ変数は、プレーヤの状態を示すシステムパラメータ（ＳＰＲＭ）と一般用途として使用可能なゼネラルパラメータ（ＧＰＲＭ）とがある。

図３７はシステムパラメータ（ＳＰＲＭ）の一覧である。

ＳＰＲＭ（０） ： 言語コード
ＳＰＲＭ（１） ： 音声ストリーム番号
ＳＰＲＭ（２） ： 字幕ストリーム番号
ＳＰＲＭ（３） ： アングル番号
ＳＰＲＭ（４） ： タイトル番号
ＳＰＲＭ（５） ： チャプタ番号
ＳＰＲＭ（６） ： プログラム番号
ＳＰＲＭ（７） ： セル番号
ＳＰＲＭ（８） ： 選択キー情報
ＳＰＲＭ（９） ： ナビゲーションタイマー
ＳＰＲＭ（１０） ： 再生時刻情報
ＳＰＲＭ（１１） ： カラオケ用ミキシングモード
ＳＰＲＭ（１２） ： パレンタル用国情報
ＳＰＲＭ（１３） ： パレンタルレベル
ＳＰＲＭ（１４） ： プレーヤ設定値（ビデオ）
ＳＰＲＭ（１５） ： プレーヤ設定値（オーディオ）
ＳＰＲＭ（１６） ： 音声ストリーム用言語コード
ＳＰＲＭ（１７） ： 音声ストリーム用言語コード（拡張）
ＳＰＲＭ（１８） ： 字幕ストリーム用言語コード
ＳＰＲＭ（１９） ： 字幕ストリーム用言語コード（拡張）
ＳＰＲＭ（２０） ： プレーヤリージョンコード
ＳＰＲＭ（２１） ： 予備
ＳＰＲＭ（２２） ： 予備
ＳＰＲＭ（２３） ： 再生状態
ＳＰＲＭ（２４） ： 予備
ＳＰＲＭ（２５） ： 予備
ＳＰＲＭ（２６） ： 予備
ＳＰＲＭ（２７） ： 予備
ＳＰＲＭ（２８） ： 予備
ＳＰＲＭ（２９） ： 予備
ＳＰＲＭ（３０） ： 予備
ＳＰＲＭ（３１） ： 予備

なお、本実施例では、仮想プレーヤのプログラミング関数をＪａｖａ（登録商標）Ｓｃｒｉｐｔベースとしたが、Ｊａｖａ（登録商標）Ｓｃｒｉｐｔではなく、ＵＮＩＸ（登録商標） ＯＳなどで使われているＢ−Ｓｈｅｌｌや、Ｐｅｒｌ Ｓｃｒｉｐｔなど他のプログラミング関数であっても構わなく、言い換えれば、本発明はＪａｖａ（登録商標）Ｓｃｒｉｐｔに限定されるものでは無い。

（プログラムの例）
図３８および図３９は、イベントハンドラでのプログラムの例である。

図３８は、２つの選択ボタンを持ったメニューの例である。

セル（ＰｌａｙＬｉｓｔ＃１．Ｃｅｌｌ＃１）先頭でタイムイベントを使って図３８左側のプログラムが実行される。ここでは、最初にゼネラルパラメータの一つＧＰＲＭ（０）に"１"がセットされている。ＧＰＲＭ（０）は、当該プログラムの中で、選択されているボタンを識別するのに使っている。最初の状態では、左側に配置するボタン１が選択されている事を初期値として持たされている。

次に、ＰＮＧの描画を描画関数であるＤｒａｗを使ってボタン１、ボタン２夫々について行っている。ボタン１は、座標（１０，２００）を起点（左端）としてＰＮＧイメージ"１ｂｌａｃｋ．ｐｎｇ"を描画している。ボタン２は、座標（３３０，２００）を起点（左端）としてＰＮＧイメージ"２ｗｈｉｔｅ．ｐｎｇ"を描画している。

また、本セル最後ではタイムイベントを使って図３８右側のプログラムが実行される。ここでは、Ｌｉｎｋ関数を使って当該セルの先頭から再度再生するように指定している。

図３９は、メニュー選択のユーザイベントのイベントハンドラの例である。

「左」キー、「右」キー、「決定」キー何れかのリモコンキーが押された場合夫々に対応するプログラムがイベントハンドラに書かれている。ユーザがリモコンキーを押した場合、図３４で説明したとおり、ユーザイベントが生成され、図３９のイベントハンドラが起動されることになる。本イベントハンドラでは、選択ボタンを識別しているＧＰＲＭ（０）の値と、選択されたリモコンキーを識別するＳＰＲＭ（８）を使って分岐処理を行っている。

条件１）ボタン１が選択されている、かつ、選択キーが「右」キーの場合
ＧＰＲＭ（０）を２に再設定して、選択状態にあるボタンを右ボタン２に変更する。

ボタン１、ボタン２のイメージを夫々書き換える。

条件２）選択キーが「決定（ＯＫ）」の場合で、ボタン１が選択されている場合
プレイリスト＃２の再生を開始する。

条件３）選択キーが「決定（ＯＫ）」の場合で、ボタン２が選択されている場合
プレイリスト＃３の再生を開始する。

上記のようにして実行処理が行われる。

（プレーヤ処理フロー）
次に図４０から図４３を用いてプレーヤでの処理フローを説明する。

図４０は、ＡＶ再生までの基本処理フローである。

図４０（ａ）に示されるように、ＢＤディスクを挿入すると（Ｓ１０１）、ＢＤプレーヤはＢＤ．ＩＮＦＯファイルの読み込みと解析（Ｓ１０２）、ＢＤ．ＰＲＯＧの読み込み（Ｓ１０３）を実行する。ＢＤ．ＩＮＦＯおよびＢＤ．ＰＲＯＧは共に管理情報記録メモリに一旦格納され、シナリオプロセッサによって解析される。

続いて、シナリオプロセッサは、ＢＤ．ＩＮＦＯファイル内のファーストイベント（ＦｉｒｓｔＥｖｅｎｔ）情報に従い、最初のイベントを生成する（Ｓ１０４）。生成されたファーストイベントは、プログラムプロセッサで受け取られ、当該イベントに対応するイベントハンドラを実行処理する（Ｓ１０５）。

ファーストイベントに対応するイベントハンドラには、最初に再生するべきプレイリスト情報が記録されていることが期待される。仮に、プレイリスト再生が指示されていない場合には、図４０（ｂ）に示されるように、プレーヤは何も再生することなく、ユーザイベントを受け付けるのを待ち続けるだけになる（Ｓ２０１）。ＢＤプレーヤはユーザからのリモコン操作を受け付けると、ＵＯＰマネージャはプログラムプロセッサに対してＵＯＰイベントを立ち上げる（Ｓ２０２）。

プログラムプロセッサは、ＵＯＰイベントがメニューキーかを判別し（Ｓ２０３）、メニューキーの場合は、シナリオプロセッサにＵＯＰイベントを流し、シナリオプロセッサがユーザイベントを生成する（Ｓ２０４）。プログラムプロセッサは生成されたユーザイベントに対応するイベントハンドラを実行処理する（Ｓ２０５）。

図４１は、ＰＬ再生開始からＶＯＢ再生開始までの処理フローである。

前述したように、ファーストイベントハンドラまたはグローバルイベントハンドラによってプレイリスト再生が開始される（Ｓ３０１）。シナリオプロセッサは、再生対象のプレイリスト再生に必要な情報として、プレイリスト情報"ＸＸＸ．ＰＬ"の読み込みと解析（Ｓ３０２）、プレイリストに対応するプログラム情報"ＸＸＸ．ＰＲＯＧ"の読み込みを行う（Ｓ３０３）。続いてシナリオプロセッサは、プレイリストに登録されているセル情報に基づいてセルの再生を指示する（Ｓ３０４）。セル再生は、シナリオプロセッサからプレゼンテーションコントローラに対して要求が出される事を意味し、プレゼンテーションコントローラはＡＶ再生を開始する（Ｓ３０５）。

ＡＶ再生の開始（Ｓ４０１）をすると、プレゼンテーションコントローラは再生するセルに対応するＶＯＢの情報ファイル（ＹＹＹ．ＶＯＢＩ）を読み込みおよび解析をする（Ｓ４０２）。プレゼンテーションコントローラは、タイムマップを使って再生開始するＶＯＢＵとそのアドレスを特定し、ドライブコントローラに読み出しアドレスを指示し、ドライブコントローラは対象となるＶＯＢデータを読み出し（Ｓ４０３）、ＶＯＢデータがデコーダに送られ再生が開始される（Ｓ４０４）。

ＶＯＢ再生は、当該ＶＯＢの再生区間が終了するまで続けられ（Ｓ４０５）、終了すると次のセル再生開始ステップＳ３０４へ移行する。次にセルが無い場合は、再生が停止する（Ｓ４０６）。

図４２は、ＡＶ再生開始後からのイベント処理フローである。

ＢＤプレーヤはイベントドリブン型のプレーヤモデルである。プレイリストの再生を開始すると、タイムイベント系、ユーザイベント系、字幕表示系のイベント処理プロセスが夫々起動され、平行してイベント処理を実行するようになる。

Ｓ５００系の処理（図４２（ａ））は、タイムイベント系の処理フローである。

プレイリスト再生開始後（Ｓ５０１）、プレイリスト再生が終了しているかを確認するステップ（Ｓ５０２）を経て、シナリオプロセッサは、タイムイベント発生時刻になったかを確認する（Ｓ５０３）。タイムイベント発生時刻になっている場合には、シナリオプロセッサはタイムイベントを生成し（Ｓ５０４）、プログラムプロセッサがタイムイベントを受け取りイベントハンドラを実行処理する（Ｓ５０５）。

ステップＳ５０３でタイムイベント発生時刻になっていない場合、または、ステップＳ５０５でイベントハンドラ実行処理後は再度ステップＳ５０２へ戻り、上述した処理を繰
り返す。また、ステップＳ５０２でプレイリスト再生が終了したことが確認されると、タイムイベント系の処理は強制的に終了する。

Ｓ６００系の処理（図４２（ｂ））は、ユーザイベント系の処理フローである。

プレイリスト再生開始後（Ｓ６０１）、プレイリスト再生終了確認ステップ（Ｓ６０２）を経て、ＵＯＰ受付確認ステップの処理に移る（Ｓ６０３）。ＵＯＰの受付があった場合、ＵＯＰマネージャはＵＯＰイベントを生成し（Ｓ６０４）、ＵＯＰイベントを受け取ったプログラムプロセッサはＵＯＰイベントがメニューコールであるかを確認し（Ｓ６０５）、メニューコールであった場合は、プログラムプロセッサはシナリオプロセッサにイベントを生成させ（Ｓ６０７）、プログラムプロセッサはイベントハンドラを実行処理する（Ｓ６０８）。

ステップＳ６０５でＵＯＰイベントがメニューコールで無いと判断された場合、ＵＯＰイベントはカーソルキーまたは「決定」キーによるイベントである事を示している。この場合、現在時刻がユーザイベント有効期間内であるかをシナリオプロセッサが判断し（Ｓ６０６）、有効期間内である場合には、シナリオプロセッサがユーザイベントを生成し（Ｓ６０７）、プログラムプロセッサが対象のイベントハンドラを実行処理する（Ｓ６０８）。

ステップＳ６０３でＵＯＰ受付が無い場合、ステップＳ６０６で現在時刻がユーザイベント有効期間に無い場合、または、ステップＳ６０８でイベントハンドラ実行処理後は再度ステップＳ６０２へ戻り、上述した処理を繰り返す。また、ステップＳ６０２でプレイリスト再生が終了したことが確認されると、ユーザイベント系の処理は強制的に終了する。

図４３は字幕処理のフローである。

プレイリスト再生開始後（Ｓ７０１）、プレイリスト再生終了確認ステップ（Ｓ７０２）を経て、字幕描画開始時刻確認ステップに移る（Ｓ７０３）。字幕描画開始時刻の場合、シナリオプロセッサはプレゼンテーションコントローラに字幕描画を指示し、プレゼンテーションコントローラはイメージプロセッサに字幕描画を指示する（Ｓ７０４）。ステップＳ７０３で字幕描画開始時刻で無いと判断された場合、字幕表示終了時刻であるかを確認する（Ｓ７０５）。字幕表示終了時刻であると判断された場合は、プレゼンテーションコントローラがイメージプロセッサに字幕消去指示を行い、描画されている字幕をイメージプレーンから消去する（Ｓ７０６）。

字幕描画ステップＳ７０４終了後、字幕消去ステップＳ７０６終了後、または、字幕表示終了時刻確認ステップＳ７０５で当該時刻でないことが判断された場合、ステップＳ７０２に戻り、上述した処理を繰り返す。また、ステップＳ７０２でプレイリスト再生が終了したことが確認されると、字幕表示系の処理は強制的に終了する。

（実施の形態２）
次に、異なる符号化方式（あるいは、異なる属性の動画像）が混在し得るストリームの第２例、つまり、ピクチャ内ピクチャにおいて輝度キーによる透過処理を行う際に用いられる輝度の閾値（動画像の属性）が混在し得る例について、本発明の第２の実施の形態として、説明する。

本実施の形態では、ＢＤ−ＲＯＭなどのパッケージメディアなどにおいて、ピクチャ内ピクチャによる再生時に、透過処理を行うかどうかを示す輝度値の閾値が切替わることによる再生動作の遅延を解消できる記録媒体、多重化方法、多重化装置、およびその再生装置について説明する。

本実施の形態の記録媒体では、輝度キーによる透過処理を実施するストリームにおいては、連続再生の単位において、画像表示時に透過処理するかどうかを判定する輝度値の閾値が制約されていること、あるいは、制約されていることを示す情報が管理情報に格納される。

本実施の形態の記録媒体、多重化方法、多重化装置、および再生装置は、実施の形態１における記録媒体のデータ構造、および、多重化方法あるいは再生装置における動作と構成要素の基本部分を同じくするため、以下では本実施の形態に特徴的な部分についてのみ説明する。

図４４は、本実施の形態の記録媒体に格納されるストリームにおける輝度キーの閾値の例を示す。図４４の例では、シームレスに接続される各区間における輝度キーの閾値が全て２０と固定されるため、輝度キーの閾値の切替わりに伴う遅延が発生せずに、シームレスな接続を実現できる。

また、本実施の形態の記録媒体では、シームレスに接続される再生区間における輝度キーに関する情報が、管理情報に格納される。図４５は、輝度キーに関する情報を、ピクチャ内ピクチャのメタ情報の一部として格納する例を示す。図４５（ａ）は、輝度キーが有効であるかどうかを示すフラグ情報ｌｕｍａ＿ｋｅｙ＿ｖａｌｉｄについて示す。輝度キーが有効（ｌｕｍａ＿ｋｅｙ＿ｖａｌｉｄが１）であれば、輝度キーの閾値に基づいて画像を透過処理して表示し、輝度キーが有効でなければ（ｌｕｍａ＿ｋｅｙ＿ｖａｌｉｄが０）、透過処理をせずに表示する。図示するように、シームレスに接続される各再生区間においては、ｌｕｍａ＿ｋｅｙ＿ｖａｌｉｄの値は固定となる。つまり、シームレスに接続される各再生区間では、輝度キーが有効であるか、有効でないかのどちらか一方に固定される。図４５（ｂ）は、輝度キーを適用する際に、透過して表示すると決定する輝度値の閾値ｌｕｍａ＿ｋｅｙ＿ｕｐｐｅｒ＿ｌｉｍｉｔについて示す。例えば、ｌｕｍａ＿ｋｅｙ＿ｕｐｐｅｒ＿ｌｉｍｉｔが２０であれば、輝度値が２０以下の画素は透過して表示し、輝度値が２０を超える画素については透過せずに表示する。図中に示すように、シームレスに接続される各再生区間においては、ｌｕｍａ＿ｋｅｙ＿ｕｐｐｅｒ＿ｌｉｍｉｔの値は同一となる。ここで、ｌｕｍａ＿ｋｅｙ＿ｕｐｐｅｒ＿ｌｉｍｉｔの情報は、輝度キーが有効である場合に参照されるため、輝度キーが有効である場合にのみ、輝度キーの閾値を示す情報を設定してもよい。

輝度キーによる透過処理を実施するプレーヤにおいては、輝度キーの閾値が固定であることが保証されていれば、輝度キーの閾値処理における閾値の変更が不要であるため、予め輝度キーの閾値が固定であると判定できることが望ましい。図４６は、輝度キーの閾値が固定であることを保証するフラグについて説明する図である。図４６の例では、輝度キーの閾値が固定であることを示すフラグ情報ｌｕｍａ＿ｋｅｙ＿ｆｉｘｅｄ＿ｆｌａｇが、各再生区間の属性情報の一部として格納される。ｌｕｍａ＿ｋｅｙ＿ｆｉｘｅｄ＿ｆｌａｇは、当該再生区間における輝度キーの閾値が、直前の再生区間における輝度キーの閾値と同一であるかどうかを示す。図４６（ａ）は、輝度キーの閾値が固定であることが示される（ｌｕｍａ＿ｋｅｙ＿ｆｉｘｅｄ＿ｆｌａｇが１）例である。この例では、各再生区間はシームレスに接続され、それら再生区間では輝度キーの閾値が固定であることが保証される。図４６（ｂ）は、輝度キーの閾値が固定であることが保証されない（ｌｕｍａ＿ｋｅｙ＿ｆｉｘｅｄ＿ｆｌａｇが０）例である。各再生区間はシームレス接続の対象ではなく、各再生区間で輝度キーの閾値は可変である。なお、ｌｕｍａ＿ｋｅｙ＿ｆｉｘｅｄ＿ｆｌａｇは、連続して再生される区間全体に対して設定してもよいし、連続再生区間を構成する各再生区間に対して設定してもよい。さらに、各再生区間について設定する際には、各再生区間はプレイアイテムにより指される再生区間を示すこととして、再生区間内で輝度キーの閾値が固定であるかどうかを、プレイアイテム単位に設定される再生情報に含めてもよい。ここで、輝度キーの閾値が固定であるかどうかは、現プレイアイテムと直前のプレイアイテムにより指される再生区間がシームレス接続できるかどうかを示す情報などと兼用して１つのフラグにまとめてもよい。また、輝度キーが適用されるかどうかを示す情報についても同様に格納できる。

ここで、シームレス接続には、実施の形態１と同様の種類があり、異なるアングルのストリームにシームレスに接続できるシームレス・マルチアングルなども含まれる。シームレス・マルチアングルにおいては、各アングルにおいて、輝度キーが有効であるかどうか、あるいは、輝度キーの閾値が同一となる。また、シームレス接続の種類としては、（１）接続の前後においてＭＰＥＧ−２システム規格におけるＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）などの基準クロックの値が連続しないケース（タイプ１のシームレス接続）と、（２）接続の前後においてＭＰＥＧ−２システム規格におけるＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）などの基準クロックの値が連続するケース（タイプ２のシームレス接続）、など複数の種類がある。従って、タイプ１のシームレス接続であるかどうか、あるいは、タイプ２のシームレス接続であるかどうかを示す情報によりシームレス接続されることが示されれば、これら情報により、連続する２つの再生区間において輝度キーの閾値が固定であると示すことができる。

図４７は、ピクチャ内ピクチャにおいて、輝度キーを適用する例について説明する。ピクチャ内ピクチャでは、プライマリ・ビデオと呼ばれる主映像に、セカンダリ・ビデオと呼ばれる副映像がオーバーレイして表示される。このとき、セカンダリ・ビデオに対して輝度キーによる透過処理が有効であれば、透過処理が実施され、有効でなければ透過処理は実施されない。図４７（ａ）は、ビデオの表示プレーンを示し、図４７（ｂ）と図４７（ｃ）に示すように、プレーン１がプライマリ・ビデオの表示用、プレーン２がセカンダリ・ビデオの表示用である。図４７（ｄ）に示すように、セカンダリ・ビデオをプライマリ・ビデオにオーバーレイして表示する。この例では、図４７（ｃ）に示す黒塗りの部分が輝度キーによる透過処理により透過して表示される。セカンダリ・ビデオとしては、複数のストリームを切替え可能であるが、図４７（ｅ）、図４７（ｆ）、図４７（ｇ）では、２本のセカンダリ・ビデオが存在する例について示し、図４７（ｅ）は、プライマリ・ビデオにおける各再生区間の表示のタイムライン、図４７（ｆ）は、第１のセカンダリ・ビデオにおける各再生区間の表示タイムライン、図４７（ｇ）は、第２のセカンダリ・ビデオにおける各再生区間の表示タイムラインを示す。例えば、図４７（ｆ）において区間１−１と区間１−２がシームレス接続されるとすると（図中（１））、区間１−１と区間１−２では、輝度キーによる透過処理が有効であるかどうか、および、有効である場合には輝度キーの閾値が、それぞれ同一となる。また、第１のセカンダリ・ビデオにおける区間１−２から、第２のセカンダリ・ストリームにおける区間２−３への接続がシームレス接続であるとすると（図中（２））、区間１−２と区間２−３においても輝度キーに関連する情報が同一となる。さらに、各再生区間の接続部分以外における接続（図中（３））の連続性を確保するために、区間１−３と区間２−３との間でも輝度キーに関連する情報を同一としてもよい。

次に、プライマリ・ビデオとセカンダリ・ビデオはトランスポートストリームなどに多重化して記録されるが、図４８は多重化の方法について示す。図４８（ａ）は、プライマリ・ビデオとセカンダリ・ビデオを同一のトランスポートストリームに多重化した例であり、図４８（ｂ）は、プライマリ・ビデオとセカンダリ・ビデオを異なるトランスポートストリームに多重化した例である。このように、プライマリ・ビデオとセカンダリ・ビデオは、同一のトランスポートストリームに多重化してもよいし、異なるトランスポートストリームに多重化してもよい。

図４９は、本実施の形態における記録媒体に格納された多重化データを作成するための多重化方法の動作を示すフローチャートである。本実施の形態の多重化方法は、輝度キーを有効とするかどうかを切替えられる単位を決定するステップ（ステップＳ５３０１）、決定した単位に基づいてクリップの動画像を符号化するステップ（ステップＳ５３０２）、所定の再生区間毎に輝度キーに関するフラグ情報を生成するステップ（ステップＳ５３０４）、および、ステップＳ５３０４において生成した輝度キーに関するフラグ情報を含む管理情報を生成するステップ（Ｓ５３０５）とを備える点において、従来の多重化方法と異なる。

つまり、本実施の形態における多重化方法は、第１動画像と、第１動画像にオーバーレイするための第２動画像とを含む映像ストリームを符号化する動画像符号化方法であって、映像ストリームのうち、部分区間の集まりであって連続再生の対象となる区間である連続再生区間を決定し、当該連続再生区間においては、輝度キーが有効であるかどうか、又は、輝度キーによる透過処理に用いられる閾値のいずれか一方あるいは両方により定義される輝度キー属性が固定となるように各再生区間の映像ストリームを符号化するステップ（Ｓ５３０１〜Ｓ５３０３）と、１つあるいは複数の再生区間毎に前記輝度キー属性を生成するステップ（Ｓ５３０４）と、連続再生区間においては前記輝度キー属性が固定であることを示すフラグ情報を含む管理情報を作成するステップ（Ｓ５３０５）とを含む。以下、これらのステップを詳細に説明する。

まず、ステップＳ５３０１において、輝度キーを有効とするかどうかを切替えられる単位を決定する。すなわち、連続再生単位、クリップ、あるいはランダムアクセス単位のいずれの単位で切替え可能であるかを決定する。続いて、ステップＳ５３０２では、ステップＳ５３０１で決定した切替え単位に基づいてクリップのデータを符号化する。なお、ステップＳ５３０１では、輝度キーの閾値を切替えられるかどうかについても判定し、判定結果に基づいて、ステップＳ５３０２においてクリップのデータを符号化してもよい。ステップＳ５３０３では、最終クリップの符号化が終了したかどうかを判定し、終了したと判定された際にはステップＳ５３０４に進み、終了していないと判定されればステップＳ５３０２に戻りクリップの符号化を繰り返す。ステップＳ５３０４では、所定の再生区間毎に輝度キーに関する属性情報を作成、ステップＳ５３０５に進む。所定の再生区間とは、プレイリストにより指される再生区間とするが、クリップ、あるいはランダムアクセス単位としてもよい。ステップＳ５３０５では、ステップＳ５３０４において生成した属性情報を含む管理情報を作成し、管理情報とクリップのデータとを多重化して出力する。ここで、連続する２つの再生区間がシームレス接続できるかどうかを示す情報を管理情報に含めてもよい。シームレス接続される各再生区間では、輝度キーを有効とするかどうかは固定とするため、ステップＳ５３０１では、シームレス接続される各再生区間においては、輝度キーを有効とするかどうかは切替え不可であると決定する。さらに、ステップＳ５３０２では、シームレス接続される各再生区間において、輝度キーを有効とする場合には、輝度キーの透過処理を行う際の閾値が同一となるように符号化する。なお、ステップＳ５３０１において輝度キーを有効とするかどうかを切替えられる単位の決定する際の詳細な動作については、図１４に示した本実施の形態１の多重化方法と同様の動作を適用できる。

図５０は、図４９中のフラグ情報生成ステップ（Ｓ５３０４）および管理情報生成ステップ（Ｓ５３０５）の具体例を示すフローチャートである。ステップＳ５３０４ａでは、符号化されたクリップが、輝度キーの有効と無効を切替え可能と判定されたクリップであるか否かを判定し、切り替え可能と判定されたクリップである場合には、輝度キーが有効であるか否かが固定でないことを示すフラグ情報を生成し、当該クリップに対応付けてフラグ情報をメモリのワーク領域に蓄積し（Ｓ５３０４ｂ）、切り替え可能と判定されたクリップでない場合には、輝度キーが有効であるか否かが固定であることを示すフラグ情報を生成し、当該クリップに対応付けてフラグ情報をメモリのワーク領域に蓄積する（Ｓ５３０４ｃ）。ここで、フラグ情報は、プレイアイテムにより指される再生区間など所定の再生区間毎に、輝度キーが有効であるかどうかを示す情報と、輝度キーが有効である場合には、輝度キーの閾値とを含む。ステップＳ５３０４ｄでは、当該クリップが、符号化された最後のクリップであるか否かを判定し、最後のクリップでなければ上記Ｓ５３０４ａ〜Ｓ５３０４ｃを繰り返し、最後のクリップであればステップＳ５３０４ｅに進む。ステップＳ５３０４ｅでは、プレイアイテム毎の輝度キーに関する情報を含むピクチャ内ピクチャ用のメタ情報を生成し、ステップＳ５３０５ｆでは、ピクチャ内ピクチャ用のメタ情報とプレイリスト、およびランダムアクセスに必要な情報などを含む管理情報を生成する。プレイリストには、連続する２つの再生区間がシームレス接続可能かどうか、および、シームレス接続のタイプを示す情報を含める。

なお、管理情報内には、セカンダリ・ビデオのトランスポートストリームあるいは符号化ストリームを識別するインデックス情報が含まれるため、インデックス番号によりセカンダリ・ビデオであると示されるトランスポートストリームあるいは符号化ストリームに対してのみ、管理情報内に輝度キーに関する情報を含めてもよい。

また、上記ではピクチャ内ピクチャ動作のセカンダリ・ビデオにおける、輝度キーに基づいた透過処理について述べたが、本発明はこれに限定されるものではなく、複数の表示プレーンが存在する場合において、所定のプレーンよりも手前に表示されるプレーンにおける画像の表示全般に適用できる。例えば、静止画やコンピュータ・グラフィクスなどに、静止画や動画をオーバーレイして表示することが可能である。さらに、異なる表示プレーンに表示される複数の画像に対して、輝度キーによる透過処理を実施してもよい。

また、輝度キーの閾値などに応じて、半透過など、０と１以外の透過率として表示することにしてもよい。

ピクチャ内ピクチャにおいて、輝度キーによる透過処理とは異なる再生動作について制約してもよい。例えば、シームレス接続される再生区間を跨いで高速再生や逆再生などの特殊再生を行う際に、セカンダリ・ビデオを表示するかどうかを固定してもよい。つまり、特殊再生時には、セカンダリ・ビデオを常に表示する、または、表示しない、のいずれか一方に固定する。また、特殊再生時にセカンダリ・ビデオを表示する際には、輝度キーの閾値を固定とするなど、輝度キーによる透過処理と特殊再生とを関連付けてもよい。その際、特殊再生時におけるセカンダリ・ビデオの表示の有無を示すフラグ情報の値を固定とする、あるいは、当該フラグ値が固定であることを示すフラグ情報などのフラグ情報により、ピクチャ内ピクチャにおける特殊再生時の制約を保証してもよい。

なお、プライマリ・ビデオとセカンダリ・ビデオの符号化方式は、例えばＭＰＥＧ−４ ＡＶＣ、ＭＰＥＧ−２ビデオ、ＶＣ−１などが可能である。ここで、プライマリ・ビデオがＭＰＥＧ−４ ＡＶＣであれば、セカンダリ・ビデオもＭＰＥＧ−４ ＡＶＣとするなど、プレーヤで対応する組み合わせを削減するためにプライマリ・ビデオとセカンダリ・ビデオの符号化方式の組み合わせを制約してもよい。

図５１は、本実施の形態の多重化方法を実施する多重化装置５２００の構成を示すブロック図である。多重化装置５２００は、第１動画像と、第１動画像にオーバーレイするための第２動画像とを含む映像ストリームを符号化する動画像符号化装置の一例であり、切替え単位決定部５２０１、切替え情報生成部５２０２、符号化部５２０３、システム多重化部５２０４、管理情報作成部５２０５、結合部５２０６を備える。ここで、オーバーレイでは、第２動画像のうち、予め定められた閾値を超える輝度を有する画像領域だけが第１動画像にオーバーレイされる。以下に、各部の動作について説明する。

切替え単位決定部５２０１は、映像ストリームのうち、部分区間の集まりであって、連続再生の対象となる区間である連続再生区間を決定する処理部であり、ここでは、輝度キーを切り替えられる単位を決定し、決定した切替え単位Ｕｎｉｔ２を切替え情報生成部５２０２、および符号化部５２０３に入力する。切替え単位は予め定められているものとするが、外部から設定できるようにしてもよい。

切替え情報生成部５２０２は、切替え単位Ｕｎｉｔ２に基づいて、プレイリストにより指される再生単位毎の輝度キーの属性情報を示す輝度キー情報ＬｕｍａＩｎｆ２を生成し、管理情報作成部５２０５に入力する。例えば、連続再生区間においては、上記閾値が固定であることを示すフラグ情報を生成する。

なお、切替え情報生成部５２０２は、オーバーレイにおける各種表示処理を指定する複数の表示属性情報を生成するが、その複数の表示属性情報の生成においては、複数の表示属性情報のうち、連続再生区間を構成する複数の部分区間において内容が切り替わる表示属性情報の個数が予め定められた一定値以下となるように、表示属性情報を生成する。具体的には、図５２に示されるように、切替え情報生成部５２０２は、ピクチャ内ピクチャのメタ情報として、（i）上記閾値、つまり、輝度キー適用時に透過率が１であるとみなす輝度値の閾値が直前の再生区間と現在の再生区間とで同一であるか（１）否か（０）を示すフラグ、あるいは輝度キーの閾値、（ii）プライマリ・ビデオ画像にオーバーレイするセカンダリ・ビデオ画像の表示位置が直前の再生区間と現在の再生区間とで同一であるか（１）否か（０）を示すフラグ、あるいは表示位置の座標情報、及び、（iii）プライマリ・ビデオ画像にオーバーレイするセカンダリ・ビデオ画像のスケーリング（拡大率）が直前の再生区間と現在の再生区間とで同一であるか（１）否か（０）を示すフラグ、あるいはスケーリング方法を指定する情報等の表示属性情報を生成するが、その複数の表示属性情報の生成においては、複数の表示属性情報のうち、切り替え可能な表示属性情報の個数が予め定められた一定値（例えば、２個）以下となるように、表示属性情報を生成する。この制約により、連続再生区間において値が切り替わる表示属性情報の個数が一定数以下に抑えられることが保証され、再生装置における切り替え処理に伴う処理負荷が軽減される。

符号化部５２０３は、切替え単位決定部５２０１で決定された連続再生区間においては上記閾値を変更しないという制約を満たすように、連続再生区間を構成する複数の部分区間における第１及び第２動画像を符号化する処理部であり、ここでは、切替え単位Ｕｎｉｔ２の制約を満たすように各クリップのデータを符号化し、符号化データＣｄａｔａ２をシステム多重化部５２０４に入力する。具体的には、符号化部５２０３は、連続再生区間においては、第２動画像のうちオーバーレイする画像領域の輝度が上記閾値を超え、かつ、オーバーレイしない（透過処理を施す）画像領域の輝度が上記閾値以下となるように、第２動画像を構成する画素の輝度値を補正（係数を乗じたり、オフセット値を加算したり等）する。

なお、符号化部５２０３は、切替え単位決定部５２０１で決定された連続再生区間だけでなく、デコーダモデルに従ってシームレスに接続される複数の部分区間においても、上記閾値を変更しないという制約を満たすように、複数の部分区間における第１及び第２動画像を符号化してもよい。つまり、上述したデコーダモデルでは、２つの部分区間がシームレスに接続されなければならないケースが規定されているので、そのような２つの部分区間においては、予め、上記閾値を変更しないという制約を満たすように、第１及び第２動画像を符号化しておくのが好ましい。

システム多重化部５２０４は、符号化データＣｄａｔａ２をシステム多重化し、ストリーム情報ＳｔｒＩｎｆ２を管理情報作成部５２０５に入力し、多重化データＭｄａｔａ２を結合部５２０６に入力する。ＢＤ−ＲＯＭではシステム多重化の方式として、ソースパケットと呼ばれる、ＭＰＥＧ−２のトランスポートストリームに４バイトのヘッダを付加した方式が用いられる。また、ストリーム情報ＳｔｒＩｎｆ２は、タイムマップなど、多重化データＭｄａｔａ２についての管理情報を生成するための情報を含む。なお、システム多重化部５２０４は、連続再生区間を構成する複数の部分区間が、トランスポートストリームのパケット識別子によって特定されるように、多重化をしてもよい。これにより、上記閾値が固定されているクリップがパケット識別子によって特定され得る。

管理情報作成部５２０５は、切替え情報生成部５２０２からの指示に従って、連続再生区間においては上記閾値が固定であることを示すフラグ情報や上記表示属性情報を含む管理情報を作成する処理部の一例であり、ここでは、ストリーム情報ＳｔｒＩｎｆ２に基づいて生成したタイムマップ、および輝度キー情報ＬｕｍａＩｎｆ２などを含む管理情報ＣｔｒｌＩｎｆ２を生成し、結合部５２０６に入力する。

結合部５２０６は、符号化部５２０３で符号化された第１及び第２動画像と管理情報作成部５２０５で作成された管理情報とを結合して出力する処理部であり、ここでは、管理情報ＣｔｒｌＩｎｆ２と多重化データＭｄａｔａ２を結合して記録データＤｏｕｔ２として出力する。

以上のように構成された多重化装置５２００は、図４９、図５０に示されるフローチャートに従った多重化動作をし、その結果、図４４〜図４８に示される管理情報や符号化ストリームを生成する。

図５３は、この多重化装置５２００によって生成される管理情報のデータ構造を示す図である。図５３（ａ）は、管理情報の一つであるプレイリストのデータ要素を示し、図５３（ｂ）は、シームレス接続される（Connection_condition=5の）再生区間を示すプレイリストの例を示す。多重化装置５２００は、図５３（ａ）に示されるように、プレイリストとして、「プレイアイテム」、「サブプレイアイテム」及び「ピクチャ内ピクチャのメタ情報」を作成する。ここで、「プレイアイテム」は、図５３（ｂ）に示されるように、プライマリ・ビデオにおける各再生区間の情報（クリップにおける再生開始時刻と再生終了時刻など）や再生区間の間の接続条件などを示し、「サブプレイアイテム」は、セカンダリ・ビデオにおける各再生区間の情報（クリップにおける再生開始時刻と再生終了時刻など）や再生区間の間の接続条件などを示し、「ピクチャ内ピクチャのメタ情報」は、ピクチャ内ピクチャを再生する際の、セカンダリ・ビデオの表示属性情報（輝度キー、表示位置、スケーリングなど）を示す。なお、プレイアイテム及びサブプレイアイテムに対応するプライマリ・ビデオのクリップは、プレイアイテムのインデックス番号により関連付けられる。

このように、多重化装置５２００は、上記閾値が固定であることを示すフラグ情報を、連続再生区間を構成する複数の部分区間（図中の「再生区間」）それぞれに対応する再生情報（図中の「メタ情報」）として生成する。具体的には、そのフラグ情報を、プレイリストに含まれるプレイアイテムに対応する再生情報（図中の「メタ情報」）として生成する。

なお、オーサリングツールなどでデータを作成する際には、符号化データの生成と、システム多重化あるいは管理情報の作成を別々の装置で行うことがあるが、そのような場合でも、各装置の動作は多重化装置５２００における各部と同一にすればよい。

また、この多重化装置５２００は、符号化ストリームを生成する動画像符号化装置として適用されるだけでなく、ＢＤ等の光ディスク、ＳＤ（Secure Digital）カードなどのフラッシュメモリ、あるいはハードディスクなどの記録媒体に符号化ストリームを記録する動画像記録装置として適用され得る。そのためには、多重化装置５２００が備える出力段である結合部５２０６が、符号化部５２０３で符号化された第１及び第２動画像と管理情報作成部５２０５で作成された管理情報とを結合して記録媒体に記録するという記録機能を備えればよい。このような動画像記録装置（あるいは、動画像記録方法)によって、本明細書で開示されている記録媒体が作成される。

図５４は、本実施の形態における記録媒体に格納された多重化データを再生するプレーヤ（動画像再生装置）において、再生区間の切替わり時に、輝度キーによる透過処理を実施する動作を示すフローチャートである。

まず、ステップＳ５４０１において、プレーヤは、プレイアイテムにより指される現在の再生区間と次の再生区間とがシームレス接続されるかどうかを判定し、シームレス接続されると判定されればステップＳ５４０５に進み、シームレス接続されないと判定されればステップＳ５４０２に進む。具体的な判断例として、プレーヤは、映像ストリームに対応する管理情報を取得し、取得した管理情報に、上記閾値が固定であることを示すフラグ情報が含まれるか否かを判断する（Ｓ５４０１）。管理情報にフラグ情報が含まれる場合には、現再生区間と次再生区間とはシームレスに接続されると判断し（Ｓ５４０１でｙｅｓ）、一方、管理情報にフラグ情報が含まれない場合には、現再生区間と次再生区間とはシームレスに接続されないと判断する（Ｓ５４０１でｎｏ）。

ステップＳ５４０２では、プレーヤは、次の再生区間において輝度キーが有効であるかどうか判定し、輝度キーが有効と判定されればステップＳ５４０３に進み、輝度キーが有効でないと判定されればステップＳ５４０６に進む。ステップＳ５４０３では、輝度キーの閾値を取得し、ステップＳ５４０４では、ステップＳ５４０３で取得した閾値に基づいて、セカンダリ・ビデオに対して透過処理を実施する。

ステップＳ５４０５では、プレーヤは、現在の再生区間と同一の条件（上記閾値が同一）に基づいてセカンダリ・ビデオに対して透過処理を実施する。具体的には、セカンダリ・ビデオのうち、輝度が上記閾値以下の画素については完全に透過させる処理を施す。このとき、現在の再生区間において輝度キーが有効でなければ、セカンダリ・ビデオに対する透過処理は行われない。

ステップＳ５４０６では、プレーヤは、ステップＳ５４０４又はステップＳ５４０５の出力結果、あるいは、ステップＳ５４０２において輝度キーが有効でないと判定された場合には透過処理を実施していないセカンダリ・ビデオの復号結果を、プライマリ・ビデオにオーバーレイして表示する。

なお、図５４において説明した動作は、本実施の形態１の図２０および図２１で説明したＢＤディスクを再生するプレーヤにおいて実現できる。例えば、図２０のプレゼンテーション処理部２０８において輝度キーの透過処理を行う。

また、プレーヤは所定の再生手順に従って、再生するプレイアイテムの順序を決定してもよい。例えば、複数プレイアイテムの連続再生時には、輝度キーの閾値が一定となるプレイアイテムを優先的に選択する。このとき、リモコン動作などでユーザから特定プレイアイテムの再生要求があった場合には、輝度キーの閾値が異なるプレイアイテムを連続再生してもよい。さらに、本実施の形態２の多重化方法および多重化装置は、所定の再生手順において連続再生されるプレイアイテム間では輝度キーの閾値が一定となるようにしてもよい。ここで、１つのプレイアイテムは１つの再生単位に対応する。

（実施の形態３）
さらに、上記各実施の形態で示した記録媒体、その再生方法および記録方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図５５Ａ〜図５５Ｃは、上記各実施の形態の再生方法および記録方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。

図５５Ｂは、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図５５Ａは、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。

また、図５５Ｃは、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。再生方法および記録方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブＦＤＤを介して書き込む。また、フレキシブルディスク内のプログラムにより再生方法および記録方法を実現する再生方法および記録方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

なお、図１２、図２０、図２１、図２５、図５１等に示したブロック図の各機能ブロックは典型的には集積回路装置であるＬＳＩとして実現される。このＬＳＩは１チップ化されても良いし、複数チップ化されても良い（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

また、各機能ブロックのうち、データを格納するユニットだけ１チップ化せずに、本実施形態の記録媒体のように別構成としても良い。

以上、本発明に係る動画像符号化方法等について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。これらの実施の形態に対して当業者が思いつく変更を施して実現される他の形態や、実施の形態における各構成要素を任意に組み合わせて実現される他の形態等も本発明に含まれる。

なお、図１２、図２０、図２１、図２５、図５１等に示したブロック図の各機能ブロックおよび図１１、図１３〜図１７、図４０〜図４３、図４９、図５０、図５４などに示したフローチャートにおいて、中心的な部分はプロセッサおよびプログラムによっても実現される。

このように、上記実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。

本発明に係る動画像符号化方法は、管理情報により示される連続再生単位を構成する動画像の符号化データにおいて、画素を透過して表示するかどうかを輝度値により判定する際の閾値を固定としたことで、閾値の切り替わりに起因する復号時の遅延をなくしてシームレスな再生を実現できるため、動画像、グラフィクス、あるいは静止画などに動画像をオーバーレイして表示させるパッケージメディア、あるいは配信アプリケーションなどに適しており、例えば、動画像エンコーダ用ＬＳＩ、ムービーカメラ、動画像レコーダ、動画像記録機能付きテレビ、コンピュータプログラム等として利用できる。

１０４、２０１ ＢＤディスク
２０２ 光ピックアップ
２０３ プログラム記録メモリ
２０４ 管理情報記録メモリ
２０５ ＡＶ記録メモリ
２０６ プログラム処理部
２０７ 管理情報処理部
２０８ プレゼンテーション処理部
２０９ イメージプレーン
２１０ ビデオプレーン
２１１ 合成処理部
３０１ プログラム記録メモリ
３０２ プログラムプロセッサ
３０３ ＵＯＰマネージャ
３０４ 管理情報記録メモリ
３０５ シナリオプロセッサ
３０６ プレゼンテーションコントローラ
３０７ クロック
３０８ イメージメモリ
３０９ トラックバッファ
３１０ デマルチプレクサ
３１１ イメージプロセッサ
３１２ ビデオプロセッサ
３１３ サウンドプロセッサ
３１４ イメージプレーン
３１５ ビデオプレーン
３１６ 合成処理部
３１７ ドライブコントローラ
Ｓ１０１ ディスク挿入ステップ
Ｓ１０２ ＢＤ．ＩＮＦＯ読み込みステップ
Ｓ１０３ ＢＤ．ＰＲＯＧ読み込みステップ
Ｓ１０４ ファーストイベント生成ステップ
Ｓ１０５ イベントハンドラ実行ステップ
Ｓ２０１ ＵＯＰ受付判定ステップ
Ｓ２０２ ＵＯＰイベント生成ステップ
Ｓ２０３ メニューコール判定ステップ
Ｓ２０４ イベント生成ステップ
Ｓ２０５ イベントハンドラ実行ステップ
Ｓ３０１ プレイリスト再生開始ステップ
Ｓ３０２ プレイリスト情報（ＸＸＸ．ＰＬ）読み込みステップ
Ｓ３０３ プレイリストプログラム（ＸＸＸ．ＰＲＯＧ）読み込みステップ
Ｓ３０４ セル再生開始ステップ
Ｓ３０５ ＡＶ再生開始ステップ
Ｓ４０１ ＡＶ再生開始ステップ
Ｓ４０２ ＶＯＢ情報（ＹＹＹ．ＶＯＢＩ）読み込みステップ
Ｓ４０３ ＶＯＢ（ＹＹＹ．ＶＯＢ）読み込みステップ
Ｓ４０４ ＶＯＢ再生開始ステップ
Ｓ４０５ ＶＯＢ再生終了ステップ
Ｓ４０６ 次セル存在判定ステップ
Ｓ５０１ プレイリスト再生開始ステップ
Ｓ５０２ プレイリスト再生終了判定ステップ
Ｓ５０３ タイムイベント時刻判定ステップ
Ｓ５０４ イベント生成ステップ
Ｓ５０５ イベントハンドラ実行ステップ
Ｓ６０１ プレイリスト再生開始ステップ
Ｓ６０２ プレイリスト再生終了判定ステップ
Ｓ６０３ ＵＯＰ受付判定ステップ
Ｓ６０４ ＵＯＰイベント生成ステップ
Ｓ６０５ メニューコール判定ステップ
Ｓ６０６ ユーザイベント有効期間判定ステップ
Ｓ６０７ イベント生成ステップ
Ｓ６０８ イベントハンドラ実行ステップ
Ｓ７０１ プレイリスト再生開始ステップ
Ｓ７０２ プレイリスト再生終了判定ステップ
Ｓ７０３ 字幕描画開始判定ステップ
Ｓ７０４ 字幕描画ステップ
Ｓ７０５ 字幕表示終了判定ステップ
Ｓ７０６ 字幕消去ステップ

Claims (5)

1. 第１動画像と、前記第１動画像にオーバーレイするための第２動画像とを含む映像ストリームを符号化する動画像符号化方法であって、
   前記オーバーレイでは、前記第２動画像のうち、予め定められた閾値を超える輝度を有する画像領域だけが前記第１動画像にオーバーレイされ、
   前記動画像符号化方法は、
   前記映像ストリームのうち、部分区間の集まりであって、連続再生の対象となる区間である連続再生区間を決定する連続再生区間決定ステップと、
   前記連続再生区間決定ステップで決定された連続再生区間においては前記閾値を変更しないという制約を満たすように、前記連続再生区間を構成する複数の部分区間における前記第１及び第２動画像を符号化する符号化ステップと、
   前記連続再生区間においては前記閾値が固定であることを示すフラグ情報を含む管理情報を作成する管理情報作成ステップと、
   前記符号化ステップで符号化された前記第１及び第２動画像と前記管理情報作成ステップで作成された管理情報とを結合して出力する結合ステップと
   を含むことを特徴とする動画像符号化方法。
2. 第１動画像と、前記第１動画像にオーバーレイするための第２動画像とを含む映像ストリームを符号化する動画像符号化装置であって、
   前記オーバーレイでは、前記第２動画像のうち、予め定められた閾値を超える輝度を有する画像領域だけが前記第１動画像にオーバーレイされ、
   前記動画像符号化装置は、
   前記映像ストリームのうち、部分区間の集まりであって、連続再生の対象となる区間である連続再生区間を決定する連続再生区間決定部と、
   前記連続再生区間決定部で決定された連続再生区間においては前記閾値を変更しないという制約を満たすように、前記連続再生区間を構成する複数の部分区間における前記第１及び第２動画像を符号化する符号化部と、
   前記連続再生区間においては前記閾値が固定であることを示すフラグ情報を含む管理情報を作成する管理情報作成部と、
   前記符号化部で符号化された前記第１及び第２動画像と前記管理情報作成部で作成された管理情報とを結合して出力する結合部と
   を備えることを特徴とする動画像符号化装置。
3. 第１動画像と、前記第１動画像にオーバーレイするための第２動画像とを含む映像ストリームを符号化して記録媒体に記録する動画像記録方法であって、
   前記オーバーレイでは、前記第２動画像のうち、予め定められた閾値を超える輝度を有する画像領域だけが前記第１動画像にオーバーレイされ、
   前記動画像記録方法は、
   前記映像ストリームのうち、部分区間の集まりであって、連続再生の対象となる区間である連続再生区間を決定する連続再生区間決定ステップと、
   前記連続再生区間決定ステップで決定された連続再生区間においては前記閾値を変更しないという制約を満たすように、前記連続再生区間を構成する複数の部分区間における前記第１及び第２動画像を符号化する符号化ステップと、
   前記連続再生区間においては前記閾値が固定であることを示すフラグ情報を含む管理情報を作成する管理情報作成ステップと、
   前記符号化ステップで符号化された前記第１及び第２動画像と前記管理情報作成ステップで作成された管理情報とを結合して記録媒体に記録する結合ステップと
   を含むことを特徴とする動画像記録方法。
4. 符号化された第１及び第２動画像を含む映像ストリームを復号化し、前記第２動画像を前記第１動画像にオーバーレイして表示する動画像再生方法であって、
   前記映像ストリームに対応する管理情報を取得し、取得した管理情報を解釈する管理情報処理ステップと、
   前記管理情報処理ステップでの解釈に従って、前記第１及び第２動画像を復号化する復号化ステップと、
   復号化された前記第２動画像のうち、予め定められた閾値を超える輝度を有する画像領域だけを、復号化された前記第１動画像にオーバーレイして表示する表示ステップとを含み、
   前記管理情報処理ステップでは、前記管理情報に、前記閾値が固定であることを示すフラグ情報が含まれるか否かを判断し、
   前記表示ステップでは、前記管理情報処理ステップで前記管理情報に前記フラグ情報が含まれると判断された場合に、直前の部分区間における閾値と同じ値の閾値を用いて、現部分区間における前記オーバーレイ表示をする
   ことを特徴とする動画像再生方法。
5. 符号化された第１及び第２動画像を含む映像ストリームを復号化し、前記第２動画像を前記第１動画像にオーバーレイして表示する動画像再生装置であって、
   前記映像ストリームに対応する管理情報を取得し、取得した管理情報を解釈する管理情報処理部と、
   前記管理情報処理部による解釈に従って、前記第１及び第２動画像を復号化する復号化部と、
   復号化された前記第２動画像のうち、予め定められた閾値を超える輝度を有する画像領域だけを、復号化された前記第１動画像にオーバーレイして表示する表示部とを備え、
   前記管理情報処理部は、前記管理情報に、前記閾値が固定であることを示すフラグ情報が含まれるか否かを判断し、
   前記表示部は、前記管理情報処理部で前記管理情報に前記フラグ情報が含まれると判断された場合に、直前の部分区間における閾値と同じ値の閾値を用いて、現部分区間における前記オーバーレイ表示をする
   ことを特徴とする動画像再生装置。

Images