WO2012147350A1

WO2012147350A1 - 高画質化に関わる記録媒体、再生装置、記録装置、符号化方法、復号化方法

Info

Publication number: WO2012147350A1
Application number: PCT/JP2012/002853
Authority: WO
Inventors: 智輝小川; 泰治佐々木; 洋矢羽田
Original assignee: パナソニック株式会社
Priority date: 2011-04-28
Filing date: 2012-04-26
Publication date: 2012-11-01
Also published as: JPWO2012147350A1; CN103503070B; EP2717565A1; US9392246B2; CN103503070A; EP2717565A4; US20140056577A1; JP5914888B2

Abstract

　記録媒体にはベースビデオストリームと、エンハンスメントビデオストリームとが記録される。エンハンスメントビデオストリームにおけるピクチャの画素階調を示すビット列は、原画像における画素階調を示すビット列と、ベースビデオストリームにおけるピクチャデータの画素階調を示すビット列との差分を示す。シフトパラメータは、ベースビデオストリームにおけるピクチャの画素階調を示すビット列と、エンハンスメントビデオストリームにおけるピクチャの画素階調を示すビット列とを加算するにあたって、再生装置側で行うべきシフト操作を規定する。

Description

高画質化に関わる記録媒体、再生装置、記録装置、符号化方法、復号化方法

　映像の色深度の記録技術の技術分野に属する。

　色深度の記録技術とは、RGB色空間、又は、YCrCb色空間において、各色の階調に所定のビット幅を割り当てることにより、原画像の色の深みを、あるビット長のデータで再現して記録媒体に記録する技術である。既存の記録媒体に記録され、再生・表示に供される画像は、8ビットの画素ビット値、つまり、輝度Y,赤色差Cr,青色差Cbのそれぞれが8ビット長の階調ビット列で表現される。

特開2008ー129127号公報

　DVDやBlu-rayDiscに記録される映像の原画としては、映画を記録したフィルムをスキャンしてデジタルデータに変換されたデータや、あるいはCG映画のようにコンピューター上でレンダリングされたデータが用いられる。これらの原画となるデータは、各ピクセルがRGBあるいはYCbCrで表される色空間において、各色が８ビットを超える階調を持つことが多い。

　これに対してDVDやBlu-rayDiscに記録される映像は、上記色空間において、各色が８ビットの階調を持っている。つまり、原画は８ビットを超える階調を有するが、DVDやBlu-rayDiscに記録される際には、映像の各色の階調は８ビットに丸めて記録されている。この8ビットというビット幅は、TVの表示デバイスで表現できる階調数や、上記記録媒体の規格が策定された当時のLSIの処理能力を鑑みて決められている値である。上記記録媒体による映画作品の頒布では、この丸めが発生する分、品質劣化が発生することは否めず、画質改善の余地が存在していた。また8ビットへの丸めというのは一例に過ぎず、動画像の符号化方式では、高い圧縮率が要求されるという要求仕様から非可逆変換が用いられることが一般的であり、非可逆変換の過程で生じる変換誤差により表示品位の低下が存在していた。

　上記課題は、DVDやBlu-rayが記録先の記録媒体であるとの仮定下で技術的課題を提示したが、この仮定は、上記技術的課題を説明するにあたって、身近な題材を選んだに過ぎず、本願で対象としている技術的課題は、DVDやBlu-rayが記録先の記録媒体であるケースに限定されない。放送媒体、通信媒体など、何等かの媒体を通じて画像を伝送しようとする際の表示品位の低下解消全般が、本願で解決しようとする技術的課題であり、近い将来において、上記技術を工業製品の分野で実用化しようとする際、当業者が必ず直面する技術的障壁である。

　本発明の目的は、色深度表現の充実を図ることである。

　上記課題を解決することができる発明とは、ベースビデオストリームと、エンハンスメントビデオストリームとを含み、
　ベースビデオストリームは、原画像に対して非可逆変換を施すことで得られ、
　エンハンスメントビデオストリームは、シフトパラメータと、ピクチャデータとを含み、
　前記エンハンスメントビデオストリームにおけるピクチャの画素階調を示すビット列は、原画像における画素階調を示すビット列と、ベースビデオストリームにおけるピクチャデータの画素階調を示すビット列との差分を示し、
　前記シフトパラメータは、ベースビデオストリームにおけるピクチャの画素階調を示すビット列と、エンハンスメントビデオストリームにおけるピクチャの画素階調を示すビット列とを加算するにあたって、再生装置側で行うべきシフト操作を規定するというものである。

　エンハンスメントビデオストリームは、原画像におけるピクチャの階調ビット列と、ベースビュービデオストリームにおけるピクチャの画素階調を示すビット列との差分を示すから、ベースビュービデオストリームの生成の過程で発生した変換誤差は、エンハンスメントビデオストリームの画素の階調ビット列として表現されることになる。よってエンハンスメントビデオストリームにおけるピクチャの画素階調を示すビット列と、ベースビュービデオストリームのピクチャにおける階調ビット列とを組合せることで原画像と遜色がない画像を復元することができる。

　上記発明では、特定のピクチャだけを狙って色深度を深めるようシフトパラメータが設定されており、またシフトパラメータは、ベースビデオストリームとは別に、記録媒体に記録されるので、記録する記録媒体の容量やデコーダの規模増大、プレーンメモリの規模増大をもたらすことはない。

Blu-rayDiscに記録される階調ビット列を示す。色深度拡張の原理を示す図である。画素シフト量bを示す図である。原画が自然画であったり、圧縮する際のビットレートが十分でなく、圧縮し、デコードされたビット列により多くの誤差が含まれるケースを示す。色深度拡張インターリーブドストリームファイルを示す。 Baseビデオストリームのピクチャ、Enhancementビデオストリームのピクチャ、原画像のピクチャを示す。原画像の絵柄と、Baseビデオストリームのピクチャにおける絵柄とを示す。 8つのフレームにおけるピクチャデータの割り当てビット量の変化と、この変化時の個々のフレームにおける輝度Y,赤色差Cr,青色差Cbの画素ビット値と、かかる原画像の画素ビット値まで色深度を拡張する場合のシフト範囲の設定とを示す。 8つのフレームにおけるピクチャデータの割り当てビット量の変化と、この変化時の個々のフレームにおけるBaseビデオピクチャの画素の階調ビット幅、Enhancementビデオピクチャの画素の階調ビット幅を示す。記録装置の内部構成の一例を示す。色深度拡張のためのビデオエンコーダーを具備したストリーム生成部の内部構成の一例を示す。加算部１６による正値化変換の過程を示す。記録方法の処理手順を示すフローチャートである。 Baseビデオストリーム、Enhancementビデオストリームの生成手順を示す。再生装置の内部構成の一例を示す。ビデオデコード部２３、及び、色深度拡張部２４の内部構成の一例を示す。シフト量bでBaseビデオストリームにおけるピクチャの画素階調を示すビット列をシフトする場合の色深度拡張手順を示すフローチャートである。 Baseビデオストリームと、Enhancementビデオストリームから、Nビットの映像を再構築する装置の派生である。シフト量bでEnhancementビデオストリームにおけるピクチャの画素階調を示すビット列をシフトする場合の色深度拡張手順を示すフローチャートである。色深度拡張後のピクチャにおいて座標(x,y)に存在する画素の輝度Y,赤色差Cr,青色差Cbがどのように変換されるかという変換の過程を示す。図２０に示した色深度拡張の過程においてどのようなパラメータが用いられるかを示す。第２実施形態にかかる記録媒体、再生装置が使用されるホームシアターシステムを示す。多層化された光ディスクである、ディスク媒体の内部構成の一例を示す。ファイルシステムを前提にした光ディスクのアプリケーションフォーマットを示す。インターリーブドストリームファイル、m2tsファイル、ファイルベースの相互関係を示す。メインTSの生成の過程を示す図である。 Enhancementビデオストリームの内部構成の一例を示す。クリップ情報ファイルの一例を示す。プレイリスト情報の内部構成の一例を示す。 BDMVディレクトリのプレイリスト、色深度拡張プレイリストを示す。再生装置１００２の構成を示している。色深度拡張インターリーブドストリームファイル構成するデータブロックからATCシーケンスがどのように復元されるかを示す。 Baseビデオクリップ情報におけるエクステントスタートポイント情報の一例と、Enhancementビデオクリップ情報におけるエクステントスタートポイント情報の一例を示す。 ATCシーケンス１、２における任意のデータブロックのソースパケット番号を説明するための図である。システムターゲットデコーダ１０４の内部構成の一例を示す。色深度拡張プレーンの格納内容の一例を示す。プレーン合成部の内部構成を示す図である。再生装置に適用される場合の色深度拡張部２４の内部構成の一例を示す。第１実施形態におけるバリエーションを適用した場合の色深度拡張部２４の内部構成の一例を示す。プレイアイテムの再生手順を示す。 ATCシーケンス復元手順を示す。インデックステーブルの内部構成の一例を示す。色深度拡張プログラムの処理手順を示すフローチャートである。光ディスクの記録方法を示す。オーサリング行程の処理手順を示すフローチャートである。 AVファイル書込工程の処理手順を示す。拡張機能ケーパビリティの格納方式を表形式で示す図である。ディスクがプレーヤーに挿入されてから、再生開始までの間にGPRMを設定するための処理手順を示すフローチャートである。 PinPコンテンツの一例を示す。子画面ビデオを、親画面ビデオに重ね合わせることで実現されるピクチャインピクチャ画像を示す。本実施形態に係る符号化装置の内部構成の一例を示す。ピクチャインピクチャビデオストリームを得るための符号化装置の内部構成の一例を示す。図５２で示した圧縮処理をさらに効率的に行うための符号化装置の内部構成の一例を示す。符号化方法の発明を実施することができる放送装置の内部構成の一例を示す。 Baseビデオストリームにおけるピクチャと、PinPビデオストリームにおけるピクチャとを対比して示す。 Baseビデオストリームにおける複数のピクチャデータと、Enhancementビデオストリームにおける複数のピクチャデータとを示す。 PinPビデオストリームにおけるピクチャの内部構成の一例を示す。ストリーム符号化方法の処理手順を示すフローチャートである。マクロブロック符号化方法の処理手順を示す。受信装置の内部構成を示す図である。第４実施形態に係るシステムターゲットデコーダ１０４の内部構成の一例を示す。第４実施形態に係る復号化手順を示すフローチャートである。第５実施形態における再生装置の内部構成の一例を示す。ネットワーク上からPinPビデオストリームを取得するためにAVストリーム取込部を追加した内部構成である。

　上記課題解決手段を具備した記録媒体は、コンテンツを店頭販売するためのパッケージ媒体として実施することができる。上記課題解決手段を具備した再生装置の発明は、パッケージ媒体を再生するためのプレーヤ機器として実施することができ、集積回路の発明は、当該プレーヤ機器に組込まれるシステムLSIとして実施することができる。再生方法の発明は、このプレーヤ機器で実現される時系列手順として実施することができる。プログラムの発明は、コンピュータ読み取り可能な記録媒体に記録され、プレーヤ機器にインストールされる実行形式プログラムとして実施することができる。

　（第１実施形態）
　第１実施形態は、原画像をエンコードして市販のパッケージ媒体に記録するにあたって色深度をより深めるための改良に関する。

　｛本実施形態の実施にあたって発明者が見い出した課題｝
　DVDやBlu-rayDiscといったパッケージ媒体に映画作品を記録して供給する場合、８ビットを超える階調を有していた原画に対して、８ビットに丸めて記録されることになる。これにより色の滑らかな変化、つまりグラデーションを表示しようとすると、８ビットでは階調が足りないだめ、原画では滑らかに変化していたグラデーションが、DVDやBlu-rayDiscから再生された映像では、色の段差が生じてしまう。

　そこで考えられるのは、画素ビット値を例えば8ビットから、より大きいビット値に引き上げるという策である。画質の改善が進められているプラズマディスプレイ、液晶ディスプレイ、あるいは有機ELディスプレイといった表示デバイスの多くは８ビットを超える階調を表示することが可能となってきている。かかる表示装置の進歩に追従して、原画像を符号化する際の画素ビット値を大きくするというのが基本的な対策となる。

　しかしながら、符号化にあたっての画素ビット幅の拡大は、表示装置のコストアップに留まらず、記録する記録媒体の容量やデコーダの規模増大、再生装置におけるメモリの規模増大をもたらすものであり、記録媒体の容量不足や再生装置のコストアップを招来する。また8ビットの値で原画像との誤差が生じるかどうかは、画像中の動きの激しさや絵柄の複雑さによって左右されるので、一律に画素階調のビットのビット幅を増やすというのは賢明な考えとはいえない。

　第１実施形態に記載される発明（以下、本発明と呼ぶ）の目的は、記録媒体の容量不足や再生装置のコストアップを招来することなく、原画像がもつグラディエーションのなだらかさを再現することができる記録媒体を提供することである。

　｛課題を解決するための手段｝
　記録媒体の局面で課題解決を図る場合、当該局面における記録媒体は、
　記録媒体であって、
　ベースビデオストリームと、エンハンスメントビデオストリームとが記録され、
　ベースビデオストリームは、原画像に対して非可逆変換を施すことで得られ、
　エンハンスメントビデオストリームは、シフトパラメータと、ピクチャデータとを含み、
　前記エンハンスメントビデオストリームにおけるピクチャの画素階調を示すビット列は、原画像における画素階調を示すビット列と、ベースビデオストリームにおけるピクチャデータの画素階調を示すビット列との差分を示し、
　前記シフトパラメータは、ベースビデオストリームにおけるピクチャの画素階調を示すビット列と、エンハンスメントビデオストリームにおけるピクチャの画素階調を示すビット列とを加算するにあたって、再生装置側で行うべきシフト操作を規定する
　ことを特徴とする。

　上記課題を解決できる手段として上位概念で記載された事項は、様々な下位概念化が可能である。この下位概念化のうち典型的なものを以下に列挙する。
（差分の下位概念化）
　前記差分は、ベースビデオストリームにおけるピクチャの画素階調のビット幅を原画像における画素階調のビット幅まで伸長した上、原画像における画素の階調ビット列から伸長後の階調ビット列を減じて、この減算結果を正値化変換することで得られるものが望ましい。この下位概念化は、差分の導出過程がどのようなものであるかを明確にするものである。ここで述べた原画像とベースビデオストリームのピクチャとの差分は、正値で表現されるから既存のデコーダやプレーンメモリを導入することにより、色深度拡張に適合した階調ビット列のシフト操作を実現することができる。こうすることで既存のデコーダモデル、プレーヤモデルでエンハンスメントビデオストリームを扱うことができるから、これまでの製品開発で培われた設計ノウハウを活用することにより、色深度拡張が可能な記録媒体や再生装置を製品化することができる。これにより製品の開発サイクルをより短くすることができ、商品のモデルチェンジを高頻度にすることができる。また製品メーカーは常に新しい商品を市場に送り出すことができ、企業のブランドイメージの確立や市場シエアの獲得に成功することができる。

　(ベースビデオストリームに対するシフト操作の下位概念化)
　前記シフト操作は、
　ベースビデオストリームにおけるピクチャの画素階調のビット幅を原画像における画素の階調ビット列のビット幅まで伸長する操作を含み、
　前記シフトパラメータはシフトカウントの指定であり、
　前記シフトカウントの指定は、エンハンスメントビデオストリームにおけるピクチャの画素階調を示すビット列を、ベースビデオストリームにおけるピクチャの画素階調を示すビット列に加算するにあたって、ベースビデオストリームにおけるピクチャの画素階調ビット列を何回上位方向にシフトさせるべきかを示すことが望ましい。この下位概念化は、シフトパラメータがベースビデオストリームのピクチャの階調ビット列にどのように作用するかを明確にしたものである。非可逆変換による変換誤差が、原画像における画素の階調ビット列の下位ビット側に存在する場合、ベースビデオストリームのビット位置を上位方向にシフトすることで、原画像における画素の階調ビット列が再現されることになる。

　(エンハンスメントビデオストリームに対するシフト操作の下位概念化)
　前記シフト操作は、
　ベースビデオストリームにおけるピクチャの画素階調のビット幅を原画像における画素の階調ビット列のビット幅まで伸長する操作を含み、
　シフトパラメータは目標ビット位置の指定であり、
　前記目標ビット位置の指定は、
　ビット幅の伸長がなされたベースビデオストリームピクチャの階調ビット列に、エンハンスメントビデオストリームの階調ビット列を加算するにあたって、エンハンスメントビデオストリームの階調ビット列を、何ビットまでシフトさせればよいかを示すことが望ましい。この下位概念化は、シフトパラメータがエンハンスメントビデオストリームのピクチャの階調ビット列にどのように作用するかを明確にしたものである。あるフレームのピクチャデータに対するシフト量は、誤差範囲の最上位ビットに従い決定されるから、エンハンスメントビデオストリームの画素における8ビット階調をかかるシフト量に従いシフトすれば、非可逆変換における変換誤差の範囲がエンハンスメントビデオストリームの画素の階調値を越える場合、エンハンスメントビデオストリームのピクチャの階調ビット値は、その誤差範囲の最上位ビットまでシフトされることになる。このようなシフトを経た後に、エンハンスメントビデオストリームの画素ビット値を、Nビット階調値の下位ビット側に加算するから、誤差範囲がエンハンスメントビデオストリームの画素の階調値を越える場合、エンコードと、デコードとを経た原画像の再現過程で切り捨てられる部分は、下位ビット側になる。これにより誤差範囲の影響が画像の上位ビットに及んだとしても、再現後の画像の見た目は、階調の下の部分が多少異なるという程度になるから、ビット切り捨てによる影響を抑制することができる。こうすることで原画像のなだらかなグラディエーション変化を再現することができる。

　(シフトパラメータの格納方式の下位概念化)
　前記ベースビデオストリームにおける複数のピクチャデータ及び前記エンハンスメントビデオストリームにおける複数のピクチャデータは、グループオブピクチャを構成し、当該各グループオブピクチャは、それぞれ複数のフレームを構成し、前記複数のフレームにおける各フレームに対応するシフトパラメータを、パラメータシーケンスとして有していることが望ましい。この下位概念化は、シフトパラメータをどのように格納して、どのように再生装置に供給されるべきかを明確にしたものである。こうすることで、動画像コンテンツにおいては、ランダムアクセスの単位であるグループオブピクチャの単位でシフトパラメータがまとめて格納されることになり、シフトパラメータの利用効率が高まる。

　(再生装置の局面)
　再生装置の局面で課題解決を図る場合、当該局面における再生装置は、
　記録媒体からベースビデオストリームと、エンハンスメントビデオストリームとを読み出しして再生する再生装置であって、
　ベースビデオストリームは、原画像に対して非可逆変換を施すことで得られ、
　エンハンスメントビデオストリームは、シフトパラメータと、ピクチャデータとを含み、
　前記エンハンスメントビデオストリームにおけるピクチャの画素階調を示すビット列は、原画像における画素階調を示すビット列と、ベースビデオストリームにおけるピクチャデータの画素階調を示すビット列との差分を示し、
　前記シフトパラメータは、ベースビデオストリームにおけるピクチャの画素階調を示すビット列と、エンハンスメントビデオストリームにおけるピクチャの画素階調を示すビット列とを加算するにあたって、再生装置側で行うべきシフト操作を規定し、
　ベースビデオストリームをデコードすることにより、ベースビデオストリームにおけるピクチャデータを構成する個々の画素について、階調ビット列を得るビデオデコーダと、
　エンハンスメントビデオストリームにおけるピクチャの個々の画素の階調ビット列と、シフトパラメータとを用いて、ベースビデオストリームにおける画素の階調ビット列に対してビット操作を行うことにより、色深度拡張を実行する色深度拡張部とを備える
　ことを特徴とする。

　上記課題を解決できる手段として上位概念で記載された事項は、様々な下位概念化が可能である。この下位概念化のうち典型的なものを以下に列挙する。

　（色深度拡張部の下位概念化）
　前記色深度拡張部は、
　ビデオデコーダによるベースビデオストリームについてのデコード結果である階調ビット列を上位方向にシフトすることにより、ベースビデオストリームにおける画素階調のビット幅の伸長を行う第１シフト回路と、
　エンハンスメントビデオストリームにおけるピクチャの画素階調を示すビット列から補正値を減じることで、当該画素階調を示すビット列を符号付きビット列に変換する減算部と、
　ベースビデオストリームを構成するピクチャデータの個々の画素についての階調ビット列に、エンハンスメントビデオストリームの階調ビット列に対する変換により得られた符号付きデータを加算する加算部とを備えることが望ましい。この下位概念化は、色深度拡張が既存のハードウェア素子を用いて具現できることを裏付けるものであり、詳細な説明は後段に譲る。一般に知られるハードウェア素子で色深度拡張部の実装が可能になるから、色深度拡張機能の実施がより現実的となる。

　（ベースビデオストリームに対するシフト操作の下位概念化）
　前記第１シフト回路は、シフトパラメータに基づいて、ベースビデオストリームについてのデコード結果である階調ビット列のシフトを行い、
　色深度拡張部は、加算部により符号付きビットが加算された階調ビット列をシフトして原画像における階調ビット列のビット幅にまで伸長する第２シフト回路を備えることが望ましい。これは、ベースビデオストリームに対するシフト操作のハードウェアによる実現性を述べたものであり、こうすることで後述するNビット階調の可変化が可能になる。

　（エンハンスメントビデオストリームに対するシフト操作の下位概念化）
　前記色深度拡張部は、
　エンハンスメントビデオストリームの階調ビット列に対する変換により得られた符号付きビット列を、シフトパラメータに示されるシフト量に従いシフトする第２シフト回路を備え、
　前記加算部は、
　シフトがなされた符号付きビット列をベースビデオストリームを構成するピクチャデータの個々の画素についての階調ビット列に加算することが望ましい。これは、後述する切り捨て誤差の最小化を可能とする下位概念化である。

　（ビデオデコーダの下位概念化のその１）
　前記ビデオデコーダは、
　ベースビデオストリームをデコードする第１ビデオデコーダであり、
　再生装置は、
　エンハンスメントビデオストリームをデコードする第２ビデオデコーダを具備することが望ましい。これは、立体視再生のために、2以上のビデオデコーダを具備しているような再生装置において、そのハードウェア資源を有効活用するための下位概念化である。

　（ビデオデコーダの下位概念化その２）
　前記ビデオデコーダは、
　マルチビュービデオデコーダであり、ベースビデオストリームを構成するピクチャデータ、及び、エンハンスメントビデオストリームを構成するピクチャデータの双方をデコードすることが望ましい。これは、立体視再生やマルチアングル再生のためにマルチビューのビデオデコーダを実装している再生装置においては、既存のハードウェア資源を有効的に活用するための下位概念化である。

　(シフトパラメータ取得の下位概念化)
　前記ベースビデオストリームにおけるピクチャデータ及び前記エンハンスメントビデオストリームにおけるピクチャデータは、グループオブピクチャを構成し、当該グループオブピクチャは、複数のフレームを構成し、各フレームに対応するシフトパラメータを、パラメータシーケンスとして有し、
　前記ビデオデコーダは、
　ベースビデオストリームにおける何れかのピクチャをデコードする際、エンハンスメントビデオストリームにおけるピクチャデータであって、ベースビデオストリームにおけるピクチャと同時刻に再生されるべきものをデコードすると共に、そのピクチャデータに対応するシフトパラメータをパラメータシーケンスから取り出して色深度拡張部に設定することが望ましい。これは、フレーム精度でシフトパラメータを切り替えることができ、より緻密な色深度拡張を実行するための下位概念化である。

　(記録装置の局面)
　記録装置の局面で課題解決を図る場合、当該局面における記録装置は、
　ベースビデオストリームと、エンハンスメントビデオストリームとを記録媒体に書き込む記録装置であって、
　原画像に対して非可逆変換を施すことにより、所定のビット幅の階調ビットの画素からなるベースビデオストリームを得る第１エンコード手段と、
　非可逆変換を施すことで得られたベースビデオストリームをデコードすることにより原画像における画素の階調ビット列よりもビット幅が短い階調ビット列の画素からなる非圧縮ピクチャを得るデコード手段と、
　原画像における個々の画素についての階調ビット列と、ベースビデオストリームにおけるピクチャの画素の階調ビット列との差分を算出する算出部と、
　算出された差分をピクチャデータの画素の階調ビット列とするエンハンスメントビデオストリームを作成する第２エンコード手段と
　を備える。

　（算出部の下位概念化)
　前記算出部は、
　ベースビデオストリームについての非圧縮ピクチャを構成する個々の画素の階調ビット列を上位方向にシフトするシフト回路と、
　原画像における個々の画素についての階調ビット列からシフトがなされた階調ビット列を減じる減算部と、
　減算結果に、所定の補正値を加算することで差分を得る加算部とを含み、
　第２エンコード手段は、
　加算結果と、シフト回路がシフトに用いたシフト値とを含むエンハンスメントビデオストリームを作成することが望ましい。これは、一般に知られるハードウェア素子で色深度拡張部の実装を可能にするための下位概念化であり、かかる下位概念化の導入により色深度拡張機能の実施がより現実的なものとなる。

　図面を参照しながら上記課題解決手段による課題解決のアプローチについて具体的に説明する。非可逆変換による変換誤差の影響を解消するため、本発明では2種類のビデオストリームを導入する。1つ目は、Baseビデオストリームであり、原画像に対する非可逆変換によって生成される。もう1つはEnhancementビデオストリームであり、Enhancementビデオストリームにおけるピクチャの個々の画素の階調ビット列は、原画像における画素階調ビット列と、Baseビデオストリームにおけるピクチャの画素階調を示すビット列との差分を示す。ここでの差分は、上述したような非可逆変換による差分を包含するものである。

　以下、原画像における階調ビット列と、Baseビデオストリームにおけるピクチャの画素階調を示すビット列とがどのような関係にあるかについて説明する。

　図１（ａ）は、原画像におけるNビットの階調ビット列であり、（ｂ）は、Blu-ray ReadOnlyディスク、DVD-Videoに記録するにあたって記録されるべき8ビットの階調ビット列を示す。（ｃ）は、Nビット階調に対して非可逆変換を施し、その変換結果を復号することで得られる8ビット階調を示す。図中のハッチング部分は、非可逆変換によって生じる変換誤差を示す。

　図１では3つの階調ビット列が描かれている。それは、Blu-rayDiscに記録対象となる原画を構成する各ピクセルの各色の色深度を示すNビットからなるビット列(階調ビット列１８０１）、前述の階調ビット列１８０１をBlu-rayDisc向けに圧縮するために前述のNビット中の上位８ビットか、９ビット目を四捨五入するなどして得られる８ビットのビット列(階調ビット列１８０２）、階調ビット列１８０２をMPEG２やMPEG-４AVCなどの圧縮技術で圧縮し、さらにデコードして得られる８ビットのビット列(階調ビット列１８０３）の3つである。

　ここで、原画を構成する階調ビット列１８０１と、Blu-ray discから再生される映像を構成する階調ビット列１８０３を比較すると、前述の圧縮前に下位（N-８）ビットの情報が失われ、さらに非可逆圧縮によって階調ビット列１８０３では下位ビットに誤差が含まれることになる。色深度の拡張とは、前述の圧縮・デコードして得られるビット列に対して、付加情報を加えることにより、できるだけ原画を構成するNビットのビット列に近いビット列を復元することである。

　色深度拡張では、Nビットの原画から、８ビットのBlu-rayDisc向けの原画に変換する際に失われる下位の（N-８）ビット及び、圧縮した際に誤差を含むようになる階調ビット列１８０３の下位ビットの情報を復元することを行う。図２を用いて、色深度拡張を説明する。

　図２では図１と同じ要素には同じ番号を付与している。図２（ａ）は原画像におけるNビット階調１８０１を示し、（ｂ）はBlu-ray ReadOnlyディスク、DVD-Videoに記録されるべきピクチャの8ビット階調をNビット階調に変換することにより得られるNビット階調１８０３を示す。（ｃ）は原画像のNビット階調１８０１から、Nビット化されたBaseビデオストリームの階調１８０３を減算することにより得られた8ビットのEnhancementビデオストリーム階調１９０１を示す。（ａ）の階調ビット列１８０１、（ｃ）の8ビット階調１９０１を組合せることにより原画像のNビット階調を再現することができる。

　まず、階調ビット列１８０３のビット列を左(上位方向)に、シフトパラメータで指定されたシフト量bだけビットシフトしてNビット化する。ここで『シフト量b』とは、Baseビデオストリームにおけるピクチャの画素階調を示すビット列と、Enhancementビデオストリームにおけるピクチャの画素階調を示すビット列とを加算するにあたって、再生装置側で行うべきシフト操作を規定する数値パラメータ(シフトパラメータ)のことである。かかるパラメータには、「シフトカウントの指定」と、「目標ビット位置の指定」とがある。「シフトカウントの指定」とは、シフト操作を何回行えばよいかというカウント数であり、「目標ビット位置」とは、原画像における階調ビット列の何ビット目までシフトさせればよいかというシフト操作によるビット値移動の目標位置である。

　本図におけるシフト量bは、シフトカウントの指定であり、b=N-８に設定されている。(N-8)回、上位方向へのシフト操作を行うことにより、シフト後の下位ビットは(N-８）ビット分の0が並ぶことになる。次に原画の階調ビット列１８０１のビット列から、先ほどのNビット化した階調ビット列１８０３を減算する。図２（ｂ）において、Nビットに変換された階調ビット列１８０３は、下位(N-8)ビットが0000になっているのに対して、原画像の上位(N-8)ビットに何等かの非零の値が存在している。よって、階調１８０３が原画像のNビット階調の上位8ビットであれば、このNビット階調の上位8ビットがそのままBlu-ray ReadOnlyディスク、DVD-Videoに記録されるべき8ビット階調となり、下位(N-8)ビットが非可逆変換にあたっての変換誤差になる筈である。

　そこで（ｃ）では減算を行う。この結果得られる階調ビット列１９０１で示されるビット列が、原画で失われた（N-８）ビット及び圧縮の際に含まれる誤差を補正するためのビット列となる。従って、階調ビット列１８０３で示されるビット列をNビット化した後、階調ビット列１９０１で示されるビット列を加算することにより、もとのNビットの階調ビット列１８０１が復元されることになる。階調ビット列１８０３の部分を画素ビット値とするピクチャデータからなるビデオストリームが「Baseビデオストリーム」となる。一方、階調ビット列１９０１の部分を画素ビット値とするピクチャデータからなるビデオストリームが「Enhancementビデオストリーム」となる。

　画素シフト量bについて図３を用いてより詳しく説明する。図３は、画素シフト量bを示す図である。説明を簡単にするために、原画のNビットを１２ビットとして説明する。

　図３（ａ）は、原画像の12ビット階調を示し、（ｂ）は、Blu-ray ReadOnlyディスク、DVD-Videoに記録されるべき理想的な8ビット階調を示す。（ｃ）は、12ビット階調に対して非可逆変換を施すことにより得られる8ビット階調を示す。（ｄ）は、12ビット階調に変換されたBaseビデオストリームピクチャの階調を、原画像の階調ビット列から減じることで得られる8ビット階調を示す。

　まず、原画の各ピクセルの各色の色情報は階調ビット列３７０１で示すように１２ビットの情報量を持つものとする。ここで、Blu-ray向けに圧縮する際には、階調ビット列３７０１の下位４ビットを切り捨て、階調ビット列３７０２で示すように８ビット化する。さらに階調ビット列３７０２で示す、８ビット化された色情報で構成された８ビットの原画がMPEG２などの符号化方式で圧縮され、デコードされたものが階調ビット列３７０３となる。図３（ｃ）の例では、階調ビット列３７０３で示すビット列の下位４ビットが非可逆圧縮によって誤差が含まれることになる。原画のビット列の階調ビット列３７０１では、破線の枠で囲まれた階調ビット列３７０４が、色深度拡張の際に、復元すべきビット列になる。

　具体的な計算例を交えて図３におけるEnhancementビデオストリームの階調ビット列について説明する。ビット列３７０１は、100111011100であり、これを8ビットのBaseビデオストリームに変換した場合、Baseビデオストリームの階調ビット列は、原画像における画素の階調ビット列の上位8ビット、つまり10011101になるのが理想的である。しかし現実には、非可逆変換による誤差で10011101になるべきBaseビデオストリームの8ビット階調は、10010010になっている。

　そこで、Baseビデオストリームにおけるピクチャの8ビット階調を12ビット階調に変換して、原画像の階調ビット列100111011100から12ビットに変換された100100100000を減じる。こうすることで得られるのが、（ｄ）のビット列10111100である。かかるビット列10111100をEnhancementビデオストリームにおける階調として記録媒体に記録すれば、このEnhancementビデオストリームの8ビット階調と、誤差を含むBaseビデオストリームの8ビット階調とを組合わせることで元の12ビット階調を再現することができる。

　次に、図４を用いて原画が自然画であったり、圧縮する際のビットレートが十分でなく、圧縮し、デコードされたビット列により多くの誤差が含まれるケースを説明する。図４で、原画の階調ビット列３７０１と、Blu-ray向けの８ビット化した階調ビット列３７０２はこれまでと同じであるが、非可逆圧縮後、デコードされた階調ビット列が図３のケースと異なる。

　具体的には、図３の階調ビット列３７０３では下位の４ビットに誤差を含むとして説明したが、図４ではデコード後のビット列３８０１の下位５ビットに誤差を含む。つまり、原画となる階調ビット列３７０１から考えると、階調ビット列３７０１の下位９ビットに誤差を含むことになる。

　つまり、既に説明した手法で原画の１２ビットのビット列と、非可逆圧縮しデコード後のビット列３８０１を4ビットシフトして１２ビット化したビット列の差を取ると、９ビットのビット列が現れることになる。差分となる9ビットをそのまま色深度拡張のための情報として記録できれば問題はないが、別のEnhancementビデオストリームとして圧縮されることを視野に入れねばならない。民生機器の一般的なビデオエンコーダーは８ビットを超えるビット長を扱えないことで、前述の９ビットの情報を圧縮できなくなる。

　これを解決するため方法としては、９ビットの中で最上位ビット(MSB)側に相当する上位８ビットをEnhancementビデオストリームとしての圧縮対象にし、９ビットのLSB側１ビットを切り捨てることである。この場合、原画の１２ビットの中で、最下位ビット(LSB)に相当する１ビットはEnhancementビデオストリームとして圧縮されないことになるが、色深度の情報としてはより上位のビットの復元することを優先すべきである。

　このような復元を優先させると、Baseビデオストリームを、シフト回路によって常にNビットにするのは不適切であり、Baseビデオストリームをデコードしたビット列と、原画を比較し、原画の下位８ビットに限定するのも不適切である。原画と前記デコードしたビット列を比較して、誤差範囲を含む最上位ビットをシフト量により目標ビット位置として指定し、LSBに向かって8ビット分をエンコード対象とするのが適切となる。

　そこで、エンコードされたBaseビデオストリームがデコードされたビット列と、原画のビット列とを比較して、原画の12ビット中、何ビット以下を補正すべきかという指針を画素のビット値に対するシフト量bに示させる。

　具体的な計算例を交えて図４におけるEnhancementビデオストリームの階調ビット列について説明する。原画像の12ビット階調に対して非可逆変換を施した場合、変換結果は、12ビット階調の上位8ビットである「10011101」になるべきである。しかし現実には、非可逆変換の変換誤差により変換結果は、10001010になっている。この誤差を打ち消すことができるよう、Enhancementビデオストリームの階調ビット列を生成する。具体的にはBaseビデオストリームの8ビットを12ビットに拡張して原画像の12ビット階調から拡張後の12ビット階調を減じる。この減算結果は、100111100になり9ビットになる。これでは、Enhancementビデオストリームの8ビットのビット幅に格納することができないから、上位8ビット「10011110」をEnhancementビデオストリームの階調とする。そして誤差範囲の最上位ビット、つまり、９ビット目をシフト量として指定する。こうすることでシフト量として設定された9ビットと、Enhancementビデオストリームの8ビット値とを用いて原画像階調の再現を図ることができる。

　＜変換誤差の存在位置に応じた復元方法の変更＞
　以上の図２、図４からすれば変換誤差がどこに存在するかによって、原画像の復元方法は変わることが理解できる。一般に、原画像のNビット階調をBaseビデオストリームの8ビット階調に変換する場合、原画像の下位ビットである(N-8)ビットが変換誤差になる。この下位の(N-8)ビットは、Baseビデオストリームへの変換にあたって、切り捨てられるからである。一方、Baseビデオストリームにおける8ビット階調の部分にも誤差が及ぶこともある。

　原画像のうち下位(N-8)ビットの部分のみに変換誤差が発生する場合、変換誤差の最上位ビットをシフト量bで指示して、このbだけBaseビデオストリームピクチャの階調をシフトすればよい。この場合シフト量bは、シフトカウントの指定となる。つまり、シフト量bによるシフトカウントの指定は、Enhancementビデオストリームにおけるピクチャの画素階調を示すビット列を、Baseビデオストリームにおけるピクチャの画素階調を示すビット列に加算するにあたって、Baseビデオストリームにおけるピクチャの画素階調ビット列を何回上位方向にシフトさせるべきかを示す。

　一方、原画像のうち上位8ビットの部分に誤差が発生する場合、この誤差による影響を最小限に抑制せねばならない。具体的にいうと、変換誤差の最上位ビットをシフト量bで指示して、このbに応じてEnhancementビデオストリームの階調を上位方向にシフトせねばならない。この場合シフト量bは、目標ビット位置の指定となる。シフト量bによる目標ビット位置の指定は、ビット幅の伸長がなされたBaseビデオストリームの階調ビット列に、Enhancementビデオストリームの階調ビット列を加算するにあたって、Enhancementビデオストリームの階調ビット列を、何ビットまでシフトさせればよいかを示す。

　本実施形態では、色深度拡張のための階調ビット操作として、フレーム毎のシフト量を用いてBaseビデオストリームのピクチャの階調ビットをシフトさせるものと、Enhancementビデオストリームのピクチャの階調ビット列をシフトさせるものとを導入する。後者のビット操作は、原画像と、Baseビデオストリームピクチャとの差分を、Enhancementビデオストリームのビット幅である8ビット内で表現するにあたって、ビット値の切り捨ての影響を最小化するのに利用される。

　以下、図面を参照しながら、上述したような下位概念化がなされた記録媒体の発明、記録装置の発明、再生装置の発明の実施形態について詳細に説明する。記録媒体において、画素値シフト量bが格納されるべき格納場所について説明する。画素値シフト量bが格納される場所としては、以下の場所が考えられる。

　1つ目は、Baseビデオストリームの中である。この場合、既存のプレーヤーがBaseビデオストリーム中に含まれる未知のデータとなる画素値シフト量bで誤動作などが生じる懸念がある。

　2つ目は、Enhancementビデオストリーム中である。この場合、既存のプレーヤーではEnhancementビデオストリームはパケット識別子フィルター以降のデコーダーに流さないため、既存プレーヤーへの影響は無いといえる。

　上記1つ目の置き場所でも、2つ目の置き場所でもよいが、本実施形態では、既存の再生装置における動作保証を優先して2つ目の格納場所を選ぶ。このEnhancementビデオストリームに対するシフト量ｂの格納形態について説明する。シフト量ｂの格納形態としては、フレーム／フィールド毎に設定されたシフト量を、所定の単位で結合して、一個のパラメータのシーケンスに変換した上でビデオストリームに格納するというものになる。本実施形態では、記録媒体におけるランダムアクセスの単位で、フレーム／フィールド毎のシフト量を結合するものとし、結合がなされたシフト量をシフト量シーケンスとして、Enhancementビデオストリームにおけるランダムアクセスの単位に組込む。ここで、Baseビデオストリーム及びEnhancementビデオストリームが動画像である場合、ランダムアクセスの単位はGOP(グループオブピクチャ)となり、Baseビデオストリーム及びEnhancementビデオストリームがブラウザブルスライドショーである場合、ランダムアクセスの単位は、ブラウジングユニットになる。ビデオストリームが暗号化されている場合、暗号化単位(チャンク)がランダムアクセス単位になる。このような、様々な態様のランダムアクセス毎に、シフト量シーケンスをまとめて格納することでシフト量が確実に再生装置に読み取られるようにする。

　上記Baseビデオストリーム及びEnhancementビデオストリームは、複数のデータブロックに分割され、これらのデータブロックをインターリーブ配置することで再生装置による再生処理の適合を図る。Baseビデオストリームを構成する複数のデータブロックと、Enhancementビデオストリームを構成する複数のデータブロックとをインターリーブ配置することで得られるストリームファイルは、"色深度拡張インターリーブドストリームファイル"と呼ばれる。

　図５は、色深度拡張インターリーブドストリームファイルを示す。本図の中段は、色深度拡張インターリーブドストリームファイルの内部構成であり、本図に示すように色深度拡張立体視インターリーブドストリームファイルは、Baseビデオのデータブロックと、Enhancementデータブロックとを交互に配置することで構成される。本図に示すように、色深度拡張インターリーブドストリームファイルは、Baseビデオのデータブロックと、Enhancementビデオのデータブロックとを交互配置してなる。Baseビデオデータブロックは、Baseビデオストリームのピクチャを格納しており、EnhancementビデオデータブロックはEnhancementビデオストリームのピクチャを格納している。上向きの矢印sr1,sr2,sr3・・・・・は、これらのデータブロックの格納内容を示す。矢印sr1,sr2,sr3・・・・に示すようにBaseビデオのデータブロックには、Baseビデオストリームにおける複数のピクチャが格納されている。矢印sr11,sr12,sr13・・・・に示すようにEnhancementビデオストリームのデータブロックには、Enhancementビデオストリームにおける複数のピクチャが存在する。Baseビデオストリームにおけるピクチャのピクチャタイプには、IDRピクチャ、Pピクチャ、Bピクチャがあり、これらはGOPを構成する。

　Baseビデオストリーム及びEnhancementビデオストリームのピクチャ数は同数であり、Baseビデオストリームにおいて各フレームで表示されるべきピクチャと、Enhancementビデオストリームにおいて各フレームで表示されるべきピクチャとには、同じ値のDTS、PTSが設定されており、同じフレーム時刻でデコードされ、同じフレーム時刻で表示されることが仕向けられている。

　Baseビデオストリームを構成するピクチャデータ、Enhancementビデオストリームを構成するピクチャデータがどのような過程を経て生成されたかという作成の過程について説明する。図６は、Baseビデオストリームのピクチャ、Enhancementビデオストリームのピクチャ、原画像のピクチャを示す。

　図６（ａ）の中段は、原画となるピクチャデータであり、左側はBaseビデオストリームを構成するピクチャデータ、右側はEnhancementビデオストリームを構成するピクチャデータである。これらのピクチャデータは、1920×1080という数の画素から構成される。本図の各ピクチャデータの厚みは、ピクチャデータを構成する画素がもつ色深度の違いを模式的に示す。原画像のピクチャデータは、個々の画素がNビットの輝度Y、Nビットの赤色差Cr,Nビットの青色差Cbから構成される。Baseビデオストリームのピクチャデータは、個々の画素が8ビットの輝度Y、8ビットの赤色差Cr,8ビットの青色差Cbから構成される。Enhancementビデオストリームのピクチャデータは、個々の画素がN-8ビットの輝度、N-8ビットの赤色差Cr,Nー8ビットの青色差Cbから構成される。

　矢印cr1,2,3は、Baseビデオストリームのピクチャ、Enhancementビデオストリームのピクチャの画素ビット値が、原画像のどの部分を構成しているかを示す。図中の矢印を追ってゆくと、Baseビデオストリームのピクチャの画素ビット値は、原画像のピクチャの画素ビット値の上位ビット値を構成しており、Enhancementビデオストリームのピクチャの画素ビット値は、原画像の画素ビット値の下位ビット値を構成することになる。つまり、Baseビデオストリームの８ビットの値は原画像の上位ビットを表しEnhancementビデオストリームの階調ビット列は、Baseビデオストリームの階調ビット列と、原画像における画素の階調ビット列との差分を表す。よって、Baseビデオストリーム、Enhancementビデオストリームをデコードして、デコードにより得られるビット値を組合せれば、原画像を構成する画素のNビット階調を再現することができる。このような対応関係があるから、Baseビデオストリームのピクチャ、Enhancementビデオストリームのピクチャを記録媒体に記録しておき、再生装置でこの矢印cr1,2,3,4,5,6に従い、Baseビデオストリームのピクチャの画素ビット値、Enhancementビデオストリームのピクチャの画素ビット値を足し合わせれば、原画像の画素ビット値を復元することができる。

　この階調ビット値によって、映像のグラディエーションがどのように変化されるかを説明する。同図（ｂ）は、原画像のNビット階調におけるグラディエーション変化を示す。この（ｂ）では、NビットのNを12ビットとしており、4096という数値範囲での階調表現が可能になる。よって（ｂ）では、横軸をx座標とし、縦軸を0から4095までの階調値としたグラフで階調変化を示している。同図（ｃ）は、Baseビデオストリームのピクチャにおけるグラディエーション変化を示す。8ビットのビット幅では256階調の表現が可能になる。よって（ｃ）は、横軸をx座標とし、縦軸を0から255までの階調値としたグラフで階調変化を示している。（ｂ）のグラフと、（ｃ）のグラフとを比較すると、256階調の変化では、グラディエーション変化が離散的となり画像中の細かい絵柄を充分な精度で表現し切れない。しかし4096階調のグラディエーション変化ではこの離散性がやわらげられ、グラディエーション変化が滑らかに見える。

　原画像における画素のNビットによる色の深さがBaseビデオストリームのピクチャにおける画素ビット値と、Enhancementビデオストリームのピクチャにおける画素ビット値との組合せで表現されていることがわかる。以下、具体例を交えて上記色深度拡張について説明を行い、技術的理解を深める。ここで想定する具体例とは、動きの激しいスポーツコンテンツを符号化するというものであり、その映像内容としては、図７のようなものを考えている。図７は、原画像の絵柄と、Baseビデオストリームのピクチャにおける絵柄とを示す。図７（ｂ）はBaseビデオストリームのピクチャによる画像の一例である。（ｂ）におけるブロック枠は、Nビットから8ビットへの変換時に誤差が生じたマクロブロックを示す。本図の画像の一例は、スポーツのワンシーンを抜き出したものであり、映像内の登場人物の動きの激しさから、ボール部分の絵柄部分、ユニホームの絵柄部分にモザイク状の誤差(例えばMPEG2ビデオなどではブロックノイズとして現れる誤差)が発生していることがわかる。これをEnhancementビデオストリームのシフト量と、画素値とを用いて補完することで原画像と遜色がない映像の再現を図る。図７（ａ）は、この補完結果である。図７（ａ）では、誤差が存在しない。よって、Baseビデオストリームのピクチャと共にEnhancementビデオストリームを記録媒体に記録することで、この原画像の再現を再生装置に実行させる。

　Enhancementビデオストリームを用いた色深度拡張を導入すれば、12ビットによる階調表現を用いてかかるユニホームの絵柄の緻密さを図６（ｂ）に示すような、4096階調での分解能で再現することになる。これにより自然画に近い美しさで原画像の再現が可能になる。

　フレーム毎におけるシフト量bに基づきBaseビデオストリームのピクチャにおける階調ビット列をシフトさせるケースについて、図８を参照しながら説明する。

　図８は、8つのフレームにおけるピクチャデータの割り当てビット量の変化と、この変化時の個々のフレームにおけるBaseビデオピクチャの画素の階調ビット幅、Enhancementビデオピクチャの画素の階調ビット幅を示す。

　図８の第１段目は、縦軸を各フレームの割当ビット量とし、横軸を時間軸としたグラフである。第２段目は、各フレームにおけるBaseビデオストリームのピクチャ、Enhancementビデオストリームのピクチャのビット階調を示す。Baseビデオストリームのピクチャのビット幅は、何れも8ビットになっている。これに対しEnhancementビデオストリームのピクチャの画素のビット幅はフレーム(1)、フレーム(2)、フレーム(3)では、4ビット、2ビット、0ビットになっている。フレーム(4)、(5)では、ビット幅が３ビット、１ビット、フレーム(6)(7)(8)では２ビット、０ビット、３ビットになっている。図８の第３段目は、Baseビデオストリームにおけるピクチャの画素階調を示すビット列が上位方向にどれだけシフトされるかを示す。フレーム(1)、フレーム(2)、フレーム(3)では、非可逆変換の変換誤差の最上位ビットが4ビット、2ビット、0ビットになっているため、BaseビデオストリームのピクチャにおけるY,Cr,Cbの階調ビット列は、それぞれが4ビット、2ビット、0ビットだけ上位方向にシフトされる。フレーム(4)、(5)では、Baseビデオストリームの階調ビット列が３ビット、１ビットだけシフトされ、フレーム(6)(7)(8)ではBaseビデオストリームのピクチャの階調ビット列２ビット、０ビット、３ビットだけ上位方向にシフトされる。

　フレーム毎におけるシフト量bに基づきEnhancementビデオストリームのピクチャにおける階調ビット列をシフトさせるケースについて、図９を参照しながら説明する。

　図９は、8つのフレームにおけるピクチャデータの割り当てビット量の変化と、この変化時の個々のフレームにおける輝度Y,赤色差Cr,青色差Cbの画素ビット値と、かかる原画像の画素ビット値まで色深度を拡張する場合のシフト範囲の設定とを示す。

　図９の第１段目は、縦軸を各フレームの割当ビット量とし、横軸を時間軸としたグラフィクスを示す。このグラフィクスでは、フレーム(1)で割当ビット量が高くなってフレーム(2)(3)の順に割当ビット量が低下する。その後、フレーム(4)、(5)、フレーム(6)(7)において割当ビット量"高"、割当ビット量"低"、割当ビット量"高"、割当ビット量"低"という変化を繰り返すというものである。かかるグラフでは、フレーム(1)における割当ビット量が一番高く、次いでフレーム(2)(6)、次いでクレーム(3)(7)の順になっている。これは各フレームにおける絵柄の複雑さや動きの激しさに応じたものである。

　フレーム毎の誤差範囲の違いがシフト量／Enhancementビデオストリームの画素ビット値の違いとしてフレームの精度で表現されることになる。

　第２段目は、フレーム(1)(2)(3)～(7)、フレーム(8)のそれぞれで表示されるべき一画面分の画素を行す。第３段目は、輝度Y,赤色差Cr,青色差Cbの階調において非可逆変換における変換誤差が生じた範囲の最上位ビットを示す。図９の第４段目は、Enhancementビデオストリームの階調ビット列が、12ビットの範囲においてどの位置に配置されるかを示す。フレーム(1)、フレーム(2)、フレーム(3)では、12ビット、10ビット、8ビットになっているため、EnhancementビデオストリームのピクチャにおけるY,Cr,Cbの階調ビット列は、それぞれが12ビット、10ビット、8ビット目に配置される。フレーム(4)、(5)では、Enhancementビデオストリームの階調ビット列が11ビット目、9ビット目に配置され、フレーム(6)(7)(8)ではEnhancementビデオストリームのピクチャの階調ビット列の10ビット、8ビット、11ビット目に配置される。

　以上のように、Enhancementビデオストリームにおけるピクチャの画素階調を示すビット列のビット位置は、フレーム毎に設定されたシフト量に応じて変化していることがわかる。フレーム毎の誤差範囲の違いがフレーム毎のシフト量の違い、Enhancementビデオストリームの画素ビット値の違いとしてフレームの精度で表現されており、スポーツコンテンツの高品位な再現がなされていることがわかる。このフレーム精度、画素精度の再現こそが、上述したような色深度拡張の具体的態様の1つである。

　以上がEnhancementビデオストリームについての説明である。続いて、かかるEnhancementビデオストリームをBaseビデオストリームと共に記録媒体に記録する記録装置の詳細について説明する。

　図１０は、記録装置の内部構成の一例を示す。本図に示すように記録装置は、Nビットの画素ビット値から構成される原画像データをインポートするインポート部１、原画像データからBaseビデオストリーム及びEnhancementビデオストリームを生成するストリーム生成部２、生成されたBaseビデオストリーム及びEnhancementビデオストリームを記録媒体に書き込む書込部３、記録媒体を装填するためのドライブ部４を備える。

　（色深度拡張のための圧縮の仕組み)
　図１１は、色深度拡張のためのビデオエンコーダーを具備したストリーム生成部２の内部構成の一例を示す。本図に示すように、ストリーム生成部２は、原画像のNビットの画素ビット値を8ビットにシフトする第１シフト回路１１、画素ビット値が8ビットに変換された画像データをエンコードする第１ビデオエンコーダ１２、第１ビデオエンコーダ１２のエンコード結果をデコードして、8ビットの画素ビット値からなる画像データを得るビデオデコーダ１３、ビデオデコーダ１３のデコードで得られた8ビットの画素ビット値を上位方向にシフトして、Nビットの画素ビット値からなる画像データを得る第２シフト回路１４、原画像データを構成するNビットの画素ビット値から第２シフト回路１４のシフトで得られたNビット画素ビット値を減じる減算部１５、減算部１５の減算結果であるNビット画素ビット値に補正値を加算する加算部１６、加算部１６の加算結果である8ビットの画素ビット値と、第２シフト回路１４がシフトを行った際のシフト量とに対してエンコード処理を行い、Enhancementビデオストリームを得る第２ビデオエンコーダ１７とを備える。

　複数ピクチャからなる原画像は、各ピクセルの各色がNビットのビット長を持つ。前記Nビットの原画像は、第１シフト回路にて、Nビットから８ビットに変換された後、第１ビデオエンコーダーに入力され、Baseビデオストリームとして出力される。次に、第１ビデオエンコーダーから出力されたBaseビデオストリームはビデオデコーダーにてデコードされ、８ビットの映像が出力される。この８ビットの映像は、各ピクセルの各色が図１の階調ビット列１８０３で構成される映像であり、各ビット列は第２シフト回路によりNビットの画像となる。次に、Nビットの原画像と、第２シフト回路から出力された各色のNビット階調ビット毎に減算処理を行う。ここで言う減算処理とは、各ピクセルの各色に対して、図２で説明した階調ビット列１８０１から、Nビット化された階調ビット列１８０３を減算することに相当する。

　この減算処理の結果、Nビットの原画像に対して、Baseビデオストリームで失われていた下位ビット、及び、第１第２ビデオエンコーダーで圧縮した際に誤差を含むようになった下位ビット情報(図１の階調ビット列１８０３で「原画に対して誤差を含む下位ビット」として記載した情報)を含む８ビットの階調ビット列からなる差分画像が得られる。

　前述の８ビットの差分画像を構成するデータは、前述の減算処理により負の値を持つこともあるため、必要に応じて補正値を加算して、正の値にした後、第２ビデオエンコーダーに入力され、Enhancementビデオストリームが出力される。

　加算部１６は、Baseビデオストリームにおけるピクチャの画素階調を示すビット列と、Enhancementビデオストリームにおける画素階調ビットとの差分に対して正値化を実行するものである。以下、加算部１６による正値化変換について説明する。図１２は、加算部１６による正値化変換の過程を示す。図１２（ａ）は、原画像の12ビットによる数値範囲を示す。（ｂ）は、12ビット化されたBaseビデオストリームの階調の数値範囲を示す。（ｃ）は減算結果を示し、（ｄ）はEnhancementビデオストリームとして表現したい数値範囲を示す。減算結果は、符号付き8ビットで表現され、-127～+127の数値範囲になるから、補正値として「+127」を加算すれば減算結果は、0～+254の数値に正値化することができる。逆に再生時においては、Enhancementビデオストリームの画素階調から127を減じることでー127～+127の差分を再現することができる。

　Nビット画素ビット値への変換の過程で誤差が生じているかどうかは8ビット階調を上位シフトすることで得られたNビット階調を、原画像のNビット階調から減ずることで得られた減算結果が0かどうかをチェックすることで判断される。またこの減算結果をプライオリティエンコーダに入力することにより当該減算結果を、誤差範囲の上位ビットを示すNビット値に変換することができる。こうすることで任意のフレームに固有なシフト量を取得することができる。

　本実施形態に係る記録装置は、上述したような記録装置における各構成要素を、ASIC等のハードウェア集積素子で具現化することで工業的に生産することができる。このハードウェア集積素子に、CPU、コードROM、RAMといった汎用的なコンピュータアーキテクチャを採用する場合、上述したような各構成要素の処理手順をコンピュータコードで記述したプログラムをコードROMに予め組みこんておき、ハードウェア集積素子内のCPUに、このプログラムの処理手順を実行させねばならない。汎用的なコンピュータシステムのアーキテクチャを採用する場合、ソフトウェア実装で必要となる処理手順について説明する。図１３は、記録方法の処理手順を示すフローチャートである。

　ステップＳ１では、原画像におけるピクチャの各画素をNビット階調に変換し、ステップＳ２では原画像のピクチャのうち１秒単位の集合をエンコード対象とする。以降、ステップＳ３～ステップＳ８のループに移行する。このループは、原画像のピクチャの集合であって、エンコード対象となるものを圧縮符号化してGOPを得て(ステップＳ３)、Baseビデオストリーム、Enhancementビデオストリームのピクチャを生成し(ステップＳ４)、GOPが所定の量蓄積するのを待つ(ステップＳ５)。その後、BaseビデオのGOP、EnhancementビデオのGOPをデータブロックに変換してインターリーブ配置を行った上、記録媒体に記録するというものである(ステップＳ６)。ステップＳ７はループの終了条件を規定するものであり、原画像のうち次のエンコード対象となるものが残っているかどうかを判定するか否かを判定する。もし残っていれば、ステップＳ８において原画像のピクチャ集合のうち、次のエンコード対象となるものを取得してステップＳ３に戻る。かかるループの実行により、Baseビデオストリームのピクチャ、Enhancementビデオストリームのピクチャが記録媒体に記録されてゆくことになる。

　図１４は、Baseビデオストリーム、Enhancementビデオストリームの生成手順を示す。本フローチャートにおける変数(i)は、処理対象となるピクチャを特定するための制御変数である。従って、以降のフローチャートにおいて、ループのi巡目の処理で処理対象となるピクチャ(i)と表記することにする。更に、ピクチャ(i)が表示されるべきフレームをフレーム(i)と表し、またフレーム(i)に固有なシフト量をシフト量(i)とする。

　ステップＳ１０は、GOPを構成するピクチャのそれぞれについて、ステップＳ１１～ステップＳ１８の処理を繰り返すループ構造を規定する。この繰り返しの対象をピクチャ(i)とする。ステップＳ１１では、ピクチャ(i)における8ビット階調を伸長してNビット階調に変換し、ステップＳ１２では、原画像のNビット階調からBaseビデオストリームのピクチャのNビット階調を減じて減算結果を誤差範囲とする。ステップＳ１３では、Nビット階調の原画像において、誤差範囲は8ビット以下に存在するかどうかを判断する。

　ステップS１３においてYesと判定されたならステップS１４に移行する。ステップS１４では、8ビットの誤差範囲、又は、誤差範囲を含む8ビットを8ビット階調とする。ステップS１３においてNoと判定されたならステップS１５に移行する。ステップS１５では、誤差範囲の最上位ビットから8ビットを切り出して8ビット階調とする。ステップS１６では、8ビット階調に補正値を加算して正値化変換を行い、ステップS１７では加算結果をEnhancementビデオストリームのピクチャの8ビット階調とする。ステップS１８では、誤差範囲の最上位ビットをフレーム(i)のシフト量(i)としてシフト量シーケンスに記述する。

　以上が記録装置についての説明である。続いて、再生装置の詳細について説明する。

　図１５は、再生装置の内部構成の一例を示す。Baseビデオストリームと、Enhancementビデオストリームとが記録された記録媒体を装填するドライブ２１、記録媒体からBaseビデオストリームを含むポトランスポートストリームと、Enhancementビデオストリームを含むトランスポートストリームとを読み出す読出部２２と、Baseビデオストリーム及びEnhancementビデオストリームをデコードしてBaseビデオストリームのピクチャ、Enhancementビデオストリームのピクチャ、シフト量を得るビデオデコード部２３と、Enhancementビデオストリームにおけるピクチャと、シフト量とを用いて色深度拡張を行いNビットの画素ビット値からなる画像データを得る色深度拡張部２４と、Nビット画素ビット値からなる画像データを格納するプレーンメモリ２５と、画像データを表示装置に転送するための機器間インターフェイス２６とから構成される。

　前述のBaseビデオストリームと、Enhancementビデオストリームから、Nビットの映像を再構築する色深度拡張部を説明する。

　始めに、フレーム毎に規定されたシフト量bを用いてBaseビデオストリームのピクチャの階調ビット列をシフトする場合の色深度拡張部の内部構成について説明する。　図１６は、ビデオデコード部２３、及び、色深度拡張部２４の内部構成の一例を示す。本図に示すように、ビデオデコード部２３は、Baseビデオストリームをデコードする第１ビデオデコーダー３１と、Enhancementビデオストリームをデコードする第２ビデオデコーダー３２とから構成される。

　色深度拡張部２４は、シフト量bだけBaseビデオストリームの画素階調を上位方向にシフトする第１シフト回路３３、Enhancementビデオストリームにおけるピクチャの階調を示す8ビット値から補正値を減じて符号付きビット値に変換する減算部３４、Baseビデオストリームのピクチャにおける8+bビット階調と、減算部３４の減算結果とを加算する加算部３５、加算部３５の加算結果を(N-8-1)だけ上位方向にシフトして、Nビット階調にする第２シフト回路３６から構成される。

　Base映像は、各ピクセルの各色が、画像シフト量bで示されるだけ第１シフト回路でシフトされ（図２において、階調ビット値１８０３を左シフトし、下位に0を挿入した処理に相当)、前記Enhancement映像の各ピクセルの各色の色深度は、補正値を減算された後、前述のシフトされたBase映像に加算された、さらに第２シフト回路３６で（N-８-１）ビットだけシフトされた後、Nビットの画像として出力される。ここで、補正値は、図１１で説明したエンコード時の使用した補正値と同じ値としている。加算部１６で補正値を加算するのは、減算結果をEnhancementビデオストリームの個々の画素階調とするためである。原画像の画素のNビット階調と、Baseビデオストリームのデコードにより得られた8ビット階調との減算結果は、負の値になることがある。そこで、デコード時と共通に用いる値として、予め定められている補正値を、8ビット階調ビットに加算することにより正の値にする。こうすることで、上記減算結果をEnhancementビデオストリームの画素として使用することが可能になる。

　Baseビデオストリームにおけるピクチャの画素階調を示すビット列をシフト量でシフトする図１６の色深度拡張部の構成は、拡張後の色深度であるNを可変にするためのものである。ここで、Nを可変にするには、Baseビデオストリームの階調をシフト量bのビット値だけ上位方向にシフトすると共に、正値化がなされたEnhancementビデオストリームの階調を加算して、その後N-8-1だけ加算結果をシフトせねばならない。図１６の色深度拡張部では、第２シフト回路３６が、原画像における画素の階調ビット列のビット幅と、Baseビデオストリームの階調ビット列のビット幅の差分である(N-8-1)を調整させる役割をもつので、図１８の色深度拡張部の構成は、拡張後の色深度である「N」の可変化に適合した構成となる。

　上記の再生装置の製品開発にあたって、ソフトウェア実装で必要となる処理手順について説明する。図１７は、Baseビデオストリームのシフト量bでBaseビデオストリームにおけるピクチャの画素階調を示すビット列をシフトする場合の色深度拡張手順を示すフローチャートである。本フローチャートにおける変数(i)は、処理対象となるピクチャを特定するための制御変数である。従って、以降のフローチャートにおいて、ループのi巡目の処理で処理対象となるピクチャ(i)と表記することにする。更に、ピクチャ(i)が表示されるべきフレームをフレーム(i)と表し、またフレーム(i)に固有なシフト量をシフト量(i)とする。

　本フローチャートは、ステップＳ２０で色深度拡張インターリーブドストリームファイルをオープンしてステップＳ２９の終了要件が満たされるまで、ステップＳ２１～ステップＳ２８の処理を繰り返すループ構造を規定している。ステップＳ２１は、BaseビデオストリームのGOP、EnhancementビデオストリームのGOPが読み出されたかどうかの判定待ちであり、ステップＳ２２はBaseビデオストリームのピクチャ、Enhancementビデオストリームのピクチャのデコードが完了したかどうかの判定である。ステップＳ２１、ステップＳ２２がYesになれば、ステップＳ２３においてBaseビデオストリームのピクチャが属するGOPからGOPについてのシフト量を取り出し、Baseビデオストリームにおけるピクチャの画素の8ビット階調をシフト量だけ上位方向にシフトしNビット階調にする。

　ステップＳ２４では、Enhancementビデオストリームのピクチャにおける8ビット階調から補正値を減じることにより符号付きビット値に変換し、ステップＳ２５では上位方向へのシフトで得られたNビット階調値の下位にEnhancementビデオストリームのピクチャ(i)の符号付きビット値を加算する。ステップＳ２６では、加算結果をN-8-1だけ上位方向にシフトする。

　ステップＳ２７では、加算結果であるNビット値を画素のビット階調値としたピクチャ(i)をプレーンメモリに書き込む。ステップＳ２８は、GOP内に残りのピクチャが存在するかどうかの判定であり、もしこのステップがYesならステップＳ２２に移行する。ステップＳ４０は、ステップＳ２８がYesと判定された場合に実行されるものであり、再生が終了したかどうかを判断するものである。もし終了していなければステップＳ２１にまで戻る。

　以上が、フレーム毎に規定されたシフト量bを用いてBaseビデオストリームのピクチャの階調ビット列をシフトする構成についての説明である。続いて、フレーム毎に規定されたシフト量bを用いてEnhancementビデオストリームのピクチャの階調ビット列をシフトする場合の色深度拡張部の内部構成について説明する。

　図１８は、Baseビデオストリームと、Enhancementビデオストリームから、Nビットの映像を再構築する装置の派生である。この派生の構成は、フレーム毎のシフト量bを目標ビット位置として使用するものである。つまりシフト量bは、原画像のNビットの階調ビット列のうち、何ビット目に変換誤差の最上位ビットが存在するかを示しているから、Enhancementビデオストリームの階調ビット列をこのシフト量bのビット位置まで移動するには、シフト量bからEnhancementビデオストリームの階調ビット列のビット幅「8」を減じて、減算結果「bー8」をシフトカウント数とせねばならない。図中の加算部は、このN-8の演算を実現する。図１６と比較すると、本図における色深度拡張部の内部構成は、第１シフト回路のシフト量は常に固定とするため、第１シフト回路への画素値シフト量bを入力を必要としない点とNビット画像出力前に必要な第２シフト回路３６が必要とされない点が異なる。

　図１８に示すように色深度拡張部２４は、8ビットBaseビデオストリームのピクチャにおける8ビット階調を8＋bビット階調に変換する第１シフト回路３３、Enhancementピクチャにおける8ビット階調から補正値を減じて符号付きビット値にする減算部３４、減算部３４の減算により符号付きビット列に変換されたEnhancementビデオストリームの画素階調ビット列を(b-8)だけ上位方向にシフトする第２シフト回路３６、Baseビデオストリームのピクチャにおける8+bビット階調に、第２シフト回路３６のシフト結果を加算して、Nビット階調の画素に変換する加算部３５とから構成される。

　第１ビデオデコーダー３１でデコードされた映像の各色を構成するビット列の上位ビットまで誤差が含まれる場合、例えば、Baseビデオストリームにおける8ビットの階調ビット列において、下位6ビット目に誤差が含まれる場合、原画像における画素の階調ビット列では10(=6+4)ビット目になるから画素値シフト量bは"10"が設定される。こうすると第２シフト回路３６には10ー8=2の"2"というシフトカウントが第２シフト回路に設定される。こうすることで、Enhancementビデオストリームをデコードすることにより得られた8ビットの階調ビット列が2ビットだけ上位方向にシフトされ、前述の第１シフト回路の出力と加算されることになる。

　第１ビデオデコーダー３１でデコードされた映像の各色を構成するビット列にあまり誤差が含まれない場合、つまり、階調ビット列を構成する12ビットの階調ビット列のうち下位4ビットにだけ誤差が含まれる場合には、画素値シフト量bは"4"が設定される。この場合、N-8がー4になるから、第２シフト回路３６によるEnhancementビデオストリームのシフトがなされず、ビデオデコーダーのデコードにより得られたEnhancementビデオストリームの8ビット階調ビットが前述の第１シフト回路の出力と加算されることになる。

　Enhancementビデオストリームにおけるピクチャの画素階調を示すビット列をシフト量bでシフトする図１８の内部構成は、色深度であるNを固定化するための構成である。ここでの色深度拡張は、BaseビデオストリームのピクチャをN-8だけシフトすると共に、正値化後のEnhancementビデオストリームのピクチャ階調を(b-8)だけシフトするものである。図１８の色深度拡張部では、第２シフト回路が、原画像における画素の階調ビット列のビット幅において、シフト量bで指定された目標ビット位置にEnhancementビデオストリームの階調ビット列を変位させる役割をもつので、図１８の色深度拡張部の構成は、拡張後の色深度である「N」の固定化に適合した構成となる
　図１９は、色深度拡張手順を示すフローチャートである。本フローチャートにおける変数(i)は、処理対象となるピクチャを特定するための制御変数である。従って、以降のフローチャートにおいて、ループのi巡目の処理で処理対象となるピクチャ(i)と表記することにする。更に、ピクチャ(i)が表示されるべきフレームをフレーム(i)と表し、またフレーム(i)に固有なシフト量をシフト量(i)とする。

　本フローチャートは、ステップＳ３０で色深度拡張インターリーブドストリームファイルをオープンしてステップＳ３９の終了要件が満たされるまで、ステップＳ２１～ステップＳ２８の処理を繰り返すループ構造を規定している。ステップＳ３１は、BaseビデオストリームのGOP、EnhancementビデオストリームのGOPが読み出されたかどうかの判定待ちであり、ステップＳ３２はBaseビデオストリームのピクチャ、Enhancementビデオストリームのピクチャのデコードが完了したかどうかの判定である。ステップＳ３１、ステップＳ３２がYesになれば、ステップＳ３３に移行する。

　ステップＳ３３においてBaseビデオストリームにおけるピクチャの画素の8ビット階調をシフト量だけ上位方向にシフトしNビット階調にする。

　ステップＳ３４では、Enhancementビデオストリームのピクチャにおける8ビット階調から補正値を減じることにより符号付きビット値に変換し、ステップＳ３５では上位方向へのシフトで得られたNビット階調値の下位にEnhancementビデオストリームのピクチャの符号付きビット値を加算する。

　ステップＳ３６において、Enhancementビデオストリームのフレーム(i)についてのシフト量b(i)が8以上か否かを判定する。8未満ならステップS３７をスキップする。8以上であるなら、ステップS３７ではEnhancementビデオストリームのピクチャの階調ビット列を、(N-8)だけ上位方向にシフトする。ステップＳ３８では、加算結果であるNビット値を画素のビット階調値としたピクチャをプレーンメモリに書き込む。ステップＳ３９は、GOP内に残りのピクチャが存在するかどうかの判定であり、もしこのステップがYesならステップＳ３２に移行する。ステップＳ４０は、ステップＳ３９がYesと判定された場合に実行されるものであり、再生が終了したかどうかを判断するものである。もし終了していなければステップＳ２１にまで戻る。

　かか構成で色深度拡張を実現するにあたっては、Baseビデオストリームにおける各ピクチャの画素の階調ビットについてのビット操作が重要になる。かかるビット操作の処理内容の行き来は重要であるから、上記内部構成とは別途、図２０、図２１という2つの説明図を準備して詳細な解説を行うことにした。これらの説明図を参照しながら詳細な解説を行う。

　図２０は、色深度拡張後のピクチャにおいて座標(x,y)に存在する画素の輝度Y,赤色差Cr,青色差Cbがどのように変換されるかという変換の過程を示す。第１段目は、8ビット階調×３の画素ビット値から構成される1920×1080のピクチャBase(i)を示す。第２段目は、このピクチャBase(i)において(x,y)に存在する画素を構成する輝度Y(x,y),赤色差Cr(x,y),青色差Cb(x,y)を示す。第３段目は、これらの輝度Y(x,y),赤色差Cr(x,y),青色差Cb(x,y)に対するシフト処理を示す。輝度Y(x,y),赤色差Cr(x,y),青色差Cb(x,y)のシフトは、Base(i)に対応するシフト量b(i)だけ、輝度Y(x,y),赤色差Cr(x,y),青色差Cb(x,y)の8ビット値を上位方向にシフトすることでなされる。

　第４段目は、フレーム(i)で表示されるEnhancementビデオストリームのピクチャEnhanced(i)において(x,y)に存在する輝度Y(x,y),赤色差Cr(x,y),青色差Cb(x,y)を用いた下位ビット設定を示す。上述したように輝度Y(x,y),赤色差Cr(x,y),青色差Cb(x,y)は、補正値が減じられたものになっている。こうして補正値が減じられたEnhanced(i)の画素ビット値が最下位ビットに設定され、12ビット×3の画素ビット値が得られることになる。第５段目は、12ビット階調の画素を1920×1080だけ配置してなる色深度拡張がなされたピクチャを示す。矢印set1は、色深度拡張後の画素ビット値を用いた画素設定を示す。

　図２１は、図２０に示した色深度拡張の過程においてどのようなパラメータが用いられるかを示す。第１段目は、Baseビデオストリームにおけるピクチャと、Enhancementビデオストリームにおけるピクチャ、シフト量シーケンスを示す。これらBaseビデオストリーム、Enhancementビデオストリーム、シフト量シーケンスにおいてBaseビデオストリームにおいてフレーム(i)で表示されるべきピクチャBase(i)、Enhancementビデオストリームにおいてフレーム(i)で表示されるべきピクチャEnhanced(i)は、同じ値のPTSが設定されており、フレーム(i)に表示されることが仕向けられている。また、このピクチャBase(i)が属するGOPのシフト量シーケンスには、フレームにおけるシフト量としてb(i)が存在している。左下向き矢印cu1,2,3は、ピクチャBase(i)、ピクチャEnhanced(i)、シフト量b(i)がどのように設定されるかを模式的に示す。ピクチャBase(i)の(x,y)が処理対象になった際、フレーム(i)に固有なb(i)がシフト量パラメータとして選定され、またピクチャEnhanced(i)の(x,y)における画素ビット値が下位ビットとして使用されることがわかる。図中の矢印set2は、以上の過程を経て生成された画像が色深度拡張後の画素ビット値として使用されることを示す。以上のように、画素単位で下位ビットが設定される。

　シフト量と、Enhancementビデオストリームの画素ビット値とが図８、図９のように変化する場合、図２０に示したような色深度拡張の過程を経ることでフレーム毎に最適なビット長に拡張することが可能になる。かかる処理は、Baseビデオストリーム、Enhancementビデオストリームを構成するピクチャデータのうち1つを構成するもの1つの画素に対する処理である。ピクチャデータは、1920×1080といったオーダーの解像度があり、また一秒当りの動画像には、24枚のピクチャデータが再生されるから、1920×1080×24というオーダーで上記、ビット操作がなされることになる。

　以上のように本実施形態によれば、エンハンスメントビデオストリームにおけるピクチャの画素階調を示すビット列と、ベースビデオストリームのピクチャにおける階調ビット列とを組合せることで原画像と遜色がない画像を復元することができるので、表示装置側の表示能力が、8ビットを越える階調の色深度を表現できるものである場合、その表示能力を如何なく発揮することができるような動画コンテンツを社会に送り出すことができる。これにより、コンテンツ業界や表示装置の製造業界を活性化することができ、国内産業の振興をもたらすことができる。

　（第２実施形態）
　本実施形態は、第１実施形態で説明したBaseビデオストリーム、Enhancementビデオストリームを用いて映画作品の頒布を実現するための実施形態である。

　図２２は、第１実施形態にかかる記録媒体、再生装置が使用されるホームシアターシステムを示す。

　ディスク媒体１００１は、これまでの実施形態で示したBaseビデオストリーム、EnhancementビデオストリームをBlu-ray ReadOnlyディスクのアプリケーションフォーマット、Blu-ray Rewritableアプリケーションフォーマット、AVC-HDアプリケーションフォーマットで格納するための光学式記録媒体である。

　再生装置１００２は、上記アプリケーションフォーマットに規定されたプログラム、プレイリスト情報、ストリーム情報に従って、Baseビデオストリーム及びEnhancementビデオストリームを読み出し、これらのストリームに対するデコード処理を行う。そして、現在の再生モードに応じて、一画面分の画素階調ビット列を表示装置に出力する。再生装置１００２には、通常モード(非色深度拡張モード)、色深度拡張モードの何れかに設定が可能である。色深度拡張モードにおいて再生装置１００２から出力される画素ビット値はNビット階調となり非色深度拡張モードにおいて再生装置１００２から出力される画素ビット値は8ビット階調になる。

　表示装置１００３は、機器間インターフェイスを通じて再生装置１００２から送出されてくる一画面分の画素ビット値を受け取り、この画素ビット値に従い表示パネルの表示素子を駆動することで画像表示を行う。この画像表示には、8ビットの階調による通常モード(非色深度拡張モード)の他、12ビットの階調による色深度拡張モードがある。以上がホームシアターシステムについての説明である。続いて、ディスク媒体の詳細について説明する。

　図２３は、多層化された光ディスクである、ディスク媒体の内部構成の一例を示す。

　第１段目は、多層化された光ディスクの一例を示し、第２段目は、各記録層上に存在する螺旋トラックを水平方向に引き伸ばして描いた図である。これらの記録層における螺旋トラックは、1つの連続したボリューム領域として扱われる。ボリューム領域は、最内周に位置するリードイン、最外周に位置するリードアウト、この間に存在する記録層１の記録領域、記録層２の記録領域、記録層３の記録領域から構成される。これらの記録層１の記録領域、記録層２の記録領域、記録層３の記録領域は、1つの連続した論理アドレス空間を構成する。

　ボリューム領域は、先頭から光ディスクをアクセスする単位で通し番号が振られており、この番号のことを論理アドレスと呼ぶ。光ディスクからのデータの読み出しは論理アドレスを指定することで行う。ここで、Blu-ray ReadOnlyディスクのような読み込み専用ディスクの場合には、基本的に論理アドレスが連続しているセクタは、光ディスク上の物理的な配置においても連続している。すなわち、論理アドレスが連続しているセクタのデータはシークを行わずに読み出すことが可能である。ただし、記録層の境界においては、論理アドレスが連続していたとしても連続的な読み出しはできない。そのため、層境界の論理アドレスは、予め記録装置に登録されているものとする。

　ボリューム領域は、リードイン領域の直後にファイルシステム管理情報が記録されていて、これに続いて、ファイルシステム管理情報にて管理されるパーティション領域が存在する。ファイルシステムとはディスク上のデータをディレクトリまたはファイルと呼ばれる単位で表現する仕組みであり、Blu-ray ReadOnlyディスクの場合ではUDF（Universal Disc Format）によって記録される。日常使っているPC（パーソナルコンピュータ）の場合でも、FATまたはNTFSと呼ばれるファイルシステムを通すことにより、ディレクトリやファイルという構造でハードディスクに記録されたデータがコンピュータ上で表現され、ユーザビリティを高めている。このファイルシステムにより、通常のPCと同じように記録されている論理データをディレクトリ、ファイル構造を使って読み出すことが可能になっている。

　第４段目は、ファイルシステムで管理されるファイルシステム領域における領域割り当てを示す。ファイルシステム領域のうち、内周側には、非AVデータ記録領域が存在する。非AVデータ記録領域の直後には、AVデータ記録領域が存在する。第５段目は、これら非AVデータ記録領域及びAVデータ記録領域の記録内容を示す。AVデータ記録領域には、AVファイルを構成する構成するエクステントが存在する。非AVデータ記録領域には、AVファイル以外の非AVファイルを構成するエクステントが存在する。

　図２４は、ファイルシステムを前提にした光ディスクのアプリケーションフォーマットを示す。

　BDMVディレクトリはBlu-ray ReadOnlyディスクで扱うトランスポートストリームや管理情報などのデータが記録されているディレクトリである。BDMVディレクトリの配下には、「BDJOディレクトリ」、「JARディレクトリ」「PLAYLISTディレクトリ」、「CLIPINFディレクトリ」、「STREAMディレクトリ」と呼ばれる５つのサブディレクトリが存在し、BDMVディレクトリには、「index.bdmv」，「MovieObject.bdmv」の２種類のファイルが配置されている。

　「index.bdmv(ファイル名固定)」は、インデックステーブルを格納している。インデックステーブルは、再生装置におけるタイトル番号レジスタに格納され得る複数のタイトル番号と、動作モードを規定するプログラムファイルとの対応付けを規定する。ここで、タイトル番号レジスタにおけるタイトル番号は、０、１～９９９、不定値(0xFFFF)という番号がある。タイトル番号０は、トップメニュータイトルのタイトル番号である。トップメニュータイトルとは、ユーザによるメニューコール操作によって呼び出すことができるタイトルである。不定値(0xFFFF)のタイトル番号は、ファーストプレイタイトルのタイトル番号である。ファーストプレイタイトルとは、記録媒体の装填直後に、視聴者への警告やコンテンツプロバイダによるロゴ表示等を行うタイトルである。インデックステーブルは、各タイトル番号のそれぞれに対応したエントリー(タイトルインデックス)を有し、個々のタイトルインデックスに、動作モードを規定するプログラムファイルを記述することで、各々のタイトルが、どのような動作モードで動作するのかを詳細に規定する。

　「MovieObject.bdmv（ファイル名固定）」は、1つ以上のムービーオブジェクトを格納している。ムービーオブジェクトは、コマンドインタプリタを制御主体とした動作モード(HDMVモード)において、再生装置が行うべき制御手順を規定するプログラムファイルであり、1つ以上のコマンドと、GUIに対するメニューコール、タイトルコールがユーザによってなされた場合、これらのコールをマスクするかどうかを規定するマスクフラグを含む。

　「BDJOディレクトリ」には、拡張子bdjoが付与されたプログラムファイル(xxxxx.bdjo[「xxxxx」は可変、拡張子「bdjo」は固定])が存在する。このプログラムファイルは、オブジェクト指向プログラミング言語の動作モードにおいて、再生装置が行うべき制御手順を規定するプログラムファイルであるBDーJオブジェクトを格納している。

　このJava（登録商標）アプリケーションの実体にあたるのが、BDMVディレクトリ配下のJARディレクトリに格納されたJava（登録商標）アーカイブファイル(YYYYY.jar)である。アプリケーションは例えばJava（登録商標）アプリケーションであり、仮想マシンのヒープ領域(ワークメモリとも呼ばれる)にロードされた1つ以上のxletプログラムからなる。このワークメモリにロードされたxletプログラム、及び、データから、アプリケーションは構成されることになる。

　「PLAYLISTディレクトリ」には、拡張子mplsが付与されたプレイリスト情報ファイル(xxxxx.mpls[「xxxxx」は可変、拡張子「mpls」は固定])が存在する。拡張子がmpls付され、BDMVディレクトリに格納されるプレイリスト情報ファイルのことを"mplsファイル"という。

　「CLIPINFディレクトリ」には、拡張子clpiが付与されたクリップ情報ファイル(xxxxx.clpi [「xxxxx」は可変、拡張子"clpi」は固定])が存在する。

　以上のディレクトリに存在するファイルを構成するエクステントは、非AVデータ領域に記録される。

　「STREAMディレクトリ」は、ストリームファイルを格納しているディレクトリであり、本ディレクトリには、xxxxx.m2ts([「xxxxx」は可変、拡張子「m2ts」は固定])という形式でストリームファイルが格納される。拡張子がm2tsであり、BDMVディレクトリに格納されるストリームファイルのことを"m2tsファイル"という。

　CLREXTディレクトリは、BDMVディレクトリに存在するプログラムファイル、プレイリスト情報ファイル、クリップ情報ファイル、ストリームファイルの拡張版である、色深度拡張適合プログラムファイル、色深度拡張プレイリスト情報ファイル、色深度拡張クリップ情報ファイル、色深度拡張ストリームファイルが存在する。この色深度拡張インターリーブドストリームファイルこそが、Baseビデオストリーム、Enhancementビデオストリームをインターリーブ配置することで作成された色深度拡張インターリーブドストリームファイルである。その他、CLREXTディレクトリには拡張機能判定ファイルが存在する。これは、色深度拡張プログラムファイルが色深度拡張に適合した処理を行う際、拡張機能のケーパビリティ判定に用いられるものである。これら色深度拡張ディレクトリのファイルのうち、色深度拡張対応クリップ情報ファイル、色深度拡張対応プレイリスト情報ファイル、色深度拡張対応プログラムファイル、拡張機能判定ファイルは、螺旋トラックの内周側に記録される。色深度拡張ストリームファイルは螺旋トラックの外周側に記録される。このように記録するのは、色深度拡張ストリームファイルの読み込みに先立ち、色深度拡張対応クリップ情報ファイル、色深度拡張対応プレイリスト情報ファイル、色深度拡張対応プログラムファイル、拡張機能判定ファイルをメモリに取り込むためである。

　図２５は、色深度拡張インターリーブドストリームファイル、m2tsファイル、ファイルベースの相互関係を示す。第１段目はm2tsファイルを示し、第２段目は記録媒体上のデータブロックを示す。データブロックには、Baseビデオストリームを含むトランスポートストリーム(メインTS)の一部分になるもの(Baseデータブロック)と、Enhancementビデオストリームを含むトランスポートストリーム(サブTS)の一部分になるもの(Enhancementデータブロック)とがある。Baseデータブロックは、非色深度拡張モード、色深度拡張モードの双方でアクセスされるもの(図２５におけるデータブロックB[1],B[2])、非色深度拡張モードでのみアクセスされ、色深度拡張モードではアクセスされないもの(図２５におけるB[3]ne,B[4]ne:no-color depth extention)、非色深度拡張モードではアクセスされず、色深度拡張モードでのみアクセスされるもの(図２５におけるB[3]ce,B[4]ce:color depth extention)がある。通常、Baseデータブロックは非色深度拡張モード、色深度拡張モードの共通で使用されるがBaseデータブロックのうち、記録層の境界に配置されるものは、B[x]ceと、B[x]neとに分離される。これは層境界付近では、連続長確保のため非色深度拡張モードの再生経路と、色深度拡張モードの再生経路とを分離せねばならないからである。一方、Enhancementデータブロックは、データブロックE[1],E[2],E[3]から構成される。矢印ex1,ex2,ex3,ex4は、第２段目におけるデータブロックE[1],B[1],E[2],B[2],E[3],B[3]ce,D[4],B[4]ce,B[3]ne,B[4]neのうち、B[1],B[2],B[3]ne,B[4]neがm2tsファイルのエクステントを構成しているという帰属関係を示す。

　以上がデータブロックについての説明である。続いて、これらのデータブロックのエクステントとすることで構成されるストリームファイルの詳細について説明する。第３段目はインターリーブドストリームファイル、第４段目はファイルBase、第５段目はファイルEnhancementを示す。ファイルBaseとは、データブロックB[x]ne(non-color depth Extention)と、データブロックB[x]とから構成されるファイルであり、非色深度拡張モードにおいて再生される。このファイルBaseに対応するクリップ情報として、クリップBase情報がある。

　ファイルEnhancementとは、E[x]から構成されるファイルであり、色深度拡張モードにおいてアクセスされる。このファイルEnhancementに対応するクリップ情報としてクリップEnhancement情報が存在する。クリップBase情報は、BaseビデオストリームにおいてGOP先頭のIピクチャ、IDRピクチャをランダムアクセスするためのエントリーマップである基本エントリーマップを含む。クリップEnhancement情報は、EnhancementビデオストリームにおいてGOP先頭のIピクチャ、IDRピクチャをランダムアクセスするためのエントリーマップである拡張エントリーマップを含む。これらのクリップBase情報、クリップEnhancement情報が存在するので、ファイルBase、ファイルEnhancementはそれぞれ、別個のAVクリップとして扱われる。

　矢印ex5,ex6は、データブロックのうち、E[1],B[1],E[2],B[2],E[3],B[3]ce,E[4],B[4]ceがインターリーブドストリームファイルのエクステントを構成しているという帰属関係を示す。

　第４段目は、このインターリーブドストリームファイルを構成するデータブロックのうち、B[1],B[2],B[3]ce,B[4]ceがファイルBaseのエクステントとなり、第５段目は、インターリーブドストリームファイルを構成するデータブロックのうち、E[1],E[2],E[3],E[4]がファイルEnhancementのエクステントになることを示す。

　ファイルBase、ファイルEnhancement、m2tsファイルは、1つ以上のエクステントから構成される。エクステントは、そのデータ長の下限値が規定されていることを除き、自由にデータ長を変化させることができる。この下限値となるデータ長は、立体視再生のためのプレーヤモデルであるBD-3Dプレーヤモデルをベースにして規定される。

　以下、ファイルBase、ファイルEnhancement、m2tsファイルを構成するエクステントの下限値について説明する。

　ファイルBaseのエクステントは、BDー3DプレーヤモデルにおけるBaseViewビデオストリームのファイルエクステントであるエクステントEXT1[n]と同じ下限値をもつ。この場合、ベースビデオストリームを含むファイルBaseのEXT1[n]の下限値は、色深度拡張モードの再生時における各Baseデータブロックの最後のエクステントから次のEnhancementデータブロックの最初のエクステントまでのジャンプ期間と、当該Enhancementデータブロックの最後のエクステントから次のBaseデータブロックの最初のエクステントまでのジャンプ期間とを通じて、ダブルバッファのアンダーフローを生じさせないように決定される。ここでのダブルバッファは、第１リードバッファ、第２リードバッファから構成される。第１リードバッファは、Blu-ray ReadOnlyディスクの2Dモード再生装置のリードバッファと同一物である。

　色深度拡張モードの再生において、n番目のBaseデータブロックを構成する最後のエクステントからp番目のEnhancementデータブロックを構成する最初のエクステントまでのジャンプが時間TFjump3D(n)であり、p番目のEnhancementデータブロックを構成する最後のエクステントから（n+1）番目のBaseデータブロックを構成する最初のエクステントまでのジャンプが時間TBjump3D(n)を要するものとする。ここでTFjump3D(n),TBjump3D(n)は、BDー3Dプレーヤモデルにおける3D再生モードでのジャンプ時間である。

　そして各Baseデータブロックが第１リードバッファへ速度Rud3Dで読み出され、各Enhancementデータブロックが第２リードバッファへ速度Rud3Dで読み出され、かつ、リードバッファ１からビデオデコーダへ前記Baseデータブロックが平均速度Rbext3Dで転送されるとき、EXT1[n]の下限値は、以下の条件Ａの式で表される。

　＜条件Ａ＞
EXT1[n]の下限値 ≧（Rud3D×Rbext3D）/(Rud3D－Rbext3D)
×(TFjump3D（n）＋EXT2[n]/(Rud3D＋TBjump3D(n)))

　ファイルEnhancementを構成するエクステントは、BDー3Dプレーヤモデルにおけるdependent viewビデオストリームのファイルエクステントであるEXT2[n]と同じ下限値をもつ。EXT2[n]の下限値は、色深度拡張モードの再生時において、あるEnhancementデータブロックのエクステントから次のBaseデータブロックのエクステントまでのジャンプ期間と、当該Baseデータブロックのエクステントから次のEnhancementデータブロックのエクステントまでのジャンプ期間とを通して再生装置におけるダブルバッファにアンダーフローを生じさせないように決定される。（n+1）番目のBaseデータブロックを構成する最後のエクステントから（p+1）番目のEnhancementデータブロックを構成する最初のエクステントまでのジャンプが時間TFjump3D(n+1)であり、かつ、リードバッファ２からデコーダへ前記ディペンデントビューストリームファイルが平均速度Rdext3Dで転送されるとき、EXT2[n]の下限値は以下の条件Ｂの式で表される。速度Rud3D、平均速度Rbext3Dは、BDー3Dプレーヤモデルにおける3D再生モードでの転送時間である。

　＜条件Ｂ＞
　EXT2[n]の下限値　≧（Rud3D×Rbext3D）/(Rud3D－Rdext3D)
×(TBjump3D（n）＋EXT1[n+1]/(Rud3D＋TFjump3D(n+1)))

　色深度拡張インターリーブドストリームファイルを構成するエクステントのうち、m2tsファイルと共通の構成要素となるエクステントは、BDー3Dプレーヤモデルにおいて2D出力モードでのみ読み出されるエクステント"EXT2D"と同じ下限値をもつ。EXT2Dの下限値は、非色深度拡張モードの再生時において、各Baseデータブロックの最後のエクステントから次のBaseデータブロックの最初のエクステントまでのジャンプ期間中において、再生装置におけるリードバッファのバッファアンダーフローを生じないように決定される。

　n番目のBaseデータブロックから(n+1)番目のBaseデータブロックまでのジャンプが時間Tjump2D(n)を要し、各Baseデータブロックが,リードバッファに速度Rud2Dで読み出され、かつ、リードバッファからビデオデコーダへ前記Baseデータブロックが平均速度Rbext2Dで転送されるとき、EXT2Dの下限値は以下の条件Ｃの式で表される。

　　＜条件Ｃ＞
EXT2Dの下限値 ≧（Rud2D×Rbext2D）/(Rud2D－Rbext2D)×Tjump2D（n）

　ファイルBaseを構成するデータブロックのうち、深度拡張モードにおいてのみ再生されるもの(データブロックB[n]ce)を構成するエクステントは、BDー3Dプレーヤモデルにおいて3D再生モードでのみ読み出されるエクステント(エクステントSextss)と同じ下限値をもつ。ここでSextssは、以下の条件Ｄを満たす値として算出される。

　＜条件Ｄ＞
　SextSS[Byte]≧ceil[(Tjump＋Tdiff×Rud72)/(1000×8))×(Rextss×192)/(Rud72×188－Rextss×192)]
　ここで、Rud72は、3D再生モードにおけるBD-ROMドライブからの72mbpsというデータレートであり、Tdiffは、Enhancementデータブロックを構成するエクステントEXT2[n]を読み出すにあたっての遅延時間である。

　図２５（ｂ）は、メインTSの内部構成を示し、同図（ｃ）は、サブTSの内部構成の一例を示す。同図（ｂ）に示すように、メインTSは、１本のBaseビデオストリームと、３２本のPGストリーム、３２本のIGストリーム、３２本のオーディオストリームを含むものとする。同図（ｃ）に示すように、サブTSは、１本のEnhancementビデオストリームと、３２本のPGストリーム、３２本のIGストリームを含むものとする。

　次に、TSに多重化されるエレメンタリストリーム(ES)である、ビデオストリーム、オーディオストリーム、プレゼンテーショングラフィクスストリーム、インタラクティブグラフィクスストリームについて説明する。

　図２５（ｂ）において、メインTSには、ビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム（PG）、インタラクティブグラファイックスストリームのうち、１つ以上を多重化されている。

　オーディオストリームには、主音声オーディオストリーム、副音声ストリームの２種類がある。主音声オーディオストリームは、ミキシング再生を行う場合、主音声となるべきオーディオストリームであり、副音声ストリームは、ミキシング再生を行う場合、副音声をとなるべきオーディオストリームである。副音声ストリームは、このミキシングのためのダウンサンプリングのための情報、ゲイン制御のための情報が存在する。

　プレゼンテーショングラフィクスストリーム(PGストリーム)は、デコーダにパイプラインを採用することで、映像との緻密な同期を実現することができ、字幕表示に適したグラフィクスストリームである。パイプラインによるデコード動作の実現により、動画像との緻密な同期を実現するので、PGストリームの用途は字幕のような文字再生に限定されない。映画作品のマスコットキャラクタを表示して、これを動画像と同期させつつ動作させるなど、緻密な同期が必要なグラフィクス再生であれば、どのようなものも、PGストリームによる再生対象として、採用することができる。

　インタラクティブグラフィクス(IG)ストリームは、対話操作の情報を具備することで、ビデオストリームの再生進行に伴ってメニューを表示したり、またユーザ操作に従いポップアップメニューを表示することができるグラフィクスストリームである。

　ビデオストリームにはピクチャインピクチャの親画面映像を構成するものと、子画面映像を構成するものとがある。これら親画面映像を構成するビデオストリーム、子画面映像を構成するビデオストリームの共通構成について説明する。MPEG-２、MPEG-4AVC、SMPTE VC-１などの動画圧縮符号化においては、動画像の空間方向および時間方向の冗長性を利用してデータ量の圧縮を行う。時間方向の冗長性を利用する方法として、ピクチャ間予測符号化が用いられる。ピクチャ間予測符号化では、あるピクチャを符号化する際に、表示時間順で前方または後方にあるピクチャを参照ピクチャとする。そして、その参照ピクチャからの動き量を検出し、動き補償を行ったピクチャと符号化対象のピクチャとの差分値に対して空間方向の冗長度を取り除くことによりデータ量の圧縮を行う。

　ここでは、参照ピクチャを持たずに符号化対象ピクチャのみを用いてピクチャ内予測符号化を行うピクチャをイントラ(I)ピクチャと呼ぶ。ピクチャとは、フレームおよびフィールドの両者を包含する１つの符号化の単位である。また、既に処理済の１枚のピクチャを参照してピクチャ間予測符号化するピクチャをプレデテクィブ(P)ピクチャとよび、既に処理済みの２枚のピクチャを同時に参照してピクチャ間予測符号化するピクチャをバイプレデテクィブ(B)ピクチャと呼び、Bピクチャの中で他のピクチャから参照されるピクチャをBrピクチャと呼ぶ。また、フレーム構造の場合のフレーム、フィールド構造のフィールドを、ここではビデオアクセスユニットと呼ぶ。

　AVクリップに含まれる各ストリームはPIDによって識別される。例えば、映画の映像に利用するビデオストリームに配列x１０１１が、オーディオストリームに配列x１１００から０x１１１Fまでが、プレゼンテーショングラフィックスに配列x１２００から０x１２１Fまでが、インタラクティブグラフィックスストリームに配列x１４００から０x１４１Fまでが、映画の子画面映像に利用するビデオストリームに配列x１B００から０x１B１Fまで、主音声とミキシングする副音声に利用するオーディオストリームに配列x１A００から０x１A１Fが、それぞれ割り当てられている。

　続いて、メインTSの内部構成について説明する。図２６は、メインTSの生成の過程を示す図である。本図（ａ）は、メインTSがどのように多重化されるかを模式的に示す図である。まず、複数のビデオフレームからなるビデオストリーム５０１、複数のオーディオフレームからなるオーディオストリーム５０４を、それぞれPESパケット列５０２および５０５に変換し、TSパケット５０３および５０６に変換する。同じくプレゼンテーショングラフィックスストリーム５０７およびインタラクティブグラフィックス５１０のデータをそれぞれPESパケット列５０８および５１１に変換し、更にTSパケット５０９および５１２に変換する。AVクリップ513はこれらのTSパケットを１本のストリームに多重化することで構成される。

　図２６（ｂ）は、PESパケット列に、ビデオストリームがどのように格納されるかを更に詳しく示している。本図における第１段目はビデオストリームのビデオフレーム列を示す。第２段目は、PESパケット列を示す。本図の矢印yy１，yy２，　yy３，　yy４に示すように、ビデオストリームにおける複数のVideo Presentation UnitであるIピクチャ、Bピクチャ、Pピクチャは、ピクチャ毎に分割され、PESパケットのペイロードに格納される。各PESパケットはPESヘッダを持ち、PESヘッダには、ピクチャの表示時刻であるPTS（Presentation　Time-Stamp）やピクチャの復号時刻であるDTS（Decoding　Time-Stamp）が格納される。

　図２６（ｃ）は、AVクリップに最終的に書き込まれるTSパケットの形式を示している。TSパケットは、ストリームを識別するPIDなどの情報を持つ４ByteのTSヘッダとデータを格納する１８４ByteのTSペイロードから構成される１８８Byte固定長のパケットであり、前述で説明したPESパケットは分割されTSペイロードに格納される。BD-ROMの場合、TSパケットには、４ByteのTP＿Extra＿Headerが付与され、１９２Byteのソースパケットを構成し、AVクリップに書き込まれる。TP＿Extra＿HeaderにはATS（Arrival＿Time＿Stamp）などの情報が記載される。ATSは当該TSパケットの後述するシステムターゲットデコーダ１５０３のPIDフィルタへの転送開始時刻を示す。AVクリップには図２８（ｃ）の下段に示すようにソースパケットが並ぶこととなり、AVクリップの先頭からインクリメントする番号はSPN（ソースパケットナンバー）と呼ばれる。

　また、AVクリップに含まれるTSパケットには、映像・音声・字幕などの各ストリーム以外にもPAT（Program Association　Table）、PMT（Program Map　Table）、PCR（Program Clock　Reference）などがある。PATはAVクリップ中に利用されるPMTのPIDが何であるかを示し、PAT自身のPID配列で登録される。PMTは、AVクリップ中に含まれる映像・音声・字幕などの各ストリームのPIDと各PIDに対応するストリームの属性情報を持ち、またAVクリップに関する各種ディスクリプタを持つ。ディスクリプタにはAVクリップのコピーを許可・不許可を指示するコピーコントロール情報などがある。PCRは、ATSの時間軸であるATC（Arrival Time Clock）とPTS・DTSの時間軸であるSTC（System　Time　Clock）の同期を取るために、そのPCRパケットがデコーダに転送されるATSに対応するSTC時間の情報を持つ。AVクリップのメインTSの先頭には、PATパケット、PMTパケットが格納される。

　図２６（ｄ）はPMTのデータ構造を詳しく説明する図である。PMTの先頭には、そのPMTに含まれるデータの長さなどを記したPMTヘッダが配置される。その後ろには、AVクリップに関するテーブルディスクリプタが複数配置される。前述したコピーコントロール情報などが、テーブルディスクリプタとして記載される。テーブルディスクリプタの後には、AVクリップに含まれる各ストリームに関するストリーム情報が複数配置される。ストリーム情報は、ストリームの圧縮コーデックなどを識別するためストリームタイプ、ストリームのPID、ストリームの属性情報（フレームレート、アスペクト比など）が記載されたストリームディスクリプタから構成される。ストリームディスクリプタはAVクリップに存在するストリームの数だけ存在する。

　以上がメインTSについての説明である。続いて、サブTSの詳細について説明する。サブTSには、色深度拡張のためのEnhancementビデオストリームのみが格納されている点がメインTSと異なる。Baseビデオストリーム及びEnhancementビデオストリームは、NALユニットの形式に変換された上で、MPEG2-TS形式に変換されている。Baseビデオストリーム及びEnhancementビデオストリームは何れもNALユニット形式に変換されて記録媒体に記録されているので、Baseビデオストリームの一部分と、Enhancementビデオストリームの一部分とを混在して記録し、ビデオデコーダに送り込むという混在扱いが許容される。

　図２７は、Enhancementビデオストリームの内部構成の一例を示す。第１段目は、複数のGOPであり、第２段目は、GOPを構成する複数のビデオアクセスユニットを示す。これらのビデオアクセスユニットは、ピクチャデータに該当するもので、GOPにおける個々の表示フレーム(図中のFrame(1)～Frame(number＿of＿displayed＿frames＿in＿GOP))において表示される。

　第３段目は、ビデオアクセスユニットの内部構成の一例を示す。ビデオアクセスユニットは、ビデオアクセスユニットデリミター、シーケンスパラメータセット、ピクチャパラメータセット、SEI(Supplemental Enhancement Information)メッセージ、原画像における画素の階調ビット列からの減算で得られたスライスデータ列、シーケンス終端コード、ストリーム終端コードのそれぞれをNALユニット化して配列することにより構成される。

　以上のうち、1つのNALユニットに格納されるシーケンスパラメータセット(SPS)、1つのNALユニットに格納されるピクチャパラメータセット(PPS)について説明する。

　1つのNALユニットに格納されるシーケンスパラメータセット(SPS)にはシーケンス番号が存在しており1つのNALユニットに格納されるピクチャパラメータセット(PPS)にも、シーケンス番号のレファレンスが存在する。このPPS内のレファレンスを辿ることで、インターリーブドストリームファイルに格納された1つのビットストリーム内のBaseビデオストリームのシーケンス、Enhancementビデオストリームのシーケンスのうち、どちらのシーケンスにPPSを格納したNALユニットが帰属するかを特定することができる。よって、このシーケンス番号のレファレンスを用いることにより、PPSを格納したNALユニットを、Baseビデオストリームのシーケンスと、Enhancementビデオストリームのシーケンスとに分類することができる。

　NALユニットにもスライスヘッダにも、SPS番号レファレンスが配置されているので、各スライスデータが、Baseビデオストリームのシーケンス、Enhancementビデオストリームのシーケンスのうち、どちらのシーケンスに帰属するかを知得することができる。また、スライスヘッダには、PPS番号のレファレンスが存在するので、どのピクチャに、各スライスデータが帰属するかを知得することができる。これらを手掛かりにして、同じシーケンスであり、かつ、同じピクチャを構成するもの毎にスライスデータを統合することで、NALユニットから、ピクチャデータ、つまり、ベースピクチャデータ、Enhancementピクチャデータのそれぞれを復元することができる。

　更にNALユニット化されたスライスヘッダには、フレーム番号が存在するので、各スライスデータがどのフレームに帰属するかを知得することができ、これらを手掛かりにして、混在状態にあるNALユニットから同じフレームを構成するベースピクチャデータ及びEnhancementピクチャデータの組みを復元することができる。

　そしてSEIメッセージの中に、シフト量シーケンスが存在する。シフト量シーケンスは、フレーム(1)のピクチャの画素ビット値のシフト量(1)、フレーム(2)のピクチャの画素ビット値のシフト量(2)、フレーム(3)のピクチャの画素ビット値のシフト量(3)、フレーム(4)のピクチャの画素ビット値のシフト量(4)・・・フレーム(N)のピクチャの画素ビット値のシフト量(N)から構成される。図２７におけるシフト量シーケンスにおける個々のシフト量は、表示順序に配列されたピクチャのそれぞれに対応付けて、そのピクチャが表示されるべきフレームに固有なシフト量を規定する。

　以上のEnhancementビデオストリームのデータ構造では、シフト量の違いがフレームの精度で表現されていることがわかる。

　以上がメインTS、サブTSについての説明である。記録媒体には、これらメインTS、サブTSのランダムアクセスを可能とするため、専用の情報としてクリップ情報が用意されている。上述したファイル構成におけるクリップ情報ファイルに、このクリップ情報が格納される。

　クリップ情報ファイルは、図２８（ａ）に示すようにAVクリップの管理情報であり、AVクリップと１対１に対応し、クリップ情報、ストリーム属性情報とエントリマップから構成される。クリップ情報には、Baseビデオストリームを含むメインTSのためのクリップBase情報と、Enhancementビデオストリームを含むサブTSのためのクリップエンハンスメント情報とがあり、これらはクリップ情報ファイルに格納される。図２８は、クリップ情報ファイルの内部構成を示す図である。

　クリップ情報は、図２８（ａ）に示すようにシステムレート、再生開始時刻、再生終了時刻から構成されている。これらの他、インターリーブドストリームファイルをアクセスするための情報として、エクステントスタートポイント情報を有している。

　システムレートはAVクリップの、後述するシステムターゲットデコーダのPIDフィルタへの最大転送レートを示す。AVクリップ中に含まれるATSの間隔はシステムレート以下になるように設定されている。再生開始時刻はAVクリップの先頭のビデオフレームのPTSであり、再生終了時刻はAVクリップの終端のビデオフレームのPTSに１フレーム分の再生間隔を足したものが設定される。

　ストリーム属性情報は図２８（ｂ）に示すように、AVクリップに含まれる各ストリームについての属性情報が、PID毎に登録される。属性情報はビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム、インタラクティブグラフィックスストリーム毎に異なる情報を持つ。ビデオストリーム属性情報は、そのビデオストリームがどのような圧縮コーデックで圧縮されたか、ビデオストリームを構成する個々のピクチャデータの解像度がどれだけであるか、アスペクト比はどれだけであるか、フレームレートはどれだけであるかなどの情報を持つ。オーディオストリーム属性情報は、そのオーディオストリームがどのような圧縮コーデックで圧縮されたか、そのオーディオストリームに含まれるチャンネル数は何であるか、何の言語に対応するか、サンプリング周波数がどれだけであるかなどの情報を持つ。これらの情報は、プレーヤが再生する前のデコーダの初期化などに利用される。

　エントリマップは、図２８（ｃ）に示すように、エントリマップヘッダ情報１１０１と、AVクリップ内に含まれるビデオストリームの各Iピクチャの表示時刻を示すPTSと各Iピクチャが開始するAVクリップのSPNが記載されたテーブル情報である。ここではテーブルの１つの行で示される対となるPTSとSPNの情報をエントリポイントと呼ぶことにする。また先頭を０として各エントリポイント毎にインクリメントした値をエントリポイントID（以下EP＿ID）と呼ぶことにする。このエントリマップを利用することにより、再生機はビデオストリームの時間軸上の任意の地点に対応するAVクリップのファイル位置を特定することが出来るようになる。例えば、早送り・巻戻しの特殊再生の際には、エントリマップに登録されるIピクチャを特定し選択して再生することによりAVクリップを解析することなく効率的に処理を行うことが出来る。また、エントリマップはAVクリップ内に多重化される各ビデオストリーム毎に作られ、PIDで管理される。また、エントリマップには、先頭にエントリマップヘッダ情報１１０１が格納され、ここには該当エントリマップが指すビデオストリームのPIDやエントリポイント数などの情報が格納される。

　同図（ｄ）は、エクステントスタートポイント情報テーブルの内部構成の一例を示す。本図に示すようにエクステントスタートポイント情報テーブルは、number＿of＿extent＿start＿pointsと、number＿of＿extent＿start＿points個のSPN＿start＿pointから構成される。

　number＿of＿extent＿start＿pointsは、関連するAVストリームファイルに帰属するエクステントの個数を示す。クリップbase情報におけるエクステントスタートポイント情報テーブルと、クリップEnhancement情報におけるエクステントスタートポイント情報テーブルとのペアは、number＿of＿extent＿start＿pointsが同じ値になる。

　SPN＿extent＿start(SPN＿extent＿start[0]～SPN＿extent＿start[number＿of＿extent＿start＿point])は、number＿of＿extent＿start＿point+1個のSPN＿extent＿startから構成される。SPN＿extent＿startは、エクステント識別子[extent＿id]によって指示され、AVストリームファイルにおけるextent＿id番目のエクステントが開始するソースパケットのソースパケット番号を示す32ビットの値である。

　次に、プレイリストファイル（YYY.MPLS）について説明する。

　プレイリストファイルによって定義される再生経路は、いわゆる「マルチパス」である。マルチパスとは、ベースビデオストリームを含む主となるトランスポートストリームに対して定義された再生経路(メインパス)と、エンハンスメントビデオストリームを含む従となるトランスポートストリームに対して定義された再生経路(サブパス)とを束ねたものである。このマルチパスにおいてBaseビデオストリームの再生経路を規定し、サブパスにおいてディペンデントビデオストリームの再生経路を規定すれば、色深度拡張モードのためのBaseビデオストリームと、Enhancementビデオストリームとの組合せを、好適に規定することができる。プレイリスト情報は、プレイアイテム情報－ストリーム情報－トランスポートストリームという階層構造を有しており、トランスポートストリーム及びストリーム情報の組みと、プレイアイテム情報との比率については、１対多の関係にして、1つのトランスポートストリームを複数のプレイアイテム情報から多重参照することができる。よって、あるプレイリストのために作成されたトランスポートストリームをバンクフィルムとして採用し、これを複数のプレイリスト情報ファイルにおけるプレイアイテム情報から参照することで、映画作品のバリエーションを効率良く作成することができる
　図２９は、プレイリスト情報の内部構成の一例を示す。同図（ａ）に示すようにプレイリスト情報は、主となるTSに対する再生経路の定義を示す「メインパス情報」、従たるTSに対する再生経路の定義を示す「サブパス情報」、再生区間に対してエントリーマークやリンクポイントを設定するための「プレイリストマーク情報」、「エクステンションデータ」を含む。図２９（ｂ）に示すように、プレイリストにおけるメインパスは１つ以上のプレイアイテム１２０１から構成され、各プレイアイテムはAVクリップに対する再生区間を示す。各プレイアイテム１２０１はそれぞれプレイアイテムIDで識別され、プレイリスト内で再生されるべき順序で記述されている。また、プレイリストは再生開始点を示すプレイリストマーク１２０２を含んでいる。プレイリストマーク１２０２はプレイアイテムで定義される再生区間内に対して付与することでき、プレイアイテムに対して再生開始点となりうる位置に付けられ、頭出し再生に利用される。プレイリストマーク情報は、プレイアイテムにおいてマークポイントが何処にあるかを示すタイムスタンプと、マークポイントの属性を示す属性情報とを含み、この属性情報は、プレイリストマーク情報により定義されたマークポイントが、リンクポイントであるか、エントリーマークであるかを示す。

　リンクポイントは、リンクコマンドによるリンクが可能であるが、チャプタースキップ操作がユーザによりなされた場合の選択対象にはならないマークポイントである。

　エントリーマークは、リンクコマンドによるリンクが可能であり、尚且つチャプタースキップ操作がユーザによりなされた場合の選択対象になるマークポイントである。

　IGストリームのボタン情報内に組込まれたリンクコマンドは、プレイリストマーク情報を介した間接参照の形式で頭出し位置を指定している。

　プレイアイテム情報の内容について図２９（ｃ）を用いて説明する。プレイアイテムには、クリップ情報ファイルのファイル名(clip＿information＿file＿name)を用いてビデオストリーム再生時に参照すべきクリップ情報を指定するクリップ情報参照子１３０１と、ビデオストリームのSTC時間軸において再生を開始すべき時点(In＿Time)を指定する、AVクリップの再生開始時刻１３０２と、ビデオストリームのSTC時間軸において再生を終了すべき時点(Out＿Time)を指定する、AVクリップの再生終了時刻１３０３と、コネクションコンディション１３１０と、基本ストリーム選択テーブル１３０５とを含む。再生開始時刻と再生終了時刻は時間情報であるため、再生機はクリップ情報ファイルのエントリマップを参照し、指定された再生開始時刻および再生終了時刻に対応するSPNを取得し、読み出し開始位置を特定して再生処理を行う。

　コネクションコンディション１３１０は、前方プレイアイテムと接続タイプを示している。プレイアイテムのコネクションコンディション１３１０が「１」の場合は、プレイアイテムが指し示すAVクリップは、そのプレイアイテムの前のプレイアイテムが指し示すAVクリップとシームレス接続が保証されないことを示す。プレイアイテムのコネクションコンディション１３１０が「５」か「６」の場合は、プレイアイテムが指し示すAVクリップは、そのプレイアイテムの前のプレイアイテムが指し示すAVクリップとシームレスに接続されることが保証される。コネクションコンディション１３１０が「５」とは、クリーンブレークを伴うシームレス接続である。ここで「クリーンブレーク」とは、プレイアイテム間でSTCの連続性が途切れていても良いこと、つまり、接続前プレイアイテムのAVクリップ終端のビデオ表示時刻よりも、接続後プレイアイテムのAVクリップ先頭のビデオ表示時刻開始時刻は不連続でよいことを意味する。ただし、接続前プレイアイテムのAVクリップを後述するシステムターゲットデコーダ１５０３のPIDフィルタに入力した後に続けて、接続後プレイアイテムのAVクリップをシステムターゲットデコーダ１５０３のPIDフィルタに入力して再生したときに、システムターゲットデコーダ１５０３のデコードが破綻しないようにAVクリップを作成する必要がある。また接続前プレイアイテムのAVクリップのオーディオの終端フレームと、接続後プレイアイテムのオーディオの先頭フレームは再生時間軸で重なら無ければならないなどの制約条件がある。

　コネクションコンディション１３１０が「６」とは、「ATS、PTSに連続性が存在するシームレス接続」であり、接続前プレイアイテムのAVクリップと接続後プレイアイテムのAVクリップを結合したときに１本のAVクリップとして再生できなければならない。つまり、接続前プレイアイテムのAVクリップと接続後プレイアイテムのAVクリップ間でSTCは連続し、またATCも連続する。

　基本ストリーム選択テーブル１３０５は、複数のストリームエントリ１３０９からなり、ストリームエントリ１３０９はストリーム選択番号１３０６、ストリームパス情報１３０７、ストリーム識別情報１３０８からなる。ストリーム選択番号１３０６は、基本ストリーム選択テーブルに含まれるストリームエントリ１３０９の先頭から順にインクリメントされる番号であり、プレーヤでのストリーム識別のために利用される。ストリームパス情報１３０７は、ストリーム識別情報１３０８によって示されるストリームが、どのAVクリップに多重化されているかを示す情報であり、例えば"メインパス"であれば、該当するプレイアイテムのAVクリップを示し、"サブパスID=１"であれば、そのサブパスIDが示すサブパスにおいて、該当するプレイアイテムの再生区間に対応するサブプレイアイテムのAVクリップを示す。ストリーム識別情報１３０８は、PIDなどの情報であり、参照するAVクリップに多重化されているストリームを示す。また、ストリームエントリ１３０９には、各ストリームの属性情報も同時に記録されている。ここで属性情報とは、各ストリームの性質を示す情報で、例えばオーディオ、プレゼンテーショングラフィックス、インタラクティブグラフィックスの場合には、言語属性などが含まれる。

　プレイリストは、図２９（ｄ）に示すように１つ以上のサブパスを有することが出来る。サブパスはプレイリストに登録される順にIDが振られ、サブパスIDとして、サブパスを識別するために使われる。サブパスは、メインパスと同期して再生される一連の再生経路を示す。サブプレイアイテムは、プレイアイテムと同様に再生するクリップ情報１３０１と再生開始時刻１３０２および再生終了時刻１３０３を持ち、サブプレイアイテムの再生開始時刻１３０２と再生終了時刻１３０３は、メインパスと同じ時間軸で表される。例えば、プレイアイテム#2のストリーム選択テーブル１３０５に登録されているあるストリームエントリ１３０９が、サブパスID=０でプレゼンテーショングラフィックス１を示す場合は、サブパスID=０のサブパスの中で、プレイアイテム#2の再生区間に同期して再生するサブプレイアイテム#2のAVクリップの中に多重化されるプレゼンテーショングラフィックス１が、プレイアイテム#2の再生区間に再生されることになる。また、サブプレイアイテムには、プレイアイテムのコネクションコンディションと同じ意味を持つSPコネクションコンディションというフィールドが存在する。SPコネクションコンディションが「５」もしくは「６」のサブプレイアイテム境界のAVクリップは、コネクションコンディション「５」もしくは「６」と同じ上記条件を守る必要がある。

　図２９（ｅ）におけるエクステンションデータは、色深度拡張プレイリストにのみ存在する情報要素であり、拡張ストリーム選択テーブルを含む。拡張ストリーム選択テーブルは、Enhancementビデオストリームのストリームエントリー、ストリーム属性を具備しており、このストリームエントリーによってEnhancementビデオストリームの多重分離を再生装置に指示する。

　図３０は、BDMVディレクトリに記録されたプレイリストファイル(mplsファイル)によって定義されるプレイリスト、色深度拡張プレイリストを示す。第１段目は、BDMVディレクトリのプレイリスト情報であり、第２段目は、ベーズデータブロック、第３段目は、色深度拡張プレイリスト、第４段目は、Enhancementデータブロックを示す。

　矢印rf1,rf2,rf3は、BDMVディレクトリのプレイリスト情報のプレイアイテム情報におけるclip＿information＿file＿nameに記述されているファイル名00001と、拡張子m2tsとを組合せることによる再生経路を示す。この場合、データブロックB[1],B[2],B[3]neによってBaseビデオ側の再生経路が構成される。

　矢印rf4,rf5,rf6,rf7は、色深度拡張プレイリスト情報のプレイアイテム情報により指定される再生経路を示す。この場合、B[1],B[2],B[3]ce,B[4]ceを用いてBaseビデオ側の再生経路が構成される。

　矢印rf8,rf9,rf10,rf11は、色深度拡張プレイリスト情報のサブプレイアイテム情報により指定される再生経路を示す。この場合、E[1],E[2],E[3],E[4]を用いてEnhancementビデオ側の再生経路が構成される。これらのプレイアイテム情報、サブプレイアイテム情報により指定される再生経路を構成するデータブロックは、プレイアイテム情報におけるclip＿information＿file＿nameに記述されているファイル名と、拡張子ceifとを組合せてファイルオープンを行うことで読み出すことができる。

　インターリーブドストリームファイルにメインTS、サブTSを格納する場合、BDMVディレクトリのプレイリストのプレイアイテム情報におけるclip＿information＿file＿nameは、m2tsファイルのファイル名を記述する。色深度拡張プレイリストのプレイアイテム情報におけるclip＿information＿file＿nameは、ファイルBaseのファイル名を記述する。ファイルBaseは、仮想的なファイルであり、そのファイル名は、インターリーブドストリームファイルと同じものなので、インターリーブドストリームファイルのファイル名をプレイアイテム情報におけるclip＿information＿file＿nameに記述しておけばよい。拡張ストリーム選択テーブルのストリーム登録情報におけるref＿to＿subclip＿entry＿idは、ファイルEnhancementのファイル名を記述する。ファイルEnhancementのファイル名は、インターリーブドストリームファイルの識別番号に、１を加算したものとする。

　以上のように、Baseビデオデータブロックと、Enhancementデータブロックとを1つのインターリーブドストリームファイルに格納しつつも、インターリーブドストリームファイルを、m2tsファイル、ファイルBase、及び、ファイルEnhancementのうち、何れかのファイルとしてオープンすることができるので、デコーダ側では、インターリーブドストリームファイルを通常のストリームファイルと同様に取り扱うことができる。よって、Baseビデオストリーム、Enhancementビデオストリームの格納方式に、積極的にインターリーブドストリームファイルを取り入れることができる。

　また色深度拡張プレイリストでは、プレイリスト情報のメインパス情報、サブパス情報を用いてBaseビデオストリームとEnhancementビデオストリームとは、1つのマルチパスとして統合されることになる。よってBaseビデオストリーム及びEnhancementビデオストリームは、第１実施形態に示したように色深度拡張インターリーブドストリームファイルの形式をとるのではなく、Out-of-MUXの形式で記録することができる。同一記録媒体の別々のストリームファイルに格納して記録することができるし、別々の記録媒体の別々のストリームファイルに格納して記録することもできる。

　色深度拡張のためのEnhancementビデオストリームや色深度拡張に対応するプレイリスト情報はOut-of-MUXの形式での格納が許容されるから、BaseビデオストリームのみをBlu-ray ReadOnlyディスクに記録してパッケージ媒体として販売し、このパッケージ媒体を購入したユーザに対する特典として、Enhancementビデオストリームを提供することができる。つまり、Baseビデオストリームのみが記録されたパッケージ媒体であるBlu-ray ReadOnlyディスクが再生装置に装填された際、再生装置は、このBaseビデオストリームに対応するEnhancementビデオストリームを含むAVクリップと、これに対応するクリップ情報ファイル、色深度拡張プレイリスト情報ファイル、色深度拡張対応プログラムをサーバからダウンロードする。そして、これらのダウンロードファイルと、Blu-ray ReadOnlyディスクにおけるファイルを一体化した仮想パッケージを形成することにより色深度拡張を実現することができる。

　（色深度拡張に対応した映像を再生するための再生装置)
　次に、本発明にかかる色深度拡張映像を格納するBlu-ray ReadOnlyディスクを再生する再生装置について説明する。

　図３１は、再生装置１００２の構成を示している。本図の内部構成は、これまでに説明した色深度拡張部を中核に据え、その前段、後段、周辺部に再生装置としての機能を担保するための構成要素を配置したものといえる。この再生装置は、ディスクドライブ１００、読出部１０１、第１リードバッファ１０２a、第２リードバッファ１０２b、ATS復元部１０３、システムターゲットデコーダ１０４、プレーンメモリセット１０５a、プレーン合成部１０５b、機器間インターフェイス１０６、再生制御部１０７、管理情報メモリ１０８、レジスタセット１１０、プログラム実行部１１１、プログラムメモリ１１２、拡張機能メモリ１１３、機器固有処理部１１４、インデックスメモリ１１５、プログラム管理部１１６、ユーザイベント処理部１１７から構成されている。

　ディスクドライブ１００は、通常のディスクドライブ同様、再生制御部１０７からの要求を元にBlu-ray ReadOnlyディスクからデータを読み出すが、Blu-ray ReadOnlyディスクから読み出されたAVクリップは第１リードバッファ１０２aか第２リードバッファ１０２bに転送される点が異なる。色深度拡張映像を含むディスクを再生する際には、再生制御部１０７からはBaseビデオストリームを含むAVクリップとEnhancementビデオストリームを含むAVクリップが交互に読み出し要求が送られる。ディスクドライブ１００は、Baseビデオストリームを含むAVクリップのデータは第１リードバッファ１０２aに、Enhancementビデオストリームを含むAVクリップのデータは第２リードバッファ１０２bにスイッチしながら転送を行う。色深度拡張映像を含む映像を再生する際には、Baseビデオストリームを含むAVクリップとEnhancementビデオストリームを含むAVクリップの両方を同時に読み込む必要があるため、通常のBlu-ray ReadOnlyディスクドライブ以上のアクセススピード性能が求められる。

　読出部１０１は、立体視映像を構成するコンテンツが記録された記録媒体を装填して、記録媒体に対する読み出しを実行する。また読出部は、ビデオストリームの時間軸における任意の時点からのランダムアクセスを実行する。具体的には、ビデオストリームの時間軸における任意の時点からの再生が命じられた場合、エントリーマップを用いて、その任意の時点に対応するアクセスユニットのソースパケット番号をサーチする。上記サーチによって、当該アクセスユニットについてのアクセスユニットデリミターを格納したソースパケットのソースパケット番号が特定される。かかるソースパケット番号からの読み出し、及び、デコードを実行する。シーンジャンプにあたって、分岐先を示す時間情報を用いて上記サーチを実行することにより、ランダムアクセスを実行する。

　第１リードバッファ１０２aaは、ディスクドライブ１００から読み込まれたメインTSを構成するTSパケットが格納されるバッファである。

　第２リードバッファ１０２bはディスクドライブ１００から読み込まれたサブTSを構成するTSパケットが格納されるバッファである。

　ATCシーケンス復元部１０３は、1つの記録媒体から読み出されたインターリーブドストリームファイル内のソースパケットから、Baseビデオストリームを構成するATCシーケンスと、Enhancementビデオストリームを構成するATCシーケンスとを分離し、2つのリードバッファのそれぞれに書き込むものである。こうすることで再生装置は、Baseビデオストリームを構成するATCシーケンス、Enhancementビデオストリームを構成するATCシーケンスがそれぞれ別々の記録媒体から読み出されたかのように処理することができる。

　システムターゲットデコーダ１０４は、第１リードバッファ１０２aに読み出されたソースパケットと、第２リードバッファ１０２bに読み出されたソースパケットとに対して多重分離処理を行いストリームのデコード処理を行う。システムターゲットデコーダ１０４はデコードしたBaseビデオストリームとEnhancementビデオストリームをデコードして色深度拡張を行う。

　プレーンメモリセット１０５aは、複数のプレーンメモリから構成される。これらのプレーンメモリは、レイヤモデルを構成しており、個々のプレーンメモリの格納内容は、レイヤ合成に供される。非圧縮の一画面分の階調ビット列が、これらプレーンメモリに書き込まれる。この書き込みは、個々のアクセスユニットのプレゼンテーションタイムスタンプに示されている再生開始時刻の到来時になされる。

　プレーン合成部１０５bは、複数のプレーンメモリにおけるレイヤ合成を行う。プレーンメモリのレイヤ合成は、プレーンメモリのレイヤモデルにおいて、階層間のプレーンメモリに格納されている画素データの画素値を重畳させるという処理を、レイヤモデルにおける階層間の全ての組合せに対して実行することでなされる。プレーン合成部１０５bによるレイヤ合成は、プレーンメモリのレイヤモデルにおいて、2つの階層のプレーンメモリに格納されている画素データの画素値を重畳させるという処理を、レイヤモデルにおける2つの階層の全ての組合せに対して実行することでなされる。

　階層間の重畳は、ある階層に位置するプレーンメモリのライン単位の画素値に透過率αを重みとして乗じるとともに、その下位階層に位置するプレーンメモリのライン単位の画素値に（１－透過率α）という重みを乗じてこれら輝度の重み付けがなされた画素値同士を加算し、加算結果を、その階層におけるライン単位の画素の画素値とする処理である。この階層間の重畳を、レイヤモデルの隣接する2つ階層に位置するライン単位の画素同士で繰り返し実行することにより、上記レイヤ合成は実現される。

　機器間インターフェイス１０６は、ホームシアターシステムにおける他の機器とインターフェイスを介して接続された際、ネゴシエーションフェーズを経て、データ伝送フェーズに移行し、データ伝送を行う。このネゴシエーションフェーズは、相手側機器のケーパビリティ(デコード能力、再生能力、表示周波数を含む)を把握して、プレーヤ設定レジスタに設定しておき、以降の伝送のための伝送方式を定めるものであり、相互認証フェーズを含む。ネゴシエーションフェーズを経て、レイヤ合成がなされたピクチャデータにおける一ライン分の非圧縮・平文形式の画素データを、表示装置における水平同期期間に従い表示装置に高い転送レートで転送する。ここで、色深度拡張モードにおいて、転送されるべき画素データは、輝度Y,赤色差Cr,青色差Cbのそれぞれが8ビットからNビットに拡張されたものになる。よって、色深度拡張モードに設定された場合の伝送フェーズにおいて送受信部２０９は、伝送に先立ち、画素ビット値のビット幅を表示装置に伝える。

　一方、表示装置における水平帰線期間、及び、垂直帰線期間において、再生装置と接続された他の装置(表示装置のみならずアンプ、スピーカを含む)に、非圧縮・平文形式のオーディオデータを転送する。こうすることで、表示装置、アンプ、スピーカといった機器は、非圧縮・平文形式のピクチャデータ、非圧縮・平文形式のオーディオデータを受け取ることができ、再生出力を実現することができる。また、相手側機器にデコード能力が存在する場合、ビデオストリーム、オーディオストリームのパススルー伝送が可能になる。パススルー伝送では、ビデオストリーム、オーディオストリームを圧縮・暗号化形式のまま伝送することができる。

　　再生制御部１０７は、ドライブ１００とシステムターゲットデコーダ１０４とを制御して、AVクリップの再生を制御する機能を持つ。再生制御部１０７は、プログラム実行部１１１からの再生命令や、ユーザイベント処理部１１７より通知に基づき、プレイリスト情報を解釈してAVクリップの再生処理を制御する。かかる制御のため、プレイリスト情報の解釈のための再生制御エンジンやAVクリップの再生制御のための再生エンジンを具備している。また再生制御部１０７は、システムパラメータを参照して、再生動作を行う。色深度拡張されるBaseビデオストリームを含むAVクリップを再生対象とするプレイリストの再生がプログラム実行部１１１などから命じられると、プレイリストの中で再生対象となるプレイアイテムのBaseビデオストリームを含むAVクリップを特定し、Baseビデオストリームの色拡張を行うためのEnhancementビデオストリームを含むAVクリップを特定する。Enhancementビデオストリームを含むAVクリップの特定には、Baseビデオストリームを含むAVクリップの名前を用いた関連付けや、別途管理ファイルを用いた関連付けによる特定が考えられる。その後、対応するクリップ情報ファイルのエントリマップを解釈し、どちらのエクステントから先にエクステントが配置されているか示すエクステント開始タイプに基づき、再生開始地点からエクステント単位でBaseビデオストリームを含むAVクリップとEnhancementビデオストリームを含むAVクリップを交互に読み出すようにディスクドライブ１００に要求する。再生開始するときには、最初のエクステントを第１リードバッファ１０２aか、第２リードバッファ１０２bに読みきった後に、第１リードバッファ１０２aと第２リードバッファ１０２bからシステムターゲットデコーダ１０４に転送を開始する。

　管理情報メモリ１０８は、記録媒体に記録されている複数のプレイリスト情報、クリップ情報のうち、再生制御部１０７の処理対象になっているもの(カレントプレイリスト情報、カレントクリップ情報)を格納する。

　レジスタセット１１０は、複数のプレーヤ状態レジスタ、複数のプレーヤ設定レジスタ、汎用目的レジスタから構成される。個々のプレーヤ状態レジスタ、プレーヤ設定レジスタは何れも語長が３２ビットのレジスタであり、３２ビット長のレジスタのそれぞれにはレジスタ番号が与えられ、このレジスタ番号を用いてアクセスすべきレジスタが特定される。

　プレーヤ状態レジスタ(Player Status Register:PSR)１１０aは、光ディスクが装填された際に初期値が設定され、またカレントプレイアイテムの変更等、再生装置の状態が変化した際に、その格納値の有効性が判定されるレジスタである。この格納値としては、カレントのタイトル番号、カレントのプレイリスト番号、カレントのプレイアイテム番号、カレントのストリーム番号、カレントのチャプター番号等がある。光ディスクの装填時に初期値が格納されるので、この格納値は一時的なものであり、光ディスクがイジェクトされたり、また再生装置の電源が断たれれば、この格納値は有効性を失う。

　プレーヤ設定レジスタ(Player Setting Register:PSR)１１０bは、電源対策が施されている点がプレーヤ状態レジスタとは異なる。電源対策が施されているので、再生装置の電源遮断時において、その格納値が不揮発性のメモリに退避され、再生装置の電源投入時において、その格納値が復帰される。再生装置の製造主体(マニファクチャ)が再生装置の出荷時に定めた再生装置の各種コンフィグレーションや、ユーザがセットアップ手順に従い設定した各種コンフィグレーション、そして、再生装置がTVシステムやステレオ、アンプ等のホームシアターシステムの機器と接続された際、接続相手となる機器とのネゴシエーションにより判明した相手側機器のケーパビリティがプレーヤ設定レジスタに設定される。本実施形態特有の再生モードとして色深度拡張モードがある。これは接続相手である表示装置が12ビット対応の表示装置であり、再生装置のセットアップ時に、ユーザが色深度拡張モードを有効とした場合のみ設定される特殊な再生モードである。所定のレジスタ番号のプレーヤ状態レジスタ、プレーヤ設定レジスタに格納されている32ビット長のビット列であって、任意のビット範囲[bx:by]のもの値は、プログラムが動作を行うにあたっての動作システムの環境変数(システムパラメータ)として扱われる。

　プレーヤ状態レジスタ、プレーヤ設定レジスタにおけるシステムパラメータには以下のものがある。

　　SPRM（０）　　　：　言語コード
　　SPRM（１）　　　：　主音声ストリーム番号
　　SPRM（２）　　　：　字幕ストリーム番号
　　SPRM（３）　　　：　アングル番号
　　SPRM（４）　　　：　タイトル番号
　　SPRM（５）　　　：　チャプタ番号
　　SPRM（６）　　　：　プログラム番号
　　SPRM（７）　　　：　セル番号
　　SPRM（８）　　　：　選択キー情報
　　SPRM（９）　　　：　ナビゲーションタイマー
　　SPRM（１０）　　：　カレント再生時刻
　　SPRM（１１）　　：　カラオケ用ミキシングモード
　　SPRM（１２）　　：　パレンタル用国情報
　　SPRM（１３）　　：　パレンタルレベル
　　SPRM（１４）　　：　プレーヤ設定値（ビデオ）
　　SPRM（１５）　　：　プレーヤ設定値（オーディオ）
　　SPRM（１６）　　：　音声ストリーム用言語コード
　　SPRM（１７）　　：　音声ストリーム用言語コード（拡張）
　　SPRM（１８）　　：　字幕ストリーム用言語コード
　　SPRM（１９）　　：　字幕ストリーム用言語コード（拡張）
　　SPRM（２０）　　：　プレーヤリージョンコード
　　SPRM（２１）　　：　子画面映像ストリーム番号
　　SPRM（２２）　　：　副音声ストリーム番号
　　SPRM（２３）　　：　再生状態
　　SPRM（２４）　　：　3D映像再生能力

　SPRM（１０）は、AVクリップに属する各ピクチャデータが表示される度に更新される。つまり再生装置が新たなピクチャデータを表示させれば、その新たなピクチャデータの表示時刻（PTS）を示す値にSPRM（１０）は更新される。このSPRM（１０）を参照すれば、現在の再生時点を知得することができる。

　SPRM（１６）の音声ストリーム用言語コードやSPRM（１８）の字幕ストリーム用言語コードは、プレーヤがオンスクリーンディスプレイを用いてセットアップメニューを描画した際、セットアップメニューを通じて設定可能となる項目であり、プレーヤのデフォルトの言語コードを示す。例えば、SPRM（１６）の音声ストリーム用言語コードが英語であれば、プレイリストを再生する上で、プレイアイテムのストリーム選択テーブルの中から同じ言語コードを持つストリームエントリを探し出し、その音声ストリームを選択して再生するといった機能をBDプログラムファイルに入れることができる。また再生制御部１０７は、システムパラメータの状態をチェックしながら再生する。また、SPRM（１）、SPRM（２）、SPRM（２１）、SPRM（２２）は、それぞれ音声ストリーム番号、字幕ストリーム番号、子画面映像ストリーム、副音声ストリームの番号を示し、これらの値は、前述したストリーム選択番号６０６に対応する。例えば、プログラム実行部１１１によって、音声ストリーム番号SPRM（１）が変更されたとする。再生制御部１０７は、現在再生しているプレイアイテムのストリーム選択テーブル６０５の中から、ストリーム選択番号６０６と比較して、一致するストリームエントリ６０９を参照し、再生する音声ストリームを切り替える。このようにしてどの音声・字幕・子画面映像ストリームを再生するかどうかを切り替える。

　汎用目的レジスタ(General Purpose Register:GPR)１１０cは、再生装置のMPUが算術演算やビット演算を行う際、その被演算子となる数値を格納しておくためのハードウェア資源である。プレーヤ状態レジスタは、プログラムによる値の書き込みは禁じられるが、汎用目的レジスタでは、かかる書き込みが可能となる。本実施形態では、この汎用目的レジスタを色深度拡張ケーパビリティレジスタとして使用する。色深度拡張ケーパビリティレジスタとは、色深度拡張によって実現される拡張機能の処理能力が存在するかどうかを示すものである。当該拡張機能には、複数の種別があり、これらの拡張機能のそれぞれについて、処理能力の存否が設定できるようになっている。

　所定のレジスタ番号の汎用目的レジスタに格納されている32ビット長のビット列であって、任意のビット範囲[bx:by]のもの値は、プログラムが動作を行うにあたっての動作システムのプレーヤ変数(汎用目的パラメータ:GPRM)として扱われる。

　プログラム実行部１１１は、BDプログラムファイルに格納されたプログラムを実行するプロセッサである。コマンド実行モジュール１１１aは、コマンドインタプリタを具備し、ムービーオブジェクトを構成するナビゲーションコマンドを解読して実行することでHDMVモードの制御を実行する。バイトコード実行モジュール１１１bは、いわゆるJava仮想マシンのプラットフォーム部であり、ヒープメモリに格納されているBD-Jアプリケーションを構成するバイトコード、システムアプリケーションを構成するバイトコードをネィティブコードに変換して、MPUに実行させる。

　プログラムメモリ１１２は、プログラム実行部１１１の実行対象となるプログラムが格納される。かかるプログラムには、色深度拡張処理に適合した色深度拡張プログラムが存在する。

　拡張機能メモリ１１３は、拡張機能判定ファイルが格納されるメモリである。

　機器固有処理部１１４は、Blu-ray ReadOnlyディスクのプレーヤでは想定されていない機器固有機能を実行する。本実施形態において、この機器固有機能の1つとして、色深度拡張モードの設定、及び、拡張機能ケーパビリティの初期化を行う。

　前者の色深度拡張モード設定は、ボームシアターシステムに再生装置が設置され、表示装置と初めて接続された際になされる。この初めての接続時において、機器固有処理部１１４は、機器間インターフェイスを通じて表示装置における色深度を取得する。表示装置における画素階調が8ビットを越えるものであり、12ビットでの色深度表現が可能であるなら、色深度拡張モードへの移行を促すセットアップメニューをポップアップして、色深度拡張モードに移行するかどうかをユーザに問合せる。ユーザが色深度拡張モードを選択すれば、機器固有処理部１１４は、カレントモードが色深度拡張モードを示すようプレーヤ設定レジスタを設定する。その上で機器間インターフェイスにおけるネゴシエーションフェーズにおいて、機器間インターフェイスを通じて表示装置を色深度拡張モードに設定させる。表示装置が12階調での色深度表現をすることができない場合、又は、ユーザが色深度拡張モードの選択を希望しなった場合、カレントモードが非色深度拡張モードを示すようプレーヤ設定レジスタを設定する。

　後者の拡張機能ケーパビリティの初期化は、記録媒体の装填時になされる。カレントモードが色深度拡張モードに設定されている状態で、記録媒体が装填されれば、機器固有処理部１１４は、その記録媒体からロードされるプログラムのために、拡張機能ケーパビリティの初期化を行う。この初期化は、様々な拡張機能のケーパビリティの有無を示す拡張機能ケーパビリティレジスタのそれぞれに初期値を設定することでなされる。こうすることで、記録媒体からロードされるプログラムは色深度拡張を応用した様々な確認機能のうち、どれが実行可能であり、どれが実行不可能であるかを個別に判断することができる。

　インデックスメモリ１１５は、ディスク媒体が本再生装置に装填された際、インデックステーブルが読み込まれるメモリである。

　プログラム管理部１１６は、再生装置状態やユーザ操作に応じてインデックステーブルに規定されている複数タイトルのうち何れか1つをカレントタイトルとして選択して、プレーヤ状態レジスタの１つである、カレントタイトル番号レジスタに格納する。そして、カレントタイトル番号に対応するプログラムファイルを選択して、そのプログラムファイルを処理対象にするよう、ナビゲーションコマンド実行モジュール、バイトコード実行モジュールに指示する。プログラムファイルには、バイトコードの動作モードのためのプログラムファイル、ナビゲーションコマンドの動作モードのためのプログラムファイルがある。

　ユーザイベント処理部１１７は、リモコンを通じたユーザ操作に応答して、プログラム実行部１１１や再生制御部１０７に処理の実行を依頼する。例えば、リモコンでボタンを押した場合は、そのボタンに含まれるコマンドを実行するようプログラム実行部１１１に依頼する。例えば、リモコンで早送り・巻戻しボタンが押された場合には、再生制御部１０７に、現在再生しているプレイリストのAVクリップに対する早送り・巻戻し処理の実行を命令する。

　上記の構成において記録媒体及びその再生装置は、MPEG4-MVCで立体視再生を実現するBD-3Dアプリケーションフォーマットやそのプレーヤモデルをベースにしている。かかるアプリケーションフォーマットやそのプレーヤモデルにおいて、他視点からの視点画像を構成するEnhancementビデオストリームの代わりに、Enhancementビデオストリームを導入すれば、色深度拡張のための記録媒体や再生装置を導入することができるから、オーサリング環境や再生装置の動作検証の仕組みは、BD-3Dの実現で培われた設計資産を活用することができる。これにより色深度拡張コンテンツの早期の実用化が可能になる。

　　図３２（ａ）は、インターリーブドストリームファイルからATCシーケンスの復元がどのように行われるかを示す図である。同図（ａ）は、ATCシーケンス復元部を具備した読出部の内部構成の一例を示す。上述したように、2つのドライブと、2つのリードバッファとの間にATCシーケンス復元部が介在している。図中の矢印B0は、1つのドライブからのBaseデータブロック及びEnhancementデータブロック入力を象徴的に示したものであり、矢印B1は、Baseビデオストリームを構成するATCシーケンス１の書き込み、矢印D1は、Enhancementビデオストリームを構成するATCシーケンス２の書き込みを模式的に示す。

　図３０（ｂ）は、ATCシーケンス復元部によって得られた2つのATCシーケンスが、どのように取り扱われるかを示す。図中の真ん中はPIDフィルタを示す。左側は、ATCシーケンス復元部によって得られた2つのATCシーケンスを示す。右側は、これらの2つのATCシーケンスを多重分離することで得られるBaseビデオストリーム、Enhancementビデオストリーム、PGストリーム1,2、IGストリーム1,2を示す。これらのATCシーケンスは、クリップ情報におけるエントリーマップによって、STCシーケンスとの対応がとられる。

　Baseビデオストリームに対応するATSシーケンス１、及び、Enhancementビデオストリームに対応するATSシーケンス２を構成するそれぞれのTSパケットにはアライバルタイムスタンプが付加されており、複数のTSパケットであって、基本ストリーム選択テーブルにおいて同時に再生することが許可されているエレメンタリストリームを構成するもの単位時間当たりの総データサイズは、48Mbps以下である。単位時間当たりの総データサイズは、アライバルタイムスタンプが基準としている時間軸上の確認枠であるウィンドゥ内で算出され、前記総データサイズは、当該ウィンドゥが、アライバルタイムスタンプが基準としている時間軸における何れの時点に存在したとしても、48Mbps以下になっている。

　1秒当りのデータサイズが48Mbitであるから、ストリームの同時読み出しのため、TSパケットの供給量が局所的に96Mbitにまであがったとしても、"1秒当たりのビット量が48Mbit以下"に制限されるため、ワーストケースにあたる96Mbitのデータ供給量は、0.5秒以上継続することはない。

　ストリームの再生時間軸上のどの時点においても「ワーストケースが0.5秒以上継続しない」との保障があるので、96Mbit×0.5秒のサイズのTSパケットを、常に先読みしてデコーダに供給するように、再生装置を構成しておけば、デコーダ内のバッファのアンダーフローを回避することができる。

　図３３は、Baseビデオクリップ情報におけるエクステントスタートポイント情報の一例と、Enhancementビデオクリップ情報におけるエクステントスタートポイント情報の一例を示す。（ａ）は、Baseビデオクリップ情報のエクステントスタートポイント情報と、Enhancementビデオクリップ情報のエクステントスタートポイント情報とを示す。　（ｂ)は、ATCシーケンス1を構成するBaseビデオデータブロックB[0],B[1],B[2]・・・・B[n]、ATCシーケンス2を構成するEnhancementデータブロックE[0],E[1],E[2]・・・・E[n]、を示す。（ｃ）は、Enhancementデータブロックのソースパケット数、Baseデータブロックのソースパケット数を示す。

　これらにおいて、Enhancementデータブロックの先頭ソースパケット番号、Baseデータブロックの先頭ソースパケット番号は、（ｄ）に示す通りになる。

　インターリーブドストリームファイルにおいて、E[0]の先頭SPNは「0」、B[0]の先頭SPNは「b1」になる。

　E[1]の先頭SPNについては、先行するE[0]のソースパケット数b1と、B[0]のソースパケット数a1との和になるから「b1+a1」になる。

　B[1]の先頭SPNについては、先行するE[0]のソースパケット数b1と、B[0]のソースパケット数a1と、先行するE[1]のソースパケット数b2-b1との和になるから「b2+a1(=b1+a1+b2-b1)」になる。

　E[2]の先頭SPNについては、先行するE[0]のソースパケット数b1と、B[0]のソースパケット数a1と、先行するE[1]のソースパケット数b2-b1と、B[1]のソースパケット数a2-a1との和になるから「b2+a2(=b1+a1+b2-b1+a2-a1)」になる。

　B[2]の先頭SPNについては、先行するE[0]のソースパケット数b1と、B[0]のソースパケット数a1と、先行するE[1]のソースパケット数b2-b1と、B[1]のソースパケット数a2-a1と、E[2]のソースパケット数b3-b2との和になるから「b3+a2(=b1+a1+b2-b1+a2-a1+b3-b2)」になる。
図３４は、ATCシーケンス１、２における任意のデータブロックのソースパケット番号を説明するための図である。
同図（ａ）のATCシーケンス２において、bxのソースパケット番号に存在するE[x]のインターリーブドストリームファイルにおけるソースパケット番号を求める場合を考える。この場合、E[x]の先頭ソースパケット番号は、E[0],B[0],E[1],B[1],E[2],B[2]・・・・E[x-1],B[x-1]の相対ソースパケット数のソースパケット数の総和になるから、同図（ｂ）に示すように「bx+ax」になる。

　同図（ａ）のATCシーケンス１において、axのソースパケット番号に存在するB[x]のインターリーブドストリームファイルにおけるソースパケット番号を求める場合を考える。この場合、同図（ｂ）に示すように、B[x]の先頭ソースパケット番号は、E[0],B[0],E[1],B[1],E[2],B[2]・・・・E[x-1],B[x-1],E[x]の相対ソースパケット数のソースパケット数の総和になるから、「ｂx+1＋ａx」になる。

　同図（ｃ）は、上記BaseデータブロックをエクステントとするファイルBaseと、上記EnhancementデータブロックをエクステントとするファイルEnhancementとを示す。

　B[x]にあたるファイルBaseのエクステントであるEXT1[x]の先頭LBN及び連続長、及び、E[x]にあたるファイルEnhancementのエクステントであるEXT2[x]の先頭LBN及び連続長は以下のように求められる。

　E[x]の先頭ソースパケット番号からLBNを求めるには、（(ｂx+ａx)*192/2048)という計算でソースパケットをLBNに変換する。同じく、Ｂ[x]の先頭ソースパケット番号からLBNを求めるには、（(ｂx+1＋ａx)*192/2048)という計算でソースパケットをLBNに変換する。ここで「192」は、ソースパケットサイズをバイト数で表したものであり、「2048」は、セクタサイズ(論理ブロックサイズ)をバイト数で表したものである。かかる変換により読出先の論理アドレスを導き出すことができる。

　次に図３５を参照しながらシステムターゲットデコーダ１０４の内部構成について説明する。システムターゲットデコーダ１０４の内部構成は、第１実施形態に示したビデオデコーダ部２３、色深度拡張部２４の周辺に、Blu-ray ReadOnlyディスクを処理するための独特の構成要素を配置した構成になっている。本図において、システムターゲットデコーダ１０４の構成要素には１２０番台の参照符号を付与することで構成要素の整理を図っている。この１２０番号の参照符号に示すように、システムターゲットデコーダ１０４は、第１ソースパケットデパケッタイザ１２１a、第２ソースパケットデパケッタイザ１２１b、PIDフィルタ１２２a、１２２b、親画面ビデオデコード部１２３、子画面ビデオデコーダ１２４、PGデコーダ１２５、ピクチャスイッチ１２３a、IGデコーダ１２６、主音声デコーダ１２７、副音声デコーダ１２８、イメージプロセッサ１２９から構成される。

　第１ソースデパケットタイザ１２１aは、第１リードバッファ１０２aaに蓄えられたソースパケットを解釈し、TSパケットを取り出し、第１PIDフィルタ１２２aに送出する。

　第２ソースデパケットタイザ１２１bは、第１リードバッファ１０２aaに蓄えられたソースパケットを解釈し、TSパケットを取り出し、第２PIDフィルタ１２２bに送出する。この送出にあたって、各ソースパケットのATSに応じてデコーダへの入力時刻を調整する。具体的には、ATCカウンタが生成するATCの値と、ソースパケットのATS値とが同一になった瞬間に、AVクリップの記録レートにしたがって、そのTSパケットだけをPIDフィルタに転送する。

　第１PIDフィルタ１２２aは、ソースデパケッタイザから出力されたTSパケットのうち、TSパケットのPIDが、再生に必要とされるPIDに一致するものを、PIDにしたがって、ビデオデコーダ、子画面ビデオデコーダ、IGデコーダ、PGデコーダ、音声デコーダ、副音声デコーダに転送する。例えば、BD-ROMの場合には、TSパケットに含まれるPIDが０x１０１１である場合は親画面ビデオデコーダに、PIDが０x１B００から０x１B１Fである場合は子画面ビデオデコーダに、PIDが０x１１００から０x１１１Fである場合は主音声デコーダに、PIDが０x１A００から０x１A１Fである場合は副音声デコーダに、PIDが０x１２００から０x１２１Fである場合はPGデコーダに、PIDが０x１４００から０x１４１Fである場合はIGデコーダに転送される。

　第２PIDフィルタ１２２bは、第２ソースデパケッタイザ１２１bから出力されたTSパケットのうち、TSパケットのPIDが、再生に必要とされるPIDに一致するものを、PIDにしたがって、ビデオデコーダの第２Transport Bufferに転送する。本実施形態特有の処理として第１、第２PIDフィルタ１２２bは、表示モードに応じた多重分離を実行する。ここで表示モードが非色深度拡張モードであれば、第１PIDフィルタ１２２aは、Baseビデオストリームに帰属するTSパケットのみを多重分離してビデオデコーダに出力する。色深度拡張モードであれば第１PIDフィルタがBaseビデオストリームに帰属するTSパケットの多重分離を行うのと共に第２PIDフィルタは、Enhancementビデオストリームに帰属するTSパケットを多重分離してビデオデコーダに出力する。

　親画面ビデオデコーダ部１２３は、MPEG4-MVCビデオデコーダであり、色深度拡張モードに設定された場合、Baseビデオストリーム及びEnhancementビデオストリームという2系統のストリームを入力して、色深度拡張を実行した上で画面出力を行う。

　ピクチャスイッチ１２３aは、親画面ビデオデコーダ部１２３から転送されたデコード済みのフレーム/フィールド画像が、８ビットBaseピクチャか、８ビットEnhancementピクチャかを判定し、色深度拡張部に伝送する。

　子画面ビデオデコーダ１２４は、親画面ビデオデコーダと同様の構成を持ち、入力される子画面ビデオストリームのデコードを行い、表示時刻（PTS）のタイミングでピクチャを子画面ビデオプレーンに書き出す。

　PGデコーダ１２５は、ソースパケタイザから入力されるTSパケットからプレゼンテーショングラフィックスストリームを抽出してデコードし、非圧縮のグラフィックスデータを表示時刻（PTS）のタイミングでPGプレーンに書き出す。具体的にいうと、PGデコーダは、PGストリームから読み出される機能セグメントを格納する「コーデッドデータバッファ」と、画面構成セグメントをデコードしてグラフィクスオブジェクトを得る「ストリームグラフィクスプロセッサ」と、デコードにより得られたグラフィクスオブジェクトを格納する「オブジェクトバッファ」と、画面構成セグメントを格納する「コンポジションバッファ」と、コンポジションバッファに格納された画面構成セグメントを解読して、これらの画面構成セグメントにおける制御項目に基づき、オブジェクトバッファに得られたグラフィクスオブジェクトを用いてグラフィクスプレーン上で画面構成を行う「コンポジションコントローラ」とを含む。

　IGデコーダ１２６は、ソースパケタイザから入力されるTSパケットからインタラクティブグラフィックスストリームを抽出してデコードし、非圧縮のグラフィックスデータを表示時刻（PTS）のタイミングでIGプレーンに書き出す。具体的にいうとIGデコーダは、IGストリームから読み出される機能セグメントを格納する「コーデッドデータバッファ」と、画面構成セグメントをデコードしてグラフィクスオブジェクトを得る「ストリームグラフィクスプロセッサ」と、デコードにより得られたグラフィクスオブジェクトを格納する「オブジェクトバッファ」と、画面構成セグメントを格納する「コンポジションバッファ」と、コンポジションバッファに格納された画面構成セグメントを解読して、これらの画面構成セグメントにおける制御項目に基づき、オブジェクトバッファに得られたグラフィクスオブジェクトを用いてグラフィクスプレーン上で画面構成を行う「コンポジションコントローラ」とを含む。

　主音声デコーダ１２７は、緩衝バッファを有し、バッファにデータを蓄えながら、TSヘッダ、PESヘッダなどの情報を取り除いて、音声ストリームのデコード処理を行い、非圧縮のLPCM状態のオーディオデータを得て再生時刻（PTS）のタイミングで音声ミキサーに出力する。AVクリップに多重化されるオーディオストリームの圧縮符号化形式にはAC３、DTSなどがあるため、ストリームの属性に応じて、圧縮音声の復号化方式を切り替える。

　副音声デコーダ１２８は、主音声デコーダと同様の構成を持ち、入力される副音声ストリームのデコードを行い、表示時刻のタイミングで非圧縮のLPCMの状態のオーディオデータを音声ミキサーに出力する。AVクリップに多重化されるオーディオストリームの圧縮符号化形式にはDolbyDigitalPlus、DTS-HD　LBRなどがあるため、ストリームの属性に応じて、圧縮音声の復号化方式を切り替える。

　音声ミキサー１２８aは、主音声デコーダから出力される非圧縮音声データと副音声デコーダから出力される非圧縮音声データとをミキシング（音の重ね合わせ）をしてスピーカなどに出力する。

　イメージプロセッサ１２９は、プログラム実行部から転送されるグラフィックスデータ（PNG・JPEG）をデコードして、プログラム実行部から指定される表示時刻にしたがって、イメージプレーンに出力する。

　続いて、親画面ビデオデコーダ部１２３の内部構成について説明する。本図において親画面ビデオデコーダ部１２３の構成要素には、１３０番台の参照符号を付与することで構成要素の整理を図っている。この１３０番台の参照符号で示すように、色拡張対応ビデオデコーダは、TB１３１、MB１３２、EB１３３、TB１３４、MB１３５、EB１３６、圧縮映像デコーダ１３７、バッファスイッチ１３８、DPB１３９、ピクチャスイッチ１２４から構成される。

　第１TB(Transport Buffer)１３１は、Baseビデオストリームを含むTSパケットが第１PIDフィルタ１２２aから出力された際、TSパケットのまま一旦蓄積されるバッファである。

　第１MB(Muliplexed Bufffer)１３２は、TB１３１からEB１３３にBaseビデオストリームを出力するにあたって、一旦PESパケットを蓄積しておくためのバッファである。TB１３１からMB１３２にデータが転送される際に、TSパケットのTSヘッダは取り除かれる。

　第１EB(Elementary Buffer)１３３は、符号化状態にあるビデオアクセスユニットが格納されるバッファである。MB１３２からEB１３３にデータが転送される際にPESヘッダが取り除かれる。

　第１TB(Transport Buffer)１３４は、Enhancementビデオストリームを含むTSパケットが第２PIDフィルタ１２２bから出力された際、TSパケットのまま一旦蓄積されるバッファである。

　第１MB(Muliplexed Bufffer)１３５は、TB１３４からEB１３６にEnhancementビデオストリームを出力するにあたって、一旦、Enhancementビデオストリームを構成するPESパケットを蓄積しておくためのバッファである。TB１３４からMB１３６にデータが転送される際に、TSパケットのTSヘッダは取り除かれる。

　第１EB(Elementary Buffer)１３６は、符号化状態にあるEnhancementビデオストリームのビデオアクセスユニットが格納されるバッファである。MB１３５からEB１３６にデータが転送される際にPESヘッダが取り除かれる。

　圧縮映像デコーダ１３７は、ビデオエレメンタリストリームの個々のビデオアクセスユニットを所定の復号時刻（DTS）でデコードすることによりフレーム/フィールド画像を作成する。AVクリップに多重化されるビデオストリームの圧縮符号化形式にはMPEG２、MPEG４AVC、VC１などがあるため、ストリームの属性に応じて、圧縮映像デコーダ１３７のデコード方法は切り替えられる。圧縮映像デコーダ１３７は、デコードされたフレーム/フィールド画像をDPB１３９に転送し、表示時刻（PTS）のタイミングで対応するフレーム/フィールド画像をピクチャスイッチに転送する。

　バッファスイッチ１３８は、第１EBと第２EBに蓄えられたピクチャをビデオアクセスユニットに割り当てられた復号時刻（DTS）のタイミングで圧縮映像デコーダ１３７に転送する。また、圧縮映像デコーダ１３７がビデオアクセスユニットをデコードする際に取得したデコードスイッチ情報を使って、次のアクセスユニットを第１EB、第２EBのどちらから引き抜くかを決定しても良い。

　DPB(Decoded Picture Buffer)１３９は、復号されたフレーム/フィールド画像を一時的に保持しておくバッファである。圧縮映像デコーダ１３７が、ピクチャ間予測符号化されたPピクチャやBピクチャなどのビデオアクセスユニットをデコードする際に、既にデコードされたピクチャを参照するために利用する。

　続いて、プレーンメモリセットの内部構成について説明する。プレーンメモリセットの構成要素には、１４０番台の参照符号を付与することで構成要素の整理を図っている。この１４０番台の参照符号で示すように、プレーンメモリセットは、子画面ビデオプレーン１４１、PGプレーン１４２、IGプレーン１４３、イメージプレーン１４４、色深度拡張プレーン１４５から構成される。

　子画面ビデオプレーン１４０にはシステムターゲットデコーダ１０４から子画面ビデオストリームがデコードされた子画面ビデオ用のピクチャデータが出力される。

　PGプレーン１４１にはシステムターゲットデコーダ１０４からプレゼンテーショングラフィックスストリームがデコードされたグラフィックスデータが格納される。

　IGプレーン１４２にはシステムターゲットデコーダ１０４からインタラクティブグラフィックスストリームがデコードされたグラフィックスデータが格納される。

　イメージプレーン１４３にはシステムターゲットデコーダ１０４か出力されたイメージデータが格納される。

　色深度拡張プレーンメモリ１４４は、8ビット階調値からなるピクチャデータを格納し得るアロケーション、12ビット階調値からなるピクチャデータを格納し得るアロケーションといった2つのアロケーションで非圧縮のピクチャを格納する。プレーンメモリが前者のアロケーションになるのは、カレントモードが通常の再生モードに設定されている場合である。後者のアロケーションに設定されるのは、カレントモードが色深度拡張に設定されている場合である。

　図３６は、色深度拡張プレーンの格納内容の一例を示す。図３６（ａ）、（ｂ）では、メモリの記憶領域を格子状に描いてる。この格子のそれぞれは、メモリの記憶素子のそれぞれを意味する。プレーンメモリをSD-RAM、RD-RAMといったダイナミックRAMで構成する場合、これらの記憶素子は、ダイナミックRAMにおけるページ領域であるROWアドレスと、ページ領域における記憶素子の相対アドレスであるCOLUMNアドレスとで特定され、個々の記憶素子は32ビットという語長を有する。よって、ピクチャを構成する各画素の画素成分の階調ビット列は、ページ領域における複数の記憶素子にまとめて格納される。またプレーンメモリにはメモリコントローラが接続されていて、かかるメモリコントローラが、画面上の(x,y)座標を、記憶素子のROWアドレス、COLUMアドレスにアドレスに変換する役割を果たす。上記の画素成分には、輝度Y,赤色差Cr,青色差Cbといった種別があり、プレーンメモリでは、複数画素の輝度成分、複数画素の赤色差成分というように、複数画素における共通の画素成分が、同一のページ領域に格納されることになる。

　図３６（ａ）は、色深度拡張のアロケーションを示す。色深度拡張モードでは、（ａ）に示すように12ビットの輝度Y,12ビットの赤色差Cr,12ビットの青色差Cbからなる画素データが1920×1080、1280×720といった規模だけ格納されることになる。（ｂ）は、非色深度拡張のアロケーションを示す。このアロケーションでは、Baseビデオストリームのピクチャにおける8ビット階調ビット列が格納されることになる。色深度拡張モードでは、ビット長が24ビットから36ビットに増大するため、プレーンメモリの規模は1.5倍になることがわかる。

　システムターゲットデコーダは、色深度拡張に関して、MPEG-4MVCをVideo codecとして用いた内部構成を有する。MPEG-4MVC(Multiview Video Coding)ビデオストリームは、複数のビューから見た複数の映像を効率的に圧縮することを目的に開発されたビデオ圧縮技術であるが、これを利用する。具体的には、前述のBaseビデオストリームとしてMPEG-4MVCのBaseビューを用い、EnhancementビデオストリームとしてMPEG-4MVCのNon baseビューを用いる。MPEG-4MVCBaseビデオストリームと、MPEG-4MVC Non baseビデオストリームから成るMPEG-4MVCビデオストリームは、MPEG-4MVCデコーダーに入力され、8ビットBaseピクチャと、8ビットEnhancementピクチャとして出力され、色深度拡張部に入力される。　　　

　図３７は、プレーン合成部の内部構成を示す図である。

　プレーン加算部１４４a,b,c,dは子画面ビデオプレーン、PGプレーン、IGプレーンをメタデータをクロッピングし、色深度拡張プレーンと合成し、イメージプレーンの重畳処理に転送される。
クロッピング部１４６a,b,cは、メタデータに基づき、プレーンに格納されている非圧縮ピクチャデータ、グラフィクスデータをクロッピングする
クロッピング部１４６dは、プログラムAPIに基づきプレーンに格納されている非圧縮グラフィクスデータをクロッピングする。

　加算部１４７a,b,c,dは、プレーン同士の合成を行う。

　シフト回路１４８a,b,c,dは、子画面ビデオプレーン、PGプレーン、IGプレーン、イメージプレーンの画素を8ビットからNビット階調に拡張する。これらの画素の階調をNビットにまで拡張することにより、Nビットに拡張されたピクチャデータとの合成が可能になる。

　図３８は、再生装置に適用される場合の色深度拡張部２４の内部構成の一例を示す。本図に示すように色深度拡張部２４は、8ビットBaseビデオストリームのピクチャを8＋bビットのピクチャに変換する第１シフト回路３２、8ビットEnhancementピクチャから補正値を減じる減算部３４、8+bビットベースピクチャと、減算部３４の減算結果とを加算する加算部３５、加算部３５の加算結果をシフト量bだけシフトしてNビットピクチャを得る第２シフト回路３６から構成される。

　図３８においてビデオデコーダは、再生装置のプレーヤ状態レジスタで管理されているカレント再生時刻(PTM)がPTSに示される時刻になった際、そのPTSが付与されたベースビデオピクチャデータの表示に先立ち、そのピクチャデータに対応するシフト量をSEIのシフトシーケンスから取り出して色深度拡張部のシフト回路に設定する。また、そのPTSと同時刻のPTSを有するEnhancementビデオストリームのピクチャをプレーンメモリに出力する。これらの後に、Baseビデオストリームのピクチャを出力することにより色深度拡張の対象とする。こうすることでBaseビデオストリームのピクチャの画素ビット値は、そのBaseビデオストリームのピクチャが属するフレームのシフト量で上位方向にシフトすることになる。

　図３９は、第１実施形態におけるバリエーションを適用した場合の色深度拡張部２４の内部構成の一例を示す。本図に示すように色深度拡張部２４は、8ビットBaseビデオストリームのピクチャを8＋bビットの階調ビット列からなるピクチャに変換する第１シフト回路３２、8ビットEnhancementピクチャから補正値を減じて符号付きビット値に変換する減算部３４、減算部３４の減算結果をシフト量bだけシフトする第２シフト回路３６、8+bビットの階調ビット列からなるベースピクチャと、第２シフト回路３６のシフト結果とを加算する加算部３５とから構成される。

　色深度拡張のためにMPEG-4MVCを使用するメリットは、Blu-rayでは3Dの記録・表示のために既にMPEG-4MVCが使用されているため、Blu-ray 3D対応プレーヤーのハードウェア資源の一部を利用して色深度拡張が容易にできるためである。

　上記再生装置の製品開発にあたっては、上述したようなプレイリスト、プレイアイテム、AVクリップを処理するための処理手順を再生装置のCPUに実行させねばならない。このソフトウェア実装で必要となる処理手順について説明する。図４０は、プレイアイテムの再生手順を示す。

　ステップＳ２０１は、カレント出力モードが色深度拡張モードであるか否かの判定であり、カレント出力モードが非色深度拡張モードであれば、ステップＳ２０３～ステップＳ２０６を実行する。

　ステップＳ２０３において、カレントプレイアイテムのClip＿Information＿file＿nameに記述されている「XXXXX」と、拡張子「m2ts」とで指定されているストリームファイルをオープンし、ステップＳ２０４において、ビデオストリームのパケットIDに対応するエントリーポイントを用いて、カレントPlayItem.In＿Time及びカレントPlayItem.Out＿TimeをStart＿SPN[i]及びEnd＿SPN[i]に変換する。

　ステップＳ２０５では、パケットID[i]のTSパケット[i]をStart＿SPN[i]からEnd＿SPN[i]まで読み出すための読出範囲[i]に属するエクステントを特定し、ステップＳ２０６において、読出範囲[i]に属するエクステントを連続的に読み出すよう、記録媒体のドライブに指示する。

　カレント出力モードが色深度拡張モードであれば、ステップＳ３０１～ステップＳ３０８のループに移行する。

　ステップＳ３０１において、カレントプレイアイテムのClip＿Information＿file＿nameに記述されている「XXXXX」と、拡張子「ceif」とで指定されているストリームファイルをオープンする。

　ステップＳ３０２において、Baseビデオストリームに対応する基本エントリーマップを用いて、カレントPlayItem.In＿Time及びカレントPlayItem.Out＿TimeをStart＿SPN[i]及びEnd＿SPN[i]に変換する。

　ステップＳ３０３では、Enhancementビデオストリームに対応する拡張エントリーマップを用いて、SubPlayItemIn＿Time、SubPlayItemOut＿TimeをStart＿SPN[j]、End＿SPN[j]に変換する(ステップＳ３０４)。

　Baseビデオストリームを構成するTSパケット[i]をStart＿SPN[i]からEnd＿SPN[i]まで読み出すための読出範囲[i]に属するエクステントを特定し(ステップＳ３０５)、パケットID[j]のTSパケット[j]をStart＿SPN[j]からEnd＿SPN[j]まで読み出すための読出範囲に属するエクステントを特定する(ステップＳ３０６)。そしてステップＳ３０７において読出範囲[i],[j]に属するエクステントをアドレスの昇順にソートして、ステップＳ３０８においてソートされたアドレスを用いて、読出範囲[i],[j]に属するエクステントを連続的に読み出すよう、ドライブに指示する。その後、ソースパケット列が読み出されれば、ステップＳ３０９においてBaseビデオのATCシーケンス、EnhancementビデオのATCシーケンスをそれぞれ復元して、Baseビデオ用のPIDフィルタ、Enhancementビデオ用のPIDフィルタに送り込む。

　図４１は、ATCシーケンス復元手順を示す。ステップＳ９１は、Baseビデオ用のATCシーケンスをATCシーケンス１とし、Enhancementビデオ用のATCシーケンスをATCシーケンス２とする。ステップＳ９２では、変数xを1に初期化する。この変数xは、Enhancementデータブロック、Baseデータブロックを指示する。以降、ステップＳ９４～ステップＳ９６のループを繰り返す。

　変数xによって指示されるソースパケット番号bxが、Baseデータブロックの最後の数値nによって指示されるソースパケット番号bnであるか否かを判定し(ステップＳ９３)、もしそうでなければ、ソースパケット番号ｂx＋ａxによって指示されるソースパケット(ｂx＋ａx)から、ｂx+1＋ａxによって指示されるソースパケット(ｂx+1＋ａx)の直前のパケットまでをATCシーケンス２に追加し(ステップＳ９４)、ソースパケット(ｂx+1＋ａx)からソースパケット(ｂx+1＋ａx+1)の直前のパケットまでをATCシーケンス１に追加して(ステップＳ９５)、変数xをインクリメントする(ステップＳ９６)という処理を、ステップＳ９３がYesと判定されるまで繰り返す。

　ステップＳ９３がYesと判定されれば、ソースパケット番号ｂnから(number＿of＿source＿packet2-ｂn)個のソースパケットをATCシーケンス２に追加し(ステップＳ９７)、ソースパケット番号ａnから(number＿of＿source＿packet1-ａn)個のソースパケットをATCシーケンス１に追加する(ステップＳ９８)。

　以上のように、ATCシーケンス１、２が復元されれば、Baseデータブロックの先頭LBN及び連続長をセクタ数で示すファイルエントリーをメモリ上で生成して、ファイルBaseを仮想的にオープンする(ステップＳ９９)。同様に、Enhancementデータブロックの先頭LBN及び連続長をセクタ数で示すファイルエントリーをメモリ上で生成して、ファイルEnhancementを仮想的にオープンする(ステップＳ１００)。

　以上の再生制御を行う再生装置に、色深度拡張に適合したプレイリストを再生させるには、インデックステーブル及びプログラムファイルに以下の改良を施す必要がある。

　先ず、インデックステーブルの改良箇所について説明する。図４２は、インデックステーブルの内部構成の一例を示す。図４２（ａ）は、複数のタイトルのそれぞれと、そのタイトルがカレントタイトル番号になった際、処理対象にすべきプログラムファイルの識別子とを組みにして示している。本図では、n+2個の色深度拡張適合プログラムファイルの識別子が、n+2個のタイトルに対応付けられていることがわかる。これにより、タイトル選択に応じて色深度拡張に適合したプログラムが起動されることになる。以上のインデックステーブルでは、ファーストプレイタイトルの選択に応じて色深度拡張プログラムを起動するという即時起動の意図を読み取ることができる。

　図４２（ｂ）は、拡張機能プログラムによる処理を模式的に示す。（ｂ）の第１段目は、プレーヤ状態レジスタにおける再生モードの設定と、拡張機能対応プログラムと、拡張機能ケーパビリティレジスタとを対応付けて示す。第２段目は、色深度拡張プレイリスト、mplsプレイリストを示す。矢印ins1,2は、プログラムによるプレイリスト再生指示を模式的に示す。このように、拡張機能対応プログラムが再生モードと、レジスタとを参照して、2つのプレイリストを選択的に再生することにより、Baseビデオストリーム、Enhancementビデオストリームの組みは、色深度拡張プレイリストを用いて適切に再生されることになる。

　図４３は、色深度拡張プログラムの処理手順を示すフローチャートである。ステップＳ３１において最初に実行すべき拡張機能に対応するGPRMの格納値を取り出し、ステップＳ３２において格納値は、ケーパビリティ有を示すかどうかを判定する。ケーパビリティ有を示す場合、ステップＳ３４において色深度拡張インターリーブドストリームファイルを指定したプレイリストの再生を開始する。ケーパビリティを示さない場合、m2tsストリームファイルを指定したプレイリストの再生を開始する。

　ステップＳ３５は、拡張機能メニューを表示して、ステップＳ３６においてユーザによる拡張機能選択待ちとなる。選択されれば、選択された拡張機能に対応するGPRMの数値を取り出し、ステップＳ３８において数値はケーパビリティ有を示すかどうかを判定する。もしケーパビリティが存在する場合、ステップＳ４０において色深度拡張インターリーブドストリームファイルを指定したプレイリストの再生を開始する。ケーパビリティが存在しない場合、ステップＳ３９においてm2tsストリームファイルを指定したプレイリストの再生を開始する。

　以上のように、GPRが、拡張機能のケーパビリティ有を示していれば、プログラムファイルのプログラムが色深度拡張インターリーブドストリームファイルを選択して再生するので、拡張機能のケーパビリティが再生装置に存在する場合のみ色深度拡張適合プレイリストの再生を実行し、ケーパビリティが存在しなければ、通常のプレイリストを選択して再生することになる。

　以上で再生装置についての説明を終える。

　(記録装置、記録方法の形態)
　続いて、本実施形態に示したBaseビデオストリーム、EnhancementビデオストリームをBlu-ray WriteOnceディスク、Blu-ray Rewritableディスク、AVC-HDディスクといったディスク媒体に書き込むための記録方法について説明する。

　本実施形態に係る記録方法は、Nビットの階調ビットを有する原画像の入力時に、ストリームファイルであるAVファイル、ストリームファイル以外のファイルである非AVファイルをリアルタイムに作成して、記録媒体におけるAVデータ記録領域、非AVデータ記録領域にダイレクトに書き込むというリアルタイムレコーディングとして実現することができる。それだけではなく、ボリューム領域に記録すべきビットストリームの全体像を事前に作成して、このビットストリームを元に原盤ディスクを作成し、この原盤ディスクをプレスすることで、光ディスクを量産するというプレフォーマットレコーディングも含む。本実施形態に係る記録媒体は、リアルタイムレコーディングによる記録方法、及び、プレフォーマットレコーディングによる記録方法によっても特定されるものでもある。リアルタイムレコーディング技術により記録方法を実現する場合、当該記録方法を実行する記録装置は、リアルタイムにAVクリップを作成して、Blu-ray WriteOnceディスク、Blu-ray Rewritableディスク、AVC-HDディスクに書き込む。

　リアルタイムレコーディングを実行する記録装置は、カメラ機器であり、光学機器を用いて撮像を行い、Nビット階調で表現された原画像データを得る撮像部と、Nビット階調の原画像データをエンコードすることによりBaseビデオストリームと、Enhancementビデオストリームとの組みを得るストリーム生成部と、オーディオ信号をエンコードしてオーディオストリームを得るオーディオエンコーダと、ビデオストリーム、オーディオストリーム等を多重化して、MPEG2-TSを得るマルチプレクサと、MPEG2-TS形式のデジタルストリームを構成するTSパケットをソースパケットに変換するソースパケッタイザと、ソースパケット形式に変換されたMPEG2デジタルストリームをAVクリップファイルに格納してBlu-ray WriteOnceディスク、Blu-ray Rewritableディスク、AVC-HDディスク等に書き込む書込部と、制御部とを含む。デジタルストリームの書き込みと共に、記録装置の制御部は、メモリ上でクリップ情報やプレイリスト情報を生成する処理を行う。具体的には、ユーザによって録画処理が要求された際、制御部は、AVクリップのストリームファイル及びクリップ情報ファイルをBlu-ray WriteOnceディスク、Blu-ray Rewritableディスク、AVC-HDディスク上にクリエイトする。そして、エンコーダによってビデオストリームのGOPが生成されれば、記録装置の制御部は、このGOPにおいて、先頭に位置するイントラピクチャのPTSと、このGOPの先頭部分を格納したソースパケットのパケット番号とを取得して、このPTS及びパケット番号の組みを、EP＿PTSエントリー及びEP＿SPNエントリーの組みとして、クリップ情報ファイルのエントリーマップに追記する。以降、GOPが生成される度に、EP＿PTSエントリー及びEP＿SPNエントリーの組みを、クリップ情報ファイルのエントリーマップに追記してゆく。この際、GOPの先頭がIDRピクチャである場合は、「オン」に設定されたis＿angle＿changeフラグをEP＿PTSエントリー及びEP＿SPNエントリーの組みに追加する。GOPの先頭がIDRピクチャでなければ場合は、「オフ」に設定されたis＿angle＿changeフラグをEP＿PTSエントリー及びEP＿SPNエントリーの組みに追加する。

　また、クリップ情報ファイルにおけるストリームの属性情報については、記録されるべきストリームの属性に従い設定する。以上のようにしてAVクリップ、クリップ情報が生成されてBlu-ray WriteOnceディスク、Blu-ray Rewritableディスク、AVC-HDディスクに書き込まれれば、このクリップ情報内の基本エントリーマップを介して、再生経路を定義するプレイリスト情報を生成し、Blu-ray WriteOnceディスク、Blu-ray Rewritableディスク、AVC-HDディスクに書き込む。このような処理を、リアルタイムレコーディング技術において実行することで、AVクリップ－クリップ情報－プレイリスト情報という階層構造を、撮影時にBlu-ray WriteOnceディスク、Blu-ray Rewritableディスク、AVC-HDディスク上に得ることができる。

　以上がリアルタイムレコーディングによる記録方法を実行する記録装置である。続いて、プレフォーマットレコーディングによる記録方法について説明する。

　プレフォーマットレコーディングによる記録方法は、記録装置がオーサリング行程を実行するような光ディスクの製造方法となる。オーサリング行程を実行する記録装置は、Nビットの原画像の他、子画面ビデオの動画素材、音声素材や字幕素材、メニュー素材を入力するインポート部するインポート部と、Nビット階調の原画像からBaseビデオストリームと、Enhancementビデオストリームとを作成するストリーム生成部と、子画面ビデオの動画素材をエンコードする子画面ビデオエンコーダと、音声素材をエンコードするオーディオエンコーダ、字幕素材からPGストリームを作成するPGジェネレータと、メニュー素材からInteractive Graphicsストリームを作成するIGジェネレータと、生成された各種ストリームをファイルシステム上で分類して格納するためのストレージと、生成された各種ストリームを多重化してトランスポートストリームを得るデマルチプレクサと、ユーザとの対話入力に従い、Blu-ray ReadOnlyディスクに記録すべきデータの再生構造を規定して、これを基にBlu-ray ReadOnlyディスクにおけるボリュームイメージを作成するオーサリング部とを含む。

　上記ストレージは、構内ネットワークにおけるネットワークドライブであり、ビデオストリーム、オーディオストリーム等は、これらのストレージの所定のディレクトリ構成において、ファイルとして格納されている。エンコーダは、上記構内ネットワークにおけるサーバコンピュータであり、構内ネットワークを通じて上述したようなストレージをアクセスし、各種ストリームの読み出しやトランスポートストリームの書き込みを実行する。

　構内ネットワークの各ストレージにおいて、Nビット階調の原画像、ビデオストリーム、オーディオストリーム、字幕ストリーム、トランスポートストリーム等を格納したファイルは、GUIにおいてアイコンやサムネール等により視覚的に表現される。ユーザは、ユーザインターフェイスのGUIに表示されたアイコンやサムネールに対してドラッグ操作、ドロップ操作、クリック操作を行うことにより、Nビット階調の原画像、ビデオストリーム、オーディオストリーム、字幕ストリーム、トランスポートストリーム等に対して、コピー操作や削除操作、その他、編集操作を実行することができる。

　図４４は光ディスクの記録方法を示す。同図（ａ）は、プレフォーマットレコーディングによる記録方法を示すフローチャートである。光ディスクの製造方法は、オーサリングステップ、署名ステップ、メディア鍵取得ステップ、メディア鍵暗号ステップ、物理フォーマットステップ、識別子埋め込みステップ、マスタリングステップ、レプリケーションステップを含む。

　オーサリングステップS２０１は、光ディスクのボリューム領域の全体像を表すビットストリームを作成する。

　署名ステップS２０２は、光ディスクの製造にあたってAACS LAに対して署名要求を行う。具体的には、ビットストリームの一ステップを抜き出し、AACS LAに送付する。ここでAACS LAは、次世代のデジタル家電機器における著作物保護技術に関するライセンスを管理する団体である。オーサリング装置を用いて光ディスクのオーサリングを行うオーサリングサイト、及び、マスタリング装置を用いてマスタリングを実行するマスタリングサイトは、AACS LAよりライセンスの提供を受ける。また、メディア鍵、無効化情報を管理する。そして、AACS LAより署名されたビットストリームの一部分を取得する。

　メディア鍵取得ステップS２０３は、AACS LAからメディア鍵を取得する。メディア鍵は、常に固有のものが使用されるわけではなく、これまで製造された光ディスクの枚数が一定枚数まで達すると新しいものに更新される。メディア鍵を更新することにより、特定のメーカーや機器を排除することができ、万が一暗号鍵が破られたとしても、無効化情報を用いることでそれ自体を無効化することができる。

　メディア鍵暗号化ステップS２０４は、メディア鍵取得ステップにより取得したメディア鍵を用いて、ビットストリームの暗号化に用いた鍵を暗号化する。

　物理フォーマットステップS２０５は、ビットストリームに対して物理フォーマットを実行する。

　識別子埋込みステップS２０６は、光ディスクに収録されるビットストリームに、一般の機器では検出することができない一意の識別子を電子透かしとして埋め込む。これにより、不正なマスタリングによる海賊版の量産を防ぐことができる。

　マスタリングステップS２０７は、光ディスクの原盤を作製する。まず、ガラス基板上にフォトレジスト層を形成し、当該フォトレジスト層に対して、所望するグルーブやピットに対応するようにレーザ光を照射して露光し、現像処理を施す。このグルーブやピットは、8ー16変調されたビットストリームの各ビット値を表すものである。その後、このようなレーザカッティングによってグルーブやピットに対応した凹凸が形成されたフォトレジストを元にして、光ディスクの原盤を作製する。

　レプリケーションステップS２０８は、光ディスクの原盤を用いて、その複製である光ディスクを大量生産する。同図（ｂ）は、光ディスクを大量生産するのではなく、一般ユーザがPCを使って、BD-R,BD-RE等に、これまでの実施形態で述べた各種ファイルを記録する場合のプリフォーマットレコーディングによる記録方法の処理手順を示す。同図（ａ）と比較すると、同図（ｂ）による記録方法では、物理フォーマット(ステップＳ２０５)、マスタリング(ステップS２０７)、レプリケーション(ステップS２０８)が存在せず、代わりに、各ファイルの書き込み行程(ステップS２０９)が存在する。

　次にオーサリング行程について説明する。図４５は、オーサリング行程の処理手順を示すフローチャートである。

　ステップS１０１において、メインTS及びサブTSについてのリールセットを定義する。「リール」とは、エレメンタリストリームの素材となるデータを格納したファイルであり、オーサリングシステムでは、ローカルネットワーク上のドライブ上に存在する。カメラ機器によって撮影された画像、撮影時に録音された音声や、その後のアフレコで収録された音声、言語毎の字幕、メニューをデータ化したものが、これらリールに該当する。「リールセット」とは、1つのTSに多重化されるべきエレメンタリストリームの集合を表した、素材ファイルへのリンク群である。ここでは、メインTS、サブTSのそれぞれについてリールセットが定義される。

　ステップS１０２において、プレイアイテム、サブプレイアイテムの原型を定義し、プレイアイテム、サブプレイアイテムの再生順序を定義することでメインパス、サブパスの原型を定義する。プレイアイテムの原型の定義は、平面視出力モードにおいて、そのプレイアイテムで再生を許可すべきリールの指定と、In＿Time／Out＿Timeとの指定を、GUIを通じて受け付けることでなされる。サブプレイアイテムの原型の定義は、色深度拡張モードにおいて、そのサブプレイアイテムに対応するプレイアイテムで再生を許可すべきリールの指定と、In＿Time／Out＿Timeとの指定を、GUIを通じて受け付けることでなされる。

　再生を許可すべきリールの指定は、リールセットにおける素材ファイルのリンクのうち、再生を許可すべきものをチェックボックスでチェックするというGUIで構成される。この際、各リールに対応付けて数値入力欄を表示する。そして、この数値入力欄によって、各リールについての優先順位を受け付け、これをリールに対応する優先順位とする。以上の再生を許可すべきリールの設定と、優先順位の設定とからストリーム選択テーブル、拡張ストリーム選択テーブルが生成されることになる。

　In＿Time及びOut＿Timeの指定は、GUI上で、Baseビデオストリーム又はEnhancementビデオストリームの時間軸を図形化して表示し、図形化された時間軸において、スライドバーを移動させて、そのスライドバーの位置設定をユーザから受け付けるという処理を記録装置が実行することでなされる。プレイアイテム、サブプレイアイテムの再生順序の定義は、GUI上でプレイアイテムのIn＿Timeにおけるピクチャをサムネール化して表示し、このサムネールに対して、再生順序を設定するという操作を記録装置がユーザから受け付けることでなされる。

　ステップS１０３では、リールセットにて指定された素材ファイルをエンコードすることにより、複数のエレメンタリストリームを得る。このエンコードの過程で、原画像からBaseビデオストリームと、Enhancementビデオストリームとを生成する処理が実現される。これらの複数のエレメンタリストリームは、Baseビデオストリーム、Enhancementビデオストリームと、これらBaseビデオストリーム、Enhancementビデオストリームと多重化されるべきオーディオストリーム、PGストリーム、IGストリームがある。

　ステップS１０４では、エンコードで得られたエレメンタリストリームのうち、Baseビデオストリームと同じリールセットに属する同じするものを、当該Baseビデオストリームと多重化することで、1つのメインTSを得る。

　ステップS１０５では、エンコードで得られたエレメンタリストリームのうち、Enhancementビデオストリームと同じリールセットに属するものを、当該Enhancementビデオストリームと多重化することで、1つのサブTSを得る。ステップS１０６では、エンコード及び多重化時に設定されたパラメータを元に、クリップ情報ファイルの原型を生成する。

　ステップS１０７では、プレイアイテムの原型を元にプレイアイテム情報、サブプレイアイテム情報を生成し、これらのプレイアイテム情報、サブプレイアイテム情報に再生順序を定義することで、メインパス情報、サブパス情報を生成して、プレイリスト情報を定義する。

　プレイアイテム情報の作成においては、メインTSに多重化されたエレメンタリストリームのうち、プレイアイテムの基本構造において平面視出力モードで再生すべきと規定されたものを再生可能に設定すべく、プレイアイテム情報内にストリーム選択テーブルを生成する。また、Baseビデオストリームにおける再生区間を規定するため、上述の編集作業で規定されたIn＿Time、Out＿Timeをプレイアイテム情報に記載する。

　サブプレイアイテム情報の作成においては、サブTSに多重化されたエレメンタリストリームのうち、プレイアイテムの基本構造において色深度拡張モードで再生すべきと規定されたものを再生可能に設定すべく、プレイリスト情報のエクステンションデータ内に拡張ストリーム選択テーブルを生成する。プレイアイテム情報、サブプレイアイテム情報は、クリップ情報ファイル内の情報を元に定義されるからクリップ情報ファイルの原型を元にして設定される。

　ステップS１０８では、メインTS、サブTS、クリップ情報ファイルの原型、プレイリスト情報の原型を、所定のアプリケーションフォーマットに従ったディレクトリーファイル群に変換する。

　以上の過程を得て、メインTS、サブTS、クリップ情報、プレイアイテム情報、サブプレイアイテム情報が生成されれば、メインTS、サブTSをそれぞれ独立したストリームファイルに変換し、クリップ情報をクリップ情報ファイルに変換し、プレイアイテム情報及びサブプレイアイテム情報をプレイリスト情報ファイルに変換することで、記録媒体に記録されるべき一連のファイルセットを得る。

　図４６は、AVファイル書込工程の処理手順を示す。リアルタイムレコーディングによる記録方法や、マスタリング、レプリケーションを伴い記録方法の実施では、AVファイルの書き込みを、本図のフローチャートによって実現する。

　ステップＳ４０１において、xxxxx.ceifをクリエイトして、記録装置のメモリ上にファイルエントリーを作成する。ステップＳ４０２は、空きの連続セクタ領域を確保し得たかどうかの判定であり、確保し得たなら、ステップＳ４０３において、空きの連続セクタ領域にEnhancementデータブロックを構成するソースパケット列をEXT2[i]だけ書き込み、その後、ステップＳ４０４～ステップＳ４０８を実行する。確保し得ない場合は、ステップＳ４０９で例外処理をした後、記録方法を終了する。

　ステップＳ４０４～ステップＳ４０８は、ステップＳ４０７がNoと判定されるまで、ステップＳ４０４～ステップＳ４０６、ステップＳ４０８の処理を繰り返すループを構成している。

　ステップＳ４０５は、空きの連続セクタ領域に、Baseデータブロックを構成するソースパケット列をEXT1[i]だけ書き込む。ステップＳ４０６は、ソースパケット列が書き込まれた先頭アドレス及び連続長を示すアロケーション識別子をファイルエントリーに追記して、エクステントとして登録する。これに伴い、書き込まれたソースパケット列の先頭ソースパケット番号を指し示すエクステントスタートポイント情報を、クリップbase情報、クリップEnhancement情報内のメタデータに追記する。

　ステップＳ４０７は、ループの終了条件を規定するものであり、Baseデータブロック、Enhancementデータブロックに未書込のソースパケットが存在するかどうかの判定を行う。存在すれば、ステップＳ４０８に移行して、ループを継続する。存在しなければ、ステップＳ４１０に移行する。

　ステップＳ４０８は、連続セクタ領域が存在するかどうかの判定であり、存在すれば、ステップＳ４０３に移行し、存在しなければ、ステップＳ４０２まで戻る。

　ステップＳ４１０では、xxxxx.ceifをクローズして、ファイルエントリーを記録媒体に書き込む。ステップＳ４１１では、xxxxx.m2tsをクリエイトして、メモリにxxxxx.m2tsのファイルエントリーを生成する。ステップＳ４１２では、ファイル2Dで固有となるBaseデータブロックの先頭アドレス及び連続長を示すアロケーション記述子をxxxxx.m2tsのファイルエントリーに追記する。ステップＳ４１３では、xxxxx.m2tsをクローズして、ファイルエントリーを書き込む。

　以上のように本実施形態によれば、各色で8ビット階調の色深度の映像しか再生できないプレーヤーと、８ビットを超える色深度の再生に対応したプレーヤーをナビゲーションレベルで識別することにより、ディスクから適切なストリームを選択して再生する。

　従来の８ビットのビデオストリームが従来の機器では再生され、８ビットを超える色深度に対応したプレーヤーでは、従来の８ビットのビデオストリームと、色深度拡張を行うためのEnhancementビデオストリームを用いて再生を行うことで、原画の色深度を復元し
て再生することが可能となる。

　Blu-ray ReadOnlyディスクとの共通のデータ構造に一部の改変を加えることでコンテンツの多くのバリエーションを作成して、コンテンツの充実化を図ることができるので、映画業界、出版業界、ゲーム業界、音楽業界といったコンテンツ制作業界のより一層の発展を招来することができる。かかる制作業界の発展により、国内産業を活性化すると共に、国内産業の競争力強化を図ることができる。本発明は、国内産業に様々な貢献をもたらす。

　（第３実施形態）
　第３実施形態は、色深度拡張を応用した拡張機能のケーパビリティ判定に関する。これまでの実施形態で述べた色深度拡張機能を応用することで、コンテンツ制作者は様々な拡張機能を定義することができる。それらの拡張機能には、コンテンツプロバイダやコンテンツ制作者のロゴを色深度拡張して表示するというものや特典機能のためのメニューを色深度拡張して表示するというもの、セットアップメニューを色深度拡張して表示するというものがある。特に色深度拡張によるロゴ表示は、企業ブランドを強く印象付けるものであり、高画質化の要請が高い。しかし、上述したような拡張機能は、コンテンツ制作者によって定義され、コンテンツ制作者からもたらされるものであり、マニファクチャによって製造される全ての再生装置が、これらの拡張機能の全てをサポートするというのは不可能である。

　ここでマニファクチャによって製造される再生装置には、スペックが高いものや低いもの、表示装置と一体になっているもの等、様々なバリエーションがあり、たとえ色深度拡張部を具備していたとしても、コンテンツ制作者が作成した拡張機能をサポートしえない場合が生じる。そこで、コンテンツ制作者と、マニファクチャとの取り決めとして、マニファクチャ側では、再生装置におけるプレーヤ変数を用いることにより拡張機能のケーパビリティを明示させることにしている。

　（第３実施形態で解決しようとする課題）
　従来、ディスク上のプログラムがプレーヤーが特定の機能をサポートしているかどうかを判別するにはシステムパラメーター内に、特定機能をサポートしているかどうかを示すフラグを定義する必要があった。例えばRerservedとして示されている２４番の変数を、特定機能、例えば第１実施形態で説明した色深度拡張に対応しているかを示すフィールドをして使用することが考えられる。ディスク上のナビゲーションやJAVAスクリプトとして記録されるプログラムは、この２４番の変数を見て、色深度の再生可否判断を行うなどすることが可能である。

　しかしながら、この方法で拡張機能の対応可否の判断を行う場合には、機能の追加の都度、現在Reservedとされているシステムパラメータをやみくもに消費するという課題があった。

　第３実施形態に記載された発明（以下、本発明と呼ぶ）の目的は、拡張機能の対応可否の判断にあたってプレーヤー変数の予約領域を消費することがない再生装置を提供することである。

　＜課題を解決するための手段＞
　再生装置の局面で課題解決を図る場合、当該局面における再生装置は記録媒体が装填されてからインデックスが読み取られるまでの間に、拡張機能のケーパビリティ設定を示す設定テーブルを読み込み、複数の汎用目的レジスタのうち、設定テーブルで指示されているものに、設定テーブルに記載された初期値を設定することを特徴とする。

　ここで設定テーブルには、複数の拡張機能には、2以上の汎用目的レジスタ番号が対応付けられており、前記再生装置は、設定テーブルにおける2以上の連続する汎用目的レジスタ番号で指定された汎用目的レジスタに、所定の初期値を設定することが望ましい。これは、後述する"より誤検出"を回避する下位概念化である。

　上記技術的特徴を再生装置の発明に導入することにより上記課題の解決が図られることになる。図面を参照しながら上記課題解決手段による課題解決のアプローチについて具体的に説明する
　本実施形態では、拡張機能のケーパビリティの表示に、一般用途として使用可能なゼネラルパラメータ（GPRM）を用いる。GPRMは一般にプレーヤー内のメモリーの一部として所定の容量だけ確保され、通常ナビゲーションコマンドと呼ばれる一連のコマンド郡で構成されるプログラムが、必要な数値を一時的に保持するために使用される。しかしながら、Blu-rayDiscなどのようにその主目的が映像の再生に用いられるような光ディスクの場合、それほど複雑な処理をナビゲーションコマンドで行うことが少なく、確保されている全GPRMが使われることはほとんどない。

　まず、ディスク上には、拡張機能判定ファイルを用意する。拡張機能判定ファイルは、BDMVフォルダの直下に記録しても良いし、その他の場所に記録しても良い。拡張機能判定ファイルは、GPRMによる拡張機能ケーパビリティの格納方式を規定するものである。図４７は、拡張機能ケーパビリティの格納方式を表形式で示す図である。図４７（ａ）の格納方式とは、複数の種別の拡張機能のそれぞれに、設定先のGPRM番号と、設定値とを対応付けるというものである。種別には、機能１、２、３があり、これらの機能のうち、機能１には、123番のGPRMと、0x12345678という数値とが対応付けられていることがわかる。機能２には、456番のGPRMと、0x87654321という数値とが対応付けられていることがわかる。例えば、拡張機能１が色深度拡張を示す場合、拡張機能判定ファイルに対応したプレーヤー機器にディスクが装填された際、機器固有処理部１１４は再生開始の前にまず前記拡張機能判定ファイルを読み込み、前記プレーヤーは拡張機能１に対応している場合、機器固有処理部１１４は設定GPRMで示された、GPRM１２３に設定値と示されている設定値０x１２３４５６７８を設定する。また、前記プレーヤーが拡張機能２に対応していない場合には、機器固有処理部１１４ははGPRM４５６に値を設定しない。

　このようにプレーヤーへディスクが挿入されてから、インデックステーブルを読み込みインデックステーブルにおいてファーストプレイタイトルのタイトル番号によって指定されている最初のプログラムの実行を開始するまでの間に、拡張機能判定ファイルによって指定されたGPRMに指定された設定値を設定する。こうすることで、再生開始後（前述のプログラムの実行開始後）には、ナビゲーションコマンドや、JAVAスクリプトで構成されるプログラムによって、値が設定されている可能性があるGPRMの値を確認することで、プレーヤーが所望の機能に対応しているかどうかを判断し、再生するプレイリストを変更したり、ユーザに意図的に特定の機能に対応していることを知らせるためのAVクリップの再生を行ったりすることが出来る。

　このようにGPRMを用いて、特定機能の対応可否判断を行うことが可能となるが、あるGPRMに設定された初期値がたまたま拡張機能判定ファイルに指定された設定値と同一になった場合、前述のプログラムは、プレーヤーが特定機能に対応していると誤判定する可能性がある。これは、GPRMはプログラムで必要な変数を保持するために一時的な領域として確保されているメモリーであるから、ディスク挿入時の値が0で初期化されているとは限らないからである。

　このような誤判定を防ぐには、GPRMの格納方式を改良すべきである。ここで、GPRMの格納方式は、拡張機能判定ファイルにて規定されるから、図４７（ｂ）で示すように、特定の機能に対して複数のGPRMを設定するような拡張機能判定ファイルを用意する。そしてプレーヤーが前記拡張機能判定ファイルを読み込んだ際に、プレーヤーが対応している拡張の種別が記載されている場合には、対応する全てのGPRMに設定値を記録するようにする。図４７（ｂ）は、拡張機能ケーパビリティの格納方式を表形式で示す図である。本図の格納方式とは、複数の種別の拡張機能のそれぞれに、2つのGPRM番号と、2つの設定値とを対応付けるというものである。拡張機能の種別には、機能１、２、３があり、これらの機能のうち、機能１には、123番のGPRMと、0x12345678という数値と、999番のGPRMと、0x33112352という数値とが対応付けられていることがわかる。

　ここで機能２には、456番のGPRMと、0x87654321という数値と、246番のGPRMと、0x43756947という数値とが対応付けられていることがわかる。

　また図４７（ｂ）では、拡張機能１を示す行が2行連続しているが、これは連続している方が望ましい。例えば、拡張機能１の１行目(設定ＧＰＲＭ１２３)の次の行(2行目)に拡張機能２の設定（ＧＰＲＭ４５６）が続き、その次に再度拡張機能１の設定（ＧＰＲＭ９９９）が記載される場合、プレーヤーは何行目まで読み込めば拡張機能１の設定に必要な全てのＧＰＲＭに設定できるか判別できないからである。

　ここで図４７（ａ）の格納方式２０７１では、拡張機能１の再生が可能である場合に、プレーヤーはGPRM１２３に０x１２３４５６７８を設定していたが、格納方式２７０２を示す拡張機能判定ファイルを読み込んだ際には、プレーヤーが拡張機能１に対応している場合、GPRM１２３に０x１２３４５６７８と設定するとともに、GPRM９９９に０x３３１１２３５２を設定し、拡張機能１の対応可否判定を行うプログラムは、GPRM１２３とGPRM９９９の両方を見ることで、より誤検出を回避して、対応可否の判定を行えるようになる。

　また、より好適には拡張機能判定ファイルに対応したプレーヤーでは、GPRMの初期値を「０」としておくことが望ましく、初期値０を設定した後、拡張機能判定ファイルによって必要なGPRMに必要な設定値を設定することが望ましい。

　また、設定GPRMの番号や設定値をそのままプレーヤーが使用するとして説明したが、例えば拡張機能判定ファイルで示された設定GPRで記載されている値に対して、特定の演算を行ったり、ハッシュ値を算出した値を設定すべきGPRMの番号としても良いし、設定値に関しても、例えば128ビットの設定値を記載し、ハッシュ値計算して32ビットの数値を算出し、それをGPRMに設定しても良い。

　このように、特定の演算やハッシュ値の演算を入れてGPRMに値を設定することにより、前述の特定の演算やハッシュ値の演算式を知っているプレーヤーだけが適切な値を設定できるようになるため、拡張機能の対応可否の誤判定を減らすことができる。

　図４８は、ディスク媒体がプレーヤーに挿入されてから、再生開始までの間にGPRMを設定するための処理手順を示すフローチャートである。

　ディスクが挿入された後、プレーヤーは拡張機能判定ファイルを読み込む（S４０１）。次に、拡張機能判定ファイルを順に処理していく。具体的には拡張機能判定ファイルに記載されている拡張機能が前記プレーヤーで対応しているかを判定し、対応している場合には、拡張機能判定ファイルで指定されたGPRMに拡張機能判定ファイルで指定された値を設定する。この処理は、拡張機能判定ファイルに記載されている全ての拡張機能の判定を行うまで行う（S４０２、S４０３、S４０４）。

　全ての拡張機能の判定は完了すると、インデックスファイルのファーストプレイタイトルから参照されたプログラムの実行を開始する。（S４０５）
　以上のように本実施形態によれば、インデックステーブルの読み込みと、ファーストプレイタイトルの再生とに先立ち、拡張機能のケーパビリティの有無をGPRMに設定するので、ファーストプレイタイトルの再生時に、ロゴを色深度拡張して表示することができる。これによりコンテンツプロバイダやコンテンツ制作者からの強い要望に応えることができる。また拡張機能のケーパビリティをGPRMに示させるので、プレーヤ設定レジスタ、プレーヤ状態レジスタの予約領域の消耗を避けることができ、プレーヤモデルの将来の拡張の余地を残すことができる。

　（第４実施形態）
　第４実施形態は、前述の色深度拡張の仕組みを応用したもので、具体的には親画面ビデオの一部置き換えをより効果的に行うことを目的とする。

　図４９は、想定しているアプリケーションの一例を示す。まず、「顔の置き換え」は、映画などの主人公を別の俳優に差し替えたり、視聴者がカメラから取り込んだ自分の顔と主人公の顔を差し替えることを示す。また別のアプリ例として「看板の置き換え」では、映画中に出てくる看板を視聴する国毎に差し替えたり、スポンサーに応じて差し替えたりするアプリを示している。従来、これらのアプリケーションを実現するには、親画面ビデオに対して、子画面ビデオを用意し、親画面ビデオに子画面ビデオを重ね合わせることで実現してきた。図５０は、子画面ビデオを、親画面ビデオに重ね合わせることで実現されるピクチャインピクチャ画像を示す。

　｛発明が解決しようとする課題｝
　この時、従来の子画面ビデオの多くは、ハイビジョン(1920×1080や1280×720）解像度を持つ親画面ビデオに対して、ディスク容量の制約や、ビデオデコードの処理量の制約から、解像度の低い映像（例えばSD解像度の映像）が使用されることが多く、以下のような課題があった。

　（１）一般にSD解像度で用いられる色空間（ITU-R BT.601）と、ハイビジョンで用いられれる色空間（ITU-R BT.709）が異なるため、親画面ビデオの上に子画面ビデオをそのまま重畳した場合、親画面ビデオと子画面ビデオの境界で色の違いが出ることがある。これを回避するために、親画面ビデオと子画面ビデオの合成前に、どちらかの色空間に合わせる様に色空間を変換した場合でも、変換時の誤差により親画面ビデオと子画面ビデオの色を完全に合わせることは難しい。

　（２）子画面ビデオを拡大または縮小して重畳した場合、拡大・縮小時の方式により、子画面ビデオ内の線が滲むため、親画面ビデオから子画面ビデオに連続するようなオブジェクトを構成する線が滲むことがある。

　これら課題を回避する方法としては、子画面ビデオも親画面ビデオと同じ解像度の映像を使う方法がある。しかしながら、この場合、アプリ例で示したように親画面ビデオ内の一部の箇所だけ置き換えたいにも関わらず、子画面ビデオは親画面ビデオに対して置き換える必要がない箇所までビデオストリームとして圧縮する必要があるため、従来のSD解像度の子画面ビデオを用いる場合に比較して、子画面ビデオに必要なデータ量が増大してしまうという新たな課題を生み出す。

　本発明の目的は、子画面ビデオのデータ量を増大させることなく通常の動画像と、ピクチャインピクチャ動画像との切り替えを可能にする符号化方法を提供することである。

　＜課題を解決するための手段＞
　符号化方法の局面で課題解決を図る場合、当該局面における符号化方法は、
　符号化方法であって、
　原画像に対してエンコード処理を行うことによりベースビデオストリームを生成する第１エンコードステップと、
　各々のピクチャデータが、ピクチャインピクチャデータから構成されたピクチャインピクチャビデオストリームを生成する第２エンコードステップとを含み
　ピクチャインピクチャデータは、ベースビデオストリームにおけるピクチャの画面領域の一部が子画面領域に置き換えられたピクチャデータであり、
　第２エンコードステップは、ピクチャ間予測符号化処理を行い、
　ピクチャインピクチャデータのうち、子画面領域に置き換えられた部分を除く画面領域に位置する画素ブロックは、ベースビデオストリームにおける個々のピクチャデータのみを参照画像としたピクチャ間予測符号化処理により符号化されことを特徴とする。

　(ピクチャインピクチャビデオストリームの指定についての下位概念化)
　ピクチャインピクチャビデオストリームのピクチャデータは、ベースビデオストリームの再生時間軸において、間欠的に存在し、
　ベースビデオストリームを構成する各ピクチャデータは、再生時間軸において同一時点に再生されるべきピクチャインピクチャビデオストリームのピクチャデータが存在するか否かを示す存否フラグを含むことが望ましい。ピクチャインピクチャビデオストリームのピクチャが存在しない期間においては、ピクチャインピクチャビデオストリームに対する処理を凍結できるので、ピクチャインピクチャビデオストリーム側のバッファのアンダーフロー発生を避けることができる。

　（子画面領域内の圧縮符号方式についての下位概念化）
　ピクチャインピクチャビデオストリームを構成する個々のピクチャデータにおいて、子画面領域に置き換えられた部分に存在する画素ブロックは、ピクチャインピクチャビデオストリームを構成する他のピクチャデータにおいて、子画面領域に置き換えられた部分に存在する画素ブロックを参照画像としたピクチャ間予測符号化処理により符号化される
　ことが望ましい。ピクチャインピクチャビデオストリームの内部においては、子画面ビデオ同士の相関性を用いた圧縮符号化が可能になるので、符号化効率を高めることができる。

　復号化方法の局面で課題解決を図る場合、当該局面における復号化方法は、
　復号化方法であって、
　ベースビデオストリームをデコードすることで非圧縮のピクチャデータを得る第１デコードステップ、
　ピクチャインピクチャビデオストリームをデコードすることでピクチャインピクチャデータを得る第２デコードステップを含み
　第２デコードステップは、
　ピクチャインピクチャデータにおいて子画面領域を除く画面領域に位置する画素ブロックに対して、ベースビデオストリームにおける個々のピクチャデータのみを参照画像としたピクチャ間予測動き補償を実行する。

　(ピクチャインピクチャの指定の仕方についての下位概念化)
　ピクチャインピクチャビデオストリームのピクチャデータは、ベースビデオストリームの時間軸において、間欠的に存在し、
　ベースビデオストリームにおける各ピクチャデータは、時間軸において同一時点に再生されるべきピクチャインピクチャビデオストリームのピクチャデータが存在するか否かを示す存否フラグを含み、
　第２デコードステップは、存否フラグに基づいてピクチャインピクチャビデオストリームに対する処理を凍結するか否かを切り替えることが望ましい。ピクチャインピクチャビデオストリームのピクチャが存在しない期間においては、ピクチャインピクチャビデオストリームに対する処理を凍結できるので、ピクチャインピクチャビデオストリームのデコーデッドデータバッファに存在する参照ピクチャを後段の処理に利用することが可能になる。

　(子画面画像に対する圧縮符号化についての下位概念化)
　ピクチャインピクチャビデオストリームを構成する個々のピクチャデータにおいて、子画面領域に置き換えられた部分に存在する画素ブロックは、ピクチャインピクチャビデオストリームを構成する他のピクチャデータにおいて、子画面領域に置き換えられた部分に存在する画素ブロックを参照画像としたピクチャ間予測動き補償により復号化することが望ましい。ピクチャインピクチャビデオストリームの内部においては、子画面ビデオ同士の相関性を用いた圧縮符号化が可能になるので、符号化効率を高めることができる。

　これらの課題解決手段は、画素ブロック毎に動き補償時における参照ピクチャの制限が存在するというものである。画素ブロックとは、所定の横画素数、所定の縦画素数の画素の集りであり、本実施形態では、横32画素×縦32画素の画素の集りであるマクロブロックを画素ブロックとして採用する。

　図面を参照しながら上記課題解決手段による課題解決のアプローチについて具体的に説明する。図５１は、本実施形態に係る符号化方法を実施する装置(符号化装置)の内部構成の一例を示す。本図に示すように、符号化装置は、原画像をエンコードしてBaseビデオストリームを得る第１ビデオエンコーダ４１と、Baseビデオストリームをデコードするビデオデコーダ４２と、ビデオデコーダによるデコードで得られた非圧縮のピクチャデータ格納する参照ピクチャバッファ４３と、参照ピクチャバッファに格納された参照ピクチャを参照して画像の一部が子画面ビデオに置き換えられたピクチャインピクチャ画像をエンコードすることによりPinPビデオストリームを得る第２ビデオエンコーダ４４とを備える。

　まず原画像は、第１ビデオエンコーダー４１によって、Baseビデオストリームとして圧縮される。次に、前述のBaseビデオストリームをビデオデコーダーによってデコードし、デコードされたピクチャを参照ピクチャバッファに参照ピクチャとして記録する。次に顔だけ置き換えた画像を第２ビデオエンコーダー４４に入力するが、第２ビデオエンコーダー４４は前述の参照ピクチャを参照しながら圧縮する。この方式の利点は、第２ビデオエンコーダー４４が参照する参照ピクチャは、置き換え対象となっている顔以外の箇所は、第１ビデオエンコーダー４１の非可逆圧縮による圧縮誤差を除けば同じであるので、実際の圧縮では置き換え対象となる顔の部分だけを圧縮処理し、顔以外の領域は単に参照ピクチャを参照するだけで良いことになる。

　ここで、第１ビデオエンコーダー４１及び第２ビデオエンコーダー４４として、例えばMPEG-4MVCのビデオエンコーダーを用いることが考えられる。従来、MPEG-4MVCの技術は同一の物体を複数視点から見た画像を効率的に圧縮するために開発された圧縮技術であるため、複数視点から見た映像（複数ビュー）を互いに参照しながら圧縮を行うことで効率よく圧縮が可能となる。

　本実施例においても、親画面ビデオに対して、顔だけ置き換えた画像を、複数ビューを圧縮するものとして考えると、置き換え対象となる箇所以外は、親画面ビデオと全く同じであるため、極めて効率的に圧縮できる。

　また副次的な効果として、参照ピクチャバッファに保持されている参照ピクチャは、非可逆圧縮後にデコードされたピクチャであるため、原画像と比較すると、下位ビットは異なる可能性が高い（第１実施形態で図１を使用して説明した内容）が、第２ビデオエンコーダー４４で下位ビットの誤差を含めてエンコードを行うので、第２ビデオエンコーダー４４が出力するPinPビデオストリームは、置き換わっている顔以外の領域において、参照ピクチャとの差分もエンコードすることになるので、より原画像に近い、つまりより高画質となる。

　（本実施形態特有の符号化方法を導入したために生じる課題）
　上記方式による課題は、第２ビデオエンコーダー４４が参照ピクチャを用いて圧縮する際に、参照ピクチャの下位ビットが非可逆圧縮によって変化しているため、顔だけ置き換えた画像とビットを比較しても、置き換わっている場所が正確に把握できず、結果として全画面をエンコードするため、処理量が大きくなることである。

　本発明の副次的な目的は、全画面のエンコードがもたらす処理量増大を回避することができる。

　＜課題を解決するための手段＞
　符号化方法の局面で課題解決を図る場合、当該局面における符号化方法は、
　前記第２エンコードステップにおいて、ピクチャインピクチャデータの生成にあたって複数のフラグから構成される置換情報を生成し、
　前記置換情報における個々のフラグは、ピクチャインピクチャデータを分割することで得られた複数の画素ブロックのそれぞれが、ピクチャインピクチャにおいて子画面領域を構成するものか否かを示す
　ことを特徴とする。

　復号化方法の局面で課題解決を図る場合、当該局面における復号化方法は、
　前記第２デコードステップにおいて、ピクチャインピクチャストリームをデコードするにあたって複数のフラグから構成される置換情報を取得し、取得した置換情報において、オンに設定されたフラグに対応する画素ブロックについては参照ピクチャを用いたピクチャ間予測動き補償を実行せず、
　取得した置換情報においてオフに設定されたフラグに対応する画素ブロックについては、参照ピクチャを用いたピクチャ間予測動き補償を実行する
　ことを特徴とする。

　上記技術的特徴を符号化方法の発明、復号化方法の発明に導入することにより上記課題の解決が図られることになる。図５２を参照しながら上記課題解決手段による課題解決のアプローチについて具体的に説明する。図５２は、ピクチャインピクチャビデオストリームを得るための符号化装置の内部構成の一例を示す。図５２が図５１と異なるのは、参照ピクチャバッファに記録される参照ピクチャが、第１ビデオエンコーダーの出力をデコードしたピクチャではなく、原画像となっていることである。この場合、第２ビデオエンコーダー４４が参照する参照ピクチャと、顔だけ置き換えた画像を比較すると、置き換えた箇所以外は、ピクセル単位で下位ビットまで含めて一致する。従って、参照ピクチャを用いて圧縮する際でも、下位ビットまで含めて同じ箇所はエンコード処理が全く必要なく、単に参照ピクチャを参照するものとして記録すればよいので、エンコード処理の対象を置き換え対象の顔部分だけに限定することが可能となる。

　図５３は、図５２で示した圧縮処理をさらに効率的に行うための符号化装置の内部構成の一例を示す。通常、映画コンテンツを製作し、前述の俳優置き換えのようなアプリケーションを実現する場合、映画コンテンツを製作する時点で、親画面ビデオ内で置き換え対象となる箇所がピクセル単位で判明している。また、MPEG-4MVCなどの圧縮技術では、最小４×４ピクセルで構成されるマクロブロックと呼ばれる単位で圧縮処理が行われる。

　従って、まず親画面ビデオ及び、顔だけ置き換えた画像を４×４ピクセルで構成されるマクロブロックとして分割し、４×４のマクロブロック単位で、親画面ビデオとだけ置き換えた画像が全く同じである（「０」としてマーク）か、一部でも違う（「１」としてマーク）かを判定し、それを図５３中で示すような置き換え情報として持っておく。

　第２ビデオエンコーダー４４で顔だけ置き換え画像を圧縮する際には、前記置き換え情報を用いて、置き換え対象となっているマクロブロック（つまり、「１」としてマークされているマクロブロック）だけをエンコード対象とし、その他のマクロブロックは単に参照ピクチャを参照するものとして処理すれば良い。

　このように置き換え情報を用いて圧縮を行うことにより、顔だけ置き換えた画像をエンコードする際には、置き換わったピクセル/マクロブロックの箇所だけエンコード処理を行うことが可能となる。

　また、置き換え対象となるピクセル/マクロブロックの箇所は、原画像と異なることが多く、参照ピクチャを用いて圧縮しても効率的な圧縮ができないことが多い。従って、第２ビデオエンコーダー４４においては、参照ピクチャバッファを用いずに、置き換え情報だけ用いてピクチャインピクチャデータをエンコードする構成も考えられる。

　置換情報のフラグは、個々のマクロブロックが子画面内か否かを示せば足りるから、ビット幅は1ビットでよい。よって（ピクチャデータに存在するマクロブロックの個数）×１のビットサイズさえあれば、置換情報を作成することができる。

　置き換え情報における個々のフラグの設定は以下のようになされる。ピクチャ平面のうち、子画面ビデオに置き換えられる領域は、メタデータにおける画面構成エントリーの座標(x,y)と、子画面領域の縦幅・横幅とで規定される。よって、ピクチャ平面における座標(x,y)と、子画面領域の縦幅・横幅とをマクロブロックアドレスに変換すれば、マクロブロックが何処から何処までに存在するかを明示することができる。ピクチャ平面におけるマクロブロックアドレスは、そのマクロブロックが属するスライスの番号と、マクロブロックが属するスライスにおけるマクロブロックの連番との組みで表現される。よって、メタデータの画面構成エントリーにおける子画面領域の座標(x,y)と、子画面領域の縦幅・横幅とから子画面領域の左上頂点、右上頂点、左下頂点、右下頂点を求めて、これをマクロブロックアドレスに変換すれば、子画面領域に属することになるマクロブロックを特定することができる。

　置き換え情報生成にあたっては先ず、左上頂点を含むマクロブロックであるマクロブロックStartの番号、右上頂点を含むマクロブロックであるマクロブロックEndの番号を求める。それと共に左上頂点を含むスライスであるスライスStartの番号、右下頂点を含むスライスであるスライスEndの番号を求める。

　そしてスライスStartからスライスEndまでに存在する複数のスライスのそれぞれについて、マクロブロックStartからマクロブロックEndまでのマクロブロックに対応する置き換え情報のフラグを「1」に設定すれば、子画面領域が存在するマクロブロックは、置き換え情報によって特定されることになる。マクロブロックStart、マクロブロックEnd、スライスStart、スライスEndは、メタデータにおける画面構成エントリーを用いて以下のように算出することができる。

　子画面領域における左上頂点のX座標は、画面構成エントリーにおける子画面領域のx座標であるから、この子画面領域のx座標をマクロブロックにおける横画素数で割ればその商がマクロブロックStartになる。

　子画面領域における右上頂点のX座標は、画面構成エントリーにおける子画面領域のx座標に子画面領域の横幅を足した座標であるから、この子画面領域の（x座標＋横幅）を、マクロブロックにおける横画素数で割ればその商がマクロブロックEndになる。

　子画面領域における左上頂点のY座標は、画面構成エントリーにおける子画面領域のy座標であるから、この子画面領域のy座標を、スライスにおける縦画素数で割ればその商がスライスStartになる。

　子画面領域における右下頂点のY座標は、画面構成エントリーにおける子画面領域のx座標に子画面領域の縦幅を足した座標であるから、この子画面領域の(y座標＋縦幅)を、スライスにおける縦画素数で割ればその商がスライスEndになる。

　これらスライスStartからスライスEndまでの個々のマクロブロックにおいて、マクロブロックStartからマクロブロックEndまでのフラグを"1"に設定すれば、ベースビデオストリームのピクチャを構成するマクロブロックのうち、子画面領域に置き換えられたものが特定される。こうすることで置き換え情報は生成される。

　また、置き換え情報の単位をマクロブロック単位としたが、これに限定されるものではなく、置き換え情報はピクセル単位であってもよいし、1つ以上の矩形領域であってもよい。上記符号化方法の発明は、テレビ放送コンテンツを送信する送信装置上で実施することができる。このテレビ放送コンテンツとは、1TS-2VS形式のものである。1TS-2VS形式のテレビ放送コンテンツであれば、Baseビデオストリーム、ピクチャインピクチャビデオストリームを包含したトランスポートストリームファイルが復号化の対象になる。

　また、PinPビデオストリームは別途ネットワーク経由などで配布されても良い。この場合、放送波で送信されるBaseビデオストリームを含むトランスポートストリーム内には、ピクチャインピクチャビデオストリームを含むトランスポートストリーム、あるいはMP4ファイルなどがネットワーク上のどこに保持されているかを示すURLなどの情報(PinPビデオストリーム所在情報)が記載されていることが望ましい。より具体的には、前述のURLなどのPinPビデオストリーム所在情報は以下の場所に記録される。

　(1)Baseビデオストリームあるいは、PinPビデオストリーム内のヘッダー
　PinPビデオストリーム所在情報は、Baseビデオストリームあるいは、PinPビデオストリーム内のヘッダーなどに記録することができる。あるいは、各フレーム/フィールド毎にPinPビデオストリーム所在情報を保持するのではなく、GOP先頭のフレームにまとめて複数フレーム/フィールド分のPinPビデオストリーム所在情報を保持しておいても良い。

　(2)PMT（Program Map　Table）
　PMT（Program Map　Table）にPinPビデオストリーム所在情報を記録しても良い。例えば、Baseビデオストリーム、あるいはPinPビデオストリームのストリームディスクリプタの一情報としてPinPビデオストリーム所在情報が保持されていても良い。

　(3)ナビゲーションやJAVAによるコマンドによる指示
　PinPビデオストリーム所在情報(1)、(2)及び(4)はビデオフレーム単位や、PMTで区切られた区間、プレイアイテム単位などあらかじめ決められた単位/区間でしか切り替えられないが、例えばナビゲーションやJAVAによるコマンドによってPinPビデオストリーム所在情報を取得し、この取得したPinPビデオストリーム所在情報に従い、PinPビデオストリームを取得してもよい。

　(4)プレイアイテム情報、サブプレイアイテム情報からの指示
　PinPビデオストリームを記録媒体に記録して再生装置に供給する場合、プレイアイテム単位や、サブプレイアイテム単位でPinPビデオストリーム所在情報を持っていても良い。PinPビデオストリーム所在情報を記録する場所は、上記に限定されるものではなく、例えばネット上のサーバーなどにPinPビデオストリーム所在情報を記録しておいて、必要に応じて機器が取得できるようになっていても良い。

　これらBaseビデオストリーム、PinPビデオストリームの組みで実現される放送コンテンツを『ピクチャインピクチャ放送』という。『ピクチャインピクチャ放送』では、ユーザによるビデオストリーム切り替え操作に従い、選択的に再生させることでオリジナルの動画像と、映像の一部が置き換えられた動画像との切り替えを実現する。

　図５４は、符号化方法の発明を実施することができる放送装置の内部構成の一例を示す。本図に示すように、ピクチャインピクチャの親画面ビデオとなるべき親画面ビデオストリームと、ピクチャインピクチャの子画面ビデオとなるべき子画面ビデオストリームとを複数格納する画像ストレージ５０と、親画面ビデオストリーム及び子画面ビデオストリームを再生する再生部５１と、親画面ビデオストリーム及び子画面ビデオストリームをメタデータに従い合成する合成部５２と、ユーザ操作を受け付けて、メタデータを作成するPinP画像生成部５３と、ユーザ操作を受け付けるGUI部５３aと、原画像及びピクチャインピクチャ画像をエンコードすることで、原画像からなるBaseビデオストリームと、ピクチャインピクチャ画像からなるPinPビデオストリームとを得るマルチビュー符号化部５４と、Baseビデオストリーム及びPinPビデオストリームをオーディオストリーム、字幕ストリームと共に多重化してトランスポートストリームを得る多重化部５５と、多重化で得られたトランスポートストリームを送出する送出部５６とを含む。上記のマルチビュー符号化部は
図５１から図５３までに示した第１ビデオエンコーダ、第２ビデオエンコーダ、参照ピクチャを包含するものである。

　1TS-2VS形式のテレビ放送コンテンツにおけるトランスポートストリームは、複数のビデオストリームと、PMTテーブルとをトランスポートストリームパケット列に変換して多重化することで生成される。

　このPMTテーブルは、1つ以上のテーブルディスクリプタと、各ビデオストリームに対応するストリーム情報とを含み、各ストリーム情報は、ストリームタイプと、パケット識別子と、ストリームディスクリプタとを含む。テーブルディスクリプタには、サービスタイプ情報が記述される。サービスタイプ情報は、放送コンテンツがピクチャインピクチャ映像への切り替えが可能な放送コンテンツであるか否かを示す。

　＜PinPビデオストリーム生成部の詳細＞
　PinPビデオストリーム生成部について説明する。PinPビデオストリーム生成部は、メタデータに従い、子画面ビデオストリームにおける個々のピクチャを親画面ビデオストリームにおける個々のピクチャに合成することでピクチャインピクチャを実現する。メタデータはピクチャインピクチャのためのメタデータであり、当該メタデータは、親画面ビデオストリームに対して設定された再生区間の何れかに対応する再生区間エントリーによって構成され、再生区間エントリーは、親画面ビデオストリームに対して設定された再生区間へのレファレンスを含むヘッダと、複数の画面構成エントリーとを含む。

　複数の画面構成エントリーは、対応する親画面ビデオストリームに対して設定された再生区間の再生時になすべき複数の画面構成の内容を規定するものであり、個々の画面構成エントリーは、合成すべき子画面ビデオの指定と、1つの画面構成の時期を示すタイムスタンプと、画面合成における子画面ビデオの水平座標及び垂直座標と、子画面ビデオをスケーリングするにあたってのスケーリング後の横幅・縦幅とを規定する。

　子画面ビデオは複数存在していて、これらは、子画面ビデオストリームを形成している、よって、メタデータのエントリーにおける子画面ビデオの指定は、当該子画面ビデオストリームの識別子と、この子画面ビデオストリームの時間軸における、再生時点の指定との組みで表現される。

　PinPビデオストリーム生成部では、再生区間エントリーにおける複数の画面構成エントリーのうち、現在の再生時点に対応するタイムスタンプをもつもの水平位置及び垂直位置に、当該画面構成エントリーに含まれる横幅・縦幅に従って拡大又は縮小がなされた子画面ビデオを表示させるよう、ピクチャインピクチャ再生のオーサリングを行う。

　そして再生装置のPinPビデオストリーム生成部は、再生区間エントリーにおける複数の画面構成エントリーのうち、現在の再生時点に対応するタイムスタンプをもつもの水平位置及び垂直位置に、当該画面構成エントリーに含まれる横幅・縦幅に従って拡大又は縮小がなされた子画面ビデオを表示する。こうすることで、ピクチャインピクチャにおける子画面ビデオの水平座標及び垂直座標を、現在の再生時点の進行に応じて変化させたり、また、ピクチャインピクチャにおける子画面ビデオの大きさを、現在の再生時点の進行に応じて、変化させることができる。

　再生区間エントリーにおけるヘッダは、合成部によるクロマキー合成の許否を規定するクロマキー許否フラグと、クロマキー上限値とを含む。PinPビデオストリーム生成部は、再生区間エントリーにおけるヘッダが、クロマキー合成の許可を示している場合、親画面ビデオストリームを構成する個々のピクチャデータと、子画面ビデオストリームを構成する個々のピクチャデータとのクロマキー合成を行う。

　子画面ビデオにおける複数の画素のうちその輝度が、カレントの親画面ビデオストリームに対して設定された再生区間に対応する再生区間エントリーにおけるヘッダのクロマキー上限値を下回るものを透過するよう、透過率を合成部に設定する。こうすることで、ブルーバックを背にして撮影された子画面ビデオについては、その背景部分が透明部分として扱われ親画面ビデオが透けて見えるようになる。こうすることで、640×480という解像度のSD画質の矩形形状の子画面ビデオから登場人物を抜き出して親画面ビデオと合成することが可能になる。

　以下、具体例を交えて上記符号化制限の工夫について説明を行い技術的理解を深める。ここで想定する具体例とは、スポーツコンテンツを符号化するというものであり、その映像内容としては、図５５のようなものを考えている。図５５は、Baseビデオストリームにおけるピクチャと、PinPビデオストリームにおけるピクチャとを対比して示す。本図（ａ）は、Baseビデオストリームである親画面ピクチャの一例であり、本図（ｂ）は、PinPビデオストリームである子画面ピクチャの一例である。右側の（ｂ）のピクチャにおいて、破線枠で囲んだ部分が子画面ピクチャであり、置き換えがなされた部分である。このように、親画面ビデオの顔の部分が置き換わった画像を、PinPビデオストリームとして送り出そうとしている。

　図５６は、Baseビデオストリームにおける複数のピクチャデータと、Enhancementビデオストリームにおける複数のピクチャデータとを示す。図５６において第１段目がBaseビデオストリームにおける複数のピクチャであり、第２段目がEnhancementビデオストリームにおける複数のピクチャデータである。Baseビデオストリームにおけるピクチャは、GOPを構成していて、個々のピクチャは、IDRピクチャ、Pピクチャ、Bピクチャ、Brピクチャというタイプに設定されている。PinPビデオストリームにおけるピクチャは、Pピクチャ、Bピクチャ、Brピクチャというタイプに設定されている。

　ピクチャ間の矢印rp1～rp18はフレーム間動き要件においてどのピクチャを参照しているかという参照関係を模式的に示す。しかし、ピクチャインピクチャビデオストリームのピクチャ全体が、ピクチャインピクチャビデオストリーム内の他のピクチャ全体を参照しているという参照関係は存在しない。

　図中の×付きの矢印rp21～rp23はPinPビデオストリーム内のピクチャデータ全体が、他のピクチャデータ全体を参照しているという参照関係が、このPinPビデオストリームに存在し得ないということを誇張している。子画面ビデオの一部分と、親画面ビデオの一部分とが参照ピクチャとして混在して使用されることはなくなるから、擬似輪郭の発生や色の滲みの発生を回避することができる。これにより高品位なピクチャインピクチャを可能とするPinPビデオストリームを、放送受信装置に送り込むことができる。

　但し、置換画像の範囲に限っていえば、PinPビデオストリームに帰属するピクチャデータの子画面領域の画素ブロックが、同一PinPビデオストリーム内の他のピクチャデータの子画面領域の画素ブロックを参照することは許容される。図中の矢印rp30,rp31,rp32,rp33・・・・は、PinPビデオストリームに帰属するピクチャデータの子画面領域の画素ブロックが、同一PinPビデオストリーム内の他のピクチャデータの子画面領域の画素ブロックを参照しているという参照関係を示す。むしろ、置換画像の箇所に関しては、前後のピクチャを参照することで、PinPビデオストリームの圧縮効率が向上することになる。つまり、置換画像の領域はPinPビデオストリーム内の前後のピクチャを参照しながら圧縮し、置換画像以外の領域はBaseビデオストリームを参照して圧縮することがより望ましい形態となる。

　これが上述したような符号化制限の工夫の具体的態様の1つである。ピクチャインピクチャビデオストリームと、Baseビデオストリームとは、同数のピクチャから構成されていて、Baseビデオストリームにおける各ピクチャのDTS、PTSと、Enhancementビデオストリームにおける各ピクチャのDTS-PTSとは同じ時刻に設定される。図中の縦線は、BaseビデオストリームのDTSと、EnhancementビデオストリームのピクチャのDTSとが同じ時刻であることを示す。これらのピクチャには、Baseビデオストリームのピクチャ→Enhancementビデオストリームピクチャ→Baseビデオストリームのピクチャ→Enhancementビデオストリームピクチャの順にピクチャ識別子が割り当てられることになる。これによりBaseビデオストリームは、奇数のピクチャ識別子で識別され、Enhancementビデオストリームのピクチャは偶数のピクチャ識別子で識別されることになる。

　一方、マクロブロックは、マクロブロックタイプ、参照ピクチャの参照子(re＿idx)、動きベクトルといった要素から構成され、参照ピクチャの参照子を用いて参照ピクチャとなるべきピクチャを特定することができる。上述したように、Baseビデオストリームのピクチャの奇数のピクチャ番号を割り当てているなら、参照ピクチャとして奇数のピクチャ識別子を、ピクチャ参照子に記述することで上述したような動き補償の制限を実現することができる。以上が符号化制限についての説明である。続いて、上記具体例のPinPビデオストリームを作成するにあたって、置き換え情報がどのように構成されるかという詳細について説明する。

　図５７は、PinPビデオストリームにおけるピクチャの内部構成の一例を示す。本図のピクチャは、図５５の画像例を示すものであり、かかるピクチャは、複数のマクロブロックから構成されている。本図における「Flg」とは、上述したような置き換え情報において、個々のマクロブロックに対応するフラグであり、本図では置き換えがなされたキャラクタの顔の部分のマクロブロックについてフラグ=1に設定され、それ以外マクロブロックはフラグ=0に設定されている。これが、上述したようなマクロブロック毎の置き換える情報によるフラグ設定の具体的態様の1つである。

　上述したように、PinPビデオストリーム生成部が処理編集に用いるメタデータは、個々の画面構成エントリーにおいて画面合成における子画面ビデオの水平座標及び垂直座標と、子画面ビデオをスケーリングするにあたってのスケーリング後の横幅・縦幅とを規定するから、PinPビデオストリームを生成する際、PinPビデオストリームにおけるピクチャを構成するマクロブロックのそれぞれが、ピクチャインピクチャにおける子画面ビデオに該当するものかどうかが把握されることになる。よって、PinPビデオストリームにおけるピクチャが生成された際、そのピクチャデータにおけるマクロブロックのそれぞれが、子画面ビデオの範囲内となるか否かを判定して、これをマクロブロック単位の情報に変換することにより上記置き換え情報を作成することができる。

　上記符号化方法の実施にあたっては、放送装置におけるハードウェア構成上で、PinPビデオストリームの作成を実行せねばならない。符号化方法の発明の実施のため、放送装置のCPUが実行すべき処理手順について説明する。

　図５８は、PinPビデオストリームの生成手順を示すフローチャートである。Baseビデオストリーム及びEnhancementビデオストリームを構成するピクチャのそれぞれについて、ステップＳ５２～ステップＳ５６の処理を繰り返すループになっている(ステップＳ５１)。ステップＳ５２では、復号時刻、再生時刻が同時刻になるBaseビデオストリームのピクチャと、ピクチャインピクチャビデオストリームのピクチャとに連番のピクチャIDを付与する。ステップＳ５３は全てのピクチャを構成するスライスのそれぞれについてステップＳ５４、ステップＳ５５を繰り返すループを規定する。ステップＳ５４は、スライスタイプがBピクチャ、Iピクチャかどうかの判定であり、ステップＳ５５は、Baseビデオストリームにおいて表示順序に配されたピクチャの中から参照ピクチャを特定する。ステップＳ５６では、こうして特定された参照ピクチャを用いてマクロブロックを符号化する。

　図５９は、マクロブロック符号化方法の処理手順を示す。本フローチャートにおける変数(j)は、処理対象となるマクロブロックを特定するための制御変数である。従って、以降のフローチャートにおいて、ループのj巡目の処理で処理対象となるマクロブロック(j)と表記することにする。

　ステップＳ６０では、スライスを構成する各マクロブロックについて繰り返す。ステップＳ６１では、ピクチャインピクチャの左上座標、縦幅、横幅で規定される範囲内にマクロブロックが帰属するかどうかの判定である。帰属する場合、ステップＳ６２においてマクロブロックのフラグをオンに設定して(ステップＳ６２)、ステップＳ６３～ステップＳ６７をスキップし、ステップＳ６８に移行することによりマクロブロックのDCT量子化を実行する。そしてステップＳ６９において、マクロブロックのエントロピー符号化を行う。

　ピクチャインピクチャ合成範囲に属しない場合、マクロブロックのフラグをオフにして(ステップＳ６３)、スライスタイプがPピクチャ又はBピクチャであるか判定する。もし異なればステップＳ６８に移行する。スライスタイプがPピクチャ、Bピクチャであれば、Baseビデオストリームから特定されたピクチャを用いてスライスを構成するマクロブロックに対するフレーム間動き補償を実行する(ステップＳ６５)。ステップＳ６６では、Baseビデオストリームにおけるピクチャのみを参照ピクチャに割り当てるよう、マクロブロックのピクチャ参照子を設定する。この設定は、自身のピクチャIDに2mー1(mは1つ以上の整数)を加算したピクチャを参照ピクチャとして指定するか、又は、自身のピクチャIDから2mー1(mは1つ以上の整数)を減算したピクチャを参照ピクチャとして指定することでなされる。その後、ステップＳ６７でマクロブロックの差分化を行い、ステップＳ６８に移行する。

　置き換え情報により子画面ビデオの画素ブロック、親画面ビデオの画素ブロックの区別が可能になるから、フレーム間動き補償の要否をデコード処理の初期の段階で判断することができる。動き補償の必要がない場合、画素ブロックをまとめて処理すると共に、動き補償が必要な画素ブロックを処理することでPinPビデオストリームのデコードを好適に行うことができ、MVC-SD(MPEG4-MVCのSD画像対応版)しか処理しえない規模のデコーダモデルでもピクチャインピクチャの実現が可能になる。

　復号化方法の発明は、放送コンテンツ受信装置に実装されたビデオデコーダ上で実施することができる。図６０は、放送コンテンツ受信装置の内部構成を示す図である。本図に示すように受信装置は、自装置における選局設定を格納している選局レジスタ２０１と、自装置におけるカレントビデオストリーム番号を格納しているビデオストリーム番号レジスタ２０２と、放送波を受信してトランスポートストリームを得る受信部２０３、トランスポートストリームから選局レジスタに格納された局設定に対応するPMTテーブルに従いTSパケットの抽出を行い、ビデオストリーム、PinPビデオストリーム、オーディオストリーム、字幕ストリームを得る多重分離部２０４と、ビデオストリーム、オーディオストリーム、字幕ストリームを構成するTSパケットをバッファリングする第１リードバッファ２０５aと、第２リードバッファ２０５bと、オーディオストリーム及び字幕ストリームをデコードすると共に、Baseビデオストリーム及びPinPビデオストリームのうち、ビデオストリーム番号に対応するものをデコードするシステムターゲットデコーダ２０６と、Baseビデオストリームをデコードすることで得られたピクチャデータを格納する親画面プレーンメモリ２０７と、PinPビデオストリームをデコードすることで得られたピクチャデータを格納するPinPプレーンメモリ２０８と、親画面プレーンメモリ、PinPプレーンメモリのうち、表示内容の切り替えを行うスイッチ２０９と、ピクチャデータと、字幕との合成を行う合成部２１０と、合成がなされたピクチャデータを表示する表示部２１１と、ユーザから受け付けた操作や視聴予約設定に従い、選局レジスタ及びビデオストリーム番号レジスタに対する設定を行い、装置全体の制御を行う制御部２１２と、ユーザ操作を受け付ける操作受付部２１３と、アプリケーションの起動を行い、放送サービスの切替えをバウンダリイとしたアプリケーションシグナリングを実行するプログラム実行部２１４と、アプリケーションにより描画されたイメージを格納するイメージメモリ２１５とから構成される。

　ビデオストリーム番号格納レジスタにおいて、Baseビデオストリーム及びPinPビデオストリームには、それぞれ、１番のストリーム番号、２番のストリーム番号が割り当てられている。受信装置のレジスタセットおいては、カレントビデオストリーム番号を格納するビデオストリーム番号レジスタを具備していて、ユーザは、ビデオ切り替えに割り当てられたリモコンのキーを操作することで、このビデオストリーム番号を１→２→１→２と変化させる。

　放送コンテンツ受信装置においては、コスト上の問題からFullHDのビデオデコーダを２セット具備するというのは現実的ではない。MPEG4のMVC-SDビデオデコーダでピクチャインピクチャビデオストリームを処理するというのが現実的とされる。

　図６１は、第４実施形態に係るシステムターゲットデコーダ１０４の内部構成の一例を示す。本図は、第１実施形態に示したビデオデコーダ部２３、色深度拡張部２４の周辺に、デジタル放送コンテンツを処理するための独特の構成要素を配置した構成になっている。

　本図は、第２実施形態における再生装置の内部構成図をベースとして作図されており、このベースとなる構成と比較すると、第２実施形態の実施製品に依拠していた構成要素が、本実施形態特有の実施製品の構成要素に置き換わっている点に注意が必要となる(PGデコーダ１２６及びIGデコーダ１２７→字幕デコーダ３０４及びラインメモリ３０５、主音声デコーダ１２７及び副音声デコーダ１２８→オーディオデコーダ３０６)。以下、置き換えによる構成要素について説明する。

　字幕デコーダ３０４は、コーデッドデータバッファ、ピクセルバッファという2つのバッファメモリを具備していて、デジタル放送コンテンツにおける字幕ストリームのデコードを行う。コードデータバッファは、符号化された状態のグラフィクスオブジェクト、テキストオブジェクトを格納する。ピクセルバッファは、符号化されたオブジェクトオブジェクト、テキストオブジェクトを復号することで得られる非圧縮グラフィクス、非圧縮テキストを格納する。そして字幕デコーダ１０７は、ページコンポジションセグメントに従い、ピクセルバッファからラインメモリへの転送を行う。この転送にあたって、ピクセルバッファにはRegionのリストが定義される。Regionとは、字幕のデコーダモデルにおいて、字幕のデコード処理(Subtitle Processing)にて得られたグラフィクスが格納されるバッファ(Pixel Buffer)上に定義される領域である。

　ラインメモリ３０５は、デコードで得られた複数ライン分の非圧縮のグラフィクスを格納する。

　オーディオデコーダ３０６は、放送コンテンツにおけるオーディオストリームのデコーダを行う。

　以上が置き換えがなされた構成要素である。続いて、上記置き換えに伴う改良が施された構成要素(第１PIDフィルタ１２２a、ビデオデコーダ部１２３、第１Transport Buffer１３１a、第２Transport Buffer１３１b、圧縮映像デコーダ１３７）について説明する。

　第１PIDフィルタ１２２aは、ピクチャインピクチャ放送の受信時においてカレントビデオストリーム番号が「１」であれば、トランスポートストリームに存在するTSパケットのうち、Baseビデオストリームを構成するものみをビデオデコーダに出力してその内部の第１Transport Buffer１３１aに格納させる。ピクチャインピクチャ放送の受信時においてカレントビデオストリーム番号が「２」であれば、第１PIDフィルタ１２２aは、トランスポートストリームに存在するTSパケットのうち、Baseビデオストリームを構成するものみをビデオデコーダに出力してその内部の第１Transport Buffer１３１aに格納させると共に、トランスポートストリームにおけるTSパケットのうち、Enhancementビデオストリームに帰属するものをビデオデコーダに出力して、その内部の第２Transport Buffer１３１bに格納させる。

　ビデオデコーダ部１２３は、Baseビデオストリーム及びPinPビデオストリームという2系統のストリームを入力しつつも、このカレントビデオストリーム番号に応じたビデオストリームの画面出力を行う。例えばカレントビデオストリーム番号が「１」なら、デコードで得られたピクチャのうち、奇数(2m-1)のピクチャ識別子で特定されるものを画面表示に供する。カレントビデオストリーム番号が「２」である場合、PinPビデオストリームのピクチャを選んで画面表示に供する。PinPビデオストリームにおけるピクチャは、2mのピクチャ識別子で特定されるから、かかる識別子のピクチャを画面表示に供することでPinPビデオストリームが再生される。

　第１Transport Buffer１３１aは、カレントビデオストリーム番号が「１」であればPIDフィルタから出力されてくるTSパケットを格納した上、デコードに供する。

　第２Transport Buffer１３１bは、カレントビデオストリーム番号が「２」であれば、第２PIDフィルタから出力されるTSパケットを格納した上、デコードに供する。こうすることでピクチャインピクチャ放送の受信時においてビデオストリーム番号が「２」に設定された場合、TB１３１、MB１３２、EB１３３から圧縮映像デコーダ１３７に続く一連の処理系には、親画面ビデオ（置き換え前の映像）が圧縮されたBaseビデオストリームが入力される。TB１３４、MB１３５、EB１３６から圧縮映像デコーダ１３７に続く一連の処理系には、子画面ビデオ（顔だけ置き換えた映像）が圧縮されたPinPビデオストリームが入力される。

　圧縮映像デコーダ１３７は、デコードされたフレーム/フィールド画像をDPB１３９に転送し、表示時刻（PTS）のタイミングで対応するフレーム/フィールド画像をピクチャスイッチ１２４に転送する。Baseビデオストリーム内のクローズGOPの先頭に位置するデコーダリフレッシュを意図したピクチャタイプ(IDRタイプ)のピクチャデータをデコードする。このデコードにあたって、コーデッドデータバッファ、デコードデータバッファを全クリアする。こうしてIDRタイプのピクチャデータをデコードした後、ビデオデコーダは、このピクチャデータとの相関性に基づき圧縮符号化されているBaseビデオストリームの後続のピクチャデータ、及び、PinPビデオストリームのピクチャデータをデコードする。デコードによってBaseビデオストリームにおけるピクチャデータについての非圧縮のピクチャデータが得られれば、デコーデッドデータバッファに格納し、かかるピクチャデータを参照ピクチャとする。

　この参照ピクチャを用いて、圧縮映像デコーダはBaseビデオストリームの後続のピクチャデータを構成するマクロブロック、及び、PinPビデオストリームのピクチャデータを構成するマクロブロックについて、動き補償を行う。

　各マクロブロックに対する動き補償処理とは、16×16、16×8、8×16、ダイレクト／スキップのそれぞれについて、動き予測モード及び参照フレームを決定し、Bフレームでは、それぞれのモードについて予測方向を決定し、サブパーティションモード、イントラ4×4モード、イントラ8×8モードの中から最適なモードを決定するというものである。

　上記における動き探索は、整数画素精度の動き探索、1/2画素精度の動き探索、1/4画素精度の動き探索というように階層的になされる。整数画素精度の動き探索では、メディアン予測によって動きベクトルの予測値を求め、これを探索の中心として探索を行う。これらの動き補償を繰り返すことで、Baseビデオストリーム、PinPビデオストリームのそれぞれのデコードを進めてゆく。上述したように、マクロブロックのピクチャ参照子は、親画面ビデオを構成するマクロブロックのみを参照ピクチャとして指定しているから、かかる動き探索では、必ず親画面ビデオのマクロブロックが探索されることになる。

　動き補償によって、Baseビデオストリームの後続のピクチャデータ、及び、PinPビデオストリームのピクチャデータについて、非圧縮のピクチャデータが得られれば、これらのうちBaseビデオストリームのピクチャデータのみをデコードデータバッファに格納し参照ピクチャとする。

　以上のデコードは、個々のアクセスユニットのデコードタイムスタンプに示されているデコード開始時刻が到来時になされる。こうして符号化されたフレーム/フィールド画像は、ピクチャスイッチ２０９を経て各プレーンに転送される。Baseビデオストリームがデコードされた画像は親画面ビデオプレーン２０７へ、Picutre in Pictureビデオストリームがデコードされた映像はPinP映像プレーン２０８へ転送される。親画面ビデオプレーン２０７と、PinP映像プレーン２０８のどちらか一方が、プレーン切替情報に従ってプレーン切り替えスイッチ２０９を経てプレーン加算部２１０に伝送される。ここで、プレーン切替情報とは、親画面ビデオプレーン内の映像と、PinP映像プレーン内の映像のどちらをプレーン加算部２１０へ伝送すべきかを決める情報である。次に、プレーン切替情報について説明する。プレーン切替情報は、上述した(1)～(4)に示される場所に記録しておくのが望ましい。

　(1)Baseビデオストリームあるいは、PinPビデオストリーム内のヘッダー
　プレーン切替情報は、Baseビデオストリームあるいは、PinPビデオストリーム内のヘッダーなどに記録することができる。例えば、Baseビデオストリームを構成する各フレーム/フィールド毎にどちらのプレーンを出力すべきかの情報が記録されていて、圧縮映像デコーダ１３７は、各ビデオフレーム/フィールドに付与されているPTSとともに、親画面ビデオプレーン２０７の格納内容と、PinP映像プレーン２０８の格納内容のうちどちらかをプレーン加算部２１０へ伝送すべきかをプレーン切替情報としてプレーン切り替えスイッチ２０９に入力する。こうすることで親画面ビデオプレーン２０７の格納内容、PinP映像プレーン２０８の格納内容どちらかがプレーン加算部２１０へ伝送される。

　あるいは、各フレーム/フィールド毎にプレーン切替情報を保持するのではなく、GOP先頭のフレームにまとめて複数フレーム/フィールド分のプレーン切替情報を保持しておいても良い。

　(2)PMT（Program Map　Table）
　PMT（Program Map　Table）にプレーン切替情報を記録しても良い。例えば、Baseビデオストリーム、あるいはPinPビデオストリームのストリームディスクリプタの一情報としてプレーン切替情報が保持されていても良い。

　(3)ナビゲーションやJAVAによるコマンドによる指示
　プレーン切替情報(1)、(2)及び(4)はビデオフレーム単位や、PMTで区切られた区間、プレイアイテム単位などあらかじめ決められた単位/区間でしか切り替えられないが、例えばナビゲーションやJAVAによるコマンドによってインタラクティブに切り替えられても良い。つまり、視聴者がリモコンなどで親画面ビデオと、顔だけ置き換えた画像を切り替えられるようにしても良い。

　(4)プレイアイテム情報、サブプレイアイテム情報からの指示
　PinPビデオストリームを記録媒体に記録して再生装置に供給する場合、プレイアイテム単位や、サブプレイアイテム単位でプレーン切替情報を持っていても良い。例えば最初のプレイアイテム区間は、主映像プレーン３０１をプレーン加算部２１０へ伝送し、続くプレイアイテム区間ではPinP映像プレーン３０２へ伝送するようにしても良い。

　プレーン切替情報を記録する場所は、上記に限定されるものではなく、例えばネット上のサーバーなどにプレーン切替情報を記録しておいて、必要に応じて機器が取得できるようになっていても良い。

　(PinPビデオストリームにおけるピクチャの間欠送信)
　上述した伝送では、PinPビデオストリーム内のピクチャが、ベースビデオストリームの再生時間軸において間欠的にしか存在しないケースが生じる。ここで、間欠的にしか存在しないケースとは、ベースビデオストリームのうち置換画像が発生しないピクチャに対しては、PinPビデオストリームのピクチャデータを送らないという間欠送出を送信装置が実行することを意味する。この場合、いずれかの場所にPinPピクチャの有無を示す情報が無いとビデオデコーダ側におけるバッファ(上述したような第２TB、第２MB、第２EB)のアンダーフローを招来してしまう。

　実際のPinPビデオストリームを応用したアプリケーションコンテンツを考えると、例えばあるシーンでだけBaseビデオストリーム内の人物を入れ替え、その他のシーンではBaseビデオストリーム内を入れ替えずにそのまま出すケースが存在する。このようにBaseビデオストリーム内を入れ替えずにそのまま出すケースにおいては、対応するPinPビデオストリームを伝送しないことが望ましい。

　しかしながら、機器のデコーダーの観点からは、突然PinPビデオストリームが伝送されてこない状態になると、MPEGで規定されるバッファであってPinPビデオストリーム用のもの(第２TB、第２EB、第２MB)がアンダーフローしてしまい、PinPビデオストリームのデコードの途中で参照ピクチャが失われたり、復号パラメータのリセットが生じる可能性がある。これを回避するには、Baseビデオストリーム内の各ピクチャに対して、対応するPinPビデオストリームのピクチャの有無を示す存否フラグを入れておくことが望ましい。あるいは、上述の（１）から（４）のいずれかの領域に、Baseビデオストリームを構成する各ピクチャに対して、対応するPinPビデオストリーのピクチャが存在するか否かを示す存否情報を入れておくことが望ましい。一方、ビデオデコーダでは、Baseビデオストリーム、又は、上記（１）から（４）までの領域からPinPビデオストリームのピクチャの有無を示す存否フラグを取り出し、再生対象となるピクチャデータから取り出されたフラグが"ピクチャ有"を示すものから"ピクチャ無"を示すものに切り替えられたなら、ビデオデコーダにおけるバッファ状態を維持したまま、PinPビデオストリームに対するデコード動作を凍結する。これによりビデオデコーダは、PinPビデオストリーム用の第２TB、第２MB、第２EBの格納内容を維持し、デコード用パラメータを退避した上でPinPビデオストリームに対する処理を省く。

　逆に、再生対象となるピクチャデータから取り出されたフラグが"ピクチャ無"を示すものから"ピクチャ有"を示すものに切り替えられたなら、PinPビデオストリームに対するデコード動作の凍結を解除し、凍結直前のバッファ状態からデコード動作を継続する。こうすることで、PinPビデオストリームに関連する処理系統のアンダーフロー発生を避けることができる。

　次に、復号化方法の実施について説明する。上記復号化方法の実施にあたっては、コンテンツ放送受信装置におけるハードウェア構成上で、PinPビデオストリームの実行及び復号を実行せねばならない。復号化方法の発明の実施のため、コンテンツ放送受信装置のCPUが実行すべき処理手順について説明する。図６２は、復号化手順を示すフローチャートである。本フローチャートにおける変数(i)は、処理対象となるピクチャを特定するための制御変数である。従って、以降のフローチャートにおいて、ループのi巡目の処理で処理対象となるスライス(i)と表記することにする。スライス(i)において処理対象になるべきマクロブロックをマクロブロック(j)とする。

　ステップＳ７１は、全てのピクチャを構成するスライスのそれぞれについてステップＳ７２～ステップＳ７７を繰り返す。ステップＳ７２は、スライスを構成するマクロブロックのそれぞれについてステップＳ７３～ステップＳ７７を繰り返す。ステップＳ７３はマクロブロックのエントロピー復号化を行い、ステップＳ７４では、マクロブロック(j)のDCT逆量子化を行う。ステップＳ７５は、置き換え情報におけるマクロブロック(j)のフラグがオンかどうかの判定であり、オンであれば次のマクロブロックに処理を進める。フラグがオフであれば、ステップＳ７６においてスライスタイプがPピクチャ、Bピクチャであるかを判定してステップがYesであるなら、ステップＳ７７において、Baseビデオストリームのピクチャを参照ピクチャとして用いてフレーム間動き補償を実行する。

　｛発明の効果｝
　以上のように本実施形態の発明によれば、子画面ビデオの部分以外の画素ブロックは、ピクセル単位で下位ビットまで含めて一致する。従って、親画面ビデオを参照ピクチャとして用いて圧縮する際でも、下位ビットまで含めて同じ箇所はエンコード処理が不要となり、子画面ビデオにおけるマクロブロックの構成としては、Baseビデオストリームにおけるマクロブロックを指定するピクチャ参照子を羅列しておけば足りる。エンコード処理の対象を置き換え対象の子画面ビデオの部分だけに限定することが可能となるから、フルHDビデオの再生を想定していない規模のビデオデコーダ(MVC-SDビデオデコーダ)であっても、ピクチャインピクチャを実現することが可能になる。

　（第５実施形態）
　先の実施形態では、PinPビデオストリームを放送コンテンツを送信する送信装置上で作成したが、本実施形態は、PinPビデオストリームを再生装置上で再生する改良に関する。

　親画面ビデオの俳優を、別の俳優に入れ替えるようなアプリケーションは、オーサリング者がディスク製作時にPinPビデオストリームを作成して、Blu-ray ReadOnlyディスクにあらかじめ記録してもよいし、ネットワーク上のサーバーに保持して、再生時にプレーヤーがネットワーク上からPinPビデオストリームを含むAVストリーム（PinPビデオストリーム）をダウンロードしてもよい。この場合の実施形態は、先の実施形態の手法でPinPビデオストリームを作成して記録し再生装置に再生させるというものになる。

　本実施形態では、上記のようなPinPビデオストリームの再生に加え、再生装置が、置き換え対象となる子画面ビデオを取得してPinPビデオストリームを作成する処理を実現する。

　図６３は、第５実施形態における再生装置の内部構成の一例を示す。この再生装置における改良とは、PinPビデオストリームを生成するPinPビデオストリーム生成部４０１、AVストリームを取り込むAVストリーム取込部４０２、入力切替スイッチ４０３が存在する点である。図６３の内部には、ネットワーク上からPinPビデオストリームを取得するためにAVストリーム取込部が追加されているが、これはネットワーク上の記録媒体などに保持されているAVストリームをネットワーク経由で取り込むための装置であり、入力切替スイッチ４０３を介して、第１リードバッファ１０２aaまたは第２リードバッファ１０２ｂに接続される。PinPビデオストリームのが、Blu-ray ReadOnlyディスクに記録されているか、サーバー上に記録されているかの違いはあるが、後段の処理はこれまで説明したものと変わらない。

　これに対して、親画面ビデオの俳優を、視聴者の顔に置き換える場合の装置構成を検討する。

　視聴者の映像に置き換えるための装置として、本図では、PinPビデオストリーム生成部を追加している。

　PinPビデオストリーム生成部について説明する。PinPビデオストリーム生成部は、メタデータに従い、子画面ビデオストリームにおける個々のピクチャを親画面ビデオストリームにおける個々のピクチャに合成することでピクチャインピクチャを実現する。このメタデータは、親画面ビデオストリームに対して設定された再生区間の何れかに対応する再生区間エントリーによって構成され、再生区間エントリーは、親画面ビデオストリームに対して設定された再生区間へのレファレンスを含むヘッダと、複数の画面構成エントリーとを含む。このメタデータに従い、PinPビデオストリーム生成部は、Blu-ray ReadOnlyディスクに記録されている親画面ビデオの主人公の顔を、ユーザ自身の顔で置き換えるという処理を行い、PinPビデオストリームを得る。

　ユーザが撮影した写真を元に、PinPビデオストリームを生成するためのPinPビデオストリーム生成部の詳細を図６４に示す。図６４は、半導体メモリカードからのデータ読み出しを行うメモリカードリーダ６１と、ネットワークとのデータ送受信を行うネットワークインターフェイス６２と、これらを通じて親画面ビデオ、子画面ビデオとなるべき画像データを取り込む映像取込部６３、取り込まれた映像を格納する取込保持メモリー６４、置き換え情報、置き換え対象、メタデータを用いてピクチャインピクチャ画像を得る画像生成部６５、変換により得られたピクチャインピクチャ画像をエンコードすることによりPinPビデオストリームを得るビデオエンコーダ６６、PinPビデオストリームを多重化することによりトランスポートストリームを生成する多重化部６７を含む。

　まずユーザが撮影した写真は、メモリーカードなどの記録媒体か、ネットワーク上のサーバー上の記録媒体に記録されているとする。メモリーカードに記録されている場合には、メモリーカードリーダー経由で、サーバー上の記録媒体に記録されている場合にはネットワークI/Fを介して、映像取込部により取り込まれ、再生装置内のメモリーで保持される。

　取込映像保持メモリーに保持された映像は、PinPビデオストリーム生成部で置き換え画像として変換される。ユーザが撮影した写真が真正面から撮影された写真であった場合でも、置き換え対象の原画像内の主人公は、真正面以外の方向を向いている場合があったり、場面によって主人公の大きさが異なったりする。PinPビデオストリーム生成部では、「置き換え対象オブジェクトの向き情報」を用いてユーザが撮影した写真を、置き換えに映像に合致した方向を向くように変換するとともに、各シーン毎に置き換え対象のオブジェクト（本実施の例では親画面ビデオの顔）のサイズが異なるため、置き換え情報の領域を元にして拡大、縮小などの処理を行い、置き換え対象のオブジェクト（顔）と方向やサイズが合致するようにする。

　このようにしてユーザが撮影した写真は、置き換えのためにPinPビデオストリーム生成部で変換され、第２ビデオエンコーダー４４に入力される。第２ビデオエンコーダー４４では、図５３を用いて説明した方法でPinPビデオストリームが生成され、前記PinPビデオストリームは、多重化部で多重化されAVクリップが生成される。

　　＜備考＞
　以上、本願の出願時点において、出願人が知り得る最良の実施形態について説明したが、以下に示す技術的トピックについては、更なる改良や変更実施を加えることができる。各実施形態に示した通り実施するか、これらの改良・変更を施すか否かは、何れも任意的であり、実施する者の主観によることは留意されたい。

　＜置き換え情報の形態＞
　マクロブロックは、マクロブロックタイプ、参照ピクチャの参照子、動きベクトルといった要素から構成される。第４実施形態に示すPinPビデオストリームでは、子画面ビデオの部分では動き補償を使用しないから、マクロブロックの動きベクトルのフィールドをフラグとして使用してもよい。この場合、置き換え情報を別途定義しなくて済むので、データサイズの削減が可能になる。

　　＜エンコーダの実装＞
　第１実施形態に示した正値化変換は、第２ビデオエンコーダーが負の値を持つ画像情報を圧縮できない場合に用いられるが、ビデオの圧縮方式によって負の値でも扱える場合には必須の要素ではない。また、色深度の拡張に関しては、現行の８ビットをさらに拡張することを念頭に説明しているが、例えばBaseビデオストリームが６ビットで、原画像が８ビットなどでも良い。

　また、第１ビデオエンコーダー及び第２ビデオエンコーダーで使用されるビデオCodecとしては、MPEG２、MPEG-4AVC、VC１などが考えられるが、これに限定されるものではなく、例えば第１ビデオエンコーダーはMPEG-4MVCのBaseviewとしてエンコードを行い、第２ビデオエンコーダーはMPEG-4MVCのNon base viewとしてエンコードを行うなどしても良いし、第１ビデオエンコーダーがMPEG２で、第２ビデオエンコーダーがMPEG-4AVCなど異なるビデオCodecが適用されても良い。

　また、原画像の各ピクセルの各色の色深度を示すNビットで表されるビット数は、原画像を構成する全てのピクチャで同じでも良いし、ピクチャ毎に異なっても良い。この場合には、原画像のビット数をBaseビデオストリームやEnhancementビデオストリームに入れておくことが、後述のデコード処理を鑑みると望ましい。

　＜拡張ファイルとの対応付け＞
　色深度拡張のために色深度拡張ディレクトリに記録されるファイルのファイル名は以下の変換則に基づき決定するのが望ましい。つまりBDMVディレクトリに存在するファイルのファイルボディ及び拡張子を結合してファイルボディ文字列とし、拡張版(.EXT)を付与することが望ましい。例えば、00001.mplsであれば、ファイルボディは、mpls00001.extに変換して、このファイル名で色深度拡張プレイリストを拡張版ディレクトリに記録する。また00001.m2tsであれば、ファイルボディは、m2ts00001.extに変換して、このファイル名で色深度拡張プレイリストを拡張版ディレクトリに記録する。

　＜マクロブロック単位の処理の実現＞
　符号化はマクロブロック単位でなされ、また復号化もマクロブロック単位でなされる。従って、第１実施形態、第２実施形態に示した色深度拡張部の構成要素、ストリーム生成部の構成要素（シフト回路、減算器、加算器、エンコーダ、デコーダ）の内部に、マクロブロックの画素の集りを格納し得る内部バッファを設けておき、この内部バッファで演算の途中過程のデータを格納するのが望ましい。

　　＜シフト量＞
　第１実施形態では、Enhancementビデオストリームのピクチャの階調ビット列をシフトさせるためのシフト量として目標ビット位置、つまり、Enhancementビデオストリーム階調の最上位ビットをシフト量として示させていたが、上位方向に何ビットシフトすべきかというシフトカウントであってもよい。最上位ビットが6ビットであるなら、2(6ー4)をシフト量として示させておいてもよい。

　＜PinPビデオストリーム生成部の配置場所＞
　第５実施形態においてPinPビデオストリーム生成部は、図６４で示すようにプレーヤーに含まれる一機能ブロックとして説明したが、同じ機能をネットワーク上のサーバー上のアプリケーションで実現しても良い。この場合、ユーザは撮影した写真を前記サーバーにアップロードし、サーバー側のアプリはアップロードされた写真からPinPビデオストリームを生成、プレーヤーはAVストリーム取込部４０２からPinPビデオストリームを取得することで、同じアプリケーションが実現できる。

　＜置き換え情報や、置き換え対象オブジェクトの置き場所＞
　図６５中の置き換え情報や、置き換え対象オブジェクトの向き情報といった情報は、Blu-ray ReadOnlyディスク内に補助情報の１つとして記録されていても良いし、ネットワーク上のサーバー上に保持していても良い。

　＜集積回路の実施形態＞
　各実施形態に示した表示装置、再生装置のハードウェア構成のうち、記録媒体のドライブ部や、外部とのコネクタ等、機構的な部分を排除して、論理回路や記憶素子に該当する部分、つまり、論理回路の中核部分をシステムLSI化してもよい。システムLSIとは、高密度基板上にベアチップを実装し、パッケージングしたものをいう。複数個のベアチップを高密度基板上に実装し、パッケージングすることにより、あたかも1つのLSIのような外形構造を複数個のベアチップに持たせたものはマルチチップモジュールと呼ばれるが、このようなものも、システムLSIに含まれる。

　ここでパッケージの種別に着目するとシステムLSIには、QFP(クッドフラッドアレイ)、PGA(ピングリッドアレイ)という種別がある。QFPは、パッケージの四側面にピンが取り付けられたシステムLSIである。PGAは、底面全体に、多くのピンが取り付けられたシステムLSIである。

　これらのピンは、電源供給やグランド、他の回路とのインターフェイスとしての役割を担っている。システムLSIにおけるピンには、こうしたインターフェイスの役割が存在するので、システムLSIにおけるこれらのピンに、他の回路を接続することにより、システムLSIは、再生装置の中核としての役割を果たす。

　＜プログラムの実施形態＞
　各実施形態に示したプログラムは、以下のようにして作ることができる。先ず初めに、ソフトウェア開発者は、プログラミング言語を用いて、各フローチャートや、機能的な構成要素を実現するようなソースプログラムを記述する。この記述にあたって、ソフトウェア開発者は、プログラミング言語の構文に従い、クラス構造体や変数、配列変数、外部関数のコールを用いて、各フローチャートや、機能的な構成要素を具現するソースプログラムを記述する。

　記述されたソースプログラムは、ファイルとしてコンパイラに与えられる。コンパイラは、これらのソースプログラムを翻訳してオブジェクトプログラムを生成する。

　コンパイラによる翻訳は、構文解析、最適化、資源割付、コード生成といった過程からなる。構文解析では、ソースプログラムの字句解析、構文解析および意味解析を行い、ソースプログラムを中間プログラムに変換する。最適化では、中間プログラムに対して、基本ブロック化、制御フロー解析、データフロー解析という作業を行う。資源割付では、ターゲットとなるプロセッサの命令セットへの適合を図るため、中間プログラム中の変数をターゲットとなるプロセッサのプロセッサが有しているレジスタまたはメモリに割り付ける。コード生成では、中間プログラム内の各中間命令を、プログラムコードに変換し、オブジェクトプログラムを得る。

　ここで生成されたオブジェクトプログラムは、各実施形態に示したフローチャートの各ステップや、機能的構成要素の個々の手順を、コンピュータに実行させるような1つ以上のプログラムコードから構成される。ここでプログラムコードは、プロセッサのネィティブコード、JAVA(登録商標)バイトコードというように、様々な種類がある。プログラムコードによる各ステップの実現には、様々な態様がある。外部関数を利用して、各ステップを実現することができる場合、この外部関数をコールするコール文が、プログラムコードになる。また、1つのステップを実現するようなプログラムコードが、別々のオブジェクトプログラムに帰属することもある。命令種が制限されているRISCプロセッサでは、算術演算命令や論理演算命令、分岐命令等を組合せることで、フローチャートの各ステップを実現してもよい。

　オブジェクトプログラムが生成されるとプログラマはこれらに対してリンカを起動する。リンカはこれらのオブジェクトプログラムや、関連するライブラリプログラムをメモリ空間に割り当て、これらを１つに結合して、ロードモジュールを生成する。こうして生成されるロードモジュールは、コンピュータによる読み取りを前提にしたものであり、各フローチャートに示した処理手順や機能的な構成要素の処理手順を、コンピュータに実行させるものである。かかるコンピュータプログラムを非一時的なコンピュータ読取可能な記録媒体に記録してユーザに提供してよい。

　＜BD-Jアプリケーションによる実現＞
　拡張機能についての処理を行うプログラムファイルは、BD-Jオブジェクトにより動作が規定されるBD-Jアプリケーションであってもよい。

　BD-Jプラットフォームは、HAViデバイス、Javaメディアフレームワークによるプレイリスト再生のための再生制御エンジン、キャッシュイン・キャッシュアウト管理のためのキャッシュマネージャ、イベント処理のためのイベントマネージャといったソフトウェア群、つまり、デジタル放送のマルチメディアホームプラットフォーム端末(DVB-MHP)におけるソフトウェア群と良く似たソフトウェア群が動作主体になる。

　BD-Jプラットフォーム上で動作するシステムアプリケーションとして、拡張機能適合アプリケーションを実装する場合、利用できるAPIには、Java2Micro＿Edition(J2ME) Personal Basis Profile(PBP 1.0)と、Globally Executable MHP specification(GEM1.0.2)for package media targetsがある。これらのAPIを利用すれば、ネットワーク処理のためのjava.net、GUI処理のためのjava.awt、言語処理のためのjava.lang、記録媒体に対するI/O処理のためのjava.io、ユーティリティであるjava.util、メディアフレームワークのためのjavax.mediaといったクラスのメソッド、コンストラクタ、インターフェイス、イベントを用いた構造化プログラミングで、色深度拡張表示に関する処理の記述が可能になる。

　BD-JプラットフォームのためのエクステンションAPI(BD-Jエクステンションと呼ばれる)を用いることで、これまでの実施形態で述べた色深度拡張再生のためのデータ構造、色深度拡張再生における再生単位を用いた制御を実現する。このBD-Jエクステンションはjava.net、java.awt、java.lang、java.io、java.util、javax.mediaクラスのメソッドからのインへリッドメソッドを含み、これらのクラスのインターフェイスをエンベデッドインターフェイス、スーパーインターフェイスとしているので、java.net、java.awt、java.lang、java.io、java.util、javax.mediaクラスを用いたプログラミング技法の延長線上で、色深度拡張再生に適合したアプリケーションを作成することができる。

　「BD-Jオブジェクト」は、BD-Jモードにおける再生装置の挙動の詳細を規定する。その挙動の詳細には、対応するタイトルがカレントタイトルになった際のアプリケーションのクラスロード(1)、対応するタイトルがカレントタイトルになった際のアプリケーションシグナリング(2）、当該アプリケーションシグナリングによって起動されたアプリケーションがGUI処理を実行するにあたってのHAViデバイスコンフィグレーション(3)、当該カレントタイトルにおけるプレイリストアクセス(4)、対応するタイトルがカレントタイトルになった場合のクラスアーカイブファイルのキャッシュイン・キャッシュアウト(5)、起動されたアプリケーションのトリガとなるイベントをキーに割り当てるというイベント割当て(6)がある。

　「クラスロード」とは、クラスアーカイブファイルにアーカイブされているクラスファイルのインスタンスを、プラットフォームのヒープ領域に生成する処理であり、「アプリケーションシグナリング」は、クラスファイルのインスタンスであるアプリケーションを自動起動させるか否か、又は、アプリケーションの生存区間をタイトルバウンダリーとするかディスクバウンダリーとするかを規定する制御である。タイトルバウンダリーとは、タイトルの終了と同時にアプリケーションであるスレッドをヒープ領域から消滅させるという管理であり、ディスクバウンダリーとは、ディスクイジェクトと同時にアプリケーションであるスレッドをヒープ領域から消滅させる管理である。逆にディスクイジェクトがされてもスレッドをヒープ領域から削除しない制御を「ディスクアンバウンダリー」という。「HAViデバイスコンフィグレーション」は、アプリケーションがGUI処理を実行するにあたってのグラフィクスプレーンの解像度や文字表示に用いるフォント等を規定するものである。

　「プレイリストアクセス」とは、起動されたアプリケーションが再生を命じることができるプレイリストやタイトル選択時に自動的に再生すべきプレイリストの指定である。

　「クラスアーカイブファイルのキャッシュイン」とは、クラスロードの対象となるクラスアーカイブファイルをキャッシュに先読みするとの処理であり、「クラスアーカイブファイルのキャッシュアウト」とは、キャッシュに存在するクラスアーカイブファイルをキャッシュから削除するとの処理である。「アプリケーション駆動のためのイベント割当」は、ユーザが操作可能なキーに、アプリケーションのイベントリスナに登録されているイベントを割り当てるというものである。

　＜色深度拡張インターリーブドストリームファイル及びm2tsストリームファイルの記録領域＞
　色深度拡張インターリーブドストリームファイル及びm2tsストリームファイルは、パーティション領域において、物理的に連続する複数のセクタ上に形成される。パーティション領域は、「ファイルセット記述子が記録された領域」、「終端記述子が記録された領域」、「ROOTディレクトリ領域」、「BDMVディレクトリ領域」、「JARディレクトリ領域」、「BDJOディレクトリ領域」、「PLAYLISTディレクトリ領域」、「CLIPINFディレクトリ領域」、「STREAMディレクトリ領域」、「CLREXTディレクトリ領域」から構成され、ファイルシステムによってアクセスされる領域のことである。以降、これらの領域について説明する。

　「ファイルセット記述子」は、ディレクトリ領域のうち、ROOTディレクトリのファイルエントリが記録されているセクタを指し示す論理ブロック番号（LBN)を含む。「終端記述子」は、ファイルセット記述子の終端を示す。

　次に、ディレクトリ領域の詳細について説明する。上述したような複数のディレクトリ領域は、何れも共通の内部構成を有している。つまり、「ディレクトリ領域」は、「ファイルエントリ」と、「ディレクトリファイル」と、「下位ファイルについてのファイル記録領域」とから構成される。

　「ファイルエントリ」は、「記述子タグ」と、「ICBタグ」と、「アロケーション記述子」とを含む。

　「記述子タグ」は、自身がファイルエントリである旨を示すタグである。

　「ICBタグ」は、ファイルエントリ自身に関する属性情報を示す。

　「アロケーション記述子」は、ディレクトリファイルの記録位置を示す論理ブロック番号（LBN）を含む。以上がファイルエントリーについての説明である。続いて、ディレクトリファイルの詳細について説明する。

　「ディレクトリファイル」は、「下位ディレクトリについてのファイル識別記述子」と、「下位ファイルのファイル識別記述子」とを含む。

　「下位ディレクトリのファイル識別記述子」は、自身の配下にある下位ディレクトリをアクセスするための参照情報であり、その下位ディレクトリを示す識別情報と、その下位ディレクトリのディレクトリ名の長さと、下位ディレクトリのファイルエントリがどの論理ブロック番号に記録されているかを示すファイルエントリアドレスと、その下位ディレクトリのディレクトリ名とから構成される。

　「下位ファイルのファイル識別記述子」は、自身の配下にあるファイルをアクセスするための参照情報であり、その下位ファイルを示す識別情報と、その下位ファイル名の長さと、下位ファイルについてのファイルエントリがどの論理ブロック番号に記録されているかを示すファイルエントリアドレスと、下位ファイルのファイル名とから構成される。

　これらのディレクトリのディレクトリファイルにおけるファイル識別記述子には、下位ディレクトリ及び下位ファイルのファイルエントリーが、どの論理ブロックに記録されているかが示されているので、このファイル識別記述子を辿ってゆけば、ROOTディレクトリのファイルエントリーからBDMVディレクトリのファイルエントリーに到達することができ、また、BDMVディレクトリのファイルエントリーからPLAYLISTディレクトリのファイルエントリーに到達することができる。同様に、CLREXTディレクトリ、JARディレクトリ、BDJOディレクトリ、CLIPINFディレクトリ、STREAMディレクトリのファイルエントリーにも到達することができる。「下位ファイルのファイル記録領域」とは、あるディレクトリの配下にある下位ファイルの実体が記録されている領域であり、当該下位ファイルについての「ファイルエントリ」と、1つ以上の「エクステント」とが記録されている。

　本願の主眼となる色深度拡張立体視インターリーブドストリームファイルは、そのファイルが帰属するディレクトリのディレクトリ領域内に存在するファイル記録領域に記録されており、ディレクトリファイルにおけるファイル識別記述子、及び、ファイルエントリーにおけるアローケーション識別子を辿ってゆくことで、アクセスすることができる。

　本発明に係る情報記録媒体は色深度を拡張した映像を格納しているが、8ビットの色深度を持つ映像を再生する装置と、8ビットを超える色深度を持つ映像を再生する装置のどちらでも再生できるため、互換性を意識することなく、色深度が拡張された高画質な映像を含む映画タイトルなどの動画コンテンツを市場に供給することができ、映画市場や民生機器市場を活性化させることができる。故に本発明に係る記録媒体、再生装置は、映画産業や民生機器産業において高い利用可能性をもつ。

　１０００　再生装置
　１００１　ディスク媒体
　１００２　リモコン
　１００３　表示装置

Claims

　記録媒体であって、
　ベースビデオストリームと、エンハンスメントビデオストリームとが記録され、
　ベースビデオストリームは、原画像に対して非可逆変換を施すことで得られ、
　エンハンスメントビデオストリームは、シフトパラメータと、ピクチャデータとを含み、
　前記エンハンスメントビデオストリームにおけるピクチャの画素階調を示すビット列は、原画像における画素階調を示すビット列と、ベースビデオストリームにおけるピクチャデータの画素階調を示すビット列との差分を示し、
　前記シフトパラメータは、ベースビデオストリームにおけるピクチャの画素階調を示すビット列と、エンハンスメントビデオストリームにおけるピクチャの画素階調を示すビット列とを加算するにあたって、再生装置側で行うべきシフト操作を規定する
　ことを特徴とする記録媒体。
　前記差分は、ベースビデオストリームにおけるピクチャの画素階調のビット幅を原画像における画素階調のビット幅まで伸長した上、原画像における画素の階調ビット列から伸長後の階調ビット列を減じて、この減算結果を正値化変換することで得られる
　ことを特徴とする請求項１記載の記録媒体。
　前記シフト操作は、
　ベースビデオストリームにおけるピクチャの画素階調のビット幅を原画像における画素の階調ビット列のビット幅まで伸長する操作を含み、
　前記シフトパラメータはシフトカウントの指定であり、
　前記シフトカウントの指定は、エンハンスメントビデオストリームにおけるピクチャの画素階調を示すビット列を、ベースビデオストリームにおけるピクチャの画素階調を示すビット列に加算するにあたって、ベースビデオストリームにおけるピクチャの画素階調ビット列を何回上位方向にシフトさせるべきかを示す
　ことを特徴とする請求項１記載の記録媒体。
　前記シフト操作は、
　ベースビデオストリームにおけるピクチャの画素階調のビット幅を原画像における画素の階調ビット列のビット幅まで伸長する操作を含み、
　シフトパラメータは目標ビット位置の指定であり、
　前記目標ビット位置の指定は、
　ビット幅の伸長がなされたベースビデオストリームピクチャの階調ビット列に、エンハンスメントビデオストリームの階調ビット列を加算するにあたって、エンハンスメントビデオストリームの階調ビット列を、何ビットまでシフトさせればよいかを示す
　ことを特徴とする請求項１記載の記録媒体。
　前記ベースビデオストリームにおける複数のピクチャデータ及び前記エンハンスメントビデオストリームにおける複数のピクチャデータは、グループオブピクチャを構成し、当該各グループオブピクチャは、それぞれ複数のフレームを構成し、前記複数のフレームにおける各フレームに対応するシフトパラメータを、パラメータシーケンスとして有している
　ことを特徴とする請求項１記載の記録媒体。
　記録媒体からベースビデオストリームと、エンハンスメントビデオストリームとを読み出しして再生する再生装置であって、
　ベースビデオストリームは、原画像に対して非可逆変換を施すことで得られ、
　エンハンスメントビデオストリームは、シフトパラメータと、ピクチャデータとを含み、
　前記エンハンスメントビデオストリームにおけるピクチャの画素階調を示すビット列は、原画像における画素階調を示すビット列と、ベースビデオストリームにおけるピクチャデータの画素階調を示すビット列との差分を示し、
　前記シフトパラメータは、ベースビデオストリームにおけるピクチャの画素階調を示すビット列と、エンハンスメントビデオストリームにおけるピクチャの画素階調を示すビット列とを加算するにあたって、再生装置側で行うべきシフト操作を規定し、
　ベースビデオストリームをデコードすることにより、ベースビデオストリームにおけるピクチャデータを構成する個々の画素について、階調ビット列を得るビデオデコーダと、
　エンハンスメントビデオストリームにおけるピクチャの個々の画素の階調ビット列と、シフトパラメータとを用いて、ベースビデオストリームにおける画素の階調ビット列に対してビット操作を行うことにより、色深度拡張を実行する色深度拡張部とを備える
　ことを特徴とする再生装置。
　前記色深度拡張部は、
　ビデオデコーダによるベースビデオストリームについてのデコード結果である階調ビット列を上位方向にシフトすることにより、ベースビデオストリームにおける画素階調のビット幅の伸長を行う第１シフト部と、
　エンハンスメントビデオストリームにおけるピクチャの画素階調を示すビット列から補正値を減じることで、当該画素階調を示すビット列を符号付きビット列に変換する減算部と、
　ベースビデオストリームを構成するピクチャデータの個々の画素についての階調ビット列に、エンハンスメントビデオストリームの階調ビット列に対する変換により得られた符号付きデータを加算する加算部と
　を備えることを特徴とする請求項６記載の再生装置。
　前記第１シフト部は、シフトパラメータに基づいて、ベースビデオストリームについてのデコード結果である階調ビット列のシフトを行い、
　色深度拡張部は、加算部により符号付きビットが加算された階調ビット列をシフトして原画像における階調ビット列のビット幅にまで伸長する第２シフト部を備える
　ことを特徴とする請求項７記載の再生装置。
　前記色深度拡張部は、
　エンハンスメントビデオストリームの階調ビット列に対する変換により得られた符号付きビット列を、シフトパラメータに示されるシフト量に従いシフトする第２シフト部を備え、
　前記加算部は、
　シフトがなされた符号付きビット列をベースビデオストリームを構成するピクチャデータの個々の画素についての階調ビット列に加算する
　ことを特徴とする請求項７記載の再生装置。
　前記ビデオデコーダは、
　ベースビデオストリームをデコードする第１ビデオデコーダであり、
　再生装置は、
　エンハンスメントビデオストリームをデコードする第２ビデオデコーダを具備している
　ことを特徴とする請求項６記載の再生装置。
　前記ビデオデコーダは、
　マルチビュービデオデコーダであり、ベースビデオストリームを構成するピクチャデータ、及び、エンハンスメントビデオストリームを構成するピクチャデータの双方をデコードする
　ことを特徴とする請求項６記載の再生装置。
　前記ベースビデオストリームにおけるピクチャデータ及び前記エンハンスメントビデオストリームにおけるピクチャデータは、グループオブピクチャを構成し、当該グループオブピクチャは、複数のフレームを構成し、各フレームに対応するシフトパラメータを、パラメータシーケンスとして有し、
　前記ビデオデコーダは、
　ベースビデオストリームにおける何れかのピクチャをデコードする際、エンハンスメントビデオストリームにおけるピクチャデータであって、ベースビデオストリームにおけるピクチャと同時刻に再生されるべきものをデコードすると共に、そのピクチャデータに対応するシフトパラメータをパラメータシーケンスから取り出して色深度拡張部に設定する
　ことを特徴とする請求項６記載の再生装置。
　前記記録媒体には、色深度が拡張された画像に適合したプログラムが記録されており、プログラムは、色深度拡張についての複数の拡張機能のうち、何れの実行が可能かどうかを汎用目的レジスタを参照して判定し、
　再生装置は、記録媒体が装填されてからインデックスが読み取られるまでの間に、拡張機能のケーパビリティ設定を示す設定テーブルを読み込み、複数の汎用目的レジスタのうち、設定テーブルで指示されているものに、設定テーブルに記載された初期値を設定する
　ことを特徴とする請求項６記載の再生装置。
　前記設定テーブルには、
　複数の拡張機能には、2以上の汎用目的レジスタ番号が対応付けられており、
　前記再生装置は、設定テーブルにおける2以上の連続する汎用目的レジスタ番号で指定された汎用目的レジスタに、所定の初期値を設定する
　ことを特徴とする請求項１３記載の再生装置。
　ベースビデオストリームと、エンハンスメントビデオストリームとを記録媒体に書き込む記録装置であって、
　原画像に対して非可逆変換を施すことにより、所定のビット幅の階調ビットの画素からなるベースビデオストリームを得る第１エンコード手段と、
　非可逆変換を施すことで得られたベースビデオストリームをデコードすることにより原画像における画素の階調ビット列よりもビット幅が短い階調ビット列の画素からなる非圧縮ピクチャを得るデコード手段と、
　原画像における個々の画素についての階調ビット列と、ベースビデオストリームにおけるピクチャの画素の階調ビット列との差分を算出する算出部と、
　算出された差分をピクチャデータの画素の階調ビット列とするエンハンスメントビデオストリームを作成する第２エンコード手段と
　を備えることを特徴とする記録装置。
　前記算出部は、
　ベースビデオストリームについての非圧縮ピクチャを構成する個々の画素の階調ビット列を上位方向にシフトするシフト部と、
　原画像における個々の画素についての階調ビット列からシフトがなされた階調ビット列を減じる減算部と、
　減算結果に、所定の補正値を加算することで差分を得る加算部とを含み、
　第２エンコード手段は、
　加算結果と、シフト部がシフトに用いたシフト値とを含むエンハンスメントビデオストリームを作成する、ことを特徴とする請求項１５記載の記録装置。
　符号化方法であって、
　原画像に対してエンコード処理を行うことによりベースビデオストリームを生成する第１エンコードステップと、
　各々のピクチャデータが、ピクチャインピクチャデータから構成されたピクチャインピクチャビデオストリームを生成する第２エンコードステップとを含み
　ピクチャインピクチャデータは、ベースビデオストリームにおけるピクチャの画面領域の一部が子画面領域に置き換えられたピクチャデータであり、
　第２エンコードステップは、ピクチャ間予測符号化処理を行い、
　ピクチャインピクチャデータのうち、子画面領域に置き換えられた部分を除く画面領域に位置する画素ブロックは、ベースビデオストリームにおける個々のピクチャデータのみを参照画像としたピクチャ間予測符号化処理により符号化されている、符号化方法。
　第２エンコードステップは、ピクチャインピクチャデータの生成にあたって複数のフラグから構成される置換情報を生成し、
　前記置換情報における個々のフラグは、ピクチャインピクチャデータを分割することで得られた複数の画素ブロックのそれぞれが、ピクチャインピクチャにおいて子画面領域を構成するものか否かを示す
　ことを特徴とする請求項１７記載の符号化方法。
　前記ピクチャインピクチャビデオストリームのピクチャデータは、ベースビデオストリームの再生時間軸において、間欠的に存在し、
　ベースビデオストリームを構成する各ピクチャデータは、再生時間軸において同一時点に再生されるべきピクチャインピクチャビデオストリームのピクチャデータが存在するか否かを示す存否フラグを含む
　ことを特徴とする請求項１７記載の符号化方法。
　ピクチャインピクチャビデオストリームを構成する個々のピクチャデータにおいて、子画面領域に置き換えられた部分に存在する画素ブロックは、ピクチャインピクチャビデオストリームを構成する他のピクチャデータにおいて、子画面領域に置き換えられた部分に存在する画素ブロックを参照画像としたピクチャ間予測符号化処理により符号化されることを特徴とする請求項１７記載の符号化方法。
　復号化方法であって、
　ベースビデオストリームをデコードすることで非圧縮のピクチャデータを得る第１デコードステップ、
　ピクチャインピクチャビデオストリームをデコードすることでピクチャインピクチャデータを得る第２デコードステップを含み
　第２デコードステップは、
　ピクチャインピクチャデータにおいて子画面領域を除く画面領域に位置する画素ブロックに対して、ベースビデオストリームにおける個々のピクチャデータのみを参照画像としたピクチャ間予測動き補償を実行する
　復号化方法。
　第２デコードステップは、ピクチャインピクチャストリームをデコードするにあたって複数のフラグから構成される置換情報を取得し、取得した置換情報において、オンに設定されたフラグに対応する画素ブロックについては参照ピクチャを用いたピクチャ間予測動き補償を実行せず、
　取得した置換情報においてオフに設定されたフラグに対応する画素ブロックについては、参照ピクチャを用いたピクチャ間予測動き補償を実行する
　ことを特徴とする請求項２１記載の復号化方法。
　前記ピクチャインピクチャビデオストリームのピクチャデータは、ベースビデオストリームの時間軸において、間欠的に存在し、
　ベースビデオストリームにおける各ピクチャデータは、時間軸において同一時点に再生されるべきピクチャインピクチャビデオストリームのピクチャデータが存在するか否かを示す存否フラグを含み、
　第２デコードステップは、存否フラグに基づいてピクチャインピクチャビデオストリームに対する処理を凍結するか否かを切り替える
　ことを特徴とする請求項２１記載の復号化方法。
　前記ピクチャインピクチャビデオストリームを構成する個々のピクチャデータにおいて、子画面領域に置き換えられた部分に存在する画素ブロックは、ピクチャインピクチャビデオストリームを構成する他のピクチャデータにおいて、子画面領域に置き換えられた部分に存在する画素ブロックを参照画像としたピクチャ間予測動き補償により復号化する
　ことを特徴とする請求項２１記載の復号化方法。