<第1実施の形態>
(記録・再生システムの第1実施の形態の構成例)
図1は、本技術を適用した記録・再生システムの第1実施の形態の構成例を示す図である。
図1の記録・再生システムは、記録装置1、再生装置2、および表示装置3から構成される。再生装置2と表示装置3はHDMI(登録商標)(High Definition Multimedia Interface)ケーブル4を介して接続される。再生装置2と表示装置3が他の規格のケーブルを介して接続されるようにしてもよいし、無線による通信を介して接続されるようにしてもよい。
記録装置1はコンテンツを記録し、再生装置2はコンテンツを再生する。記録装置1から再生装置2に対するコンテンツの提供は光ディスク11を用いて行われる。光ディスク11は、例えばBD-ROM(Blu-ray(登録商標) Disc Read-Only)フォーマットでコンテンツが記録されたディスクである。
光ディスク11に対するコンテンツの記録がBD-R,-REなどの他のフォーマットで行われるようにしてもよい。また、記録装置1から再生装置2に対するコンテンツの提供が、フラッシュメモリを搭載したメモリカードなどの、光ディスク以外のリムーバブルメディアを用いて行われるようにしてもよいし、ネットワーク配信により行われてもよい。
光ディスク11がBD-ROMのディスクである場合、記録装置1は例えばコンテンツのオーサーが使う装置となる。以下、適宜、記録装置1によってコンテンツが記録された光ディスク11が再生装置2に提供されるものとして説明するが、実際には、記録装置1によりコンテンツが記録されたマスター盤に基づいて光ディスクが複製され、その一つである光ディスク11が再生装置2に提供される。
記録装置1に対しては、標準の輝度のモニタで表示可能なダイナミックレンジ(輝度範囲)以上のダイナミックレンジを有するビデオである1以上のHDR(High Dynamic Range)ビデオが入力される。標準の輝度は例えば100cd/m2(=100nit)である。
また、記録装置1に対しては、標準の輝度のモニタで表示可能なダイナミックレンジ以上のダイナミックレンジを有するクローズドキャプションであるHDRクローズドキャプション(拡張クローズドキャプション)が入力される。なお、以下では、HDRビデオとHDRクローズドキャプションを特に区別する必要がない場合、それらをまとめてHDRデータという。
記録装置1は、入力されたマスターのHDRビデオをそのまま、すなわち標準の輝度を有するモニタで表示可能なダイナミックレンジ以上のダイナミックレンジを有するビデオのまま符号化し、BDフォーマットで光ディスク11に記録する。また、記録装置1は、入力されたマスターのHDRクローズドキャプションをそのまま、すなわち標準の輝度を有するモニタで表示可能なダイナミックレンジ以上のダイナミックレンジを有するクローズドキャプションのまま、BDフォーマットで光ディスク11に記録する。
この場合、光ディスク11には、マスターのHDRデータの輝度の特性を示すHDR情報と、HDRデータをSTDデータに変換するときに用いられる低変換情報も記録される。
STDデータは、標準の輝度を有するモニタで表示可能なダイナミックレンジのビデオであるSTDビデオ(standardビデオ)、および、そのダイナミックレンジのクローズドキャプションであるSTDクローズドキャプションの総称である。STDデータのダイナミックレンジを0-100%とすると、HDRデータのダイナミックレンジは0-500%、0-1000%といったような、0%から101%以上の範囲として表される。
また、記録装置1は、入力されたマスターのHDRデータをSTDデータに変換する。そして、記録装置1は、変換の結果得られるSTDビデオ、すなわち標準の輝度を有するモニタで表示可能なダイナミックレンジを有するビデオを符号化し、BDフォーマットで光ディスク11に記録する。また、記録装置1は、変換の結果得られるSTDクローズドキャプション、すなわち標準の輝度を有するモニタで表示可能なダイナミックレンジを有するクローズドキャプションを、BDフォーマットで光ディスク11に記録する。この場合、光ディスク11には、HDR情報と、STDデータをHDRデータに変換するときに用いられる高変換情報も記録される。
記録装置1が記録するHDRビデオ、またはHDRビデオを変換して得られたSTDビデオは、例えば、横×縦の解像度が4096×2160、3840×2160画素などのいわゆる4K解像度のビデオである。ビデオの符号化の方式としては、例えばHEVC(High Efficiency Video Coding)方式が用いられる。
HEVC方式では、HDR画像のデータの輝度の特性を示す情報と、HDR画像のデータをSTD画像のデータに、またはSTD画像のデータをHDR画像のデータに変換するときに用いられる情報を、SEI(Supplemental Enhancement Information)に設定することができる。従って、第1実施の形態では、HDR情報と、低変換情報または高変換情報とは、ビデオのHEVCストリームであるビデオストリームのSEIに設定されて記録される。また、HEVC方式では、SEIとして任意のデータを配置することができるため、クローズドキャプションも、ビデオストリームのSEIに設定されて記録される。
再生装置2は、HDMIケーブル4を介して表示装置3と通信を行い、表示装置3の表示性能に関する情報を取得する。再生装置2は、表示装置3がHDRデータの表示が可能なモニタであるHDRモニタを有する装置であるのか、STDデータの表示しかできないモニタであるSTDモニタを有する装置であるのかを特定する。
また、再生装置2は、ドライブを駆動し、光ディスク11に記録されたビデオストリームを読み出して復号する。
例えば、再生装置2は、復号して得られたデータがHDRデータであり、表示装置3がHDRモニタを有する場合、復号して得られたHDRデータを表示装置3に出力する。この場合、再生装置2は、HDRデータとともに、HDR情報を表示装置3に出力する。
一方、再生装置2は、復号して得られたデータがHDRデータであり、表示装置3がSTDモニタを有する場合、復号して得られたHDRデータをSTDデータに変換し、STDデータを出力する。HDRデータのSTDデータへの変換は、光ディスク11に記録されている、低変換情報を用いて行われる。
再生装置2は、復号して得られたデータがSTDデータであり、表示装置3がHDRモニタを有する場合、復号して得られたSTDデータをHDRデータに変換し、HDRデータを表示装置3に出力する。STDデータのHDRデータへの変換は、光ディスク11に記録されている高変換情報を用いて行われる。この場合、再生装置2は、HDRデータとともに、HDR情報を表示装置3に出力する。
一方、再生装置2は、復号して得られたデータがSTDデータであり、表示装置3がSTDモニタを有する場合、復号して得られたSTDデータを表示装置3に出力する。
表示装置3は、再生装置2から送信されたSTDデータまたはHDRデータを受信し、STDデータまたはHDRデータに基づいて映像をモニタに表示する。
例えば、表示装置3は、HDR情報が送信されてきた場合、そのHDR情報とともに再生装置2から送信されてきたデータがHDRデータであるとして認識する。上述したように、HDRモニタを有する表示装置3に対しては、HDRデータとともに、HDR情報が送信されてくる。
この場合、表示装置3は、HDRデータの映像を、HDR情報により指定される特性に従って表示する。すなわち、表示装置3は、自身が有するモニタが0-500%のダイナミックレンジを有するモニタであり、HDR情報により、HDRデータのダイナミックレンジが0-500%の所定の特性であると指定された場合、その所定の特性に従って、0-500%の範囲で輝度を調整して映像を表示する。
マスターのHDRデータの輝度の特性を指定することができるようにすることにより、コンテンツのオーサー(Author)は、意図したとおりの輝度で映像を表示させることが可能になる。
通常、TVなどの表示装置は、外部から入力されたデータを0-100%のダイナミックレンジを有するデータとして認識する。また、表示装置は、自身のモニタがそれより広いダイナミックレンジを有する場合には、モニタの特性に応じて輝度を自ら拡張して映像を表示させてしまう。輝度の特性を指定し、指定した特性に従ってHDRデータの輝度を調整させることにより、オーサーの意図しない輝度調整が表示装置側で行われるのを防ぐことが可能になる。
また、通常、TVなどの表示装置にデータを出力する再生装置は、伝送路の特性に応じて輝度を変換してからデータを出力する。そのデータを受信した表示装置は、受信したデータの輝度をモニタの特性に応じて変換し、映像を表示させることになる。再生装置2において輝度の変換を行わずに、再生装置2からHDRデータのまま表示装置3に出力させることにより、輝度変換の回数を減らすことができ、マスターにより近い輝度の映像を表示装置3に表示させることが可能になる。
一方、表示装置3は、HDR情報が送信されてこない場合、再生装置2から送信されたデータがSTDデータであると認識し、STDデータの映像を表示する。再生装置2からSTDデータが送信されてくるということは、表示装置3はSTDモニタを有する装置である。
また、記録装置1により光ディスク11にオーディオデータが記録される場合には、再生装置2からオーディオデータも送信されてくる。表示装置3は、再生装置2から送信されてきたオーディオデータに基づいて、音声をスピーカから出力させる。
以下、適宜、マスターのHDRデータをそのまま光ディスク11に記録するモードをmode-iという。mode-iの場合、光ディスク11には、HDR情報と低変換情報が記録される。
また、マスターのHDRデータをSTDデータに変換して光ディスク11に記録するモードをmode-iiという。mode-iiの場合、光ディスク11には、HDR情報と高変換情報が記録される。
(mode-iにおける信号処理)
図2は、mode-iにおける信号処理の例を示す図である。
実線L1で囲んで示す左側の処理が記録装置1において行われる符号化処理を示し、実線L2で囲んで示す右側の処理が再生装置2において行われる復号処理を示す。
マスターのHDRデータが入力された場合、記録装置1は、マスターのHDRデータの輝度を検出し、矢印#1の先に示すように、HDR情報を生成する。また、記録装置1は、矢印#2−1の先に示すように、マスターのHDRビデオをHEVC方式で符号化して符号化データを生成する。
記録装置1は、矢印#3の先に示すように、マスターのHDRデータをSTDデータに変換する。変換して得られたSTDデータの映像は図示せぬモニタに表示される。HDRデータのSTDデータへの変換は、適宜、変換後のSTDデータの映像をオーサーが目で確認し、変換パラメータを調整しながら行われる。
オーサーによる調整に基づいて、記録装置1は、矢印#4の先に示すように、低変換情報であるHDR-STD変換用のtone mapping定義情報を生成する。
tone mapping定義情報は、標準のダイナミックレンジより広い0-400%などのダイナミックレンジにおける各輝度値と、標準のダイナミックレンジである0-100%のダイナミックレンジにおける各輝度値の対応関係を定義する情報である。
記録装置1は、矢印#5の先に示すように、HDR情報とtone mapping定義情報をSEIとしてHDRビデオの符号化データに挿入するとともに、矢印#2−2の先に示すように、マスターのHDRクローズドキャプションをSEIとしてHDRビデオの符号化データに挿入し、ビデオストリームを生成する。記録装置1は、生成したビデオストリームをBDフォーマットで光ディスク11に記録し、矢印#11に示すように再生装置2に提供する。
このように、HDR情報およびHDR-STD変換用のtone mapping定義情報、並びにHDRクローズドキャプションは、SEIを用いて、ビデオストリーム中に挿入する形で再生装置2に提供される。
再生装置2は、光ディスク11からビデオストリームを読み出し、矢印#21,#22,#23−2の先に示すように、ビデオストリームのSEIから、HDR情報、HDR-STD変換用のtone mapping定義情報、およびHDRクローズドキャプションを抽出する。
また、再生装置2は、矢印#23−1の先に示すように、ビデオストリームに含まれる符号化データをHEVC方式で復号し、HDRビデオを生成する。再生装置2は、表示装置3がHDRモニタを有する場合、矢印#24の先に示すように、HDRデータにHDR情報を付加し、矢印#25の先に示すように表示装置3に出力する。
一方、再生装置2は、表示装置3がSTDモニタを有する場合、矢印#26の先に示すように、ビデオストリームから抽出されたHDR-STD変換用のtone mapping定義情報を用いて、HDRデータをSTDデータに変換する。再生装置2は、矢印#27の先に示すように、変換して得られたSTDデータを表示装置3に出力する。
このように、HDRデータは、HDR情報とともに、HDRモニタを有する表示装置3に出力される。また、HDRデータは、STDデータに変換された後、STDモニタを有する表示装置3に出力される。
図3は、マスターのHDRデータが記録装置1に入力されてから、再生装置2からデータが出力されるまでの処理の流れを示す図である。
マスターのHDRデータは、白抜き矢印#51の先に示すように、マスターのHDRデータに基づいて記録装置1において生成されたHDR情報とHDR-STD変換用のtone mapping定義情報とともに再生装置2に提供される。HDR情報には例えばダイナミックレンジが0-400%の範囲に拡張されていることを表す情報が含まれる。
表示装置3がHDRモニタを有する場合、再生装置2においては、矢印#52,#53の先に示すように、復号して得られたHDRデータにHDR情報が付加される。また、HDR情報が付加されたHDRデータが矢印#54の先に示すように表示装置3に出力される。
一方、表示装置3がSTDモニタを有する場合、再生装置2においては、矢印#55,#56の先に示すように、復号して得られたHDRデータがHDR-STD変換用のtone mapping定義情報を用いてSTDデータに変換される。また、変換して得られたSTDデータが矢印#57の先に示すように表示装置3に出力される。図3において、HDRデータを示す波形の振幅とSTDデータを示す波形の振幅はそれぞれダイナミックレンジを示す。
このように、mode-iにおいては、マスターのHDRデータがHDRデータのまま光ディスク11に記録される。また、出力先となる表示装置3の性能に応じて、復号して得られたHDRデータをそのままHDR情報を付加して出力するのか、HDRデータをSTDデータに変換して出力するのかが切り替えられる。
(mode-iiにおける信号処理)
図4は、mode-iiにおける信号処理の例を示す図である。
マスターのHDRデータが入力された場合、記録装置1は、マスターのHDRデータの輝度を検出し、矢印#71の先に示すようにHDR情報を生成する。
記録装置1は、矢印#72の先に示すように、マスターのHDRデータをSTDデータに変換する。変換して得られたSTDデータの映像は図示せぬモニタに表示される。
オーサーによる調整に基づいて、記録装置1は、矢印#73の先に示すように、高変換情報であるSTD-HDR変換用のtone mapping定義情報を生成する。
また、記録装置1は、矢印#74−1の先に示すように、STDデータのうちのSTDビデオをHEVC方式で符号化して符号化データを生成する。
記録装置1は、矢印#75の先に示すように、HDR情報とtone mapping定義情報をSEIとしてSTDビデオの符号化データに挿入するとともに、矢印#74−2の先に示すように、STDデータのうちのSTDクローズドキャプションをSEIとしてSTDビデオの符号化データに挿入する。記録装置1は、その結果生成されるビデオストリームをBDフォーマットで光ディスク11に記録し、矢印#91に示すように再生装置2に提供する。
このように、HDR情報およびSTD-HDR変換用のtone mapping定義情報、並びにSTDクローズドキャプションは、SEIを用いて、ビデオストリーム中に挿入する形で再生装置2に提供される。
再生装置2は、光ディスク11からビデオストリームを読み出し、矢印#101,#102,#103−2の先に示すように、ビデオストリームのSEIからHDR情報、STD-HDR変換用のtone mapping定義情報、およびSTDクローズドキャプションを抽出する。
また、再生装置2は、矢印#103−1の先に示すように、ビデオストリームに含まれる符号化データをHEVC方式で復号してSTDビデオを生成する。再生装置2は、表示装置3がSTDモニタを有する場合、矢印#104の先に示すように、STDデータを表示装置3に出力する。
一方、再生装置2は、表示装置3がHDRモニタを有する場合、矢印#105の先に示すように、ビデオストリームから抽出されたSTD-HDR変換用のtone mapping定義情報を用いて、STDデータをHDRデータに変換する。再生装置2は、矢印#106の先に示すように、変換して得られたHDRデータにHDR情報を付加し、矢印#107の先に示すように表示装置3に出力する。
このように、STDデータは、HDRデータに変換された後、HDR情報とともに、HDRモニタを有する表示装置3に出力される。また、STDデータは、STDモニタを有する表示装置3にそのまま出力される。
図5は、マスターのHDRデータが記録装置1に入力されてから、再生装置2からデータが出力されるまでの処理の流れを示す図である。
マスターのHDRデータは、白抜き矢印#121の先に示すように、STDデータに変換された後、マスターのHDRデータに基づいて記録装置1において生成されたHDR情報とSTD-HDR変換用のtone mapping定義情報とともに再生装置2に提供される。
表示装置3がHDRモニタを有する場合、再生装置2においては、矢印#122,#123の先に示すように、復号して得られたSTDデータがSTD-HDR変換用のtone mapping定義情報を用いてHDRデータに変換される。また、矢印#124,#125の先に示すように、STDデータを変換して得られたHDRデータにHDR情報が付加され、矢印#126の先に示すように表示装置3に出力される。
一方、表示装置3がSTDモニタを有する場合、再生装置2においては、矢印#127の先に示すように、復号して得られたSTDデータが表示装置3に出力される。
このように、mode-iiにおいては、マスターのHDRデータがSTDデータに変換されて光ディスク11に記録される。また、出力先となる表示装置3の性能に応じて、復号して得られたSTDデータをHDRデータに変換し、HDR情報を付加して出力するのか、STDデータをそのまま出力するのかが切り替えられる。
以上のような記録装置1と再生装置2の構成と動作の詳細については後述する。
ここで、ビデオストリームについて説明する。
(ビデオストリームの構成例)
図6は、ビデオストリームの構成例を示す図である。
ビデオストリームは、NAL(Network Abstraction Layer)ユニットの集まりであるアクセスユニットから構成される。1つのアクセスユニットには1ピクチャのビデオデータが含まれる。
図6に示すように、1つのアクセスユニットは、AUデリミタ(Access Unit delimiter)、VPS(Video Parameter Set)、SPS(Sequence Parameter Set)、PPS(Picture Parameter Set)、SEI、VCL(Video Coding Layer)、EOS(End of Sequence)、およびEOS(End of Stream)から構成される。
AUデリミタは、アクセスユニットの先頭を示す。VPSは、ビデオストリームの内容を表すメタデータを含む。SPSは、ピクチャサイズ、CTB(Coding Tree Block)サイズなどの、HEVCデコーダがシーケンスの復号処理を通じて参照する必要のある情報を含む。PPSは、HEVCデコーダがピクチャの復号処理を実行するために参照する必要のある情報を含む。VPS,SPS,PPSがヘッダ情報として用いられる。
SEIは、各ピクチャのタイミング情報やランダムアクセスに関する情報などを含む補助情報である。HDR情報とtone mapping定義情報は、SEIの1つであるTone mapping information SEI messageにtone_mapping_infoとして含まれる。tone_mapping_infoには、tone_mapping_infoを識別する識別情報が付与されている。本明細書では、識別情報がiであるtone_mapping_infoをtone_mapping_info#iという。また、クローズドキャプション(Closed caption)は、SEIの1つであるUser data unregistered SEI messageに含まれる。
VCLは1ピクチャの符号化データである。EOS(End of Sequence)はシーケンスの終了位置を示し、EOS(End of Stream)はビデオストリームの終了位置を示す。
(tone_mapping_infoについて)
図7は、tone_mapping_infoのシンタクスを示す図である。
tone_mapping_infoを用いて、復号して得られた映像の明るさや色が、映像の出力先となるモニタの性能に合わせて変換される。なお、図7の左側の行番号とコロン(:)は説明の便宜上示すものであり、シンタクスに含まれるものではない。このことは、後述する図13、図17、および図33においても同様である。tone_mapping_infoに含まれる主な情報について説明する。
2行目のtone_map_idは、tone_mapping_infoの識別情報である。8行目のtone_map_model_idは、変換に用いるtone mapのモデルを表す。
記録装置1においては、tone_map_model_idとして0,2,3のうちのいずれかの値が設定されたtone_mapping_infoと、tone_map_model_idとして4の値が設定されたtone_mapping_infoが少なくとも1つずつ生成される。
図8に示すように、tone_map_model_idとして0,2,3のうちのいずれかの値が設定されたtone_mapping_infoが、HDR-STD変換用またはSTD-HDR変換用のtone mapping定義情報として用いられる。また、tone_map_model_idとして4の値が設定されたtone_mapping_infoに含まれる情報が、HDR情報として用いられる。
図7の9〜11行目がtone_map_model_id=0に関する記述である。tone_map_model_id=0である場合、min_valueとmax_valueが記述される。
図9は、tone_map_model_id=0のtone_mapping_infoにより示されるトーンカーブの例を示す図である。
図9の横軸がcoded_data(変換前のRGB値)を示し、縦軸がtarget_data(変換後のRGB値)を示す。図9のトーンカーブを用いた場合、D1以下のRGB値は、白抜き矢印#151で示すようにmin_valueにより示されるRGB値に変換される。また、D2以上のRGB値は、白抜き矢印#152で示すようにmax_valueにより示されるRGB値に変換される。
tone_map_model_id=0のtone_mapping_infoは、HDR-STD変換用のtone mapping定義情報として用いられる。tone_map_model_id=0のtone_mapping_infoを用いた場合、max_value以上とmin_value以下の輝度(RGB値により表される輝度)が失われることになるが、変換処理の負荷は軽くなる。
図7の15〜17行目がtone_map_model_id=2に関する記述である。tone_map_model_id=2である場合、階段関数を表す、max_target_dataの数のstart_of_coded_interval[i]が記述される。start_of_coded_interval[i]は、target_dataのiに変換されるcoded_data以上であり、target_dataのi+1に変換されるcoded_dataより小さい区間の開始位置を表す。
start_of_coded_interval[i]のビット数は、6行目のcoded_data_bit_depthによって決まる可変値であってもよいし、固定値(例えば、256ビット)であってもよい。可変値の場合、固定値の場合に比べてビット数を削減することができる。
図10は、tone_map_model_id=2のtone_mapping_infoにより示される階段関数の例を示す図である。
図10の例では、start_of_coded_interval[i](i=0,1,2,3,4,5,6,7)が、0,1,3,4,5,5,7,7である。従って、coded_dataに対するtarget_dataの値をcoded_dataの0から順に表すcoded_data-target_data変換テーブルは、0,1,1,2,3,5,5となる。よって、図1の階段関数を用いた場合、例えばcoded_data=5はtarget_data=3に変換される。
tone_map_model_id=2のtone_mapping_infoは、STD-HDR変換用またはHDR-STD変換用のtone mapping定義情報として用いられる。tone_map_model_id=2のtone_mapping_infoは、データ量が多いことから、その作成時にcoded_data-target_data変換テーブルへの畳み込みを行う必要があるが、変換処理の負荷は軽い。
図7の18〜23行目がtone_map_model_id=3に関する記述である。tone_map_model_id=3である場合、折れ線関数を表す、num_pivotsにより指定される数のcoded_pivot_value[i]とtarget_pivot_value[i]が記述される。coded_pivot_value[i]は、i番目のpivotのcoded_dataを表し、target_pivot_value[i]は、i番目のpivotのtarget_dataを表す。
coded_pivot_value[i]とtarget_pivot_value[i]のビット数は、6行目のcoded_data_bit_depthによって決まる可変値であってもよいし、固定値(例えば、256ビット)であってもよい。可変値の場合、固定値の場合に比べてビット数を削減することができる。
図11は、tone_map_model_id=3のtone_mapping_infoにより示される折れ線関数の例を示す図である。
図11の例では、1番目のpivotのcoded_pivot_value[1]がD11であり、target_pivot_value[1]がD11’である。また、3番目のpivotのcoded_pivot_value[3]がD12であり、target_pivot_value[3]がD12’である。従って、図11の折れ線関数を用いた場合、例えばcoded_data=D11はtarget_data=D11’に変換され、coded_data=D12はtarget_data=D12’に変換される。tone_map_model_id=3のtone_mapping_infoは、STD-HDR変換用またはHDR-STD変換用のtone mapping定義情報として用いられる。
このように、tone_map_model_idとして0,2,3のいずれかの値が設定されたtone_mapping_infoが、STD-HDR変換用またはHDR-STD変換用のtone mapping定義情報として用いられ、記録装置1から再生装置2に伝送される。
図7の24〜39行目がtone_map_model_id=4に関する記述である。tone_map_model_id=4に関する情報のうち、ref_screen_luminance_white、extended_range_white_level、nominal_black_level_code_value、nominal_white_level_code_value、およびextended_white_level_code_valueが、HDR情報を構成するパラメータとなる。
図12は、HDR情報に含まれる各情報の例を示す図である。
図12の横軸は輝度値を示す。ビット長が10bitである場合、輝度値は0-1023の値となる。図12の縦軸は明るさを示す。曲線L11が、標準の輝度のモニタにおける輝度値と明るさの関係を示す。標準の輝度のモニタのダイナミックレンジは0-100%である。
ref_screen_luminance_whiteは、標準となるモニタの明るさ(cd/m2)を示す。extended_range_white_levelは、拡張後のダイナミックレンジの明るさを示す。図12の例の場合、extended_range_white_levelの値として400が設定される。
nominal_black_level_code_valueは、黒(明るさ0%)の輝度値を示し、nominal_white_level_code_valueは、標準の輝度のモニタにおける白(明るさ100%)の輝度値を示す。extended_white_level_code_valueは、拡張後のダイナミックレンジにおける白の輝度値を示す。
図12の例の場合、白抜き矢印#161で示すように、0-100%のダイナミックレンジは、extended_range_white_levelの値に従って、0-400%のダイナミックレンジに拡張される。また、400%の明るさに相当する輝度値が、extended_white_level_code_valueにより指定される。
HDRデータの輝度の特性は、nominal_black_level_code_value、nominal_white_level_code_value、extended_white_level_code_valueの値がそれぞれ明るさ0%、100%、400%をとる曲線L12により示される特性となる。
このように、tone_map_model_idとして4の値が設定されたtone_mapping_infoにより、マスターのHDRデータの輝度の特性が示され、記録装置1から再生装置2に伝送される。
(User data unregistered SEI messageについて)
図13は、クローズドキャプションが配置されるUser data unregistered SEI messageのシンタクスを示す図である。
3行目のtyp_indicatorは、User data unregistered SEI messageに配置されるデータの内容を識別する情報である。クローズドキャプションが配置される場合、typ_indicatorは、クローズドキャプションを表す0x47413934である。
また、typ_indicatorがクローズドキャプションを表す0x47413934である場合、4〜11行目に示すように、クローズドキャプションのtone_mapping_infoに関する情報とクローズドキャプションが記述される。
具体的には、5行目のnumber_of_tone_mapping_info_refは、クローズドキャプションのtone_mapping_infoの数である。8行目のtone_mapping_info_refは、クローズドキャプションの各tone_mapping_infoのtone_map_idである。10行目のcc_dataは、1ピクチャ分のクローズドキャプションである。cc_dataは、Digital Television(DTV) Closed CaptioningやLine 21 Data Services等に準拠したデータである。
ここで、BD-ROMフォーマットについて説明する。
(BD-ROMフォーマットにおけるAVストリームの管理構造)
図14は、BD-ROMフォーマットにおけるAVストリームの管理構造の例を示す図である。
ビデオストリームを含むAVストリームの管理は、PlayListとClipの2つのレイヤを用いて行われる。AVストリームは、光ディスク11だけでなく、再生装置2のローカルストレージに記録されることもある。
1つのAVストリームと、それに付随する情報であるClip Informationのペアが1つのオブジェクトとして管理される。AVストリームとClip InformationのペアをClipという。
AVストリームは時間軸上に展開され、各Clipのアクセスポイントは、主に、タイムスタンプでPlayListにおいて指定される。Clip Informationは、AVストリーム中のデコードを開始すべきアドレスを見つけるためなどに使用される。
PlayListはAVストリームの再生区間の集まりである。AVストリーム中の1つの再生区間はPlayItemと呼ばれる。PlayItemは、時間軸上の再生区間のIN点とOUT点のペアで表される。図14に示すように、PlayListは1つまたは複数のPlayItemにより構成される。
図14の左から1番目のPlayListは2つのPlayItemから構成され、その2つのPlayItemにより、左側のClipに含まれるAVストリームの前半部分と後半部分がそれぞれ参照される。
左から2番目のPlayListは1つのPlayItemから構成され、それにより、右側のClipに含まれるAVストリーム全体が参照される。
左から3番目のPlayListは2つのPlayItemから構成され、その2つのPlayItemにより、左側のClipに含まれるAVストリームのある部分と、右側のClipに含まれるAVストリームのある部分がそれぞれ参照される。
例えば、左から1番目のPlayListに含まれる左側のPlayItemが再生対象としてディスクナビゲーションプログラムにより指定された場合、そのPlayItemが参照する、左側のClipに含まれるAVストリームの前半部分の再生が行われる。このように、PlayListは、AVストリームの再生を管理するための再生管理情報として用いられる。
PlayListの中で、1つ以上のPlayItemの並びによって作られる再生パスをメインパス(Main Path)という。また、PlayListの中で、Main Pathに並行して、1つ以上のSubPlayItemの並びによって作られる再生パスをサブパス(Sub Path)という。
(Main PathとSub Pathの構造)
図15は、Main PathとSub Pathの構造を示す図である。
PlayListは、1つのMain Pathと1つ以上のSub Pathを持つ。図15のPlayListは、3つのPlayItemの並びにより作られる1つのMain Pathと3つのSub Pathを有する。
Main Pathを構成するPlayItemには、先頭から順番にそれぞれIDが設定される。Sub Pathにも、先頭から順番にSubpath_id=0、Subpath_id=1、およびSubpath_id=2のIDが設定される。
図15の例においては、Subpath_id=0のSub Pathには1つのSubPlayItemが含まれ、Subpath_id=1のSub Pathには2つのSubPlayItemが含まれる。また、Subpath_id=2のSub Pathには1つのSubPlayItemが含まれる。
1つのPlayItemが参照するAVストリームには、少なくとも主映像のビデオストリームが含まれる。AVストリームには、AVストリームに含まれる主映像のビデオストリームと同じタイミングで(同期して)再生されるオーディオストリームが1つ以上含まれてもよいし、含まれなくてもよい。
AVストリームには、AVストリームに含まれる主映像のビデオストリームと同期して再生される副映像のビデオストリームが1つ以上含まれてもよいし、含まれなくてもよい。
AVストリームには、AVストリームに含まれる主映像のビデオストリームと同期して再生されるビットマップの字幕データ(PG(Presentation Graphic))のストリームであるPGストリームが1つ以上含まれてもよいし、含まれなくてもよい。
AVストリームには、AVストリームに含まれる主映像のビデオストリームと同期して再生される字幕のテキストデータ(Text-ST)のストリームであるText-STストリームが1つ以上含まれてもよいし、含まれなくてもよい。
AVストリームには、AVストリームに含まれる主映像のビデオストリームと同期して再生されるメニューボタンの画像データ(IG(Interactive Graphic))のストリームであるIGストリームが1つ以上含まれてもよいし、含まれなくてもよい。
1つのPlayItemが参照するAVストリームには、主映像のビデオストリームと、それと同期して再生されるオーディオストリーム、副映像のビデオストリーム、PGストリーム、Text-STストリーム、およびIGストリームが多重化される。
また、1つのSubPlayItemは、PlayItemが参照するAVストリームとは異なる、ビデオストリーム、オーディオストリーム、PGストリーム、Text-STストリーム、IGストリームなどを参照する。
このように、AVストリームの再生はPlayListとClip Informationを用いて行われる。AVストリームの再生に関する情報を含むPlayListとClip Informationを、適宜、Data Base情報という。
(光ディスク11のファイルの管理構造)
図16は、光ディスク11に記録されるファイルの管理構造の例を示す図である。
光ディスク11に記録される各ファイルはディレクトリ構造により階層的に管理される。光ディスク11上には1つのrootディレクトリが作成される。
rootディレクトリの下にはBDMVディレクトリが置かれる。
BDMVディレクトリの下には、「Index.bdmv」の名前が設定されたファイルであるIndexファイルと、「MovieObject.bdmv」の名前が設定されたファイルであるMovieObjectファイルが格納される。
Indexファイルには、例えば、光ディスク11に記録されているタイトルの番号の一覧と、そのタイトルの番号に対応して実行されるオブジェクトの種類および番号が記述される。オブジェクトの種類としては、ムービーオブジェクト(Movie Object)とBDJオブジェクト(BDJ Object)の2種類がある。
ムービーオブジェクトとは、プレイリストの再生等のナビゲーションコマンドが記述されるオブジェクトである。BDJオブジェクトとは、BDJアプリケーションが記述されるオブジェクトである。MovieObjectファイルには、ムービーオブジェクトが記述される。
BDMVディレクトリの下には、PLAYLISTディレクトリ、CLIPINFディレクトリ、STREAMディレクトリ、BDJOディレクトリ等が設けられる。
PLAYLISTディレクトリには、PlayListを記述したPlayListファイルが格納される。各PlayListファイルには、5桁の数字と拡張子「.mpls」を組み合わせた名前が設定される。図16に示す1つのPlayListファイルには「00000.mpls」のファイル名が設定されている。
CLIPINFディレクトリには、Clip Informationを記述したClip Informationファイルが格納される。各Clip Informationファイルには、5桁の数字と拡張子「.clpi」を組み合わせた名前が設定される。図16の3つのClip Informationファイルには、それぞれ、「00001.clpi」、「00002.clpi」、「00003.clpi」のファイル名が設定されている。
STREAMディレクトリにはストリームファイルが格納される。各ストリームファイルには、5桁の数字と拡張子「.m2ts」を組み合わせた名前が設定される。図16の3つのストリームファイルには、それぞれ、「00001.m2ts」、「00002.m2ts」、「00003.m2ts」のファイル名が設定されている。
同じ5桁の数字がファイル名に設定されているClip Informationファイルとストリームファイルが1つのClipを構成するファイルとなる。「00001.m2ts」のストリームファイルの再生時には「00001.clpi」のClip Informationファイルが用いられ、「00002.m2ts」のストリームファイルの再生時には「00002.clpi」のClip Informationファイルが用いられる。
BDJOディレクトリには、BDJオブジェクトが記述されるBDJオブジェクトファイルが格納される。各BDJオブジェクトファイルには、5桁の数字と拡張子「.bdjo」を組み合わせた名前が設定される。図16の3つのストリームファイルには、それぞれ、「00001.bdjo」、「00002.bdjo」、「00003.bdjo」のファイル名が設定されている。
ここで、各ファイルのシンタクスの主な記述について説明する。
(PlayListファイルのシンタクス)
図17は、PlayListファイルのPlayItemのSTN_tableのシンタクスを示す図である。
STN_tableには、PlayItemが参照するAVストリームの情報が含まれる。PlayItemと関連付けて再生されるSub Pathがある場合、そのSub Pathを構成するSubPlayItemが参照するAVストリームの情報も含まれる。
4行目のnumber_of_primary_video_stream_entriesは、STN_tableにエントリされる(登録される)主映像のビデオストリームの数を表す。11行目のprimary_video_tone_mapping_flagは、主映像とtone_mapping_infoを対応付けるかどうかを表す。
33行目に示すように、primary_video_tone_mapping_flagが1である場合、STN_tableには、主映像のtone_mapping_infoの数を表すnumber_of_tone_mapping_info_refが記述される。
また、34〜37行目に示すように、primary_video_tone_mapping_flagが1である場合、STN_tableには、主映像のtone_mapping_infoのtone_map_idを表すtone_mapping_info_refが記述される。
以上のように、STN_tableでは、ビデオと、そのビデオのtone_mapping_infoが対応付けられる。従って、再生装置2は、このSTN_tableに基づいて、ビデオストリームのSEIに挿入されているtone_mapping_infoの中からビデオのtone_mapping_infoを選択し、そのビデオの再生時に用いることができる。
ここで、各装置の構成について説明する。
(記録装置1の構成例)
図18は、記録装置1の構成例を示すブロック図である。
記録装置1は、コントローラ21、符号化処理部22、およびディスクドライブ23から構成される。マスターのHDRデータが符号化処理部22に入力される。
コントローラ21は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などより構成される。コントローラ21は、所定のプログラムを実行し、記録装置1の全体の動作を制御する。
コントローラ21においては、所定のプログラムが実行されることによってData Base情報生成部21Aが実現される。Data Base情報生成部21Aは、符号化処理部22から供給されるビデオのtone_mapping_infoの数をPlayListのSTN_table(図17)の主映像のnumber_of_tone_mapping_info_refとして記述し、tone_map_idをtone_mapping_info_refとして記述する。Data Base情報生成部21Aは、このようにして各種の情報を記述することによりData Base情報であるPlayListとClip Informationを生成し、ディスクドライブ23に出力する。
符号化処理部22は、マスターのHDRデータの符号化を行う。符号化処理部22は、マスターのHDRデータを符号化して得られたビデオストリームをディスクドライブ23に出力する。また、符号化処理部22は、ビデオのtone_mapping_infoの数およびtone_map_idをコントローラ21に供給する。
ディスクドライブ23は、コントローラ21から供給されたData Base情報と、符号化処理部22から供給されたビデオストリームを格納するファイルを、図16のディレクトリ構造に従って光ディスク11に記録する。
(符号化処理部22の構成例)
図19は、図18の符号化処理部22の構成例を示すブロック図である。
符号化処理部22は、HDR情報生成部31、HEVCエンコーダ32、HDR-STD変換部33、定義情報生成部34、およびストリーム生成部35から構成される。
HDR情報生成部31は、入力されたマスターのHDRデータの輝度を検出し、図12を参照して説明した各情報を含むHDR情報を生成する。HDR情報生成部31は、生成したHDR情報をストリーム生成部35に出力する。
HEVCエンコーダ32は、記録モードがmode-iである場合、入力されたマスターのHDRビデオをHEVC方式で符号化する。また、HEVCエンコーダ32は、記録モードがmode-iiである場合、HDR-STD変換部33から供給されたSTDビデオをHEVC方式で符号化する。HEVCエンコーダ32は、HDRビデオの符号化データ、またはSTDビデオの符号化データをストリーム生成部35に出力する。
HDR-STD変換部33は、入力されたマスターのHDRデータをSTDデータに変換する。HDR-STD変換部33による変換は、適宜、オーサーにより入力された変換パラメータに従って行われる。HDR-STD変換部33は、HDRデータのRGB信号をinput data、STDデータのRGB信号をoutput dataとしたinput dataとoutput dataの対応関係を示す情報を定義情報生成部34に出力する。
(HDR-STD変換部33による信号処理について)
図20は、HDR-STD変換部33による信号処理の例を示す図である。
HDR-STD変換部33は、矢印#201の先に示すように、入力されたマスターのHDRデータのYCrCb信号をRGB信号に変換し、RGBの各信号を対象として、STDデータのRGBの各信号への変換(tone mapping)を行う。
HDR-STD変換部33は、input dataであるHDRデータのRGB信号とoutput dataであるSTDデータのRGB信号の対応関係を示す情報を定義情報生成部34に出力する。定義情報生成部34に出力された情報は、矢印#202の先に示すようにtone mapping定義情報の生成に用いられる。
また、HDR-STD変換部33は、矢印#203の先に示すように、STDデータのRGB信号をYCrCb信号に変換し、出力する。
図21は、tone mappingの例を示す図である。
HDRデータのRGB信号は、例えば図21に示すように、高輝度成分を圧縮し、中・低域輝度成分を伸張するようにしてSTDデータのRGB信号に変換される。図21に示すようなHDRデータのRGB信号とSTDデータのRGB信号を対応付ける関数Fを示す情報が、定義情報生成部34により生成される。なお、図21に示す関数Fを示す情報により生成されるtone mapping定義情報は、図11を参照して説明した、coded_dataとtarget_dataの関係を折れ線関数により示すtone_map_model_id=3のtone_mapping_infoである。
図19の説明に戻り、また、HDR-STD変換部33は、記録モードがmode-iiである場合、HDRビデオを変換して得られたSTDビデオをHEVCエンコーダ32に出力し、HDRクローズドキャプションを変換して得られたSTDクローズドキャプションをストリーム生成部35に供給する。
定義情報生成部34は、HDR-STD変換部33から供給された情報に基づいて、HDR-STD変換用のtone mapping定義情報を生成する。
例えば、定義情報生成部34は、tone_map_model_id=0が用いられる場合、図9のmin_valueとmax_valueの値を含むtone_mapping_infoをHDR-STD変換用のtone mapping定義情報として生成する。
また、定義情報生成部34は、tone_map_model_id=2が用いられる場合、図10のmax_target_dataの数のstart_of_coded_interval[i]を含むtone_mapping_infoをHDR-STD変換用のtone mapping定義情報として生成する。
さらに、定義情報生成部34は、tone_map_model_id=3が用いられる場合、図11のnum_pivotsにより指定される数のcoded_pivot_value[i]とtarget_pivot_value[i]を含むtone_mapping_infoをHDR-STD変換用のtone mapping定義情報として生成する。
ストリーム生成部35は、HDR情報生成部31から供給されたビデオのHDR情報を含むtone_mapping_infoと、定義情報生成部34から供給されたビデオのtone mapping定義情報であるtone_mapping_infoの数を図18のコントローラ21に供給する。また、ストリーム生成部35は、それらのtone_mapping_infoのtone_map_idをコントローラ21に供給する。
ストリーム生成部35は、ビデオとクローズドキャプションのtone_mapping_infoをTone mapping information SEI messageとして符号化データに挿入する。また、ストリーム生成部35は、記録モードがmode-iである場合、入力されたマスターのHDRクローズドキャプション、並びに、クローズドキャプションのtone_mapping_infoの数およびtone_map_idを、User data unregistered SEI messageとして符号化データに挿入する。一方、ストリーム生成部35は、記録モードがmode-iiである場合、HDR-STD変換部33から供給されたSTDクローズドキャプション、並びに、クローズドキャプションのtone_mapping_infoの数およびtone_map_idを、User data unregistered SEI messageとして符号化データに挿入する。
以上のようにしてTone mapping information SEI messageとUser data unregistered SEI messageが符号化データに挿入されることにより、ビデオストリームが生成される。ストリーム生成部35は、ビデオストリームを図18のディスクドライブ23に出力する。
(再生装置2の構成例)
図22は、再生装置2の構成例を示すブロック図である。
再生装置2は、コントローラ51、ディスクドライブ52、メモリ53、ローカルストレージ54、ネットワークインタフェース55、復号処理部56、操作入力部57、およびHDMI通信部58から構成される。
コントローラ51は、CPU、ROM、RAMなどより構成される。コントローラ51は、所定のプログラムを実行し、再生装置2の全体の動作を制御する。例えば、コントローラ51は、ディスクドライブ52から供給されるPlayListに記述されているビデオのtone_mapping_info_refを、復号処理部56に供給する。
ディスクドライブ52は、読み出し部として機能し、光ディスク11からデータを読み出して、読み出したデータを、コントローラ51、メモリ53、または復号処理部56に出力する。例えば、ディスクドライブ52は、光ディスク11から読み出したData Base情報をコントローラ51に出力し、ビデオストリーム等を復号処理部56に出力する。
メモリ53は、コントローラ51が各種の処理を実行する上において必要なデータなどを記憶する。メモリ53には、PSR(Player Status Register)であるレジスタ53Aが形成される。レジスタ53Aには、BD Playerである再生装置2が光ディスク11の再生時に参照する各種の情報が記憶される。
ローカルストレージ54は例えばHDD(Hard Disk Drive)により構成される。ローカルストレージ54には、サーバからダウンロードされたデータなどが記録される。
ネットワークインタフェース55は、インターネットなどのネットワークを介してサーバと通信を行い、サーバからダウンロードしたデータをローカルストレージ54に供給する。
復号処理部56は、ディスクドライブ52から供給されたビデオストリームのSEIから、HDR情報を含むtone_mapping_infoと、tone mapping定義情報であるtone_mapping_infoを抽出する。また、復号処理部56は、ビデオストリームのSEIから、HDRクローズドキャプションまたはSTDクローズドキャプション、および、tone_mapping_info_refを抽出する。
復号処理部56は、ビデオストリームに含まれる符号化データをHEVC方式で復号する。復号処理部56は、コントローラ51から供給されるビデオのtone_mapping_info_refに基づいて、ビデオのtone_mapping_infoを選択する。復号処理部56は、必要に応じて、復号の結果得られるHDRビデオまたはSTDビデオを、選択されたtone_mapping_infoであるtone mapping定義情報を参照してSTDビデオまたはHDRビデオに変換し、HDMI通信部58に出力する。復号処理部56は、HDRビデオを出力する場合、HDRビデオとともに、選択されたtone_mapping_infoに含まれるHDR情報をHDMI通信部58に出力する。
復号処理部56は、SEIから抽出されたtone_mapping_info_refに基づいて、復号処理部56から供給されるtone_mapping_infoを選択する。復号処理部56は、必要に応じて、HDRクローズドキャプションまたはSTDクローズドキャプションを、選択されたtone_mapping_infoであるtone mapping定義情報を参照してSTDクローズドキャプションまたはHDRクローズドキャプションに変換し、HDMI通信部58に出力する。復号処理部56は、HDRクローズドキャプションを出力する場合、HDRクローズドキャプションとともに、選択されたtone_mapping_infoに含まれるHDR情報をHDMI通信部58に出力する。
操作入力部57は、ボタン、キー、タッチパネルなどの入力デバイスや、所定のリモートコマンダから送信される赤外線などの信号を受信する受信部により構成される。操作入力部57はユーザの操作を検出し、検出した操作の内容を表す信号をコントローラ51に供給する。
HDMI通信部58は、HDMIケーブル4を介して表示装置3との間で通信を行う。例えば、HDMI通信部58は、表示装置3が有するモニタの性能に関する情報を取得し、コントローラ51に出力する。また、HDMI通信部58は、復号処理部56から供給されたHDRデータまたはSTDデータを表示装置3に出力する。HDMI通信部58は、復号処理部56から供給されるHDR情報を表示装置3に出力する。
(復号処理部56の構成例)
図23は、図22の復号処理部56の構成例を示すブロック図である。
復号処理部56は、パラメータ抽出部71、HEVCデコーダ72、HDR-STD変換部73、STD-HDR変換部74、および出力部75から構成される。出力部75は、HDRデータ出力部75AとSTDデータ出力部75Bから構成される。
ディスクドライブ52により読み出されたビデオストリームはパラメータ抽出部71に入力される。復号処理部56に対しては、例えば、Clip Informationに含まれるmode_flagが表す記録モードと、表示装置3から取得された表示装置3が有するモニタの性能を表すEDID(Extended display identification data)とが、コントローラ51から供給される。また、復号処理部56に対しては、例えば、PlayListに記述されているビデオのtone_mapping_info_refがコントローラ51から供給される。
パラメータ抽出部71は、ビデオストリームのSEIから、HDR情報、tone mapping定義情報、HDRクローズドキャプションまたはSTDクローズドキャプション、および、クローズドキャプションのtone_mapping_info_refを抽出する。パラメータ抽出部71は、記録モードがmode-iであり、表示装置3にHDRデータを出力する場合、ビデオおよびクローズドキャプションのtone_mapping_info_refで特定されるtone_mapping_infoに含まれるHDR情報をHDRデータ出力部75Aに出力する。また、パラメータ抽出部71は、記録モードがmode-iであり、表示装置3にSTDデータを出力する場合、ビデオおよびクローズドキャプションのtone_mapping_info_refで特定されるHDR-STD変換用のtone mapping定義情報をHDR-STD変換部73に出力する。
一方、パラメータ抽出部71は、記録モードがmode-iiであり、表示装置3にHDRデータを出力する場合、ビデオおよびクローズドキャプションのtone_mapping_info_refで特定されるtone_mapping_infoに含まれるHDR情報をHDRデータ出力部75Aに出力する。また、この場合、パラメータ抽出部71は、ビデオおよびクローズドキャプションのtone_mapping_info_refで特定されるSTD-HDR変換用のtone mapping定義情報をSTD-HDR変換部74に出力する。記録モードがmode-iiであり、表示装置3にSTDデータを出力する場合、抽出されたHDR情報とtone mapping定義情報は用いられない。
また、パラメータ抽出部71は、ビデオストリームに含まれる符号化データをHEVCデコーダ72に出力する。パラメータ抽出部71は、HDRクローズドキャプションをHDR-STD変換部73とHDRデータ出力部75Aに供給する。また、パラメータ抽出部71は、STDクローズドキャプションをSTD-HDR変換部74とSTDデータ出力部75Bに供給する。
HEVCデコーダ72は、パラメータ抽出部71から供給されたHEVC方式の符号化データを復号する。HEVCデコーダ72は、記録モードがmode-iである場合、復号して得られたHDRビデオをHDR-STD変換部73とHDRデータ出力部75Aに出力する。また、HEVCデコーダ72は、記録モードがmode-iiである場合、復号して得られたSTDビデオをSTD-HDR変換部74とSTDデータ出力部75Bに出力する。
HDR-STD変換部73は、HEVCデコーダ72から供給されたHDRビデオとパラメータ抽出部71から供給されるHDRクローズドキャプションを、パラメータ抽出部71から供給されたHDR-STD変換用のtone mapping定義情報に基づいてSTDデータに変換する。HDR-STD変換部73は、変換して得られたSTDデータをSTDデータ出力部75Bに出力する。
STD-HDR変換部74は、HEVCデコーダ72から供給されたSTDデータとパラメータ抽出部71から供給されるSTDクローズドキャプションを、パラメータ抽出部71から供給されたSTD-HDR変換用のtone mapping定義情報に基づいてHDRデータに変換する。STD-HDR変換部74は、変換して得られたHDRデータをHDRデータ出力部75Aに出力する。
出力部75のHDRデータ出力部75Aは、表示装置3にHDRデータを出力する場合、HEVCデコーダ72から供給されたHDRデータ、またはSTD-HDR変換部74から供給されたHDRデータを、パラメータ抽出部71から供給されたHDR情報とともに出力する。
STDデータ出力部75Bは、表示装置3にSTDデータを出力する場合、HEVCデコーダ72から供給されたSTDデータ、またはHDR-STD変換部73から供給されたSTDデータを出力する。
HDRデータ出力部75AとSTDデータ出力部75Bから出力されたデータは、HDMI通信部58により、表示装置3に送信される。
(表示装置3の構成例)
図24は、表示装置3の構成例を示すブロック図である。
表示装置3は、コントローラ101、HDMI通信部102、信号処理部103、およびモニタ104から構成される。コントローラ101はメモリ101Aを有する。
コントローラ101は、CPU、ROM、RAMなどより構成される。コントローラ101は、所定のプログラムを実行し、表示装置3の全体の動作を制御する。
例えば、コントローラ101は、モニタ104の性能を表すEDIDをメモリ101Aに記憶させて管理する。コントローラ101は、再生装置2との認証時、メモリ101Aに記憶させているEDIDをHDMI通信部102に出力し、再生装置2に対して送信させる。EDIDに基づいて、表示装置3のモニタ104の性能が再生装置2により特定される。
HDMI通信部102は、HDMIケーブル4を介して再生装置2との間で通信を行う。HDMI通信部102は、再生装置2から送信されてきたHDRデータとHDR情報、または、STDデータを受信し、信号処理部103に出力する。また、HDMI通信部102は、コントローラ101から供給されたEDIDを再生装置2に送信する。
信号処理部103は、HDMI通信部102から供給されたHDR情報に基づいてHDRデータの映像をモニタ104に表示させる。また、信号処理部103は、HDMI通信部102から供給されたSTDデータの映像をモニタ104に表示させる。
ここで、以上のような構成を有する各装置の動作について説明する。
(記録処理の説明)
はじめに、図25のフローチャートを参照して、記録装置1の記録処理について説明する。図25の記録処理は、マスターのHDRデータが記録装置1に入力されたときに開始される。
ステップS1において、記録装置1のコントローラ21は、記録モードがmode-iであるか否かを判定する。記録モードは例えばオーサーにより設定される。
記録モードがmode-iであるとステップS1において判定された場合、ステップS2において、符号化処理部22はmode-iでの符号化処理を行う。mode-iでの符号化処理により生成されたビデオストリームはディスクドライブ23に供給される。
一方、記録モードがmode-iiであるとステップS1において判定された場合、ステップS3において、符号化処理部22はmode-iiでの符号化処理を行う。mode-iiでの符号化処理により生成されたビデオストリームはディスクドライブ23に供給される。
ステップS4において、Data Base情報生成部21Aは、ストリーム生成部35から供給されるビデオのtone_mapping_infoの数とtone_map_idを含むPlayListとmode_flagを含むClip InformationとからなるData Base情報を生成する。Data Base情報はディスクドライブ23に供給される。
ステップS5において、ディスクドライブ23は、ビデオストリームとData Base情報を格納するファイルを光ディスク11に記録する。その後、処理は終了する。
次に、図26のフローチャートを参照して、図25のステップS2において行われるmode-iでの符号化処理について説明する。
ステップS11において、符号化処理部22のHDR情報生成部31は、マスターのHDRデータの輝度を検出し、HDR情報を生成する。
ステップS12において、HEVCエンコーダ32は、マスターのHDRビデオをHEVC方式で符号化し、HDRビデオの符号化データを生成する。
ステップS13において、HDR-STD変換部33は、入力されたマスターのHDRデータをSTDデータに変換する。HDRデータのRGB信号をinput data、STDデータのRGB信号をoutput dataとしたinput dataとoutput dataの対応関係を示す情報は定義情報生成部34に供給される。
ステップS14において、定義情報生成部34は、HDR-STD変換部33から供給された情報に基づいてHDR-STD変換用のtone mapping定義情報を生成する。
ステップS15において、ストリーム生成部35は、符号化データのTone mapping information SEI messageとして、HDR情報を含むtone_mapping_infoとtone mapping定義情報であるtone_mapping_infoを符号化データに挿入する。また、ストリーム生成部35は、符号化データのUser data unregistered SEI messageとして、マスターのHDRクローズドキャプションと、HDRクローズドキャプションのtone_mapping_infoの数およびtone_map_idとを符号化データに挿入する。これにより、ビデオストリームが生成される。
また、ストリーム生成部35は、ビデオのHDR情報を含むtone_mapping_infoとtone mapping定義情報であるtone_mapping_infoの数、および、それらのtone_mapping_infoのtone_map_idをコントローラ21に供給する。その後、図25のステップS2に戻り、それ以降の処理が行われる。
次に、図27のフローチャートを参照して、図25のステップS3において行われるmode-iiでの符号化処理について説明する。
ステップS21において、符号化処理部22のHDR情報生成部31は、マスターのHDRデータの輝度を検出し、HDR情報を生成する。
ステップS22において、HDR-STD変換部33は、入力されたマスターのHDRデータをSTDデータに変換する。HDRデータのRGB信号をinput data、STDデータのRGB信号をoutput dataとしたinput dataとoutput dataの対応関係を示す情報は定義情報生成部34に供給される。
ステップS23において、定義情報生成部34は、HDR-STD変換部33から供給された情報に基づいてSTD-HDR変換用のtone mapping定義情報を生成する。
ステップS24において、HEVCエンコーダ32は、マスターのHDRビデオを変換して得られたSTDビデオをHEVC方式で符号化し、STDビデオの符号化データを生成する。
ステップS25において、ストリーム生成部35は、符号化データのTone mapping information SEI messageとして、HDR情報を含むtone_mapping_infoとtone mapping定義情報であるtone_mapping_infoを挿入する。また、ストリーム生成部35は、符号化データのUser data unregistered SEI messageとして、STDクローズドキャプションと、STDクローズドキャプションのtone_mapping_infoの数およびtone_map_idとを符号化データに挿入する。これにより、ビデオストリームが生成される。その後、図25のステップS3に戻り、それ以降の処理が行われる。
(再生処理の説明)
次に、図28のフローチャートを参照して、再生装置2の再生処理について説明する。
光ディスク11の再生を開始する前などの所定のタイミングにおいて、再生装置2のコントローラ51は、HDMI通信部58を制御して表示装置3と通信を行い、表示装置3のメモリ101AからEDIDを読み出す。コントローラ51は、EDIDをレジスタ53Aに記憶させて管理する。
ステップS41において、コントローラ51は、ディスクドライブ52を制御し、Data Base情報であるPlayListとClip Informationを光ディスク11から読み出す。また、コントローラ51は、再生するビデオストリームをPlayListに含まれる情報に基づいて特定し、特定したビデオストリームを、ディスクドライブ52を制御して光ディスク11から読み出す。
ステップS42において、コントローラ51は、Clip Informationに含まれるmode_flagを参照する。
ステップS43において、コントローラ51は、記録モードがmode-iであるか否かをmode_flagの値に基づいて判定する。
記録モードがmode-iであるとステップS43において判定された場合、ステップS44において、復号処理部56はmode-iでの復号処理を行う。
一方、記録モードがmode-iiであるとステップS43において判定された場合、ステップS45において、復号処理部56はmode-iiでの復号処理を行う。
ステップS44またはステップS45において復号処理が行われた後、処理は終了する。
次に、図29のフローチャートを参照して、図28のステップS44において行われるmode-iでの復号処理について説明する。
ステップS61において、復号処理部56のパラメータ抽出部71は、ビデオストリームのSEIから、tone_mapping_info、HDRクローズドキャプション、およびHDRクローズドキャプションのtone_mapping_info_refを抽出する。パラメータ抽出部71は、HDRクローズドキャプションをHDR-STD変換部73とHDRデータ出力部75Aに供給する。また、パラメータ抽出部71は、ビデオストリームからHDRビデオの符号化データを抽出し、HEVCデコーダ72に供給する。
ステップS62において、HEVCデコーダ72は、パラメータ抽出部71から供給されるHDRビデオの符号化データをHEVC方式で復号し、HDRビデオを生成する。HEVCデコーダ72は、HDRビデオをHDR-STD変換部73とHDRデータ出力部75Aに供給する。
ステップS63において、コントローラ51は、レジスタ53Aに記憶させておいたEDIDに基づいて、表示装置3が有するモニタがHDRモニタであるか否かを判定する。表示装置3が有するモニタがHDRモニタであるとステップS63において判定された場合、処理はステップS64に進む。
ステップS64において、パラメータ抽出部71は、コントローラ51から供給されるPlayListに記述されるビデオのtone_mapping_info_refをtone_map_idとして含み、HDR情報を含むtone_mapping_infoを、SEIから抽出されたtone_mapping_infoから選択する。また、パラメータ抽出部71は、SEIから抽出されたHDRクローズドキャプションのtone_mapping_info_refをtone_map_idとして含み、HDR情報を含むtone_mapping_infoを、SEIから抽出されたtone_mapping_infoから選択する。パラメータ抽出部71は、選択されたtone_mapping_infoに含まれるHDR情報をHDRデータ出力部75Aに供給する。
ステップS65において、HDRデータ出力部75Aは、HEVCデコーダ72から供給されるHDRデータを、パラメータ抽出部71から供給されるHDR情報とともに出力する。
一方、表示装置3が有するモニタがHDRモニタではなく、STDモニタであるとステップS63において判定された場合、処理はステップS66に進む。
ステップS66において、パラメータ抽出部71は、コントローラ51から供給されるPlayListに記述されるビデオのtone_mapping_info_refをtone_map_idとして含むHDR-STD変換用のtone mapping定義情報であるtone_mapping_infoを、抽出されたtone_mapping_infoから選択する。また、パラメータ抽出部71は、SEIから抽出されたクローズドキャプションのtone_mapping_info_refをtone_map_idとして含むHDR-STD変換用のtone mapping定義情報であるtone_mapping_infoを、抽出されたtone_mapping_infoから選択する。パラメータ抽出部71は、選択されたtone_mapping_infoであるHDR-STD変換用のtone mapping定義情報をHDR-STD変換部73に供給する。
ステップS67において、HDR-STD変換部73は、パラメータ抽出部71から供給されるHDR-STD変換用のtone mapping定義情報に基づいて、HDRデータをSTDデータに変換する。HDR-STD変換部73は、STDデータをHDRデータ出力部75Aに供給する。
ステップS68において、STDデータ出力部75Bは、HDR-STD変換部73から供給されるSTDデータを出力する。
ステップS65においてHDRデータが出力された後、またはステップS68においてSTDデータが出力された後、ステップS69において、コントローラ51は、再生終了か否かを判定する。
再生終了ではないとステップS69において判定した場合、コントローラ51は、ステップS61に戻り、以上の処理を繰り返し実行する。再生終了であるとステップS69において判定された場合、図28のステップS44に戻り、処理は終了する。
次に、図30のフローチャートを参照して、図28のステップS45において行われるmode-iiでの復号処理について説明する。
ステップS81において、復号処理部56のパラメータ抽出部71は、ビデオストリームのSEIから、tone_mapping_info、STDクローズドキャプション、およびSTDクローズドキャプションのtone_mapping_info_refを抽出する。パラメータ抽出部71は、STDクローズドキャプションをSTD-HDR変換部74とSTDデータ出力部75Bに供給する。また、パラメータ抽出部71は、ビデオストリームからSTDビデオの符号化データを抽出し、HEVCデコーダ72に供給する。
ステップS82において、HEVCデコーダ72は、パラメータ抽出部71から供給されるSTDビデオの符号化データをHEVC方式で復号し、STDビデオを生成する。HEVCデコーダ72は、STDビデオをSTD-HDR変換部74とSTDデータ出力部75Bに供給する。
ステップS83において、コントローラ51は、レジスタ53Aに記憶させておいたEDIDに基づいて、表示装置3が有するモニタがHDRモニタであるか否かを判定する。
表示装置3が有するモニタがHDRモニタであるとステップS83において判定された場合、処理はステップS84に進む。
ステップS84において、パラメータ抽出部71は、コントローラ51から供給されるPlayListに記述されるビデオのtone_mapping_info_refをtone_map_idとして含むtone_mapping_infoを、SEIから抽出されたtone_mapping_infoから選択する。これにより、ビデオのHDR情報を含むtone_mapping_infoとSTD-HDR変換用のtone mapping定義情報であるtone_mapping_infoが選択される。
また、パラメータ抽出部71は、SEIから抽出されたクローズドキャプションのtone_mapping_info_refをtone_map_idとして含むtone_mapping_infoを、SEIから抽出されたtone_mapping_infoから選択する。これにより、クローズドキャプションのHDR情報を含むtone_mapping_infoとSTD-HDR変換用のtone mapping定義情報であるtone_mapping_infoが選択される。パラメータ抽出部71は、選択されたtone_mapping_infoに含まれるHDR情報をHDRデータ出力部75Aに供給し、選択されたtone_mapping_infoであるSTD-HDR変換用のtone mapping定義情報をSTD-HDR変換部74に供給する。
ステップS85において、STD-HDR変換部74は、パラメータ抽出部71から供給されるSTD-HDR変換用のtone mapping定義情報に基づいて、STDデータをHDRデータに変換し、HDRデータ出力部75Aに供給する。
ステップS86において、HDRデータ出力部75Aは、STD-HDR変換部74から供給されるHDRデータを、パラメータ抽出部71から供給されるHDR情報とともに出力する。
一方、表示装置3が有するモニタがSTDモニタであるとステップS83において判定された場合、処理はステップS87に進む。ステップS87において、STDデータ出力部75Bは、HEVCデコーダ72から供給されるSTDビデオとパラメータ抽出部71から供給されるSTDクローズドキャプションを出力する。
ステップS86においてHDRデータが出力された後、またはステップS87においてSTDデータが出力された後、ステップS88において、コントローラ51は、再生終了か否かを判定する。
再生終了ではないとステップS88において判定した場合、コントローラ51は、ステップS81に戻り、以上の処理を繰り返し実行する。再生終了であるとステップS88において判定された場合、図28のステップS45に戻り、処理は終了する。
(表示処理の説明)
次に、図31のフローチャートを参照して、表示装置3の表示処理について説明する。
ここでは、表示装置3が有するモニタ104がHDRモニタである場合について説明する。HDRモニタを有する表示装置3に対しては、HDR情報が付加されたHDRデータが再生装置2から送信されてくる。
ステップS101において、表示装置3のHDMI通信部102は、再生装置2から送信されてきたHDRデータとHDR情報を受信する。
ステップS102において、コントローラ101は、HDR情報を参照し、再生装置2から送信されてきたHDRデータをそのまま表示可能であるか否かを判定する。HDR情報には、マスターのHDRデータ、すなわち再生装置2から送信されてきたHDRデータの輝度の特性を示す情報が含まれる。ステップS102における判定は、HDR情報により特定されるHDRデータの輝度の特性と、モニタ104の表示性能を比較することによって行われる。
例えば、HDR情報により特定されるHDRデータのダイナミックレンジが0-400%であり、モニタ104のダイナミックレンジが0-500%(例えば100%の明るさを100cd/m2とすると500cd/m2)である場合、HDRデータをそのまま表示可能であると判定される。一方、HDR情報により特定されるHDRデータのダイナミックレンジが0-400%であり、モニタ104のダイナミックレンジが0-300%である場合、HDRデータをそのまま表示することができないと判定される。
HDRデータをそのまま表示可能であるとステップS102において判定された場合、ステップS103において、信号処理部103は、HDRデータの映像を、HDR情報により指定される輝度に従ってモニタ104に表示させる。例えば、図12の曲線L12で示す輝度の特性がHDR情報により指定されている場合、各輝度値は曲線L12で示す0-400%の範囲の明るさを表す。
一方、HDRデータをそのまま表示させることができないとステップS102において判定された場合、ステップS104において、信号処理部103は、モニタ104の表示性能に応じて輝度を調整し、輝度を調整したHDRデータの映像を表示させる。例えば、図12の曲線L12で示す輝度の特性がHDR情報により指定されており、モニタ104のダイナミックレンジが0-300%である場合、各輝度値が0-300%の範囲の明るさを表すように圧縮される。
ステップS103、またはステップS104においてHDRデータの映像が表示された後、ステップS105において、コントローラ101は、表示を終了するか否かを判定し、終了しないと判定した場合、ステップS101以降の処理を繰り返す。ステップS105において表示を終了すると判定した場合、コントローラ101は、処理を終了する。
以上の一連の処理により、記録装置1は、マスターのHDRデータをHDRデータのまま光ディスク11に記録し、再生装置2に再生させてHDRデータの映像を表示装置3に表示させることができる。また、記録装置1は、HDRデータとともにHDR-STD変換用のtone mapping定義情報を光ディスク11に記録するので、再生装置2は、そのHDR-STD変換用のtone mapping定義情報に基づいてHDRデータをSTDデータに変換し、STDデータしか表示できない表示装置3にSTDデータの映像を表示させることができる。
また、記録装置1は、マスターのHDRデータをSTDデータに変換して光ディスク11に記録するとともに、STD-HDR変換用のtone mapping定義情報を光ディスク11に記録することにより、再生装置2にHDRデータを復元させ、HDRデータの映像を表示装置3に表示させることができる。
HDRデータを再生する際、マスターのHDRデータの輝度の特性をHDR情報によって指定することができるようにすることにより、コンテンツのオーサーは、意図したとおりの輝度でHDRデータの映像を表示させることが可能になる。
また、記録装置1は、クローズドキャプションのtone_mapping_infoを識別するtone_map_idを、クローズドキャプションとともにUser data unregistered SEI messageに記述する。従って、再生装置2は、そのtone_map_idに基づいて、Tone mapping information SEI messageに配置されたtone_mapping_infoのうちのクローズドキャプションのtone_mapping_infoを特定することができる。
<第2実施の形態>
(AVストリームの構成例)
図32は、本技術を適用した記録・再生システムの第2実施の形態におけるAVストリームの構成例を示す図である。
図32に示すように、第2実施の形態では、tone_mapping_infoがビデオストリームに含まれるのではなく、ビデオストリームとは異なるストリームとしてAVストリームに含まれる。即ち、第2実施の形態のAVストリームには、主映像のビデオストリームと、それと同期して再生されるオーディオストリーム等だけでなく、tone_mapping_infoのストリームが多重化される。
tone_mapping_infoのストリームであるTone_mapストリームには、1以上のtone_mapping_infoが含まれる。Tone_mapストリームに含まれるtone_mapping_infoは、そのTone_mapストリームに多重化されるビデオストリームの再生時に用いられる。
(Tone_mapストリームのシンタクス)
図33は、Tone_mapストリームのシンタクスを示す図である。
図33の4行目に示すように、Tone_mapストリームには、そのTone_mapストリームに含まれるtone_mapping_infoの数を表すnumber_of_tone_mapping_infoが記述される。また、6〜9行目に示すように、Tone_mapストリームには、1以上のtone_mapping_infoが記述される。tone_mapping_infoのシンタクスは、図7に示したものと同一である。
第2実施の形態におけるPlayListファイルのSTN_tableのシンタクスは、図17のSTN_tableのシンタクスと同一である。
(符号化処理部22の構成例)
図34は、本技術を適用した記録・再生システムの第2実施の形態の記録装置1の符号化処理部22の構成例を示す図である。
図34に示す構成のうち、図19の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図34の符号化処理部22の構成は、ストリーム生成部35の代わりにストリーム生成部121が設けられる点が、図19の構成と異なる。
ストリーム生成部121は、HDR情報生成部31から供給されたビデオのHDR情報を含むtone_mapping_infoと、定義情報生成部34から供給されたビデオのtone mapping定義情報であるtone_mapping_infoの数をコントローラ21に供給する。また、ストリーム生成部121は、それらのtone_mapping_infoのtone_map_idをコントローラ21に供給する。
ビデオのtone_mapping_infoの数は、Data Base情報生成部21AによりPlayListファイルのSTN_table(図17)の主映像のビデオのnumber_of_tone_mapping_info_refとして記述される。また、ビデオストリームのtone_map_idは、Data Base情報生成部21AによりSTN_tableのビデオのtone_mapping_info_refとして記述される。
ストリーム生成部121は、ビデオとクローズドキャプションのtone_mapping_infoを含むTone_mapストリームを生成する。また、ストリーム生成部121は、User data unregistered SEI messageとして、HDRクローズドキャプションまたはSTDクローズドキャプション、並びに、対応するtone_mapping_infoの数とtone_map_idを、HEVCエンコーダ32から供給される符号化データに挿入し、ビデオストリームを生成する。ストリーム生成部121は、生成したTone_mapストリームとビデオストリームをディスクドライブ23に出力する。
これにより、Tone_mapストリームとビデオストリームを格納するストリームファイルが、図16のディレクトリ構造に従って光ディスク11に記録される。
(復号処理部56の構成例)
図35は、本技術を適用した記録・再生システムの第2実施の形態の再生装置2の復号処理部56の構成例を示す図である。
図35に示す構成のうち、図23の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図35の復号処理部56の構成は、パラメータ抽出部71の代わりにパラメータ抽出部131が設けられる点が、図23の構成と異なる。
パラメータ抽出部131には、ディスクドライブ52により読み出されたTone_mapストリームとビデオストリームが供給される。パラメータ抽出部131は、Tone_mapストリームからHDR情報とtone mapping定義情報を抽出する。また、パラメータ抽出部131は、ビデオストリームのUser data unregistered SEI messageから、HDRクローズドキャプションまたはSTDクローズドキャプション、および、クローズドキャプションのtone_mapping_info_refを抽出する。
パラメータ抽出部131は、記録モードがmode-iであり、表示装置3にHDRデータを出力する場合、ビデオおよびクローズドキャプションのtone_mapping_info_refで特定されるtone_mapping_infoに含まれるHDR情報をHDRデータ出力部75Aに出力する。また、パラメータ抽出部131は、記録モードがmode-iであり、表示装置3にSTDデータを出力する場合、ビデオおよびクローズドキャプションのtone_mapping_info_refで特定されるHDR-STD変換用のtone mapping定義情報をHDR-STD変換部73に出力する。
一方、パラメータ抽出部131は、記録モードがmode-iiであり、表示装置3にHDRデータを出力する場合、ビデオおよびクローズドキャプションのtone_mapping_info_refで特定されるtone_mapping_infoに含まれるHDR情報をHDRデータ出力部75Aに出力する。また、この場合、パラメータ抽出部131は、ビデオおよびクローズドキャプションのtone_mapping_info_refで特定されるSTD-HDR変換用のtone mapping定義情報をSTD-HDR変換部74に出力する。記録モードがmode-iiであり、表示装置3にSTDデータを出力する場合、抽出されたHDR情報とtone mapping定義情報は用いられない。
また、パラメータ抽出部131は、ビデオストリームに含まれる符号化データをHEVCデコーダ72に出力する。パラメータ抽出部131は、HDRクローズドキャプションをHDR-STD変換部73とHDRデータ出力部75Aに供給する。また、パラメータ抽出部131は、STDクローズドキャプションをSTD-HDR変換部74とSTDデータ出力部75Bに供給する。
(記録処理の説明)
図36は、記録装置1の第2の実施の形態による記録処理を説明するフローチャートである。図36の記録処理は、マスターのHDRデータが記録装置1に入力されたときに開始される。
ステップS111において、記録装置1のコントローラ21は、図25のステップS1の処理と同様に記録モードがmode-iであるか否かを判定する。
記録モードがmode-iであるとステップS111において判定された場合、ステップS112において、符号化処理部22はmode-iでの符号化処理を行う。mode-iでの符号化処理により生成されたビデオストリームとTone_mapストリームはディスクドライブ23に供給される。
一方、記録モードがmode-iiであるとステップS111において判定された場合、ステップS113において、符号化処理部22はmode-iiでの符号化処理を行う。mode-iiでの符号化処理により生成されたビデオストリームとTone_mapストリームはディスクドライブ23に供給される。
ステップS114において、Data Base情報生成部21Aは、ストリーム生成部35から供給されるビデオのtone_mapping_infoの数とtone_map_idを含むPlayListとmode_flagを含むClip InformationとからなるData Base情報を生成する。Data Base情報はディスクドライブ23に供給される。
ステップS115において、ディスクドライブ23は、ビデオストリーム、Tone_mapストリーム、およびData Base情報を格納するファイルを光ディスク11に記録する。その後、処理は終了する。
図37は、図36のステップS112において行われるmode-iでの符号化処理を説明するフローチャートである。
図37のステップS121乃至S124の処理は、図26のステップS11乃至S14の処理と同様であるので、説明は省略する。
ステップS125において、ストリーム生成部121は、HDR情報生成部31により生成されたHDR情報を含むtone_mapping_infoと、定義情報生成部34により生成されたHDR-STD変換用のtone mapping定義情報であるtone_mapping_infoを含むTone_mapストリームを生成する。
また、ストリーム生成部121は、ビデオのHDR情報を含むtone_mapping_infoとHDR-STD変換用のtone mapping定義情報であるtone_mapping_infoの数、および、それらのtone_mapping_infoのtone_map_idをコントローラ21に供給する。
ステップS126において、ストリーム生成部121は、符号化データのUser data unregistered SEI messageとして、HDRクローズドキャプション、および、HDRクローズドキャプションのtone_mapping_infoの数とtone_map_idを符号化データに挿入し、ビデオストリームを生成する。その後、図36のステップS112に戻り、それ以降の処理が行われる。
図38は、図36のステップS113において行われるmode-iiでの符号化処理を説明するフローチャートである。
図38のステップS141乃至S144の処理は、図27のステップS21乃至S24の処理と同様であるので、説明は省略する。
ステップS145において、ストリーム生成部121は、HDR情報生成部31により生成されたHDR情報を含むtone_mapping_infoと、定義情報生成部34により生成されたSTD-HDR変換用のtone mapping定義情報であるtone_mapping_infoを含むTone_mapストリームを生成する。
また、ストリーム生成部121は、ビデオのHDR情報を含むtone_mapping_infoとSTD-HDR変換用のtone mapping定義情報であるtone_mapping_infoの数、および、それらのtone_mapping_infoのtone_map_idをコントローラ21に供給する。
ステップS146において、ストリーム生成部121は、符号化データのUser data unregistered SEI messageとして、STDクローズドキャプション、および、STDクローズドキャプションのtone_mapping_infoの数とtone_map_idを符号化データに挿入し、ビデオストリームを生成する。その後、図36のステップS112に戻り、それ以降の処理が行われる。
(再生処理の説明)
図39は、再生装置2の第2実施の形態による再生処理を説明するフローチャートである。
光ディスク11の再生を開始する前などの所定のタイミングにおいて、再生装置2のコントローラ51は、HDMI通信部58を制御して表示装置3と通信を行い、表示装置3のメモリ101AからEDIDを読み出す。コントローラ51は、EDIDをレジスタ53Aに記憶させて管理する。
ステップS171において、コントローラ51は、ディスクドライブ52を制御し、Data Base情報であるPlayListとClip Informationを光ディスク11から読み出す。また、コントローラ51は、再生するビデオストリームとTone_mapストリームをPlayListに含まれる情報に基づいて特定する。コントローラ51は、特定したビデオストリームとTone_mapストリームを、ディスクドライブ52を制御して光ディスク11から読み出す。
ステップS172およびS173の処理は、図28のステップS42およびS43の処理と同様であるので、説明は省略する。
記録モードがmode-iであるとステップS173において判定された場合、ステップS174において、復号処理部56はmode-iでの復号処理を行う。このmode-iでの復号処理の詳細は、後述する図40を参照して説明する。
一方、記録モードがmode-iiであるとステップS173において判定された場合、ステップS175において、復号処理部56はmode-iiでの復号処理を行う。このmode-iiでの復号処理の詳細は、後述する図41を参照して説明する。
ステップS174またはステップS175において復号処理が行われた後、処理は終了する。
図40は、図39のステップS174のmode-iでの復号処理を説明するフローチャートである。
ステップS180において、復号処理部56のパラメータ抽出部131は、ディスクドライブ52から供給されるTone_mapストリームから、tone_mapping_infoを抽出する。
ステップS181において、パラメータ抽出部131は、ビデオストリームのUser data unregistered SEI messageから、HDRクローズドキャプションおよびHDRクローズドキャプションのtone_mapping_info_refを抽出する。パラメータ抽出部131は、HDRクローズドキャプションをHDR-STD変換部73とHDRデータ出力部75Aに供給する。また、パラメータ抽出部131は、ビデオストリームからHDRビデオの符号化データを抽出し、HEVCデコーダ72に供給する。
ステップS182乃至S189の処理は、図29のステップS62乃至S69の処理と同様であるので、説明は省略する。ステップS189の処理後、処理は図39のステップS174に戻り、処理は終了する。
図41は、図39のステップS175のmode-iiでの復号処理の詳細を説明するフローチャートである。
ステップS200の処理は、図40のステップS180の処理と同様である。
ステップS201において、パラメータ抽出部131は、ビデオストリームのUser data unregistered SEI messageから、STDクローズドキャプションおよびSTDクローズドキャプションのtone_mapping_info_refを抽出する。パラメータ抽出部131は、STDクローズドキャプションをSTD-HDR変換部74とSTDデータ出力部75Bに供給する。また、パラメータ抽出部131は、ビデオストリームからSTDビデオの符号化データを抽出し、HEVCデコーダ72に供給する。
ステップS202乃至S208の処理は、図30のステップS82乃至S88の処理と同様であるので、説明は省略する。ステップS208の処理後、処理は図39のステップS175に戻り、処理は終了する。
<第3実施の形態>
(コンピュータの構成例)
上述した符号化処理部22、復号処理部56、信号処理部103による処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。これらの処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図42は、上述した符号化処理部22、復号処理部56、信号処理部103による処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
CPU501、ROM502、RAM503は、バス504により相互に接続されている。
バス504には、さらに、入出力インタフェース505が接続されている。入出力インタフェース505には、キーボード、マウスなどよりなる入力部506、ディスプレイ、スピーカなどよりなる出力部507が接続される。また、入出力インタフェース505には、ハードディスクや不揮発性のメモリなどよりなる記憶部508、ネットワークインタフェースなどよりなる通信部509、リムーバブルメディア511を駆動するドライブ510が接続される。
以上のように構成されるコンピュータでは、CPU501が、例えば、記憶部508に記憶されているプログラムを入出力インタフェース505及びバス504を介してRAM503にロードして実行することにより、上述した符号化処理部22、復号処理部56、信号処理部103による処理が行われる。
CPU501が実行するプログラムは、例えばリムーバブルメディア511に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部508にインストールされる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、mode_flagは、ビデオとクローズドキャプションで独立に設定されるようにしてもよい。また、mode_flagは、予め固定されている場合には、光ディスク11に記録されなくてもよい。再生装置2は、HDRデータを表示装置3に送信する場合であってもHDR情報を表示装置3に送信しなくてもよい。再生装置2は、携帯端末によって構成されてもよい。
なお、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
本技術は、符号化方式としてMPEG4(Moving Picture Experts Group phase 4)方式が採用された記録・再生システムにも適用することもできる。
本技術は、以下のような構成をとることもできる。
(1)
第1の輝度範囲と異なるより広い第2の輝度範囲のクローズドキャプションである拡張クローズドキャプション、前記拡張クローズドキャプションの輝度の特性を示すHDR情報、および、前記拡張クローズドキャプションから前記第1の輝度範囲のクローズドキャプションである標準クローズドキャプションへの輝度変換を行うときに用いられる輝度変換定義情報を記録した記録媒体から、前記拡張クローズドキャプション、前記HDR情報、および前記輝度変換定義情報を読み出す読み出し部と、
前記輝度変換定義情報に基づいて、前記拡張クローズドキャプションを前記標準クローズドキャプションに変換する変換部と、
前記拡張クローズドキャプションを表示可能な表示装置に対して、前記拡張クローズドキャプションおよび前記HDR情報を出力し、前記拡張クローズドキャプションを表示することができない表示装置に対して、前記変換部により変換された前記標準クローズドキャプションを出力する出力部と
を備える再生装置。
(2)
前記記録媒体は、HEVC(High Efficiency Video Coding)方式のビデオストリームを記録し、前記ビデオストリームのSEIとして、前記拡張クローズドキャプションを記録する
前記(1)に記載の再生装置。
(3)
前記記録媒体は、前記ビデオストリームのSEIとして前記HDR情報と前記輝度変換定義情報を識別する情報を記録する
前記(2)に記載の再生装置。
(4)
前記記録媒体は、前記ビデオストリームのSEIとして前記HDR情報と前記輝度変換定義情報を記録する
前記(2)または(3)に記載の再生装置。
(5)
前記記録媒体は、前記HDR情報と前記輝度変換定義情報を含む前記ビデオストリームとは異なるストリームを記録する
前記(2)または(3)に記載の再生装置。
(6)
前記輝度変換定義情報は、tone_map_model_idの値として0,2,3のうちのいずれかの値が設定された第1のtone_mapping_infoであり、
前記HDR情報は、tone_map_model_idの値として4が設定された第2のtone_mapping_infoである
前記(1)乃至(5)のいずれかに記載の再生装置。
(7)
再生装置が、
第1の輝度範囲と異なるより広い第2の輝度範囲のクローズドキャプションである拡張クローズドキャプション、前記拡張クローズドキャプションの輝度の特性を示すHDR情報、および、前記拡張クローズドキャプションから前記第1の輝度範囲のクローズドキャプションである標準クローズドキャプションへの輝度変換を行うときに用いられる輝度変換定義情報を記録した記録媒体から、前記拡張クローズドキャプション、前記HDR情報、および前記輝度変換定義情報を読み出す読み出しステップと、
前記輝度変換定義情報に基づいて、前記拡張クローズドキャプションを前記標準クローズドキャプションに変換する変換ステップと、
前記拡張クローズドキャプションを表示可能な表示装置に対して、前記拡張クローズドキャプションおよび前記HDR情報を出力し、前記拡張クローズドキャプションを表示することができない表示装置に対して、前記変換ステップの処理により変換された前記標準クローズドキャプションを出力する出力ステップと
を含む再生方法。
(8)
第1の輝度範囲と異なるより広い第2の輝度範囲のクローズドキャプションである拡張クローズドキャプションと、
前記拡張クローズドキャプションの輝度の特性を示すHDR情報と、
前記拡張クローズドキャプションから前記第1の輝度範囲のクローズドキャプションである標準クローズドキャプションへの輝度変換を行うときに用いられる輝度変換定義情報と
を記録した記録媒体であって、
前記記録媒体を再生する再生装置においては、
前記拡張クローズドキャプション、前記HDR情報、および前記輝度変換定義情報を前記記録媒体から読み出し、
前記輝度変換定義情報に基づいて、前記拡張クローズドキャプションを前記標準クローズドキャプションに変換し、
前記拡張クローズドキャプションを表示可能な表示装置に対して、前記拡張クローズドキャプションおよび前記HDR情報を出力し、前記拡張クローズドキャプションを表示することができない表示装置に対して、変換された前記標準クローズドキャプションを出力する
処理が行われる記録媒体。
(9)
第1の輝度範囲のクローズドキャプションである標準クローズドキャプション、前記第1の輝度範囲と異なるより広い第2の輝度範囲のクローズドキャプションである拡張クローズドキャプションの輝度の特性を示すHDR情報、および、前記標準クローズドキャプションから前記拡張クローズドキャプションへの輝度変換を行うときに用いられる輝度変換定義情報を記録した記録媒体から、前記標準クローズドキャプション、前記HDR情報、および前記輝度変換定義情報を読み出す読み出し部と、
前記輝度変換定義情報に基づいて、前記標準クローズドキャプションを前記拡張クローズドキャプションに変換する変換部と、
前記拡張クローズドキャプションを表示可能な表示装置に対して、前記変換部により変換された前記拡張クローズドキャプションおよび前記HDR情報を出力し、前記拡張クローズドキャプションを表示することができない表示装置に対して、前記標準クローズドキャプションを出力する出力部と
を備える再生装置。
(10)
前記記録媒体は、HEVC(High Efficiency Video Coding)方式のビデオストリームを記録し、前記ビデオストリームのSEIとして、前記標準クローズドキャプションを記録する
前記(9)に記載の再生装置。
(11)
前記記録媒体は、前記ビデオストリームのSEIとして前記HDR情報と前記輝度変換定義情報を識別する情報を記録する
前記(10)に記載の再生装置。
(12)
前記記録媒体は、前記ビデオストリームのSEIとして前記HDR情報と前記輝度変換定義情報を記録する
前記(10)または(11)に記載の再生装置。
(13)
前記記録媒体は、前記HDR情報と前記輝度変換定義情報を含む前記ビデオストリームとは異なるストリームを記録する
前記(10)または(11)に記載の再生装置。
(14)
前記輝度変換定義情報は、tone_map_model_idの値として0,2,3のうちのいずれかの値が設定された第1のtone_mapping_infoであり、
前記HDR情報は、tone_map_model_idの値として4が設定された第2のtone_mapping_infoである
前記(9)乃至(13)のいずれかに記載の再生装置。
(15)
再生装置が、
第1の輝度範囲のクローズドキャプションである標準クローズドキャプション、前記第1の輝度範囲と異なるより広い第2の輝度範囲のクローズドキャプションである拡張クローズドキャプションの輝度の特性を示すHDR情報、および、前記標準クローズドキャプションから前記拡張クローズドキャプションへの輝度変換を行うときに用いられる輝度変換定義情報を記録した記録媒体から、前記標準クローズドキャプション、前記HDR情報、および前記輝度変換定義情報を読み出す読み出しステップと、
前記輝度変換定義情報に基づいて、前記標準クローズドキャプションを前記拡張クローズドキャプションに変換する変換ステップと、
前記拡張クローズドキャプションを表示可能な表示装置に対して、前記変換ステップの処理により変換された前記拡張クローズドキャプションおよび前記HDR情報を出力し、前記拡張クローズドキャプションを表示することができない表示装置に対して、前記標準クローズドキャプションを出力する出力ステップと
を含む再生方法。
(16)
第1の輝度範囲のクローズドキャプションである標準クローズドキャプションと、
前記第1の輝度範囲と異なるより広い第2の輝度範囲のクローズドキャプションである拡張クローズドキャプションの輝度の特性を示すHDR情報と、
前記標準クローズドキャプションから前記拡張クローズドキャプションへの輝度変換を行うときに用いられる輝度変換定義情報と
を記録した記録媒体であって、
前記記録媒体を再生する再生装置においては、
前記標準クローズドキャプション、前記HDR情報、および前記輝度変換定義情報を前記記録媒体から読み出し、
前記輝度変換定義情報に基づいて、前記標準クローズドキャプションを前記拡張クローズドキャプションに変換し、
前記拡張クローズドキャプションを表示可能な表示装置に対して、変換された前記拡張クローズドキャプションおよび前記HDR情報を出力し、前記拡張クローズドキャプションを表示することができない表示装置に対して、前記標準クローズドキャプションを出力する
処理が行われる記録媒体。