以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
・第1の実施の形態
1.再生システムについて
2.BDフォーマットについて
2−1.マスターモニタ情報の第1の記述例
2−2.マスターモニタ情報の第2の記述例
2−3.マスターモニタ情報の第3の記述例
2−4.マスターモニタ情報の第4の記述例
2−5.マスターモニタ情報の第5の記述例
2−6.マスターモニタ情報の第6の記述例
2−7.マスターモニタ情報の第7の記述例
2−8.マスターモニタ情報の第8の記述例
3.各装置の構成について
4.各装置の動作について
・第2の実施の形態
・記録装置について
<<第1の実施の形態>>
<1.再生システムについて>
図1は、本技術の一実施形態に係る再生システムの構成例を示す図である。
図1の再生システムは、再生装置1と表示装置2から構成される。再生装置1と表示装置2はHDMI(登録商標)(High Definition Multimedia Interface)規格のケーブルであるケーブル3を介して接続される。再生装置1と表示装置2が他の規格のケーブルを介して接続されるようにしてもよいし、無線による通信を介して接続されるようにしてもよい。
再生装置1は、光ディスク11に記録されているコンテンツを再生する。光ディスク11は、例えばBD-ROM(Blu-ray(登録商標) Disc Read-Only)フォーマットでコンテンツが記録されたディスクである。
光ディスク11に記録されたコンテンツは、4K、8Kなどの、いわゆるUHDのビデオデータを含むコンテンツである。4Kは、縦×横の解像度が例えば3840×2160画素であり、8Kは、縦×横の解像度が例えば7680×4320画素である。UHDのビデオデータの符号化には例えばHEVC(High Efficiency Video Coding)が用いられる。
また、光ディスク11に記録されたUHDのビデオデータは、例えば、BT.2020などの広色域、かつHDRのビデオデータである。ここでいうHDRは、輝度のダイナミックレンジが、標準のダイナミックレンジである0〜100cd/m2(=100nit)より広い範囲であることをいう。
光ディスク11には、光ディスク11に記録されたビデオデータの制作に用いられたマスターモニタの色域とダイナミックレンジを表す情報が記録されている。言い換えると、マスターモニタの色域とダイナミックレンジを表す情報は、光ディスク11に記録されたビデオデータ自体の色域とダイナミックレンジをも表す。
以下、適宜、マスターモニタの色域とダイナミックレンジを表す情報をマスターモニタ情報という。マスターモニタ情報は、色域とダイナミックレンジの両方を表す1種類の情報であってもよいし、色域とダイナミックレンジをそれぞれ表す複数の情報からなるものであってもよい。
再生装置1は、ケーブル3を介して表示装置2と通信を行い、表示装置2の性能に関する情報を取得する。表示装置2の性能に関する情報には、表示装置2が有するディスプレイの色域とダイナミックレンジを表す情報と、表示装置2が、再生装置1が出力するマスターモニタ情報を理解できる装置であるのか否かを表す情報が含まれる。表示装置2の性能に応じて、再生装置1における再生処理が切り替えられる。
再生装置1は、ドライブを駆動し、マスターモニタ情報を光ディスク11から読み出すとともに、ビデオストリームを光ディスク11から読み出してデコードする。
再生装置1は、表示装置2がマスターモニタ情報を理解できる装置である場合には、デコードして得られたビデオデータとともにマスターモニタ情報を表示装置2に出力する。
また、再生装置1は、表示装置2がマスターモニタ情報を理解できない装置である場合には、デコードして得られたビデオデータを表示装置2に出力する。表示装置2に出力されるビデオデータに対しては、適宜、色域やダイナミックレンジを狭めるための変換処理が再生装置1において施される。
例えば、光ディスク11に記録されたコンテンツの色域がBT.2020であるのに対して、表示装置2が有するディスプレイの色域がBT.709である場合、色域を狭めるための変換処理が再生装置1において行われる。
表示装置2は、再生装置1から送信されてきたビデオデータを受信し、コンテンツの映像をディスプレイに表示する。再生装置1からはコンテンツのオーディオデータも送信されてくる。表示装置2は、再生装置1から送信されてきたオーディオデータに基づいて、コンテンツの音声をスピーカから出力させる。
例えば、ビデオデータとともにマスターモニタ情報が送信されてきた場合、表示装置2は、マスターモニタ情報に基づいて、光ディスク11に記録されたコンテンツの色域とダイナミックレンジを特定する。表示装置2は、自身が有するディスプレイが光ディスク11に記録されたコンテンツの表示に対応していない場合には、マスターモニタ情報を参照して、色域やダイナミックレンジを狭めるための変換処理を、再生装置1から送信されてきたビデオデータに施す。表示装置2は、色域やダイナミックレンジの変換後のビデオデータに基づいて、コンテンツの映像をディスプレイに表示させる。
このように、UHDのビデオデータを記録した光ディスク11には、その実際の色域とダイナミックレンジを表す情報であるマスターモニタ情報が含まれている。再生装置1がマスターモニタ情報をビデオデータとともに出力することにより、ビデオデータの実際の色域とダイナミックレンジを表示装置2に伝達することが可能になる。
実際の色域とダイナミックレンジを特定した上で、自身が有するディスプレイの性能に応じて表示装置2がビデオデータの変換処理を行うことにより、オーサーの意図に応じた色味と明るさの映像を表示させることが可能になる。
仮に、ケーブル3を介して伝送されてくるビデオデータがUHDのビデオデータである場合には、その色域がBT.2020であるとして表示装置2が認識するようになっていることを想定する。この場合、ディスプレイの色域とビデオデータの実際の色域がBT.2020より狭い場合には、実際の色域より狭い色域のビデオデータに変換するような処理が表示装置2において行われてしまうことになるが、そのようなことを防ぐことが可能になる。
<2.BDフォーマットについて>
ここで、BD-ROMフォーマットについて説明する。
[データの管理構造]
図2は、BD-ROMフォーマットにおけるAVストリームの管理構造の例を示す図である。
HEVCのビデオストリームを含むAVストリームの管理は、PlayListとClipの2つのレイヤを用いて行われる。AVストリームは、光ディスク11だけでなく、再生装置1のローカルストレージに記録されることもある。
1つのAVストリームと、それに付随する情報であるClip Informationのペアが1つのオブジェクトとして管理される。AVストリームとClip InformationのペアをClipという。
AVストリームは時間軸上に展開され、各Clipのアクセスポイントは、主に、タイムスタンプでPlayListにおいて指定される。Clip Informationは、AVストリーム中のデコードを開始すべきアドレスを見つけるためなどに使用される。
PlayListはAVストリームの再生区間の集まりである。AVストリーム中の1つの再生区間はPlayItemと呼ばれる。PlayItemは、時間軸上の再生区間のIN点とOUT点のペアで表される。図2に示すように、PlayListは1つまたは複数のPlayItemにより構成される。
図2の左から1番目のPlayListは2つのPlayItemから構成され、その2つのPlayItemにより、左側のClipに含まれるAVストリームの前半部分と後半部分がそれぞれ参照される。
左から2番目のPlayListは1つのPlayItemから構成され、それにより、右側のClipに含まれるAVストリーム全体が参照される。
左から3番目のPlayListは2つのPlayItemから構成され、その2つのPlayItemにより、左側のClipに含まれるAVストリームのある部分と、右側のClipに含まれるAVストリームのある部分がそれぞれ参照される。
例えば、左から1番目のPlayListに含まれる左側のPlayItemが再生対象としてディスクナビゲーションプログラムにより指定された場合、そのPlayItemが参照する、左側のClipに含まれるAVストリームの前半部分の再生が行われる。
PlayListの中で、1つ以上のPlayItemの並びによって作られる再生パスをメインパス(Main Path)という。また、PlayListの中で、Main Pathに並行して、1つ以上のSubPlayItemの並びによって作られる再生パスをサブパス(Sub Path)という。
図3は、Main PathとSub Pathの構造を示す図である。
PlayListは、1つのMain Pathと1つ以上のSub Pathを持つ。図3のPlayListは、3つのPlayItemの並びにより作られる1つのMain Pathと3つのSub Pathを有する。
Main Pathを構成するPlayItemには、先頭から順番にそれぞれIDが設定される。Sub Pathにも、先頭から順番にSubpath_id=0、Subpath_id=1、およびSubpath_id=2のIDが設定される。
図3の例においては、Subpath_id=0のSub Pathには1つのSubPlayItemが含まれ、Subpath_id=1のSub Pathには2つのSubPlayItemが含まれる。また、Subpath_id=2のSub Pathには1つのSubPlayItemが含まれる。
1つのPlayItemが参照するAVストリームには、少なくともビデオストリーム(メイン画像データ)が含まれる。AVストリームには、AVストリームに含まれるビデオストリームと同じタイミングで(同期して)再生されるオーディオストリームが1つ以上含まれてもよいし、含まれなくてもよい。
AVストリームには、AVストリームに含まれるビデオストリームと同期して再生されるビットマップの字幕データ(PG(Presentation Graphic))のストリームが1つ以上含まれてもよいし、含まれなくてもよい。
AVストリームには、AVストリームファイルに含まれるビデオストリームと同期して再生されるIG(Interactive Graphic)のストリームが1つ以上含まれてもよいし、含まれなくてもよい。IGのストリームは、ユーザにより操作されるボタンなどのグラフィックを表示させるために用いられる。
1つのPlayItemが参照するAVストリームには、ビデオストリームと、それと同期して再生されるオーディオストリーム、PGストリーム、およびIGストリームが多重化される。
また、1つのSubPlayItemは、PlayItemが参照するAVストリームとは異なるストリームの、ビデオストリーム、オーディオストリーム、PGストリームなどを参照する。
このように、HEVCのビデオストリームを含むAVストリームの再生はPlayListとClip Informationを用いて行われる。PlayList、Clip Informationなどの、AVストリームのファイルと異なるファイルの情報であり、AVストリームの再生を管理するための情報を、適宜、Data Base情報という。
[ディレクトリ構造]
図4は、光ディスク11に記録されるファイルの管理構造の例を示す図である。
光ディスク11に記録される各ファイルはディレクトリ構造により階層的に管理される。光ディスク11上には1つのrootディレクトリが作成される。
rootディレクトリの下にはBDMVディレクトリが置かれる。
BDMVディレクトリの下には、「Index.bdmv」の名前が設定されたファイルであるIndex tableファイルが1つ格納される。上述したData Base情報にはIndex tableも含まれる。BDMVディレクトリの下には、「MovieObject.bdmv」の名前が設定されたファイルであるMovieObjectファイルも格納される。
BDMVディレクトリの下には、PLAYLISTディレクトリ、CLIPINFディレクトリ、STREAMディレクトリ等が設けられる。
PLAYLISTディレクトリには、PlayListを記述したPlayListファイルが格納される。各PlayListファイルには、5桁の数字と拡張子「.mpls」を組み合わせた名前が設定される。
図4に示す1つのPlayListファイルには「00000.mpls」のファイル名が設定されている。
複数のPlayListファイルがPLAYLISTディレクトリに含まれることもある。
CLIPINFディレクトリにはClip Informationファイルが格納される。各Clip Informationファイルには、5桁の数字と拡張子「.clpi」を組み合わせた名前が設定される。図4の3つのClip Informationファイルには、それぞれ、「00001.clpi」、「00002.clpi」、「00003.clpi」のファイル名が設定されている。
STREAMディレクトリにはストリームファイルが格納される。各ストリームファイルには、5桁の数字と拡張子「.m2ts」を組み合わせた名前が設定される。図4の3つのストリームファイルには、それぞれ、「00001.m2ts」、「00002.m2ts」、「00003.m2ts」のファイル名が設定されている。
同じ5桁の数字がファイル名に設定されているClip Informationファイルとストリームファイルが1つのClipを構成するファイルとなる。「00001.m2ts」のストリームファイルの再生時には「00001.clpi」のClip Informationファイルが用いられ、「00002.m2ts」のストリームファイルの再生時には「00002.clpi」のClip Informationファイルが用いられる。
[各ファイルのシンタクス]
ここで、各ファイルのシンタクスの主な記述について説明する。マスターモニタ情報を、Data Base情報の様々な位置に記述することが可能である。
・2−1.マスターモニタ情報の第1の記述例
マスターモニタ情報をIndex tableに記述する例について説明する。
図5は、Index tableのシンタクスを示す図である。
Index table(index.bdmv)には、AppInfoBDMV()、Indexes()、ExtensionData()が記述される。AppInfoBDMV()は、光ディスク11の再生に関する重要なパラメータを含む情報である。Indexes()は、ユーザの操作に応じた動作の内容を規定する情報や光ディスク11がロードされたときの最初の動作の内容を規定する情報を含む情報である。ExtensionData()は、Index tableを拡張するための各種の情報を含む情報である。
図6は、図5のAppInfoBDMV()のシンタクスを示す図である。
AppInfoBDMV()には、1ビットのinitial_output_mode_preference、1ビットのSS_content_exist_flagが含まれる。
initial_output_mode_preferenceは、出力のモードが2D Output Modeであるのか、Stereoscopic Output Mode(3Dモード)であるのかを表す。SS_content_exist_flagは、光ディスク11を用いて実現可能な機能を表す。
また、AppInfoBDMV()には、1ビットのリザーブ領域を挟んで、4ビットのmastering_monitor_info、4ビットのvideo_format、4ビットのframe_rateが含まれる。
リザーブ領域のビット数を減らしてmastering_monitor_infoを追加した点が、「Blu-ray Disc Read-Only Format Part3 version2.4」のAppInfoBDMV()のシンタクスと異なる。mastering_monitor_infoが、上述したマスターモニタ情報である。
図7は、mastering_monitor_infoの例を示す図である。
mastering_monitor_info=1は、色域、最大輝度、最小輝度がいずれも不明であることを表す。
mastering_monitor_info=2は、色域がBT.709(ITU-R BT.709)であることを表し、最大輝度と最小輝度が不明であることを表す。
mastering_monitor_info=3は、色域がDCI(Digital Cinema Initiatives) P3であることを表し、最大輝度と最小輝度が不明であることを表す。
mastering_monitor_info=4は、色域がBT.2020(ITU-R BT.2020)であることを表し、最大輝度と最小輝度が不明であることを表す。
mastering_monitor_info=5は、色域がBT.709、最大輝度が1000cd/m2、最小輝度が0cd/m2であることを表す。
mastering_monitor_info=6は、色域がDCI P3、最大輝度が1000cd/m2、最小輝度が0cd/m2であることを表す。
このように、Index tableのAppInfoBDMV()にマスターモニタ情報を記述することができる。AppInfoBDMV()にマスターモニタ情報を記述することにより、1種類の色域、ダイナミックレンジを光ディスク11全体を通して運用することが可能になる。
なお、図6のvideo_formatは光ディスク11に記録されているビデオのフォーマット(走査方式)を表し、frame_rateは光ディスク11に記録されているビデオのフレームレートを表す。
・2−2.マスターモニタ情報の第2の記述例
マスターモニタ情報をIndex tableのIndexes()に記述する例について説明する。
図8は、図5のIndexes()のシンタクスを示す図である。
Indexes()には、16ビットのnumber_of_Titlesが含まれ、title_idにより識別されるTitle毎に、2ビットのTitle_object_typeと2ビットのTitle_access_typeが含まれる。
number_of_Titlesは、Indexes()に含まれるTitleの数を表す。Titleは、1つ、または複数のPlayListを用いて再生されるコンテンツの区間である。
Title_object_typeはタイトルのタイプを表し、Title_access_typeはタイトルの再生開始のタイプを表す。
また、Indexes()には、title_idにより識別されるTitle毎に、4ビットのmastering_monitor_infoが含まれる。
リザーブ領域のビット数を減らしてmastering_monitor_infoを追加した点が、「Blu-ray Disc Read-Only Format Part3 version2.4」のIndexes()のシンタクスと異なる。mastering_monitor_infoが、上述したマスターモニタ情報である。mastering_monitor_infoの値の意味は、図7を参照して説明した意味と同じである。
このように、Index tableのIndexes()にマスターモニタ情報を記述することができる。
Indexes()にマスターモニタ情報を記述することにより、1種類の色域、ダイナミックレンジをTitle単位で運用することが可能になる。
Title内での値の切り替わり(色域とダイナミックレンジの切り替わり)を制限できるため、Graphics(PG,IG)などを考慮した表示輝度の切り替わりによる影響を少なくすることができる。仮に、1つのTitle内に映像のみを表示する区間と映像にグラフィックスを重ねて表示する区間があり、グラフィックスの表示開始のタイミングで色域とダイナミックレンジを切り替えるとした場合、映像の色味と明るさが変わってしまうことになるがそのようなことを防ぐことが可能になる。
図9は、Indexes()の他のシンタクスを示す図である。
図9において、図8の説明と重複する説明については適宜省略する。以上においては、色域とダイナミックレンジを1種類の情報であるmastering_monitor_infoによって表すものとしたが、色域を表す情報とダイナミックレンジを表す情報をそれぞれ記述するようにしてもよい。
図9の例においては、mastering_monitor_infoに代えて、4ビットのmastering_monitor_color_primariesと4ビットのmastering_monitor_luminanceを記述した点が、図8のシンタクスと異なる。mastering_monitor_color_primariesとmastering_monitor_luminanceがマスターモニタ情報である。
mastering_monitor_color_primariesはマスターモニタの色域を表し、mastering_monitor_luminanceはマスターモニタのダイナミックレンジを表す。
図10は、mastering_monitor_color_primariesの例を示す図である。
mastering_monitor_color_primaries=1は、色域が不明であることを表す。
mastering_monitor_color_primaries=2は、色域がBT.709であることを表す。
mastering_monitor_color_primaries=3は、色域がDCI P3であることを表す。
mastering_monitor_color_primaries=4は、色域がBT.2020であることを表す。
図11は、mastering_monitor_luminanceの例を示す図である。
mastering_monitor_luminance=1は、最大輝度と最小輝度が不明であることを表す。
mastering_monitor_luminance=2は、最大輝度が400cd/m2であり、最小輝度が0cd/m2であることを表す。
mastering_monitor_luminance=3は、最大輝度が400〜800cd/m2の範囲内のいずれかの輝度であり、最小輝度が0cd/m2であることを表す。
mastering_monitor_luminance=4は、最大輝度が800cd/m2であり、最小輝度が0cd/m2であることを表す。
mastering_monitor_luminance=5は、最大輝度が800〜1000cd/m2の範囲内のいずれかの輝度であり、最小輝度が0cd/m2であることを表す。
mastering_monitor_luminance=6は、最大輝度が1000cd/m2であり、最小輝度が0cd/m2であることを表す。
Indexes()の各Titleの領域(Title[title_id]())には、ビット数の多いリザーブ領域が確保されている。このようにビット数の多いリザーブ領域が確保されている領域には、色域を表す情報とダイナミックレンジを表す情報をそれぞれ記述することが可能である。
・2−3.マスターモニタ情報の第3の記述例
マスターモニタ情報をIndex tableのExtensionData()(図5)に記述する例について説明する。
図12は、ExtensionData()のシンタクスを示す図である。
ExtensionData()には、ext_data_entry()毎に、それぞれ16ビットのID1、ID2が含まれる。ID1とID2の値の組み合わせが、ext_data_entry()内のdata_block()に記述される情報の内容を表す。
図13は、ID1とID2の値の組み合わせの意味を示す図である。
例えば、ID1の値が0x0001であり、ID2の値が0x0001であることは、data_block()に記述される情報がpip_metadataであることを表す。pip_metadataは、Picture in Picture機能に関する情報である。
なお、後述するように、ExtensionData()は、PlayListとClip Informationにも含まれる。PlayListとClip InformationのExtensionData()に記述される情報の内容も、図13に示すID1とID2の値の組み合わせによって表される。
また、ID1の値が所定の値である0xaaaaであり、ID2の値が他の所定の値である0xbbbbであることは、data_block()に記述される情報がUHD_Extであることを表す。UHD_Extがマスターモニタ情報である。UHD_Extを追加した点が、「Blu-ray Disc Read-Only Format Part3 version2.4」のID1とID2の値の組み合わせの意味と異なる。
図14は、data_block()として記述されるUHD_Ext()の第1の例を示す図である。
図14のUHD_Ext()にはmastering_monitor_infoが含まれる。UHD_Ext()のmastering_monitor_infoも図7に示す意味と同じ意味を表す。
図15は、UHD_Ext()の第2の例を示す図である。
図15のUHD_Ext()にはmastering_monitor_color_primariesとmastering_monitor_luminanceが含まれる。UHD_Ext()のmastering_monitor_color_primariesとmastering_monitor_luminanceも、それぞれ図10、図11に示す意味と同じ意味を表す。
図16は、UHD_Ext()の第3の例を示す図である。
図16のUHD_Ext()には、display_primaries_x,display_primaries_y,white_point_x,white_point_y,max_display_mastering_luminance,min_display_mastering_luminanceが含まれる。
これらの情報は、SEI(Supplemental Enhancement Information)としてHEVCの符号化データに挿入される情報と同じ情報である。この例は、HEVCの符号化データにSEIとして挿入される情報と同じ情報を用いて、マスターモニタの色域とダイナミックレンジを表すものである。
display_primaries_xとdisplay_primaries_yがマスターモニタの色域(色空間)を表し、white_point_xとwhite_point_yが色域における白の位置を表す。max_display_mastering_luminanceとmin_display_mastering_luminanceがマスターモニタの輝度の最大値と最小値、すなわち輝度のダイナミックレンジを表す。
このように、Index tableのExtensionData()にマスターモニタ情報を記述することができる。ExtensionData()を用いることにより、リザーブ領域のビット数に影響されることなく、自由な形でマスターモニタ情報を定義することが可能になる。例えば、4K対応のための他の拡張パラメータと共にマスターモニタ情報を定義したり、ディスク全体で運用可能な、またはタイトル単位で運用可能なマスターモニタ情報を定義したりすることができる。
・2−4.マスターモニタ情報の第4の記述例
次に、マスターモニタ情報をPlayListに記述する例について説明する。
図17は、PlayListのシンタクスを示す図である。
PlayListは、図4のPLAYLISTディレクトリに格納される、拡張子「.mpls」が設定されるファイルである。PlayListには、AppInfoPlayList()、PlayList()、PlayListMark()、およびExtensionData()が記述される。
AppInfoPlayList()には、再生制限などの、PlayListの再生コントロールに関するパラメータが格納される。
PlayList()には、Main PathやSub Pathに関するパラメータが格納される。
PlayListMark()には、PlayListのマーク情報、すなわち、チャプタジャンプなどを指令するユーザオペレーションまたはコマンドなどにおけるジャンプ先(ジャンプポイント)であるマークに関する情報が格納される。
ExtensionData()は、PlayListを拡張するための各種の情報を含む情報である。
図18は、図17のAppInfoPlayList()のシンタクスを示す図である。
AppInfoPlayList()には、8ビットのPlayList_playback_type、1ビットのPlayList_random_access_flag、1ビットのaudio_mix_app_flag、1ビットのlossless_may_bypass_mixer_flag、1ビットのMVC_Base_view_R_flagが記述される。
PlayList_playback_typeは、シーケンシャル再生、ランダム再生などの、PlayListに含まれるPlayItemの再生のタイプを表す。また、PlayList_random_access_flagは、PlayListが示す再生開始位置へのランダムアクセスを許可するか否かを表す。audio_mix_app_flagは、PlayListが示す再生区間においてオーディオデータの合成が行われるか否かを表す。
また、AppInfoPlayList()には、それぞれ4ビットのmastering_monitor_color_primariesとmastering_monitor_luminanceが記述される。リザーブ領域のビット数を減らしてmastering_monitor_color_primariesとmastering_monitor_luminanceを追加した点が、「Blu-ray Disc Read-Only Format Part3 version2.4」のAppInfoPlayList()のシンタクスと異なる。
この例においては、mastering_monitor_color_primariesとmastering_monitor_luminanceがマスターモニタ情報として記述されるものとしたが、4ビットのmastering_monitor_infoがAppInfoPlayList()に記述されるようにしてもよい。
このように、PlayListのAppInfoPlayList()にマスターモニタ情報を記述することができる。PlayListにマスターモニタ情報を記述することにより、1種類の色域、ダイナミックレンジをPlayList単位で運用することが可能になる。1つのTitleの再生に複数のPlayListが用いられる場合に、1つのTitle内で、異なる色域とダイナミックレンジを運用することが可能になる。
・2−5.マスターモニタ情報の第5の記述例
マスターモニタ情報をPlayListのExtensionData()(図17)に記述する例について説明する。
PlayListのExtensionData()も図12に示すシンタクスと同様のシンタクスを有する。ExtensionData()に含まれる情報の内容がID1,ID2の組み合わせにより表され、図14、図15、または図16のUHD_ExtがPlayListのExtensionData()に記述される。
PlayListのExtensionData()にマスターモニタ情報を記述することにより、PlayListファイル単位で運用する色域とダイナミックレンジを自由な形で定義することができる。
・2−6.マスターモニタ情報の第6の記述例
マスターモニタ情報をClip Informationに記述する例について説明する。
図19は、Clip Informationのシンタクスを示す図である。
Clip Informationは、図4のCLIPINFディレクトリに格納される、拡張子「.clpi」が設定されるファイルである。
ClipInfo()には、Clipを構成するAVストリームのタイプを示す情報、AVストリームの記録レートを示す情報などが格納される。
SequenceInfo()には、AVストリームを構成するsource packetの時間軸上の位置を示す情報、表示時刻を示す情報などが含まれる。
ProgramInfo()には、Clipを構成するAVストリームのPID、AVストリームの符号化に関する情報などが含まれる。
CPI()には、エントリーポイントとなるsource packetの位置を示す情報などが含まれる。
ExtensionData()は、Clip Informationファイルを拡張するための各種の情報を含む情報である。
図20は、図19のClipInfo()のシンタクスを示す図である。
ClipInfo()には、8ビットのClip_stream_type、8ビットのapplication_typeが記述される。
Clip_stream_typeは、Clip Informationファイルに対応するClip AV streamのタイプを表す。application_typeは、Clip Informationファイルと、対応するClip AV streamを用いて実現されるアプリケーション(機能)を表す。application_typeの値に応じて、後段の記述内容が切り替わる。
また、ClipInfo()には、それぞれ4ビットのmastering_monitor_color_primariesとmastering_monitor_luminanceが記述される。リザーブ領域のビット数を減らしてmastering_monitor_color_primariesとmastering_monitor_luminanceを追加した点が、「Blu-ray Disc Read-Only Format Part3 version2.4」のClipInfo()のシンタクスと異なる。
この例においても、mastering_monitor_color_primariesとmastering_monitor_luminanceがマスターモニタ情報として記述されるものとしたが、4ビットのmastering_monitor_infoがClipInfo()に記述されるようにしてもよい。
このように、Clip Informationファイルにマスターモニタ情報を記述することも可能である。これにより、より細かいオーサリング単位であるClip単位で色域とダイナミックレンジを定義することができる。1つのPlayListで複数のClipを参照する場合に、Clip毎に色域とダイナミックレンジを変えるような運用が可能になる。
Clip_stream_typeとapplication_typeに続けてマスターモニタ情報を記述するのではなく、ClipInfo()内の他の位置にmastering_monitor_color_primariesとmastering_monitor_luminanceを記述することも可能である。この場合、application_typeの値として、広色域、HDRのコンテンツを出力するアプリケーションを表す値が定義される。
図21は、application_typeの例を示す図である。
図21に示すように、application_typeの値1〜9に対してそれぞれアプリケーションが割り当てられる。例えば、application_type=1は、application_type=1を含むClip Informationに対応するClip AV streamが、main-pathが参照する映画のMainTSであり、Clip InformationとClip AV streamを用いて、その再生が行われることを表す。
application_type=10は、application_type=10を含むClip Informationに対応するClip AV streamが、main-pathが参照する、広色域、かつHDRの映画のMainTSであり、Clip InformationとClip AV streamを用いて、その再生が行われることを表す。
application_type=10を追加した点が、「Blu-ray Disc Read-Only Format Part3 version2.4」のapplication_typeと異なる。
図22は、application_type=10を含むClipInfo()の例を示す図である。
application_type=10である場合、図22に示すように、mastering_monitor_color_primariesとmastering_monitor_luminanceがClipInfo()に記述される。
このように、application_typeに広色域、かつHDRのビデオデータの再生機能を表す値を定義し、その値がapplication_typeに設定されている場合に、マスターモニタ情報をClipInfo()に記述するようにすることも可能である。
・2−7.マスターモニタ情報の第7の記述例
マスターモニタ情報をClip InformationのProgramInfo()(図19)に記述する例について説明する。
図23は、図19のProgramInfo()のシンタクスを示す図である。
number_of_program_sequencesは、ProgramInfo()に記述されるプログラムシーケンスの数を示す。プログラムシーケンスは、プログラムを構成するソースパケットの並びにより構成される。
SPN_program_sequence_start[i]は、プログラムシーケンスの先頭のソースパケットの番号(source packet number)を示す。
StreamCodingInfo()には、Clipを構成するAVストリームの符号化に関する情報が含まれる。
図24は、図23のStreamCodingInfo()のシンタクスを示す図である。
stream_coding_typeは、AVストリームに含まれるelementary streamの符号化方式を示す。stream_coding_typeの値が0x02,0x1B,0xEAのうちのいずれかである場合、StreamCodingInfoには、4ビットのvideo_format、4ビットのframe_rate、4ビットのaspect_ratio、1ビットのcc_flagが含まれる。
video_formatは、ビデオの走査方式を示す。frame_rateは、ビデオストリームのフレームレートを示す。aspect_ratioは、ビデオのアスペクト比を示す。cc_flagは1ビットのフラグであり、クローズドキャプションのデータがビデオストリームに含まれているか否かを示す。
また、stream_coding_typeの値が所定の値である0xNNであるか、他の所定の値である0xMMである場合、StreamCodingInfo()には、video_format、frame_rate、aspect_ratio、cc_flagに加えて、マスターモニタ情報であるmastering_monitor_color_primariesとmastering_monitor_luminanceが記述される。
stream_coding_type=0xNN、0xMMを定義し、mastering_monitor_color_primariesとmastering_monitor_luminanceをStreamCodingInfoに記述するようにした点が、「Blu-ray Disc Read-Only Format Part3 version2.4」のStreamCodingInfoのシンタクスと異なる。
図25は、stream_coding_typeの例を示す図である。
例えば、stream_coding_type=0x02は、stream_coding_type=0x02を含むClip Informationに対応するClip AV streamがMPEG-2ビデオストリームであることを表す。stream_coding_type=0x1Bは、stream_coding_type=0x1Bを含むClip Informationに対応するClip AV streamがMPEG-4 AVCビデオストリームであることを表す。
また、stream_coding_type=0xNNは、stream_coding_type=0xNNを含むClip Informationに対応するClip AV streamが、HEVCのビデオストリームであることを表す。stream_coding_type=0xMMであることは、stream_coding_type=0xMMを含むClip Informationに対応するClip AV streamが、HDRのHEVCビデオストリームであることを表す。
stream_coding_typeにHEVCビデオストリームとHDRのHEVCビデオストリームを表す値が追加されることに応じて、図26に示すように、video_formatにもUHDの走査方式を表す値が追加される。
video_format=8は、走査方式が2160pであり、色域がBT.2020であることを表す。video_format=8を定義した点が、「Blu-ray Disc Read-Only Format Part3 version2.4」のvideo_formatと異なる。
このように、マスターモニタ情報をStreamCodingInfo()に記述することが可能である。
StreamCodingInfo()には、ビデオの走査方式やフレームレートなどの、再生するビデオの基本的な情報が含まれ、これらの情報は、例えば、表示装置2との間で行われるHDMIを介した通信の設定時に用いられる。そのような基本的な情報としてマスターモニタ情報をStreamCodingInfo()に記述することにより、ビデオの走査方式やフレームレートだけでなく、色域とダイナミックレンジをも、HDMIを介した通信の設定時に同様のスキームで表示装置2に伝達することが可能になる。
・2−8.マスターモニタ情報の第8の記述例
マスターモニタ情報をClip InformationのExtensionData()(図19)に記述する例について説明する。
Clip InformationのExtensionData()も図12に示すシンタクスと同様のシンタクスを有する。ExtensionData()に含まれる情報の内容がID1,ID2の組み合わせにより表され、図14、図15、または図16のUHD_ExtがClip InformationのExtensionData()に記述される。
Clip InformationのExtensionData()にマスターモニタ情報を記述することにより、Clip Informationファイル単位で運用する色域とダイナミックレンジを自由な形で定義することができる。
・変形例
以上においては、Data Base情報のいずれか一か所にマスターモニタ情報が記述されるものとしたが、複数の位置に記述されるようにしてもよい。例えば、Index tableにはダイナミックレンジを表す情報だけを記述し、色域を表す情報についてはClip Informationに記述することも可能である。
このように、ダイナミックレンジを表す情報と色域を表す情報をそれぞれ異なる位置に分けて記述することも可能である。
また、マスターモニタ情報を記述する位置は上述した例に限られるものではなく、リザーブ領域が確保されている他の位置に記述することも可能である。例えば、図17のPlayList()に含まれる各PlayItemに関する情報内にマスターモニタ情報を記述したり、各SubPlayItemに関する情報内にマスターモニタ情報を記述したりすることも可能である。
<3.各装置の構成について>
ここで、各装置の構成について説明する。
[再生装置1の構成]
図27は、再生装置1の構成例を示すブロック図である。
再生装置1は、コントローラ51、ディスクドライブ52、メモリ53、ローカルストレージ54、ネットワークインタフェース55、復号処理部56、操作入力部57、および通信部58から構成される。
コントローラ51は、CPU、ROM、RAMなどより構成される。コントローラ51は、所定のプログラムを実行し、再生装置1の全体の動作を制御する。
ディスクドライブ52は、光ディスク11からデータを読み出し、読み出したデータを、コントローラ51、メモリ53、または復号処理部56に出力する。例えば、ディスクドライブ52は、光ディスク11から読み出したData Base情報をコントローラ51に出力し、HEVCビデオストリームを復号処理部56に出力する。
メモリ53は、コントローラ51が各種の処理を実行する上において必要なデータなどを記憶する。
ローカルストレージ54は例えばHDD(Hard Disk Drive)により構成される。ローカルストレージ54には、サーバからダウンロードされたストリームなどが記録される。
ネットワークインタフェース55は、インターネットなどのネットワークを介してサーバと通信を行い、サーバからダウンロードしたデータをローカルストレージ54に供給する。
復号処理部56は、ディスクドライブ52から供給されたビデオストリームをデコードし、デコードして得られたビデオデータを通信部58に出力する。
操作入力部57は、ボタン、キー、タッチパネルなどの入力デバイスや、所定のリモートコマンダから送信される赤外線などの信号を受信する受信部により構成される。操作入力部57はユーザの操作を検出し、検出した操作の内容を表す信号をコントローラ51に供給する。
通信部58は、ケーブル3を介して表示装置2との間で通信を行う。例えば、通信部58は、表示装置2が有するディスプレイの性能に関する情報を取得し、コントローラ51に出力する。また、通信部58は、復号処理部56から供給されたビデオデータを表示装置2に出力する。
図28は、図27のコントローラ51の構成例を示すブロック図である。
コントローラ51は、読み出し制御部71、マスターモニタ情報取得部72、復号制御部73、およびディスプレイ情報取得部74から構成される。
読み出し制御部71は、ディスクドライブ52を制御し、各種のデータを光ディスク11から読み出して取得する。例えば、読み出し制御部71は、ビデオストリームのファイルを読み出して復号処理部56に供給させるとともに、Data Base情報のファイルを読み出してマスターモニタ情報取得部72に出力する。
マスターモニタ情報取得部72は、読み出し制御部71から供給されたファイルからマスターモニタ情報を取得する。上述したように、Index table、PlayList、Clip Informationの各位置にマスターモニタ情報が記述されている。
例えば、第1の記述例を参照して説明したようにIndex tableのAppInfoBDMV()にマスターモニタ情報が記述されている場合、マスターモニタ情報取得部72は、読み出し制御部71から供給されたIndex tableからマスターモニタ情報を取得する。
また、第4の記述例を参照して説明したようにPlayListのAppInfoPlayList()にマスターモニタ情報が記述されている場合、マスターモニタ情報取得部72は、読み出し制御部71から供給されたPlayListからマスターモニタ情報を取得する。
第6の記述例を参照して説明したようにClip InformationのClipInfo()にマスターモニタ情報が記述されている場合、マスターモニタ情報取得部72は、読み出し制御部71から供給されたClip Informationからマスターモニタ情報を取得する。
復号制御部73は、マスターモニタ情報取得部72から供給されたマスターモニタ情報に基づいて、マスターモニタ、すなわち光ディスク11に記録されているコンテンツの色域とダイナミックレンジを特定する。また、復号制御部73は、ディスプレイ情報取得部74から供給された情報に基づいて、表示装置2の性能を特定する。
復号制御部73は、コンテンツの色域およびダイナミックレンジと、表示装置2の性能に基づいて、復号処理部56の処理を制御する。
例えば、復号制御部73は、復号処理部56を制御し、ビデオストリームをデコードさせる。また、コンテンツの色域とダイナミックレンジが、表示装置2が有するディスプレイの色域とダイナミックレンジを超えている場合、デコードして得られたビデオデータを、色域とダイナミックレンジを狭めたデータに変換させる。
復号制御部73は、再生装置1が出力するマスターモニタ情報を表示装置2が理解することができる場合、マスターモニタ情報取得部72から供給されたマスターモニタ情報を通信部58に出力する。通信部58に供給されたマスターモニタ情報は、復号処理部56によりデコードして得られたビデオデータとともに表示装置2に出力される。
ディスプレイ情報取得部74は、通信部58により取得された表示装置2の性能を表す情報を取得し、復号制御部73に出力する。表示装置2の性能を表す情報には、再生装置1が出力するマスターモニタ情報を表示装置2が理解することができるか否かを表す情報、表示装置2が有するディスプレイの色域およびダイナミックレンジを表す情報が含まれる。
例えば、マスターモニタ情報は、HDMI通信に用いられるデータ形式の必須の領域とオプションの領域のうちのオプションの領域に記述される。表示装置2がオプションの領域に記述された情報の処理に対応していない場合には、再生装置1が出力するマスターモニタ情報を表示装置2が理解することができないと判断される。
図29は、図27の復号処理部56の構成例を示すブロック図である。
復号処理部56は、復号部81、ダイナミックレンジ変換部82、色域変換部83、および出力部84から構成される。ディスクドライブ52により読み出されたビデオストリームは復号部81に入力される。
復号部81は、ビデオストリームをデコードし、デコードして得られたビデオデータを出力する。復号部81から出力されたビデオデータは、ダイナミックレンジ変換部82、色域変換部83、および出力部84に供給される。
ダイナミックレンジ変換部82は、ビデオデータのダイナミックレンジが表示装置2が有するディスプレイのダイナミックレンジを超えている場合、復号部81から供給されたビデオデータを、ダイナミックレンジを狭めたデータに変換する。ダイナミックレンジ変換部82は、ダイナミックレンジだけでなく色域をも狭める必要がある場合、変換後のビデオデータを色域変換部83に出力し、色域を狭める必要がない場合、変換後のビデオデータを出力部84に出力する。
色域変換部83は、復号部81から供給されたビデオデータ、またはダイナミックレンジ変換部82から供給されたビデオデータを、色域を狭めたデータに変換する。色域変換部83は、色域の変換後のビデオデータを出力部84に出力する。
出力部84は、復号部81から供給されたビデオデータ、ダイナミックレンジ変換部82から供給されたビデオデータ、または色域変換部83から供給されたビデオデータを通信部58に出力する。
[表示装置2の構成]
図30は、表示装置2の構成例を示すブロック図である。
表示装置2は、コントローラ101、通信部102、信号処理部103、およびディスプレイ104から構成される。コントローラ101はメモリ101Aを有する。
コントローラ101は、CPU、ROM、RAMなどより構成される。コントローラ101は、所定のプログラムを実行し、表示装置2の全体の動作を制御する。
例えば、コントローラ101は、ディスプレイ104の性能を表すEDID(Extended display identification data)をメモリ101Aに記憶させて管理する。コントローラ101は、再生装置1との認証時、メモリ101Aに記憶されているEDIDを通信部102に出力し、再生装置1に対して送信させる。EDIDに基づいて、ディスプレイ104の性能が再生装置1により特定される。
また、コントローラ101は、通信部102を制御し、再生装置1が出力するマスターモニタ情報に自身が対応しているか否かを表す情報を再生装置1に対して送信させる。
通信部102は、ケーブル3を介して再生装置1との間で通信を行う。通信部102は、再生装置1から送信されてきたビデオデータを受信し、信号処理部103に出力する。
通信部102は、ビデオデータとともにマスターモニタ情報が再生装置1から送信されてきた場合、受信したマスターモニタ情報をコントローラ101に出力する。また、通信部102は、コントローラ101から供給された情報を再生装置1に送信する。
信号処理部103は、通信部102から供給されたビデオデータに基づいて、コンテンツの映像をディスプレイ104に表示させる。信号処理部103においては、適宜、コントローラ101による制御に従って、ビデオデータの色域の変換、ダイナミックレンジの変換が行われる。
図31は、図30のコントローラ101の構成例を示すブロック図である。
コントローラ101は、マスターモニタ情報取得部111と信号処理制御部112から構成される。
マスターモニタ情報取得部111は、ビデオデータとともに再生装置1から出力されたマスターモニタ情報が通信部102において受信された場合、マスターモニタ情報を取得し、信号処理制御部112に出力する。
信号処理制御部112は、再生装置1から送信されてきたビデオデータの色域とダイナミックレンジをマスターモニタ情報に基づいて特定する。信号処理制御部112は、ビデオデータの色域とダイナミックレンジがディスプレイ104の性能を超えている場合、色域とダイナミックレンジを圧縮するための変換処理を信号処理部103に行わせる。
図32は、図30の信号処理部103の構成例を示すブロック図である。
信号処理部103は、ビデオデータ取得部121、ダイナミックレンジ変換部122、色域変換部123、および出力部124から構成される。通信部102から出力されたビデオデータはビデオデータ取得部121に入力される。
ビデオデータ取得部121は、通信部102から出力されたビデオデータを取得し、出力する。ビデオデータ取得部121から出力されたビデオデータは、ダイナミックレンジ変換部122、色域変換部123、および出力部124に供給される。
ダイナミックレンジ変換部122は、ビデオデータのダイナミックレンジがディスプレイ104のダイナミックレンジを超えている場合、ビデオデータ取得部121から供給されたビデオデータを、ダイナミックレンジを狭めたデータに変換する。ダイナミックレンジ変換部122は、ダイナミックレンジだけでなく色域をも狭める必要がある場合、変換後のビデオデータを色域変換部123に出力し、色域を狭める必要がない場合、変換後のビデオデータを出力部124に出力する。
色域変換部123は、ビデオデータ取得部121から供給されたビデオデータ、またはダイナミックレンジ変換部122から供給されたビデオデータを、色域を狭めたデータに変換する。色域変換部123は、色域の変換後のビデオデータを出力部124に出力する。
出力部124は、ビデオデータ取得部121から供給されたビデオデータ、ダイナミックレンジ変換部122から供給されたビデオデータ、または色域変換部123から供給されたビデオデータをディスプレイ104に出力する。
<4.各装置の動作について>
ここで、以上のような構成を有する各装置の動作について説明する。
・再生前処理
はじめに、図33のフローチャートを参照して、光ディスク11の再生を開始する前の再生装置1の処理について説明する。
図33の処理は、例えば、ケーブル3を介して接続された再生装置1と表示装置2の電源がオンになったときに開始される。
ステップS1において、再生装置1の通信部58は、表示装置2から送信されてきた、ディスプレイ104の性能、すなわちディスプレイ104の色域とダイナミックレンジを表す例えばEDID形式の情報を受信する。
ステップS2において、通信部58は、表示装置2から送信されてきた、表示装置2がマスターモニタ情報に対応しているか否かを表す情報を受信し、処理を終了させる。通信部58により受信された情報はコントローラ51に供給され、ディスプレイ情報取得部74により取得される。
次に、図34のフローチャートを参照して、光ディスク11の再生が開始される前の表示装置2の処理について説明する。
ステップS11において、表示装置2の通信部102は、メモリ101Aから読み出されたディスプレイ104の色域とダイナミックレンジを表す例えばEDID形式の情報を再生装置1に送信する。
ステップS12において、通信部102は、表示装置2自身がマスターモニタ情報に対応しているか否かを表す情報(マスターモニタ情報を理解できるか否かを表す情報)を送信し、処理を終了させる。
[再生装置1の再生処理]
次に、図35および図36のフローチャートを参照して、再生装置1の再生処理について説明する。
ステップS21において、コントローラ51の読み出し制御部71は、ディスクドライブ52を制御し、光ディスク11からData Base情報を読み出す。読み出し制御部71は、読み出したData Base情報であるIndex table、PlayList、およびClip Informationをマスターモニタ情報取得部72に出力する。
ステップS22において、マスターモニタ情報取得部72は、Data Base情報からマスターモニタ情報を取得する。Data Base情報からマスターモニタ情報を取得することは、マスターモニタ情報が切り替わる毎に行われる。
例えば、PlayListにマスターモニタ情報が記述されている場合、再生に用いるPlayListが切り替わる毎にマスターモニタ情報が取得される。また、Clip Informationにマスターモニタ情報が記述されている場合、再生に用いるClip Informationが切り替わる毎にマスターモニタ情報が取得される。Data Base情報に含まれるマスターモニタ情報以外の情報は、ビデオストリームの再生などに用いられる。
ステップS23において、復号制御部73は、図33の処理が行われることによってディスプレイ情報取得部74により取得された情報に基づいて、表示装置2がマスターモニタ情報に対応しているか否かを判定する。
表示装置2がマスターモニタ情報に対応しているとステップS23において判定された場合、ステップS24において、読み出し制御部71は、ディスクドライブ52を制御し、光ディスク11からビデオストリームを読み出す。光ディスク11から読み出されたビデオストリームは復号処理部56に供給される。
ステップS25において、復号処理部56の復号部81は、ディスクドライブ52から供給されたビデオストリームをデコードする。デコードすることによって得られたビデオデータは出力部84を介して通信部58に供給される。
ステップS26において、通信部58は、コントローラ51のマスターモニタ情報取得部72により取得され、供給されたマスターモニタ情報と、復号処理部56によるデコードによって得られたビデオデータを表示装置2に出力する。その後、ビデオストリームの読み出しとデコードが続けられ、例えばビデオストリームの最後まで再生が終わったとき、処理は終了となる。
一方、表示装置2がマスターモニタ情報に対応していないとステップS23において判定された場合、ステップS27において、復号制御部73は、ディスプレイ104がコンテンツ(ビデオストリーム)の色域に対応しているか否かを判定する。ここでの判定は、マスターモニタ情報取得部72により取得されたマスターモニタ情報と、ディスプレイ情報取得部74により取得されたディスプレイ104の性能を表す情報に基づいて行われる。
例えば、コンテンツの色域とディスプレイの色域がともにBT.2020であるといったように、コンテンツの色域がディスプレイの色域を超えていない場合、ディスプレイ104がコンテンツの色域に対応していると判定される。また、コンテンツの色域がBT.2020であるのに対してディスプレイの色域がBT.709であるといったように、コンテンツの色域がディスプレイの色域より広い場合、ディスプレイ104がコンテンツの色域に対応していないと判定される。
ディスプレイ104がコンテンツの色域に対応しているとステップS27において判定した場合、ステップS28において、復号制御部73は、ディスプレイ104がコンテンツのダイナミックレンジに対応しているか否かを判定する。ここでの判定も、マスターモニタ情報取得部72により取得されたマスターモニタ情報と、ディスプレイ情報取得部74により取得されたディスプレイ104の性能を表す情報に基づいて行われる。
ディスプレイ104がコンテンツのダイナミックレンジにも対応しているとステップS28において判定した場合、ステップS29において、読み出し制御部71は、ディスクドライブ52を制御し、光ディスク11からビデオストリームを読み出す。
ステップS30において、復号処理部56の復号部81は、ディスクドライブ52から供給されたビデオストリームをデコードする。デコードすることによって得られたビデオデータは出力部84を介して通信部58に供給される。
ステップS31において、通信部58は、復号処理部56によるデコードによって得られたビデオデータを表示装置2に出力する。その後、ビデオストリームの読み出しとデコードが続けられ、例えばビデオストリームの最後まで再生が終わったとき、処理は終了となる。
このように、表示装置2がマスターモニタ情報を理解できない場合、光ディスク11から読み出されたマスターモニタ情報は出力されずに、ビデオストリームをデコードして得られたビデオデータだけが出力される。
また、ディスプレイ104がコンテンツの色域とダイナミックレンジの両方に対応している場合、色域を狭めたり、ダイナミックレンジを狭めたりするなどの変換処理は行われずに、デコードによって得られたビデオデータがそのまま表示装置2に出力される。
一方、ディスプレイ104がコンテンツのダイナミックレンジに対応していないとステップS28において判定された場合、ステップS32において、読み出し制御部71は、ディスクドライブ52を制御し、光ディスク11からビデオストリームを読み出す。
ステップS33において、復号処理部56の復号部81は、ディスクドライブ52から供給されたビデオストリームをデコードする。デコードすることによって得られたビデオデータはダイナミックレンジ変換部82に供給される。
ステップS34において、ダイナミックレンジ変換部82は、マスターモニタ情報を参照し、復号部81によるデコードによって得られたビデオデータを、ダイナミックレンジを狭めたデータに変換する。
例えば、コンテンツのダイナミックレンジが0〜400cd/m2である場合において、ディスプレイ104のダイナミックレンジが0〜300cd/m2であるとき、コンテンツのダイナミックレンジを0〜300cd/m2の範囲に圧縮する処理が行われる。
ステップS35において、通信部58は、ダイナミックレンジ変換後のビデオデータを表示装置2に出力する。その後、ビデオストリームの読み出しとデコード、およびダイナミックレンジの変換が続けられ、例えばビデオストリームの最後まで再生が終わったとき、処理は終了となる。
一方、ディスプレイ104がコンテンツの色域に対応していないとステップS27において判定された場合、ステップS36(図36)において、復号制御部73は、ディスプレイ104がコンテンツのダイナミックレンジに対応しているか否かを判定する。
ディスプレイ104がコンテンツのダイナミックレンジに対応しているとステップS36において判定した場合、ステップS37において、読み出し制御部71は、ディスクドライブ52を制御し、光ディスク11からビデオストリームを読み出す。
ステップS38において、復号処理部56の復号部81は、ディスクドライブ52から供給されたビデオストリームをデコードする。
ステップS39において、色域変換部83は、マスターモニタ情報を参照し、復号部81によるデコードによって得られたビデオデータを、色域を狭めたデータに変換する。
例えば、コンテンツの色域がBT.2020である場合において、ディスプレイ104の色域がBT.709であるとき、コンテンツの色域をBT.709の色域に圧縮する処理が行われる。
ステップS40において、通信部58は、色域変換後のビデオデータを表示装置2に出力する。その後、ビデオストリームの読み出しとデコード、および色域の変換が続けられ、例えばビデオストリームの最後まで再生が終わったとき、処理は終了となる。
一方、ディスプレイ104がコンテンツのダイナミックレンジにも対応していないとステップS36において判定された場合、ステップS41において、読み出し制御部71は、ディスクドライブ52を制御し、光ディスク11からビデオストリームを読み出す。
ステップS42において、復号処理部56の復号部81は、ディスクドライブ52から供給されたビデオストリームをデコードする。デコードすることによって得られたビデオデータはダイナミックレンジ変換部82に供給される。
ステップS43において、ダイナミックレンジ変換部82は、マスターモニタ情報を参照し、復号部81によるデコードによって得られたビデオデータを、ダイナミックレンジを狭めたデータに変換する。また、色域変換部83は、マスターモニタ情報を参照し、ダイナミックレンジ変換部82によるダイナミックレンジの変換後のビデオデータを、さらに、色域をも狭めたデータに変換する。ダイナミックレンジと色域の変換後のビデオデータは色域変換部83から出力部84に出力され、通信部58に供給される。
ステップS44において、通信部58は、ダイナミックレンジと色域の変換後のビデオデータを表示装置2に出力する。その後、ビデオストリームの読み出し、読み出されたビデオストリームのデコード、ダイナミックレンジおよび色域の変換が続けられ、例えばビデオストリームの最後まで再生が終わったとき、処理は終了となる。
以上のように、表示装置2がマスターモニタ情報に対応している場合には、デコードによって得られたビデオデータが、ディスプレイ104の性能にかかわらず、そのままマスターモニタ情報とともに出力される。
また、表示装置2がマスターモニタ情報に対応していない場合には、デコードによって得られたビデオデータがそのまま出力されるか、ダイナミックレンジと色域のうちの少なくともいずれかを変換した変換後のビデオデータが出力される。
[表示装置2の表示処理]
次に、図37のフローチャートを参照して、表示装置2の表示処理について説明する。
図37の処理は、図35および図36の処理が再生装置1により行われ、ビデオデータが送信されてきたときに開始される。送信されてきたビデオデータは、通信部102により受信される。
ステップS51において、信号処理部103のビデオデータ取得部121は、通信部102により受信されたビデオデータを取得する。
ステップS52において、通信部102は、ビデオデータとともにマスターモニタ情報が再生装置1から送信されてきたか否かを判定する。ビデオデータとともにマスターモニタ情報が送信されてきたということは、表示装置2が、マスターモニタ情報に対応している装置であることを表す。上述したように、表示装置2がマスターモニタ情報に対応している場合、ビデオストリームをデコードして得られたビデオデータがそのまま表示装置2に対して送信されてくる。
マスターモニタ情報が送信されてきたとステップS52において判定された場合、ステップS53において、コントローラ101のマスターモニタ情報取得部111は、ビデオデータとともに送信されてきたマスターモニタ情報を取得する。取得されたマスターモニタ情報は、信号処理制御部112に供給される。
ステップS54において、信号処理制御部112は、マスターモニタ情報により表される、再生装置1から送信されてきたビデオデータの色域がディスプレイ104の色域を超えているか否かを判定する。
ビデオデータの色域がディスプレイ104の色域を超えているとステップS54において判定した場合、ステップS55において、信号処理制御部112は、マスターモニタ情報により表されるビデオデータのダイナミックレンジが、ディスプレイ104のダイナミックレンジを超えているか否かを判定する。
ビデオデータのダイナミックレンジがディスプレイ104のダイナミックレンジを超えているとステップS55において判定した場合、ステップS56において、信号処理制御部112は、ビデオデータのダイナミックレンジと色域の変換を信号処理部103に行わせる。
すなわち、信号処理部103のダイナミックレンジ変換部122は、ビデオデータ取得部121により取得されたビデオデータを、ディスプレイ104が表示可能なダイナミックレンジのビデオデータに変換する。また、色域変換部123は、ダイナミックレンジの変換後のビデオデータを、ディスプレイ104が表示可能な色域のビデオデータに変換する。ダイナミックレンジと色域を狭めた変換後のビデオデータは出力部124に出力される。
ステップS57において、出力部124は、ダイナミックレンジと色域の変換後のビデオデータに基づいて、コンテンツの映像をディスプレイ104に表示させる。以上の処理が続けられ、コンテンツの再生が終了したとき、処理は終了される。
一方、ビデオデータのダイナミックレンジがディスプレイ104のダイナミックレンジを超えていないとステップS55において判定した場合、ステップS58において、信号処理制御部112は、ビデオデータの変換を信号処理部103に行わせる。
すなわち、信号処理部103の色域変換部123は、ビデオデータ取得部121により取得されたビデオデータを、ディスプレイ104が表示可能な色域のビデオデータに変換する。ダイナミックレンジについてはディスプレイのダイナミックレンジを超えていないことから、色域を狭めるデータへの変換だけが行われる。色域を狭めるように変換された変換後のビデオデータは出力部124に出力される。
ステップS59において、出力部124は、色域の変換後のビデオデータに基づいて、コンテンツの映像をディスプレイ104に表示させる。以上の処理が続けられ、コンテンツの再生が終了したとき、処理は終了される。
一方、ビデオデータの色域がディスプレイ104の色域を超えていないとステップS54において判定した場合、信号処理制御部112は、ステップS60において、ビデオデータのダイナミックレンジが、ディスプレイ104のダイナミックレンジを超えているか否かを判定する。
ビデオデータのダイナミックレンジがディスプレイ104のダイナミックレンジを超えているとステップS60において判定した場合、ステップS61において、信号処理制御部112は、マスターモニタ情報を参照し、再生装置1から送信されてきたビデオデータを信号処理部103に変換させる。
すなわち、信号処理部103のダイナミックレンジ変換部122は、ビデオデータ取得部121により取得されたビデオデータを、ディスプレイ104が表示可能なダイナミックレンジのビデオデータに変換する。ダイナミックレンジを狭めるように変換された変換後のビデオデータは出力部124に出力される。
ステップS62において、出力部124は、ダイナミックレンジの変換後のビデオデータに基づいて、コンテンツの映像をディスプレイ104に表示させる。以上の処理が続けられ、コンテンツの再生が終了したとき、処理は終了される。
一方、表示装置2がマスターモニタ情報に対応していないことから、マスターモニタ情報が送信されてきていないとステップS52において判定された場合、ステップS63おいて、信号処理部103の出力部124は、ビデオデータ取得部121により取得されたビデオデータに基づいてコンテンツの映像をディスプレイ104に表示させる。
ビデオデータのダイナミックレンジがディスプレイ104のダイナミックレンジを超えていないとステップS60において判定された場合も同様に、ステップS63において、ビデオデータ取得部121により取得されたビデオデータに基づいてコンテンツの映像が表示される。表示装置2がマスターモニタ情報に対応した装置であるものの、送信されてきたビデオデータがディスプレイ104が表示可能なビデオデータである場合には、再生装置1から送信されてきたビデオデータが映像の表示にそのまま用いられる。
再生装置1から送信されてきたビデオデータをそのまま用いた映像の表示が行われ、コンテンツの再生が終了したとき、処理は終了される。
以上の処理により、再生装置1から表示装置2に対して、光ディスク11に記録されているコンテンツの実際の色域とダイナミックレンジが伝送されることになる。
また、光ディスク11に記録されているコンテンツの色域とダイナミックレンジがディスプレイ104の性能を超えている場合には実際の色域とダイナミックレンジに基づいてそれらを狭める処理が行われる。
以上においては、表示装置2がマスターモニタ情報に対応しているときには、色域とダイナミックレンジを狭める変換処理が表示装置2により行われるものとしたが、再生装置1により行われるようにしてもよい。この場合、光ディスク11に記録されているコンテンツの色域とダイナミックレンジがディスプレイ104の性能を超えているときの再生装置1による変換処理は、図36のステップS43の処理と同様にして行われる。
<<第2の実施の形態>>
以上においては、光ディスク11に記録されているData Base情報にマスターモニタ情報が含まれるものとしたが、ビデオストリーム中に含まれるようにしてもよい。ビデオストリームがHEVCビデオストリームである場合、マスターモニタ情報は、SEI(Supplemental Enhancement Information)としてHEVCの符号化データに挿入される。HEVCの符号化データにSEIを挿入したHEVCビデオストリームが、BDフォーマットで光ディスク11に記録される。
図38は、HEVCのアクセスユニットの構成を示す図である。
HEVCビデオストリームは、NAL(Network Abstraction Layer)ユニットの集まりであるアクセスユニットから構成される。1つのアクセスユニットには1ピクチャのビデオデータが含まれる。
図38に示すように、1つのアクセスユニットは、AUデリミタ(Access Unit delimiter)、VPS(Video Parameter Set)、SPS(Sequence Parameter Set)、PPS(Picture Parameter Set)、SEI、VCL(Video Coding Layer)、EOS(End of Sequence)、およびEOS(End of Stream)から構成される。
AUデリミタは、アクセスユニットの先頭を示す。VPSは、ビットストリームの内容を表すメタデータを含む。SPSは、ピクチャサイズ、CTB(Coding Tree Block)サイズなどの、HEVCデコーダがシーケンスの復号処理を通じて参照する必要のある情報を含む。PPSは、HEVCデコーダがピクチャの復号処理を実行するために参照する必要のある情報を含む。VPS,SPS,PPSがヘッダ情報として用いられる。
SEIは、各ピクチャのタイミング情報やランダムアクセスに関する情報などを含む補助情報である。マスターモニタ情報は、HEVC Mastering monitor information SEIとしてアクセスユニットに含まれる。VCLは1ピクチャのデータである。EOS(End of Sequence)はシーケンスの終了位置を示し、EOS(End of Stream)はストリームの終了位置を示す。
図39は、HEVC Mastering monitor information SEIのシンタクスを示す図である。
HEVC Mastering monitor information SEIには、display_primaries_x,display_primaries_y,white_point_x,white_point_y,max_display_mastering_luminance,min_display_mastering_luminanceが含まれる。
これらの情報は、図16を参照して説明した情報と同じ情報である。すなわち、display_primaries_xとdisplay_primaries_yがマスターモニタの色域を表し、white_point_xとwhite_point_yが色域における白の位置を表す。max_display_mastering_luminanceとmin_display_mastering_luminanceがマスターモニタのダイナミックレンジを表す。
このように、マスターモニタ情報がビデオストリームに含まれる場合において、上述したようにしてマスターモニタ情報がData Base情報にも含まれるとき、ビデオストリームに含まれるマスターモニタ情報が優先的に用いられる。
ビデオストリームに含まれるマスターモニタ情報の方が、Data Base情報に含まれるマスターモニタ情報と較べてより詳細な情報を含んでいる可能性がある。例えば、Data Base情報に記述するマスターモニタ情報として図7を参照して説明したmastering_monitor_infoを用いた場合、情報量としては、図39に示すビデオストリーム中の情報の方がより多い。
ビデオストリームに含まれるマスターモニタ情報を優先的に用いることにより、効率的に、かつより高い精度で(よりオーサーの意図に沿う形で)処理を行うことが可能になる。
マスターモニタ情報をビデオストリームにも含めることが可能とされている場合、Data Base情報としてのClip Informationには、対応するビデオストリームにマスターモニタ情報が含まれているか否かを表す情報がマスターモニタ情報とともに記述される。
図40は、Clip InformationのClipInfo()の一部を示す図である。
ClipInfo()には、図20を参照して説明したmastering_monitor_color_primariesとmastering_monitor_luminanceに加えて、1ビットのmastering_monitor_sei_paresent_flagが記述される。
mastering_monitor_sei_paresent_flag=1は、対応するビデオストリームに図39のマスターモニタ情報が含まれていることを表す。また、mastering_monitor_sei_paresent_flag=0は、対応するビデオストリームにマスターモニタ情報が含まれていないことを表す。
mastering_monitor_sei_paresent_flagの値が1である場合には、対応するビデオストリームに含まれるマスターモニタ情報を用いて処理が行われ、0である場合には、ClipInfo()に含まれるマスターモニタ情報を用いて処理が行われることになる。
マスターモニタ情報についてはIndex tableまたはPlayListに記述され、mastering_monitor_sei_paresent_flagがClip Informationに含まれるようにしてもよい。
ここで、図41および図42のフローチャートを参照して、再生装置1の再生処理について説明する。
図41および図42の処理は、マスターモニタ情報がData Base情報中だけでなく、ビデオストリーム中にも含めることが可能とされている場合の処理である。
ステップS101において、コントローラ51の読み出し制御部71は、ディスクドライブ52を制御し、光ディスク11からData Base情報を読み出す。
ステップS102において、読み出し制御部71は、Clip Informationに含まれるmastering_monitor_sei_paresent_flagの値が1であるか否かを判定する。
Clip Informationに対応するビデオストリームにマスターモニタ情報が含まれていないことから、mastering_monitor_sei_paresent_flagの値が1ではないと判定された場合、ステップS103において、コントローラ51は通常の再生処理を行う。すなわち、Data Base情報に含まれるマスターモニタ情報を用いた、図35および図36を参照して説明した処理が行われる。ステップS103における通常の再生処理の後、処理は終了される。
一方、mastering_monitor_sei_paresent_flagの値が1であると判定された場合、ステップS104において、読み出し制御部71は、ディスクドライブ52を制御し、光ディスク11からビデオストリームを読み出す。光ディスク11から読み出されたビデオストリームは復号処理部56に供給される。
ステップS105において、マスターモニタ情報取得部72は、復号処理部56に供給されたビデオストリームを解析し、SEIとしてビデオストリームに含まれるマスターモニタ情報を取得する。取得されたマスターモニタ情報は復号制御部73に供給される。
ステップS106において、復号制御部73は、図33の処理が行われることによってディスプレイ情報取得部74により取得された情報に基づいて、表示装置2がマスターモニタ情報に対応しているか否かを判定する。
表示装置2がマスターモニタ情報に対応しているとステップS106において判定された場合、ステップS107において、復号処理部56の復号部81は、ディスクドライブ52から供給されたビデオストリームをデコードする。デコードすることによって得られたビデオデータは出力部84を介して通信部58に供給される。
ステップS108において、通信部58は、コントローラ51のマスターモニタ情報取得部72により取得され、供給されたマスターモニタ情報と、復号処理部56によるデコードによって得られたビデオデータを表示装置2に出力する。その後、ビデオストリームの読み出しとデコードが続けられ、例えばビデオストリームの最後まで再生が終わったとき、処理は終了となる。
一方、表示装置2がマスターモニタ情報に対応していないとステップS106において判定された場合、ステップS109において、復号制御部73は、ディスプレイ104がコンテンツの色域に対応しているか否かを判定する。ここでの判定は、マスターモニタ情報取得部72により取得されたマスターモニタ情報と、ディスプレイ情報取得部74により取得されたディスプレイ104の性能を表す情報に基づいて行われる。
ディスプレイ104がコンテンツの色域に対応しているとステップS109において判定した場合、ステップS110において、復号制御部73は、ディスプレイ104がコンテンツのダイナミックレンジに対応しているか否かを判定する。ここでの判定も、マスターモニタ情報取得部72により取得されたマスターモニタ情報と、ディスプレイ情報取得部74により取得されたディスプレイ104の性能を表す情報に基づいて行われる。
ディスプレイ104がコンテンツのダイナミックレンジにも対応しているとステップS110において判定した場合、ステップS111において、復号処理部56の復号部81は、ディスクドライブ52から供給されたビデオストリームをデコードする。デコードすることによって得られたビデオデータは出力部84を介して通信部58に供給される。
ステップS112において、通信部58は、復号処理部56によるデコードによって得られたビデオデータを表示装置2に出力する。その後、ビデオストリームの読み出しとデコードが続けられ、例えばビデオストリームの最後まで再生が終わったとき、処理は終了となる。
このように、表示装置2がマスターモニタ情報を理解できない場合、ビデオストリームから取得されたマスターモニタ情報は出力されずに、ビデオストリームをデコードして得られたビデオデータだけが出力される。
一方、ディスプレイ104がコンテンツのダイナミックレンジに対応していないとステップS110において判定された場合、ステップS113において、復号処理部56の復号部81は、ディスクドライブ52から供給されたビデオストリームをデコードする。デコードすることによって得られたビデオデータはダイナミックレンジ変換部82に供給される。
ステップS114において、ダイナミックレンジ変換部82は、マスターモニタ情報を参照し、復号部81によるデコードによって得られたビデオデータを、ダイナミックレンジを狭めたデータに変換する。
ステップS115において、通信部58は、ダイナミックレンジ変換後のビデオデータを表示装置2に出力する。その後、ビデオストリームの読み出しとデコード、およびダイナミックレンジの変換が続けられ、例えばビデオストリームの最後まで再生が終わったとき、処理は終了となる。
一方、ディスプレイ104がコンテンツの色域に対応していないとステップS109において判定された場合、ステップS116(図42)において、復号制御部73は、ディスプレイ104がコンテンツのダイナミックレンジに対応しているか否かを判定する。
ディスプレイ104がコンテンツのダイナミックレンジに対応しているとステップS116において判定した場合、ステップS117において、復号処理部56の復号部81は、ディスクドライブ52から供給されたビデオストリームをデコードする。
ステップS118において、色域変換部83は、マスターモニタ情報を参照し、復号部81によるデコードによって得られたビデオデータを、色域を狭めたデータに変換する。
ステップS119において、通信部58は、色域変換後のビデオデータを表示装置2に出力する。その後、ビデオストリームの読み出しとデコード、および色域の変換が続けられ、例えばビデオストリームの最後まで再生が終わったとき、処理は終了となる。
一方、ディスプレイ104がコンテンツのダイナミックレンジにも対応していないとステップS116において判定された場合、ステップS120において、復号処理部56の復号部81は、ディスクドライブ52から供給されたビデオストリームをデコードする。
デコードすることによって得られたビデオデータはダイナミックレンジ変換部82に供給される。
ステップS121において、ダイナミックレンジ変換部82は、マスターモニタ情報を参照し、復号部81によるデコードによって得られたビデオデータを、ダイナミックレンジを狭めたデータに変換する。また、色域変換部83は、マスターモニタ情報を参照し、ダイナミックレンジ変換部82によるダイナミックレンジの変換後のビデオデータを、さらに、色域をも狭めたデータに変換する。ダイナミックレンジと色域の変換後のビデオデータは色域変換部83から出力部84に出力され、通信部58に供給される。
ステップS122において、通信部58は、ダイナミックレンジと色域の変換後のビデオデータを表示装置2に出力する。その後、ビデオストリームの読み出し、読み出されたビデオストリームのデコード、ダイナミックレンジおよび色域の変換が続けられ、例えばビデオストリームの最後まで再生が終わったとき、処理は終了となる。
以上のように、マスターモニタ情報がビデオストリームとData Base情報の両方に含まれる場合にはビデオストリームに含まれるマスターモニタ情報が優先的に用いられることにより、効率的に、かつより高い精度で処理を行うことが可能になる。
なお、図41および図42の処理に対応して、表示装置2においては、図37を参照して説明した処理と同様の処理が行われる。
<<記録装置について>>
図43は、記録装置201の構成例を示すブロック図である。
記録装置201により生成されたデータが光ディスク11に記録され、再生装置1において再生される。実際には、記録装置201によりコンテンツが記録されたマスター盤に基づいて光ディスクが複製され、その一つが光ディスク11として再生装置1に提供され、再生される。
記録装置201は、コントローラ211、符号化処理部212、およびディスクドライブ213から構成される。マスターモニタの表示を確認しながらオーサーにより生成された、マスターとなるビデオデータが符号化処理部212に入力される。
コントローラ211は、CPU、ROM、RAMなどより構成される。コントローラ211は、所定のプログラムを実行し、記録装置201の全体の動作を制御する。
コントローラ211においては、所定のプログラムが実行されることによってData Base情報生成部211Aが実現される。Data Base情報生成部211Aは、上述したような、マスターモニタ情報を含むData Base情報を生成し、ディスクドライブ213に出力する。
符号化処理部212は、例えばHEVCなどのフォーマットに従って、入力されたビデオデータの符号化を行う。符号化処理部212は、マスターのビデオデータを符号化して得られたビデオストリームをディスクドライブ213に出力する。ビデオストリームには、適宜、SEIとしてマスターモニタ情報が含まれる。
ディスクドライブ213は、コントローラ211から供給されたData Base情報と、符号化処理部212から供給されたビデオストリームを格納するファイルを図4のディレクトリ構造に従って光ディスク11に記録する。
<記録処理>
次に、図44のフローチャートを参照して、記録装置201の記録処理について説明する。図44の処理は、マスターのビデオデータがネットワークや所定の記録媒体を介して記録装置201に入力されたときに開始される。
ステップS201において、Data Base情報生成部211Aは、マスターモニタ情報を含むData Base情報を生成する。
ステップS202において、符号化処理部212は、例えばHEVCなどのフォーマットに従って、入力されたビデオデータの符号化を行い、ビデオストリームを生成する。
ステップS203において、ディスクドライブ213は、コントローラ211から供給されたData Base情報と、符号化処理部212から供給されたビデオストリームを格納するファイルを光ディスク11に記録し、処理を終了させる。
<コンピュータの構成例>
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図45は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
CPU(Central Processing Unit)251、ROM(Read Only Memory)252、RAM(Random Access Memory)253は、バス254により相互に接続されている。
バス254には、さらに、入出力インタフェース255が接続されている。入出力インタフェース255には、キーボード、マウスなどよりなる入力部256、ディスプレイ、スピーカなどよりなる出力部257が接続される。また、入出力インタフェース255には、ハードディスクや不揮発性のメモリなどよりなる記憶部258、ネットワークインタフェースなどよりなる通信部259、リムーバブルメディア261を駆動するドライブ260が接続される。
以上のように構成されるコンピュータでは、CPU251が、例えば、記憶部258に記憶されているプログラムを入出力インタフェース255及びバス254を介してRAM253にロードして実行することにより、上述した一連の処理が行われる。
CPU251が実行するプログラムは、例えばリムーバブルメディア261に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部258にインストールされる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。