実施の形態1.
実施の形態1に係る映像記録再生装置100は、HDRビデオの放送信号を、SDRビデオ規格に対応した記録媒体に、HDRビデオのまま輝度値で録画する。また、映像記録再生装置100は、放送信号がHDRであるか否かを記録する。また、映像記録再生装置100は、HDRの放送信号の輝度ヒストグラム情報を記録する。なお、従来の光ディスク規格では、SDR規格にしか対応していない。
HDRに対応した表示装置で再生する場合には、HDRビデオとして出力することで、高品位な映像が表示できる。また、SDRに対応した表示装置で再生する場合には、輝度ヒストグラム情報に基づいて、画質調整を行う。画質調整は、例えば、明るい部分の情報を取り除く処理、または、暗い部分の階調を増加させる処理などである。これらによって、高品位な映像を再生することができる。
<映像記録再生装置100の構成>
図1は、映像記録再生装置100のシステム構成図である。
映像記録再生装置100は、システム制御部101、記録再生ドライブ部102、チューナー部104、ストリーム制御部110、映像音声デコーダ部111および映像音声エンコーダ部116を備えている。
映像記録再生装置100は、デジタルインターフェース部112、メモリ部120または輝度情報調整部150を備えることができる。また、システム制御部101は、表示機器情報取得部151または放送番組解析制御部152を備えている。デジタルインターフェース部112は、表示装置通信部114を備えている。
システム制御部101は、映像記録再生装置100全体を統合制御している。
記録再生ドライブ部102は、光ディスク103に記録されている情報の読み出しを行う。また、記録再生ドライブ部102は、映像信号または音声信号などを光ディスク103等に書き込む。
つまり、記録再生ドライブ部102は、読み取り部の一例である。また、記録再生ドライブ部102は、記録部の一例である。記録部102は、拡張ビデオのコンテンツと識別情報520とを標準ビデオに対応した記録媒体に記録する
なお、本実施の形態1では、一例として、記録再生ドライブ部102を光ディスクドライブ装置として説明を進める。しかし、記録再生ドライブ部102は、ハードディスクドライブ装置またはSDメディアドライブ装置などでもよい。その場合には、ハードディスク上またはSDメディア上に、ストリーム情報と再生制御情報とが記録されている。そして、記録再生ドライブ部102を通じて、情報の読み出しが行なわれる。
光ディスク103は、ストリーム情報DS1およびこのストリーム情報DS1の再生制御情報DCを記録している。
ストリーム情報DS1は、後述するように、符号化された映像信号が多重化された情報である。
再生制御情報DCは、映像の属性情報、音声の属性情報を含んでいる。また、再生制御情報DCは、再生開始の時間情報と再生開始の位置情報との対応関係を示す情報を含んでいる。
映像の属性情報は、光ディスク103に記録されているストリーム情報DS1から分離された符号化された映像ストリームに関する情報である。また、音声の属性情報は、光ディスク103に記録されているストリーム情報DS1から分離した符号化された音声ストリームに関する情報である。再生開始の時間情報と再生開始の位置情報との対応関係を示す情報は、ストリーム情報DS1のアクセス単位(通常GOP単位)での対応関係を示す情報である。
チューナー部104は、放送信号DBを受信する。また、チューナー部104は、受信した放送信号DBの復号化を行う。チューナー部104で復号化された放送信号DB1は、ストリーム制御部110を経由して、記録再生ドライブ102に送られる。記録再生ドライブ102は、復号化された放送信号DB1を、光ディスク103等に書き込む。なおDB1は、MPEG−2トランスポートストリームまたはMMT方式で多重化されたストリームである。
ストリーム制御部110は、システム全体のストリームの流れを統括制御している。
映像音声デコーダ部111は、ストリーム情報を逐次取り込んだ後に、符号化圧縮された映像ストリームまたは音声ストリームに分離する。その後、映像音声デコーダ部111は、MPEG−2などで符号化された映像ストリームをデコード処理して映像信号に復号する。一方、AC−3などで符号化された音声ストリームも、映像音声デコーダ部111は、同様に、デコード処理を行い出力音声信号に復号する。
映像音声エンコーダ部116は、映像信号と音声信号とを符号化圧縮し、MPEG−2トランスポートストリームまたはMMT方式で、再符号化する。
<録画処理の流れ>
次に、本実施の形態1における基本的な録画処理の流れについて説明する。
チューナー部104は、放送波の放送信号DBを受信する。チューナー部104は、MPEG−2トランスポートストリームまたはMMT方式で、受信した放送信号DBの復号化を行う。復号化された放送信号DBは、ストリーム制御部110を経由して、記録再生ドライブ102に送られる。復号化された放送信号DBは、記録再生ドライブ102で、例えば、光ディスク103に書き込まれる。
ストリーム制御部110は、放送番組のフォーマットを解析する。そして、ストリーム制御部110は、放送番組の映像の属性情報または音声の属性情報を取得する。また、ストリーム制御部110は、後述するアクセスポイント情報を取得する。
これらの情報は、光ディスク103を再生する際の制御情報として使用される。そして、これらの情報は、光ディスク103に書き込まれる。これらの情報は、映像の属性情報、音声の属性情報またはアクセスポイント情報である。
なお、ストリーム情報DS1は、ダイレクト録画方式と、リエンコード録画方式とがある。ダイレクト録画方式は、放送信号DBをそのまま記録する方式である。リエンコード録画方式は、映像記録再生装置100内で再エンコードして記録する方式である。
リエンコード録画方式の場合には、受信した放送信号DBは、ストリーム制御部110から映像音声デコーダ部111に送られる。ストリーム制御部110は、映像音声デコーダ部111に、信号DS2を送る。
映像音声デコーダ部111は、符号化圧縮されたストリーム情報DS2を復号する。
復号化された放送信号(信号DV1,DA1)は、映像音声エンコーダ部116に送られる。復号化された放送信号(信号DV1,DA1)は、映像音声エンコーダ部116で符号化(リエンコード)される。
そして、符号化(リエンコード)された放送信号(信号DS3)は、ストリーム制御部110を介して、記録再生ドライブ部102に送られる。記録再生ドライブ部102は、光ディスク103に符号化(リエンコード)された放送信号(信号DS3)を書き込む。
リエンコード方式は、映像記録再生装置100側で記録ビットレートを自由に変更できるというメリットがある。一方、映像記録再生装置100のハードウェア資源を利用するため、録画時にシステムの同時動作が制約されるという短所がある。また、CPU負荷が大きくなるという短所がある。
一方、ダイレクト録画方式は、ストリーム情報DS1をそのまま記録する。このため、映像記録再生装置100のハードウェア資源をあまり必要としないという長所がある。また、CPU負荷が少ないという長所がある。
<再生処理の流れ>
次に、本実施の形態1における基本的な再生処理の流れについて説明する。
光ディスク103に記録されたストリーム情報DS1を再生する場合には、システム制御部101は、再生対象のストリーム情報DS1に関連する再生制御情報DCを、あらかじめ読み出す。光ディスク103に記録されたストリーム情報DS1は、符号化圧縮されている。符号化圧縮の方法は、例えば、MPEG−2 TS(MPEG−2 TransportStream)などの方法である。
つまり、光ディスク103に記録されたMPEG−2 TS(MPEG−2 TransportStream)などの方法で符号化圧縮されたストリーム情報DS1を再生させる場合には、システム制御部101は、再生対象のストリーム情報DS1に関連する再生制御情報DCを、あらかじめ読み出しておく。
システム制御部101は、読み出した再生制御情報DCをメモリ部120に保持する。これによって、システム制御部101は、再生制御情報DCを、速やかに読み出すことができる。
システム制御部101は、再生制御情報DCを読み出す。そして、システム制御部101は、周辺デバイスに対して再生準備を行うように指示する。
その後、システム制御部101は、光ディスク103に記録されたストリーム情報DS1を読み出す。システム制御部101は、光ディスク103から読み出したストリーム情報DS1を、ストリーム制御部110に送る。ストリーム制御部110に送られたストリーム情報DS1は、映像音声デコーダ部111に供給される。
つまり、光ディスク103から読み出したストリーム情報DS1は、ストリーム制御部110を経由して、映像音声デコーダ部111に供給される。ストリーム制御部110は、システム全体のストリームの流れを統括制御している。
映像音声デコーダ部111は、ストリーム制御部110からストリーム情報DS2を取り込む。映像音声デコーダ部111は、ストリーム制御部110からストリーム情報DS2を逐次取り込む。
その後、映像音声デコーダ部111は、符号化圧縮された映像ストリームを分離して取り出す。または、映像音声デコーダ部111は、符号化圧縮された音声ストリームを分離して取り出す。
その後、映像音声デコーダ部111は、符号化された映像ストリームをデコード処理して映像信号DV1に復号する。映像ストリームの符号化は、例えば、MPEG−2などで行われている。
一方、映像音声デコーダ部111は、符号化された音声ストリームをデコード処理して音声信号DA1に復号する。音声ストリームの符号化は、例えば、AC−3などで行われている。
そして、復号された映像信号DV1と音声信号DA1とは、輝度情報調整部150に送られる。
SDRビデオに対応した表示装置にHDRビデオ信号を出力する際には、輝度情報調整部150は、HDR信号の高輝度部分を削除する。そして、輝度情報調整部150は、輝度変換処理を行う。輝度変換処理は、例えば、暗い部分の階調を細かく表現するなどの処理である。
輝度情報調整部150は、拡張ビデオのコンテンツを標準ビデオのコンテンツに輝度変換する変換部である。
その後、輝度情報調整部150で処理された映像信号DV2は、デジタルインターフェース部112に送られる。音声情報においては、映像音声デコーダ部111から受け取った信号(音声信号DA1)が、そのまま、デジタルインターフェース部112に送られる。
デジタルインターフェース部112は、供給された映像信号DV2および音声信号DA1を、HDMI(登録商標)インターフェースに適合した信号に変換する。デジタルインターフェース部112で変換された信号は、表示装置113に送られる。
表示装置113は、デジタルインターフェース部112から、映像信号DV3および音声信号DA2を受け取る。表示装置113によって、HDMI信号に変換された映像信号DV3およびHDMI信号に変換された音声信号DA2は視聴される。
また、映像記録再生装置100は、映像信号DV3および音声信号DA2を表示装置113に出力する際に、映像信号DV3に関する映像属性情報を、表示装置113に伝送する。表示装置通信部114は、映像属性情報を、表示装置113に送る。表示装置通信部114は、デジタルインターフェース部112に備えられている。映像属性情報は、表示装置通信部114によって、表示装置113に伝送される。
映像属性情報は、HDMI規格で規定されている。また、映像属性情報は、ブランキング期間に伝送される。この映像属性情報は、映像信号DV3がHDRビデオであるか否かの情報、最大出力輝度レベル情報またはマスタリング環境情報などを含んでいる。
また、表示機器情報取得部151は、表示装置通信部114を通じて、各種の情報を取得する。
表示機器情報取得部151の取得する情報は、表示装置113の表示可能なフォーマット情報DFを含んでいる。表示可能なフォーマット情報DFは、例えば、表示装置113がHDRに対応しているか否かの情報である。また、表示可能なフォーマット情報DFは、表示装置113の表示性能の情報を含んでいる。
また、表示機器情報取得部151の取得する情報は、表示装置113の最大出力輝度レベル、推奨最大輝度レベル、製造者名、製造年、表示可能解像度またはインターレース対応の可否などの情報を含んでいる。
つまり、表示機器情報取得部151は、接続する表示装置113が拡張ビデオを表示できるか否かの情報DFを取得する取得部の一例である。
表示装置113は、表示可能なフォーマット情報DFをEDID(Extended Display Identification Data)として不揮発性メモリに記録している。
なお、本実施の形態1では、HDMIを利用した例について説明を進める。しかし、表示装置通信部114は、表示装置113の表示可能なフォーマット情報DFを取得できればよい。そのため、表示装置通信部114は、iLinkまたは赤外線通信などの検出機構を用いて、表示装置113の表示可能なフォーマット情報DFを取得しても良い。
また、本実施の形態1では、表示装置通信部114は、デジタルインターフェース部112に備えられている。しかし、表示装置通信部114は、デジタルインターフェース部112以外の部分に配置されてもよい。
なお、図1に示す記録再生ブロック115は、映像音声ストリームの記録再生機能の総称である。記録再生ブロック115は、システム制御部101から指示を受ける。そして、記録再生ブロック115は、システム制御部101からの指示を基に、記録再生ブロック115内の構成要素を制御する。記録再生ブロック115は、ストリーム情報の記録を行う。また、記録再生ブロック115は、ストリーム情報の再生を行う。
記録再生ブロック115は、記録媒体103に記録されているコンテンツを再生する再生部の一例である。
操作部130は、ユーザーなどが映像記録再生装置100に対して要求などを入力する装置である。例えば、操作部130は、映像記録再生装置100の操作パネルである。操作パネルは、映像記録再生装置100のフロントパネル等に配置されている。また、操作部130は、やリモコンなどでもよい。リモコンは、利用者が操作する遠隔操作機器のことである。
システム制御部101は、操作部130から受け取った要求または命令の内容を解釈する。そして、システム制御部101は、操作部130から受け取った要求などの内容に基づいて、記録再生ブロック115を制御する。そして、システム制御部101は、ストリーム情報を再生する。
放送番組解析制御部152は、映像記録再生装置100が記録する放送信号DBの輝度フォーマット情報と、輝度分布情報とを解析する。輝度フォーマット情報は、放送信号DBがHDRであるかSDRであるか等の情報である。そして、放送番組解析制御部152は、その解析結果を光ディスク103に記録する。
放送番組解析制御部152は、拡張ビデオのコンテンツを標準ビデオのコンテンツに輝度変換する場合の変換情報を生成するコンテンツ情報生成部の一例である。変換情報は、例えは、後述する輝度分布[8]525などである。
また、放送番組解析制御部152は、記録媒体103に記録されているコンテンツが拡張ビデオであるか否かの識別情報522を読み出す制御部の一例である。type_HDR_SDR522は、この識別情報の一例である。
また、制御部152は、拡張ビデオのコンテンツを標準ビデオのコンテンツに輝度変換する場合の変換情報525を読み出す。輝度分布[8]525は、この変換情報の一例である。
また、放送番組解析制御部152は、映像記録再生装置100が放送信号DBを再生する際に、光ディスク103に記録した輝度フォーマット情報および輝度分布情報を読み出す。そして、放送番組解析制御部152は、読み出した輝度フォーマット情報および輝度分布情報に基づいて輝度情報調整部150を制御する。
なお、表示機器情報取得部151および放送番組解析制御部152は、システム制御部101の内部のファームウェアなどで構成される例を示している。しかし、表示機器情報取得部151または放送番組解析制御部152は、システム制御部101の外部に配置されても構わない。また、表示機器情報取得部151の機能または放送番組解析制御部152の機能は、ハードウェアで実現されても構わない。
図2は、HDRビデオについての説明図である。
図2は、表示装置113に表示されるHDRビデオ映像200の一例を示している。
HDRは、上述のように、ハイダイナミックレンジの略称である。そして、HDRビデオは、表示処理のできる輝度信号の最小値から最大値までの範囲が、従来のSDRビデオよりも広い。
従来のSDRビデオでは、表示処理のできる輝度範囲が限定されている。例えば、SDRビデオが、太陽の煌めき又は川に映る光の反射などの高輝度の表現を行うことができなかった。
また、従来のSDRビデオでは、高輝度の部分での細かな階調表現ができなかった。そのため、白で飽和した「白とび」と呼ばれる現象が発生していた。例えば、SDRビデオでは、図2中の、太陽201aの煌めき又は太陽光が川に反射したときの煌めき部分201b,201c等の階調表現が損なわれていた。また、SDRビデオでは、高輝度の部分の表示自体も行うことができなかった。
HDRビデオ規格では、HDRビデオが記録された記録媒体を、HDRビデオ対応の再生装置及び表示装置で視聴する。HDRビデオ対応の再生装置及び表示装置は、前述した高輝度部分の表示又は高輝度部分の階調表現が可能である。そして、より高品位な映像視聴を楽しむことが可能となる。
図3は、光ディスク103の論理ファイル構造を示した図である。
ルートディレクトリ300は、論理的に階層構造を成すファイル構造の最上位階層のディレクトリ構造である。ディスクディレクトリ301は、ルートディレクトリ300の下位階層に配置されるディレクトリ構造である。
ディスクディレクトリ301は、再生制御情報ファイル310及びストリーム管理ディレクトリ302を備えている。
再生制御情報ファイル310は、再生制御情報DCをファイル形式で記録している。再生制御情報DCは、光ディスク103に記録されているディスクコンテンツを管理する情報である。
ストリーム管理ディレクトリ302は、ストリーム情報ファイル320をまとめて記録したフォルダである。ストリーム情報ファイル320は、ストリーム情報DS1の一例である。
図3では、ストリーム情報ファイル320は、5桁のファイル名で記録されているとして説明を進める。ファイル名は、5桁の数字であれば良く、連番である必要はない。
なお、ストリーム情報ファイル320を、個別のディレクトリ内に配置する例を示している。しかし、ストリーム情報ファイル320を、ルートディレクトリ300に直接配置しても良い。また、ストリーム情報ファイル320を、他のディレクトリ位置に配置しても構わない。
また、ストリーム情報ファイル320を、ある管理単位毎に個別のファイルとして形成している例を示している。しかし、ストリーム情報ファイル320を、1つのファイルにまとめて記録しても構わない。
図4は、ストリーム情報ファイル320の内部データ構造を示した説明図である。
ストリーム情報ファイル320は、複数のパケット400を備えている。パケット400は、固定長のデータ単位で構成されている。パケット層405には、複数のパケット400が含まれている。
映像データ、音声データ又はストリーム管理データ等は、パケット400の単位に分割されている。そして、これらのデータは多重化される。ストリーム情報ファイル320は、これらの多重化されたデータを含む。
ストリーム情報ファイル320は、ストリーム情報DS1に相当する。また、ストリーム管理データは、ストリーム情報ファイル320の属性情報である。ストリーム管理データには、例えば、映像のコーデック、解像度、フレームレートまたはアクセスポイント情報などが記録されている。映像データ、音声データ又はストリーム管理データ等は、ストリーム情報DS1に含まれている。
パケット400は、ヘッダ情報401及びデータ領域403を備えている。
それぞれのパケット400の先頭には、ヘッダ情報401がある。ヘッダ情報401に記述されたID402(Identification)によって、パケット400内のデータを識別する。
ストリーム制御部110は、このID402を識別して、ストリーム情報ファイル320を、映像データ、音声データ又はストリーム管理データ等に分離する。
図5は、再生制御情報ファイル310のシンタックスの説明図である。
光ディスク103内に記録されている番組タイトルをプレイリストと呼ぶ。プレイリストには、「num_of_playlist501」が記録されている。「num_of_playlist501」は、プレイリストの総数を示す。次のループ文(for以下)は、「num_of_playlist501」の数だけ繰り返される。
なお、プレイリストは、後述する1つ以上のプレイアイテムから構成される。また、1つのプレイアイテムは、1枚以上の映像フレームから構成されている。1枚の映像フレームは、複数のピクセルから構成されている。
プレイリストは、複数のプレイアイテムから構成される。プレイリストには、「num_of_playitem502」が記録されている。「num_of_playitem502」は、プレイアイテムの総数を示す。次のループ文(for以下)は、「num_of_playitem502」の数だけ繰り返される。
プレイアイテムは、1つの再生区間の情報が記録されている。再生区間の情報は、再生対象のストリームファイル名503、再生開始時間504または再生終了時間505を含んでいる。再生区間の情報に基づいて、映像記録再生装置100は、ストリーム情報ファイル320のどの区間を再生すればよいのかを判断することができる。
また、再生制御情報ファイル310中には、「num_of_stream510」が記録されている。「num_of_stream510」は、光ディスク103に記録されているストリーム情報ファイル320の総数を示す。次のループ文(for以下)は、「num_of_stream510」の数だけ繰り返される。
ストリーム情報ファイル名511は、ストリーム情報ファイル320の名前を示す5桁の数字情報である。
ソース属性情報520は、放送番組の輝度フォーマット情報または輝度分布情報などをまとめたものである。ソース属性情報520は、「is_source_info521」、「type_HDR_SDR522」、「Max_LL523」、「Max_Ave_LL524」、「輝度分布[8]525」または「is_transcode526」を含んでいる。つまり、ソース属性情報520は、コンテンツが拡張ビデオであるか否かの識別情報である。
「is_source_info521」は、放送番組を記録した際に、フォーマット情報または輝度分布情報を正常に記録されているか否かを示すフラグである。
このフラグの値が「1」の場合には、「type_HDR_SDR522」、「Max_LL523」、「Max_Ave_LL524」、「輝度分布[8]525」または「is_transcode526」のフィールドが有効であることを示す。
一方、このフラグの値が「0」の場合には、フィールドが無効であることを示す。
「type_HDR_SDR522」は、プレイリストがHDRビデオであるかSDRビデオであるかを識別するための情報である。なお、複数のHDR技術を用いる場合には、「type_HDR_SDR522」にHDRの種別を示す情報を記録して、管理してもよい。
なお、本実施の形態1では、HDRとして、後述するHDR_HLG方式を用いるものとして説明を進める。
「Max_LL523」は、プレイリスト中のピクセルの最大の出力輝度レベルを示す。「Max_Ave_LL524」は、プレイリストを構成する映像フレーム毎の平均輝度を算出する。そして、「Max_Ave_LL524」は、最大の平均輝度を持った映像フレームの出力輝度レベルを示す。
「輝度分布[8]525」は、輝度の分布状況を示すための配列情報である。例えば、放送番組の映像フレーム中で、ピクセル毎の輝度統計処理を行う。そして、「輝度分布[8]525」は、輝度のヒストグラム情報を示す。
本実施の形態1では、「輝度分布[8]525」は、配列として8段階に区分けして分布状況を示している。「輝度分布[8]525」の[8]が8段階の配列を示している。ヒストグラムの具体例は、図8を用いて説明する。
なお、今回は8段階に区分けして説明を行っている。しかし、配列を更に細分化してもよい。また、配列を更に粗く区分けしてもよい。
また、ピクセル毎の輝度の統計結果から、全体の大部分を含む輝度設定値を保持してもよい。「大部分」とは、例えば、95%である。
「is_transcode526」は、放送番組を録画する際に、リエンコード録画方式で録画されているか否かを示す。リエンコード録画は、放送信号をデコードして、装置の備えるエンコーダで再符号化する方式である。このため、HDR放送であってもSDR信号として記録される。
属性情報管理テーブル530には、属性情報が記録されている。記録されている属性情報は、ストリーム情報ファイル320の中で使用される映像情報または音声情報などの属性情報である。
また、属性情報管理テーブル530には、ID402などが格納されている。ID402は、ストリームを構成している映像情報または音声情報毎にパケットを識別する情報(パケットID)である。このパケットIDを用いて、ストリーム制御部110は、映像データ、音声データまたはストリーム管理データ等を分離する。
また、アクセスポイント管理テーブル540は、アクセスポイント毎のストリームの読み出し位置とアクセスポイント毎の再生開始時間とを記録したリスト情報である。このリスト情報を用いて、ランダムアクセス再生が行われる。ランダムアクセス再生は、例えば、タイムサーチまたは特殊再生などである。
なお、例えば、映像データがMPEG−2ビデオストリームでエンコードされている場合には、GOP(Group of Picture)の先頭がアクセスポイントに相当する。GOP毎に、再生開始時間の情報と再生開始アドレスの情報とが記述されている。再生開始アドレスは、ストリームファイルの先頭を起算とした位置である。
映像記録再生装置100は、再生開始時間の情報を基にして、ストリーム情報ファイル320の再生開始アドレスを割り出す。そして、映像記録再生装置100は、ランダムアクセス再生を行う。
図6は、映像ストリームのデータ構造を示す説明図である。図6は、映像ストリーム600のデータ構造を示している。映像ストリーム600は、ストリーム情報DS2の一例である。
映像ストリーム600は、ストリーム情報ファイル320を、ストリーム制御部110でデマルチプレクスされることによって抽出されて符号化圧縮されている。映像ストリーム600は、符号化圧縮単位となるGOP(Group Of Picture)601単位で情報圧縮されている。
GOP601は、Iピクチャ610、Pピクチャ611又はBピクチャ612を含んでいる。
Iピクチャ610は、フレーム内でデータ圧縮されている。Pピクチャ611は、時間的に前方向のIピクチャによる動き補償を加えてデータ圧縮されている。Bピクチャ612は、時間的に前後方向のIピクチャ610又はPピクチャ611による動き補償を加えてデータ圧縮されている。
例えば、この符号化圧縮は、0.5秒の再生時間ごとに行われている。
Iピクチャ610は、GOP601の先頭に位置している。Iピクチャ610は、GOP601の中で最初にデコードされる。また、Iピクチャ610は、表示時刻情報620、映像属性情報630又は符号化映像データ640を含んでいる。
表示時刻情報620には、PTS(Presentation Time Stamp)が付与されている。また、表示時刻情報620には、表示装置113に提示する時間情報が記録される。
なお、表示時刻情報620は、映像と音声とが同期できる時刻情報であればよい。表示時刻情報620に、PTSではなく、NTP(Network Time Protocol)で定義される時刻情報などを利用しても構わない。
映像属性情報630は、AUD631、SPS632、PPS633又はSEI634を含んでいる。
AUD631は、アクセス・ユニット・デリミター(Access−Unit−Delimiter)の略語である。AUD631は、映像のアクセスユニットの先頭を示す識別子情報を示している。また、AUD631は、映像のアクセスユニットに含まれるスライスの種類を示す情報を含んでいる。
また、SPS632は、システム・パラメータ・セット(System−Parameter−Set)の略語である。SPS632には、GOP601全体の符号化に関わるプロファイル、レベル、解像度、フレームレート又はビットレート上限値などの情報が記載される。
PPS633は、ピクチャー・パラメータ・セット(Picture−Parameter−Set)の略語である。PPS633は、ピクチャ全体の符号化に関わる情報を持っている。また、PPS633には、エントロピー符号化モード又はピクチャ単位の量子化パラメータ等の情報が記録される。
SEI634は、サプリメンタル・エレメント・インフォメーション(Supplimental−Element−Infomation)の略語である。SEI634には、GOP601のメタデータ情報が記録される。
本実施の形態1では、再生制御情報ファイル310にソース属性情報520を記録しているものとして説明を進めている。しかし、ストリーム情報ファイル320の中のSEI634にソース属性情報520を保持しても良い。
なお、Iピクチャ610以外のPピクチャ611及びBピクチャ612は、図6で示すように、SPS632及びSEI634を含まない。
図7は、輝度設定値701と出力輝度の相対レベル702との相関関係の説明図である。輝度設定値701は、SDRとHDRとに関する設定値である。
図7の縦軸は、輝度設定値701を示す。図7の横軸は、出力輝度相対レベル702を示す。また、図7中に、トーンカーブ(SDR)710とトーンカーブ(HDR_HLG)720とを示す。トーンカーブ710(SDR)は、SDRビデオに用いられる。トーンカーブ(HDR_HLG)720は、HDRビデオに用いられる。
トーンカーブ(HDR_HLG)720は、ハイブリッドログガンマ(Hybrid Log Gamma)方式を採用している。
ハイブリッドログガンマ方式は、暗い部分には従来のガンマカーブを採用し、明るい部分には対数カーブを採用している。つまり、ハイブリッドログガンマ方式は、ハイブリッド方式である。
また、ハイブリッドログガンマ方式は、相対輝度方式を採用している。相対輝度方式は、従来のSDR方式も採用している。相対輝度方式は、基準白の相対値による変換式を使用する。これによって、ハイブリッドログガンマ方式は、従来テレビとの互換性が比較的に高い。
輝度設定値701は、符号化された映像信号をデコードした際の、映像フレームを構成する各ピクセルの輝度値を示す。本実施の形態1では、映像信号の輝度設定値701は、例えば、10ビットで表現されている。このため、輝度設定値701は、1024諧調(2の10乗)の分解能を持つ。なお、輝度設定値701は、8ビットの分解能または12ビットの分解能を持ってもよい。
通常、SDRビデオでは、100[nit]程度の明るさが、最高輝度としてマスタリングされている。輝度設定値701は、相対輝度方式と呼ばれる輝度表現方法を持つ。
SDRビデオを再生する際に表現できる最大の輝度(最大表現可能輝度)を「基準白」と呼ぶ。図7では、「基準白」は、トーンカーブ(SDR)710の輝度設定値701の値が1024の場合の出力輝度相対レベル702の値である。
HDR_HLG方式では、基準白の約12倍の明るさの表現が可能である。トーンカーブ(SDR)710の出力輝度相対レベル702の最大値は「1」である。トーンカーブ(HDR_HLG)720の出力輝度相対レベル702の最大値は「12」である。
なお、出力輝度相対レベル702の「0」は、例えば、黒を示す。また、出力輝度相対レベル702の「1」は、例えば、基準白の輝度値を示す。また、出力輝度相対レベル702の「12」は、例えば、白のピークの輝度値を示す。その後、図7において、出力輝度相対レベル702の数値が大きいほど高輝度であることを示す。
トーンカーブ(SDR)710は、輝度設定値701の全範囲がガンマカーブで設定されている。
一方、トーンマップ(HDR_HLG)720は、輝度設定値701の前半分がガンマカーブで設定されている。そして、トーンマップ(HDR_HLG)720は、輝度設定値701の後半分が対数カーブで設定されている。そのため、後半分を示す明るい部分は、カーブの傾きが急峻となる。トーンカーブ(SDR)710と比較して、トーンマップ(HDR_HLG)720は、最高輝度(出力輝度相対レベル702)を高く設定できる。つまり、トーンマップ(HDR_HLG)720は、出力輝度相対レベル702の最大値を高く設定できる。
図7では、輝度設定値701の前半分は、輝度設定値701の値が0から512までの範囲である。また、輝度設定値701の後半分は、輝度設定値701の値が512から1024までの範囲である。
なお、ここで「急峻」とは、輝度設定値701の変化量に対する、出力輝度相対レベルの変化量が大きいことをいう。このため、図7では、グラフの傾きが緩やかな方が「急峻」となる。
このように、HDR_HLGビデオは、SDRビデオと比較すると出力輝度相対レベル702のダイナミックレンジを広く設定できる。このため、映像記録再生装置100は、一般的なSDRビデオでは表示できなかった高い輝度の表現を行うことができる。映像記録再生装置100は、例えば、太陽の輝きなどを表現できる。そして、映像記録再生装置100は、高品位な映像表示ができる。
一方、コンテンツによっては、明るい部分で表現できる階調が粗くなるといったデメリットもある。つまり、映像全体の表現可能な階調は、少なくなる。そして、画質が悪くなるという問題がある。
また、最も高い輝度設定値701に近い輝度値を持ったピクセルの出現頻度は低い。例えば、輝度設定値701が「1023」のピクセルの出現頻度は低い。つまり、通常の映像では、輝度設定値701が「1023」のピクセルは、頻繁に現れない。
また、HDR_HLGビデオ信号を、SDR対応の表示装置113で、そのまま表示させる場合には、ある一定の互換性は、担保される。しかし、HDR_HLGビデオ信号とSDRビデオ信号とでは、トーンカーブ自体が異なっている。また、コンテンツ自体はHDR_HLGでマスタリングされているため、再生した際の表示品質は悪くなる。
図8は、輝度ヒストグラム情報に関する説明図である。図8(A)は、HDR_HLG方式の輝度分布の一例を示している。図8(B)は、SDR方式の輝度分布の一例を示している。縦軸は、各ピクセルの出現度数801を示す。横軸は、輝度設定値701を示す。
本実施の形態1で説明する輝度ヒストグラム情報の階級は、輝度設定値701を8分割している。また、本実施の形態1では、輝度を10ビット(=1024段階)で表現している。このため、例えば、輝度階級802[0]は、輝度設定値701が0〜127までの暗い部分を示す。また、輝度階級802[7]は、輝度設定値701が896〜1023までの明るい部分を示す。
図8(A)は、HDR_HLGの放送信号を記録した際のヒストグラムである。図7で示したトーンカーブ(HDR_HLG)720は、高輝度部分の傾きが急俊である。このため、図8(A)の輝度分布(HDR_HLG)810では、高輝度部分の出現度数801は少ない。例えば、輝度階級802[6]および輝度階級802[7]の出現度数801は少ない。
図8(B)は、SDRの放送信号を記録した際のヒストグラムである。図7で示したトーンカーブ(SDR)710は、均一なガンマカーブである。このため、図8(B)の輝度分布(SDR)820では、輝度設定値701において、偏った出現度数になる可能性は低い。
輝度分布(HDR_HLG)810の番組がSDR対応の表示装置113に表示されると、番組はコンテンツ制作者の意図よりも暗いシーンとして表示される。
図9は、コンテンツ及び表示装置に関して、HDRビデオとSDRビデオとを組合せた場合のシステムの挙動についての説明図である。
コンテンツと表示装置とに関するHDR対応の有無の組合せとしては、組合せ(SDR_SDR)901、組合せ(SDR_HDR)902、組合せ(HDR_SDR)903又は組合せ(HDR_HDR)904の4パターンが存在する。
組合せ(SDR_SDR)901では、コンテンツと表示装置113との両方が、従来のSDRビデオに対応した場合の組合せ例である。
組合せ(SDR_SDR)901では、映像音声デコーダ部111で復号された映像信号DV1は、輝度情報調整部150で輝度調整が行われない。復号された映像信号DV1は、そのまま、デジタルインターフェース部112を介して、SDRビデオ信号として表示装置113に伝送される。表示装置113は、この映像信号DV1を、そのままSDRビデオとして表示する。
組合せ(SDR_HDR)902では、コンテンツがSDRビデオである。また、表示装置113は、HDRビデオ対応の機器である。
組合せ(SDR_HDR)902では、映像音声デコーダ部111で復号された映像信号DV1は、輝度情報調整部150で輝度調整が行われない。復号された映像信号DV1は、そのまま、デジタルインターフェース部112を介して、SDRビデオ信号として表示装置113に伝送される。表示装置113側では、SDRビデオ信号をそのままSDRビデオとして表示する。
組合せ(HDR_SDR)903では、コンテンツがHDRビデオである。また、表示装置113は、SDRビデオ対応の機器である。
組合せ(HDR_SDR)903では、映像音声デコーダ部111で復号された映像信号DV1に対して、図5に示すソース属性情報520から輝度分布[8]525を読み出す。そして、SDRビデオでは表現できない範囲であって、全体のピクセル数の95%が属する階級を表現できる輝度設定値の範囲を算出する。
そして、算出された輝度設定値以外の領域部分を削除する。その削除された部分が暗い部分の階調を表現できるように、輝度情報調整部150は輝度変換を行う。
なお、ここでは、設定値を95%とした。しかし、90%でも構わないし、99%でも構わない。その後、輝度変換されたビデオ信号は、デジタルインターフェース部112を通じて、SDRビデオ信号として表示装置113に伝送される。表示装置113は、この輝度変換されたビデオ信号を、そのままSDRビデオとして表示する。
上記の例では、輝度分布[8]525を用いて輝度変換を行った。しかし、ソース属性情報520に輝度変換時に利用可能な情報を入れておいて、再生時にその輝度変換情報を用いて輝度変換を行うことも可能である。輝度変換時に利用可能な情報は、例えば、輝度変換式などである。
組合せ(HDR_HDR)904では、コンテンツと表示装置113との両方が、HDRビデオに対応した場合の組合せ例である。
組合せ(HDR_HDR)904では、通常再生を行う場合には、映像音声デコーダ部111で復号された映像信号DV1は、輝度情報調整部150で輝度調整が行われない。復号された映像信号DV1は、そのまま、デジタルインターフェース部112を介して、HDRビデオ信号として表示装置113に伝送される。表示装置113は、この映像信号DV1を、そのままHDRビデオとして表示する。
なお、今回、光ディスク103自体が、SDRビデオに対応していたとしても、ソース属性情報にHDRビデオの識別情報があれば、HDRビデオとして出力する。
図10は、実施の形態1の記録処理の基本フロー図である。
ステップS101では、記録終了の指示が示されたか否かを判断する。記録終了の指示があれば、「YES」を選択して、ステップS110に進む。記録終了の指示が無ければ、「NO」を選択して、ステップS102に進む。映像記録再生装置100は、記録終了が指示されるまで、記録処理を行う。
ステップS102では、現在記録しているストリームが、HDR_HLGであるかSDRであるかを判定する。記録しているストリームが、HDR_HLGである場合には、「YES」を選択して、ステップS103に進む。記録しているストリームが、SDRである場合には、「NO」を選択して、ステップS101に進む。
HDR_HLG方式であった場合には、放送番組解析制御部152は、記録しているストリームの輝度分布[8]525を、輝度統計情報として、メモリ部120に蓄積する。メモリ部120は、例えば、アクセス性能の高いメモリである。
なお、ステップS102の処理は、GOP単位で行われるものとして説明を進める。GOPは、符号化圧縮の単位である。
ステップS102で、SDRビデオと判断された場合には、ステップS101に進み、ステップS102に進む。
ステップS103では、輝度分布[8]525を作成する。具体的には、放送番組記録制御部152は、記録ストリームを構成している映像フレームの構成画素単位で、輝度設定値701の情報を取得する。この取得した輝度設定値701からヒストグラムを生成する。ヒストグラムは、例えば、図8に示す輝度分布[8]525である。
ステップS110では、メモリ部120に展開されている輝度分布[8]525を取得する。そして、記録ストリームの解析情報からソース属性情報520を生成する。そして、現在記録される光ディスク103に、ソース属性情報が記録フォーマットとして定義されているか否かを判断する。
記録フォーマットとして定義されている場合には、「YES」を選択して、ステップS111に進む。記録フォーマットとして定義されていない場合には、「NO」を選択して、ステップS112に進む。
ステップS111では、データの配置場所にソース属性情報を記録する。
ステップS112では、記録フォーマットを用いて、図5に示すメーカー独自領域550内に、ソース属性情報520を記録する。メーカー独自領域550は、映像記録再生装置100が自由に使える記録領域である。メーカー独自領域550にソース属性情報520を記録することで、従来の光ディスク103で定義されていないソース属性情報520を記録しても、互換性が担保される。そして、ソース属性情報520に基づいて、映像記録再生装置100は、高画質の映像を再生できる。
図11は、実施の形態1の再生処理の基本フロー図である。
ステップS201では、表示機器情報取得部151は、接続されている表示装置113の表示性能(表示可能フォーマットDF)を取得する。
ステップS202では、システム制御部101は、記録再生ドライブ部102に挿入された光ディスク103から再生制御情報ファイル310を読み取る。
ステップS203では、光ディスク103中から再生したいプレイリストを選択する。再生したいプレイリストが選択された場合には、「YES」を選択して、ステップS204に進む。再生したいプレイリストが選択されていない場合には、「NO」を選択して、ステップS203を繰返す。
ステップS204では、システム制御部101は、再生制御情報ファイル310から選択されたプレイリストが参照するストリームに関する情報を読み出す。このストリームに関する情報は、ソース属性情報を含む。
また、システム制御部101は、プレイリストが再生すべきストリーム情報ファイル320を特定する。そして、システム制御部101は、この特定したストリーム情報ファイル320からの読み出し位置を取得する。
システム制御部101は、この読み出し位置から情報を復号する。そして、システム制御部101は、プレイリストの再生を行う。
ステップS210では、表示機器情報取得部151は、接続される表示装置113がHDR_HLG対応か否かを判断する。表示装置113がHDR_HLG対応の場合には、「YES」を選択して、ステップS211に進む。表示装置113がSDR対応の場合には、「NO」を選択して、ステップS221に進む。
ステップS211では、ソース属性情報520からコンテンツがHDR_HLGか否かを判断する。コンテンツがHDR_HLG対応の場合には、「YES」を選択して、ステップS212に進む。コンテンツがSDR対応の場合には、「NO」を選択して、ステップS213に進む。
ステップS212では、通常のHDR映像信号として、輝度情報調整部150では何も処理を行わずに映像出力する。
ステップS213では、通常のSDR映像信号として、輝度情報調整部150では何も処理を行わずに映像出力する。
ステップS221では、ソース属性情報520からコンテンツがHDR_HLGか否かを判断する。コンテンツがHDR_HLG対応の場合には、「YES」を選択して、ステップS222に進む。コンテンツがSDR対応の場合には、「NO」を選択して、ステップS223に進む。
ステップS222では、ソース属性情報520の中の輝度分布[8]525を読み出す。そして、輝度情報調整部150は、前述した方法で明るい部分を削除する。また、輝度情報調整部150は、暗い部分の階調を上げるように輝度変換を行う。
このようにすることで、HDR_HLGの映像信号をSDR表示装置に表示した際に、適切な階調表現が可能となる。
もともと、HDR_HLGのコンテンツで表現できる最大輝度は、SDRの表示装置では表現できない。また、HDR_HLGのコンテンツでは、高輝度に設定されたピクセルが多くないことが特徴である。そのため、HDR_HLGのコンテンツをSDRの表示装置で表示する場合には、上述の処理で高画質化が可能となる。
なお、輝度分布[8]525に有意な情報が保存されていない場合には、例えば、一律に明るい部分の20%部分をカットして、その分を暗い部分の階調表現に割くようにしてもよい。
ステップS223では、通常のSDR映像信号として、輝度情報調整部150では何も処理を行わずに映像出力する。
実施の形態1の映像記録再生装置100は、HDRビデオの放送信号DBを、SDR対応の光ディスク規格に記録した場合でも、互換性を担保できる。そして、映像記録再生装置100は、接続される表示装置113の性能に合わせて、高品質の映像を再生できる。
上記の例では、HDRビデオのコンテンツを、SDRビデオ対応の記録媒体に記録する場合を示した。しかし、HDRビデオのコンテンツを、SDRビデオに輝度変換してSDRビデオ対応の記録媒体に記録するリエンコード方式を用いる場合には、以下の動作となる。
記録時に、HDRビデオからSDRビデオに輝度変換されたことを示す情報、およびその輝度変換に使用した変換情報をソース属性情報520に追加して記録する。変換情報は、例えば、変換式などである。再生時には、変換情報の記録されたソース属性情報520を読み出すことで、SDRビデオからHDRビデオへの輝度変換が可能となる。
なお、以上のように本発明の実施の形態について説明したが、本発明はこれらの実施の形態に限るものではない。