本開示の一態様に係るデータ出力装置は、データ出力装置であって、映像ストリームを復号することで第1映像信号を生成する復号部と、映像信号の輝度範囲を変換する1以上の第1変換モードに対応する1以上のメタデータを取得する取得部と、前記1以上のメタデータの一つを解釈することで、前記第1映像信号の輝度範囲を示す特性データと、前記第1映像信号の輝度範囲を変換するための変換補助データと、を取得する解釈部と、前記特性データを、所定の伝送プロトコルに従った制御情報に変換する制御情報生成部と、映像信号の輝度範囲を変換する1以上の第2変換モードに対応しており、前記変換補助データに基づいて、前記1以上の第2変換モードのいずれかにより、前記第1映像信号の輝度範囲の変換処理を行うことで前記第1映像信号の輝度範囲より狭い輝度範囲の第2映像信号を生成する変換部と、前記第2映像信号及び前記制御情報を前記伝送プロトコルで表示装置へ出力する出力部とを備える。
これによれば、当該データ出力装置は、1以上のメタデータに基づいて映像信号の輝度範囲を変更できるとともに、変換後の映像信号及び制御情報を出力できる。
例えば、前記解釈部は、さらに、前記1以上の第1変換モードと、前記1以上の第2変換モードと、前記表示装置が対応している、映像信号の輝度範囲を変換する1以上の第3変換モードとに基づいて、前記データ出力装置及び前記表示装置のどちらで前記変換処理を行うかを決定してもよい。
これによれば、当該データ出力装置は、1以上のメタデータに対応する第1変換モードと、データ出力装置が対応している第2変換モードと、表示装置が対応している第3変換モードとに基づき、データ出力装置及び表示装置のどちらで変換処理を行うかを決定できる。これにより、データ出力装置は、適切に変換処理を行う装置を決定できる。
例えば、前記変換部は、前記1以上の第2変換モードを含む複数の第2変換モードに対応しており、各々が前記複数の第2変換モードの各々に対応し、対応する第2変換モードの処理を行う複数のモード処理部を備えてもよい。
例えば、前記変換部は、前記1以上の第2変換モードで共通の処理を行う基本処理部と、各々が前記1以上の第2変換モードの各々に対応し、対応する第2変換モードの処理を行う1以上の拡張モード処理部とを備えてもよい。
例えば、前記解釈部は、さらに、前記1以上の第1変換モードに含まれ、かつ前記1以上の第2変換モードに含まれる変換モードを前記データ出力装置で行う変換処理の変換モードに決定してもよい。
これによれば、当該データ出力装置は、1以上のメタデータに対応する第1変換モードと、データ出力装置が対応している第2変換モードとに基づき、使用する変換モードを決定できる。
例えば、前記解釈部は、さらに、前記1以上の第1変換モードに含まれ、かつ前記1以上の第2変換モード及び前記第3変換モードの少なくとも一方に含まれる変換モードを前記データ出力装置又は前記表示装置で行う変換処理の変換モードに決定してもよい。
これによれば、当該データ出力装置は、1以上のメタデータに対応する第1変換モードと、データ出力装置が対応している第2変換モードと、表示装置が対応している第3変換モードとに基づき、使用する変換モードを決定できる。
例えば、前記取得部は、前記1以上の第1変換モードを含む複数の第1変換モードに対応する複数のメタデータを取得し、前記変換部は、前記1以上の第2変換モードを含む複数の第2変換モードに対応しており、前記解釈部は、前記複数の第1変換モードに含まれ、かつ前記複数の第2変換モード及び前記第3変換モードの少なくとも一方に含まれる複数の変換モードのうち、輝度範囲を変換することなく出力した画像であるマスター画像に対する再現性が最も高い変換モードを前記データ出力装置又は前記表示装置で行う変換処理の変換モードに決定してもよい。
これによれば、当該データ出力装置は、マスター画像に対する再現性が最も高い変換モードを選択できるので、表示される映像の画質を向上できる。
例えば、前記解釈部は、決定された前記変換処理の前記変換モードが、前記第2変換モードに含まれ、かつ、前記第3変換モードに含まれない場合、前記データ出力装置で前記変換処理を行うと決定してもよい。
例えば、前記解釈部は、決定された前記変換処理の前記変換モードが、前記第3変換モードに含まれ、かつ、前記第2変換モードに含まれない場合、前記表示装置で前記変換処理を行うと決定してもよい。
例えば、前記解釈部は、さらに、前記複数の第1変換モードの各々のためのパラメータを前記表示装置から取得できるか否かに応じて、前記データ出力装置又は前記表示装置で行う前記変換処理の変換モードを決定してもよい。
これによれば、当該データ出力装置は、表示装置のパラメータを取得できるか否かに応じて使用する変換モードを決定するので、より適切な変換モードを選択できる。
例えば、前記解釈部は、前記複数の第1変換モードに含まれ、かつ前記複数の第2変換モード及び前記第3変換モードの少なくとも一方に含まれ、かつ、前記パラメータを前記表示装置から取得できる変換モードを前記データ出力装置又は前記表示装置で行う変換処理の変換モードに決定してもよい。
例えば、前記パラメータは、前記表示装置が表示可能な輝度範囲の最大値又は前記表示装置が表示可能な表示モードを示してもよい。
例えば、前記データ出力装置は、さらに、前記第1映像信号の解像度を下げることで第3映像信号を生成するダウンコンバート部を備え、前記出力部は、さらに、前記第3映像信号を前記表示装置へ出力してもよい。
これによれば、当該データ出力装置は、例えば、表示装置等に適した解像度に映像信号の解像度を変更できる。
例えば、前記変換部は、さらに、前記変換補助データに基づいて、前記1以上の第2変換モードのいずれかにより、前記第3映像信号の輝度範囲の変換処理を行うことで前記第3映像信号の輝度範囲より狭い輝度範囲の第4映像信号を生成し、前記出力部は、さらに、前記第4映像信号を前記表示装置へ出力してもよい。
これによれば、当該データ出力装置は、例えば、表示装置等に適した解像度及び輝度範囲に映像信号の解像度及び輝度範囲を変更できる。
例えば、前記表示装置が、前記第1映像信号の解像度の映像の表示に対応していない場合、(1)前記ダウンコンバート部は、前記第3映像信号を生成し、(2)前記出力部は、前記第3映像信号を前記表示装置へ出力してもよい。
例えば、前記表示装置が、前記第1映像信号の輝度範囲の映像の表示に対応していない場合、(1)前記変換部は、前記第2映像信号を生成し、(2)前記出力部は、前記第2映像信号及び前記制御情報を前記表示装置へ出力してもよい。
また、本開示の一態様に係るデータ出力方法は、データ出力装置におけるデータ出力方法であって、映像ストリームを復号することで第1映像信号を生成する復号ステップと、映像信号の輝度範囲を変換する1以上の第1変換モードに対応する1以上のメタデータを取得する取得ステップと、前記1以上のメタデータの1つを解釈することで、前記第1映像信号の輝度範囲を示す特性データと、前記第1映像信号の輝度範囲を変換するための変換補助データと、を取得する解釈ステップと、前記特性データを、所定の伝送プロトコルに従った制御情報に変換する制御情報生成ステップと、映像信号の輝度範囲を変換する1以上の第2変換モードに対応している変換部が、前記変換補助データに基づいて、前記1以上の第2変換モードのいずれかにより、前記第1映像信号の輝度範囲の変換処理を行うことで前記第1映像信号の輝度範囲より狭い輝度範囲の第2映像信号を生成する変換ステップと、前記第2映像信号及び前記制御情報を前記伝送プロトコルで表示装置へ出力する出力ステップとを含む。
これによれば、当該データ出力方法は、複数のメタデータに対応する第1変換モードと、データ出力装置が対応している第2変換モードと、表示装置が対応している第3変換モードとに基づき、データ出力装置及び表示装置のどちらで変換処理を行うかを決定できる。これにより、データ出力方法は、適切に変換処理を行う装置を決定できる。
また、本開示の一態様に係るプログラムは、前記データ出力方法をコンピュータに実行させる。
また、本開示の一態様に係るデータ生成方法は、データ生成装置が行うデータ生成方法であって、映像信号の輝度範囲を変換する1以上の変換モードに対応する1以上のメタデータを生成する第1生成ステップと、前記映像信号と、前記1以上のメタデータと、前記1以上の変換モードの数を示す変換モード数とを含む映像ストリームを生成する第2生成ステップとを含む。
これによれば、当該データ生成方法は、1以上の変換モードに対応するメタデータを含む映像ストリームを生成できる。これにより、当該映像ストリームを再生する再生装置等において、適切な変換モードを選択できる。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
また、上記特徴に関しては、主に、[10.複数のHDRメタデータの格納例]~[13.データ出力装置の構成例2]において説明する。
また、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素。構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態)
[1.背景]
従来の画像信号より輝度範囲が高い画像信号であるHDR(High Dynamic Range)信号は、HDR信号を格納したBlu-ray(登録商標、以下同様)ディスク等のパッケージメディア、放送、又はOTT(Over The Top)等の配信媒体経由で配信される。ここで、OTTとは、インターネット上で提供されるWebサイト、動画或いは音声などのコンテンツ或いはサービス、又はそれらを提供する事業者を意味する。配信されたHDR信号は、Blu-ray機器等により復号される。また、復号されたHDR信号は、HDR対応表示装置(TV、プロジェクタ、タブレット、又はスマートフォン等)に送られ、HDR対応表示装置によりHDR映像が再生される。
HDR技術はまだ初期段階であり、最初に導入したHDR技術が採用された後に、新たなHDR方式が開発されることが想定される。この場合、新たに作成されたHDR方式のHDR信号(及びメタデータ)をHDR配信媒体に格納することにより新規HDR方式を採用できる。本開示では、新たなHDR信号形式(メタデータ)を格納した配信媒体に対して、元の配信媒体用に設計された復号装置(例えばBlu-ray機器)を変えることなく、元の技術でのHDR再生は保証することで互換性を保持し、新たな方式に対応したHDR復号装置(例えばBlu-ray機器)では新たなHDR方式の処理に対応することが可能にする方法及び装置を実現する。
まず、映像技術の変遷について、図1を用いて説明する。図1は、映像技術の進化について説明するための図である。
これまで、映像の高画質化としては、表示画素数の拡大に主眼がおかれ、Standard Definition(SD)の720×480画素の映像から、High Definition(HD)の1920×1080画素の、所謂2K映像が普及している。
近年、映像の更なる高画質化を目指して、Ultra High Definition(UHD)の3840×1920画素、あるいは、4Kの4096×1920画素の、所謂4K映像の導入が開始された。
そして、4Kの導入による映像の高解像度化を行うと共に、ダイナミックレンジ拡張や色域の拡大、あるいは、フレームレートの追加、向上などを行うことで映像を高画質化することが検討されている。
その中でも、ダイナミックレンジについては、従来の映像における暗部階調を維持しつつ、現行のTV信号では表現不能な鏡面反射光などの明るい光を、より現実に近い明るさで表現するために最大輝度値を拡大した輝度範囲に対応させた方式として、HDR(High Dynamic Range)が注目されている。具体的には、これまでのTV信号が対応している輝度範囲の方式は、SDR(Standard Dynamic Range)と呼ばれ、最大輝度値が100nitであったのに対して、HDRでは1000nit以上まで最大輝度値を拡大することが想定されている。HDRは、SMPTE(Society of Motion Picture & Television Engineers)やITU-R(International Telecommunications Union Radiocommunications Sector)などにおいて、標準化が進行中である。
HDRの具体的な適用先としては、HDやUHDと同様に、放送やパッケージメディア(Blu-ray Disc等)、インターネット配信などで使われることが想定されている。
なお、以下では、HDRに対応した映像において、当該映像の輝度は、HDRの輝度範囲の輝度値からなり、当該映像の輝度値が量子化されることで得られた輝度信号をHDR信号と呼ぶ。SDRに対応した映像において、当該映像の輝度は、SDRの輝度範囲の輝度値からなり、当該映像の輝度値が量子化されることで得られた輝度信号をSDR信号と呼ぶ。
[2.HDR導入時のマスター、配信方式、および表示装置の関係]
図2は、SDRとHDRのホームエンターテイメント用マスターを制作するフローと、配信媒体及び表示装置の関係を示す図である。
HDRのコンセプトは提案されており、HDRのコンセプトレベルでの有効性は確認されている。また、HDRの最初の実施方法が提案されている。ただし、この方法を使ってHDRコンテンツが大量に作られ、最初の実施方法の実証が行われたわけではない。このため、今後HDRコンテンツの制作が本格化した場合、現状のHDRの制作方式、特にメタデータが変わる可能性がある。
[3.EOTFの使い方]
図3は、コンテンツに格納される輝度信号のコード値の決定方法、および、再生時にコード値から輝度値を復元するプロセスの説明図である。
本例における輝度を示す輝度信号はHDRに対応したHDR信号である。グレーディング後の画像は、HDRの逆EOTFにより量子化され、当該画像の輝度値に対応するコード値が決定する。このコード値に基づいて画像符号化などが行われ、ビデオのストリームが生成される。再生時には、ストリームの復号結果に対して、HDRのEOTFに基づいて逆量子化することによりリニアな信号に変換され、画素毎の輝度値が復元される。以下、HDRの逆EOTFを用いた量子化を「逆HDRのEOTF変換」という。HDRのEOTFを用いた逆量子化を「HDRのEOTF変換」という。同様に、SDRの逆EOTFを用いた量子化を「逆SDRのEOTF変換」という。SDRのEOTFを用いた逆量子化を「SDRのEOTF変換」という。
この輝度値とメタデータを使って、映像変換処理部で、映像表示部で表示できる輝度値に変換することで、映像表示部でHDR映像を表示することができる。例えば、元のHDR映像のピーク輝度が2000nitであり、映像表示部のピーク輝度が800nitの場合、変換を行って輝度を下げることができる。
このように、HDRマスターの方式は、EOTF及びメタデータとHDR信号との組み合わせにより実現されている。よって、より効率的なEOTF及びメタデータが開発され、そのようなEOTF及びメタデータを用いたHDR方式を採用すべき時が来る可能性がある。
但し、この新たな方式がどのようなものになるかは、現時点では解らないが、EOTFが変更される可能性とメタデータが追加される可能性とは想像できる。この場合、HDR信号自体も変わる。
本開示は、このようにHDRの伝送フォーマットが変更された場合でも、HDR対応機器を買ったお客様が新たな機器を買いなおすリスクを下げることで、HDRの普及を図ることを目指している。
[4.メタデータ]
図4は、HDRメタデータの例を示す図である。HDRメタデータは、映像信号の輝度範囲の変更(DR変換)に用いられる変換補助情報と、HDR制御情報とを含む。各情報は、例えばタイトル単位で設けられる静的HDRメタデータと、例えばフレーム単位で設けられる動的HDRメタデータとのいずれかである。また、静的HDRメタデータは、必須メタデータ(基本データ)と、選択メタデータ(拡張データ)とのいずれかに分類され、動的HDRメタデータは、選択メタデータに分類される。なお、各情報の詳細は後述する。
[5.HDRメタデータ]
HDRコンテンツにおけるマスタリング時の特性を示すパラメータとしては、タイトル毎又はプレイリスト毎に固定である静的HDRメタデータと、シーン毎に可変である動的HDRメタデータとが存在する。ここで、タイトル及びプレイリストは、連続して再生される映像信号を示す情報である。以降、連続して再生される映像信号を連続再生単位と呼ぶ。
例えば、静的HDRメタデータは、EOTF関数(カーブ)の種類、18%Gray値、Diffuse White値、Knee point、及びClip pointの少なくとも一つを含む。EOTFは、複数の輝度値と複数のコード値とを関係付けた情報であり、映像信号の輝度範囲を変更するための情報である。その他の情報は、映像信号の輝度に関する属性情報であることから、静的HDRメタデータは、映像信号の輝度範囲に関する情報であり、映像信号の輝度範囲を特定するための情報と言える。
具体的には、18%Gray値及びDiffuse White値は、予め定められた基準となる明るさの映像における輝度値(nit)を示し、言い換えると、映像における基準の明るさを示す。より具体的には、18%Gray値は、マスタリング前において18nitの明るさの物体のマスタリング後の輝度値(nit)を示す。Diffuse White値は、白色に相当する輝度値(nit)を示す。
また、Knee point及びClip pointは、EOTF関数のパラメータであり、EOTFにおける特性が変化する点を示す。具体的には、Knee pointは、撮影時のオリジナルの輝度値(入力輝度)の増分に対する、映像信号の輝度としてEOTFにマッピングされる輝度値(出力輝度)の増分を、1対1とは異なる値とする変化点を示す。例えば、Knee pointは、後述する図30Aにおいて、線形変化からはずれる点を特定するための情報である。また、Clip pointは、EOTF関数においてクリップが開始される点を示す。ここでクリップとは、ある値以上の入力輝度値を同一の出力輝度値に変換することである。例えば、Clip pointは、後述する図30Bにおいて、出力輝度値が変化しなくなる点を示す。
また、EOTF関数(カーブ)の種類とは、例えば、図27Aに示すHDRのEOTF及びSDRのEOTFである。
このように、本実施の形態に係るコンテンツデータ生成方法は、コンテンツデータを生成するコンテンツデータ生成方法であって、映像信号と、映像信号の連続再生単位に含まれる複数の画像(連続再生単位を構成する映像信号)に対して共通に用いられる情報であって、映像信号の輝度範囲に関する情報を含む静的HDRメタデータ(第1メタデータ)とを生成する第1生成ステップと、連続再生単位と静的HDRメタデータとを関連付けることによりコンテンツデータを生成する第2生成ステップを含む。例えば、映像信号の輝度範囲に関する情報とは、映像信号の輝度範囲を変換するための情報である。
また、静的HDRメタデータは、複数の輝度値と複数のコード値とを関係付けたEOTFを特定するための情報を含む。また、映像信号における輝度値は、コード値として符号化される。
また、静的HDRメタデータは、さらに、予め定められた基準となる明るさの映像信号における輝度値を示す情報、又は、EOTFにおける特性が変化する点を示す情報を含む。例えば、静的HDRメタデータは、映像信号における白色に相当する輝度値を示す情報(Diffuse White値)を含む。
また、第1生成ステップでは、連続再生単位より細かい単位に対して共通に用いられる情報であって、映像信号の輝度範囲に関する情報である動的HDRメタデータ(第2メタデータ)をさらに生成する。例えば、映像信号の輝度範囲に関する情報とは、映像信号の輝度範囲を変換するための情報である。
動的HDRメタデータは、シーン毎に異なるマスタリング特性を示すパラメータなどである。ここでマスタリング特性とは、オリジナル(マスタリング前)の輝度と、マスタリング後の輝度との関係を示す。例えば、マスタリング特性を示すパラメータとは、上記した静的HDRメタデータと同様の情報であり、言い換えると、静的HDRメタデータに含まれる情報の少なくとも一つである。
図5は、静的HDRメタデータの格納例を示す図である。本例は、Blu-rayディスクなどのパッケージメディアにおいて、静的HDRメタデータをプレイリストに格納する例である。
プレイリストから参照されるストリーム毎のメタデータの1つとして、静的HDRメタデータが格納される。この場合、静的HDRメタデータはプレイリスト単位で固定である。つまり、静的HDRメタデータは、各プレイリストに対応付けて格納される。
また、OTTでは、ストリームの取得に先立って参照されるマニフェストファイルに静的HDRメタデータが格納されてもよい。つまり、本実施の形態に係るコンテンツデータ生成方法は、映像信号を映像ストリームとして生成し、静的HDRメタデータを、映像ストリームの取得に先立って参照されるマニフェストファイルに格納してもよい。
また、放送では、ストリームの属性を示す記述子に静的HDRメタデータが格納されてもよい。つまり、本実施の形態に係るコンテンツデータ生成方法は、コンテンツデータを映像ストリームとして生成し、静的HDRメタデータを、映像ストリームの属性を示す識別子として当該映像ストリームとは独立に格納してもよい。例えば、静的HDRメタデータを、MPEG2-TSにおける記述子(デスクリプタ)として格納できる。
また、タイトル毎に静的HDRメタデータが固定である場合には、静的HDRメタデータは、タイトルの属性を示す管理情報として格納されてもよい。
図6は、動的HDRメタデータの、ビデオストリーム内への格納例を示す図である。MPEG-4 AVC又はHEVC(High Efficiency Video Coding)では、SEI(Supplemental Enhancement Information)と呼ばれるデータ構造を用いて、ストリームの再生制御に関わる情報を格納する。よって、例えば、SEIに動的HDRメタデータが格納される。
動的HDRメタデータは、シーン毎に更新されることが想定される。シーンの先頭は、GOP(Group Of Pictures)などのランダムアクセス単位の先頭のアクセスユニット(AU)である。従って、動的HDRメタデータは、ランダムアクセス単位における復号順で先頭のアクセスユニットに格納することにしてもよい。ランダムアクセス単位の先頭アクセスユニットは、IDRピクチャ、又は、SPS(Sequence Parameter Set)が付加されたnon-IDR Iピクチャなどとなる。よって、受信側の装置は、ランダムアクセス単位の先頭アクセスユニットを構成するNAL(Network Abstraction Layer)ユニットを検出することにより、動的HDRメタデータを取得できる。あるいは、動的HDRメタデータを格納するSEIに対して、固有のタイプが付与されてもよい。
なお、EOTF関数の種類について、SPSにおけるストリームの属性情報などとして格納されてもよい。つまり、本実施の形態に係るコンテンツデータ生成方法は、コンテンツデータをHEVCにより符号化した映像ストリームとして生成し、EOTFを特定するための情報を、映像ストリームに含まれるSPSに格納してもよい。
[6.静的HDRメタデータの伝送方法]
図7は、静的HDRメタデータの伝送方法を示す図であり、BDプレーヤ(Blu-ray機器)又はレコーダなどの再生装置においてHDMI(登録商標、以下同様)などの伝送プロトコルを通じて、表示装置にHDR信号を伝送する際の動作例を示すフローチャートである。
静的HDRメタデータは、タイトル単位又はプレイリスト単位で固定であることを先に述べた。従って、再生装置は、静的HDRメタデータの設定が必要な場合(S401でYes)、タイトル又はプレイリストの再生開始時において、静的HDRメタデータをコンテンツの管理情報から取得して、取得した静的HDRメタデータをHDMIの制御情報として格納して伝送する。つまり、再生装置は、タイトル又はプレイリストを構成する映像信号の伝送開始に先立って、当該タイトル又はプレイリストに対応する静的HDRメタデータを取得し、取得した静的HDRメタデータをHDMIの制御情報として伝送する(S402)。より一般的には、再生装置は、当該再生装置と表示装置との間のHDMIの初期化処理を行う際に、初期化情報として静的HDRメタデータを伝送してもよい。
その後、再生装置は、静的HDRメタデータに対応するビデオストリームを伝送する(S403)。なお、このビデオストリームに対しては、伝送済みの静的HDRメタデータが有効となる。
このように、本実施の形態に係る映像ストリーム伝送方法は、映像ストリーム(ビデオストリーム)を伝送する映像ストリーム伝送方法であって、映像信号と、連続再生単位に含まれる複数の画像に対して共通に用いられる情報であって、映像信号の輝度範囲に関する静的HDRメタデータ(第1メタデータ)とを含むコンテンツデータを取得する取得ステップと、映像信号に対応する映像ストリームと、静的HDRメタデータとを伝送する伝送ステップとを含む。
例えば、伝送ステップでは、HDMIの通信プロトコルに従い、映像ストリームと静的HDRメタデータとを伝送する。
また、動的HDRメタデータは、ビデオストリームの一部として伝送される。
なお、再生装置は、動的HDRメタデータを、当該動的HDRメタデータが有効となるタイミングにおいてHDMIの制御信号として伝送してもよい。このとき、再生装置は、静的HDRメタデータと動的HDRメタデータとに識別子などを設けて互いに識別できるようにして伝送する。
また、制御信号においては、動的HDRメタデータを格納するためのコンテナのデータ構造のみ規定しておき、コンテナのペイロードデータとしてSEIの内容をそのままコピーできるようにしてもよい。これにより、SEIに含まれる動的HDRメタデータのシンタックスが更新されてもBDプレーヤ等の再生装置の実装を変更せずに対応できる。
静的HDRメタデータについても同様に、コンテンツの管理情報における静的HDRメタデータをコピーして伝送できるようにしておけば、静的HDRメタデータのシンタックスの変更に対しても、再生装置の実装を変更せずに対応可能である。つまり、静的HDRメタデータを格納するためのコンテナのデータ構造が規定されており、伝送ステップでは、コンテンツデータに含まれる静的HDRメタデータを、コンテナのペイロードにコピーし、当該コンテナを伝送してもよい。
[7.HDRメタデータの処理方法]
図8は、表示装置においてHDR信号を表示する際のHDRメタデータの処理方法の例を示すフローチャートである。まず、表示装置は、HDMIの制御情報から静的HDRメタデータを取得し(S411)、取得した静的HDRメタデータに基づき、HDR信号の表示方法を決定する(S412)。
なお、制御情報に静的HDRメタデータが含まれない場合には、表示装置は、アプリケーション規格において予め定められた値、又は、表示装置のデフォルト設定に基づいて、HDR信号の表示方法を決定する。つまり、本実施の形態に係る映像表示方法は、静的HDRメタデータを取得できない場合、予め定められた値又は設定に基づき、映像信号に対応する映像の表示方法を決定する。
また、表示装置は、ビデオストリーム内のSEIなどにおいて動的HDRメタデータを検出した場合(S413でYes)、動的HDRメタデータに基づいてHDR信号の表示方法を更新する(S414)。つまり、本実施の形態に係る映像表示方法は、静的HDRメタデータを取得した場合、取得した静的HDRメタデータに基づき表示方法を決定して映像を表示し、動的HDRメタデータを取得した場合、静的HDRメタデータに基づき決定した表示方法を、動的HDRメタデータに基づき決定した表示方法に更新して映像を表示する。あるいは、静的HDRメタデータと動的HDRメタデータとの両方に基づいて表示方法を決定してもよい。
なお、表示装置が、動的HDRメタデータの取得に対応していない場合には、表示装置は、静的HDRメタデータのみに基づいて動作してもよい。また、表示装置が動的HDRメタデータの取得に対応している場合でも、表示装置が、メタデータが格納されたアクセスユニットの表示時刻(PTS:Presentation Time Stamp)に同期してHDR信号の表示方法を更新できないことがある。この場合には、表示装置は、メタデータを取得後、表示方法を更新可能な最も早い時刻以降に表示されるアクセスユニットから、表示方法を更新してもよい。
なお、HDRメタデータにバージョン情報などを付与することで、パラメータの更新及び追加に対応できる。これにより、表示装置は、HDRメタデータのバージョン情報に基づいて、当該メタデータが解釈可能であるかを判定できる。あるいは、HDRメタデータは、基本部と拡張部とから構成され、パラメータの更新又は追加は拡張部の変更により対応し、基本部は更新しないことにしてもよい。つまり、静的HDRメタデータ及び動的HDRメタデータの各々は、複数のバージョンを有し、複数のバーションで共通に用いられる基本部と、バージョン毎に異なる拡張部とを含んでもよい。こうすることで、基本部のHDRメタデータに基づいて、表示装置における後方互換性を確保できる。
このように、本実施の形態に係る映像表示方法は、映像ストリームに基づき映像を表示する映像表示方法であって、映像信号に対応する映像ストリームと、静的HDRメタデータ(第1メタデータ)とを取得する取得ステップと、静的HDRメタデータに基づき、映像信号に対応する映像の表示方法を決定して表示する表示ステップとを含む。
また、映像信号における輝度値は、コード値として符号化されており、静的HDRメタデータは、複数の輝度値と複数のコード値とを関係付けたEOTFを特定するための情報を含み、表示ステップでは、静的HDRメタデータで特定されるEOTFを用いて、映像信号で示されるコード値を輝度値に変換することで映像を生成する。
[8.データ出力装置]
図9は、BDプレーヤなどのHDR信号を出力するデータ出力装置400の構成を示すブロック図である。データ出力装置400に入力されるHDRメタデータは、HDR信号のマスタリング特性を示す特性データと、HDR信号をSDR信号に変換する、又は、HDR信号のダイナミックレンジを変換する際のトーンマッピング方法を示す変換補助データとを含む。これら2種類のメタデータは、図5及び図6において説明したように、静的HDRメタデータ、又は、動的HDRメタデータとして格納される。さらに、静的HDRメタデータは、コンテンツの管理情報及び、映像ストリーム内の少なくとも一方に格納される。
データ出力装置400は、ビデオ復号部401と、外部メタ取得部402と、HDRメタ解釈部403と、HDR制御情報生成部404と、DR変換部405と、HDMI出力部406とを備える。
ビデオ復号部401は、ビデオの符号化ストリームである映像ストリームを復号することで映像信号(第1映像信号)を生成し、得られた映像信号をDR変換部405に出力する。また、ビデオ復号部401は、映像ストリーム内のHDRメタデータ(第2メタデータ)(静的HDRメタデータ又は動的HDRメタデータ)を取得する。具体的には、ビデオ復号部401は、MPEG-4 AVC又はHEVCのSEIメッセージなどに格納されたHDRメタデータをHDRメタ解釈部403に出力する。
外部メタ取得部402は、プレイリストなどのコンテンツの管理情報に格納された静的HDRメタデータ(第1メタデータ)を取得し、取得した静的HDRメタデータをHDRメタ解釈部403に出力する。ここで、コンテンツの管理情報に、プレイアイテムなど、ランダムアクセス可能な所定の単位において変更可能な動的HDRメタデータが格納されていてもよい。この場合、外部メタ取得部402は、コンテンツの管理情報から、動的HDRメタデータを取得し、取得した動的HDRメタデータをHDRメタ解釈部403に出力する。
HDRメタ解釈部403は、ビデオ復号部401又は外部メタ取得部402から出力されたHDRメタデータの種類を判定し、特性データをHDR制御情報生成部404に出力し、変換補助データをDR変換部405に出力する。
なお、ビデオ復号部401及び外部メタ取得部402の両方において静的HDRメタデータが取得される場合には、外部メタ取得部402から出力された静的HDRメタデータのみが有効なメタデータとして用いられてもよい。つまり、外部メタ取得部402で取得された第1メタデータ及びビデオ復号部401で取得された第2メタデータが、第1映像信号の連続再生単位に含まれる複数の画像に対して共通に用いられる静的HDRメタデータである場合において、HDRメタ解釈部403は、第1メタデータ及び第2メタデータを共に取得した場合、第1メタデータを解析することで特性データ及び変換補助データを取得する。
または、HDRメタ解釈部403は、外部メタ取得部402で静的HDRメタデータが取得された場合、当該静的HDRメタデータを有効なメタデータとして用い、さらに、ビデオ復号部401で静的HDRメタデータが取得された場合、当該静的HDRメタデータで有効なメタデータを上書きしてもよい。つまり、外部メタ取得部402で取得された第1メタデータ及びビデオ復号部401で取得された第2メタデータが、第1映像信号の連続再生単位に含まれる複数の画像に対して共通に用いられる静的HDRメタデータである場合において、HDRメタ解釈部403は、第1メタデータ及び第2メタデータのうち第1メタデータのみが取得された場合、第1メタデータを解析することで特性データ及び変換補助データを取得し、第2メタデータが取得された場合、使用するメタデータを第1メタデータから第2メタデータに切り替える。
HDR制御情報生成部404は、特性データに基づいてHDMIにおけるHDR制御情報を生成し、生成したHDR制御情報をHDMI出力部406に出力する。ここで、動的HDRメタデータについては、メタデータが有効となるビデオ信号と同期して、HDR制御情報が出力できるように、HDMI出力部406におけるHDR制御情報の出力タイミングが決定される。つまり、HDMI出力部406は、メタデータが有効になるビデオ信号(映像信号)と同期してHDR制御情報を出力する。
DR変換部405は、変換補助データに基づいて、復号後の映像信号をSDR信号に変換したりダイナミックレンジを変換したりする。ここで、データ出力装置400と接続される表示装置がHDR信号の入力に対応している場合にはDR変換部405による変換は不要である。従って、データ出力装置400は、接続先の表示装置がHDR信号の入力に対応しているかどうかをHDMIの初期化処理などにおいて確認することで、変換処理が必要であるかどうかを判定してもよい。変換処理が不要と判定された場合には、ビデオ復号部401で得られた第1映像信号は、DR変換部405を介さずにHDMI出力部406に入力される。
つまり、HDMI出力部406は、データ出力装置400に接続されている表示装置がHDR信号(第1映像信号)の輝度範囲の映像出力に対応している場合、第1映像信号及びHDR制御情報を表示装置へ出力する。また、HDMI出力部406は、データ出力装置400に接続されている表示装置がHDR信号(第1映像信号)の輝度範囲の映像出力に対応していない場合、HDRをSDRに変換した第2映像信号及びHDR制御情報を表示装置へ出力する。また、HDMI出力部406は、表示装置がHDR信号(第1映像信号)の輝度範囲の映像出力に対応していか否かを、伝送プロトコル(例えばHDMI)の初期化処理において判定する。
HDMI出力部406は、DR変換部405又はビデオ復号部401から出力された映像信号、及びHDR制御情報をHDMIのプロトコルに従って出力する。
なお、データ出力装置400が、放送又はOTTのコンテンツを受信して出力する場合にも、同様の構成を用いることができる。また、データ出力装置400と表示装置とが単一の機器に含まれる場合には、HDMI出力部406は必要ない。
また、上記説明では、データ出力装置400が管理情報等からメタデータを取得する外部メタ取得部402を備え、ビデオ復号部401が映像ストリームからメタデータを取得する機能を有しているが、データ出力装置400は、いずれか一方のみを有してもよい。
また、上記説明では、データ出力装置400がHDMIに従ったデータ(映像信号及びHDR制御情報)を出力する例を述べたが、データ出力装置400は任意の伝送プロトコルに従ったデータを出力すればよい。
このように、データ出力装置400は、映像ストリームを復号することで第1輝度範囲(HDR)の第1映像信号を生成する復号部(ビデオ復号部401)と、第1映像信号の輝度範囲に関する第1メタデータを取得する取得部(ビデオ復号部401及び外部メタ取得部402の少なくとも一方)と、第1メタデータを解釈することで、第1映像信号の輝度範囲を示す特性データを取得する解釈部(HDRメタ解釈部403)と、特性データを、所定の伝送プロトコル(例えばHDMI)に従ったHDR制御情報に変換する制御情報生成部(HDR制御情報生成部404)と、HDR制御情報を所定の伝送プロトコルで出力する出力部(HDMI出力部406)とを備える。
これによれば、データ出力装置400は、メタデータに含まれる特性データに基づき、制御情報を生成できる。
また、解釈部(HDRメタ解釈部403)は、さらに、第1メタデータを解釈することで、第1映像信号の輝度範囲を変換するための変換補助データを取得し、データ出力装置400は、さらに、変換補助データに基づいて、第1映像信号の輝度範囲を変換することで第1映像信号の輝度範囲より狭い輝度範囲の第2映像信号を生成する変換部(DR変換部405)を備え、出力部(HDMI出力部406)は、さらに、第1映像信号及び第2映像信号の少なくとも一方を所定の伝送プロトコルで出力する。
これによれば、データ出力装置400は、メタデータに含まれる変換補助データを用いて第1映像信号の輝度範囲を変更できる。
また、復号部(ビデオ復号部401)は、さらに、映像ストリームから第1映像信号の輝度範囲に関する第2メタデータ(HDRメタデータ)を取得し、解釈部(HDRメタ解釈部403)は、第1メタデータ及び第2メタデータの少なくとも一方を解析することで特性データ及び変換補助データを取得する。
また、図4に示すように、静的HDRメタデータは、必須メタデータと選択メタデータとを含み、動的HDRメタデータは、選択メタデータのみを含む。つまり、静的HDRメタデータは常に用いられ、動的HDRメタデータは選択的に用いられる。このように、外部メタ取得部402で取得された第1メタデータ又はビデオ復号部401で取得された第2メタデータは、映像信号の連続再生単位に含まれる複数の画像に対して共通に用いられ、特性データを含む静的HDRメタデータ(静的メタデータ)を含む。HDR制御情報生成部404は、静的HDRメタデータに含まれる特性データを、所定の伝送プロトコルに従ったHDR制御情報に変換する。HDMI出力部406は、第1映像信号(HDR信号)を出力する場合、静的HDRメタデータに基づくHDR制御情報を出力する。
また、外部メタ取得部402で取得された第1メタデータ又はビデオ復号部401で取得された第2メタデータは、さらに、映像信号の連続再生単位より細かい単位に対して共通に用いられ、特性データを含む動的HDRメタデータ(動的メタデータ)を含む。HDR制御情報生成部404は、静的HDRメタデータに含まれる特性データ及び動的HDRメタデータに含まれる特定データを、所定の伝送プロトコルに従ったHDR制御情報に変換する。HDMI出力部406は、第1映像信号(HDR信号)を出力する場合、静的HDRメタデータ及び動的HDRメタデータに基づくHDR制御情報を出力する。
また、本開示に係るデータ生成方法は、データ生成装置が行うデータ生成方法であって、映像信号の輝度範囲に関するメタデータを生成する第1生成ステップと、映像信号とメタデータとを含む映像ストリームを生成する第2生成ステップとを含む。メタデータは、映像信号の輝度範囲を示す特性データと、映像信号の輝度範囲を変換するための変換補助データとを含む。
[9.HDRメタデータの格納例]
図10は、HDRメタデータを格納するSEIメッセージのデータ構造例を示す図である。図10に示すように、HDRメタデータ専用のSEIメッセージが定義されてもよい。つまり、メタデータは、メタデータ専用のメッセージに格納されてもよい。
または、HDRメタデータは、ユーザーデータ格納用の汎用的なSEIメッセージに格納され、当該メッセージのペイロード部分に当該メッセージにHDRメタデータが格納されることを示す情報(後述するHDR拡張識別情報)が設けられてもよい。
HDRメタデータは、静的HDRメタデータと動的HDRメタデータとを含む。また、静的HDRメタデータが格納されているかどうかを示すフラグ情報と、動的HDRメタデータが格納されているかどうかを示すフラグ情報とが設けられてもよい。これにより、静的HDRメタデータのみを格納する方法、動的HDRメタデータのみを格納する方法、及び、静的HDRメタデータと動的HDRメタデータとの両方を格納する方法の3通りの格納方法を用いることができる。
さらに、それぞれのメタデータに対して、解釈が必須である基本データ(基本部)と、解釈がオプションである(解釈が任意である)拡張データ(拡張部)とが定義されてもよい。例えば、メタデータのタイプ(基本データ又は拡張データ)を示すタイプ情報とサイズがヘッダ情報に含まれ、ペイロードにメタデータが格納されるコンテナのフォーマットが定義される。つまり、メタデータは、ペイロードと、ペイロードのデータが基本データであるか拡張データであるかを示す情報と、ペイロードのデータサイズを示す情報とを含む。言い換えると、メタデータはメタデータの種別を示すタイプ情報を含む。例えば、タイプ値が0であるコンテナには基本データが格納される。また、拡張データに対してはタイプ値として1以上の値が割り当てられ、その値により拡張データの種別が示される。
データ出力装置及び表示装置は、タイプ値を参照して、自身が解釈可能なコンテナのデータを取得する。つまり、データ出力装置(又は表示装置)は、タイプ情報を用いて、データ出力装置(又は表示装置)がメタデータを解釈可能であるかを判定し、データ出力装置(又は表示装置)が当該メタデータを解釈可能である場合、当該メタデータを解釈することで特性データ及び変換補助データを取得する。
また、HDRメタデータの最大サイズが予め設定され、基本データと拡張データとのサイズの総和が最大サイズ以下となるようにメタデータが生成されてもよい。つまり、メタデータのデータサイズの最大値が規定されており、本開示に係るデータ生成方法は、基本データ及び拡張データの合計のデータサイズを、最大値以下になるようにメタデータを生成する。
データ出力装置及び表示装置が、この最大サイズ分のメモリを備えることで、HDRメタデータを全てメモリ内に格納できることを保証できる。あるいは、静的HDRメタデータ、又は動的HDRメタデータに対して固定サイズ分のデータ領域を確保しておき、基本データを格納する領域以外は将来拡張用としておくなども可能である。
このようなデータ構造は、コンテンツの管理情報におけるHDRメタデータの格納に用いられてもよい。
図11は、ユーザーデータ格納用のSEIメッセージにHDRメタデータが格納される場合のデータ構造の一例を示す図である。メッセージがHDR拡張識別情報と拡張タイプIDとを含む点以外は、図11のデータ構造と同様である。HDR拡張識別情報は、当該メッセージにHDRメタデータが含まれることを示す。拡張タイプIDは、HDRメタデータのバージョン等を示す。つまり、メタデータは、HEVCのSEIメッセージに格納され、当該SEIメッセージは、当該SEIメッセージにメタデータが含まれるか否かを示すHDR拡張識別情報を含む。
この場合、データ出力装置は、HDR拡張識別情報を含むユーザーデータ格納用のSEIメッセージを受信し、かつデータ出力装置に接続されている表示装置がHDR信号及びHDR制御情報の入力に対応している場合には、HDMIなどの表示装置への出力I/Fのプロトコルに従って、受信したSEIメッセージをそのままコピーして出力する。つまり、データ出力装置は、当該SEIメッセージにメタデータが含まれることを示すHDR拡張識別情報を含むSEIメッセージが取得され、かつ、データ出力先の表示装置がHDR制御情報の入力に対応している場合には、当該SEIメッセージを所定の伝送プロトコル(例えばHDMI)に従ってそのまま出力する。
これにより、メタデータの内容によらずデータ出力装置は表示装置へHDRメタデータを出力することが可能となる。このような構成により、将来新たなDR変換処理が開発されて新たなHDRメタデータが定義され、この新HDRメタデータに対応する表示装置が新HDRメタデータに対応しないデータ出力装置に接続された場合でも、データ出力装置から表示装置へ新HDRメタデータを出力できる。また、表示装置において新HDRメタデータに応じたDR変換処理の実施が可能となる。
[10.複数のHDRメタデータの格納例]
図12は、一つのユーザーデータ格納用のSEIメッセージに複数のHDRメタデータを格納する際のデータ構造の一例を示す図である。本SEIメッセージには、ダイナミックレンジ(輝度範囲)の変換に係る複数の変換モード(方式)に対する複数のHDRメタデータが格納される。
図12に示すデータ構造は、図11に示すデータ構造に対して、HDRメタデータが提供される変換モードの数を示すフィールド(変換モード数)が追加されている。また、変換モード数の後に、各変換モードに対応する複数のHDRメタデータが順に格納される。
つまり、本実施の形態に係るデータ生成方法は、データ生成装置が行うデータ生成方法であって、映像信号の輝度範囲を変換する1以上の変換モードに対応する1以上のメタデータ(HDRメタデータ)を生成する第1生成ステップと、映像信号と、1以上のメタデータと、1以上の変換モードの数を示す変換モード数とを含む映像ストリームを生成する第2生成ステップとを含む。
[11.データ出力装置及びDR変換部の構成]
図13は、本実施の形態に係るデータ出力装置500の構成例を示すブロック図である。このデータ出力装置500は、ビデオ復号部501と、外部メタ取得部502と、HDRメタ解釈部503と、HDR制御情報生成部504と、DR変換部505と、HDMI出力部506とを備える。なお、HDRメタ解釈部503及びDR変換部505の動作が、図9に示すデータ出力装置400と異なる。つまり、ビデオ復号部501、外部メタ取得部502、HDR制御情報生成部504及びHDMI出力部506の動作は、ビデオ復号部401、外部メタ取得部402及びHDR制御情報生成部404及びHDMI出力部406の動作と同様である。
また、データ出力装置500は、表示装置510(表示部)と接続されており、生成した映像信号及びHDR制御情報を、HDMI等の所定の伝送プロトコルを介して表示装置510に出力する。
DR変換部505及び表示装置510は、それぞれ、複数のダイナミックレンジの変換モード(変換方式)に対応している。ここで、「対応している」とは、その変換モードの処理を行う機能を有することを意味する。まず、HDRメタ解釈部503は、外部メタ取得部502及びビデオ復号部501から、静的HDRメタデータ及び動的HDRメタデータを取得する。コンテンツの管理情報又は符号化映像ストリームには、複数の変換モードに対する複数のHDRメタデータが格納される。HDRメタ解釈部503は、複数のHDRメタデータが対応する複数の変換モードを、使用可能な複数の変換モードと判定する。
また、HDRメタ解釈部503は、表示装置510との間で通信すること、又は、別途ネットワークを経由することにより、表示装置510が対応しているHDR信号の変換モードの情報を取得する。そして、HDRメタ解釈部503は、(1)HDRメタデータが対応する変換モードと、(2)DR変換部505が対応している変換モードと、(3)表示装置510が対応している変換モードとに基づいて、(1)ダイナミックレンジの変換処理をデータ出力装置500及び表示装置510とのどちらで行うかと、(2)使用する変換モードとを決定する。
変換処理をデータ出力装置500で行うと決定された場合、DR変換部505は、HDRメタ解釈部503から指示された変換モードに従って、HDR信号をSDR信号に変換する。変換処理を表示装置510で行うと決定された場合には、データ出力装置500は、映像信号(HDR信号)を表示装置510に送信するとともに、変換に必要なHDRメタデータをHDMIの制御信号(HDR制御情報)として表示装置510に送信する。
なお、上記説明では、DR変換部505は、複数の変換モードに対応しているが、1以上の変換モードに対応していればよい。この場合、データ出力装置500は、1以上の変換モードに対応する1以上のHDRメタデータを取得すればよい。
このように、データ出力装置500は、映像ストリームを復号することで第1映像信号を生成する復号部(ビデオ復号部501)と、映像信号の輝度範囲を変換する1以上の第1変換モードに対応する1以上のメタデータを取得する取得部(ビデオ復号部501及び外部メタ取得部502の少なくとも一方)と、1以上のメタデータの一つを解釈することで、第1映像信号の輝度範囲を示す特性データと、第1映像信号の輝度範囲を変換するための変換補助データと、を取得する解釈部(HDRメタ解釈部503)と、特性データを、所定の伝送プロトコル(例えばHDMI)に従ったHDR制御情報に変換する制御情報生成部(HDR制御情報生成部504)と、映像信号の輝度範囲を変換する1以上の第2変換モードに対応しており、変換補助データに基づいて、1以上の第2変換モードのいずれかにより、第1映像信号の輝度範囲の変換処理を行うことで第1映像信号の輝度範囲より狭い輝度範囲の第2映像信号を生成する変換部(DR変換部505)と、第2映像信号及びHDR制御情報を所定の伝送プロトコルで表示装置510へ出力する出力部(HDMI出力部506)とを備える。解釈部(HDRメタ解釈部503)は、さらに、1以上の第1変換モードと、1以上の第2変換モードと、表示装置510が対応している、映像信号の輝度範囲を変換する第3変換モードとに基づいて、データ出力装置500及び表示装置510のどちらで上記変換処理を行うかを決定する。
これによれば、データ出力装置500は、1以上のメタデータに対応する第1変換モードと、データ出力装置500が対応している第2変換モードと、表示装置510が対応している第3変換モードとに基づき、データ出力装置500及び表示装置510のどちらで変換処理を行うかを決定できる。これにより、データ出力装置500は、適切に変換処理を行う装置を決定できる。
なお、データ出力装置500が対応している1以上の第2変換モードは、1以上のメタデータに対応する複数の第1変換モードの少なくとも一部を含んでもよいし、1以上の第1変換モードのいずれも含まなくてもよい。同様に、表示装置510が対応している第3変換モードは、1以上の第1変換モードの少なくとも一部を含んでもよいし、1以上の第1変換モードのいずれも含まなくてもよい。また、第3変換モードは、1以上の第2変換モードの少なくとも一部を含んでもよいし、1以上の第2変換モードのいずれも含まなくてもよい。
以下、DR変換部505の構成例を説明する。図14は、DR変換部505の構成例を示すブロック図である。このDR変換部505は、モード判定部511と、N個のモード処理部512と、変換結果出力部513とを備える。N個のモード処理部512は、各々がN個の変換モード(処理方式)の各々に対応し、対応する変換モードの処理を行う。モード判定部511は、HDRメタ解釈部503から指示された変換モードを取得し、変換処理を行うモード処理部512を決定する。つまり、モード判定部511は、HDRメタ解釈部503から指示された変換モードに対応するモード処理部512を選択する。決定されたモード処理部512は、HDR信号(映像信号)に変換処理を行うことでSDR信号(変換後の映像信号)を生成する。変換結果出力部513は、変換後のSDR信号を出力する。
図15は、DR変換部505の別の例であるDR変換部505Aの構成例を示すブロック図である。このDR変換部505は、モード判定部521と、基本処理部522と、N個の拡張モード処理部523と、変換結果出力部524とを備える。
基本処理部522は、N個の変換モードに共通の処理であるデフォルトの変換処理を行う。N個の拡張モード処理部523は、基本処理部522の処理に加え、動的HDRメタデータを用いて変換処理のパラメータを動的に制御するなどの拡張処理を行う。また、N個の拡張モード処理部523は、各々がN個の変換モードの各々に対応し、対応する変換モードの拡張処理を行う。例えば、基本処理部522は静的HDRメタデータのみを用いて動作し、拡張モード処理部523は、静的HDRメタデータに加えて、動的HDRメタデータを用いて動作する。
[12.HDRメタ解釈部の動作例]
図16及び図17は、HDRメタデータが提供される変換モードと、データ出力装置500における各モードのサポート有無、及び、表示装置510における各モードのサポート有無に基づく、HDRメタ解釈部503の指示内容の例を示す図である。HDRメタ解釈部503は、基本的には、選択可能な組合せの中で、マスター画像に対する再現性が最も高くなる動作を選択する。ここでマスター画像とは、輝度範囲を変更することなく出力した画像である。
例えば、図16に示す例では、データ出力装置500は、モード1及びモード2に対応しており、表示装置510は、いずれの変換モードにも対応していない。なお、モード1とモード2とでは、モード2のほうがマスター画像に対する再現性が高い。また、HDRメタ解釈部503は、各モードのマスター画像に対する再現性を予め把握している。この場合、HDRメタ解釈部503は、データ出力装置500で変換処理を行うと決定するとともに、モード1及びモード2のうち再現性が高いモード2を選択する。
また、図17に示す例では、データ出力装置500は、モード1に対応しており、表示装置510は、モード1及びモード2に対応している。この場合、HDRメタ解釈部503は、表示装置510で変換処理を行うと決定するとともに、モード1及びモード2のうち再現性が高いモード2を選択する。また、データ出力装置500は、モード2の変換処理に対応するHDRメタデータをHDMIの制御情報(HDR制御情報)として表示装置510に出力する。表示装置510は、当該制御情報を用いてモード2の変換処理を行う。
このように、HDRメタ解釈部503は、さらに、1以上のメタデータにそれぞれ対応する1以上の第1変換モードに含まれ、かつデータ出力装置500が対応する1以上の第2変換モードに含まれる変換モードをデータ出力装置500で行う変換処理の変換モードに決定する。具体的には、HDRメタ解釈部503は、さらに、1以上のメタデータにそれぞれ対応する1以上の第1変換モードに含まれ、かつデータ出力装置500が対応する1以上の第2変換モード及び表示装置510が対応する第3変換モードの少なくとも一方に含まれる変換モードをデータ出力装置500又は表示装置510で行う変換処理の変換モードに決定する。
より具体的には、HDRメタ解釈部503は、複数の第1変換モードに含まれ、かつ複数の第2変換モード及び第3変換モードの少なくとも一方に含まれる複数の変換モードのうち、マスター画像に対する再現性が最も高い変換モードをデータ出力装置500又は表示装置510で行う変換処理の変換モードに決定する。
言い換えると、データ出力装置500は、データ出力装置500及び表示装置510が対応している変換モードのうち最も再現性が高いモードを選択し、データ出力装置500及び表示装置510のうち選択したモードに対応している装置で変換処理を行うと決定する。
より具体的には、図16に示すように、HDRメタ解釈部503は、決定された変換処理の変換モードが、第2変換モードに含まれ、かつ、第3変換モードに含まれない場合、データ出力装置500で変換処理を行うと決定する。また、図17に示すように、HDRメタ解釈部503は、決定された変換処理の変換モードが、第3変換モードに含まれ、かつ、第2変換モードに含まれない場合、表示装置510で変換処理を行うと決定する。
これにより、データ出力装置500は、複数のメタデータに対応する第1変換モードと、データ出力装置が対応している第2変換モードと、表示装置が対応している第3変換モードとに基づき、使用する変換モードを決定できる。また、データ出力装置500は、マスター画像に対する再現性が最も高い変換モードを選択できるので、表示される映像の画質を向上できる。
図18は、データ出力装置500が表示装置510のパラメータを取得可能であるかどうかに応じて変換処理を決定する例を示す図である。表示装置510のパラメータとは、表示装置510のピーク輝度(表示装置510が表示可能な輝度範囲の最大値)、又は表示装置510が表示可能な表示モードなどである。具体的には、このパラメータは、表示モードとして、現在視聴中の表示モードを示す。例えば、表示モードとは、ノーマルモード、ダイナミックモード及びシネマモード等である。
図18に示す例では、データ出力装置500は、モード1、モード2及びモード3に対応しており、表示装置510は、モード1に対応している。また、データ出力装置500は、モード1及びモード2のための表示装置510のパラメータを取得可能であり、モード3のための表示装置510のパラメータを取得不可である。また、モード1よりモード2のほうが再現性が高く、モード2よりモード3のほうが再現性が高い。
この場合、データ出力装置500及び表示装置510が対応しているモードのうち最も再現性が高いモードはモード3であるが、データ出力装置500においてモード3のための表示装置510のパラメータを取得できないため、モード3は除外される。そして、データ出力装置500は、モード3の次に再現性が高く、かつパラメータを取得できるモード2を使用する変換モードとして選択する。そして、データ出力装置500は、モード2に必要なパラメータを表示装置510から取得し、取得したパラメータを用いてモード2の変換処理を行う。
このように、HDRメタ解釈部503は、さらに、複数のメタデータに対応する複数の第1変換モードの各々のためのパラメータを表示装置510から取得できるか否かに応じて、データ出力装置500又は表示装置510で行う変換処理の変換モードを決定する。具体的には、HDRメタ解釈部503は、複数の第1変換モードに含まれ、かつ複数の第2変換モード及び第3変換モードの少なくとも一方に含まれ、かつ、パラメータを表示装置510から取得できる変換モードをデータ出力装置500又は表示装置510で行う変換処理の変換モードに決定する。
つまり、データ出力装置500は、データ出力装置500及び表示装置510が対応している変換モードのうち最も再現性が高いモードを選択し、選択したモードにデータ出力装置500のみが対応している場合、当該モードのための表示装置510のパラメータを取得できるか否かを判定する。パラメータを取得できる場合は、データ出力装置500は、当該モードを選択する。一方、パラメータを取得できない場合は、データ出力装置500は、他のモード(次に再現性が高いモード)を選択する。
これにより、データ出力装置500は、表示装置510のパラメータを取得できるか否かに応じて、使用する変換モードを決定するので、より適切な変換モードを選択できる。
[13.データ出力装置の構成例2]
以下、データ出力装置の別の構成例について説明する。図19は、データ出力装置500Aの構成を示すブロック図である。このデータ出力装置500Aは、図13に示すデータ出力装置500に対して、さらに、DC部507を備える。DC部507は、ビデオ復号部501で得られた映像信号の解像度をダウンコンバートする。例えば、DC部507は、映像信号が4Kの場合、当該4Kの映像信号を2Kの映像信号にダウンコンバートする。
この構成により、データ出力装置500Aは、表示装置510が対応する解像度及びダイナミックレンジに応じて、(1)4KのHDR信号を2KのHDR信号に変換して出力する、(2)4KのHDR信号を2KのHDR信号に変換後、DR変換部505においてダイナミックレンジを変更してから出力する、及び(3)4KのSDR信号を2KのSDR信号に変換して出力する、などの動作を選択的に行うことができる。つまり、データ出力装置500Aは、表示装置510の解像度及びHDR信号のサポートの有無などに応じて動作を切替えることができる。
図20は、コンテンツにおけるビデオ信号の特性(解像度及びダイナミックレンジ(輝度範囲))及び表示装置510の特性と、データ出力装置500Aの出力信号との組合せ例を示す図である。データ出力装置500Aは、表示装置510の解像度とHDR信号のサポートの有無と整合するように出力信号の形式を選択し、選択した形式の出力信号を生成するようにDC部507及びDR変換部505を制御する。
例えば、コンテンツにおける映像信号が解像度4KのHDR信号であり、表示装置510が解像度4KのHDR信号の表示をサポートしておらず、かつ、解像度2KのHDR信号の表示をサポートしている場合、データ出力装置500Aは、コンテンツにおける映像信号を解像度2KのHDR信号に変換して出力する(図20の2行目に記載した組み合わせ例を参照)。このとき、映像信号の解像度の変換はDC部507において行われる。
また、コンテンツにおける映像信号が解像度4KのHDR信号であり、表示装置510が解像度4KのHDR信号および解像度2KのHDR信号の表示をサポートしておらず、かつ、2KのSDR信号の表示をサポートしている場合、データ出力装置500Aは、コンテンツにおける映像信号を解像度2KのSDR信号に変換して出力する(図20の3行目に記載した組み合わせ例を参照)。このとき、映像信号の解像度の変換はDC部507において行われ、輝度範囲の変換はDR変換部505において行われる。
これにより、表示装置510において、コンテンツのビデオ信号をより忠実に再現できる。なお、データ出力装置500Aは、解像度の変換、又は、図13において説明したようなダイナミックレンジの変換を表示装置510において行うように動作してもよい。
このように、データ出力装置500Aは、ビデオ復号部501で得られた第1映像信号の解像度を下げることで第3映像信号を生成するダウンコンバート部(DC部507)を備える。変換部(DR変換部505)は、さらに、変換補助データに基づいて、複数の第2変換モードのいずれかにより、第3映像信号の輝度範囲の変換処理を行うことで第3映像信号の輝度範囲より狭い輝度範囲の第4映像信号を生成する。出力部(HDMI出力部506)は、さらに、第3映像信号又は第4映像信号を表示装置510へ出力する。
これにより、データ出力装置500Aは、例えば、表示装置510等に適した解像度に、映像信号の解像度を変更できる。
具体的には、表示装置510が、第1映像信号の解像度の映像の表示に対応していない場合、(1)ダウンコンバート部(DC部507)は、第3映像信号を生成し、(2)出力部(HDMI出力部506)は、第3映像信号を表示装置510へ出力する。例えば、図20に示すように、ビデオ信号の解像度が4Kであり、表示装置510の解像度が2Kである場合、2Kの出力信号が出力される。
また、表示装置510が、第1映像信号の輝度範囲(HDR)の映像の表示に対応していない場合、(1)変換部(DR変換部505)は、第1映像信号の輝度範囲(HDR)より狭い輝度範囲(SDR)の第2映像信号を生成し、(2)出力部(HDMI出力部506)は、第2映像信号及びHDR制御情報を表示装置510へ出力する。例えば、図20に示すように、ビデオ信号のダイナミックレンジ(輝度範囲)がHDRであり、表示装置510がHDRをサポートしていない場合(SDRの場合)、HDRの映像信号がSDRの映像信号に変換され、SDRの映像信号(出力信号)が出力される。
また、表示装置510が、第1映像信号の解像度の映像の表示に対応しておらず、かつ、第1映像信号の輝度範囲(HDR)の映像の表示に対応していない場合、(1)ダウンコンバート部(DC部507)は、第3映像信号を生成し、(2)変換部(DR変換部505)は、第3映像信号の輝度範囲(HDR)より狭い輝度範囲(SDR)の第4映像信号を生成し、(3)出力部(HDMI出力部506)は、第4映像信号を表示装置510へ出力する。例えば、図20に示すように、ビデオ信号の解像度が4Kであり、ビデオ信号のダイナミックレンジ(輝度範囲)がHDRであり、表示装置510の解像度が2Kであり、表示装置510がHDRをサポートしていない場合(SDRの場合)、2KかつSDRの出力信号が出力される。
[14.HDR信号及び4K信号を再生する動作モデル]
図21は、4KのHDR信号、2KのHDR信号、及び4KのSDR信号を、次世代のBlu-ray再生装置において再生し、再生した信号を、HDR対応の4KTV、HDR非対応の4KTV、及びSDR対応の2KTVのいずれかに対して出力する際の動作モデル例を示す図である。
Blu-ray再生装置は、コンテンツ管理情報に格納される静的HDRメタデータと、ビデオの符号化ストリームに格納される動的HDRメタデータとを取得する。Blu-ray再生装置は、これらのHDRメタデータを用いて、HDMIにより接続された出力先のTVの特性に応じて、ビデオのHDR信号をSDR信号に変換して出力する、又は、HDRメタデータをHDMIの制御信号として出力する。
HDR信号からSDR信号への変換処理、及びHDR信号から表示装置が適合する輝度範囲の映像信号への変換処理の各々は、複数の方式から選択して実装できるものとする。実装した変換処理に対応するHDRメタデータをコンテンツ制作時にコンテンツ管理情報又はビデオの符号化ストリームに格納することで、変換処理の効果を高めることができる。コンテンツ管理情報又は符号化ストリームには、変換方式毎に複数のHDRメタデータを格納することが可能である。
なお、Blu-ray再生装置は、図中のオプション変換モジュールB(option conversion module B)又はオプション変換モジュールD(option conversion module D)のように、複数の変換処理部を備えてもよいし、機器のコストと性能のバランスに鑑みて一つの変換処理部のみを備えてもよいし、変換処理部を備えなくてもよい。同様に、HDR対応のTVは、複数の変換処理部を備えてもよいし、一つの変換処理部のみを備えてもよいし、変換処理部を備えなくてもよい。
また、図11又は図12に示すユーザーデータ格納用のSEIメッセージなどのように、予めフォーマット又は入力時の動作を定めた所定のコンテナにHDRメタデータが格納される。これにより、将来新たな変換処理が開発されて新たなHDRメタデータが定義され、この新HDRメタデータに対応する表示装置が新HDRメタデータに対応しないBlu-ray再生装置に接続された場合でも、Blu-ray再生装置から表示装置へ新HDRメタデータを出力できる。また、表示装置において新HDRメタデータに応じた変換処理の実施が可能となる。これにより新技術が開発された場合に、新HDRメタデータへIDをアサインするなどの簡単な手続きで新技術への対応が可能となる。よって、OTTなど技術進化の早いアプリケーションに対するBlu-rayなどのパッケージメディア規格の競争力を高めることができる。なお、新HDRメタデータに対応したBlu-ray再生装置は、映像データに対して、上記の新たな変換処理を当該再生装置内で施し、表示装置へ処理済の映像データを出力してもよい。
また、Blu-ray再生装置、及びTVのどちらで変換処理が行われるかは、図16~図18に示した方法などに基づいて決定される。なお、再生装置は、TVの解像度に応じて、4Kの信号を2Kの信号にダウンコンバートして出力してもよい。
[15.ユーザーガイダンス表示方法1]
図22は、HDRからSDRへの変換処理を実行するBlu-ray機器でのユーザーガイダンス表示方法を示す図である。
HDRからSDRへの変換処理のアルゴリズムが確立されていないため、正確なHDRからSDRへの変換は現状困難である。また、複数のHDRからSDRへの変換処理アルゴリズムを実装することも可能である。
このため、ユーザがHDR対応ディスクを、HDR非対応TVに接続されたHDR対応Blu-ray機器に挿入した場合には、適切なユーザーガイドを行う必要がある。
HDR非対応TVに接続されたHDR対応Blu-ray機器が、HDRからSDRへの変換処理の開始を検知した場合は、例えば「ディスクはHDR対応ディスクです。お使いのTVはHDR非対応TVのため、HDR映像ではなく、Blu-ray機器がHDRからSDRへの変換処理を行ったSDR映像を再生します。」等のガイドメッセージを表示する。
このように、データ出力装置(Blu-ray機器)は、表示装置が第1映像信号(HDR信号)の輝度範囲の映像出力に対応していない場合、第1輝度範囲から第2輝度範囲に変換した第2映像信号(SDR信号)及びHDR制御情報を表示装置へ出力するとともに、第1輝度範囲から第2輝度範囲に変換された第2映像信号が表示される旨を表示装置に表示させる。
[16.ユーザーガイダンス表示方法2]
図23は、ディスク内に格納されたHDRからSDRへの変換処理実行時のユーザーガイダンスの表示方法を示す図である。
HDRからSDRへの変換処理が行われる場合にBlu-ray機器が表示すべきメッセージ(メニュー)がHDRディスク、あるいは、Blu-ray機器内の不揮発メモリなどに格納される。これにより、Blu-ray機器は、HDRからSDRへの変換処理実行時に、メッセージを表示させることができる。この場合、例えば「ディスクはHDR対応ディスクです。お使いのTVはHDR非対応TVのため、HDR映像ではなく、Blu-ray機器がHDRからSDRへの変換処理を行ったSDR映像を再生します。」と表示される。
[17.ユーザーガイダンス表示方法3]
図24は、ディスク内に格納されたHDRからSDRへの変換処理実行時のユーザーガイダンスメニューの表示方法を示す図である。
Blu-ray機器は、Blu-rayのメニューを使うことで、「ディスクはHDR対応ディスクです。お使いのTVはHDR非対応TVのため、HDR映像ではなく、Blu-ray機器がHDRからSDRへの変換処理を行ったSDR映像を再生しますが、再生して良いですか?」等のメッセージを表示することができる。Blu-ray機器は、ユーザが「再生します」ボタンを選択した場合、変換画像の表示を開始する。また、Blu-ray機器は、ユーザが「再生しません」を選択した場合は、再生を中止し、ユーザにHDR非対応Blu-rayディスクの挿入を促すメッセージを表示する。
このように、データ出力装置(Blu-ray機器)は、表示装置が第1映像信号(HDR信号)の輝度範囲の映像出力に対応していない場合、第1輝度範囲から第2輝度範囲に変換された第2映像信号(SDR信号)を表示させるかどうかを、ユーザが選択するためのメッセージを表示装置に表示させる。
[18.ユーザーガイダンス表示方法4]
図25は、ディスク内に格納されたHDRからSDRへの変換処理実行時の処理方法を選択可能なユーザーガイダンスメニューの表示方法を示す図である。
Blu-ray機器は、Blu-rayにHDRからSDRへの変換処理用のメタデータが格納されている場合は、そのことを表示する。Blu-ray機器は、ユーザが指定の変換方式を選択した場合、より綺麗な変換が可能なことを促すメッセージを表示する。つまり、ディスク内のJava(登録商標)コマンド等により、Blu-ray機器に、どのようなHDRからSDRへの変換処理が実装されているかを判定する。これにより、Blu-ray機器は、「ディスクはHDR対応ディスクです。お使いのTVはHDR非対応TVのため、HDR映像ではなく、Blu-ray機器がHDRからSDRへの変換処理を行ったSDR映像を再生しますが、どの方法を選びますか?(処理1で再生)、(処理3で再生)、(再生しません)」等のHDRからSDRへの変換処理方式の選択メニューを表示することができる。なお、ここで処理1及び処理3は、HDRからSDRへの異なる変換処理である。
このように、データ出力装置(Blu-ray機器)は、表示装置が第1映像信号(HDR信号)の輝度範囲の映像出力に対応していない場合、第1輝度範囲を第2輝度範囲に変換するための複数の変換方式のうちいずれかを、ユーザが選択するためのメッセージを表示装置に表示させる。
[19.ユーザーガイダンス表示方法5]
なお、放送においても同様のメッセージを表示することができる。例えば、HDR信号に対応していないTV又は再生装置は、データ放送のアプリケーションなどを用いて、放送番組がHDR信号であり、で視聴した場合には正しく表示できないことがある旨を示すメッセージを表示する。また、HDR信号に対応したTV又は再生装置は、当該メッセージを表示しなくてもよい。また、メッセージの属性を示すタグ値などにより、当該メッセージがHDR信号に対する警告メッセージであることが示される。HDR信号に対応したTV又は再生装置は、タグ値を参照してメッセージの表示が不要であることを判定する。
[20.デュアルディスクの再生動作1]
以上では、HDR信号のみが格納されたHDRディスクの再生動作について説明した。
次に、HDR信号とSDR信号との両方が格納されたデュアルディスクに格納される多重化データについて図26を用いて説明する。図26は、デュアルディスクに格納される多重化データについて説明するための図である。
デュアルディスクでは、図26に示すように、HDR信号とSDR信号とがそれぞれ異なる多重化ストリームとして格納される。例えば、Blu-rayなどの光ディスクにおいては、M2TSと呼ばれるMPEG-2 TSベースの多重化方式により、ビデオやオーディオ、字幕、グラフィックスなど複数メディアのデータが1本の多重化ストリームとして格納される。これらの多重化ストリームは、プレイリストなどの再生制御用のメタデータから参照され、再生時にはプレーヤがメタデータを解析することで再生する多重化ストリーム、あるいは、多重化ストリームに格納される個別の言語のデータを選択する。本例では、HDR用とSDR用とのプレイリストを個別に格納し、それぞれのプレイリストがHDR信号、あるいは、SDR信号を参照するケースを示す。また、HDR信号とSDR信号の両方が格納されていることを示す識別情報などを別途示しても良い。
同一の多重化ストリームにHDR信号とSDR信号との両方を多重化することも可能であるが、MPEG-2 TSにおいて規定されるT-STD(System Target Decoder)などのバッファモデルを満たすように多重化する必要があり、特に、予め定められたデータの読み出しレートの範囲内で、ビットレートの高いビデオを2本多重化するのは困難である。このため、多重化ストリームを分離することが望ましい。
オーディオ、字幕、あるいはグラフィックスなどのデータは、それぞれの多重化ストリームに対して格納する必要があり、1本に多重化する場合に比べてデータ量が増加する。ただし、データ量の増加は、圧縮率の高いビデオ符号化方式を用いてビデオのデータ量を削減することができる。例えば、従来のBlu-rayにおいて使用していたMPEG-4 AVCを、HEVC(High Efficiency Video Coding)に変えることで、1.6~2倍の圧縮率向上が見込まれる。また、デュアルディスクに格納するのは、2KのHDRとSDRとの組み合わせ、4KのSDRと2KのHDRとの組み合わせなど、2Kを2本、あるいは、2Kと4Kとの組合せとするなど、4Kを2本格納することは禁止することにより、光ディスクの容量に収まる組合せのみを許容してもよい。
[21.デュアルディスクの再生動作2]
図27は、デュアルディスクの再生動作を示すフローチャートである。
まず、再生装置は、再生対象の光ディスクがデュアルディスクであるかどうかを判定する(S301)。そして、デュアルディスクであると判定した場合(S301でYes)、出力先のTVがHDRTVかSDRTVであるかを判定する(S302)。HDRTVであると判定した場合(S302でYes)にはステップS303に進み、SDRTVであると判定した場合(S302でNo)にはステップS304に進む。ステップS303では、デュアルディスク内のHDR信号を含む多重化ストリームからHDRのビデオ信号を取得して、復号し、HDRTVに対して出力する。ステップS304では、デュアルディスク内のSDR信号を含む多重化ストリームからSDRのビデオ信号を取得して、復号し、SDRTVに対して出力する。なお、ステップS301において再生対象がデュアルディスクでないと判定された場合(S301でNo)には、所定の方法により再生可否の判定を行い、判定結果に基づいて再生方法を決定する(S305)。
[22.ディスクの種類]
上述のように、表示装置が高解像度化及び高輝度範囲化されることで、表示装置の仕様に合わせた複数種別のBlu-ray Disc(以下、BDと記載する)を提供する。図28は、BDの種類を示す図である。図28に示されるように、以下では、解像度が第1解像度であり、輝度範囲が第1輝度範囲である映像信号が記録されたBDは、2K_SDR対応BDと記載する。解像度が第1解像度であり、輝度範囲が第1輝度範囲である映像信号は、BDにストリームとして格納される。このストリームは、2K_SDRストリームと記載する。2K_SDR対応BDは、従来のBDはである。
また、解像度が第2解像度であり、輝度範囲が第1輝度範囲である映像信号が記録されたBDは、4K_SDR対応BDと記載する。解像度が第2解像度であり、輝度範囲が第1輝度範囲である映像信号は、BDにストリームとして格納される。このストリームは、4K_SDRストリームと記載する。
同様に、解像度が第1解像度であり、輝度範囲が第2輝度範囲である映像信号が記録されたBDは、2K_HDR対応BDと記載する。解像度が第1解像度であり、輝度範囲が第2輝度範囲である映像信号は、BDにストリームとして格納される。このストリームは、2K_HDRストリームと記載する。
また、解像度が第2解像度であり、輝度範囲が第2輝度範囲である映像信号が記録されたBDは、4K_HDR対応BDと記載する。解像度が第2解像度であり、輝度範囲が第2輝度範囲である映像信号は、BDにストリームとして格納される。このストリームは、4K_HDRストリームと記載する。
なお、第1解像度は、例えば、所謂2K(1920x1080、2048x1080)の解像度であるが、このような解像度を含む任意の解像度であってよい。以下では、第1解像度を単に2Kと記載する場合がある。
また、第2解像度は、所謂4K(3840x2160、4096x2160)の解像度であるが、このような解像度を含む任意の解像度であってよい。第2解像度は、第1解像度より画素数が多い解像度である。
なお、第1輝度範囲は、例えば、これまで説明したSDR(ピーク輝度が100nitの輝度範囲)である。第2輝度範囲は、例えば、これまで説明したHDR(ピーク輝度が100nitを超える輝度範囲)である。第2輝度範囲は、第1輝度範囲を全て含み、第2輝度範囲のピーク輝度は、第1輝度範囲のピーク輝度よりも大きい。
図29は、BDの種類をさらに詳細に示す図である。
図29の(c)、(f)、(g)、及び(h)に示されるように、1枚のBDで複数の映像表現に対応したデュアルストリームディスクが考えられる。デュアルストリームディスクは、同一のコンテンツを再生するための複数の映像信号であって、解像度及び輝度範囲の少なくとも一方が異なる複数の映像信号が記録されたBDである。
具体的には、図29の(c)に示されるデュアルストリームディスクは、4K_SDRストリームと、2K_SDRストリームとが記録されたBDである。図29の(f)に示されるデュアルストリームディスクは、2K_HDRストリームと、2K_SDRストリームとが記録されたBDである。
図29の(g)に示されるデュアルストリームディスクは、4K_HDRストリームと、4K_SDRストリームとが記録されたBDである。図29の(h)に示されるデュアルストリームディスクは、4K_HDRストリームと、2K_SDRストリームとが記録されたBDである。
なお、図29の(c)に示されるデュアルストリームディスクは、Blu-ray機器が4Kから2Kの解像度のダウンコンバージョン(以下、ダウンコンバートとも記載する)を行うことが可能であるため、必須でない。
[23.ディスク容量1]
ここで、以上説明したような各BDについて、図30及び図31を用いて補足する。図30及び図31は、BDに記録されるデータ容量を示す図である。
図30及び図31は、各BDとデュアルストリームディスクで実際に使われるストリームのデータ容量を例示する。
図30は、解像度が2Kのストリーム(2K_SDRストリーム及び2K_HDRストリーム)が、MPEG-4 AVCを用いて圧縮されている場合を例示している。Movie length、lossless Audio、Compressed Audioのビットレートは、下記のようになる。なお、BDは、language個数分の音声ストリーム(Lossless AudioおよびCompressed Audio)を記録する。
Movie length: 150min (14 -18 mbps)
Lossless Audio: 0 -2 language (4.5mbps)
Compressed Audio: 3 -5 language (1.5mbps)
この場合、必要なディスク容量の最大値(A)、中間値(B)、及び最小値(C)は、以下のようになる。
(A)(18+4.5*2+1.5*5)mbps*(150*60)s/8 = 38.8 GB
(B)(16+4.5*1+1.5*3)mbps*(150*60)s/8 = 28.1 GB
(C)(14+4.5*0+1.5*3)mbps*(150*60)s/8 = 20.8 GB
また、解像度が4Kのストリーム(4K_SDRストリーム及び4K_HDRストリーム)が、HEVCを用いて圧縮されている場合を例示している。Movie length、lossless Audio、Compressed Audioのビットレートは、下記のようになる。
Movie length: 150min (35 -40mbps)
Lossless Audio: 0 -2 language (4.5mbps)
Compressed Audio: 3 -6 language (1.5mbps)
この場合、必要なディスク容量の最大値(a)、中間値(b)、及び最小値(c)は、以下のようになる。
(a)(40+4.5*2+1.5*5)mbps*(150*60)s/8 = 63.6 GB
(b)(37+4.5*0+1.5*4)mbps*(150*60)s/8 = 48.4 GB
(c)(35+4.5*0+1.5*3)mbps*(150*60)s/8 = 44.4 GB
ここで、MPEG-4 AVCを用いて圧縮された2K_HDRストリームと、MPEG-4 AVCを用いて圧縮された2K_SDRストリームとの両方が記録されたデュアルストリームディスクに必要なディスク容量は、上記(A)+(A)、(B)+(B)、及び、(C)+(C)により求められる。具体的には、最大値77.6GB、中間値56.2GB、及び、最小値41.6GBとなる。
従来の50GBに加えて、66GB、100GBのディスクを対象としているため、上記のようなデュアルストリームディスクも容量の面においては実現可能である。
なお、HEVCを用いて圧縮された4K_HDRストリームと、HEVCを用いて圧縮された2K_HDRストリームとの両方が記録されたデュアルストリームディスクに必要なディスク容量は、上記(b)+(b)に基づけば96.8GBであり、上記(c)+(c)に基づけば88.8GBである。このため、このようなデュアルストリームディスクは、100GBの容量のディスクにより実現可能である。
同様に、HEVCを用いて圧縮された4K_HDRストリームと、MPEG-4 AVCを用いて圧縮された2K_SDRストリームとの両方が記録されたデュアルストリームディスクに必要なディスク容量は、上記(a)+(B)に基づけば91.7GBであり、上記(c)+(C)に基づけば65.2GBである。このため、このようなデュアルストリームディスクは、100GBの容量のディスクまたは66GBの容量のディスクにより実現可能である。
[24.ディスク容量2]
さらに、図31を用いて別の例について説明する。図31は、解像度が2Kのストリーム(2K_SDRストリーム及び2K_HDRストリーム)が、HEVCを用いて圧縮されている場合を例示している。Movie length、lossless Audio、Compressed Audioのビットレートは、下記のようになる。
Movie length: 150min (7 - 9 mbps)
Lossless Audio: 0 - 2 language (4.5mbps)
Compressed Audio: 3 - 5 language (1.5mbps)
この場合、必要なディスク容量の最大値(A)、中間値(B)、及び最小値(C)は、以下のようになる。
(α)(9+4.5*2+1.5*5)mbps*(150*60)s/8 = 25.3 GB
(β)(8+4.5*1+1.5*3)mbps*(150*60)s/8 = 19.1 GB
(γ)(7+4.5*0+1.5*3)mbps*(150*60)s/8 = 12.9 GB
ここで、HEVCを用いて圧縮された2K_HDRストリームと、HEVCを用いて圧縮された2K_SDRストリームとの両方が記録されたデュアルストリームディスクに必要なディスク容量は、上記(α)+(α)、(β)+(β)、及び、(γ)+(γ)により求められる。具体的には、最大値50.6GB、typ値38.2GB、及び、最小値25.8GBとなる。
従来の50GBに加えて、66GB、100GBのディスクを対象としているため、上記のようなデュアルストリームディスクも容量の面においては実現可能である。
同様に、HEVCを用いて圧縮された4K_HDRストリームと、HEVCを用いて圧縮された2K_SDRストリームとの両方が記録されたデュアルストリームディスクに必要なディスク容量は、上記(a)+(α)に基づけば88.9GBであり、上記(b)+(β)に基づけば67.5GBであり、上記(b)+(γ)に基づけば61.3GBであり、上記(c)+(γ)に基づけば57.3GBである。このため、このようなデュアルストリームディスクは、100GBの容量のディスクまたは66GBの容量のディスクにより実現可能である。
[25.ディスクの種類の詳細1]
BDには、より詳細にはビデオストリームと、グラフィックストリーム(実施の形態1のグラフィックスのストリーム)とが記録される。ここで、図32は、デュアルストリームディスクを含む各BDに対し、各ディスクに記録された、ビデオストリームとグラフィックストリームとの組み合わせの一例を示す図である。
図32は、コンテンツ(BD)の制作の手間を考慮して、グラフィックストリームは、対応するビデオストリームの解像度によらず、解像度が2Kで記録する。2K_SDRストリームと4K_SDRストリームとで、グラフィックストリームを共有することができる。ただし、グラフィックストリームは、対応するビデオストリームの輝度範囲に合わせた輝度範囲で記録する。ビデオストリームがHDRの場合は、HDRのグラフィックスストリームを記録する。ビデオストリームがSDRの場合は、SDRのグラフィックスストリームを記録する。グラフィックストリームのSDRからHDRへの変換は、コンテンツの制作時に行う。
[26.ディスクの種類の詳細2]
図33は、デュアルストリームディスクを含む各BDに対し、各ディスクに記録された、ビデオストリームとグラフィックストリームとの組み合わせの別の例を示す図である。
図33では、コンテンツの制作の手間を考慮して、グラフィックストリームは、対応するビデオストリームの解像度及び輝度範囲によらず、解像度が2K、かつ、輝度範囲がSDRで記録する。2K_SDRストリーム、4K_SDRストリーム、2K_HDRストリーム、及び、4K_HDRストリーム全てで、グラフィックストリームを共有することができる。この場合は、グラフィックストリームの解像度の2Kから4Kへの変換、及び、グラフィックストリームの輝度範囲のSDRからHDRへの変換は、いずれもBlu-ray機器で実行される。
[27.ディスクの種類の詳細3]
図34は、デュアルストリームディスクを含む各BDに対し、各ディスクに記録された、ビデオストリームとグラフィックストリームとの組み合わせのさらに別の例を示す図である。
図34は、Blu-ray機器においてグラフィックストリームの変換が不要となるように、コンテンツの制作時に、グラフィックストリームの解像度及び輝度範囲は、対応するビデオストリームの解像度及び輝度範囲に合わされて記録する。
[28.まとめ]
4K対応BDまたはHDR対応BDを再生するBlu-ray機器は、2K_SDR対応TV、2K_HDR対応TV、4K_SDR対応TV、及び、4K_HDR対応TVの4つのTVに対応する必要がある。具体的には、Blu-ray機器は、3組のHDMI/HDCP規格(HDMI1.4/HDCP1.4、HDMI2.0/HDCP2.1、HDMI2.1/HDCP2.2)をサポートする必要がある。
さらに、Blu-ray機器は、4種類のBlu-rayディスク(2K_SDR対応BD、2K_HDR対応BD、4K_SDR対応BD、及び、4K_HDR対応BD)の再生を行う場合、そのBD(コンテンツ)毎、及び、接続されている表示装置(TV)毎に、適切な処理とHDMI/HDCPとを選択する必要がある。さらに、ビデオにグラフィックを合成する場合も、BDの種類と接続されている表示装置(TV)の種類により、処理を変える必要がある。
このため、Blu-ray機器の内部処理が非常に複雑になる。上記実施の形態3においては、Blu-ray機器内部処理を比較的簡単にするための各種手法を提供した。
[1]HDR非対応のTVにHDR信号を表示する場合は、HDRからSDRへの変換が必要になる。これに対し、上記実施の形態3では、この変換をBlu-ray機器においてオプション化するために、デュアルストリームディスク(Dual Streams Disc)というBDの構成を提案した。
[2]また、上記実施の形態3では、グラフィックストリームに制限を加え、ビデオストリームとグラフィックストリームとの組み合わせの種類を減らした。
[3]上記実施の形態3では、デュアルストリームディスクと、グラフィックストリームの制限とにより、Blu-ray機器内での複雑な処理の組み合わせ数を大幅に減らしている。
[4]上記実施の形態3では、疑似HDR変換を導入した場合でも、デュアルストリームディスクの処理に対して矛盾が生じない、内部処理及びHDMI処理を提示した。
本開示の変換方法では、HDR映像をSDRTVで表示する場合において、表示するSDRTVのピーク輝度が100nitを超える(通常200nit以上)ことを利用して、HDR映像を100nit以下のSDR映像に変換するのではなく、100nitを超える領域の階調をある程度保つよう変換し、元のHDRに近い疑似HDR映像に変換してSDRTVに表示させることができる「HDR→疑似HDR変換処理」を実現する。
また、変換方法では、SDRTVのディスプレイ特性(最高輝度、入出力特性、および表示モード)によって「HDR→疑似HDR変換処理」の変換方法を切り替えてもよい。
ディスプレイ特性情報の取得方法としては、(1)HDMIやネットワークを通して自動取得すること、(2)ユーザにメーカー名、品番等の情報入力させることで生成すること、および(3)メーカー名や品番等の情報を使ってクラウド等から取得することが考えられる。
また、変換装置100のディスプレイ特性情報の取得タイミングとしては、(1)疑似HDR変換する直前に取得すること、および(2)表示装置200(SDRTV等)と初めて接続する時(接続が確立した時)に取得することが考えられる。
また、変換方法では、HDR映像の輝度情報(CAL、CPL)によって変換方法を切り替えてもよい。
例えば、変換装置100のHDR映像の輝度情報の取得方法としては、(1)HDR映像に付随したメタ情報として取得すること、(2)ユーザにコンテンツのタイトル情報を入力させることで取得すること、および(3)ユーザに有力させた入力情報を使ってクラウド等から取得すること等が考えられる。
また、変換方法の詳細としては、(1)DPLを超えないように変換し、(2)CPLがDPLになるように変換し、(3)CALおよびその周辺以下の輝度は変更せず、(4)自然対数を用いて変換し、(5)DPLでクリップ処理をする。
また、変換方法では、疑似HDRの効果を高めるために、SDRTVの表示モード、表示パラメータなどの表示設定を、表示装置200に送信して切り替えることも可能であり、例えば、ユーザに表示設定を促すメッセージを画面に表示してもよい。
[29.疑似HDRの必要性1]
次に、疑似HDRの必要性について図35A~図35Cを用いて説明する。
図35Aは、HDRTV内で、HDR信号を変換してHDR表示を行う表示処理の一例を示す図である。
図35Aに示すように、HDR映像を表示する場合、表示装置がHDRTVであっても、HDRの輝度範囲の最大値(ピーク輝度(HPL(HDR Peak Luminance):例1500nit))をそのまま表示することができない場合がある。この場合、HDRのEOTFを用いた逆量子化を行った後のリニアな信号を、その表示装置の輝度範囲の最大値(ピーク輝度(DPL(Display Peak Iuminance):例750nit))に合わせるための輝度変換を行う。そして、輝度変換を行うことで得られた映像信号を表示装置に入力することで、その表示装置の限界である最大値の輝度範囲に合わせたHDR映像を表示することができる。
図35Bは、HDR対応の再生装置とSDRTVとを用いて、HDR表示を行う表示処理の一例を示す図である。
図35Bに示すように、HDR映像を表示する場合、表示装置がSDRTVであれば、表示するSDRTVの輝度範囲の最大値(ピーク輝度(DPL:例300nit))が100nitを超えることを利用して、図35BのHDR対応の再生装置(Blu-ray機器)内の「HDR→疑似HDR変換処理」で、HDRTV内で行っている、「HDRのEOTF変換」とSDRTVの輝度範囲の最大値であるDPL(例:300nit)を使った「輝度変換」を行い、「輝度変換」を行うことで得られた信号をSDRTVの「表示装置」に直接入力できれば、SDRTVを使っても、HDRTVと同じ効果を実現することができる。
しかしながら、SDRTVには、このような信号を、外部から直接入力するための手段が無いため、実現できない。
図35Cは、標準インターフェースを介して互いに接続したHDR対応の再生装置とSDRTVと用いて、HDR表示を行う表示処理の一例を示す図である。
図35Cに示すように、通常、SDRTVが備える入力インターフェース(HDMI等)を使って、図35Bの効果を得られるような信号をSDRTVに入力する必要がある。SDRTVでは、入力インターフェースを介して入力した信号は、「SDRのEOTF変換」と「モード毎の輝度変換」と「表示装置」を順に通過し、その表示装置の最大値の輝度範囲に合わせた映像を表示する。このため、HDR対応のBlu-ray機器内で、SDRTVで入力インターフェースの直後に通過する、「SDRのEOTF変換」と「モード毎の輝度変換」とをキャンセルできるような信号(疑似HDR信号)を生成する。つまり、HDR対応のBlu-ray機器内で、「HDRのEOTF変換」とSDRTVのピーク輝度(DPL)を使った「輝度変換」との直後に、「モード毎の逆輝度変換」と「逆SDRのEOTF変換」とを行うことで、「輝度変換」直後の信号を「表示装置」に入力した場合(図35Cの破線矢印)と同じ効果を疑似的実現する。
[30.疑似HDRの必要性2]
通常のSDRTVは入力信号が100nitであるが、視聴環境(暗い室:シネマモード、明るい部屋:ダイナミックモード等)に合わせて200nit以上の映像表現が可能な能力を持つ。しかし、SDRTVへの入力信号の輝度上限が100nitに決められていたため、その能力を直接つかうことはできなかった。
HDR映像をSDRTVで表示する場合において、表示するSDRTVのピーク輝度が100nitを超える(通常200nit以上)ことを利用して、HDR映像を100nit以下のSDR映像に変換するのではなく、100nitを超える輝度範囲の階調をある程度保つように、「HDR→疑似HDR変換処理」を行っている。このため、元のHDRに近い疑似HDR映像としてSDRTVに表示させることができる。
この「HDR→疑似HDR変換処理」技術をBlu-rayに応用した場合は、図36に示すように、HDRディスクにはHDR信号のみを格納し、Blu-ray機器にSDRTVを接続した場合、Blu-ray機器が、「HDR→疑似HDR変換処理」を行い、HDR信号を疑似HDR信号に変換してSDRTVに送る。これにより、SDRTVは、受信した疑似HDR信号から輝度値に変換することで、疑似的なHDR効果を持った映像を表示させることができる。このように、HDR対応TVが無い場合でも、HDR対応のBDとHDR対応のBlu-ray機器を用意すれば、SDRTVであっても、SDR映像よりも高画質な疑似HDR映像を表示させることができる。
従って、HDR映像を見るためにはHDR対応TVが必要と考えられていたが、HDR的な効果を実感できる疑似HDR映像を、既存のSDRTVで見ることができる。これにより、HDR対応Blu-rayの普及が期待できる。
[31.効果等]
放送、Blu-ray等のパッケージメディア、OTT等のインターネット配信により送られてきたHDR信号を、HDR-疑似HDR変換処理を行うことで、疑似HDR信号に変換する。これにより、HDR信号を疑似HDR映像として既存のSDRTVで表示することが可能となる。
[32.EOTFについて]
ここで、EOTFについて、図37Aおよび図37Bを用いて説明する。
図37Aは、HDRおよびSDRのそれぞれに対応したEOTF(Electro-Optical Transfer Function)の例について示す図である。
EOTFは、一般的にガンマカーブと呼ばれるものであり、コード値と輝度値との対応を示し、コード値を輝度値に変換するものである。つまり、EOTFは、複数のコード値と輝度値との対応関係を示す関係情報である。
また、図37Bは、HDRおよびSDRのそれぞれに対応した逆EOTFの例について示す図である。
逆EOTFは、輝度値とコード値との対応を示し、EOTFとは逆に輝度値を量子化してコード値に変換するものである。つまり、逆EOTFは、輝度値と複数のコード値との対応関係を示す関係情報である。例えば、HDRに対応した映像の輝度値を10ビットの階調のコード値で表現する場合、10,000nitまでのHDRの輝度範囲における輝度値は、量子化されて、0~1023までの1024個の整数値にマッピングされる。つまり、逆EOTFに基づいて量子化することで、10,000nitまでの輝度範囲の輝度値(HDRに対応した映像の輝度値)を、10ビットのコード値であるHDR信号に変換する。HDRに対応したEOTF(以下、「HDRのEOTF」という。)またはHDRに対応した逆EOTF(以下、「HDRの逆EOTF」という。)においては、SDRに対応したEOTF(以下、「SDRのEOTF」という。)またはSDRに対応した逆EOTF(以下、「SDRの逆EOTF」という。)よりも高い輝度値を表現することが可能であり、例えば、図37Aおよび図37Bにおいては、輝度の最大値(ピーク輝度)は、10,000nitである。つまり、HDRの輝度範囲は、SDRの輝度範囲を全て含み、HDRのピーク輝度は、SDRのピーク輝度より大きい。HDRの輝度範囲は、SDRの輝度範囲の最大値である100nitから、10,000nitまで、最大値を拡大した輝度範囲である。
例えば、HDRのEOTFおよびHDRの逆EOTFは、一例として、米国映画テレビ技術者協会(SMPTE)で規格化されたSMPTE 2084がある。
なお、以降の明細書中において、図37A及び図37Bに記載されている0nitからピーク輝度である100nitまでの輝度範囲は、第1輝度範囲と記載される場合がある。同様に、図37A及び図37Bに記載されている、0nitからピーク輝度である10,000nitまでの輝度範囲は、第2輝度範囲と記載される場合がある。
[33.変換装置および表示装置]
図38は、実施の形態の変換装置および表示装置の構成を示すブロック図である。図39は、実施の形態の変換装置および表示装置により行われる変換方法および表示方法を示すフローチャートである。
図38に示すように、変換装置100は、HDRのEOTF変換部101、輝度変換部102、逆輝度変換部103、および逆SDRのEOTF変換部104を備える。また、表示装置200は、表示設定部201、SDRのEOTF変換部202、輝度変換部203、および表示部204を備える。
変換装置100および表示装置200の各構成要素についての詳細な説明は、変換方法および表示方法の説明において行う。
[34.変換方法および表示方法]
変換装置100が行う変換方法について、図39を用いて説明する。なお、変換方法は、以下で説明するステップS101~ステップS104を含む。
まず、変換装置100のHDRのEOTF変換部101は、逆HDRのEOTF変換が行われたHDR映像を取得する。変換装置100のHDRのEOTF変換部101は、取得したHDR映像のHDR信号に対して、HDRのEOTF変換を実施する(S101)。これにより、HDRのEOTF変換部101は、取得したHDR信号を、輝度値を示すリニアな信号に変換する。HDRのEOTFは、例えばSMPTE 2084がある。
次に、変換装置100の輝度変換部102は、HDRのEOTF変換部101により変換されたリニアな信号を、ディスプレイ特性情報とコンテンツ輝度情報とを用いて変換する第1輝度変換を行う(S102)。第1輝度変換において、HDRの輝度範囲に対応した輝度値(以下、「HDRの輝度値」という。)を、ディスプレイの輝度範囲に対応した輝度値(以下、「ディスプレイ輝度値」という。)に変換する。詳細は後述する。
上記のことから、HDRのEOTF変換部101は、映像の輝度値が量子化されることで得られたコード値を示す第1輝度信号としてのHDR信号を取得する取得部として機能する。また、HDRのEOTF変換部101および輝度変換部102は、取得部により取得されたHDR信号が示すコード値を、ディスプレイ(表示装置200)の輝度範囲に基づいて決定する、HDRの輝度範囲の最大値(HPL)よりも小さく、かつ、100nitよりも大きい最大値(DPL)であるディスプレイの輝度範囲に対応するディスプレイ輝度値へ変換する変換部として機能する。
より具体的には、HDRのEOTF変換部101は、ステップS101において、取得したHDR信号と、HDRのEOTFとを用いて、取得したHDR信号が示す第1コード値としてのHDRのコード値について、HDRのコード値にHDRのEOTFにおいて関係付けられたHDRの輝度値を決定する。なお、HDR信号は、HDRの輝度範囲における輝度値と、複数のHDRのコード値とを関係付けたHDRの逆EOTFを用いて、映像(コンテンツ)の輝度値が量子化されることで得られたHDRのコード値を示す。
また、輝度変換部102は、ステップS102において、ステップS101で決定したHDRの輝度値について、当該HDRの輝度値に予め関係付けられた、ディスプレイの輝度範囲に対応するディスプレイ輝度値を決定し、HDRの輝度範囲に対応するHDRの輝度値を、ディスプレイの輝度範囲に対応するディスプレイ輝度値へ変換する第1輝度変換を行う。
また、変換装置100は、ステップS102の前に、映像(コンテンツ)の輝度の最大値(CPL:Content Peak luminance)および映像の平均輝度値(CAL:Content Average luminance)の少なくとも一方を含むコンテンツ輝度情報をHDR信号に関する情報として取得している。CPL(第1最大輝度値)は、例えば、HDR映像を構成する複数の画像に対する輝度値のうちの最大値である。また、CALは、例えば、HDR映像を構成する複数の画像に対する輝度値の平均である平均輝度値である。
また、変換装置100は、ステップS102の前に、表示装置200から表示装置200のディスプレイ特性情報を取得している。なお、ディスプレイ特性情報とは、表示装置200が表示できる輝度の最大値(DPL)、表示装置200の表示モード(後述参照)、入出力特性(表示装置が対応するEOTF)などの表示装置200の表示特性を示す情報である。
また、変換装置100は、推奨表示設定情報(後述参照、以下、「設定情報」ともいう。)を表示装置200に送信してもよい。
次に、変換装置100の逆輝度変換部103は、表示装置200の表示モードに応じた逆輝度変換を行う。これにより、逆輝度変換部103は、ディスプレイの輝度範囲に対応した輝度値を、SDRの輝度範囲(0~100〔nit〕)に対応する輝度値に変換する第2輝度変換を行う(S103)。詳細は後述する。つまり、逆輝度変換部103は、ステップS102で得られたディスプレイ輝度値について、当該ディスプレイ輝度値に予め関係付けられた、100nitを最大値とするSDRの輝度範囲に対応する第3輝度値としてのSDRに対応した輝度値(以下、「SDRの輝度値」という。)SDRの輝度値を決定し、ディスプレイの輝度範囲に対応するディスプレイ輝度値を、SDRの輝度範囲に対応するSDRの輝度値へ変換する第2輝度変換を行う。
そして、変換装置100の逆SDRのEOTF変換部104は、逆SDRのEOTF変換を行うことで、疑似HDR映像を生成する(S104)。つまり、逆SDRのEOTF変換部104は、HDRの輝度範囲における輝度値と、複数の第3コード値とを関係付けた第3関係情報であるSDR(Standard Dynamic Range)の逆EOTF(Electro-Optical Transfer Function)を用いて、決定したSDRの輝度値を量子化し、量子化により得られた第3コード値を決定し、SDRの輝度範囲に対応するSDRの輝度値を、第3コード値を示す第3輝度信号としてのSDR信号へ変換することで、疑似HDR信号を生成する。なお、第3コード値は、SDRに対応したコード値であり、以下では、「SDRのコード値」という。つまり、SDR信号は、SDRの輝度範囲における輝度値と、複数のSDRのコード値とを関係付けたSDRの逆EOTFを用いて、映像の輝度値が量子化されることで得られたSDRのコード値で表される。そして、変換装置100は、ステップS104で生成した疑似HDR信号(SDR信号)を表示装置200へ出力する。
変換装置100は、HDR信号を逆量子化することで得られたHDRの輝度値に対して、第1輝度変換および第2輝度変換を行うことで、疑似HDRに対応したSDRの輝度値を生成し、SDRの輝度値をSDRのEOTFを用いて量子化することで、疑似HDRに対応したSDR信号を生成する。なお、SDRの輝度値は、SDRに対応した0~100nitの輝度範囲内の数値であるが、ディスプレイの輝度範囲に基づく変換を行っているため、HDRの輝度値に対してHDRのEOTFおよびSDRのEOTFを用いた輝度変換を行うことで得られたSDRに対応した0~100nitの輝度範囲内の輝度値とは異なる数値である。
次に、表示装置200が行う表示方法について、図39を用いて説明する。なお、表示方法は、以下で説明するステップS105~ステップS108を含む。
まず、表示装置200の表示設定部201は、変換装置100から取得した設定情報を用いて、表示装置200の表示設定を設定する(S105)。ここで、表示装置200は、SDRTVである。設定情報は、表示装置に対して推奨する表示設定を示す情報であり、疑似HDR映像をどのようにEOTFし、どの設定で表示すれば美しい映像を表示することができるかを示す情報(つまり、表示装置200の表示設定を最適な表示設定に切り替えるための情報)である。設定情報は、例えば、表示装置における出力時のガンマカーブ特性や、リビングモード(ノーマルモード)やダイナミックモード等の表示モード、バックライト(明るさ)の数値などを含む。また、ユーザに、表示装置200の表示設定をマニュアル操作で変更することを促すようなメッセージを、表示装置200(以下、「SDRディスプレイ」ともいう)に表示してもよい。詳細は後述する。
なお、表示装置200は、ステップS105の前に、SDR信号(疑似HDR信号)と、映像の表示にあたって表示装置200に対して推奨する表示設定を示す設定情報とを取得する。
また、表示装置200は、SDR信号(疑似HDR信号)の取得を、ステップS106の前に行えばよく、ステップS105の後に行ってもよい。
次に、表示装置200のSDRのEOTF変換部202は、取得した疑似HDR信号に対し、SDRのEOTF変換を行う(S106)。つまり、SDRのEOTF変換部202は、SDR信号(疑似HDR信号)を、SDRのEOTFを用いて逆量子化を行う。これにより、SDRのEOTF変換部202は、SDR信号が示すSDRのコード値を、SDRの輝度値に変換する。
そして、表示装置200の輝度変換部203は、表示装置200に設定された表示モードに応じた輝度変換を行う。これにより、輝度変換部203は、SDRの輝度範囲(0~100〔nit〕)に対応したSDRの輝度値を、ディスプレイの輝度範囲(0~DPL〔nit〕)に対応したディスプレイ輝度値に変換する第3輝度変換を行う(S107)。詳細は後述する。
上記のことから、表示装置200は、ステップS106およびステップS107において、取得したSDR信号(疑似HDR信号)が示す第3コード値を、ステップS105で取得した設定情報を用いて、ディスプレイの輝度範囲(0~DPL〔nit〕)に対応するディスプレイ輝度値へ変換する。
より具体的には、SDR信号(疑似HDR信号)からディスプレイ輝度値への変換では、ステップS106において、SDRの輝度範囲における輝度値と、複数の第3コード値とを関係付けたEOTFを用いて、取得したSDR信号が示すSDRのコード値について、SDRのコード値にSDRのEOTFで関係付けられたSDRの輝度値を決定する。
そして、ディスプレイ輝度値への変換では、ステップS107において、決定したSDRの輝度値に予め関係付けられた、ディスプレイの輝度範囲に対応するディスプレイ輝度値を決定し、SDRの輝度範囲に対応するSDRの輝度値を、ディスプレイの輝度範囲に対応するディスプレイ輝度値へ変換する第3輝度変換を行う。
最後に、表示装置200の表示部204は、変換したディスプレイ輝度値に基づいて、疑似HDR映像を表示装置200に表示する(S108)。
[35.第1輝度変換]
次に、ステップS102の第1輝度変換(HPL→DPL)の詳細について、図40Aを用いて説明する。図40Aは、第1輝度変換の一例について説明するための図である。
変換装置100の輝度変換部102は、ステップS101で得られたリニアな信号(HDRの輝度値)を、ディスプレイ特性情報と、HDR映像のコンテンツ輝度情報とを用いて変換する第1輝度変換を行う。第1輝度変換は、HDRの輝度値(入力輝度値)を、ディスプレイピーク輝度(DPL)を超えないディスプレイ輝度値(出力輝度値)に変換する。DPLは、ディスプレイ特性情報であるSDRディスプレイの最大輝度および表示モードを用いて決定する。表示モードは、例えば、SDRディスプレイに暗めに表示するシアターモードや、明るめに表示するダイナミックモード等のモード情報である。表示モードが、例えば、SDRディスプレイの最大輝度が1,500nitであり、かつ、表示モードが最大輝度の50%の明るさにするモードである場合、DPLは、750nitとなる。ここで、DPL(第2最大輝度値)とは、SDRディスプレイが現在設定されている表示モードにおいて表示できる輝度の最大値である。つまり、第1輝度変換では、SDRディスプレイの表示特性を示す情報であるディスプレイ特性情報を用いて、第2最大輝度値としてのDPLを決定する。
また、第1輝度変換では、コンテンツ輝度情報のうちのCALとCPLとを用い、CAL付近以下の輝度値は、変換の前後で同一とし、CPL付近以上の輝度値に対してのみ輝度値を変更する。つまり、図40Aに示すように、第1輝度変換では、当該HDRの輝度値がCAL以下の場合、当該HDRの輝度値を変換せず、当該HDRの輝度値を、ディスプレイ輝度値として決定し、当該HDRの輝度値がCPL以上の場合、第2最大輝度値としてのDPLを、ディスプレイ輝度値として決定する。
また、第1輝度変換では、輝度情報のうちのHDR映像のピーク輝度(CPL)を用い、HDRの輝度値がCPLの場合、DPLを、ディスプレイ輝度値として決定する。
なお、第1輝度変換では、図40Bのように、ステップS101で得られたリニアな信号(HDRの輝度値)を、DPLを超えない値にクリップするように変換してもよい。このような輝度変換を行うことで、変換装置100での処理を簡素化することができ、装置の縮小化、低電力化、処理の高速化が図れる。なお、図40Bは、第1輝度変換の他の一例について説明するための図である。
[36-1.第2輝度変換]
次に、ステップS103の第2輝度変換(DPL→100〔nit〕)の詳細について、図41を用いて説明する。図41は、第2輝度変換について説明するための図である。
変換装置100の逆輝度変換部103は、ステップS102の第1輝度変換で変換されたディスプレイの輝度範囲(0~DPL〔nit〕)のディスプレイ輝度値に対し、表示モードに応じた逆輝度変換を施す。逆輝度変換は、SDRディスプレイによる表示モードに応じた輝度変換処理(ステップS107)が行われた場合に、ステップS102処理後のディスプレイの輝度範囲(0~DPL〔nit〕)のディスプレイ輝度値を取得できるようにするための処理である。つまり、第2輝度変換は、第3輝度変換の逆輝度変換である。
上記の処理により、第2輝度変換は、ディスプレイの輝度範囲のディスプレイ輝度値(入力輝度値)を、SDRの輝度範囲のSDRの輝度値(出力輝度値)に変換する。
第2輝度変換では、SDRディスプレイの表示モードによって変換式を切り替える。例えば、SDRディスプレイの表示モードがノーマルモードの場合、ディスプレイ輝度値に正比例する正比例値に輝度変換する。また、第2輝度変換では、SDRディスプレイの表示モードがノーマルモードよりも高輝度画素をより明るく、かつ、低輝度画素をより暗くするダイナミックモードの場合、その逆関数を用いることで、低輝度画素のSDRの輝度値は、ディスプレイ輝度値に正比例する正比例値より高い値に、高輝度画素のSDRの輝度値は、ディスプレイ輝度値に正比例する正比例値より低い値に輝度変換する。つまり、第2輝度変換では、ステップS102において決定したディスプレイ輝度値について、SDRディスプレイの表示特性を示す情報であるディスプレイ特性情報に応じた輝度関係情報を用いて、当該ディスプレイ輝度値に関係付けられた輝度値をSDRの輝度値として決定し、ディスプレイ特性情報に応じて輝度変換処理を切り替える。ここで、ディスプレイ特性情報に応じた輝度関係情報とは、例えば図41に示すような、SDRディスプレイの表示パラメータ(表示モード)毎に定められた、ディスプレイ輝度値(入力輝度値)と、SDRの輝度値(出力輝度値)とを関係付けた情報である。
[36-2.第3輝度変換]
次に、ステップS107の第3輝度変換(100→DPL〔nit〕)の詳細について、図42を用いて説明する。図42は、第3輝度変換について説明するための図である。
表示装置200の輝度変換部203は、SDRの輝度範囲(0~100〔nit〕)のSDRの輝度値をステップS105で設定された表示モードに応じて(0~DPL〔nit〕)に変換する。本処理はS103のモード毎の逆輝度変換の逆関数となるように処理する。
第3輝度変換では、SDRディスプレイの表示モードによって変換式を切り替える。例えば、SDRディスプレイの表示モードがノーマルモードの場合(つまり、設定された表示パラメータがノーマルモードに対応したパラメータである場合)、ディスプレイ輝度値は、SDRの輝度値に正比例する正比例値に輝度変換する。また、第3輝度変換では、SDRディスプレイの表示モードがノーマルモードよりも高輝度画素をより明るく、かつ、低輝度画素をより暗くするダイナミックモードの場合、低輝度画素のディスプレイ輝度値は、SDRの輝度値に正比例する正比例値より低い値に、高輝度画素のディスプレイ輝度値は、SDRの輝度値に正比例する正比例値より高い値に輝度変換する。つまり、第3輝度変換では、ステップS106において決定したSDRの輝度値について、SDRディスプレイの表示設定を示す表示パラメータに応じた輝度関係情報を用いて、当該SDRの輝度値に予め関係付けられた輝度値をディスプレイ輝度値として決定し、表示パラメータに応じて輝度変換処理を切り替える。ここで、表示パラメータに応じた輝度関係情報とは、例えば図42に示すような、SDRディスプレイの表示パラメータ(表示モード)毎に定められた、SDRの輝度値(入力輝度値)と、ディスプレイ輝度値(出力輝度値)とを関係付けた情報である。
[37.表示設定]
次に、ステップS105の表示設定の詳細について、図43を用いて説明する。図43は、表示設定の詳細な処理を示すフローチャートである。
SDRディスプレイの表示設定部201は、ステップS105において、下記のステップS201~ステップS208の処理を行う。
まず、表示設定部201は、設定情報を用いて、SDRディスプレイに設定されているEOTF(SDRディスプレイ用EOTF)が、疑似HDR映像(SDR信号)の生成時に想定したEOTFと整合しているかどうかを判定する(S201)。
表示設定部201は、SDRディスプレイに設定されているEOTFが、設定情報が示すEOTF(疑似HDR映像に整合するEOTF)と異なっていると判定した場合(S201でYes)、SDRディスプレイ用EOTFをシステム側で切り替え可能かを判定する(S202)。
表示設定部201は、切り替え可能であると判定した場合、設定情報を用いて、SDRディスプレイ用EOTFを適切なEOTFに切り替える(S203)。
ステップS201~ステップS203から、表示設定の設定(S105)では、SDRディスプレイに設定されているEOTFを、取得した設定情報に応じた推奨EOTFに設定する。また、これにより、ステップS105の後に行われるステップS106では、推奨EOTFを用いて、SDRの輝度値を決定することができる。
システム側で切り替え可能でないと判定した場合(S202でNo)、EOTFをユーザがマニュアル操作で変更することを促すメッセージを画面に表示する(S204)。例えば、「表示ガンマを2.4に設定して下さい」というメッセージを画面に表示する。つまり、表示設定部201は、表示設定の設定(S105)において、SDRディスプレイに設定されているEOTFを切り替えできない場合、SDRディスプレイに設定されているEOTF(SDRディスプレイ用EOTF)を、推奨EOTFに切り替えることをユーザに促すためのメッセージを、SDRディスプレイに表示する。
次に、SDRディスプレイでは、疑似HDR映像(SDR信号)を表示するが、表示の前に設定情報を用いてSDRディスプレイの表示パラメータが設定情報に合っているかを判定する(S205)。
表示設定部201は、SDRディスプレイに設定されている表示パラメータが、設定情報とは異なっていると判定した場合(S205でYes)、SDRディスプレイの表示パラメータを、切り替え可能かを判定する(S206)。
表示設定部201は、SDRディスプレイの表示パラメータを切り替え可能であると判定した場合(S206でYes)、設定情報に合わせて、SDRディスプレイの表示パラメータを切り替える(S207)。
ステップS204~ステップS207から、表示設定の設定(S105)では、SDRディスプレイに設定されている表示パラメータを、取得した設定情報に応じた推奨表示パラメータに設定する。
システム側で切り替え可能でないと判定した場合(S206でNo)、SDRディスプレイに設定されている表示パラメータをユーザがマニュアル操作で変更することを促すメッセージを画面に表示する(S208)。例えば、「表示モードをダイナミックモードにし、バックライトを最大にして下さい」というメッセージを画面に表示する。つまり、設定(S105)では、SDRディスプレイに設定されている表示パラメータを切り替えできない場合、SDRディスプレイに設定されている表示パラメータを、推奨表示パラメータに切り替えることをユーザに促すためのメッセージを、SDRディスプレイに表示する。
[38.変形例1]
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態1にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下では、他の実施の形態を例示する。
HDR映像は、例えばBlu-ray Disc、DVD、インターネットの動画配信サイト、放送、HDD内の映像である。
変換装置100(HDR→疑似HDR変換処理部)は、ディスクプレイヤー、ディスクレコーダ、セットトップボックス、テレビ、パソコン、スマートフォンの内部に存在していてもよい。変換装置100は、インターネット内のサーバ装置の内部に存在していてもよい。
表示装置200(SDR表示部)は、例えばテレビ、パソコン、スマートフォンである。
変換装置100が取得するディスプレイ特性情報は、表示装置200からHDMIや他の通信プロトコルを用いてHDMIケーブルやLANケーブルを介して取得してもよい。変換装置100が取得するディスプレイ特性情報は、インターネットを介して表示装置200の機種情報等に含まれるディスプレイ特性情報を取得してもよい。また、ユーザがマニュアル操作を行い、ディスプレイ特性情報を、変換装置100に設定してもよい。また、変換装置100のディスプレイ特性情報の取得は、疑似HDR映像生成(ステップS101~S104)時の直前でもよいし、機器の初期設定時やディスプレイ接続時のタイミングでもよい。例えば、ディスプレイ特性情報の取得は、ディスプレイ輝度値への変換の直前に行ってもよいし、変換装置100がHDMIケーブルで最初に表示装置200に接続したタイミングで行ってもよい。
また、HDR映像のCPLやCALは、コンテンツ1つに対して1つでもよいし、シーン毎に存在していてもよい。つまり、変換方法では、映像の複数のシーンのそれぞれに対応した輝度情報であって、当該シーン毎に、当該シーンを構成する複数の画像に対する輝度値のうちの最大値である第1最大輝度値と、当該シーンを構成する複数の画像に対する輝度値の平均である平均輝度値との少なくとも一方を含む輝度情報(CPL、CAL)を取得し、第1輝度変換では、複数のシーンのそれぞれについて、当該シーンに対応した輝度情報に応じてディスプレイ輝度値を決定してもよい。
また、CPLおよびCALは、HDR映像と同じ媒体(Blu-ray Disc、DVD等)に同梱していてもよいし、変換装置100がインターネットから取得する等、HDR映像とは別の場所から取得してもよい。つまり、CPLおよびCALの少なくとも一方を含む輝度情報を映像のメタ情報として取得してもよいし、ネットワーク経由で取得してもよい。
また、変換装置100の第1輝度変換(HPL→DPL)において、CPL、CAL、およびディスプレイピーク輝度(DPL)は使用せずに、固定値を用いてもよい。また、その固定値を外部から変更可能にしてもよい。また、CPL、CAL、およびDPLは、数種類で切り替えるようにしてもよく、例えば、DPLは200nit、400nit、800nitの3種類のみとするようにしてもよいし、ディスプレイ特性情報に最も近い値を使用するようにしてもよい。
また、HDRのEOTFはSMPTE 2084でなくてもよく、他の種類のHDRのEOTFを用いてもよい。また、HDR映像の最大輝度(HPL)は10,000nitでなくてもよく、例えば4,000nitや1,000nitでもよい。
また、コード値のビット幅は、例えば16,14,12,10,8bitでもよい。
また、逆SDRのEOTF変換は、ディスプレイ特性情報から決定するが、(外部からも変更可能な)固定の変換関数を用いてもよい。逆SDRのEOTF変換は、例えばRec. ITU-R BT.1886で規定されている関数を用いてもよい。また、逆SDRのEOTF変換の種類を数種類に絞り、表示装置200の入出力特性に最も近いものを選択して使用するようにしてもよい。
また、表示モードは、固定のモードを使うようにしてもよく、ディスプレイ特性情報の中に含めなくてもよい。
また、変換装置100は、設定情報を送信しなくてもよく、表示装置200では固定の表示設定としてもよいし、表示設定を変更しなくてもよい。この場合、表示設定部201は不要となる。また、設定情報は、疑似HDR映像かどうかのフラグ情報でもよく、例えば、疑似HDR映像である場合は最も明るく表示する設定に変更するようにしてもよい。つまり、表示設定の設定(S105)では、取得した設定情報が、DPLを用いて変換された疑似HDR映像を示す信号であることを示す場合、表示装置200の明るさ設定を最も明るく表示する設定に切り替えてもよい。
[39.変形例2]
また、変換装置100の第1輝度変換(HPL→DPL)は例えば次の算式で変換する。
ここで、Lは、0~1に正規化された輝度値を示し、S1、S2、a、b、MはCAL、CPL、およびDPLに基づいて設定する値である。lnは自然対数である。Vは0~1に正規化された変換後の輝度値である。図40Aの例のように、CALを300nitとし、CPLを2,000nitとし、DPLを750nitとし、CAL + 50nitまでは変換しないとし、350nit以上に対して変換する場合、それぞれの値は例えば次のような値となる。
S1 = 350/10000
S2 = 2000/10000
M = 750/10000
a = 0.023
b = S1 - a*ln(S1) = 0.112105
つまり、第1輝度変換では、SDRの輝度値が、平均輝度値(CAL)と第1最大輝度値(CPL)との間である場合、自然対数を用いて、当該HDRの輝度値に対応するディスプレイ輝度値を決定する。
[40.効果等]
HDR映像のコンテンツピーク輝度やコンテンツ平均輝度等の情報を用いてHDR映像を変換することにより、コンテンツに応じて変換式を変えることができ、HDRの階調をなるべく保つように変換することが可能となる。また、暗すぎる、明るすぎるといった悪影響を抑制することができる。具体的には、HDR映像のコンテンツピーク輝度をディスプレイピーク輝度にマッピングすることにより、階調をなるべく保つようにしている。また、平均輝度付近以下の画素値を変えないことにより、全体的な明るさが変わらないようにしている。
また、SDRディスプレイのピーク輝度値および表示モードを用いてHDR映像を変換することにより、SDRディスプレイの表示環境に応じて変換式を変えることができ、SDRディスプレイの性能に合わせて、HDR感のある映像(疑似HDR映像)を、元のHDR映像と同様の階調や明るさで表示することができる。具体的には、SDRディスプレイの最大輝度および表示モードによってディスプレイピーク輝度を決定し、そのピーク輝度値を超えないようにHDR映像を変換することにより、SDRディスプレイで表示可能な明るさまではHDR映像の階調をほとんど減らさずに表示し、表示不可能な明るさは表示可能な明るさまで輝度値を下げている。
以上により、表示不可能な明るさ情報を削減し、表示可能な明るさの階調を落とさず、元のHDR映像に近い形で表示することが可能となる。例えば、ピーク輝度1,000nitのディスプレイ用には、ピーク輝度1,000nitに抑えた疑似HDR映像に変換することにより、全体的な明るさを維持し、ディスプレイの表示モードによって輝度値は変わる。このため、ディスプレイの表示モードに応じて、輝度の変換式を変更するようにしている。もし、ディスプレイのピーク輝度よりも大きな輝度を疑似HDR映像で許容すると、その大きな輝度をディスプレイ側でのピーク輝度に置き換えて表示する場合があり、その場合は元のHDR映像よりも全体的に暗くなる。逆にディスプレイのピーク輝度よりも小さな輝度を最大輝度として変換すると、その小さな輝度をディスプレイ側でのピーク輝度に置き換え、元のHDR映像よりも全体的に明るくなる。しかもディスプレイ側のピーク輝度よりも小さいためにディスプレイの階調に関する性能を最大限使っていないことになる。
また、ディスプレイ側では、設定情報を用いて表示設定を切り替えることにより、疑似HDR映像をよりよく表示することが可能となる。例えば、明るさを暗く設定している場合には高輝度表示ができないため、HDR感が損なわれる。その場合には表示設定を変更するもしくは、変更してもらうよう促すメッセージを表示することにより、ディスプレイの性能を最大限引出し、高階調な映像を表示できるようにする。
(全体のまとめ)
以上、本開示の一つまたは複数の態様に係る再生方法および再生装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、異なる実施の形態における構成要素を組み合わせて構築される形態なども、本開示の一つまたは複数の態様の範囲内に含まれてもよい。
例えば、上記各実施の形態において、各構成要素は、回路などの専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。