本開示の一態様に係る伝送方法は、表示装置に映像信号を伝送する再生装置における伝送方法であって、前記再生装置と前記表示装置とを接続する伝送プロトコルのバージョンが第1バージョンである場合、前記映像信号の連続再生単位に含まれる複数の画像に対して共通に用いられ、前記映像信号の輝度範囲に関する情報である第1メタデータを前記表示装置に伝送し、前記映像信号の前記連続再生単位より細かい単位に対して共通に用いられ、前記映像信号の輝度範囲に関する情報である第2メタデータを前記表示装置に伝送せず、前記伝送プロトコルのバージョンが第2バージョンである場合、前記第1メタデータ及び前記第2メタデータを前記表示装置へ伝送する。
これによれば、当該伝送方法は、伝送プロトコルのバージョンに応じて、第1メタデータ及び第2メタデータのうち適切なメタデータを表示装置へ伝送できる。
例えば、前記伝送プロトコルのバージョンが前記第1バージョンである場合、前記第2メタデータを用いて前記映像信号の輝度範囲を変換する変換処理を行い、変換後の映像信号を前記表示装置に伝送してもよい。
これによれば、第2メタデータを表示装置に伝送できず、表示装置で変換処理を行えない場合には、再生装置で変換処理を行うことができる。
例えば、前記伝送プロトコルのバージョンが前記第2のバージョンであり、かつ、前記表示装置が前記変換処理に対応していない場合、前記変換処理を行い、前記変換後の映像信号を前記表示装置に伝送し、前記伝送プロトコルのバージョンが前記第2のバージョンであり、かつ、前記表示装置が前記変換処理に対応している場合、前記変換処理を行わずに前記映像信号を前記表示装置に伝送してもよい。
これにより、再生装置及び表示装置のうちの適切な装置で変換処理を実行できる。
例えば、前記再生装置が、前記第2メタデータを用いて前記映像信号の輝度範囲を変換する変換処理に対応していない場合、前記変換処理を行わず、前記第2メタデータを前記表示装置へ伝送しなくてもよい。
例えば、前記映像信号における輝度値は、コード値として符号化されており、前記第1メタデータは、複数の輝度値と複数のコード値とを関係付けたEOTF(Electro−Optical Transfer Function)を特定するための情報であってもよい。
例えば、前記第2メタデータは、前記映像信号のマスタリング特性を示してもよい。
また、本開示の一態様に係る再生方法は、映像信号を再生する再生方法であって、前記映像信号の輝度は、最大輝度値が100nitを超える第1最大輝度値に定義された第1輝度範囲における第1輝度値からなり、前記映像信号における画面間の輝度値の変化量が予め定められた第1閾値を超えるかを判定する判定ステップと、前記変化量が前記第1閾値を超えると判定された場合、前記映像信号の輝度値を下げる調整処理を行う調整ステップとを含む。
これによれば、当該再生方法は、映像信号の輝度値が表示装置の表示能力を超える場合に、映像信号の輝度値を下げることで、表示装置で適切に表示できる映像信号を生成できる。また、当該再生方法は、映像信号の輝度値の変化量が大きいことにより視聴者に悪影響を与える可能性がある場合に、映像信号の輝度値を下げることで、当該悪影響を低減できる。
例えば、前記調整ステップでは、前記変化量が前記第1閾値を超える画素に対して、当該画素の前記変化量が前記第1閾値以下になるように当該画素の輝度値を調整してもよい。
例えば、前記判定ステップでは、前記映像信号に含まれる第1画像のピーク輝度と、前記映像信号に含まれる、前記第1画像より後の第2画像に含まれる複数の画素の輝度値の各々との差分が前記第1閾値を超えるかを判定し、前記調整ステップでは、前記差分が前記第1閾値を超える画素に対して、当該画素の前記差分が前記第1閾値以下になるように当該画素の輝度値を調整してもよい。
例えば、前記判定ステップでは、前記映像信号のフレームレートの逆数の整数倍である基準時間間隔における前記輝度値の前記変化量が前記第1閾値を超えるかを判定してもよい。
例えば、前記判定ステップでは、前記映像信号に含まれる画像に含まれる複数の画素のうち、前記変化量が前記第1閾値を超える画素の割合が第2閾値を超えるかを判定し、前記調整ステップでは、前記割合が前記第2閾値を超える場合、前記割合が前記第2閾値以下になるように前記複数の画素の輝度値を調整してもよい。
例えば、前記判定ステップでは、画面が分割されることで得られた複数の領域毎に、当該領域の画面間の輝度値の変化量が前記第1閾値を超えるかを判定し、前記調整ステップでは、前記変化量が前記第1閾値を超えると判定された領域に対して、当該領域の輝度値を下げる調整処理を行ってもよい。
また、本開示の一態様に係る再生方法、映像信号を再生する再生方法であって、前記映像信号の輝度は、最大輝度値が100nitを超える第1最大輝度値に定義された第1輝度範囲における第1輝度値からなり、前記映像信号に含まれる画像の輝度値が予め定められた第1閾値を超えるかを判定する判定ステップと、前記輝度値が前記第1閾値を超えると判定された場合、前記画像の輝度値を下げる調整処理を行う調整ステップとを含む。
これによれば、当該再生方法は、映像信号の輝度値が表示装置の表示能力を超える場合に、映像信号の輝度値を下げることで、表示装置で適切に表示できる映像信号を生成できる。また、当該再生方法は、映像信号の輝度値が高いことにより視聴者に悪影響を与える可能性がある場合に、映像信号の輝度値を下げることで、当該悪影響を低減できる。
例えば、前記判定ステップでは、前記画像に含まれる複数の画素のうち、輝度値が前記第1閾値を超える画素の数を判定し、前記調整ステップでは、前記画素の数が第3閾値を超える場合、前記画素の数が前記第3閾値以下になるように、前記画像の輝度値を下げてもよい。
例えば、前記判定ステップでは、前記画像に含まれる複数の画素のうち、輝度値が前記第1閾値を超える画素の割合を判定し、前記調整ステップでは、前記割合が第3閾値を超える場合、前記割合が前記第3閾値以下になるように、前記画像の輝度値を下げてもよい。
例えば、前記第1閾値は、前記映像信号を表示する表示装置において複数の画素に対して同時に印加できる電圧の上限値に基づいて算出される値であってもよい。
また、本開示の一態様に係る再生装置は、表示装置に映像信号を伝送する再生装置であって、前記再生装置と前記表示装置とを接続する伝送プロトコルのバージョンが第1バージョンである場合、前記映像信号の連続再生単位に含まれる複数の画像に対して共通に用いられ、前記映像信号の輝度範囲に関する情報である第1メタデータを前記表示装置に伝送し、前記映像信号の前記連続再生単位より細かい単位に対して共通に用いられ、前記映像信号の輝度範囲に関する情報である第2メタデータを前記表示装置に伝送せず、前記伝送プロトコルのバージョンが第2バージョンである場合、前記第1メタデータ及び前記第2メタデータを前記表示装置へ伝送する。
これによれば、当該再生装置は、伝送プロトコルのバージョンに応じて、第1メタデータ及び第2メタデータのうち適切なメタデータを表示装置へ伝送できる。
また、本開示の一態様に係る再生装置は、映像信号を再生する再生装置であって、前記映像信号の輝度は、最大輝度値が100nitを超える第1最大輝度値に定義された第1輝度範囲における第1輝度値からなり、前記映像信号における画面間の輝度値の変化量が予め定められた第1閾値を超えるかを判定する判定部と、前記変化量が前記第1閾値を超えると判定された場合、前記映像信号の輝度値を下げる調整処理を行う調整部とを備える。
これによれば、当該再生装置は、映像信号の輝度値が表示装置の表示能力を超える場合に、映像信号の輝度値を下げることで、表示装置で適切に表示できる映像信号を生成できる。また、当該再生装置は、映像信号の輝度値の変化量が大きいことにより視聴者に悪影響を与える可能性がある場合に、映像信号の輝度値を下げることで、当該悪影響を低減できる。
また、本開示の一態様に係る再生装置は、映像信号を再生する再生装置であって、前記映像信号の輝度は、最大輝度値が100nitを超える第1最大輝度値に定義された第1輝度範囲における第1輝度値からなり、前記映像信号に含まれる画像の輝度値が予め定められた第1閾値を超えるかを判定する判定部と、前記輝度値が前記第1閾値を超えると判定された場合、前記画像の輝度値を下げる調整処理を行う調整部とを備える。
これによれば、当該再生装置は、映像信号の輝度値が表示装置の表示能力を超える場合に、映像信号の輝度値を下げることで、表示装置で適切に表示できる映像信号を生成できる。また、当該再生装置は、映像信号の輝度値が高いことにより視聴者に悪影響を与える可能性がある場合に、映像信号の輝度値を下げることで、当該悪影響を低減できる。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
また、上記特徴に関しては、主に、[27.HDRメタデータの伝送方法]〜[28.輝度値の調整]において説明する。
また、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素。構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態)
[1.背景]
まず、映像技術の変遷について、図1を用いて説明する。図1は、映像技術の進化について説明するための図である。
これまで、映像の高画質化としては、表示画素数の拡大に主眼がおかれ、Standard Definition(SD)の720×480画素の映像から、High Definition(HD)の1920×1080画素の、所謂2K映像が普及している。
近年、映像の更なる高画質化を目指して、Ultra High Definition(UHD)の3840×1920画素、あるいは、4Kの4096×1920画素の、所謂4K映像の導入が開始された。
そして、4Kの導入による映像の高解像度化を行うと共に、ダイナミックレンジ拡張や色域の拡大、あるいは、フレームレートの追加、向上などを行うことで映像を高画質化することが検討されている。
その中でも、ダイナミックレンジについては、従来の映像における暗部階調を維持しつつ、現行のTV信号では表現不能な鏡面反射光などの明るい光を、より現実に近い明るさで表現するために最大輝度値を拡大した輝度範囲に対応させた方式として、HDR(High Dynamic Range)が注目されている。具体的には、これまでのTV信号が対応している輝度範囲の方式は、SDR(Standard Dynamic Range)と呼ばれ、最大輝度値が100nitであったのに対して、HDRでは1000nit以上まで最大輝度値を拡大することが想定されている。HDRは、SMPTE(Society of Motion Picture & Television Engineers)やITU−R(International Telecommunications Union Radiocommunications Sector)などにおいて、標準化が進行中である。
HDRの具体的な適用先としては、HDやUHDと同様に、放送やパッケージメディア(Blu−ray(登録商標、以下同様) Disc等)、インターネット配信などで使われることが想定されている。
なお、以下では、HDRに対応した映像において、当該映像の輝度は、HDRの輝度範囲の輝度値からなり、当該映像の輝度値が量子化されることで得られた輝度信号をHDR信号と呼ぶ。SDRに対応した映像において、当該映像の輝度は、SDRの輝度範囲の輝度値からなり、当該映像の輝度値が量子化されることで得られた輝度信号をSDR信号と呼ぶ。
[2.目的及び課題]
従来の画像信号より輝度範囲が高い画像信号であるHDR(High Dynamic Range)信号は、HDR信号を格納したBlu−rayディスク等のパッケージメディア、放送、又はOTT(Over The Top)等の配信媒体経由で配信される。ここで、OTTとは、インターネット上で提供されるWebサイト、動画或いは音声などのコンテンツ或いはサービス、又はそれらを提供する事業者を意味する。配信されたHDR信号は、Blu−ray機器等により復号される。また、復号されたHDR信号は、HDR対応表示装置(TV、プロジェクタ、タブレット、又はスマートフォン等)に送られ、HDR対応表示装置によりHDR映像が再生される。
HDR技術はまだ初期段階であり、最初に導入したHDR技術が採用された後に、新たなHDR方式が開発されることが想定される。この場合、新たに作成されたHDR方式のHDR信号(及びメタデータ)をHDR配信媒体に格納することにより新規HDR方式を採用できる。この場合、新機能をサポートしていない元の機器(例えばBlu−ray機器)で、新規HDR方式の信号を格納したHDR配信媒体を再生できる“Forward Compatibility”が重要である。本開示では、新たなHDR信号形式(メタデータ)を格納した配信媒体に対して、元の配信媒体用に設計された復号装置(例えばBlu−ray機器)を変えることなく、元の技術でのHDR再生は保証することで互換性を保持し、新たな方式に対応したHDR復号装置(例えばBlu−ray機器)では新たなHDR方式の処理に対応することが可能にする方法及び装置を実現する。
また、拡張方式を選定したり、登録する方法を適切に決めないで、あまりに無作為に新技術を採用する方式を採用すると、多くの非互換方式が乱立して市場での混乱が起きる可能性がある。逆に非常に厳格な技術選択のメカニズムを導入すると、新技術の決定が遅くなってしまう。これにより、技術革新の導入が遅れることで、その配信プラットホーム(Blu−ray等)が陳腐化する可能性がある。これにより、当該配信プラットホームが他のプラットホーム(例えばOTT等の電子配信サービス)に対して競争力を維持できなくなるリスクがある。このために、両者の利点を取り入れた、オプション導入方式が必要である。本実施の形態では、このニーズに応えるハイブリッドオプション導入方式を提案する。
図2は、HDRの位置づけ(輝度の拡大)を示す図である。また、図3は、HDRの効果を示す画像例を示す。
[3.HDR導入時のマスター、配信方式、および表示装置の関係]
図4は、SDRとHDRのホームエンターテイメント用マスターを制作するフローと、配信媒体及び表示装置の関係を示す図である。
HDRのコンセプトは提案されており、HDRのコンセプトレベルでの有効性は確認されている。また、HDRの最初の実施方法が提案されている。ただし、この方法を使ってHDRコンテンツが大量に作られ、最初の実施方法の実証が行われたわけではない。このため、今後HDRコンテンツの制作が本格化した場合、現状のHDRの制作方式、HDRからSDRへの変換方式、又は表示装置でのトーンマッピング変換方式等のためのメタデータが変わる可能性がある。
[4.EOTFの使い方]
図5は、コンテンツに格納される輝度信号のコード値の決定方法、および、再生時にコード値から輝度値を復元するプロセスの説明図である。
本例における輝度を示す輝度信号はHDRに対応したHDR信号である。グレーディング後の画像は、HDRの逆EOTFにより量子化され、当該画像の輝度値に対応するコード値が決定する。このコード値に基づいて画像符号化などが行われ、ビデオのストリームが生成される。再生時には、ストリームの復号結果に対して、HDRのEOTFに基づいて逆量子化することによりリニアな信号に変換され、画素毎の輝度値が復元される。以下、HDRの逆EOTFを用いた量子化を「逆HDRのEOTF変換」という。HDRのEOTFを用いた逆量子化を「HDRのEOTF変換」という。同様に、SDRの逆EOTFを用いた量子化を「逆SDRのEOTF変換」という。SDRのEOTFを用いた逆量子化を「SDRのEOTF変換」という。
この輝度値とメタデータを使って、映像変換処理部で、映像表示部で表示できる輝度値に変換することで、映像表示部でHDR映像を表示することができる。例えば、元のHDR映像のピーク輝度が2000nitであり、映像表示部のピーク輝度が800nitの場合、変換を行って輝度を下げることができる。
このように、HDRマスターの方式は、EOTF及びメタデータとHDR信号との組み合わせにより実現されている。よって、より効率的なEOTF及びメタデータが開発され、そのようなEOTF及びメタデータを用いたHDR方式を採用すべき時が来る可能性がある。
但し、この新たな方式がどのようなものになるかは、現時点では解らないが、EOTFが変更される可能性とメタデータが追加される可能性とは想像できる。この場合、HDR信号自体も変わる。
本開示は、このようにHDRの伝送フォーマットが変更された場合でも、HDR対応機器を買ったお客様が新たな機器を買いなおすリスクを下げることで、HDRの普及を図ることを目指している。
[5.メタデータ]
図6は、HDRメタデータの例を示す図である。HDRメタデータは、映像信号の輝度範囲の変更(DR変換)に用いられる変換補助情報と、HDR制御情報とを含む。各情報は、例えばタイトル単位で設けられる静的HDRメタデータと、例えばフレーム単位で設けられる動的HDRメタデータとのいずれかである。また、静的HDRメタデータは、必須メタデータ(基本データ)と、選択メタデータ(拡張データ)とのいずれかに分類され、動的HDRメタデータは、選択メタデータに分類される。なお、各情報の詳細は後述する。
このように、基本方式は、静的HDRメタデータのみで実装可能である。また、各拡張方式は、基本方式の再生機器(Blu−ray等)に影響を与えないように設計されている。
[6.HDRメタデータ1]
HDRコンテンツにおけるマスタリング時の特性を示すパラメータとしては、タイトル毎又はプレイリスト毎に固定である静的HDRメタデータと、シーン毎に可変である動的HDRメタデータとが存在する。ここで、タイトル及びプレイリストは、連続して再生される映像信号を示す情報である。以降、連続して再生される映像信号を連続再生単位と呼ぶ。
例えば、静的HDRメタデータは、EOTF関数(カーブ)の種類、18%Gray値、Diffuse White値、Knee point、及びClip pointの少なくとも一つを含む。EOTFは、複数の輝度値と複数のコード値とを関係付けた情報であり、映像信号の輝度範囲を変更するための情報である。その他の情報は、映像信号の輝度に関する属性情報であることから、静的HDRメタデータは、映像信号の輝度範囲に関する情報であり、映像信号の輝度範囲を特定するための情報と言える。
具体的には、18%Gray値及びDiffuse White値は、予め定められた基準となる明るさの映像における輝度値(nit)を示し、言い換えると、映像における基準の明るさを示す。より具体的には、18%Gray値は、マスタリング前において18nitの明るさの物体のマスタリング後の輝度値(nit)を示す。Diffuse White値は、白色に相当する輝度値(nit)を示す。
また、Knee point及びClip pointは、EOTF関数のパラメータであり、EOTFにおける特性が変化する点を示す。具体的には、Knee pointは、撮影時のオリジナルの輝度値(入力輝度)の増分に対する、映像信号の輝度としてEOTFにマッピングされる輝度値(出力輝度)の増分を、1対1とは異なる値とする変化点を示す。例えば、Knee pointは、後述する図39Aにおいて、線形変化からはずれる点を特定するための情報である。また、Clip pointは、EOTF関数においてクリップが開始される点を示す。ここでクリップとは、ある値以上の入力輝度値を同一の出力輝度値に変換することである。例えば、Clip pointは、後述する図39Bにおいて、出力輝度値が変化しなくなる点を示す。
また、EOTF関数(カーブ)の種類とは、例えば、図36Aに示すHDRのEOTF及びSDRのEOTFである。
このように、本実施の形態に係るコンテンツデータ生成方法は、コンテンツデータを生成するコンテンツデータ生成方法であって、映像信号と、映像信号の連続再生単位に含まれる複数の画像(連続再生単位を構成する映像信号)に対して共通に用いられる情報であって、映像信号の輝度範囲に関する情報を含む静的HDRメタデータ(第1メタデータ)とを生成する第1生成ステップと、連続再生単位と静的HDRメタデータとを関連付けることによりコンテンツデータを生成する第2生成ステップを含む。例えば、映像信号の輝度範囲に関する情報とは、映像信号の輝度範囲を変換するための情報である。
また、静的HDRメタデータは、複数の輝度値と複数のコード値とを関係付けたEOTFを特定するための情報を含む。また、映像信号における輝度値は、コード値として符号化される。
また、静的HDRメタデータは、さらに、予め定められた基準となる明るさの映像信号における輝度値を示す情報、又は、EOTFにおける特性が変化する点を示す情報を含む。例えば、静的HDRメタデータは、映像信号における白色に相当する輝度値を示す情報(Diffuse White値)を含む。
また、第1生成ステップでは、連続再生単位より細かい単位に対して共通に用いられる情報であって、映像信号の輝度範囲に関する情報である動的HDRメタデータ(第2メタデータ)をさらに生成する。例えば、映像信号の輝度範囲に関する情報とは、映像信号の輝度範囲を変換するための情報である。
動的HDRメタデータは、シーン毎に異なるマスタリング特性を示すパラメータなどである。ここでマスタリング特性とは、オリジナル(マスタリング前)の輝度と、マスタリング後の輝度との関係を示す。例えば、マスタリング特性を示すパラメータとは、上記した静的HDRメタデータと同様の情報であり、言い換えると、静的HDRメタデータに含まれる情報の少なくとも一つである。
図7は、静的HDRメタデータの格納例を示す図である。本例は、Blu−rayディスクなどのパッケージメディアにおいて、静的HDRメタデータをプレイリストに格納する例である。
プレイリストから参照されるストリーム毎のメタデータの1つとして、静的HDRメタデータが格納される。この場合、静的HDRメタデータはプレイリスト単位で固定である。つまり、静的HDRメタデータは、各プレイリストに対応付けて格納される。
また、OTTでは、ストリームの取得に先立って参照されるマニフェストファイルに静的HDRメタデータが格納されてもよい。つまり、本実施の形態に係るコンテンツデータ生成方法は、映像信号を映像ストリームとして生成し、静的HDRメタデータを、映像ストリームの取得に先立って参照されるマニフェストファイルに格納してもよい。
また、放送では、ストリームの属性を示す記述子に静的HDRメタデータが格納されてもよい。つまり、本実施の形態に係るコンテンツデータ生成方法は、コンテンツデータを映像ストリームとして生成し、静的HDRメタデータを、映像ストリームの属性を示す識別子として当該映像ストリームとは独立に格納してもよい。例えば、静的HDRメタデータを、MPEG2−TSにおける記述子(デスクリプタ)として格納できる。
また、タイトル毎に静的HDRメタデータが固定である場合には、静的HDRメタデータは、タイトルの属性を示す管理情報として格納されてもよい。
また、この例では、Blu−rayディスク内のプレイリスト内に各種メタダータを格納する仕組みを使って、HDR用の静的HDRメタデータを格納している。このため、Blu−ray等のアプリケーション規格又は機器の視点からは、静的HDRメタデータの存在がプレイリスト内で定義されている必要がある。このため、新たなHDR用の静的メタデータを新設する場合は、Blu−rayの規格を改定する必要がある。また、容量の規定があるため、無制限にHDRのオプション技術用の静的HDRメタデータを格納することは困難である。
[7.HDRメタデータ2]
図8は、動的HDRメタデータの、ビデオストリーム内への格納例を示す図である。MPEG−4 AVC又はHEVC(High Efficiency Video Coding)では、SEI(Supplemental Enhancement Information)と呼ばれるデータ構造を用いて、ストリームの再生制御に関わる情報を格納する。よって、例えば、SEIに動的HDRメタデータが格納される。
動的HDRメタデータは、シーン毎に更新されることが想定される。シーンの先頭は、GOP(Group Of Pictures)などのランダムアクセス単位の先頭のアクセスユニット(AU)である。従って、動的HDRメタデータは、ランダムアクセス単位における復号順で先頭のアクセスユニットに格納することにしてもよい。ランダムアクセス単位の先頭アクセスユニットは、IDRピクチャ、又は、SPS(Sequence Parameter Set)が付加されたnon−IDR Iピクチャなどとなる。よって、受信側の装置は、ランダムアクセス単位の先頭アクセスユニットを構成するNAL(Network Abstraction Layer)ユニットを検出することにより、動的HDRメタデータを取得できる。あるいは、動的HDRメタデータを格納するSEIに対して、固有のタイプが付与されてもよい。
なお、EOTF関数の種類について、SPSにおけるストリームの属性情報などとして格納されてもよい。つまり、本実施の形態に係るコンテンツデータ生成方法は、コンテンツデータをHEVCにより符号化した映像ストリームとして生成し、EOTFを特定するための情報を、映像ストリームに含まれるSPSに格納してもよい。
また、この例は、MPEGのオプションデータを格納する仕組みを使っており、ビデオエレメンタリストリーム内に、動的HDRメタデータを格納している。このため、Blu−ray等のアプリケーション規格又は機器の視点からは、動的HDRメタデータの存在が解らない。このため、Blu−rayの規格を改定しなくても、MPEGのオプションデータの格納の仕組みだけを使用して動的HDRメタデータを記録することができる。更に、使用される領域がSEI領域であるため、複数のオプション用の動的HDRメタデータを格納することも可能である。
[8.動的HDRメタデータの格納方法]
図9は、主映像とは別のTSストリーム形式で動的HDRメタデータを格納した例を示す図である。
Blu−rayでは、2つのTSストリームを同期して再生する機能がある。この2つのTSストリームの同期再生機能には、ディスク内の別個に管理された2つのTSストリームを同期させて再生する2TS再生機能と、2つのストリームをインターリーブして1つのTSストリームとして扱う1TS再生機能とがある。
この2つのTSストリームの同期再生機能を使い、かつ、動的HDRメタデータをTSストリーム形式で格納することにより、再生装置は、主HDR映像と同期して動的HDRメタデータを使うことができる。このため、通常のHDRプレーヤでは、主HDR映像のみを再生し、標準HDR品質の映像を得ることができる。また、オプション対応HDRプレーヤでは、TS内に格納された動的HDRメタデータを使うことにより、高階調HDR品質映像を再生できる。
この例では、Blu−rayの2つのTSストリームを格納する仕組みを使って、補助的なTSストリーム内に動的HDRメタデータを格納している。このため、Blu−ray等のアプリケーション規格又は機器の視点からは、動的HDRメタデータの存在がTSストリームとして認識される。このため、Blu−rayの規格を改定する必要がある。また、同時に2種類のオプションのTSストリームを格納できる。
[9.静的HDRメタデータの伝送方法]
図10は、静的HDRメタデータの伝送方法を示す図であり、BDプレーヤ(Blu−ray機器)又はレコーダなどの再生装置においてHDMIなどの伝送プロトコルを通じて、表示装置にHDR信号を伝送する際の動作例を示すフローチャートである。
静的HDRメタデータは、タイトル単位又はプレイリスト単位で固定であることを先に述べた。従って、再生装置は、静的HDRメタデータの設定が必要な場合(S401でYes)、タイトル又はプレイリストの再生開始時において、静的HDRメタデータをコンテンツの管理情報から取得して、取得した静的HDRメタデータをHDMIの制御情報として格納して伝送する。つまり、再生装置は、タイトル又はプレイリストを構成する映像信号の伝送開始に先立って、当該タイトル又はプレイリストに対応する静的HDRメタデータを取得し、取得した静的HDRメタデータをHDMIの制御情報として伝送する(S402)。より一般的には、再生装置は、当該再生装置と表示装置との間のHDMIの初期化処理を行う際に、初期化情報として静的HDRメタデータを伝送してもよい。
その後、再生装置は、静的HDRメタデータに対応するビデオストリームを伝送する(S403)。なお、このビデオストリームに対しては、伝送済みの静的HDRメタデータが有効となる。
このように、本実施の形態に係る映像ストリーム伝送方法は、映像ストリーム(ビデオストリーム)を伝送する映像ストリーム伝送方法であって、映像信号と、連続再生単位に含まれる複数の画像に対して共通に用いられる情報であって、映像信号の輝度範囲に関する静的HDRメタデータ(第1メタデータ)とを含むコンテンツデータを取得する取得ステップと、映像信号に対応する映像ストリームと、静的HDRメタデータとを伝送する伝送ステップとを含む。
例えば、伝送ステップでは、HDMIの通信プロトコルに従い、映像ストリームと静的HDRメタデータとを伝送する。
また、動的HDRメタデータは、ビデオストリームの一部(SEI)として伝送される。
なお、再生装置は、動的HDRメタデータを、当該動的HDRメタデータが有効となるタイミングにおいてHDMIの制御信号として伝送してもよい。このとき、再生装置は、静的HDRメタデータと動的HDRメタデータとに識別子などを設けて互いに識別できるようにして伝送する。
また、制御信号においては、動的HDRメタデータを格納するためのコンテナのデータ構造のみ規定しておき、コンテナのペイロードデータとしてSEIの内容をそのままコピーできるようにしてもよい。これにより、SEIに含まれる動的HDRメタデータのシンタックスが更新されてもBDプレーヤ等の再生装置の実装を変更せずに対応できる。
静的HDRメタデータについても同様に、コンテンツの管理情報における静的HDRメタデータをコピーして伝送できるようにしておけば、静的HDRメタデータのシンタックスの変更に対しても、再生装置の実装を変更せずに対応可能である。つまり、静的HDRメタデータを格納するためのコンテナのデータ構造が規定されており、伝送ステップでは、コンテンツデータに含まれる静的HDRメタデータを、コンテナのペイロードにコピーし、当該コンテナを伝送してもよい。
また、TSストリームに格納された動的HDRメタデータは、主HDR映像信号と何らかの方法で合成されたうえで、新たな映像信号(図9の例では高階調HDR映像)として、HDMIで伝送される。
[10.HDRメタデータの処理方法]
図11は、表示装置においてHDR信号を表示する際のHDRメタデータの処理方法の例を示すフローチャートである。まず、表示装置は、HDMIの制御情報から静的HDRメタデータを取得し(S411)、取得した静的HDRメタデータに基づき、HDR信号の表示方法を決定する(S412)。
なお、制御情報に静的HDRメタデータが含まれない場合には、表示装置は、アプリケーション規格において予め定められた値、又は、表示装置のデフォルト設定に基づいて、HDR信号の表示方法を決定する。つまり、本実施の形態に係る映像表示方法は、静的HDRメタデータを取得できない場合、予め定められた値又は設定に基づき、映像信号に対応する映像の表示方法を決定する。
また、表示装置は、ビデオストリーム内のSEIなどにおいて動的HDRメタデータを検出した場合(S413でYes)、動的HDRメタデータに基づいてHDR信号の表示方法を更新する(S414)。つまり、本実施の形態に係る映像表示方法は、静的HDRメタデータを取得した場合、取得した静的HDRメタデータに基づき表示方法を決定して映像を表示し、動的HDRメタデータを取得した場合、静的HDRメタデータに基づき決定した表示方法を、動的HDRメタデータに基づき決定した表示方法に更新して映像を表示する。あるいは、静的HDRメタデータと動的HDRメタデータとの両方に基づいて表示方法を決定してもよい。
なお、表示装置が、動的HDRメタデータの取得に対応していない場合には、表示装置は、静的HDRメタデータのみに基づいて動作してもよい。また、表示装置が動的HDRメタデータの取得に対応している場合でも、表示装置が、メタデータが格納されたアクセスユニットの表示時刻(PTS:Presentation Time Stamp)に同期してHDR信号の表示方法を更新できないことがある。この場合には、表示装置は、メタデータを取得後、表示方法を更新可能な最も早い時刻以降に表示されるアクセスユニットから、表示方法を更新してもよい。
なお、HDRメタデータにバージョン情報などを付与することで、パラメータの更新及び追加に対応できる。これにより、表示装置は、HDRメタデータのバージョン情報に基づいて、当該メタデータが解釈可能であるかを判定できる。あるいは、HDRメタデータは、基本部と拡張部とから構成され、パラメータの更新又は追加は拡張部の変更により対応し、基本部は更新しないことにしてもよい。つまり、静的HDRメタデータ及び動的HDRメタデータの各々は、複数のバージョンを有し、複数のバーションで共通に用いられる基本部と、バージョン毎に異なる拡張部とを含んでもよい。こうすることで、基本部のHDRメタデータに基づいて、表示装置における後方互換性を確保できる。
このように、本実施の形態に係る映像表示方法は、映像ストリームに基づき映像を表示する映像表示方法であって、映像信号に対応する映像ストリームと、静的HDRメタデータ(第1メタデータ)とを取得する取得ステップと、静的HDRメタデータに基づき、映像信号に対応する映像の表示方法を決定して表示する表示ステップとを含む。
また、映像信号における輝度値は、コード値として符号化されており、静的HDRメタデータは、複数の輝度値と複数のコード値とを関係付けたEOTFを特定するための情報を含み、表示ステップでは、静的HDRメタデータで特定されるEOTFを用いて、映像信号で示されるコード値を輝度値に変換することで映像を生成する。
[11.データ出力装置]
図12は、BDプレーヤなどのHDR信号を出力するデータ出力装置400の構成を示すブロック図である。データ出力装置400に入力されるHDRメタデータは、HDR信号のマスタリング特性を示す特性データと、HDR信号をSDR信号に変換する、又は、HDR信号のダイナミックレンジを変換する際のトーンマッピング方法を示す変換補助データとを含む。これら2種類のメタデータは、図7及び図8において説明したように、静的HDRメタデータ、又は、動的HDRメタデータとして格納される。さらに、静的HDRメタデータは、コンテンツの管理情報及び、映像ストリーム内の少なくとも一方に格納される。
データ出力装置400は、ビデオ復号部401と、外部メタ取得部402と、HDRメタ解釈部403と、HDR制御情報生成部404と、DR変換部405と、HDMI出力部406とを備える。
ビデオ復号部401は、ビデオの符号化ストリームである映像ストリームを復号することで映像信号(第1映像信号)を生成し、得られた映像信号をDR変換部405に出力する。また、ビデオ復号部401は、映像ストリーム内のHDRメタデータ(第2メタデータ)(静的HDRメタデータ又は動的HDRメタデータ)を取得する。具体的には、ビデオ復号部401は、MPEG−4 AVC又はHEVCのSEIメッセージなどに格納されたHDRメタデータをHDRメタ解釈部403に出力する。
外部メタ取得部402は、プレイリストなどのコンテンツの管理情報に格納された静的HDRメタデータ(第1メタデータ)を取得し、取得した静的HDRメタデータをHDRメタ解釈部403に出力する。ここで、コンテンツの管理情報に、プレイアイテムなど、ランダムアクセス可能な所定の単位において変更可能な動的HDRメタデータが格納されていてもよい。この場合、外部メタ取得部402は、コンテンツの管理情報から、動的HDRメタデータを取得し、取得した動的HDRメタデータをHDRメタ解釈部403に出力する。
HDRメタ解釈部403は、ビデオ復号部401又は外部メタ取得部402から出力されたHDRメタデータの種類を判定し、特性データをHDR制御情報生成部404に出力し、変換補助データをDR変換部405に出力する。
なお、ビデオ復号部401及び外部メタ取得部402の両方において静的HDRメタデータが取得される場合には、外部メタ取得部402から出力された静的HDRメタデータのみが有効なメタデータとして用いられてもよい。つまり、外部メタ取得部402で取得された第1メタデータ及びビデオ復号部401で取得された第2メタデータが、第1映像信号の連続再生単位に含まれる複数の画像に対して共通に用いられる静的HDRメタデータである場合において、HDRメタ解釈部403は、第1メタデータ及び第2メタデータを共に取得した場合、第1メタデータを解析することで特性データ及び変換補助データを取得する。
または、HDRメタ解釈部403は、外部メタ取得部402で静的HDRメタデータが取得された場合、当該静的HDRメタデータを有効なメタデータとして用い、さらに、ビデオ復号部401で静的HDRメタデータが取得された場合、当該静的HDRメタデータで有効なメタデータを上書きしてもよい。つまり、外部メタ取得部402で取得された第1メタデータ及びビデオ復号部401で取得された第2メタデータが、第1映像信号の連続再生単位に含まれる複数の画像に対して共通に用いられる静的HDRメタデータである場合において、HDRメタ解釈部403は、第1メタデータ及び第2メタデータのうち第1メタデータのみが取得された場合、第1メタデータを解析することで特性データ及び変換補助データを取得し、第2メタデータが取得された場合、使用するメタデータを第1メタデータから第2メタデータに切り替える。
HDR制御情報生成部404は、特性データに基づいてHDMIにおけるHDR制御情報を生成し、生成したHDR制御情報をHDMI出力部406に出力する。ここで、動的HDRメタデータについては、メタデータが有効となるビデオ信号と同期して、HDR制御情報が出力できるように、HDMI出力部406におけるHDR制御情報の出力タイミングが決定される。つまり、HDMI出力部406は、メタデータが有効になるビデオ信号(映像信号)と同期してHDR制御情報を出力する。
DR変換部405は、変換補助データに基づいて、復号後の映像信号をSDR信号に変換したりダイナミックレンジを変換したりする。ここで、データ出力装置400と接続される表示装置がHDR信号の入力に対応している場合にはDR変換部405による変換は不要である。従って、データ出力装置400は、接続先の表示装置がHDR信号の入力に対応しているかどうかをHDMIの初期化処理などにおいて確認することで、変換処理が必要であるかどうかを判定してもよい。変換処理が不要と判定された場合には、ビデオ復号部401で得られた第1映像信号は、DR変換部405を介さずにHDMI出力部406に入力される。
つまり、HDMI出力部406は、データ出力装置400に接続されている表示装置がHDR信号(第1映像信号)の輝度範囲の映像出力に対応している場合、第1映像信号及びHDR制御情報を表示装置へ出力する。また、HDMI出力部406は、データ出力装置400に接続されている表示装置がHDR信号(第1映像信号)の輝度範囲の映像出力に対応していない場合、HDRをSDRに変換した第2映像信号及びHDR制御情報を表示装置へ出力する。また、HDMI出力部406は、表示装置がHDR信号(第1映像信号)の輝度範囲の映像出力に対応していか否かを、伝送プロトコル(例えばHDMI)の初期化処理において判定する。
HDMI出力部406は、DR変換部405又はビデオ復号部401から出力された映像信号、及びHDR制御情報をHDMIのプロトコルに従って出力する。
なお、データ出力装置400が、放送又はOTTのコンテンツを受信して出力する場合にも、同様の構成を用いることができる。また、データ出力装置400と表示装置とが単一の機器に含まれる場合には、HDMI出力部406は必要ない。
また、上記説明では、データ出力装置400が管理情報等からメタデータを取得する外部メタ取得部402を備え、ビデオ復号部401が映像ストリームからメタデータを取得する機能を有しているが、データ出力装置400は、いずれか一方のみを有してもよい。
また、上記説明では、データ出力装置400がHDMIに従ったデータ(映像信号及びHDR制御情報)を出力する例を述べたが、データ出力装置400は任意の伝送プロトコルに従ったデータを出力すればよい。
このように、データ出力装置400は、映像ストリームを復号することで第1輝度範囲(HDR)の第1映像信号を生成する復号部(ビデオ復号部401)と、第1映像信号の輝度範囲に関する第1メタデータを取得する取得部(ビデオ復号部401及び外部メタ取得部402の少なくとも一方)と、第1メタデータを解釈することで、第1映像信号の輝度範囲を示す特性データを取得する解釈部(HDRメタ解釈部403)と、特性データを、所定の伝送プロトコル(例えばHDMI)に従ったHDR制御情報に変換する制御情報生成部(HDR制御情報生成部404)と、HDR制御情報を所定の伝送プロトコルで出力する出力部(HDMI出力部406)とを備える。
これによれば、データ出力装置400は、メタデータに含まれる特性データに基づき、制御情報を生成できる。
また、解釈部(HDRメタ解釈部403)は、さらに、第1メタデータを解釈することで、第1映像信号の輝度範囲を変換するための変換補助データを取得し、データ出力装置400は、さらに、変換補助データに基づいて、第1映像信号の輝度範囲を変換することで第1映像信号の輝度範囲より狭い輝度範囲の第2映像信号を生成する変換部(DR変換部405)を備え、出力部(HDMI出力部406)は、さらに、第1映像信号及び第2映像信号の少なくとも一方を所定の伝送プロトコルで出力する。
これによれば、データ出力装置400は、メタデータに含まれる変換補助データを用いて第1映像信号の輝度範囲を変更できる。
また、復号部(ビデオ復号部401)は、さらに、映像ストリームから第1映像信号の輝度範囲に関する第2メタデータ(HDRメタデータ)を取得し、解釈部(HDRメタ解釈部403)は、第1メタデータ及び第2メタデータの少なくとも一方を解析することで特性データ及び変換補助データを取得する。
また、図6に示すように、静的HDRメタデータは、必須メタデータと選択メタデータとを含み、動的HDRメタデータは、選択メタデータのみを含む。つまり、静的HDRメタデータは常に用いられ、動的HDRメタデータは選択的に用いられる。このように、外部メタ取得部402で取得された第1メタデータ又はビデオ復号部401で取得された第2メタデータは、映像信号の連続再生単位に含まれる複数の画像に対して共通に用いられ、特性データを含む静的HDRメタデータ(静的メタデータ)を含む。HDR制御情報生成部404は、静的HDRメタデータに含まれる特性データを、所定の伝送プロトコルに従ったHDR制御情報に変換する。HDMI出力部406は、第1映像信号(HDR信号)を出力する場合、静的HDRメタデータに基づくHDR制御情報を出力する。
また、外部メタ取得部402で取得された第1メタデータ又はビデオ復号部401で取得された第2メタデータは、さらに、映像信号の連続再生単位より細かい単位に対して共通に用いられ、特性データを含む動的HDRメタデータ(動的メタデータ)を含む。HDR制御情報生成部404は、静的HDRメタデータに含まれる特性データ及び動的HDRメタデータに含まれる特定データを、所定の伝送プロトコルに従ったHDR制御情報に変換する。HDMI出力部406は、第1映像信号(HDR信号)を出力する場合、静的HDRメタデータ及び動的HDRメタデータに基づくHDR制御情報を出力する。
また、本開示に係るデータ生成方法は、データ生成装置が行うデータ生成方法であって、映像信号の輝度範囲に関するメタデータを生成する第1生成ステップと、映像信号とメタデータとを含む映像ストリームを生成する第2生成ステップとを含む。メタデータは、映像信号の輝度範囲を示す特性データと、映像信号の輝度範囲を変換するための変換補助データとを含む。
[12.HDRメタデータの格納例1]
図13は、HDRメタデータを格納するSEIメッセージのデータ構造例を示す図である。図13に示すように、HDRメタデータ専用のSEIメッセージが定義されてもよい。つまり、メタデータは、メタデータ専用のメッセージに格納されてもよい。
または、HDRメタデータは、ユーザーデータ格納用の汎用的なSEIメッセージに格納され、当該メッセージのペイロード部分に当該メッセージにHDRメタデータが格納されることを示す情報(後述するHDR拡張識別情報)が設けられてもよい。
HDRメタデータは、静的HDRメタデータと動的HDRメタデータとを含む。また、静的HDRメタデータが格納されているかどうかを示すフラグ情報と、動的HDRメタデータが格納されているかどうかを示すフラグ情報とが設けられてもよい。これにより、静的HDRメタデータのみを格納する方法、動的HDRメタデータのみを格納する方法、及び、静的HDRメタデータと動的HDRメタデータとの両方を格納する方法の3通りの格納方法を用いることができる。
さらに、それぞれのメタデータに対して、解釈が必須である基本データ(基本部)と、解釈がオプションである(解釈が任意である)拡張データ(拡張部)とが定義されてもよい。例えば、メタデータのタイプ(基本データ又は拡張データ)を示すタイプ情報とサイズがヘッダ情報に含まれ、ペイロードにメタデータが格納されるコンテナのフォーマットが定義される。つまり、メタデータは、ペイロードと、ペイロードのデータが基本データであるか拡張データであるかを示す情報と、ペイロードのデータサイズを示す情報とを含む。言い換えると、メタデータはメタデータの種別を示すタイプ情報を含む。例えば、タイプ値が0であるコンテナには基本データが格納される。また、拡張データに対してはタイプ値として1以上の値が割り当てられ、その値により拡張データの種別が示される。
データ出力装置及び表示装置は、タイプ値を参照して、自身が解釈可能なコンテナのデータを取得する。つまり、データ出力装置(又は表示装置)は、タイプ情報を用いて、データ出力装置(又は表示装置)がメタデータを解釈可能であるかを判定し、データ出力装置(又は表示装置)が当該メタデータを解釈可能である場合、当該メタデータを解釈することで特性データ及び変換補助データを取得する。
また、HDRメタデータの最大サイズが予め設定され、基本データと拡張データとのサイズの総和が最大サイズ以下となるようにメタデータが生成されてもよい。つまり、メタデータのデータサイズの最大値が規定されており、本開示に係るデータ生成方法は、基本データ及び拡張データの合計のデータサイズを、最大値以下になるようにメタデータを生成する。
データ出力装置及び表示装置が、この最大サイズ分のメモリを備えることで、HDRメタデータを全てメモリ内に格納できることを保証できる。あるいは、静的HDRメタデータ、又は動的HDRメタデータに対して固定サイズ分のデータ領域を確保しておき、基本データを格納する領域以外は将来拡張用としておくなども可能である。
このようなデータ構造は、コンテンツの管理情報におけるHDRメタデータの格納に用いられてもよい。
このようにSEI領域を使うことで、比較的自由にオプション情報を格納できる。
[13.HDRメタデータの格納例2]
図14は、ユーザーデータ格納用のSEIメッセージにHDRメタデータが格納される場合のデータ構造の一例を示す図である。メッセージがHDR拡張識別情報と拡張タイプIDとを含む点以外は、図14のデータ構造と同様である。HDR拡張識別情報は、当該メッセージにHDRメタデータが含まれることを示す。拡張タイプIDは、HDRメタデータのバージョン等を示す。つまり、メタデータは、HEVCのSEIメッセージに格納され、当該SEIメッセージは、当該SEIメッセージにメタデータが含まれるか否かを示すHDR拡張識別情報を含む。
この場合、データ出力装置は、HDR拡張識別情報を含むユーザーデータ格納用のSEIメッセージを受信し、かつデータ出力装置に接続されている表示装置がHDR信号及びHDR制御情報の入力に対応している場合には、HDMIなどの表示装置への出力I/Fのプロトコルに従って、受信したSEIメッセージをそのままコピーして出力する。つまり、データ出力装置は、当該SEIメッセージにメタデータが含まれることを示すHDR拡張識別情報を含むSEIメッセージが取得され、かつ、データ出力先の表示装置がHDR制御情報の入力に対応している場合には、当該SEIメッセージを所定の伝送プロトコル(例えばHDMI)に従ってそのまま出力する。
これにより、メタデータの内容によらずデータ出力装置は表示装置へHDRメタデータを出力することが可能となる。このような構成により、将来新たなDR変換処理が開発されて新たなHDRメタデータが定義され、この新HDRメタデータに対応する表示装置が新HDRメタデータに対応しないデータ出力装置に接続された場合でも、データ出力装置から表示装置へ新HDRメタデータを出力できる。また、表示装置において新HDRメタデータに応じたDR変換処理の実施が可能となる。
[14.複数のHDRメタデータの格納例]
図15は、一つのユーザーデータ格納用のSEIメッセージに複数のHDRメタデータを格納する際のデータ構造の一例を示す図である。本SEIメッセージには、ダイナミックレンジ(輝度範囲)の変換に係る複数の変換モード(方式)に対する複数のHDRメタデータが格納される。
図15に示すデータ構造は、図14に示すデータ構造に対して、HDRメタデータが提供される変換モードの数を示すフィールド(変換モード数)が追加されている。また、変換モード数の後に、各変換モードに対応する複数のHDRメタデータが順に格納される。
つまり、本実施の形態に係るデータ生成方法は、データ生成装置が行うデータ生成方法であって、映像信号の輝度範囲を変換する1以上の変換モードに対応する1以上のメタデータ(HDRメタデータ)を生成する第1生成ステップと、映像信号と、1以上のメタデータと、1以上の変換モードの数を示す変換モード数とを含む映像ストリームを生成する第2生成ステップとを含む。
[15.データ出力装置の構成]
図16は、本実施の形態に係るデータ出力装置500の構成例を示すブロック図である。このデータ出力装置500は、ビデオ復号部501と、外部メタ取得部502と、HDRメタ解釈部503と、HDR制御情報生成部504と、DR変換部505と、HDMI出力部506とを備える。なお、HDRメタ解釈部503及びDR変換部505の動作が、図12に示すデータ出力装置400と異なる。つまり、ビデオ復号部501、外部メタ取得部502、HDR制御情報生成部504及びHDMI出力部506の動作は、ビデオ復号部401、外部メタ取得部402及びHDR制御情報生成部404及びHDMI出力部406の動作と同様である。
また、データ出力装置500は、表示装置510(表示部)と接続されており、生成した映像信号及びHDR制御情報を、HDMI等の所定の伝送プロトコルを介して表示装置510に出力する。
DR変換部505及び表示装置510は、それぞれ、複数のダイナミックレンジの変換モード(変換方式)に対応している。ここで、「対応している」とは、その変換モードの処理を行う機能を有することを意味する。まず、HDRメタ解釈部503は、外部メタ取得部502及びビデオ復号部501から、静的HDRメタデータ及び動的HDRメタデータを取得する。コンテンツの管理情報又は符号化映像ストリームには、複数の変換モードに対する複数のHDRメタデータが格納される。HDRメタ解釈部503は、複数のHDRメタデータが対応する複数の変換モードを、使用可能な複数の変換モードと判定する。
また、HDRメタ解釈部503は、表示装置510との間で通信すること、又は、別途ネットワークを経由することにより、表示装置510が対応しているHDR信号の変換モードの情報を取得する。そして、HDRメタ解釈部503は、(1)HDRメタデータが対応する変換モードと、(2)DR変換部505が対応している変換モードと、(3)表示装置510が対応している変換モードとに基づいて、(1)ダイナミックレンジの変換処理をデータ出力装置500及び表示装置510とのどちらで行うかと、(2)使用する変換モードとを決定する。
変換処理をデータ出力装置500で行うと決定された場合、DR変換部505は、HDRメタ解釈部503から指示された変換モードに従って、HDR信号をSDR信号に変換する。変換処理を表示装置510で行うと決定された場合には、データ出力装置500は、映像信号(HDR信号)を表示装置510に送信するとともに、変換に必要なHDRメタデータをHDMIの制御信号(HDR制御情報)として表示装置510に送信する。
なお、上記説明では、DR変換部505は、複数の変換モードに対応しているが、1以上の変換モードに対応していればよい。この場合、データ出力装置500は、1以上の変換モードに対応する1以上のHDRメタデータを取得すればよい。
このように、データ出力装置500は、映像ストリームを復号することで第1映像信号を生成する復号部(ビデオ復号部501)と、映像信号の輝度範囲を変換する1以上の第1変換モードに対応する1以上のメタデータを取得する取得部(ビデオ復号部501及び外部メタ取得部502の少なくとも一方)と、1以上のメタデータの一つを解釈することで、第1映像信号の輝度範囲を示す特性データと、第1映像信号の輝度範囲を変換するための変換補助データと、を取得する解釈部(HDRメタ解釈部503)と、特性データを、所定の伝送プロトコル(例えばHDMI)に従ったHDR制御情報に変換する制御情報生成部(HDR制御情報生成部504)と、映像信号の輝度範囲を変換する1以上の第2変換モードに対応しており、変換補助データに基づいて、1以上の第2変換モードのいずれかにより、第1映像信号の輝度範囲の変換処理を行うことで第1映像信号の輝度範囲より狭い輝度範囲の第2映像信号を生成する変換部(DR変換部505)と、第2映像信号及びHDR制御情報を所定の伝送プロトコルで表示装置510へ出力する出力部(HDMI出力部506)とを備える。解釈部(HDRメタ解釈部503)は、さらに、1以上の第1変換モードと、1以上の第2変換モードと、表示装置510が対応している、映像信号の輝度範囲を変換する第3変換モードとに基づいて、データ出力装置500及び表示装置510のどちらで上記変換処理を行うかを決定する。
これによれば、データ出力装置500は、1以上のメタデータに対応する第1変換モードと、データ出力装置500が対応している第2変換モードと、表示装置510が対応している第3変換モードとに基づき、データ出力装置500及び表示装置510のどちらで変換処理を行うかを決定できる。これにより、データ出力装置500は、適切に変換処理を行う装置を決定できる。
なお、データ出力装置500が対応している1以上の第2変換モードは、1以上のメタデータに対応する複数の第1変換モードの少なくとも一部を含んでもよいし、1以上の第1変換モードのいずれも含まなくてもよい。同様に、表示装置510が対応している第3変換モードは、1以上の第1変換モードの少なくとも一部を含んでもよいし、1以上の第1変換モードのいずれも含まなくてもよい。また、第3変換モードは、1以上の第2変換モードの少なくとも一部を含んでもよいし、1以上の第2変換モードのいずれも含まなくてもよい。
[16.DR変換部の構成]
以下、DR変換部505の構成例を説明する。図17は、DR変換部505の構成例を示すブロック図である。このDR変換部505は、モード判定部511と、N個のモード処理部512と、変換結果出力部513とを備える。N個のモード処理部512は、各々がN個の変換モード(処理方式)の各々に対応し、対応する変換モードの処理を行う。モード判定部511は、HDRメタ解釈部503から指示された変換モードを取得し、変換処理を行うモード処理部512を決定する。つまり、モード判定部511は、HDRメタ解釈部503から指示された変換モードに対応するモード処理部512を選択する。決定されたモード処理部512は、HDR信号(映像信号)に変換処理を行うことでSDR信号(変換後の映像信号)を生成する。変換結果出力部513は、変換後のSDR信号を出力する。
図18は、DR変換部505の別の例であるDR変換部505Aの構成例を示すブロック図である。このDR変換部505は、モード判定部521と、基本処理部522と、N個の拡張モード処理部523と、変換結果出力部524とを備える。
基本処理部522は、N個の変換モードに共通の処理であるデフォルトの変換処理を行う。N個の拡張モード処理部523は、基本処理部522の処理に加え、動的HDRメタデータを用いて変換処理のパラメータを動的に制御するなどの拡張処理を行う。また、N個の拡張モード処理部523は、各々がN個の変換モードの各々に対応し、対応する変換モードの拡張処理を行う。例えば、基本処理部522は静的HDRメタデータのみを用いて動作し、拡張モード処理部523は、静的HDRメタデータに加えて、動的HDRメタデータを用いて動作する。
[17.HDRメタ解釈部の動作例]
図19及び図20は、HDRメタデータが提供される変換モードと、データ出力装置500における各モードのサポート有無、及び、表示装置510における各モードのサポート有無に基づく、HDRメタ解釈部503の指示内容の例を示す図である。HDRメタ解釈部503は、基本的には、選択可能な組合せの中で、マスター画像に対する再現性が最も高くなる動作を選択する。ここでマスター画像とは、輝度範囲を変更することなく出力した画像である。
例えば、図19に示す例では、データ出力装置500は、モード1及びモード2に対応しており、表示装置510は、いずれの変換モードにも対応していない。なお、モード1とモード2とでは、モード2のほうがマスター画像に対する再現性が高い。また、HDRメタ解釈部503は、各モードのマスター画像に対する再現性を予め把握している。この場合、HDRメタ解釈部503は、データ出力装置500で変換処理を行うと決定するとともに、モード1及びモード2のうち再現性が高いモード2を選択する。
また、図20に示す例では、データ出力装置500は、モード1に対応しており、表示装置510は、モード1及びモード2に対応している。この場合、HDRメタ解釈部503は、表示装置510で変換処理を行うと決定するとともに、モード1及びモード2のうち再現性が高いモード2を選択する。また、データ出力装置500は、モード2の変換処理に対応するHDRメタデータをHDMIの制御情報(HDR制御情報)として表示装置510に出力する。表示装置510は、当該制御情報を用いてモード2の変換処理を行う。
このように、HDRメタ解釈部503は、さらに、1以上のメタデータにそれぞれ対応する1以上の第1変換モードに含まれ、かつデータ出力装置500が対応する1以上の第2変換モードに含まれる変換モードをデータ出力装置500で行う変換処理の変換モードに決定する。具体的には、HDRメタ解釈部503は、さらに、1以上のメタデータにそれぞれ対応する1以上の第1変換モードに含まれ、かつデータ出力装置500が対応する1以上の第2変換モード及び表示装置510が対応する第3変換モードの少なくとも一方に含まれる変換モードをデータ出力装置500又は表示装置510で行う変換処理の変換モードに決定する。
より具体的には、HDRメタ解釈部503は、複数の第1変換モードに含まれ、かつ複数の第2変換モード及び第3変換モードの少なくとも一方に含まれる複数の変換モードのうち、マスター画像に対する再現性が最も高い変換モードをデータ出力装置500又は表示装置510で行う変換処理の変換モードに決定する。
言い換えると、データ出力装置500は、データ出力装置500及び表示装置510が対応している変換モードのうち最も再現性が高いモードを選択し、データ出力装置500及び表示装置510のうち選択したモードに対応している装置で変換処理を行うと決定する。
より具体的には、図19に示すように、HDRメタ解釈部503は、決定された変換処理の変換モードが、第2変換モードに含まれ、かつ、第3変換モードに含まれない場合、データ出力装置500で変換処理を行うと決定する。また、図20に示すように、HDRメタ解釈部503は、決定された変換処理の変換モードが、第3変換モードに含まれ、かつ、第2変換モードに含まれない場合、表示装置510で変換処理を行うと決定する。
これにより、データ出力装置500は、複数のメタデータに対応する第1変換モードと、データ出力装置が対応している第2変換モードと、表示装置が対応している第3変換モードとに基づき、使用する変換モードを決定できる。また、データ出力装置500は、マスター画像に対する再現性が最も高い変換モードを選択できるので、表示される映像の画質を向上できる。
図21は、データ出力装置500が表示装置510のパラメータを取得可能であるかどうかに応じて変換処理を決定する例を示す図である。表示装置510のパラメータとは、表示装置510のピーク輝度(表示装置510が表示可能な輝度範囲の最大値)、又は表示装置510が表示可能な表示モードなどである。具体的には、このパラメータは、表示モードとして、現在視聴中の表示モードを示す。例えば、表示モードとは、ノーマルモード、ダイナミックモード及びシネマモード等である。
図21に示す例では、データ出力装置500は、モード1、モード2及びモード3に対応しており、表示装置510は、モード1に対応している。また、データ出力装置500は、モード1及びモード2のための表示装置510のパラメータを取得可能であり、モード3のための表示装置510のパラメータを取得不可である。また、モード1よりモード2のほうが再現性が高く、モード2よりモード3のほうが再現性が高い。
この場合、データ出力装置500及び表示装置510が対応しているモードのうち最も再現性が高いモードはモード3であるが、データ出力装置500においてモード3のための表示装置510のパラメータを取得できないため、モード3は除外される。そして、データ出力装置500は、モード3の次に再現性が高く、かつパラメータを取得できるモード2を使用する変換モードとして選択する。そして、データ出力装置500は、モード2に必要なパラメータを表示装置510から取得し、取得したパラメータを用いてモード2の変換処理を行う。
このように、HDRメタ解釈部503は、さらに、複数のメタデータに対応する複数の第1変換モードの各々のためのパラメータを表示装置510から取得できるか否かに応じて、データ出力装置500又は表示装置510で行う変換処理の変換モードを決定する。具体的には、HDRメタ解釈部503は、複数の第1変換モードに含まれ、かつ複数の第2変換モード及び第3変換モードの少なくとも一方に含まれ、かつ、パラメータを表示装置510から取得できる変換モードをデータ出力装置500又は表示装置510で行う変換処理の変換モードに決定する。
つまり、データ出力装置500は、データ出力装置500及び表示装置510が対応している変換モードのうち最も再現性が高いモードを選択し、選択したモードにデータ出力装置500のみが対応している場合、当該モードのための表示装置510のパラメータを取得できるか否かを判定する。パラメータを取得できる場合は、データ出力装置500は、当該モードを選択する。一方、パラメータを取得できない場合は、データ出力装置500は、他のモード(次に再現性が高いモード)を選択する。
これにより、データ出力装置500は、表示装置510のパラメータを取得できるか否かに応じて、使用する変換モードを決定するので、より適切な変換モードを選択できる。
[18.データ出力装置の構成例2]
以下、データ出力装置の別の構成例について説明する。図22は、データ出力装置500Aの構成を示すブロック図である。このデータ出力装置500Aは、図16に示すデータ出力装置500に対して、さらに、DC部507を備える。DC部507は、ビデオ復号部501で得られた映像信号の解像度をダウンコンバートする。例えば、DC部507は、映像信号が4Kの場合、当該4Kの映像信号を2Kの映像信号にダウンコンバートする。
この構成により、データ出力装置500Aは、表示装置510が対応する解像度及びダイナミックレンジに応じて、(1)4KのHDR信号を2KのHDR信号に変換して出力する、(2)4KのHDR信号を2KのHDR信号に変換後、DR変換部505においてダイナミックレンジを変更してから出力する、及び(3)4KのSDR信号を2KのSDR信号に変換して出力する、などの動作を選択的に行うことができる。つまり、データ出力装置500Aは、表示装置510の解像度及びHDR信号のサポートの有無などに応じて動作を切替えることができる。
図23は、コンテンツにおけるビデオ信号の特性(解像度及びダイナミックレンジ(輝度範囲))及び表示装置510の特性と、データ出力装置500Aの出力信号との組合せ例を示す図である。データ出力装置500Aは、表示装置510の解像度とHDR信号のサポートの有無と整合するように出力信号の形式を選択し、選択した形式の出力信号を生成するようにDC部507及びDR変換部505を制御する。
例えば、コンテンツにおける映像信号が解像度4KのHDR信号であり、表示装置510が解像度4KのHDR信号の表示をサポートしておらず、かつ、解像度2KのHDR信号の表示をサポートしている場合、データ出力装置500Aは、コンテンツにおける映像信号を解像度2KのHDR信号に変換して出力する(図23の2行目に記載した組み合わせ例を参照)。このとき、映像信号の解像度の変換はDC部507において行われる。
また、コンテンツにおける映像信号が解像度4KのHDR信号であり、表示装置510が解像度4KのHDR信号および解像度2KのHDR信号の表示をサポートしておらず、かつ、2KのSDR信号の表示をサポートしている場合、データ出力装置500Aは、コンテンツにおける映像信号を解像度2KのSDR信号に変換して出力する(図23の3行目に記載した組み合わせ例を参照)。このとき、映像信号の解像度の変換はDC部507において行われ、輝度範囲の変換はDR変換部505において行われる。
これにより、表示装置510において、コンテンツのビデオ信号をより忠実に再現できる。なお、データ出力装置500Aは、解像度の変換、又は、図16において説明したようなダイナミックレンジの変換を表示装置510において行うように動作してもよい。
このように、データ出力装置500Aは、ビデオ復号部501で得られた第1映像信号の解像度を下げることで第3映像信号を生成するダウンコンバート部(DC部507)を備える。変換部(DR変換部505)は、さらに、変換補助データに基づいて、複数の第2変換モードのいずれかにより、第3映像信号の輝度範囲の変換処理を行うことで第3映像信号の輝度範囲より狭い輝度範囲の第4映像信号を生成する。出力部(HDMI出力部506)は、さらに、第3映像信号又は第4映像信号を表示装置510へ出力する。
これにより、データ出力装置500Aは、例えば、表示装置510等に適した解像度に、映像信号の解像度を変更できる。
具体的には、表示装置510が、第1映像信号の解像度の映像の表示に対応していない場合、(1)ダウンコンバート部(DC部507)は、第3映像信号を生成し、(2)出力部(HDMI出力部506)は、第3映像信号を表示装置510へ出力する。例えば、図23に示すように、ビデオ信号の解像度が4Kであり、表示装置510の解像度が2Kである場合、2Kの出力信号が出力される。
また、表示装置510が、第1映像信号の輝度範囲(HDR)の映像の表示に対応していない場合、(1)変換部(DR変換部505)は、第1映像信号の輝度範囲(HDR)より狭い輝度範囲(SDR)の第2映像信号を生成し、(2)出力部(HDMI出力部506)は、第2映像信号及びHDR制御情報を表示装置510へ出力する。例えば、図23に示すように、ビデオ信号のダイナミックレンジ(輝度範囲)がHDRであり、表示装置510がHDRをサポートしていない場合(SDRの場合)、HDRの映像信号がSDRの映像信号に変換され、SDRの映像信号(出力信号)が出力される。
また、表示装置510が、第1映像信号の解像度の映像の表示に対応しておらず、かつ、第1映像信号の輝度範囲(HDR)の映像の表示に対応していない場合、(1)ダウンコンバート部(DC部507)は、第3映像信号を生成し、(2)変換部(DR変換部505)は、第3映像信号の輝度範囲(HDR)より狭い輝度範囲(SDR)の第4映像信号を生成し、(3)出力部(HDMI出力部506)は、第4映像信号を表示装置510へ出力する。例えば、図23に示すように、ビデオ信号の解像度が4Kであり、ビデオ信号のダイナミックレンジ(輝度範囲)がHDRであり、表示装置510の解像度が2Kであり、表示装置510がHDRをサポートしていない場合(SDRの場合)、2KかつSDRの出力信号が出力される。
[19.HDR信号及び4K信号を再生する動作モデル]
図24は、4KのHDR信号、2KのHDR信号、及び4KのSDR信号を、次世代のBlu−ray再生装置において再生し、再生した信号を、HDR対応の4KTV、HDR非対応の4KTV、及びSDR対応の2KTVのいずれかに対して出力する際の動作モデル例を示す図である。
Blu−ray再生装置は、コンテンツ管理情報に格納される静的HDRメタデータと、ビデオの符号化ストリームに格納される動的HDRメタデータとを取得する。Blu−ray再生装置は、これらのHDRメタデータを用いて、HDMIにより接続された出力先のTVの特性に応じて、ビデオのHDR信号をSDR信号に変換して出力する、又は、HDRメタデータをHDMIの制御信号として出力する。
HDR信号からSDR信号への変換処理、及びHDR信号から表示装置が適合する輝度範囲の映像信号への変換処理の各々は、複数の方式から選択して実装できるものとする。実装した変換処理に対応するHDRメタデータをコンテンツ制作時にコンテンツ管理情報又はビデオの符号化ストリームに格納することで、変換処理の効果を高めることができる。コンテンツ管理情報又は符号化ストリームには、変換方式毎に複数のHDRメタデータを格納することが可能である。
なお、Blu−ray再生装置は、図中のオプション変換モジュールB(option conversion module B)又はオプション変換モジュールD(option conversion module D)のように、複数の変換処理部を備えてもよいし、機器のコストと性能のバランスに鑑みて一つの変換処理部のみを備えてもよいし、変換処理部を備えなくてもよい。同様に、HDR対応のTVは、複数の変換処理部を備えてもよいし、一つの変換処理部のみを備えてもよいし、変換処理部を備えなくてもよい。
また、図14又は図15に示すユーザーデータ格納用のSEIメッセージなどのように、予めフォーマット又は入力時の動作を定めた所定のコンテナにHDRメタデータが格納される。これにより、将来新たな変換処理が開発されて新たなHDRメタデータが定義され、この新HDRメタデータに対応する表示装置が新HDRメタデータに対応しないBlu−ray再生装置に接続された場合でも、Blu−ray再生装置から表示装置へ新HDRメタデータを出力できる。また、表示装置において新HDRメタデータに応じた変換処理の実施が可能となる。これにより新技術が開発された場合に、新HDRメタデータへIDをアサインするなどの簡単な手続きで新技術への対応が可能となる。よって、OTTなど技術進化の早いアプリケーションに対するBlu−rayなどのパッケージメディア規格の競争力を高めることができる。なお、新HDRメタデータに対応したBlu−ray再生装置は、映像データに対して、上記の新たな変換処理を当該再生装置内で施し、表示装置へ処理済の映像データを出力してもよい。
また、Blu−ray再生装置、及びTVのどちらで変換処理が行われるかは、図19〜図21に示した方法などに基づいて決定される。なお、再生装置は、TVの解像度に応じて、4Kの信号を2Kの信号にダウンコンバートして出力してもよい。
[20.HDRメタデータの格納方法1]
図25は、静的HDRメタデータ及び2つの動的HDRメタデータの格納方法の一例を示す図である。図20に示すように、本実施の形態における拡張可能なHDR方式では、(a)静的HDRメタデータと、(b)動的HDRメタデータ用クリップ(動的HDRメタデータ)と、(c)動的HDRメタデータとの3つが用いられる。
(a)静的HDRメタデータは、Blu−ray Disc Association(BDA)等のアプリ規格又は配信システムで規定される、ストリーム毎のメタデータ格納エリア(BDAの場合はプレイリスト)内に格納される。(b)動的HDRメタデータ用クリップ(動的HDRメタデータ)は、BDA等のアプリ規格又は配信システムで規定される、二次的利用用のTSストリーム内に格納される。(c)動的HDRメタデータは、HEVCなどのビデオストリームに含まれるSEIメッセージとして格納される。
この3つを使い分けることにより、新たなHDR技術を導入する際に、使用するメタデータの組み合わせを変更できる。これにより、新たなHDR技術の導入の条件を変えることができる。例えば、互換性を重視せずに、早く、独自のHDR技術を導入したい場合は、(c)のメタデータのみをつかうことにより、アプリ規格又は配信システムに影響を与えずに独自のHDR技術を導入できる。逆に多少時間はかかっても互換性を重視し、アプリ規格又は配信システムで新技術を規定させたい場合は、(a)と(b)とのメタデータを使うことにより、互換性と新規技術のタイムリーな導入との2つを実現できる。
[21.HDRメタデータの格納方法2]
図25で示した、3つのメタデータ(a)〜(c)の使い方の例をBlu−rayの場合を例に詳細に説明する。
まず、新HDR技術の提案者が早期実装を希望する場合について説明する。この場合、(c)のメタデータのみが使用される。(1)提案者は新HDR技術の概要のみを開示する。(2)現行HDR(基本部分)Blu−ray再生機器との互換性を確認するための新技術のメタデータを格納したテストディスクが提供される。(3)BDAは、新技術を非公認オプションとして登録し、非互換性の検証を行わず、その責任を負わない。(4)BDAは、一切の責任を負わない。
次に、新HDR技術の提案者が新技術を広く普及させるために互換性を重視する場合について説明する。この場合、(a)及び(b)のメタデータが使用される。(1)提案者は技術の詳細を開示する。(2)該当技術をBlu−rayに適応するためのBlu−rayの仕様書案が提出される。(3)該当技術をBlu−rayに適応するためのBlu−rayのテスト仕様案が提出される。(4)テストストリームが提供される。(5)テストディスクが提供される。(6)ベリファイアが更新される。(7)BDAは、新技術を公認オプションとして登録し、新技術を規格書に追加(annex)し、最低限の互換性検証を行う。(8)BDAは、公認オプションとして、新技術がBDAで採用されたことの公表を許可する。
[22.ユーザーガイダンス表示方法1]
図26は、HDRからSDRへの変換処理を実行するBlu−ray機器でのユーザーガイダンス表示方法を示す図である。
HDRからSDRへの変換処理のアルゴリズムが確立されていないため、正確なHDRからSDRへの変換は現状困難である。また、複数のHDRからSDRへの変換処理アルゴリズムを実装することも可能である。
このため、ユーザがHDR対応ディスクを、HDR非対応TVに接続されたHDR対応Blu−ray機器に挿入した場合には、適切なユーザーガイドを行う必要がある。
HDR非対応TVに接続されたHDR対応Blu−ray機器が、HDRからSDRへの変換処理の開始を検知した場合は、例えば「ディスクはHDR対応ディスクです。お使いのTVはHDR非対応TVのため、HDR映像ではなく、Blu−ray機器がHDRからSDRへの変換処理を行ったSDR映像を再生します。」等のガイドメッセージを表示する。
このように、データ出力装置(Blu−ray機器)は、表示装置が第1映像信号(HDR信号)の輝度範囲の映像出力に対応していない場合、第1輝度範囲から第2輝度範囲に変換した第2映像信号(SDR信号)及びHDR制御情報を表示装置へ出力するとともに、第1輝度範囲から第2輝度範囲に変換された第2映像信号が表示される旨を表示装置に表示させる。
[23.ユーザーガイダンス表示方法2]
図27は、ディスク内に格納されたHDRからSDRへの変換処理実行時のユーザーガイダンスの表示方法を示す図である。
HDRからSDRへの変換処理が行われる場合にBlu−ray機器が表示すべきメッセージ(メニュー)がHDRディスク、あるいは、Blu−ray機器内の不揮発メモリなどに格納される。これにより、Blu−ray機器は、HDRからSDRへの変換処理実行時に、メッセージを表示させることができる。この場合、例えば「ディスクはHDR対応ディスクです。お使いのTVはHDR非対応TVのため、HDR映像ではなく、Blu−ray機器がHDRからSDRへの変換処理を行ったSDR映像を再生します。」と表示される。
[24.ユーザーガイダンス表示方法3]
図28は、ディスク内に格納されたHDRからSDRへの変換処理実行時のユーザーガイダンスメニューの表示方法を示す図である。
Blu−ray機器は、Blu−rayのメニューを使うことで、「ディスクはHDR対応ディスクです。お使いのTVはHDR非対応TVのため、HDR映像ではなく、Blu−ray機器がHDRからSDRへの変換処理を行ったSDR映像を再生しますが、再生して良いですか?」等のメッセージを表示することができる。Blu−ray機器は、ユーザが「再生します」ボタンを選択した場合、変換画像の表示を開始する。また、Blu−ray機器は、ユーザが「再生しません」を選択した場合は、再生を中止し、ユーザにHDR非対応Blu−rayディスクの挿入を促すメッセージを表示する。
このように、データ出力装置(Blu−ray機器)は、表示装置が第1映像信号(HDR信号)の輝度範囲の映像出力に対応していない場合、第1輝度範囲から第2輝度範囲に変換された第2映像信号(SDR信号)を表示させるかどうかを、ユーザが選択するためのメッセージを表示装置に表示させる。
[25.ユーザーガイダンス表示方法4]
図29は、ディスク内に格納されたHDRからSDRへの変換処理実行時の処理方法を選択可能なユーザーガイダンスメニューの表示方法を示す図である。
Blu−ray機器は、Blu−rayにHDRからSDRへの変換処理用のメタデータが格納されている場合は、そのことを表示する。Blu−ray機器は、ユーザが指定の変換方式を選択した場合、より綺麗な変換が可能なことを促すメッセージを表示する。つまり、ディスク内のJava(登録商標)コマンド等により、Blu−ray機器に、どのようなHDRからSDRへの変換処理が実装されているかを判定する。これにより、Blu−ray機器は、「ディスクはHDR対応ディスクです。お使いのTVはHDR非対応TVのため、HDR映像ではなく、Blu−ray機器がHDRからSDRへの変換処理を行ったSDR映像を再生しますが、どの方法を選びますか?(処理1で再生)、(処理3で再生)、(再生しません)」等のHDRからSDRへの変換処理方式の選択メニューを表示することができる。なお、ここで処理1及び処理3は、HDRからSDRへの異なる変換処理である。
このように、データ出力装置(Blu−ray機器)は、表示装置が第1映像信号(HDR信号)の輝度範囲の映像出力に対応していない場合、第1輝度範囲を第2輝度範囲に変換するための複数の変換方式のうちいずれかを、ユーザが選択するためのメッセージを表示装置に表示させる。
[26.ユーザーガイダンス表示方法5]
なお、放送においても同様のメッセージを表示することができる。例えば、HDR信号に対応していないTV又は再生装置は、データ放送のアプリケーションなどを用いて、放送番組がHDR信号であり、で視聴した場合には正しく表示できないことがある旨を示すメッセージを表示する。また、HDR信号に対応したTV又は再生装置は、当該メッセージを表示しなくてもよい。また、メッセージの属性を示すタグ値などにより、当該メッセージがHDR信号に対する警告メッセージであることが示される。HDR信号に対応したTV又は再生装置は、タグ値を参照してメッセージの表示が不要であることを判定する。
[27.HDRメタデータの伝送方法]
例えば、動的HDRメタデータ、又は静的HDRメタデータは、HDMIなどで伝送可能なデータ構造である。ここで、HDMIなどの伝送プロトコルの仕様又はバージョンによって、当該伝送プロトコルによりHDRメタデータを表示装置に伝送可能であるかが決まる。
まず、動的HDRメタデータの伝送方法について説明する。
例えば、現行のHDMI2.0では、フレーム又はシーン単位で可変となる動的HDRメタデータを伝送できないため、規格を拡張して動的HDRメタデータを伝送するためのパケットを新たに定義する必要がある。この拡張規格のバージョンを2.1とする。
この場合、HDR対応Blu−ray機器又は放送受信機器などの再生装置とTVなどの表示装置とがHDMI2.1で接続されていれば、再生装置は動的HDRメタデータを表示装置へ送信できるが、2.1よりも以前のバージョンのHDMIで再生装置と表示装置とが接続されている場合には、再生装置は動的HDRメタデータを表示装置へ送信できない。
まず、再生装置は、表示装置との間で接続可能なHDMIのバージョンが動的HDRメタデータの伝送に対応しているかどうかを判定する。対応していなければ、再生装置は、動的HDRメタデータを用いてHDRからSDRへの変換処理などを行ってから変換後の信号をHDMIにより表示装置へ出力する。
さらに、再生装置は、表示装置が動的HDRメタデータを用いた変換処理に対応しているかどうかにも基づいて動作してもよい。つまり、再生装置は、表示装置が変換処理に対応していない場合、HDMIのバージョンとしては動的HDRメタデータの伝送が可能であっても、当該再生装置で変換処理を行ってもよい。また、再生装置が動的HDRメタデータを用いた変換処理に対応していない場合には、当該再生装置は、変換処理は行わず、動的HDRメタデータも表示装置へ伝送しなくてもよい。
図30は、再生装置による動的HDRメタデータの伝送方法のフローチャートである。まず、再生装置は、当該再生装置と表示装置とがHDMI2.0又はそれ以前のバージョンで接続されているかを判定する(S501)。言い換えると、再生装置は、例えば、当該再生装置と表示装置とが動的HDRメタデータの伝送に対応しているHDMI2.1で接続可能かを判定する。具体的には、再生装置は、当該再生装置及び表示装置の両方が、HDMI2.1に対応しているかを判定する。
再生装置と表示装置とがHDMI2.0又はそれ以前のバージョンで接続されている場合(S501でYes)、再生装置は、動的HDRメタデータを用いて変換処理を行い、変換後の画像データをHDMIにより表示装置に伝送する(S502)。ここで変換処理とは画像データの輝度範囲を変更する処理であり、例えば、表示装置が対応している輝度範囲に合うように、HDRをSDRへ変換する処理、又は、輝度範囲の狭いHDR信号へ変換する処理である。
一方、再生装置と表示装置とがHDMI2.1又はそれより後のバージョンで接続されている場合(S501でNo)、再生装置は、変換処理を行う前の画像データと、動的HDRメタデータとを、それぞれ異なるタイプのパケットを用いて、HDMIにより表示装置に伝送する(S503)。
次に、静的HDRメタデータの伝送方法について説明する。
静的HDRメタデータをHDMIにより伝送する際には、AVI(Auxiliary Video Information) InfoframeなどのInfoframeを用いることができる。しかしながら、HDMI2.0ではAVI Infoframeに格納可能な最大データサイズは27バイトであるため、これを超えるサイズのデータは扱えない。よって、静的HDRメタデータのサイズが、HDMIにより伝送可能な上限値を超える場合には、再生装置は変換処理を行った後のデータを表示装置に伝送する。あるいは、HDMIのバージョンに依存して伝送可能な静的HDRメタデータのサイズが異なる場合には、再生装置は、当該再生装置と表示装置とを接続する際のHDMIのバージョンに基づいて静的HDRメタデータを表示装置に伝送するか、当該再生装置において変換処理を行うかを決定する。
また、静的HDRメタデータを必須部分と拡張部分とに分け、必須部分のサイズを、現行のHDMI2.0など、特定の伝送プロトコルの特定のバージョンにおいて伝送可能なサイズ以下となるように設定してもよい。例えば、再生装置は、HDMI2.0を用いる場合には、必須部分のみを表示装置に伝送し、HDMI2.1を用いる場合には必須部分と拡張部分とを共に伝送してもよい。さらに、静的HDRメタデータが必須部分と拡張部分とを含むこと、又は、少なくとも必須部分がHDMI2.0などの特定バージョンで伝送可能であることを示す識別情報が、Blu−ray discにおけるPlayList又はPlayItemなどのデータベースに格納されてもよい。
あるいは、より簡単化して、静的HDRメタデータを、HDMI2.0など、静的HDRメタデータを伝送可能である最も低いバージョンにおいて伝送可能なサイズ以下となるように設定してもよい。なお、プレイリストなどの管理情報又はビデオストリームのSEIにおいて格納されるディスク内の静的HDRメタデータと、HDMIなどにより伝送される静的HDRメタデータとのシンタックスは異なっていてもよい。両者が異なる場合には、再生装置は、ディスク内の静的HDRメタデータを、伝送プロトコルにおける静的HDRメタデータのシンタックスに変換して出力する。
なお、ここではBlu−rayのコンテンツを例に説明したが、放送又はOTTにおいて使用するメタデータについても同様に扱える。
図31は、再生装置による静的HDRメタデータの伝送方法のフローチャートである。まず、再生装置は、当該再生装置と表示装置とがHDMI2.0又はそれ以前のバージョンで接続されているかを判定する(S511)。
再生装置と表示装置とがHDMI2.0又はそれ以前のバージョンで接続されている場合(S511でYes)、再生装置は、静的HDRメタデータの必須部分のみをHDMIにより表示装置に伝送する(S512)。
一方、再生装置と表示装置とがHDMI2.1又はそれより後のバージョンで接続されている場合(S511でNo)、再生装置は、静的HDRメタデータの必須部分及び拡張部分の両方をHDMIにより伝送する表示装置に伝送する(S513)。
このように、再生装置は、HDMIのバージョンに応じて、動的HDRメタデータを表示装置へ伝送するか否かを切り替えるが、静的HDRメタデータのうち少なくとも必須部分に関しては、HDMIのバージョンに依らず常に表示装置へ伝送する。
つまり、再生装置は、表示装置に映像信号を伝送する。再生装置は、当該再生装置と表示装置とを接続する伝送プロトコルのバージョンが第1バージョン(例えば、HDMI2.0)である場合、映像信号の連続再生単位に含まれる複数の画像に対して共通に用いられ、映像信号の輝度範囲に関する情報である第1メタデータ(静的HDRメタデータ)を表示装置に伝送し、映像信号の連続再生単位より細かい単位に対して共通に用いられ、映像信号の輝度範囲に関する情報である第2メタデータ(動的HDRメタデータ)を表示装置に伝送しない。また、再生装置は、上記伝送プロトコルのバージョンが第2バージョン(例えば、HDMI2.1)である場合、第1メタデータ(静的HDRメタデータ)及び第2メタデータ(動的HDRメタデータ)を共に表示装置へ伝送する。
これにより、再生装置は、伝送プロトコルのバージョンに応じて適切なメタデータを表示装置へ伝送できる。
また、再生装置は、上記伝送プロトコルのバージョンが第1バージョン(例えば、HDMI2.0)である場合(S501でYes)、第2メタデータ(動的HDRメタデータ)を用いて映像信号の輝度範囲を変換する変換処理を行い、変換後の映像信号を表示装置に伝送する(S502)。
これにより、動的HDRメタデータを表示装置に伝送できず、表示装置で変換処理を行えない場合には、再生装置で変換処理を行うことができる。
また、上記伝送プロトコルのバージョンが第2のバージョン(例えばHDMI2.1)であり、かつ、表示装置が変換処理に対応していない場合、再生装置は、変換処理を行い、変換後の映像信号を表示装置に伝送し、第2メタデータを表示装置に伝送しない。また、上記伝送プロトコルのバージョンが第2のバージョン(例えばHDMI2.1)であり、かつ、表示装置が変換処理に対応している場合、再生装置は、変換処理を行わずに映像信号及び第2メタデータを表示装置に伝送する。
これにより、再生装置及び表示装置のうちの適切な装置で変換処理を実行できる。
また、再生装置が、第2メタデータ(動的HDRメタデータ)を用いて映像信号の輝度範囲を変換する変換処理に対応していない場合、再生装置は、変換処理を行わず映像信号を表示装置へ伝送し、第2メタデータ(動的HDRメタデータ)を表示装置へ伝送しない。
[28.輝度値の調整]
これまで、HDR信号を忠実に再現するためのHDRメタデータの扱い方、及び、再生装置におけるHDRからSDRへの変換などについて説明した。しかしながら、HDR信号は従来のSDR信号よりも大幅に高いピーク輝度を有するため、再生装置は、TV等の表示装置におけるパネル或いは信号処理回路の性能、又は、人体への影響などを考慮して、映像のピーク輝度を制御してもよい。なお、以下で述べる処理(再生方法)は、Blu−ray機器等の再生装置で行われてもよいし、TV等の表示装置で行われてもよい。言い換えると、以下で述べる再生装置とは映像を再生する機能を有すればよく、上述した再生装置(Blu−ray機器等)と表示装置(TV等)とを含む。
ここで、TVパネルの各画素において出力可能な輝度値の上限が1000nitであっても、同時に1000nitの輝度で出力できる領域は、画面の50%に制限されるなどが想定される。このとき、HDR信号においては、画面の70%の領域が1000nitであったとしても、信号値をそのまま出力することができない。そこで、再生装置は、以下の再生条件などに基づいて、HDR信号を再生する際の各画素の輝度値を制御してもよい。
まず、第1の方法について説明する。再生装置は、基準時間間隔Tにおける画面間の輝度の変化量が閾値P以下になるように輝度値を調整する。ここで基準時間間隔Tは、例えば、ビデオのフレームレートの逆数の整数倍である。
閾値Pは輝度の絶対値、又は、輝度値の変化の割合などである。この閾値Pは、画像の点滅が人体に及ぼす影響、又は、TVパネルにおける信号値の変化への追従性能に基づいて決定される。
また、画面内において輝度値の変化量が閾値Pを超える画素の数が所定の割合以下となるように条件が設定されてもよい。さらには、画面を複数の領域に分割し、領域毎に同一、又は異なる条件が設定されてもよい。
次に、第2の方法について説明する。再生装置は、基準輝度S以上の輝度を有する画素の数、又は、画面内の全画素に占める当該画素の割合が閾値Q以下になるように輝度値を調整する。
基準輝度S及び閾値Qは、人体への影響、又はTVパネルにおいて各画素に対して同時に印加できる電圧の上限値などに基づいて決定される。
また、第1の方法及び第2の方法に用いられるパラメータ(閾値P、基準輝度S及び閾値Q)をTVパネルの性能に基づいて設定する場合には、当該パラメータの値はTV毎に設定できる。
以下、第1の方法における画素値の制御方法について説明する。例えば、時刻tのフレームを構成する複数の画素のピーク輝度がL1であったとする。時刻t+Tのフレームにおいて座標が(i,j)である画素の輝度値をI(i,j)とすると、再生装置は、I(i,j)とL1との差分の絶対値が閾値Pを超える画素については、差分が閾値P以下となるように輝度値を調整する。この処理は、画面全体に対して行ってもよいし、処理を並列して行うために、画面を分割した領域毎に行ってもよい。例えば、再生装置は、画面を水平方向及び垂直方向のそれぞれに分割し、各領域内での輝度の変化量が閾値P以下となるように輝度値を調整する。
また、基準時間間隔Tとして、TVパネルにおいて画像を表示する際のフレームの間隔を用いることが想定されるが、直前のフレームの輝度値のみに基づいて輝度値を調整すると、フレーム間での輝度値の連続性が損なわれることがある。従って、所定の時定数を設定し、再生装置は、設定された時定数の範囲内の各フレームのピーク輝度を重み付け加算することで輝度値(上記L1)を決定してもよい。このとき、輝度値の変化量が閾値P以下となるように、予め時定数及び重み付けの係数が設定される。
次に、第2の方法における画素値の制御方法を説明する。この制御方法として以下の2通りの方法がある。1つ目の方法は、輝度値が所定値を超える画素については、輝度値をクリップする方法である。例えば、輝度値が所定値を超える画素の輝度値が当該所定値に調整される。
2つ目の方法は、輝度値を一律にクリップするのではなく、Knee pointを設定するなどして、画素間の相対的な輝度値の割合をなるべく保持するように、画面内の各画素の輝度値を全体的に低下させる方法である。あるいは、低輝度部分の輝度値は保持したまま、高輝度部分の輝度値を低下させてもよい。
一例として、TVパネルの画素数が8メガピクセルであり、画面内の全画素の輝度値の総和が8メガ×500nit=4ギガnit以下となるように制限されるとする。ここで、コンテンツのHDR信号の輝度値が、画面内の半分の領域A(4メガピクセル)では400nitであり、残り半分の領域B(4メガピクセル)では1000nitであったとする。このとき、輝度値を一律にクリップする場合には、領域Bの輝度値が全て600nitにクリップされる。この結果、全画素の輝度値の総和は、4メガ×400+4メガ×600=4ギガnitとなり、上記制限を満たす。
なお、HDR信号の再生時だけでなく、HDR信号を生成する際にも、上記第1の方法又は第2の方法の条件を満たすように、ビデオ又は静止画におけるフレーム内の画素毎の輝度値が決定されてもよい。
図32は、HDR信号の再生における輝度値の制御方法を示すフローチャートである。まず、再生装置は、画面間の輝度値の変化量、又は画面内の輝度値が再生条件を満たすかを判定する(S521)。具体的には、上述したように、再生装置は、画面間の輝度値の変化量が閾値以下であるか、又は画面内の輝度値が閾値以下であるかを判定する。
画面間の輝度値の変化量、又は画面内の輝度値が再生条件を満たす場合、つまり、画面間の輝度値の変化量が閾値以下である、又は画面内の輝度値が閾値以下である場合(S521でYes)、再生装置は、入力されたHDR信号の輝度値と同一の輝度値の信号を出力する(S522)。つまり、再生装置は、HDR信号の輝度値を調整せず、そのまま出力する。
一方、画面間の輝度値の変化量、又は画面内の輝度値が再生条件を満たさない場合、つまり、画面間の輝度値の変化量が閾値を超える、又は画面内の輝度値が閾値を超える場合(S521でNo)、再生装置は、再生条件を満たすように、各画素の輝度値を調整し、調整後の輝度値を出力する(S523)。つまり、再生装置は、画面間の輝度値の変化量が閾値以下になるように、又は画面内の輝度値が閾値以下になるように、各画素の輝度値を調整する。
以上のように、本実施の形態に係る再生装置は、映像信号を再生する。映像信号の輝度は、最大輝度値が100nitを超える第1最大輝度値に定義された第1輝度範囲における第1輝度値からなる。つまり、映像信号はHDR信号である。
上記第1の方法で説明したように、再生装置は、映像信号における画面間の輝度値の変化量が予め定められた第1閾値を超えるかを判定する(S521)。例えば、再生装置は、映像信号のフレームレートの逆数の整数倍である基準時間間隔における輝度値の変化量が第1閾値を超えるかを判定する。
輝度値の変化量が第1閾値を超えると判定された場合(S521でNo)、再生装置は、映像信号の輝度値を下げる調整処理を行う(S523)。具体的には、再生装置は、輝度値の変化量が第1閾値を超える画素に対して、当該画素の輝度値の変化量が第1閾値以下になるように当該画素の輝度値を調整する。
これにより、再生装置は、映像信号の輝度値が表示装置の表示能力を超える場合に、映像信号の輝度値を下げることで、表示装置で適切に表示できる映像信号を生成できる。また、再生装置は、映像信号の輝度値の変化量が大きいことにより視聴者に悪影響を与える可能性がある場合に、映像信号の輝度値を下げることで、当該悪影響を低減できる。
具体的には、再生装置は、ステップS521において、映像信号に含まれる第1画像のピーク輝度と、映像信号に含まれる、第1画像より後の第2画像に含まれる複数の画素の輝度値の各々との差分が第1閾値を超えるかを判定する。再生装置は、ステップS523において、上記差分が第1閾値を超える画素に対して、当該画素の差分が第1閾値以下になるように当該画素の輝度値を調整する。
または、再生装置は、ステップS521において、映像信号に含まれる画像に含まれる複数の画素のうち、輝度値の変化量が第1閾値を超える画素の割合が第2閾値を超えるかを判定する。再生装置は、ステップS523において、上記割合が第2閾値を超える場合、上記割合が第2閾値以下になるように複数の画素の輝度値を調整する。
または、再生装置は、ステップS521において、画面が分割されることで得られた複数の領域毎に、当該領域の画面間の輝度値の変化量が第1閾値を超えるかを判定する。再生装置は、ステップS523において、輝度値の変化量が第1閾値を超えると判定された領域に対して、当該領域の輝度値を下げる調整処理を行う。
または、上記第2の方法で説明したように、再生装置は、映像信号に含まれる画像の輝度値が予め定められた第1閾値を超えるかを判定する(S521)。画素の輝度値が第1閾値を超えると判定された場合(S521でNo)、画像の輝度値を下げる調整処理を行う(S523)。
これにより、再生装置は、映像信号の輝度値が表示装置の表示能力を超える場合に、映像信号の輝度値を下げることで、表示装置で適切に表示できる映像信号を生成できる。また、再生装置は、映像信号の輝度値が高いことにより視聴者に悪影響を与える可能性がある場合に、映像信号の輝度値を下げることで、当該悪影響を低減できる。
具体的には、再生装置は、ステップS521において、画像に含まれる複数の画素のうち、輝度値が第1閾値を超える画素の数を判定する。再生装置は、ステップS523において、輝度値が第1閾値を超える画素の数が第3閾値を超える場合、輝度値が第1閾値を超える画素の数が第3閾値以下になるように、画像の輝度値を下げる。
または、再生装置は、ステップS521において、画像に含まれる複数の画素のうち、輝度値が第1閾値を超える画素の割合を判定する。再生装置は、ステップS523において、上記割合が第3閾値を超える場合、当該割合が第3閾値以下になるように、画像の輝度値を下げる。
また、上記第1閾値、第2閾値及び第3閾値は、映像信号を表示する表示装置において複数の画素に対して同時に印加できる電圧の上限値に基づいて算出される値である。
[29.メタデータの配置方法]
以下、ビデオストリーム内での静的HDRメタデータと動的HDRメタデータの配置方法について説明する。
静的HDRメタデータをSEIなどを用いてビデオストリーム内に格納する際には、GOPなどのランダムアクセス単位における復号順で先頭のアクセスユニット内に静的HDRメタデータを格納してもよい。このとき、SEIを含むNALユニットは、ビデオの符号化データを格納するNALユニットよりも復号順が前となるように配置される。
また、プレイリストなどの管理情報とビデオストリームとの両方に動的HDRメタデータを格納する場合には、これらの二つの動的HDRメタデータとして同一のメタデータが用いられる。
また、動的HDRメタデータは、ランダムアクセス単位で切替え可能であり、ランダムアクセス単位内では一定である。例えば、動的HDRメタデータを格納するSEIは、ランダムアクセス単位における先頭アクセスユニットに格納される。ストリームの途中から再生開始する際にはランダムアクセス単位の先頭から復号が開始される。また、IピクチャとPピクチャのみを再生して高速再生するなどの特殊再生時においても、ランダムアクセス単位の先頭アクセスユニットは必ず復号される。よって、ランダムアクセス単位の先頭アクセスユニットにHDRメタデータを格納することで、再生装置は、必ずHDRメタデータを取得できる。
MPEG−4 AVC又はHEVCのストリームにおいては、ランダムアクセス単位における復号順で先頭のアクセスユニットにおいてのみ、復号時の初期化情報であるSequence Parameter Set(SPS)が含まれる。このSPSをランダムアクセス単位の開始を示す情報として用いることができる。
また、静的HDRメタデータと動的HDRメタデータは、それぞれ異なるSEIメッセージに格納されてもよい。両者のSEIメッセージは、SEIメッセージのタイプ、又は、SEIメッセージのペイロードに含まれる識別情報に基づいて識別される。例えば、再生装置は、HDMIにより静的HDRメタデータのみを送信する場合には、静的HDRメタデータを含むSEIメッセージのみを抽出して、ペイロードに含まれるメタデータをそのままHDMIにより伝送できる。これにより、再生装置がSEIメッセージのペイロードを解析して静的HDRメタデータを取得する処理が不要となる。
[30.デュアルディスクの再生動作1]
以上では、HDR信号のみが格納されたHDRディスクの再生動作について説明した。
次に、HDR信号とSDR信号との両方が格納されたデュアルディスクに格納される多重化データについて図33を用いて説明する。図33は、デュアルディスクに格納される多重化データについて説明するための図である。
デュアルディスクでは、図33に示すように、HDR信号とSDR信号とがそれぞれ異なる多重化ストリームとして格納される。例えば、Blu−rayなどの光ディスクにおいては、M2TSと呼ばれるMPEG−2 TSベースの多重化方式により、ビデオやオーディオ、字幕、グラフィックスなど複数メディアのデータが1本の多重化ストリームとして格納される。これらの多重化ストリームは、プレイリストなどの再生制御用のメタデータから参照され、再生時にはプレーヤがメタデータを解析することで再生する多重化ストリーム、あるいは、多重化ストリームに格納される個別の言語のデータを選択する。本例では、HDR用とSDR用とのプレイリストを個別に格納し、それぞれのプレイリストがHDR信号、あるいは、SDR信号を参照するケースを示す。また、HDR信号とSDR信号の両方が格納されていることを示す識別情報などを別途示しても良い。
同一の多重化ストリームにHDR信号とSDR信号との両方を多重化することも可能であるが、MPEG−2 TSにおいて規定されるT−STD(System Target Decoder)などのバッファモデルを満たすように多重化する必要があり、特に、予め定められたデータの読み出しレートの範囲内で、ビットレートの高いビデオを2本多重化するのは困難である。このため、多重化ストリームを分離することが望ましい。
オーディオ、字幕、あるいはグラフィックスなどのデータは、それぞれの多重化ストリームに対して格納する必要があり、1本に多重化する場合に比べてデータ量が増加する。ただし、データ量の増加は、圧縮率の高いビデオ符号化方式を用いてビデオのデータ量を削減することができる。例えば、従来のBlu−rayにおいて使用していたMPEG−4 AVCを、HEVC(High Efficiency Video Coding)に変えることで、1.6〜2倍の圧縮率向上が見込まれる。また、デュアルディスクに格納するのは、2KのHDRとSDRとの組み合わせ、4KのSDRと2KのHDRとの組み合わせなど、2Kを2本、あるいは、2Kと4Kとの組合せとするなど、4Kを2本格納することは禁止することにより、光ディスクの容量に収まる組合せのみを許容してもよい。
[31.まとめ]
4K対応BDまたはHDR対応BDを再生するBlu−ray機器は、2K_SDR対応TV、2K_HDR対応TV、4K_SDR対応TV、及び、4K_HDR対応TVの4つのTVに対応する必要がある。具体的には、Blu−ray機器は、3組のHDMI/HDCP規格(HDMI1.4/HDCP1.4、HDMI2.0/HDCP2.1、HDMI2.1/HDCP2.2)をサポートする必要がある。
さらに、Blu−ray機器は、4種類のBlu−rayディスク(2K_SDR対応BD、2K_HDR対応BD、4K_SDR対応BD、及び、4K_HDR対応BD)の再生を行う場合、そのBD(コンテンツ)毎、及び、接続されている表示装置(TV)毎に、適切な処理とHDMI/HDCPとを選択する必要がある。さらに、ビデオにグラフィックを合成する場合も、BDの種類と接続されている表示装置(TV)の種類により、処理を変える必要がある。
このため、Blu−ray機器の内部処理が非常に複雑になる。上記実施の形態3においては、Blu−ray機器内部処理を比較的簡単にするための各種手法を提供した。
[1]HDR非対応のTVにHDR信号を表示する場合は、HDRからSDRへの変換が必要になる。これに対し、上記実施の形態3では、この変換をBlu−ray機器においてオプション化するために、デュアルストリームディスク(Dual Streams Disc)というBDの構成を提案した。
[2]また、上記実施の形態3では、グラフィックストリームに制限を加え、ビデオストリームとグラフィックストリームとの組み合わせの種類を減らした。
[3]上記実施の形態3では、デュアルストリームディスクと、グラフィックストリームの制限とにより、Blu−ray機器内での複雑な処理の組み合わせ数を大幅に減らしている。
[4]上記実施の形態3では、疑似HDR変換を導入した場合でも、デュアルストリームディスクの処理に対して矛盾が生じない、内部処理及びHDMI処理を提示した。
本開示の変換方法では、HDR映像をSDRTVで表示する場合において、表示するSDRTVのピーク輝度が100nitを超える(通常200nit以上)ことを利用して、HDR映像を100nit以下のSDR映像に変換するのではなく、100nitを超える領域の階調をある程度保つよう変換し、元のHDRに近い疑似HDR映像に変換してSDRTVに表示させることができる「HDR→疑似HDR変換処理」を実現する。
また、変換方法では、SDRTVのディスプレイ特性(最高輝度、入出力特性、および表示モード)によって「HDR→疑似HDR変換処理」の変換方法を切り替えてもよい。
ディスプレイ特性情報の取得方法としては、(1)HDMI(登録商標)やネットワークを通して自動取得すること、(2)ユーザにメーカー名、品番等の情報入力させることで生成すること、および(3)メーカー名や品番等の情報を使ってクラウド等から取得することが考えられる。
また、変換装置100のディスプレイ特性情報の取得タイミングとしては、(1)疑似HDR変換する直前に取得すること、および(2)表示装置200(SDRTV等)と初めて接続する時(接続が確立した時)に取得することが考えられる。
また、変換方法では、HDR映像の輝度情報(CAL、CPL)によって変換方法を切り替えてもよい。
例えば、変換装置100のHDR映像の輝度情報の取得方法としては、(1)HDR映像に付随したメタ情報として取得すること、(2)ユーザにコンテンツのタイトル情報を入力させることで取得すること、および(3)ユーザに有力させた入力情報を使ってクラウド等から取得すること等が考えられる。
また、変換方法の詳細としては、(1)DPLを超えないように変換し、(2)CPLがDPLになるように変換し、(3)CALおよびその周辺以下の輝度は変更せず、(4)自然対数を用いて変換し、(5)DPLでクリップ処理をする。
また、変換方法では、疑似HDRの効果を高めるために、SDRTVの表示モード、表示パラメータなどの表示設定を、表示装置200に送信して切り替えることも可能であり、例えば、ユーザに表示設定を促すメッセージを画面に表示してもよい。
[32.疑似HDRの必要性1]
次に、疑似HDRの必要性について図34A〜図34Cを用いて説明する。
図34Aは、HDRTV内で、HDR信号を変換してHDR表示を行う表示処理の一例を示す図である。
図34Aに示すように、HDR映像を表示する場合、表示装置がHDRTVであっても、HDRの輝度範囲の最大値(ピーク輝度(HPL(HDR Peak Luminance):例1500nit))をそのまま表示することができない場合がある。この場合、HDRのEOTFを用いた逆量子化を行った後のリニアな信号を、その表示装置の輝度範囲の最大値(ピーク輝度(DPL(Display Peak Iuminance):例750nit))に合わせるための輝度変換を行う。そして、輝度変換を行うことで得られた映像信号を表示装置に入力することで、その表示装置の限界である最大値の輝度範囲に合わせたHDR映像を表示することができる。
図34Bは、HDR対応の再生装置とSDRTVとを用いて、HDR表示を行う表示処理の一例を示す図である。
図34Bに示すように、HDR映像を表示する場合、表示装置がSDRTVであれば、表示するSDRTVの輝度範囲の最大値(ピーク輝度(DPL:例300nit))が100nitを超えることを利用して、図34BのHDR対応の再生装置(Blu−ray機器)内の「HDR→疑似HDR変換処理」で、HDRTV内で行っている、「HDRのEOTF変換」とSDRTVの輝度範囲の最大値であるDPL(例:300nit)を使った「輝度変換」を行い、「輝度変換」を行うことで得られた信号をSDRTVの「表示装置」に直接入力できれば、SDRTVを使っても、HDRTVと同じ効果を実現することができる。
しかしながら、SDRTVには、このような信号を、外部から直接入力するための手段が無いため、実現できない。
図34Cは、標準インターフェースを介して互いに接続したHDR対応の再生装置とSDRTVと用いて、HDR表示を行う表示処理の一例を示す図である。
図34Cに示すように、通常、SDRTVが備える入力インターフェース(HDMI(登録商標)等)を使って、図34Bの効果を得られるような信号をSDRTVに入力する必要がある。SDRTVでは、入力インターフェースを介して入力した信号は、「SDRのEOTF変換」と「モード毎の輝度変換」と「表示装置」を順に通過し、その表示装置の最大値の輝度範囲に合わせた映像を表示する。このため、HDR対応のBlu−ray機器内で、SDRTVで入力インターフェースの直後に通過する、「SDRのEOTF変換」と「モード毎の輝度変換」とをキャンセルできるような信号(疑似HDR信号)を生成する。つまり、HDR対応のBlu−ray機器内で、「HDRのEOTF変換」とSDRTVのピーク輝度(DPL)を使った「輝度変換」との直後に、「モード毎の逆輝度変換」と「逆SDRのEOTF変換」とを行うことで、「輝度変換」直後の信号を「表示装置」に入力した場合(図34Cの破線矢印)と同じ効果を疑似的実現する。
[33.疑似HDRの必要性2]
通常のSDRTVは入力信号が100nitであるが、視聴環境(暗い室:シネマモード、明るい部屋:ダイナミックモード等)に合わせて200nit以上の映像表現が可能な能力を持つ。しかし、SDRTVへの入力信号の輝度上限が100nitに決められていたため、その能力を直接つかうことはできなかった。
HDR映像をSDRTVで表示する場合において、表示するSDRTVのピーク輝度が100nitを超える(通常200nit以上)ことを利用して、HDR映像を100nit以下のSDR映像に変換するのではなく、100nitを超える輝度範囲の階調をある程度保つように、「HDR→疑似HDR変換処理」を行っている。このため、元のHDRに近い疑似HDR映像としてSDRTVに表示させることができる。
この「HDR→疑似HDR変換処理」技術をBlu−rayに応用した場合は、図35に示すように、HDRディスクにはHDR信号のみを格納し、Blu−ray機器にSDRTVを接続した場合、Blu−ray機器が、「HDR→疑似HDR変換処理」を行い、HDR信号を疑似HDR信号に変換してSDRTVに送る。これにより、SDRTVは、受信した疑似HDR信号から輝度値に変換することで、疑似的なHDR効果を持った映像を表示させることができる。このように、HDR対応TVが無い場合でも、HDR対応のBDとHDR対応のBlu−ray機器を用意すれば、SDRTVであっても、SDR映像よりも高画質な疑似HDR映像を表示させることができる。
従って、HDR映像を見るためにはHDR対応TVが必要と考えられていたが、HDR的な効果を実感できる疑似HDR映像を、既存のSDRTVで見ることができる。これにより、HDR対応Blu−rayの普及が期待できる。
[34.効果等]
放送、Blu−ray等のパッケージメディア、OTT等のインターネット配信により送られてきたHDR信号を、HDR−疑似HDR変換処理を行うことで、疑似HDR信号に変換する。これにより、HDR信号を疑似HDR映像として既存のSDRTVで表示することが可能となる。
[35.EOTFについて]
ここで、EOTFについて、図36Aおよび図36Bを用いて説明する。
図36Aは、HDRおよびSDRのそれぞれに対応したEOTF(Electro−Optical Transfer Function)の例について示す図である。
EOTFは、一般的にガンマカーブと呼ばれるものであり、コード値と輝度値との対応を示し、コード値を輝度値に変換するものである。つまり、EOTFは、複数のコード値と輝度値との対応関係を示す関係情報である。
また、図36Bは、HDRおよびSDRのそれぞれに対応した逆EOTFの例について示す図である。
逆EOTFは、輝度値とコード値との対応を示し、EOTFとは逆に輝度値を量子化してコード値に変換するものである。つまり、逆EOTFは、輝度値と複数のコード値との対応関係を示す関係情報である。例えば、HDRに対応した映像の輝度値を10ビットの階調のコード値で表現する場合、10,000nitまでのHDRの輝度範囲における輝度値は、量子化されて、0〜1023までの1024個の整数値にマッピングされる。つまり、逆EOTFに基づいて量子化することで、10,000nitまでの輝度範囲の輝度値(HDRに対応した映像の輝度値)を、10ビットのコード値であるHDR信号に変換する。HDRに対応したEOTF(以下、「HDRのEOTF」という。)またはHDRに対応した逆EOTF(以下、「HDRの逆EOTF」という。)においては、SDRに対応したEOTF(以下、「SDRのEOTF」という。)またはSDRに対応した逆EOTF(以下、「SDRの逆EOTF」という。)よりも高い輝度値を表現することが可能であり、例えば、図36Aおよび図36Bにおいては、輝度の最大値(ピーク輝度)は、10,000nitである。つまり、HDRの輝度範囲は、SDRの輝度範囲を全て含み、HDRのピーク輝度は、SDRのピーク輝度より大きい。HDRの輝度範囲は、SDRの輝度範囲の最大値である100nitから、10,000nitまで、最大値を拡大した輝度範囲である。
例えば、HDRのEOTFおよびHDRの逆EOTFは、一例として、米国映画テレビ技術者協会(SMPTE)で規格化されたSMPTE 2084がある。
なお、以降の明細書中において、図36A及び図36Bに記載されている0nitからピーク輝度である100nitまでの輝度範囲は、第1輝度範囲と記載される場合がある。同様に、図36A及び図36Bに記載されている、0nitからピーク輝度である10,000nitまでの輝度範囲は、第2輝度範囲と記載される場合がある。
[36.変換装置および表示装置]
図37は、実施の形態の変換装置および表示装置の構成を示すブロック図である。図38は、実施の形態の変換装置および表示装置により行われる変換方法および表示方法を示すフローチャートである。
図37に示すように、変換装置100は、HDRのEOTF変換部101、輝度変換部102、逆輝度変換部103、および逆SDRのEOTF変換部104を備える。また、表示装置200は、表示設定部201、SDRのEOTF変換部202、輝度変換部203、および表示部204を備える。
変換装置100および表示装置200の各構成要素についての詳細な説明は、変換方法および表示方法の説明において行う。
[37.変換方法および表示方法]
変換装置100が行う変換方法について、図38を用いて説明する。なお、変換方法は、以下で説明するステップS101〜ステップS104を含む。
まず、変換装置100のHDRのEOTF変換部101は、逆HDRのEOTF変換が行われたHDR映像を取得する。変換装置100のHDRのEOTF変換部101は、取得したHDR映像のHDR信号に対して、HDRのEOTF変換を実施する(S101)。これにより、HDRのEOTF変換部101は、取得したHDR信号を、輝度値を示すリニアな信号に変換する。HDRのEOTFは、例えばSMPTE 2084がある。
次に、変換装置100の輝度変換部102は、HDRのEOTF変換部101により変換されたリニアな信号を、ディスプレイ特性情報とコンテンツ輝度情報とを用いて変換する第1輝度変換を行う(S102)。第1輝度変換において、HDRの輝度範囲に対応した輝度値(以下、「HDRの輝度値」という。)を、ディスプレイの輝度範囲に対応した輝度値(以下、「ディスプレイ輝度値」という。)に変換する。詳細は後述する。
上記のことから、HDRのEOTF変換部101は、映像の輝度値が量子化されることで得られたコード値を示す第1輝度信号としてのHDR信号を取得する取得部として機能する。また、HDRのEOTF変換部101および輝度変換部102は、取得部により取得されたHDR信号が示すコード値を、ディスプレイ(表示装置200)の輝度範囲に基づいて決定する、HDRの輝度範囲の最大値(HPL)よりも小さく、かつ、100nitよりも大きい最大値(DPL)であるディスプレイの輝度範囲に対応するディスプレイ輝度値へ変換する変換部として機能する。
より具体的には、HDRのEOTF変換部101は、ステップS101において、取得したHDR信号と、HDRのEOTFとを用いて、取得したHDR信号が示す第1コード値としてのHDRのコード値について、HDRのコード値にHDRのEOTFにおいて関係付けられたHDRの輝度値を決定する。なお、HDR信号は、HDRの輝度範囲における輝度値と、複数のHDRのコード値とを関係付けたHDRの逆EOTFを用いて、映像(コンテンツ)の輝度値が量子化されることで得られたHDRのコード値を示す。
また、輝度変換部102は、ステップS102において、ステップS101で決定したHDRの輝度値について、当該HDRの輝度値に予め関係付けられた、ディスプレイの輝度範囲に対応するディスプレイ輝度値を決定し、HDRの輝度範囲に対応するHDRの輝度値を、ディスプレイの輝度範囲に対応するディスプレイ輝度値へ変換する第1輝度変換を行う。
また、変換装置100は、ステップS102の前に、映像(コンテンツ)の輝度の最大値(CPL:Content Peak luminance)および映像の平均輝度値(CAL:Content Average luminance)の少なくとも一方を含むコンテンツ輝度情報をHDR信号に関する情報として取得している。CPL(第1最大輝度値)は、例えば、HDR映像を構成する複数の画像に対する輝度値のうちの最大値である。また、CALは、例えば、HDR映像を構成する複数の画像に対する輝度値の平均である平均輝度値である。
また、変換装置100は、ステップS102の前に、表示装置200から表示装置200のディスプレイ特性情報を取得している。なお、ディスプレイ特性情報とは、表示装置200が表示できる輝度の最大値(DPL)、表示装置200の表示モード(後述参照)、入出力特性(表示装置が対応するEOTF)などの表示装置200の表示特性を示す情報である。
また、変換装置100は、推奨表示設定情報(後述参照、以下、「設定情報」ともいう。)を表示装置200に送信してもよい。
次に、変換装置100の逆輝度変換部103は、表示装置200の表示モードに応じた逆輝度変換を行う。これにより、逆輝度変換部103は、ディスプレイの輝度範囲に対応した輝度値を、SDRの輝度範囲(0〜100〔nit〕)に対応する輝度値に変換する第2輝度変換を行う(S103)。詳細は後述する。つまり、逆輝度変換部103は、ステップS102で得られたディスプレイ輝度値について、当該ディスプレイ輝度値に予め関係付けられた、100nitを最大値とするSDRの輝度範囲に対応する第3輝度値としてのSDRに対応した輝度値(以下、「SDRの輝度値」という。)SDRの輝度値を決定し、ディスプレイの輝度範囲に対応するディスプレイ輝度値を、SDRの輝度範囲に対応するSDRの輝度値へ変換する第2輝度変換を行う。
そして、変換装置100の逆SDRのEOTF変換部104は、逆SDRのEOTF変換を行うことで、疑似HDR映像を生成する(S104)。つまり、逆SDRのEOTF変換部104は、HDRの輝度範囲における輝度値と、複数の第3コード値とを関係付けた第3関係情報であるSDR(Standard Dynamic Range)の逆EOTF(Electro−Optical Transfer Function)を用いて、決定したSDRの輝度値を量子化し、量子化により得られた第3コード値を決定し、SDRの輝度範囲に対応するSDRの輝度値を、第3コード値を示す第3輝度信号としてのSDR信号へ変換することで、疑似HDR信号を生成する。なお、第3コード値は、SDRに対応したコード値であり、以下では、「SDRのコード値」という。つまり、SDR信号は、SDRの輝度範囲における輝度値と、複数のSDRのコード値とを関係付けたSDRの逆EOTFを用いて、映像の輝度値が量子化されることで得られたSDRのコード値で表される。そして、変換装置100は、ステップS104で生成した疑似HDR信号(SDR信号)を表示装置200へ出力する。
変換装置100は、HDR信号を逆量子化することで得られたHDRの輝度値に対して、第1輝度変換および第2輝度変換を行うことで、疑似HDRに対応したSDRの輝度値を生成し、SDRの輝度値をSDRのEOTFを用いて量子化することで、疑似HDRに対応したSDR信号を生成する。なお、SDRの輝度値は、SDRに対応した0〜100nitの輝度範囲内の数値であるが、ディスプレイの輝度範囲に基づく変換を行っているため、HDRの輝度値に対してHDRのEOTFおよびSDRのEOTFを用いた輝度変換を行うことで得られたSDRに対応した0〜100nitの輝度範囲内の輝度値とは異なる数値である。
次に、表示装置200が行う表示方法について、図38を用いて説明する。なお、表示方法は、以下で説明するステップS105〜ステップS108を含む。
まず、表示装置200の表示設定部201は、変換装置100から取得した設定情報を用いて、表示装置200の表示設定を設定する(S105)。ここで、表示装置200は、SDRTVである。設定情報は、表示装置に対して推奨する表示設定を示す情報であり、疑似HDR映像をどのようにEOTFし、どの設定で表示すれば美しい映像を表示することができるかを示す情報(つまり、表示装置200の表示設定を最適な表示設定に切り替えるための情報)である。設定情報は、例えば、表示装置における出力時のガンマカーブ特性や、リビングモード(ノーマルモード)やダイナミックモード等の表示モード、バックライト(明るさ)の数値などを含む。また、ユーザに、表示装置200の表示設定をマニュアル操作で変更することを促すようなメッセージを、表示装置200(以下、「SDRディスプレイ」ともいう)に表示してもよい。詳細は後述する。
なお、表示装置200は、ステップS105の前に、SDR信号(疑似HDR信号)と、映像の表示にあたって表示装置200に対して推奨する表示設定を示す設定情報とを取得する。
また、表示装置200は、SDR信号(疑似HDR信号)の取得を、ステップS106の前に行えばよく、ステップS105の後に行ってもよい。
次に、表示装置200のSDRのEOTF変換部202は、取得した疑似HDR信号に対し、SDRのEOTF変換を行う(S106)。つまり、SDRのEOTF変換部202は、SDR信号(疑似HDR信号)を、SDRのEOTFを用いて逆量子化を行う。これにより、SDRのEOTF変換部202は、SDR信号が示すSDRのコード値を、SDRの輝度値に変換する。
そして、表示装置200の輝度変換部203は、表示装置200に設定された表示モードに応じた輝度変換を行う。これにより、輝度変換部203は、SDRの輝度範囲(0〜100〔nit〕)に対応したSDRの輝度値を、ディスプレイの輝度範囲(0〜DPL〔nit〕)に対応したディスプレイ輝度値に変換する第3輝度変換を行う(S107)。詳細は後述する。
上記のことから、表示装置200は、ステップS106およびステップS107において、取得したSDR信号(疑似HDR信号)が示す第3コード値を、ステップS105で取得した設定情報を用いて、ディスプレイの輝度範囲(0〜DPL〔nit〕)に対応するディスプレイ輝度値へ変換する。
より具体的には、SDR信号(疑似HDR信号)からディスプレイ輝度値への変換では、ステップS106において、SDRの輝度範囲における輝度値と、複数の第3コード値とを関係付けたEOTFを用いて、取得したSDR信号が示すSDRのコード値について、SDRのコード値にSDRのEOTFで関係付けられたSDRの輝度値を決定する。
そして、ディスプレイ輝度値への変換では、ステップS107において、決定したSDRの輝度値に予め関係付けられた、ディスプレイの輝度範囲に対応するディスプレイ輝度値を決定し、SDRの輝度範囲に対応するSDRの輝度値を、ディスプレイの輝度範囲に対応するディスプレイ輝度値へ変換する第3輝度変換を行う。
最後に、表示装置200の表示部204は、変換したディスプレイ輝度値に基づいて、疑似HDR映像を表示装置200に表示する(S108)。
[38.第1輝度変換]
次に、ステップS102の第1輝度変換(HPL→DPL)の詳細について、図39Aを用いて説明する。図39Aは、第1輝度変換の一例について説明するための図である。
変換装置100の輝度変換部102は、ステップS101で得られたリニアな信号(HDRの輝度値)を、ディスプレイ特性情報と、HDR映像のコンテンツ輝度情報とを用いて変換する第1輝度変換を行う。第1輝度変換は、HDRの輝度値(入力輝度値)を、ディスプレイピーク輝度(DPL)を超えないディスプレイ輝度値(出力輝度値)に変換する。DPLは、ディスプレイ特性情報であるSDRディスプレイの最大輝度および表示モードを用いて決定する。表示モードは、例えば、SDRディスプレイに暗めに表示するシアターモードや、明るめに表示するダイナミックモード等のモード情報である。表示モードが、例えば、SDRディスプレイの最大輝度が1,500nitであり、かつ、表示モードが最大輝度の50%の明るさにするモードである場合、DPLは、750nitとなる。ここで、DPL(第2最大輝度値)とは、SDRディスプレイが現在設定されている表示モードにおいて表示できる輝度の最大値である。つまり、第1輝度変換では、SDRディスプレイの表示特性を示す情報であるディスプレイ特性情報を用いて、第2最大輝度値としてのDPLを決定する。
また、第1輝度変換では、コンテンツ輝度情報のうちのCALとCPLとを用い、CAL付近以下の輝度値は、変換の前後で同一とし、CPL付近以上の輝度値に対してのみ輝度値を変更する。つまり、図39Aに示すように、第1輝度変換では、当該HDRの輝度値がCAL以下の場合、当該HDRの輝度値を変換せず、当該HDRの輝度値を、ディスプレイ輝度値として決定し、当該HDRの輝度値がCPL以上の場合、第2最大輝度値としてのDPLを、ディスプレイ輝度値として決定する。
また、第1輝度変換では、輝度情報のうちのHDR映像のピーク輝度(CPL)を用い、HDRの輝度値がCPLの場合、DPLを、ディスプレイ輝度値として決定する。
なお、第1輝度変換では、図39Bのように、ステップS101で得られたリニアな信号(HDRの輝度値)を、DPLを超えない値にクリップするように変換してもよい。このような輝度変換を行うことで、変換装置100での処理を簡素化することができ、装置の縮小化、低電力化、処理の高速化が図れる。なお、図39Bは、第1輝度変換の他の一例について説明するための図である。
[39−1.第2輝度変換]
次に、ステップS103の第2輝度変換(DPL→100〔nit〕)の詳細について、図40を用いて説明する。図40は、第2輝度変換について説明するための図である。
変換装置100の逆輝度変換部103は、ステップS102の第1輝度変換で変換されたディスプレイの輝度範囲(0〜DPL〔nit〕)のディスプレイ輝度値に対し、表示モードに応じた逆輝度変換を施す。逆輝度変換は、SDRディスプレイによる表示モードに応じた輝度変換処理(ステップS107)が行われた場合に、ステップS102処理後のディスプレイの輝度範囲(0〜DPL〔nit〕)のディスプレイ輝度値を取得できるようにするための処理である。つまり、第2輝度変換は、第3輝度変換の逆輝度変換である。
上記の処理により、第2輝度変換は、ディスプレイの輝度範囲のディスプレイ輝度値(入力輝度値)を、SDRの輝度範囲のSDRの輝度値(出力輝度値)に変換する。
第2輝度変換では、SDRディスプレイの表示モードによって変換式を切り替える。例えば、SDRディスプレイの表示モードがノーマルモードの場合、ディスプレイ輝度値に正比例する正比例値に輝度変換する。また、第2輝度変換では、SDRディスプレイの表示モードがノーマルモードよりも高輝度画素をより明るく、かつ、低輝度画素をより暗くするダイナミックモードの場合、その逆関数を用いることで、低輝度画素のSDRの輝度値は、ディスプレイ輝度値に正比例する正比例値より高い値に、高輝度画素のSDRの輝度値は、ディスプレイ輝度値に正比例する正比例値より低い値に輝度変換する。つまり、第2輝度変換では、ステップS102において決定したディスプレイ輝度値について、SDRディスプレイの表示特性を示す情報であるディスプレイ特性情報に応じた輝度関係情報を用いて、当該ディスプレイ輝度値に関係付けられた輝度値をSDRの輝度値として決定し、ディスプレイ特性情報に応じて輝度変換処理を切り替える。ここで、ディスプレイ特性情報に応じた輝度関係情報とは、例えば図40に示すような、SDRディスプレイの表示パラメータ(表示モード)毎に定められた、ディスプレイ輝度値(入力輝度値)と、SDRの輝度値(出力輝度値)とを関係付けた情報である。
[39−2.第3輝度変換]
次に、ステップS107の第3輝度変換(100→DPL〔nit〕)の詳細について、図41を用いて説明する。図41は、第3輝度変換について説明するための図である。
表示装置200の輝度変換部203は、SDRの輝度範囲(0〜100〔nit〕)のSDRの輝度値をステップS105で設定された表示モードに応じて(0〜DPL〔nit〕)に変換する。本処理はS103のモード毎の逆輝度変換の逆関数となるように処理する。
第3輝度変換では、SDRディスプレイの表示モードによって変換式を切り替える。例えば、SDRディスプレイの表示モードがノーマルモードの場合(つまり、設定された表示パラメータがノーマルモードに対応したパラメータである場合)、ディスプレイ輝度値は、SDRの輝度値に正比例する正比例値に輝度変換する。また、第3輝度変換では、SDRディスプレイの表示モードがノーマルモードよりも高輝度画素をより明るく、かつ、低輝度画素をより暗くするダイナミックモードの場合、低輝度画素のディスプレイ輝度値は、SDRの輝度値に正比例する正比例値より低い値に、高輝度画素のディスプレイ輝度値は、SDRの輝度値に正比例する正比例値より高い値に輝度変換する。つまり、第3輝度変換では、ステップS106において決定したSDRの輝度値について、SDRディスプレイの表示設定を示す表示パラメータに応じた輝度関係情報を用いて、当該SDRの輝度値に予め関係付けられた輝度値をディスプレイ輝度値として決定し、表示パラメータに応じて輝度変換処理を切り替える。ここで、表示パラメータに応じた輝度関係情報とは、例えば図41に示すような、SDRディスプレイの表示パラメータ(表示モード)毎に定められた、SDRの輝度値(入力輝度値)と、ディスプレイ輝度値(出力輝度値)とを関係付けた情報である。
[40.表示設定]
次に、ステップS105の表示設定の詳細について、図42を用いて説明する。図42は、表示設定の詳細な処理を示すフローチャートである。
SDRディスプレイの表示設定部201は、ステップS105において、下記のステップS201〜ステップS208の処理を行う。
まず、表示設定部201は、設定情報を用いて、SDRディスプレイに設定されているEOTF(SDRディスプレイ用EOTF)が、疑似HDR映像(SDR信号)の生成時に想定したEOTFと整合しているかどうかを判定する(S201)。
表示設定部201は、SDRディスプレイに設定されているEOTFが、設定情報が示すEOTF(疑似HDR映像に整合するEOTF)と異なっていると判定した場合(S201でYes)、SDRディスプレイ用EOTFをシステム側で切り替え可能かを判定する(S202)。
表示設定部201は、切り替え可能であると判定した場合、設定情報を用いて、SDRディスプレイ用EOTFを適切なEOTFに切り替える(S203)。
ステップS201〜ステップS203から、表示設定の設定(S105)では、SDRディスプレイに設定されているEOTFを、取得した設定情報に応じた推奨EOTFに設定する。また、これにより、ステップS105の後に行われるステップS106では、推奨EOTFを用いて、SDRの輝度値を決定することができる。
システム側で切り替え可能でないと判定した場合(S202でNo)、EOTFをユーザがマニュアル操作で変更することを促すメッセージを画面に表示する(S204)。例えば、「表示ガンマを2.4に設定して下さい」というメッセージを画面に表示する。つまり、表示設定部201は、表示設定の設定(S105)において、SDRディスプレイに設定されているEOTFを切り替えできない場合、SDRディスプレイに設定されているEOTF(SDRディスプレイ用EOTF)を、推奨EOTFに切り替えることをユーザに促すためのメッセージを、SDRディスプレイに表示する。
次に、SDRディスプレイでは、疑似HDR映像(SDR信号)を表示するが、表示の前に設定情報を用いてSDRディスプレイの表示パラメータが設定情報に合っているかを判定する(S205)。
表示設定部201は、SDRディスプレイに設定されている表示パラメータが、設定情報とは異なっていると判定した場合(S205でYes)、SDRディスプレイの表示パラメータを、切り替え可能かを判定する(S206)。
表示設定部201は、SDRディスプレイの表示パラメータを切り替え可能であると判定した場合(S206でYes)、設定情報に合わせて、SDRディスプレイの表示パラメータを切り替える(S207)。
ステップS204〜ステップS207から、表示設定の設定(S105)では、SDRディスプレイに設定されている表示パラメータを、取得した設定情報に応じた推奨表示パラメータに設定する。
システム側で切り替え可能でないと判定した場合(S206でNo)、SDRディスプレイに設定されている表示パラメータをユーザがマニュアル操作で変更することを促すメッセージを画面に表示する(S208)。例えば、「表示モードをダイナミックモードにし、バックライトを最大にして下さい」というメッセージを画面に表示する。つまり、設定(S105)では、SDRディスプレイに設定されている表示パラメータを切り替えできない場合、SDRディスプレイに設定されている表示パラメータを、推奨表示パラメータに切り替えることをユーザに促すためのメッセージを、SDRディスプレイに表示する。
[41.変形例1]
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態1にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下では、他の実施の形態を例示する。
HDR映像は、例えばBlu−ray Disc、DVD、インターネットの動画配信サイト、放送、HDD内の映像である。
変換装置100(HDR→疑似HDR変換処理部)は、ディスクプレイヤー、ディスクレコーダ、セットトップボックス、テレビ、パソコン、スマートフォンの内部に存在していてもよい。変換装置100は、インターネット内のサーバ装置の内部に存在していてもよい。
表示装置200(SDR表示部)は、例えばテレビ、パソコン、スマートフォンである。
変換装置100が取得するディスプレイ特性情報は、表示装置200からHDMI(登録商標)や他の通信プロトコルを用いてHDMI(登録商標)ケーブルやLANケーブルを介して取得してもよい。変換装置100が取得するディスプレイ特性情報は、インターネットを介して表示装置200の機種情報等に含まれるディスプレイ特性情報を取得してもよい。また、ユーザがマニュアル操作を行い、ディスプレイ特性情報を、変換装置100に設定してもよい。また、変換装置100のディスプレイ特性情報の取得は、疑似HDR映像生成(ステップS101〜S104)時の直前でもよいし、機器の初期設定時やディスプレイ接続時のタイミングでもよい。例えば、ディスプレイ特性情報の取得は、ディスプレイ輝度値への変換の直前に行ってもよいし、変換装置100がHDMI(登録商標)ケーブルで最初に表示装置200に接続したタイミングで行ってもよい。
また、HDR映像のCPLやCALは、コンテンツ1つに対して1つでもよいし、シーン毎に存在していてもよい。つまり、変換方法では、映像の複数のシーンのそれぞれに対応した輝度情報であって、当該シーン毎に、当該シーンを構成する複数の画像に対する輝度値のうちの最大値である第1最大輝度値と、当該シーンを構成する複数の画像に対する輝度値の平均である平均輝度値との少なくとも一方を含む輝度情報(CPL、CAL)を取得し、第1輝度変換では、複数のシーンのそれぞれについて、当該シーンに対応した輝度情報に応じてディスプレイ輝度値を決定してもよい。
また、CPLおよびCALは、HDR映像と同じ媒体(Blu−ray Disc、DVD等)に同梱していてもよいし、変換装置100がインターネットから取得する等、HDR映像とは別の場所から取得してもよい。つまり、CPLおよびCALの少なくとも一方を含む輝度情報を映像のメタ情報として取得してもよいし、ネットワーク経由で取得してもよい。
また、変換装置100の第1輝度変換(HPL→DPL)において、CPL、CAL、およびディスプレイピーク輝度(DPL)は使用せずに、固定値を用いてもよい。また、その固定値を外部から変更可能にしてもよい。また、CPL、CAL、およびDPLは、数種類で切り替えるようにしてもよく、例えば、DPLは200nit、400nit、800nitの3種類のみとするようにしてもよいし、ディスプレイ特性情報に最も近い値を使用するようにしてもよい。
また、HDRのEOTFはSMPTE 2084でなくてもよく、他の種類のHDRのEOTFを用いてもよい。また、HDR映像の最大輝度(HPL)は10,000nitでなくてもよく、例えば4,000nitや1,000nitでもよい。
また、コード値のビット幅は、例えば16,14,12,10,8bitでもよい。
また、逆SDRのEOTF変換は、ディスプレイ特性情報から決定するが、(外部からも変更可能な)固定の変換関数を用いてもよい。逆SDRのEOTF変換は、例えばRec. ITU−R BT.1886で規定されている関数を用いてもよい。また、逆SDRのEOTF変換の種類を数種類に絞り、表示装置200の入出力特性に最も近いものを選択して使用するようにしてもよい。
また、表示モードは、固定のモードを使うようにしてもよく、ディスプレイ特性情報の中に含めなくてもよい。
また、変換装置100は、設定情報を送信しなくてもよく、表示装置200では固定の表示設定としてもよいし、表示設定を変更しなくてもよい。この場合、表示設定部201は不要となる。また、設定情報は、疑似HDR映像かどうかのフラグ情報でもよく、例えば、疑似HDR映像である場合は最も明るく表示する設定に変更するようにしてもよい。つまり、表示設定の設定(S105)では、取得した設定情報が、DPLを用いて変換された疑似HDR映像を示す信号であることを示す場合、表示装置200の明るさ設定を最も明るく表示する設定に切り替えてもよい。
[42.変形例2]
また、変換装置100の第1輝度変換(HPL→DPL)は例えば次の算式で変換する。
ここで、Lは、0〜1に正規化された輝度値を示し、S1、S2、a、b、MはCAL、CPL、およびDPLに基づいて設定する値である。lnは自然対数である。Vは0〜1に正規化された変換後の輝度値である。図39Aの例のように、CALを300nitとし、CPLを2,000nitとし、DPLを750nitとし、CAL + 50nitまでは変換しないとし、350nit以上に対して変換する場合、それぞれの値は例えば次のような値となる。
S1 = 350/10000
S2 = 2000/10000
M = 750/10000
a = 0.023
b = S1 − a*ln(S1) = 0.112105
つまり、第1輝度変換では、SDRの輝度値が、平均輝度値(CAL)と第1最大輝度値(CPL)との間である場合、自然対数を用いて、当該HDRの輝度値に対応するディスプレイ輝度値を決定する。
[40.効果等]
HDR映像のコンテンツピーク輝度やコンテンツ平均輝度等の情報を用いてHDR映像を変換することにより、コンテンツに応じて変換式を変えることができ、HDRの階調をなるべく保つように変換することが可能となる。また、暗すぎる、明るすぎるといった悪影響を抑制することができる。具体的には、HDR映像のコンテンツピーク輝度をディスプレイピーク輝度にマッピングすることにより、階調をなるべく保つようにしている。また、平均輝度付近以下の画素値を変えないことにより、全体的な明るさが変わらないようにしている。
また、SDRディスプレイのピーク輝度値および表示モードを用いてHDR映像を変換することにより、SDRディスプレイの表示環境に応じて変換式を変えることができ、SDRディスプレイの性能に合わせて、HDR感のある映像(疑似HDR映像)を、元のHDR映像と同様の階調や明るさで表示することができる。具体的には、SDRディスプレイの最大輝度および表示モードによってディスプレイピーク輝度を決定し、そのピーク輝度値を超えないようにHDR映像を変換することにより、SDRディスプレイで表示可能な明るさまではHDR映像の階調をほとんど減らさずに表示し、表示不可能な明るさは表示可能な明るさまで輝度値を下げている。
以上により、表示不可能な明るさ情報を削減し、表示可能な明るさの階調を落とさず、元のHDR映像に近い形で表示することが可能となる。例えば、ピーク輝度1,000nitのディスプレイ用には、ピーク輝度1,000nitに抑えた疑似HDR映像に変換することにより、全体的な明るさを維持し、ディスプレイの表示モードによって輝度値は変わる。このため、ディスプレイの表示モードに応じて、輝度の変換式を変更するようにしている。もし、ディスプレイのピーク輝度よりも大きな輝度を疑似HDR映像で許容すると、その大きな輝度をディスプレイ側でのピーク輝度に置き換えて表示する場合があり、その場合は元のHDR映像よりも全体的に暗くなる。逆にディスプレイのピーク輝度よりも小さな輝度を最大輝度として変換すると、その小さな輝度をディスプレイ側でのピーク輝度に置き換え、元のHDR映像よりも全体的に明るくなる。しかもディスプレイ側のピーク輝度よりも小さいためにディスプレイの階調に関する性能を最大限使っていないことになる。
また、ディスプレイ側では、設定情報を用いて表示設定を切り替えることにより、疑似HDR映像をよりよく表示することが可能となる。例えば、明るさを暗く設定している場合には高輝度表示ができないため、HDR感が損なわれる。その場合には表示設定を変更するもしくは、変更してもらうよう促すメッセージを表示することにより、ディスプレイの性能を最大限引出し、高階調な映像を表示できるようにする。
(全体のまとめ)
以上、本開示の一つまたは複数の態様に係る再生方法および再生装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、異なる実施の形態における構成要素を組み合わせて構築される形態なども、本開示の一つまたは複数の態様の範囲内に含まれてもよい。
例えば、上記各実施の形態において、各構成要素は、回路などの専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。