(本開示の基礎となった知見)
本発明者は、「背景技術」の欄において記載した、画像信号処理装置に関し、以下の課題が生じることを見出した。
これまで、映像の高画質化としては、画素数の拡大に主眼がおかれ、Full HD(FHD:Full High Definition)と呼ばれる1920×1080画素の映像、あるいは、2048×1080画素の映像が普及するに至っている。近年、映像の更なる高画質化を目指して、3840x1920画素、あるいは、4096×1920画素といった、所謂4K映像の導入が開始されている。そしてさらに、映像の高解像度化を行うと共に、ダイナミックレンジや色域の拡大、あるいは、フレームレートの向上などを行うことで映像を高画質化することが検討されている。
その中でも、ダイナミックレンジについては、従来の映像における暗部階調を維持しつつ、現行のTV信号では表現不能な鏡面反射光などの明るい光を、より現実に近い明るさで表現するために最大輝度値を拡大した輝度のダイナミックレンジに対応させた方式として、HDR(High Dynamic Range)が注目されている。具体的には、これまでのTV信号が対応しているダイナミックレンジの方式は、SDR(Standard Dynamic Range)と呼ばれ、最大輝度値が100nitであったのに対して、HDRでは1000nit以上まで最大輝度値を拡大することが想定されている。HDRは、SMPTE(Society of Motion Picture & Television Engineers)やITU-R(International Telecommunications Union Radiocommunications Sector)などにおける標準化が進行中である。HDRの具体的な適用先としては、放送やBD(Blu-ray Disc)などが想定される。
Blu-rayでは、EOTF(Electro-Optical Transfer Function)としてPQのEOTF(「PQカーブ」または「SMPTE 2084」とも言う。)を使うHDRの方式には、次に示す課題がある。なお、EOTFについては後述する。
まず、HDRからSDRへの変換の技術の標準方式が確立していないため、当該変換はBlu-ray機器のメーカが独自方式で実装することになる。このため、コンテンツ制作者は、HDRからSDRに変換後の映像をSDR対応のTV(以下、「SDRTV」と言う。)上では、確認することが難しく、コンテンツ制作者の意図(Director’s Intent)をSDR変換後の映像に含めることは難しいという課題がある。
この課題を解決するため、映画会社は、HDRとSDRとの両方に対応した映像ストリームを予め用意して、1つのディスク(例えばBD)に両方の映像ストリームを入れる、または、1つのパッケージとして、SDRに対応した映像ストリーム(以下、「SDRストリーム」と言う。)が記録されたBDと、HDRに対応した映像ストリーム(以下、「HDRストリーム」と言う。)が記録されたBDとを入れて販売する必要がある。また、インターネット配信(OTT:Over the Top)の場合は、ネットワークサーバにSDRストリームおよびHDRストリームの両方を用意する必要がある。
一方で、ユーザは、使用しようとしているTVがHDR対応のTV(以下、「HDRTV」と言う。)であるか、および、再生しようとしているBD(またはコンテンツ、サービスなど)がHDR対応のBD(OTTの場合は、HDRサービス)であるかを意識して選択する必要がある。つまり、ユーザは、自分の持っているTVがHDRTVかどうかを確かめる必要があり、現状のSDRTVの場合は、SDRストリームが記録されたBDかSDRストリームを選択しないと、適切な表示がなされないため、コンテンツを視聴することができない。これにより、ユーザからのクレームに繋がるリスクがある。また、2つのBDにそれぞれSDRストリームとHDRストリームとを別々に入れた場合は、SDRTVのユーザはHDRストリームが入ったBDを再生した場合、白茶けた映像になり、TVまたはBlu-ray機器が壊れたと誤解する恐れがある。
Blu-rayで検討されていた、PQのEOTFのみを使うHDRの方式では、前記の課題があった。そこで、暗い部分(低輝度領域)はBT.709のガンマカーブ(SDRに対応したEOTF)と互換性があるEOTFの技術をベースにした、EOTF(以下、「ハイブリッド型のEOTF」と言う。)を追加し、併用できるようにすることにより前記課題を解決することを図るものである。
つまり、本発明者は、上記課題を解決するために、下記の改善策を検討した。
本開示の一態様に係る再生方法は、映像ストリームの再生を行い、前記再生を行うことで得られた再生信号を表示装置に出力する再生方法であって、前記映像ストリームは、輝度のダイナミックレンジの最大値が100nitを超える第1のダイナミックレンジで構成され、前記表示装置は、前記第1のダイナミックレンジよりも狭い第2のダイナミックレンジで映像を表示する表示装置であり、前記映像ストリームがハイブリッド型のOETFに基づいて量子化されているか否かを判定し、前記映像ストリームがハイブリッド型のOETFに基づいて量子化されていると判定した場合は、前記映像ストリームの輝度に対して、前記第1のダイナミックレンジから前記第2のダイナミックレンジに変換する輝度変換を行わずに、前記映像ストリームの再生を行うことで得られた第1の再生信号を出力し、前記映像ストリームがハイブリッド型のOETFに基づいて量子化されていないと判定した場合は、前記映像ストリームに対して前記輝度変換を行い、前記映像ストリームに対して前記輝度変換および前記再生を行うことにより得られた第2の再生信号を出力する。
これによれば、表示装置に適切に映像を表示させることができる。
また、例えば、前記ハイブリッド型のOETFは、低輝度領域において前記第2のダイナミックレンジに対応したOETFと互換性を有する前記第1のダイナミックレンジに対応したOETFであってもよい。
また、例えば、前記映像ストリームは、ハイブリッド型のOETFに基づいて量子化されていない場合、SMPTE2084 OETFにより量子化されていてもよい。
また、例えば、前記映像ストリームは、ハイブリッド型のOETFに基づいて量子化されているか否かを示す情報を含んでもよい。
また、例えば、前記映像ストリームは、ハイブリッド型のOETFに基づいて量子化されている場合、静的メタデータとしてMastering display color volume SEI messageにより示される情報と、当該映像ストリームが示すコンテンツのピーク輝度を示すピーク輝度情報とを含んでもよい。
また、例えば、前記コンテンツのピーク輝度は、1000nitであってもよい。
なお、これらの全般包括的または具体的な態様は、装置、システム、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、装置、システム、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
上記の改善策を行うことにより、コンテンツ制作者(スタジオ)は、HDRストリームの作成にハイブリッド型のEOTFの逆関数(OETF:Optical-Electro Transfer Function)を採用する場合は、SDRTVでの表示内容を事前に確定できるため、HDRストリームをSDRTVで見る場合の画質を事前に確認できる。このため、スタジオは、ハイブリッド型のOETFを用いて作成したHDRストリームをSDRTVに表示させた場合の表示内容が良いと確認できた場合は、ハイブリッド型のOETFを用いればよい。
また、スタジオは、ハイブリッド型のOETFを採用した場合のSDRTVでの表示内容が不十分と判断した場合は、PQカーブを用いたHDRの方式によるHDRストリームとSDRストリームとの組み合わせでサービスを行うことで、コンテンツ制作者の意図(Director’s Intent)を反映してもよい。
映画会社は、ハイブリッド型のOETFを用いて作成したSDRTVの画像に満足する場合は、ハイブリッド型のOETFを用いて作成したHDRストリームのみを用意すればよいため、HDRストリームおよびSDRストリームの両方を用意する必要がなくなる。また、この場合、ユーザは、HDRTV、HDR対応のBD、HDR対応のOTTサービス等を意識して選択する必要はなくなる。
図1は、各種BDと、各種表示装置とに対応してBlu-ray機器が行う処理内容の一例を示す模式図である。
図1に示すように、BD(次世代BD)には、映像の輝度値がPQのOETF(Optical-Electro Transfer Function)」とも言う。)を用いて量子化されたHDRストリームが記録された第1のBDと、映像の輝度値がBT.709のOETFを用いて量子化されたSDRストリームが記録された第2のBDとがある。なお、映像の輝度値がBT.1886のOETF(「ガンマ2.4カーブ」とも言う)を用いて量子化されたSDRストリームが記録されたBDを第2のBDとしてもよい。
第1のBDをBlu-ray機器(次世代Blu-ray機器)で再生する場合について説明する。なお、図1以降では、HDRストリームに対応した処理の流れを実線の矢印で表記し、SDRストリームに対応した処理の流れを破線の矢印で表記する。
Blu-ray機器がHDRストリームに対応した表示(以下、「HDR表示」と言う。)に対応したHDRTV(HDR Ready TV)にHDMI(登録商標、以下同様)2.0以降の通信インタフェースにより接続されている場合、第1のBDに記録されているHDRストリームは、Blu-ray機器のビデオデコーダ(HDR(SDR) Video Decoder)によりデコードされる。デコードされることにより得られた映像信号は、HDMIを介して、HDRTVに出力される。HDRTVでは、HDMIを介して受信した映像信号に対してHDRカラーマッピングが行われ、ディスプレイパネルに出力することで、映像をディスプレイパネルに表示する。
Blu-ray機器がSDRTVに接続されている場合、第1のBDに記録されているHDRストリームは、Blu-ray機器のビデオデコーダによりデコードされる。デコードされることにより得られた映像信号に対して、HDRからSDRへのカラーマッピング処理(「輝度変換処理」または「リマップ」とも言う)が行われ、SDRの映像信号に変換される。変換されたSDRの映像信号は、HDMIなどの通信インタフェースを介して、SDRTVに出力される。SDRTVでは、HDMIを介して受信した映像信号に基づいて生成した映像をディスプレイパネルに表示する。
次に、第2のBDをBlu-ray機器で再生する場合について説明する。
Blu-ray機器がHDRTVにHDMI2.0以降の通信インタフェースにより接続されている場合、第2のBDに記録されているSDRストリームは、Blu-ray機器のビデオデコーダによりデコードされる。デコードされることにより得られた映像信号は、HDMIを介して、HDRTVに出力される。HDRTVでは、HDMIを介して受信した映像信号に対してHDRカラーマッピングを行わずに、ディスプレイパネルに出力することで、映像をディスプレイパネルに表示する。なお、SDRTVに出力される場合も上記とほぼ同様の処理が行われる。
図2は、ハイブリッド型のOETFを用いて作成されたHDRストリームが記録されたBDを、Blu-ray機器で再生する場合の処理内容を示す模式図である。
図2に示すように、この場合のBDは、映像の輝度値がハイブリッド型のOETFを用いて量子化されたHDRストリームが記録された第3のBDである。
第3のBDをBlu-ray機器で再生する場合について説明する。また、図2以降では、ハイブリッド型のOETFを用いて作成されたHDRストリーム(以下、「ハイブリッド型ストリーム」とも言う。)に対応した処理の流れを一点鎖線の矢印で表記する。
Blu-ray機器がHDRTVにHDMI2.0以降の通信インタフェースにより接続されている場合、第3のBDに記録されているHDRストリームは、Blu-ray機器のビデオデコーダによりデコードされる。デコードされることにより得られた映像信号は、HDMIを介して、HDR対応の映像信号としてHDRTVに出力される。HDRTVでは、HDMIを介して受信した映像信号に対してHDRカラーマッピングが行われ、ディスプレイパネルに出力することで、映像をディスプレイパネルに表示する。
Blu-ray機器がSDRTVに接続されている場合、第3のBDに記録されているHDRストリームは、Blu-ray機器のビデオデコーダによりデコードされる。デコードされることにより得られた映像信号は、HDMIを介して、SDR対応の映像信号としてSDRTVに出力される。SDRTVでは、HDMIを介して受信した映像信号に基づいて生成した映像をディスプレイパネルに表示する。
なお、Blu-ray機器がSDRTVに接続されている場合、デコードされることにより得られた映像信号に対して、HDRからSDRへのカラーマッピング処理が行われ、SDRの映像信号に変換(輝度変換)されてもよい。変換されたSDRの映像信号は、HDMIなどの通信インタフェースを介して、SDRTVに出力される。SDRTVでは、HDMIを介して受信した映像信号に基づいて生成した映像をディスプレイパネルに表示する。
次に、ハイブリッド型のEOTFの概要について図3~図6を用いて説明する。
図3は、ハイブリッド型のOETFおよびハイブリッド型のEOTFの概要について説明するための図である。図4は、各OETFについて比較するための図である。図5は、図4の暗部領域(低輝度領域)を拡大した図である。
まず、EOTFについて説明する。EOTFは、一般的にガンマカーブと呼ばれるものであり、輝度値とコード値との対応を示し、輝度値を量子化してコード値に変換するものである。つまり、EOTFは、輝度値と複数のコード値との対応関係を示す関係情報である。例えば、SDRに対応した映像の輝度値を10ビットの階調のコード値で表現する場合、100nitまでの輝度範囲における輝度値は、量子化されて、0-1023の1024個の整数値にマッピングされる。つまり、EOTFに基づいて量子化することで、100nitまでの輝度範囲の輝度値(SDRに対応した映像の輝度値)を、10ビットのコード値であるSDR信号に変換する。HDRに対応したEOTF(以下、「HDRのEOTF」という。」)においては、SDRに対応したEOTF(以下、「SDRのEOTF」という。)よりも高い輝度値を表現することが可能であり、例えば図3においては、輝度の最大値(ピーク輝度)は1000nitsである。つまり、HDRの輝度範囲は、SDRの輝度範囲を全て含み、HDRのピーク輝度は、SDRのピーク輝度より大きい。HDRの輝度範囲は、SDRの輝度範囲の最大値である例えば100nitから、1000nitまで、最大値を拡大した輝度範囲である。また、HDR信号についても、例えば10ビットの階調で表現される。
OETFは、EOTFの逆関数である。つまり、EOTFの反対の関係を用いれば、OETFを用いたことになるため、以下では、OETFを用いて映像の輝度値を量子化することを、同様の意味で、EOTFを用いて映像の輝度値を量子化するとも言う。
グレーディング後の映像は、図3の(a)に示すOETFにより量子化され、当該画像の輝度値に対応するコード値が決定される。このコード値に基づいて画像符号化などが行われ、エレメンタリ・ストリームが生成される。また、再生時には、エレメンタリ・ストリームの復号結果に対して、図3の(b)に示すEOTFに基づいて逆量子化することにより、画素毎の輝度値が復元される。なお、図3の場合、SDRストリームの生成には、BT.1886のOETFが用いられることにより量子化され、SDRストリームの再生には、BT.1886のEOTFが用いられることにより輝度値が復元される。また、HDRストリームの生成には、ハイブリッド型のOETFが用いられることにより量子化され、HDRストリームの再生には、ハイブリッド型のEOTFが用いられることにより輝度値が復元される。なお、図3の場合には、HDRストリームの生成および再生には、それぞれハイブリッド型のOETFおよびハイブリッド型のEOTFが用いられたが、PQのOETFおよびPQのEOTFを用いてもよい。
ハイブリッド型のEOTFは、例えば、BBC(British Broadcasting Corporation:英国放送協会)がITU-Rに提案している、SDRTVに互換性があるHDRのEOTFである。SDRTVに互換性があるHDRのEOTFとは、HDRTVで表示させたときは、HDRの輝度範囲における映像の輝度値を復元でき、かつ、SDRTVで表示させたときは、SDRの輝度範囲における映像の輝度値を復元できるEOTFである。
具体的には、ハイブリッド型のEOTFの逆関数であるハイブリッド型のOETFでは、暗部領域(低輝度領域)は、BT.1886と同じ特性によって量子化され、高輝度部分(領域)は、粗い量子化のステップサイズで量子化される。そして、SDRTVでは、高いコード値をBT.1886のコード値として逆量子化する。つまり、ハイブリッド型のHDRストリームは、SDRTVにおいて表示されるときに、高輝度領域が自動的にSDR信号の輝度範囲にリマップされることになる。
ハイブリッド型のOETFは、図3に示すように、50nitよりも輝度値が小さい暗部領域(低輝度領域)において、BT.1886のOETF(SDRのOETF)と同じカーブを有している。つまり、ハイブリッド型のOETFとSDRのOETFとは、暗部領域において、輝度値とコード値との関係が略等しい。例えば、ハイブリッド型のOETFは、次の式1のように示される。これは、例えば、下記の文献「White paper of BBC’s EOTF (http://www.bbc.co.uk/rd/publications/whitepaper283)」に記載されている。
なお、式1は、Vが0からξまでの範囲では、BT.1886のOETFと同じ関係式になることを示している。
ここで、図4および図5を参照し、PQのOETFとハイブリッド型のOETFとを比較する。図4および図5には、SDRのOETFとしてBT.1886のOETFが実線で表され、ハイブリッド型のOETFとしてBBCのOETFのLmax4が一点鎖線、BBCのOETFのLmax8が長い破線、PQのOETFが短い破線でそれぞれ表されている。なお、BBCのOETFのLmax4およびLmax8は、互いにピーク輝度が異なる曲線であることが異なり、暗部領域においてBT.1886のOETFと同じカーブを有する点は同じである。
図4に示すように、ピーク輝度が1000~1200nitの場合は、PQのOETFは、コード値(CV(Code Value))が750以上の領域を使用することはできない。しかし、BBCのOETFは、Lmax4およびLmax8ともに、全てのコード値を使用することができる。つまり、ハイブリッド型のOETFは、輝度範囲が0~1000nitの範囲では、よりよい画質を実現できる。
また、図5に示すように、コード値が400未満の領域では、BT.1886のOETFと、BBCのOETFのLmax4およびLmax8とは、ほとんど同じコード値である。つまり、ハイブリッド型のOETFは、SDRTV使用時であっても、低輝度領域における画質を維持できる。
図6Aは、PQのOETFを用いて輝度値が量子化されたHDRストリームをHDRTVおよびSDRTVに送信/配信する場合を説明するための図である。図6Bは、ハイブリッド型のOETFを用いて輝度値が量子化されたHDRストリームをHDRTVおよびSDRTVに送信/配信する場合を説明するための図である。
図6Aに示すように、HDRストリームの生成にPQのOETFを用いた場合には、BDの再生時に、ユーザは、テレビの種類(つまり、SDRTVかHDRTVか)に応じてSDRディスクまたはHDRディスクを選択する必要がある。一方で、図6Bに示すように、HDRストリームの生成にハイブリッド型のOETFを用いた場合には、ユーザは、テレビの種類(つまり、SDRTVかHDRTVか)を知る必要はなく、単にハイブリッド型のOETFにより生成されたHDRストリーム(ハイブリッド型ストリーム)が記録されているHDRディスクを再生に使えばよい。
同様に、映像ストリームのネット配信を行う、いわゆるOTTサービスでは、ハイブリッド型のOETFを用いて量子化されたハイブリッド型ストリームを配信することは、ユーザの混乱を回避できる。
次に、OTTサービスについて説明する。
図7は、OTTサービスからのSDRストリームおよびHDRストリームがTVに提供される場合について説明するための図である。図8は、OTTサービスからのSDRストリームおよびHDRストリームがBlu-ray機器またはOTT STB(set top box)を介してTVに提供される場合について説明するための図である。なお、図7では、SDRTVを4K/UHDTVと表記しており、HDRTVを4K/UHDTV+HDRと表記している。また、図8では、SDRTVを4KTVと表記しており、HDRTVをNext generation 4KTVと表記している。
図7に示すように、OTTサービス提供者がSDRストリームおよびHDRストリームの2つの映像ストリームを用意している場合、OTTサービス提供者は、OTTサービスに接続されたTVがHDRTVであるか否かを判定し、TVがHDRTVの場合は、HDRストリームのみを提供する。また、TVがHDRTVの場合は、HDRストリームおよびSDRストリームのいずれかをユーザに選択させるためのメニューを提供してもよい。後者の場合には、OTTサービス提供者は、メニューをHDRTVに表示させるためのプログラムを提供し、ユーザによりHDRストリームまたはSDRストリームの選択がなされた場合には、選択された映像ストリームを当該HDRTVに提供する。
一方で、OTTサービス提供者は、OTTサービスに接続されたTVがSDRTVの場合は、上述したメニューの提供を行わずに、SDRストリームを提供する。これにより、OTTサービス提供者は、ユーザからHDRサービスの存在を隠すことができる。
これにより、ユーザは、自分が所有しているTVの種類(属性)やコンテンツの種類を意識することなく、TVの種類(属性)に応じた適切なコンテンツを楽しむことができる。図7の場合では、HDRの静的メタデータの処理以外の符号化/配信システムに差はない。
次に、OTTサービスからのSDRストリームおよびHDRストリームがTVに提供される場合に行われる処理について説明する。
SDRストリームがOTTサービス提供者から提供される場合には、SDRストリームは、SDRTVまたはHDRTVのビデオデコーダにおいてデコードされ、デコードされた映像がディスプレイパネルに表示される。
HDRストリームがOTTサービス提供者から提供される場合には、HDRストリームは、HDRTVのビデオデコーダにおいてデコードされる。そして、デコードされることにより得られた映像信号に対してHDRカラーマッピングが行われ、ディスプレイパネルに出力することで、映像をディスプレイパネルに表示する。
また、図8に示すように、OTTサービスからのSDRストリームおよびHDRストリームがBlu-ray機器(またはOTT STB)を介してTVに提供される場合、Blu-ray機器は、OTTサービスソフト上において、接続されているTVの属性(HDRTV/SDRTV)をHDMI経由で取得し、取得したTVの属性を「接続TVのHDR/SDR判定フラグ」に格納する。Blu-ray機器は、上記フラグをOTTサービスのサーバに送り、図7で示したTVへの直接サービスと同様のコンテンツ選択を実現してもよい。
図9は、OTTサービスからのハイブリッド型ストリームがTVに提供される場合について説明するための図である。図10は、OTTサービスからのハイブリッド型ストリームがBlu-ray機器またはOTT STB(set top box)を介してTVに提供される場合について説明するための図である。
OTTサービス提供者は、ユーザがPQコンテンツ(つまり、PQのOETFにより量子化されることにより得られたHDRストリーム)を見たいと考えた場合は、OTTサービスに接続されたTVがHDRTVであるか否かを判定する必要がある。しかし、視聴したいコンテンツがハイブリッド型コンテンツ(つまり、ハイブリッド型のOETFにより量子化されることにより得られたHDRストリーム)の場合は、HDRおよびSDRの区別を提示する必要や、映像ストリームを提供する対象となるTVのHDR/SDR属性を確認する必要がなくなる。つまり、図9に示すように、OTTサービス提供者は、ハイブリッド型ストリームをTVの種別にかかわらず、提供する。
ただし、ハイブリッド型コンテンツであっても、SDRTVで視聴するより、HDRTVで視聴する方が、よりコンテンツ制作者の意図にあったコンテンツを視聴できる。このため、OTTサービス側が、SDRTVを認識した場合は、ハイブリッド型コンテンツであっても、HDRコンテンツであり、HDRTVで見た方が良い等の注意喚起の表示を出す機能をOTTソフトモジュールに実装してもよい。
なお、図9の場合においても、HDRの静的メタデータの処理以外の符号化/配信システムに差はない。
次に、OTTサービスからのハイブリッド型ストリームがTVに提供される場合に行われる処理について説明する。
ハイブリッド型ストリームがOTTサービス提供者から提供される場合には、ハイブリッド型ストリームは、SDRTVに提供された場合、SDRTVのビデオデコーダによりデコードされる。デコードされることにより得られた映像信号は、SDR対応の映像信号としてSDRTVに出力される。SDRTVでは、HDMIを介して受信した映像信号に基づいて生成した映像をディスプレイパネルに表示する。
HDRTVにハイブリッド型ストリームが提供された場合、HDRTVのビデオデコーダによりデコードされる。デコードされることにより得られた映像信号は、HDRカラーマッピングが行われ、ディスプレイパネルに出力されることで、映像がディスプレイパネルに表示される。
また、図10に示すように、OTTサービスからのハイブリッド型ストリームがBlu-ray機器(またはOTT STB)を介してTVに提供される場合、Blu-ray機器は、OTTサービスソフト上において、接続されているTVの属性(HDRTV/SDRTV)をHDMI経由で取得し、取得したTVの属性を「接続TVのHDR/SDR判定フラグ」に格納する。しかし、Blu-ray機器は、上記フラグをOTTサービスのサーバに送る必要はない。このため、ユーザが見たいコンテンツがハイブリッド型ストリームかPQストリームかの判定を行い、これにより挙動を変えてもよい。
以上、説明したように、Blu-ray機器などの再生装置は、接続されている表示装置がSDRTVである場合に、入力された映像ストリームが、ハイブリッド型のOETFに基づいて、量子化されているか否かを判定し、当該映像ストリームがハイブリッド型のOETFに基づいて量子化されていると判定した場合(図2、図6B、図9または図10の場合)は、当該映像ストリームに対して、HDRからSDRに変換する輝度変換を行わずに、当該映像ストリームの再生を行うことで得られた第1の再生信号を出力し、当該映像ストリームがハイブリッド型のOETFに基づいて量子化されていないと判定した場合(図1、図6A、図7または図8の場合)は、当該映像ストリームに対して輝度変換および再生を行うことにより得られた第2の再生信号を出力する。なお、入力された映像ストリームは、BDを読み取ることにより得られた映像ストリームであってもよいし、OTTサービス提供者から取得した映像ストリームであってもよい。
これにより、再生しようとしている映像ストリームの種別に関わらず、ユーザは、再生しようとしている映像ストリームがハイブリッド型のHDRストリームであるのか、PQのHDRストリームであるのかを意識せずに、TVに映像ストリームを表示させることができる。また、表示しようとしているTVの種別がSDRTVなのかHDRTVなのかを意識しなくても、再生しようとしている映像ストリームをTVに表示させることができる。このため、ユーザは、表示装置に適切に映像を表示させることができる。
次に、次世代Blu-ray用のHDRの概要について説明する。
図11は、次世代Blu-ray用のHDRの概要について説明するための図である。
オープンベースのHDR技術を必須(mandatory)として使用することで、4K/UHDTVおよび4K/UHDブルーレイのHDR機能のサポートのためには、大きな変更を必要とせず、開発が容易である。また、主要なTVのメーカは、独自の技術を使用することにより、HDRTVを開発できる。
一方で、コンテンツ制作者の懸念事項としては、HDRTVのHDR画質(図11の矢印1が示す処理の結果)と、ブルーレイプレイヤーのHDRからSDRへの変換後の画質(図11の矢印2が示す処理の結果)とがある。
図12は、オープンベースのHDR技術の一例について説明するための図である。
図12に示すように、BDを再生することにより得られたHDRストリームを出力した場合、HDRの画質(ハイエンドコンシューマ4K/UHD TV)としては、ピーク輝度が約300~500nit(X[nit])であるHDR画像1と、ピーク輝度が約600~1000nit(Y[nit])であるHDR画像2とがある。
図13は、オープンベースのHDR技術の他の一例について説明するための図である。
図13に示すように、BDを再生することにより得られたHDRストリームを出力した場合、HDRからSDRへの変換後の画質(ハイエンドコンシューマHDTV)としては、リニアベースとガンマベースとがある。
図14は、HDRマスターの仕様例(Mandatory part)を示す表である。
図14に示すように、HDRマスターの仕様例では、色域(Color space)は、YCbCr BT.2020(non constant luminance)である。階調(Bits)は、10bitsである。EOTFは、SMPTE 2084 EOTF(10bits)である。静的メタデータの最大/最小輝度(Max/Min Luminance(static))は、Mastering display color volume SEI message of HEVC(MPEG adoption of SMPTE2086 carriage), Title by Titleである。
TVにおけるHDRカラーマッピングの実現方法の一例としては、ピーク輝度が1000nitとし、追加EOTF(装置は必須、ディスクはオプション)として、ハイブリッド型のEOTFを追加する。これにより、ハイブリッド型のEOTFのケースでは、CP(Contents Provider)はSDRストリームを追加する必要がない。
図15は、各種BDと、各種表示装置とに対応してBlu-ray機器が行う処理内容の他の一例を示す模式図である。
HDRコンテンツ用にハイブリッド型のEOTFを使用する場合を考える。
コンテンツ制作時には、図15に示すように、Blu-ray機器においてHDRからSDRへの輝度変換を行わないため、ブルーレイ装置におけるHDRからSDRへの変換の画質について心配する必要はない。ただし、色空間の変換(BT.2020からBT.709への変換)は、まだHDRストリームのために必要とされる。解像度のダウンコンバージョン(4K/UHDからHDへの変換)は、まだ4K/UHDストリームのために必要とされる。
コンテンツ制作時には、HDRディスクにSDRストリームを準備する必要はない。コンテンツ制作時に、ユーザがSDR TVを使っていたとしてもHDR画質をチェックできる。
図16は、我々が提案するHDRマスターの仕様(Mandatory part)を示す表である。
図16に示すように、HDRマスターの仕様では、色域(Color space)は、YCbCr BT.2020(non constant luminance)である。階調(Bits)は、10bitsである。EOTFは、SMPTE 2084 EOTF(10bits)およびBBC(Lmax8)である。ピーク輝度は、1000nit(オプションとして4000nit)である。静的メタデータは、最大/最小輝度(Max/Min Luminance(static))、および、HEVC規格におけるMastering display color volume SEI message(MPEG adoption of SMPTE2086 carriage)を含む。静的メタデータはタイトル単位で固定である。また、動的メタデータは使用しない。
図17は、各種BDと、各種表示装置とに対応してBlu-ray機器が行う処理内容の他の一例を示す模式図である。図17に示すように、Blu-ray機器とHDRTVまたはSDRTVはHDMIにより接続されていてもよい。
(参考情報)
図18は、SDRTVでの輝度変換について説明するグラフである。図18の(a)は、HDRストリームのダイナミックレンジをピーク輝度が100nitのSDRに変換する変換処理を示す図である。図18の(b)は、HDRストリームのダイナミックレンジをピーク輝度が300nitのSDRTVが表示可能な輝度範囲に変換する変換処理を示す図である。
SDRTVは、100ピーク輝度を超える画像の再生能力を有する(例えば、ディスプレイピーク輝度は200~300nit)ものがある。このため、このようなSDRTVでは、TVの表示能力を用いることで、図18の(a)に示す輝度変換ではなく図18の(b)に示すような輝度変換を行うことでBT.709(100nitピーク)より明るい画像(例えば300nitピーク)を再生できる。つまり、各SDRTVは、独自の画像再生および強化アルゴリズムを有する。
具体的には、SDRTVは、図18に示すように、リニアな信号(HDRの輝度値)を、TVが表示可能な輝度に合わせて、HDRストリームのダイナミックレンジを変換する輝度変換を行う。この輝度変換では、HDRの輝度値(入力輝度値)を、ディスプレイピーク輝度(DPL)を超えないディスプレイ輝度値(出力輝度値)に変換する。DPLは、SDRTVのピーク輝度(例えば300nit)である。
ここで、Knee pointおよびClip pointは、EOTFにおけるコード値に対応する輝度値と、表示装置において表示する輝度値との特性が変化する点を示す。具体的には、Knee pointおよびClip pointは、EOTFにより示される映像信号の輝度に対する、実際に表示する輝度値の増分を、1対1とは異なる値とする変化点を示す。例えば、Knee pointは、EOTFにおいて線形変化からはずれる点を特定するための情報である。また、Clip pointは、表示の際に輝度値のクリップが開始される点を示す。ここでクリップとは、ある値以上の入力輝度値を同一の出力輝度値に変換することである。
図19は、HDRTVでの輝度変換について説明するグラフである。図19の(a)は、HDRマスターのダイナミックレンジをピーク輝度が4000nitのHDRの輝度範囲に変換する変換処理を示す図である。図19の(b)は、HDRマスターのダイナミックレンジをピーク輝度が例えば1000nitのHDRTVが表示可能な輝度範囲に変換する変換処理を示す図である。
HDRマスターは、HDマスター(SDRマスター)よりも巨大なヘッドルーム(高輝度領域:例えば4000nitなどの100nitを超える輝度領域)を有することができる。HDRTVは、高いディスプレイピーク輝度(例えば1000nit)を有してもよいが、HDRマスターのピーク輝度は、HDRTVのディスプレイピーク輝度よりもさらに高い。HDRTVは、HDRTVの能力を使用することでHDRコンテンツ(4000nitピーク)未満のHDR画像(例えば1000nitピーク)を再生することができる。各HDRTVは、独自の画像再生および強化アルゴリズムを有する。
具体的には、HDRTVは、図19に示すように、リニアな信号(HDRマスターの輝度値)を、TVが表示可能な輝度に合わせて、HDRストリームのダイナミックレンジを変換する輝度変換を行う。この輝度変換では、HDRの輝度値(入力輝度値)を、ディスプレイピーク輝度(DPL)を超えないディスプレイ輝度値(出力輝度値)に変換する。DPLは、HDRTVのピーク輝度(例えば1000nit)である。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
以上、本開示の一つまたは複数の態様に係る表示方法および表示装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、異なる実施の形態における構成要素を組み合わせて構築される形態なども、本開示の一つまたは複数の態様の範囲内に含まれてもよい。