JP6928885B2 - 表示装置、表示方法及びコンピュータプログラム - Google Patents

表示装置、表示方法及びコンピュータプログラム Download PDF

Info

Publication number
JP6928885B2
JP6928885B2 JP2020022117A JP2020022117A JP6928885B2 JP 6928885 B2 JP6928885 B2 JP 6928885B2 JP 2020022117 A JP2020022117 A JP 2020022117A JP 2020022117 A JP2020022117 A JP 2020022117A JP 6928885 B2 JP6928885 B2 JP 6928885B2
Authority
JP
Japan
Prior art keywords
hdr
display
metadata
luminance
sdr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020022117A
Other languages
English (en)
Other versions
JP2020092444A (ja
Inventor
遠間 正真
正真 遠間
小塚 雅之
雅之 小塚
西 孝啓
孝啓 西
健吾 寺田
健吾 寺田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2017093419A external-priority patent/JP6671022B2/ja
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JP2020092444A publication Critical patent/JP2020092444A/ja
Application granted granted Critical
Publication of JP6928885B2 publication Critical patent/JP6928885B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本開示は、データ出力装置、データ出力方法、表示装置及び表示方法に関する。
従来、表示可能な輝度レベルを改善するための画像信号処理装置が開示されている(例えば特許文献1参照)。
特開2008−167418号公報
本開示の一態様に係る表示装置は、映像信号に対応する映像ストリームと、メタデータと、を再生装置から取得する取得部と、前記メタデータに基づいて前記映像信号の表示方法を決定する制御部と、前記表示方法に基づき前記映像信号を表示する表示部と、を有し、前記メタデータは、前記映像信号の輝度に関する属性情報である特性データを含み、前記特性データは、前記映像信号のマスタリング特性を示す
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
図1は、映像技術の進化について説明するための図である。 図2は、HDR導入時のマスター、配信方式、および表示装置の関係について説明するための図である。 図3は、コンテンツに格納される輝度信号のコード値の決定方法、および、再生時にコード値から輝度値を復元するプロセスの説明図である。 図4は、HDRメタデータの例を示す図である。 図5は、静的HDRメタデータの格納例を示す図である。 図6は、動的HDRメタデータの格納例を示す図である。 図7は、静的HDRメタデータの伝送方法のフローチャートである。 図8は、HDRメタデータの処理方法のフローチャートである。 図9は、データ出力装置の構成を示すブロック図である。 図10は、HDRメタデータを格納するSEIメッセージのデータ構造例を示す図である。 図11は、HDRメタデータを格納するSEIメッセージのデータ構造例を示す図である。 図12は、ユーザーガイダンスの表示方法の例を示す図である。 図13は、ユーザーガイダンスの表示方法の例を示す図である。 図14は、ユーザーガイダンスの表示方法の例を示す図である。 図15は、ユーザーガイダンスの表示方法の例を示す図である。 図16は、デュアルディスクの再生動作について説明するための図である。 図17は、デュアルディスクの再生動作を示すフローチャートである。 図18は、BDの種類を示す図である。 図19は、BDの種類をさらに詳細に示す図である。 図20は、BDに記録されるデータ容量を示す第1の図である。 図21は、BDに記録されるデータ容量を示す第2の図である。 図22は、BD及びデュアルストリームディスクの各ディスクに記録された、ビデオストリームとグラフィックストリームとの組み合わせの一例を示す図である。 図23は、BD及びデュアルストリームディスクの各ディスクに記録された、ビデオストリームとグラフィックストリームとの組み合わせの別の例を示す図である。 図24は、図26は、BD及びデュアルストリームディスクの各ディスクに記録された、ビデオストリームとグラフィックストリームとの組み合わせのさらに別の例を示す図である。 図25Aは、HDRTV内で、HDR信号を変換してHDR表示を行う表示処理の一例を示す図である。 図25Bは、HDR対応の再生装置とSDRTVとを用いてHDR表示を行う表示処理の一例を示す図である。 図25Cは、標準インターフェースを介して互いに接続したHDR対応の再生装置とSDRTVとをHDR表示を行う表示処理の一例を示す図である。 図26は、HDRから疑似HDRへの変換処理について説明するための図である。 図27Aは、HDRおよびSDRのそれぞれに対応したEOTF(Electro−Optical Transfer Function)の例について示す図である。 図27Bは、HDRおよびSDRのそれぞれに対応した逆EOTFの例について示す図である。 図28は、実施の形態の変換装置および表示装置の構成を示すブロック図である。 図29は、実施の形態の変換装置および表示装置により行われる変換方法および表示方法を示すフローチャートである。 図30Aは、第1輝度変換について説明するための図である。 図30Bは、第1輝度変換の他の一例について説明するための図である。 図31は、第2輝度変換について説明するための図である。 図32は、第3輝度変換について説明するための図である。 図33は、表示設定の詳細な処理を示すフローチャートである。
本開示の一態様に係るデータ出力装置は、映像ストリームを復号することで第1輝度範囲の第1映像信号を生成する復号部と、前記第1映像信号の輝度範囲に関する第1メタデータを取得する取得部と、前記第1メタデータを解釈することで、前記第1映像信号の輝度範囲を示す特性データを取得する解釈部と、前記特性データを、所定の伝送プロトコルに従った制御情報に変換する制御情報生成部と、前記制御情報を前記伝送プロトコルで出力する出力部とを備える。
これによれば、当該データ出力装置は、メタデータに含まれる特性データに基づき、制御情報を生成できる。
例えば、前記解釈部は、さらに、前記第1メタデータを解釈することで、前記第1映像信号の輝度範囲を変換するための変換補助データを取得し、前記データ出力装置は、さらに、前記変換補助データに基づいて、前記第1映像信号の輝度範囲を変換することで前記第1輝度範囲より狭い第2輝度範囲の第2映像信号を生成する変換部を備え、前記出力部は、さらに、前記第1映像信号及び前記第2映像信号の少なくとも一方を前記伝送プロトコルで出力してもよい。
これによれば、当該データ出力装置は、メタデータに含まれる変換補助データを用いて第1映像信号の輝度範囲を変更できる。
例えば、前記復号部は、さらに、前記映像ストリームから前記第1映像信号の輝度範囲に関する第2メタデータを取得し、前記第1メタデータ又は前記第2メタデータは、映像信号の連続再生単位に含まれる複数の画像に対して共通に用いられ、前記特性データを含む静的メタデータを含み、前記制御情報生成部は、前記静的メタデータに含まれる前記特性データを、前記伝送プロトコルに従った前記制御情報に変換し、前記出力部は、前記第1映像信号を出力する場合、前記静的メタデータに基づく前記制御情報を出力してもよい。
例えば、前記第1メタデータ又は前記第2メタデータは、さらに、映像信号の連続再生単位より細かい単位に対して共通に用いられ、前記特性データを含む動的メタデータを含み、前記制御情報生成部は、前記静的メタデータに含まれる前記特性データ及び前記動的メタデータに含まれる前記特性データを、前記伝送プロトコルに従った前記制御情報に変換し、前記出力部は、前記第1映像信号を出力する場合、前記静的メタデータ及び前記動的メタデータに基づく前記制御情報を出力してもよい。
例えば、前記復号部は、さらに、前記映像ストリームから前記第1映像信号の輝度範囲に関する第2メタデータを取得し、前記解釈部は、前記第1メタデータ及び前記第2メタデータの少なくとも一方を解析することで前記特性データ及び前記変換補助データを取得してもよい。
例えば、前記第1メタデータ及び前記第2メタデータは、前記第1映像信号の連続再生単位に含まれる複数の画像に対して共通に用いられる静的メタデータであり、前記解釈部は、前記第1メタデータ及び前記第2メタデータを共に取得した場合、前記第1メタデータを解析することで前記特性データ及び前記変換補助データを取得してもよい。
例えば、前記第1メタデータ及び前記第2メタデータは、前記第1映像信号の連続再生単位に含まれる複数の画像に対して共通に用いられる静的メタデータであり、前記解釈部は、前記第1メタデータ及び前記第2メタデータのうち前記第1メタデータのみが取得された場合、前記第1メタデータを解析することで前記特性データ及び前記変換補助データを取得し、前記第2メタデータが取得された場合、使用するメタデータを前記第1メタデータから前記第2メタデータに切り替えてもよい。
例えば、前記出力部は、前記データ出力装置に接続されている表示装置が前記第1映像信号の輝度範囲の映像出力に対応している場合、前記第1映像信号及び前記制御情報を前記表示装置へ出力してもよい。
例えば、前記出力部は、前記表示装置が前記第1映像信号の輝度範囲の映像出力に対応していか否かを、前記伝送プロトコルの初期化処理において判定してもよい。
例えば、前記出力部は、前記第1メタデータが有効になる第2映像信号と同期して前記制御情報を出力してもよい。
例えば、前記第1メタデータは、当該第1メタデータの種別を示すタイプ情報を含み、前記解釈部は、前記タイプ情報を用いて、前記データ出力装置が当該第1メタデータを解釈可能であるかを判定し、前記データ出力装置が当該第1メタデータを解釈可能である場合、当該第1メタデータを解釈することで前記特性データ及び前記変換補助データを取得してもよい。
例えば、前記第1メタデータは、HEVC(High Efficiency Video Coding)のSEI(Supplemental Enhancement Information)メッセージに格納されており、前記SEIメッセージは、当該SEIメッセージにメタデータが含まれるか否かを示す識別情報を含み、前記出力部は、当該SEIメッセージにメタデータが含まれることを示す前記識別情報を含むSEIメッセージが取得され、かつ、データ出力先の表示装置が前記制御情報の入力に対応している場合には、前記SEIメッセージを前記伝送プロトコルに従ってそのまま出力してもよい。
例えば、前記出力部は、前記表示装置が前記第1映像信号の輝度範囲の映像出力に対応していない場合、前記第2映像信号及び前記制御情報を前記表示装置へ出力するとともに、前記第1輝度範囲から前記第2輝度範囲に変換された前記第2映像信号が表示される旨を前記表示装置に表示させてもよい。
例えば、前記出力部は、前記表示装置が前記第1映像信号の輝度範囲の映像出力に対応していない場合、前記第1輝度範囲から前記第2輝度範囲に変換された前記第2映像信号を表示させるかどうかを、ユーザが選択するためのメッセージを前記表示装置に表示させてもよい。
例えば、前記出力部は、前記表示装置が前記第1映像信号の輝度範囲の映像出力に対応していない場合、前記第1輝度範囲を前記第2輝度範囲に変換するための複数の変換方式のうちいずれかを、ユーザが選択するためのメッセージを前記表示装置に表示させてもよい。
また、本開示の一態様に係るデータ出力方法は、データ出力装置が行うデータ出力方法であって、映像ストリームを復号することで第1輝度範囲の第1映像信号を生成する復号ステップと、前記第1映像信号の輝度範囲に関する第1メタデータを取得する取得ステップと、前記第1メタデータを解釈することで、前記第1映像信号の輝度範囲を示す特性データを取得する解釈ステップと、前記特性データを、所定の伝送プロトコルに従った制御情報に変換する制御情報生成ステップと、前記制御情報を前記伝送プロトコルで出力する出力ステップとを含む。
これによれば、当該データ出力方法は、メタデータに含まれる特性データに基づき、制御情報を生成できる。
また、本開示の一態様に係るデータ生成方法は、データ生成装置が行うデータ生成方法であって、映像信号の輝度範囲に関するメタデータを生成する第1生成ステップと、前記映像信号と前記メタデータとを含む映像ストリームを生成する第2生成ステップとを含み、前記メタデータは、前記映像信号の輝度範囲を示す特性データを含む。
これによれば、当該データ生成方法は、特性データを含むメタデータを含む映像ストリームを生成できる。これにより、例えば、データ出力装置において、メタデータに含まれる特性データに基づき、制御情報を生成できる。
例えば、前記メタデータは、解釈が必須である基本部と、解釈が任意である拡張部とを含んでもよい。
例えば、前記メタデータは、ペイロードと、前記ペイロードのデータが基本部であるか拡張部であるかを示す情報と、前記ペイロードのデータサイズを示す情報とを含んでもよい。
例えば、前記メタデータは、HEVC(High Efficiency Video Coding)のSEI(Supplemental Enhancement Information)メッセージに格納され、前記SEIメッセージは、当該SEIメッセージにメタデータが含まれるか否かを示す識別情報を含んでもよい。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
また、上記特徴に関しては、主に、[8.データ出力装置]〜[14.ユーザーガイダンス表示方法5]において説明する。
また、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素。構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態)
[1.背景]
従来の画像信号より輝度範囲が高い画像信号であるHDR(High Dynamic Range)信号は、HDR信号を格納したBlu−ray(登録商標)ディスク等のパッケージメディア、放送、又はOTT(Over The Top)等の配信媒体経由で配信される。ここで、OTTとは、インターネット上で提供されるWebサイト、動画或いは音声などのコンテンツ或いはサービス、又はそれらを提供する事業者を意味する。配信されたHDR信号は、Blu−ray(登録商標)機器等により復号される。また、復号されたHDR信号は、HDR対応表示装置(TV、プロジェクタ、タブレット、又はスマートフォン等)に送られ、HDR対応表示装置によりHDR映像が再生される。
HDR技術はまだ初期段階であり、最初に導入したHDR技術が採用された後に、新たなHDR方式が開発されることが想定される。この場合、新たに作成されたHDR方式のHDR信号(及びメタデータ)をHDR配信媒体に格納することにより新規HDR方式を採用できる。本開示では、新たなHDR信号形式(メタデータ)を格納した配信媒体に対して、元の配信媒体用に設計された復号装置(例えばBlu−ray(登録商標)機器)を変えることなく、元の技術でのHDR再生は保証することで互換性を保持し、新たな方式に対応したHDR復号装置(例えばBlu−ray(登録商標)機器)では新たなHDR方式の処理に対応することが可能にする方法及び装置を実現する。
まず、映像技術の変遷について、図1を用いて説明する。図1は、映像技術の進化について説明するための図である。
これまで、映像の高画質化としては、表示画素数の拡大に主眼がおかれ、Standard Definition(SD)の720×480画素の映像から、High Definition(HD)の1920×1080画素の、所謂2K映像が普及している。
近年、映像の更なる高画質化を目指して、Ultra High Definition(UHD)の3840×1920画素、あるいは、4Kの4096×1920画素の、所謂4K映像の導入が開始された。
そして、4Kの導入による映像の高解像度化を行うと共に、ダイナミックレンジ拡張や色域の拡大、あるいは、フレームレートの追加、向上などを行うことで映像を高画質化することが検討されている。
その中でも、ダイナミックレンジについては、従来の映像における暗部階調を維持しつつ、現行のTV信号では表現不能な鏡面反射光などの明るい光を、より現実に近い明るさで表現するために最大輝度値を拡大した輝度範囲に対応させた方式として、HDR(High Dynamic Range)が注目されている。具体的には、これまでのTV信号が対応している輝度範囲の方式は、SDR(Standard Dynamic Range)と呼ばれ、最大輝度値が100nitであったのに対して、HDRでは1000nit以上まで最大輝度値を拡大することが想定されている。HDRは、SMPTE(Society of Motion Picture & Television Engineers)やITU−R(International Telecommunications Union Radiocommunications Sector)などにおいて、標準化が進行中である。
HDRの具体的な適用先としては、HDやUHDと同様に、放送やパッケージメディア(Blu−ray(登録商標) Disc等)、インターネット配信などで使われることが想定されている。
なお、以下では、HDRに対応した映像において、当該映像の輝度は、HDRの輝度範囲の輝度値からなり、当該映像の輝度値が量子化されることで得られた輝度信号をHDR信号と呼ぶ。SDRに対応した映像において、当該映像の輝度は、SDRの輝度範囲の輝度値からなり、当該映像の輝度値が量子化されることで得られた輝度信号をSDR信号と呼ぶ。
[2.HDR導入時のマスター、配信方式、および表示装置の関係]
図2は、SDRとHDRのホームエンターテイメント用マスターを制作するフローと、配信媒体及び表示装置の関係を示す図である。
HDRのコンセプトは提案されており、HDRのコンセプトレベルでの有効性は確認されている。また、HDRの最初の実施方法が提案されている。ただし、この方法を使ってHDRコンテンツが大量に作られ、最初の実施方法の実証が行われたわけではない。このため、今後HDRコンテンツの制作が本格化した場合、現状のHDRの制作方式、特にメタデータが変わる可能性がある。
[3.EOTFの使い方]
図3は、コンテンツに格納される輝度信号のコード値の決定方法、および、再生時にコード値から輝度値を復元するプロセスの説明図である。
本例における輝度を示す輝度信号はHDRに対応したHDR信号である。グレーディング後の画像は、HDRの逆EOTFにより量子化され、当該画像の輝度値に対応するコード値が決定する。このコード値に基づいて画像符号化などが行われ、ビデオのストリームが生成される。再生時には、ストリームの復号結果に対して、HDRのEOTFに基づいて逆量子化することによりリニアな信号に変換され、画素毎の輝度値が復元される。以下、HDRの逆EOTFを用いた量子化を「逆HDRのEOTF変換」という。HDRのEOTFを用いた逆量子化を「HDRのEOTF変換」という。同様に、SDRの逆EOTFを用いた量子化を「逆SDRのEOTF変換」という。SDRのEOTFを用いた逆量子化を「SDRのEOTF変換」という。
この輝度値とメタデータを使って、映像変換処理部で、映像表示部で表示できる輝度値に変換することで、映像表示部でHDR映像を表示することができる。例えば、元のHDR映像のピーク輝度が2000nitであり、映像表示部のピーク輝度が800nitの場合、変換を行って輝度を下げることができる。
このように、HDRマスターの方式は、EOTF及びメタデータとHDR信号との組み合わせにより実現されている。よって、より効率的なEOTF及びメタデータが開発され、そのようなEOTF及びメタデータを用いたHDR方式を採用すべき時が来る可能性がある。
但し、この新たな方式がどのようなものになるかは、現時点では解らないが、EOTFが変更される可能性とメタデータが追加される可能性とは想像できる。この場合、HDR信号自体も変わる。
本開示は、このようにHDRの伝送フォーマットが変更された場合でも、HDR対応機器を買ったお客様が新たな機器を買いなおすリスクを下げることで、HDRの普及を図ることを目指している。
[4.メタデータ]
図4は、HDRメタデータの例を示す図である。HDRメタデータは、映像信号の輝度範囲の変更(DR変換)に用いられる変換補助情報と、HDR制御情報とを含む。各情報は、例えばタイトル単位で設けられる静的HDRメタデータと、例えばフレーム単位で設けられる動的HDRメタデータとのいずれかである。また、静的HDRメタデータは、必須メタデータ(基本データ)と、選択メタデータ(拡張データ)とのいずれかに分類され、動的HDRメタデータは、選択メタデータに分類される。なお、各情報の詳細は後述する。
[5.HDRメタデータ]
HDRコンテンツにおけるマスタリング時の特性を示すパラメータとしては、タイトル毎又はプレイリスト毎に固定である静的HDRメタデータと、シーン毎に可変である動的HDRメタデータとが存在する。ここで、タイトル及びプレイリストは、連続して再生される映像信号を示す情報である。以降、連続して再生される映像信号を連続再生単位と呼ぶ。
例えば、静的HDRメタデータは、EOTF関数(カーブ)の種類、18%Gray値、Diffuse White値、Knee point、及びClip pointの少なくとも一つを含む。EOTFは、複数の輝度値と複数のコード値とを関係付けた情報であり、映像信号の輝度範囲を変更するための情報である。その他の情報は、映像信号の輝度に関する属性情報であることから、静的HDRメタデータは、映像信号の輝度範囲に関する情報であり、映像信号の輝度範囲を特定するための情報と言える。
具体的には、18%Gray値及びDiffuse White値は、予め定められた基準となる明るさの映像における輝度値(nit)を示し、言い換えると、映像における基準の明るさを示す。より具体的には、18%Gray値は、マスタリング前において18nitの明るさの物体のマスタリング後の輝度値(nit)を示す。Diffuse White値は、白色に相当する輝度値(nit)を示す。
また、Knee point及びClip pointは、EOTF関数のパラメータであり、EOTFにおける特性が変化する点を示す。具体的には、Knee pointは、撮影時のオリジナルの輝度値(入力輝度)の増分に対する、映像信号の輝度としてEOTFにマッピングされる輝度値(出力輝度)の増分を、1対1とは異なる値とする変化点を示す。例えば、Knee pointは、後述する図30Aにおいて、線形変化からはずれる点を特定するための情報である。また、Clip pointは、EOTF関数においてクリップが開始される点を示す。ここでクリップとは、ある値以上の入力輝度値を同一の出力輝度値に変換することである。例えば、Clip pointは、後述する図30Bにおいて、出力輝度値が変化しなくなる点を示す。
また、EOTF関数(カーブ)の種類とは、例えば、図27Aに示すHDRのEOTF及びSDRのEOTFである。
このように、本実施の形態に係るコンテンツデータ生成方法は、コンテンツデータを生成するコンテンツデータ生成方法であって、映像信号と、映像信号の連続再生単位に含まれる複数の画像(連続再生単位を構成する映像信号)に対して共通に用いられる情報であって、映像信号の輝度範囲に関する情報を含む静的HDRメタデータ(第1メタデータ)とを生成する第1生成ステップと、連続再生単位と静的HDRメタデータとを関連付けることによりコンテンツデータを生成する第2生成ステップを含む。例えば、映像信号の輝度範囲に関する情報とは、映像信号の輝度範囲を変換するための情報である。
また、静的HDRメタデータは、複数の輝度値と複数のコード値とを関係付けたEOTFを特定するための情報を含む。また、映像信号における輝度値は、コード値として符号化される。
また、静的HDRメタデータは、さらに、予め定められた基準となる明るさの映像信号における輝度値を示す情報、又は、EOTFにおける特性が変化する点を示す情報を含む。例えば、静的HDRメタデータは、映像信号における白色に相当する輝度値を示す情報(Diffuse White値)を含む。
また、第1生成ステップでは、連続再生単位より細かい単位に対して共通に用いられる情報であって、映像信号の輝度範囲に関する情報である動的HDRメタデータ(第2メタデータ)をさらに生成する。例えば、映像信号の輝度範囲に関する情報とは、映像信号の輝度範囲を変換するための情報である。
動的HDRメタデータは、シーン毎に異なるマスタリング特性を示すパラメータなどである。ここでマスタリング特性とは、オリジナル(マスタリング前)の輝度と、マスタリング後の輝度との関係を示す。例えば、マスタリング特性を示すパラメータとは、上記した静的HDRメタデータと同様の情報であり、言い換えると、静的HDRメタデータに含まれる情報の少なくとも一つである。
図5は、静的HDRメタデータの格納例を示す図である。本例は、Blu−ray(登録商標)ディスクなどのパッケージメディアにおいて、静的HDRメタデータをプレイリストに格納する例である。
プレイリストから参照されるストリーム毎のメタデータの1つとして、静的HDRメタデータが格納される。この場合、静的HDRメタデータはプレイリスト単位で固定である。つまり、静的HDRメタデータは、各プレイリストに対応付けて格納される。
また、OTTでは、ストリームの取得に先立って参照されるマニフェストファイルに静的HDRメタデータが格納されてもよい。つまり、本実施の形態に係るコンテンツデータ生成方法は、映像信号を映像ストリームとして生成し、静的HDRメタデータを、映像ストリームの取得に先立って参照されるマニフェストファイルに格納してもよい。
また、放送では、ストリームの属性を示す記述子に静的HDRメタデータが格納されてもよい。つまり、本実施の形態に係るコンテンツデータ生成方法は、コンテンツデータを映像ストリームとして生成し、静的HDRメタデータを、映像ストリームの属性を示す識別子として当該映像ストリームとは独立に格納してもよい。例えば、静的HDRメタデータを、MPEG2−TSにおける記述子(デスクリプタ)として格納できる。
また、タイトル毎に静的HDRメタデータが固定である場合には、静的HDRメタデータは、タイトルの属性を示す管理情報として格納されてもよい。
図6は、動的HDRメタデータの、ビデオストリーム内への格納例を示す図である。MPEG−4 AVC又はHEVC(High Efficiency Video Coding)では、SEI(Supplemental Enhancement Information)と呼ばれるデータ構造を用いて、ストリームの再生制御に関わる情報を格納する。よって、例えば、SEIに動的HDRメタデータが格納される。
動的HDRメタデータは、シーン毎に更新されることが想定される。シーンの先頭は、GOP(Group Of Pictures)などのランダムアクセス単位の先頭のアクセスユニット(AU)である。従って、動的HDRメタデータは、ランダムアクセス単位における復号順で先頭のアクセスユニットに格納することにしてもよい。ランダムアクセス単位の先頭アクセスユニットは、IDRピクチャ、又は、SPS(Sequence Parameter Set)が付加されたnon−IDR Iピクチャなどとなる。よって、受信側の装置は、ランダムアクセス単位の先頭アクセスユニットを構成するNAL(Network Abstraction Layer)ユニットを検出することにより、動的HDRメタデータを取得できる。あるいは、動的HDRメタデータを格納するSEIに対して、固有のタイプが付与されてもよい。
なお、EOTF関数の種類について、SPSにおけるストリームの属性情報などとして格納されてもよい。つまり、本実施の形態に係るコンテンツデータ生成方法は、コンテンツデータをHEVCにより符号化した映像ストリームとして生成し、EOTFを特定するための情報を、映像ストリームに含まれるSPSに格納してもよい。
[6.静的HDRメタデータの伝送方法]
図7は、静的HDRメタデータの伝送方法を示す図であり、BDプレーヤ(Blu−ray(登録商標)機器)又はレコーダなどの再生装置においてHDMI(登録商標)などの伝送プロトコルを通じて、表示装置にHDR信号を伝送する際の動作例を示すフローチャートである。
静的HDRメタデータは、タイトル単位又はプレイリスト単位で固定であることを先に述べた。従って、再生装置は、静的HDRメタデータの設定が必要な場合(S401でYes)、タイトル又はプレイリストの再生開始時において、静的HDRメタデータをコンテンツの管理情報から取得して、取得した静的HDRメタデータをHDMI(登録商標)の制御情報として格納して伝送する。つまり、再生装置は、タイトル又はプレイリストを構成する映像信号の伝送開始に先立って、当該タイトル又はプレイリストに対応する静的HDRメタデータを取得し、取得した静的HDRメタデータをHDMI(登録商標)の制御情報として伝送する(S402)。より一般的には、再生装置は、当該再生装置と表示装置との間のHDMI(登録商標)の初期化処理を行う際に、初期化情報として静的HDRメタデータを伝送してもよい。
その後、再生装置は、静的HDRメタデータに対応するビデオストリームを伝送する(S403)。なお、このビデオストリームに対しては、伝送済みの静的HDRメタデータが有効となる。
このように、本実施の形態に係る映像ストリーム伝送方法は、映像ストリーム(ビデオストリーム)を伝送する映像ストリーム伝送方法であって、映像信号と、連続再生単位に含まれる複数の画像に対して共通に用いられる情報であって、映像信号の輝度範囲に関する静的HDRメタデータ(第1メタデータ)とを含むコンテンツデータを取得する取得ステップと、映像信号に対応する映像ストリームと、静的HDRメタデータとを伝送する伝送ステップとを含む。
例えば、伝送ステップでは、HDMI(登録商標)の通信プロトコルに従い、映像ストリームと静的HDRメタデータとを伝送する。
また、動的HDRメタデータは、ビデオストリームの一部として伝送される。
なお、再生装置は、動的HDRメタデータを、当該動的HDRメタデータが有効となるタイミングにおいてHDMI(登録商標)の制御信号として伝送してもよい。このとき、再生装置は、静的HDRメタデータと動的HDRメタデータとに識別子などを設けて互いに識別できるようにして伝送する。
また、制御信号においては、動的HDRメタデータを格納するためのコンテナのデータ構造のみ規定しておき、コンテナのペイロードデータとしてSEIの内容をそのままコピーできるようにしてもよい。これにより、SEIに含まれる動的HDRメタデータのシンタックスが更新されてもBDプレーヤ等の再生装置の実装を変更せずに対応できる。
静的HDRメタデータについても同様に、コンテンツの管理情報における静的HDRメタデータをコピーして伝送できるようにしておけば、静的HDRメタデータのシンタックスの変更に対しても、再生装置の実装を変更せずに対応可能である。つまり、静的HDRメタデータを格納するためのコンテナのデータ構造が規定されており、伝送ステップでは、コンテンツデータに含まれる静的HDRメタデータを、コンテナのペイロードにコピーし、当該コンテナを伝送してもよい。
[7.HDRメタデータの処理方法]
図8は、表示装置においてHDR信号を表示する際のHDRメタデータの処理方法の例を示すフローチャートである。まず、表示装置は、HDMI(登録商標)の制御情報から静的HDRメタデータを取得し(S411)、取得した静的HDRメタデータに基づき、HDR信号の表示方法を決定する(S412)。
なお、制御情報に静的HDRメタデータが含まれない場合には、表示装置は、アプリケーション規格において予め定められた値、又は、表示装置のデフォルト設定に基づいて、HDR信号の表示方法を決定する。つまり、本実施の形態に係る映像表示方法は、静的HDRメタデータを取得できない場合、予め定められた値又は設定に基づき、映像信号に対応する映像の表示方法を決定する。
また、表示装置は、ビデオストリーム内のSEIなどにおいて動的HDRメタデータを検出した場合(S413でYes)、動的HDRメタデータに基づいてHDR信号の表示方法を更新する(S414)。つまり、本実施の形態に係る映像表示方法は、静的HDRメタデータを取得した場合、取得した静的HDRメタデータに基づき表示方法を決定して映像を表示し、動的HDRメタデータを取得した場合、静的HDRメタデータに基づき決定した表示方法を、動的HDRメタデータに基づき決定した表示方法に更新して映像を表示する。あるいは、静的HDRメタデータと動的HDRメタデータとの両方に基づいて表示方法を決定してもよい。
なお、表示装置が、動的HDRメタデータの取得に対応していない場合には、表示装置は、静的HDRメタデータのみに基づいて動作してもよい。また、表示装置が動的HDRメタデータの取得に対応している場合でも、表示装置が、メタデータが格納されたアクセスユニットの表示時刻(PTS:Presentation Time Stamp)に同期してHDR信号の表示方法を更新できないことがある。この場合には、表示装置は、メタデータを取得後、表示方法を更新可能な最も早い時刻以降に表示されるアクセスユニットから、表示方法を更新してもよい。
なお、HDRメタデータにバージョン情報などを付与することで、パラメータの更新及び追加に対応できる。これにより、表示装置は、HDRメタデータのバージョン情報に基づいて、当該メタデータが解釈可能であるかを判定できる。あるいは、HDRメタデータは、基本部と拡張部とから構成され、パラメータの更新又は追加は拡張部の変更により対応し、基本部は更新しないことにしてもよい。つまり、静的HDRメタデータ及び動的HDRメタデータの各々は、複数のバージョンを有し、複数のバーションで共通に用いられる基本部と、バージョン毎に異なる拡張部とを含んでもよい。こうすることで、基本部のHDRメタデータに基づいて、表示装置における後方互換性を確保できる。
このように、本実施の形態に係る映像表示方法は、映像ストリームに基づき映像を表示する映像表示方法であって、映像信号に対応する映像ストリームと、静的HDRメタデータ(第1メタデータ)とを取得する取得ステップと、静的HDRメタデータに基づき、映像信号に対応する映像の表示方法を決定して表示する表示ステップとを含む。
また、映像信号における輝度値は、コード値として符号化されており、静的HDRメタデータは、複数の輝度値と複数のコード値とを関係付けたEOTFを特定するための情報を含み、表示ステップでは、静的HDRメタデータで特定されるEOTFを用いて、映像信号で示されるコード値を輝度値に変換することで映像を生成する。
[8.データ出力装置]
図9は、BDプレーヤなどのHDR信号を出力するデータ出力装置400の構成を示すブロック図である。データ出力装置400に入力されるHDRメタデータは、HDR信号のマスタリング特性を示す特性データと、HDR信号をSDR信号に変換する、又は、HDR信号のダイナミックレンジを変換する際のトーンマッピング方法を示す変換補助データとを含む。これら2種類のメタデータは、図5及び図6において説明したように、静的HDRメタデータ、又は、動的HDRメタデータとして格納される。さらに、静的HDRメタデータは、コンテンツの管理情報及び、映像ストリーム内の少なくとも一方に格納される。
データ出力装置400は、ビデオ復号部401と、外部メタ取得部402と、HDRメタ解釈部403と、HDR制御情報生成部404と、DR変換部405と、HDMI(登録商標)出力部406とを備える。
ビデオ復号部401は、ビデオの符号化ストリームである映像ストリームを復号することで映像信号(第1映像信号)を生成し、得られた映像信号をDR変換部405に出力する。また、ビデオ復号部401は、映像ストリーム内のHDRメタデータ(第2メタデータ)(静的HDRメタデータ又は動的HDRメタデータ)を取得する。具体的には、ビデオ復号部401は、MPEG−4 AVC又はHEVCのSEIメッセージなどに格納されたHDRメタデータをHDRメタ解釈部403に出力する。
外部メタ取得部402は、プレイリストなどのコンテンツの管理情報に格納された静的HDRメタデータ(第1メタデータ)を取得し、取得した静的HDRメタデータをHDRメタ解釈部403に出力する。ここで、コンテンツの管理情報に、プレイアイテムなど、ランダムアクセス可能な所定の単位において変更可能な動的HDRメタデータが格納されていてもよい。この場合、外部メタ取得部402は、コンテンツの管理情報から、動的HDRメタデータを取得し、取得した動的HDRメタデータをHDRメタ解釈部403に出力する。
HDRメタ解釈部403は、ビデオ復号部401又は外部メタ取得部402から出力されたHDRメタデータの種類を判定し、特性データをHDR制御情報生成部404に出力し、変換補助データをDR変換部405に出力する。
なお、ビデオ復号部401及び外部メタ取得部402の両方において静的HDRメタデータが取得される場合には、外部メタ取得部402から出力された静的HDRメタデータのみが有効なメタデータとして用いられてもよい。つまり、外部メタ取得部402で取得された第1メタデータ及びビデオ復号部401で取得された第2メタデータが、第1映像信号の連続再生単位に含まれる複数の画像に対して共通に用いられる静的HDRメタデータである場合において、HDRメタ解釈部403は、第1メタデータ及び第2メタデータを共に取得した場合、第1メタデータを解析することで特性データ及び変換補助データを取得する。
または、HDRメタ解釈部403は、外部メタ取得部402で静的HDRメタデータが取得された場合、当該静的HDRメタデータを有効なメタデータとして用い、さらに、ビデオ復号部401で静的HDRメタデータが取得された場合、当該静的HDRメタデータで有効なメタデータを上書きしてもよい。つまり、外部メタ取得部402で取得された第1メタデータ及びビデオ復号部401で取得された第2メタデータが、第1映像信号の連続再生単位に含まれる複数の画像に対して共通に用いられる静的HDRメタデータである場合において、HDRメタ解釈部403は、第1メタデータ及び第2メタデータのうち第1メタデータのみが取得された場合、第1メタデータを解析することで特性データ及び変換補助データを取得し、第2メタデータが取得された場合、使用するメタデータを第1メタデータから第2メタデータに切り替える。
HDR制御情報生成部404は、特性データに基づいてHDMI(登録商標)におけるHDR制御情報を生成し、生成したHDR制御情報をHDMI(登録商標)出力部406に出力する。ここで、動的HDRメタデータについては、メタデータが有効となるビデオ信号と同期して、HDR制御情報が出力できるように、HDMI(登録商標)出力部406におけるHDR制御情報の出力タイミングが決定される。つまり、HDMI(登録商標)出力部406は、メタデータが有効になるビデオ信号(映像信号)と同期してHDR制御情報を出力する。
DR変換部405は、変換補助データに基づいて、復号後の映像信号をSDR信号に変換したりダイナミックレンジを変換したりする。ここで、データ出力装置400と接続される表示装置がHDR信号の入力に対応している場合にはDR変換部405による変換は不要である。従って、データ出力装置400は、接続先の表示装置がHDR信号の入力に対応しているかどうかをHDMI(登録商標)の初期化処理などにおいて確認することで、変換処理が必要であるかどうかを判定してもよい。変換処理が不要と判定された場合には、ビデオ復号部401で得られた第1映像信号は、DR変換部405を介さずにHDMI(登録商標)出力部406に入力される。
つまり、HDMI(登録商標)出力部406は、データ出力装置400に接続されている表示装置がHDR信号(第1映像信号)の輝度範囲の映像出力に対応している場合、第1映像信号及びHDR制御情報を表示装置へ出力する。また、HDMI(登録商標)出力部406は、データ出力装置400に接続されている表示装置がHDR信号(第1映像信号)の輝度範囲の映像出力に対応していない場合、HDRをSDRに変換した第2映像信号及びHDR制御情報を表示装置へ出力する。また、HDMI(登録商標)出力部406は、表示装置がHDR信号(第1映像信号)の輝度範囲の映像出力に対応していか否かを、伝送プロトコル(例えばHDMI(登録商標))の初期化処理において判定する。
HDMI(登録商標)出力部406は、DR変換部405又はビデオ復号部401から出力された映像信号、及びHDR制御情報をHDMI(登録商標)のプロトコルに従って出力する。
なお、データ出力装置400が、放送又はOTTのコンテンツを受信して出力する場合にも、同様の構成を用いることができる。また、データ出力装置400と表示装置とが単一の機器に含まれる場合には、HDMI(登録商標)出力部406は必要ない。
また、上記説明では、データ出力装置400が管理情報等からメタデータを取得する外部メタ取得部402を備え、ビデオ復号部401が映像ストリームからメタデータを取得する機能を有しているが、データ出力装置400は、いずれか一方のみを有してもよい。
また、上記説明では、データ出力装置400がHDMI(登録商標)に従ったデータ(映像信号及びHDR制御情報)を出力する例を述べたが、データ出力装置400は任意の伝送プロトコルに従ったデータを出力すればよい。
このように、データ出力装置400は、映像ストリームを復号することで第1輝度範囲(HDR)の第1映像信号を生成する復号部(ビデオ復号部401)と、第1映像信号の輝度範囲に関する第1メタデータを取得する取得部(ビデオ復号部401及び外部メタ取得部402の少なくとも一方)と、第1メタデータを解釈することで、第1映像信号の輝度範囲を示す特性データを取得する解釈部(HDRメタ解釈部403)と、特性データを、所定の伝送プロトコル(例えばHDMI(登録商標))に従ったHDR制御情報に変換する制御情報生成部(HDR制御情報生成部404)と、HDR制御情報を所定の伝送プロトコルで出力する出力部(HDMI(登録商標)出力部406)とを備える。
これによれば、データ出力装置400は、メタデータに含まれる特性データに基づき、制御情報を生成できる。
また、解釈部(HDRメタ解釈部403)は、さらに、第1メタデータを解釈することで、第1映像信号の輝度範囲を変換するための変換補助データを取得し、データ出力装置400は、さらに、変換補助データに基づいて、第1映像信号の輝度範囲を変換することで第1映像信号の輝度範囲より狭い輝度範囲の第2映像信号を生成する変換部(DR変換部405)を備え、出力部(HDMI(登録商標)出力部406)は、さらに、第1映像信号及び第2映像信号の少なくとも一方を所定の伝送プロトコルで出力する。
これによれば、データ出力装置400は、メタデータに含まれる変換補助データを用いて第1映像信号の輝度範囲を変更できる。
また、復号部(ビデオ復号部401)は、さらに、映像ストリームから第1映像信号の輝度範囲に関する第2メタデータ(HDRメタデータ)を取得し、解釈部(HDRメタ解釈部403)は、第1メタデータ及び第2メタデータの少なくとも一方を解析することで特性データ及び変換補助データを取得する。
また、図4に示すように、静的HDRメタデータは、必須メタデータと選択メタデータとを含み、動的HDRメタデータは、選択メタデータのみを含む。つまり、静的HDRメタデータは常に用いられ、動的HDRメタデータは選択的に用いられる。このように、外部メタ取得部402で取得された第1メタデータ又はビデオ復号部401で取得された第2メタデータは、映像信号の連続再生単位に含まれる複数の画像に対して共通に用いられ、特性データを含む静的HDRメタデータ(静的メタデータ)を含む。HDR制御情報生成部404は、静的HDRメタデータに含まれる特性データを、所定の伝送プロトコルに従ったHDR制御情報に変換する。HDMI(登録商標)出力部406は、第1映像信号(HDR信号)を出力する場合、静的HDRメタデータに基づくHDR制御情報を出力する。
また、外部メタ取得部402で取得された第1メタデータ又はビデオ復号部401で取得された第2メタデータは、さらに、映像信号の連続再生単位より細かい単位に対して共通に用いられ、特性データを含む動的HDRメタデータ(動的メタデータ)を含む。HDR制御情報生成部404は、静的HDRメタデータに含まれる特性データ及び動的HDRメタデータに含まれる特定データを、所定の伝送プロトコルに従ったHDR制御情報に変換する。HDMI(登録商標)出力部406は、第1映像信号(HDR信号)を出力する場合、静的HDRメタデータ及び動的HDRメタデータに基づくHDR制御情報を出力する。
また、本開示に係るデータ生成方法は、データ生成装置が行うデータ生成方法であって、映像信号の輝度範囲に関するメタデータを生成する第1生成ステップと、映像信号とメタデータとを含む映像ストリームを生成する第2生成ステップとを含む。メタデータは、映像信号の輝度範囲を示す特性データと、映像信号の輝度範囲を変換するための変換補助データとを含む。
[9.HDRメタデータの格納例]
図10は、HDRメタデータを格納するSEIメッセージのデータ構造例を示す図である。図10に示すように、HDRメタデータ専用のSEIメッセージが定義されてもよい。つまり、メタデータは、メタデータ専用のメッセージに格納されてもよい。
または、HDRメタデータは、ユーザーデータ格納用の汎用的なSEIメッセージに格納され、当該メッセージのペイロード部分に当該メッセージにHDRメタデータが格納されることを示す情報(後述するHDR拡張識別情報)が設けられてもよい。
HDRメタデータは、静的HDRメタデータと動的HDRメタデータとを含む。また、静的HDRメタデータが格納されているかどうかを示すフラグ情報と、動的HDRメタデータが格納されているかどうかを示すフラグ情報とが設けられてもよい。これにより、静的HDRメタデータのみを格納する方法、動的HDRメタデータのみを格納する方法、及び、静的HDRメタデータと動的HDRメタデータとの両方を格納する方法の3通りの格納方法を用いることができる。
さらに、それぞれのメタデータに対して、解釈が必須である基本データ(基本部)と、解釈がオプションである(解釈が任意である)拡張データ(拡張部)とが定義されてもよい。例えば、メタデータのタイプ(基本データ又は拡張データ)を示すタイプ情報とサイズがヘッダ情報に含まれ、ペイロードにメタデータが格納されるコンテナのフォーマットが定義される。つまり、メタデータは、ペイロードと、ペイロードのデータが基本データであるか拡張データであるかを示す情報と、ペイロードのデータサイズを示す情報とを含む。言い換えると、メタデータはメタデータの種別を示すタイプ情報を含む。例えば、タイプ値が0であるコンテナには基本データが格納される。また、拡張データに対してはタイプ値として1以上の値が割り当てられ、その値により拡張データの種別が示される。
データ出力装置及び表示装置は、タイプ値を参照して、自身が解釈可能なコンテナのデータを取得する。つまり、データ出力装置(又は表示装置)は、タイプ情報を用いて、データ出力装置(又は表示装置)がメタデータを解釈可能であるかを判定し、データ出力装置(又は表示装置)が当該メタデータを解釈可能である場合、当該メタデータを解釈することで特性データ及び変換補助データを取得する。
また、HDRメタデータの最大サイズが予め設定され、基本データと拡張データとのサイズの総和が最大サイズ以下となるようにメタデータが生成されてもよい。つまり、メタデータのデータサイズの最大値が規定されており、本開示に係るデータ生成方法は、基本データ及び拡張データの合計のデータサイズを、最大値以下になるようにメタデータを生成する。
データ出力装置及び表示装置が、この最大サイズ分のメモリを備えることで、HDRメタデータを全てメモリ内に格納できることを保証できる。あるいは、静的HDRメタデータ、又は動的HDRメタデータに対して固定サイズ分のデータ領域を確保しておき、基本データを格納する領域以外は将来拡張用としておくなども可能である。
このようなデータ構造は、コンテンツの管理情報におけるHDRメタデータの格納に用いられてもよい。
図11は、ユーザーデータ格納用のSEIメッセージにHDRメタデータが格納される場合のデータ構造の一例を示す図である。メッセージがHDR拡張識別情報と拡張タイプIDとを含む点以外は、図11のデータ構造と同様である。HDR拡張識別情報は、当該メッセージにHDRメタデータが含まれることを示す。拡張タイプIDは、HDRメタデータのバージョン等を示す。つまり、メタデータは、HEVCのSEIメッセージに格納され、当該SEIメッセージは、当該SEIメッセージにメタデータが含まれるか否かを示すHDR拡張識別情報を含む。
この場合、データ出力装置は、HDR拡張識別情報を含むユーザーデータ格納用のSEIメッセージを受信し、かつデータ出力装置に接続されている表示装置がHDR信号及びHDR制御情報の入力に対応している場合には、HDMI(登録商標)などの表示装置への出力I/Fのプロトコルに従って、受信したSEIメッセージをそのままコピーして出力する。つまり、データ出力装置は、当該SEIメッセージにメタデータが含まれることを示すHDR拡張識別情報を含むSEIメッセージが取得され、かつ、データ出力先の表示装置がHDR制御情報の入力に対応している場合には、当該SEIメッセージを所定の伝送プロトコル(例えばHDMI(登録商標))に従ってそのまま出力する。
これにより、メタデータの内容によらずデータ出力装置は表示装置へHDRメタデータを出力することが可能となる。このような構成により、将来新たなDR変換処理が開発されて新たなHDRメタデータが定義され、この新HDRメタデータに対応する表示装置が新HDRメタデータに対応しないデータ出力装置に接続された場合でも、データ出力装置から表示装置へ新HDRメタデータを出力できる。また、表示装置において新HDRメタデータに応じたDR変換処理の実施が可能となる。
[10.ユーザーガイダンス表示方法1]
図12は、HDRからSDRへの変換処理を実行するBlu−ray(登録商標)機器でのユーザーガイダンス表示方法を示す図である。
HDRからSDRへの変換処理のアルゴリズムが確立されていないため、正確なHDRからSDRへの変換は現状困難である。また、複数のHDRからSDRへの変換処理アルゴリズムを実装することも可能である。
このため、ユーザがHDR対応ディスクを、HDR非対応TVに接続されたHDR対応Blu−ray(登録商標)機器に挿入した場合には、適切なユーザーガイドを行う必要がある。
HDR非対応TVに接続されたHDR対応Blu−ray(登録商標)機器が、HDRからSDRへの変換処理の開始を検知した場合は、例えば「ディスクはHDR対応ディスクです。お使いのTVはHDR非対応TVのため、HDR映像ではなく、Blu−ray(登録商標)機器がHDRからSDRへの変換処理を行ったSDR映像を再生します。」等のガイドメッセージを表示する。
このように、データ出力装置(Blu−ray(登録商標)機器)は、表示装置が第1映像信号(HDR信号)の輝度範囲の映像出力に対応していない場合、第1輝度範囲から第2輝度範囲に変換した第2映像信号(SDR信号)及びHDR制御情報を表示装置へ出力するとともに、第1輝度範囲から第2輝度範囲に変換された第2映像信号が表示される旨を表示装置に表示させる。
[11.ユーザーガイダンス表示方法2]
図13は、ディスク内に格納されたHDRからSDRへの変換処理実行時のユーザーガイダンスの表示方法を示す図である。
HDRからSDRへの変換処理が行われる場合にBlu−ray(登録商標)機器が表示すべきメッセージ(メニュー)がHDRディスク、あるいは、Blu−ray(登録商標)機器内の不揮発メモリなどに格納される。これにより、Blu−ray(登録商標)機器は、HDRからSDRへの変換処理実行時に、メッセージを表示させることができる。この場合、例えば「ディスクはHDR対応ディスクです。お使いのTVはHDR非対応TVのため、HDR映像ではなく、Blu−ray(登録商標)機器がHDRからSDRへの変換処理を行ったSDR映像を再生します。」と表示される。
[12.ユーザーガイダンス表示方法3]
図14は、ディスク内に格納されたHDRからSDRへの変換処理実行時のユーザーガイダンスメニューの表示方法を示す図である。
Blu−ray(登録商標)機器は、Blu−ray(登録商標)のメニューを使うことで、「ディスクはHDR対応ディスクです。お使いのTVはHDR非対応TVのため、HDR映像ではなく、Blu−ray(登録商標)機器がHDRからSDRへの変換処理を行ったSDR映像を再生しますが、再生して良いですか?」等のメッセージを表示することができる。Blu−ray(登録商標)機器は、ユーザが「再生します」ボタンを選択した場合、変換画像の表示を開始する。また、Blu−ray(登録商標)機器は、ユーザが「再生しません」を選択した場合は、再生を中止し、ユーザにHDR非対応Blu−ray(登録商標)ディスクの挿入を促すメッセージを表示する。
このように、データ出力装置(Blu−ray(登録商標)機器)は、表示装置が第1映像信号(HDR信号)の輝度範囲の映像出力に対応していない場合、第1輝度範囲から第2輝度範囲に変換された第2映像信号(SDR信号)を表示させるかどうかを、ユーザが選択するためのメッセージを表示装置に表示させる。
[13.ユーザーガイダンス表示方法4]
図15は、ディスク内に格納されたHDRからSDRへの変換処理実行時の処理方法を選択可能なユーザーガイダンスメニューの表示方法を示す図である。
Blu−ray(登録商標)機器は、Blu−ray(登録商標)にHDRからSDRへの変換処理用のメタデータが格納されている場合は、そのことを表示する。Blu−ray(登録商標)機器は、ユーザが指定の変換方式を選択した場合、より綺麗な変換が可能なことを促すメッセージを表示する。つまり、ディスク内のJava(登録商標)コマンド等により、Blu−ray(登録商標)機器に、どのようなHDRからSDRへの変換処理が実装されているかを判定する。これにより、Blu−ray(登録商標)機器は、「ディスクはHDR対応ディスクです。お使いのTVはHDR非対応TVのため、HDR映像ではなく、Blu−ray(登録商標)機器がHDRからSDRへの変換処理を行ったSDR映像を再生しますが、どの方法を選びますか?(処理1で再生)、(処理3で再生)、(再生しません)」等のHDRからSDRへの変換処理方式の選択メニューを表示することができる。なお、ここで処理1及び処理3は、HDRからSDRへの異なる変換処理である。
このように、データ出力装置(Blu−ray(登録商標)機器)は、表示装置が第1映像信号(HDR信号)の輝度範囲の映像出力に対応していない場合、第1輝度範囲を第2輝度範囲に変換するための複数の変換方式のうちいずれかを、ユーザが選択するためのメッセージを表示装置に表示させる。
[14.ユーザーガイダンス表示方法5]
なお、放送においても同様のメッセージを表示することができる。例えば、HDR信号に対応していないTV又は再生装置は、データ放送のアプリケーションなどを用いて、放送番組がHDR信号であり、で視聴した場合には正しく表示できないことがある旨を示すメッセージを表示する。また、HDR信号に対応したTV又は再生装置は、当該メッセージを表示しなくてもよい。また、メッセージの属性を示すタグ値などにより、当該メッセージがHDR信号に対する警告メッセージであることが示される。HDR信号に対応したTV又は再生装置は、タグ値を参照してメッセージの表示が不要であることを判定する。
[15.デュアルディスクの再生動作1]
以上では、HDR信号のみが格納されたHDRディスクの再生動作について説明した。
次に、HDR信号とSDR信号との両方が格納されたデュアルディスクに格納される多重化データについて図16を用いて説明する。図16は、デュアルディスクに格納される多重化データについて説明するための図である。
デュアルディスクでは、図16に示すように、HDR信号とSDR信号とがそれぞれ異なる多重化ストリームとして格納される。例えば、Blu−ray(登録商標)などの光ディスクにおいては、M2TSと呼ばれるMPEG−2 TSベースの多重化方式により、ビデオやオーディオ、字幕、グラフィックスなど複数メディアのデータが1本の多重化ストリームとして格納される。これらの多重化ストリームは、プレイリストなどの再生制御用のメタデータから参照され、再生時にはプレーヤがメタデータを解析することで再生する多重化ストリーム、あるいは、多重化ストリームに格納される個別の言語のデータを選択する。本例では、HDR用とSDR用とのプレイリストを個別に格納し、それぞれのプレイリストがHDR信号、あるいは、SDR信号を参照するケースを示す。また、HDR信号とSDR信号の両方が格納されていることを示す識別情報などを別途示しても良い。
同一の多重化ストリームにHDR信号とSDR信号との両方を多重化することも可能であるが、MPEG−2 TSにおいて規定されるT−STD(System Target Decoder)などのバッファモデルを満たすように多重化する必要があり、特に、予め定められたデータの読み出しレートの範囲内で、ビットレートの高いビデオを2本多重化するのは困難である。このため、多重化ストリームを分離することが望ましい。
オーディオ、字幕、あるいはグラフィックスなどのデータは、それぞれの多重化ストリームに対して格納する必要があり、1本に多重化する場合に比べてデータ量が増加する。ただし、データ量の増加は、圧縮率の高いビデオ符号化方式を用いてビデオのデータ量を削減することができる。例えば、従来のBlu−ray(登録商標)において使用していたMPEG−4 AVCを、HEVC(High Efficiency Video Coding)に変えることで、1.6〜2倍の圧縮率向上が見込まれる。また、デュアルディスクに格納するのは、2KのHDRとSDRとの組み合わせ、4KのSDRと2KのHDRとの組み合わせなど、2Kを2本、あるいは、2Kと4Kとの組合せとするなど、4Kを2本格納することは禁止することにより、光ディスクの容量に収まる組合せのみを許容してもよい。
[16.デュアルディスクの再生動作2]
図17は、デュアルディスクの再生動作を示すフローチャートである。
まず、再生装置は、再生対象の光ディスクがデュアルディスクであるかどうかを判定する(S301)。そして、デュアルディスクであると判定した場合(S301でYes)、出力先のTVがHDRTVかSDRTVであるかを判定する(S302)。HDRTVであると判定した場合(S302でYes)にはステップS303に進み、SDRTVであると判定した場合(S302でNo)にはステップS304に進む。ステップS303では、デュアルディスク内のHDR信号を含む多重化ストリームからHDRのビデオ信号を取得して、復号し、HDRTVに対して出力する。ステップS304では、デュアルディスク内のSDR信号を含む多重化ストリームからSDRのビデオ信号を取得して、復号し、SDRTVに対して出力する。なお、ステップS301において再生対象がデュアルディスクでないと判定された場合(S301でNo)には、所定の方法により再生可否の判定を行い、判定結果に基づいて再生方法を決定する(S305)。
[17.ディスクの種類]
上述のように、表示装置が高解像度化及び高輝度範囲化されることで、表示装置の仕様に合わせた複数種別のBlu−ray(登録商標) Disc(以下、BDと記載する)を提供する。図18は、BDの種類を示す図である。図18に示されるように、以下では、解像度が第1解像度であり、輝度範囲が第1輝度範囲である映像信号が記録されたBDは、2K_SDR対応BDと記載する。解像度が第1解像度であり、輝度範囲が第1輝度範囲である映像信号は、BDにストリームとして格納される。このストリームは、2K_SDRストリームと記載する。2K_SDR対応BDは、従来のBDはである。
また、解像度が第2解像度であり、輝度範囲が第1輝度範囲である映像信号が記録されたBDは、4K_SDR対応BDと記載する。解像度が第2解像度であり、輝度範囲が第1輝度範囲である映像信号は、BDにストリームとして格納される。このストリームは、4K_SDRストリームと記載する。
同様に、解像度が第1解像度であり、輝度範囲が第2輝度範囲である映像信号が記録されたBDは、2K_HDR対応BDと記載する。解像度が第1解像度であり、輝度範囲が第2輝度範囲である映像信号は、BDにストリームとして格納される。このストリームは、2K_HDRストリームと記載する。
また、解像度が第2解像度であり、輝度範囲が第2輝度範囲である映像信号が記録されたBDは、4K_HDR対応BDと記載する。解像度が第2解像度であり、輝度範囲が第2輝度範囲である映像信号は、BDにストリームとして格納される。このストリームは、4K_HDRストリームと記載する。
なお、第1解像度は、例えば、所謂2K(1920x1080、2048x1080)の解像度であるが、このような解像度を含む任意の解像度であってよい。以下では、第1解像度を単に2Kと記載する場合がある。
また、第2解像度は、所謂4K(3840x2160、4096x2160)の解像度であるが、このような解像度を含む任意の解像度であってよい。第2解像度は、第1解像度より画素数が多い解像度である。
なお、第1輝度範囲は、例えば、これまで説明したSDR(ピーク輝度が100nitの輝度範囲)である。第2輝度範囲は、例えば、これまで説明したHDR(ピーク輝度が100nitを超える輝度範囲)である。第2輝度範囲は、第1輝度範囲を全て含み、第2輝度範囲のピーク輝度は、第1輝度範囲のピーク輝度よりも大きい。
図19は、BDの種類をさらに詳細に示す図である。
図19の(c)、(f)、(g)、及び(h)に示されるように、1枚のBDで複数の映像表現に対応したデュアルストリームディスクが考えられる。デュアルストリームディスクは、同一のコンテンツを再生するための複数の映像信号であって、解像度及び輝度範囲の少なくとも一方が異なる複数の映像信号が記録されたBDである。
具体的には、図19の(c)に示されるデュアルストリームディスクは、4K_SDRストリームと、2K_SDRストリームとが記録されたBDである。図19の(f)に示されるデュアルストリームディスクは、2K_HDRストリームと、2K_SDRストリームとが記録されたBDである。
図19の(g)に示されるデュアルストリームディスクは、4K_HDRストリームと、4K_SDRストリームとが記録されたBDである。図19の(h)に示されるデュアルストリームディスクは、4K_HDRストリームと、2K_SDRストリームとが記録されたBDである。
なお、図19の(c)に示されるデュアルストリームディスクは、Blu−ray(登録商標)機器が4Kから2Kの解像度のダウンコンバージョン(以下、ダウンコンバートとも記載する)を行うことが可能であるため、必須でない。
[18.ディスク容量1]
ここで、以上説明したような各BDについて、図20及び図21を用いて補足する。図20及び図21は、BDに記録されるデータ容量を示す図である。
図20及び図21は、各BDとデュアルストリームディスクで実際に使われるストリームのデータ容量を例示する。
図20は、解像度が2Kのストリーム(2K_SDRストリーム及び2K_HDRストリーム)が、MPEG−4 AVCを用いて圧縮されている場合を例示している。Movielength、losslessAudio、CompressedAudioのビットレートは、下記のようになる。なお、BDは、language個数分の音声ストリーム(LosslessAudioおよびCompressedAudio)を記録する。
Movielength:150min(14-18mbps)
LosslessAudio:0-2language(4.5mbps)
CompressedAudio:3-5language(1.5mbps)
この場合、必要なディスク容量の最大値(A)、中間値(B)、及び最小値(C)は、以下のようになる。
(A)(18+4.5*2+1.5*5)mbps*(150*60)s/8=38.8GB
(B)(16+4.5*1+1.5*3)mbps*(150*60)s/8=28.1GB
(C)(14+4.5*0+1.5*3)mbps*(150*60)s/8=20.8GB
また、解像度が4Kのストリーム(4K_SDRストリーム及び4K_HDRストリーム)が、HEVCを用いて圧縮されている場合を例示している。Movielength、losslessAudio、CompressedAudioのビットレートは、下記のようになる。
Movielength:150min(35-40mbps)
LosslessAudio:0-2language(4.5mbps)
CompressedAudio:3-6language(1.5mbps)
この場合、必要なディスク容量の最大値(a)、中間値(b)、及び最小値(c)は、以下のようになる。
(a)(40+4.5*2+1.5*5)mbps*(150*60)s/8=63.6GB
(b)(37+4.5*0+1.5*4)mbps*(150*60)s/8=48.4GB
(c)(35+4.5*0+1.5*3)mbps*(150*60)s/8=44.4GB
ここで、MPEG−4 AVCを用いて圧縮された2K_HDRストリームと、MPEG−4 AVCを用いて圧縮された2K_SDRストリームとの両方が記録されたデュアルストリームディスクに必要なディスク容量は、上記(A)+(A)、(B)+(B)、及び、(C)+(C)により求められる。具体的には、最大値77.6GB、中間値56.2GB、及び、最小値41.6GBとなる。
従来の50GBに加えて、66GB、100GBのディスクを対象としているため、上記のようなデュアルストリームディスクも容量の面においては実現可能である。
なお、HEVCを用いて圧縮された4K_HDRストリームと、HEVCを用いて圧縮された2K_HDRストリームとの両方が記録されたデュアルストリームディスクに必要なディスク容量は、上記(b)+(b)に基づけば96.8GBであり、上記(c)+(c)に基づけば88.8GBである。このため、このようなデュアルストリームディスクは、100GBの容量のディスクにより実現可能である。
同様に、HEVCを用いて圧縮された4K_HDRストリームと、MPEG−4 AVCを用いて圧縮された2K_SDRストリームとの両方が記録されたデュアルストリームディスクに必要なディスク容量は、上記(a)+(B)に基づけば91.7GBであり、上記(c)+(C)に基づけば65.2GBである。このため、このようなデュアルストリームディスクは、100GBの容量のディスクまたは66GBの容量のディスクにより実現可能である。
[19.ディスク容量2]
さらに、図21を用いて別の例について説明する。図21は、解像度が2Kのストリーム(2K_SDRストリーム及び2K_HDRストリーム)が、HEVCを用いて圧縮されている場合を例示している。Movielength、losslessAudio、CompressedAudioのビットレートは、下記のようになる。
Movielength:150min(7-9mbps)
LosslessAudio:0-2language(4.5mbps)
CompressedAudio:3-5language(1.5mbps)
この場合、必要なディスク容量の最大値(A)、中間値(B)、及び最小値(C)は、以下のようになる。
(α)(9+4.5*2+1.5*5)mbps*(150*60)s/8=25.3GB
(β)(8+4.5*1+1.5*3)mbps*(150*60)s/8=19.1GB
(γ)(7+4.5*0+1.5*3)mbps*(150*60)s/8=12.9GB
ここで、HEVCを用いて圧縮された2K_HDRストリームと、HEVCを用いて圧縮された2K_SDRストリームとの両方が記録されたデュアルストリームディスクに必要なディスク容量は、上記(α)+(α)、(β)+(β)、及び、(γ)+(γ)により求められる。具体的には、最大値50.6GB、typ値38.2GB、及び、最小値25.8GBとなる。
従来の50GBに加えて、66GB、100GBのディスクを対象としているため、上記のようなデュアルストリームディスクも容量の面においては実現可能である。
同様に、HEVCを用いて圧縮された4K_HDRストリームと、HEVCを用いて圧縮された2K_SDRストリームとの両方が記録されたデュアルストリームディスクに必要なディスク容量は、上記(a)+(α)に基づけば88.9GBであり、上記(b)+(β)に基づけば67.5GBであり、上記(b)+(γ)に基づけば61.3GBであり、上記(c)+(γ)に基づけば57.3GBである。このため、このようなデュアルストリームディスクは、100GBの容量のディスクまたは66GBの容量のディスクにより実現可能である。
[20.ディスクの種類の詳細1]
BDには、より詳細にはビデオストリームと、グラフィックストリーム(実施の形態1のグラフィックスのストリーム)とが記録される。ここで、図22は、デュアルストリームディスクを含む各BDに対し、各ディスクに記録された、ビデオストリームとグラフィックストリームとの組み合わせの一例を示す図である。
図22は、コンテンツ(BD)の制作の手間を考慮して、グラフィックストリームは、対応するビデオストリームの解像度によらず、解像度が2Kで記録する。2K_SDRストリームと4K_SDRストリームとで、グラフィックストリームを共有することができる。ただし、グラフィックストリームは、対応するビデオストリームの輝度範囲に合わせた輝度範囲で記録する。ビデオストリームがHDRの場合は、HDRのグラフィックスストリームを記録する。ビデオストリームがSDRの場合は、SDRのグラフィックスストリームを記録する。グラフィックストリームのSDRからHDRへの変換は、コンテンツの制作時に行う。
[21.ディスクの種類の詳細2]
図23は、デュアルストリームディスクを含む各BDに対し、各ディスクに記録された、ビデオストリームとグラフィックストリームとの組み合わせの別の例を示す図である。
図23では、コンテンツの制作の手間を考慮して、グラフィックストリームは、対応するビデオストリームの解像度及び輝度範囲によらず、解像度が2K、かつ、輝度範囲がSDRで記録する。2K_SDRストリーム、4K_SDRストリーム、2K_HDRストリーム、及び、4K_HDRストリーム全てで、グラフィックストリームを共有することができる。この場合は、グラフィックストリームの解像度の2Kから4Kへの変換、及び、グラフィックストリームの輝度範囲のSDRからHDRへの変換は、いずれもBluray機器で実行される。
[22.ディスクの種類の詳細3]
図24は、デュアルストリームディスクを含む各BDに対し、各ディスクに記録された、ビデオストリームとグラフィックストリームとの組み合わせのさらに別の例を示す図である。
図24は、Blu−ray(登録商標)機器においてグラフィックストリームの変換が不要となるように、コンテンツの制作時に、グラフィックストリームの解像度及び輝度範囲は、対応するビデオストリームの解像度及び輝度範囲に合わされて記録する。
[23.まとめ]
4K対応BDまたはHDR対応BDを再生するBlu−ray(登録商標)機器は、2K_SDR対応TV、2K_HDR対応TV、4K_SDR対応TV、及び、4K_HDR対応TVの4つのTVに対応する必要がある。具体的には、Blu−ray(登録商標)機器は、3組のHDMI(登録商標)/HDCP規格(HDMI(登録商標)1.4/HDCP1.4、HDMI(登録商標)2.0/HDCP2.1、HDMI(登録商標)2.1/HDCP2.2)をサポートする必要がある。
さらに、Blu−ray(登録商標)機器は、4種類のBlu−ray(登録商標)ディスク(2K_SDR対応BD、2K_HDR対応BD、4K_SDR対応BD、及び、4K_HDR対応BD)の再生を行う場合、そのBD(コンテンツ)毎、及び、接続されている表示装置(TV)毎に、適切な処理とHDMI(登録商標)/HDCPとを選択する必要がある。さらに、ビデオにグラフィックを合成する場合も、BDの種類と接続されている表示装置(TV)の種類により、処理を変える必要がある。
このため、Blu−ray(登録商標)機器の内部処理が非常に複雑になる。上記実施の形態3においては、Blu−ray(登録商標)機器内部処理を比較的簡単にするための各種手法を提供した。
[1]HDR非対応のTVにHDR信号を表示する場合は、HDRからSDRへの変換が必要になる。これに対し、上記実施の形態3では、この変換をBlu−ray(登録商標)機器においてオプション化するために、デュアルストリームディスク(Dual Streams Disc)というBDの構成を提案した。
[2]また、上記実施の形態3では、グラフィックストリームに制限を加え、ビデオストリームとグラフィックストリームとの組み合わせの種類を減らした。
[3]上記実施の形態3では、デュアルストリームディスクと、グラフィックストリームの制限とにより、Blu−ray(登録商標)機器内での複雑な処理の組み合わせ数を大幅に減らしている。
[4]上記実施の形態3では、疑似HDR変換を導入した場合でも、デュアルストリームディスクの処理に対して矛盾が生じない、内部処理及びHDMI(登録商標)処理を提示した。
本開示の変換方法では、HDR映像をSDRTVで表示する場合において、表示するSDRTVのピーク輝度が100nitを超える(通常200nit以上)ことを利用して、HDR映像を100nit以下のSDR映像に変換するのではなく、100nitを超える領域の階調をある程度保つよう変換し、元のHDRに近い疑似HDR映像に変換してSDRTVに表示させることができる「HDR→疑似HDR変換処理」を実現する。
また、変換方法では、SDRTVのディスプレイ特性(最高輝度、入出力特性、および表示モード)によって「HDR→疑似HDR変換処理」の変換方法を切り替えてもよい。
ディスプレイ特性情報の取得方法としては、(1)HDMI(登録商標)やネットワークを通して自動取得すること、(2)ユーザにメーカー名、品番等の情報入力させることで生成すること、および(3)メーカー名や品番等の情報を使ってクラウド等から取得することが考えられる。
また、変換装置100のディスプレイ特性情報の取得タイミングとしては、(1)疑似HDR変換する直前に取得すること、および(2)表示装置200(SDRTV等)と初めて接続する時(接続が確立した時)に取得することが考えられる。
また、変換方法では、HDR映像の輝度情報(CAL、CPL)によって変換方法を切り替えてもよい。
例えば、変換装置100のHDR映像の輝度情報の取得方法としては、(1)HDR映像に付随したメタ情報として取得すること、(2)ユーザにコンテンツのタイトル情報を入力させることで取得すること、および(3)ユーザに有力させた入力情報を使ってクラウド等から取得すること等が考えられる。
また、変換方法の詳細としては、(1)DPLを超えないように変換し、(2)CPLがDPLになるように変換し、(3)CALおよびその周辺以下の輝度は変更せず、(4)自然対数を用いて変換し、(5)DPLでクリップ処理をする。
また、変換方法では、疑似HDRの効果を高めるために、SDRTVの表示モード、表示パラメータなどの表示設定を、表示装置200に送信して切り替えることも可能であり、例えば、ユーザに表示設定を促すメッセージを画面に表示してもよい。
[24.疑似HDRの必要性1]
次に、疑似HDRの必要性について図25A〜図25Cを用いて説明する。
図25Aは、HDRTV内で、HDR信号を変換してHDR表示を行う表示処理の一例を示す図である。
図25Aに示すように、HDR映像を表示する場合、表示装置がHDRTVであっても、HDRの輝度範囲の最大値(ピーク輝度(HPL(HDR Peak Luminance):例1500nit))をそのまま表示することができない場合がある。この場合、HDRのEOTFを用いた逆量子化を行った後のリニアな信号を、その表示装置の輝度範囲の最大値(ピーク輝度(DPL(Display Peak Iuminance):例750nit))に合わせるための輝度変換を行う。そして、輝度変換を行うことで得られた映像信号を表示装置に入力することで、その表示装置の限界である最大値の輝度範囲に合わせたHDR映像を表示することができる。
図25Bは、HDR対応の再生装置とSDRTVとを用いて、HDR表示を行う表示処理の一例を示す図である。
図25Bに示すように、HDR映像を表示する場合、表示装置がSDRTVであれば、表示するSDRTVの輝度範囲の最大値(ピーク輝度(DPL:例300nit))が100nitを超えることを利用して、図25BのHDR対応の再生装置(Blu−ray(登録商標)機器)内の「HDR→疑似HDR変換処理」で、HDRTV内で行っている、「HDRのEOTF変換」とSDRTVの輝度範囲の最大値であるDPL(例:300nit)を使った「輝度変換」を行い、「輝度変換」を行うことで得られた信号をSDRTVの「表示装置」に直接入力できれば、SDRTVを使っても、HDRTVと同じ効果を実現することができる。
しかしながら、SDRTVには、このような信号を、外部から直接入力するための手段が無いため、実現できない。
図25Cは、標準インターフェースを介して互いに接続したHDR対応の再生装置とSDRTVと用いて、HDR表示を行う表示処理の一例を示す図である。
図25Cに示すように、通常、SDRTVが備える入力インターフェース(HDMI(登録商標)等)を使って、図25Bの効果を得られるような信号をSDRTVに入力する必要がある。SDRTVでは、入力インターフェースを介して入力した信号は、「SDRのEOTF変換」と「モード毎の輝度変換」と「表示装置」を順に通過し、その表示装置の最大値の輝度範囲に合わせた映像を表示する。このため、HDR対応のBlu−ray(登録商標)機器内で、SDRTVで入力インターフェースの直後に通過する、「SDRのEOTF変換」と「モード毎の輝度変換」とをキャンセルできるような信号(疑似HDR信号)を生成する。つまり、HDR対応のBlu−ray(登録商標)機器内で、「HDRのEOTF変換」とSDRTVのピーク輝度(DPL)を使った「輝度変換」との直後に、「モード毎の逆輝度変換」と「逆SDRのEOTF変換」とを行うことで、「輝度変換」直後の信号を「表示装置」に入力した場合(図25Cの破線矢印)と同じ効果を疑似的実現する。
[25.疑似HDRの必要性2]
通常のSDRTVは入力信号が100nitであるが、視聴環境(暗い室:シネマモード、明るい部屋:ダイナミックモード等)に合わせて200nit以上の映像表現が可能な能力を持つ。しかし、SDRTVへの入力信号の輝度上限が100nitに決められていたため、その能力を直接つかうことはできなかった。
HDR映像をSDRTVで表示する場合において、表示するSDRTVのピーク輝度が100nitを超える(通常200nit以上)ことを利用して、HDR映像を100nit以下のSDR映像に変換するのではなく、100nitを超える輝度範囲の階調をある程度保つように、「HDR→疑似HDR変換処理」を行っている。このため、元のHDRに近い疑似HDR映像としてSDRTVに表示させることができる。
この「HDR→疑似HDR変換処理」技術をBlu−ray(登録商標)に応用した場合は、図26に示すように、HDRディスクにはHDR信号のみを格納し、Blu−ray(登録商標)機器にSDRTVを接続した場合、Blu−ray(登録商標)機器が、「HDR→疑似HDR変換処理」を行い、HDR信号を疑似HDR信号に変換してSDRTVに送る。これにより、SDRTVは、受信した疑似HDR信号から輝度値に変換することで、疑似的なHDR効果を持った映像を表示させることができる。このように、HDR対応TVが無い場合でも、HDR対応のBDとHDR対応のBlu−ray(登録商標)機器を用意すれば、SDRTVであっても、SDR映像よりも高画質な疑似HDR映像を表示させることができる。
従って、HDR映像を見るためにはHDR対応TVが必要と考えられていたが、HDR的な効果を実感できる疑似HDR映像を、既存のSDRTVで見ることができる。これにより、HDR対応Blu−ray(登録商標)の普及が期待できる。
[26.効果等]
放送、Blu−ray(登録商標)等のパッケージメディア、OTT等のインターネット配信により送られてきたHDR信号を、HDR−疑似HDR変換処理を行うことで、疑似HDR信号に変換する。これにより、HDR信号を疑似HDR映像として既存のSDRTVで表示することが可能となる。
[27.EOTFについて]
ここで、EOTFについて、図27Aおよび図27Bを用いて説明する。
図27Aは、HDRおよびSDRのそれぞれに対応したEOTF(Electro−Optical Transfer Function)の例について示す図である。
EOTFは、一般的にガンマカーブと呼ばれるものであり、コード値と輝度値との対応を示し、コード値を輝度値に変換するものである。つまり、EOTFは、複数のコード値と輝度値との対応関係を示す関係情報である。
また、図27Bは、HDRおよびSDRのそれぞれに対応した逆EOTFの例について示す図である。
逆EOTFは、輝度値とコード値との対応を示し、EOTFとは逆に輝度値を量子化してコード値に変換するものである。つまり、逆EOTFは、輝度値と複数のコード値との対応関係を示す関係情報である。例えば、HDRに対応した映像の輝度値を10ビットの階調のコード値で表現する場合、10,000nitまでのHDRの輝度範囲における輝度値は、量子化されて、0〜1023までの1024個の整数値にマッピングされる。つまり、逆EOTFに基づいて量子化することで、10,000nitまでの輝度範囲の輝度値(HDRに対応した映像の輝度値)を、10ビットのコード値であるHDR信号に変換する。HDRに対応したEOTF(以下、「HDRのEOTF」という。)またはHDRに対応した逆EOTF(以下、「HDRの逆EOTF」という。)においては、SDRに対応したEOTF(以下、「SDRのEOTF」という。)またはSDRに対応した逆EOTF(以下、「SDRの逆EOTF」という。)よりも高い輝度値を表現することが可能であり、例えば、図27Aおよび図27Bにおいては、輝度の最大値(ピーク輝度)は、10,000nitである。つまり、HDRの輝度範囲は、SDRの輝度範囲を全て含み、HDRのピーク輝度は、SDRのピーク輝度より大きい。HDRの輝度範囲は、SDRの輝度範囲の最大値である100nitから、10,000nitまで、最大値を拡大した輝度範囲である。
例えば、HDRのEOTFおよびHDRの逆EOTFは、一例として、米国映画テレビ技術者協会(SMPTE)で規格化されたSMPTE 2084がある。
なお、以降の明細書中において、図27A及び図27Bに記載されている0nitからピーク輝度である100nitまでの輝度範囲は、第1輝度範囲と記載される場合がある。同様に、図27A及び図27Bに記載されている、0nitからピーク輝度である10,000nitまでの輝度範囲は、第2輝度範囲と記載される場合がある。
[28.変換装置および表示装置]
図28は、実施の形態の変換装置および表示装置の構成を示すブロック図である。図29は、実施の形態の変換装置および表示装置により行われる変換方法および表示方法を示すフローチャートである。
図28に示すように、変換装置100は、HDRのEOTF変換部101、輝度変換部102、逆輝度変換部103、および逆SDRのEOTF変換部104を備える。また、表示装置200は、表示設定部201、SDRのEOTF変換部202、輝度変換部203、および表示部204を備える。
変換装置100および表示装置200の各構成要素についての詳細な説明は、変換方法および表示方法の説明において行う。
[29.変換方法および表示方法]
変換装置100が行う変換方法について、図29を用いて説明する。なお、変換方法は、以下で説明するステップS101〜ステップS104を含む。
まず、変換装置100のHDRのEOTF変換部101は、逆HDRのEOTF変換が行われたHDR映像を取得する。変換装置100のHDRのEOTF変換部101は、取得したHDR映像のHDR信号に対して、HDRのEOTF変換を実施する(S101)。これにより、HDRのEOTF変換部101は、取得したHDR信号を、輝度値を示すリニアな信号に変換する。HDRのEOTFは、例えばSMPTE 2084がある。
次に、変換装置100の輝度変換部102は、HDRのEOTF変換部101により変換されたリニアな信号を、ディスプレイ特性情報とコンテンツ輝度情報とを用いて変換する第1輝度変換を行う(S102)。第1輝度変換において、HDRの輝度範囲に対応した輝度値(以下、「HDRの輝度値」という。)を、ディスプレイの輝度範囲に対応した輝度値(以下、「ディスプレイ輝度値」という。)に変換する。詳細は後述する。
上記のことから、HDRのEOTF変換部101は、映像の輝度値が量子化されることで得られたコード値を示す第1輝度信号としてのHDR信号を取得する取得部として機能する。また、HDRのEOTF変換部101および輝度変換部102は、取得部により取得されたHDR信号が示すコード値を、ディスプレイ(表示装置200)の輝度範囲に基づいて決定する、HDRの輝度範囲の最大値(HPL)よりも小さく、かつ、100nitよりも大きい最大値(DPL)であるディスプレイの輝度範囲に対応するディスプレイ輝度値へ変換する変換部として機能する。
より具体的には、HDRのEOTF変換部101は、ステップS101において、取得したHDR信号と、HDRのEOTFとを用いて、取得したHDR信号が示す第1コード値としてのHDRのコード値について、HDRのコード値にHDRのEOTFにおいて関係付けられたHDRの輝度値を決定する。なお、HDR信号は、HDRの輝度範囲における輝度値と、複数のHDRのコード値とを関係付けたHDRの逆EOTFを用いて、映像(コンテンツ)の輝度値が量子化されることで得られたHDRのコード値を示す。
また、輝度変換部102は、ステップS102において、ステップS101で決定したHDRの輝度値について、当該HDRの輝度値に予め関係付けられた、ディスプレイの輝度範囲に対応するディスプレイ輝度値を決定し、HDRの輝度範囲に対応するHDRの輝度値を、ディスプレイの輝度範囲に対応するディスプレイ輝度値へ変換する第1輝度変換を行う。
また、変換装置100は、ステップS102の前に、映像(コンテンツ)の輝度の最大値(CPL:Content Peak luminance)および映像の平均輝度値(CAL:Content Average luminance)の少なくとも一方を含むコンテンツ輝度情報をHDR信号に関する情報として取得している。CPL(第1最大輝度値)は、例えば、HDR映像を構成する複数の画像に対する輝度値のうちの最大値である。また、CALは、例えば、HDR映像を構成する複数の画像に対する輝度値の平均である平均輝度値である。
また、変換装置100は、ステップS102の前に、表示装置200から表示装置200のディスプレイ特性情報を取得している。なお、ディスプレイ特性情報とは、表示装置200が表示できる輝度の最大値(DPL)、表示装置200の表示モード(後述参照)、入出力特性(表示装置が対応するEOTF)などの表示装置200の表示特性を示す情報である。
また、変換装置100は、推奨表示設定情報(後述参照、以下、「設定情報」ともいう。)を表示装置200に送信してもよい。
次に、変換装置100の逆輝度変換部103は、表示装置200の表示モードに応じた逆輝度変換を行う。これにより、逆輝度変換部103は、ディスプレイの輝度範囲に対応した輝度値を、SDRの輝度範囲(0〜100〔nit〕)に対応する輝度値に変換する第2輝度変換を行う(S103)。詳細は後述する。つまり、逆輝度変換部103は、ステップS102で得られたディスプレイ輝度値について、当該ディスプレイ輝度値に予め関係付けられた、100nitを最大値とするSDRの輝度範囲に対応する第3輝度値としてのSDRに対応した輝度値(以下、「SDRの輝度値」という。)SDRの輝度値を決定し、ディスプレイの輝度範囲に対応するディスプレイ輝度値を、SDRの輝度範囲に対応するSDRの輝度値へ変換する第2輝度変換を行う。
そして、変換装置100の逆SDRのEOTF変換部104は、逆SDRのEOTF変換を行うことで、疑似HDR映像を生成する(S104)。つまり、逆SDRのEOTF変換部104は、HDRの輝度範囲における輝度値と、複数の第3コード値とを関係付けた第3関係情報であるSDR(Standard Dynamic Range)の逆EOTF(Electro−Optical Transfer Function)を用いて、決定したSDRの輝度値を量子化し、量子化により得られた第3コード値を決定し、SDRの輝度範囲に対応するSDRの輝度値を、第3コード値を示す第3輝度信号としてのSDR信号へ変換することで、疑似HDR信号を生成する。なお、第3コード値は、SDRに対応したコード値であり、以下では、「SDRのコード値」という。つまり、SDR信号は、SDRの輝度範囲における輝度値と、複数のSDRのコード値とを関係付けたSDRの逆EOTFを用いて、映像の輝度値が量子化されることで得られたSDRのコード値で表される。そして、変換装置100は、ステップS104で生成した疑似HDR信号(SDR信号)を表示装置200へ出力する。
変換装置100は、HDR信号を逆量子化することで得られたHDRの輝度値に対して、第1輝度変換および第2輝度変換を行うことで、疑似HDRに対応したSDRの輝度値を生成し、SDRの輝度値をSDRのEOTFを用いて量子化することで、疑似HDRに対応したSDR信号を生成する。なお、SDRの輝度値は、SDRに対応した0〜100nitの輝度範囲内の数値であるが、ディスプレイの輝度範囲に基づく変換を行っているため、HDRの輝度値に対してHDRのEOTFおよびSDRのEOTFを用いた輝度変換を行うことで得られたSDRに対応した0〜100nitの輝度範囲内の輝度値とは異なる数値である。
次に、表示装置200が行う表示方法について、図29を用いて説明する。なお、表示方法は、以下で説明するステップS105〜ステップS108を含む。
まず、表示装置200の表示設定部201は、変換装置100から取得した設定情報を用いて、表示装置200の表示設定を設定する(S105)。ここで、表示装置200は、SDRTVである。設定情報は、表示装置に対して推奨する表示設定を示す情報であり、疑似HDR映像をどのようにEOTFし、どの設定で表示すれば美しい映像を表示することができるかを示す情報(つまり、表示装置200の表示設定を最適な表示設定に切り替えるための情報)である。設定情報は、例えば、表示装置における出力時のガンマカーブ特性や、リビングモード(ノーマルモード)やダイナミックモード等の表示モード、バックライト(明るさ)の数値などを含む。また、ユーザに、表示装置200の表示設定をマニュアル操作で変更することを促すようなメッセージを、表示装置200(以下、「SDRディスプレイ」ともいう)に表示してもよい。詳細は後述する。
なお、表示装置200は、ステップS105の前に、SDR信号(疑似HDR信号)と、映像の表示にあたって表示装置200に対して推奨する表示設定を示す設定情報とを取得する。
また、表示装置200は、SDR信号(疑似HDR信号)の取得を、ステップS106の前に行えばよく、ステップS105の後に行ってもよい。
次に、表示装置200のSDRのEOTF変換部202は、取得した疑似HDR信号に対し、SDRのEOTF変換を行う(S106)。つまり、SDRのEOTF変換部202は、SDR信号(疑似HDR信号)を、SDRのEOTFを用いて逆量子化を行う。これにより、SDRのEOTF変換部202は、SDR信号が示すSDRのコード値を、SDRの輝度値に変換する。
そして、表示装置200の輝度変換部203は、表示装置200に設定された表示モードに応じた輝度変換を行う。これにより、輝度変換部203は、SDRの輝度範囲(0〜100〔nit〕)に対応したSDRの輝度値を、ディスプレイの輝度範囲(0〜DPL〔nit〕)に対応したディスプレイ輝度値に変換する第3輝度変換を行う(S107)。詳細は後述する。
上記のことから、表示装置200は、ステップS106およびステップS107において、取得したSDR信号(疑似HDR信号)が示す第3コード値を、ステップS105で取得した設定情報を用いて、ディスプレイの輝度範囲(0〜DPL〔nit〕)に対応するディスプレイ輝度値へ変換する。
より具体的には、SDR信号(疑似HDR信号)からディスプレイ輝度値への変換では、ステップS106において、SDRの輝度範囲における輝度値と、複数の第3コード値とを関係付けたEOTFを用いて、取得したSDR信号が示すSDRのコード値について、SDRのコード値にSDRのEOTFで関係付けられたSDRの輝度値を決定する。
そして、ディスプレイ輝度値への変換では、ステップS107において、決定したSDRの輝度値に予め関係付けられた、ディスプレイの輝度範囲に対応するディスプレイ輝度値を決定し、SDRの輝度範囲に対応するSDRの輝度値を、ディスプレイの輝度範囲に対応するディスプレイ輝度値へ変換する第3輝度変換を行う。
最後に、表示装置200の表示部204は、変換したディスプレイ輝度値に基づいて、疑似HDR映像を表示装置200に表示する(S108)。
[30.第1輝度変換]
次に、ステップS102の第1輝度変換(HPL→DPL)の詳細について、図30Aを用いて説明する。図30Aは、第1輝度変換の一例について説明するための図である。
変換装置100の輝度変換部102は、ステップS101で得られたリニアな信号(HDRの輝度値)を、ディスプレイ特性情報と、HDR映像のコンテンツ輝度情報とを用いて変換する第1輝度変換を行う。第1輝度変換は、HDRの輝度値(入力輝度値)を、ディスプレイピーク輝度(DPL)を超えないディスプレイ輝度値(出力輝度値)に変換する。DPLは、ディスプレイ特性情報であるSDRディスプレイの最大輝度および表示モードを用いて決定する。表示モードは、例えば、SDRディスプレイに暗めに表示するシアターモードや、明るめに表示するダイナミックモード等のモード情報である。表示モードが、例えば、SDRディスプレイの最大輝度が1,500nitであり、かつ、表示モードが最大輝度の50%の明るさにするモードである場合、DPLは、750nitとなる。ここで、DPL(第2最大輝度値)とは、SDRディスプレイが現在設定されている表示モードにおいて表示できる輝度の最大値である。つまり、第1輝度変換では、SDRディスプレイの表示特性を示す情報であるディスプレイ特性情報を用いて、第2最大輝度値としてのDPLを決定する。
また、第1輝度変換では、コンテンツ輝度情報のうちのCALとCPLとを用い、CAL付近以下の輝度値は、変換の前後で同一とし、CPL付近以上の輝度値に対してのみ輝度値を変更する。つまり、図30Aに示すように、第1輝度変換では、当該HDRの輝度値がCAL以下の場合、当該HDRの輝度値を変換せず、当該HDRの輝度値を、ディスプレイ輝度値として決定し、当該HDRの輝度値がCPL以上の場合、第2最大輝度値としてのDPLを、ディスプレイ輝度値として決定する。
また、第1輝度変換では、輝度情報のうちのHDR映像のピーク輝度(CPL)を用い、HDRの輝度値がCPLの場合、DPLを、ディスプレイ輝度値として決定する。
なお、第1輝度変換では、図30Bのように、ステップS101で得られたリニアな信号(HDRの輝度値)を、DPLを超えない値にクリップするように変換してもよい。このような輝度変換を行うことで、変換装置100での処理を簡素化することができ、装置の縮小化、低電力化、処理の高速化が図れる。なお、図30Bは、第1輝度変換の他の一例について説明するための図である。
[31−1.第2輝度変換]
次に、ステップS103の第2輝度変換(DPL→100〔nit〕)の詳細について、図31を用いて説明する。図31は、第2輝度変換について説明するための図である。
変換装置100の逆輝度変換部103は、ステップS102の第1輝度変換で変換されたディスプレイの輝度範囲(0〜DPL〔nit〕)のディスプレイ輝度値に対し、表示モードに応じた逆輝度変換を施す。逆輝度変換は、SDRディスプレイによる表示モードに応じた輝度変換処理(ステップS107)が行われた場合に、ステップS102処理後のディスプレイの輝度範囲(0〜DPL〔nit〕)のディスプレイ輝度値を取得できるようにするための処理である。つまり、第2輝度変換は、第3輝度変換の逆輝度変換である。
上記の処理により、第2輝度変換は、ディスプレイの輝度範囲のディスプレイ輝度値(入力輝度値)を、SDRの輝度範囲のSDRの輝度値(出力輝度値)に変換する。
第2輝度変換では、SDRディスプレイの表示モードによって変換式を切り替える。例えば、SDRディスプレイの表示モードがノーマルモードの場合、ディスプレイ輝度値に正比例する正比例値に輝度変換する。また、第2輝度変換では、SDRディスプレイの表示モードがノーマルモードよりも高輝度画素をより明るく、かつ、低輝度画素をより暗くするダイナミックモードの場合、その逆関数を用いることで、低輝度画素のSDRの輝度値は、ディスプレイ輝度値に正比例する正比例値より高い値に、高輝度画素のSDRの輝度値は、ディスプレイ輝度値に正比例する正比例値より低い値に輝度変換する。つまり、第2輝度変換では、ステップS102において決定したディスプレイ輝度値について、SDRディスプレイの表示特性を示す情報であるディスプレイ特性情報に応じた輝度関係情報を用いて、当該ディスプレイ輝度値に関係付けられた輝度値をSDRの輝度値として決定し、ディスプレイ特性情報に応じて輝度変換処理を切り替える。ここで、ディスプレイ特性情報に応じた輝度関係情報とは、例えば図31に示すような、SDRディスプレイの表示パラメータ(表示モード)毎に定められた、ディスプレイ輝度値(入力輝度値)と、SDRの輝度値(出力輝度値)とを関係付けた情報である。
[31−2.第3輝度変換]
次に、ステップS107の第3輝度変換(100→DPL〔nit〕)の詳細について、図32を用いて説明する。図32は、第3輝度変換について説明するための図である。
表示装置200の輝度変換部203は、SDRの輝度範囲(0〜100〔nit〕)のSDRの輝度値をステップS105で設定された表示モードに応じて(0〜DPL〔nit〕)に変換する。本処理はS103のモード毎の逆輝度変換の逆関数となるように処理する。
第3輝度変換では、SDRディスプレイの表示モードによって変換式を切り替える。例えば、SDRディスプレイの表示モードがノーマルモードの場合(つまり、設定された表示パラメータがノーマルモードに対応したパラメータである場合)、ディスプレイ輝度値は、SDRの輝度値に正比例する正比例値に輝度変換する。また、第3輝度変換では、SDRディスプレイの表示モードがノーマルモードよりも高輝度画素をより明るく、かつ、低輝度画素をより暗くするダイナミックモードの場合、低輝度画素のディスプレイ輝度値は、SDRの輝度値に正比例する正比例値より低い値に、高輝度画素のディスプレイ輝度値は、SDRの輝度値に正比例する正比例値より高い値に輝度変換する。つまり、第3輝度変換では、ステップS106において決定したSDRの輝度値について、SDRディスプレイの表示設定を示す表示パラメータに応じた輝度関係情報を用いて、当該SDRの輝度値に予め関係付けられた輝度値をディスプレイ輝度値として決定し、表示パラメータに応じて輝度変換処理を切り替える。ここで、表示パラメータに応じた輝度関係情報とは、例えば図32に示すような、SDRディスプレイの表示パラメータ(表示モード)毎に定められた、SDRの輝度値(入力輝度値)と、ディスプレイ輝度値(出力輝度値)とを関係付けた情報である。
[32.表示設定]
次に、ステップS105の表示設定の詳細について、図33を用いて説明する。図33は、表示設定の詳細な処理を示すフローチャートである。
SDRディスプレイの表示設定部201は、ステップS105において、下記のステップS201〜ステップS208の処理を行う。
まず、表示設定部201は、設定情報を用いて、SDRディスプレイに設定されているEOTF(SDRディスプレイ用EOTF)が、疑似HDR映像(SDR信号)の生成時に想定したEOTFと整合しているかどうかを判定する(S201)。
表示設定部201は、SDRディスプレイに設定されているEOTFが、設定情報が示すEOTF(疑似HDR映像に整合するEOTF)と異なっていると判定した場合(S201でYes)、SDRディスプレイ用EOTFをシステム側で切り替え可能かを判定する(S202)。
表示設定部201は、切り替え可能であると判定した場合、設定情報を用いて、SDRディスプレイ用EOTFを適切なEOTFに切り替える(S203)。
ステップS201〜ステップS203から、表示設定の設定(S105)では、SDRディスプレイに設定されているEOTFを、取得した設定情報に応じた推奨EOTFに設定する。また、これにより、ステップS105の後に行われるステップS106では、推奨EOTFを用いて、SDRの輝度値を決定することができる。
システム側で切り替え可能でないと判定した場合(S202でNo)、EOTFをユーザがマニュアル操作で変更することを促すメッセージを画面に表示する(S204)。例えば、「表示ガンマを2.4に設定して下さい」というメッセージを画面に表示する。つまり、表示設定部201は、表示設定の設定(S105)において、SDRディスプレイに設定されているEOTFを切り替えできない場合、SDRディスプレイに設定されているEOTF(SDRディスプレイ用EOTF)を、推奨EOTFに切り替えることをユーザに促すためのメッセージを、SDRディスプレイに表示する。
次に、SDRディスプレイでは、疑似HDR映像(SDR信号)を表示するが、表示の前に設定情報を用いてSDRディスプレイの表示パラメータが設定情報に合っているかを判定する(S205)。
表示設定部201は、SDRディスプレイに設定されている表示パラメータが、設定情報とは異なっていると判定した場合(S205でYes)、SDRディスプレイの表示パラメータを、切り替え可能かを判定する(S206)。
表示設定部201は、SDRディスプレイの表示パラメータを切り替え可能であると判定した場合(S206でYes)、設定情報に合わせて、SDRディスプレイの表示パラメータを切り替える(S207)。
ステップS204〜ステップS207から、表示設定の設定(S105)では、SDRディスプレイに設定されている表示パラメータを、取得した設定情報に応じた推奨表示パラメータに設定する。
システム側で切り替え可能でないと判定した場合(S206でNo)、SDRディスプレイに設定されている表示パラメータをユーザがマニュアル操作で変更することを促すメッセージを画面に表示する(S208)。例えば、「表示モードをダイナミックモードにし、バックライトを最大にして下さい」というメッセージを画面に表示する。つまり、設定(S105)では、SDRディスプレイに設定されている表示パラメータを切り替えできない場合、SDRディスプレイに設定されている表示パラメータを、推奨表示パラメータに切り替えることをユーザに促すためのメッセージを、SDRディスプレイに表示する。
[33.変形例1]
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態1にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下では、他の実施の形態を例示する。
HDR映像は、例えばBlu−ray(登録商標) Disc、DVD、インターネットの動画配信サイト、放送、HDD内の映像である。
変換装置100(HDR→疑似HDR変換処理部)は、ディスクプレイヤー、ディスクレコーダ、セットトップボックス、テレビ、パソコン、スマートフォンの内部に存在していてもよい。変換装置100は、インターネット内のサーバ装置の内部に存在していてもよい。
表示装置200(SDR表示部)は、例えばテレビ、パソコン、スマートフォンである。
変換装置100が取得するディスプレイ特性情報は、表示装置200からHDMI(登録商標)や他の通信プロトコルを用いてHDMI(登録商標)ケーブルやLANケーブルを介して取得してもよい。変換装置100が取得するディスプレイ特性情報は、インターネットを介して表示装置200の機種情報等に含まれるディスプレイ特性情報を取得してもよい。また、ユーザがマニュアル操作を行い、ディスプレイ特性情報を、変換装置100に設定してもよい。また、変換装置100のディスプレイ特性情報の取得は、疑似HDR映像生成(ステップS101〜S104)時の直前でもよいし、機器の初期設定時やディスプレイ接続時のタイミングでもよい。例えば、ディスプレイ特性情報の取得は、ディスプレイ輝度値への変換の直前に行ってもよいし、変換装置100がHDMI(登録商標)ケーブルで最初に表示装置200に接続したタイミングで行ってもよい。
また、HDR映像のCPLやCALは、コンテンツ1つに対して1つでもよいし、シーン毎に存在していてもよい。つまり、変換方法では、映像の複数のシーンのそれぞれに対応した輝度情報であって、当該シーン毎に、当該シーンを構成する複数の画像に対する輝度値のうちの最大値である第1最大輝度値と、当該シーンを構成する複数の画像に対する輝度値の平均である平均輝度値との少なくとも一方を含む輝度情報(CPL、CAL)を取得し、第1輝度変換では、複数のシーンのそれぞれについて、当該シーンに対応した輝度情報に応じてディスプレイ輝度値を決定してもよい。
また、CPLおよびCALは、HDR映像と同じ媒体(Blu−ray(登録商標) Disc、DVD等)に同梱していてもよいし、変換装置100がインターネットから取得する等、HDR映像とは別の場所から取得してもよい。つまり、CPLおよびCALの少なくとも一方を含む輝度情報を映像のメタ情報として取得してもよいし、ネットワーク経由で取得してもよい。
また、変換装置100の第1輝度変換(HPL→DPL)において、CPL、CAL、およびディスプレイピーク輝度(DPL)は使用せずに、固定値を用いてもよい。また、その固定値を外部から変更可能にしてもよい。また、CPL、CAL、およびDPLは、数種類で切り替えるようにしてもよく、例えば、DPLは200nit、400nit、800nitの3種類のみとするようにしてもよいし、ディスプレイ特性情報に最も近い値を使用するようにしてもよい。
また、HDRのEOTFはSMPTE 2084でなくてもよく、他の種類のHDRのEOTFを用いてもよい。また、HDR映像の最大輝度(HPL)は10,000nitでなくてもよく、例えば4,000nitや1,000nitでもよい。
また、コード値のビット幅は、例えば16,14,12,10,8bitでもよい。
また、逆SDRのEOTF変換は、ディスプレイ特性情報から決定するが、(外部からも変更可能な)固定の変換関数を用いてもよい。逆SDRのEOTF変換は、例えばRec. ITU−R BT.1886で規定されている関数を用いてもよい。また、逆SDRのEOTF変換の種類を数種類に絞り、表示装置200の入出力特性に最も近いものを選択して使用するようにしてもよい。
また、表示モードは、固定のモードを使うようにしてもよく、ディスプレイ特性情報の中に含めなくてもよい。
また、変換装置100は、設定情報を送信しなくてもよく、表示装置200では固定の表示設定としてもよいし、表示設定を変更しなくてもよい。この場合、表示設定部201は不要となる。また、設定情報は、疑似HDR映像かどうかのフラグ情報でもよく、例えば、疑似HDR映像である場合は最も明るく表示する設定に変更するようにしてもよい。つまり、表示設定の設定(S105)では、取得した設定情報が、DPLを用いて変換された疑似HDR映像を示す信号であることを示す場合、表示装置200の明るさ設定を最も明るく表示する設定に切り替えてもよい。
[34.変形例2]
また、変換装置100の第1輝度変換(HPL→DPL)は例えば次の算式で変換する。
ここで、Lは、0〜1に正規化された輝度値を示し、S1、S2、a、b、MはCAL、CPL、およびDPLに基づいて設定する値である。lnは自然対数である。Vは0〜1に正規化された変換後の輝度値である。図30Aの例のように、CALを300nitとし、CPLを2,000nitとし、DPLを750nitとし、CAL + 50nitまでは変換しないとし、350nit以上に対して変換する場合、それぞれの値は例えば次のような値となる。
S1 = 350/10000
S2 = 2000/10000
M = 750/10000
a = 0.023
b = S1 − a*ln(S1) = 0.112105
つまり、第1輝度変換では、SDRの輝度値が、平均輝度値(CAL)と第1最大輝度値(CPL)との間である場合、自然対数を用いて、当該HDRの輝度値に対応するディスプレイ輝度値を決定する。
[35.効果等]
HDR映像のコンテンツピーク輝度やコンテンツ平均輝度等の情報を用いてHDR映像を変換することにより、コンテンツに応じて変換式を変えることができ、HDRの階調をなるべく保つように変換することが可能となる。また、暗すぎる、明るすぎるといった悪影響を抑制することができる。具体的には、HDR映像のコンテンツピーク輝度をディスプレイピーク輝度にマッピングすることにより、階調をなるべく保つようにしている。また、平均輝度付近以下の画素値を変えないことにより、全体的な明るさが変わらないようにしている。
また、SDRディスプレイのピーク輝度値および表示モードを用いてHDR映像を変換することにより、SDRディスプレイの表示環境に応じて変換式を変えることができ、SDRディスプレイの性能に合わせて、HDR感のある映像(疑似HDR映像)を、元のHDR映像と同様の階調や明るさで表示することができる。具体的には、SDRディスプレイの最大輝度および表示モードによってディスプレイピーク輝度を決定し、そのピーク輝度値を超えないようにHDR映像を変換することにより、SDRディスプレイで表示可能な明るさまではHDR映像の階調をほとんど減らさずに表示し、表示不可能な明るさは表示可能な明るさまで輝度値を下げている。
以上により、表示不可能な明るさ情報を削減し、表示可能な明るさの階調を落とさず、元のHDR映像に近い形で表示することが可能となる。例えば、ピーク輝度1,000nitのディスプレイ用には、ピーク輝度1,000nitに抑えた疑似HDR映像に変換することにより、全体的な明るさを維持し、ディスプレイの表示モードによって輝度値は変わる。このため、ディスプレイの表示モードに応じて、輝度の変換式を変更するようにしている。もし、ディスプレイのピーク輝度よりも大きな輝度を疑似HDR映像で許容すると、その大きな輝度をディスプレイ側でのピーク輝度に置き換えて表示する場合があり、その場合は元のHDR映像よりも全体的に暗くなる。逆にディスプレイのピーク輝度よりも小さな輝度を最大輝度として変換すると、その小さな輝度をディスプレイ側でのピーク輝度に置き換え、元のHDR映像よりも全体的に明るくなる。しかもディスプレイ側のピーク輝度よりも小さいためにディスプレイの階調に関する性能を最大限使っていないことになる。
また、ディスプレイ側では、設定情報を用いて表示設定を切り替えることにより、疑似HDR映像をよりよく表示することが可能となる。例えば、明るさを暗く設定している場合には高輝度表示ができないため、HDR感が損なわれる。その場合には表示設定を変更するもしくは、変更してもらうよう促すメッセージを表示することにより、ディスプレイの性能を最大限引出し、高階調な映像を表示できるようにする。
(全体のまとめ)
以上、本開示の一つまたは複数の態様に係る再生方法および再生装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、異なる実施の形態における構成要素を組み合わせて構築される形態なども、本開示の一つまたは複数の態様の範囲内に含まれてもよい。
例えば、上記各実施の形態において、各構成要素は、回路などの専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
本開示は、コンテンツデータ生成装置、Blu−ray(登録商標)機器等の映像ストリーム伝送装置、又はテレビ等の映像表示装置に適用できる。
100 変換装置
101 EOTF変換部
102 輝度変換部
103 逆輝度変換部
104 逆SDRのEOTF変換部
200 表示装置
201 表示設定部
202 SDRのEOTF変換部
203 輝度変換部
204 表示部
400 データ出力装置
401 ビデオ復号部
402 外部メタ取得部
403 HDRメタ解釈部
404 HDR制御情報生成部
405 DR変換部
406 HDMI(登録商標)出力部

Claims (6)

  1. 映像信号に対応する映像ストリームと、メタデータと、を再生装置から取得する取得部と、
    前記メタデータに基づいて前記映像信号の表示方法を決定する制御部と、
    前記表示方法に基づき前記映像信号を表示する表示部と、を有し、
    前記メタデータは、
    前記映像信号の輝度に関する属性情報である特性データを含み、
    前記特性データは、前記映像信号のマスタリング特性を示す、
    表示装置。
  2. 前記マスタリング特性は、マスタリング前の輝度とマスタリング後の輝度との関係を示す、
    請求項1記載の表示装置。
  3. 前記メタデータは、さらに、前記映像信号の輝度範囲を変換するための変換補助データを含む、
    請求項1記載の表示装置。
  4. 前記変換補助データは、第1の輝度範囲から第2の輝度範囲に変換する方法、又は前記映像信号の輝度のダイナミックレンジを変換する際のトーンマッピング方法を示す、
    請求項記載の表示装置。
  5. 映像信号に対応する映像ストリームと、メタデータと、を再生装置から取得し、
    前記メタデータに基づいて前記映像信号の表示方法を決定し、
    前記表示方法に基づき前記映像信号を表示部に表示する、
    表示方法であり、
    前記メタデータは、
    前記映像信号の輝度に関する属性情報である特性データを含み、
    前記特性データは、前記映像信号のマスタリング特性を示す、
    表示方法。
  6. 請求項記載の表示方法をコンピュータに実行させるためのコンピュータプログラム。
JP2020022117A 2014-06-26 2020-02-13 表示装置、表示方法及びコンピュータプログラム Active JP6928885B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462017577P 2014-06-26 2014-06-26
US62/017,577 2014-06-26
JP2015108904 2015-05-28
JP2015108904 2015-05-28
JP2017093419A JP6671022B2 (ja) 2014-06-26 2017-05-09 表示装置、表示方法及びコンピュータプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017093419A Division JP6671022B2 (ja) 2014-06-26 2017-05-09 表示装置、表示方法及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2020092444A JP2020092444A (ja) 2020-06-11
JP6928885B2 true JP6928885B2 (ja) 2021-09-01

Family

ID=68318657

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020022117A Active JP6928885B2 (ja) 2014-06-26 2020-02-13 表示装置、表示方法及びコンピュータプログラム

Country Status (2)

Country Link
JP (1) JP6928885B2 (ja)
MX (3) MX366608B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112261334B (zh) * 2020-10-21 2023-04-11 广东博华超高清创新中心有限公司 一种支持hdmi 2.1信号单路输入多路输出的传输方法和系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8194997B2 (en) * 2006-03-24 2012-06-05 Sharp Laboratories Of America, Inc. Methods and systems for tone mapping messaging
EP2689392B1 (en) * 2011-03-24 2015-09-02 Koninklijke Philips N.V. Apparatus and method for analyzing image gradings

Also Published As

Publication number Publication date
MX366608B (es) 2019-07-16
JP2020092444A (ja) 2020-06-11
MX2019011771A (es) 2019-11-28
MX2019008307A (es) 2019-09-06

Similar Documents

Publication Publication Date Title
JP6671022B2 (ja) 表示装置、表示方法及びコンピュータプログラム
JP6566320B2 (ja) データ出力装置及びデータ出力方法
JP6566271B2 (ja) 伝送方法及び再生装置
JP6573238B2 (ja) 表示装置、変換装置、表示方法、および、コンピュータプログラム
JP6512458B2 (ja) データ再生方法及び再生装置
WO2015198552A1 (ja) コンテンツデータ生成方法、映像ストリーム伝送方法及び映像表示方法
JP6731627B2 (ja) 再生装置で実行される方法、及び再生装置
JP6928885B2 (ja) 表示装置、表示方法及びコンピュータプログラム
JP2017139511A (ja) コンテンツデータ生成方法、映像ストリーム伝送方法及び映像表示方法
JP7170236B2 (ja) 再生装置
JP6751893B2 (ja) 再生方法、再生装置、表示方法及び表示装置
JP6643669B2 (ja) 表示装置および表示方法

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200312

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200312

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201110

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210622

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210721

R151 Written notification of patent or utility model registration

Ref document number: 6928885

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151