JPWO2018235337A1 - 映像表示システム及び映像表示方法 - Google Patents

映像表示システム及び映像表示方法 Download PDF

Info

Publication number
JPWO2018235337A1
JPWO2018235337A1 JP2018553498A JP2018553498A JPWO2018235337A1 JP WO2018235337 A1 JPWO2018235337 A1 JP WO2018235337A1 JP 2018553498 A JP2018553498 A JP 2018553498A JP 2018553498 A JP2018553498 A JP 2018553498A JP WO2018235337 A1 JPWO2018235337 A1 JP WO2018235337A1
Authority
JP
Japan
Prior art keywords
tone map
video
graphics
brightness
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018553498A
Other languages
English (en)
Other versions
JP7117627B2 (ja
Inventor
山本　雅哉
雅哉 山本
小塚　雅之
雅之 小塚
柏木　吉一郎
吉一郎 柏木
歳朗 西尾
歳朗 西尾
和彦 甲野
和彦 甲野
洋 矢羽田
洋 矢羽田
健 廣田
健 廣田
美裕 森
美裕 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2018235337A1 publication Critical patent/JPWO2018235337A1/ja
Application granted granted Critical
Publication of JP7117627B2 publication Critical patent/JP7117627B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/92—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/66—Transforming electric information into light information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/793—Processing of colour television signals in connection with recording for controlling the level of the chrominance signal, e.g. by means of automatic chroma control circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20008—Globally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Abstract

映像表示システム（１００）は、映像の最大輝度に応じた変換カーブを用いて前記映像の輝度を変換するトーンマップ処理を行うトーンマップ処理部（１２３）と、前記トーンマップ処理後の映像を表示する表示部（１２４）とを備え、前記トーンマップ処理部（１２３）は、前記映像における最大輝度の時系列の変化に応じて、前記変換カーブを時系列に変更する第１トーンマップ処理を行うか、前記映像における最大輝度の時系列の変化に依らず、一定の変換カーブを用いる第２トーンマップ処理を行うか、を切り替える。

Description

本開示は、映像を表示する映像表示システム及び映像表示方法に関する。
特許文献１には、ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）映像において、画像上にグラフィックスをマップするための方法及びシステムについて記載されている。
特許第６１０４４１１号明細書
White Paper Blu-ray Disc Read-Only Format (Ultra HD Blu-ray), Audio Visual Application Format Specifications for BD-ROM Version 3.1, August 2016, http://www.blu-raydisc.com/Assets/Downloadablefile/BD-ROM_Part3_V3.1_WhitePaper_160729_clean.pdf
本開示は、表示する映像の質を向上できる映像表示システム又は映像表示方法を提供する。
本開示の一態様に係る映像表示システムは、映像の最大輝度に応じた変換カーブを用いて前記映像の輝度を変換するトーンマップ処理を行うトーンマップ処理部と、前記トーンマップ処理後の映像を表示する表示部とを備え、前記トーンマップ処理部は、前記映像における最大輝度の時系列の変化に応じて、前記変換カーブを時系列に変更する第１トーンマップ処理を行うか、前記映像における最大輝度の時系列の変化に依らず、一定の変換カーブを用いる第２トーンマップ処理を行うか、を切り替える。
本開示は、表示する映像の質を向上できる映像表示システム又は映像表示方法を提供できる。
図１は、映像技術の進化について説明するための図である。 図２は、コンテンツに新たな映像表現を導入するときの、映像制作、配信方式、及び表示装置の関係について説明するための図である。 図３Ａは、トーンマップの一例を示す図である。 図３Ｂは、トーンマップの一例を示す図である。 図４Ａは、スタティックトーンマップの一例を示す図である。 図４Ｂは、ダイナミックトーンマップの一例を示す図である。 図５は、動画にグラフィックスを重畳して表示する例を示す図である。 図６は、主映像にグラフィックスが重畳されたときのダイナミックトーンマップの影響を示す図である。 図７は、実施の形態１に係る映像表示システムのブロック図である。 図８Ａは、実施の形態１に係る主映像ダイナミックメタデータ及びグラフィックス重畳フラグの一例を示す図である。 図８Ｂは、実施の形態１に係る主映像ダイナミックメタデータ及びグラフィックス重畳フラグの一例を示す図である。 図９は、実施の形態１に係るトーンマップ処理部のブロック図である。 図１０は、実施の形態１に係るトーンマップ処理部の変形例のブロック図である。 図１１Ａは、実施の形態１に係る映像再生装置の処理を示すフローチャートである。 図１１Ｂは、実施の形態１に係る映像表示装置の処理を示すフローチャートである。 図１２Ａは、実施の形態２に係る主映像ダイナミックメタデータ、グラフィックス重畳フラグ及びグラフィックス輝度情報の一例を示す図である。 図１２Ｂは、実施の形態２に係る主映像ダイナミックメタデータ、グラフィックス重畳フラグ及びグラフィックス輝度情報の一例を示す図である。 図１３Ａは、実施の形態２に係る主映像ダイナミックメタデータ、グラフィックス重畳フラグ及びグラフィックス輝度情報の一例を示す図である。 図１３Ｂは、実施の形態２に係る主映像ダイナミックメタデータ、グラフィックス重畳フラグ及びグラフィックス輝度情報の一例を示す図である。 図１４Ａは、従来のトーンマップによる輝度の変化を示す図である。 図１４Ｂは、実施の形態１に係るトーンマップによる輝度の変化を示す図である。 図１５は、実施の形態２に係るトーンマップによる輝度の変化を示す図である。 図１６は、実施の形態３に係るトーンマップ処理部のブロック図である。 図１７は、実施の形態４に係る映像再生装置のブロック図である。 図１８は、実施の形態５に係る映像再生装置のブロック図である。 図１９は、実施の形態５に係るトーンマップの一例を示す図である。 図２０は、実施の形態５に係るトーンマップ情報の一例を示す図である。
［１−１．背景］
まず、映像技術の変遷について、図１を用いて説明する。図１は、映像技術の進化について説明するための図である。
これまで、映像の高画質化としては、表示画素数の拡大に主眼がおかれ、Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ（ＳＤ）の７２０×４８０画素から、Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ（ＨＤ）の１９２０×１０８０画素の映像が普及している。
近年、更なる高画質化を目指して、Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ（ＵＨＤ）の３８４０×１９２０画素、あるいは、４Ｋの４０９６×２０４８画素の、所謂４Ｋ映像の導入が開始された。
４Ｋの導入と共に、ダイナミックレンジ拡張、色域拡大、又は、フレームレートの追加或いは向上なども検討されている。
その中でも、ダイナミックレンジについては、暗部階調を維持しつつ、現行のテレビ信号で表現不能な鏡面反射光などの明るい光を、より現実に近い明るさで表現するための方式として、ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）が注目されている。具体的には、これまでのテレビ信号は、ＳＤＲ（Ｓｔａｎｄａｒｄ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）と呼ばれ、最高輝度が１００ｎｉｔであった。これに対して、ＨＤＲでは１０００ｎｉｔ以上まで最高輝度を拡大することが想定されている。ＨＤＲは、ＳＭＰＴＥ（Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ＆ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ）、及びＩＴＵ−Ｒ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｕｎｉｏｎ Ｒａｄｉｏｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｅｃｔｏｒ）などにおいて、マスタリングディスプレー用規格の標準化が進行中である。
ＨＤＲの具体的な適用先としては、ＨＤ及びＵＨＤと同様に、放送、パッケージメディア（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ等）、及びインターネット配信などが想定されている。
［１−２．マスター生成、配信方式、及び表示装置の関係］
図２は、コンテンツに新たな映像表現を導入するときの、映像制作、配信方式、及び表示装置の関係について説明するための図である。
映像の高画質化のために新たな映像表現（画素数の増加等）を導入する場合には、図２に示すように、（１）映像制作側のＨｏｍｅ Ｅｎｔｅｒｔａｉｎｍｅｎｔ向けマスターを変更する必要がある。それに応じて、（２）放送、通信、及びパッケージメディア等の配信方式も、（３）その映像を表示するテレビ、又はプロジェクター等の表示装置も更新する必要がある。
［１−３．トーンマップ］
トーンマップ（Ｔｏｎｅ Ｍａｐｐｉｎｇ）は、ＨＤＲ映像の輝度と映像表示装置の最大輝度（Ｄｉｓｐｌａｙ Ｐｅａｋ Ｌｕｍｉｎａｎｃｅ：ＤＰＬ）との関係から、映像の最大輝度（Ｍａｘｉｍｕｍ Ｃｏｎｔｅｎｔ Ｌｕｍｉｎａｎｃｅ Ｌｅｖｅｌ：ＭａｘＣＬＬ）がＤＰＬを超える場合に、映像の輝度を変換し、映像の輝度をＤＰＬ以内に収める処理である。この処理により、映像の最大輝度付近の情報を失うことなく映像を表示できる。この変換は、映像表示装置の特性にも依存し、どのように表示するかの考え方にも依存するので、映像表示装置毎に異なった変換カーブが用いられる。
図３Ａ及び図３Ｂは、トーンマップの一例を示す図である。図３Ａは、ＤＰＬが５００ｎｉｔの場合を示し、図３Ｂは、ＤＰＬが１０００ｎｉｔの場合を示す。また、図３Ａ及び図３Ｂは、ＭａｘＣＬＬが１０００ｎｉｔの映像を表示した場合のトーンマップと、ＭａｘＣＬＬが４０００ｎｉｔの映像を表示した場合のトーンマップとの例である。
図３Ａに示すように、ＤＰＬが５００ｎｉｔの場合、どちらの映像も５００ｎｉｔ以下でＭａｘＣＬＬまでを表示できるように、輝度が変換されるが、ＭａｘＣＬＬが高い映像のほうが変換の度合いは大きくなる。
図３Ｂに示すように、ＤＰＬが１０００ｎｉｔの場合、ＭａｘＣＬＬが１０００ｎｉｔの映像では、トーンマップが行われない。ＭａｘＣＬＬが４０００ｎｉｔの映像では、トーンマップが行われ、４０００ｎｉｔの輝度が１０００ｎｉｔに変換されて表示される。
［１−４．ダイナミックメタデータとダイナミックトーンマップ］
図４Ａは、スタティックメタデータを用いたトーンマップの例を示す図である。図４Ｂは、ダイナミックメタデータを用いたダイナミックトーンマップの例を示す図である。
図４Ａに示すように、スタティックメタデータ（ＭａｘＣＬＬ）が用いられる場合、ＭａｘＣＬＬは一連の映像内で最も高い輝度を示すため、映像表示装置は、一連の映像に対して、固定的なトーンマップしか行えない。これに対して、映像表示装置は、図４Ｂの（ａ）に示すように、時間変化する輝度に合わせたメタデータ（ここではＤｙｎａｍｉｃ ＭａｘＣＬＬと称す）を用いることで、輝度が低い場合は、トーンマップを行わず（図４Ｂの（ｂ））、輝度が高い場合はトーンマップを行う（図４Ｂの（ｃ））というように、時間変化する輝度に合わせた最適なトーンマップを実現できる。
［１−５．映像とグラフィックスとの合成］
図５は、動画にメニュー及び字幕などのグラフィックスを重畳して、映像表示装置で表示する例を示す図である。ここでは、Ｕｌｔｒａ ＨＤ Ｂｌｕ−ｒａｙの例を示す。
グラフィックスを重畳する前の動画を主映像と表現する。Ｕｌｔｒａ ＨＤ Ｂｌｕ−ｒａｙではグラフィックスは、ＨＤ解像度で準備される。映像再生装置は、ＨＤのグラフィックスに対してＨＤ−ＵＨＤ変換を行うことでＵＨＤのグラフィックスを生成する。そして、映像再生装置は、得られたＵＨＤのグラフィックスと、ＵＨＤ解像度の主映像とを合成する。そして、映像再生装置は、合成後の映像を、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）を通じて映像表示装置に送る。映像表示装置は、送られてきた映像をＨＤＲとして表示する。
また、映像再生装置は、ダイナミックメタデータを、主映像の輝度の時間変化に基づいて決定し、ＨＤＭＩを通じて、映像表示装置に送る。映像表示装置は、送られてきたダイナミックメタデータに基づき、主映像に字幕及びメニューが重畳された映像信号に対して、ダイナミックトーンマップを施す。
この状況は、放送又は通信によるＯＴＴ（Ｏｖｅｒ Ｔｈｅ Ｔｏｐ）サービスでのＨＤＲ映像を表示する場合でも、主映像にメニュー又は字幕が重畳され、得られた映像が映像表示装置で表示される場合は同様である。
［１−６．動画にグラフィックスを重畳した映像データにダイナミックトーンマップを行う場合の課題］
ダイナミックメタデータ方式では、ＨＤＲ映像の輝度分布などの輝度に関わるメタデータがフレーム毎に指定され、映像信号とともに、そのようなメタデータが、映像表示装置に送られる。映像表示装置は、当該映像表示装置の最大輝度などの表示能力に応じて、送られてきたメタデータを参考にして、輝度を変換するなどの処理を行う。このようなダイナミックメタデータ方式は、映像表示装置の輝度などの表示性能によらずできるだけ一定の品質の映像を表示する方式として、注目されている。
しかしながら、ダイナミックメタデータは、時間的に変化するために、本来一定であるべき映像の表示が、安定しないという問題がある。
表示すべき映像が、同時に編集、又は監修された映像、いわゆる動画だけであるならば、ある程度、映像の状況を考慮した処理が可能である。このような動画を主映像とし、同時に、本来一定であり、まったく変動しない、字幕又はメニューなどのグラフィックスデータが主映像に重畳されて表示されると、ダイナミックメタデータを使用した処理により、一定であるべきグラフィックスの輝度又は色が変化するという悪影響が出てくる。この悪影響は、主映像の輝度が高く、映像表示装置の輝度が低いほど顕著となる。
図６は、主映像にグラフィックスが重畳されたときのダイナミックトーンマップの影響を示す図である。ここで、図６の（ａ）に示すように、重畳されるグラフィックスの輝度を３５０ｎｉｔ仮定する。図６の（ｂ）に示すように主映像の輝度が低い区間では、トーンマップが行われず、グラフィックスは本来の輝度である３５０ｎｉｔで映像表示装置に表示される。一方、図６の（ｃ）に示すように、主映像の輝度が高い区間では、トーンマップが行われ、グラフィックスの輝度は、３５０ｎｉｔより低い輝度で映像表示装置に表示される。このように、本来一定であるべきグラフィックスの輝度が時間的に変動することになり、好ましくない状態となる。ここでは輝度だけの影響としたが、実際の映像表示装置では、色成分も影響を受けるために色も影響を受けることもある。
［１−７．解決方法］
上記課題を避ける手段として、重畳するグラフィックスの位置情報を映像表示装置に送り、グラフィックスが表示されている部分のみ、ダイナミックメタデータを適用しない方法が考えられる。しかし、この方法は、表示画面の全領域において、グラフィックスが表示されているかどうかの情報の伝送が必要であり、映像表示装置での処理も、表示ピクセル単位での判断が必要など、実現はかなり困難である。
本開示では以下の解決方法を用いる。第１の方法では、映像再生装置は、ダイナミックメタデータの情報として、主映像にグラフィックスが重畳されているかいないかを示す「グラフィックス重畳フラグ」を映像表示装置に送る。グラフィックスとしては、メニュー及び字幕があるため、映像再生装置は、「グラフィックス重畳フラグ」として、「メニュー重畳フラグ」及び「字幕重畳フラグ」を映像表示装置に送ってもよい。
映像表示装置は、メニュー重畳フラグの状態により、ダイナミックトーンマップのＯｎ／Ｏｆｆ又はその強さを変化させる。これにより、重畳されたグラフィックスへのダイナミックトーンマップの影響を低減できる。
第２の方法では、映像再生装置は、第１の方法に加え、重畳するグラフィックスの最大輝度の情報をダイナミックメタデータの情報として、映像表示装置に送る。重畳フラグと同様に、字幕とメニューで、最大輝度情報を個別に設けてもよい。
映像表示装置は、グラフィックス重畳フラグとグラフィックスの最大輝度の情報に応じて、より細かく、ダイナミックトーンマップを制御することができる。
第３の方法では、映像表示装置は、フレーム間相関などを用い、一定に表示されるグラフィックスを検出し、その部分に対しては、ダイナミックトーンマップを抑制する。
第４の方法では、Ｕｌｔｒａ ＨＤ Ｂｌｕ−ｒａｙ再生装置、放送受信装置又はインターネット放送受信装置などのＨＤＲ映像再生装置は、接続されている映像表示装置の最大輝度情報に応じて、映像表示装置で行うトーンマップの影響を低減するように重畳するグラフィックスの輝度を変更する。また、映像再生装置は、映像表示装置の最大輝度を、操作者による設定により取得してもよいし、映像再生装置が接続しているＨＤＭＩ上のＥＤＩＤにより映像表示装置から取得してもよい。
映像表示装置によるトーンマップの方法は様々であるので、グラフィックスの輝度の調整は、ある幅で調整可能とする。その調整の方法としては、操作者が設定する方法、又は映像表示装置毎のデータベースより取得した情報に基づき調整を行う方法などがある。
第５の方法では、ＨＤＲ映像再生装置は、グラフィックスを重畳したＨＤＲ映像を表示する映像表示装置のダイナミックトーンマップの方法を仮定し、グラフィックスを重畳する前に、重畳するグラフィックスに映像表示装置におけるダイナミックトーンマップの逆変換を施す。これにより、重畳したグラフィックスが、ダイナミックトーンマップを施した後に、元の輝度及び色で表示されるようにできる。
接続される映像表示装置のダイナミックトーンマップ方法を仮定する方法としては以下の方法を用いることができる。映像再生装置は、簡易的に、影響を受けない最大輝度として、映像表示装置の最大輝度の、例えば９０％に達する映像の輝度などの情報により対応する。より細かくは、映像再生装置は、これらの情報を、データベースより取得して対応してもよい。または、映像再生装置は、テストパターンにより測定を行い、測定結果に基づき設定を行ってもよい。
以上の方法により、放送、Ｂｌｕ−ｒａｙ等のパッケージメディア、又はＯＴＴ等のインターネット配信により送られてきたＨＤＲ映像信号に対して、ダイナミックトーンマップを行う場合において、メニュー又は字幕などのグラフィックスに対するダイナミックトーンマップの影響を低減できる。これにより、安定した字幕又はメニューの表示と、映像表示装置の最大輝度（ＤＰＬ）及び動画の最大輝度に応じたダイナミックトーンマップの効果とを得ることができる。
また、特に、映像の輝度に比較して低い輝度の映像表示装置におけるＨＤＲ効果大きくできる一方、スタティックトーンマップと同様な品位が高いメニュー及び字幕の表示を実現できる。
また、字幕とメニューの処理をわけることで、字幕及びメニューのそれぞれに適した処理により、ダイナミックトーンマップの影響をより少なくすることができる。具体的には、字幕の輝度は、ほぼ一定の輝度であるのに対して、メニューの輝度は変化する。また、字幕を主映像再生時に表示する場合は、最初から最後まで字幕が表示されるとともに、主映像に同期している。一方で、メニューは操作する場合のみに表示されるとともに、主映像とは同期しない。このような、字幕とメニューとの性質の違いを考慮した処理を行うことができる。
［２．実施の形態１］
本実施の形態では、映像再生装置は、グラフィックスを主映像に重畳しているかどうかを示すグラフィックス重畳フラグを、ダイナミックメタデータの一部に埋め込み映像表示装置に送る。映像表示装置は、グラフィックス重畳フラグの状態により、ダイナミックメタデータを用いたダイナミックトーンマップのＯｎ／Ｏｆｆ又はその強さを変化させる。これにより、重畳されたグラフィックスへのダイナミックトーンマップの影響を低減できる。グラフィックス重畳フラグは、字幕の表示の有り／無しを表す字幕重畳フラグと、メニュー表示の有り／無しを示すメニュー重畳フラグとの二つから構成されてもよい。
［２−１．映像表示システムの構成］
図７は、本実施の形態に係る映像表示システム１００の構成を示すブロック図である。図７に示す映像表示システム１００は、映像再生装置１０１と、映像表示装置１０２とを含む。
映像再生装置１０１は、映像を再生し、得られた映像を映像表示装置１０２に出力する。この映像再生装置１０１は、取得部１１１と、デマルチプレクサ１１２と、主映像デコード部１１３と、字幕デコード部１１４と、メニューデコード部１１５と、メタデータ取得部１１６と、グラフィックス合成部１１７と、主映像合成部１１８と、映像送出部１１９とを含む。
取得部１１１は、映像信号を取得する。例えば、映像再生装置１０１がディスク再生装置である場合には、取得部１１１は、ディスクを再生することで映像信号を取得する。また、映像再生装置１０１が放送受信装置である場合は、取得部１１１は、放送波を受信することで映像信号を取得する。また、映像再生装置１０１がインターネット放送受信装置である場合は、取得部１１１は、インターネット放送を受信することで映像信号を取得する。
デマルチプレクサ１１２は、映像信号に含まれる符号化された主映像信号、字幕信号及びメニュー信号をそれぞれ、主映像デコード部１１３、字幕デコード部１１４及びメニューデコード部１１５に出力する。
主映像デコード部１１３は、デマルチプレクサ１１２から出力された符号化された主映像信号を復号する。
字幕デコード部１１４は、デマルチプレクサ１１２から出力された符号化された字幕信号を復号する。また、字幕デコード部１１４は、ユーザの操作等に基づき、字幕を表示するか否か、及び表示する字幕の種別を選択し、字幕を表示する場合には、選択した字幕をグラフィックス合成部１１７に出力する。
メニューデコード部１１５は、デマルチプレクサ１１２から出力された符号化されたメニュー信号を復号する。また、メニューデコード部１１５は、ユーザの操作等に基づき、メニューを表示するか否か、及び表示するメニューの種別を選択し、メニューを表示する場合には、選択したメニューをグラフィックス合成部１１７に出力する。なお、メニューデコード部１１５は、映像信号からの情報だけでなく、映像再生装置１０１で動作するプログラムによりメニューを合成及び表示してもよい。
メタデータ取得部１１６は、主映像ダイナミックメタデータを取得する。例えば、メタデータ取得部１１６は、主映像信号に含まれる情報に基づき主映像ダイナミックデータを生成する。
グラフィックス合成部１１７は、字幕とメニューとを構成することでグラフィックス情報を生成する。なお、上述したようにグラフィックス合成部１１７は、字幕及びメニューの解像度を変換してもよい。例えば、Ｕｌｔｒａ ＨＤ Ｂｌｕ−ｒａｙの場合には、グラフィックス合成部１１７は、ＨＤの字幕及びメニューをＵＨＤの字幕及びメニューに変換する。
また、グラフィックス合成部１１７は、グラフィックス情報を生成し、生成したグラフィックス情報を主映像に重畳する場合、グラフィックス重畳フラグをＯＮとして、映像送出部１１９に送る。また、グラフィックス合成部１１７は、グラフィックス情報を主映像に重畳しない場合、グラフィックス重畳フラグをＯＦＦとして、映像送出部１１９に送る。なお、グラフィックス重畳フラグは、映像再生装置１０１内のプログラムにより生成されてもよいし、他の手段によって生成されてもよい。
主映像合成部１１８は、主映像デコード部１１３で得られた主映像と、グラフィックス合成部１１７で生成されたグラフィックス情報とを合成することで映像信号を生成する。
映像送出部１１９は、主映像合成部１１８で生成された映像信号と、ダイナミックメタデータとを、ＨＤＭＩケーブル等の映像信号伝送手段を介して映像表示装置１０２に伝送する。ダイナミックメタデータは、メタデータ取得部１１６で取得された主映像ダイナミックメタデータと、グラフィックス合成部１１７で生成されたグラフィックス重畳フラグとを含む。
図８Ａは、映像再生装置１０１から映像表示装置１０２に送られる主映像ダイナミックメタデータ及びグラフィックス重畳フラグの構成例を示す図である。図８Ａに示すように、主映像ダイナミックメタデータは、主映像の最大輝度及び平均輝度を示す。例えば、主映像ダイナミックメタデータは、１フレーム単位又は複数フレーム単位の最大輝度及び平均輝度を示す。
図８Ｂは、主映像ダイナミックメタデータ及びグラフィックス重畳フラグの別の構成例を示す図である。図８Ｂに示すようにグラフィックス重畳フラグは、字幕を主映像に重畳しているかどうかを示す字幕重畳フラグと、メニューを主映像に重畳しているかどうかを示すメニュー重畳フラグとを含んでもよい。
次に、映像表示装置１０２の構成について説明する。映像表示装置１０２は、映像受信部１２１と、メタデータ取得部１２２と、トーンマップ処理部１２３と、表示部１２４とを備える。
映像受信部１２１は、映像再生装置１０１から送られてくる映像信号とダイナミックメタデータを受け取る。映像受信部１２１は、映像信号とダイナミックメタデータとを分離し、映像信号をトーンマップ処理部１２３へ送り、ダイナミックメタデータをメタデータ取得部１２２に送る。メタデータ取得部１２２は、ダイナミックメタデータに含まれる主映像ダイナミックメタデータ及びグラフィックス重畳フラグを制御信号として、トーンマップ処理部１２３へ送る。
トーンマップ処理部１２３は、主映像ダイナミックメタデータに従い、映像信号のトーンマップ処理を行う。具体的には、トーンマップ処理部１２３は、グラフィックス重畳フラグがＯＦＦの場合には、主映像ダイナミックメタデータに従い、映像信号のトーンマップ処理（ダイナミックトーンマップ処理）を行う。一方、トーンマップ処理部１２３は、グラフィックス重畳フラグがＯＮの場合は、重畳されているグラフィックスへのダイナミックトーンマップの影響を低減したトーンマップ処理を行う。表示部１２４は、トーンマップ処理後の映像信号を表示する。
［２−２．トーンマップ処理部］
トーンマップ処理部１２３の詳細について説明する。図９は、トーンマップ処理部１２３の構成を示すブロック図である。トーンマップ処理部１２３は、係数演算部１３１と、係数保持部１３２と、トーンマップ部１３３と、切替部ＳＷ１及びＳＷ２とを備える。
映像受信部１２１からの映像信号は、トーンマップ部１３３へ送られる。メタデータ取得部１２２からの主映像ダイナミックメタデータは、係数演算部１３１に送られる。
係数演算部１３１は、トーンマップ部１３３におけるトーンマップ処理で用いられるトーンマップ係数を、映像表示装置１０２の輝度などの映像表示能力に従って算出する。係数保持部１３２は、係数演算部１３１が算出したトーンマップ係数を保持する。ここで、トーンマップ係数とは、トーンマップ処理に用いられる変換カーブを示す関数に含まれる係数である。つまり、トーンマップ係数により変換カーブが決定される。
切替部ＳＷ１は、係数演算部１３１で算出されたトーンマップ係数（Ａ）と、係数保持部１３２に保持されているトーンマップ係数（Ｂ）との一方を選択し、選択したトーンマップ係数をトーンマップ部１３３に送る。切替部ＳＷ２は、係数演算部１３１で算出されたトーンマップ係数（Ａ）と、係数保持部１３２に保持されるトーンマップ係数（Ｂ）との一方を選択し、選択したトーンマップ係数を係数保持部１３２に入力する。つまり、切替部ＳＷ２は、係数保持部１３２に保持されるトーンマップ係数を、係数演算部１３１で新たに算出されたトーンマップ係数に更新するか（Ａ）、現在保持しているトーンマップ係数を引き続き保持するか（Ｂ）を切り替える。
切替部ＳＷ１及びＳＷ２は、連動しており、グラフィックス重畳フラグがＯＦＦの場合は、共にＡに接続され、グラフィックス重畳フラグがＯＮの場合は共にＢに接続される。これにより、グラフィックスが重畳されている場合、ダイナミックメタデータに基づくダイナミックトーンマップが固定される。
また、グラフィックス重畳フラグが、字幕重畳フラグとメニュー重畳フラグとを含む場合、その組み合わせにより、トーンマップ部１３３へ入力されるトーンマップ係数の処理を変えることができる。一例として、字幕重畳フラグがＯＮの場合は、トーンマップ係数を固定とする（切替部ＳＷ１及びＳＷ２はＢに接続される）が、メニュー重畳フラグだけがＯＮの場合は、通常のトーンマップ係数が用いられる（切替部ＳＷ１及びＳＷ２はＡに接続される）などである。
また、本構成は、一例であり、トーンマップ処理部１２３は、グラフィックス重畳フラグがＯＮの場合、トーンマップ係数を特定の輝度以下で固定してもよいし、トーンマップ処理を行わないとしてもよい。
図１０は、トーンマップ係数を特定の輝度以下で固定する場合のトーンマップ処理部１２３Ａの構成を示す図である。トーンマップ処理部１２３Ａは、切替部ＳＷ１の代わりに係数合成部１３４を備える。
係数合成部１３４は、グラフィックス重畳フラグがＯＮの場合、予め定められた輝度である境界輝度以上の輝度に対してはダイナミックトーンマップ処理を行うが、境界輝度未満の輝度に対しては（１）トーンマップを固定する、（２）トーンマップ処理を行わない、（３）トーンマップの変動を抑える、又は（４）トーンマップの影響が人に感知できない程度とするなどの処理を行う。ここで、境界輝度とは、例えば、グラフィックスに用いられている輝度の最大値より高い輝度である。これにより、グラフィックスに用いられる輝度範囲においてトーンマップが変動することが抑制される。また、上記処理において、境界輝度以上の変換カーブと、境界輝度未満の変換カーブとの連続性を維持するために、係数合成部１３４は、これらの境界領域において変換カーブが滑らかに変化するように変換カーブを補正してもよい。
なお、ここでは、映像、字幕、及びメニューのみについての構成を説明したが、映像再生装置１０１、及び映像表示装置１０２では、音声信号なども処理、伝送、及び出力する。これらは、本開示には、かかわりがないために、以降の説明を含め省略している。
また、グラフィックス重畳フラグが、字幕重畳フラグとメニュー重畳フラグとを含む場合、図１０に示す係数合成部１３４は、字幕重畳フラグとメニュー重畳フラグの状態により、異なる合成の方法を用いる。例えば、係数合成部１３４は、字幕重畳フラグがＯＮの場合と、メニュー合成フラグのみがＯＮの場合とで、上記境界輝度を異なる値に設定する。
係数合成部１３４は、表示部１２４の最高輝度、及びその他の映像に関わる特性を考慮して境界輝度を設定する。ここで、一般的にメニューの輝度レベルは字幕の輝度レベルより高い。よって、係数合成部１３４は、メニュー重畳フラグがＯＮの場合には、字幕重畳フラグのみがＯＮの場合に比べて、境界輝度を高く設定する。
なお、メニューは、使用者の意思によって重畳するかどうかが決められるものであり、メニューへのダイナミックトーンマップの影響よりも、主映像のトーンマップを重視するという考え方もできる。よって、係数合成部１３４は、メニュー重畳フラグのみがＯＮの場合には、字幕重畳フラグがＯＮの場合に比べて、境界輝度を低く設定してもよい。
［２−３．映像表示システムの動作］
映像表示システムの動作の流れを説明する。図１１Ａは、映像再生装置１０１の動作を示すフローチャートである。映像再生装置１０１は、映像の再生を開始した後、グラフィックス（字幕、及びメニュー）の処理状態によりグラフィックスが主映像に重畳されているかどうかを判定する（Ｓ１０１）。グラフィックスが主映像に重畳されている場合（Ｓ１０１でＹｅｓ）、映像再生装置１０１は、グラフィックス重畳フラグをＯＮに設定する（Ｓ１０２）。一方、グラフィックスが主映像に重畳されていない場合（Ｓ１０１でＮｏ）、映像再生装置１０１は、グラフィックス重畳フラグをＯＦＦに設定する（Ｓ１０３）。そして、映像再生装置１０１は、映像再生が完了するか、あるいは、再生停止操作があるまで、ステップＳ１０１〜Ｓ１０３の処理を繰り返し行う（Ｓ１０４）。例えば、この処理は、１フレーム単位又は複数フレーム単位で繰り返し行われる。
図１１Ｂは、映像表示装置１０２の動作を示すフローチャートである。映像表示装置１０２は、映像表示の開始と同時にトーンマップ処理を開始する。この時、映像表示装置１０２は、グラフィックス重畳フラグがＯＮであるかＯＦＦであるかを判定する（Ｓ１１１）。グラフィックス重畳フラグがＯＦＦの場合（Ｓ１１１でＮｏ）、映像表示装置１０２は、切替部ＳＷ１及びＳＷ２をＡに接続し、主映像ダイナミックメタデータに基づいたトーンマップ処理を行うことで、トーンマップを更新する（Ｓ１１２）。つまり、係数演算部１３１は、現在時刻の主映像ダイナミックメタデータに基づきトーンマップ係数を算出し、トーンマップ部１３３は、現在時刻の映像に対して、算出されたトーンマップ係数を用いてトーンマップ処理を行う。このとき、係数保持部１３２は、新たに算出されたトーンマップ係数を保持する。
グラフィックス重畳フラグがＯＮになると（Ｓ１１１でＹｅｓ）、映像表示装置１０２は、切替部ＳＷ１及びＳＷ２をＢに接続することで、トーンマップを固定する（Ｓ１１３）。具体的には、係数保持部１３２の入力端子が、自身の出力端子に接続されることにより、係数保持部１３２は、切替部ＳＷ２がＡからＢになる直前のトーンマップ係数を保持する。また、切替部ＳＷ１がＢに接続されることから、トーンマップ部１３３で用いられるトーンマップ係数が固定される。よって、トーンマップの時間変動がなくなる。
また、グラフィックス重畳フラグがＯＦＦになると（Ｓ１１１でＮｏ）、トーンマップ係数の時間変動が開始される（Ｓ１１２）。これらのＳ１１１〜Ｓ１１３の処理が、映像の受信完了又は表示ＯＦＦの操作がなされるまで繰り返し行われる（Ｓ１１４）。例えば、この処理は、１フレーム単位又は複数フレーム単位で繰り返し行われる。
以上のように、本実施の形態に係る映像表示システム１００は、映像の最大輝度に応じた変換カーブを用いて映像の輝度を変換するトーンマップ処理を行うトーンマップ処理部１２３と、トーンマップ処理後の映像を表示する表示部１２４とを備える。トーンマップ処理部１２３は、映像における最大輝度の時系列の変化に応じて、変換カーブを時系列に変更する第１トーンマップ処理を行うか（Ｓ１１２）、映像における最大輝度の時系列の変化に依らず、一定の変換カーブを用いる第２トーンマップ処理を行うか（Ｓ１１３）、を切り替える。
これにより、例えば、映像の種別等に応じて、トーンマップに用いる変換カーブを時系列に変更するか、固定するかを切り替えることができる。よって、映像の種別等に応じて、各時刻において最適なトーンマップを行うか、トーンマップを固定することで、本来一定であるべき映像の輝度が変化することを抑制するかを切り替えることができる。このように、映像表示システム１００は、表示する映像の質を向上できる。
また、映像表示システム１００は、さらに、主映像にグラフィックスを合成することで映像を生成する合成部（主映像合成部１１８及びグラフィックス合成部１１７）を備える。トーンマップ処理部１２３は、主映像にグラフィックスが合成されていない場合（Ｓ１１１でＮｏ）、第１トーンマップ処理を行い（Ｓ１１２）、主映像にグラフィックスが合成された場合（Ｓ１１１でＹｅｓ）、第２トーンマップ処理を行う（Ｓ１１３）。これにより、グラフィックスの輝度の変化を抑制できる。
また、合成部は、主映像にグラフィックスを合成したか否かを示す第１フラグ（グラフィックス重畳フラグ）を生成する。トーンマップ処理部１２３は、第１フラグに応じて、第１トーンマップ処理を行うか、第２トーンマップ処理を行うかを決定する。
また、グラフィックスは、字幕及びメニューを含み、第１フラグは、主映像に字幕を合成したか否かを示す第２フラグ（字幕重畳フラグ）と、主映像にメニューを合成したか否かを示す第３フラグ（メニュー重畳フラグ）とを含む。これによれば、字幕が重畳されている場合とメニューが重畳されている場合とで、それぞれに適したトーンマップ処理を行うことができる。
例えば、トーンマップ処理部１２３は、第１トーンマップ処理から第２トーンマップ処理に切り替わった場合、第２トーンマップ処理において、直前の変換カーブを継続して用いる。これによれば、第１トーンマップ処理から第２トーンマップ処理への切り替わりにおいて輝度が大きく変化することを抑制できる。
例えば、図１０に示すように、トーンマップ処理部１２３Ａは、第２トーンマップ処理において、境界輝度以上の輝度に対しては、映像における最大輝度の時系列の変化に応じて、変換カーブを時系列に変更し、境界輝度未満の輝度に対しては、映像における最大輝度の時系列の変化に依らず、一定の変換カーブを用いる。
これによれば、境界輝度以上の木地に対しては、各時刻において最適なトーンマップを行うことができるとともに、境界輝度未満の輝度に対しては、輝度が変化することを抑制できる。
また、本実施の形態に係る映像表示装置１０２は、映像の最大輝度に応じた変換カーブを用いて映像の輝度を変換するトーンマップ処理を行うトーンマップ処理部１２３と、トーンマップ処理後の映像を表示する表示部１２４とを備える。トーンマップ処理部１２３は、映像における最大輝度の時系列の変化に応じて、変換カーブを時系列に変更する第１トーンマップ処理を行うか（Ｓ１１２）、映像における最大輝度の時系列の変化に依らず、一定の変換カーブを用いる第２トーンマップ処理を行うか（Ｓ１１３）、を切り替える。
これにより、例えば、映像の種別等に応じて、トーンマップに用いる変換カーブを時系列に変更するか、固定するかを切り替えることができる。よって、映像の種別等に応じて、各時刻において最適なトーンマップを行うか、トーンマップを固定することで、本来一定であるべき映像の輝度が変化することを抑制するかを切り替えることができる。このように、映像表示装置１０２は、表示する映像の質を向上できる。
また、トーンマップ処理部１２３は、映像にグラフィックスが含まれない場合（Ｓ１１１でＮｏ）、第１トーンマップ処理を行い（Ｓ１１２）、映像にグラフィックスが含まれる場合（Ｓ１１１でＹｅｓ）、第２トーンマップ処理を行う（Ｓ１１３）。これにより、グラフィックスの輝度の変化を抑制できる。
また、トーンマップ処理部１２３は、第１トーンマップ処理を行うか第２トーンマップ処理を行うかを示す第１フラグ（グラフィックス重畳フラグ）に応じて、第１トーンマップ処理を行うか、第２トーンマップ処理を行うかを決定する。
また、第１フラグは、映像に字幕が含まれるか否かを示す第２フラグ（字幕重畳フラグ）と、映像にメニューが含まれるか否かを示す第３フラグ（メニュー重畳フラグ）とを含む。これによれば、字幕が重畳されている場合とメニューが重畳されている場合とで、それぞれに適したトーンマップ処理を行うことができる。
［３．実施の形態２］
本実施の形態では、実施の形態１の処理に加え、映像再生装置１０１は、主映像に重畳されるグラフィックスの輝度情報をダイナミックメタデータの一部に埋め込む。映像表示装置１０２は、メニュー重畳フラグの状態及びグラフィックスの輝度情報に基づき、ダイナミックトーンマップのＯｎ／Ｏｆｆ又はその強さを変化させる。これにより、重畳されたグラフィックスへのダイナミックトーンマップの影響を低減できる。
［３−１．構成］
本実施の形態に係る映像再生装置１０１は、以下の点が実施の形態１と異なる。図７に示すグラフィックス合成部１１７は、グラフィックス情報を主映像に重畳する場合、グラフィックス重畳フラグをＯＮにするとともに、グラフィックスの輝度情報であるグラフィックス輝度情報を抽出し、抽出したグラフィックス輝度情報を映像送出部１１９に送る。映像送出部１１９は、グラフィックス輝度情報をダイナミックメタデータの一部として、映像表示装置１０２に送出する。グラフィックス合成部１１７は、グラフィックス輝度情報として、予め設定された固定値を用いてもよいし、輝度情報をつどグラフィックス情報から抽出してもよいし、別の手段により提供されるメタデータを参照することでグラフィックス輝度情報を取得してもよい。
また、グラフィックス輝度情報は、字幕の輝度情報とメニューの輝度情報とを含んでもよい。
本実施の形態に係る映像表示装置１０２は、以下の点が実施の形態１と異なる。図７に示すメタデータ取得部１２２は、主映像ダイナミックメタデータ及びグラフィックス重畳フラグに加えグラフィックス輝度情報を取得し、これらの情報をトーンマップ処理部１２３に送る。トーンマップ処理部１２３の詳細構成は、例えば、図１０に示す構成であり、係数合成部１３４を備える。係数合成部１３４には、グラフィックス重畳フラグに加え、グラフィックス輝度情報が入力され、係数合成部１３４は、グラフィックスの輝度情報を用いたトーンマップ係数の合成処理を行う。例えば、係数合成部１３４は、グラフィックス輝度情報以下の輝度については、トーンマップを時間変動しない。つまり、係数合成部１３４は、実施の形態１における境界輝度としてグラフィックス輝度情報を用いる。
また、実施の形態１及び実施の形態２において、係数合成部１３４は、境界輝度を、映像表示装置１０２の設定などに基づき調整してもよい。同様に、映像再生装置１０１は、グラフィックス輝度情報をそのまま映像表示装置１０２に送るのではなく、環境、再生する映像の種類、又は使用者の好みなどに基づき、グラフィックス輝度情報を調整したうえで、映像表示装置１０２に送ってもよい。これらにより、ダイナミックトーンマップのグラフィックスへの影響度合いと主映像への適応度合いを調整できる。
グラフィックス輝度情報は、字幕輝度情報とメニュー輝度情報とを含んでもよい。この場合、係数合成部１３４は、実施の形態１と同様に、字幕とメニューで、ダイナミックトーンマップの合成方法を変えてもよい。
図１２Ａは、本実施の形態において映像再生装置１０１から映像表示装置１０２に送られる主映像ダイナミックメタデータ、グラフィックス重畳フラグ及びグラフィックス輝度情報の構成例を示す図である。グラフィックス輝度情報は、例えば、グラフィックスに用いられている最大輝度を示す。例えば、主映像ダイナミックメタデータは、１フレーム単位又は複数フレーム単位の最大輝度及び平均輝度を示す。
図１２Ｂは、主映像ダイナミックメタデータ、グラフィックス重畳フラグ及びグラフィックス輝度情報の別の構成例を示す図である。図１２Ｂに示すようにグラフィックス輝度情報は、字幕の最大輝度と、メニューの最大輝度とを含んでもよい。
また、グラフィックス輝度情報にグラフィックス重畳フラグの用途が含まれてもよい。例えば、グラフィックス輝度情報の一部又は特定の値が、グラフィックス重畳フラグがＯＦＦであることを示し、その他の値によりグラフィックス重畳フラグがＯＮであることを示してもよい。
図１３Ａは、この場合の映像再生装置１０１から映像表示装置１０２に送られる主映像ダイナミックメタデータ、及びグラフィックス輝度情報の構成例を示す図である。図１３Ａに示す例では、グラフィックス輝度情報は８ビットで構成され、０−１０２０ｎｉｔまでの輝度を示す。値０はグラフィックスが存在するが輝度が不明であることを示し、値１はグラフィックスが存在しないことを示し、その他の値は、８ｎｉｔから１０２０ｎｉｔまで、４ｎｉｔ単位の明るさを示す。なお、グラフィックス輝度情報のビット構成、明るさの範囲、０、１その他の値の意味については、この限りでなく、システム要件に合わせて変更できる。
また、図１３Ｂに示すように、グラフィックス輝度情報が字幕輝度情報とメニュー輝度情報とを含む場合も同様に構成できる。
［３−２．効果］
図１４Ａは、グラフィックスが字幕である場合における、従来のダイナミックトーンマップによる字幕の輝度の変化を示す図である。字幕の輝度レベルが２００ｎｉｔ以下の場合において、時間的にトーンマップが変化すると、図１４Ａからわかるように、０から２００ｎｉｔ付近の輝度も変化し、本来一定である字幕の輝度が変化する。
これに対し、実施の形態１では、所定の境界輝度以下の輝度に対して、トーンマップの時間変化が発生しないようにできる。これにより、図１４Ｂからわかるように、字幕輝度である２００ｎｉｔ以下の時間変化がなく、安定した輝度で字幕が表示される。ここで、境界輝度は、例えば標準的な字幕の輝度レベルより高い固定値であり、変換カーブのニーポイントも固定される。
しかしながら、境界輝度が固定されると、ダイナミックトーンマップの変化幅が制限され、主映像に対して、ダイナミックトーンマップの効果が少なくなると言う課題がある。特に映像表示装置１０２の最大輝度（ＤＰＬ）が低いときに問題が顕著である。もちろん、映像表示装置１０２において、グラフィックスデータの輝度を一定値以下に想定するなどダイナミックトーンマップの方法を工夫することにより、ダイナミックトーンマップの効果を大きくすることができる。しかしながら、この場合、想定以上の輝度のグラフィックスデータが表示される場合に、グラフィックスデータの表示がダイナミックトーンマップの影響を受けやすくなるなどの課題がある。
これに対し、実施の形態２では、字幕の輝度情報に基づいて境界輝度を変化させることができるために、図１５に示すように、より自由度が高いダイナミックトーンマップを主映像に適用できる。図１５では、実際の字幕の輝度が１００ｎｉｔであった場合を図示している。図１５に示すように、この場合、図１４Ｂに示す境界輝度を２００ｎｉｔに固定して処理する場合に対して、より自由度が高いダイナミックトーンマップを実現できる。この効果は、接続する映像表示装置１０２の最大輝度が低いほど大きくなる。
［３−３．詳細な構成例］
本実施の形態では、映像再生装置１０１において、主映像に重畳されるグラフィックスの輝度情報をダイナミックメタデータの一部に埋め込むと説明したが、その埋め込みの方法の例を説明する。
Ｂｌｕ−ｒａｙディスクのようなパッケージメディアでは、映像を再生する場合、連続する１つの再生経路をプレイリストというファイルに定義し、ディスク上に記録している。プレイリストは、ディスク上の映像ストリームのうちどれを再生するのか、その再生開始位置、完了位置あるいは再生時間などの再生管理情報を記録している。
そのプレイリストに、主映像と同時に表示するグラフィックスの輝度情報、もしくは輝度レンジの上限情報、を記録する。これにより、映像再生装置１０１は、容易に主映像とともに表示されるグラフィックスの輝度情報、もしくは輝度レンジの上限情報、を取得し、取得した情報を映像表示装置１０２に送ることができる。
なお、グラフィックス輝度情報は、字幕輝度情報と、メニュー輝度情報とを含んでもよい。また、字幕又はメニューを複数の言語又は複数のバージョンから選択可能な場合、グラフィックス輝度情報は、複数の言語又はバージョンに対応する複数の字幕輝度情報又は複数のメニュー輝度情報を含んでもよい。この場合、複数の字幕輝度情報又は複数のメニュー輝度情報はプレイリストに記録されてもよい。
さらに、グラフィックス輝度情報は、そのプレイリストの再生中の最大輝度だけでなく、シーン毎あるいは単位時間毎の最大輝度を再生時刻情報とともに示してもよい。
なお、このプレイリストに格納するグラフィックス輝度情報は図１５に記載のＭａｘＳＬＬであってもよい。このＭａｘＳＬＬは主映像に重畳されるグラフィックスの最大輝度、及び、主映像のダイナミックトーンマッピングの最小輝度の少なくとも一方である。
なお、Ｂｌｕ−ｒａｙ、Ｕｌｔｒａ ＨＤ Ｂｌｕ−ｒａｙの詳細は、例えば、非特許文献１に記載されている。
以上のように、本実施の形態では、トーンマップ処理部１２３Ａは、グラフィックスの輝度に応じて境界輝度を設定する。これにより、グラフィックスの種別等に応じて、適切な境界輝度を設定できるので、ダイナミックトーンマップを適用できる輝度範囲を広くできる。
［４．実施の形態３］
本実施の形態に係る映像表示装置１０２は、実施の形態１の映像表示装置１０２に加え、主映像に重畳されているグラフィックスの位置を、フレーム間相関などを用いて検出する。映像表示装置１０２は、グラフィックスが重畳されているピクセルに対しては、ダイナミックトーンマップを行わず、時間変動がないトーンマップを適用する。これにより、ダイナミックトーンマップのグラフィックスへの影響を低減できる。
以下、本実施の形態に係る映像表示システム１００の構成を説明する。映像再生装置１０１の構成は、実施の形態１と同様である。なお、映像再生装置１０１は、グラフィックス重畳フラグを映像表示装置１０２へ送る機能を持たなくてもよい場合もある。
映像表示装置１０２が備えるトーンマップ処理部１２３Ｂの構成が実施の形態１と異なる。図１６は、本実施の形態に係るトーンマップ処理部１２３Ｂの構成を示すブロック図である。図１６に示すトーンマップ処理部１２３Ｂは、図１０に示すトーンマップ処理部１２３Ａの構成に加え、グラフィックス検出部１３５を備える。
グラフィックス検出部１３５には、映像信号が入力される。グラフィックス検出部１３５は、フレーム間相関などを用いて、グラフィックスが重畳されている画素位置を検出する。そして、グラフィックス検出部１３５は、グラフィックスが重畳されているかどうかを示す画素単位の情報を、係数合成部１３４へ出力する。
グラフィックス重畳フラグがＯＮの場合、係数合成部１３４は、グラフィックスが重畳されていない画素に対しては、主映像ダイナミックメタデータに基づくトーンマップ係数をトーンマップ部１３３に出力し、グラフィックスが重畳されている画素に対しては、時間変化しないトーンマップ係数をトーンマップ部１３３に出力する。
また、グラフィックス重畳フラグが映像再生装置１０１から送られてこない場合、係数合成部１３４は、グラフィックス検出部１３５で検出された画素単位のグラフィックスが重畳されているかどうかの情報を用いて、トーンマップ係数の合成を行う。つまり、係数合成部１３４は、グラフィックス検出部１３５の出力信号に基づき、グラフィックス重畳フラグを作成してもよい。
例えば、グラフィックス検出部１３５が、処理対象のフレーム又はフレーム群において、１画素又は予め定められた画素数の画素にグラフィックスが存在すると検出した場合、係数合成部１３４は、グラフィックスが重畳されているものとして、グラフィックス重畳フラグをＯＮとして、処理を行う。
この場合、トーンマップ部１３３は、グラフィックス検出部１３５の処理時間による時間遅れを考慮した処理を行う。例えば、この時間遅れが予めトーンマップ部１３３に設定される。
また、トーンマップ部１３３は、グラフィックスとして検出された画素数が予め定められた閾値を超えた場合にグラフィックスが存在すると判定してもよい。これにより、グラフィックスの誤検出を抑制できる。なお、上記閾値は、使用者が変更可能であってもよい。
以上のように、トーンマップ処理部１２３Ｂは、映像内のグラフィックスが重畳されているグラフィックス領域を検出し、グラフィックス領域に対して、第２トーンマップ処理を行い、映像内のグラフィックス領域以外の領域に対して、第１トーンマップ処理を行う。これにより、グラフィックスに対してはトーンマップを固定できるとともに、グラフィックス以外の領域に対しては、ダイナミックトーンマップを行うことができる。
［５．実施の形態４］
実施の形態１とは異なり、本実施の形態では、映像再生装置１０１Ａはグラフィックス重畳フラグを生成せず、映像表示装置１０２は、グラフィックス重畳フラグに基づきダイナミックトーンマップを変更する機能を有さない。その代わりに、映像再生装置１０１Ａは、グラフィックスの輝度を変換する処理を行う。
具体的には、映像再生装置１０１Ａに接続されている映像表示装置１０２の最大輝度情報が映像再生装置１０１Ａに設定される。映像再生装置１０１Ａは、その最大輝度情報に応じて、映像表示装置１０２で行うトーンマップの影響を最小化するよう重畳するグラフィックスの輝度を変更する。これにより、重畳されたグラフィックスへのダイナミックトーンマップの影響を低減できる。
映像再生装置１０１Ａは、映像表示装置１０２の最大輝度情報を、操作者による設定により取得してもよいし、映像再生装置１０１Ａが接続しているＨＤＭＩ上のＥＤＩＤにより映像表示装置１０２から取得してもよい。映像表示装置１０２によるトーンマップの方法は様々であるので、映像再生装置１０１Ａは、グラフィックスの輝度を、ある範囲内で調整する。映像再生装置１０１Ａは、この調整を、操作者による操作に基づき行ってもよいし、映像表示装置１０２毎のデータベースから取得した情報に基づき行ってもよい。
以下、本実施の形態に係る映像再生装置１０１Ａの構成を説明する。図１７は、本実施の形態に係る映像再生装置１０１Ａの構成を示すブロック図である。図１７に示す映像再生装置１０１Ａは、実施の形態１に係る映像再生装置１０１の構成に加え、最大輝度設定部１４１と、輝度変換部１４２とを備える。
最大輝度設定部１４１は、映像表示装置１０２の最大輝度情報を取得し、保持する。例えば、この最大輝度情報は、使用者による操作に基づき設定されてもよいし、映像再生装置１０１Ａに接続されている映像表示装置１０２の属性情報として映像信号伝達装置を介して取得されてもよい。例えば、最大輝度設定部１４１は、映像表示装置１０２の最大輝度情報を、ＨＤＭＩのＥＤＩＤとして取得してもよい。または、最大輝度設定部１４１は、映像表示装置１０２の属性情報をネットワーク上のサーバのデータベースから取得してもよい。
グラフィックス合成部１１７で生成されたグラフィックス情報は、輝度変換部１４２に入力される。輝度変換部１４２は、最大輝度設定部１４１に保持されている映像表示装置１０２の最大輝度情報に基づき、グラフィックス情報の輝度を変換し、変換後のグラフィックス情報を主映像合成部１１８に送る。主映像合成部１１８は、主映像に変換後のグラフィックス情報を重畳する。
例えば、映像表示装置１０２の最大輝度が５００ｎｉｔであり、グラフィックス情報の最大輝度が３００ｎｉｔである場合、輝度変換部１４２は、グラフィックス情報の最大輝度を、映像表示装置１０２の最大輝度の５０％である２５０ｎｉｔに変換する。これにより、映像表示装置１０２におけるトーンマップの影響を低減できる。
なお、変換の条件、及び割合（上記５０％）は、上記に限定されない。また、これらは、使用者により変更されてもよいし、接続される映像表示装置１０２の特性に合わせて変更されてもよい。
以上のように、本実施の形態に係る映像表示システム１００は、表示部１２４と、表示部１２４の最大輝度に応じて、第１映像の輝度を変換することで第２映像を生成する輝度変換部１４２と、第２映像の最大輝度に応じた変換カーブを用いて当該第２映像の輝度を変換することで第３映像を生成するトーンマップ処理を行うトーンマップ処理部１２３とを備え、表示部１２４は、第３映像を表示する。これによれば、トーンマップの変動による輝度の変動を抑制できる。
具体的には、輝度変換部１４２は、表示部１２４の最大輝度に応じて、前記第１映像に含まれるグラフィックスの輝度を変換することで前記第２映像を生成する。これによれば、グラフィックスの輝度の変動を抑制できる。
［６．実施の形態５］
実施の形態４とは異なり、本実施の形態では、映像再生装置１０１Ｂは、映像表示装置１０２におけるダイナミックトーンマップの方法を仮定し、グラフィックスを重畳する前に、重畳するグラフィックスに映像表示装置１０２におけるダイナミックトーンマップの逆変換を施す。これにより、重畳したグラフィックスが、ダイナミックトーンマップを施した後に、もとの輝度及び色で表示されるようにできる。
例えば、映像再生装置１０１Ｂは、接続されている映像表示装置１０２のダイナミックトーンマップの方法を以下の手段により仮定する。簡易的には、映像再生装置１０１Ｂは、影響を受けない最大輝度として、映像表示装置１０２の最大輝度の例えば９０％に達する映像の輝度などの情報により対応する。より細かくは、映像再生装置１０１Ｂは、データベースより映像表示装置１０２のダイナミックトーンマップ方法を取得する。または、映像再生装置１０１Ｂは、テストパターンを用いて測定を行い、測定結果に基づきダイナミックトーンマップの方法を推定する。
以下、本実施の形態に係る映像再生装置１０１Ａの構成を説明する。図１８は、本実施の形態に係る映像再生装置１０１Ｂの構成を示すブロック図である。
図１８に示す映像再生装置１０１Ｂは、図１７に示す実施の形態４に係る映像再生装置１０１Ａに対して、最大輝度設定部１４１の代わりにトーンマップ情報保持部１４３を備える。また、メタデータ取得部１１６から出力される主映像ダイナミックメタデータが、輝度変換部１４２に送られる。
トーンマップ情報保持部１４３は、映像表示装置１０２のトーンマップ処理に関わるトーンマップ情報を保持する。輝度変換部１４２は、このトーンマップ情報と主映像ダイナミックメタデータとを用いて、グラフィックス情報に対して、映像表示装置１０２で行われるトーンマップの逆変換を施し、逆変換されたグラフィックス情報を主映像合成部１１８に出力する。主映像合成部１１８は、主映像に、トーンマップの逆変換が施されたグラフィックスを重畳する。
これにより、映像信号を受けた映像表示装置１０２においてトーンマップが行われた場合に、トーンマップの逆変換を受けたグラフィックス部分は、元のグラフィックスとして表示される。よって、映像表示装置１０２のトーンマップの影響を低減できる。
図１９は、映像表示装置１０２で用いられるトーンマップの一例を示す図である。図２０は、この場合のトーンマップ情報の一例を示す図である。例えば、トーンマップ情報は、映像表示装置１０２の輝度情報と、映像表示装置１０２のトーンマップ情報とを含む。映像表示装置１０２の輝度情報は、映像表示装置１０２の最大輝度と、全画素に対して同時に表示可能な最大輝度である全画面表示最大輝度とを示す。また、映像表示装置１０２のトーンマップ情報は、トーンマップにおける変極点を示し、例えば、変極点の輝度又は変極点間の傾きの増分が示される。
なお、トーンマップ情報の構成は上記に限定されない。例えば、トーンマップ情報は、図２０に示す情報のうち一部の情報のみを含んでもよい。
また、映像表示装置１０２のトーンマップの逆変換の条件、又は割合（例えば上記９０％）は、使用者により変更されてもよいし、接続する映像表示装置１０２毎に変更されてもよい。
また、映像再生装置１０１Ｂは、映像表示装置１０２のトーンマップ情報を、利用者による設定により取得してもよいし、映像再生装置１０１Ｂに接続されている映像表示装置１０２の属性として映像信号伝達装置を介して取得してもよい。例えば、映像再生装置１０１Ｂは、トーンマップ情報を、ＨＤＭＩのＥＤＩＤとして取得してもよい。または、映像再生装置１０１Ｂは、接続されている映像表示装置１０２の属性情報をネットワーク上のサーバのデータベースから取得してもよい。
以上のように、本実施の形態に係る映像表示システム１００は、第１映像の輝度を変換することで第２映像を生成する輝度変換部１４２と、第２映像の最大輝度に応じた変換カーブを用いて当該第２映像の輝度を変換することで第３映像を生成するトーンマップ処理を行うトーンマップ処理部１２３と、第３映像を表示する表示部１２４とを備える。輝度変換部１４２は、トーンマップ処理部１２３によるトーンマップ処理に応じて、第１映像の輝度を変換する。これによれば、トーンマップの変動による輝度の変動を抑制できる。
具体的には、輝度変換部１４２は、第１映像の最大輝度と、トーンマップ処理部１２３によるトーンマップ処理で用いられる変換カーブとに基づき、第１映像の輝度を変換する。
［７．変形例］
取得部１１１が取得するＨＤＲ映像は、例えばＢｌｕ−ｒａｙディスク、ＤＶＤ、Ｉｎｔｅｒｎｅｔの動画配信サイト、放送、又はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）内の映像であってもよい。
上記映像再生装置は、ディスクプレイヤー、ディスクレコーダ、セットトップボックス、テレビ、パーソナルコンピュータ、又はスマートフォンなど、記録媒体、放送又はインターネットからの圧縮された映像信号を復号し、映像表示装置に送る装置でもよい。また、映像再生装置の機能の一部又は全てが、映像表示装置１０２に含まれてもよい。例えば、映像再生装置に含まれる処理部のうち、取得部１１１以外の処理部が映像表示装置１０２に含まれてもよい。また、映像表示装置１０２に含まれる映像受信部１２１、メタデータ取得部１２２及びトーンマップ処理部１２３が映像再生装置に含まれてもよい。また、トーンマップ処理部１２３に含まれる処理部のうちトーンマップ部１３３以外の処理部が映像再生装置に含まれてもよい。
映像再生装置からの映像信号を映像表示装置に伝送する映像信号伝送手段は、ＨＤＭＩ、ＤＶＩ、又はＤＰなどの映像信号を非圧縮の状態で伝送する手段であってもよいし、ネットワークを通じた伝送のように映像信号を圧縮した形式で伝送する手段であってもよい。
映像表示装置の最大輝度情報又はトーンマップ情報の映像再生装置への設定は、利用者が映像再生装置にリモートコントローラなどを用いて入力することで行われてもよいし、利用者が映像再生装置が備える操作装置を用いて入力することで行われてもよい。または、利用者は、インターネット又はその他の手段を用いて、これらの情報を取得し、取得した情報をポータブル記憶媒体に保存し、ポータブル記憶媒体を介して、これらの情報を映像再生装置に送ってもよい。また、映像再生装置が直接、インターネットに接続され、映像再生装置は、サーバのデータベースから、これらの情報を取得してもよい。さらに、映像再生装置は、映像表示装置にテストパターンを表示し、表示されたテストパターンを用いて映像表示装置の特性を確認しながら、これらの情報を取得及び記憶してもよい。
映像表示装置のトーンマップ情報は、実施の形態５では、変極点が２箇所の場合を例示したが、３箇所以上の変極点で定義されてもよいし、曲線により定義されてもよい。
映像再生装置は、グラフィックス（字幕又はメニュー）の輝度をそのデータから検出することでグラフィックス輝度情報（字幕輝度情報及びメニュー輝度情報を含む）を生成してもよいし、映像データ作成時に予め作成されたグラフィックスの輝度を取得してもよい。例えば、グラフィックスの輝度は、ディスクに記録されていてもよいし、メタデータとして放送又はＩｎｔｅｒｎｅｔで送付されてもよい。映像再生装置は、グラフィックスの輝度を読み取り、ダイナミックメタデータの一部として映像表示装置に送る。あるいは、Ｉｎｔｅｒｎｅｔに接続されたサーバのデータベースに、再生するコンテンツに対する情報として、グラフィックス（字幕又はメニュー）の輝度情報が記録されており、映像再生装置は、当該データベースからグラフィックスの輝度情報を取得し、取得した輝度情報を映像表示装置に送ってもよい。
以上、本開示の実施の形態に係る映像表示システムについて説明したが、本開示は、この実施の形態に限定されるものではない。
また、上記実施の形態に係る映像表示システムに含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
また、本開示は、映像表示システムにより実行される各種方法として実現されてもよい。
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
以上、一つまたは複数の態様に係る映像表示システムについて、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
本開示は、映像表示システム、映像再生装置又は映像表示装置に適用できる。
１００ 映像表示システム
１０１、１０１Ａ、１０１Ｂ 映像再生装置
１０２ 映像表示装置
１１１ 取得部
１１２ デマルチプレクサ
１１３ 主映像デコード部
１１４ 字幕デコード部
１１５ メニューデコード部
１１６、１２２ メタデータ取得部
１１７ グラフィックス合成部
１１８ 主映像合成部
１１９ 映像送出部
１２１ 映像受信部
１２３、１２３Ａ、１２３Ｂ トーンマップ処理部
１２４ 表示部
１３１ 係数演算部
１３２ 係数保持部
１３３ トーンマップ部
１３４ 係数合成部
１３５ グラフィックス検出部
１４１ 最大輝度設定部
１４２ 輝度変換部
１４３ トーンマップ情報保持部
本開示は、映像を表示する映像表示システム及び映像表示方法に関する。
特許文献１には、ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）映像において、画像上にグラフィックスをマップするための方法及びシステムについて記載されている。
特許第６１０４４１１号明細書
White Paper Blu-ray Disc Read-Only Format (Ultra HD Blu-ray), Audio Visual Application Format Specifications for BD-ROM Version 3.1, August 2016, http://www.blu-raydisc.com/Assets/Downloadablefile/BD-ROM_Part3_V3.1_WhitePaper_160729_clean.pdf
本開示は、表示する映像の質を向上できる映像表示システム又は映像表示方法を提供する。
本開示の一態様に係る映像表示システムは、映像の最大輝度に応じた変換カーブを用いて前記映像の輝度を変換するトーンマップ処理を行うトーンマップ処理部と、前記トーンマップ処理後の映像を表示する表示部とを備え、前記トーンマップ処理部は、前記映像における最大輝度の時系列の変化に応じて、前記変換カーブを時系列に変更する第１トーンマップ処理を行うか、前記映像における最大輝度の時系列の変化に依らず、一定の変換カーブを用いる第２トーンマップ処理を行うか、を切り替える。
本開示は、表示する映像の質を向上できる映像表示システム又は映像表示方法を提供できる。
図１は、映像技術の進化について説明するための図である。 図２は、コンテンツに新たな映像表現を導入するときの、映像制作、配信方式、及び表示装置の関係について説明するための図である。 図３Ａは、トーンマップの一例を示す図である。 図３Ｂは、トーンマップの一例を示す図である。 図４Ａは、スタティックトーンマップの一例を示す図である。 図４Ｂは、ダイナミックトーンマップの一例を示す図である。 図５は、動画にグラフィックスを重畳して表示する例を示す図である。 図６は、主映像にグラフィックスが重畳されたときのダイナミックトーンマップの影響を示す図である。 図７は、実施の形態１に係る映像表示システムのブロック図である。 図８Ａは、実施の形態１に係る主映像ダイナミックメタデータ及びグラフィックス重畳フラグの一例を示す図である。 図８Ｂは、実施の形態１に係る主映像ダイナミックメタデータ及びグラフィックス重畳フラグの一例を示す図である。 図９は、実施の形態１に係るトーンマップ処理部のブロック図である。 図１０は、実施の形態１に係るトーンマップ処理部の変形例のブロック図である。 図１１Ａは、実施の形態１に係る映像再生装置の処理を示すフローチャートである。 図１１Ｂは、実施の形態１に係る映像表示装置の処理を示すフローチャートである。 図１２Ａは、実施の形態２に係る主映像ダイナミックメタデータ、グラフィックス重畳フラグ及びグラフィックス輝度情報の一例を示す図である。 図１２Ｂは、実施の形態２に係る主映像ダイナミックメタデータ、グラフィックス重畳フラグ及びグラフィックス輝度情報の一例を示す図である。 図１３Ａは、実施の形態２に係る主映像ダイナミックメタデータ、グラフィックス重畳フラグ及びグラフィックス輝度情報の一例を示す図である。 図１３Ｂは、実施の形態２に係る主映像ダイナミックメタデータ、グラフィックス重畳フラグ及びグラフィックス輝度情報の一例を示す図である。 図１４Ａは、従来のトーンマップによる輝度の変化を示す図である。 図１４Ｂは、実施の形態１に係るトーンマップによる輝度の変化を示す図である。 図１５は、実施の形態２に係るトーンマップによる輝度の変化を示す図である。 図１６は、実施の形態３に係るトーンマップ処理部のブロック図である。 図１７は、実施の形態４に係る映像再生装置のブロック図である。 図１８は、実施の形態５に係る映像再生装置のブロック図である。 図１９は、実施の形態５に係るトーンマップの一例を示す図である。 図２０は、実施の形態５に係るトーンマップ情報の一例を示す図である。
［１−１．背景］
まず、映像技術の変遷について、図１を用いて説明する。図１は、映像技術の進化について説明するための図である。
これまで、映像の高画質化としては、表示画素数の拡大に主眼がおかれ、Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ（ＳＤ）の７２０×４８０画素から、Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ（ＨＤ）の１９２０×１０８０画素の映像が普及している。
近年、更なる高画質化を目指して、Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ（ＵＨＤ）の３８４０×１９２０画素、あるいは、４Ｋの４０９６×２０４８画素の、所謂４Ｋ映像の導入が開始された。
４Ｋの導入と共に、ダイナミックレンジ拡張、色域拡大、又は、フレームレートの追加或いは向上なども検討されている。
その中でも、ダイナミックレンジについては、暗部階調を維持しつつ、現行のテレビ信号で表現不能な鏡面反射光などの明るい光を、より現実に近い明るさで表現するための方式として、ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）が注目されている。具体的には、これまでのテレビ信号は、ＳＤＲ（Ｓｔａｎｄａｒｄ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）と呼ばれ、最高輝度が１００ｎｉｔであった。これに対して、ＨＤＲでは１０００ｎｉｔ以上まで最高輝度を拡大することが想定されている。ＨＤＲは、ＳＭＰＴＥ（Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ＆ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ）、及びＩＴＵ−Ｒ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｕｎｉｏｎ Ｒａｄｉｏｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｅｃｔｏｒ）などにおいて、マスタリングディスプレー用規格の標準化が進行中である。
ＨＤＲの具体的な適用先としては、ＨＤ及びＵＨＤと同様に、放送、パッケージメディア（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ等）、及びインターネット配信などが想定されている。
［１−２．マスター生成、配信方式、及び表示装置の関係］
図２は、コンテンツに新たな映像表現を導入するときの、映像制作、配信方式、及び表示装置の関係について説明するための図である。
映像の高画質化のために新たな映像表現（画素数の増加等）を導入する場合には、図２に示すように、（１）映像制作側のＨｏｍｅ Ｅｎｔｅｒｔａｉｎｍｅｎｔ向けマスターを変更する必要がある。それに応じて、（２）放送、通信、及びパッケージメディア等の配信方式も、（３）その映像を表示するテレビ、又はプロジェクター等の表示装置も更新する必要がある。
［１−３．トーンマップ］
トーンマップ（Ｔｏｎｅ Ｍａｐｐｉｎｇ）は、ＨＤＲ映像の輝度と映像表示装置の最大輝度（Ｄｉｓｐｌａｙ Ｐｅａｋ Ｌｕｍｉｎａｎｃｅ：ＤＰＬ）との関係から、映像の最大輝度（Ｍａｘｉｍｕｍ Ｃｏｎｔｅｎｔ Ｌｕｍｉｎａｎｃｅ Ｌｅｖｅｌ：ＭａｘＣＬＬ）がＤＰＬを超える場合に、映像の輝度を変換し、映像の輝度をＤＰＬ以内に収める処理である。この処理により、映像の最大輝度付近の情報を失うことなく映像を表示できる。この変換は、映像表示装置の特性にも依存し、どのように表示するかの考え方にも依存するので、映像表示装置毎に異なった変換カーブが用いられる。
図３Ａ及び図３Ｂは、トーンマップの一例を示す図である。図３Ａは、ＤＰＬが５００ｎｉｔの場合を示し、図３Ｂは、ＤＰＬが１０００ｎｉｔの場合を示す。また、図３Ａ及び図３Ｂは、ＭａｘＣＬＬが１０００ｎｉｔの映像を表示した場合のトーンマップと、ＭａｘＣＬＬが４０００ｎｉｔの映像を表示した場合のトーンマップとの例である。
図３Ａに示すように、ＤＰＬが５００ｎｉｔの場合、どちらの映像も５００ｎｉｔ以下でＭａｘＣＬＬまでを表示できるように、輝度が変換されるが、ＭａｘＣＬＬが高い映像のほうが変換の度合いは大きくなる。
図３Ｂに示すように、ＤＰＬが１０００ｎｉｔの場合、ＭａｘＣＬＬが１０００ｎｉｔの映像では、トーンマップが行われない。ＭａｘＣＬＬが４０００ｎｉｔの映像では、トーンマップが行われ、４０００ｎｉｔの輝度が１０００ｎｉｔに変換されて表示される。
［１−４．ダイナミックメタデータとダイナミックトーンマップ］
図４Ａは、スタティックメタデータを用いたトーンマップの例を示す図である。図４Ｂは、ダイナミックメタデータを用いたダイナミックトーンマップの例を示す図である。
図４Ａに示すように、スタティックメタデータ（ＭａｘＣＬＬ）が用いられる場合、ＭａｘＣＬＬは一連の映像内で最も高い輝度を示すため、映像表示装置は、一連の映像に対して、固定的なトーンマップしか行えない。これに対して、映像表示装置は、図４Ｂの（ａ）に示すように、時間変化する輝度に合わせたメタデータ（ここではＤｙｎａｍｉｃ ＭａｘＣＬＬと称す）を用いることで、輝度が低い場合は、トーンマップを行わず（図４Ｂの（ｂ））、輝度が高い場合はトーンマップを行う（図４Ｂの（ｃ））というように、時間変化する輝度に合わせた最適なトーンマップを実現できる。
［１−５．映像とグラフィックスとの合成］
図５は、動画にメニュー及び字幕などのグラフィックスを重畳して、映像表示装置で表示する例を示す図である。ここでは、Ｕｌｔｒａ ＨＤ Ｂｌｕ−ｒａｙの例を示す。
グラフィックスを重畳する前の動画を主映像と表現する。Ｕｌｔｒａ ＨＤ Ｂｌｕ−ｒａｙではグラフィックスは、ＨＤ解像度で準備される。映像再生装置は、ＨＤのグラフィックスに対してＨＤ−ＵＨＤ変換を行うことでＵＨＤのグラフィックスを生成する。そして、映像再生装置は、得られたＵＨＤのグラフィックスと、ＵＨＤ解像度の主映像とを合成する。そして、映像再生装置は、合成後の映像を、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）を通じて映像表示装置に送る。映像表示装置は、送られてきた映像をＨＤＲとして表示する。
また、映像再生装置は、ダイナミックメタデータを、主映像の輝度の時間変化に基づいて決定し、ＨＤＭＩを通じて、映像表示装置に送る。映像表示装置は、送られてきたダイナミックメタデータに基づき、主映像に字幕及びメニューが重畳された映像信号に対して、ダイナミックトーンマップを施す。
この状況は、放送又は通信によるＯＴＴ（Ｏｖｅｒ Ｔｈｅ Ｔｏｐ）サービスでのＨＤＲ映像を表示する場合でも、主映像にメニュー又は字幕が重畳され、得られた映像が映像表示装置で表示される場合は同様である。
［１−６．動画にグラフィックスを重畳した映像データにダイナミックトーンマップを行う場合の課題］
ダイナミックメタデータ方式では、ＨＤＲ映像の輝度分布などの輝度に関わるメタデータがフレーム毎に指定され、映像信号とともに、そのようなメタデータが、映像表示装置に送られる。映像表示装置は、当該映像表示装置の最大輝度などの表示能力に応じて、送られてきたメタデータを参考にして、輝度を変換するなどの処理を行う。このようなダイナミックメタデータ方式は、映像表示装置の輝度などの表示性能によらずできるだけ一定の品質の映像を表示する方式として、注目されている。
しかしながら、ダイナミックメタデータは、時間的に変化するために、本来一定であるべき映像の表示が、安定しないという問題がある。
表示すべき映像が、同時に編集、又は監修された映像、いわゆる動画だけであるならば、ある程度、映像の状況を考慮した処理が可能である。このような動画を主映像とし、同時に、本来一定であり、まったく変動しない、字幕又はメニューなどのグラフィックスデータが主映像に重畳されて表示されると、ダイナミックメタデータを使用した処理により、一定であるべきグラフィックスの輝度又は色が変化するという悪影響が出てくる。この悪影響は、主映像の輝度が高く、映像表示装置の輝度が低いほど顕著となる。
図６は、主映像にグラフィックスが重畳されたときのダイナミックトーンマップの影響を示す図である。ここで、図６の（ａ）に示すように、重畳されるグラフィックスの輝度を３５０ｎｉｔ仮定する。図６の（ｂ）に示すように主映像の輝度が低い区間では、トーンマップが行われず、グラフィックスは本来の輝度である３５０ｎｉｔで映像表示装置に表示される。一方、図６の（ｃ）に示すように、主映像の輝度が高い区間では、トーンマップが行われ、グラフィックスの輝度は、３５０ｎｉｔより低い輝度で映像表示装置に表示される。このように、本来一定であるべきグラフィックスの輝度が時間的に変動することになり、好ましくない状態となる。ここでは輝度だけの影響としたが、実際の映像表示装置では、色成分も影響を受けるために色も影響を受けることもある。
［１−７．解決方法］
上記課題を避ける手段として、重畳するグラフィックスの位置情報を映像表示装置に送り、グラフィックスが表示されている部分のみ、ダイナミックメタデータを適用しない方法が考えられる。しかし、この方法は、表示画面の全領域において、グラフィックスが表示されているかどうかの情報の伝送が必要であり、映像表示装置での処理も、表示ピクセル単位での判断が必要など、実現はかなり困難である。
本開示では以下の解決方法を用いる。第１の方法では、映像再生装置は、ダイナミックメタデータの情報として、主映像にグラフィックスが重畳されているかいないかを示す「グラフィックス重畳フラグ」を映像表示装置に送る。グラフィックスとしては、メニュー及び字幕があるため、映像再生装置は、「グラフィックス重畳フラグ」として、「メニュー重畳フラグ」及び「字幕重畳フラグ」を映像表示装置に送ってもよい。
映像表示装置は、メニュー重畳フラグの状態により、ダイナミックトーンマップのＯｎ／Ｏｆｆ又はその強さを変化させる。これにより、重畳されたグラフィックスへのダイナミックトーンマップの影響を低減できる。
第２の方法では、映像再生装置は、第１の方法に加え、重畳するグラフィックスの最大輝度の情報をダイナミックメタデータの情報として、映像表示装置に送る。重畳フラグと同様に、字幕とメニューで、最大輝度情報を個別に設けてもよい。
映像表示装置は、グラフィックス重畳フラグとグラフィックスの最大輝度の情報に応じて、より細かく、ダイナミックトーンマップを制御することができる。
第３の方法では、映像表示装置は、フレーム間相関などを用い、一定に表示されるグラフィックスを検出し、その部分に対しては、ダイナミックトーンマップを抑制する。
第４の方法では、Ｕｌｔｒａ ＨＤ Ｂｌｕ−ｒａｙ再生装置、放送受信装置又はインターネット放送受信装置などのＨＤＲ映像再生装置は、接続されている映像表示装置の最大輝度情報に応じて、映像表示装置で行うトーンマップの影響を低減するように重畳するグラフィックスの輝度を変更する。また、映像再生装置は、映像表示装置の最大輝度を、操作者による設定により取得してもよいし、映像再生装置が接続しているＨＤＭＩ上のＥＤＩＤにより映像表示装置から取得してもよい。
映像表示装置によるトーンマップの方法は様々であるので、グラフィックスの輝度の調整は、ある幅で調整可能とする。その調整の方法としては、操作者が設定する方法、又は映像表示装置毎のデータベースより取得した情報に基づき調整を行う方法などがある。
第５の方法では、ＨＤＲ映像再生装置は、グラフィックスを重畳したＨＤＲ映像を表示する映像表示装置のダイナミックトーンマップの方法を仮定し、グラフィックスを重畳する前に、重畳するグラフィックスに映像表示装置におけるダイナミックトーンマップの逆変換を施す。これにより、重畳したグラフィックスが、ダイナミックトーンマップを施した後に、元の輝度及び色で表示されるようにできる。
接続される映像表示装置のダイナミックトーンマップ方法を仮定する方法としては以下の方法を用いることができる。映像再生装置は、簡易的に、影響を受けない最大輝度として、映像表示装置の最大輝度の、例えば９０％に達する映像の輝度などの情報により対応する。より細かくは、映像再生装置は、これらの情報を、データベースより取得して対応してもよい。または、映像再生装置は、テストパターンにより測定を行い、測定結果に基づき設定を行ってもよい。
以上の方法により、放送、Ｂｌｕ−ｒａｙ等のパッケージメディア、又はＯＴＴ等のインターネット配信により送られてきたＨＤＲ映像信号に対して、ダイナミックトーンマップを行う場合において、メニュー又は字幕などのグラフィックスに対するダイナミックトーンマップの影響を低減できる。これにより、安定した字幕又はメニューの表示と、映像表示装置の最大輝度（ＤＰＬ）及び動画の最大輝度に応じたダイナミックトーンマップの効果とを得ることができる。
また、特に、映像の輝度に比較して低い輝度の映像表示装置におけるＨＤＲ効果大きくできる一方、スタティックトーンマップと同様な品位が高いメニュー及び字幕の表示を実現できる。
また、字幕とメニューの処理をわけることで、字幕及びメニューのそれぞれに適した処理により、ダイナミックトーンマップの影響をより少なくすることができる。具体的には、字幕の輝度は、ほぼ一定の輝度であるのに対して、メニューの輝度は変化する。また、字幕を主映像再生時に表示する場合は、最初から最後まで字幕が表示されるとともに、主映像に同期している。一方で、メニューは操作する場合のみに表示されるとともに、主映像とは同期しない。このような、字幕とメニューとの性質の違いを考慮した処理を行うことができる。
［２．実施の形態１］
本実施の形態では、映像再生装置は、グラフィックスを主映像に重畳しているかどうかを示すグラフィックス重畳フラグを、ダイナミックメタデータの一部に埋め込み映像表示装置に送る。映像表示装置は、グラフィックス重畳フラグの状態により、ダイナミックメタデータを用いたダイナミックトーンマップのＯｎ／Ｏｆｆ又はその強さを変化させる。これにより、重畳されたグラフィックスへのダイナミックトーンマップの影響を低減できる。グラフィックス重畳フラグは、字幕の表示の有り／無しを表す字幕重畳フラグと、メニュー表示の有り／無しを示すメニュー重畳フラグとの二つから構成されてもよい。
［２−１．映像表示システムの構成］
図７は、本実施の形態に係る映像表示システム１００の構成を示すブロック図である。図７に示す映像表示システム１００は、映像再生装置１０１と、映像表示装置１０２とを含む。
映像再生装置１０１は、映像を再生し、得られた映像を映像表示装置１０２に出力する。この映像再生装置１０１は、取得部１１１と、デマルチプレクサ１１２と、主映像デコード部１１３と、字幕デコード部１１４と、メニューデコード部１１５と、メタデータ取得部１１６と、グラフィックス合成部１１７と、主映像合成部１１８と、映像送出部１１９とを含む。
取得部１１１は、映像信号を取得する。例えば、映像再生装置１０１がディスク再生装置である場合には、取得部１１１は、ディスクを再生することで映像信号を取得する。また、映像再生装置１０１が放送受信装置である場合は、取得部１１１は、放送波を受信することで映像信号を取得する。また、映像再生装置１０１がインターネット放送受信装置である場合は、取得部１１１は、インターネット放送を受信することで映像信号を取得する。
デマルチプレクサ１１２は、映像信号に含まれる符号化された主映像信号、字幕信号及びメニュー信号をそれぞれ、主映像デコード部１１３、字幕デコード部１１４及びメニューデコード部１１５に出力する。
主映像デコード部１１３は、デマルチプレクサ１１２から出力された符号化された主映像信号を復号する。
字幕デコード部１１４は、デマルチプレクサ１１２から出力された符号化された字幕信号を復号する。また、字幕デコード部１１４は、ユーザの操作等に基づき、字幕を表示するか否か、及び表示する字幕の種別を選択し、字幕を表示する場合には、選択した字幕をグラフィックス合成部１１７に出力する。
メニューデコード部１１５は、デマルチプレクサ１１２から出力された符号化されたメニュー信号を復号する。また、メニューデコード部１１５は、ユーザの操作等に基づき、メニューを表示するか否か、及び表示するメニューの種別を選択し、メニューを表示する場合には、選択したメニューをグラフィックス合成部１１７に出力する。なお、メニューデコード部１１５は、映像信号からの情報だけでなく、映像再生装置１０１で動作するプログラムによりメニューを合成及び表示してもよい。
メタデータ取得部１１６は、主映像ダイナミックメタデータを取得する。例えば、メタデータ取得部１１６は、主映像信号に含まれる情報に基づき主映像ダイナミックデータを生成する。
グラフィックス合成部１１７は、字幕とメニューとを構成することでグラフィックス情報を生成する。なお、上述したようにグラフィックス合成部１１７は、字幕及びメニューの解像度を変換してもよい。例えば、Ｕｌｔｒａ ＨＤ Ｂｌｕ−ｒａｙの場合には、グラフィックス合成部１１７は、ＨＤの字幕及びメニューをＵＨＤの字幕及びメニューに変換する。
また、グラフィックス合成部１１７は、グラフィックス情報を生成し、生成したグラフィックス情報を主映像に重畳する場合、グラフィックス重畳フラグをＯＮとして、映像送出部１１９に送る。また、グラフィックス合成部１１７は、グラフィックス情報を主映像に重畳しない場合、グラフィックス重畳フラグをＯＦＦとして、映像送出部１１９に送る。なお、グラフィックス重畳フラグは、映像再生装置１０１内のプログラムにより生成されてもよいし、他の手段によって生成されてもよい。
主映像合成部１１８は、主映像デコード部１１３で得られた主映像と、グラフィックス合成部１１７で生成されたグラフィックス情報とを合成することで映像信号を生成する。
映像送出部１１９は、主映像合成部１１８で生成された映像信号と、ダイナミックメタデータとを、ＨＤＭＩケーブル等の映像信号伝送手段を介して映像表示装置１０２に伝送する。ダイナミックメタデータは、メタデータ取得部１１６で取得された主映像ダイナミックメタデータと、グラフィックス合成部１１７で生成されたグラフィックス重畳フラグとを含む。
図８Ａは、映像再生装置１０１から映像表示装置１０２に送られる主映像ダイナミックメタデータ及びグラフィックス重畳フラグの構成例を示す図である。図８Ａに示すように、主映像ダイナミックメタデータは、主映像の最大輝度及び平均輝度を示す。例えば、主映像ダイナミックメタデータは、１フレーム単位又は複数フレーム単位の最大輝度及び平均輝度を示す。
図８Ｂは、主映像ダイナミックメタデータ及びグラフィックス重畳フラグの別の構成例を示す図である。図８Ｂに示すようにグラフィックス重畳フラグは、字幕を主映像に重畳しているかどうかを示す字幕重畳フラグと、メニューを主映像に重畳しているかどうかを示すメニュー重畳フラグとを含んでもよい。
次に、映像表示装置１０２の構成について説明する。映像表示装置１０２は、映像受信部１２１と、メタデータ取得部１２２と、トーンマップ処理部１２３と、表示部１２４とを備える。
映像受信部１２１は、映像再生装置１０１から送られてくる映像信号とダイナミックメタデータを受け取る。映像受信部１２１は、映像信号とダイナミックメタデータとを分離し、映像信号をトーンマップ処理部１２３へ送り、ダイナミックメタデータをメタデータ取得部１２２に送る。メタデータ取得部１２２は、ダイナミックメタデータに含まれる主映像ダイナミックメタデータ及びグラフィックス重畳フラグを制御信号として、トーンマップ処理部１２３へ送る。
トーンマップ処理部１２３は、主映像ダイナミックメタデータに従い、映像信号のトーンマップ処理を行う。具体的には、トーンマップ処理部１２３は、グラフィックス重畳フラグがＯＦＦの場合には、主映像ダイナミックメタデータに従い、映像信号のトーンマップ処理（ダイナミックトーンマップ処理）を行う。一方、トーンマップ処理部１２３は、グラフィックス重畳フラグがＯＮの場合は、重畳されているグラフィックスへのダイナミックトーンマップの影響を低減したトーンマップ処理を行う。表示部１２４は、トーンマップ処理後の映像信号を表示する。
［２−２．トーンマップ処理部］
トーンマップ処理部１２３の詳細について説明する。図９は、トーンマップ処理部１２３の構成を示すブロック図である。トーンマップ処理部１２３は、係数演算部１３１と、係数保持部１３２と、トーンマップ部１３３と、切替部ＳＷ１及びＳＷ２とを備える。
映像受信部１２１からの映像信号は、トーンマップ部１３３へ送られる。メタデータ取得部１２２からの主映像ダイナミックメタデータは、係数演算部１３１に送られる。
係数演算部１３１は、トーンマップ部１３３におけるトーンマップ処理で用いられるトーンマップ係数を、映像表示装置１０２の輝度などの映像表示能力に従って算出する。係数保持部１３２は、係数演算部１３１が算出したトーンマップ係数を保持する。ここで、トーンマップ係数とは、トーンマップ処理に用いられる変換カーブを示す関数に含まれる係数である。つまり、トーンマップ係数により変換カーブが決定される。
切替部ＳＷ１は、係数演算部１３１で算出されたトーンマップ係数（Ａ）と、係数保持部１３２に保持されているトーンマップ係数（Ｂ）との一方を選択し、選択したトーンマップ係数をトーンマップ部１３３に送る。切替部ＳＷ２は、係数演算部１３１で算出されたトーンマップ係数（Ａ）と、係数保持部１３２に保持されるトーンマップ係数（Ｂ）との一方を選択し、選択したトーンマップ係数を係数保持部１３２に入力する。つまり、切替部ＳＷ２は、係数保持部１３２に保持されるトーンマップ係数を、係数演算部１３１で新たに算出されたトーンマップ係数に更新するか（Ａ）、現在保持しているトーンマップ係数を引き続き保持するか（Ｂ）を切り替える。
切替部ＳＷ１及びＳＷ２は、連動しており、グラフィックス重畳フラグがＯＦＦの場合は、共にＡに接続され、グラフィックス重畳フラグがＯＮの場合は共にＢに接続される。これにより、グラフィックスが重畳されている場合、ダイナミックメタデータに基づくダイナミックトーンマップが固定される。
また、グラフィックス重畳フラグが、字幕重畳フラグとメニュー重畳フラグとを含む場合、その組み合わせにより、トーンマップ部１３３へ入力されるトーンマップ係数の処理を変えることができる。一例として、字幕重畳フラグがＯＮの場合は、トーンマップ係数を固定とする（切替部ＳＷ１及びＳＷ２はＢに接続される）が、メニュー重畳フラグだけがＯＮの場合は、通常のトーンマップ係数が用いられる（切替部ＳＷ１及びＳＷ２はＡに接続される）などである。
また、本構成は、一例であり、トーンマップ処理部１２３は、グラフィックス重畳フラグがＯＮの場合、トーンマップ係数を特定の輝度以下で固定してもよいし、トーンマップ処理を行わないとしてもよい。
図１０は、トーンマップ係数を特定の輝度以下で固定する場合のトーンマップ処理部１２３Ａの構成を示す図である。トーンマップ処理部１２３Ａは、切替部ＳＷ１の代わりに係数合成部１３４を備える。
係数合成部１３４は、グラフィックス重畳フラグがＯＮの場合、予め定められた輝度である境界輝度以上の輝度に対してはダイナミックトーンマップ処理を行うが、境界輝度未満の輝度に対しては（１）トーンマップを固定する、（２）トーンマップ処理を行わない、（３）トーンマップの変動を抑える、又は（４）トーンマップの影響が人に感知できない程度とするなどの処理を行う。ここで、境界輝度とは、例えば、グラフィックスに用いられている輝度の最大値より高い輝度である。これにより、グラフィックスに用いられる輝度範囲においてトーンマップが変動することが抑制される。また、上記処理において、境界輝度以上の変換カーブと、境界輝度未満の変換カーブとの連続性を維持するために、係数合成部１３４は、これらの境界領域において変換カーブが滑らかに変化するように変換カーブを補正してもよい。
なお、ここでは、映像、字幕、及びメニューのみについての構成を説明したが、映像再生装置１０１、及び映像表示装置１０２では、音声信号なども処理、伝送、及び出力する。これらは、本開示には、かかわりがないために、以降の説明を含め省略している。
また、グラフィックス重畳フラグが、字幕重畳フラグとメニュー重畳フラグとを含む場合、図１０に示す係数合成部１３４は、字幕重畳フラグとメニュー重畳フラグの状態により、異なる合成の方法を用いる。例えば、係数合成部１３４は、字幕重畳フラグがＯＮの場合と、メニュー合成フラグのみがＯＮの場合とで、上記境界輝度を異なる値に設定する。
係数合成部１３４は、表示部１２４の最高輝度、及びその他の映像に関わる特性を考慮して境界輝度を設定する。ここで、一般的にメニューの輝度レベルは字幕の輝度レベルより高い。よって、係数合成部１３４は、メニュー重畳フラグがＯＮの場合には、字幕重畳フラグのみがＯＮの場合に比べて、境界輝度を高く設定する。
なお、メニューは、使用者の意思によって重畳するかどうかが決められるものであり、メニューへのダイナミックトーンマップの影響よりも、主映像のトーンマップを重視するという考え方もできる。よって、係数合成部１３４は、メニュー重畳フラグのみがＯＮの場合には、字幕重畳フラグがＯＮの場合に比べて、境界輝度を低く設定してもよい。
［２−３．映像表示システムの動作］
映像表示システムの動作の流れを説明する。図１１Ａは、映像再生装置１０１の動作を示すフローチャートである。映像再生装置１０１は、映像の再生を開始した後、グラフィックス（字幕、及びメニュー）の処理状態によりグラフィックスが主映像に重畳されているかどうかを判定する（Ｓ１０１）。グラフィックスが主映像に重畳されている場合（Ｓ１０１でＹｅｓ）、映像再生装置１０１は、グラフィックス重畳フラグをＯＮに設定する（Ｓ１０２）。一方、グラフィックスが主映像に重畳されていない場合（Ｓ１０１でＮｏ）、映像再生装置１０１は、グラフィックス重畳フラグをＯＦＦに設定する（Ｓ１０３）。そして、映像再生装置１０１は、映像再生が完了するか、あるいは、再生停止操作があるまで、ステップＳ１０１〜Ｓ１０３の処理を繰り返し行う（Ｓ１０４）。例えば、この処理は、１フレーム単位又は複数フレーム単位で繰り返し行われる。
図１１Ｂは、映像表示装置１０２の動作を示すフローチャートである。映像表示装置１０２は、映像表示の開始と同時にトーンマップ処理を開始する。この時、映像表示装置１０２は、グラフィックス重畳フラグがＯＮであるかＯＦＦであるかを判定する（Ｓ１１１）。グラフィックス重畳フラグがＯＦＦの場合（Ｓ１１１でＮｏ）、映像表示装置１０２は、切替部ＳＷ１及びＳＷ２をＡに接続し、主映像ダイナミックメタデータに基づいたトーンマップ処理を行うことで、トーンマップを更新する（Ｓ１１２）。つまり、係数演算部１３１は、現在時刻の主映像ダイナミックメタデータに基づきトーンマップ係数を算出し、トーンマップ部１３３は、現在時刻の映像に対して、算出されたトーンマップ係数を用いてトーンマップ処理を行う。このとき、係数保持部１３２は、新たに算出されたトーンマップ係数を保持する。
グラフィックス重畳フラグがＯＮになると（Ｓ１１１でＹｅｓ）、映像表示装置１０２は、切替部ＳＷ１及びＳＷ２をＢに接続することで、トーンマップを固定する（Ｓ１１３）。具体的には、係数保持部１３２の入力端子が、自身の出力端子に接続されることにより、係数保持部１３２は、切替部ＳＷ２がＡからＢになる直前のトーンマップ係数を保持する。また、切替部ＳＷ１がＢに接続されることから、トーンマップ部１３３で用いられるトーンマップ係数が固定される。よって、トーンマップの時間変動がなくなる。
また、グラフィックス重畳フラグがＯＦＦになると（Ｓ１１１でＮｏ）、トーンマップ係数の時間変動が開始される（Ｓ１１２）。これらのＳ１１１〜Ｓ１１３の処理が、映像の受信完了又は表示ＯＦＦの操作がなされるまで繰り返し行われる（Ｓ１１４）。例えば、この処理は、１フレーム単位又は複数フレーム単位で繰り返し行われる。
以上のように、本実施の形態に係る映像表示システム１００は、映像の最大輝度に応じた変換カーブを用いて映像の輝度を変換するトーンマップ処理を行うトーンマップ処理部１２３と、トーンマップ処理後の映像を表示する表示部１２４とを備える。トーンマップ処理部１２３は、映像における最大輝度の時系列の変化に応じて、変換カーブを時系列に変更する第１トーンマップ処理を行うか（Ｓ１１２）、映像における最大輝度の時系列の変化に依らず、一定の変換カーブを用いる第２トーンマップ処理を行うか（Ｓ１１３）、を切り替える。
これにより、例えば、映像の種別等に応じて、トーンマップに用いる変換カーブを時系列に変更するか、固定するかを切り替えることができる。よって、映像の種別等に応じて、各時刻において最適なトーンマップを行うか、トーンマップを固定することで、本来一定であるべき映像の輝度が変化することを抑制するかを切り替えることができる。このように、映像表示システム１００は、表示する映像の質を向上できる。
また、映像表示システム１００は、さらに、主映像にグラフィックスを合成することで映像を生成する合成部（主映像合成部１１８及びグラフィックス合成部１１７）を備える。トーンマップ処理部１２３は、主映像にグラフィックスが合成されていない場合（Ｓ１１１でＮｏ）、第１トーンマップ処理を行い（Ｓ１１２）、主映像にグラフィックスが合成された場合（Ｓ１１１でＹｅｓ）、第２トーンマップ処理を行う（Ｓ１１３）。これにより、グラフィックスの輝度の変化を抑制できる。
また、合成部は、主映像にグラフィックスを合成したか否かを示す第１フラグ（グラフィックス重畳フラグ）を生成する。トーンマップ処理部１２３は、第１フラグに応じて、第１トーンマップ処理を行うか、第２トーンマップ処理を行うかを決定する。
また、グラフィックスは、字幕及びメニューを含み、第１フラグは、主映像に字幕を合成したか否かを示す第２フラグ（字幕重畳フラグ）と、主映像にメニューを合成したか否かを示す第３フラグ（メニュー重畳フラグ）とを含む。これによれば、字幕が重畳されている場合とメニューが重畳されている場合とで、それぞれに適したトーンマップ処理を行うことができる。
例えば、トーンマップ処理部１２３は、第１トーンマップ処理から第２トーンマップ処理に切り替わった場合、第２トーンマップ処理において、直前の変換カーブを継続して用いる。これによれば、第１トーンマップ処理から第２トーンマップ処理への切り替わりにおいて輝度が大きく変化することを抑制できる。
例えば、図１０に示すように、トーンマップ処理部１２３Ａは、第２トーンマップ処理において、境界輝度以上の輝度に対しては、映像における最大輝度の時系列の変化に応じて、変換カーブを時系列に変更し、境界輝度未満の輝度に対しては、映像における最大輝度の時系列の変化に依らず、一定の変換カーブを用いる。
これによれば、境界輝度以上の木地に対しては、各時刻において最適なトーンマップを行うことができるとともに、境界輝度未満の輝度に対しては、輝度が変化することを抑制できる。
また、本実施の形態に係る映像表示装置１０２は、映像の最大輝度に応じた変換カーブを用いて映像の輝度を変換するトーンマップ処理を行うトーンマップ処理部１２３と、トーンマップ処理後の映像を表示する表示部１２４とを備える。トーンマップ処理部１２３は、映像における最大輝度の時系列の変化に応じて、変換カーブを時系列に変更する第１トーンマップ処理を行うか（Ｓ１１２）、映像における最大輝度の時系列の変化に依らず、一定の変換カーブを用いる第２トーンマップ処理を行うか（Ｓ１１３）、を切り替える。
これにより、例えば、映像の種別等に応じて、トーンマップに用いる変換カーブを時系列に変更するか、固定するかを切り替えることができる。よって、映像の種別等に応じて、各時刻において最適なトーンマップを行うか、トーンマップを固定することで、本来一定であるべき映像の輝度が変化することを抑制するかを切り替えることができる。このように、映像表示装置１０２は、表示する映像の質を向上できる。
また、トーンマップ処理部１２３は、映像にグラフィックスが含まれない場合（Ｓ１１１でＮｏ）、第１トーンマップ処理を行い（Ｓ１１２）、映像にグラフィックスが含まれる場合（Ｓ１１１でＹｅｓ）、第２トーンマップ処理を行う（Ｓ１１３）。これにより、グラフィックスの輝度の変化を抑制できる。
また、トーンマップ処理部１２３は、第１トーンマップ処理を行うか第２トーンマップ処理を行うかを示す第１フラグ（グラフィックス重畳フラグ）に応じて、第１トーンマップ処理を行うか、第２トーンマップ処理を行うかを決定する。
また、第１フラグは、映像に字幕が含まれるか否かを示す第２フラグ（字幕重畳フラグ）と、映像にメニューが含まれるか否かを示す第３フラグ（メニュー重畳フラグ）とを含む。これによれば、字幕が重畳されている場合とメニューが重畳されている場合とで、それぞれに適したトーンマップ処理を行うことができる。
［３．実施の形態２］
本実施の形態では、実施の形態１の処理に加え、映像再生装置１０１は、主映像に重畳されるグラフィックスの輝度情報をダイナミックメタデータの一部に埋め込む。映像表示装置１０２は、メニュー重畳フラグの状態及びグラフィックスの輝度情報に基づき、ダイナミックトーンマップのＯｎ／Ｏｆｆ又はその強さを変化させる。これにより、重畳されたグラフィックスへのダイナミックトーンマップの影響を低減できる。
［３−１．構成］
本実施の形態に係る映像再生装置１０１は、以下の点が実施の形態１と異なる。図７に示すグラフィックス合成部１１７は、グラフィックス情報を主映像に重畳する場合、グラフィックス重畳フラグをＯＮにするとともに、グラフィックスの輝度情報であるグラフィックス輝度情報を抽出し、抽出したグラフィックス輝度情報を映像送出部１１９に送る。映像送出部１１９は、グラフィックス輝度情報をダイナミックメタデータの一部として、映像表示装置１０２に送出する。グラフィックス合成部１１７は、グラフィックス輝度情報として、予め設定された固定値を用いてもよいし、輝度情報をつどグラフィックス情報から抽出してもよいし、別の手段により提供されるメタデータを参照することでグラフィックス輝度情報を取得してもよい。
また、グラフィックス輝度情報は、字幕の輝度情報とメニューの輝度情報とを含んでもよい。
本実施の形態に係る映像表示装置１０２は、以下の点が実施の形態１と異なる。図７に示すメタデータ取得部１２２は、主映像ダイナミックメタデータ及びグラフィックス重畳フラグに加えグラフィックス輝度情報を取得し、これらの情報をトーンマップ処理部１２３に送る。トーンマップ処理部１２３の詳細構成は、例えば、図１０に示す構成であり、係数合成部１３４を備える。係数合成部１３４には、グラフィックス重畳フラグに加え、グラフィックス輝度情報が入力され、係数合成部１３４は、グラフィックスの輝度情報を用いたトーンマップ係数の合成処理を行う。例えば、係数合成部１３４は、グラフィックス輝度情報以下の輝度については、トーンマップを時間変動しない。つまり、係数合成部１３４は、実施の形態１における境界輝度としてグラフィックス輝度情報を用いる。
また、実施の形態１及び実施の形態２において、係数合成部１３４は、境界輝度を、映像表示装置１０２の設定などに基づき調整してもよい。同様に、映像再生装置１０１は、グラフィックス輝度情報をそのまま映像表示装置１０２に送るのではなく、環境、再生する映像の種類、又は使用者の好みなどに基づき、グラフィックス輝度情報を調整したうえで、映像表示装置１０２に送ってもよい。これらにより、ダイナミックトーンマップのグラフィックスへの影響度合いと主映像への適応度合いを調整できる。
グラフィックス輝度情報は、字幕輝度情報とメニュー輝度情報とを含んでもよい。この場合、係数合成部１３４は、実施の形態１と同様に、字幕とメニューで、ダイナミックトーンマップの合成方法を変えてもよい。
図１２Ａは、本実施の形態において映像再生装置１０１から映像表示装置１０２に送られる主映像ダイナミックメタデータ、グラフィックス重畳フラグ及びグラフィックス輝度情報の構成例を示す図である。グラフィックス輝度情報は、例えば、グラフィックスに用いられている最大輝度を示す。例えば、主映像ダイナミックメタデータは、１フレーム単位又は複数フレーム単位の最大輝度及び平均輝度を示す。
図１２Ｂは、主映像ダイナミックメタデータ、グラフィックス重畳フラグ及びグラフィックス輝度情報の別の構成例を示す図である。図１２Ｂに示すようにグラフィックス輝度情報は、字幕の最大輝度と、メニューの最大輝度とを含んでもよい。
また、グラフィックス輝度情報にグラフィックス重畳フラグの用途が含まれてもよい。例えば、グラフィックス輝度情報の一部又は特定の値が、グラフィックス重畳フラグがＯＦＦであることを示し、その他の値によりグラフィックス重畳フラグがＯＮであることを示してもよい。
図１３Ａは、この場合の映像再生装置１０１から映像表示装置１０２に送られる主映像ダイナミックメタデータ、及びグラフィックス輝度情報の構成例を示す図である。図１３Ａに示す例では、グラフィックス輝度情報は８ビットで構成され、０−１０２０ｎｉｔまでの輝度を示す。値０はグラフィックスが存在するが輝度が不明であることを示し、値１はグラフィックスが存在しないことを示し、その他の値は、８ｎｉｔから１０２０ｎｉｔまで、４ｎｉｔ単位の明るさを示す。なお、グラフィックス輝度情報のビット構成、明るさの範囲、０、１その他の値の意味については、この限りでなく、システム要件に合わせて変更できる。
また、図１３Ｂに示すように、グラフィックス輝度情報が字幕輝度情報とメニュー輝度情報とを含む場合も同様に構成できる。
［３−２．効果］
図１４Ａは、グラフィックスが字幕である場合における、従来のダイナミックトーンマップによる字幕の輝度の変化を示す図である。字幕の輝度レベルが２００ｎｉｔ以下の場合において、時間的にトーンマップが変化すると、図１４Ａからわかるように、０から２００ｎｉｔ付近の輝度も変化し、本来一定である字幕の輝度が変化する。
これに対し、実施の形態１では、所定の境界輝度以下の輝度に対して、トーンマップの時間変化が発生しないようにできる。これにより、図１４Ｂからわかるように、字幕輝度である２００ｎｉｔ以下の時間変化がなく、安定した輝度で字幕が表示される。ここで、境界輝度は、例えば標準的な字幕の輝度レベルより高い固定値であり、変換カーブのニーポイントも固定される。
しかしながら、境界輝度が固定されると、ダイナミックトーンマップの変化幅が制限され、主映像に対して、ダイナミックトーンマップの効果が少なくなると言う課題がある。特に映像表示装置１０２の最大輝度（ＤＰＬ）が低いときに問題が顕著である。もちろん、映像表示装置１０２において、グラフィックスデータの輝度を一定値以下に想定するなどダイナミックトーンマップの方法を工夫することにより、ダイナミックトーンマップの効果を大きくすることができる。しかしながら、この場合、想定以上の輝度のグラフィックスデータが表示される場合に、グラフィックスデータの表示がダイナミックトーンマップの影響を受けやすくなるなどの課題がある。
これに対し、実施の形態２では、字幕の輝度情報に基づいて境界輝度を変化させることができるために、図１５に示すように、より自由度が高いダイナミックトーンマップを主映像に適用できる。図１５では、実際の字幕の輝度が１００ｎｉｔであった場合を図示している。図１５に示すように、この場合、図１４Ｂに示す境界輝度を２００ｎｉｔに固定して処理する場合に対して、より自由度が高いダイナミックトーンマップを実現できる。この効果は、接続する映像表示装置１０２の最大輝度が低いほど大きくなる。
［３−３．詳細な構成例］
本実施の形態では、映像再生装置１０１において、主映像に重畳されるグラフィックスの輝度情報をダイナミックメタデータの一部に埋め込むと説明したが、その埋め込みの方法の例を説明する。
Ｂｌｕ−ｒａｙディスクのようなパッケージメディアでは、映像を再生する場合、連続する１つの再生経路をプレイリストというファイルに定義し、ディスク上に記録している。プレイリストは、ディスク上の映像ストリームのうちどれを再生するのか、その再生開始位置、完了位置あるいは再生時間などの再生管理情報を記録している。
そのプレイリストに、主映像と同時に表示するグラフィックスの輝度情報、もしくは輝度レンジの上限情報、を記録する。これにより、映像再生装置１０１は、容易に主映像とともに表示されるグラフィックスの輝度情報、もしくは輝度レンジの上限情報、を取得し、取得した情報を映像表示装置１０２に送ることができる。
なお、グラフィックス輝度情報は、字幕輝度情報と、メニュー輝度情報とを含んでもよい。また、字幕又はメニューを複数の言語又は複数のバージョンから選択可能な場合、グラフィックス輝度情報は、複数の言語又はバージョンに対応する複数の字幕輝度情報又は複数のメニュー輝度情報を含んでもよい。この場合、複数の字幕輝度情報又は複数のメニュー輝度情報はプレイリストに記録されてもよい。
さらに、グラフィックス輝度情報は、そのプレイリストの再生中の最大輝度だけでなく、シーン毎あるいは単位時間毎の最大輝度を再生時刻情報とともに示してもよい。
なお、このプレイリストに格納するグラフィックス輝度情報は図１５に記載のＭａｘＳＬＬであってもよい。このＭａｘＳＬＬは主映像に重畳されるグラフィックスの最大輝度、及び、主映像のダイナミックトーンマッピングの最小輝度の少なくとも一方である。
なお、Ｂｌｕ−ｒａｙ、Ｕｌｔｒａ ＨＤ Ｂｌｕ−ｒａｙの詳細は、例えば、非特許文献１に記載されている。
以上のように、本実施の形態では、トーンマップ処理部１２３Ａは、グラフィックスの輝度に応じて境界輝度を設定する。これにより、グラフィックスの種別等に応じて、適切な境界輝度を設定できるので、ダイナミックトーンマップを適用できる輝度範囲を広くできる。
［４．実施の形態３］
本実施の形態に係る映像表示装置１０２は、実施の形態１の映像表示装置１０２に加え、主映像に重畳されているグラフィックスの位置を、フレーム間相関などを用いて検出する。映像表示装置１０２は、グラフィックスが重畳されているピクセルに対しては、ダイナミックトーンマップを行わず、時間変動がないトーンマップを適用する。これにより、ダイナミックトーンマップのグラフィックスへの影響を低減できる。
以下、本実施の形態に係る映像表示システム１００の構成を説明する。映像再生装置１０１の構成は、実施の形態１と同様である。なお、映像再生装置１０１は、グラフィックス重畳フラグを映像表示装置１０２へ送る機能を持たなくてもよい場合もある。
映像表示装置１０２が備えるトーンマップ処理部１２３Ｂの構成が実施の形態１と異なる。図１６は、本実施の形態に係るトーンマップ処理部１２３Ｂの構成を示すブロック図である。図１６に示すトーンマップ処理部１２３Ｂは、図１０に示すトーンマップ処理部１２３Ａの構成に加え、グラフィックス検出部１３５を備える。
グラフィックス検出部１３５には、映像信号が入力される。グラフィックス検出部１３５は、フレーム間相関などを用いて、グラフィックスが重畳されている画素位置を検出する。そして、グラフィックス検出部１３５は、グラフィックスが重畳されているかどうかを示す画素単位の情報を、係数合成部１３４へ出力する。
グラフィックス重畳フラグがＯＮの場合、係数合成部１３４は、グラフィックスが重畳されていない画素に対しては、主映像ダイナミックメタデータに基づくトーンマップ係数をトーンマップ部１３３に出力し、グラフィックスが重畳されている画素に対しては、時間変化しないトーンマップ係数をトーンマップ部１３３に出力する。
また、グラフィックス重畳フラグが映像再生装置１０１から送られてこない場合、係数合成部１３４は、グラフィックス検出部１３５で検出された画素単位のグラフィックスが重畳されているかどうかの情報を用いて、トーンマップ係数の合成を行う。つまり、係数合成部１３４は、グラフィックス検出部１３５の出力信号に基づき、グラフィックス重畳フラグを作成してもよい。
例えば、グラフィックス検出部１３５が、処理対象のフレーム又はフレーム群において、１画素又は予め定められた画素数の画素にグラフィックスが存在すると検出した場合、係数合成部１３４は、グラフィックスが重畳されているものとして、グラフィックス重畳フラグをＯＮとして、処理を行う。
この場合、トーンマップ部１３３は、グラフィックス検出部１３５の処理時間による時間遅れを考慮した処理を行う。例えば、この時間遅れが予めトーンマップ部１３３に設定される。
また、トーンマップ部１３３は、グラフィックスとして検出された画素数が予め定められた閾値を超えた場合にグラフィックスが存在すると判定してもよい。これにより、グラフィックスの誤検出を抑制できる。なお、上記閾値は、使用者が変更可能であってもよい。
以上のように、トーンマップ処理部１２３Ｂは、映像内のグラフィックスが重畳されているグラフィックス領域を検出し、グラフィックス領域に対して、第２トーンマップ処理を行い、映像内のグラフィックス領域以外の領域に対して、第１トーンマップ処理を行う。これにより、グラフィックスに対してはトーンマップを固定できるとともに、グラフィックス以外の領域に対しては、ダイナミックトーンマップを行うことができる。
［５．実施の形態４］
実施の形態１とは異なり、本実施の形態では、映像再生装置１０１Ａはグラフィックス重畳フラグを生成せず、映像表示装置１０２は、グラフィックス重畳フラグに基づきダイナミックトーンマップを変更する機能を有さない。その代わりに、映像再生装置１０１Ａは、グラフィックスの輝度を変換する処理を行う。
具体的には、映像再生装置１０１Ａに接続されている映像表示装置１０２の最大輝度情報が映像再生装置１０１Ａに設定される。映像再生装置１０１Ａは、その最大輝度情報に応じて、映像表示装置１０２で行うトーンマップの影響を最小化するよう重畳するグラフィックスの輝度を変更する。これにより、重畳されたグラフィックスへのダイナミックトーンマップの影響を低減できる。
映像再生装置１０１Ａは、映像表示装置１０２の最大輝度情報を、操作者による設定により取得してもよいし、映像再生装置１０１Ａが接続しているＨＤＭＩ上のＥＤＩＤにより映像表示装置１０２から取得してもよい。映像表示装置１０２によるトーンマップの方法は様々であるので、映像再生装置１０１Ａは、グラフィックスの輝度を、ある範囲内で調整する。映像再生装置１０１Ａは、この調整を、操作者による操作に基づき行ってもよいし、映像表示装置１０２毎のデータベースから取得した情報に基づき行ってもよい。
以下、本実施の形態に係る映像再生装置１０１Ａの構成を説明する。図１７は、本実施の形態に係る映像再生装置１０１Ａの構成を示すブロック図である。図１７に示す映像再生装置１０１Ａは、実施の形態１に係る映像再生装置１０１の構成に加え、最大輝度設定部１４１と、輝度変換部１４２とを備える。
最大輝度設定部１４１は、映像表示装置１０２の最大輝度情報を取得し、保持する。例えば、この最大輝度情報は、使用者による操作に基づき設定されてもよいし、映像再生装置１０１Ａに接続されている映像表示装置１０２の属性情報として映像信号伝達装置を介して取得されてもよい。例えば、最大輝度設定部１４１は、映像表示装置１０２の最大輝度情報を、ＨＤＭＩのＥＤＩＤとして取得してもよい。または、最大輝度設定部１４１は、映像表示装置１０２の属性情報をネットワーク上のサーバのデータベースから取得してもよい。
グラフィックス合成部１１７で生成されたグラフィックス情報は、輝度変換部１４２に入力される。輝度変換部１４２は、最大輝度設定部１４１に保持されている映像表示装置１０２の最大輝度情報に基づき、グラフィックス情報の輝度を変換し、変換後のグラフィックス情報を主映像合成部１１８に送る。主映像合成部１１８は、主映像に変換後のグラフィックス情報を重畳する。
例えば、映像表示装置１０２の最大輝度が５００ｎｉｔであり、グラフィックス情報の最大輝度が３００ｎｉｔである場合、輝度変換部１４２は、グラフィックス情報の最大輝度を、映像表示装置１０２の最大輝度の５０％である２５０ｎｉｔに変換する。これにより、映像表示装置１０２におけるトーンマップの影響を低減できる。
なお、変換の条件、及び割合（上記５０％）は、上記に限定されない。また、これらは、使用者により変更されてもよいし、接続される映像表示装置１０２の特性に合わせて変更されてもよい。
以上のように、本実施の形態に係る映像表示システム１００は、表示部１２４と、表示部１２４の最大輝度に応じて、第１映像の輝度を変換することで第２映像を生成する輝度変換部１４２と、第２映像の最大輝度に応じた変換カーブを用いて当該第２映像の輝度を変換することで第３映像を生成するトーンマップ処理を行うトーンマップ処理部１２３とを備え、表示部１２４は、第３映像を表示する。これによれば、トーンマップの変動による輝度の変動を抑制できる。
具体的には、輝度変換部１４２は、表示部１２４の最大輝度に応じて、前記第１映像に含まれるグラフィックスの輝度を変換することで前記第２映像を生成する。これによれば、グラフィックスの輝度の変動を抑制できる。
［６．実施の形態５］
実施の形態４とは異なり、本実施の形態では、映像再生装置１０１Ｂは、映像表示装置１０２におけるダイナミックトーンマップの方法を仮定し、グラフィックスを重畳する前に、重畳するグラフィックスに映像表示装置１０２におけるダイナミックトーンマップの逆変換を施す。これにより、重畳したグラフィックスが、ダイナミックトーンマップを施した後に、もとの輝度及び色で表示されるようにできる。
例えば、映像再生装置１０１Ｂは、接続されている映像表示装置１０２のダイナミックトーンマップの方法を以下の手段により仮定する。簡易的には、映像再生装置１０１Ｂは、影響を受けない最大輝度として、映像表示装置１０２の最大輝度の例えば９０％に達する映像の輝度などの情報により対応する。より細かくは、映像再生装置１０１Ｂは、データベースより映像表示装置１０２のダイナミックトーンマップ方法を取得する。または、映像再生装置１０１Ｂは、テストパターンを用いて測定を行い、測定結果に基づきダイナミックトーンマップの方法を推定する。
以下、本実施の形態に係る映像再生装置１０１Ａの構成を説明する。図１８は、本実施の形態に係る映像再生装置１０１Ｂの構成を示すブロック図である。
図１８に示す映像再生装置１０１Ｂは、図１７に示す実施の形態４に係る映像再生装置１０１Ａに対して、最大輝度設定部１４１の代わりにトーンマップ情報保持部１４３を備える。また、メタデータ取得部１１６から出力される主映像ダイナミックメタデータが、輝度変換部１４２に送られる。
トーンマップ情報保持部１４３は、映像表示装置１０２のトーンマップ処理に関わるトーンマップ情報を保持する。輝度変換部１４２は、このトーンマップ情報と主映像ダイナミックメタデータとを用いて、グラフィックス情報に対して、映像表示装置１０２で行われるトーンマップの逆変換を施し、逆変換されたグラフィックス情報を主映像合成部１１８に出力する。主映像合成部１１８は、主映像に、トーンマップの逆変換が施されたグラフィックスを重畳する。
これにより、映像信号を受けた映像表示装置１０２においてトーンマップが行われた場合に、トーンマップの逆変換を受けたグラフィックス部分は、元のグラフィックスとして表示される。よって、映像表示装置１０２のトーンマップの影響を低減できる。
図１９は、映像表示装置１０２で用いられるトーンマップの一例を示す図である。図２０は、この場合のトーンマップ情報の一例を示す図である。例えば、トーンマップ情報は、映像表示装置１０２の輝度情報と、映像表示装置１０２のトーンマップ情報とを含む。映像表示装置１０２の輝度情報は、映像表示装置１０２の最大輝度と、全画素に対して同時に表示可能な最大輝度である全画面表示最大輝度とを示す。また、映像表示装置１０２のトーンマップ情報は、トーンマップにおける変極点を示し、例えば、変極点の輝度又は変極点間の傾きの増分が示される。
なお、トーンマップ情報の構成は上記に限定されない。例えば、トーンマップ情報は、図２０に示す情報のうち一部の情報のみを含んでもよい。
また、映像表示装置１０２のトーンマップの逆変換の条件、又は割合（例えば上記９０％）は、使用者により変更されてもよいし、接続する映像表示装置１０２毎に変更されてもよい。
また、映像再生装置１０１Ｂは、映像表示装置１０２のトーンマップ情報を、利用者による設定により取得してもよいし、映像再生装置１０１Ｂに接続されている映像表示装置１０２の属性として映像信号伝達装置を介して取得してもよい。例えば、映像再生装置１０１Ｂは、トーンマップ情報を、ＨＤＭＩのＥＤＩＤとして取得してもよい。または、映像再生装置１０１Ｂは、接続されている映像表示装置１０２の属性情報をネットワーク上のサーバのデータベースから取得してもよい。
以上のように、本実施の形態に係る映像表示システム１００は、第１映像の輝度を変換することで第２映像を生成する輝度変換部１４２と、第２映像の最大輝度に応じた変換カーブを用いて当該第２映像の輝度を変換することで第３映像を生成するトーンマップ処理を行うトーンマップ処理部１２３と、第３映像を表示する表示部１２４とを備える。輝度変換部１４２は、トーンマップ処理部１２３によるトーンマップ処理に応じて、第１映像の輝度を変換する。これによれば、トーンマップの変動による輝度の変動を抑制できる。
具体的には、輝度変換部１４２は、第１映像の最大輝度と、トーンマップ処理部１２３によるトーンマップ処理で用いられる変換カーブとに基づき、第１映像の輝度を変換する。
［７．変形例］
取得部１１１が取得するＨＤＲ映像は、例えばＢｌｕ−ｒａｙディスク、ＤＶＤ、Ｉｎｔｅｒｎｅｔの動画配信サイト、放送、又はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）内の映像であってもよい。
上記映像再生装置は、ディスクプレイヤー、ディスクレコーダ、セットトップボックス、テレビ、パーソナルコンピュータ、又はスマートフォンなど、記録媒体、放送又はインターネットからの圧縮された映像信号を復号し、映像表示装置に送る装置でもよい。また、映像再生装置の機能の一部又は全てが、映像表示装置１０２に含まれてもよい。例えば、映像再生装置に含まれる処理部のうち、取得部１１１以外の処理部が映像表示装置１０２に含まれてもよい。また、映像表示装置１０２に含まれる映像受信部１２１、メタデータ取得部１２２及びトーンマップ処理部１２３が映像再生装置に含まれてもよい。また、トーンマップ処理部１２３に含まれる処理部のうちトーンマップ部１３３以外の処理部が映像再生装置に含まれてもよい。
映像再生装置からの映像信号を映像表示装置に伝送する映像信号伝送手段は、ＨＤＭＩ、ＤＶＩ、又はＤＰなどの映像信号を非圧縮の状態で伝送する手段であってもよいし、ネットワークを通じた伝送のように映像信号を圧縮した形式で伝送する手段であってもよい。
映像表示装置の最大輝度情報又はトーンマップ情報の映像再生装置への設定は、利用者が映像再生装置にリモートコントローラなどを用いて入力することで行われてもよいし、利用者が映像再生装置が備える操作装置を用いて入力することで行われてもよい。または、利用者は、インターネット又はその他の手段を用いて、これらの情報を取得し、取得した情報をポータブル記憶媒体に保存し、ポータブル記憶媒体を介して、これらの情報を映像再生装置に送ってもよい。また、映像再生装置が直接、インターネットに接続され、映像再生装置は、サーバのデータベースから、これらの情報を取得してもよい。さらに、映像再生装置は、映像表示装置にテストパターンを表示し、表示されたテストパターンを用いて映像表示装置の特性を確認しながら、これらの情報を取得及び記憶してもよい。
映像表示装置のトーンマップ情報は、実施の形態５では、変極点が２箇所の場合を例示したが、３箇所以上の変極点で定義されてもよいし、曲線により定義されてもよい。
映像再生装置は、グラフィックス（字幕又はメニュー）の輝度をそのデータから検出することでグラフィックス輝度情報（字幕輝度情報及びメニュー輝度情報を含む）を生成してもよいし、映像データ作成時に予め作成されたグラフィックスの輝度を取得してもよい。例えば、グラフィックスの輝度は、ディスクに記録されていてもよいし、メタデータとして放送又はＩｎｔｅｒｎｅｔで送付されてもよい。映像再生装置は、グラフィックスの輝度を読み取り、ダイナミックメタデータの一部として映像表示装置に送る。あるいは、Ｉｎｔｅｒｎｅｔに接続されたサーバのデータベースに、再生するコンテンツに対する情報として、グラフィックス（字幕又はメニュー）の輝度情報が記録されており、映像再生装置は、当該データベースからグラフィックスの輝度情報を取得し、取得した輝度情報を映像表示装置に送ってもよい。
以上、本開示の実施の形態に係る映像表示システムについて説明したが、本開示は、この実施の形態に限定されるものではない。
また、上記実施の形態に係る映像表示システムに含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
また、本開示は、映像表示システムにより実行される各種方法として実現されてもよい。
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
以上、一つまたは複数の態様に係る映像表示システムについて、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
本開示は、映像表示システム、映像再生装置又は映像表示装置に適用できる。
１００ 映像表示システム
１０１、１０１Ａ、１０１Ｂ 映像再生装置
１０２ 映像表示装置
１１１ 取得部
１１２ デマルチプレクサ
１１３ 主映像デコード部
１１４ 字幕デコード部
１１５ メニューデコード部
１１６、１２２ メタデータ取得部
１１７ グラフィックス合成部
１１８ 主映像合成部
１１９ 映像送出部
１２１ 映像受信部
１２３、１２３Ａ、１２３Ｂ トーンマップ処理部
１２４ 表示部
１３１ 係数演算部
１３２ 係数保持部
１３３ トーンマップ部
１３４ 係数合成部
１３５ グラフィックス検出部
１４１ 最大輝度設定部
１４２ 輝度変換部
１４３ トーンマップ情報保持部

Claims (9)

  1. 映像の最大輝度に応じた変換カーブを用いて前記映像の輝度を変換するトーンマップ処理を行うトーンマップ処理部と、
    前記トーンマップ処理後の映像を表示する表示部とを備え、
    前記トーンマップ処理部は、前記映像における最大輝度の時系列の変化に応じて、前記変換カーブを時系列に変更する第１トーンマップ処理を行うか、前記映像における最大輝度の時系列の変化に依らず、一定の変換カーブを用いる第２トーンマップ処理を行うか、を切り替える
    映像表示システム。
  2. 前記映像表示システムは、さらに、
    主映像にグラフィックスを合成することで前記映像を生成する合成部を備え、
    前記トーンマップ処理部は、前記主映像に前記グラフィックスが合成されていない場合、前記第１トーンマップ処理を行い、前記主映像に前記グラフィックスが合成された場合、前記第２トーンマップ処理を行う
    請求項１記載の映像表示システム。
  3. 前記合成部は、前記主映像に前記グラフィックスを合成したか否かを示す第１フラグを生成し、
    前記トーンマップ処理部は、前記第１フラグに応じて、前記第１トーンマップ処理を行うか、前記第２トーンマップ処理を行うかを決定する
    請求項２記載の映像表示システム。
  4. 前記グラフィックスは、字幕及びメニューを含み、
    前記第１フラグは、前記主映像に前記字幕を合成したか否かを示す第２フラグと、前記主映像に前記メニューを合成したか否かを示す第３フラグとを含む
    請求項３記載の映像表示システム。
  5. 前記トーンマップ処理部は、前記第１トーンマップ処理から前記第２トーンマップ処理に切り替わった場合、前記第２トーンマップ処理において、直前の変換カーブを継続して用いる
    請求項１〜４のいずれか１項に記載の映像表示システム。
  6. 前記トーンマップ処理部は、前記第２トーンマップ処理において、
    境界輝度以上の輝度に対しては、前記映像における最大輝度の時系列の変化に応じて、前記変換カーブを時系列に変更し、
    前記境界輝度未満の輝度に対しては、前記映像における最大輝度の時系列の変化に依らず、一定の変換カーブを用いる
    請求項２記載の映像表示システム。
  7. 前記トーンマップ処理部は、前記グラフィックスの輝度に応じて前記境界輝度を設定する
    請求項６記載の映像表示システム。
  8. 前記トーンマップ処理部は、
    前記映像内の前記グラフィックスが重畳されているグラフィックス領域を検出し、
    前記グラフィックス領域に対して、前記第２トーンマップ処理を行い、
    前記映像内の前記グラフィックス領域以外の領域に対して、前記第１トーンマップ処理を行う
    請求項２記載の映像表示システム。
  9. 映像表示システムにおける映像表示方法であって、
    映像の最大輝度に応じた変換カーブを用いて前記映像の輝度を変換するトーンマップ処理を行うトーンマップ処理ステップと、
    前記トーンマップ処理後の映像を表示する表示ステップとを含み、
    前記トーンマップ処理ステップでは、前記映像における最大輝度の時系列の変化に応じて、前記変換カーブを時系列に変更する第１トーンマップ処理を行うか、前記映像における最大輝度の時系列の変化に依らず、一定の変換カーブを用いる第２トーンマップ処理を行うか、を切り替える
    映像表示方法。
JP2018553498A 2017-06-21 2018-02-26 映像表示システム及び映像表示方法 Active JP7117627B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762523069P 2017-06-21 2017-06-21
US62/523,069 2017-06-21
PCT/JP2018/006856 WO2018235337A1 (ja) 2017-06-21 2018-02-26 映像表示システム及び映像表示方法

Publications (2)

Publication Number Publication Date
JPWO2018235337A1 true JPWO2018235337A1 (ja) 2020-04-23
JP7117627B2 JP7117627B2 (ja) 2022-08-15

Family

ID=64736901

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018553492A Active JP7117626B2 (ja) 2017-06-21 2018-02-26 映像表示装置及び映像表示方法
JP2018553498A Active JP7117627B2 (ja) 2017-06-21 2018-02-26 映像表示システム及び映像表示方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018553492A Active JP7117626B2 (ja) 2017-06-21 2018-02-26 映像表示装置及び映像表示方法

Country Status (5)

Country Link
US (2) US11032448B2 (ja)
EP (2) EP3644618A4 (ja)
JP (2) JP7117626B2 (ja)
CN (2) CN109691119B (ja)
WO (2) WO2018235338A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3644618A4 (en) * 2017-06-21 2020-05-27 Panasonic Intellectual Property Management Co., Ltd. IMAGE DISPLAY SYSTEM AND IMAGE DISPLAY METHOD
US10939158B2 (en) * 2017-06-23 2021-03-02 Samsung Electronics Co., Ltd. Electronic apparatus, display apparatus and control method thereof
US11039045B2 (en) 2017-07-14 2021-06-15 Panasonic Intellectual Property Management Co., Ltd. Video display system and video display method
CN109891902B (zh) * 2017-10-06 2022-02-18 松下知识产权经营株式会社 影像显示系统及影像显示方法
CN111345034B (zh) * 2017-10-31 2022-08-26 索尼公司 再现设备、再现方法、程序及记录介质
KR102523672B1 (ko) * 2017-11-14 2023-04-20 삼성전자주식회사 디스플레이장치 및 그 제어방법과 기록매체
JP7256663B2 (ja) * 2019-03-26 2023-04-12 キヤノン株式会社 画像出力装置およびその制御方法
US11477383B2 (en) 2019-11-01 2022-10-18 Samsung Electronics Co., Ltd. Method for providing preview and electronic device for displaying preview
CN115883810A (zh) * 2020-04-30 2023-03-31 华为技术有限公司 映射曲线参数的获取方法和装置
JPWO2023095718A1 (ja) * 2021-11-29 2023-06-01

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016027423A1 (ja) * 2014-08-19 2016-02-25 パナソニックＩｐマネジメント株式会社 伝送方法、再生方法及び再生装置
JP2016100039A (ja) * 2014-11-17 2016-05-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 記録媒体、再生方法、および再生装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8358351B2 (en) * 2009-06-05 2013-01-22 Apple Inc. Automatic tone mapping for cameras
WO2011031331A1 (en) * 2009-09-14 2011-03-17 Thomson Licensing Interactive tone mapping for high dynamic range video
EP2539884B1 (en) 2010-02-24 2018-12-12 Dolby Laboratories Licensing Corporation Display management methods and apparatus
JP6407717B2 (ja) 2011-09-27 2018-10-17 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 画像のダイナミックレンジ変換のための装置及び方法
KR102105645B1 (ko) * 2012-10-08 2020-05-04 코닌클리케 필립스 엔.브이. 색상 제한들을 통한 루미넌스 변화 이미지 처리
EP2959676B1 (en) 2013-02-21 2020-09-23 Dolby Laboratories Licensing Corporation Systems and methods for appearance mapping for compositing overlay graphics
US10055866B2 (en) 2013-02-21 2018-08-21 Dolby Laboratories Licensing Corporation Systems and methods for appearance mapping for compositing overlay graphics
CA2914978C (en) * 2013-06-20 2022-05-03 Sony Corporation Reproduction device, reproduction method, and recording medium
JP2015008360A (ja) * 2013-06-24 2015-01-15 ソニー株式会社 再生装置、再生方法、および記録媒体
JP6241683B2 (ja) * 2013-08-20 2017-12-06 ソニー株式会社 再生装置、再生方法、および記録媒体
US9584786B2 (en) 2014-03-05 2017-02-28 Dolby Laboratories Licensing Corporation Graphics blending for high dynamic range video
US9230338B2 (en) * 2014-03-05 2016-01-05 Dolby Laboratories Licensing Corporation Graphics blending for high dynamic range video
RU2667034C2 (ru) * 2014-05-28 2018-09-13 Конинклейке Филипс Н.В. Способы и устройства для кодирования hdr-изображений и способы и устройства для использования таких кодированных изображений
MX358934B (es) 2014-06-26 2018-09-10 Panasonic Ip Man Co Ltd Dispositivo de salida de datos, metodo de salida de datos y metodo de generacion de datos.
KR102190233B1 (ko) 2014-10-06 2020-12-11 삼성전자주식회사 영상 처리 장치 및 이의 영상 처리 방법
JP2016081553A (ja) 2014-10-17 2016-05-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 記録媒体、再生方法、および再生装置
CN107113470B (zh) 2014-11-10 2021-07-13 皇家飞利浦有限公司 用于编码的方法、视频处理器、用于解码的方法、视频解码器
US9984446B2 (en) 2015-12-26 2018-05-29 Intel Corporation Video tone mapping for converting high dynamic range (HDR) content to standard dynamic range (SDR) content
KR102488954B1 (ko) 2016-05-16 2023-01-16 엘지전자 주식회사 영상 처리 장치 및 그의 영상 처리 방법
CN113593499B (zh) 2016-05-27 2023-12-12 杜比实验室特许公司 在视频优先级与图形优先级之间转换
EP3644618A4 (en) * 2017-06-21 2020-05-27 Panasonic Intellectual Property Management Co., Ltd. IMAGE DISPLAY SYSTEM AND IMAGE DISPLAY METHOD
US10939158B2 (en) 2017-06-23 2021-03-02 Samsung Electronics Co., Ltd. Electronic apparatus, display apparatus and control method thereof
US11049225B2 (en) 2017-07-07 2021-06-29 Panasonic Intellectual Property Management Co., Ltd. Video processing system and video processing method
US10735688B2 (en) 2017-07-13 2020-08-04 Samsung Electronics Co., Ltd. Electronics apparatus, display apparatus and control method thereof
US10504263B2 (en) 2017-08-01 2019-12-10 Samsung Electronics Co., Ltd. Adaptive high dynamic range (HDR) tone mapping with overlay indication
WO2019053917A1 (ja) 2017-09-13 2019-03-21 パナソニックＩｐマネジメント株式会社 輝度特性生成方法
CN109891902B (zh) 2017-10-06 2022-02-18 松下知识产权经营株式会社 影像显示系统及影像显示方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016027423A1 (ja) * 2014-08-19 2016-02-25 パナソニックＩｐマネジメント株式会社 伝送方法、再生方法及び再生装置
JP2016100039A (ja) * 2014-11-17 2016-05-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 記録媒体、再生方法、および再生装置

Also Published As

Publication number Publication date
WO2018235337A1 (ja) 2018-12-27
EP3644618A4 (en) 2020-05-27
CN109691119A (zh) 2019-04-26
US11032448B2 (en) 2021-06-08
EP3644618A1 (en) 2020-04-29
JP7117626B2 (ja) 2022-08-15
JPWO2018235338A1 (ja) 2020-04-23
EP3644617A1 (en) 2020-04-29
WO2018235338A1 (ja) 2018-12-27
CN109691116A (zh) 2019-04-26
CN109691119B (zh) 2022-04-19
US20190222818A1 (en) 2019-07-18
US20190222721A1 (en) 2019-07-18
EP3644617A4 (en) 2020-06-03
CN109691116B (zh) 2022-04-19
US11153466B2 (en) 2021-10-19
JP7117627B2 (ja) 2022-08-15

Similar Documents

Publication Publication Date Title
JP7117626B2 (ja) 映像表示装置及び映像表示方法
JP7133772B2 (ja) 映像表示システム及び映像表示方法
JP7117664B2 (ja) 映像処理システム及び映像処理方法
US10873684B2 (en) Video display apparatus and video display method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181011

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220614

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220621

R151 Written notification of patent or utility model registration

Ref document number: 7117627

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151