JPWO2019073990A1 - 画像処理装置、画像処理方法、送信装置、送信方法および受信装置 - Google Patents

画像処理装置、画像処理方法、送信装置、送信方法および受信装置 Download PDF

Info

Publication number
JPWO2019073990A1
JPWO2019073990A1 JP2019548210A JP2019548210A JPWO2019073990A1 JP WO2019073990 A1 JPWO2019073990 A1 JP WO2019073990A1 JP 2019548210 A JP2019548210 A JP 2019548210A JP 2019548210 A JP2019548210 A JP 2019548210A JP WO2019073990 A1 JPWO2019073990 A1 JP WO2019073990A1
Authority
JP
Japan
Prior art keywords
transient
information
image
characteristic
display period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019548210A
Other languages
English (en)
Other versions
JP7278955B2 (ja
Inventor
塚越 郁夫
郁夫 塚越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2019073990A1 publication Critical patent/JPWO2019073990A1/ja
Application granted granted Critical
Publication of JP7278955B2 publication Critical patent/JP7278955B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406Control of illumination source
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362Generation or processing of Service Information [SI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/66Transforming electric information into light information
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • G09G2320/0646Modulation of illumination source brightness and image signal correlated to each other
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0666Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/16Calculation or use of calculated indices related to luminance levels in display data

Abstract

画像の切り替えがあるときの視覚的な安全性を確保する。ノンリニア再生によって画像の切り替えがあるとき、その画像の画素統計情報に基づいて、過渡表示期間の間、表示特性を、輝度レベルを通常より低く抑える過渡表示特性に切り替える。例えば、電光変換特性を過渡特性に制御するか、あるいはバックライトの輝度レベルを抑制する。

Description

本技術は、画像処理装置、画像処理方法、送信装置、送信方法および受信装置に関し、特に、画像の切り替えがあるときの視覚的な安全性を確保する画像処理装置等に関する。
例えば、非特許文献1には、0〜100%*N(Nは1より大きい)のレベル範囲を持つHDR(High Dynamic Range)画像を送信することなどが記載されている。
High Efficiency Video Coding (HEVC) ITU-T H.265 規格
HDR画像において、きらめき成分は表示の際に高輝度表示につながる。制作側で確認済みのリニアな再生においては問題なく表示されることが前提となる。しかし、受信側において、チャネル切り替え、ランダムアクセス、システム起動、CM挿入などのノンリニア再生で画像の切り換わりがあるときに切り替わり後の画像が非常に明るいものとなった場合には視覚的な安全性を脅かす可能性がある。
本技術の目的は、画像の切り替えがあるときの視覚的な安全性を確保することにある。
本技術の概念は、
画像の切り替えがあるとき、上記画像の画素統計情報に基づいて、過渡表示期間の間、表示特性を、輝度レベルを通常より低く抑える過渡表示特性に切り替える制御部を備える
画像処理装置にある。
本技術において、制御部により、画像の切り替えがあるとき、その画像の画素統計情報に基づいて、過渡表示期間の間、表示特性が輝度レベルを通常より低く抑える過渡表示特性に切り替えられる。例えば、画素統計情報は、閾値レベルを越える画素の画像全体に対する割合を示す情報である、ようにされてもよい。この割合により、画像が非常に明るいものか否かの判断が可能となる。
例えば、制御部は、画像データを処理して得られる画素統計情報を利用するようにされてもよい。また、例えば、制御部は、画素統計情報に基づいて得られる過渡表示期間の情報を利用する、ようにされてもよい。また、例えば、制御部は、符号化画像データから抽出された画素統計情報または過渡表示期間の情報を利用する、ようにされてもよい。この場合、処理負荷の低減が可能となる。
また、例えば、過渡表示特性として複数段階の過渡表示特性が存在し、制御部は、過渡表示期間の間、複数段階の過渡表示特性を順に適用する、ようにされてもよい。この場合、過渡表示特性から通常表示特性への移行をスムーズに行うことが可能となる。
また、例えば、制御部は、過渡表示期間の間、画像データに適用される電光変換の特性を過渡特性にする、ようにされてもよい。また、例えば、制御部は、過渡表示期間の間、表示デバイスのバックライトの輝度レベルを通常より低く抑える、ようにされてもよい。
このように本技術においては、画像の切り替えがあるとき、その画像の画素統計情報に基づいて、過渡表示期間の間、表示特性を、輝度レベルを通常より低く抑える過渡表示特性に切り替えるものである。そのため、画像の切り替えがあるときの視覚的な安全性を確保することが可能となる。
また、本技術の他の概念は、
画像データを符号化して得られたビデオストリームを送信する送信部と、
上記ビデオストリームに、画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するための画素統計情報を挿入する情報挿入部を備える
送信装置にある。
本技術において、送信部により、画像データを符号化して得られたビデオストリームが送信される。この場合、情報挿入部により、ビデオストリームに、画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するための画素統計情報が挿入される。例えば、画素統計情報は、閾値レベルを越える画素の画像全体に対する割合を示す情報である、ようにされてもよい。
また、例えば、情報挿入部は、ビデオストリームに、過渡表示期間の情報をさらに挿入する、ようにされてもよい。この場合、受信側において、過渡表示期間を算出する手間を省くことが可能となる。また、例えば、情報挿入部は、ビデオストリームに、過渡表示期間の間画像データに適用される電光変換の過渡特性の情報をさらに挿入する、ようにされてもよい。これにより、受信側において、電光変換の過渡特性の情報を備えていなくても電光変換の過渡特性に切り替えることが可能となる。
この場合、例えば、電光変換の過渡特性の情報は、通常の電光変換特性のうちの変更範囲に対応したテーブル情報である、ようにされてもよい。これにより、送信情報量の低減が可能となる。また、この場合、例えば、過渡特性として複数段階の過渡特性が存在する、ようにされてもよい。これにより、受信側において、過渡特性から通常特性への移行をスムーズに行うことが可能となる。
このように本技術においては、画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するための画素統計情報を、画像データを符号化して得られたビデオストリームに挿入して送信するものである。そのため、受信側において、画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するために画素統計情報を算出する手間を省くことが可能となる。
また、本技術の他の概念は、
画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するための画素統計情報を画像データと共に送信するデジタルインタフェース部を備える
送信装置にある。
本技術において、デジタルインタフェース部により、画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するための画素統計情報が画像データと共に送信される。
例えば、デジタルインタフェース部は、過渡表示期間の間画像データに適用される電光変換の過渡特性の情報をさらに送信する、ようにされてもよい。これにより、受信側において、電光変換の過渡特性の情報を備えていなくても電光変換の過渡特性に切り替えることが可能となる。そして、この場合、電光変換の過渡特性の情報は、通常の電光変換特性のうちの変更範囲に対応したテーブル情報である、ようにされてもよい。これにより、送信情報量の低減が可能となる。
このように本技術においては、画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するための画素統計情報を画像データと共にデジタルインタフェース部で送信するものである。そのため、受信側において、画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するために画素統計情報を算出する手間を省くことが可能となる。
また、本技術の他の概念は、
画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するための画素統計情報を画像データと共に受信するデジタルインタフェース部を備える
受信装置にある。
本技術において、デジタルインタフェース部により、画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するための画素統計情報が画像データと共に受信される。そのため、画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するために画素統計情報を算出する手間を省くことが可能となる。
本技術によれば、画像の切り替えがあるときの視覚的な安全性を確保できる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
実施の形態としての送受信システムの構成例を示すブロック図である。 チャネル切り替えにより画像がチャネルAのものからチャネルBのものに切り替えられる場合の制御例を示す図である。 HDR特性(HLG)とType1,Type2,Type3の過渡特性(TRTF)の一例を示す図である。 HDR特性(PQ)とType1,Type2,Type3の過渡特性(TRTF)の一例を示す図である。 チャネル切り替えにより画像がチャネルAのものからチャネルBのものに切り替えられる場合であって、切り替え直後の一定期間はブラックあるいはグレイ画が表示される場合の制御例を示す図である。 システム起動(パワーオン)、あるいはランダムアクセスにより画像が切り替えられる場合の制御例を示す図である。 システム起動(パワーオン)、あるいはランダムアクセスにより画像が切り替えられる場合であって、切り替え直後の一定期間はブラックあるいはグレイ画が表示される場合の制御例を示す図である。 CMと番組本編の切り替わりで画像が切り替えられる場合の制御例を示す図である。 送信装置の構成例を示すブロック図である。 画像全部についてのヒストグラムの一例を示す図である。 トランジション・トランスファー・ファンクション・SEIメッセージの挿入箇所を説明するための図である。 スタティスチカル・インフォメーション・SEIメッセージの構造例と、その構造例における主要な情報の内容を示す図である。 トランジション・トランスファー・ファンクション・SEIメッセージの構造例と、その構造例における主要な情報の内容を示す図である。 受信装置の構成例を示すブロック図である。 ノンリニア再生によって画像の切り替えが行われる場合における制御部による電光変換部の制御手順の一例を示すフローチャートである。 切り替え前の画像との関連性を考慮する場合の制御の一例を説明するための図である。 ノンリニア再生によって画像の切り替えが行われる場合における制御部による電光変換部の制御手順の他の一例を示すフローチャートである。 バックライト制御により過渡表示特性を達成する受信装置の構成例を示すブロック図である。 送受信システムの他の構成例を示すブロック図である。 セットトップボックスの構成例を示すブロック図である。 トランジショナル・ディスプレイ・コントロール・HDMIインフォフレームの構造例と、その構造例における主要な情報の内容を示す図である。 トランジション・トランスファー・ファンクション・HDMIインフォフレームの構造例と、その構造例における主要な情報の内容を示す図である。 モニタの構成例を示すブロック図である。 セットトップボックスの他の構成例を示すブロック図である。 モニタの他の構成例を示すブロック図である。
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明は以下の順序で行う。
1.実施の形態
2.変形例
<1.実施の形態>
[送受信システム]
図1は、実施の形態としての送受信システム10の構成例を示している。この送受信システム10は、送信装置100と受信装置200を有する構成となっている。
送信装置100は、画像データがH.264/AVC、H.265/HEVCなどにより符号化されて得られたビデオストリームを放送あるいは通信により送信する。ビデオストリームには、画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するための画素統計情報が挿入される。
この画素統計情報は、例えば、閾値レベルを越える画素の画像全体に対する割合を示す情報とされる。このようにビデオストリームに画素統計情報が挿入されることで、受信側において、画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するために画素統計情報を算出する手間を省くことが可能となる。
本実施の形態においては、表示デバイス(ディスプレイ)の輝度表示能力をチェックしたうえで、輝度表示可能な範囲に表示レベルの変換を行うような機能とは別に、受信機での画像の切り替えが生じたときに、過渡期間の電光変換特性を選択する機能を持つものであり、それにより、過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるものである。加えて、画素統計情報をビデオストリームに挿入することで、過渡期間の表示に切り替えるかの判断を行うために画素統計情報を再生側で算出する手間を省くことが可能となる。
また、ビデオストリームには、上述の画素統計情報の他に、過渡表示期間の情報が挿入される。これにより、受信側において、過渡表示期間を算出する手間を省くことが可能となる。また、ビデオストリームには、さらに、過渡表示期間の間所定の動画像データに適用される電光変換の過渡特性の情報が挿入される。これにより、受信側において、電光変換の過渡特性の情報を備えていなくても電光変換の過渡特性に切り替えることが可能となる。この場合、例えば、電光変換の過渡特性の情報は、通常の電光変換特性のうちの変更範囲に対応したテーブル情報とされる。これにより、送信情報量の低減が可能となる。また、過渡特性は、一つであってもよいが、この実施の形態においては、複数段階の過渡特性とされる。これにより、受信側において、過渡特性から通常特性への移行をスムーズに行うことが可能となる。
この実施の形態において、上述した画素統計情報、過渡表示期間の情報、電光変換の過渡特性の情報などを含むSEIメッセージがビデオストリームに挿入される。この実施の形態において、例えば、画素統計情報や過渡表示期間の情報を含めるスタティスチカル・インフォメーション・SEIメッセージ(Statistical_Information SEI Message)と、電光変換の過渡特性の情報を含めるトランジション・トランスファー・ファンクション・SEIメッセージ(Transition_Transfer_Function SEI Message)が、新たに定義される。
受信装置200は、所定の動画像データがH.264/AVC、H.265/HEVCなどにより符号化されて得られたビデオストリームを放送あるいは通信により受信する。受信装置200は、受信されたビデオストリームを復号化して所定の動画像データを得、この所定の動画像データによる画像を得る。例えば、受信装置200は、受信されたビデオストリームを直接復号化して画像再生を行うことも可能であるが、記録再生部を経た後に復号化して画像再生を行うことも可能である。
受信装置200は、画像の切り替えがあるとき、その画像の画素統計情報に基づいて、過渡表示期間の間、表示特性を、輝度レベルを通常より低く抑える過渡表示特性に切り替える。例えば、画素統計情報は、例えば、閾値レベルを越える画素の画像全体に対する割合を示す情報であり、この割合が閾値より大きいとき、過渡表示期間の間、表示特性を、輝度レベルを通常より低く抑える過渡表示特性に切り替えるようにされる。これにより、画像の切り替えがあるときの視覚的な安全性を確保することが可能となる。
受信装置200は、所定の画像データの符号化画像データ(ビデオストリーム)に画素統計情報や過渡表示期間の情報が挿入されている場合には、それを抽出して使用できる。これにより、画素統計情報や過渡表示期間を算出する手間を省くことが可能となる。また、受信装置200は、所定の動画像データを処理して画素統計情報や過渡表示期間の情報を得て使用することもできる。
受信装置200は、輝度レベルを通常より低く抑える過渡表示特性とするために、所定の動画像データに適用される電光変換の特性を過渡特性にするか、表示デバイスのバックライトの輝度レベルを通常より低く抑えるか、あるいはそれらの双方を行う。例えば、複数段階の過渡表示特性が利用され、過渡表示期間の間それらが順に適用される。これにより、過渡表示特性から通常表示特性への移行をスムーズに行うことが可能となる。
受信装置200は、所定の画像データの符号化画像データ(ビデオストリーム)に、電光変換の過渡特性の情報が挿入されている場合には、それを抽出して使用できる。これにより、受信装置200に電光変換の過渡特性の情報を備えていない場合であっても、所定の動画像データに適用される電光変換の特性を過渡特性にして、輝度レベルを通常より低く抑える過渡表示特性とすることが可能となる。
「画像切り替えの態様」
ここで、受信装置200において、画像の切り替えが行われる場合の種々の態様について説明する。
(1)チャネル切り替え時
図2は、チャネル切り替えにより画像がチャネルAのものからチャネルBのものに切り替えられる場合の例を示している。この例では、切り替え後のチャネルBの画像が制御対象であり、切り替え後の過渡表示期間(TTh)の間、電光変換特性が過渡特性(TRTF)とされ、表示画像の輝度レベルが通常より低く抑えられる。また、過渡表示期間(TTh)が経過した後は、電光変換特性は通常のHDR電光変換特性(HDR EOTF)とされ、画像の輝度レベルが通常より低く抑えられることが解除される。
この例では、過渡表示期間がT1,T2,T3の各期間に分割され、それぞれの期間において、Type1,Type2,Type3の過渡特性(TRTF)が適用され、表示画像の輝度レベルが順次高くなっていくように制御されている。これにより、過渡特性から通常の変換特性(HDR EOTF)への移行がスムーズに行われている。なお、図示の例において、「HDR」の文字を含む矩形枠は、一個のピクチャ(フレーム)を示すものではなく、T1,T2,T3の各期間内の一個あるいは複数個のピクチャ(フレーム)をまとめて示すものである。このことは、以下の同様の図においても同じである。
図3は、ITU−R BT.2100(HLG)における通常の変換特性(HDR EOTF)であるHDR特性(HLG)とType1,Type2,Type3の過渡特性(TRTF)の一例を示している。
横軸は伝送符号値を示し、縦軸は出力輝度レベルを示している。曲線aはHDR特性(HLG)を示しており、曲線bはSDR特性を示している。伝送符号値が0から分岐レベルBまでは、HDR特性(HLG)はSDR特性と同一軌道となる。また、HDR特性(HLG)において伝送符号値の最大レベルMに対応する出力輝度レベルはP2であり、SDR特性において伝送符号値の最大レベルMに対応する出力輝度レベルはP1である。
Type1,Type2,Type3の過渡特性(TRTF)では、伝送符号値が閾値レベルHから最大レベルMまでの特性がHDR特性(HLG)とは異なる変更範囲とされている。ここで、閾値レベルHに対応する出力輝度レベルはP1´である。Type1の過渡特性では、伝送符号値の最大レベルMに対応する出力輝度レベルがSDR特性と同じくP1とされている。また、Type2の過渡特性では、伝送符号値の最大レベルMに対応する出力輝度レベルがP1a(P1<P1a<P2)とされている。また、Type3の過渡特性では、伝送符号値の最大レベルMに対応する出力輝度レベルがP1b(P1a<P1b<P2)とされている。
図4は、ITU−R BT.2100(PQ)における通常の変換特性(HDR EOTF)であるHDR特性(PQ)とType1,Type2,Type3の過渡特性(TRTF)の一例を示している。
横軸は伝送符号値を示し、縦軸は出力輝度レベルを示している。曲線aはHDR特性(PQ)を示しており、曲線bはSDR特性を示している。HDR特性(PQ)において伝送符号値の最大レベルMに対応する出力輝度レベルはP2であり、SDR特性において伝送符号値の最大レベルMに対応する出力輝度レベルはP1である。
Type1,Type2,Type3の過渡特性(TRTF)では、伝送符号値が閾値レベルHから最大レベルMまでの特性がHDR特性(PQ)とは異なる変更範囲とされている。ここで、閾値レベルHに対応する出力輝度レベルはP1´である。Type1の過渡特性では、伝送符号値の最大レベルMに対応する出力輝度レベルがSDR特性と同じくP1とされている。また、Type2の過渡特性では、伝送符号値の最大レベルMに対応する出力輝度レベルがP1a(P1<P1a<P2)とされている。また、Type3の過渡特性では、伝送符号値の最大レベルMに対応する出力輝度レベルがP1b(P1a<P1b<P2)とされている。
なお、過渡表示期間(TTh)の全体に一つの過渡特性、例えばType1の過渡特性を適用することも考えられる。
(2)チャネル切り替え時(ブラック/グレイ画経由)
図5は、チャネル切り替えにより画像がチャネルAのものからチャネルBのものに切り替えられる場合であって、切り替え直後の一定期間はブラックあるいはグレイ画が表示される例を示している。この例でも、切り替え後のチャネルBの画像が制御対象であり、ブラックあるいはグレイ画が表示された後の過渡表示期間(TTh)の間、電光変換特性が過渡特性(TRTF)とされ、表示画像の輝度レベルが通常より低く抑えられる。また、過渡表示期間(TTh)が経過した後は、電光変換特性は通常のHDR電光変換特性(HDR EOTF)とされ、表示画像の輝度レベルが通常より低く抑えられることが解除される。
この例では、過渡表示期間がT1,T2,T3の各期間に分割され、それぞれの期間において、Type1,Type2,Type3の過渡特性(TRTF)が適用され(図3、図4参照)、表示画像の輝度レベルが順次高くなっていくように制御されている。これにより、過渡特性から通常の変換特性(HDR EOTF)への移行がスムーズに行われている。なお、過渡表示期間(TTh)の全体に一つの過渡特性、例えばType1の過渡特性を適用することも考えられる。
(3)システム起動時、ランダムアクセス時
図6は、システム起動(パワーオン)、あるいはランダムアクセスにより画像が切り替えられる場合の例を示している。この例では、システム起動(パワーオン)後、あるいはランダムアクセス後の画像が制御対象であり、切り替え後の過渡表示期間(TTh)の間、電光変換特性が過渡特性(TRTF)とされ、表示画像の輝度レベルが通常より低く抑えられる。また、過渡表示期間(TTh)が経過した後は、電光変換特性は通常のHDR電光変換特性(HDR EOTF)とされ、表示画像の輝度レベルが通常より低く抑えられることが解除される。
この例では、過渡表示期間がT1,T2,T3の各期間に分割され、それぞれの期間において、Type1,Type2,Type3の過渡特性(TRTF)が適用され(図3、図4参照)、表示画像の輝度レベルが順次高くなっていくように制御されている。これにより、過渡特性から通常の変換特性(HDR EOTF)への移行がスムーズに行われている。なお、過渡表示期間(TTh)の全体に一つの過渡特性、例えばType1の過渡特性を適用することも考えられる。
(4)システム起動時、ランダムアクセス時(ブラック/グレイ画経由)
図7は、システム起動(パワーオン)、あるいはランダムアクセスにより画像が切り替えられる場合であって、切り替え直後の一定期間はブラックあるいはグレイ画が表示される例を示している。この例でも、システム起動(パワーオン)後、あるいはランダムアクセス後の画像が制御対象であり、ブラックあるいはグレイ画が表示された後の過渡表示期間(TTh)の間、電光変換特性が過渡特性(TRTF)とされ、表示画像の輝度レベルが通常より低く抑えられる。また、過渡表示期間(TTh)が経過した後は、電光変換特性は通常のHDR電光変換特性(HDR EOTF)とされ、表示画像の輝度レベルが通常より低く抑えられることが解除される。
この例では、過渡表示期間がT1,T2,T3の各期間に分割され、それぞれの期間において、Type1,Type2,Type3の過渡特性(TRTF)が適用され(図3、図4参照)、表示画像の輝度レベルが順次高くなっていくように制御されている。これにより、過渡特性から通常の変換特性(HDR EOTF)への移行がスムーズに行われている。なお、過渡表示期間(TTh)の全体に一つの過渡特性、例えばType1の過渡特性を適用することも考えられる。
(5)CM/番組本編の切り替わり時
図8は、CMと番組本編の切り替わりで画像が切り替えられる場合の例を示している。この場合のCMは、例えば受信側において任意に挿入されるものを想定している。この例では、CMから番組本編へ、あるいは番組本編からCMへの切り替わり後の画像が制御対象であり、切り替わり後の過渡表示期間(TTh)の間、電光変換特性が過渡特性(TRTF)とされ、表示画像の輝度レベルが通常より低く抑えられる。また、過渡表示期間(TTh)が経過した後は、電光変換特性は通常の変換特性(HDR EOTF)とされ、表示画像の輝度レベルが通常より低く抑えられることが解除される。
この例では、過渡表示期間がT1,T2,T3の各期間に分割され、それぞれの期間において、Type1,Type2,Type3の過渡特性(TRTF)が適用され(図3、図4参照)、表示画像の輝度レベルが順次高くなっていくように制御されている。これにより、過渡特性から通常の変換特性(HDR EOTF)への移行がスムーズに行われている。なお、過渡表示期間(TTh)の全体に一つの過渡特性、例えばType1の過渡特性を適用することも考えられる。
「送信装置の構成」
図9は、送信装置100の構成例を示している。この送信装置100は、制御部101と、光電変換部102と、RGB/YCbCr変換部103と、統計情報処理部104と、ビデオエンコーダ105と、コンテナエンコーダ106と、送信部107を有している。制御部101は、CPU(Central Processing Unit)を備えて構成されており、送信装置100の各部の動作を制御する。
光電変換部102は、動画像データとしての例えば高コントラストカメラ出力、すなわちHDR(ハイダイナミックレンジ)画像データVhに対して、HDR光電変換特性(HLGカーブ、PQカーブなど)を適用して光電変換をする。RGB/YCbCr変換部103は、光電変換後の画像データをRGBドメインからYCbCrドメインに変換する。この場合、RGB/YCbCr変換部103は、色空間情報に基づいて、色空間に対応した変換式を用いて変換をする。
統計情報処理部104は、RGB/YCbCr変換部103で得られた画像データを処理して、画素統計情報を算出する。この場合、統計情報処理部104は、ピクチャ(フレーム)毎に、閾値レベル(TH_high)を越える画素レベルの画素の画像全体に対する割合αを算出する。
図10は、画像全体についてのヒストグラムの一例を示している。このヒストグラムにおいて、縦軸は度数であり、横軸は階級としての画素レベルである。閾値レベル(TH_high)を越える画素レベルに対する度数の総和(ハッチング部分)を全ての画素レベルに対する度数の総和で割り算することで、割合αが算出される。
統計情報処理部104は、以下の数式(1)に基づいて、閾値レベル(TH_high)を越える画素レベルの画素の割合αを算出する。この数式(1)において、右辺の分数式の分母は画像全体の画素の個数を示し、その分子は閾値レベル(TH_high)を越える輝度レベルを持つ画素の個数を示している。
Figure 2019073990
また、統計情報処理部104は、送信装置100が割合αの情報と共に送信する過渡表示期間TThの情報も算出する。この場合、まず、以下の数式(2)により、割合αに所定の係数Tcを掛け算することで、過渡表示期間TTrを求める。そして、統計情報処理部104は、TTrが時間の単位(sec)に相当するものであるので、これをビデオのフレームレートに換算して、フレームカウント値で表現される過渡表示期間TThを得る。
Figure 2019073990
統計情報処理部104は、割合αおよび過渡表示期間TThの情報を制御部101に送る。ビデオエンコーダ105は、RGB/YCbCr変換部103で得られた画像データに対して、例えば、MPEG4−AVCあるいはHEVCなどの符号化を施して符号化ビデオデータを得、この符号化ビデオデータを含むビデオストリーム(ビデオエレメンタリストリーム)を得る。
この際、ビデオエンコーダ105は、アクセスユニット(AU)のSPS NALユニットのVUI(video usability information)の領域に、HDRのストリームであること、さらにはHDR電光変換特性などを示すメタ情報を挿入する。また、ビデオエンコーダ105は、アクセスユニット(AU)の“SEIs”の部分に、上述のスタティスチカル・インフォメーション・SEIメッセージとトランジション・トランスファー・ファンクション・SEIメッセージを挿入する。
なお、画素統計情報や過渡表示期間の情報を含むスタティスチカル・インフォメーション・SEIメッセージは、毎ピクチャのアクセスユニットに挿入されるが、電光変換の過渡特性の情報を含むトランジション・トランスファー・ファンクション・SEIメッセージは、必ずしも毎ピクチャのアクセスユニットに挿入される必要はなく、例えば、図11に示すように、例えばシーンの開始あるいはGOP(Group of Pictures)に相当するピクチャのアクセスユニットに挿入される。
また、電光変換の過渡特性の情報については、後述するコンテナのレイヤに挿入することも可能である。例えば、MPEG−2 TSやMMTの場合には電光変換の過渡特性の情報はデスクリプタに挿入され、MP4(ISOBMFF)の場合には電光変換の過渡特性の情報をmoof内のボックスに、あるいはDASHによる配信の場合には、MPD内に「supplemental property descriptor」よって挿入される。
スタティスチカル・インフォメーション・SEIメッセージは、上述したように、画素統計情報や過渡表示期間の情報を含むものである。図12(a)は、スタティスチカル・インフォメーション・SEIメッセージの構造例(Syntax)を示している。図12(b)は、その構造例における主要な情報の内容(Semantics)を示している。
「EOTF Type」の4ビットフィールドは、EOTFの種類を示す。例えば、“1”は「ITU-R Rec. BT.709(gamma)」を示し、“2”は「ITU-R Rec. BT.2100 PQ」を示し、“3”は「ITU-R Rec.BT.2100 HLG」を示す。
「threshold_level」の16ビットフィールドは、統計情報の対象となる画素レベル値の下限閾値、つまり閾値レベル(TH_high)を示す。「high_level_target_ratio」の8ビットフィールドは、過渡特性対象の画素の画像全体に対する割合αの値を示す。この割合に100を掛けた値がパーセント値となる。「transition_period」の16ビットフィールドは、フレームカウント値で表現される過渡表示期間TThを示す。
また、トランジション・トランスファー・ファンクション・SEIメッセージは、上述したように、電光変換の過渡特性の情報を含むものである。図13(a)は、トランジション・トランスファー・ファンクション・SEIメッセージの構造例(Syntax)を示している。図13(b)は、その構造例における主要な情報の内容(Semantics)を示している。
「number_of_transition_types」の8ビットフィールドは、過渡特性のタイプの数を示す。この数の分だけ、過渡特性の情報が繰り返し存在する。
「transitionTF Type」の4ビットフィールドは、過渡特性の種類を示す。例えば、“1”はType1を示し、“2”はType2を示し、“3”はType3を示す(図3、図4参照)。「minimum_level」の16ビットフィールドは、対象となるEOTFを変更する曲線の最小入力画素レベルを示す(図3、図4の伝送符号値における閾値レベルH参照)。「maximum_level」の16ビットフィールドは、対象となるEOTFを変更する曲線の最大入力画素レベルを示す(図3、図4の伝送符号値における最大レベルM参照)。
「trace_pivot_size」の16ビットフィールドは、過渡特性をトレースする点の数を示す。この点の数だけ、「input_level(j)」の16ビットフィールドおよび「output_level(j)」の16ビットフィールドが繰り返し存在する。「input_level(j)」のフィールドは、過渡特性の入力画素レベルを示す。「output_level(j)」のフィールドは、その入力レベルに対応する過渡特性の出力値を示す。
図9に戻って、コンテナエンコーダ106は、ビデオエンコーダ105で生成されたビデオストリームを含むコンテナ、例えばMPEG−2 TS、MMT、MP4(ISOBMFF)を配信ストリームとして生成する。この際、コンテナのレイヤに、上述のトランジション・トランスファー・ファンクション・SEIメッセージに含まれると同様の電光変換の過渡特性の情報が挿入されてもよい。送信部107は、コンテナエンコーダ106で得られた配信ストリームを、放送あるいは通信で、受信装置200に送信する。
図9に示す送信装置100の動作を簡単に説明する。例えば、高コントラストカメラ出力であるHDR画像データVhが光電変換部102に供給される。この光電変換部103では、HDR画像データVhにHDR光電変換特性で光電変換が施され、HDR OETFで映像制作された映像素材としての画像データが得られる。
光電変換部102で得られたHDRの画像データは、RGB/YCbCr変換部103に供給される。このRGB/YCbCr変換部103では、光電変換部102で得られた画像データが、RGBドメインからYCbCrドメインに変換される。YCbCrドメインに変換された画像データは、統計情報処理部104およびビデオエンコーダ105に供給される。
統計情報処理部104では、RGB/YCbCr変換部103で得られた画像データが処理されて、画素統計情報が算出される。この実施の形態では、ピクチャ(フレーム)毎に、閾値レベル(TH_high)を越える画素レベルの画素の画像全体に対する割合αが算出される(数式(1)参照)。
また、統計情報処理部104では、送信装置100が割合αの情報と共に送信する過渡表示期間TThの情報も算出される。この場合、割合αに所定の係数Tcが掛け算されることで時間単位の過渡表示期間TTrが求められ(数式(2)参照)、その後にビデオのフレームレートに換算されて、フレームカウント値で表現される過渡表示期間TThが得られる。統計情報処理部104で算出された割合αの情報と過渡表示期間TThの情報は、制御部101に送られる。
ビデオエンコーダ105では、RGB/YCbCr変換部103で得られた画像データに対して、例えば、MPEG4−AVCあるいはHEVCなどの符号化が施されて符号化ビデオデータが得られ、この符号化ビデオデータが含まれるビデオストリーム(ビデオエレメンタリストリーム)が生成される。
この際ビデオエンコーダ105では、アクセスユニット(AU)のSPS NALユニットのVUI(video usability information)の領域に、HDRのストリームであること、さらにはHDR電光変換特性などを示すメタ情報を挿入する。また、ビデオエンコーダ105では、アクセスユニット(AU)の“SEIs”の部分に、上述した割合αの情報と過渡表示期間TThの情報が含まれるスタティスチカル・インフォメーション・SEIメッセージ(図12(a)参照)が挿入され、さらに電光変換の過渡特性の情報が含まれるトランジション・トランスファー・ファンクション・SEIメッセージ(図13(a)参照)が挿入される。
ビデオエンコーダ105で得られたビデオストリームは、コンテナエンコーダ106に供給される。コンテナエンコーダ106では、ビデオストリームを含むコンテナ、例えばMPEG−2 TS、MMT、MP4(ISOBMFF)が配信ストリームとして生成される。この配信ストリームは、送信部107により、放送あるいは通信により、受信装置200に送信される。
「受信装置の構成例」
図14は、受信装置200の構成例を示している。受信装置200は、制御部201と、受信部202と、コンテナデコーダ203と、ビデオデコーダ204と、統計情報処理部205と、YCbCr/RGB変換部206と、電光変換部207と、表示デバイス208を有している。
制御部201は、CPU(Central Processing Unit)を備えて構成され、制御プログラムに基づいて、受信装置200の各部の動作を制御する。受信部202は、送信装置100から放送あるいは通信により、配信ストリームを受信する。受信部200は、記録再生部202aを備えており、受信した配信ストリーム(MPEG−2 TS、MMT、MP4(ISOBMFF)など)を直接出力するか、あるいは記録再生部202aを経由して出力する。記録再生部202aを経由する場合には、ランダムアクセスが可能となる。また、受信部202は、チャネル切り替えの機能を有する。
コンテナデコーダ203は、受信部202から出力される配信ストリーム(MPEG−2 TS、MMT、MP4(ISOBMFF)など)からビデオストリームを抽出する。
ビデオデコーダ204は、コンテナデコーダ203で抽出されるビデオストリームに対して復号化処理を行って、HDRの画像データを得る。また、ビデオデコーダ204は、ビデオストリームを構成する各アクセスユニットに挿入されているパラメータセットやSEIメッセージを抽出し、制御部201に送る。上述したように、送信装置100において、ビデオストリームにスタティスチカル・インフォメーション・SEIメッセージ(図12(a)参照)やトランジション・トランスファー・ファンクション・SEIメッセージ(図13(a)参照)が挿入される場合、それらも制御部201に送られる。
制御部201は、SPS NALユニットのVUIの領域のメタ情報から、HDRのストリームであること、HDR電光変換特性情報などを認識する。また、制御部201は、表示デバイス側の表示デバイス(ディスプレイ)の輝度表示能力をチェックしたうえで、輝度表示可能な範囲内で過渡期間の電光変換特性を選択する。その際、制御部201は、上述のスタティスチカル・インフォメーション・SEIメッセージから、画素統計情報(閾値レベル(TH_high)を越える画素レベルの画素の画像全体に対する割合αの情報)および過渡表示期間TThの情報を取得する。また、制御部201は、上述のトランジション・トランスファー・ファンクション・SEIメッセージから電光変換の過渡特性の情報を取得する。
統計情報処理部205は、上述のスタティスチカル・インフォメーション・SEIメッセージから画素統計情報(閾値レベル(TH_high)を越える画素レベルの画素の画像全体に対する割合αの情報)および過渡表示期間TThの情報を取得できなかったとき、図9の送信装置100における統計情報処理部104と同様に、ビデオデコーダ204で得られた画像データを処理してそれらの情報を算出する。統計情報処理部205は、算出した割合αの情報および過渡表示期間TThの情報を制御部201に送る。
YCbCr/RGB変換部206は、ビデオデコーダ204で得られた画像データを、YCbCr(輝度・色差)ドメインからRGBドメインに変換する。電光変換部207は、YCbCr/RGB変換部206でRGBドメインに変換された画像データに、電光変換特性を適用して、表示用画像データを得る。表示デバイス208は、例えば、液晶ディスプレイ(LCD)であって、表示用画像データによる画像を表示する。
電光変換部207は、制御部201の制御のもと、常には、通常のHDR電光変換特性(HDR EOTF)を適用するが、チャネル切り替え時、システム起動時、ランダムアクセス時、CM/番組本編の切り替わり時などのノンリニア再生によって画像の切り替えが行われる場合には、切り替え後の過渡表示期間(TTh)の間、過渡特性(TRTF)を適用し、表示画像の輝度レベルを通常より低く抑える(図2、図5〜図8参照)。
この場合、過渡特性として、1つ以上の過渡特性を用いられる。この過渡特性の情報としては、受信装置200が予め備えているものが利用され、また、受信装置200が備えていない場合には、上述したようにトランジション・トランスファー・ファンクション・SEIメッセージから取得された電光変換の過渡特性の情報が利用される。
電光変換部207は、制御部201の制御のもと、複数の過渡特性がある場合には、過渡表示期間を複数期間(各期間は等しくなくてもよい)に分割し、複数の段階の過渡特性を順に適用する。これにより、過渡特性から通常のHDR電光変換特性(HDR EOTF)への移行をスムーズに行うことができる。上述の図2、図5〜図8の例は、3つの過渡特性が用意されている場合を示している。
図15のフローチャートは、ノンリニア再生によって画像の切り替えが行われる場合における制御部201による電光変換部207の制御手順の一例を示している。ノンリニア制御部201は、ステップST1において、処理を開始する。次に、制御部201は、ステップST2において、過渡特性に切り替え後の経過時間を示すフレームカウントTPを0にリセットし、画像切り替え後の最初のピクチャ(フレーム)の処理のために、ステップST3の処理に移る。
このステップST3において、制御部201は、上述したようにスタティスチカル・インフォメーション・SEIメッセージから取得される、あるいは統計情報処理部205で算出される割合α、つまり閾値レベル(TH_high)を越える画素レベルの画素の画像全体に対する割合αが、高輝度の占める比率の閾値RThより大きいか否かを判断する。ここで、閾値RThは、受信装置200において、予め設定されるものである。
割合αが閾値RThより大きいと判断される場合、制御部201は、ステップST4の処理に進む。このステップST4において、上述したようにスタティスチカル・インフォメーション・SEIメッセージから取得された、あるいは統計情報処理部205で算出された過渡表示期間TThがフレームカウントTPより大きいか否かを判断する。なお、ステップST3で使用される割合αはそれぞれのピクチャ(フレーム)で得られたものとされるが、ステップST4で使用される過渡表示期間TThは画像切り替え後の最初のピクチャ(フレーム)で得られたものに固定される。
過渡表示期間TThがフレームカウントTPより大きいと判断される場合、制御部201は、ステップST5において、現在のピクチャ(フレーム)における電光変換部207で適用される電光変換特性を過渡特性とする。このステップST5では、複数の過渡特性が存在する場合には、過渡表示期間TThを分割した複数の各期間において、複数の段階の過渡特性が順に適用されていく。
ステップST5の処理の後、制御部201は、ステップST6でフレームカウントTPをインクリメントした後に、次のピクチャ(フレーム)の処理のために、ステップST3に戻り、上述と同様の制御処理をする。
また、ステップST3で割合αが閾値RThより大きくないと判断される場合、あるいはステップST4で過渡表示期間TThがフレームカウントTPより大きくないと判断される場合、制御部201は、ステップST7の処理に移る。このステップST7において、制御部201は、現在のピクチャ(フレーム)以降における電光変換部207で適用される電光変換特性を通常のHDR電光変換特性とし、ステップST8において、処理を終了する。
図14に示す受信装置200の動作を簡単に説明する。受信部202では、送信装置100から放送あるいは通信により、配信ストリーム(MPEG−2 TS、MMT、MP4(ISOBMFF)など)が受信され、直接あるいは記録再生部202aを経由して出力される。
受信部202から出力された配信ストリームは、コンテナデコーダ203に供給される。コンテナデコーダ203では、配信ストリームからビデオストリームが抽出される。また、コンテナデコーダ203では、コンテナのレイヤに含まれる種々の情報が抽出され、制御部201に送られる。コンテナのレイヤに電光変換の過渡特性の情報が含まれている場合には、この情報も抽出されて、制御部201に送られる。
コンテナデコーダ203で抽出されたビデオストリームは、ビデオデコーダ204に供給される。ビデオデコーダ204では、ビデオストリームに対して復号化処理が施され、HDRの画像データが得られる。
また、ビデオデコーダ204では、ビデオストリームを構成する各アクセスユニットに挿入されているパラメータセットやSEIメッセージが抽出され、制御部201に送られる。このように抽出されるSEIメッセージには、ビデオストリームにスタティスチカル・インフォメーション・SEIメッセージ(図12(a)参照)やトランジション・トランスファー・ファンクション・SEIメッセージ(図13(a)参照)も含まれる。
ビデオデコーダ204で得られたHDRの画像データは、統計情報処理部205およびYCbCr/RGB変換部206に供給される。統計情報処理部205では、スタティスチカル・インフォメーション・SEIメッセージから画素統計情報(閾値レベル(TH_high)を越える画素レベルの画素の画像全体に対する割合αの情報)および過渡表示期間TThの情報を取得できなかった場合、画像データが処理されてそれらの情報が算出されて、制御部201に送られる。
YCbCr/RGB変換部206では、ビデオデコーダ204で得られたHDRの画像データが、YCbCr(輝度・色差)ドメインからRGBドメインに変換される。このようにRGBドメインに変換され画像データは、電光変換部207に供給される。電光変換部207では、画像データに、電光変換特性が適用されて、表示用画像データが得られる。そして、表示デバイス208には、この表示用画像データによる画像が表示される。
電光変換部207では、制御部201の制御のもと、常には、通常のHDR電光変換特性(HDR EOTF)が適用されるが、チャネル切り替え時、システム起動時、ランダムアクセス時、CM/番組本編の切り替わり時などのノンリニア再生によって画像の切り替えが行われる場合には、切り替え後の過渡表示期間(TTh)の間、過渡特性(TRTF)が適用され、表示画像の輝度レベルを通常より低く抑えられる(図2、図5〜図8参照)。
なお、上述の受信装置200の説明では、チャネル切り替え時、システム起動時、ランダムアクセス時、CM/番組本編の切り替わり時などのノンリニア再生によって画像の切り替えが行われる場合における電光変換部207の変換特性の制御に当たって、切り替え前の画像(との関連性を考慮しない例を示した。
切り替え前の画像との関連性を考慮する場合の制御の一例を説明する。図16(a)は前のピクチャ画像(切り替え前の画像)を示し、図16(b)は切り替え後の現在のピクチャの画像を示している。例えば、統計情報処理部205は、それぞれの画像にR1,R2,R3の共通領域を設定し、それぞれの領域における前および現在のピクチャの画像の閾値レベル(TH_high)を越える画素レベルの画素の割合α(上述の数式(1)参照)を計算する。
そして、制御部201は、各領域における前のピクチャの割合αと現在のピクチャの割合αとの比率差が範囲Gc内に収まるか否かを判断し、その判断結果に基づいて、電光変換部207で適用すべき変換特性を制御する。
図17のフローチャートは、ノンリニア再生によって画像の切り替えが行われる場合における制御部201による電光変換部203の制御手順の他の一例を示している。ノンリニア制御部201は、ステップST10において、処理を開始する。次に、ステップST11において、過渡特性に切り替え後の経過時間を示すフレームカウントTPを0にリセットし、画像切り替え後の最初のピクチャ(フレーム)の処理のために、ステップST12の処理に移る。
このステップST12において、制御部201は、領域R3の比率差が範囲Gcを越えており、現在のピクチャの割合αが高いか否かを判断する。肯定判断のとき、制御部201は、ステップST13において、領域R2の比率差が範囲Gcを越えており、現在のピクチャの割合αが高いか否かを判断する。肯定判断のとき、制御部201は、ステップST15の処理に進む。
ステップST12で否定判断のとき、あるいはステップST13で否定判断のとき、制御部201は、ステップST14において、領域R1の比率差が範囲Gcを越えており、現在のピクチャの割合αが高いか否かを判断する。肯定判断のとき、制御部201は、ステップST15の処理に進む。
ステップST15において、制御部201は、過渡表示期間TThがフレームカウントTPより大きいか否かを判断する。なお、ステップST12、ステップST13、ステップST14で使用される割合αはそれぞれのピクチャ(フレーム)で得られたものとされるが、ステップST15で使用される過渡表示期間TThは画像切り替え後の最初のピクチャ(フレーム)で得られたものに固定される。
過渡表示期間TThがフレームカウントTPより大きいと判断される場合、制御部201は、ステップST16において、現在のピクチャ(フレーム)における電光変換部207で適用される電光変換特性を過渡特性とする。このステップST16では、複数の過渡特性が存在する場合には、過渡表示期間TThを分割した複数の各期間において、複数の段階の過渡特性が順に適用されていく。
ステップST16の処理の後、制御部201は、ステップST17でフレームカウントTPをインクリメントした後に、次のピクチャ(フレーム)の処理のために、ステップST12に戻り、上述と同様の制御処理をする。
また、ステップST14で否定判断のとき、あるいはステップST16で過渡表示期間TThがフレームカウントTPより大きくないと判断される場合、制御部201は、ステップST18の処理に移る。このステップST18において、制御部201は、現在のピクチャ(フレーム)以降における電光変換部207で適用される電光変換特性を通常のHDR変換特性とし、ステップST19において、処理を終了する。
なお、上述の図14の受信装置200では、過渡表示期間における表示特性を、輝度レベルを通常より低く抑える過渡表示特性にするために、電光変換部207で適用される電光変換の特性を過渡特性にするものであった。しかし、表示デバイス208におけるLEDバックライトを制御することで、同様の過渡表示特性を達成することも考えられる。
図18は、バックライト制御により過渡表示特性を達成する受信装置200Aの構成例を示している。この図18において、図14と対応する部分には同一符号を付し、その詳細説明は省略する。
この受信装置200Aにおいて、電光変換部207では、過渡特性対象である閾値レベル(TH_high)を越える画素レベルの画素の位置情報Poが得られ、この位置情報Poは制御部201に送られる。そして、制御部201により、過渡表示期間における表示特性を、輝度レベルを通常より低く抑える過渡表示特性にするために、位置情報Poが示す位置の画素に対応したLEDの発光レベルが低下するように、表示デバイス208のLEDバックライト部208aが制御される。
この場合の制御部201の制御は、例えば、上述の図15のフローチャートのステップST5における電光変換を過渡特性にする制御を、位置情報Poが示す位置の画素に対応したLEDの発光レベルを低下させる制御に置き換えたものとなる。
なお、上述したバックライト制御によって過渡表示特性を達成することを単独で行ってもよいが、電光変換特性を過渡特性にする制御と併用することも考えられる。
上述したように、図1に示す送受信システム10において、送信装置100は、画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するための画素統計情報を、画像データを符号化して得られたビデオストリームに挿入して送信するものである。そのため、受信側において、画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するために画素統計情報を算出する手間を省くことが可能となる。
また、図1に示す送受信システム10において、受信装置200は、画像の切り替えがあるとき、画像の画素統計情報に基づいて、過渡表示期間の間、表示特性を、輝度レベルを通常より低く抑える過渡表示特性に切り替えるものである。そのため、画像の切り替えがあるときの視覚的な安全性を確保することが可能となる。
<2.変形例>
なお、上述の実施の形態においては、送信装置100と受信装置200からなる送受信システム10の例を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。受信装置200の部分が、例えばHDMI(High-Definition Multimedia Interface)などのデジタルインタフェース(マルチメディアインタフェース)で接続されたセットトップボックスおよびモニタ(ディスプレイ)とされる場合も考えられる。なお、「HDMI」は登録商標である。
図19は、送受信システム10Aの構成例を示している。この送受信システム10Aは、送信装置100と、セットトップボックス(STB)200-1(200-1´)と、モニタ200-2(200-2´)を有する構成となっている。セットトップボックス(STB)200-1(200-1´)とモニタ200-2(200-2´)はHDMIで接続されている。
送信装置100は、図1に示す送受信システム10における送信装置100(図9参照)と同じものであるので、その説明は省略する。セットトップボックス200-1は、送信装置100から放送あるいは通信により送られてくる配信ストリーム(MPEG−2 TS、MMT、MP4(ISOBMFF)など)を受信する。モニタ200-2(200-2´)は、セットトップボックス(STB)200-1(200-1´)からHDMIで送られてくるHDRの画像データによる画像を表示する。
図20は、セットトップボックス200-1の構成例を示している。この図20において、図14、図18と対応する部分には同一符号を付して示している。このセットトップボックス200-1は、制御部201-1と、受信部202と、コンテナデコーダ203と、ビデオデコーダ204と、HDMI送信部209を有している。このセットトップボックス200-1は、図18の受信装置200Aにおける受信部202、コンテナデコーダ203およびビデオデコーダ204の部分を含むものである。
制御部201-1は、セットトップボックス200-1の各部の動作を制御する。受信部202、コンテナデコーダ203およびビデオデコーダ204は、図18の受信装置200Aにおける受信部202、コンテナデコーダ203およびビデオデコーダ204と同様に構成され、同様に動作するので、その説明は省略する。
HDMI送信部209は、HDMIに準拠した通信により、HDMI伝送路を介して、モニタ200-2に、ビデオデコーダ204で得られたHDRの画像データと、上述のスタティスチカル・インフォメーション・SEIメッセージ(図12(a)参照)から取得された画素統計情報(閾値レベル(TH_high)を越える画素レベルの画素の画像全体に対する割合αの情報)および過渡表示期間TThの情報と、上述のトランジション・トランスファー・ファンクション・SEIメッセージ(図13(a)参照)から取得された電光変換の過渡特性の情報を送る。
この場合、画素統計情報である割合αの情報、過渡表示期間TThの情報および電光変換の過渡特性の情報は、HDRの画像データのブランキング期間に挿入されて送信される。ここでは、画素統計情報である割合αの情報、過渡表示期間TThの情報の送信のために、新規定義するトランジショナル・ディスプレイ・コントロール・HDMIインフォフレーム(Transitional Display Control HDMI Info Frame)が使用される。また、電光変換の過渡特性の情報の送信のために、新規定義するトランジション・トランスファー・ファンクション・HDMIインフォフレーム(Transition Transfer Function HDMI Info Frame)が使用される。
図21(a)は、トランジショナル・ディスプレイ・コントロール・HDMIインフォフレームの構造例(Syntax)を示し、図21(b)は、その構造例における主要な情報の内容(Semantics)を示している。このインフォフレームの最初の3バイトはヘッダ部分であり、インフォフレームタイプ、バージョンナンバー、データバイトのバイト長の情報が配置されている。
データバイト1(Data Byte 1)の第7ビットから第4ビットに「EOTF Type」の4ビット情報が配置されている。この4ビット情報は、EOTFの種類を示す。例えば、“1”は「ITU-R Rec. BT.709(gamma)」を示し、“2”は「ITU-R Rec.BT.2100 PQ」を示し、“3”は「ITU-R Rec. BT.2100 HLG」を示す。
データバイト2(Data Byte 2)およびデータバイト3(Data Byte 3)に「threshold_level」の16ビット情報が配置されている。この16ビット情報は、統計情報の対象となる画素レベル値の下限閾値、つまり閾値レベル(TH_high)を示す。
データバイト4(Data Byte 4)に「high_level_target_ratio」の8ビット情報が配置されている。この8ビット情報は、過渡特性対象の画素の画像全体に対する割合αの値を示す。この割合に100を掛けた値がパーセント値となる。さらに、データバイト5(Data Byte 5)およびデータバイト6(Data Byte 6)に「transition_period」の16ビット情報が配置されている。この16ビット情報は、フレームカウント値で表現される過渡表示期間TThを示す。
図22(a)は、トランジション・トランスファー・ファンクション・HDMIインフォフレームの構造例(Syntax)を示し、図22(b)は、その構造例における主要な情報の内容(Semantics)を示している。このインフォフレームの最初の3バイトはヘッダ部分であり、インフォフレームタイプ、バージョンナンバー、データバイトのバイト長の情報が配置されている。
データバイト1(Data Byte 1)に「number_of_transition_types」の8ビット情報が配置されている。この8ビット情報は、過渡特性のタイプの数を示す。この数の分だけ、過渡特性の情報が繰り返し存在する。データバイト2(Data Byte 2)の第7ビットから第4ビットに「transitionTF Type」の4ビット情報が配置されている。この4ビット情報は、過渡特性の種類を示す。例えば、“1”はType1を示し、“2”はType2を示し、“3”はType3を示す(図3、図4参照)。
データバイト3(Data Byte 3)およびデータバイト4(Data Byte 4)に「minimum_level」の16ビット情報が配置されている。この16ビット情報は、対象となるEOTFを変更する曲線の最小入力画素レベルを示す(図3、図4の伝送符号値における閾値レベルH参照)。データバイト5(Data Byte 5)およびデータバイト6(Data Byte 6)に「maximum_level」の16ビット情報が配置されている。この16ビット情報は、対象となるEOTFを変更する曲線の最大入力画素レベルを示す(図3、図4の伝送符号値における最大レベルM参照)。
データバイト7(Data Byte 7)およびデータバイト8(Data Byte 8)に「trace_pivot_size」の16ビット情報が配置されている。この16ビット情報は、過渡特性をトレースする点の数を示す。この点の数だけ、「input_level(j)」の16ビット情報および「output_level(j)」の16ビット情報が繰り返し存在する。
データバイト9(Data Byte 9)およびデータバイト10(Data Byte 10)に「input_level(j)」の16ビット情報が配置されている。この16ビット情報は、過渡特性の入力画素レベルを示す。データバイト11(Data Byte 11)およびデータバイト12(Data Byte 12)に「input_level(j)」の16ビット情報が配置されている。この16ビット情報は、その入力レベルに対応する過渡特性の出力値を示す。
データバイト13(Data Byte 13)以後は、図示は省略しているが、「trace_pivot_size」に依存したデータバイト9〜データバイト12の繰り返しであり、また、「number_of_transition_types」に依存したデータバイト2〜データバイト12の繰り返しとなる。
図23は、図20のセットトップボックス200-1に接続されるモニタ200-2の構成例を示している。この図23において、図14、図18と対応する部分には同一符号を付して示している。このモニタ200-2は、制御部201-2と、HDMI受信部210と、統計情報処理部205と、YCbCr/RGB変換部206と、電光変換部207と、表示デバイス208を有している。
制御部201-2は、モニタ200-2の各部の動作を制御する。HDMI受信部210は、HDMIに準拠した通信により、セットトップボックス200-1から、HDMI伝送路を介して、HDRの画像データと、画素統計情報(閾値レベル(TH_high)を越える画素レベルの画素の画像全体に対する割合αの情報)および過渡表示期間TThの情報、および電光変換の過渡特性の情報を受信する。各情報は、制御部201-2に送られる。
統計情報処理部205は、HDMI受信部210で、画素統計情報としての割合αの情報および過渡表示期間TThの情報を受け取ることができなかったとき、HDMI受信部210で受信されたHDRの画像データを処理してそれらの情報を算出する。統計情報処理部205は、算出した割合αおよび過渡表示期間TThの情報を制御部20-2に送る。
YCbCr/RGB変換部206は、HDMI受信部210で得られたHDRの画像データを、YCbCr(輝度・色差)ドメインからRGBドメインに変換する。電光変換部207は、YCbCr/RGB変換部206でRGBドメインに変換された画像データに、電光変換特性を適用して、表示用画像データを得る。表示デバイス208は、例えば、液晶ディスプレイ(LCD)であって、表示用画像データによる画像を表示する。
電光変換部207は、制御部201-2´の制御のもと、常には、通常のHDR電光変換特性(HDR EOTF)を適用するが、チャネル切り替え時、システム起動時、ランダムアクセス時、CM/番組本編の切り替わり時などのノンリニア再生によって画像の切り替えが行われる場合には、切り替え後の過渡表示期間(TTh)の間、過渡特性(TRTF)を適用し、表示画像の輝度レベルを通常より低く抑える(図2、図5〜図8参照)。
また、電光変換部207では、過渡特性対象である閾値レベル(TH_high)を越える画素レベルの画素の位置情報Poが得られ、この位置情報Poは制御部201-2に送られる。そして、制御部201-2により、過渡表示期間における表示特性を、輝度レベルを通常より低く抑える過渡表示特性にするために、位置情報Poが示す位置の画素に対応したLEDの発光レベルが低下するように、表示デバイス208のLEDバックライト部208aが制御される。
なお、このモニタ200-2では、電光変換特性を過渡特性に制御することと、バックライトの輝度レベルを抑制する制御をすることの双方によって、過渡表示期間で、表示画像の輝度レベルを低減して視覚安全性を確保するようにしているが、いずれか一方の制御のみを行うことも考えられる。
図24は、セットトップボックス200-1´の構成例を示している。この図24において、図14、図18、図20と対応する部分には同一符号を付して示している。このセットトップボックス200-1は、制御部201-1´と、受信部202と、コンテナデコーダ203と、ビデオデコーダ204と、統計情報処理部205と、HDMI送信部209を有している。このセットトップボックス200-1´は、図18の受信装置200Aにおける受信部202、コンテナデコーダ203、ビデオデコーダ204および統計情報処理部205の部分を含むものである。
制御部201-1´は、セットトップボックス200-1´の各部の動作を制御する。受信部202、コンテナデコーダ203、ビデオデータ204および統計情報処理部205は、図18の受信装置200Aにおける受信部202、コンテナデコーダ203、ビデオデコーダ204および統計情報処理部205と同様に構成され、同様に動作するので、その説明は省略する。
HDMI送信部209は、HDMIに準拠した通信により、HDMI伝送路を介して、モニタ200-2´に、ビデオデコーダ204で得られたHDRの画像データと、画素統計情報(閾値レベル(TH_high)を越える画素レベルの画素の画像全体に対する割合αの情報)および過渡表示期間TThの情報と、電光変換の過渡特性の情報を送る。
この場合、画素統計情報である割合αの情報、過渡表示期間TThの情報および電光変換の過渡特性の情報は、HDRの画像データのブランキング期間に挿入されて送信される。ここでは、画素統計情報である割合αの情報、過渡表示期間TThの情報の送信のために、新規定義するトランジショナル・ディスプレイ・コントロール・HDMIインフォフレーム(図21(a)参照)が使用される。また、電光変換の過渡特性の情報の送信のために、新規定義するトランジション・トランスファー・ファンクション・HDMIインフォフレーム(図22(a)参照)が使用される。
図25は、図24のセットトップボックス200-1´に接続されるモニタ200-2´の構成例を示している。この図24において、図14、図18、図23と対応する部分には同一符号を付して示している。このモニタ200-2´は、制御部201-2´と、HDMI受信部210と、YCbCr/RGB変換部206と、電光変換部207と、表示デバイス208を有している。
制御部201-2´は、モニタ200-2´の各部の動作を制御する。HDMI受信部210は、HDMIに準拠した通信により、セットトップボックス200-1´から、HDMI伝送路を介して、HDRの画像データと、画素統計情報(閾値レベル(TH_high)を越える画素レベルの画素の画像全体に対する割合αの情報)および過渡表示期間TThの情報、および電光変換の過渡特性の情報を受信する。各情報は、制御部201-2´に送られる。
YCbCr/RGB変換部206は、HDMI受信部210で得られたHDRの画像データを、YCbCr(輝度・色差)ドメインからRGBドメインに変換する。電光変換部207は、YCbCr/RGB変換部206でRGBドメインに変換された画像データに、電光変換特性を適用して、表示用画像データを得る。表示デバイス208は、例えば、液晶ディスプレイ(LCD)であって、表示用画像データによる画像を表示する。
電光変換部207は、制御部201-2の制御のもと、常には、通常のHDR電光変換特性(HDR EOTF)を適用するが、チャネル切り替え時、システム起動時、ランダムアクセス時、CM/番組本編の切り替わり時などのノンリニア再生によって画像の切り替えが行われる場合には、切り替え後の過渡表示期間(TTh)の間、過渡特性(TRTF)を適用し、表示画像の輝度レベルを通常より低く抑える(図2、図5〜図8参照)。
また、電光変換部207では、過渡特性対象である閾値レベル(TH_high)を越える画素レベルの画素の位置情報Poが得られ、この位置情報Poは制御部201-2´に送られる。そして、制御部201-2により、過渡表示期間における表示特性を、輝度レベルを通常より低く抑える過渡表示特性にするために、位置情報Poが示す位置の画素に対応したLEDの発光レベルが低下するように、表示デバイス208のLEDバックライト部208aが制御される。
なお、このモニタ200-2´では、電光変換特性を過渡特性に制御することと、バックライトの輝度レベルを抑制する制御をすることの双方によって、過渡表示期間で、表示画像の輝度レベルを低減して視覚安全性を確保するようにしているが、いずれか一方の制御のみを行うことも考えられる。
また、本技術は、以下のような構成を取ることもできる。
(1)画像の切り替えがあるとき、上記画像の画素統計情報に基づいて、過渡表示期間の間、表示特性を、輝度レベルを通常より低く抑える過渡表示特性に切り替える制御部を備える
画像処理装置。
(2)上記画素統計情報は、閾値レベルを越える画素の画像全体に対する割合を示す情報である
前記(1)に記載の画像処理装置。
(3)上記制御部は、画像データを処理して得られる上記画素統計情報を利用する
前記(1)または(2)に記載の画像処理装置。
(4)上記制御部は、上記画素統計情報に基づいて得られる上記過渡表示期間の情報を利用する
前記(1)から(3)のいずれかに記載の画像処理装置。
(5)上記制御部は、符号化画像データから抽出された上記画素統計情報または上記過渡表示期間の情報を利用する
前記(1)または(2)に記載の画像処理装置。
(6)上記過渡表示特性として複数段階の過渡表示特性が存在し、
上記制御部は、上記過渡表示期間の間、上記複数段階の過渡表示特性を順に適用する
前記(1)から(5)のいずれかに記載の画像処理装置。
(7)上記制御部は、上記過渡表示期間の間、画像データに適用される電光変換の特性を過渡特性にする
前記(1)から(6)のいずれかに記載の画像処理装置。
(8)上記制御部は、上記過渡表示期間の間、表示デバイスのバックライトの輝度レベルを通常より低く抑える
前記(1)から(7)のいずれかに記載の画像処理装置。
(9)制御部が、画像の切り替えがあるとき、上記画像の画素統計情報に基づいて、過渡表示期間の間、表示特性を、輝度レベルを通常より低く抑える過渡表示特性に切り替える
画像処理方法。
(10)画像データを符号化して得られたビデオストリームを送信する送信部と、
上記ビデオストリームに、画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するための画素統計情報を挿入する情報挿入部を備える
送信装置。
(11)上記画素統計情報は、閾値レベルを越える画素の画像全体に対する割合を示す情報である
前記(10)に記載の送信装置。
(12)上記情報挿入部は、上記ビデオストリームに、上記過渡表示期間の情報をさらに挿入する
前記(10)または(11)に記載の送信装置。
(13)上記情報挿入部は、上記ビデオストリームに、上記過渡表示期間の間画像データに適用される電光変換の過渡特性の情報をさらに挿入する
前記(10)から(12)のいずれかに記載の送信装置。
(14)上記電光変換の過渡特性の情報は、通常の電光変換特性のうちの変更範囲に対応したテーブル情報である
前記(13)に記載の送信装置。
(15)上記過渡特性として複数段階の過渡特性が存在する
前記(13)または(14)に記載の送信装置。
(16)送信部が、画像データを符号化して得られたビデオストリームを送信し、
情報挿入部が上記ビデオストリームに、画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するための画素統計情報を挿入する
送信方法。
(17)画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するための画素統計情報を画像データと共に送信するデジタルインタフェース部を備える
送信装置。
(18)上記デジタルインタフェース部は、上記過渡表示期間の間画像データに適用される電光変換の過渡特性の情報をさらに送信する
前記(17)に記載の送信装置。
(19)上記電光変換の過渡特性の情報は、通常の電光変換特性のうちの変更範囲に対応したテーブル情報である
前記(18)に記載の送信装置。
(20)画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するための画素統計情報を画像データと共に受信するデジタルインタフェース部を備える
受信装置。
本技術の主な特徴は、ノンリニア再生によって画像の切り替えがあるとき、その画像の画素統計情報に基づいて、過渡表示期間の間、表示特性を、輝度レベルを通常より低く抑える過渡表示特性に切り替えることで、画像の切り替えがあるときの視覚的な安全性を確保可能としたことである(図2、図3、図14、図15参照)。
10,10A・・・送受信システム
100・・・送信装置
101・・・制御部
102・・・光電変換部
103・・・RGB/YCbCr変換部
104・・・統計情報処理部
105・・・ビデオエンコーダ
106・・・コンテナエンコーダ
107・・・送信部
200,200A・・・受信装置
200-1,200-1´・・・セットトップボックス
200-2,200-2´・・・モニタ
201,201-1,201-1´,201-2,201-2´・・・制御部
202・・・受信部
202a・・・記録再生部
203・・・コンテナデコーダ
204・・・ビデオデコーダ
205・・・統計情報処理部
206・・・YCbCr/RGB変換部
207・・・電光変換部
208・・・表示デバイス
208a・・・LEDバックライト部
209・・・HDMI送信部
210・・・HDMI受信部

Claims (20)

  1. 画像の切り替えがあるとき、上記画像の画素統計情報に基づいて、過渡表示期間の間、表示特性を、輝度レベルを通常より低く抑える過渡表示特性に切り替える制御部を備える
    画像処理装置。
  2. 上記画素統計情報は、閾値レベルを越える画素の画像全体に対する割合を示す情報である
    請求項1に記載の画像処理装置。
  3. 上記制御部は、画像データを処理して得られる上記画素統計情報を利用する
    請求項1に記載の画像処理装置。
  4. 上記制御部は、上記画素統計情報に基づいて得られる上記過渡表示期間の情報を利用する
    請求項1に記載の画像処理装置。
  5. 上記制御部は、符号化画像データから抽出された上記画素統計情報または上記過渡表示期間の情報を利用する
    請求項1に記載の画像処理装置。
  6. 上記過渡表示特性として複数段階の過渡表示特性が存在し、
    上記制御部は、上記過渡表示期間の間、上記複数段階の過渡表示特性を順に適用する
    請求項1に記載の画像処理装置。
  7. 上記制御部は、上記過渡表示期間の間、画像データに適用される電光変換の特性を過渡特性にする
    請求項1に記載の画像処理装置。
  8. 上記制御部は、上記過渡表示期間の間、表示デバイスのバックライトの輝度レベルを通常より低く抑える
    請求項1に記載の画像処理装置。
  9. 制御部が、画像の切り替えがあるとき、上記画像の画素統計情報に基づいて、過渡表示期間の間、表示特性を、輝度レベルを通常より低く抑える過渡表示特性に切り替える
    画像処理方法。
  10. 画像データを符号化して得られたビデオストリームを送信する送信部と、
    上記ビデオストリームに、画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するための画素統計情報を挿入する情報挿入部を備える
    送信装置。
  11. 上記画素統計情報は、閾値レベルを越える画素の画像全体に対する割合を示す情報である
    請求項10に記載の送信装置。
  12. 上記情報挿入部は、上記ビデオストリームに、上記過渡表示期間の情報をさらに挿入する
    請求項10に記載の送信装置。
  13. 上記情報挿入部は、上記ビデオストリームに、上記過渡表示期間の間動画像データに適用される電光変換の過渡特性の情報をさらに挿入する
    請求項10に記載の送信装置。
  14. 上記電光変換の過渡特性の情報は、通常の電光変換特性のうちの変更範囲に対応したテーブル情報である
    請求項13に記載の送信装置。
  15. 上記過渡特性として複数段階の過渡特性が存在する
    請求項13に記載の送信装置。
  16. 送信部が、画像データを符号化して得られたビデオストリームを送信し、
    情報挿入部が上記ビデオストリームに、画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するための画素統計情報を挿入する
    送信方法。
  17. 画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するための画素統計情報を記画像データと共に送信するデジタルインタフェース部を備える
    送信装置。
  18. 上記デジタルインタフェース部は、上記過渡表示期間の間画像データに適用される電光変換の過渡特性の情報をさらに送信する
    請求項17に記載の送信装置。
  19. 上記電光変換の過渡特性の情報は、通常の電光変換特性のうちの変更範囲に対応したテーブル情報である
    請求項18に記載の送信装置。
  20. 画像の切り替えがあるときに表示特性を過渡表示期間の間輝度レベルを通常より低く抑える過渡表示特性に切り替えるか判断するための画素統計情報を画像データと共に受信するデジタルインタフェース部を備える
    受信装置。
JP2019548210A 2017-10-12 2018-10-10 画像処理装置、画像処理方法、送信装置、送信方法および受信装置 Active JP7278955B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017198908 2017-10-12
JP2017198908 2017-10-12
PCT/JP2018/037654 WO2019073990A1 (ja) 2017-10-12 2018-10-10 画像処理装置、画像処理方法、送信装置、送信方法および受信装置

Publications (2)

Publication Number Publication Date
JPWO2019073990A1 true JPWO2019073990A1 (ja) 2020-11-05
JP7278955B2 JP7278955B2 (ja) 2023-05-22

Family

ID=66101474

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019548210A Active JP7278955B2 (ja) 2017-10-12 2018-10-10 画像処理装置、画像処理方法、送信装置、送信方法および受信装置

Country Status (5)

Country Link
US (2) US11244635B2 (ja)
EP (1) EP3697098A1 (ja)
JP (1) JP7278955B2 (ja)
CN (1) CN111183651A (ja)
WO (1) WO2019073990A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020007922A1 (en) * 2018-07-05 2020-01-09 Dolby International Ab Processing media data structures

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009044828A1 (ja) * 2007-10-05 2009-04-09 Sharp Kabushiki Kaisha 画像表示装置
US20100309213A1 (en) * 2009-06-08 2010-12-09 Himax Media Solutions, Inc. Adaptive Stepping-Control System and Method for Dynamic Backlight Control
JP2011033943A (ja) * 2009-08-04 2011-02-17 Canon Inc 画像処理装置およびその制御方法
JP2011180455A (ja) * 2010-03-02 2011-09-15 Fujitsu Ten Ltd 表示制御装置および表示制御方法
WO2012025986A1 (ja) * 2010-08-24 2012-03-01 Necディスプレイソリューションズ株式会社 画像表示装置および光源冷却方法
JP2016528826A (ja) * 2013-07-30 2016-09-15 ドルビー ラボラトリーズ ライセンシング コーポレイション シーン不変化されたメタデータを生成するためのシステムおよび方法
JP2016213809A (ja) * 2015-05-12 2016-12-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 表示方法および表示装置
JP2017073760A (ja) * 2015-10-07 2017-04-13 パナソニックIpマネジメント株式会社 映像送信方法、映像受信方法、映像送信装置及び映像受信装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002006395A (ja) * 2000-06-26 2002-01-09 Canon Inc 画像表示装置
US20030023910A1 (en) * 2001-07-25 2003-01-30 Myler Harley R. Method for monitoring and automatically correcting digital video quality by reverse frame prediction
JP2007281805A (ja) * 2006-04-05 2007-10-25 Canon Inc デジタル放送受信装置、デジタル放送受信方法及びプログラム
TWI362642B (en) * 2007-03-28 2012-04-21 Chunghwa Picture Tubes Ltd Adaptive gamma voltage switching method and device using the same
JP2009008041A (ja) 2007-06-29 2009-01-15 Mecaro:Kk マグナス型風力発電装置
TW200920120A (en) * 2007-10-24 2009-05-01 Novatek Microelectronics Corp Image output device, display and image processing method
JP5540746B2 (ja) * 2009-11-20 2014-07-02 ソニー株式会社 受信装置、送信装置、通信システム、受信装置の制御方法、及びプログラム
US9596447B2 (en) * 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
KR20160054039A (ko) 2011-05-27 2016-05-13 돌비 레버러토리즈 라이쎈싱 코오포레이션 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
JP6171383B2 (ja) * 2013-02-15 2017-08-02 セイコーエプソン株式会社 電気光学装置及び電子機器
EP3926963A3 (en) * 2013-04-30 2022-01-26 Saturn Licensing LLC Transmitting device, transmitting method, receiving device, and receiving method
TWI514883B (zh) * 2013-07-31 2015-12-21 Coretronic Corp 投影裝置及其投影畫面的亮度控制方法
US20150074129A1 (en) * 2013-09-12 2015-03-12 Cisco Technology, Inc. Augmenting media presentation description and index for metadata in a network environment
WO2015053157A1 (ja) * 2013-10-11 2015-04-16 ソニー株式会社 送信装置、送信方法および受信装置
JP6202330B2 (ja) 2013-10-15 2017-09-27 ソニー株式会社 復号装置および復号方法、並びに符号化装置および符号化方法
EP3092806A4 (en) * 2014-01-07 2017-08-23 Nokia Technologies Oy Method and apparatus for video coding and decoding
US20150237356A1 (en) * 2014-02-18 2015-08-20 Microsoft Corporation Host encoder for hardware-accelerated video encoding
JP6531759B2 (ja) * 2014-06-13 2019-06-19 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN107148780B (zh) 2014-11-07 2020-06-16 索尼公司 发送装置、发送方法、接收装置和接收方法
KR102273497B1 (ko) * 2014-12-24 2021-07-07 엘지디스플레이 주식회사 표시장치와 그 구동 방법
WO2016129891A1 (ko) * 2015-02-11 2016-08-18 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
GB2539917B (en) * 2015-06-30 2021-04-07 British Broadcasting Corp Method and apparatus for conversion of HDR signals
JP2017227775A (ja) * 2016-06-22 2017-12-28 キヤノン株式会社 表示装置、およびその制御方法
JP6729055B2 (ja) * 2016-06-23 2020-07-22 セイコーエプソン株式会社 映像処理装置、表示装置および映像処理方法
JP6718336B2 (ja) * 2016-08-25 2020-07-08 株式会社ジャパンディスプレイ 表示装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009044828A1 (ja) * 2007-10-05 2009-04-09 Sharp Kabushiki Kaisha 画像表示装置
US20100309213A1 (en) * 2009-06-08 2010-12-09 Himax Media Solutions, Inc. Adaptive Stepping-Control System and Method for Dynamic Backlight Control
JP2011033943A (ja) * 2009-08-04 2011-02-17 Canon Inc 画像処理装置およびその制御方法
JP2011180455A (ja) * 2010-03-02 2011-09-15 Fujitsu Ten Ltd 表示制御装置および表示制御方法
WO2012025986A1 (ja) * 2010-08-24 2012-03-01 Necディスプレイソリューションズ株式会社 画像表示装置および光源冷却方法
JP2016528826A (ja) * 2013-07-30 2016-09-15 ドルビー ラボラトリーズ ライセンシング コーポレイション シーン不変化されたメタデータを生成するためのシステムおよび方法
JP2016213809A (ja) * 2015-05-12 2016-12-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 表示方法および表示装置
JP2017073760A (ja) * 2015-10-07 2017-04-13 パナソニックIpマネジメント株式会社 映像送信方法、映像受信方法、映像送信装置及び映像受信装置

Also Published As

Publication number Publication date
JP7278955B2 (ja) 2023-05-22
US11244635B2 (en) 2022-02-08
US20220122551A1 (en) 2022-04-21
EP3697098A4 (en) 2020-08-19
CN111183651A (zh) 2020-05-19
EP3697098A1 (en) 2020-08-19
US20200294454A1 (en) 2020-09-17
US11948519B2 (en) 2024-04-02
WO2019073990A1 (ja) 2019-04-18

Similar Documents

Publication Publication Date Title
EP3192256B1 (en) Image processing apparatus and image processing method
JP6704171B2 (ja) 表示装置、変換装置、表示方法、および、コンピュータプログラム
CN111343460B (zh) 接收装置、显示设备及接收方法
US10136181B2 (en) Playback method and playback device
US10368105B2 (en) Metadata describing nominal lighting conditions of a reference viewing environment for video playback
US20230247253A1 (en) Transmitting device, transmitting method, receiving device, and receiving method
JP6686438B2 (ja) 送信装置、送信方法、受信装置および受信方法
CN106416261B (zh) 传输设备、传输方法、接收设备以及接收方法
JP2017134420A (ja) 再生装置、再生方法、及び、コンピュータプログラム
KR20170084035A (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
US11895309B2 (en) Transmitting apparatus, transmitting method, receiving apparatus, and receiving method
JP7278955B2 (ja) 画像処理装置、画像処理方法、送信装置、送信方法および受信装置
KR102534495B1 (ko) 비디오 처리 장치, 비디오 처리 방법 및 프로그램

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220823

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230510

R150 Certificate of patent or registration of utility model

Ref document number: 7278955

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150