JP7018573B2 - 輝度変換装置および輝度変換方法 - Google Patents

輝度変換装置および輝度変換方法 Download PDF

Info

Publication number
JP7018573B2
JP7018573B2 JP2020080153A JP2020080153A JP7018573B2 JP 7018573 B2 JP7018573 B2 JP 7018573B2 JP 2020080153 A JP2020080153 A JP 2020080153A JP 2020080153 A JP2020080153 A JP 2020080153A JP 7018573 B2 JP7018573 B2 JP 7018573B2
Authority
JP
Japan
Prior art keywords
luminance
display
hdr
value
conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020080153A
Other languages
English (en)
Other versions
JP2020145700A (ja
Inventor
健吾 寺田
雅之 小塚
孝啓 西
正真 遠間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JP2020145700A publication Critical patent/JP2020145700A/ja
Priority to JP2022003742A priority Critical patent/JP7065376B2/ja
Application granted granted Critical
Publication of JP7018573B2 publication Critical patent/JP7018573B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57Control of contrast or brightness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/015High-definition television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/7921Processing of colour television signals in connection with recording for more than one processing mode
    • H04N9/7925Processing of colour television signals in connection with recording for more than one processing mode for more than one standard
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/87Regeneration of colour television signals
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0271Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G09G2320/0276Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping for the purpose of adaptation to the characteristics of a display device, i.e. gamma correction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Picture Signal Circuits (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)

Description

本開示は、映像の輝度を変換する輝度変換装置および輝度変換方法に関する。
従来、表示可能な輝度レベルを改善するための画像信号処理装置が開示されている(例えば特許文献1参照)。
特開2008-167418号公報
上記従来技術では、更なる改善が必要とされていた。
本開示の一態様に係る輝度変換装置は、第1の輝度範囲における第1の輝度値を有する第1の映像信号を取得する取得部と、前記第1の映像信号の前記第1の輝度値を、表示部が表示可能な最大輝度値を超えない第2の輝度値に変換する変換部と、前記第2の輝度値を有する第2の映像信号を前記表示部に出力する出力部と、を有し、前記変換部は、低輝度側の前記第2の輝度値は前記第1の輝度値に正比例する正比例値より低い値となるように、かつ、高輝度側の前記第2の輝度値は前記正比例値より高い値となるように、変換する。
また、本開示の一態様に係る輝度変換方法は、第1の輝度範囲における第1の輝度値を有する第1の映像信号を取得し、前記第1の映像信号の前記第1の輝度値を、表示部が表示可能な最大輝度値を超えない第2の輝度値に変換し、前記第2の輝度値を有する第2の映像信号を前記表示部に出力する、輝度変換方法であり、低輝度側の前記第2の輝度値は前記第1の輝度値に正比例する正比例値より低い値となるように、かつ、高輝度側の前記第2の輝度値は前記正比例値より高い値となるように、変換する。
本開示の一態様に係る表示装置は、第1の輝度範囲を有する映像信号を受信し、前記映像信号をEOTF(Electro-Optical Transfer Function)変換して第1の輝度値を求めるEOTF変換部と、前記第1の輝度値を、前記第1の輝度範囲の最大値よりも小さくかつSDR(Standard Dynamic Range)信号の輝度の最大値よりも大きい最大値を有する第2の輝度範囲に対応する第2の輝度値に変換する輝度変換部と、前記第2の輝度値に基づいて前記第2の輝度範囲を有する前記映像信号の表示を行う表示部と、を有する。
また、本開示の一態様に係る変換装置は、第1の輝度範囲を有する映像信号を受信し、前記映像信号をEOTF(Electro-Optical Transfer Function)変換して第1の輝度値を求めるEOTF変換部と、前記第1の輝度値を、前記第1の輝度範囲の最大値よりも小さくかつSDR(Standard Dynamic Range)信号の輝度の最大値よりも大きい最大値を有する第2の輝度範囲に対応する第2の輝度値に変換し出力する輝度変換部と、を有する。
なお、これらの全般包括的または具体的な態様は、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
上記態様によれば、更なる改善を実現できる。
図1は、映像技術の進化について説明するための図である。 図2は、コンテンツに新たな映像表現を導入するときの、映像制作、配信方式、および表示装置の関係について説明するための図である。 図3は、HDR導入時のマスター、配信方式、および表示装置の関係について説明するための図である。 図4Aは、SDRTV内のSDR表示処理について説明するための図である。 図4Bは、ピーク輝度が300nitのSDRTV内のSDR表示処理について説明するための図である。 図5は、HDRからSDRへの変換について説明するための図である。 図6Aは、HDRディスクにHDRに対応したHDR信号のみが格納されているケース1について説明するための図である。 図6Bは、HDRディスクにHDRに対応したHDR信号およびSDRに対応したSDR信号が格納されているケース2について説明するための図である。 図7は、HDRから疑似HDRへの変換処理について説明するための図である。 図8Aは、HDRおよびSDRのそれぞれに対応したEOTF(Electro-Optical Transfer Function)の例について示す図である。 図8Bは、HDRおよびSDRのそれぞれに対応した逆EOTFの例について示す図である。 図9は、コンテンツに格納される輝度信号のコード値の決定方法、および、再生時にコード値から輝度値を復元するプロセスの説明図である。 図10Aは、HDRTV内で、HDR信号を変換してHDR表示を行う表示処理の一例を示す図である。 図10Bは、HDR対応の再生装置とSDRTVとを用いてHDR表示を行う表示処理の一例を示す図である。 図10Cは、標準インターフェースを介して互いに接続したHDR対応の再生装置とSDRTVとをHDR表示を行う表示処理の一例を示す図である。 図11は、実施の形態の変換装置および表示装置の構成を示すブロック図である。 図12は、実施の形態の変換装置および表示装置により行われる変換方法および表示方法を示すフローチャートである。 図13Aは、第1輝度変換について説明するための図である。 図13Bは、第1輝度変換の他の一例について説明するための図である。 図14は、第2輝度変換について説明するための図である。 図15は、表示設定の詳細な処理を示すフローチャートである。 図16は、第3輝度変換について説明するための図である。 図17は、HDRから疑似HDRへの変換処理について説明するための図である。
(本開示の基礎となった知見)
本発明者は、「背景技術」の欄において記載した、画像信号処理装置に関し、以下の課題が生じることを見出した。
特許文献1に開示されている画像信号処理装置では、被写体を構成する画素から算出されたリニアRGB値に基づいて画素毎にリニア輝度を算出し、リニアRGB値およびリニア輝度に基づいて画素毎の補正リニア輝度および当該画素を含む複数の画素を合成した合成画素の補正リニアRGB値を算出し、補正リニア輝度および補正リニアRGB値をそれぞれガンマ補正して表示用輝度および表示用RGB値を算出する。このように、画像信号処理装置では、補正リニアRGB値に基づいてリニア輝度を補正することにより、表示可能な階調数の増加を図っている。
しかしながら、特許文献1に開示されている画像信号処理装置などの輝度の補正(変換)においては、第3輝度範囲から輝度範囲が縮小された第2輝度範囲に輝度を補正(変換)するときの輝度の変換方法については考慮されていなかった。
以上の検討を踏まえ、本発明者は、上記課題を解決するために、下記の改善策を検討した。
本開示の一態様に係る表示装置は、第1の輝度範囲を有する映像信号を受信し、前記映像信号をEOTF(Electro-Optical Transfer Function)変換して第1の輝度値を求めるEOTF変換部と、前記第1の輝度値を、前記第1の輝度範囲の最大値よりも小さくかつSDR(Standard Dynamic Range)信号の輝度の最大値よりも大きい最大値を有する第2の輝度範囲に対応する第2の輝度値に変換する輝度変換部と、前記第2の輝度値に基づいて前記第2の輝度範囲を有する前記映像信号の表示を行う表示部と、を有する。
また、例えば、前記輝度変換部は、当該表示装置の特性である特性情報に基づいて変換を行ってもよい。
また、例えば、前記特性情報は、前記表示部が表示できる輝度の最大値(DPL)、前記表示部の表示モード、前記表示部が対応する入出力特性、のいずれかを示してもよい。
また、例えば、前記輝度変換部において、前記第1の輝度範囲を有する映像信号の平均輝度値(CAL)以下の前記第1の輝度値と変換後の前記第2の輝度値とは同一の値であってもよい。
また、例えば、前記輝度変換部は、前記第1の輝度値の最大輝度値(CPL)をDPLに変換してもよい。
また、例えば、前記輝度変換部は、変換後の前記第2の輝度値が自然対数の関係を有してもよい。
また、例えば、前記特性情報は、ユーザが操作を行うことにより設定されてもよい。
また、例えば、前記第1の輝度範囲を有する前記映像信号は、HDR(High Dynamic Range)信号であってもよい。
また、本開示の一態様に係る変換装置は、第1の輝度範囲を有する映像信号を受信し、前記映像信号をEOTF(Electro-Optical Transfer Function)変換して第1の輝度値を求めるEOTF変換部と、前記第1の輝度値を、前記第1の輝度範囲の最大値よりも小さくかつSDR(Standard Dynamic Range)信号の輝度の最大値よりも大きい最大値を有する第2の輝度範囲に対応する第2の輝度値に変換し出力する輝度変換部と、を有する。
本開示の一態様に係る表示方法は、表示装置における映像を表示する表示方法であって、前記映像の輝度は、第1輝度範囲の輝度値からなり、前記映像の輝度値が量子化されることで得られたコード値を示す第1輝度信号を、前記表示装置の輝度範囲に基づいて決定する前記第1輝度範囲の最大値よりも小さく、かつ、100nit近傍よりも大きい最大値である第2輝度範囲に対応する第2輝度値へ変換し、前記第2輝度値を、100nit近傍を最大値とする第3輝度範囲に対応する第3輝度値に変換し、前記第3輝度値を量子化したコード値を第3輝度信号として、前記表示装置が取得し、前記映像の表示にあたって前記表示装置に対して推奨する表示設定を示す設定情報を取得し、取得した前記設定情報を用いて、前記表示装置の表示設定の設定を行い、取得した前記第3輝度信号が示す前記第3コード値を、設定した前記表示設定を用いて、前記第2輝度範囲に対応する前記第2輝度値へ変換し、変換した前記第2輝度値に基づいて、前記映像を前記表示装置に表示する。
本開示の一態様に係る表示システムは、映像の輝度を変換する変換装置と、前記映像を表示する表示装置とを備えた表示システムであって、前記表示装置は、前記変換装置と接続し、前記映像の輝度は、第1輝度範囲の輝度値からなり、前記変換装置は、前記映像の輝度値が量子化されることで得られたコード値を示す第1輝度信号を取得する第1取得部と、取得した前記第1輝度信号が示すコード値を、前記表示装置の輝度範囲に基づいて決定する、前記第1輝度範囲の最大値よりも小さく、かつ、100nitよりも大きい最大値である第2輝度範囲に対応する第2輝度値へ変換する第1輝度変換部と、決定した前記第2輝度値について、当該第2輝度値に予め関係付けられた、100nitを最大値とする第3輝度範囲に対応する第3輝度値を決定し、前記第2輝度範囲に対応する前記第2輝度値を、前記第3輝度範囲に対応する前記第3輝度値へ変換する第2輝度変換する第2輝度変換部と、決定した前記第3輝度値を量子化し、量子化により得られた第3コード値を決定し、前記第3輝度範囲に対応する前記第3輝度値を、前記第3コード値を示す第3輝度信号へ変換する量子化変換部と、前記第3輝度信号を前記表示装置へ出力する出力部と、前記表示装置は、前記第3輝度信号と、前記映像の表示にあたって前記表示装置に対して推奨する表示設定を示す設定情報とを取得する第2取得部と、取得した前記設定情報を用いて、前記表示装置の表示設定の設定を行う表示設定部と、取得した前記第3輝度信号が示す前記第3コード値を、前記表示装置の前記表示設定を用いて、前記第2輝度範囲に対応する前記第2輝度値へ変換する第3輝度変換部と、変換した前記第2輝度値に基づいて、前記映像を前記表示装置に表示する表示制御部と、を備える。
これによれば、表示装置の表示設定を推奨された表示設定に切り替えた上で、当該表示設定を用いて輝度変換を行うため、取得したHDR信号に適した表示設定で映像を表示することができる。
また、本開示の一態様に係る表示方法は、上記に記載の表示システムの表示装置における映像を表示する表示方法であって、前記第3輝度信号と、前記映像の表示にあたって前記表示装置に対して推奨する表示設定を示す設定情報とを取得し、取得した前記設定情報を用いて、前記表示装置の表示設定の設定を行い、取得した前記第3輝度信号が示す前記第3コード値を、前記表示装置の表示設定を用いて、前記第2輝度範囲に対応する前記第2輝度値へ変換し、変換した前記第2輝度値に基づいて、前記映像を前記表示装置に表示する。
また、例えば、前記第3輝度信号から前記第2輝度値への変換では、前記第3輝度範囲における輝度値と、複数の第3コード値とが関係付けたEOTF(Electro-Optical Transfer Function)を用いて、取得した前記第3輝度信号が示す前記第3コード値について、前記第3コード値に前記EOTFで関係付けられた第3輝度値を決定し、決定した前記第3輝度値について、当該第3輝度値に予め関係付けられた、前記第2輝度範囲に対応する第2輝度値を決定し、前記第3輝度範囲に対応する前記第3輝度値を、前記第2輝度範囲に対応する前記第2輝度値へ変換する第3輝度変換を行ってもよい。
また、例えば、前記表示設定の設定では、前記表示装置に設定されている前記EOTFを、取得した前記設定情報に応じた推奨EOTFに設定し、前記第3輝度値の決定では、前記推奨EOTFを用いて、前記第3輝度値を決定してもよい。
また、例えば、前記表示設定の設定では、前記表示装置に設定されている前記EOTFを切り替えできない場合、前記表示装置に設定されている前記EOTFを、前記推奨EOTFに切り替えることをユーザに促すためのメッセージを、前記表示装置に表示してもよい。
また、例えば、前記表示設定の設定では、前記表示装置に設定されている表示パラメータを、取得した前記設定情報に応じた推奨表示パラメータに設定してもよい。
また、例えば、前記表示設定の設定では、前記表示装置に設定されている前記表示パラメータを切り替えできない場合、前記表示装置に設定されている前記表示パラメータを、前記推奨表示パラメータに切り替えることをユーザに促すためのメッセージを、前記表示装置に表示してもよい。
また、例えば、前記第3輝度変換では、決定した前記第3輝度値について、前記表示装置の表示設定を示す表示パラメータに応じた輝度関係情報を用いて、当該第3輝度値に予め関係付けられた輝度値を前記第2輝度値として決定し、前記表示パラメータに応じて輝度変換処理を切り替えてもよい。
また、例えば、前記第3輝度変換では、前記表示パラメータがノーマルモードの場合、第2輝度値は、前記第3輝度値に正比例する正比例値に輝度変換し、前記表示パラメータが、前記ノーマルモードよりも高輝度画素をより明るく、かつ、低輝度画素をより暗くするダイナミックモードの場合、前記低輝度画素の前記第2輝度値は、前記第3輝度値に正比例する正比例値より低い値に、前記高輝度画素の前記第2輝度値は、前記第3輝度値に正比例する正比例値より高い値に輝度変換してもよい。
また、例えば、前記表示設定の設定では、取得した前記設定情報が、取得した輝度信号が、前記第2輝度範囲を用いて変換された前記第3輝度信号であることを示す場合、前記表示装置の明るさ設定を最も明るく表示する設定に切り替えてもよい。
また、本開示の一態様に係る表示装置は、表示装置における映像を表示する表示方法であって、前記映像の輝度は、第1輝度範囲の輝度値からなり、前記映像の輝度値が量子化されることで得られたコード値を示す第1輝度信号を、前記表示装置の輝度範囲に基づいて決定する前記第1輝度範囲の最大値よりも小さく、かつ、100nitよりも大きい最大値である第2輝度範囲に対応する第2輝度値へ変換し、前記第2輝度値を、100nitを最大値とする第3輝度範囲に対応する第3輝度値に変換し、前記第3輝度値を量子化したコード値を第3輝度信号として、前記表示装置が取得し、前記映像の表示にあたって前記表示装置に対して推奨する表示設定を示す設定情報を取得し、取得した前記設定情報を用いて、前記表示装置の表示設定の設定を行い、取得した前記第3輝度信号が示す前記第3コード値を、設定した前記表示設定を用いて、前記第2輝度範囲に対応する前記第2輝度値へ変換し、変換した前記第2輝度値に基づいて、前記映像を前記表示装置に表示する。
また、例えば、前記第3輝度信号から前記第2輝度値への変換では、前記第3輝度範囲における輝度値と、複数の第3コード値とが関係付けられたEOTF(Electro-Optical Transfer Function)を用いて、取得した前記第3輝度信号が示す前記第3コード値について、前記第3コード値に前記EOTFで関係付けられた第3輝度値を決定し、決定した前記第3輝度値について、当該第3輝度値に予め関係付けられた、前記第2輝度範囲に対応する第2輝度値を決定し、前記第3輝度範囲に対応する前記第3輝度値を、前記第2輝度範囲に対応する前記第2輝度値へ変換する第3輝度変換を行ってもよい。
また、例えば、前記表示設定の設定では、前記表示装置に設定されている前記EOTFを、取得した前記設定情報に応じた推奨EOTFに設定し、前記第3輝度値の決定では、前記推奨EOTFを用いて、前記第3輝度値を決定してもよい。
また、例えば、前記表示設定の設定では、前記表示装置に設定されている表示パラメータを、取得した前記設定情報に応じた推奨表示パラメータに設定してもよい。
また、例えば、前記第3輝度変換では、決定した前記第3輝度値について、前記表示装置の表示設定を示す表示パラメータに応じた輝度関係情報を用いて、当該第3輝度値に予め関係付けられた輝度値を前記第2輝度値として決定し、前記表示パラメータに応じて輝度変換処理を切り替えてもよい。
また、例えば、前記第3輝度変換では、前記表示パラメータがノーマルモードの場合、第2輝度値は、前記第3輝度値に正比例する正比例値に輝度変換し、前記表示パラメータが、前記ノーマルモードよりも高輝度画素をより明るく、かつ、低輝度画素をより暗くするダイナミックモードの場合、前記低輝度画素の前記第2輝度値は、前記第3輝度値に正比例する正比例値より低い値に、前記高輝度画素の前記第2輝度値は、前記第3輝度値に正比例する正比例値より高い値に輝度変換してもよい。
なお、これらの全般包括的または具体的な態様は、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、装置、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
以下、添付の図面を参照して、本開示の一態様に係る表示方法および表示装置について、具体的に説明する。
なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態)
本開示は、輝度範囲が高い高輝度信号であるHDR(High Dynamic Range)信号を、最大輝度値が100nitである輝度範囲の通常輝度信号であるSDR(Standard Dynamic Range)信号に対応したTV、プロジェクタ、タブレット、スマートフォン等のディスプレイ装置で表示させるための画像変換・再生方法、装置に関する。
[1-1.背景]
まず、映像技術の変遷について、図1を用いて説明する。図1は、映像技術の進化について説明するための図である。
これまで、映像の高画質化としては、表示画素数の拡大に主眼がおかれ、Standard Definition (SD)の720×480画素の映像から、High Definition(HD)の1920×1080画素の、所謂2K映像が普及している。
近年、映像の更なる高画質化を目指して、Ultra High Definition(UHD)の3840×1920画素、あるいは、4Kの4096×1920画素の、所謂4K映像の導入が開始された。
そして、4Kの導入による映像の高解像度化を行うと共に、ダイナミックレンジ拡張や色域の拡大、あるいは、フレームレートの追加、向上などを行うことで映像を高画質化することが検討されている。
その中でも、ダイナミックレンジについては、従来の映像における暗部階調を維持しつつ、現行のTV信号では表現不能な鏡面反射光などの明るい光を、より現実に近い明るさで表現するために最大輝度値を拡大した輝度範囲に対応させた方式として、HDR(High Dynamic Range)が注目されている。具体的には、これまでのTV信号が対応している輝度範囲の方式は、SDR(Standard Dynamic Range)と呼ばれ、最大輝度値が100nitであったのに対して、HDRでは1000nit以上まで最大輝度値を拡大することが想定されている。HDRは、SMPTE(Society of Motion Picture & Television Engineers)やITU-R(International Telecommunications Union Radiocommunications Sector)などにおいて、標準化が進行中である。
HDRの具体的な適用先としては、HDやUHDと同様に、放送やパッケージメディア(Blu-ray(登録商標) Disc等)、インターネット配信などで使われることが想定されている。
なお、以下では、HDRに対応した映像において、当該映像の輝度は、HDRの輝度範囲の輝度値からなり、当該映像の輝度値が量子化されることで得られた輝度信号をHDR信号と呼ぶ。SDRに対応した映像において、当該映像の輝度は、SDRの輝度範囲の輝度値からなり、当該映像の輝度値が量子化されることで得られた輝度信号をSDR信号と呼ぶ。
[1-2.マスター生成、配信方式、および表示装置の関係]
図2は、コンテンツに新たな映像表現を導入するときの、映像制作、配信方式、および表示装置の関係について説明するための図である。
映像の高画質化のために新たな映像表現(画素数の増加等)を導入する場合には、図2に示すように、(1)映像制作側のHome Entertainment向けマスターを変更する必要がある。それに応じて、(2)放送、通信、パッケージメディア等の配信方式も、(3)その映像を表示するTV、プロジェクタ等の表示装置も更新する必要がある。
[1-3.HDR導入時のマスター、配信方式、および表示装置の関係]
ユーザが新たな映像表現に対応したコンテンツ(例えば、高輝度映像コンテンツ(HDRコンテンツ))を家庭内で楽しむためには、HDR対応配信方式およびHDR対応表示装置の両方を新たに導入する必要がある。つまり、新たな映像表現に対応したコンテンツを家庭内で楽しむためには、ユーザは、新たな映像表現に対応した配信方式および表示装置を用意する必要がある。このことは、SDの映像からHDの映像、HDの映像から3Dの映像、HDの映像からUHD(4K)の映像に代わったときのような新たな映像表現が導入された場合にも避けることができなかった。
このため、高価で、大きさ・重量等の点でも置き換えが容易でない、TVを買い替える必要がある、新たな映像表現への変更は、新たな機能を持つ表示装置(例えばTV)の普及に依存することになる。媒体側も、コンテンツ側も当初は大きな投資ができないため、新たな映像表現の普及が遅くなることが多かった。
よって、図3に示すように、HDRについても、HDR本来の映像表現をフルに生かすためには、HDRに対応した映像の表示(以下、「HDR表示」という。)に対応したTV(以下、「HDRTV」という。)への買い替えが必要になると予想される。
[1-4.SDRTV]
SDRに対応した映像の表示(以下、「SDR表示」という。)のみに対応したTV(以下、「SDRTV」という。)は、通常、輝度値が100nitまでの入力信号が入力される。このため、SDRTVは、その表示能力が100nitであれば入力信号の輝度値を表現するのに十分である。しかし、SDRTVは、実際は、視聴環境(暗い部屋:シネマモード、明るい部屋:ダイナミックモード等)に合わせて、最適な輝度値の映像を再生する機能を有し、200nit以上の映像表現が可能な能力を持っているものが多い。つまり、このようなSDRTVは、視聴環境に応じた表示モードを選択することで、表示能力の最大輝度(例えば、300nit)までの映像を表示できる。
しかし、SDRTVに入力されるSDR方式の入力信号では、入力信号の輝度上限が100nitに決められているため、従来通りにSDR方式の入力インターフェースを使う限り、SDRTVが持つ100nitを超える高輝度の映像再生能力をHDR信号の再生用に使うことは難しい(図4Aおよび図4B参照)。
[1-5.HDR→SDR変換]
HDR対応の放送、通信ネットワークを介した動画配信、あるいは、HDR対応のパッケージメディア(例えば、HDR対応のBlu-ray(登録商標)Disc)等の配信方式により配信された高輝度映像コンテンツ(以下、「HDRコンテンツ」または「HDR映像」ともいう。)は、HDR対応の再生装置(例えば、通信STB(Set Top
Box)、Blu-ray(登録商標)機器、IPTV再生機器)を介して、SDRTVにより出力される場合が想定される。SDRTVでHDRコンテンツを再生する場合、SDRTVで映像が正しく表示できるように、HDRに対応するHDR信号を、100nitを最大値とするSDR輝度範囲のSDR信号に変換する「HDR→SDR変換」を実現する。これにより、SDRTVは、変換されたSDR信号を用いて、HDR映像から変換されることで得られたSDR映像の表示を行うことが可能となる(図5参照)。
ただし、この場合でも、ユーザはHDR対応のコンテンツ(例えばBlu-ray(登録商標)ディスク、HDR IPTVコンテンツ)とHDR対応の再生装置(例えばBlu-ray(登録商標)機器、HDR対応のIPTV再生機器)とを購入したのにも関わらず、SDRTVではSDRの映像表現(SDR表現)でしか映像を楽しむことができない。つまり、HDRコンテンツと、HDRに対応した再生機器とを用意しても、HDRに対応した表示装置(例えばHDRTV)がなく、SDRTVしかない場合には、HDRの映像表現(HDR表現)で映像を視聴することができない。
よって、ユーザは、HDRTVを用意できなければ、HDRコンテンツや伝送媒体(再生装置)を購入しても、HDRの価値(つまりHDRが高画質であることによるSDRに対する優位性)が解らない。このように、ユーザは、HDRTVが無ければHDRの価値が分からないため、HDRコンテンツやHDR対応配信方式の普及は、HDRTVの普及速度に応じて決まると言える。
[1-6.HDR→SDR変換を実現する2つの方式]
Blu-ray(登録商標)ディスク(BD)を用いてHDR信号をTVに送る場合、下記の図6Aおよび図6Bに示すように2つのケースが想定できる。図6Aは、HDR対応のBDに、HDRに対応したHDR信号のみが格納されているケース1について説明するための図である。図6Bは、HDR対応のBDにHDRに対応したHDR信号およびSDRに対応したSDR信号が格納されているケース2について説明するための図である。
図6Aに示すように、ケース1において、HDRTVにBlu-ray(登録商標)機器でBDを再生した映像を表示させる場合には、HDR対応のBD(以下、「HDRBD」という。)を再生したときでも、SDR対応のBD(以下、「SDRBD」という。)を再生したときでも、Blu-ray(登録商標)機器は、BDに格納された輝度信号を変換することなくそのままHDRTVに出力する。そして、HDRTVは、HDR信号もSDR信号も表示処理することができるため、入力された輝度信号に応じた表示処理を行い、HDR映像またはSDR映像を表示する。
一方で、ケース1において、SDRTVにBlu-ray(登録商標)機器でBDを再生した映像を表示させる場合には、HDRBDを再生したときは、Blu-ray(登録商標)機器は、HDR信号からSDR信号へ変換する変換処理を行い、変換処理により得られたSDR信号をSDRTVに出力する。また、SDRBDを再生したときは、Blu-ray(登録商標)機器は、BDに格納されたSDR信号を変換することなくそのままSDRTVに出力する。これにより、SDRTVは、SDR映像を表示する。
また、図6Bに示すように、ケース2において、HDRTVにBlu-ray(登録商標)機器でBDを再生した映像を表示させる場合には、ケース1と同様である。
一方で、ケース2において、SDRTVにBlu-ray(登録商標)機器でBDを再生した映像を表示させる場合には、HDRBDを再生したときでも、SDRBDを再生したときでも、Blu-ray(登録商標)機器は、BDに格納されたSDR信号を変換することなくそのままSDRTVに出力する。
ケース1も、ケース2も、共にHDRBDとHDR対応のBlu-ray(登録商標)機器を買っても、HDRTVが無ければ、SDR映像しか楽しむことができない。したがって、ユーザがHDR映像を見るためにはHDRTVが必要になり、HDR対応のBlu-ray(登録商標)機器またはHDRBDの普及には時間がかかることが予測される。
[1-7.HDR→疑似HDR変換]
以上のことからHDRの普及を促進するためには、HDRTVの普及を待たずに、HDRコンテンツや配信方式の事業化を推進できることが重要であると言える。このためには、既存のSDRTVで、HDR信号を、SDR映像としてではなく、HDR映像または、SDR映像よりもHDR映像に近づけた疑似HDR映像として視聴可能にすることができれば、ユーザは、HDRTVを買わなくても、SDR映像とは明らかに異なる、HDR映像に近いより高画質な映像を視聴できる。つまり、ユーザは、SDRTVで疑似HDR映像を視聴できれば、HDRTVを用意しなくてもHDRコンテンツやHDR配信機器を用意するだけで、SDR映像よりも高画質な映像を視聴することができるようになる。要するに、疑似HDR映像をSDRTVで視聴できるようにすることは、HDRコンテンツやHDR配信機器を購入するためのユーザの動機になり得る(図7参照)。
疑似HDR映像をSDRTVに表示させることを実現するために、HDR配信方式にSDRTVが接続された構成で、HDRコンテンツを再生した時に、SDRTVでHDRコンテンツの映像が正しく表示できるように、HDR信号をSDR映像信号に変換する代わりに、SDRTVの100nitを最大値とする映像信号の入力を用いて、SDRTVが持つ表示能力の最大輝度、例えば、200nit以上の映像を表示させるための疑似HDR信号を生成し、生成した疑似HDR信号をSDRTVに送ることを可能にする「HDR→疑似HDR変換処理」を実現することが必要になる。
[1-8.EOTFについて]
ここで、EOTFについて、図8Aおよび図8Bを用いて説明する。
図8Aは、HDRおよびSDRのそれぞれに対応したEOTF(Electro-Optical Transfer Function)の例について示す図である。
EOTFは、一般的にガンマカーブと呼ばれるものであり、コード値と輝度値との対応を示し、コード値を輝度値に変換するものである。つまり、EOTFは、複数のコード値と輝度値との対応関係を示す関係情報である。
また、図8Bは、HDRおよびSDRのそれぞれに対応した逆EOTFの例について示す図である。
逆EOTFは、輝度値とコード値との対応を示し、EOTFとは逆に輝度値を量子化してコード値に変換するものである。つまり、逆EOTFは、輝度値と複数のコード値との対応関係を示す関係情報である。例えば、HDRに対応した映像の輝度値を10ビットの階調のコード値で表現する場合、10,000nitまでのHDRの輝度範囲における輝度値は、量子化されて、0~1023までの1024個の整数値にマッピングされる。つまり、逆EOTFに基づいて量子化することで、10,000nitまでの輝度範囲の輝度値(HDRに対応した映像の輝度値)を、10ビットのコード値であるHDR信号に変換する。HDRに対応したEOTF(以下、「HDRのEOTF」という。)またはHDRに対応した逆EOTF(以下、「HDRの逆EOTF」という。)においては、SDRに対応したEOTF(以下、「SDRのEOTF」という。)またはSDRに対応した逆EOTF(以下、「SDRの逆EOTF」という。)よりも高い輝度値を表現することが可能であり、例えば、図8Aおよび図8Bにおいては、輝度の最大値(ピーク輝度)は、10,000nitである。つまり、HDRの輝度範囲は、SDRの輝度範囲を全て含み、HDRのピーク輝度は、SDRのピーク輝度より大きい。HDRの輝度範囲は、SDRの輝度範囲の最大値である100nitから、10,000nitまで、最大値を拡大した輝度範囲である。
例えば、HDRのEOTFおよびHDRの逆EOTFは、一例として、米国映画テレビ技術者協会(SMPTE)で規格化されたSMPTE 2084がある。
[1-9.EOTFの使い方]
図9は、コンテンツに格納される輝度信号のコード値の決定方法、および、再生時にコード値から輝度値を復元するプロセスの説明図である。
本例における輝度を示す輝度信号はHDRに対応したHDR信号である。グレーディング後の画像は、HDRの逆EOTFにより量子化され、当該画像の輝度値に対応するコード値が決定する。このコード値に基づいて画像符号化などが行われ、ビデオのストリームが生成される。再生時には、ストリームの復号結果に対して、HDRのEOTFに基づいて逆量子化することによりリニアな信号に変換され、画素毎の輝度値が復元される。以下、HDRの逆EOTFを用いた量子化を「逆HDRのEOTF変換」という。HDRのEOTFを用いた逆量子化を「HDRのEOTF変換」という。同様に、SDRの逆EOTFを用いた量子化を「逆SDRのEOTF変換」という。SDRのEOTFを用いた逆量子化を「SDRのEOTF変換」という。
[1-10.疑似HDRの必要性]
次に、疑似HDRの必要性について図10A~図10Cを用いて説明する。
図10Aは、HDRTV内で、HDR信号を変換してHDR表示を行う表示処理の一例を示す図である。
図10Aに示すように、HDR映像を表示する場合、表示装置がHDRTVであっても、HDRの輝度範囲の最大値(ピーク輝度(HPL(HDR Peak Luminance):例1500nit))をそのまま表示することができない場合がある。この場合、HDRのEOTFを用いた逆量子化を行った後のリニアな信号を、その表示装置の輝度範囲の最大値(ピーク輝度(DPL(Display Peak Iuminance):例750nit))に合わせるための輝度変換を行う。そして、輝度変換を行うことで得られた映像信号を表示装置に入力することで、その表示装置の限界である最大値の輝度範囲に合わせたHDR映像を表示することができる。
図10Bは、HDR対応の再生装置とSDRTVとを用いて、HDR表示を行う表示処理の一例を示す図である。
図10Bに示すように、HDR映像を表示する場合、表示装置がSDRTVであれば、表示するSDRTVの輝度範囲の最大値(ピーク輝度(DPL:例300nit))が100nitを超えることを利用して、図10BのHDR対応の再生装置(Blu-ray(登録商標)機器)内の「HDR→疑似HDR変換処理」で、HDRTV内で行っている、「HDRのEOTF変換」とSDRTVの輝度範囲の最大値であるDPL(例:300nit)を使った「輝度変換」を行い、「輝度変換」を行うことで得られた信号をSDRTVの「表示装置」に直接入力できれば、SDRTVを使っても、HDRTVと同じ効果を実現することができる。
しかしながら、SDRTVには、このような信号を、外部から直接入力するための手段が無いため、実現できない。
図10Cは、標準インターフェースを介して互いに接続したHDR対応の再生装置とSDRTVと用いて、HDR表示を行う表示処理の一例を示す図である。
図10Cに示すように、通常、SDRTVが備える入力インターフェース(HDMI(登録商標)等)を使って、図10Bの効果を得られるような信号をSDRTVに入力する必要がある。SDRTVでは、入力インターフェースを介して入力した信号は、「SDRのEOTF変換」と「モード毎の輝度変換」と「表示装置」を順に通過し、その表示装置の最大値の輝度範囲に合わせた映像を表示する。このため、HDR対応のBlu-ray(登録商標)機器内で、SDRTVで入力インターフェースの直後に通過する、「SDRのEOTF変換」と「モード毎の輝度変換」とをキャンセルできるような信号(疑似HDR信号)を生成する。つまり、HDR対応のBlu-ray(登録商標)機器内で、「HDRのEOTF変換」とSDRTVのピーク輝度(DPL)を使った「輝度変換」との直後に、「モード毎の逆輝度変換」と「逆SDRのEOTF変換」とを行うことで、「輝度変換」直後の信号を「表示装置」に入力した場合(図10Cの破線矢印)と同じ効果を疑似的実現する。
[1-11.変換装置および表示装置]
図11は、実施の形態の変換装置および表示装置の構成を示すブロック図である。図12は、実施の形態の変換装置および表示装置により行われる変換方法および表示方法を示すフローチャートである。
図11に示すように、変換装置100は、HDRのEOTF変換部101、輝度変換部102、逆輝度変換部103、および逆SDRのEOTF変換部104を備える。また、表示装置200は、表示設定部201、SDRのEOTF変換部202、輝度変換部203、および表示部204を備える。
変換装置100および表示装置200の各構成要素についての詳細な説明は、変換方法および表示方法の説明において行う。
以下、HDRの輝度範囲(0~HPL〔nit〕)を「第1輝度範囲」と示す。ディスプレイの輝度範囲(0~DPL〔nit〕)を「第2輝度範囲」と示す。SDRの輝度範囲(0~100〔nit〕)を「第3輝度範囲」と示す。
[1-12.変換方法および表示方法]
変換装置100が行う変換方法について、図12を用いて説明する。なお、変換方法は、以下で説明するステップS101~ステップS104を含む。
まず、変換装置100のHDRのEOTF変換部101は、逆HDRのEOTF変換が行われたHDR映像を取得する。変換装置100のHDRのEOTF変換部101は、取得したHDR映像のHDR信号に対して、HDRのEOTF変換を実施する(S101)。これにより、HDRのEOTF変換部101は、取得したHDR信号を、輝度値を示すリニアな信号に変換する。HDRのEOTFは、例えばSMPTE 2084がある。
次に、変換装置100の輝度変換部102は、HDRのEOTF変換部101により変換されたリニアな信号を、ディスプレイ特性情報とコンテンツ輝度情報とを用いて変換する第1輝度変換を行う(S102)。第1輝度変換において、第1輝度範囲であるHDRの輝度範囲に対応した輝度値(以下、「HDRの輝度値」という。)を、第2輝度範囲であるディスプレイの輝度範囲に対応した輝度値(以下、「ディスプレイ輝度値」という。)に変換する。詳細は後述する。
上記のことから、HDRのEOTF変換部101は、映像の輝度値が量子化されることで得られたコード値を示す第1輝度信号としてのHDR信号を取得する取得部として機能する。また、HDRのEOTF変換部101および輝度変換部102は、取得部により取得されたHDR信号が示すコード値を、ディスプレイ(表示装置200)の輝度範囲に基づいて決定する、HDRの輝度範囲の最大値(HPL)よりも小さく、かつ、100nitよりも大きい最大値(DPL)であるディスプレイの輝度範囲に対応するディスプレイ輝度値へ変換する変換部として機能する。
より具体的には、HDRのEOTF変換部101は、ステップS101において、取得したHDR信号と、HDRのEOTFとを用いて、取得したHDR信号が示す第1コード値としてのHDRのコード値について、HDRのコード値にHDRのEOTFにおいて関係付けられたHDRの輝度値を決定する。なお、HDR信号は、HDRの輝度範囲における輝度値と、複数のHDRのコード値とを関係付けたHDRの逆EOTFを用いて、映像(コンテンツ)の輝度値が量子化されることで得られたHDRのコード値を示す。
また、輝度変換部102は、ステップS102において、ステップS101で決定したHDRの輝度値について、当該HDRの輝度値に予め関係付けられた、ディスプレイの輝度範囲に対応するディスプレイ輝度値を決定し、HDRの輝度範囲に対応するHDRの輝度値を、ディスプレイの輝度範囲に対応するディスプレイ輝度値へ変換する第1輝度変換を行う。
また、変換装置100は、ステップS102の前に、映像(コンテンツ)の輝度の最大値(CPL:Content Peak luminance)および映像の平均輝度値(CAL:Content Average luminance)の少なくとも一方を含むコンテンツ輝度情報をHDR信号に関する情報として取得している。CPL(第1最大輝度値)は、例えば、HDR映像を構成する複数の画像に対する輝度値のうちの最大値である。また、CALは、例えば、HDR映像を構成する複数の画像に対する輝度値の平均である平均輝度値である。
また、変換装置100は、ステップS102の前に、表示装置200から表示装置200のディスプレイ特性情報を取得している。なお、ディスプレイ特性情報とは、表示装置200が表示できる輝度の最大値(DPL)、表示装置200の表示モード(後述参照)、入出力特性(表示装置が対応するEOTF)などの表示装置200の表示特性を示す情報である。
また、変換装置100は、推奨表示設定情報(後述参照、以下、「設定情報」ともいう。)を表示装置200に送信してもよい。
次に、変換装置100の逆輝度変換部103は、表示装置200の表示モードに応じた逆輝度変換を行う。これにより、逆輝度変換部103は、第2輝度範囲であるディスプレイの輝度範囲に対応した輝度値を、第3輝度範囲であるSDRの輝度範囲に対応する輝度値に変換する第2輝度変換を行う(S103)。詳細は後述する。つまり、逆輝度変換部103は、ステップS102で得られたディスプレイ輝度値について、当該ディスプレイ輝度値に予め関係付けられた、100nitを最大値とするSDRの輝度範囲に対応する第3輝度値としてのSDRに対応した輝度値(以下、「SDRの輝度値」という。)SDRの輝度値を決定し、ディスプレイの輝度範囲に対応するディスプレイ輝度値を、SDRの輝度範囲に対応するSDRの輝度値へ変換する第2輝度変換を行う。
そして、変換装置100の逆SDRのEOTF変換部104は、逆SDRのEOTF変換を行うことで、疑似HDR映像を生成する(S104)。つまり、逆SDRのEOTF変換部104は、HDRの輝度範囲における輝度値と、複数の第3コード値とを関係付けた第3関係情報であるSDR(Standard Dynamic Range)の逆EOTF(Electro-Optical Transfer Function)を用いて、決定したSDRの輝度値を量子化し、量子化により得られた第3コード値を決定し、SDRの輝度範囲に対応するSDRの輝度値を、第3コード値を示す第3輝度信号としてのSDR信号へ変換することで、疑似HDR信号を生成する。なお、第3コード値は、SDRに対応したコード値であり、以下では、「SDRのコード値」という。つまり、SDR信号は、SDRの輝度範囲における輝度値と、複数のSDRのコード値とを関係付けたSDRの逆EOTFを用いて、映像の輝度値が量子化されることで得られたSDRのコード値で表される。そして、変換装置100は、ステップS104で生成した疑似HDR信号(SDR信号)を表示装置200へ出力する。
変換装置100は、HDR信号を逆量子化することで得られたHDRの輝度値に対して、第1輝度変換および第2輝度変換を行うことで、疑似HDRに対応したSDRの輝度値を生成し、SDRの輝度値をSDRのEOTFを用いて量子化することで、疑似HDRに対応したSDR信号を生成する。なお、SDRの輝度値は、SDRに対応した0~100nitの輝度範囲内の数値であるが、ディスプレイの輝度範囲に基づく変換を行っているため、HDRの輝度値に対してHDRのEOTFおよびSDRのEOTFを用いた輝度変換を行うことで得られたSDRに対応した0~100nitの輝度範囲内の輝度値とは異なる数値である。
次に、表示装置200が行う表示方法について、図12を用いて説明する。なお、表示方法は、以下で説明するステップS105~ステップS108を含む。
まず、表示装置200の表示設定部201は、変換装置100から取得した設定情報を用いて、表示装置200の表示設定を設定する(S105)。ここで、表示装置200は、SDRTVである。設定情報は、表示装置に対して推奨する表示設定を示す情報であり、疑似HDR映像をどのようにEOTFし、どの設定で表示すれば美しい映像を表示することができるかを示す情報(つまり、表示装置200の表示設定を最適な表示設定に切り替えるための情報)である。設定情報は、例えば、表示装置における出力時のガンマカーブ特性や、リビングモード(ノーマルモード)やダイナミックモード等の表示モード、バックライト(明るさ)の数値などを含む。また、ユーザに、表示装置200の表示設定をマニュアル操作で変更することを促すようなメッセージを、表示装置200(以下、「SDRディスプレイ」ともいう)に表示してもよい。詳細は後述する。
なお、表示装置200は、ステップS105の前に、SDR信号(疑似HDR信号)と、映像の表示にあたって表示装置200に対して推奨する表示設定を示す設定情報とを取得する。
また、表示装置200は、SDR信号(疑似HDR信号)の取得を、ステップS106の前に行えばよく、ステップS105の後に行ってもよい。
次に、表示装置200のSDRのEOTF変換部202は、取得した疑似HDR信号に対し、SDRのEOTF変換を行う(S106)。つまり、SDRのEOTF変換部202は、SDR信号(疑似HDR信号)を、SDRのEOTFを用いて逆量子化を行う。これにより、SDRのEOTF変換部202は、SDR信号が示すSDRのコード値を、SDRの輝度値に変換する。
そして、表示装置200の輝度変換部203は、表示装置200に設定された表示モードに応じた輝度変換を行う。これにより、輝度変換部203は、SDRの輝度範囲(0~100〔nit〕)に対応したSDRの輝度値を、ディスプレイの輝度範囲(0~DPL〔nit〕)に対応したディスプレイ輝度値に変換する第3輝度変換を行う(S107)。詳細は後述する。
上記のことから、表示装置200は、ステップS106およびステップS107において、取得したSDR信号(疑似HDR信号)が示す第3コード値を、ステップS105で取得した設定情報を用いて、ディスプレイの輝度範囲(0~DPL〔nit〕)に対応するディスプレイ輝度値へ変換する。
より具体的には、SDR信号(疑似HDR信号)からディスプレイ輝度値への変換では、ステップS106において、SDRの輝度範囲における輝度値と、複数の第3コード値とを関係付けたEOTFを用いて、取得したSDR信号が示すSDRのコード値について、SDRのコード値にSDRのEOTFで関係付けられたSDRの輝度値を決定する。
そして、ディスプレイ輝度値への変換では、ステップS107において、決定したSDRの輝度値に予め関係付けられた、ディスプレイの輝度範囲に対応するディスプレイ輝度値を決定し、SDRの輝度範囲に対応するSDRの輝度値を、ディスプレイの輝度範囲に対応するディスプレイ輝度値へ変換する第3輝度変換を行う。
最後に、表示装置200の表示部204は、変換したディスプレイ輝度値に基づいて、疑似HDR映像を表示装置200に表示する(S108)。
[1-13.第1輝度変換]
次に、ステップS102の第1輝度変換(HPL→DPL)の詳細について、図13Aを用いて説明する。図13Aは、第1輝度変換の一例について説明するための図である。
変換装置100の輝度変換部102は、ステップS101で得られたリニアな信号(HDRの輝度値)を、ディスプレイ特性情報と、HDR映像のコンテンツ輝度情報とを用いて変換する第1輝度変換を行う。第1輝度変換は、HDRの輝度値(入力輝度値)を、ディスプレイピーク輝度(DPL)を超えないディスプレイ輝度値(出力輝度値)に変換する。DPLは、ディスプレイ特性情報であるSDRディスプレイの最大輝度および表示モードを用いて決定する。表示モードは、例えば、SDRディスプレイに暗めに表示するシアターモードや、明るめに表示するダイナミックモード等のモード情報である。表示モードが、例えば、SDRディスプレイの最大輝度が1,500nitであり、かつ、表示モードが最大輝度の50%の明るさにするモードである場合、DPLは、750nitとなる。ここで、DPL(第2最大輝度値)とは、SDRディスプレイが現在設定されている表示モードにおいて表示できる輝度の最大値である。つまり、第1輝度変換では、SDRディスプレイの表示特性を示す情報であるディスプレイ特性情報を用いて、第2最大輝度値としてのDPLを決定する。
また、第1輝度変換では、コンテンツ輝度情報のうちのCALとCPLとを用い、CAL付近以下の輝度値は、変換の前後で同一とし、CPL付近以上の輝度値に対してのみ輝度値を変更する。つまり、図13Aに示すように、第1輝度変換では、当該HDRの輝度値がCAL以下の場合、当該HDRの輝度値を変換せず、当該HDRの輝度値を、ディスプレイ輝度値として決定し、当該HDRの輝度値がCPL以上の場合、第2最大輝度値としてのDPLを、ディスプレイ輝度値として決定する。
また、第1輝度変換では、輝度情報のうちのHDR映像のピーク輝度(CPL)を用い、HDRの輝度値がCPLの場合、DPLを、ディスプレイ輝度値として決定する。
なお、第1輝度変換では、図13Bのように、ステップS101で得られたリニアな信号(HDRの輝度値)を、DPLを超えない値にクリップするように変換してもよい。このような輝度変換を行うことで、変換装置100での処理を簡素化することができ、装置の縮小化、低電力化、処理の高速化が図れる。なお、図13Bは、第1輝度変換の他の一例について説明するための図である。
[1-14.第2輝度変換]
次に、ステップS103の第2輝度変換(DPL→100〔nit〕)の詳細について、図14を用いて説明する。図14は、第2輝度変換について説明するための図である。
変換装置100の逆輝度変換部103は、ステップS102の第1輝度変換で変換されたディスプレイの輝度範囲(0~DPL〔nit〕)のディスプレイ輝度値に対し、表示モードに応じた逆輝度変換を施す。逆輝度変換は、SDRディスプレイによる表示モードに応じた輝度変換処理(ステップS107)が行われた場合に、ステップS102処理後のディスプレイの輝度範囲(0~DPL〔nit〕)のディスプレイ輝度値を取得できるようにするための処理である。つまり、第2輝度変換は、第3輝度変換の逆輝度変換である。
上記の処理により、第2輝度変換は、第2輝度範囲であるディスプレイの輝度範囲のディスプレイ輝度値(入力輝度値)を、第3輝度範囲であるSDRの輝度範囲のSDRの輝度値(出力輝度値)に変換する。
第2輝度変換では、SDRディスプレイの表示モードによって変換式を切り替える。例えば、SDRディスプレイの表示モードがノーマルモードの場合、ディスプディスプレイ輝度値に正比例する正比例値に輝度変換する。また、第2輝度変換では、SDRディスプレイの表示モードがノーマルモードよりも高輝度画素をより明るく、かつ、低輝度画素をより暗くするダイナミックモードの場合、その逆関数を用いることで、低輝度画素のSDRの輝度値は、ディスプレイ輝度値に正比例する正比例値より高い値に、高輝度画素のSDRの輝度値は、ディスプレイ輝度値に正比例する正比例値より低い値に輝度変換する。つまり、第2輝度変換では、ステップS102において決定したディスプレイ輝度値について、SDRディスプレイの表示特性を示す情報であるディスプレイ特性情報に応じた輝度関係情報を用いて、当該ディスプレイ輝度値に関係付けられた輝度値をSDRの輝度値として決定し、ディスプレイ特性情報に応じて輝度変換処理を切り替える。ここで、ディスプレイ特性情報に応じた輝度関係情報とは、例えば図14に示すような、SDRディスプレイの表示パラメータ(表示モード)毎に定められた、ディスプレイ輝度値(入力輝度値)と、SDRの輝度値(出力輝度値)とを関係付けた情報である。
[1-15.表示設定]
次に、ステップS105の表示設定の詳細について、図15を用いて説明する。図15は、表示設定の詳細な処理を示すフローチャートである。
SDRディスプレイの表示設定部201は、ステップS105において、下記のステップS201~ステップS208の処理を行う。
まず、表示設定部201は、設定情報を用いて、SDRディスプレイに設定されているEOTF(SDRディスプレイ用EOTF)が、疑似HDR映像(SDR信号)の生成時に想定したEOTFと整合しているかどうかを判定する(S201)。
表示設定部201は、SDRディスプレイに設定されているEOTFが、設定情報が示すEOTF(疑似HDR映像に整合するEOTF)と異なっていると判定した場合(S201でYes)、SDRディスプレイ用EOTFをシステム側で切り替え可能かを判定する(S202)。
表示設定部201は、切り替え可能であると判定した場合、設定情報を用いて、SDRディスプレイ用EOTFを適切なEOTFに切り替える(S203)。
ステップS201~ステップS203から、表示設定の設定(S105)では、SDRディスプレイに設定されているEOTFを、取得した設定情報に応じた推奨EOTFに設定する。また、これにより、ステップS105の後に行われるステップS106では、推奨EOTFを用いて、SDRの輝度値を決定することができる。
システム側で切り替え可能でないと判定した場合(S202でNo)、EOTFをユーザがマニュアル操作で変更することを促すメッセージを画面に表示する(S204)。例えば、「表示ガンマを2.4に設定して下さい」というメッセージを画面に表示する。つまり、表示設定部201は、表示設定の設定(S105)において、SDRディスプレイに設定されているEOTFを切り替えできない場合、SDRディスプレイに設定されているEOTF(SDRディスプレイ用EOTF)を、推奨EOTFに切り替えることをユーザに促すためのメッセージを、SDRディスプレイに表示する。
次に、SDRディスプレイでは、疑似HDR映像(SDR信号)を表示するが、表示の前に設定情報を用いてSDRディスプレイの表示パラメータが設定情報に合っているかを判定する(S205)。
表示設定部201は、SDRディスプレイに設定されている表示パラメータが、設定情報とは異なっていると判定した場合(S205でYes)、SDRディスプレイの表示パラメータを、切り替え可能かを判定する(S206)。
表示設定部201は、SDRディスプレイの表示パラメータを切り替え可能であると判定した場合(S206でYes)、設定情報に合わせて、SDRディスプレイの表示パラメータを切り替える(S207)。
ステップS204~ステップS207から、表示設定の設定(S105)では、SDRディスプレイに設定されている表示パラメータを、取得した設定情報に応じた推奨表示パラメータに設定する。
システム側で切り替え可能でないと判定した場合(S206でNo)、SDRディスプレイに設定されている表示パラメータをユーザがマニュアル操作で変更することを促すメッセージを画面に表示する(S208)。例えば、「表示モードをダイナミックモードにし、バックライトを最大にして下さい」というメッセージを画面に表示する。つまり、設定(S105)では、SDRディスプレイに設定されている表示パラメータを切り替えできない場合、SDRディスプレイに設定されている表示パラメータを、推奨表示パラメータに切り替えることをユーザに促すためのメッセージを、SDRディスプレイに表示する。
[1-16.第3輝度変換]
次に、ステップS107の第3輝度変換(100→DPL〔nit〕)の詳細について、図16を用いて説明する。図16は、第3輝度変換について説明するための図である。
表示装置200の輝度変換部203は、SDRの輝度範囲(0~100〔nit〕)のSDRの輝度値をステップS105で設定された表示モードに応じて(0~DPL〔nit〕)に変換する。本処理はS103のモード毎の逆輝度変換の逆関数となるように処理する。
第3輝度変換では、SDRディスプレイの表示モードによって変換式を切り替える。例えば、SDRディスプレイの表示モードがノーマルモードの場合(つまり、設定された表示パラメータがノーマルモードに対応したパラメータである場合)、ディスプレイ輝度値は、SDRの輝度値に正比例する正比例値に輝度変換する。また、第3輝度変換では、SDRディスプレイの表示モードがノーマルモードよりも高輝度画素をより明るく、かつ、低輝度画素をより暗くするダイナミックモードの場合、低輝度画素のディスプレイ輝度値は、SDRの輝度値に正比例する正比例値より低い値に、高輝度画素のディスプレイ輝度値は、SDRの輝度値に正比例する正比例値より高い値に輝度変換する。つまり、第3輝度変換では、ステップS106において決定したSDRの輝度値について、SDRディスプレイの表示設定を示す表示パラメータに応じた輝度関係情報を用いて、当該SDRの輝度値に予め関係付けられた輝度値をディスプレイ輝度値として決定し、表示パラメータに応じて輝度変換処理を切り替える。ここで、表示パラメータに応じた輝度関係情報とは、例えば図16に示すような、SDRディスプレイの表示パラメータ(表示モード)毎に定められた、SDRの輝度値(入力輝度値)と、ディスプレイ輝度値(出力輝度値)とを関係付けた情報である。
[1-17.効果等]
通常のSDRTVは入力信号が100nitであるが、視聴環境(暗い室:シネマモード、明るい部屋:ダイナミックモード等)に合わせて200nit以上の映像表現が可能な能力を持つ。しかし、SDRTVへの入力信号の輝度上限が100nitに決められていたため、その能力を直接つかうことはできなかった。
HDR映像をSDRTVで表示する場合において、表示するSDRTVのピーク輝度が100nitを超える(通常200nit以上)ことを利用して、HDR映像を100nit以下のSDR映像に変換するのではなく、100nitを超える輝度範囲の階調をある程度保つように、「HDR→疑似HDR変換処理」を行っている。このため、元のHDRに近い疑似HDR映像としてSDRTVに表示させることができる。
この「HDR→疑似HDR変換処理」技術をBlu-ray(登録商標)に応用した場合は、図17に示すように、HDRディスクにはHDR信号のみを格納し、Blu-ray(登録商標)機器にSDRTVを接続した場合、Blu-ray(登録商標)機器が、「HDR→疑似HDR変換処理」を行い、HDR信号を疑似HDR信号に変換してSDRTVに送る。これにより、SDRTVは、受信した疑似HDR信号から輝度値に変換することで、疑似的なHDR効果を持った映像を表示させることができる。このように、HDR対応TVが無い場合でも、HDR対応のBDとHDR対応のBlu-ray(登録商標)機器を用意すれば、SDRTVであっても、SDR映像よりも高画質な疑似HDR映像を表示させることができる。
従って、HDR映像を見るためにはHDR対応TVが必要と考えられていたが、HDR的な効果を実感できる疑似HDR映像を、既存のSDRTVで見ることができる。これにより、HDR対応Blu-ray(登録商標)の普及が期待できる。
放送、Blu-ray(登録商標)等のパッケージメディア、OTT等のインターネット配信により送られてきたHDR信号を、HDR-疑似HDR変換処理を行うことで、疑似HDR信号に変換する。これにより、HDR信号を疑似HDR映像として既存のSDRTVで表示することが可能となる。
(他の実施の形態)
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下では、他の実施の形態を例示する。
HDR映像は、例えばBlu-ray(登録商標)ディスク、DVD、インターネットの動画配信サイト、放送、HDD内の映像である。
変換装置100(HDR→疑似HDR変換処理部)は、ディスクプレイヤー、ディスクレコーダ、セットトップボックス、テレビ、パソコン、スマートフォンの内部に存在していてもよい。変換装置100は、インターネット内のサーバ装置の内部に存在していてもよい。
表示装置200(SDR表示部)は、例えばテレビ、パソコン、スマートフォンである。
変換装置100が取得するディスプレイ特性情報は、表示装置200からHDMI(登録商標)や他の通信プトロコルを用いてHDMI(登録商標)ケーブルやLANケーブルを介して取得してもよい。変換装置100が取得するディスプレイ特性情報は、インターネットを介して表示装置200の機種情報等に含まれるディスプレイ特性情報を取得してもよい。また、ユーザがマニュアル操作を行い、ディスプレイ特性情報を、変換装置100に設定してもよい。また、変換装置100のディスプレイ特性情報の取得は、疑似HDR映像生成(ステップS101~S104)時の直前でもよいし、機器の初期設定時やディスプレイ接続時のタイミングでもよい。例えば、ディスプレイ特性情報の取得は、ディスプレイ輝度値への変換の直前に行ってもよいし、変換装置100がHDMI(登録商標)ケーブルで最初に表示装置200に接続したタイミングで行ってもよい。
また、HDR映像のCPLやCALは、コンテンツ1つに対して1つでもよいし、シーン毎に存在していてもよい。つまり、変換方法では、映像の複数のシーンのそれぞれに対応した輝度情報であって、当該シーン毎に、当該シーンを構成する複数の画像に対する輝度値のうちの最大値である第1最大輝度値と、当該シーンを構成する複数の画像に対する輝度値の平均である平均輝度値との少なくとも一方を含む輝度情報(CPL、CAL)を取得し、第1輝度変換では、複数のシーンのそれぞれについて、当該シーンに対応した輝度情報に応じてディスプレイ輝度値を決定してもよい。
また、CPLおよびCALは、HDR映像と同じ媒体(Blu-ray(登録商標)ディスク、DVD等)に同梱していてもよいし、変換装置100がインターネットから取得する等、HDR映像とは別の場所から取得してもよい。つまり、CPLおよびCALの少なくとも一方を含む輝度情報を映像のメタ情報として取得してもよいし、ネットワーク経由で取得してもよい。
また、変換装置100の第1輝度変換(HPL→DPL)において、CPL、CAL、およびディスプレイピーク輝度(DPL)は使用せずに、固定値を用いてもよい。また、その固定値を外部から変更可能にしてもよい。また、CPL、CAL、およびDPLは、数種類で切り替えるようにしてもよく、例えば、DPLは200nit、400nit、800nitの3種類のみとするようにしてもよいし、ディスプレイ特性情報に最も近い値を使用するようにしてもよい。
また、HDRのEOTFはSMPTE 2084でなくてもよく、他の種類のHDRのEOTFを用いてもよい。また、HDR映像の最大輝度(HPL)は10,000nitでなくてもよく、例えば4,000nitや1,000nitでもよい。
また、コード値のビット幅は、例えば16,14,12,10,8bitでもよい。
また、逆SDRのEOTF変換は、ディスプレイ特性情報から決定するが、(外部からも変更可能な)固定の変換関数を用いてもよい。逆SDRのEOTF変換は、例えばRec. ITU-R BT.1886で規定されている関数を用いてもよい。また、逆SDRのEOTF変換の種類を数種類に絞り、表示装置200の入出力特性に最も近いものを選択して使用するようにしてもよい。
また、表示モードは、固定のモードを使うようにしてもよく、ディスプレイ特性情報の中に含めなくてもよい。
また、変換装置100は、設定情報を送信しなくてもよく、表示装置200では固定の表示設定としてもよいし、表示設定を変更しなくてもよい。この場合、表示設定部201は不要となる。また、設定情報は、疑似HDR映像かどうかのフラグ情報でもよく、例えば、疑似HDR映像である場合は最も明るく表示する設定に変更するようにしてもよい。つまり、表示設定の設定(S105)では、取得した設定情報が、DPLを用いて変換された疑似HDR映像を示す信号であることを示す場合、表示装置200の明るさ設定を最も明るく表示する設定に切り替えてもよい。
また、変換装置100の第1輝度変換(HPL→DPL)は例えば次の算式で変換する。
Figure 0007018573000001
ここで、Lは、0~1に正規化された輝度値を示し、S1、S2、a、b、MはCAL、CPL、およびDPLに基づいて設定する値である。lnは自然対数である。Vは0~1に正規化された変換後の輝度値である。図13Aの例のように、CALを300nitとし、CPLを2,000nitとし、DPLを750nitとし、CAL + 50nitまでは変換しないとし、350nit以上に対して変換する場合、それぞれの値は例えば次のような値となる。
S1 = 350/10000
S2 = 2000/10000
M = 750/10000
a = 0.023
b = S1 - a*ln(S1) = 0.112105
つまり、第1輝度変換では、SDRの輝度値が、平均輝度値(CAL)と第1最大輝度値(CPL)との間である場合、自然対数を用いて、当該HDRの輝度値に対応するディスプレイ輝度値を決定する。
HDR映像のコンテンツピーク輝度やコンテンツ平均輝度等の情報を用いてHDR映像を変換することにより、コンテンツに応じて変換式を変えることができ、HDRの階調をなるべく保つように変換することが可能となる。また、暗すぎる、明るすぎるといった悪影響を抑制することができる。具体的には、HDR映像のコンテンツピーク輝度をディスプレイピーク輝度にマッピングすることにより、階調をなるべく保つようにしている。また、平均輝度付近以下の画素値を変えないことにより、全体的な明るさが変わらないようにしている。
また、SDRディスプレイのピーク輝度値および表示モードを用いてHDR映像を変換することにより、SDRディスプレイの表示環境に応じて変換式を変えることができ、SDRディスプレイの性能に合わせて、HDR感のある映像(疑似HDR映像)を、元のHDR映像と同様の階調や明るさで表示することができる。具体的には、SDRディスプレイの最大輝度および表示モードによってディスプレイピーク輝度を決定し、そのピーク輝度値を超えないようにHDR映像を変換することにより、SDRディスプレイで表示可能な明るさまではHDR映像の階調をほとんど減らさずに表示し、表示不可能な明るさは表示可能な明るさまで輝度値を下げている。
以上により、表示不可能な明るさ情報を削減し、表示可能な明るさの諧調を落とさず、元のHDR映像に近い形で表示することが可能となる。例えば、ピーク輝度1,000nitのディスプレイ用には、ピーク輝度1,000nitに抑えた疑似HDR映像に変換することにより、全体的な明るさを維持し、ディスプレイの表示モードによって輝度値は変わる。このため、ディスプレイの表示モードに応じて、輝度の変換式を変更するようにしている。もし、ディスプレイのピーク輝度よりも大きな輝度を疑似HDR映像で許容すると、その大きな輝度をディスプレイ側でのピーク輝度に置き換えて表示する場合があり、その場合は元のHDR映像よりも全体的に暗くなる。逆にディスプレイのピーク輝度よりも小さな輝度を最大輝度として変換すると、その小さな輝度をディスプレイ側でのピーク輝度に置き換え、元のHDR映像よりも全体的に明るくなる。しかもディスプレイ側のピーク輝度よりも小さいためにディスプレイの諧調に関する性能を最大限使っていないことになる。
また、ディスプレイ側では、設定情報を用いて表示設定を切り替えることにより、疑似HDR映像をよりよく表示することが可能となる。例えば、明るさを暗く設定している場合には高輝度表示ができないため、HDR感が損なわれる。その場合には表示設定を変更するもしくは、変更してもらうよう促すメッセージを表示することにより、ディスプレイの性能を最大限引出し、高階調な映像を表示できるようにする。
本開示の変換方法では、HDR映像をSDRTVで表示する場合において、表示するSDRTVのピーク輝度が100nitを超える(通常200nit以上)ことを利用して、HDR映像を100nit以下のSDR映像に変換するのではなく、100nitを超える領域の階調をある程度保つよう変換し、元のHDRに近い疑似HDR映像に変換してSDRTVに表示させることができる「HDR→疑似HDR変換処理」を実現する。
また、変換方法では、SDRTVのディスプレイ特性(最高輝度、入出力特性、および表示モード)によって「HDR→疑似HDR変換処理」の変換方法を切り替えてもよい。
ディスプレイ特性情報の取得方法としては、(1)HDMI(登録商標)やネットワークを通して自動取得すること、(2)ユーザにメーカー名、品番等の情報入力させることで生成すること、および(3)メーカー名や品番等の情報を使ってクラウド等から取得することが考えられる。
また、変換装置100のディスプレイ特性情報の取得タイミングとしては、(1)疑似HDR変換する直前に取得すること、および(2)表示装置200(SDRTV等)と初めて接続する時(接続が確立した時)に取得することが考えられる。
また、変換方法では、HDR映像の輝度情報(CAL、CPL)によって変換方法を切り替えてもよい。
例えば、変換装置100のHDR映像の輝度情報の取得方法としては、(1)HDR映像に付随したメタ情報として取得すること、(2)ユーザにコンテンツのタイトル情報を入力させることで取得すること、および(3)ユーザに有力させた入力情報を使ってクラウド等から取得すること等が考えられる。
また、変換方法の詳細としては、(1)DPLを超えないように変換し、(2)CPLがDPLになるように変換し、(3)CALおよびその周辺以下の輝度は変更せず、(4)自然対数を用いて変換し、(5)DPLでクリップ処理をする。
また、変換方法では、疑似HDRの効果を高めるために、SDRTVの表示モード、表示パラメータなどの表示設定を、表示装置200に送信して切り替えることも可能であり、例えば、ユーザに表示設定を促すメッセージを画面に表示してもよい。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
以上、本開示の一つまたは複数の態様に係る表示方法および表示装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、異なる実施の形態における構成要素を組み合わせて構築される形態なども、本開示の一つまたは複数の態様の範囲内に含まれてもよい。
本開示は、HDR信号に適した表示設定で映像を表示することができる表示方法、表示装置、再生システムなどとして有用である。
100 変換装置
101 変換部
102 輝度変換部
103 逆輝度変換部
104 逆SDRのEOTF変換部
200 表示装置
201 表示設定部
202 SDRのEOTF変換部
203 輝度変換部
204 表示部

Claims (4)

  1. 第1の輝度範囲における第1の輝度値を有する第1の映像信号を取得する取得部と、
    前記第1の映像信号の前記第1の輝度値を、表示部が表示可能な最大輝度値を超えない第2の輝度値に変換する変換部と、
    前記第2の輝度値を有する第2の映像信号を前記表示部に出力する出力部と、
    を有し、
    前記変換部は、前記表示部の表示モードがノーマルモードよりも高輝度画素をより明るくかつ低輝度画素をより暗くするダイナミックモードの場合、低輝度側の前記第2の輝度値は前記第1の輝度値に正比例する正比例値より低い値となるように、かつ、高輝度側の前記第2の輝度値は前記正比例値より高い値となるように、変換する、
    輝度変換装置。
  2. 前記変換部は、前記表示部の表示モードが前記ノーマルモードの場合、前記第2の輝度値は前記第1の輝度値に正比例する前記正比例値となるように変換する、
    請求項1記載の輝度変換装置。
  3. 第1の輝度範囲における第1の輝度値を有する第1の映像信号を取得し、
    前記第1の映像信号の前記第1の輝度値を、表示部が表示可能な最大輝度値を超えない第2の輝度値に変換し、
    前記第2の輝度値を有する第2の映像信号を前記表示部に出力する、
    輝度変換方法であり、
    前記表示部の表示モードがノーマルモードよりも高輝度画素をより明るくかつ低輝度画素をより暗くするダイナミックモードの場合、低輝度側の前記第2の輝度値は前記第1の輝度値に正比例する正比例値より低い値となるように、かつ、高輝度側の前記第2の輝度値は前記正比例値より高い値となるように、変換する、
    輝度変換方法。
  4. 前記表示部の表示モードが前記ノーマルモードの場合、前記第2の輝度値は前記第1の輝度値に正比例する前記正比例値となるように変換する、
    請求項3記載の輝度変換方法。
JP2020080153A 2014-06-10 2020-04-30 輝度変換装置および輝度変換方法 Active JP7018573B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022003742A JP7065376B2 (ja) 2014-06-10 2022-01-13 表示装置、変換装置、表示方法、および、コンピュータプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201462009978P 2014-06-10 2014-06-10
US62/009,978 2014-06-10
JP2015089812 2015-04-24
JP2015089812 2015-04-24

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017073887A Division JP6706846B2 (ja) 2014-06-10 2017-04-03 表示装置、変換装置、表示方法、および、コンピュータプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022003742A Division JP7065376B2 (ja) 2014-06-10 2022-01-13 表示装置、変換装置、表示方法、および、コンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2020145700A JP2020145700A (ja) 2020-09-10
JP7018573B2 true JP7018573B2 (ja) 2022-02-14

Family

ID=54833162

Family Applications (9)

Application Number Title Priority Date Filing Date
JP2015545586A Active JP5948619B2 (ja) 2014-06-10 2015-05-25 表示システム、表示方法および表示装置
JP2016103186A Pending JP2016189010A (ja) 2014-06-10 2016-05-24 表示システム、表示方法および表示装置
JP2017073887A Active JP6706846B2 (ja) 2014-06-10 2017-04-03 表示装置、変換装置、表示方法、および、コンピュータプログラム
JP2017076961A Active JP6704171B2 (ja) 2014-06-10 2017-04-07 表示装置、変換装置、表示方法、および、コンピュータプログラム
JP2017076966A Active JP6604556B2 (ja) 2014-06-10 2017-04-07 再生装置、変換装置、再生方法、および、コンピュータプログラム
JP2020080153A Active JP7018573B2 (ja) 2014-06-10 2020-04-30 輝度変換装置および輝度変換方法
JP2022003742A Active JP7065376B2 (ja) 2014-06-10 2022-01-13 表示装置、変換装置、表示方法、および、コンピュータプログラム
JP2022055595A Active JP7126184B2 (ja) 2014-06-10 2022-03-30 表示装置、変換装置、表示方法、および、コンピュータプログラム
JP2022124552A Active JP7407373B2 (ja) 2014-06-10 2022-08-04 表示装置、表示方法、および、コンピュータプログラム

Family Applications Before (5)

Application Number Title Priority Date Filing Date
JP2015545586A Active JP5948619B2 (ja) 2014-06-10 2015-05-25 表示システム、表示方法および表示装置
JP2016103186A Pending JP2016189010A (ja) 2014-06-10 2016-05-24 表示システム、表示方法および表示装置
JP2017073887A Active JP6706846B2 (ja) 2014-06-10 2017-04-03 表示装置、変換装置、表示方法、および、コンピュータプログラム
JP2017076961A Active JP6704171B2 (ja) 2014-06-10 2017-04-07 表示装置、変換装置、表示方法、および、コンピュータプログラム
JP2017076966A Active JP6604556B2 (ja) 2014-06-10 2017-04-07 再生装置、変換装置、再生方法、および、コンピュータプログラム

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2022003742A Active JP7065376B2 (ja) 2014-06-10 2022-01-13 表示装置、変換装置、表示方法、および、コンピュータプログラム
JP2022055595A Active JP7126184B2 (ja) 2014-06-10 2022-03-30 表示装置、変換装置、表示方法、および、コンピュータプログラム
JP2022124552A Active JP7407373B2 (ja) 2014-06-10 2022-08-04 表示装置、表示方法、および、コンピュータプログラム

Country Status (6)

Country Link
US (20) US9762843B2 (ja)
EP (2) EP3562135A1 (ja)
JP (9) JP5948619B2 (ja)
CN (4) CN110460745B (ja)
MX (1) MX357792B (ja)
WO (1) WO2015190044A1 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106416216B (zh) 2014-05-16 2019-07-12 松下知识产权经营株式会社 变换方法及变换装置
JP5948619B2 (ja) 2014-06-10 2016-07-06 パナソニックIpマネジメント株式会社 表示システム、表示方法および表示装置
EP3196880B1 (en) * 2014-09-12 2019-08-28 Sony Corporation Playback device, playback method, information processing device, information processing method, program, and recording medium
JP6552228B2 (ja) 2015-03-17 2019-07-31 キヤノン株式会社 画像表示装置及びその制御方法
CN107533832B (zh) 2015-05-12 2020-11-27 索尼公司 图像处理装置、图像处理方法与程序
WO2017051808A1 (ja) * 2015-09-25 2017-03-30 日立マクセル株式会社 放送受信装置
US10237525B2 (en) * 2015-12-25 2019-03-19 Sharp Kabushiki Kaisha Display device, method for controlling display device, control program, and recording medium
CN105930123B (zh) * 2016-04-29 2020-02-21 联想(北京)有限公司 一种显示调节方法及电子设备
CN107395950B (zh) * 2016-05-16 2021-11-09 西安电子科技大学 媒体数据处理方法和装置及系统
US12108091B2 (en) * 2016-05-16 2024-10-01 Zte Corporation Media data processing method, apparatus and system
WO2017203942A1 (ja) * 2016-05-25 2017-11-30 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
WO2018012244A1 (ja) * 2016-07-11 2018-01-18 シャープ株式会社 映像信号変換装置、映像信号変換方法、映像信号変換システム、制御プログラム、および記録媒体
TWI631505B (zh) * 2016-08-26 2018-08-01 晨星半導體股份有限公司 應用於播放裝置的影像處理方法及相關的電路
JP7054851B2 (ja) * 2016-09-09 2022-04-15 パナソニックIpマネジメント株式会社 表示装置および信号処理方法
JP7020417B2 (ja) 2016-09-20 2022-02-16 ソニーグループ株式会社 映像信号処理装置、映像信号処理方法および映像信号処理システム
JP7143838B2 (ja) * 2017-02-28 2022-09-29 ソニーグループ株式会社 画像処理装置及び画像処理方法
KR102308192B1 (ko) * 2017-03-09 2021-10-05 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US11049225B2 (en) * 2017-07-07 2021-06-29 Panasonic Intellectual Property Management Co., Ltd. Video processing system and video processing method
JP2019041269A (ja) * 2017-08-25 2019-03-14 シャープ株式会社 映像処理装置、表示装置、映像処理方法、制御プログラム、および記録媒体
CN109982007B (zh) * 2017-12-27 2021-11-19 联发科技股份有限公司 应用在机顶盒的格式转换电路及相关的方法
WO2019130626A1 (ja) * 2017-12-27 2019-07-04 パナソニックIpマネジメント株式会社 表示装置および表示方法
US10609424B2 (en) * 2018-03-09 2020-03-31 Dolby Laboratories Licensing Corporation Single-layer progressive coding for supporting multi-capability HDR composition
US10917583B2 (en) * 2018-04-27 2021-02-09 Apple Inc. Standard and high dynamic range display systems and methods for high dynamic range displays
TW201946474A (zh) * 2018-04-30 2019-12-01 圓剛科技股份有限公司 影像錄製設定方法
TWI808970B (zh) * 2018-04-30 2023-07-21 圓剛科技股份有限公司 影像訊號轉換裝置
CN108900823B (zh) * 2018-07-05 2019-07-12 华为技术有限公司 一种视频信号处理的方法及装置
CN111526345B (zh) * 2019-02-01 2021-12-14 中国电影器材有限责任公司 一种数字电影放映方法及系统
KR20200095651A (ko) * 2019-02-01 2020-08-11 삼성전자주식회사 고 동적 범위 콘텐트를 재생하는 전자 장치 및 그 방법
IT201900018731A1 (it) 2019-10-14 2021-04-14 Leonardo Spa Sistema di airbag di tipo auto-adattativo per velivolo
CN112153314B (zh) * 2020-09-27 2023-04-07 中影环球(北京)科技有限公司 一种影院放映方法及系统
US11544826B2 (en) * 2021-04-30 2023-01-03 Realnetworks, Inc. Intelligent metadata service for video enhancement
CN114727029B (zh) * 2022-03-21 2024-03-22 北京百度网讯科技有限公司 视频的处理方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006238412A (ja) 2005-01-25 2006-09-07 Sharp Corp 輝度レベル変換装置、輝度レベル変換方法、固体撮像装置、輝度レベル変換プログラム、および記録媒体
WO2012166382A2 (en) 2011-05-27 2012-12-06 Dolby Laboratories Licensing Corporation Scalable systems for controlling color management comprising varying levels of metadata

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4192418B2 (ja) * 2000-10-27 2008-12-10 ソニー株式会社 画像処理装置および方法、並びに記録媒体
JP4078649B2 (ja) * 2004-01-28 2008-04-23 日本ビクター株式会社 映像信号処理装置及び方法
US8218625B2 (en) * 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
JP4812282B2 (ja) * 2004-11-05 2011-11-09 富士フイルム株式会社 画像処理方法及び装置並びに撮像装置
JP3957730B2 (ja) * 2005-06-02 2007-08-15 シャープ株式会社 画像表示装置
US7791656B2 (en) 2005-08-16 2010-09-07 Konica Minolta Holdings, Inc. Image sensing apparatus and image processing method
JP2007082181A (ja) * 2005-08-16 2007-03-29 Konica Minolta Holdings Inc 撮像装置及び画像処理方法
JP4736939B2 (ja) * 2005-08-16 2011-07-27 コニカミノルタホールディングス株式会社 撮像装置及び画像処理方法
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
US7639394B2 (en) * 2006-03-31 2009-12-29 Microsoft Corporation Dynamically generating darker and lighter color options from a base color in a color picker user interface
JP5145017B2 (ja) 2006-12-05 2013-02-13 日本放送協会 画像信号処理装置
US8135230B2 (en) 2007-07-30 2012-03-13 Dolby Laboratories Licensing Corporation Enhancing dynamic ranges of images
JP4544319B2 (ja) * 2008-03-11 2010-09-15 富士フイルム株式会社 画像処理装置、方法及びプログラム
US8165393B2 (en) * 2008-06-05 2012-04-24 Microsoft Corp. High dynamic range texture compression
MX2011003349A (es) * 2008-09-30 2011-06-16 Dolby Lab Licensing Corp Sistemas y metodos para aplicar gamma adaptable en el procesamiento de imagenes para pantallas con alta brillantez y con alto intervalo dinamico.
EP2406959B1 (en) * 2009-03-13 2015-01-14 Dolby Laboratories Licensing Corporation Layered compression of high dynamic range, visual dynamic range, and wide color gamut video
US8305401B1 (en) * 2009-04-27 2012-11-06 Maxim Integrated, Inc. Digital light management controller
JP4660617B2 (ja) 2009-09-10 2011-03-30 株式会社東芝 映像処理装置及び映像処理方法
GB2473615A (en) * 2009-09-16 2011-03-23 Sharp Kk Display privacy image processing method with main image compression depending on off-axis luminance
US9509935B2 (en) * 2010-07-22 2016-11-29 Dolby Laboratories Licensing Corporation Display management server
TWI479898B (zh) * 2010-08-25 2015-04-01 Dolby Lab Licensing Corp 擴展影像動態範圍
US11049473B2 (en) * 2011-03-24 2021-06-29 Koninklijke Philips N.V. Apparatuses and methods for analyzing image gradings
WO2012142285A2 (en) * 2011-04-12 2012-10-18 Dolby Laboratories Licensing Corporation Quality assessment for images that have extended dynamic ranges or wide color gamuts
TWI624182B (zh) * 2011-04-15 2018-05-11 杜比實驗室特許公司 高動態範圍影像的編碼、解碼及表示
CN103493490B (zh) * 2011-04-25 2016-12-28 杜比实验室特许公司 非线性视觉动态范围残留量化器
ES2974956T3 (es) * 2011-05-10 2024-07-02 Koninklijke Philips Nv Generación y procesamiento de señales de imágenes de alto rango dinámico
CN102324910B (zh) * 2011-05-30 2016-03-02 天津大学 一种电光双向可调fir滤波器各级分立电压确定方法
EP2721811B1 (en) * 2011-06-14 2019-12-25 Koninklijke Philips N.V. Graphics processing for high dynamic range video
WO2013038596A1 (ja) * 2011-09-13 2013-03-21 シャープ株式会社 画像表示装置及び信号処理プログラム
EP2745290A1 (en) * 2011-09-27 2014-06-25 Koninklijke Philips N.V. Apparatus and method for dynamic range transforming of images
JP5877693B2 (ja) * 2011-11-18 2016-03-08 株式会社キーエンス 画像処理センサ、画像処理方法及びコンピュータプログラム
DK3079055T3 (da) * 2011-12-06 2019-06-03 Dolby Laboratories Licensing Corp Indretning og fremgangsmåde til at forbedre den perceptuelle luminans ikke-lineæritetsbaserede billeddataudveksling på tværs af forskellige displayegenskaber
CN102636888A (zh) * 2012-04-13 2012-08-15 天津大学 电光调谐多波长fir滤波器及各级电压确定方法
US9516351B2 (en) * 2012-07-13 2016-12-06 Koninklijke Philips N.V. HDR image encoding and decoding methods and devices
US9584811B2 (en) * 2013-06-17 2017-02-28 Dolby Laboratories Licensing Corporation Adaptive reshaping for layered coding of enhanced dynamic range signals
WO2015007510A1 (en) * 2013-07-16 2015-01-22 Koninklijke Philips N.V. Method and apparatus to create an eotf function for a universal code mapping for an hdr image, method and process to use these images
WO2015007505A1 (en) * 2013-07-18 2015-01-22 Koninklijke Philips N.V. Methods and apparatuses for creating code mapping functions for encoding an hdr image, and methods and apparatuses for use of such encoded images
JP6202330B2 (ja) * 2013-10-15 2017-09-27 ソニー株式会社 復号装置および復号方法、並びに符号化装置および符号化方法
JP2015170905A (ja) * 2014-03-05 2015-09-28 ソニー株式会社 画像処理装置及び画像処理方法、並びに画像表示装置
CN106416216B (zh) * 2014-05-16 2019-07-12 松下知识产权经营株式会社 变换方法及变换装置
JP5948619B2 (ja) * 2014-06-10 2016-07-06 パナソニックIpマネジメント株式会社 表示システム、表示方法および表示装置
MX363812B (es) * 2014-06-10 2019-04-04 Panasonic Ip Man Co Ltd Método de conversión y aparato de conversión.
EP3570555B1 (en) * 2014-06-16 2023-10-18 Panasonic Intellectual Property Management Co., Ltd. Display method and display device using type information and hdmi and hdcp
EP3671746B1 (en) * 2014-06-20 2023-08-30 Panasonic Intellectual Property Management Co., Ltd. Playback method and playback apparatus
MX357793B (es) * 2014-06-23 2018-07-25 Panasonic Ip Man Co Ltd Metodo de conversion y aparato de conversion.
CN110708439A (zh) * 2014-06-26 2020-01-17 松下知识产权经营株式会社 显示装置及数据输出方法
EP3163894B1 (en) * 2014-06-27 2020-08-19 Panasonic Intellectual Property Management Co., Ltd. Data output device, data output method, and data generation method
JP6512458B2 (ja) * 2014-06-30 2019-05-15 パナソニックIpマネジメント株式会社 データ再生方法及び再生装置
JP6421504B2 (ja) * 2014-07-28 2018-11-14 ソニー株式会社 画像処理装置及び画像処理方法
KR20170007764A (ko) * 2014-07-29 2017-01-20 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
WO2016027423A1 (ja) * 2014-08-19 2016-02-25 パナソニックIpマネジメント株式会社 伝送方法、再生方法及び再生装置
JP2016058848A (ja) * 2014-09-08 2016-04-21 ソニー株式会社 画像処理装置及び画像処理方法
US20170007073A1 (en) 2015-07-06 2017-01-12 Gioni Bianchini Bbq grill insert and bbq grill assembly using the same
KR102711913B1 (ko) * 2015-08-28 2024-09-27 앤드류 와이어리스 시스템스 유케이 리미티드 높은 동적 범위 및 넓은 컬러 영역 시퀀스들의 코딩에서의 컬러 볼륨 변환들
US10536695B2 (en) * 2015-09-09 2020-01-14 Qualcomm Incorporated Colour remapping information supplemental enhancement information message processing
US10043251B2 (en) * 2015-10-09 2018-08-07 Stmicroelectronics Asia Pacific Pte Ltd Enhanced tone mapper for high dynamic range images and video
US10200701B2 (en) * 2015-10-14 2019-02-05 Qualcomm Incorporated HDR and WCG coding architecture with SDR backwards compatibility in a single bitstream for video coding
PT3394850T (pt) * 2015-12-21 2020-08-14 Koninklijke Philips Nv Otimização de imagens de alta gama dinâmica para monitores específicos
JP7440235B2 (ja) * 2019-09-26 2024-02-28 フォルシアクラリオン・エレクトロニクス株式会社 表示制御装置、及び表示制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006238412A (ja) 2005-01-25 2006-09-07 Sharp Corp 輝度レベル変換装置、輝度レベル変換方法、固体撮像装置、輝度レベル変換プログラム、および記録媒体
WO2012166382A2 (en) 2011-05-27 2012-12-06 Dolby Laboratories Licensing Corporation Scalable systems for controlling color management comprising varying levels of metadata

Also Published As

Publication number Publication date
US20220182573A1 (en) 2022-06-09
JP2022058608A (ja) 2022-04-12
JP7126184B2 (ja) 2022-08-26
US10791300B2 (en) 2020-09-29
US20210075993A1 (en) 2021-03-11
US11228730B2 (en) 2022-01-18
JP2022088557A (ja) 2022-06-14
JP7407373B2 (ja) 2024-01-04
JP2016189010A (ja) 2016-11-04
MX357792B (es) 2018-07-25
US20210075997A1 (en) 2021-03-11
EP3562135A1 (en) 2019-10-30
US20220182574A1 (en) 2022-06-09
US9973724B2 (en) 2018-05-15
CN110460744A (zh) 2019-11-15
US10687014B2 (en) 2020-06-16
CN110460743B (zh) 2021-10-29
US11647148B2 (en) 2023-05-09
US11290676B2 (en) 2022-03-29
US20170237932A1 (en) 2017-08-17
CN110460745A (zh) 2019-11-15
US20170237933A1 (en) 2017-08-17
CN106134172B (zh) 2019-10-01
US20200014879A1 (en) 2020-01-09
US11196957B2 (en) 2021-12-07
JP2017127029A (ja) 2017-07-20
US11233969B2 (en) 2022-01-25
US10033958B2 (en) 2018-07-24
CN110460743A (zh) 2019-11-15
JP7065376B2 (ja) 2022-05-12
US10491853B2 (en) 2019-11-26
US20170237934A1 (en) 2017-08-17
US11240462B2 (en) 2022-02-01
US10097786B2 (en) 2018-10-09
JP6604556B2 (ja) 2019-11-13
US20210075994A1 (en) 2021-03-11
US20210075998A1 (en) 2021-03-11
JP6704171B2 (ja) 2020-06-03
US11968470B2 (en) 2024-04-23
US9762843B2 (en) 2017-09-12
US20210075995A1 (en) 2021-03-11
US11115616B2 (en) 2021-09-07
US20210067729A1 (en) 2021-03-04
JP5948619B2 (ja) 2016-07-06
US20210067728A1 (en) 2021-03-04
US11297278B2 (en) 2022-04-05
CN110460745B (zh) 2022-03-08
EP3157242B1 (en) 2019-07-03
WO2015190044A1 (ja) 2015-12-17
MX2016015283A (es) 2017-03-03
US20200336692A1 (en) 2020-10-22
US20220191425A1 (en) 2022-06-16
US11245868B2 (en) 2022-02-08
EP3157242A1 (en) 2017-04-19
US11812191B2 (en) 2023-11-07
US20210067730A1 (en) 2021-03-04
CN110460744B (zh) 2022-03-08
US20200014878A1 (en) 2020-01-09
EP3157242A4 (en) 2017-06-21
JP2020145700A (ja) 2020-09-10
JP2022140740A (ja) 2022-09-27
CN106134172A (zh) 2016-11-16
US11240463B2 (en) 2022-02-01
JPWO2015190044A1 (ja) 2017-04-20
JP2017127028A (ja) 2017-07-20
US20180367750A1 (en) 2018-12-20
JP2017143561A (ja) 2017-08-17
US20170085827A1 (en) 2017-03-23
JP6706846B2 (ja) 2020-06-10
US20210075996A1 (en) 2021-03-11
US11202029B2 (en) 2021-12-14

Similar Documents

Publication Publication Date Title
JP7065376B2 (ja) 表示装置、変換装置、表示方法、および、コンピュータプログラム
JP6573237B2 (ja) 表示装置、変換装置、表示方法、および、コンピュータプログラム
JP6655799B2 (ja) 表示装置および表示方法
JP6868797B2 (ja) 変換方法及び変換装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220113

R151 Written notification of patent or utility model registration

Ref document number: 7018573

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151