JP7117664B2 - 映像処理システム及び映像処理方法 - Google Patents
映像処理システム及び映像処理方法 Download PDFInfo
- Publication number
- JP7117664B2 JP7117664B2 JP2018551487A JP2018551487A JP7117664B2 JP 7117664 B2 JP7117664 B2 JP 7117664B2 JP 2018551487 A JP2018551487 A JP 2018551487A JP 2018551487 A JP2018551487 A JP 2018551487A JP 7117664 B2 JP7117664 B2 JP 7117664B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- luminance
- dynamic
- hdr
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 134
- 238000003672 processing method Methods 0.000 title claims description 12
- 238000000034 method Methods 0.000 claims description 176
- 238000006243 chemical reaction Methods 0.000 claims description 30
- 230000002194 synthesizing effect Effects 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 46
- 238000013507 mapping Methods 0.000 description 22
- 238000009826 distribution Methods 0.000 description 20
- 230000008054 signal transmission Effects 0.000 description 16
- 230000000694 effects Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 238000012790 confirmation Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
- G09G5/005—Adapting incoming signals to the display format of the display terminal
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
- G09G5/006—Details of the interface to the display terminal
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
- G09G5/026—Control of mixing and/or overlay of colours in general
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/10—Intensity circuits
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/39—Control of the bit-mapped memory
- G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
- G09G5/397—Arrangements specially adapted for transferring the contents of two or more bit-mapped memories to the screen simultaneously, e.g. for mixing or overlay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/66—Transforming electric information into light information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
- G09G2370/045—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller using multiple communication channels, e.g. parallel and serial
- G09G2370/047—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller using multiple communication channels, e.g. parallel and serial using display data channel standard [DDC] communication
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/20—Details of the management of multiple sources of image data
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
- Picture Signal Circuits (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Television Receiver Circuits (AREA)
Description
まず、映像技術の変遷について、図1を用いて説明する。図1は、映像技術の進化について説明するための図である。
図2は、コンテンツに新たな映像表現を導入するときの、映像制作、配信方式、及び表示装置の関係について説明するための図である。
トーンマップ(Tone Mapping)は、HDR映像の輝度と映像表示装置の最大輝度(Display Peak Luminance:DPL)との関係から、映像の最大輝度(Maximum Content Luminance Level:MaxCLL)がDPLを超える場合に、映像の輝度を変換し、映像の輝度をDPL以内に収める処理である。この処理により、映像の最大輝度付近の情報を失うことなく映像を表示できる。この変換は、映像表示装置の特性にも依存し、どのように表示するかの考え方にも依存するので、映像表示装置毎に異なった変換カーブが用いられる。
図4Aは、スタティックメタデータを用いたトーンマップの例を示す図である。図4Bは、ダイナミックメタデータを用いたダイナミックトーンマップの例を示す図である。
ここで、EOTFについて、図5Aおよび図5Bを用いて説明する。
図6は、動画にメニュー及び字幕などのグラフィックスを重畳して、映像表示装置で表示する例を示す図である。ここでは、Ultra HD Blu-rayの例を示す。
ダイナミックメタデータ方式では、HDR映像の輝度分布などの輝度に関わるメタデータがフレーム毎に指定され、映像信号とともに、そのようなメタデータが、映像表示装置に送られる。映像表示装置は、当該映像表示装置の最大輝度などの表示能力に応じて、送られてきたメタデータを参考にして、輝度を変換するなどの処理を行う。このようなダイナミックメタデータ方式は、映像表示装置の輝度などの表示性能によらずできるだけ一定の品質の映像を表示する方式として、注目されている。
現在、ダイナミックトーンマップが可能なHDR方式としていくつかの方式が現在提案され、規格化されている。HDR方式は、輝度ダイナミックレンジの方式の一例である。このため、映像再生装置は、主映像、映像再生装置、映像表示装置のそれぞれが、どのHDR方式に対応しているかを確認し、映像表示装置が対応している主映像を再生し、再生した主映像を映像表示装置に出力する必要がある。
(課題1)
前述したように、オプションHDRに非対応の映像再生装置あるいは映像表示装置が互いに接続されている場合、マンダトリHDRでの主映像を再生して表示することとなり、ダイナミックトーンマップが実施できないという問題がある。また、一つのオプションHDRおいても、いくつかのパラメータがあり、その中でさらにオプションがある場合、主映像データには、第1オプションが記録されているが、映像表示装置で、第1オプションに対応せず、別のオプションである第2オプションに対応している状況も想定される。しかしながら、このような状況では、オプションHDR方式としては、主映像、映像再生装置、および映像表示装置で対応しているものの、同じオプションHDRの中のパラメータのオプションへの対応の状況により、オプションHDRとして表示できないことになる。これにより、このような映像処理システムでは、マンダトリHDRの主映像を再生して、表示することとなり、ダイナミックトーンマップができないことになる。あるいは、オプションHDRの中のマンダトリ部分だけの処理となり、期待よりも劣ったダイナミックトーンマップとなり、品質が劣った映像表示となる。
また、図9Aに示した第1オプションのダイナミックメタデータの例のようにデータ値に基づくメタデータの場合、主映像に重畳されるグラフィックスの輝度に基づく処理を行うことが困難になる。具体的には、グラフィックスの輝度に応じて、その輝度以下については、ダイナミックトーンマップを行わないと言う処理を行う場合、第1オプションのメタデータでは、輝度情報ではなく、データ値、つまり、RGB値に基づくものであるため、ダイナミックトーンマップを行う手段において、グラフィックスの輝度情報と、メタデータの輝度情報との単位をそろえる処理が必要となる。特に、ブルーレイの場合、ディスク上のグラフィックスデータは、RGB値ではなく、輝度情報および色情報から構成されている事から、困難さが増す。
課題1では、オプションHDRの1方式の中での複数のオプションがある場合の課題であったが、ダイナミックトーンマップに対応した複数のHDR方式に再生装置が対応している場合でも、再生する主映像が対応している第1HDR方式に、映像表示装置が対応していない場合、(i)第1HDR方式を表示する事ができない。あるいは、(ii)再生する主映像が対応している第1HDR方式がオプションHDRであり、主映像がマンダトリHDRを含む場合、マンダトリHDR方式でのみ表示することとなる。これにより、当該映像処理システムでは、オプションHDRの特徴の一つであるダイナミックトーンマップを実現できないという課題があった。
本開示では以下の解決方法を用いる。
本実施の形態では、映像再生装置は、映像再生装置にHDMIケーブルなどの映像信号伝送手段で接続されている映像表示装置が所定のHDR方式の第1のオプションに対応せず、第2のオプションに対応している場合、再生する主映像から取得したダイナミックメタデータの第1オプション部分から第2オプション部分を生成し、(i)生成した第2オプション部分で、取得したダイナミックメタデータの第1オプション部分を置き換えるか、または、(ii)取得したダイナミックメタデータに、第2オプション部分を追加する。その後、映像再生装置は、第2オプション部分を含むダイナミックメタデータを、映像信号伝送手段を通じて、映像表示装置に伝送する。映像表示装置は、第2オプション部分を含むダイナミックメタデータを取得し、取得したダイナミックメタデータの第2オプション部分を用いて、所定のHDR方式の第2オプションに従ったダイナミックトーンマップを実行する。
図10は、実施の形態1に係る映像処理システム100の構成を示すブロック図である。図10に示す映像処理システム100は、映像再生装置101と、映像表示装置102とを含む。
ダイナミックメタデータの第1オプション部分および第2オプション部分の構成が、図9Aおよび図9Bに示されるものである場合、メタデータ取得部116は、主映像に含まれる情報に基づき、オプションHDRのマンダトリ部分と第1オプション部分とを含む主映像ダイナミックメタデータを取得する。
実施の形態2について説明する。実施の形態1では、映像表示装置の表示方式に対応する第2オプション部分を主映像のダイナミックメタデータの第1オプション部分から生成するとしたがこれに限らない。実施の形態2では、主映像から生成する例について説明する。つまり、本実施の形態では、映像再生装置は、映像再生装置にHDMIケーブル等の映像信号伝送手段で接続されている映像表示装置が所定のHDR方式の第1オプションに対応せず、第2オプションに対応している場合、映像再生装置で再生される主映像からダイナミックメタデータの第2オプション部分を生成する。そして、映像再生装置は、(i)生成した第2オプション部分で、主映像のダイナミックメタデータの第1オプション部分を置き換えるか、または、(ii)取得したダイナミックメタデータに、生成した第2オプション部分を追加する。その後、映像再生装置は、第2オプション部分を含むダイナミックメタデータを、映像信号伝送手段を通じて、映像表示装置に伝送する。映像表示装置は、第2オプション部分を含むダイナミックメタデータを取得し、取得したダイナミックメタデータの第2オプション部分を用いて、所定のHDR方式の第2オプションに従ったダイナミックトーンマップを実行する。
図13は、実施の形態2に係る映像処理システム100Aの構成を示すブロック図である。本実施の形態に係る映像再生装置101Aは、実施の形態1の映像再生装置101と比較して、生成部118Aの機能が異なる。映像再生装置101Aの他の構成は、実施の形態1の映像再生装置101と同様であるため、詳細な説明を省略する。
ダイナミックメタデータの第1オプション部分および第2オプション部分の構成が、図9A及び図9Bに示されるものである場合、メタデータ取得部116は、オプションHDRのマンダトリ部分と第1オプション部分とを含む主映像ダイナミックメタデータ取得する。
実施の形態3について説明する。実施の形態1および2では、映像再生装置において、映像表示装置の表示方式に対応する第2オプション部分を生成するとしたが、実施の形態3では、映像表示装置において、第2オプション部分を生成する例について説明する。つまり、本実施の形態では、映像再生装置は、映像再生装置にHDMIケーブル等の映像信号伝送手段で接続されている映像表示装置が所定のHDR方式の第1オプションの主映像の表示処理機能を有さず、第2オプションの主映像の処理機能を有する場合、第1オプションの主映像を再生し、当該主映像の再生信号を出力する。映像表示装置は、(i)主映像とともに伝送されるダイナミックメタデータの第1オプション部分から第2オプション部分を生成するか、(ii)主映像から、第2オプション部分を生成するか、または、(i)および(ii)の両方の方法を用いて、第2オプション部分を生成する。そして、映像表示装置は、生成した第2オプション部分を用いたダイナミックトーンマップを実行する。
図15は、実施の形態3の第1の例に係る映像処理システム100Bの構成を示すブロック図である。
まず、映像再生装置101Bは、第1オプション部分を含む主映像ダイナミックメタデータを主映像とともに、HDMIケーブル等の映像信号伝送手段を通じて、映像表示装置102Bに送る。
図17は、実施の形態3の第2の例に係る映像処理システム100Cの構成を示すブロック図である。
図18は、実施の形態3の第2の例に係る映像表示装置102Cの動作を示すフローチャートである。なお、実施の形態3の第2の例に係る映像表示装置102Cの動作では、第1の例に係る映像表示装置102Bの動作と比較して、ステップS52の代わりにステップS52Cを行う点が異なる。このため、ステップS52Cの説明を行い、その他のステップの詳細な説明を省略する。
実施の形態4について説明する。実施の形態4では、実施の形態1または実施の形態2に加え、映像再生装置は、ダイナミックメタデータの第2オプション部分の生成時に、グラフィックスの輝度情報を含める。つまり、映像再生装置は、主映像に重畳されるグラフィックスの輝度情報を第2のオプション部分に追加する。映像表示装置は、第2オプション部分を含むダイナミックメタデータを取得し、取得したダイナミックメタデータを用いて、第2オプションの主映像の輝度がグラフィックスの輝度以上の区間では、当該区間の第2オプション部分に応じて、変換カーブを時系列に変更する第1トーンマップ処理を行い、第2オプションの主映像の輝度がグラフィックスの輝度より暗い区間では、一定の変換カーブを用いる第2トーンマップ処理を行う。
図19は、実施の形態4に係る映像処理システム100Dの構成を示すブロック図である。本実施の形態に係る映像再生装置101Dは、実施の形態1の映像再生装置101と比較して、さらに、抽出部122を備える点が異なる。映像再生装置101Dの他の構成は、実施の形態1の映像再生装置101と同様であるため、詳細な説明を省略する。
図22Aは、グラフィックスが字幕である場合における、従来のダイナミックトーンマップによる字幕の輝度の変化を示す図である。字幕の輝度レベルが200nit以下の場合において、時間的にトーンマップが変化すると、図22Aからわかるように、0から200nit付近の輝度も変化し、本来一定である字幕の輝度が変化する。
実施の形態5について説明する。実施の形態5では、ダイナミックトーンマップに対応した複数のHDR方式に映像再生装置が対応している場合を考える。映像再生装置は、主映像が複数のHDR方式のうちの第1HDR方式に対応しており、映像再生装置に接続されている映像表示装置が複数のHDR方式のうちの第2HDR方式に対応している場合、主映像の再生時に、映像表示装置が対応している第2HDR方式に必要な、ダイナミックメタデータを再生中の主映像からダイナミックに生成し、生成したダイナミックメタデータを映像表示装置に送る。これにより、映像表示装置は、第2HDR方式に対応した主映像およびダイナミックメタデータを取得し、取得したダイナミックメタデータを用いて取得した主映像を第2HDR方式で表示する。
図24は、実施の形態5に係る映像処理システム100Eの構成を示すブロック図である。本実施の形態に係る映像再生装置101Eは、実施の形態2の映像再生装置101Aと比較して、生成部118Eの機能が異なる。映像再生装置101Eの他の構成は、実施の形態2の映像再生装置101Aと同様であるため、詳細な説明を省略する。また、映像表示装置102は、実施の形態1および2の映像表示装置102と同様であるため詳細な説明を省略する。
Blu-ray、Ultra HD Blu-rayの詳細は、例えば、非特許文献1に記載されている。
101、101A、101B、101D、101E 映像再生装置
102、102B、102C、102D 映像表示装置
111 取得部
112 デマルチプレクサ
113 主映像デコード部
114 字幕デコード部
115 メニューデコード部
116、132 メタデータ取得部
117 方式取得部
118、118A、118E、136、136C 生成部
119 グラフィックス合成部
120 主映像合成部
121 映像送出部
131 映像受信部
133、133D トーンマップ処理部
134 表示部
135 通知部
141 係数演算部
142 係数保持部
143 トーンマップ部
144 係数合成部
Claims (9)
- 標準のHDR映像と、前記標準のHDR映像よりも高品質な第1HDR映像と、映像の輝度特性の時系列の変化を示す動的輝度特性であって、前記第1HDR映像に対応する第2動的輝度特性の第2特性情報と を含む映像データを取得する第1取得部と、
前記標準のHDR(High Dynamic Range)映像を表示可能な表示装置が表示可能な第2HDR映像であって、前記標準のHDR映像よりも高品質な第2HDR映像の 輝度ダイナミックレンジの方式を示す表示方式を前記表示装置から取得する第2取得部と、
前記第1HDR 映像の輝度ダイナミックレンジの方式が前記表示方式と異なる場合、前記映像データを用いて、前記動的輝度特性であって、前記表示方式に対応する第1動的輝度特性を示す第1特性情報を生成する生成部と、
前記生成部により生成された前記第1特性情報と、前記第1HDR映像とを前記表示装置へ出力する出力部と、を備える
映像処理システム。 - 前記生成部は、前記第2動的輝度特性の輝度ダイナミックレンジの方式を、前記表示方式に変換することで、前記第1特性情報を生成する
請求項1に記載の映像処理システム。 - 主映像を含む映像データを取得する第1取得部と、
表示装置が表示可能な輝度ダイナミックレンジの方式を示す表示方式を取得する第2取得部と、
前記映像データが示す映像の輝度ダイナミックレンジの方式が前記表示方式と異なる場合、前記映像データを用いて、映像の輝度特性の時系列の変化を示す動的輝度特性であって、前記表示方式に対応する第1動的輝度特性を示す第1特性情報を生成する生成部と、
前記生成部により生成された前記第1特性情報を出力する出力部と、を備え、
前記生成部は、前記映像データの前記主映像を解析することで、前記主映像の前記動的輝度特性を示す第2動的輝度特性を抽出し、抽出した前記第2動的輝度特性の輝度ダイナミックレンジの方式を、前記表示方式に変換することで、前記第1特性情報を生成する
映像処理システム。 - 前記表示装置は、
前記出力部により出力された前記第1特性情報が示す第1動的輝度特性に応じた変換カーブを用いて前記第1HDR映像の輝度を変換するトーンマップ処理を行うトーンマップ処理部と、
前記トーンマップ処理後の映像を表示する表示部と、を備える
請求項1または2に記載の映像処理システム。 - 主映像を含む映像データを取得する第1取得部と、
表示装置が表示可能な輝度ダイナミックレンジの方式を示す表示方式を取得する第2取得部と、
前記映像データが示す映像の輝度ダイナミックレンジの方式が前記表示方式と異なる場合、前記映像データを用いて、映像の輝度特性の時系列の変化を示す動的輝度特性であって、前記表示方式に対応する第1動的輝度特性を示す第1特性情報を生成する生成部と、
前記生成部により生成された前記第1特性情報を出力する出力部と、
前記主映像にグラフィックスを合成することで合成映像を生成する合成部と、
前記グラフィックスの輝度特性を抽出する抽出部と、を備え、
前記出力部は、さらに、前記合成映像と、前記グラフィックスの輝度特性を示す第3特性情報とを出力する
映像処理システム。 - さらに、
前記出力部により出力された前記第1特性情報が示す第1動的輝度特性に応じた変換カーブを用いて前記主映像の輝度を変換するトーンマップ処理を行うトーンマップ処理部と、
前記トーンマップ処理後の映像を表示する表示部とを備え、
前記トーンマップ処理部は、前記合成部において合成映像が生成される場合、
前記第1特性情報が示す前記第1動的輝度特性が、前記第3特性情報が示す前記グラフィックスの輝度特性以上である映像の第1区間では、当該第1区間における前記主映像の輝度を当該第1区間における前記第1動的輝度特性に応じて、前記変換カーブを時系列に変更する第1トーンマップ処理を行い、
前記第1動的輝度特性が前記グラフィックスの輝度特性未満である映像の第2区間では、当該第2区間における前記主映像の輝度を当該第2区間における前記第1動的輝度特性に依らず、一定の変換カーブを用いる第2トーンマップ処理を行う
請求項5に記載の映像処理システム。 - 映像処理システムにおける映像処理方法であって、
標準のHDR映像と、前記標準のHDR映像よりも高品質な第1HDR映像と、映像の輝度特性の時系列の変化を示す動的輝度特性であって、前記第1HDR映像に対応する第2動的輝度特性の第2特性情報と を含む映像データを取得する第1取得ステップと、
前記標準のHDR(High Dynamic Range)映像を表示可能な表示装置が表示可能な第2HDR映像であって、前記標準のHDR映像よりも高品質な第2HDR映像の 輝度ダイナミックレンジの方式を示す表示方式を前記表示装置から取得する第2取得ステップと、
前記第1HDR 映像の輝度ダイナミックレンジの方式が前記表示方式と異なる場合、前記映像データを用いて、前記動的輝度特性であって、前記表示方式に対応する第1動的輝度特性を示す第1特性情報を生成する生成ステップと、
前記生成ステップにおいて生成された前記第1特性情報と、前記第1HDR映像とを前記表示装置へ出力する出力ステップと、を含む
映像処理方法。 - 映像処理システムにおける映像処理方法であって、
主映像を含む映像データを取得する第1取得ステップと、
表示装置が表示可能な輝度ダイナミックレンジの方式を示す表示方式を取得する第2取得ステップと、
前記映像データが示す映像の輝度ダイナミックレンジの方式が前記表示方式と異なる場合、前記映像データを用いて、映像の輝度特性の時系列の変化を示す動的輝度特性であって、前記表示方式に対応する第1動的輝度特性を示す第1特性情報を生成する生成ステップと、
前記生成ステップにおいて生成された前記第1特性情報を出力する出力ステップと、を含み、
前記生成ステップでは、前記映像データの前記主映像を解析することで、前記主映像の前記動的輝度特性を示す第2動的輝度特性を抽出し、抽出した前記第2動的輝度特性の輝度ダイナミックレンジの方式を、前記表示方式に変換することで、前記第1特性情報を生成する
映像処理方法。 - 映像処理システムにおける映像処理方法であって、
主映像を含む映像データを取得する第1取得ステップと、
表示装置が表示可能な輝度ダイナミックレンジの方式を示す表示方式を取得する第2取得ステップと、
前記映像データが示す映像の輝度ダイナミックレンジの方式が前記表示方式と異なる場合、前記映像データを用いて、映像の輝度特性の時系列の変化を示す動的輝度特性であって、前記表示方式に対応する第1動的輝度特性を示す第1特性情報を生成する生成ステップと、
前記生成ステップにおいて生成された前記第1特性情報を出力する出力ステップと、
前記主映像にグラフィックスを合成することで合成映像を生成する合成ステップと、
前記グラフィックスの輝度特性を抽出する抽出ステップと、を含み、
前記出力ステップでは、さらに、前記合成映像と、前記グラフィックスの輝度特性を示す第3特性情報とを出力する
映像処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762529727P | 2017-07-07 | 2017-07-07 | |
US62/529,727 | 2017-07-07 | ||
PCT/JP2018/006858 WO2019008818A1 (ja) | 2017-07-07 | 2018-02-26 | 映像処理システム及び映像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019008818A1 JPWO2019008818A1 (ja) | 2020-05-07 |
JP7117664B2 true JP7117664B2 (ja) | 2022-08-15 |
Family
ID=64950717
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018551487A Active JP7117664B2 (ja) | 2017-07-07 | 2018-02-26 | 映像処理システム及び映像処理方法 |
JP2018554518A Active JP7117558B2 (ja) | 2017-07-07 | 2018-02-26 | 映像表示装置及び映像表示方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018554518A Active JP7117558B2 (ja) | 2017-07-07 | 2018-02-26 | 映像表示装置及び映像表示方法 |
Country Status (5)
Country | Link |
---|---|
US (2) | US11049225B2 (ja) |
EP (2) | EP3651470A1 (ja) |
JP (2) | JP7117664B2 (ja) |
CN (2) | CN109691114B (ja) |
WO (2) | WO2019008818A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7117626B2 (ja) | 2017-06-21 | 2022-08-15 | パナソニックIpマネジメント株式会社 | 映像表示装置及び映像表示方法 |
US11049225B2 (en) * | 2017-07-07 | 2021-06-29 | Panasonic Intellectual Property Management Co., Ltd. | Video processing system and video processing method |
EP3654657B1 (en) | 2017-07-14 | 2021-11-24 | Panasonic Intellectual Property Management Co., Ltd. | Video display device and video display method |
JP7108880B2 (ja) * | 2017-10-06 | 2022-07-29 | パナソニックIpマネジメント株式会社 | 映像表示装置及び映像表示方法 |
EP3853810B1 (en) * | 2018-09-19 | 2023-10-25 | Dolby Laboratories Licensing Corporation | Automatic display management metadata generation for gaming and/or sdr+ contents |
CN113939798A (zh) * | 2019-06-13 | 2022-01-14 | 夏普Nec显示器解决方案株式会社 | 影像显示系统、信息处理装置、影像显示装置以及影像显示方法、程序 |
CN112702651B (zh) * | 2019-10-22 | 2023-03-31 | 中国移动通信有限公司研究院 | Hdr视频传输方法、装置、系统和计算机可读存储介质 |
US20220245773A1 (en) * | 2021-01-29 | 2022-08-04 | Bae Systems Information And Electronic Systems Integration Inc. | Burn-in removal from full motion video imagery for video exploitation |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014515202A (ja) | 2011-03-15 | 2014-06-26 | シリコン イメージ,インコーポレイテッド | 接続デバイスによる使用のためのマルチメディア・データストリームの変換 |
WO2016027423A1 (ja) | 2014-08-19 | 2016-02-25 | パナソニックIpマネジメント株式会社 | 伝送方法、再生方法及び再生装置 |
JP2016100039A (ja) | 2014-11-17 | 2016-05-30 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 記録媒体、再生方法、および再生装置 |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09224222A (ja) | 1996-02-19 | 1997-08-26 | Canon Inc | Tv信号伝達方式、tv信号伝達装置及びtv信号伝達システム |
CN100358348C (zh) * | 2002-11-29 | 2007-12-26 | 松下电器产业株式会社 | 图像重放装置及图像重放方法 |
US8218625B2 (en) | 2004-04-23 | 2012-07-10 | Dolby Laboratories Licensing Corporation | Encoding, decoding and representing high dynamic range images |
JP5123713B2 (ja) | 2008-04-04 | 2013-01-23 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
EP2144444B1 (en) | 2008-07-10 | 2012-06-27 | The University Of Warwick | HDR video data compression devices and methods |
JP5899120B2 (ja) | 2010-03-03 | 2016-04-06 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | カラーレジームを定義する装置及び方法 |
US9443491B2 (en) * | 2010-09-14 | 2016-09-13 | Nec Display Solutions, Ltd. | Information display device |
CN103891294B (zh) * | 2011-04-28 | 2017-09-01 | 皇家飞利浦有限公司 | 用于hdr图像编码和解码的装置与方法 |
EP2745290A1 (en) | 2011-09-27 | 2014-06-25 | Koninklijke Philips N.V. | Apparatus and method for dynamic range transforming of images |
EP2613532A1 (en) * | 2012-01-06 | 2013-07-10 | Thomson Licensing | Method of and device for encoding an HDR video together with an LDR video, method of and device for reconstructing one of an HDR video and an LDR video coded together and non-transitory storage medium |
US9654701B2 (en) * | 2013-01-25 | 2017-05-16 | Dolby Laboratories Licensing Corporation | Global display management based light modulation |
CN105324988B (zh) | 2013-06-24 | 2019-12-06 | 索尼公司 | 再现装置、再现方法以及记录介质 |
JP2015008360A (ja) * | 2013-06-24 | 2015-01-15 | ソニー株式会社 | 再生装置、再生方法、および記録媒体 |
JP2015008361A (ja) | 2013-06-24 | 2015-01-15 | ソニー株式会社 | 再生装置、再生方法、および記録媒体 |
JP6528683B2 (ja) | 2013-07-12 | 2019-06-12 | ソニー株式会社 | 再生装置、再生方法 |
CN105409225B (zh) * | 2013-07-19 | 2019-09-17 | 皇家飞利浦有限公司 | Hdr元数据传输 |
KR102198673B1 (ko) * | 2013-08-20 | 2021-01-05 | 소니 주식회사 | 재생 장치, 재생 방법 및 기록 매체 |
JP6459969B2 (ja) * | 2013-09-27 | 2019-01-30 | ソニー株式会社 | 再生装置、再生方法 |
US9230338B2 (en) * | 2014-03-05 | 2016-01-05 | Dolby Laboratories Licensing Corporation | Graphics blending for high dynamic range video |
JP5948619B2 (ja) * | 2014-06-10 | 2016-07-06 | パナソニックIpマネジメント株式会社 | 表示システム、表示方法および表示装置 |
CN110708439A (zh) | 2014-06-26 | 2020-01-17 | 松下知识产权经营株式会社 | 显示装置及数据输出方法 |
JP6421504B2 (ja) | 2014-07-28 | 2018-11-14 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
JP2016058848A (ja) | 2014-09-08 | 2016-04-21 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
CN111212251B (zh) * | 2014-09-10 | 2022-05-27 | 松下电器(美国)知识产权公司 | 再现装置以及再现方法 |
WO2016074999A1 (en) * | 2014-11-10 | 2016-05-19 | Koninklijke Philips N.V. | Method for encoding, video processor, method for decoding, video decoder |
US10885614B2 (en) * | 2015-08-19 | 2021-01-05 | Samsung Electronics Co., Ltd. | Electronic device performing image conversion, and method thereof |
WO2017053852A1 (en) | 2015-09-23 | 2017-03-30 | Arris Enterprises Llc | System for reshaping and coding high dynamic range and wide color gamut sequences |
US10176561B2 (en) * | 2017-01-27 | 2019-01-08 | Microsoft Technology Licensing, Llc | Content-adaptive adjustments to tone mapping operations for high dynamic range content |
US10104334B2 (en) * | 2017-01-27 | 2018-10-16 | Microsoft Technology Licensing, Llc | Content-adaptive adjustment of display device brightness levels when rendering high dynamic range content |
US11049225B2 (en) * | 2017-07-07 | 2021-06-29 | Panasonic Intellectual Property Management Co., Ltd. | Video processing system and video processing method |
US10504263B2 (en) * | 2017-08-01 | 2019-12-10 | Samsung Electronics Co., Ltd. | Adaptive high dynamic range (HDR) tone mapping with overlay indication |
-
2018
- 2018-02-26 US US16/333,507 patent/US11049225B2/en active Active
- 2018-02-26 CN CN201880003470.XA patent/CN109691114B/zh active Active
- 2018-02-26 US US16/333,491 patent/US10984510B2/en active Active
- 2018-02-26 JP JP2018551487A patent/JP7117664B2/ja active Active
- 2018-02-26 EP EP18828271.9A patent/EP3651470A1/en active Pending
- 2018-02-26 CN CN201880003481.8A patent/CN109691117B/zh active Active
- 2018-02-26 WO PCT/JP2018/006858 patent/WO2019008818A1/ja unknown
- 2018-02-26 EP EP18828821.1A patent/EP3651471A1/en active Pending
- 2018-02-26 JP JP2018554518A patent/JP7117558B2/ja active Active
- 2018-02-26 WO PCT/JP2018/006859 patent/WO2019008819A1/ja unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014515202A (ja) | 2011-03-15 | 2014-06-26 | シリコン イメージ,インコーポレイテッド | 接続デバイスによる使用のためのマルチメディア・データストリームの変換 |
WO2016027423A1 (ja) | 2014-08-19 | 2016-02-25 | パナソニックIpマネジメント株式会社 | 伝送方法、再生方法及び再生装置 |
JP2016100039A (ja) | 2014-11-17 | 2016-05-30 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 記録媒体、再生方法、および再生装置 |
Non-Patent Citations (1)
Title |
---|
折原一也(外2名),IFA2015速報レポート!,AV REVIEW 10月号,日本,株式会社音元出版,2015年10月25日,第32巻, 第10号,p.8-10 |
Also Published As
Publication number | Publication date |
---|---|
CN109691114A (zh) | 2019-04-26 |
EP3651470A4 (en) | 2020-05-13 |
WO2019008819A1 (ja) | 2019-01-10 |
EP3651471A4 (en) | 2020-05-13 |
US11049225B2 (en) | 2021-06-29 |
CN109691114B (zh) | 2021-12-17 |
CN109691117B (zh) | 2022-05-27 |
EP3651471A1 (en) | 2020-05-13 |
CN109691117A (zh) | 2019-04-26 |
US10984510B2 (en) | 2021-04-20 |
JPWO2019008819A1 (ja) | 2020-05-07 |
WO2019008818A1 (ja) | 2019-01-10 |
EP3651470A1 (en) | 2020-05-13 |
JPWO2019008818A1 (ja) | 2020-05-07 |
JP7117558B2 (ja) | 2022-08-15 |
US20190259355A1 (en) | 2019-08-22 |
US20190251680A1 (en) | 2019-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7117664B2 (ja) | 映像処理システム及び映像処理方法 | |
JP6558599B2 (ja) | 再生装置、再生方法、及び、コンピュータプログラム | |
JP6478064B2 (ja) | 変換方法および変換装置 | |
CN109891902B (zh) | 影像显示系统及影像显示方法 | |
JP7117626B2 (ja) | 映像表示装置及び映像表示方法 | |
US11039045B2 (en) | Video display system and video display method | |
JP6731627B2 (ja) | 再生装置で実行される方法、及び再生装置 | |
JP6868797B2 (ja) | 変換方法及び変換装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180928 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220614 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220628 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7117664 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |