JP6419807B2 - Hdrメタデータ転送 - Google Patents

Hdrメタデータ転送 Download PDF

Info

Publication number
JP6419807B2
JP6419807B2 JP2016526662A JP2016526662A JP6419807B2 JP 6419807 B2 JP6419807 B2 JP 6419807B2 JP 2016526662 A JP2016526662 A JP 2016526662A JP 2016526662 A JP2016526662 A JP 2016526662A JP 6419807 B2 JP6419807 B2 JP 6419807B2
Authority
JP
Japan
Prior art keywords
video
stream
processing
extended
basic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016526662A
Other languages
English (en)
Other versions
JP2016528800A (ja
JP2016528800A5 (ja
Inventor
ハーン ウィーブ デ
ハーン ウィーブ デ
チャールズ レオナルダス コルネリウス マリア ニベラー
チャールズ レオナルダス コルネリウス マリア ニベラー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2016528800A publication Critical patent/JP2016528800A/ja
Publication of JP2016528800A5 publication Critical patent/JP2016528800A5/ja
Application granted granted Critical
Publication of JP6419807B2 publication Critical patent/JP6419807B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327Table of contents
    • G11B27/329Table of contents on a disc [VTOC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00Colour television systems
    • H04N11/24High-definition television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H04N21/2358Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages for generating different versions, e.g. for different recipient devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • H04N21/42646Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/87Regeneration of colour television signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、ハイダイナミックレンジイメージ又は映像の配信を可能にするための、装置及び方法及びデータストレージ又は送信製品又はフォーマットされた符号化信号などの最終製品に関する。装置は、フォーマット信号を最初に供給する映像処理装置、及び、フォーマットされた映像信号を受信する映像再生器を含む。フォーマット信号は、ネットワーク、又は、光ディスク又はメモリスティックなどのストレージ媒体を介してブロードキャストされ、転送され得る。映像再生器は、例えば、Blu-ray(登録商標)光ディスク再生器、ブロードキャスト信号を受信するTV装置又はセットトップボックス、ネットワークを介してサーバからデータを受信するコンピュータ又は携帯装置を含む。
近年、イメージキャプチャ、ディスプレイ、及び、特に、符号化は、(PAL又はMPEG2などのよく知られている古典的且つ標準的なシステムなどのために使用される)いわゆるローダイナミックレンジ(LDR:Low Dynamic Range)イメージングから、いわゆるハイダイナミックレンジ(HDR:High Dynamic Range)イメージングに改善されている。照度は、本来、日光において100000ルクス、一般的なオフィス又は部屋の照度で約500ルクス、また、半月の月明かりの下では0.05ルクスである。世界における輝度(L)は、例えば、日光の1億ニットから、ランプの10000ニット、日光の下での物体(ビル、雲の縁、又は、白色の紙など)に関しては数千(数万)ニット、(どんよりとした)曇空又は屋内の下の物体に関しては数百ニット又は数十ニット、月明かりの下の白色の紙については0.1ニットまでの範囲である。これは、必ずしも、これらの輝度をディスプレイ上で全く同一の態様でレンダリングすべきであるということを意味せず、むしろ、画像は、芸術的に良好に見えるべきであり、少なくとも、ディスプレイスクリーン上でレンダリングされる場合に、物体の局所的な輝度に関し、概ね同様の外観上差異であるべきということを意味している。
画像品質の更なる拡張が、通常LDRシステムと称される、古典的な標準映像に比して、色空間を拡張することによって達成され得る。本文書において議論される拡張範囲映像は、拡張された輝度範囲、拡張された色空間、又は、拡張された輝度範囲と拡張された色空間との組み合わせを持ち、HDR映像と称される。
特定のディスプレイ上でのレンダリングのためのトーンマッピングが、キャプチャリング又はコーディングから分離した現在存在している多くのディスプレイとともにあり、3つのリンクした表現につながることが理解されるべきである。概して、ディスプレイ上で、隣接した明るいランプと区別できるように明るい白色の壁などをレンダリングできるHDRイメージングの要件は、各ピクセルが、異なるルマ(Y)値で符号化されることである。センサ又はカメラが、世界における多くの異なる輝度及び/又は色のほとんどを(より大きな深さ、異なって露出された画像などであろうと)忠実にキャプチャできるほど、より強力になってきており、単純化のため、本来の色表現が[Lmin, Lmax]の色情報の範囲内の線形輝度符号化であると考えるべきである。このため、送信コーデックに関し、(勿論、例えば、局所的に明るくするなどの符号化された情報の後での処理可能性、又は、データ圧縮関連などの所望の要件に従って)全く任意に特定された定義を用いることができる。最後に、この符号化されたデータ(Y_C1C2又は同様のもの)は、レンダリング側表現に、多くの態様で再変換可能であり、単純化のために、LCDピクセル色などに関する駆動値と同等とみなすことができる。新たなディスプレイは、より多くのレンダリング可能なダイナミックレンジを持つことができ、結果、より明るい領域を最初にレンダリングし、次に、同時又は連続的に、より暗い領域をレンダリングできる。上記の拡張範囲は、最適にレンダリングされた出力色で、レンダリング可能な色域に沿って、全てのこれらの様々な輝度物体を配置することを可能にする。また、利用可能な色空間が、拡張され得る。
Blu-ray(登録商標)ディスク及び再生器が、2006年、市場に展開され、そのときから、PlayStation 3(登録商標)ゲームコンソールを含む数百万台の再生器が販売されてきた。Blu-rayディスク(BD)は、約2時間の再生時間及び追加コンテンツ(ボーナスマテリアル)を有する2D又は3D特徴の映画を主に含む。これらのディスクにおける映像コンテンツは、http://www.itu.int/dms_pubrec/itu-r/rec/bt/R-REC-BT.709-5-200204-I!!PDF-E.pdfから利用可能な、ITU−R推奨BT.709「Parameter values for the HDTV standards for production and international programme exchange」において定義された、比較的低い輝度レベル及び色マトリクスのために、カラーグレーディングされている。
近年、ブロードキャスト及びコンテンツ業界は、フルHD解像度から2倍の水平垂直解像度(3840x2160)への移行に対して多くの興味を示している。このクアッドフルHD(QFHD)解像度は、しばしば4Kと称される。解像度の増加に加えて、より高いフレームレート(48Hz、60Hz)、色コンポーネントの符号化のためのより高いビットデプス、より高いダイナミックレンジ、及び、より広い色域への移行が望まれている。また、より高い品質の映像特性は、しばしば、ウルトラHDと称される。これらについては、http://www.itu.int/dms_pubrec/itu-r/rec/bt/R-REC-BT.2020-0-201208-I!!PDF-E.pdfから利用可能なITU−R勧告BT.2020を参照。一方、(ITU−T H.265、又は、MPEG−H パート2としても知られている)HEVCとして総称される新たなコーデックが、ITU−TとMPEGとの共同努力により開発されており、これは、一般的に、AVCの約2倍効率的であると考えられている。
上述の、より高い輝度レベル及び/又はより広い色域を有するディスプレイ装置が、市場に登場しつつある。標準化されていない輝度レベルは、例えば、200ニットから1000ニット以上までの任意のレベルであってもよい。既存のBlu-rayコンテンツは、より低い輝度のためにグレーディングされ、より高い輝度を利用するために、HDRディスプレイは、コンテンツの輝度を伸長するために、幾つかのアルゴリズムを適用することがある。この結果は、創造的な観点からは理想ではないことがある。より高い輝度へ伸長する場合に創造的意図を考慮にいれる1つの方法は、再生器(又はディスプレイ)に、どのように伸長を行なうかを知らせるために、コンテンツに情報を含ませることである。この伸長は、再生中、(シーン毎に変わるなど)変化し得る。又は、空間的に適合されてもよい。また、当該伸長は、映像と重畳されているグラフィック(例えば、字幕及びメニュー)とで異なっていてもよい。この情報がどのようなものであるかの例が、国際公開第2013/046095号において述べられており、当該文書は、画像のダイナミックレンジ変換のためのシステムについて述べている。ダイナミックレンジ変換、即ち、変換処理スケジュールが、ターゲットのHDRディスプレイに関して、LDR映像とHDR映像との間で、符号化された映像を変換するために議論されている。ターゲットディスプレイ基準は、出力画像信号に含まれていてもよい。また、国際公開第2012/147022号は、HDR映像とLDR映像との間のマッピングについて述べており、当該マッピングは、予め定義されたマッピングアルゴリズムデータにより定義されてもよい。映像又はグラフィック又はその両方の処理を最適化するために、この情報をどのように使用するかについての更なる他の例が、提供されている。
以上より、HDR映像の生成、及び、HDR映像とLDR映像との間の変換を表している映像処理メタデータに従ったHDR映像とLDR映像との間の変換が知られている。しかしながら、コンテンツ作成者にとっての相当な問題は、多くのユーザが、HDRマテリアルによって供給される拡張された輝度及び色範囲を扱えない未だに伝統的(レガシー)な設備を持っているということである。
国際公開第2012/021705号は、少なくとも2つのバージョンのコンテンツ配信システム及び方法を開示している。転送信号は、コンテンツの第1のバージョン、コンテンツの第1のバージョンと第2のバージョンとの間の差異を表す差異データ、及び、マスターバージョンに対する第1及び第2のバージョンに関する転送機能から抽出されるメタデータを持つ。
欧州特許第1708485号明細書は、ディスプレイ装置(TV受信器)と処理装置(光ディスク再生器)との間の映像データのための転送フォーマットを開示している。ディスプレイ装置は、表示可能な信号を定義する受信特性(EDID信号)を供給する。処理装置は、対応するコンテンツのバージョン(SD又はHD)を生成する。
本発明の目的は、拡張範囲映像装置及び標準映像装置に対して利用可能な装置に映像を転送するための映像分配システムを提供することである。
上記目的のために、本発明の第1の態様によれば、標準化された転送フォーマットに従った転送のためにフォーマットされた映像信号を供給する方法であって、前記標準化された転送フォーマットは、選択可能な基本ストリーム、及び、前記標準化された転送フォーマットに従った共通構造を持ち、前記基本ストリームの選択された組み合わせにおいてレンダリングされるオーディオビジュアルコンテンツを表す基本ストリームを示すエントリを持つストリーム情報を規定しており、各基本ストリームは、映像コンテンツ、オーディオコンテンツ、グラフィックコンテンツのいずれかを表しており、前記フォーマットされた映像信号は、輝度及び/又は色の標準範囲を持つ標準映像に対し、輝度及び/又は色の拡張範囲を持つ拡張映像を表しており、前記標準範囲は、前記標準化された転送フォーマットにおいて規定されており、前記方法は、前記標準映像と前記拡張映像との間の変換を表す映像処理メタデータを供給するために、入力映像を処理するとともに、前記標準映像を表す一次映像基本ストリームを生成するステップ、又は、前記拡張映像と前記標準映像との間の変換を表す映像処理メタデータを供給するために、入力映像を処理するとともに、前記拡張映像を表す一次映像基本ストリームを生成するステップを有し、前記方法は、更に、前記共通構造を持つがオーディオビジュアルコンテンツを有さず、前記選択された組み合わせをレンダリングする際の変換のための前記映像処理メタデータを有する映像処理基本ストリームを生成するステップと、前記一次映像基本ストリームを示すエントリ及び前記映像処理基本ストリームを示すエントリを少なくとも有する拡張ストリーム情報を生成するステップと、前記一次映像基本ストリーム、前記映像処理基本ストリーム、及び、前記拡張ストリーム情報を有する前記フォーマットされた映像信号を生成するステップと、を有する、方法が提供される。
本発明の他の態様によれば、標準化された転送フォーマットに従った転送のためにフォーマットされた映像信号を供給するための映像処理装置であって、前記標準化された転送フォーマットは、選択可能な基本ストリーム、及び、前記標準化された転送フォーマットに従った共通構造を持ち、前記基本ストリームの選択された組み合わせにおいてレンダリングされるオーディオビジュアルコンテンツを表す基本ストリームを示すエントリを持つストリーム情報を規定しており、各基本ストリームは、映像コンテンツ、オーディオコンテンツ、グラフィックコンテンツのいずれかを表しており、前記フォーマットされた映像信号は、標準範囲を持つ標準映像コンテンツに対し、輝度及び/又は色の拡張範囲を持つ拡張映像を表しており、前記標準範囲は、前記標準化された転送フォーマットにおいて規定されており、前記処理装置は、入力映像を処理するための映像処理ユニットと、前記フォーマットされた映像信号を生成するためのフォーマットユニットと、を有し、前記映像処理ユニット及び前記フォーマットユニットは、前記標準映像と前記拡張映像との間の変換を表す映像処理メタデータを供給するために、入力映像を処理するとともに、前記標準映像を表す一次映像基本ストリームを生成する、又は、前記拡張映像と前記標準映像との間の変換を表す映像処理メタデータを供給するために、入力映像を処理するとともに、前記拡張映像を表す一次映像基本ストリームを生成する、ように構成されており、前記フォーマットユニットは、更に、前記共通構造を持つがオーディオビジュアルコンテンツを有さず、前記選択された組み合わせをレンダリングする際の変換のための前記映像処理メタデータを有する映像処理基本ストリームを生成し、前記一次映像基本ストリームを示すエントリ及び前記映像処理基本ストリームを示すエントリを少なくとも有する拡張ストリーム情報を生成し、前記一次映像基本ストリーム、前記映像処理基本ストリーム、及び、前記拡張ストリーム情報を有する前記フォーマットされた映像信号を生成する、ように構成されている、映像処理装置が提供される。
本発明の更に他の態様によれば、標準化された転送フォーマットに従ってフォーマットされた映像信号を処理するための映像再生器であって、前記標準化された転送フォーマットは、選択可能な基本ストリーム、及び、前記標準化された転送フォーマットに従った共通構造を持ち、前記基本ストリームの選択された組み合わせにおいてレンダリングされるオーディオビジュアルコンテンツを表す基本ストリームを示すエントリを持つストリーム情報を規定しており、各基本ストリームは、映像コンテンツ、オーディオコンテンツ、グラフィックコンテンツのいずれかを表しており、前記フォーマットされた映像信号は、標準範囲を持つ標準映像コンテンツに対し、輝度及び/又は色の拡張範囲を持つ拡張映像を表しており、前記標準範囲は、前記標準化された転送フォーマットにおいて規定されており、前記フォーマットされた映像信号は、前記共通構造を持つがオーディオビジュアルコンテンツを有さず、前記選択された組み合わせをレンダリングする際の変換のための前記映像処理メタデータを有する映像処理基本ストリームと、前記標準映像を表す一次映像基本ストリーム、及び、前記標準映像と前記拡張映像との間の変換を表す前記映像処理メタデータ、あるいは、前記拡張映像を表す一次映像基本ストリーム、及び、前記拡張映像と前記標準映像との間の変換を表す前記映像処理メタデータ、を有し、前記フォーマットされた映像信号は、更に、前記一次映像基本ストリームを示すエントリと、前記映像処理基本ストリームを示すエントリとを少なくとも有する拡張ストリーム情報を有し、前記再生器は、前記フォーマットされた映像信号を受信し、前記拡張ストリーム情報及び前記映像処理メタデータを抽出するための入力ユニットと、映像処理基本ストリームを示す前記拡張ストリーム情報エントリに依存して、前記拡張ストリーム情報を処理し、前記映像処理メタデータに従って前記一次映像を処理することによって、前記一次映像基本ストリームから、ターゲットディスプレイ装置の輝度及び/又は色レンダリング性能に適合したターゲット映像に、一次映像を変換するための処理ユニットと、を有する、映像再生器が提供される。
本発明の更に他の態様によれば、標準化された転送フォーマットに従って転送するためのフォーマットされた映像信号であって、前記標準化された転送フォーマットは、選択可能な基本ストリーム、及び、前記標準化された転送フォーマットに従った共通構造を持ち、前記基本ストリームの選択された組み合わせにおいてレンダリングされるオーディオビジュアルコンテンツを表す基本ストリームを示すエントリを持つストリーム情報を規定しており、各基本ストリームは、映像コンテンツ、オーディオコンテンツ、グラフィックコンテンツのいずれかを表しており、前記フォーマットされた映像信号は、標準範囲を持つ標準映像コンテンツに対し、輝度及び/又は色の拡張範囲を持つ拡張映像を表しており、前記標準範囲は、前記標準化された転送フォーマットにおいて規定されており、前記フォーマットされた映像信号は、前記共通構造を持つがオーディオビジュアルコンテンツを有さず、前記選択された組み合わせをレンダリングする際の変換のための前記映像処理メタデータを有する映像処理基本ストリームと、前記標準映像を表す一次映像基本ストリーム、及び、前記標準映像と前記拡張映像との間の変換を表す前記映像処理メタデータ、あるいは、前記拡張映像を表す一次映像基本ストリーム、及び、前記拡張映像と前記標準映像との間の変換を表す前記映像処理メタデータ、を有し、前記フォーマットされた映像信号は、更に、前記一次映像基本ストリームを示すエントリと、前記映像処理基本ストリームを示すエントリとを少なくとも有する拡張ストリーム情報を有する、フォーマットされた映像信号が提供される。
上記特徴は、フォーマットされた映像信号が、MPEGビデオなどの標準化された転送フォーマットに従っており、光ディスク、ブロードキャスト、及び/又は、インターネットなどの既存の分配チャネルを介して転送可能であるという効果を有する。
標準化された転送フォーマットは、フォーマットされた映像信号のコンテンツを示すストリーム情報を定義する。当該ストリーム情報は、例えば、Blu-rayディスク上のプレイリスト情報、又は、ダウンロード用の別ファイル、又は、ブロードキャスト用の複数のストリームに含まれるプログラム情報などの、選択可能な基本ストリームを示すエントリを有する。
標準化されたフォーマットは、選択された基本ストリームの組み合わせによってレンダリングされるオーディオビジュアルコンテンツを表す基本ストリームを更に定義する。このように、基本ストリームは、例えば、MPEG及びBlu-rayディスクから知られている。基本ストリームは、オーディオ、ビデオ、又は、グラフィックなどの一種類のデータのみを含む一方、各基本ストリームは、標準化された転送フォーマットに従った共通構造を有し、例えば、当該構造は、標準化されたコンテンツを持つデータパケット及びヘッダを定義している。基本ストリームにおけるデータは、コーデック、及び、ストリームにおいて伝達されるデータのタイプに依存している。基本ストリームは、パケット化されていてもよく、複数の基本ストリームの相互の同期化を可能とするための時間情報を含むか、かかる時間情報と関連付けられていてもよく、例えば、データは、パケット化され、パケットヘッダは、パケットペイロードにおけるフレーム開始コードとリンク付けされたタイムスタンプを含む。また、映像処理基本ストリームは、上記の共通構造を有し、選択された組み合わせをレンダリングする際の変換のためである、即ち、レンダリングの間、他の基本ストリームとの変換処理を決定するために使用される。
フォーマット信号を供給する方法又はえいぞう処理装置、転送されるフォーマット信号、及び、ターゲット映像を供給するためのフォーマット信号を処理する映像再生器は、標準範囲映像及び拡張範囲映像を転送するための映像分配システムを共に構成する。拡張ストリーム情報は、上記エントリを介して、受信側に、映像処理基本ストリームが存在しているかどうかを知らせる。例えば、当該エントリは、上記存在を示すビットフラグ、映像処理基本ストリームを示すストリーム識別子を含むストリームのリスト、利用可能な映像処理基本ストリームの数を含むフォーマットされたフィールドなどである。フォーマット信号において、映像処理基本ストリーム及び拡張ストリーム情報を供給することによって、映像再生器は、一次映像を直接用いるか、又は、映像処理メタデータを用いた一次映像を変換することによって、一次映像基本ストリームにおける一次映像のLDRなどの標準バージョンとHDRなどの拡張バージョンとを選択的にレンダリングすることが可能となる。レンダリング側において、一次映像基本ストリームからの一次映像は、映像処理メタデータを、ディスプレイと通信することにより、既知であるか、予め設定されるか、又は、決定される、ターゲットディスプレイ装置の輝度及び/又は色レンダリング能力に適合したターゲット映像に適用することにより変換される。ユーザは、変換の必要レベルを設定又は選択することが可能であってもよい。
拡張映像を表すフォーマットされた映像信号は、例えば、光ディスク、ブロードキャスト信号、又は、インターネットなどの媒体を介して、光ディスク再生器、又は、TVセット、又は、セットトップボックスなどの映像再生器に転送されてもよい。拡張フォーマット信号は、後方互換可能であるように、既知の各転送フォーマットに従って構造化されていてもよい。さらに、拡張フォーマット信号は、既知の信号コンポーネントと同様のコンポーネントを有していてもよい。例えば、Blu-ray光ディスク上で、伝統的なプレイリストは、ディスク上のファイルにおいて供給され、拡張ストリーム情報は、同様に供給され得る。このため、そのような場合では、拡張ストリーム情報は、基本ストリームを含む転送ストリームとは別のファイルである。しかしながら、ブロードキャストのために、どの基本ストリームがどの情報を含むのかを示すための異なるタイプのストリーム情報がある。ブロードキャストフォーマットのための当該ストリーム情報は、http://en.wikipedia.org/wiki/Program-specific_informationで更に詳述されるように、通常、プログラム固有情報(PSI:Program Specific Information)と称される。本開示において、拡張ストリーム情報は、拡張された光ディスクタイププレイリスト、及び、拡張されたブロードキャストプログラム固有情報などの、使用される転送フォーマットの要件に従って、フォーマットされる。実際、拡張されたPSIが、転送ストリームに含まれる一方、BD拡張プレイリストは、別個のファイルである。
一次映像に存在する輝度又は色の第1の範囲とディスプレイに必要とされる輝度又は色の任意の第2の範囲との間の任意の変換は、各映像処理メタデータに基づいて実行され得ることに留意すべきである。映像処理メタデータは、変換のタイプを示すインジケータを有していてもよい。例えば、映像処理メタデータは、一次ストリームがLDR映像を含む場合、一次LDR映像をHDR映像に変換するためのものであってもよく、一次ストリームがHDR映像を含む場合、一次HDR映像をLDR映像に変化するためのものであってもよい。また、例えば、中程度の輝度レベル、高い輝度レベル、又は、極めて高い輝度レベルを持つディスプレイ、あるいは、様々な色域のためのディスプレイのために、変換の様々なレベルが、映像処理メタデータに埋め込まれていてもよい。従って、一次映像は、アップコンバートされるLDR映像であってもよく、又は、輝度範囲に適合するための各補正スキームを有する映像処理メタデータに基づいて、LDR映像にダウンコンバートされ得る何らかのタイプのHDR映像であってもよい。一次映像は、中レベルのHDRのディスプレイ用に構成された拡張映像を含んでいてもよい。一方、映像処理メタデータは、LDR映像へのダウンコンバート、あるいは、より高いレベルのHDRディスプレイへのアップコンバートのための指示を供給する。最後に、レンダリング側で、一次映像の適切な変換を選択できるようにするために、複数の映像処理基本ストリームが、フォーマット信号に含まれていてもよいことに留意すべきである。
本発明は、以下の認識にも基づいている。転送される映像処理メタデータは、拡張映像と標準映像との間(又は、その逆)の変換スキームを表し、このため、再生され得るオーディオビジュアルデータでない。反対に、映像処理メタデータは、様々な基本ストリームにおいて供給される映像コンテンツデータに適用される処理スケジュールを含む。標準化された転送フォーマットに従って、任意の基本ストリームが、伝統的に、ビジュアルコンテンツ、オーディオコンテンツ、又は、グラフィックコンテンツを伝達しており、かかるコンテンツは、ストリーム情報(例えば、様々な言語でオーディオトラックと結合された一次映像、又は、BDプレイリストに基づいて選択されたグラフィカルメニューオーバーレイ)に基づいて、選択された組み合わせでレンダリングされ得ることに留意すべきである。本発明者は、新たなタイプの基本ストリームが、代替的に、映像処理メタデータを伝達するために使用され、このため、映像処理基本ストリームが、標準化された転送フォーマットにおいて伝統的に定義されるようにオーディオビジュアルコンテンツを有さないが、処理命令を代わりに含むことを認識している。
映像処理基本ストリームは、単一の媒体を介して転送される単一の多目的信号を構成するため、他の基本ストリームと重畳されてもよい。処理メタデータを転送するための他の基本ストリームを用いた信号のために、当該信号は、標準化された転送フォーマットのために定義された送信要件をなお満たしているが、新たなタイプの基本ストリームが追加されている。例えば、拡張されたプログラム固有情報(PSI)などの拡張ストリーム情報のため、新たな映像再生器は、映像処理メタデータを取得するために、映像処理基本ストリームを選択することができる。一方、古典的なレガシー再生器は、他の基本ストリームを見ることができるが、当該ストリームの選択又はレンダリングはできず、供給される一次映像のみを再生するであろう。次に議論されるようなケースにおいて、拡張映像基本ストリーム及び/又は標準映像基本ストリームのみが述べられるが、常に、他の基本ストリームが、オーディオ基本ストリーム、及び/又は、テキストベースストリーム、又は、ビットマップグラフィックストリームなどの映像処理ストリームを具備するフォーマット信号に含まれ得ることに留意すべきである。
好適には、映像処理基本ストリームは、例えば、異なるチャネルを介して、別個に分配されてもよいし、当該チャネル上で標準化された転送フォーマットを使用して、分配されてもよい。これは、かかるフォーマットが、基本的には、少なくとも1つの基本ストリームに基づいて、自律的オーディオビジュアルフォーマット信号を定義しているためである。
さらに、拡張ストリーム情報が、映像処理基本ストリームを示すエントリを有することに留意すべきである。当該エントリは、映像処理基本ストリームの利用可能性、即ち、基本ストリームが、フォーマット信号において存在していることを示すことを可能にする。例えば、光ディスクが、一次映像基本ストリームとともに供給されてもよく、プレイリストが、拡張ストリーム情報及び映像処理基本ストリームを含む。ここで、エントリは、利用可能な映像処理基本ストリームを示す。あるいは、光ディスクは、映像処理基本ストリームを有さないが、一次映像基本ストリーム及び拡張ストリーム情報を有していてもよく、このとき、拡張ストリーム情報における上記エントリは、ゼロ個の映像処理基本ストリームが存在していることを示す。次いで、フォーマット信号の一部が、例えば、サーバからのダウンロードにより、別個に転送されてもよい。当該部分は、更新された拡張ストリーム情報と少なくとも1つの映像処理基本ストリームとの両方を含んでいる。更新された拡張ストリーム情報において、映像処理基本ストリームの存在が示される。好適には、柔軟な分配システムが供給される。
オプションで、映像処理基本ストリームにおける映像処理メタデータは、映像処理基本ストリームにおける映像処理セグメントの数を示すフィールドを有する。好適には、この数は、映像処理メタデータの構造を更に定義する。映像処理基本ストリームにおける映像処理メタデータは、少なくとも1つのプレゼンテーションタイムスタンプ及びセグメント記述子を含む映像処理セグメントを有していてもよい。好適には、プレゼンテーションタイムスタンプは、映像処理メタデータを同期化することを可能にし、セグメント記述子において更に定義される。映像処理基本ストリームにおける映像処理メタデータは、複数の異なるプロセス記述子を含む拡張範囲情報フィールドを有していてもよく、各プロセス記述子は、各データタイプのための変換を定義しており、データタイプは、映像、及び、グラフィックと字幕との少なくとも1つを有している。好適には、別個のプロセス記述子が、各データタイプのための処理を定義するために、供給される。
オプションで、フォーマットされた映像信号は、一次映像基本ストリーム及び映像処理基本ストリームを含む転送ストリームを有する。光読み取り可能なマークのトラックを有する記録媒体上で、当該マークは、拡張ストリーム情報、及び、映像処理基本ストリームを含む転送ストリームを表していてもよい。映像再生器において、入力ユニットが、転送ストリームを受信するとともに、転送ストリームから、一次映像基本ストリーム及び映像処理基本ストリームを抽出するように構成されてもよい。これは、映像処理基本ストリームが、一次映像基本ストリームと同じ転送ストリームにおいて重畳されるという効果を有する。さらに、映像再生器において、入力ユニットが、光記録媒体を読み取り、転送ストリームを抽出するための光ディスクユニットを有していてもよい。映像再生器は、単一の重畳された転送ストリームから抽出される基本ストリームデータに基づいて、接続されたディスプレイにそれぞれ要求されるような標準映像と拡張映像との両方をレンダリングすることができる。
オプションで、フォーマットされた映像信号は、ブロードキャスト信号であり、転送ストリームは、プログラム固有情報の形式で、拡張ストリーム情報を有する。好適には、例えば、セットトップボックス又はTVセットなどの形式の映像再生器が、単一の転送ストリームから、PSIと映像処理基本ストリームとの両方を抽出できるように、全ての拡張範囲情報は、転送ストリームに含まれる。
オプションで、フォーマットされた映像信号は、一次映像基本ストリームを含む第1の転送ストリームと、映像処理基本ストリームを含む第2の転送ストリームとを有する。光読み取り可能なマークのトラックを有する記録媒体上で、当該マークは、拡張ストリーム情報と、一次映像基本ストリームを含む第1の転送ストリームと、映像処理基本ストリームを含む第2の転送ストリームとを表していてもよい。映像再生器において、入力ユニットが、第1及び第2の転送ストリームを受信するとともに、第1転送ストリームから、一次映像基本ストリームを抽出し、第2の転送ストリームから、映像処理基本ストリームを抽出するように構成されてもよい。これは、映像処理基本ストリームが、一次映像基本ストリームと異なる転送ストリームにおいて重畳されるという効果を有する。両転送ストリームは、拡張ストリーム情報との組み合わせで、BDなどの単一のストレージ媒体に埋め込まれてもよい。さらに、映像再生器において、入力ユニットが、光記録媒体を読み取り、第1及び第2の転送ストリームを抽出するための光ディスクユニットを有していてもよい。映像再生器は、第1及び第2の転送ストリームの両方から抽出される基本ストリームデータに基づいて、接続されたディスプレイに要求されるようなHDR映像又はLDR映像をレンダリングすることができる。
オプションで、フォーマット信号の第1の部分は、ブロードキャストシステム又はストレージ媒体などの媒体を介して転送されてもよく、第2の部分は、ネットワークを介して転送されてもよい。第1の部分は、第1の転送ストリームにおいて、一次映像基本ストリームを有し、第2の部分は、拡張ストリーム情報を有するとともに、第2の転送ストリームにおいて、映像処理基本ストリームを有する。
オプションで、記録媒体は、光読み取り可能なマークのトラックを有する記録媒体であって、前記マークは、上述の、前記一次映像基本ストリーム及び前記映像処理基本ストリームを含む前記拡張ストリーム情報及び前記転送ストリームを表し、又は、上述の、前記拡張ストリーム情報、前記一次映像基本ストリームを含む前記第1の転送ストリーム、及び、前記映像処理基本ストリームを含む前記第2の転送ストリームを表し、又は、上述の、前記拡張ストリーム情報及び前記第1の転送ストリームを表すが、前記第2の転送ストリームを表さない、記録媒体として供給される。
オプションで、拡張ストリーム情報におけるエントリは、映像処理基本ストリームの数を示していてもよく、この数は、ゼロ以上の整数である。好適には、拡張ストリーム情報は、上記の数がゼロである場合、映像処理基本ストリームを有さず、一次映像処理基本ストリームのみを有するフォーマット信号において使用可能である。また、複数の映像処理基本ストリームは、上記数が複数であることを示す一方、フォーマット信号に含まれてもよい。好適には、標準化されたフォーマット信号に対する多目的な拡張が、かかるエントリにより供給される。
オプションで、映像再生器において、入力ユニットが、光記録媒体を読み取り、拡張ストリーム情報、及び、一次映像処理基本ストリームを有する転送ストリームを抽出するための光ディスクユニットを有していてもよい。記録媒体は、拡張ストリーム情報、及び、第1の転送ストリームを有していてもよいが、第2の転送ストリームを有さない。
オプションで、映像再生器において、入力ユニットは、サーバからローカルストレージに、映像処理基本ストリーム及び拡張ストリーム情報をダウンロードするためのネットワークインタフェースを有していてもよい。さらに、処理ユニットが、先に受信したストリーム情報を拡張ストリーム情報で置き換えるように構成されていてもよい。好適には、LDRのための固定グレーディングを持つ一次映像処理基本ストリームを供給するデータ媒体から利用可能なプレイリストなどのストリーム情報の先のバージョンは、ダウンロードされてローカルストレージから利用可能な拡張ストリーム情報によって、置き換えられてもよい。データ媒体は、例えば、映像のLDRバージョンを含むBD光ディスクであってもよい。ダウンロードされた映像処理基本ストリームは、映像再生器においてローカルに格納されてもよく、映像のHDRバージョンを取得するためにデータ媒体から抽出された他の基本ストリームとの選択された組み合わせでレンダリングされてもよい。
オプションで、映像処理基本ストリームは、映像処理セグメントのシーケンスを有し、各セグメントは、1又は複数のビデオフレームの対応するシーケンスと関連付けられている。当該関連付けは、例えば、映像処理セグメントの対応するタイムスタンプ、及び、一次映像におけるビデオフレームに基づいていてもよい。この実施形態において、映像処理セグメントは、映像処理基本ストリームの基本データ要素である。当該要素は、コンテンツ著作者又は作成者からの、映像及び/又はグラフィックをどのように処理するかについての指示などの映像処理メタデータを含む。映像再生器において、処理ユニットが、セグメントのシーケンスに従って一次映像を処理することによって、一次映像のビデオフレームのシーケンスを、ターゲット映像へ変換するように構成されていてもよい。映像処理セグメントは、映像の時間、即ち、ビデオフレームの上記シーケンスに対応しており、各映像処理セグメントにおいて含まれる命令に従ったフレームの正確な処理を可能としている。当該セグメントは、例えば、作成者の意図を強調するために、HDRディスプレイのためのストーリー展開をより良くサポートするために、又は、最適な色グレーディングのために、映画の各シーンの独立した適合を可能としている。アルゴリズム、補正スケジュール、色適合などの更なる例が、後で、供給される。
オプションで、映像処理基本ストリームは、ディスプレイ装置の輝度又は色再生能力とは独立して、映像の輝度レベル及び/又は色空間を適合させるための命令を有する。映像再生器において、処理ユニットが、上記命令に従って一次映像を処理することによって、一次映像をターゲット映像に変換するように構成され得る。さらに、処理ユニットは、ディスプレイ装置の輝度又は色再生能力を決定するように構成され得る。当該命令は、例えば、輝度補正スキーム、又は、ガンマ曲線、又は、色域補正式を供給してもよい。好適には、映像は、既知の再生能力を持つ接続ディスプレイのために適合され得る。当該ディスプレイは、自身の輝度又は色再生能力を映像再生器に伝達してもよい。また、当該ディスプレイ及び処理ユニットは、単一の装置に一体化されてもよく、結果、輝度又は色再生能力は、処理ユニットにとって所定且つ既知である。
オプションで、映像処理基本ストリームは、ディスプレイ装置の輝度又は色再生能力とは独立して、輝度レベル及び/又は色空間を適合させるための命令を有する。映像再生器において、処理ユニットが、上記命令に従ってグラフィックを適合させることによって、グラフィック基本ストリーム、又は、映像再生器においてローカルに生成されるメニューの重ね合わせなどの他のグラフィックからグラフィックを変換するように構成され得る。当該命令は、例えば、輝度補正スキーム、又は、ガンマ曲線、又は、色域補正式を供給してもよい。また、当該命令は、一次映像のセグメントに適用してもよく、後続のセグメントのために変化してもよい。好適には、グラフィックは、既知のレンダリング能力を持つ接続ディスプレイのために適合され得る。例えば、LDR映像プログラムがHDRに変換される場合、特定のグラフィック補正命令が、字幕の輝度を補正してもよい。当該補正は、字幕が過度に明るくされ、映像に影響することを回避する。
オプションで、映像処理基本ストリームに埋め込まれた映像処理メタデータは、様々な物理的媒体上に格納される、様々なチャネル、信号、又は、符号化などを用いて伝達(及び、販売)されてもよい。
本発明に従った装置及び方法の他の好適な実施形態が、参照により本開示に組み込まれる、添付の請求項において与えられる。
本発明に従った方法及び装置のこれらの態様及び他の態様が、以下に説明される実装及び実施形態を参照するとともに、添付の図面を参照して、明らか且つ明確となるであろう。
図1は、符号化方法のマッピングアルゴリズムデータを取得する場合を除いて、HDRディスプレイ上では十分な視覚品質ではないものの、HDRイメージを、LDR上で使用可能な実際のLDRイメージとして、どのように符号化するのかを概略的に図示している。 図2は、一次HDR映像を持つHDR映像転送システムのブロック図を示している。 図3は、一次LDR映像を持つHDR映像転送システムのブロック図を示している。 図4は、HDR映像分配システムのブロック図を示している。 図5a〜図5dは、映像処理基本ストリームの例を示しており、図5aは、映像処理セグメントの数を示すフィールドを持つ映像処理基本ストリームを示している。 図5bは、映像処理セグメントのシンタックスの例を示している。 図5cは、セグメント記述子のシンタックスの例を示している。 図5dは、HDR情報のシンタックスの例を示している。 図6は、輝度補正関数の例を示している。 図7a〜図7cは、映像処理メタデータを示しており、図7aは、輝度補正のためのVideo_process_descriptorを示している。 図7bは、グラフィックの補正のためのMenu_process_descriptorを示している。 図7cは、字幕の補正のためのSubtitle_process_descriptorを示している。 図8a〜図8dは、プレイリストを示しており、図8aは、標準化されたフォーマットに従ったプレイリストの一般的な構造を示している。 図8bは、プレイリストのシンタックスの例を示している。 図8cは、プレイリストにおける再生項目のシンタックスの例を示している。 図8dは、基本ストリーム表のデータ構造の第1の部分を示している。 図9は、基本ストリーム表の拡張として、拡張ストリーム情報のシンタックスの例を示している。 図10aは、基本ストリーム表のStream_entryを示している。 図10bは、基本ストリーム表のStream_Attributesを示している。 図11は、拡張ストリーム情報のシンタックスの要素の例を示している。 図12は、HDRディスクタイプの定義を示している。 図面は、例示であって、原寸通りではない。図面において、既述の要素に対応する要素は、同一の参照符号を有することがある。図面は、単に、より一般的な概念を例示する比限定的な例でしかなく、点線は、コンポーネントがオプションであることを示すため、要素が物体の内部に隠されていることを示すため、又は、物体/領域の選択など(例えば、それらがどのようにディスプレイ上に示され得るか)の無形物のために使用されることがある。
図1は、符号化方法のマッピングアルゴリズムデータを取得する場合を除いて、HDRディスプレイ上では十分な視覚品質ではないものの、HDRイメージを、LDR上で使用可能な実際のLDRイメージとして、どのように符号化するのかを概略的に図示している。図1によれば、一例として、本発明の方法が、どのようにして、HDRイメージ/映像を符号化できるのかが説明されている。ハリウッド映画スタジオなどのコンテンツ作成者は、マスターグレードオリジナルHDR信号HDR_ORIGを作成し、当該信号は、例えば、20ビットの線形ルマ表現を有するコーデックにより符号化され得る。このイメージは、少なくともより高い輝度(一般的には、1000ニットのピーク白色)、通常、より深い黒色、より高い色レンダリング精度などを持つディスプレイ上で最適に見えるようにグレーディングされるため、HDRである。読みやすさのために、説明は、イメージピクセルのルマ/輝度成分に焦点を当てているが、一般的に、システムは、最適に色をレンダリングすべく、色マッピングについても実行する。HDR信号は、レガシーLDRディスプレイ上で単純に使用可能ではない。第一に、かかる信号は、適切に符号化されない。我々のアプローチでは、一般的に、10ビット又はたった8ビットのルマでイメージを符号化するため、後方互換性のある態様でHDRイメージを符号化する。実際のピクセル色を無視することにより、かかるイメージは、MPEG2、AVC、VP8、JPEGなどの符号化フォーマットである、古典的なイメージ送信フォーマットによって圧縮及び操作され得る。しかしながら、実際のピクセル色も重要であるため、我々の符号化方法は、第2のフェーズを追加する。さもなければ、失敗する。我々は、レガシーディスプレイ上で直接的にレンダリングされることができる態様で、HDRイメージを符号化する。換言すれば、かかるディスプレイ上で十分な視覚的品質を持つ(イメージオブジェクトの色が、オリジナルのシーンにおいてどのように見えるかを合理的に近似する、又は、その信号においてHDRイメージ効果情報を失わない重要な制約を前提としてLDRディスプレイが少なくとも最良の範囲でレンダリング可能である)。従って、我々は、原理上、逆変換可能(即ち、逆ルマ/色マッピングを適用することによって、LDR_ORIGからHDR_PREDを得るために、HDR_ORIGからLDR_CONTへのマッピングを取り消すことが可能)である変換を適用し、又は、少なくとも、得られたLDR符号化LDR_CONTから、マッピングされた推測HDRイメージHDR_PRED、オリジナルマスターグレードHDR_ORIGを完全に抽出できる。これは、ルマ(及び色)マッピングを実行するアルゴリズムは、HDR情報を破壊しないようにすべきであるということを意味する。この重要点をより正確に強調するために、完全にレンダリング可能ではない(例えば、典型的な周囲環境の下、低ピーク輝度LDRディスプレイ上で、これ以上区別可能でないように、イメージの幾つかのより暗い部分を詰め込むことがある)ものの、特に、HDRイメージのマッピングにより推定/再構成される際、バンディングなどのアーチファクトがそれほど多く見えない場合、HDR情報は、マッピングアルゴリズム(10、11、12、・・・、15のルマは、例えば、25、30、48、・・・、100のHDRルマにマッピングされることができる)を適用することによって、なお回復可能である。このため、LDR_CONTは、LDRグレーディング/イメージであるといえるが、HDR_ORIGとLDR_CONTとをリンク付けるための適切に制約されたマッピングを使用したため、マスターグレードHDR_ORIGの全てのHDR情報をなお(少なくともほとんど)含むという点で特別である。
HDR_ORIGの8ビット符号化へのマッピングである上記補正ルマを適用しないことは、比色分析的に歪み過ぎて見えるため、レガシー装置に関して使用不可能なイメージにつながる。例えば、明るいハイライトを有する暗い地下室のシーンを持つことがある。高ピーク輝度HDRディスプレイは、比較的高い出力輝度で、より低いルマピクセル符号をレンダリングできるため、(HDRグレードを8ビット表現において符号化する場合は、)我々は、低いピクセルルマを全てのこれらのピクセル(例えば、0、・・・、10)に割り当てることができ、このとき、中間ルマを有するピクセルはなく、明るい光のための値(250〜255)がある。しかしながら、この信号をLDRディスプレイ上で示すことは、それを二値化することである。全ての暗い値は、一般的に、同じ黒色として見られる。このため、我々は、より暗いルマを予め明るくする(例えば、付加的且つ乗法的なマッピングにより、0、・・・、5が、10、・・・、20になる)ルママッピングF_TM1を適用する必要がある。結果、このHDR符号化が、まるでLDRイメージであるかのように直接レンダリングされる場合、暗い部屋は、LDRディスプレイ上でも見える。このため、我々は、まるでそれがLDRイメージであったかのようにHDRイメージを符号化する。又は、換言すれば、我々は、同じ画像表現でHDRイメージとLDRイメージとを符号化する。しかしながら、このLDR_CONTイメージは、HDRディスプレイ上で正しいマスターグレードHDR_ORIGをレンダリングするために直接使用可能でない。我々は、例えば、LDRディスプレイ上で区別可能に見えるように、明るくされた部屋の暗い部分を持つため、HDRディスプレイでは極めて明るく見え、コンテンツ作成者によって意図されるような全ての怖い雰囲気が失われる。それらを再び正すための解像度は、逆ルママッピングアルゴリズムFL2Hにおいて存在する。
マッピングアルゴリズムは、同じシナリオにおいて、完全なシーン又は映画に関しても、単純に、単一のガンマ関数(例えば、HDRルマY_HDR=a*Y_LDR^g)の適用であってもよい。あるいは、視覚系は色の出現を相対的に見るため、局所的な色最適化を考慮するよう、より洗練されていてもよい。例えば、粗いセグメント化戦略が、イメージにおけるブロックの設定前に、同じ閾値を定義してもよい。ブロック(X,Y)の前のジグザグスキャンにおいて、第1のルママッピング関数が使用され、ブロック(X,Y)の前では、2つのLDRルマ閾値g_l及びg_hが規定される。これは、これらの境界においてピクセルルマを持っている(X,Y)から前方の位置における領域に関し、例えば、第2のルママッピング戦略/アルゴリズムにより、異なって処理されるべきであることを示している。例えば、128に等しいLDRルマY_LDRが、第1のルママッピング関数によって、Y_HDR=2099にマッピングされた場合(20ビットなどの幾つかの許容される表現では、図における単純化のため、我々は、再構成されたHDRルマの範囲をフロート[0.1]の範囲にした)、第2のマッピングアルゴリズムによって、例えば、Y_HDR=200にマッピングされることができる。例えば、シャツの白色は、行き過ぎないように処理され得る。ブロック(X+K,Y+L)の後、同じ画像において、LDRイメージ表現LDR_CONTにおいてY_LDR値の同じ範囲があり得るが、これは、極めて明るいランプであり得る。それは、第3のローカルマッピングアルゴリズムにより極めて明るいY_HDRルマを生み出すために異なって処理されてもよい。
いずれの場合においても、マッピングアルゴリズムの全ての情報(関数的パラメータ、プレゼンテーションタイムなどのイメージ数、局所的形状定義情報など)が、オリジナルマスターグレードHDR_ORIG、又は、オリジナルに(極めて)近く見える少なくともHDRグレードHDR_PREDを再び得るためのキーである。このグレードは、意図されたように見え、基準HDRディスプレイ又は基準HDRディスプレイに近い物理的特性を持つ任意の明るいディスプレイ上で最適に見え、さらに、例えば、特定の位置において明る過ぎず、又は、一般的に間違った色で見えない。
我々のシステムは、コンテンツ作成者が、最良の見え方を得るために、それどころかマスターグレードを得るために、どのマッピングアルゴリズムが使用されるべきかを特定できるようにする。窓を通じた明るい日の当たった外の景色を25.000ニットのディスプレイに対して1000ニットのディスプレイ上でマッピングするための様々なマッピングを使用できることを想像することができるため、彼らは、例えば、様々なHDRディスプレイのために様々なマッピングアルゴリズムを特定することができる。このため、この方法では、レンダリングは、コンテンツオーナーによって調整されることができ、作成者が、様々な理由のための様々な見え方を特定できるようにする(例えば、一種のハーフHDRである、より安っぽい見え方を構想できる)。しかしながら、更には、この/これらのマッピングアルゴリズムにおいて全てこの視覚的品質を持つことは、作成者が、既存の手段に加えて、極めて増加したコンテンツ保護を実装することを可能にし、従って、作成者の努力に対して適切な対価を還元する。ユーザは、任意の海賊版LDRバージョン(例えば、正規のシステムからどこかで抽出されたLDR_CONT)をHDRディスプレイ上に映すことにより、低品質バージョンの視聴を選択してもよい。以下において、マッピングアルゴリズムのセット及び他のパラメータは、映像処理メタデータと称され、このメタデータは、LDR映像とHDR映像との間(又は、その逆)の変換を定義する。ユーザが、最適な映像体験を欲する場合、彼は、LDRをHDRに変換するために、又は、HDRが利用可能である場合、HDRをLDRに変換するために、映像処理メタデータを適用する必要がある。
導入部分において上述されたHDR映像分配システムは、映像処理メタデータがレンダリング側に転送されるように改良される。例えば、AVC又はHEVC符号化におけるSEIメッセージでは、映像ストリームを有する私的データとして映像処理メタデータを含むことは提案されない。発明者は、映像基本ストリームの私的データにおいて映像処理メタデータを含ませることに問題を発見したためである。HDRディスプレイに出力する場合に、映像のためのHDRパラメータに加えて、グラフィックオーバーレイを処理するための情報を含み得るため、例えば、かかる私的データが映像ストリームに密接に結合されることが問題である。映像ストリームにおいてグラフィック処理データを含むことは、再生器において、映像及びグラフィックのための様々な処理エンジンの意図的な協力を必要とする。例えば、字幕の輝度レベルは、国際公開第2012/172460号などにおいて述べられているように、煩わしい字幕の高輝度を回避するため、特定の割合で減じられ得る。私的データの更なる問題は、映像処理メタデータが、最初からディスク上に含まれる必要があることである。
本システムは、映像処理メタデータを別個の映像処理基本ストリームに置くことによって、上記問題を解消する。かかる別個の基本ストリームは、以下でより詳細に説明されるように、統合された分配(例えば、単一のBlu-rayディスク上のHDR映像及びLDR映像)と別個の分配(例えば、ダウンロードモデル)との両方を可能にする。例えば、HDRディスプレイの設置基盤は、比較的小さい。ディスクは、LDRコンテンツとともにリリースされることができる。後で、パラメータは、HDRディスプレイのために利用可能に作られている。メタデータを別個に供給するもう一つの理由は、消費者がHDRメタデータを別個に購入できるビジネスモデルである。
映像処理基本ストリームは、以下で明らかにされるように、映像フレームの特定のシーケンスと関連付けられた各セグメントを有する映像処理セグメントのシーケンスを含んでいてもよい。映像処理基本ストリームは、例えば、MPEG2転送ストリームメカニズムを通じて、映像、グラフィック、及び、オーディオ基本ストリームと同期化されていてもよい。輝度/色適合映像しィリ基本ストリームは、映像及び/又はグラフィックの輝度レベル及び/又は色空間をディスプレイ装置の能力に依存して適合させるため、再生装置のための命令を含む。拡張ストリーム情報ファイルは、ディスプレイ装置のための映像出力信号を生成するため、どの映像及び/又はグラフィック基本ストリームが、再生装置による処理のために選択されることができるかを示すための情報を含んでいてもよい。拡張ストリーム情報は、再生装置による処理のために選択されることができる1又は複数の輝度/色適合映像処理メタデータ基本ストリームを示す。別個の映像処理基本ストリームは、ブロードキャスト、ネットワーク、又は、Blu-rayのような光ディスクなどのストレージ媒体を介して映像を転送するために、様々な態様で使用されることができる。
例えば、
1.メインの映像ストリーム、グラフィックストリーム、及び、オーディオストリームとともに単一のMPEG2転送ストリーム(TS)内に多重化され、Blu-rayディスク上に格納される。これは、いわゆるインマックスケース(in-mux case)である。これは、少なくとも1つの多重化されたストリーム及びプレイリストファイルを含むストレージ媒体を含み、多重化されたストリームは、少なくとも映像基本ストリームと、少なくとも1つの輝度/色適合HDRメタデータストリームと、ゼロ又はそれより多くのグラフィックストリームと、を含む。
2.ディスク上に含まれた別個のMPEG2TSに多重化され、再生の開始前に予めロードされる。これは、いわゆるアウトオブマックスケース(out-of-mux case)である。これは、少なくとも2つの多重化されたストリーム及び拡張ストリーム情報を含むストレージ媒体を含み、第1の多重化ストリームは、少なくとも映像基本ストリームと、ゼロ又はそれより多くのグラフィックストリームと、を含み、第2の多重化ストリームは、少なくとも1つの輝度/色適合HDRメタデータストリームを含む。第2の多重化ストリームは、HDRレンダリングのために適合された1又は複数のグラフィックストリームを更に有していてもよい。
3.別個のMPEG2TSに多重化され、オプションで、追加的なグラフィック(字幕)ストリーム及び/又はオーディオストリームを有し、ディスクが購入された後でダウンロードされることができる。これも、アウトオブマックスケース(out-of-mux case)である。このケースは、少なくとも1つの多重化ストリームと、少なくとも1つの拡張ストリーム情報と、少なくとも1つのデータファイルとを含むストレージ媒体を含んでいてもよく、多重化ストリームは、少なくとも映像基本ストリームと、ゼロ又はそれより多くのグラフィックストリームと、ゼロ又はそれより多くの輝度/色適合HDRメタデータストリームと、を含む。データファイルは、再生器が、輝度/色適合映像処理基本ストリームをサーバからダウンロードできるようにする。
図2は、一次HDR映像を持つHDR映像転送システムのブロック図の例を示している。映像転送システムは、例えば、HDR映像などの入力映像25を受信するための入力部を持つ映像処理装置21を有する。入力映像は、HDR映像とLDR映像との間の変換を表す映像処理メタデータ29を供給するために、入力部から、入力映像を処理するための映像処理ユニット210に結合される。映像処理ユニットは、例えば、LDR映像などのローカル出力映像26を生成してもよい。これは、図では、他に結合されていないが、変換処理を関しするためのローカルディスプレイのために使用され得る。変換は、ピクセル輝度及び/又は色マッピングを含むが、空間スケーリングなどを含まない。変換を定義する処理メタデータの例が、図1により上述されている一方、詳細な例は後で供給される。変換ユニットは、変換処理を制御するための相互作用ユニット211に結合され得る。
また、入力映像は、入力部から、フォーマットユニット213に結合される一次映像ストリームを生成するための映像符号化ユニット212へ結合される。一次映像ストリームは、HDRディスプレイなどの第1のタイプのディスプレイのための第1の輝度又は色範囲を持つ入力映像の符号化バージョンを含む一方、ローカル出力映像は、標準化されたLDRディスプレイなどの第2のタイプのディスプレイ上で表示するために必要な第2の輝度又は色範囲を持つ。HDR映像からLDR映像へのダウンコンバートは、各映像処理メタデータを生成する。HDRメタデータは、変換のタイプを示すためのインジケータを有していてもよい。また、映像処理メタデータは、LDR映像をHDR映像にアップコンバートするためのものであってもよい。また、例えば、中程度、高度、又は、極めて高度な輝度レベルを持つディスプレイのために、又は、様々な色域のために、様々な変換レベルが、映像処理メタデータ内に埋め込まれていてもよい。このため、一次映像は、輝度範囲又は色範囲を適合させるための各補正スキームを有する映像処理メタデータに基づいて、アップコンバートされるLDR映像であってもよいし、又は、LDR映像又は幾つかの様々なレベルのHDR映像にダウンコンバートされ得る幾つかのタイプのHDR映像であってもよい。例えば、一次映像は、中程度のレベルのHDR映像を含んでいてもよい。一方、映像処理メタデータは、LDR映像へのダウンコンバートと、より高いレベルのHDRディスプレイへのアップコンバートとの両方、又は、いずれかのための命令を供給する。さらに、レンダリング側において、一次映像の適切な変換を選択可能とするために、複数の映像処理基本ストリームが、フォーマット信号に含まれていてもよい。
また、フォーマットユニット213は、映像処理メタデータ29を受信する。フォーマットユニット213は、以下の機能を実行することによって、フォーマットされた映像信号20を生成するように構成される。このように、BD又はMPEGなどの必要な転送フォーマットに従った信号のフォーマットは、よく知られている。フォーマットユニットは、映像処理基本ストリーム及び拡張ストリーム情報を更に含むように構成される。一次映像基本ストリームは、HDR映像などの入力映像を表すように生成される。映像処理基本ストリームは、オーディオビジュアルコンテンツを含まないが、映像処理メタデータを含むように生成される。また、拡張ストリーム情報は、映像処理基本ストリームを示すエントリを有するように生成される。一例では、フォーマットされた映像信号20は、拡張映像を表す一次映像基本ストリームと、オーディオビジュアルコンテンツを有さないが拡張映像と標準映像との間の変換を表す映像処理メタデータを有する映像処理基本ストリームと、を有する。詳細な例は、後で、供給される。最後に、フォーマットされた映像信号が、一次映像基本ストリーム、映像処理基本ストリーム、及び、拡張ストリーム情報を含むことによって生成される。
映像転送システムは、セットトップボックス、タブレットコンピュータ、又は、BD再生器などの映像再生器22を更に有する。映像再生器は、フォーマットされた映像信号を受信するとともに、拡張ストリーム情報及び映像処理メタデータ29を抽出するための入力ユニット225を有する。拡張ストリーム情報及び映像処理メタデータは、処理ユニット223に結合されたHDRパラメータユニット221に格納されて処理される。再生器は、入力ユニット225から一次映像を受信するとともに、復号化された一次映像27を生成する映像デコーダ222を更に有する。例えば、一次映像がHDR映像である場合、復号化された一次HDR映像は、HDRモニタ23に対してHDR映像信号を供給することができるHDRディスプレイインタフェースユニット224に結合される。
さらに、映像再生器は、ターゲット映像28と称される変換された映像信号をレガシーLDRモニタ24に供給してもよい。さらに、処理ユニットは、選択可能な映像処理基本ストリームを示す拡張ストリーム情報エントリを抽出するために、まず、拡張ストリーム情報を処理する。当該エントリが、少なくとも1つのストリームの存在を示す場合、各映像処理基本ストリームが、選択される。当該選択は、ターゲットディスプレイ、即ち、LDRディスプレイ24のタイプに基づいていてもよい。次いで、処理ユニットは、映像処理メタデータに従って一次映像を処理することにより、一次映像基本ストリームからターゲットディスプレイ装置の輝度及び/又は色レンダリング能力に適合されたターゲット映像28に一次映像を変換する。この例では、一次HDR映像は、映像処理メタデータに基づいて、LDR映像にダウンコンバートされる。
図3は、一次LDR映像を持つHDR映像転送システムのブロック図の一例を示している。映像転送システムは、HDR映像などの入力映像35を受信するための入力部を持つ映像処理装置31を有する。入力映像は、HDR映像とLDR映像との間の変換を表す映像処理メタデータ39を供給するために、入力映像を処理するための入力部から映像処理ユニット310に結合される。映像処理ユニットは、LDR映像などのローカル出力映像36を生成する。これは、図において、映像符号化ユニット312に結合され、ローカルディスプレイにより図2により上述された変換処理をモニタするために使用され得る。変換ユニット310は、半自動化されていてもよく、芸術性ガイダンスを与えるとともに、変換処理を更に制御するための相互作用ユニット311に結合されてもよい。
映像符号化ユニット312は、ローカル出力映像36を受信し、フォーマットユニット313に結合される一次映像ストリームを生成する。ここで、一次映像ストリームは、LDRディスプレイなどの第2のタイプのディスプレイのための第2の輝度又は色範囲を持つ変換された入力映像の符号化バージョンを含む。一方、入力映像は、HDRディスプレイなどの第1のタイプのディスプレイ上で表示するために必要とされる第1の輝度又は色範囲を持つ。HDR映像のLDR映像へのダウンコンバートは、変換ユニット310において適用された変換(例えば、一次LDR映像からHDRターゲット映像へのアップコンバート)の逆変換を定義する各映像処理メタデータを生成する。様々なタイプの変換が、図2により上述されており、ソフトウェア構成設定などにより、システムは、必要に応じて、図2又は図3に示されるように構成されてもよい。これは、入力LDR映像又は入力HDR映像の受信、及び、LDR一次映像又はHDR一次映像の転送を可能にする一方、レンダリング側で必要とされる変換は、ディスプレイのタイプに依存する一次映像のダウンコンバート又はアップコンバートであり得る。また、フォーマットユニット313は、映像処理メタデータ39を受信し、図2により上述したようなフォーマット信号20に似たフォーマットされた映像信号30を生成するように構成されている。しかしながら、ここでは、標準である、LDR一次映像と標準映像から拡張映像への変換を表す映像処理メタデータとを含んでいる。
映像転送システムは、セットトップボックス、タブレットコンピュータ、又は、BD再生器などの映像再生器32を更に有する。映像再生器は、フォーマットされた映像信号を受信するとともに、拡張ストリーム情報及び映像処理メタデータ39を抽出するための入力ユニット325を有する。拡張ストリーム情報及び映像処理メタデータは、処理ユニット323に結合されたHDRパラメータユニット321に格納され、処理される。再生器は、入力ユニット325から一次映像を受信するとともに、復号化された一次映像37を生成する映像デコーダ322を更に有する。例えば、一次映像がLDR映像である場合、復号化された一次LDR映像は、レガシーLDRディスプレイ34に結合され得る。
LDR映像出力を生成する映像デコーダ322が、レガシー映像デコーダシステム326を構成する一方、レガシー映像再生器は、拡張ストリーム情報及び映像処理基本ストリームにおけるエントリを無視する類似の入力ユニットを有していてもよいことに留意すべきである。従って、後方互換性が確保される。
映像再生器32において、復号化された一次映像37は、インタフェースユニット324を介してHDRモニタ33に結合されるターゲット映像38を生成する映像処理ユニット323に結合される。従って、一次LDRは、HDRモニタ33のためのターゲットHDR映像信号にアップコンバートされる。さらに、処理ユニットは、拡張ストリーム情報エントリを抽出するとともに、適切な映像処理基本ストリームを選択するために、まず、拡張ストリーム情報を処理する。ターゲットディスプレイ装置33の輝度及び/又は色レンダリング能力329は、ディスプレイインタフェース324を介した通信によって、決定され得る。次いで、処理ユニットは、映像処理メタデータに従って一次映像を処理することにより、一次映像を一次映像基本ストリームからターゲットディスプレイ装置の輝度及び/又は色レンダリング能力に適合されたターゲット映像38に変換する。図3の例では、一次LDR映像は、映像処理メタデータに基づいて、HDR映像にアップコンバートされる。
図4は、HDR映像分配システムのブロック図を示している。フォーマットされた映像信号は、BDなどの光記録媒体40及び/又はダウンロードデータ41によって、実現される。記録媒体は、TS−1と付された第1の転送ストリーム401を有し、ダウンロードデータは、TS−2と付された第2の転送ストリーム402を含んでいてもよい。第1の転送ストリームは、少なくとも1つの一次映像基本ストリーム411と、少なくとも1つのグラフィック基本ストリーム412と、ゼロ又はそれより多くの映像処理ストリーム413と、を含む。第2の転送ストリームは、ゼロ又はそれより多くのグラフィック基本ストリーム415と、少なくとも1つの映像処理ストリーム416と、を含む。記録媒体は、実際のプレイリスト414を構成するためのダウンロードデータに含まれる拡張ストリーム情報によってダウンロードの際に置き換えられる、初期プレイリストを更に有する記録媒体上の初期プレイリストは、ゼロ又はそれより多くの映像処理基本ストリームが、TS−1において、ディスク上に存在していることを示す拡張ストリーム情報であってもよいことに留意すべきである。オーディオビジュアルデータと映像処理メタデータとの組み合わせは、点線410の箱によって示されるように、仮想的なパッケージと称されることがある。
選択ユニット42は、仮想パッケージのデータを処理する一方、各基本ストリームが組み合わせにおいてレンダリングされることを可能にするためのメニューなどのユーザインタフェース424を供給する。例えば、ユーザは、特定の映像基本ストリーム421、オーディオ及び/又はグラフィック422、及び、適用される映像処理ストリーム423を選択する。映像処理ストリームの選択は、事前のユーザ設定に基づいていてもよく、又は、映像再生器によって検出されるディスプレイのタイプ及び/又は周辺環境に基づいて自動的であってもよい。選択された基本ストリームは、選択された映像処理基本ストリームからの映像処理メタデータに従って、一次映像を処理することにより、一次映像を一次映像基本ストリームからターゲット映像にを変換するための処理ユニットを含むレンダラ43へガイドされる。
簡単化のため、現BDシステムの多くの態様は、図4に示されていないことに留意されたい。例えば、図4は、オーディオストリーム、二次映像ストリーム、様々なグラフィックストリーム、あるいは、音及び/又はフォントのためのストリームを示していない。さらに、上記システムは、BDJモードにおいて生成されたグラフィックを示していない。かかる既知の要素は、適切な位置に追加されてもよい。Blu-rayディスクフォーマット上のバックグラウンド情報は、Blu-rayディスクアソシエーションによって発行された白書(http://www.blu-raydisc.com/assets/Downloadablefile/BD-ROM-AV-WhitePaper_110712.pdf)において発見され得る。
ディスクは、少なくとも1つのプレイリストと、少なくとも1つの映像ストリーム、オプションのグラフィックストリーム、及び、オプションのHDRメタデータストリームを有する少なくとも1つの転送ストリーム(TS−1)と、を含む。ディスクは、グラフィックストリーム及び/又はHDRメタデータストリームを有する第2の転送ストリーム(TS−2)を含んでいてもよい。あるいは、第2の転送ストリーム及び(特に)プレイリストは、インターネットからダウンロードされ、再生器に格納されてもよい。何れの場合であっても、ディスク及びダウンロードからの全てのデータは、いわゆる「仮想パッケージ」に集約される。再生の間、ユーザは、「仮想パッケージ」におけるプレイリストのうちの1つを選択する。このプレイリストは、プレイリストのコンテンツを再生するために必要な、映像ストリーム、グラフィックストリーム、及び、HDRメタデータストリームに対するポインタを含む。この情報に基づき、セレクタ42は、映像及びグラフィックデータをディスプレイのための適切な信号に変換するレンダラ43に、対応しているストリームを送る。レンダラによる映像及びグラフィック処理は、HDRメタデータにおける情報によって制御される。正しいストリームの選択、及び、この選択のために必要なディスク上のデータ構造についてのより詳細な説明が、「ダウンロード&ストリームセクション」の下、本開示において更に述べられる。
一例として、映像処理基本ストリームの可能な定義が説明される。映像処理基本ストリームの基本的なシンタックス要素は、「映像処理セグメント」と称される。映像処理基本ストリームは、映像処理セグメントのシーケンスを有していてもよく、各セグメントは、対応する映像フレームのシーケンスと対応付けられている。映像再生器において、処理ユニットは、対応するセグメントからのHDRメタデータに従ってフレームを処理することにより、一次映像の映像フレームの各シーケンスをターゲット映像に変換するように更に構成されていてもよい。映像処理セグメントは、映像の時間、即ち、映像フレームの上記シーケンスに対応している。当該時間は、各映像処理セグメントにおいて定義されるような処理命令のセットによって、処理される。
映像処理基本ストリームを構成している映像処理セグメントは、PESパケットのシーケンスに含まれ得る。パケット化された基本ストリーム(PES:Packetized Elementary Stream)は、MPEGプログラムストリーム及びMPEG転送ストリーム内のパケットにおける(通常、オーディオ又は映像エンコーダの出力であるが、ここでは、HDRメタデータに従った処理スケジュールである)基本ストリームの伝達を定義するMPEG−2パート1(システム)(ISO/IEC 13818-1)及びITU−T H.222.0における仕様である。基本ストリームは、PESパケットヘッダ内の基本ストリームから連続したデータバイトをカプセル化することによって、パケット化されている。映像又はオーディオエンコーダから基本ストリームデータを送信する典型的な方法は、まず、基本ストリームデータからPESパケットを作成し、次いで、転送ストリーム(TS)又はプログラムストリーム(PS)パケット内のこれらのPESパケットをカプセル化する方法である。TSパケットは、ATSC及びDVBにおいて使用される技術などのブロードキャスト技術を用いて、多重化及び送信されることができる。映像処理基本ストリームのPESパケットは、HDMV MPEG−2転送ストリームにおける転送パケットによって、連続的に伝達される。HDRのパケット化された基本ストリームにおける各PESパケットは、1つの映像処理セグメントを伝達する。特定の映像処理基本ストリームを伝達する全ての転送パケットは、同一のPIDを有するべきである。映像処理基本ストリームのシンタックスが、図5a〜図5dにおいて示されている。
図5a〜図5dは、映像処理基本ストリームの一例を示している。映像処理基本ストリームにおける映像処理メタデータは、映像処理基本ストリームにおける映像処理セグメントを示すフィールドを有していてもよい。映像処理基本ストリームにおける映像処理メタデータは、少なくとも1つのプレゼンテーションタイムスタンプ及びセグメント記述子を有する映像処理セグメントを有していてもよい。映像処理基本ストリームにおける映像処理メタデータは、複数の異なるプロセス記述子を持つ拡張範囲情報フィールドを有していてもよく、各プロセス記述子は、各データタイプのための変換を定義しており、データタイプは、映像と、グラフィック及び字幕のうちの少なくとも1つと、を有している。
図5aは、映像処理セグメントの数を示すフィールドを有する映像処理基本ストリームを示している。フィールドnumber_of_HDR_Segments51は、映像処理基本ストリームにおける映像処理セグメント構造の数を示している。また、当該基本ストリームは、LDRからHDRへの変換、又は、HDRからLDRへの変換のような変換タイプを示す更なるフィールドを有していてもよい。
図5bは、映像処理セグメントのシンタックスの一例を示している。この図は、映像処理セグメント52を示している。当該セグメントは、図5cにおいてより詳述されるようなセグメント記述子と、一次映像にセグメントを同期化するためのプレゼンテーションタイムスタンプHDR_start_PTS及びHDR_end_PTSと、映像処理メタデータを示すためのHDR_infoフィールドと、を有する。
HDR_start_PTS:この33ビットのフィールドは、HDR_segment()のプレゼンテーション開始時間を示し、90kHzのクロック単位で測定される、HDRストリームのシステムタイムベース上の時間を指すべきである。HDR_start_PTSの値は、映像フレームグリッド上の値であるべきである。
HDR_end_PTS:この33ビットのフィールドは、HDR_segment()のプレゼンテーション終了時間を示し、90kHzのクロック単位で測定される、HDRストリームのシステムタイムベース上の時間を指すべきである。HDR_end_PTSの値は、映像フレームグリッド上の値であるべきである。
図5cは、セグメント記述子のシンタックスの一例を示している。この図は、セグメント記述子53を示している。当該セグメント記述子は、以下のフィールドを有する。
segment_type:このフィールドは、segment_data()構造に含まれるデータのタイプを示す。これは、標準において定義される固定の数である。
segment_length:segment_lengthは、segment_data()構造の直後に続くセグメントに含まれるバイト数を特定するべきである。
図5dは、HDR情報のシンタックスの一例を示している。この図は、HDR情報要素である、拡張範囲情報フィールド54を示している。拡張範囲情報フィールドは、複数の異なるプロセス記述子を有する。各プロセス記述子は、各データタイプのための変換を定義している。データタイプは、例えば、映像、グラフィック、及び、字幕であってもよい。HDR要素は、以下のフィールドを有し得る。
Video_process_descriptor
Menu_process_descriptor
Subtitle_process_descriptor
これらのフィールドは、図6を参照して、更に明らかにされる。
HDR_info情報におけるデータの例は、以下のとおりである。本開示の文脈において、トーンマッピングは、ディスプレイの特性、視聴環境、及び、ユーザ嗜好とマッチするための、入力ピクセルのルマ値の出力ピクセルのルマ値への非線形マッピングとして定義される。ローカルトーンマッピングの場合、当該処理は、イメージ内のピクセルの位置に依存して変化する。グローバルトーンマッピングの場合、同じ処理が、全てのピクセルに適用される。
トーンマッピングに関し、現行のBDシステムにおける状況は、以下のとおりである。
・(グローバル及び/又はローカル)映像トーンマッピングが、スタジオモニタを用いて、スタジオ内で実行される。
・(一般的に映像トーンマッピングとは異なる)グラフィックトーンマッピングが、スタジオモニタを用いて、スタジオ内で実行される。
・グローバルトーンマッピングは、映像信号とグラフィック信号との結合において、ディスプレイで実行される。この処理は、エンドユーザにより設定される輝度値及びコントラスト値によって、部分的に制御される。実験上及び理論上、以下の場合に、最適な画像品質がもたらされることが分かっている。
1.映像トーンマッピングが、エンドユーザのディスプレイのために最適化されている。
2.グラフィックトーンマッピングが、エンドユーザのディスプレイのために最適化されている。
3.システムが、映像トーンマッピングとは異なるグラフィックトーンマッピングを許容している。
4.システムが、様々なグラフィックコンポーネントのための様々なグラフィックトーンマッピングを許容している。
5.システムが、映像特性に依存した、映像及びグラフィックトーンマッピングを許容している。
BDシステムにおいて最適な画像品質を達成するために、輝度/色適合メタデータの送信を可能とするために、(例えば、HDR_info構造における)HDRメタデータを含む、上記の映像処理基本ストリームを追加することによって、BD仕様を増大させることが提案される。これらのデータを用いて、BD再生器は、エンドユーザのディスプレイの特性に依存した追加的な映像トーンマッピングを実行する。さらに、BD再生器は、エンドユーザのディスプレイの特性に依存した追加的なグラフィックトーンマッピングを実行してもよい。これは、一般的に、映像トーンマッピングとは異なる。HDR_infoにおいて定義される追加的な処理ステップは、BD標準の新たなバージョンにおいて定義され得るように、必須又はオプション(推奨)のいずれかであってもよい。
実際、エンドユーザのディスプレイ特性は、例えば、ユーザ設定又は再生器からディスプレイへの情報チャネルにより、再生器に知られ得る。再生器は、以下の処理を実装し得る。
・映像は、例えば、電気光学伝達関数を調整することによって、エンドユーザのディスプレイの特性に基づいて適合される。
・グラフィックの透過性は、メニューなどの可読性を改善するために適合される。例えば、国際公開第2013/046095号の導入部分を参照。
・字幕及びメニューのルマは、映像上の効果の妨害を減少させ、疲れるような/不快な、明る過ぎる字幕の効果を減少させ、ハロ効果を減少させ、及び/又は、グレアを減少させるために適合される。
上記リストは、映像処理及びグラフィック処理の数個の例を与えるが、これらに限定する意図はない。
フィールドVideo_process_descriptor ()をどのように使用するかについての例が、以下に示される。Video_process_descriptorは、映像のHDRに関連する処理を特定するために使用され得る。この例では、Video_process_descriptorは、エンドユーザのディスプレイがHDRディスプレイである場合の、映像の更なる処理を定義している。ディスプレイの電気光学伝達関数(EOTF)は、入力ルマ値(Y´)と出力輝度(Y)との間の関係を記述している。この場合、EOTFは、輝度補正関数Y´new=Corr(Y´old)を適用することによって変換される。
図6は、輝度補正関数の一例を示している。この図は、垂直軸上の出力輝度に対する水平軸上の入力輝度の曲線61を示している。当該曲線は、EOTFの上記変換を図示している。
図7a〜図7cは、映像処理メタデータを示している。この図は、図7a〜図7cのシンタックス表における映像処理メタデータの様々な例を示している。
図7aは、輝度補正のためのVideo_process_descriptorを示している。示されているような補正処理の構造62は、図6に示されるような補正関数を定義するために適用され得る。
他の実施形態では、Video_process記述子は、例えば、JAVA(登録商標)のようなスクリプト言語において定義される、再生器によって実行される手続きを保持していてもよい。この手続きを実行することによって、再生器は、一次映像をどのように処理するのかを決定する。
図7bは、グラフィックの補正のためのMenu_process_descriptorを示している。Menu_process_descriptor63は、映像再生器においてローカルに生成されるメニュー及び他のグラフィックのHDRに関連する処理を特定するために使用される。この例では、Menu_process_descriptorは、エンドユーザのディスプレイがHDRディスプレイである場合の、ポップアップメニューの追加的な処理を定義している。より具体的には、この場合、透過レベルは、Min_transparency_levelよりも高くなるように調整される。結果、メニューは、その下にある(HDR)映像における極めて明るいシーンによって「隠され」ない。
他の実施形態では、Menu_process記述子は、例えば、JAVAのようなスクリプト言語において定義される、再生器によって実行される手続きを保持していてもよい。この手続きを実行することによって、再生器は、メニューをどのように処理するのかを決定する。
図7cは、字幕の補正のためのSubtitle_process_descriptorを示している。Subtitle_process_descriptor64は、字幕のHDRに関連する処理を特定するために使用される。この例では、Subtitle_process_descriptorは、エンドユーザのディスプレイがHDRディスプレイである場合の、字幕の追加的な処理を定義している。より具体的には、この場合、字幕の輝度は、Y'new=ROUND(4*Y'old / Subtitle_Luma_factor)によって減少される。結果、字幕は、明る過ぎることなく、このため、疲れるようなハロ効果又はグレアを発生させない。
他の実施形態では、Subtitle_process記述子は、例えば、JAVAのようなスクリプト言語において定義される、再生器によって実行される手続きを保持していてもよい。この手続きを実行することによって、再生器は、字幕をどのように処理するのかを決定する。
図8a〜図8dは、プレイリストの一例を示している。図8aは、標準化されたフォーマットに従ったプレイリストの一般的な構造を示している。この図は、既知のBDシステムに従ったプレイリスト70を示している。当該プレイリストは、プレイアイテムのシーケンスを有するメインパスと、各サブプレイアイテムを有する様々なサブパスと、を持つ再生構造を記述している。当該プレイリストは、映像処理基本ストリームの選択、及び/又は、映像処理基本ストリームのダウンロードを促進するために、拡張されたプレイリスト、即ち、拡張ストリーム情報に適合される。
この例では、映像再生器は、輝度/色適合HDRメタデータにおける処理情報に基づいて、映像及びグラフィック処理を適合させる。適切な映像処理メタデータを取得するために、再生器は、新たな輝度/色適合映像処理基本ストリームのダウンロードを必要としてもよく、さらに、再生器は、BDディスクのコンテンツの特定の部分をレンダリングする場合にどのストリームが結合されるのかを知る必要がある。これが、どのように実現され得るのかが、このセクションにおいて、一例として、現行のBDディスク上のデータ構造、及び、BD−Jモードにおける現行のBD再生器で使用されている方法を用いて、説明される。BDは、様々な動作モード、及び、様々な再生器の使用方法を持つ、即ち、レンダリングの際に結合する基本ストリームを選択することができる。
ストリーム選択が、典型的なユーザシナリオを用いて説明される。BDディスクがBD再生器に挿入された場合、再生器は、ディスクから「INDEX.bdmv」ファイルを読み込む。このファイルにおける情報は、再生器を、「FirstPlayback_bdjo_file」にガイドする。「FirstPlayback_bdjo_file」は、再生器によって実行されるJAVAプログラムである。一般的に、このJAVAプログラムの実行は、「ディスクメニュー」にレンダリングにつながる。ここで、ユーザは、ディスク上の「タイトル」を選択することができ、これは、再生器が、「タイトル」に対応している「Title_bdjo_file」における他のJAVAプログラムを実行するように指示する。
「Title_bdjo_file」におけるJAVAプログラムは、再生器が、この「タイトル」に関連している追加コンテンツがサーバにおいて利用可能であるかどうかをチェックするため、コンテンツ所有者のサーバとコンタクトするための命令を含んでいてもよい。この場合、この追加コンテンツは、再生器における「ローカルストレージ」にダウンロードされて格納される。次に、「ローカルストレージ」内のコンテンツと、ディスク上のコンテンツとが、「仮想パッケージ」において結合される。このとき、「タイトル」のレンダリングのために必要とされる全てのデータが、再生器において利用可能となる。一般的に、「Title_bdjo_file」におけるJAVAプログラムは、再生器が、図8に示されるようなプレイリストを開始するように命令する。この図は、プレイリストの一般的な構造を示している。プレイリストは、1つの「メインパス」と、ゼロ又はそれより多くの「サブパス」とを保持している。一般的に、「メインパス」は、映像、オーディオ、グラフィック、及び、字幕を保持する一方、「サブパス」は、追加的なグラフィック及び字幕を保持し得る。この例では、輝度/色適合HDRメタデータが、「メインパス」(In-mux)又は「サブパス」(Out-of-mux)のいずれかに含まれ得る。再生器は、「メインパス」及びオプションの「サブパス」を同時にレンダリングする。
図8bは、プレイリストのシンタックスの一例を示している。この図は、シンタックス表におけるプレイリスト71の一例を示している。プレイリストのデータ構造は、BD仕様書に従っている。当該プレイリストは、プレイリストをレンダリングする際、再生器によって使用されるべき、複数の「プレイアイテム」72と、複数の「サブパス」73と、を保持している。
図8cは、プレイリストにおけるプレイアイテムのシンタックスの一例を示している。この図は、シンタックス表におけるプレイアイテムの一例を示している。プレイアイテムのデータ構造は、BD仕様書に従っている。この説明の文脈において、プレイアイテムの最も関連する要素は、「Clip_information_file_name」74及び「STN_Table」75である。
Clip_information_file_name:「Clip_information_file_name」は、「仮想パッケージ」における「ClipInfo」に対する参照である。このファイルにおけるデータは、基本ストリームの場所(以下参照)に対する参照を解決するために使用される。
STN Table:「STN_Table」は、再生器が、「プレイアイテム」及び関連する「サブパス」の再生中に選択可能な基本ストリームのリストを定義している。
図8dは、基本ストリームテーブルのデータ構造の第1の部分を示している。STN_Tableと称される基本ストリームテーブルは、BD仕様書に従っている。この例では、拡張ストリーム情報を作成するために、STN_Tableが、図9に示されるように、映像処理基本ストリームのための要素で拡張されている。
図9は、基本ストリームテーブルの拡張として、拡張ストリーム情報のシンタックスの一例を示している。この図は、映像処理基本ストリームを示すエントリ91を持つ基本ストリームテーブルSTN_Tableの拡張部分を示している。特に、拡張ストリーム情報におけるエントリは、映像処理基本ストリームの数を示しており、この数は、ゼロ以上の整数である。
STN_Tableにおいて、各基本ストリームは、図10aにおいて更に示されるように、「Stream_entry」92によって定義されるとともに、図10bにおいて更に示されるように、「Stream_Attributes」93によって定義されている。
図10aは、基本ストリームテーブルのためのStream_entryを示している。基本ストリームのタイプに依存して、「Stream_entry」は、「メインパス」におけるストリーム識別子PIDに対する参照94,96、又は、「サブパス」におけるPIDに対する参照95を保持している。「ClipInfo」ファイル内のデータを使用することにより、この参照は、再生器が、基本ストリームをどこに発見できるかを知るように、解決される。従って、再生器は、どの転送ストリーム、「メインパス」又は「サブパス」において、基本ストリームが利用可能であるかを知り、さらに、再生器は、転送ストリームにおける基本ストリームのストリーム識別子(PID)を知る。
図10bは、基本ストリームテーブルのためのStream_Attributesを示している。Stream_Attributesは、字幕ストリームのための言語コード97などの、対応している基本ストリームに関するデータを含む。Stream_Attributesのデータ構造は、BD仕様書に従っている。
図11は、拡張ストリーム情報のシンタックスの要素の一例を示している。この図は、拡張ストリーム情報の基本ストリームテーブルSTN_TableにおけるStream_Attributesのシンタックスの拡張部分を示している。拡張されたStream_Attributesは、映像処理基本ストリームのために、特定のタイプのHDRディスプレイ又はLDRディスプレイなどの、対応する一次映像の最適なディスプレイタイプを特定するデータフィールド98を定義している。この実施形態では、一例として、「Stream_attributes」が、各映像処理基本ストリームのための1又は複数のデータ要素により拡大されている。
図12は、HDRディスプレイタイプの定義を示している。この表は、ディスプレイタイプ識別子99の基準リストを示している。Optimum_Display_typeは、予め定義されたHDR/色関連特性を有するディスプレイを識別する数である。各ディスプレイタイプに関し、最大輝度及び色域が、それぞれ定義されている。映像処理メタデータのこの例では、Optimum_Display_typeは、映像処理基本ストリームが最適化されているディスプレイのタイプを示している。
映像処理基本ストリームは、フレームベースのHDRパラメータセットにリンク付けされたプレゼンテーションタイムスタンプ(PTS)を通じて同期化メカニズムを供給するMPEG−2転送ストリームに含まれてもよいことに留意すべきである。BDが、上記パラメータを含んでいてもよい。映像処理基本ストリームは、メイン映像及びオーディオを有する転送ストリームに含まれてもよいためである。また、上記HDRパラメータは、例えば、BDサブパスメカニズムを適用することにより、メインTSに対するサブストリームとして、MPEG−2転送ストリームをダウンロードすることによって、後で追加されてもよい。サブストリームは、進歩的な、即ち、ダウンロード中でも視聴が開始可能なダウンロードメカニズムを用いてダウンロードされてもよい。また、サブストリームは、(例えば、字幕のための)代替的なプレゼンテーショングラフィックストリーム、又は、HDR映像出力によりマッチさせるための当該グラフィックのための調整パラメータを含んでいてもよい。
上記説明では、複数の例が、輝度及び/又は色の拡張範囲を持つ拡張映像の一例として、HDR映像を用いて説明され、輝度及び/又は色の標準範囲を持つ標準映像の一例として、LDR映像を用いて説明されてきた。かかる例では、映像処理メタデータは、HDR処理メタデータと称されてもよく、又は、映像処理基本ストリームは、HDR処理基本ストリームと称されてもよい。分配システムは、フォーマットされた映像信号を介して、第2の輝度及び/又は色範囲を持つ同じ映像の第2のバージョンとの組み合わせで、第1の輝度及び/又は色範囲を持つ任意のタイプの映像を転送するために適用されてもよいことに留意すべきである。
我々が、第1の色表現からを第2の色表現へのルマのマッピングを技術的に意味していることは明らかである。カメラによりキャプチャされるか、又は、ディスプレイによるレンダリングなどに関わらず、ルマは、最終的な輝度に対するトーン定義曲線による関連を持つ技術コード(例えば、Y=[0, 255])である。様々な代替的な技術的実装が存在し得る。例えば、線形表現において、この第3の色座標が輝度そのものであってもよいが、十分に技術を理解している読者は、我々が、(単純化のために)あえて、ルマ範囲を(ガンマ2.2を有する古典的な8ビットを想定しているLDR_CONTを除いて)フロートとしており、勿論、例えば、幾つかの10ビットから幾つかの15ビットのルマ定義にマッピングしてもよいことを完全に理解するであろう。
本開示において開示されたアルゴリズム的なコンポーネントは、実際は、ハードウェア(例えば、アプリケーション特有のICの一部)、又は、特別なディジタル信号プロセッサ、又は、汎用プロセッサなどで実行されるソフトウェアとして、(完全に、又は、部分的に)実現されてもよい。これらは、少なくとも幾つかのユーザ入力(例えば、工場において、又は、消費者の入力、又は、他の人間の入力)が、提示され得るという意味で、半自動であり得る。
我々の提示から当業者は、どのコンポーネントが、オプションの改善であり、他のコンポーネントとの組み合わせで実現可能か、さらに、方法の(オプションの)ステップが、各手段の装置に対応するか、及び、その逆について、理解可能であろう。幾つかのコンポーネントが本発明において特定の関係で(例えば、特定の構成において単一の図で)開示されているという事実は、本発明のために開示された同一の発明思想の下における実施形態として他の構成が可能でないことを意味しない。また、実用的な理由のために、限られた範囲の例が説明されてきたという事実は、他の変形例が、本発明の範囲にないことを意味しない。実際、本発明のコンポーネントは、任意の使用チェインに沿った様々な変形例において実現されることができ、例えば、エンコーダなどの作成側の全ての変形例は、デコーダなどの分解システムの消費者側における対応する装置と同様又は対応していてもよく、その逆もまた然りである。本実施形態の幾つかのコンポーネントは、送信のための信号における特定の信号データとして符号化されてもよく、又は、エンコーダとデコーダとの間の任意の送信技術における座標などを用いてもよい。本出願において「装置」なる用語は、最も広い意味で使用され、特定の目的の実現を可能とする手段のグループであり、従って、例えば、IC(の小さい部分)、又は、(ディスプレイを有する機器などの)専用機器、又は、ネットワークシステムの一部などであってもよい。「構成」又は「システム」も、最も広い意味で使用され、このため、それは、とりわけ、単一の物理的に購入可能な装置、装置の一部、協働する装置(の一部)の集合などを有していてもよい。
様々な処理及びフォーマット関数が、コンピュータ読み取り可能な媒体上に供給され得るソフトウェアにおいて実装されてもよい。コンピュータプログラム製品が示すものは、プロセッサにコマンドを入力し、本発明の任意の特徴的な関数を実行する、(中間言語、及び、最終的な言語への変換などの、中間的な変換ステップを含んでいてもよい)一連のローディングステップの後に、汎用又は専用のプロセッサを可能とするコマンドの集合の任意の物理的な実現を強調するために理解されるべきである。特に、コンピュータプログラム製品は、例えば、ディスク、又は、テープ、メモリにおいて提示されるデータ、有線又は無線ネットワーク接続を介して伝播するデータ、又は、紙上に記録されたプログラムコードなどのキャリア上のデータとして実現されてもよい。プログラムコードとは別に、プログラムのために必要な特徴的なデータが、コンピュータプログラム製品として実現されてもよい。かかるデータは、任意の方法で、(部分的に)供給され得る。
本実施形態は、光ディスク、フラッシュメモリ、リムーバブルハードディスク、無線手段を介して書き込み可能な携帯装置などの取り外し可能なメモリであり得るデータ媒体上の信号として実現されてもよい。
任意の提示された方法の動作のために必要な幾つかのステップは、前述のコンピュータプログラム製品、又は、任意のユニット、装置、又は、データ入出力ステップなどのここで説明された方法、よく知られた一般的に標準ディスプレイ駆動などの一体的な処理ステップなどの代わりに、本発明のプロセッサ又は任意の装置の実施形態の機能において既に提示されていてもよい。また、我々は、かかる信号の任意の新規の使用、又は、任意の関連する方法と同様に、上記方法の任意のステップに含まれる特有の新規な信号、又は、装置の任意のサブ部分などの、最終的な製品及び同様の最終生成物のための保護を求める。
上記実施形態は、例示のためであって、本発明を限定するものではないことに留意すべきである。当業者は、容易に、提示された例の請求項の他の領域に対するマッピングを理解することができ、我々は、簡潔性のために、全てのこれらのオプションについて詳細には説明していない。請求項中で組み合わせられるような本発明の要素の組み合わせとは別に、当該要素の他の組み合わせが可能である。要素の任意の組み合わせが、単一の専用要素において理解されることができる。
請求項中の括弧内の任意の参照符号も図面中の任意の特定のシンボルも、請求項を限定するためのものとして意図されていない。「有する」なる用語は、請求項において挙げられていない要素又は態様の存在を除外しない。要素が単数形であることは、かかる要素の複数の存在を除外しない。

Claims (10)

  1. 標準化された転送フォーマットに従った転送のためにフォーマットされた映像信号を供給する方法であって、前記標準化された転送フォーマットは、選択可能な基本ストリーム、及び、前記標準化された転送フォーマットに従った共通構造を持ち、前記基本ストリームの選択された組み合わせにおいてレンダリングされるオーディオビジュアルコンテンツを表す基本ストリームを示すエントリを持つストリーム情報を規定しており、各基本ストリームは、映像コンテンツ、オーディオコンテンツ、グラフィックコンテンツのいずれかを表しており、
    前記フォーマットされた映像信号は、輝度及び/又は色の標準範囲を持つ標準映像に対し、輝度及び/又は色の拡張範囲を持つ拡張映像を表しており、前記標準範囲は、前記標準化された転送フォーマットにおいて規定されており、
    前記方法は、
    前記標準映像と前記拡張映像との間の変換を表す映像処理メタデータを供給するために、入力映像を処理するとともに、前記標準映像を表す一次映像基本ストリームを生成するステップ、又は、
    前記拡張映像と前記標準映像との間の変換を表す映像処理メタデータを供給するために、入力映像を処理するとともに、前記拡張映像を表す一次映像基本ストリームを生成するステップ
    を有し、
    前記方法は、更に、
    前記共通構造を持つがオーディオビジュアルコンテンツを有さず、前記選択された組み合わせをレンダリングする際の変換のための前記映像処理メタデータを有する映像処理基本ストリームを生成するステップと、
    前記一次映像基本ストリームを示すエントリ及び前記映像処理基本ストリームを示すエントリを少なくとも有する拡張ストリーム情報を生成するステップと、
    前記一次映像基本ストリーム、前記映像処理基本ストリーム、及び、前記拡張ストリーム情報を有する前記フォーマットされた映像信号を生成するステップと、
    を有し、
    前記映像処理基本ストリームにおける前記映像処理メタデータが、複数の異なる処理記述子を有する拡張範囲情報フィールドを有し、各処理記述子が、各データタイプのための変換を規定し、前記データタイプが、映像と、グラフィック及びサブタイトルのうちの少なくとも1つと、を有する、方法。
  2. 前記方法が、前記変換のために、前記一次映像基本ストリームにおける前記映像に対して可逆マッピングを適用することによって可逆的な変形を適用するステップを有し、
    前記映像処理基本ストリームにおける前記映像処理メタデータが、前記マッピング上の情報を有する、請求項1記載の方法。
  3. 前記フォーマットされた映像信号は、第1の転送ストリーム及び第2の転送ストリームを持ち、前記方法は、
    前記第1の転送ストリームにおいて、前記一次映像基本ストリームを含み、
    前記第2の転送ストリームにおいて、前記映像処理基本ストリームを含む、請求項1又は2に記載の方法。
  4. 前記方法は、
    媒体を介して、前記第1の転送ストリームを転送するステップと、
    ネットワークを介して、前記第2の転送ストリーム及び前記拡張ストリーム情報を転送するステップと、
    を有する、請求項3記載の方法。
  5. 標準化された転送フォーマットに従った転送のためにフォーマットされた映像信号を供給するための映像処理装置であって、前記標準化された転送フォーマットは、選択可能な基本ストリーム、及び、前記標準化された転送フォーマットに従った共通構造を持ち、前記基本ストリームの選択された組み合わせにおいてレンダリングされるオーディオビジュアルコンテンツを表す基本ストリームを示すエントリを持つストリーム情報を規定しており、各基本ストリームは、映像コンテンツ、オーディオコンテンツ、グラフィックコンテンツのいずれかを表しており、
    前記フォーマットされた映像信号は、標準範囲を持つ標準映像コンテンツに対し、輝度及び/又は色の拡張範囲を持つ拡張映像を表しており、前記標準範囲は、前記標準化された転送フォーマットにおいて規定されており、
    前記処理装置は、
    入力映像を処理するための映像処理ユニットと、
    前記フォーマットされた映像信号を生成するためのフォーマットユニットと、
    を有し、
    前記映像処理ユニット及び前記フォーマットユニットは、
    前記標準映像と前記拡張映像との間の変換を表す映像処理メタデータを供給するために、入力映像を処理するとともに、前記標準映像を表す一次映像基本ストリームを生成する、又は、
    前記拡張映像と前記標準映像との間の変換を表す映像処理メタデータを供給するために、入力映像を処理するとともに、前記拡張映像を表す一次映像基本ストリームを生成する、ように構成されており、
    前記フォーマットユニットは、更に、
    前記共通構造を持つがオーディオビジュアルコンテンツを有さず、前記選択された組み合わせをレンダリングする際の変換のための前記映像処理メタデータを有する映像処理基本ストリームを生成し、
    前記一次映像基本ストリームを示すエントリ及び前記映像処理基本ストリームを示すエントリを少なくとも有する拡張ストリーム情報を生成し、
    前記一次映像基本ストリーム、前記映像処理基本ストリーム、及び、前記拡張ストリーム情報を有する前記フォーマットされた映像信号を生成する、
    ように構成され、
    前記映像処理基本ストリームにおける前記映像処理メタデータが、複数の異なる処理記述子を有する拡張範囲情報フィールドを有し、各処理記述子が、各データタイプのための変換を規定し、前記データタイプが、映像と、グラフィック及びサブタイトルのうちの少なくとも1つと、を有する、映像処理装置。
  6. 標準化された転送フォーマットに従ってフォーマットされた映像信号を処理するための映像再生器であって、前記標準化された転送フォーマットは、選択可能な基本ストリーム、及び、前記標準化された転送フォーマットに従った共通構造を持ち、前記基本ストリームの選択された組み合わせにおいてレンダリングされるオーディオビジュアルコンテンツを表す基本ストリームを示すエントリを持つストリーム情報を規定しており、各基本ストリームは、映像コンテンツ、オーディオコンテンツ、グラフィックコンテンツのいずれかを表しており、
    前記フォーマットされた映像信号は、標準範囲を持つ標準映像コンテンツに対し、輝度及び/又は色の拡張範囲を持つ拡張映像を表しており、前記標準範囲は、前記標準化された転送フォーマットにおいて規定されており、
    前記フォーマットされた映像信号は、
    前記共通構造を持つがオーディオビジュアルコンテンツを有さず、前記選択された組み合わせをレンダリングする際の変換のための映像処理メタデータを有する映像処理基本ストリームと、
    前記標準映像を表す一次映像基本ストリーム、及び、前記標準映像と前記拡張映像との間の変換を表す前記映像処理メタデータ、あるいは、
    前記拡張映像を表す一次映像基本ストリーム、及び、前記拡張映像と前記標準映像との間の変換を表す前記映像処理メタデータ、を有し、
    前記フォーマットされた映像信号は、更に、
    前記一次映像基本ストリームを示すエントリと、前記映像処理基本ストリームを示すエントリとを少なくとも有する拡張ストリーム情報を有し、前記映像処理基本ストリームにおける前記映像処理メタデータが、複数の異なる処理記述子を有する拡張範囲情報フィールドを有し、各処理記述子が、各データタイプのための変換を規定し、前記データタイプが、映像と、グラフィック及びサブタイトルのうちの少なくとも1つと、を有し、
    前記再生器は、
    前記フォーマットされた映像信号を受信し、前記拡張ストリーム情報及び前記映像処理メタデータを抽出するための入力ユニットと、
    映像処理基本ストリームを示す前記拡張ストリーム情報エントリに依存して、前記拡張ストリーム情報を処理し、前記の各処理記述子を使用する一方、前記映像処理メタデータに従って前記一次映像を処理することによって、前記一次映像基本ストリームから、ターゲットディスプレイ装置の輝度及び/又は色レンダリング性能に適合したターゲット映像に、一次映像を変換するための処理ユニットと、
    を有する、映像再生器。
  7. 前記変換が、前記一次映像基本ストリームにおける前記映像に対して可逆マッピングを適用することによる可逆的変形であり、前記映像処理基本ストリームにおける前記映像処理メタデータが、前記マッピング上の情報を有し、
    前記処理ユニットが、前記映像処理メタデータに従って前記マッピングを適用することによって前記変換のために構成されている、請求項6記載の映像再生器。
  8. 前記フォーマットされた映像信号は、前記一次映像基本ストリーム及び前記映像処理基本ストリームを含む転送ストリームを有し、
    前記入力ユニットは、前記転送ストリームを受信し、前記転送ストリームから、前記一次映像基本ストリーム及び前記映像処理基本ストリームを抽出するように構成されている、あるいは、
    前記フォーマットされた映像信号は、前記一次映像基本ストリームを含む第1の転送ストリームと、前記映像処理基本ストリームを含む第2の転送ストリームと、を有し、
    前記入力ユニットは、前記第1及び第2の転送ストリームを受信し、前記第1の転送ストリームから、前記一次映像基本ストリームを抽出するとともに、前記第2の転送ストリームから、前記映像処理基本ストリームを抽出するように構成されている、請求項6又は7に記載の映像再生器。
  9. 前記入力ユニットは、光記録媒体を読み出し、
    記転送ストリーム、又は、
    記第1の転送ストリーム、又は、
    記第1の転送ストリーム及び前記第2の転送ストリーム、
    を抽出するための光ディスクユニットを有する、請求項8に記載の映像再生器。
  10. 前記入力ユニットは、サーバからローカルストレージに、前記映像処理基本ストリーム及び前記拡張ストリーム情報をダウンロードするためのネットワークインタフェースを有し、
    前記処理ユニットは、以前に受信したストリーム情報を前記拡張ストリーム情報で置き換えるように構成されている、請求項6乃至9のいずれか1項に記載の映像再生器
JP2016526662A 2013-07-19 2014-07-21 Hdrメタデータ転送 Expired - Fee Related JP6419807B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13177150 2013-07-19
EP13177150.3 2013-07-19
PCT/EP2014/065579 WO2015007910A1 (en) 2013-07-19 2014-07-21 Hdr metadata transport

Publications (3)

Publication Number Publication Date
JP2016528800A JP2016528800A (ja) 2016-09-15
JP2016528800A5 JP2016528800A5 (ja) 2017-08-17
JP6419807B2 true JP6419807B2 (ja) 2018-11-07

Family

ID=48793992

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016526662A Expired - Fee Related JP6419807B2 (ja) 2013-07-19 2014-07-21 Hdrメタデータ転送

Country Status (7)

Country Link
US (1) US10515667B2 (ja)
EP (1) EP3022935A1 (ja)
JP (1) JP6419807B2 (ja)
CN (1) CN105409225B (ja)
MX (1) MX2016000645A (ja)
RU (1) RU2654049C2 (ja)
WO (1) WO2015007910A1 (ja)

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3169072A4 (en) 2014-07-11 2017-11-15 LG Electronics Inc. -1- Method and device for transmitting and receiving broadcast signal
US10582269B2 (en) 2014-07-11 2020-03-03 Lg Electronics Inc. Method and device for transmitting and receiving broadcast signal
WO2016017961A1 (ko) * 2014-07-29 2016-02-04 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
JP2016062637A (ja) 2014-09-12 2016-04-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 記録媒体、再生装置、および再生方法
US10362287B2 (en) * 2014-09-12 2019-07-23 Sony Corporation Information processing apparatus, information processing method and program, and recording medium
JP2016100039A (ja) * 2014-11-17 2016-05-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 記録媒体、再生方法、および再生装置
US9560330B2 (en) * 2015-01-09 2017-01-31 Vixs Systems, Inc. Dynamic range converter with reconfigurable architecture and methods for use therewith
US9860504B2 (en) 2015-01-09 2018-01-02 Vixs Systems, Inc. Color gamut mapper for dynamic range conversion and methods for use therewith
US9589313B2 (en) * 2015-01-09 2017-03-07 Vixs Systems, Inc. Dynamic range converter with pipelined architecture and methods for use therewith
US9558538B2 (en) * 2015-01-09 2017-01-31 Vixs Systems, Inc. Dynamic range converter with frame by frame adaptation and methods for use therewith
US9544560B2 (en) * 2015-01-09 2017-01-10 Vixs Systems, Inc. Dynamic range converter with generic architecture and methods for use therewith
JP6536914B2 (ja) * 2015-01-23 2019-07-03 ソニー株式会社 再生装置、情報処理方法、およびプログラム
EP3255892B1 (en) * 2015-02-03 2021-12-29 Sony Group Corporation Transmitting device, transmitting method, receiving device, and receiving method
WO2016129891A1 (ko) * 2015-02-11 2016-08-18 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
JP6863271B2 (ja) * 2015-02-16 2021-04-21 ソニーグループ株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
US10595099B2 (en) * 2015-04-05 2020-03-17 Lg Electronics Inc. Method and device for transmitting and receiving broadcast signal for broadcast service on basis of XML subtitle
US20160307603A1 (en) * 2015-04-15 2016-10-20 Sony Corporation Information processing device, information recording medium, information processing method, and program
US10616617B2 (en) * 2015-04-23 2020-04-07 Lg Electronics Inc. Method and apparatus for transmitting or receiving broadcast signal
KR102337159B1 (ko) * 2015-05-21 2021-12-08 삼성전자주식회사 컨텐츠 출력 장치 및 방법과, 디스플레이 장치
JP6519329B2 (ja) 2015-06-09 2019-05-29 ソニー株式会社 受信装置、受信方法、送信装置および送信方法
CN107950031B (zh) * 2015-09-11 2021-02-19 松下知识产权经营株式会社 影像接收方法以及影像接收装置
JP6519441B2 (ja) 2015-10-22 2019-05-29 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP6624889B2 (ja) * 2015-10-30 2019-12-25 キヤノン株式会社 映像処理装置、映像処理方法、及び映像処理プログラム
EP3375194A1 (en) * 2015-11-09 2018-09-19 Thomson Licensing Method and device for adapting the video content decoded from elementary streams to the characteristics of a display
JP6872098B2 (ja) * 2015-11-12 2021-05-19 ソニーグループ株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP6237797B2 (ja) 2016-01-05 2017-11-29 ソニー株式会社 ビデオシステム、ビデオ処理方法、プログラム、およびビデオコンバーター
US10257394B2 (en) * 2016-02-12 2019-04-09 Contrast, Inc. Combined HDR/LDR video streaming
US10264196B2 (en) 2016-02-12 2019-04-16 Contrast, Inc. Systems and methods for HDR video capture with a mobile device
JP6844112B2 (ja) 2016-03-17 2021-03-17 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
CN113593500B (zh) * 2016-05-27 2024-02-13 杜比实验室特许公司 图形数据融合方法、数据映射方法、以及设备
CA3033242A1 (en) 2016-08-09 2018-02-15 Contrast, Inc. Real-time hdr video for vehicle control
JP6892240B2 (ja) * 2016-10-26 2021-06-23 マクセル株式会社 コンテンツの出力方法
JP6739315B2 (ja) * 2016-10-27 2020-08-12 マクセル株式会社 コンテンツの出力方法
JP6885707B2 (ja) * 2016-11-02 2021-06-16 マクセル株式会社 コンテンツの出力方法
CN109691122B (zh) 2016-09-12 2022-08-09 麦克赛尔株式会社 广播接收装置
JP6927680B2 (ja) * 2016-09-13 2021-09-01 マクセル株式会社 受信装置
JP6892239B2 (ja) * 2016-10-24 2021-06-23 マクセル株式会社 コンテンツの出力方法
JP6909344B2 (ja) * 2016-09-12 2021-07-28 マクセル株式会社 コンテンツの保護方法
JP6913801B2 (ja) * 2016-09-12 2021-08-04 マクセル株式会社 コンテンツの保護方法
JP7164754B1 (ja) * 2016-09-13 2022-11-01 マクセル株式会社 コンテンツの出力方法
JP7166485B2 (ja) * 2016-09-13 2022-11-07 マクセル株式会社 コンテンツの出力方法
JP7164755B1 (ja) * 2016-09-13 2022-11-01 マクセル株式会社 コンテンツの保護方法
US11183147B2 (en) 2016-10-07 2021-11-23 Sony Semiconductor Solutions Corporation Device and method for processing video content for display control
WO2018070255A1 (ja) * 2016-10-11 2018-04-19 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN109691117B (zh) * 2017-07-07 2022-05-27 松下知识产权经营株式会社 影像处理系统及影像处理方法
US11265530B2 (en) 2017-07-10 2022-03-01 Contrast, Inc. Stereoscopic camera
US11533450B2 (en) 2017-09-25 2022-12-20 Comcast Cable Communications, Llc Anti-piracy video transmission and display
JP6753386B2 (ja) * 2017-10-25 2020-09-09 ソニー株式会社 カメラシステム、ビデオ処理方法およびプログラム
CN111567048A (zh) * 2017-11-08 2020-08-21 交互数字Vc控股公司 对图像进行处理
US10630934B2 (en) 2017-12-11 2020-04-21 Disney Enterprises, Inc. High dynamic range enhancement authorization
EP3525463A1 (en) * 2018-02-13 2019-08-14 Koninklijke Philips N.V. System for handling multiple hdr video formats
CN111684792B (zh) * 2018-02-16 2022-08-09 夏普Nec显示器解决方案株式会社 视频显示装置、视频显示方法和视频信号处理装置
EP3534610A1 (en) 2018-02-28 2019-09-04 Koninklijke Philips N.V. Hdr metadata protection
US10951888B2 (en) 2018-06-04 2021-03-16 Contrast, Inc. Compressed high dynamic range video
EP3588964A1 (en) 2018-06-26 2020-01-01 InterDigital VC Holdings, Inc. Metadata translation in hdr distribution
US11388447B2 (en) * 2018-07-20 2022-07-12 Interdigital Vc Holdings, Inc. Method and apparatus for processing a medium dynamic range video signal in SL-HDR2 format
CN110830834A (zh) * 2018-08-09 2020-02-21 北京优酷科技有限公司 弹幕信息颜色的调整方法及装置
EP3672267A1 (en) * 2018-12-20 2020-06-24 InterDigital VC Holdings, Inc. Methods for processing audio and/or video contents and corresponding signal, devices, electronic assembly, system, computer readable program products and computer readable storage media
JP7344654B2 (ja) * 2019-03-07 2023-09-14 キヤノン株式会社 撮像装置及び再生装置及びそれらの制御方法及びプログラム
JP6958645B2 (ja) * 2019-04-25 2021-11-02 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
JP7370762B2 (ja) * 2019-08-20 2023-10-30 キヤノン株式会社 撮像装置およびその制御方法
JP6854949B2 (ja) * 2020-06-10 2021-04-07 マクセル株式会社 コンテンツの保護方法
JP6854950B2 (ja) * 2020-06-10 2021-04-07 マクセル株式会社 コンテンツの保護方法
JP6854952B2 (ja) * 2020-06-10 2021-04-07 マクセル株式会社 コンテンツの保護方法
JP6854951B2 (ja) * 2020-06-10 2021-04-07 マクセル株式会社 コンテンツの保護方法
JP6854947B2 (ja) * 2020-06-10 2021-04-07 マクセル株式会社 コンテンツの保護方法
JP6854948B2 (ja) * 2020-06-10 2021-04-07 マクセル株式会社 コンテンツの保護方法
JP7163531B2 (ja) * 2020-08-13 2022-10-31 マクセル株式会社 受信装置
JP7119186B2 (ja) * 2020-08-13 2022-08-16 マクセル株式会社 受信装置
JP7162770B2 (ja) * 2020-08-13 2022-10-28 マクセル株式会社 コンテンツの保護方法
US11949926B2 (en) 2020-11-18 2024-04-02 Samsung Electronics Co., Ltd. Content sharing method and device
CN112422561B (zh) * 2020-11-18 2023-04-07 三星电子(中国)研发中心 一种内容分享方法和装置方法
US11544826B2 (en) * 2021-04-30 2023-01-03 Realnetworks, Inc. Intelligent metadata service for video enhancement

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1973294A1 (en) * 2001-01-30 2008-09-24 Electronics and Telecommunications Research Institute Method and apparatus for delivery of metadata synchronized to multimedia contents
US7142723B2 (en) * 2003-07-18 2006-11-28 Microsoft Corporation System and process for generating high dynamic range images from multiple exposures of a moving scene
KR101328547B1 (ko) * 2004-11-01 2013-11-13 테크니컬러, 인크. 향상된 컬러 공간 콘텐츠를 마스터하고 분배하는 방법 및 시스템
JP2006287364A (ja) * 2005-03-31 2006-10-19 Toshiba Corp 信号出力装置及び信号出力方法
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
US20110154426A1 (en) * 2008-08-22 2011-06-23 Ingo Tobias Doser Method and system for content delivery
WO2010058547A1 (ja) * 2008-11-18 2010-05-27 パナソニック株式会社 特殊再生を考慮した再生装置、集積回路、再生方法
EP2406943B1 (en) * 2009-03-10 2016-06-15 Dolby Laboratories Licensing Corporation Extended dynamic range and extended dimensionality image signal conversion
JP5338394B2 (ja) * 2009-03-10 2013-11-13 日本電気株式会社 映像配信システム、映像配信方法、映像配信装置及び映像配信プログラム
WO2012021705A2 (en) 2010-08-11 2012-02-16 Checkpoint Systems, Inc. Security device for products on display packaging
KR102114701B1 (ko) * 2011-01-18 2020-05-25 에이치에스엔아이 엘엘씨 미디어 데이터에 있는 아이템을 인식하고 이와 관련된 정보를 전달하기 위한 시스템 및 방법
JP6009538B2 (ja) 2011-04-28 2016-10-19 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. Hdr画像を符号化及び復号するための装置及び方法
JP2012235308A (ja) * 2011-04-28 2012-11-29 Sony Corp 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
US9060180B2 (en) 2011-06-10 2015-06-16 Dolby Laboratories Licensing Corporation Drift-free, backwards compatible, layered VDR coding
MX340266B (es) 2011-06-14 2016-07-04 Koninklijke Philips Nv Procesamiento de graficos para video de intervalo dinamico alto.
US11640656B2 (en) 2011-09-27 2023-05-02 Koninklijke Philips N.V. Apparatus and method for dynamic range transforming of images
EP2603000B1 (en) * 2011-12-08 2017-11-01 Dolby Laboratories Licensing Corporation Guided prediction-filtering in layered vdr image coding

Also Published As

Publication number Publication date
WO2015007910A1 (en) 2015-01-22
JP2016528800A (ja) 2016-09-15
EP3022935A1 (en) 2016-05-25
MX2016000645A (es) 2016-05-26
US20160163356A1 (en) 2016-06-09
CN105409225B (zh) 2019-09-17
RU2654049C2 (ru) 2018-05-16
CN105409225A (zh) 2016-03-16
US10515667B2 (en) 2019-12-24
RU2016105434A (ru) 2017-08-24

Similar Documents

Publication Publication Date Title
JP6419807B2 (ja) Hdrメタデータ転送
US11310507B2 (en) Data output apparatus, data output method, and data generation method
US11140354B2 (en) Method for generating control information based on characteristic data included in metadata
JP6573238B2 (ja) 表示装置、変換装置、表示方法、および、コンピュータプログラム
JP6566271B2 (ja) 伝送方法及び再生装置
JP6928885B2 (ja) 表示装置、表示方法及びコンピュータプログラム
JP7170236B2 (ja) 再生装置
JP6751893B2 (ja) 再生方法、再生装置、表示方法及び表示装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170706

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170706

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180925

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181010

R150 Certificate of patent or registration of utility model

Ref document number: 6419807

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees