JP7180610B2 - 再生装置、再生方法、およびプログラム - Google Patents

再生装置、再生方法、およびプログラム Download PDF

Info

Publication number
JP7180610B2
JP7180610B2 JP2019554159A JP2019554159A JP7180610B2 JP 7180610 B2 JP7180610 B2 JP 7180610B2 JP 2019554159 A JP2019554159 A JP 2019554159A JP 2019554159 A JP2019554159 A JP 2019554159A JP 7180610 B2 JP7180610 B2 JP 7180610B2
Authority
JP
Japan
Prior art keywords
picture
random access
playback
metadata
reproduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019554159A
Other languages
English (en)
Other versions
JPWO2019098054A1 (ja
Inventor
幸一 内村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019098054A1 publication Critical patent/JPWO2019098054A1/ja
Priority to JP2022184065A priority Critical patent/JP7435704B2/ja
Application granted granted Critical
Publication of JP7180610B2 publication Critical patent/JP7180610B2/ja
Priority to JP2024013035A priority patent/JP2024045366A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/12Formatting, e.g. arrangement of data block or words on the record carriers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/309Table of contents
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614Multiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • H04N21/42646Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8233Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal

Description

本技術は、再生装置、再生方法、およびプログラムに関し、特に、ランダムアクセス時の不自然な輝度の変化を防ぐことができるようにした再生装置、再生方法、およびプログラムに関する。
Ultra HD Blu-ray(登録商標) Disc(UHD BD)は、ダイナミックレンジを拡張したビデオであるHDR(High Dynamic Range)ビデオの収録に対応したBD規格である。SDR(Standard Dynamic Range)ビデオの最高輝度が100nits(100cd/m2)であるのに対し、HDRビデオの最高輝度は、それを超える例えば10000nitsである。
HDRビデオストリームのメタデータとして、ピクチャ(フレーム)単位の輝度情報を含むメタデータであるDynamic metadataがSMPTE ST 2094で規定されている。Dynamic metadataを付加したHDRビデオストリームの再生時、プレーヤ側からTV側には、各ピクチャとともにDynamic metadataが伝送される。
TV側においては、ディスプレイの最高輝度がHDRビデオの輝度より低い場合、BDプレーヤから伝送されてきたDynamic metadataに基づいて、HDRビデオの輝度を圧縮するための処理が行われる。
特開2017-139052号公報
HDRビデオの再生中にランダムアクセスが生じることがある。ランダムアクセスは、倍速での早送り再生/巻き戻し再生である特殊再生(トリックプレイ)、チャプタジャンプ(頭出し)などの、区間をジャンプして行う再生である。これらの特殊再生、チャプタジャンプがユーザにより指示された場合、ランダムアクセスが生じる。
Dynamic metadataが付加されていないといったように、ランダムアクセスによるジャンプ先のピクチャの状態によっては、輝度の変化が不自然なものになることがある。
本技術はこのような状況に鑑みてなされたものであり、ランダムアクセス時の不自然な輝度の変化を防ぐことができるようにするものである。
本技術の一側面の再生装置は、ピクチャの輝度情報を含む動的メタデータが付加されたビデオストリームのランダムアクセス再生を行う再生部と、ランダムアクセス再生が行われていることを表す所定の情報を前記ピクチャに重畳して表示させる場合、ランダムアクセスポイントの前記ピクチャに、ランダムアクセス再生時の輝度調整に用いるランダムアクセス再生時用のメタデータを付加し、前記ランダムアクセス再生時用のメタデータを付加した前記ピクチャを表示装置に出力する出力制御部とを備える。
本技術の一側面においては、ピクチャの輝度情報を含む動的メタデータが付加されたビデオストリームのランダムアクセス再生が行われ、ランダムアクセス再生が行われていることを表す所定の情報を前記ピクチャに重畳して表示させる場合、ランダムアクセスポイントの前記ピクチャに、ランダムアクセス再生時の輝度調整に用いるランダムアクセス再生時用のメタデータが付加され、前記ランダムアクセス再生時用のメタデータが付加された前記ピクチャが表示装置に出力される。
本技術によれば、ランダムアクセス時の不自然な輝度の変化を防ぐことができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
HDRコンテンツの再生システムの構成例を示す図である。 HDRビデオの輝度圧縮に用いられるトーンカーブの例を示す図である。 SMPTE ST 2094-40で規定されるDynamic metadataを示す図である。 BDのファイル構造を示す図である。 AVストリームの構造の例を示す図である。 Dynamic metadataの伝送例を示す図である。 ランダムアクセス再生の例を示す図である。 ランダムアクセス再生時の表示例を示す図である。 HDRビデオストリームを構成するGOPの例を示す図である。 BD-ROMフォーマットにおけるAVストリームの管理構造の例を示す図である。 Main PathとSub Pathの構造を示す図である。 ファイルの管理構造の例を示す図である。 記録装置の構成例を示すブロック図である。 図13のコントローラの機能構成例を示すブロック図である。 再生装置の構成例を示すブロック図である。 TVの構成例を示すブロック図である。 記録装置の記録処理について説明するフローチャートである。 再生装置の再生処理について説明するフローチャートである。 HDRビデオストリームの例を示す図である。 Clip Informationのシンタクスを示す図である。 CPI()のシンタクスを示す図である。 EP_map()のシンタクスを示す図である。 EP_map_for_one_stream_PIDのシンタクスを示す図である。 記録装置の記録処理について説明するフローチャートである。 ランダムアクセス再生時のメタデータの伝送例を示す図である。 輝度圧縮後の表示を示す図である。 図15のコントローラの機能構成例を示すブロック図である。 再生装置の他の再生処理について説明するフローチャートである。 TVの表示処理について説明するフローチャートである。 ランダムアクセス再生の例を示す図である。 再生装置のさらに他の再生処理について説明するフローチャートである。 HDRコンテンツの再生システムの構成例を示す図である。 再生装置の他の構成例を示す図である。 HDRコンテンツの他の再生システムの構成例を示す図である。 コンピュータの構成例を示すブロック図である。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
1.HDRビデオ用のメタデータ
2.ランダムアクセス再生時の輝度変化
3.第1の実施の形態(符号化の制限の例)
4.第2の実施の形態(デフォルトメタデータを用いる例)
5.再生システムの構成例
6.その他の例
<<HDRビデオ用のメタデータ>>
図1は、HDRコンテンツの再生システムの構成例を示す図である。
図1の再生システムは、再生装置1とTV(テレビジョン受像機)2が、HDMI(登録商標)(High-Definition Multimedia Interface) 2.0a,HDMI 2.1などの所定の規格のケーブルで接続されることによって構成される。再生装置1とTV2が、無線のインタフェースを介して接続されるようにしてもよい。
再生装置1は、UHD BDプレーヤなどの、HDRコンテンツの再生に対応した装置である。再生装置1のドライブには、HDRコンテンツを記録したBDが装着される。再生装置1が再生するコンテンツには、HDRビデオのデータの他に、オーディオデータも含まれる。
TV2は、放送波やネットワークを伝送路として伝送されてきた番組を受信して表示する機能の他に、外部から入力されたビデオを表示する機能を有する。TV2が有する表示デバイスは、輝度が100nitsを超えるHDRビデオの表示に対応したディスプレイである。
HDRビデオの伝送を開始する前、再生装置1とTV2は、それぞれの性能に関する情報を送受信するなどして、HDMIの伝送設定(configuration)を行う。例えば、再生装置1からTV2に対しては、HDRビデオの伝送を行うことが通知される。また、TV2から再生装置1に対しては、TV2のディスプレイの最高輝度が通知される。
伝送設定の後、再生装置1は、BDから読み出したHDRビデオストリームをデコードし、HDRビデオの各ピクチャをTV2に出力する。TV2は、再生装置1から伝送されてきた各ピクチャを受信し、表示させる。
このとき、TV2においては、ディスプレイの性能に応じて、適宜、再生装置1から伝送されてきたHDRビデオの輝度を調整(圧縮)する処理が行われる。輝度圧縮は、再生装置1が出力するHDRビデオの輝度が、TV2のディスプレイの最高輝度より高い場合に行われる。
図1の例においては、再生装置1が出力するHDRビデオの輝度が1000nitsであり、TV2のディスプレイの最高輝度が500nitsであるものとされている。
図2は、HDRビデオの輝度圧縮に用いられるトーンカーブの例を示す図である。
図2の横軸は入力信号の輝度を表し、縦軸は出力(表示)の輝度を表す。例えば、SMPTE ST 2084で規定されるPQ(Perceptual Quantization)カーブを用いたEOTF(Electro-Optical Transfer Function)処理がTV2側で行われ、HDRビデオの輝度が、ディスプレイの最高輝度である500nitsの範囲に収まるように圧縮される。
なお、図2において矢印の先に示す、明暗の表現がリニアではなくなるポイントが、knee pointと呼ばれる。
このように、図1の再生システムにおいては、再生装置1が出力するHDRビデオの輝度に対してTV2のディスプレイが十分な輝度を有していない場合、TV2側で輝度圧縮が行われる。
再生装置1からTV2に対しては、輝度圧縮のための補助情報として、コンテンツの輝度情報を含むメタデータが伝送される。例えば、Dynamic metadataが再生装置1からTV2に対して伝送される。
Dynamic metadataは、コンテンツの輝度情報をピクチャ単位で動的に表現するメタデータであり、SMPTE ST 2094として標準化されている。
図3は、SMPTE ST 2094-40で規定されるDynamic metadataを示す図である。
図3の1行目に示すように、Dynamic metadataには、フレームに設定されたWindowの情報が記述される。Windowは、フレーム内に設定された矩形領域である。1フレーム内に最大3つのWindowを設定することが可能とされる。
2~14行目に示す各パラメータが、フレームに設定されたWindow毎に記述される。
Window size, Window locationは、Windowのサイズと位置を示す。
Internal Ellipse size, Internal Ellipse locationは、Window内に設定された2つの楕円のうちの内側の楕円のサイズと位置を示す。Window内に楕円を設定し、楕円内の輝度を指定することができるようになされている。
External Ellipse size, External Ellipse locationは、Window内に設定された2つの楕円のうちの外側の楕円のサイズと位置を示す。
Rotation angleは、Window内に設定された2つの楕円の傾きを示す。
Overlap process optionは、楕円内の画素の処理方法を示す。
maxsclは、Windowの中の最も明るいピクセルのRGB値を示す。
average max rgbは、Windowの中の各ピクセルのR,G,Bの中の最も大きい値の平均を示す。
Distribution max rgb percentagesは、Windowの中の明るい輝度のランキングをパーセンテージにより示す。
Distribution max rgb percentilesは、Windowの中の明るい輝度のランキングを順位(パーセンタイル)により示す。
Fraction bright pixelsは、シーン内の最大の輝度値が出画される程度を示す。
Knee pointは、上述したknee pointの輝度値を示す。
Bezier curve anchorsは、knee pointを超える明るさのサンプルx,yを示す。
Color saturation weightは、想定するディスプレイ(Target display)において輝度圧縮を行った際に変化したRGB値の補正に用いる値を示す。
Target System display max luminanceは、想定するディスプレイの輝度を示す。Target System display max luminanceにより、こういうディスプレイで表示されることを想定してコンテンツを作ったということが指定される。
Local display luminanceは、ディスプレイを縦横2×2から25×25までのエリアに分割した場合の、それぞれのエリアの最大の輝度値を示す。
Local mastering display luminanceは、mastering displayを縦横2×2から25×25までのエリアに分割した場合の、それぞれのエリアの最大の輝度値を示す。
このように、Dynamic metadataにおいては、1~15行目のパラメータによってフレーム(フレーム内のWindow)の属性が示される。また、16行目と17行目のパラメータによって、想定するディスプレイの属性が示され、18行目のパラメータによって、コンテンツの作成に用いられたディスプレイの属性が示される。
図4は、BDのファイル構造を示す図である。
図4の光ディスク11は、HDRビデオのコンテンツをBDフォーマットで記録した記録媒体である。
詳細については後述するが、BDMVディレクトリの下に設定されるSTREAMディレクトリには、m2tsの拡張子が設定されたAVストリームファイルが格納される。
AVストリームファイルは、HDRビデオストリーム、オーディオストリーム、字幕ストリームなどをMPEG-2で多重化して得られたMPEG-2 TSのファイルである。図4の例においては、「01000.m2ts」、「02000.m2ts」、「03000.m2ts」のAVストリームファイルがSTREAMディレクトリに格納されている。
HDRビデオストリームは、例えばHEVC(High Efficiency Video Coding)の符号化ストリームである。Dynamic metadataは、HEVCのSEI(Supplemental Enhancement Information)メッセージとしてHDRビデオストリームに含まれる。
図5は、図4において枠F1で囲んで示す「03000.m2ts」のAVストリームの構造の例を示す図である。
図5の最上段に示すように、「03000.m2ts」のAVストリームは、ビデオ、オーディオ、字幕などのそれぞれのデータを格納するTS packetから構成される。ビデオのTS packetを集めてVideo Elementary streamが構成される。
Video Elementary streamはAccess Unitの並びから構成され、1つのAccess Unitが、HDRビデオの1ピクチャのデータとなる。それぞれのAccess Unitには、AU delimiterに続けて、SPS、PPSなどのパラメータが含まれるとともに、枠F11で囲んで示すように、SEIメッセージが含まれる。
SEIメッセージに、上述したDynamic metadataが含まれる。なお、SEIメッセージの次には、HDRビデオのデータがPicture dataとして含まれる。
このように、BDにおいては、Dynamic metadataは、各ピクチャに付加する形でHDRビデオストリームに含まれ、オーディオストリームなどとともに多重化される。
なお、HDRビデオストリームを構成するピクチャの中に、Dynamic metadataが付加されていないピクチャが含まれることもある。
図6は、Dynamic metadataの伝送例を示す図である。
図6に示すように、Dynamic metadataは、HDRビデオストリームをデコードして得られた各ピクチャに関連付けて、再生装置1からTV2に伝送される。TV2においては、各ピクチャの輝度圧縮が、各ピクチャとともに伝送されてきたDynamic metadataに基づいて行われる。
<<ランダムアクセス再生時の輝度変化>>
再生装置1は、ランダムアクセスを伴う再生方式であるランダムアクセス再生を行う機能を有する。
ランダムアクセスは、HDRビデオストリームを構成するピクチャの並びにおいて、再生対象とするピクチャを、あるピクチャから、隣接するピクチャ以外の他のピクチャにジャンプすることを意味する。
ランダムアクセス再生には、特殊再生と頭出し再生が含まれる。特殊再生は、5倍速、8倍速などの所定の倍速での早送り再生/巻き戻し再生を意味する。また、頭出し再生は、チャプタが設定されたピクチャや所定の時間後のピクチャにジャンプして、ジャンプ先のピクチャから再生を行う再生方式を意味する。
図7は、ランダムアクセス再生の例を示す図である。
例えば、再生対象となるピクチャがピクチャP1になったタイミングで頭出し再生が指示され、図7の矢印A1で示すように、ピクチャP1からピクチャP2にジャンプする場合について説明する。
頭出し再生が指示される前、ピクチャP1より前(左側)の各ピクチャは、それぞれに付加されているDynamic metadataとともにTV2に出力される。また、ピクチャP1は、ピクチャP1に付加されているDynamic metadataとともにTV2に出力される。
また、頭出し再生が指示された場合、ピクチャP2は、TV2側においてピクチャP2の輝度圧縮に用いるためのメタデータとともに出力される。ここで、双方向の矢印で示すように、ピクチャP2がDynamic metadataが付加されていない区間内のピクチャである場合、ピクチャP2とともに出力するメタデータとして各種のメタデータが考えられる。
例えば、ピクチャP2とともに、ジャンプ元のピクチャであるピクチャP1のDynamic metadataが再生装置1からTV2に出力されるようにすることが考えられる。この場合、TV2においては、ピクチャP2の輝度圧縮が、ピクチャP1のDynamic metadataに基づいて行われる。
また、ピクチャP2とともに、Dynamic metadataが付加されている、ピクチャP2の直前のピクチャであるピクチャP3のDynamic metadataが再生装置1からTV2に出力されるようにすることが考えられる。この場合、TV2においては、ピクチャP2の輝度圧縮が、ピクチャP3のDynamic metadataに基づいて行われる。
いずれの場合においても、HDRコンテンツの製作者の意図しない輝度圧縮がジャンプ先のピクチャP2に施されてしまう可能性がある。それにより、ピクチャP2の見え方が、HDRコンテンツの製作者が想定した見え方と異なる見え方になってしまう。
図8は、ランダムアクセス再生時の表示例を示す図である。
図8の横軸は時刻を表す。ピクチャP11,P12,P13の順に再生装置1からTV2に伝送され、TV2において輝度圧縮が行われる。
ピクチャP11,P12,P13のそれぞれには、例えば、8倍速での早送り再生がユーザにより指示されることに応じて、OSD画像p11,p12,p13が再生装置1において合成される。図8の例においては、早送り再生を表す2つの三角形の画像と、8倍速の文字を含む横長帯状の画像を組み合わせた画像がOSD画像として表示されている。
巻き戻し再生が指示された場合も同様のOSD画像が表示される。また、頭出し再生が指示された場合も、ジャンプ先のチャプタ番号を含むOSD画像などが表示される。
例えば、ピクチャP12が、ピクチャP11,P13よりも高輝度のシーンを構成するピクチャであるものとする。
OSD画像p11が合成されたピクチャP11の輝度圧縮は、ピクチャP11とともに伝送されたDynamic metadataにより表されるトーンカーブC1に基づいて行われる。OSD画像p12が合成されたピクチャP12の輝度圧縮は、ピクチャP12とともに伝送されたDynamic metadataにより表されるトーンカーブC2に基づいて行われる。OSD画像p13が合成されたピクチャP13の輝度圧縮は、ピクチャP13とともに伝送されたDynamic metadataにより表されるトーンカーブC3に基づいて行われる。
高輝度のシーンを構成するピクチャP12の輝度圧縮に用いられるトーンカーブC2は、ピクチャP11の輝度圧縮に用いられるトーンカーブC1、ピクチャP13の輝度圧縮に用いられるトーンカーブC3と比べて、輝度を強く圧縮するものとなる。OSD画像p12の輝度も、ピクチャP11,P13上のOSD画像の輝度より強く圧縮される。
従って、輝度圧縮後の各ピクチャのOSD画像の見え方を比べた場合、図8に示すように、ピクチャP12上のOSD画像p12は、ピクチャP11,P13上のOSD画像より輝度が低い状態で表示される。図8において、OSD画像p12を薄い色を付して示していることは、ピクチャP11,P13上のOSD画像より輝度が低いことを表す。
ピクチャP11乃至P13が順に表示された場合、ピクチャP12の表示のタイミングでOSD画像の輝度が一段階低くなり、輝度の圧縮の程度によっては不自然な見え方になる。例えば、輝度の変化が大きいシーンが連続する場合、OSD画像が点滅して見えてしまう。
このように、Dynamic metadataを含むHDRビデオストリームのランダムアクセス再生を行う場合、ジャンプ先のピクチャにDynamic metadataが付加されていないときのHDRビデオの見え方が不自然なものになることがある。また、HDRビデオに重ねて表示されるOSD画像の見え方が不自然なものになることがある。
<<第1の実施の形態(符号化の制限の例)>>
<GOPの先頭のピクチャにDynamic metadataを必ず付加する例>
図9は、HDRビデオストリームを構成するGOPの例を示す図である。
光ディスク11に記録されているHDRビデオストリームは、例えばHEVC(High Efficiency Video Coding)の符号化ストリームであり、GOP単位のピクチャから構成される。図9の例においては、GOP1とGOP2が示されている。
HDRビデオストリームを構成するピクチャのうち、少なくとも、GOP1の先頭のピクチャであるピクチャP1とGOP2の先頭のピクチャであるピクチャP2にはDynamic metadataが付加されている。表示順でGOPの先頭のピクチャであるピクチャP1とピクチャP2は、ランダムアクセスポイントとなるピクチャである。
すなわち、光ディスク11に記録されたHDRビデオストリームは、ランダムアクセスポイントのピクチャに、Dynamic metadataを必ず付加するとの制限に従って生成されたストリームである。
早送り再生と巻き戻し再生は、例えば、それぞれのGOPの先頭のピクチャだけを順に再生するようにして行われる。再生装置1は、ランダムアクセスポイントとなるそれぞれのGOPの先頭のピクチャを、それぞれのGOPの先頭のピクチャに付加されているDynamic metadataとともにTV2に出力する。
また、頭出し再生は、所定のGOPの先頭のピクチャから再生するようにして行われる。再生装置1は、ランダムアクセスポイントとなる所定のGOPの先頭のピクチャを、そのピクチャに付加されているDynamic metadataとともにTV2に出力する。
TV2においては、ランダムアクセスポイントとなるGOPの先頭のピクチャの輝度圧縮が、GOPの先頭のピクチャとともに伝送されてきたDynamic metadataに基づいて行われる。輝度圧縮後のピクチャが表示されることによって、早送り再生/巻き戻し再生、または頭出し再生が実現される。
このように、ランダムアクセスポイントのピクチャにDynamic metadataが必ず付加されるようにすることにより、ジャンプ先のピクチャの輝度圧縮が、HDRコンテンツの製作者の意図しない形で行われるのを防ぐことができる。
なお、光ディスク11に記録されているHDRビデオストリームがHEVCの符号化ストリームであるものとしたが、AVC(H.264/MPEG-4 AVC(Advanced Video Coding))などの、他の方式で符号化されることによって生成されたストリームであってもよい。
AVCのビデオストリームには、CVS(Coded Video Sequence)などの、符号化の単位を構成するユニットがある。AVCのビデオストリームは、ランダムアクセスポイントとなるCVSの先頭のピクチャにはDynamic metadataを必ず付加するとの制限に従って符号化が行われることによって生成される。
また、ランダムアクセスポイントのピクチャにDynamic metadataを必ず付加するとの制限に従って生成されるHDRビデオストリームが、光ディスク11に記録されるのではなく、インターネットなどのネットワークを介して配信されるようにしてもよい。このような制限に従って生成されたHDRビデオストリームの配信が行われるシステムの構成については後述する。
<BDフォーマット>
ここで、BD-ROMフォーマットについて説明する。
・データの管理構造
図10は、BD-ROMフォーマットにおけるAVストリームの管理構造の例を示す図である。
AVストリームの管理は、PlayListとClipの2つのレイヤを用いて行われる。AVストリームは、光ディスク11だけでなく、再生装置1のローカルストレージに記録されることもある。
1つのAVストリームと、それに付随する情報であるClip Informationのペアが1つのオブジェクトとして管理される。AVストリームとClip InformationのペアをClipという。
AVストリームは時間軸上に展開され、各Clipのアクセスポイントは、主に、タイムスタンプでPlayListにおいて指定される。Clip Informationは、AVストリーム中のデコードを開始すべきアドレスを見つけるためなどに使用される。
PlayListはAVストリームの再生区間の集まりである。AVストリーム中の1つの再生区間はPlayItemと呼ばれる。PlayItemは、時間軸上の再生区間のIN点とOUT点のペアで表される。図10に示すように、PlayListは1つまたは複数のPlayItemにより構成される。
図10の左から1番目のPlayListは2つのPlayItemから構成され、その2つのPlayItemにより、左側のClipに含まれるAVストリームの前半部分と後半部分がそれぞれ参照される。
左から2番目のPlayListは1つのPlayItemから構成され、それにより、右側のClipに含まれるAVストリーム全体が参照される。
左から3番目のPlayListは2つのPlayItemから構成され、その2つのPlayItemにより、左側のClipに含まれるAVストリームのある部分と、右側のClipに含まれるAVストリームのある部分がそれぞれ参照される。
例えば、左から1番目のPlayListに含まれる左側のPlayItemが再生対象としてディスクナビゲーションプログラムにより指定された場合、そのPlayItemが参照する、左側のClipに含まれるAVストリームの前半部分の再生が行われる。
PlayListの中で、1つ以上のPlayItemの並びによって作られる再生パスをメインパス(Main Path)という。また、PlayListの中で、Main Pathに並行して、1つ以上のSubPlayItemの並びによって作られる再生パスをサブパス(Sub Path)という。
図11は、Main PathとSub Pathの構造を示す図である。
PlayListは、1つのMain Pathと1つ以上のSub Pathを持つ。図11のPlayListは、3つのPlayItemの並びにより作られる1つのMain Pathと3つのSub Pathを有する。
Main Pathを構成するPlayItemには、先頭から順番にそれぞれIDが設定される。Sub Pathにも、先頭から順番にSubpath_id=0、Subpath_id=1、およびSubpath_id=2のIDが設定される。
図11の例においては、Subpath_id=0のSub Pathには1つのSubPlayItemが含まれ、Subpath_id=1のSub Pathには2つのSubPlayItemが含まれる。また、Subpath_id=2のSub Pathには1つのSubPlayItemが含まれる。
1つのPlayItemが参照するAVストリームには、少なくともビデオストリームが含まれる。AVストリームには、AVストリームに含まれるビデオストリームと同じタイミングで(同期して)再生されるオーディオストリームが1つ以上含まれてもよいし、含まれなくてもよい。
AVストリームには、AVストリームに含まれるビデオストリームと同期して再生されるビットマップの字幕(PG(Presentation Graphic))のストリームが1つ以上含まれてもよいし、含まれなくてもよい。
AVストリームには、AVストリームファイルに含まれるビデオストリームと同期して再生されるIG(Interactive Graphic)のストリームが1つ以上含まれてもよいし、含まれなくてもよい。IGのストリームは、ユーザにより操作されるボタンなどのグラフィックを表示させるために用いられる。
1つのPlayItemが参照するAVストリームには、ビデオストリームと、それと同期して再生されるオーディオストリーム、PGストリーム、およびIGストリームが多重化される。
また、1つのSubPlayItemは、PlayItemが参照するAVストリームとは異なるストリームの、ビデオストリーム、オーディオストリーム、PGストリームなどを参照する。
このように、AVストリームの再生はPlayListとClip Informationを用いて行われる。AVストリームの再生を管理するために用いられる再生制御情報であるIndex table、PlayList、Clip Informationを、適宜、Data Base情報という。
・ディレクトリ構造
図12は、光ディスク11に記録されるファイルの管理構造の例を示す図である。
光ディスク11に記録される各ファイルはディレクトリ構造により階層的に管理される。光ディスク11上には1つのrootディレクトリが作成される。
rootディレクトリの下にはBDMVディレクトリが置かれる。
BDMVディレクトリの下には、「Index.bdmv」の名前が設定されたファイルであるIndex tableファイルと、「MovieObject.bdmv」の名前が設定されたファイルであるMovieObjectファイルが格納される。Index tableファイルにはIndex tableが記述される。
BDMVディレクトリの下には、PLAYLISTディレクトリ、CLIPINFディレクトリ、STREAMディレクトリ等が設けられる。
PLAYLISTディレクトリには、PlayListを記述したPlayListファイルが格納される。各PlayListファイルには、5桁の数字と拡張子「.mpls」を組み合わせた名前が設定される。図12に示す3つのPlayListファイルには「00000.mpls」、「00001.mpls」、「00002.mpls」のファイル名が設定されている。
CLIPINFディレクトリにはClip Informationファイルが格納される。各Clip Informationファイルには、5桁の数字と拡張子「.clpi」を組み合わせた名前が設定される。図12の3つのClip Informationファイルには、それぞれ、「01000.clpi」、「02000.clpi」、「03000.clpi」のファイル名が設定されている。
STREAMディレクトリには、上述したAVストリームのファイルが格納される。各AVストリームファイルには、5桁の数字と拡張子「.m2ts」を組み合わせた名前が設定される。図12の3つのAVストリームファイルには、それぞれ、「01000.m2ts」、「02000.m2ts」、「03000.m2ts」のファイル名が設定されている。
同じ5桁の数字がファイル名に設定されているClip InformationファイルとAVストリームファイルが1つのClipを構成するファイルとなる。「01000.m2ts」のAVストリームファイルの再生時には「01000.clpi」のClip Informationファイルが用いられ、「02000.m2ts」のAVストリームファイルの再生時には「02000.clpi」のClip Informationファイルが用いられる。
<各装置の構成>
・記録装置の構成
図13は、記録装置3の構成例を示すブロック図である。
上述したようなBDである光ディスク11が、図13の記録装置3において作成される。記録装置3は、HDRコンテンツのオーサリング時に用いられる装置である。
記録装置3は、コントローラ21、符号化処理部22、およびディスクドライブ23から構成される。マスターとなるビデオが符号化処理部22に入力される。
コントローラ21は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などにより構成される。コントローラ21は、所定のプログラムを実行し、記録装置3の全体の動作を制御する。
符号化処理部22は、マスターのビデオの符号化を行い、HDRビデオストリームを生成する。HDRビデオストリームの生成時に各ピクチャに付加され、SEIメッセージとして符号化されるDynamic metadataはコントローラ21から供給される。
符号化処理部22による符号化が、ランダムアクセスポイントのピクチャにDynamic metadataを必ず付加するとの制限に従って行われる。
また、符号化処理部22は、適宜、メニューの画像の符号化を行うことによってIGストリームを生成し、字幕データの符号化を行うことによってPGストリームを生成する。符号化処理部22に対しては、メニューの画像や字幕データなどの情報も入力される。
符号化処理部22は、符号化を行うことによって得られたHDRビデオストリーム、IGストリーム、PGストリームを、オーディオストリームなどとともに多重化することによって、Clipを構成するAVストリームを生成する。符号化処理部22は、生成したAVストリームをディスクドライブ23に出力する。
ディスクドライブ23は、コントローラ21から供給されたData Base情報の各ファイルと、符号化処理部22から供給されたAVストリームのファイルを図12のディレクトリ構造に従って光ディスク11に記録する。
図14は、コントローラ21の機能構成例を示すブロック図である。
コントローラ21においては、Dynamic metadata生成部31、符号化制御部32、Data Base情報生成部33、および記録制御部34が実現される。図14に示す機能部のうちの少なくとも一部は、コントローラ21のCPUにより所定のプログラムが実行されることによって実現される。
Dynamic metadata生成部31は、コンテンツの製作者による入力に従って各パラメータの値を設定し、Dynamic metadataを生成する。Dynamic metadata生成部31は、生成したDynamic metadataを符号化制御部32に出力する。
符号化制御部32は、Dynamic metadata生成部31により生成されたDynamic metadataを符号化処理部22に出力し、HDRビデオの各ピクチャの符号化を行わせる。また、符号化制御部32は、メニューデータ、字幕データの符号化を符号化処理部22に行わせる。
Data Base情報生成部33は、コンテンツの製作者による入力に従って、Index table、PlayList、Clip InformationなどのData Base情報を生成する。Data Base情報生成部33は、生成したData Base情報のファイルを記録制御部34に出力する。Data Base情報生成部33により生成されたData Base情報は、適宜、符号化制御部32に供給され、符号化を制御することに用いられる。
記録制御部34は、Data Base情報生成部33により生成されたData Base情報のファイルをディスクドライブ23に出力し、光ディスク11に記録させる。
このように、記録装置3は、Dynamic metadataを生成するとともに、ランダムアクセスポイントのピクチャにDynamic metadataを必ず付加するとの制限に従って符号化を行うことによってHDRビデオストリームを生成する情報処理装置として機能する。
・再生装置の構成
図15は、再生装置1の構成例を示すブロック図である。
再生装置1は、コントローラ51、ディスクドライブ52、メモリ53、ローカルストレージ54、通信部55、復号処理部56、操作入力部57、および外部出力部58から構成される。
コントローラ51は、CPU、ROM、RAMなどにより構成される。コントローラ51は、所定のプログラムを実行し、再生装置1の全体の動作を制御する。
ディスクドライブ52は、光ディスク11に記録されているデータを読み出し、コントローラ51、メモリ53、または復号処理部56に出力する。例えば、ディスクドライブ52は、光ディスク11から読み出したData Base情報をコントローラ51に出力し、AVストリームを復号処理部56に出力する。
メモリ53は、コントローラ51が実行するプログラムなどの、コントローラ51が各種の処理を実行する上で必要なデータを記憶する。
ローカルストレージ54は、HDD(Hard Disk Drive)、SSD(Solid State Drive)などの記録媒体により構成される。ローカルストレージ54には、サーバからダウンロードされたストリームなどが記録される。
通信部55は、無線LAN、有線LANなどのインタフェースである。例えば、通信部55は、インターネットなどのネットワークを介してサーバと通信を行い、サーバからダウンロードしたデータをローカルストレージ54に供給する。
復号処理部56は、ディスクドライブ52から供給されたAVストリームに多重化されているHDRビデオストリームを復号し、復号して得られたHDRビデオのデータを外部出力部58に出力する。
また、復号処理部56は、AVストリームに多重化されているオーディオストリームを復号し、復号して得られたオーディオデータを外部出力部58に出力する。ビデオの再生について主に説明しているが、このように、再生装置1が再生するHDRコンテンツにはオーディオデータも含まれる。
操作入力部57は、ボタン、タッチパネルなどの入力デバイスや、リモートコントローラから送信される赤外線などの信号を受信する受信部により構成される。操作入力部57はユーザの操作を検出し、検出した操作の内容を表す信号をコントローラ51に供給する。
外部出力部58は、HDMIなどの外部出力のインタフェースである。外部出力部58は、HDMIケーブルを介してTV2と通信を行い、TV2が有するディスプレイの性能に関する情報を取得してコントローラ51に出力する。また、外部出力部58は、復号処理部56から供給されたHDRビデオのデータを受信し、TV2に出力する。
・TVの構成
図16は、TV2の構成例を示すブロック図である。
TV2は、コントローラ71、外部入力部72、信号処理部73、ディスプレイ74、放送受信部75、復号処理部76、および通信部77から構成される。
コントローラ71は、CPU、ROM、RAMなどにより構成される。コントローラ71は、所定のプログラムを実行し、TV2の全体の動作を制御する。
例えば、コントローラ71は、ディスプレイ74の性能を表す情報を管理する。コントローラ71は、HDMIの伝送設定時、ディスプレイ74の性能を表す情報を外部入力部72に出力し、再生装置1に送信する。
また、コントローラ71は、信号処理部73によるHDRビデオの処理を制御する。例えば、コントローラ71は、HDRコンテンツの再生時に再生装置1から伝送されてきたDynamic metadataに基づいて、HDRビデオの輝度圧縮を信号処理部73に行わせる。
外部入力部72は、HDMIなどの外部入力のインタフェースである。外部入力部72は、HDMIケーブルを介して再生装置1と通信を行い、再生装置1から伝送されてきたHDRビデオの各ピクチャのデータを受信して信号処理部73に出力する。また、外部入力部72は、HDRビデオの各ピクチャとともに伝送されてきたDynamic metadataを受信し、コントローラ71に出力する。
信号処理部73は、外部入力部72から供給されたHDRビデオの処理を行い、映像をディスプレイ74に表示させる。信号処理部73は、コントローラ71による制御に従って、適宜、ディスプレイ74が表示可能な範囲に収まるように、HDRビデオの輝度圧縮を行う。
信号処理部73は、復号処理部76から供給されたデータに基づいて、番組の映像をディスプレイ74に表示させる処理なども行う。
ディスプレイ74は、有機EL(Electroluminescence)ディスプレイやLCD(Liquid Crystal Display)等の表示デバイスである。ディスプレイ74は、信号処理部73から供給されたビデオ信号に基づいて、HDRコンテンツの映像や番組の映像を表示する。
放送受信部75は、アンテナから供給された信号から所定のチャンネルの放送信号を抽出し、復号処理部76に出力する。放送受信部75による放送信号の抽出は、コントローラ71による制御に従って行われる。
復号処理部76は、放送受信部75から供給された放送信号に対して復号等の処理を施し、番組のビデオデータを信号処理部73に出力する。
通信部77は、無線LAN、有線LANなどのインタフェースである。通信部77は、インターネットを介してサーバと通信を行う。
<各装置の動作>
・記録装置の動作
図17のフローチャートを参照して、記録装置3の記録処理について説明する。
図17の処理は、例えば、マスターとなるビデオデータが入力されたときに開始される。
ステップS1において、コントローラ21のDynamic metadata生成部31は、コンテンツの製作者による入力に従って各パラメータの値を設定し、Dynamic metadataを生成する。
ステップS2において、Data Base情報生成部33は、PlayListなどのData Base情報を生成する。
ステップS3において、符号化処理部22は、符号化制御部32による制御に従って、ランダムアクセスポイントとなるGOPの先頭のピクチャにDynamic metadataを必ず付加するとの制限の下、マスターのビデオの符号化を行い、HDRビデオストリームを生成する。
また、符号化処理部22は、メニューの画像や字幕データの符号化を行い、IGストリームとPGストリームを生成する。符号化処理部22は、生成したストリームを多重化することによってAVストリームを生成する。
ステップS4において、ディスクドライブ23は、コントローラ21から供給されたData Base情報のファイルと、符号化処理部22から供給されたAVストリームのファイルを記録させることによって光ディスク11を生成する。その後、処理は終了となる。
以上の処理により、記録装置3は、ランダムアクセスポイントとなるGOPの先頭のピクチャにDynamic metadataが付加されたHDRビデオストリームを生成し、そのようなHDRビデオストリームを含むHDRコンテンツを提供することができる。
・再生装置の動作
次に、図18のフローチャートを参照して、HDRコンテンツを再生する再生装置1の処理について説明する。
図18の処理は、例えば再生装置1のディスクドライブ52に光ディスク11が装着され、HDRコンテンツの再生が指示されたときに開始される。
ステップS11において、ディスクドライブ52は、PlayListファイルを含む、Data Base情報のファイルを光ディスク11から読み出す。
ステップS12において、コントローラ51は、PlayListファイルを解析し、再生対象となるAVストリームの特定などを行う。
ステップS13において、ディスクドライブ52は、再生対象となるHDRビデオストリームを含むAVストリームのファイルを光ディスク11から読み出す。
ステップS14において、復号処理部56は、ディスクドライブ52から供給されたAVストリームに含まれるHDRビデオストリームをデコードし、各ピクチャのデータを外部出力部58に出力する。各ピクチャに付加されているDynamic metadataは復号処理部56からコントローラ51に供給される。
ステップS15において、外部出力部58は、復号処理部56から供給されたHDRビデオの各ピクチャに、コントローラ51から供給されたDynamic metadataを付加してTV2に出力する。TV2においては、各ピクチャの輝度圧縮がDynamic metadataに基づいて行われ、輝度圧縮後のピクチャが表示される。
ステップS16において、コントローラ51は、ランダムアクセス再生を行うか否かを判定する。ランダムアクセス再生を行わないとステップS16において判定された場合、ステップS15に戻り、各ピクチャを順に再生する通常再生が続けられる。
一方、ステップS16において、ランダムアクセス再生を行うと判定された場合、処理はステップS17に進む。例えば、早送り再生/巻き戻し再生がユーザにより指示された場合、または、頭出し再生がユーザにより指示された場合、ランダムアクセス再生を行うとしてステップS16において判定される。
ステップS17において、復号処理部56は、ランダムアクセスポイントである、ジャンプ先のピクチャをデコードする。ここでデコードされるピクチャは、GOPの先頭のピクチャであり、Dynamic metadataが付加されている。デコードされたピクチャのSEIに含まれるDynamic metadataはコントローラ51に供給される。
ステップS18において、外部出力部58は、ランダムアクセスポイントのピクチャに、コントローラ51から供給されたDynamic metadataを付加してTV2に出力する。
その後、ステップS16に戻り、以上の処理が繰り返される。例えば、ユーザにより指示されたランダムアクセス再生が早送り再生/巻き戻し再生である場合、それぞれのGOPの先頭のピクチャが順に再生され、Dynamic metadataとともに出力される。例えばHDRコンテンツの再生が終了した場合、図18の処理は終了となる。
以上のように、ランダムアクセスポイントのピクチャにはDynamic metadataが必ず付加されているから、ランダムアクセス再生を行う場合であっても、ジャンプ先のピクチャの輝度圧縮がHDRコンテンツの製作者の意図しない形で行われるのを防ぐことができる。
<EP_mapにより指定されるピクチャにDynamic metadataを必ず付加する例>
Data Base情報であるClip Informationには、EP_mapと呼ばれる、ランダムアクセスポイントを指定する情報が含まれる。
EP_mapにより指定されるランダムアクセスポイントのピクチャに、Dynamic metadataを必ず付加するようにしてHDRビデオのデータの符号化が行われるようにしてもよい。
図19は、ランダムアクセスポイントとしてEP_mapにより指定されたピクチャを含むHDRビデオストリームの例を示す図である。
図19の上方に示すEP_mapには、エントリポイント(ランダムアクセスポイント)であるEP entry1とEP entry2の情報が記述されている。EP entry1とEP entry2は、エントリポイントのPTS(Presentation Time Stamp)と、SPN(Source Packet Number)により表される、HDRビデオストリーム上の位置とを表す情報である。
図19の例においては、EP entry1によりピクチャP21が指定され、EP entry2によりピクチャP22が指定されている。HDRビデオストリームを構成するピクチャのうち、少なくとも、EP entry1により指定されるピクチャP21とEP entry2により指定されるピクチャP22にはDynamic metadataが付加されている。
例えば、所定のエントリポイントからの頭出し再生が指示された場合、再生装置1は、EP entryにより指定されるピクチャを、そのピクチャに付加されているDynamic metadataとともにTV2に出力する。
TV2においては、EP entryにより指定されるピクチャの輝度圧縮が、そのピクチャとともに伝送されてきたDynamic metadataに基づいて行われる。輝度圧縮後のピクチャが表示されることによって、頭出し再生が実現される。
このように、HDRビデオストリームとは別のファイルの情報であるClip Informationに含まれるEP_mapにより指定されるピクチャにDynamic metadataが必ず付加されるようにしてもよい。これにより、ジャンプ先のピクチャの輝度圧縮がHDRコンテンツの製作者の意図しない形で行われるのを防ぐことができる。
なお、MP4によって多重化されたHDRコンテンツが再生装置1において再生されるようにしてもよい。
MP4によって多重化されたHDRコンテンツには、HDRビデオのデータをAVCやHEVCなどの所定の符号化方式で符号化することによって得られたHDRビデオストリームと、HDRビデオストリームの再生制御情報であるmfra(movie fragment random access box)が含まれる。
mfraには、ランダムアクセスポイントを指定する情報が含まれる。MP4のHDRコンテンツを構成するHDRビデオストリームのピクチャのうち、少なくとも、mfraに含まれる情報により指定されるピクチャにDynamic metadataが付加される。これによっても、ジャンプ先のピクチャの輝度圧縮がHDRコンテンツの製作者の意図しない形で行われるのを防ぐことができる。
このようなMP4のフォーマットのHDRコンテンツも、図13、図14に示す構成と同様の構成を有する情報処理装置により生成される。例えば、符号化処理部22により生成されたHDRビデオストリームとData Base情報生成部33により生成されたmfraがMP4のフォーマットに従って多重化され、HDRコンテンツが生成される。
<Clip InformationのEP_mapについて>
図20は、Clip Informationのシンタクスを示す図である。Clip Informationに含まれる主な記述について説明する。
図20に示すように、Clip Informationには、ClipInfo()、SequenceInfo()、ProgramInfo()、CPI()、ClipMark()、ExtensionData()の各記述が含まれる。
ClipInfo()は、Clip Informationを用いて再生が行われるAVストリームの属性に関する情報が記述されるフィールドである。
SequenceInfo()は、AVストリームを構成するsource packetのシーケンスに関する情報が記述されるフィールドである。
ProgramInfo()は、プログラムを構成するsource packetのシーケンスに関する情報が記述されるフィールドである。
CPI()は、AVストリームの時刻と位置の対応関係を表す情報が記述されるフィールドである。EP_mapも、CPI()に記述される。
図21は、CPI()のシンタクスを示す図である。
図21に示すように、CPI()には、CPI_typeとEP_map()が記述される。
CPI_typeの値が1である場合、CPI()にはEP_mapの情報が含まれる。
図22は、EP_map()のシンタクスを示す図である。
stream_PIDは、HDRビデオのデータを格納するTSパケットのPIDを表す。
number_of_EP_coarse_entriesは、EP_map()に含まれる、EP-coarse-entryの数を表す。EP-coarse-entryは、1秒単位などの、精度の粗いエントリポイントの情報である。
number_of_EP_fine_entriesは、EP_map()に含まれる、EP-fine-entryの数を表す。EP-fine-entryは、EP-coarse-entryよりも精度の高いエントリポイントの情報である。EP-coarse-entryとEP-fine-entryの組により、エントリポイントが指定される。
EP_map_for_one_stream_PIDに、それぞれのEP-coarse-entriesとEP-fine-entriesの情報が含まれる。
図23は、EP_map_for_one_stream_PIDのシンタクスを示す図である。
PTS_EP_coarse[i]は、EP-coarse-entryのPTS(時刻)を表す。
SPN_EP_coarse[i]は、PTS_EP_coarse[i]に対応する、HDRビデオストリーム上のsource packet(位置)を表す。
PTS_EP_fine[i]は、EP-fine-entryのPTSを表す。
SPN_EP_fine[i]は、PTS_EP_fine[i]に対応する、HDRビデオストリーム上のsource packetを表す。
再生装置1は、EP_mapに基づいてランダムアクセス再生を行う場合、EP_map_for_one_stream_PIDを解析することによって、エントリポイントとなるピクチャのデータを格納したsource packetの、HDRビデオストリーム上の位置を特定する処理などを行う。エントリポイントのピクチャには、上述したようにDynamic metadataが付加されている。
<記録装置の動作>
図24のフローチャートを参照して、EP_mapにより指定されるエントリポイントのピクチャにDynamic metadataを付加してHDRビデオストリームを生成する記録装置3の記録処理について説明する。
図24の処理は、マスターのビデオの符号化の制限が異なる点を除いて、図17を参照して説明した処理と同様の処理である。重複する説明については適宜省略する。
すなわち、ステップS31において、コントローラ21のDynamic metadata生成部31は、コンテンツの製作者による入力に従って各パラメータの値を設定し、Dynamic metadataを生成する。
ステップS32において、Data Base情報生成部33は、PlayList、EP_mapを記述したClip InformationなどのData Base情報を生成する。Data Base情報生成部33は、EP_mapに記述した各エントリポイント(EP entry)の情報を符号化制御部32に出力する。
ステップS33において、符号化処理部22は、符号化制御部32による制御に従って、EP_mapにより指定されるエントリポイントのピクチャにDynamic metadataを必ず付加するとの制限の下、マスターのビデオの符号化を行い、HDRビデオストリームを生成する。
ステップS34において、ディスクドライブ23は、コントローラ21から供給されたData Base情報のファイルと、符号化処理部22から供給されたAVストリームのファイルを記録させることによって光ディスク11を生成する。その後、処理は終了となる。
以上の処理により、記録装置3は、EP_mapにより指定される、ランダムアクセスポイントとなるピクチャにDynamic metadataが付加されたHDRビデオストリームを生成し、そのようなHDRビデオストリームを含むHDRコンテンツを提供することができる。
<変形例>
GOPの先頭のピクチャにDynamic metadataを付加する場合と、EP_mapにより指定されるピクチャにDynamic metadataを付加する場合について説明したが、これらの制限が組み合わせて用いられるようにしてもよい。
すなわち、GOPの先頭のピクチャとEP_mapにより指定されるピクチャの両方にDynamic metadataを必ず付加するようにして、HDRビデオストリームの符号化が行われるようにすることが可能である。
ジャンプ先のピクチャにDynamic metadataが付加されていない場合、ジャンプ先のピクチャの近傍のピクチャに付加されているDynamic metadataが再生装置1からTV2に伝送され、ジャンプ先のピクチャの輝度圧縮に用いられるようにしてもよい。
<<第2の実施の形態(デフォルトメタデータを用いる例)>>
<ランダムアクセス再生時にデフォルトメタデータを用いる例>
図25は、ランダムアクセス再生時のメタデータの伝送例を示す図である。
ランダムアクセス再生時、再生装置1においては、ランダムアクセス再生の内容を表すOSD画像が例えばジャンプ先のピクチャに合成される。OSD画像が合成されたピクチャは、Dynamic metadataではなく、図25に示すようにランダムアクセス再生時用のメタデータであるデフォルトメタデータとともにTV2に出力される。
デフォルトメタデータは、例えば、図3を参照して説明したようなDynamic metadataのパラメータと同様のパラメータを有する。デフォルトメタデータの各パラメータには、例えば、各種類のOSD画像が適切な輝度で表示されるようにするための固定値が設定される。デフォルトメタデータは、例えば、再生装置1内のメモリ53に記憶される形で、再生装置1に予め用意されている。
図26は、輝度圧縮後の表示を示す図である。
例えば、図26の左側に示すように高い輝度のシーンが表示されている状態で、早送り再生などのランダムアクセス再生が指示された場合、OSD画像が合成されたジャンプ先のピクチャとともに、デフォルトメタデータがTV2に出力される。
TV2においては、再生装置1から伝送されてきたデフォルトメタデータに基づいて、OSD画像が合成されたピクチャの輝度圧縮が行われ、矢印A12の先に示すようにHDRビデオの輝度が低く抑えられる。すなわち、Dynamic metadataを用いた輝度圧縮後の輝度が矢印A11の先に示すHDRビデオの本来の輝度であるとすると、本来の輝度より暗いHDRビデオが表示される。
OSD画像に適した値が設定されたメタデータであるから、デフォルトメタデータを用いた輝度圧縮により、矢印A12の先に示すように、OSD画像自体の輝度は好適なものになる。
このように、ランダムアクセス再生時、ジャンプ先のピクチャの輝度圧縮にデフォルトメタデータが用いられるため、各ピクチャのOSD画像の輝度が一定になり、OSD画像が点滅して見えてしまうことを防ぐことが可能になる。
・再生装置の構成と動作
図27は、ランダムアクセス再生時にデフォルトメタデータを伝送する場合のコントローラ51の機能構成例を示すブロック図である。再生装置1の構成は図15の構成と同じである。
コントローラ51においては、Data Base情報解析部101、出力制御部102、およびデフォルトメタデータ生成部103が実現される。図27に示す機能部のうちの少なくとも一部は、コントローラ51のCPUにより所定のプログラムが実行されることによって実現される。
Data Base情報解析部101は、ディスクドライブ52から供給されたData Base情報を解析し、解析結果を表す情報を出力制御部102とデフォルトメタデータ生成部103に出力する。出力制御部102とデフォルトメタデータ生成部103による処理は、適宜、Data Base情報の解析結果を参照して行われる。
出力制御部102は、復号処理部56と外部出力部58を制御することによって、HDRビデオの出力を制御する。
例えば、出力制御部102は、HDRビデオストリームを復号処理部56にデコードさせる。また、出力制御部102は、外部出力部58を制御し、HDRビデオストリームをデコードして得られた各ピクチャに、Dynamic metadataを付加して出力させる。
出力制御部102は、ランダムアクセス再生が指示された場合、HDRビデオストリームを復号処理部56にデコードさせ、ジャンプ先のピクチャにOSD画像を合成させる。また、出力制御部102は、外部出力部58を制御し、OSD画像が合成されたピクチャにデフォルトメタデータを付加して出力させる。
デフォルトメタデータ生成部103は、各パラメータの値として固定値を設定することによりデフォルトメタデータを生成する。デフォルトメタデータ生成部103は、各パラメータに設定する固定値の情報を有している。デフォルトメタデータ生成部103は、生成したデフォルトメタデータをメモリ53に出力し、記憶させる。
このように、デフォルトメタデータが再生装置1内で生成されるようにしてもよい。また、デフォルトメタデータが、再生装置1の製造時などのタイミングでメモリ53に記憶され、再生装置1に予め用意されるようにしてもよい。
デフォルトメタデータの各パラメータに設定する値をユーザが指定することができるようにしてもよい。この場合、例えば再生装置1の設定画面を用いて、各パラメータの値が設定される。
また、再生装置1から伝送されてきたデフォルトメタデータをTV2側で参照するか無視するかをユーザが選択できるようにしてもよい。この場合、例えばTV2の設定画面を用いて、デフォルトメタデータを参照するか無視するかの設定が行われる。
デフォルトメタデータの各パラメータに設定する値がサーバから取得されるようにしてもよい。
この場合、サーバには、例えば、光ディスク11に記録されているHDRコンテンツに対応付けて、デフォルトメタデータの各パラメータに設定する値の情報が用意される。デフォルトメタデータ生成部103は、サーバから取得された値を各パラメータの値として設定することによって、光ディスク11に記録されているHDRコンテンツ用のデフォルトメタデータを生成することになる。
また、デフォルトメタデータがサーバからダウンロードされるようにしてもよい。ダウンロードされ、通信部55により受信されたデフォルトメタデータは、メモリ53に出力され、記憶される。
次に、図28のフローチャートを参照して、ランダムアクセス再生時にデフォルトメタデータを伝送するようにしてHDRコンテンツを再生する再生装置1の処理について説明する。
図28の処理は、基本的に、ランダムアクセス再生が指示された場合に各ピクチャに付加するメタデータが異なる点を除いて、図18を参照して説明した処理と同様の処理である。
すなわち、ステップS101において、ディスクドライブ52は、PlayListファイルを含む、Data Base情報のファイルを光ディスク11から読み出す。
ステップS102において、コントローラ51のData Base情報解析部101は、PlayListファイルを解析し、再生対象となるAVストリームの特定などを行う。
ステップS103において、ディスクドライブ52は、再生対象となるHDRビデオストリームを含むAVストリームのファイルを光ディスク11から読み出す。
ステップS104において、復号処理部56は、ディスクドライブ52から供給されたAVストリームに含まれるHDRビデオストリームをデコードし、各ピクチャのデータを外部出力部58に出力する。HDRビデオストリームに含まれるDynamic metadataは復号処理部56からコントローラ51に供給される。
ステップS105において、外部出力部58は、出力制御部102による制御に従って、復号処理部56から供給されたHDRビデオの各ピクチャに、出力制御部102から供給されたDynamic metadataを付加してTV2に出力する。
ステップS106において、コントローラ51は、ランダムアクセス再生を行うか否かを判定する。ランダムアクセス再生を行わない、すなわち、通常再生を行うとステップS106において判定された場合、ステップS105に戻り、HDRビデオの各ピクチャの出力が続けられる。
一方、ステップS106においてランダムアクセス再生を行うと判定された場合、処理はステップS107に進む。早送り再生/巻き戻し再生がユーザにより指示された場合、または、頭出し再生がユーザにより指示された場合、ランダムアクセス再生を行うとステップS106において判定される。
ステップS107において、復号処理部56は、ランダムアクセスポイントである、ジャンプ先のピクチャをデコードする。
ステップS108において、復号処理部56は、ジャンプ先のピクチャにOSD画像を合成する。
ステップS109において、外部出力部58は、OSD画像が合成されたジャンプ先のピクチャにデフォルトメタデータを付加して出力する。ジャンプ先のピクチャとともに出力されるデフォルトメタデータはコントローラ51の出力制御部102から供給される。
その後、ステップS106に戻り、以上の処理が繰り返される。例えば、ユーザにより指示されたランダムアクセス再生が早送り再生/巻き戻し再生である場合、GOPの先頭のピクチャが順にデコードされ、それぞれのGOPの先頭のピクチャが、デフォルトメタデータとともに出力される。
・TVの動作
次に、図29のフローチャートを参照して、TV2の表示処理について説明する。
図29の処理は、HDRビデオストリームをデコードして得られたピクチャの伝送が開始されたときに行われる。再生装置1から伝送されてくるピクチャには、Dynamic metadataまたはデフォルトメタデータが付加されている。
ステップS121において、TV2の外部入力部72は、再生装置1から伝送されてきたHDRビデオの各ピクチャのデータと、それに付加して伝送されてきたDynamic metadataまたはデフォルトメタデータを受信する。
ランダムアクセス再生が指示されていない場合、ここでは、各ピクチャとDynamic metadataが受信される。また、再生装置1においてランダムアクセス再生が指示された場合、ここでは、OSD画像が合成されたピクチャと、デフォルトメタデータが受信される。
外部入力部72により受信された各ピクチャのデータは信号処理部73に供給され、メタデータ(Dynamic metadataまたはデフォルトメタデータ)はコントローラ71に供給される。
ステップS122において、信号処理部73は、コントローラ71による制御に従って、HDRビデオの各ピクチャの輝度圧縮を行う。各ピクチャとともに伝送されてきたメタデータがDynamic metadataである場合にはDynamic metadataに基づいて輝度圧縮が行われる。また、各ピクチャとともに伝送されてきたメタデータがデフォルトメタデータである場合にはデフォルトメタデータに基づいて輝度圧縮が行われる。
ステップS123において、信号処理部73は、輝度圧縮後のピクチャをディスプレイ74に表示させる。このような一連の処理からなるHDRビデオの表示は、HDRコンテンツの再生が終了するまで続けられる。
以上のように、ランダムアクセス再生時のTV2における輝度圧縮がデフォルトメタデータに基づいて行われるようにすることにより、各ピクチャに合成されたOSD画像が点滅して見えてしまうことを防ぐことができる。
<ジャンプ先にDynamic metadataがない場合にデフォルトメタデータを用いる例>
ランダムアクセス再生時にデフォルトメタデータが必ず用いられるのではなく、ジャンプ先のピクチャにDynamic metadataが付加されていない場合にデフォルトメタデータが用いられ、TV2に伝送されるようにしてもよい。
図30は、ランダムアクセス再生の例を示す図である。
例えば、再生対象となるピクチャがピクチャP1になったタイミングで頭出し再生が指示され、図30の矢印A1で示すように、ピクチャP1からピクチャP2にジャンプする場合について説明する。
この場合、再生装置1においては、ピクチャP2の解析が行われ、Dynamic metadataが付加されているか否かの検出が行われる。ピクチャP2がDynamic metadataが付加されていない区間内のピクチャである場合、デフォルトメタデータが用いられ、ピクチャP2とともに出力される。
例えば、ピクチャP2にDynamic metadataが付加されている場合、ピクチャP2とともにDynamic metadataが出力される。
このように、ジャンプ先のピクチャにDynamic metadataが付加されている場合にはDynamic metadataが伝送され、Dynamic metadataが付加されていない場合にデフォルトメタデータが伝送されるようにしてもよい。
ここで、図31のフローチャートを参照して、HDRコンテンツを再生する再生装置1の処理について説明する。
図31の処理は、TV2に伝送するメタデータが、ジャンプ先のピクチャにDynamic metadataが付加されているか否かに応じて切り替えられる点を除いて、図28の処理と同様の処理である。
すなわち、ステップS131乃至S135において、図28のステップS101乃至S105と同様にしてHDRコンテンツの通常再生が行われる。
ステップS136においてランダムアクセス再生を行うと判定された場合、ステップS137において、復号処理部56は、ランダムアクセスポイントである、ジャンプ先のピクチャをデコードする。
ステップS138において、復号処理部56は、ジャンプ先のピクチャにOSD画像を合成する。
ステップS139において、復号処理部56は、ジャンプ先のピクチャにDynamic metadataが付加されているか否かを判定する。
Dynamic metadataが付加されていないとステップS139において判定された場合、ステップS140において、外部出力部58は、OSD画像が合成されたジャンプ先のピクチャにデフォルトメタデータを付加して出力する。
一方、Dynamic metadataが付加されているとステップS139において判定された場合、ステップS141において、外部出力部58は、OSD画像が合成されたジャンプ先のピクチャにDynamic metadataを付加して出力する。
ステップS140またはステップS141においてピクチャが出力された後、ステップS136に戻り、以上の処理が繰り返される。
このように、デフォルトメタデータが用いられるのが、ジャンプ先のピクチャにDynamic metadataが付加されていない場合に限定され、Dynamic metadataが付加されている場合にはDynamic metadataがTV2に伝送されるようにしてもよい。これにより、ジャンプ先のピクチャの輝度圧縮が、HDRコンテンツの製作者の意図した通りに行われるようにすることができる。
<<再生システムの構成例>>
<第1の構成例>
HDRコンテンツが光ディスク11に記録されている場合について説明したが、上述したように、ネットワークを介して配信されるHDRコンテンツを再生する場合にも以上の処理を適用することが可能である。
図32は、HDRコンテンツの再生システムの構成例を示す図である。
図32の再生システムは、再生装置1とコンテンツ配信サーバ301が、インターネットなどのネットワーク302を介して接続されることによって構成される。再生装置1には、HDMIケーブルなどを介してTV2が接続される。再生装置1が再生するHDRコンテンツの映像はTV2に表示される。
コンテンツ配信サーバ301は、HDRコンテンツの配信サービスを提供する事業者が管理するサーバである。コンテンツ配信サーバ301が配信するコンテンツはHDRコンテンツである。
それぞれのHDRコンテンツは、Dynamic metadataを含むHDRビデオストリームのファイルと再生制御情報のファイルを対応付けることによって構成される。
例えば、ユーザが再生装置1を操作してコンテンツ配信サーバ301にアクセスした場合、TV2には、HDRコンテンツの選択画面が表示される。ユーザは、所定のHDRコンテンツを選択し、視聴の開始をコンテンツ配信サーバ301に要求することができる。
HDRコンテンツが選択された場合、コンテンツ配信サーバ301は、選択されたHDRコンテンツを再生装置1に送信する。
再生装置1は、コンテンツ配信サーバ301から送信されてきたHDRコンテンツを受信し、上述した再生処理と同様の処理を行うことによって、HDRコンテンツの再生を行う。
すなわち、再生装置1からTV2に対しては、HDRビデオストリームをデコードすることによって得られた各ピクチャとともにDynamic metadataが伝送され、Dynamic metadataに基づいて輝度圧縮が行われる。
また、ランダムアクセス再生が指示された場合、HDRビデオの各ピクチャとともに、ジャンプ先のピクチャに付加されているDynamic metadataが伝送され、TV2において、Dynamic metadataに基づいて輝度圧縮が行われる。ジャンプ先となる、GOP先頭のピクチャ、または、EP_mapなどによりエントリポイントとして指定されるピクチャには、Dynamic metadataが付加されている。
さらに、デフォルトメタデータが再生装置1に用意されている場合、ランダムアクセス再生が指示されたことに応じて、ジャンプ先のピクチャとともにデフォルトメタデータが伝送され、TV2において、デフォルトメタデータに基づいて輝度圧縮が行われる。
このように、GOPの先頭のピクチャ、またはエントリポイントとして指定されるピクチャにDynamic metadataが必ず付加されているHDRビデオストリームを含むHDRコンテンツがコンテンツ配信サーバ301から配信されるようにしてもよい。
また、コンテンツ配信サーバ301が配信するHDRコンテンツを構成するHDRビデオストリームのランダムアクセス再生を行う場合に、デフォルトメタデータが再生装置1からTV2に出力されるようにしてもよい。
図33は、再生装置1の他の構成例を示す図である。
図33に示すように、再生装置1が、いわゆるスティック型の端末であってもよい。図33に示す再生装置1の筐体にはHDMI端子が設けられている。筐体に設けられているHDMI端子をTV2のHDMI端子に差し込むことによって、再生装置1とTV2が接続される。
例えば、図33の再生装置1には、図15に示す構成のうちの、ディスクドライブ52以外の構成が設けられる。再生装置1は、上述した処理と同様の処理を行うことによって、コンテンツ配信サーバ301が配信するHDRコンテンツの再生を行う。
このように、再生装置1の形態として各種の形態を採用することが可能である。例えば、スマートフォンやタブレット端末などの携帯型の端末に再生装置1の機能が搭載されるようにしてもよいし、PCなどの端末に再生装置1の機能が搭載されるようにしてもよい。
<第2の構成例>
再生装置1の機能がTV2に搭載されるようにしてもよい。
図34は、HDRコンテンツの他の再生システムの構成例を示す図である。
図34の再生システムは、再生装置1の機能を搭載したTV2とコンテンツ配信サーバ301がネットワーク302を介して接続されることによって構成される。重複する説明については適宜省略する。
TV2は、コンテンツ配信サーバ301から送信されてきた情報に基づいてHDRコンテンツの選択画面を表示させる。
ユーザにより所定のHDRコンテンツが選択された場合、コンテンツ配信サーバ301は、選択されたHDRコンテンツをTV2に送信する。
TV2は、コンテンツ配信サーバ301から送信されてきたHDRコンテンツを受信し、HDRコンテンツの再生を行う。
すなわち、TV2は、HDRビデオの各ピクチャの輝度圧縮をDynamic metadataに基づいて行う。
また、ランダムアクセス再生が指示された場合、ジャンプ先のピクチャの輝度圧縮が、ジャンプ先のピクチャに付加されているDynamic metadataに基づいて行われる。
さらに、デフォルトメタデータがTV2に用意されている場合、ランダムアクセス再生が指示されたときに、ジャンプ先のピクチャの輝度圧縮がデフォルトメタデータに基づいて行われる。
このように、再生装置1の機能がTV2に設けられ、TV2において、上述したような処理が行われるようにしてもよい。
<<その他の例>>
HDRコンテンツの記録媒体が光ディスクであるものとしたが、フラッシュメモリなどの他の記録媒体であってもよい。
Dynamic metadataまたはデフォルトメタデータに基づいてビデオに対して行われる処理が輝度圧縮であるものとしたが、輝度伸張がTV2において行われるようにしてもよい。この場合、Dynamic metadataまたはデフォルトメタデータには、輝度伸張に用いられるトーンカーブの情報が記述される。
再生装置1に入力されるビデオストリームが所定の方式で符号化されたビデオストリームであるものとしたが、Dynamic metadataが付加されたピクチャから構成され、符号化されていないビデオストリームが再生装置1に入力されるようにしてもよい。
<コンピュータの構成例>
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図35は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
CPU(Central Processing Unit)1001、ROM(Read Only Memory)1002、RAM(Random Access Memory)1003は、バス1004により相互に接続されている。
バス1004には、さらに、入出力インタフェース1005が接続されている。入出力インタフェース1005には、キーボード、マウスなどよりなる入力部1006、ディスプレイ、スピーカなどよりなる出力部1007が接続される。また、入出力インタフェース1005には、ハードディスクや不揮発性のメモリなどよりなる記憶部1008、ネットワークインタフェースなどよりなる通信部1009、リムーバブルメディア1011を駆動するドライブ1010が接続される。
以上のように構成されるコンピュータでは、CPU1001が、例えば、記憶部1008に記憶されているプログラムを入出力インタフェース1005及びバス1004を介してRAM1003にロードして実行することにより、上述した一連の処理が行われる。
CPU1001が実行するプログラムは、例えばリムーバブルメディア1011に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部1008にインストールされる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
<構成の組み合わせ例>
本技術は、以下のような構成をとることもできる。
(1)
ピクチャの輝度情報を含む動的メタデータを生成する生成部と、
HDRビデオのデータの符号化を、ランダムアクセスポイントとなるピクチャのそれぞれに前記動的メタデータを付加するようにして行う符号化部と
を備える情報処理装置。
(2)
前記符号化部は、GOPの先頭のピクチャを、前記ランダムアクセスポイントとなるピクチャとして前記動的メタデータを付加する
前記(1)に記載の情報処理装置。
(3)
前記符号化を行うことによって得られたビデオストリームの再生に用いられる、前記ランダムアクセスポイントを指定する情報を含む再生制御情報を生成する生成部をさらに備え、
前記符号化部は、前記再生制御情報に含まれる情報により指定される前記ランダムアクセスポイントのピクチャに前記動的メタデータを付加する
前記(1)に記載の情報処理装置。
(4)
前記ランダムアクセスポイントを指定する情報は、Blu-ray Discフォーマットで規定される、前記再生制御情報としてのClip Informationに含まれるEP_mapであり、
前記符号化部は、前記ランダムアクセスポイントとしてEP_mapにおいて指定されるそれぞれのエントリポイントのピクチャに前記動的メタデータを付加する
前記(3)に記載の情報処理装置。
(5)
前記ランダムアクセスポイントを指定する情報は、MP4フォーマットで規定される、前記再生制御情報としてのMovie Fragment Random Access Boxであり、
前記符号化部は、Movie Fragment Random Access Boxにより指定されるそれぞれの前記ランダムアクセスポイントのピクチャに前記動的メタデータを付加する
前記(3)に記載の情報処理装置。
(6)
情報処理装置が、
ピクチャの輝度情報を含む動的メタデータを生成し、
HDRビデオのデータの符号化を、ランダムアクセスポイントとなるピクチャのそれぞれに前記動的メタデータを付加するようにして行う
情報処理方法。
(7)
コンピュータに、
ピクチャの輝度情報を含む動的メタデータを生成し、
HDRビデオのデータの符号化を、ランダムアクセスポイントとなるピクチャのそれぞれに前記動的メタデータを付加するようにして行う
処理を実行させるためのプログラム。
(8)
HDRビデオのデータの符号化を、ランダムアクセスポイントとなるピクチャのそれぞれに輝度情報を含む動的メタデータを付加するようにして行うことによって生成されたビデオストリームが記録された
記録媒体。
(9)
HDRビデオのデータの符号化を、ランダムアクセスポイントとなるピクチャのそれぞれに輝度情報を含む動的メタデータを付加するようにして行うことによって生成されたビデオストリームのランダムアクセス再生を行う再生部と、
前記ランダムアクセスポイントのピクチャを、前記動的メタデータとともに表示装置に出力する出力制御部と
を備える再生装置。
(10)
ピクチャの輝度情報を含む動的メタデータが付加されたビデオストリームのランダムアクセス再生を行う再生部と、
ランダムアクセス再生が行われていることを表す所定の情報を前記ピクチャに重畳して表示させる場合、ランダムアクセスポイントの前記ピクチャに、ランダムアクセス再生時の輝度調整に用いるランダムアクセス再生時用のメタデータを付加し、前記ランダムアクセス再生時用のメタデータを付加した前記ピクチャを表示装置に出力する出力制御部と
を備える再生装置。
(11)
前記再生部は、ランダムアクセス再生として、所定の倍速での早送り再生または巻き戻し再生を行う
前記(10)に記載の再生装置。
(12)
前記再生部は、ランダムアクセス再生として、頭出し再生を行う
前記(10)または(11)に記載の再生装置。
(13)
再生装置が、
ピクチャの輝度情報を含む動的メタデータが付加されたビデオストリームのランダムアクセス再生を行い、
ランダムアクセス再生が行われていることを表す所定の情報を前記ピクチャに重畳して表示させる場合、ランダムアクセスポイントの前記ピクチャに、ランダムアクセス再生時の輝度調整に用いるランダムアクセス再生時用のメタデータを付加し、
前記ランダムアクセス再生時用のメタデータを付加した前記ピクチャを表示装置に出力する
再生方法。
(14)
コンピュータに、
ピクチャの輝度情報を含む動的メタデータが付加されたビデオストリームのランダムアクセス再生を行い、
ランダムアクセス再生が行われていることを表す所定の情報を前記ピクチャに重畳して表示させる場合、ランダムアクセスポイントの前記ピクチャに、ランダムアクセス再生時の輝度調整に用いるランダムアクセス再生時用のメタデータを付加し、
前記ランダムアクセス再生時用のメタデータを付加した前記ピクチャを表示装置に出力する
処理を実行させるためのプログラム。
1 再生装置, 2 TV, 3 記録装置, 21 コントローラ, 22 符号化処理部, 23 ディスクドライブ, 31 Dynamic metadata生成部, 32 符号化制御部, 33 Data Base情報生成部, 34 記録制御部, 51 コントローラ, 52 ディスクドライブ, 53 メモリ, 54 ローカルストレージ, 55 通信部, 56 復号処理部, 57 操作入力部, 58 外部出力部, 101 Data Base情報解析部, 102 出力制御部, 103 デフォルトメタデータ生成部

Claims (5)

  1. ピクチャの輝度情報を含む動的メタデータが付加されたビデオストリームのランダムアクセス再生を行う再生部と、
    ランダムアクセス再生が行われていることを表す所定の情報を前記ピクチャに重畳して表示させる場合、ランダムアクセスポイントの前記ピクチャに、ランダムアクセス再生時の輝度調整に用いるランダムアクセス再生時用のメタデータを付加し、前記ランダムアクセス再生時用のメタデータを付加した前記ピクチャを表示装置に出力する出力制御部と
    を備える再生装置。
  2. 前記再生部は、ランダムアクセス再生として、所定の倍速での早送り再生または巻き戻し再生を行う
    請求項に記載の再生装置。
  3. 前記再生部は、ランダムアクセス再生として、頭出し再生を行う
    請求項に記載の再生装置。
  4. 再生装置が、
    ピクチャの輝度情報を含む動的メタデータが付加されたビデオストリームのランダムアクセス再生を行い、
    ランダムアクセス再生が行われていることを表す所定の情報を前記ピクチャに重畳して表示させる場合、ランダムアクセスポイントの前記ピクチャに、ランダムアクセス再生時の輝度調整に用いるランダムアクセス再生時用のメタデータを付加し、
    前記ランダムアクセス再生時用のメタデータを付加した前記ピクチャを表示装置に出力する
    再生方法。
  5. コンピュータに、
    ピクチャの輝度情報を含む動的メタデータが付加されたビデオストリームのランダムアクセス再生を行い、
    ランダムアクセス再生が行われていることを表す所定の情報を前記ピクチャに重畳して表示させる場合、ランダムアクセスポイントの前記ピクチャに、ランダムアクセス再生時の輝度調整に用いるランダムアクセス再生時用のメタデータを付加し、
    前記ランダムアクセス再生時用のメタデータを付加した前記ピクチャを表示装置に出力する
    処理を実行させるためのプログラム。
JP2019554159A 2017-11-17 2018-11-02 再生装置、再生方法、およびプログラム Active JP7180610B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022184065A JP7435704B2 (ja) 2017-11-17 2022-11-17 再生装置、再生方法、プログラム、情報処理システム
JP2024013035A JP2024045366A (ja) 2017-11-17 2024-01-31 情報処理装置、情報処理方法、記録媒体、再生装置、再生方法、およびプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017221549 2017-11-17
JP2017221549 2017-11-17
PCT/JP2018/040789 WO2019098054A1 (ja) 2017-11-17 2018-11-02 情報処理装置、情報処理方法、記録媒体、再生装置、再生方法、およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022184065A Division JP7435704B2 (ja) 2017-11-17 2022-11-17 再生装置、再生方法、プログラム、情報処理システム

Publications (2)

Publication Number Publication Date
JPWO2019098054A1 JPWO2019098054A1 (ja) 2020-11-26
JP7180610B2 true JP7180610B2 (ja) 2022-11-30

Family

ID=66540332

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019554159A Active JP7180610B2 (ja) 2017-11-17 2018-11-02 再生装置、再生方法、およびプログラム
JP2022184065A Active JP7435704B2 (ja) 2017-11-17 2022-11-17 再生装置、再生方法、プログラム、情報処理システム
JP2024013035A Pending JP2024045366A (ja) 2017-11-17 2024-01-31 情報処理装置、情報処理方法、記録媒体、再生装置、再生方法、およびプログラム

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2022184065A Active JP7435704B2 (ja) 2017-11-17 2022-11-17 再生装置、再生方法、プログラム、情報処理システム
JP2024013035A Pending JP2024045366A (ja) 2017-11-17 2024-01-31 情報処理装置、情報処理方法、記録媒体、再生装置、再生方法、およびプログラム

Country Status (7)

Country Link
US (1) US11245941B2 (ja)
EP (1) EP3712891B1 (ja)
JP (3) JP7180610B2 (ja)
KR (1) KR102624024B1 (ja)
CN (1) CN111344787B (ja)
TW (1) TWI826400B (ja)
WO (1) WO2019098054A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021242873A1 (en) * 2020-05-26 2021-12-02 Dolby Laboratories Licensing Corporation Picture metadata for variable frame-rate video

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015198553A1 (ja) 2014-06-26 2015-12-30 パナソニックIpマネジメント株式会社 データ出力装置、データ出力方法及びデータ生成方法
WO2015198560A1 (ja) 2014-06-27 2015-12-30 パナソニックIpマネジメント株式会社 データ出力装置、データ出力方法及びデータ生成方法
WO2016027423A1 (ja) 2014-08-19 2016-02-25 パナソニックIpマネジメント株式会社 伝送方法、再生方法及び再生装置
WO2016039024A1 (ja) 2014-09-08 2016-03-17 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP2016081553A (ja) 2014-10-17 2016-05-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 記録媒体、再生方法、および再生装置
WO2016103968A1 (ja) 2014-12-22 2016-06-30 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP2017103745A (ja) 2015-11-24 2017-06-08 三菱電機株式会社 映像再生装置及び映像再生方法
JP2017183762A (ja) 2014-08-19 2017-10-05 パナソニックIpマネジメント株式会社 映像ストリーム生成方法、再生装置及び記録媒体

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101702562B1 (ko) * 2010-06-18 2017-02-03 삼성전자 주식회사 멀티미디어 스트림 파일의 저장 파일 포맷, 저장 방법 및 이를 이용한 클라이언트 장치
US9210322B2 (en) * 2010-12-27 2015-12-08 Dolby Laboratories Licensing Corporation 3D cameras for HDR
JP2013034163A (ja) * 2011-06-03 2013-02-14 Sony Corp 画像処理装置及び画像処理方法
US9774819B2 (en) * 2013-06-20 2017-09-26 Saturn Licensing Llc Reproduction device, reproduction method, and recording medium
US10230999B2 (en) * 2013-12-16 2019-03-12 Lg Electronics Inc. Signal transmission/reception device and signal transmission/reception method for providing trick play service
MX357793B (es) * 2014-06-23 2018-07-25 Panasonic Ip Man Co Ltd Metodo de conversion y aparato de conversion.
WO2016039025A1 (ja) 2014-09-08 2016-03-17 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
CN106981054B (zh) * 2017-03-27 2019-12-24 联想(北京)有限公司 一种图像处理方法及电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015198553A1 (ja) 2014-06-26 2015-12-30 パナソニックIpマネジメント株式会社 データ出力装置、データ出力方法及びデータ生成方法
WO2015198560A1 (ja) 2014-06-27 2015-12-30 パナソニックIpマネジメント株式会社 データ出力装置、データ出力方法及びデータ生成方法
WO2016027423A1 (ja) 2014-08-19 2016-02-25 パナソニックIpマネジメント株式会社 伝送方法、再生方法及び再生装置
JP2017183762A (ja) 2014-08-19 2017-10-05 パナソニックIpマネジメント株式会社 映像ストリーム生成方法、再生装置及び記録媒体
WO2016039024A1 (ja) 2014-09-08 2016-03-17 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP2016081553A (ja) 2014-10-17 2016-05-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 記録媒体、再生方法、および再生装置
WO2016103968A1 (ja) 2014-12-22 2016-06-30 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP2017103745A (ja) 2015-11-24 2017-06-08 三菱電機株式会社 映像再生装置及び映像再生方法

Also Published As

Publication number Publication date
EP3712891A4 (en) 2020-12-16
JPWO2019098054A1 (ja) 2020-11-26
KR20200087754A (ko) 2020-07-21
TW201929541A (zh) 2019-07-16
JP7435704B2 (ja) 2024-02-21
CN111344787A (zh) 2020-06-26
JP2023018015A (ja) 2023-02-07
US20210176508A1 (en) 2021-06-10
US11245941B2 (en) 2022-02-08
TWI826400B (zh) 2023-12-21
KR102624024B1 (ko) 2024-01-12
EP3712891A1 (en) 2020-09-23
EP3712891B1 (en) 2023-10-11
CN111344787B (zh) 2021-12-17
JP2024045366A (ja) 2024-04-02
WO2019098054A1 (ja) 2019-05-23

Similar Documents

Publication Publication Date Title
US11516428B2 (en) Reproduction device, reproduction method, and recording medium
US10951909B2 (en) Reproduction device reproduction method, and recording medium
US10880532B2 (en) Reproduction device, reproduction method, and recording medium
US9832440B2 (en) Reproduction device, reproduction method, and recording medium that display graphics based on tone mapping
US9706184B2 (en) Reproduction device, reproduction method, and recording medium
JP2024045366A (ja) 情報処理装置、情報処理方法、記録媒体、再生装置、再生方法、およびプログラム
JP7207314B2 (ja) 再生装置、再生方法、プログラム
JP7251480B2 (ja) 再生装置、再生方法、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221031

R151 Written notification of patent or utility model registration

Ref document number: 7180610

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151