JPWO2017043504A1 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
JPWO2017043504A1
JPWO2017043504A1 JP2017539182A JP2017539182A JPWO2017043504A1 JP WO2017043504 A1 JPWO2017043504 A1 JP WO2017043504A1 JP 2017539182 A JP2017539182 A JP 2017539182A JP 2017539182 A JP2017539182 A JP 2017539182A JP WO2017043504 A1 JPWO2017043504 A1 JP WO2017043504A1
Authority
JP
Japan
Prior art keywords
image data
frame
frame rate
stream
basic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017539182A
Other languages
English (en)
Other versions
JP6809471B2 (ja
Inventor
塚越　郁夫
郁夫 塚越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017043504A1 publication Critical patent/JPWO2017043504A1/ja
Application granted granted Critical
Publication of JP6809471B2 publication Critical patent/JP6809471B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

ノーマルフレームレートおよびハイフレームレートの画像データを良好に伝送する。ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して基本フレームレートの画像データを得ると共に、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施してハイフレームレートの拡張フレームの画像データを得る。基準フレームレートの画像データに符号化処理を施して基本ストリームを得ると共に、ハイフレームレートの拡張フレームの画像データに符号化処理を施して拡張ストリームを得る。基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを送信する。

Description

本技術は、送信装置、送信方法、受信装置および受信方法に関し、詳しくは、ハイフレームレート（High Frame Rate）の動画像データを送信する送信装置等に関する。
近年、高速フレームシャッターでハイフレームレート撮影を行うカメラが知られている。例えば、ノーマルフレームレートが６０ｆｐｓ、５０ｆｐｓなどであるのに対して、ハイフレームレートはその数倍あるいは数十倍、さらには数百倍のフレームレートとなる。
ハイフレームレートのサービスを行う場合、高速フレームシャッターでカメラ撮りされた動画像データを、それよりも低周波数の動画像シーケンスに変換して送信することが考えられる。しかし、高速フレームシャッターの画像は、動きボケを改善し、先鋭度の高い画質を実現する効果がある一方で、受信再生側の従来のフレーム補間技術に画質的な問題を引き起こす要素をもつ。
高速フレームシャッターで撮影された先鋭度の高い画像を用いたフレーム補間は、動きベクトル探索が適合する場合と適合しない場合との差が大きくなる。そのため、両者の差が顕著な画質劣化となって表示されるためである。フレーム補間時に、動きベクトル探索の精度を向上させるためには高負荷演算が要求されるが、受信機コストに影響を及ぼす。
本出願人は、先に、高速フレームシャッターで撮影された画像による素材を変換して、ノーマルフレームレートのデコードを行う従来の受信機で一定以上の画品質で表示させる技術を提案した（特許文献１参照）。
国際公開第２０１５/０７６２７７号
本技術の目的は、ノーマルフレームレートおよびハイフレームレートの画像データを良好に伝送することにある。
本技術の概念は、
ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して基本フレームレートの画像データを得ると共に、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施してハイフレームレートの拡張フレームの画像データを得る画像処理部と、
上記基準フレームレートの画像データに符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに符号化処理を施して拡張ストリームを得る画像符号化部と、
上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信部を備える
送信装置にある。
本技術において、画像処理部により、ハイフレームレートの画像データから基本フレームレートの画像データおよびハイフレームレートの拡張フレームの画像データが得られる。ここで、基本フレームレートの画像データは、所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理が施されることで得られる。ハイフレームレートの拡張フレームの画像データは、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理が施されることで得られる。
画像符号化部により、基準フレームレートの画像データに符号化処理が施されて基本ストリームが得られると共に、ハイフレームレートの拡張フレームの画像データに符号化処理が施されて拡張ストリームが得られる。送信部により、基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナが送信される。例えば、画像処理部は、基本フレームレートの画像データおよびハイフレームレートの拡張フレームの画像データを一系統の画像データとして画像符号化部に供給し、この一系統の画像データには基本フレームレートの画像データおよびハイフレームレートの拡張フレームの画像データのそれぞれのフレームを識別するための識別情報が付加されている、ようにされてもよい。
このように本技術においては、ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して開口率が高められた基本フレームレートの画像データを得、この基本フレームレートの画像データに符号化処理を施して得られた基本ストリームが送信される。そのため、基本フレームレートの画像データを処理可能なデコード能力がある受信機の場合、この基本ストリームを処理して基本フレームレートの画像データを得ることで、動画像として滑らかな画像を表示でき、また、表示処理において低負荷演算によるフレーム補間処理で画質的な問題を引き起こすことが回避可能となる。
また、本技術においては、基本ストリームと共に、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して得られたハイフレームレートの拡張フレームの画像データを含む拡張ストリームが送信される。そのため、ハイフレームレートの画像データを処理可能なデコード能力がある受信機の場合、この拡張ストリームを処理してハイフレームレートの拡張フレームの画像データを得、基本フレームレートの画像データと合成してハイフレームレートの画像データを得ることで、ハイフレームレートの画像表示を良好に行うことができる。
なお、本技術において、例えば、基本ストリームのレイヤに第１の比率を示す混合比情報を挿入すること、および拡張ストリームのレイヤに第２の比率を示す混合比情報を挿入することの一方または両方を行う情報挿入部をさらに備える、ようにされてもよい。この場合、例えば、基本ストリームおよび拡張ストリームはＮＡＬユニット構造を有し、情報挿入部は、混合比情報を持つＳＥＩ ＮＡＬユニットを、基本ストリームおよび/または拡張ストリームに挿入する、ようにされてもよい。このように拡張ストリームのレイヤに混合比情報が挿入されることで、受信側では、基本フレームレートの画像データやハイフレームレートの拡張フレームの画像データがいかなる混合比で混合されたものであるかを容易に認識可能となる。例えば、この混合比情報を用いて混合処理の逆の処理を容易かつ適切に行うことが可能となる。
また、本技術において、例えば、コンテナのレイヤに基本ストリームに含まれる画像データが混合処理を施して得られた画像データであることを示す識別情報を挿入する情報挿入部をさらに備える、ようにされてもよい。この場合、受信側では、基本ストリームに含まれる画像データが混合処理を施して得られた画像データであることを、識別情報から容易に認識可能となる。
また、本技術の他の概念は、
基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記基本ストリームは、ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られた基本フレームレートの画像データに符号化処理を施して得られたものであり、
上記拡張ストリームは、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して得られたハイフレームレートの拡張フレームの画像データに符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理してハイフレームレートの画像データを得る処理部をさらに備える
受信装置にある。
本技術において、受信部により、基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナが受信される。基本ストリームは、ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られた基本フレームレートの画像データ符号化処理を施して得られたものである。拡張ストリームは、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して得られたハイフレームレートの拡張フレームの画像データに符号化処理を施して得られたものである。
処理部により、基本ストリームのみが処理されて基本フレームレートの画像データが得られるか、あるいは基本ストリームおよび拡張ストリームの双方が処理されてハイフレームレートの画像データが得られる。
例えば、処理部は、ハイフレームレートの画像データを得る場合、基本ストリームに復号化処理を施して基本フレームレートの画像データを得ると共に、拡張ストリームに復号化処理を施してハイフレームレートの拡張フレームの画像データを得る処理と、基本フレームレートの画像データとハイフレームレートの拡張フレームの画像データを合成してハイフレームレートの画像データを得る処理を行う、ようにされてもよい。この場合、ハイフレームレートの画像データを簡単に得ることが可能となる。
また、例えば、処理部は、ハイフレームレートの画像データを得る場合、基本ストリームに復号化処理を施して基本フレームレートの画像データを得ると共に、拡張ストリームに復号化処理を施してハイフレームレートの拡張フレームの画像データを得る処理と、基本フレームレートの画像データおよびハイフレームレートの拡張フレームの画像データに混合処理の逆処理を施して、上記時間的に連続する２個のピクチャ単位の一方および他方のピクチャの画像データを得る処理と、この時間的に連続する２個のピクチャ単位の一方および他方のピクチャの画像データを合成してハイフレームレートの画像データを得る処理を行う、ようにされてもよい。この場合、混合処理の逆処理が施されることから、最終的に得られるハイフレームレートの画像データは元のシャッター開口率が再現されたものとなり、ハイフレームレートの画像表示における画質向上が可能となる。
このように本技術においては、基本フレームレートの画像データを処理可能なデコード能力がある場合、基本ストリームのみが処理されて基本フレームレートの画像データが得られる。この基本フレームレートの画像データは、ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理が施されて得られたものであり、開口率が高められている。そのため、動画像として滑らかな画像を表示でき、また、表示処理において低負荷演算によるフレーム補間処理で画質的な問題を引き起こすことが回避可能となる。
また、本技術においては、ハイフレームレートの画像データを処理可能なデコード能力がある場合、基本ストリームが処理されて基本フレームレートの画像データが得られると共に、拡張ストリームが処理されてハイフレームレートの拡張フレームの画像データが得られ、さらにそれらが合成されてハイフレームレートの画像データが得られる。従って、ハイフレームレートの画像表示を良好に行うことができる。
また、本技術の他の概念は、
第１のフレームおよび第２のフレームが交互に連続したハイフレームレートの画像データにおいて、上記第１のフレームの画像データと該第１のフレームに続く上記第２のフレームの画像データに第１の比率の混合処理を施して基本フレームレートの画像データを得ると共に、上記第２のフレームの画像データと該第２のフレームに続く上記第１のフレームの画像データに第２の比率の混合処理を施してハイフレームレートの拡張フレームの画像データを得る画像処理部と、
上記基準フレームレートの画像データに符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに符号化処理を施して拡張ストリームを得る画像符号化部と、
上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信部を備える
送信装置にある。
本技術において、画像処理部により、ハイフレームレートの画像データから基本フレームレートの画像データおよびハイフレームレートの拡張フレームの画像データが得られる。ここで、基本フレームレートの画像データは、第１のフレームおよび第２のフレームが交互に連続したハイフレームレートの画像データにおいて、第１のフレームの画像データとこの第１のフレームに続く第２のフレームの画像データに第１の比率の混合処理を施して得られる。ハイフレームレートの拡張フレームの画像データは、上記ハイフレームレートの画像データにおいて、第２のフレームの画像データとこの第２のフレームに続く第１のフレームの画像データに第２の比率の混合処理を施して得られる。
画像符号化部により、基準フレームレートの画像データに符号化処理が施されて基本ストリームが得られると共に、ハイフレームレートの拡張フレームの画像データに符号化処理が施されて拡張ストリームが得られる。送信部により、基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナが送信される。例えば、画像処理部は、基本フレームレートの画像データおよびハイフレームレートの拡張フレームの画像データを一系統の画像データとして画像符号化部に供給し、この一系統の画像データには基本フレームレートの画像データおよびハイフレームレートの拡張フレームの画像データのそれぞれのフレームを識別するための識別情報が付加されている、ようにされてもよい。
このように本技術においては、第１のフレームおよび第２のフレームが交互に連続したハイフレームレートの画像データにおいて、第１のフレームの画像データとこの第１のフレームに続く第２のフレームの画像データに第１の比率の混合処理を施して得られ、開口率が高められた基本フレームレートの画像データを含む基本ストリームが送信される。そのため、基本フレームレートの画像データを処理可能なデコード能力がある受信機の場合、この基本ストリームを処理して基本フレームレートの画像データを得ることで、動画像として滑らかな画像を表示でき、また、表示処理において低負荷演算によるフレーム補間処理で画質的な問題を引き起こすことが回避可能となる。
また、本技術においては、基本ストリームと共に、上記ハイフレームレートの画像データにおいて、第２のフレームの画像データとこの第２のフレームに続く第１のフレームの画像データに第２の比率の混合処理を施して得られたハイフレームレートの拡張フレームの画像データを含む拡張ストリームが送信される。そのため、ハイフレームレートの画像データを処理可能なデコード能力がある受信機の場合、この拡張ストリームを処理してハイフレームレートの拡張フレームの画像データを得、基本フレームレートの画像データと合成してハイフレームレートの画像データを得ることで、ハイフレームレートの画像表示を良好に行うことができる。
ここで、基本フレームレートの画像データは第１のフレームの画像データとこの第１のフレームに続く第２のフレームの画像データに混合処理を施して得られたものであり、ハイフレームレートの拡張フレームの画像データは第２のフレームの画像データとこの第２のフレームに続く第１のフレームの画像データに第２の比率の混合処理を施して得られたものであり、合成して得られたハイフレームレートの画像データのフレーム連続性がよく、ハイフレームレートの画像表示を滑らかに行うことができる。
なお、本技術において、例えば、基本ストリームのレイヤに第１の比率を示す混合比情報を挿入すること、および拡張ストリームのレイヤに第２の比率を示す混合比情報を挿入することの一方または両方を行う情報挿入部をさらに備える、ようにされてもよい。この場合、例えば、基本ストリームおよび拡張ストリームはＮＡＬユニット構造を有し、情報挿入部は、混合比情報を持つＳＥＩ ＮＡＬユニットを、基本ストリームおよび/または拡張ストリームに挿入する、ようにされてもよい。このように拡張ストリームのレイヤに混合比情報が挿入されることで、受信側では、基本フレームレートの画像データやハイフレームレートの拡張フレームの画像データがいかなる混合比で混合されたものであるかを容易に認識可能となる。
また、本技術において、例えば、コンテナのレイヤに基本ストリームに含まれる画像データが混合処理を施して得られた画像データであることを示す識別情報を挿入する情報挿入部をさらに備える、ようにされてもよい。この場合、受信側では、基本ストリームに含まれる画像データが混合処理を施して得られた画像データであることを、識別情報から容易に認識可能となる。
また、本技術の他の概念は、
基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記基本ストリームは、第１のフレームおよび第２のフレームが交互に連続したハイフレームレートの画像データにおいて、上記第１のフレームの画像データと該第１のフレームに続く上記第２のフレームの画像データに第１の比率の混合処理を施して得られた基本フレームレートの画像データに符号化処理を施して得られたものであり、
上記拡張ストリームは、上記ハイフレームレートの画像データにおいて、上記第２のフレームの画像データと該第２のフレームに続く上記第１のフレームの画像データに第２の比率の混合処理を施して得られたハイフレームレートの拡張フレームの画像データに符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理してハイフレームレートの画像データを得る処理部をさらに備える
受信装置にある。
本技術において、受信部により、基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナが受信される。基本ストリームは、第１のフレームおよび第２のフレームが交互に連続したハイフレームレートの画像データにおいて、第１のフレームの画像データとこの第１のフレームに続く第２のフレームの画像データに第１の比率の混合処理を施して得られた基本フレームレートの画像データに符号化処理が施されて得られたものである。拡張ストリームは、上記ハイフレームレートの画像データにおいて、第２のフレームの画像データとこの第２のフレームに続く第１のフレームの画像データに第２の比率の混合処理を施して得られたハイフレームレートの拡張フレームの画像データに符号化処理が施されて得られたものである。
処理部により、基本ストリームのみが処理されて基本フレームレートの画像データが得られるか、あるいは基本ストリームおよび拡張ストリームの双方が処理されてハイフレームレートの画像データが得られる。
例えば、処理部は、ハイフレームレートの画像データを得る場合、基本ストリームに復号化処理を施して基本フレームレートの画像データを得ると共に、拡張ストリームに復号化処理を施してハイフレームレートの拡張フレームの画像データを得る処理と、基本フレームレートの画像データとハイフレームレートの拡張フレームの画像データを合成してハイフレームレートの画像データを得る処理を行う、ようにされてもよい。この場合、ハイフレームレートの画像データを簡単に得ることが可能となる。
このように本技術においては、基本フレームレートの画像データを処理可能なデコード能力がある場合、基本ストリームのみが処理されて基本フレームレートの画像データが得られる。この基本フレームレートの画像データは、第１のフレームおよび第２のフレームが交互に連続したハイフレームレートの画像データにおいて、第１のフレームの画像データとこの第１のフレームに続く第２のフレームの画像データに第１の比率の混合処理を施して得られたものであり、開口率が高められている。そのため、動画像として滑らかな画像を表示でき、また、表示処理において低負荷演算によるフレーム補間処理で画質的な問題を引き起こすことが回避可能となる。
また、本技術においては、ハイフレームレートの画像データを処理可能なデコード能力がある場合、基本ストリームが処理されて基本フレームレートの画像データが得られると共に、拡張ストリームが処理されてハイフレームレートの拡張フレームの画像データが得られ、さらにそれらが合成されてハイフレームレートの画像データが得られる。従って、ハイフレームレートの画像表示を良好に行うことができる。
ここで、基本フレームレートの画像データは第１のフレームの画像データとこの第１のフレームに続く第２のフレームの画像データに混合処理を施して得られたものであり、ハイフレームレートの拡張フレームの画像データは第２のフレームの画像データとこの第２のフレームに続く第１のフレームの画像データに第２の比率の混合処理を施して得られたものであり、合成して得られたハイフレームレートの画像データのフレーム連続性がよく、ハイフレームレートの画像表示を滑らかに行うことができる。
本技術によれば、ノーマルフレームレート（基本フレームレート）およびハイフレームレートの画像データを良好に伝送することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
実施の形態としての送受信システムの構成例を示すブロック図である。 混合比によって変化するシャッター開口率を説明するための図である。 送信装置および受信装置の処理の概要を示す図である。 送信装置の構成例を示すブロック図である。 プリプロセッサの構成例を示すブロック図である。 プリプロセッサの入力データ（画像データＰ）と、その出力データ（画像データＱｂ，Ｑｅ）との関係の一例を示す図である。 インバース・ブレンディング・レイヤ・プリディクション・ＳＥＩの構造例と、その構造例における主要な情報の内容を示す図である。 ビデオ・スケーラビリティ・インフォメーション・デスクリプタの構造例と、その構造例における主要な情報の内容を示す図である。 トランスポートストリームＴＳの構成例を示す図である。 受信装置（ハイフレームレート対応）の構成例を示すブロック図である。 ポストプロセッサの構成例を示すブロック図である。 ポストプロセッサの他の構成例を示すブロック図である。 受信装置（ノーマルフレームレート対応）の構成例を示すブロック図である。 プリプロセッサの他の構成例を示すブロック図である。 プリプロセッサの入力データ（画像データＰ）と、その出力データ（画像データＱｂ，Ｑｅ）との関係の一例を示す図である。
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
＜１．実施の形態＞
［送受信システム］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、受信装置２００とを有する構成となっている。
送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。このトランスポートストリームＴＳには、ハイフレームレート、この実施の形態においては１２０ｆｐｓの画像データ（動画像データ）が処理されて得られた基本ストリーム（基本ビデオストリーム）および拡張ストリーム（拡張ビデオストリーム）が含まれる。この実施の形態において、基本ストリームおよび拡張ストリームは、ＮＡＬユニット構造を有するものとされる。
ここで、基本ストリームは、ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られた基本フレームレート（ノーマルフレームレート）の画像データに符号化処理を施して得られたものである。この基本ストリームには、基本フレームレートの画像データのピクチャ毎の符号化画像データがアクセスユニットとして含まれる。この基本フレームレートの画像データは、６０ｆｐｓの画像データである。
また、拡張ストリームは、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して得られたハイフレームレートの拡張フレームの画像データに符号化処理を施して得られたものである。この拡張ストリームには、ハイフレームレートの拡張フレームの画像データのピクチャ毎の符号化画像データがアクセスユニットとして含まれる。このハイフレームレートの拡張フレームの画像データは、６０ｆｐｓの画像データである。
ここで、ハイフレームレートの画像データは、図２（ａ）に示すように、オリジナル画像シーケンス（高速シャッター画像シーケンス）であるとする。図において、“Ａ” ，“Ｂ”は、それぞれ、時間的に連続する２個のピクチャ単位で１番目のピクチャの画像データ、２番目のピクチャの画像データを示している。このオリジナル画像シーケンスのシャッター開口率は１（１００％）である。図示しないが、このハイフレームレートの画像データから単に抽出される“Ａ”あるいは“Ｂ”の画像シーケンスのシャッター開口率は１/２（５０％）である。
これに対して、図２（ｂ）〜（ｄ）に示すように、２個のピクチャ単位で混合処理を施して得られた混合画像シーケンスのシャッター開口率は、１/２（５０％）から１（１００％）までの間となる。図において、“Ｃ”は、２個のピクチャ単位で第１の比率で混合処理をして得られる基本フレームレートの画像データを示し、“Ｄ”は、２個のピクチャ単位で第２の比率で混合処理をして得られるハイフレームレートの拡張フレームの画像データを示している。ここでは、“Ｃ”の混合画像シーケンスに着目している。
例えば、図２（ｂ）に示すように、１番目のピクチャの係数αが１で、２番目のピクチャの係数βが０であるとき、混合画像シーケンスのシャッター開口率は１/２（５０％）である。また、例えば、図２（ｃ）に示すように、１番目のピクチャの係数αが３/４で、２番目のピクチャの係数βが１/４であるとき、混合画像シーケンスのシャッター開口率は３/４（７５％）である。また、例えば、図２（ｄ）に示すように、１番目のピクチャの係数αが１/２で、２番目のピクチャの係数βが１/２であるとき、混合画像シーケンスのシャッター開口率は１（１００％）である。
基本ストリームおよび/または拡張ストリームのレイヤに、混合処理における混合比情報が挿入される。この場合、基本ストリームのレイヤには第１の比率を示す混合比情報が挿入され、拡張ストリームのレイヤには第２の比率を示す混合比情報が挿入される。例えば、混合比情報は、２個のピクチャ単位における１番目のピクチャの係数αと２番目のピクチャの係数βの情報とされる。この実施の形態において、混合比情報を持つＳＥＩ ＮＡＬユニットが、基本ストリームおよび/または拡張ストリームに挿入される。受信側では、この混合比情報により、基本フレームレートの画像データやハイフレームレートの拡張フレームの画像データがいかなる混合比で混合されたものであるかを容易に認識可能となる。
コンテナのレイヤに、基本ストリームに含まれる画像データが混合処理を施して得られた画像データであることを示す識別情報が挿入される。この実施の形態においては、プログラムマップテーブル（ＰＭＴ：Program Map Table）の配下に拡張ストリームに対応して配置されたビデオエレメンタリストリームループの中に、識別情報が記述されたデスクリプタ（Descriptor）が挿入される。受信側では、基本ストリームに含まれる画像データが混合処理を施して得られた画像データであることを、識別情報から容易に認識可能となる。
受信装置２００は、送信装置１００から放送波に載せて送られてくる上述のトランスポートストリームＴＳを受信する。受信装置２００は、６０ｆｐｓの画像データを処理可能なデコード能力がある場合、トランスポートストリームＴＳに含まれる基本ストリームのみを処理して、基本フレームレート（６０ｆｐｓ）の画像データを得て、画像再生を行う。
一方、受信装置２００は、１２０ｆｐｓの画像データを処理可能なデコード能力がある場合、トランスポートストリームＴＳに含まれる基本ストリームおよび拡張ストリームの双方を処理して、ハイフレームレート（１２０ｆｐｓ）の画像データを得て、画像再生を行う。
この場合、例えば、受信装置２００は、基本ストリームに復号化処理を施して基本フレームレートの画像データを得ると共に、拡張ストリームに復号化処理を施してハイフレームレートの拡張フレームの画像データを得た後、基本フレームレートの画像データとハイフレームレートの拡張フレームの画像データを合成してハイフレームレートの画像データを得る。この場合には、ハイフレームレートの画像データを簡単に得ることができる。
また、この場合、例えば、受信装置２００は、基本フレームレートの画像データおよびハイフレームレートの拡張フレームの画像データを得た後、これらの画像データに混合処理の逆処理を施して、上記時間的に連続する２個のピクチャ単位の一方および他方のピクチャの画像データを得て、それらの画像データを合成してハイフレームレートの画像データを得る。この場合には、混合処理の逆処理が施されることから、最終的に得られるハイフレームレートの画像データは元のシャッター開口率が再現されたものとなり、ハイフレームレートの画像表示における画質向上が可能となる。
図３は、送信装置１００および受信装置２００の処理の概要を示している。送信装置１００には、１２０Ｐシーケンスの画像データＰが入力される。この送信装置１００では、プリプロセッサ１０１において、画像データＰが処理されて、基本フレームレートの画像データＱｂと、ハイフレームレートの拡張フレームの画像データＱｅが得られる。そして、送信装置１００では、エンコーダ１０２において、画像データＱｂ、Ｑｅに符号化処理が施されて、基本ストリームＳＴｂと、拡張ストリームＳＴｅが得られる。送信装置１００から受信装置２００には、これらの２つのストリームＳＴｂ，ＳＴｅが送信される。
１２０ｆｐｓの画像データを処理可能なデコード能力がある受信装置２００Ａでは、デコーダ２０３において、２つのストリームＳＴｂ，ＳＴｅに復号化処理が施されて、基本フレームレートの画像データＱｂ´と、ハイフレームレートの拡張フレームの画像データＱｅ´が得られる。そして、受信装置２００Ａでは、ポストプロセッサ２０４において、画像データＱｂ´、Ｑｅ´が処理されて、１２０Ｐシーケンスの画像データＰ´が得られる。
一方、６０ｆｐｓの画像データを処理可能なデコード能力がある受信装置２００Ｂでは、デコーダ２０３Ｂにおいて、ストリームＳＴｂに復号化処理が施されて、基本フレームレートの画像データＱｂ´が得られる。そして、受信装置２００Ｂでは、この画像データＱｂ´がそのまま６０Ｐシーケンスの画像データとなる。
「送信装置の構成」
図４は、送信装置１００の構成例を示している。この送信装置１００は、プリプロセッサ１０１と、エンコーダ１０２と、マルチプレクサ１０３と、送信部１０４を有している。プリプロセッサ１０１は、１２０ｆｐｓの画像データＰを入力して、基本フレームレートの画像データＱｂと、ハイフレームレートの拡張フレームの画像データＱｅを出力する。
ここで、プリプロセッサ１０１は、１２０ｆｐｓの画像データＰにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して基本フレームレートの画像データＱｂを得る。また、このプリプロセッサ１０１は、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施してハイフレームレートの拡張フレームの画像データＱｅを得る。
図５（ａ）は、プリプロセッサ１０１の構成例を示している。このプリプロセッサ１０１は、１２０ｆｐｓの1フレーム分遅延させる遅延回路１１１，１１４と、演算回路１１２と、切り替え回路１１５を有している。また、演算回路１１２は、係数乗算部１１２ａ，１１２ｂ，１１２ｃ，１１２ｄと、加算部１１２ｅ，１１２ｆを有している。
係数乗算部１１２ａ，１１２ｂおよび加算部１１２ｅは、上記時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施すために使用される。係数乗算部１１２ａでは係数ｐが乗算され、係数乗算部１１２ｂでは係数ｑが乗算される。なお、ｐ＝０〜１であって、ｑ＝１−ｐである。また、係数乗算部１１２ｃ，１１２ｄおよび加算部１１２ｆは、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施すために使用される。係数乗算部１１２ｃでは係数ｒが乗算され、係数乗算部１１２ｄでは係数ｓが乗算される。なお、ｒ＝０〜１であって、ｓ＝１−ｒである。
１２０ｆｐｓの画像データＰは、遅延回路１１１で１フレーム遅延された後、演算回路１１２を構成する係数乗算部１１２ａ，１１２ｃに入力される。また、１２０ｆｐｓの画像データＰは、そのまま演算回路１１２を構成する係数乗算部１１２ｂ，１１２ｄに入力される。係数乗算部１１２ａ，１１２ｂの出力は加算部１１２ｅに入力されて加算される。また、係数乗算部１１２ｃ，１１２ｄの出力は加算部１１２ｆに入力されて加算される。
ここで、画像データＰの時間的に連続する２個のピクチャの画像データをＡ，Ｂとするとき、遅延回路１１１の出力がＡとなるタイミングで、加算部１１２ｅの出力としてＣ（＝ｐ＊Ａ＋ｑ＊Ｂ）の混合出力が得られると共に、加算部１１２ｆの出力としてＤ（＝ｒ＊Ａ＋ｓ＊Ｂ）の混合出力が得られる。図５（ｂ）は、演算回路１１２における混合処理のための演算を数式で表したものである。
演算回路１１２の加算部１１２ｅの出力はそのまま切り替え回路１１５に入力される。一方、演算回路１１２の加算部１１２ｆの出力は、遅延回路１１４で１フレーム遅延された後に、切り替え回路１１５に入力される。切り替え回路１１５には、フラグ信号Ｂ＿ｆｌａｇが切り替え制御信号として供給される。このフラグ信号Ｂ＿ｆｌａｇは、１２０Ｈｚの周期で交互に“１”または“０”となる信号であって、加算部１１２ｅの出力が混合出力Ｃとなるタイミングで“１”となると共に、遅延回路１１４の出力が混合出力Ｄとなるタイミングで“０”となる。
切り替え回路１１５では、フラグ信号Ｂ＿ｆｌａｇが“１”のとき加算部１１２ｅの出力である混合出力Ｃが取り出され、フラグ信号Ｂ＿ｆｌａｇが“０”のとき遅延回路１１４の出力である混合出力Ｄが取り出される。ここで、混合出力Ｃは、画像データＰにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施した基本フレームレートの画像データＱｂを構成する。また、混合出力Ｄは、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施したハイフレームレートの拡張フレームの画像データＱｅを構成する。
切り替え回路１１５から画像データＱｂ，Ｑｅが一系統の画像データとして出力され、エンコーダ１０２に送られる。ここで、この一系統の画像データにフラグ信号Ｂ＿ｆｌａｇが付加されて送られる。このフラグ信号Ｂ＿ｆｌａｇにより、エンコーダ１０２では、一系統で送られてくる画像データの現在のフレーム（ピクチャ）が画像データＱｂのフレームであるか画像データＱｅのフレームであるかの識別が可能となる。
図６は、プリプロセッサ１０１の入力データ（１２０ｆｐｓの画像データＰ）と、プリプロセッサ１０１で生成される６０ｆｐｓの画像データＱｂ（混合出力Ｃ），Ｑｅ（混合出力Ｄ）との関係の一例を、模式的に表している。図６（ａ）は画像データＰを示し、図６（ｂ）は画像データＱｂを示し、図６（ｃ）は画像データＱｅを示している。１２０ｆｐｓの画像データＰの各ピクチャの画像データＦ１，Ｆ２，Ｆ３，Ｆ４，Ｆ５，Ｆ６，Ｆ７，Ｆ８，・・・に対応して、基本フレームレート（６０ｆｐｓ）の画像データＱｂの各ピクチャの画像データＦ１´，Ｆ３´，Ｆ５´，・・・と、ハイフレームレートの拡張フレームの画像データＱｅの各ピクチャの画像データＦ２´，Ｆ４´，Ｆ６´，・・・が得られる。
図４に戻って、エンコーダ１０２は、プリプロセッサ１０１で得られる画像データＱｂ，Ｑｅに対して符号化処理を施して、基本ストリームＳＴｂおよび拡張ストリームＳＴｅを生成する。この場合、画像データＱｂ，Ｑｅに対して、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理が施される。
エンコーダ１０２は、基本ストリームＳＴｂおよび拡張ストリームＳＴｅのレイヤに、混合処理における混合比情報を挿入する。この場合、基本ストリームＳＴｂのレイヤには第１の比率を示す混合比情報（係数ｐ，ｑ）が挿入され、拡張ストリームＳＴｅのレイヤには第２の比率を示す混合比情報（係数ｒ，ｓ）が挿入される（図５（ａ）、図６参照）。受信側では、この混合比情報により、基本フレームレートの画像データやハイフレームレートの拡張フレームの画像データがいかなる混合比で混合されたものであるかを容易に認識可能となる。
この実施の形態においては、基本ストリームＳＴｂおよび拡張ストリームＳＴｅの各アクセスユニットに混合比情報を持つＳＥＩ ＮＡＬユニットが挿入される。この場合、エンコーダ１０２は、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、新規定義する、インバース・ブレンディング・レイヤ・プリディクション・ＳＥＩ（inverse_blending_layer_prediction_SEI）を挿入する。
図７（ａ）は、インバース・ブレンディング・レイヤ・プリディクション・ＳＥＩの構造例(Syntax)を示し、図７（ｂ）は、その構造例における主要な情報の内容（Semantics）を示している。「blend_coef_alpha」の４ビットフィールドは、係数αを示す。「blend_coef_beta」の４ビットフィールドは、係数βを示す。係数α、βは、基本ストリームＳＴｂに挿入するインバース・ブレンディング・レイヤ・プリディクション・ＳＥＩでは上述した係数ｐ、ｑに対応し、拡張ストリームＳＴｅに挿入するインバース・ブレンディング・レイヤ・プリディクション・ＳＥＩでは上述した係数ｒ，ｓに対応する。
図４に戻って、マルチプレクサ１０３は、エンコーダ１０２で生成される基本ストリームＳＴｂおよび拡張ストリームＳＴｅを、ＰＥＳ（Packetized Elementary Stream）パケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。
また、マルチプレクサ１０３は、トランスポートストリームＴＳのレイヤに、基本ストリームに含まれる画像データが混合処理を施して得られた画像データであることを示す識別情報を挿入する。この場合、マルチプレクサ１０３は、プログラムマップテーブルの配下に拡張ストリームに対応して配置されたビデオエレメンタリストリームループの中に、新規定義する、ビデオ・スケーラビリティ・インフォメーション・デスクリプタ（video_scalability_information_descriptor）を挿入する。
図８（ａ）は、ビデオ・スケーラビリティ・インフォメーション・デスクリプタの構造例（Syntax）を示している。図８（ｂ）は、その構造例における主要な情報の内容（Semantics）を示している。「video_scalability_information_descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示し、ここでは、ビデオ・スケーラビリティ・インフォメーション・デスクリプタであることを示す。「video_scalability_information_descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。
「temporal_scalable_flag」の１ビットフィールドは、時間スケーラブルのストリームであるかを示すフラグ情報である。例えば、“１”は時間スケーラブルであることを示し、“０”は時間スケーラブルでないことを示す。「picture_blending_for_base_stream_flag」の１ビットフィールドは、基本ストリームにピクチャの混合処理がなされているかを示すフラグ情報である。例えば、“１”は混合処理がなされていることを示し、“０”は混合処理がなされていないことを示す。
「picture_blending_for_base_stream_flag」が“１”であるとき、「blend_coef_alpha」の４ビットフィールド、「blend_coef_beta」の４ビットフィールドが存在する。「blend_coef_alpha」のフィールドは、係数αを示す。「blend_coef_beta」のフィールドは、係数βを示す。
図９は、トランスポートストリームＴＳの構成例を示している。このトランスポートストリームＴＳには、基本ストリーム（ベースストリーム）ＳＴｂと拡張ストリーム（エンハンスストリーム）ＳＴｅの２つのビデオストリームが含まれている。すなわち、この構成例では、基本ストリームＳＴｂのＰＥＳパケット「video PES1」が存在すると共に、拡張ストリームＳＴｅのＰＥＳパケット「video PES2」が存在する。
ＰＥＳパケット「video PES1」およびＰＥＳパケット「video PES2」でコンテナされる各ピクチャの符号化画像データには、インバース・ブレンディング・レイヤ・プリディクション・ＳＥＩ（図７（ａ）参照）が挿入される。
また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）の一つとして、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。
ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各ビデオストリームに関連した情報を持つエレメンタリストリーム・ループが存在する。この構成例では、基本ストリームに対応したビデオエレメンタリストリームループ「video ES1 loop」が存在すると共に、拡張ストリームに対応したビデオエレメンタリストリームループ「video ES2 loop」が存在する。
「video ES1 loop」には、基本ストリーム（video PES1）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このストリームタイプは、基本ストリームを示す“０ｘ２４”とされる。
また、「video ES2 loop」には、拡張ストリーム（video PES2）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このストリームタイプは、拡張ストリームを示す“０ｘ２ｘ”とされる。また、デスクリプタの一つとして、ビデオ・スケーラビリティ・インフォメーション・デスクリプタ（図８（ａ）参照）が挿入される。
図４に戻って、送信部１０４は、トランスポートストリームＴＳを、例えば、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調し、ＲＦ変調信号を送信アンテナから送信する。
図４に示す送信装置１００の動作を簡単に説明する。プリプロセッサ１０１には、１２０ｆｐｓの画像データＰが入力される。そして、このプリプロセッサ１０１からは、基本フレームレートの画像データＱｂと、ハイフレームレートの拡張フレームの画像データＱｅが出力される。
ここで、プリプロセッサ１０１では、１２０ｆｐｓの画像データＰにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理が施されて基本フレームレートの画像データＱｂ（６０ｆｐｓ）が得られる。また、このプリプロセッサ１０１では、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理が施されてハイフレームレートの拡張フレームの画像データＱｅ（６０ｆｐｓ）が得られる。
プリプロセッサ１０１で得られた画像データＱｂ，Ｑｅは、エンコーダ１０２に供給される。エンコーダ１０２では、画像データＱｂ，Ｑｅに対して符号化処理が施されて、基本ストリームＳＴｂおよび拡張ストリームＳＴｅが生成される。このエンコーダ１０２では、基本ストリームＳＴｂおよび拡張ストリームＳＴｅのレイヤに、混合処理における混合比情報が挿入される。この場合、基本ストリームＳＴｂのレイヤには第１の比率を示す混合比情報（係数ｐ，ｑ）が挿入され、拡張ストリームＳＴｅのレイヤには第２の比率を示す混合比情報（係数ｒ，ｓ）が挿入される（図５（ａ）、図６参照）。
具体的には、基本ストリームＳＴｂおよび拡張ストリームＳＴｅの各アクセスユニットの“ＳＥＩｓ”の部分に、インバース・ブレンディング・レイヤ・プリディクション・ＳＥＩ（図７（ａ）参照）が挿入される。
エンコーダ１０２で生成された基本ストリームＳＴｂおよび拡張ストリームＳＴｅは、マルチプレクサ１０３に供給される。マルチプレクサ１０３では、基本ストリームＳＴｂおよび拡張ストリームＳＴｅが、ＰＥＳパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。
また、マルチプレクサ１０３では、トランスポートストリームＴＳのレイヤに、基本ストリームＳＴｂに含まれる画像データが混合処理を施して得られた画像データであることを示す識別情報が挿入される。具体的には、プログラムマップテーブルの配下に拡張ストリームＳＴｅに対応して配置されたビデオエレメンタリストリームループの中に、ビデオ・スケーラビリティ・インフォメーション・デスクリプタ（図８（ａ）参照）が挿入される。
マルチプレクサ１０３で生成されたトランスポートストリームＴＳは、送信部１０４に送られる。送信部１０４では、このトランスポートストリームＴＳが、例えば、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調され、ＲＦ変調信号が送信アンテナから送信される。
「受信装置の構成」
図１０は、１２０ｆｐｓの動画像データを処理可能なデコード能力がある受信装置２００Ａの構成例を示している。この受信装置２００Ａは、受信部２０１と、デマルチプレクサ２０２と、デコーダ２０３と、ポストプロセッサ２０４と、ディスプレイプロセッサ２０５を有している。
受信部２０１は、受信アンテナで受信されたＲＦ変調信号を復調し、トランスポートストリームＴＳを取得する。デマルチプレクサ２０２は、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、基本ストリームＳＴｂおよび拡張ストリームＳＴｅを取り出し、デコーダ２０３に供給する。
また、デマルチプレクサ２０２は、トランスポートストリームＴＳのレイヤに含まれるセクション情報を抽出し、図示しない制御部に送る。この場合、ビデオ・スケーラビリティ・インフォメーション・デスクリプタ（図８（ａ）参照）も抽出される。これにより、制御部は、基本ストリームＳＴｂに含まれる画像データが混合処理を施して得られた画像データであることなどを認識する。
デコーダ２０３は、基本ストリームＳＴｂに復号化処理を施して基本フレームレートの画像データＱｂ´を得ると共に、拡張ストリームＳＴｅに復号化処理を施してハイフレームレートの拡張フレームの画像データＱｅ´を得る。
ここで、画像データＱｂ´は、１２０ｆｐｓの画像データＰにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理が施されて得られた画像データに符号化処理が施され、さらに復号化処理が施されて得られたものである。また、画像データＱｅ´は、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理が施されて得られた画像データに符号化処理が施され、さらに復号化処理が施されて得られたものである。
また、デコーダ２０３は、基本ストリームＳＴｂ、拡張ストリームＳＴｅを構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩを抽出し、図示しない制御部に送る。この場合、混合比情報を持つインバース・ブレンディング・レイヤ・プリディクション・ＳＥＩ（図７（ａ）参照）も抽出される。これにより、制御部は、基本フレームレートの画像データやハイフレームレートの拡張フレームの画像データがいかなる混合比で混合されたものであるかを容易に認識可能となる。
ポストプロセッサ２０４は、デコーダ２０３で得られる基本フレームレートの画像データＱｂ´およびハイフレームレートの拡張フレームの画像データＱｅ´に処理を施し、１２０ｆｐｓの画像データＰ´を得る。
図１１（ａ）は、ポストプロセッサ２０４の構成例を示している。このポストプロセッサ２０４は、演算回路２４１と、スイッチ回路２４２を有している。また、演算回路２４１は、係数乗算部２４１ａ，２４１ｂ，２４１ｃ，２４１ｄと、加算部２４１ｅ，２４１ｆを有している。演算回路２４１は、図５（ａ）のプリプロセッサ１０１における演算回路１１２における混合処理とは逆の処理（逆混合処理）をする。
係数乗算部２４１ａ，２４１ｂおよび加算部２４１ｅは、画像データＱｂ´および画像データＱｅ´から、上記時間的に連続する２個のピクチャ単位で１番目のピクチャの画像データを得るために使用される。係数乗算部２４１ａでは係数ｕが乗算され、係数乗算部２４１ｂでは係数ｖが乗算される。また、係数乗算部２４１ｃ，２４１ｄおよび加算部２４１ｆは、画像データＱｂ´および画像データＱｅ´から、上記時間的に連続する２個のピクチャ単位で２番目のピクチャの画像データを得るために使用される。係数乗算部２４１ｃでは係数ｗが乗算され、係数乗算部２４１ｄでは係数ｚが乗算される。
基本フレームレートの画像データＱｂ´は、演算回路２４１を構成する係数乗算部２４１ａ，２４１ｃに入力される。また、ハイフレームレートの拡張フレームの画像データＱｅ´は、演算回路２４１を構成する係数乗算部２４１ｂ，２４１ｄに入力される。係数乗算部２４１ａ，２４１ｂの出力は加算部２４１ｅに入力されて加算される。また、係数乗算部２４１ｃ，２４１ｄの出力は加算部２４１ｆに入力されて加算される。
この場合、加算部２４１ｅの出力として上記時間的に連続する２個のピクチャ単位で１番目のピクチャの画像データＡが得られると共に、加算部２４１ｆの出力として上記時間的に連続する２個のピクチャ単位で２番目のピクチャの画像データＢが得られる。図１１（ｂ）は、演算回路２４１における逆混合処理のための演算を数式で表したものである。また、図１１（ｃ）は、係数ｕ，ｖ，ｗ，ｚと係数ｐ，ｑ，ｒ，ｓの対応関係を行列式で示している。
演算回路２４１の加算部２４１ｅ，２４１ｆの出力は、それぞれ、スイッチ回路２４２のａ側、ｂ側の固定端子に入力される。スイッチ回路２４２は、１２０Ｈｚの周期で、ａ側、ｂ側に交互に切り換えられる。このスイッチ回路２４２からは、画像データＡ，Ｂが合成された、１２０ｆｐｓの画像データＰ´が得られる。
１２０ｆｐｓの画像データＰ´を、上述した図１１（ａ）に示すポストプロセッサ２０４で得る場合、混合処理の逆処理が施されることから、最終的に得られる１２０ｆｐｓの画像データＰ´は元のシャッター開口率が再現されたものとなり、ハイフレームレートの画像表示における画質向上が可能となる。
図１２は、ポストプロセッサ２０４の他の構成例を示している。このポストプロセッサ２０４は、スイッチ回路２４２を有している。基本フレームレートの画像データＱｂ´は、スイッチ回路２４２のａ側の固定端子に入力される。また、ハイフレームレートの拡張フレームの画像データＱｅ´は、スイッチ回路２４２のｂ側の固定端子に入力される。スイッチ回路２４２は、１２０Ｈｚの周期で、ａ側、ｂ側に交互に切り換えられる。このスイッチ回路２４２からは、画像データＱｂ´（Ｃ）および画像データＱｅ´（Ｄ）が合成された、１２０ｆｐｓの画像データＰ´が得られる。
１２０ｆｐｓの画像データＰ´を、上述した図１２に示すポストプロセッサ２０４で得る場合、混合処理の逆処理を行う演算を行う必要がないことから、ハイフレームレートの画像データを簡単に得ることが可能となる。
図１０に戻って、ディスプレイプロセッサ２０５は、ハイフレームレートの画像データＰ´に対して、必要に応じて時間方向の補間処理、つまりフレーム補間処理を施して、１２０ｆｐｓより高いフレームレートの画像データを得て、表示部に供給する。
図１０に示す受信装置２００Ａの動作を簡単に説明する。受信部２０１では、受信アンテナで受信されたＲＦ変調信号が復調され、トランスポートストリームＴＳが取得される。このトランスポートストリームＴＳは、デマルチプレクサ２０２に送られる。デマルチプレクサ２０２では、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、基本ストリームＳＴｂおよび拡張ストリームＳＴｅが取り出され、デコーダ２０３に供給される。
また、デマルチプレクサ２０２では、トランスポートストリームＴＳのレイヤに含まれるセクション情報が抽出され、図示しない制御部に送られる。ビデオ・スケーラビリティ・インフォメーション・デスクリプタ（図８（ａ）参照）も抽出される。これにより、制御部では、基本ストリームＳＴｂに含まれる画像データが混合処理を施して得られた画像データであることなどが認識される。
デコーダ２０３では、基本ストリームＳＴｂと拡張ストリームＳＴｅに復号化処理が施されて、基本フレームレートの画像データＱｂ´およびハイフレームレートの拡張フレームの画像データＱｅ´が得られる。また、デコーダ２０３では、基本ストリームＳＴｂ、拡張ストリームＳＴｅを構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩが抽出され、図示しない制御部に送る。これにより、制御部では、基本フレームレートの画像データＱｂ´やハイフレームレートの拡張フレームの画像データＱｅ´がいかなる混合比で混合されたものであるかを容易に認識可能となる。
デコーダ２０３で得られた基本フレームレートの画像データＱｂ およびハイフレームレートの拡張フレームの画像データＱｅ は、ポストプロセッサ２０４に供給される。このポストプロセッサ２０４では、これらの画像データＱｂ´，Ｑｅ´が処理され、１２０ｆｐｓの画像データＰ´が得られる。
この画像データＰ´は、ディスプレイプロセッサ２０５に供給される。このディスプレイプロセッサ２０５では、必要に応じて、ハイフレームレートの画像データＱｅ´に対して時間方向の補間処理、つまりフレーム補間処理が施されて、１２０ｆｐｓより高いフレームレートの画像データが得られる。この画像データは、表示部に供給され、画像表示が行われる。
図１３は、６０ｆｐｓの動画像データを処理可能なデコード能力がある受信装置２００Ｂの構成例を示している。この図１３において、図１０と対応する部分には同一符号を付し、適宜、その詳細説明を省略する。この受信装置２００Ｂは、受信部２０１と、デマルチプレクサ２０２Ｂと、デコーダ２０３Ｂと、ディスプレイプロセッサ２０５Ｂを有している。
受信部２０１では、受信アンテナで受信されたＲＦ変調信号が復調され、トランスポートストリームＴＳが取得される。デマルチプレクサ２０２Ｂでは、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、基本ストリームＳＴｂのみが取り出されて、デコーダ２０３Ｂに供給される。
デコーダ２０３Ｂでは、基本ストリームＳＴｂに復号化処理が施されて基本フレームレートの画像データＱｂ´が得られる。ここで、画像データＱｂ´は、１２０ｆｐｓの画像データＰにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理が施されて得られた画像データに符号化処理が施され、さらに復号化処理が施されて得られたものである。ディスプレイプロセッサ２０５Ｂでは、６０ｆｐｓの画像データＱｂ´に対して時間方向の補間処理、つまりフレーム補間処理が施されて、６０ｆｐｓより高いフレームレートの画像データが得られる。この画像データは、表示部に供給され、画像表示が行われる。
以上説明したように、図１に示す送受信システム１０においては、１２０ｆｐｓの画像データＰにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られ、開口率が高められた６０ｆｐｓの基本フレームレートの画像データＱｂを含む基本ストリームＳＴｂが送信される。そのため、例えば、受信側では、基本フレームレートの画像データを処理可能なデコード能力がある場合、この基本ストリームＳＴｂを処理して基本フレームレートの画像データを得ることで、動画像として滑らかな画像を表示でき、また、表示処理において低負荷演算によるフレーム補間処理で画質的な問題を引き起こすことを回避できる。
また、図１に示す送受信システム１０においては、基本ストリームＳＴｂと共に、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して得られたハイフレームレートの拡張フレームの画像データＱｅを含む拡張ストリームＳＴｅが送信される。そのため、ハイフレームレートの画像データを処理可能なデコード能力がある受信機の場合、この拡張ストリームを処理してハイフレームレートの拡張フレームの画像データを得、基本フレームレートの画像データと合成してハイフレームレートの画像データを得ることで、ハイフレームレートの画像表示を良好に行うことができる。
＜２．変形例＞
なお、上述実施の形態においては、送信装置１００のプリプロセッサ１０１は、１２０ｆｐｓの画像データＰにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して基本フレームレートの画像データＱｂを得ると共に、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施してハイフレームレートの拡張フレームの画像データＱｅを得る構成となっている（図５（ａ）、図６参照）。
しかし、このプリプロセッサ１０１は、第１のフレームおよび第２のフレームが交互に連続した１２０ｆｐｓの画像データＰにおいて第１のフレームの画像データとこの第１のフレームに続く第２のフレームの画像データに第１の比率の混合処理を施して基本フレームレートの画像データＱｂを得ると共に、上記１２０ｆｐｓの画像データＰにおいて、第２のフレームの画像データとこの第２のフレームに続く第１のフレームの画像データに第２の比率の混合処理を施してハイフレームレートの拡張フレームの画像データＱｅを得る構成も考えられる。
図１４は、その場合におけるプリプロセッサ１０１の構成例を示している。この図１４において、図５（ａ）と対応する部分には、同一あるいは対応する符号を付して示している。このプリプロセッサ１０１は、１２０ｆｐｓの1フレーム分遅延させる遅延回路１１１，１１６と、演算回路１１２Ｂと、切り替え回路１１５を有している。また、演算回路１１２Ｂは、係数乗算部１１２ａ，１１２ｂ，１１２ｃ，１１２ｄと、加算部１１２ｅ，１１２ｆを有している。
係数乗算部１１２ａ，１１２ｂおよび加算部１１２ｅは、第１のフレーム（Ａ）および第２のフレーム（Ｂ）が交互に連続した１２０ｆｐｓの画像データＰにおいて第１のフレーム（Ａ）の画像データとこの第１のフレーム（Ａ）に続く第２のフレーム（Ｂ）の画像データに第１の比率の混合処理を施すために使用される。また、係数乗算部１１２ｃ，１１２ｄおよび加算部１１２ｆは、上記１２０ｆｐｓの画像データＰにおいて、第２のフレーム（Ｂ）の画像データとこの第２のフレーム（Ｂ）に続く第１のフレーム（Ａ）の画像データに第２の比率の混合処理を施すために使用される。
１２０ｆｐｓの画像データＰは、遅延回路１１１で１フレーム遅延された後に演算回路１１２Ｂを構成する係数乗算部１１２ａに入力されると共に、そのまま係数乗算部１１２ｂに入力される。また、１２０ｆｐｓの画像データＰは、遅延回路１１６で１フレーム遅延された後に演算回路１１２Ｂを構成する係数乗算部１１２ｄに入力されると共に、そのまま係数乗算部１１２ｃに入力される。係数乗算部１１２ａ，１１２ｂの出力は加算部１１２ｅに入力されて加算される。また、係数乗算部１１２ｃ，１１２ｄの出力は加算部１１２ｆに入力されて加算される。
遅延回路１１１の出力が第１のフレーム（Ａ）となるタイミングで、加算部１１２ｅの出力としてＣ（＝ｐ＊Ａ＋ｑ＊Ｂ）の混合出力が得られる。また、遅延回路１１６の出力が第２のフレーム（Ｂ）となるタイミングで、加算部１１２ｆの出力としてＤ（＝ｒ＊Ａ＋ｓ＊Ｂ）の混合出力が得られる。演算回路１１２Ｂの加算部１１２ｅ，１１２ｆの出力Ｃはそのまま切り替え回路１１５に入力される。
切り替え回路１１５には、フラグ信号Ｂ＿ｆｌａｇが切り替え制御信号として供給される。このフラグ信号Ｂ＿ｆｌａｇは、１２０Ｈｚの周期で交互に“１”または“０”となる信号であって、加算部１１２ｅの出力が混合出力Ｃとなるタイミングで“１”となると共に、加算部１１２ｆの出力が混合出力Ｄとなるタイミングで“０”となる。
切り替え回路１１５では、フラグ信号Ｂ＿ｆｌａｇが“１”のとき加算部１１２ｅの出力である混合出力Ｃが取り出され、フラグ信号Ｂ＿ｆｌａｇが“０”のとき加算部１１２ｆの出力である混合出力Ｄが取り出される。ここで、混合出力Ｃは、画像データＰにおいて第１のフレーム（Ａ）の画像データとこの第１のフレーム（Ａ）に続く第２のフレーム（Ｂ）の画像データに第１の比率の混合処理を施した基本フレームレートの画像データＱｂを構成する。また、混合出力Ｄは、画像データＰにおいて第２のフレーム（Ｂ）の画像データとこの第２のフレーム（Ｂ）に続く第１のフレーム（Ａ）の画像データに第２の比率の混合処理を施したハイフレームレートの拡張フレームの画像データＱｅを構成する。
切り替え回路１１５から画像データＱｂ，Ｑｅが一系統の画像データとして出力され、エンコーダ１０２に送られる。ここで、この一系統の画像データにフラグ信号Ｂ＿ｆｌａｇが付加されて送られる。このフラグ信号Ｂ＿ｆｌａｇにより、エンコーダ１０２では、一系統で送られてくる画像データの現在のフレーム（ピクチャ）が画像データＱｂのフレームであるか画像データＱｅのフレームであるかの識別が可能となる。
図１５は、プリプロセッサ１０１の入力データ（１２０ｆｐｓの画像データＰ）と、プリプロセッサ１０１で生成される６０ｆｐｓの画像データＱｂ（混合出力Ｃ），Ｑｅ（混合出力Ｄ）との関係の一例を、模式的に表している。図１５（ａ）は画像データＰを示し、図１５（ｂ）は画像データＱｂを示し、図１５（ｃ）は画像データＱｅを示している。１２０ｆｐｓの画像データＰの各ピクチャの画像データＦ１，Ｆ２，Ｆ３，Ｆ４，Ｆ５，Ｆ６，Ｆ７，Ｆ８，・・・に対応して、基本フレームレート（６０ｆｐｓ）の画像データＱｂの各ピクチャの画像データＦ１´，Ｆ３´，Ｆ５´，・・・と、ハイフレームレートの拡張フレームの画像データＱｅの各ピクチャの画像データＦ２´，Ｆ４´，Ｆ６´，・・・が得られる。
上述したように、基本フレームレートの画像データＱｂが第１のフレームの画像データとこの第１のフレームに続く第２のフレームの画像データに混合処理を施して得られたものであり、ハイフレームレートの拡張フレームの画像データＱｅが第２のフレームの画像データとこの第２のフレームに続く第１のフレームの画像データに第２の比率の混合処理を施して得られたものであるとき、受信側において、例えば、図１２に示すポストプロセッサ２０４で得られた１２０ｆｐｓの画像データＰ´のフレーム連続性がよく、ハイフレームレートの画像表示を滑らかに行うことができる。
また、上述実施の形態においては、全体のフレームレートが１２０ｆｐｓで基本フレームレートが６０ｆｐｓの例を示したが、フレームレートの組み合わせは、これに限定されるものではない。例えば、１００ｆｐｓと５０ｆｐｓの組み合わせでも同様である。
また、上述実施の形態においては、送信装置１００と受信装置２００からなる送受信システム１０を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置２００の部分が、例えば、（ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。なお、「ＨＤＭＩ」は、登録商標である。
また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）あるいはＭＭＴ（MPEG Media Transport）、インターネット配信で使用されているＩＳＯＢＭＦＦ（ＭＰ４）などの種々のフォーマットのコンテナが該当する。
また、本技術は、以下のような構成を取ることもできる。
（１）ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して基本フレームレートの画像データを得ると共に、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施してハイフレームレートの拡張フレームの画像データを得る画像処理部と、
上記基準フレームレートの画像データに符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに符号化処理を施して拡張ストリームを得る画像符号化部と、
上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信部を備える
送信装置。
（２）上記画像処理部は、上記基本フレームレートの画像データおよび上記ハイフレームレートの拡張フレームの画像データを一系統の画像データとして上記画像符号化部に供給し、
上記一系統の画像データには、上記基本フレームレートの画像データおよび上記ハイフレームレートの拡張フレームの画像データのそれぞれのフレームを識別するための識別情報が付加されている
前記（１）に記載の送信装置。
（３）上記基本ストリームのレイヤに上記第１の比率を示す混合比情報を挿入すること、および上記拡張ストリームのレイヤに上記第２の比率を示す混合比情報を挿入することの一方または両方を行う情報挿入部をさらに備える
前記（１）または（２）に記載の送信装置。
（４）上記基本ストリームおよび上記拡張ストリームはＮＡＬユニット構造を有し、
上記情報挿入部は、
上記混合比情報を持つＳＥＩ ＮＡＬユニットを、上記基本ストリームおよび/または上記拡張ストリームに挿入する
前記（３）に記載の送信装置。
（５）上記コンテナのレイヤに、上記基本ストリームに含まれる画像データが上記混合処理を施して得られた画像データであることを示す識別情報を挿入する情報挿入部をさらに備える
前記（１）から（４）のいずれかに記載の送信装置。
（６）ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して基本フレームレートの画像データを得ると共に、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施してハイフレームレートの拡張フレームの画像データを得る画像処理ステップと、
上記基準フレームレートの画像データに符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに符号化処理を施して拡張ストリームを得る画像符号化ステップと、
送信部により、上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信ステップを有する
送信方法。
（７）基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記基本ストリームは、ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られた基本フレームレートの画像データに符号化処理を施して得られたものであり、
上記拡張ストリームは、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して得られたハイフレームレートの拡張フレームの画像データに符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理してハイフレームレートの画像データを得る処理部をさらに備える
受信装置。
（８）上記処理部は、上記ハイフレームレートの画像データを得る場合、
上記基本ストリームに復号化処理を施して上記基本フレームレートの画像データを得ると共に、上記拡張ストリームに復号化処理を施して上記ハイフレームレートの拡張フレームの画像データを得る処理と、
上記基本フレームレートの画像データと上記ハイフレームレートの拡張フレームの画像データを合成して上記ハイフレームレートの画像データを得る処理を行う
前記（７）に記載の受信装置。
（９）上記処理部は、上記ハイフレームレートの画像データを得る場合、
上記基本ストリームに復号化処理を施して上記基本フレームレートの画像データを得ると共に、上記拡張ストリームに復号化処理を施して上記ハイフレームレートの拡張フレームの画像データを得る処理と、
上記基本フレームレートの画像データおよび上記ハイフレームレートの拡張フレームの画像データに上記混合処理の逆処理を施して、上記時間的に連続する２個のピクチャ単位の一方および他方のピクチャの画像データを得る処理と、
上記時間的に連続する２個のピクチャ単位の一方および他方のピクチャの画像データを合成して上記ハイフレームレートの画像データを得る処理を行う
前記（７）に記載の受信装置。
（１０）受信部により、基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
上記基本ストリームは、ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られた基本フレームレートの画像データに符号化処理を施して得られたものであり、
上記拡張ストリームは、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して得られたハイフレームレートの拡張フレームの画像データに符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理して上記ハイフレームレートの画像データを得る処理ステップをさらに有する
受信方法。
（１１）第１のフレームおよび第２のフレームが交互に連続したハイフレームレートの画像データにおいて、上記第１のフレームの画像データと該第１のフレームに続く上記第２のフレームの画像データに第１の比率の混合処理を施して基本フレームレートの画像データを得ると共に、上記第２のフレームの画像データと該第２のフレームに続く上記第１のフレームの画像データに第２の比率の混合処理を施してハイフレームレートの拡張フレームの画像データを得る画像処理部と、
上記基準フレームレートの画像データに符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに符号化処理を施して拡張ストリームを得る画像符号化部と、
上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信部を備える
送信装置。
（１２）上記画像処理部は、上記基本フレームレートの画像データおよび上記ハイフレームレートの拡張フレームの画像データを一系統の画像データとして上記画像符号化部に供給し、
上記一系統の画像データには、上記基本フレームレートの画像データおよび上記ハイフレームレートの拡張フレームの画像データのそれぞれのフレームを識別するための識別情報が付加されている
前記（１１）に記載の送信装置。
（１３）上記基本ストリームのレイヤに上記第１の比率を示す混合比情報を挿入すること、および上記拡張ストリームのレイヤに上記第２の比率を示す混合比情報を挿入することの一方または両方を行う情報挿入部をさらに備える
前記（１１）または（１２）に記載の送信装置。
（１４）上記基本ストリームおよび上記拡張ストリームはＮＡＬユニット構造を有し、
上記情報挿入部は、
上記混合比情報を持つＳＥＩ ＮＡＬユニットを、上記基本ストリームおよび/または上記拡張ストリームに挿入する
前記（１３）に記載の送信装置。
（１５）上記コンテナのレイヤに、上記基本ストリームに含まれる画像データが上記混合処理を施して得られた画像データであることを示す識別情報を挿入する情報挿入部をさらに備える
前記（１１）から（１４）のいずれかに記載の送信装置。
（１６）第１のフレームおよび第２のフレームが交互に連続したハイフレームレートの画像データにおいて、上記第１のフレームの画像データと該第１のフレームに続く上記第２のフレームの画像データに第１の比率の混合処理を施して基本フレームレートの画像データを得ると共に、上記第２のフレームの画像データと該第２のフレームに続く上記第１のフレームの画像データに第２の比率の混合処理を施してハイフレームレートの拡張フレームの画像データを得る画像処理ステップと、
上記基準フレームレートの画像データに符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに符号化処理を施して拡張ストリームを得る画像符号化ステップと、
送信部により、上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信ステップを有する
送信方法。
（１７）基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記基本ストリームは、第１のフレームおよび第２のフレームが交互に連続したハイフレームレートの画像データにおいて、上記第１のフレームの画像データと該第１のフレームに続く上記第２のフレームの画像データに第１の比率の混合処理を施して得られた基本フレームレートの画像データに符号化処理を施して得られたものであり、
上記拡張ストリームは、上記ハイフレームレートの画像データにおいて、上記第２のフレームの画像データと該第２のフレームに続く上記第１のフレームの画像データに第２の比率の混合処理を施して得られたハイフレームレートの拡張フレームの画像データに符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理してハイフレームレートの画像データを得る処理部をさらに備える
受信装置。
（１８）上記処理部は、上記ハイフレームレートの画像データを得る場合、
上記基本ストリームに復号化処理を施して上記基本フレームレートの画像データを得ると共に、上記拡張ストリームに復号化処理を施して上記ハイフレームレートの拡張フレームの画像データを得る処理と、
上記基本フレームレートの画像データと上記ハイフレームレートの拡張フレームの画像データを合成して上記ハイフレームレートの画像データを得る処理を行う
前記（１７）に記載の受信装置。
（１９）受信部により、基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
上記基本ストリームは、第１のフレームおよび第２のフレームが交互に連続したハイフレームレートの画像データにおいて、上記第１のフレームの画像データと該第１のフレームに続く上記第２のフレームの画像データに第１の比率の混合処理を施して得られた基本フレームレートの画像データに符号化処理を施して得られたものであり、
上記拡張ストリームは、上記ハイフレームレートの画像データにおいて、上記第２のフレームの画像データと該第２のフレームに続く上記第１のフレームの画像データに第２の比率の混合処理を施して得られたハイフレームレートの拡張フレームの画像データに符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理してハイフレームレートの画像データを得る処理ステップをさらに有する
受信方法。
本技術の主な特徴は、１２０ｆｐｓの画像データＰにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して６０ｆｐｓの基本フレームレートの画像データＱｂを得ると共に、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して６０ｆｐｓのハイフレームレートの拡張フレームの画像データＱｅを得るか、あるいは第１のフレームおよび第２のフレームが交互に連続した１２０ｆｐｓの画像データＰにおいて第１のフレームの画像データとこの第１のフレームに続く第２のフレームの画像データに第１の比率の混合処理を施して基本フレームレートの画像データＱｂを得ると共に、上記１２０ｆｐｓの画像データＰにおいて第２のフレームの画像データとこの第２のフレームに続く第１のフレームの画像データに第２の比率の混合処理を施してハイフレームレートの拡張フレームの画像データＱｅを得て、画像データＱｂを含む基本ストリームＳＴｂと共に、画像データＱｅを含む拡張ストリームＳＴｅを送信することで、下位互換を図りながら、ハイフレームレートの画像データの良好な送信を可能としたことである（図３、図６、図１５参照）。
１０・・・送受信システム
１００・・・送信装置
１０１・・・プリプロセッサ
１０２・・・エンコーダ
１０３・・・マルチプレクサ
１０４・・・送信部
１１１，１１４，１１６・・・遅延回路
１１２，１１２Ｂ・・・演算回路
１１２ａ〜１１２ｄ・・・係数乗算部
１１２ｅ，１１２ｆ・・・加算部
１１５・・・切り替え回路
２００，２００Ａ，２００Ｂ・・・受信装置
２０１・・・受信部
２０２，２０２Ｂ・・・デマルチプレクサ
２０３，２０３Ｂ・・・デコーダ
２０４・・・ポストプロセッサ
２０５，２０５Ｂ・・・ディスプレイプロセッサ
２４１・・・演算回路
２４１ａ〜２４１ｄ・・・係数乗算部
２４１ｅ，２４１ｆ・・・加算部
２４２・・・スイッチ回路

Claims (19)

  1. ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して基本フレームレートの画像データを得ると共に、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施してハイフレームレートの拡張フレームの画像データを得る画像処理部と、
    上記基準フレームレートの画像データに符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに符号化処理を施して拡張ストリームを得る画像符号化部と、
    上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信部を備える
    送信装置。
  2. 上記画像処理部は、上記基本フレームレートの画像データおよび上記ハイフレームレートの拡張フレームの画像データを一系統の画像データとして上記画像符号化部に供給し、
    上記一系統の画像データには、上記基本フレームレートの画像データおよび上記ハイフレームレートの拡張フレームの画像データのそれぞれのフレームを識別するための識別情報が付加されている
    請求項１に記載の送信装置。
  3. 上記基本ストリームのレイヤに上記第１の比率を示す混合比情報を挿入すること、および上記拡張ストリームのレイヤに上記第２の比率を示す混合比情報を挿入することの一方または両方を行う情報挿入部をさらに備える
    請求項１に記載の送信装置。
  4. 上記基本ストリームおよび上記拡張ストリームはＮＡＬユニット構造を有し、
    上記情報挿入部は、
    上記混合比情報を持つＳＥＩ ＮＡＬユニットを、上記基本ストリームおよび/または上記拡張ストリームに挿入する
    請求項３に記載の送信装置。
  5. 上記コンテナのレイヤに、上記基本ストリームに含まれる画像データが上記混合処理を施して得られた画像データであることを示す識別情報を挿入する情報挿入部をさらに備える
    請求項１に記載の送信装置。
  6. ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して基本フレームレートの画像データを得ると共に、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施してハイフレームレートの拡張フレームの画像データを得る画像処理ステップと、
    上記基準フレームレートの画像データに符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに符号化処理を施して拡張ストリームを得る画像符号化ステップと、
    送信部により、上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信ステップを有する
    送信方法。
  7. 基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
    上記基本ストリームは、ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られた基本フレームレートの画像データに符号化処理を施して得られたものであり、
    上記拡張ストリームは、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して得られたハイフレームレートの拡張フレームの画像データに符号化処理を施して得られたものであり、
    上記基本ストリームのみを処理して基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理してハイフレームレートの画像データを得る処理部をさらに備える
    受信装置。
  8. 上記処理部は、上記ハイフレームレートの画像データを得る場合、
    上記基本ストリームに復号化処理を施して上記基本フレームレートの画像データを得ると共に、上記拡張ストリームに復号化処理を施して上記ハイフレームレートの拡張フレームの画像データを得る処理と、
    上記基本フレームレートの画像データと上記ハイフレームレートの拡張フレームの画像データを合成して上記ハイフレームレートの画像データを得る処理を行う
    請求項７に記載の受信装置。
  9. 上記処理部は、上記ハイフレームレートの画像データを得る場合、
    上記基本ストリームに復号化処理を施して上記基本フレームレートの画像データを得ると共に、上記拡張ストリームに復号化処理を施して上記ハイフレームレートの拡張フレームの画像データを得る処理と、
    上記基本フレームレートの画像データおよび上記ハイフレームレートの拡張フレームの画像データに上記混合処理の逆処理を施して、上記時間的に連続する２個のピクチャ単位の一方および他方のピクチャの画像データを得る処理と、
    上記時間的に連続する２個のピクチャ単位の一方および他方のピクチャの画像データを合成して上記ハイフレームレートの画像データを得る処理を行う
    請求項７に記載の受信装置。
  10. 受信部により、基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
    上記基本ストリームは、ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で第１の比率の混合処理を施して得られた基本フレームレートの画像データに符号化処理を施して得られたものであり、
    上記拡張ストリームは、上記時間的に連続する２個のピクチャ単位で第２の比率の混合処理を施して得られたハイフレームレートの拡張フレームの画像データに符号化処理を施して得られたものであり、
    上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理して上記ハイフレームレートの画像データを得る処理ステップをさらに有する
    受信方法。
  11. 第１のフレームおよび第２のフレームが交互に連続したハイフレームレートの画像データにおいて、上記第１のフレームの画像データと該第１のフレームに続く上記第２のフレームの画像データに第１の比率の混合処理を施して基本フレームレートの画像データを得ると共に、上記第２のフレームの画像データと該第２のフレームに続く上記第１のフレームの画像データに第２の比率の混合処理を施してハイフレームレートの拡張フレームの画像データを得る画像処理部と、
    上記基準フレームレートの画像データに符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに符号化処理を施して拡張ストリームを得る画像符号化部と、
    上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信部を備える
    送信装置。
  12. 上記画像処理部は、上記基本フレームレートの画像データおよび上記ハイフレームレートの拡張フレームの画像データを一系統の画像データとして上記画像符号化部に供給し、
    上記一系統の画像データには、上記基本フレームレートの画像データおよび上記ハイフレームレートの拡張フレームの画像データのそれぞれのフレームを識別するための識別情報が付加されている
    請求項１１に記載の送信装置。
  13. 上記基本ストリームのレイヤに上記第１の比率を示す混合比情報を挿入すること、および上記拡張ストリームのレイヤに上記第２の比率を示す混合比情報を挿入することの一方または両方を行う情報挿入部をさらに備える
    請求項１１に記載の送信装置。
  14. 上記基本ストリームおよび上記拡張ストリームはＮＡＬユニット構造を有し、
    上記情報挿入部は、
    上記混合比情報を持つＳＥＩ ＮＡＬユニットを、上記基本ストリームおよび/または上記拡張ストリームに挿入する
    請求項１３に記載の送信装置。
  15. 上記コンテナのレイヤに、上記基本ストリームに含まれる画像データが上記混合処理を施して得られた画像データであることを示す識別情報を挿入する情報挿入部をさらに備える
    請求項１１に記載の送信装置。
  16. 第１のフレームおよび第２のフレームが交互に連続したハイフレームレートの画像データにおいて、上記第１のフレームの画像データと該第１のフレームに続く上記第２のフレームの画像データに第１の比率の混合処理を施して基本フレームレートの画像データを得ると共に、上記第２のフレームの画像データと該第２のフレームに続く上記第１のフレームの画像データに第２の比率の混合処理を施してハイフレームレートの拡張フレームの画像データを得る画像処理ステップと、
    上記基準フレームレートの画像データに符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに符号化処理を施して拡張ストリームを得る画像符号化ステップと、
    送信部により、上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信ステップを有する
    送信方法。
  17. 基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
    上記基本ストリームは、第１のフレームおよび第２のフレームが交互に連続したハイフレームレートの画像データにおいて、上記第１のフレームの画像データと該第１のフレームに続く上記第２のフレームの画像データに第１の比率の混合処理を施して得られた基本フレームレートの画像データに符号化処理を施して得られたものであり、
    上記拡張ストリームは、上記ハイフレームレートの画像データにおいて、上記第２のフレームの画像データと該第２のフレームに続く上記第１のフレームの画像データに第２の比率の混合処理を施して得られたハイフレームレートの拡張フレームの画像データに符号化処理を施して得られたものであり、
    上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理してハイフレームレートの画像データを得る処理部をさらに備える
    受信装置。
  18. 上記処理部は、上記ハイフレームレートの画像データを得る場合、
    上記基本ストリームに復号化処理を施して上記基本フレームレートの画像データを得ると共に、上記拡張ストリームに復号化処理を施して上記ハイフレームレートの拡張フレームの画像データを得る処理と、
    上記基本フレームレートの画像データと上記ハイフレームレートの拡張フレームの画像データを合成して上記ハイフレームレートの画像データを得る処理を行う
    請求項１７に記載の受信装置。
  19. 受信部により、基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
    上記基本ストリームは、第１のフレームおよび第２のフレームが交互に連続したハイフレームレートの画像データにおいて、上記第１のフレームの画像データと該第１のフレームに続く上記第２のフレームの画像データに第１の比率の混合処理を施して得られた基本フレームレートの画像データに符号化処理を施して得られたものであり、
    上記拡張ストリームは、上記ハイフレームレートの画像データにおいて、上記第２のフレームの画像データと該第２のフレームに続く上記第１のフレームの画像データに第２の比率の混合処理を施して得られたハイフレームレートの拡張フレームの画像データに符号化処理を施して得られたものであり、
    上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理してハイフレームレートの画像データを得る処理ステップをさらに有する
    受信方法。
JP2017539182A 2015-09-10 2016-09-07 送信装置、送信方法、受信装置および受信方法 Active JP6809471B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015178976 2015-09-10
JP2015178976 2015-09-10
PCT/JP2016/076248 WO2017043504A1 (ja) 2015-09-10 2016-09-07 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
JPWO2017043504A1 true JPWO2017043504A1 (ja) 2018-06-28
JP6809471B2 JP6809471B2 (ja) 2021-01-06

Family

ID=58240706

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017539182A Active JP6809471B2 (ja) 2015-09-10 2016-09-07 送信装置、送信方法、受信装置および受信方法

Country Status (9)

Country Link
US (3) US11006069B2 (ja)
EP (1) EP3349456A4 (ja)
JP (1) JP6809471B2 (ja)
KR (1) KR20180052613A (ja)
CN (2) CN107925767A (ja)
AU (1) AU2016320946B2 (ja)
CA (1) CA2997523A1 (ja)
MX (1) MX2018002673A (ja)
WO (1) WO2017043504A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6848873B2 (ja) 2015-10-13 2021-03-24 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP7026450B2 (ja) * 2017-04-24 2022-02-28 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
KR101846781B1 (ko) 2017-05-23 2018-04-06 서울대학교산학협력단 아날로그 디지털 변환 장치
JP6982990B2 (ja) 2017-06-19 2021-12-17 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
EP3706422A4 (en) * 2017-11-02 2020-09-09 Sony Corporation SENDING DEVICE, SENDING METHOD, RECEIVING DEVICE, AND RECEIVING METHOD
EP3843417A4 (en) * 2018-08-21 2021-09-01 Sony Group Corporation RECEIVING APPARATUS, RECEPTION PROCESS, TRANSMISSION APPARATUS, AND TRANSMISSION PROCESS
US11234044B2 (en) 2018-12-28 2022-01-25 Sony Group Corporation Transmission apparatus, transmission method, encoding apparatus, encoding method, reception apparatus, and reception method
DK4064706T3 (da) 2019-03-11 2023-07-24 Dolby Laboratories Licensing Corp Signalering af information relateret til blændevinkel

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004088244A (ja) * 2002-08-23 2004-03-18 Sony Corp 画像処理装置、画像処理方法、および画像フレームデータ記憶媒体、並びにコンピュータ・プログラム
JP2006333071A (ja) * 2005-05-26 2006-12-07 Sony Corp 情報処理システム、情報処理装置および方法、プログラム、並びにデータ構造
JP2007028034A (ja) * 2005-07-14 2007-02-01 Nippon Telegr & Teleph Corp <Ntt> スケーラブル符号化方法および装置，スケーラブル復号方法および装置，並びにそれらのプログラムおよびその記録媒体
US20090201990A1 (en) * 2008-02-04 2009-08-13 Alcatel-Lucent Method and device for reordering and multiplexing multimedia packets from multimedia streams pertaining to interrelated sessions
JP2009225431A (ja) * 2008-02-19 2009-10-01 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
WO2015076277A1 (ja) * 2013-11-22 2015-05-28 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009182935A (ja) 2008-02-01 2009-08-13 Sony Corp 画像処理装置および方法、プログラム、並びに記録媒体
JP4574748B2 (ja) * 2009-02-19 2010-11-04 パナソニック株式会社 記録媒体、再生装置、記録方法、記録媒体再生システム
MX2010010757A (es) * 2009-02-19 2010-11-04 Panasonic Corp Medio de grabacion, dispositivo de reproduccion y circuito integrado.
JP2011216965A (ja) * 2010-03-31 2011-10-27 Sony Corp 情報処理装置、情報処理方法、再生装置、再生方法、およびプログラム
US8712225B2 (en) * 2010-05-28 2014-04-29 Panasonic Corporation Playback device for stereoscopic viewing, integrated circuit, and program
CN103597839B (zh) * 2011-05-31 2017-10-20 杜比实验室特许公司 视频压缩方法、视频重构方法和系统、及编码器
JP2013030907A (ja) * 2011-07-27 2013-02-07 Sony Corp 符号化装置および符号化方法、並びに、復号装置および復号方法
CN103621075A (zh) * 2012-04-24 2014-03-05 索尼公司 图像数据发送装置、图像数据发送方法、图像数据接收装置和图像数据接收方法
US9438849B2 (en) * 2012-10-17 2016-09-06 Dolby Laboratories Licensing Corporation Systems and methods for transmitting video frames

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004088244A (ja) * 2002-08-23 2004-03-18 Sony Corp 画像処理装置、画像処理方法、および画像フレームデータ記憶媒体、並びにコンピュータ・プログラム
JP2006333071A (ja) * 2005-05-26 2006-12-07 Sony Corp 情報処理システム、情報処理装置および方法、プログラム、並びにデータ構造
JP2007028034A (ja) * 2005-07-14 2007-02-01 Nippon Telegr & Teleph Corp <Ntt> スケーラブル符号化方法および装置，スケーラブル復号方法および装置，並びにそれらのプログラムおよびその記録媒体
US20090201990A1 (en) * 2008-02-04 2009-08-13 Alcatel-Lucent Method and device for reordering and multiplexing multimedia packets from multimedia streams pertaining to interrelated sessions
JP2009225431A (ja) * 2008-02-19 2009-10-01 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
WO2015076277A1 (ja) * 2013-11-22 2015-05-28 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Also Published As

Publication number Publication date
KR20180052613A (ko) 2018-05-18
US11412176B2 (en) 2022-08-09
AU2016320946A1 (en) 2018-03-08
US11006069B2 (en) 2021-05-11
CA2997523A1 (en) 2017-03-16
CN107925767A (zh) 2018-04-17
JP6809471B2 (ja) 2021-01-06
US11722636B2 (en) 2023-08-08
US20180255272A1 (en) 2018-09-06
AU2016320946B2 (en) 2020-07-02
MX2018002673A (es) 2018-04-13
US20210218930A1 (en) 2021-07-15
WO2017043504A1 (ja) 2017-03-16
US20220329753A1 (en) 2022-10-13
EP3349456A4 (en) 2019-04-24
CN115209148A (zh) 2022-10-18
EP3349456A1 (en) 2018-07-18

Similar Documents

Publication Publication Date Title
US11082696B2 (en) Transmission device, transmission method, reception device, and reception method
US11722636B2 (en) Transmission device, transmission method, reception device, and reception method
JP6809469B2 (ja) 送信装置、送信方法、受信装置および受信方法
EP3358849B1 (en) Transmission device, transmission method, reception device, and reception method
KR102561506B1 (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
US11412254B2 (en) Transmission device, transmission method, reception device and reception method
JPWO2016185947A1 (ja) 画像処理装置、画像処理方法、受信装置および送信装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200811

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201123

R151 Written notification of patent or utility model registration

Ref document number: 6809471

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151