JP6760290B2 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
JP6760290B2
JP6760290B2 JP2017535506A JP2017535506A JP6760290B2 JP 6760290 B2 JP6760290 B2 JP 6760290B2 JP 2017535506 A JP2017535506 A JP 2017535506A JP 2017535506 A JP2017535506 A JP 2017535506A JP 6760290 B2 JP6760290 B2 JP 6760290B2
Authority
JP
Japan
Prior art keywords
image data
frame rate
stream
basic
extended
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017535506A
Other languages
English (en)
Other versions
JPWO2017030062A1 (ja
Inventor
塚越　郁夫
郁夫 塚越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017030062A1 publication Critical patent/JPWO2017030062A1/ja
Application granted granted Critical
Publication of JP6760290B2 publication Critical patent/JP6760290B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter

Description

本技術は、送信装置、送信方法、受信装置および受信方法に関し、詳しくは、ハイフレームレート（High Frame Rate）の動画像データを送信する送信装置等に関する。
近年、高速フレームシャッターでハイフレームレート撮影を行うカメラが知られている。例えば、ノーマルフレームレートが６０ｆｐｓ、５０ｆｐｓなどであるのに対して、ハイフレームレートはその数倍あるいは数十倍、さらには数百倍のフレームレートとなる。
ハイフレームレートのサービスを行う場合、高速フレームシャッターでカメラ撮りされた動画像データを、それよりも低周波数の動画像シーケンスに変換して送信することが考えられる。しかし、高速フレームシャッターの画像は、動きボケを改善し、先鋭度の高い画質を実現する効果がある一方で、受信再生側の従来のフレーム補間技術に画質的な問題を引き起こす要素をもつ。
高速フレームシャッターで撮影された先鋭度の高い画像を用いたフレーム補間は、動きベクトル探索が適合する場合と適合しない場合との差が大きくなる。そのため、両者の差が顕著な画質劣化となって表示されるためである。フレーム補間時に、動きベクトル探索の精度を向上させるためには高負荷演算が要求されるが、受信機コストに影響を及ぼす。
本出願人は、先に、高速フレームシャッターで撮影された画像による素材を変換して、ノーマルフレームレートのデコードを行う従来の受信機で一定以上の画品質で表示させる技術を提案した（特許文献１参照）。
国際公開第２０１５/０７６２７７号
本技術の目的は、ハイフレームレートの画像データを良好に伝送することにある。
本技術の概念は、
所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して基本フレームレートの画像データを得ると共に、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出してハイフレームレートの拡張フレームの画像データを得る画像処理部と、
上記基本フレームレートの画像データに該基本フレームレートの画像データの予測符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに上記基本フレームレートの画像データとの間の予測符号化処理を施して拡張ストリームを得る画像符号化部と、
上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信部を備える
送信装置にある。
本技術において、画像処理部により、所定フレームレートの画像データから基本フレームレートの画像データおよびハイフレームレートの拡張フレームの画像データが得られる。基本フレームレートの画像データは所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理が施されることで得られる。ハイフレームレートの拡張フレームの画像データは、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データが取り出されることで得られる。
画像符号化部により、基本フレームレートの画像データにこの基本フレームレートの画像データの予測符号化処理が施されて基本ストリームが得られると共に、ハイフレームレートの拡張フレームの画像データに基本フレームレートの画像データとの間の予測符号化処理が施されて拡張ストリームが得られる。そして、送信部により、基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナが送信される。
このように本技術においては、所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して基本フレームレートの画像データが得られ、この基本フレームレートの画像データに予測符号化処理を施して得られた基本ストリームが送信される。そのため、例えば、受信側では、基本フレームレートの画像データを処理可能なデコード能力がある場合、この基本ストリームを処理して基本フレームレートの画像データを得ることで、動画像として滑らかな画像を表示でき、また、表示処理において低負荷演算によるフレーム補間処理で画質的な問題を引き起こすことが回避可能となる。
また、本技術においては、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データが取り出されてハイフレームレートの拡張フレームの画像データが得られ、このハイフレームレートの拡張フレームの画像データに基本フレームレートの画像データとの間の予測符号化処理が施されて得られた拡張ストリームが送信される。この場合、基本フレームレートの画像データが所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して得られたものであることから、予測残差が小さくなって予測効率が向上し、拡張ストリームの情報データ量の低減が可能となる。
なお、本技術において、例えば、画像符号化部は、ハイフレームレートの拡張フレームの画像データに基本フレームレートの画像データとの間の予測符号化処理を行って拡張ストリームを得る際に、基本フレームレートの画像データに予測残差を低減するための予測係数を乗算する、ようにされてもよい。この場合、予測効率の改善が可能となり、拡張ストリームの情報データ量のさらなる低減が可能となる。
また、本技術において、拡張ストリームのレイヤおよび/またはコンテナのレイヤに予測係数を定義する情報定義部をさらに備える、ようにされてもよい。このように予測係数が定義されることで、受信側では、この定義された予測係数を用いて拡張ストリームに対する復号化処理を適切に行うことが可能となる。
また、本技術の他の概念は、
基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記基本ストリームは、所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データに該基本フレームレートの画像データの予測符号化処理を施して得られたものであり、
上記拡張ストリームは、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出して得られたハイフレームレートの拡張フレームの画像データに上記基本フレームレートの画像データとの間の予測符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理して上記所定フレームレートの画像データを得る処理部をさらに備える
受信装置にある。
本技術において、受信部により、基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナが受信される。基本ストリームは、所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データにこの基本フレームレートの画像データの予測符号化処理を施して得られたものである。また、拡張ストリームは、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出して得られたハイフレームレートの拡張フレームの画像データに基本フレームレートの画像データとの間の予測符号化処理を施して得られたものである。
処理部により、基本ストリームのみが処理されて基本フレームレートの画像データが得られるか、あるいは基本ストリームおよび拡張ストリームの双方が処理されて所定フレームレートの画像データが得られる。
このように本技術においては、基本フレームレートの画像データを処理可能なデコード能力がある場合、この基本ストリームのみが処理されて基本フレームレートの画像データが得られる。この基本フレームレートの画像データは、所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理が施されて得られたものである。そのため、動画像として滑らかな画像を表示でき、また、表示処理において低負荷演算によるフレーム補間処理で画質的な問題を引き起こすことが回避可能となる。
なお、本技術において、例えば、拡張ストリームのレイヤおよび/またはコンテナのレイヤに予測残差を低減（抑圧）するための予測係数が定義されており、処理部は、ハイフレームレートの拡張フレームの画像データを得る際に、基本ストリームを処理して得られた基本フレームレートの画像データにその定義された予測係数を乗算して参照画像データとする、ようにされてもよい。これにより、拡張ストリームに対する復号化処理を適切に行うことが可能となる。
また、本技術の他の概念は、
所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して基本フレームレートの画像データを得ると共に、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出してハイフレームレートの拡張フレームの画像データを得る画像処理部と、
上記基本フレームレートの画像データに符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに符号化処理を施して拡張ストリームを得る画像符号化部と、
上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信部を備える
送信装置にある。
本技術において、画像処理部により、所定フレームレートの画像データから基本フレームレートの画像データおよびハイフレームレートの拡張フレームの画像データが得られる。基本フレームレートの画像データは所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理が施されることで得られる。ハイフレームレートの拡張フレームの画像データは、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データが取り出されることで得られる。
画像符号化部により、基本フレームレートの画像データに符号化処理が施されて基本ストリームが得られると共に、ハイフレームレートの拡張フレームの画像データに符号化処理が施されて拡張ストリームが得られる。そして、送信部により、基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナが送信される。
このように本技術においては、所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して基本フレームレートの画像データが得られ、この基本フレームレートの画像データに符号化処理を施して得られた基本ストリームが送信される。そのため、例えば、受信側では、基本フレームレートの画像データを処理可能なデコード能力がある場合、この基本ストリームを処理して基本フレームレートの画像データを得ることで、動画像として滑らかな画像を表示でき、また、表示処理において低負荷演算によるフレーム補間処理で画質的な問題を引き起こすことが回避可能となる。
また、本技術の他の概念は、
基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記基本ストリームは、所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データに符号化処理を施して得られたものであり、
上記拡張ストリームは、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出して得られたハイフレームレートの拡張フレームの画像データに符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理して上記所定フレームレートの画像データを得る処理部をさらに備える
受信装置にある。
本技術において、受信部により、基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナが受信される。基本ストリームは、所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データに符号化処理を施して得られたものである。また、拡張ストリームは、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出して得られたハイフレームレートの拡張フレームの画像データに符号化処理を施して得られたものである。
処理部により、基本ストリームのみが処理されて基本フレームレートの画像データが得られるか、あるいは基本ストリームおよび拡張ストリームの双方が処理されて所定フレームレートの画像データが得られる。
このように本技術においては、基本フレームレートの画像データを処理可能なデコード能力がある場合、この基本ストリームのみが処理されて基本フレームレートの画像データが得られる。この基本フレームレートの画像データは、所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理が施されて得られたものである。そのため、動画像として滑らかな画像を表示でき、また、表示処理において低負荷演算によるフレーム補間処理で画質的な問題を引き起こすことが回避可能となる。
本技術によれば、ハイフレームレートの画像データを良好に伝送することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
実施の形態としての送受信システムの構成例を示すブロック図である。 フレームレートの変換処理の一例を示す図である。 送信装置の構成例を示すブロック図である。 送信装置を構成するプリプロセッサの構成例を示すブロック図である。 送信装置を構成するプリプロセッサと、受信装置を構成するポストプロセッサの、それぞれの入出力データの関係の一例を示す図である。 エンコーダの符号化処理部分の構成例を示すブロック図である。 レイヤ間予測/レイヤ間補償回路の詳細構成例を示すブロック図である。 レイヤ・プリディクション・マッピング・ＳＥＩの構造例と、その構造例における主要な情報の内容を示す図である。 レイヤ・プリディクション・マッピング・デスクリプタの構造例と、その構造例における主要な情報の内容を示す図である。 トランスポートストリームＴＳの構成例を示す図である。 受信装置（ハイフレームレート対応）の構成例を示すブロック図である。 デコーダの復号化処理部分の構成例を示すブロック図である。 レイヤ間補償回路の詳細構成例を示すブロック図である。 受信装置を構成するポストプロセッサの構成例を示すブロック図である。 受信装置（ノーマルフレームレート対応）の構成例を示すブロック図である。 （１）混合処理を行わない場合の予測残差と、（２）混合処理を行う場合の予測残差の一例を、比較して示す図である。 混合処理を行った場合における、（１）デコーダ側のレイヤ間補償の適用例と、（２）デコーダ後処理（逆混合処理）の例を示す図である。 （１）混合処理を行わない場合の予測残差と、（２）混合処理を行い、予測係数をかけない場合（予測係数“１”をかける場合と同じ）の予測残差を、比較して示す図である。 （１）混合処理を行い、予測係数をかけない場合（予測係数“１”をかける場合と同じ）の予測残差と、（２）混合処理を行い、予測係数をかける場合の予測残差を、比較して示す図である。 混合処理を行い、予測係数をかける場合における、（１）デコーダ側のレイヤ間補償の適用例と、（２）デコーダ後処理（逆混合処理）の例を示す図である。
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
＜１．実施の形態＞
［送受信システム］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、受信装置２００とを有する構成となっている。
送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。このトランスポートストリームＴＳには、ハイフレームレート、この実施の形態においては１２０ｆｐｓの画像データ（動画像データ）が処理されて得られた基本ストリーム（基本ビデオストリーム）および拡張ストリーム（拡張ビデオストリーム）が含まれる。
ここで、基本ストリームは、１２０ｆｐｓの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データに、この基本フレームレートの画像データの予測符号化処理を施して得られたものである。この基本フレームレートの画像データは、６０ｆｐｓの画像データである。
また、拡張ストリームは、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出して得られたハイフレームレートの拡張フレームの画像データに、基本フレームレートの画像データとの間の予測符号化処理、あるいはこのハイフレームレートの拡張フレームの画像データの予測符号化処理を適応的に施して得られたものである。このハイフレームレートの拡張フレームの画像データは、６０ｆｐｓの画像データである。
ここで、１２０ｆｐｓの画像データは、図２（ａ）に示すように、オリジナル画像シーケンスであるとする。この場合、時間的に連続する２個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データは、図２（ｃ）に示すように、オリジナル画像シーケンスがカバーする時間に対するシャッター開口率が１（１００％）である。また、この場合、上記連続する２個のピクチャ単位で一方のピクチャの画像データを取り出して得られたハイフレームレートの拡張フレームの画像データは、図２（ｂ）に示すように、オリジナル画像シーケンスがカバーする時間に対するシャッター開口率が１/２（５０％）である。
この実施の形態において、ハイフレームレートの拡張フレームの画像データに基本フレームレートの画像データとの間の予測符号化処理を行って拡張ストリームを得る際に、基本フレームレートの画像データに予測残差を低減するための予測係数が乗算される。これにより、予測効率の改善が可能となり、拡張ストリームの情報データ量の低減が可能となる。
拡張ストリームのレイヤおよび/またはコンテナとしてのトランスポートストリームＴＳのレイヤに、上述の予測残差を低減するための予測係数が定義される。この実施の形態において、送信装置１００は、予測係数が定義されたＳＥＩメッセージをビデオストリームのレイヤに挿入する。また、送信装置１００は、予測係数が定義されたデスクリプタをトランスポートストリームＴＳのレイヤに挿入する。受信側では、このように定義された予測係数を用いることで、拡張ストリームに対する復号化処理を適切に行うことが可能となる。
受信装置２００は、送信装置１００から放送波に載せて送られてくる上述のトランスポートストリームＴＳを受信する。受信装置２００は、６０ｆｐｓの画像データを処理可能なデコード能力がある場合、トランスポートストリームＴＳに含まれる基本ストリームのみを処理して、基本フレームレートの画像データを得て、画像再生を行う。
一方、受信装置２００は、１２０ｆｐｓの画像データを処理可能なデコード能力がある場合、トランスポートストリームＴＳに含まれる基本ストリームおよび拡張ストリームの双方を処理して、１２０ｆｐｓの画像データを得て、画像再生を行う。
ここで、受信装置２００は、拡張フレームの画像データを得る際に、基本ストリームを処理して得られた６０ｆｐｓの画像データに、上述したように、拡張ストリームのレイヤやトランスポートストリームＴＳのレイヤに定義されている予測残差を低減するための予測係数を乗算して参照画像データとする。これにより、拡張ストリームに対する復号化処理を適切に行うことが可能となる。
「送信装置の構成」
図３は、送信装置１００の構成例を示している。この送信装置１００は、プリプロセッサ１０１と、エンコーダ１０２と、マルチプレクサ１０３と、送信部１０４を有している。プリプロセッサ１０１は、１２０ｆｐｓの画像データＰを入力して、基本フレームレートの画像データＱbと、ハイフレームレートの拡張フレームの画像データＱeを出力する。
ここで、プリプロセッサ１０１は、１２０ｆｐｓの画像データＰにおいて時間的に連続する２個のピクチャ単位で混合処理を施して基本フレームレートの画像データＱbを得る。また、このプリプロセッサ１０１は、１２０ｆｐｓの画像データＰにおいて、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出してハイフレームレートの拡張フレームの画像データＱeを得る。
図４は、プリプロセッサ１０１の構成例を示している。このプリプロセッサ１０１は、１２０ｆｐｓの１フレーム分遅延させる遅延回路１１１と、演算回路１１２と、遅延回路１１１に同期した６０Ｈｚのラッチパルスでラッチするラッチ回路１１３を有している。
１２０ｆｐｓの画像データＰは、遅延回路１１１で１フレーム期間だけ遅延された後、アルファ（α）の利得をもたせて演算回路１１２に入力される。なお、α＝０〜１である。一方、遅延回路１１１の遅延対象の画像データＰの次の画像データは遅延回路１１１を通らずにベータ（β）の利得を持たせて演算回路１１２へ入力される。なお、β＝１−αである。演算回路１１２では、遅延回路１１１の出力と上記の１２０ｆｐｓの画像データＰとが加算される。ここで、画像データＰの時間的に連続する２個のピクチャをＡ，Ｂとするとき、遅延回路１１１の出力がＡとなるタイミングで、演算回路１１２の出力として「α＊Ａ＋β＊Ｂ」の混合出力が得られる。この演算回路１１２の出力はラッチ回路１１３に入力される。
ラッチ回路１１３では、この演算回路１１２の出力が６０Ｈｚのラッチパルスでラッチされ、画像データＰにおいて時間的に連続する２個のピクチャ単位で、混合処理を施した基本フレームレートの画像データＱbが得られる。また、ラッチ回路１１３では、１２０ｆｐｓの画像データＰが６０Ｈｚのラッチパルスでラッチされ、上記時間的に連続する２個のピクチャ単位で、ハイフレームレートを構成する拡張フレームの画像データＱeが得られる。
図５（ａ），（ｂ）は、プリプロセッサ１０１の入力データ（画像データＰ）と、プリプロセッサ１０１の出力データ（画像データＱb，Ｑe）との関係の一例を、模式的に表している。画像データＰの各ピクチャの画像データＦ１，Ｆ２，Ｆ３，Ｆ４，Ｆ５，Ｆ６，Ｆ７，Ｆ８，・・・に対応して、画像データＱbの各ピクチャの画像データＦ１´，Ｆ３´，Ｆ５´，Ｆ７´，・・・と、画像データＱeの各ピクチャの画像データＦ２，Ｆ４，Ｆ６，Ｆ８，・・・が得られる。
図３に戻って、エンコーダ１０２は、プリプロセッサ１０１で得られる画像データＱb，Ｑeに対して符号化処理を施して、基本ストリームおよび拡張ストリームを生成する。ここで、エンコーダ１０２は、基本フレームレートの画像データＱbに、この基本フレームレートの画像データの予測符号化処理を施して、基本ストリームを得る。また、エンコーダ１０２は、ハイフレームレートの拡張フレームの画像データＱeに、基本フレームレートの画像データＱbとの間の予測符号化処理、あるいはこのハイフレームレートの拡張フレームの画像データの予測符号化処理を適応的に施して、拡張フレームを得る。
エンコーダ１０２は、ハイフレームレートの拡張フレームの画像データＱeに基本フレームレートの画像データＱbとの間の予測符号化処理を行って拡張ストリームを得る際に、基本フレームレートの画像データＱbに予測残差を低減するための予測係数を乗算する。
図６は、エンコーダ１０２の符号化処理部分の構成例を示している。このエンコーダ１０２は、ブロック回路１２１と、減算回路１２２と、動き予測/動き補償回路１２３と、整数変換/量子化回路１２４と、逆量子化/逆整数変換回路１２５と、加算回路１２６と、ループフィルタ１２７と、メモリ１２８と、エントロピー符号化回路１２９を有している。
また、エンコーダ１０２は、ブロック化回路１３１と、減算回路１３２と、動き予測/動き補償回路１３３と、レイヤ間予測/レイヤ間補償回路１３４と、切り替え回路１３５，１３６と、整数変換/量子化回路１３７と、逆量子化/逆整数変換回路１３８と、加算回路１３９と、ループフィルタ１４１と、メモリ１４２と、エントロピー符号化回路１４３を有している。
基本フレームレートの画像データＱbは、ブロック化回路１２１に入力される。このブロック化回路１２１では、画像データＱbを構成する各ピクチャの画像データが符号化処理単位のブロック（ＭＢ：マクロブロック）に分割される。各ブロックは減算回路１２２に順次供給される。動き予測/動き補償回路１２３では、メモリ１２８に記憶されている参照ピクチャの画像データに基づいて、ブロック毎に、動き補償された予測参照ブロックが得られる。
動き予測/動き補償回路１２３で得られた各予測参照ブロックは、減算回路１２２に順次供給される。減算回路１２２では、ブロック化回路１２１で得られたブロック毎に、予測参照ブロックとの間で減算処理が行われて、予測誤差が得られる。このブロック毎の予測誤差は、整数変換/量子化回路１２４で整数変換（例えばＤＣＴ変換）された後に量子化される。
整数変換/量子化回路１２４で得られたブロック毎の量子化データは、逆量子化/逆整数変換回路１２５に供給される。この逆量子化/逆整数変換回路１２５では、量子化データに対して逆量子化が施され、さらに逆整数変換が施されて、予測残差が得られる。この予測誤差は、加算回路１２６に供給される。
この加算回路１２６では、予測残差に動き補償された予測参照ブロックが加算されて、ブロックが得られる。このブロックは、ループフィルタ１２７で量子化ノイズが除去された後に、メモリ１２８に蓄積される。
また、整数変換/量子化回路１２４で得られたブロック毎の量子化データは、エントロピー符号化回路１２９に供給されて、エントロピー符号化が行われて、基本フレームレートの画像データＱbの予測符号化結果である基本ストリームが得られる。なお、この基本ストリームには、各ブロックにおける動きベクトルなどの情報が、受信側における復号化のためにＭＢヘッダ情報として付加される。
また、ハイフレームレートの拡張フレームの画像データＱeは、ブロック化回路１３１に入力される。このブロック化回路１３１では、画像データＱeを構成する各ピクチャの画像データが符号化処理単位のブロック（ＭＢ：マクロブロック）に分割される。各ブロックは減算回路１３２に順次供給される。
動き予測/動き補償回路１３３では、メモリ１４２に記憶されている参照ピクチャの画像データに基づいて、動き補償されたレイヤ内予測のための予測参照ブロックが得られる。レイヤ間予測/レイヤ間補償回路１３４では、ループフィルタ１２７の出力、あるいはメモリ１２８に記憶されている参照ピクチャの画像データに基づいて、動き補償され、さらに予測残差を低減するための予測係数が乗算されたレイヤ間予測のための予測参照ブロックが得られる。
切り替え回路１３５では、レイヤ間予測で参照する基本ストリームの対象が拡張レイヤのピクチャと同時刻で処理される基本ストリームの画像であるときは、ループフィルタ１２７の出力が選択される。一方、切り替え回路１３５では、レイヤ間予測で参照する基本ストリームの対象が表示順で過去あるいは未来の基本ストリームの画像であるときは、メモリ１２８の出力が選択される。なお、基本レイヤのピクチャの処理と拡張レイヤのピクチャの処理は同じタイミングで行われる。
図７は、レイヤ間予測/レイヤ間補償回路１３４のさらに詳細な構成例を示している。レイヤ間予測/レイヤ間補償回路１３４は、乗算部１５１と、減算部１５２と、決定ロジック部１５３を有している。乗算部１５１では、基本レイヤのブロックに予測係数「Coef_i」が乗算される。この乗算部１５１の出力は、減算部１５２および決定ロジック部１５３に供給される。
減算部１５２では、拡張レイヤのブロックから予測係数「Coef_i」が乗算された基本レイヤのブロックが減算されて残差データが得られる。この残差データは、決定ロジック１５３に供給される。決定ロジック１５３では、残差パワーが最小となるように動きベクトル「Vector」および予測係数「Coef_i」が調整されて、レイヤ間予測のための予測参照ブロックが決定される。なお、動きベクトル「Vector」が調整される毎に、乗算部１５１に供給される基本レイヤのブロックはその動きベクトル「Vector」で動き補償されたものとなる。
図６に戻って、動き予測/動き補償回路１３３で得られたレイヤ内予測のための予測参照ブロック、あるいはレイヤ間予測/レイヤ間補償回路１３４で得られたレイヤ間予測のための予測参照ブロックが、切り替え回路１３６によりブロック単位、あるいは、ピクチャ単位で選択されて減算回路１３２に供給される。例えば、切り替え回路１３６では、残差成分が小さくなるように切り替えられる。また、例えば、切り替え回路１３６では、シーケンスの境界か否かで強制的に一方に切り替えられる。
減算回路１３２では、ブロック化回路１３１で得られたブロック毎に、予測参照ブロックとの間で減算処理が行われて、予測誤差が得られる。このブロック毎の予測誤差は、整数変換/量子化回路１３７で整数変換（例えばＤＣＴ変換）された後に量子化される。
整数変換/量子化回路１３７で得られたブロック毎の量子化データは、逆量子化/逆整数変換回路１３８に供給される。この逆量子化/逆整数変換回路１３８では、量子化データに対して逆量子化が施され、さらに逆整数変換が施されて、予測残差が得られる。このブロック毎の予測誤差は、加算回路１３９に供給される。
この加算回路１３９には、切り替え回路１３６で選択された予測参照ブロックが供給される。この加算回路１３９では、予測残差に動き補償された予測参照ブロックが加算されて、ブロックが得られる。このブロックは、ループフィルタ１４１で量子化ノイズが除去された後に、メモリ１４２に蓄積される。
また、整数変換/量子化回路１３７で得られたブロック毎の量子化データは、エントロピー符号化回路１４３に供給されて、エントロピー符号化が行われて、ハイフレームレートの拡張フレームの画像データＱeの予測符号化結果である拡張ストリームが得られる。なお、この拡張ストリームには、各ブロックにおける動きベクトル、予測係数、予測参照ブロックの切り換えなど情報が、受信側における復号化のためにＭＢブロック情報として付加される。
ここで、拡張レイヤの所定のブロックにレイヤ間予測の予測参照ブロックが用いられて予測符号化が行われる場合、この所定のブロックの符号化データに対応して予測係数「Coef_i」が付加される。例えば、ＨＥＶＣあるいはＳＨＶＣの符号化の場合には、スライスの「slice_segment_header()」に含まれる予測処理関係で、「pred_weight_table()」中の「luma_weight table」、「chroma_weight table」で指定される“id”によって、予測係数「Coef_i」を識別させる。この“id”と、それで識別される予測係数「Coef_i」との関係が、拡張ストリームのレイヤおよび/またはコンテナとしてのトランスポートストリームＴＳのレイヤに定義される。
図３に戻って、エンコーダ１０２は、拡張ストリームのレイヤに、予測係数を定義する。すなわち、拡張ストリームのレイヤに、上述した“id”とそれで識別される予測係数「Coef_i」との関係が定義されたＳＥＩメッセージを挿入する。この場合、エンコーダ１０２は、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、新規定義する、レイヤ・プリディクション・マッピング・ＳＥＩ（layer_prediction_mapping_SEI）を挿入する。
図８（ａ）は、レイヤ・プリディクション・マッピング・ＳＥＩの構造例(Syntax)を示している。図８（ｂ）は、その構造例における主要な情報の内容（Semantics）を示している。「number_of_coef」の８ビットフィールドは、レイヤ予測の際の予測対象に乗ずる係数、つまり予測係数「Coef_i」の数を示す。例えば、Ｎ個である場合、ｉ＝０〜Ｎ−１までforループが回る。このとき、“ｉ”が“id”に対応する。
「prediction_coef[i]」の８ビットフィールドは、レイヤ予測の際の予測対象に乗ずる係数、つまり予測係数「Coef_i」の値を示す。例えば、“０ｘ００”は「１．００」を示す、“０ｘ０１”は０．２５を示し、“０ｘ０２”は０．５０を示し、“０ｘ０３”は０．７５を示し、“０ｘ０４”は２．００を示し、“０ｘ０５”は１．２５を示し、“０ｘ０６”は１．５０を示し、“０ｘ０７”は１，７５を示す。
図３に戻って、マルチプレクサ１０３は、エンコーダ１０２で生成される基本ストリームおよび拡張ストリームを、ＰＥＳ（Packetized Elementary Stream）パケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。
また、マルチプレクサ１０３は、トランスポートストリームＴＳのレイヤに、予測係数を定義する。すなわち、トランスポートストリームＴＳのレイヤに、上述した“id”とそれで識別される予測係数「Coef_i」との関係が定義されたデスクリプタを挿入する。この場合、マルチプレクサ１０３は、プログラムマップテーブルの配下に拡張ストリームに対応して配置されたビデオエレメンタリストリームループの中に、新規定義するレイヤ・プリディクション・マッピング・デスクリプタ（layer_prediction_mapping_descriptor）を挿入する。
図９（ａ）は、レイヤ・プリディクション・マッピング・デスクリプタの構造例（Syntax）を示している。図９（ｂ）は、その構造例における主要な情報の内容（Semantics）を示している。「Layer_prediction_mapping_descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示し、ここでは、レイヤ・プリディクション・マッピング・デスクリプタであることを示す。「Layer_prediction_mapping_descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。
「number_of_coef」の８ビットフィールドは、レイヤ予測の際の予測対象に乗ずる係数、つまり予測係数「Coef_i」の数を示す。例えば、Ｎ個である場合、ｉ＝０〜Ｎ−１までforループが回る。このとき、“ｉ”が“id”に対応する。「prediction_coef[i]」の８ビットフィールドは、レイヤ予測の際の予測対象に乗ずる係数、つまり予測係数「Coef_i」の値を示す。
図１０は、トランスポートストリームＴＳの構成例を示している。このトランスポートストリームＴＳには、基本ストリーム（ベースストリーム）と拡張ストリーム（エンハンスストリーム）の２つのビデオストリームが含まれている。すなわち、この構成例では、基本ストリームのＰＥＳパケット「video PES1」が存在すると共に、拡張ストリームのＰＥＳパケット「video PES2」が存在する。ＰＥＳパケット「video PES2」でコンテナされる各ピクチャの符号化画像データには、レイヤ・プリディクション・マッピング・ＳＥＩ（図８（ａ）参照）が挿入される。
また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）の一つとして、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。
ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各ビデオストリームに関連した情報を持つエレメンタリストリーム・ループが存在する。この構成例では、基本ストリームに対応したビデオエレメンタリストリームループ「video ES1 loop」が存在すると共に、拡張ストリームに対応したビデオエレメンタリストリームループ「video ES2 loop」が存在する。
「video ES1 loop」には、基本ストリーム（video PES1）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このストリームタイプは、基本ストリームを示す“０ｘ２４”とされる。
また、「video ES2 loop」には、拡張ストリーム（video PES2）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このストリームタイプは、拡張ストリームを示す“０ｘ２ｘ”とされる。また、デスクリプタの一つとして、レイヤ・プリディクション・マッピング・デスクリプタ（図９（ａ）参照）が挿入される。
図３に戻って、送信部１０４は、トランスポートストリームＴＳを、例えば、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調し、ＲＦ変調信号を送信アンテナから送信する。
図３に示す送信装置１００の動作を簡単に説明する。プリプロセッサ１０１には、１２０ｆｐｓの画像データＰが入力される。そして、このプリプロセッサ１０１からは、基本フレームレートの画像データＱbと、ハイフレームレートの拡張フレームの画像データＱeが出力される。
ここで、プリプロセッサ１０１では、１２０ｆｐｓの画像データＰにおいて時間的に連続する２個のピクチャ単位で混合処理が施されて基本フレームレートの画像データＱbが得られる。また、このプリプロセッサ１０１では、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データが取り出されてハイフレームレートの拡張フレームの画像データＱeが得られる。
プリプロセッサ１０１で得られた画像データＱb，Ｑeは、エンコーダ１０２に供給される。エンコーダ１０２では、画像データＱb，Ｑeに対して符号化処理が施されて、基本ストリームおよび拡張ストリームが生成される。ここで、エンコーダ１０２では、基本フレームレートの画像データＱbに、この基本フレームレートの画像データの予測符号化処理が施されて、基本ストリームが得られる。
また、エンコーダ１０２では、ハイフレームレートの拡張フレームの画像データＱeに、基本フレームレートの画像データＱbとの間の予測符号化処理、あるいはこのハイフレームレートの拡張フレームの画像データの予測符号化処理が適応的に施されて、拡張フレームが得られる。ここで、エンコーダ１０２では、拡張レイヤの画像データＱeに基本レイヤの画像データＱbとの間の予測符号化処理が行われるとき、基本レイヤの画像データＱbに予測残差を低減するための予測係数が乗算される。
エンコーダ１０２では、拡張ストリームのレイヤに、予測係数が定義される。具体的には、拡張ストリームのレイヤに、予測係数の“id”とそれで識別される予測係数「Coef_i」との関係が定義された、レイヤ・プリディクション・マッピング・ＳＥＩ（図８（ａ）参照）が挿入される。
エンコーダ１０２で生成された基本ストリームおよび拡張ストリームは、マルチプレクサ１０３に供給される。マルチプレクサ１０３では、基本ストリームおよび拡張ストリームが、ＰＥＳパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。
また、マルチプレクサ１０３では、トランスポートストリームＴＳのレイヤに、予測係数が定義される。具体的には、プログラムマップテーブルの配下に拡張ストリームに対応して配置されたビデオエレメンタリストリームループの中に、予測係数の“id”とそれで識別される予測係数「Coef_i」との関係が定義された、レイヤ・プリディクション・マッピング・デスクリプタ（図９（ａ）参照）が挿入される。
マルチプレクサ１０３で生成されたトランスポートストリームＴＳは、送信部１０４に送られる。送信部１０４では、このトランスポートストリームＴＳが、例えば、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調され、ＲＦ変調信号が送信アンテナから送信される。
「受信装置の構成」
図１１は、１２０ｆｐｓの動画像データを処理可能なデコード能力がある受信装置２００Ａの構成例を示している。この受信装置２００Ａは、受信部２０１と、デマルチプレクサ２０２と、デコーダ２０３と、ポストプロセッサ２０４と、ディスプレイプロセッサ２０５を有している。
受信部２０１は、受信アンテナで受信されたＲＦ変調信号を復調し、トランスポートストリームＴＳを取得する。デマルチプレクサ２０２は、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、基本ストリームおよび拡張ストリームを取り出し、デコーダ２０３に供給する。
また、デマルチプレクサ２０２は、トランスポートストリームＴＳのレイヤに含まれるセクション情報を抽出し、図示しない制御部に送る。この場合、レイヤ・プリディクション・マッピング・デスクリプタ（図９（ａ）参照）も抽出される。これにより、制御部は、予測係数の“id”とそれで識別される予測係数「Coef_i」との関係を認識する。
デコーダ２０３は、基本ストリームに復号化処理を施して基本フレームレートの画像データＱbを得ると共に、拡張ストリームに復号化処理を施してハイフレームレートの拡張フレームの画像データＱeを得る。ここで、画像データＱbは１２０ｆｐｓの画像データＰにおいて時間的に連続する２個のピクチャ単位で混合処理が施されることで得られたものであり、画像データＱeは上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データが取り出されることで得られたものである（図５（ａ），（ｂ）参照）。
また、デコーダ２０３は、基本ストリーム、拡張ストリームを構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩを抽出し、図示しない制御部に送る。この場合、レイヤ・プリディクション・マッピング・ＳＥＩ（図８（ａ）参照）も抽出される。これにより、制御部は、予測係数の“id”とそれで識別される予測係数「Coef_i」との関係を認識する。
図１２は、デコーダ２０３の復号化処理部分の構成例を示している。このデコーダ２０３は、エントロピー復号化回路２１１と、逆量子化/逆整数変換回路２１２と、動き補償回路２１３と、加算回路２１４と、ループフィルタ２１５と、メモリ２１６を有している。
また、このデコーダ２０３は、エントロピー復号化回路２２１と、逆量子化/逆整数変換回路２２２と、動き補償回路２２３と、レイヤ間補償回路２２４と、切り替え回路２２５と、加算回路２２６と、切り替え回路２２７と、ループフィルタ２２８と、メモリ２２９を有している。
エントロピー復号化回路２１１では、基本ストリームにエントロピー復号化が施されて、基本レイヤのブロック毎の量子化データが得られる。この量子化データは逆量子化/逆整数変換回路２１２に供給される。この逆量子化/逆整数変換回路２１２では、量子化データに対して逆量子化が施され、さらに逆整数変換が施されて、予測残差が得られる。このブロック毎の予測誤差は、加算回路２１４に供給される。
動き補償回路２１３では、メモリ２１６に記憶されている参照ピクチャの画像データに基づいて、動き補償された補償参照ブロックが得られる。ここで、動き補償は、ＭＢヘッダ情報として含まれている動きベクトルを用いて行われる。加算回路２１４では、予測残差に補償参照ブロックが加算されて、基本フレームレートの画像データＱbを構成するブロックが得られる。
このように加算回路２１４で得られるブロックは、ループフィルタ１２５で量子化ノイズが除去された後に、メモリ２１６に蓄積される。そして、このメモリ２１６からの蓄積データの読み出しにより、基本フレームレートの画像データＱbが得られる。
エントロピー復号化回路２２１では、拡張ストリームにエントロピー復号化が施されて、拡張レイヤのブロック毎の量子化データが得られる。この量子化データは逆量子化/逆整数変換回路２２２に供給される。この逆量子化/逆整数変換回路２２２では、量子化データに対して逆量子化が施され、さらに逆整数変換が施されて、予測残差が得られる。このブロック毎の予測誤差は、加算回路２２６に供給される。
動き補償回路２２３では、メモリ２２９に記憶されている参照ピクチャの画像データに基づいて、動き補償された、レイヤ内補償のための補償参照ブロックが得られる。ここで、動き補償は、ＭＢヘッダ情報として含まれている動きベクトルを用いて行われる。
レイヤ間補償回路２２４では、ループフィルタ２０５の出力、あるいはメモリ２１６に記憶されている参照ピクチャの画像データに基づいて、動き補償され、さらに予測残差を低減するための予測係数が乗算された、レイヤ間補償のための補償参照ブロックが得られる。ここで、動き補償は、ＭＢヘッダ情報として含まれている動きベクトルを用いて行われる。
また、予測係数として、ＭＢヘッダ情報として含まれている予測係数の“id”に対応した予測係数「Coef_i」が用いられる。この際に、レイヤ・プリディクション・マッピング・ＳＥＩ（図８（ａ）参照）あるいはレイヤ・プリディクション・マッピング・デスクリプタ（図９（ａ）参照）に定義されている予測係数の“id”とそれで識別される予測係数「Coef_i」との関係が参照される。
切り替え回路２２５では、レイヤ間補償で参照する基本ストリームの対象が拡張レイヤのピクチャと同時刻で処理される基本ストリームの画像であるときは、ループフィルタ２０４の出力が選択される。一方、切り替え回路２２５では、レイヤ間補償で参照する基本ストリームの対象が表示順で過去あるいは未来の基本ストリームの画像であるときは、メモリ２１６の出力が選択される。ここで、切り替えは、ＭＢヘッダの情報に従って行われる。
図１３は、レイヤ間補償回路２２４のさらに詳細な構成例を示している。レイヤ間補償回路２２４は、乗算部２３１を有している。乗算部２３１では、基本レイヤの動き補償された予測参照ブロックに予測係数「Coef_i」が乗算されて、レイヤ間補償のための補償参照ブロックが得られる。
図１２に戻って、動き補償回路２２３で得られたレイヤ内補償のための補償参照ブロック、あるいはレイヤ間補償回路２２４で得られたレイヤ間補償のための補償参照ブロックが、切り替え回路２２７によりブロック単位で選択されて加算回路２２６に供給される。ここで、切り替えは、ＭＢヘッダの情報に従って行われる。
加算回路２２６では、予測残差に補償参照ブロックが加算されて、ハイフレームレートの拡張フレームの画像データＱeを構成するブロックが得られる。このように加算回路２２６で得られるブロックは、ループフィルタ２２８で量子化ノイズが除去された後に、メモリ２２９に蓄積される。そして、このメモリ２２９からの蓄積データの読み出しにより、ハイフレームレートの拡張フレームの画像データＱeが得られる。
図１１に戻って、ポストプロセッサ２０４は、デコーダ２０３で得られる基本フレームレートの画像データＱbおよびハイフレームレートの拡張フレームの画像データＱeに対して、送信装置１００におけるプリプロセッサ１０１とは逆の処理を施し、１２０ｆｐｓの画像データＰ´を得る。
図１４は、ポストプロセッサ２０４の構成例を示している。このポストプロセッサ２０４は、演算回路２４１と、スイッチ回路２４２を有している。基本フレームレートの画像データＱbは、「アルファの逆数(1/α)」の利得をもたせて演算回路２４１に入力される。また、ハイフレームレートの拡張フレームの画像データＱeは、「(-1) * (β/α)」の利得をもたせて演算回路２４１に入力されると共に、Ｑeの値をそのままでスイッチ回路２４２のｂ側の固定端子に入力される。
演算回路２４１では、逆混合処理が行われる。この演算回路２４１の出力は、そのままの利得をもってスイッチ回路２４２のａ側の固定端子に入力される。スイッチ回路２４２は、１２０Ｈｚの周期で、ａ側、ｂ側に交互に切り換えられる。このスイッチ回路２４２からは、１２０ｆｐｓの画像データＰ´が得られる。
図５（ｂ），（ｃ）は、ポストプロセッサ２０４の入力データ（画像データＱb，Ｑe）と、ポストプロセッサ２０４の出力データ（画像データＰ´）との関係の一例を、模式的に表している。画像データＱbの各ピクチャの画像データＦ１´，Ｆ３´，Ｆ５´，Ｆ７´，・・・と、画像データＱeの各ピクチャの画像データＦ２，Ｆ４，Ｆ６，Ｆ８，・・・に対応して、画像データＰ´の各ピクチャの画像データＦ１，Ｆ２，Ｆ３，Ｆ４，Ｆ５，Ｆ６，Ｆ７，Ｆ８，・・・が得られる。
図１１に戻って、ディスプレイプロセッサ２０５は、ポストプロセッサ２０４で得られる１２０ｆｐｓの画像データＰに対して、必要に応じて時間方向の補間処理、つまりフレーム補間処理を施して、１２０ｆｐｓより高いフレームレートの画像データを得て、表示部に供給する。
図１１に示す受信装置２００の動作を簡単に説明する。受信部２０１では、受信アンテナで受信されたＲＦ変調信号が復調され、トランスポートストリームＴＳが取得される。このトランスポートストリームＴＳは、デマルチプレクサ２０２に送られる。デマルチプレクサ２０２では、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、基本ストリームおよび拡張ストリームが取り出され、デコーダ２０３に供給される。
また、デマルチプレクサ２０２では、トランスポートストリームＴＳのレイヤに含まれるセクション情報が抽出され、図示しない制御部に送られる。この場合、レイヤ・プリディクション・マッピング・デスクリプタ（図９（ａ）参照）も抽出される。これにより、制御部では、予測係数の“id”とそれで識別される予測係数「Coef_i」との関係が認識される。
デコーダ２０３では、基本ストリームに復号化処理が施されて基本フレームレートの画像データＱbが得られると共に、拡張ストリームに復号化処理が施されてハイフレームレートの拡張フレームの画像データＱeが得られる。これらの画像データＱb，Ｑeは、ポストプロセッサ２０４に供給される。
また、デコーダ２０３では、基本ストリーム、拡張ストリームを構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩが抽出され、図示しない制御部に送られる。この場合、レイヤ・プリディクション・マッピング・ＳＥＩ（図８（ａ）参照）も抽出される。これにより、制御部では、予測係数の“id”とそれで識別される予測係数「Coef_i」との関係が認識される。
デコーダ２０３では、拡張レイヤの画像データＱeを得る際に基本レイヤの画像データＱbを用いた補償が行われるとき、基本レイヤの画像データＱbに予測残差を低減するための予測係数が乗算される。この場合の予測係数として、ＭＢヘッダ情報として含まれている予測係数の“id”に対応した予測係数「Coef_i」が用いられる。この際に、上述の予測係数の“id”とそれで識別される予測係数「Coef_i」との関係が参照される。
ポストプロセッサ２０４では、デコーダ２０３で得られる基本フレームレートの画像データＱbおよびハイフレームレートの拡張フレームの画像データＱeに対して、送信装置１００におけるプリプロセッサ１０１とは逆の処理が施され、１２０ｆｐｓの画像データＰが得られる。
ポストプロセッサ２０４で得られた画像データＰは、ディスプレイプロセッサ２０５に供給される。ディスプレイプロセッサ２０５では、必要に応じて、画像データＰに対して時間方向の補間処理、つまりフレーム補間処理が施されて、１２０ｆｐｓより高いフレームレートの画像データが得られる。この画像データは、表示部に供給され、画像表示が行われる。
図１５は、６０ｆｐｓの動画像データを処理可能なデコード能力がある受信装置２００Ｂの構成例を示している。この図１５において、図１１と対応する部分には同一符号を付し、適宜、その詳細説明を省略する。この受信装置２００Ｂは、受信部２０１と、デマルチプレクサ２０２Ｂと、デコーダ２０３Ｂと、ディスプレイプロセッサ２０５Ｂを有している。
受信部２０１では、受信アンテナで受信されたＲＦ変調信号が復調され、トランスポートストリームＴＳが取得される。デマルチプレクサ２０２Ｂでは、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、基本ストリームのみが取り出されて、デコーダ２０３Ｂに供給される。
デコーダ２０３Ｂでは、基本ストリームに復号化処理が施されて基本フレームレートの画像データＱbが得られる。ディスプレイプロセッサ２０５Ｂでは、６０ｆｐｓの画像データＱbに対して時間方向の補間処理、つまりフレーム補間処理が施されて、６０ｆｐｓより高いフレームレートの画像データが得られる。この画像データは、表示部に供給され、画像表示が行われる。
以上説明したように、図１に示す送受信システム１０においては、１２０ｆｐｓの画像データＰにおいて時間的に連続する２個のピクチャ単位で混合処理を施して、６０ｆｐｓの基本フレームレートの画像データＱbを得、この基本フレームレートの画像データに予測符号化処理を施して得られた基本ストリームを送信するものである。そのため、例えば、受信側では、基本フレームレートの画像データを処理可能なデコード能力がある場合、この基本ストリームを処理して基本フレームレートの画像データを得ることで、動画像として滑らかな画像を表示でき、また、表示処理において低負荷演算によるフレーム補間処理で画質的な問題を引き起こすことを回避できる。
また、図１に示す送受信システム１０においては、１２０ｆｐｓの画像データＰにおいて時間的連続する２個のピクチャ単位で一方のピクチャの画像データを取り出してハイフレームレートの拡張フレームの画像データＱeを得、この画像データＱeに基本フレームレートの画像データＱbとの間の予測符号化処理を施して得られた拡張ストリームを送信するものである。この場合、基本フレームレートの画像データＱbが上記時間的に連続する２個のピクチャ単位で混合処理を施して得られたものであることから、予測残差が小さくなって予測効率が向上し、拡張ストリームの情報データ量の低減が可能となる。
図１６には、（１）混合処理を行わない場合の予測残差と、（２）混合処理を行う場合の予測残差の一例を、混合処理の係数がα＝１/２(よって、β＝１/２)の場合を例に、比較して示している。（１）、（２）において、“Ａ”、“Ｂ”は、図４のプリプロセッサ１０１の構成例で示されている“Ａ”、“Ｂ”に対応している。なお、この例では、簡単化のため、処理単位のブロックが４×４のブロックとしている。処理の単位はこれに限定することはなく、これより大きいブロックであってもよい。このことは、以下の例においても同様である。図示のように、混合処理を行う場合の予測残差は、混合処理を行わない場合の予測残差より小さくなることがわかる。
図１７には、混合処理を行った場合における、（１）デコーダ側のレイヤ間補償の適用例と、（２）デコーダ後処理（逆混合処理）の例を示している。（１）、（２）において、“Ａ”、“Ｂ”は、図１４のポストプロセッサ２０４の構成例で示されている“Ａ”、“Ｂ”に対応している。
また、図１に示す送受信システム１０においては、ハイフレームレートの拡張フレームの画像データＱeに基本フレームレートの画像データＱbとの間の予測符号化処理を行って拡張ストリームを得る際に、基本フレームレートの画像データＱbに予測残差を低減するための予測係数を乗算するものである。そのため、予測効率の改善が可能となり、拡張ストリームの情報データ量のさらなる低減が可能となる。
図１８には、（１）混合処理を行わない場合の予測残差と、（２）混合処理を行い、予測係数をかけない場合（予測係数“１”をかける場合と同じ）の予測残差を、比較して示している。（１）、（２）において、“Ａ”、“Ｂ”は、図４のプリプロセッサ１０１の構成例で示されている“Ａ”、“Ｂ”に対応している。（２）においては、混合処理を行うことによって予測残差が低減されている。
図１９には、（１）混合処理を行い、予測係数をかけない場合（予測係数“１”をかける場合と同じ）の予測残差と、（２）混合処理を行い、予測係数をかける場合の予測残差を、比較して示している。（１）、（２）において、“Ａ”、“Ｂ”は、図４のプリプロセッサ１０１の構成例で示されている“Ａ”、“Ｂ”に対応している。（２）においては、混合処理を行うことによって予測残差が低減されていると共に、予測係数“２”を掛けることで、予測残差が低減されている。デコーダ側では、エンコーダの予測係数と同じものをレイヤ間補償で使用することにより、正しい画素値での復元が可能になる。
図２０は、混合処理を行い、予測係数をかける場合における、（１）デコーダ側のレイヤ間補償の適用例と、（２）デコーダ後処理（逆混合処理）の例を示している。（１）、（２）において、“Ａ”、“Ｂ”は、図１４のポストプロセッサ２０４の構成例で示されている“Ａ”、“Ｂ”に対応している。
また、図１に示す送受信システム１０においては、拡張ストリームのレイヤおよび/またはコンテナとしてのトランスポートストリームＴＳのレイヤに予測係数を定義するものである。そのため、受信側では、この定義された予測係数を用いて拡張ストリームに対する復号化処理を適切に行うことが可能となる。
＜２．変形例＞
なお、上述実施の形態においては、全体のフレームレートが１２０ｆｐｓで基本フレームレートが６０ｆｐｓの例を示したが、フレームレートの組み合わせは、これに限定されるものではない。例えば、１００ｆｐｓと５０ｆｐｓの組み合わせでも同様である。
また、上述実施の形態においては、送信装置１００と受信装置２００からなる送受信システム１０を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置２００の部分が、例えば、（ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。なお、「ＨＤＭＩ」は、登録商標である。
また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）あるいはＭＭＴ（MPEG Media Transport）、インターネット配信で使用されているＩＳＯＢＭＦＦ（ＭＰ４）などの種々のフォーマットのコンテナが該当する。
また、本技術は、以下のような構成を取ることもできる。
（１）所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して基本フレームレートの画像データを得ると共に、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出してハイフレームレートの拡張フレームの画像データを得る画像処理部と、
上記基本フレームレートの画像データに該基本フレームレートの画像データの予測符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに上記基本フレームレートの画像データとの間の予測符号化処理を施して拡張ストリームを得る画像符号化部と、
上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信部を備える
送信装置。
（２）上記画像符号化部は、
上記ハイフレームレートの拡張フレームの画像データに上記基本フレームレートの画像データとの間の予測符号化処理を行って拡張ストリームを得る際に、上記基本フレームレートの画像データに予測残差を低減するための予測係数を乗算する
前記（１）に記載の送信装置。
（３）上記拡張ストリームのレイヤに上記予測係数を定義する情報定義部をさらに備える
前記（２）に記載の送信装置。
（４）上記コンテナのレイヤに上記予測係数を定義する情報定義部をさらに備える
前記（２）または（３）に記載の送信装置。
（５）所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して基本フレームレートの画像データを得ると共に、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出してハイフレームレートの拡張フレームの画像データを得る画像処理ステップと、
上記基本フレームレートの画像データに該基本フレームレートの画像データの予測符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに上記基本フレームレートの画像データとの間の予測符号化処理を施して拡張ストリームを得る画像符号化ステップと、
送信部により、上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信ステップを有する
送信方法。
（６）基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記基本ストリームは、所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データに該基本フレームレートの画像データの予測符号化処理を施して得られたものであり、
上記拡張ストリームは、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出して得られたハイフレームレートの拡張フレームの画像データに上記基本フレームレートの画像データとの間の予測符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理して上記所定フレームレートの画像データを得る処理部をさらに備える
受信装置。
（７）上記拡張ストリームのレイヤおよび/または上記コンテナのレイヤに予測残差を低減するための予測係数が定義されており、
上記処理部は、上記ハイフレームレートの拡張フレームの画像データを得る際に、上記基本ストリームを処理して得られた上記基本フレームレートの画像データに上記定義されている予測係数を乗算して参照画像データとする
前記（６）に記載の受信装置。
（８）受信部により、基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
上記基本ストリームは、所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データに該基本フレームレートの画像データの予測符号化処理を施して得られたものであり、
上記拡張ストリームは、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出して得られたハイフレームレートの拡張フレームの画像データに上記基本フレームレートの画像データとの間の予測符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理して上記所定フレームレートの画像データを得る処理ステップをさらに有する
受信方法。
（９）所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して基本フレームレートの画像データを得ると共に、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出してハイフレームレートの拡張フレームの画像データを得る画像処理部と、
上記基本フレームレートの画像データに符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに符号化処理を施して拡張ストリームを得る画像符号化部と、
上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信部を備える
送信装置。
（１０）基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記基本ストリームは、所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データに符号化処理を施して得られたものであり、
上記拡張ストリームは、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出して得られたハイフレームレートの拡張フレームの画像データに符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理して上記所定フレームレートの画像データを得る処理部をさらに備える
受信装置。
（１１）上記処理部は、
上記基本ストリームおよび上記拡張ストリームの双方を処理して上記所定フレームレートの画像データを得る場合、
上記基本ストリームに復号化処理を施して上記基本フレームレートの画像データを得ると共に、上記拡張ストリームに復号化処理を施して上記ハイフレームレートの拡張フレームの画像データである上記時間的に連続する２個のピクチャ単位の一方のピクチャの画像データを得る処理と、
上記基本フレームレートの画像データに上記ハイフレームレートの拡張フレームの画像データを用いて上記混合処理の逆の処理を施して上記時間的に連続する２個のピクチャ単位の他方のピクチャの画像データを得る処理と、
上記時間的に連続する２個のピクチャ単位の一方のピクチャの画像データと上記時間的に連続する２個のピクチャ単位の他方のピクチャの画像データを合成して上記所定フレームレートの画像データを得る処理を行う
前記（１０）に記載の受信装置。
本技術の主な特徴は、１２０ｆｐｓの画像データにおいて時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出してハイフレームレートの拡張フレームの画像データを得、この画像データに、上記時間的に連続する２個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データとの間の予測符号化処理を施して得られた拡張ストリームを送信することで、拡張ストリームの情報データ量の低減を可能としたことである（図４、図６参照）。
１０・・・送受信システム
１００・・・送信装置
１０１・・・プリプロセッサ
１０２・・・エンコーダ
１０３・・・マルチプレクサ
１０４・・・送信部
１１１・・・遅延回路
１１２・・・演算回路
１１３・・・ラッチ回路
１２１・・・ブロック化回路
１２２・・・減算回路
１２３・・・動き予測/動き補償回路
１２４・・・整数変換/量子化回路
１２５・・・逆量子化/逆整数変換回路
１２６・・・加算回路
１２７・・・ループフィルタ
１２８・・・メモリ
１２９・・・エントロピー符号化回路
１３１・・・ブロック化回路
１３２・・・減算回路
１３３・・・動き予測/動く補償回路
１３４・・・レイヤ間予測/レイヤ間補償回路
１３５，１３６・・・切り替え回路
１３７・・・整数変換/量子化回路
１３８・・・逆量子化/逆整数変換回路
１３９・・・加算回路
１４１・・・ループフィルタ
１４２・・・メモリ
１４３・・・エントロピー符号化回路
１５１・・・乗算部
１５２・・・減算部
１５３・・・決定ロジック部
２００Ａ，２００Ｂ・・・受信装置
２０１・・・受信部
２０２，２０２Ｂ・・・デマルチプレクサ
２０３，２０３Ｂ・・・デコーダ
２０４・・・ポストプロセッサ
２０５，２０５Ｂ・・・ディスプレイプロセッサ
２１１・・・エントロピー復号化回路
２１２・・・逆量子化/逆整数変換回路
２１３・・・動き補償回路
２１４・・・加算回路
２１５・・・ループフィルタ
２１６・・・メモリ
２２１・・・エントロピー復号化回路
２２２・・・逆量子化/逆整数変換回路
２２３・・・動き補償回路
２２４・・・レイヤ間補償回路
２２５・・・切り替え回路
２２６・・・加算回路
２２７・・・切り替え回路
２２８・・・ループフィルタ
２２９・・・メモリ
２３１・・・乗算部
２４１・・・演算回路
２４２・・・スイッチ回路

Claims (6)

  1. 所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して上記所定フレームレートの半分のフレームレートである基本フレームレートの混合処理された画像データを得ると共に、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出して上記所定フレームレートと同じフレームレートであるハイフレームレートの拡張フレームの画像データを得る画像処理部と、
    上記基本フレームレートの混合処理された画像データにレイヤ内の予測符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに上記基本フレームレートの混合処理された画像データとの間のレイヤ間の予測符号化処理を施して拡張ストリームを得る画像符号化部と、
    上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
    上記画像符号化部は、
    上記ハイフレームレートの拡張フレームの画像データに上記レイヤ間の予測符号化処理を行って拡張ストリームを得る際に、上記基本フレームレートの混合処理された画像データに上記ハイフレームレートの拡張フレームの画像データに値を近づけて予測残差を低減するための予測係数を乗算し、
    上記拡張ストリームのレイヤおよび/または上記コンテナのレイヤに上記予測係数を定義する情報定義部をさらに備える
    送信装置。
  2. 所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して上記所定フレームレートの半分のフレームレートである基本フレームレートの混合処理された画像データを得ると共に、上記時間的に連続する２個のピクチャ単位毎で一方のピクチャの画像データを取り出して上記所定フレームレートと同じフレームレートであるハイフレームレートの拡張フレームの画像データを得る画像処理ステップと、
    上記基本フレームレートの混合処理された画像データにレイヤ内の予測符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに上記基本フレームレートの混合処理された画像データとの間のレイヤ間の予測符号化処理を施して拡張ストリームを得る画像符号化ステップと、
    送信部により、上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信ステップを有し、
    上記画像符号化ステップでは、
    上記ハイフレームレートの拡張フレームの画像データに上記レイヤ間の予測符号化処理を行って拡張ストリームを得る際に、上記基本フレームレートの混合処理された画像データに上記ハイフレームレートの拡張フレームの画像データに値を近づけて予測残差を低減するための予測係数を乗算し、
    上記拡張ストリームのレイヤおよび/または上記コンテナのレイヤに上記予測係数を定義する情報定義ステップをさらに有する
    送信方法。
  3. 基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
    上記基本ストリームは、所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して得られた上記所定フレームレートの半分のフレームレートである基本フレームレートの混合処理された画像データにレイヤ内の予測符号化処理を施して得られたものであり、
    上記拡張ストリームは、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出して得られた上記所定フレームレートと同じフレームレートであるハイフレームレートの拡張フレームの画像データに上記基本フレームレートの混合処理された画像データとの間のレイヤ間の予測符号化処理を施して得られたものであり、
    上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理して上記所定フレームレートの画像データを得る処理部をさらに備え、
    上記拡張ストリームのレイヤおよび/または上記コンテナのレイヤに予測残差を抑圧するための予測係数が定義されており、
    上記処理部は、上記ハイフレームレートの拡張フレームの画像データを得る際に、上記基本ストリームを処理して得られた上記基本フレームレートの混合処理された画像データに上記定義されている予測係数を乗算して参照画像データとする
    受信装置。
  4. 上記処理部は、上記得られた所定フレームレートの画像データに対してフレーム補間処理を施し、上記所定フレームレートより高いフレームレートの画像データをさらに得る
    請求項３に記載の受信装置。
  5. 受信部により、基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
    上記基本ストリームは、所定フレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して得られた上記所定フレームレートの半分のフレームレートである基本フレームレートの混合処理された画像データにレイヤ内の予測符号化処理を施して得られたものであり、
    上記拡張ストリームは、上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データを取り出して得られた上記所定フレームレートと同じフレームレートであるハイフレームレートの拡張フレームの画像データに上記基本フレームレートの混合処理された画像データとの間のレイヤ間の予測符号化処理を施して得られたものであり、
    上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理して上記所定フレームレートの画像データを得る処理ステップをさらに有し、
    上記拡張ストリームのレイヤおよび/または上記コンテナのレイヤに予測残差を抑圧するための予測係数が定義されており、
    上記処理ステップでは、上記ハイフレームレートの拡張フレームの画像データを得る際に、上記基本ストリームを処理して得られた上記基本フレームレートの混合処理された画像データに上記定義されている予測係数を乗算して参照画像データとする
    受信方法。
  6. 上記処理ステップでは、上記得られた所定フレームレートの画像データに対してフレーム補間処理を施し、上記所定フレームレートより高いフレームレートの画像データをさらに得る
    請求項５に記載の受信方法。
JP2017535506A 2015-08-19 2016-08-10 送信装置、送信方法、受信装置および受信方法 Active JP6760290B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015161966 2015-08-19
JP2015161966 2015-08-19
PCT/JP2016/073543 WO2017030062A1 (ja) 2015-08-19 2016-08-10 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
JPWO2017030062A1 JPWO2017030062A1 (ja) 2018-06-07
JP6760290B2 true JP6760290B2 (ja) 2020-09-23

Family

ID=58051729

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017535506A Active JP6760290B2 (ja) 2015-08-19 2016-08-10 送信装置、送信方法、受信装置および受信方法

Country Status (9)

Country Link
US (3) US10951915B2 (ja)
EP (1) EP3340625A4 (ja)
JP (1) JP6760290B2 (ja)
KR (1) KR20180042239A (ja)
CN (1) CN107925765B (ja)
AU (1) AU2016309262B2 (ja)
CA (1) CA2995324A1 (ja)
MX (1) MX2018001771A (ja)
WO (1) WO2017030062A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6871147B2 (ja) * 2017-12-14 2021-05-12 日本電信電話株式会社 画像生成装置、画像生成方法及び画像生成プログラム
WO2019167952A1 (ja) * 2018-03-01 2019-09-06 ソニー株式会社 受信装置、受信方法、送信装置および送信方法
WO2019230432A1 (ja) 2018-05-30 2019-12-05 ソニー株式会社 受信装置、受信方法、送信装置および送信方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1279111A4 (en) * 2000-04-07 2005-03-23 Dolby Lab Licensing Corp IMPROVED TIME AND RESOLUTION STRUCTURE FOR ADVANCED TELEVISION
JP4281309B2 (ja) * 2002-08-23 2009-06-17 ソニー株式会社 画像処理装置、画像処理方法、および画像フレームデータ記憶媒体、並びにコンピュータ・プログラム
JP4797446B2 (ja) * 2005-05-26 2011-10-19 ソニー株式会社 情報処理システム、情報処理装置および方法、並びにプログラム
JP4486560B2 (ja) * 2005-07-14 2010-06-23 日本電信電話株式会社 スケーラブル符号化方法および装置，スケーラブル復号方法および装置，並びにそれらのプログラムおよびその記録媒体
EP1944978A1 (en) * 2007-01-12 2008-07-16 Koninklijke Philips Electronics N.V. Method and system for encoding a video signal. encoded video signal, method and system for decoding a video signal
US8848787B2 (en) * 2007-10-15 2014-09-30 Qualcomm Incorporated Enhancement layer coding for scalable video coding
JP4849130B2 (ja) * 2008-02-19 2012-01-11 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5707261B2 (ja) * 2011-07-12 2015-04-22 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
KR20130037194A (ko) * 2011-10-05 2013-04-15 한국전자통신연구원 비디오 부호화/복호화 방법 및 그 장치
CN102905200B (zh) * 2012-08-07 2015-01-14 上海交通大学 一种视频感兴趣区域双流编码传输方法及系统
WO2014053519A1 (en) * 2012-10-01 2014-04-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding using inter-layer prediction of spatial intra prediction parameters
US9438849B2 (en) * 2012-10-17 2016-09-06 Dolby Laboratories Licensing Corporation Systems and methods for transmitting video frames
US9226038B2 (en) * 2012-11-12 2015-12-29 Roger B. and Ann K. McNamee Trust U/T/A/D Systems and methods for communicating a live event to users using the internet
CN105765980B (zh) * 2013-11-22 2020-02-28 索尼公司 传输装置、传输方法、接收装置和接收方法
KR102294830B1 (ko) * 2014-01-03 2021-08-31 삼성전자주식회사 디스플레이 구동 장치 및 이미지 데이터 처리 장치의 동작 방법

Also Published As

Publication number Publication date
CA2995324A1 (en) 2017-02-23
EP3340625A4 (en) 2019-01-23
AU2016309262B2 (en) 2020-07-30
EP3340625A1 (en) 2018-06-27
JPWO2017030062A1 (ja) 2018-06-07
US20180227596A1 (en) 2018-08-09
MX2018001771A (es) 2018-05-16
US20210152847A1 (en) 2021-05-20
AU2016309262A1 (en) 2018-02-01
US20220337869A1 (en) 2022-10-20
US11412254B2 (en) 2022-08-09
CN107925765B (zh) 2022-01-18
CN107925765A (zh) 2018-04-17
WO2017030062A1 (ja) 2017-02-23
US10951915B2 (en) 2021-03-16
KR20180042239A (ko) 2018-04-25

Similar Documents

Publication Publication Date Title
JP6565679B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP6809469B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP6809471B2 (ja) 送信装置、送信方法、受信装置および受信方法
US11412254B2 (en) Transmission device, transmission method, reception device and reception method
TWI543593B (zh) 具有一固定長度寫碼之視訊參數集識別之補充增強資訊訊息
JPWO2016185947A1 (ja) 画像処理装置、画像処理方法、受信装置および送信装置
JP6801662B2 (ja) 送信装置、送信方法、受信装置および受信方法
US20100329340A1 (en) Method and apparatus for eliminating encoding delay when a telecine source material is detected
WO2019167952A1 (ja) 受信装置、受信方法、送信装置および送信方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190709

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200612

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200817

R151 Written notification of patent or utility model registration

Ref document number: 6760290

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250