JPWO2018143268A1 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
JPWO2018143268A1
JPWO2018143268A1 JP2018565604A JP2018565604A JPWO2018143268A1 JP WO2018143268 A1 JPWO2018143268 A1 JP WO2018143268A1 JP 2018565604 A JP2018565604 A JP 2018565604A JP 2018565604 A JP2018565604 A JP 2018565604A JP WO2018143268 A1 JPWO2018143268 A1 JP WO2018143268A1
Authority
JP
Japan
Prior art keywords
image data
picture
base layer
encoding
encoded stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018565604A
Other languages
English (en)
Other versions
JP7178907B2 (ja
Inventor
郁夫 塚越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018143268A1 publication Critical patent/JPWO2018143268A1/ja
Application granted granted Critical
Publication of JP7178907B2 publication Critical patent/JP7178907B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities

Abstract

基本レイヤおよび拡張レイヤの画像データを符号化して送信する際の符号化効率の向上を図る。基本レイヤの各ピクチャの画像データを符号化して第１の符号化ストリームを生成する。拡張レイヤの各ピクチャの画像データを符号化して第２の符号化ストリームを生成する。それらのストリームを含むコンテナを送信する。拡張レイヤの各ピクチャの画像データを符号化する際に基本レイヤのピクチャを参照ピクチャとすることが可能とされ、基本レイヤのピクチャを参照ピクチャとするとき、参照ピクチャのブロックに、基本レイヤの画像データを拡張レイヤの画像データに対応させるための変換処理を施して動き補償予測符号化処理を行う。

Description

本技術は、送信装置、送信方法、受信装置および受信方法に関し、基本レイヤおよび拡張レイヤの画像データを符号化して送信する送信装置等に関する。
従来、基本フォーマット画像データと共に高品質フォーマット画像データを送信し、受信側において、基本フォーマット画像データまたは高品質フォーマット画像データを選択的に用いることが知られている。例えば、特許文献１には、メディア符号化をスケーラブルに行って、低解像度のビデオサービスのための基本レイヤの符号化ストリームと、高解像度のビデオサービスのための拡張レイヤの符号化ストリームを生成し、これらを含むコンテナを送信することが記載されている。なお、高品質フォーマットには、高解像度の他に、高ダイナミックレンジ、広色域、高ビット長などがある。
特表２００８−５４３１４２号公報
ＳＨＶＣ（Scalability Extension of HEVC）等の従来のスケーラブル符号化では、レイヤ間にまたがる予測は、同じ表示順（ＰＯＣ：picture order of composition）のピクチャ間のみに限定されていた。しかも、その内の予測には動き補償は適用されずに、画像の同じ空間相対位置のブロック同士のレイヤ間予測のみに対応するものであった。そのため、符号化効率が低下するという課題があった。
本技術の目的は、基本レイヤおよび拡張レイヤの画像データを符号化して送信する際の符号化効率の向上を図ることにある。
本技術の概念は、
基本レイヤの各ピクチャの画像データを符号化して第１の符号化ストリームを生成すると共に、拡張レイヤの各ピクチャの画像データを符号化して第２の符号化ストリームを生成する画像符号化部と、
上記第１の符号化ストリームおよび上記第２の符号化ストリームを含むコンテナを送信する送信部を備え、
上記画像符号化部は、
上記拡張レイヤの各ピクチャの画像データを符号化する際に上記基本レイヤのピクチャを参照ピクチャとすることが可能とされ、
上記基本レイヤのピクチャを参照ピクチャとするとき、該参照ピクチャのブロックに基本レイヤの画像データを拡張レイヤの画像データに対応させるための変換処理を施して動き補償予測符号化処理を行う
送信装置にある。
本技術において、画像符号化部により、基本レイヤの各ピクチャの画像データが符号化されて第１の符号化ストリームが生成され、拡張レイヤの各ピクチャの画像データが符号化されて第２の符号化ストリームが生成される。例えば、拡張レイヤの各ピクチャの画像データには、基本レイヤの各ピクチャとは異なる表示タイミングを持つピクチャの画像データが含まれる、ようにされてもよい。送信部により、第１の符号化ストリームおよび上記第２の符号化ストリームを含むコンテナが送信される。
画像符号化部では、拡張レイヤの各ピクチャの画像データを符号化する際に基本レイヤのピクチャを参照ピクチャとすることが可能とされる。そして、画像符号化部では、基本レイヤのピクチャを参照ピクチャとするとき、この参照ピクチャのブロックに、基本レイヤの画像データを拡張レイヤの画像データに対応させるための変換処理が施されて、動き補償予測符号化処理が行われる。
例えば、基本レイヤの画像データは第１の解像度の画像データであり、拡張レイヤの画像データは第１の解像度より大きな第２の解像度の画像データであり、画像符号化部は、変換処理として、参照ピクチャにおける参照ブロックの解像度を第１の解像度から第２の解像度にするスケーリング処理を行う、ようにされてもよい。
この場合、例えば、画像符号化部は、変換処理として、スケーリング処理が施された画像データの鈍ったエッジを補正するシェーピング処理をさらに行う、ようにされてもよい。このシェーピング処理により、スケーリング処理がされたことによる画像のエッジのボケを軽減でき、動きベクトルを求めるためのブロックマッチング処理の効果を高めることが可能となる。
また、例えば、第１の解像度はＨＤ解像度であり、第２の解像度はＵＨＤ解像度である、ようにされてもよい。この場合、例えば、ＵＨＤ解像度は４Ｋ解像度であり、画像符号化部は、拡張レイヤのピクチャの２次元的に隣接する２×２の４個の予測ブロックで構成されるベクトルブロック毎にスケーリング処理された参照ブロックを用いたブロックマッチング処理を行って第１の動きベクトルを決定し、スケーリング処理された参照ブロック内において４個の予測ブロックのそれぞれとのブロックマッチング処理を行って各予測ブロックに対応した第２の動きベクトルを決定して、上記動き補償予測符号化処理を行う、ようにされてもよい。これにより、各予測ブロックに対応した動きベクトルを精度よく求めることが可能となり、符号化効率の向上を図ることが可能となる。
また、例えば、基本レイヤの画像データは第１のダイナミックレンジの画像データであり、拡張レイヤの画像データは第１のダイナミックレンジより広い第２のダイナミックレンジの画像データであり、画像符号化部は、変換処理として、参照ピクチャのブロックの画素値を第２のダイナミックレンジの画素値に対応するように変換する処理を行う、ようにされてもよい。
このように本技術においては、拡張レイヤの各ピクチャの画像データを符号化する際に、基本レイヤのピクチャを参照ピクチャとするとき、参照ピクチャのブロックに、基本レイヤの画像データを拡張レイヤの画像データに対応させるための変換処理を施して、動き補償予測符号化処理を行うものである。そのため、参照ブロックを精度よく決定でき、符号化効率の向上を図ることが可能となる。
また、本技術の他の概念は、
基本レイヤの各ピクチャの画像データが符号化されて得られた第１の符号化ストリームと拡張レイヤの各ピクチャの画像データが符号化されて得られた第２の符号化ストリームを含むコンテナを受信する受信部を備え、
上記拡張レイヤの各ピクチャの画像データの符号化では上記基本レイヤのピクチャを参照ピクチャとすることが可能とされ、該基本レイヤのピクチャが参照ピクチャとされるとき、該参照ピクチャのブロックに基本レイヤの画像データを拡張レイヤの画像データに対応させるための変換処理が施されて動き補償予測符号化処理が行われており、
表示能力に応じて、上記第１の符号化ストリーム、または上記第１の符号化ストリームおよび上記第２の符号化ストリームを処理して表示用画像データを得る処理部をさらに備える
受信装置にある。
本技術において、受信部により、第１の符号化ストリームと第２の符号化ストリームが含まれたコンテナが受信される。第１の符号化ストリームは、基本レイヤの各ピクチャの画像データが符号化されて得られたものである。第２の符号化ストリームは、拡張レイヤの各ピクチャの画像データが符号化されて得られたものである。
拡張レイヤの各ピクチャの画像データの符号化では基本レイヤのピクチャを参照ピクチャとすることが可能とされ、基本レイヤのピクチャが参照ピクチャとされるとき、この参照ピクチャのブロックに、基本レイヤの画像データを拡張レイヤの画像データに対応させるための変換処理が施されて動き補償予測符号化処理が行われている。
処理部により、表示能力に応じて、第１の符号化ストリーム、または第１の符号化ストリームおよび第２の符号化ストリームが処理されて表示用画像データが得られる。この場合、第１の符号化ストリームに復号化処理が施されて基本レイヤの画像データが得られ、第２の符号化ストリームに復号化処理が施されて拡張レイヤの画像データが得られる。
本技術によれば、基本レイヤおよび拡張レイヤの画像データを符号化して送信する際の符号化効率の向上を図ることができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
実施の形態としての送受信システムの構成例を示すブロック図である。 基本レイヤおよび拡張レイヤの画像データの構成例を示す図である。 基本レイヤおよび拡張レイヤの画像データの他の構成例を示す図である。 送信装置の構成例を示すブロック図である。 エンコード部の主要部の構成例を示すブロック図である。 レイヤ間予測部におけるレイヤ間の動き予測（第１の動き予測）を説明するための図である。 スケーリング処理およびシェーピング処理を概略的に示す図である。 ラージブロック内での動き予測（第２の動き予測）を説明するための図である。 ビデオエンコーダのより具体的な構成例を示す図である。 符号化データをコンテナするスライス（Slice）のＮＡＬユニットの構造例と、スライス・セグメント・ヘッダの構造例を示す図である。 スライス・セグメント・データの構造例を示す図である。 「vector_prediction_unit()」と「micro_prediction_unit()」のフィールドの構造例を示す図である。 「prediction_unit2()」のフィールドの構造例を示す図である。 各構造例における主要な情報の内容を示す図である。 受信装置の構成例を示すブロック図である。 デコード部の主要部の構成例を示すブロック図である。 ビデオデコーダのより具体的な構成例を示す図である。 ＨＤＲ特性、ＳＤＲ特性を示す図である。
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
＜１．実施の形態＞
［送受信システム］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、受信装置２００とを有する構成となっている。
送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。このトランスポートストリームＴＳには、第１の符号化ストリームと第２の符号化ストリームが含まれる。第１の符号化ストリームは、基本レイヤの各ピクチャの画像データが符号化されて得られたものである。第２の符号化ストリームは、拡張レイヤの各ピクチャの画像データが符号化されて得られたものである。
この実施の形態において、基本レイヤの画像データは１２０ｆｐｓでＨＤ解像度の画像データまたは６０ｆｐｓでＨＤ解像度の画像データであり、拡張レイヤの画像データは１２０ｆｐｓでＵＨＤ解像度（４Ｋ解像度、８Ｋ解像度など）、ここでは４Ｋ解像度の画像データである。
ここで、４Ｋ解像度は横:約４０００×縦:約２０００ピクセル級の解像度であり、例えば４０９６×２１６０や３８４０×２１６０であり、８Ｋ解像度は縦、横のピクセルがそれぞれ４Ｋ解像度の２倍となる解像度である。また、ＨＤ解像度は、例えば、縦、横のピクセルが４Ｋ解像度の１/２倍となる解像度である。
拡張レイヤの各ピクチャの画像データを符号化する際に、基本レイヤのピクチャを参照ピクチャとすることが可能とされる。そして、基本レイヤのピクチャを参照ピクチャとするとき、この参照ピクチャのブロックに、基本レイヤの画像データを拡張レイヤの画像データに対応させるための変換処理が施されて、動き補償予測符号化が行われる。
この実施の形態において、変換処理として、参照ピクチャのブロックの解像度をＨＤ解像度から４Ｋ解像度にするスケーリング処理が行われる。また、この実施の形態において、変換処理として、スケーリング処理がされた画像データに画像の鈍ったエッジを補正するシェーピング処理がさらに行われる。このシェーピング処理により、スケーリング処理がされたことによる画像のエッジのボケが軽減され、動きベクトルを求めるためのブロックマッチング処理の精度が高められる。
動き補償予測符号化処理において、拡張レイヤのピクチャの２次元的に隣接する２×２の４個の予測ブロックで構成されるベクトルブロック毎にスケーリング処理された参照ブロックを用いたブロックマッチング処理が行われて第１の動きベクトルが決定される。また、スケーリング処理された参照ブロック内において４個の予測ブロックのそれぞれとのブロックマッチング処理が行われて各予測ブロックに対応した第２の動きベクトル（マイクロベクトル）が決定される。これにより、各予測ブロックに対応した動きベクトルが精度よく求められ、符号化効率の向上が図られる。
受信装置２００は、送信装置１００から放送波に載せて送られてくる上述のトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳには、上述したように、６０ｆｐｓでＨＤ解像度の画像データに係る第１の符号化ストリームと１２０ｆｐｓで４Ｋ解像度の画像データに係る第２の符号化ストリームが含まれている。
受信装置２００は、６０ｆｐｓでＨＤ解像度の表示能力がある場合、第１の符号化ストリームを処理して６０ｆｐｓでＨＤ解像度の表示用画像データを得て、画像表示をする。一方、受信装置２００は、１２０ｆｐｓで４Ｋ解像度の表示能力がある場合、第１の符号化ストリームおよび第２の符号化ストリームを処理して１２０ｆｐｓで４Ｋ解像度の表示用画像データを得て、画像表示をする。
図２は、基本レイヤおよび拡張レイヤの画像データの構成例を示している。図示の例において、横軸は表示順（ＰＯＣ：picture order of composition）を示し、左側は表示時刻が前で、右側は表示時刻が後になる。矩形枠のそれぞれがピクチャを示し、数字はエンコード順（受信側ではデコード順）を示している。また、矢印は予測符号化処理におけるピクチャの参照関係の一例を示し、実線はレイヤ内の参照関係を示し、破線はレイヤ間の参照関係を示している。レイヤ間、レイヤ内の双方とも予測はブロックごとに対象ピクチャが変わり、また、予測の向き、参照数は図示の例に限定されるわけではない。なお、サブレイヤ内の参照関係の表示は省略している。
基本レイヤの画像データとして、第１の画像データ「HD 60Hz Base」が存在する。この第１の画像データは、サブレイヤ１（sublayer 1）を構成する画像データであり、基本となる６０Ｈｚを構成する画像データである。また、基本レイヤの画像データとして、第２の画像データ「HD +60Hz HFR」が存在する。この第２の画像データは、サブレイヤ２（sublayer 2）を構成する画像データであり、第１の画像データ「HD 60Hz Base」に対して時間方向のスケーラビリティである。
また、拡張レイヤの画像データとして、第３の画像データ「UHD(4K) 60Hz」が存在する。この第３の画像データは、サブレイヤ３（sublayer 3）を構成する画像データであり、基本となる６０Ｈｚを構成する画像データである。この第３の画像データは、第１の画像データ「HD 60Hz Base」に対して空間方向のスケーラビリティである。また、拡張レイヤの画像データとして、第４の画像データ「UHD(4K) +60Hz HFR」が存在する。この第４の画像データは、サブレイヤ４（sublayer 4）を構成する画像データであり、第３の画像データ「UHD(4K) 60Hz」に対して時間方向のスケーラビリティであると共に、第２の画像データ「HD +60Hz HFR」に対して空間方向のスケーラビリティである。
この構成例の場合、第１の画像データ「HD 60Hz Base」に基づいて、基本フレームレートで高解像度（ＨＤ）の画像（６０Ｈｚ ＨＤ画像）の再生が可能である。また、第１の画像データ「HD 60Hz Base」および第２の画像データ「HD +60Hz HFR」に基づいて、ハイフレームレートで高解像度（ＨＤ）の画像（１２０Ｈｚ ＨＤ画像）の再生が可能である。
また、第１の画像データ「HD 60Hz Base」および第３の画像データ「UHD(4K) 60Hz」に基づいて、基本フレームレートで超高解像度（ＵＨＤ（４Ｋ））の画像（６０Ｈｚ ＵＨＤ画像）の再生が可能である。また、第１の画像データ「HD 60Hz Base」、第２の画像データ「HD +60Hz HFR」、第３の画像データ「UHD(4K) 60」および第４の画像データ「UHD(4K) +60Hz HFR」に基づいて、ハイフレームレートで超高解像度（ＵＨＤ（４Ｋ））の画像（１２０Ｈｚ ＵＨＤ画像）の再生が可能である。
図３は、基本レイヤおよび拡張レイヤの画像データの他の構成例を示している。図示の例において、横軸は表示順（ＰＯＣ：picture order of composition）を示し、左側は表示時刻が前で、右側は表示時刻が後になる。矩形枠のそれぞれがピクチャを示し、数字はエンコード順（受信側ではデコード順）を示している。また、矢印は予測符号化処理におけるピクチャの参照関係の一例を示し、実線はレイヤ内の参照関係を示し、破線はレイヤ間の参照関係を示している。レイヤ間、レイヤ内の双方とも予測はブロックごとに対象ピクチャが変わり、また、予測の向き、参照数は図示の例に限定されるわけではない。なお、サブレイヤ内の参照関係の表示は省略している。
この構成例においては、基本レイヤの画像データとして、第２の画像データ「HD +60Hz HFR」が存在しないことを除き、上述の図２の構成例と同様である。この構成例の場合、第１の画像データ「HD 60Hz Base」に基づいて、基本フレームレートで高解像度（ＨＤ）の画像（６０Ｈｚ ＨＤ画像）の再生が可能である。この構成例では、拡張レイヤの各ピクチャの画像データには、基本レイヤの各ピクチャとは異なる表示タイミングを持つピクチャの画像データが含まれるものとなる。
また、第１の画像データ「HD 60Hz Base」および第３の画像データ「UHD(4K) 60Hz」に基づいて、基本フレームレートで超高解像度（ＵＨＤ（４Ｋ））の画像（６０Ｈｚ ＵＨＤ画像）の再生が可能である。また、第１の画像データ「HD 60Hz Base」、第３の画像データ「UHD(4K) 60」および第４の画像データ「UHD(4K) +60Hz HFR」に基づいて、ハイフレームレートで超高解像度（ＵＨＤ（４Ｋ））の画像（１２０Ｈｚ ＵＨＤ画像）の再生が可能である。
「送信装置の構成」
図４は、送信装置１００の構成例を示している。この送信装置１００は、制御部１０１と、ビデオエンコーダ１０２と、システムエンコーダ１０３と、送信部１０４を有している。制御部１０１は、ＣＰＵ（Central Processing Unit）を備えて構成され、制御プログラムに基づいて、送信装置１００の各部の動作を制御する。
ビデオエンコーダ１０２は、１２０ｆｐｓで４Ｋ解像度の画像データを入力し、基本レイヤの各ピクチャの画像データを符号化して得た第１の符号化ストリームＢＳを出力すると共に、拡張レイヤの各ピクチャの画像データを符号化して得た第２の符号化ストリームＥＳを出力する。ここで、１２０ｆｐｓで４Ｋ解像度の画像データは、上述の、第３の画像データ「UHD 60Hz」および第４の画像データ「UHD +60Hz HFR」を含むもので、拡張レイヤの画像データを構成する。
ビデオエンコーダ１０２は、スケーリング部１０２ａ、エンコード部１０２ｂおよびエンコード部１０２ｅを有する。スケーリング部１０２ａは、４Ｋ解像度の画像データにスケーリング処理を施し、基本レイヤの画像データを得る。
ここで、基本レイヤの構成が図２の構成例に示す場合には、スケーリング部１０２ａは、ＵＨＤ解像度の画像データに空間方向のスケーリング処理を施して、１２０ｆｐｓでＨＤ解像度の画像データを得る。この１２０ｆｐｓでＨＤ解像度の画像データは、上述の第１の画像データ「HD 60Hz Base」および第２の画像データ「HD +60Hz HFR」を含むものとなる。
一方、基本レイヤの構成が図３の構成例に示す場合には、スケーリング部１０２ａは、ＵＨＤ解像度の画像データに空間方向および時間方向のスケーリング処理を施して、６０ｆｐｓでＨＤ解像度の画像データを得る。この６０ｆｐｓでＨＤ解像度の画像データは、上述の第１の画像データ「HD 60Hz Base」を含むものとなる。
エンコード部１０２ｂは、スケーリング部１０２ａで得られる基本レイヤの画像データに対して、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの動き補償予測符号化処理を施して符号化画像データを得、この符号化画像データを持つ第１の符号化ストリームＢＳを生成する。
エンコード部１０２ｅは、１２０ｆｐｓでＵＨＤ解像度の画像データ、つまり拡張レイヤの画像データに対して、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどのレイヤ内、そしてレイヤ間の動き補償予測符号化処理を施して符号化画像データを得、この符号化画像データを持つ第２の符号化ストリームＥＳを生成する。
この場合、エンコード部１０２ｅは、拡張レイヤの各ピクチャの画像データを符号化する際に、基本レイヤのピクチャを参照ピクチャとすることが可能とされる。この場合、エンコード部１０２ｅは、予測残差を小さくするために、予測ブロック（符号化ブロック）毎に、拡張レイヤ内の予測、または基本レイヤとの間の予測を、選択的に行う。
エンコード部１０２ｅは、基本レイヤのピクチャを参照ピクチャとするとき、この参照ピクチャにおける参照ブロックに、基本レイヤの画像データを拡張レイヤの画像データに対応させるための変換処理をして動き補償予測符号化処理を行う。
変換処理は、具体的には、参照ピクチャのブロックの解像度をＨＤ解像度からＵＨＤ解像度にするスケーリング処理である。なお、この実施の形態においては、この変換処理に、さらに、スケーリング処理がされた画像データに画像の鈍ったエッジを補正するシェーピング処理も含める。このシェーピング処理により、スケーリング処理がされたことによる画像のエッジのボケを軽減でき、動きベクトルを求めるためのブロックマッチング処理の効果を高めることが可能となる。
図５は、エンコード部１０２ｅの主要部の構成例を示している。エンコード部１０２ｅは、レイヤ内予測部１５１と、レイヤ間予測部１５２と、変換処理部１５３と、選択部１５４と、エンコード機能部１５５を有している。
レイヤ内予測部１５１は、拡張レイヤの画像データＶ１に対して、この画像データＶ１内での予測（レイヤ内予測）を行って予測残差データを得る。レイヤ間予測部１５２は、拡張レイヤの画像データＶ１に対して、基本レイヤの画像データＶ２との間での予測（レイヤ間予測）を行って予測残差データを得る。
変換処理部１５３は、レイヤ間予測部１５２におけるレイヤ間動き予測を効率よく行うために、上述の変換処理（スケーリング処理およびシェーピング処理）を行う。
図６は、レイヤ間予測部１５２におけるレイヤ間の動き予測（第１の動き予測）の概念を示している。符号化ピクチャ（拡張レイヤのピクチャ）の予測ブロック（prediction block）のうち、２次元的に隣接する２×２の４個の予測ブロックを１つのベクトルブロック（vector block）とする。
レイヤ間予測部１５２は、ベクトルブロック毎に、参照ピクチャ（基本レイヤのピクチャ）内の参照ブロック（reference block）にスケーリング処理およびシェーピング処理を施して得られたラージブロック（large block）を用いてブロックマッチング処理をする。レイヤ間予測部１５２は、参照ピクチャの探索範囲内で残差成分パワー（４個の予測ブロックの残差パワー成分の総和）が最小となるように探索を行って、レイヤ間動きベクトル（第１の動きベクトル）を決定する。
この場合、ベクトルブロックのトップレフト（top-left）の起点座標を(ｘ０，ｙ０)とする。そして、この(ｘ０，ｙ０)を参照ピクチャの解像度座標に換算した位置を（ｘ１，ｙ１）とし、この（ｘ１，ｙ１）から参照ブロックまでの距離を参照ピクチャの解像度をベースとし、サブピクセル精度も含んだ値で示す２次元のベクトル(ｍｖｘ，ｍｖｙ)がレイヤ間動きベクトルとなる。
図７は、スケーリング処理およびシェーピング処理を概略的に示している。参照ピクチャから読み出されたＭ×Ｎのブロック（参照ブロック）に、所望のフィルタによりスケーリング処理をする。次に、スケーリング処理されたブロック（ラージブロック）に、テクスチャがぼやけるのを防ぐためのエッジ強調などのシェーピング処理をする。
また、レイヤ間予測部１５２は、さらに、図８に示すように、拡張レイヤのベクトルブロックを構成する各予測ブロックに対してマイクロベクトルによるラージブロック内での動き予測（第２の動き予測）をする。この場合、レイヤ間動きベクトル（第１の動きベクトル）で特定される参照ブロックにスケーリング処理およびシェーピング処理を施して得られたラージブロック内においてベクトルブロックを構成する上述の４個の予測ブロックのそれぞれとのブロックマッチング処理を行って、各予測ブロックに対応した、ラージブロック内で予測残差パワーが最小となる位置を示すマイクロベクトル（第２の動きベクトル）を決定する。このマイクロベクトル（第２の動きベクトル）は、符号化ピクチャの解像度をベースとし、サブピクセル精度も含んだ値で示す２次元のレイヤ間動きベクトルとなる。
レイヤ間予測部１５２は、上述のレイヤ間の動き予測（第１の動き予測）とラージブロック内での動き予測（第２の動き予測）の結果に基づいて、予測ブロック毎に、動き補償予測符号化処理をする。この場合、動きベクトル情報としては、レイヤ間動きベクトル（第１の動きベクトル）とマイクロベクトル（第２の動きベクトル）の２つが存在する。
図４に戻って、システムエンコーダ１０３は、ビデオエンコーダ１０２で生成された第１符号化ストリームＢＳおよび第２の符号化ストリームＥＳに対してＰＥＳパケット化およびＴＳパケット化を行って、トランスポートストリームＴＳを生成する。そして、送信部１０４は、このトランスポートストリームＴＳを、放送波あるいはネットのパケットに載せて、受信装置２００に送信する。
図９は、ビデオエンコーダ１０２のより具体的な構成例を示している。ビデオエンコーダ１０２は、スケーリング部１０２ａと、ブロック化回路１２１と、減算回路１２２と、動き予測/動き補償回路１２３と、整数変換/量子化回路１２４と、逆量子化/逆整数変換回路１２５と、加算回路１２６と、ループフィルタ１２７と、メモリ１２８と、エントロピー符号化回路１２９を有している。ここで、ブロック化回路１２１からエントロピー符号化回路１２９は、エンコード部１０２ｂ（図４参照）を構成している。
また、ビデオエンコーダ１０２は、ブロック化回路１３１と、減算回路１３２と、動き予測/動き補償回路１３３と、切り替え回路１３４と、整数変換/量子化回路１３６と、逆量子化/逆整数変換回路１３７と、加算回路１３８と、ループフィルタ１３９と、メモリ１４０と、エントロピー符号化回路１４１と、変換処理部１５３を有している。ここで、ブロック化回路１３１からエントロピー符号化回路１４１、および変換処理部１５３は、エンコード部１０２ｅ（図４参照）を構成している。
ビデオエンコーダ１０２に入力される１２０ｆｐｓでＵＨＤ解像度の画像データは、スケーリング部１０２ａに供給される。このスケーリング部１０２ａでは、１２０ｆｐｓでＵＨＤ解像度の画像データにスケーリング処理が施され、基本レイヤの画像データが得られる。この基本レイヤの画像データは、１２０ｆｐｓでＨＤ解像度の画像データ（図２参照）、あるいは６０ｆｐｓでＨＤ解像度の画像データ（図３参照）である。
スケーリング部１０２ａで得られる基本レイヤの画像データは、ブロック化回路１２１に供給される。このブロック化回路１２１では、基本レイヤの各ピクチャの画像データが符号化処理単位のブロック（ＭＢ：マクロブロック）に分割される。各ブロックは減算回路１２２に順次供給される。動き予測/動き補償回路１２３では、メモリ１２８に記憶されている参照ピクチャの画像データに基づいて、ブロック毎に、動き補償された予測参照ブロックが得られる。
動き予測/動き補償回路１２３で得られた各予測参照ブロックは、減算回路１２２に順次供給される。減算回路１２２では、ブロック化回路１２１で得られたブロック毎に、予測参照ブロックとの間で減算処理が行われて、予測誤差が得られる。このブロック毎の予測誤差は、整数変換/量子化回路１２４で整数変換（例えばＤＣＴ変換）された後に量子化される。
整数変換/量子化回路１２４で得られたブロック毎の量子化データは、逆量子化/逆整数変換回路１２５に供給される。この逆量子化/逆整数変換回路１２５では、量子化データに対して逆量子化が施され、さらに逆整数変換が施されて、予測残差が得られる。この予測誤差は、加算回路１２６に供給される。
この加算回路１２６では、予測残差に動き補償された予測参照ブロックが加算されて、ブロックが得られる。このブロックは、ループフィルタ１２７で量子化ノイズが除去された後に、メモリ１２８に蓄積される。
また、整数変換/量子化回路１２４で得られたブロック毎の量子化データは、エントロピー符号化回路１２９に供給されて、エントロピー符号化が行われ、第１の符号化ストリームＢＳが得られる。なお、この第１の符号化ストリームＢＳには、各ブロックにおける動きベクトルなどの情報が、受信側における復号化のためにＭＢヘッダ情報として付加される。
また、ビデオエンコーダ１０２に入力される１２０ｆｐｓでＵＨＤ解像度の画像データは、拡張レイヤの画像データとして、ブロック化回路１３１に供給される。このブロック化回路１３１では、拡張レイヤの各ピクチャの画像データが符号化処理単位のブロック（ＭＢ：マクロブロック）に分割される。各ブロックは減算回路１３２に順次供給される。
動き予測/動き補償回路１３３では、レイヤ内予測を行う場合には、メモリ１４０に記憶されている拡張レイヤの参照ピクチャの画像データが切り替え回路１３４を通じて供給され、ブロックマッチング処理により、動き補償されたレイヤ内予測のための予測参照ブロックが得られる。「動きベクトル１」は、このとき決定された動きベクトルを示している。
また、動き予測/動き補償回路１３３では、レイヤ間予測を行う場合には、メモリ１２８に記憶されている基本レイヤの参照ピクチャの画像データが、変換処理部１５３および切り替え回路１３４を通じて供給され、ブロックマッチング処理により、動き補償されたレイヤ間予測のための予測参照ブロックが得られる。変換処理部１５３では、上述したようにスケーリング処理およびシェーピング処理が行われる（図６、図７参照）。「動きベクトル２」は、このとき決定された動きベクトルを示しており、レイヤ間動きベクトル（第１の動きベクトル）とマイクロベクトル（第２の動きベクトル）の２つが含まれる。
動き予測/動き補償回路１３３で得られた各予測参照ブロックは、減算回路１３２に順次供給される。減算回路１３２では、ブロック化回路１３１で得られたブロック毎に、予測参照ブロックとの間で減算処理が行われて、予測誤差が得られる。このブロック毎の予測誤差は、整数変換/量子化回路１３６で整数変換（例えばＤＣＴ変換）された後に量子化される。
整数変換/量子化回路１３６で得られたブロック毎の量子化データは、逆量子化/逆整数変換回路１３７に供給される。この逆量子化/逆整数変換回路１３７では、量子化データに対して逆量子化が施され、さらに逆整数変換が施されて、予測残差が得られる。このブロック毎の予測誤差は、加算回路１３８に供給される。
この加算回路１３８では、予測残差に動き補償された予測参照ブロックが加算されて、ブロックが得られる。このブロックは、ループフィルタ１３９で量子化ノイズが除去された後に、メモリ１４０に蓄積される。
また、整数変換/量子化回路１３６で得られたブロック毎の量子化データは、エントロピー符号化回路１４１に供給されて、エントロピー符号化が行われ、第２の符号化ストリームＥＳが得られる。なお、この第２の符号化ストリームＥＳには、各ブロックにおける動きベクトルなどの情報が、受信側における復号化のためにＭＢヘッダ情報として付加される。
図１０（ａ）は、符号化データをコンテナするスライス（Slice）のＮＡＬユニットの構造例を示している。このＮＡＬユニットは、スライス・セグメント・ヘッダ（slice_segment_header()）と、スライス・セグメント・データ（slice_segment_data()）とからなっている。以下、スライス・セグメント・ヘッダとスライス・セグメント・データの構造例について説明する。なお、図１４は、各構造例における主要な情報の内容（セマンティクス）を示す。
図１０（ｂ）は、スライス・セグメント・ヘッダの構造例を示している。「self_layer」のフィールドは、符号化スライスが属するレイヤを示す。例えば、基本レイヤを“０”、拡張レイヤを“１”とする。
図１１は、スライス・セグメント・データの構造例を示している。「number_of_referencing」のフィールドは、予測参照する数を示す。この数の分だけ動きベクトル等の情報が存在する。「ref_pic_layer_id」のフィールドは、参照ピクチャのレイヤに付与される識別番号を示す。例えば、基本レイヤを“０”、拡張レイヤを“１”とする。「ref_idx_li」のフィールドは、参照ピクチャのインデックスを示す。
「self_layer」と「ref_pic_layer_id」が異なる場合、「ref_pic_resolution」、「ref_pic_scaling_ratio」、「vector_prediction_unit( cod_blc_x, cod_blc_y, interlayer_mvx, interlayer_mvy )」、「micro_prediction_unit( cod_blc_x, cod_blc_y, microvec_x, microvec_y )」の各フィールドが存在する。「ref_pic_resolution」のフィールドは、参照ピクチャの解像度を示す。「ref_pic_scaling_ratio」のフィールドは、参照ピクチャをスケーリングする比率を示す。
図１２は、「vector_prediction_unit( cod_blc_x, cod_blc_y, interlayer_mvx, interlayer_mvy )」と「micro_prediction_unit( cod_blc_x, cod_blc_y, microvec_x, microvec_y )」のフィールドの構造例を示している。ここで、「cod_blc_x」は、符号化ブロック（予測ブロック）の“ｘ”ポジションを示す。また、「cod_blc_ｙ」は、符号化ブロック（予測ブロック）の“ｙ”ポジションを示す。
「vector_prediction_unit( cod_blc_x, cod_blc_y, interlayer_mvx, interlayer_mvy )」のフィールドには、「scale_fil_horiz_type」、「scale_fil_vert_type」、「shape_horiz_type」、「shape_vert_type」、「vector_prediction_unit_size」、「prediction_unit_size」、「interlayer_mvx」、「interlayer_mvy」の各フィールドが存在する。
「scale_fil_horiz_type」のフィールドは、水平方向スケーリング・フィルタのタイプを示す。「scale_fil_vert_type」のフィールドは、垂直方向スケーリング・フィルタのタイプを示す。「shape_horiz_type」のフィールドは、ボケ除去の水平方向フィルタ関数、テーブルを示す。「shape_vert_type」のフィールドは、ボケ除去の垂直方向フィルタ関数、テーブルを示す。
「vector_prediction_unit_size」のフィールドは、ベクトルブロック（図６参照）のサイズを示す。「prediction_unit_size」のフィールドは、予測ブロック（図６参照）のサイズを示す。「interlayer_mvx」のフィールドは、水平方向参照ピクチャ解像度をベースとしたサブピクセル精度を含む動きベクトルを示す。「interlayer_mvy」のフィールドは、垂直方向参照ピクチャ解像度をベースとしたサブピクセル精度を含む動きベクトルを示す。
「micro_prediction_unit( cod_blc_x, cod_blc_y, microvec_x, microvec_y )」のフィールドには、「microvec_x」、「microvec_y」の各フィールドが存在する。「microvec_x」のフィールドは、ラージブロック内の符号化ピクチャ解像度をベースとしたサブピクセル精度を含む水平方向の位置オフセットベクトルを示す。「microvec_y」のフィールドは、ラージブロック内の符号化ピクチャ解像度をベースとしたサブピクセル精度を含む垂直方向の位置オフセットベクトルを示す。
図１１に戻って、「self_layer」と「ref_pic_layer_id」が同じ場合、「prediction_unit( cod_blc_x, cod_blc_y, intralayer_mvx, intralayer_mvy )」のフィールドが存在する。図１３は、「prediction_unit( cod_blc_x, cod_blc_y, intralayer_mvx, intralayer_mvy )」のフィールドの構造例を示している。「prediction_unit_size」のフィールドは、予測ブロックのサイズを示す。「intralayer_mvx」のフィールドは、水平方向符号化ピクチャ解像度をベースとしたサブピクセル精度を含む動きベクトルを示す。「intralayer_mvy」のフィールドは、垂直方向符号化ピクチャ解像度をベースとしたサブピクセル精度を含む動きベクトルを示す。
図１１に戻って、「residual_coding( cod_blc_x, cod_blc_y, transform_size)」のフィールドには、符号化ピクチャの予測ブロックごとに動き予測・動き補償により求められた残差成分の整数変換による符号化データが配置される。「transform_size」は、変換処理のブロックサイズを示す。
なお、前述のように、ベクトル精度は、サブピクセルを前提とするもので、一つのベクトル要素として表記しているが、このベクトルで直接、サブピクセルのベクトルを表現するようにしてもよいし、あるいは、整数精度のベクトルと小数精度のベクトルとのペアで表現するようにしてもよい。対象の要素は、「interlayer_mvx」、「interlayer_mvy」、「intralayer_mvx」、「intralayer_mvy」、「microvec_x」、「microvec_y」である。
図４に示す送信装置１００の動作を簡単に説明する。ビデオエンコーダ１０２に入力される１２０ｆｐｓでＵＨＤ解像度の画像データはスケーリング部１０２ａに供給される。このスケーリング部１０２ａでは、１２０ｆｐｓでＵＨＤ解像度の画像データにスケーリング処理が施され、基本レイヤの画像データが得られる。この基本レイヤの画像データは、１２０ｆｐｓでＨＤ解像度の画像データ、あるいは６０ｆｐｓでＨＤ解像度の画像データである。
スケーリング部１０２ａで得られた基本レイヤの画像データは、エンコード部１０２ｂに供給される。エンコード部１０２ｂでは、この基本レイヤの画像データに対して、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの動き補償予測符号化処理が施されて符号化画像データが得られ、この符号化画像データを持つ第１の符号化ストリームＢＳが生成される。
また、ビデオエンコーダ１０２に入力される１２０ｆｐｓでＵＨＤ解像度の画像データ、つまり拡張レイヤの画像データは、エンコード部１０２ｅに供給される。エンコード部１０２ｅでは、この拡張レイヤの画像データに対して、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどのレイヤ内、レイヤ間の動き補償予測符号化が施されて符号化画像データが得られ、この符号化画像データを持つ第２の符号化ストリームＥＳが生成される。
この場合、エンコード部１０２ｅでは、拡張レイヤの各ピクチャの画像データを符号化する際に、基本レイヤのピクチャを参照ピクチャとすることが可能とされる。この場合、基本レイヤのピクチャを参照ピクチャとするとき、この参照ピクチャにおける参照ブロックに、基本レイヤの画像データを拡張レイヤの画像データに対応させるための変換処理（スケーリング処理、シェーピング処理）が施されて、動き補償予測符号化処理が行われる。
エンコード部１０２ｂで得られた第１の符号化ストリームＢＳおよびエンコード部１０２ｅで得られた第２の符号化ストリームＥＳは、システムエンコーダ１０３に供給される。システムエンコーダ１０３では、ビデオエンコーダ１０２で生成された第１符号化ストリームＢＳおよび第２の符号化ストリームＥＳに対してＰＥＳパケット化およびＴＳパケット化が行なわれて、トランスポートストリームＴＳが生成される。そして、送信部１０４では、このトランスポートストリームＴＳが、放送波あるいはネットのパケットに載せて、受信装置２００に送信される。
「受信装置の構成」
図１５は、受信装置２００の構成例を示している。この受信装置２００は、図４の送信装置１００の構成例に対応したものである。この受信装置２００は、制御部２０１と、受信部２０２と、システムデコーダ２０３と、ビデオデコーダ２０４と、表示部２０５を有している。
制御部２０１は、ＣＰＵ（Central Processing Unit）を備えて構成され、制御プログラムに基づいて、受信装置２００の各部の動作を制御する。受信部２０２は、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。システムデコーダ２０３は、このトランスポートストリームＴＳから、第１の符号化ストリームＢＳと第２の符号化ストリームＥＳを抽出する。
ビデオデコーダ２０４は、デコード部２０４ｂおよびデコード部２０４ｅを有する。デコード部２０４ｂは、第１の符号化ストリームＢＳに復号化処理を施し、基本レイヤの画像データを得る。デコード部２０４ｂは、基本レイヤの各ピクチャの画像データを復号化する際に、基本レイヤ内での予測補償を行う。
ここで、基本レイヤの構成が図２の構成例に示す場合には、基本レイヤの画像データとして、１２０ｆｐｓでＨＤ解像度の画像データが得られる。一方、基本レイヤの構成を図３の構成例に示す場合には、基本レイヤの画像データとして、６０ｆｐｓでＨＤ解像度の画像データが得られる。
デコード部２０４ｅは、第２の符号化ストリームＢＳに復号化処理を施し、拡張レイヤの画像データとして、１２０ｆｐｓで４Ｋ解像度の画像データを得る。デコード部２０４ｅは、拡張レイヤの各ピクチャの画像データを復号化する際に、拡張レイヤ内での予測補償、または基本レイヤとの間での予測補償を、選択的に行う。
図１６は、デコード部２０４ｅの主要部の構成例を示している。このデコード部２０４ｅは、図４のエンコード部１０２ｅの処理とは逆の処理を行う。このデコード部２０４ｅは、デコード機能部２５１と、レイヤ内予測補償部２５２と、レイヤ間予測補償部２５３と、変換処理部２５４と、選択部２５５を有している。
デコード機能部２５１は、符号化画像データＣＶに対して、予測補償以外のデコード処理を行って予測残差データを得る。レイヤ内予測補償部２５２は、予測残差データに対して、拡張レイヤの画像データＶ１内での予測補償（レイヤ内予測補償）を行って、画像データＶ１を得る。レイヤ間予測補償部２５３は、予測残差データに対して、参照対象の基本レイヤの画像データＶ２との間での予測補償（レイヤ間予測補償）を行って、画像データＶ１を得る。
変換処理部２５４は、詳細説明は省略するが、図５のエンコード部１０２ｅの変換処理部１５３と同様に、スケーリング処理およびシェーピング処理をする。これらの特性は、符号化画像データＣＶに付加されて送られてくる特性情報（図１２参照）によって、送信側と同様に設定される。選択部２５５は、符号化時における予測に対応させて、符号化ブロック（予測ブロック）毎に、レイヤ内予測補償部２５２で得られる画像データＶ１、またはレイヤ間予測補償部２５３で得られる画像データＶ１を選択的に取り出して、出力とする。
図１５に戻って、表示部２０５は、例えば、ＬＣＤ(Liquid Crystal Display)、有機ＥＬ（Organic Electro-Luminescence）パネル等で構成されている。表示部２０５は、表示能力に応じて、デコード部２０４ｂで得られた基本レイヤの画像データによる画像、あるいはデコード部２０４ｅで得られる拡張レイヤの画像データによる画像を表示する。
なお、基本レイヤの画像データに対応した表示能力を持つ受信装置２００においては、システムデコーダ２０３では第１の符号化ストリームＢＳのみを抽出し、ビデオデコーダ２０４では当該第１の符号化ストリームＢＳの復号化処理のみを行う構成も考えられる。
図１７は、ビデオデコーダ２０４のより具体的な構成例を示している。ビデオデコーダ２０４は、エントロピー復号化回路２２１と、逆量子化/逆整数変換回路２２２と、動き補償回路２２３と、加算回路２２４と、ループフィルタ２２５と、メモリ２２６を有している。ここで、エントロピー復号化回路２２１からメモリ２２６は、デコード部２０４ｂ（図１５参照）を構成している。
また、ビデオデコーダ２０４は、エントロピー復号化回路２３１と、逆量子化/逆整数変換回路２３２と、動き補償回路２３３と、切り替え回路２３４，２３５と、加算回路２３６と、ループフィルタ２３７と、メモリ２３８と、変換処理部２５４を有している。ここで、エントロピー復号化回路２３１からメモリ２３８、および変換処理部２５４は、デコード部２０４ｅ（図１５参照）を構成している。
エントロピー復号化回路２２１では、第１の符号化ストリームＢＳにエントロピー復号化が施されて、基本レイヤのブロック毎の量子化データが得られる。この量子化データは逆量子化/逆整数変換回路２２２に供給される。この逆量子化/逆整数変換回路２２２では、量子化データに対して逆量子化が施され、さらに逆整数変換が施されて、予測残差が得られる。このブロック毎の予測誤差は、加算回路２２４に供給される。
動き補償回路２２３では、メモリ２２６に記憶されている参照ピクチャの画像データに基づいて、動き補償された補償参照ブロックが得られる。ここで、動き補償は、ＭＢヘッダ情報として含まれている動きベクトルを用いて行われる。加算回路２２４では、予測残差に補償参照ブロックが加算されて、基本レイヤの各ピクチャの画像データを構成するブロックが得られる。
このように加算回路２２４で得られるブロックは、ループフィルタ２２５で量子化ノイズが除去された後に、メモリ２２６に蓄積される。そして、このメモリ２２６からの蓄積データの読み出しにより、基本フレイヤの画像データとして、１２０ｆｐｓでＨＤ解像度の画像データあるいは６０ｆｐｓでＨＤ解像度の画像データが得られる。
また、エントロピー復号化回路２３１では、第２の符号化ストリームＥＳにエントロピー復号化が施されて、拡張レイヤのブロック毎の量子化データが得られる。この量子化データは逆量子化/逆整数変換回路２３２に供給される。この逆量子化/逆整数変換回路２３２では、量子化データに対して逆量子化が施され、さらに逆整数変換が施されて、予測残差が得られる。このブロック毎の予測誤差は、加算回路２３６に供給される。
動き補償回路２３３では、拡張レイヤ内での予測補償あるいは基本レイヤとの間での予測補償が、選択的に行われる。拡張レイヤ内での予測補償が行われるとき、動き補償回路２３３では、エントロピー復号化回路２３１でＭＢヘッダ情報から抽出された「動きベクトル１」とメモリ２３８に記憶されている参照ピクチャの画像データに基づいて、動き補償された、レイヤ内補償のための補償参照ブロックが得られる。この場合、「動きベクトル１」はエントロピー復号化回路２３１から切り替え回路２３４を通じて動き補償回路２３３に供給され、参照ピクチャの画像データはメモリ２３８から切り替え回路２３５を通じて動き補償回路２３３に供給される。
一方、基本レイヤとの間での予測補償が行われるとき、動き補償回路２３３では、エントロピー復号化回路２３１でＭＢヘッダ情報から抽出された「動きベクトル２」とメモリ２２６に記憶されている参照ピクチャの画像データに基づいて、動き補償された、レイヤ間補償のための補償参照ブロックが得られる。上述したように、「動きベクトル２」には、レイヤ間動きベクトル（第１の動きベクトル）とマイクロベクトル（第２の動きベクトル）の２つが含まれている。
この場合、「動きベクトル２」はエントロピー復号化回路２３１から切り替え回路２３４を通じて動き補償回路２３３に供給され、参照ピクチャの画像データはメモリ２２６から変換処理部２５４および切り替え回路２３５を通じて動き補償回路２３３に供給される。変換処理部２５４では、上述したようにエンコーダ１０２における変換処理部１５３（図９参照）におけると同様に、スケーリング処理およびシェーピング処理が行われる。
加算回路２３６では、予測残差に動き補償回路２３３で得られた補償参照ブロックが加算されて、拡張レイヤの各ピクチャの画像データを構成するブロックが得られる。このブロックは、ループフィルタ２３７で量子化ノイズが除去された後に、メモリ２３８に蓄積される。そして、このメモリ２３８からの蓄積データの読み出しにより、拡張レイヤの画像データとして、１２０ｆｐｓでＵＨＤ解像度の画像データが得られる。
図１５に示す受信装置２００の動作を簡単に説明する。受信部２０２では、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳが受信される。このトランスポートストリームＴＳは、システムデコーダ２０３に供給される。
システムデコーダ２０３では、このトランスポートストリームＴＳから、第１の符号化ストリームＢＳと第２の符号化ストリームＥＳが抽出される。第１の符号化ストリームＢＳは、ビデオデコーダ２０４のデコード部２０４ｂに供給される。また、第２の符号化ストリームＥＳは、ビデオデコーダ２０４のデコード部２０４ｅに供給される。
デコード部２０４ｂでは、第１の符号化ストリームＢＳに復号化処理が施され、基本レイヤの画像データとして、１２０ｆｐｓでＨＤ解像度の画像データあるいは６０ｆｐｓでＨＤ解像度の画像データが得られる。このデコード部２０４ｂでは、基本レイヤの各ピクチャの画像データが復号化される際に、基本レイヤ内での予測補償が行われる。
デコード部２０４ｅでは、第２の符号化ストリームＥＳに復号化処理が施され、拡張レイヤの画像データとして、１２０ｆｐｓで４Ｋ解像度の画像データが得られる。このデコード部２０４ｅでは、拡張レイヤの各ピクチャの画像データを復号化する際に、拡張レイヤ内での予測補償、または基本レイヤとの間での予測補償が、選択的に行われる。
表示部２０５が基本レイヤの画像データによる画像表示のみ可能である場合、表示部２０５にはデコード部２０４ｂで得られる基本レイヤの画像データが供給され、それによる画像の表示がなされる。一方、表示部２０５が拡張レイヤの画像データによる画像表示が可能である場合、表示部２０５にはデコード部２０４ｅで得られる拡張レイヤの画像データが供給され、それによる高品質（この例では高解像度）な画像の表示がなされる。
以上説明したように、図１に示す送受信システム１０において、送信装置１００は、拡張レイヤの各ピクチャの画像データを符号化する際に、基本レイヤのピクチャを参照ピクチャとするとき、参照ピクチャのブロックに、基本レイヤの画像データを拡張レイヤの画像データに対応させるためのスケーリング処理を施して、動き補償予測符号化処理を行うものである。そのため、参照ブロックを精度よく決定でき、符号化効率の向上を図ることができる。
また、図１に示す送受信システム１０において、送信装置１００は、スケーリング処理がされた画像データの鈍ったエッジを補正するシェーピング処理をさらに行うものである。そのため、スケーリング処理がされたことによる画像のエッジのボケを軽減でき、動きベクトルを求めるためのブロックマッチング処理の効果を高めることが可能となる。
また、図１に示す送受信システム１０において、送信装置１００は、ベクトルブロック毎にスケーリング処理された参照ブロックを用いたブロックマッチング処理を行って第１の動きベクトルを決定し、スケーリング処理された参照ブロック内において予測ブロックのそれぞれとのブロックマッチング処理を行って各予測ブロックに対応した第２の動きベクトルを決定して、動き補償予測符号化処理を行うものである。そのため、各予測ブロックに対応した動きベクトルを精度よく求めることが可能となり、符号化効率の向上を図ることが可能となる。
＜２．変形例＞
なお、上述実施の形態においては、基本レイヤの画像データが６０ＨｚでＨＤ解像度の画像データであり、拡張レイヤの画像データが１２０ＨｚのＵＨＤ（４Ｋ）解像度の画像であるスケーラブル符号化の例を示した。しかし、本技術は、その他のスケーラブル符号化にも同様に適用できる。
例えば、基本レイヤの画像データが６０ＨｚでＳＤＲ（通常ダイナミックレンジ）の画像データであり、拡張レイヤの画像データが１２０ＨｚでＨＤＲ（ハイダイナミックレンジ）の画像データであるスケーラブル符号化であってもよい。
その場合、例えば、図９のエンコーダ１０２において、スケーリング部１０２ａにおいては、解像度のスケーリングの代わりにダイナミックレンジのスケーリング、つまりハイダイナミックレンジから通常ダイナミックレンジに変換が、あるいは、解像度のスケーリングに加えてダイナミックレンジのスケーリングへの変換が、行われる。これにより、エンコーダ１０２に入力される１２０ＨｚでＵＨＤのＨＤＲの画像データから、１２０ＨｚでＵＨＤのＳＤＲの画像データ、あるいは６０ＨｚでＵＨＤのＳＤＲの画像データが、あるいは、１２０ＨｚでＨＤのＳＤＲの画像データ、あるいは６０ＨｚでＨＤのＳＤＲの画像データが、得られる。
また、変換処理部１５３では、上述実施の形態における解像度のスケーリング処理とシェーピング処理の代わりに、通常ダイナミックレンジの参照ピクチャのブロックの画素値をハイダイナミックレンジの画素値に対応するように変換する処理が行われる。
この変換処理について、図１８のＨＤＲ特性、ＳＤＲ特性を示す図を用いて、さらに説明する。曲線ａは、ＳＤＲ変換カーブを示している。曲線ｂは、ＨＤＲ変換カーブを示している。変換処理では、ＳＤＲの符号化値の曲線ａに対し、輝度レベルが同等となるように、ＨＤＲの符号化値の曲線ｂをトレースするような曲線ｃとなるように、画素値変換が行われる。この変換特性は、関数ｆ(x)で定義できるが、テーブル情報として定義することも可能である。
また、上述実施の形態においては、送信装置１００と受信装置２００からなる送受信システム１０を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置２００の部分が、例えば、（ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。なお、「ＨＤＭＩ」は、登録商標である。
また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）あるいはＭＭＴ（MPEG Media Transport）、インターネット配信で使用されているＩＳＯＢＭＦＦ（ＭＰ４）などの種々のフォーマットのコンテナが該当する。
また、本技術は、以下のような構成を取ることもできる。
（１）基本レイヤの各ピクチャの画像データを符号化して第１の符号化ストリームを生成すると共に、拡張レイヤの各ピクチャの画像データを符号化して第２の符号化ストリームを生成する画像符号化部と、
上記第１の符号化ストリームおよび上記第２の符号化ストリームを含むコンテナを送信する送信部を備え、
上記画像符号化部は、
上記拡張レイヤの各ピクチャの画像データを符号化する際に上記基本レイヤのピクチャを参照ピクチャとすることが可能とされ、
上記基本レイヤのピクチャを参照ピクチャとするとき、該参照ピクチャのブロックに基本レイヤの画像データを拡張レイヤの画像データに対応させるための変換処理を施して、動き補償予測符号化処理を行う
送信装置。
（２）上記拡張レイヤの各ピクチャの画像データには、上記基本レイヤの各ピクチャとは異なる表示タイミングを持つピクチャの画像データが含まれる
前記（１）に記載の送信装置。
（３）上記基本レイヤの画像データは第１の解像度の画像データであり、上記拡張レイヤの画像データは上記第１の解像度より大きな第２の解像度の画像データであり、
上記画像符号化部は、上記変換処理として、上記参照ピクチャにおける参照ブロックの解像度を上記第１の解像度から上記第２の解像度にするスケーリング処理を行う
前記（１）または（２）に記載の送信装置。
（４）上記画像符号化部は、上記変換処理として、上記スケーリング処理がされた画像データに画像の鈍ったエッジを補正するシェーピング処理をさらに行う
前記（３）に記載の送信装置。
（５）上記第１の解像度はＨＤ解像度であり、上記第２の解像度はＵＨＤ解像度である
前記（３）または（４）に記載の送信装置。
（６）上記ＵＨＤ解像度は４Ｋ解像度であり、
上記画像符号化部は、
上記拡張レイヤのピクチャの２次元的に隣接する２×２の４個の予測ブロックで構成されるベクトルブロック毎に上記スケーリング処理された参照ブロックを用いたブロックマッチング処理を行って第１の動きベクトルを決定し、上記スケーリング処理された参照ブロック内において上記４個の予測ブロックのそれぞれとのブロックマッチング処理を行って各予測ブロックに対応した第２の動きベクトルを決定して、上記動き補償予測符号化処理を行う
前記（５）に記載の送信装置。
（７）上記基本レイヤの画像データは第１のダイナミックレンジの画像データであり、上記拡張レイヤの画像データは上記第１のダイナミックレンジより広い第２のダイナミックレンジの画像データであり、
上記画像符号化部は、上記変換処理として、上記参照ピクチャのブロックの画素値を上記第２のダイナミックレンジの画素値に対応するように変換する処理を行う
前記（１）から（６）のいずれかに記載の送信装置。
（８）画像符号化部が、基本レイヤの各ピクチャの画像データを符号化して第１の符号化ストリームを生成すると共に、拡張レイヤの各ピクチャの画像データを符号化して第２の符号化ストリームを生成する画像符号化ステップと、
送信部が、上記第１の符号化ストリームおよび上記第２の符号化ストリームを含むコンテナを送信する送信ステップを有し、
上記画像符号化ステップでは、
上記拡張レイヤの各ピクチャの画像データを符号化する際に上記基本レイヤのピクチャを参照ピクチャとすることが可能とされ、
上記基本レイヤのピクチャを参照ピクチャとするとき、該参照ピクチャのブロックに、基本レイヤの画像データを拡張レイヤの画像データに対応させるための変換処理を施して動き補償予測符号化処理を行う
送信方法。
（９）基本レイヤの各ピクチャの画像データが符号化されて得られた第１の符号化ストリームと拡張レイヤの各ピクチャの画像データが符号化されて得られた第２の符号化ストリームを含むコンテナを受信する受信部を備え、
上記拡張レイヤの各ピクチャの画像データの符号化では上記基本レイヤのピクチャを参照ピクチャとすることが可能とされ、該基本レイヤのピクチャが参照ピクチャとされるとき、該参照ピクチャのブロックに基本レイヤの画像データを拡張レイヤの画像データに対応させるための変換処理が施されて動き補償予測符号化処理が行われており、
表示能力に応じて、上記第１の符号化ストリーム、または上記第１の符号化ストリームおよび上記第２の符号化ストリームを処理して表示用画像データを得る処理部をさらに備える
受信装置。
（１０）受信部が、基本レイヤの各ピクチャの画像データが符号化されて得られた第１の符号化ストリームと拡張レイヤの各ピクチャの画像データが符号化されて得られた第２の符号化ストリームを含むコンテナを受信する受信ステップを有し、
上記拡張レイヤの各ピクチャの画像データの符号化では上記基本レイヤのピクチャを参照ピクチャとすることが可能とされ、該基本レイヤのピクチャが参照ピクチャとされるとき、該参照ピクチャのブロックに基本レイヤの画像データを拡張レイヤの画像データに対応させるための変換処理が施されて動き補償予測符号化処理が行われており、
処理部が、表示能力に応じて、上記第１の符号化ストリーム、または上記第１の符号化ストリームおよび上記第２の符号化ストリームを処理して表示用画像データを得る処理ステップをさらに有する
受信方法。
本技術の主な特徴は、拡張レイヤの各ピクチャの画像データを符号化する際に、基本レイヤのピクチャを参照ピクチャとするとき、参照ピクチャのブロックに、基本レイヤの画像データを拡張レイヤの画像データに対応させるための変換処理を施して、動き補償予測符号化処理を行うことで、参照ブロックを精度よく決定でき、符号化効率の向上を図るようにしたことである（図３、図６参照）。
１０・・・送受信システム
１００・・・送信装置
１０１・・・制御部
１０２・・・ビデオエンコーダ
１０２ａ・・・スケーリング部
１０２ｂ，１０２ｅ・・・エンコード部
１０３・・・システムエンコーダ
１０４・・・送信部
１２１・・・ブロック化回路
１２２・・・減算回路
１２３・・・動き予測/動き補償回路
１２４・・・整数変換/量子化回路
１２５・・・逆量子化/逆整数変換回路
１２６・・・加算回路
１２７・・・ループフィルタ
１２８・・・メモリ
１２９・・・エントロピー符号化回路
１３１・・・ブロック化回路
１３２・・・減算回路
１３３・・・動き予測/動き補償回路
１３４・・・切り替え回路
１３５・・・変換処理部
１３６・・・整数変換/量子化回路
１３７・・・逆量子化/逆整数変換回路
１３８・・・加算回路
１３９・・・ループフィルタ
１４０・・・メモリ
１４１・・・エントロピー符号化回路
１５１・・・レイヤ内予測部
１５２・・・レイヤ間予測部
１５３・・・変換処理部
１５４・・・選択部
１５５・・・エンコード機能部
２００・・・受信装置
２０１・・・制御部
２０２・・・受信部
２０３・・・システムデコーダ
２０４・・・ビデオデコーダ
２０４ｂ・・・デコード部
２０４ｅ・・・デコード部
２０５・・・表示部
２２１・・・エントロピー復号化回路
２２２・・・逆量子化/逆整数変換回路
２２３・・・動き補償回路
２２４・・・加算回路
２２５・・・ループフィルタ
２２６・・・メモリ
２３１・・・エントロピー復号化回路
２３２・・・逆量子化/逆整数変換回路
２３３・・・動き補償回路
２３４，２３５・・・切り替え回路
２３６・・・加算回路
２３７・・・ループフィルタ
２３８・・・メモリ
２５１・・・デコード機能部
２５２・・・レイヤ内予測補償部
２５３・・・レイヤ間予測補償部
２５４・・・変換処理部
２５５・・・選択部

Claims (10)

  1. 基本レイヤの各ピクチャの画像データを符号化して第１の符号化ストリームを生成すると共に、拡張レイヤの各ピクチャの画像データを符号化して第２の符号化ストリームを生成する画像符号化部と、
    上記第１の符号化ストリームおよび上記第２の符号化ストリームを含むコンテナを送信する送信部を備え、
    上記画像符号化部は、
    上記拡張レイヤの各ピクチャの画像データを符号化する際に上記基本レイヤのピクチャを参照ピクチャとすることが可能とされ、
    上記基本レイヤのピクチャを参照ピクチャとするとき、該参照ピクチャのブロックに基本レイヤの画像データを拡張レイヤの画像データに対応させるための変換処理を施して、動き補償予測符号化処理を行う
    送信装置。
  2. 上記拡張レイヤの各ピクチャの画像データには、上記基本レイヤの各ピクチャとは異なる表示タイミングを持つピクチャの画像データが含まれる
    請求項１に記載の送信装置。
  3. 上記基本レイヤの画像データは第１の解像度の画像データであり、上記拡張レイヤの画像データは上記第１の解像度より大きな第２の解像度の画像データであり、
    上記画像符号化部は、上記変換処理として、上記参照ピクチャにおける参照ブロックの解像度を上記第１の解像度から上記第２の解像度にするスケーリング処理を行う
    請求項１に記載の送信装置。
  4. 上記画像符号化部は、上記変換処理として、上記スケーリング処理がされた画像データに画像の鈍ったエッジを補正するシェーピング処理をさらに行う
    請求項３に記載の送信装置。
  5. 上記第１の解像度はＨＤ解像度であり、上記第２の解像度はＵＨＤ解像度である
    請求項３に記載の送信装置。
  6. 上記ＵＨＤ解像度は４Ｋ解像度であり、
    上記画像符号化部は、
    上記拡張レイヤのピクチャの２次元的に隣接する２×２の４個の予測ブロックで構成されるベクトルブロック毎に上記スケーリング処理された参照ブロックを用いたブロックマッチング処理を行って第１の動きベクトルを決定し、上記スケーリング処理された参照ブロック内において上記４個の予測ブロックのそれぞれとのブロックマッチング処理を行って各予測ブロックに対応した第２の動きベクトルを決定して、上記動き補償予測符号化処理を行う
    請求項５に記載の送信装置。
  7. 上記基本レイヤの画像データは第１のダイナミックレンジの画像データであり、上記拡張レイヤの画像データは上記第１のダイナミックレンジより広い第２のダイナミックレンジの画像データであり、
    上記画像符号化部は、上記変換処理として、上記参照ピクチャのブロックの画素値を上記第２のダイナミックレンジの画素値に対応するように変換する処理を行う
    請求項１に記載の送信装置。
  8. 画像符号化部が、基本レイヤの各ピクチャの画像データを符号化して第１の符号化ストリームを生成すると共に、拡張レイヤの各ピクチャの画像データを符号化して第２の符号化ストリームを生成する画像符号化ステップと、
    送信部が、上記第１の符号化ストリームおよび上記第２の符号化ストリームを含むコンテナを送信する送信ステップを有し、
    上記画像符号化ステップでは、
    上記拡張レイヤの各ピクチャの画像データを符号化する際に上記基本レイヤのピクチャを参照ピクチャとすることが可能とされ、
    上記基本レイヤのピクチャを参照ピクチャとするとき、該参照ピクチャのブロックに基本レイヤの画像データを拡張レイヤの画像データに対応させるための変換処理を施して動き補償予測符号化処理を行う
    送信方法。
  9. 基本レイヤの各ピクチャの画像データが符号化されて得られた第１の符号化ストリームと拡張レイヤの各ピクチャの画像データが符号化されて得られた第２の符号化ストリームを含むコンテナを受信する受信部を備え、
    上記拡張レイヤの各ピクチャの画像データの符号化では上記基本レイヤのピクチャを参照ピクチャとすることが可能とされ、該基本レイヤのピクチャが参照ピクチャとされるとき、該参照ピクチャのブロックに基本レイヤの画像データを拡張レイヤの画像データに対応させるための変換処理が施されて動き補償予測符号化処理が行われており、
    表示能力に応じて、上記第１の符号化ストリーム、または上記第１の符号化ストリームおよび上記第２の符号化ストリームを処理して表示用画像データを得る処理部をさらに備える
    受信装置。
  10. 受信部が、基本レイヤの各ピクチャの画像データが符号化されて得られた第１の符号化ストリームと拡張レイヤの各ピクチャの画像データが符号化されて得られた第２の符号化ストリームを含むコンテナを受信する受信ステップを有し、
    上記拡張レイヤの各ピクチャの画像データの符号化では上記基本レイヤのピクチャを参照ピクチャとすることが可能とされ、該基本レイヤのピクチャが参照ピクチャとされるとき、該参照ピクチャのブロックに基本レイヤの画像データを拡張レイヤの画像データに対応させるための変換処理が施されて動き補償予測符号化処理が行われており、
    処理部が、表示能力に応じて、上記第１の符号化ストリーム、または上記第１の符号化ストリームおよび上記第２の符号化ストリームを処理して表示用画像データを得る処理ステップをさらに有する
    受信方法。
JP2018565604A 2017-02-03 2018-01-31 送信装置、送信方法、受信装置および受信方法 Active JP7178907B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017018916 2017-02-03
JP2017018916 2017-02-03
PCT/JP2018/003197 WO2018143268A1 (ja) 2017-02-03 2018-01-31 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
JPWO2018143268A1 true JPWO2018143268A1 (ja) 2019-11-21
JP7178907B2 JP7178907B2 (ja) 2022-11-28

Family

ID=63039770

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018565604A Active JP7178907B2 (ja) 2017-02-03 2018-01-31 送信装置、送信方法、受信装置および受信方法

Country Status (8)

Country Link
US (1) US20190356926A1 (ja)
EP (1) EP3579559A4 (ja)
JP (1) JP7178907B2 (ja)
KR (1) KR20190112723A (ja)
CN (1) CN110226328A (ja)
CA (1) CA3051660A1 (ja)
MX (1) MX2019008890A (ja)
WO (1) WO2018143268A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220279204A1 (en) * 2021-02-26 2022-09-01 Qualcomm Incorporated Efficient video encoder architecture
CN115801196B (zh) * 2023-01-31 2023-07-04 北京云成金融信息服务有限公司 一种低延迟的数据传输方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002209213A (ja) * 2000-12-28 2002-07-26 Sony Corp 動きベクトル検出方法及び装置、並びに画像符号化装置
JP2005530422A (ja) * 2002-06-18 2005-10-06 クゥアルコム・インコーポレイテッド ビデオをエンコーディングする技法とデコーディングする技法
JP2008022531A (ja) * 2006-06-15 2008-01-31 Victor Co Of Japan Ltd 映像信号階層符号化装置、映像信号階層符号化方法、及び映像信号階層符号化プログラム
WO2015053001A1 (ja) * 2013-10-11 2015-04-16 ソニー株式会社 画像処理装置及び画像処理方法
JP2015523815A (ja) * 2012-07-09 2015-08-13 ヴィド スケール インコーポレイテッド 複数レイヤビデオ符号化のためのコーデックアーキテクチャ

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005506815A (ja) * 2001-10-26 2005-03-03 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 空間拡張可能圧縮のための方法及び装置
MX2007014744A (es) 2005-05-24 2008-02-14 Nokia Corp Metodo y aparatos para transmision/recepcion jerarquica en transmision digital.
US8369415B2 (en) * 2008-03-06 2013-02-05 General Instrument Corporation Method and apparatus for decoding an enhanced video stream
BRPI1009443B1 (pt) * 2009-03-13 2021-08-24 Dolby Laboratories Licensing Corporation Método de geração de parâmetros de mapeamento de tons inverso, método de compactação de dados de vídeo e método para geração de um fluxo de bits de saída a partir de um fluxo de bits de entrada
CN108391137B (zh) * 2011-06-15 2022-07-19 韩国电子通信研究院 可伸缩解码方法/设备、可伸缩编码方法/设备和介质
JP6345650B2 (ja) * 2013-04-05 2018-06-20 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 画像処理装置及び画像処理方法
JP6605789B2 (ja) * 2013-06-18 2019-11-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置、および、受信装置
KR20160105861A (ko) * 2014-01-02 2016-09-07 브이아이디 스케일, 인크. 혼합된 인터레이스 및 프로그레시브 콘텐트에 의한 스케일러블 비디오 코딩을 위한 방법들, 및 시스템들

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002209213A (ja) * 2000-12-28 2002-07-26 Sony Corp 動きベクトル検出方法及び装置、並びに画像符号化装置
JP2005530422A (ja) * 2002-06-18 2005-10-06 クゥアルコム・インコーポレイテッド ビデオをエンコーディングする技法とデコーディングする技法
JP2008022531A (ja) * 2006-06-15 2008-01-31 Victor Co Of Japan Ltd 映像信号階層符号化装置、映像信号階層符号化方法、及び映像信号階層符号化プログラム
JP2015523815A (ja) * 2012-07-09 2015-08-13 ヴィド スケール インコーポレイテッド 複数レイヤビデオ符号化のためのコーデックアーキテクチャ
WO2015053001A1 (ja) * 2013-10-11 2015-04-16 ソニー株式会社 画像処理装置及び画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MAXIM, SYCHEV ET AL.: "Inter-layer prediction modes based on base layer sharpness filter", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-N0070 (version 6), JPN6022005456, 26 July 2013 (2013-07-26), ISSN: 0004705861 *

Also Published As

Publication number Publication date
CA3051660A1 (en) 2018-08-09
EP3579559A4 (en) 2020-02-19
JP7178907B2 (ja) 2022-11-28
MX2019008890A (es) 2019-09-10
CN110226328A (zh) 2019-09-10
EP3579559A1 (en) 2019-12-11
US20190356926A1 (en) 2019-11-21
WO2018143268A1 (ja) 2018-08-09
KR20190112723A (ko) 2019-10-07

Similar Documents

Publication Publication Date Title
CN110024406B (zh) 具有用于视频译码的样本存取的线性模型预测模式
CN107409209B (zh) 用于线性模型预测模式的降取样处理
CN103546751B (zh) 视频编码方法和系统
CN108111846B (zh) 用于可伸缩视频编码的帧间层预测方法及装置
US20200154136A1 (en) Image encoding method using a skip mode, and a device using the method
US20060013308A1 (en) Method and apparatus for scalably encoding and decoding color video
CN113170201B (zh) 用于对视频数据进行解码的方法和设备
TW201342883A (zh) 在使用深度之３ｄ視訊寫碼中的多重假設差異向量建立
CN105659595A (zh) 多层视频译码中的基于三维查找表的色域可缩放性
JP7164710B2 (ja) ビデオ復号化方法及びビデオ・デコーダ
CN106341622B (zh) 一种多路视频流的编码方法及装置
TW201026054A (en) Method and system for motion-compensated framrate up-conversion for both compressed and decompressed video bitstreams
JP5560009B2 (ja) 動画像符号化装置
TWI543590B (zh) 用於可縮放視訊寫碼之空間運動向量縮放
JP7178907B2 (ja) 送信装置、送信方法、受信装置および受信方法
WO2023085181A1 (en) Systems and methods for signaling downsampling offset information in video coding
JP2011015262A (ja) 画像復号化装置
US11363300B2 (en) Coding apparatus, coding method, decoding apparatus, decoding method, transmitting apparatus, and receiving apparatus
US20150010083A1 (en) Video decoding method and apparatus using the same
KR20230017238A (ko) 인터 레이어 예측 여부에 기반하여 움직임 정보를 결정하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
CN117917892A (zh) 在视频编码中发送信号通知下采样偏移信息的系统和方法
KR20240050412A (ko) 비디오 처리를 위한 방법, 기기 및 매체
KR20240050414A (ko) 비디오 처리를 위한 방법, 기기 및 매체
JP2012138838A (ja) 動画像復号装置、動画像復号方法、及び動画像復号プログラム
KR20080076908A (ko) 모션과 텍스처 데이터를 예측하는 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220215

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221115

R150 Certificate of patent or registration of utility model

Ref document number: 7178907

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150