JP6809469B2 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

Description

本技術は、送信装置、送信方法、受信装置および受信方法に関し、詳しくは、ハイフレームレート（High Frame Rate）の動画像データを送信する送信装置等に関する。

近年、高速フレームシャッターでハイフレームレート撮影を行うカメラが知られている。例えば、ノーマルフレームレートが６０ｆｐｓ、５０ｆｐｓなどであるのに対して、ハイフレームレートはその数倍あるいは数十倍、さらには数百倍のフレームレートとなる。

ハイフレームレートのサービスを行う場合、高速フレームシャッターでカメラ撮りされた動画像データを、それよりも低周波数の動画像シーケンスに変換して送信することが考えられる。しかし、高速フレームシャッターの画像は、動きボケを改善し、先鋭度の高い画質を実現する効果がある一方で、受信再生側の従来のフレーム補間技術に画質的な問題を引き起こす要素をもつ。

高速フレームシャッターで撮影された先鋭度の高い画像を用いたフレーム補間は、動きベクトル探索が適合する場合と適合しない場合との差が大きくなる。そのため、両者の差が顕著な画質劣化となって表示されるためである。フレーム補間時に、動きベクトル探索の精度を向上させるためには高負荷演算が要求されるが、受信機コストに影響を及ぼす。

本出願人は、先に、高速フレームシャッターで撮影された画像による素材を変換して、ノーマルフレームレートのデコードを行う従来の受信機で一定以上の画品質で表示させる技術を提案した（特許文献１参照）。

国際公開第２０１５/０７６２７７号

本技術の目的は、ノーマルフレームレートおよびハイフレームレートの画像データを良好に伝送することにある。

本技術の概念は、
ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データのピクチャ毎の符号化画像データをアクセスユニットとして含む基本ストリームを得ると共に、上記ハイフレームレートの画像データのピクチャ毎の符号化画像データをアクセスユニットとして含む拡張ストリームを得る画像符号化部と、
上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信部を備える
送信装置にある。

本技術において、画像符号化部により、基本ストリームおよび拡張ストリームが得られる。基本ストリームは、ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データに符号化処理を施して得られたものである。拡張ストリームは、ハイフレームレートの画像データに符号化処理を施して得られたものである。送信部により、基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナが送信される。

このように本技術においては、ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データを含む基本ストリームが送信される。そのため、基本フレームレートの画像データを処理可能なデコード能力がある受信機の場合、この基本ストリームを処理して基本フレームレートの画像データを得ることで、動画像として滑らかな画像を表示でき、また、表示処理において低負荷演算によるフレーム補間処理で画質的な問題を引き起こすことが回避可能となる。

また、本技術においては、ハイフレームレートの画像データを含む拡張ストリームが送信される。そのため、ハイフレームレートの画像データを処理可能なデコード能力がある受信機の場合、この拡張ストリームを処理してハイフレームレートの画像データを得ることで、ハイフレームレートの画像表示を良好に行うことができる。

なお、本技術において、例えば、画像符号化部は、基本フレームレートの画像データにこの基本フレームレートの画像データの予測符号化処理を施して基本ストリームを得ると共に、基本フレームレートの画像データにハイフレームレートの画像データを用いて混合処理の逆の処理を施し、ハイフレームレートの画像データが上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データであるときに他方のピクチャの画像データを混合補償後の画像データとして取得し、ハイフレームレートの画像データにこの混合補償後の画像データとの間の予測符号化処理を施して拡張ストリームを得る、ようにされてもよい。この場合、ハイフレームレートの画像データの予測符号化に当たって、混合補償後の画像データが参照画像データとされるので、予測残差を低減することが可能となる。

この場合、例えば、画像符号化部は、ハイフレームレートの画像データの予測ブロック毎に、混合補償後の画像データとして予測ブロック以上の範囲の画像データを取得する、ようにされてもよい。このようにすることで、混合補償後の画像データを参照画像データとする場合であっても、動き補償を良好に行うことができる。

また、本技術において、例えば、拡張ストリームのレイヤに混合処理における混合比情報を挿入する情報挿入部をさらに備える、ようにされてもよい。この場合、例えば、基本ストリームおよび拡張ストリームはＮＡＬユニット構造を有し、情報挿入部は、混合比情報を持つＳＥＩ ＮＡＬユニットを拡張ストリームに挿入するか、あるいは混合比情報を拡張ストリームのＰＰＳ ＮＡＬユニットに挿入する、ようにされてもよい。このように拡張ストリームのレイヤに混合比情報が挿入されることで、受信側では、例えば、この混合比情報を用いて混合処理の逆の処理を容易かつ適切に行うことが可能となる。

また、本技術において、例えば、拡張ストリームの各アクセスユニットに、このアクセスユニットが上記時間的に連続する２個のピクチャのいずれに対応するかを示す位相情報を挿入する情報挿入部をさらに備える、ようにされてもよい。このように拡張ストリームの各アクセスユニットに位相情報が挿入されることで、受信側では、例えば、この位相情報を用いて混合処理の逆の処理を容易かつ適切に行うことが可能となる。

また、本技術において、例えば、コンテナのレイヤに基本ストリームに含まれる画像データが混合処理を施して得られた画像データであることを示す識別情報を挿入する情報挿入部をさらに備える、ようにされてもよい。この場合、受信側では、基本ストリームに含まれる画像データが混合処理を施して得られた画像データであることを、識別情報から容易に認識可能となる。

また、本技術の他の概念は、
基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記基本ストリームは、ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データに該基本フレームレートの画像データの予測符号化処理を施して得られたものであり、
上記拡張ストリームは、上記ハイフレームレートの画像データに、上記基本フレームレートの画像データに上記ハイフレームレートの画像データを用いて上記混合処理の逆の処理を施して得られた、上記ハイフレームレートの画像データが上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データであるときに他方のピクチャの画像データである混合補償後の画像データとの間の予測符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理して上記ハイフレームレートの画像データを得る処理部をさらに備え、
上記処理部は、上記拡張ストリームに復号化処理を施すとき、
上記基本ストリームを処理して得られた上記基本フレームレートの画像データに上記拡張ストリームを処理して得られた上記ハイフレームレートの拡張フレームの画像データを用いて上記混合処理の逆の処理を施して上記ハイフレームレートの画像データが上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データであるときに他方のピクチャの画像データである混合補償後の画像データを取得して、該混合補償後の画像データを参照画像データとして用いる
受信装置にある。

本技術において、受信部により、基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナが受信される。基本ストリームは、ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データにこの基本フレームレートの画像データの予測符号化処理を施して得られたものである。

また、拡張ストリームは、ハイフレームレートの画像データに、基本フレームレートの画像データにハイフレームレートの画像データを用いて混合処理の逆の処理を施して得られた、ハイフレームレートの画像データが時間的に連続する２個のピクチャ単位で一方のピクチャの画像データであるときに他方のピクチャの画像データである混合補償後の画像データとの間の予測符号化処理を施して得られたものである。

処理部により、基本ストリームのみが処理されて基本フレームレートの画像データが得られるか、あるいは基本ストリームおよび拡張ストリームの双方が処理されてハイフレームレートの画像データが得られる。

処理部では、拡張ストリームに復号化処理に施すとき、基本ストリームを処理して得られた基本フレームレートの画像データに拡張ストリームを処理して得られたハイフレームレートの拡張フレームの画像データを用いて混合処理の逆の処理が施され、ハイフレームレートの画像データが上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データであるときに他方のピクチャの画像データである混合補償後の画像データが取得され、この混合補償後の画像データが参照画像データとして用いられる。

このように本技術においては、拡張ストリームに復号化処理を施すとき、混合補償後の画像データが参照画像データとして用いられる。そのため、拡張ストリームに対して復号化処理を正しく施すことができ、ハイフレームレートの拡張フレームの画像データを良好に得ることができる。

なお、本技術において、例えば、拡張ストリームのレイヤに混合処理における混合比情報が挿入されており、処理部は、混合処理の逆の処理を施す際に、この混合比情報を用いる、ようにされてもよい。このように拡張ストリームのレイヤに挿入されている混合比情報を用いて混合処理の逆の処理を行うことで、当該処理を容易かつ適切に行うことが可能となる。

また、本技術において、例えば、拡張ストリームの各アクセスユニットに、このアクセスユニットが時間的に連続する２個のピクチャのいずれに対応するかを示す位相情報が挿入されており、処理部は、混合処理の逆の処理を施す際に、この位相情報を用いる、ようにされてもよい。このように拡張ストリームの各アクセスユニットに挿入されている位相情報を用いて混合処理の逆の処理を行うことで、当該処理を容易かつ適切に行うことが可能となる。

また、本技術の他の概念は、
基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記基本ストリームは、ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データに符号化処理を施して得られたものであり、
上記拡張ストリームは、上記ハイフレームレートの画像データに符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理して上記ハイフレームレートの画像データを得る処理部をさらに備える
受信装置にある。

本技術において、受信部により、基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナが受信される。基本ストリームは、ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データに符号化処理を施して得られたものである。拡張ストリームは、ハイフレームレートの画像データに符号化処理を施して得られたものである。

処理部により、基本ストリームのみが処理されて基本フレームレートの画像データが得られるか、あるいは基本ストリームおよび拡張ストリームの双方が処理されてハイフレームレートの画像データが得られる。

このように本技術においては、基本ストリームのみが処理されて基本フレームレートの画像データが得られる。そのため、基本フレームレートの画像データを処理可能なデコード能力がある受信機の場合、この基本ストリームを処理して基本フレームレートの画像データを得ることで、動画像として滑らかな画像を表示でき、また、表示処理において低負荷演算によるフレーム補間処理で画質的な問題を引き起こすことが回避可能となる。

また、本技術において、基本ストリームおよび拡張ストリームの双方が処理されてハイフレームレートの画像データが得られる。そのため、ハイフレームレート（ハイフレームレート）の画像データを処理可能なデコード能力がある受信機の場合、この拡張ストリームを処理してハイフレームレートの画像データを得ることで、ハイフレームレートの画像表示を良好に行うことができる。

本技術によれば、ノーマルフレームレート（基本フレームレート）およびハイフレームレートの画像データを良好に伝送することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

実施の形態としての送受信システムの構成例を示すブロック図である。 フレームレートの変換処理の一例を示す図である。 送信装置および受信装置の処理の概要を示す図である。 送信装置の構成例を示すブロック図である。 プリプロセッサの構成例を示すブロック図である。 プリプロセッサの入力データ（画像データＰ）と、その出力データ（画像データＱｂ，Ｑｅ）との関係の一例を示す図である。 エンコーダに入力される基本フレームレート（６０ｆｐｓ）の画像データＱｂと、ハイフレームレート（１２０ｆｐｓ）の画像データＱｅのシーケンスと、エンコーダにおける符号化ピクチャのシーケンスを示す図である。 レイヤ構成例と予測例を示す図である。 エンコーダの符号化処理部分（基本レイヤと、１つの拡張レイヤ）の構成例を示すブロック図である。 混合補償回路の構成例を示すブロック図である。 エンコーダの符号化処理部分（基本レイヤと、２つの拡張レイヤ）の構成例を示すブロック図である。 （１）混合処理を行わない場合と（２）混合処理を行う場合における予測残差の一例を、混合処理の係数がα＝１/２(よって、β＝１/２)の場合を例に、比較して示す図である。 混合処理の係数がα＝１/２(よって、β＝１/２)の場合にあって、参照ピクチャである“Ｂｌｅｎｄｅｄ（ｎ）ｔｈ”のピクチャに混合補償を行う場合の例を示す図である。 混合補償後のピクチャ（画像データ）を用いた場合の予測残差の一例を示す図である。 （１）混合処理を行わない場合と（２）混合処理を行う場合における予測残差の一例を、混合処理の係数がα＝２/３(よって、β＝１/３)の場合を例に、比較して示す図である。 混合処理の係数がα＝２/３(よって、β＝１/３)の場合にあって、参照ピクチャである“Ｂｌｅｎｄｅｄ（ｎ）ｔｈ”のピクチャに混合補償を行う場合の例を示す図である。 混合補償後のピクチャ（画像データ）を用いた場合の予測残差の一例を示す図である。 インバース・ブレンディング・レイヤ・プリディクション・ＳＥＩの構造例と、その構造例における主要な情報の内容を示す図である。 ＰＰＳの構造例と、その構造例における主要な情報の内容を示す図である。 ビデオ・スケーラビリティ・インフォメーション・デスクリプタの構造例と、その構造例における主要な情報の内容を示す図である。 トランスポートストリームＴＳの構成例を示す図である。 受信装置（ハイフレームレート対応）の構成例を示すブロック図である。 デコーダの復号化処理部分（基本レイヤと、１つの拡張レイヤ）の構成例を示すブロック図である。 デコーダの復号化処理部分（基本レイヤと、２つの拡張レイヤ）の構成例を示すブロック図である。 受信装置（ノーマルフレームレート対応）の構成例を示すブロック図である。

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例

＜１．実施の形態＞
［送受信システム］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、受信装置２００とを有する構成となっている。

送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。このトランスポートストリームＴＳには、ハイフレームレート、この実施の形態においては１２０ｆｐｓの画像データ（動画像データ）が処理されて得られた基本ストリーム（基本ビデオストリーム）および拡張ストリーム（拡張ビデオストリーム）が含まれる。この実施の形態において、基本ストリームおよび拡張ストリームは、ＮＡＬユニット構造を有するものとされる。

ここで、基本ストリームは、ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して得られた基本フレームレート（ノーマルフレームレート）の画像データに、この基本フレームレートの画像データの予測符号化処理を施して得られたものである。この基本ストリームには、基本フレームレートの画像データのピクチャ毎の符号化画像データがアクセスユニットとして含まれる。この基本フレームレートの画像データは、６０ｆｐｓの画像データである。

また、拡張ストリームは、ハイフレームレートの画像データに、混合補償後の画像データとの間の予測符号化処理、あるいはこのハイフレームレートの画像データの予測符号化処理を適応的に施して得られたものである。この拡張ストリームには、ハイフレームレートの画像データのピクチャ毎の符号化画像データがアクセスユニットとして含まれる。

ここで、混合補償後の画像データは、基本フレームレートの画像データにハイフレームレートの画像データを用いて混合処理の逆の処理を施して得られた、ハイフレームレートの画像データが上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データであるときに他方のピクチャの画像データとなる画像データである。このように参照画像データとして混合補償後の画像データが使用されることで予測残差の増加を抑制可能となる。

ここで、ハイフレームレートの画像データは、図２（ａ）に示すように、オリジナル画像シーケンスであるとする。この場合、時間的に連続する２個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データは、図２（ｃ）に示すように、オリジナル画像シーケンスがカバーする時間に対するシャッター開口率が１（１００％）である。なお、上記連続する２個のピクチャ単位で一方のピクチャの画像データを取り出して得られた基本フレームレートの画像データは、図２（ｂ）に示すように、オリジナル画像シーケンスがカバーする時間に対するシャッター開口率が１/２（５０％）である。

拡張ストリームのレイヤに、混合処理における混合比情報が挿入される。この実施の形態において、混合比情報を持つＳＥＩ ＮＡＬユニットが拡張ストリームに挿入されるか、あるいは混合比情報が拡張ストリームのＰＰＳ ＮＡＬユニットに挿入される。受信側では、この混合比情報を用いて混合処理の逆の処理を容易かつ適切に行うことが可能となる。

拡張ストリームの各アクセスユニットに、そのアクセスユニットが上記時間的に連続する２個のピクチャのいずれに対応するかを示す位相情報が挿入される。この実施の形態において、位相情報を持つＳＥＩ ＮＡＬユニットが拡張ストリームの各アクセスユニットに挿入されるか、あるいは拡張ストリームの各アクセスユニットのＰＰＳ ＮＡＬユニットに位相情報が挿入される。受信側では、位相情報を用いて混合処理の逆の処理を容易かつ適切に行うことが可能となる。

コンテナのレイヤに、基本ストリームに含まれる画像データが混合処理を施して得られた画像データであることを示す識別情報が挿入される。この実施の形態においては、プログラムマップテーブル（ＰＭＴ：Program Map Table）の配下に拡張ストリームに対応して配置されたビデオエレメンタリストリームループの中に、識別情報が記述されたデスクリプタ（Descriptor）が挿入される。受信側では、基本ストリームに含まれる画像データが混合処理を施して得られた画像データであることを、識別情報から容易に認識可能となる。

受信装置２００は、送信装置１００から放送波に載せて送られてくる上述のトランスポートストリームＴＳを受信する。受信装置２００は、６０ｆｐｓの画像データを処理可能なデコード能力がある場合、トランスポートストリームＴＳに含まれる基本ストリームのみを処理して、基本フレームレート（６０ｆｐｓ）の画像データを得て、画像再生を行う。

一方、受信装置２００は、１２０ｆｐｓの画像データを処理可能なデコード能力がある場合、トランスポートストリームＴＳに含まれる基本ストリームおよび拡張ストリームの双方を処理して、ハイフレームレート（１２０ｆｐｓ）の画像データを得て、画像再生を行う。

ここで、受信装置２００は、拡張ストリームに復号化処理を施してハイフレームレートの画像データを得る際に、基本ストリームが処理されて得られた基本フレームレートの画像データに拡張ストリームが処理されて得られたハイフレームレートの画像データを用いて混合処理の逆の処理を施して得られた、ハイフレームレートの画像データが上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データであるときに他方のピクチャの画像データである混合補償後の画像データを、参照画像データとして用いる。これにより、拡張ストリームに対して復号化処理が正しく施され、ハイフレームレートの画像データが良好に得られる。

ここで、混合処理の逆の処理が施される際に、拡張ストリームのレイヤに挿入されている混合処理における混合比情報が用いられると共に、この拡張ストリームの各アクセスユニットに挿入されている位相情報が用いられる。これにより、混合処理の逆の処理が容易かつ適切に行われ、結果的に拡張ストリームの復号化処理が良好に行われる。

図３は、送信装置１００および受信装置２００の処理の概要を示している。送信装置１００には、１２０Ｐシーケンスの画像データＰが入力される。この送信装置１００では、プリプロセッサ１０１において、画像データＰが処理されて、基本フレームレート（６０ｆｐｓ）の画像データＱｂと、ハイフレームレート（１２０ｆｐｓ）の画像データＱｅが得られる。そして、送信装置１００では、エンコーダ１０２において、画像データＱｂ、Ｑｅに符号化処理が施されて、基本ストリームＳＴｂと、拡張ストリームＳＴｅが得られる。送信装置１００から受信装置２００には、これらの２つのストリームＳＴｂ，ＳＴｅが送信される。

１２０ｆｐｓの画像データを処理可能なデコード能力がある受信装置２００Ａでは、デコーダ２０３において、２つのストリームＳＴｂ，ＳＴｅに復号化処理が施されて、ハイフレームレートの画像データＱｅ´が１２０Ｐシーケンスの画像データとして得られる。一方、６０ｆｐｓの画像データを処理可能なデコード能力がある受信装置２００Ｂでは、デコーダ２０３Ｂにおいて、ストリームＳＴｂに復号化処理が施されて、基本フレームレートの画像データＱｂ´が６０Ｐシーケンスの画像データとして得られる。

「送信装置の構成」
図４は、送信装置１００の構成例を示している。この送信装置１００は、プリプロセッサ１０１と、エンコーダ１０２と、マルチプレクサ１０３と、送信部１０４を有している。プリプロセッサ１０１は、１２０ｆｐｓの画像データＰを入力して、基本フレームレートの画像データＱｂと、ハイフレームレートの画像データＱｅを出力する。

ここで、プリプロセッサ１０１は、１２０ｆｐｓの画像データＰにおいて時間的に連続する２個のピクチャ単位で混合処理を施して基本フレームレートの画像データＱｂを得る。また、このプリプロセッサ１０１は、１２０ｆｐｓの画像データＰを、そのままハイフレームレートの画像データＱｅとして出力する。

図５は、プリプロセッサ１０１の構成例を示している。このプリプロセッサ１０１は、１２０ｆｐｓの1フレーム分遅延させる遅延回路１１１，１１４と、演算回路１１２と、遅延回路１１１，１１４に同期した６０Ｈｚのラッチパルスでラッチするラッチ回路１１３を有している。

１２０ｆｐｓの画像データＰは、遅延回路１１１で１フレーム期間だけ遅延された後、アルファ（α）の利得をもたせて演算回路１１２に入力される。なお、α＝０〜１である。一方、遅延回路１１１の遅延対象の画像データＰの次の画像データは遅延回路１１１を通らずにベータ（β）の利得を持たせて演算回路１１２へ入力される。なお、β＝１−αである。

演算回路１１２では、遅延回路１１１の出力と上記の１２０ｆｐｓの画像データＰとが加算される。ここで、画像データＰの時間的に連続する２個のピクチャの画像データをＡ，Ｂとするとき、遅延回路１１１の出力がＡとなるタイミングで、演算回路１１２の出力として「α＊Ａ＋β＊Ｂ」の混合出力が得られる。この演算回路１１２の出力はラッチ回路１１３に入力される。

ラッチ回路１１３では、この演算回路１１２の出力が６０Ｈｚのラッチパルスでラッチされ、画像データＰにおいて時間的に連続する２個のピクチャ単位で、混合処理を施した基本フレームレート（６０ｆｐｓ）の画像データＱｂが得られる。また、１２０ｆｐｓの画像データＰは、遅延回路１１１で１フレーム期間だけ遅延されて基本フレームレートの画像データＱｂとのタイミングが調整され、ハイフレームレート（１２０ｆｐｓ）の画像データＱｅとして出力される。

図６（ａ），（ｂ）は、プリプロセッサ１０１の入力データ（画像データＰ）と、プリプロセッサ１０１の出力データ（画像データＱｂ，Ｑｅ）との関係の一例を、模式的に表している。１２０ｆｐｓの画像データＰの各ピクチャの画像データＦ１，Ｆ２，Ｆ３，Ｆ４，Ｆ５，Ｆ６，Ｆ７，Ｆ８，・・・に対応して、基本フレームレート（６０ｆｐｓ）の画像データＱｂの各ピクチャの画像データＦ１´，Ｆ３´，Ｆ５´，Ｆ７´，・・・と、ハイフレームレート（１２０ｆｐｓ）の画像データＱｅの各ピクチャの画像データＦ１，Ｆ２，Ｆ３，Ｆ４，Ｆ５，Ｆ６，Ｆ７，Ｆ８，・・・が得られる。

図４に戻って、エンコーダ１０２は、プリプロセッサ１０１で得られる画像データＱｂ，Ｑｅに対して符号化処理を施して、基本ストリームおよび拡張ストリームを生成する。ここで、エンコーダ１０２は、基本フレームレートの画像データＱｂに、この基本フレームレートの画像データの予測符号化処理を施して、基本ストリームＳＴｂを得る。また、エンコーダ１０２は、ハイフレームレートの画像データＱｅに、混合補償後の画像データとの間の予測符号化処理、あるいはこのハイフレームレートの画像データの予測符号化処理を適応的に施して、拡張ストリームＳＴｅを得る。

ここで、エンコーダ１０２は、基本フレームレートの画像データにハイフレームレートの画像データを用いて混合処理の逆の処理を施して、ハイフレームレートの画像データが上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データであるときに他方のピクチャの画像データとなる画像データを、混合補償後の画像データとして取得する。

図７（ａ）は、エンコーダ１０２に入力される基本フレームレート（６０ｆｐｓ）の画像データＱｂと、ハイフレームレート（１２０ｆｐｓ）の画像データＱｅのシーケンスを示している。図７（ｂ）は、エンコーダ１０２における符号化ピクチャのシーケンスを示している。基本フレームレートの画像データＱｂは基本レイヤ（Base Layer）として符号化され、ハイフレームレートの画像データＱｅは拡張レイヤ（Enhanced Layer）として符号化される。

ここで、ハイフレームレートの画像データＱｅに対してレイヤ間の予測符号化が行われる場合、このハイフレームレートの画像データＱｅの時間的に連続する２個のピクチャ単位で奇数（Odd）位置および偶数（Even）位置のピクチャの画像データの符号化においては、その時間的に連続する２個のピクチャ単位で混合処理されて得られた基本フレームレートの画像データＱｂのピクチャの画像データが参照画像データとして用いられる。なお、実際には、上述したように、基本フレームレートの画像データＱｂのピクチャの画像データに対して混合補償が行われ、混合補償後の画像データが参照画像データとして用いられる。

図８は、レイヤ構成例と予測例を示している。図８（ａ）は、１つの基本レイヤ（Base Layer）と、１つの拡張レイヤ（Ext 1 Layer）からなるレイヤ構成例を示している。拡張レイヤ（Ext 1 Layer）において［Ｐ２１，Ｐ２２］，［Ｐ２３，Ｐ２４］は、それぞれ、時間的に連続する２個のピクチャ単位を示している。また、基本レイヤ（Base Layer）において、［Ｐ１１］，［Ｐ１２］は、それぞれ、その時間的に連続する２個のピクチャ単位で混合処理されて得られたピクチャを示している。

図示において、実線矢印は、レイヤ間の予測における参照関係を示している。この場合、拡張レイヤ（Ext 1 Layer）の各ピクチャは、基本レイヤ（Base Layer）の対応するピクチャを参照して符号化される。

図８（ｂ）は、１つの基本レイヤ（Base Layer）と、２つの拡張レイヤ（Ext 1 Layer, Ext 2 Layer）からなるレイヤ構成例を示している。拡張レイヤ１（Ext 1 Layer）は時間的に連続する２個のピクチャ単位で奇数（Odd）位置のピクチャで構成され、拡張レイヤ２（Ext 2 Layer）は時間的に連続する２個のピクチャ単位で偶数（Even）位置のピクチャで構成されている。

この場合、拡張レイヤ１（Ext 1 Layer）のピクチャのエンコードタイミングは基本レイヤ（Base Layer）のピクチャのエンコードタイミングと同じとされるが、拡張レイヤ２（Ext 2 Layer）のピクチャのエンコードタイミングは基本レイヤ（Base Layer）のピクチャのエンコードタイミングの中間とされる。

図示において、実線矢印、破線矢印は、レイヤ間の予測における参照関係を示している。この場合、拡張レイヤ１（Ext 1 Layer）の各ピクチャは、基本レイヤ（Base Layer）の対応するピクチャを参照して符号化される。また、拡張レイヤ２（Ext 2 Layer）の各ピクチャは、基本レイヤ（Base Layer）の対応するピクチャを参照して符号化されるか、あるいは拡張レイヤ１（Ext 1 Layer）の対応するピクチャを参照して符号化される。なお、このような構成の符号化を行う場合、拡張レイヤ１と拡張レイヤ２とを一つのレイヤの中に入れ、両者の識別を階層（temporal_id）で区別することも可能である。

図８（ｃ）は、図８（ｂ）の例と同様に、１つの基本レイヤ（Base Layer）と、２つの拡張レイヤ（Ext 1 Layer, Ext 2 Layer）からなるレイヤ構成例を示している。この場合、拡張レイヤ１（Ext 1 Layer）のピクチャのエンコードタイミングは基本レイヤ（Base Layer）のピクチャのエンコードタイミングと同じとされ、また、拡張レイヤ２（Ext 2 Layer）のピクチャのエンコードタイミングも基本レイヤ（Base Layer）のピクチャのエンコードタイミングと同じとされる。

図示において、実線矢印、破線矢印は、レイヤ間の予測における参照関係を示している。この場合、拡張レイヤ１（Ext 1 Layer）の各ピクチャは、基本レイヤ（Base Layer）の対応するピクチャを参照して符号化される。また、拡張レイヤ２（Ext 2 Layer）の各ピクチャは、拡張レイヤ１（Ext 1 Layer）の対応するピクチャを参照して符号化される。

図９は、エンコーダ１０２の符号化処理部分の構成例を示している。この構成例は、基本レイヤ（Base Layer）と、１つの拡張レイヤ（Ext 1 Layer）からなるレイヤ構成例（図８（ａ）参照）である場合に対応している。

このエンコーダ１０２は、ブロック化回路１２１と、減算回路１２２と、動き予測/動き補償回路１２３と、整数変換/量子化回路１２４と、逆量子化/逆整数変換回路１２５と、加算回路１２６と、ループフィルタ１２７と、メモリ１２８と、エントロピー符号化回路１２９を有している。

また、エンコーダ１０２は、ブロック化回路１３１と、減算回路１３２と、動き予測/動き補償回路１３３と、レイヤ間予測/レイヤ間補償回路１３４と、混合補償回路１３５と、切り替え回路１３６，１３７と、整数変換/量子化回路１３８と、逆量子化/逆整数変換回路１３９と、加算回路１４０と、ループフィルタ１４１と、メモリ１４２と、エントロピー符号化回路１４３を有している。

基本フレームレートの画像データＱｂは、ブロック化回路１２１に入力される。このブロック化回路１２１では、画像データＱｂを構成する各ピクチャの画像データが符号化処理単位のブロック（ＭＢ：マクロブロック）に分割される。各ブロックは減算回路１２２に順次供給される。動き予測/動き補償回路１２３では、メモリ１２８に記憶されている参照ピクチャの画像データに基づいて、ブロック毎に、動き補償された予測参照ブロックが得られる。

動き予測/動き補償回路１２３で得られた各予測参照ブロックは、減算回路１２２に順次供給される。減算回路１２２では、ブロック化回路１２１で得られたブロック毎に、予測参照ブロックとの間で減算処理が行われて、予測誤差が得られる。このブロック毎の予測誤差は、整数変換/量子化回路１２４で整数変換（例えばＤＣＴ変換）された後に量子化される。

整数変換/量子化回路１２４で得られたブロック毎の量子化データは、逆量子化/逆整数変換回路１２５に供給される。この逆量子化/逆整数変換回路１２５では、量子化データに対して逆量子化が施され、さらに逆整数変換が施されて、予測残差が得られる。この予測誤差は、加算回路１２６に供給される。

この加算回路１２６では、予測残差に動き補償された予測参照ブロックが加算されて、ブロックが得られる。このブロックは、ループフィルタ１２７で量子化ノイズが除去された後に、メモリ１２８に蓄積される。

また、整数変換/量子化回路１２４で得られたブロック毎の量子化データは、エントロピー符号化回路１２９に供給されて、エントロピー符号化が行われ、基本フレームレートの画像データＱｂの予測符号化結果である基本ストリームＳＴｂが得られる。なお、この基本ストリームＳＴｂには、各ブロックにおける動きベクトルなどの情報が、受信側における復号化のためにＭＢヘッダ情報として付加される。

また、ハイフレームレートの画像データＱｅは、ブロック化回路１３１に入力される。このブロック化回路１３１では、画像データＱｅを構成する各ピクチャの画像データが符号化処理単位のブロック（ＭＢ：マクロブロック）に分割される。各ブロックは減算回路１３２に順次供給される。

動き予測/動き補償回路１３３では、メモリ１４２に記憶されている参照ピクチャの画像データに基づいて、動き補償されたレイヤ内予測のための予測参照ブロックが得られる。レイヤ間予測/レイヤ間補償回路１３４には、混合補償回路１３５で得られた混合補償後の画像データ、あるいはメモリ１２８に記憶されている画像データが、参照ピクチャの画像データとして、切り替え回路１３６から選択的に供給される。この場合、基本レイヤとの間の予測符号化処理を行う場合であっても、混合補償回路１３５を通さない処理も可能である。レイヤ間予測/レイヤ間補償回路１３４では、参照ピクチャの画像データに基づいて、ブロック毎に、動き補償された予測参照ブロックが得られる。

混合補償回路１３５には、メモリ１２８から参照ピクチャの画像データ（基本フレームレートの画像データ）が供給される。また、この混合補償回路１３５には、ブロック化回路１３１の出力、つまり予測元のピクチャの画像データ（ハイフレームレートの画像データ）が供給される。なお、基本レイヤのピクチャの処理と拡張レイヤのピクチャの処理は同期して行われる。

混合補償回路１３５では、基本フレームレートの画像データにハイフレームレートの画像データを用いて混合処理の逆の処理が施され、ハイフレームレートの画像データが上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データであるときに他方のピクチャの画像データとなる画像データが、混合補償後の画像データとして得られる。

そして、この場合、ブロック化回路１３１で得られるブロック（予測ブロック）毎に、混合補償回路１３５では、混合補償後の画像データが得られる。この場合、混合補償後の画像データとしてブロック以上の範囲の画像データが取得される。つまり、混合補償の処理では、動きベクトルによる予測対象のずらし範囲に応じて、ブロック周辺のデータも演算対象とされる。

図１０は、混合補償回路１３５の構成例を示している。この混合補償回路１３５は、乗算部１５１，１５２と、加算部１５３を有している。乗算部１５１では、ハイフレームレートの画像データが時間的に連続する２個のピクチャの単位で奇数（Odd）、偶数（Even）の位置のピクチャの画像データであるとき、参照ピクチャの画像データ（基本フレームレートの画像データ［αＡ＋βＢ］）に、それぞれ、（１/β）、（１/α）の係数が乗じられる。

乗算部１５２では、同様に、ハイフレームレートの画像データが、上記時間的に連続する２個のピクチャの単位で奇数（Odd）、偶数（Even）の位置のピクチャの画像データであるとき、予測元のピクチャの画像データ（ハイフレームレートの拡張フレームの画像データ［Ａ］、［Ｂ］）に、それぞれ、（−α/β）、（−β/α）の係数が乗じられる。そして、加算部１５３では、乗算部１５１の出力と乗算部１５２の出力とが加算され、混合補償後の画像データ［Ｂ］、［Ａ］が得られる。

ここで、αは、混合処理において、上記時間的に連続する２個のピクチャの単位で奇数（Odd）位置の画像データＡに乗じられる係数であり、βは、混合処理において、上記時間的に連続する２個のピクチャの単位で偶数（Even）の位置の画像データＢに乗じられる係数である（図５参照）。

図９に戻って、動き予測/動き補償回路１３３で得られたレイヤ内予測のための予測参照ブロック、あるいはレイヤ間予測/レイヤ間補償回路１３４で得られたレイヤ間予測のための予測参照ブロックが、切り替え回路１３７によりブロック単位、あるいは、ピクチャ単位で選択されて減算回路１３２に供給される。例えば、切り替え回路１３７では、残差成分が小さくなるように切り替えられる。また、例えば、切り替え回路１３７では、シーケンスの境界か否かで強制的に一方に切り替えられる。

減算回路１３２では、ブロック化回路１３１で得られたブロック毎に、予測参照ブロックとの間で減算処理が行われて、予測誤差が得られる。このブロック毎の予測誤差は、整数変換/量子化回路１３８で整数変換（例えばＤＣＴ変換）された後に量子化される。

整数変換/量子化回路１３８で得られたブロック毎の量子化データは、逆量子化/逆整数変換回路１３９に供給される。この逆量子化/逆整数変換回路１３９では、量子化データに対して逆量子化が施され、さらに逆整数変換が施されて、予測残差が得られる。このブロック毎の予測誤差は、加算回路１４０に供給される。

この加算回路１４０には、切り替え回路１３７で選択された予測参照ブロックが供給される。この加算回路１４０では、予測残差に動き補償された予測参照ブロックが加算されて、ブロックが得られる。このブロックは、ループフィルタ１４１で量子化ノイズが除去された後に、メモリ１４２に蓄積される。

また、整数変換/量子化回路１３８で得られたブロック毎の量子化データは、エントロピー符号化回路１４３に供給されて、エントロピー符号化が行われ、ハイフレームレートの画像データＱｅの予測符号化結果である拡張ストリームＳＴｅが得られる。なお、この拡張ストリームＳＴｅには、各ブロックにおける動きベクトル、予測参照ブロックの切り換えなどの情報が、受信側における復号化のためにＭＢブロック情報として付加される。

図１１も、エンコーダ１０２の符号化処理部分の構成例を示している。この構成例は、基本レイヤ（Base Layer）と、２つの拡張レイヤ（Ext 1 Layer, Ext 2 Layer）からなるレイヤ構成例（図８（ｂ），（ｃ）参照）である場合に対応している。この図１１において、図９と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。

このエンコーダ１０２は、ブロック化回路１２１と、減算回路１２２と、動き予測/動き補償回路１２３と、整数変換/量子化回路１２４と、逆量子化/逆整数変換回路１２５と、加算回路１２６と、ループフィルタ１２７と、メモリ１２８と、エントロピー符号化回路１２９を有している。

また、エンコーダ１０２は、切り替え回路１３０と、ブロック化回路１３１Ａと、減算回路１３２Ａと、動き予測/動き補償回路１３３Ａと、レイヤ間予測/レイヤ間補償回路１３４Ａと、混合補償回路１３５Ａと、切り替え回路１３６Ａ，１３７Ａと、整数変換/量子化回路１３８Ａと、逆量子化/逆整数変換回路１３９Ａと、加算回路１４０Ａと、ループフィルタ１４１Ａと、メモリ１４２Ａと、エントロピー符号化回路１４３Ａを有している。

また、エンコーダ１０２は、ブロック化回路１３１Ｂと、減算回路１３２Ｂと、動き予測/動き補償回路１３３Ｂと、レイヤ間予測/レイヤ間補償回路１３４Ｂと、混合補償回路１３５Ｂと、切り替え回路１３６Ｂ，１３７Ｂと、整数変換/量子化回路１３８Ｂと、逆量子化/逆整数変換回路１３９Ｂと、加算回路１４０Ｂと、ループフィルタ１４１Ｂと、メモリ１４２Ｂと、エントロピー符号化回路１４３Ｂと、切り替え回路１４５，１４６を有している。

基本フレームレートの画像データＱｂに対する符号化処理、つまり基本レイヤ（Base Layer）の符号化処理については、図９のエンコーダ１０２の符号化処理部分の構成例と同様であるので、詳細説明は省略する。ハイフレームレートの画像データＱｅに対する符号化処理は、拡張レイヤ１の符号化処理と、拡張レイヤ２の符号化処理に、分けて行われる。

ハイフレームレートの画像データＱｅの各ピクチャの画像データは、切り替え回路１３０で、拡張レイヤ１の符号化処理で扱うピクチャの画像データと拡張レイヤ２の符号化処理で扱うピクチャの画像データに振り分けられる。この場合、時間的に連続する２個のピクチャ単位で、奇数（Odd）位置のピクチャの画像データＡは、拡張レイヤ１の符号化処理の系に供給される。

図１１において、“Ａ”が添えられた符号で示される各回路により、拡張レイヤ１の符号化処理の系が構成されている。この拡張レイヤ１の符号化処理の系は、図９のエンコーダ１０２の符号化処理部分の構成例における拡張レイヤの符号化処理の系と同様に構成されており、エントロピー符号化回路１４３Ａからは、拡張レイヤ１の符号化ストリームが得られる。

なお、拡張レイヤ１の符号化処理の系では、基本レイヤとの間での予測符号化処理、あるいは拡張レイヤ１内での予測符号化処理が行われる。基本レイヤとの間の予測符号化処理を行う場合であっても、切り替え回路１３６Ａによる切り替えにより、混合補償回路１３５Ａを通さない処理も可能である。

また、図１１において、“Ｂ”が添えられた符号で示される各回路により、拡張レイヤ２の符号化処理の系が構成されている。この拡張レイヤ２の符号化処理の系は、図９のエンコーダ１０２の符号化処理部分の構成例における拡張レイヤの符号化処理の系と同様に構成されており、エントロピー符号化回路１４３Ｂからは、拡張レイヤ１の符号化ストリームが得られる。

なお、拡張レイヤ２の符号化処理の系では、基本レイヤとの間での予測符号化処理、拡張レイヤ１との間の予測符号化処理、あるいは拡張レイヤ２内での予測符号化処理が行われる。基本レイヤとの間での予測符号化処理が行われる場合、切り替え回路１４５では、メモリ１２８の出力が選択される。一方、拡張レイヤ１との間の予測符号化処理が行われる場合、切り替え回路１４５では、メモリ１４２Ａの出力が選択される。基本レイヤとの間の予測符号化処理を行う場合であっても、切り替え回路１３６Ｂによる切り替えにより、混合補償回路１３５Ｂを通さない処理も可能である。

切り替え回路１４６では、エントロピー符号化回路１４３Ａで得られる拡張レイヤ１の符号化ストリームと、エントロピー符号化回路１４３Ｂで得られる拡張レイヤ２の符号化ストリームとが合成されて、ハイフレームレートの画像データＱｅの予測符号化結果である拡張ストリームＳＴｅが得られる。

上述したように、レイヤ間予測符号化の処理において、混合補償回路１３５で得られた混合補償後の画像データを参照ピクチャの画像データとして用いることで、予測残差を低減することが可能となる。

図１２は、（１）混合処理を行わない場合と（２）混合処理を行う場合における予測残差の一例を、混合処理の係数がα＝１/２(よって、β＝１/２)の場合を例に、比較して示している。“（ｎ）ｔｈ”、“（ｎ＋１）ｔｈ”は、時間的に前後に隣接する関係にあるピクチャ（フレーム）を示している。ここで、“（ｎ＋１）ｔｈ”のピクチャは予測元のピクチャを構成し“（ｎ）ｔｈ”のピクチャは参照ピクチャを構成する。“Ｂｌｅｎｄｅｄ（ｎ）ｔｈ”のピクチャは混合処理されている参照ピクチャを示している。

予測元のピクチャにおいて一点鎖線の矩形枠は予測ブロック（処理単位のブロック）の範囲を示し、参照ピクチャにおいて一点鎖線の矩形枠は、予測ブロックの範囲に対応した参照ブロックの範囲を示している。また、参照ピクチャにおいて、破線の矩形枠は動きベクトルｍｖで動き補償された参照ブロックの範囲を示している。なお、この例では、簡単化のため、処理単位のブロックが４×４のブロックとしている。処理の単位は、これに限定されるものはなく、これより大きいブロックであってもよい。

混合処理を行わない場合には、図示の入力シーケンスでは、“（ｎ＋１）ｔｈ”と“（ｎ）ｔｈ”のピクチャの間で動きベクトルを参照して予測を行うことで、予測残差“（ｎ＋１）−（ｎ）”はゼロとなる。これに対して、混合処理を行う場合には、“（ｎ＋１）ｔｈ”のピクチャと、同様の入力シーケンスに対して混合処理を施して得られた“Ｂｌｅｎｄｅｄ（ｎ）ｔｈ”のピクチャの間で予測を行うと、動きベクトルを参照して予測を行ったとしても、予測残差“（ｎ＋１）−Ｂｌｅｎｄｅｄ（ｎ）”はゼロにならず、何らかの残差成分が生ずる。

図１３は、上述した混合処理の係数がα＝１/２(よって、β＝１/２)の場合にあって、参照ピクチャである“Ｂｌｅｎｄｅｄ（ｎ）ｔｈ”のピクチャに混合補償を行う場合の例を示している。図示の例は、図１０に示す混合補償回路１３５において、予測元のピクチャが“Ｂ”である場合に相当する。なお、予測元のピクチャが“Ａ”である場合については、説明を省略する。この場合、“Ｂｌｅｎｄｅｄ（ｎ）ｔｈ”のピクチャに２（＝１/α）が掛けられ、“Ｂｌｅｎｄｅｄ（ｎ）ｔｈ”のピクチャに−１（＝-β/α）が掛けられ、混合補償後のピクチャ（画像データ）として、混合処理前の“（ｎ）ｔｈ”のピクチャが得られる。

図１４は、上述の混合補償後のピクチャ（画像データ）を用いた場合の予測残差の一例を示している。この場合、“（ｎ＋１）ｔｈ”のピクチャと“ｏｕｔｐｕｔ（ｎ）ｔｈ”の混合補償後のピクチャの間で動きベクトルを参照して予測を行うことで、図１２の（１）混合処理を行わない場合と同様に、予測残差“（ｎ＋１）−（ｎ）”はゼロとなる。

また、図１５は、（１）混合処理を行わない場合と（２）混合処理を行う場合における予測残差の一例を、混合処理の係数がα＝２/３(よって、β＝１/３)の場合を例に、比較して示している。“（ｎ）ｔｈ”、“（ｎ＋１）ｔｈ”は、時間的に前後に隣接する関係にあるピクチャ（フレーム）を示している。ここで、“（ｎ＋１）ｔｈ”のピクチャは予測元のピクチャを構成し“（ｎ）ｔｈ”のピクチャは参照ピクチャを構成する。“Ｂｌｅｎｄｅｄ（ｎ）ｔｈ”のピクチャは混合処理されている参照ピクチャを示している。

予測元のピクチャにおいて一点鎖線の矩形枠は予測ブロック（処理単位のブロック）の範囲を示し、参照ピクチャにおいて一点鎖線の矩形枠は、予測ブロックの範囲に対応した参照ブロックの範囲を示している。また、参照ピクチャにおいて、破線の矩形枠は動きベクトルｍｖで動き補償された参照ブロックの範囲を示している。なお、この例では、簡単化のため、処理単位のブロックが４×４のブロックとしている。処理の単位は、これに限定されるものはなく、これより大きいブロックであってもよい。

混合処理を行わない場合には、図示の入力シーケンスでは、“（ｎ＋１）ｔｈ”と“（ｎ）ｔｈ”のピクチャの間で動きベクトルを参照して予測を行うことで、予測残差“（ｎ＋１）−（ｎ）”はゼロとなる。これに対して、混合処理を行う場合には、“（ｎ＋１）ｔｈ”のピクチャと、同様の入力シーケンスに対して混合処理を施して得られた“Ｂｌｅｎｄｅｄ（ｎ）ｔｈ”のピクチャの間で予測を行うと、動きベクトルを参照して予測を行ったとしても、予測残差“（ｎ＋１）−Ｂｌｅｎｄｅｄ（ｎ）”はゼロにならず、何らかの残差成分が生ずる。

図１６は、上述した混合処理の係数がα＝２/３(よって、β＝１/３)の場合にあって、参照ピクチャである“Ｂｌｅｎｄｅｄ（ｎ）ｔｈ”のピクチャと、予測元のピクチャである“（ｎ＋１）ｔｈ”のピクチャに、混合補償を行う場合の例を示している。図示の例は、図１０に示す混合補償回路１３５において、予測元のピクチャが“Ｂ”である場合に相当する。なお、予測元のピクチャが“Ａ”である場合については、説明を省略する。この場合、“Ｂｌｅｎｄｅｄ（ｎ）ｔｈ”のピクチャに３/２（＝１/α）が掛けられ、“Ｂｌｅｎｄｅｄ（ｎ）ｔｈ”のピクチャに−１/２（＝-β/α）が掛けられ、混合補償後のピクチャ（画像データ）として、混合処理前の“（ｎ）ｔｈ”のピクチャが得られる。

図１７は、上述の混合補償後のピクチャ（画像データ）を用いた場合の予測残差の一例を示している。この場合、“（ｎ＋１）ｔｈ”のピクチャと“ｏｕｔｐｕｔ（ｎ）ｔｈ”の混合補償後のピクチャの間で動きベクトルを参照して予測を行うことで、図１５の（１）混合処理を行わない場合と同様に、予測残差“（ｎ＋１）−（ｎ）”はゼロとなる。

このように、参照ピクチャの画像データとして混合補償後の画像データが用いられることで、予測残差の低減が可能となる。なお、上述の例では、混合処理の係数が、α＝１/２、β＝１/２と、α＝２/３、β＝１/３の２つの例を示した。詳細説明は省略するが、混合処理の係数がその他の場合にあっても、同様である。

図４に戻って、エンコーダ１０２は、拡張ストリームのレイヤに、混合処理における混合比情報を挿入する。この混合比情報は、受信側において、拡張ストリームの復号化処理を行う際の混合補償の処理で使用される。また、エンコーダ１０２は、拡張ストリームの各アクセスユニットに、そのアクセスユニットが時間的に連続する２個のピクチャのいずれに対応するかを示す位相情報を挿入する。この位相情報は、受信側において、拡張ストリームの復号化処理を行う際の混合補償の処理で使用される。つまり、上記連続する２個のピクチャのいずれに対応するかにより、混合補償の処理において係数を切り替える必要があるからである（図１０参照）。

この実施の形態においては、拡張ストリームの各アクセスユニットに混合比情報、位相情報を持つＳＥＩ ＮＡＬユニットを挿入するか、拡張ストリームの各アクセスユニットのＰＰＳ ＮＡＬユニットに混合比情報、位相情報を挿入する。

拡張ストリームの各アクセスユニットに混合比情報、位相情報を持つＳＥＩ ＮＡＬユニットを挿入する場合、エンコーダ１０２は、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、新規定義する、インバース・ブレンディング・レイヤ・プリディクション・ＳＥＩ（inverse_blending_layer_prediction_SEI）を挿入する。

図１８（ａ）は、インバース・ブレンディング・レイヤ・プリディクション・ＳＥＩの構造例(Syntax)を示し、図１８（ｂ）は、その構造例における主要な情報の内容（Semantics）を示している。「blend_coef_alpha」の４ビットフィールドは、係数αを示す。「blend_coef_beta」の４ビットフィールドは、係数βを示す。「picture_phase」の１ビットフィールドは、ピクチャの位相を示す。例えば、“１”は奇数（Odd）位置を示し、“０”は偶数（even）位置を示す。

また、拡張ストリームの各アクセスユニットのＰＰＳ ＮＡＬユニットに混合比情報、位相情報を挿入する場合、エンコーダ１０２は、ＰＰＳ（Picture_parameter_set）の拡張部分に混合比情報、位相情報を定義する。

図１９（ａ）は、ＰＰＳの構造例(Syntax)を示し、図１９（ｂ）は、その構造例における主要な情報の内容（Semantics）を示している。「pps_blend_info_extention_flag」の１ビットフィールドは、拡張部分に混合比情報、位相情報が存在するかを示すフラグ情報である。例えば、“１”は存在することを示し、“０”は存在しないことを示す。

「pps_blend_info_extention_flag」が“１”であるとき、「pps_blend_info_extention( )」のフィールドが存在する。図１９（ｃ）は、「pps_blend_info_extention( )」の構造例(Syntax)を示している。「blend_coef_alpha」の４ビットフィールドは、係数αを示す。「blend_coef_beta」の４ビットフィールドは、係数βを示す。「picture_phase」の１ビットフィールドは、ピクチャの位相を示す。例えば、“１”は奇数（Odd）位置を示し、“０”は偶数（even）位置を示す。

図４に戻って、マルチプレクサ１０３は、エンコーダ１０２で生成される基本ストリームＳＴｂおよび拡張ストリームＳＴｅを、ＰＥＳ（Packetized Elementary Stream）パケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。

また、マルチプレクサ１０３は、トランスポートストリームＴＳのレイヤに、基本ストリームに含まれる画像データが混合処理を施して得られた画像データであることを示す識別情報を挿入する。この場合、マルチプレクサ１０３は、プログラムマップテーブルの配下に拡張ストリームに対応して配置されたビデオエレメンタリストリームループの中に、新規定義するビデオ・スケーラビリティ・インフォメーション・デスクリプタ（video_scalability_information_descriptor）を挿入する。

図２０（ａ）は、ビデオ・スケーラビリティ・インフォメーション・デスクリプタの構造例（Syntax）を示している。図２０（ｂ）は、その構造例における主要な情報の内容（Semantics）を示している。「video_scalability_information_descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示し、ここでは、ビデオ・スケーラビリティ・インフォメーション・デスクリプタであることを示す。「video_scalability_information_descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。

「temporal_scalable_flag」の１ビットフィールドは、時間スケーラブルのストリームであるかを示すフラグ情報である。例えば、“１”は時間スケーラブルであることを示し、“０”は時間スケーラブルでないことを示す。「picture_blending_for_base_stream_flag」の１ビットフィールドは、基本ストリームにピクチャの混合処理がなされているかを示すフラグ情報である。例えば、“１”は混合処理がなされていることを示し、“０”は混合処理がなされていないことを示す。

「picture_blending_for_base_stream_flag」が“１”であるとき、「blend_coef_alpha」の４ビットフィールド、「blend_coef_beta」の４ビットフィールド、さらに、「picture_phase」の１ビットフィールドが存在する。「blend_coef_alpha」のフィールドは、係数αを示す。「blend_coef_beta」のフィールドは、係数βを示す。「picture_phase」のフィールドは、ピクチャの位相を示す。

図２１は、トランスポートストリームＴＳの構成例を示している。このトランスポートストリームＴＳには、基本ストリーム（ベースストリーム）ＳＴｂと拡張ストリーム（エンハンスストリーム）ＳＴｅの２つのビデオストリームが含まれている。すなわち、この構成例では、基本ストリームＳＴｂのＰＥＳパケット「video PES1」が存在すると共に、拡張ストリームＳＴｅのＰＥＳパケット「video PES2」が存在する。

ＰＥＳパケット「video PES2」でコンテナされる各ピクチャの符号化画像データには、インバース・ブレンディング・レイヤ・プリディクション・ＳＥＩ（図１８（ａ）参照）が挿入される。なお、このインバース・ブレンディング・レイヤ・プリディクション・ＳＥＩを挿入する代わりに、ＰＰＳの拡張部分に混合比情報、位相情報の挿入が行われる場合もある。

また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）の一つとして、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。

ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各ビデオストリームに関連した情報を持つエレメンタリストリーム・ループが存在する。この構成例では、基本ストリームに対応したビデオエレメンタリストリームループ「video ES1 loop」が存在すると共に、拡張ストリームに対応したビデオエレメンタリストリームループ「video ES2 loop」が存在する。

「video ES1 loop」には、基本ストリーム（video PES1）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このストリームタイプは、基本ストリームを示す“０ｘ２４”とされる。

また、「video ES2 loop」には、拡張ストリーム（video PES2）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このストリームタイプは、拡張ストリームを示す“０ｘ２ｘ”とされる。また、デスクリプタの一つとして、ビデオ・スケーラビリティ・インフォメーション・デスクリプタ（図１９（ａ）参照）が挿入される。

図４に戻って、送信部１０４は、トランスポートストリームＴＳを、例えば、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調し、ＲＦ変調信号を送信アンテナから送信する。

図４に示す送信装置１００の動作を簡単に説明する。プリプロセッサ１０１には、１２０ｆｐｓの画像データＰが入力される。そして、このプリプロセッサ１０１からは、基本フレームレートの画像データＱｂと、ハイフレームレートの画像データＱｅが出力される。

ここで、プリプロセッサ１０１では、１２０ｆｐｓの画像データＰにおいて時間的に連続する２個のピクチャ単位で混合処理が施されて基本フレームレートの画像データＱｂが得られる。また、このプリプロセッサ１０１では、１２０ｆｐｓの画像データＰがそのままハイフレームレートの画像データＱｅとして出力される。

プリプロセッサ１０１で得られた画像データＱｂ，Ｑｅは、エンコーダ１０２に供給される。エンコーダ１０２では、画像データＱｂ，Ｑｅに対して符号化処理が施されて、基本ストリームＳＴｂおよび拡張ストリームＳＴｅが生成される。この場合、基本フレームレートの画像データＱｂに、この基本フレームレートの画像データの予測符号化処理が施されて、基本ストリームＳＴｂが得られる。また、ハイフレームレートの画像データＱｅに、基本フレームレートの画像データＱｂとの間の予測符号化処理、あるいはこのハイフレームレートの画像データの予測符号化処理が適応的に施されて、拡張ストリームＳＴｅが得られる。基本フレームレートの画像データＱｂとの間の予測符号化処理においては、予測残差を低減するために、混合補償後の画像データが用いられる。

また、エンコーダ１０２では、拡張ストリームのレイヤに、混合処理における混合比情報が挿入され、さらに、拡張ストリームの各アクセスユニットに、そのアクセスユニットが時間的に連続する２個のピクチャのいずれに対応するかを示す位相情報が挿入される。具体的には、拡張ストリームの各アクセスユニットの“ＳＥＩｓ”の部分に、インバース・ブレンディング・レイヤ・プリディクション・ＳＥＩ（図１８（ａ）参照）が挿入されるか、あるいは、拡張ストリームの各アクセスユニットのＰＰＳの拡張部分に混合比情報、位相情報が挿入される（図１９（ａ）参照）。

エンコーダ１０２で生成された基本ストリームＳＴｂおよび拡張ストリームＳＴｅは、マルチプレクサ１０３に供給される。マルチプレクサ１０３では、基本ストリームＳＴｂおよび拡張ストリームＳＴｅが、ＰＥＳパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。

また、マルチプレクサ１０３では、トランスポートストリームＴＳのレイヤに、基本ストリームＳＴｂに含まれる画像データが混合処理を施して得られた画像データであることを示す識別情報が挿入される。具体的には、プログラムマップテーブルの配下に拡張ストリームＳＴｅに対応して配置されたビデオエレメンタリストリームループの中に、ビデオ・スケーラビリティ・インフォメーション・デスクリプタ（図２０（ａ）参照）が挿入される。

マルチプレクサ１０３で生成されたトランスポートストリームＴＳは、送信部１０４に送られる。送信部１０４では、このトランスポートストリームＴＳが、例えば、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調され、ＲＦ変調信号が送信アンテナから送信される。

「受信装置の構成」
図２２は、１２０ｆｐｓの動画像データを処理可能なデコード能力がある受信装置２００Ａの構成例を示している。この受信装置２００Ａは、受信部２０１と、デマルチプレクサ２０２と、デコーダ２０３と、ディスプレイプロセッサ２０５を有している。

受信部２０１は、受信アンテナで受信されたＲＦ変調信号を復調し、トランスポートストリームＴＳを取得する。デマルチプレクサ２０２は、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、基本ストリームＳＴｂおよび拡張ストリームＳＴｅを取り出し、デコーダ２０３に供給する。

また、デマルチプレクサ２０２は、トランスポートストリームＴＳのレイヤに含まれるセクション情報を抽出し、図示しない制御部に送る。この場合、ビデオ・スケーラビリティ・インフォメーション・デスクリプタ（図２０（ａ）参照）も抽出される。これにより、制御部は、基本ストリームＳＴｂに含まれる画像データが混合処理を施して得られた画像データであることなどを認識する。デコーダ２０３は、基本ストリームＳＴｂと拡張ストリームＳＴｅに復号化処理を施してハイフレームレートの画像データＱｅ´を得る。

また、デコーダ２０３は、基本ストリームＳＴｂ、拡張ストリームＳＴｅを構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩを抽出し、図示しない制御部に送る。この場合、混合比情報、位相情報を持つインバース・ブレンディング・レイヤ・プリディクション・ＳＥＩ（図１８（ａ）参照）や、混合比情報、位相情報を拡張部分に持つＰＰＳも抽出される。これにより、制御部は、混合処理における係数α、βや、各アクセスユニットが時間的に連続する２個のピクチャのいずれに対応するかを認識する。この混合比情報、位相情報は、復号化処理において基本フレームレートの画像データに混合補償を行う際に用いられる。

図２３は、デコーダ２０３の復号化処理部分の構成例を示している。この構成例は、基本レイヤ（Base Layer）と、１つの拡張レイヤ（Ext 1 Layer）からなるレイヤ構成例（図８（ａ）参照）である場合に対応している。

このデコーダ２０３は、エントロピー復号化回路２１１と、逆量子化/逆整数変換回路２１２と、動き補償回路２１３と、加算回路２１４と、ループフィルタ２１５と、メモリ２１６を有している。また、このデコーダ２０３は、エントロピー復号化回路２２１と、逆量子化/逆整数変換回路２２２と、動き補償回路２２３と、レイヤ間補償回路２２４と、混合補償回路２２５と、切り替え回路２２６と、加算回路２２７と、切り替え回路２２８と、ループフィルタ２２９と、メモリ２３０を有している。

エントロピー復号化回路２１１では、基本ストリームＳＴｂにエントロピー復号化が施されて、基本レイヤのブロック毎の量子化データが得られる。この量子化データは逆量子化/逆整数変換回路２１２に供給される。この逆量子化/逆整数変換回路２１２では、量子化データに対して逆量子化が施され、さらに逆整数変換が施されて、予測残差が得られる。このブロック毎の予測誤差は、加算回路２１４に供給される。

動き補償回路２１３では、メモリ２１６に記憶されている参照ピクチャの画像データに基づいて、動き補償された補償参照ブロックが得られる。ここで、動き補償は、ＭＢヘッダ情報として含まれている動きベクトルを用いて行われる。加算回路２１４では、予測残差に補償参照ブロックが加算されて、基本フレームレートの画像データＱｂ´を構成するブロックが得られる。

このように加算回路２１４で得られるブロックは、ループフィルタ１２５で量子化ノイズが除去された後に、メモリ２１６に蓄積される。そして、このメモリ２１６からの蓄積データの読み出しにより、基本フレームレートの画像データＱｂ´を得ることができる。

エントロピー復号化回路２２１では、拡張ストリームＳＴｅにエントロピー復号化が施されて、拡張レイヤのブロック毎の量子化データが得られる。この量子化データは逆量子化/逆整数変換回路２２２に供給される。この逆量子化/逆整数変換回路２２２では、量子化データに対して逆量子化が施され、さらに逆整数変換が施されて、予測残差が得られる。このブロック毎の予測誤差は、加算回路２２７に供給される。

動き補償回路２２３では、メモリ２３０に記憶されている参照ピクチャの画像データに基づいて、動き補償された、レイヤ内補償のための補償参照ブロックが得られる。ここで、動き補償は、ＭＢヘッダ情報として含まれている動きベクトルを用いて行われる。

レイヤ間補償回路２２４には、混合補償回路２２５で得られた混合補償後の画像データ、あるいはメモリ２１６に記憶されている画像データが、参照ピクチャの画像データとして、切り替え回路２２６から選択的に供給される。レイヤ間補償回路２２４では、参照ピクチャの画像データに基づいて、動き補償され、さらに予測残差を低減するための予測係数が乗算された、レイヤ間補償のための補償参照ブロックが得られる。ここで、動き補償はＭＢヘッダ情報として含まれている動きベクトルを用いて行われ、画像データ切り替えもＭＢヘッダ情報として含まれている切り替え情報に基づいて行われる。

混合補償回路２２５には、メモリ２１６から参照ピクチャの画像データ（基本フレームレートの画像データ）が供給される。また、この混合補償回路２２５には、メモリ２３０から予測元のピクチャの画像データ（ハイフレームレートの画像データ）が供給される。なお、基本レイヤのピクチャの処理と拡張レイヤのピクチャの処理は同期して行われる。

混合補償回路２２５では、基本フレームレートの画像データにハイフレームレートの画像データを用いて混合処理の逆の処理が施され、ハイフレームレートの画像データが時間的に連続する２個のピクチャ単位で一方のピクチャの画像データであるときに他方のピクチャの画像データとなる画像データが、混合補償後の画像データとして得られる。この混合処理回路２２５は、上述した送信装置１００のエンコーダ１０２における混合補償回路１３５と同様に構成され（図１０参照）、この混合補償回路１３５の処理に上述したように制御部で認識された混合比情報、位相情報が使用される。

動き補償回路２２３で得られたレイヤ内補償のための補償参照ブロック、あるいはレイヤ間補償回路２２４で得られたレイヤ間補償のための補償参照ブロックが、切り替え回路２２８によりブロック単位で選択されて加算回路２２７に供給される。ここで、切り替えは、ＭＢヘッダの情報に従って行われる。

加算回路２２７では、予測残差に補償参照ブロックが加算されて、ハイフレームレートの拡張フレームの画像データＱｅ´を構成するブロックが得られる。このように加算回路２２７で得られるブロックは、ループフィルタ２２９で量子化ノイズが除去された後に、メモリ２３０に蓄積される。そして、このメモリ２３０からの蓄積データの読み出しにより、ハイフレームレートの拡張フレームの画像データＱe´が得られる。

図２４も、デコーダ２０３の復号化処理部分の構成例を示している。この構成例は、基本レイヤ（Base Layer）と、２つの拡張レイヤ（Ext 1 Layer, Ext 2 Layer）からなるレイヤ構成例（図８（ｂ），（ｃ）参照）である場合に対応している。この図２４において、図２３と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。

このデコーダ２０３は、エントロピー復号化回路２１１と、逆量子化/逆整数変換回路２１２と、動き補償回路２１３と、加算回路２１４と、ループフィルタ２１５と、メモリ２１６を有している。また、このデコーダ２０３は、切り替え回路２２０と、エントロピー復号化回路２２１Ａと、逆量子化/逆整数変換回路２２２Ａと、動き補償回路２２３Ａと、レイヤ間補償回路２２４Ａと、混合補償回路２２５Ａと、切り替え回路２２６Ａと、加算回路２２７Ａと、切り替え回路２２８Ａと、ループフィルタ２２９Ａと、メモリ２３０Ａを有している。

また、このデコーダ２０３は、切り替え回路２３１と、エントロピー復号化回路２２１Ｂと、逆量子化/逆整数変換回路２２２Ｂと、動き補償回路２２３Ｂと、レイヤ間補償回路２２４Ｂと、混合補償回路２２５Ｂと、切り替え回路２２６Ｂと、加算回路２２７Ｂと、切り替え回路２２８Ｂと、ループフィルタ２２９Ｂと、メモリ２３０Ｂ、切り替え回路２３１，２３２を有している。

基本ストリームＳＴｂに対する復号化処理、つまり基本レイヤ（Base Layer）の復号化処理については、図２３のデコーダ２０３の復号化処理部分の構成例と同様であるので、詳細説明は省略する。拡張ストリームＳＴｅに対する符号化処理は、拡張レイヤ１の復号化処理と、拡張レイヤ２の復号化処理に、分けて行われる。

拡張ストリームＳＴｅは、切り替え回路２２０で、拡張レイヤ１の復号化処理で扱うピクチャのアクセスユニット（符号化画像データ）と拡張レイヤ２の復号化処理で扱うピクチャのアクセスユニット（符号化画像データ）に振り分けられる。ここで、拡張レイヤ１の復号化処理で扱うピクチャのアクセスユニットは、時間的に連続する２個のピクチャで奇数（Odd）位置のピクチャのアクセスユニットである。また、拡張レイヤ２の復号化処理で扱うピクチャのアクセスユニットは、時間的に連続する２個のピクチャで偶数（Even）位置のピクチャのアクセスユニットである。

図２４において、“Ａ”が添えられた符号で示される各回路により、拡張レイヤ１の復号化処理の系が構成されている。この拡張レイヤ１の復号化処理の系は、図２３のデコーダ２０３の復号化処理部分の構成例における拡張レイヤの復号化処理の系と同様に構成されており、メモリ２３０Ａからの蓄積データの読み出しにより、ハイフレームレートの各ピクチャの画像データのうち、時間的に連続する２個のピクチャで奇数（Odd）位置のピクチャの画像データが順次得られる。なお、拡張レイヤ１の復号化処理の系では、基本レイヤとの間での補償処理、あるいは拡張レイヤ１内での補償処理が行われる。

図２４において、“Ｂ”が添えられた符号で示される各回路により、拡張レイヤ２の復号化処理の系が構成されている。この拡張レイヤ２の復号化処理の系は、図２３のデコーダ２０３の復号化処理部分の構成例における拡張レイヤの復号化処理の系と同様に構成されており、メモリ２３０Ｂからの蓄積データの読み出しにより、ハイフレームレートの各ピクチャの画像データのうち、時間的に連続する２個のピクチャで偶数（Even）位置のピクチャの画像データが順次得られる。

なお、拡張レイヤ２の復号化処理の系では、基本レイヤとの間での補償処理、拡張レイヤ１との間の予測符号化処理、あるいは拡張レイヤ２内での補償処理が行われる。基本レイヤとの間での補償処理が行われる場合、切り替え回路２３１では、メモリ２１６の出力が選択される。一方、拡張レイヤ１との間の補償処理が行われる場合、切り替え回路２３１では、メモリ２３０Ａの出力が選択される。
順次得られる。

切り替え回路２３２では、メモリ２３０Ａから読み出された奇数（Odd）位置のピクチャの画像データとメモリ２３０Ｂから読み出された偶数（Even）位置のピクチャの画像データとが合成されて、ハイフレームレートの画像データＱｅ´が得られる。

図２２に戻って、ディスプレイプロセッサ２０５は、ハイフレームレートの画像データＱｅ´に対して、必要に応じて時間方向の補間処理、つまりフレーム補間処理を施して、１２０ｆｐｓより高いフレームレートの画像データを得て、表示部に供給する。

図２２に示す受信装置２００Ａの動作を簡単に説明する。受信部２０１では、受信アンテナで受信されたＲＦ変調信号が復調され、トランスポートストリームＴＳが取得される。このトランスポートストリームＴＳは、デマルチプレクサ２０２に送られる。デマルチプレクサ２０２では、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、基本ストリームＳＴｂおよび拡張ストリームＳＴｅが取り出され、デコーダ２０３に供給される。

また、デマルチプレクサ２０２では、トランスポートストリームＴＳのレイヤに含まれるセクション情報が抽出され、図示しない制御部に送られる。ビデオ・スケーラビリティ・インフォメーション・デスクリプタ（図２０（ａ）参照）も抽出される。これにより、制御部では、基本ストリームＳＴｂに含まれる画像データが混合処理を施して得られた画像データであることなどが認識される。

デコーダ２０３では、基本ストリームＳＴｂと拡張ストリームＳＴｅに復号化処理が施されてハイフレームレートの画像データＱｅ´が得られる。また、デコーダ２０３では、基本ストリームＳＴｂ、拡張ストリームＳＴｅを構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩが抽出され、図示しない制御部に送る。これにより、制御部では、混合処理における係数α、βや、各アクセスユニットが時間的に連続する２個のピクチャのいずれに対応するかが認識される。この混合比情報、位相情報は、復号化処理において基本フレームレートの画像データに混合補償を行う際に用いられる。

デコーダ２０３で得られたハイフレームレートの画像データＱｅ´は、ディスプレイプロセッサ２０５に供給される。必要に応じて、ハイフレームレートの画像データＱｅ´に対して時間方向の補間処理、つまりフレーム補間処理が施されて、１２０ｆｐｓより高いフレームレートの画像データが得られる。この画像データは、表示部に供給され、画像表示が行われる。

図２５は、６０ｆｐｓの動画像データを処理可能なデコード能力がある受信装置２００Ｂの構成例を示している。この図２５において、図２２と対応する部分には同一符号を付し、適宜、その詳細説明を省略する。この受信装置２００Ｂは、受信部２０１と、デマルチプレクサ２０２Ｂと、デコーダ２０３Ｂと、ディスプレイプロセッサ２０５Ｂを有している。

受信部２０１では、受信アンテナで受信されたＲＦ変調信号が復調され、トランスポートストリームＴＳが取得される。デマルチプレクサ２０２Ｂでは、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、基本ストリームＳＴｂのみが取り出されて、デコーダ２０３Ｂに供給される。

デコーダ２０３Ｂでは、基本ストリームＳＴｂに復号化処理が施されて基本フレームレートの画像データＱｂが得られる。ディスプレイプロセッサ２０５Ｂでは、６０ｆｐｓの画像データＱｂに対して時間方向の補間処理、つまりフレーム補間処理が施されて、６０ｆｐｓより高いフレームレートの画像データが得られる。この画像データは、表示部に供給され、画像表示が行われる。

以上説明したように、図１に示す送受信システム１０においては、１２０ｆｐｓの画像データＰにおいて時間的に連続する２個のピクチャ単位で混合処理を施して、６０ｆｐｓの基本フレームレートの画像データＱｂを得、この基本フレームレートの画像データＱｂに予測符号化処理を施して得られた基本ストリームＳＴｂを送信するものである。そのため、例えば、受信側では、基本フレームレートの画像データを処理可能なデコード能力がある場合、この基本ストリームＳＴｂを処理して基本フレームレートの画像データを得ることで、動画像として滑らかな画像を表示でき、また、表示処理において低負荷演算によるフレーム補間処理で画質的な問題を引き起こすことを回避できる。

また、図１に示す送受信システム１０においては、ハイフレームレートの画像データＱｅを含む拡張ストリームＳＴｅが送信される。そのため、ハイフレームレートの画像データを処理可能なデコード能力がある受信機の場合、この拡張ストリームＳＴｅを処理してハイフレームレートの画像データを得ることで、ハイフレームレートの画像表示を良好に行うことができる。

また、図１に示す送受信システム１０においては、ハイフレームレートの画像データＱｅを基本フレームレートの画像データＱｂを参照して予測符号化を行う場合に、この基本フレームレートの画像データＱｂに混合補償の処理が行われ、混合補償後の画像データが参照画像データとして用いられる。そのため、ハイフレームレートの画像データＱｅの予測符号化に当たって、予測残差を低減することが可能となる。

また、図１に示す送受信システム１０においては、拡張ストリームのレイヤに混合処理における混合比情報が挿入される。そのため、受信側では、この混合比情報を用いて混合処理の逆の処理を容易かつ適切に行うことが可能となる。

また、図１に示す送受信システム１０においては、拡張ストリームの各アクセスユニットに、このアクセスユニットが時間的に連続する２個のピクチャのいずれに対応するかを示す位相情報が挿入される。そのため、受信側では、この位相情報を用いて混合処理の逆の処理（混合補償処理）における係数を適切に切り換えることができ、当該処理を容易かつ適切に行うことが可能となる。

＜２．変形例＞
なお、上述実施の形態においては、全体のフレームレートが１２０ｆｐｓで基本フレームレートが６０ｆｐｓの例を示したが、フレームレートの組み合わせは、これに限定されるものではない。例えば、１００ｆｐｓと５０ｆｐｓの組み合わせでも同様である。

また、上述実施の形態においては、送信装置１００と受信装置２００からなる送受信システム１０を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置２００の部分が、例えば、（ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。なお、「ＨＤＭＩ」は、登録商標である。

また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）あるいはＭＭＴ（MPEG Media Transport）、インターネット配信で使用されているＩＳＯＢＭＦＦ（ＭＰ４）などの種々のフォーマットのコンテナが該当する。

また、本技術は、以下のような構成を取ることもできる。
（１）ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データのピクチャ毎の符号化画像データをアクセスユニットとして含む基本ストリームを得ると共に、上記ハイフレームレートの画像データのピクチャ毎の符号化画像データをアクセスユニットとして含む拡張ストリームを得る画像符号化部と、
上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信部を備える
送信装置。
（２）上記拡張ストリームのレイヤに上記混合処理における混合比情報を挿入する情報挿入部をさらに備える
前記（１）に記載の送信装置。
（３）上記基本ストリームおよび上記拡張ストリームはＮＡＬユニット構造を有し、
上記情報挿入部は、
上記混合比情報を持つＳＥＩ ＮＡＬユニットを、上記拡張ストリームに挿入する
前記（２）に記載の送信装置。
（４）上記基本ストリームおよび上記拡張ストリームはＮＡＬユニット構造を有し、
上記情報挿入部は、
上記混合比情報を、上記拡張ストリームのＰＰＳ ＮＡＬユニットに挿入する
前記（２）に記載の送信装置。
（５）上記拡張ストリームの各アクセスユニットに、該アクセスユニットが上記時間的に連続する２個のピクチャのいずれに対応するかを示す位相情報を挿入する情報挿入部をさらに備える
前記（１）から（４）のいずれかに記載の送信装置。
（６）上記コンテナのレイヤに上記基本ストリームに含まれる画像データが上記混合処理を施して得られた画像データであることを示す識別情報を挿入する情報挿入部をさらに備える
前記（１）から（５）のいずれかに記載の送信装置。
（７）上記画像符号化部は、
上記基本フレームレートの画像データに該基本フレームレートの画像データの予測符号化処理を施して上記基本ストリームを得ると共に、
上記基本フレームレートの画像データに上記ハイフレームレートの画像データを用いて上記混合処理の逆の処理を施し、上記ハイフレームレートの画像データが上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データであるときに他方のピクチャの画像データを混合補償後の画像データとして取得し、上記ハイフレームレートの画像データに該混合補償後の画像データとの間の予測符号化処理を施して上記拡張ストリームを得る
前記（１）から（６）のいずれかに記載の送信装置。
（８）上記画像符号化部は、上記ハイフレームレートの画像データの予測ブロック毎に、上記混合補償後の画像データとして上記予測ブロック以上の範囲の画像データを取得する
前記（７）に記載の送信装置。
（９）ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データのピクチャ毎の符号化画像データをアクセスユニットとして含む基本ストリームを得ると共に、上記ハイフレームレートの画像データのピクチャ毎の符号化画像データをアクセスユニットとして含む拡張ストリームを得る画像符号化ステップと、
送信部により、上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信ステップを有する
送信方法。
（１０）基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記基本ストリームは、ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データに該基本フレームレートの画像データの予測符号化処理を施して得られたものであり、
上記拡張ストリームは、上記ハイフレームレートの画像データに、上記基本フレームレートの画像データに上記ハイフレームレートの画像データを用いて上記混合処理の逆の処理を施して得られた、上記ハイフレームレートの画像データが上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データであるときに他方のピクチャの画像データである混合補償後の画像データとの間の予測符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理して上記ハイフレームレートの画像データを得る処理部をさらに備え、
上記処理部は、上記拡張ストリームに復号化処理を施すとき、
上記基本ストリームを処理して得られた上記基本フレームレートの画像データに上記拡張ストリームを処理して得られた上記ハイフレームレートの画像データを用いて上記混合処理の逆の処理を施して上記ハイフレームレートの画像データが上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データであるときに他方のピクチャの画像データである混合補償後の画像データを取得して、該混合補償後の画像データを参照画像データとして用いる
受信装置。
（１１）上記拡張ストリームのレイヤに上記混合処理における混合比情報が挿入されており、
上記処理部は、上記混合処理の逆の処理を施す際に、上記混合比情報を用いる
前記（１０）に記載の受信装置。
（１２）上記拡張ストリームの各アクセスユニットに、該アクセスユニットが上記時間的に連続する２個のピクチャのいずれに対応するかを示す位相情報が挿入されており、
上記処理部は、上記混合処理の逆の処理を施す際に、上記位相情報を用いる
前記（１０）または（１１）に記載の受信装置。
（１３）受信部により、基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
上記基本ストリームは、ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データに該基本フレームレートの画像データの予測符号化処理を施して得られたものであり、
上記拡張ストリームは、上記ハイフレームレートの画像データに、上記基本フレームレートの画像データに、上記ハイフレームレートの画像データを用いて上記混合処理の逆の処理を施して得られた上記ハイフレームレートの画像データが上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データであるときに他方のピクチャの画像データである混合補償後の画像データとの間の予測符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理して上記ハイフレームレートの画像データを得る処理ステップをさらに有し、
上記処理ステップでは、上記拡張ストリームに復号化処理を施すとき、
上記基本ストリームを処理して得られた上記基本フレームレートの画像データに上記拡張ストリームを処理して得られた上記ハイフレームレートの画像データを用いて上記混合処理の逆の処理を施して上記ハイフレームレートの画像データが上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データであるときに他方のピクチャの画像データである混合補償後の画像データを取得して、該混合補償後の画像データを参照画像データとして用いる
受信方法。
（１４）基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記基本ストリームは、ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データに符号化処理を施して得られたものであり、
上記拡張ストリームは、上記ハイフレームレートの画像データに符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理して上記ハイフレームレートの画像データを得る処理部をさらに備える
受信装置。

本技術の主な特徴は、１２０ｆｐｓの画像データＰにおいて時間的に連続する２個のピクチャ単位で混合処理を施して、６０ｆｐｓの基本フレームレートの画像データＱｂを得、この基本フレームレートの画像データＱｂを含む基本ストリームＳＴｂと共に、１２０ｆｐｓのハイフレームレートの画像データＱｅを含む拡張ストリームＳＴｅを送信することで、下位互換を図りながら、ハイフレームレートの画像データの良好な送信を可能としたことである（図３、図９参照）。

１０・・・送受信システム
１００・・・送信装置
１０１・・・プリプロセッサ
１０２・・・エンコーダ
１０３・・・マルチプレクサ
１０４・・・送信部
１１１，１１４・・・遅延回路
１１２・・・演算回路
１１３・・・ラッチ回路
１２１・・・ブロック化回路
１２２・・・減算回路
１２３・・・動き予測/動き補償回路
１２４・・・整数変換/量子化回路
１２５・・・逆量子化/逆整数変換回路
１２６・・・加算回路
１２７・・・ループフィルタ
１２８・・・メモリ
１２９・・・エントロピー符号化回路
１３０・・・切り替え回路
１３１，１３１Ａ，１３１Ｂ・・・ブロック化回路
１３２，１３２Ａ，１３２Ｂ・・・減算回路
１３３，１３３Ａ，１３３Ｂ・・・動き予測/動く補償回路
１３４，１３４Ａ，１３４Ｂ・・・レイヤ間予測/レイヤ間補償回路
１３５，１３５Ａ，１３５Ｂ・・・混合回路
１３６，１３６Ａ，１３６Ｂ，１３７，１３７Ａ，１３７Ｂ・・・切り替え回路
１３８，１３８Ａ，１３８Ｂ・・・整数変換/量子化回路
１３９，１３９Ａ，１３９Ｂ・・・逆量子化/逆整数変換回路
１４０，１４０Ａ，１４０Ｂ・・・加算回路
１４１，１４１Ａ，１４１Ｂ・・・ループフィルタ
１４２，１４２Ａ，１４２Ｂ・・・メモリ
１４３，１４３Ａ，１４３Ｂ・・・エントロピー符号化回路
１４５，１４６・・・切り替え回路
１５１，１５２・・・乗算部
１５３・・・加算部
２００Ａ，２００Ｂ・・・受信装置
２０１・・・受信部
２０２，２０２Ｂ・・・デマルチプレクサ
２０３，２０３Ｂ・・・デコーダ
２０５，２０５Ｂ・・・ディスプレイプロセッサ
２１１・・・エントロピー復号化回路
２１２・・・逆量子化/逆整数変換回路
２１３・・・動き補償回路
２１４・・・加算回路
２１５・・・ループフィルタ
２１６・・・メモリ
２２０・・・切り替え回路
２２１，２２１Ａ，２２１Ｂ・・・エントロピー復号化回路
２２２，２２２Ａ，２２２Ｂ・・・逆量子化/逆整数変換回路
２２３，２２３Ａ，２２３Ｂ・・・動き補償回路
２２４，２２４Ａ，２２４Ｂ・・・レイヤ間補償回路
２２５，２２５Ａ，２２５Ｂ・・・混合補償回路
２２６，２２６Ａ，２２６Ｂ・・・切り替え回路
２２７，２２７Ａ，２２７Ｂ・・・加算回路
２２８，２２８Ａ，２２８Ｂ・・・切り替え回路
２２９，２２９Ａ，２２９Ｂ・・・ループフィルタ
２３０，２３０Ａ，２３０Ｂ・・・メモリ
２３１，２３２・・・切り替え回路

Claims (14)

1. ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で加算混合する混合処理を施して得られた上記ハイフレームレートの１/２のフレームレートである基本フレームレートの画像データの各ピクチャの符号化画像データをアクセスユニットとして含む基本レイヤの符号化画像データを得ると共に、上記ハイフレームレートの画像データそのものの各ピクチャの符号化画像データをアクセスユニットとして含む拡張レイヤの符号化画像データを得る画像符号化部と、
   上記基本レイヤの符号化画像データおよび上記拡張レイヤの符号化画像データを送信する送信部を備える
   送信装置。
2. 上記送信部は、上記混合処理における混合比情報をさらに送信する
   請求項１に記載の送信装置。
3. 上記基本レイヤの符号化画像データおよび上記拡張レイヤの符号化画像データはＮＡＬユニット構造を有し、
   上記混合比情報は、上記拡張レイヤの符号化画像データのＳＥＩ ＮＡＬユニットに挿入されている
   請求項２に記載の送信装置。
4. 上記基本レイヤの符号化画像データおよび上記拡張レイヤの符号化画像データはＮＡＬユニット構造を有し、
   上記混合比情報は、上記拡張レイヤの符号化画像データのＰＰＳ ＮＡＬユニットに挿入されている
   請求項２に記載の送信装置。
5. 上記拡張レイヤの符号化画像データの各アクセスユニットに、該アクセスユニットが上記時間的に連続する２個のピクチャのいずれに対応するかを示す位相情報を挿入する情報挿入部をさらに備える
   請求項１に記載の送信装置。
6. 上記送信部は、上記基本レイヤに含まれる画像データが上記混合処理を施して得られた画像データであることを示す識別情報をさらに送信する
   請求項１に記載の送信装置。
7. 上記画像符号化部は、
   上記基本フレームレートの画像データに該基本フレームレートの画像データの予測符号化処理を施して上記基本レイヤの符号化画像データを得ると共に、
   上記基本フレームレートの画像データに上記ハイフレームレートの画像データを用いて上記混合処理の逆の処理を施し、上記ハイフレームレートの画像データが上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データであるときに他方のピクチャの画像データを混合補償後の画像データとして取得し、上記ハイフレームレートの画像データに該混合補償後の画像データとの間の予測符号化処理を施して上記拡張レイヤの符号化画像データを得る
   請求項１に記載の送信装置。
8. 上記画像符号化部は、上記ハイフレームレートの画像データの予測ブロック毎に、上記混合補償後の画像データとして上記予測ブロック以上の範囲の画像データを取得する
   請求項７に記載の送信装置。
9. ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で加算混合する混合処理を施して得られた上記ハイフレームレートの１/２のフレームレートである基本フレームレートの画像データの各ピクチャの符号化画像データをアクセスユニットとして含む基本レイヤの符号化画像データを得ると共に、上記ハイフレームレートの画像データそのものの各ピクチャの符号化画像データをアクセスユニットとして含む拡張レイヤの符号化画像データを得る画像符号化ステップと、
   送信部により、上記基本レイヤの符号化画像データおよび上記拡張レイヤの符号化画像データを送信する送信ステップを有する
   送信方法。
10. 基本レイヤの符号化画像データおよび拡張レイヤの符号化画像データを受信する受信部を備え、
    上記基本レイヤの符号化画像データは、ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で加算混合する混合処理を施して得られた上記ハイフレームレートの１/２のフレームレートである基本フレームレートの画像データに該基本フレームレートの画像データの予測符号化処理を施して得られたものであって、上記基本フレームレートの画像データの各ピクチャの符号化画像データをアクセスユニットとして含み、
    上記拡張レイヤの符号化画像データは、上記ハイフレームレートの画像データに、上記基本フレームレートの画像データに上記ハイフレームレートの画像データを用いて上記混合処理の逆の処理を施して得られた、上記ハイフレームレートの画像データが上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データであるときに他方のピクチャの画像データである混合補償後の画像データとの間の予測符号化処理を施して得られたものであって、上記ハイフレームレートの画像データそのものの各ピクチャの符号化画像データをアクセスユニットとして含み、
    上記基本レイヤの符号化画像データを処理して上記基本フレームレートの画像データを得るか、あるいは上記拡張レイヤの符号化画像データを処理して上記ハイフレームレートの画像データを得る処理部をさらに備え、
    上記処理部は、上記拡張レイヤの符号化画像データに復号化処理を施すとき、
    上記基本レイヤの符号化画像データを処理して得られた上記基本フレームレートの画像データに上記拡張レイヤの符号化画像データを処理して得られた上記ハイフレームレートの画像データを用いて上記混合処理の逆の処理を施して上記ハイフレームレートの画像データが上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データであるときに他方のピクチャの画像データである混合補償後の画像データを取得して、該混合補償後の画像データを参照画像データとして用いる
    受信装置。
11. 上記受信部は、上記混合処理における混合比情報をさらに受信し、
    上記処理部は、上記混合処理の逆の処理を施す際に、上記混合比情報を用いる
    請求項１０に記載の受信装置。
12. 上記拡張レイヤの符号化画像データの各アクセスユニットに、該アクセスユニットが上記時間的に連続する２個のピクチャのいずれに対応するかを示す位相情報が挿入されており、
    上記処理部は、上記混合処理の逆の処理を施す際に、上記位相情報を用いる
    請求項１０に記載の受信装置。
13. 受信部により、基本レイヤの符号化画像データおよび拡張レイヤの符号化画像データを受信する受信ステップを有し、
    上記基本レイヤの符号化画像データは、ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で加算混合する混合処理を施して得られた上記ハイフレームレートの１/２のフレームレートである基本フレームレートの画像データに該基本フレームレートの画像データの予測符号化処理を施して得られたものであって、上記基本フレームレートの画像データの各ピクチャの符号化画像データをアクセスユニットとして含み、
    上記拡張レイヤの符号化画像データは、上記ハイフレームレートの画像データに、上記基本フレームレートの画像データに、上記ハイフレームレートの画像データを用いて上記混合処理の逆の処理を施して得られた上記ハイフレームレートの画像データが上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データであるときに他方のピクチャの画像データである混合補償後の画像データとの間の予測符号化処理を施して得られたものであって、上記ハイフレームレートの画像データそのものの各ピクチャの符号化画像データをアクセスユニットとして含み、
    上記基本レイヤの符号化画像データを処理して上記基本フレームレートの画像データを得るか、あるいは上記拡張レイヤの符号化画像データを処理して上記ハイフレームレートの画像データを得る処理ステップをさらに有し、
    上記処理ステップでは、上記拡張レイヤの符号化画像データに復号化処理を施すとき、
    上記基本レイヤの符号化画像データを処理して得られた上記基本フレームレートの画像データに上記拡張レイヤの符号化画像データを処理して得られた上記ハイフレームレートの画像データを用いて上記混合処理の逆の処理を施して上記ハイフレームレートの画像データが上記時間的に連続する２個のピクチャ単位で一方のピクチャの画像データであるときに他方のピクチャの画像データである混合補償後の画像データを取得して、該混合補償後の画像データを参照画像データとして用いる
    受信方法。
14. 基本レイヤの符号化画像データおよび拡張レイヤの符号化画像データを受信する受信部を備え、
    上記基本レイヤの符号化画像データは、ハイフレームレートの画像データにおいて時間的に連続する２個のピクチャ単位で加算混合する混合処理を施して得られた上記ハイフレームレートの１/２のフレームレートである基本フレームレートの画像データに符号化処理を施して得られたものであって、上記基本フレームレートの画像データの各ピクチャの符号化画像データをアクセスユニットとして含み、
    上記拡張レイヤの符号化画像データは、上記ハイフレームレートの画像データに符号化処理を施して得られたものであって、上記ハイフレームレートの画像データそのものの各ピクチャの符号化画像データをアクセスユニットとして含み、
    上記基本レイヤの符号化画像データを処理して上記基本フレームレートの画像データを得るか、あるいは上記拡張レイヤの符号化画像データを処理して上記ハイフレームレートの画像データを得る処理部をさらに備える
    受信装置。

Images