JP5707261B2 - 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム - Google Patents

Description

本発明は、動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラムに関する。

従来、動画像符号化装置は、カラー映像を扱う際に色空間を考慮する。動画像符号化では、色空間として、ＲＧＢやＹＵＶやＹＣｂＣｒなどが用いられる。

非特許文献１には、次世代動画像符号化方式ＨＥＶＣの作業草案が示されている。イントラ予測方式では、輝度成分と色差成分とで、変換ユニットの構造が異なっていたり、予測モードが異なっていたりする場合がある。

非特許文献２には、次世代動画像符号化方式におけるフレーム内予測として、チャネル間予測が示されている。具体的には、再構成したＹ_Ｃ成分からＵ、Ｖ成分をそれぞれ線型予測する。その際、Ｙ_Ｃ成分とＵ、Ｖ成分とで解像度が異なるため、Ｙ_Ｃ成分の縮小成分Ｙ_Ｃ’を生成する。Ｕ成分の予測式は、以下の式（１）のように表される。

Ｖ成分の予測式についても、Ｕ成分の予測式と同様に表される。なお、式（１）において、αおよびβは、予測係数を示し、符号化済みの周囲の画素から推定される。

特許文献１には、画像符号化方式における、色信号の冗長性を削除するチャネル間予測方式が示されている。

非特許文献３には、次世代動画像符号化方式におけるフレーム内予測として、イントラ予測残差信号に着目したチャネル間予測が示されている。具体的には、色差の予測残差Ｕ_Ｒ（ｘ、ｙ）およびＶ_Ｒ（ｘ、ｙ）を、輝度の予測残差Ｙ_Ｒ（ｘ、ｙ）から線型予測する。その際に、Ｙ_Ｒ成分とＵ_Ｒ、Ｖ_Ｒ成分とで解像度が異なるため、Ｙ_Ｒ成分の縮小成分Ｙ_Ｒ’を生成する。Ｕ成分の予測式は、以下の式（２）のように表される。

Ｖ成分の予測式についても、Ｕ成分の予測式と同様に表される。なお、式（２）において、αおよびβは、予測係数を示し、予測係数αのみが符号化側で明示的に導出され、量子化されて伝送される。

特開２００６−３１０９４１号公報

T. Wiegand, et. al. "WD3: Working Draft 3 of High-Efficiency Video Coding," JCTVC-E603, March 2011. J. Chen, et. al. " CE6.a.4: Chroma intra prediction by reconstructed luma samples," JCTVC-E255, March 2011. 河村ら、"ＣＴＢ構造におけるイントラ予測残差信号のチャネル間予測符号化，" 電子情報通信学会 総合大会，DS-2-5，March 2011．

非特許文献２に示されている手法では、チャネル間予測を用いることで、符号化性能を向上させることができる。しかしながら、非特許文献２には、予測係数を伝送することについて示されていない。このため、符号化対象ブロックにおける予測係数が周囲と異なる場合に、符号化性能が低下してしまうという課題があった。

一方、特許文献１や非特許文献３に示されている手法では、予測係数を伝送することができるため、チャネル間予測を用いることで、符号化性能を向上させることができる。しかしながら、特許文献１や非特許文献３に示されている手法は、輝度成分と色差成分とで変換ユニットの構造やイントラ予測モードが異なる場合、チャネル間予測を用いることができない。すなわち、特許文献１や非特許文献３に示されている手法では、チャネル間予測を用いることができない場合が存在しており、符号化性能を向上させることができない場合があった。

そこで、本発明は、上述の課題に鑑みてなされたものであり、符号化性能を向上できる動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラムを提供することを目的とする。

本発明は、上記の課題を解決するために、以下の事項を提案している。

（１） 本発明は、複数の信号成分（例えば、図１の輝度信号および色差信号に相当）が入力される動画像符号化装置（例えば、図１の動画像符号化装置ＡＡに相当）であって、前記複数の信号成分のうちの１つ（例えば、図１の輝度信号に相当）を参照信号とし、当該複数の信号成分のうち当該参照信号を除くもの（例えば、図１の色差信号に相当）の予測モードを用いて、当該参照信号に対して演算を行う符号化側再計算手段（例えば、図１のイントラ予測部２に相当）と、前記符号化側再計算手段による演算結果を用いて、前記複数の信号成分のうち当該参照信号を除くもののチャネル間予測を行う符号化側チャネル間予測手段（例えば、図１のチャネル間残差信号予測部１０に相当）と、前記符号化側チャネル間予測手段によるチャネル間予測により求められた予測係数（例えば、後述の予測係数αに相当）を含むビットストリームデータを生成する伝送手段（例えば、図１のエントロピー符号化部１１に相当）と、を備えることを特徴とする動画像符号化装置を提案している。

この発明によれば、複数の信号成分が入力される動画像符号化装置に、符号化側再計算手段、符号化側チャネル間予測手段、および伝送手段を設けた。そして、符号化側再計算手段により、複数の信号成分のうちの１つを参照信号とし、複数の信号成分のうち参照信号を除くものの予測モードを用いて、参照信号に対して演算を行うこととした。また、符号化側チャネル間予測手段により、符号化側再計算手段による演算結果を用いて、複数の信号成分のうち参照信号を除くもののチャネル間予測を行い、伝送手段により、符号化側チャネル間予測手段によるチャネル間予測により求められた予測係数を含むビットストリームデータを生成することとした。

このため、動画像符号化装置から動画像復号装置に予測係数を伝送することができる。したがって、符号化対象ブロックにおける予測係数が周囲と異なる場合であっても、符号化性能が低下してしまうのを防止できる。

また、チャネル間予測を行う信号を対象信号と呼ぶこととすると、対象信号と同じ予測モードを用いて参照信号に対して演算を行った後に、この演算結果を用いて対象信号のチャネル間予測を行うことができる。このため、対象信号と参照信号とで予測モードが異なる場合であっても、対象信号のチャネル間予測を行うことができ、符号化性能を向上させることができる。

（２） 本発明は、（１）の動画像符号化装置について、前記符号化側再計算手段は、前記複数の信号成分のうち前記参照信号を除くものの予測モードおよび変換ユニットの構造を用いて、当該参照信号に対して演算を行うことを特徴とする動画像符号化装置を提案している。

この発明によれば、（１）の動画像符号化装置において、符号化側再計算手段により、複数の信号成分のうち参照信号を除くものの予測モードおよび変換ユニットの構造を用いて、参照信号に対して演算を行うこととした。

このため、予測モードだけでなく変換ユニットの構造も対象信号と同じものを用いて、参照信号に対して演算を行うことができる。したがって、符号化性能をさらに向上させることができる。

（３） 本発明は、（１）または（２）の動画像符号化装置について、前記複数の信号成分のそれぞれには、適用可能なイントラ予測モードの候補が複数あり、前記符号化側チャネル間予測手段は、イントラ予測残差を対象としてチャネル間予測を行うことを特徴とする動画像符号化装置を提案している。

この発明によれば、（１）または（２）の動画像符号化装置において、複数の信号成分のそれぞれには、適用可能なイントラ予測モードの候補が複数あるものとし、符号化側チャネル間予測手段により、イントラ予測残差を対象としてチャネル間予測を行うこととした。これによれば、複数の信号成分のそれぞれに対して、適用可能な複数のイントラ予測モードの候補の中から１つを適用することができ、上述した効果と同様の効果を奏することができる。

（４） 本発明は、（１）〜（３）のいずれかの動画像符号化装置について、前記複数の信号成分のそれぞれには、適用可能な変換基底の候補が複数あり、前記符号化側チャネル間予測手段は、変換後の係数を対象としてチャネル間予測を行うことを特徴とする動画像符号化装置を提案している。

この発明によれば、（１）〜（３）のいずれかの動画像符号化装置において、複数の信号成分のそれぞれには、適用可能な変換基底の候補が複数あるものとし、符号化側チャネル間予測手段により、変換後の係数を対象としてチャネル間予測を行うこととした。これによれば、複数の信号成分のそれぞれに対して、適用可能な複数の変換基底の中から１つを適用することができ、上述した効果と同様の効果を奏することができる。

（５） 本発明は、ビットストリームデータを復号する動画像復号装置（例えば、図２の動画像復号装置ＢＢに相当）であって、前記ビットストリームデータに含まれる複数の信号成分に関する複数の変換係数のうちの１つ（例えば、後述の輝度信号に関する変換係数に相当）を参照信号とし、当該複数の変換係数のうち当該参照信号を除くもの（例えば、後述の色差信号に関する変換係数に相当）の予測モードを用いて、当該参照信号に対して演算を行う復号側再計算手段（例えば、図２のイントラ予測部１０３に相当）と、前記復号側再計算手段による演算結果と、前記ビットストリームデータに含まれる予測係数と、を用いて、前記複数の変換係数のうち当該参照信号を除くもののチャネル間予測を行う復号側チャネル間予測手段（例えば、図２のチャネル間残差信号予測部１０６に相当）と、を備えることを特徴とする動画像復号装置を提案している。

この発明によれば、ビットストリームデータを復号する動画像復号装置に、復号側再計算手段および復号側チャネル間予測手段を設けた。そして、復号側再計算手段により、ビットストリームデータに含まれる複数の信号成分に関する複数の変換係数のうちの１つを参照信号とし、複数の変換係数のうち参照信号を除くものの予測モードを用いて、参照信号に対して演算を行うこととした。また、復号側チャネル間予測手段により、復号側再計算手段による演算結果と、ビットストリームデータに含まれる予測係数と、を用いて、複数の変換係数のうち参照信号を除くもののチャネル間予測を行うこととした。

このため、動画像復号装置は、動画像符号化装置で生成された予測係数を用いて、チャネル間予測を行うことができる。このため、符号化対象ブロックにおける予測係数が周囲と異なる場合であっても、符号化性能が低下してしまうのを防止できる。

また、チャネル間予測を行う信号を対象信号と呼ぶこととすると、対象信号と同じ予測モードを用いて参照信号に対して演算を行った後に、この演算結果を用いて対象信号のチャネル間予測を行うことができる。このため、対象信号と参照信号とで予測モードが異なる場合であっても、対象信号のチャネル間予測を行うことができ、符号化性能を向上させることができる。

（６） 本発明は、（５）の動画像復号装置について、前記復号側再計算手段は、前記複数の信号成分のうち前記参照信号を除くものの予測モードおよび変換ユニットの構造を用いて、当該参照信号に対して演算を行うことを特徴とする動画像復号装置を提案している。

この発明によれば、（５）の動画像復号装置において、復号側再計算手段により、複数の信号成分のうち参照信号を除くものの予測モードおよび変換ユニットの構造を用いて、参照信号に対して演算を行うこととした。

このため、予測モードだけでなく変換ユニットの構造も対象信号と同じものを用いて、参照信号に対して演算を行うことができる。したがって、符号化性能をさらに向上させることができる。

（７） 本発明は、（５）または（６）の動画像復号装置について、前記複数の信号成分のそれぞれには、適用可能なイントラ予測モードの候補が複数あり、前記復号側チャネル間予測手段は、イントラ予測残差を対象としてチャネル間予測を行うことを特徴とする動画像復号装置を提案している。

この発明によれば、（５）または（６）の動画像復号装置において、複数の信号成分のそれぞれには、適用可能なイントラ予測モードの候補が複数あるものとし、復号側チャネル間予測手段により、イントラ予測残差を対象としてチャネル間予測を行うこととした。これによれば、複数の信号成分のそれぞれに対して、適用可能な複数のイントラ予測モードの候補の中から１つを適用することができ、上述した効果と同様の効果を奏することができる。

（８） 本発明は、（５）〜（７）のいずれかの動画像復号装置について、前記複数の信号成分のそれぞれには、適用可能な変換基底の候補が複数あり、前記復号側チャネル間予測手段は、変換後の係数を対象としてチャネル間予測を行うことを特徴とする動画像復号装置を提案している。

この発明によれば、（５）〜（７）のいずれかの動画像復号装置において、複数の信号成分のそれぞれには、適用可能な変換基底の候補が複数あるものとし、復号側チャネル間予測手段により、変換後の係数を対象としてチャネル間予測を行うこととした。これによれば、複数の信号成分のそれぞれに対して、適用可能な複数の変換基底の中から１つを適用することができ、上述した効果と同様の効果を奏することができる。

（９） 本発明は、複数の信号成分のうちの１つ（例えば、図１の輝度信号に相当）を参照信号とし、当該複数の信号成分のうち当該参照信号を除くもの（例えば、図１の色差信号に相当）の予測モードを用いて、当該参照信号に対して演算を行う第１のステップ（例えば、図１のイントラ予測部２における処理に相当）と、前記第１のステップにおける演算結果を用いて、前記複数の信号成分のうち当該参照信号を除くもののチャネル間予測を行う第２のステップ（例えば、図１のチャネル間残差信号予測部１０における処理に相当）と、前記第２のステップにおいて求めた予測係数（例えば、後述の予測係数αに相当）を含むビットストリームデータを生成する第３のステップ（例えば、図１のエントロピー符号化部１１における処理に相当）と、を備えることを特徴とする動画像符号化方法を提案している。

この発明によれば、まず、複数の信号成分のうちの１つを参照信号とし、複数の信号成分のうち参照信号を除くものの予測モードを用いて、参照信号に対して演算を行うこととした。次に、上述の演算結果を用いて、複数の信号成分のうち参照信号を除くもののチャネル間予測を行うこととした。次に、上述のチャネル間予測において求めた予測係数を含むビットストリームデータを生成することとした。これによれば、上述した効果と同様の効果を奏することができる。

（１０） 本発明は、ビットストリームデータを復号する動画像復号方法であって、前記ビットストリームデータに含まれる複数の信号成分に関する複数の変換係数のうちの１つ（例えば、後述の輝度信号に関する変換係数に相当）を参照信号とし、当該複数の変換係数のうち当該参照信号を除くもの（例えば、後述の色差信号に関する変換係数に相当）の予測モードを用いて、当該参照信号に対して演算を行う第４のステップ（例えば、図２のイントラ予測部１０３における処理に相当）と、前記第４のステップにおける演算結果と、前記ビットストリームデータに含まれる予測係数と、を用いて、前記複数の変換係数のうち当該参照信号を除くもののチャネル間予測を行う第５のステップ（例えば、図２のチャネル間残差信号予測部１０６における処理に相当）と、を備えることを特徴とする動画像復号方法を提案している。

この発明によれば、まず、ビットストリームデータに含まれる複数の信号成分に関する複数の変換係数のうちの１つを参照信号とし、複数の変換係数のうち参照信号を除くものの予測モードを用いて、参照信号に対して演算を行うこととした。次に、上述の演算結果と、ビットストリームデータに含まれる予測係数と、を用いて、複数の変換係数のうち参照信号を除くもののチャネル間予測を行うこととした。これによれば、上述した効果と同様の効果を奏することができる。

（１１） 本発明は、複数の信号成分のうちの１つ（例えば、図１の輝度信号に相当）を参照信号とし、当該複数の信号成分のうち当該参照信号を除くもの（例えば、図１の色差信号に相当）の予測モードを用いて、当該参照信号に対して演算を行う第１のステップ（例えば、図１のイントラ予測部２における処理に相当）と、前記第１のステップにおける演算結果を用いて、前記複数の信号成分のうち当該参照信号を除くもののチャネル間予測を行う第２のステップ（例えば、図１のチャネル間残差信号予測部１０における処理に相当）と、前記第２のステップにおいて求めた予測係数（例えば、後述の予測係数αに相当）を含むビットストリームデータを生成する第３のステップ（例えば、図１のエントロピー符号化部１１における処理に相当）と、をコンピュータに実行させるためのプログラムを提案している。

この発明によれば、コンピュータにプログラムを実行させることで、まず、複数の信号成分のうちの１つを参照信号とし、複数の信号成分のうち参照信号を除くものの予測モードを用いて、参照信号に対して演算を行うこととした。次に、上述の演算結果を用いて、複数の信号成分のうち参照信号を除くもののチャネル間予測を行うこととした。次に、上述のチャネル間予測において求めた予測係数を含むビットストリームデータを生成することとした。これによれば、上述した効果と同様の効果を奏することができる。

（１２） 本発明は、ビットストリームデータを復号する動画像復号方法を、コンピュータに実行させるためのプログラムであって、前記ビットストリームデータに含まれる複数の信号成分に関する複数の変換係数のうちの１つ（例えば、後述の輝度信号に関する変換係数に相当）を参照信号とし、当該複数の変換係数のうち当該参照信号を除くもの（例えば、後述の色差信号に関する変換係数に相当）の予測モードを用いて、当該参照信号に対して演算を行う第４のステップ（例えば、図２のイントラ予測部１０３における処理に相当）と、前記第４のステップにおける演算結果と、前記ビットストリームデータに含まれる予測係数と、を用いて、前記複数の変換係数のうち当該参照信号を除くもののチャネル間予測を行う第５のステップ（例えば、図２のチャネル間残差信号予測部１０６における処理に相当）と、をコンピュータに実行させるためのプログラムを提案している。

この発明によれば、コンピュータにプログラムを実行させることで、まず、ビットストリームデータに含まれる複数の信号成分に関する複数の変換係数のうちの１つを参照信号とし、複数の変換係数のうち参照信号を除くものの予測モードを用いて、参照信号に対して演算を行うこととした。次に、上述の演算結果と、ビットストリームデータに含まれる予測係数と、を用いて、複数の変換係数のうち参照信号を除くもののチャネル間予測を行うこととした。これによれば、上述した効果と同様の効果を奏することができる。

本発明によれば、符号化対象ブロックにおける予測係数が周囲と異なる場合であっても、符号化性能が低下してしまうのを防止できる。また、複数の信号成分の間で予測モードが異なる場合であっても、チャネル間予測を行うことができ、符号化性能を向上させることができる。

本発明の一実施形態に係る動画像符号化装置の構成を示すブロック図である。 本発明の一実施形態に係る動画像復号装置の構成を示すブロック図である。

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

［動画像符号化装置ＡＡの構成および動作］
図１は、本発明の一実施形態に係る動画像符号化装置ＡＡの構成を示すブロック図である。動画像符号化装置ＡＡは、輝度信号にとって最適な変換ユニットの構造およびイントラ予測モードを用いて、輝度信号に対してイントラ予測を行うとともに、色差信号にとって最適な変換ユニットの構造およびイントラ予測モードを用いて、色差信号に対してイントラ予測を行う。そして、これらイントラ予測の結果を用いてチャネル間予測を行い、チャネル間予測により得られた予測係数αと、上述のイントラ予測の結果と、を含むビットストリームデータを生成する。

また、動画像符号化装置ＡＡは、輝度信号と色差信号とで、最適な変換ユニットの構造およびイントラ予測モードの少なくともいずれかが異なる場合には、色差信号にとって最適な変換ユニットの構造およびイントラ予測モードを用いて、輝度信号に対してイントラ予測を再度行う。そして、再度行ったイントラ予測の結果を、上述の輝度信号にとって最適な変換ユニットの構造およびイントラ予測モードを用いて輝度信号に対して行ったイントラ予測の結果の代わりに用いて、上述のチャネル間予測を行う。

具体的な動画像符号化装置ＡＡの構成および動作について、予測対象としてイントラ予測残差信号を選択した場合を例に挙げて、以下に説明する。動画像符号化装置ＡＡは、信号選択部１と、イントラ予測部２、６と、変換部３、７と、逆変換部４、８と、フレームバッファ５、９と、チャネル間残差信号予測部１０と、エントロピー符号化部１１と、を備える。

＜輝度信号のイントラ予測残差信号の計算（１回目）＞
動画像符号化装置ＡＡは、信号選択部１、イントラ予測部２、変換部３、逆変換部４、およびフレームバッファ５により、輝度信号にとって最適な変換ユニットの構造およびイントラ予測モードを用いて、輝度信号に対してイントラ予測を行って、輝度信号のイントラ予測残差信号を計算する。

具体的には、イントラ予測部２は、フレームバッファ５に蓄積されている後述の信号を適宜読み出す。そして、輝度信号にとって最適な変換ユニットの構造およびイントラ予測モードを決定し、決定した変換ユニットの構造およびイントラ予測モードを用いて、輝度信号に対してイントラ予測を行って、輝度信号のイントラ予測信号を計算し、出力する。

信号選択部１は、動画像符号化装置ＡＡに入力された輝度信号を出力する。

変換部３には、輝度信号のイントラ予測残差信号が入力される。輝度信号のイントラ予測残差信号とは、信号選択部１から出力された輝度信号と、イントラ予測部２から出力された輝度信号のイントラ予測信号と、の差分である。この変換部３は、輝度信号のイントラ予測残差信号を変換および量子化して、変換係数を出力する。

逆変換部４には、変換部３から出力された変換係数が入力される。この逆変換部４は、入力された変換係数を逆量子化および逆変換して、量子化誤差を含む輝度信号のイントラ予測残差信号を出力する。

フレームバッファ５には、イントラ予測部２から出力された輝度信号のイントラ予測信号と、逆変換部４から出力された輝度信号のイントラ予測残差信号と、の和が入力される。このフレームバッファ５は、入力された信号を蓄積し、適宜、信号選択部１およびイントラ予測部２に出力する。

＜輝度信号のイントラ予測残差信号の再計算＞
輝度信号と色差信号とで、最適な変換ユニットの構造およびイントラ予測モードの少なくともいずれかが異なる場合には、動画像符号化装置ＡＡは、信号選択部１、イントラ予測部２、変換部３、逆変換部４、およびフレームバッファ５により、色差信号にとって最適な変換ユニットの構造およびイントラ予測モードを用いて、輝度信号に対してイントラ予測を行って、輝度信号のイントラ予測残差信号を再計算する。

具体的には、イントラ予測部２は、上述の輝度信号にとって最適な変換ユニットの構造およびイントラ予測モードと、イントラ予測部６から送信された後述の色差信号にとって最適な変換ユニットの構造およびイントラ予測モードと、を比較する。輝度信号と色差信号とで、最適な変換ユニットの構造およびイントラ予測モードが等しい場合には、以降の輝度信号のイントラ予測残差信号の再計算を行わない。

一方、輝度信号と色差信号とで、最適な変換ユニットの構造およびイントラ予測モードの少なくともいずれかが異なる場合には、イントラ予測部２は、まず、輝度信号のイントラ予測残差信号の再計算を要求する再計算要求信号を信号選択部１に出力するとともに、フレームバッファ５に蓄積されている信号を適宜読み出す。次に、色差信号にとって最適な変換ユニットの構造およびイントラ予測モードを用いて、フレームバッファ５から読み出した輝度信号に対してイントラ予測を行って、輝度信号のイントラ予測信号を再計算し、出力する。

信号選択部１は、上述の再計算要求信号が入力されると、フレームバッファ５に蓄積されている輝度信号を適宜読み出して、出力する。

ここで、輝度信号のイントラ予測残差信号の再計算の際には、変換部３および逆変換部４は、入力された信号をそのまま出力する。具体的には、イントラ予測部２で再計算された輝度信号のイントラ予測信号は、信号選択部１によりフレームバッファ５から読み出された輝度信号との差分である輝度信号のイントラ予測残差信号として、変換部３および逆変換部４を通過する。これによれば、輝度信号のイントラ予測残差信号が再計算され、逆変換部４から出力されることとなる。

＜色差信号のチャネル間予測＞
動画像符号化装置ＡＡは、イントラ予測部６、変換部７、逆変換部８、フレームバッファ９、およびチャネル間残差信号予測部１０により、輝度信号のイントラ予測残差信号を参照信号として、色差信号のチャネル間予測を行う。

具体的には、イントラ予測部６は、フレームバッファ９に蓄積されている後述の信号を適宜読み出す。そして、色差信号にとって最適な変換ユニットの構造およびイントラ予測モードを決定し、決定した変換ユニットの構造およびイントラ予測モードを用いて、色差信号に対してイントラ予測を行って、色差信号のイントラ予測信号を計算し、出力する。また、上述の色差信号にとって最適な変換ユニットの構造およびイントラ予測モードを、上述のイントラ予測部２に送信する。

チャネル間残差信号予測部１０には、逆変換部４から出力された輝度信号のイントラ予測残差信号と、色差信号のイントラ予測残差信号と、が入力される。色差信号のイントラ予測残差信号とは、色差信号と、イントラ予測部６から出力された色差信号のイントラ予測信号と、の差分である。このチャネル間残差信号予測部１０は、入力された輝度信号のイントラ予測残差信号を用いて、入力された色差信号のイントラ予測残差信号に対して線型予測を行って、チャネル間の線型予測信号および予測係数αを出力する。

変換部７には、チャネル間予測残差信号が入力される。チャネル間予測残差信号とは、色差信号のイントラ予測残差信号と、チャネル間残差信号予測部１０から出力されたチャネル間の線型予測信号と、の差分である。この変換部７は、チャネル間予測残差信号を変換および量子化して、変換係数を出力する。

逆変換部８には、変換部７から出力された変換係数が入力される。この逆変換部８は、入力された変換係数を逆量子化および逆変換して、量子化誤差を含むチャネル間予測残差信号を出力する。

フレームバッファ９には、イントラ予測部６から出力された色差信号のイントラ予測信号と、逆変換部８から出力されたチャネル間予測残差信号と、チャネル間残差信号予測部１０から出力された線型予測信号と、の和が入力される。このフレームバッファ９は、入力された信号を蓄積し、適宜、イントラ予測部６に出力する。

＜エントロピー符号化＞
エントロピー符号化部１１には、変換部３から出力された変換係数と、変換部７から出力された変換係数と、チャネル間残差信号予測部１０から出力された予測係数αと、図示しない輝度信号にとって最適な変換ユニットの構造およびイントラ予測モードと、図示しない色差信号にとって最適な変換ユニットの構造およびイントラ予測モードと、が入力される。このエントロピー符号化部１１は、入力された信号をエントロピー符号化して、ビットストリームデータを生成する。

なお、ビットストリームデータを生成する際に用いられる上述の３種類の係数は、輝度信号のイントラ予測残差信号の計算を行った場合と行わなかった場合とで、異なる。

再計算を行わなかった場合には、変換部３から出力された変換係数と、変換部７から出力された変換係数と、チャネル間残差信号予測部１０から出力された予測係数αと、がそのまま用いられる。

一方、再計算を行った場合には、輝度信号のイントラ予測残差信号の計算は、上述のように２回、行われる。変換部３から出力された変換係数としては、１回目に計算した輝度信号のイントラ予測残差信号を用いて変換部３で求められた変換係数が用いられる。また、変換部７から出力された変換係数としては、２回目に計算した輝度信号のイントラ予測残差信号を用いて変換部７で求められた変換係数が、用いられる。また、チャネル間残差信号予測部１０から出力された予測係数αとしては、２回目に計算した輝度信号のイントラ予測残差信号を用いてチャネル間残差信号予測部１０で求められた予測係数αが、用いられる。

［動画像復号装置ＢＢの構成および動作］
図２は、本発明の一実施形態に係る動画像復号装置ＢＢの構成を示すブロック図である。動画像復号装置ＢＢは、上述の動画像符号化装置ＡＡと同様に、輝度信号と色差信号とで、動画像符号化装置ＡＡにおいて符号化された変換ユニットの構造およびイントラ予測モードのうち少なくともいずれかが異なる場合、すなわち最適な変換ユニットの構造およびイントラ予測モードの少なくともいずれかが異なる場合には、色差信号にとって最適な変換ユニットの構造およびイントラ予測モードを用いて、輝度信号に対してイントラ予測を再度行う。

具体的な動画像復号装置ＢＢの構成および動作について、予測対象としてイントラ予測残差信号を選択した場合を例に挙げて、以下に説明する。動画像復号装置ＢＢは、エントロピー復号部１０１と、逆変換部１０２、１０５と、イントラ予測部１０３、１０７と、輝度フレームバッファ１０４と、チャネル間残差信号予測部１０６と、色差フレームバッファ１０８と、を備えており、動画像符号化装置ＡＡにおいて生成されたビットストリームデータを復号する。

＜エントロピー復号＞
エントロピー復号部１０１には、動画像符号化装置ＡＡにおいて生成されたビットストリームデータが入力される。このエントロピー復号部１０１は、入力されたビットストリームデータをエントロピー復号して、輝度信号に関する変換係数と、色差信号に関する変換係数と、予測係数αと、図示しない輝度信号にとって最適な変換ユニットの構造およびイントラ予測モードと、図示しない色差信号にとって最適な変換ユニットの構造およびイントラ予測モードと、を出力する。

逆変換部１０２には、エントロピー復号部１０１から出力された輝度信号に関する変換係数が入力される。この逆変換部１０２は、入力された輝度信号に関する変換係数を逆量子化および逆変換して、輝度信号のイントラ予測残差信号を出力する。

逆変換部１０５には、エントロピー復号部１０１から出力された色差信号に関する変換係数が入力される。この逆変換部１０５は、入力された色差信号に関する変換係数を逆量子化および逆変換して、チャネル間予測残差信号を出力する。

＜輝度信号のイントラ予測残差信号の計算（１回目）＞
動画像復号装置ＢＢは、イントラ予測部１０３および輝度フレームバッファ１０４により、輝度信号にとって最適な変換ユニットの構造およびイントラ予測モードを用いて、輝度信号のイントラ予測信号を計算する。

具体的には、イントラ予測部１０３は、輝度フレームバッファ１０４に蓄積されている後述の信号を適宜読み出すとともに、エントロピー復号部１０１によるエントロピー復号結果を読み出す。そして、輝度信号にとって最適な変換ユニットの構造およびイントラ予測モードを用いて、輝度信号のイントラ予測信号を計算し、出力する。

輝度フレームバッファ１０４には、逆変換部１０２から出力された輝度信号のイントラ予測残差信号と、イントラ予測部１０３から出力された輝度信号のイントラ予測信号と、の和が入力される。この輝度フレームバッファ１０４は、入力された信号を蓄積し、適宜出力する。

詳細については後述するが、チャネル間残差信号予測部１０６には、イントラ予測部１０３から出力されたイントラ予測信号と、輝度フレームバッファ１０４から読み出された信号と、の差分が、輝度信号のイントラ予測残差信号として入力される。このため、イントラ予測部１０３において輝度信号のイントラ予測信号の計算が行われると、輝度信号のイントラ予測残差信号の計算が行われたこととなる。

＜輝度信号のイントラ予測残差信号の再計算＞
輝度信号と色差信号とで、最適な変換ユニットの構造およびイントラ予測モードの少なくともいずれかが異なる場合には、動画像復号装置ＢＢは、イントラ予測部１０３および輝度フレームバッファ１０４により、色差信号にとって最適な変換ユニットの構造およびイントラ予測モードを用いて、輝度信号のイントラ予測残差信号を再計算する。

具体的には、イントラ予測部１０３は、上述の輝度信号にとって最適な変換ユニットの構造およびイントラ予測モードと、イントラ予測部１０７から送信された後述の色差信号にとって最適な変換ユニットの構造およびイントラ予測モードと、を比較する。輝度信号と色差信号とで、最適な変換ユニットの構造およびイントラ予測モードが等しい場合には、以降の輝度信号のイントラ予測残差信号の再計算を行わない。一方、輝度信号と色差信号とで、最適な変換ユニットの構造およびイントラ予測モードの少なくともいずれかが異なる場合には、色差信号にとって最適な変換ユニットの構造およびイントラ予測モードを用いて、輝度信号のイントラ予測信号を再計算し、出力する。

詳細については後述するが、チャネル間残差信号予測部１０６には、イントラ予測部１０３から出力されたイントラ予測信号と、輝度フレームバッファ１０４から読み出された信号と、の差分が、輝度信号のイントラ予測残差信号として入力される。このため、イントラ予測部１０３において輝度信号のイントラ予測信号の再計算が行われると、輝度信号のイントラ予測残差信号の再計算が行われたこととなる。

＜色差信号のチャネル間予測＞
動画像復号装置ＢＢは、チャネル間残差信号予測部１０６、イントラ予測部１０７、および色差フレームバッファ１０８により、輝度信号のイントラ予測残差信号を参照信号として、色差信号のチャネル間予測を行う。

具体的には、チャネル間残差信号予測部１０６には、エントロピー復号部１０１から出力された予測係数αと、上述のイントラ輝度予測残差信号と、が入力される。イントラ輝度予測残差信号とは、イントラ予測部１０３から出力された輝度信号のイントラ予測信号と、イントラ予測部１０３により輝度フレームバッファ１０４から読み出された信号と、の差分である。このチャネル間残差信号予測部１０６は、入力された予測係数αおよびイントラ輝度予測残差信号を用いて、チャネル間予測信号を出力する。

イントラ予測部１０７は、色差フレームバッファ１０８に蓄積されている後述の信号を適宜読み出す。そして、色差信号にとって最適な変換ユニットの構造およびイントラ予測モードを用いて、色差信号のイントラ予測信号を計算し、出力する。また、上述の色差信号にとって最適な変換ユニットの構造およびイントラ予測モードを、上述のイントラ予測部１０３に送信する。

色差フレームバッファ１０８には、逆変換部１０５から出力されたチャネル間予測残差信号と、チャネル間残差信号予測部１０６から出力されたチャネル間予測信号と、イントラ予測部１０７から出力された色差信号のイントラ予測信号と、の和が入力される。この色差フレームバッファ１０８は、入力された信号を蓄積し、適宜、イントラ予測部１０７に出力する。

以上の動画像符号化装置ＡＡおよび動画像復号装置ＢＢによれば、以下の効果を奏することができる。

動画像符号化装置ＡＡから動画像復号装置ＢＢに伝送されるビットストリームデータには、予測係数αが含まれる。このため、符号化対象ブロックにおける予測係数αが周囲と異なる場合であっても、符号化性能が低下してしまうのを防止できる。

また、動画像符号化装置ＡＡおよび動画像復号装置ＢＢは、輝度信号と色差信号とで、最適な変換ユニットの構造およびイントラ予測モードの少なくともいずれかが異なる場合に、色差信号にとって最適な変換ユニットの構造およびイントラ予測モードを用いて、輝度信号のイントラ予測信号を再計算し、再計算した輝度信号のイントラ予測信号を用いて色差信号のチャネル間予測を行う。このため、色差信号と輝度信号とで最適な変換ユニットの構造やイントラ予測モードが異なる場合であっても、チャネル間予測を行うことができ、符号化性能を向上させることができる。

なお、動画像符号化装置ＡＡおよび動画像復号装置ＢＢによれば、輝度信号と色差信号とで最適な変換ユニットの構造およびイントラ予測モードの少なくともいずれかが異なる場合において、予測係数αを伝送するとともにチャネル間予測を行った場合と比べて、伝送データ量を５％削減できる場合がある。

なお、本発明の動画像符号化装置ＡＡの処理や、動画像復号装置ＢＢの処理を、コンピュータ読み取り可能な記録媒体に記憶し、記録媒体に記録されたプログラムを動画像符号化装置ＡＡや動画像復号装置ＢＢに読み込ませ、実行することによって、本発明を実現できる。

また、上述のプログラムは、このプログラムを記憶装置などに格納した動画像符号化装置ＡＡや動画像復号装置ＢＢから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を動画像符号化装置ＡＡや動画像復号装置ＢＢにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。

また、上述の実施形態では、動画像符号化装置ＡＡに入力される信号は、輝度信号および色差信号とした。これによれば、ＹＵＶやＹＣｂＣｒなどの色空間に対して、動画像符号化装置ＡＡを適用できる。しかしこれに限らず、例えば動画像符号化装置ＡＡに入力される信号は、ＲＧＢといった、２種類以上の信号成分を有するものであればよい。

また、上述の実施形態では、予測対象としてイントラ予測残差信号を選択したが、これに限らず、例えば予測対象として変換係数を選択してもよい。これによれば、チャネル間残差信号予測部１０では、輝度信号の逆量子化後係数から色差信号の変換係数を予測することになる。また、色差信号の変換と同一の変換基底を用いて輝度信号の変換を再計算することで、異なる変換基底においてもチャネル間予測を適用できる。

また、上述の実施形態において、動画像符号化装置ＡＡに入力される信号ごとに解像度が異なる場合には、ダウンサンプリングやアップサンプリングを行うことで、解像度を一致させることとしてもよい。

また、上述の実施形態において、イントラ予測を行った場合と、チャネル間予測を行った場合とで、コスト値を算出し、これらのコスト値の比較結果に応じて、イントラ予測の結果を用いたり、チャネル間予測の結果を用いたりしてもよい。

ＡＡ・・・動画像符号化装置
ＢＢ・・・動画像復号装置
１・・・信号選択部
２、６、１０３、１０７・・・イントラ予測部
３、７・・・変換部
４、８、１０２、１０５・・・逆変換部
５、９・・・フレームバッファ
１０、１０６・・・チャネル間残差信号予測部
１１・・・エントロピー符号化部
１０１・・・エントロピー復号部
１０４・・・輝度フレームバッファ
１０８・・・色差フレームバッファ

Claims (12)

1. 複数の信号成分が入力される動画像符号化装置であって、
   前記複数の信号成分のうちの１つを参照信号とし、当該参照信号のイントラ予測残差信号を変換および量子化して、当該参照信号に関する変換係数を出力する第１の変換手段と、
   前記複数の信号成分のうち前記参照信号を除くものの予測モードを用いて、当該参照信号に対して演算を行う符号化側再計算手段と、
   前記符号化側再計算手段による演算に基づいて得られた前記参照信号のイントラ予測残差信号を用いて、前記複数の信号成分のうち当該参照信号を除くもののイントラ予測残差信号に対して線型予測を行って、チャネル間の線型予測信号と、当該参照信号のイントラ予測残差信号に基づいて当該複数の信号成分のうち当該参照信号を除くもののイントラ予測残差信号を予測するための予測係数と、を出力する符号化側チャネル間予測手段と、
   前記複数の信号成分のうち前記参照信号を除くもののイントラ予測残差信号と、前記符号化側チャネル間予測手段から出力された前記チャネル間の線型予測信号と、の差分を変換および量子化して、当該複数の信号成分のうち当該参照信号を除くものに関する変換係数を出力する第２の変換手段と、
   前記符号化側チャネル間予測手段から出力された予測係数と、前記第１の変換手段から出力された前記参照信号に関する変換係数と、前記第２の変換手段から出力された前記複数の信号成分のうち当該参照信号を除くものに関する変換係数と、を含む入力信号をエントロピー符号化してビットストリームデータを生成する伝送手段と、を備えることを特徴とする動画像符号化装置。
2. 請求項１に記載の動画像符号化装置において、
   前記符号化側再計算手段は、前記複数の信号成分のうち前記参照信号を除くものの予測モードおよび変換ユニットの構造を用いて、当該参照信号に対して演算を行うことを特徴とする動画像符号化装置。
3. 請求項１または２に記載の動画像符号化装置において、
   前記複数の信号成分のそれぞれには、適用可能なイントラ予測モードの候補が複数あり、
   前記符号化側チャネル間予測手段は、イントラ予測残差を対象としてチャネル間予測を行うことを特徴とする動画像符号化装置。
4. 請求項１から３のいずれかに記載の動画像符号化装置において、
   前記複数の信号成分のそれぞれには、適用可能な変換基底の候補が複数あり、
   前記符号化側チャネル間予測手段は、変換後の係数を対象としてチャネル間予測を行うことを特徴とする動画像符号化装置。
5. ビットストリームデータを復号する動画像復号装置であって、
   前記ビットストリームデータに含まれる複数の信号成分に関する複数の変換係数のうちの１つを参照信号とし、当該複数の変換係数のうち当該参照信号を除くものの予測モードを用いて、当該参照信号に対して演算を行う復号側再計算手段と、
   前記復号側再計算手段による演算結果と、前記ビットストリームデータに含まれる予測係数と、を用いて、前記複数の変換係数のうち当該参照信号を除くもののチャネル間予測を行う復号側チャネル間予測手段と、を備えることを特徴とする動画像復号装置。
6. 請求項５に記載の動画像復号装置において、
   前記復号側再計算手段は、前記複数の信号成分のうち前記参照信号を除くものの予測モードおよび変換ユニットの構造を用いて、当該参照信号に対して演算を行うことを特徴とする動画像復号装置。
7. 請求項５または６に記載の動画像復号装置において、
   前記複数の信号成分のそれぞれには、適用可能なイントラ予測モードの候補が複数あり、
   前記復号側チャネル間予測手段は、イントラ予測残差を対象としてチャネル間予測を行うことを特徴とする動画像復号装置。
8. 請求項５から７のいずれかに記載の動画像復号装置において、
   前記複数の信号成分のそれぞれには、適用可能な変換基底の候補が複数あり、
   前記復号側チャネル間予測手段は、変換後の係数を対象としてチャネル間予測を行うことを特徴とする動画像復号装置。
9. 複数の信号成分のうちの１つを参照信号とし、当該参照信号のイントラ予測残差信号を変換および量子化して、当該参照信号に関する変換係数を出力する第１のステップと、
   前記複数の信号成分のうち前記参照信号を除くものの予測モードを用いて、当該参照信号に対して演算を行う第２のステップと、
   前記第２のステップにおける演算に基づいて得られた前記参照信号のイントラ予測残差信号を用いて、前記複数の信号成分のうち当該参照信号を除くもののイントラ予測残差信号に対して線型予測を行って、チャネル間の線型予測信号と、当該参照信号のイントラ予測残差信号に基づいて当該複数の信号成分のうち当該参照信号を除くもののイントラ予測残差信号を予測するための予測係数と、を出力する第３のステップと、
   前記複数の信号成分のうち前記参照信号を除くもののイントラ予測残差信号と、前記第３のステップにより出力された前記チャネル間の線型予測信号と、の差分を変換および量子化して、当該複数の信号成分のうち当該参照信号を除くものに関する変換係数を出力する第４のステップと、
   前記第３のステップにより出力された予測係数と、前記第１のステップにより出力された前記参照信号に関する変換係数と、前記第４のステップにより出力された前記複数の信号成分のうち当該参照信号を除くものに関する変換係数と、を含む入力信号をエントロピー符号化してビットストリームデータを生成する第５のステップと、を備えることを特徴とする動画像符号化方法。
10. ビットストリームデータを復号する動画像復号方法であって、
    前記ビットストリームデータに含まれる複数の信号成分に関する複数の変換係数のうちの１つを参照信号とし、当該複数の変換係数のうち当該参照信号を除くものの予測モードを用いて、当該参照信号に対して演算を行う第６のステップと、
    前記第６のステップにおける演算結果と、前記ビットストリームデータに含まれる予測係数と、を用いて、前記複数の変換係数のうち当該参照信号を除くもののチャネル間予測を行う第７のステップと、を備えることを特徴とする動画像復号方法。
11. 複数の信号成分のうちの１つを参照信号とし、当該参照信号のイントラ予測残差信号を変換および量子化して、当該参照信号に関する変換係数を出力する第１のステップと、
    前記複数の信号成分のうち前記参照信号を除くものの予測モードを用いて、当該参照信号に対して演算を行う第２のステップと、
    前記第２のステップにおける演算に基づいて得られた前記参照信号のイントラ予測残差信号を用いて、前記複数の信号成分のうち当該参照信号を除くもののイントラ予測残差信号に対して線型予測を行って、チャネル間の線型予測信号と、当該参照信号のイントラ予測残差信号に基づいて当該複数の信号成分のうち当該参照信号を除くもののイントラ予測残差信号を予測するための予測係数と、を出力する第３のステップと、
    前記複数の信号成分のうち前記参照信号を除くもののイントラ予測残差信号と、前記第３のステップにより出力された前記チャネル間の線型予測信号と、の差分を変換および量子化して、当該複数の信号成分のうち当該参照信号を除くものに関する変換係数を出力する第４のステップと、
    前記第３のステップにより出力された予測係数と、前記第１のステップにより出力された前記参照信号に関する変換係数と、前記第４のステップにより出力された前記複数の信号成分のうち当該参照信号を除くものに関する変換係数と、を含む入力信号をエントロピー符号化してビットストリームデータを生成する第５のステップと、をコンピュータに実行させるためのプログラム。
12. ビットストリームデータを復号する動画像復号方法を、コンピュータに実行させるためのプログラムであって、
    前記ビットストリームデータに含まれる複数の信号成分に関する複数の変換係数のうちの１つを参照信号とし、当該複数の変換係数のうち当該参照信号を除くものの予測モードを用いて、当該参照信号に対して演算を行う第４のステップと、
    前記第４のステップにおける演算結果と、前記ビットストリームデータに含まれる予測係数と、を用いて、前記複数の変換係数のうち当該参照信号を除くもののチャネル間予測を行う第５のステップと、をコンピュータに実行させるためのプログラム。

Images