JP6254851B2 - 並列符号化装置および並列復号装置ならびにそれらのプログラム - Google Patents

Description

本発明は、高解像度映像から複数の低解像度映像を生成し、並列に符号化および復号する技術に関する。

４Ｋや８Ｋスーパーハイビジョンなどの超高精細映像は、処理する画素数が極端に多いため、ハードウェアの性能上の制約が大きく、リアルタイムで符号化処理を行うことが困難であった。例えば、装置の回路規模が極端に大きくなり、製造コストや大きさにおいて、非現実的なものとなることや、回路規模、電源、排熱や配線の遅延などに起因して、技術的に実現不可能となることがあった。

そこで、符号化処理を軽量化するために、超高精細映像の画面を空間方向に分割して、複数の小映像を生成し、並列に符号化する手法が提案されている。
例えば、超高精細映像の画面を単にタイル状に分割して、複数の小映像を生成する手法（特許文献１参照）や、異なる画素位置ごとにサブサンプルして複数の低解像度映像を生成する手法（特許文献２参照）などがある。

特開平０８−０７９７０１号公報（段落００１７、図３） 特開平０７−２９８２５８号公報（段落００３５、図６（ｂ））

しかしながら、特許文献１に記載の手法では、符号化の際に、画面分割境界線をまたいで処理が連続的でないため、分割境界付近で不自然な劣化が目立ってしまうことがある。
また、特許文献２に記載の手法では、符号化の際に、複数の低解像度映像間の相関性を利用していないため、著しく符号化効率が低下してしまい、実用的ではない。

そこで、本発明は、高解像度映像から複数の低解像度映像を生成し、並列に符号化する手法において、符号化効率の低下を抑制し、符号化劣化を軽減することが可能な技術を提供することを課題とする。

本発明は、前記課題を解決するために創案されたものであり、本発明の並列符号化装置は、映像から複数の低解像度映像を生成し、この複数の低解像度映像を並列に符号化する並列符号化装置であって、サブサンプル手段と、画素シフト手段と、色変換行列生成手段と、色変換手段と、映像符号化手段と、サイド情報映像符号化手段とを備えることを特徴とする。

かかる構成によれば、並列符号化装置は、サブサンプル手段によって、符号化対象映像の異なる画素位置をサブサンプルして、当該符号化対象映像よりも解像度が低い前記複数の低解像度映像を生成する。これによって、符号化対象映像の異なる画素位置の画素がそれぞれ均等に配分され、空間方向に高い相関を持った複数の低解像度映像が生成される。

また、並列符号化装置は、画素シフト手段によって、サブサンプル手段により生成された複数の低解像度映像間で画素位置が同じ画素を、符号化対象映像の座標系における復号側で既知の画素位置にそれぞれ画素シフトさせた複数のシフト映像を生成する。
これによって、複数の低解像度映像間で同じ画素位置の画素を、高解像度映像の座標系において、同じ画素位置（同一座標）に揃えることができるので、複数の低解像度映像間の相関を高めることが可能となる。これら複数の低解像度映像は、それらの同一座標の画素値について、高い相関を持つことを特徴とする。

さらに、並列符号化装置は、色変換行列生成手段によって、画素シフト手段により生成された複数のシフト映像間で画素位置が同じ画素の色成分信号をまとめて多次元信号として、画面全体で主成分分析することにより得られた結合係数から、色変換行列を生成する。主成分分析は多変数分析の一手法であり、相関のある多変数の信号の相関を除去することが可能であるため、多次元信号を主成分分析することで、多次元信号から複数の低解像度映像間の相関性（冗長性）を効率よく除去することができる。また、多次元信号を構成する色成分信号の統計的な偏りに適応した色変換行列を生成することができる。

また、さらに、並列符号化装置は、色変換手段によって、色変換行列生成手段により生成された前記色変換行列に基づいて、対応する前記多次元信号の色空間を、新たな色空間に変換する。
この新たな色空間は、その各軸が、符号化対象映像への寄与率が高い軸から順次直交基底を張るため、符号化時に間引き影響を受けやすい、エネルギーの高い色成分から間引き影響を受けにくい、エネルギーの低い色成分へと順位付けのなされた色分解が可能となる。

そして、並列符号化装置は、複数の映像符号化手段によって、色変換手段により色変換された多次元信号ごとに、当該多次元信号のそれぞれ異なる部分の映像符号化データをそれぞれ生成する。
例えば、多次元信号を３次元信号ずつ分割し、並列に符号化すると、一般的な符号化手法による符号化が可能となるため好ましい。

そして、並列符号化装置は、サイド情報映像符号化手段によって、複数の映像符号化手段で生成された複数の映像符号化データに対応するサイド情報として、色変換手段において、複数の映像符号化データに対応する多次元信号の色変換に用いた色変換行列の符号化データを生成する。
これによって、符号化側で多次元信号の色変換に用いた色変換行列を、サイド情報として符号化して復号側に伝送することが可能となるので、復号側で、この色変換行列に基づいて、符号化側で新たな色空間に変換された多次元信号を、元の色空間の多次元信号に戻すことが可能となる。

また、本発明の並列符号化装置は、映像から複数の低解像度映像を生成し、この複数の低解像度映像を並列に符号化する並列符号化装置であって、サブサンプル手段と、画素シフト手段と、色変換行列生成手段と、色変換手段と、映像符号化手段と、サイド情報映像符号化手段とを備えることを特徴とする。

かかる構成によれば、並列符号化装置は、サブサンプル手段によって、符号化対象映像の異なる画素位置をサブサンプルして、当該符号化対象映像よりも解像度が低い前記複数の低解像度映像を生成する。これによって、符号化対象映像の異なる画素位置の画素がそれぞれ均等に配分され、空間方向に高い相関を持った複数の低解像度映像が生成される。

また、並列符号化装置は、画素シフト手段によって、サブサンプル手段により生成された複数の低解像度映像間で画素位置が同じ画素を、符号化対象映像の座標系における復号側で任意の画素位置にそれぞれ画素シフトさせた複数のシフト映像を生成する。
これによって、複数の低解像度映像間で同じ画素位置の画素を、高解像度映像の座標系において、同じ画素位置（同一座標）に揃えることができるので、複数の低解像度映像間の相関を高めることが可能となる。これら複数の低解像度映像は、それらの同一座標の画素値について、高い相関を持つことを特徴とする。

さらに、並列符号化装置は、色変換行列生成手段によって、画素シフト手段により生成された複数のシフト映像間で画素位置が同じ画素の色成分信号をまとめて多次元信号として、画面全体で主成分分析することにより得られた結合係数から、色変換行列を生成する。このように、並列符号化装置は、色変換行列生成手段によって、複数のシフト映像間で同じ画素位置の画素の色成分信号をまとめた多次元信号を主成分分析することで、多次元信号から複数の低解像度映像間の相関性（冗長性）を効率よく除去することができる。また、多次元信号を構成する色成分信号の統計的な偏りに適応した色変換行列を生成することができる。

また、さらに、並列符号化装置は、色変換手段によって、色変換行列生成手段により生成された前記色変換行列に基づいて、対応する前記多次元信号の色空間を、新たな色空間に変換する。
この新たな色空間は、その各軸が、符号化対象映像への寄与率が高い軸から順次直交基底を張るため、符号化時に間引き影響を受けやすい、エネルギーの高い色成分から間引き影響を受けにくい、エネルギーの低い色成分へと順位付けのなされた色分解が可能となる。

そして、並列符号化装置は、複数の映像符号化手段によって、色変換手段により色変換された多次元信号ごとに、当該多次元信号のそれぞれ異なる部分の映像符号化データをそれぞれ生成する。
例えば、多次元信号を３次元ごとの信号に分割し、並列に符号化すると、一般的な符号化手法による符号化が可能となるため好ましい。

そして、並列符号化装置は、サイド情報映像符号化手段によって、複数の映像符号化手段で生成された複数の映像符号化データに対応するサイド情報として、色変換行列の符号化データと画素シフト量の符号化データとを生成し、出力する。
ここで、画素シフト量とは、画素シフト手段において、複数の低解像度映像から複数のシフト映像を生成するときの、複数の低解像度映像の各画素の移動方向と距離を示す情報である。

これによって、符号化側で多次元信号の色変換に用いた色変換行列を、多次元信号の映像符号化データにサイド情報として付加して復号側に伝送することが可能となるので、復号側で、この色変換行列に基づいて、符号化側で新たな色空間に変換された多次元信号を、元の色空間の多次元信号に戻すことが可能となる。
また、符号化側で行った画素シフト処理による画素シフト量を、サイド情報として符号化して復号側に伝送することが可能となるので、復号側で、この画素シフト量に基づいて、符号化側で任意の画素位置に画素シフトされた複数の低解像度映像の画素を、元の画素位置に戻すことが可能となる。

また、本発明は、前記した並列符号化装置で生成された映像符号化データを並列に復号する並列復号装置であって、複数の映像復号手段と、サイド情報映像復号手段と、色復元手段と、画素逆シフト手段と、映像合成手段と、を備えることを特徴とする。

かかる構成によれば、並列復号装置は、複数の映像復号手段によって、符号化側から映像符号化データを入力し、この映像符号化データから、符号化側での色変換後の前記多次元信号のそれぞれ異なる部分を復号する。ここで、映像復号手段は、符号化側の映像符号化手段と対になっており、例えば、符号化側の映像符号化手段の数と同数設けられる。

また、並列復号装置は、サイド情報映像復号手段によって、映像符号化データに対応するサイド情報の符号化データを入力し、このサイド情報の符号化データから、符号化側で多次元信号の色変換に用いられた色変換行列を復号する。

さらに、並列復号装置は、色復元手段によって、複数の映像復号手段によりそれぞれ復号された、多次元信号のそれぞれ異なる部分を合成して多次元信号とし、この多次元信号に対し、サイド情報復号手段で復号された色変換行列に基づいて、符号化側での色変換の逆変換を行い、複数のシフト映像を復元する。これによれば、符号化側で複数の低解像度映像間で画素位置が同じ画素を、高解像度映像の座標系における既知の画素位置に画素シフトさせることで生成された、複数のシフト映像を復元することができる。

また、さらに、並列復号装置は、画素逆シフト手段によって、色復元手段により復元された、複数のシフト映像のそれぞれについて、各画素を、符号化側での画素シフト方向に対し逆方向に画素シフトして、複数の低解像度映像を復元する。これによれば、複数のシフト映像の各画素を、画素シフト前の元の画素位置に戻すことで、複数の低解像度映像を復元することができる。

そして、並列復号装置は、映像合成手段によって、画素逆シフト手段により復元された、複数の低解像度映像を、符号化対象映像の座標系における対応する画素位置にそれぞれ配置し、複数の低解像度映像よりも解像度が高い符号化対象映像を合成する。これによれば、復号側で、符号化対象映像を復元することができる。

本発明によれば、複数の低解像度映像間の空間相関と色相関を利用したことにより、符号化効率を向上させることができる。また、符号化対象映像の異なる画素位置をサブサンプルして複数の低解像度映像を生成することで、単純に符号化対象映像を画面分割した場合のような分割境界での不自然な符号化劣化が生じない符号化結果を得ることができる。

また、本発明によれば、画素シフト先の画素位置を任意に設定することができるため、符号化効率を考慮して画素位置を選択することで、符号化効率を向上させることができる。

さらに、本発明によれば、画質の劣化が少ない出力映像を得ることができる。

本発明の実施形態に係る並列符号化装置の構成例を示すブロック図である。 本発明の実施形態に係る並列符号化装置のサブサンプル手段による処理内容を表した概念図である。 本発明の実施形態に係る並列符号化装置の画素シフト手段による画素シフト前の複数の低解像度映像の各画素を、高解像度映像における画素位置に配置したときの状態を示す概念図である。 本発明の実施形態に係る並列符号化装置の本発明の実施形態に係る並列符号化装置の画素シフト手段により生成された複数のシフト映像を示す概念図である。 本発明の実施形態に係る並列符号化装置の動作を示すフローチャートである。 本発明の実施形態に係る並列復号装置の構成例を示すブロック図である。 本発明の実施形態に係る並列復号装置の動作を示すフローチャートである。

［並列符号化装置の構成］
以下、図１〜４を参照して、本発明の実施形態に係る並列符号化装置の構成について説明する。
図１に示すように、本発明の実施形態に係る並列符号化装置１は、映像を圧縮符号化する装置であって、サブサンプル手段１１と、画素シフト手段１２と、色変換行列生成手段１３と、色変換手段１４と、複数の映像符号化手段１５，１５…と、サイド情報符号化手段１６とを備えている。ここで、並列符号化装置１で符号化される映像（符号化対象映像）は、例えば、４Ｋや８Ｋスーパーハイビジョンなどの解像度が高い映像（高解像度映像）であるものとする。

サブサンプル手段１１は、高解像度映像の異なる画素位置をサブサンプルして、画素位置ごとの低解像度映像を生成するものである。したがって、生成された複数の低解像度映像は、高解像度映像よりも解像度が低い。サブサンプル手段１１は、高解像度映像のフレームごとに複数の低解像度映像を生成する。
ここで、図２を参照して、サブサンプル手段１１により、高解像度映像から複数の低解像度映像を生成する処理について説明する。なお、図２に示すのは、高解像度映像の１フレームとこの高解像度映像の１フレームから生成した４つの低解像度映像１〜４である。

図２に示すように、サブサンプル手段１１は、高解像度映像を水平・垂直方向に予め定めた比率でサブサンプルし、サブサンプルするときの位相をずらすことで、４つの低解像度映像１〜４を生成する。

まず、サブサンプル手段１１は、高解像度映像を、水平・垂直方向に１画素おきにサブサンプリングして、図２に示すような、位置ａの画素のみで構成された低解像度映像１を生成する。
次に、サブサンプル手段１１は、高解像度映像を、低解像度映像１が得られたときの位相を水平方向に１画素ずらしてサブサンプリングすることで、図２に示すような、位置ｂの画素のみで構成された低解像度映像２を生成する。
さらに、サブサンプル手段１１は、高解像度映像を、低解像度映像１が得られたときの位相を垂直方向に１画素ずらしてサブサンプリングすることで、図２に示すような、位置ｃの画素のみで構成された低解像度映像３を生成する。
そして、サブサンプル手段１１は、高解像度映像を、低解像度映像１が得られたときの位相を、水平・垂直方向に１画素ずつずらしてサブサンプリングすることで、図２に示すような、位置ｄの画素のみで構成された低解像度映像４を生成する。

このようにして生成された低解像度映像１〜４は、それぞれ高解像度映像の画素が均等に配分されており、同じ画素数で構成されている。なお、ここでは、高解像度映像から４つの低解像度映像を生成したが、これに限られず、数は２以上であればよい。
このような４つの低解像度映像は、画素シフト手段１２に出力される。

画素シフト手段１２は、サブサンプル手段１１により生成された複数（ここでは４つ）の低解像度映像において画素位置が同じ画素を、対応する高解像度映像の座標系における任意の画素位置にそれぞれ画素シフトし、複数の低解像度映像のそれぞれに対応するシフト映像を生成するものである。
ここで、図３，４を参照して、画素シフト手段１２により、４つの低解像度映像１〜４（図２参照）に対応する４つのシフト映像１〜４を生成する処理について説明する。

図３に示したのは、図２に示した低解像度映像１〜４の各画素を、高解像度映像の座標系に配置したものである。
図３に示す画素シフト前の低解像度映像１において、○印で囲んだａは、低解像度映像１における画素位置、つまり、図２に示す高解像度映像から図２に示す低解像度映像１を生成するときのサンプル位置を示している。また、図３に示す画素シフト前の低解像度映像１において、●印は、図２に示す低解像度映像１における各画素を画素シフトした後の画素位置を示している。

図３に示す画素シフト前の低解像度映像１では、低解像度映像１（図２参照）における画素位置のみを○印で囲んだａで表示し、その他の低解像度映像２〜４（図２参照）における画素位置、つまり、低解像度映像２〜４（図２参照）を生成するときのサンプル位置を×印とした。

図３に示す画素シフト前の低解像度映像２〜４（図２参照）は、図３に示す画素シフト前の低解像度映像１に対し、表示する画素が異なるのみで、それ以外は、図３に示す画素シフト前の低解像度映像１と同様である。

また、図４に示したのは、低解像度映像１〜４（図２参照）の各画素を高解像度映像の座標系における画素位置に画素シフトして生成したシフト映像１〜４である。なお、図４に示したシフト映像１〜４の座標系は、図２に示した高解像度映像の座標系よりも細かくなっている。

図４に示すシフト映像１において、破線の○印で囲んだａは、低解像度映像１（図２参照）における元の画素位置を示し、実線の○印で囲んだａは、低解像度映像１（図２参照）における画素シフト後の画素位置を示している。また、矢印は、画素シフト前の画素位置から画素シフト後の画素位置への画素シフト量を示している。この画素シフト量は、低解像度映像１〜４（図２参照）からシフト映像１〜４を生成するときの、低解像度映像１〜４（図２参照）の各画素の移動方向と距離を示す情報である。

図４に示すシフト映像２〜４は、図４に示すシフト映像１に対し、表示する画素が異なるのみで、それ以外は、図４に示すシフト映像１と同様である。

ここで、図２に示した高解像度映像において、破線で区切られた領域内の４画素が、図２に示した低解像度映像１〜４において同じ画素位置の画素である。
例えば、図２に示した高解像度映像において、破線で区切られた最も左上の領域内の画素位置ａ〜ｄの各画素が、図２に示す低解像度映像１〜４において、それぞれ最も左上の画素位置ａ〜ｄの画素である。さらに、図２に示す低解像度映像１〜４において、最も左上の画素位置ａ〜ｄの画素が、図３に示す画素シフト前の低解像度映像１〜４において、最も左上に示した、破線の○印で囲んだ画素位置ａ〜ｄの画素である。

画素シフト手段１２は、図２に示した低解像度映像１〜４間で同じ画素位置の各画素を、高解像度映像の座標系において同一座標上に揃えるように画素シフトする。ここで、画素シフト手段１２は、図２に示した低解像度映像１〜４間で同じ画素位置の画素を、高解像度映像の座標系における、どの位置に画素シフトさせるかを、予め任意に設定することができる。
例えば、図３に示した例では、図２に示した低解像度映像１〜４間で同じ画素位置となる４画素を、高解像度映像の座標系において、この４画素の中心位置へと画素シフトすることとした。

ただし、画素シフト手段１２は、画素シフト位置を適宜選択することができ、例えば、高解像度映像の座標系において、低解像度映像１〜４間で同じ画素位置の４画素のうちのいずれかの画素位置に、他の３画素を画素シフトすることとしてもよい。

例えば細かいテクスチャのある映像から４つの低解像度映像１〜４を生成して画素シフトを行う場合を想定する。例えば４画素の中心位置へと画素シフトを行う場合、全ての低解像度映像１〜４に対して画素シフトを行うため、細かいテクスチャ部分が失われてしまう。これに対し、例えば左上の画素位置へとシフトする場合、左上のシフトをしない画素（低解像度映像１の画素）についてはオリジナルの画素が保たれるため、劣化が少なくなると考えられる。一方、画素シフトした画素を元の画素位置に戻したときの誤差は、画素シフト量が増えるほど増加する傾向にあるため、トレードオフの関係となる。そのため、これらを考慮して画素シフト先の画素位置を任意に選択できるようにすることで、符号化効率を改善することができる。

再び図１を参照し、画素シフト手段１２は、例えば、図２に示した低解像度映像１〜４の縦・横方向に１次元フィルタを適用して画素シフトすることで、図４に示したシフト映像１〜４を生成し、また例えば、２次元フィルタを適用して画素シフトすることで、図４に示したシフト映像１〜４を生成する。

画素シフト手段１２は、シフト映像１〜４（図４参照）の各画素の画素値を、補間により求めることができる。画素シフト手段１２は、例えば、低解像度映像１〜４（図２参照）のそれぞれにおいて、画素シフト後の画素位置の所定の周辺領域にある画素の画素値を用いて、線形補間やバイキュービック補間、ｓｉｎｃ関数やＬａｎｃｚｏｓ関数等をベースにした補間によって内挿することで求めることができる。この内挿方法は、例示したものに限られず、現在までに提案されている様々な方法を適用することができる。

このようにして生成されたシフト映像１〜４（図４参照）は、低解像度映像１〜４（図２参照）間で同じ画素位置となる画素が、高解像度映像の座標系において同じ画素位置となるので、低解像度映像１〜４（図２参照）間の相関性を高めることが可能となる。
このようにして生成されたシフト映像１〜４（図４参照）は、色変換行列生成手段１３に出力される。
また、低解像度映像１〜４（図４参照）の各画素の画素シフト量は、サイド情報符号化手段１６に出力される。

色変換行列生成手段１３は、画素シフト手段１２により生成された、シフト映像１〜４（図４参照）を入力し、シフト映像１〜４（図４参照）間で同じ画素位置となる画素の色成分信号をまとめて多次元信号とみなし、この多次元信号ごとの色変換行列を生成するものである。

ここでは、シフト映像１〜４（図４参照）（低解像度映像１〜４：図２参照）は、それぞれＲ，Ｇ，Ｂの３つの色成分信号で構成されたカラー映像であるものとする。また、以下では、高解像度映像の座標系における任意の画像座標（ｘ，ｙ）上にある、シフト映像１（図４参照）の画素の各色成分信号を、Ｒ_１（ｘ，ｙ），Ｇ_１（ｘ，ｙ），Ｂ_１（ｘ，ｙ）と表し、シフト映像２（図４参照）の画素の各色成分信号を、Ｒ_２（ｘ，ｙ），Ｇ_２（ｘ，ｙ），Ｂ_２（ｘ，ｙ）と表し、画像座標（ｘ，ｙ）上のシフト映像３（図４参照）の画素の各色成分信号を、Ｒ_３（ｘ，ｙ），Ｇ_３（ｘ，ｙ），Ｂ_３（ｘ，ｙ）と表し、画像座標（ｘ，ｙ）上のシフト映像４（図４参照）の画素の各色成分信号を、Ｒ_４（ｘ，ｙ），Ｇ_４（ｘ，ｙ），Ｂ_４（ｘ，ｙ）と表す。
したがって、高解像度映像の座標系において画像座標（ｘ，ｙ）上にあるシフト映像１〜４（図４参照）の各画素の色成分信号をまとめた多次元信号の次元は、１２次元となる。

色変換行列生成手段１３は、式（１）に示すような、高解像度映像の座標系における画素位置ごとの画素値ベクトルＧ（ｘ，ｙ）について、画面全体で主成分分析し、第１〜第１２主成分を求める。さらに、色変換行列生成手段１３は、この第１〜第１２主成分に対応する固有ベクトル（結合係数ベクトルｖ_ｋ）を生成し、この固有ベクトルｖ_ｋに基づいて、色変換行列Ｖを生成する。

色変換行列生成手段１３は、例えば、まず次の式（２），（３）により、画面内における分散・共分散行列Ｓを生成する。

前記式（２）において、Ｔは、ベクトルまたは行列の転置を表す。
色変換行列生成手段１３は、続いて、分散・共分散行列Ｓを用いて、色成分信号の数だけ固有ベクトルｖ_ｋを生成する。この固有ベクトルｖ_ｋは、第ｋ主成分（ｋは自然数）に対する固有ベクトルである。そして、この固有ベクトルｖ_ｋを固有ベクトルｖ_１〜ｖ_１２とおく。ここで、ｖの後の下付き数字は、固有値（各色成分信号の重み）の大きさの順番を表すものであり、数が小さいほど、固有値が大きい。

この固有ベクトルｖ_１〜ｖ_１２は、対応する主成分のその画素位置における割合（寄与度）を表している。つまり、固有ベクトルｖ_１は、最も固有値が大きい色成分信号（第１主成分）のその画素における割合であり、固有ベクトルｖ_１２は、最も固有値が小さい色成分信号（第１２主成分）のその画素における割合を表している。

例えば、シフト映像１〜４（図４参照）間において同一座標上の画素に強い相関がある場合、多次元信号の成分は、第１主成分に極端に偏る。そのため、第１主成分に対する固有ベクトルが極端に大きくなり、第２主成分以降、とくに下位の主成分に対する固有ベクトルが極端に小さくなる。このように、シフト映像１〜４（図４参照）において同一座標上の画素の色成分信号をまとめて多次元信号として主成分分析を行うことで、低解像度映像１〜４（図４参照）の画素間の空間相関と色相関を反映した固有ベクトル（結合係数ベクトル）が得られる。

色変換行列生成手段１３は、生成した固有ベクトルｖ_ｋに基づき、多次元信号の色変換行列Ｖを生成する。色変換行列生成手段１３は、ここでは、生成した固有ベクトルｖ₁〜ｖ_１２（結合係数ベクトル）に基づき、次の式（４）に示すような多次元信号の色変換行列Ｖを生成する。

このように、色変換行列生成手段１３によって、画素シフト手段１２で生成された、相関性の高いシフト映像１〜４（図４参照）の各画素の色成分信号をまとめて多次元信号とし、画面全体で主成分分析を行うことで、低解像度映像１〜４（図２参照）間の相関（冗長性）を効率よく除去することができる。すなわち、主成分分析は多変数分析の一手法であり、相関のある多変数の信号の相関を除去することが可能であるため、低解像度映像１〜４（図２参照）高解像度映像の座標系において同じ画像座標上にある各画素の色成分信号を前記式（１）のように変形した多次元ベクトルに対し主成分分析を行うことで、その相関を除去することができる。
このようにして生成された多次元信号および多次元信号ごとの色変換行列Ｖは、色変換手段１４に出力される。また、多次元信号ごとの色変換行列Ｖは、サイド情報符号化手段１６に、さらに出力される。

色変換手段１４は、色変換行列生成手段１３で生成された多次元信号および多次元信号ごとの色変換行列Ｖを入力し、多次元信号を対応する色変換行列Ｖで色変換して、多次元信号の色空間を新たな色空間に変換するものである。

色変換手段１４は、次の式（５）に示すように、色変換行列生成手段１３で生成された色変換行列Ｖを多次元信号の各色成分信号に乗算して、新たな色空間の色成分信号に線形変換する。ここでは、多次元信号をＲＧＢの色空間の色成分信号から、Ｃの色空間の色成分信号に変換する。

式（５）に示す色変換後の多次元信号において、Ｃの後の下付き数字は、その色成分信号が、何番目の主成分であるかを示している。つまり、色成分信号Ｃ_１が、第１主成分の色成分信号であり、色成分信号Ｃ_１２が、第１２主成分の色成分信号である。このように、色変換後の多次元信号は、エネルギーの高い色成分から、エネルギーの低い色成分へと順位付けがなされている。

このようにして生成された、色変換後の多次元信号は、３次元信号ずつに分けられて、別々の映像符号化手段１５にそれぞれ出力される。
このように、１２次元からなる多次元信号を３次元ごとの色成分信号に分割することで、一般的な動画像の符号化方式に適したデータ単位とすることができるので、多次元信号を、４つの映像符号化手段１５により、並列に符号化することが可能となる。

複数の映像符号化手段１５は、色変換手段１４による色変換後の多次元信号のそれぞれ異なる部分を符号化し、符号化データを生成するものであり、ここでは、４つ設けられている。この４つの映像符号化手段１５で並列に符号化処理を行う。なお、映像符号化手段１５の設置数は、適宜設定することができる。

映像符号化手段１５の符号化方式は、可逆な方式であっても、非可逆な方式であっても構わない。符号化方式は、例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４ ＡＶＣ｜Ｈ．２６４、ＨＥＶＣ｜Ｈ．２６５、Ｍｏｔｉｏｎ ＪＰＥＧなど既存の動画像符号化方式であってもよいし、ＪＰＥＧなどの静止画の符号化方式であっても構わない。この映像符号化手段１５は、復号側の映像復号手段と対になっている。

４つの映像符号化手段１５は、ここでは、色変換後の多次元信号の第１〜第３次元信号の映像符号化データと、色変換後の多次元信号の第４〜第６次元信号の映像符号化データと、色変換後の多次元信号の第７〜第９次元信号の映像符号化データと、色変換後の多次元信号の第１０〜第１２次元信号の映像符号化データのうちいずれか一つを生成するものとする。

なお、多次元信号の符号化時において、各主成分の重要度などに応じて、対応する色成分信号への符号量の割り当てを変更してもよい。例えば、第７〜第１２主成分の色成分信号Ｃ_７〜Ｃ_１２に対する符号量の割り当てを小さくし、その分、第１〜第６主成分の色成分信号Ｃ_１〜Ｃ_６に対する符号量の割り当てを大きくして符号化してもよい。

また例えば、第７〜第１２主成分の色成分信号Ｃ_７〜Ｃ_１２の値を“０”とみなして、第１〜第６主成分の色成分信号Ｃ_１〜Ｃ_６にのみ符号量を割り当てて符号化してもよい。この場合、４つの映像符号化手段１５のうちの一部（例えば２つ）を用いて符号化してもよい。

このように、各主成分の重要度などに応じて、対応する色成分信号への符号量の割り当てを変更することで、符号化効率を向上することができる。また、通信回線の状況が劣悪な場合などであっても、画質に与える影響が大きい色成分が損失するのを抑制することができ、符号化劣化を低減することができる。この符号量の割り当ては、入力映像（高解像度映像）の特徴に応じて、適宜変更することができる。

４つの映像符号化手段１５間での符号量の割り当ての調整は、４つの映像符号化手段１５間で直接行ってもよいし、図示しない制御手段により行ってもよい。このようにして４つの映像符号化手段１５でそれぞれ生成された映像符号化データは、多重化手段１７に出力される。なお、４つの映像符号化手段１５間で符号量の割り当てが変更された場合、変更後の符号量の割り当て情報を、４つの映像符号化手段１５でそれぞれ生成された映像符号化データのサイド情報として、復号側に通知してもよい。その場合、４つの映像符号化手段１５（または図示しない制御手段）により、変更後の符号量の割り当て情報が、サイド情報符号化手段１６に出力される。

サイド情報符号化手段１６は、色変換行列生成手段１３によって生成された多次元信号ごとの色変換行列と、画素シフト手段１２で生成された画素シフト量とを可逆符号化して、サイド情報の符号化データを生成するものである。この符号化データは、後記する多重化手段１７によって、前記した４つの映像符号化手段１５で生成された４つの映像符号化データに、サイド情報として付加される。

サイド情報符号化手段１６は、色変換行列情報と画素シフト情報とを、既存の符号化方式の中から、可逆な符号化方式（ＧＩＦや可逆のＪＰＥＧなど）により可逆符号化する。このようにして生成されたサイド情報の符号化データは、多重化手段１７に出力される。

なお、サイド情報符号化手段１６は、前記したように、４つの映像符号化手段１５での符号化時において、符号量の割り当てが変更された場合、変更後の符号量の割り当て情報をサイド情報として符号化してもよい。

多重化手段１７は、映像符号化手段１５で生成された映像符号化データと、サイド情報符号化手段１６で生成されたサイド情報の符号化データとを多重化して、多重化データを生成するものである。

多重化手段１７は、ここでは、４つの映像符号化手段１５でそれぞれ生成された色変換後の多次元信号における第１〜第３次元信号の映像符号化データと、色変換後の多次元信号における第４〜第６次元信号の映像符号化データと、色変換後の多次元信号における第７〜第９次元信号の映像符号化データと、色変換後の多次元信号における第１０〜第１２次元信号の映像符号化データとを入力し、サイド情報符号化手段１６からサイド情報の符号化データを入力する。多重化手段１７は、入力した４つの符号化データと、サイド情報の符号化データとを多重化して、多重化データを生成する。

このようにして生成された多重化データは、並列符号化装置１の内部または外部の図示しない蓄積手段に出力され、または、図示しない伝送手段を介して並列復号装置２に伝送される。なお、並列符号化装置１と並列復号装置２とが同一の装置内にある場合は、伝送手段を省略してよい。

［並列符号化装置の動作］
次に、図５および適宜図１〜４を参照して、本発明の実施形態に係る並列符号化装置１の動作について説明する。

図５に示すように、並列符号化装置１は、サブサンプル手段１１によって、高解像度映像を入力し（ステップＳ１）、この高解像度映像の異なる画素位置をサブサンプルして、画素位置ごとの複数（ここでは、４つ）の低解像度映像を生成する（ステップＳ２）。並列符号化装置１は、サブサンプル手段１１によって、生成した低解像度映像１〜４を画素シフト手段１２に出力する。

並列符号化装置１は、画素シフト手段１２によって、サブサンプル手段１１から低解像度映像１〜４を入力し、この低解像度映像１〜４間で同じ画素位置の画素を、高解像度映像の座標系における任意の画素位置に画素シフトし、シフト映像１〜４を生成する（ステップＳ３）。並列符号化装置１は、画素シフト手段１２によって、生成したシフト映像１〜４を、色変換行列生成手段１３に出力し、画素シフト量を、サイド情報符号化手段１６に出力する。

並列符号化装置１は、色変換行列生成手段１３によって、画素シフト手段１２からシフト映像１〜４を入力し、シフト映像１〜４間で同じ画素位置の画素の色成分信号をまとめて多次元信号として、画面全体で主成分分析を行って固有ベクトル（結合係数ベクトル）ｖ_ｋを生成し、この固有ベクトルｖ_ｋに基づいて、多次元信号ごとの色変換行列Ｖを生成する（ステップＳ４）。並列符号化装置１は、色変換行列生成手段１３によって、多次元信号、および、多次元信号ごとに生成した色変換行列を、色変換手段１４に出力する。

並列符号化装置１は、色変換手段１４によって、色変換行列生成手段１３から、多次元信号、および、多次元信号ごとに生成された色変換行列を入力し、多次元信号の色空間を、対応する色変換行列によって新たな色空間に色変換する（ステップＳ５）。並列符号化装置１は、色変換手段１４によって、色変換後の多次元信号Ｃ_１〜Ｃ_１２を、３次元信号ずつに分けて、４つの映像符号化手段１５にそれぞれ出力し、色変換行列をサイド情報符号化手段１６に出力する。

並列符号化装置１は、４つの映像符号化手段１５によって、色変換手段１４から色変換後の多次元信号Ｃ_１〜Ｃ_１２を入力し、この多次元信号のそれぞれ異なる部分を符号化して符号化データ（映像符号化データ）を生成する（ステップＳ６）。例えば、並列符号化装置１は、４つの映像符号化手段１５によって、色成分信号Ｃ_１〜Ｃ_３、Ｃ_４〜Ｃ_６、Ｃ_７〜Ｃ_９、Ｃ_１０〜Ｃ_１２のうちのいずれか一つの映像符号化データをそれぞれ生成する。並列符号化装置１は、４つの映像符号化手段１５によってそれぞれ生成した映像符号化データを、多重化手段１７に出力する。

並列符号化装置１は、サイド情報符号化手段１６によって、画素シフト手段１２から画素シフト量を入力するとともに、色変換行列生成手段１３から色変換行列を入力し、この画素シフト量と色変換行列とを可逆符号化してサイド情報の符号化データを生成する（ステップＳ７）。並列符号化装置１は、サイド情報符号化手段１６によって、生成したサイド情報の符号化データを、多重化手段１７に出力する。

並列符号化装置１は、多重化手段１７によって、４つの映像符号化手段１５から、色変換後の多次元信号のそれぞれ異なる部分の映像符号化データを入力するとともに、サイド情報符号化手段１６から、サイド情報の符号化データを入力し、４つの映像符号化データと、サイド情報の符号化データとを多重化して、多重化データを生成する。そして、並列符号化装置１は、多重化手段１７によって、生成した多重化データを、並列符号化装置１の内部または外部の図示しない蓄積手段に出力し、または、図示しない伝送手段を介して並列復号装置２に伝送する（ステップＳ８）。

並列符号化装置１は、以上のように動作する。
なお、図５に示したステップＳ６とステップＳ７は、同時に行ってもよい。

以上説明した、本発明の実施形態に係る並列符号化装置１によれば、次のような作用効果を奏する。
並列符号化装置１によれば、サブサンプル手段１１によって、高解像度映像から複数の低解像度映像を生成することで、高解像度映像の画面を単純に分割して符号化する場合と比較して、分割境界での不自然な劣化が生じないようにすることができる。

また、並列符号化装置１によれば、画素シフト手段１２によって、この複数の低解像度映像間で同じ画素位置の画素を画素シフトして、高解像度映像の座標系において同じ画素位置に配置することで、複数の低解像度映像間の相関を高めることができる。このように、並列符号化装置１によれば、複数の低解像度映像間の相関を利用した符号化が可能となるので、符号化効率を向上することができる。

また、並列符号化装置１によれば、色変換行列生成手段１３によって、多次元信号の主成分分析を行うことで生成した色変換行列は、高解像度映像への寄与率が高い軸から順次直交基底を張るため、色変換手段１４によって、この色変換行列によって多次元信号を色変換することで、多次元信号を、符号化時に間引き影響を受けやすい、エネルギーの高い色成分から間引き影響を受けにくい、エネルギーの低い色成分へと順位付けして色分解することが可能となる。

そのため、並列符号化装置１によれば、映像符号化手段１５によって、この色分解結果を利用して、エネルギーの高い色成分のみを符号化したり、符号量の割り当てを増やしたりするなどのスケーラブルな符号化が可能となる。これによって、通信回線の状況が劣悪な場合などであっても、画質に与える影響が大きい色成分が損失するのを抑制することができるので、符号化劣化を低減することができる。

さらに、並列符号化装置１によれば、色変換行列生成手段１３によって、画素シフト手段１２により生成されたシフト映像１〜４（図４参照）間で同じ画素位置となる画素の色成分信号をまとめて多次元信号とし、画面全体で主成分分析することで、複数の低解像度映像間の相関性を効率よく除去することができる。そのため、単純に高解像度映像の異なる画素位置をサブサンプルして生成した複数の低解像度映像を符号化する場合と比較して、符号化劣化を低減することができる。

［変形例］
以上、本発明の実施形態に係る並列符号化装置１について説明したが、本発明は、前記した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の改変が可能である。

例えば、前記した実施形態では、画素シフト手段１２が、複数の低解像度映像間で同じ画素位置の画素を、高解像度映像の座標系における任意の画素位置に画素シフトすることとしたが、これに限られず、高解像度映像の座標系における予め定めた既知の画素位置に画素シフトすることとしてもよい。この場合、復号側においても、当該画素位置が既知の情報であるものとする。また、この場合、並列符号化装置１は、画素シフト量を、サイド情報として復号側に通知する必要はない。

また、例えば画素シフト手段１２が、高解像度映像の座標系における任意の画素位置の候補である候補画素位置を複数設定し、複数の映像符号化手段１５が、この候補画素位置についてそれぞれ符号化結果を求め、最も符号化性能がよい候補画素位置に対応する映像符号化データを、高解像度映像の映像符号化データとして、復号側に通知することとしてもよい。この場合、並列符号化装置１は、サイド情報符号化手段１６によって、決定された候補画素位置に対応する画素シフト量の符号化データを生成する。

これによれば、任意の画素位置の候補である複数の候補画素位置のそれぞれについて、符号化処理を試行することで、最も符号化効率のよい候補画素位置を探索することができる。したがって、符号化効率をより向上させることができる。

さらに、例えば画素シフト手段１２が、各シフト映像の各画素の画素値を、高解像度映像の座標系において、当該各シフト映像の各画素の所定の周辺領域内にある、対応する低解像度映像の画素の画素値としてもよい。この場合、並列符号化装置１は、サイド情報符号化手段１６によって、領域ごとの決定された画素シフト量の符号化データを生成する。これによれば、複数の低解像度映像のそれぞれにおいて、画素シフト後の画素の画素値を、対応する低解像度映像の画素の画素値を用いて求めることで、画素シフト後の画素の画素値に、それぞれの低解像度映像の特徴を適切に反映させることができる。したがって、符号化劣化をより低減することができる。

［並列復号装置の構成］
次に、図６を参照して、本発明の実施形態に係る並列復号装置の構成について説明する。
図６に示すように、本発明の実施形態に係る並列復号装置２は、分離手段２１と、複数の映像復号手段２２，２２…と、サイド情報復号手段２３と、色逆変換手段２４と、画素逆シフト手段２５と、画像合成手段２６と、を備えている。

分離手段２１は、並列符号化装置１の多重化手段１７（図１参照）で生成された多重化データを入力し、この多重化データから、並列符号化装置１の映像符号化手段１５（図１参照）で生成された、映像符号化データ（ここでは４つ）と、サイド情報符号化手段１６（図１参照）で生成された、サイド情報の符号化データとを分離するものである。
分離手段２１によって多重化データから分離された４つの映像符号化データは、映像復号手段２２に出力され、サイド情報の符号化データは、サイド情報復号手段２３に出力される。

映像復号手段２２は、分離手段２１によって多重化データから分離された映像符号化データを復号するものであり、ここでは、映像符号化データの数に対応して４つ設けられている。
映像復号手段２２は、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４ ＡＶＣ｜Ｈ．２６４、ＨＥＶＣ｜Ｈ．２６５、Ｍｏｔｉｏｎ ＪＰＥＧなど既存の動画像復号方式、または、ＪＰＥＧなどの静止画の復号方式によって、映像符号化データを復号する。

並列符号化装置１の映像符号化手段１５（図１参照）が、可逆な符号化方式による場合には、映像復号手段２２からの出力は、映像符号化手段１５（図１参照）への入力と一致する。一方、並列符号化装置１の映像符号化手段１５（図１参照）が非可逆な方式による場合には、映像復号手段２２からの出力は、映像符号化手段１５（図１参照）に対し、劣化を含んでいる場合もある。

４つの映像復号手段２２は、４つの映像符号化データのうちのいずれか１つをそれぞれ復号する。具体的には、４つの映像復号手段２２は、符号化側での色変換後の多次元信号のそれぞれ異なる部分である色成分信号Ｃ_１〜Ｃ_３、Ｃ_４〜Ｃ_６、Ｃ_７〜Ｃ_９、Ｃ_１０〜Ｃ_１２のうちのいずれか１つをそれぞれ復号する。このようにして復号された各データは、色逆変換手段２４にそれぞれ出力される。

サイド情報復号手段２３は、分離手段２１によって多重化データから分離されたサイド情報の符号化データを入力して復号するものである。サイド情報復号手段２３は、ここでは、並列符号化装置１のサイド情報符号化手段１６（図１参照）で生成されたサイド情報の符号化データから、多次元信号ごとの色変換行列と画素シフト量とを復号する。

サイド情報復号手段２３は、既存の復号方式の中から、可逆な符号化方式（ＧＩＦや可逆のＪＰＥＧなど）に対応する復号方式により、多次元信号ごとの色変換行列と画素シフト量とを復号する。このようにして復号された、多次元信号ごとの色変換行列は、色逆変換手段２４に出力され、画素シフト量は、画素逆シフト手段２５に出力される。

色逆変換手段２４は、４つの映像復号手段２２でそれぞれ復号された、多次元信号の異なる一部分をまとめて多次元信号を再構成し、この多次元信号の色空間を元の色空間に戻す変換を行うものである。

色逆変換手段２４は、４つの映像復号手段２２でそれぞれ復号された、色成分信号Ｃ_１〜Ｃ_３、Ｃ_４〜Ｃ_６、Ｃ_７〜Ｃ_９、Ｃ_１０〜Ｃ_１２をまとめて多次元信号Ｃ_１〜Ｃ_１２（ここでは、１２次元信号）を再構成する。また、色逆変換手段２４は、サイド情報復号手段２３で復号された、多次元信号Ｃ_１〜Ｃ_１２に対応する色変換行列に基づいて、符号化側での色変換の逆変換を行って、シフト映像１〜４（図４参照）を復元する。

色逆変換手段２４は、多次元信号Ｃ_１〜Ｃ_１２に、符号化側で多次元信号Ｃ_１〜Ｃ_１２を生成するために用いられた色変換行列Ｖの逆行列Ｖ^−１を乗算して、高解像度映像の座標系における任意の画像座標（ｘ，ｙ）に位置する、低解像度映像１（図２参照）の色成分信号Ｒ_１（ｘ，ｙ），Ｇ_１（ｘ，ｙ），Ｂ_１（ｘ，ｙ）と、低解像度映像２（図２参照）の色成分信号Ｒ_２（ｘ，ｙ），Ｇ_２（ｘ，ｙ），Ｂ_２（ｘ，ｙ）と、低解像度映像３（図２参照）の色成分信号Ｒ_３（ｘ，ｙ），Ｇ_３（ｘ，ｙ），Ｂ_３（ｘ，ｙ）と、低解像度映像４（図２参照）の色成分信号Ｒ_４（ｘ，ｙ），Ｇ_４（ｘ，ｙ），Ｂ_４（ｘ，ｙ）とを復元する。つまり、色逆変換手段２４は、並列符号化装置１の色変換手段１４（図１参照）による色変換前で、画素シフト手段１２（図１参照）による画素シフト後のシフト映像１〜４（図４参照）を復元する。
このようにして復元されたシフト映像１〜４（図４参照）は、画素逆シフト手段２５に出力される。

画素逆シフト手段２５は、色逆変換手段２４で復元されたシフト映像１〜４（図４参照）の各画素を、サイド情報復号手段で復号された画素シフト量に基づいて、元の画素位置に戻すように逆シフトするものである。

画素逆シフト手段２５による画素逆シフト処理は、並列符号化装置１の画素シフト手段１２の画素シフト処理に対し、シフト方向は逆方向であるが、処理の内容は同じである。つまり、画素逆シフト手段２５は、１次元フィルタをシフト映像１〜４（図４参照）の縦・横方向に適用して画素逆シフトしてもよいし、２次元フィルタを適用してシフト映像１〜４（図４参照）を画素逆シフトしてもよい。

このような画素逆シフト手段２５による画素逆シフト処理によって、図２に示したような、高解像度映像の異なる画素位置ごとの低解像度映像１〜４（図２参照）が復元される。このようにして復元された低解像度映像１〜４（図２参照）は、画像合成手段２６に出力される。

画像合成手段２６は、画素逆シフト手段２５により生成された、図２に示したような低解像度映像１〜４の各画素を、高解像度映像の対応する画素位置にそれぞれアップサンプルし、図２に示したような高解像度映像を合成するものである。このようにして合成された高解像度映像は、並列復号装置２の内部または外部の図示しない蓄積手段に蓄積され、または、並列復号装置２の外部に出力される。

［並列復号装置の動作］
次に、図７を参照して、並列復号装置２の動作について説明する。
並列復号装置２は、分離手段２１によって、並列符号化装置１の多重化手段１７（図１参照）で生成された多重化データを入力し（ステップＳ１１）、４つの映像符号化データとサイド情報の符号化データとを分離する（ステップＳ１２）。並列復号装置２は、分離手段２１によって、４つの映像符号化データを映像復号手段２２に出力し、サイド情報の符号化データをサイド情報復号手段２３に出力する。

並列復号装置２は、４つの映像復号手段２２によって、分離手段２１で多重化データ殻分離された４つの映像符号化データのうちの一つをそれぞれ入力して復号し、多次元信号のそれぞれ異なる３次元ごとの色成分信号を復元する（ステップＳ１３）。並列復号装置２は、４つの映像復号手段２２によって、それぞれ復号した色成分信号を色逆変換手段２４に出力する。

並列復号装置２は、サイド情報復号手段２３によって、分離手段２１で多重化データから分離されたサイド情報の符号化データを入力して復号し、多次元信号ごとの色変換行列と画素シフト量とを復元する（ステップＳ１４）。並列復号装置２は、サイド情報復号手段２３によって、復号した多次元信号ごとの色変換行列を、色逆変換手段２４に出力し、画素シフト量を、画素逆シフト手段２５に出力する。

並列復号装置２は、色逆変換手段２４によって、４つの映像復号手段２２によりそれぞれ復号された３次元ごとの色成分信号を入力し、サイド情報復号手段２３から多次元信号ごとの色変換行列を入力して、３次元ごとの色成分信号をまとめて多次元信号を再構成する。
また、並列復号装置２は、色逆変換手段２４によって、サイド情報復号手段２３で復号された、符号化側で多次元信号を生成するために用いられた色変換行列に対し、逆行列を多次元信号に乗算し、シフト映像１〜４（図４参照）を復元する（ステップＳ１５）。並列復号装置２は、色逆変換手段２４によって、復元したシフト映像１〜４（図４参照）を、画素逆シフト手段２５に出力する。

並列復号装置２は、画素逆シフト手段２５によって、色逆変換手段２４により復元されたシフト映像１〜４（図４参照）を入力し、サイド情報復号手段２３から画素シフト量を入力して、画素シフト量に基づいて、シフト映像１〜４（図４参照）の各画素を元の画素位置に戻すように画素逆シフトして、低解像度映像１〜４（図２参照）を復元する（ステップＳ１６）。並列復号装置２は、画素逆シフト手段２５によって、復元した低解像度映像１〜４（図２参照）を画像合成手段２６に出力する。

並列復号装置２は、画像合成手段２６によって、画素逆シフト手段２５により復元された低解像度映像１〜４（図２参照）を入力し、この低解像度映像１〜４（図２参照）の各画素をアップサンプルして、高解像度映像（図２参照）を合成する（ステップＳ１７）。

並列復号装置２は、以上のように動作する。
なお、図７に示したステップＳ１３とステップＳ１４は、同時に行ってもよい。

以上説明した、本発明の実施形態に係る並列復号装置２によれば、次のような作用効果を奏する。
並列復号装置２によれば、映像復号手段２２によって、符号化側で、符号化劣化が少なくなるように生成された複数の映像符号化データを復号して多次元信号のそれぞれ異なる部分を復元する。また、並列復号装置２によれば、色逆変換手段２４によって、サイド情報復号手段２３で復号された色変換行列に基づいて、多次元信号を逆変換して複数のシフト映像を復元する。さらに、並列復号装置２によれば、画素逆シフト手段２５によって、サイド情報復号手段２３で復号された画素シフト量に基づいて、この複数のシフト映像の各画素を画素逆シフトして複数の低解像度映像を復元し、画像合成手段２６によって、この複数の低解像度映像から高解像度映像を合成する。これによって、並列復号装置２によれば、視覚的に損失の少ない高解像度映像を復元することができる。

また、並列復号装置２によれば、４つの映像復号手段２２によって、映像符号化データの復号処理を並列に行うことができるので、復号処理を高速化することができる。

なお、並列符号化装置１（図１参照）および並列復号装置２（図６参照）は、それぞれ、コンピュータにおいて各手段における処理を実行可能に記述したプログラム（映像符号化プログラム、または、映像復号プログラム）とすることも可能である。この場合、各プログラムは、対応する装置と同様の効果を奏する。

１ 並列符号化装置
１１ サブサンプル手段
１２ 画素シフト手段
１３ 色変換行列生成手段
１４ 色変換手段
１５ 映像符号化手段
１６ サイド情報符号化手段
１７ 多重化手段
２ 並列復号装置
２１ 分離手段
２２ 映像復号手段
２３ サイド情報復号手段
２４ 色逆変換手段
２５ 画素逆シフト手段
２６ 画像合成手段

Claims (8)

1. 映像から複数の低解像度映像を生成し、この複数の低解像度映像を並列に符号化する並列符号化装置であって、
   符号化対象映像の異なる画素位置をサブサンプルして、当該符号化対象映像よりも解像度が低い前記複数の低解像度映像を生成するサブサンプル手段と、
   前記サブサンプル手段により生成された前記複数の低解像度映像間で画素位置が同じ画素を、前記符号化対象映像の座標系における復号側で既知の画素位置にそれぞれ画素シフトさせた複数のシフト映像を生成する画素シフト手段と、
   前記画素シフト手段により生成された前記複数のシフト映像間で画素位置が同じ画素の色成分信号をまとめて多次元信号として、画面全体で主成分分析することにより得られた結合係数から色変換行列を生成する色変換行列生成手段と、
   前記色変換行列生成手段により生成された前記色変換行列に基づいて、対応する前記多次元信号の色空間を、新たな色空間に変換する色変換手段と、
   前記色変換手段により色変換された前記多次元信号ごとに、当該多次元信号のそれぞれ異なる部分の映像符号化データをそれぞれ生成する複数の映像符号化手段と、
   前記複数の映像符号化手段で生成された前記複数の映像符号化データに対応するサイド情報として、前記色変換手段において、前記多次元信号の色変換に用いた前記色変換行列の符号化データを生成するサイド情報符号化手段とを備えることを特徴とする並列符号化装置。
2. 映像から複数の低解像度映像を生成し、この複数の低解像度映像を並列に符号化する並列符号化装置であって、
   符号化対象映像の異なる画素位置をサブサンプルして、当該符号化対象映像よりも解像度が低い前記複数の低解像度映像を生成するサブサンプル手段と、
   前記サブサンプル手段により生成された前記複数の低解像度映像間で画素位置が同じ画素を、前記符号化対象映像の座標系における任意の画素位置にそれぞれ画素シフトさせた複数のシフト映像を生成する画素シフト手段と、
   前記画素シフト手段で生成された前記複数のシフト映像間で画素位置が同じ画素の色成分信号をまとめて多次元信号とし、画面全体で主成分分析することにより得られた結合係数から色変換行列を生成する色変換行列生成手段と、
   前記色変換行列生成手段により生成された前記色変換行列に基づいて、対応する前記多次元信号の色空間を、新たな色空間に変換する色変換手段と、
   前記色変換手段により色変換された前記多次元信号ごとに、当該多次元信号のそれぞれ異なる部分の映像符号化データをそれぞれ生成する複数の映像符号化手段と、
   前記複数の映像符号化手段で生成された前記複数の映像符号化データに対応するサイド情報として、前記色変換手段において、前記多次元信号の色変換に用いた前記色変換行列の符号化データと、前記画素シフト手段において前記複数の低解像度映像から前記複数のシフト映像を生成するときの、前記複数の低解像度映像の各画素の画素シフト量の符号化データとを生成するサイド情報符号化手段とを備えることを特徴とする並列符号化装置。
3. 前記画素シフト手段は、
   前記任意の画素位置の候補である候補画素位置を複数設定し、
   前記複数の映像符号化手段は、
   前記画素シフト手段で設定された前記候補画素位置ごとに前記映像符号化データを生成し、前記候補画素位置ごとの映像符号化データの中で、最も符号化効率がよい映像符号化データを、前記符号化対象映像の映像符号化データとし、
   前記サイド情報符号化手段は、
   前記複数の映像符号化手段において、前記符号化対象映像の映像符号化データとして生成された、前記複数の映像符号化データに対応する前記候補画素位置の前記画素シフト量の符号化データを生成することを特徴とする請求項２に記載の並列符号化装置。
4. 前記画素シフト手段は、
   前記各シフト映像の各画素の画素値を、前記符号化対象映像の座標系において、当該各シフト映像の各画素の所定の周辺領域内にある、対応する前記低解像度映像の画素の画素値を用いて求めることを特徴とする請求項２または請求項３に記載の並列符号化装置。
5. 請求項１に記載の並列符号化装置で生成された映像符号化データを並列に復号する並列復号装置であって、
   前記映像符号化データを入力し、この映像符号化データから、符号化側での色変換後の前記多次元信号のそれぞれ異なる部分を復号する複数の映像復号手段と、
   前記映像符号化データに対応するサイド情報の符号化データを入力し、このサイド情報の符号化データから前記色変換行列を復号するサイド情報復号手段と、
   前記複数の映像復号手段によりそれぞれ復号された、前記多次元信号のそれぞれ異なる部分を合成して前記多次元信号とし、この多次元信号に対し、前記サイド情報復号手段で復号された前記色変換行列に基づいて、符号化側での前記色変換の逆変換を行い、前記複数のシフト映像を復元する色復元手段と、
   前記色復元手段により復元された、前記複数のシフト映像のそれぞれについて、各画素を、符号化側での画素シフト方向に対し逆方向に画素シフトして、前記複数の低解像度映像を復元する画素逆シフト手段と、
   前記画素逆シフト手段により復元された、前記複数の低解像度映像を、前記符号化対象映像の座標系における対応する画素位置にそれぞれ配置し、前記複数の低解像度映像よりも解像度が高い前記符号化対象映像を合成する映像合成手段と、を備える並列復号装置。
6. 請求項２に記載の並列符号化装置で生成された複数の映像符号化データを並列に復号する並列復号装置であって、
   前記複数の映像符号化データを入力し、この複数の映像符号化データから、符号化側で色変換された多次元信号のそれぞれ異なる部分を復号する複数の映像復号手段と、
   前記複数の映像符号化データに対応するサイド情報の符号化データを入力し、この符号化データから、前記色変換行列と、前記画素シフト量とを、前記サイド情報として復号するサイド情報復号手段と、
   前記複数の映像復号手段によりそれぞれ復号された、前記多次元信号のそれぞれ異なる部分を合成して前記多次元信号とし、この多次元信号に対し、前記サイド情報復号手段で復号された前記色変換行列に基づいて、符号化側での前記色変換の逆変換を行い、前記複数のシフト映像を復元する色復元手段と、
   前記色復元手段により復元された、前記複数のシフト映像のそれぞれについて、各画素を、前記サイド情報復号手段で復号された前記画素シフト量に基づいて、符号化側での画素シフト方向に対し逆方向に画素シフトし、前記複数の低解像度映像を復元する画素逆シフト手段と、
   前記画素逆シフト手段により復元された、前記複数の低解像度映像を、前記符号化対象映像の座標系における対応する画素位置にそれぞれ配置し、前記複数の低解像度映像よりも解像度が高い前記符号化対象映像を合成する映像合成手段と、を備える並列復号装置。
7. コンピュータを、請求項１から請求項４のいずれか一項に記載の並列符号化装置として機能させるための並列符号化プログラム。
8. コンピュータを、請求項５または請求項６に記載の並列復号装置として機能させるための並列復号プログラム。

Images