JP6078382B2 - 信号変換装置、信号復元装置、信号変換プログラム及び信号復元プログラム - Google Patents

Description

本発明は、信号変換装置、信号復元装置、信号変換プログラム及び信号復元プログラムに関する。

画像符号化システムにおいて、符号化手段の前および復号手段の後に処理を付加することにより符号化効率や主観画質を改善する手法が知られている（例えば、特許文献１及び特許文献２参照）主成分分析、判別分析、及びサポートベクターマシンなどの分野において、前もって入力ベクトルを非線形変換によって変換しておくことで特徴抽出や判別の性能を向上させるカーネル法（カーネルトリック）と呼ばれる手法が知られている（例えば、非特許文献１及び特許文献３参照）。

特開２０１１−２２８９７４号公報 特開２０１２−１４２７６９号公報 特表２００３−５２９１３１号公報

J. Shawe-Taylor and N. Cristianini. Kernel Methods for Pattern Analysis. Cambridge University Press, 2004.

特許文献１の手法は、符号化部の前および復号部の後でそれぞれ画像の解像度を変換することにより符号化効率を向上させる手法であるが、画像の色成分間の相関を利用していないので、符号化劣化の影響を受けて画像の元の色を良く復元できない場合がある。特許文献２の手法は、符号化部の前および復号部の後で画像を変換するが、その技術はいかに前後処理を最適化するか、および最適化された後処理のパラメータをいかに伝送するかの工夫であり、変換方式自体を規定するものではない。また非特許文献１及び特許文献３のカーネル法のアイデアはパターン認識の性能を向上させるために設計されているため、画像符号化の性能向上を目的とした工夫は行われていない。以上のように、従来の技術では、符号化劣化の影響を受けて画像の元の色を良く復元できない場合があるという問題がある。

そこで本発明の一態様は、上記問題に鑑みてなされたものであり、画像の元の色の復元性を向上させる信号変換装置、信号復元装置、信号変換プログラム及び信号復元プログラムを提供することを課題とする。

（１）本発明の一態様は、画像に含まれる各画素の色を表す色ベクトルを、該色ベクトルの次元以上の特徴ベクトルへ非線形変換する非線形変換部と、前記非線形変換部が変換して得た特徴ベクトルを主成分分析して変換規則を算出し、該変換規則に基づいて前記特徴ベクトルを符号化用ベクトルへ変換し、前記変換規則を示す変換規則情報を出力する主成分分析部と、を備える信号変換装置である。

（２）また、本発明の一態様は、上述の信号変換装置であって、前記主成分分析部が主成分分析して得た符号化用ベクトルを符号化し、符号化する際の符号化劣化を示す符号化劣化情報を出力する符号化部を備える。

（３）また、本発明の一態様は、特徴ベクトルから符号化用ベクトルへの変換規則を示す変換規則情報を取得し、該取得した変換規則情報に基づいて、画像を非線形変換した後に主成分分析をして得られた符号化用ベクトルに対して符号化及び復号を施した後の符号化用ベクトルを特徴ベクトルへ復元する復元部と、符号化劣化が画像の色ベクトルに及ぼす影響の度合いを示す影響度情報に基づいて、前記復元部が復元して得た復元特徴ベクトルを、画像に含まれる各画素の色を表す色ベクトルへ変換する変換部と、を備える信号復元装置である。

（４）また、本発明の一態様は、上述の信号復元装置であって、符号化用ベクトルが符号化された主情報を取得し、該取得した主情報を復号する復号部を更に備え、前記復元部は、前記復号部が復号して得た符号化用ベクトルを特徴ベクトルへ復元する。

（５）また、本発明の一態様は、コンピュータに、画像に含まれる各画素の色を表す色ベクトルを、該色ベクトルの次元以上の特徴ベクトルへ非線形変換する非線形変換ステップと、前記非線形変換ステップで変換して得た特徴ベクトルを主成分分析して変換規則を算出し、該変換規則に基づいて前記特徴ベクトルを符号化用ベクトルへ変換し、前記変換規則を示す変換規則情報を出力する主成分分析ステップと、を実行させるための信号変換プログラムである。

（６）また、本発明の一態様は、特徴ベクトルから符号化用ベクトルへの変換規則を示す変換規則情報を取得し、該取得した変換規則情報に基づいて、復号された符号化用ベクトルを特徴ベクトルへ復元する復元ステップと、符号化劣化が画像の色ベクトルに及ぼす影響の度合いを示す影響度情報に基づいて、前記復元ステップで復元されて得られた復元特徴ベクトルを、画像に含まれる各画素の色を表す色ベクトルへ変換する変換ステップと、を実行させるための信号復元プログラムである。

本発明の信号変換装置によれば、色ベクトルを特徴ベクトルへ非線形変換して得た特徴ベクトルを主成分分析して算出された変換規則を生成するので、非線形変換することでより色の復元性が高くなる主成分を抽出することができ、画像の元の色の復元性を向上させることができる。
また、本発明の信号復元装置によれば、符号化劣化が画像の色ベクトルに及ぼす影響の度合いを示す影響度情報を考慮して、復元して得た復元特徴ベクトルを、画像に含まれる各画素の色を表す色ベクトルへ変換するので、変換後の画像の色を画像の元の色により近づけることができる。

第１の実施形態における画像伝送システムの構成を示す概略ブロック図である。 第１の実施形態における画像伝送システムの処理の流れの一例を示すフローチャートである。 第２の実施形態における信号変換装置の構成を示す概略ブロック図である。

＜第１の実施形態＞
以下、本発明の実施形態について、図面を参照して詳細に説明する。図１は、第１の実施形態における画像伝送システム１の構成を示す概略ブロック図である。画像伝送システム１は、信号変換装置２と信号復元装置４とを備える。信号変換装置２は、入力画像から主情報及び補助情報を生成し、生成した主情報及び補助情報を伝送装置３へ出力する。伝送装置３は、信号変換装置２から入力された主情報及び補助情報を信号復元装置４へ伝送する。信号復元装置４は、伝送装置３により伝送された主情報及び補助情報から復元画像を生成する。以下、各装置の構成における画像内の各画素に対する処理を説明する。

信号変換装置２は、非線形変換部２１と主成分分析部２２と符号化部２４とを備える。非線形変換部２１は、画像に含まれる各画素の色を表す色ベクトルを、該色ベクトルの次元以上の特徴ベクトルへ非線形変換する。これにより、いずれかの次元において、主成分分析をすることにおいて、少なくとも非線形変換する前よりも良好な線形性が得られる可能性が高い。非線形変換の処理内容は、一例として予め決められている。具体的には例えば、非線形変換部２１は、入力画像の画像座標（ｉ，ｊ）における色ベクトルｘ（ｉ，ｊ）（Ｎ次元、Ｎは自然数で例えば３次元）に対し、次の式（１）の非線形ベクトル関数ｆを適用し、Ｍ次元（Ｍ≧Ｎ、Ｍは自然数）のベクトル（以下、特徴ベクトルという）ｙ（ｉ，ｊ）へ変換する。ここで入力画像の座標をｉｊ座標とすると、ｉとｊはそれぞれ座標値を表す整数である。非線形変換部２１は、変換して得た特徴ベクトルｙ（ｉ，ｊ）を主成分分析部２２へ出力する。

ここで、非線形ベクトル関数ｆの出力する特徴ベクトル値ｙ（ｉ，ｊ）の一部の成分は、入力ｘ（ｉ，ｊ）に対して線形であっても構わないが、特徴ベクトル値ｙ（ｉ，ｊ）を構成する少なくとも１成分については、入力ｘ（ｉ，ｊ）に対して非線形である必要がある。例えば、Ｎ＝３とし、色ベクトルｘ（ｉ，ｊ）および特徴ベクトルｙ（ｉ，ｊ）を次の式（２）とする。

このとき、非線形ベクトル関数ｆは、例えば、式（３）〜式（６）のいずれかで表される。

但し、γは正かつ１以外の実数の定数である。なお、定数γは、入力画像を撮像した撮像装置のガンマ特性に応じて決められていてもよい。

ここで、ａ、ｂ、ｃは正の実数の定数である。
主成分分析部２２は、非線形変換部２１が変換して得た特徴ベクトルｙ（ｉ，ｊ）を主成分分析して変換規則を算出する。主成分分析部２２は、算出した変換規則に基づいて特徴ベクトルｙ（ｉ，ｊ）を符号化用ベクトルへ変換し、変換規則を示す変換規則情報を出力する。具体的には例えば、主成分分析部２２は、入力画像の全体または部分に属する画素集合（領域Ｄとおく）に関し、特徴ベクトルｙを画素位置毎に求め、その統計をとることにより主成分分析を行う。例えば、領域Ｄに含まれる画像座標（ｉ，ｊ）の特徴ベクトルをｙ（ｉ，ｊ）とおくと、主成分分析部２２は次の式（７−１）と式（７−２）を用いて、特徴ベクトルｙ（ｉ，ｊ）の領域Ｄ内における分散・共分散行列Ｓを算出する。

ここで、上付きのＴはベクトルや行列の転置である。続いて、主成分分析部２２は、分散・共分散行列Ｓの固有ベクトルおよび固有値を求める。ここで固有ベクトルおよび固有値を、固有値の大きい順に整順したとき、ｎ番目（ｎは１以上Ｎ以下の自然数）の正規化した固有ベクトルをｖ_ｎ、固有値をλ_ｎとおく。主成分分析部２２は、例えば固有ベクトルｖ_１乃至ｖ_Ｍ（典型的にはＭ＝３）を用いて変換行列Ｐを次の式（８）のように算出する。

ここで、変換行列Ｐは変換規則の一例である。主成分分析部２２は、変換行列Ｐを固有ベクトル情報として伝送装置３へ出力する。これにより、伝送装置３がその固有ベクトル情報を信号復元装置４へ伝送する。
続いて、主成分分析部２２は例えば、Ｍ次元の特徴ベクトルｙ（ｉ，ｊ）を変換行列Ｐを用いて変換し、Ｍ次元のベクトル（以下、符号化用ベクトルという）ｚ（ｉ，ｊ）を生成する。具体的には例えば、主成分分析部２２は、次の式（９）に従って符号化用ベクトルｚ（ｉ，ｊ）を生成する。

主成分分析部２２は、生成した符号化用ベクトルｚ（ｉ，ｊ）を符号化部２４へ出力する。符号化部２４は、主成分分析部２２が主成分分析して得た符号化用ベクトルを符号化し、符号化する際の符号化劣化を示す符号化劣化情報を出力する。具体的には、符号化部２４は、符号化用ベクトルｚ（ｉ，ｊ）からなる画像をカラー画像とみなし、予め決められた符号化規則に従って画像符号化を行うことで、符号化用ベクトルｚ（ｉ，ｊ）をビットストリームへ変換する。ここで、符号化規則は、非可逆の符号化方式であればよく、静止画像用の符号化規則（例えば、ＪＰＥＧの符号化規則）であっても、動画像用の符号化規則（例えば、ＭＰＥＧの符号化規則）であってもよい。符号化部２４は、変換して得たビットストリームを主情報として伝送装置３へ出力する。そして伝送装置３は、その主情報を信号復元装置４へ伝送する。

更に符号化部２４は例えば、非可逆符号化によって生じる誤差として、符号化用ベクトルｚ（ｉ，ｊ）の成分ごとに、符号化前の値と符号化後の値を復号して得た値と間で平均二乗誤差（ＭＳＥ：Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ）を算出する。符号化部２４は、算出した平均二乗誤差を符号化劣化情報として伝送装置３へ出力する。そして、伝送装置３は、その補助情報を信号復元装置４へ伝送する。なお、符号化部２４は、ＭＳＥの代わりにＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ Ｒａｔｉｏ）を算出し、ＰＮＲを符号化劣化情報として伝送装置３へ出力してもよい。これは、ＰＮＲは２０×ｌｏｇ（（ＭＳＥ×画素数）／（画素値の上限値）^２×画素数）で表され、ＰＳＮＲとＭＳＥは相互に変換可能であるからである。

伝送装置３は、信号変換装置２から入力された、主情報、固有ベクトル情報、および符号化劣化情報を信号復元装置４へ伝送する。伝送装置３は、伝送するのではなく、主情報、固有ベクトル情報、および符号化劣化情報を記憶媒体へ蓄積し、蓄積したそれらの情報を読み出して信号復元装置４へ出力するものであってもよい。ここで、記憶媒体は、伝送装置３の内部にあっても、外部にあってもよい。

信号復元装置４は、復号部４１、復元部４２、及び変換部４３を備える。
復号部４１は、符号化部２４と対をなし、符号化用ベクトルが符号化された主情報を取得し、該取得した主情報を復号する。ここで例えば、復号部４１による復号画像の画像座標（ｉ，ｊ）における画素値を表すベクトルをｚ＾（ｉ，ｊ）とし、復号符号化用ベクトルと称する。ここで、ｚ＾はｚの上に符号＾が付された記号を表す。復号部４１は、復号により得られた復号符号化用ベクトルをｚ＾（ｉ，ｊ）を復元部４２へ出力する。

復元部４２は、主成分分析部２２から通知された固有ベクトル情報に基づき、復号画像の復号符号化用ベクトルｚ＾（ｉ，ｊ）を特徴空間に写像し、復元特徴ベクトルｙ＾（ｉ，ｊ）を得る。ここで、ｙ＾はｙの上に符号＾が付された記号を表す。具体的には例えば、復元部４２は、次の式（１０）に示すように、変換行列Ｐを転置したＰ^Ｔと復号符号化用ベクトルｚ＾（ｉ，ｊ）とを用いて復元特徴ベクトルｙ＾（ｉ，ｊ）を生成する。

復元部４２は、生成した復元特徴ベクトルｙ＾（ｉ，ｊ）を変換部４３の後述する最小二乗部４５へ出力する。上述したことから、復元部４２は、特徴ベクトルから符号化用ベクトルへの変換規則を示す変換規則情報を取得し、取得した変換規則情報に基づいて復号符号化用ベクトルを特徴ベクトルへ復元する。ここで、変換規則情報の一例が固有ベクトル情報である。

変換部４３は、符号化劣化が画像の色ベクトルに及ぼす影響の度合いを示す影響度情報に基づいて、復元部４２が復元して得た復元特徴ベクトルｙ＾（ｉ，ｊ）を、画像に含まれる各画素の色を表す色ベクトルへ変換する。ここで、影響度情報は、所定の誤差を前提としたときに符号化が色ベクトルに及ぼす影響の度合い、または符号化誤差の実測値（例えば、ＭＳＥ）の一方または双方である。ここで、変換部４３は重み演算部４４及び最小二乗部４５を備える。

重み演算部４４は、符号化部２４から補助情報として通知された符号化劣化情報（例えば、ＭＳＥ）と主成分分析部２２から通知された固有ベクトル情報（例えば、変換行列Ｐ）とに基づいて、重み行列Ｗを決定する。ここで重み行列Ｗが、一例として色ベクトルｘに依存する場合について説明するので、重み行列ＷをＷ（ｘ）と記載する。これは、最小二乗部４５において復元特徴ベクトルｙ＾（ｉ，ｊ）から復元色ベクトルｘ＾（ｉ，ｊ）を最小二乗法によって求めるにあたり、特徴空間における各軸方向に重みづけを行うことで、復元特徴ベクトルｙ＾（ｉ，ｊ）から復元色ベクトルｘ＾（ｉ，ｊ）ヘの写像時の復元特徴ベクトルｙ＾（ｉ，ｊ）に含まれる各変数の寄与、および復元特徴ベクトルｙ＾（ｉ，ｊ）における符号化劣化の影響のいずれか一方または両方を考慮した重みづけを行うためのものである。ここで、ｘ＾はｘの上に符号＾が付された記号を表す。

例えば、重み演算部４４が復元特徴ベクトルｙ＾（ｉ，ｊ）から復元色ベクトルｘ＾（ｉ，ｊ）ヘの写像時の復元特徴ベクトルｙ＾（ｉ，ｊ）に含まれる各成分の寄与に基づく場合、重み演算部４４は次の式（１１）によって重み行列Ｗを算出する。その場合、重み演算部４４は、非線形変換部２１が非線形変換で用いる非線形ベクトル関数ｆを予め保持する。

ここで上付きの＋はムーア・ペンローズ（Ｍｏｏｒｅ−Ｐｅｎｒｏｓｅ）の擬似逆行列を表す。この式（１１）の重み行列Ｗは色ベクトルｘから特徴ベクトルｙへの変換を表す非線形ベクトル関数ｆの感度行列∂ｆ（ｘ）／∂ｘの擬似逆行列に基づく重みづけを表し、復元特徴ベクトルｙ＾（ｉ，ｊ）を微小に変化させた場合に復元色ベクトルｘ＾（ｉ，ｊ）が変化する量（以下、感度ともいう）だけを考慮したものである。すなわち、この重み行列Ｗは、符号化に所定の誤差があるという前提のもとで、復元特徴ベクトルｙ＾（ｉ，ｊ）から復元色ベクトルｘ＾（ｉ，ｊ）への感度だけを最小にするためのものである。

別の例として、例えば、重み演算部４４は、復元特徴ベクトルｙ＾（ｉ，ｊ）における符号化劣化の度合いに基づいて重み行列Ｗを算出してもよい。その場合、重み演算部４４は例えば、次の式（１２）に従って重み行列Ｗを算出してもよい。

この式（１２）の重み行列Ｗは符号化するときのノイズ及び誤差の影響だけを考慮した重み行列である。なお、ｄｉａｇは各引数を対角要素に持つ対角行列を表し、ＭＳＥ１、ＭＳＥ２、およびＭＳＥ３は、符号化部２４において生じた符号化劣化を各成分（符号化部２４の想定する色要素、例えば、輝度１成分および色差２成分）について、符号化する前の値と符号化後の値を復号して得た値との間における平均二乗誤差である。例えば、ＭＳＥ１が輝度の平均二乗誤差、ＭＳＥ２が色差Ｃｂの平均二乗誤差、及びＭＳＥが色差Ｃｒの平均二乗誤差である。

さらに、重み演算部４４は、式（１１）の右辺と式（１２）の右辺の線形結合をとった式（１３）に従って重み行列Ｗ（ｘ）を算出してもよい。その場合、重み演算部４４は、非線形変換部２１が非線形変換で用いる非線形ベクトル関数ｆを予め保持する。

ここで、αは正の実定数である。定数αが小さいときに、式（１３）の右辺第１項の割合が大きくなるので、復元特徴ベクトルｙ＾（ｉ，ｊ）から復元色ベクトルｘ＾（ｉ，ｊ）への感度を重視することになる。
さらに、復元特徴ベクトルｙ＾（ｉ，ｊ）における符号化劣化の影響のうち、復元特徴ベクトルｙ＾（ｉ，ｊ）の要素間の相互相関が零であるものとして近似することにより、重み演算部４４は、次の式（１４−１）に従って重み行列Ｗ（ｘ）を算出してもよい。その場合、重み演算部４４は、非線形変換部２１が非線形変換で用いる非線形ベクトル関数ｆを予め保持する。

ここで、式（１４−１）の変数β_１、β_２、…、β_Ｎは、式（１４−２）で表される。
重み演算部４４は、算出した重み行列Ｗ（ｘ）を最小二乗部４５へ出力する。
上述したことから、重み演算部４４は符号化劣化が画像の色ベクトルに及ぼす影響の度合いを示す影響度情報に基づいて、重みを演算する。

最小二乗部４５は、非線形変換部２１が非線形変換で用いる非線形ベクトル関数ｆを予め保持し、復元特徴ベクトルｙ＾（ｉ，ｊ）および重み行列Ｗ（またはＷ（ｘ））に基づき、非線形ベクトル関数ｆの逆変換を実行し、復元色ベクトルｘ＾（ｉ，ｊ）を得る。具体的には、例えば、最小二乗部４５は、次の式（１５）に従って復元色ベクトルｘ＾（ｉ，ｊ）を算出する。

最小二乗部４５は例えば、レーベンバーグ・マルカート（Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ）法を用いることで式（１５）を解いて復元色ベクトルｘ＾（ｉ，ｊ）を算出する。このように、最小二乗部４５は、復元部４２が復元して得た復元特徴ベクトルｙ＾（ｉ，ｊ）を、重み演算部４４が演算した重みに基づいて色ベクトルに変換する。
画像伝送システム１は、以上の演算を画像内の各画素に関して適用することで、入力画像から復元画像を得ることができる。

図２は、第１の実施形態における画像伝送システム１の処理の流れの一例を示すフローチャートである。
（ステップＳ１０１）まず、非線形変換部２１は、画像内の各画素において、色ベクトルｘ（ｉ，ｊ）を非線形変換することで特徴ベクトルｙ（ｉ，ｊ）を生成する。
（ステップＳ１０２）次に、主成分分析部２２は、画像内の各画素において、主成分分析して固有ベクトル情報と符号化用ベクトルｚ（ｉ，ｊ）を生成する。そして、主成分分析部２２は、生成した符号化用ベクトルｚ（ｉ，ｊ）を符号化部２４へ出力し、生成した固有ベクトル情報を伝送装置３へ出力する。
（ステップＳ１０３）次に、符号化部２４は、画像内の各画素において、符号化用ベクトルｚ（ｉ，ｊ）を符号化して、主情報と符号化劣化情報を伝送装置３へ出力する。
（ステップＳ１０４）次に、伝送装置３は、信号変換装置２から入力された、主情報、固有ベクトル情報及び符号化劣化情報を信号復元装置４へ伝送する。
続いて、信号復元装置４は、一例としてステップＳ１０５及びステップＳ１０６の処理と、ステップＳ１０７の処理を並行して実行する。
（ステップＳ１０５）次に、復号部４１は、画像内の各画素において、主情報を復号して復号符号化用ベクトルｚ＾（ｉ，ｊ）を生成する。
（ステップＳ１０６）次に、復元部４２は、画像内の各画素において、復号符号化用ベクトルｚ＾（ｉ，ｊ）から復元特徴ベクトルｙ＾（ｉ，ｊ）を生成する。
（ステップＳ１０７）ステップＳ１０５及びステップＳ１０６の処理と並行して、重み演算部４４は、固有ベクトルと符号化劣化情報とから重み行列Ｗを算出する。
（ステップＳ１０８）次に、最小二乗部４５は、画像内の各画素において、復元特徴ベクトルｙ＾（ｉ，ｊ）および重み行列Ｗに基づき、復元色ベクトルｘ＾（ｉ，ｊ）を生成する。以上で本フローチャートの処理を終了する。

第１の実施形態における信号変換装置２において、非線形変換部２１が、色ベクトル空間において非直線状に分布する色分布の形状を非線形的に変形して直線性を高めた特徴ベクトルを生成する。そして、主成分分析部２２は、その特徴ベクトルに対して主成分分析を行うことで、元の色を復元する上で効果的な主成分を抽出することができる。その結果、信号変換装置２は、信号復元装置４による画像の元の色の復元性を向上させることができる。

また、第１の実施形態における信号復元装置４において、最小二乗部４５は、符号化部２４で生じる符号化劣化を考慮した重みづけにより非線形変換の逆変換を行うことで符号化劣化の影響を抑えた復元画像を得ることができる。以上により、画像伝送システム１は、符号化部２４と復号部４１のみを用いて入力画像を符号化し復号して得られる画像よりも、復元画像における、元の入力画像の色の復元性を向上させることができる。

なお、第１の実施形態において、非線形変換部２１と最小二乗部４５は、一例として、画像によらず常に予め決められた非線形ベクトル関数ｆを用いたが、これに限ったものではない。非線形変換部２１と最小二乗部４５で用いる非線形ベクトル関数ｆは共通である必要があるが、画像によってまたは時刻の結果に伴って非線形ベクトル関数ｆを変更してもよい。その場合、例えば、非線形変換部２１は、非線形ベクトル関数ｆを変更するたびに、変更後の非線形ベクトル関数ｆを、伝送装置３を介して最小二乗部４５へ送信すればよい。これにより、非線形変換部２１と最小二乗部４５は共通の非線形ベクトル関数ｆを用いることができる。

＜第２の実施形態＞
続いて、第２の実施形態について説明する。第１の実施形態の符号化部２４がＭＳＥを算出する機能を有するのに対し、第２の実施形態の符号化部２４ｂがＭＳＥを算出する機能を有しない点で異なる。第２の実施形態の画像伝送システム１ｂは、図１の信号変換装置２が図３の信号変換装置２ｂに置き換わったものである。図３は、第２の実施形態における信号変換装置２ｂの構成を示す概略ブロック図である。なお、図１と共通する要素には同一の符号を付し、その具体的な説明を省略する。図３の信号変換装置２ｂは、図１の信号変換装置２に比べて、符号化部２４が符号化部２４ｂに変更され、復号部２５及び誤差評価部２６が追加された構成になっている。

非線形変換部２１は第１の実施形態の非線形変換部２１と同様の機能を有する。その機能を概略すると、非線形変換部２１は例えば入力画像の色ベクトルｘ（ｉ，ｊ）を非線形変換し、変換して得た特徴ベクトルｙ（ｉ，ｊ）を主成分分析部２２へ出力する。
主成分分析部２２は第１の実施形態の主成分分析部２２と同様の機能を有するが、生成した符号化用ベクトルｚ（ｉ，ｊ）を符号化部２４ｂだけでなく、誤差評価部２６へも出力する点が異なる。その機能を概略すると、主成分分析部２２は例えば特徴ベクトルｙ（ｉ，ｊ）を主成分分析して変換行列Ｐを算出し、算出した変換行列Ｐを伝送装置３へ出力する。主成分分析部２２は例えば、Ｍ次元の特徴ベクトルｙ（ｉ，ｊ）を変換行列Ｐを用いて変換し、Ｍ次元の符号化用ベクトルｚ（ｉ，ｊ）を生成する。主成分分析部２２は、生成した符号化用ベクトルｚ（ｉ，ｊ）を符号化部２４ｂと誤差評価部２６へ出力する。
符号化部２４ｂは、ＭＳＥの算出機能がない以外は図１の符号化部２４と同様の機能を有するが、図１の符号化部２４とは以下の点で異なる。符号化部２４ｂは、主情報を復号部２５と伝送装置３へ出力する。符号化部２４ｂは、ＭＳＥの算出機能がないので符号化劣化情報は、伝送装置３へ出力しない。

復号部２５は、符号化部２４から入力された主情報を復号し、復号して得た画素値ベクトルを誤差評価部２６へ出力する。
誤差評価部２６は、主成分分析部２２から入力された符号化用ベクトルと復号部２５から入力された画素値ベクトルとの間で誤差を算出する。具体的には例えば、誤差評価部２６は、主成分分析部２２から入力された符号化用ベクトルと復号部２５から入力された画素値ベクトルとの間でＭＳＥを算出する。そして、算出したＭＳＥを符号化劣化情報として伝送装置３へ出力する。

なお、複数の装置を備えるシステムが、本実施形態の信号変換装置（２または２ｂ）及び信号復元装置４の各処理を、それらの複数の装置で分散して処理してもよい。
また、本実施形態の信号変換装置（２または２ｂ）及び信号復元装置４の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、信号変換装置（２または２ｂ）及び信号復元装置４における上述した種々の処理を行ってもよい。

なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではない。各実施形態における各構成及びそれらの組み合わせ等は一例であり、本発明の趣旨から逸脱しない範囲内で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は実施形態によって限定されることはなく、特許請求の範囲によってのみ限定される。

１、１ｂ 画像伝送システム
２、２ｂ 信号変換装置
３ 伝送装置
４ 信号復元装置
２１ 非線形変換部
２２ 主成分分析部
２４ 符号化部
２５ 復号部
２６ 誤差評価部
４１ 復号部
４２ 復元部
４３ 変換部
４４ 重み演算部
４５ 最小二乗部

Claims (6)

1. 画像に含まれる各画素の色を表す色ベクトルを、該色ベクトルの次元以上の特徴ベクトルへ非線形変換する非線形変換部と、
   前記非線形変換部が変換して得た特徴ベクトルを主成分分析して変換規則を算出し、該変換規則に基づいて前記特徴ベクトルを符号化用ベクトルへ変換し、前記変換規則を示す変換規則情報を出力する主成分分析部と、
   を備える信号変換装置。
2. 前記主成分分析部が主成分分析して得た符号化用ベクトルを符号化し、符号化する際の符号化劣化を示す符号化劣化情報を出力する符号化部を備える請求項１に記載の信号変換装置。
3. 特徴ベクトルから符号化用ベクトルへの変換規則を示す変換規則情報を取得し、該取得した変換規則情報に基づいて、画像を非線形変換した後に主成分分析をして得られた符号化用ベクトルに対して符号化及び復号を施した後の符号化用ベクトルを特徴ベクトルへ復元する復元部と、
   符号化劣化が画像の色ベクトルに及ぼす影響の度合いを示す影響度情報に基づいて、前記復元部が復元して得た復元特徴ベクトルを、画像に含まれる各画素の色を表す色ベクトルへ変換する変換部と、
   を備える信号復元装置。
4. 符号化用ベクトルが符号化された主情報を取得し、該取得した主情報を復号する復号部を更に備え、
   前記復元部は、前記復号部が復号して得た符号化用ベクトルを特徴ベクトルへ復元する請求項３に記載の信号復元装置。
5. コンピュータに、
   画像に含まれる各画素の色を表す色ベクトルを、該色ベクトルの次元以上の特徴ベクトルへ非線形変換する非線形変換ステップと、
   前記非線形変換ステップで変換して得た特徴ベクトルを主成分分析して変換規則を算出し、該変換規則に基づいて前記特徴ベクトルを符号化用ベクトルへ変換し、前記変換規則を示す変換規則情報を出力する主成分分析ステップと、
   を実行させるための信号変換プログラム。
6. 特徴ベクトルから符号化用ベクトルへの変換規則を示す変換規則情報を取得し、該取得した変換規則情報に基づいて、復号された符号化用ベクトルを特徴ベクトルへ復元する復元ステップと、
   符号化劣化が画像の色ベクトルに及ぼす影響の度合いを示す影響度情報に基づいて、前記復元ステップで復元されて得られた復元特徴ベクトルを、画像に含まれる各画素の色を表す色ベクトルへ変換する変換ステップと、
   を実行させるための信号復元プログラム。

Images