JP6195404B2 - 処理システム、前処理装置、後処理装置、前処理プログラム及び後処理プログラム - Google Patents

Description

本発明は、処理システム、前処理装置、後処理装置、前処理プログラム及び後処理プログラムに関する。

信号を伝送または蓄積する際に、その品質を保ちつつ伝送帯域を節減するため、各種変調方式や各種符号化方式が用いられる。変調や符号化においては、前処理および後処理を付加することで、客観的または主観的な評価基準における信号劣化を軽減させる方法がある。例えば、前処理としてのプリエンファシスと後処理としてのディエンファシス処理は、音声信号のダイナミックレンジと量子化雑音の両者を主観的に保つ目的を以て導入されている。しかし、従来のプリエンファシスおよびディエンファシスは、その各特性が互いに相殺するよう予め設計されている。このため、それらの挙動は入力信号に対して常に最適とは限らない。

それに対し、映像符号化において、ウィーナフィルタ等の統計的基準に基づく後処理を設け、符号化側で該後処理の結果が入力画像により近づくよう後処理を設計することが行われている(特許文献１参照)。
また、符号化において、前処理および後処理に解像度変換を行うものも提案されており、例えば、後処理の結果が入力信号をできる限り近似するよう、後処理のパラメータを符号化側で最適化する手法が提案されている(特許文献２参照)。

ＷＯ２００８／１５２７９７号公報 特開２０１１−２３４３１６号公報

特許文献１のような後処理による手法は、あくまでも後処理なしの場合に生じてしまう符号化劣化を抑制することを目標としており、符号化劣化自体を積極的に制御することがない。そのため、符号化と復号の総体のシステムとしてみたときには最適とはいえず、未だ改善の余地がある。
一方、特許文献２の手法は、符号化側において後処理結果が入力画像を近似するよう最適化を行った結果として、後処理は「前処理および符号化劣化」総体の逆過程に近づくものといえる。しかし、後処理は、「前処理および符号化劣化」総体の逆過程に近づけるために、後処理はパラメータの種類や値を多く試行する必要があり、計算コストが大きいという問題があった。

そこで本発明は、上記問題に鑑みてなされたものであり、符号化劣化を抑制する際の計算コストを低減することを可能とする処理システム、前処理装置、後処理装置、前処理プログラム及び後処理プログラムを提供することを課題とする。

（１）本発明は前記事情に鑑みなされたもので、本発明の一態様は、符号化システムに符号化対象とする符号化信号を供給する前処理装置と該符号化システムから復号信号を受信する後処理装置とを備える処理システムであって、前記前処理装置は、入力信号に対して仮のパラメータに基づいて、前処理を行う第１の前処理部と、前記第１の前処理部が前処理を行った後の信号に対して、前記符号化システムが実行する符号化と復号に相当する処理を施して、局所復号信号を生成する復号信号生成部と、前記仮のパラメータに基づいて、前記復号信号生成部が生成した局所復号信号に対して、前記第１の前処理部が行った処理の逆処理を行う第１の逆処理部と、前記第１の逆処理部が処理を行った後の出力信号と前記入力信号との差分の大きさを得る比較部と、前記比較部から得られた差分の大きさが予め決められた閾値以上である場合、前記差分の大きさが前記予め決められた閾値より小さくなるように前記仮のパラメータを最適化する最適化部と、前記入力信号に対して前記最適化部が最適化したパラメータに基づいて、前記第１の前処理部と同一の前処理を行って前記符号化信号を生成する第２の前処理部と、を備え、前記第１の前処理部および前記第２の前処理部における前処理は、標本点を間引く処理または標本点の追加の処理を伴うものであり、前記後処理装置は、前記最適化部が最適化したパラメータに基づいて、前記符号化システムから受信した復号信号に対して、前記第２の前処理部が行った処理の逆処理を行う第２の逆処理部を備えることを特徴とする処理システムである。

（２）本発明の一態様は、符号化システムに符号化対象とする符号化信号を供給する前処理装置であって、入力信号に対して仮のパラメータに基づいて前処理を行う第１の前処理部と、前記第１の前処理部が前処理を行った後の信号に対して、前記符号化システムが実行する符号化と復号に相当する処理を施して、局所復号信号を生成する復号信号生成部と、前記仮のパラメータに基づいて、前記復号信号生成部が生成した局所復号信号に対して、前記第１の前処理部が行った処理の逆処理を行う逆処理部と、前記逆処理部が処理を行った後の出力信号と前記入力信号との差分の大きさを得る比較部と、前記比較部から得られた差分の大きさが予め決められた閾値以上である場合、前記差分の大きさが前記予め決められた閾値より小さくなるように前記仮のパラメータを最適化する最適化部と、前記入力信号に対して前記最適化部が最適化したパラメータに基づいて、前記第１の前処理部と同一の前処理を行って前記符号化信号を生成する第２の前処理部と、を備え、前記第１の前処理部および前記第２の前処理部における前処理は、標本点を間引く処理または標本点の追加の処理を伴うものである、ことを特徴とする前処理装置である。

（３）本発明の一態様は、前処理装置が入力信号から符号化対象とする符号化信号を生成する際に用いるために最適化したパラメータを前記前処理装置から取得し、該取得したパラメータに基づいて、前記符号化信号に符号化と復号とが施されることで得られた復号信号に対して、前記前処理装置が前記符号化信号を生成する際に行った処理の逆処理を行う逆処理部を備え、前記前処理装置が前記符号化信号を生成する際に行った処理は、標本点を間引く処理または標本点の追加の処理を伴うものである、ことを特徴とする後処理装置である。

（４）本発明の一態様は、符号化システムに符号化対象とする符号化信号を供給する前処理装置に、入力信号に対して仮のパラメータに基づいて前処理を行う第１の前処理ステップと、前記第１の前処理ステップにより前処理が行われた後の信号に対して、前記符号化システムが実行する符号化と復号に相当する処理を施して、局所復号信号を生成する復号信号生成ステップと、前記仮のパラメータに基づいて、前記復号信号生成ステップにより生成された局所復号信号に対して、前記第１の前処理ステップにより行なわれた処理の逆処理を行う逆処理ステップと、前記逆処理ステップにより処理を行った後の出力信号と前記入力信号との差分の大きさを得る比較ステップと、前記比較ステップにより得られた差分の大きさが予め決められた閾値以上である場合、前記差分の大きさが前記予め決められた閾値より小さくなるように前記仮のパラメータを最適化する最適化ステップと、前記入力信号に対して前記最適化ステップにより最適化されたパラメータに基づいて、前記第１の前処理ステップと同一の前処理を行って前記符号化信号を生成する第２の前処理ステップと、を実行させるための前処理プログラムであって、前記第１の前処理ステップおよび前記第２の前処理ステップにおける前処理は、標本点の追加の処理または標本点を間引く処理を伴うものである、前処理プログラムである。

（５）本発明の一態様は、コンピュータに、前処理装置が入力信号から符号化対象とする符号化信号を生成する際に用いるために最適化したパラメータを前記前処理装置から取得し、該取得したパラメータに基づいて、前記符号化信号に符号化と復号とが施されることで得られた復号信号に対して、前記前処理装置が前記符号化信号を生成する際に行った処理の逆処理を行う逆処理ステップを実行させるための後処理プログラムであって、前記前処理装置が前記符号化信号を生成する際に行った処理は、標本点を間引く処理または標本点の追加の処理を伴うものである、後処理プログラムである。

本発明によれば、第１の逆処理部と第２の逆処理部とが、前処理部が行った処理の逆処理を近似した処理を行うようにし、最適部が最適化する対象を前処理部の処理にすることで、最適化における探索範囲を狭めることができる。その結果、符号化劣化を抑制する際の計算コストを低減することができる。

本実施形態における処理システムの構成を示す概略ブロック図である。 本実施形態における符号化システムの構成を示す概略ブロック図である。 本実施形態における逆処理手段の構成を示す概略ブロック図である。 本実施形態における逆処理手段の構成を示す概略ブロック図である。 本実施形態における処理システムの処理の流れの一例を示すフローチャートである。

以下、本発明の実施形態について、図面を参照して詳細に説明する。
図１は、本実施形態における処理システム９の構成を示す概略ブロック図である。処理システム９は、前処理装置７と、後処理装置８とを備える。

前処理装置７は、仮のパラメータθを最適化させる。そして、前処理装置７は、最適化することにより得られた最適なパラメータθ（ハット）を用いて入力信号に対して前処理を行う。そして、前処理を行うことにより得られた最適な符号化信号を符号化システム１へ出力する。
符号化システム１は、データ圧縮（情報源符号化）または誤り耐性付加（伝送路符号化または通信路符号化）またはその両方を目的とする符号化を行う。符号化システム１は、前処理装置７から入力された符号化信号を、予め決められた符号化方式に従って、ビット列に変換する。そして、符号化システム１は、変換後のビット列を上述した符号化方式に対応した復号方式に従って復号し、復号することにより得られた復号信号を後処理装置８へ出力する。
後処理装置８は、前処理装置７が生成した最適なパラメータθ（ハット）に基づいて、符号化システム１から入力された復号信号に対して、前処理装置７が施した前処理とは逆の処理である逆処理を施す。そして、後処理装置８は、逆処理を施した後の信号を出力信号として自装置の外部へ出力する。

図１に示すように、前処理装置７は、前処理手段（第２の前処理部）２と、逆処理手段（第１の逆処理部）４と、比較手段５と、最適化手段６と、前処理手段（第１の前処理部）１００と、符号化システム（復号信号生成部）１０１とを備える。
本実施形態では、一例として、前処理装置７は、事前に前処理手段１００、符号化システム１０１、逆処理手段４、比較手段５および最適化手段６を反復的に試行して仮のパラメータθを最適値に収束させる。そして、前処理装置７は、最適値に収束させることにより得られた最適なパラメータθ（ハット）を用いて入力信号に対して前処理を行う。そして、前処理装置７は、前処理を行うことにより得られた最適な符号化信号を符号化システム１へ出力する。符号化システム１は前処理装置７から入力された最適な符号化信号をビット列に変換する。符号化システム１は変換後のビット列を伝送する。そして、符号化システム１は伝送されたビット列を復号し、復号により得られた最適な復号信号を後処理装置８へ出力する。

本実施形態では、一例として、本実施形態に係る処理システム９が非可逆符号化方式において生じる入出力間の誤差（以下、符号化劣化という）を抑制することを目的とする。非可逆符号化方式とは、符号化システム１へ入力される符号化信号と、符号化システム１が出力する復号信号とが一致しない可能性のある符号化方式である。
なお、処理システム９は、誤り耐性の向上と符号化劣化の抑制の両者を目的としてもよい。以下では、符号化劣化の抑制を目的とする処理システム９に関して詳説する。

符号化システム１の対象とする符号化信号の種類は問わないものとする。例えば、符号化システム１は、音声信号、画像信号または映像信号を対象としてもよい。本実施形態では、一例として、符号化システム１は画像信号を対象とする。

なお、映像信号を対象とする場合には、その映像方式は、例えばＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４またはＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４、Ｍｏｔｉｏｎ ＪＰＥＧなどの既存の方式または今後標準化される方式（例えば、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）など）である。

前処理手段２は、入力信号ｘに対して信号処理を行う。より詳細には、前処理手段２は、入力信号ｘに対して演算処理ｈを行い、その結果を仮の符号化信号ｚとして符号化システム１へ出力する。ここで、入力信号ｘは、例えば標本点ごとの標本値を各成分にとるベクトルであり、仮の符号化信号ｚは最適化される前の信号である。なお、入力信号ｘは、時間、空間または時空間における領域（例えば、時間区間や、ブロック分割した領域）ごとの標本値列を含むものとしてもよい。

前処理手段２は、演算処理ｈのときに、仮のパラメータθによって、その演算処理の内容を変化させる。具体的には、前処理手段２は、以下の式（１）に従って、入力信号ｘに対して演算処理ｈを行う。

ここで、ｚは最適化される前の仮の符号化信号である。また、演算処理ｈは例えば、畳み込み演算である。この畳み込み演算は、空間畳み込み、時間畳み込み及び時空間畳み込みを含むものとする。例えば、入力信号ｘに対して３×３の畳み込み演算をする場合、仮のパラメータθは、３×３の行列で表される係数である。
一例として、前処理手段２は、以下の式（２）に従って、入力信号ｘに対して係数Ｈを乗じる。

ここで、仮のパラメータθはＭ行Ｎ列の行列Ｈのサイズおよび各成分からなる行列である。なお、式（２）の表現では、畳み込み演算や標本点数の増減、変換（直交変換など）、標本点の移動や入れ替えを扱うことができる。

なお、演算処理ｈは、例えば、標本点の間引き（例えば、標本化周波数の低減または空間解像度の縮小）、標本点の追加（例えば、補間による標本化周波数の増加や空間解像度の増大）、変換（例えば、離散コサイン変換、離散サイン変換、離散フーリエ変換、アダマール変換、カルーネン・レーベ変換またはウェーブレッド変換）であってもよい。また、前処理手段２は、例えば、量子化段階数の増減（例えば、ダイナミックレンジの増減）、量子化間隔の非線形化、標本値のオフセット、標本値に対する線形または非線形の変換、雑音付加（例えば、ガウス雑音付加またはパターンノイズ付加）、雑音除去（例えば、中央値フィルタ、トータル・バリエーションフィルタまたはバイラテラルフィルタ）、ディザリング、または標本点位置の移動や入れ替えであってもよい。

また、前処理手段２の仮のパラメータθは、前処理手段２の処理が畳み込みの場合、例えば、畳み込みのタップ係数である。前処理手段２の仮のパラメータθは、前処理手段２の処理が標本点の間引きの場合、例えば、標本点の間引きや追加の比率である。前処理手段２の仮のパラメータθは、前処理手段２の処理が変換の場合、変換の基底関数（例えば、ドベシー基底によるウェーブレット変換のインデックス番号）である。前処理手段２の仮のパラメータθは、前処理手段２の処理が標本値に対する線形または非線形の変換の場合、例えば、輝度値に対するトーンカーブ形状（例えば、ガンマ特性のガンマ値）である。前処理手段２の仮のパラメータθは、前処理手段２の処理が雑音付加の場合、例えば、付加する雑音の強度（ガウス雑音の分散値など）である。前処理手段２の仮のパラメータθは、前処理手段２の処理が中央値フィルタによる雑音除去の場合、例えば、中央値フィルタの窓の大きさである。前処理手段２の仮のパラメータθは、前処理手段２の処理がディザリングである場合、ディザパターンの種類である。前処理手段２の仮のパラメータθは、前処理手段２の処理が標本点位置の入れ替えの場合、標本点位置の入れ替えパターンである。

逆処理手段４は、前処理手段２が行った信号処理の逆処理または逆処理を近似した処理（以下、単に逆処理という）を行う。ここで、近似というのは、その解に誤差または不定性、多価性または不良設定に起因する他の解の存在可能性、あるいは非大局解である局所解に収束している可能性を含み得ることを意味する。誤差などが生じるのは、例えば、前処理手段２が不良設定の場合に正則化を行って求解する場合、繰り返し収束演算によって逆問題を求解する場合、または高速近似演算法によって求解する場合である。

逆処理手段４は、前処理手段２が行った演算処理の逆処理を行うために、その内部に前処理手段２と同様の動作を行う前処理手段４１を備える。
例えば、逆処理手段４は、符号化システム１０１から入力された局所復号信号に対する逆処理実行結果を仮定する。そして、逆処理手段４は、仮定した仮の逆処理結果を逆処理手段４が備える前処理手段４１によって前処理を試行する。そして、逆処理手段４は、前処理手段４１が前処理を試行した後の信号と局所復号信号とを比較して、その比較結果が一致するよう仮の逆処理結果を修正することで、逆処理の結果を算出する。そして、逆処理手段４は、算出した逆処理の結果を局所出力信号として、比較手段５へ出力する。

比較手段５は、逆処理手段４が処理を行った後の局所出力信号と入力信号ｘとを比較する。具体的には、比較手段５は、例えば、比較の一例として、入力信号ｘの系列と局所出力信号の系列との間で、対応する標本点ごとの標本値の差分の絶対値の和（以下、差分絶対値和という）を生成する。そして、比較手段５は、比較により得られた比較結果を最適化手段６へ出力する。
なお、比較手段５は、対応する標本点ごとの標本値の差分（画像や映像にあっては差分画像）、標本点の集合に対する標本値の差分二乗和、標本点の集合に対する標本値の相互相関、または標本点の集合に対する標本値のバタチャリヤ距離の評価によって、比較してもよい。

最適化手段６は、比較手段５が比較した結果に基づいて、前処理手段２の処理を最適化する。例えば、最適化手段６は、比較結果ができる限り一致するよう（例えば、標本値の差分がすべて０に近くなるよう）、仮のパラメータθを最適化する。具体的には、例えば、最適化手段６は、比較手段５が生成した標本値の差分絶対値和が予め決められた閾値より小さいか否か判定する。そして、最適化手段６は、差分絶対値和が予め決められた閾値より小さい場合、仮のパラメータθを最適化したと判定する。そして、最適化手段６は、仮のパラメータθを最適なパラメータθ（ハット）として前処理手段２及び後処理装置８の後述する逆処理手段３へ出力する。これにより、前処理手段２は、最適なパラメータθ（ハット）に基づいて、入力信号に対して前処理を行い、最適な符号化信号を生成する。

一方、最適化手段６は、差分絶対値和が予め決められた閾値以上の場合、仮のパラメータθを最適化していないと判定し、仮のパラメータθを予め決められた規則に従って変更する。具体的には、例えば、最適化手段６は、仮のパラメータθに乱数を加算して、仮のパラメータθを変更する。最適化手段６は、変更した後の仮のパラメータθを逆処理手段４の前処理手段４１と前処理手段１００とへ出力する。ここで、前処理手段１００は、前処理手段２と同一の機能を有する。前処理手段１００は、最適化手段６から入力された仮のパラメータθに基づいて、入力信号に対して前処理を施し、前処理を施した後の信号を符号化システム１０１へ出力する。

符号化システム１０１は符号化システム１と同一の機能を有する。符号化システム１０１は、前処理手段１００から入力された前処理を施した後の信号を予め決められた符号化方式に従って符号化し、符号化することにより得られた信号を上述の符号化方式に対応する復号方式に従って復号する。そして、符号化システム１０１は復号することにより得られた局所復号信号を逆処理手段４に出力する。
このように、仮のパラメータθが最適化されない場合、その仮のパラメータθに基づいて、局所復号信号が更新され、逆処理手段４は、更新された局所復号信号と仮のパラメータθとを用いて局所出力信号を再度生成する。これにより、前処理装置７は、仮のパラメータθが最適化されるまで、上述した一連の処理を繰り返す。

なお、符号化システム１０１は符号化システム１と近似する機能を有してもよい。その場合、符号化システム１０１と符号化システム１との差異は、ＧＯＰ構造やピクチャ（スライス）のタイプが異なる程度である。

なお、前処理手段１００と前処理手段２とでハードウェアまたはソフトウェアのモジュールを共用してもよい。その場合、例えば、前処理手段１００と前処理手段２とは、時分割で共用するハードウェアまたはソフトウェアのモジュールを使用してもよい。符号化システム１と前処理装置７とを同一の装置や同一のソフトウェアで実装する場合には、符号化システム１と符号化システム１０１とでハードウェアまたはソフトウェアのモジュールを共用してもよい。その場合、上記と同様に、例えば、符号化システム１と符号化システム１０１は、時分割で共用する共用するハードウェアまたはソフトウェアのモジュールを使用してもよい。

なお、最適化手段６は、標本値の差分がすべて０に近くなるようにしたが、これに限ったものではない。最適化手段６は、例えば、差分絶対値和が０に近くなるようにしてもよいし、差分二乗和が０に近くなるようにしてもよいし、相互相関が１に近くなるようしてもよいし、またはバタチャリヤ距離が０に近くなるようにしてもよい。

続いて、後処理装置８について説明する。後処理装置８は、逆処理手段（第２の逆処理部）３を備える。逆処理手段３は、逆処理手段４と同様に前処理手段２が行った演算処理の逆処理を行う。より詳細には、逆処理手段４は、逆処理手段４は、符号化システム１から入力された最適な復号信号に対して、最適化手段６から入力された最適なパラメータθ（ハット）に基づいて、前処理手段２が行った演算処理の逆処理を行う。ここで、逆処理手段３は、その内部に前処理手段２と同様の動作を行う前処理手段３１を備える。これは、前処理手段２が行った演算処理の逆処理を行うためである。逆処理手段３の動作は、逆処理手段４と同様であるからその説明を省略する。逆処理手段４は、逆処理を行うことにより得られた出力信号を自装置の外部へ出力する。

図２は、本実施形態における符号化システム１の構成を示す概略ブロック図である。符号化システム１は、符号化手段１１と、復号手段１２とを備える。
符号化手段１１は、前処理手段２から入力された最適な符号化信号を予め決められた符号化方式に従ってビット列に変換する。そして、符号化手段１１は、変換後のビット列を復号手段１２へ伝送する。
復号手段１２は、符号化手段１１から伝送されたビット列を上述した符号化方式に対応する復号方式に従って復号し、復号により得られた復号信号を後処理装置８の逆処理手段３へ出力する。

図３は、本実施形態における逆処理手段４の構成を示す概略ブロック図である。
逆処理手段４は、前処理手段４１と、記憶手段４２と、比較手段４３と、最適化手段４４と、スイッチ４５とを備える。

記憶手段４２は上述した仮の逆処理結果を保持する。
前処理手段４１は、記憶手段４２から仮の逆処理結果を読み出し、読み出した仮の逆処理結果に対して、前処理手段４１が保持する仮の前処理パラメータθを用いて前処理を行う。そして、前処理手段４１は、前処理を行った結果を示す前処理結果信号を比較手段４３へ出力する

比較手段４３は、前処理手段４１から入力された前処理結果信号と符号化システム１０１から入力された局所復号信号とを比較する。そして、比較手段４３は、比較することにより得られた比較結果を最適化手段４４へ出力する。

最適化手段４４は、比較手段４３から入力された比較結果を参照して、前処理結果信号と局所復号信号とが予め決められた閾値よりも小さい場合、スイッチ４５を閉じてその仮の逆処理結果を局所出力信号として比較手段５へ出力する。一方、それ以外の場合には仮の逆処理結果を修正して、その修正後の仮の逆処理結果を記憶手段４２に記憶された仮の逆処理結果を更新する。
なお、最適化手段４４は、前処理結果信号と局所復号信号とが予め決められた閾値よりも小さい場合に限らず、予め決められた繰り返し回数に達した場合に、スイッチ４５を閉じてもよい。

図４は、本実施形態における逆処理手段３の構成を示す概略ブロック図である。逆処理手段３は、前処理手段３１と、記憶手段３２と、比較手段３３と、最適化手段３４と、スイッチ３５とを備える。

記憶手段３２は、記憶手段４２と同様に、仮の逆処理結果を保持する。
前処理手段３１は、記憶手段３２から仮の逆処理結果を読み出し、読み出した仮の逆処理結果に対して最適化手段６から入力された仮のパラメータθを用いて前処理を行う。そして、前処理手段３１は、前処理を行った結果を示す前処理結果信号を比較手段３３へ出力する

比較手段３３は、前処理手段４１から入力された前処理結果信号と符号化システム１の復号手段１２から入力された最適な復号信号とを比較する。そして、比較手段３３は、比較することにより得られた比較結果を最適化手段３４へ出力する。

最適化手段３４は、比較手段３３から入力された比較結果を参照して、前処理結果信号と復号信号とが予め決められた閾値よりも小さい場合、スイッチ３５を閉じてその仮の逆処理結果を出力信号として自装置の外部へ出力する。一方、それ以外の場合には仮の逆処理結果を修正して、その修正後の仮の逆処理結果で記憶手段３２に記憶された仮の逆処理結果を更新する。
なお、最適化手段３４は、前処理結果信号と復号信号とが予め決められた閾値よりも小さい場合に限らず、予め決められた繰り返し回数に達した場合に、スイッチ３５を閉じてもよい。

＜処理の詳細＞
続いて、本実施形態の処理システム９の処理の詳細について説明する。
符号化システム１０１が演算して得られる局所復号信号ｙは、一例として、以下の式（３）で表される。

ここで、ｄ（ｚ）は、符号化手段１１および復号手段１２（ならびに符号化手段１１および局所復号手段１３）における符号化信号ｚに対する信号劣化（符号化劣化ともいう）である。
逆処理手段４は、符号化システム１０１から入力された局所復号信号ｙに対して前処理手段４１（仮のパラメータθ）の逆処理を行い、逆処理を行ったことにより得られた局所出力信号ｋ（θ；ｙ）を比較手段５へ出力する。
具体的には、例えば、逆処理手段４は、以下の式（４）に従って、局所出力信号ｋ（θ；ｙ）を生成する。

ここで、式（４）は、右辺中括弧内の評価関数を最小化する変数ξを求める演算である。変数ξは、記憶手段４２に記憶されている仮の逆変換結果である。ｈ（θ；ξ）は前処理手段４１が実行する関数である。また、関数ｆは比較手段４３における二つの信号間の比較演算であり、例えば、以下の式（５）で表される。

ここで、ｎは正の整数で、ｐは正の整数である。例えば、ｎが１でｐが１であるとき、右辺はＬ１ノルムを表す。
また、関数ｇは前処理ｈが不良設定の場合などに符号化により失われた信号を元に戻すために与える拘束条件に関する正則化項である。関数ｇは、例えばトータルバリエーションに基づく値（例えば、トータルバリエーション値の定数倍）である。ここで、トータルバリエーションノルムは、処理対象画素と隣接する画素との間の画素値の差分の絶対値和である。関数ｇは、例えば、以下の式（６）で表される。

ここで、処理対象の画像信号が示す画像がｘｙ座標で表されるとすると、ｘがその画像のｘ座標の値、ｙがその画像のｙ座標の値である。また、I（ｘ，ｙ）は画素（ｘ、ｙ）における画素値である。∇（ナブラ）は、微分演算子である。式（６）は、トータルバリエーションノルムの１倍の関数である。

最適化手段４４は、例えば、式（４）の右辺中括弧内の評価関数を最小化する変数ξを算出する。その際、最適化手段４４は、例えば、以下の処理により、評価関数を最小化する変数ξを算出する。ここで、前提として、前処理パラメータが、典型的な値（例えば、何も前処理をしていないときの前処理パラメータの値）をとるときに、復号手段１２から出力される復号信号を仮に変数ξの初期値とする。その前提のもとで、最適化手段４４は、例えば、画素の画素値に乱数を与えて画素値を変更し、画素値を変更する毎に評価関数を更新し、評価関数が予め決められた閾値より小さい場合に収束したと判定する。そして、最適化手段４４は、例えば、そのときの変数ξを局所出力信号としてスイッチ４５を介して比較手段５へ出力する。

なお、最適化手段４４は、変数ξをランダムでなく、予め決められた規則に基づいて、評価関数が最小となる変数ξを算出してもよい。具体的には、例えば、最適化手段４４は、以下の処理により、評価関数が最小となる変数ξを算出してもよい。最適化手段４４は例えば、画像の左上端の画素から順に、画素値を１上昇させたときに、評価関数の変化量を算出する。そして、最適化手段４４は、例えば、算出した各変化量に基づいて、最急降下させるためのベクトルを算出する。ここで、最急降下させるためのベクトルとは、どの画素値をどれだけ変更したら評価関数が小さくなるかを示すベクトルである。そして、最適化手段４４は、例えば、最急降下させるためのベクトルに従って画素値を変更し、画素値を変更する毎に評価関数を更新する。そして、最適化手段４４は、例えば、更新した評価関数が予め決められた閾値より小さい場合に、そのときの変数ξを評価関数が最小となる変数ξとしてもよい。

最適化手段６は、入力信号ｘと局所出力信号ｋ（θ；ｙ）との比較結果が最も一致するような最適なパラメータθ（ハット）を算出する。例えば、比較手段５が差分絶対値和により一致の度合いを評価し、最適化手段６が該差分絶対値和が最小になるパラメータθ（ハット）を探索する。その場合、最適化手段６は、以下の式（７）に従って、最適なパラメータθ（ハット）を算出する。

ここで、θの上に記号＾が付けられた記号は、最適なパラメータθ（ハット）である。また、｜｜ｋ（θ；ｙ）−ｘ｜｜は、入力信号と局所出力信号ｋ（θ；ｙ）とのＬ１ノルムである。比較手段５は、例えばこのＬ１ノルムを算出する。式（７）は、このＬ１ノルムを最小にする前処理パラメータθを算出する関数である。

前処理手段２は、最適化手段６から入力された最適なパラメータθ（ハット）に基づいて、前処理を施した結果である最適な符号化信号ｚ（ハット）を以下の式（８）に従って、算出する。

ここで、ｚの上に記号＾が付けられた符号はｚ（ハット）である。符号化システム１は、最適な符号化信号ｚ（ハット）を符号化し、符号化により得られた第２のビット列を伝送する。また、符号化システム１は、伝送された第２のビット列を蓄積し、蓄積した第２のビット列を読み出し、読み出した第２のビット列を復号する。このとき、信号は符号化劣化ｄを受けるため、復号手段１２は、以下の式（９）で表される最適な復号信号ｙ（ハット）を出力する。

ここで、ｙの上に記号＾が付けられた符号はｙ（ハット）である。逆処理手段３は、最適な復号信号ｙ（ハット）と最適化手段６から伝送されてきた前処理の最適なパラメータθ（ハット）とに基づいて、出力信号ｘ（ハット）を算出する。逆処理手段３は、例えば、以下の式（１０）に従って、出力信号ｘ（ハット）を算出する。

ここで、ｘの上に記号＾が付けられた符号をｘ（ハット）という。また、関数ｆは比較手段３３における二つの信号間の比較演算である。変数χは、記憶手段３２に記憶されている仮の逆変換結果である。また、ｈ（θ（ハット）；χ）は前処理手段３１が実行する演算である。関数ｇは前処理ｈが不良設定の場合などに対応させるための正則化項であり、例えばトータルバリエーションノルムに基づく値（例えば、トータルバリエーション値の定数倍）である。最適化手段３４は、式（１０）の右辺中括弧内の第２の評価関数を最小化する変数χを算出する。

以上の動作により、後処理装置８は、入力信号ｘを最適に近似する出力信号ｘ（ハット）を得ることができる。
本発明に係る処理システム９は、逆処理手段３の内部のループ（記憶手段３２、前処理手段３１、比較手段３３および最適化手段３４からなるループ）に符号化劣化ｄを実行する過程を含まないように構成する。このように構成することで、後処理装置８は、演算コストの大きい符号化システム１の試行を繰り返さずに符号化劣化ｄの復元することができる。

図５は、本実施形態における処理システム９の処理の流れの一例を示すフローチャートである。まず、ステップＳ１０１において、前処理手段１００は、入力信号に対して仮のパラメータθを用いた前処理を行う。次に、ステップＳ１０２において、符号化システム１０１は、前処理手段１００が前処理を行った後の信号に対して、符号化システム１が実行する符号化と復号に相当する処理を施して、局所復号信号を生成する。

次に、ステップＳ１０３において、前処理手段４１は、記憶手段４２から変数ξを読み出す。次に、ステップＳ１０４において、前処理手段４１は、仮のパラメータθと変数ξとに基づいて前処理を実行する。次に、ステップＳ１０５において、比較手段４３は、前処理を実行することにより得られた前処理結果と局所復号信号との比較演算を行う。

次に、ステップＳ１０６において、最適化手段４４は、比較演算を行うことにより得られた比較結果に基づいて、評価関数を算出する。次に、ステップＳ１０７において、最適化手段４４は、評価関数が予め決められた閾値よりも小さいか否か判定する。評価関数が予め決められた閾値以上の場合（ステップＳ１０７ ＮＯ）、最適化手段４４はステップＳ１０８の処理へ遷移する。一方、評価関数が予め決められた閾値より小さい場合（ステップＳ１０７ ＹＥＳ）、最適化手段４４はステップＳ１０９の処理へ遷移する。

ステップＳ１０８において、最適化手段４４は各画素の画素値に乱数を与えて、記憶手段４２に記憶されている変数ξを更新し、ステップＳ１０３の処理に戻る。
ステップＳ１０９において、最適化手段４４は、スイッチ４５を閉じて、局所出力信号を比較手段５へ出力すし、ステップＳ１１０の処理へ遷移する。

次に、ステップＳ１１０において、比較手段５は、入力信号ｘと局所出力信号との間で、対応する標本点ごとの標本値の差分絶対値和を算出する。次に、ステップＳ１１１において、最適化手段６は、差分絶対値和が予め決められた閾値よりも小さいか否か判定する。差分絶対値和が予め決められた閾値以上の場合（ステップＳ１１１ ＮＯ）、最適化手段６は、仮のパラメータθを変更し（ステップＳ１１２）、ステップＳ１０１の処理に戻る。一方、差分絶対値和が予め決められた閾値よりも小さい場合（ステップＳ１１１ ＹＥＳ）、前処理手段２は、最適なパラメータθ（ハット）を用いて前処理する（ステップＳ１１３）。

次に、ステップＳ１１４において、符号化システム１は、前処理手段２から入力された最適な符号化信号を符号化し、符号化により得られたビット列を伝送する。そして、符号化システム１は、伝送されたビット列を復号し、最適な復号信号ｙ（ハット）を生成する。次に、ステップＳ１１５において、逆処理手段３は、最適なパラメータθに基づいて、最適な復号信号ｙ（ハット）に対して前処理手段２が行った処理の逆処理を近似した処理を行って出力信号ｘ（ハット）を生成する。そして、逆処理手段３は、生成した出力信号ｘ（ハット）を自装置の外部へ出力する。以上で、本フローチャートの処理を終了する。

以上、本実施形態のおける処理システム９において、前処理装置７は、複数の前処理パラメータを試行して符号化劣化の影響を最も受けにくい最適なパラメータθ（ハット）を求める。前処理手段２は、この最適なパラメータθ（ハット）に基づいて、前処理を行う。逆処理手段３は、この最適なパラメータθ（ハット）に基づいて、前処理手段２の処理と近似的に逆の処理を行う。このように、前処理手段２と逆処理手段３とが、この最適なパラメータθ（ハット）を共通して用いることで、処理システム９は、前処理、符号化および逆処理の総体における信号劣化を低減することができる。

特許文献２の手法では、「前処理と後処理とが近似的に逆過程である」あるいは「前処理と符号化」の総体と「後処理とが近似的に逆過程である」という拘束がない。それに対して、本実施形態における処理システム９は、「前処理と後処理とが近似的に逆過程である」という拘束を設けた。これにより、逆処理手段４が行う処理が、前処理手段２が行う処理のほぼ逆の処理であるという前提をおくことにより、前処理手段２だけに注目して最適化をかけることができるので、変数ξの探索範囲を狭めることができる。本実施形態の処理システム９は、従来手法よりも、最適化において試行すべきパラメータの種類数を削減することができ、演算コストを削減することができる。

また、前処理装置７において、比較手段５が、符号化システム１における局部復号信号に対して逆処理手段４を適用することにより得られた局所出力信号と入力信号とを比較することで、前処理装置７は、信号劣化を事前に知ることができる。そして、最適化手段６が、比較手段５が事前に知った信号劣化が最小となるように最適なパラメータθ（ハット）を生成することができる。
後処理装置８は、この最適なパラメータθ（ハット）に基づいて後処理をするので、より「前処理および符号化劣化」総体の逆過程に近い後処理を実現することができる。

以上により、本実施形態の処理システム９は、従来手法に比べてより計算コストを低減しつつ、より「前処理および符号化劣化」総体の逆過程に近い後処理を実現することができる。

なお、前処理装置７は、この最適化を逐次実行しつつ、符号化システム１に、その時点で符号化により得られたビット列を伝送させてもよい。その場合、最適化手段６は、最適化処理する毎に、得られた最適なパラメータθ（ハット）を逆処理手段４の前処理手段４１に出力し、前処理手段４１は、その最適なパラメータθ（ハット）に基づいて、前処理を行ってもよい。

また、前処理装置７は、前処理手段２を備えないようにして、前処理手段４１と記憶手段４２との間に第１のスイッチを設け、更に、前処理手段４１と比較手段４３との間に第２のスイッチを設けてもよい。
その場合、前処理手段４１は、最適化手段６から最適なパラメータθ（ハット）が入力された場合、前処理手段４１は、記憶手段４２との接続を切断して、入力信号ｘを受信できるように第１のスイッチを切り替える。そして、前処理手段４１は、入力信号ｘを受信した場合、比較手段４３との接続を切断して、符号化手段１１と接続するように第２のスイッチを切り替える。これにより、前処理手段４１は、最適なパラメータθ（ハット）に基づいて、入力信号ｘに前処理を行い、前処理を行うことにより得られた最適な符号化信号ｚ（ハット）を符号化手段１１に出力することができる。
これにより、前処理装置７は、前処理手段２における前処理を前処理手段４１に行わせることにより、前処理手段２を備えないようにすることができる。この結果、前処理装置７の回路面積を削減できるので、前処理装置７の小型化及び低コスト化を実現できる。

また、本実施形態の前処理装置７及び後処理装置８の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、前処理装置７及び後処理装置８に係る上述した種々の処理を行ってもよい。

なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１ 符号化システム
２ 前処理手段（第２の前処理部）
３ 逆処理手段（第２の逆処理部）
４ 逆処理手段（第１の逆処理部）
５ 比較手段
６ 最適化手段
７ 前処理装置
８ 後処理装置
９ 処理システム
１１ 符号化手段
１２ 復号手段
１３ 局所復号手段
３１ 前処理手段
３２ 記憶手段
３３ 比較手段
３４ 最適化手段
３５ スイッチ
４１ 前処理手段
４２ 記憶手段
４３ 比較手段
４４ 最適化手段
４５ スイッチ
１００ 前処理手段（第１の前処理部）
１０１ 符号化システム（復号信号生成部）

Claims (5)

1. 符号化システムに符号化対象とする符号化信号を供給する前処理装置と該符号化システムから復号信号を受信する後処理装置とを備える処理システムであって、
   前記前処理装置は、
   入力信号に対して仮のパラメータに基づいて、前処理を行う第１の前処理部と、
   前記第１の前処理部が前処理を行った後の信号に対して、前記符号化システムが実行する符号化と復号に相当する処理を施して、局所復号信号を生成する復号信号生成部と、 前記仮のパラメータに基づいて、前記復号信号生成部が生成した局所復号信号に対して、前記第１の前処理部が行った処理の逆処理を行う第１の逆処理部と、
   前記第１の逆処理部が処理を行った後の出力信号と前記入力信号との差分の大きさを得る比較部と、
   前記比較部から得られた差分の大きさが予め決められた閾値以上である場合、前記差分の大きさが前記予め決められた閾値より小さくなるように前記仮のパラメータを最適化する最適化部と、
   前記入力
   信号に対して前記最適化部が最適化したパラメータに基づいて、前記第１の前処理部と同一の前処理を行って前記符号化信号を生成する第２の前処理部と、
   を備え、
   前記第１の前処理部および前記第２の前処理部における前処理は、標本点を間引く処理または標本点の追加の処理を伴うものであり、
   前記後処理装置は、
   前記最適化部が最適化したパラメータに基づいて、前記符号化システムから受信した復号信号に対して、前記第２の前処理部が行った処理の逆処理を行う第２の逆処理部を備えることを特徴とする処理システム。
2. 符号化システムに符号化対象とする符号化信号を供給する前処理装置であって、
   入力信号に対して仮のパラメータに基づいて前処理を行う第１の前処理部と、
   前記第１の前処理部が前処理を行った後の信号に対して、前記符号化システムが実行する符号化と復号に相当する処理を施して、局所復号信号を生成する復号信号生成部と、 前記仮のパラメータに基づいて、前記復号信号生成部が生成した局所復号信号に対して、前記第１の前処理部が行った処理の逆処理を行う逆処理部と、
   前記逆処理部が処理を行った後の出力信号と前記入力信号との差分の大きさを得る比較部と、
   前記比較部から得られた差分の大きさが予め決められた閾値以上である場合、前記差分の大きさが前記予め決められた閾値より小さくなるように前記仮のパラメータを最適化する最適化部と、
   前記入力信号に対して前記最適化部が最適化したパラメータに基づいて、前記第１の前処理部と同一の前処理を行って前記符号化信号を生成する第２の前処理部と、
   を備え、
   前記第１の前処理部および前記第２の前処理部における前処理は、標本点を間引く処理または標本点の追加の処理を伴うものである、
   ことを特徴とする前処理装置。
3. 前処理装置が入力信号から符号化対象とする符号化信号を生成する際に用いるために最適化したパラメータを前記前処理装置から取得し、該取得したパラメータに基づいて、前記符号化信号に符号化と復号とが施されることで得られた復号信号に対して、前記前処理装置が前記符号化信号を生成する際に行った処理の逆処理を行う逆処理部を備え、
   前記前処理装置が前記符号化信号を生成する際に行った処理は、標本点を間引く処理または標本点の追加の処理を伴うものである、
   ことを特徴とする後処理装置。
4. 符号化システムに符号化対象とする符号化信号を供給する前処理装置に、
   入力信号に対して仮のパラメータに基づいて前処理を行う第１の前処理ステップと、 前記第１の前処理ステップにより前処理が行われた後の信号に対して、前記符号化システムが実行する符号化と復号に相当する処理を施して、局所復号信号を生成する復号信号生成ステップと、
   前記仮のパラメータに基づいて、前記復号信号生成ステップにより生成された局所復号信号に対して、前記第１の前処理ステップにより行なわれた処理の逆処理を行う逆処理ステップと、
   前記逆処理ステップにより処理を行った後の出力信号と前記入力信号との差分の大きさを得る比較ステップと、
   前記比較ステップにより得られた差分の大きさが予め決められた閾値以上である場合、前記差分の大きさが前記予め決められた閾値より小さくなるように前記仮のパラメータを最適化する最適化ステップと、
   前記入力信号に対して前記最適化ステップにより最適化されたパラメータに基づいて、前記第１の前処理ステップと同一の前処理を行って前記符号化信号を生成する第２の前処理ステップと、
   を実行させるための前処理プログラムであって、
   前記第１の前処理ステップおよび前記第２の前処理ステップにおける前処理は、標本点を間引く処理または標本点の追加の処理を伴うものである、
   前処理プログラム。
5. コンピュータに、
   前処理装置が入力信号から符号化対象とする符号化信号を生成する際に用いるために最適化したパラメータを前記前処理装置から取得し、該取得したパラメータに基づいて、前記符号化信号に符号化と復号とが施されることで得られた復号信号に対して、前記前処理装置が前記符号化信号を生成する際に行った処理の逆処理を行う逆処理ステップを実行させるための後処理プログラムであって、
   前記前処理装置が前記符号化信号を生成する際に行った処理は、標本点を間引く処理または標本点の追加の処理を伴うものである、
   後処理プログラム。

Images