JP3933691B2 - 画像信号のハイブリッド波形及びモデルベース符号化及び復号化 - Google Patents

Description

発明の技術分野
本発明は画像信号を符号化及び復号化するハイブリッド波形及びモデルベースエンコーダ及びデコーダに関するものである。本発明は画像信号を伝送する方法にも関するものである。ここでは、伝送とは符号化された信号を光又は磁気ディスク及びテープのような蓄積媒体に蓄積することも意味する。本発明は特に医用Ｘ線血管造影像系列を符号化し、圧縮するのに適用することができる。
発明の背景
波形符号化はビデオ画像の伝送に使用される公知の符号化技術である。波形符号化の目的は原入力信号の波形を使用可能ビットレートでできるだけ良好に近似することにある。再構成信号の質は一般にビットレートの減少につれて減少する。波形エンコーダはしばしば変換符号化技術を利用する。広く容認されたＭＰＥＧ標準はディスクリートコサイン変換（ＤＣＴ）を画素ブロックに適用し、この変換により得られた係数を量子化し、可変長符号化する。他の種々の変換が現在研究されている。例えば、オーバラップ変換、例えばラップ直交変換（ＬＯＴ）が医用Ｘ線像の符号化及び圧縮に適するものと期待されている。極めて高い圧縮比のときでも、関連する臨床情報が圧縮画像内に存在するものと思われる。
モデルベース符号化は画像データ圧縮の比較的新しい概念である。モデルベース符号化では、原入力信号を最初にモデル化し、モデルパラメータを量子化したものをデコーダに伝送する。デコーダは、原波形のレプリカを発生する代わりに、原信号に良く似て見えるが全く異なる波形を有するかもしれない信号を発生する。モデルベース符号化によれば極めて高い圧縮比を達成することができる。
既知のハイブリッド波形及びモデルベースエンコーダ及びデコーダ"Model-based/waveform hybrid coding for videotelephone images", International Conference on Acoustic, Speech and Signal Processing（ICASSP）91, Vol.4; 1991; pp.2741-2744，に開示されている。既知の装置はモデルベース符号化を頭部及び肩部画像に適用し、モデル化し得ない背景画像に波形符号化を適用している。波形符号化はモデルベース分析システムのエラーを相殺するのにも使用されている。
発明の目的及び概要
本発明の目的は波形符号化画像、特に医用Ｘ線像の画質を更に改善することにある。
本発明は画像信号を符号化する波形及びモデルベースハイブリッドエンコーダにおいて、該エンコーダは画像信号を波形符号化する波形エンコーダと、画像信号の所定の成分を、少なくとも該成分が波形符号化された画像信号内に存在しない限り、モデルベース符号化するモデルベースエンコーダとを具えることを特徴とする。
本発明は、極めて高い圧縮比では、原画像内の特徴の変化は観察し得ないという認識に基づくものである。その原因は、画像の高周波数成分は極めて粗く量子化され、完全に除去されてしまうこともあるという事実にある。本発明のハイブリッドエンコーダは前記成分の特徴を再発生する有効且つ効率的手段を提供する。
特に、画像信号内のノイズは波形符号化により低減又は除去される。これは鮮鋭度が低減した印象を生じ、医学用には極めて不利である。主要な臨床情報が圧縮解除Ｘ線血管造影像内に存在すると思われるが、心臓専門医は鮮鋭な画像を歓迎する。医師はノイズの存在に慣れているので、ノイズの不存在は医師に画像が著しく歪んでいるものと思わせてしまう。モデルベース符号化ノイズの伝送は極めて低いビットレートを必要とし、このノイズをデコーダで容易に再発生させることができる。極めて高い圧縮比でも、原画像と復号化画像が知覚的にほぼ同一になる。
本発明の一実施例では、モデルベースエンコーダは画像信号の電力スペクトル密度を符号化するように構成する。波形復号化信号の電力スペクトル密度を受信側で決定する。次に、両スペクトルを比較し、その差を用いてノイズの再発生を制御する。
本発明の他の実施例では、波形符号化信号を送信側で復号化し、原画像信号と波形復号化信号との差を決定する。次に、この差信号にモデルベース符号化を適用する。
画像信号は変換符号化を施すのが好ましい。これは、波形符号化及びモデルベース符号化の双方に同一の変換回路を使用しうるために特に魅力的である。
上述の刊行物"Model-based/waveform hybrid coding for videotelephone images"には、波形エンコーダの性能はモデルベース符号化を併用することにより向上させることができる旨記載されている点に注意されたい。しかし、この点についてこれ以上詳細な記載はなく、モデルベース符号化を波形符号化及び圧縮により失われる信号成分に適用する特徴は開示されていない。
【図面の簡単な説明】
図１及び図２は本発明によるハイブリッドエンコーダ及びデコーダを具えるシステムの第１及び第２の実施例の構成図を示し、
図３及び図４は図１及び図２に示すシステムのもっと詳細な実施例を示し、
図５−７は図３及び図４に示すシステムの動作を説明する振幅スペクトルを示し、
図８は図３及び図４に示すシステムを改善する輝度適応スケールファクタのグラフを示す。
図１は本発明のハイブリッドエンコーダ及びデコーダ（以後時々”ＣＯＤＥＣ”と略記する）を具えるシステムの第１の実施例を示す。本システムは、ハイブリッドエンコーダ１と、伝送媒体又は蓄積媒体２と、ハイブリッドデコーダ３とを具える。ハイブリッドエンコーダにおいて、入力信号が波形エンコーダ１１及びモデルベースエンコーダに供給される。モデルベースエンコーダは画像信号に関する全体的情報、例えばその電力スペクトル密度の形状又はこの信号内のノイズ成分のエネルギーを表すモデルパラメータを推定する推定回路１２と、符号化段１３とを含む。波形符号化信号とモデルベース符号化信号が次に伝送媒体又は蓄積媒体２に供給される。次に、ハイブリッドデコーダにおいて、波形符号化画像信号が波形デコーダ３１により復号化され、モデルベース符号化信号が複合化段３２により復号化される。波形復号化信号はエンコーダの推定回路１２により推定されるものと同一のモデルパラメータを推定するよう構成された推定回路３３に供給される。比較回路３４において、復号化モデルパラメータが推定回路３３により計算されたパラメータと比較される。こうして得られた差は波形ＣＯＤＥＣにより十分良好に表せない情報を示す。この情報を再発生段３５において再発生させ、加算回路３６により波形復号化画像信号に加算する。
図２はＣＯＤＥＣの第２の実施例を示す。図１と同一の回路素子には同一の参照番号を使用する。本例ではハイブリッドエンコーダ１が波形符号化画像信号を局部的に復号化する波形デコーダ１４と、局部的に復号化された波形を原画像信号波形から減算する減算器１５とを具える。本例では得られた差信号に推定回路１２及び符号化段１３により実行されるモデルベース符号化を適用する。この実施例はビットレートに関して一層効率が良く、これは本例では関連する成分が波形符号化画像信号内に存在しない場合にのみモデルベース符号化が適用されるからである。更に、本例ではデコーダ側の推定回路及び比較回路（図１の３３及び３４）を省略することができるので、対応するデコーダが簡単になる。
次に、ノイズのモデルベース符号化の詳細な実施例を図３に示すシステムについて説明する。この実施例では、画像を画素ブロックに分割し、ノイズのモデルベース符号化を前記画素ブロックを変換符号化（例えばＤＣＴ又はＬＯＴ）することにより得られる変換係数に適用する。このシステムは、モデルパラメータを変換領域で計算する点を除いて、図１の実施例にほぼ類似する。
図３のハイブリッドエンコーダ１では、波形エンコーダが変換回路１０１と、量子化器１０１と、可変長符号化器１０３とを具える。このような波形エンコーダは一般に既知であり、例えば"On Adaptive DCT Coding Techniques for Digital Video Recording", IERE Proc., 7th Int. Conf. Video, Audio & Data Recoding, 22-24 March, York（UK）, pp.199-204，に記載されている。以下においては、ラップ直交変換（ＬＯＴ）を使用するものとする。ＬＯＴは２Ｍ＊２Ｎ個の画素のオーバラップブロックをＭ＊Ｎ個の係数のブロックに変換する。オーバラップ画素ブロックをＰ_i,jで示し、ここでｉは画像内のブロックの垂直位置（ｉ＝1..N_v）、ｊは水平位置（ｊ＝1..N_h）を示す。係数はｃ_i,j［m,n］（ｍ＝0..M-1，ｎ＝0..N-1）で示す。ＬＯＴのもっと完全な記述については、"The LOT: Transform Coding Without Blocking Effects", IEEE Trans. on Accoutics, Speech, and Signal Processing, Vol.37, No.4, April 1989,を参照されたい。
図５は原Ｘ線像の代表的な振幅スペクトル（スペクトル周波数の関数としての平均エネルギーの平方根）を示す。変換係数の二乗値はエネルギーを表すとともに類似の分布を示す。図６は波形符号化及び復号化後のスペクトルを示す。高周波数情報の大部分の損失が明瞭に観測される。図３に示すシステムはこれらの周波数におけるエネルギー損失をデコーダ側で発生されるノイズで代用する。
図３のモデルベースエンコーダは変換回路１０１と、推定回路１０４と、符号化段１０５とを具える。推定回路１０４は最初に、現画像に対し、次式に従って、全変換係数ｃ_i,j［m,n］（ＤＣ係数ｃ_i,j［0,0］は除く）のエネルギーを計算する。

ここで、ｃ_i,j［m,n］の平均値は零に等しいものとする。全部でＭＮ−１個のエネルギーσ²［m,n］は原画像内のエネルギーが種々の空間周波数にどのように分布しているかを示す。エネルギーσ²［m,n］は符号化段１０５において公知の差分符号化及び可変長符号化技術により無損失符号化される。必要とされるビットレートが、量子化変換係数に必要とされる総ビット数と比較して小さくなる。５１２×５１２画素の解像度の画像及びＭ＝Ｎ３２の場合には、５１２²個の量子化変換係数を伝送する必要があるが、３２²−１個のノイズエネルギーが必要とされるのみである。従ってノイズエネルギーは全パラメータ数の約０．４％を構成するのみである。更に、ＭＮ−１個のノイズエネルギーのブロックは図７に示すようにかなりなめらかになる。これらのエネルギーは変換符号化技術において既知のようにジグザグ走査し、次いで差分符号化することができる。
図３のハイブリッドデコーダでは、波形デコーダは可変長復号化段３０１、逆量子化器３０２及び逆変換回路３０３のような一般に既知の回路素子を具える。モデルベースデコーダは推定回路３０４、復号化段３０５、減算器３０６及びノイズ発生器３０７を具える。推定回路３０４に供給される変換係数は

で示す。
推定回路３０４がエンコーダ内の推定回路１０４と同一の方法で再構成係数

のエネルギーσ²［m,n］を計算する。従って、

復号化段３０５がモデルベースエンコーダにより伝送されたエネルギーσ²［m,n］を復号化する。減算器３０６が差：

を計算する。得られた差信号に応答して、ノイズ発生回路３０７が分散：

を有するランダムノイズを表す係数を発生する。ここで、ｋは定数である。これらのノイズ係数が加算器３０８により、全画素ブロック位置ｉ及びｊに対し変換係数

に加算される。
ノイズの再発生は下記の条件に依存して選択的に行うことができる。
Ｐ［m,n］＞ｔ［m,n］ 式５
ここで、ｔ［m,n］は空間周波数ｍ及びｎに依存する所定のしきい値であり、Ｐ［m,n］は次式により決まる損失エネルギーの百分率である。

ｋ及びｔ［m,n］の値は原画像と符号化画像の知覚的類似度を基準として実験的に見つけ出すことができる。定数ｋは異なる空間周波数ｍ及びｎに対し異なる値に選択することもできる。
加算器３０８における加算の結果として、新しい係数

が次式に従って発生される。

ここで、ｘ_i,jは分散

を有するランダムノイズ発生器のサンプルを表し、このサンプルは原画像内のノイズのサンプルにできるだけ等しい確率密度関数を有する。
損失エネルギーの計算は”非対称法”により実行し、Δ［m,n］の負値は零に丸める点に注意されたい。これは、ＬＯＴ係数の量子化によるこれらの係数のエネルギーの増大はランダムノイズ信号の加算により決して補償し得ないために行う。
図３に示すシステムは図２に示す実施例に類似するシステムに変換することができる。この別の実施例を図４に示す。既に述べた推定回路１０４が式１に従ってエネルギーσ²［m,n］を計算する。他の推定回路１０６が量子化器１０２により供給される係数

のエネルギー

を式２に従って計算する。本例ではランダムノイズ分散

及び百分率Ｐ［m,n］デコーダ内の代わりにエネルギー内の計算回路１０７により式４−６に従って計算する

ランダムノイズ分散

が符号化段１０５により無損失符号化され、デコーダに伝送される。デコーダにおいて、ノイズ発生が図３のシステムと同様に復号化段３０５及びノイズ発生器３０７により行われる。
Ｘ線像に対し先に仮定したノイズモデルは極めて簡単のものである。実際には、ノイズは画像内に定常統計量を持ち得ない。例えば、ノイズエネルギーは画像内の局部的輝度に依存することが観察されている。更に、ノイズの電力スペクトル密度も局部的輝度に依存することが観察されている。低輝度領域における平坦特性から高輝度領域における低域通過特性へ変化する。
ノイズ再発生が無い場合には、ノイズの損失が低輝度領域において最も明らかになる。シミュレーションの結果、ノイズ符号化方法は時々これらの領域に十分なノイズを加算せず、明領域におけるノイズが多くなりすぎることが判明した。変換係数の各ブロックごとに、ノイズスペクトルの形状に関するもっと詳細な情報をデコーダに伝送することができる。しかし、これはビットレートを大きく増大する。追加のビットレートを必要としない比較的簡単な解決方法は、デコーダ内で再発生されるノイズの分散を画像内の局部的輝度に適応させるものである。
公知のように、ＤＣ係数

は画素ブロックＰ_i,jの平均輝度を表す。分散

を有するノイズを加算する代わりに、下記の分散を有するノイズを加算する。

ここで、s（ＤＣ_i,j）はＤＣ_i,jに依存するスケールファクタである。図８はデコーダ内で発生されるノイズの分散を局部的輝度に適応させるのに使用する実験的に決定した関数を示す。図８において、垂直軸はスケールファクタs（ＤＣ_i,j）を示し、水平軸は輝度値を示す。
要するに、ハイブリッド波形及びモデルベース画像信号エンコーダ及びデコーダを開示している。画像信号を、原入力信号の波形を圧縮後にできるだけ良好に近似するために波形符号化する。その損失を補償するために、信号のノイズ成分（又は一般に、波形符号化により失われる信号成分）をモデルベース符号化し、別個に伝送又は蓄積する。デコーダにおいて、ノイズを再発生させ、波形復号化された画像信号に加算する。本発明は、ノイズの損失を心臓専門医又は放射線専門医が画像の歪みと信じてしまう医用Ｘ線血管造影像の圧縮に適用しうる。

Claims (14)

1. 画像信号を符号化するためのハイブリッドエンコーダであって、該ハイブリッドエンコーダは、
   前記画像信号を波形符号化して波形符号化画像信号を生成するよう構成された波形エンコーダと、
   前記波形符号化画像信号に存在しない、前記波形符号化により失われた前記画像信号の一部分に相当する前記画像信号の成分の統計的特性を推定する推定手段と、
   前記波形符号化画像信号に存在しない前記画像信号の成分の統計的特性を符号化するよう構成されたモデルベースエンコーダと、
   を具えることを特徴とするハイブリッドエンコーダ。
2. 前記推定手段が前記画像信号の電力スペクトル密度を計算するように構成され、前記モデルベースエンコーダがこの電力スペクトル密度を符号化するように構成されていることを特徴とする請求項１記載のハイブリッドエンコーダ。
3. 前記波形符号化画像信号を復号化して波形復号化画像信号を生成する波形デコーダと、前記画像信号と前記波形復号化画像信号との差信号を決定する手段とを更に具え、前記差信号を前記差から前記統計的特性を推定するために前記推定手段に供給するよう構成されていることを特徴とする請求項１記載のハイブリッドエンコーダ。
4. 前記画像信号のエネルギーを計算する追加の推定手段を具え、前記推定手段と前記追加の推定手段とに結合され、前記画像信号内のノイズの分散を計算する計算手段とを更に具え、前記モデルベースエンコーダが前記ノイズの分散を符号化するように構成されていることを特徴とする請求項２記載のエンコーダ。
5. 前記波形エンコーダが前記画像信号を係数に変換する変換回路を具え、前記モデルベースエンコーダが前記係数の二乗平均を符号化するように構成されていることを特徴とする請求項１−４の何れかに記載のエンコーダ。
6. 画像信号を復号化するハイブリッドデコーダであって、該ハイブリッドデコーダは、
   波形符号化画像信号を復号化して波形復号化画像信号を生成する波形デコーダと、
   前記波形符号化画像信号に存在しない前記画像信号の成分の統計的特性を含むモデルベース符号化信号を復号化し、波形符号化の結果として失われた前記画像信号の一部分に相当する前記成分の統計的特性に合致するノイズ信号を生成するモデルベースデコーダと、
   前記生成されたノイズ信号を前記波形復号化画像信号に加える手段と、
   を具えることを特徴とするハイブリッドデコーダ。
7. 前記モデルベースデコーダは前記モデルベース符号化画像信号の電力スペクトル密度を復号化するよう構成されていることを特徴とする請求項６記載のハイブリッドデコーダ。
8. 画像信号を送信する方法であって、
   前記画像信号を波形符号化して波形符号化画像信号を生成する波形符号化ステップと、
   前記波形符号化の結果として前記波形符号化画像信号に存在しない前記画像信号の成分の統計的特性を計算するステップと、
   前記波形符号化画像信号に存在しない前記画像信号の成分の統計的特性を符号化して前記波形符号化の結果として失われた前記画像信号の一部分に相当するモデルベース符号化成分を生成するモデルベース符号化ステップと、
   前記波形符号化画像信号と前記モデルベース符号化成分を送信するステップ
   と、を具える画像信号伝送方法。
9. 前記計算ステップが前記画像信号の電力スペクトル密度を計算し、前記モデルベースステップがこの電力スペクトル密度を符号化することを特徴とする請求項８記載の方法。
10. 前記計算ステップが、前記波形符号化画像信号を復号化して波形復号化画像信号を生成し、前記画像信号と前記波形復号化画像信号との差信号を決定し、前記差から前記統計的特性を計算するステップを推定することを特徴とする請求項８記載の方法。
11. 前記計算ステップが前記画像信号内のノイズの分散を計算し、前記モデルベース符号化ステップが前記ノイズの分散を符号化することを特徴とする請求項１０記載の方法。
12. 前記波形符号化ステップが前記画像信号を係数に変換するステップを具え、前記モデルベース符号化ステップが前記係数の二乗平均を符号化することを特徴とする請求項８−１１の何れかに記載の方法。
13. 画像信号を受信する方法であって、
    波形符号化画像信号を復号化して波形復号化画像信号を生成する波形復号化ステップと、
    前記波形符号化画像信号に存在しない前記画像信号の成分の統計的特性を含むモデルベース符号化信号を復号化し、波形符号化の結果として失われた前記画像信号の一部分に相当する前記成分の統計的特性に合致するノイズ信号を生成するモデルベース復号化ステップと、
    前記生成されたノイズ信号を前記波形復号化画像信号に加えるステップと、
    を具えることを特徴とする画像信号受信方法。
14. 前記モデルベース復号化ステップが前記モデルベース符号化画像信号の電力スペクトル密度を復号化することを特徴とする請求項１３記載の方法。

Images