JPH10509297A - 画像信号のハイブリッド波形及びモデルベース符号化及び復号化 - Google Patents

Abstract

(57)【要約】 ハイブリッド波形及びモデルベース画像信号エンコーダ及びデコーダを開示する。画像信号を、原入力信号の波形を圧縮後にできるだけ良好に近似しうるように符号化(11)及び複合化(31)する。その損失を補償するために、信号のノイズ成分（又は一般に、波形符号化により失われる信号成分）をモデルベース符号化し(12,13)、別個に伝送又は蓄積する。デコーダにおいて、ノイズを再発生させ(32-34)、波形復号化された画像信号に加算する。本発明は、ノイズの損失を心臓医又は放射線医が画像の歪みと信じてしまう医用Ｘ線血管撮影画像の圧縮に適用しうる。

Description

【発明の詳細な説明】 画像信号のハイブリッド波形及びモデルベース符号化及び復号化 発明の技術分野 本発明は画像信号を符号化及び復号化するハイブリッド波形及びモデルベース エンコーダ及びデコーダに関するものである。本発明は画像信号を伝送する方法 にも関するものである。ここでは、伝送とは符号化された信号を光又は磁気ディ スク及びテープのような蓄積媒体に蓄積することも意味する。本発明は特に医用 Ｘ線血管造影像系列を符号化し、圧縮するのに適用することができる。 発明の背景 波形符号化はビデオ画像の伝送に使用される公知の符号化技術である。波形符 号化の目的は原入力信号の波形を使用可能ビットレートでできるだけ良好に近似 することにある。再構成信号の質は一般にビットレートの減少につれて減少する 。波形エンコーダはしばしば変換符号化技術を利用する。広く容認されたＭＰＥ Ｇ標準はディスクリートコサイン変換（ＤＣＴ）を画素ブロックに適用し、この 変換により得られた係数を量子化し、可変長符号化する。他の種々の変換が現在 研究されている。例えば、オーバラップ変換、例えばラップ直交変換（ＬＯＴ） が医用Ｘ線像の符号化及び圧縮に適するものと期待されている。極めて高い圧縮 比のときでも、関連する臨床情報が圧縮画像内に存在するものと思われる。 モデルベース符号化は画像データ圧縮の比較的新しい概念である。モデルベー ス符号化では、原入力信号を最初にモデル化し、モデルパラメータを量子化した ものをデコーダに伝送する。デコーダは、原波形のレプリカを発生する代わりに 、原信号に良く似て見えるが全く異なる波形を有するかもしれない信号を発生す る。モデルベース符号化によれば極めて高い圧縮比を達成することができる。 既知のハイブリッド波形及びモデルベースエンコーダ及びデコーダ”Model-ba sed/waveform hybrid coding for videotelephone images”，International Co nference on Acoustic，Speech and Signal Processing（ICASSP）91，Vol.4; 1 991; pp.2741-2744，に開示されている。既知の装置はモデルベース符号化を頭 部 及び肩部画像に適用し、モデル化し得ない背景画像に波形符号化を適用している 。波形符号化はモデルベース分析システムのエラーを相殺するのにも使用されて いる。 発明の目的及び概要 本発明の目的は波形符号化画像、特に医用Ｘ線像の画質を更に改善することに ある。 本発明は画像信号を符号化する波形及びモデルベースハイブリッドエンコーダ において、該エンコーダは画像信号を波形符号化する波形エンコーダと、画像信 号の所定の成分を、少なくとも該成分が波形符号化された画像信号内に存在しな い限り、モデルベース符号化するモデルベースエンコーダとを具えることを特徴 とする。 本発明は、極めて高い圧縮比では、原画像内の特徴の変化は観察し得ないとい う認識に基づくものである。その原因は、画像の高周波数成分は極めて粗く量子 化され、完全に除去されてしまうこともあるという事実にある。本発明のハイブ リッドエンコーダは前記成分の特徴を再発生する有効且つ効率的手段を提供する 。 特に、画像信号内のノイズは波形符号化により低減又は除去される。これは鮮 鋭度が低減した印象を生じ、医学用には極めて不利である。主要な臨床情報が圧 縮解除Ｘ線血管造影像内に存在すると思われるが、心臓専門医は鮮鋭な画像を歓 迎する。医師はノイズの存在に慣れているので、ノイズの不存在は医師に画像が 著しく歪んでいるものと思わせてしまう。モデルベース符号化ノイズの伝送は極 めて低いビットレートを必要とし、このノイズをデコーダで容易に再発生させる ことができる。極めて高い圧縮比でも、原画像と復号化画像が知覚的にほぼ同一 になる。 本発明の一実施例では、モデルベースエンコーダは画像信号の電力スペクトル 密度を符号化するように構成する。波形復号化信号の電力スペクトル密度を受信 側で決定する。次に、両スペクトルを比較し、その差を用いてノイズの再発生を 制御する。 本発明の他の実施例では、波形符号化信号を送信側で復号化し、原画像信号と 波形復号化信号との差を決定する。次に、この差信号にモデルベース符号化を適 用する。 画像信号は変換符号化を施すのが好ましい。これは、波形符号化及びモデルベ ース符号化の双方に同一の変換回路を使用しうるために特に魅力的である。 上述の刊行物”Model-based/waveform hybrid coding for videotelephone im ages”には、波形エンコーダの性能はモデルベース符号化を併用することにより 向上させることができる旨記載されている点に注意されたい。しかし、この点に ついてこれ以上詳細な記載はなく、モデルベース符号化を波形符号化及び圧縮に より失われる信号成分に適用する特徴は開示されていない。 図面の簡単な説明 図１及び図２は本発明によるハイブリッドエンコーダ及びデコーダを具えるシ ステムの第１及び第２の実施例の構成図を示し、 図３及び図４は図１及び図２に示すシステムのもっと詳細な実施例を示し、 図５−７は図３及び図４に示すシステムの動作を説明する振幅スペクトルを示 し、 図８は図３及び図４に示すシステムを改善する輝度適応スケールファクタのグ ラフを示す。 図１は本発明のハイブリッドエンコーダ及びデコーダ（以後時々”ＣＯＤＥＣ ”と略記する）を具えるシステムの第１の実施例を示す。本システムは、ハイブ リッドエンコーダ１と、伝送媒体又は蓄積媒体２と、ハイブリッドデコーダ３と を具える。ハイブリッドエンコーダにおいて、入力信号が波形エンコーダ１１及 びモデルベースエンコーダに供給される。モデルベースエンコーダは画像信号に 関する全体的情報、例えばその電力スペクトル密度の形状又はこの信号内のノイ ズ成分のエネルギーを表すモデルパラメータを推定する推定回路１２と、符号化 段１３とを含む。波形符号化信号とモデルベース符号化信号が次に伝送媒体又は 蓄積媒体２に供給される。次に、ハイブリッドデコーダにおいて、波形符号化画 像信号が波形デコーダ３１により復号化され、モデルベース符号化信号が複合化 段３２により復号化される。波形復号化信号はエンコーダの推定回路１２により 推定されるものと同一のモデルパラメータを推定するよう構成された推定回路３ ３に供給される。比較回路３４において、復号化モデルパラメータが推定回路３ ３により計算されたパラメータと比較される。こうして得られた差は波形ＣＯＤ ＥＣにより十分良好に表せない情報を示す。この情報を再発生段３５において再 発生させ、加算回路３６により波形復号化画像信号に加算する。 図２はＣＯＤＥＣの第２の実施例を示す。図１と同一の回路素子には同一の参 照番号を使用する。本例ではハイブリッドエンコーダ１が波形符号化画像信号を 局部的に復号化する波形デコーダ１４と、局部的に復号化された波形を原画像信 号波形から減算する減算器１５とを具える。本例では得られた差信号に推定回路 １２及び符号化段１３により実行されるモデルベース符号化を適用する。この実 施例はビットレートに関して一層効率が良く、これは本例では関連する成分が波 形符号化画像信号内に存在しない場合にのみモデルベース符号化が適用されるか らである。更に、本例ではデコーダ側の推定回路及び比較回路（図１の３３及び ３４）を省略することができるので、対応するデコーダが簡単になる。 次に、ノイズのモデルベース符号化の詳細な実施例を図３に示すシステムにつ いて説明する。この実施例では、画像を画素ブロックに分割し、ノイズのモデル ベース符号化を前記画素ブロックを変換符号化（例えばＤＣＴ又はＬＯＴ）する ことにより得られる変換係数に適用する。このシステムは、モデルパラメータを 変換領域で計算する点を除いて、図１の実施例にほぼ類似する。 図３のハイブリッドエンコーダ１では、波形エンコーダが変換回路１０１と、 量子化器１０１と、可変長符号化器１０３とを具える。このような波形エンコー ダは一般に既知であり、例えば”On Adaptive DCT Coding Techniques for Digi tal Video Recording”，IERE Proc.，7th Int．Conf．Video，Audio & Data Re coding，22-24 March，York(UK)，pp.199-204，に記載されている。以下におい ては、ラップ直交変換（ＬＯＴ）を使用するものとする。ＬＯＴは２Ｍ＊２Ｎ個 の画素のオーバラップブロックをＭ＊Ｎ個の係数のブロックに変換する。オーバ ラップ画素ブロックをＰ_i.jで示し、ここでｉは画像内のブロックの垂直位置（ ｉ＝1..N_v）、ｊは水平位置（ｊ＝1..N_h）を示す。係数はｃ_i.j［m,n］（ｍ＝0. .M-1，ｎ＝0..N-1）で示す。ＬＯＴのもっと完全な記述については、”The LOT: Transform Coding Without Blocking Effects”，IEEE Trans．on Accoutics， Sp eech，and Signal Processing，Vol.37，No.4，April 1989，を参照されたい。 図５は原Ｘ線像の代表的な振幅スペクトル（スペクトル周波数の関数としての 平均エネルギーの平方根）を示す。変換係数の二乗値はエネルギーを表すととも に類似の分布を示す。図６は波形符号化及び復号化後のスペクトルを示す。高周 波数情報の大部分の損失が明瞭に観測される。図３に示すシステムはこれらの周 波数におけるエネルギー損失をデコーダ側で発生されるノイズで代用する。 図３のモデルベースエンコーダは変換回路１０１と、推定回路１０４と、符号 化段１０５とを具える。推定回路１０４は最初に、現画像に対し、次式に従って 、全変換係数ｃ_i.j［m,n］（ＤＣ係数ｃ_i.j［0,0］は除く）のエネルギーを計算 する。 ここで、ｃ_i.j［m,n］の平均値は零に等しいものとする。全部でＭＮ−１個のエ ネルギーσ²［m,n］は原画像内のエネルギーが種々の空間周波数にどのように分 布しているかを示す。エネルギーσ²［m,n］は符号化段１０５において公知の差 分符号化及び可変長符号化技術により無損失符号化される。必要とされるビット レートが、量子化変換係数に必要とされる総ビット数と比較して小さくなる。５ １２×５１２画素の解像度の画像及びＭ＝Ｎ３２の場合には、５１２²個の量子 化変換係数を伝送する必要があるが、３２²−１個のノイズエネルギーが必要と されるのみである。従ってノイズエネルギーは全パラメータ数の約０．４％を構 成するのみである。更に、ＭＮ−１個のノイズエネルギーのブロックは図７に示 すようにかなりなめらかになる。これらのエネルギーは変換符号化技術において 既知のようにジグザグ走査し、次いで差分符号化することができる。 図３のハイブリッドデコーダでは、波形デコーダは可変長復号化段３０１、逆 量子化器３０２及び逆変換回路３０３のような一般に既知の回路素子を具える。 モデルベースデコーダは推定回路３０４、復号化段３０５、減算器３０６及びノ ］で示す。 _i.j［m,n］のエネルギーσ²［m,n］を計算する。従って、 復号化段３０５がモデルベースエンコーダにより伝送されたエネルギーσ²［m,n ］を復号化する。減算器３０６が差： を計算する。得られた差信号に応答して、ノイズ発生回路３０７が分散： を有するランダムノイズを表す係数を発生する。ここで、ｋは定数である。これ らのノイズ係数が加算器３０８により、全画素ブロック位置ｉ及びｊに対し変換 ノイズの再発生は下記の条件に依存して選択的に行うことができる。 ここで、ｔ［m,n］は空間周波数ｍ及びｎに依存する所定のしきい値であり、Ｐ ［m,n］は次式により決まる損失エネルギーの百分率である。 ｋ及びｔ［m,n］の値は原画像と符号化画像の知覚的類似度を基準として実験的 に見つけ出すことができる。定数ｋは異なる空間周波数ｍ及びｎに対し異なる値 に選択することもできる。 って発生される。 ルを表し、このサンプルは原画像内のノイズのサンプルにできるだけ等しい確率 密度関数を有する。 損失エネルギーの計算は”非対称法”により実行し、Δ［m,n］の負値は零に 丸める点に注意されたい。これは、ＬＯＴ係数の量子化によるこれらの係数のエ ネルギーの増大はランダムノイズ信号の加算により決して補償し得ないために行 う。 図３に示すシステムは図２に示す実施例に類似するシステムに変換することが できる。この別の実施例を図４に示す。既に述べた推定回路１０４が式１に従っ てエネルギーσ²［m,n］を計算する。他の推定回路１０６が量子化器１０２によ り エネルギー内の計算回路１０７により式４−６に従って計算する（Ｐ［m,n］＜ ｔ 符号化段１０５により無損失符号化され、デコーダに伝送される。デコーダにお いて、ノイズ発生が図３のシステムと同様に復号化段３０５及びノイズ発生器３ ０７により行われる。 Ｘ線像に対し先に仮定したノイズモデルは極めて簡単のものである。実際には 、ノイズは画像内に定常統計量を持ち得ない。例えば、ノイズエネルギーは画像 内の局部的輝度に依存することが観察されている。更に、ノイズの電力スペクト ル密度も局部的輝度に依存することが観察されている。低輝度領域における平坦 特性から高輝度領域における低域通過特性へ変化する。 ノイズ再発生が無い場合には、ノイズの損失が低輝度領域において最も明らか になる。シミュレーションの結果、ノイズ符号化方法は時々これらの領域に十分 なノイズを加算せず、明領域におけるノイズが多くなりすぎることが判明した。 変換係数の各ブロックごとに、ノイズスペクトルの形状に関するもっと詳細な情 報をデコーダに伝送することができる。しかし、これはビットレートを大きく増 大する。追加のビットレートを必要としない比較的簡単な解決方法は、デコーダ 内で再発生されるノイズの分散を画像内の局部的輝度に適応させるものである。 るノイズを加算する。 ここで、s（ＤＣ_i.j）はＤＣ_i.jに依存するスケールファクタである。図８はデ コーダ内で発生されるノイズの分散を局部的輝度に適応させるのに使用する実験 的に決定した関数を示す。図８において、垂直軸はスケールファクタs（ＤＣ_i.j ）を示し、水平軸は輝度値を示す。 要するに、ハイブリッド波形及びモデルベース画像信号エンコーダ及びデコー ダを開示している。画像信号を、原入力信号の波形を圧縮後にできるだけ良好に 近似するために波形符号化する。その損失を補償するために、信号のノイズ成分 （又は一般に、波形符号化により失われる信号成分）をモデルベース符号化し、 別個に伝送又は蓄積する。デコーダにおいて、ノイズを再発生させ、波形復号化 された画像信号に加算する。本発明は、ノイズの損失を心臓専門医又は放射線専 門医が画像の歪みと信じてしまう医用Ｘ線血管造影像の圧縮に適用しうる。

Claims (1)

1. 【特許請求の範囲】 １．画像信号を符号化するハイブリッド波形及びモデルベースエンコーダにおい て、該エンコーダは画像信号を波形符号化する波形エンコーダと、画像信号の成 分を、少なくとも該成分が波形符号化された画像信号内に存在しない限りモデル ベース符号化するモデルベースエンコーダとを具えることを特徴とするエンコー ダ。 ２．前記成分は前記画像信号内に存在するノイズからなることを特徴とする請求 項１記載のエンコーダ。 ３．前記モデルベースエンコーダは画像信号の電力スペクトル密度を符号化する ように構成されていることを特徴とする請求項１又は２記載のエンコーダ。 ４．波形符号化された画像信号を復号化する波形デコーダと、画像信号と波形復 号化画像信号との差信号を決定する手段とを具え、前記差信号を前記モデルベー スエンコーダに供給するよう構成されていることを特徴とする請求項１又は２記 載のエンコーダ。 ５．前記モデルベースエンコーダは前記差信号内のノイズの分散を符号化するよ う構成されていることを特徴とする請求項４記載のエンコーダ。 ６．画像信号を係数に変換する変換回路を具え、前記モデルベースエンコーダは 前記係数にモデルベース符号化を適用するよう構成されていることを特徴とする 請求項１−５の何れかに記載のエンコーダ。 ７．画像信号を復号化するハイブリッド波形及びモデルベースデコーダにおいて 、該デコーダは画像信号の波形符号化されたものを復号化する波形デコーダと、 画像信号のモデルベース符号化されたものを復号化するモデルベースデコーダと 、波形符号化画像信号内に存在しない画素信号の成分を決定する手段と、前記存 在しない成分を波形復号化画像信号に加算する手段とを具えることを特徴とする デコーダ。 ８．画像信号を復号化するハイブリッド波形及びモデルベースデコーダにおいて 、該デコーダは波形符号化された画像信号を復号化する波形デコーダと、波形符 号化された画像信号内に存在しないモデルベース符号化された成分を復号化 するモデルベースデコーダと、該復号化成分を前記波形復号化画像信号に加算す る手段とを具えることを特徴とするデコーダ。 ９．前記成分は前記波形符号化信号内に存在しないノイズを表すものであること を特徴とする請求項７又は８記載のデコーダ。 10．前記モデルベースデコーダはモデル符号化画像信号の電力スペクトル密度を 復号化するよう構成されていることを特徴とする請求項７、８又は９記載のデコ ーダ。 11．画像信号を波形符号化するステップと、画像信号の所定の成分を該成分が波 形符号化された画像信号内に存在しない限りモデルベース符号化するステップと 、前記波形符号化画像信号及び前記モデルベース符号化成分を伝送するステップ と、前記波形符号化画像信号及び前記モデルベース符号化成分を復号化するステ ップと、復号化画像信号とモデルベース復号化成分を合成するステップとを具え る画像信号伝送方法。 12．前記所定の成分は前記画像信号内に存在するノイズからなることを特徴とす る請求項１１記載の方法。 13．前記モデルベース符号化ステップは画像信号の電力スペクトル密度を符号化 することを特徴とする請求項１１又は１２記載の方法。 14．波形符号化画像信号を波形復号化し、画像信号と波形復号化画像信号との差 信号を決定し、前記差信号をモデルベース符号化するステップを具えることを特 徴とする請求項１１又は１２記載の方法。 15．前記モデルベース符号化ステップを前記差信号内のノイズの分散に適用する ことを特徴とする請求項１４記載の方法。 16．画像信号を係数に変換するステップを具え、前記モデルベース符号化ステッ プを前記係数に適用することを特徴とする請求項１１−１５の何れかに記載の方 法。 17．波形符号化信号と、少なくとも波形符号化画像信号内に存在しない画像信号 の所定の成分を表すモデルベース符号化信号とを具えることを特徴とする画像信 号。 18．請求項１７に記載された画像信号が蓄積されていることを特徴とする蓄積媒 体。