JP4412742B2 - 段階的画像コーディング - Google Patents

Description

技術分野
本発明は、画像及びビデオ・コーディングの方法と装置に関係し、また段階的画像伝送の方法と装置に関係する。
背景と従来技術
段階的画像伝送（PIT）とは、より多くの情報を伝送するにつれて画像の品質が伝送装置の受信端で徐々に改良されるように、画像に含まれる情報を送信する画像伝送方法の一般的用語である。
段階的画像伝送は、公衆交換電話網のような低容量伝送チャネルを使用する画像伝送装置の一部として提案された。PIT方式の使用は、ユーザーに理解可能な画像をより速く提供する。これは、例えば、多くの画像を見なければならないが、いくつかにのみ実際に用がある時に重要である。従って、ユーザーは、伝送中の任意の時間に画像を受け入れないことを決定可能で、早い段階に重要でない画像を受け入れないことにより時間を節約できる。医療環境に生じるような大容量画像データベースは、中でもこのような伝送方式から恩恵を受ける。
従って、段階的画像コーディングを有用にし適切にする特徴を有するアルゴリズムの要求が台頭してきた。段階的画像コーディングの使用に可能な方法は、Joint Photographers Expert Group（JPEG）アルゴリズムである。次いで段階画像コーディングは、例えば、1993年ニューヨーク州ヴァン・ノストランド・レインホールドのダブリュー・ビー・ペネベイカー、ジェイ・エル・ミッチェルの「JPEG静止画像データ圧縮基準」又はACM通信、1988年4月第34巻第4号、121-132頁のジー・ケー・ワラスの「JPEG静止画圧縮基準」の文書に記載されているようなスペクトル選択又は連続近似の方法を使用して実行される。
しかしながら、PITへのJPEGアルゴリズムの使用は、ある種の欠点を伴う。主要な欠点は、伝送の初期段階での低い視覚品質で、これは主に高圧縮率に現れるブロック状人工パターンによる。従って、受信者が伝送画像に興味があるかどうかを決定できるためには、多くの情報を必要とするのが普通である。
最近、段階的画像伝送に区分画像コーディング（SIC）又は領域基底コーディング（RBC）が使用されている。領域基底コーディングは、比較的新しい画像圧縮技術で、画像をゆっくり変化する強度の領域に分割する。異なる領域を分離する等高線は、チェーン・コードにより記述され、このような領域の内側の画像強度は、基底関数の線形結合の使用により近似される。等高線と領域強度は、次いで受信器に画像を提供するため、チャネルを介して送信される。
RBCを基にしたアルゴリズムは、例えば、JPEGアルゴリズムより高圧縮率で非常に良い視覚品質を与える。この理由は、JPEGアルゴリズムを使用した高圧縮率で見えるブロック状人工パターンのためである。しかしながら、低圧縮率では、RBCを基にしたアルゴリズムの視覚品質は、JPEGアルゴリズムを超えてはいない。さらに、RBCアルゴリズムの計算複雑度は、比較的低コストで市販されている利点を有するJPEGアルゴリズムより非常に大きい。
現在のRBC法の大部分は、基底関数の重みつき和として領域内のグレイ値を近似し、以後得られた係数を量子化しコード化している。このような技術は、ICASSP 90誌、1990年4月ニューメキシコ州アルバカーキの2245-2248頁の、エム・ギルジ「画像の領域指向変換コーディング（ROTC）」及び1987年11月IEEE回路及びシステム誌第34巻、1306-1336頁のエム・クンツ、エム・ベナード、アール・レオナードの「高圧縮画像コーディングの最近の結果」に記載されている。
さらに最近のRBCを基にした方法では、与えられた領域内の基底関数は、直交している。直交関数の使用は、より少ない数値的に安定した計算で線形表現の係数を独立に得ることを可能とする。例えば、1994年4月19-22日のオーストラリア、アデレードでのICASSP 94誌、第V巻345-348頁のダブリュー・フィリップス、シー・エー・クリストポーラス「弱く分離可能な基底を使用した高速区分画像コーディング」を参照されたい。しかしながら、RBCアルゴリズムは、相当に計算及びメモリを必要とする。これは、直交基底が領域の形状と寸法に依存するためで、従って各領域に新たな個々の基底関数を計算しなければならないからである。
さらに、低圧縮率では、RBCは、JPEGより良い視覚品質を提供しない。従って、低圧縮率ではRBCを基にしたアルゴリズムは、他の圧縮アルゴリズムと比較してその利点を失う。
発明の要旨
本発明の目的は、伝送の全ての段階の間で高品質画像を提供するPIT用の方法と伝送装置を提供することである。
本発明の目的は、またRBCとブロックを基にしたコーディング法を組み合わせた静止及び動画像をコーディングする方法を提供することである。
本発明の他の目的は、効率的な段階的画像伝送を提供するためJPEGアルゴリズムで得られる低コストな高圧縮と共に、区分画像コーディングの良好な初期視覚品質を利用した方法と伝送又は記憶装置を得ることである。
本発明の別な目的は、既存のRBC方式と比較して計算上の複雑性とメモリ要求を減少させたRBC方式を使用した方法と伝送装置を提供することである。
これらの目的と他の目的は、RBCに連続トーン圧縮アルゴリズム、例えば、JPEG及び／又はDCT（離散余弦変換）を組み合わせた方法により得られる。従って、PITの伝送の最初の段階では、この段階で良好な視覚品質の画像を提供することが分かっている。すなわち、高圧縮率で圧縮された時のある種のRBCアルゴリズムが使用される。RBC方式は、以下の段階から構成される。
（ａ）画像を多数の領域に区分する。等高線画像をコード化し送信する（多分各領域のピクセルの平均値も）。
（ｂ）いくつかの（多数の）基底関数を計算する（予め計算されていない場合）。
（ｃ）対応するテクスチャー係数を計算する。
（ｄ）係数を量子化し、コード化し、送信する。
（ｅ）デコーダがさらに別の情報を必要とする場合は、段階（b）へ行き、それ以外は伝送を停止する。
伝送の任意の段階で、RBC方式により得られた視覚結果が、JPEGのような連続トーン圧縮により得られた結果よりあまり良くない場合、さらに情報が送信されるが、この時は連続トーン圧縮、例えばJPEGを使用して圧縮される（受信側から低圧縮率の画像を要求された場合）。RBCアルゴリズムを使用する時、既に送信した情報を利用するためには、ピクセルあたり８ビットを使用するグレイスケール画像に対して送信器では、以下の処理が実行される。
1．元の画像とこの段階でRBCにより再構成された画像との間のピクセル値差を取ることにより新たな画像を作成する。
2．得られた差画像の各ピクセル値に１２８を加える。
3．得られた差画像の全てのピクセル値を［０、２５５］の範囲に切り取る又はクリップする、すなわち０より小さい全ての値を０に、２５５より大きい全ての値を２５５にする。
4．RBC圧縮画像とJPEG圧縮画像の送信ビットの総数が、連続トーン圧縮アルゴリズムのみで圧縮した場合に、所要の視覚品質を有する画像を得るために送信するのに必要なビット数より近似的に等しいか、少なくなるような圧縮率で生成した差画像を連続トーン圧縮アルゴリズム、例えば、JPEGアルゴリズムで圧縮する。
連続トーン圧縮アルゴリズムを適用する場合よりビット数を等しいか少なく制限することなく、差画像は、もちろんJPEG又は他の方法で圧縮可能である。差画像をコーディングする方法は、1996年4月のビデオ技術の回路と装置誌第6巻、第2号、135-142頁のワイ・イトー「ふち指向の段階的画像コーディング」に記載されているような可変ブロックサイズDCTを基にすることも可能である。
使用した連続トーン圧縮が差操作の後のピクセル値を処理可能な場合には、＋１２８の加算も必要ない（この場合には値を範囲［０，２５５］にクリップすることもない）ことに注意を要する。段階的画像伝送方法は、差画像をコーディングするためにも使用可能であり、これはJPEG又はDCTを基にした方式を基にすることが望ましい。差画像をコーディングするための他の適当なコーディング方式も、もちろん使用可能である。以下では、JPEGが差フレームのコーディングに使用されることを想定しているが、他の連続トーン・アルゴリズムを使用する可能性を除外しているものではない。
受信器が受信画像を利用するためには、受信器は、以下の段階を実行する。
1．圧縮差画像を受信する。
2．連続トーン・コーディング・アルゴリズム、例えばJPEGを使用して受信差画像を再構築する。
3．JPEG再構成画像の各ピクセル値から１２８を減算する。
4．段階３の生成画像をRBC再構成画像に加算する。
＋１２８の減算は、これをエンコーダ側で使用していない場合には必要ないことに注意を要する。
送信の最初の段階でより良い視覚品質を得るため、使用するRBCアルゴリズムをハイブリッドRBC-DCT（離散余弦変換）アルゴリズムに修正可能である。ハイブリッドRBC-DCTは、区分画像を矩形ブロックに分割する。区分画像の領域内に完全に含まれるブロックは、DCT基底関数又はハイブリッドRBC-DCT方式で生じる離散フーリエ変換（DFT）基底関数のような他の所定の基底関数を使用してコード化される。
矩形が整合しない他の領域や領域の残りの部分は、特別に弱く分離可能な（WS）基底関数のような直交基底関数、又は他の基底関数（直交していなくとも良い）を使用してコード化される。送信器からの情報なしにブロックへの分割は、受信器により実行されるため、これらの矩形ブロックの輪郭は送信する必要はない。
矩形が整合しない領域の残りの部分は、１領域の部分として考えられるか又は別々の副領域に分割すべきかどうかを検査されることに注意を要する。このような場合、各副領域は基底関数でコード化されるか、又は非矩形形状をコード化する他の方法でコード化される。
例えば、ピクセル値は、量子化され、コード化され、又はビット面コーディング方式を使用しても良い。オプションとして、基底関数の組を副領域の特性に適合可能である。例えば、滑らかな部分が存在する場合、多項式が使用可能である。テクスチャー部分がある場合、余弦基底関数が使用可能である。領域が相対的に大きいとき、例えば、人体の場合には、以下のようになることに注意を要する。
物体の残りの部分、すなわち矩形に整合不可能な部分は、異なる部分（副領域）、すなわち頭部の一部、手の一部、脚の一部等から構成される。このような場合、これらの副領域を認識し、RBCコーディング、例えば多項式表現をこれらの副領域に適用可能である。
従って、高圧縮率の画像転送の最初の段階では、この段階でJPEGより高品質を有する画像を提供できるRBCアルゴリズムの能力のため、ハイブリッドRBC-CDT法が使用される。さらに情報が必要な場合、すなわち受信側がより高品質の画像を要求する場合、この追加情報は、JPEG又は他の連続トーン圧縮アルゴリズムを使用して伝送される。
伝送の初期段階では、任意の区分技術を利用した任意のRBC方式が使用可能であることに注意を要する。予め区分された画像が提供される応用例では、区分けは必要ない。切り替え方式も必要ないかもしれないし、画像はRBC又はハイブリッドRBC-DCT方式又は段階モードのみで圧縮可能であるかもしれないことにも注意を要する。
画像は、色画像でも良く、又はピクセルあたり他のビット数を有しても良く、同様の技術を使用して圧縮される。
【図面の簡単な説明】
添付の図面を参照して本発明を以下に詳細に説明する。
図１は、RBCを基にした伝送方式を用いた静止画像の伝送装置の全体ブロック線図である。
図２は、組み合わせRBC-JPEG圧縮方式を使用したブロック線図である。
図３は、図２の送信器で実行される論理段階の流れ図である。
図４は、差画像をコーディングする時に実行される差段階を図示するブロック線図である。
図５は、RBC解凍に含まれる段階のブロック線図である。
図６は、差画像を解凍する時に解凍器で実行される段階のブロック線図である。
図７は、色画像に対する送信器の論理を図示する流れ図である。
図８は、色画像を受信する時に受信器で実行される段階のブロック線図である。
図９は、RBCアルゴリズムによる圧縮と連続トーン圧縮アルゴリズムによる圧縮との間の方式切り替えを使用した伝送の概略図である。
望ましい実施例の説明
以下の例では、ピクセル当り８ビットを有するグレイスケール画像を元の画像として使用するが、色画像も例外ではない。図１では、段階的画像伝送方式を用いた伝送装置のブロック線図が図示されている。伝送装置は、送信部分１０１と受信部分１０３から構成される。送信部分は、入力ブロック１０５とPIT型式圧縮ブロック１０７を含む。PIT圧縮画像は、送信チャネル又はメモリ１０９に送信され、PIT解凍器１１１と再構築画像の出力１１３を含む受信部分１０３により受信される。
図２では、PITブロック１０７の処理ブロックが図示されている。このように、RBC圧縮器を含むブロック２０１でRBC方式を用いて、まず画像が圧縮される。次いでブロック２０１のRBCアルゴリズムによりコード化された画像が送信される。使用されるRBCアルゴリズムは、1990年4月ニューメキシコ州アルバカーキのICASSP90会誌2245-2248頁のエム・ギルジ、「画像の領域指向変換コーディング（ROTC）」及び1994年4月19-22日オーストラリア、アデレイドのICASSP94会誌第Ｖ巻345-348頁のダブリュー・フィリップス、シー・エー・クリストポーロスの「弱く分離可能な基底を用いた高速区分画像コーディング」に記載されている方法のような、送信される画像の型式に適切な任意のアルゴリズムが可能である。
また、送信の最初の段階の送信方式は、1995年2月のビデオ技術に関する回路と装置のIEEE会誌第５巻第１号、59-62頁のシコラ・ティーとマカイ・ビーの「ビデオの汎用コーディングに対する形状適合DCT」に記載されている方法と同様の方式で実装可能である。
受信側がより良好な視覚品質を有する画像を必要としないと決定するまで、または同じ圧縮率で、この場合はJPEGのような連続トーン圧縮を使用した他の簡単な圧縮技術がユーザーにより良い、または等しく良い品質の画像を提供する時点まで、PITはRBC圧縮技術で続行する。この決定は、信号対雑音比（SNR）、二乗平均エラー（MSE）又は他の基準を基に行うことも可能で、また送信側でも決定可能である。
別案として、受信側又は送信側が希望しない場合には、RBCを基にした圧縮から連続トーン圧縮への切替えを実行しないよう選択することも可能である。
例えば、受信側は、区分画像の特定な領域の詳細に興味を有しているのかもしれない。その場合、完全なRBC又はハイブリッドRBC-DCT方式をその領域に使用可能である。
ブロック変換コーディング（BTC）法、ベクトル量子化法、ウェーブレット法、８Ｘ８、又は１６Ｘ１６ピクセル・ブロック又はより大きいサイズのブロックに適用したDCTを使用する上述した形状適合DCTのようなJPEG以外の差画像をコーディングする他のコーディング方法も従って適用可能である。
上述の場合の内の後者が適用される場合、すなわちJPEG圧縮画像（JPEGが使用される連続トーン圧縮器である場合）が伝送のある段階での圧縮率でRBC圧縮画像より劣らない場合、送信器は、JPEGを使用してさらにPITを実行するよう切換わる。RBCを使用して既に送信した画像に含まれる情報を失わないため、この段階でのRBC圧縮画像は、ブロック２０３の解凍器により解凍される。
RBC方式以外の異なるコーディング方式を使用してある領域を異なる方法でコード化することも可能である。すなわち、異なるコーディング方法を異なる領域に使用可能である。例えば、ある領域をデータ損失なしに、他をありにコード化することも可能である。これは送信器又は受信器のどちらでも決定可能である。例えば、段階的モードで画像を受信している間に、完全な再構成が必要な領域を指摘することが可能である。このような操作は、送信側に情報を信号し、送信側に指示してその特定領域を完全に再構成させる。
それゆえ、送信の最終段階では、その領域にデータ損失のない技術が使用可能である。又は、その代わりに、最終的な再構築を損失のないようにするよう、ある領域を段階的又は非段階的に送信／記憶してもよい。これは多くの医療応用に有用である。
解凍から得られた画像は、ブロック２０５で元の画像から減算される。得られた画像は次いで連続トーン圧縮、この場合はJPEG圧縮により圧縮される。これはブロック２０７で実行され、その詳細は、以下の図４を参照して説明される。
さらに、段階的伝送は、増加ピクセル精度によっても達成可能である。例えば、RBC係数を有している時、最初は各係数に４桁の高位ビットを送信する。次いで以降の段階で下位桁ビットが送信される。さらに必要に応じて別の係数が計算される。必要に応じて連続トーン処理への切替えも実行される。
図３に、組み合せRBC-JPEG方式を使用した送信器で実行される段階の流れ図が図示される。ここでは、送信すべき画像が以下のように圧縮される。最初に画像は、ブロック３０１でアクセスされる。次いで画像は、３０３で区分される。区分画像の領域の輪郭は、次いで輪郭コーディング・ブロック３０５でコード化され、輪郭が送信される。使用されるアルゴリズムは、任意の適当な区分アルゴリズムである。
また、使用される輪郭コーディング技術は、データ損失のないものと共にあるものも使用可能である。送信器と受信器の両方が同じ輪郭情報を使用しなければならないことに注意を要する。ラベルと2進画像を与えるブロック３０６を介して区分画像もブロック３０７へ送られる。ブロック３０７で、領域の内部は、多項式、又は適当な基底関数の組、又はさらにはピクセルの値の簡単な量子化により近似される。
ブロック３０６では、２進輪郭画像が発生され、またラベル画像も発生される。ラベル画像は、画像のピクセルに識別名を与えた画像であり、従って区分画像の同じ領域内の全てのピクセルは、同じ識別名、例えば、１領域の全てのピクセルは、識別名１、第２領域の全てのピクセルは識別名２等々、を有する。
多項式を発生するの使用した基底関数は、任意の組の基底関数で良い。以下の説明では、1994年4月19-22日のオーストラリア、アデレードでのICASSP 94誌、第V巻345-348頁のダブリュー・フィリップス、シー・エー・クリストポーラス「弱く分離可能な基底を使用した高速区分画像コーディング」に記載の弱く分離可能な（WS）基底関数を使用する。
RBCコーディング部分は、以下の段階を含むことが望ましい。
（ａ）多数の領域への画像の区分け、輪郭画像のコーディングと送信、そして多分各領域でのピクセルの平均値。
（ｂ）いくつかの（多くの）基底関数の計算。
（ｃ）対応するテクスチャー係数の計算。
（ｄ）係数の量子化、コーディング及び送信。
（ｅ）デコーダが余分な情報を必要とする場合は段階（ｂ）へ行き、それ以外は送信を停止。
これで、多項式の係数が送信される。次いで送信器には、ブロック３０９で受信器からの帰還情報が与えられる。帰還情報を基に、ブロック３１１で送信を続行するかどうかの決定が行われる。送信を停止するよう決定された場合、送信器はブロック３１３に進んで、送信は停止される。
反対に、送信を続行するよう決定した場合、方式はブロック３１５に進む。ブロック３１５で、RBC方式で続行するのが有利であるか、または、これ以上の伝送をJPEG圧縮アルゴリズム又は他の連続トーン圧縮アルゴリズムにより実行するかどうかを決定する。
この決定は、方式がブロック３１５に到達した時点の送信段階の圧縮率での２つの異なる方式の性能を基にしている、すなわち、その圧縮率でRBCで圧縮した画像がJPEG画像を超えている場合は、判断はイエスであり、そうでなければ判断はノーである。
ブロック３１５の判断は、所定の基準、例えば主観的な基準又はSNRやMSEのような基準を基にしていて、その基準は、方式がブロック３１５に到達する度に評価される。ブロック３１５の判断がイエスの場合、すなわちRBCが低圧縮率で良好な品質を与える場合は、方式はブロック３１７に進み、ここで高次の多項式を使用するかが決定される。
代案として、使用される基準がその度に評価不能の場合、閾値を定量的基準に設定し、これはRBCとこの場合はJPEGのような連続トーン圧縮との間の切替えを実行しようとする伝送時に決定可能である。また、２つの異なる圧縮方法の間の切替えを実行する時点は、送信器で得られた経験を基にすることも可能である。すなわち、ある圧縮率で異なる方式間で切替えるのが有利である情報が送信器に与えられる。
送信のある段階でJPEG又はRBC方式のどちらが良いかを検出する１つの方法は、JPEGとRBCを平行に実行することである。これは、しかしながら、計算上の観点からは非効率であるが、記憶用に画像を圧縮する時及び圧縮効率が最大の重要課題である時には効率的となる。
それゆえ、以下のより実用的ではあるが、副次最適な技術が使用可能である。一定数のRBC係数を計算後JPEGに切替える。例えば、領域中で計算すべき係数の最大数は、その特定領域の点数の２０％でよい。この副次最適方法は、実際的な妥協であることを実験は示している。
以後、方式はブロック３０７に戻り、ここで画像の領域は多項式により近似され、今回は、この多項式は前回より高次である。高次の多項式が送信され、方式は前と同じくブロック３０９に進む。しかしながら、ブロック３１５で判断がノーの場合、すなわちRBC画像が低圧縮率でより良い画像が与えないと判断された場合、方式はブロック３１９に進む。
ブロック３１９で、元の画像の対応するピクセル値から再構成され解凍されたRBC画像のピクセル値の減算により差画像が得られる。次いでブロック３２１で差画像がコード化される。ブロック３２１のコーディング方式は、図４を参照して以下により詳細に記載される。
図４では、差画像のコーディング方式が図示される。差画像、すなわち元の画像から減算された再構成RBC画像は、ブロック４０１の方式に入る。差画像は、次いで加算ブロック４０３に送られる。加算ブロックでは、値１２８が差画像の各ピクセル値に加算される。
次いでブロック４０５で、ブロック４０３により得られた画像のピクセル値が元の画像の範囲内、この場合は［０、２５５］の範囲に設定される。これは、０以下の全てのピクセル値を値０に、２５５以上の全てのピクセル値を値２５５に選定することにより得られる。このようにして、範囲［０、２５５］内のピクセル値を有する画像が得られる。
次いで、画像は、ブロック４０７で適当な圧縮率で８ビット連続トーン圧縮器により圧縮される。圧縮は、段階的モードでも実行されうるし、またデータ損失のない圧縮アルゴリズムでもよい。後者の場合、無損失段階的画像伝送が達成可能で、これは通信医療のような応用例に有用である。
図５と図６は、RBC画像と図４を参照して記載した方式に従って圧縮された差画像を各々受信し解凍する時に、伝送装置の受信端で実行される異なる段階を図示する。このように、図５では受信画像は、適当なRBCアルゴリズム、すなわち使用した圧縮アルゴリズムに対応するアルゴリズムに従ってデコードされる。圧縮画像は、ブロック５０１で受信され、ブロック５０３で通常の現状の方法で再構成される。
反対に、受信した圧縮画像が図４を参照して記述したようなJPEG圧縮差画像である場合、画像は、図６に図示する方式に従って解凍される。最初に、JPEG圧縮差画像がブロック６０１で受信される。次いで差画像がブロック６０３で従来のJPEG解凍アルゴリズムを使用して解凍される。
解凍画像の各ピクセル値から、値１２８が次いで減算される。これはブロック６０５で実行される。以後、ブロック６０７で、ブロック６０５で得られた画像が、図５に関連して記述した方式に従って解凍された既に受信されたRBC再構成画像に加算される。
このように、ピクセル当たり８ビットを有するグレースケール画像が、少なくとも２段階を含み、JPEGアルゴリズムのみを使用した1段階で画像を送信した場合と近似的に同じビット数を用いてPIT方法で送信される。送信の最終再構成画像は、JPEG又は段階的JPEGアルゴリズムを用いて画像を送信した場合と同様の品質を有する画像を受信器側に与える。
上述した方式を用いて８とは異なるピクセル当たりビット数を有する画像を送信する場合、何らかの変更を加えなければならない。
上述したものと同様に方法が適用される。しかしながら、JPEG圧縮アルゴリズムを後者の段階で使用する場合には、JPEGがそのような型式の画像、例えば、ピクセル当たり１２又は１６ビットを有する画像を処理できることをまず確認しなければならない。次に加算及び減算値の各々が１２８ではなく、２^m-1、ここでｍはグレイスケール画像に使用したピクセル数となるよう、圧縮及び解凍アルゴリズムを調節しなければならない。
また、元の画像のピクセル当たりビット数が８とは異なる場合、差画像が元の画像の範囲内となるよう、すなわち、ピクセル値を範囲［０、２^m-1］に設定するよう、差画像を設定する又はクリップする範囲も変更せねばならない。
以上には、グレイ画像に使用する方式を記載した。しかしながら、この方式は以下で説明するように、色画像にも同様に機能する。
色画像は、色帯域当たりＮビット、ここでＮは正の整数を有するものとして定義される。標準的な色画像は、各々が８ビットを有する３色帯域、すなわち、ピクセル当たり２４ビットにより表現される。
上述した圧縮方式を色画像に適用する時、各色帯域に別々に上述したものと同じ方式を用いることが可能である。しかしながら、色画像を表わす３色帯域がYUV色空間以外のもの、例えばRGB（赤、緑、青）色空間である場合、Ｙが輝度成分でＵとＶが色相成分であるYUV色空間への変換を実行するのが有利である、何故ならYUV色画像のエネルギの大部分は、Ｙ成分、又は他の適当な色空間に集中しているからである。別案として、図７と図８を参照して以下に説明するように、別の圧縮方式を実行することも可能である。
図７と図８では、圧縮画像の伝送装置の送信部分と同装置の受信部分が各々図示されている。従って、図７で、ブロック７０１は、RGB色成分により表現される色画像の入力を表わす。RGB色画像が次いでブロック７０３でYUV色画像似変換される。
ブロック７０５で、画像のＵ、Ｖ成分がアンダーサンプルされる（適当な低域フィルタの後）、すなわち画像の寸法が縮小される。例えば、５１２ｘ５１２ピクセル画像が各方向に２個毎のアンダーサンプリングにより２５６ｘ２５６ピクセル画像に減少され、従ってＹ成分のみが送信の初期段階で送信される。次いでブロック７０７で上述したRBC-JPEGアルゴリズムをＹ成分に実行する。
ブロック７０５で実行されるＵ、Ｖ色成分のアンダーサンプリングは、オプションである。また、色画像に実行される区分は、Ｙ成分画像にのみ実行してもよく、又は適当な技術を使用して全３成分を含む全体の色画像にも実行可能である。
送信の任意の段階で受信器が他の色成分の送信を必要と判断した場合、この要求は送信器に送信され、この送信器は、ブロック７０９でそのような要求が到達しているかどうか常に検査している。ブロック７０９の判断がノーの場合、ブロック７１１でPITはＹ成分のみに続行する。判断がイエスの場合、ブロック７１３で方式はJPEGアルゴリズム又は任意の連続トーン圧縮器を用いてＵ及びＶ成分を送信するよう切換わる。別の方式は、受信器からこれを要求されることなく、各段階で全ての成分の情報を送信し、従って各段階で受信器は、色画像も再構成できる。
別の方式は、Ｕ及びＶ成分にもRBCを使用する。従って、ブロック７０９での判断がイエスの場合、方式はブロック７１５に続行し、ここでＹ成分画像のラベル画像をアンダーサンプリングすることによりＵとＶ成分の区分画像が得られる。次いでブロック７１７でPIT方式がＵとＶ成分に適用される。
また、色画像の３成分の伝送の最初の段階は、色画像の各領域でピクセルの平均又はメディアン色により各領域のピクセル値を置き換えた区分画像の伝送から構成される。
図８では、色画像伝送装置の受信部分が図示されている。圧縮YUV色画像は、ブロック８０１で受信される。画像の成分は、次いでブロック８０３で使用した圧縮アルゴリズム、すなわち、RBCアルゴリズム又はJPEGアルゴリズムに対応するアルゴリズムにより解凍される。以後、ブロック８０５でYUV色画像は、RGB色画像に変換され、再構成された色画像は、ブロック８０７で利用可能となる。
最後に、図９は、上述した伝送方式の基本概念を図示する概略線図である。従って、ブロック９０１で、元の画像が伝送装置に送り込まれる。次いで画像は、ブロック９０３に送られ、ここで切替え装置は、PITの段階でどのアルゴリズムを使用するかを決定する。ブロック９０３で行われた決定を基に、画像は、ブロック９０５でRBC圧縮器により又はブロック９０７で連続トーン圧縮器のどちらかにより圧縮される。次いで圧縮画像は、どの圧縮アルゴリズムを使用したかを識別し、受信画像を適当な解凍器に送るブロック９１１を含む受信器に、チャネル９０９上のPIT方式に従って送信される。
上述した方式では、送信器は、常にRBCアルゴリズムによる圧縮から開始し、次いで、ある場合には連続トーン圧縮に切換わる。このような場合、受信器での切替えは、圧縮アルゴリズムを切替える時に送信器から受信器にコード語を送信することにより実装可能であり、受信器は、ブロック９１１中に前記コード語を検出する装置を有し、この受信時に切替えを実行する。
次いでブロック９１３のRBC解凍器又はブロック９１５の連続トーン解凍器のどちらかの適当な解凍器により解凍が実行される。次いで、送信器に圧縮アルゴリズムを切替えるよう司令し、又は画像の送信を終了させ、又はより良好に再構成すべき画像のある部分を指摘できるように送信器の切替え装置９０３に帰還線路９１７を設けている、ブロック９１９で画像が再構成されユーザーに与えられる。
ある領域でテクスチャーの再構成に多項式を使用する欠点の１つは、多項式が画像を非常にゆっくりと再構築すること、すなわち、画像品質に明らかな改良を得るためには相当数の基底関数が必要である点である。これは、RBCでは大きな領域が望ましいことと（輪郭コーディングに割当てられたビット数を制限するため）、大きな領域でのテクスチャーの正確な再構成は、相対的に多くの基底関数を必要とするからである。この欠点を除去するため、送信の最初の段階でRBCの代わりにハイブリッドRBC-DCTを用いた第２の方式が適用される。
上述した圧縮方式では、送信の最初の段階でより良好な視覚品質を得るために、使用されるRBCアルゴリズムは、ハイブリッドRBC-DCT（離散余弦変換）に変更される。このハイブリッドRBC-DCTアルゴリズムは、区分画像を矩形ブロックに分割することにより実行される。前記ブロックの寸法は、本例では２５６ｘ２５６ピクセル画像に対して１６ｘ１６ピクセルであることが望ましい。しかしながら、これより大きい又は小さいブロックも使用可能である。
次いで区分画像の領域内に完全に含まれるブロックは、DCT基底関数又はハイブリッドRBC-DFT方式を与えるDFT基底関数のような他の所定の基底関数を使用してコード化され、一方、矩形が整合しない領域の残りの部分や他の領域は、図３（ブロック３０７）の説明と関連して上述したような弱く分離可能な（WS）基底関数又は任意形状の領域をコーディングするのに適した他の方法を使用してコード化される。
ブロックへの分割は、送信器からの情報無しに受信器で実行可能なため、これらの矩形ブロックの輪郭は、送信する必要はない。矩形が整合しない領域の残りの部分は、ある領域の一部として見なせるかどうか、又は別々の副領域に分割すべきかどうかを検査することに注意を要する。次いで副領域の各々は、上述した方法によりコード化される。
基底関数の組は、副領域の特性に適合可能である（必ずしも必要ではない）。例えば、滑らかな副領域では多項式が使用可能である。テクスチャーのある副領域では、余弦基底関数が使用可能である。領域が相対的に大きい、例えば、人体の場合に注意を要する。物体の残りの部分、すなわち、矩形を整合させることが不可能なこの場合の人体は、異なる部分（副領域）、すなわち、頭部の一部、手の一部、脚の一部等々から構成される。この場合、これらの副領域が識別可能である。
このような識別を実行する簡単な方法は、グレー値又は色の変化を検査することである。次いでRBCコーディング、例えば多項式表現がこれらの副領域に適用される。受信器がこの分割を識別不能の場合には、副領域への分割を受信器に送信しなければならないことに注意を要する。
このブロックへの分割では、これらのブロックの基底関数を計算する必要はない。代わりに、予め計算されたDCT基底関数が前記の矩形領域に使用可能で、又はDFT又は他の変換が使用される。これは使用されるRBCアルゴリズムの計算複雑度を著しく減少する。また、RBCのみを使用したアルゴリズムと比較してメモリ要求もハイブリッドRBC-DCTアルゴリズムにより減少する。
区分画像を矩形ブロックに分割するさらに他の方法は、画像を相対的に大きな寸法を有する矩形ブロック、例えば６４ｘ６４ピクセルに分割することから開始し、内側領域に完全に含まれるもののみを保持する。次いで、より小さな寸法、例えば３２ｘ３２ピクセルを有する矩形ブロックに区分画像を分割し、第１段階の矩形への分割時に整合したより大きな矩形ブロックの外側、すなわち、この場合には６４ｘ６４ブロックの外側にある、領域に完全に含まれる部分のみを保持することにより方式を続行する。
この処理は、これ以上、矩形ブロックを追加できなくなるまで、または所定の小寸法矩形、例えば４ｘ４又は８ｘ８に到達するまで繰り返される。区分画像を矩形部分に分割する他の方法、例えば４進木（quadtree）を基にした分割又は可変ブロック寸法分割も使用可能である。例えば、４進木分割を使用した場合には、領域に完全に含まれる４進木分割から発生するブロックは、DCTによりコード化される。分割は、正方形で実行されるが、１６x８、３２ｘ８等のような他の寸法又は三角形でさえも使用可能であることに注意を要する。
例えば、領域が４０行と３０列から構成されている場合、３２ｘ１６の寸法を有する矩形領域がこの領域の内側に整合可能である。最終的には、可変寸法のブロックが整合しない領域の残りの部分又は領域は、基底関数の組、例えば直交基底関数によりコード化される。領域の残りの部分が異なる副領域から構成されているかどうかの検査と、そのコーディングは、別々に実行されることに注意を要する。矩形が整合しない領域（又は副領域）の部分が小さい場合、これは少数の基底関数により、又は平均値によっても表現可能である。
1995年2月のビデオ技術に関する回路と装置のIEEE会誌第5巻第1号、59-62頁のシコラ・ティーとマカイ・ビーの「ビデオの汎用コーディングに対する形状適合DCT」により提案されたような、所定の形状を有する領域への区分画像の分割も適用可能である。コード化すべき情報を減少させるため、DCTによりコード化される前に、領域の平均値を区分画像の各追加領域（矩形又は矩形以外）から減算する。
このように、DCTを使用するブロックでは、PITのJPEGアルゴリズム、すなわち、連続近似又はスペクトル選択が可能である。次いで、方式がJPEGの使用に切替わると、ブロック内に完全に含まれるブロックに対しては、前記ブロックに差画像を使用することなく、本方式は連続近似又はスペクトル選択の使用を続行し、一方、JPEG方式、すなわちDCTを基にしたコーディングは、画像のブロックの残りに適用される（差画像で）。
差画像全体をJPEGでコード化することは避けることが出来ることに注意を要する。これは以下のように実行可能である。JPEGへの切り替えを実行するよりかなり前に、すなわち前記ブロックの品質が満足できるものであるとき、ブロックを再構成した場合、JPEGを特定のブロックに適用する必要はない。それゆえ、SNR、MSE等々のような定量的尺度を（エンコーダで）各再構成ブロックの結果を検査するために使用可能である。このような場合、差ブロックのコーディングを避けて、十分に再構成されていないブロックをコーディングするため割り当て可能なビットを節約し、又は領域又は矩形が整合しない領域の部分をコーディングする。
RBCとハイブリッドRBC-DCT方式は組み合わせ可能なことにも注意を要する。例えば、伝送の最初の段階ではRBCが使用可能である。次いで、矩形ブロックを追加し、元のブロックと再構成ブロック（領域の一部）との間の差をDCT方式によりコーディングすることにより組み合わせRBC-DCT方式が使用可能である。次いで、方式はRBC-DCTの使用を続行するか、又はJPEGのような連続トーン圧縮方式に切替わる。多数の異なる方式の組み合わせが使用可能である。
このように、RBCとJPEGの利点を組み合わせたPIT方式を説明してきた。提案した方式は、最初からJPEGのみを使用した場合と近似的に同じビット数を使用し（送信の最終段階では同様の品質を送信の最初の段階では、より良い品質を達成するため）、同時に送信の初期段階で不要画像のそれ以上の伝送を中断させる可能性をユーザーに与える迅速に解釈可能な画像を受信側に提供し、これにより使用中の送信チャネルを開放し、他の目的のために使用可能とする。
本明細書に記載した方式は、静止及び動画像のコーディングにも適用可能である。静止画像コーディングでは、JPEG又は完全RBC方式の代わりにハイブリッドRBC-DCT方式が使用可能である。動画像圧縮では、Ｉ−フレームとＰ−及びＢ−フレームをコーディングするためハイブリッドRBC-DCT方式が使用可能である。動画像コーディング応用では、本明細書で記載したようなRBC-DCT方式が差画像、すなわち、元のものから予測フレームを減算することにより得られるものをコーディングするために適用可能である。

Claims (20)

1. 段階的画像伝送（ＰＩＴ）を使用して、画像を表示するデータを送信器から受信器に伝送する方法であって、
   複数の領域に画像をセグメント化する段階と、
   領域の輪郭を伝送する段階と、
   領域のそれぞれの内容を記述する係数を計算する段階と、
   係数を伝送する段階と、
   直前の計算より正確に領域の内容を記述する係数を計算する度に前の２つの段階を繰り返す段階と、
   前記前の２つの段階の繰返しを停止する段階と、
   最初の３つの段階を使用する代わりに連続トーン圧縮アルゴリズムを使用して画像を圧縮する段階と、
   圧縮の結果を伝送する段階と、
   が連続して、送信器において実行される前記方法において、
   前記前の２つの段階を繰り返す度に、前記係数が画像を前記直前の計算より正確に記述または表示するようにＰＩＴ圧縮画像の圧縮率を小さくし、
   輪郭データおよび係数による画質が同一基準により測定された連続トーン圧縮アルゴリズムを使用する圧縮による画質に等しくなった時、第１の繰り返しが停止し、第２の繰り返しが開始し、元画像と再構築された画像の差画像の連続トーン圧縮アルゴリズムを使用する圧縮が実行されることを特徴とする前記方法。
2. 請求項１記載の方法であって、第２の繰返しは、連続トーン圧縮アルゴリズムを使用する画像が初めて圧縮される段階において開始され、送信器は、
   この段階で元画像と再構築された画像のピクセル値の差をとることにより差画像である新画像を生成し、
   差画像の各ピクセル値に２^m-1（ｍは、元画像の各ピクセルに使用されたビット数）を加え、
   すべてのピクセル値を範囲［０、２^m-1］に打ち切り、
   連続トーン圧縮アルゴリズムを使用する差画像の圧縮を繰り返すことを特徴とする前記方法。
3. 請求項１記載の方法であって、画像は、矩形領域又は他の所定の形状の領域に分割され、係数を計算する段階において、セグメント化された画像の領域内に完全に含まれる矩形領域又は他の所定の形状の領域の係数の内容を記述する所定の基底関数の係数が計算されることを特徴とする前記方法。
4. 請求項３記載の方法であって、画像が矩形領域に分割され、所定の基底関数は、離散余弦変換（ＤＣＴ）基底関数又は離散フーリエ変換（ＤＦＴ）基底関数であることを特徴とする前記方法。
5. 請求項１記載の方法であって、係数を計算する段階において、直交または正規直交基底関数の係数は、セグメント化画像の領域の内容を記述するために計算されることを特徴とする前記方法。
6. 請求項１記載の方法であって、送信される画像がカラー画像である場合に、最初にカラー画像がＹＵＶ画像に変換され、領域のそれぞれの内容を記述する係数の計算をする第１の段階において、Ｙ成分の係数のみが計算されることを特徴とする前記方法。
7. 請求項６記載の方法であって、他のカラー成分（ＵおよびＶ）は、これらが送信される前にアンダーサンプル化されることを特徴とする前記方法。
8. 請求項７記載の方法であって、領域のそれぞれの内容を記述する係数の計算をする第１の段階において、各領域の平均または中央の色を記述する係数が計算されることを特徴とする前記方法。
9. 請求項１記載の方法であって、使用される連続トーン圧縮アルゴリズムは、ＪＰＥＧコード方式であることを特徴とする前記方法。
10. 請求項１記載の方法であって、使用される連続トーン圧縮アルゴリズムは、ＤＣＴベース・コード方式であることを特徴とする前記方法。
11. 送信器および受信器を含み、段階的画像伝送（ＰＩＴ）を使用して、画像を表示するデータを送信器から受信器に伝送する伝送装置であって、
    送信器は、
    画像を圧縮する領域基底コード（ＲＢＣ）圧縮器と、
    デジタル化された画像を圧縮する連続トーン圧縮器と、
    ＲＢＣ圧縮器または連続トーン圧縮器からの画像データを受信器に伝送する手段と、
    ＰＩＴのある段階でＲＢＣ圧縮器を使用して画像を圧縮することから連続トーン圧縮器を使用して元画像と再構築された画像の差画像を圧縮することに切替える切替え手段であって、同一基準で測定された２つの圧縮器からの画質が等しくなった時、切替えを実行する切替え手段と、
    を含む伝送装置。
12. 請求項１１記載の装置であって、送信器は、
    元の画像とＲＢＣ圧縮器により生成された画像データから再構築された画像のピクセル値の差を取ることにより差画像である新画像を作成する手段と、
    値２^m-1（ｍは元の画像の各ピクセルに使用されるビット数である）を差画像の各ピクセル値に加算する手段と、
    全てのピクセル値を範囲［０、２^m-1］に切り詰める手段と、
    を含み、連続トーン圧縮器は、連続トーン圧縮アルゴリズムを用いて差画像を圧縮することを特徴とする前記装置。
13. 請求項１１記載の装置であって、受信器は、
    連続トーン圧縮アルゴリズムに対応する減圧アルゴリズムを使用して受信した差画像を再構成する手段と、
    各ピクセル値から値２^m-1を減算する手段と、
    ＲＢＣ再構成画像に画像を加算する手段と、
    を含む前記装置。
14. 請求項１１記載の装置であって、画像を所定の形状を有する領域に分割する手段と、所定の基底関数を使用して画像の領域の内側に完全に含まれる所定の形状を有する領域をコード化する手段とを含むことを特徴とする前記装置。
15. 請求項１１記載の装置であって、画像の領域の内側に完全に含まれる所定形状を有する領域をコード化する手段は、離散余弦変換（ＤＣＴ）又は離散フーリエ変換（ＤＦＴ）基底関数を使用することを特徴とする前記装置。
16. 請求項１２記載の装置であって、ＲＢＣ圧縮器は、直交または正規直交基底関数を使用することを特徴とする前記装置。
17. 請求項１１記載の装置であって、送信すべき画像がカラー画像である場合に、送信器は、カラー画像をＹＵＶ画像に変換する手段を含み、ＲＢＣ圧縮器は、初期の段階でＹ成分のみを圧縮することを特徴とする前記装置。
18. 請求項１６記載の装置であって、送信器は、他の色成分（ＵとＶ）をアンダーサンプリングする手段を含むことを特徴とする前記装置。
19. 請求項１８記載の装置であって、送信器は、最初の段階でセグメント化された画像の輪郭および各領域の平均又は中間の色のみを送信する手段を含むことを特徴とする前記装置。
20. 請求項１１記載の装置であって、連続トーン圧縮器は、ＪＰＥＧ圧縮器であることを特徴とする前記装置。

Images