JPH11500293A - 領域ベーステクスチュアコード化及びデコード方法、及び対応するシステム - Google Patents

Abstract

(57)【要約】 本発明は画像シーケンスのコード化方法に関し、この方法においては、画像が分割され、それらの輪郭及びテクスチュアに関してコード化される。テクスチュアコード化ステップは、５点型二次元ウェーブレット変換と呼ばれ、領域ベースコード化方法に適合し、画像のウェーブレット分解に基づく新しい技術によって遂行される。これは、極めて低いビットレートでも良い画質を維持するために用いられる。

Description

【発明の詳細な説明】 領域ベーステクスチュアコード化及びデコード方法、 及び対応するシステム 本発明は、画像シーケンスの画像をコード化する方法であって、各画像につい て以下のステップ、即ち (A) 前記画像を均一な領域に分割すること、 (B) 前記領域の輪郭をコード化すること、 (C) 前記領域のテクスチュアをコード化すること を含む方法に関する。 本発明は、更に、対応するデコード方法、及び、前記コード化方法及びデコー ド方法を実施するためのシステムに関する。 この発明は、極めて低いビットレートのビデオコード化の分野で用途を見出し ており、特に、ディジタルのオーディオービジュアルデータの通信、アクセス及 び処理のための新しい方法をサポートするコード化標準ＭＰＥＧ４を実現するた めに魅力的である。 領域ベーステクスチュアコード化を扱うために用いることができる技術は比較 的少ない。直交ベースに対する多項式近似によって領域中のグレイレベル又はカ ラー機能を近似することができるが、しかし、低い周波数が回復されるだけであ る。高い周波数を得るためには、ブロックベースの方法に専用の技術を領域の場 合に適用して良い結果が得られているが、しかし、極めて低いビットレートの場 合に、困難なブロック効果が現れる。 ほぼ１５年来、特に音声又は画像に対応する信号について、信号の分析及び合 成に関する新しい数学的ツールが提案されてきている。「ウェーブレット変換」 と呼ばれており、例えば雑誌「Pour la Science」の1987年９月号第28−37頁のY .Meyer、S.Jaffard 及びO.Rioul による「L'analyse par ondelettes」に記載さ れているこのツールによれば、任意の信号をウェーブレットの重ね合わせとして 表現することができる。ウェーブレットは、拡張と変換によって１つの関数か ら発生される複数の関数であり、関連する信号を異なる複数のレベル（それぞれ のレベルは更にこのレベルに適合する分解能によって分解される）に分解するこ とができる。 この重要な数学的ツールは幾つかの技術分野において、特に画像圧縮の分野に おいて用途が見出されている。IEEE Transactions on Image Processing,第１巻 第２号、1992年４月、第205-220 頁への通信文「Image coding using wavelet t ransform」はそのような用途を記載している。しかしながら、上記のように、画 像はアイソトロピックな方法では処理されない。 本発明の第１の目的は、従って、画像のウェーブレット分解に基づきながら従 来法に比べて更に効率のよい、新しい領域ベーステクスチュアコード化方法を提 供することにある。 このため、本発明は、冒頭に述べたようなコード化方法において、前記テクス チュアコード化のステップが分割された画像の分解を含み、この分解は、繰り返 しの数に対応する同一数の複数の連続する分解レベルの各々について、以下の操 作、即ち (a) 前段の低域通過帯域分割マスクから、２つのダウンサンプリング低域通過 及び高域通過分割マスクを構成すること、この場合、第１繰り返しの低域通過帯 域分割マスクがそれ自身オリジナルの分割画像であり、 (b) 低域通過帯域画像をその領域の境界に沿って拡張すること、 (c) これらのマスク及び拡張された信号から、領域のフィルタリング及びダウ ンサンプリングを行うこと を含む方法に関する。 このような方法は、変換はアイソトロピックである。特別な方向はなく、隣接 ピクセル間の空間的相関性を更に考慮するので、既知の技術に比較して更に鮮明 な分析を行うことができる利点を具えている。 本発明の他の目的は、この方法を実施するためのコード化システムを提供する ことにある。 このため、本発明は、画像シーケンスの画像をコード化するシステムであって 、 −各連続する画像の中で均一な領域を決定するための分割手段、 −各連続する画像の領域の輪郭及びテクスチュアをそれぞれコード化するため の輪郭及びテクスチュアコード化手段 を具えるシステムにおいて、 前記テクスチュアコード化手段が、複数の連続レベルに基づいて行われる各分 割された画像の分解のために、以下の操作、即ち (a) 前段の低域通過帯域分割マスクから、２つのダウンサンプリング低域通過 及び高域通過分割マスクを構成すること、この場合、第１繰り返しの低域通過帯 域分割マスクがそれ自身オリジナルの分割画像であり、 (b) 低域通過帯域画像をその領域の境界に沿って拡張すること、 (c) これらのマスク及び拡張された信号から、領域のフィルタリング及びダウ ンサンプリングを行うこと を繰り返して遂行するプロセッサを具え、各繰り返しが各分解レベルに対応する システムに関する。 本発明の他の目的は、前記のコード化方法によってコード化された信号をデコ ードするのに適した方法、及び、これに対応するデコードシステムを提供するこ とにある。 このため、本発明は、前述のような方法によりコード化されている画像に対応 する信号をデコードする方法であって、以下のステップ、即ち (A) 領域の輪郭に対応するコード化信号をデコードすること、 (B) 領域のテクスチュアに対応するコード化信号をデコードすること、 (C) オリジナルシーケンスの画像に対応する画像を再生すること を含む方法において、 領域のテクスチュアに対応するコード化信号をデコードする前記ステップが、 繰り返しの数に対応する同一数の複数の連続する再生レベルの各々について、以 下の操作、即ち (a) ダウンサンプリングされた分割マスクを構成すること、 (b) それらの境界に沿って領域を拡張すること、 (c) アップサンプリング及びフィルタリングを行うこと を含む方法、及び、 対応するシステムであって、 −領域の輪郭に対応するコード化信号をデコードするためのデコード手段、 −領域のテクスチュアに対応するコード化信号をデコードするためのデコード 手段、 −オリジナルの画像に対応する画像を回復するための再生手段 を具えるシステムにおいて、 前記再生手段が、前記回復のために、以下の操作、即ち、分割マスクを構成す ること、それらの境界に沿って領域を拡張すること、アップサンプリングを行う こと、及びフィルタリングを行うことを繰り返して遂行するプロセッサを具える システム の両者に関する。 本発明のこれら及び他の観点は、以下に説明する実施例から明快になり且つ解 明されるであろう。 図面においては、 図１及び２は、それぞれ、一次元入力信号がウェーブレット変換によって処理 される場合において、分析処理及び合成処理の原理を示す図、 図３は、異なる分解能及び配向のサブ画像を与える二進二次元変換による画像 分解の方法を説明する図、 図４は、五点型二次元ウェーブレット変換と呼ばれる場合において、異なる分 解レベルにおけるサンプリンググリッドを示す図、 図５及び６は、（分析側における）画像分解及び（合成側における）画像再生 のために遂行される操作を説明する図、 図７は、領域ベース五点型ウェーブレット変換の場合における、分割マスクの 分解を説明する図、 図８は、画像境界に沿って再生エラーを最小にしながら領域の境界を拡張する 場合を説明する図、 図９は、五点型グリッド又は直交型グリッド上のピクセルの接続性を説明する 図、 図１０は、直交型グリッドの場合における追加のレイヤの計算の例を説明する 図である。 基本的に、ウェーブレット技術は、画像の空間／周波数分解に基づく。ウェー ブレット変換によれば、入力信号を、それぞれが所与の分解能で且つ特定の周波 数範囲にある入力信号を表す、サブ帯域の一つの組によって記述することができ る。図１及び２は、それぞれ、通常の一次元入力信号MSがウェーブレット変換に よって処理される場合において、送信前の分析処理及び送信後の合成処理を表す ウェーブレット分析及び合成のためのフィルタバンクを示す。 送信（又は格納）側で遂行される分析ステップにおいては、分解能２^-mにおけ る信号MSの近似AP(m,MS)及び対応する残留ディテールRD(m,MS)は、それぞれ、低 域通過フィルタ11及び高域通過フィルタ12を用いて（分解能２^-(m-1)における） 信号の前段の近似AP(m-1,MS)をフィルタリングし、それぞれに対応するサブサン プリング回路13及び14により、２分の１サンプルを保持することによって得られ る。次の近似AP(m+1,MS)及び対応する信号RD(m+1,MS)を得るために、低域通過フ ィルタ15、高域通過フィルタ16及び対応するサブサンプリング回路17及び18によ り、AP(m,MS)に対して同一のサンプリング処理が適用される。以下同様である。 次いで、得られた信号全てが送信チャネル100 への送信のために送出される。 受信側で遂行される合成ステップの間、（アップサンプリング回路21及び22に おける）係数２による信号AP(m+1,MS)及びRD(m+1,MS)の内挿、低域及び高域通過 フィルタ23及び24によるこれらの信号のそれぞれのフィルタリング、及び最後の 加算器25における結果の信号の加算によって、分解能２^-mにおける近似AP(m,MS) を再生することができる。同様に、アップサンプリング回路26及び27、低域通過 フィルタ28、高域通過フィルタ29、及び加算器30によってAP(m-1,MS)が得られる 。以下同様である。 入力信号として画像を扱う場合、上記の画像のための一次元ウェーブレット変 換を拡張する提案が行われている。このような方法は、二進二次元ウェーブレッ ト変換と呼ばれ、画像の行及び列に適用される分離可能の一次元フィルタを用い る。前記の二進変換による画像分解を説明する図３に示すように、画像Ｉ₁（例 えば正方形画像）の第１の低域通過フィルタリングステップ（FLPF）及び第１高 域通過フィルタリングステップ（FHPF）、及び引き続く前記画像の行に対するサ ブサンプリングが、半分のラインの２つの直交画像Ｉ_2L及びＩ_2Hを与える。これ らの画像Ｉ_2L及びＩ_2Hの第２の低域通過フィルタリング（SLPF(L)及びSLPF(H)） 、及び引き続くラインのサブサンプリングが、半分のライン及び半分の行を持つ ４つの正方形画像Ｉ_3LL、Ｉ_3LH、Ｉ_3HL及びＩ_3HHを与え、それらはそれぞれ、低 域通過画像、垂直ディテールを持つ画像、水平ディテールを持つ画像、及び対角 線ディテールを持つ画像である。 この方法はフィルタが水平及び垂直方向に選択的であるため画像をアイソトロ ピックに処理することができないことに鑑み、二次元の分離できない低域及び高 域通過フィルタを用いることが提案されている。この方法は五点型二次元ウェー ブレット変換と呼ばれ、√２（二進法においては２）のスケールファクタを用い ており、分解能レベルの数が倍になるので分析の精度を改善することができる。 異なる分解レベルにおけるサンプリンググリッドを見ることができる図４に示す ように、サブバンド画像が五点型サンプリンググリッド上に定義される。低域通 過フィルタＬ及び高域通過フィルタＨが画像とコンボルブされ、その中心を十字 （又は円）で表されたピクセル上をシフトする。（例えばレベルｊに対応する、 即ち、ここで二次元信号即ちBSと呼ばれる信号の近似AP(j,BS)に対応する）直交 型グリッドから五点型グリッドへ、低域通過フィルタＬ及び高域通過フィルタＨ がシフトしたサンプリンググリッドに対して適用され、五点型グリッドから直交 型グリッドへ、直交型サンプリング格子に対して（πの回転の後）同一のフィル タが続いて適用される。計算時間を節約するため、フィルタリング及びサブサン プリングは実際に同時に行われる。 本発明によれば、この改善された方法は領域ベースの方法に適用され、図５及 び６は、分析（即ち送信又は格納）側及び合成即ち受信側それぞれで続いて実行 される操作を図式に示している。 分析及び合成処理を説明する前に、領域ベースコード化方法は３つの主なステ ップを含むことを思い出すことが必要である。第１の分割ステップは、各オリジ ナル画像をテクスチュア及び／又はモーションに関して均一である隣接オブジェ クトの組に分割する。次に、例えばP.J.Nicholl 及びR.J.MillarによるVth Inte rnational Conference on Image Processing and its Application，1995年７月 ４−６日第564-568 頁への通信文「Spiral image compression by an unrestric ted chain coding method」に記載されている、チェーンコード法のような技術 を用いて領域の輪郭がコード化される。最後に、領域の色がコード化される（テ クスチュアコード化）。 従ってこのテクスチュアコード化ステップは、分解の各レベル（前記図面にお けるＬ_n）において分析側で遂行される３つの連続する操作（図５）による、分 割された画像の分解を含む。 ウェーブレット変換は多重分解能分析に基づくので、最初、分解能の各レベル において低域通過及び高域通過サブバンドに対応する２つの分割マスクが作られ る。このダウンサンプリング分割マスクの作成（即ちBDSM）のために、２つの低 域通過及び高域通過分割マスクが前段の低域通過及び高域通過分割マスクから作 成される（分解の最初の繰り返しでは、この低域通過及び高域通過分割マスクは それ自身オリジナルの分割マスクであり、低域通過帯域画像はコード化されるべ きオリジナルの画像である）。 領域は独立的に処理されるべきであり、従って、画像のフィルタリング及びダ ウンサンプリングは各領域について独立的に遂行される筈であり、それは、画像 境界に沿って再生エラーを最小にするために効率的な方法で各領域の境界が拡張 されるべきであることを含む。この第２の操作（領域の境界に沿って領域を拡張 する、即ちERAB）のため、低域通過帯域画像が、各領域の境界に沿って拡張され る。 第３の操作によれば、拡張された信号及びマスクから、新しい低域及び高域通 過サブバンドを得るために、領域がフィルタリング及びダウンサンプリング（FA DS）される。 合成側における全体の処理に関し（図６）、３つの連続する操作BDSM、ERAB、 USAFが各レベルにおいて同様に実行される。ただ、第３の操作（アップサンプリ ング及びフィルタリング、USAF）は異なっている。これは、最初のそれに対して 最も粗い分解能から行われたアップサンプリング及びフィルタリングに基づくと いう理由による。 低域通過及び高域通過分割マスクの作成の操作BDSMを実行する方法は以下のと おりである。各分解レベルにこれらのマスクを作成するためには、各分割マスク （オリジナル画像のオリジナル分割マスクを含む）即ち親マスクを、低域通過及 び高域通過サブバンドに対応する２つの分割マスク（即ち、子マスク）に分離す る必要がある。図７は、それぞれ −分解レベルｎ＝０における、オリジナル画像の分割マスク、 −分解レベルｎ＝1/2 における、低域通過及び高域通過帯域の分割マスク（五 点型グリッドOG）、 −分解レベルｎ＝１における、低域通過及び高域通過帯域の分割マスク（正方 形グリッドSG）（分解レベルｎ−1/2 から分解レベルｎまでに実行された変換は π／４に√２の拡張を加えた回転に相当する） を示す。 領域の境界に沿った領域の拡張の操作ERABの実行の方法は、以下のとおりであ る。分割マスクの分離が達成されると、各領域について、画像のフィルタリング 及びダウンサンプリングが独立的に実行される。領域の境界について再生エラー を最小にするため、境界の拡張は、領域Ｒ及びその領域の周囲に加えられるレイ ヤＮの拡張が示されている図８のように実行される（ここでＮはフィルタの半分 のサイズである）。各レイヤを作成するために同じ処理が繰り返される。各繰り 返しにおいては、エキストラレイヤのピクセルの量が、その領域に属するそれら の隣接ピクセルの平均値として計算される。図９に示すように、どのようなグリ ッド（五点型グリッドQG又は直交型グリッドRG）であっても接続性は隣接４個で ある。図１０は直交型グリッドの場合におけるエキストラレイヤの計算を示す。 左側図においては、文字は初期領域のピクセル値を表し、円はエキストラレイヤ のピクセルに対応している。一方、右側図においては、付加レイヤのピクセルの 値が既に計算されている。 本発明はこのコード化方法に限定されるものではなく、本発明の範囲を逸脱せ ずにこのコード化方法からの修正又は改善を導出することができる。例えば、こ のコード化方法は、例えば結線された電子モジュールにより、又は好ましくは、 コード化方法に関連して前述し且つ前記電子モジュール中で遂行される操作に対 応する一連の命令を確実に実行するプロセッサ又はマイクロプロセッサを含むコ ード化システムの形のような、種々の態様で実現できることは明らかである。 更に、本発明は同様に、上述のコード化方法を遂行することによってコード化 された一連の画像に対応する信号をデコードする方法に関する。このデコード方 法は、分割及びコード化ステップに対応して、それぞれ前記画像の領域の輪郭及 びテクスチュアに対応するコード化信号をデコードする２つのステップ、及び、 オリジナル画像に対応する画像の再構成のための再生ステップを含む。このデコ ード方法は、コード化方法と同様に幾つかの態様で実行することができ、特に、 上述のステップに対応する命令を実行するプロセッサ又はマイクロプロセッサを 含むデコードシステムによって実現することができる。

【手続補正書】 【提出日】１９９７年８月１９日 【補正内容】 【図８】 【図９】 【図１０】

Claims (1)

1. 【特許請求の範囲】 １．画像シーケンスの画像をコード化する方法であって、各画像について以下の ステップ、即ち (A) 前記画像を均一な領域に分割すること、 (B) 前記領域の輪郭をコード化すること、 (C) 前記領域のテクスチュアをコード化すること を含む方法において、 前記テクスチュアコード化のステップが分割された画像の分解を含み、この 分解は、繰り返しの数に対応する同一数の複数の連続する分解レベルの各々につ いて、以下の操作、即ち (a) 前段の低域通過帯域分割マスクから、２つのダウンサンプリング低域通過 及び高域通過分割マスクを構成すること、この場合、第１繰り返しの低域通過帯 域分割マスクがそれ自身オリジナルの分割画像であり、 (b) 低域通過帯域画像をその領域の境界に沿って拡張すること、 (c) これらのマスク及び拡張された信号から、領域のフィルタリング及びダウ ンサンプリングを行うこと を含む方法。 ２．画像シーケンスの画像をコード化するシステムであって、 −各連続する画像の中で均一な領域を決定するための分割手段、 −各連続する画像の領域の輪郭及びテクスチュアをそれぞれコード化するため の輪郭及びテクスチュアコード化手段 を具えるシステムにおいて、 前記テクスチュアコード化手段が、複数の連続レベルに基づいて行われる各 分割された画像の分解のために、以下の操作、即ち (a) 前段の低域通過帯域分割マスクから、２つのダウンサンプリング低域通過 及び高域通過分割マスクを構成すること、この場合、第１繰り返しの低域通過帯 域分割マスクがそれ自身オリジナルの分割画像であり、 (b) 低域通過帯域画像をその領域の境界に沿って拡張すること、 (c) これらのマスク及び拡張された信号から、領域のフィルタリング及びダウ ンサンプリングを行うこと を繰り返して遂行するプロセッサを具え、各繰り返しが各分解レベルに対応す るシステム。 ３．請求項１に記載の方法によってコード化されたシーケンスの画像に対応する コード化信号をデコードする方法であって、以下のステップ、即ち (A) 領域の輪郭に対応するコード化信号をデコードすること、 (B) 領域のテクスチュアに対応するコード化信号をデコードすること、 (C) オリジナルシーケンスの画像に対応する画像を再生すること を含む方法において、 領域のテクスチュアに対応するコード化信号をデコードする前記ステップが 、繰り返しの数に対応する同一数の複数の連続する再生レベルの各々について、 以下の操作、即ち (a) ダウンサンプリングされた分割マスクを構成すること、 (b) それらの境界に沿って領域を拡張すること、 (c) アップサンプリング及びフィルタリングを行うこと を含む方法。 ４．請求項２に記載のコード化システムによってコード化されたシーケンスの画 像に対応するコード化信号をデコードするためのシステムであって、 −領域の輪郭に対応するコード化信号をデコードするためのデコード手段、 −領域のテクスチュアに対応するコード化信号をデコードするためのデコード 手段、 −オリジナルの画像に対応する画像を回復するための再生手段 を具えるシステムにおいて、 前記再生手段が、前記回復のために、以下の操作、即ち、分割マスクを構成 すること、それらの境界に沿って領域を拡張すること、アップサンプリングを行 うこと、及びフィルタリングを行うことを繰り返して遂行するプロセッサを具え るシステム。