WO2004030343A1 - 画像符号化装置、画像符号化方法、および画像処理装置 - Google Patents

画像符号化装置、画像符号化方法、および画像処理装置 Download PDF

Info

Publication number
WO2004030343A1
WO2004030343A1 PCT/JP2003/008901 JP0308901W WO2004030343A1 WO 2004030343 A1 WO2004030343 A1 WO 2004030343A1 JP 0308901 W JP0308901 W JP 0308901W WO 2004030343 A1 WO2004030343 A1 WO 2004030343A1
Authority
WO
WIPO (PCT)
Prior art keywords
tile
tiles
image
distortion
image encoding
Prior art date
Application number
PCT/JP2003/008901
Other languages
English (en)
French (fr)
Inventor
Toshiyuki Takahashi
Masayuki Yoshida
Original Assignee
Mitsubishi Denki Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Denki Kabushiki Kaisha filed Critical Mitsubishi Denki Kabushiki Kaisha
Priority to US10/489,180 priority Critical patent/US7333661B2/en
Priority to KR20047007959A priority patent/KR100611705B1/ko
Priority to EP03741377A priority patent/EP1545121A4/en
Publication of WO2004030343A1 publication Critical patent/WO2004030343A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/645—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission by grouping of coefficients into blocks after the transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output

Abstract

　入力画像をタイル分割して符号化する場合でも、各タイルの性質に応じ細かな画質調整を可能にする。入力画像信号はタイル分割部１０２やウェーブレット変換部１０３、エントロピー符号化部１０６等を介し符号化データになって符号メモリ１０７に格納される。これと並行して歪計算部１０８では各符号ブロックの各符号化パス単位に歪を計算し歪メモリ１０９に格納する一方、複雑タイル判定部１１１は当該タイルが複雑タイルであるか否かを判定し、その判定出力をタイル種別メモリ１１２に格納する。歪メモリ１０９から出力された歪データは乗算器１１０へ出力され、乗算器１１０ではその歪データに重み係数選択部１１３で選択された重み係数を乗じる。こうして重み付けされた符号化パス毎の歪がレート制御部１１４出力され、レート制御部１１４では符号化データでの符号量制御を行う。

Description

明 細 書 画像符号化装置、 画像符号化方法、 および画像処理装置 技術分野
本発明は、 入力画像を所定サイズのタイルに分割し、 個々のタイルに 含まれる画像信号を周波数成分へ変換し、得られた変換係数を量子化し、 その量子化係数をエントロピー符号化する共に、その量子化歪を演算し、 この量子化歪を用いて上記エントロピ一符号化された符号化データの符 号量を制御する画像符号化装置、 画像符号化方法、 および画像処理装置 に関するものである。 背景技術
現在ィンターネットを中心に静止画像符号化アルゴリズム J P E Gが 広く普及しているが、 一方で次世代の符号化方式としてさらなる性能改 善、 機能付加の要求を背景として、 1 9 9 7年より新たに J P E G 2 0 0 0プロジェクトが I S 0と I T Uの合同機関によりスタートした。 2 0 0 0年 1 2月には同 J P E G 2 0 0 0アルゴリズムの基本方式を定め るパート 1についてその主要な技術内容が確定した。
この J P E G 2 0 0 0の符号化アルゴリズムでは、 入力画像信号に対 し色座標変換を行い、 タイル分割を行ってウェーブレツト変換している ために、 符号化レートを低くしていくと、 そのタイル境界部に線状の歪 (画質劣化） を生じ、 滑らかさが損なわれた画像になってしまう。
そのため、 例えば、 従来の画像処理装置では、 このようなタイル境界 に発生する歪を抑制するため、 ウェーブレット変換処理においてタイル 境界部で不足するデータを拡張する際に J P E G 2 0 0 0で定義されて いる対象拡張方法以外に、 点対象拡張方法をも併用することでタイル境 界部に存在する線状の歪を抑制しているものがある。
しかしながら、 この従来の画像処理装置の場合、 2つの拡張方法を切 り替え制御しているため、 どちらの拡張方法を使っているかを符号化デ —夕の中に埋め込む必要がある。 これは、 符号化データ量の壻加という 問題につながるだけでなく、 J P E G 2 0 0 0の規格の範囲を超えてい るため、 互換性が保てないという問題がある。
また、 このようなタイル境界の歪は、 特に、 背景領域などォブジェク トがない領域やテクスチャが少ない領域で目立つ。 もともと背景領域に は、 ノイズに近いレベルの小さな揺らぎ信号がテクスチャ （揺らぎテク スチヤと称す） としてわずかに含まれているものの、 オブジェクトが存 在するような複雑な領域に比べると、 ウェーブレツト変換時のハイパス 成分が極端に少ない傾向にある。 この背景領域の八ィパス成分は、 最終 的な符号デ一夕を形成するレート制御機能によりそのほとんどが取り除 かれてしまうために、 より歪が目立ってしまうと考えられる。 従って、 この揺らぎテクスチャに該当するサブパンドを見つけ出し、 周波数重み 付け処理 （f requency We ight ing) によりそのサブバンドに高い重みを 設定して、 わずかに存在するテクスチャを再現することで、 ディザリン グの効果でタイル境界を抑制できると考えられる。 しかしながら、 この 方法は、 全てのタイルに対して同一の処理を施してしまうため、 本来高 い重みを設定しなくても良いタイルにまで高い重みを設定することにな る。 反対に、 今まで視覚的に重要だった領域が相対的に低い重みが設定 されてしまい、 その部分の画質が低下してしまうことが考えられる。 つ まり、 タイル境界に発生する歪を抑制するために、 全タイルに均一の周 波数重み付け処理を施すと、 タイル境界は抑制できるかもしれないが、 他の視覚的に重要な領域に画質劣化が発生してしまうという問題がある。 この点を実際に実験で確認してみたところ、 ウェーブレツト変換回数 を 「η」 とした時、 背景領域のテクスチャについては、 分解レベル 「η 一 1」 のサブバンドが画質的大きくに寄与していることがわかった。 こ こで分解レベル 「η」 は最高解像度のサブバンドを表すこととする。 こ の時、 周波数重み付け処理により、 分解レベル 「η— 1」 のサブバンド の強調処理を行ったところ、 このテクスチャが再現されることによりデ ィザリングに似た効果を発揮し、 タイル境界に発生していた歪が抑制で きるものの、 一方で、 特に解像度の高い斜めの方向性をもつエッジ部分 でギザギザ（ジャギー） が目立ってしまうという問題が生じた。 これは、 分解レベル 「η _ 1」 のサブバンドの情報を優先することにより、 高い 解像度を持つ分解レベル「η」の情報が削られていることに他ならない。 また、 J P E G 2 0 0 0には最終的な符号データ量を一定の範囲内に 収め、 かつその範囲内で平均二乗誤差を基準にした最高画質を提供する レー卜制御機能が用意されている。 しかしながら、 実際の再生画像を見 ると、 誤差が低いからといって、 必ずしも視覚的に良好な画像を再現で きない場合があるという問題がある。 例えば、 人の顔の画像を符号化し ようとすると、 肌のきめ細かなテクスチャが取り除かれ、 ツルツルとし た精細度を欠いた画像となってしまう。 これは、 ウェーブレット変換係 数の高域成分が低域成分に比べ画質に影響しにくいため、 レー卜制御機 能によりこの部分の情報が優先的に削除されてしまうためと考えられる。 このような問題に対しては、 先に説明した周波数重み付け処理が有効で ある。 例えば、 人の肌のテクスチャを再現するには、 そのテクスチャに 該当するウェーブレツト変換領域でのサブバンドを見つけ出し、 そのサ ブバンドの重みを高く設定することで、 そのテクスチャを良好に再現す ることができる。 しかしながら、 全てのタイルに対して同一の処理を施 してしまうため、 本来高い重みを設定しなくても良いタイルにまで高い 重みを設定することになる。 反対に、 今まで視覚的に重要だった領域が 相対的に低い重みが設定されてしまい、 その部分の画質が低下してしま うことが考えられる。 つまり、 人の肌のようなきめ細かなテクスチャの 再現性を向上させるために、 全タイルに統一した周波数重み付け処理を 施すと、 人の肌の部分では高品質化できるかもしれないが、 他の視覚的 に重要な領域に画質劣化が発生してしまうという問題がある。
この点を実際に実験で確認してみたところ、 ウェーブレツ卜変換回数 を 「n」 とした時、 人物の顔 （肌） のテクスチャについては、 分解レべ ル 「n— 1」 のサブパンドが画質的大きくに寄与していることがわかつ た。 そこで、 周波数重み付け処理により、 分解レベル 「n— 1」 のサブ バンドの強調処理を行ったところ、 肌の再現性は良好になったものの、 特に斜めの方向性をもつ髪の毛の部分でギザギザ （ジャギー） が目立つ てしまうという問題を生じた。 これは、 分解レベル 「n— 1」 のサブバ ンドの情報を優先することにより、 髪の毛などの高い解像度を持つ分解 レベル 「n」 の情報が削られていることに他ならない。
そこで、 この発明は上記のような問題点を解決するためになされたも ので、 入力画像をタイル分割して符号化する場合でも、 タイルに応じて 画像信号の符号化レートを弾力的に制御することにより、 各タイルの性 質に応じより細かな画質調整を可能にして、 画像全体として良好な再生 画像を得ることのできる画像符号化装置、 画像符号化方法、 および画像 '処理装置を提供することを目的とする。 発明の開示
上記目的を達成するため、 本発明では、 入力画像を所定サイズのタイ ルに分割し、 個々のタイルに含まれる画像信号を周波数成分へ変換し、 得られた変換係数を量子化し、 その量子化係数をエントロピー符号化す る共に、 その量子化歪を演算し、 この量子化歪を用いて上記エントロピ 一符号化された符号化データの符号量を制御する画像符号化装置であつ て、 上記変換係数を参照して各タイルをその性質に応じ複数のカテゴリ に分類するタイル分類部と、 該タイル分類部の出力に応じて上記量子化 歪に重みを付ける重み付け部と、 上記重み付け部により重み付けられた 量子化歪に基づいて、 上記ェント口ピー符号化された符号データの符号 量を制御するレート制御部と、 を有する画像符号化装置である。
また、 入力画像を所定サイズのタイルに分割し、 個々のタイルに含ま れる画像信号を周波数成分へ変換し、 得られた変換係数を量子化し、 そ の量子化係数をエントロピー符号化する共に、 その量子化歪を演算し、 この量子化歪を用いて上記エントロピ一符号化された符号化データの符 号量を制御する際の画像符号化方法であって、 上記変換係数を参照して 各タイルをその性質に応じ複数のカテゴリに分類すると共に、 その複数 のカテゴリ毎に上記量子化歪に重みを付け、 上記重み係数が付けられた 量子化歪に基づいて、 上記エントロピー符号化された符号データの符号 量を制御する画像符号化方法である。
また、 上記画像符号化装置を備え、 この画像符号化装置により符号量 を制御された符号化データを処理する画像処理装置である。 図面の簡単な説明
図 1は、 実施の形態 1の画像符号化装置を示すプロック構成図。
図 2は、ウェーブレツト変換部 1 0 3の構成や動作の概略例を示す図。 図 3は、 図 1に示す重み係数選択部 1 1 3の詳細構成を示す図。
図 4は、 歪メモリ 1 0 9、 タイル種別メモリ 1 1 2、 重み係数選択部 1 1 3にデータを格納する一例を示す図。
図 5は、 実施の形態 2の画像符号化装置を示すプロック構成図。 図 6は、 実施の形態 2のタイル分類部 3 0 1の詳細構成を示す図。 図 7は、実施の形態 2の斜めタイル判定部 4 0 1の詳細構成を示す図。 図 8は、自己相関演算部 5 0 1における自己相関係数の一例を示す図。 図 9は、 3 11 111 1及び3 11 111 2が、 それぞれどの自己相関係数の和を とったものかをわかりやすく説明する図。
図 1 0は、 実施の形態 3のタイル判定部 3 0 1の詳細構成を示を示す 図。
図 1 1は、 実施の形態 4において斜め方向を検出する際の参照画素を 示す図。
図 1 2は、 実施の形態 5の斜めタイル判定部 4 0 1の詳細構成を示す 図。
図 1 3は、 実施の形態 5における斜めパターン記憶部 1 0 0 2にあら かじめ格納されている斜め方向の 2値パターンの一例を示す図。
図 1 4は、 実施の形態 6における斜めパターン記憶部 1 0 0 2にあら かじめ格納されている斜め方向の 2値パターンの一例を示す図。 発明を実施するための最良の形態
実施の形態 1 .
図 1に、 本実施の形態 1の画像符号化装置のプロック構成図を示す。 図 1において、 1 0 1は必要に応じて R G B信号から Y C b C r等への 色空間座標の変換を行う色座標変換部、 1 0 2は各色成分信号をタイル と呼ばれる複数の矩形に分割するタイル分割部、 1 0 3は 2次元のゥェ ーブレツト変換を行うウエーブレツト変換部、 1 0 4はウェーブレツト 変換部で生成された変換係数を設定された量子化ステップサイズで量子 化を行う量子化処理部、 1 0 5は量子化されたウェーブレット変換係数 を 2値算術符号化するためのモデリングを行う係数モデリング部、 1 0 6は算術符号化によりェントロピ一符号化を行うェントロピー符号化部、 1 0 7はエントロピー符号化された符号デ一タを格納する符号メモリ、 1 0 8はエントロピー符号化する単位に歪を計算する歪計算部、 1 0 9 は該歪計算部 1 0 8で計算された歪データを格納する歪メモリ、 1 1 0 は歪メモリ 1. 0 9から出力される歪データに対して所望の重み係数を乗 じる乗算器、 1 1 1は各タイルのウエーブレット変換係数からそのタイ ルが複雑なテクスチャを多く含む複雑タイルであるか否かを判定する複 雑タイル判定部、 1 1 2は該複雑タイル判定部 1 1 1の出力を格納する タイル種別メモリ、 1 1 3は該タイル種別メモリ 1 1 2の出力を受けて 予め格納されている複数の重み係数から対応する重み係数を選択する重 み係数選択部、 1 1 4は乗算器 1 1 0から出力される重み付けされた歪 デ一夕を考慮して符号メモリ 1 0 7に格納されている符号データから必 要なデータを選択し、 設定された目標符号量に収まるようレート制御す るレート制御部、 3 0 1は複雑タイル判定部 1 1 1を有するタイル分類 部である。 なお、 図 1の構成では、 重み係数選択部 1 1 3と乗算器 1 1 0とにより本発明の重み付け部を構成している。
次に動作について説明する。
不図示の画像入力装置、例えば、イメージスキャナやデジタルカメラ、 もしくはネットワークや記憶媒体等から入力された画像信号は、 必要に 応じて、 色座標変換部 1 0 1で色空間座標の変換を行う。 一般には、 力 ラーの R G B信号が入力された場合には、 非可逆圧縮の場合は輝度信号 ( Y) と色差信号 （C b、 C r ) への変換が、 可逆圧縮の場合には損失 のない R C T変換が行われる。 また、 モノクロの画像信号が入力された 場合には本色座標変換部はバイパスされる。
タイル分割部 1 0 2では、 色座標変換部 1 0 1から入力される各色成 分信号に対して、 タイルと呼ばれる複数の矩形領域に分割する。 以降の 処理ではこのタイルをあたかも一つの画像のように极うこととする。 ウェーブレツト変換部 1 0 3では、 1つのタイルを 1つの画像とみな して 2次元のウェーブレツト変換を施し、 複数のサブパンドに帯域分割 する。 ここで 2次元のウェーブレツト変換は 1次元のウェーブレツト変 換の組み合わせとして実現される。 つまり、 水平方向の一次元ウエーブ レツト変換をライン毎に順次行う処理と、 垂直方向の一次元ウェーブレ ット変換を列毎に順次行う処理である。
図 2に、 ウェーブレツト変換部 1 0 3の構成や動作の概略例を示す。 図 2 ( a ) は、 ウェーブレット変換部 1 0 3における 1次元のウェーブ レット変換部分の構成例を示すもので、 1次元のウェーブレット変換は 所定の特性を持つローパスフィル夕と、 ハイパスフィルタと、 ダウンサ ンプラとから構成されており、 2次元のウェーブレツト変換は 1次元の ウェーブレット変換の組み合わせとして実現される。 ところで、 これら のフィルタ処理のタップ （係数） の数は、 非可逆圧縮ローパスフィルタ で 9、 ハイパスフィルタで 7、 可逆圧縮ローパスフィルタで 5、 ハイパ スフィルタで 3が用いられるため、 画像の端、 またはタイルの端部分で はデータが不足することになり、 それを補う拡張処理が必要である。 こ のため、 J P E G 2 0 0 0では、 図 2 ( b ) に示すような鏡のように折 り返す拡張方法 （対象拡張） が用いられている。 こうして生成された 2 次元のウェーブレット変換係数は、 低域成分を L、 高域成分を Hとし、 主走査方向の変換を 1文字目、 副走査方向の変換を 2文字目で表現する ことで、 図 2 ( c ) に示すように L L、 H L、 L H、 H Hと表現される。 また、 これらの帯域分割された成分はサブバンドと呼ばれている。 ここ で、 水平、 垂直方向の低域成分 （L L成分） は再帰的にウェーブレット 変換が施される。 再帰的に施される各ウェーブレット変換によって生成 される各サブパンドを分解レベルと称し、 図中 L L、 H L、 L H、 H H の前に記載された数字がこれにあたる。 即ち、 最低解像度の L L成分は 常に分解レベル 0となり、 反対に最高解像度の高域成分 H L , L H , H Hの分解レベルはウェーブレツト変換の回数と同一値になる。 この図の 例ではウェーブレツト変換を 2回行っているので、 最高解像度成分の分 解レベルは 2となる。
量子化処理部 1 0 4では、 サブバンド毎に設定された量子化ステップ サイズによりウェーブレツト変換係数を量子化する。
係数モデリング部 1 0 5では、 各サブバンドのウエーブレツト変換係 数を符号ブロックと呼ばれる固定サイズの領域に分割した後、 それぞれ の符号ブロックの多値データを 2値のビットプレーンに変換する。 さら に、 各ビットプレーンを 3通りの符号化パス （S igni f i cance pass, Re f inement pass, c leanup pass) に分害 !jし、 それぞれの符号化パス毎 にエントロピー符号化するためのコンテクストモデリングを行う。
3つの符号化パスから出力される 2値信号はェント口ピー符号化部 1 0 6によって算術符号化が行われる。
エントロピー符号化部 1 0 6で生成された符号化データはいったん符 号メモリ 1 0 7に格納される。
これらの符号化処理と並行して、 歪計算部 1 0 8では、 各符号プロッ クの各符号化パス単位に、 歪を計算する。 算出された歪データは、 色成 分、 タイル番号、 サブパンド、 符号ブロック、 符号化パスが特定できる ようなインデックスが付与された後、 歪メモリ 1 0 9に格納される。 タイル分離部 3 0 1の複雑タイル判定部 1 1 1では、 複雑度を表す指 標として、 輝度成分おける各タイルの H H成分に対して、 以下の （式 1 ) を使って平均電力 P tを計算する。
Figure imgf000012_0001
ここで、 添字 tはタイル番号、 C ( i， j ) は位置 （ i， j ) の HH 成分の変換係数、 J ma Xは HH成分の主走査方向のサンプル数、 Im a Xは副走査方向のサンプル数を表している。
次に、 ある閾値 Tpを設定し、 以下の判定式に従って複雑タイルであ るか、 単純タイルであるか当該タイルのカテゴリを判定する。
If (Pt>Tp) 複雑タイル
Else ··· 単純タイル 複雑タイル判定部 1 1 1の出力は、 いったんタイル種別メモリ 1 1 2 に格納される。
以上の処理により、 符号メモリ 1 07には符号デ一夕が、 歪メモリ 1 09に歪データが、 タイル種別メモリ 1 1 2にはタイルカテゴリが、 全 タイルにわたり格納されることになる。 これらの情報を利用して、 レー ト制御部 1 14でレート制御を行うことになる。
ここで、 レート制御方法について説明する。
歪メモリ 1 09から読み出した歪の総和が最小になり、 かつトータル の符号量が目標符号量以下になるという 2つの条件を同時に満足させな がら、 符号化パス毎に符号データを抽出する。 この 2つの条件を同時に 満足させる最適化演算には、 ラグランジェの未定乗数法を利用すること で解決することができる。 今、 符号化パス毎の歪を D i、 符号化パス毎 の符号量を R iとした時、 ある値 λに対して、 Ri+ Di) … （式 2 ) が最小となるような符号化パスの位置 iを計算する。 この時の総符号量 R
R = ' Ri … （式 3 ) が目標.符号量になるように λを繰り返し調整する。 なお、 ここで添字 i は符号化パスと記されているが、 これは、 全色成分、 全タイル、 全分解 レベルの符号化パスを表している。
図 1に戻り、 歪メモリ 1 0 9からはレート制御部 1 1 4から出力され る符号化パス、 符号ブロック、 サブバンド、 タイル番号、 色成分のイン デックスに応じて各符号化パス単位の歪データ D iが出力され、 乗算器 1 1 0では、 各符号化パス単位の歪データ D iに重み係数選択部 1 1 3 で選択された重み係数を乗じることになる。
ここで重み係数選択部 1 1 3について、図 3を使って詳しく説明する。 図 3は、図 1に示す重み係数選択部 1 1 3の詳細構成を示す図である。 図 3において、 2 0 1は複数の重み係数をそれぞれ格納した複数のレジ スタを表す重み係数レジスタ群、 2 0 2は重み係数レジスタ群 2 0 1の 出力である複数の重み係数から選択信号をもとに所望の重み係数を選択 する選択部である。 以下動作について説明する。
重み係数レジスタ群 2 0 1の各レジスタには、 先に述べた 2つのタイ ルカテゴリ毎に各サブバンドの重み係数を設定しておくものとする。 従 つて、 色成分 3、 分解レベル 3の場合には、 3色成分 X ( 3分解レベル X 3サブバンド + 1サブバンド） X 2タイルカテゴリ = 6 0の重み係数 を設定することになる。 まず、 レート制御部 1 1 4からタイル種別メモ リ 1 1 2に、 現在処理しょうとしている符号化パスが所属するタイルの 番号が入力されると、 そのタイル番号に該当するタイルカテゴリ信号が 出力され、 重み係数選択部 1 1 3に入力される。 重み係数選択部 1 1 3 の選択部 2 0 2へは、 タイル種別メモリ 1 1 2からタイルカテゴリが、 レート制御部 1 1 4から現在処理しょうとしている符号化パスが所属す る色成分、 サブパンドを示すインデックスが選択信号として入力される ので、 選択部 2 0 2では、 これらの入力選択信号に基づき該当する重み 係数を選択し、 乗算器 1 1 0へ出力する。 乗算器 1 1 0では、 上述した ように各符号化パス単位の歪データ D iに重み係数選択部 1 1 3で選択 された重み係数を乗じて出力する。 なお、 図 4 ( a ) 、 （b ) 、 ( c ) には、 それぞれ歪メモリ 1 0 9、 タイル種別メモリ 1 1 2、 重み係数レ ジス夕群 2 0 1におけるデータの格納方法の一例を示しておく。
こうして、 図 1の乗算器 1 1 0からは重み付けされた符号化パス毎の 歪 D iがレート制御部 1 1 4へ出力され、 レート制御部 1 1 4では、 乗 算器 1 1 0から入力する重み付けされた符号化パス毎の歪 D iに基づい て、 符号メモリ 1 0 7からの符号データのデータが、 目標とする符号サ ィズ以下になるように符号化データのレート制御、 すなわち符号量を調 整し、 かつその目標符号サイズ内で再現できる最高の画質を提供するよ うにする。
つまり、 本実施の形態 1では、 上述したようにエントロピ一符号化部 1 0 6におけるエントロピー符号化処理と並行して、 歪み計算部 1 0 8 にて符号化パス単位に量子化時の誤差の二乗平均を歪として計算してお き、 かつ、 その歪みにタイルカテゴリ毎の重み係数が乗じられるので、 レー卜制御部 1 1 4では、 この重み係数が乗じられた歪が最小になるよ うに、 符号化パス単位に符号化データを選択的に取得し、 トータルの符 号量が目標とする符号サイズ内に収まるようにすることで、 目標符号量 における最高の画質を提供する。 なお、 この歪最小、 目標符号量以下、 という 2つの条件を同時に満足させるには最適化演算が必要になるが、 これには上述したようにラグランジェの未定乗数法等を利用している。 以上のように、 本実施の形態 1においては、 各タイルをその性質から 複雑タイル、 単純タイルの 2つのカテゴリに分類し、 それぞれのタイル カテゴリに適したようにサブバンド毎に重みを設定することできる。 こ れにより、 全タイルにわたり均一の重み設定だった従来方式に比べ、 画 質設定の自由度が広がつたことにより、 より細かな画質調整が可能にな るという効果がある。
その結果、 例えば、 タイル境界に発生する線状の歪を抑制したい場合 には、 背景領域に存在する細かな揺らぎテクスチャを残すために、 背景 領域と識別される単純タイルに対しては、 揺らぎテクスチャに該当する サブバンド成分に高い重みを設定する。 その一方、 背景領域と識別され ない複雑タイルにおいては必要以上に情報量が割り当てられている可能 性が高いので、 複雑タイルにおいて比較的重要度の低い高域成分に低い 重みを設定する。 このように、 複雑タイルで稼いだ情報量を単純タイル の揺らぎテクスチャに相当するサブバンドに割り当てることにより、 タ ィル境界を抑制できるという効果がある。 実施の形態 2 .
図 5に、 本実施の形態 2の画像符号化装置のブロック構成図を示す。 図 5において、 図 1と同一符号のブロックが存在するが、 これは実施の 形態 1で説明した動作と全く同一の動作をするものとする。 図 5が図 1 と異なっているのはタイル分類部 3 0 1、 及び重み係数選択部 3 0 2で ある。 このタイル分類部 3 0 1は各タイルの性質から 3つのカテゴリに 分類するものであり、 重み係数選択部 3 0 2は 3つのカテゴリに応じた 重み係数から所望の重み係数を選択するものである。 ここで、 図 6を使ってタイル分類部 3 0 1について詳しく説明する。 図 6は、 タイル分類部 3 0 1の詳細構成を示す図である。 同図におい て、 1 1 1は図 1に示す複雑タイル判定部 1 1 1と全く同一で、 当該夕 ィルが複雑タイルであるか否かを判定する複雑タイル判定部、 4 0 1は 当該タイルが斜めタイルであるか否かを判定する斜めタイル判定部、 4 0 2は複雑タイル判定部 1 1 1と斜めタイル判定部 4 0 1の出力を受け て当該タイルが複雑タイル、 単純タイル、 斜めタイルのいずれのタイル カテゴリに該当するかを判定する総合判定部である。
次に動作について説明する。
複雑タイル判定部 1 1 1は、 実施の形態 1で説明した動作と全く同一 の動作を行う。
次に、 斜めタイル判定部 4 0 1について図 7を使って説明する。 図 7は、 斜めタイル判定部 4 0 1の詳細構成を示す図である。 図 7に おいて、 5 0 1は所望のサブバンドの自己相関係数を計算する自己相関 演算部、 5 0 2は自己相関演算部 5 0 1の出力である自己相関係数から 当該タイルが斜めタイルであるか否かを判定する判定部である。
次に動作について説明する。 自己相関演算部 5 0 1では各タイルにお ける最高解像度の分解レベル n (最高解像度） の H H成分に対して自己 相関係数 A tを以下の式 （4 ) を使って計算する。 At( x, y ) - 式 4)
Figure imgf000016_0001
ここで、 x、 yは自己相関係数の位置を表しており、 それぞれ一 2≤ x≤2、 一 2≤y≤ 2を満たす整数である。 具体的には、 A t ( x , y ) は図 8に示す位置の自己相関係数を表している。
判定部 5 0 2では、 自己相関係数 A t ( X , y ) を利用して当該タイ 差替え用紙 （規則 26) ルが斜め方向に相関が強い斜めタイルであるか否かを判定する。 最初に 25個の自己相関係数 A t ( , y) に対して負の値を持つものは 0に なるように補正する。 補正された係数 A t (x, y) に対して、 以下の 判定式 （5) ， (6) によりそれぞれ s uml及び s um2を求め、
Suml = At (-2, -2)+ At (-1,-2)1 At (-2,-1)+ At (-1,-1)+ At(0,-1) + At (-1,0)+ At (0,0) +At(l,0)+ At (0, 1)+ At (1, 1)+ At (2, 1)+ At (1, 2) + At (2, 2)；
… （式 5) Sum2 = At (2, -2)+ At(l,-2)+ At(2,-1)+ At(l,-1)+ At(0,-1)+ At(l,0) + At (0,0) +
At (-1,0)+ At (0,1)+ At (-1,1)+ At (- 2,1)+ At (-1,2)+ At (-2, 2) ;
… （式 6) 次のように s umlと s um2との比と、 実験ゃシミュレーション等 の経験により求めた閾値 Taと比較して、 例えば以下に示すように s um 1と s um 2との比が閾値 Taより大きい場合には当該タイルが斜めタイ ル、 s umlと s um2との比が閾値 Taより小さい場合には非斜めタイ ルであると判定する。 If (suml/sura2>Ta) or (sum2/suml>Ta) ··· 斜めタイル
Else ··· 非斜めタイル 図 9は、 s uml及び s um 2が、 それぞれどの自己相関係数の和を とったものかをわかりやすく説明する図である。 図 9 (a) の網掛けで 示している右下がりの自己相関係数の和が s umlを、 図 9 (b) の網 掛けで示している右上がりの自己相関係数の和が s um 2を表している。 本判定では、 s u m 1と s u m 2のいずれかに偏りがある場合に斜め夕 ィルと判定するようにしている。
ここで図 6に戻り、総合判定部 4 0 2では、複雑タイル判定部 1 1 1、 及び斜めタイル部 4 0 1の判定出力を受けて、 例えば以下に示すように 複雑タイルの判定出力の入力が無しであれば単純タイルのカテゴリ、 複 雑タイルの判定出力の入力が有れば、 斜めタイルの判定出力の入力の有 無により無しであれば複雑タイルのカテゴリ、 あれば斜めタイルのカテ ゴリと判定し、 当該タイルが複雑タイル、 単純タイル、 斜めタイルのい ずれのタイルカテゴリであるかを判定する。 i f (複雑タイル） {
i f (斜めタイル） · · · 斜めタイル
el se · · · 複雑タイル
}
el se . · · 単純タイル ここで、 最終的に斜めタイルと判定されるタイルはある程度 H H成分 の平均電力が高いことが条件となっていることがわかる。
以上の構成により、 注目タイルが複雑タイル、 単純ファイル、 斜め夕 ィルのいずれのカテゴリ属するか分類できたら、 その信号はいつたん夕 ィル種別メモリ 1 1 2に格納される。
本実施の形態 2の重み係数選択部 3 0 2は、複雑タイル、単純タイル、 斜めタイルに対応したサブバンド毎の重み係数を予め格納しており、 タ ィル種別メモリ 1 1 2からの注目タイルのタイルカテゴリや、 レート制 御部 1 1 4からの現在処理しょうとしている符号化パスが所属する色成 分、 およびサブバンドを示すインデックスを選択信号として、 これらの 選択信号に基づきサブパンド毎の重み係数を選択する。
こうして歪メモリ 1 0 9から出力される歪データに対応する重み係数 が重み係数選択部 3 0 2から選択されて乗算器 1 1 0へ出力され、 乗算 器 1 1 0にて歪データとそれに対応する重み係数が乗じられた後、 レー ト制御部 1 1 4では、 上記実施の形態 1の場合と同様に、 符号化データ での符号量制御、 すなわちレート制御を行う。
以上のように、 本実施の形態 2においては、 各タイルをその性質から 複雑タイル、 単純タイル、 斜めタイルの 3つのカテゴリに分類し、 それ ぞれのタイルカテゴリに適したようにサブバンド毎に重みを設定するこ とできる。 これにより、 実施の形態 1の場合と同様に、 全タイルにわた り均一の重み設定だつた従来方式に比べ、 さらに画質設定の自由度が広 がったことにより、より細かな画質調整が可能になるという効果がある。 特に、実施の形態 1に比べタイルカテゴリが複雑タイル、単純タイル、 斜めタイルの 3種類に増えたことにより、 画質設定の自由度が広がり、 より細かな画質調整が可能になるという効果がある。 例えば、 原画像に 斜線や斜めエッジが多く存在するような画像をタイル分割して符号化す る場合には、 例えば単純タイルには背景領域の揺らぎテクスチャに相当 するサブパンドに高い重みを設定し、 複雑タイルには関連するサブバン ドの重みを低く設定、 さらに斜めタイルについては斜め成分、 つまり H H成分を中心に高い重みを設定するようにする。 こうすることで、 タイ ル境界部に発生する線状の歪を抑制できるだけでなく、 斜めエッジが多 く存在するタイルでもジャギーが発生することなく良好な画像を再現で きるという効果がある。 実施の形態 3 .
基本的なブロック構成図は、 実施の形態 2で説明した図 5と同一であ る。 本実施の形態 3では、 図 5におけるタイル分類部 30 1の構成が異 なっており、具体的には新たに肌色タイルの検出処理が付加されている。 以下、 本実施の形態 3におけるタイル分類部の構成、 動作について図 1 0を使って説明する。
図 10は、 本実施の形態 3のタイル判定部 301の詳細構成を示して いる。 図 1 0において、 1 1 1は図 1や図 6に示すものと同じ複雑タイ ル判定部、 40 1は図 6に示すものと同じ斜めタイル判定部である。 8 0 1は当該タイルが肌色の多いタイルであるか否かを検出する肌色タイ ル判定部、 802は複雑タイル判定部 1 1 1と斜めタイル判定部 40 1 と肌色タイル判定部 80 1の出力を受けて、 当該タイルが後述する 4つ タイルカテゴリのいずれに該当するかを判定する総合判定部である。 次に動作について説明する。
まず、 肌色タイル判定部 80 1では、 各係数が肌色であるか否かを検 出する。 具体的には、 色座標変換部 1 0 1で RGB信号を HS L表色系 の信号に変換し、 そのウェーブレット変換後の 0 LL成分が、 H (色相 ) 、 S (彩度） 、 L (明度） 全ての色成分に対してある閾値の範囲にあ る場合に肌色と判定する。 それぞれのの色成分の上限、 下限の閾値を、 添え字 ma x、 m i nで表すと、 この判定は次のように示すことができ る。 i f ( (Hm i n<H ( i , j ) <Hmax) and (Smin ^S (i, ] <Smax) and (Lmin<L u, j) <Lmax) )
.·· 肌色
else ··· 非肌色 肌色タイル判定部 801は、 こうして検出された肌色の係数をカウン トし、 そのカウント値が所定の閾値よりも大きければ、 肌色タイルと判 定して出力する。
なお、 複雑タイル判定部 1 1 1および斜めタイル判定部 4 0 1は、 上 述の実施の形態 1や実施の形態 2の場合と同様に動作する。
総合判定部 8 0 2では、 複雑タイル判定部 1 1 1、 斜めタイル判定部 4 0 1、 肌色タイル判定部 8 0 1の判定出力を入力して、 当該タイルが 複雑タイル、 単純タイル、 斜めタイル、 肌色タイルのいずれに属するか を、 例えば以下に示すように判定する。 つまり、 肌色タイルの判定出力 が入力していれば肌色タイルのカテゴリと判定し、 肌色タイルの判定出 力が入力していなければ、 複雑タイルの判定出力の入力の有無により無 しであれば単純タイルのカテゴリ、 複雑タイルの判定出力の入力が有れ ば、 斜めタイルの判定出力の入力の有無により無しであれば複雑タイル のカテゴリ、 あれば斜めタイルのカテゴリと判定する。 i f (肌色タイル）
el se i f (複雑タイル） {
i f (斜めタイル） · · · 斜めタイル
e l se · · · 複雑タイル
}
el se 以上の構成により、 注目タイルが複雑タイル、 単純ファイル、 斜め夕 ィル、 肌色タイルのいずれのカテゴリ属するか分類できたら、 その信号 はいつたんタイル種別メモリ 1 1 2に格納される。
ところで、本実施の形態 3の重み係数選択部 3 0 2には、複雑タイル、 単純タイル、 斜めタイル、 肌色タイルに対応した各サブバンドの重み係 数が格納されており、 実施の形態 1 , 2等の場合と同様に、 タイルカテ ゴリゃサブパンドを示す選択信号等によって選択される。 なお、 上述の 実施の形態 2の重み係数選択部 3 0 2には、 複雑タイル、 単純タイル、 斜めタイルの 3種類のタイルに対応した重み係数が格納されているが、 本実施の形態 3では複雑タイル、 単純ファイル、 斜めタイル、 肌色タイ ルの 4種類のタイルに対応した重み係数を格納されているものとする。
こうして歪メモリ 1 0 9から出力される歪データに対応する重み係数 が重み係数選択部 3 0 2から選択されて乗算器 1 1 0へ出力され、 乗算 器 1 1 0にて歪データとそれに対応する重み係数が乗じられた後、 レ一 ト制御部 1 1 4でレート制御が行われる。
以上のように、 本実施の形態 3においては、 各タイルをその性質から 複雑タイル、 単純ファイル、 斜めタイル、 肌色タイルの 4つのカテゴリ に分類し、 それぞれのタイル種別に適したようにサブバンド毎に重みを 設定することできる。 これにより、 実施の形態 1， 2の場合と同様に、 全タイルにわたり均一の重み設定だった従来方式に比べ、 さらに画質設 定の自由度が広がつたことにより、 より細かな画質調整が可能になると いう効果がある。
特に、 実施の形態 2の場合に比べ、 タイルカテゴリが複雑タイル、 単 純ファイル、 斜めタイル、 肌色タイルの 4種類に増えたことにより、 画 質設定の自由度が広がり、 より細かな画質調整が可能になるという効果 がある。 例えば、 人物画像があげられる。 従来方式では、 人物画像にお いて、 人の肌 （特に顔） に存在する細かなテクスチャと斜め方向の髪の 毛は、 ウェーブレツト変換した際にはそれぞれ異なるサブパンドにその 特徴が現れるため、両者の画質を同時に満足させることが難しかったが、 本実施の形態 3では、 まず、 肌色タイルに対してはそこに存在するテク スチヤに該当するサブパンドに高い重みを設定し、 斜めの髪の毛が該当 する斜めタイルについても同様に関連するサブバンドに高い重みを設定 し、 背景領域と識別される単純タイルや、 背景領域と識別されない複雑 タイルには実施の形態 1、 2で説明した場合と同様に重みを設定する。 こうすることで、 肌色のテクスチャ、 斜めの髪の毛の両方の画質を同時 に満足させ、 かつタイル境界に発生する線状の歪も抑制することができ るという効果がある。 実施の形態 4.
実施の形態 2で述べた斜めタイル判定部 40 1で.は、 図 8に示すよう に周囲 24画素を参照する構成としたが、 本実施の形態 4では、 例えば 図 1 1に示すように周囲 8画素を参照して斜め方向を検出することを特 徴とする。 この場合、 斜めタイル判定部 40 1の判定部 502での判定 処理は、 実施の形態 2の場合と同様に、 まず 9個の自己相関係数 A t ( x, y) に対して負の値を持つものは 0になるように補正し、 補正され た係数 A t (x， y) に対して、 以下の判定式 （式 7) ， （式 8) によ りそれぞれ s um 1及び s um 2を求め、 s umlと s um2との比と、 実験ゃシミュレ一ション等の経験により求めた閾値 Taと比較して、 例え ば以下に示すように s umlと s um2との比が閾値 Taより大きい場合 には当該タイルが斜めタイル、 s umlと s um2との比が閾値 Taより 小さい場合には非斜めタイルであると判定する。 suml= At (-1,-1)+At (1, 1)； … （式 7 )
sum2= At(l，- 1)+At(l，_l)； … （式 8 )
If (suml/sum2>Ta) or (sum2/suml>Ta) ··· 斜めタイル
Else 非斜めタイル 図 1 1からもわかるように、 本実施の形態 4では、 4 5 ° の斜め方向 の検出のみとなるため、 若干斜めタイルの検出精度が低くなるものの、 実施の形態 2とほぼ同様の効果を奏することができる。 さらに、 参照す るウェーブレット変換係数を減らすことで自己相関係数を計算する （式 4 ) の演算量を少なくできるため、 回路規模を削減でき、 判定処理のス ピードも向上できるという効果がある。 実施の形態 5 .
本実施の形態 5は、 実施の形態 2で述べた斜めタイル判定方法とは異 なる方法で斜めタイルを検出するものである。 以下、 図 1 2を使って、 本実施の形態 5における斜めタイル判定部 4 0 1を説明する。
図 1 2は、 本実施の形態 5の斜めタイル判定部 4 0 1の詳細構成を示 す図である。 図 1 2において、 1 0 0 1は入力されてくるウェーブレツ ト変換係数を 2値化処理する 2値化部、 1 0 0 2は予め定めた斜め方向 の 2値パターンを記憶する斜めパターン記憶部、 1 0 0 3は該 2値化部 1 0 0 1と斜めパターン記憶部 1 0 0 2の出力を照合して注目している 係数が斜めの方向性を持つか否かを識別するマッチング部、 1 0 0 4は 斜め方向の 2値パターンとマッチングした係数の数をカウントするカウ ンタ部、 1 0 0 5は最終的な斜めパターンの係数の数から当該タイルが 斜めタイルか否かを判定する判定部である。
次に具体的な動作について説明する。
2値化部 1 0 0 1では、 各タイルにおける例えば最高解像度の分解レ ベル n (最高解像度） の H H成分 Ct (x，y)を、 次に示すようにある閾値 T cと比較して、 2値化処理する。 If (Ct(x,y)>Tc) Bt(x,y) = 1;
Else Bt(x,y) = 0; マッチング部 1003では、 この 2値化処理結果 B t (x、 y) に対 して、 斜めパターン記憶部 1002にあらかじめ格納されている斜め方 向の 2値パターンとのマッチングを行い、 これに合致すれば 1を、 そう でなければ 0を出力する。
図 13に、 斜めパターン記憶部 1002にあらかじめ格納されている 斜め方向の 2値パターンの一例を幾つか示す。 これら図 1 3に示す各斜 め方向の 2値パターン例中 "X" は、 参照しない 2値化結果 （Do n ' t C a r e) を表している。
カウンタ部 1 004では、 該マッチング部 1 003の出力が 1の場合 にはカウント値 N tに + 1を加算し、そうでなければなにも加算しない。 こうして、 斜めパターンとマッチングする係数の数 N tをタイル単位に カウン卜し、 判定部 1 00 5では、 以下に示すように最終的なカウント 値 N tを閾値 Tnと比較することによって、 当該タイルが斜めタイルか 否かを判定する。
If (Nt>Tn) ··· 斜めタイル
Else .·· 非斜めタイル 以上のように、 本実施の形態 5によれば、 各タイルにおける最高解像 度の分解レベル n (最高解像度） の HH成分の 2値化処理して、 事前に 登録しておいた斜め方向の 2値パターンとマッチングをとることにより、 斜めタイルを検出することができ、 実施の形態 2と同様の効果を奏する ことができる。 特に、 実施の形態 2では、 自己相関係数を演算するために 2 5回の乗 算を行う必要があつたが、 本実施の形態 5で説明した構成によれば、 予 め定められた斜めパ夕一ンを記憶しておき、 それとのパターンマツチン グの処理だけで斜めタイルを判定することができるため、 実施の形態 2 の場合と較べ、 少ない H/W規模で実装でき、 かつ、 高速判定が可能で あるという効果がある。 実施の形態 6 .
実施の形態 5で述べた斜めタイル判定部 4 0 1では、 図 1 3に示すよ うに周囲 2 4画素を参照する構成としたが、 本実施の形態 6では、 実施 の形態 4と同様に、 図 1 4に示すように周囲 8画素を参照して斜め方向 を検出することを特徴とする。
このようにすれば、 実施の形態 4の場合と同様、 同図からもわかるよ うに、 本実施の形態 6では 4 5 ° の斜め方向の検出のみとなるため、 若 干斜めタイルの検出精度が低くなるものの、 実施の形態 5とほぼ同様の 効果を奏することができる。 さらに、 参照画素を小さくすることで不図 示のラインメモリの容量や、 斜めパターンを記憶する容量などを削減で きると共に、 高速に判定できるという効果もある。
なお、 上記実施の形態 1〜 6では、 複雑タイル判定部 1 1 1の複雑度 の計算を、 H H成分の平均電力として説明したが、 これに限るものでは ない。 参照するサブバンドを H H成分に限定させず、 H L， L H , H H 全ての高域成分を利用しても良い。 また複雑度も平均電力ではなく、 例 えば係数の絶対値や分散などによって計算しても良い。 特に、 絶対値を 用いれば二乗計算を行わなくてすむため HZW規模も少なくてすむ。 また、 上記実施の形態 2〜 6等では、 斜めタイル判定部 4 0 1では、 最高解像度の分解レベルの H H成分を参照して計算を行うものとして説 明したが、 これに限るものではなく、 他の H L , L H等のサブバンドを 参照して斜めタイルの検出を行っても良い。
また、 上記実施の形態 5 , 6等で説明した図 1 3、 1 4に示した斜め パターンは一例であり、 これに限ったものではない。 特に、 同図は 1 ド ットの線幅の斜線 （または斜めエッジ） であるが、 例えばこれを線幅 2 ドットのものも検出できるようにしても良い。
また、 上記実施の形態 1〜6では、 画質を制御するための方法として 周波数重み付け技術 （Frequency We ight ing) を利用して、 サブバンド 毎に設定された重みを歪みに乗じるように説明したが、 これに限らず、 サブバンド毎に設定された重みを、 ウエーブレット変換部 1 0 3の出力 であるウェーブレツト変換係数に乗じることにより、 所望のサブバンド を強調した画質制御を可能にしても良い。 このようにする場合には、 歪 みメモリ 1 0 9の出力である歪はそのまま直接レート制御部 1 1 4に入 力し、 重み係数選択部 1 1 3からの重み係数はゥェ一ブレット変換部 1 0 3と量子化部 1 0 4の間でタイル分類部 3 0 1への分岐点より量子化 部 1 0 4側に新たに設けた乗算器に入力するように構成すればよい。 こ れにより、 例えば、 必ずある程度の距離を離れて再生画像を見る環境で は、 細かな解像度が必要ないため、 ウエーブレット変換係数の最高解像 度成分に低い重みを設定し、 その分他の低解像度の変換係数に有効に情 報量を割り当てることができるようになる。
また、 上記実施の形態 1〜 6では、 画像信号を周波数成分へ変換する 変換部を、 J P E G 2 0 0 0等で規格化されているウェーブレツト変換 部 1 0 3を一例として説明したが、 本発明では、 ウェーブレット変換部 1 0 3に限定されるものではなく、 画像信号を周波数成分へ変換するこ とが可能な変換方式であれば何でも良い。
また、 上記実施の形態 1〜6で説明した画像符号化装置を L S Iとし て、 またその画像符号化方法をソフトウェアとして、 静止画像を入力画 像として処理するディジタルカメラや監視カメラ、 イメージスキャナ等 の画像処理装置に実装されることは言うまでもない。 このような画像処 理装置では、 この画像符号化装置により符号量を制御された符号化デー 夕を各種.画像処理したり、 さらには通信処理部を介して送受信すること ができる。 産業上の利用可能性
以上説明したように、 本発明によれば、 変換係数を参照して各タイル をその性質に応じ複数のカテゴリに分類すると共に、 その複数のカテゴ リ毎に上記量子化歪に重みを付け、 重み係数が付けられた量子化歪に基 づいてエントロピー符号化された符号データの符号量を制御するように したので、 入力画像をタイル分割して符号化する場合でも、 タイルに応 じて画像信号の符号化レートを弹カ的に制御することができる。
その結果、 全タイルにわたり均一の重み設定だった従来方式に比べる と、 画質設定の自由度が広がったことにより、 各タイルの性質に応じよ り細かな画質調整が可能になり、 画像全体の符号化レートを下げるよう なことがあっても良好な再生画像を得ることができることになる。 例え ば、 タイル境界に発生する線状の歪を抑制したい場合には、 背景領域に 存在する細かな揺らぎテクスチャを残すために、 背景領域と識別される 単純タイルに対しては、 揺らぎテクスチャに該当するサブバンド成分に 高い重みを設定する。 その一方、 背景領域と識別されない複雑タイルに おいては必要以上に情報量が割り当てられている可能性が高いので、 複 雑タイルにおいて比較的重要度の低い高域成分に低い重みを設定する。 このように、 複雑タイルで稼いだ情報量を単純タイルの揺らぎテクスチ ャに相当するサブバンドに割り当てることにより、 タイル境界を抑制で きるという効果がある。

Claims

請求の範囲
1 . 入力画像を所定サイズのタイルに分割し、 個々のタイル に含まれる画像信号を周波数成分へ変換して変換係数を得、 得られた変 換係数を量子化して量子化係数とし、 その量子化係数をエントロピー符 号化する共に、 変換係数の量子化の際の量子化歪を演算し、 この量子化 歪を用いて、 上記エントロピー符号化により得られる符号化データの符 号量を制御する画像符号化装置であって、
上記変換係数を参照して各タイルをその性質に応じ複数のカテゴリに 分類し、 分類結果を出力するタイル分類部と、
該タイル分類部の出力に応じて上記量子化歪に重みを付ける重み付け 部と、
上記重み付け部により重み付けられた量子化歪に基づいて、 上記ェン ト口ピー符号化により得られる符号データの符号量を制御するレ一ト制 御部と、
を有する画像符号化装置。
2 . 請求項第 1項記載の画像符号化装置において、 タイル分類部は、
上記変換係数を参照して、 各タイルが複雑なテクスチャにより構成さ れるタイル及び複雑なテクスチャが存在しないタイルのいずれであるか を判定し、 各タイルを複雑なテクスチャにより構成されるタイルのカテ ゴリ及び複雑なテクスチヤが存在しないタイルのカテゴリのいずれかに 分類する、
ことを特徴とする画像符号化装置。
3 . 請求項第 2項記載の画像符号化装置において、 タイル分類部は、 各タイルが複雑なテクスチャにより構成されるタイル及び複雑なテク スチヤが存在しないタイルのいずれであるかを判定すると共に、 各タイ ルが斜め方向に相関が強いタイルであるか否かを判定し、 各タイルを複 雑なテクスチャにより構成されるタイルのカテゴリ、 複雑なテクスチャ が存在しないタイルのカテゴリ、 及び斜め方向に相関が強いタイルの力 テゴリのいずれかに分類する、
ことを特徴とする画像符号化装置。
4 . 請求項第 2項記載の画像符号化装置において、 タイル分類部は、
各タイルが複雑なテクスチャにより構成されるタイル及び複雑なテク スチヤが存在しないタイルのいずれであるかの判定と、 各タイルが斜め 方向に相関が強いタイルであるか否かの判定と、 各タイルが肌色を多く 含むタイルであるか否かの判定とを行い、
各タイルを複雑なテクスチャにより構成されるタイルのカテゴリ、 複 雑なテクスチャが存在しないタイルのカテゴリ、 斜め方向に相関が強い タイルのカテゴリ、 及び肌色を多く含むタイルのカテゴリのいずれかに 分類する、
ことを特徴とする画像符号化装置。
5 . 請求項第 3項に記載の画像符号化装置において、 タイル分類部は、 斜め方向に相関が強いタイルかを判定する際、 当該 タイルが 4 5 ° または 1 3 5 ° の斜め方向に相関が強いタイルであるか 否かを判定する、
ことを特徴とする画像符号化装置。
6 . 請求項第 1項に記載の画像符号化装置において、 重み付け部は、 量子化歪に重みを付ける際、
各タイルカテゴリに対するサブバンド毎の重み係数を予め記憶してお き、 当該タイルのカテゴリ及びサブバンドに応じて所望の重み係数を選 択し、 選択した重み係数を量子化歪みに乗算することより量子化歪に重 みを付ける、
ことを特徴とする画像符号化装置。
7 . 入力画像を所定サイズのタイルに分割し、 個々のタイル に含まれる画像信号を周波数成分へ変換して変換係数を得、 得られた変 換係数を量子化して量子化係数とし、 その量子化係数をェント口ピー符 号化する共に、 変換係数の量子化の際の量子化歪を演算し、 この量子化 歪を用いて、 上記エントロピー符号化により得られる符号化データの符 号量を制御する際の画像符号化方法であって、
上記変換係数を参照して各タイルをその性質に応じ複数のカテゴリに 分類すると共に、 その複数のカテゴリ毎に上記量子化歪に重み係数を付 け、
上記重み係数が付けられた量子化歪に基づいて、 上記ェント口ピー符 号化により得られる符号データの符号量を制御する画像符号化方法。
8 . 請求項 1に記載の画像符号化装置を備え、 この画像符号 化装置により符号量を制御された符号化データを処理する画像処理装置。
PCT/JP2003/008901 2002-09-27 2003-07-14 画像符号化装置、画像符号化方法、および画像処理装置 WO2004030343A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US10/489,180 US7333661B2 (en) 2002-09-27 2003-07-14 Image coding device image coding method and image processing device
KR20047007959A KR100611705B1 (ko) 2002-09-27 2003-07-14 화상 부호화 장치, 화상 부호화 방법, 및 화상 처리 장치
EP03741377A EP1545121A4 (en) 2002-09-27 2003-07-14 DEVICE, IMAGE ENCODING METHOD, AND IMAGE PROCESSING DEVICE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002282402A JP4045913B2 (ja) 2002-09-27 2002-09-27 画像符号化装置、画像符号化方法、および画像処理装置
JP2002/282402 2002-09-27

Publications (1)

Publication Number Publication Date
WO2004030343A1 true WO2004030343A1 (ja) 2004-04-08

Family

ID=32040537

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/008901 WO2004030343A1 (ja) 2002-09-27 2003-07-14 画像符号化装置、画像符号化方法、および画像処理装置

Country Status (7)

Country Link
US (1) US7333661B2 (ja)
EP (1) EP1545121A4 (ja)
JP (1) JP4045913B2 (ja)
KR (1) KR100611705B1 (ja)
CN (1) CN1287584C (ja)
TW (1) TWI222327B (ja)
WO (1) WO2004030343A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10354226A1 (de) * 2003-11-20 2005-06-30 Siemens Ag Pipeline Verarbeitung von Bilddaten mit Darstellung von Zwischenergebnissen in niedriger Auflösung

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7574063B2 (en) * 2003-07-23 2009-08-11 Canon Kabushiki Kaisha Image coding method and apparatus
JP2005184511A (ja) 2003-12-19 2005-07-07 Nec Access Technica Ltd デジタル画像符号化装置及びその方法並びにデジタル画像復号化装置及びその方法
JP2006121645A (ja) * 2004-09-24 2006-05-11 Fuji Photo Film Co Ltd 画像圧縮装置および画像圧縮プログラム
CN1917645B (zh) * 2005-08-15 2012-12-19 华为技术有限公司 对系数块进行编码的方法
MX2008012382A (es) * 2006-03-29 2008-11-18 Thomson Licensing Metodos y aparatos para usarse en un sistema de codificacion de video de multiples vistas.
KR100809301B1 (ko) * 2006-07-20 2008-03-04 삼성전자주식회사 엔트로피 부호화/복호화 방법 및 장치
TWI323128B (en) 2006-10-03 2010-04-01 Quanta Comp Inc Image processing apparatus and method
WO2008143157A1 (ja) * 2007-05-17 2008-11-27 Sony Corporation 情報処理装置および方法
JP4569840B2 (ja) * 2007-09-12 2010-10-27 ソニー株式会社 画像符号化装置、画像符号化方法
CN101335892B (zh) * 2008-04-25 2010-06-09 太原科技大学 基于帧内模式决策的混合分布式视频编码方法
US8218633B2 (en) * 2008-06-18 2012-07-10 Kiu Sha Management Limited Liability Company Bidirectionally decodable Wyner-Ziv video coding
US8675210B2 (en) 2009-03-13 2014-03-18 Asml Netherlands B.V. Level sensor, lithographic apparatus, and substrate surface positioning method
US20100231881A1 (en) 2009-03-13 2010-09-16 Asml Netherlands B.V. Lithographic apparatus and device manufacturing method
US8488107B2 (en) 2009-03-13 2013-07-16 Asml Netherlands B.V. Lithographic apparatus and device manufacturing method involving a level sensor having multiple projection units and detection units
JP5652658B2 (ja) * 2010-04-13 2015-01-14 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5469127B2 (ja) * 2011-05-30 2014-04-09 富士フイルム株式会社 画像データ符号化装置ならびにその動作制御方法およびそのプログラム
EP3011503A4 (en) * 2013-06-17 2017-05-10 Quantumrgb Ltd. System and method for biometric identification
US10405002B2 (en) * 2015-10-03 2019-09-03 Tektronix, Inc. Low complexity perceptual visual quality evaluation for JPEG2000 compressed streams
JP6857973B2 (ja) * 2016-06-14 2021-04-14 キヤノン株式会社 画像符号化装置及びその制御方法
JP7001383B2 (ja) 2017-07-28 2022-01-19 キヤノン株式会社 符号化装置、符号化方法、及び、プログラム
US11423582B2 (en) * 2019-03-01 2022-08-23 Tencent America LLC Method and apparatus for point cloud compression
CN113840145B (zh) * 2021-09-23 2023-06-09 鹏城实验室 一种面向人眼观看和视觉分析联合优化的图像压缩方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03291058A (ja) * 1989-12-25 1991-12-20 Mitsubishi Electric Corp 高能率符号化装置
JPH07154798A (ja) * 1993-05-31 1995-06-16 Canon Inc 画像符号化装置および画像符号化方法
JP2001326936A (ja) * 2000-03-10 2001-11-22 Sony Corp 画像符号化装置及び方法
JP2002064719A (ja) * 2000-08-17 2002-02-28 Canon Inc 画像処理装置およびその方法
JP2003023544A (ja) * 2001-07-10 2003-01-24 Nec Corp 画像符号化方法及び画像符号化装置
JP2003101794A (ja) * 2001-09-25 2003-04-04 Canon Inc 画像符号化装置、及び画像符号化方法、並びにプログラム、記憶媒体
JP2003116007A (ja) * 2001-07-03 2003-04-18 Eastman Kodak Co ディジタル画像から圧縮されたビットストリームを生成するための対象内容分析を使用する方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE35781E (en) 1989-01-31 1998-05-05 Mitsubishi Denki Kabushiki Kaisha Coding method of image information
JPH0834432B2 (ja) 1989-01-31 1996-03-29 三菱電機株式会社 符号化装置及び符号化方法
JPH02308672A (ja) 1989-05-23 1990-12-21 Fujitsu Ltd カラー画像データ符号化方式
DE69032177T2 (de) 1989-12-25 1998-11-12 Mitsubishi Electric Corp Kodierungsgerät
JPH0834434B2 (ja) 1990-02-26 1996-03-29 三菱電機株式会社 符号化装置及び符号化方法
JP3115199B2 (ja) 1994-12-16 2000-12-04 松下電器産業株式会社 画像圧縮符号化装置
JP3213584B2 (ja) * 1997-09-19 2001-10-02 シャープ株式会社 画像符号化装置及び画像復号装置
JP2001217718A (ja) 2000-02-02 2001-08-10 Canon Inc 画像処理装置及び方法及び記憶媒体
US6549674B1 (en) * 2000-10-12 2003-04-15 Picsurf, Inc. Image compression based on tiled wavelet-like transform using edge and non-edge filters
US6668090B1 (en) 2000-05-26 2003-12-23 Eastman Kodak Company Producing a compressed digital image organized into layers corresponding to increasing visual quality levels and providing rate-control of such compressed digital image
JP2002101311A (ja) 2000-09-25 2002-04-05 Jiro Adachi 色毎に圧縮率を変える画像データ非可逆圧縮装置。
JP3702778B2 (ja) 2000-11-27 2005-10-05 ソニー株式会社 画像符号化装置及び方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03291058A (ja) * 1989-12-25 1991-12-20 Mitsubishi Electric Corp 高能率符号化装置
JPH07154798A (ja) * 1993-05-31 1995-06-16 Canon Inc 画像符号化装置および画像符号化方法
JP2001326936A (ja) * 2000-03-10 2001-11-22 Sony Corp 画像符号化装置及び方法
JP2002064719A (ja) * 2000-08-17 2002-02-28 Canon Inc 画像処理装置およびその方法
JP2003116007A (ja) * 2001-07-03 2003-04-18 Eastman Kodak Co ディジタル画像から圧縮されたビットストリームを生成するための対象内容分析を使用する方法
JP2003023544A (ja) * 2001-07-10 2003-01-24 Nec Corp 画像符号化方法及び画像符号化装置
JP2003101794A (ja) * 2001-09-25 2003-04-04 Canon Inc 画像符号化装置、及び画像符号化方法、並びにプログラム、記憶媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1545121A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10354226A1 (de) * 2003-11-20 2005-06-30 Siemens Ag Pipeline Verarbeitung von Bilddaten mit Darstellung von Zwischenergebnissen in niedriger Auflösung
DE10354226B4 (de) * 2003-11-20 2006-04-06 Siemens Ag Verfahren und Vorrichtung zum Laden eines in einem Archiv befindlichen Bildes mittels Pipeline Verarbeitung des in Chunks zerlegten Bildes mit Darstellung von Zwischenergebnissen in inkrementell erhöhter Auflösung
US7696994B2 (en) 2003-11-20 2010-04-13 Siemens Aktiengesellschaft Pipeline processing of image data with a low-resolution display of intermediate results

Also Published As

Publication number Publication date
JP4045913B2 (ja) 2008-02-13
TW200405730A (en) 2004-04-01
JP2004120466A (ja) 2004-04-15
KR20040058323A (ko) 2004-07-03
EP1545121A4 (en) 2009-03-04
EP1545121A1 (en) 2005-06-22
CN1287584C (zh) 2006-11-29
US7333661B2 (en) 2008-02-19
TWI222327B (en) 2004-10-11
KR100611705B1 (ko) 2006-08-11
US20040240742A1 (en) 2004-12-02
CN1596536A (zh) 2005-03-16

Similar Documents

Publication Publication Date Title
WO2004030343A1 (ja) 画像符号化装置、画像符号化方法、および画像処理装置
US5535013A (en) Image data compression and expansion apparatus, and image area discrimination processing apparatus therefor
EP0785669B1 (en) Image processing method and apparatus
JP3196906B2 (ja) 画像信号の符号化装置
JP6648580B2 (ja) 原稿種認識装置、画像形成装置、原稿種認識方法およびプログラム
WO1999017257A2 (en) System and method for compressing images using multi-threshold wavelet coding
JP4686854B2 (ja) 画像符号化装置、電子カメラ、および画像符号化プログラムの記録媒体
US8050506B2 (en) Image enhancement device
JP2002252770A (ja) 画像情報の分類方法，画像符号化方法および画像符号化装置
JP3119371B2 (ja) 画像処理方法
EP0555095B1 (en) Method for compressing and extending an image by transforming orthogonally and encoding the image
CN111127291A (zh) 基于空频域jnd转换的图像水印嵌入、提取方法及系统
JP7001383B2 (ja) 符号化装置、符号化方法、及び、プログラム
Westen et al. Perceptual optimization of image coding algorithms
JPH08322041A (ja) ブロック歪み除去装置
JPH07307942A (ja) 画像雑音除去装置
JP2003204439A (ja) 画像符号化装置及び画像符号化方法
JP5560172B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US20050141774A1 (en) Image compression utilizing discarding of bitplanes
Deng et al. Low-bit-rate image coding using sketch image and JBIG
JP5267140B2 (ja) 画像圧縮装置及び画像圧縮方法
JP4424672B2 (ja) 画像処理装置、画像処理方法、プログラム及び情報記録媒体
JP2003101794A (ja) 画像符号化装置、及び画像符号化方法、並びにプログラム、記憶媒体
JP4166733B2 (ja) 画像処理方法および画像処理装置並びにそれを備えた画像形成装置、画像処理プログラム、記録媒体
JP2001231041A (ja) 画像符号化方法及び装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 10489180

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2003741377

Country of ref document: EP

AK Designated states

Kind code of ref document: A1

Designated state(s): CN KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR

WWE Wipo information: entry into national phase

Ref document number: 1020047007959

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2003801629X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 2003741377

Country of ref document: EP