JP4189956B2 - 画像データ生成装置及び画像データ生成方法 - Google Patents

画像データ生成装置及び画像データ生成方法 Download PDF

Info

Publication number
JP4189956B2
JP4189956B2 JP2003065784A JP2003065784A JP4189956B2 JP 4189956 B2 JP4189956 B2 JP 4189956B2 JP 2003065784 A JP2003065784 A JP 2003065784A JP 2003065784 A JP2003065784 A JP 2003065784A JP 4189956 B2 JP4189956 B2 JP 4189956B2
Authority
JP
Japan
Prior art keywords
wavelet
inverse
coefficient
coefficients
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003065784A
Other languages
English (en)
Other versions
JP2004274630A (ja
Inventor
宏幸 作山
伸 青木
慶一 池辺
隆夫 井上
卓 児玉
毅 小山
郁子 草津
隆史 牧
彰 高橋
隆則 矢野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2003065784A priority Critical patent/JP4189956B2/ja
Publication of JP2004274630A publication Critical patent/JP2004274630A/ja
Application granted granted Critical
Publication of JP4189956B2 publication Critical patent/JP4189956B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、原画像と縦横比の異なる縮小画像を生成するための画像データ生成装置及び方法に関する。本発明は、そのアプリケーションプログラムや、プリンタドライバ等のデバイスドライバ、その他画像を扱う機器に応用可能である。
【0002】
【従来の技術】
JPEG(Joint Photographic Coding Experts group)で採用されているDCT(離散コサイン変換)に代わる周波数変換として、近年ウェーブレット変換の採用が増加している。その代表例は、2001年に国際標準になった、JPEG後継の画像圧縮伸長方式JPEG2000である。
ウェーブレット変換の特徴は、高圧縮率時での画質に優れることと同時に、該変換が画像を複数の解像度成分に分解する性質を有し、原画像よりも低い解像度の画像を生成することにある。
【0003】
しかしながら、従来から、原画像から低解像度画像を生成する際には次のような制限が課せられていた。従来の解像度変換を伴ったウェーブレット復号化では、その性質上、2のべき乗分の1でしか解像度を縮小することができない。これは、通常のウェーブレット変換が2分割フィルタバンクを用いていることに起因している。従って、復号化過程における合成フィルタバンクでは、2のべき乗分の1でしか低域成分を合成できないことになり、このため、復号画像の縮小率は2のべき乗分の1に制限されている。
【0004】
一方で、原画像の解像度が大きくなると、2のべき乗分の1以外の解像度でデコードする要求も増えて来ると考えられる。すなわち、2のべき乗分の1だけでなくそれ以外も含む任意有理数の解像度でデコード(復号化)することができるようになれば、端末側の制約条件に左右されることが無くなるため、非常に用途が広まると考えられる。
【0005】
この解像度変換に関し、特許文献1及び特許文献2(以下、順に従来技術1,従来技術2と呼ぶ)には、上述のごとき解像度変換の問題点を示した上で、変換方式にウェーブレット変換を用いて圧縮符号化がなされた画像信号を、端末側の制約条件に左右されること無く、任意有理数の解像度でデコード(復号化)可能とし、その結果として、例えば電子スチルカメラやプリンタ等で多用されている所謂サムネイル画像や原画像を解像度変換した画像(縮小又は拡大した画像)の記憶・表示を効率的に行えるようにし、各種の製品への使用用途を大幅に広げることを可能とする「ウェーブレット復号化装置及び方法」が記載されている。
【0006】
従来技術1のウェーブレット復号化装置は、符号化ビットストリームをエントロピー復号化するエントロピー復号化部と、量子化係数を逆量子化して変換係数を送出する逆量子化部と、変換係数を所定の方法でスキャニングして変換係数を並び換える変換係数逆スキャニング部と、並び換えられた変換係数を逆変換して復号画像を供するウェーブレット逆変換部とを備え、ウェーブレット逆変換部は、解像度変換倍率に応じて変換係数の帯域制限を行う手段を有し、アップサンプラ、ダウンサンプラ、合成フィルタを適応的に配置する構成をもつことを特徴としている。
【0007】
また、従来技術2のウェーブレット復号化装置は、符号化ビットストリームをエントロピー復号化するエントロピー復号化部と、量子化係数を逆量子化して変換係数を送出する逆量子化部と、変換係数を所定の方法でスキャニングして変換係数を並び換える変換係数逆スキャニング部と、並び換えられた変換係数を逆変換して復号画像を供するウェーブレット逆変換部とを備え、ウェーブレット逆変換部は、解像度変換倍率に応じてアップサンプラ、ダウンサンプラ、合成フィルタを適応的に配置する構成をもつことを特徴としている。
【0008】
図33は、従来技術2の公報に記載された、原画像の1/3の解像度を得る場合のウェーブレット逆変換部の構成を示す図である。帯域制限により、「原画像の1/3の解像度」よりも高い解像度成分111,112の係数は用いないが、低い解像度成分の係数(出力123)に対しては、全て逆変換を施して原画像の1/2の解像度の画像(信号114)を得、さらに逆変換を施して原画像と同じ解像度の画像(信号117)までもを得、最後にダウンサンプラ134によって1/3に間引き、所望の画像(信号118)を得ている。なお、図33において109はLLL信号、110はLLH信号、111はLH信号、112はH信号、119,121,124,126,129,131は2倍のアップサンプラ、120,125,130は合成用ローパスフィルタ、122,127,132は合成用ハイパスフィルタであり、従来技術2の発明では破線で示す構成要素を必要としない。
【0009】
【特許文献1】
特開2000−125293号公報
【特許文献2】
特開2000−125294号公報
【0010】
【発明が解決しようとする課題】
従来技術1及び従来技術2のいずれの発明においても、「適応的に配置する構成」の意味するところが不明確であるが、それらの発明の実施の形態においては、帯域制限後逆ウェーブレット変換を行って復号画像を得た後、最終段にダウンサンプラを配置して、その復号画像を間引くことで縮小画像を生成している。かかる構成では、最終的には除かれてしまう画素をも逆ウェーブレット変換を施して復号せざるを得ず、効率的ではない。
【0011】
その他の発明としては、本出願人による特願2000−344391号,2000−344155号,2001−195937号,2001−142942号に記載の変換符号の画像伸張方法(装置)が挙げられるが、これらの発明では、まず所望のサイズに近い解像度レベルまでのウェーブレット係数を取り出し、逆ウェーブレット変換を行って復号画像を生成した後、変倍処理を加えて所望のサイズの画像を得ることを特徴としている。これらの発明においては変倍処理が必要となる。
【0012】
ところで、以上の発明は、原則として原画像と縦横比の同じ縮小画像を生成することを目的としている。しかし、ワイドテレビの例をとるまでもなく、表示装置の多様化により、今後は原画像とは縦横比の異なる縮小画像の生成が必要となることが予想される。
【0013】
本発明は、上述のごとき実状に鑑みてなされたものであり、ウェーブレット係数が本来画素位置との対応関係を有するものであることに着目し、ウェーブレット係数と画素位置との対応関係を利用して、原画像のウェーブレット係数に対し選択的に逆ウェーブレット変換を施すことにより、より少ない処理量で、原画像と縦横比の異なる所望解像度の縮小画像データの生成が可能な画像データ生成装置及び方法を提供することを目的とする。
【0014】
また、従来技術1及び従来技術2の発明におけるウェーブレット係数に帯域制限を設ける手法は、高速化にある程度有効であるが、エントロピー復号化部で、帯域制限にかからないウェーブレット係数の符号を全て復号する構成を前提としており、効率的とはいえない。
【0015】
よって、本発明のもう1つの目的は、原画像のウェーブレット係数の符号の部分的復号によって、復号速度と復号画質のバランスをとりながら、原画像と縦横比が異なる所望解像度の縮小画像データの生成が可能な、画像データ生成装置及び方法を提供することにある。
以上は主たる目的であって、本発明の目的はそれのみではない。本発明の他の目的については以下の説明中で明らかにする。
【0016】
【課題を解決するための手段】
請求項1の発明は、ウェーブレット係数を逆ウェーブレット変換する逆ウェーブレット変換手段を有し、原画像のウェーブレット係数を前記逆ウェーブレット変換手段により逆ウェーブレット変換することにより、原画像とは縦横比の異なる縮小画像のデータを生成する画像データ生成装置において、同一サブバンド中のウェーブレット係数のうち、逆ウェーブレット変換を行うウェーブレット係数(ただし、当該逆ウェーブレット変換を行うウェーブレット係数は、同一サブバンドに含まれる全てのウェーブレット係数ではなく、かつ、1つ以上のウェーブレット係数である)を選択する係数選択手段を有し、前記逆ウェーブレット変換手段は、前記同一サブバンド中のウェーブレット係数に関しては、前記係数選択手段で選択されたウェーブレット係数のみを逆ウェーブレット変換することを特徴とするものである。
請求項2の発明は、請求項1の発明において、前記係数選択手段は、少なくとも生成する縮小画像の画素に関係するウェーブレット係数の全てを選択する手段を含むことを特徴とするものである。
請求項1又は2の発明によれば、同一サブバンド中の係数を選択的に逆変換するため、少ない計算量で原画像と縦横比の異なる所望解像度の縮小画像を生成することが可能である。
【0017】
請求項3の発明は、請求項1の発明において、前記係数選択手段は、生成する縮小画像の画素に関係するウェーブレット係数のみを選択する手段を含むことを特徴とするものである。この発明によれば、縮小画像を生成するための計算量をより一層減らすことができる。
【0018】
請求項4の発明は、請求項2の発明において、前記係数選択手段は、前記同一サブバンド中のウェーブレット係数のうち、該ウェーブレット係数がインターリーブされた状態で、生成する縮小画像の画素位置に当たるウェーブレット係数を含み、前記逆ウェーブレット変換のうち最後に施される方向の直線上に位置するウェーブレット係数を全て選択する手段を含むことを特徴とするものである。
請求項5の発明は、請求項2の発明において、前記逆ウェーブレット変換は2次元でなされるものとし、前記係数選択手段は、前記逆ウェーブレット変換のうち最初に施される方向の逆変換に係わる選択を行う際には、前記同一サブバンド中のウェーブレット係数のうち、該ウェーブレット係数がインターリーブされた状態で、生成する縮小画像の画素位置に当たるウェーブレット係数及び該画素位置を前記逆変換で求めるのに必要な画素位置に当たる係数を含み、前記逆ウェーブレット変換のうち最初に施される方向に垂直な直線上に位置するウェーブレット係数を全て選択する手段を含むことを特徴とするものである。
請求項6の発明は、請求項1乃至5のいずれか1項の発明において、前記係数選択手段は、生成すべき縮小画像に満たない範囲で最大の解像度を有するLLサブバンドを逆ウェーブレット変換して求めるよう、該LLサブバンドのデコンポジションレベルより高い同一デコンポジションレベルのサブバンド中のウェーブレット係数を全て選択する手段を含むことを特徴とするものである。
請求項4、5又は6の発明によれば、実装を簡易化でき、また処理を高速化できる。
【0019】
請求項7の発明は、請求項1乃至6のいずれか1項の発明において、前記逆ウェーブレット変換のタップ長がハイパスフィルタとローパスフィルタで異なるものとし、dを前記逆ウェーブレット変換の次元数、nを縮小画像の画素数、Tlowをローパスフィルタのタップ長、Thighをハイパスフィルタのタップ長として、前記同一サブバンド中のウェーブレット係数のうち、該ウェーブレット係数がインターリーブされた状態で、前記縮小画像の画素位置に当たる係数を中心として施すフィルタのタップ長の総和を、「d・n(Tlow+Thigh)/2」未満としたことを特徴とするものである。このような構成によれば、逆ウェーブレット変換のための演算量を減らし、処理を高速化できる。
【0020】
請求項8の発明は、請求項1乃至7のいずれか1項の発明において、前記逆ウェーブレット変換手段は、複数のコンポーネント毎に逆ウェーブレット変換を施すものであり、且つ、少なくとも1つのコンポーネントを他のコンポーネントと異なる解像度まで逆ウェーブレット変換する手段を含むことを特徴とするものである。
請求項8の発明によれば、複数のコンポーネントからなる縮小画像を、より高速かつ簡易な処理により生成することができる。
【0028】
請求項9の発明は、逆ウェーブレット変換のステップを有し、該ステップにより原画像のウェーブレット係数を逆ウェーブレット変換することにより、原画像とは縦横比の異なる縮小画像のデータを生成する画像データ生成方法において、同一サブバンド中のウェーブレット係数のうち、逆ウェーブレット変換を行うウェーブレット係数(ただし、当該逆ウェーブレット変換を行うウェーブレット係数は、同一サブバンドに含まれる全てのウェーブレット係数ではなく、かつ、1つ以上のウェーブレット係数である)を選択する係数選択ステップを有し、前記逆ウェーブレット変換のステップは、前記同一サブバンド中のウェーブレット係数に関しては、前記係数選択ステップで選択されたウェーブレット係数のみを逆ウェーブレット変換することを特徴とするものである。この発明によれば、同一サブバンド中のウェーブレット係数を選択的に逆変換するため、少ない計算量で原画像と縦横比の異なる所望解像度の縮小画像を生成することができる。
【0031】
【発明の実施の形態】
本発明に関し、ウェーブレット係数が画素位置との対応関係を有することに着目し、最終的に得たい画素に関係する係数のみに対して逆ウェーブレット変換を施すことにより、より少ない処理量で所望解像度の復号画像が生成可能である理由について説明する。
【0032】
図1乃至図4は、16×16のモノクロの画像に対して、JPEG2000で採用されている5×3変換と呼ばれるウェーブレット変換を2次元(垂直方向及び水平方向)で施す過程の例を説明するための図である。図1は原画像と座標系を、図2は垂直方向へのフィルタリング後の係数の配列を、図3は水平方向へのフィルタリング後の係数の配列を、図4は並べ替えた係数の配列を、それぞれ示す図である。なお、JPEG2000で規定されているウェーブレット変換には、5×3ウェーブレット変換及び9×7ウェーブレット変換の2種類があり、ウェーブレット変換に関し5×3ウェーブレット変換のみを例として説明するが、9×7ウェーブレット変換や他のウェーブレット変換にも適用可能である。
【0033】
図1に示すように、画像1の左上端を原点とし、水平方向をX軸、垂直方向をY軸とするXY座標をとり、あるX座標値xについて、Y座標がyである画素の画素値をP(y)(0≦y≦15)と表す。JPEG2000では、まず垂直方向(Y軸正方向)に、yが奇数(y=2i+1)の画素を中心にハイパスフィルタを施して係数C(2i+1)を得、次にyが偶数(y=2i)の画素を中心にローパスフィルタを施して係数C(2i)を得る(これを全てのxについて行う)。ここで、ハイパスフィルタ,ローパスフィルタは、順に次式(1),(2)で表される。ここで、記号|_x_|はxのフロア関数(実数xを、xを越えず且つxに最も近い整数に置換する関数)を示している。なお、画像の端部においては、中心となる画素に対して隣接画素が存在しないことがあり、この場合は所定ルールによって適宜画素値を補うことになるが、本発明の本質とは関係しないため詳述しない。
【0034】
C(2i+1)=P(2i+1)-|_(P(2i)+P(2i+2))/2_| …(1)
C(2i)=P(2i)+|_(C(2i-1)+C(2i+1)+2)/4_| …(2)。
【0035】
簡単のため、ハイパスフィルタで得られる係数をH、ローパスフィルタで得られる係数をLと表記すると、前述の垂直方向の変換によって図1の画像の係数配列1は図2のようなL係数,H係数の配列2へと変換される。
【0036】
続いて、今度は図2の係数配列2に対して、水平方向に、xが奇数(x=2i+1)の係数を中心にハイパスフィルタを施し、次にxが偶数(x=2i)の係数を中心にローパスフィルタを施す(これを全てのyについて行う)。この場合、上式(1),(2)のP(2i)等は係数値を表すものと読み替える。
【0037】
簡単のため、
前記L係数を中心にローパスフィルタを施して得られる係数をLL、
前記L係数を中心にハイパスフィルタを施して得られる係数をHL、
前記H係数を中心にローパスフィルタを施して得られる係数をLH、
前記H係数を中心にハイパスフィルタを施して得られる係数をHH、
と表記すると、図2の係数配列2は、図3に示すような係数配列3へと変換される。ここで同一の記号(LL等)を付した係数群はサブバンドと呼ばれ、図3は4つのサブバンドで構成される。
【0038】
以上で、1回のウェーブレット変換(1回のデコンポジション(分解))が終了する。ここで上述のLL係数だけを集める、すなわち図4に示す係数配列4のようにサブバンド毎(LLサブバンド41,HLサブバンド42,LHサブバンド43,HHサブバンド44)に集めLLサブバンド41だけ取り出すと、ちょうど原画像の1/2の解像度の”画像”が得られる。なお、このように、サブバンド毎に分類することをデインターリーブと呼び、図3のような状態に配置することを、インターリーブすると表現する。なお、前述した従来技術においてはこれを「スキャニングして並べ換える」と表現している。
【0039】
また、2回目のウェーブレット変換は、そのLLサブバンド(例えばLLサブバ41)を原画像と見なして、上述と同様の変換を行えばよい。この場合、並べ替えを行うと、図5に示す模式的な係数配列5(LLサブバンド51,HLサブバンド52,LHサブバンド53,HHサブバンド54,HLサブバンド42,LHサブバンド43,HHサブバンド44)が得られる。図5の場合、2LL〜1HHまで、計7種類のサブバンドが存在する。
【0040】
なお、図4及び図5における係数の接頭の1や2は、何回のウェーブレット変換でその係数が得られたかを示しており、デコンポジションレベルと呼ばれる。図33中のレベルは、デコンポジションレベルのことであり、デコンポジションレベルが高いサブバンドほど、解像度が低いことになる。
なお、以上の議論において、1次元のみのウェーブレット変換をしたい場合には、いずれかの方向だけの処理を行えばよい。
【0041】
一方、逆ウェーブレット変換は、図3に示すようなインターリーブされた係数の配列3に対して、まず水平方向に、xが偶数(x=2i)の係数を中心に逆ローパスフィルタを施し、次にxが奇数(x=2i+1)の係数を中心に逆ハイパスフィルタを施す(これを全てのyについて行う)。ここで逆ローパスフィルタ、逆ハイパスフィルタは、順に次式(3),(4)で表される。先と同様、画像の端部においては、中心となる係数に対して隣接係数が存在しないことがあり、この場合は所定ルールによって適宜係数値を補うことになるが、本発明の本質とは関係しないため詳述しない。
【0042】
P(2i)=C(2i)-|_(C(2i-1)+C(2i+1)+2)/4_| …(3)
P(2i+1)=C(2i+1)+|_(P(2i)+P(2i+2))/2_| …(4)。
【0043】
これにより、図3の係数配列3は図2のような係数配列2に変換、すなわち逆変換される。続いて同様に、垂直方向に、yが偶数(y=2i)の係数を中心に逆ローパスフィルタを施し、次にyが奇数(y=2i+1)の係数を中心に逆ハイパスフィルタを施せば(これを全てのxについて行う)、1回のウェーブレット逆変換が終了し、図1の画像の係数配列1に戻る、すなわち再構成されることになる。なお、ウェーブレット変換が複数回施されている場合は、やはり図1をLLサブバンドとみなし、HL等の他の係数を利用して同様の逆変換を繰り返せばよい。なお、ウェーブレット変換及び逆ウェーブレット変換によって、各サブバンドが生成される様子及び再構成される様子については後述する(図9参照)。
【0044】
ここで、逆ローパスフィルタの結果が「フィルタ中心の係数(すなわちフィルタリングしたい係数)」を含めた3つの係数から求められること、及び、逆ハイパスフィルタの結果が「フィルタ中心の係数」と「隣接する2つの逆ローパスフィルタの結果」から求められることが理解できる。後者に関し、2つの逆ローパスフィルタの結果はフィルタ中心の係数を含む5つの係数から計算されるため、結局は5つの係数から求められることとなる。これらの理解から明らかなように、1つの画素を得るためには、その画素を中心とした逆ウェーブレット変換をすればよく、その逆変換に関係しない他の画素に対してまで逆変換を施す必要はない。したがって、逆変換によって、間引かれる画素までも求めるのではなく、同一サブバンド中の係数のうち、最終的に得たい画素を求めるのに必要な係数だけを用いて逆ウェーブレット変換を施すことにより、より少ない処理量で所望解像度の復号画像の生成が可能なのである。
【0045】
図6は、本発明の一実施形態に係る画像データ生成装置の構成を説明するための図である。
本実施形態に係る画像データ生成装置10は、原画像(原画像に色変換やその他の変換を行った後の画像も該当する)をもとに1又は複数回ウェーブレット変換を施すことにより得られたウェーブレット係数を、逆ウェーブレット変換する逆ウェーブレット変換手段11と、逆ウェーブレット変換される係数の選択のための係数選択手段12を有する。なお、これは特徴的な構成であって、より具体的な装置構成においては、後述するように、他の構成要素も具備することになる。例えば、ウェーブレット係数がエントロピー符号化されているならば、符号化データからウェーブレット係数を復号するためのエントロピー復号手段を具備することになる。ウェーブレット係数が符号化前に量子化されている場合には、逆量子化手段も具備することになる。また、色変換された複数コンポーネントのウェーブレット係数を扱う場合には、逆色変換手段も具備することになる。
【0046】
係数選択手段12は、同一サブバンド中のウェーブレット係数のうち、逆ウェーブレット変換を行うウェーブレット係数を選択する。ここで、選択前のウェーブレット係数の全体は、換言すると1つのLLサブバンド(原画像データの場合も含む;このLLサブバンドよりデコンポジションレベルが1つ高い4つのサブバンドともいえる)内のウェーブレット係数の全体であるとも云える。ただし、ここでの選択は従来技術のように例えば2LL,2HL,2LH,2HHを選択するが1HL,1LH,1HHは選択しない(つまり逆変換しない)、といった選択ではない。実際には、後述するように、選択前の係数はインターリーブされたものである方が選択処理は簡単になる。
逆ウェーブレット変換手段11は、上述の同一サブバンド中のウェーブレット係数に関しては、係数選択手段12で選択されたウェーブレット係数のみを逆ウェーブレット変換する。この逆ウェーブレット変換により縮小画像のデータを生成することとなる。
なお、例えば本発明の選択的逆変換を利用して2LLサブバンド(3LL,3HL,3LH,3HHサブバンド)内の係数から選択した係数を逆変換するのであれば、その前処理で必要に応じて求めるべき3LLサブバンド(4LL,4HL,4LH,4HHサブバンドからなり、係数選択手段12を経ずに処理させるもの)内の係数など、その他の処理(前処理等)に係わるウェーブレット係数を、逆ウェーブレット変換手段11で逆変換してもよいことは言うまでもない。
本実施形態に係る画像データ生成装置10は、上述したように、同一(1つ)のサブバンド(ただし原画像全体もサブバンドとみなす場合も含む)中の係数を選択的に逆ウェーブレット変換する手段を有するとも云える。
【0047】
なお、本明細書中においては、逆ウェーブレット変換手段11により逆変換する係数をウェーブレット係数又は単に係数と呼ぶこととし、逆変換後、再度逆変換する係数をもウェーブレット係数又は係数と呼ぶこととする。2次元の逆ウェーブレット変換であれば、両方向への逆変換を施す係数や、さらには一方向への逆変換を施す係数をもウェーブレット係数又は係数と呼ぶこととする。
【0048】
図7は、図1の原画像を5×3ウェーブレット変換した後の全ての係数を、逆ウェーブレット変換することにより生成された16×16画像を示す図である。今、原画サイズを16画素×16画素とし、この原画像から横方向1/3、縦方向1/4のサイズの縮小画像(16は3で割り切れないため、5×4画素の画像)を生成することを考える。図7は、全ての係数を逆変換(水平方向,垂直方向の順とする)することによって生成した16×16の画像の係数配列の様子(図1と同じもの)を示しているが、5×4の画像を生成するためには、図7中の係数のうち下線を引いた5×4画素を中心とした逆ウェーブレット変換だけを行えばよい。本例では、5×3変換を採用しており、そして下線を引いた画素はいずれも偶数y座標に位置しているため、最終的に図7で色付けした20画素(これは下線を引いた画素と一致)の分だけの逆変換(垂直方向)をすれば足りることになる。これは、全画像の8%未満の画素だけを選択し、逆変換時の垂直方向へのフィルタリングにより20画素の係数を求めればよいことを意味する。なお、ここで色付けして示した20画素は、垂直方向の逆変換前には図7に示した係数値を持たず、図7で例示した各画素位置における係数値はあくまで逆ウェーブレット変換後(水平及び垂直方向)の値である。このような実施形態によれば、少ない計算量で縮小画像を生成することが可能となる。
【0049】
本発明の1つの実施形態によれば、係数選択手段12は、少なくとも生成する(最終的に得たい)縮小画像の画素に関係するウェーブレット係数の全てを選択する手段を含む。
さらに他の実施形態によれば、係数選択手段12は、生成する(最終的に得たい)縮小画像の画素に関係するウェーブレット係数のみを選択する手段を含む。すなわち、図7に示した垂直方向の変換の例のように、最終的に得たい縮小画像の画素に関係する係数のみに対して逆ウェーブレット変換を施す。かかる実施形態によれば、最も少ない計算量で縮小画像を生成することが可能となる。
ここで「関係」とはウェーブレット変換の性質による関係などを指し、その例としては上式(1)〜(4)により導かれる関係(図7の下線画素に対する色付け画素など)が挙げられる。
【0050】
なお、ここで確認しておきたいのは、最終的に得たい縮小画像の画素に関係する係数のみに対して逆ウェーブレット変換を施した場合、最終的に得られる画像は、全てのウェーブレット係数を逆変換して得られた画像に間引きを加えて生成した縮小画像と数学的に等価なものであるということである。ウェーブレット係数自体を間引き、該間引いた係数に対して逆ウェーブレット変換を施した場合、サイズとしては同じ縮小画像が得られることにはなる。しかし、係数自体を間引いてしまった場合には、正変換で得られた係数とは異なる係数を用いて逆変換を行うことになるため、得られた縮小画像は、もはや数学的な根拠を失ったものとなるのである。
一方、本発明の場合は、数学的に根拠のある、全く等価な画像が得られるのである。
【0051】
なお、上述のごとく、図7の下線の20画素を求めるためには、逆変換時の垂直方向のフィルタリングが終わった状態の係数として、その20画素の他に、色付けして示すそのその周辺の画素をも求めておく必要がある(図7の例では、下線を付けた20画素が全て偶数y座標に位置するため、その20画素と色付け画素は完全に一致するが、その20画素中に奇数y座標に位置する画素が含まれるより一般的なケースでは、下線の画素の他に、その周辺画素の係数も求める必要がある)。当該画素が、この「周辺の画素」に相当するか否かを判断するのが煩雑な場合は、下線の画素を含む垂直方向の直線上に位置する画素を全て求めてしまい、その後必要に応じて画素を間引く構成も考えられる。ここで「必要に応じて」と述べたのは、原画像とは縦横比が異なる縮小画像を要求された場合には、間引きの必要がない場合もあるからである。
【0052】
したがって、本発明の1つの実施形態として、生成したい縮小画像の画素位置に当たる係数を含んだ一方向(逆ウェーブレット変換のうち最後に逆変換が施される方向)の直線上に位置する係数を全て求めるようにしてもよい。この実施形態によれば、係数選択手段12は、上述の同一サブバンド中のウェーブレット係数(インターリーブされた状態)のうち、生成したい縮小画像の画素位置に当たるウェーブレット係数を含み、逆ウェーブレット変換のうち最後に施される方向(上述の例では垂直方向)の直線上に位置するウェーブレット係数を全て選択する手段を含むことになる。このような選択により、これらのウェーブレット係数全てが逆ウェーブレット変換手段11で逆変換され、その逆変換の結果として、生成したい縮小画像の画素位置の係数を含む上述の直線上に位置する係数が全て求まることとなる。求まった係数全てからなる画素群から、上述のごとく必要に応じて間引き処理を施すことにより、所望の縮小画像が生成される。かかる実施形態によれば、縮小画像生成に際し、実装を簡易にすることが可能となる。
【0053】
ここまでは、最後に施す方向の逆変換時における係数選択について説明した。次に、逆変換を二次元で行う場合に、最初に施す方向の逆変換時における係数選択について説明する。
【0054】
図8は、図1の原画像を5×3ウェーブレット変換した後の全ての係数に対し、逆変換時の水平方向のフィルタリングを施すことにより生成された16×16画像を示す図である。図8中の係数配列7は図2に相当するものとなる。
図7の色付け画素位置の係数を求めるためには、逆変換時の水平方向のフィルタリング前の状態の係数として、図8に示す色付け部分の画素を選択し、選択した係数に水平方向の逆変換を施す必要がある。すなわち、図7の色付け画素位置の係数を求めるためには、逆変換時の水平方向のフィルタリングが終わった状態の係数として、図8に示す色付け部分の画素が求められている必要がある。この場合、図8において、下線を付けた画素を含む垂直方向の直線上に位置する画素を全て求めてしまうのが、実装上簡易な場合もある。
なお、図8に色付けして示した99画素は、水平方向の逆変換前には図8に示した係数値を持たず、図8で例示した各画素位置における係数値はあくまで逆変換時の水平方向のフィルタリング後の値である。
【0055】
したがって、本発明の1つ実施形態として、逆ウェーブレット変換は2次元でなされるものとし、縮小画像の画素位置とその位置に係わる位置に当たる係数にを含み、該逆変換のうち最初に施される方向に垂直な直線上に位置する係数を全て求めるようにしてもよい。この実施形態によれば、係数選択手段12は、上述の同一サブバンド中のウェーブレット係数(インターリーブされた状態)のうち、逆ウェーブレット変換のうち最初に施される方向(上述の例では水平方向)の逆変換に係わる選択を行う際には、生成する縮小画像の画素位置に当たる係数及び該画素位置をその逆変換で求めるのに必要な画素位置に当たる係数を含み、その逆変換のうち最初に施される方向に垂直な直線上に位置する全てのウェーブレット係数を選択する手段を含むことになる。この手段を利用した結果、選択された係数に対し最初の方向の逆変換を実施し、他の方向の逆変換及び必要に応じて間引き処理を施すことにより生成したい縮小画像の画素位置の係数を求めるようにしている。かかる実施形態によれば、縮小画像生成に際し、実装を簡易にすることが可能となる。
【0056】
なお、従来技術2における図33においては、原画像と同じ解像度の画像を生成してからこれを1/3に間引いている。しかし、本来は、原画像の1/2の解像度の画像を元に、1/3の画像を求める方が高速である。図9は、本発明を利用して縮小画像を生成する場合の構成を、ウェーブレット変換・逆ウェーブレット変換の流れに沿って示したものである。本発明は原画像と縦横比の異なる縮小画像を生成することを目的としているが、従来技術との比較のため、ここでは解像度を縦横共に1/3にした縮小画像を生成する場合を考える。この場合、1/4の解像度、すなわち求める解像度よりも小さな解像度のLL係数(2LL)を逆ウェーブレット変換で求めればよく、そして求めた2LLの係数を(2HL,2LH,2HHサブバンドの係数を利用して)、選択的に逆ウェーブレット変換することにより、最終的に1/3の解像度の画像を得ることができる。
【0057】
したがって、本発明の1つの実施形態として、直近の解像度までは全係数を逆変換するようにしてもよい。すなわち、この実施形態によれば、係数選択手段12は、生成すべき縮小画像に満たない範囲で最大の解像度を有するLLサブバンドを逆ウェーブレット変換して求めるために、そのLLサブバンドのデコンポジションレベルより高い同一デコンポジションレベルのサブバンド中のウェーブレット係数を全て選択する手段を含むことになる。
【0058】
なお、図7の例でも言及したように、5×3逆変換では、最終的に求めたい下線で示す画素が奇数位置にあるか偶数位置にあるかで、求めるべき隣接画素の数が異なる。これは、先に述べたとおり、ローパスフィルタとハイパスフィルタのタップ長の違いに由来するものである。よって、この場合、最終的に求めたい画素が、なるべく偶数位置にくるように選べば、求めるべき隣接画素の数を最小にでき、処理を高速にできる。最終的に求めたい画素が偶数位置にくるように選ぶには、最終的に求めたい画素群の頂点の画素、すなわち図7の例では左上の値が−3の画素を偶数位置にすればよい。また、下線で示す画素群を格子状に規則的に配置しない方法もある。
【0059】
よって、本発明の1つの実施形態によれば、フィルタのタップ長の総和が短くなるような位置にある画素の係数が選択される。図7において、x,yともに偶数座標であるような位置を選択した場合,逆変換時のフィルタのタップ長は、一方向あたりTlowで最小となる。逆に、x,yともに奇数座標であるような位置を選択した場合、逆変換時のフィルタのタップ長は一方向あたりThighで最大となる。従って、演算量を減らしたい場合には、平均的に、一方向あたりのフィルタのタップ長がこれらの平均値未満、すなわち「(Thigh+Tlow)/2」未満となるように座標を選択してやるのが効果的である。本実施形態では、逆ウェーブレット変換のタップ長がハイパスフィルタとローパスフィルタで異なるものとし、dを逆ウェーブレット変換の次元数、nを縮小画像の画素数、Tlowをローパスフィルタのタップ長、Thighをハイパスフィルタのタップ長として、上述の同一サブバンド中のウェーブレット係数(インターリーブされた状態)のうち、生成縮小画像の画素位置に当たる係数を中心として施すフィルタのタップ長の総和を「d・n(Tlow+Thigh)/2」未満とする。
かかる実施形態によれば、逆ウェーブレット変換での縮小画像生成に際し、高速な処理を実現することが可能となる。逆ウェーブレット変換が2次元の場合には、同一(1つの)サブバンド中の係数を選択的に逆変換するステップと、その変換のタップ長がハイパスフィルタとローパスフィルタで異なり、インターリーブされた状態の係数のうち、縮小画像の画素位置に当たる係数を中心として施すフィルタのタップ長の総和を、n(Tlow+Thigh)未満とするステップを備えていればよいこととなる。2次元逆ウェーブレット変換での縮小画像生成に際しても、高速な処理を実現することが可能となる。
【0060】
上述した各実施形態を適時に利用することにより、3LL,3HL,3LH,3HH,2HL,2LH,2HH,1HL,1LH,1HHのサブバンドに分割されたウェーブレット係数から、原画像に対し横方向1/3、縦方向1/4の解像度をもつ縮小画像を生成する場合には、本発明の選択的逆変換を適用した主たるものとして、次の(1)〜(3)の処理手順が実行可能となる。なお、例えば2次元のウェーブレット係数に対しては水平方向,垂直方向の逆変換処理で、本発明の選択的逆変換を適用するか否かを異ならせてもよい。
【0061】
(1)2LLサブバンドの係数、すなわちデコンポジションレベル3の4つのサブバンド(3LL,3HL,3LH,3HH)の係数に対し、従来の、すなわち本発明の選択的逆変換を用いない逆ウェーブレット変換(換言すると全ての係数を選択した変換)を施し、2LLを求め、1LLサブバンドの係数、すなわちデコンポジションレベル2の4つのサブバンド(2LL,2HL,2LH,2HH)の係数をインターリーブした状態で選択的に逆ウェーブレット変換し、変換後の係数を取り出すことで縮小画像を得る。
(2)2LLサブバンドの係数、すなわちデコンポジションレベル3の4つのサブバンド(3LL,3HL,3LH,3HH)の係数から、インターリーブした状態で、2回の逆変換を加味して係数を選択し、2回の逆ウェーブレット変換を施し(2HL,2LH,2HHの係数も利用)、変換後の係数を取り出すことで縮小画像を得る。
(3)上記(1),(2)において、係数の選択を簡略化し、変換後に残った不要な係数を間引きし、縮小画像を得る。
【0062】
さて、原画像が例えばRGBという3コンポーネントからなるカラー画像であって、その画像に圧縮を施す場合、圧縮率をあげるために、RGBに色変換を施して1つの輝度と2つの色差の3つの新たなコンポーネントに変換し、変換後のコンポーネントに対して個々にウェーブレット変換を施すのが通常である。
【0063】
先のJPEG2000で採用されている色変換の例としては、RCT(reversible Component Transform)と呼ばれる下記変換がある。
【0064】
輝度Y=|_(R+2G+B)/4_|
色差Cr=R−G
色差Cb=B−G …(5)
であり、その逆変換は、
R=G+Cr
G=Y−|_(Cr+Cb)/4_|
B=Cb+G …(6)
となる。
【0065】
図10は、本発明の実施形態に係るJPEG2000におけるDWT方式の画像圧縮/伸張アルゴリズムを説明するための図である。
JPEG2000は、2001年に国際標準になったJPEG後継の画像圧縮伸張方式であり、図10のように、2次元ウエーブレット変換・逆変換部22、量子化・逆量子化部23、エントロピー符号化・復号化部24等で構成されている。このうち本発明に関する部分は、2次元ウエーブレット変換・逆変換部22(本明細書中では主に逆ウェーブレット変換手段として説明)である。色変換・逆色変換部(色空間変換・逆変換部)21からの入力又は色変換・逆色変換部21への出力として、さらにはタグ処理部25からの入力又はタグ処理部25への出力として、2次元ウェーブレット変換・逆変換部22,量子化・逆量子化部23,エントロピー符号化・復号化部24のそれぞれが備えられている。各部は正逆方向で別構成としても良いことは言及するまでもないが、各部における処理はコンポーネント毎に実行するような構成としてもよい。図10に示すJPEG2000での圧縮・伸張の処理としては、伸張時には、エントロピー復号、逆量子化を経て得られたコンポーネント毎のウェーブレット係数に対して、逆ウェーブレット変換が施され、その後逆色変換がなされてRGBの画素値に戻るといった流れになる。
【0066】
ここで、各コンポーネントが及ぼす画質への影響を考えた場合、一般に輝度による影響の方が色差による影響よりも大きいことから、図10の量子化過程においては、輝度よりも色差の方をより量子化するのが通常である。これを縮小画像の生成に適用し、輝度に比べ、色差の解像度を低く抑えて逆変換し、その分色差成分は(仮想的に)補間する等して逆色変換を行えば、画質への影響を抑えながら、縮小画像の生成を高速に行うことが可能である。また、画質への影響度はCrとCbの例でも全く等しくはない。画像の色合いによって常に成立するとは限らないが、実験的にはCbの方がCrよりも影響が少ない結果が得られていることから、色差間で解像度を変えることも可能である。
【0067】
したがって、本発明の1つの実施形態として、複数のコンポーネントのウェーブレット係数を逆ウェーブレット変換し、原画像の縮小画像を生成する装置において、コンポーネントを異なる解像度まで逆変換する手段を有するようにし、コンポーネントごとに逆変換する解像度を変えるようにしてもよい。すなわち、コンポーネント間の解像度に差を設けたウェーブレット逆変換を施すようにしてもよい。
この実施形態に係る画像データ生成装置は、ウェーブレット係数を逆ウェーブレット変換する逆ウェーブレット変換手段を有し、原画像のウェーブレット係数を前記逆ウェーブレット変換手段により逆ウェーブレット変換することにより、原画像とは縦横比の異なる縮小画像のデータを生成するであり、前記逆ウェーブレット変換手段は、複数のコンポーネント毎に逆ウェーブレット変換を施すものであり、且つ、少なくとも1つのコンポーネントを他のコンポーネントと異なる解像度まで逆ウェーブレット変換する手段を含む構成を有する。本実施形態によれば、複数のコンポーネントからなる縮小画像を、コンポーネント間の特性を利用して処理量を低減させ、高速に生成することが可能となる。
また、上述した選択的逆変換に係わる各実施形態の画像データ生成装置に、本実施形態の特徴部分を併せて適用すると、更なる高速化や実装の簡易化が可能である。
【0068】
また、1つの実施形態として、複数のコンポーネントのウェーブレット係数輝度成分及び色差成分の各々について、上述の解像度に満たない範囲で最大の解像度を有するLLサブバンドの係数を求めるようにしてもよい。この実施形態によれば、複数のコンポーネントからなる縮小画像を、より高速にかつ簡易に生成することが可能となる。
【0069】
また、本発明の1つの実施形態に係る画像データ生成装置においては、上述のコンポーネントが輝度成分及び色差成分であり、輝度成分を、色差成分よりも高い解像度まで逆変換するようにする。結果として色差は低解像度となる。かかる実施形態によれば、輝度,色差のコンポーネントからなる縮小画像を、画質への影響を抑えながら処理量を低減させ、より高速に生成することが可能となる。
【0070】
また、1つの実施形態として、上述のコンポーネントが2つの色差成分を有するものとし、この2つの色差成分を異なる解像度まで逆変換するようにしてもよい。本実施形態によれば、複数のコンポーネントからなる縮小画像を、色差成分間の特性を利用して色差の一方をさらに低解像度とすることで、より高速に生成することが可能となる。
【0071】
また、1つの実施形態として、色差成分の解像度を、輝度成分の解像度の1/2としてもよい。これは、ちょうど色差を輝度の1/4にサブサンプリングすることに相当し、一般に画質と処理速度のバランスにすぐれた組合せである。かかる実施形態によれば、複数のコンポーネントからなる縮小画像を、画質と処理速度のバランスのとれた状態で生成することが可能となる。
【0072】
以上、本発明の画像データ生成装置を中心に様々な実施形態を説明してきたが、本発明は、それらの装置における処理ステップからなる画像データ生成方法としても、或いは、コンピュータをそれら装置として又はそれらの装置の各手段として機能させるための、又はコンピュータにそれら方法を実行させるためのプログラム(それらの処理内容が実装されているコンピュータプログラム)としても、或いは、そのプログラムを記録したコンピュータ読み取り可能な記録媒体(それらの処理内容が記録されているコンピュータ読み取り可能な情報記録媒体)としての形態も可能である。後述する実施例からも明らかなように、この方法により、少ない計算量で縮小画像を生成することやコンポーネント間の特性を利用して縮小画像を高速に生成することが可能となる。また、このプログラムにより、上述の各実施形態に対応した処理によって、少ない計算量で縮小画像を生成することや、高画質な縮小画像を簡易に生成すること、コンポーネント間の特性を利用して縮小画像を高速に生成することが可能なシステムを提供することができる。また、この記録媒体により、上述の各実施形態に対応した構成で、少ない計算量で縮小画像を生成することや、高画質な縮小画像を簡易に生成すること、コンポーネント間の特性を利用して縮小画像を高速に生成することが可能なシステムを提供することができる。これらのプログラムや記録媒体は、上述した実施形態に加え、後述する実施例を元に容易に実施できることは明らかである。
【0073】
本発明による画像データ生成の機能を実現するためのプログラムやデータを記憶した記録媒体の実施形態を説明する。記録媒体としては、具体的には、CD−ROM、光磁気ディスク、DVD−ROM、FD、フラッシュメモリ、及びその他各種ROMやRAM等が想定でき、これら記録媒体に上述した本発明の各実施形態に係る機能をコンピュータに実行させ、画像データ生成の機能を実現するためのプログラムを記録して流通させることにより、当該機能の実現を容易にする。そしてコンピュータ等の情報処理装置に上記のごとくの記録媒体を装着して情報処理装置によりプログラムを読み出すか、若しくは情報処理装置が備えている記憶媒体に当該プログラムを記憶させておき、必要に応じて読み出すことにより、本発明に関わる画像データ生成の機能を実行することができる。
【0074】
以下、本発明の実施形態をより具体的に説明する。
図11は、本発明の各実施形態に係る画像データ生成装置の構成例を示す図である。
ここで説明する画像データ生成装置は、例えばPC(PC)上でソフトウェアにより実現されるもので、データバス33を介して、RAM31,CPU32,HDD(ハードディスク装置)34が接続された構成となっており、以下の流れで、原解像度の圧縮画像から縮小画像が生成され、HDD34に保存されることとなる。
【0075】
HDD34上に記録された原解像度の圧縮画像データが、CPU32からの命令によってRAM31上に読み込まれる(i)。次に、CPU32はRAM31上の圧縮された画像データを所定解像度分だけ読み込み、ウェーブレット係数を求め、本発明に係る処理を適用して縮小画像を生成する(ii)。CPU32は、生成された縮小画像をRAM31上の別の領域に書き込む(iii)。CPU32からの命令によって、縮小画像がHDD34上に記録される(iv)。
【0076】
図12は、本発明の各実施形態に係る画像データ生成装置の他の構成例を示す図である。
ここで説明する画像データ生成装置は、例えばPC(PC)上でソフトウェアにより実現されるもので、データバス37を介して、RAM35,CPU36,HDD38,モニタ(CRT,LCDモニタ等)39が接続された構成となっている。ユーザからの指示により、原解像度の画像データから縮小画像が高速に生成され、モニタ39に表示される。
【0077】
HDD38上に記録された原解像度の圧縮画像データが、CPU36からの命令によってRAM35上に読み込まれる(i)。次に、CPU36はRAM35上の圧縮された画像データを所定解像度分だけ読み込み、ウェーブレット係数を求め、本発明に係る処理を適用して縮小画像を生成する(ii)。CPU36は、生成された縮小画像をRAM35上の別の領域に書き込む(iii)。CPU36からの命令によって、縮小画像がモニタ39に送信され、表示がなされる(iv)。
【0078】
図13は、例えば図11又は図12に示した本発明の画像データ生成装置における処理の一実施例を説明するためのフロー図で、本発明による選択的逆ウェーブレット変換を適用した縮小画像生成処理の全体的な流れを示している。また、図14は本発明の一実施例における符号の構成例を示す図、図15はデコンポジションレベルと解像度レベルの関係を示す図である。本実施例の画像データ生成装置に関し、上述のごとき装置構成のもと、式(5)による色変換及び5×3変換を使用したJPEG2000フォーマットによって圧縮された縦横偶数画素数の画像データを元に、原画像と縦横比の異なる縮小画像を生成する例を説明する。
【0079】
本実施例における縮小画像の生成処理においては、まず、ユーザから指定された解像度(横方向1/kh,縦方向1/kvとする)に基づいて生成する縮小画像の解像度レベルrをセットする(ステップS1)。画像データ生成装置に、ユーザが所望の解像度を指定できる手段を備えておくとよい。次にi=0にセットし(ステップS2)、iがrになるまでiをインクリメントし(ステップS3,S5)、その間、解像度レベルiについて全コンポーネントのエントロピー符号を復号する(ステップS4)。なお、エントロピー符号の復号(可変長符号の復号であり、JPEG2000ではMQ符号器が使用される)は、本実施形態の主旨には無関係であるため、ここでの説明は省略する。
【0080】
図14においては解像度0(最小解像度)のコンポーネント0(輝度),コンポーネント1(色差Cb),コンポーネント2(色差Cr)、解像度1のコンポーネント0,1,2、解像度2のコンポーネント0,1,2、...の順に並んだ符号を示しており、公知のようにJPEG2000においては、図14に示したように、全てのコンポーネントの符号を、解像度順に並べた状態に構成することができるため、最も低解像度から所望の解像度までだけのウェーブレット係数を容易にとりだすことができる(ステップS1〜S5)。
【0081】
これまでの議論及び本明細書中において、しばしば1/3の「解像度」という表現を使ったが、JPEG2000では、解像度に類似した量として「解像度レベル」と呼ぶ量を使用する。最も低い解像度レベルが0、その次の解像度レベルは1となり、デコンポジションレベルと解像度レベルの関係は図15に示すようになる。なお、この関係はLLのみ例外的な値となる。すなわち、3LLは解像度レベル0、3HL,3LH,3HHは解像度レベル1、2HL,2LH,2HHは解像度レベル2、1HL,1LH,1HHは解像度レベル3というようになる。また、2LLは解像度レベル1、1LLは解像度レベル2となる。
【0082】
解像度レベルrが原画像の何分の1の解像度かは、デコンポジションレベルの最大値によることになる。デコンポジションレベルの最大値をdとすると、解像度レベルがr(r>0)であるウェーブレット係数(サブバンド)の、原画像に対する解像度は1/2^(d−r+1)になる。よって、原画像に対し横方向に1/kh、縦方向に1/kvに縮小した画像を生成する場合には、図13のステップS1において、kh,kvのうちの小さい方の値をkとして次式(7)により算出した解像度レベルrがセットされる。
r=d−(log2k−1) …(7)。
【0083】
ウェーブレット係数は通常、量子化されており、逆ウェーブレット変換前には逆量子化しておく必要がある。そこで、解像度レベルr未満の解像度iにおける処理が終了すると(ステップS3でNO)、復号した全てのウェーブレット係数を逆量子化する(ステップS6)。その後、選択的逆ウェーブレット変換処理を実行する(ステップS7)。ステップS7の選択的ウェーブレット逆変換処理は、本発明の主要部をなし、これは図16の「全コンポーネントに対するLL生成処理」、図18の「全コンポーネントに対する水平画素位置決定及び水平方向フィルタリング処理」、図20の「全コンポーネントに対する垂直画素位置決定及び垂直方向フィルタリング処理」からなるが、これについては後述する。コンポーネントが複数ある場合には、最後に逆色変換を行う(ステップS8)。
【0084】
図16は全コンポーネントに対するLL生成処理、すなわち、生成しようとする縮小画像の解像度に満たない解像度を有するLLサブバンドの係数を求める処理を説明するためのフロー図である。
本実施例における全コンポーネントに対するLL生成処理は、まず、輝度についてのLL生成処理を施し(ステップS11)、次にrを2つ下げて色差CbについてLL生成処理を施し(ステップS12)、次にrを1つ上げて色差CrについてLL生成処理を施す(ステップS13)という手順で行われる。
【0085】
図17は、図16の内容を詳細に示すフロー図でああり、4つのサブバンドのウェーブレット係数を利用して、1つ低いデコンポジションレベルのLL係数(新たなLL係数)を生成することを示している。これを再帰的に繰り返して、所望の解像度レベルr未満の範囲で最大の解像度を有するLL係数が全て得られる。すなわち、全コンポーネントのLL生成処理は、まずi=0にセットし(ステップS14)、iがrになるまでiをインクリメントし(ステップS15,S17)、その間、解像度レベルiについて、指定されたコンポーネントについてLLと解像度レベルiの3つのサブバンドHL,LH,HHとを使用し、逆ウェーブレット変換を行って新たなLLを生成する(ステップS16)。解像度レベルr未満の解像度iにおける処理が終了すると(ステップS15でNO)、新たなLLの縦画素数LLheight及び新たなLLの横画素数LLwidthを保持し(ステップS18)、終了する(ステップS19)。生成する縮小画像の解像度に満たない解像度を有するLLサブバンドの係数が全て求まることとなる。
【0086】
ここでステップS12で説明した通り、色差Cbについては、輝度よりも2つ低い解像度レベルまでのサブバンドを利用してLLを生成し、色差Crについては、色差Cbよりも1つ高い解像度レベルまでのサブバンドを利用してLLを生成している。なお、図16で示す例では色差Crは輝度の1/2の解像度としているが、他の実施例としてこれをCbと同じ1/4の解像度にするには、ステップS13においてr=rとすればよいのは明らかである。同様に、輝度の解像度が原画像の1/kである場合、色差Cr,Cbのそれらは順に1/2k,1/4kとなる。従って、後述する図19、図21におけるkは、色差Cr,Cbに関しては、それぞれ2k,4kとして処理される。
【0087】
図18は全コンポーネントに対する水平画素位置決定及び水平方向フィルタリング処理を説明するためのフロー図である。
全コンポーネントに対する水平画素位置決定及び水平方向フィルタリング処理は、まず、輝度についての水平画素位置決定及び水平方向フィルタリング処理を施し(ステップS21)、次に色差Cbについて水平画素位置決定及び水平方向フィルタリング処理を施し(ステップS22)、さらに色差Crについて水平画素位置決定及び水平方向フィルタリング処理を施す(ステップS23)という手順で行われる。
【0088】
図19は、図18の内容を詳細に示すフロー図であり、khを越えない2のべき乗値の最大値pを求め、kh/pを単位として、前述した「最終的に求めたい画素」の水平位置を求める処理(「水平位置決定処理」)及び、その水平位置については、水平方向のフィルタを全ての垂直方向の位置について実施する処理を示している。全ての垂直方向の位置についてフィルタリングを行っても、「水平位置決定処理」を行っているため、ウェーブレット係数は選択的に求められ、結果としてウェーブレット係数が選択的に逆ウェーブレット変換されることとなる。すなわち、水平画素位置決定及び水平方向フィルタリング処理では、まずユーザからの指定解像度(横方向)khをもとに、khを越えない2のべき乗値の最大値pを求める(ステップS24)。次にi=0にセットし(ステップS25)、xs=|_ikh/p_|とすることにより水平位置を決定し(ステップS26)、xsが2×LLwidthになるまでiをインクリメントしてステップS26に戻り(ステップS27,S28)、その間、x座標がxsである列について水平方向のフィルタを全ての垂直方向について実施する(ステップS29)。なお、ステップS27でNOであれば処理を終了することとなる。ただし、前述したように、色差Cr,Cbに関しては、khとして、指定された値の2倍、4倍の値(2kh,4kh)が用いられる。
またここで、各々のコンポーネントの、”最終的に求めたい画素群の頂点の画素”として図1でいう(0,0)、すなわち水平垂直ともに偶数位置をまず選択するようにすることにより、求めるべき隣接画素の数を少なくすることができる。
【0089】
図20は全コンポーネントに対する垂直画素位置決定及び垂直方向フィルタリング処理を説明するためのフロー図、図21は図20の処理内容を詳細に説明するためのフロー図である。
全コンポーネントに対する垂直画素位置決定及び垂直方向フィルタリング処理は、まず、輝度についての垂直画素位置決定及び垂直方向フィルタリング処理を施し(ステップS31)、次に色差Cbについて垂直画素位置決定及び垂直方向フィルタリング処理を施し(ステップS32)、さらに色差Crについて垂直画素位置決定及び垂直方向フィルタリング処理を施す(ステップS33)という手順で行われる。
【0090】
また、図21は、図19と類似の「垂直画素位置決定及び垂直方向フィルタリング処理」を示したものであり、垂直方向のフィルタリングに関しては、必要な画素位置のみについて行う。先の通り、必要な画素位置は、その画素位置の垂直方向の奇遇に依存する。すなわち、垂直画素位置決定及び垂直方向フィルタリング処理は、まずi=j=0にセットし(ステップS41)、xs=|_ikh/p_|とし(ステップS42)、xsが2×LLwidthになるまで(ステップS43でYESの場合)iをインクリメントし(ステップS46)、その間に以下の処理を施し、ステップS43においてxsが2×LLwidth以上になれば(ステップS43でNO)、処理を終了する。その間の処理とは、まず、ys=|_jkv/p_|とし(ステップS44)、ysが2×LLheightになるまで(ステップS45でYESの場合)、ステップS48,S49の処理を行い、ysが2×LLheight以上となれば(ステップS45でNOの場合)ステップS46に進み、iをインクリメントしj=0としてステップS42に戻る。ステップS48では、y座標がysである画素位置のみについて垂直方向のフィルタを実施する。また、ステップS49では、フィルタ後の画素値を縮小コンポーネント用バッファの位置(i,j)に保存する。次にjをインクリメントして(ステップS47)、ステップS44に戻る。なお、他の実施例としては、図21においてxsを求める処理をやめ、全ての水平方向について、「垂直方向フィルタリング処理」をすればよい。なお、図19の場合と同様、色差Crの処理では指定されたkh,kvの2倍の値が用いられ、色差Cbの処理では指定されたkh,kvの4倍の値が用いられる。
【0091】
図22は、逆色変換処理を説明するためのフロー図である。
デコンポジションレベルの最大値や、原画像の縦横の画素数(順にheight,widthとする)等は、符号のヘッダから読みとることができ、最終的に生成すべき縮小画像の縦横の画素数は、縦が|_height/kv_|、横が|_width/kh_|により与えられ、逆色変換処理において使用される。ここで、色差コンポーネントに関しては、輝度コンポーネントよりも1つ以上低い解像度までしか逆ウェーブレット変換しないため、生成すべき”縮小画像”の画素数は以下のようになる。
色差Cb:
縦 |_height/4kv_|、横 |_width/4kh_|
色差Cr:
縦 |_height/2kh_|、横 |_width/2kh_| 。
【0092】
逆色変換処理では、i,jがそれぞれ|_height/kv_|,|_width/kh_|より小さいときに後述のステップS55〜S59の処理を行う。すなわち、まずi=j=0にセットし(ステップS51)、iが|_height/kv_|になるまで(ステップS52でYESの場合)iをインクリメントしj=0として(ステップS54)、その間に以下の処理を施し、ステップS52においてiが|_height/kh_|以上になれば(ステップS52でNO)、処理終了する。その間の処理とは、まず、jが|_width/kh|になるまで(ステップS53でYESの場合)、ステップS55〜S59の処理を行い、jが|_width/kh_|以上となれば(ステップS53でNOの場合)ステップS54に進み、iをインクリメントし、j=0にセットしてステップS52に戻る。ステップS55では、輝度についてYを輝度の縮小コンポーネント用バッファの位置(i,j)の値とし、ステップS56では、色差Cbを色差Cbの縮小コンポーネント用バッファの位置(i/4,j/4)の値とし、ステップS57では、色差Crを色差Crの縮小コンポーネント用バッファの位置(i/2,j/2)の値とする。次の処理であるステップS58では、式(6)により逆色変換を施し、ステップS59ではRGB値を縮小画像用バッファの位置(i,j)へ保存する。
【0093】
また、先に述べたとおり、原画像に対し横1/3、縦1/4の解像度の画像を得る場合、インターリーブ後に原画像の1/2の解像度(画素数)となるまでのLLサブバンド(及びHL,LH,HHサブバンド)を求め、本発明に係る処理によってインターリーブ後の係数の所望解像度の画像を生成する。
【0094】
図23は、インターリーブ後の係数の、縮小画像(横10画素×縦8画素)を生成する場合に求めるべき画素(逆変換時の水平方向フィルタリング後の状態を色付けで表示)の例を示す図、図24は、インターリーブ後の係数の、縮小画像(横10画素×縦8画素)を生成する場合に求めるべき画素(逆変換時の垂直方向フィルタリング後の状態を色付けで表示)の例を示す図である。また、図7などと同様に、求めるべき画素に下線が引かれている。図7,図8に準じ、この場合の「求めるべき係数位置」を、図23の係数配置8,図24の係数配置9に、それぞれ逆変換時の水平方向フィルタリング後の状態,垂直方向フィルタリング後の状態として色付けすることで示す。図23,図24の係数値はそれぞれ図2,図1に対応している。ただし原画像の画素数は図7及び図8とは異なるものとする。
【0095】
以上、本発明に係る選択的逆変換処理に関して説明してきたが、以下、縮小画像の生成に際し、エントロピー復号化部でウェーブレット係数の符号を部分的に復号することにより、復号速度と復号画質のバランスをとりながら、所望解像度の復号画像データ(所望の縮小画像データ)を生成する画像データ生成装置、方法、プログラム、及び記録媒体に関する様々な実施の形態を説明する。
【0096】
デコードによって縮小画像を生成する場合は、画面の小さな表示装置に表示することを目的とすることが多い。かかる場合、表示装置の表現能力が限られることから、縮小画像自体の画質は厳しく問われないことがあり、むしろ復号時間の方が問題とされることがある。或いは、前記表現能力が限られるために、縮小画像にデータ的に劣化していても、視覚的には劣化が観察されないことが多いのである。
【0097】
ここで、例えばJPEG2000の様な、エントロピー復号化部において解像度(帯域)だけでなく復号する符号の割合も選択できるような方式の場合、その割合を制限することによって、ウェーブレット係数のエントロピー復号を高速に行うことができる。JPEG2000の場合、ウェーブレット係数の二進数表示を、上位ビットから下位ビットにかけて1bitずつ符号化するため、どのbitまで復号するのかを適切に選ぶことによって、復号画質と復号速度の最適化が図れるのである。先述のように、表示能力の限られた装置に表示する場合等には、全ての符号を復号する必要はないことが多いのである。
【0098】
図25は、本発明の部分的復号が適用される画像データ生成装置の構成を説明するための図である。
ここに示す画像データ生成装置40は、符号化されたウェーブレット係数(符号))を復号する係数復号手段41と、符号省略手段42を有する。ただし、これは特徴的な構成であって、より具体的な装置構成においては、後述するように、他の構成要素も具備することになる。例えば、復号されたウェーブレット係数を逆ウェーブレット変換する手段や、逆ウェーブレット変換結果に対する間引き/補間処理を行う手段を具備することになる。また、符号化前にウェーブレット係数が量子化されている場合には、復号されたウェーブレット係数を逆量子化する手段も具備することになる。また、色変換された複数コンポーネントのウェーブレット係数を扱う場合には、逆色変換のための手段も具備することになる。さらに、復号されたウェーブレット係数に対し前述した選択的逆ウェーブレット変換を施す場合には、前述したごとき係数選択手段も具備することになる。
【0099】
符号省略手段42では、同一サブバンド中の符号のうち、復号を省略する符号を決定する。係数復号手段41では、符号省略手段42で復号を省略された符号以外の符号を復号する。すなわち係数復号手段41では、同一サブバンドの符号を部分的に復号することとなる。このような実施形態に係る画像データ生成装置40では、例えば後述するようにレイヤを部分的に復号化し、その復号データをもとに縮小画像を得ることも可能となる。かかる実施形態によれば、復号速度と復号画質のバランスをとりながら、原画像と縦横比の異なる縮小画像を生成することが可能となる。なお、ここでの「部分的」とは、全く復号しない場合を含まない。全く復号しない場合は、帯域制限によって復号を省く場合と同じだからである。
【0100】
さて、かかる最適化を図る場合には、画質への影響を抑えながら、復号する符号量を削減することが重要となるが、ウェーブレット変換の場合、サブバンド(LL〜HH)ごとに、係数に生じた量子化誤差が画質へ与える影響が異なることが知られている。画質への影響が最も大きいのはLLサブバンドであり、また同一デコンポジションレベルで比較した場合、一般に該影響はHL LH>HHである。よってLLサブバンド程量子化を抑え、HHサブバンド程量子化を行うのが通常である。また前記JPEG2000の例のように、上位ビットプレーン(後述)のいくつかのみ復号し、残りの下位ビットプレーンの復号をしないことは、量子化によって下位bitが失われたことに等しく、これはLLサブバンド程復号する符号の割合を多くし、HHサブバンド程該割合を小さくする、といったことが可能なことを意味する。
【0101】
また、ウェーブレット変換の場合、デコンポジションレベルによっても、係数に生じた量子化誤差が画質へ与える影響が異なることが知られており、デコンポジションレベルが高いほど該影響は大きい。
【0102】
したがって、本発明の1つの実施形態として、サブバンド間で復号する割合を変えるようにしてもよい。すなわち、符号省略手段42にて復号を省略する符号の量又は割合が、サブバンド間において異なる場合があるようにする。このような実施形態によれば、サブバンド毎の画質への影響を考慮することにより、復号速度と復号画質の最適化を図りながら、縮小画像を生成することが可能となる。
【0103】
また、本発明の1つの実施形態として、LL〜HHの間で復号する割合を変えるようにしてもよい。すなわち、符号省略手段42にて復号を省略される符号の量又は割合を、同一デコンポジションレベルのサブバンド間において異ならせるわけである。かかる実施形態によれば、同一デコンポジションレベルのサブバンド毎の画質への影響を考慮することにより、復号速度と復号画質の最適化を図りながら、縮小画像を生成することが可能となる。
【0104】
また、本発明の1つの実施形態として、デコンポジションレベル間で復号する割合を変えるようにしてもよい。すなわち、符号省略手段42にて省略される符号の量又は割合を、デコンポジションレベル間で異ならせるわけである。かかる実施形態によれば、デコンポジションレベル毎の画質への影響を考慮することにより、復号速度と復号画質の最適化を図りながら、縮小画像を生成することが可能となる。
【0105】
さて、前述のように、原画像が例えばRGBという3コンポーネントからなるカラー画像に圧縮を施す場合、圧縮率をあげるために、RGBに色変換を施して1つの輝度と2つの色差の3つの新たなコンポーネントに変換し、該変換後のコンポーネントに対して個々にウェーブレット変換を施すのが通常である。JPEG2000で採用されている色変換の例としては、前記式(5),(6)で表されるRCT(Reversible Component Transform)があることは前述のとおりである。
【0106】
このような色変換が施された場合、コンポーネント間においても、係数に生じた量子化誤差が画質へ与える影響が異なることが知られており、輝度・色差系の場合は、輝度の影響が最も大きい。また該影響は、色差間でも異なることが知られている。なお、上記色変換をしない場合には、その影響はGが一番大きい。
【0107】
よって、本発明の1つの実施形態として、複数のコンポーネントのウェーブレット係数を復号する装置において、コンポーネント間で復号する割合を変えるようにしてもよい。すなわち、復号は複数のコンポーネント毎に施し、且つ、前記符号省略手段にて復号を省略される符号の量又は割合をコンポーネント間で異ならせる。このような実施形態によれば、コンポーネント毎の画質への影響を考慮することにより、復号速度と復号画質の最適化を図りながら、縮小画像を生成することが可能となる。
【0108】
また、本発明の1つの実施形態として、復号を省略する符号の量又は割合をLLサブバンドで最小としてもよい。かかる実施形態によれば、LLサブバンドによる画質への影響を考慮することにより、復号速度と復号画質の最適化を図りながら、縮小画像を生成することが可能となる。
【0109】
また、本発明の1つの実施形態として、復号を省略する符号の量又は割合をHHサブバンドで最大としてもよい。かかる実施形態によれば、HHサブバンドによる画質への影響を考慮することにより、復号速度と復号画質の最適化を図りながら、縮小画像を生成することが可能となる。
【0110】
また、本発明の1つの実施形態として、デコンポジションレベルが高いほど復号を省略する符号の量又は割合を小さくするようにしてもよい。かかる実施形態によれば、デコンポジションレベルによる画質への影響を考慮することにより、復号速度と復号画質の最適化を図りながら、縮小画像を生成することが可能となる。
【0111】
また、本発明の1つの実施形態として、輝度コンポーネントを復号する装置において、復号を省略する符号の量又は割合を輝度コンポーネントで最小とするようにしてもよい。かかる実施形態によれば、輝度による画質への影響を考慮することにより、復号速度と復号画質の最適化を図りながら、縮小画像を生成することが可能となる。
【0112】
また、本発明の1つの実施形態として、複数の色差コンポーネントを復号する装置において、復号を省略する符号の量又は割合を色差間で異ならせるようにしてもよい。かかる実施形態によれば、色差毎の画質への影響を考慮することにより、復号速度と復号画質の最適化を図りながら、縮小画像を生成することが可能となる。
【0113】
また、本発明の1つの実施形態として、輝度Y及び2つの色差コンポーネントCb、Crを復号する装置において、復号を省略する符号の量又は割合をY<Cr<Cbとするようにしてもよい。人間の視覚特性上、Crによる影響よりもCbによる影響の方が小さいことが実験的に知られており、画像の色合いによっては効果がない場合もあるが、本実施形態によれば、Cb,Cr毎の画質への影響を考慮することにより、復号速度と復号画質の最適化を図りながら、縮小画像を生成することが可能となる。
【0114】
また、任意サイズの縮小画像を生成するためには、所望サイズよりも大きめのサイズに復号して逆ウェーブレット変換後間引くか、或いは、小さめに復号して補間するのが通常である。なおこの場合、(両方の場合で復号される)同一デコンポジションレベルで比較した場合、補間する場合の方が、間引く場合よりも、復号する割合を高くする必要がある。
【0115】
したがって、本発明の1つの実施形態として、所望の画像サイズ以下のサイズのサブバンドだけを復号する手段を有するようにしてもよい。換言すると、LLサイズで抜き出すようにする。かかる実施形態によれば、復号するサブバンドのサイズを制限することによって、復号速度と復号画質の最適化を図りながら、縮小画像を生成することが可能となる。
【0116】
また、本発明の1つの実施形態として、所望の画像サイズ未満のサイズのサブバンドだけを復号する手段と、間引き手段を有するようにしてもよい。かかる実施形態によれば、復号するサブバンドのサイズを制限することによって、復号速度と復号画質の最適化を図りながら、縮小画像を生成することが可能となる。
【0117】
また、本発明の1つの実施形態として、所望の画像サイズを越えない最大サイズのサブバンドまでを復号する手段と、補間手段を有するようにしてもよい。かかる実施形態によれば、復号するサブバンドのサイズを制限することによって、復号速度と復号画質の最適化を図りながら、縮小画像を生成することが可能となる。
【0118】
以上、本発明の部分的復号処理を行う画像データ生成装置を中心に各実施形態を説明してきたが、本発明は、それらの装置における処理ステップからなる画像データ生成方法としても、或いは、コンピュータをそれら装置として又はそれらの装置の各手段として機能させるための、又はコンピュータにそれら方法を実行させるためのプログラム(それらの処理内容が実装されているコンピュータプログラム)としても、或いは、そのプログラムを記録したコンピュータ読み取り可能な記録媒体(それらの処理内容が記録されているコンピュータ読み取り可能な情報記録媒体)としての形態も可能である。後述する実施例からも明らかなように、この方法により、復号速度と復号画質のバランスをとりながら或いは最適化を図りながら、縮小画像を生成することができる。また、このプログラムにより、上述の各実施形態に対応した処理によって、復号速度と復号画質のバランスをとりながら或いは最適化を図りながら、縮小画像を生成することが可能なシステムを提供することができる。また、この記録媒体により、上述の各実施形態に対応した構成で、復号速度と復号画質のバランスをとりながら或いは最適化を図りながら、縮小画像を生成することが可能なシステムを提供することができる。これらのプログラムや記録媒体は、上述した実施形態に加え、後述する実施例を元に容易に実施できることは明らかである。
【0119】
以下、本発明の部分的復号処理による縮小画像生成処理の実施例について説明する。また、かかる処理のための具体的な装置構成は、例えば図11又は図12に示したものと同様でよい。
なお後述するが、本発明の部分的復号処理において復号を省略する符号の量や割合とは、例えば、「復号を省略したビットプレーン数」や「符号化されている総ビットプレーン数に対する復号を省略したビットプレーンの数」を意味する。
【0120】
また以下の実施例は、5×3変換を選択したJPEG2000での適用例であるため、まずJPEG2000の処理の概要について再度説明する。もちろん、本発明の適用範囲がJPEG2000に限られないことは言及するまでもない。
図10を再度参照すると、JPEG2000における符号化・復号化処理の流れにおいて、→方向が符号化(圧縮)、←方向が復号化(伸長)である。復号時には、エントロピー復号、(必要に応じて)逆量子化を経て得られたコンポーネント毎のウェーブレット係数に対して、逆ウェーブレット変換が施され、その後逆色変換がなされてRGBの画素値に戻ることを示している。
【0121】
色変換部については既述したため、ここではサブバンド及びデコンポジションレベルの定義も兼ねて、ウェーブレット変換・逆変換について説明する。
ウェーブレット変換・逆変換そのものについては、図1乃至図5、図9、図10、及び図15を参照して前述したので省略する。
各サブバンドごとのウェーブレット係数の符号化について説明すると、公知のように、JPEG2000においては、サブバンドごとに、係数を上位ビット(MSB)から下位ビット(LSB)まで、ビットプレーン単位で符号化することが可能である。なお、厳密には各ビットプレーンをさらに細分化して符号化するが、その説明は省略する。
【0122】
図26は、2LLサブバンドの係数の例を示す図である。図26(A)は2LLサブバンドの係数の例を、図26(B)はその係数をビットプレーンに分割したものを示す図である。また、図27は、本発明の一実施例における符号の構成例を示す図で、図中、符号は紙面上から下の方向の順番で並ぶよう構成可能であることを表している。
今、図5の2LLサブバンドの係数が、図26(A)のような値をとったとする。これらの値を二進数で表現し、各bitごとに分けたものがビットプレーンである。図26(A)の係数は、図26(B)のような4枚のビットプレーンにわけることができる。15の二進表現は1111であるから、ビットプレーン中で、図5の値15に対応する位置には全て1が立つ事になる。
【0123】
そしてJPEG2000においては、これらのビットプレーンを個々に符号化する。すなわち、図27のような構成の符号生成が可能であ。図27は、符号が2LLサブバンドから始まって、1HHサブバンドで終わることを示している。また、各ビットプレーンは、最上位bitから順に符号化されており、復号器は、符号化されているビットプレーンの総数を知ることができるため、最下位ビットプレーンの復号を省略したり、最下位から数えて2枚目までのビットプレーンの復号を省略したり、といったことを容易に行うことができる。
【0124】
図28は本発明の部分的復号処理を適用した縮小画像生成処理の一実施例の基本的な流れを説明するためのフロー図である。また、図29乃至図31は、図28の処理における部分的復号処理を詳細に説明するためのフロー図である。
ここでは、図28乃至図31を参照し、式(5)による色変換及び5×3変換を使用してロスレスに圧縮された画像データを元に縮小画像を生成する例を説明する。ロスレス圧縮であるから、全てのサブバンドの全てのビットプレーンが符号化されていることになる。
【0125】
本実施例の縮小画像生成処理においては、まず、ユーザから指定された解像度が、原画像に対し横に1/kh,縦に1/kvとしたときに、kh,kvのうちの小さい方の値をkとして、前記式(7)により計算した縮小画像の解像度レベルrをセットする(ステップS71)。次にi=0にセットし、同時にrから1を減じ(ステップS72)、i≦rを満たすまでiをインクリメントし(ステップS73,S75)、その間、解像度レベルiについて全コンポーネントのエントロピー符号を部分的に復号する(ステップS74)。
【0126】
図27においては解像度0(最小解像度)のコンポーネント0(輝度),コンポーネント1(色差Cb),コンポーネント2(色差Cr)、解像度1のコンポーネント0,1,2、解像度2のコンポーネント0,1,2、...の順に並んだ符号を示しており、公知のようにJPEG2000においては、図27に示したように、全てのコンポーネントの符号を、解像度順に並べた状態に構成することができるため、最も低解像度から所望の解像度までだけのウェーブレット係数を容易にとりだすことができる(ステップS71〜S75)。
【0127】
ウェーブレット係数は、通常量子化されており、逆ウェーブレット変換前には逆量子化しておく必要がある。そこで、解像度レベルr以下の解像度iにおける処理が終了すると(ステップS73でNO)、復号した全てのウェーブレット係数を逆量子化する(ステップS76)。その後、逆ウェーブレット変換処理を実行する(ステップS77)。ステップS77で示した逆ウェーブレット変換処理として、前述した選択的ウェーブレット逆変換処理を適用してもよい。次に、所望解像度への間引き処理を行い(ステップS79)、最後に逆色変換を施し(ステップS80)、処理を終了する。ただし、単一コンポーネントの場合は逆色変換は不要である。なお、この実施例では、処理量低減のため、逆色変換したRGB値を間引くのではなく、逆色変換前に間引き処理を行う構成としている。
【0128】
本発明の一特徴である部分的復号は、ステップS74における処理であり、本実施例では解像度レベルiの値によって(デコンポジションレベルによって)、以下のように各コンポーネントの符号を部分的に復号して輝度のウェーブレット係数を得る。
【0129】
図29を参照すると、コンポーネントが輝度Yであるかを判定し(ステップS81)、他のコンポーネントであれば図30及び図31の処理に移行する。輝度Yに対しては(ステップS81でYES)、ステップS82でi≦r−2を満たすかを判定し、次にステップS84でi≦r−1を満たすかを判定し、それらの判定により、輝度Yの符号を部分的に復号して、輝度のウェーブレット係数を得ることとなる。
【0130】
すなわち、i≦r−2のとき(ステップS82でYES)、全てのサブバンドについて全ビットプレーンの符号を復号する(ステップS83)。LLサブバンドは解像度レベル0にのみ存在するので、ステップS83の結果、LLサブバンドの符号は全て復号され、復号を省略する量としては最小となる。
【0131】
r−2<i≦r−1のとき(ステップS82でNO、ステップS84でYES)、HL及びLHサブバンドに対しては最下位から2枚目までのビットプレーンの復号を省略し、HHサブバンドに対しては最下位から3枚目までのビットプレーンの復号を省略して、復号を行う(ステップS85)。
【0132】
r−1<i≦rのとき(ステップS82でNO、ステップS84でNO)、HL及びLHサブバンドに対しては最下位から3枚目までのビットプレーンの復号を省略し、HHサブバンドに対しては最下位から4枚目までのビットプレーンの復号を省略して、復号を行う(ステップS86)。
【0133】
また、色差Crの符号については、図30を参照して説明する。コンポーネントが色差Crであるかを判定し(ステップS91)、他のコンポーネントであれば図31(及び図29)の処理に移行する。色差Crに対しては(ステップS91でYES)、ステップS92でi≦r−3を満たすかを判定し、ステップS94でi≦r−2を満たすかを判定し、ステップS96でi≦r−1を満たすかを判定し、それらの判定結果により、色差Crの符号を部分的に復号して、色差Crのウェーブレット係数を得ることとなる。色差Crに対しては、輝度Yよりもさらに1枚分のビットプレーンの復号を省略してウェーブレット係数を得る。
【0134】
すなわち、i≦r−3のとき(ステップS92でYES)、全てのサブバンドについて全ビットプレーンの符号を復号する(ステップS93)。
【0135】
r−3<i≦r−2のとき(ステップS92でNO、ステップS94でYES)、HL及びLHサブバンドに対しては最下位から2枚目までのビットプレーンの復号を省略し、HHサブバンドに対しては最下位から3枚目までのビットプレーンの復号を省略して、復号を行う(ステップS95)。
【0136】
r−2<i≦r−1のとき(ステップS92でNO、ステップS94でNO、ステップS96でYES)、HL及びLHサブバンドに対しては最下位から3枚目までのビットプレーンの復号を省略し、HHサブバンドに対しては最下位から4枚目までのビットプレーンの復号を省略して、復号する(ステップS97)。
【0137】
r−1<i≦rのとき(ステップS92,S94,S96でNO)、HL及びLHサブバンドに対しては最下位から4枚目までのビットプレーンの復号を省略し、HHサブバンドに対しては最下位から5枚目までのビットプレーンの復号を省略し、復号する(ステップS98)。
【0138】
また、色差Cbの符号については図31を参照して説明する。コンポーネントが色差Cbであるかを判定し(ステップS101)、他のコンポーネントであれば図29及び図30の処理に移行する。色差Cbに対しては(ステップS101でYES)、ステップS102でi≦r−3を満たすかを判定し、ステップS104でi≦r−2を満たすかを判定し、ステップS106でi≦r−1を満たすかを判定し、それらの判定結果により、色差Cbの符号を部分的に復号して、色差Cbのウェーブレット係数を得ることとなる。色差Cbに対しては、色差Crよりもさらに1枚分のビットプレーンの復号を省略して色差Cbのウェーブレット係数を得る。
【0139】
i≦r−3のとき(ステップS102でYES)、全てのサブバンドについて全ビットプレーンの符号を復号する(ステップS103)。
【0140】
r−3<i≦r−2のとき(ステップS102でNO、ステップS104でYES)、HL及びLHサブバンドに対しては最下位から3枚目までのビットプレーンの復号を省略し、HHサブバンドに対しては最下位から4枚目までのビットプレーンの復号を省略して、復号を行う(ステップS105)。
【0141】
r−2<i≦r−1のとき(ステップS102でNO、ステップS104でNO、ステップS106でYES)、HL及びLHサブバンドに対しては最下位から4枚目までのビットプレーンの復号を省略し、HHサブバンドに対しては最下位から5枚目までのビットプレーンの復号を省略して、復号する(ステップS107)。
【0142】
r−1<i≦rのとき(ステップS102,S104,S106でNO)、HL及びLHサブバンドに対しては最下位から5枚目までのビットプレーンの復号を省略し、HHサブバンドに対しては最下位から6枚目までのビットプレーンの復号を省略し、復号する(ステップS108)。
【0143】
このように、復号を省略する量が、コンポーネント間でY<Cr<Cbとなっており、またデコンポジションレベルが高いほど、少なくなっている。また、符号化されている総ビットプレーン数が、各サブバンドで等しい場合には、「復号を省略する量の多寡」はそのまま「復号を省略する割合の多寡」となる。
【0144】
なお、最下位ビットプレーンの復号を1枚省略することは、ウェーブレット係数を2で除算(量子化)することに等しく、最下位からn枚目までのビットプレーンの復号を省略することは、該係数を2^nで量子化することに等しい。よってビットプレーンの復号を省略した場合には、復号されたウェーブレット係数に2^nを乗じてやれば、逆量子化を行ったことになる。
【0145】
なお、以上において、RGBからYCbCrへの色変換式として式(5)を使用するものとして説明したが、CCIR601で規定されている周知の変換式が用いられる場合でも、本実施例の手法は適用可能である。また、間引き処理法の例としては、例えば広く使用されている最近傍法があげられる。間引き処理法自体のアルゴリズムは、本発明の部分的復号処理の主題には影響を与えないため、詳しいアルゴリズムの説明は省略するが、例えば「田村秀行著、コンピュータ画像処理入門(総研出版)」を参照されたい。
【0146】
図32は、本発明の部分的復号による縮小画像生成処理の他の実施例を説明するためのフロー図である。
先の実施例では、ステップS73(図28)の条件式が「i≦r」であったため、抽出されたウェーブレット変換の解像度レベルは、ユーザが指定した解像度より大きくなる。これに対し、本実施例では、その条件式を「i<r」とすることにより、ユーザが指定した解像度よりも1周り小さい解像度レベルが抽出され、逆ウェーブレット変換後にY,Cb,Crの各々が公知の補間処理によって所望のサイズに変換される。
【0147】
図32を参照して説明すると、まず、ユーザから指定された解像度が、原画像に対し横に1/kh,縦に1/kvだとして、kh,kvのうちの小さい方の値をkとして、前記式(7)により算出した縮小画像の解像度レベルrをセットする(ステップS111)。次にi=0にセットし、r=r−1とし(ステップS112)、i<rを満たす間iをインクリメントし(ステップS113,S115)、その間、解像度レベルiについて全コンポーネントのエントロピー符号を部分的に復号する(ステップS114)。また、YCbCr間での部分的な復号処理(ステップS114)に関しては、先と同様、図29乃至図31で説明した処理が適用可能である。
【0148】
ウェーブレット係数は、通常量子化されているため、解像度レベルr未満の解像度iにおける処理が終了すると(ステップS113でNO)、復号した全てのウェーブレット係数を逆量子化する(ステップS116)。その後、逆ウェーブレット変換処理を実行する(ステップS117)。次に、補間処理を行う(ステップS118)。補間処理法の例としては、例えば広く使用されている最近傍法が挙げられる。詳しいアルゴリズムの説明は、上記「コンピュータ画像処理入門」を参照されたい。コンポーネントが複数の場合には、逆色変換を施して(ステップS119)、処理を終了する。
【0149】
【発明の効果】
以上に説明したように、請求項1又は2の発明によれば、同一サブバンド中の係数を選択的に逆変換するため、少ない計算量で原画像と縦横比の異なる所望解像度の縮小画像を生成することが可能である。請求項3の発明によれば、縮小画像を生成するための計算量をより一層減らすことができる。請求項4、5又は6の発明によれば、縮小画像生成のための実装を簡易化でき、また処理を高速化できる。請求項7の発明によれば、逆ウェーブレット変換のための演算量を減らし処理を高速化できる。請求項の発明によれば、複数のコンポーネントからなる縮小画像を、より高速かつ簡易な処理により生成することができる。請求項の発明によれば、同一サブバンド中のウェーブレット係数を選択的に逆変換するため、少ない計算量で原画像と縦横比の異なる所望解像度の縮小画像を生成することができ等の効果を得られる。
【図面の簡単な説明】
【図1】16×16のモノクロの画像に対して、JPEG2000で採用されている5×3変換と呼ばれるウェーブレット変換を2次元(垂直方向及び水平方向)で施す過程の例を説明するための図である。
【図2】16×16のモノクロの画像に対して、JPEG2000で採用されている5×3変換と呼ばれるウェーブレット変換を2次元(垂直方向及び水平方向)で施す過程の例を説明するための図である。
【図3】16×16のモノクロの画像に対して、JPEG2000で採用されている5×3変換と呼ばれるウェーブレット変換を2次元(垂直方向及び水平方向)で施す過程の例を説明するための図である。
【図4】16×16のモノクロの画像に対して、JPEG2000で採用されている5×3変換と呼ばれるウェーブレット変換を2次元(垂直方向及び水平方向)で施す過程の例を説明するための図である。
【図5】2回のウェーブレット変換して並べ替えた後の模式的な係数配列を示す図である。
【図6】本発明の一実施形態に係る画像データ生成装置の構成を説明するための図である。
【図7】図1の原画像を5×3ウェーブレット変換した後の全ての係数を、逆ウェーブレット変換することにより生成された16×16画像を示す図である。
【図8】図1の原画像を5×3ウェーブレット変換した後の全ての係数に対し、逆変換時の水平方向のフィルタリングを施すことにより生成された16×16画像を示す図である。
【図9】従来技術との対比のため、本発明により解像度1/3の画像を生成する処理の過程を、ウェーブレット変換・逆ウェーブレット変換の流れに沿って示した図である。
【図10】JPEG2000の圧縮・伸長アルゴリズムを説明するためのブロック図である。
【図11】本発明の一実施形態に係る画像データ生成装置の構成例を示す図である。
【図12】本発明の一実施形態に係る画像データ生成装置の他の構成例を示す図である。
【図13】本発明の画像データ生成装置における処理の一実施例を説明するためのフロー図である。
【図14】本発明の一実施例における符号の構成例を示す図である。
【図15】デコンポジションレベルと解像度レベルの関係を示す図である。
【図16】全コンポーネントに対するLLサブバンド生成処理を説明するためのフロー図である。
【図17】図16の処理内容を詳細に説明するためのフロー図である。
【図18】全コンポーネントに対する水平画素位置決定及び水平方向フィルタリング処理を説明するためのフロー図である。
【図19】図18の処理内容を詳細に説明するためのフロー図である。
【図20】全コンポーネントに対する垂直画素位置決定及び垂直方向フィルタリング処理を説明するためのフロー図である。
【図21】図20の処理内容を詳細に説明するためのフロー図である。
【図22】逆色変換処理を説明するためのフロー図である。
【図23】インターリーブ後の係数の、縮小画像の生成のために求めるべき画素の例を示す図である。
【図24】インターリーブ後の係数の、縮小画像を生成するために求めるべき画素の例を示す図である。
【図25】本発明の他の実施形態に係る画像データ生成装置の構成を説明するための図である。
【図26】2LLサブバンド係数の例を示す図である。
【図27】本発明の一実施例に係る符号の構成例を示す図である。
【図28】本発明の画像データ生成装置における処理の一実施例を説明するためのフロー図である。
【図29】図28の処理における輝度成分の部分的復号処理を詳細に説明するためのフロー図である。
【図30】図28の処理におけるCr成分の部分的復号処理を詳細に説明するためのフロー図である。
【図31】図28の処理におけるCb成分の部分的復号処理を詳細に説明するためのフロー図である。
【図32】本発明の画像データ生成装置における処理の他の実施例を説明するためのフロー図である。
【図33】従来技術2の公報に記載された、原画像の1/3の解像度を得る場合のウェーブレット変換部の構成を示す図である。
【符号の説明】
1…画像、2,3,4,5,6,7,8,9…係数配列、10,40…画像データ生成装置、11…逆ウェーブレット変換手段、12…係数選択手段、21…色変換・逆色変換部、22…2次元ウエーブレット変換・逆変換部、23…量子化・逆量子化部、24…エントロピー符号化・復号化部、25…タグ処理部、31,35…RAM、32,36…CPU、33,37…データバス、34,38…HDD、39…モニタ、41…係数復号手段、42…符号省略手段。

Claims (9)

  1. ウェーブレット係数を逆ウェーブレット変換する逆ウェーブレット変換手段を有し、原画像のウェーブレット係数を前記逆ウェーブレット変換手段により逆ウェーブレット変換することにより、原画像とは縦横比の異なる縮小画像のデータを生成する画像データ生成装置において、
    同一サブバンド中のウェーブレット係数のうち、逆ウェーブレット変換を行うウェーブレット係数(ただし、当該逆ウェーブレット変換を行うウェーブレット係数は、同一サブバンドに含まれる全てのウェーブレット係数ではなく、かつ、1つ以上のウェーブレット係数である)を選択する係数選択手段を有し、前記逆ウェーブレット変換手段は、前記同一サブバンド中のウェーブレット係数に関しては、前記係数選択手段で選択されたウェーブレット係数のみを逆ウェーブレット変換することを特徴とする画像データ生成装置。
  2. 前記係数選択手段は、少なくとも生成する縮小画像の画素に関係するウェーブレット係数の全てを選択する手段を含むことを特徴とする請求項1に記載の画像データ生成装置。
  3. 前記係数選択手段は、生成する縮小画像の画素に関係するウェーブレット係数のみを選択する手段を含むことを特徴とする請求項1に記載の画像データ生成装置。
  4. 前記係数選択手段は、前記同一サブバンド中のウェーブレット係数のうち、該ウェーブレット係数がインターリーブされた状態で、生成する縮小画像の画素位置に当たるウェーブレット係数を含み、前記逆ウェーブレット変換のうち最後に施される方向の直線上に位置するウェーブレット係数を全て選択する手段を含むことを特徴とする請求項2に記載の画像データ生成装置。
  5. 前記逆ウェーブレット変換は2次元でなされるものとし、前記係数選択手段は、前記逆ウェーブレット変換のうち最初に施される方向の逆変換に係わる選択を行う際には、前記同一サブバンド中のウェーブレット係数のうち、該ウェーブレット係数がインターリーブされた状態で、生成する縮小画像の画素位置に当たるウェーブレット係数及び該画素位置を前記逆変換で求めるのに必要な画素位置に当たる係数を含み、前記逆ウェーブレット変換のうち最初に施される方向に垂直な直線上に位置するウェーブレット係数を全て選択する手段を含むことを特徴とする請求項2に記載の画像データ生成装置。
  6. 前記係数選択手段は、生成すべき縮小画像に満たない範囲で最大の解像度を有するLLサブバンドを逆ウェーブレット変換して求めるよう、該LLサブバンドのデコンポジションレベルより高い同一デコンポジションレベルのサブバンド中のウェーブレット係数を全て選択する手段を含むことを特徴とする請求項1乃至5のいずれか1項に記載の画像データ生成装置。
  7. 前記逆ウェーブレット変換のタップ長がハイパスフィルタとローパスフィルタで異なるものとし、dを前記逆ウェーブレット変換の次元数、nを縮小画像の画素数、Tlowをローパスフィルタのタップ長、Thighをハイパスフィルタのタップ長として、前記同一サブバンド中のウェーブレット係数のうち、該ウェーブレット係数がインターリーブされた状態で、前記縮小画像の画素位置に当たる係数を中心として施すフィルタのタップ長の総和を、「d・n(Tlow+Thigh)/2」未満としたことを特徴とする請求項1乃至6のいずれか1項に記載の画像データ生成装置。
  8. 前記逆ウェーブレット変換手段は、複数のコンポーネント毎に逆ウェーブレット変換を施すものであり、且つ、少なくとも1つのコンポーネントを他のコンポーネントと異なる解像度まで逆ウェーブレット変換する手段を含むことを特徴とする請求項1乃至7のいずれか1項に記載の画像データ生成装置。
  9. 逆ウェーブレット変換のステップを有し、該ステップにより原画像のウェーブレット係数を逆ウェーブレット変換することにより、原画像とは縦横比の異なる縮小画像のデータを生成する画像データ生成方法において、
    同一サブバンド中のウェーブレット係数のうち、逆ウェーブレット変換を行うウェーブレット係数(ただし、当該逆ウェーブレット変換を行うウェーブレット係数は、同一サブ バンドに含まれる全てのウェーブレット係数ではなく、かつ、1つ以上のウェーブレット係数である)を選択する係数選択ステップを有し、前記逆ウェーブレット変換のステップは、前記同一サブバンド中のウェーブレット係数に関しては、前記係数選択ステップで選択されたウェーブレット係数のみを逆ウェーブレット変換することを特徴とする画像データ生成方法。
JP2003065784A 2003-03-11 2003-03-11 画像データ生成装置及び画像データ生成方法 Expired - Fee Related JP4189956B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003065784A JP4189956B2 (ja) 2003-03-11 2003-03-11 画像データ生成装置及び画像データ生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003065784A JP4189956B2 (ja) 2003-03-11 2003-03-11 画像データ生成装置及び画像データ生成方法

Publications (2)

Publication Number Publication Date
JP2004274630A JP2004274630A (ja) 2004-09-30
JP4189956B2 true JP4189956B2 (ja) 2008-12-03

Family

ID=33126680

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003065784A Expired - Fee Related JP4189956B2 (ja) 2003-03-11 2003-03-11 画像データ生成装置及び画像データ生成方法

Country Status (1)

Country Link
JP (1) JP4189956B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4579049B2 (ja) * 2005-05-11 2010-11-10 三菱電機株式会社 画像復号装置および画像復号システム
JP5019477B2 (ja) * 2008-09-12 2012-09-05 株式会社リコー 画像処理装置
CN109410120B (zh) * 2018-09-27 2023-03-21 浙江工商大学 一种极快速的图像无缝合成方法

Also Published As

Publication number Publication date
JP2004274630A (ja) 2004-09-30

Similar Documents

Publication Publication Date Title
US7577308B2 (en) Image data generation with reduced amount of processing
JP4204165B2 (ja) 画像圧縮装置
US8265402B2 (en) 2 dimensional signal encoding/decoding method and device
US8098947B2 (en) Method and apparatus for processing image data by rearranging wavelet transform data
JP4365957B2 (ja) 画像処理方法及びその装置及び記憶媒体
JP5017555B2 (ja) 画像符号化装置及び画像復号化装置
US7302105B2 (en) Moving image coding apparatus, moving image decoding apparatus, and methods therefor
JP3922919B2 (ja) 静止画像伸長装置及び静止画像伸長方法
EP1218824A1 (en) System and method for transmitting a digital image over a communication network
JP2001326936A (ja) 画像符号化装置及び方法
US7630568B2 (en) System and method for low-resolution signal rendering from a hierarchical transform representation
JP4189956B2 (ja) 画像データ生成装置及び画像データ生成方法
JP4726040B2 (ja) 符号化処理装置、復号処理装置、符号化処理方法、復号処理方法、プログラム及び情報記録媒体
US7787700B2 (en) Signal processing method, signal processing apparatus, computer-readable medium and a data recording medium
JP4189957B2 (ja) 画像データ生成装置及び画像データ生成方法
JP3973089B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP5191013B2 (ja) 画像符号化装置及び画像復号化装置
JP2002369202A (ja) 画像圧縮装置、画像伸長装置、画像圧縮方法、画像伸長方法、プログラム、及び該プログラムを記録した記録媒体
JP4636547B2 (ja) 符号化装置、プログラム及び情報記録媒体
JP4688164B2 (ja) 画像処理装置、画像処理方法、プログラム及び情報記録媒体
JP4446445B2 (ja) 符号化装置及び符号化方法
JP4194311B2 (ja) 動画像符号化装置及び動画像復号装置並びにそれらの方法
JP5412901B2 (ja) 復号化装置、画像処理装置、復号化方法及びプログラム
JP2003102011A (ja) 画像符号化装置、画像復号化装置、画像符号化方法、画像復号化方法、プログラム、及び記録媒体
JP2004289374A (ja) 画像処理装置、画像処理方法、プログラム、及び記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050627

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080819

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080910

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080911

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110926

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120926

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130926

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees