JP4191592B2 - 圧縮符号化装置、圧縮符号化方法およびプログラム - Google Patents

圧縮符号化装置、圧縮符号化方法およびプログラム Download PDF

Info

Publication number
JP4191592B2
JP4191592B2 JP2003433362A JP2003433362A JP4191592B2 JP 4191592 B2 JP4191592 B2 JP 4191592B2 JP 2003433362 A JP2003433362 A JP 2003433362A JP 2003433362 A JP2003433362 A JP 2003433362A JP 4191592 B2 JP4191592 B2 JP 4191592B2
Authority
JP
Japan
Prior art keywords
step size
quantization step
quantization
image quality
compression encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003433362A
Other languages
English (en)
Other versions
JP2005192087A5 (ja
JP2005192087A (ja
Inventor
雄介 水野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MegaChips Corp
Original Assignee
MegaChips Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MegaChips Corp filed Critical MegaChips Corp
Priority to JP2003433362A priority Critical patent/JP4191592B2/ja
Priority to US11/004,905 priority patent/US7613352B2/en
Publication of JP2005192087A publication Critical patent/JP2005192087A/ja
Publication of JP2005192087A5 publication Critical patent/JP2005192087A5/ja
Application granted granted Critical
Publication of JP4191592B2 publication Critical patent/JP4191592B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output

Description

本発明は、画像圧縮伸長技術で使用される圧縮符号化方法および圧縮符号化装置および圧縮符号化方法に関する。
画像データの次世代の高能率符号化方式として、ＩＳＯ（国際標準化機構）やＩＴＵ−Ｔ（国際電気通信連合電気通信標準化部門）によって、ＪＰＥＧ２０００（Joint Photographic Experts Group 2000）方式が策定されている。ＪＰＥＧ２０００方式は、現在主流のＪＰＥＧ（Joint Photographic Experts Group）方式と比べて優れた機能を有するものであり、直交変換としてＤＷＴ（離散ウェーブレット変換；Discrete Wavelet Transform）を採用し、エントロピー符号化に、ビットプレーン符号化を行うＥＢＣＯＴ（Embedded Block Coding with Optimized Truncation）と称する方法を採用する点に特徴がある。
図２４は、ＪＰＥＧ２０００方式に基づいた画像の圧縮符号化装置の概略構成を示す機能ブロック図である。以下、この図２４を参照しつつ、ＪＰＥＧ２０００方式の圧縮符号化手順について概説する。
この圧縮符号化装置１００に入力する画像信号は、ＤＣレベルシフト部１０２で必要に応じてＤＣレベル変換を施された後に、色空間変換部１０３に出力される。次に、色空間変換部１０３は、ＤＣレベルシフト部１０２から入力する信号の色空間を変換する。ここで、例えば、色空間変換部１０３に入力するＲＧＢ信号はＹＣｂＣｒ信号（輝度信号Ｙと色差信号Ｃｂ，Ｃｒからなる信号）に変換される。
次に、タイリング部１０４は、色空間変換部１０３から入力する画像信号を、複数の矩形状の「タイル」と称する領域成分に分割してＤＷＴ部１０５に出力する。ＤＷＴ部１０５は、タイリング部１０４から入力する画像信号に対してタイル単位で整数型または実数型のＤＷＴを施し、その結果得られる変換係数を出力する。ＤＷＴでは、２次元画像信号に対して、高域成分（高周波数成分）と低域成分（低周波数成分）とに分割する１次元フィルタが垂直方向と水平方向の順に適用される。ＪＰＥＧ２０００の基本方式では、垂直方向と水平方向との双方向に低域側に分割した帯域成分のみを再帰的に帯域分割していくオクターブ分割方式が採用されている。またその再帰的に帯域分割した回数は、分解レベル（decomposition level）と呼ばれる。
図２５は、オクターブ分割方式に従って、分解レベル３のＤＷＴを施された２次元画像１２０を示す模式図である。分解レベル１では、２次元画像１２０は、垂直方向と水平方向とに前述の１次元フィルタを順次適用することで、ＨＨ１，ＨＬ１，ＬＨ１およびＬＬ１（図示せず）の４つの帯域成分に分割される。ここで、「Ｈ」は高域成分を、「Ｌ」は低域成分をそれぞれ示している。例えば、ＨＬ１は、分解レベル１における水平方向の高域成分Ｈと垂直方向の低域成分Ｌとからなる帯域成分である。その表記法を一般化して、「ＸＹｎ」（Ｘ，ＹはＨ，Ｌの何れか；ｎは１以上の整数）は、分解レベルｎにおける水平方向の帯域成分Ｘと垂直方向の帯域成分Ｙとからなる帯域成分を指すものとする。
分解レベル２では、低域成分ＬＬ１は、ＨＨ２，ＨＬ２，ＬＨ２およびＬＬ２（図示せず）に帯域分割される。更に、分解レベル３では、低域成分ＬＬ２は、ＨＨ３，ＨＬ３，ＬＨ３およびＬＬ３に帯域分割される。以上で生成された帯域成分ＨＨ１〜ＬＬ３を配列したのが図２５である。図２５では、３次の分解レベルの例が示されているが、ＪＰＥＧ２０００方式では、一般に、３次〜８次程度の分解レベルが採用される。
次に、量子化部１０６は、ＤＷＴ部１０５から出力された変換係数を、必要に応じてスカラー量子化する機能を有する。また量子化部１０６は、ＲＯＩ部１０７による指定領域（ＲＯＩ；Region Of Interest）の画質を優先させるビットシフト処理を行う機能も有している。尚、可逆（ロスレス）変換を行う場合には、量子化部１０６でのスカラー量子化は行われない。ＪＰＥＧ２０００方式では、この量子化部１０６でのスカラー量子化と後述するポスト量子化（truncation）との２種類の量子化手段が用意されている。
次に、量子化部１０６から出力された変換係数は、上述のＥＢＣＯＴに従って、係数ビットモデリング部１０８と算術符号化部１０９とで順次、ブロックベースのエントロピー符号化を施され、符号量制御部１１０でレートを制御される。具体的には、係数ビットモデリング部１０８は、入力する変換係数の帯域成分を１６×１６や３２×３２や６４×６４程度の「コードブロック」と称する領域に分割し、更に、各コードブロックを、各ビットの２次元配列で構成される複数のビットプレーンに分解する。
図２６は、複数のコードブロック１２１，１２１，１２１，…に分解された２次元画像１２０を示す模式図である。また、図２７は、このコードブロック１２１を構成するｎ枚のビットプレーン１２２0〜１２２n-1（ｎ：自然数）を示す模式図である。図２７に示すように、コードブロック１２１中の１点の変換係数の２進値１２３が"０１１…０"である場合、この２進値１２３を構成するビットは、それぞれ、ビットプレーン１２２n-1，１２２n-2，１２２n-3，…，１２２0に属するように分解される。図中のビットプレーン１２２n-1は、変換係数の最上位ビット（ＭＳＢ）のみからなる最上位ビットプレーンを表し、ビットプレーン１２２0は、その最下位ビット（ＬＳＢ）のみからなる最下位ビットプレーンを表している。
更に、係数ビットモデリング部１０８は、各ビットプレーン１２２k（ｋ＝０〜ｎ−１）内の各ビットのコンテクスト（context）判定を行い、図２８に示すように、各ビットの有意性（判定結果）に応じて、ビットプレーン１２２kを３種類の符号化パス、すなわち、ＳＩＧパス（SIGnificance propagation pass），ＭＲパス（Magnitude Refinement pass），ＣＬパス（CLeanup pass）に分解する。各符号化パスに関するコンテクスト判定のアルゴリズムは、ＥＢＣＯＴで定められている。それによれば、「有意である」とは、これまでの符号化処理において注目係数がゼロでないとわかっている状態のことを意味し、「有意で無い」とは、係数値がゼロであるか、或いはゼロである可能性がある状態のことを意味する。
係数ビットモデリング部１０８は、ＳＩＧパス（有意な係数が周囲にある有意でない係数の符号化パス）、ＭＲパス（有意な係数の符号化パス）およびＣＬパス（ＳＩＧパス，ＭＲパスに該当しない残りの係数情報の符号化パス）の３種類の符号化パスでビットプレーン符号化を実行する。ビットプレーン符号化は、最上位ビットプレーンから最下位ビットプレーンにかけて、各ビットプレーンのビットを４ビット単位で走査し、有意な係数が存在するか否かを判定することで行われる。有意で無い係数（０ビット）のみで構成されるビットプレーンの数はパケットヘッダに記録され、有意な係数が最初に出現したビットプレーンから実際の符号化が開始される。その符号化開始のビットプレーンはＣＬパスのみで符号化され、当該ビットプレーンよりも下位のビットプレーンは、上記３種類の符号化パスで順次符号化される。
尚、図２９に、レート（符号量；Ｒ）と歪み（Ｄ）の関係を表すＲ−Ｄ曲線を示す。このＲ−Ｄ曲線中、Ｒ1はビットプレーン符号化前のレート、Ｒ2はビットプレーン符号化後のレート、Ｄ1はビットプレーン符号化前の歪み、Ｄ2はビットプレーン符号化後の歪み、をそれぞれ示している。また、Ａ，Ｂ，Ｃは、上述の符号化パスを表すラベルである。効率的な符号化を行うには、開始点Ｐ1（Ｒ1，Ｄ1）から終了点（Ｒ2，Ｄ2）へ向かう経路のうち、凸曲線のＣ−Ｂ−Ａの経路よりも、凹曲線のＡ−Ｂ−Ｃの経路を採用するのが好ましい。このような凹曲線を実現するには、ＭＳＢプレーンからＬＳＢプレーンに向けて符号化すればよいことが知られている。
次に、算術符号化部１０９は、ＭＱコーダを用いて、係数ビットモデリング部１０８からの係数列に対して、コンテクストの判定結果に基づいて符号化パス単位で算術符号化を実行する。尚、この算術符号化部１０９で、係数ビットモデリング部１０８から入力する係数列の一部を算術符号化させないバイパス処理を行うモードもある。
次に、符号量制御部１１０は、算術符号化部１０９が出力した符号列の下位ビットプレーンを切り捨てるポスト量子化を行うことで、最終符号量を制御する。そして、ビットストリーム生成部１１１は、符号量制御部１１０が出力した符号列と付加情報（ヘッダ情報，レイヤー構成、スケーラビリティ情報、量子化テーブルなど）とを多重化したビットストリームを生成し、圧縮画像として出力する。
以上のような構成を有する圧縮符号化装置において、画像データのデータ量を圧縮するための方法としては、例えば、符号量制御部１１０におけるレート制御方法を利用するレート・歪み最適化（R-D optimization）と称する手法が採用されている（非特許文献１参照）。
David S. Taubman and Michael W. Marcellin, "JPEG2000 IMAGE COMPRESSION FUNDAMENTALS, STANDARDS AND PRACTICE," Kluwer Academic Publishers
しかしながら、この手法では、（１）レートに対する歪量を各符号化パスで一々算出する必要があり、また或る符号化レートにおける最適解を推定しなければならず、演算量が多大になりリアルタイム性が低下する、（２）各符号化パスで算出した歪量を保存するためのメモリが必要になる、という問題がある。
以上の問題などに鑑みて本発明が課題とするところは、少ない演算量で且つ高速にデータ量の圧縮を実行し得る圧縮符号化装置および圧縮符号化方法を提供する点にある。
上記課題を解決すべく、請求項１に記載の発明は、画像信号を圧縮符号化する圧縮符号化装置であって、ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、目標画質を示す量子化パラメータを、合成フィルタ係数のノルムで除算して量子化ステップサイズを求める画質制御部と、前記量子化ステップサイズに基づいて前記変換係数を量子化する量子化部と、を備えることを特徴とするものである。
請求項２に記載の発明は、画像信号を圧縮符号化する圧縮符号化装置であって、ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、目標画質を示す量子化パラメータを、合成フィルタ係数のノルムで除算して量子化ステップサイズを求める画質制御部と、前記変換係数をエントロピー符号化するエントロピー符号化部と、前記エントロピー符号化部の出力する符号化データを、前記量子化ステップサイズに基づいて並べ替えた符号列を生成し、前記符号化データの全体容量が目標符号量となるように前記符号列の一部を切り捨てることでレートを制御する符号量制御部と、を備えることを特徴とするものである。
請求項３に記載の発明は、請求項１または請求項２に記載の圧縮符号化装置であって、前記画質制御部は、合成フィルタ係数のノルムと人間の視覚特性に基づいて定められた所定の数値であるenergy weighting facotorとを乗算した値で、指定された前記量子化パラメータを除算して、人間の視覚特性を考慮した重み付けを施した前記量子化ステップサイズを求めることを特徴とするものである。
請求項４に記載の発明は、請求項１ないし請求項３のいずれかに記載の圧縮符号化装置であって、前記画質制御部は、前記量子化ステップサイズが所定の数値より小さいときは、前記量子化ステップサイズが前記所定の数値以上になる２の累乗を乗算して得られた値を前記量子化ステップサイズとすることを特徴とするものである。
請求項５に記載の発明は、請求項４に記載の圧縮符号化装置であって、前記符号量制御部は、前記符号化データを、前記量子化ステップサイズに基づいて並べ替えた符号列を生成するときに、前記量子化ステップサイズが前記画質制御部において２の累乗を乗算して求めた値であるときは、当該量子化ステップサイズで量子化された前記符号化データを、前記２の累乗の指数に対応するビット数だけシフトさせることを特徴とするものである。
請求項６に記載の発明は、画像信号を圧縮符号化する圧縮符号化方法であって、（ａ）ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成する工程と、（ｂ）目標画質を示す量子化パラメータを、合成フィルタ係数のノルムで除算して量子化ステップサイズを求める工程と、（ｃ）前記量子化ステップサイズに基づいて前記変換係数を量子化する工程と、を備えることを特徴とするものである。
請求項７に記載の発明は、画像信号を圧縮符号化する圧縮符号化方法であって、（ａ）ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成する工程と、（ｂ）目標画質を示す量子化パラメータを、合成フィルタ係数のノルムで除算して量子化ステップサイズを求める工程と、（ｄ）前記変換係数をエントロピー符号化する工程と、（ｅ）前記工程（ｄ）で符号化した符号化データを、前記量子化ステップサイズに基づいて並べ替えた符号列を生成し、前記符号化データの全体容量が目標符号量となるように前記符号列の一部を切り捨てることでレートを制御する工程と、を備えることを特徴とするものである。
請求項８に記載の発明は、請求項６または請求項７に記載の圧縮符号化方法であって、前記工程（ｂ）は、合成フィルタ係数のノルムと人間の視覚特性に基づいて定められた所定の数値であるenergy weighting facotorとを乗算した値で、指定された前記量子化パラメータを除算して、人間の視覚特性を考慮した重み付けを施した前記量子化ステップサイズを求める工程を含むことを特徴とするものである。
請求項９に記載の発明は、請求項６ないし請求項８のいずれかに記載の圧縮符号化方法であって、前記工程（ｂ）は、前記量子化ステップサイズが所定の数値より小さいときは、（ｂ−１）前記量子化ステップサイズが前記所定の数値以上になる２の累乗を乗算して前記量子化ステップサイズを求める工程を含むことを特徴とするものである。
請求項１０に記載の発明は、請求項９に記載の圧縮符号化方法であって、前記工程（ｅ）は、前記符号化データを前記量子化ステップサイズに基づいて並べ替えた符号列を生成するときに、前記工程（ｂ−１）により前記量子化ステップサイズを求めたときは、（ｅ−１）前記符号化データを、前記工程（ｂ−１）で乗算した２の累乗の指数に対応するビット数だけシフトさせる工程を含むことを特徴とするものである。
請求項１１に記載の発明は、マイクロプロセッサに画像信号を圧縮符号化させるためのプログラムであって、ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、目標画質を示す量子化パラメータを、合成フィルタ係数のノルムで除算して量子化ステップサイズを求める画質制御部と、前記量子化ステップサイズに基づいて前記変換係数を量子化する量子化部として、前記マイクロプロセッサを機能させることを特徴とするものである。
請求項１２に記載の発明は、マイクロプロセッサに画像信号を圧縮符号化するためのプログラムであって、ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、目標画質を示す量子化パラメータを、合成フィルタ係数のノルムで除算して量子化ステップサイズを求める画質制御部と、前記変換係数をエントロピー符号化するエントロピー符号化部と、前記エントロピー符号化部の出力する符号化データを、前記量子化ステップサイズに基づいて並べ替えた符号列を生成し、前記符号化データの全体容量が目標符号量となるように前記符号列の一部を切り捨てることでレートを制御する符号量制御部として、前記マイクロプロセッサを機能させることを特徴とするものである。
請求項１３に記載の発明は、請求項１１または請求項１２に記載のプログラムであって、前記マイクロプロセッサを前記画質制御部として機能させるときは、合成フィルタ係数のノルムと人間の視覚特性に基づいて定められた所定の数値であるenergy weighting facotorとを乗算した値で、指定された前記量子化パラメータを除算して、人間の視覚特性を考慮した重み付けを施した前記量子化ステップサイズを求めるように、機能させることを特徴とするものである。
請求項１４に記載の発明は、請求項１１ないし請求項１３のいずれかに記載のプログラムであって、前記マイクロプロセッサを前記画質制御部として機能させるときは、前記量子化ステップサイズが所定の数値より小さいときは、前記量子化ステップサイズが前記所定の数値以上になる２の累乗を乗算して得られた値を前記量子化ステップサイズとするように、機能させることを特徴とするものである。
請求項１５に記載の発明は、請求項１４に記載のプログラムであって、前記マイクロプロセッサを前記符号量制御部として機能させるときは、前記符号化データを、前記量子化ステップサイズに基づいて並べ替えた符号列を生成するときに、前記量子化ステップサイズが前記画質制御部において２の累乗を乗算して求めた値であるときは、当該量子化ステップサイズで量子化された前記符号化データを、前記２の累乗の指数に対応するビット数だけシフトさせるように、機能させることを特徴とするものである。
請求項１、請求項６および請求項１１に記載の発明によれば、目標画質に従って量子化によるデータの圧縮率を制御しながら、最適解を推定する処理が必要な従来技術に比べて少ない演算量で高速な量子化を行うことが可能である。
請求項２、請求項７および請求項１２に記載の発明によれば、目標符号量に適合する圧縮画像を容易に生成することができる。
請求項３、請求項８および請求項１３に記載の発明によれば、人間の視覚評価に適した高い表示画質を有する圧縮画像を容易に生成することが可能である。
請求項４、請求項９および請求項１４に記載の発明によれば、目標画質に従って効率的に量子化する装置を容易に実現することができる。
請求項５、請求項１０および請求項１５に記載の発明によれば、目標符号量に適合する高画質な圧縮画像を効率的に生成することができる。
｛圧縮符号化装置｝
図１は、本発明の実施形態に係る圧縮符号化装置１の概略構成を示す機能ブロック図である。この圧縮符号化装置１の構成と機能について概説した後に、本実施形態に係る量子化方法および符号化方法について詳説する。
この圧縮符号化装置１は、ＤＣレベルシフト部１０、色空間変換部１１、タイリング部１２、ＤＷＴ部１３、量子化部１４、ＲＯＩ部１５、係数ビットモデリング部２０、算術符号化部（エントロピー符号化部）２１、符号量制御部２２、画質制御部２３およびビットストリーム生成部１７を備えて構成される。
尚、この圧縮符号化装置１を構成する各処理部１０〜１５，１７，２０〜２３の全部または一部は、ハードウェアで構成されてもよいし、マイクロプロセッサを機能させるプログラムで構成されていてもよい。
この圧縮符号化装置１に入力した画像信号は、ＤＣレベルシフト部１０で必要に応じてＤＣレベル変換を施された後に、色空間変換部１１に出力される。色空間変換部１１は入力信号を色空間変換して出力する。ＪＰＥＧ２０００方式によれば、色空間変換として、可逆変換用のＲＣＴ（Reversible Component Transformation）と、非可逆変換用のＩＣＴ（Irreversible Component Transformation）とが用意されており、何れか一方を適宜選択できる。これにより、例えば、入力するＲＧＢ信号をＹＣｂＣｒ信号或いはＹＵＶ信号に変換する。
次に、タイリング部１２は、色空間変換部１１から入力する画像信号を、複数の矩形状の「タイル」と称する領域成分に分割してＤＷＴ部１３に出力する。尚、必ずしも、画像信号をタイルに分割する必要は無く、１フレーム分の画像信号をそのまま次段の機能ブロックに出力してもよい。
次に、ＤＷＴ部１３は、タイリング部１２から入力する画像信号に対してタイル単位で整数型または実数型のＤＷＴを施すことで、上記オクターブ分割方式に従って画像信号を高域成分と低域成分とに再帰的に帯域分割する。その結果、図２５に示したような複数の帯域成分（サブバンド）ＨＨ１〜ＬＬ３の変換係数が生成され量子化部１４に出力される。具体的には、実数型ＤＷＴであれば、９×７タップ、５×３タップまたは７×５タイプなどのフィルタが使用され、整数型ＤＷＴであれば、５×３タップまたは１３×７タップなどのフィルタが使用される。また、これらフィルタの処理を畳み込み演算で実行してもよいし、或いは、畳み込み演算よりも効率的なリフティング構成（Lifting scheme）で実行してもよい。
量子化部１４は、ＤＷＴ部１３から入力する変換係数を、画質制御部２３で決定される量子化パラメータに従って、スカラー量子化する機能を有する。また量子化部１４は、ＲＯＩ部１５による指定領域（ＲＯＩ；Region Of Interest）の画質を優先させるビットシフト処理を行う機能も有している。画質制御部２３における量子化パラメータの決定方法および量子化部１４における量子化の方法については後述する。
次に、量子化部１４から出力された変換係数ＱＤは、係数ビットモデリング部２０と算術符号化部２１とで順次、ブロックベースのエントロピー符号化を施され、符号量制御部２２でレートを制御される。
係数ビットモデリング部２０は、図２４に示した係数ビットモデリング部１０８と同様に、入力する変換係数ＱＤの帯域成分を３２×３２や６４×６４程度のコードブロックに分割し、更に、各コードブロックを、各ビットを２次元配列して構成される複数のビットプレーンに分解する。この結果、各コードブロックは、図２７に示したような複数のビットプレーン１２２0〜１２２n-1に分解される。
次に、算術符号化部２１は、係数ビットモデリング部２０から入力する符号化データＢＤを算術符号化し、その結果得た符号化データＡＤを符号量制御部２２に出力する。ここで、算術符号化部２１は、前記符号化対象の一部を算術符号化せずに、当該符号化対象をそのまま符号化データＡＤに含めて出力するバイパス処理を行う場合もある。尚、本実施の形態では算術符号化を採用するが、本発明はこれに限らず、他の方式のエントロピー符号化を採用しても構わない。
次に、符号量制御部２２は、画質制御部２３からの指示に基づいて、算術符号化部２１から入力する符号化データＡＤのレートを制御する機能を有する。すなわち、符号量制御部２２は、目標符号量（最終的な圧縮画像の符号量）に合わせて、符号化データＡＤを、帯域成分単位あるいはビットプレーン単位、パス単位で優先度の低いものから順に切り捨てるというポスト量子化を実行する機能を有する。符号量制御部２２でのレート制御の方法については後述する。
そして、ビットストリーム生成部１７は、符号量制御部２２から出力された符号化データＣＤと付加情報（ヘッダ情報，レイヤー構成，スケーラビリティ，量子化テーブルなど）とを多重化したビットストリームを生成し、圧縮画像として外部に出力する。
｛画質制御処理｝
次に、図１に示した画質制御部２３の構成と処理内容について説明する。画質制御部２３は、外部から供給される目標画質情報（高画質，標準画質，低画質，解像度情報など）に基づいて、ＤＷＴ部１３から入力する変換係数を量子化部１４で量子化するときの量子化ステップサイズΔbを決定する機能を有する。以下、量子化ステップサイズΔbの決定方法について説明する。
ＤＷＴ部１３によって、原画像が図２５に示すように、「ＸＹｎ」（Ｘ，Ｙは広域成分Ｈまたは低域成分Ｌの何れか。ｎは分解レベル。）のサブバンド（帯域成分）に分割されたときに、各サブバンドの量子化に用いる量子化ステップサイズΔbを、次式（１）のように設定する。
Figure 0004191592
ここで、Ｑpは、目標画質情報に従って入力される正の数、すなわち量子化パラメータであって、高画質であるほど小さな値を入力する。量子化パラメータＱpは、利用者が直接数値を入力して指定する態様であってもよいし、例えば、予め、目標画質情報を示す「高画質、標準画質、低画質」といった所定の指示語と量子化パラメータＱpの数値とを関連づけた所定のテーブルを備えておき、利用者が所望する画像データの圧縮後の目標画質を指示語によって指定することで、当該テーブルにおいて関連づけられた量子化パラメータＱpの値を読み出して利用する態様であっても構わない。
Ｑbは、各サブバンドにおける量子化係数であって、合成フィルタ係数のノルムとして、次式（２）で表される。
Figure 0004191592
ここで、サブバンドｂの重み係数Ｇbは、次式（３）に従って算出される。
Figure 0004191592
上式（３）中、ｓb［ｎ］は、サブバンドｂの１次元合成フィルタ係数を示している。また、記号||x||は、ベクトルxに関するノルムを示す。
上述した非特許文献１に記載される数式（４．３９）と（４．４０）によれば、分解レベル１における低域成分Ｌ１の１次元合成フィルタ係数ｓL[1]［ｎ］と、同分解レベルにおける高域成分Ｈ１の１次元合成フィルタ係数ｓH[1]［ｎ］とは、次式（４）に従って算出される。
Figure 0004191592
ここで、上式（４）中、ｇ0［ｎ］は、画像信号を帯域分割する順変換フィルタのローパス・フィルタ係数、ｇ1［ｎ］は、そのハイパス・フィルタ係数をそれぞれ示している。
また、分解レベルｄ（ｄ＝１，２，…，Ｄ）における低域成分Ｌｄの１次元合成フィルタ係数ｓL[d]［ｎ］と、同分解レベルにおける高域成分Ｈｄの１次元合成フィルタ係数ｓH[d]［ｎ］とは、次式（５）に従って算出される。
Figure 0004191592
そして、分解レベルｄにおける低域成分Ｌｄの１次元合成フィルタ係数のノルムの二乗は、次式（６）に従って算出される。
Figure 0004191592
高域成分の１次元合成フィルタ係数のノルムの二乗も、上式（６）と同様にして算出することができる。
１次元合成フィルタ係数のノルムの二乗の計算結果を表１に示す。表中のｎは分解レベルを示しており、例えばＧＬ 1 とは、低域成分Ｌの分解レベル１における計算結果を示している。
Figure 0004191592
次に、分解レベルｄ（ｄ＝１，２，…，Ｄ；Ｄは整数）における帯域成分ＬＬＤ，ＨＬｄ，ＬＨｄ，ＨＨｄの２次元合成フィルタ係数は、上記１次元合成フィルタ係数の積で表現することができ、帯域成分ｂの２次元の重み係数Ｇbも、１次元の重み係数の積で表現することができる。具体的には、２次元合成フィルタ係数と２次元の重み係数とは、次式（７）に従って算出される。
Figure 0004191592
上式（７）中、添字ＬＬ［Ｄ］はサブバンドＬＬＤを示し，ＨＬ［ｄ］，ＬＨ［ｄ］およびＨＨ［ｄ］はそれぞれサブバンドＨＬｄ，ＬＨｄおよびＨＨｄを表している。
重み係数Ｇbの平方根がノルムである。以下の表２および表３に、表１から求めた２次元の重み係数Ｇbに関する計算結果を示す。表２には（９，７）フィルタ（９×７タップのフィルタ）の各帯域成分のノルムの二乗の数値を、表３には表２に対応するノルムの数値をそれぞれ示す。
Figure 0004191592
Figure 0004191592
例えば、輝度信号Ｙ、色差信号ＵおよびＶの全てについて、同じく量子化パラメータＱp＝１６として、表３に示した値から上式（１）および（２）を利用して求めた輝度信号Ｙ、色差信号ＵおよびＶの量子化ステップサイズΔbは、表４のようになる。
尚、輝度信号Ｙ、色差信号ＵおよびＶのそれぞれについて、量子化ステップサイズΔbを求めるのに利用する量子化パラメータＱpは、必ずしも同じ値をとる必要はなく、画像データの内容に応じて、異なる値を利用しても構わない。例えば、色成分を強調したい場合に、色差信号ＵおよびＶに利用する量子化パラメータＱpを輝度信号Ｙに比して小さくするなど、画像データの内容等を考慮して、それぞれについて適当な量子化パラメータＱpを利用すればよい。
Figure 0004191592
画質制御部２３では、このようにして量子化ステップサイズΔbを求め、これを量子化部１４に通知する。そして、量子化部１４では、各サブバンド毎に、通知された量子化ステップサイズΔbに従って量子化を行う。
ただし、量子化ステップサイズΔbの値が１より小さくなる場合には、１以上の値となるように２の累乗を乗算してから用いる。例えば、上述した方法で計算した結果、求められたサブバンドＬＬ５の量子化ステップサイズΔbは０．４７１６３であるが、実際に画像データを量子化するときには、この値に２2を乗算して量子化ステップサイズΔb＝１．８８６５２として量子化を行う。同様に、サブバンドＨＬ５では、量子化ステップサイズΔb＝０．９３２０４に２を乗算して、量子化ステップサイズΔb＝１．８６４０７として量子化を行う。このように量子化ステップサイズΔbを、量子化を実現する量子化器の性能に基づいて所定の数値に変換する機能を有することで、量子化器の構成を簡素化することが可能であり、本来の量子化の目的であるデータ量の圧縮を達成することもできる。尚、量子化ステップサイズΔbを１以上の値としたのは一例であって、量子化器の機能によって、例えば１／２以上の値を利用する量子化器であれば、量子化ステップサイズΔbを１／２以上になるように変換すればよい。すなわち、量子化器の扱う下限値が１／２mであれば、全ての量子化ステップサイズΔbが、１／２m以上になるように２の累乗を乗算してから利用する態様であればよい。
また、画質制御部２３では、上述した方法のほか、人間の視覚特性を考慮して量子化ステップサイズΔbを決定することもできる。その方法は以下の通りである。
上述した非特許文献１のChapter 16には、ＣＳＦ（human visual system Contrast Sensitivity Function）に基づいた重み付けＷＭＳＥ（Weighted Mean Squared Error；WMSE）が記載されている。これを利用して、圧縮符号化後の画像データに対する人間の視覚評価を改善するために、上式（２）を次式（８）に修正する。
Figure 0004191592
ここで、上式（８）中、Ｗb[i] csfは、サブバンドｂ［ｉ］の"energy weighting factor"と呼ばれており、Ｗb[i] csfの推奨数値は、「ISO/IEC JTC 1/SC 29/WG1(ITU-T SG8) N2406, "JPEG 2000 Part 1 FDIS (includes COR 1, COR 2, and DCOR3)," 4 December 2001」の文献（以下、非特許文献２と呼ぶ。）に記載されている。図２〜図４に、非特許文献２に記載される"energy weighting factor"の数値を示す。
図２〜図４中の"level"および "Lev"は分解レベルを、"Comp"は輝度成分Ｙと色差成分Ｃｂ, Ｃｒをそれぞれ示しており、"Viewing distance（視距離）"が1000，1700, 2000, 3000, 4000の例が示されている。また、"Viewing distance 1000", "Viewing distance 1700", "Viewing distance 2000", "Viewing distance 3000", "Viewing distance 4000"は、それぞれ、100dpi，170dpi，200dpi，300dpi，400dpiのディスプレイまたは印刷物を１０インチ離れて見たときの視距離を意味する。
例えば、カラーの画像データについて、量子化ステップサイズΔbを求める具体的な方法を以下に説明する。尚、色空間については、ＲＧＢ信号から成るカラーの入力画像を、色空間変換部１１においてＹＵＶ４２２またはＹＵＶ４２０形式の色空間データに変換したものとする。
ＹＵＶ４２２またはＹＵＶ４２０形式の画像データについては、色差信号ＵおよびＶは、輝度信号Ｙに比べ、そのデータ量がそれぞれ１／２および１／４となっている。輝度信号ＹにＤＷＴを施したウェーブレット平面は図５のように表すことができるが、データ量が１／２であることを、図５に示したウェーブレット平面に対して水平方向にＤＷＴを一回施したものと同等であると仮定すれば、図６中の散点部がＹＵＶ４２２形式の色差信号ＵおよびＶのウェーブレット平面となる。同様に、データ量が１／４であることを、図５に示したウェーブレット平面に対して水平方向および垂直方向にＤＷＴを一回ずつ施したものと同等であると仮定すれば、図７中の散点部がＹＵＶ４２０形式の色差信号ＵおよびＶのウェーブレット平面となる。
ＹＵＶ４２２形式では、図６に示したように水平成分について垂直成分より一回多くフィルタリングすると仮定するので、２次元合成フィルタ係数と２次元の重み係数は、上式（７）に対して、次式（９）のように表すことができる。
Figure 0004191592
また、ＹＵＶ４２０形式では、同様に、図７に示したように水平成分および垂直成分について一回ずつ多くフィルタリングすると仮定するので、上式（７）に対して、次式（１０）のように表すことができる。
Figure 0004191592
よって、表１に示した値から上式（９）および（１０）を利用して、ＹＵＶ４２２およびＹＵＶ４２０形式の色差信号のノルムを求めると表５および表６のようになる。
Figure 0004191592
Figure 0004191592
次に、energy weighting factor Ｗb[i] csfについて、非特許文献１の記載によれば、サブバンドｂ[i]のenergy weighting factor Ｗb[i] csfは１次元の水平および垂直方向の各帯域成分のenergy weighting factorの積として、次式（１１）で表される。
Figure 0004191592
ＹＵＶ４２２またはＹＵＶ４２０形式の画像データにおける輝度信号Ｙに係るenergy weighting factorは、上式（１１）で求めることができる。尚、ＹＵＶ４４４形式であれば、輝度信号および色差信号ともに上式（１１）で求められる。
ＹＵＶ４２２形式の色差信号ＵおよびＶについては、上述したように水平成分について垂直成分より一回多くフィルタリングすると仮定しているので、そのenergy weighting factorは、上式（１１）に対して次式（１２）のように表すことができる。
Figure 0004191592
また、ＹＵＶ４２０形式の色差信号ＵおよびＶについては、同様に、水平成分および垂直成分について一回ずつ多くフィルタリングすると仮定しているので、そのenergy weighting factorは、上式（１１）に対して次式（１３）のように表すことができる。
Figure 0004191592
非特許文献２の記載から求められるViewing distance 1000、Viewing distance 1700、およびViewing distance 3000の色差信号ＵおよびＶのenergy weighting factorの値を表７〜表９に示す。ここで、以下の表も含め、表中のＣｂおよびＣｒはそれぞれ色差信号ＵおよびＶを示している。
Figure 0004191592
Figure 0004191592
Figure 0004191592
そして、表７〜表９に示した値から、上式（１１）〜（１３）を利用して求めたＹＵＶ４２２およびＹＵＶ４２０形式の画像データに係るenergy weighting factorが表１０〜表１２および表１３〜表１５である。
Figure 0004191592
Figure 0004191592
Figure 0004191592
Figure 0004191592
Figure 0004191592
Figure 0004191592
このようにして求めた表５および表６のノルムの値を上式（１）および（２）に代入すれば通常の量子化ステップサイズΔbが、表５および表６のノルムの値と、表１０〜表１５のenergy weighting factorの値とを上式（１）および（８）に代入すれば、人間の視覚特性を考慮して視覚的重み付けを行った量子化ステップサイズΔbが求められる。
例えば、輝度信号Ｙ、色差信号ＵおよびＶの全てについて、同じく量子化パラメータＱp＝１６として、ＹＵＶ４２２形式のカラーの画像データにおいてViewing distance（視距離）3000の視覚的重み付けを行ったときの輝度信号Ｙ、色差信号ＵおよびＶの量子化ステップサイズΔbは、表５に示すノルムの値、表１２に示すenergy weighting factorの値、および上式（１），（８）を用いて求められる。その結果を表１６〜表１８に示す。
尚、輝度信号Ｙ、色差信号ＵおよびＶのそれぞれについて、量子化ステップサイズΔbを求めるのに利用する量子化パラメータＱpは、必ずしも同じ値をとる必要はなく、画像データの内容に応じて、異なる値を利用しても構わない。例えば、色成分を強調したい場合に、色差信号ＵおよびＶに利用する量子化パラメータＱpを輝度信号Ｙに比して小さくするなど、画像データの内容等を考慮して、それぞれについて適当な量子化パラメータＱpを利用すればよい。
Figure 0004191592
Figure 0004191592
Figure 0004191592
画質制御部２３では、このようにして量子化ステップサイズΔbを求め、これを量子化部１４に通知する。そして、量子化部１４では、各サブバンド毎に、通知された量子化ステップサイズΔbに従って量子化を行う。このとき、量子化ステップサイズΔbが１より小さければ、２の累乗を乗算して１以上の値にしてから利用するのは、上述したのと同様である。
以上のように、本実施の形態に係る画質制御方法では、画質を量子化により制御するため、目標画質に応じた厳密な制御を行うことが可能である。このとき最適解を求めるような複雑な処理を必要としないため、少ない演算量で高速に処理することが可能である。また、人間の視覚特性を考慮し、圧縮後に高い表示画質を有する圧縮画像を生成することもできる。
｛符号量制御処理｝
次に、図１に示した符号量制御部２２の処理内容について説明する。符号量制御部２２は、画質制御部２３からの指示に基づいて、算術符号化部２１から入力される符号化データＡＤのレート制御を行う。具体的なレート制御の内容は以下の通りである。
まず、目標画質として所定の量子化パラメータＱpの値が指定されると、この値に基づいて上述した方法で、画質制御部２３が量子化ステップサイズΔbを算出し、これを量子化部１４および符号量制御部２２に通知する。
量子化部１４では、量子化ステップサイズΔbが通知されると、この値に基づいて、ＤＷＴ部１３がＤＷＴを施した後の画像データを量子化する。
符号量制御部２２では、量子化部１４が量子化を行った後、係数ビットモデリング部２０および算術符号化部２１によって処理が施された符号化データＡＤを、画質制御部２３から通知された各符号化データＡＤに対応する量子化ステップサイズΔbの大きさに従って、その値が小さい順（昇順）に並べ替える。
上述したように１以上になるよう変換した量子化ステップサイズΔbを利用して量子化された符号化データＡＤについては、変換後の量子化ステップサイズΔbに基づいて並べ替えを行うが、このとき、量子化ステップサイズΔbを変換するときに乗算した２の累乗の指数分だけ符号化データＡＤを左シフトする処理を行う。具体的な処理の態様は以下の通りである。
例えば、表４において、サブバンドＬＬ５の量子化ステップサイズΔbは０．４７１６３であるが、実際に画像データを量子化するときには、この値に２2を乗算して１．８８６５２を量子化ステップサイズΔbとして量子化を行う。よって、レート制御の際には、サブバンドＬＬ５の符号化データＡＤを、量子化ステップサイズΔbの変換のために乗算した２2の指数に対応して、２ビット左へシフトする。同様に、サブバンドＨＬ５では、量子化ステップサイズΔb＝０．９３２０４に２を乗算して、量子化ステップサイズΔb＝１．８６４０７として量子化を行う。よって、レート制御の際には、サブバンドＨＬ５の符号化データＡＤを、乗算した２の指数に対応して１ビット左へシフトする。すなわち、２mを乗算した量子化ステップサイズΔbにより量子化した場合、該当する符号化データを、レート制御の際に指数ｍの分だけ左シフトすることで、データの優先度を調節するのである。
表４に示す量子化ステップサイズΔbに基づいて、このようなビットシフトの処理を施した符号列を図８に示す。図中、＊印を伏した符号列は、量子化ステップサイズΔbの値を量子化に際して変換したものを示し、符号列の各ビットに伏した番号０，１，…，９は、当該ビットが属するビットプレーン番号を示している。ここで、ＬＳＢ番号＝０、ＭＳＢ番号＝９である。
次に、各符号列を、量子化に用いた量子化ステップサイズΔbの小さい順（昇順）に並べ替える。図８では、矢印で示した部分の量子化ステップサイズΔbの値が昇順となっていないため、これらを入れ替える。このようにして並べ替えを行った符号列を図９に示す。図９中の矢印は図８からその位置が変更された符号列を示している。
符号量制御部２２は、図９に示すように並べ替えた符号列を用いて、全体のデータ容量が所定の容量に収まるようにデータの切り捨てを行う。データの切り捨ては、右端のビットから順に行う。例えば、図９に示すＨＨ５の番号０のビットデータから、下方向へＬＨ４の番号０のビットデータ，ＨＬ４の番号０のビットデータ…と順に削除してゆき、ＬＨ２までのビットデータを切り捨てれば全体のデータ容量が所定の容量に収まるとすれば、該当する図９中の散点部のデータを切り捨てる。
このようにして、量子化ステップサイズΔbの値に従って並べ替えた各サブバンドのビットデータを下位ビットから削除してゆくことで、レート制御を行うのである。
また、カラーの画像の場合や視覚的重み付けを考慮して量子化ステップサイズΔbを計算した場合も同様にレート制御を行うことができる。
例えば、上述したように、量子化パラメータＱp＝１６として、ＹＵＶ４２２形式のカラーの画像データにおいて、Viewing distance（視距離）3000の視覚的重み付けを行ったときの輝度信号Ｙ、色差信号ＵおよびＶの量子化ステップサイズΔｂは、表１６〜表１８に示した通りである。
ここで、表１６〜表１８中の量子化ステップサイズΔbが１より小さいものは、上述したように２の累乗を乗算した上で量子化に用いられる。そして、変換後の量子化ステップサイズΔbによって量子化された符号化データＡＤは、レート制御を行うときに、元の量子化ステップサイズΔbに乗算した２の累乗の指数分だけ左シフトする。カラー画像の場合、輝度信号Ｙ、色差信号ＵおよびＶのそれぞれについてデータが存在するが、レート制御を行うときは、これらのデータを信号毎に区別せず、全てのデータについて量子化ステップサイズΔbが昇順となるように並べ替えを行う。その結果得られた符号列を図１０に示す。図中、ＹＬＬ５とは、輝度信号ＹのサブバンドＬＬ５のデータであることを示している。このように、輝度信号Ｙ、色差信号ＵおよびＶの全てのデータについて、上述したようなビットシフトと並べ替えの処理を行う。そして、上述したのと同様に、右端のビットから順に、例えば図１０中の散点部で示したデータを切り捨てて、データ容量を所定の容量に収まるよう制御する。
さらに、上述したレート制御は、画像データをタイルに分割して処理を施す場合であっても同様に行うことができる。
例えば、カラーの画像データを、図１１に示すようにＴ１〜Ｔｎまでのタイルに分割して処理を行う場合、各タイルの輝度信号Ｙ、色差信号ＵおよびＶのそれぞれについて、上述したように量子化ステップサイズΔbを求めて量子化を行う。
このとき、量子化ステップサイズΔbが１より小さいものは２の累乗を乗算して１以上の数値に変換した上で量子化を行い、これらのデータについては、レート制御を行うときに、乗算した２の累乗の指数分だけ左シフトするのは上述したの同様である。
タイリングしてカラー画像を処理する場合、各タイル毎に輝度信号Ｙ、色差信号ＵおよびＶのデータが存在するが、レート制御を行うときは、これらのデータをタイルまたは信号毎に区別せず、全てのデータについて量子化ステップサイズΔbが昇順となるように並べ替えを行う。その結果得られた符号列を図１２に示す。図中、ＹＴ１ＬＬ５とは、タイルＴ１における輝度信号ＹのサブバンドＬＬ５のデータであることを示している。このように、全てのタイルＴ１〜Ｔｎの、輝度信号Ｙ、色差信号ＵおよびＶの全てのデータについて、上述したようなビットシフトと並べ替えの処理を行う。そして、上述したのと同様に、右端のビットから順に、例えば図１２中の散点部で示したデータを切り捨てて、データ容量を所定の容量に収まるよう制御する。
このように、画像データがカラーであるか否か、視覚的重み付けを考慮するか否か、またはタイリングしてデータを処理するか否かに拘わらず、全て同様の手順でレート制御を行うことができる。また、このようなレート制御を行うことで、データ量を厳密に制御することが可能である。
尚、先に量子化部１４で量子化を行った段階で、データの全体容量が既に利用者が意図する所定の容量以下になっていれば、上述したレート制御は行う必要はない。
以上のように本実施の形態に係る符号量制御処理によれば、レート・歪み最適化処理のために各符号化パスにおける歪み量を算出せずに済むため、リアルタイム性が高く、オーバーヘッドが大幅に低減した高効率のレート制御を実現できる。
｛画像データの評価｝
上述した量子化による画質制御処理を利用して、圧縮処理を施した画像データを、客観評価したときの結果を図１３〜図２３に示す。
評価に用いた画像データは、ISO/JIS-SCID JIS X 9201-1995に規定されるサンプル番号１，画像認識番号Ｎ１，画像サイズ縦2048ピクセル横2560ピクセルの高精細カラーデジタル標準画像データ「ポートレート」である。
各図の縦軸はＰＳＮＲ (Peak Signal to Noise Ratio) を示し、横軸はＢＰＰ（bit per pixel）を示している。
図１３は、視覚的重み付けを施さずに上述した方法で圧縮したときのデータである”ＮＯ＿ＣＳＦ”と、非特許文献１に示すレート・歪み最適化（R-D optimization）法に従って圧縮したときのデータである”Ｒ．Ｄ−ｏｐｔ”とを示している。両者がほぼ重なっていることから、上述した方法によって最適解を探索するような複雑な処理をせず圧縮符号化を行ったにも拘わらず、非特許文献１に示す従来法と同様の符号化効率が得られることが分かる。
図１４は白黒画像の評価結果を示している。また、図１５〜図１７は、カラー画像をＹＵＶ４２０形式で圧縮したときのＲＧＢ各色での評価結果を示している。図１８〜図２０および図２１〜図２３は、それぞれ同様に、ＹＵＶ４２２およびＹＵＶ４４４形式で圧縮したときのＲＧＢ各色での評価結果を示している。
図１４〜図２３の図中、”ＪＰＥＧ”と記したデータは従来のＪＰＥＧ形式で圧縮したデータの評価結果であり、その他のデータは全てＪＰＥＧ２０００形式で圧縮した場合のデータを示している。
ＪＰＥＧ２０００形式で圧縮した場合について、”ＶＭ”と記したデータはＩＳＯ ＳＣ２９ＷＧ１によって規定されるＶｅｒｉｆｉｃａｔｉｏｎ Ｍｏｄｅｌに従って圧縮したデータの評価結果であり、その他”ＣＳＦ”の文字を含むものは本発明で上述した実施例に従って圧縮を施したことを示している。
本発明によって圧縮したデータのうち、”ＮＯ＿ＣＳＦ”と記したデータは、量子化ステップサイズΔbを求める際に視覚的重み付けを施さずに圧縮したデータの評価結果を示し、”ＣＳＦ＿”と数値との結合によって示すデータは、視覚的重み付けを施して圧縮したデータを示す。”ＣＳＦ＿”と結合する数値は視距離（Viewing distance）を示している。例えば”ＣＳＦ＿１０００”とあるのは、視距離１０００の視覚的重み付けを施して本発明で上述した実施例に従って圧縮したデータを示している。
例えば、視覚的重み付けを施さない場合や、視距離１０００で視覚的重み付けを施した上で評価した場合、ＰＳＮＲ値が従来のＪＰＥＧ方式で圧縮した場合を上回っている。これから画像データを同容量に圧縮した場合、本発明による圧縮方式の方が圧縮後の画像データが高画質であり、客観評価の結果が高いことを示している。尚、視距離が３０００または４０００と大きくなった場合、ＰＳＮＲ値による客観評価の結果は悪くなる傾向があるが、主観評価によれば視距離が３０００または４０００の場合の評価が最も高いことも確認済みである。
この発明の実施の形態に係る圧縮符号化装置の概略構成を示す図である。 Energy weighting factorの数値テーブルを示す図である。 Energy weighting factorの数値テーブルを示す図である。 Energy weighting factorの数値テーブルを示す図である。 輝度信号のウェーブレット平面を示す図である。 ＹＵＶ４２２形式の色差信号のウェーブレット平面を示す図である。 ＹＵＶ４２０形式の色差信号のウェーブレット平面を示す図である。 符号列のビットシフトの様子を示す図である。 符号列の並べ替えの様子を示す図である。 ＹＵＶ形式の符号列のビットシフトおよび並べ替えの様子を示す図である。 画像データのタイリングの様子を示す図である。 タイリングしたＹＵＶ形式の符号列のビットシフトおよび並べ替えの様子を示す図である。 この発明の実施の形態に係る圧縮画像と従来技術による圧縮画像の客観評価の比較結果を示す図である。 この発明の実施の形態に係る圧縮画像と従来のＪＰＥＧ方式による圧縮画像の客観評価の比較結果を示す図である。 ＹＵＶ４２０形式の本発明の実施の形態に係る圧縮画像と従来のＪＰＥＧ方式による圧縮画像とのＲ信号の客観評価の比較結果を示す図である。 ＹＵＶ４２０形式の本発明の実施の形態に係る圧縮画像と従来のＪＰＥＧ方式による圧縮画像とのＧ信号の客観評価の比較結果を示す図である。 ＹＵＶ４２０形式の本発明の実施の形態に係る圧縮画像と従来のＪＰＥＧ方式による圧縮画像とのＢ信号の客観評価の比較結果を示す図である。 ＹＵＶ４２２形式の本発明の実施の形態に係る圧縮画像と従来のＪＰＥＧ方式による圧縮画像とのＲ信号の客観評価の比較結果を示す図である。 ＹＵＶ４２２形式の本発明の実施の形態に係る圧縮画像と従来のＪＰＥＧ方式による圧縮画像とのＧ信号の客観評価の比較結果を示す図である。 ＹＵＶ４２２形式の本発明の実施の形態に係る圧縮画像と従来のＪＰＥＧ方式による圧縮画像とのＢ信号の客観評価の比較結果を示す図である。 ＹＵＶ４４４形式の本発明の実施の形態に係る圧縮画像と従来のＪＰＥＧ方式による圧縮画像とのＲ信号の客観評価の比較結果を示す図である。 ＹＵＶ４４４形式の本発明の実施の形態に係る圧縮画像と従来のＪＰＥＧ方式による圧縮画像とのＧ信号の客観評価の比較結果を示す図である。 ＹＵＶ４４４形式の本発明の実施の形態に係る圧縮画像と従来のＪＰＥＧ方式による圧縮画像とのＢ信号の客観評価の比較結果を示す図である。 ＪＰＥＧ２０００方式による圧縮符号化装置の概略構成を示す図である。 オクターブ分割方式に従って帯域分割された２次元画像を示す模式図である。 複数のコードブロックに分解された２次元画像を示す模式図である。 コードブロックを構成する複数枚のビットプレーンを示す模式図である。 ３種類の符号化パスを示す模式図である。 レートと歪みの関係を表すＲ−Ｄ曲線を示す図である。
符号の説明
１ 圧縮符号化装置
１０ ＤＣレベルシフト部
１１ 色空間変換部
１２ タイリング部
１３ ＤＷＴ部
１４ 量子化部
１５ ＲＯＩ部
１７ ビットストリーム生成部
２０ 係数ビットモデリング部
２１ 算術符号化部
２２ 符号量制御部
２３ 画質制御部

Claims (15)

  1. 画像信号を圧縮符号化する圧縮符号化装置であって、
    ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、
    目標画質を示す量子化パラメータを、合成フィルタ係数のノルムで除算して量子化ステップサイズを求める画質制御部と、
    前記量子化ステップサイズに基づいて前記変換係数を量子化する量子化部と、
    を備えることを特徴とする圧縮符号化装置。
  2. 画像信号を圧縮符号化する圧縮符号化装置であって、
    ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、
    目標画質を示す量子化パラメータを、合成フィルタ係数のノルムで除算して量子化ステップサイズを求める画質制御部と、
    前記変換係数をエントロピー符号化するエントロピー符号化部と、
    前記エントロピー符号化部の出力する符号化データを、前記量子化ステップサイズに基づいて並べ替えた符号列を生成し、前記符号化データの全体容量が目標符号量となるように前記符号列の一部を切り捨てることでレートを制御する符号量制御部と、
    を備えることを特徴とする圧縮符号化装置。
  3. 請求項１または請求項２に記載の圧縮符号化装置であって、
    前記画質制御部は、合成フィルタ係数のノルムと人間の視覚特性に基づいて定められた所定の数値であるenergy weighting facotorとを乗算した値で、指定された前記量子化パラメータを除算して、人間の視覚特性を考慮した重み付けを施した前記量子化ステップサイズを求めることを特徴とする圧縮符号化装置。
  4. 請求項１ないし請求項３のいずれかに記載の圧縮符号化装置であって、
    前記画質制御部は、前記量子化ステップサイズが所定の数値より小さいときは、前記量子化ステップサイズが前記所定の数値以上になる２の累乗を乗算して得られた値を前記量子化ステップサイズとすることを特徴とする圧縮符号化装置。
  5. 請求項４に記載の圧縮符号化装置であって、
    前記符号量制御部は、前記符号化データを、前記量子化ステップサイズに基づいて並べ替えた符号列を生成するときに、前記量子化ステップサイズが前記画質制御部において２の累乗を乗算して求めた値であるときは、当該量子化ステップサイズで量子化された前記符号化データを、前記２の累乗の指数に対応するビット数だけシフトさせることを特徴とする圧縮符号化装置。
  6. 画像信号を圧縮符号化する圧縮符号化方法であって、
    （ａ）ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成する工程と、
    （ｂ）目標画質を示す量子化パラメータを、合成フィルタ係数のノルムで除算して量子化ステップサイズを求める工程と、
    （ｃ）前記量子化ステップサイズに基づいて前記変換係数を量子化する工程と、
    を備えることを特徴とする圧縮符号化方法。
  7. 画像信号を圧縮符号化する圧縮符号化方法であって、
    （ａ）ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成する工程と、
    （ｂ）目標画質を示す量子化パラメータを、合成フィルタ係数のノルムで除算して量子化ステップサイズを求める工程と、
    （ｄ）前記変換係数をエントロピー符号化する工程と、
    （ｅ）前記工程（ｄ）で符号化した符号化データを、前記量子化ステップサイズに基づいて並べ替えた符号列を生成し、前記符号化データの全体容量が目標符号量となるように前記符号列の一部を切り捨てることでレートを制御する工程と、
    を備えることを特徴とする圧縮符号化方法。
  8. 請求項６または請求項７に記載の圧縮符号化方法であって、
    前記工程（ｂ）は、合成フィルタ係数のノルムと人間の視覚特性に基づいて定められた所定の数値であるenergy weighting facotorとを乗算した値で、指定された前記量子化パラメータを除算して、人間の視覚特性を考慮した重み付けを施した前記量子化ステップサイズを求める工程を含むことを特徴とする圧縮符号化方法。
  9. 請求項６ないし請求項８のいずれかに記載の圧縮符号化方法であって、
    前記工程（ｂ）は、前記量子化ステップサイズが所定の数値より小さいときは、
    （ｂ−１）前記量子化ステップサイズが前記所定の数値以上になる２の累乗を乗算して前記量子化ステップサイズを求める工程、
    を含むことを特徴とする圧縮符号化方法。
  10. 請求項９に記載の圧縮符号化方法であって、
    前記工程（ｅ）は、前記符号化データを前記量子化ステップサイズに基づいて並べ替えた符号列を生成するときに、前記工程（ｂ−１）により前記量子化ステップサイズを求めたときは、
    （ｅ−１）前記符号化データを、前記工程（ｂ−１）で乗算した２の累乗の指数に対応するビット数だけシフトさせる工程、
    を含むことを特徴とする圧縮符号化方法。
  11. マイクロプロセッサに画像信号を圧縮符号化させるためのプログラムであって、
    ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、
    目標画質を示す量子化パラメータを、合成フィルタ係数のノルムで除算して量子化ステップサイズを求める画質制御部と、
    前記量子化ステップサイズに基づいて前記変換係数を量子化する量子化部として、
    前記マイクロプロセッサを機能させることを特徴とするプログラム。
  12. マイクロプロセッサに画像信号を圧縮符号化するためのプログラムであって、
    ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、
    目標画質を示す量子化パラメータを、合成フィルタ係数のノルムで除算して量子化ステップサイズを求める画質制御部と、
    前記変換係数をエントロピー符号化するエントロピー符号化部と、
    前記エントロピー符号化部の出力する符号化データを、前記量子化ステップサイズに基づいて並べ替えた符号列を生成し、前記符号化データの全体容量が目標符号量となるように前記符号列の一部を切り捨てることでレートを制御する符号量制御部として、
    前記マイクロプロセッサを機能させることを特徴とするプログラム。
  13. 請求項１１または請求項１２に記載のプログラムであって、
    前記マイクロプロセッサを前記画質制御部として機能させるときは、合成フィルタ係数のノルムと人間の視覚特性に基づいて定められた所定の数値であるenergy weighting facotorとを乗算した値で、指定された前記量子化パラメータを除算して、人間の視覚特性を考慮した重み付けを施した前記量子化ステップサイズを求めるように、機能させることを特徴とするプログラム。
  14. 請求項１１ないし請求項１３のいずれかに記載のプログラムであって、
    前記マイクロプロセッサを前記画質制御部として機能させるときは、前記量子化ステップサイズが所定の数値より小さいときは、前記量子化ステップサイズが前記所定の数値以上になる２の累乗を乗算して得られた値を前記量子化ステップサイズとするように、機能させることを特徴とするプログラム。
  15. 請求項１４に記載のプログラムであって、
    前記マイクロプロセッサを前記符号量制御部として機能させるときは、前記符号化データを、前記量子化ステップサイズに基づいて並べ替えた符号列を生成するときに、前記量子化ステップサイズが前記画質制御部において２の累乗を乗算して求めた値であるときは、当該量子化ステップサイズで量子化された前記符号化データを、前記２の累乗の指数に対応するビット数だけシフトさせるように、機能させることを特徴とするプログラム。
JP2003433362A 2003-12-26 2003-12-26 圧縮符号化装置、圧縮符号化方法およびプログラム Expired - Fee Related JP4191592B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003433362A JP4191592B2 (ja) 2003-12-26 2003-12-26 圧縮符号化装置、圧縮符号化方法およびプログラム
US11/004,905 US7613352B2 (en) 2003-12-26 2004-12-07 Compression encoder

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003433362A JP4191592B2 (ja) 2003-12-26 2003-12-26 圧縮符号化装置、圧縮符号化方法およびプログラム

Publications (3)

Publication Number Publication Date
JP2005192087A JP2005192087A (ja) 2005-07-14
JP2005192087A5 JP2005192087A5 (ja) 2007-03-15
JP4191592B2 true JP4191592B2 (ja) 2008-12-03

Family

ID=34697722

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003433362A Expired - Fee Related JP4191592B2 (ja) 2003-12-26 2003-12-26 圧縮符号化装置、圧縮符号化方法およびプログラム

Country Status (2)

Country Link
US (1) US7613352B2 (ja)
JP (1) JP4191592B2 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4649859B2 (ja) * 2004-03-25 2011-03-16 ソニー株式会社 信号処理装置および方法、記録媒体、並びにプログラム
JP2006081152A (ja) * 2004-08-12 2006-03-23 Seiko Epson Corp デジタル画像符号化装置、デジタル画像符号化プログラム、デジタル画像符号化方法、及びデジタル画像復号化装置、デジタル画像復号化プログラム、並びにデジタル画像復号化方法
KR100656637B1 (ko) * 2004-12-14 2006-12-11 엘지전자 주식회사 정수 ­정수 컬러 변환 방법을 이용한 휴대폰용 정지 영상압축 방법
JP4489605B2 (ja) * 2005-01-19 2010-06-23 株式会社メガチップス 圧縮符号化装置、圧縮符号化方法およびプログラム
WO2006098226A1 (ja) * 2005-03-14 2006-09-21 Matsushita Electric Industrial Co., Ltd. 符号化装置および符号化装置を備えた動画像記録システム
JP2006295299A (ja) * 2005-04-06 2006-10-26 Megachips Lsi Solutions Inc デジタル絞りシステム
JP4636547B2 (ja) * 2005-08-12 2011-02-23 株式会社リコー 符号化装置、プログラム及び情報記録媒体
JP4789148B2 (ja) * 2005-09-06 2011-10-12 株式会社メガチップス 圧縮符号化装置、圧縮符号化方法およびプログラム
US8503806B2 (en) * 2005-09-06 2013-08-06 Megachips Corporation Compression encoder, compression encoding method and program
JP4593437B2 (ja) * 2005-10-21 2010-12-08 パナソニック株式会社 動画像符号化装置
US7711199B2 (en) * 2006-03-16 2010-05-04 Samsung Electronics Co., Ltd. Method for estimating quantization factor of compressed digital image
KR101348365B1 (ko) * 2006-08-02 2014-01-10 삼성전자주식회사 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
US8489544B2 (en) * 2007-06-04 2013-07-16 John P. Ford System and method for prioritization and display of aggregated data
US8351723B2 (en) * 2009-03-25 2013-01-08 Accusoft-Pegasus Methods and apparatus for generating and using visual error weights
JP5469127B2 (ja) 2011-05-30 2014-04-09 富士フイルム株式会社 画像データ符号化装置ならびにその動作制御方法およびそのプログラム
RU2498407C1 (ru) * 2012-05-17 2013-11-10 Открытое акционерное общество "Научно-исследовательский институт телевидения" Способ сжатия графических файлов
CN103297775B (zh) * 2013-05-17 2016-02-10 西安电子科技大学 基于联合码率分配和控制的多光谱图像压缩系统与方法
US10735754B2 (en) 2017-04-26 2020-08-04 Google Llc Chromatic aberration modeling in image compression and enhancement
US10750175B2 (en) 2017-05-04 2020-08-18 Sony Corporation Quantization partitioning for enhanced image compression
US11265552B1 (en) * 2019-09-27 2022-03-01 Apple Inc. Block-based low latency rate control
CN115049917B (zh) * 2022-08-17 2022-11-15 上海与光彩芯科技有限公司 神经网络的训练方法、物体检测方法和智能终端设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3792067B2 (ja) 1998-03-19 2006-06-28 シャープ株式会社 画像の視覚的プログレッシブ符号化方法
US6778709B1 (en) * 1999-03-12 2004-08-17 Hewlett-Packard Development Company, L.P. Embedded block coding with optimized truncation
JP3702778B2 (ja) 2000-11-27 2005-10-05 ソニー株式会社 画像符号化装置及び方法
JP2003153228A (ja) * 2001-11-15 2003-05-23 Sony Corp 画像符号化装置及び画像復号化装置

Also Published As

Publication number Publication date
US7613352B2 (en) 2009-11-03
US20050141773A1 (en) 2005-06-30
JP2005192087A (ja) 2005-07-14

Similar Documents

Publication Publication Date Title
JP4489605B2 (ja) 圧縮符号化装置、圧縮符号化方法およびプログラム
JP5034018B2 (ja) 圧縮符号化装置、圧縮符号化方法およびプログラム
JP4191592B2 (ja) 圧縮符号化装置、圧縮符号化方法およびプログラム
JP4789148B2 (ja) 圧縮符号化装置、圧縮符号化方法およびプログラム
US7792375B2 (en) Rate control system
JP4273996B2 (ja) 画像符号化装置及び方法、並びに画像復号装置及び方法
JP4702928B2 (ja) 動画像符号化装置及び復号装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP4444790B2 (ja) 画像圧縮方法、画像圧縮装置、画像圧縮システム、プログラム
US20040146205A1 (en) Digital video compression
US7260264B2 (en) Transcoding of data
EP1351506A2 (en) Encoding rate-distortion information to facilitate optimal transcoding of a compressed digital image
JP4822396B2 (ja) 画像強調装置
US6993199B2 (en) Method and system for improving coding efficiency in image codecs
US20020122489A1 (en) Image encoding device, electronic camera and recording medium for image encoding program
JP2004166254A (ja) 画像符号化装置及び方法、並びにプログラム及び記録媒体
JP3989787B2 (ja) 圧縮符号化装置、圧縮符号化方法およびプログラム
JP3989788B2 (ja) 符号量制御装置およびプログラム
JP3989786B2 (ja) 圧縮符号化装置、圧縮符号化方法およびプログラム
US8005305B2 (en) Method and apparatus for generating a halftoned image from a compressed image
JP2000083256A (ja) 画像処理装置及び方法及び記憶媒体
JP4367113B2 (ja) 画像符号化装置及び方法
EP1489830B1 (en) Method and apparatus for generating a halftoned image from a compressed image
JP2002135781A (ja) 画像符号化装置、画像復号装置、及びそれらの方法並びに記憶媒体
Mandal Digital image compression techniques
Idpntiiior et al. JFIF (JPEG FILE INTERCHANGE FORMAT)

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080916

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080918

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110926

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4191592

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120926

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120926

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120926

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150926

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees