JP4111273B2 - 画像復号装置、プログラム、記憶媒体及び画像復号方法 - Google Patents
画像復号装置、プログラム、記憶媒体及び画像復号方法 Download PDFInfo
- Publication number
- JP4111273B2 JP4111273B2 JP2003180678A JP2003180678A JP4111273B2 JP 4111273 B2 JP4111273 B2 JP 4111273B2 JP 2003180678 A JP2003180678 A JP 2003180678A JP 2003180678 A JP2003180678 A JP 2003180678A JP 4111273 B2 JP4111273 B2 JP 4111273B2
- Authority
- JP
- Japan
- Prior art keywords
- tile boundary
- image
- pass filter
- quantization rate
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
【０００２】
本発明は、インターネット画像、医療用画像、衛星通信用画像などの画像を扱う機器であるパーソナルコンピュータ、携帯情報端末（ＰＤＡ）、携帯電話、デジタルカメラ等に用いられる画像復号装置、プログラム、記憶媒体及び画像復号方法に関する。
【従来の技術】
【０００３】
画像入力技術およびその出力技術の進歩により、画像に対して高精細化の要求が、近年非常に高まっている。例えば、画像入力装置として、デジタルカメラ（Ｄｉｇｉｔａｌ Ｃａｍｅｒａ）を例にあげると、３００万以上の画素数を持つ高性能な電荷結合素子（ＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）の低価格化が進み、普及価格帯の製品においても広く用いられるようになっている。
【０００４】
一方、画像出力・表示装置に関しても、例えば、レーザプリンタ、インクジェットプリンタ、昇華型プリンタ等のハード・コピー分野における製品、そして、ＣＲＴやＬＣＤ（液晶表示デバイス）、ＰＤＰ（プラズマ表示デバイス）等のフラットパネルディスプレイのソフト・コピー分野における製品の高精細化・低価格化は目を見張るものがある。
【０００５】
こうした高性能・低価格な画像入出力製品の市場投入効果によって、高精細画像の大衆化が始まっており、今後はあらゆる場面で、高精細画像の需要が高まると予想されている。実際、パーソナルコンピュータ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やインターネットをはじめとするネットワークに関連する技術の発達は、こうしたトレンドをますます加速させている。特に最近は、携帯電話やノートパソコン等のモバイル機器の普及速度が非常に大きく、高精細な画像を、あらゆる地点から通信手段を用いて伝送あるいは受信する機会が急増している。
【０００６】
これらを背景に、高精細画像の取扱いを容易にする画像圧縮伸長技術に対する高性能化あるいは多機能化の要求は、今後ますます強くなっていくことは必至と思われる。
【０００７】
そこで、近年においては、こうした要求を満たす画像圧縮方式の一つとして、高圧縮率でも高画質な画像を復元可能なＪＰＥＧ２０００という新しい方式が規格化されつつある。かかるＪＰＥＧ２０００においては、画像を矩形領域（タイル）に分割することにより、少ないメモリ環境下で圧縮伸長処理を行うことが可能である。すなわち、個々のタイルが圧縮伸長プロセスを実行する際の基本単位となり、圧縮伸長動作はタイル毎に独立に行うことができる。
【０００８】
ところで、ＪＰＥＧ２０００における分割処理は、タイリングと呼ばれ、省メモリ化・高速化に有効な手法であるが、非特許文献１にも記載があるように、圧縮率の高い条件で圧縮伸長処理を行った場合には、伸長後の画像においてタイルの境界が不連続となるという問題がある。
【０００９】
従来、このような問題を解決するために、隣接するタイル同士で境界を互いにオーバーラップさせて処理を行う手法が提案されている。ところが、ＪＰＥＧ２０００のベースラインでは、隣接するタイル境界を重複させないことになっている。
【００１０】
そこで、このような問題を解決すべく、特許文献１においては、タイル境界の近傍のみに均一な平滑化フィルタをかけることにより、タイル境界を目立たなくするという技術が提案されている。
【非特許文献１】
Ｊ． Ｘ． Ｗｅｉ， Ｍ． Ｒ． Ｐｉｃｋｅｒｉｎｇ， Ｍ． Ｒ． Ｆｒａｔｅｒ ａｎｄ Ｊ． Ｆ． Ａｒｎｏｌｄ， ”Ａ Ｎｅｗ Ｍｅｔｈｏｄ ｆｏｒ Ｒｅｄｕｃｉｎｇ Ｂｏｕｎｄａｒｙ Ａｒｔｉｆａｃｔｓ ｉｎ Ｂｌｏｃｋ−Ｂａｓｅｄ Ｗａｖｅｌｅｔ Ｉｍａｇｅ Ｃｏｍｐｒｅｓｓｉｏｎ，” ｉｎ ＶＣＩＰ ２０００， Ｋ． Ｎ． Ｎｇａｎ， Ｔ． Ｓｉｋｏｒａ， Ｍ−Ｔ Ｓｕｎ Ｅｄｓ．， Ｐｒｏｃ． ｏｆ ＳＰＩＥ Ｖｏｌ． ４０６７， ｐｐ． １２９０−１２９５， ２０−２３ Ｊｕｎｅ ２０００， Ｐｅｒｔｈ， Ａｕｓｔｒａｌｉａ
【特許文献１】
特開平０５−０１４７３５号公報
【発明が解決しようとする課題】
【００１１】
しかしながら、特許文献１において提案されている技術によれば、タイル境界歪み抑制には効果があるが、タイル境界のエッジ度合いが強い場合には、平滑化フィルタをかけたことによりタイル境界の近傍でエッジがぼやけて帯状の画像品質劣化が現れてしまうという問題がある。
【００１２】
本発明の目的は、品質の良い再生画像を得ることができる画像復号装置、プログラム、記憶媒体及び画像復号方法を提供することである。
【００１３】
本発明の目的は、タイル境界歪み抑制のための処理時間を短縮することができる画像復号装置、プログラム、記憶媒体及び画像復号方法を提供することである。
【課題を解決するための手段】
【００１４】
本発明の画像復号装置は、画像をタイル毎にウェーブレット変換し、さらにエントロピー符号化した符号をトランケーションすることにより得られた圧縮符号を復号する画像復号装置において、画像の高周波成分をカットするローパスフィルタを用いて復号後のタイル境界の歪みを平滑化するタイル境界平滑化手段を備え、前記タイル境界平滑化手段は、所定階層以下のサブバンドにおける、全ビットプレーン数に対するトランケーションされずに残ったビットプレーン数の割合を量子化率Ｒとし、当該量子化率Ｒに応じて前記ローパスフィルタの強度を制御する。
【００１５】
本発明のプログラムは、画像をタイル毎にウェーブレット変換し、さらにエントロピー符号化した符号をトランケーションすることにより得られた圧縮符号の復号をコンピュータに実行させるプログラムにおいて、画像の高周波成分をカットするローパスフィルタを用いて復号後のタイル境界の歪みを平滑化するタイル境界平滑化機能を前記コンピュータに実行させ、前記タイル境界平滑化機能では、所定階層以下のサブバンドにおける、全ビットプレーン数に対するトランケーションされずに残ったビットプレーン数の割合を量子化率Ｒとし、当該量子化率Ｒに応じて前記ローパスフィルタの強度を前記コンピュータに制御させる。
【００１６】
本発明の記憶媒体は、本発明のプログラムを記憶していることを特徴とするコンピュータに読取り可能な記憶媒体である。
【００１７】
本発明の画像復号方法は、画像をタイル毎にウェーブレット変換し、さらにエントロピー符号化した符号をトランケーションすることにより得られた圧縮符号を復号する画像復号方法において、画像の高周波成分をカットするローパスフィルタを用いて復号後のタイル境界の歪みを平滑化するタイル境界平滑化工程を含み、前記タイル境界平滑化工程では、所定階層以下のサブバンドにおける、全ビットプレーン数に対するトランケーションされずに残ったビットプレーン数の割合を量子化率Ｒとし、当該量子化率Ｒに応じて前記ローパスフィルタの強度を制御する。
【００１８】
［ＪＰＥＧ２０００について］
最初に、本実施の形態の前提となる「ＪＰＥＧ２０００」における量子化、符号破棄および画質制御について説明する。ＪＰＥＧ２０００の符号化処理は、概ね図１の流れで行われる。すなわち、画像データを圧縮符号化するときは、画像をタイル分割して、このタイルにＤＣレベルシフト、色変換を施し（ａ）、タイルごとにＷａｖｅｌｅｔ変換を行って（ｂ）、サブバンドごとに量子化する（ｃ）。そして、コードブロック毎にビットプレーン符号化を行い（ｄ）、不要な符号を破棄して、必要な符号をまとめて、パケットを生成する（ｅ）。後は、パケットを並べて符号形成を行う（ｆ）。圧縮後の符号を伸長するには、これらの処理の流れを逆にたどればよい。
【００１９】
図２は、画像、タイル、サブバンド、プリシンクト、コードブロックの関係を示す説明図である。タイルとは、画像を矩形に分割した単位であり、分割数＝１の場合、画像＝タイルである。ＪＰＥＧ２０００では個々のタイルを独立した１つの画像と見なし、Ｗａｖｅｌｅｔ変換がなされ、サブバンドが生成される。ＪＰＥＧ２０００の基本仕様では、Ｗａｖｅｌｅｔ変換として９×７変換を用いる場合、同一のサブバンドに含まれる係数を同一の数で除算し、線形に量子化することができる。したがって、線形量子化による画質制御は、サブバンド単位で可能である（線形量子化による画質制御単位はサブバンドである）。
【００２０】
プリシンクトとは、サブバンドを（ユーザが指定可能なサイズの）矩形に分割した単位で、大まかには画像中の場所（Ｐｏｓｉｔｉｏｎ）を表すものであり、インプリメンテーションでメモリを効率的に使うために導入されたものである。プリシンクトは、ＨＬ，ＬＨ，ＨＨの３つのサブバンドにおいて空間的に一致している。つまり、プリシンクトは３つで１つのまとまりを成すものである。ただし、ＬＬサブバンドを分割したプリシンクトは１つで１つのまとまりを成すものである。このようなプリシンクトは、サブバンドと同じサイズにすることも可能である。
【００２１】
更に、個々のプリシンクトは、重複しない（ユーザが指定可能なサイズの）矩形の「コードブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。
【００２２】
また、量子化後のサブバンドの係数は、コードブロック単位でビットプレーン符号化される（１つのビットプレーンは３つのサブビットプレーンに分解されて符号化される）。
【００２３】
プリシンクトに含まれる全てのコードブロックから、符号の一部を取り出して集めたもの（例えば、全てのコードブロックのＭＳＢ（Ｍｏｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ：最上位ビット）から３枚目までのビットプレーンの符号を集めたもの）がパケットである。ここで、符号の“一部”とは“空”でもいいので、パケットの中身が符号的には“空（から）”という場合もある。全てのプリシンクト（すなわち、全てのコードブロック、全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のＷａｖｅｌｅｔ係数のＭＳＢから３枚目までのビットプレーンの符号）ができるが、これをレイヤとよぶ。レイヤは、大まかには画像全体のビットプレーンの符号の一部であるから、復号されるレイヤ数が増えれば画質は上がる。レイヤはいわば画質の単位である。
【００２４】
全てのレイヤを集めると、画像全域の全てのビットプレーンの符号になる。図３は、Ｗａｖｅｌｅｔ変換の階層数（デコンポジションレベル）＝２、プリシンクトサイズ＝サブバンドサイズとしたときのレイヤ、図４はそれに含まれるパケットの例である。これらの場合は、プリシンクトサイズ＝サブバンドサイズであり、図２でいうプリンシンクトの大きさと同じ大きさのコードブロックを採用しているため、デコンポジションレベル２のサブバンドは４個のコードブロックに、デコンポジションレベル１のサブバンドは９個のコードブロックに分割されている。パケットは、プリシンクトを単位とするものであるから、プリシンクト＝サブバンドとした場合、ＨＬ〜ＨＨサブバンドを跨いだものとなる。図４中、いくつかのパケットを太線で囲んで示している。
【００２５】
ここで、パケットは「コードブロックの符号の一部を取り出して集めたもの」であり、不要な符号は、パケットとして生成する必要はない。例えば、図３のレイヤＮｏ．９に含まれるような下位ビットプレーンの符号は、破棄するのが通常である。
【００２６】
したがって、符号破棄による画質制御は、コードブロック単位（かつ、サブビットプレーン単位）で可能である（符号破棄による画質制御単位はコードブロックである）。なお、パケットの並びをプログレッション順序と呼ぶ。
【００２７】
［発明の実施の形態］
［第一の実施の形態］
以下、本発明の第一の実施の形態について説明する。なお、ここでは、ＪＰＥＧ２０００を代表とする画像圧縮伸長技術に関する例について説明するが、言うまでもなく、本発明は以下の説明の内容に限定されるものではない。
【００２８】
図５は、本発明が適用される画像処理装置１を含むシステムを示すシステム構成図、図６は画像処理装置１の機能ブロック図である。図５に示すように、本発明が適用される画像処理装置１は、例えばパーソナルコンピュータであり、インターネットであるネットワーク５を介して各種画像データを記憶保持するサーバコンピュータＳに接続可能とされている。サーバコンピュータＳには、「ＪＰＥＧ２０００アルゴリズム」に従って生成された圧縮符号である画像データが記憶保持されている。
【００２９】
そして、図６に示すように、画像処理装置１は、ネットワーク５を介して画像処理装置１に出力された符号列データ（ＪＰＥＧ２０００データ）を伸長（復号）して画像の画像データとする画像復号装置である画像伸長装置２と、この伸長後の画像データによる画像を表示する画像表示装置３と、ネットワーク５を介して画像処理装置１に出力された符号列データ（ＪＰＥＧ２０００データ）を記憶する符号列記憶部４とを備えている。符号列記憶部４は、一般的なバッファとしての機能、あるいは、画像の符号列データの貯蔵庫として機能し、用途により使い分けられる。
【００３０】
図７は、画像処理装置１のハードウェア構成を概略的に示すブロック図である。図７に示すように、画像処理装置１は、コンピュータの主要部であって各部を集中的に制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６を備えている。このＣＰＵ６には、ＢＩＯＳなどを記憶した読出し専用メモリであるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）７と、各種データを書換え可能に記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８とがバス９で接続されている。ＲＡＭ８は、各種データを書換え可能に記憶する性質を有していることから、ＣＰＵ６の作業エリアとして機能し、例えば入力バッファ等の役割を果たす。
【００３１】
さらにバス９には、符号列記憶部４として機能するＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１０と、配布されたプログラムであるコンピュータソフトウェアを読み取るための機構としてＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）−ＲＯＭ１１を読み取るＣＤ−ＲＯＭドライブ１２と、画像処理装置１とネットワーク５との通信を司る通信制御装置１３と、キーボードやマウスなどの入力装置１４と、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）やＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）である表示装置１５とが、図示しないＩ／Ｏを介して接続されている。
【００３２】
そして、ネットワーク５を介してサーバコンピュータＳからダウンロードした圧縮符号は、符号列記憶部４として機能するＨＤＤ１０に格納されることになる。
【００３３】
また、図７に示すＣＤ−ＲＯＭ１１は、この発明の記憶媒体を実施するものであり、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や各種コンピュータソフトウェアが記憶されている。ＣＰＵ６は、ＣＤ−ＲＯＭ１１に記憶されているコンピュータソフトウェアをＣＤ−ＲＯＭドライブ１２で読み取り、ＨＤＤ１０にインストールする。
【００３４】
このような構成の画像処理装置１のＨＤＤ１０には、コンピュータソフトウェアの一つとして、画像を処理する画像処理プログラムが記憶されている。この画像処理プログラムは本発明のプログラムを実施するものである。そして、この画像処理プログラムに基づいてＣＰＵ６が実行する処理により、画像伸長装置２の機能を実現する。
【００３５】
なお、記憶媒体としては、ＣＤ−ＲＯＭ１１のみならず、ＤＶＤなどの各種の光ディスク、各種光磁気ディスク、フレキシブル・ディスクなどの各種磁気ディスク等、半導体メモリ等の各種方式のメディアを用いることができる。また、通信制御装置１３を介してインターネットなどのネットワーク５からコンピュータソフトウェアをダウンロードし、ＨＤＤ１０にインストールするようにしてもよい。この場合に、送信側のサーバでコンピュータソフトウェアを記憶している記憶装置も、この発明の記憶媒体である。なお、コンピュータソフトウェアは、所定のＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）上で動作するものであってもよいし、その場合に後述の各種処理の一部の実行をＯＳに肩代わりさせるものであってもよいし、所定のアプリケーションソフトやＯＳなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。
【００３６】
ここで、画像処理装置１の各部の動作について図６を参照しつつ簡単に説明する。ネットワーク５を介して画像処理装置１に出力された符号列データ（ＪＰＥＧ２０００データ）は、符号列記憶部４に格納され、また、画像伸長装置２で伸長処理される。そして、画像伸長装置２で伸長処理されて生成された画像の画像データは、画像表示装置３に出力され、この伸長後の画像データによる画像が表示装置１５に表示される。
【００３７】
続いて、本発明の主要部分である画像伸長装置２について詳述する。ここで、図８は画像伸長装置２の機能ブロック図である。図８に示すように、ＣＰＵ６がコンピュータソフトウェア（画像処理プログラム）に基づいて動作することで、タグ処理手段２１、エントロピー復号化手段２２、逆量子化手段２３、２次元Ｗａｖｅｌｅｔ逆変換手段２４、色空間逆変換手段２５、タイル境界制御手段２６、タイル境界の近傍の平滑化処理を行うタイル境界平滑化手段２７の各機能を有する画像伸長装置２を実現する。
【００３８】
画像伸長装置２は、このような構成により符号列データ（ＪＰＥＧ２０００データ）から画像データを生成する。この場合、タグ処理手段２１は入力した符号列データ（ＪＰＥＧ２０００データ）に付加されたタグ情報を解釈し、復号化の対象となるビットの位置を定める。エントロピー復号化手段２２は符号列データから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。逆量子化手段２３は対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストを生成する。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを２次元Ｗａｖｅｌｅｔ逆変換手段２４で２次元Ｗａｖｅｌｅｔ逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間逆変換手段２５によって元の表色系の画像データ（ＲＧＢデータ）に変換され、タイル境界制御手段２６に出力される。
【００３９】
ところで、「ＪＰＥＧ２０００アルゴリズム」においては、符号列データ（ＪＰＥＧ２０００データ）の符号化に際し、前述したような符号の破棄を行うポスト量子化（トランケーション）が実行される。このようなポスト量子化（トランケーション）は、量子化テーブルを用いて実行される。
【００４０】
図９に量子化テーブルとトランケート数の関係を示す。図９（ａ）はトランケート前の符号の例である。本例では色成分が３種類あり、図９（ａ）は、その中の一つ（Ｃ０）を示している。また、本例では、階層数は３である。図９（ａ）に示すように、ここでは縦横方向に、３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨの１０種類のサブバンドに分かれ、深さ方向に８つのビットプレーンで構成されている符号を表している。本例では、深さ方向はビットプレーンに分けているが、一つのビットプレーンをさらに３つのサブビットプレーンに分ける構成にしてもよい。図９（ｂ）は量子化テーブルの一例である。各コンポーネント（色成分）、サブバンド毎に、破棄するビットプレーンの数が記述してある。図９（ｃ）は、図９（ｂ）の量子化テーブルを用いた、トランケーション（ビットプレーンの破棄）の一例である。これもコンポーネントはＣ０の例である。３ＬＬ係数は、Ｃ０成分では１という値を示しているので、８枚のビットプレーンのうち１枚を破棄する。１ＨＨ係数は、Ｃ０成分では７という値を示しているので、８枚のビットプレーンのうち７枚を破棄する（破棄するビットプレーンが網掛けで示されている）。このようにして、すべてのサブバンドについて、量子化テーブルの値によりトランケートした後の符号が図９（ｄ）である。同図においては、破棄されたビットプレーンが網掛けで示されている。
【００４１】
そして、エントロピー復号化手段２２は、このようなトランケートした後の符号を受け取ると、全てのコンポーネントと全てのサブバンドにおいて破棄されたビットプレーンの総数を算出し、その算出した値（トランケートされたビットプレーン数）をタイル境界制御手段２６とタイル境界平滑化手段２７に出力する。
【００４２】
タイル境界制御手段２６は、タイル境界平滑化手段２７によるタイル境界の近傍の平滑化処理が必要であるか否かを判定する機能を発揮するものであって、このタイル境界制御手段２６には、色空間逆変換手段２５によって得られた画像データ（ＲＧＢデータ）が入力されるとともに、エントロピー復号化手段２２から出力されたトランケートされたビットプレーン数が入力される。
【００４３】
タイル境界の近傍の平滑化処理が必要であるか否かは、量子化率に応じて判定される。量子化率とは、５×３フィルタによるウェーブレット変換の場合では、各サブバンドのビットプレーン数の総数に破棄されずに残ったビットプレーン数を除算した値である。そして、量子化率が所定の閾値よりも小さい画像では、タイル境界の歪みが目立たないので、タイル境界の近傍の平滑化処理が不要であると判定する。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。一方、量子化率が大きい画像では、タイル境界の歪みが目立つので、タイル境界の近傍の平滑化処理が必要であると判定する。
【００４４】
これにより、タイル境界制御手段２６は、タイル境界の近傍の平滑化処理が必要であると判定した場合には、タイル境界平滑化手段２７に対して色空間逆変換手段２５によって得られた画像データ（ＲＧＢデータ）を出力し、タイル境界の近傍の平滑化処理が不要であると判定した場合には、タイル境界の近傍の平滑化処理を行わずに、色空間逆変換手段２５によって得られた画像データ（ＲＧＢデータ）をそのまま画像表示装置３に出力する。
【００４５】
タイル境界平滑化手段２７は、色空間逆変換手段２５によって得られた画像データ（ＲＧＢデータ）に対し、タイル境界の近傍の画素を平滑化してタイル境界の歪みを目立たなくするものである。より詳細には、タイル境界歪み抑制のために画像の高周波成分をカットするローパスフィルタの強度を量子化率に応じて強くすることにより、タイル境界の近傍の画素を平滑化するものである。
【００４６】
ここで、タイル境界平滑化手段２７における処理の具体例を示す。図１０はタイル境界平滑化手段２７における処理の一例を示す説明図である。図１０に示すように、タイル境界平滑化手段２７は、タイル境界の近傍の画素（図１０中、タイル境界画素を含む網掛け領域の画素）に対してローパスフィルタをかける。
【００４７】
ここで、図１１は縦方向タイル境界におけるローパスフィルタの一例を示す説明図である。図１１に示すように、縦方向タイル境界ａ（図１０参照）に対しては、縦方向タイル境界ａに垂直なローパスフィルタ（１次元の横長のフィルタ）Ｆ１をかけることにより、縦方向のタイル境界歪みを抑制することができる。なお、本実施の形態では、１次元の横長のフィルタの例で説明したが、横方向の周波数成分を落とすような周波数特性を有するローパスフィルタであればいかなるフィルタであっても良い。
【００４８】
図１２は横方向タイル境界におけるローパスフィルタの一例を示す説明図である。図１２に示すように、横方向タイル境界ｂ（図１０参照）に対しては、横方向タイル境界ｂに垂直なローパスフィルタ（１次元の縦長のフィルタ）Ｆ２をかけることにより、横方向のタイル境界歪みを抑制することができる。なお、本実施の形態では、１次元の縦長のフィルタの例で説明したが、縦方向の周波数成分を落とすような周波数特性を有するローパスフィルタであればいかなるフィルタであっても良い。
【００４９】
図１３は縦方向タイル境界と横方向タイル境界との交点の近傍におけるローパスフィルタの一例を示す説明図である。図１３に示すように、縦方向タイル境界ａと横方向タイル境界ｂとの交点の近傍に対しては、十字型のローパスフィルタＦ３をかけることにより、縦方向タイル境界ａと横方向タイル境界ｂとの交点付近のタイル境界歪みを抑制することができる。なお、本実施の形態では、十字型のフィルタの例で説明したが、縦方向と横方向との周波数成分を共に落とすような周波数特性を有するローパスフィルタであればいかなるフィルタであっても良い。
【００５０】
ところで、ローパスフィルタＦ１，Ｆ２，Ｆ３のフィルタ中心の重み付けの係数ｍは復号化される符号量に応じて可変制御される。５×３フィルタによるウェーブレット変換の場合、ローパスフィルタの中心の重み付けの係数ｍは、量子化率（全ビットプレーン数に対する破棄されずに残ったビットプレーン数の割合）Ｒに応じて、
ｍ＝Ｋ＊Ｒ（Ｋ：定数）
Ｒ＝サブバンド毎の全ビットプレーン数／サブバンド毎の破棄されずに残ったビットプレーン数
という式に基づいて制御されることになる。この制御例はあくまで一例であり、全ビットプレーン数に対する破棄されずに残ったビットプレーン数の割合Ｒが大きくなるほど、ローパスフィルタの中心の重み付けの係数ｍの値が大きくなるような制御方法であればいかなる制御方法でも良い。
【００５１】
したがって、図１４に示すように、量子化率（全ビットプレーン数に対する破棄されずに残ったビットプレーン数の割合）Ｒが小さい場合には、タイル境界歪み抑制のためのローパスフィルタの強度を弱くすることができる。逆に、量子化率（全ビットプレーン数に対する破棄されずに残ったビットプレーン数の割合）Ｒが大きい場合には、タイル境界歪み抑制のためのローパスフィルタの強度を強くすることができる。なお、量子化率（全ビットプレーン数に対する破棄されずに残ったビットプレーン数の割合）Ｒが所定の数より小さい場合には、タイル境界抑制のためのローパスフィルタをかけない構成にすることもできる。
【００５２】
ここに、量子化率（全ビットプレーン数に対する破棄されずに残ったビットプレーン数の割合）Ｒに応じてローパスフィルタの強度を制御しつつ、復号後の各フレームにおけるタイル境界に対してローパスフィルタをかけることで、タイル境界の歪みを平滑化する。これにより、全ビットプレーン数に対するトランケート後のビットプレーン数の割合をローパスフィルタの強度のパラメータとすることで、圧縮しやすい画像にも圧縮しにくい画像にも精度良くタイル境界歪み抑制のローパスフィルタがかけられるので、品質の良い再生画像を得ることが可能となる。
【００５３】
なお、量子化率Ｒは、所定階層以下のサブバンドに基づいて算出するものであっても良いし、ＬＬ以外のサブバンドに基づいて算出するものであっても良い。このようにすることで、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【００５４】
また、本実施の形態においては、「ＪＰＥＧ２０００アルゴリズム」に従った画像圧縮伸長方式で説明したが、これに限るものではなく、画像を周波数空間に変換する画像圧縮伸長方式であれば、いかなる画像圧縮伸長方式を用いても良い。
【００５５】
［第二の実施の形態］
次に、本発明の第二の実施の形態について説明する。なお、第一の実施の形態において説明した部分と同一部分については同一符号を用い、説明も省略する（以降の実施の形態においても同様とする）。第一の実施の形態では、５×３フィルタによるウェーブレット変換の場合について説明したが、本実施の形態では、９×７フィルタによるウェーブレット変換の場合について説明したものである。
【００５６】
９×７フィルタによるウェーブレット変換の場合には、５×３フィルタによるウェーブレット変換の場合とは量子化率の定義が異なる。９×７フィルタによるウェーブレット変換の場合の量子化率Ｒは、サブバンドｉの量子化分母をＱｉとし、サブバンドｉにおけるビットプレーン数をＮｉとし、サブバンドｉで破棄されずに残ったビットプレーン数をＸｉとすると、
【００５７】
【数３】
として定義される。すなわち、９×７フィルタによるウェーブレット変換の場合の量子化率Ｒは、あるサブバンドの２のビットプレーン数乗にそのサブバンドの量子化分母を乗じた値をサブバンドの分だけ加算した値をあるサブバンドの破棄されずに残った２のビットプレーン数乗の値をサブバンドの分だけ加算した値で除算した値である。
【００５８】
これにより、９×７フィルタによるウェーブレット変換の場合、ローパスフィルタの中心の重み付けの係数ｍは、量子化率Ｒに応じて、
ｍ＝Ｋ＊Ｒ（Ｋ：定数）
という式に基づいて制御されることになる。この制御例はあくまで一例であり、全ビットプレーン数に対する破棄されずに残ったビットプレーン数の割合Ｒが大きくなるほど、ローパスフィルタの中心の重み付けの係数ｍの値が大きくなるような制御方法であればいかなる制御方法でも良い。
【００５９】
したがって、図１４に示すように、量子化率Ｒが小さい場合には、タイル境界歪み抑制のためのローパスフィルタの強度を弱くすることができる。逆に、量子化率Ｒが大きい場合には、タイル境界歪み抑制のためのローパスフィルタの強度を強くすることができる。なお、量子化率Ｒが所定の数より小さい場合には、タイル境界抑制のためのローパスフィルタをかけない構成にすることもできる。
【００６０】
ここに、量子化率Ｒに応じてローパスフィルタの強度を制御しつつ、復号後の各フレームにおけるタイル境界に対してローパスフィルタをかけることで、タイル境界の歪みを平滑化する。これにより、全ビットプレーン数に対するトランケート後のビットプレーン数の割合をローパスフィルタの強度のパラメータとすることで、圧縮しやすい画像にも圧縮しにくい画像にも精度良くタイル境界歪み抑制のローパスフィルタがかけられるので、品質の良い再生画像を得ることが可能となる。
【００６１】
なお、量子化率Ｒは、所定階層以下のサブバンドに基づいて算出するものであっても良いし、ＬＬ以外のサブバンドに基づいて算出するものであっても良い。このようにすることで、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【００６２】
［第三の実施の形態］
次に、本発明の第三の実施の形態について説明する。本実施の形態は、全てのタイル境界近傍画素にローパスフィルタをかけるのではなく、ローパスフィルタをかけるべきタイル境界を限定して、そのタイル境界近傍画素にのみにローパスフィルタをかけるようにしたものである。
【００６３】
図１５は本実施の形態の画像伸長装置２の機能ブロック図である。図１５に示すように、ＣＰＵ６はコンピュータソフトウェア（画像処理プログラム）に基づいて動作することで、タグ処理手段２１、エントロピー復号化手段２２、逆量子化手段２３、２次元ウェーブレット逆変換手段２４、色空間逆変換手段２５、タイル境界制御手段２６、補正タイル境界限定手段２８、タイル境界平滑化手段２７の各機能を有する画像伸長装置２を実現する。
【００６４】
補正タイル境界限定手段２８は、タイル境界平滑化手段２７においてローパスフィルタをかけるべきタイル境界を限定する機能を発揮するものであって、この補正タイル境界限定手段２８には、色空間逆変換手段２５によって得られ、タイル境界制御手段２６でタイル境界の近傍の平滑化処理が必要であると判定された画像データ（ＲＧＢデータ）が入力される。
【００６５】
ここで、図１６及び図１７は、ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）領域内のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。このＲＯＩ領域とは、画像全体から切り出して拡大したり、他の部分に比べて強調したりする場合の、画像全体から見たある一部分である。
【００６６】
量子化率が大きい場合には、ＲＯＩ領域内はタイル境界歪みが目立ってしまう。そこで本実施の形態においては、量子化率が所定の閾値よりも大きい場合には、ＲＯＩ領域内のタイル境界のみにローパスフィルタをかけるようにしたものである。
【００６７】
図１６は、ＲＯＩ領域がタイル境界に沿った領域である場合について示すものである。図１６（ａ）に示すようにＲＯＩ境界が設定されたら、ローパスフィルタをかけるタイル境界は図１６（ｂ）に点線で示す部分に設定する。図１６（ｂ）に太線で示すＲＯＩ境界部にはローパスフィルタをかけない。
【００６８】
図１７は、ＲＯＩ領域がタイル境界に沿っていない領域である場合について示すものである。図１７（ａ）に示すようにＲＯＩ境界が設定されたら、ローパスフィルタをかけるタイル境界は図１７（ｂ）に点線で示す部分に設定する。タイル境界画素がＲＯＩ内部か否かを演算によって算出し、該タイル境界画素がＲＯＩ内部であればその画素にローパスフィルタをかける。該タイル境界画素がＲＯＩ外部であれば、その画素にはローパスフィルタをかけない。
【００６９】
なお、本実施の形態では、ＲＯＩ内部か否かで、ローパスフィルタをかけるか否かを判定したが、それ以外にも、縦または横成分のエッジ量が大きい部分のタイル境界画素のみにローパスフィルタをかけるという制御を行っても良い。
【００７０】
これにより、補正タイル境界限定手段２８は、ローパスフィルタをかけるべきタイル境界画素を限定して、タイル境界平滑化手段２７に対して色空間逆変換手段２５によって得られた画像データ（ＲＧＢデータ）を出力する。
【００７１】
ここに、ローパスフィルタをかけるべきタイル境界画素を制御することにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【００７２】
［第四の実施の形態］
次に、本発明の第四の実施の形態について説明する。なお、第三の実施の形態において説明した部分と同一部分については同一符号を用い、説明も省略する。本実施の形態も、全てのタイル境界近傍画素にローパスフィルタをかけるのではなく、ローパスフィルタをかけるべきタイル境界を限定して、そのタイル境界近傍画素にのみにローパスフィルタをかけるようにした点で第三の実施の形態と同様である。しかしながら、本実施の形態においては、第三の実施の形態とは、ローパスフィルタをかけるべきタイル境界の限定手法が異なっている。
【００７３】
量子化率が小さい場合には、ＲＯＩ領域内はタイル境界歪みが目立たない場合が多く、逆に、ＲＯＩ領域外のタイル境界歪みが目立ってしまう。そこで本実施の形態においては、量子化率が所定の閾値よりも小さい場合には、ＲＯＩ領域外のタイル境界のみにローパスフィルタをかけるようにしたものである。
【００７４】
ここで、図１８及び図１９は、ＲＯＩ領域外のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。
【００７５】
図１８は、ＲＯＩ領域がタイル境界に沿った領域である場合について示すものである。図１８（ａ）に示すようにＲＯＩ境界が設定されたら、ローパスフィルタをかけるタイル境界は図１８（ｂ）に点線で示す部分以外に設定する。
【００７６】
図１９は、ＲＯＩ領域がタイル境界に沿っていない領域である場合について示すものである。図１９（ａ）に示すようにＲＯＩ境界が設定されたら、ローパスフィルタをかけるタイル境界は図１９（ｂ）に点線で示す部分以外に設定する。タイル境界画素がＲＯＩ内部か否かを演算によって算出し、該タイル境界画素がＲＯＩ内部であればその画素にはローパスフィルタをかけない。該タイル境界画素がＲＯＩ外部であれば、その画素にはローパスフィルタをかける。
【００７７】
これにより、補正タイル境界限定手段２８は、ローパスフィルタをかけるべきタイル境界画素を限定して、タイル境界平滑化手段２７に対して色空間逆変換手段２５によって得られた画像データ（ＲＧＢデータ）を出力する。
【００７８】
ここに、ローパスフィルタをかけるべきタイル境界画素を制御することにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【００７９】
なお、各実施の形態においては、画像処理装置１としてパーソナルコンピュータを適用したが、これに限るものではない。例えば、デジタルカメラ、携帯情報端末（ＰＤＡ）や携帯電話などを画像処理装置１として適用することもできる。
【００８０】
本実施の形態によれば、全ビットプレーン数に対するトランケート後のビットプレーン数の割合を量子化に関する量子化率Ｒとし、この量子化率Ｒに応じてローパスフィルタの強度を制御しつつ、復号後の各フレームにおけるタイル境界に対してローパスフィルタをかけることで、タイル境界の歪みを平滑化することにより、全ビットプレーン数に対するトランケート後のビットプレーン数の割合をローパスフィルタの強度のパラメータとすることで、圧縮しやすい画像にも圧縮しにくい画像にも精度良くタイル境界歪み抑制のローパスフィルタがかけられるので、品質の良い再生画像を得ることができる。
【００８１】
本実施の形態によれば、５×３フィルタによるウェーブレット変換の場合における量子化率Ｒを確実に得ることができる。
【００８２】
本実施の形態によれば、タイル境界歪み抑制のための処理時間を短縮することができる。
【００８３】
本実施の形態によれば、９×７フィルタによるウェーブレット変換の場合における量子化率Ｒを確実に得ることができる。
【００８４】
本実施の形態によれば、量子化率Ｒが大きい画像ではタイル境界の歪みが目立つことから、強いローパスフィルタをかけ、逆に量子化率Ｒが小さい画像ではタイル境界の歪みが 目立ちにくいことから、弱いローパスフィルタをかけることにより、フレーム毎に最適な適応的ポストフィルタをかけることができる。
【００８５】
本実施の形態によれば、量子化率Ｒが大きいほど、ローパスフィルタのフィルタ中心の重み付けの係数ｍも大きくなることにより、量子化率Ｒが大きいほど、ローパスフィルタの強度を強くすることができる。
【００８６】
本実施の形態によれば、量子化率Ｒが所定の閾値よりも小さい画像では、タイル境界の歪みが目立たないと判断し、タイル境界の歪み平滑化処理を回避することにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【００８７】
本実施の形態によれば、ローパスフィルタをかけるべきタイル境界画素を制御することにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【００８８】
本実施の形態によれば、量子化率Ｒが所定の閾値よりも大きい場合には、ＲＯＩ領域内のタイル境界にのみローパスフィルタをかけることにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【００８９】
本実施の形態によれば、量子化率Ｒが所定の閾値よりも小さい場合には、ＲＯＩ領域外のタイル境界にのみローパスフィルタをかけることにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【００９０】
本実施の形態のコンピュータに読取り可能な記憶媒体によれば、本実施形態のプログラムを記憶していることにより、この記憶媒体に記憶されたプログラムをコンピュータに読み取らせることで、本実施形態のプログラムと同様の作用を得ることができる。
【発明の効果】
【００９１】
本発明によれば、圧縮しやすい画像にも圧縮しにくい画像にも精度良くタイル境界歪み抑制のローパスフィルタがかけられるので、品質の良い再生画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の前提となるＪＰＥＧ２０００における量子化、符号破棄および画質制御についての処理の説明図である。
【図２】画像、タイル、サブバンド、プリシンクト、コードブロックの関係を示す説明図である。
【図３】Ｗａｖｅｌｅｔ変換の階層数が２として、プリシンクトサイズをサブバンドサイズとしたときのレイヤの例の説明図である。
【図４】図３のレイヤに含まれるパケットの例の説明図である。
【図５】本発明の第一の実施の形態の画像処理装置を含むシステムを示すシステム構成図である。
【図６】画像処理装置の機能ブロック図である。
【図７】画像処理装置のハードウェア構成を概略的に示すブロック図である。
【図８】画像伸長装置の機能ブロック図である。
【図９】量子化テーブルとトランケート数の関係を示す説明図である。
【図１０】タイル境界平滑化手段における処理の一例を示す説明図である。
【図１１】縦方向タイル境界におけるローパスフィルタの一例を示す説明図である。
【図１２】横方向タイル境界におけるローパスフィルタの一例を示す説明図である。
【図１３】縦方向タイル境界と横方向タイル境界との交点の近傍におけるローパスフィルタの一例を示す説明図である。
【図１４】量子化率Ｒとローパスフィルタの強度との関係を示す説明図である。
【図１５】本発明の第二の実施の形態の画像伸長装置の機能ブロック図である。
【図１６】本発明の第三の実施の形態における処理の一例であり、ＲＯＩ領域内のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。
【図１７】ＲＯＩ領域内のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。
【図１８】本発明の第四の実施の形態における処理の一例であり、ＲＯＩ領域外のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。
【図１９】ＲＯＩ領域外のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。
【符号の説明】
２ 画像復号装置
１１ 記憶媒体
２７ タイル境界平滑化手段
２８ 補正タイル境界限定手段
【発明の属する技術分野】
【０００２】
本発明は、インターネット画像、医療用画像、衛星通信用画像などの画像を扱う機器であるパーソナルコンピュータ、携帯情報端末（ＰＤＡ）、携帯電話、デジタルカメラ等に用いられる画像復号装置、プログラム、記憶媒体及び画像復号方法に関する。
【従来の技術】
【０００３】
画像入力技術およびその出力技術の進歩により、画像に対して高精細化の要求が、近年非常に高まっている。例えば、画像入力装置として、デジタルカメラ（Ｄｉｇｉｔａｌ Ｃａｍｅｒａ）を例にあげると、３００万以上の画素数を持つ高性能な電荷結合素子（ＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）の低価格化が進み、普及価格帯の製品においても広く用いられるようになっている。
【０００４】
一方、画像出力・表示装置に関しても、例えば、レーザプリンタ、インクジェットプリンタ、昇華型プリンタ等のハード・コピー分野における製品、そして、ＣＲＴやＬＣＤ（液晶表示デバイス）、ＰＤＰ（プラズマ表示デバイス）等のフラットパネルディスプレイのソフト・コピー分野における製品の高精細化・低価格化は目を見張るものがある。
【０００５】
こうした高性能・低価格な画像入出力製品の市場投入効果によって、高精細画像の大衆化が始まっており、今後はあらゆる場面で、高精細画像の需要が高まると予想されている。実際、パーソナルコンピュータ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やインターネットをはじめとするネットワークに関連する技術の発達は、こうしたトレンドをますます加速させている。特に最近は、携帯電話やノートパソコン等のモバイル機器の普及速度が非常に大きく、高精細な画像を、あらゆる地点から通信手段を用いて伝送あるいは受信する機会が急増している。
【０００６】
これらを背景に、高精細画像の取扱いを容易にする画像圧縮伸長技術に対する高性能化あるいは多機能化の要求は、今後ますます強くなっていくことは必至と思われる。
【０００７】
そこで、近年においては、こうした要求を満たす画像圧縮方式の一つとして、高圧縮率でも高画質な画像を復元可能なＪＰＥＧ２０００という新しい方式が規格化されつつある。かかるＪＰＥＧ２０００においては、画像を矩形領域（タイル）に分割することにより、少ないメモリ環境下で圧縮伸長処理を行うことが可能である。すなわち、個々のタイルが圧縮伸長プロセスを実行する際の基本単位となり、圧縮伸長動作はタイル毎に独立に行うことができる。
【０００８】
ところで、ＪＰＥＧ２０００における分割処理は、タイリングと呼ばれ、省メモリ化・高速化に有効な手法であるが、非特許文献１にも記載があるように、圧縮率の高い条件で圧縮伸長処理を行った場合には、伸長後の画像においてタイルの境界が不連続となるという問題がある。
【０００９】
従来、このような問題を解決するために、隣接するタイル同士で境界を互いにオーバーラップさせて処理を行う手法が提案されている。ところが、ＪＰＥＧ２０００のベースラインでは、隣接するタイル境界を重複させないことになっている。
【００１０】
そこで、このような問題を解決すべく、特許文献１においては、タイル境界の近傍のみに均一な平滑化フィルタをかけることにより、タイル境界を目立たなくするという技術が提案されている。
【非特許文献１】
Ｊ． Ｘ． Ｗｅｉ， Ｍ． Ｒ． Ｐｉｃｋｅｒｉｎｇ， Ｍ． Ｒ． Ｆｒａｔｅｒ ａｎｄ Ｊ． Ｆ． Ａｒｎｏｌｄ， ”Ａ Ｎｅｗ Ｍｅｔｈｏｄ ｆｏｒ Ｒｅｄｕｃｉｎｇ Ｂｏｕｎｄａｒｙ Ａｒｔｉｆａｃｔｓ ｉｎ Ｂｌｏｃｋ−Ｂａｓｅｄ Ｗａｖｅｌｅｔ Ｉｍａｇｅ Ｃｏｍｐｒｅｓｓｉｏｎ，” ｉｎ ＶＣＩＰ ２０００， Ｋ． Ｎ． Ｎｇａｎ， Ｔ． Ｓｉｋｏｒａ， Ｍ−Ｔ Ｓｕｎ Ｅｄｓ．， Ｐｒｏｃ． ｏｆ ＳＰＩＥ Ｖｏｌ． ４０６７， ｐｐ． １２９０−１２９５， ２０−２３ Ｊｕｎｅ ２０００， Ｐｅｒｔｈ， Ａｕｓｔｒａｌｉａ
【特許文献１】
特開平０５−０１４７３５号公報
【発明が解決しようとする課題】
【００１１】
しかしながら、特許文献１において提案されている技術によれば、タイル境界歪み抑制には効果があるが、タイル境界のエッジ度合いが強い場合には、平滑化フィルタをかけたことによりタイル境界の近傍でエッジがぼやけて帯状の画像品質劣化が現れてしまうという問題がある。
【００１２】
本発明の目的は、品質の良い再生画像を得ることができる画像復号装置、プログラム、記憶媒体及び画像復号方法を提供することである。
【００１３】
本発明の目的は、タイル境界歪み抑制のための処理時間を短縮することができる画像復号装置、プログラム、記憶媒体及び画像復号方法を提供することである。
【課題を解決するための手段】
【００１４】
本発明の画像復号装置は、画像をタイル毎にウェーブレット変換し、さらにエントロピー符号化した符号をトランケーションすることにより得られた圧縮符号を復号する画像復号装置において、画像の高周波成分をカットするローパスフィルタを用いて復号後のタイル境界の歪みを平滑化するタイル境界平滑化手段を備え、前記タイル境界平滑化手段は、所定階層以下のサブバンドにおける、全ビットプレーン数に対するトランケーションされずに残ったビットプレーン数の割合を量子化率Ｒとし、当該量子化率Ｒに応じて前記ローパスフィルタの強度を制御する。
【００１５】
本発明のプログラムは、画像をタイル毎にウェーブレット変換し、さらにエントロピー符号化した符号をトランケーションすることにより得られた圧縮符号の復号をコンピュータに実行させるプログラムにおいて、画像の高周波成分をカットするローパスフィルタを用いて復号後のタイル境界の歪みを平滑化するタイル境界平滑化機能を前記コンピュータに実行させ、前記タイル境界平滑化機能では、所定階層以下のサブバンドにおける、全ビットプレーン数に対するトランケーションされずに残ったビットプレーン数の割合を量子化率Ｒとし、当該量子化率Ｒに応じて前記ローパスフィルタの強度を前記コンピュータに制御させる。
【００１６】
本発明の記憶媒体は、本発明のプログラムを記憶していることを特徴とするコンピュータに読取り可能な記憶媒体である。
【００１７】
本発明の画像復号方法は、画像をタイル毎にウェーブレット変換し、さらにエントロピー符号化した符号をトランケーションすることにより得られた圧縮符号を復号する画像復号方法において、画像の高周波成分をカットするローパスフィルタを用いて復号後のタイル境界の歪みを平滑化するタイル境界平滑化工程を含み、前記タイル境界平滑化工程では、所定階層以下のサブバンドにおける、全ビットプレーン数に対するトランケーションされずに残ったビットプレーン数の割合を量子化率Ｒとし、当該量子化率Ｒに応じて前記ローパスフィルタの強度を制御する。
【００１８】
［ＪＰＥＧ２０００について］
最初に、本実施の形態の前提となる「ＪＰＥＧ２０００」における量子化、符号破棄および画質制御について説明する。ＪＰＥＧ２０００の符号化処理は、概ね図１の流れで行われる。すなわち、画像データを圧縮符号化するときは、画像をタイル分割して、このタイルにＤＣレベルシフト、色変換を施し（ａ）、タイルごとにＷａｖｅｌｅｔ変換を行って（ｂ）、サブバンドごとに量子化する（ｃ）。そして、コードブロック毎にビットプレーン符号化を行い（ｄ）、不要な符号を破棄して、必要な符号をまとめて、パケットを生成する（ｅ）。後は、パケットを並べて符号形成を行う（ｆ）。圧縮後の符号を伸長するには、これらの処理の流れを逆にたどればよい。
【００１９】
図２は、画像、タイル、サブバンド、プリシンクト、コードブロックの関係を示す説明図である。タイルとは、画像を矩形に分割した単位であり、分割数＝１の場合、画像＝タイルである。ＪＰＥＧ２０００では個々のタイルを独立した１つの画像と見なし、Ｗａｖｅｌｅｔ変換がなされ、サブバンドが生成される。ＪＰＥＧ２０００の基本仕様では、Ｗａｖｅｌｅｔ変換として９×７変換を用いる場合、同一のサブバンドに含まれる係数を同一の数で除算し、線形に量子化することができる。したがって、線形量子化による画質制御は、サブバンド単位で可能である（線形量子化による画質制御単位はサブバンドである）。
【００２０】
プリシンクトとは、サブバンドを（ユーザが指定可能なサイズの）矩形に分割した単位で、大まかには画像中の場所（Ｐｏｓｉｔｉｏｎ）を表すものであり、インプリメンテーションでメモリを効率的に使うために導入されたものである。プリシンクトは、ＨＬ，ＬＨ，ＨＨの３つのサブバンドにおいて空間的に一致している。つまり、プリシンクトは３つで１つのまとまりを成すものである。ただし、ＬＬサブバンドを分割したプリシンクトは１つで１つのまとまりを成すものである。このようなプリシンクトは、サブバンドと同じサイズにすることも可能である。
【００２１】
更に、個々のプリシンクトは、重複しない（ユーザが指定可能なサイズの）矩形の「コードブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。
【００２２】
また、量子化後のサブバンドの係数は、コードブロック単位でビットプレーン符号化される（１つのビットプレーンは３つのサブビットプレーンに分解されて符号化される）。
【００２３】
プリシンクトに含まれる全てのコードブロックから、符号の一部を取り出して集めたもの（例えば、全てのコードブロックのＭＳＢ（Ｍｏｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ：最上位ビット）から３枚目までのビットプレーンの符号を集めたもの）がパケットである。ここで、符号の“一部”とは“空”でもいいので、パケットの中身が符号的には“空（から）”という場合もある。全てのプリシンクト（すなわち、全てのコードブロック、全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のＷａｖｅｌｅｔ係数のＭＳＢから３枚目までのビットプレーンの符号）ができるが、これをレイヤとよぶ。レイヤは、大まかには画像全体のビットプレーンの符号の一部であるから、復号されるレイヤ数が増えれば画質は上がる。レイヤはいわば画質の単位である。
【００２４】
全てのレイヤを集めると、画像全域の全てのビットプレーンの符号になる。図３は、Ｗａｖｅｌｅｔ変換の階層数（デコンポジションレベル）＝２、プリシンクトサイズ＝サブバンドサイズとしたときのレイヤ、図４はそれに含まれるパケットの例である。これらの場合は、プリシンクトサイズ＝サブバンドサイズであり、図２でいうプリンシンクトの大きさと同じ大きさのコードブロックを採用しているため、デコンポジションレベル２のサブバンドは４個のコードブロックに、デコンポジションレベル１のサブバンドは９個のコードブロックに分割されている。パケットは、プリシンクトを単位とするものであるから、プリシンクト＝サブバンドとした場合、ＨＬ〜ＨＨサブバンドを跨いだものとなる。図４中、いくつかのパケットを太線で囲んで示している。
【００２５】
ここで、パケットは「コードブロックの符号の一部を取り出して集めたもの」であり、不要な符号は、パケットとして生成する必要はない。例えば、図３のレイヤＮｏ．９に含まれるような下位ビットプレーンの符号は、破棄するのが通常である。
【００２６】
したがって、符号破棄による画質制御は、コードブロック単位（かつ、サブビットプレーン単位）で可能である（符号破棄による画質制御単位はコードブロックである）。なお、パケットの並びをプログレッション順序と呼ぶ。
【００２７】
［発明の実施の形態］
［第一の実施の形態］
以下、本発明の第一の実施の形態について説明する。なお、ここでは、ＪＰＥＧ２０００を代表とする画像圧縮伸長技術に関する例について説明するが、言うまでもなく、本発明は以下の説明の内容に限定されるものではない。
【００２８】
図５は、本発明が適用される画像処理装置１を含むシステムを示すシステム構成図、図６は画像処理装置１の機能ブロック図である。図５に示すように、本発明が適用される画像処理装置１は、例えばパーソナルコンピュータであり、インターネットであるネットワーク５を介して各種画像データを記憶保持するサーバコンピュータＳに接続可能とされている。サーバコンピュータＳには、「ＪＰＥＧ２０００アルゴリズム」に従って生成された圧縮符号である画像データが記憶保持されている。
【００２９】
そして、図６に示すように、画像処理装置１は、ネットワーク５を介して画像処理装置１に出力された符号列データ（ＪＰＥＧ２０００データ）を伸長（復号）して画像の画像データとする画像復号装置である画像伸長装置２と、この伸長後の画像データによる画像を表示する画像表示装置３と、ネットワーク５を介して画像処理装置１に出力された符号列データ（ＪＰＥＧ２０００データ）を記憶する符号列記憶部４とを備えている。符号列記憶部４は、一般的なバッファとしての機能、あるいは、画像の符号列データの貯蔵庫として機能し、用途により使い分けられる。
【００３０】
図７は、画像処理装置１のハードウェア構成を概略的に示すブロック図である。図７に示すように、画像処理装置１は、コンピュータの主要部であって各部を集中的に制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６を備えている。このＣＰＵ６には、ＢＩＯＳなどを記憶した読出し専用メモリであるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）７と、各種データを書換え可能に記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８とがバス９で接続されている。ＲＡＭ８は、各種データを書換え可能に記憶する性質を有していることから、ＣＰＵ６の作業エリアとして機能し、例えば入力バッファ等の役割を果たす。
【００３１】
さらにバス９には、符号列記憶部４として機能するＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１０と、配布されたプログラムであるコンピュータソフトウェアを読み取るための機構としてＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）−ＲＯＭ１１を読み取るＣＤ−ＲＯＭドライブ１２と、画像処理装置１とネットワーク５との通信を司る通信制御装置１３と、キーボードやマウスなどの入力装置１４と、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）やＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）である表示装置１５とが、図示しないＩ／Ｏを介して接続されている。
【００３２】
そして、ネットワーク５を介してサーバコンピュータＳからダウンロードした圧縮符号は、符号列記憶部４として機能するＨＤＤ１０に格納されることになる。
【００３３】
また、図７に示すＣＤ−ＲＯＭ１１は、この発明の記憶媒体を実施するものであり、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や各種コンピュータソフトウェアが記憶されている。ＣＰＵ６は、ＣＤ−ＲＯＭ１１に記憶されているコンピュータソフトウェアをＣＤ−ＲＯＭドライブ１２で読み取り、ＨＤＤ１０にインストールする。
【００３４】
このような構成の画像処理装置１のＨＤＤ１０には、コンピュータソフトウェアの一つとして、画像を処理する画像処理プログラムが記憶されている。この画像処理プログラムは本発明のプログラムを実施するものである。そして、この画像処理プログラムに基づいてＣＰＵ６が実行する処理により、画像伸長装置２の機能を実現する。
【００３５】
なお、記憶媒体としては、ＣＤ−ＲＯＭ１１のみならず、ＤＶＤなどの各種の光ディスク、各種光磁気ディスク、フレキシブル・ディスクなどの各種磁気ディスク等、半導体メモリ等の各種方式のメディアを用いることができる。また、通信制御装置１３を介してインターネットなどのネットワーク５からコンピュータソフトウェアをダウンロードし、ＨＤＤ１０にインストールするようにしてもよい。この場合に、送信側のサーバでコンピュータソフトウェアを記憶している記憶装置も、この発明の記憶媒体である。なお、コンピュータソフトウェアは、所定のＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）上で動作するものであってもよいし、その場合に後述の各種処理の一部の実行をＯＳに肩代わりさせるものであってもよいし、所定のアプリケーションソフトやＯＳなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。
【００３６】
ここで、画像処理装置１の各部の動作について図６を参照しつつ簡単に説明する。ネットワーク５を介して画像処理装置１に出力された符号列データ（ＪＰＥＧ２０００データ）は、符号列記憶部４に格納され、また、画像伸長装置２で伸長処理される。そして、画像伸長装置２で伸長処理されて生成された画像の画像データは、画像表示装置３に出力され、この伸長後の画像データによる画像が表示装置１５に表示される。
【００３７】
続いて、本発明の主要部分である画像伸長装置２について詳述する。ここで、図８は画像伸長装置２の機能ブロック図である。図８に示すように、ＣＰＵ６がコンピュータソフトウェア（画像処理プログラム）に基づいて動作することで、タグ処理手段２１、エントロピー復号化手段２２、逆量子化手段２３、２次元Ｗａｖｅｌｅｔ逆変換手段２４、色空間逆変換手段２５、タイル境界制御手段２６、タイル境界の近傍の平滑化処理を行うタイル境界平滑化手段２７の各機能を有する画像伸長装置２を実現する。
【００３８】
画像伸長装置２は、このような構成により符号列データ（ＪＰＥＧ２０００データ）から画像データを生成する。この場合、タグ処理手段２１は入力した符号列データ（ＪＰＥＧ２０００データ）に付加されたタグ情報を解釈し、復号化の対象となるビットの位置を定める。エントロピー復号化手段２２は符号列データから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。逆量子化手段２３は対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストを生成する。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを２次元Ｗａｖｅｌｅｔ逆変換手段２４で２次元Ｗａｖｅｌｅｔ逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間逆変換手段２５によって元の表色系の画像データ（ＲＧＢデータ）に変換され、タイル境界制御手段２６に出力される。
【００３９】
ところで、「ＪＰＥＧ２０００アルゴリズム」においては、符号列データ（ＪＰＥＧ２０００データ）の符号化に際し、前述したような符号の破棄を行うポスト量子化（トランケーション）が実行される。このようなポスト量子化（トランケーション）は、量子化テーブルを用いて実行される。
【００４０】
図９に量子化テーブルとトランケート数の関係を示す。図９（ａ）はトランケート前の符号の例である。本例では色成分が３種類あり、図９（ａ）は、その中の一つ（Ｃ０）を示している。また、本例では、階層数は３である。図９（ａ）に示すように、ここでは縦横方向に、３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨの１０種類のサブバンドに分かれ、深さ方向に８つのビットプレーンで構成されている符号を表している。本例では、深さ方向はビットプレーンに分けているが、一つのビットプレーンをさらに３つのサブビットプレーンに分ける構成にしてもよい。図９（ｂ）は量子化テーブルの一例である。各コンポーネント（色成分）、サブバンド毎に、破棄するビットプレーンの数が記述してある。図９（ｃ）は、図９（ｂ）の量子化テーブルを用いた、トランケーション（ビットプレーンの破棄）の一例である。これもコンポーネントはＣ０の例である。３ＬＬ係数は、Ｃ０成分では１という値を示しているので、８枚のビットプレーンのうち１枚を破棄する。１ＨＨ係数は、Ｃ０成分では７という値を示しているので、８枚のビットプレーンのうち７枚を破棄する（破棄するビットプレーンが網掛けで示されている）。このようにして、すべてのサブバンドについて、量子化テーブルの値によりトランケートした後の符号が図９（ｄ）である。同図においては、破棄されたビットプレーンが網掛けで示されている。
【００４１】
そして、エントロピー復号化手段２２は、このようなトランケートした後の符号を受け取ると、全てのコンポーネントと全てのサブバンドにおいて破棄されたビットプレーンの総数を算出し、その算出した値（トランケートされたビットプレーン数）をタイル境界制御手段２６とタイル境界平滑化手段２７に出力する。
【００４２】
タイル境界制御手段２６は、タイル境界平滑化手段２７によるタイル境界の近傍の平滑化処理が必要であるか否かを判定する機能を発揮するものであって、このタイル境界制御手段２６には、色空間逆変換手段２５によって得られた画像データ（ＲＧＢデータ）が入力されるとともに、エントロピー復号化手段２２から出力されたトランケートされたビットプレーン数が入力される。
【００４３】
タイル境界の近傍の平滑化処理が必要であるか否かは、量子化率に応じて判定される。量子化率とは、５×３フィルタによるウェーブレット変換の場合では、各サブバンドのビットプレーン数の総数に破棄されずに残ったビットプレーン数を除算した値である。そして、量子化率が所定の閾値よりも小さい画像では、タイル境界の歪みが目立たないので、タイル境界の近傍の平滑化処理が不要であると判定する。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。一方、量子化率が大きい画像では、タイル境界の歪みが目立つので、タイル境界の近傍の平滑化処理が必要であると判定する。
【００４４】
これにより、タイル境界制御手段２６は、タイル境界の近傍の平滑化処理が必要であると判定した場合には、タイル境界平滑化手段２７に対して色空間逆変換手段２５によって得られた画像データ（ＲＧＢデータ）を出力し、タイル境界の近傍の平滑化処理が不要であると判定した場合には、タイル境界の近傍の平滑化処理を行わずに、色空間逆変換手段２５によって得られた画像データ（ＲＧＢデータ）をそのまま画像表示装置３に出力する。
【００４５】
タイル境界平滑化手段２７は、色空間逆変換手段２５によって得られた画像データ（ＲＧＢデータ）に対し、タイル境界の近傍の画素を平滑化してタイル境界の歪みを目立たなくするものである。より詳細には、タイル境界歪み抑制のために画像の高周波成分をカットするローパスフィルタの強度を量子化率に応じて強くすることにより、タイル境界の近傍の画素を平滑化するものである。
【００４６】
ここで、タイル境界平滑化手段２７における処理の具体例を示す。図１０はタイル境界平滑化手段２７における処理の一例を示す説明図である。図１０に示すように、タイル境界平滑化手段２７は、タイル境界の近傍の画素（図１０中、タイル境界画素を含む網掛け領域の画素）に対してローパスフィルタをかける。
【００４７】
ここで、図１１は縦方向タイル境界におけるローパスフィルタの一例を示す説明図である。図１１に示すように、縦方向タイル境界ａ（図１０参照）に対しては、縦方向タイル境界ａに垂直なローパスフィルタ（１次元の横長のフィルタ）Ｆ１をかけることにより、縦方向のタイル境界歪みを抑制することができる。なお、本実施の形態では、１次元の横長のフィルタの例で説明したが、横方向の周波数成分を落とすような周波数特性を有するローパスフィルタであればいかなるフィルタであっても良い。
【００４８】
図１２は横方向タイル境界におけるローパスフィルタの一例を示す説明図である。図１２に示すように、横方向タイル境界ｂ（図１０参照）に対しては、横方向タイル境界ｂに垂直なローパスフィルタ（１次元の縦長のフィルタ）Ｆ２をかけることにより、横方向のタイル境界歪みを抑制することができる。なお、本実施の形態では、１次元の縦長のフィルタの例で説明したが、縦方向の周波数成分を落とすような周波数特性を有するローパスフィルタであればいかなるフィルタであっても良い。
【００４９】
図１３は縦方向タイル境界と横方向タイル境界との交点の近傍におけるローパスフィルタの一例を示す説明図である。図１３に示すように、縦方向タイル境界ａと横方向タイル境界ｂとの交点の近傍に対しては、十字型のローパスフィルタＦ３をかけることにより、縦方向タイル境界ａと横方向タイル境界ｂとの交点付近のタイル境界歪みを抑制することができる。なお、本実施の形態では、十字型のフィルタの例で説明したが、縦方向と横方向との周波数成分を共に落とすような周波数特性を有するローパスフィルタであればいかなるフィルタであっても良い。
【００５０】
ところで、ローパスフィルタＦ１，Ｆ２，Ｆ３のフィルタ中心の重み付けの係数ｍは復号化される符号量に応じて可変制御される。５×３フィルタによるウェーブレット変換の場合、ローパスフィルタの中心の重み付けの係数ｍは、量子化率（全ビットプレーン数に対する破棄されずに残ったビットプレーン数の割合）Ｒに応じて、
ｍ＝Ｋ＊Ｒ（Ｋ：定数）
Ｒ＝サブバンド毎の全ビットプレーン数／サブバンド毎の破棄されずに残ったビットプレーン数
という式に基づいて制御されることになる。この制御例はあくまで一例であり、全ビットプレーン数に対する破棄されずに残ったビットプレーン数の割合Ｒが大きくなるほど、ローパスフィルタの中心の重み付けの係数ｍの値が大きくなるような制御方法であればいかなる制御方法でも良い。
【００５１】
したがって、図１４に示すように、量子化率（全ビットプレーン数に対する破棄されずに残ったビットプレーン数の割合）Ｒが小さい場合には、タイル境界歪み抑制のためのローパスフィルタの強度を弱くすることができる。逆に、量子化率（全ビットプレーン数に対する破棄されずに残ったビットプレーン数の割合）Ｒが大きい場合には、タイル境界歪み抑制のためのローパスフィルタの強度を強くすることができる。なお、量子化率（全ビットプレーン数に対する破棄されずに残ったビットプレーン数の割合）Ｒが所定の数より小さい場合には、タイル境界抑制のためのローパスフィルタをかけない構成にすることもできる。
【００５２】
ここに、量子化率（全ビットプレーン数に対する破棄されずに残ったビットプレーン数の割合）Ｒに応じてローパスフィルタの強度を制御しつつ、復号後の各フレームにおけるタイル境界に対してローパスフィルタをかけることで、タイル境界の歪みを平滑化する。これにより、全ビットプレーン数に対するトランケート後のビットプレーン数の割合をローパスフィルタの強度のパラメータとすることで、圧縮しやすい画像にも圧縮しにくい画像にも精度良くタイル境界歪み抑制のローパスフィルタがかけられるので、品質の良い再生画像を得ることが可能となる。
【００５３】
なお、量子化率Ｒは、所定階層以下のサブバンドに基づいて算出するものであっても良いし、ＬＬ以外のサブバンドに基づいて算出するものであっても良い。このようにすることで、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【００５４】
また、本実施の形態においては、「ＪＰＥＧ２０００アルゴリズム」に従った画像圧縮伸長方式で説明したが、これに限るものではなく、画像を周波数空間に変換する画像圧縮伸長方式であれば、いかなる画像圧縮伸長方式を用いても良い。
【００５５】
［第二の実施の形態］
次に、本発明の第二の実施の形態について説明する。なお、第一の実施の形態において説明した部分と同一部分については同一符号を用い、説明も省略する（以降の実施の形態においても同様とする）。第一の実施の形態では、５×３フィルタによるウェーブレット変換の場合について説明したが、本実施の形態では、９×７フィルタによるウェーブレット変換の場合について説明したものである。
【００５６】
９×７フィルタによるウェーブレット変換の場合には、５×３フィルタによるウェーブレット変換の場合とは量子化率の定義が異なる。９×７フィルタによるウェーブレット変換の場合の量子化率Ｒは、サブバンドｉの量子化分母をＱｉとし、サブバンドｉにおけるビットプレーン数をＮｉとし、サブバンドｉで破棄されずに残ったビットプレーン数をＸｉとすると、
【００５７】
【数３】
【００５８】
これにより、９×７フィルタによるウェーブレット変換の場合、ローパスフィルタの中心の重み付けの係数ｍは、量子化率Ｒに応じて、
ｍ＝Ｋ＊Ｒ（Ｋ：定数）
という式に基づいて制御されることになる。この制御例はあくまで一例であり、全ビットプレーン数に対する破棄されずに残ったビットプレーン数の割合Ｒが大きくなるほど、ローパスフィルタの中心の重み付けの係数ｍの値が大きくなるような制御方法であればいかなる制御方法でも良い。
【００５９】
したがって、図１４に示すように、量子化率Ｒが小さい場合には、タイル境界歪み抑制のためのローパスフィルタの強度を弱くすることができる。逆に、量子化率Ｒが大きい場合には、タイル境界歪み抑制のためのローパスフィルタの強度を強くすることができる。なお、量子化率Ｒが所定の数より小さい場合には、タイル境界抑制のためのローパスフィルタをかけない構成にすることもできる。
【００６０】
ここに、量子化率Ｒに応じてローパスフィルタの強度を制御しつつ、復号後の各フレームにおけるタイル境界に対してローパスフィルタをかけることで、タイル境界の歪みを平滑化する。これにより、全ビットプレーン数に対するトランケート後のビットプレーン数の割合をローパスフィルタの強度のパラメータとすることで、圧縮しやすい画像にも圧縮しにくい画像にも精度良くタイル境界歪み抑制のローパスフィルタがかけられるので、品質の良い再生画像を得ることが可能となる。
【００６１】
なお、量子化率Ｒは、所定階層以下のサブバンドに基づいて算出するものであっても良いし、ＬＬ以外のサブバンドに基づいて算出するものであっても良い。このようにすることで、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【００６２】
［第三の実施の形態］
次に、本発明の第三の実施の形態について説明する。本実施の形態は、全てのタイル境界近傍画素にローパスフィルタをかけるのではなく、ローパスフィルタをかけるべきタイル境界を限定して、そのタイル境界近傍画素にのみにローパスフィルタをかけるようにしたものである。
【００６３】
図１５は本実施の形態の画像伸長装置２の機能ブロック図である。図１５に示すように、ＣＰＵ６はコンピュータソフトウェア（画像処理プログラム）に基づいて動作することで、タグ処理手段２１、エントロピー復号化手段２２、逆量子化手段２３、２次元ウェーブレット逆変換手段２４、色空間逆変換手段２５、タイル境界制御手段２６、補正タイル境界限定手段２８、タイル境界平滑化手段２７の各機能を有する画像伸長装置２を実現する。
【００６４】
補正タイル境界限定手段２８は、タイル境界平滑化手段２７においてローパスフィルタをかけるべきタイル境界を限定する機能を発揮するものであって、この補正タイル境界限定手段２８には、色空間逆変換手段２５によって得られ、タイル境界制御手段２６でタイル境界の近傍の平滑化処理が必要であると判定された画像データ（ＲＧＢデータ）が入力される。
【００６５】
ここで、図１６及び図１７は、ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）領域内のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。このＲＯＩ領域とは、画像全体から切り出して拡大したり、他の部分に比べて強調したりする場合の、画像全体から見たある一部分である。
【００６６】
量子化率が大きい場合には、ＲＯＩ領域内はタイル境界歪みが目立ってしまう。そこで本実施の形態においては、量子化率が所定の閾値よりも大きい場合には、ＲＯＩ領域内のタイル境界のみにローパスフィルタをかけるようにしたものである。
【００６７】
図１６は、ＲＯＩ領域がタイル境界に沿った領域である場合について示すものである。図１６（ａ）に示すようにＲＯＩ境界が設定されたら、ローパスフィルタをかけるタイル境界は図１６（ｂ）に点線で示す部分に設定する。図１６（ｂ）に太線で示すＲＯＩ境界部にはローパスフィルタをかけない。
【００６８】
図１７は、ＲＯＩ領域がタイル境界に沿っていない領域である場合について示すものである。図１７（ａ）に示すようにＲＯＩ境界が設定されたら、ローパスフィルタをかけるタイル境界は図１７（ｂ）に点線で示す部分に設定する。タイル境界画素がＲＯＩ内部か否かを演算によって算出し、該タイル境界画素がＲＯＩ内部であればその画素にローパスフィルタをかける。該タイル境界画素がＲＯＩ外部であれば、その画素にはローパスフィルタをかけない。
【００６９】
なお、本実施の形態では、ＲＯＩ内部か否かで、ローパスフィルタをかけるか否かを判定したが、それ以外にも、縦または横成分のエッジ量が大きい部分のタイル境界画素のみにローパスフィルタをかけるという制御を行っても良い。
【００７０】
これにより、補正タイル境界限定手段２８は、ローパスフィルタをかけるべきタイル境界画素を限定して、タイル境界平滑化手段２７に対して色空間逆変換手段２５によって得られた画像データ（ＲＧＢデータ）を出力する。
【００７１】
ここに、ローパスフィルタをかけるべきタイル境界画素を制御することにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【００７２】
［第四の実施の形態］
次に、本発明の第四の実施の形態について説明する。なお、第三の実施の形態において説明した部分と同一部分については同一符号を用い、説明も省略する。本実施の形態も、全てのタイル境界近傍画素にローパスフィルタをかけるのではなく、ローパスフィルタをかけるべきタイル境界を限定して、そのタイル境界近傍画素にのみにローパスフィルタをかけるようにした点で第三の実施の形態と同様である。しかしながら、本実施の形態においては、第三の実施の形態とは、ローパスフィルタをかけるべきタイル境界の限定手法が異なっている。
【００７３】
量子化率が小さい場合には、ＲＯＩ領域内はタイル境界歪みが目立たない場合が多く、逆に、ＲＯＩ領域外のタイル境界歪みが目立ってしまう。そこで本実施の形態においては、量子化率が所定の閾値よりも小さい場合には、ＲＯＩ領域外のタイル境界のみにローパスフィルタをかけるようにしたものである。
【００７４】
ここで、図１８及び図１９は、ＲＯＩ領域外のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。
【００７５】
図１８は、ＲＯＩ領域がタイル境界に沿った領域である場合について示すものである。図１８（ａ）に示すようにＲＯＩ境界が設定されたら、ローパスフィルタをかけるタイル境界は図１８（ｂ）に点線で示す部分以外に設定する。
【００７６】
図１９は、ＲＯＩ領域がタイル境界に沿っていない領域である場合について示すものである。図１９（ａ）に示すようにＲＯＩ境界が設定されたら、ローパスフィルタをかけるタイル境界は図１９（ｂ）に点線で示す部分以外に設定する。タイル境界画素がＲＯＩ内部か否かを演算によって算出し、該タイル境界画素がＲＯＩ内部であればその画素にはローパスフィルタをかけない。該タイル境界画素がＲＯＩ外部であれば、その画素にはローパスフィルタをかける。
【００７７】
これにより、補正タイル境界限定手段２８は、ローパスフィルタをかけるべきタイル境界画素を限定して、タイル境界平滑化手段２７に対して色空間逆変換手段２５によって得られた画像データ（ＲＧＢデータ）を出力する。
【００７８】
ここに、ローパスフィルタをかけるべきタイル境界画素を制御することにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【００７９】
なお、各実施の形態においては、画像処理装置１としてパーソナルコンピュータを適用したが、これに限るものではない。例えば、デジタルカメラ、携帯情報端末（ＰＤＡ）や携帯電話などを画像処理装置１として適用することもできる。
【００８０】
本実施の形態によれば、全ビットプレーン数に対するトランケート後のビットプレーン数の割合を量子化に関する量子化率Ｒとし、この量子化率Ｒに応じてローパスフィルタの強度を制御しつつ、復号後の各フレームにおけるタイル境界に対してローパスフィルタをかけることで、タイル境界の歪みを平滑化することにより、全ビットプレーン数に対するトランケート後のビットプレーン数の割合をローパスフィルタの強度のパラメータとすることで、圧縮しやすい画像にも圧縮しにくい画像にも精度良くタイル境界歪み抑制のローパスフィルタがかけられるので、品質の良い再生画像を得ることができる。
【００８１】
本実施の形態によれば、５×３フィルタによるウェーブレット変換の場合における量子化率Ｒを確実に得ることができる。
【００８２】
本実施の形態によれば、タイル境界歪み抑制のための処理時間を短縮することができる。
【００８３】
本実施の形態によれば、９×７フィルタによるウェーブレット変換の場合における量子化率Ｒを確実に得ることができる。
【００８４】
本実施の形態によれば、量子化率Ｒが大きい画像ではタイル境界の歪みが目立つことから、強いローパスフィルタをかけ、逆に量子化率Ｒが小さい画像ではタイル境界の歪みが 目立ちにくいことから、弱いローパスフィルタをかけることにより、フレーム毎に最適な適応的ポストフィルタをかけることができる。
【００８５】
本実施の形態によれば、量子化率Ｒが大きいほど、ローパスフィルタのフィルタ中心の重み付けの係数ｍも大きくなることにより、量子化率Ｒが大きいほど、ローパスフィルタの強度を強くすることができる。
【００８６】
本実施の形態によれば、量子化率Ｒが所定の閾値よりも小さい画像では、タイル境界の歪みが目立たないと判断し、タイル境界の歪み平滑化処理を回避することにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【００８７】
本実施の形態によれば、ローパスフィルタをかけるべきタイル境界画素を制御することにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【００８８】
本実施の形態によれば、量子化率Ｒが所定の閾値よりも大きい場合には、ＲＯＩ領域内のタイル境界にのみローパスフィルタをかけることにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【００８９】
本実施の形態によれば、量子化率Ｒが所定の閾値よりも小さい場合には、ＲＯＩ領域外のタイル境界にのみローパスフィルタをかけることにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【００９０】
本実施の形態のコンピュータに読取り可能な記憶媒体によれば、本実施形態のプログラムを記憶していることにより、この記憶媒体に記憶されたプログラムをコンピュータに読み取らせることで、本実施形態のプログラムと同様の作用を得ることができる。
【発明の効果】
【００９１】
本発明によれば、圧縮しやすい画像にも圧縮しにくい画像にも精度良くタイル境界歪み抑制のローパスフィルタがかけられるので、品質の良い再生画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の前提となるＪＰＥＧ２０００における量子化、符号破棄および画質制御についての処理の説明図である。
【図２】画像、タイル、サブバンド、プリシンクト、コードブロックの関係を示す説明図である。
【図３】Ｗａｖｅｌｅｔ変換の階層数が２として、プリシンクトサイズをサブバンドサイズとしたときのレイヤの例の説明図である。
【図４】図３のレイヤに含まれるパケットの例の説明図である。
【図５】本発明の第一の実施の形態の画像処理装置を含むシステムを示すシステム構成図である。
【図６】画像処理装置の機能ブロック図である。
【図７】画像処理装置のハードウェア構成を概略的に示すブロック図である。
【図８】画像伸長装置の機能ブロック図である。
【図９】量子化テーブルとトランケート数の関係を示す説明図である。
【図１０】タイル境界平滑化手段における処理の一例を示す説明図である。
【図１１】縦方向タイル境界におけるローパスフィルタの一例を示す説明図である。
【図１２】横方向タイル境界におけるローパスフィルタの一例を示す説明図である。
【図１３】縦方向タイル境界と横方向タイル境界との交点の近傍におけるローパスフィルタの一例を示す説明図である。
【図１４】量子化率Ｒとローパスフィルタの強度との関係を示す説明図である。
【図１５】本発明の第二の実施の形態の画像伸長装置の機能ブロック図である。
【図１６】本発明の第三の実施の形態における処理の一例であり、ＲＯＩ領域内のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。
【図１７】ＲＯＩ領域内のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。
【図１８】本発明の第四の実施の形態における処理の一例であり、ＲＯＩ領域外のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。
【図１９】ＲＯＩ領域外のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。
【符号の説明】
２ 画像復号装置
１１ 記憶媒体
２７ タイル境界平滑化手段
２８ 補正タイル境界限定手段
Claims (22)
- 画像をタイル毎にウェーブレット変換し、さらにエントロピー符号化した符号をトランケーションすることにより得られた圧縮符号を復号する画像復号装置において、
画像の高周波成分をカットするローパスフィルタを用いて復号後のタイル境界の歪みを平滑化するタイル境界平滑化手段を備え、
前記タイル境界平滑化手段は、所定階層以下のサブバンドにおける、全ビットプレーン数に対するトランケーションされずに残ったビットプレーン数の割合を量子化率Ｒとし、当該量子化率Ｒに応じて前記ローパスフィルタの強度を制御することを特徴とする画像復号装置。 - 前記ウェーブレット変換が５×３フィルタによるウェーブレット変換の場合、前記量子化率Ｒは、下記の式
Ｒ＝サブバンド毎の全ビットプレーン数／サブバンド毎の破棄されずに残ったビットプレーン数
に基づいて算出されることを特徴とする請求項１記載の画像復号装置。 - 前記ウェーブレット変換が９×７フィルタによるウェーブレット変換の場合、前記量子化率Ｒは、下記の式
Ｎｉ：サブバンドｉにおけるビットプレーン数
Ｘｉ：サブバンドｉで破棄されずに残ったビットプレーン数
に基づいて算出されることを特徴とする請求項１記載の画像復号装置。 - 前記量子化率Ｒは、ＬＬ以外のサブバンドに基づいて算出されることを特徴とする請求項１ないし３のいずれか１項に記載の画像復号装置。
- 前記量子化率Ｒが大きいほど、前記ローパスフィルタの強度を強くすることを特徴とする請求項１記載の画像復号装置。
- 前記ローパスフィルタのフィルタ中心の重み付けの係数ｍを、下記の式
ｍ＝Ｋ＊Ｒ （Ｋ：定数）
に基づいて算出することを特徴とする請求項５記載の画像復号装置。 - 前記量子化率Ｒが所定の閾値よりも小さい場合には、前記タイル境界平滑化手段によるタイル境界の歪み平滑化処理を行わないようにしたことを特徴とする請求項１記載の画像復号装置。
- タイル境界を限定する補正タイル境界限定手段を備え、
この補正タイル境界限定手段により限定されたタイル境界の近傍画素にのみ、前記タイル境界平滑化手段によるタイル境界の歪み平滑化処理を行うようにしたことを特徴とする請求項１ないし７の何れか１項に記載の画像復号装置。 - 前記量子化率Ｒが所定の閾値よりも大きい場合には、前記補正タイル境界限定手段により限定されるタイル境界は、ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）領域内であることを特徴とする請求項８記載の画像復号装置。
- 前記量子化率Ｒが所定の閾値よりも小さい場合には、前記補正タイル境界限定手段により限定されるタイル境界は、ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）領域外であることを特徴とする請求項８記載の画像復号装置。
- 画像をタイル毎にウェーブレット変換し、さらにエントロピー符号化した符号をトランケーションすることにより得られた圧縮符号の復号をコンピュータに実行させるプログラムにおいて、
画像の高周波成分をカットするローパスフィルタを用いて復号後のタイル境界の歪みを平滑化するタイル境界平滑化機能を前記コンピュータに実行させ、
前記タイル境界平滑化機能では、所定階層以下のサブバンドにおける、全ビットプレーン数に対するトランケーションされずに残ったビットプレーン数の割合を量子化率Ｒとし、当該量子化率Ｒに応じて前記ローパスフィルタの強度を前記コンピュータに制御させることを特徴とするプログラム。 - 前記ウェーブレット変換が５×３フィルタによるウェーブレット変換の場合、前記量子化率Ｒは、下記の式
Ｒ＝サブバンド毎の全ビットプレーン数／サブバンド毎の破棄されずに残ったビットプレーン数
に基づいて算出されることを特徴とする請求項１１記載のプログラム。 - 前記ウェーブレット変換が９×７フィルタによるウェーブレット変換の場合、前記量子化率Ｒは、下記の式
Ｎｉ：サブバンドｉにおけるビットプレーン数
Ｘｉ：サブバンドｉで破棄されずに残ったビットプレーン数
に基づいて算出されることを特徴とする請求項１１記載のプログラム。 - 前記量子化率Ｒは、ＬＬ以外のサブバンドに基づいて算出されることを特徴とする請求項１１ないし１３のいずれか１項に記載のプログラム。
- 前記量子化率Ｒが大きいほど、前記ローパスフィルタの強度を強くすることを特徴とする請求項１１記載のプログラム。
- 前記ローパスフィルタのフィルタ中心の重み付けの係数ｍを、下記の式
ｍ＝Ｋ＊Ｒ （Ｋ：定数）
に基づいて算出することを特徴とする請求項１５記載のプログラム。 - 前記量子化率Ｒが所定の閾値よりも小さい場合には、前記タイル境界平滑化手段によるタイル境界の歪み平滑化処理を行わないようにしたことを特徴とする請求項１１記載のプログラム。
- タイル境界を限定する補正タイル境界限定手段を備え、
この補正タイル境界限定手段により限定されたタイル境界の近傍画素にのみ、前記タイル境界平滑化手段によるタイル境界の歪み平滑化処理を行うようにしたことを特徴とする請求項１１ないし１７の何れか１項に記載のプログラム。 - 前記量子化率Ｒが所定の閾値よりも大きい場合には、前記補正タイル境界限定手段により限定されるタイル境界は、ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）領域内であることを特徴とする請求項１８記載のプログラム。
- 前記量子化率Ｒが所定の閾値よりも小さい場合には、前記補正タイル境界限定手段により限定されるタイル境界は、ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）領域外であることを特徴とする請求項１８記載のプログラム。
- 請求項１１ないし２０いずれか１項に記載のプログラムを記憶していることを特徴とするコンピュータに読取り可能な記憶媒体。
- 画像をタイル毎にウェーブレット変換し、さらにエントロピー符号化した符号をトランケーションすることにより得られた圧縮符号を復号する画像復号方法において、
画像の高周波成分をカットするローパスフィルタを用いて復号後のタイル境界の歪みを平滑化するタイル境界平滑化工程を含み、
前記タイル境界平滑化工程では、所定階層以下のサブバンドにおける、全ビットプレーン数に対するトランケーションされずに残ったビットプレーン数の割合を量子化率Ｒとし、当該量子化率Ｒに応じて前記ローパスフィルタの強度を制御することを特徴とする画像復号方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003180678A JP4111273B2 (ja) | 2003-06-25 | 2003-06-25 | 画像復号装置、プログラム、記憶媒体及び画像復号方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003180678A JP4111273B2 (ja) | 2003-06-25 | 2003-06-25 | 画像復号装置、プログラム、記憶媒体及び画像復号方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005020240A JP2005020240A (ja) | 2005-01-20 |
| JP4111273B2 true JP4111273B2 (ja) | 2008-07-02 |
Family
ID=34181602
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003180678A Expired - Fee Related JP4111273B2 (ja) | 2003-06-25 | 2003-06-25 | 画像復号装置、プログラム、記憶媒体及び画像復号方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4111273B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8071128B2 (en) | 1996-06-14 | 2011-12-06 | Kyowa Hakko Kirin Co., Ltd. | Intrabuccally rapidly disintegrating tablet and a production method of the tablets |
| US8367111B2 (en) | 2002-12-31 | 2013-02-05 | Aptalis Pharmatech, Inc. | Extended release dosage forms of propranolol hydrochloride |
| US8580313B2 (en) | 2009-12-02 | 2013-11-12 | Aptalis Pharma Limited | Fexofenadine microcapsules and compositions containing them |
| US8747895B2 (en) | 2004-09-13 | 2014-06-10 | Aptalis Pharmatech, Inc. | Orally disintegrating tablets of atomoxetine |
| US10568832B2 (en) | 2004-10-12 | 2020-02-25 | Adare Pharmaceuticals, Inc. | Taste-masked pharmaceutical compositions |
-
2003
- 2003-06-25 JP JP2003180678A patent/JP4111273B2/ja not_active Expired - Fee Related
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8071128B2 (en) | 1996-06-14 | 2011-12-06 | Kyowa Hakko Kirin Co., Ltd. | Intrabuccally rapidly disintegrating tablet and a production method of the tablets |
| US8357396B2 (en) | 1996-06-14 | 2013-01-22 | Kyowa Hakko Kirin Co., Ltd. | Intrabuccally rapidly disintegrating tablet and a production method of the tablets |
| US8367111B2 (en) | 2002-12-31 | 2013-02-05 | Aptalis Pharmatech, Inc. | Extended release dosage forms of propranolol hydrochloride |
| US8747895B2 (en) | 2004-09-13 | 2014-06-10 | Aptalis Pharmatech, Inc. | Orally disintegrating tablets of atomoxetine |
| US10568832B2 (en) | 2004-10-12 | 2020-02-25 | Adare Pharmaceuticals, Inc. | Taste-masked pharmaceutical compositions |
| US8580313B2 (en) | 2009-12-02 | 2013-11-12 | Aptalis Pharma Limited | Fexofenadine microcapsules and compositions containing them |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005020240A (ja) | 2005-01-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7302104B2 (en) | Smoothing tile boundaries of images encoded and decoded by JPEG 2000 | |
| JP4714668B2 (ja) | 圧縮された画像の画質の向上 | |
| US7330596B2 (en) | Image decoding technique for suppressing tile boundary distortion | |
| JP3461821B2 (ja) | メモリ管理システム及びメモリ管理方法 | |
| US7352908B2 (en) | Image compression device, image decompression device, image compression/decompression device, program for executing on a computer to perform functions of such devices, and recording medium storing such a program | |
| JP3952459B2 (ja) | 画像処理装置、プログラム、記憶媒体及び画像処理方法 | |
| US8320684B2 (en) | Image compressing apparatus, image compressing method and program | |
| JP4111273B2 (ja) | 画像復号装置、プログラム、記憶媒体及び画像復号方法 | |
| JP2005039793A (ja) | 画像符号化装置、プログラム及び記憶媒体 | |
| CN1842820A (zh) | 用于视频帧的空间放大的方法 | |
| JP4067460B2 (ja) | 画像復号装置、プログラム、記憶媒体及び画像復号方法 | |
| JP2004056260A (ja) | 画像復号装置、画像処理装置、プログラム、記憶媒体及び画像復号方法 | |
| JP4118049B2 (ja) | 画像処理装置及び方法 | |
| JP4145086B2 (ja) | 画像復号装置、画像処理装置、動画像表示システム、プログラム、記憶媒体及び画像復号方法 | |
| JP4124436B2 (ja) | 動き量推定装置、プログラム、記憶媒体および動き量推定方法 | |
| JP2002369202A (ja) | 画像圧縮装置、画像伸長装置、画像圧縮方法、画像伸長方法、プログラム、及び該プログラムを記録した記録媒体 | |
| JP2004064190A (ja) | 画像処理装置、方法、プログラムおよび記録媒体 | |
| JP4201163B2 (ja) | 画像処理装置、方法、プログラムおよび記録媒体 | |
| JP4266195B2 (ja) | 画像処理装置、画像処理方法、プログラム及び情報記録媒体 | |
| JP3961966B2 (ja) | 不要部除去装置、画像処理装置、プログラム、記憶媒体及び不要部除去方法 | |
| JP4117886B2 (ja) | 画像処理装置、画像処理方法、プログラム及び情報記録媒体 | |
| JP2004112566A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び画像処理プログラムを記憶する記憶媒体 | |
| JP4010957B2 (ja) | 画像処理装置、プログラム、記憶媒体および画像形成装置 | |
| JP4424672B2 (ja) | 画像処理装置、画像処理方法、プログラム及び情報記録媒体 | |
| JP2004289737A (ja) | 画像符号化装置、画像符号化プログラム、及び画像復号化プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041012 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051116 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20051021 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060905 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070830 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070911 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071109 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071211 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080208 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080304 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080401 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110418 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120418 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130418 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140418 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |