JP4634254B2 - デジタル信号処理装置及びプログラム - Google Patents

デジタル信号処理装置及びプログラム Download PDF

Info

Publication number
JP4634254B2
JP4634254B2 JP2005234001A JP2005234001A JP4634254B2 JP 4634254 B2 JP4634254 B2 JP 4634254B2 JP 2005234001 A JP2005234001 A JP 2005234001A JP 2005234001 A JP2005234001 A JP 2005234001A JP 4634254 B2 JP4634254 B2 JP 4634254B2
Authority
JP
Japan
Prior art keywords
frequency subband
wavelet transform
wavelet
data
image signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005234001A
Other languages
English (en)
Other versions
JP2007049587A (ja
Inventor
宏輝 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2005234001A priority Critical patent/JP4634254B2/ja
Priority to US11/492,799 priority patent/US20070036458A1/en
Publication of JP2007049587A publication Critical patent/JP2007049587A/ja
Application granted granted Critical
Publication of JP4634254B2 publication Critical patent/JP4634254B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/70
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/10Image enhancement or restoration by non-spatial domain filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20064Wavelet transform [DWT]

Description

本発明は、デジタル信号処理装置に関し、特にウェーブレット変換を用いてデジタル画像信号のノイズリダクションを行うデジタル信号処理装置に関する。
図5〜図6は、デジタル画像信号の2次元ウェーブレット変換を説明するための概念図である。図5(A)は、ウェーブレット変換装置1の概略を表すブロック図であり、図5(B)は、逆ウェーブレット変換装置2の概略を表すブロック図であり、図6はウェーブレット変換された画像信号を概略的に示す平面図である。
ウェーブレット変換装置1は、ウェーブレット変換部11及びインターリーブ変換部5を含んで構成される
デジタル画像信号X0は、ウェーブレット変換部11に入力されると、ローパスフィルタLPF及びハイパスフィルタHPFに送られる。ローパスフィルタLPFで高周波を濾波された(低周波成分の)信号及びハイパスフィルタHPFで低周波を濾波された(高周波成分の)信号は、それぞれダウンサンプリング部4に送られて、水平方向1/2に間引きされて、水平方向低周波成分L及び水平方向高周波成分Hのサブバンドデータに周波数分解される。
水平方向低周波成分Lは、ローパスフィルタLPF及びハイパスフィルタHPFに送られる。その後、それぞれダウンサンプリング部4に送られて、垂直方向1/2に間引きされて、水平垂直方向低周波成分LL1及び水平方向低周波垂直方向高周波成分LH1のサブバンドデータに分解される。また、水平方向高周波成分Hは、ローパスフィルタLPF及びハイパスフィルタHPFに送られる。その後、それぞれダウンサンプリング部4に送られて、垂直方向1/2に間引きされて、水平垂直方向高周波成分HH1及び水平方向高周波垂直方向低周波成分HL1のサブバンドデータに分解される。分解されたそれぞれのサブバンドデータ(LL1、LH1、HH1、HL1)は、インターリーブ変換部5により並べ替えられて、図6の右上に示す画面100bのように配列される。
ウェーブレット変換部11では、さらに所望のサブバンドデータに対して再帰的変換を行うことが出来る。例えば、水平垂直方向低周波成分LL1を入力信号X0として、再度ウェーブレット変換部11に入力することにより、図6の右下に示すようなサブバンドデータ(LL2、LH2、HH2、HL2)を得ることが出来る。このように所定のサブバンドデータに対して再帰的変換を所定回数繰り返すことにより、特定の周波数帯域のサブバンドデータを得ることが出来る。
ウェーブレット逆変換装置2は、ウェーブレット逆変換部22とインターリーブ逆変換部5を含んで構成される。ウェーブレット逆変換部22は、分解されたサブバンドデータを逆ウェーブレット変換することにより復元し、インターリーブ逆変換部5により再構築することにより、元の画像に戻すことが出来る。
図7は、ウェーブレット変換を用いた従来のデジタル信号処理装置200によるノイズリダクション処理を説明するためのブロック図である。
デジタル信号処理装置200は、図5〜図6を参照して説明したウェーブレット変換により、デジタル画像信号X0をサブバンドデータLL1、LH1、HH1、HL1に分解する。さらに、水平垂直方向低周波のサブバンドデータLL1をウェーブレット変換し、得られた水平垂直方向低周波のサブバンドデータLLをさらに変換することを所定回数n(例えば、2〜8回)繰り返して、サブバンドデータLLn、LHn、HHn、HLnを得る。ここで得られたサブバンドデータLHn、HHn、HLnに対して後述するコアリング処理を行い、その後、ウェーブレット逆変換を繰り返して元のデジタル画像信号を復元する。このような処理を行うことにより、例えば、低帯域のノイズを抑えることが出来る(例えば、特許文献1参照)。なお、本明細書では、ウェーブレット変換で得られたサブバンドデータに対してさらにウェーブレット変換を行うことを「再帰的ウェーブレット変換」と呼ぶ。
図8及び図9は、コアリング処理を説明するためのグラフである。
図8(A)は、コアリング処理を施さない場合の入力信号と出力信号の関係を表すグラフである。コアリング処理とは、例えば、入力信号の絶対値が閾値よりも低い場合に、信号を抑制(例えば、閾値以下を一律に0に)する処理である。図8(A)に示すような関係を持つ信号に対してコアリング処理を行った場合、閾値以下の入力信号は0として出力され、図8(B)に示すような入力信号と出力信号の関係となる。
より具体的には、図9(A)に示すような入力信号X0に対してウェーブレット変換を行い、図9(B)に示す低周波成分L1と図9(C)に示す高周波成分H1に分解し、高周波成分H1に対してコアリング処理を施す。これにより、図9(D)に示すように閾値以下の部分(点線で囲んだ部分)が0とされた高周波成分H1´が得られる。その後、低周波成分L1と高周波成分H1´を逆ウェーブレット変換することにより、図9(E)に示すようなノイズの押さえられた復元信号X0´を得ることが出来る。
特開2003−134352号公報
上述の従来のデジタル信号処理装置のように、特定帯域のノイズを押さえるために、再帰的ウェーブレット変換を繰り返し、特定帯域のサブバンドをコアリングする場合、復元した信号に基づく画像にリンギングが発生したり、振幅の位相が変わってしまったりする場合がある。また、特定帯域のノイズを取ろうとする場合、位相のずれが蓄積してしまう。
本発明の目的は、リンギングの発生を抑制しつつ、デジタル信号のノイズを抑制することが可能なデジタル信号処理装置を提供することである。
本発明の一観点によれば、デジタル信号処理装置は、入力されるデジタル画像信号をダウンサンプリングして複数の領域に分割して並べ替えるインターリーブ変換部と、該並べ替えられたデジタル画像信号をウェーブレット変換して、低周波サブバンドと高周波サブバンドに分解するウェーブレット変換部とを有するウェーブレット変換手段と、前記高周波サブバンドのデータに対してコアリング処理を行うコアリング手段とを有し、前記インターリーブ変換部は、さらに前記ウェーブレット変換部により分解された低周波サブバンドと高周波サブバンドのデータを複数の領域に分割して並べ替えることを特徴とする
また、本発明の他の観点によれば、デジタル信号処理装置は、入力されるデジタル画像信号を任意の倍率でダウンサンプリングして複数の領域に分割して並べ替えるサンプリング変換手段と、該並べ替えられたデジタル画像信号をウェーブレット変換して、低周波サブバンドと高周波サブバンドに分解するウェーブレット変換部と前記分解された低周波サブバンドと高周波サブバンドのデータを複数の領域に分割して並べ替えるインターリーブ変換部とを有するウェーブレット変換手段と、前記高周波サブバンドのデータに対してコアリング処理を行うコアリング手段とを有する。
本発明によれば、リンギングの発生を抑制しつつ、デジタル信号のノイズを抑制することが可能なデジタル信号処理装置を提供することができる。
図1は、本発明の第1の実施例によるデジタル信号処理装置101の構成を表すブロック図である。図2は、第1の実施例によるデジタル信号処理を説明するための図である。
デジタル信号処理装置101は、少なくともウェーブレット変換装置1、逆ウェーブレット変換装置2、コアリング処理部3を含んで構成される。本実施例のデジタル信号処理装置101は、ウェーブレット変換によって、入力されるデジタル画像信号を所定の帯域のサブバンドデータに分解し、水平垂直方向低周波成分LL1(以下、低周波サブバンドデータと呼ぶ)を参照して、水平方向低周波垂直方向高周波成分LH1、水平垂直方向高周波成分HH1及び水平方向高周波垂直方向低周波成分HL1(以下、これら3つのサブバンドデータを総称して高周波サブバンドデータと呼ぶ)に対してコアリング処理を行い、ノイズ成分を除去又は抑制するものである。
ウェーブレット変換装置1は、図4に示す従来のウェーブレット変換装置1と同様に、ウェーブレット変換部11とインターリーブ変換部5を含んで構成される。本実施例では、まず、図2左上に示されるようなデジタル画像信号X0を、インターリーブ変換部5により純粋に1/4ダウンサンプリングして、図2右上に示すように、デジタル画像信号を4つの領域に並び替える(再配置する)。その後、並び替えられた画像信号はウェーブレット変換部11に入力され、4つに分割された領域ごとに、水平垂直方向低周波成分(低周波サブバンド)LL1〜4と、水平方向低周波垂直方向高周波成分LH1〜4、水平垂直方向高周波成分HH1〜4及び水平方向高周波垂直方向低周波成分HL1〜4の高周波サブバンドデータに分解される。分解された各サブバンドデータはさらに、インターリーブ変換部5により、図2右下に示すように各領域内でさらに4つの領域に並べ替えられる(再配置される)。
従来のウェーブレット変換装置では、インターリーブ変換部5は、ウェーブレット変換部11によって分解されたサブバンドデータを並び替えるのみであったが、本実施例では、ウェーブレット変換部11によるウェーブレット変換の前に、インターリーブ変換部5によって入力画像信号を純粋にダウンサンプリングしている。このようにすることで、再帰的ウェーブレット変換を行わずとも、図2右下に示すように、各サブバンドデータについて再帰的ウェーブレット変換を行ったのと等しい低帯域に分解されたサブバンドデータを得ることが出来る。
次に、画面上4つの領域内の各高周波サブバンドデータは、コアリング処理部3によってコアリング処理される。このコアリング処理は、図8及び図9を参照して説明した従来のコアリング処理と同様の処理である。すなわち、入力信号X0の絶対値が閾値よりも低い場合に、信号を抑制(例えば、閾値以下を一律に0に)する。
その後、各領域の低周波サブバンドのデータ及びコアリング処理された高周波サブバンドのデータは、ウェーブレット逆変換部2によって、逆ウェーブレット変換され、さらに、インターリーブ逆変換部5によって、図2左下に示すように画面上の4つの領域に再配置される。すなわち、信号配列上は図2右上に示す状態に復元される。その後、さらに、インターリーブ逆変換部5によって、図2左上に示す元の入力信号と同様の信号配列となるように再構築される。
以上のように、本発明の第1の実施例では、インターリーブ変換部5によって入力画像信号を純粋にダウンサンプリングして、複数領域に分割し、分割した各領域に対してウェーブレット変換部11によるウェーブレット変換を行うようにしたので、各サブバンドデータについて再帰的ウェーブレット変換を行ったのと等しい低帯域のサブバンドデータを、上記複数領域の各領域ごとに得ることが出来る。
また、このようにして得られた各領域の各高周波サブバンドデータに対してコアリング処理を行うことにより、再帰的ウェーブレット変換を行ってコアリング処理を行ったのと同様のノイズリダクション効果を得られる。さらに、本実施例では、再帰的ウェーブレット変換を行わないので、それによるリンギングの発生を抑えることが出来る。
なお、上記の実施例では、1/4ダウンサンプリングを例として説明したが、2の倍数の逆数であれば、任意の倍率でダウンサンプリングを行うことができる。例えば、1/8ダウンサンプリングを行った場合には、再帰的ウェーブレット変換を2回行ったのと同様の低帯域のサブバンドデータを得ることが出来る。同様に、1/16であれば、3回の再帰的ウェーブレット変換と同様である。
上述の第1の実施例では、従来のウェーブレット変換を用いた信号処理装置と同等のハードウェア構成で実現できるという利点があるが、ダウンサンプリングの倍率が2の倍数の逆数に限られるという制限がある。そこでその制限をなくすことの出来る信号処理装置102を第2の実施例として以下に説明する。
図3は、本発明の第2の実施例によるデジタル信号処理装置101の構成を表すブロック図である。図4は、第2の実施例によるデジタル信号処理を説明するための図である。
この第2の実施例と第1の実施例との違いは、第2の実施例では、任意の倍率でダウンサンプリングを行うことのできるサンプリング変換部7をウェーブレット変換装置1の前段に設けたことにある。そこで、ウェーブレット変換部11によるウェーブレット変換の前にインターリーブ変換部5で行っていたダウンサンプリングを、インターリーブ変換部5の代わりにサンプリング変換部7で行う。
サンプリング変換部7は、例えば、図4に示すように、1/9ダウンサンプリングのように、2の倍数の逆数以外の倍率でダウンサンプリングを行うことができる。すなわち、この第2の実施例によれば、ウェーブレット変換部11によるウェーブレット変換の前に1/3、1/5、1/9等の倍率で純粋なダウンサンプリングを行うことができる。なお、インターリーブ変換部11と同様の倍率によるダウンサンプリングも実行可能である。
このように、任意の倍率でダウンサンプリングを行ってからウェーブレット変換を行うことにより、通常の再帰的ウェーブレット変換では得ることの出来ない周波数帯域のサブバンドデータを得ることが出来る。よって、通常の再帰的ウェーブレット変換ではノイズを除去又は抑制できなかった周波数帯域においても、ノイズの除去又は抑制を行うことができる。さらに、この第2の実施例でも、第1の実施例と同様に再帰的ウェーブレット変換を行わないので、それによるリンギングの発生を抑えることが出来る。
以上、本発明の第1及び第2の実施例によれば、再帰的ウェーブレット変換を行わずに、再帰的ウェーブレット変換を行ったのと同様のノイズリダクションを実現しつつ、再帰的ウェーブレット変換によるリンギングの発生を抑えることが出来る。
以上実施例に沿って本発明を説明したが、本発明はこれらに制限されるものではない。例えば、種々の変更、改良、組合せ等が可能なことは当業者に自明であろう。
本発明の第1の実施例によるデジタル信号処理装置101の構成を表すブロック図である。 発明の第1の実施例によるデジタル信号処理を説明するための概念図である。 本発明の第2の実施例によるデジタル信号処理装置102の構成を表すブロック図である。 発明の第2の実施例によるデジタル信号処理を説明するための概念図である。 ウェーブレット変換部及び逆変換部の概略を表すブロック図である。 ウェーブレット変換された画像信号を概略的に示す平面図である。 ウェーブレット変換を用いた従来のデジタル信号処理装置200によるノイズリダクション処理を説明するためのブロック図である。 コアリング処理を説明するためのグラフである。 コアリング処理を説明するためのグラフである。
符号の説明
1…ウェーブレット変換部、2…逆ウェーブレット変換部、3…コアリング処理部、4…ダウンサンプリング部、5…インターリーブ変換部、7…サンプリング変換部、101、102…デジタル信号処理装置

Claims (3)

  1. 入力されるデジタル画像信号をダウンサンプリングして複数の領域に分割して並べ替えるインターリーブ変換部と、該並べ替えられたデジタル画像信号をウェーブレット変換して、低周波サブバンドと高周波サブバンドに分解するウェーブレット変換部とを有するウェーブレット変換手段と、
    前記高周波サブバンドのデータに対してコアリング処理を行うコアリング手段とを有し、
    前記インターリーブ変換部は、さらに前記ウェーブレット変換部により分解された低周波サブバンドと高周波サブバンドのデータを複数の領域に分割して並べ替えることを特徴とするデジタル信号処理装置。
  2. 入力されるデジタル画像信号を任意の倍率でダウンサンプリングして複数の領域に分割して並べ替えるサンプリング変換手段と、
    該並べ替えられたデジタル画像信号をウェーブレット変換して、低周波サブバンドと高周波サブバンドに分解するウェーブレット変換部と前記分解された低周波サブバンドと高周波サブバンドのデータを複数の領域に分割して並べ替えるインターリーブ変換部とを有するウェーブレット変換手段と、
    前記高周波サブバンドのデータに対してコアリング処理を行うコアリング手段と
    を有するデジタル信号処理装置。
  3. デジタル画像信号をウェーブレット変換して、低周波サブバンドと高周波サブバンドに分解するウェーブレット変換部とデータを複数の領域に分割して並べ替えるインターリーブ変換部とを有するウェーブレット変換手段と、前記高周波サブバンドのデータに対してコアリング処理を行うコアリング手段とを有するデジタル信号処理装置において実行されるデジタル信号処理プログラムであって、
    (a)入力されるデジタル画像信号をダウンサンプリングして複数の領域に分割して並べ替える第1のインターリーブ変換手順と、
    (b)該並べ替えられたデジタル画像信号をウェーブレット変換して、低周波サブバンドと高周波サブバンドに分解するウェーブレット変換手順と、
    (c)前記分解された低周波サブバンドと高周波サブバンドのデータを複数の領域に分割して並べ替える第2のインターリーブ変換手順と、
    (d)前記高周波サブバンドのデータに対してコアリング処理を行うコアリング手順と、
    を有するデジタル信号処理プログラム。
JP2005234001A 2005-08-12 2005-08-12 デジタル信号処理装置及びプログラム Expired - Fee Related JP4634254B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005234001A JP4634254B2 (ja) 2005-08-12 2005-08-12 デジタル信号処理装置及びプログラム
US11/492,799 US20070036458A1 (en) 2005-08-12 2006-07-26 Digital signal processing apparatus and digital signal processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005234001A JP4634254B2 (ja) 2005-08-12 2005-08-12 デジタル信号処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2007049587A JP2007049587A (ja) 2007-02-22
JP4634254B2 true JP4634254B2 (ja) 2011-02-16

Family

ID=37742608

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005234001A Expired - Fee Related JP4634254B2 (ja) 2005-08-12 2005-08-12 デジタル信号処理装置及びプログラム

Country Status (2)

Country Link
US (1) US20070036458A1 (ja)
JP (1) JP4634254B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8391635B2 (en) * 2007-08-31 2013-03-05 Olympus Corporation Noise removal device, noise removal method, and computer readable recording medium
US8964720B2 (en) * 2009-06-03 2015-02-24 Via Telecom Co., Ltd. MIMO OFDMA and preamble design
US20170278244A1 (en) * 2016-03-24 2017-09-28 The Chinese University Of Hong Kong Method and a system for non-rigid image registration

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08204956A (ja) * 1995-01-27 1996-08-09 Kokusai Electric Co Ltd 画像通信方式
JP2000013593A (ja) * 1998-06-25 2000-01-14 Sony Corp 画像生成装置及び方法
JP2003046785A (ja) * 2001-07-31 2003-02-14 Ricoh Co Ltd 圧縮された画像の画質の向上
JP2003153038A (ja) * 2001-11-12 2003-05-23 Matsushita Electric Ind Co Ltd 映像信号処理装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2311432B (en) * 1996-03-20 2000-05-03 Sony Uk Ltd Method and apparatus for processing an input image
US6236757B1 (en) * 1998-06-18 2001-05-22 Sharp Laboratories Of America, Inc. Joint coding method for images and videos with multiple arbitrarily shaped segments or objects
KR100532304B1 (ko) * 2003-12-10 2005-11-29 삼성전자주식회사 블록별 에너지를 기초로 정지 영상을 고속으로 부호화할수 있는 고속 이산 웨이블렛 부호화 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08204956A (ja) * 1995-01-27 1996-08-09 Kokusai Electric Co Ltd 画像通信方式
JP2000013593A (ja) * 1998-06-25 2000-01-14 Sony Corp 画像生成装置及び方法
JP2003046785A (ja) * 2001-07-31 2003-02-14 Ricoh Co Ltd 圧縮された画像の画質の向上
JP2003153038A (ja) * 2001-11-12 2003-05-23 Matsushita Electric Ind Co Ltd 映像信号処理装置

Also Published As

Publication number Publication date
US20070036458A1 (en) 2007-02-15
JP2007049587A (ja) 2007-02-22

Similar Documents

Publication Publication Date Title
JP4198757B2 (ja) ウェーブレット状及び逆ウェーブレット状にデジタルデータを変換するためのシステム及び方法
US6643406B1 (en) Method and apparatus for performing linear filtering in wavelet based domain
US6389176B1 (en) System, method and medium for increasing compression of an image while minimizing image degradation
JP5348145B2 (ja) 画像処理装置および画像処理プログラム
JP5017555B2 (ja) 画像符号化装置及び画像復号化装置
Eslami et al. New image transforms using hybrid wavelets and directional filter banks: Analysis and design
JP4634254B2 (ja) デジタル信号処理装置及びプログラム
US20080175500A1 (en) System of master reconstruction schemes for pyramid decomposition
Lama et al. Interpolation using wavelet transform and discrete cosine transform for high resolution display
Kim et al. Lossless and lossy image compression using biorthogonal wavelet transforms with multiplierless operations
JP2007504523A (ja) ビデオフレームの空間のアップスケーリング方法
JPH103542A (ja) 入力画像処理方法及び装置
US8620979B2 (en) Filter banks for enhancing signals using oversampled subband transforms
JP2007280202A (ja) ウェーブレット変換を用いた画像処理方法及びその装置
Eslami et al. Image denoising using translation-invariant contourlet transform
Eslami et al. Design of regular wavelets using a three-step lifting scheme
JP2007335970A (ja) ウェーブレット変換を用いた画像処理方法及びその装置
JP4736916B2 (ja) 画像信号処理装置
US9336580B2 (en) Methods and apparatuses for image processing
JP4866756B2 (ja) 撮像装置
JP2007048176A (ja) デジタル信号処理装置
JP5191013B2 (ja) 画像符号化装置及び画像復号化装置
Nguyen et al. The Laplacian pyramid with rational scaling factors and application on image denoising
AU749350B2 (en) A method and apparatus for encoding and decoding compressed images
JP2008005343A (ja) 分析フィルタバンク装置、分析フィルタバンク方法及び分析フィルタバンクプログラム、合成フィルタバンク装置、合成フィルタバンク方法及び合成フィルタバンクプログラム、画像圧縮装置及び画像圧縮方法、並びに画像伸長装置及び画像伸長方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070216

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100702

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101026

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101118

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131126

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees