JP3734362B2 - 補間方法 - Google Patents

補間方法 Download PDF

Info

Publication number
JP3734362B2
JP3734362B2 JP07660898A JP7660898A JP3734362B2 JP 3734362 B2 JP3734362 B2 JP 3734362B2 JP 07660898 A JP07660898 A JP 07660898A JP 7660898 A JP7660898 A JP 7660898A JP 3734362 B2 JP3734362 B2 JP 3734362B2
Authority
JP
Japan
Prior art keywords
pixel
pixel data
value
interpolation
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP07660898A
Other languages
English (en)
Other versions
JPH11261974A (ja
Inventor
広史 本田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp filed Critical Pioneer Corp
Priority to JP07660898A priority Critical patent/JP3734362B2/ja
Priority to US09/262,595 priority patent/US7548275B1/en
Publication of JPH11261974A publication Critical patent/JPH11261974A/ja
Application granted granted Critical
Publication of JP3734362B2 publication Critical patent/JP3734362B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4007Interpolation-based scaling, e.g. bilinear interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes

Description

【0001】
【発明の属する技術分野】
本発明は、補間方法に関する。
【従来の技術】
【0002】
従来のプラズマディスプレイ表示装置(PDP)、液晶表示装置(LCD)、エレクトロルミネッセンス表示装置(EL)等においては、走査線毎の水平画素数、走査線数及び走査周波数が予め所定の値に設定されている。
【0003】
従って、例えば、HDTV用に走査線毎の水平画素数、走査線数及び走査周波数が予め所定の値に設定されている表示装置に対してNTSC方式の映像信号を入力して表示するためには走査線毎の水平画素数、走査線数を増やすように信号変換する必要がある。
【0004】
例えば、補間画素の生成方法として、図3に示すように各現画素に対する左側補間成分l及び右側補間成分rを各現画素の1/2の値とし、補間画素xの左側に隣接する現画素の右側補間成分rと前記補間画素の右側に隣接する現画素の左側補間成分lとを加算した値、すなわち、同一走査線上で補間画素xの左右にある現画素の画素データの平均値を補間画素の画素データとして内挿する方法が知られている。
【0005】
【発明が解決しようとする課題】
しかしながら、上述の平均値補間方法では、映像信号をサンプリングしてデジタル信号に変換する際失われたピーク値の再現が困難であり、シャープネスが失われ、変換画質があまり良好でないという問題があった。
【0006】
本発明は、上述の事情に鑑みてなされたものであり、上記のピーク値の再現を可能にし良好な変換画像を経済的に実現することができる補間方法を提供することを目的とするものである。
【0007】
【課題を解決するための手段】
本発明の請求項1に記載の補間方法は、 各現画素に対する左側補間成分及び右側補間成分を算出し、補間画素の左側に隣接する現画素の右側補間成分と前記補間画素の右側に隣接する現画素の左側補間成分とを加算して前記補間画素の画素データを算出する補間方法であって、
前記右側補間成分を、前記各現画素及びその周囲に位置する複数の現画素の画素データに基づいて算出された基準値に前記各現画素の画素データの微分値に基づいて算出された調整値を加算することにより算出し、前記左側補間成分は、前記基準値から前記調整値を減算することにより算出すると共に、
前記基準値として、前記各現画素の画素データの1/2の値を用い、前記微分値は、前記各現画素の右側に隣接する現画素の画素データと左側に隣接する現画素の画素データとの減算により算出され、前記調整値は前記微分値の符号及び前記微分値の絶対値の内の最小値に基づいて算出されることを特徴とする。
【0009】
また、本発明の請求項2に記載の補間方法は、請求項に記載の補間方法において、前記各現画素及びその周囲に位置する複数の現画素として、水平方向、垂直方向及び斜め方向の内の一つの方向に連続する少なくとも5個の現画素を用いることを特徴とする。
【0010】
また、本発明の請求項に記載の補間方法は、請求項1に記載の補間方法において、水平方向、垂直方向及び斜め方向の内の一つの方向に連続する5個の現画素の画素データを順に第1画素データ、第2画素データ、第3画素データ、第4画素データ、第5画素データとし、前記第1及び第2画素データの差の絶対値と前記第2及び第3画素データの差の絶対値とを加算した第1の値、前記第2及び第4画素データの差の絶対値からなる第2の値、前記第3及び第4画素データの差の絶対値と前記第4及び第5画素データの差の絶対値とを加算した第3の値をそれぞれ求め、前記第1乃至第3の値の内の最小値を選択し、前記最小値を定数倍し、前記第2画素データと第4画素データを比較して前記定数倍された最小値の符号を設定し、前記第3画素データの1/2と前記符号が設定されかつ定数倍された最小値とを加算して前記第3画素データの右側補間成分を算出し、前記第3画素データの1/2から前記符号が設定されかつ定数倍された最小値を減算した値を前記第3画素データの左側補間成分として算出することを特徴とする。
【0011】
【作用】
本発明の補間方法によれば、現画素の周囲の複数の画素の画素データに応じて、現画素の右側補間成分と左側補間成分にレベル差が設定されるので、サンプリングによって失われたピーク値を再現することが可能となり、また、輪郭部分のエッジをより急峻にすることができる。
【0012】
【発明の実施の形態】
本発明の補間方法を図に基づいて詳細に説明する。
図1は、本発明の補間方法を水平方向の画素密度を倍にする水平画素補間に適用した補間回路である。
【0013】
縦続接続された単位遅延回路11〜14は、入力画像信号(画素データ)を次々に単位時間遅延させる。ここで、各単位遅延回路11〜14は、1画素分の遅延時間Dを与える回路である。
【0014】
減算回路21は、入力される0D遅延された画素データと1D遅延された画素データに応答してそれらの差分を出力する。減算回路22は、入力される1D遅延された画素データと2D遅延された画素データ応答してそれらの差分を出力する。減算回路23は、入力される2D遅延された画素データと3D遅延された画素データに応答してそれらの差分を出力する。減算回路24は、入力される3D遅延された画素データと4D遅延された画素データに応答してそれらの差分を出力する。
【0015】
絶対値回路25〜28は、減算回路21〜24から供給される差分に応答してそれらの絶対値を出力する。加算回路31は、絶対値回路25,26からの差分の絶対値に応答してそれらの和を最小値セレクタ52に供給する。加算回路32は、絶対値回路27,28からの差分の絶対値に応答してそれらの和を最小値セレクタ52に供給する。
【0016】
減算回路41は、入力される1D遅延された画素データと3D遅延された画素データに応答してそれらの差分を出力し、絶対値回路42は、減算回路41から供給される差分に応答してそれらの絶対値を最小値セレクタ52に供給する。
【0017】
符号発生回路51は、入力される1D遅延された画素データと3D遅延された画素データに応答して符号を発生し、これを乗算回路62に供給する。この符号は、1D遅延された画素データと3D遅延された画素データとを比較し、前者が後者より大きい場合負(+)の符号を、後者が前者より大きい場合正(−)の符号を発生する。
【0018】
最小値セレクタ52は、絶対値回路42から供給される2単位遅延された画素データ間の差分の絶対値及び加算回路31及び32から供給される隣接画素データ間の差分の絶対値和の内の最小値を選択して出力する。係数回路61は、最小値セレクタ52から供給される最小値を定数倍して乗算回路62に供給する。
【0019】
乗算回路62は、符号発生回路51から供給される符号と係数回路61から供給される最小値を定数倍した信号を乗算して補間成分の調整値を生成し、出力する。このようにして、連続する5つの画素データに基づいて補間成分の調整値が算出される。一方、係数回路63は、2D遅延された画素データを1/2倍し、出力する。
【0020】
加算回路71は、入力される2D遅延された画素データの1/2と調整値に応答して2D遅延された画素データの1/2に調整値を加算した出力(右側補間成分)を算出する。一方、減算回路72は、入力される2D遅延された画素データの1/2と調整値に応答して2D遅延された画素データの1/2から調整値を減算した出力(左側補間成分)を算出する。
【0021】
単位遅延回路64により1画素分の遅延された右側補間成分は、加算回路73で左側補間成分と加算され、補間画素データが算出される。時間軸変換回路65は、入力される画素データと補間画素データに応答して水平方向に画素が補間された映像信号を出力する。
【0022】
次に図1の補間回路の動作を図2に基づいて説明する。
図2において、○は現画素、xは補間画素、△は現画素の左側補間成分、□は現画素の右側補間成分を表し、現画素を左から順に第1から第6の画素とし、第1乃至第6の画素の各画素データをa〜fとする。ここでa=b=e=f、c=d、a<cとする。
【0023】
第3の画素と第4の画素の間の補間画素xを求める場合について説明する。
この場合、先ず単位遅延回路11〜14により、入力画像信号(画素データ)を次々に単位時間遅延させ、0D乃至4D遅延された各画素データ(単位遅延回路11の入力、単位遅延回路11〜14の出力)がe,d,c,b,aになった時、減算回路21は第4及び第5の画素の画素データの差分(d−e)を出力し、減算回路22は第3及び第4の画素の画素データの差分(c−d)を出力し、減算回路23は第2及び第3の画素の画素データの差分(b−c)を出力し、減算回路24は第1及び第2の画素の画素データの差分(a−b)を出力する。
【0024】
減算回路21,22の出力は、それぞれ絶対値回路25,26を介して加算回路31に供給され、加算回路31は差分の絶対値の和|c−d|+|d−e|を出力する。また、減算回路23,24の出力は、それぞれ絶対値回路27,28を介して加算回路32に供給され、加算回路32は差分の絶対値の和|a−b|+|b−c|を出力する。
【0025】
減算回路41は第2及び第4の画素の画素データの差分(b−d)を出力し、絶対値回路42を介して差分の絶対値|b−d|を出力する。
【0026】
最小値セレクタ52は、差分の絶対値の和(|a−b|+|b−c|)、(|c−d|+|d−e|)及び差分の絶対値|b−d|の内の最小値k1を選択し、係数回路61を介して定数倍(例えば1/4倍)する。
【0027】
符号発生回路51は、第2及び第4の画素の画素データの差分(d−b)に基づいて
符号s1を発生する。ここで、d−b>0であるので、符号s1(+)が出力される。乗算回路62は、最小値k1を定数倍した値k1/4と符号s1(+)を乗算した調整値s1・k1/4を出力する。一方、係数回路63は、第3の画素の画素データcを1/2倍した値c/2を出力する。
【0028】
加算回路71は、第3の画素の画素データcを1/2倍した値c/2に調整値s1・k1/4を加算した値(c/2+s1・k1/4)を第3の画素の画素データcの右側補間成分rとして出力する。一方、減算回路72は第3の画素の画素データcを1/2倍した値c/2から調整値s1・k1/4を減算した値(c/2−s1・k1/4)を第3の画素の画素データcの左側補間成分lとして出力する。第3の画素の画素データcの右側補間成分は、単位遅延回路64により1画素分の遅延される。
【0029】
次に、0D乃至4D遅延された各画素データ(単位遅延回路11の入力、単位遅延回路11〜14の出力)がf,e,d,c,bになった時、上述と同様に減算回路21,22、絶対値回路25,26、加算回路31により、差分の絶対値の和|d−e|+|e−f|が、減算回路23,24、絶対値回路27,28、加算回路32により、差分の絶対値の和|b−c|+|c−d|が、減算回路41及び絶対値回路42により、差分の絶対値|c−e|がそれぞれ算出される。
【0030】
最小値セレクタ52は、差分の絶対値の和(|b−c|+|c−d|)、(|d−e|+|e−f|)及び差分の絶対値|c−e|の内の最小値k2を選択し、係数回路61を介して定数倍(例えば1/4倍)する。
【0031】
符号発生回路51は、第3及び第5の画素の画素データの差分(e−c)に基づいて符号sを発生する。ここで、e−c<0であるので、符号s2(−)が出力される。乗算回路62は、最小値k2を定数倍した値k2/4と符号s2(−)を乗算した調整値s2・k1/4を出力する。一方、係数回路63は、第4の画素の画素データdを1/2倍した値d/2を出力する。
【0032】
加算算回路71は、第4の画素の画素データdを1/2倍した値d/2に調整値s2・k2/4を加算した値(d/2+s2・k2/4)を第4の画素の画素データdの右側補間成分rとして出力する。一方、減算回路72は第4の画素の画素データdを1/2倍した値d/2から調整値s2・k2/4を減算した値(d/2−s2・k2/4)を第4の画素の画素データdの左側補間成分lとして出力する。
【0033】
加算回路73で単位遅延回路64により1画素分の遅延された第3の画素の画素データcの右側補間成分rと第4の画素の画素データdの左側補間成分lと加算することにより、第3の画素と第4の画素の間の補間画素xが算出される。すなわち、補間画素xは、x=(c/2+s1・k1/4)+(d/2−s2・k2/4)により算出される。
【0034】
ここで、s1は正(+)の符号、s2は負(−)の符号であることから、第3の画素と第4の画素の間の補間画素xは、x=(c/2+k1/4)+(d/2+k2/4)となる。このように、現画素の右側補間成分と左側補間成分にレベル差を設定することにより、図3の従来の補間方法による第3の画素と第4の画素の間の補間画素(x=c/2+d/2)に比してピーク値の再現が良好となる。また、第2の画素と第3の画素の間の補間画素においては、輪郭部分のエッジをより急峻にすることができる。
【0035】
上述の実施形態においては、現画素及びそれと同一走査線上で左右に位置する複数の画素の画素データに基づいて現画素の左側及び右側補間成分を算出する例を示したがこれに限らず、現画素及びその上下(すなわち垂直方向)に位置する複数の画素の画素データに基づいて現画素の左側及び右側補間成分を算出するように構成しても同様な作用効果が得られる。この場合、図1の補間回路において単位遅延回路11〜14、64を1H(1水平走査期間)分遅延させる回路とすることにより、実現することができる。また、現画素及びその斜め方向に位置する複数の画素の画素データに基づいて現画素の左側及び右側補間成分を算出するように構成しても良い。
【0036】
【発明の効果】
以上説明したように、本発明の補間方法によれば、現画素の右側補間成分と左側補間成分にレベル差が設定されるので、サンプリングによって失われたピーク値を再現することが可能となり、また、輪郭部分のエッジをより急峻にすることができる。
【図面の簡単な説明】
【図1】本発明の補間方法が適用される補間回路である。
【図2】本発明の補間方法を説明するための図である。
【図3】従来の補間方法を説明するための図である。
【符号の説明】
11〜14、64・・・・単位遅延回路
21〜24、41、72・・・・減算回路
31、32、71、73・・・・加算回路
51・・・・符号発生回路
52・・・・最小値セレクタ
61、63・・・・係数回路
62・・・・乗算回路
65・・・・時間軸変換回路

Claims (3)

  1. 各現画素に対する左側補間成分及び右側補間成分を算出し、補間画素の左側に隣接する現画素の右側補間成分と前記補間画素の右側に隣接する現画素の左側補間成分とを加算して前記補間画素の画素データを算出する補間方法であって、
    前記右側補間成分を、前記各現画素及びその周囲に位置する複数の現画素の画素データに基づいて算出された基準値に前記各現画素の画素データの微分値に基づいて算出された調整値を加算することにより算出し、前記左側補間成分は、前記基準値から前記調整値を減算することにより算出すると共に、
    前記基準値として、前記各現画素の画素データの1/2の値を用い、前記微分値は、前記各現画素の右側に隣接する現画素の画素データと左側に隣接する現画素の画素データとの減算により算出され、前記調整値は前記微分値の符号及び前記微分値の絶対値の内の最小値に基づいて算出されることを特徴とする補間方法。
  2. 前記各現画素及びその周囲に位置する複数の現画素として、水平方向、垂直方向及び斜め方向の内の一つの方向に連続する少なくとも5個の現画素を用いることを特徴とする請求項記載の補間方法。
  3. 水平方向、垂直方向及び斜め方向の内の一つの方向に連続する5個の現画素の画素データを順に第1画素データ、第2画素データ、第3画素データ、第4画素データ、第5画素データとし、前記第1及び第2画素データの差の絶対値と前記第2及び第3画素データの差の絶対値とを加算した第1の値、前記第2及び第4画素データの差の絶対値からなる第2の値、前記第3及び第4画素データの差の絶対値と前記第4及び第5画素データの差の絶対値とを加算した第3の値をそれぞれ求め、前記第1乃至第3の値の内の最小値を選択し、前記最小値を定数倍し、前記第2画素データと第4画素データを比較して前記定数倍された最小値の符号を設定し、前記第3画素データの1/2と前記符号が設定されかつ定数倍された最小値とを加算して前記第3画素データの右側補間成分を算出し、前記第3画素データの1/2から前記符号が設定されかつ定数倍された最小値を減算した値を前記第3画素データの左側補間成分として算出することを特徴とする請求項1記載の補間方法。
JP07660898A 1998-03-09 1998-03-09 補間方法 Expired - Fee Related JP3734362B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP07660898A JP3734362B2 (ja) 1998-03-09 1998-03-09 補間方法
US09/262,595 US7548275B1 (en) 1998-03-09 1999-03-05 Method for interpolating a video signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP07660898A JP3734362B2 (ja) 1998-03-09 1998-03-09 補間方法

Publications (2)

Publication Number Publication Date
JPH11261974A JPH11261974A (ja) 1999-09-24
JP3734362B2 true JP3734362B2 (ja) 2006-01-11

Family

ID=13610062

Family Applications (1)

Application Number Title Priority Date Filing Date
JP07660898A Expired - Fee Related JP3734362B2 (ja) 1998-03-09 1998-03-09 補間方法

Country Status (2)

Country Link
US (1) US7548275B1 (ja)
JP (1) JP3734362B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7918386B2 (en) * 2007-11-06 2011-04-05 Federal Reserve Bank Of Kansas City Cash letter print verification
FR2925200A1 (fr) * 2007-12-13 2009-06-19 Thomson Licensing Sas Procede de conversion de format d'image video et dispositif correspondant
EP2114068A1 (en) * 2008-04-30 2009-11-04 Sony Corporation Method for converting an image and image conversion unit

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5202670A (en) * 1986-08-20 1993-04-13 Canon Kabushiki Kaisha Image processing apparatus
FR2623040B1 (fr) * 1987-11-09 1990-02-09 France Etat Procede et dispositif de traitement de signaux d'image a balayage de trame entrelace
US5124794A (en) * 1990-07-09 1992-06-23 Zenith Electronics Corporation Adaptive peaking circuit
CA2090696C (en) * 1992-03-20 2001-08-21 Werner Boie Method and apparatus for direction related interpolation
DE69318377T2 (de) * 1992-11-19 1998-09-03 Thomson Multimedia Sa Methode und Vorrichtung zur Erhöhung der Bildfrequenz
JP3271108B2 (ja) * 1993-12-03 2002-04-02 ソニー株式会社 ディジタル画像信号の処理装置および方法
US5638134A (en) * 1994-06-29 1997-06-10 Sony Corporation Digital filter for picture data and digital filter system
US5661525A (en) * 1995-03-27 1997-08-26 Lucent Technologies Inc. Method and apparatus for converting an interlaced video frame sequence into a progressively-scanned sequence
FR2742900B1 (fr) * 1995-12-22 1998-02-13 Thomson Multimedia Sa Procede d'interpolation de trames progressives
EP0790736B1 (en) * 1996-02-13 1999-11-03 STMicroelectronics S.r.l. Edge-oriented intra-field/inter-field interpolation filter for improved quality video appliances
JP4022935B2 (ja) * 1997-01-21 2007-12-19 ソニー株式会社 画像処理装置および処理方法
US6262773B1 (en) * 1997-09-15 2001-07-17 Sharp Laboratories Of America, Inc. System for conversion of interlaced video to progressive video using edge correlation
US6133957A (en) * 1997-10-14 2000-10-17 Faroudja Laboratories, Inc. Adaptive diagonal interpolation for image resolution enhancement
US6122017A (en) * 1998-01-22 2000-09-19 Hewlett-Packard Company Method for providing motion-compensated multi-field enhancement of still images from video

Also Published As

Publication number Publication date
US7548275B1 (en) 2009-06-16
JPH11261974A (ja) 1999-09-24

Similar Documents

Publication Publication Date Title
US5459520A (en) Electronic camera with over-sampling filter and method for over-sampling and interpolating electronic camera image data
US5374995A (en) Method and apparatus for enhancing sharpness of a sequence of images subject to continuous zoom
EP0266079B2 (en) Interpolating lines of video signals
JP3680922B2 (ja) 画像処理装置
JP3734362B2 (ja) 補間方法
US6259480B1 (en) Sequential scanning converter
WO2006016336A1 (en) A unit for and method of image conversion
US5534919A (en) Image pickup apparatus for estimating a complementary color value of a target pixel
JPH11308577A (ja) 走査線補間回路
JP3875430B2 (ja) 走査線補間装置
JP2752287B2 (ja) 映像信号処理回路
JP4206726B2 (ja) 補間装置
JP3875431B2 (ja) 映像信号変換装置
JP3397377B2 (ja) 撮像装置
JPH11168653A (ja) 輪郭補償システム
JP3644194B2 (ja) 内挿点演算回路
JP2000125267A (ja) 補間演算装置及び方法
JP3292233B2 (ja) 補間処理回路
JPH11308575A (ja) 補間演算装置及び方法
JPH11196382A (ja) フィールド内内挿方法及び回路
KR100224919B1 (ko) 영상처리장치의 화면 종횡비 변환회로 및 방법
JP3545577B2 (ja) 走査線変換装置
JP3106759B2 (ja) 撮像装置
JP2871402B2 (ja) 輪郭補正回路
JP3515338B2 (ja) 前置フィルタ

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050222

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050628

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050708

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20050812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050906

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051018

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091028

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091028

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101028

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111028

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees