JP3783881B2 - 車両検出方法およびこれを用いた車両検出装置 - Google Patents

車両検出方法およびこれを用いた車両検出装置 Download PDF

Info

Publication number
JP3783881B2
JP3783881B2 JP09962896A JP9962896A JP3783881B2 JP 3783881 B2 JP3783881 B2 JP 3783881B2 JP 09962896 A JP09962896 A JP 09962896A JP 9962896 A JP9962896 A JP 9962896A JP 3783881 B2 JP3783881 B2 JP 3783881B2
Authority
JP
Japan
Prior art keywords
color
hvc
image
vehicle detection
rgb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP09962896A
Other languages
English (en)
Other versions
JPH09270009A (ja
Inventor
浩次 上田
康博 工藤
勇夫 堀場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nagoya Electric Works Co Ltd
Original Assignee
Nagoya Electric Works Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nagoya Electric Works Co Ltd filed Critical Nagoya Electric Works Co Ltd
Priority to JP09962896A priority Critical patent/JP3783881B2/ja
Publication of JPH09270009A publication Critical patent/JPH09270009A/ja
Application granted granted Critical
Publication of JP3783881B2 publication Critical patent/JP3783881B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、HVC表色系と呼ばれる知覚的表色系の三次元空間における色差を利用して車両を検出する方法と、この方法を用いて構成した車両検出装置に関するものである。
【0002】
【従来の技術】
駐車場や道路上に存在する車両の検出方法として、従来よりしきい値処理を利用した方法やRGBの三原色成分を利用した方法が知られている。
【0003】
しきい値処理を利用した方法は、路面輝度を基準としてしきい値処理することにより撮影画像を2値化あるいは3値化し、車両を検出するようにしたものである。また、RGBの三原色成分を利用した方法は、撮影したカラー画像をRGBの三原色に色分解し、このRGB成分の濃度比率によって色分類することにより車両を検出するようにしたものである(例えば、特公平4−15519号公報参照)。
【0004】
【発明が解決しようとする課題】
前記しきい値処理を利用した方法は、原理的に白黒画像における輝度の大小(明暗)から車両を検出するものである。このため、輝度の高い白色系の車両についてはそれほど問題ないが、白黒画像上では灰色もしくはそれに近い輝度となる赤色や青色系の車両は、背景となるアスファルトやコンクリートなどの路面との見分けがつきにくく、誤検出の原因となる。
【0005】
また、RGBの三原色成分を利用した方法は、例えば、「赤い」車、「青い」車というような主観的な色分類に基づいて車両を検出しようとしても、RGB成分のどの濃度比率までを赤い色とし、またどの濃度比率までを青い色とするかを決定することが難しかった。
【0006】
本発明は、上記のような問題を解決するためになされたもので、HVC表色系と呼ばれる知覚的表色系の三次元空間における2点間の距離、すなわち色差に基づいて車両のみを確実に分離抽出することのできる車両検出方法と、この方法を用いて構成した車両検出装置を提供することを目的とするものである。
【0007】
【課題を解決するための手段】
前記課題を解決するために、本発明では次のような手段を採用した。
すなわち、請求項1記載の車両検出方法は、車両検出対象領域をカラー画像により撮影し、該撮影したカラー画像信号をRGBの三原色信号に色分解した後、該RGB信号をHVC表色系の色相、明度、彩度信号に変換してHVC画像を作成し、該HVC画像中の通路領域の画素のHVC三次元ヒストグラムを作成し、該ヒストグラム中の最大画素数となる路面の色を基準色として選択すると共に一定時間毎に前記基準色を更新し、前記基準色と前記HVC画像メモリに格納されたHVC画像の各点の色との間の色差を算出して色差画像を作成し、該得られた色差画像に対してしきい値処理を施すことにより車両を抽出することを特徴とするものである。
【0008】
また、請求項2記載の車両検出方法は、前記請求項1記載の車両検出方法において、前記RGB信号からHVC表色系の色相H、明度Vおよび彩度Cへの変換を下記の計算式
【数7】
Figure 0003783881
によって行なうことを特徴とするものである。
【0009】
また、請求項3記載の車両検出方法は、前記請求項1記載の車両検出方法において、前記RGB信号からHVC表色系の色相H、明度Vおよび彩度Cへの変換を下記の計算式
【数8】
Figure 0003783881
によって行なうことを特徴とするものである。
【0010】
また、請求項4記載の車両検出方法は、前記請求項1〜3記載のいずれかの車両検出方法において、前記色差ΔEを下記の計算式
【数9】
Figure 0003783881
によって求めることを特徴とするものである。
【0011】
また、請求項5記載の車両検出装置は、車両検出対象領域を撮影するカラー撮像手段と、該撮影されたカラー画像信号をRGBの三原色信号に色分解するRGBデコーダと、該色分解されたRGB信号をディジタル信号に変換するAD変換器と、該ディジタル信号に変換されたRGB信号を格納するRGB画像メモリと、該格納されたRGB信号をHVC表色系の色相、明度および彩度データに変換する表色系変換演算処理部と、該変換された色相、明度および彩度データによって構成されるHVC画像を格納するHVC画像メモリと、該HVC画像中の通路領域のHVC三次元ヒストグラムを作成する三次元ヒストグラム作成部と、該得られたHVC三次元ヒストグラム中の最大画素数となる路面の色を基準色として選択すると共に一定時間毎に前記基準色を更新する最大値検出部と、前記基準色と前記HVC画像メモリに格納されたHVC画像の各点の色との間の色差を算出して色差画像を作成する色差画像算出部と、該得られた色差画像に対してしきい値処理を施すことにより車両を抽出する車両判別処理部とを備えたことを特徴とするものである。
【0012】
また、請求項6記載の車両検出装置は、前記請求項5記載の車両検出装置において、前記表色系変換演算処理部が、RGB信号からHVC表色系の色相H、明度Vおよび彩度Cへの変換を下記の計算式
【数10】
Figure 0003783881
によって行なうことを特徴とするものである。
【0013】
また、請求項7記載の車両検出装置は、前記請求項5記載の車両検出装置において、前記表色系変換演算処理部が、RGB信号からHVC表色系の色相H、明度Vおよび彩度Cへの変換を下記の計算式
【数11】
Figure 0003783881
よって行なうことを特徴とするものである。
【0014】
また、請求項8記載の車両検出装置は、前記請求項5〜7のいずれかに記載の車両検出装置において、前記色差画像算出部が、前記色差ΔEを下記の計算式
【数12】
Figure 0003783881
によって求めることを特徴とするものである。
【0015】
上記のような構成とした場合、HVC表色系と呼ばれる知覚的表色系の三次元空間における色差を利用して車両を検出しているので、白黒画像上では灰色もしくはそれに近い輝度となって路面や車両の影の部分との見分けがつきにくかった赤色や青色系の車両も確実に検出することができる。また、RGBの三原色成分を利用した方法に比べ、より人間の知覚に近い分離を行なうことができる。
【0016】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。
図1に、本発明の車両検出方法を用いて構成した本発明に係る車両検出装置の一例を示す。
【0017】
図において、1は駐車場や道路などの車両検出対象領域を上方または斜め上方から俯瞰撮影するカラーTVカメラ、2はカラーTVカメラ1で撮影したカラー画像信号をR(赤),G(緑),B(青)の三原色信号に色分解するRGBデコーダ、3はRGBデコーダ2で色分解されたアナログ信号からなるR,G,B信号をディジタルデータに変換するAD変換器、4はディジタルデータに変換された1画面分のR,G,B信号をそれぞれ格納するRGB画像メモリである。
【0018】
5は後述する計算式に基づいて前記RGB信号をHVC表色系の色相H、明度Vおよび彩度Cの3つの色情報に変換する表色系変換演算処理部、6は該変換された1画面分のHVC画像を格納するHVC画像メモリ、7は該HVC画像中の通路領域部分の画素のHVC三次元ヒストグラムを作成する三次元ヒストグラム作成部である。
【0019】
8は得られたHVC三次元ヒストグラム中の最大画素数となる位置の色を画面中の路面の色を表す基準色Pとして選択する最大値検出部、9は後述する計算式に基づいて前記選択した基準色Pと前記HVCメモリ6に格納されたHVC画像の各点(画素)の色Pとの間の色差ΔEを算出して色差画像を作成する色差画像算出部、10は該色差画像に対してしきい値処理を施すことにより車両を抽出する車両判別処理部である。
【0020】
なお、前記表色系変換演算処理部5、三次元ヒストグラム作成部7、最大値検出部8、色差画像算出部9および車両判別処理部10は、通常マイクロコンピュータなどの演算処理装置を用いてソフトウェア的に実現されるが、専用のハードウェア回路で構成してもよい。
【0021】
本発明は、RGBデータを色相H、明度V、彩度Cの3つの色情報で与えられるHVC表色系に変換し、このHVC表色系を用いて色差画像を作成し、車両を抽出するようにした点に特徴を有するものである。そこで、本発明の理解を容易とするために、図1の装置の動作説明を行なう前に、HVC表色系について説明する。
【0022】
現在、我々の身近にあるカラー画像を扱う機器のほとんどがRGBの三原色信号を用いている。これは、CCDカメラなどによりRGB信号を簡単に得られること、信号処理が簡単であること、既知の回路や処理手法を利用できることなどによるものと思われる。しかしながら、物体の検出といった人間の知覚に近い処理を行なうには、従来利用されているRGB表色系よりも、マンセル表色系に代表される人間の感覚に近い知覚的表色系を用いる方が望ましい。
【0023】
しかし、マンセル表色系は、心理的な色知覚に基づいた実験を繰り返して創られた表色系である。このため、RGB表色系からマンセル表色系への変換は計算によって直接行なうことができず、変換表を用いるしかない。しかしながら、この変換表のデータ量は極めて多く、しかも、画像処理において一般的に用いられている8ビットの画像データに対応できるほど細かなものではない。また、何らかの方法でこの変換表を近似できたとしても、その計算はかなり複雑で膨大なものとなり、ハードウェアやソフトウェアの負担が極めて大きなものとなる。
【0024】
そこで、本発明では、RGB表色系から容易に変換可能で、かつ、マンセル表色系に近い知覚的表色系として、HVC表色系を採用したものである。なお、このHVC表色系は、HSV表色系あるいはHSI表色系と別称されることがあるが、本発明ではこれらを代表して「HVC表色系」の語を用いる。
【0025】
HVC表色系は、「色相H」、「明度V」、「彩度(飽和度)C」の3つの属性をパラメータとする三次元空間で色を表現するものであり、その代表的なモデルとして、図2に示す双六角錐モデルが知られている。この双六角錐モデルの場合、RGB表色系からHVC表色系への変換は、次の3式で与えられる。
【数13】
Figure 0003783881
【0026】
なお、色相Hは、図2において、主対角軸(明度軸V)とR軸により作られる平面と、色を表す三次元頂点Pより主対角軸に下ろした垂線とのなす角である。
【0027】
そして、図3に示すように、このHVC表色系の三次元空間における任意の2つの色P0 (H0 ,V0 ,C0 )とPi (Hi ,Vi ,Ci )間の色差ΔE(P0 ,Pi )は下記の計算式で求めることができる。
【数14】
Figure 0003783881
【0028】
なお、この色差ΔE(P0 ,Pi )は、双六角錐モデルにおける2点P0 ,Pi 間のユークリッド距離に相当する。
【0029】
本発明は、上記のような双六角錐モデルで代表されるHVC表色系を用い、このHVC表色系における通路領域部分の画素のHVC三次元ヒストグラム(頻度分布)から路面の色を与える基準色P0 を求め、この基準色P0 を基準点として前記計算式(4) から色差画像を算出するようにしたものである。
【0030】
上記のようにHVC表色系から得られる色差画像を用いて車両を検出するようにした場合、輝度情報から車両を検出する場合に比べて情報量が多くなり、より緻密な色の差を検出することが可能となる。また、HVC表色系は知覚的表色系であるので、RGB三原色の濃度比率を利用した方法に比べ、より人間の知覚に近い分離を行なうことが可能となる。
【0031】
次に、前述した図1の車両検出装置の動作を説明する。
カラーTVカメラ1は、駐車場や道路などの車両検出対象領域を俯瞰撮影することができるように、車両検出対象領域の上方または斜め上方の高所に設置されている。このカラーTVカメラ1で撮影されたカラー画像信号はRGBデコーダ2に送られ、RGBの三原色に色分解された後、それぞれAD変換器3において例えば1画素8ビットのディジタルデータに変換され、RGB画像メモリ4に格納される。
【0032】
表色系変換演算処理部5は、前記画像メモリ4に格納されたR,G,Bデータを画素単位で次々と読み出し、前記計算式(1)(2)(3) を用いて当該画素の色相H、明度V、彩度Cを算出し、HVC画像メモリ6に格納する。表色系変換演算処理部5は、この変換処理を画像メモリ4に格納されている1画面分の全画素について行なう。この1画面分の表色系変換処理が終了すると、HVC画像メモリ6にはH、V、Cの3つの色情報によって構成されるHVC画像が得られる。
【0033】
三次元ヒストグラム作成部7は、HVC画像メモリ6に格納されているHVC画像中の通路領域部分の各画素のH,V,Cの色情報を読み出し、図4に例示すような通路領域部分のHVC三次元ヒストグラムを作成する。これにより、双六角錐モデルで与えられるHVC表示系の色空間の各色の位置を占める画素数が得られる。なお、実際のヒストグラムは3次元の立体グラフとなるが、理解を容易とするためおよび図示が困難なため、二次元の表で示した。また、HVC画像中から通路領域のみの色情報を読み出すには、カラーTVカメラ1で撮影した画像を図示を略したモニタTVなどで見ながら、カーソルやペンなどを用いて領域指定してやればよい。
【0034】
最大値検出部8は、上記のようにして得られたHVC三次元ヒストグラム中から最大画素数となる位置の色を路面の色を与える基準色P0 (H0 ,V0 ,C0 )として選択する。これは、画像中の通路領域は大部分が路面であることから、最大画素数となる位置の色を選択すれば、それはHVC表色系における路面の色を表していることになるからである。
【0035】
色差画像算出部9は、前述した計算式(4) を用いて、路面の色を与える前記基準色P0 (H0 ,V0 ,C0 )と、前記HVC画像メモリ6に格納されているHVC画像の各点の色Pi (Hi ,Vi ,Ci )との間の色差ΔE(P0 ,Pi )を算出し、1画面分の色差画像を作成する。
【0036】
そして、車両判別処理部10は、この得られた色差画像に対してしきい値処理を施し、撮影画像中から車両のみを抽出する。これにより、路面と車両、車両と車両を確実に分離識別して抽出することができる。
【0037】
なお、上述した図1の例では、計算式(1) を用いて色相Hを算出したが、この(1) 式は下記の計算式(5) で近似することができる。従って、前記計算式(1) に代えて、下記の計算式(5) を用いて色相Hを算出してもよい。この(5) 式によるときは、計算が簡単となるので、処理の高速化を図ることができる。
【数15】
Figure 0003783881
【0038】
また、前述した路面の色を与える基準色P0 は、天候や時間などによって変わるおそれがあるので、一定時間毎あるいは天候の変化時に新たな値に更新することが望ましい。また、これらの変化に対処するために、予め種々の基準色を用意しておき、状況に応じて切り換えるようにしてもよい。
【0039】
以上、本発明の実施の形態について説明したが、本発明はこれに限定されるものではなく、その発明の主旨に沿った各種の変形が可能である。
【0040】
【発明の効果】
以上説明したように、請求項1、請求項2および請求項4記載の発明によるときは、HVC表色系から得られる色差画像を利用して車両を抽出しているので、車両と路面を確実に識別して分離することができる。また、輝度情報から車両を検出する場合に比べて情報量が多くなり、より緻密な色の差を検出することが可能となる。また、HVC表色系は知覚的表色系であるので、RGB三原色の濃度比率を利用した方法に比べ、より人間の知覚に近い分離を行なうことが可能となる。
【0041】
また、請求項3記載の発明によるときは、計算が簡単であるため、前記効果に加え、RBG表色系からHVC表色系への変換が簡単となり、処理の高速化を図ることができる。
【0042】
また、請求項5、請求項6および請求項8記載の発明によるときは、HVC表色系から得られる色差画像を利用して確実で正確な車両検出を行なうことのできる車両検出装置を提供することができる。
【0043】
さらに、請求項8記載の発明によるときは、計算が簡単であるため、前記効果に加え、RBG表色系からHVC表色系への変換が簡単となり、装置の構成を簡素化できるとともに、処理の高速化を図ることができる。
【図面の簡単な説明】
【図1】本発明の車両検出方法を用いて構成した本発明に係る車両検出装置の一例を示すブロック図である。
【図2】HVC表色系の双六角錐モデル図である。
【図3】双六角錐モデルにおける色差の説明図である。
【図4】HVC画像における通路領域部分のHVC三次元ヒストグラムの例を示す図である。
【符号の説明】
1 カラーTVカメラ(カラー撮像手段)
2 RGBデコーダ
3 AD変換器
4 RGB画像メモリ
5 表色系変換演算処理部
6 HVC画像メモリ
7 三次元ヒストグラム作成部
8 最大値抽出部
9 色差画像算出部
10 車両判別処理部
H 色相
V 明度
C 彩度(飽和度)
0 基準色(路面の色)
i HVC画像の各点の色
ΔE 色差

Claims (8)

  1. 車両検出対象領域をカラー画像により撮影し、
    該撮影したカラー画像信号をRGBの三原色信号に色分解した後、該RGB信号をHVC表色系の色相、明度、彩度信号に変換してHVC画像を作成し、
    該HVC画像中の通路領域部分の画素のHVC三次元ヒストグラムを作成し、該ヒストグラム中の最大画素数となる路面の色を基準色として選択すると共に一定時間毎に前記基準色を更新し
    前記基準色と前記変換されたHVC画像の各点の色との間の色差を算出して色差画像を作成し、
    該得られた色差画像に対してしきい値処理を施すことにより車両を抽出すること、
    を特徴とする車両検出方法。
  2. 請求項1記載の車両検出方法において、
    前記RGB信号からHVC表色系の色相H、明度Vおよび彩度Cへの変換を下記の計算式
    Figure 0003783881
    によって行なうこと、
    を特徴とする車両検出方法。
  3. 請求項1記載の車両検出方法において、
    前記RGB信号からHVC表色系の色相H、明度Vおよび彩度Cへの変換を下記の計算式
    Figure 0003783881
    によって行なうこと、
    を特徴とする車両検出方法。
  4. 請求項1〜3記載のいずれかの車両検出方法において、
    前記色差ΔEを下記の計算式
    Figure 0003783881
    によって求めること、
    を特徴とする車両検出方法。
  5. 車両検出対象領域を撮影するカラー撮像手段と、
    該撮影されたカラー画像信号をRGBの三原色信号に色分解するRGBデコーダと、
    該色分解されたRGB信号をディジタル信号に変換するAD変換器と、
    該ディジタル信号に変換されたRGB信号を格納するRGB画像メモリと、
    該格納されたRGB信号をHVC表色系の色相、明度および彩度データに変換する表色系変換演算処理部と、
    該変換された色相、明度および彩度データによって構成されるHVC画像を格納するHVC画像メモリと、
    該HVC画像中の通路領域部分の画素のHVC三次元ヒストグラムを作成する三次元ヒストグラム作成部と、
    該得られたHVC三次元ヒストグラム中の最大画素数となる路面の色を基準色として選択すると共に一定時間毎に前記基準色を更新する最大値検出部と、
    前記基準色と前記HVC画像メモリに格納されたHVC画像の各点の色との間の色差を算出して色差画像を作成する色差画像算出部と、
    該得られた色差画像に対してしきい値処理を施すことにより車両を抽出する車両判別処理部と、
    を備えたことを特徴とする車両検出装置。
  6. 請求項5記載の車両検出装置において、
    前記表色系変換演算処理部が、RGB信号からHVC表色系の色相H、明度Vおよび彩度Cへの変換を下記の計算式
    Figure 0003783881
    によって行なうこと、
    を特徴とする車両検出装置。
  7. 請求項5記載の車両検出装置において、
    前記表色系変換演算処理部が、RGB信号からHVC表色系の色相H、明度Vおよび彩度Cへの変換を下記の計算式
    Figure 0003783881
    によって行なうこと、
    を特徴とする車両検出装置。
  8. 請求項5〜7のいずれかに記載の車両検出装置において、
    前記色差画像算出部が、前記色差ΔEを下記の計算式
    Figure 0003783881
    によって求めること、
    を特徴とする車両検出装置。
JP09962896A 1996-03-29 1996-03-29 車両検出方法およびこれを用いた車両検出装置 Expired - Fee Related JP3783881B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP09962896A JP3783881B2 (ja) 1996-03-29 1996-03-29 車両検出方法およびこれを用いた車両検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP09962896A JP3783881B2 (ja) 1996-03-29 1996-03-29 車両検出方法およびこれを用いた車両検出装置

Publications (2)

Publication Number Publication Date
JPH09270009A JPH09270009A (ja) 1997-10-14
JP3783881B2 true JP3783881B2 (ja) 2006-06-07

Family

ID=14252357

Family Applications (1)

Application Number Title Priority Date Filing Date
JP09962896A Expired - Fee Related JP3783881B2 (ja) 1996-03-29 1996-03-29 車両検出方法およびこれを用いた車両検出装置

Country Status (1)

Country Link
JP (1) JP3783881B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3710393B2 (ja) 2001-03-29 2005-10-26 株式会社Pfu 画像読取装置
CN103440503B (zh) * 2013-09-12 2016-05-11 青岛海信网络科技股份有限公司 一种车辆车身颜色检测识别方法

Also Published As

Publication number Publication date
JPH09270009A (ja) 1997-10-14

Similar Documents

Publication Publication Date Title
CN103400150B (zh) 一种基于移动平台进行道路边缘识别的方法及装置
JP3545506B2 (ja) 特定色領域抽出方式および特定色領域除去方式
JP2000293696A (ja) 画像認識装置
JP4386959B1 (ja) 画像処理装置
JP3459950B2 (ja) 顔検出及び顔追跡方法並びにその装置
CN109729259B (zh) 图像处理装置、其方法、其系统以及计算机可读介质
JP3830748B2 (ja) レーンマーク強調装置
EP2176829B1 (en) Arrangement and method for processing image data
JP5286215B2 (ja) 輪郭抽出装置、輪郭抽出方法、および輪郭抽出プログラム
JP3783881B2 (ja) 車両検出方法およびこれを用いた車両検出装置
JP2004030225A (ja) 白煙検出方法及び装置
JP6825299B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6874315B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2010213105A (ja) 撮像装置
JPH10336506A (ja) 画像処理システム、追尾システム,追尾方法,記憶媒体
JPH09288738A (ja) 車両検出方法およびこれを用いた車両検出装置
JP3960223B2 (ja) 物体認識装置および物体認識方法
EP1148711A1 (en) Adaptive mode-switching method for scanning color and grayscale data
JPH11134591A (ja) 車種判別装置
JPH09270007A (ja) 車両検出方法およびこれを用いた車両検出装置
JP2006053801A (ja) 物体検出装置及び物体検出方法
JPH0729007A (ja) 映像特徴処理方法
JP2009194786A (ja) 対象物検出装置及び撮像装置
JPH06251147A (ja) 映像特徴処理方法
JP2004178272A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051115

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060309

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090324

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110324

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130324

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140324

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees