JP4397164B2 - 障害物検出装置及び障害物検出方法 - Google Patents

障害物検出装置及び障害物検出方法 Download PDF

Info

Publication number
JP4397164B2
JP4397164B2 JP2003006300A JP2003006300A JP4397164B2 JP 4397164 B2 JP4397164 B2 JP 4397164B2 JP 2003006300 A JP2003006300 A JP 2003006300A JP 2003006300 A JP2003006300 A JP 2003006300A JP 4397164 B2 JP4397164 B2 JP 4397164B2
Authority
JP
Japan
Prior art keywords
obstacle
distance
white line
vehicle
detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003006300A
Other languages
English (en)
Other versions
JP2004220281A (ja
Inventor
恭一 阿部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2003006300A priority Critical patent/JP4397164B2/ja
Publication of JP2004220281A publication Critical patent/JP2004220281A/ja
Application granted granted Critical
Publication of JP4397164B2 publication Critical patent/JP4397164B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Measurement Of Optical Distance (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Control Of Vehicle Engines Or Engines For Specific Uses (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、障害物検出装置及び障害物検出方法に関するものである。
【0002】
【従来の技術】
従来、画像認識技術を用いた障害物検出装置では、雨、霧等により外部環境が悪化した場合に、カメラによって得られる画像が悪くなり、先行車等の検出の信頼性が低下するという問題点があった。
【0003】
これを解消するために、下記特許文献1には、ワイパースイッチから供給される情報によって、雨、霧等の状態を認識し、外部環境が、カメラにおいて先行車を認識するのに適しているか否かを判定し、外部環境が好適であると判断された時には、カメラによる先行車の画像データに基づいてミリ波レーダの指向方向を決定する技術が記載されている。
【0004】
【特許文献1】
特開平6−206507号公報(第3―5頁、第1図)
【0005】
【発明が解決しようとする課題】
しかしながら、画像が認識できる範囲は、日照条件などの外部環境によっても時々刻々と変化するものであり、このような外部環境の変化に対し、上記の技術では画像認識の結果について高い信頼性を保つことができなかった。また、外部環境が好適と判断されたときであっても、検出結果の信頼性を評価することができないために、誤検出を生じる可能性があった。
【0006】
本発明は、上記問題点を解消する為になされたものであり、どのような外部環境においても障害物の誤検出を抑制することができる信頼性の高い障害物検出装置及び障害物検出方法を提供することを目的とする。
【0007】
【課題を解決するための手段】
本発明に係る障害物検出装置は、車両に設置された撮像手段と、撮像手段により撮像された画像に基づいて、道路上の白線を検出し、車両から前記白線を検出することができなくなる地点までの第1距離を求める白線検出手段と、撮像手段により撮像された画像に基づいて、障害物の有無を検出し、車両から障害物までの第2距離を求める障害物検出手段と、障害物検出手段が障害物の存在を検出したときに、第1距離と第2距離とを比較することにより障害物の存在を肯定するか又は保留するかについて判断する障害物判断手段と、を備えることを特徴とする。
また、本発明に係る障害物検出方法は、車両に設置された撮像手段により画像を撮像する撮像工程と、撮像手段により撮像された画像に基づいて、道路上の白線を検出し、車両から前記白線を検出することができなくなる地点までの第1距離を求める白線検出工程と、撮像工程により撮像された画像に基づいて、障害物の有無を検出し、車両から障害物までの第2距離を求める障害物検出工程と、障害物検出工程により障害物の存在を検出したときに、第1距離と第2距離とを比較することにより障害物の存在を肯定するか又は保留するかについて判断する障害物判断工程と、を備えることを特徴とする。
【0008】
白線検出手段(白線検出工程)による白線の検出結果の信頼性は高い。なぜなら、アスファルトと白線とのコントラストが大きく、また、白線は形状がおよそ一定でしかも比較的単純だからである。したがって、撮像手段により撮像された画像では、第1距離までは高い信頼性をもって物体を検出することが可能である。障害物判断手段(障害物判断工程)では、障害物検出手段(障害物検出工程)により検出された第2距離を第1距離と比較することにより検出結果の信頼性を考慮しつつ、障害物の存在を肯定するか又は保留するかについての判断される。よって、障害物の誤検出を抑制することが可能となる。
【0009】
本発明に係る障害物検出装置は、それぞれの光軸を互いに平行とし所定の距離をもって車両に設置された第1及び第2撮像手段と、第1撮像手段により撮像された画像に基づいて、道路上の白線を検出し、車両から前記白線を検出することができなくなる地点までの第1距離を求める白線検出手段と、第1撮像手段により撮像された画像と第2撮像手段により撮像された画像との差異に基づいて、障害物の有無を検出し、車両から障害物までの第2距離を求める障害物検出手段と、障害物検出手段が障害物の存在を検出したときに、前記第1距離と前記第2距離とを比較することにより障害物の存在を肯定するか又は保留するかについて判断する障害物判断手段と、を備えることを特徴とする。
また、本発明に係る障害物検出方法は、それぞれの光軸を互いに平行とし所定の距離をもって車両に設置された第1及び第2撮像手段により画像を撮像する撮像工程と、第1撮像手段により撮像された画像に基づいて、道路上の白線を検出し、車両から白線を検出することができなくなる地点までの第1距離を求める白線検出工程と、第1撮像手段により撮像された画像と第2撮像手段により撮像された画像との差異に基づいて、障害物の有無を検出し、車両から障害物までの第2距離を求める障害物検出工程と、障害物検出工程により障害物の存在を検出したときに、第1距離と第2距離とを比較することにより障害物の存在を肯定するか又は保留するかについて判断する障害物判断工程と、を備えることを特徴とする。
【0010】
本発明に係る障害物検出装置及び障害物検出方法によれば、障害物検出手段(障害物検出工程)では、第1撮像手段により撮像された画像と第2撮像手段により撮像された画像との差異に基づいて第2距離が求められるので、より正確な距離の算出が可能となる。また、障害物判手段(障害物判断工程)では、第2距離を第1距離と比較することにより検出結果の信頼性を考慮しつつ、障害物の存在を肯定するか又は保留するかについての判断される。よって、障害物の誤検出を抑制することができる。
【0011】
また、本発明に係る障害物検出装置は、障害物判断手段が、第1距離が第2距離より長いときには障害物の存在を肯定し、第1距離が第2距離より短いときには障害物の存在についての判断を保留することが好ましい。
また、本発明に係る障害物検出方法は、障害物判断工程が、第1距離が第2距離より長いときには障害物の存在を肯定し、第1距離が第2距離より短いときには障害物の存在についての判断を保留することが好ましい。
【0012】
この場合、第1距離が第2距離より長いときには障害物の検出結果の信頼性が高いため障害物の存在を検出したという検出結果が正しいと判断され、第1距離が第2距離より短いときには障害物の検出結果の信頼性が低いため障害物の存在についての判断が保留される。よって、障害物の誤検出を抑制することが可能となる。
【0013】
【発明の実施の形態】
以下、添付図面を参照して本発明の実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
【0014】
まず、図1を用いて、本実施形態の構成について説明する。
【0015】
障害物検出装置1は、車両前方の風景を撮像して画像データを取得するカメラ(第1撮像手段)10及びカメラ(第2撮像手段)11と、該画像データに対して画像処理を施すことにより障害物の有無についての判断結果を出力する画像処理ECU2を備えている。
【0016】
画像処理ECU2は、画像データに基づいて白線の検出を行う白線検出部(白線検出手段)20と、画像データに基づいて障害物の検出を行う障害物検出部(障害物検出手段)30と、障害物の有無についての判断を行う障害物判断部(障害物判断手段)40とを備えている。
【0017】
カメラ10及びカメラ11それぞれは、例えば、CCDカメラであり、自車の前部に前方を向いて設置されており、両カメラの光軸は互いに平行(実質的に平行であればよい)で、かつ撮像面の水平軸が同じライン上に揃うように設置されている。そして、カメラ10及びカメラ11それぞれは、自車前方の風景を撮像して画像データを取得する。なお、カメラ10により取得された画像データは、白線検出部20及び障害物検出部30それぞれに出力され、カメラ11により取得された画像データは、障害物検出部30のみに出力される。
【0018】
白線検出部20は、カメラ10により得られた画像データに基づいて道路上の白線を検出し、さらに、自車から白線を検出することができなくなる地点までの距離(以下、白線検出可能距離という)を算出する。なお、本明細書では、道路上において、各レーン(車線)の区切りを示すために描画されている白色や黄色などの線(点線等も含む)を全て「白線」と称するものとする。
【0019】
障害物検出部30は、カメラ10により得られた画像データとカメラ20により得られた画像データとの差異に基づいて障害物を検出し、さらに、自車から障害物までの距離を算出する。
【0020】
障害物判断部40は、白線検出部20により算出された白線検出可能距離と障害物検出部30から出力された障害物までの距離情報とを比較し、この比較結果と障害物の検出結果とに基づいて、自車の進行方向上にある各種の障害物(例えば、他の車両、落下物、歩行者等)の有無についての判断を行う。具体的には、白線検出可能距離が障害物までの距離より長いときには障害物の検出結果を肯定し、白線検出可能距離が障害物までの距離より短いときには障害物の有無についての判断を保留する。
【0021】
そして、障害物検出装置1には、車両制御ECU50が接続されており、障害物の有無についての情報(障害物情報)を入力された車両制御ECU50は、車速センサ51で検出された車速、舵角センサ52で検出されたハンドル舵角、ヨーレートセンサ53で検出されたヨーレート及び障害物情報に基づいて車線変更(又は回避走行)するか、あるいは停止するかを決定してステアリングアクチュエータ55、スロットルアクチュエータ56及びブレーキアクチュエータ57を制御する。
【0022】
次に、図2に示すフローチャートに従って、障害物検出装置1の動作(障害物検出方法)について説明する。
【0023】
ステップS100では、カメラ10により撮像された画像データが白線検知部20に取り込まれ、この画像データに基づいて道路上の白線の検出が行われる。
【0024】
白線の検出では、まず、カメラ10から得られた画像データを輝度によって2値化し、2値化後の画像において水平方向のライン毎に白線部分に該当すると考えられる画素(以下、白線候補点という)を選出する。
【0025】
次に、各ライン毎に選出した白線候補点が白線部分に該当する点であるか否かについて判断する。ここで、この判断は、例えば、それぞれの白線候補点が直線状に並んでいるか否か、または、白線候補点の位置が前回の処理において白線と認識された箇所に近いか否か等に基づいて行われる。
【0026】
そして、各ライン毎に選出された白線候補点が白線部分に該当するものであると判断された場合、この白線候補点の列に白線モデル(白線テンプレート)を当てはめる。ここで、白線モデルには、例えば、直線、曲線、円弧、2次曲線等が用いられる。
【0027】
ステップS110では、ステップS100で検出された白線について、白線検出可能距離の算出が行われる。図3を参照して、白線検出可能距離の算出方法について簡単に説明する。
【0028】
まず、ステップS100で白線部分に該当すると判断された白線候補点について、画像の高さ方向Hにおいて最も上方に位置する白線候補点を抽出する。ここで、自車の位置に対して左右に白線候補点が存在するときには、例えば、自車の左側に存在する白線候補点について、最も上方に位置する白線候補点を抽出してA点とし、自車の右側に存在する白線候補点について、最も上方に位置する白線候補点を抽出してB点とする。
【0029】
次に、自車からA点までの距離及び自車からB点までの距離それぞれを算出する。ここで、カメラ10の取り付け位置(地面からカメラ10までの高さ)及び上下方向の取り付け角度が予め定められているときには、カメラ10により取得された画像における高さ方向Hの位置と自車からの距離との関係が一意的に定まる。よって、画像上の高さ方向Hの位置に応じて自車からA点またはB点までの距離を求めることができる。例えば、図3において、ラインL30は自車の前方30mの位置にあるライン、ラインL50は自車の前方50mの位置にあるライン、ラインL70は自車の前方70mの位置にあるラインにそれぞれ対応する。
【0030】
そして、自車からA点までの距離と自車からB点までの距離とを比較し、距離の長い方を白線の検出が可能な距離(白線検出可能距離)とする。ここで、距離の長い方を採択する理由は、点線等の白線を考慮するためである。
【0031】
図3に示す例によれば、自車からA点までの距離は50mであり、自車からB点までの距離も50mである。よって、自車の前方50mまでは白線の検出ができているが、50mより遠方では白線の検出ができていないと判断され、この場合の白線検出可能距離は50mとされる。以下、図2に戻り障害物検出装置1の動作を続けて説明する。
【0032】
ステップS120では、カメラ10及びカメラ11から入力された画像データに基づいて障害物の検出が行われる。障害物の検出では、例えばステレオ視の技術によって、高さの有無を求め障害物領域と道路領域とを分離することができる。すなわち、カメラ10及びカメラ11を左右に配置し、3次元空間中で同一点である点を左右画像間で対応づけ、三角測量の要領で、その点の3次元位置を求めるものである。カメラ10及び11の道路平面に対する位置や姿勢等を予め求めておくと、ステレオ視によって画像中の任意の点の道路平面からの高さを求めることができる。
【0033】
ステップS130では、ステップS120で障害物が検出されたか否かについて判断が行われる。ここで、障害物が検出されなかったときにはステップS140に処理が移る。一方、障害物が検出されたときには、ステップS150に処理が移行する。
【0034】
ステップS140では、白線検出可能距離に応じて障害物の有無についての判断が行われる。ここで、白線検出可能距離内での障害物の検出結果は信頼性が高いと考えられるので、この距離内では障害物が存在しないと判断される。一方、白線を検出することができない距離における障害物の検出結果は信頼性が低いと考えられるため、白線検出可能距離より遠方では障害物が存在するか否かについての判断を行わずに処理を終了する。
【0035】
ステップS150では、カメラ10から入力された画像データとカメラ11から入力された画像データとの差異に基づいて自車から障害物までの距離が算出される。障害物までの距離の算出は、例えばステレオ視の画像データを用い、三角測量の原理で求めることができる。次に、この距離の算出方法について図4を参照しながら簡単に説明する。
【0036】
障害物が自車の前方にある場合、カメラ10から得られた画像とカメラ11から得られた画像とを重ね合わせると、障害物が左右横方向にずれた位置になる。そこで、片方の画像を1画素づつシフトしながら最も重なり合う位置を求める。このときシフトした画素数をnとする。また、図4に示すように、カメラ10又は11を構成するレンズFの焦点距離をf,左右のカメラ10、11の光軸間の距離をL、画素ピッチをdとすると、自車から障害物までの距離Rは、次の(1)式により計算できる。
【0037】
R=(f・L)/(n・d) ・・・(1)
以下、図2に戻り障害物検出装置1の動作を続けて説明する。
【0038】
ステップS160では、ステップS150で算出された自車から障害物までの距離RがステップS110で算出された白線検知可能距離以下か否かについて判断される。ここで、距離Rが白線検知可能距離よりも短いと判断されたときには、ステップS180に処理が進む。一方、距離Rが白線検知可能距離よりも長いと判断されたときには、ステップS170に処理が移行する。
【0039】
ステップS170では、障害物の有無についての判断が行われる。ここでは、白線検出可能距離より遠方における障害物の検出結果は信頼性が低いと考えられるため、障害物が存在するか否かについての判断を保留して処理を終了する。
【0040】
一方、ステップS180では、白線検出可能距離内での障害物の検出結果は信頼性が高いと考えられるため、障害物が存在すると判断される。そして、その後処理を終了する。
【0041】
以上、本発明の実施の形態について説明したが、本発明は、上記実施形態に限定されるものではなく種々の変形が可能である。例えば、本実施形態においては、得られた画像データを2値化し、白線候補点を求めたうえで白線モデルを当てはめることで白線検出を行っているが、白線検出の方法はこれに限定されることなく、他の方法を用いてもよい。また、カメラの台数は2台に限定されるものではない。
【0042】
【発明の効果】
以上、詳細に説明したとおり、本発明によれば、障害物の存在を検出したときに、白線検知可能距離と障害物までの距離とを比較することにより、検出結果の信頼性を考慮しつつ障害物の存在を肯定するか又は保留するかについて判断する構成を備えているので、どのような外部環境においても障害物の誤検出を抑制することができる信頼性の高い障害物検出装置及び障害物検出方法を提供することができる。
【図面の簡単な説明】
【図1】本実施形態の全体構成を示すブロック図である。
【図2】本実施形態に係る障害物検出装置の全体動作を説明するフローチャートである。
【図3】白線検出可能距離の算出方法を説明する図である。
【図4】ステレオ画像を用いて三角測量の原理で距離を求める原理を説明する図である。
【符号の説明】
1…障害物検出装置、2…画像処理ECU、10,11…カメラ、20…白線検出部、30…障害物検出部、40…障害物判断部。

Claims (6)

  1. 車両に設置された撮像手段と、
    前記撮像手段により撮像された画像に基づいて、道路上の白線を検出し、前記車両から前記白線を検出することができなくなる地点までの第1距離を求める白線検出手段と、
    前記撮像手段により撮像された画像に基づいて、障害物の有無を検出し、前記車両から前記障害物までの第2距離を求める障害物検出手段と、
    前記障害物検出手段が障害物の存在を検出したときに、前記第1距離と前記第2距離とを比較することにより前記障害物の存在を肯定するか又は保留するかについて判断する障害物判断手段と、
    を備える
    ことを特徴とする障害物検出装置。
  2. それぞれの光軸を互いに平行とし所定の距離をもって車両に設置された第1及び第2撮像手段と、
    前記第1撮像手段により撮像された画像に基づいて、道路上の白線を検出し、前記車両から前記白線を検出することができなくなる地点までの第1距離を求める白線検出手段と、
    前記第1撮像手段により撮像された画像と前記第2撮像手段により撮像された画像との差異に基づいて、障害物の有無を検出し、前記車両から前記障害物までの第2距離を求める障害物検出手段と、
    前記障害物検出手段が障害物の存在を検出したときに、前記第1距離と前記第2距離とを比較することにより前記障害物の存在を肯定するか又は保留するかについて判断する障害物判断手段と、
    を備える
    ことを特徴とする障害物検出装置。
  3. 前記障害物判断手段は、前記第1距離が前記第2距離より長いときには前記障害物の存在を肯定し、前記第1距離が前記第2距離より短いときには前記障害物の存在についての判断を保留する、
    ことを特徴とする請求項1又は2に記載の障害物検出装置。
  4. 車両に設置された撮像手段により画像を撮像する撮像工程と、
    前記撮像手段により撮像された画像に基づいて、道路上の白線を検出し、前記車両から前記白線を検出することができなくなる地点までの第1距離を求める白線検出工程と、
    前記撮像工程により撮像された画像に基づいて、障害物の有無を検出し、前記車両から前記障害物までの第2距離を求める障害物検出工程と、
    前記障害物検出工程により障害物の存在を検出したときに、前記第1距離と前記第2距離とを比較することにより前記障害物の存在を肯定するか又は保留するかについて判断する障害物判断工程と、
    を備える
    ことを特徴とする障害物検出方法。
  5. それぞれの光軸を互いに平行とし所定の距離をもって車両に設置された第1及び第2撮像手段により画像を撮像する撮像工程と、
    前記第1撮像手段により撮像された画像に基づいて、道路上の白線を検出し、前記車両から前記白線を検出することができなくなる地点までの第1距離を求める白線検出工程と、
    前記第1撮像手段により撮像された画像と前記第2撮像手段により撮像された画像との差異に基づいて、障害物の有無を検出し、前記車両から前記障害物までの第2距離を求める障害物検出工程と、
    前記障害物検出工程により障害物の存在を検出したときに、前記第1距離と前記第2距離とを比較することにより前記障害物の存在を肯定するか又は保留するかについて判断する障害物判断工程と、
    を備える
    ことを特徴とする障害物検出方法。
  6. 前記障害物判断工程は、前記第1距離が前記第2距離より長いときには前記障害物の存在を肯定し、前記第1距離が前記第2距離より短いときには前記障害物の存在についての判断を保留する、
    ことを特徴とする請求項1又は2に記載の障害物検出方法。
JP2003006300A 2003-01-14 2003-01-14 障害物検出装置及び障害物検出方法 Expired - Fee Related JP4397164B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003006300A JP4397164B2 (ja) 2003-01-14 2003-01-14 障害物検出装置及び障害物検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003006300A JP4397164B2 (ja) 2003-01-14 2003-01-14 障害物検出装置及び障害物検出方法

Publications (2)

Publication Number Publication Date
JP2004220281A JP2004220281A (ja) 2004-08-05
JP4397164B2 true JP4397164B2 (ja) 2010-01-13

Family

ID=32896725

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003006300A Expired - Fee Related JP4397164B2 (ja) 2003-01-14 2003-01-14 障害物検出装置及び障害物検出方法

Country Status (1)

Country Link
JP (1) JP4397164B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4882285B2 (ja) 2005-06-15 2012-02-22 株式会社デンソー 車両用走行支援装置

Also Published As

Publication number Publication date
JP2004220281A (ja) 2004-08-05

Similar Documents

Publication Publication Date Title
US8611609B2 (en) Lane line estimating apparatus
JP4676373B2 (ja) 周辺認識装置、周辺認識方法、プログラム
JP4714104B2 (ja) 物体傾き検出装置
JP4433887B2 (ja) 車両用外界認識装置
JP3925488B2 (ja) 車両用画像処理装置
US7623700B2 (en) Stereoscopic image processing apparatus and the method of processing stereoscopic images
JP2021510227A (ja) 衝突前アラートを提供するためのマルチスペクトルシステム
WO2018179281A1 (ja) 物体検出装置及び車両
JP7102890B2 (ja) 経路シミュレーション装置
JPH11153406A (ja) 車両用障害物検出装置
JP2013250907A (ja) 視差算出装置、視差算出方法及び視差算出用プログラム
JP4052291B2 (ja) 車両用画像処理装置
JP3656056B2 (ja) 割り込み車両検出装置及びその方法
JP2008309519A (ja) 画像処理を用いた物体検出装置
JP2000293693A (ja) 障害物検出方法および装置
KR20170055738A (ko) 영상 기반 주행 차로 판단 장치 및 방법
JP3868915B2 (ja) 前方監視装置及びその方法
WO2011016257A1 (ja) 車両用距離算出装置
WO2022009537A1 (ja) 画像処理装置
JP2008059323A (ja) 壁検出装置
JP2007018451A (ja) 道路区画線検出装置
JP2010176592A (ja) 車両用運転支援装置
JP2007310591A (ja) 画像処理装置及び駐車場判定方法
JP4397164B2 (ja) 障害物検出装置及び障害物検出方法
WO2014050285A1 (ja) ステレオカメラ装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050926

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070814

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080108

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080307

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080401

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080516

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091020

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121030

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees