JP4751072B2 - 障害物位置検知システム - Google Patents

障害物位置検知システム Download PDF

Info

Publication number
JP4751072B2
JP4751072B2 JP2005020661A JP2005020661A JP4751072B2 JP 4751072 B2 JP4751072 B2 JP 4751072B2 JP 2005020661 A JP2005020661 A JP 2005020661A JP 2005020661 A JP2005020661 A JP 2005020661A JP 4751072 B2 JP4751072 B2 JP 4751072B2
Authority
JP
Japan
Prior art keywords
distance
light
obstacle
light source
measuring device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005020661A
Other languages
English (en)
Other versions
JP2006208193A (ja
Inventor
芳次 茂木
Original Assignee
芳次 茂木
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 芳次 茂木 filed Critical 芳次 茂木
Priority to JP2005020661A priority Critical patent/JP4751072B2/ja
Publication of JP2006208193A publication Critical patent/JP2006208193A/ja
Application granted granted Critical
Publication of JP4751072B2 publication Critical patent/JP4751072B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Rehabilitation Tools (AREA)

Description

本発明は、視覚障害者等が使用し、照射器と受光器から構成される距離測定装置及び指触検知部材により人間及び物体等の障害物までの距離を感知する距離感知装置からなる障害物検知システムに関する。
一般的な測距方法には、光学的な三角測量や超音波・レーザ光等の発信から反射波の受信までの所要時間から距離を算出方法などがある。また、カメラの自動焦点調節を行うシステムの中でも様々な測距方法が提案されている。(例えば、特許文献1、特許文献2を参照)。これに対して、視覚障害者が杖の届かない範囲の障害物を測距する方法としては、音波や赤外線発射による反射波の受信信号を感知装置の出力に変換する方法等が盲人誘導に関する公知文献において提案されている。
特開昭48−3926号 特開昭49−49625号
しかしながら、視覚障害者等が自己の周辺に存在する障害物(人を含む)までの距離を簡易に測定するためには、上述の三角測量や超音波・レーザ等の反射波を利用する一般的な測距方法では、装置が大型であること、操作の手間が大きいことなどが問題となる。また、上述の視覚障害者の測距方法についても、操作の手間が大きいことや、消費電力が大きいことに加えて、反射光の受信処理にノイズ除去機能が欠落しているため、正確な測距が困難であるという問題がある。一方、カメラの自動焦点調節システムにおいては、小型・軽量化および操作の簡易化が図られているものの、物体までの距離を人間が感知することはできない。
そこで、本発明は、小さい消費電力で簡易かつ正確に物体までの距離を測定し、使用者が測定結果を指触で感知することにより、物体までの距離を測定(感知)する装置からなる障害物位置検知システムを提供することを目的としている。
上記目的を達成するために、本発明の距離測定装置では、まず、障害物(物体)に対して光源より光線を照射し、物体からの反射光を物体の距離に対応する複数領域に分割した受光器で受け、この受光器の出力に基づいて測距を行う。次に、測定結果を物体までの距離を感知できる距離感知装置の動作に対応させる。
使用者は、足元の確認を行う白い杖に相当する距離測定装置の光線を視界前方に向けて照射し、距離感知装置の検知部材を指で触れて検知部材の突出の長さと予め記憶した仮想位置とを照合することで物体までの距離を感知することが出来る。さらに距離測定装置の光線を周辺の物体に対して、連続して照射して測距を行うことにより、視界の概要を感知できる。これまで、視覚障害者は、白い杖の届かない距離にある物体の確認が不可能であったが、本発明により、視界前方(視点)の物体の確認が可能になる。
なお、本発明は、特開昭49−49625号における、測距装置と同様の機構をもつ測距装置の出力を、視覚障害者が物体までの距離を感知できる距離感知装置の動作に対応させたものである。この距離測定装置では、光源が点灯状態にある場合の受光器の出力と、消灯状態での受光器の出力の差信号を出力する差動回路の差動信号に基づき物体までの距離を測定する。この方法は、周囲光に起因するノイズ成分をキャンセルし正確な測距を可能にし、消費電力の節約も図られている。
視覚障害者が常用する白い杖では確認出来ない距離にある障害物の存在とそこまでの距離を使用者が手で握っている距離感知装置により、簡便に感知することが出来る。さらに、使用者の周辺の物体までの距離を連続して測定することにより、視界の概要を感知できる。
以下、本発明の実施の最良の形態について図面を参照して説明する。
図1において、使用者は、距離測定装置1を額部に装着し、視界前方の物体までの距離を測定し、手で握っている距離感知装置2によって物体までの距離を感知する。これら距離測定装置1と距離感知装置2が障害物位置検知システムを構成する。なお、距離測定装置1を距離感知装置2に内蔵し一体化することも可能である。
図2において、距離測定装置1は、測距用光線の照射部Eと障害物たる物体8からの反射光を受ける受光部Rから構成され、その両端には、それを使用者の額部へ装着するためのバンド3が取り付けられている。照射部Eは、光源4及び光源4から発生する光を物体8に向けて照射する放物面反射鏡6から構成される。
前記受光部Rは、受光レンズ5及び光電受光器7から構成される。受光レンズ5は、照射部Eから物体8に照射された光線の反射光を受けるために、照射部Eに対し横方向に所定の間隔に配置される。また、光電受光器7は、受光レンズ5によって収斂される光線を受ける部分であり、物体8までの距離L、L・・・Lに対応したn個の受光素子7、7・・・7の配列から成る。これら受光素子としては、フォトレジスタやフォトダイオード等の光電変換素子が使われる。
さらに、光電受光器7の前方に、かまぼこ状のレンズレットを有するレンチキュラープリズム(図示せず)を配置することにより、各受光素子7、7・・・7に物体までの距離L、L・・・Lに対応した反射光線を独立的に受光させることが可能になり、測距精度を高めることができる。
図3において、距離感知装置2はコンピュータのマウス形のケーシングm、使用者の指が触れる検知部材の指触部9、図示しない電源をON、OFFする電源スイッチ10及び距離感知装置2を使用者の手首に固定するバンド11から構成されている。指触部9は、突出位置が変化する検知棒13の頂面であり、前記指触部9の突出長が大きいほど手前に物体8が存在し、最も突出長が小さいときに、測距可能な範囲に物体8が存在しないことになる。
図4に、検知棒13の突出量調整機構を示す。検知棒13はその軸体9bの頂部に指触部9を持ち、バネ31の作用で上下に移動する。以下、検知棒13の最も引っ込んだ位置を無限遠仮想位置、最も突出した位置を最至近仮想位置とそれぞれ呼ぶことにする。検知棒13の下方の延出部には、係合爪28が設けられ、その中間部には上記光電受光器7における受光素子7〜7の数に応じたn個の係合爪29が設けられている。前記係合爪28に対向して第一係止レバー30が設けられ、第一係止レバー30は、検知棒13の係合爪28と係合することにより、検知棒13を無限遠仮想位置に係止するものである。第一係止レバー30は、ピン32によって回動自在に設けられており、かつバネ33によって時計回り(検知棒13の係合爪28と係合する方向)に回転力が付与されている。なお、ここでは図示を省略してあるが、係合爪28が第一係止レバー30の爪先hより上方位置にあるとき、すなわち検知棒13が突出した位置にあるときに、そこから押し下げられると、係合爪28が第一係止レバー30の爪先hを乗り越える。このとき、第一係止レバー30はバネ33に抗して反時計回りに回動させられてその爪先hが係合爪28に係合して無限遠仮想位置で停止し、その位置から検知棒13が上方に突出したときには係合爪28は第一係止レバー30を反時計方向に回動させながらその爪先hと係合爪28との係合が外れる。
第二係止レバー34は、係合爪29に対向して設けられ、電磁石37の作用力により、検知棒13の係合爪29の一つと係合して検知棒13を物体8までの距離に対応する位置で係止させるものである。第二係止レバー34は、ピン35により回動自在に設けられており、かつバネ36により反時計回りに回転力が付与されている。前記検知棒13の係合爪29の反対側には、走査端子21が設けられ、この走査端子21の先端は検知棒13の上下動に応じて出力端子T〜Tの1つに選択的に接触する。
図5に、距離感知装置2の検知部材の他の実施例を示す。ここでは、駆動用モータを利用して、検知部材30の内筒13の指触部31を上下に移動させている。外筒12は、モータの回転を伝える駆動ギア23を持ち、外筒12内に中間筒14が係合し、この中間筒14内に内筒113が係合し、内筒113は、その天部に指触部31を、その下端部に突起16を有し、この突起16は、中間筒14の切り溝17内に位置して外筒12の溝15に係合している。外筒12のモータによる回転に伴い、外筒12の内面の溝15に沿って、内筒113の突起16が上下動するため、内筒113の天部にある指触部31が突出したり引っ込んだりすることになる。
図8に、図5に示した検知部材の駆動機構の実施例を示す。図5の外筒12の駆動ギア23は、扇状のギア部24を持ち、軸26を中心に回転自在に固定されたセクタギア25に噛合している。このセクタギア25と、モータに結合されたセクタギア27とが噛み合い、駆動用モータの回転がセクタギア27、25を通して駆動ギア23に伝わることにより、外筒12が回転する。前記セクタギア25は走査端子21を有し、この走査端子21は出力端子T〜Tに選択的に接触する。
ここで、駆動用モータとしては、電磁式モータと超音波モータを利用することができる。特に、超音波モータは、大きさ、形状、コスト等の面で電磁式より優れることに加え、低速回転、高トルク出力が得られるため、超音波モータを利用することが好ましい。
図6に、検知部材の先端部の他の実施例を示す。検知部材40は、内筒113の天部に設けられた指接触部38を有し、中間筒14の頂部は、傾斜して切断され、この傾斜切断により、指接触部38の突出長さを感覚で捉え易くなるため、指接触部38を指で触れ検知部材の突出長と予め記憶した仮想距離とを照合する際に有効である。
図7に、図1の距離測定装置1の電気的な構成を示す。距離測定装置1は、物体8からの反射光が入力した時に出力する差動回路18、システム全体の電源となる電源回路19、光源4の点灯制御回路20、検知棒13およびセクタギア25に設けた走査端子21、及び物体8の位置に応じて検知部材の突出位置を定める距離検出回路22等から構成されている。差動回路18は、光源4の点灯状態での光電受光器7における各受光素子7〜7の出力を記憶した後、当該記憶出力から光源4の消灯状態での各受光素子7〜7の出力を差し引いた差分信号を各受光素子7〜7に対応した出力端子T1、T2・・・Tnに出力する距離信号出力回路である。検知棒13に設けられた走査端子21(図4)は、検知棒13の突出に際して当該検知棒13の突出位置に応じて出力端子T〜Tを端子TからT端子に向かって順次走査する。距離検出回路22は、走査端子21を通じて付与される距離信号に基いて、物体8までの距離に対応する突出位置に検知棒13を停止させるように電磁石37を制御する回路である。
図9に、図7の差動回路18及び距離検出回路22を示す。まず、差動回路18の構成を示す。R1、2・・・Rnは光電受光器7の各受光素子7、7・・・7に対して接続された分圧用抵抗、D、D2・・・Dnは各分圧点B1、B2・・・Bnに接続された逆流防止用ダイオード、C1、C2・・・Cnは光源4の点灯状態での各分圧点B1、B2・・・Bの電位を記憶するために逆流防止用ダイオードD´、D´・・・D´を介して各分圧点B1、B2・・・Bnに接続された記憶用コンデンサ、S1、S2・・・Snは検出の都度各コンデンサC1、C2・・・Cnの記憶値をリセットするべく各コンデンサC1、C2・・・Cnに並列に設けられたリセット用常開型スイッチ、A1、A2・・・Anはその非反転入力に各コンデンサC1、C2・・・Cnの記憶出力を、またその反転入力に各ダイオードD1、D2・・・Dnの出力を受けて両入力の差を各出力端子T1、T2・・・Tnを通じて出力するようになされた差動増幅器である。
次に、距離検出回路22の構成を以下に示す。コンパレータCPは、走査端子21を通じて得られる出力をその非反転入力に、また所定の参照電位をその反転入力に受けて、非反転入力のレベルが反転入力のレベルを上回った際にハイレベル信号を出力するようになされた距離検出用コンパレータ、STはコンパレータCPのハイレベル出力に基いて電磁石37のオン、オフを制御するスイッチング回路である。Eは電源電池、SWは検知棒の第一段の押下によって投入される常開型の電源スイッチで、これらは図7の電源回路19に含まれる。
図4の検知棒13を押すと以下の3つの動作が行なわれる。まず、最も深く検知棒13を押し下げると、検知棒13は、無限遠仮想位置に係止される。次に、この押し下げにより、図9の電源スイッチSWの投入及び図2の光源4の点灯が行われる。その後、検知棒13は障害物が存在する位置迄上昇し、各作動機構を起動させて距離検知を行う。
図7の点灯制御回路20は、検知棒13の押し下げに応答して光源4を点灯させる。次に、検知棒13の押し下げ後のバネ31の作用による上昇によって、第一係止レバー30による検知棒13の係止が解除される際に、光源4を消灯させるように構成されている。なお、点灯制御回路20は、タイマー回路等を内蔵しておくことにより、検知棒13の押し下げに応答して光源4を所定時間点灯させ、所定時間経過後に光源4を消灯させるように構成することも可能である。
図9の差動回路18において、リセット用スイッチS1、S2・・・Sn は、物体位置確認に際して、検知棒13の第一段階の押し下げにより、一瞬投入されることで、コンデンサC1、C2・・・Cn の記憶をリセットするように構成されている。
以下、上記構成の動作を説明する。
図4に示されるように、先ず、距離測定装置1を障害物に対して向けた後、検知棒13が無限遠仮想位置まで押し下げられる。この際、第一係止レバー30が、バネ33の作用により係合爪28に係合してそれらを係止することにより、走査端子21は、出力端子Tnに接触する。また、このとき、図9に示されるリセット用スイッチS1〜Snが一瞬投入されて、コンデンサC1〜Cnの記憶がリセットされる。次いで、電源スイッチSWが投入されて点灯制御回路20が作動する。これにより、光源4が点灯し物体8に向けて光線が照射される。
物体8からの反射光は、受光レンズ5(または、レンチキュラープリズム:図示せず)により、物体までの距離に応じて、光電受光器7を構成する受光素子7〜7のひとつに収斂される。例えば、図2に示すように、物体8が距離測定装置1から距離Lの位置にある場合、物体8からの反射光は、Lに対応した受光素子7上に収斂される。この際、差動回路18では、各要素7、7・・・7の抵抗値変化に応じて、各分圧点B1、B・・・Bnの電位が変化する。各分圧点における変化後の電位は、各分圧点に対応したコンデンサC1、C2・・・Cnに各々記憶される。
次いで、点灯制御回路20の作動により、光源4が消灯する。このとき、差動回路18中の各差動増幅器A1、A2・・・Anは、光源4の点灯時の各受光素子の出力と、光源4の消灯時の各受光素子の出力との差分信号を、端子T1、T2・・・Tnに出力する。この差分処理により、周囲光に起因するノイズ成分をキャンセルして、光源4から物体8に照射した光線の反射光を正確に測定することができる。
また、検知棒13は、バネ31の作用により、上昇しはじめ第一係止レバー30がバネ33に抗して反時計方向回りに回動する。これにより、検知棒13はその係止を解除され、無限遠仮想位置から至近仮想位置に向けて移動する。この際、検知棒13に取り付けられている走査端子21は、差動回路18の出力端子T1〜Tnを端子TnからT1に向かって順次走査して行くことになる。
この際、距離検出回路22のコンパレータCPは、走査端子21からの入力と所定の参照電圧とを比較する。そして、走査端子21からの入力が参照電圧を上回ると、コンパレータCPの出力は、ロウからハイに転じる。これによりスイッチング回路STは、オフからオンに転じて電磁石37が励磁されるようになる。例えば、物体8が距離Lの位置に存在する場合、物体8からの反射光は、受光素子7に収斂するため、走査端子21には、受光素子7に対応する出力端子T2の出力が取り込まれる。これにより電磁石37が励磁されると、第二係止レバー34は、これに引き寄せられ時計方向に回動し、検知棒13の係合爪29のうち物体8までの距離に相当する一つの係合爪と係合する。これにより、検知棒13は、物体までの距離に対応する仮想位置に係止される。このときの検知棒13の突出位置を指で検知し、障害物の存在とその距離を検知する。
上記の構成において、図4の実施例では、バネの作用力を利用して検知棒13を突出させているが、図5と図8に示される実施例のように、モータの駆動力を利用して検知部材30を突出させることも可能である。この場合、図8の走査端子21は、図4の実施例と同様に、検知部材30の無限遠仮想位置から至近仮想位置への移動に伴い、差動回路18の出力端子T〜Tを端子TからTに向かって順次走査するように、セクタギア25の一部に取りつけられている。この場合のモータ制御回路は、検知部材30の押し下げに対応してギア27を矢示方向に回転させるようにモータを作動させ、図9のコンパレータCPのハイレベル出力に対応して当該モータを停止させるように構成される。
図5の実施例においては、光源4の点灯時間制御は、検知部材を押し下げた後、上昇し始めるまでの時間によって制御していたが、点灯制御回路20中にタイマー回路等を内蔵させて、光源4の点灯時間を所定時間に調整することも可能である。
複数物体までの距離を測定する際には、使用者が、検知棒を押し下げたまま、距離測定装置1を他の物体に向けて移動することで、モータを停止することなく、コンパレータCPの出力に応じて使用者周辺に存在する複数物体までの距離測定が可能になる。この場合、距離検出回路22は、コンパレータCPのみを備えていれば良い。
以上詳述したように、本発明で提案する能動型距離感知装置は、光源を常時点灯せずにある期間のみ点灯させて、光源が点灯状態に在る場合の光電受光器の出力と光源が消灯状態に在る場合の光電受光器の出力との差分信号に基づいて距離測定を行う。この装置では、周囲光に起因したノイズを有効にキャンセルして、正確な距離測定が可能になる。また、距離測定の際に、光源を常時点灯しないことで、当該光源の点灯時間が短縮されて消費電力の節約を図れる。さらに、手元の距離感知装置により、視野内の物体までの距離を簡易に感知することが可能である。
本発明の一実施例を示す距離測定装置と距離感知装置からなる障害物位置検知システムの装着図である。 距離測定装置における照射器と受光器の配置を示す断面図である。 距離感知装置の斜面図である。 距離感知装置の機構を示す断面図である。 距離感知装置の感知ボタンの模式図である。 距離感知装置の感知ボタンの先端部分の拡大模式図である。 距離計測装置の電気的ブロック図である。 図5に示す伸縮ボタンの駆動機構の実施例を示す平面図である。 図7に示す距離測定装置の構成の実施例を示す電気回路図である
符号の説明
1 距離測定装置
2 距離感知装置
3 額部取り付けバンド
4 光源
5 受光レンズ
6 放物面反射鏡
7 光電受光器
8 物体
9 ボタン
12 外筒
13 検知棒
14 中間筒
15 溝
18 差動回路
19 電源回路
20 点灯制御回路
21 走査端子
22 距離検出回路
23 駆動ギア
27 セクタギア

Claims (4)

  1. 視界内の障害物に対して光線を照射する照射部と、該障害物からの反射光を受ける受光部とを備えた距離測定装置と、
    測定した距離を突出量が変化する検知部材により感知できる距離感知装置と、
    からなる障害物位置検知システムにおいて、
    該照射部は光源を備え、該光源は該検知部材の押し下げに応答して点灯し、該検知部材の上昇により消灯するように構成され、
    前記距離測定装置は、該照射部が点灯状態にある場合の該受光部の応答出力から、該照射部が消灯状態にある場合の該受光器の出力を差し引いた差分信号を記憶する記憶装置を更に有し、
    記憶された該差分信号によって、該検知部材の上昇を制御することにより該障害物の存在と距離を検知可能に構成された障害物位置検知システム。
  2. 前記差分信号が記憶装置に記憶された後に前記光源が消灯する請求項1記載の障害物位置検知システム。
  3. 前記距離測定装置は使用者の額に装着するようになっている請求項1記載の障害物位置検知システム。
  4. 前記距離感知装置に距離測定装置を内蔵して、一体化した請求項1記載の障害物位置検知システム。
JP2005020661A 2005-01-28 2005-01-28 障害物位置検知システム Expired - Fee Related JP4751072B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005020661A JP4751072B2 (ja) 2005-01-28 2005-01-28 障害物位置検知システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005020661A JP4751072B2 (ja) 2005-01-28 2005-01-28 障害物位置検知システム

Publications (2)

Publication Number Publication Date
JP2006208193A JP2006208193A (ja) 2006-08-10
JP4751072B2 true JP4751072B2 (ja) 2011-08-17

Family

ID=36965220

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005020661A Expired - Fee Related JP4751072B2 (ja) 2005-01-28 2005-01-28 障害物位置検知システム

Country Status (1)

Country Link
JP (1) JP4751072B2 (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5533005B2 (ja) * 1972-09-12 1980-08-28
JPH05329187A (ja) * 1992-05-31 1993-12-14 Satoru Kawaguchi 視覚障害者のための障害物認識装置
JP2799943B2 (ja) * 1993-06-18 1998-09-21 謙二 松井 空間認識装置,車両の危険状態検知装置,盲人用危険状態警告装置および盲人用歩行補助装置ならびに空間認識方法
JP2000241544A (ja) * 1999-02-18 2000-09-08 Techno Soft Systemnics:Kk 視覚障害者用携帯型非接触障害物距離計
JP2001061916A (ja) * 1999-08-31 2001-03-13 Toshiba Corp 障害教示装置及びその方法
JP2002065721A (ja) * 2000-08-29 2002-03-05 Komatsu Ltd 視覚障害者用環境認識支援装置及びその方法
JP2003079685A (ja) * 2001-09-17 2003-03-18 Seiko Epson Corp 視覚障害者歩行用補助具

Also Published As

Publication number Publication date
JP2006208193A (ja) 2006-08-10

Similar Documents

Publication Publication Date Title
KR101097992B1 (ko) 지시물체의 위치인식장치
US20100328680A1 (en) Optical sensor
US9623565B2 (en) State detecting method, robot and mobile device
US20060238499A1 (en) Powerless signal generator for use in conjunction with a powerless position determination device
JP5157381B2 (ja) 画像表示装置
US8784407B2 (en) Hair removal system and method
CN113885717B (zh) 相对不同工作表面使用不同光源的轨迹追踪装置
JP2005043337A (ja) 移動ロボットの位置を検出する方法及びその装置
WO2015031942A1 (en) Low power eye tracking system and method
JP2002258149A5 (ja)
WO2010117006A1 (ja) 切替装置、切替方法、及び電子機器
EP3312669B1 (en) Lighting device that stores rotation angle of head
JP4751072B2 (ja) 障害物位置検知システム
TW200915142A (en) Optical navigational device adapted for navigation on a transparent structure
JP2008154687A (ja) 光学測定ユニットおよびそれを用いた光学測定方法
US20220075042A1 (en) Laser sensor module with soiling detection
JP2002266410A (ja) 利用状態検知トイレシステム、便座ユニット
JP6383504B2 (ja) レーザシェービングデバイス
KR101095567B1 (ko) 정보출력장치
TWI679000B (zh) 自律行走型吸塵器
JPH0334726Y2 (ja)
JPH07249095A (ja) バーコードリーダ
WO2013176241A1 (ja) 車両用バックミラー及び車両
KR102000505B1 (ko) 전방 전개가 가능한 시각장애인용 스마트 지팡이
KR20150095440A (ko) 거리 검출 장치 및 그 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100209

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110208

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110408

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110426

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110520

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140527

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees