JP5120920B2 - 触覚センサ及び触覚情報検出方法 - Google Patents

触覚センサ及び触覚情報検出方法 Download PDF

Info

Publication number
JP5120920B2
JP5120920B2 JP2007064045A JP2007064045A JP5120920B2 JP 5120920 B2 JP5120920 B2 JP 5120920B2 JP 2007064045 A JP2007064045 A JP 2007064045A JP 2007064045 A JP2007064045 A JP 2007064045A JP 5120920 B2 JP5120920 B2 JP 5120920B2
Authority
JP
Japan
Prior art keywords
tube
light
tactile
tactile sensor
flexible material
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007064045A
Other languages
English (en)
Other versions
JP2008197078A (ja
Inventor
淳 上田
司 小笠原
佑哉 直原
Original Assignee
国立大学法人 奈良先端科学技術大学院大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人 奈良先端科学技術大学院大学 filed Critical 国立大学法人 奈良先端科学技術大学院大学
Publication of JP2008197078A publication Critical patent/JP2008197078A/ja
Application granted granted Critical
Publication of JP5120920B2 publication Critical patent/JP5120920B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、外力、外力の分布、接触面積を検出するための触覚センサ及び触覚情報検出方法に関する。
従来、外力、外力の分布、接触面積を検出するための種々の触覚センサが知られている。
多指ハンドによる遠隔把持のための触覚センサ内蔵ソフトフィンガが知られている(非特許文献1)。この触覚センサは、バネによって圧力を感知する。また、対象物の表面に対して垂直な方向の変化率と、対象物の表面に対して平行な方向の変化率とを、空洞と超音波とによって測定する触覚センサが知られている(特許文献1)。また、把持力制御のための曲面状ひずみ分布センサが知られており、この触覚センサは、歪ゲージによって圧力を感知する(非特許文献2)。カメラによりマーカを追跡する光学式触覚センサが知られている(特許文献2)。
また、接触面の散乱光を検出する触覚センサが知られており(特許文献3、非特許文献3、特許文献4)、封入液体の圧力を検出する触覚センサが知られている(特許文献5)。
特開2001−021482号公報(平成13年1月26日公開(2001.1.26)) 特開2005−114715号公報(平成17年4月28日公開(2005.4.28)) 特開平7−4908号公報(平成7年(1995)1月10日) 米国特許第5,967,990号明細書 特願平4−228921号 藤本他著 「多指ハンドによる遠隔把持のための触覚センサ内蔵ソフトフィンガ」ロボティクス・メカトロニクス講演会‘02 河合他 「把持力制御のための曲面状ひずみ分布センサの開発」機械学会論文誌1998 「Development of a Medical Telediagnostic System with Tactile Haptic Interface」Michigan State University, IEEE/ASME Mcchatronics, 2004
しかしながら、上記非特許文献1、特許文献1、非特許文献2、及び特許文献2に記載の構成では、内蔵する歪ゲージ、空孔、ばね、マーカを内部に多数配置することができないため、触覚センサの分解能が不足するという問題がある。
また、上記特許文献3、非特許文献3、及び特許文献4に記載の構成では、触覚センサが検出する力の感度が不足し、接触は検出できるが、圧力の計算は困難であるという問題がある。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、高い分解能を有して高感度な触覚センサ及び触覚情報検出方法を実現することにある。
本発明に係る触覚センサは、上記課題を解決するために、着色された液体が封入された可撓性を有する透明な1本以上の管と、前記管内の着色液体に向かって光を照射する光源と、前記管内の着色液体を透過した光を受光する受光素子と、前記受光素子によって受光された光量の変化に基づいて、前記管に作用する力に関連した触覚情報を検出する触覚情報検出手段とを備えたことを特徴とする。
上記特徴によれば、着色された液体が封入された管に外力を作用させると、作用した外力により、管が変形し、封入された着色液体を透過する光量が変化する。このため、着色液体を透過した光を受光素子により受光し、受光した光量の変化に基づいて、管に作用する力に関連した触覚情報を算出することができる。
本発明に係る触覚センサでは、前記1本以上の管は、複数本の菅であり、前記複数本の菅は、格子状に配置されていることが好ましい。
上記構成によれば、複数本の菅が、格子状に配置されているので、すべての管の透過光をそれぞれ受光する複数個の受光素子を設けることにより、外力の分布、接触面積、及び力の向きを計測可能な分布型圧力センサを実現することができる。分布型圧力センサとは、点ではなく、線または面によって、ある外部の負荷との接触部を構成し、圧力の大きさ及び圧力の分布を計測することができるセンサを言う。
本発明に係る触覚センサでは、前記管は、透明な柔軟素材の内部に配置されていることが好ましい。
上記構成によれば、管を、透明な柔軟素材の内部に配置すれば、外力を管に適切に伝達することができ、また、柔軟素材を成型することによって、柔軟素材の内部に管を形成することができる。
本発明に係る触覚センサでは、前記光源は、前記柔軟素材の内部に配置されていることが好ましい。
上記構成によれば、柔軟素材の表面を遮光性部材で覆うことができ、外部から光源へのの外乱を低減することができる。
本発明に係る触覚センサでは、前記1本以上の管は、複数本の第1の管と、前記第1の管よりも細い複数本の第2の管であることが好ましい。
上記構成によれば、より帯域の広い感度を得ることができる。
本発明に係る触覚センサでは、前記第1の管に封入された液体の色は、前記第2の管に封入された液体の色と異なっていることが好ましい。
上記構成によれば、異なる径の管の変形を1つのカメラで容易に検出することができる。
本発明に係る触覚センサでは、前記触覚情報は、圧力分布、接触面積、及び力の向きのうちの少なくとも1つを含むことが好ましい。
上記構成によれば、分布型圧力センサを構成できる。
本発明に係る触覚情報検出方法は、可撓性を有する透明な1本以上の管に封入された着色液体に光を照射し、前記管内の着色液体を透過した光を受光し、前記受光した光量の変化に基づいて、前記管に作用する力に関連した触覚情報を検出することを特徴とする。
上記特徴によれば、着色された液体が封入された管に外力を作用させると、作用した外力により、管が変形し、封入された着色液体を透過する光量が変化する。このため、着色液体を透過した光を受光し、受光した光量の変化に基づいて、管に作用する力に関連した触覚情報を算出することができる。
本発明に係る触覚センサは、以上のように、着色された液体が封入された可撓性を有する透明な1本以上の管と、前記管内の着色液体に光を照射する光源と、前記管内の着色液体を透過した光を受光する受光素子とを備えているので、着色液体を透過した光を受光素子により受光し、受光した光量の変化に基づいて、管に作用する力に関連した触覚情報を算出することができる。
本発明に係る触覚情報検出方法は、以上のように、可撓性を有する透明な1本以上の管に封入された着色液体に光を照射し、前記管内の着色液体を透過した光を受光するので、着色液体を透過した光を受光素子により受光し、受光した光量の変化に基づいて、管に作用する力に関連した触覚情報を算出することができる。
本発明の一実施形態について図1ないし図11に基づいて説明すると以下の通りである。
本実施の形態では、接触力と接触位置とを知覚することができる流路の変形に基づく光学式触覚センサの構成を説明する。そして、流路の変形を計測し、接触力に変換する方法を説明する。そして、この原理を確認するためにカメラを用いて作成した試作機による実験結果を説明する。
(実施の形態1)
図1は、実施の形態1に係る触覚センサ1の構成を示す模式図である。触覚センサ1は、平板状をした透明な柔軟素材4を備えている。柔軟素材4は、負荷7のような物体が接触し、その接触した部分に力が加わることによって変形する。
図2(a)は、柔軟素材4の構成を説明するための模式断面図である。柔軟素材4は、無色透明・加工のしやすさ・柔らかさの点から、アルテクノ社のジェリーキャストを使用して構成することができる。ジェリーキャストは、約200℃で融解する特殊なプラスチック材料であって、型に入れて整形する。柔軟素材4の大きさは、例えば、縦50mm×横50mm×高さ5mmである。柔軟素材4の中には、細い血管のような形状をした可撓性を有する管2が形成されている。管2の中には、透明な色の着いた流体8が封入されて密封されている。柔軟素材4内部の管2は、整形時に柔軟素材4に針金を入れておき、固まった後、針金を抜くことによって形成することができる。
触覚センサ1は、LED3を備えている。LED3は、柔軟素材4の側面に対向して配置されており、管2内の着色流体8に向かって光を照射する。LED3は、柔軟素材4の内部に配置してもよい。
触覚センサ1には、カメラ5が設けられている。カメラ5は、柔軟素材4の負荷7が押し当てられる面とは反対側の面に対向して配置されている。このカメラ5は、例えば、SONY社 DFW−VL500によって構成することができる。
図3は、LED3から照射され、管2内の液体8を透過してカメラ5に到達する光を示す模式断面図である。LED3から照射された光は、柔軟素材4の側面から柔軟素材4の内部に入射し、柔軟素材4の表面によって反射されながら管2に向かって進行する。柔軟素材4のカメラ5と反対側の表面によって反射された光は、カメラ5と反対側から管2に入射する。そして、管2に封入された液体8を透過して管2を出射し、柔軟素材4のカメラ5側の表面から出射して、カメラ5に入射する。このようにして、LED3から照射された光は、管2内の着色液体8を透過してカメラ5により受光される。管2内の着色流体8は、カメラ5によって計測が容易とされる波長の短い赤色によって着色することが好ましい。
触覚センサ1は、触覚情報検出部6を備えている。触覚情報検出部6は、カメラ5によって受光された光量の変化に基づいて、管2に作用する力に関連した触覚情報を検出する。
図2(b)は、触覚センサ1の動作を説明するための模式図である。柔軟素材4のカメラ5と反対側の表面が負荷7によって押圧されると、柔軟素材4が変形し、これに応じて管2が変形して管2の径が変化し、管2の中の流体8が押し出され、その付近の管を通り過ぎる光の透過率が変化する。この現象を利用して、柔軟素材4を裏からカメラ5によって撮影する。そして、触覚情報検出部6の画像処理により、管2の流体8を通り過ぎる光の透過率が変化することを検出して、管2に加えられた力を測定する。
図5は、触覚センサ1の力の検出原理を説明するための図である。管2に加えられた力は、下記の式1によって表されるLambert−Beerの法則に基づいて検出する。
log(Io/I)=e・l・c …(式1)
ここで、
Io:入射光強度
I :透過光強度
e :濃度(mol/l)
l :光の通過距離(cm)
c :分子吸光係数(l/cm・mol)
である。
図4(a)は触覚センサ1に設けられた柔軟素材4の初期状態の画像を示す図であり、(b)は力を加えたときの柔軟素材4の画像を示す図である。図4(a)(b)に示す柔軟素材4を使用した実験を行った。まず、柔軟素材4内部に内径1mmの管2を1本作成し、液体8を封入した。そして、外部からの外乱を低減するために、柔軟素材4の表面を黒いゴム板によって覆った。次に、直径2cm、重さ28グラムの鉄球を、柔軟素材4の表面に載置し、その鉄球に92グラムの鉛の立方体をガイドに沿わせて1つずつ載せ、0グラム、28グラム、120グラム、212グラム、304グラムと負荷を増加させていった。その後、鉛の重りを1つずつ取り除いていき、初期状態に戻していき、その変移を計測した。その実験結果を図6に示す。
図6は、触覚情報検出部6によって検出された光の輝度と力との関係を示すグラフである。横軸は、負荷7によって加えた力(ニュートン)を示しており、縦軸は、触覚情報検出部6によって検出された光の輝度値を示している。縦軸の輝度値は、カメラ5によって計測されて分解されたRGB画像のうち、封入された液体の赤色に対応するR画像に基づいている。この輝度値は、力が加わっている中心から5×5画素の平均値であり、値は、0〜255である。図6から、加えられた力に応じてRGBのR値が変化していることが分かる。そして、加えられた力に対する輝度値の収束を得ることができた。得られた収束結果から最小二乗法により近似式を求めた。この近似式の結果より、以下の式2に示す変換式を得ることができた。
I=5.35F−28.28F+119.14 …(式2)
ここで、
I:輝度値
F:加えられた力
である。
以上のように、実施の形態1によれば、流路の変形に基づく光学式触覚センサを構成して、加えられた力を輝度値の変化に基づいて推定することができる。また、実験的に加えられた力を近似式に基づいて輝度値に変換することができる。
(実施の形態2)
図7は実施の形態2に係る触覚センサの構成を説明するための平面図であり、図8はその模式的な斜視図である。実施の形態2に係る柔軟素材4の内部には、複数本の管2が、柔軟素材4の表面に垂直な方向から見て格子状に配置されている。図8に示すように、異なる径の管を配置すると、管の径に応じて印加圧力に対する感度を変化させることができ、より帯域の広い感度を得ることができる。一般的には、径の異なる流路を2種類以上配置する。また,異なる径の管の変形を一つのカメラで検出するためには、それぞれの管に封入された液体の色を、管の径に応じて異ならせれば、容易に検出することができる。
図9(a)は実施の形態2に係る触覚センサに設けられたLED3とカメラ5との配置を模式的に示す斜視図であり、(b)は実施の形態2に係る触覚センサの実験装置を表す画像を示す斜視図である。図10(a)は実施の形態2に係る触覚センサの構成を示す模式断面図である。実施の形態2に係る触覚センサでは、4個のLED3が、柔軟素材4の4つの側面にそれぞれ設けられている。柔軟素材4の負荷7と反対側の表面に対向する位置にカメラ5が配置されている。
図10(b)は実施の形態2に係る触覚センサの動作を説明するための模式断面図である。柔軟素材4のカメラ5と反対側の表面が、負荷7によって押圧されると、複数本の管2のそれぞれが、負荷7の押圧位置との関係に応じてそれぞれ変形して管2の径が変化する。このため、各管2の中の流体8がそれぞれ押し出され、その付近の管を通り過ぎる光の透過率が変化する。この現象を利用して、柔軟素材4を裏からカメラ5によって撮影する。そして、触覚情報検出部6の画像処理により、複数本の管2の流体8のそれぞれを通り過ぎる光の透過率が変化することを検出して、管2のそれぞれに加えられた力を測定する。
このように、管2を複数本格子状に配置すると、計測することができる範囲が広がるので、全ての管の透過光の変化をカメラ5で計測することにより、外力自体に加えて、外力の圧力分布(凹凸)、接触面積、接触位置、外力の向きも測定することができる。
図11(a)は実施の形態2の触覚センサに設けられた柔軟素材4の初期状態の画像を示す図であり、図11(b)は力を加えたときの柔軟素材4の画像を示す図である。力を加えたときに、負荷7に接触する柔軟素材4の接触位置に対応する管2が変形するので、接触位置を確認することができることが分かる。
以上のように実施の形態1及び2によれば、高い分解能を有するカメラによって、管内の着色液体を透過した光を受光して、触覚情報を検出するという光学的手法を用いるので、従来技術の構成による分解能不足という問題を解決することができる。
また、実施の形態1及び2によれば、管に封入した着色液体を透過する光の輝度変化に基づいて、内部応力を推定し、管に作用する力に関連した触覚情報を検出する。液体を封入した管は、小さい圧力でも容易に変形するので、接触は検出することができるが、圧力の計算は困難であるという従来技術の構成による力の感度不足という問題を解決することができる。
また、管の変形による透過光の輝度変化を測定することによって力を検出するので、管の直径を調整することにより圧力の感度を調整することができ、また、毛細管のような管を多数設けることにより、空間分解能を向上させることができる。
なお、実施の形態1及び2では、透明な柔軟素材4により触覚センサを構成した例を示したが、本発明はこれに限定されない。柔軟素材4は、光線が透過すればよく、例えば半透明な素材によって構成してもよい。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明は、外力、外力の分布、接触面積を検出するための触覚センサ及び触覚情報検出方法に適用することができる。また、この触覚センサを備えたロボット医療(乳癌、肝硬変、リンパ節等の触診システム)、コンピュータインターフェース、福祉ロボット用人工皮膚、組み立てロボット用手先センサに適用することもできる。
実施の形態1に係る触覚センサの構成を示す模式図である。 (a)は上記触覚センサに設けられた柔軟素材の構成を説明するための模式断面図であり、(b)は上記触覚センサの動作を説明するための模式断面図である。 上記触覚センサに設けられたLEDから照射され、管内の液体を透過してカメラに到達する光を示す模式断面図である。 (a)は上記触覚センサに設けられた柔軟素材の初期状態の画像を示す図であり、(b)は力を加えたときの上記柔軟素材の画像を示す図である。 上記触覚センサの力の検出原理を説明するための図である。 上記触覚センサに設けられた触覚情報検出部によって検出された光の輝度と力との関係を示すグラフである。 実施の形態2に係る触覚センサの構成を説明するための平面図である。 上記触覚センサの構成を模式的に示す斜視図である。 (a)は上記触覚センサに設けられたLEDとカメラとの配置を模式的に示す斜視図であり、(b)は上記触覚センサの実験装置を表す画像を示す斜視図である。 (a)は上記触覚センサの構成を示す模式断面図であり、(b)は上記触覚センサの動作を説明するための模式断面図である。 (a)は上記触覚センサに設けられた柔軟素材の初期状態の画像を示す図であり、(b)は力を加えたときの上記柔軟素材の画像を示す図である。
符号の説明
1 触覚センサ
2 管
3 光源(LED)
4 柔軟素材
5 受光素子(カメラ)
6 触覚情報検出部
7 負荷
8 液体

Claims (8)

  1. 着色された液体が封入された可撓性を有する透明な1本以上の管と、
    前記管内の着色液体に向かって光を照射する光源と、
    前記管内の着色液体を透過した光を受光する受光素子と、
    前記受光素子によって受光された光量の変化に基づいて、前記管に作用する力に関連した触覚情報を検出する触覚情報検出手段とを備え
    前記管は、光線を透過させる柔軟素材の内部に配置されていることを特徴とする触覚センサ。
  2. 前記1本以上の管は、複数本の菅であり、
    前記複数本の菅は、格子状に配置されている請求項1記載の触覚センサ。
  3. 前記管は、透明な柔軟素材の内部に配置されている請求項1記載の触覚センサ。
  4. 前記光源は、前記柔軟素材の内部に配置されている請求項3記載の触覚センサ。
  5. 前記1本以上の管は、複数本の第1の管と、前記第1の管よりも細い複数本の第2の管である請求項1記載の触覚センサ。
  6. 前記第1の管に封入された液体の色は、前記第2の管に封入された液体の色と異なっている請求項記載の触覚センサ。
  7. 前記触覚情報は、圧力分布、接触面積、及び力の向きのうちの少なくとも1つを含む請求項1記載の触覚センサ。
  8. 可撓性を有する透明な1本以上の管に封入された着色液体に光を照射し、
    前記管内の着色液体を透過した光を受光し、
    前記受光した光量の変化に基づいて、前記管に作用する力に関連した触覚情報を検出し、
    前記管は、光線を透過させる柔軟素材の内部に配置されていることを特徴とする触覚情報検出方法。
JP2007064045A 2007-02-08 2007-03-13 触覚センサ及び触覚情報検出方法 Expired - Fee Related JP5120920B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US90011407P 2007-02-08 2007-02-08
US60/900,114 2007-02-08

Publications (2)

Publication Number Publication Date
JP2008197078A JP2008197078A (ja) 2008-08-28
JP5120920B2 true JP5120920B2 (ja) 2013-01-16

Family

ID=39758995

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007064045A Expired - Fee Related JP5120920B2 (ja) 2007-02-08 2007-03-13 触覚センサ及び触覚情報検出方法

Country Status (1)

Country Link
JP (1) JP5120920B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018028482A (ja) * 2016-08-18 2018-02-22 株式会社東芝 複合材料
JP6850686B2 (ja) * 2017-06-12 2021-03-31 日本電信電話株式会社 圧力センサおよび中空光導波路の製造方法
CN114051443A (zh) * 2019-07-03 2022-02-15 首选网络株式会社 信息处理装置、机器人系统以及信息处理方法
JP6864401B1 (ja) * 2020-08-17 2021-04-28 株式会社SensAI 触覚センサ
KR20230096431A (ko) * 2021-12-23 2023-06-30 삼성전자주식회사 광학식 촉각 센서

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58190738A (ja) * 1982-04-30 1983-11-07 Sumitomo Electric Ind Ltd 液体レンズを用いた圧力センサ
JPS6021941U (ja) * 1983-07-23 1985-02-15 沖電気工業株式会社 感圧センサ
FR2578645B1 (fr) * 1985-03-07 1987-03-20 Sopha Praxis Dispositif optique de detection d'effort, procede de mesure d'effort au moyen dudit dispositif et leur application a une balance
JPH11166841A (ja) * 1997-12-08 1999-06-22 Sony Corp 感覚情報取得装置
US6267014B1 (en) * 2000-01-14 2001-07-31 National Research Council Of Canada Apparatus for sensing a load of pressure applied to a surface
JP2001213158A (ja) * 2000-02-01 2001-08-07 Auto Network Gijutsu Kenkyusho:Kk 挟み込み防止装置
JP2006003137A (ja) * 2004-06-16 2006-01-05 Toudai Tlo Ltd 光学式触覚センサ及び該センサにおける情報取得方法

Also Published As

Publication number Publication date
JP2008197078A (ja) 2008-08-28

Similar Documents

Publication Publication Date Title
JP5120920B2 (ja) 触覚センサ及び触覚情報検出方法
Dong et al. Improved gelsight tactile sensor for measuring geometry and slip
CN108161994B (zh) 一种多模态触觉感知装置
Lin et al. Sensing the frictional state of a robotic skin via subtractive color mixing
JP5603773B2 (ja) 力分布測定用光学センサ
USRE44856E1 (en) Tactile sensor using elastomeric imaging
US20100030115A1 (en) Device for measuring compressive force of flexible linear body
US20080027582A1 (en) Optical Tactile Sensor, Sensing Method, Sensing System, Object Operation Force Controlling Method, Object Operation Force Controlling Device, Object Holding Force Controlling Method, and Robot Hand
JP2016508754A5 (ja)
US20210003388A1 (en) Waveguide and sensor based on same
WO2010141372A3 (en) Touch sensing
Kappassov et al. Color-coded fiber-optic tactile sensor for an elastomeric robot skin
CN109176590B (zh) 一种具有压滑觉感知的柔性指尖、装置及方法
US8553076B2 (en) Contact measuring endoscope apparatus
Zhang et al. Tac3D: A novel vision-based tactile sensor for measuring forces distribution and estimating friction coefficient distribution
Baimukashev et al. Shear, torsion and pressure tactile sensor via plastic optofiber guided imaging
JP5660531B2 (ja) 形状計測装置、及び形状計測方法
ITRM20100304A1 (it) Sensore per la misura di una forza esterna applicata a detto sensore.
KR101972293B1 (ko) 상이한 상위 층들을 갖는 터치 및 압력 감지 시스템
JP2021137956A5 (ja)
CN112229553A (zh) 一种基于光衰减的柔性触觉传感器、阵列及其制备方法
US20160038034A1 (en) Puncture Needle for Photoacoustic Imager and Photoacoustic Imager
Lu et al. Optical soft tactile sensor algorithm based on multi-scale ResNet
CN213422490U (zh) 一种基于光衰减的柔性触觉传感器及阵列
US10663361B2 (en) Systems and methods for tactile sensing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100308

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121009

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121018

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151102

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5120920

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees