JP4427905B2 - ロボット監視システム - Google Patents

ロボット監視システム Download PDF

Info

Publication number
JP4427905B2
JP4427905B2 JP2001016101A JP2001016101A JP4427905B2 JP 4427905 B2 JP4427905 B2 JP 4427905B2 JP 2001016101 A JP2001016101 A JP 2001016101A JP 2001016101 A JP2001016101 A JP 2001016101A JP 4427905 B2 JP4427905 B2 JP 4427905B2
Authority
JP
Japan
Prior art keywords
robot
collision
pseudo
monitoring system
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2001016101A
Other languages
English (en)
Other versions
JP2002219684A (ja
Inventor
昭 高木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuji Electric Co Ltd
Original Assignee
Fuji Electric Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Electric Systems Co Ltd filed Critical Fuji Electric Systems Co Ltd
Priority to JP2001016101A priority Critical patent/JP4427905B2/ja
Publication of JP2002219684A publication Critical patent/JP2002219684A/ja
Application granted granted Critical
Publication of JP4427905B2 publication Critical patent/JP4427905B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Manipulator (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Numerical Control (AREA)

Description

【0001】
【発明の属する技術分野】
本発明はロボット監視システムに関し、特に、周辺構造物が存在する環境の中でロボットを作動させる場合に、周辺構造物との衝突の危険があるロボットの部位を位置調整および撮影状態調整可能な監視カメラによって撮影し、撮像を監視表示装置に表示するロボット監視システムに関する。
【0002】
【従来の技術】
従来のロボット監視システムにおいては、ロボットが動作する際に周辺構造物と衝突する恐れがある場合、通常、以下の方法で衝突や接近を検出した後、ロボットの減速、停止、動作変更を行って衝突を回避している。すなわち、
▲1▼ 衝突あるいは接近を検出するセンサをロボットに設置する。
▲2▼ 監視カメラあるいは直接目視により、人間がロボットの動作を監視する。
▲3▼ ロボットおよび周辺構造物の設計データ(外形寸法データ)とロボットの動作状態から衝突や接近を推定する。
【0003】
ロボットにセンサを設置する方法は、環境条件から使用可能なセンサがない場合があったり、センサの検出範囲に制約がある等の問題点がある。同様に、環境条件から人間が入れない場所では、直接目視による監視も実施できない。監視カメラは環境条件に強いセンサであるが、視野に限りがあるため適切な位置を監視していないと監視もれが出る恐れがある。可動雲台によって監視位置を調整する場合でも、雲台操縦者の技能や判断に負うところが大きく、充分な監視が行われるとは限らない。また、ロボットおよび周辺構造物の設計データと、ロボットの動作状態とからの衝突あるいは接近の推定は、計算機の性能向上に伴い、ロボットと周囲の構造全体にわたって行うことができるようになったが、設計データと実際との間の誤差により、推定に誤差が発生するという問題がある。
【0004】
【発明が解決しようとする課題】
本発明は、上記の問題を解決すべくなされたものであって、ロボットと周辺構造物の衝突や接近を監視カメラによる監視で行う際、適切な監視位置の設定が困難であることによる監視もれが発生しないように、監視カメラを適切な監視位置に設定することにより、ロボットと周辺構造物との衝突を防止できるロボット監視システムを提供することを目的とする。
【0005】
【課題を解決するための手段】
前述した課題を解決するために、本発明は、ロボットを撮影する監視カメラと、前記ロボットの状態を検出するロボット状態検出装置と、前記ロボットの状態に基づいて周辺構造物との衝突をシミュレートするシミュレーション装置と、前記シミュレーション装置のシミュレーション結果に基づいて、前記監視カメラを制御し撮影状態を調節するための制御装置とを備えてなるものである。
【0006】
このような構成によれば、例えば、ロボットと周辺構造物との衝突が予測されるような場合に、その箇所などを監視カメラで詳細に撮影するなどして注意を集中させることができ、もって、例えばロボットと周辺構造物との衝突を防止することができる。
【0007】
また、本発明は、周辺構造物が存在する環境の中でロボットを作動させる場合に、周辺構造物との衝突の危険があるロボットの部位を位置調整および撮影状態調整可能な監視カメラ装置によって撮影し、撮像を監視表示装置に表示するロボット監視システムにおいて、作動されるロボットの姿勢を検出するロボット状態検出装置と、ロボットと周辺構造物とに関する外形寸法データと位置データとに基づいてロボットの外形を擬似的に拡大し、拡大されたロボットの動作をシミュレートすることにより、拡大されたロボットと周辺構造物との擬似衝突個所を検出し、実際にロボットを作動させる場合に、ロボット状態検出装置によって検出されるロボットの姿勢に基づいて、外形が擬似的に拡大されたロボットと周辺構造物とが擬似衝突する個所を指示するシミュレーション装置と、シミュレーション装置からの擬似衝突個所の位置に関する指示に基づいて、監視カメラが擬似衝突個所を衝突危険個所として最適に撮影できるように監視カメラの位置および撮影状態を調節する制御装置とを備える。
【0008】
このような構成によれば、シミュレーション装置は、外形を擬似的に拡大したロボットの動作をシミュレートすることにより、拡大されたロボットと周辺構造物との擬似衝突個所を検出でき、実際の作動時に、擬似衝突個所に基づいて、どの個所が周辺構造物のどこに衝突する危険があるかを予想することができる。そこで、実際にロボットを作動させる場合に、ロボット状態検出装置によって検出されるロボットの姿勢に基づいて、シミュレーション装置は、予想した擬似衝突個所を指示する。この指示に基づいて、制御装置は衝突危険個所を最適に撮影できるように監視カメラの位置および撮影状態を自動的に調節させる。
【0009】
また、本発明において、前記ロボットは、関節で接続された複数のリンクを具備する多関節のロボットアームであって、前記監視カメラは、一端が基準点に取り付けられたリンクのほぼ中央に取り付けられている。したがって、上側と下側とに周辺構造物がある場合に、前記監視カメラは上側または下側を同じ条件で監視可能であり、上側または下側のうち、どちら側でも衝突する危険が大きいと決定されれば、そちら側を好適な条件で監視できることとなる。
【0010】
さらに、本発明において、前記シミュレーション装置は、擬似的に拡大されたロボットと、周辺構造物との擬似衝突個所を検出する場合、擬似衝突個所の数と、配置された監視カメラの台数とが同一数になるまで、ロボットの外形を許可された範囲内で擬似的に拡大する。したがって、配置されている監視カメラの全部を、ロボットの衝突する危険がある個所にそれぞれ対応させて監視することができ、監視漏れが自動的に防止される。
【0011】
【発明の実施の形態】
実施の形態1.
以下、本発明の実施の形態について添付図面に基づいて説明する。図1は、本発明のロボット監視システムの実施の形態を示す構成図、図2は、図1のロボット監視システムの動作を説明するためのフローチャート、図3は、本発明のロボット監視システムのもう一つの実施の形態を示す構成図である。図1ないし図3のロボット監視システム100,101においては、周辺構造物90,91,92がある環境の中で多関節のロボットアーム10,11を駆動制御するものとする。
【0012】
図1において示されるロボットアーム10は、関節J1,J2,J3と、それらによって接続されたリンクL1,L2,L3と、リンクL3の先端に取り付けられたロボットハンドHDとを有している。ロボット状態検出装置20は、ロボットアーム10の関節J1,J2,J3、リンクL1,L2,L3、および、ロボットハンドHDの位置や姿勢を検出する。雲台30は、制御信号CNの指示に基づいて、監視部位を最適に監視できる位置に移動し、その雲台30に搭載された監視カメラ40は、制御信号CNの指示に基づいて、監視状態を最適に設定する。この場合、監視カメラ40が撮影した映像は、モニタテレビ50に表示され、監視員60の監視に提供される。監視状態制御装置(請求項の制御装置)70は、与えられる命令CMに従って、ロボットアーム10の衝突の危険のある部位を監視カメラ40がその視線上に捉え、その部位に対して適切なズーム・フォーカス状態になるように制御信号CNを雲台30およびその上に搭載された監視カメラ40に与える。
【0013】
動作シミュレーション装置(請求項のシミュレーション装置)80は、ロボットアーム10に必要な動作シミュレーションを行わせ、ロボットアーム10が配置された環境における周辺構造物90に衝突する危険がないか否かを検出する。検出した結果に基づき、ロボットアーム10の実際の作動時に、衝突危険個所を監視カメラ40が最適に撮影するように、監視状態制御装置70に命令CNを与える。これらの実行のために、動作シミュレーション装置80は、周辺構造物の設計データと、周辺構造物に対するロボットアーム10の基準点(例えば、回転はするが周辺構造物に対しての位置は変更しない関節J1)の位置データと、ロボットアームの外形に関する設計データと、ロボットアームの外形について段階的に擬似的な拡大あるいは縮小(拡大幅を小さくするの意味で用いる)を行うための拡大設定値および縮小設定値と、ロボットアーム10を擬似的に拡大あるいは縮小できる限界である拡大最大設定値および縮小最小設定値とを記憶している。
【0014】
次に、動作シミュレーション装置80が監視状態制御装置70に与える命令CMの内容について図2を参照して説明する。動作シミュレーション装置80は、先ず、ロボットアーム10の設計データに基づく外形に対して、標準の拡大設定値を与え、外形が標準拡大されたロボットアーム10に必要な動作シミュレーションを実行させる(ステップS1)。この動作シミュレーションによって、ロボットアーム10と周辺構造物90との間に擬似的な衝突が発生する場合がある(発生しない場合もある)。そこで、この擬似衝突個所(以降、衝突個所と略記する)の数と、設置されている監視カメラ40の台数とを比較し(図1の例においては、監視カメラ40の台数は1台である)、衝突個所の数が設置されている監視カメラ40の数よりも多いか否かを判断する(ステップS2)。
【0015】
判断の結果、衝突個所の数が監視カメラ40の台数より多くなければ、衝突個所の数が監視カメラ40の数よりも少ないか否かを判断する(ステップS3)。その結果、衝突個所の数が監視カメラ40の台数より少なくなければ、衝突個所の数が監視カメラ40の台数と同じであると見なす。したがって、現在設置されている監視カメラ40で該当する衝突個所の全部を監視可能であるので、それぞれに対応する監視カメラ40によって最適に監視させる命令CMを構成する(ステップS4)。このことによって、実際にロボットアーム10を駆動させる場合には、構成された命令CMが監視状態制御装置70に与えられるので、衝突の発生する危険の大きい個所の全部が監視カメラ40に捉えられることとなる。
【0016】
ステップS2において、衝突個所の数が監視カメラ40の台数より多ければ、ロボットアーム10の外形の寸法を縮小設定値だけ縮小し、拡大量を少なくする(ステップS5)。縮小した結果が縮小最小値設定値以上であるか否かを判断する(ステップS6)。もしも、縮小した結果が縮小最小値設定値以上でない場合には、現在配置されている監視カメラ40だけでは監視しきれないので、異常と見なし、その旨を表示して終了する。しかし、縮小した結果が縮小最小値設定値以上である場合には、ステップS1に戻り、衝突個所の数と監視カメラ40の台数とが一致するように、許された範囲内(縮小最小値設定値以上で拡大最大設定値以下である)でロボットアームの外形寸法の拡大および縮小を繰り返す。
【0017】
ステップS3において、衝突個所の数が監視カメラ40の台数よりも少ない場合には、ロボットアーム10の外形の寸法を拡大設定値だけ拡大する(ステップS8)。拡大した結果が拡大最大設定値以下であるか否かを判断する(ステップS9)。もしも、拡大した結果が拡大最大設定値以下でない場合には、現状のロボットアーム10の作動においては、周辺構造物90との接近(衝突危険個所)はないので、監視カメラ40および雲台30を適宜な配置として終了する。しかし、ステップS9において、もしも、拡大した結果が拡大最大設定値以下である場合には、ステップS1に戻り、衝突個所の数と監視カメラの30の台数とが一致するように、許された範囲内でロボットアームの外形の拡大および縮小を繰り返す。
【0018】
このように、通常の場合、動作シミュレーション装置80は、ロボットアーム10を作動させたときに衝突の危険のある個所の数と、監視カメラ40の数とが合致するように、許された範囲内でロボットアームの外形の擬似的な拡大および縮小を繰り返すので、結果的には、衝突の危険があって、監視が必要となる部位の数は、配置されている監視カメラの台数と同じになり、配置されている監視カメラ40を全部使用して、能率的に監視が必要な個所を監視することができるようになる。また、これらの作業は、動作シミュレーション装置80等によって自動的に行われるので、環境条件に影響されることなく、人間の判断に依存することもなく、衝突危険個所が正確にモニタテレビ50に表示される。
【0019】
したがって、監視員60は、監視が必要な個所の全てを監視カメラ40からのモニタテレビ50の映像によって、漏れなく監視することができ、ロボットアーム10の制御プログラムが現状でよいのか変更すべきかを容易に判断できる。ロボットアーム10の制御プログラムに不都合があれば、これを変更した後に、再度、動作シミュレーション装置80によって、ロボットアーム10の動作シミュレーションを行えばよく、ロボットアーム10が実際の作動中に周辺構造物90と衝突するのを確実に回避することができる。なお、図1においては、見やすくするために、雲台30および監視カメラ40は、一組のみ示しているが、動作の説明においては一般的なように複数組あることを前提としている。
【0020】
実施の形態2.
図3は、本発明のロボットアーム制御監視システムの他の実施の形態を示す構成図である。この例において、ロボットアーム11は、図1のロボットアーム10とほぼ同じ構成であるが、一方の関節J1が基準点に取り付けられたリンクL1のほぼ中央には、一台の雲台付監視カメラ34が装着されている。この場合、周辺構造物91,92は、上下の両方にあるので、雲台付監視カメラ34によって周辺構造物91,92との関係を同時に監視することは不可能である。
【0021】
動作シミュレーション装置80(図1参照)は、ロボット状態検出装置20(図1参照)を介してロボットアーム11の姿勢を参照しつつ監視すべき一方の周辺構造物を自動的に決定する。すなわち、ロボットアーム11に所定の拡大設定値を与え、拡大したロボットアーム11を駆動することをシミュレートした場合に、周辺構造物91との衝突が発生するならば、ロボットアーム11の上側を、周辺構造物92との衝突が発生するならば、ロボットアーム11の下側を、それぞれ雲台付監視カメラ34によって監視するようにする。
【0022】
【発明の効果】
本発明のロボット監視システムは、以上において説明したように構成されているので、ロボットが周辺構造物に衝突するような事態を未然に防止することが容易となる。
【0023】
また、本発明において、さらにシミュレーション装置は、外形を擬似的に拡大したロボットの動作をシミュレートすることにより、拡大されたロボットと周辺構造物との擬似衝突個所を検出でき、実際の作動時に、どの個所が周辺構造物のどこと衝突する危険があるかを予想することができる。そこで、実際にロボットを作動させる場合に、ロボット状態検出装置によって検出されるロボットの姿勢に基づいて、シミュレーション装置は、予想した衝突危険個所を指示する。この指示に基づいて、監視状態制御装置は、監視カメラ装置が衝突危険個所を最適に撮影できるように監視カメラ装置の位置および撮影状態を自動的に調節することができる。
【0024】
また、ロボットが関節で接続された複数のリンクを具備する多関節のロボットアームであれば、一端が基準点に取り付けられたリンクのほぼ中央に監視カメラ装置を取り付ける。したがって、上側と下側とに周辺構造物がある場合に、前記監視カメラ装置は、上側または下側を同じような条件で監視可能となる。さらに、前記シミュレーション装置は、擬似的に拡大されたロボットと周辺構造物との衝突個所を検出する場合、衝突個所の数と、配置された監視カメラ装置の台数とが同一数になるまで、ロボットの外形寸法を擬似的に拡大することにより、配置されている監視カメラ装置の全部をロボットの衝突する危険がある個所にそれぞれ対応させて能率的に監視を行うことができ、監視漏れが自動的に防止される。
【図面の簡単な説明】
【図1】本発明のロボット監視システムの実施の形態1を示す構成図である。
【図2】図1のロボット監視システムの動作を説明するためのフローチャートである。
【図3】本発明のロボット監視システムの実施の形態2を示す構成図である。
【符号の説明】
10,11 ロボットアーム、20 ロボット状態検出装置、30 雲台、34 雲台付カメラ、40 監視カメラ、50 モニタテレビ、60 監視員、70 監視状態制御装置、80 動作シミュレーション装置、90,91,92 周辺構造物、100,101 ロボット監視システム。

Claims (3)

  1. 周辺構造物が存在する環境の中でロボットを作動させる場合に、周辺構造物との衝突の危険がある前記ロボットの部位を位置調整および撮影状態調整可能な監視カメラによって撮影し、撮像を監視表示装置に表示するロボット監視システムにおいて、
    前記ロボットの姿勢を検出するロボット状態検出装置と、
    前記ロボットと周辺構造物とに関する外形寸法データと位置データとに基づいて前記ロボットの外形を擬似的に拡大し、拡大された前記ロボットの動作をシミュレートすることにより、拡大された前記ロボットと周辺構造物との擬似衝突個所を検出し、前記ロボットを作動させる場合に、前記ロボット状態検出装置によって検出される前記ロボットの姿勢に基づいて、外形が擬似的に拡大された前記ロボットと周辺構造物とが擬似衝突する個所を指示する動作シミュレーション装置と、
    前記動作シミュレーション装置からの擬似衝突個所の位置に関する指示に基づいて、前記監視カメラが擬似衝突個所を衝突危険個所として最適に撮影できるように前記監視カメラの位置および撮影状態を調節する制御装置とを備えることを特徴とするロボット監視システム。
  2. 請求項1に記載のロボット監視システムにおいて、
    前記ロボットは、関節で接続された複数のリンクを具備する多関節のロボットアームであって、前記監視カメラは、一端が基準点に取り付けられたリンクの中央に取り付けられていることを特徴とするロボット監視システム。
  3. 請求項または請求項に記載のロボット監視システムにおいて、
    前記シミュレーション装置は、擬似的に拡大されたロボットと、周辺構造物との擬似衝突個所を検出する場合、擬似衝突個所の数と、配置された監視カメラの台数とが同一数になるまで、ロボットの外形を許可された範囲内で擬似的に拡大することを特徴とするロボット監視システム。
JP2001016101A 2001-01-24 2001-01-24 ロボット監視システム Expired - Lifetime JP4427905B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001016101A JP4427905B2 (ja) 2001-01-24 2001-01-24 ロボット監視システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001016101A JP4427905B2 (ja) 2001-01-24 2001-01-24 ロボット監視システム

Publications (2)

Publication Number Publication Date
JP2002219684A JP2002219684A (ja) 2002-08-06
JP4427905B2 true JP4427905B2 (ja) 2010-03-10

Family

ID=18882536

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001016101A Expired - Lifetime JP4427905B2 (ja) 2001-01-24 2001-01-24 ロボット監視システム

Country Status (1)

Country Link
JP (1) JP4427905B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112247993A (zh) * 2020-04-15 2021-01-22 牧今科技 具有碰撞避免机制的机器人系统及其操作方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006224279A (ja) * 2005-02-21 2006-08-31 Fanuc Ltd ロボット撮像装置
DE102006050235B4 (de) * 2006-10-17 2014-02-13 Pilz Gmbh & Co. Kg Kamerasystem zum Überwachen eines Raumbereichs
JP6328599B2 (ja) * 2015-11-20 2018-05-23 ファナック株式会社 ロボットの動作可能範囲を算出するロボットの手動送り装置
JP2020050077A (ja) * 2018-09-26 2020-04-02 株式会社Subaru 車両の乗員監視装置、および乗員保護システム
JP7348013B2 (ja) * 2019-09-30 2023-09-20 ファナック株式会社 シミュレーション装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6042673B2 (ja) * 1976-09-10 1985-09-24 株式会社日立製作所 移動体監視装置
JPH0195879U (ja) * 1987-12-17 1989-06-26
JPH0326491A (ja) * 1989-06-19 1991-02-05 Hitachi Ltd ロボットの監視装置
JPH0631670A (ja) * 1992-07-15 1994-02-08 Tokyo Electric Power Co Inc:The マニピュレータ用工具交換方法および装置
JP3376029B2 (ja) * 1993-07-15 2003-02-10 株式会社東芝 ロボットの遠隔操作装置
JPH0736519A (ja) * 1993-07-23 1995-02-07 Kobe Steel Ltd ロボットのニアミスチェック方法
JPH07328971A (ja) * 1994-06-08 1995-12-19 Toshiba Corp Tvカメラ付マニピュレータ
JP2000015595A (ja) * 1998-06-29 2000-01-18 Nippon Telegr & Teleph Corp <Ntt> 物体衝突検出方法およびその装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112247993A (zh) * 2020-04-15 2021-01-22 牧今科技 具有碰撞避免机制的机器人系统及其操作方法
CN112247993B (zh) * 2020-04-15 2022-02-18 牧今科技 具有碰撞避免机制的机器人系统及其操作方法

Also Published As

Publication number Publication date
JP2002219684A (ja) 2002-08-06

Similar Documents

Publication Publication Date Title
JP4810953B2 (ja) 車両用死角映像表示装置
US7382400B2 (en) Image stabilization system and method for a video camera
US20060139484A1 (en) Method for controlling privacy mask display
US20040179729A1 (en) Measurement system
JP4427905B2 (ja) ロボット監視システム
JP5145664B2 (ja) 遠隔指示システム
JP5141137B2 (ja) カメラ制御方法、カメラ制御装置、カメラ制御プログラムおよびカメラシステム
JP2020040184A5 (ja) ロボットシステム、ロボットシステムの制御方法、物品の製造方法、制御装置、操作装置、撮像装置、制御プログラム及び記録媒体
JP2000083243A (ja) 撮像装置、撮像システム、撮像制御方法、及び記憶媒体
JP3135559B2 (ja) 監視装置
JP2006033188A (ja) 監視装置および監視方法
JPH0875462A (ja) 両眼立体視装置
JP4063604B2 (ja) 監視カメラ装置
JP2005051612A (ja) 撮像装置及び撮像方法
KR100761817B1 (ko) 움직이는 물체를 효율적으로 추적하는 감시용 카메라시스템 및 그 제어 방법
JP2009157446A (ja) 監視システム
JP2000101990A (ja) 監視カメラ装置
JPH0863133A (ja) プラント監視装置
JP2011188147A (ja) 監視システム及び監視方法
JP2763169B2 (ja) プラントの異常検知装置
JP2004266633A (ja) 撮影装置
JPH07162730A (ja) 移動体撮像装置
JP7488211B2 (ja) 監視システムおよび監視システムの制御方法
KR101228339B1 (ko) 이축 구동 시스템 및 이축 회전 기구의 제어 방법
JP2006115080A (ja) 監視カメラ制御装置および監視カメラシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091124

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121225

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4427905

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091207

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121225

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121225

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121225

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131225

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term