JP4338657B2 - Moving body overturn prevention device, method for supporting moving body, and program - Google Patents

Moving body overturn prevention device, method for supporting moving body, and program Download PDF

Info

Publication number
JP4338657B2
JP4338657B2 JP2005037697A JP2005037697A JP4338657B2 JP 4338657 B2 JP4338657 B2 JP 4338657B2 JP 2005037697 A JP2005037697 A JP 2005037697A JP 2005037697 A JP2005037697 A JP 2005037697A JP 4338657 B2 JP4338657 B2 JP 4338657B2
Authority
JP
Japan
Prior art keywords
wire
moving body
imaging unit
contraction mechanisms
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005037697A
Other languages
Japanese (ja)
Other versions
JP2006224202A (en
Inventor
宏幸 平林
一也 佐々木
茂 橋爪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Uchida Yoko Co Ltd
Original Assignee
Uchida Yoko Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Uchida Yoko Co Ltd filed Critical Uchida Yoko Co Ltd
Priority to JP2005037697A priority Critical patent/JP4338657B2/en
Publication of JP2006224202A publication Critical patent/JP2006224202A/en
Application granted granted Critical
Publication of JP4338657B2 publication Critical patent/JP4338657B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)
  • Toys (AREA)

Description

本発明は、ヒューマノイドロボット、2足歩行ロボットを含む移動体の転倒防止のための装置及び移動体を支える方法並びに当該方法をコンピュータに実行させるためのプログラムに関する。   The present invention relates to an apparatus for preventing a moving body including a humanoid robot and a biped walking robot, a method for supporting the moving body, and a program for causing a computer to execute the method.

特開2004−90126号公報JP 2004-90126 A 特開2004−267544公報JP 2004-267544 A

特許文献1は、移動ロボットの上部を、該移動ロボットの上方に設置された走行レールに沿って走行するホイストに繰り出し巻き取り自在に巻回されたワイヤの下端部に連結し、前記移動ロボットとホイストとが前記ワイヤを介して連携移動せしめるようにした移動ロボットの転倒防止方法において、前記移動ロボットを2軸方向に移動せしめ、前記ホイストを、前記移動ロボットの移動検知信号あるいは移動設定信号により該移動ロボットの移動に追従させて前記2軸方向に走行させることを特徴とするホイストにワイヤを介して連携移動される移動ロボットを該移動ロボットに無用な外力を加えることなく正確に連携移動せしめ得るとともに、該移動ロボットの転倒予知を正確に成し得るようにして、移動ロボットの転倒の発生を防止できる移動ロボットの転倒防止方法及びその装置を開示する。   Patent Document 1 connects an upper part of a mobile robot to a lower end portion of a wire wound around a hoist that runs along a running rail installed above the mobile robot so as to be freely wound and wound. In the method for preventing the mobile robot from falling over, the hoist is moved in cooperation with the wire through the wire, the mobile robot is moved in two axial directions, and the hoist is moved by the movement detection signal or the movement setting signal of the mobile robot. A mobile robot that is moved in cooperation with a hoist through a wire, following the movement of the mobile robot, can be moved in a coordinated manner without applying unnecessary external force to the mobile robot. At the same time, it is possible to accurately predict the fall of the mobile robot and prevent the mobile robot from falling. The fall prevention method and apparatus of a mobile robot is disclosed that.

特許文献2は、移動式一点吊装置において、移動部のリール中心からフック先端までの長さを変化させることなくフックの吊り下げ位置を移動できるようにする装置を開示する。   Japanese Patent Application Laid-Open No. 2004-228688 discloses a device that enables a hook hanging position to be moved without changing a length from a reel center of a moving unit to a tip of a hook in a movable one-point hanging device.

しかしながら、上記従来の技術は、いずれも巻き上げリールが水平方向に移動し、高さ方向はリールでフックを巻き上げる構造のものである。これらの構造は古典的なX軸とY軸の水平移動とZ軸での巻き上げ垂直移動制御である。   However, all of the above conventional techniques have a structure in which the take-up reel moves in the horizontal direction and the hook is wound up with the reel in the height direction. These structures are classical X-axis and Y-axis horizontal movement and Z-axis winding vertical movement control.

2足歩行自律動作(歩行、屈伸、お辞儀、階段昇降等)を行うヒューマノイドロボットを演技させるにおいて、現状ではその稼動条件が厳しく、しかもその動作が不安定で、床に塵があるだけでも転倒することがある。転倒を防止するため、ロボットの移動にクレーンを追従させてロボットの転倒を防止する必要がある。   In performing a humanoid robot that performs bipedal autonomous movement (walking, bending, bowing, stair climbing, etc.), the current operating conditions are harsh and the operation is unstable, and even if there is dust on the floor, it falls down Sometimes. In order to prevent the robot from toppling over, it is necessary to make the crane follow the movement of the robot to prevent the robot from toppling over.

特許文献1や2に記載された従来の技術は、古典的なX軸とY軸の水平移動とZ軸での巻き上げ垂直移動制御方式のクレーンである。ヒューマノイドロボットのような先端技術のロボットを演技させる場合、顧客によってはこのような古典的な制御方法でなされた装置は先端技術のロボットには不釣合いで好まないため、先進的で斬新なロボットの転倒防止装置制御システムが求められる。   The conventional techniques described in Patent Documents 1 and 2 are classic X-axis and Y-axis horizontal movement and Z-axis hoisting vertical movement control type cranes. When a high-tech robot such as a humanoid robot is to be performed, a device made by such a classic control method is not suitable for a high-tech robot because some customers do not like it. A fall prevention device control system is required.

また、古典的なX軸とY軸の水平移動とZ軸での巻き上げ垂直移動制御システムはいわゆる天井クレーンのように天井に大掛かりな駆動レール等が必要であり、舞台の演出上または建造物の構造的にそのような天井クレーン様の装置が設置不可能な場合がある。   In addition, the classic X-axis and Y-axis horizontal movement and Z-axis hoisting vertical movement control systems require large drive rails on the ceiling like so-called overhead cranes. Structurally, such overhead crane-like devices may not be installable.

本発明は、このような要望に応えることのできる制御システムである。   The present invention is a control system that can meet such demands.

本発明は上記課題を解決するためになされたもので、本発明は、舞台上の空間の任意の位置座標XYZが3固定点からの距離が分かれば算出できることを利用し少なくとも3本のワイヤを制御するものであり、天井に大掛かりな駆動レール等を必要とせず、しかも従来に無い先進的で斬新なものである。具体的には、天井の3点を基準点として3本のワイヤの長さを制御し、ワイヤの交点をXYZの3次元で同時に空間移動制御させるシステムであり、ワイヤの交点部分に取り付けた撮像部で取得した画像を処理することによりヒューマノイドロボット等の追従対象物(移動体)を認識し、撮像部からのXYZの偏差求め、対象物への追従制御を行う。   The present invention has been made in order to solve the above-mentioned problems. The present invention uses at least three wires by utilizing the fact that an arbitrary position coordinate XYZ in a space on the stage can be calculated if the distance from three fixed points is known. It is controlled and does not require a large drive rail or the like on the ceiling, and it is an advanced and innovative one that has never existed before. Specifically, it is a system that controls the length of three wires using three points on the ceiling as reference points, and controls the spatial movement of the wire intersections in three dimensions of XYZ at the same time. The tracking object (moving body) such as a humanoid robot is recognized by processing the image acquired by the unit, the XYZ deviation from the imaging unit is obtained, and the tracking control to the object is performed.

この発明に係る移動体の転倒防止装置は、ワイヤを繰り出したり引き込むためのワイヤ伸縮機構を少なくとも3つ備え、複数の前記ワイヤ伸縮機構はそれぞれ異なる位置に設けられ、
さらに、複数の前記ワイヤ伸縮機構からの複数のワイヤに接続された交点部と、前記交点部に設けられてその下方を撮影する撮像部と、一端が前記交点部に接続され、他端が前記交点部の下方に位置する移動体に接続された移動体吊り上げ用ワイヤと、複数の前記ワイヤ伸縮機構を制御する制御部とを備え、
前記制御部は、前記撮像部で撮影した前記移動体の画像に基づき前記移動体と前記撮像部の相対位置関係を求め、求めた相対位置関係に基づき複数の前記ワイヤ伸縮機構の全部又は一部を駆動して、前記交点部が前記移動体の動きに追従するように制御するものである。
The overturn prevention device for a moving body according to the present invention includes at least three wire expansion / contraction mechanisms for feeding and drawing a wire, and the plurality of wire expansion / contraction mechanisms are provided at different positions, respectively.
Further, an intersection point connected to a plurality of wires from the plurality of wire expansion and contraction mechanisms, an imaging unit provided at the intersection point and photographing the lower side, one end connected to the intersection point, and the other end to the intersection point A moving body lifting wire connected to the moving body located below the intersection, and a control unit for controlling the plurality of wire expansion and contraction mechanisms,
The control unit obtains a relative positional relationship between the moving body and the imaging unit based on the image of the moving body captured by the imaging unit, and all or part of the plurality of wire expansion / contraction mechanisms based on the obtained relative positional relationship. To control the intersection portion to follow the movement of the moving body.

好ましくは、複数の前記ワイヤ伸縮機構からの複数のワイヤの前記交点部への接続位置関係を、複数の前記ワイヤ伸縮機構の位置関係の相似形にする。   Preferably, the connection positional relationship of the plurality of wires from the plurality of wire expansion / contraction mechanisms to the intersection portion is similar to the positional relationship of the plurality of wire expansion / contraction mechanisms.

前記制御部は、
前記撮像部で取得した前記移動体の画像に基づき、前記移動体もしくはその一部の画像の重心位置を求め、これと予め与えられた前記撮像部から前記移動体までの距離及び前記撮像部の倍率に基づき、前記撮像部と前記移動体間の相対的な水平位置関係(dx,dy)を算出し、
複数の前記ワイヤ伸縮機構から前記交点部までの各ワイヤの線長と予め定められた各ワイヤの始点座標(X1,Y1,Z1)、(X2,Y2,Z2)、(X3、Y3,Z3)に基づき、前記撮像部の座標(Xe,Ye,Ze)を算出し、
算出された座標(Xe,Ye)に相対的な水平位置関係(dx,dy)を加算して目的位置座標(Xd,Yd,Zd)を求め、
目的位置座標(Xd,Yd,Zd)と各ワイヤの始点座標(X1,Y1,Z1)、(X2,Y2,Z2)、(X3、Y3,Z3)に基づき、目的位置座標(Xd,Yd,Zd)での各ワイヤの線長を算出し、
複数の前記ワイヤ伸縮機構から前記交点部までの各ワイヤの線長が、それぞれ算出された線長になるように複数の前記ワイヤ伸縮機構を制御するものである。
The controller is
Based on the image of the moving body acquired by the imaging unit, the center of gravity position of the moving body or a part of the image is obtained, and the distance from the imaging unit to the moving body given in advance and the position of the imaging unit Based on the magnification, a relative horizontal positional relationship (dx, dy) between the imaging unit and the moving body is calculated,
The wire length from each of the plurality of wire expansion / contraction mechanisms to the intersection and the predetermined start point coordinates (X1, Y1, Z1), (X2, Y2, Z2), (X3, Y3, Z3) of each wire Based on the above, the coordinates (Xe, Ye, Ze) of the imaging unit are calculated,
Add the relative horizontal positional relationship (dx, dy) to the calculated coordinates (Xe, Ye) to obtain the target position coordinates (Xd, Yd, Zd),
Based on the target position coordinates (Xd, Yd, Zd) and the start point coordinates (X1, Y1, Z1), (X2, Y2, Z2), (X3, Y3, Z3) of each wire, the target position coordinates (Xd, Yd, Zd) to calculate the wire length of each wire
The plurality of wire expansion / contraction mechanisms are controlled such that the wire lengths of the wires from the plurality of wire expansion / contraction mechanisms to the intersections are respectively calculated line lengths.

前記制御部は、前記撮像部で取得した前記移動体の画像の大きさと予め定められた前記撮像部の倍率に基づき、前記撮像部から前記移動体までの距離dzを算出し、この距離dzと前記撮像部のZ座標Zeに基づき、前記移動体と前記撮像部の間の距離を一定にするように、複数の前記ワイヤ伸縮機構を制御してもよい。   The control unit calculates a distance dz from the imaging unit to the moving body based on a size of the image of the moving body acquired by the imaging unit and a predetermined magnification of the imaging unit, and the distance dz The plurality of wire expansion and contraction mechanisms may be controlled so that the distance between the moving body and the imaging unit is constant based on the Z coordinate Ze of the imaging unit.

前記制御部は、前記撮像部の座標(Xe,Ye,Ze)、目的位置座標(Xd,Yd,Zd)、相対的な水平位置関係(dx,dy)及び前記撮像部から前記移動体までの距離dzの全部又は一部がそれぞれ予め定められた範囲を超えたとき、前記移動体に停止命令又は減速命令を送るようにしてもよい。   The control unit includes coordinates of the imaging unit (Xe, Ye, Ze), target position coordinates (Xd, Yd, Zd), a relative horizontal positional relationship (dx, dy), and from the imaging unit to the moving body. When all or part of the distance dz exceeds a predetermined range, a stop command or a deceleration command may be sent to the moving body.

前記制御部は、前記撮像部で取得した前記移動体の画像画像に基づき、前記移動体が転倒したと判断したとき、又は、外部から前記移動体の転倒を示す信号を受けたときの何れかの場合に、前記交点部の追従を停止させるか、又は、前記交点部を上昇させるように、複数の前記ワイヤ伸縮機構を制御するようにしてもよい。   When the control unit determines that the moving body has fallen based on the image of the moving body acquired by the imaging unit, or receives a signal indicating the falling of the moving body from the outside In this case, the plurality of wire expansion / contraction mechanisms may be controlled so as to stop following the intersection or raise the intersection.

この発明は、ワイヤを繰り出したり引き込むためのワイヤ伸縮機構を少なくとも3つ備え、複数の前記ワイヤ伸縮機構はそれぞれ異なる位置に設けられ、
さらに、複数の前記ワイヤ伸縮機構からの複数のワイヤに接続された交点部と、前記交点部に設けられてその下方を撮影する撮像部と、一端が前記交点部に接続され、他端が前記交点部の下方に位置する移動体に接続された移動体吊り上げ用ワイヤと、を備える装置により前記移動体を支える方法であって、
前記撮像部で取得した前記移動体の画像に基づき、前記移動体もしくはその一部の画像の重心位置を求め、これと予め与えられた前記撮像部から前記移動体までの距離及び前記撮像部の倍率に基づき、前記撮像部と前記移動体間の相対的な水平位置関係(dx,dy)を算出するステップと、
複数の前記ワイヤ伸縮機構から前記交点部までの各ワイヤの線長と予め定められた各ワイヤの始点座標(X1,Y1,Z1)、(X2,Y2,Z2)、(X3、Y3,Z3)に基づき、前記撮像部の座標(Xe,Ye,Ze)を算出するステップと、
算出された座標(Xe,Ye)に相対的な水平位置関係(dx,dy)を加算して目的位置座標(Xd,Yd,Zd)を求めるステップと、
目的位置座標(Xd,Yd,Zd)と各ワイヤの始点座標(X1,Y1,Z1)、(X2,Y2,Z2)、(X3、Y3,Z3)に基づき、目的位置座標(Xd,Yd,Zd)での各ワイヤの線長を算出するステップと、
複数の前記ワイヤ伸縮機構から前記交点部までの各ワイヤの線長が、それぞれ算出された線長になるように複数の前記ワイヤ伸縮機構を制御するステップと、を備えるものである。
The present invention includes at least three wire expansion / contraction mechanisms for feeding and drawing the wire, and the plurality of wire expansion / contraction mechanisms are provided at different positions, respectively.
Further, an intersection point connected to a plurality of wires from the plurality of wire expansion and contraction mechanisms, an imaging unit provided at the intersection point and photographing the lower side, one end connected to the intersection point, and the other end to the intersection point A moving body lifting wire connected to the moving body located below the intersection, and a method of supporting the moving body by a device comprising:
Based on the image of the moving body acquired by the imaging unit, the center of gravity position of the moving body or a part of the image is obtained, and the distance from the imaging unit to the moving body given in advance and the position of the imaging unit Calculating a relative horizontal positional relationship (dx, dy) between the imaging unit and the moving body based on a magnification;
The wire length from each of the plurality of wire expansion / contraction mechanisms to the intersection and the predetermined start point coordinates (X1, Y1, Z1), (X2, Y2, Z2), (X3, Y3, Z3) of each wire Calculating the coordinates (Xe, Ye, Ze) of the imaging unit based on
Adding a relative horizontal positional relationship (dx, dy) to the calculated coordinates (Xe, Ye) to obtain target position coordinates (Xd, Yd, Zd);
Based on the target position coordinates (Xd, Yd, Zd) and the start point coordinates (X1, Y1, Z1), (X2, Y2, Z2), (X3, Y3, Z3) of each wire, the target position coordinates (Xd, Yd, Calculating the wire length of each wire at Zd);
Controlling the plurality of wire expansion / contraction mechanisms such that the wire lengths of the wires from the plurality of wire expansion / contraction mechanisms to the intersections are respectively calculated line lengths.

この発明は、上記方法をコンピュータに実行させるためのプログラムである。
この発明に係るプログラムは、例えば、記録媒体に記録される。
媒体には、例えば、EPROMデバイス、フラッシュメモリデバイス、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、CD(CD−ROM、Video−CDを含む)、DVD(DVD−Video、DVD−ROM、DVD−RAMを含む)、ROMカートリッジ、バッテリバックアップ付きのRAMメモリカートリッジ、フラッシュメモリカートリッジ、不揮発性RAMカートリッジ等を含む。
The present invention is a program for causing a computer to execute the above method.
The program according to the present invention is recorded on a recording medium, for example.
Examples of the medium include EPROM device, flash memory device, flexible disk, hard disk, magnetic tape, magneto-optical disk, CD (including CD-ROM and Video-CD), DVD (DVD-Video, DVD-ROM, DVD- RAM), ROM cartridge, RAM memory cartridge with battery backup, flash memory cartridge, nonvolatile RAM cartridge, and the like.

媒体とは、何等かの物理的手段により情報(主にデジタルデータ、プログラム)が記録されているものであって、コンピュータ、専用プロセッサ等の処理装置に所定の機能を行わせることができるものである。   A medium is a medium in which information (mainly digital data, a program) is recorded by some physical means, and allows a processing device such as a computer or a dedicated processor to perform a predetermined function. is there.

現在実現されている大型二足歩行ロボット(移動体)は基本的に二足歩行が可能な製品であるが、何らかのトラブルによって転倒する可能性は皆無では無い。万一転倒した場合、装置そのものが受けるダメージが問題となる。そこで、ロボットが転倒しかかった時に、その状態を認識して防止する仕組みを備えることが好ましい。実際には、転倒しかかった時にロボット本体に取り付けたワイヤを上方から吊下げる方式が最も望ましいと考えられる。ワイヤの天井側吊り元を固定位置として検討すると、ロボットにとってはワイヤを引っ張って歩く事は外力を受ける事となり、歩行ためのバランス制御に支障を来たすことがある。また、吊り元(装置)が水平方向に可動式だとしてもロボットの歩行移動に連れて引っ張られるパッシブな方式では吊り元固定と同様に支障を来たす事が分かった。その点、本発明によれば上記のような問題は生じない。   Large biped robots (moving bodies) that are currently being implemented are basically products that can be biped, but there is no possibility of falling down due to some kind of trouble. In the event of a fall, damage to the device itself becomes a problem. Therefore, it is preferable to provide a mechanism for recognizing and preventing the state when the robot is about to fall down. Actually, it is considered most desirable to hang the wire attached to the robot body from above when it falls over. Considering the wire's ceiling-side suspension as a fixed position, for robots, walking by pulling the wire will receive external force, which may hinder balance control for walking. It was also found that even if the suspension base (device) is movable in the horizontal direction, the passive system that is pulled as the robot walks causes problems as well as the suspension base fixation. In that respect, according to the present invention, the above problems do not occur.

以下、本発明の実施の形態に係わる移動体の転倒を防止する制御システムについて説明する。本発明の実施の形態は、天井の3点を基準点とし、3本のワイヤの長さを制御し、ワイヤの交点をXYZの3次元で制御し、適宜空間移動させるシステムである。   Hereinafter, a control system for preventing the mobile body from overturning according to the embodiment of the present invention will be described. The embodiment of the present invention is a system in which three points on the ceiling are used as reference points, the lengths of three wires are controlled, the intersections of the wires are controlled in three dimensions of XYZ, and the space is moved appropriately.

図1は本システムの全体構成及びその使用状況を示す説明図である。本システムは、例えば博物館等に設置されロボットの操作を疑似体験できるものである。博物館等の広いホールに設けられたステージS上をロボット(移動体)7が自在に歩き、要求に応じて人形を抱きかかえたり、物品を取り上げ指定の場所に置いたりする。これらの動作は一種のデモンストレーションである。そのため、ロボット7の移動範囲は円形のステージSの中だけに限定されている。これに伴い本システムの作用範囲も限定されるが、上記用途では問題とはならない。   FIG. 1 is an explanatory diagram showing the overall configuration of the present system and the state of use thereof. This system is installed in a museum or the like, for example, and can experience a simulated operation of a robot. A robot (moving body) 7 freely walks on a stage S provided in a large hall such as a museum, and holds a doll or picks up an article and places it in a designated place as required. These actions are a kind of demonstration. For this reason, the movement range of the robot 7 is limited only within the circular stage S. Along with this, the working range of this system is also limited, but this is not a problem in the above applications.

ステージSの全範囲をロボット7が移動できるように、ステージSの外側に3つのワイヤ伸縮機構1乃至3が設けられている。ワイヤ伸縮機構1乃至3は、これらとステージSの中心を結ぶ線であって隣接する線の角度が概ね120度(等間隔)になるように設置されている。本発明はそのような角度に限定されないが、安定した制御を行うために120度が好ましい。ワイヤ伸縮機構1乃至3の高さはロボット7よりも十分高い位置(しかも観客に触れない程度の十分な高さ、例えば3乃至4m)である。   Three wire expansion / contraction mechanisms 1 to 3 are provided outside the stage S so that the robot 7 can move in the entire range of the stage S. The wire expansion / contraction mechanisms 1 to 3 are installed so that the angle between adjacent lines connecting these and the center of the stage S is approximately 120 degrees (equal intervals). The present invention is not limited to such an angle, but 120 degrees is preferable in order to perform stable control. The height of the wire expansion / contraction mechanisms 1 to 3 is a position sufficiently higher than the robot 7 (and is sufficiently high not to touch the audience, for example, 3 to 4 m).

ワイヤ伸縮機構1乃至3は、それぞれワイヤ121,221,321を伸ばしたり引っ込めたりすることができる(例えば、ワイヤを巻き取るリールを含む)。ワイヤ121,221,321の端は円盤4に結び付けられている。円盤4をワイヤの交点部と呼ぶことがある。ワイヤ伸縮機構1乃至3でワイヤ121,221,321を適宜伸ばしたり引っ込めたりすることで円盤4の位置及び高さを調整することができる。例えば、ワイヤ121,221,321を巻き取ることで適当な張力を与えれば円盤4の位置は高くなり(最高でワイヤ伸縮機構1乃至3の取り付け位置)、逆にワイヤ121,221,321を繰り出して緩めると円盤4の位置は低くなる(ステージSに触れるまで下げることができる)。また、ワイヤ121,221,321の一部を巻き取り、残りを繰り出すようにすれば、円盤4は巻き取った方のワイヤ伸縮機構に向かって移動する。   The wire expansion / contraction mechanisms 1 to 3 can extend and retract the wires 121, 221, and 321, respectively (for example, including a reel for winding the wire). The ends of the wires 121, 221 and 321 are connected to the disk 4. The disk 4 may be called a wire intersection. The position and height of the disk 4 can be adjusted by appropriately extending or retracting the wires 121, 221, and 321 with the wire expansion / contraction mechanisms 1 to 3. For example, if an appropriate tension is applied by winding the wires 121, 221, and 321, the position of the disk 4 becomes higher (up to the attachment position of the wire expansion / contraction mechanisms 1 to 3), and conversely, the wires 121, 221, and 321 are fed out. When loosened, the position of the disk 4 is lowered (can be lowered until the stage S is touched). Further, if a part of the wires 121, 221 and 321 is wound and the rest is fed out, the disk 4 moves toward the wound wire expansion / contraction mechanism.

円盤4にはロボット吊り上げ用ワイヤ61,62が取り付けられている。その他端はロボット7に接続されていて、ロボット7が転倒しそうになったときにそれを支えるように機能する。前述のように、円盤4の位置は制御可能であるので、ロボット7がステージS内を移動する限り追従可能である。しかも、円盤の高さも制御可能であるので、ロボット7がかがんだり、座ったり、立ったりといった動きにも追従可能である。   Robot lifting wires 61 and 62 are attached to the disk 4. The other end is connected to the robot 7 and functions to support it when the robot 7 is about to fall. As described above, since the position of the disk 4 can be controlled, it can follow as long as the robot 7 moves in the stage S. In addition, since the height of the disk can be controlled, the robot 7 can also follow movements such as bending, sitting, and standing.

図1の例では、ステージSの一部に設けられたコックピットCでロボット7の動きを操作することができる。当該動きに併せて本システムの円盤4は自動的にロボット7に追従する。その具体的な処理は後述する。   In the example of FIG. 1, the movement of the robot 7 can be operated by a cockpit C provided in a part of the stage S. The disk 4 of this system automatically follows the robot 7 along with the movement. Specific processing will be described later.

図2に円盤4の斜視図を示す。3本のワイヤ121,221,321及びロボット吊り上げ用ワイヤ61,62が結合されているのは前述した。円盤4の略中心に下に向けてデジタルカメラなどの撮像部51が設けられている。撮像部51は撮影可能範囲A内の画像を取得するものであるが、特にロボット7の画像を取得するためのものである。円盤4にはロボット吊り上げ用ワイヤ61,62が結合されているので円盤4の下にはロボット7が常に位置している。もっとも、円盤4の位置が低いときはロボット吊り上げ用ワイヤ61,62がたるみ、ロボット7は円盤4から多少離れることができるようになる。   FIG. 2 shows a perspective view of the disk 4. As described above, the three wires 121, 221 and 321 and the robot lifting wires 61 and 62 are combined. An imaging unit 51 such as a digital camera is provided at the approximate center of the disk 4 facing downward. The imaging unit 51 is for acquiring an image within the shootable range A, and is particularly for acquiring an image of the robot 7. Since the robot lifting wires 61 and 62 are coupled to the disk 4, the robot 7 is always positioned under the disk 4. However, when the position of the disk 4 is low, the robot lifting wires 61 and 62 are slack, and the robot 7 can be separated from the disk 4 somewhat.

図3に本発明の実施の形態に係るシステムのブロック図を示す。51は前述の撮像部、51aは撮像部51の取得した画像を無線などで送信する画像送信部、52は画像受信部、53は受信した画像を処理する画像処理部(具体的な処理内容は後述する)、100はCPU、1001はCPUの制御の基づきサーボモータの指令信号(指令パルス)を出力する指令パルス演算部である。   FIG. 3 shows a block diagram of a system according to the embodiment of the present invention. Reference numeral 51 denotes the above-described imaging unit, 51a denotes an image transmission unit that transmits an image acquired by the imaging unit 51 wirelessly, 52 denotes an image reception unit, and 53 denotes an image processing unit that processes the received image (specific processing contents are 100 is a CPU, and 1001 is a command pulse calculation unit that outputs a servo motor command signal (command pulse) under the control of the CPU.

本システムは、3つのワイヤ伸縮機構1,2,3を備え、それぞれを独立して制御している。   This system includes three wire expansion / contraction mechanisms 1, 2, and 3 and controls them independently.

ワイヤ伸縮機構1のために、第1サーボモータ制御部1011、第1サーボモータ11、第1ワイヤ伸張部12、第1線長検出器13が設けられている。第1サーボモータ11、第1ワイヤ伸張部12及び第1線長検出器13は、ワイヤ伸縮機構1を構成する。   For the wire expansion / contraction mechanism 1, a first servo motor control unit 1011, a first servo motor 11, a first wire extension unit 12, and a first line length detector 13 are provided. The first servo motor 11, the first wire extension unit 12, and the first line length detector 13 constitute the wire expansion / contraction mechanism 1.

ワイヤ伸縮機構2のために、第2サーボモータ制御部1012、第2サーボモータ21、第2ワイヤ伸張部22、第2線長検出器23が設けられている。第2サーボモータ21、第2ワイヤ伸張部22及び第2線長検出器23は、ワイヤ伸縮機構2を構成する。   For the wire expansion / contraction mechanism 2, a second servo motor control unit 1012, a second servo motor 21, a second wire extension unit 22, and a second line length detector 23 are provided. The second servo motor 21, the second wire extension unit 22, and the second line length detector 23 constitute the wire expansion / contraction mechanism 2.

ワイヤ伸縮機構3のために、第3サーボモータ制御部1013、第3サーボモータ31、第2ワイヤ伸張部32、第3線長検出器33が設けられている。第3サーボモータ31、第2ワイヤ伸張部32及び第3線長検出器33は、ワイヤ伸縮機構3を構成する。   For the wire expansion / contraction mechanism 3, a third servo motor control unit 1013, a third servo motor 31, a second wire extension unit 32, and a third wire length detector 33 are provided. The third servo motor 31, the second wire extension unit 32, and the third wire length detector 33 constitute the wire expansion / contraction mechanism 3.

上記サーボモータ制御部、サーボモータ及びワイヤ伸張部はいずれも公知のものであり、制御信号により指定の長さのワイヤを巻き取り又は繰り出す。線長検出器も公知のものであり繰り出しているワイヤの線長を検出する(例えば、図1でワイヤ伸縮機構から円盤4までのワイヤの線長を検出する)。   The servo motor control unit, the servo motor, and the wire extension unit are all known, and take up or feed out a wire having a specified length according to a control signal. The wire length detector is also known and detects the wire length of the wire being fed out (for example, the wire length from the wire expansion / contraction mechanism to the disk 4 is detected in FIG. 1).

図4は発明の実施の形態に係る方法の処理フローチャートである。
図5は発明の実施の形態に係る方法を説明するための座標系の説明図である。
図6は発明の実施の形態に係る方法を説明するための図である。
FIG. 4 is a process flowchart of a method according to an embodiment of the invention.
FIG. 5 is an explanatory diagram of a coordinate system for explaining the method according to the embodiment of the invention.
FIG. 6 is a diagram for explaining a method according to an embodiment of the invention.

図4乃至図6を参照して発明の実施の形態に係る処理を説明する。   The processing according to the embodiment of the invention will be described with reference to FIGS.

図4のS1:撮像部51でロボットもしくはその一部の画像を取得する。例えば、図6(a)に示すように、画像P内にロボット7が存在する。なお、座標軸X’,Y’やこれに付された記号は理解を助けるために示したもので、実際の画像Pには示されなくてもよいものである。なお、X’,Y’,Z’座標系は撮像部51を中心とするものである。X’,Y’,Z’座標系は図5のXYZ座標系を移動させたものであるが、各軸、すなわちX’軸とX軸と、Y’軸とY軸、Z’軸とZ軸は平行であって、座標系は回転していないことが好ましい。このようにすれば、撮像部51の回転の補正を行わなくてすむ。 S1: In FIG. 4, the image of the robot or a part thereof is acquired by the imaging unit 51. For example, the robot 7 exists in the image P as shown in FIG. Note that the coordinate axes X ′ and Y ′ and symbols attached thereto are shown to aid understanding, and may not be shown in the actual image P. The X ′, Y ′, Z ′ coordinate system is centered on the imaging unit 51. The X ′, Y ′, and Z ′ coordinate systems are obtained by moving the XYZ coordinate system of FIG. 5, but each axis, that is, the X ′ axis and the X axis, the Y ′ axis and the Y axis, and the Z ′ axis and the Z axis. The axes are preferably parallel and the coordinate system is not rotated. In this way, it is not necessary to correct the rotation of the imaging unit 51.

次に、撮像部51とロボット7間の相対的な水平位置関係(dx,dy)を算出するステップS2と撮像部51からロボット7までの距離dzを算出するステップについて説明を加える。なお、以下の説明においてS2からS3の順番で処理を行うように記載されているが、これは説明の便宜上の順序であり、実際にはS2とS3に順序をつける必要はない。
同S2:ロボットもしくはその一部の画像の重心位置、撮像部からロボットまでの距離及び撮像部の倍率に基づき、撮像部とロボット間の相対的な水平位置関係(dx,dy)を算出する。
Next, step S2 for calculating the relative horizontal positional relationship (dx, dy) between the imaging unit 51 and the robot 7 and the step for calculating the distance dz from the imaging unit 51 to the robot 7 will be described. In the following description, it is described that the processing is performed in the order of S2 to S3. However, this is an order for convenience of description, and it is not actually necessary to order S2 and S3.
S2: The relative horizontal positional relationship (dx, dy) between the imaging unit and the robot is calculated based on the position of the center of gravity of the image of the robot or a part thereof, the distance from the imaging unit to the robot, and the magnification of the imaging unit.

本システムで3つのワイヤ伸縮機構1乃至3が同一水平面に設置され、ロボット7が円盤4から垂直に吊り下げられているとして、図5に示すように水平方向をXY軸、垂直方向をZ軸で表すことにする。図5(a)は本システムの上面図、同図(b)は正面図である。同図(b)ではワイヤ伸縮機構3の表示を省略している。   In this system, assuming that the three wire expansion / contraction mechanisms 1 to 3 are installed on the same horizontal plane and the robot 7 is suspended vertically from the disk 4, the horizontal direction is the XY axis and the vertical direction is the Z axis as shown in FIG. It will be expressed as FIG. 5A is a top view of the system, and FIG. 5B is a front view. In FIG. 5B, the wire expansion / contraction mechanism 3 is not shown.

ここで、各ワイヤ121,221,321のワイヤの交点部4への接続位置が形成する三角形(X11,Y11,Z11)(X21,Y21,Z21)(X31,Y31,Z31)を、各ワイヤの始点座標(X1,Y1,Z1)、(X2,Y2,Z2)、(X3、Y3,Z3)のX,Y平面への写像(X1,Y1)、(X2,Y2)、(X3,Y3)が形成する三角形の相似形にすると、交点部4の撮像部51を常に一定方向に向かせることができる。すなわち、三角形(X11,Y11,Z11)(X21,Y21,Z21)(X31,Y31,Z31)のワイヤの交点部4に設置する撮像部51の撮像方向が常に一定方向を向くようになる。これにより、常に撮像部51の撮像画像の座標軸方向を3つのワイヤ伸縮機構1乃至3の座標軸との方向を常に一定にすることができる。但し完全な相似形にしなくても、誤差に応じておおむね同一方向を向かすことはできる。またワイヤの交点部4の重量をワイヤの重量より十分に大きくし、ワイヤの交点部4の三角形を各ワイヤの始点座標(X1,Y1,Z1)、(X2,Y2,Z2)、(X3、Y3,Z3)のX,Y平面への写像(X1,Y1)、(X2,Y2)、(X3,Y3)が形成する三角形に比して十分に小さくすると、ワイヤの交点部4の高さを含んだ空間座標が変化してもワイヤの交点部4はほぼ水平に吊り下げられ、撮像部51は常に下を向き撮像部51のZ軸方向も一定に保つことができる。   Here, the triangles (X11, Y11, Z11) (X21, Y21, Z21) (X31, Y31, Z31) formed by the connection positions of the wires 121, 221 and 321 to the intersections 4 of the wires are replaced by the respective wires. Mapping of start point coordinates (X1, Y1, Z1), (X2, Y2, Z2), (X3, Y3, Z3) to the X, Y plane (X1, Y1), (X2, Y2), (X3, Y3) If the shape is similar to the triangle formed by, the imaging unit 51 of the intersection 4 can always be directed in a certain direction. In other words, the imaging direction of the imaging unit 51 installed at the intersection 4 of the wires of the triangles (X11, Y11, Z11) (X21, Y21, Z21) (X31, Y31, Z31) always faces a certain direction. Thereby, the coordinate axis direction of the captured image of the imaging part 51 can always be made constant with the coordinate axes of the three wire expansion / contraction mechanisms 1 to 3. However, even if they are not completely similar, they can be directed in the same direction depending on the error. Further, the weight of the wire intersection 4 is sufficiently larger than the weight of the wire, and the triangle of the wire intersection 4 is defined as the starting point coordinates (X1, Y1, Z1), (X2, Y2, Z2), (X3, If the mapping of X3, Y3) to the X, Y plane (X1, Y1), (X2, Y2), (X3, Y3) is sufficiently smaller than the triangle formed, the height of the intersection 4 of the wires Even if the spatial coordinates including the angle change, the wire intersection point 4 is suspended substantially horizontally, and the imaging unit 51 can always face downward and keep the Z-axis direction of the imaging unit 51 constant.

ロボットもしくはその一部の画像を撮像し、その画像の重心の位置と撮像部からロボットまでの距離(予め距離は設定されている。ロボット吊り上げ用ワイヤ61、62の長さよりも短い)と撮像部51の倍率に基づき、X’,Y’,Z’座標系における撮像部51とロボットの相対的な水平位置関係(dx,dy)を算出する(図6(a))。ロボットまでの距離と撮像部51の倍率が一定であれば、画像P上の画素ごとに水平位置関係(dx,dy)を予め決めておくことができる。あるいは、画像P上の画素の位置を、ロボットまでの距離と撮像部51の倍率に基づき水平位置関係(dx,dy)に変換することができる。ロボットまでの基準距離と撮像部51の倍率の情報は予め画像処理部53やCPU100に与えられている。このシーケンスでは、Z方向の正確な距離が得られておらず、撮像部51すなわちカメラとロボット7の間の予め想定した距離を元に計算している。そのため、dxとdyは厳密には不正確なものであるが近似値としては十分に利用でき、その方向に移動するように制御すれば、その目的地に収束するようになる。   An image of the robot or a part of the robot is captured, the position of the center of gravity of the image, the distance from the imaging unit to the robot (the distance is set in advance, shorter than the length of the robot lifting wires 61 and 62), and the imaging unit Based on the magnification of 51, the relative horizontal positional relationship (dx, dy) between the imaging unit 51 and the robot in the X ′, Y ′, Z ′ coordinate system is calculated (FIG. 6A). If the distance to the robot and the magnification of the imaging unit 51 are constant, the horizontal positional relationship (dx, dy) can be determined in advance for each pixel on the image P. Alternatively, the pixel position on the image P can be converted into a horizontal positional relationship (dx, dy) based on the distance to the robot and the magnification of the imaging unit 51. Information about the reference distance to the robot and the magnification of the imaging unit 51 is given to the image processing unit 53 and the CPU 100 in advance. In this sequence, an accurate distance in the Z direction is not obtained, and the calculation is based on a distance assumed in advance between the imaging unit 51, that is, the camera and the robot 7. For this reason, although dx and dy are strictly inaccurate, they can be sufficiently used as approximate values, and if they are controlled to move in that direction, they converge to their destinations.

同S3:画像の大きさと撮像部の倍率に基づき撮像部からロボットまでの基準距離からの偏差dzを算出する。(2台の撮像部で被写体の角度から偏差を求めても良い)ロボット吊り上げ用ワイヤ61、62がぴんと張っているときは、その長さと(dx,dy)からdzを求めることができる(図6(b))。S4と同様に、画像の大きさと撮像部の倍率とから逆算して撮像部からロボットまでの基準距離からの偏差dzを算出することも可能である。なお偏差dzを用いなくても、以下のS4乃至S7の処理は可能である。 S3: Based on the size of the image and the magnification of the imaging unit, a deviation dz from the reference distance from the imaging unit to the robot is calculated. (The deviation may be obtained from the angle of the subject with the two imaging units) When the robot lifting wires 61 and 62 are tight, dz can be obtained from the length and (dx, dy) (FIG. 6 (b)). Similarly to S4, it is also possible to calculate the deviation dz from the reference distance from the imaging unit to the robot by calculating backward from the image size and the magnification of the imaging unit. Even if the deviation dz is not used, the following processes of S4 to S7 are possible.

同S4:各ワイヤの線長W1e,W2e,W3eと各ワイヤの始点座標(X1,Y1,Z1)、(X2,Y2,Z2)、(X3、Y3,Z3)に基づき、撮像部の座標(Xe,Ye,Ze)を算出する。 S4: Based on the wire lengths W1e, W2e, W3e of each wire and the starting point coordinates (X1, Y1, Z1), (X2, Y2, Z2), (X3, Y3, Z3) of each wire, the coordinates of the imaging unit ( Xe, Ye, Ze) is calculated.

各ワイヤ121,221,321の線長をそれぞれW1e,W2e,W3e、各ワイヤの伸張部12,22,32におけるそれぞれのワイヤの始点座標(X1,Y1,Z1)、(X2,Y2,Z2)、(X3、Y3,Z3)によりワイヤの交点部4に取り付けた撮像部51の座標(Xe,Ye,Ze)を算出できる。なお、モデルの理解を容易にするため、各ワイヤ121,221,321の張力が無限大で、ワイヤの交点部4やワイヤ61,62の重量を無視すれば、ワイヤの交点部4はワイヤ伸縮機構1乃至3から半径W1e,W2e,W3e、の円の交点として算出できる(Ze=0と仮定した場合)。現実の立体空間に有っても、同様にワイヤの始点座標(X1,Y1,Z1)、(X2,Y2,Z2)、(X3、Y3,Z3)から半径W1e,W2e,W3e、の球体の交点として交点部4に取り付けた撮像部51の座標(Xe,Ye,Ze)を算出できる。   The wire lengths of the wires 121, 221 and 321 are W1e, W2e and W3e, respectively, and the starting point coordinates (X1, Y1, Z1) and (X2, Y2, Z2) of the respective wires in the extending portions 12, 22, and 32 of the wires. , (X3, Y3, Z3), the coordinates (Xe, Ye, Ze) of the imaging unit 51 attached to the wire intersection point 4 can be calculated. In order to facilitate understanding of the model, if the tension of the wires 121, 221 and 321 is infinite, and the weight of the wire intersections 4 and the wires 61 and 62 is ignored, the wire intersections 4 are expanded and contracted. It can be calculated from the mechanisms 1 to 3 as an intersection of circles having radii W1e, W2e, and W3e (assuming that Ze = 0). Even in the real three-dimensional space, the spheres having radii W1e, W2e, W3e from the start point coordinates (X1, Y1, Z1), (X2, Y2, Z2), (X3, Y3, Z3) of the wire are similarly obtained. The coordinates (Xe, Ye, Ze) of the imaging unit 51 attached to the intersection part 4 can be calculated as an intersection.

同S5:算出された座標Xe,YeにS2で算出した(dx,dy)を加算して、ワイヤの交点部4がロボットの真上に移動するための目的位置座標(Xd,Yd,Zd)を求める。
このとき、Zdに一定の数値を代入すると(Zdが一定の数値になるように制御すると)撮像部51が天井あるいは床から常に一定高さになるように追従する。
また、ZeにZ軸方向の偏差dzを加算してZdに代入すると、ロボットと一定距離になるように追従する。さらに、一定値にdzを加算してZdに代入するような制御等様々な制御が可能である。
Same as S5: (dx, dy) calculated in S2 is added to the calculated coordinates Xe, Ye, and the target position coordinates (Xd, Yd, Zd) for the wire intersection point 4 to move right above the robot Ask for.
At this time, if a constant value is substituted for Zd (when Zd is controlled to be a constant value), the imaging unit 51 follows from the ceiling or the floor so as to always have a constant height.
Further, when the deviation dz in the Z-axis direction is added to Ze and substituted for Zd, the robot follows the robot so as to be a constant distance. Further, various controls such as a control in which dz is added to a constant value and substituted for Zd are possible.

目的位置座標(Xd,Yd,Zd)は、図6のdx、dyを図5のXYZ座標系で表現したものである。なお、ロボット7の姿勢が変化しないためワイヤの交点部4の高さが変わらないとき、Zd=Zeである。   The target position coordinates (Xd, Yd, Zd) are obtained by expressing dx and dy in FIG. 6 in the XYZ coordinate system in FIG. When the height of the wire intersection point 4 does not change because the posture of the robot 7 does not change, Zd = Ze.

同S6:(Xd,Yd,Zd)と各ワイヤの始点座標(X1,Y1,Z1)、(X2,Y2,Z2)、(X3、Y3,Z3)に基づき、目的位置座標(Xd,Yd,Zd)での各ワイヤの線長W1c,W2c,W3c(目的地の線長)を算出する。2つの座標間の距離は簡単な数式で算出することができる。 S6: Based on (Xd, Yd, Zd) and the starting point coordinates (X1, Y1, Z1), (X2, Y2, Z2), (X3, Y3, Z3) of each wire, the target position coordinates (Xd, Yd, The line lengths W1c, W2c, W3c (the line length of the destination) of each wire at Zd) are calculated. The distance between two coordinates can be calculated with a simple mathematical formula.

同S7:各ワイヤがそれぞれW1c,W2c,W3c(目的地の線長)になるように、CPU100でサーボモータを制御する。 S7: The servo motor is controlled by the CPU 100 so that each wire becomes W1c, W2c, and W3c (wire length of the destination).

上記S1乃至S7の処理により、ロボット7の移動に合わせてワイヤの交点部4を追従させることができる。ロボット7が一定範囲内を移動する限り、ロボット7が倒れそうになったときにロボット吊り上げ用ワイヤ61,62で支え、ロボット7の転倒を防止することができる。   By the processes of S1 to S7, the wire intersection point 4 can be made to follow the movement of the robot 7. As long as the robot 7 moves within a certain range, the robot 7 can be supported by the robot lifting wires 61 and 62 when the robot 7 is about to fall, and the robot 7 can be prevented from falling.

上記S1乃至S7の処理において、Zdに常に一定の値にすると、垂直方向の基準から一定高さでの追従が可能である。   In the processing of S1 to S7, if Zd is always a constant value, it is possible to follow at a constant height from the reference in the vertical direction.

一方で、dzとZeを利用してロボット7の高低が変動しても撮像部51の距離を一定にするような追従制御も可能である。例えば、dzがマイナスであれば(移動体が立ち上がって交点部4に近づいたら)、その分Zeを増加させる(交点部4を上昇させる)。dzがプラスであれば、逆にZeを減少させる。(但しプラスマイナスはZ軸の定義により、反転する)   On the other hand, follow-up control that makes the distance of the imaging unit 51 constant even when the height of the robot 7 fluctuates using dz and Ze is possible. For example, if dz is negative (if the moving body rises and approaches the intersection point 4), Ze is increased by that amount (the intersection point 4 is raised). If dz is positive, Ze is decreased. (However, plus and minus are reversed according to the definition of the Z axis)

また、階段昇降や御辞儀、屈伸等の動作に応じて、外部からZdの値を制御してもよい。   Further, the value of Zd may be controlled from the outside in accordance with operations such as up and down stairs, bowing, bending and stretching.

また、(Xe,Ye,Ze)あるいは(Xd,Yd,Zd)、(dx,dy)やdzによりロボット7がある範囲を超える場合はロボットに停止命令や減速命令を出すことも可能である。例えば、図1のステージSの領域をXYZ座標系で予め定義しておき、(Xe、Ye)又は(Xd,Yd)が当該領域を外れたときにロボットに停止命令や減速命令を出す。または、(dx,dy)が予め定めた大きさよりも大きくなったら(ロボット7の移動速度が大きくなりすぎたような場合に)ロボットに停止命令や減速命令を出す。あるいは、dzが予め定めた値よりも小さくなったら(ロボットが円盤4に近づきすぎたような場合に)ロボットに停止命令や減速命令を出す。   Further, when the robot 7 exceeds a certain range due to (Xe, Ye, Ze) or (Xd, Yd, Zd), (dx, dy) or dz, a stop command or a deceleration command can be issued to the robot. For example, the area of the stage S in FIG. 1 is defined in advance in the XYZ coordinate system, and a stop command or a deceleration command is issued to the robot when (Xe, Ye) or (Xd, Yd) deviates from the area. Alternatively, when (dx, dy) is larger than a predetermined size (when the moving speed of the robot 7 becomes too high), a stop command or a deceleration command is issued to the robot. Alternatively, when dz becomes smaller than a predetermined value (when the robot is too close to the disk 4), a stop command or a deceleration command is issued to the robot.

また、ロボット7の転倒の判断は画像認識、ロボット7からの信号、図示しない外部の撮像部、ロボット吊り上げ用ワイヤ61、62の張力を検知するセンサ等、各種の方法で判断可能であり、転倒時に本システムを停止させる、あるいは上昇させてロボット7を吊り上げることも可能である。画像部51で取得した画像に基づきロボット7の転倒を判断するには、例えば、ロボット7の画像の大きさが予め定められた閾値よりも大きくなったことで判断する。ロボット7が転倒すると横向きになり、その結果、ロボット7の画像の面積が著しく増加する。またLED等の発光素子をロボット7の頭頂に複数設け、ロボット7を撮像し2値化処理したときに複数の発光素子により囲まれる画像が一定面積以下になった場合に転倒した判断するようにしてもよい。   The determination of the fall of the robot 7 can be made by various methods such as image recognition, a signal from the robot 7, an external imaging unit (not shown), a sensor for detecting the tension of the robot lifting wires 61 and 62, and the like. Sometimes the system can be stopped or raised to lift the robot 7. In order to determine the fall of the robot 7 based on the image acquired by the image unit 51, for example, it is determined that the size of the image of the robot 7 is larger than a predetermined threshold. When the robot 7 falls down, it becomes sideways, and as a result, the area of the image of the robot 7 increases remarkably. Also, a plurality of light emitting elements such as LEDs are provided on the top of the robot 7, and when the robot 7 is imaged and binarized, an image surrounded by the plurality of light emitting elements is determined to fall over a certain area. May be.

本発明は、天井の3点を基準点として、3本のワイヤの巻き取り装置で、ワイヤの交点をXYZの3次元で同時に空間移動制御させるシステムであるため、天井に大掛かりな駆動レール等を不用とし、従来設置不可能であった場所にも設置可能になった。   Since the present invention is a system that controls the spatial movement of three wire XYZ at the same time in three dimensions of XYZ using a three-wire winding device with three points on the ceiling as a reference point, a large drive rail or the like is provided on the ceiling. It can be installed in places where it was impossible to install.

しかも細い3本のワイヤの交点部を円盤状にするとあたかもロボットの頭上でUFOが飛んでいるようで、近未来的なヒューマノイドロボットに釣り合った斬新で画期的な転倒防止装置を提供できる。   Moreover, when the intersection of the three thin wires is shaped like a disk, it seems as if the UFO is flying over the robot's head, and it can provide a novel and innovative fall prevention device that is balanced with a futuristic humanoid robot.

また本発明により、従来天井に大掛かりな駆動レール等が取り付け不可能であった病院やリハビリセンターにおいても比較的容易で省スペースに設置可能であり、サーボモータを使用した場合吊り上げトルクを容易に一定にすることが可能で、ロボット吊り上げ用ワイヤ61、62のたるみをなくし、人を一定のトルクで若干体重を浮かすように制御可能である。その場合体重が足腰に掛かる負担を軽減し、部屋の中を自由に歩行訓練できるシステムも提供できる。   In addition, according to the present invention, it can be installed relatively easily and in a space-saving manner in hospitals and rehabilitation centers where a large drive rail or the like could not be attached to the ceiling, and the lifting torque can be easily fixed when using a servo motor. It is possible to eliminate the slack of the robot lifting wires 61 and 62 and control the person to float slightly with a constant torque. In that case, it is possible to reduce the burden of weight on the legs and to provide a system that can freely walk and train in the room.

また上記人の体重の軽減に着目し、月面や、宇宙遊泳の疑似体験装置としての応用も可能である。   In addition, paying attention to the reduction of human weight, it can also be applied as a lunar surface or as a simulated experience device for space swimming.

また本発明は上述のようにあたかもUFOが飛んでいるようであり、外部からの制御で自由に操縦可能であり、本装置事態をUFOに仕立てた遊戯装置として活用しても老若男女を問わず十分楽しめるものである。   In addition, the present invention is as if the UFO is flying as described above, and can be freely controlled by external control, and even if this device situation is utilized as a game device tailored to UFO, regardless of age or sex It can be enjoyed enough.

また本発明は上述の天井クレーンに比して非常に静かである。
また本発明は上述の天井クレーンでは同一空間内で複数台のクレーンを用いた場合立体的に交差不能であるが本クレーンは交差可能である。
本発明は、以上の実施の形態に限定されることなく、特許請求の範囲に記載された発明の範囲内で、種々の変更が可能であり、例えば天井の4点を基準点として、4本のワイヤの巻き取り装置で構成しても良い。また巻き取りドラムにそれぞれ2本以上のワイヤを張っても良い。それらも本発明の範囲内に包含されるものであることは言うまでもない。
Also, the present invention is very quiet compared to the above-described overhead crane.
Further, according to the present invention, the above-mentioned overhead crane cannot cross three-dimensionally when a plurality of cranes are used in the same space, but this crane can cross.
The present invention is not limited to the above-described embodiment, and various modifications are possible within the scope of the invention described in the claims. For example, the four points on the ceiling are the four points. A wire winding device may be used. Two or more wires may be stretched on the winding drum. Needless to say, they are also included in the scope of the present invention.

発明の実施の形態に係るシステムの概略を示す全体図である。1 is an overall view showing an outline of a system according to an embodiment of the invention. 発明の実施の形態に係る円盤(ワイヤの交点部)を示す斜視図である。It is a perspective view which shows the disk (intersection part of a wire) which concerns on embodiment of invention. 発明の実施の形態に係るシステムのブロック図である。1 is a block diagram of a system according to an embodiment of the invention. 発明の実施の形態に係る方法の処理フローチャートである。It is a process flowchart of the method which concerns on embodiment of invention. 発明の実施の形態に係る方法を説明するための座標系の説明図である。It is explanatory drawing of the coordinate system for demonstrating the method which concerns on embodiment of invention. 発明の実施の形態に係る方法を説明するための図である。It is a figure for demonstrating the method which concerns on embodiment of invention.

符号の説明Explanation of symbols

1、2、3 ワイヤ伸縮機構
11、21、31 サーボモータ
12、22、32 ワイヤ伸張部
13,23,33 線長検出器
121、221、321 ワイヤ
4 円盤(ワイヤの交点部)
51 撮像部
52 画像受信部
53 画像処理部
61、62 ロボット吊り上げ用ワイヤ
7 ロボット
100 CPU
1001 指令パルス演算部
10011、10012、10013 サーボモータ制御部
1002 マンマシン・インターフェイス
1003 インターフェイス
10031 外部コントローラ
1, 2, 3 Wire expansion / contraction mechanism 11, 21, 31 Servo motors 12, 22, 32 Wire extension parts 13, 23, 33 Wire length detectors 121, 221, 321 Wire 4 Disc (intersection part of wires)
51 Imaging unit 52 Image receiving unit 53 Image processing unit 61, 62 Robot lifting wire 7 Robot 100 CPU
1001 Command pulse calculation unit 10011, 10012, 10013 Servo motor control unit 1002 Man-machine interface 1003 Interface 10031 External controller

Claims (8)

ワイヤを繰り出したり引き込むためのワイヤ伸縮機構を少なくとも3つ備え、複数の前記ワイヤ伸縮機構はそれぞれ異なる位置に設けられ、
さらに、複数の前記ワイヤ伸縮機構からの複数のワイヤに接続された交点部と、前記交点部に設けられてその下方を撮影する撮像部と、一端が前記交点部に接続され、他端が前記交点部の下方に位置する移動体に接続された移動体吊り上げ用ワイヤと、複数の前記ワイヤ伸縮機構を制御する制御部とを備え、
前記制御部は、前記撮像部で撮影した前記移動体の画像に基づき前記移動体と前記撮像部の相対位置関係を求め、求めた相対位置関係に基づき複数の前記ワイヤ伸縮機構の全部又は一部を駆動して、前記交点部が前記移動体の動きに追従するように制御することを特徴とする移動体の転倒防止装置。
Comprising at least three wire expansion / contraction mechanisms for paying out or drawing in the wire, and the plurality of wire expansion / contraction mechanisms are provided at different positions,
Further, an intersection point connected to a plurality of wires from the plurality of wire expansion and contraction mechanisms, an imaging unit provided at the intersection point and photographing the lower side, one end connected to the intersection point, and the other end to the intersection point A moving body lifting wire connected to the moving body located below the intersection, and a control unit for controlling the plurality of wire expansion and contraction mechanisms,
The control unit obtains a relative positional relationship between the moving body and the imaging unit based on the image of the moving body captured by the imaging unit, and all or part of the plurality of wire expansion / contraction mechanisms based on the obtained relative positional relationship. , And controls so that the intersection portion follows the movement of the moving body.
複数の前記ワイヤ伸縮機構からの複数のワイヤの前記交点部への接続位置関係を、複数の前記ワイヤ伸縮機構の位置関係の相似形にしたことを特徴とする請求項1記載の移動体の転倒防止装置。   2. The overturning of the moving body according to claim 1, wherein the connection positional relationship of the plurality of wires from the plurality of wire expansion / contraction mechanisms to the intersection is similar to the positional relationship of the plurality of wire expansion / contraction mechanisms. Prevention device. 前記制御部は、
前記撮像部で取得した前記移動体の画像に基づき、前記移動体もしくはその一部の画像の重心位置を求め、これと予め与えられた前記撮像部から前記移動体までの距離及び前記撮像部の倍率に基づき、前記撮像部と前記移動体間の相対的な水平位置関係(dx,dy)を算出し、
複数の前記ワイヤ伸縮機構から前記交点部までの各ワイヤの線長と予め定められた各ワイヤの始点座標(X1,Y1,Z1)、(X2,Y2,Z2)、(X3、Y3,Z3)に基づき、前記撮像部の座標(Xe,Ye,Ze)を算出し、
算出された座標(Xe,Ye)に相対的な水平位置関係(dx,dy)を加算して目的位置座標(Xd,Yd,Zd)を求め、
目的位置座標(Xd,Yd,Zd)と各ワイヤの始点座標(X1,Y1,Z1)、(X2,Y2,Z2)、(X3、Y3,Z3)に基づき、目的位置座標(Xd,Yd,Zd)での各ワイヤの線長を算出し、
複数の前記ワイヤ伸縮機構から前記交点部までの各ワイヤの線長が、それぞれ算出された線長になるように複数の前記ワイヤ伸縮機構を制御することを特徴とする請求項1記載の移動体の転倒防止装置。
The controller is
Based on the image of the moving body acquired by the imaging unit, the center of gravity position of the moving body or a part of the image is obtained, and the distance from the imaging unit to the moving body given in advance and the position of the imaging unit Based on the magnification, a relative horizontal positional relationship (dx, dy) between the imaging unit and the moving body is calculated,
The wire length from each of the plurality of wire expansion / contraction mechanisms to the intersection and the predetermined start point coordinates (X1, Y1, Z1), (X2, Y2, Z2), (X3, Y3, Z3) of each wire Based on the above, the coordinates (Xe, Ye, Ze) of the imaging unit are calculated,
Add the relative horizontal positional relationship (dx, dy) to the calculated coordinates (Xe, Ye) to obtain the target position coordinates (Xd, Yd, Zd),
Based on the target position coordinates (Xd, Yd, Zd) and the start point coordinates (X1, Y1, Z1), (X2, Y2, Z2), (X3, Y3, Z3) of each wire, the target position coordinates (Xd, Yd, Zd) to calculate the wire length of each wire
The moving body according to claim 1, wherein the plurality of wire expansion / contraction mechanisms are controlled such that the wire lengths of the wires from the plurality of wire expansion / contraction mechanisms to the intersections are respectively calculated line lengths. Fall prevention device.
前記制御部は、前記撮像部で取得した前記移動体の画像の大きさと予め定められた前記撮像部の倍率に基づき、前記撮像部から前記移動体までの距離dzを算出し、この距離dzと前記撮像部のZ座標Zeに基づき、前記移動体と前記撮像部の間の距離を一定にするように、複数の前記ワイヤ伸縮機構を制御することを特徴とする請求項3記載の移動体の転倒防止装置。   The control unit calculates a distance dz from the imaging unit to the moving body based on a size of the image of the moving body acquired by the imaging unit and a predetermined magnification of the imaging unit, and the distance dz 4. The moving body according to claim 3, wherein the plurality of wire expansion and contraction mechanisms are controlled so that a distance between the moving body and the imaging section is constant based on a Z coordinate Ze of the imaging section. Fall prevention device. 前記制御部は、前記撮像部の座標(Xe,Ye,Ze)、目的位置座標(Xd,Yd,Zd)、相対的な水平位置関係(dx,dy)及び前記撮像部から前記移動体までの距離dzの全部又は一部がそれぞれ予め定められた範囲を超えたとき、前記移動体に停止命令又は減速命令を送ることを特徴とする請求項3記載の移動体の転倒防止装置。   The control unit includes coordinates of the imaging unit (Xe, Ye, Ze), target position coordinates (Xd, Yd, Zd), a relative horizontal positional relationship (dx, dy), and from the imaging unit to the moving body. The apparatus according to claim 3, wherein a stop command or a deceleration command is sent to the moving body when all or a part of the distance dz exceeds a predetermined range. 前記制御部は、前記撮像部で取得した前記移動体の画像画像に基づき、前記移動体が転倒したと判断したとき、又は、外部から前記移動体の転倒を示す信号を受けたときの何れかの場合に、前記交点部の追従を停止させるか、又は、前記交点部を上昇させるように、複数の前記ワイヤ伸縮機構を制御することを特徴とする請求項3記載の移動体の転倒防止装置。   When the control unit determines that the moving body has fallen based on the image of the moving body acquired by the imaging unit, or receives a signal indicating the falling of the moving body from the outside 4. The apparatus according to claim 3, wherein the plurality of wire expansion and contraction mechanisms are controlled to stop following the intersection or raise the intersection. . ワイヤを繰り出したり引き込むためのワイヤ伸縮機構を少なくとも3つ備え、複数の前記ワイヤ伸縮機構はそれぞれ異なる位置に設けられ、
さらに、複数の前記ワイヤ伸縮機構からの複数のワイヤに接続された交点部と、前記交点部に設けられてその下方を撮影する撮像部と、一端が前記交点部に接続され、他端が前記交点部の下方に位置する移動体に接続された移動体吊り上げ用ワイヤと、を備える装置により前記移動体を支える方法であって、
前記撮像部で取得した前記移動体の画像に基づき、前記移動体もしくはその一部の画像の重心位置を求め、これと予め与えられた前記撮像部から前記移動体までの距離及び前記撮像部の倍率に基づき、前記撮像部と前記移動体間の相対的な水平位置関係(dx,dy)を算出するステップと、
複数の前記ワイヤ伸縮機構から前記交点部までの各ワイヤの線長と予め定められた各ワイヤの始点座標(X1,Y1,Z1)、(X2,Y2,Z2)、(X3、Y3,Z3)に基づき、前記撮像部の座標(Xe,Ye,Ze)を算出するステップと、
算出された座標(Xe,Ye)に相対的な水平位置関係(dx,dy)を加算して目的位置座標(Xd,Yd,Zd)を求めるステップと、
目的位置座標(Xd,Yd,Zd)と各ワイヤの始点座標(X1,Y1,Z1)、(X2,Y2,Z2)、(X3、Y3,Z3)に基づき、目的位置座標(Xd,Yd,Zd)での各ワイヤの線長を算出するステップと、
複数の前記ワイヤ伸縮機構から前記交点部までの各ワイヤの線長が、それぞれ算出された線長になるように複数の前記ワイヤ伸縮機構を制御するステップと、を備える移動体を支える方法。
Comprising at least three wire expansion / contraction mechanisms for paying out or drawing in the wire, and the plurality of wire expansion / contraction mechanisms are provided at different positions,
Further, an intersection point connected to a plurality of wires from the plurality of wire expansion and contraction mechanisms, an imaging unit provided at the intersection point and photographing the lower side, one end connected to the intersection point, and the other end to the intersection point A moving body lifting wire connected to the moving body located below the intersection, and a method of supporting the moving body by a device comprising:
Based on the image of the moving body acquired by the imaging unit, the center of gravity position of the moving body or a part of the image is obtained, and the distance from the imaging unit to the moving body given in advance and the position of the imaging unit Calculating a relative horizontal positional relationship (dx, dy) between the imaging unit and the moving body based on a magnification;
The wire length from each of the plurality of wire expansion / contraction mechanisms to the intersection and the predetermined start point coordinates (X1, Y1, Z1), (X2, Y2, Z2), (X3, Y3, Z3) of each wire Calculating the coordinates (Xe, Ye, Ze) of the imaging unit based on
Adding a relative horizontal positional relationship (dx, dy) to the calculated coordinates (Xe, Ye) to obtain target position coordinates (Xd, Yd, Zd);
Based on the target position coordinates (Xd, Yd, Zd) and the start point coordinates (X1, Y1, Z1), (X2, Y2, Z2), (X3, Y3, Z3) of each wire, the target position coordinates (Xd, Yd, Calculating the wire length of each wire at Zd);
Controlling the plurality of wire expansion / contraction mechanisms such that the wire lengths of the wires from the plurality of wire expansion / contraction mechanisms to the intersections are respectively calculated line lengths.
ワイヤを繰り出したり引き込むためのワイヤ伸縮機構を少なくとも3つ備え、複数の前記ワイヤ伸縮機構はそれぞれ異なる位置に設けられ、
さらに、複数の前記ワイヤ伸縮機構からの複数のワイヤに接続された交点部と、前記交点部に設けられてその下方を撮影する撮像部と、一端が前記交点部に接続され、他端が前記交点部の下方に位置する移動体に接続された移動体吊り上げ用ワイヤと、を備える装置により前記移動体を支える方法をコンピュータに実行させるためのプログラムであって、
前記撮像部で取得した前記移動体の画像に基づき、前記移動体もしくはその一部の画像の重心位置を求め、これと予め与えられた前記撮像部から前記移動体までの距離及び前記撮像部の倍率に基づき、前記撮像部と前記移動体間の相対的な水平位置関係(dx,dy)を算出するステップと、
複数の前記ワイヤ伸縮機構から前記交点部までの各ワイヤの線長と予め定められた各ワイヤの始点座標(X1,Y1,Z1)、(X2,Y2,Z2)、(X3、Y3,Z3)に基づき、前記撮像部の座標(Xe,Ye,Ze)を算出するステップと、
算出された座標(Xe,Ye)に相対的な水平位置関係(dx,dy)を加算して目的位置座標(Xd,Yd,Zd)を求めるステップと、
目的位置座標(Xd,Yd,Zd)と各ワイヤの始点座標(X1,Y1,Z1)、(X2,Y2,Z2)、(X3、Y3,Z3)に基づき、目的位置座標(Xd,Yd,Zd)での各ワイヤの線長を算出するステップと、
複数の前記ワイヤ伸縮機構から前記交点部までの各ワイヤの線長が、それぞれ算出された線長になるように複数の前記ワイヤ伸縮機構を制御するステップと、を実行させるためのプログラム。
Comprising at least three wire expansion / contraction mechanisms for paying out or drawing in the wire, and the plurality of wire expansion / contraction mechanisms are provided at different positions,
Further, an intersection point connected to a plurality of wires from the plurality of wire expansion and contraction mechanisms, an imaging unit provided at the intersection point and photographing the lower side, one end connected to the intersection point, and the other end to the intersection point A program for causing a computer to execute a method of supporting the moving body by a device including a moving body lifting wire connected to the moving body located below the intersection,
Based on the image of the moving body acquired by the imaging unit, the center of gravity position of the moving body or a part of the image is obtained, and the distance from the imaging unit to the moving body given in advance and the position of the imaging unit Calculating a relative horizontal positional relationship (dx, dy) between the imaging unit and the moving body based on a magnification;
The wire length from each of the plurality of wire expansion / contraction mechanisms to the intersection and the predetermined start point coordinates (X1, Y1, Z1), (X2, Y2, Z2), (X3, Y3, Z3) of each wire Calculating the coordinates (Xe, Ye, Ze) of the imaging unit based on
Adding a relative horizontal positional relationship (dx, dy) to the calculated coordinates (Xe, Ye) to obtain target position coordinates (Xd, Yd, Zd);
Based on the target position coordinates (Xd, Yd, Zd) and the start point coordinates (X1, Y1, Z1), (X2, Y2, Z2), (X3, Y3, Z3) of each wire, the target position coordinates (Xd, Yd, Calculating the wire length of each wire at Zd);
Controlling the plurality of wire expansion / contraction mechanisms such that the wire lengths of the wires from the plurality of wire expansion / contraction mechanisms to the intersections are respectively calculated line lengths.
JP2005037697A 2005-02-15 2005-02-15 Moving body overturn prevention device, method for supporting moving body, and program Expired - Fee Related JP4338657B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005037697A JP4338657B2 (en) 2005-02-15 2005-02-15 Moving body overturn prevention device, method for supporting moving body, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005037697A JP4338657B2 (en) 2005-02-15 2005-02-15 Moving body overturn prevention device, method for supporting moving body, and program

Publications (2)

Publication Number Publication Date
JP2006224202A JP2006224202A (en) 2006-08-31
JP4338657B2 true JP4338657B2 (en) 2009-10-07

Family

ID=36986004

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005037697A Expired - Fee Related JP4338657B2 (en) 2005-02-15 2005-02-15 Moving body overturn prevention device, method for supporting moving body, and program

Country Status (1)

Country Link
JP (1) JP4338657B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7168662B2 (en) 2017-10-31 2022-11-09 コーニンクレッカ フィリップス エヌ ヴェ ultrasound scanner assembly

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5329337B2 (en) * 2009-08-06 2013-10-30 本田技研工業株式会社 Auxiliary device for bipedal moving body
KR101137722B1 (en) 2011-03-29 2012-04-24 한국생산기술연구원 Three dimensional wire flying system
KR101662270B1 (en) 2015-03-26 2016-10-04 한국생산기술연구원 3D micro-gravity cable driven apparatus
JP6467321B2 (en) * 2015-09-17 2019-02-13 株式会社キトー Moving body fall prevention device
CN106607657A (en) * 2016-11-28 2017-05-03 广西大学 Connecting rod type variable-freedom-degree welding mechanical arm driven by servo motor
CN106607658A (en) * 2016-12-06 2017-05-03 广西大学 Multi-rod two-range of motion closed-chain connecting rod mechanism mechanical arm for welding operation
US10688401B1 (en) * 2019-01-08 2020-06-23 Universal City Studios Llc System and method to control entertainment figures

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7168662B2 (en) 2017-10-31 2022-11-09 コーニンクレッカ フィリップス エヌ ヴェ ultrasound scanner assembly

Also Published As

Publication number Publication date
JP2006224202A (en) 2006-08-31

Similar Documents

Publication Publication Date Title
JP4338657B2 (en) Moving body overturn prevention device, method for supporting moving body, and program
US10668624B2 (en) Handling gait disturbances with asynchronous timing
US11654984B2 (en) Slip detection for robotic locomotion
US9926025B1 (en) Slip avoidance
US11090815B2 (en) Robot, control device, and robot system
JP6483730B2 (en) Method, robot and computer readable medium for obtaining natural pitch and roll
JP3330710B2 (en) Mobile robot position detection and control device
US20120316682A1 (en) Balance control apparatus of robot and control method thereof
JP4671628B2 (en) Robot apparatus control system and control method
US20210323618A1 (en) Identifying Stairs from Footfalls
JP4838824B2 (en) Specific position guidance control method for autonomous mobile robot
JP2014100767A (en) Level difference walking control device and method of multileg walking robot
KR20150138748A (en) Stair-climbing robot and control method thereof
JP6904657B2 (en) Cargo handling system and control method
CN115344040A (en) Method and device for planning foot end track of foot type robot and foot type robot
JP2003330539A (en) Autonomous moving robot and autonomous moving method thereof
JPS60219170A (en) Active body
WO2022070876A1 (en) Information acquisition system
JP7070229B2 (en) Work transfer device
TWI554463B (en) Adaptive fuzzy slide image tracking control device for 3d trolley system
JP2020152530A (en) crane
JP6218641B2 (en) Robot holding system
JP2020107024A (en) Moving object, learned element, and learned element generation method
JP7150355B2 (en) Stair lift
JP6737369B1 (en) crane

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090630

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090630

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090630

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120710

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees