JPH02262991A - Monitor device for action of robot - Google Patents
Monitor device for action of robotInfo
- Publication number
- JPH02262991A JPH02262991A JP8058089A JP8058089A JPH02262991A JP H02262991 A JPH02262991 A JP H02262991A JP 8058089 A JP8058089 A JP 8058089A JP 8058089 A JP8058089 A JP 8058089A JP H02262991 A JPH02262991 A JP H02262991A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- coordinate data
- data
- camera
- mark
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005856 abnormality Effects 0.000 claims abstract description 9
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000012806 monitoring device Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 230000007257 malfunction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Landscapes
- Manipulator (AREA)
Abstract
Description
【発明の詳細な説明】
〔産業上の利用分野〕
本発明は、ロボット動作の異常の有無を監視して安全性
を向上させるロボット動作監視装置に関するものである
。DETAILED DESCRIPTION OF THE INVENTION [Field of Industrial Application] The present invention relates to a robot motion monitoring device that monitors the presence or absence of abnormalities in robot motion to improve safety.
（従来の技術）
従来においては、ロボットコントローラにより制御され
るロボット本体の動作の監視は、ロボット本体に設けら
れた内界センサ（例えばエンコーダ等）の情報、例えば
電流や位置等の情報をロボットコントローラが常時読み
取ることにより行なっていた。即ち、センサからの電流
等の出力が異常値の場合にはロボットコントローラから
ロボットに停止信号を出力していた。(Prior art) Conventionally, the operation of a robot body controlled by a robot controller is monitored by transmitting information from internal sensors (such as encoders) provided on the robot body, such as current and position information, to the robot controller. This was done by constantly reading the data. That is, when the output of the current or the like from the sensor is an abnormal value, the robot controller outputs a stop signal to the robot.
（発明が解決しようとする課題）
しかしながら、上記のような従来のロボット動作監視装
置は、センサがロボット自体に設けられており、ロボッ
トアームの動作を直接監視する装置がないため、ロボッ
ト動作の異常の有無は、ロボット内部の状態を間接的に
監視して判断することとなり、そのため、何らかの原因
でロボットコントローラが異常を起こしてロボットが暴
走をした場合には非常に危険であるという課題があった
。(Problem to be Solved by the Invention) However, in the conventional robot motion monitoring device as described above, a sensor is provided on the robot itself, and there is no device to directly monitor the motion of the robot arm, so abnormalities in robot motion may occur. The presence or absence of the robot must be determined by indirectly monitoring the internal state of the robot, which poses the problem of being extremely dangerous if the robot controller malfunctions for some reason and the robot goes out of control. .
本発明は係る課題を解決するためになされたもので、直
接ロボッ５トを監視できて安全性を向上させることがで
きるロボット動作監視装置を得ることを目的とする。The present invention was made to solve the above problems, and an object of the present invention is to obtain a robot operation monitoring device that can directly monitor a robot 5 and improve safety.
（課題を解決するための手段）
本発明に係るロボット動作監視装置は、ロボット制御手
段により制御されるロボットに設けられたマークの位置
を検出するテレビカメラと、ロボット座標及びカメラ座
標を合わせる座標合わせ手段と、この座標合わせ手段か
らの信号を受けて、ロボット座標データをカメラ座標デ
ータに変換する座標データ変換手段と、この座標データ
変換手段からのデータ、及び上記テレビカメラにより検
出されたマーク位置データを比較して異常の有無を判定
し、上記ロボット制御手段に信号を出力する比較手段と
を備えたものである。(Means for Solving the Problems) A robot motion monitoring device according to the present invention includes a television camera that detects the position of a mark provided on a robot controlled by a robot control means, and coordinate alignment that matches robot coordinates and camera coordinates. a coordinate data converting means that receives a signal from the coordinate adjusting means and converts robot coordinate data into camera coordinate data; data from the coordinate data converting means; and mark position data detected by the television camera. and comparing means for determining the presence or absence of an abnormality by comparing the values and outputting a signal to the robot control means.
（作用〕
本発明においては、ロボットに設けられたマークをテレ
ビカメラにより検出してその検出データと、ロボット座
標データからカメラ座標データに変換されたデータとを
、比較手段により比較して異常の有無を判断するため、
ロボットの動作をロボット外部から直接的に検出できる
。(Operation) In the present invention, a mark provided on a robot is detected by a television camera, and the detected data and data converted from robot coordinate data to camera coordinate data are compared by a comparing means to determine whether or not there is an abnormality. In order to determine
The robot's movements can be directly detected from outside the robot.
第１図は、本発明の一実施例を示すブロック図である０
図に示すように、本実施例は、ロボット制御手段（２）
により制御されるロボット（１）に設けられたマーク（
３）の位置を検出する、画像入力用のテレビカメラ（４
）と、ロボット座標及びカメラ座標を合わせる座標合わ
せ手段（５） と、この座標合わせ手段（５）からの信
号を受けて、ロボット座標データをカメラ座標データに
変換する座標データ変換手段（６）と、この座標データ
変換手段（６）からのデータ、及びテレビカメラ（４）
により検出されたマーク位置データを比較して異常の有
無を判定し、ロボット制御手段（２）に信号を出力する
比較手段（７）とを備えている。（８） は、座標デー
タ変換手段（６）とテレビカメラ（４）からの信号を受
けて画像として表示する表示部で、この表示部（８）と
、比較手段（７）と、情報を記憶する記憶部（９）とに
より画像処理部（１０）を構成している。（１１）は像
の倍率チエツクを行なうスケーリング手段で座標データ
変換手段（６） に信号を出力している。ロボット制御
手段（２）、座標合わせ手段（５）、スケーリング手段
（１１）、座標データ変換手段（６） によりロボット
コントローラ（１２）を構成している。このコントロー
ラ（１２）と画像処理部（１ｏ）とはバス又は通信によ
り接続されている。なお、マーク（ターゲットマーク）
（３） は、ロボット（１）のアーム（ｌａ）又はアー
ム（１ａ）の先端部に設けられたハンド（ｌｂ）の先端
、又は必要な箇所に設けられており、このマーク（３）
の動き（ポイント又は軌跡）をテレビカメラ（４） で
検出するようになっている。FIG. 1 is a block diagram showing one embodiment of the present invention.
As shown in the figure, in this embodiment, the robot control means (2)
The mark (
A television camera for image input (4) that detects the position of
), coordinate matching means (5) for adjusting the robot coordinates and camera coordinates, and coordinate data converting means (6) for converting the robot coordinate data into camera coordinate data in response to a signal from the coordinate matching means (5). , the data from this coordinate data conversion means (6), and the television camera (4)
Comparing means (7) compares the mark position data detected by the above, determines the presence or absence of an abnormality, and outputs a signal to the robot control means (2). (8) is a display unit that receives signals from the coordinate data conversion means (6) and the television camera (4) and displays them as an image.This display unit (8), the comparison means (7), and the information storage unit The image processing section (10) is composed of the storage section (9) and the storage section (9). (11) is a scaling means for checking the magnification of the image and outputs a signal to the coordinate data converting means (6). A robot controller (12) is composed of a robot control means (2), a coordinate adjustment means (5), a scaling means (11), and a coordinate data conversion means (6). The controller (12) and the image processing section (1o) are connected via a bus or communication. In addition, mark (target mark)
(3) is provided at the tip of the arm (la) of the robot (1) or the hand (lb) provided at the tip of the arm (1a), or at a necessary location, and this mark (3)
The movement (point or trajectory) of the object is detected by a television camera (4).
次に、第２〜４図に基づいて本実施例の動作を説明する
。第２図はロボット（１）の座標データをカメラ座標に
変換し、ロボット動作を画像処理部（ｌＯ）にダウンロ
ードするフローを示したものである０図示するように、
まずステップ２１でロボット座標とカメラ座標との座標
合わせ（即ちキャリブレーション）を実行するとともに
、ステップ２２で像倍率チエツク（スケーリング）を実
行し、ステップ２３で認識エリア内を確認する。次いで
、ロボット座標データをカメラ座標データに変換する（
ステップ２４）。変換されたデータは通信Ａ（バスで接
続されている場合には通信Ａは不要）によりロボットコ
ントローラ（１２）から画像処理部（１０）へダウンロ
ードしくステップ２５）、ステップ２６でロードデータ
をストアし、これによりロボット動作をロボットコント
ローラ（１２）から画像処理部（１０′）へダウンロー
ドする処理を終了する。Next, the operation of this embodiment will be explained based on FIGS. 2 to 4. Figure 2 shows the flow of converting the coordinate data of the robot (1) into camera coordinates and downloading the robot motion to the image processing unit (IO).
First, in step 21, the coordinates of the robot coordinates and the camera coordinates are aligned (ie, calibration), and in step 22, an image magnification check (scaling) is executed, and in step 23, the inside of the recognition area is confirmed. Next, convert the robot coordinate data to camera coordinate data (
Step 24). The converted data is downloaded from the robot controller (12) to the image processing unit (10) via communication A (communication A is not required if connected via bus) (step 25), and the loaded data is stored in step 26. , This completes the process of downloading the robot motion from the robot controller (12) to the image processing unit (10').
第３図はダウンロード後のフローチャートを示すもので
、この実施例では、図示するように、ステップ３１でロ
ボット（１）の動作（座標）をロボットコントローラ（
１２）から画像処理部（１０）にダウンロードした後、
ステップ３２でロボット座標をカメラ座標（即ち画像上
の動作（座標））に変換している。次いで、マーク（タ
ーゲットマーク）（３）の動作をテレビカメラ（４）で
検出して（ステップ３３）、この検出信号を画像処理部
（１０）の表示部（８）と比較手段（７） に送る０次
いで、ステップ３４において、ステップ３２で生成され
たデータと、ステップ３３で入力された画像データとを
比較し、両データが一致した場合には、ロボット（１）
は正常動作をしていると判定して（ステップ３５）、以
後ステップ３３〜３５を繰り返す。ステップ３４で両デ
ータが不一致の場合には、マーク（３）が、ロボットコ
ントローラ（１２）による教示軌跡以外の軌跡をたどっ
ていることとなり、ロボット動作異常と判断して、ロボ
ット制御手段（２）からロボット（１）に信号を出力し
てロボット（１）を停止させる等の処理をする（ステッ
プ３Ｂ）。FIG. 3 shows a flowchart after downloading. In this embodiment, as shown in the figure, the motion (coordinates) of the robot (1) is controlled by the robot controller (
After downloading from 12) to the image processing unit (10),
In step 32, the robot coordinates are converted into camera coordinates (ie, motion (coordinates) on the image). Next, the motion of the mark (target mark) (3) is detected by the television camera (4) (step 33), and this detection signal is sent to the display section (8) of the image processing section (10) and the comparison means (7). Send 0 Next, in step 34, the data generated in step 32 and the image data input in step 33 are compared, and if both data match, the robot (1)
is determined to be operating normally (step 35), and thereafter steps 33 to 35 are repeated. If the two data do not match in step 34, it means that the mark (3) is following a trajectory other than the trajectory taught by the robot controller (12), and it is determined that the robot operation is abnormal, and the robot control means (2) Processes such as outputting a signal to the robot (1) to stop the robot (1) are performed (step 3B).
第４図は、画像処理部（１０）の表示部（８）（座標軸
はＸ、Ｙ）に表示された画像イメージである。FIG. 4 shows an image displayed on the display section (8) (coordinate axes are X and Y) of the image processing section (10).
この画像イメージは、テレビカメラ（４）からの出力信
号に基づくアーム（１ａ）上のマーク（３）の軌跡で、
図示するようにＢ−４ｂ−４（Ｈ−ｈ ｄ−６−ｈ Ｂ
のポイントでアーム（１ａ）が移動していることがわか
る。This image is the trajectory of the mark (3) on the arm (1a) based on the output signal from the television camera (4).
B-4b-4 (H-h d-6-h B
It can be seen that the arm (1a) is moving at the point.
以上のように、この実施例は、ロボットコントローラ（
１２）とは独立したロボット動作のチエツクをダイレク
トに監視できるように、テレビカメラ（４）と、画像処
理部（１０）と、ターゲットマーク（３） とを配した
ので、信頼性及び安全性の高いロボット作業を得ること
ができる。As described above, this embodiment uses a robot controller (
A television camera (4), an image processing unit (10), and a target mark (3) are installed so that the robot operation check can be directly monitored independent of You can get high robot work.
第５図は本発明の他の実施例を示しており、マーク（３
）として、アーム（ｌａ）及びハンド（１ｂ）に有色又
は赤外線等の発光ダイオード（３ａ）を設け、テレビカ
メラ（４）の下方に配置されたフィルタ（４１）を介し
て該テレビカメラ（４）で発光ダイオード（３ａ）の光
線のみ入力できるようにしている。これにより画像処理
部（１０）における画像処理を簡易にすることができる
。FIG. 5 shows another embodiment of the present invention, in which the mark (3
), a colored or infrared light emitting diode (3a) is provided on the arm (la) and the hand (1b), and the television camera (4) is illuminated through a filter (41) placed below the television camera (4). This allows only the light beam from the light emitting diode (3a) to be input. This makes it possible to simplify image processing in the image processing section (10).
なお、上記座標データ変換手段（６）は、第１図のよう
にロボットコントローラ（１２）内に設けてもよいが、
画像処理部（１０）内に設けても同様の効果を奏する。Note that the coordinate data conversion means (6) may be provided within the robot controller (12) as shown in FIG.
A similar effect can be obtained even if it is provided within the image processing section (10).
また、第１図、第５図はテレビカメラ（４） をロボッ
ト（１）の上方に配置しているが、前方、横方等でもよ
く、また複数個配してもよい。Further, in FIGS. 1 and 5, the television camera (4) is placed above the robot (1), but it may be placed in front, on the side, etc., or a plurality of television cameras may be placed.
さらに、拡張機能としてターゲットマークのポイントチ
エツク以外に、人の侵入を画像処理することによって検
知できるようにしてもよい。Furthermore, as an extended function, in addition to point checking of target marks, human intrusion may be detected by image processing.
（発明の効果）
本発明は以上説明したとおり、ロボットに設けられたマ
ークをテレビカメラにより検出し、カメラ座標データに
変換されたロボット座標データと、検出された上記マー
ク位置データとを比較して異常の有無を判定して口°ボ
ットを制御することから、ロボットコントローラとは独
立した検出機構を有することとなり、ロボットの安全性
を向上させることができる。(Effects of the Invention) As explained above, the present invention detects a mark provided on a robot with a television camera, and compares the robot coordinate data converted into camera coordinate data with the detected mark position data. Since the robot is controlled by determining the presence or absence of an abnormality, it has a detection mechanism independent of the robot controller, which can improve the safety of the robot.
第１〜４図は本発明の一実施例を示す図で、第１図は全
体構成図、第２図はロボット動作を画像処理部にダウン
ロードするフローチャート、第３図はダウンロード後の
フローチャート、第４図は画像イメージを示す説明図、
第５図は本発明の他の実施例を示す構成図である。
（１）・・・ロボット
（２）・・・ロボット制御手段
（３） ・・・マーク
（４）・・・テレビカメラ
（５） ・・・座標合わせ手段
（６）・・・座標データ変換手段
（７）・・・比較手段
なお、各図中、同一符号は同−又は相当部分を示す。Figures 1 to 4 are diagrams showing one embodiment of the present invention, where Figure 1 is an overall configuration diagram, Figure 2 is a flowchart for downloading robot motion to the image processing section, Figure 3 is a flowchart after downloading, and Figure 3 is a flowchart after downloading. Figure 4 is an explanatory diagram showing the image image,
FIG. 5 is a block diagram showing another embodiment of the present invention. (1)...Robot (2)...Robot control means (3)...Mark (4)...Television camera (5)...Coordinate adjustment means (6)...Coordinate data conversion means (7) Comparison means In each figure, the same reference numerals indicate the same or corresponding parts.
Claims (1)
たマークの位置を検出するテレビカメラと、ロボット座
標及びカメラ座標を合わせる座標合わせ手段と、この座
標合わせ手段からの信号を受けて、ロボット座標データ
をカメラ座標データに変換する座標データ変換手段と、
この座標データ変換手段からのデータ、及び上記テレビ
カメラにより検出されたマーク位置データを比較して異
常の有無を判定し、上記ロボット制御手段に信号を出力
する比較手段とを備えたことを特徴とするロボット動作
監視装置。A television camera that detects the position of a mark provided on the robot controlled by the robot control means; a coordinate matching device that matches the robot coordinates and the camera coordinates; coordinate data conversion means for converting into coordinate data;
The present invention is characterized by comprising a comparing means for comparing the data from the coordinate data converting means and the mark position data detected by the television camera to determine the presence or absence of an abnormality, and outputting a signal to the robot controlling means. robot motion monitoring device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8058089A JPH02262991A (en) | 1989-03-31 | 1989-03-31 | Monitor device for action of robot |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8058089A JPH02262991A (en) | 1989-03-31 | 1989-03-31 | Monitor device for action of robot |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH02262991A true JPH02262991A (en) | 1990-10-25 |
Family
ID=13722287
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8058089A Pending JPH02262991A (en) | 1989-03-31 | 1989-03-31 | Monitor device for action of robot |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH02262991A (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10321691A (en) * | 1997-05-15 | 1998-12-04 | Nikon Corp | Substrate-carrying method and aligner using the same |
| JP2010284781A (en) * | 2009-06-15 | 2010-12-24 | Fanuc Ltd | Robot system with robot abnormality monitoring function |
| JP2011125976A (en) * | 2009-12-18 | 2011-06-30 | Denso Wave Inc | Robot failure detector |
| JP2012528016A (en) * | 2009-05-27 | 2012-11-12 | ライカ ジオシステムズ アクチエンゲゼルシャフト | Method and system for accurately positioning at least one object in a final pose in space |
| JP2014531986A (en) * | 2011-09-13 | 2014-12-04 | コーニンクレッカ フィリップス エヌ ヴェ | Automatic online registration between robot and image |
| US9075411B2 (en) | 2012-04-12 | 2015-07-07 | Seiko Epson Corporation | Robot system, calibration method of robot system, robot, calibration device, and digital camera |
| JP2019025572A (en) * | 2017-07-28 | 2019-02-21 | セイコーエプソン株式会社 | Control device of robot, the robot, robot system, and method of checking abnormality of the robot |
| JP2019118993A (en) * | 2017-12-29 | 2019-07-22 | 富士通株式会社 | Robot, self-diagnostic program and self-diagnostic method |
| JP2020114609A (en) * | 2019-01-17 | 2020-07-30 | 株式会社Ｆｕｊｉ | Control device, working robot, working system, and control method |
-
1989
- 1989-03-31 JP JP8058089A patent/JPH02262991A/en active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10321691A (en) * | 1997-05-15 | 1998-12-04 | Nikon Corp | Substrate-carrying method and aligner using the same |
| JP2012528016A (en) * | 2009-05-27 | 2012-11-12 | ライカ ジオシステムズ アクチエンゲゼルシャフト | Method and system for accurately positioning at least one object in a final pose in space |
| JP2010284781A (en) * | 2009-06-15 | 2010-12-24 | Fanuc Ltd | Robot system with robot abnormality monitoring function |
| JP4741691B2 (en) * | 2009-06-15 | 2011-08-03 | ファナック株式会社 | Robot system with robot abnormality monitoring function |
| JP2011125976A (en) * | 2009-12-18 | 2011-06-30 | Denso Wave Inc | Robot failure detector |
| JP2014531986A (en) * | 2011-09-13 | 2014-12-04 | コーニンクレッカ フィリップス エヌ ヴェ | Automatic online registration between robot and image |
| US9984437B2 (en) | 2011-09-13 | 2018-05-29 | Koninklijke Philips N.V. | Automatic online registration between a robot and images |
| US9075411B2 (en) | 2012-04-12 | 2015-07-07 | Seiko Epson Corporation | Robot system, calibration method of robot system, robot, calibration device, and digital camera |
| JP2019025572A (en) * | 2017-07-28 | 2019-02-21 | セイコーエプソン株式会社 | Control device of robot, the robot, robot system, and method of checking abnormality of the robot |
| JP2019118993A (en) * | 2017-12-29 | 2019-07-22 | 富士通株式会社 | Robot, self-diagnostic program and self-diagnostic method |
| JP2020114609A (en) * | 2019-01-17 | 2020-07-30 | 株式会社Ｆｕｊｉ | Control device, working robot, working system, and control method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11039895B2 (en) | Industrial remote control robot system | |
| CN107817769B (en) | Robot system having teaching operation panel communicating with robot control unit | |
| US5834916A (en) | Industrial robot and its control unit | |
| KR102295308B1 (en) | Wearable safety terminal and control method for accident prevention using the same | |
| US9782897B2 (en) | Robot system using a vision sensor | |
| US10992909B2 (en) | Video recording device and head mounted display | |
| JPH02262991A (en) | Monitor device for action of robot | |
| US20170140491A1 (en) | Operation advance indication apparatus | |
| JPH0213804A (en) | Nominal setting system for vision sensor | |
| KR20210079536A (en) | Facilities diagnosis robot and active avoidance method thereof | |
| US20180250824A1 (en) | Robot system | |
| JPH1080886A (en) | Vision control robot | |
| US20200238522A1 (en) | Robot controller and management system | |
| KR20190091870A (en) | Robot control system using motion sensor and VR | |
| CN113055562B (en) | Input/output signal information display system | |
| JPH0724765A (en) | Correction data communication system among robots | |
| JPH1123262A (en) | Three-dimensional position measuring system | |
| US20200016766A1 (en) | Robot | |
| WO2022190538A1 (en) | Information processing device, information processing method, and program | |
| JP3099308B2 (en) | Anomaly detection device | |
| WO2023157380A1 (en) | Robot monitoring system, monitoring device, method for controlling monitoring device, and program | |
| US10200617B2 (en) | Camera apparatus, and method of generating view finder image signal | |
| US20230400922A1 (en) | Handheld controller | |
| JP2020142344A (en) | Environmental monitoring system | |
| CN210328089U (en) | Illumination control device |