JPH11338532A - Teaching device - Google Patents

Teaching device

Info

Publication number
JPH11338532A
JPH11338532A JP14080198A JP14080198A JPH11338532A JP H11338532 A JPH11338532 A JP H11338532A JP 14080198 A JP14080198 A JP 14080198A JP 14080198 A JP14080198 A JP 14080198A JP H11338532 A JPH11338532 A JP H11338532A
Authority
JP
Japan
Prior art keywords
teaching
work
shape model
position
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP14080198A
Other languages
Japanese (ja)
Inventor
Makoto Hattori
Yuji Hosoda
Takao Shimura
Nobuhiko Sugawara
孝夫 志村
誠 服部
祐司 細田
宣彦 菅原
Original Assignee
Hitachi Ltd
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd, 株式会社日立製作所 filed Critical Hitachi Ltd
Priority to JP14080198A priority Critical patent/JPH11338532A/en
Publication of JPH11338532A publication Critical patent/JPH11338532A/en
Application status is Pending legal-status Critical

Links

Abstract

PROBLEM TO BE SOLVED: To make precise teaching operation performable for a work object which is poor in shape variation by specifying a part of a figure as a teaching index on a shape model displayed on a screen and calculating and recording the three-dimensional position corresponding to specified coordinates on the screen on the surface of the shape model as teaching data.
SOLUTION: A teaching mark 15a is moved on the screen of a display device 15 by operation an input device 17 to indicates the top of the figure 10 as the teaching index or its periphery and on the basis of the coordinates of the indicated teaching point on the screen of the display device 15, a teaching position arithmetic part 18 calculates the two-dimensional coordinates of the teaching point on a virtual image. Further, the three-dimensional coordinates of the corresponding point on the surface of the shape model 8 which corresponds to the two-dimensional coordinates of the teaching point on the virtual image and is uniquely determined is calculated through reverse conversion. This operation is repeated to generate a series of teaching points on the surface of the shape model 8, where an operation track is described, and they are registered as teaching data in a teaching data recording part 19.
COPYRIGHT: (C)1999,JPO

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】本発明は、マニピュレータ等の自動作業装置の位置決め教示を行う教示装置、特に遠隔作業に用いる自動作業装置の位置決め教示に有効な教示装置に関する。 The present invention relates to the teaching device for positioning the teachings of the automatic work apparatus of the manipulator or the like, particularly to effective teaching device for positioning the teachings of automatic working devices for use in remote work.

【0002】 [0002]

【従来の技術】遠隔作業に用いるマニピュレータ等の自動作業装置の位置決め教示においては、作業対象と自動作業装置の双方の映像を遠隔TVカメラで監視し、作業対象上の所定の作業目標に向け自動作業装置を接近させ作業位置をオンラインで教示していた。 In positioning the teachings of the automatic work apparatus of the manipulator or the like used in the Background of the Invention Remote work, both images of the work target and the automatic work apparatus to remotely monitor TV camera, automatic toward a predetermined work target on the work object It was not teach working position online to approximate working device. 一方、FA加工組立ての分野では、位置決め教示の手段として、作業対象と相似の形状を有するCADデータ等の形状モデル上で教示点を指定するオフライン教示方式が普及している。 In the field of FA processing assembly, as a means of positioning teachings offline teaching method for specifying the teaching point on the geometric model, such as CAD data having a shape similar to the work object has become widespread. これらの技術に対し、オフライン教示の作業効率の良さと、作業対象の実画像による作業確認の信頼性を兼ね備える教示手段として、立体視実画像と作業対象の立体形状モデル画像を重ね合わせ表示し表示画面上での教示を行う技術(松井他,“マルチメディアディスプレイを用いた統合型遠隔ロボット制御法",日本ロボット学会誌,Vol.6,No.4,pp33−41,1988等) For these technologies, a good working efficiency of offline teaching, as teaching means having both work confirmation of reliability due to the real image of the work object, and displays the superimposed three-dimensional shape model image of the working target stereoscopic real image display a technique for teaching on the screen (Matsui et al., "integrated with a multi-media display remote robot control method", Journal of the Robotics Society of Japan, Vol.6, No.4, pp33-41,1988, etc.)
が開示されている。 There has been disclosed.

【0003】 [0003]

【発明が解決しようとする課題】第1の遠隔TVカメラの監視下でのオンライン教示に関しては、自動作業装置と作業対象の相対位置を確実に把握するため多方向からの監視画像を確認しながら、慎重に作業対象に対する自動作業装置の接近を図るため教示に多くの作業時間を要する。 Regarding INVENTION Problem to be Solved] Online teachings under the supervision of the first remote TV cameras, while checking the monitor images from multiple directions for reliably grasp the automatic work apparatus with the operation target relative position requires a lot of work time teaching order to approach of automatic working devices for careful work object. さらに、作業対象が例えば大寸法の平坦な壁面の様に形状の変化が乏しい物の場合、監視画面上で教示点の設定位置を決める基準が確認できず教示作業が難しくなる問題があった。 Furthermore, if the work object, for example a flat material change in the shape is poor as the wall of a large size, criteria for determining the setting position of the teaching point on the monitoring screen there is possible not teaching work is difficult problem confirmation.

【0004】第2のオフライン教示に関しては、実物の作業対象の形状を忠実に再現した形状モデルが必要であり、作業内容が作業現場の状況に応じて多種多様になる場合、精密な形状モデルの製作に多大なコストを要する。 [0004] With respect to the second off-line teaching, it is necessary to faithfully reproduce the shape model the real work the subject of shape, when the work is made in a wide variety depending on the situation of the work site, the precise shape model It takes a lot of cost to manufacture. さらに、形状モデルの精密化によりデータ規模が大きくなると、システムコストが高くなり、またコンピュータグラフィック演算速度の低下により、教示作業能率が落ちる問題があった。 Further, the data size increases by refinement of the shape model, the system cost is increased, and by reduction of computer graphic processing speed, there is a problem that the teaching work efficiency falls.

【0005】第3の立体視実画像と作業対象の立体形状モデル画像を重ね合わせ表示し表示画面上での教示を行う技術に関しては、実画像とモデル画像の双方が立体画像であるため各々の座標及び寸法の校正作業が煩雑になり、システムコストも高くなる問題があった。 [0005] With respect to the third display is a technique for the teaching of the display screen overlay the stereoscopic real image a three-dimensional shape model image of the work object, both the real image and the model image of each for a three-dimensional image proofreading coordinates and dimensions is complicated, there is a system cost becomes high problem.

【0006】本発明の目的は、精度の低い形状モデルを用いた信頼性の高いオフライン教示が可能で、形状変化に乏しい作業対象に対し精密な教示作業を効率良く実施可能で、さらに、システムコストが安く形状モデルの校正作業が容易な教示装置を提供することにある。 An object of the present invention is capable of reliable off-line teaching with low precision shape model, efficiently feasible precise teaching work to poor work target to shape change, further, system cost and to provide a calibration work is easy teaching apparatus cheaper shape model.

【0007】 [0007]

【課題を解決するための手段】1)本発明の目的は、作業対象の映像を捕らえる少なくとも1つの単眼視の監視カメラと、作業対象に対する監視カメラの位置及び視線方向を任意に設定するカメラ位置決め手段と、作業対象の形状と概略相似な形状を有する形状モデルのデータを記憶するモデルデータベースと、形状モデルの表面上に教示指標の図形を描画する手段と、作業対象に対する監視カメラの相互位置及び視線方向と同等の相互位置及び視線方向から形状モデルを捕らえ、監視カメラの撮像性能の内少なくとも画角を同等とした形状モデルの2次元の仮想画像を生成する仮想画像生成手段と、監視カメラで捕らえた作業対象の実画像に仮想画像生成手段で生成した仮想画像を重ねて操作者に提示する表示装置と、表示装置の画面上で The purpose of 1) the present invention According to an aspect of the at least one monocular surveillance cameras capture an image of the work object, arbitrarily set the camera position to the position and direction of the line of sight of the surveillance cameras for work means and a model database for storing data of the shape model having a work object shape and outline similar shape, means for drawing a graphic teachings index on the surface of the shape model, and the mutual position of the monitoring camera for work capturing a shape model from the view direction and the same relative position and viewing direction, and the virtual image generating means for generating a two-dimensional virtual image of the shape model equal at least angle of the imaging performance of the surveillance cameras, surveillance cameras a display device for presenting to the operator superimposed virtual image generated by the virtual image generation unit in the real image of the work object caught, on the screen of the display device 示された形状モデル上の教示指標の図形の一部もしくはその近傍を指定し、指定した画面の座標に対応した形状モデルの表面上の3次元位置を演算し教示データとして記録する手段とから、教示装置を構成することによって達成される。 And a indicated specifies a part or the vicinity thereof of the figure teachings indication on the shape model, we calculate the three-dimensional position on the surface of the shape model corresponding to the specified screen coordinates means for recording as teaching data, It is accomplished by configuring the teaching device.

【0008】2)本発明の目的は、カメラ位置決め手段に監視カメラの位置及び姿勢を操作するカメラ位置決め機構と、操作者がカメラ位置決め機構の位置決め指令情報を与える操縦装置とを備え、形状モデルとカメラ位置決め機構の計算機モデルの映像を操作者に対し提示する作業シミュレータを備え、操縦装置により操作されたカメラ位置決め機構の動作情報に基づき仮想画像生成手段で生成する仮想画像の視野の更新を行うと共に、作業シミュレータ上での形状モデルに対するカメラ位置決め機構の計算機モデルの位置及び形状を更新することを特徴として、課題を解決するための手段1)記載の教示装置を構成することにより達成される。 [0008] 2) object of the present invention includes a camera positioning mechanism for manipulating the position and orientation of the surveillance camera to camera positioning means, and a steering device which the operator gives a positioning command information of the camera positioning mechanism includes a shape model comprising a work simulator which presents a picture of a computer model of the camera positioning mechanism to the operator, together with the updating of the field of view of the virtual images generated by the virtual image generating means based on the operation information of the camera positioning mechanism which is operated by the operating device as a feature to update the position and shape of the computer model of the camera positioning mechanism for the shape model on the work simulator is achieved by configuring the teaching device means 1) according to an aspect.

【0009】3)教示指標の図形として、格子図形,教示点の候補の位置を示すマーク,形状モデルの表面上の作業軌跡の線画,図形に関するコメント情報等のいずれかもしくは組み合わせた情報を用いることを特徴として、課題を解決するための手段1)記載の教示装置を構成することにより達成される。 [0009] 3) as a figure of the teaching indicator, using grid pattern, mark indicating the position of the teaching point candidates, the work locus on the surface of the shape model line drawing, one or a combination of information such as the comment information about geometries Featuring be achieved by configuring the teaching device means 1) according to an aspect.

【0010】 [0010]

【発明の実施の形態】以下、図1及び図2を用いて本発明の実施例について説明する。 DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described with reference to FIGS.

【0011】図1は本実施例の構成図、図2は本実施例の動作を表す説明図である。 [0011] Figure 1 is a configuration diagram of this embodiment, FIG. 2 is a diagram of the operation of this embodiment. 図1及び図2において、同じ構成要素に対して同じ構成番号を記してある。 1 and 2, are denoted the same configuration numbers for the same components.

【0012】本実施例の構成を、図1を用いて説明する。 [0012] The configuration of this embodiment will be described with reference to FIG.

【0013】自動作業装置である作業アーム1の位置姿勢を制御する作業アーム制御装置2に対し、作業軌跡を形成するための教示点座標のシーケンスを生成出力する本実施例の教示装置3は、作業対象4を撮影する単眼のTVカメラ5と、TVカメラ5の位置及び視線方向を操作するカメラアーム6と、TVカメラ5及びカメラアーム6を制御するカメラ位置/視野制御装置7と、作業対象4と概略相似な形状を記述した形状モデル8と、形状モデル8の計算機データを保存管理するモデルデータベース9と、形状モデル8の表面に教示指標の図形10を描画する教示指標生成部11と、教示指標生成部11で生成した教示指標の図形10を描画した形状モデル8について、作業対象4に対するTVカメラ5の相互位置及び視線方向と同等 [0013] with respect to the working arm control unit 2 for controlling the position and orientation of the work arm 1 is an automatic working device, the teaching device 3 of this embodiment generates and outputs a sequence of teaching point coordinates for forming a work trajectory, a monocular TV camera 5 for photographing the work object 4, a camera arm 6 for operating the position and direction of the line of sight of the TV camera 5, the camera position / field control device 7 for controlling the TV camera 5 and the camera arm 6, work object 4 and schematic similar shape geometric model 8 that describes a model database 9 stores and manages the computer data of the shape model 8, the teaching indicator generation unit 11 for drawing the graphic 10 of the teaching indicator on the surface of the geometric model 8, the shape model 8 drawing the teaching indicator figure 10 generated by the teaching indicator generating unit 11, comparable to the mutual position and the viewing direction of the TV camera 5 for work 4 相互位置及び視線方向から形状モデル8を捕らえ、TVカメラ5の画角等の撮像条件を同等とした形状モデル8の2次元の仮想画像を生成する仮想画像生成部12と、TVカメラ5で捕らえた作業対象4 Capturing a shape model 8 from each position and the viewing direction, the virtual image generation unit 12 for generating a two-dimensional virtual image of the shape model 8 that equivalent imaging conditions of angle of view of the TV camera 5, captured by the TV camera 5 work target 4
の実画像に仮想画像生成部12で生成した形状モデル8 Shape model 8 to the real image generated by the virtual image generation unit 12
の仮想画像をオーバーラップした合成画像を生成する画像合成部13と、合成画像を操作者14に対し提示する表示装置15と、操作者14がカメラ位置/視野制御装置7に操作情報を与えるための操縦装置16と、表示装置15の画面上で教示位置を指示するためのマウス等の入力デバイス17と、入力デバイス17の操作により指定される教示位置を教示マーク15aとして表示装置1 The image synthesis unit 13 for generating overlapping combined image a virtual image, a display device 15 for presenting a composite image to the operator 14, since the operator 14 gives operation information in the camera position / field controller 7 a steering device 16, a display and an input device 17 such as a mouse to instruct the teaching position on the screen of the device 15, a display device as taught mark 15a teaching position designated by operating the input device 17 1
5に表示し、かつ教示マーク15aで指定した表示装置15の画面上の教示位置の2次元座標から、仮想画像生成部12での仮想画像生成条件に基づき一意に定まる形状モデル8の表面上の対応点の3次元座標を演算する教示位置演算部18と、教示位置演算部18の演算出力結果を作業アーム1の作業軌跡を形成するための教示点座標として時系列に保持する教示データ記録部19と、操作者14に対し形状モデル8の鳥瞰画像と共にカメラアーム6の動作情報に基づき連動するカメラアームモデル20の画像を提示し、さらに教示データ記録部19に蓄積された教示点座標のシーケンスに基づき形状モデル8 5 is displayed on the, and from the two-dimensional coordinates of the taught position on the screen of the display device 15 specified by the teaching marks 15a, on the surface of the shape model 8 uniquely determined based on the virtual image generation condition of the virtual image generation unit 12 and teaching position calculating section 18 for calculating three-dimensional coordinates of the corresponding points, teaching data recording unit for holding the time series of the operation output result of the teaching position calculating section 18 as a teaching point coordinates for forming a working locus of the work arm 1 19, the operator 14 to present the image of the camera arm model 20 in conjunction on the basis of the operation information of the camera arm 6 together with the bird's-eye image of the shape model 8, further sequence of stored teaching point coordinate on the teaching data recording unit 19 based on the shape model 8
に対する作業アームモデル21の仮想的なプレイバック動作を提示する作業シミュレータ22とから構成される。 Consisting of work simulator 22 for presenting a virtual play-back operation of the working arm model 21 against.

【0014】次に本実施例の動作について説明する。 [0014] Next the operation of this embodiment will be described.

【0015】作業対象4のベース座標4aを基準としたTVカメラ5の座標5aは、ベース座標4aからカメラアーム6のベース座標6aとの間の位置方向変換情報及びベース座標6aから座標5aまでの位置変換情報により算出される。 The coordinates 5a of the TV camera 5 relative to the base coordinate 4a of work object 4 from the base coordinate 4a from the position-direction conversion information and the base coordinate 6a between the base coordinate 6a of the camera arm 6 to the coordinates 5a It is calculated by the position conversion information. ベース座標6aから座標5aまでの位置変換情報は、カメラアーム6の動作に伴い変化する。 Position conversion information from the base coordinate 6a to coordinate 5a is changed with the operation of the camera arm 6. 仮想画像生成部12にはTVカメラ5を模擬したカメラモデル23を含み、形状モデル8のベース座標8aを基準としたカメラモデル23の座標23aは、ベース座標8 The virtual image generation unit 12 includes a camera model 23 simulating the TV camera 5, the coordinates 23a of the camera model 23 relative to the base coordinate 8a of the shape model 8, the base coordinate 8
aからカメラモデル23の移動の原点となるベース座標23bとの間の位置方向変換情報及びベース座標23b Position redirecting information and the base coordinate 23b between the base coordinate 23b from a the origin of the movement of the camera model 23
から座標23aまでの位置変換情報により算出される。 It is calculated by the position conversion information from to the coordinates 23a.
ここで、ベース座標8aからベース座標23bとの間の位置方向変換情報は、ベース座標4aからベース座標6 Here, the position-direction conversion information between the base coordinate 23b from the base coordinate 8a, the base coordinates from the base coordinate 4a 6
aとの間の位置方向変換情報と一致するように、作業の初期段階で予め校正される。 To match the position redirecting information between a, it is pre-calibrated at the initial stage of working. この条件で、ベース座標2 In this condition, the base coordinate 2
3bから座標23aまでの位置変換情報は、カメラ位置/視野制御装置7から得られるベース座標6aから座標5aまでの位置変換情報に一致するように逐次更新される。 Position conversion information from 3b to the coordinates 23a is sequentially updated as the base coordinate 6a obtained from the camera position / field controller 7 coincides with the position conversion information to coordinate 5a.

【0016】この様な構成から、形状モデル8に対するカメラモデル23の位置及び視線方向は、常に作業対象4に対するTVカメラ5の位置及び視線方向に一致するように条件設定される。 [0016] From such a configuration, the position and direction of the line of sight of the camera model 23 on the shape model 8 is the condition set to always coincide with the position and the viewing direction of the TV camera 5 for work 4. さらに、カメラモデル23は自身の位置及び視線方向及びカメラ位置/視野制御装置7 Further, the camera model 23 its position and viewing direction and camera position / field controller 7
から得られるTVカメラ5の画角等の撮像条件に基づき、形状モデル8の3次元形状データをカメラモデル2 Based on the imaging conditions angle of view of the TV camera 5 obtained from the camera model 2 the three-dimensional shape data of the geometric model 8
3の撮像面(図示せず)での2次元画像データに変換演算する。 The two-dimensional image data of three of the imaging plane (not shown) for converting operation. このような構成から、仮想画像生成部12は、 Such a configuration, the virtual image generation unit 12,
TVカメラ5から作業対象4を撮影したのと等価な形状モデル8の仮想画像を生成する。 Generating a virtual image from the TV camera 5 was photographed work object 4 equivalent geometric model 8.

【0017】カメラアーム6の運用に関しては、操縦装置16の操作により任意の位置,視線方向にTVカメラ5を移動させる。 [0017] For operation of the camera arm 6, an arbitrary position by operating the control apparatus 16 moves the TV camera 5 in the viewing direction. この時、操作者14は、2つの画像を確認しながら作業を進める。 In this case, the operator 14 advances the work while confirming the two images. 1つは作業シミュレータ2 One is work simulator 2
2の画面であり、実際の作業対象4とカメラアーム6の相互位置関係を、作業シミュレータ22の画面上で示される形状モデル8に対するカメラアームモデル20の鳥瞰画像により、大域的なTVカメラ5の位置を確認する。 A second screen, the actual work object 4 and the camera arm 6 the mutual positional relationship by the bird's-eye image of the camera arm model 20 on the shape model 8 shown on the screen of the work simulator 22, the global TV camera 5 position to confirm. もう1つの画像は、表示装置15に提示される合成画像であり、所定の教示位置に達したか詳細情報を見る。 Another image is a composite image that is presented on the display device 15, see details or reaches a predetermined taught position.

【0018】教示作業は、次の様な手順で行われる。 [0018] The teaching work is carried out in the following such procedures.

【0019】表示装置には、図2に示すように、作業対象4をTVカメラ5で捕らえた実画像15bと、仮想画像生成部12で生成した形状モデル8の仮想画像15c The display device, as shown in FIG. 2, the actual image 15b which captures the work object 4 by the TV camera 5, the virtual image 15c of the shape model 8 generated by the virtual image generation unit 12
を合成した、合成画像15dが表示される。 Was synthesized, the synthetic image 15d is displayed. 仮想画像1 Virtual image 1
5cは、形状モデル8の監視方向から見える表面の輪郭線15hと教示指標の図形10のみを表示し、他の部分は透明表示する。 5c displays only figure 10 outline 15h and teachings index of the surface visible from the monitoring direction of the shape model 8, the other part is transparent displays. 従って、合成画像15dは、実画像1 Thus, the composite image 15d is real image 1
5bの上に輪郭線15hと教示指標の図形10を上書きした画像となる。 The image is overwritten with the graphic 10 of contour 15h the teaching indicator over 5b.

【0020】このような画面構成により、形状モデル4 [0020] With such a screen configuration, shape model 4
にて表現を省いた詳細構造15e及び形状モデル8の作成時には存在しなかった作業対象4の変化部分15fを確認しながら教示作業を実現できる。 It can be realized teaching work while confirming the change portion 15f of the work object 4 that did not exist when creating detailed structure 15e and shape model 8 was omitted expressed in. さらに、教示指標の図形10を基準として教示点を定めることができるので、実画像15b上に構造として特徴の無い場合でも教示点位置の設定を容易にできる。 Furthermore, it is possible to determine the teaching point based on the graphic 10 of the teaching indicator, the setting of the teaching point position even when there is no feature can be easily as structural in actual image 15b.

【0021】教示指標の図形10としては、本実施例では格子図形を例として提示している。 [0021] As figure 10 teachings indicators, in this embodiment presents a grid pattern as an example. 例えば、格子図形の垂直線及び水平線の描画間隔を規定のスケールで表示すれば、作業対象4に教示点の設定座標を定義できる。 For example, by displaying the drawing distance of the vertical lines and horizontal lines of the grid pattern on the scale of provisions you can define settings coordinates of the taught points in the work object 4.
さらに、本実施例に示すように予め作業軌跡の線画像1 Further, the line image 1 of advance working locus as shown in this example
5gを描画すれば、これに沿って教示点の設定が可能である。 If draw 5g, it is possible to set the teaching point along this. さらに、教示指標の図形10として座標位置の数値,作業軌跡の識別名称などのコメント情報を重ねて描画することも可能である。 Furthermore, numerical values ​​of the coordinate position as a figure 10 of the teaching indicator, it is possible to draw over the comment information such as an identification name of the work locus.

【0022】教示点の指定は、入力デバイス17の操作により表示装置15の画面上で教示マーク15aを移動し教示指標の図形10の上もしくは近傍を指示することで実行される。 [0022] Specifying the teaching point is executed by instructing the vicinity or over the shape 10 of the teaching indicator moves teachings marks 15a on the screen of the display device 15 by operating the input device 17. 教示位置演算部18は、指定された教示点の表示装置15の画面上での座標に基づき、仮想画像15c上の教示点の2次元座標を算出する。 Teaching position calculating section 18, based on the coordinates on the screen of the display device 15 of the designated teaching point to calculate the two-dimensional coordinates of the taught points on the virtual image 15c. さらに、仮想画像生成部12より得たカメラモデル23自身の位置,視線方向及び画角等の撮像条件に基づき、仮想画像15c上の教示点の2次元座標に対応し一意に定まる形状モデル8の表面上の対応点の3次元座標を逆変換演算する。 Furthermore, the virtual image generation unit 12 camera model 23 its position obtained from, based on the imaging conditions such as the viewing direction and the angle, the shape model 8 uniquely determined corresponding to the two-dimensional coordinates of the taught points on the virtual image 15c inverse transform operation the three-dimensional coordinates of the corresponding point on the surface. この作業を繰り返すことにより、作業軌跡を記述する形状モデル8の表面上の教示点の系列が生成され、 By repeating this operation, the sequence of the teaching point on the surface of describing the shape model 8 working trajectory is generated,
教示データ記録部19に登録され教示作業が完了する。 It is registered in the teaching data recording unit 19 teaching operation is completed.
この処理では、作業アーム1の手先の位置座標の教示が実施されるが、手先の方向の教示については、形状モデル8の教示位置近傍の表面の法線方向を設定する等の教示点の位置情報に連動した特定の規範に基づく自動設定、あるいは作業アームモデル21を形状モデル8と同等に合成画像15d上に投影し、仮想的な操縦操作により作業対象4との干渉の有無を確認しながら方向を設定する等の方法で決定できる。 In this process, although the teachings of the position coordinates of the hand of the work arm 1 is carried out, for the hand in the direction of the teaching position of the teaching point, such as setting the direction normal to the surface of the vicinity of the teaching position of the shape model 8 automatic setting based on specific norms interlocked with the information, or projecting the working arm model 21 equally on the composite image 15d and the shape model 8, while confirming the presence or absence of interference between the work object 4 by a virtual steering operation It can be determined by a method such as setting the direction.

【0023】教示作業が終了した後は、教示データ記録部19に登録された教示データに基づき作業シミュレータ上で作業アームモデル21を運用し、作業時の干渉の有無等のチェックを行い、最終的に作業アーム1による作業を実施する。 [0023] After the teaching operation is completed, operates a working arm model 21 on the work simulator based on the teaching data that has been registered in the teaching data recording unit 19, checks the presence or absence of interference during operation, the final carrying out the work by the work arm 1.

【0024】以上説明した本実施例によれば、単眼視T According to the present embodiment described above, monocular T
Vカメラにより撮影した作業対象の実画像上に、TVカメラより撮影したのと同等の形状モデルの仮想画像を重ね合わせて操作者に提示でき、さらに仮想画像上に教示指標の図形を表示し操作者に、教示位置の設定基準を提示できる。 On the real image of the work object taken by a V-camera, by superimposing the virtual image of the same shape model and was taken from the TV camera can be presented to the operator, further display and manipulate the shape of teaching index on the virtual image person to be presented a set standard of teaching position. さらに、表示装置の2次元画面上での教示点位置の指示のみにより、自動的に形状モデル表面上の教示点対応の3次元位置を求めることができる。 Furthermore, it is possible to obtain only by instructions of the teaching point positions on a two-dimensional screen of the display device, the automatic three-dimensional position of the corresponding teaching point on the shape model surface. さらに、 further,
作業シミュレータ上でカメラアームの動作及びTVカメラの撮影範囲を大局的に確認しながら実画像の視野を設定でき、これに連動して実画像と同等の仮想画像を生成できる。 Operation and the shooting range of the TV camera of the camera arm on a work simulator can set the field of view of the global check while the real image, can generate a real image and the equivalent of a virtual image in conjunction with this.

【0025】 [0025]

【発明の効果】本発明によれば、作業対象の表面上に作業軌跡等の作業指示情報を直接描くのと同様に、遠隔監視画像上に作業指示情報を得ることができ、さらに作業対象の実画像にオーバーラップした仮想画像上でオフライン教示が可能であるため、特に原子力プラント予防保全,宇宙ロボット,医療用テレオペレーション等直接作業者が作業対象に接近して段取り作業をすることが困難な遠隔作業の効率向上及び信頼性向上に効果を持つ。 According to the present invention, like the draw directly work instruction information such as the work locus on the surface of the work object, it is possible to obtain a work instruction information on a remote monitoring image, yet work object since in a virtual image overlapping the actual image is possible off-line teaching, it is difficult to the setup operation, especially nuclear plant preventive maintenance, space robot and medical teleoperation such direct operator approaches the work object It has an effect on the efficiency and reliability of the remote work. さらに、作業対象の実画像にオーバーラップした仮想画像上でオフライン教示を行うため、オフライン教示に用いる形状モデルを低精度にしても実画像による補完が可能であり、コンピュータグラフィックの高速化,システムコストの低減及び形状モデルの製作コスト低減に効果を持つ。 Furthermore, in order to perform off-line teaching on the virtual image overlapping the real image of the work object, even if the shape model used in the offline teaching in low accuracy are possible complementation with real images, faster computer graphic system cost having reduced and an effect on the production cost of the geometric model.

【0026】さらに、単眼視の2次元画像上の教示位置指定のみで自動的に作業対象表面上の3次元位置を教示できるため操作が簡便であり、教示作業の効率向上に効果がある。 Furthermore, the operation because it teaches the 3-dimensional position on the automatic operation target surface only at teaching position designated on the two-dimensional image of the monocular is simple, is effective in efficiency of teaching operation. さらに、単眼視の画像をベースにした教示システムのため、立体視をベースとした教示システムに比べ、作業対象に対するTVカメラの位置/視野の校正作業が容易であり、さらに、システム構成も簡素になりシステムコストの低減が可能である。 Furthermore, because of the teaching system in which the image of the monocular based, a stereoscopic compared with teachings based system, it is easy to proofreading location / field of view of the TV camera for work, addition, simpler system configuration reduction of system cost will is possible.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明の実施例である教示装置の構成図。 Figure 1 is a configuration diagram of a is teaching apparatus embodiment of the present invention.

【図2】図1の動作を示す説明図。 FIG. 2 is an explanatory diagram showing the operation of FIG.

【符号の説明】 DESCRIPTION OF SYMBOLS

1…作業アーム、2…作業アーム制御装置、3…教示装置、4…作業対象、5…TVカメラ、6…カメラアーム、7…カメラ位置/視野制御装置、8…形状モデル、 1 ... working arm 2 ... working arm control device, 3 ... teaching apparatus, 4 ... working object, 5 ... TV camera, 6 ... camera arm 7 ... camera position / field controller 8 ... shape model,
9…モデルデータベース、10…教示指標の図形、11 9 ... model database, 10 ... teaching indicator of the figure, 11
…教示指標生成部、12…仮想画像生成部、13…画像合成部、14…操作者、15…表示装置、16…操縦装置、17…入力デバイス、18…教示位置演算部、19 ... teaching index generation unit, 12 ... virtual image generation unit, 13 ... image combining unit, 14 ... operator, 15 ... display unit, 16 ... steering apparatus, 17 ... input device, 18 ... teaching position calculating unit, 19
…教示データ記録部、20…カメラアームモデル、21 ... teaching data recording unit, 20 ... camera arm model 21
…作業アームモデル、22…作業シミュレータ、23… ... work arm model, 22 ... work simulator, 23 ...
カメラモデル。 Camera model.

───────────────────────────────────────────────────── フロントページの続き (72)発明者 菅原 宣彦 茨城県日立市幸町三丁目1番1号 株式会 社日立製作所日立工場内 ────────────────────────────────────────────────── ─── of the front page continued (72) inventor Sugawara Hitachi City, Ibaraki Prefecture Nobuhiko Saiwaicho Third Street No. 1 No. 1 stock company Hitachi, Ltd. Hitachi in the factory

Claims (3)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】マニピュレータ等の自動作業装置の位置決め教示を行う教示装置に於いて、作業対象の映像を捕らえる少なくとも1つの単眼視の監視カメラと、作業対象に対する監視カメラの位置及び視線方向を任意に設定するカメラ位置決め手段と、作業対象の形状と概略相似な形状を有する形状モデルのデータを記憶するモデルデータベースと、形状モデルの表面上に教示指標の図形を描画する手段と、作業対象に対する監視カメラの相互位置及び視線方向と同等の相互位置及び視線方向から形状モデルを捕らえ、監視カメラの撮像条件の内少なくとも画角を同等とした形状モデルの2次元の仮想画像を生成する仮想画像生成手段と、監視カメラで捕らえた作業対象の実画像に仮想画像生成手段で生成した仮想画像を重ねて操作者に提示す [Claim 1] In the teaching device for positioning the teachings of the automatic work apparatus of the manipulator or the like, and at least one monocular surveillance cameras capture an image of the work object, optionally the position and direction of the line of sight of the surveillance cameras for work a camera positioning means for setting the a model database for storing data of the shape model having a work object shape and outline similar shape, means for drawing a graphic teachings index on the surface of the shape model, monitored for work capturing a shape model from the mutual position and the line-of-sight direction equivalent mutual position and the viewing direction of the camera, the virtual image generation means for generating a two-dimensional virtual image of the shape model equal at least angle of imaging conditions of the monitoring camera If, superimposed virtual image generated by the virtual image generation unit in the real image of the work object captured by surveillance cameras be presented to the operator 表示装置と、表示装置の画面上で表示された形状モデル上の教示指標の図形の一部もしくはその近傍を指定し、指定した画面の座標に対応した形状モデルの表面上の3次元位置を演算し教示データとして記録する手段とを備えたことを特徴とする教示装置。 Computing and display device, to specify a part or the vicinity thereof of the figure teachings indicator on the displayed shape model on the screen of the display device, the three-dimensional position on the surface of the shape model corresponding to the specified screen coordinates teaching apparatus characterized by comprising a means for recording as teaching data.
  2. 【請求項2】前記カメラ位置決め手段に監視カメラの位置及び姿勢を操作するカメラ位置決め機構と、操作者がカメラ位置決め機構の位置決め指令情報を与える操縦装置とを備え、前記形状モデルと前記カメラ位置決め機構の計算機モデルの映像を操作者に対し提示する作業シミュレータを備え、操縦装置により操作されたカメラ位置決め機構の動作情報に基づき前記仮想画像生成手段で生成する仮想画像の視野の更新を行うと共に、前記作業シミュレータ上での形状モデルに対するカメラ位置決め機構の計算機モデルの位置及び姿勢を更新することを特徴とする請求項1記載の教示装置。 Wherein the camera positioning mechanism for manipulating the position and orientation of the surveillance camera to the camera positioning means, and a steering device which the operator gives a positioning command information of the camera positioning mechanism, the shape model and the camera positioning mechanism computer with a model work simulator presented to the operator image, performs updating of the field of view of the virtual image generated by the virtual image generating means based on the operation information of the camera positioning mechanism which is operated by the operating device, wherein teaching apparatus according to claim 1, wherein updating the position and orientation of the computer model of the camera positioning mechanism for the shape model on the work simulator.
  3. 【請求項3】前記教示指標の図形として、格子図形,教示点の候補の位置を示すマーク,前記形状モデルの表面上の作業軌跡の線画,図形に関するコメント情報等のいずれかもしくは組み合わせた情報を用いることを特徴とする請求項1記載の教示装置。 As wherein shapes of the teaching indicator, grid pattern, mark indicating the position of the teaching point candidates, a line drawing of the work locus on the surface of the geometric model, one or a combination of information such as the comment information about geometries teaching apparatus according to claim 1, which comprises using.
JP14080198A 1998-05-22 1998-05-22 Teaching device Pending JPH11338532A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP14080198A JPH11338532A (en) 1998-05-22 1998-05-22 Teaching device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP14080198A JPH11338532A (en) 1998-05-22 1998-05-22 Teaching device

Publications (1)

Publication Number Publication Date
JPH11338532A true JPH11338532A (en) 1999-12-10

Family

ID=15277066

Family Applications (1)

Application Number Title Priority Date Filing Date
JP14080198A Pending JPH11338532A (en) 1998-05-22 1998-05-22 Teaching device

Country Status (1)

Country Link
JP (1) JPH11338532A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002222007A (en) * 2000-09-26 2002-08-09 Faro Technol Inc Method and medium for manufacture, measurement, and analysis for computer aid
JP2004243516A (en) * 2003-02-11 2004-09-02 Kuka Roboter Gmbh Method for fading-in information created by computer into image of real environment, and device for visualizing information created by computer to image of real environment
JP2008080466A (en) * 2006-09-28 2008-04-10 Daihen Corp Teaching method of carrier robot
JP2009266221A (en) * 2008-04-21 2009-11-12 Mori Seiki Co Ltd Machining simulation method and machining simulation apparatus
JP2009269155A (en) * 2008-05-09 2009-11-19 Yamatake Corp Teaching device and teaching method
JP2010061662A (en) * 2008-09-05 2010-03-18 Mori Seiki Co Ltd Machining status monitoring method and machining status monitoring apparatus
JP2012171024A (en) * 2011-02-17 2012-09-10 Japan Science & Technology Agency Robot system
JP2016522089A (en) * 2013-03-15 2016-07-28 カーネギー メロン ユニバーシティ Controlled autonomous robot system for complex surface inspection and processing

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002222007A (en) * 2000-09-26 2002-08-09 Faro Technol Inc Method and medium for manufacture, measurement, and analysis for computer aid
JP2004243516A (en) * 2003-02-11 2004-09-02 Kuka Roboter Gmbh Method for fading-in information created by computer into image of real environment, and device for visualizing information created by computer to image of real environment
JP4680516B2 (en) * 2003-02-11 2011-05-11 クーカ・ロボター・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツングKuka Roboter Gmbh Method for fading in robot information to real-world images, and apparatus for visualizing robot information into real-world images
JP2008080466A (en) * 2006-09-28 2008-04-10 Daihen Corp Teaching method of carrier robot
JP2009266221A (en) * 2008-04-21 2009-11-12 Mori Seiki Co Ltd Machining simulation method and machining simulation apparatus
JP2009269155A (en) * 2008-05-09 2009-11-19 Yamatake Corp Teaching device and teaching method
JP2010061662A (en) * 2008-09-05 2010-03-18 Mori Seiki Co Ltd Machining status monitoring method and machining status monitoring apparatus
JP2010061661A (en) * 2008-09-05 2010-03-18 Mori Seiki Co Ltd Machining status monitoring method and machining status monitoring apparatus
JP2012171024A (en) * 2011-02-17 2012-09-10 Japan Science & Technology Agency Robot system
JP2016522089A (en) * 2013-03-15 2016-07-28 カーネギー メロン ユニバーシティ Controlled autonomous robot system for complex surface inspection and processing

Similar Documents

Publication Publication Date Title
Tuceryan et al. Calibration requirements and procedures for a monitor-based augmented reality system
Milgram et al. Applications of augmented reality for human-robot communication
US8095237B2 (en) Method and apparatus for single image 3D vision guided robotics
US6816755B2 (en) Method and apparatus for single camera 3D vision guided robotics
US7423666B2 (en) Image pickup system employing a three-dimensional reference object
Echtler et al. The intelligent welding gun: Augmented reality for experimental vehicle construction
US5182641A (en) Composite video and graphics display for camera viewing systems in robotics and teleoperation
US4956790A (en) Instruction system of remote-control robot
Koller et al. Real-time vision-based camera tracking for augmented reality applications.
JP4191080B2 (en) Measuring device
JP5337805B2 (en) Local positioning system and method
EP1447770B1 (en) Method and apparatus for visualization of computer-based information
US4834473A (en) Holographic operator display for control systems
Tarabanis et al. The MVP sensor planning system for robotic vision tasks
US6763284B2 (en) Robot teaching apparatus
US20060025890A1 (en) Processing program generating device
JP3944019B2 (en) Information processing apparatus and method
US20120303336A1 (en) Assembly and method for verifying a real model using a virtual model and use in aircraft construction
US20080316368A1 (en) Method and Device For Moving a Camera Disposed on a Pan/Tilt Head Long a Given Trajectory
US5053975A (en) Master-slave manipulator control
EP0782100B1 (en) Three-dimensional shape extraction apparatus and method
US20080150965A1 (en) Method and Device For Determining Optical Overlaps With Ar Objects
US6611242B1 (en) Information transmission system to transmit work instruction information
US7773098B2 (en) Virtual reality presentation apparatus and method
EP2568355A2 (en) Combined stereo camera and stereo display interaction