JP7370755B2

JP7370755B2 - Information processing devices, information processing methods, programs, recording media, and article manufacturing methods

Info

Publication number: JP7370755B2
Application number: JP2019143993A
Authority: JP
Inventors: 俊一郎渡辺
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-08-05
Filing date: 2019-08-05
Publication date: 2023-10-30
Anticipated expiration: 2039-08-05
Also published as: JP2021024028A

Description

本発明は、仮想ロボット装置を仮想環境で動作させる情報処理装置、情報処理装置の制御方法、および物品の製造方法に関する。 The present invention relates to an information processing device that operates a virtual robot device in a virtual environment, a method of controlling the information processing device, and a method of manufacturing an article.

一般に、ロボットを用いて作業を行う装置の場合、ロボットの周辺には冶具や隣接するロボットや壁などの障害物が存在する。そのため、ロボットがこれらの障害物と干渉（衝突、接触）する可能性がある。ロボットが干渉（衝突、接触）を生じずに動作できるかを実機で確認することは容易ではない。そのため、仮想空間でロボットの動作を検証できるシミュレータが用いられることがある。この種のシミュレータでは、実機の構造や寸法に基づき作成された３Ｄモデルを、実機と同様の教示点データやロボットプログラムを用いて仮想空間中で稼働させる。そしてその様子を、例えばディスプレイ上に３Ｄアニメーションなどの形態で表示することにより、ワーク搬送や組み立てなどの動作を検証できる。 Generally, in the case of a device that performs work using a robot, there are obstacles such as jigs, adjacent robots, and walls around the robot. Therefore, there is a possibility that the robot will interfere with (collide with, come into contact with) these obstacles. It is not easy to use an actual machine to confirm whether a robot can operate without interference (collision, contact). For this reason, simulators that can verify robot motion in virtual space are sometimes used. In this type of simulator, a 3D model created based on the structure and dimensions of a real machine is operated in a virtual space using teaching point data and robot programs similar to those of the real machine. By displaying this in the form of a 3D animation on a display, for example, operations such as workpiece transport and assembly can be verified.

このようなシミュレータを用いることで、干渉（衝突、接触）の有無の確認や、そのような干渉を生じる可能性のある特定のロボット動作の修正を、実機を用いることなく実行できる。干渉（衝突、接触）の検出は、ロボットや障害物の３Ｄモデルの仮想空間中での位置関係を識別する干渉監視タスクを動かしておき、例えば干渉すべきではない、ロボットと、障害物のモデルがともに同一の空間を占めていないか判定することにより行う。 By using such a simulator, it is possible to confirm the presence or absence of interference (collision, contact) and to modify specific robot movements that may cause such interference, without using an actual machine. To detect interference (collision, contact), run an interference monitoring task that identifies the positional relationship between the robot and the 3D model of the obstacle in virtual space. This is done by determining whether both occupy the same space.

もし、干渉監視タスクが干渉（衝突、接触）を検出した場合には、３Ｄモデルを表示しているディスプレイに干渉検出状態を表示し、ユーザに通知する。この時の表示の手法として、一般に実施されているのは、仮想空間内で干渉（衝突、接触）を生じている３Ｄモデルの全体、あるいは当該の部位の表示色を変更するものである（例えば下記の特許文献１）。 If the interference monitoring task detects interference (collision, contact), the interference detection state is displayed on the display displaying the 3D model and the user is notified. A commonly used display method at this time is to change the display color of the entire 3D model or the relevant part that is causing interference (collision, contact) in the virtual space (for example, Patent Document 1 below.

特開２０１３－１３６１２３号公報Japanese Patent Application Publication No. 2013-136123

上記のように３Ｄモデルやその当該部位の表示色を干渉発生に応じて変更する従来構成は、静止した状態で干渉が発生していたり３Ｄ仮想表示が静止画となっているような状態では、ユーザが容易にその状態を確認できる。しかし、３Ｄモデルをアニメーション（動画）表示などにより仮想表示中で連続的に動作させている間の表示では視認が難しい場合があり、干渉が発生しているか否かを直感的に判断するのが難しい場合がある。 As mentioned above, the conventional configuration that changes the display color of the 3D model or its corresponding part according to the occurrence of interference does not work in situations where interference occurs in a stationary state or the 3D virtual display is a still image. The user can easily check the status. However, it may be difficult to visually recognize a 3D model while it is being displayed continuously in a virtual display such as animation (video), and it is difficult to intuitively judge whether or not interference has occurred. It can be difficult.

また、３Ｄモデルのアニメーション（動画）表示中にユーザが干渉状態を確認し、直ちにアニメーションを停止させる操作を行っても、動画表示は問題のタイミングの表示より先に進んだ位置で停止する場合がある。その場合、表示フレームを過去の方向に駒送りさせるなどの作業を行わなければ干渉発生のタイミングを表示させることができず、また、この種のＧＵＩ操作は一般に煩雑である。特に、仮想環境を表示させるのにアニメーション（動画）表示を用いる場合には、１フレームだけ瞬間的に干渉が起きている場合や、他の３Ｄモデルの影になっている個所で干渉が起きている場合など、表示画面による状態確認が難しい場合があった。このような状況で確認漏れを防ぐには、３Ｄモデルの動作を１フレームずつ前後に駒送りして確認する手法が考えられるが、検証している動作のタクトが長ければ、確認作業に多大な工数がかかり効率がよくない場合がある。 Additionally, even if the user confirms an interference state while displaying an animation (video) of a 3D model and immediately performs an operation to stop the animation, the video display may stop at a position that is ahead of the display at the timing of the problem. be. In this case, the timing of the occurrence of interference cannot be displayed unless operations such as moving the display frame forward in the past are performed, and this type of GUI operation is generally complicated. In particular, when using animation (video) display to display a virtual environment, interference may occur momentarily for only one frame, or interference may occur in a location that is in the shadow of another 3D model. In some cases, it was difficult to check the status on the display screen. In order to prevent omissions in confirmation in such a situation, a method of checking the motion of the 3D model by moving it back and forth one frame at a time may be considered, but if the takt of the motion being verified is long, the confirmation work will take a lot of time. It may take a lot of man-hours and may not be efficient.

本発明の課題は、以上の問題に鑑み、この種の情報処理装置において、検証中のロボット装置の動作に係る干渉（衝突、接触）などの警告事象や、それについて必要な対処を容易かつ直感的に判断できるようにすることにある。 In view of the above-mentioned problems, it is an object of the present invention to easily and intuitively detect warning events such as interference (collision, contact) related to the operation of a robot device under verification and the necessary countermeasures in this type of information processing device. The goal is to be able to make informed decisions.

本発明の一つの態様は、情報処理装置において、表示部に、制御データに基づき、仮想環境で模擬的に動作するロボットシステムの動作をモデルで表示する第１動作表示領域が表示され、前記ロボットシステムの動作の状態に基づき警告事象を特定し、前記警告事象に関連する前記ロボットシステムの前記モデルを、前記第１動作表示領域の表示状態よりも拡大して前記第１動作表示領域とは異なる第２動作表示領域に表示し、前記第１動作表示領域において前記ロボットシステムの動作を再生している場合に、前記警告事象が発生したタイミングとなれば、前記第２動作表示領域において、前記警告事象に関連する前記ロボットシステムの前記モデルを、前記第１動作表示領域の表示状態よりも拡大して前記警告事象における前記ロボットシステムの動作を再生する、ことを特徴とする情報処理装置である。 According to one aspect of the present invention , in an information processing device , a first motion display area is displayed on the display unit, the first motion display area displaying a model of the motion of a robot system that operates in a simulated manner in a virtual environment based on control data; A warning event is identified based on the operation state of the robot system, and the model of the robot system related to the warning event is enlarged from the display state of the first operation display area and displayed in the first operation display area. is displayed in a different second action display area, and when the action of the robot system is being reproduced in the first action display area, when the warning event occurs, in the second action display area, The information processing apparatus is characterized in that the model of the robot system related to the warning event is expanded beyond the display state of the first action display area to reproduce the action of the robot system in the warning event. be.

上記構成によれば、ロボット装置のモデルの干渉などの警告事象に係る部位を表示装置のアニメーション表示領域の画角内に納めて表示するようにしている。そのため、ユーザは干渉などの警告事象に係る部位を容易かつ直感的に判断することができる。即ち、検証中のロボット装置の動作に係る干渉（衝突、接触）などの警告事象や、それについて必要な対処を容易かつ直感的に判断することができる、という優れた効果がある。 According to the above configuration, a portion related to a warning event such as interference of a model of a robot device is displayed within the angle of view of the animation display area of the display device. Therefore, the user can easily and intuitively determine the part related to the warning event such as interference. That is, there is an excellent effect in that it is possible to easily and intuitively judge a warning event such as interference (collision, contact) related to the operation of the robot device under verification, and the necessary response thereto.

実施形態１に係わるハードウェア構成を示した説明図である。FIG. 2 is an explanatory diagram showing a hardware configuration according to the first embodiment. 実施形態１に係わるシミュレータ装置の制御系を示したブロック図である。FIG. 2 is a block diagram showing a control system of the simulator device according to the first embodiment. 実施形態１に係わるシミュレーションソフトウェアおよび表示出力の概要を示した説明図である。FIG. 2 is an explanatory diagram showing an overview of simulation software and display output according to the first embodiment. 実施形態１に係わるシミュレータ装置の処理手順を示したフローチャート図である。FIG. 2 is a flowchart showing a processing procedure of the simulator device according to the first embodiment. 実施形態１に係わる出力画面の表示例を示した説明図である。FIG. 3 is an explanatory diagram showing a display example of an output screen according to the first embodiment. 実施形態１に係わる出力画面の他の表示例を示した説明図である。FIG. 7 is an explanatory diagram showing another display example of the output screen according to the first embodiment. 実施形態１に係わる出力画面のさらに異なる表示例を示した説明図である。FIG. 7 is an explanatory diagram showing yet another display example of the output screen according to the first embodiment. 本発明に係わるシミュレータ装置により検証されたロボット制御データにより動作し、物品を製造するロボット装置を示した説明図である。FIG. 2 is an explanatory diagram showing a robot device that operates according to robot control data verified by a simulator device according to the present invention and manufactures articles.

以下、添付図面を参照して本発明を実施するための形態につき説明する。なお、以下に示す構成はあくまでも一例であり、例えば細部の構成については本発明の趣旨を逸脱しない範囲において当業者が適宜変更することができる。また、本実施形態で取り上げる数値は、参考数値であって、本発明を限定するものではない。 DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments for carrying out the present invention will be described with reference to the accompanying drawings. Note that the configuration shown below is just an example, and for example, the detailed configuration can be changed as appropriate by those skilled in the art without departing from the spirit of the present invention. Moreover, the numerical values taken up in this embodiment are reference numerical values, and do not limit the present invention.

以下、本実施形態に係わる情報処理装置の構成、およびその表示制御につき、図１から図５を参照して説明する。本実施形態の情報処理装置は、ロボット装置のハードウェア構成に対応する仮想ロボット装置を仮想環境で動作させるロボットシミュレータ装置として構成されている。図１に示すように、このロボットシミュレータ装置は、コンピュータ本体Ａと、コンピュータ本体Ａに接続されたディスプレイＢ、マウスＣ、キーボードＤを備える。 The configuration of the information processing apparatus according to this embodiment and its display control will be described below with reference to FIGS. 1 to 5. The information processing device of this embodiment is configured as a robot simulator device that operates a virtual robot device corresponding to the hardware configuration of the robot device in a virtual environment. As shown in FIG. 1, this robot simulator device includes a computer main body A, a display B, a mouse C, and a keyboard D connected to the computer main body A.

コンピュータ本体Ａには、シミュレーションソフトウェアＥがインストールされており、後述する同ソフトウェア（Ｅ）の処理により、ディスプレイＢにシミュレーション画面の表示が行われる。図１では、ディスプレイＢ上のシミュレーションソフトウェアＥの画面表示に相当する部分を示している。 Simulation software E is installed on the computer main body A, and a simulation screen is displayed on the display B through processing of the software (E), which will be described later. In FIG. 1, a portion corresponding to the screen display of simulation software E on display B is shown.

図２は、本実施形態のシミュレーションソフトウェアＥの実行環境である制御系の構成例を示している。図２の構成は、ハードウェア的には、上記のコンピュータ本体Ａの制御回路によって構成されるが、同図は機能的なブロック構成の図示であり、図中の各機能ブロックは、ハードウェア構成のみならずソフトウェアにより構成される機能ブロックを含んでいる。 FIG. 2 shows an example of the configuration of a control system that is an execution environment for the simulation software E of this embodiment. In terms of hardware, the configuration of FIG. 2 is constituted by the control circuit of the computer main body A described above, but the figure is an illustration of a functional block configuration, and each functional block in the figure is a hardware configuration. It also includes functional blocks made up of software.

図２では、制御部１０１（ＣＰＵ）に対して、表示部１０２、操作部１０３、入出力部１０４、記憶部１０５、および解析部１０６が接続されている。表示部１０２は、例えば図１のディスプレイＢに相当し、後述の３Ｄモデル表示部や事象表示部の表示を行えるものであれば、その表示方式はどのようなものであっても構わない。また、操作部１０３は、ユーザインターフェースの一部を構成するもので、例えば、図１のマウスＣ、およびキーボードＤに相当する。操作部１０３のハードウェアとしては、トラックパッドなど他のポインティングデバイスが含まれていてもよい。また、表示部１０２と操作部１０３は、タッチパネルのようなデバイスを用いることによって、一体化されていても構わない。 In FIG. 2, a display section 102, an operation section 103, an input/output section 104, a storage section 105, and an analysis section 106 are connected to a control section 101 (CPU). The display section 102 corresponds to, for example, the display B in FIG. 1, and any display method may be used as long as it can display a 3D model display section and an event display section, which will be described later. Further, the operation unit 103 constitutes a part of the user interface, and corresponds to, for example, the mouse C and keyboard D in FIG. The hardware of the operation unit 103 may include other pointing devices such as a track pad. Further, the display unit 102 and the operation unit 103 may be integrated by using a device such as a touch panel.

例えば、シミュレーションソフトウェアＥは、図３に示すような形態で図２の表示部１０２の画面の描画を制御する。この例では、表示部１０２に、３Ｄモデル表示部２０１と、事象表示部２００と、解析条件設定部２０３、解析実行ボタン２０４が表示されている。 For example, the simulation software E controls drawing on the screen of the display unit 102 in FIG. 2 in a form as shown in FIG. In this example, a 3D model display section 201, an event display section 200, an analysis condition setting section 203, and an analysis execution button 204 are displayed on the display section 102.

上記のような構成において、本実施形態のロボットシミュレータ装置は、概略、以下のようなロボットシミュレーション、解析、表示制御を行う。 In the above configuration, the robot simulator device of the present embodiment generally performs robot simulation, analysis, and display control as described below.

制御部１０１は、ロボット制御データに基づき仮想環境で動作させた仮想ロボット装置の動作を表示装置（ディスプレイＢ、表示部１０２）の動作表示領域（３Ｄモデル表示部２０１）にアニメーション表示させる。その際、動作表示領域（３Ｄモデル表示部２０１）のアニメーション表示に同期して、仮想ロボット装置の動作パラメータに関する情報を表示装置（ディスプレイＢ、表示部１０２）の情報表示領域（事象表示部２００）に表示させる。 The control unit 101 displays an animation of the operation of the virtual robot device operated in the virtual environment based on the robot control data in the operation display area (3D model display unit 201) of the display device (display B, display unit 102). At this time, information regarding the motion parameters of the virtual robot device is displayed in the information display area (event display unit 200) of the display device (display B, display unit 102) in synchronization with the animation display in the motion display area (3D model display unit 201). to be displayed.

また、制御部１０１は、仮想ロボット装置の動作パラメータを解析し、仮想ロボット装置の動作に係る警告事象（干渉、衝突あるいはしきい値を超える近接状態など）を特定する。そして、特定した警告事象に関連する仮想ロボット装置の特定部位の動作を、後述の警告事象確認画面３０３のアニメーション表示領域の画角内に納めてアニメーション表示させる。 Further, the control unit 101 analyzes the operational parameters of the virtual robot device and identifies a warning event (interference, collision, proximity state exceeding a threshold value, etc.) related to the operation of the virtual robot device. Then, the motion of a specific part of the virtual robot device related to the identified warning event is displayed as an animation within the angle of view of the animation display area of a warning event confirmation screen 303, which will be described later.

また、制御部１０１は、ユーザの所定操作に基づき、時間的に前又は後ろの警告事象を特定し、特定された警告事象における前記仮想ロボットの状態を、前記の動作表示領域および／または情報表示領域に表示させる。また、制御部１０１は、情報表示領域を介して、前記動作表示領域でアニメーション表示させる前記仮想ロボット装置の動作を指定するユーザ操作を受け付ける。 Further, the control unit 101 specifies a temporally previous or subsequent warning event based on a predetermined operation by the user, and displays the state of the virtual robot in the specified warning event in the operation display area and/or information display. Display it in the area. Further, the control unit 101 receives, via the information display area, a user operation that specifies a motion of the virtual robot device to be animatedly displayed in the motion display region.

また、後述の警告事象確認画面３０３のアニメーション表示領域は、表示ウィンドウにより構成することができる。そして、制御部１０１は、必要に応じて、警告事象確認画面３０３の表示ウィンドウを前記表示装置にポップアップ表示させる。 Further, the animation display area of the warning event confirmation screen 303, which will be described later, can be configured by a display window. Then, the control unit 101 causes a display window of the warning event confirmation screen 303 to be displayed as a pop-up on the display device, as necessary.

また、動作表示領域（３Ｄモデル表示部２０１）や、アニメーション表示領域（警告事象確認画面３０３）でアニメーション表示している仮想ロボット装置の動作のタイミングは、情報表示領域（事象表示部２００）上で特定可能に表示させることができる。 In addition, the timing of the movement of the virtual robot device that is displayed as an animation in the movement display area (3D model display section 201) or the animation display area (warning event confirmation screen 303) can be determined on the information display area (event display section 200). It can be displayed in an identifiable manner.

また、動作表示領域（３Ｄモデル表示部２０１）のアニメーション表示が警告事象に対応するタイミングで、警告事象確認画面３０３の表示ウィンドウをポップアップ表示させることができる。 Further, the display window of the warning event confirmation screen 303 can be displayed as a pop-up at the timing when the animation display in the operation display area (3D model display section 201) corresponds to a warning event.

また、警告事象は、動作表示領域（３Ｄモデル表示部２０１）や、情報表示領域（事象表示部２００）を用いて、警告事象の種類及び段階に応じて異なる表示態様で、表示させることができる。 Further, warning events can be displayed in different display modes depending on the type and stage of the warning event using the operation display area (3D model display section 201) and the information display area (event display section 200). .

また、動作表示領域（３Ｄモデル表示部２０１）と、情報表示領域（事象表示部２００）と、の表示は主に経時的な関係において関連付けて、同期的に制御することができる。例えば、これらいずれか一方の表示領域に対するユーザ操作が行われた場合、他方の表示領域の表示状態を当該操作に応じて更新するよう制御することもできる。 Further, the display of the action display area (3D model display section 201) and the information display area (event display section 200) can be mainly associated in a chronological relationship and controlled synchronously. For example, when a user operation is performed on one of these display areas, the display state of the other display area can be controlled to be updated in accordance with the operation.

また、動作表示領域（３Ｄモデル表示部２０１）やアニメーション表示領域（警告事象確認画面３０３）の仮想ロボット装置のアニメーション表示は、警告事象が発生するタイミングでアニメーション動作を停止させ、静止画表示に切り換えるよう制御できる。以下、本実施形態のロボットシミュレータ装置の構成、および動作につき、さらに詳細に説明する。 In addition, the animation display of the virtual robot device in the action display area (3D model display section 201) and animation display area (warning event confirmation screen 303) stops the animation operation at the timing when a warning event occurs and switches to a still image display. It can be controlled like this. The configuration and operation of the robot simulator device of this embodiment will be explained in more detail below.

３Ｄモデル表示部２０１、事象表示部２００、解析条件設定部２０３の表示は、仮想環境中におけるロボット装置の３Ｄモデルの動作を介して、また、図２の表示部１０２と操作部１０３によるユーザ操作を介して連動的に制御する。例えば、３Ｄモデル表示部２０１で表示中の描画フレームに該当する事象表示部２００上の時間軸上の位置に、カーソルや縦棒を表示してこれら２つの表示を関連付ける。また、３Ｄモデル表示部２０１でアニメーション表示を行う場合は、事象表示部２００の表示は、３Ｄモデル表示部２０１の表示に相当する時間軸上の位置が表示部１０２内に収まるよう自動的にスクロールさせる。また、同時に上記のカーソルや縦棒を時間軸上の３Ｄモデル表示部２０１の表示に相当する位置を取るよう、自動的に移動させる。 The displays on the 3D model display section 201, the event display section 200, and the analysis condition setting section 203 are displayed through the operation of the 3D model of the robot device in the virtual environment, and also through user operations using the display section 102 and the operation section 103 in FIG. control in conjunction with each other. For example, a cursor or a vertical bar is displayed at a position on the time axis on the event display section 200 that corresponds to the drawing frame being displayed on the 3D model display section 201 to associate these two displays. Furthermore, when displaying an animation on the 3D model display section 201, the display on the event display section 200 is automatically scrolled so that the position on the time axis corresponding to the display on the 3D model display section 201 fits within the display section 102. let At the same time, the cursor and vertical bar are automatically moved to take positions corresponding to those displayed on the 3D model display section 201 on the time axis.

３Ｄモデル表示部２０１に表示されている情報、ないし事象表示部２００に表示されている情報、のいずれかを操作部で指定ないし選択すると、他方の表示部に表示されている情報が当該の操作に応じて更新されるよう制御するのが望ましい。 When you specify or select either the information displayed on the 3D model display section 201 or the information displayed on the event display section 200 using the operation section, the information displayed on the other display section will be changed to the corresponding operation. It is desirable to control the update accordingly.

また、好ましくは、３Ｄモデル表示部２０１、事象表示部２００、解析条件設定部２０３の表示は、表示部１０２によって、ユーザが関連のある部分を同時に視認できるような態様で表示される。例えば、表示部１０２が１台のディスプレイＢにより構成される場合には、１表示画面中にこれら各表示部（２０１～２０３）をマルチウィンドウやタブの形式で表示する。ただし、表示部１０２を構成するディスプレイＢが複数台（いわゆるマルチヘッド構成）存在する場合には、上記の各表示部（２０１～２０３）が複数の異なるディスプレイの表示画面にそれぞれ表示されるような構成であってもよい。 Preferably, the displays of the 3D model display section 201, the event display section 200, and the analysis condition setting section 203 are displayed by the display section 102 in such a manner that the user can view related parts at the same time. For example, when the display unit 102 is composed of one display B, each of these display units (201 to 203) is displayed in a multi-window or tab format on one display screen. However, if there are multiple displays B configuring the display section 102 (a so-called multi-head configuration), each display section (201 to 203) described above may be displayed on the display screen of a plurality of different displays. It may be a configuration.

例えば、３Ｄモデル表示部２０１、事象表示部２００、解析条件設定部２０３を表示部１０２の１表示画面中に同時に表示させる。その場合の各部（２０１～２０３）を構成する表示ウィンドウの画面上の分割態様や、オーバーラップ態様などは、多くのオペレーティングシステムにおけるＧＵＩでの操作慣習などに従って変更できるようにしておく。また、ディスプレイＢが１台のみではなく複数台のモニタから構成されているような場合には、３Ｄモデル表示部２０１、事象表示部２００、解析条件設定部２０３の任意の部分が別のモニタ装置の表示画面にそれぞれ表示されるような構成であってもよい。 For example, the 3D model display section 201, the event display section 200, and the analysis condition setting section 203 are displayed simultaneously on one display screen of the display section 102. In this case, the manner in which the display windows constituting each part (201 to 203) are divided on the screen, the manner in which they overlap, etc. can be changed in accordance with the GUI operation conventions of many operating systems. In addition, if display B is composed of not only one monitor but multiple monitors, any part of the 3D model display section 201, event display section 200, and analysis condition setting section 203 may be connected to another monitor device. The configuration may be such that the information is displayed on the respective display screens.

３Ｄモデル表示部２０１は、装置を再現した３Ｄモデルを表示する。視点の変更や３Ｄモデルの配置の変更などを行うことができる。 The 3D model display section 201 displays a 3D model that reproduces the device. You can change the viewpoint, change the arrangement of the 3D model, etc.

本実施形態の事象表示部２００は、解析実行ボタン２０４とグラフ表示部２０２を備えている。 The event display section 200 of this embodiment includes an analysis execution button 204 and a graph display section 202.

事象表示部２００のグラフ表示部２０２は、時間軸に沿った表示を行うためのもので、例えば、動作の時刻とロボット装置の各軸の指令値との関係を図示のようなグラフ形式で表示する。本実施形態では、画面表示中では、グラフ表示部２０２の時間軸は、主に図中の左右方向に沿って配置された状態で図示されている。図３のグラフ表示部２０２では、ロボット装置（の３Ｄモデル：Ｒｏｂｏｔ１）の２つの関節軸（Ｊｏｉｎｔ１、２）の関節位置（関節角度）の時間軸に沿った変化をグラフ表示する表示状態にある。 The graph display section 202 of the event display section 200 is for displaying along the time axis, for example, displaying the relationship between the time of the operation and the command value of each axis of the robot device in a graph format as shown in the figure. do. In this embodiment, during screen display, the time axis of the graph display section 202 is shown arranged mainly along the left-right direction in the figure. The graph display section 202 in FIG. 3 is in a display state in which changes in the joint positions (joint angles) of the two joint axes (Joints 1 and 2) of the robot device (3D model: Robot 1) along the time axis are displayed in a graph. .

グラフ表示部２０２の時間軸の単位には、基準時刻（例えば、ＯＳのエポック、ロボットプログラムや教示点データなどのロボット制御データにより記述された動作の開始時刻など）からの経過時間（秒、ミリ秒など）を用いればよい。グラフ表示部２０２の時間軸の単位は、ＧＭＴやＪＳＴなどの標準時刻を用いるなど、当業者において任意に採用して構わない。なお、グラフ表示部２０２の画面上での時間軸のスケール（縮尺）は、例えば、グラフ表示部２０２の１画面に対応する時間幅を選択するような適当なユーザインターフェースを介して変更（拡大、縮小）できるようにしておくとよい。 The units of the time axis in the graph display section 202 include the elapsed time (seconds, millimeters, etc.) from the reference time (for example, the epoch of the OS, the start time of the operation described by the robot control data such as the robot program and teaching point data, etc.). Seconds, etc.) may be used. The unit of the time axis of the graph display section 202 may be arbitrarily adopted by those skilled in the art, such as using standard time such as GMT or JST. Note that the scale of the time axis on the screen of the graph display section 202 can be changed (enlarged, It is a good idea to make it possible (reduction).

グラフ表示部２０２の表示は、時間軸（例えば左右方向）に沿ってスクロールさせる、また、表示項目が多い場合には、その項目の方向（例えば上下方向）にスクロールできるようにしておく。例えば図３のグラフ表示部２０２では下縁部、右端縁部にいわゆるスクロールバーを設けてあり、このスクロールバーをマウスＣ（図１）などで操作し、上記のようなスクロールを行わせる。なお、スクロールバーの表示位置は、上縁部、左端縁部などに取っても構わない。また、上記のような表示のスクロールは、マウスＣに設けられたホイール（不図示）などによって行ってもよい。 The display on the graph display section 202 can be scrolled along the time axis (for example, horizontally), and if there are many display items, it can be scrolled in the direction of the items (for example, vertically). For example, the graph display section 202 in FIG. 3 is provided with so-called scroll bars at the lower edge and right edge, and these scroll bars are operated with the mouse C (FIG. 1) or the like to perform the above-described scrolling. Note that the scroll bar may be displayed at the top edge, left edge, or the like. Further, scrolling of the display as described above may be performed using a wheel (not shown) provided on the mouse C or the like.

解析条件設定部２０３は、図２の解析部１０６の後述の解析条件の選択を行うためのものである。また、図２の入出力部１０４は、シミュレーションに必要なデータの入出力を行う。記憶部１０５は、入出力部１０４で入力されたデータと、後述する解析部１０６の結果を保存する。この記憶部１０５は、ＲＯＭ、ＲＡＭ、ＨＤＤやＳＤＤなどの外部記憶装置によって構成することができる。その場合、後述のフローチャートなどにより示す制御手順を記述した制御プログラムは記憶部１０５のＲＯＭ領域や、ＨＤＤやＳＤＤなどの外部記憶装置に格納しておくことができる。これらの本発明に係る制御手順を記述した制御プログラムの格納手段は、本発明のコンピュータ読み取り可能な記録媒体を構成する。また、本発明に係る制御プログラムの格納手段は、ＲＯＭ領域や、ＨＤＤやＳＤＤなどの外部記憶装置などの固定的な記憶ハードウェアのみならず、着脱可能な記憶メディア（各種の磁気ディスクや光ディスク、半導体メモリデバイス）であってもよい。また、本発明に係る制御プログラムは、これらの記憶メディアを介して運搬され、また、これらの記憶メディアからシミュレータ装置にインストールされたり、インストール済みの制御プログラムを更新したりすることができる。あるいは、さらに、シミュレータ装置への本発明に係る制御プログラムのインストールや更新（アップデート）は、コンピュータ読み取り可能な記録媒体による他、ネットワークなどを介して行われるものであってよい。 The analysis condition setting section 203 is for selecting analysis conditions, which will be described later, for the analysis section 106 in FIG. Further, the input/output unit 104 in FIG. 2 inputs and outputs data necessary for simulation. The storage unit 105 stores the data input by the input/output unit 104 and the results of the analysis unit 106, which will be described later. This storage unit 105 can be configured with an external storage device such as ROM, RAM, HDD, or SDD. In that case, a control program that describes control procedures shown in flowcharts and the like to be described later can be stored in the ROM area of the storage unit 105 or in an external storage device such as an HDD or SDD. The storage means for the control program that describes the control procedure according to the present invention constitutes the computer-readable recording medium of the present invention. Furthermore, the control program storage means according to the present invention is not limited to fixed storage hardware such as a ROM area or external storage devices such as HDD or SDD, but also removable storage media (various magnetic disks, optical disks, etc.). (semiconductor memory device). Further, the control program according to the present invention is transported via these storage media, and can be installed into the simulator device from these storage media, or the installed control program can be updated. Alternatively, the control program according to the present invention may be installed or updated in the simulator device using a computer-readable recording medium or may be performed via a network or the like.

また、記憶部１０５のＲＡＭ領域は、制御部１０１や解析部１０６を実現するＣＰＵのための主記憶領域（ないしワークエリア）として用いられる。この主記憶領域は、ＲＡＭ領域だけではなく、ＲＯＭ領域と、さらにＨＤＤやＳＤＤなどの外部記憶装置に配置されたスワップ領域から成る、いわゆる仮想記憶（領域）として構成されていてもよい。 Further, the RAM area of the storage unit 105 is used as a main storage area (or work area) for the CPU that implements the control unit 101 and the analysis unit 106. This main storage area may be configured as a so-called virtual storage (area) consisting of not only a RAM area but also a ROM area and a swap area located in an external storage device such as an HDD or SDD.

本実施形態の解析部１０６は、本シミュレータ装置で検証するロボット装置の３Ｄモデルの動作に関する事象を解析する。解析部１０６は、ロボット装置の３Ｄモデルの動作に関する警告事象を特定する。本実施形態の解析部１０６は、特に干渉判定、即ち、仮想環境中で動作するロボット装置のモデルと、他の障害物モデルと、の干渉が生じたか否かの判定を行い、干渉（衝突あるいは接触）が生じた場合に、その事象を警告事象として特定する。即ち、本実施形態の解析部１０６は、干渉判定１１０の機能を備える（図２）。 The analysis unit 106 of this embodiment analyzes events related to the operation of the 3D model of the robot device to be verified with the simulator device. The analysis unit 106 identifies warning events related to the operation of the 3D model of the robot device. The analysis unit 106 of this embodiment particularly performs interference determination, that is, determines whether or not interference has occurred between the robot device model operating in the virtual environment and other obstacle models, and determines whether interference (collision or (contact) occurs, the event is identified as a warning event. That is, the analysis unit 106 of this embodiment has a function of interference determination 110 (FIG. 2).

解析条件設定部２０３で、マウスＣ、キーボードＤなどを用いて解析実行ボタン２０４を操作すると、解析部１０６は、干渉判定１１０の処理を行う。ここでは、仮想環境中で動作しているロボット装置や他の物体のモデルの状態に関するシミュレーションデータを解析し、ロボット装置と他の物体のモデルとの干渉を警告事象として検出する。 When the analysis execution button 204 is operated in the analysis condition setting unit 203 using the mouse C, keyboard D, etc., the analysis unit 106 performs the interference determination 110 process. Here, simulation data regarding the state of a robot device and other object models operating in a virtual environment is analyzed, and interference between the robot device and other object models is detected as a warning event.

なお、解析条件設定部２０３、事象表示部２００は、図３では別の表示ウィンドウ（あるいはペイン）として図示してあるが、解析条件設定部２０３は事象表示部２００の一部を構成する、と考えてよい。また、解析条件設定部２０３の表示部位は、事象表示部２００の表示ウィンドウ（あるいはペイン）の内側に表示される構成であってもよい。 Although the analysis condition setting section 203 and the event display section 200 are shown as separate display windows (or panes) in FIG. 3, the analysis condition setting section 203 constitutes a part of the event display section 200. You can think about it. Further, the display part of the analysis condition setting section 203 may be configured to be displayed inside the display window (or pane) of the event display section 200.

本実施形態では、３Ｄモデル表示部２０１、事象表示部２００、解析条件設定部２０３の表示の連動的な制御に関しては、上記のような解析条件の設定操作や、解析実行ボタン２０４の操作によるものがある。また、本実施形態では、例えば解析条件設定部２０３、解析実行ボタン２０４の操作により、干渉（衝突、接触）などの検索（解析）条件を満たすイベント（事象）が検索されると、これに応じて、事象表示部２００のグラフ表示部２０２の表示を更新する。例えば、検索されたイベント（事象）に該当する時間軸上の位置がグラフ表示部２０２に現れるよう、グラフ表示部２０２の表示を更新する。また、当該のイベント（事象）は、後述のように表示色変更などの表示態様の制御を伴って、グラフ表示部２０２に表示させる。 In this embodiment, the display of the 3D model display section 201, the event display section 200, and the analysis condition setting section 203 are controlled in conjunction with each other by the above-mentioned operation of setting the analysis conditions or operation of the analysis execution button 204. There is. Furthermore, in this embodiment, when an event that satisfies a search (analysis) condition such as interference (collision, contact) is searched for by operating the analysis condition setting section 203 or the analysis execution button 204, the Then, the display on the graph display section 202 of the event display section 200 is updated. For example, the display of the graph display section 202 is updated so that the position on the time axis corresponding to the searched event appears on the graph display section 202. Further, the event is displayed on the graph display section 202 with control of the display mode such as changing the display color as described later.

上記のように、事象表示部２００のグラフ表示部２０２の表示は、ユーザが注目する事象がその表示内に表われるように、時間軸に沿って（あるいは項目の配列方向に）スクロールできる。このスクロールは、制御条件によっては自動的に行うことができ、あるいはスクロールに係るユーザの手動操作を受け付けるよう実装できる。そして、このようなスクロール操作、グラフ表示部２０２に表示中の注目事象に対するマウスＣのクリックなどに連動して、３Ｄモデル表示部２０１で表示されるロボット装置（の３Ｄモデル）の動作状態を、その注目事象に相当する状態に更新する。 As described above, the display in the graph display section 202 of the event display section 200 can be scrolled along the time axis (or in the direction of the arrangement of items) so that the event of interest to the user appears within the display. This scrolling can be performed automatically depending on the control conditions, or can be implemented to accept a manual operation by the user regarding scrolling. Then, in conjunction with such a scroll operation, a click of the mouse C on an event of interest being displayed on the graph display section 202, etc., the operating state of (the 3D model of) the robot device displayed on the 3D model display section 201 is displayed. The state is updated to correspond to the event of interest.

解析条件設定部２０３による解析条件の設定操作や、解析実行ボタン２０４の操作を用いたシミュレーション解析は、例えば図４に示すような制御手順によって行う。 Setting operations for analysis conditions by the analysis condition setting unit 203 and simulation analysis using the operation of the analysis execution button 204 are performed according to a control procedure as shown in FIG. 4, for example.

まず、ステップＳ１でシミュレーション対象のデータを入力する。このシミュレーション対象のデータには、例えば、シミュレーション対象のロボット装置の３Ｄモデル、それら３Ｄモデルの配置情報、ロボット装置の可動軸（関節）の指令値などを用いることができる。これらのシミュレーション対象のデータを用いて、仮想環境中で実機を模擬した仮想ロボットのモデルを動作させることができる。上記のシミュレーション対象のデータを入力すると、シミュレーション処理を行い、例えば図３の３Ｄモデル表示部２０１に示すように仮想ロボットのモデルを表示することができる。この時、同時に事象表示部２００（例えば図３）に動作の時間と装置の可動軸の指令値との関係を文字列や数値データ、グラフ表示などを用いた表示形式で表示することができる。図３の事象表示部２００では、１番のロボット（Ｒｏｂｏｔ）装置の１番、２番の関節（Ｊｏｉｎｔ）角度を時間軸上に波形表示するグラフ表示（グラフ表示部２０２）の形式が用いられている。 First, in step S1, data to be simulated is input. The data to be simulated may include, for example, a 3D model of a robot device to be simulated, placement information of the 3D model, command values for movable axes (joints) of the robot device, and the like. Using these simulation target data, it is possible to operate a virtual robot model that simulates a real machine in a virtual environment. When the above data to be simulated is input, simulation processing is performed, and a virtual robot model can be displayed, for example, as shown in the 3D model display section 201 of FIG. 3. At this time, at the same time, the relationship between the operation time and the command value of the movable axis of the device can be displayed on the event display section 200 (for example, FIG. 3) in a display format using a character string, numerical data, graph display, or the like. The event display section 200 in FIG. 3 uses a graph display format (graph display section 202) that displays the joint angles of the first and second joints of the first robot device in waveforms on the time axis. ing.

次に、ステップＳ２で解析の条件の設定を行う。例えば、図３のユーザインターフェースの例では、ユーザは解析条件設定部２０３で、干渉（衝突、接触）または閾値付き干渉のいずれかをいわゆるラジオボタン形式の操作ボタンにより選択することができる。ここで、「干渉」とは２つ以上の３Ｄモデルが接触している状態をいう。また、「閾値付き干渉」とは、２つ以上の３Ｄモデルが解析条件設定部２０３で指定した値以内の距離に位置する状態をいう。これは加工精度やロボットの機差などによりシミュレータとの差が発生して干渉することを未然に防ぐための機能である。ユーザが選択した解析条件は記憶部１０５に保存する。 Next, in step S2, analysis conditions are set. For example, in the example of the user interface shown in FIG. 3, the user can select either interference (collision, contact) or interference with a threshold using operation buttons in the form of radio buttons in the analysis condition setting unit 203. Here, "interference" refers to a state in which two or more 3D models are in contact. Furthermore, “threshold interference” refers to a state in which two or more 3D models are located at a distance within a value specified by the analysis condition setting unit 203. This is a function to prevent interference due to differences with the simulator due to processing accuracy, robot machine differences, etc. The analysis conditions selected by the user are stored in the storage unit 105.

次に、ステップＳ３で動作に対する解析を実行する。図３のユーザインターフェースの例では、ユーザは解析実行ボタン２０４を用いて解析実行を指令する。ユーザが解析実行を指令すると、１フレームずつ全ての動作に対して干渉判定を行う。このとき、ステップＳ２で設定した条件で干渉判定を行い、干渉、閾値付き干渉、干渉なしの３種類の状態を判別する。干渉または閾値付き干渉が発生した動作のフレームと、発生させた３Ｄモデルの情報を合わせて記憶部１０５に保存する。 Next, in step S3, an analysis of the motion is performed. In the example user interface of FIG. 3, the user uses the analysis execution button 204 to instruct analysis execution. When the user instructs execution of analysis, interference determination is performed for all motions frame by frame. At this time, interference determination is performed under the conditions set in step S2, and three types of states are determined: interference, interference with a threshold value, and no interference. The frame of the motion in which interference or interference with a threshold value has occurred and information on the generated 3D model are stored together in the storage unit 105.

次に、解析を行ったステップＳ４でロボット動作プログラムを特定する。ステップＳ３により記憶部１０５に保存した動作のフレームについて、そのフレームがロボット動作プログラムのどの部分（のコマンドやステートメント）と対応するかを特定する。特定したロボット動作プログラムを参照可能なポインタアドレスなどのデータはステップＳ３の解析結果と関連付けの上、記憶部１０５に保存する。 Next, in step S4, the robot operation program is identified. Regarding the movement frame stored in the storage unit 105 in step S3, it is specified which part (command or statement) of the robot movement program the frame corresponds to. Data such as a pointer address that can refer to the specified robot operation program is stored in the storage unit 105 after being associated with the analysis result in step S3.

次に、ステップＳ５でロボットの動作情報を作成する。ステップＳ４により記憶部１０５に保存したロボット動作プログラムのポインタアドレスなどを介して、ロボット動作プログラムを取得する。そして、シミュレータ処理を行い、ロボット動作プログラムの内容を解析してロボットの動作情報を作成し、記憶部１０５に保存する。ここで、動作情報とは、例えばロボットを構成する３Ｄモデルとそれらを移動するための座標情報の集合である。この座標情報はロボット動作プログラムが完了するまでのフレーム分、作成する。後述のようにアニメーションなどによりロボットの動作を再現する場合は、フレームごとに各３Ｄモデルを作成した座標情報に従って移動させ、３Ｄモデル表示部２０１中に表示しているロボット装置のモデルに対応する動作を行わせることができる。 Next, in step S5, robot motion information is created. The robot operation program is acquired via the pointer address of the robot operation program saved in the storage unit 105 in step S4. Then, simulator processing is performed, the contents of the robot motion program are analyzed, robot motion information is created, and the robot motion information is stored in the storage unit 105. Here, the motion information is, for example, a collection of 3D models that constitute a robot and coordinate information for moving them. This coordinate information is created for the frames until the robot operation program is completed. When reproducing the robot's movements through animation or the like as described later, each 3D model is moved frame by frame according to the created coordinate information, and the movements corresponding to the model of the robot device displayed in the 3D model display section 201 are displayed. can be made to do so.

次に、ステップＳ６にて警告事象を視認しやすいように動作情報を修正する。ステップＳ５で作成した動作情報の中で、ステップＳ３の解析結果をもとに干渉している３Ｄモデルを判別する。干渉状態を確認しやすいように判別した３Ｄモデルとその周辺部の３Ｄモデルのみに限定する。どこまでの範囲を周辺部と識別するかは、警告事象確認画面３０３の大きさなどにより変更することができる。また、警告事象確認画面３０３や３Ｄモデル表示部２０１の表示（図５）で表示を行う時に、干渉している３Ｄモデルの動作が他の３Ｄモデルが手前にあって隠蔽されてしまう場合は、その障害物となっている３Ｄモデルを非表示にするよう処理してもよい。以上のようにして修正した動作情報は記憶部１０５に保存する。 Next, in step S6, the operation information is modified to make the warning event easier to visually recognize. Among the motion information created in step S5, the interfering 3D model is determined based on the analysis result in step S3. It is limited to only the identified 3D model and its surrounding 3D model so that the interference state can be easily confirmed. The range to be identified as the peripheral area can be changed depending on the size of the warning event confirmation screen 303, etc. Also, when displaying on the warning event confirmation screen 303 or the 3D model display section 201 (FIG. 5), if the operation of the interfering 3D model is hidden by another 3D model in front, Processing may be performed to hide the 3D model that is the obstacle. The operation information modified as described above is stored in the storage unit 105.

次に、ステップＳ７にて動作確認用のアニメーションを作成する。ステップＳ６で作成した動作情報をユーザの要求に対して高速に再生を開始することができるようなアニメーション形式に変換する。ここでのアニメーション形式はソフトウェア内で表示可能なオブジェクトとしてメモリ上に展開しておくことが好ましいが、容量が大きい場合はＡＶＩやＷＭＶに代表される一般的な動画形式などを用いて、ＨＤＤなどの外部記憶装置に保存してもよい。 Next, in step S7, an animation for operation confirmation is created. The motion information created in step S6 is converted into an animation format that can start playback at high speed in response to a user's request. It is preferable to develop the animation format in memory as an object that can be displayed within the software, but if the capacity is large, use a general video format such as AVI or WMV and store it on an HDD. It may also be saved in an external storage device.

上記処理により特定した警告事象に関連するロボット装置の特定部位は、下記のように警告事象確認画面３０３のアニメーション表示領域の画角内に納めて表示する。例えば、図５に示すように、上記処理により解析した結果と作成したアニメーションを、シミュレーションソフトウェアＥの画面上に表示する。シミュレーションソフトウェアＥは、どのフレームにアニメーションを保存したかを、アニメーション保存期間枠３０１（図中の実線）で表示する。そして、例えば図示のようにユーザがマウスＣを使用してマウスカーソル３０２をアニメーション保存期間枠３０１上に移動すると、ステップＳ６で作成したアニメーションを警告事象確認画面３０３で再生する。 The specific part of the robot device related to the warning event identified through the above process is displayed within the viewing angle of the animation display area of the warning event confirmation screen 303 as described below. For example, as shown in FIG. 5, the analysis results and animation created by the above processing are displayed on the screen of the simulation software E. The simulation software E displays in which frame the animation is saved, using an animation storage period frame 301 (solid line in the figure). For example, when the user uses the mouse C to move the mouse cursor 302 onto the animation retention period frame 301 as shown, the animation created in step S6 is played back on the warning event confirmation screen 303.

このようにして、特定した警告事象に関連するロボット装置の特定部位（のみ）を下記のように警告事象確認画面３０３のアニメーション表示領域の画角内に納めてアップ表示によりアニメーション表示する。これにより、干渉などの警告事象に係る周囲の部分のみを強調表示してユーザが認識しやすくすることができる。 In this way, the specific part (only) of the robot device related to the specified warning event is displayed as an animation in a close-up manner within the viewing angle of the animation display area of the warning event confirmation screen 303 as described below. Thereby, it is possible to highlight only the surrounding area related to a warning event such as interference so that the user can easily recognize it.

また、例えば、警告事象確認画面３０３のアニメーション表示は、３Ｄモデル表示部２０１の縦横表示サイズよりも小さく取ることができる。また、警告事象確認画面３０３のアニメーション表示の表示倍率は、例えば、３Ｄモデル表示部２０１のものと少なくとも同等か、それ以上大きく取ることができる。例えば、警告事象確認画面３０３にアニメーション表示する警告に係る特定部位の大きさは、３Ｄモデル表示部２０１（動作表示領域）に表示される前記特定部位の大きさよりも大きくする。特に、警告事象確認画面３０３の表示倍率を３Ｄモデル表示部２０１よりも大きく取り、警告事象確認画面３０３をアップ表示、あるいは拡大表示とすることにより、干渉などの警告事象に係る周囲の部分をユーザが認識しやすくなる。 Further, for example, the animation display of the warning event confirmation screen 303 can be made smaller than the vertical and horizontal display size of the 3D model display section 201. Further, the display magnification of the animation display on the warning event confirmation screen 303 can be set to be at least equal to or larger than that of the 3D model display section 201, for example. For example, the size of the specific part related to the warning displayed in animation on the warning event confirmation screen 303 is made larger than the size of the specific part displayed on the 3D model display section 201 (action display area). In particular, by setting the display magnification of the warning event confirmation screen 303 higher than that of the 3D model display section 201 and displaying the warning event confirmation screen 303 in a close-up or enlarged manner, the user can easily see surrounding areas related to warning events such as interference. becomes easier to recognize.

なお、警告事象確認画面３０３でアニメーションを表示する時は、これに同期して３Ｄモデル表示部２０１でも３Ｄモデルのアニメーション表示を行うようにしてもよい。あるいは、警告事象確認画面３０３でアニメーションを表示する時は、３Ｄモデル表示部２０１側ではアニメーションを停止させる制御を行うようにしてもよい。例えば、干渉の生じる少し前の時点で３Ｄモデル表示部２０１側ではアニメーション動作を停止して静止画表示とする。そして、例えば、警告事象確認画面３０３でその状態から、続くアニメーション表示が行われるように制御する。 Note that when an animation is displayed on the warning event confirmation screen 303, the 3D model display section 201 may also display an animation of the 3D model in synchronization with this. Alternatively, when displaying an animation on the warning event confirmation screen 303, the 3D model display section 201 may perform control to stop the animation. For example, shortly before the interference occurs, the 3D model display unit 201 stops the animation operation and displays a still image. Then, for example, control is performed so that a subsequent animation display is performed from that state on the warning event confirmation screen 303.

また、以上では、３Ｄモデル表示部２０１に加えて、アニメーション表示を行う警告事象確認画面３０３をポップアップ表示する例を示しているが、３Ｄモデル表示部２０１に換えて警告事象確認画面３０３を表示するようにしてもよい。その場合、好ましくは、３Ｄモデル表示部２０１の表示範囲を警告事象に関連するロボット装置の特定部位（のみ）をアニメーション表示の画角内に納めるように変更する。この時、３Ｄモデル表示部２０１の表示画面上のサイズを変更しないのであれば、必要に応じて表示倍率を拡大して、警告事象に係る特定部位（のみ）の周囲のみがアップ表示となるよう表示を調節する。 Further, in the above example, in addition to the 3D model display section 201, a warning event confirmation screen 303 that displays an animation is displayed as a pop-up, but the warning event confirmation screen 303 is displayed instead of the 3D model display section 201. You can do it like this. In that case, preferably, the display range of the 3D model display section 201 is changed so that (only) a specific part of the robot device related to the warning event is contained within the angle of view of the animation display. At this time, if the size on the display screen of the 3D model display section 201 is not changed, the display magnification can be increased as necessary so that only the area around the specific area (only) related to the warning event is displayed close-up. Adjust the display.

また、警告事象確認画面３０３でアニメーションを再生するタイミングは、例えばマウスカーソル３０２（ポインタ）がアニメーション保存期間枠３０１上にマウスオーバーしたタイミングとする。警告事象確認画面３０３を表示する位置は、例えば図５のようにマウスカーソル３０２の近傍に取る。しかしながら、警告事象確認画面３０３の表示位置は、必ずしもマウスカーソル３０２の近傍である必要はない。例えば、警告事象確認画面３０３の表示位置は、図６のように対象となるアニメーション保存期間枠３０１（図５）の上部とするよう制御してもよい。また、警告事象確認画面３０３は、図７のように専用の領域を設けて表示してもよい。図７の例では、警告事象確認画面３０３の表示位置は、解析条件設定部２０３の上部に取り、この固定的な位置で、アニメーションを行うようにしている。 Further, the timing at which the animation is played back on the warning event confirmation screen 303 is, for example, the timing when the mouse cursor 302 (pointer) hovers over the animation retention period frame 301. The warning event confirmation screen 303 is displayed at a position near the mouse cursor 302, for example, as shown in FIG. However, the display position of the warning event confirmation screen 303 does not necessarily have to be near the mouse cursor 302. For example, the display position of the warning event confirmation screen 303 may be controlled to be above the target animation retention period frame 301 (FIG. 5) as shown in FIG. Further, the warning event confirmation screen 303 may be displayed in a dedicated area as shown in FIG. In the example of FIG. 7, the display position of the warning event confirmation screen 303 is set above the analysis condition setting section 203, and the animation is performed at this fixed position.

また、警告事象確認画面３０３のアニメーション再生は、例えばマウスカーソルがアニメーション保存期間枠３０１（図５）の上にある間、連続して同じアニメーションを再生、例えばリピート再生するよう制御する。例えば、マウスカーソル３０２がアニメーション保存期間枠３０１の内側にある間、同じアニメーションを繰り返し表示する。そして、例えばマウスカーソル３０２がアニメーション保存期間枠３０１の外に移動したタイミングで、警告事象確認画面３０３を非表示にするか、あるいは、その動画表示を停止させるよう制御する。 Further, animation playback on the warning event confirmation screen 303 is controlled so that, for example, while the mouse cursor is on the animation retention period frame 301 (FIG. 5), the same animation is played continuously, for example, repeat playback. For example, while the mouse cursor 302 is within the animation retention period frame 301, the same animation is repeatedly displayed. Then, for example, at the timing when the mouse cursor 302 moves outside the animation retention period frame 301, control is performed to hide the warning event confirmation screen 303 or stop displaying the video.

また、警告事象確認画面３０３は、例えば一度だけアニメーションを再生して、動画終了時に非表示にするか、あるいは、その動画表示を停止させるよう制御する。また、一旦、マウスカーソル３０２をアニメーション保存期間枠３０１の外に移動した後に、再びアニメーション保存期間枠３０１内に移動した場合は、警告事象確認画面３０３非表示から表示アクティブに変更し、対応するアニメーションを再生する。 Further, the warning event confirmation screen 303 is controlled so that, for example, the animation is played only once and is hidden when the video ends, or the video display is stopped. Furthermore, if the mouse cursor 302 is once moved outside the animation retention period frame 301 and then moved within the animation retention period frame 301 again, the warning event confirmation screen 303 changes from hidden to display active, and the corresponding animation Play.

以上のようにして、警告事象確認画面３０３でアニメーション表示を行うことにより、ユーザはどのフレームでどのように干渉が発生するかを容易に確認することができる。警告事象確認画面３０３の表示は、仮想環境中の３Ｄモデル表示であるから、実機のロボット装置を動作させる必要がなく、実環境中のロボット装置や障害物の干渉を発生することがない。このため、実環境中のロボット装置や配置された事物を破損させたり、故障させたりする問題を生じずに、ロボット動作プログラムを検証することができる。 By displaying the animation on the warning event confirmation screen 303 as described above, the user can easily confirm in which frame and how interference occurs. Since the display on the warning event confirmation screen 303 is a 3D model display in the virtual environment, there is no need to operate the actual robot device, and no interference from the robot device or obstacles in the real environment occurs. Therefore, the robot operation program can be verified without causing problems such as damage or failure of the robot device or placed objects in the actual environment.

ここで、図１、図２のシミュレータ装置により検証されたロボット制御データ（教示点データやロボットプログラム）によって動作するロボット装置のより具体的な構成例や、そのロボットアームを生産システムに適用した場合の構成などにつき示しておく。 Here, we will discuss a more specific configuration example of a robot device that operates based on robot control data (teaching point data and robot program) verified by the simulator device shown in Figures 1 and 2, and a case where the robot arm is applied to a production system. I will show you the configuration etc.

図８は、図１、図２のシミュレータ装置によって検証されたロボット制御データ（教示点データやロボットプログラム）によって動作するロボット装置１００１の全体構成を示している。図８において、ロボット装置１００１（ロボット装置）は、例えば６軸（関節）の垂直多関節形式のロボットアーム本体１２０１を備える。ロボットアーム本体１２０１の各関節は、各関節にそれぞれ設けられたサーボモータをサーボ制御することにより所望の位置姿勢に制御することができる。 FIG. 8 shows the overall configuration of a robot device 1001 that operates based on robot control data (teaching point data and robot program) verified by the simulator device of FIGS. 1 and 2. In FIG. 8, a robot device 1001 (robot device) includes a vertical multi-joint robot arm body 1201 with, for example, six axes (joints). Each joint of the robot arm main body 1201 can be controlled to a desired position and orientation by servo-controlling a servo motor provided at each joint.

ロボットアーム本体１２０１の先端（手先）には、例えばハンド１２０２のようなツールが装着され、このハンド１２０２によって、ワーク１２０３を把持し、ワーク１２０３を組み付けたり、加工したりする生産作業を行わせることができる。ワーク１２０３は、自動車や電機製品などの工業製品の例えば部品であって、ロボット装置１００１はこのような生産システム（生産ライン）に生産装置として配置することができる。 A tool such as a hand 1202 is attached to the tip (hand) of the robot arm body 1201, and the hand 1202 is used to grasp a workpiece 1203 and perform production work such as assembling or processing the workpiece 1203. I can do it. The workpiece 1203 is, for example, a part of an industrial product such as an automobile or an electrical appliance, and the robot device 1001 can be placed as a production device in such a production system (production line).

ロボット装置１００１のロボットアーム本体１２０１の動作は、ロボット制御装置１２００（ロボットコントローラ）により制御される。ロボット装置１００１のためのロボット制御データは、ロボット制御装置１２００に接続された操作端末１２０４（例えばティーチングペンダント）によってプログラミング（教示）する、あるいは微修正などの編集を加えることもできる。 The operation of the robot arm body 1201 of the robot device 1001 is controlled by a robot control device 1200 (robot controller). The robot control data for the robot device 1001 can be programmed (taught) by an operation terminal 1204 (for example, a teaching pendant) connected to the robot control device 1200, or can be edited such as minor corrections.

また、ロボット装置１００１ないしロボット制御装置１２００は、ネットワークＮＷを介して図１、図２に示したシミュレータ装置から、上述のように最適化されたロボット制御データないし軌道データを受信することができる。これにより、上記の処理によって最適化されたロボット制御データに基づき、ロボット装置１００１を生産システム（生産ライン）を構成し物品の製造動作を行う生産装置として動作させ、ロボット装置１００１により物品を製造することができる。 Further, the robot device 1001 or the robot control device 1200 can receive robot control data or trajectory data optimized as described above from the simulator device shown in FIGS. 1 and 2 via the network NW. As a result, based on the robot control data optimized through the above processing, the robot device 1001 is operated as a production device that constitutes a production system (production line) and performs an article manufacturing operation, and the robot device 1001 manufactures the article. be able to.

本発明は、上述の実施例の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する構成でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 The present invention provides a system or device with a program that implements one or more of the functions of the above-described embodiments via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It is also possible to implement the configuration. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

Ａ…コンピュータ本体、Ｂ…ディスプレイ、Ｃ…マウス、Ｄ…キーボード、Ｅ…シミュレーションソフトウェア、１０１…制御部、１０２…表示部、１０３…操作部、１０４…入出力部、１０５…記憶部、１０６…解析部、２００…事象表示部、２０１…３Ｄモデル表示部、２０３…解析条件設定部、２０４…解析実行ボタン、３０１…アニメーション保存期間枠、３０２…マウスカーソル、３０３…警告事象確認画面、１００１…ロボット装置、１２００…ロボット制御装置、１２０２…ハンド、１２０３…ワーク、１２０４…操作端末。 A... Computer body, B... Display, C... Mouse, D... Keyboard, E... Simulation software, 101... Control section, 102... Display section, 103... Operation section, 104... Input/output section, 105... Storage section, 106... Analysis section, 200...Event display section, 201...3D model display section, 203...Analysis condition setting section, 204...Analysis execution button, 301...Animation storage period frame, 302...Mouse cursor, 303...Warning event confirmation screen, 1001... Robot device, 1200... Robot control device, 1202... Hand, 1203... Workpiece, 1204... Operation terminal.

Claims

In an information processing device,
On the display ,
A first motion display area is displayed that displays a model of the motion of the robot system that operates in a simulated manner in a virtual environment based on the control data;
identifying a warning event based on a state of operation of the robot system;
displaying the model of the robot system related to the warning event in a second motion display area different from the first motion display area in a larger size than the display state of the first motion display area;
When the motion of the robot system is being reproduced in the first motion display area, when the warning event occurs, the second motion display area displays the motion of the robot system related to the warning event. reproducing the motion of the robot system in the warning event by enlarging the model beyond the display state of the first motion display area;
An information processing device characterized by:

In an information processing device,
On the display,
A first motion display area is displayed that displays a model of the motion of the robot system that operates in a simulated manner in a virtual environment based on the control data;
identifying a warning event based on a state of operation of the robot system;
displaying the model of the robot system related to the warning event in a second motion display area different from the first motion display area in a larger size than the display state of the first motion display area;
When the operation of the robot system is being reproduced in the first operation display area, the first operation display area is displayed as a still image in a state before the warning event occurs, and the robot system from after the state is displayed. reproducing the operation of the system in the second operation display area;
An information processing device characterized by:

The information processing device according to claim 1 or 2 ,
In the second operation display area, the model of the robot system related to the warning event is displayed in an enlarged manner by displaying it at a magnification equal to or higher than the display magnification in the display state of the first operation display area.
An information processing device characterized by:

The information processing device according to claim 1 or 2 ,
In the second operation display area, the model of the robot system related to the warning event is displayed in an enlarged manner by displaying it in a size larger than the size in the display state of the first operation display area.
An information processing device characterized by:

The information processing device according to any one of claims 1 to 4 ,
Displaying the model of the robot system related to the warning event in a different color from other models in the second operation display area;
An information processing device characterized by:

The information processing device according to any one of claims 1 to 5 ,
repeating the operation of the robot system in the warning event in the second operation display area;
An information processing device characterized by:

The information processing device according to any one of claims 1 to 6,
The angle of view of the second operation display area is smaller than the angle of view of the first operation display area.
An information processing device characterized by:

The information processing device according to any one of claims 1 to 7,
In the second operation display area, if the model of the robot system related to the warning event is hidden by another model, the other model is hidden;
An information processing device characterized by:

The information processing device according to any one of claims 1 to 8,
In the display section,
an information display area that displays information regarding operating parameters of the robot system in chronological order based on the control data;
When the cursor is positioned in the information display area, the second action display area is displayed;
An information processing device characterized by:

The information processing device according to claim 9,
When the cursor is positioned at a predetermined timing in the information display area, the motion of the robot system at the predetermined timing is reproduced in the second motion display area.
An information processing device characterized by:

The information processing device according to claim 10,
When the cursor is positioned in the information display area and the movement of the robot system is being reproduced in the second movement display area, when the cursor is positioned outside the information display area, the second movement display area is displayed. stopping the operation of the robot system that is hidden or playing in a second operation display area;
An information processing device characterized by:

The information processing device according to any one of claims 9 to 11,
displaying the second action display area on the display unit at a position that does not overlap with the first action display area and the information display area;
An information processing device characterized by:

The information processing device according to any one of claims 9 to 11,
Displaying the second action display area in a superimposed manner on the first action display area;
An information processing device characterized by:

The information processing device according to claim 13,
displaying the second action display area in a pop-up window;
An information processing device characterized by:

The information processing device according to any one of claims 9 to 14,
At least one information of a time axis unit and a time axis scale regarding the time series can be set by the user.
An information processing device characterized by:

The information processing device according to any one of claims 9 to 15,
Based on a predetermined operation by a user, the warning event before or after the warning event is specified in time, and the state of the robot system at the specified warning event is displayed in the first operation display area and/or the information display area. ,
An information processing device characterized by:

The information processing device according to any one of claims 9 to 16,
Displaying the warning event in the first operation display area and/or the information display area in different display modes depending on its type and stage;
An information processing device characterized by:

The information processing device according to any one of claims 9 to 17,
When a user performs an operation on one of the display areas of the first operation display area and the information display area, updating the display state of the other display area in accordance with the operation;
An information processing device characterized by:

The information processing device according to any one of claims 9 to 18,
displaying on the display section a condition setting area in which the user sets conditions for identifying the warning event;
An information processing device characterized by:

The information processing device according to claim 19,
The warning event is interference between the models in the robot system,
In the condition setting area, a distance between the models to be determined as interference can be set;
An information processing device characterized by:

The information processing device according to claim 19 or 20,
displaying information related to the first operation display area, the information display area, and the condition setting area on the display unit so that the user can view the information at the same time;
An information processing device characterized by:

The information processing device according to claim 21,
Displaying information related to the first operation display area, the information display area, and the condition setting area in a multi-window or tab format on the display unit;
An information processing device characterized by:

The information processing device according to any one of claims 1 to 22 ,
The robot system includes a robot, a workpiece operated by the robot, and peripheral objects of the robot.
An information processing device characterized by:

An information processing method,
displaying on the display section a first motion display area that displays a model of the motion of the robot system that operates in a simulated manner in a virtual environment based on the control data;
identifying a warning event based on a state of operation of the robot system;
In the display unit, the model of the robot system related to the warning event is displayed in a second behavior display area different from the first behavior display area in a larger size than the display state of the first behavior display area. ,
When the motion of the robot system is being reproduced in the first motion display area, when the warning event occurs, the second motion display area displays the motion of the robot system related to the warning event. reproducing the motion of the robot system in the warning event by enlarging the model beyond the display state of the first motion display area;
An information processing method characterized by:

An information processing method,
displaying on the display section a first motion display area that displays a model of the motion of the robot system that operates in a simulated manner in a virtual environment based on the control data;
identifying a warning event based on a state of operation of the robot system;
In the display unit, the model of the robot system related to the warning event is displayed in a second behavior display area different from the first behavior display area in a larger size than the display state of the first behavior display area. ,
When the motion of the robot system is being reproduced in the first motion display area, a still image is displayed in the first motion display region in the state before the warning event occurs, and the motion from after the state is displayed. reproducing the motion of the robot system in the second motion display area;
An information processing method characterized by:

A program for causing a computer to execute the information processing method according to claim 24 or 25.

A computer-readable recording medium storing the program according to claim 26.

The information processing device according to any one of claims 1 to 23 is used to cause a real robot system that performs an article manufacturing operation to execute the operation verified by operating the robot system in the virtual environment. A method of manufacturing an article by manufacturing the article.

24. The information processing apparatus according to claim 1, wherein the information processing apparatus is configured as a robot simulator apparatus that causes the robot system to operate in the virtual environment.