WO2022249295A1 - ロボットシミュレーション装置 - Google Patents

ロボットシミュレーション装置 Download PDF

Info

Publication number
WO2022249295A1
WO2022249295A1 PCT/JP2021/019843 JP2021019843W WO2022249295A1 WO 2022249295 A1 WO2022249295 A1 WO 2022249295A1 JP 2021019843 W JP2021019843 W JP 2021019843W WO 2022249295 A1 WO2022249295 A1 WO 2022249295A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
robot
work
visual sensor
virtual space
Prior art date
Application number
PCT/JP2021/019843
Other languages
English (en)
French (fr)
Inventor
寛之 米山
Original Assignee
ファナック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ファナック株式会社 filed Critical ファナック株式会社
Priority to US18/548,100 priority Critical patent/US20240123611A1/en
Priority to DE112021006848.2T priority patent/DE112021006848T5/de
Priority to JP2023523771A priority patent/JPWO2022249295A1/ja
Priority to CN202180098270.9A priority patent/CN117320854A/zh
Priority to PCT/JP2021/019843 priority patent/WO2022249295A1/ja
Priority to TW111116070A priority patent/TW202246927A/zh
Publication of WO2022249295A1 publication Critical patent/WO2022249295A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40323—Modeling robot environment for sensor based robot system
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40515—Integration of simulation and planning

Definitions

  • the present invention relates to a robot simulation device.
  • a robot model of the robot, a visual sensor model of the visual sensor, and a work model of the work are arranged in a virtual space that expresses the work space in three dimensions.
  • a technique of measuring a workpiece model using a visual sensor model and performing a simulation in which a robot model performs a task on the workpiece model is known (for example, Patent Document 1).
  • Patent Literature 2 describes, "Among a plurality of coordinate systems included in a virtual space in which a first model based on CAD data including position information in the virtual space is arranged, one coordinate system is selected based on a first instruction input. a first selection unit that selects a second model that does not include position information in the virtual space; a first acquisition unit that acquires first information indicating a second model that does not include position information; an information processing apparatus comprising: a second acquisition unit that acquires 2 information; and a setting unit that sets the position of a second model in virtual space to the position based on the first and second information. (abstract).
  • JP 2015-171745 A Japanese Unexamined Patent Application Publication No. 2020-97061
  • a simulation device such as that described in Patent Document 1 uses, for example, random numbers to generate a random stacking state of work models in a virtual space.
  • One aspect of the present disclosure is a robot simulation device for simulating a work performed by the robot on the work in a robot system including a robot, a visual sensor, and a work arranged in the work space, wherein the work space a model placement unit that places a robot model of the robot, a visual sensor model of the visual sensor, and a work model of the work in a virtual space that three-dimensionally expresses the above; By superimposing the three-dimensional positional information of the workpiece based on the robot or the visual sensor and the geometrical features of the workpiece model, the robot model in the virtual space or the visual sensor model based on the visual sensor model is superimposed.
  • a work model position calculation unit that calculates the position and orientation of a work model
  • a simulation execution unit that measures the work model using the visual sensor model and executes a simulation operation that causes the robot model to perform work on the work model.
  • the model placement unit places the work model in the virtual space at the position and orientation calculated by the work model position calculation unit based on the robot model or the visual sensor model.
  • FIG. 1 is a diagram showing a configuration in which a robot simulation device according to one embodiment is connected to a robot system;
  • FIG. It is a figure showing the hardware structural example of a robot control apparatus and a robot simulation apparatus.
  • It is a functional block diagram showing the functional composition of a robot simulation device.
  • 4 is a flow chart showing a simulation operation by the robot simulation device;
  • FIG. 4 is a diagram showing a state in which a robot model is arranged in virtual space;
  • FIG. 10 is a diagram showing a state in which a robot model and a visual sensor model are arranged in a virtual space when the visual sensor model is a fixed sensor that is fixed in the virtual space;
  • FIG. 10 is a diagram showing a state in which a robot model and a visual sensor model are arranged in a virtual space when the visual sensor model is mounted on the robot model;
  • FIG. 10 is a diagram showing a situation in which the visual sensor measures a workpiece when the visual sensor is a fixed sensor fixed within a work space;
  • FIG. 4 is a diagram showing a situation in which a work is measured by a visual sensor when the visual sensor is mounted on a robot;
  • FIG. 4 is a diagram showing a situation in which pattern light is projected onto a work by a visual sensor to measure the work; It is a figure showing the situation where several intersections were measured on the work surface.
  • FIG. 10 is a diagram showing a state in which a simulation operation for retrieving a work model by a robot model is being executed by a simulation execution unit;
  • FIG. 1 is a diagram showing a configuration in which a robot simulation device 30 according to one embodiment is connected to a robot system 100.
  • the robot system 100 includes a robot 10 , a robot controller 20 that controls the operation of the robot 10 , a visual sensor 70 , and workpieces W placed in a container 81 in a bulk state.
  • a robot 10 has a hand 11 mounted on a wrist flange.
  • Each object that configures the robot system 100 is arranged in the work space.
  • the robot simulation device 30 is a device for executing a simulation for creating an operation program for the robot 10 .
  • the robot simulation device 30 is connected to the robot control device 20 by wire or wirelessly. Note that the robot simulation device 30 may be remotely connected to the robot control device 20 .
  • the robot simulation device 30 arranges models of each object including the robot 10, the visual sensor 70, and the workpieces W randomly stacked in the container 81 in a virtual space, and the visual sensor 70 detects the workpieces W.
  • the operation of detecting and picking up the workpiece W by the robot 10 (hand 11) is simulated by operating these models.
  • the robot simulation device 30 acquires the actual three-dimensional position information of the works W randomly stacked in the container 81, reproduces the actual randomly stacked state of the works W in the virtual space, and performs simulation. By executing it, it is possible to efficiently create an operation program capable of executing a workpiece picking operation with higher accuracy.
  • the visual sensor 70 may be a two-dimensional camera that acquires a two-dimensional image, or a three-dimensional position detector that acquires the three-dimensional position of an object.
  • the visual sensor 70 is assumed to be a range sensor capable of acquiring the three-dimensional position of an object.
  • the visual sensor 70 includes a projector 73 and two cameras 71 and 72 arranged at opposite positions with the projector 73 interposed therebetween.
  • the projector 73 is configured to project desired pattern light such as spot light and slit light onto the surface of the object.
  • a projector includes a light source such as a laser diode or a light emitting diode, for example.
  • the cameras 71 and 72 are digital cameras equipped with imaging devices such as CCD and CMOS sensors.
  • FIG. 1 also shows the robot coordinate system C1 set in the robot 10 and the sensor coordinate system C2 set in the visual sensor 70 .
  • the robot coordinate system C 1 is set at the base of the robot 10 and the sensor coordinate system C 2 is set at the lens position of the visual sensor 70 .
  • the positions and orientations of these coordinate systems are grasped by the robot control device 20 .
  • FIG. 1 shows a configuration in which the visual sensor 70 is attached to the tip of the arm of the robot 10 as an example, there is also a configuration example in which the visual sensor 70 is fixed at a known position within the work space.
  • FIG. 2 is a diagram showing a hardware configuration example of the robot control device 20 and the robot simulation device 30.
  • the robot control device 20 is a general configuration in which a memory 22 (ROM, RAM, non-volatile memory, etc.), an input/output interface 23, an operation unit 24 including various operation switches, etc. are connected to a processor 21 via a bus. It may have a configuration as a computer.
  • the robot simulation device 30 provides a processor 31 with a memory 32 (ROM, RAM, non-volatile memory, etc.), a display unit 33, an operation unit 34 composed of an input device such as a keyboard (or software keys), an input/output interface, and so on. 35 or the like connected via a bus, it may have a configuration as a general computer.
  • various information processing devices such as a personal computer, a notebook PC, and a tablet terminal can be used.
  • FIG. 3 is a functional block diagram showing the functional configuration of the robot simulation device 30.
  • the robot simulation device 30 includes a virtual space creation unit 131 , a model placement unit 132 , a visual sensor model position setting unit 133 , a work model position calculation unit 134 and a simulation execution unit 135 .
  • the virtual space creation unit 131 creates a virtual space that represents the work space in three dimensions.
  • the model placement unit 132 places a model of each object that configures the robot system 100 in the virtual space.
  • a state in which each object model is arranged in the virtual space by the model arrangement unit 132 may be displayed on the display unit 33 .
  • the visual sensor model position setting unit 133 acquires information representing the position of the visual sensor 70 within the work space from the robot control device 20 .
  • the visual sensor model position setting unit 133 sends information (calibration data) indicating the relative positions of the robot coordinate system C1 and the sensor coordinate system C2 stored in the robot control device 20 to the robot control device 20 as a file. get.
  • the information indicating this relative position is the position and orientation of the visual sensor 70 (sensor coordinate system C2) with respect to the robot 10 (robot coordinate system C1) in the work space.
  • Information representing the relative position between the robot coordinate system C1 and the sensor coordinate system C2 is obtained by previously calibrating the visual sensor 70 in the robot system 100 and stored in the robot controller 20 .
  • the calibration is realized, for example, by measuring a visual marker pasted on a predetermined reference position of the robot with the visual sensor 70 to obtain the position and orientation of the visual sensor 70 with respect to the visual marker. .
  • the position and orientation of the visual sensor 70 with respect to the robot 10 are obtained.
  • the model placement unit 132 determines that the relative positions of the robot model coordinate system set for the robot model in the virtual space and the sensor model coordinate system set for the visual sensor model are the same as those of the robot coordinate system and the syntha coordinate system in the work space. Place the visual sensor model in the virtual space so that it is the same as the relative position.
  • the work model position calculation unit 134 superimposes the three-dimensional position information of the work with reference to the robot 10 or the visual sensor 70, which is acquired by the visual sensor 70 in the work space, and the geometrical features of the work model.
  • the position and orientation of the work model are calculated with reference to the robot model or the visual sensor model in the virtual space.
  • the model placement unit 132 places the work model in the virtual space at the calculated position and orientation.
  • the simulation execution unit 135 measures the work model, which is placed in a randomly piled state at the calculated position and orientation, using the visual sensor model, and executes a simulation of the action of picking up the work model using the robot model.
  • simulation or “simulation operation” includes not only the numerical simulation of the operation of a robot, but also the simulated operation of each object model such as a robot model on a display screen.
  • FIG. 4 is a flow chart showing simulation operations performed under the control of the processor 31 of the robot simulation device 30.
  • FIG. 4 is a flow chart showing simulation operations performed under the control of the processor 31 of the robot simulation device 30.
  • the virtual space creation unit 131 creates a virtual space that represents the work space three-dimensionally (step S1). Then, the model placement unit 132 places the robot model 10M in the virtual space (step S2).
  • FIG. 5 shows a state in which the robot model 10M is arranged in the virtual space. Also, the simulation execution unit 135 sets a robot model coordinate system M1 for the robot model 10M at a position corresponding to the robot coordinate system C1 defined in the work space in the virtual space.
  • the visual sensor model position setting unit 133 determines the position of the visual sensor model 70M relative to the robot model 10M in the virtual space based on the position and orientation of the visual sensor 70 relative to the robot 10 in the work space. And the posture is set (step S3).
  • the position and orientation of the visual sensor with the robot 10 as a reference in the work space can be calculated by, for example, the robot coordinate system C1 and the sensor coordinate C1 in the robot controller 20. It is stored as a relative position with respect to system C2.
  • the visual sensor model position setting unit 133 acquires information as the relative position between the robot coordinate system C1 and the sensor coordinate system C2 from the robot control device 20.
  • step S4 the model placement unit 132 determines that the relative positions of the robot model coordinate system M1 and the sensor model coordinate system M2 in the virtual space are the relative positions of the robot coordinate system C1 and the sensor coordinate system C2 in the work space.
  • the visual sensor model 70M is arranged so as to be equivalent to the position.
  • FIGS. 6 and 7 show a state in which the model placement unit 132 has placed the visual sensor model 70M in the virtual space according to the information representing the relative position of the visual sensor 70 with respect to the robot 10.
  • FIG. 6 shows an example in which the visual sensor 70 is used as a fixed camera that is fixed at a predetermined position in the work space
  • FIG. shows an example.
  • the visual sensor model 70M includes a projector model 73M and two camera models 71M and 72M arranged to face each other with the projector model 73M interposed therebetween.
  • a sensor model coordinate system M2 is set at a position corresponding to the sensor coordinate system C2.
  • step S5 the work model position calculation unit 134 acquires the three-dimensional information of the work W based on the robot 10 or the visual sensor 70 in the work space and the shape features of the work model WM. are superimposed on each other to calculate the position and orientation of the workpiece model WM with reference to the robot model 10M or the visual sensor model 70M in the virtual space.
  • the three-dimensional position information of the work W is stored in the robot control device 20 as a set of three-dimensional coordinates based on, for example, the robot coordinate system C1 or the sensor coordinate system C2 by measuring the work W with the visual sensor 70.
  • the work model position calculation unit 134 acquires the three-dimensional position information of the work W from the robot control device 20, and calculates the position and orientation of the work model WM by superimposing it on the shape features of the work model WM.
  • the visual sensor 70 is a range sensor capable of acquiring the distance to the object in this embodiment.
  • a range sensor acquires three-dimensional information of a workpiece in the form of, for example, a range image or a three-dimensional map.
  • a distance image is an image in which the distance from the range sensor to the workpiece within the measurement distance is expressed by the brightness or color of each pixel.
  • a three-dimensional map expresses the three-dimensional position of the workpiece within the measurement area as a set of three-dimensional coordinate values of points on the surface of the workpiece.
  • FIG. 8 is a diagram showing a situation in which the visual sensor 70 measures the work W when the visual sensor 70 is a fixed camera fixed at a predetermined position in the work space.
  • FIG. 9 is a diagram showing a situation in which the visual sensor 70 measures the work W when the visual sensor 70 is mounted on the tip of the arm of the robot 10 .
  • the three-dimensional position information of the work W passes through the focal points of the two cameras 71 and 72, and the two cameras 71 and 72 take images of the area to be measured in which the work W is placed. It corresponds to the bright and dark boundary surface of the pattern light 160 in the case where the pattern light 160 in stripes is projected by the projector 73 to the range to be measured in the first plane group to be divided and the area where the work W is arranged. A plurality of intersection lines with the second plane group are calculated, and the three-dimensional coordinates of the intersection points of the intersection lines and the work surface are calculated (see FIG. 10).
  • FIG. 10 shows striped pattern light 160 projected onto the area where the workpiece W is arranged, one of the first plane group (hereinafter referred to as the first plane 151), and the second plane. One of the groups (hereinafter referred to as second plane 152) is shown.
  • the striped pattern light 160 is represented as a bright and dark pattern (expressed by the presence or absence of hatching) extending from the back side to the front side of the figure. 10 also shows an intersection line L1 between the first plane 151 and the second plane 152, and an intersection point P between the intersection line L1 and the surface of the workpiece W. As shown in FIG.
  • first group of planes and the second group of planes are calculated, and the line of intersection between the first group of planes and the second group of planes is calculated.
  • Three-dimensional information of a plurality of points of intersection P between the calculated plurality of lines of intersection and the surfaces of the randomly stacked workpieces W is calculated.
  • the robot control device 20 acquires the three-dimensional coordinates of all the works W by executing the work picking process multiple times.
  • the robot controller 20 stores the three-dimensional coordinates of all the workpieces W acquired by the robot system 100 according to the procedure described above.
  • the work model position calculator 134 converts the three-dimensional coordinates (coordinates based on the robot coordinate system C1 or the sensor coordinate system C2) of the plurality of intersections P on the work surface obtained as described above to three-dimensional information of the work W. is acquired from the robot control device 20 as. Then, the work model position calculation unit 134 compares the three-dimensional information of the work W with the shape features of the work model (surface data, edge line data, vertex data, etc. of the work model), and calculates possible positions and orientations of the work model. to calculate the position and orientation of the work model that maximizes the degree of matching between the set of three-dimensional coordinates and the shape information of the work model. Thereby, the work model position calculator 134 obtains the position and orientation of the work model WM in the virtual space corresponding to the position and orientation of the work W in the work space.
  • FIG. 11 shows a state in which the work model WM is superimposed on the three-dimensional position information (multiple intersections P) of the work W by such a procedure. Note that FIG. 11 shows a range Q in which the three-dimensional position of the workpiece W is obtained. FIG. 11 also shows a work model coordinate system M3 set for each work model WM.
  • the work model coordinate system M3 may be set at the position of the center of gravity of each work model WM, for example, when the work model WM has a rectangular parallelepiped shape.
  • step S6 the model placement unit 132 places the work model WM at the position and orientation of the work model W with reference to the robot model 10M or the visual sensor model 70M in the virtual space.
  • FIG. 12 shows a state in which the work model WM is arranged in the virtual space based on the position and orientation of the work model WM calculated in step S5 when the visual sensor model 70M is a fixed sensor whose position is fixed.
  • FIG. 13 shows a state in which the work model WM is arranged in the virtual space based on the position and orientation of the work model WM calculated in step S5 when the visual sensor model M is mounted on the robot model 10M. . As shown in FIGS.
  • the position and orientation of the work model WM may be obtained as the position and orientation of the work model coordinate system M3 with respect to the lomot model coordinate system M1 or the visual sensor model coordinate system M2.
  • the actual arrangement of the works W randomly stacked in the work space is reproduced in the virtual space.
  • step S7 the simulation execution unit 135 measures the work model WM with the visual sensor model 70M in a state where the work model WM is arranged in the virtual space as shown in FIG. 12 or FIG.
  • the hand model 11M mounted on the machine simulates the operation of taking out the work models WM one by one.
  • the simulation execution unit 135 simulates the position and orientation of the work model WM in the virtual space by the following procedure, similar to the measurement operation using the visual sensor 70 .
  • a first plane group is calculated based on the positions and measurement areas of the two camera models 71M and 72M in the visual sensor model 70M placed in the virtual space.
  • a second plane group is calculated based on the position of the projector model 73M and the measurement area.
  • (a3) Calculate a plurality of intersection lines between the first group of planes and the second group of planes.
  • (a4) Calculate the three-dimensional coordinates of the intersection between the line of intersection and the workpiece model WM.
  • FIG. 14 shows a state in which the simulation execution unit 135 is executing a simulation operation for retrieving the work model WM by the robot model 10M. Such actions may be displayed on the display unit 33 of the robot simulation device 30 .
  • the work simulation operation of the robot model is executed in a state in which the state in which the workpieces are randomly piled in the work space is reproduced in the virtual space. can be created efficiently.
  • the functional blocks of the robot simulation device 30 shown in FIG. 3 may be realized by the processor 31 of the robot simulation device 30 executing software stored in a storage device, or may be realized by an ASIC (Application Specific Integrated Circuit). It may be realized by a configuration mainly composed of hardware such as.
  • ASIC Application Specific Integrated Circuit
  • the program for executing the simulation operation of FIG. 4 in the above-described embodiment is stored in various computer-readable recording media (eg, ROM, EEPROM, semiconductor memory such as flash memory, magnetic recording medium, CD-ROM, DVD-ROM, etc.). optical disc).
  • ROM read-only memory
  • EEPROM electrically erasable programmable read-only memory
  • semiconductor memory such as flash memory
  • magnetic recording medium CD-ROM, DVD-ROM, etc.
  • optical disc optical disc
  • robot 10M robot model 11 hand 11M hand model 20 robot control device 21 processor 22 memory 23 input/output interface 24 operation unit 30 robot simulation device 31 processor 32 memory 33 display unit 34 operation unit 35 input/output interface 70 visual sensor 70M visual sensor model 71, 72 Cameras 71M, 72M Camera model 73 Projector 73M Projector model 81 Container 81M Container model 100 Robot system 131 Virtual space creation unit 132 Model placement unit 133 Visual sensor model position setting unit 134 Work model position calculation unit 135 Simulation execution unit

Abstract

仮想空間にロボットモデル、視覚センサモデル及びワークモデルを配置するモデル配置部（１３２）と、作業空間内において視覚センサにより取得された、ロボット又は視覚センサを基準としたワークの３次元位置情報とワークモデルの形状的特徴とを重ね合わせることにより、仮想空間内におけるロボットモデル又は視覚センサモデルを基準としたワークモデルの位置及び姿勢を算出するワークモデル位置算出部（１３４）と、視覚センサモデルによりワークモデルを計測して、ロボットモデルによりワークモデルに対する作業を行わせるシミュレーション動作を実行するシミュレーション実行部（１３５）と、を備え、モデル配置部は、仮想空間において、ワークモデルを、ワークモデル位置算出部により算出された、ロボットモデル又は視覚センサモデルを基準とした位置及び姿勢で配置する、ロボットシミュレーション装置である。

Description

ロボットシミュレーション装置
　本発明は、ロボットシミュレーション装置に関する。
　作業空間内にロボット、視覚センサ、およびワークを有するロボットシステムにおいて、作業空間を三次元的に表現した仮想空間内にロボットのロボットモデル、視覚センサの視覚センサモデル、及びワークのワークモデルを配置し、視覚センサモデルによりワークモデルを計測し、ロボットモデルがワークモデルに対し作業を行うシミュレーションを行う技術が知られている（例えば、特許文献１）。
　特許文献２は、「仮想空間における位置情報を含むＣＡＤデータに基づく第１のモデルが配置された仮想空間に含まれる複数の座標系のうち、第１の指示入力に基づいて、一の座標系を選択する第１選択部と、仮想空間における位置情報を含まない第２のモデルを示す第１情報を取得する第１取得部と、第１選択部により選択される座標系における位置を示す第２情報を取得する第２取得部と、第１及び第２情報に基づいて、仮想空間における第２のモデルの位置を、前記位置に設定する設定部と、を備える情報処理装置」を記載する（要約書）。
特開２０１５－１７１７４５号公報 特開２０２０－９７０６１号公報
　特許文献１に記載のようなシミュレーション装置は、仮想空間内におけるワークモデルのバラ積み状態を、例えば乱数を用いて生成している。より精度の高いワーク取出動作を達成できるロボットの動作プログラムを効率的に作成することを可能にするシミュレーション技術が望まれている。
　本開示の一態様は、作業空間内に配置されたロボット、視覚センサ及びワークを含むロボットシステムにおいて前記ロボットが前記ワークに対して行う作業をシミュレーションするためのロボットシミュレーション装置であって、前記作業空間を三次元的に表現した仮想空間に前記ロボットのロボットモデル、前記視覚センサの視覚センサモデル及び前記ワークのワークモデルを配置するモデル配置部と、前記作業空間内において前記視覚センサにより取得された、前記ロボット又は前記視覚センサを基準とした前記ワークの３次元位置情報と前記ワークモデルの形状的特徴とを重ね合わせることにより、前記仮想空間内における前記ロボットモデル又は前記視覚センサモデルを基準とした前記ワークモデルの位置及び姿勢を算出するワークモデル位置算出部と、前記視覚センサモデルにより前記ワークモデルを計測して、前記ロボットモデルにより前記ワークモデルに対する作業を行わせるシミュレーション動作を実行するシミュレーション実行部と、を備え、前記モデル配置部は、前記仮想空間において、前記ワークモデルを、前記ワークモデル位置算出部により算出された、前記ロボットモデル又は前記視覚センサモデルを基準とした前記位置及び姿勢で配置する、ロボットシミュレーション装置である。
　作業空間におけるワークのバラ積み状態を仮想空間において再現した状態でロボットモデルの作業のシミュレーション動作が実行されるので、精度の高い取り出し動作を実行できる動作プログラムを効率的に作成することができる。
　添付図面に示される本発明の典型的な実施形態の詳細な説明から、本発明のこれらの目的、特徴および利点ならびに他の目的、特徴および利点がさらに明確になるであろう。
一実施形態に係るロボットシミュレーション装置が、ロボットシステムに接続された構成を表す図である。 ロボット制御装置及びロボットシミュレーション装置のハードウェア構成例を表す図である。 ロボットシミュレーション装置の機能構成を表す機能ブロック図である。 ロボットシミュレーション装置によるシミュレーション動作を表すフローチャートである。 仮想空間内にロボットモデルを配置した状態を表す図である。 視覚センサモデルが仮想空間内に固定される固定センサである場合において、仮想空間内に、ロボットモデル及び視覚センサモデルを配置した状態を表す図である。 視覚センサモデルがロボットモデルに搭載される場合において、仮想空間内に、ロボットモデル及び視覚センサモデルを配置した状態を表す図である。 視覚センサが作業空間内に固定される固定センサである場合に、視覚センサがワークを計測する状況を表す図である。 視覚センサがロボットに搭載される場合に、視覚センサによりワークを計測する状況を表す図である。 視覚センサによりワークにパターン光を投影してワークの計測を行う状況を表す図である。 ワーク表面上に複数の交点が計測された状況を表す図である。 視覚センサモデルが仮想空間内に固定される固定センサである場合において、算出されたワークモデルの位置及び姿勢に基づいて仮想空間内にワークモデルを配置した状態を示している。 視覚センサモデルがロボットモデルに搭載される場合において、算出されたワークモデルの位置及び姿勢に基づいて仮想空間内にワークモデルＷＭを配置した状態を示している。 シミュレーション実行部により、ロボットモデルによるワークモデルを取り出すシミュレーション動作が実行されている状態を表す図である。
　次に、本開示の実施形態について図面を参照して説明する。参照する図面において、同様の構成部分または機能部分には同様の参照符号が付けられている。理解を容易にするために、これらの図面は縮尺を適宜変更している。また、図面に示される形態は本発明を実施するための一つの例であり、本発明は図示された形態に限定されるものではない。
　図１は一実施形態に係るロボットシミュレーション装置３０が、ロボットシステム１００に接続された構成を表す図である。ロボットシステム１００は、ロボット１０と、ロボット１０の動作を制御するロボット制御装置２０と、視覚センサ７０と、容器８１内にバラ積み状態で置かれたワークＷとを含む。ロボット１０は手首ブランジ部にハンド１１を搭載している。ロボットシステム１００を構成する各物体は、作業空間に配置されている。ロボットシミュレーション装置３０は、ロボット１０の動作プログラムを作成するためのシミュレーションを実行するための装置である。ロボットシミュレーション装置３０は、ロボット制御装置２０に有線或いは無線で接続される。なお、ロボットシミュレーション装置３０は、ロボット制御装置２０に対して遠隔で接続されていても良い。
　本実施形態に係るロボットシミュレーション装置３０は、ロボット１０、視覚センサ７０、及び、容器８１内にバラ積みされたワークＷを含む各物体のモデルを仮想空間に配置し、視覚センサ７０によりワークＷを検出してロボット１０（ハンド１１）でワークＷを取り出す動作を、これらのモデルを模擬的に動作させることでシミュレーションする。この場合において、ロボットシミュレーション装置３０は、容器８１内にバラ積みされたワークＷの実際の三次元位置情報を取得して、ワークＷの実際のバラ積み状態を仮想空間内で再現してシミュレーションを実行することで、より精度の高いワーク取出動作を実行することができる動作プログラムを効率的に作成することを可能にする。
　視覚センサ７０は、２次元画像を取得する２次元カメラであっても良く、或いは対象物の三次元位置を取得する三次元位置検出器であっても良い。本実施形態では、視覚センサ７０は、対象物の三次元位置を取得可能なレンジセンサであるものとする。視覚センサ７０は、プロジェクタ７３と、プロジェクタ７３を挟んで対向する位置に配置された２つのカメラ７１、７２とを備える。プロジェクタ７３は、スポット光、スリット光等の所望のパターン光を対象物の表面に投影することができるように構成されている。プロジェクタは、例えば、レーザダイオード、発光ダイオード等の光源を備えている。カメラ７１、７２は、ＣＣＤ、ＣＭＯＳセンサなどの撮像素子を備えたデジタルカメラである。
　なお、図１には、ロボット１０に設定されたロボット座標系Ｃ１と、視覚センサ７０に設定されたセンサ座標系Ｃ２も図示している。一例として、ロボット座標系Ｃ１はロボット１０の基部に設定され、センサ座標系Ｃ２は視覚センサ７０のレンズの位置に設定する。これらの座標系の位置及び姿勢は、ロボット制御装置２０において把握されている。図１では、例示として、視覚センサ７０がロボット１０のアーム先端部に取り付けられている構成を示しているが、視覚センサ７０は作業空間内の既知の位置に固定される構成例もある。
　図２は、ロボット制御装置２０及びロボットシミュレーション装置３０のハードウェア構成例を示す図である。ロボット制御装置２０は、プロセッサ２１に対してメモリ２２（ＲＯＭ、ＲＡＭ、不揮発性メモリ等）、入出力インタフェース２３、各種操作スイッチを含む操作部２４等がバスを介して接続された、一般的なコンピュータとしての構成を有していても良い。ロボットシミュレーション装置３０は、プロセッサ３１に対して、メモリ３２（ＲＯＭ、ＲＡＭ、不揮発性メモリ等）、表示部３３、キーボード（或いはソフトウェアキー）等の入力装置により構成される操作部３４、入出力インタフェース３５等がバスを介して接続された、一般的なコンピュータとしての構成を有していても良い。ロボットシミュレーション装置３０としては、パーソナルコンピュータ、ノート型ＰＣ、タブレット端末等の様々な情報処理装置を用いることができる。
　図３は、ロボットシミュレーション装置３０の機能構成を表す機能ブロック図である。ロボットシミュレーション装置３０は、仮想空間作成部１３１と、モデル配置部１３２と、視覚センサモデル位置設定部１３３と、ワークモデル位置算出部１３４と、シミュレーション実行部１３５とを備える。
　仮想空間作成部１３１は、作業空間を三次元的に表現した仮想空間を作成する。
　モデル配置部１３２は、仮想空間内に、ロボットシステム１００を構成する各物体のモデルを配置する。モデル配置部１３２により仮想空間内に各物体モデルが配置された状態は、表示部３３に表示されても良い。
　視覚センサモデル位置設定部１３３は、作業空間内における視覚センサ７０の位置を表す情報をロボット制御装置２０から取得する。例えば、視覚センサモデル位置設定部１３３は、ロボット制御装置２０内に記憶された、ロボット座標系Ｃ１とセンサ座標系Ｃ２との相対位置を示す情報（キャリブレーションデータ）をファイルとしてロボット制御装置２０から取得する。この相対位置を示す情報は、具体的には、作業空間内におけるロボット１０（ロボット座標系Ｃ１）を基準とした視覚センサ７０（センサ座標系Ｃ２）の位置及び姿勢である。ロボット座標系Ｃ１とセンサ座標系Ｃ２との相対位置を表す情報は、ロボットシステム１００において予め視覚センサ７０のキャリブレーションを実行することで取得され、ロボット制御装置２０内に記憶されている。
　ここで、キャリブレーションは、例えば、ロボットの所定の基準位置に貼り付けられた視覚マーカを視覚センサ７０で計測することにより、視覚マーカに対する視覚センサ７０の位置及び姿勢を取得することにより実現される。既知の位置に配置された視覚マーカに対する視覚センサ７０の位置姿勢を得ることで、ロボット１０に対する視覚センサ７０の位置姿勢が取得される。
　モデル配置部１３２は、仮想空間内においてロボットモデルに設定したロボットモデル座標系と、視覚センサモデルに設定したセンサモデル座標系との相対位置が、作業空間内におけるロボット座標系とシンサ座標系との相対位置と同じになるように、視覚センサモデルを仮想空間内に配置する。
　ワークモデル位置算出部１３４は、作業空間内において視覚センサ７０により取得された、ロボット１０又は視覚センサ７０を基準としたワークの三次元位置情報とワークモデルの形状的特徴とを重ね合わせることにより、仮想空間内におけるロボットモデル又は視覚センサモデルを基準としたワークモデルの位置及び姿勢を算出する。モデル配置部１３２は、ワークモデルを、算出された位置及び姿勢で仮想空間内に配置する。
　シミュレーション実行部１３５は、算出された位置及び姿勢でバラ積み状態に配置されているワークモデルを、視覚センサモデルにより計測し、ロボットモデルにより取り出す動作のシミュレーションを実行する。なお、本明細書において、シミュレーション或いはシミュレーション動作と言うときには、ロボット等の動作の数値シミュレーションを行う場合のほか、表示画面上でロボットモデル等の各物体モデルを模擬的に動作させる場合を含む。
　図４は、ロボットシミュレーション装置３０のプロセッサ３１による制御の下で実行されるシミュレーション動作を表すフローチャートである。
　はじめに、仮想空間作成部１３１は、作業空間を３次元的に表現した仮想空間を作成する（ステップＳ１）。そして、モデル配置部１３２は、仮想空間内にロボットモデル１０Ｍを配置する（ステップＳ２）。図５は、仮想空間内にロボットモデル１０Ｍを配置した状態を示している。また、シミュレーション実行部１３５は、仮想空間において、作業空間に定義されたロボット座標系Ｃ１に対応する位置に、ロボットモデル１０Ｍに対するロボットモデル座標系Ｍ１を設定する。
　次に、視覚センサモデル位置設定部１３３は、作業空間内におけるロボット１０を基準とした視覚センサ７０の位置及び姿勢に基づいて、仮想空間内におけるロボットモデル１０Ｍを基準とした視覚センサモデル７０Ｍの位置及び姿勢を設定する（ステップＳ３）。作業空間内におけるロボット１０を基準とした視覚センサの位置及び姿勢は、ロボットシステム１００において視覚センサ７０のキャリブレーションを実行することで、例えば、ロボット制御装置２０内に、ロボット座標系Ｃ１とセンサ座標系Ｃ２との相対位置として記憶されている。ステップＳ３では、視覚センサモデル位置設定部１３３が、ロボット制御装置２０から、ロボット座標系Ｃ１とセンサ座標系Ｃ２との相対位置としての情報を取得する。
　次にステップＳ４では、モデル配置部１３２が、仮想空間内において、ロボットモデル座標系Ｍ１とセンサモデル座標系Ｍ２との相対位置が、作業空間内におけるロボット座標系Ｃ１とセンサ座標系Ｃ２との相対位置と同等となるように、視覚センサモデル７０Ｍを配置する。
　図６及び図７に、モデル配置部１３２が、ロボット１０に対する視覚センサ７０の相対位置を表す情報にしたがって、視覚センサモデル７０Ｍを仮想空間内に配置した状態を示す。なお、図６は、視覚センサ７０が作業空間内で所定位置に固定される固定カメラとして用いられる場合の例を示し、図７は、視覚センサ７０がロボット１０のアーム先端部に取り付けられる場合の例を示している。図６及び図７に示すように、視覚センサモデル７０Ｍは、プロジェクタモデル７３Ｍと、プロジェクタモデル７３Ｍを挟んで対向して配置された２つのカメラモデル７１Ｍ及び７２Ｍとを備える。図６及び図７に示すように、仮想空間において、センサ座標系Ｃ２に対応する位置には、センサモデル座標系Ｍ２が設定されている。
　次にステップＳ５では、ワークモデル位置算出部１３４が、作業空間内において視覚センサ７０により取得した、ロボット１０又は視覚センサ７０を基準としたワークＷの３次元情報と、ワークモデルＷＭの形状的特徴とを重ね合わせることにより、仮想空間内におけるロボットモデル１０Ｍ又は視覚センサモデル７０Ｍを基準としたワークモデルＷＭの位置及び姿勢を算出する。
　ワークＷの３次元位置情報は、視覚センサ７０によりワークＷを計測することで、例えばロボット座標系Ｃ１或いはセンサ座標系Ｃ２を基準とした３次元座標の集合としてロボット制御装置２０内に記憶されている。ワークモデル位置算出部１３４は、ワークＷの３次元位置情報をロボット制御装置２０から取得し、ワークモデルＷＭの形状的特徴との重ね合わせによりワークモデルＷＭの位置及び姿勢を算出する。
　ここで、視覚センサ７０によるバラ積み状態のワークＷの３次元位置情報の取得方法について図８から図１０を参照して説明する。視覚センサ７０は、本実施形態では対象物までの距離を取得できるレンジセンサである。レンジセンサは、ワークの３次元情報を、例えば距離画像又は三次元マップ等の形態で取得する。距離画像は、レンジセンサから計測距離内のワークまでの距離を各々の画素の明暗又は色によって表現した画像である。三次元マップは、計測領域内のワークの三次元位置を、ワークの表面上における点の三次元座標値の集合として表現したものである。
　視覚センサ７０の２つのカメラ７１、７２は、それらの視野が少なくとも部分的に互いに重なるように、互に異なる方向に向けられている。プロジェクタ７３の投影範囲は、各々のカメラ７１、７２の視野と少なくとも部分的に重なるように配置されている。図８は、視覚センサ７０が作業空間内の所定位置に固定される固定カメラである場合に、視覚センサ７０によりワークＷを計測する状況を表す図である。図９は、視覚センサ７０がロボット１０のアーム先端部に搭載される場合に、視覚センサ７０によりワークＷを計測する状況を表す図である。
　ワークＷの三次元位置情報は、２台のカメラ７１及び７２の焦点を通り、ワークＷが配置された領域計測の対象となる範囲を２台のカメラ７１及び７２で撮像した視野を等間隔で分割する第１の平面群と、ワークＷが配置された領域において計測の対象となる範囲にプロジェクタ７３で縞状のパターン光１６０を投影した場合の、パターン光１６０の明暗の境界面に相当する第二の平面群との交線を複数計算し、交線とワーク表面との交点の３次元座標として算出される（図１０参照）。
　図１０に、２台のカメラ７１、７２で撮像される視野（計測対象となる範囲）を視野ＦＶとして表し、視野を等間隔で分割する仮想線を１点鎖線で表す。図１０には、ワークＷが配置された領域に投影された縞状のパターン光１６０と、第１の平面群の一つ（以下、第１の平面１５１と記載する）と、第２の平面群の一つ（以下、第２の平面１５２）とを図示している。なお、図１０において縞状のパターン光１６０は、図中奥側から手前側に伸び明暗パターン（網掛けの有無による表現）として表されている。また、図１０には、第１の平面１５１と第２の平面１５２との交線Ｌ１と、交線Ｌ１とワークＷの表面との交点Ｐを図示している。
　このように、第１の平面群、第２の平面群が計算されると共に、第１の平面群と第２の平面群との交線が算出される。そして、算出された複数の交線と、バラ積みされたワークＷの表面との複数の交点Ｐの三次元情報が算出される。
　ロボット制御装置２０は、ワーク取り出し工程を複数回実行することで、全てのワークＷについて３次元座標を取得するようにする。
　以上のような手順によるロボットシステム１００において取得された、全てのワークＷについての三次元座標が、ロボット制御装置２０に格納されている。
　ワークモデル位置算出部１３４は、上記のように求められたワーク表面上の複数の交点Ｐの三次元座標（ロボット座標系Ｃ１又センサ座標系Ｃ２を基準とした座標）をワークＷの三次元情報としてロボット制御装置２０から取得する。そして、ワークモデル位置算出部１３４は、ワークＷの三次元情報とワークモデルの形状的特徴（ワークモデルの面データ、稜線データ、頂点データ等）とを比較してワークモデルが取り得る位置及び姿勢を探索し、３次元座標の集合とワークモデルの形状情報との一致の度合いが最大となるワークモデルの位置及び姿勢を算出する。これにより、ワークモデル位置算出部１３４は、作業空間におけるワークＷの位置及び姿勢に対応する、仮想空間におけるワークモデルＷＭの位置及び姿勢を得る。
　図１１には、このような手順により、ワークＷの３次元位置情報（複数の交点Ｐ）に対してワークモデルＷＭが重ね合わされて配置された状態を示している。なお、図１１には、ワークＷの３次元位置が得られている範囲Ｑを図示している。また、図１１には、各ワークモデルＷＭに設定されているワークモデル座標系Ｍ３も図示している。ワークモデル座標系Ｍ３は、例えば各ワークモデルＷＭの直方体形状である場合にはその重心位置に設定されても良い。
　次に、ステップＳ６では、モデル配置部１３２は、仮想空間内において、ロボットモデル１０Ｍ又は視覚センサモデル７０Ｍを基準としたワークモデルＷの位置及び姿勢にワークモデルＷＭを配置する。図１２は、視覚センサモデル７０Ｍが位置が固定される固定センサである場合において、ステップＳ５で算出されたワークモデルＷＭの位置及び姿勢に基づいて仮想空間内にワークモデルＷＭを配置した状態を示している。図１３は、視覚センサモデルＭがロボットモデル１０Ｍに搭載される場合において、ステップＳ５で算出されたワークモデルＷＭの位置及び姿勢に基づいて仮想空間内にワークモデルＷＭを配置した状態を示している。図１２及び図１３に示すように、ワークモデルＷＭの位置及び姿勢は、ロモットモデル座標系Ｍ１又は視覚センサモデル座標系Ｍ２に対する、ワークモデル座標系Ｍ３の位置及び姿勢として求められても良い。これにより、作業空間内においてバラ積みされたワークＷの実際の配置が仮想空間内で再現されたこととなる。
　次に、ステップＳ７では、シミュレーション実行部１３５は、図１２又は図１３の様にワークモデルＷＭが仮想空間内に配置された状態において、視覚センサモデル７０ＭによりワークモデルＷＭを計測し、ロボットモデル１０Ｍに搭載したハンドモデル１１ＭによりワークモデルＷＭを一つずつ取り出す作業のシミュレーションを実行する。
　シミュレーション実行部１３５は、視覚センサ７０を用いた計測動作と同様に、以下の手順により、仮想空間内においてワークモデルＷＭの位置及び姿勢を模擬的に計測する。
（ａ１）仮想空間に配置された視覚センサモデル７０Ｍにおける２つのカメラモデル７１Ｍ、７２Ｍの位置及び計測領域に基づいて第１の平面群を計算する。
（ａ２）次に、プロジェクタモデル７３Ｍの位置及び計測領域に基づいて第２の平面群を計算する。
（ａ３）第１の平面群と第２の平面群との複数の交線を計算する。
（ａ４）交線とワークモデルＷＭとの交点の三次元座標を計算する。
（ａ５）ワークモデルＷＭの三次元座標に基づいてワークモデルＷＭの位置及び姿勢を計算する。
（ａ６）算出されたワークモデルＷＭの位置及び姿勢に基づいて対象ワークモデルを把持可能な位置までロボットモデル１０Ｍを移動させ、ハンドモデル１１Ｍにより対象ワークモデルを取り出す動作をシミュレーションする。
　図１４は、シミュレーション実行部１３５により、ロボットモデル１０ＭによるワークモデルＷＭを取り出すシミュレーション動作が実行されている状態を表す。このような動作が、ロボットシミュレーション装置３０の表示部３３に表示されても良い。
　このように本実施形態によれば、作業空間におけるワークのバラ積み状態を仮想空間において再現した状態でロボットモデルの作業のシミュレーション動作が実行されるので、精度の高い取り出し動作を実行できる動作プログラムを効率的に作成することができる。
　以上、典型的な実施形態を用いて本発明を説明したが、当業者であれば、本発明の範囲から逸脱することなしに、上述の各実施形態に変更及び種々の他の変更、省略、追加を行うことができるのを理解できるであろう。
　図３に示したロボットシミュレーション装置３０の機能ブロックは、ロボットシミュレーション装置３０のプロセッサ３１が、記憶装置に格納されたソフトウェアを実行することで実現されても良く、或いは、ＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアを主体とした構成により実現されても良い。
　上述した実施形態における図４のシミュレーション動作を実行するプログラムは、コンピュータに読み取り可能な各種記録媒体（例えば、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ等の半導体メモリ、磁気記録媒体、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等の光ディスク）に記録することができる。
　１０　　ロボット
　１０Ｍ　　ロボットモデル
　１１　　ハンド
　１１Ｍ　　ハンドモデル
　２０　　ロボット制御装置
　２１　　プロセッサ
　２２　　メモリ
　２３　　入出力インタフェース
　２４　　操作部
　３０　　ロボットシミュレーション装置
　３１　　プロセッサ
　３２　　メモリ
　３３　　表示部
　３４　　操作部
　３５　　入出力インタフェース
　７０　　視覚センサ
　７０Ｍ　　視覚センサモデル
　７１、７２　　カメラ
　７１Ｍ、７２Ｍ　　カメラモデル
　７３　　プロジェクタ
　７３Ｍ　　プロジェクタモデル
　８１　　容器
　８１Ｍ　　容器モデル
　１００　　ロボットシステム
　１３１　　仮想空間作成部
　１３２　　モデル配置部
　１３３　　視覚センサモデル位置設定部
　１３４　　ワークモデル位置算出部
　１３５　　シミュレーション実行部

Claims (5)

  1. 　作業空間内に配置されたロボット、視覚センサ及びワークを含むロボットシステムにおいて前記ロボットが前記ワークに対して行う作業をシミュレーションするためのロボットシミュレーション装置であって、
    　前記作業空間を三次元的に表現した仮想空間に前記ロボットのロボットモデル、前記視覚センサの視覚センサモデル及び前記ワークのワークモデルを配置するモデル配置部と、
    　前記作業空間内において前記視覚センサにより取得された、前記ロボット又は前記視覚センサを基準とした前記ワークの３次元位置情報と前記ワークモデルの形状的特徴とを重ね合わせることにより、前記仮想空間内における前記ロボットモデル又は前記視覚センサモデルを基準とした前記ワークモデルの位置及び姿勢を算出するワークモデル位置算出部と、
    　前記視覚センサモデルにより前記ワークモデルを計測して、前記ロボットモデルにより前記ワークモデルに対する作業を行わせるシミュレーション動作を実行するシミュレーション実行部と、を備え、
    　前記モデル配置部は、前記仮想空間において、前記ワークモデルを、前記ワークモデル位置算出部により算出された、前記ロボットモデル又は前記視覚センサモデルを基準とした前記位置及び姿勢で配置する、ロボットシミュレーション装置。
  2. 　前記作業空間内において前記視覚センサにより取得された前記ワークの前記３次元位置情報は、前記作業空間内においてバラ積みされた全ての前記ワークについての、前記視覚センサを用いて計測された三次元位置情報を含む、請求項１に記載のロボットシミュレーション装置。
  3. 　前記ワークの３次元位置情報は、前記視覚センサを用いて計測された前記ワークの３次元点の集合である、請求項２に記載のロボットシミュレーション装置。
  4. 　前記作業空間内における前記ロボットを基準とした前記視覚センサの位置及び姿勢に基づいて、前記仮想空間内における前記ロボットモデルを基準とした前記視覚センサモデルの位置及び姿勢を設定する視覚センサモデル位置設定部を更に備え、
    　前記モデル配置部は、前記仮想空間内において、設定された前記視覚センサモデルの位置及び姿勢に、前記視覚センサモデルを配置する、請求項１から３のいずれか一項に記載のロボットシミュレーション装置。
  5. 　前記作業空間内における前記ロボットを基準とした前記視覚センサの位置及び姿勢は、前記作業空間において前記視覚センサのキャリブレーションを行うことにより得られたキャリブレーションデータに含まれるデータである、請求項４に記載のロボットシミュレーション装置。
PCT/JP2021/019843 2021-05-25 2021-05-25 ロボットシミュレーション装置 WO2022249295A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US18/548,100 US20240123611A1 (en) 2021-05-25 2021-05-25 Robot simulation device
DE112021006848.2T DE112021006848T5 (de) 2021-05-25 2021-05-25 Robotersimulationsvorrichtung
JP2023523771A JPWO2022249295A1 (ja) 2021-05-25 2021-05-25
CN202180098270.9A CN117320854A (zh) 2021-05-25 2021-05-25 机器人模拟装置
PCT/JP2021/019843 WO2022249295A1 (ja) 2021-05-25 2021-05-25 ロボットシミュレーション装置
TW111116070A TW202246927A (zh) 2021-05-25 2022-04-27 機器人模擬裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/019843 WO2022249295A1 (ja) 2021-05-25 2021-05-25 ロボットシミュレーション装置

Publications (1)

Publication Number Publication Date
WO2022249295A1 true WO2022249295A1 (ja) 2022-12-01

Family

ID=84229711

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/019843 WO2022249295A1 (ja) 2021-05-25 2021-05-25 ロボットシミュレーション装置

Country Status (6)

Country Link
US (1) US20240123611A1 (ja)
JP (1) JPWO2022249295A1 (ja)
CN (1) CN117320854A (ja)
DE (1) DE112021006848T5 (ja)
TW (1) TW202246927A (ja)
WO (1) WO2022249295A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005103681A (ja) * 2003-09-29 2005-04-21 Fanuc Ltd ロボットシステム
JP2011044046A (ja) * 2009-08-21 2011-03-03 National Institute Of Advanced Industrial Science & Technology 物体認識装置および物体認識方法
JP2015171745A (ja) * 2014-03-12 2015-10-01 ファナック株式会社 ワークの取出工程をシミュレーションするロボットシミュレーション装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020097061A (ja) 2017-03-31 2020-06-25 日本電産株式会社 情報処理装置、情報処理プログラム、情報処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005103681A (ja) * 2003-09-29 2005-04-21 Fanuc Ltd ロボットシステム
JP2011044046A (ja) * 2009-08-21 2011-03-03 National Institute Of Advanced Industrial Science & Technology 物体認識装置および物体認識方法
JP2015171745A (ja) * 2014-03-12 2015-10-01 ファナック株式会社 ワークの取出工程をシミュレーションするロボットシミュレーション装置

Also Published As

Publication number Publication date
US20240123611A1 (en) 2024-04-18
CN117320854A (zh) 2023-12-29
DE112021006848T5 (de) 2023-11-16
TW202246927A (zh) 2022-12-01
JPWO2022249295A1 (ja) 2022-12-01

Similar Documents

Publication Publication Date Title
JP5897624B2 (ja) ワークの取出工程をシミュレーションするロボットシミュレーション装置
JP6465789B2 (ja) デプスカメラの内部パラメータを算出するプログラム、装置及び方法
JP4492654B2 (ja) ３次元計測方法および３次元計測装置
JP6594129B2 (ja) 情報処理装置、情報処理方法、プログラム
JP6703812B2 (ja) ３次元物体検査装置
JP2008296330A (ja) ロボットシミュレーション装置
US11446822B2 (en) Simulation device that simulates operation of robot
JP2016197393A (ja) 情報処理装置、情報処理方法及びプログラム
JP2021016922A (ja) 三次元データ生成装置及びロボット制御システム
US20180290300A1 (en) Information processing apparatus, information processing method, storage medium, system, and article manufacturing method
JP2009503711A (ja) 第２の対象物に対する第１対象物の相対位置を決定する方法及びシステム及び、対応するコンピュータプログラム及び対応するコンピュータ可読記録媒体
JP4961405B2 (ja) シミュレーション装置の画像データ生成装置
JP2020013548A (ja) 画像処理装置、画像処理方法、システム、物品の製造方法
WO2022249295A1 (ja) ロボットシミュレーション装置
CN113597362A (zh) 用于确定机器人坐标系与可移动装置坐标系之间的关系的方法和控制装置
JP2020091126A (ja) 計測装置、システム、表示方法及びプログラム
JP6822086B2 (ja) シミュレーション装置、シミュレーション方法およびシミュレーションプログラム
JP7249221B2 (ja) センサ位置姿勢キャリブレーション装置及びセンサ位置姿勢キャリブレーション方法
JP2021058979A (ja) ロボットアーム試験装置
WO2022181500A1 (ja) 視覚センサの出力から得られる３次元位置情報を用いるシミュレーション装置
US20230339103A1 (en) Information processing system, information processing method, robot system, robot system control method, article manufacturing method using robot system, and recording medium
JP5243635B2 (ja) シミュレーション装置の画像データ生成装置
JP7380661B2 (ja) 投射方法、及び投射システム
TW202305749A (zh) 模擬裝置
JP2008209194A (ja) ３次元形状測定方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21942949

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023523771

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18548100

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112021006848

Country of ref document: DE