WO2022255206A1 - 情報処理装置、情報処理方法、及び、コンピュータプログラム - Google Patents

情報処理装置、情報処理方法、及び、コンピュータプログラム Download PDF

Info

Publication number
WO2022255206A1
WO2022255206A1 PCT/JP2022/021465 JP2022021465W WO2022255206A1 WO 2022255206 A1 WO2022255206 A1 WO 2022255206A1 JP 2022021465 W JP2022021465 W JP 2022021465W WO 2022255206 A1 WO2022255206 A1 WO 2022255206A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot
model
display mode
environment
image
Prior art date
Application number
PCT/JP2022/021465
Other languages
English (en)
French (fr)
Inventor
純哉 桑田
貴志 堀ノ内
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2022255206A1 publication Critical patent/WO2022255206A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06—Safety devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
    • G05B19/4069—Simulating machining process on screen

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a computer program.
  • a virtual robot image is three-dimensionally superimposed on surrounding objects such as peripheral devices, floor surfaces, and fences that actually exist in the factory, and a transparent HMD (Head Mounted Device) is used as a mixed reality image. Display), and allows a worker wearing an HMD to visually confirm whether or not the virtual robot will interfere with surrounding objects.
  • a transparent HMD Head Mounted Device
  • the purpose of the present disclosure is to provide a technology that can more reliably confirm whether or not the robot will interfere with surrounding objects before the robot is installed.
  • An information processing device includes a processor and a display device, and the processor arranges a robot model that models the robot in an environment model that models a real environment in which the robot is installed. operating the robot model in the environment model to generate display mode related information corresponding to a display mode indicating a display mode of the relationship between the robot and the real environment; An image based on the information is displayed on the display device possessed by a user present in the real environment.
  • An information processing method arranges a robot model that models the robot in an environment model that models a real environment in which a robot is installed by an information processing device, and places a robot model that models the robot in the environment model. to operate the robot model to generate display mode-related information corresponding to a display mode indicating a display mode of the relationship between the robot and the real environment, and display an image based on the display mode-related information, It is displayed on a display device owned by a user existing in the real environment.
  • FIG. 2 is a diagram showing a usage mode of the HMD according to the present embodiment; A block diagram showing an example of the hardware configuration of the HMD according to this embodiment.
  • Block diagram showing an example of the functional configuration of the HMD according to the present embodiment Flowchart showing an example of environment model generation processing according to the present embodiment Flowchart showing an example of MR image display processing according to the present embodiment Diagram showing the case where the robot model is placed at the position where the marker is installed
  • Diagram showing the case where the robot model is placed at the position where the actual robot is installed
  • Diagram showing the case where the robot model is placed at the position specified by the user
  • a diagram showing an example of an MR image in the interference site display mode or the pinch risk display mode A diagram showing an example of an MR image in a collision risk display mode or an operation efficiency display mode
  • a diagram showing an example of an MR image in the motion range display mode A diagram showing an example of an MR image in the robot motion trajectory display mode.
  • FIG. 1 is a diagram showing how an HMD 10 according to this embodiment is used.
  • a transmissive HMD 10 which is an example of an information processing device, is worn by the user 1.
  • the HMD 10 displays an image of a robot model corresponding to the robot (hereinafter referred to as a robot model image) at a position where the robot is to be installed in a real environment 100, which is an actual environment in which a working robot (for example, a robot arm) is installed. 110) is displayed. That is, the user 1 wearing the HMD 10 can stereoscopically see a robot model image 110, which is an example of an MR (Mixed Reality) image, through the HMD 10 at a position where the robot is to be installed in the real environment 100.
  • the robot model image 110 may be a still image showing the posture of the robot at a certain timing, or may be a moving image showing the working motion of the robot.
  • the user 1 wearing the HMD 10 can see the movement of the robot model image 110 through the HMD 10 before installing the robot in the real environment 100 to determine whether or not the robot will interfere with objects around the real environment 100 . It is possible to check whether The HMD 10 that can display such a robot model image 110 and allows the user 1 wearing the HMD 10 to visually and efficiently check items to be checked before installing the robot will be described below.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of the HMD 10 according to this embodiment.
  • the HMD 10 includes, as hardware, a three-dimensional scanner 11, an acceleration sensor 12, a gyro sensor 13, a geomagnetic sensor 14, a memory 15, a storage 16, an operation device 17, a display device 18, a communication device 19, a processor 20, these components are connected to a bus 21 capable of bi-directional communication.
  • the three-dimensional scanner 11 stereoscopically scans an object in the real environment 100 to generate three-dimensional data.
  • Examples of the three-dimensional scanner 11 include a ToF (Time Of Flight) sensor, LiDAR (Laser Imaging Detection and Ranging), and the like.
  • the three-dimensional data may be composed of a plurality of point groups representing three-dimensional coordinates.
  • the acceleration sensor 12 measures the acceleration of the HMD 10.
  • the gyro sensor 13 measures the angular velocity of the HMD 10. Note that the gyro sensor 13 may be read as an angular velocity sensor.
  • the geomagnetic sensor 14 measures the azimuth (orientation) of the HMD 10 . Note that the geomagnetic sensor 14 may be read as an electronic compass.
  • the memory 15 stores programs, data, and the like.
  • the memory 15 includes, for example, ROM (Read-Only Memory), RAM (Random Access Memory), flash memory, or the like.
  • the storage 16 is composed of a non-volatile storage medium and stores programs, data, and the like.
  • the storage 16 includes, for example, flash memory.
  • the operation device 17 accepts an input operation from the user 1.
  • Examples of the operation device 17 include a controller, touch panel, gesture sensor, and the like.
  • the display device 18 displays images.
  • the display device 18 includes a transmissive display, and the user 1 can see the real environment 100 through the display device 18 .
  • the communication device 19 is a device for connecting the HMD 10 to a predetermined network.
  • the communication device 19 may be a device that supports wired communication or a device that supports wireless communication.
  • An example of a wired communication system is Ethernet (registered trademark).
  • Examples of wireless communication systems include Wi-Fi (registered trademark), LTE (Long Term Evolution), 4G, 5G, and Bluetooth (registered trademark).
  • the processor 20 cooperates with other components 11 to 19 to implement the functions of the HMD 10 according to this embodiment.
  • the processor 20 implements the functions of the HMD 10 according to the present embodiment by reading programs and data from the memory 15 or the storage 16 and processing them. Details of the functions of the HMD 10 will be described later.
  • the processor 20 may be replaced with other terms such as a CPU (Central Processing Unit), a control section, and a control circuit.
  • CPU Central Processing Unit
  • FIG. 3 is a block diagram showing an example of the functional configuration of the HMD 10 according to this embodiment.
  • the HMD 10 functions as an operation acquisition unit 31, a sensing data acquisition unit 32, a viewpoint calculation unit 33, an environment model generation unit 34, an environment model storage unit 35, a robot model storage unit 36, a simulation unit 37, and an MR image generation unit 38. have.
  • the operation acquisition unit 31 acquires from the operation device 17 information indicating the input operation performed by the user 1 on the operation device 17 .
  • the sensing data acquisition unit 32 acquires 3D data from the 3D scanner. In addition, the sensing data acquisition unit 32 acquires the measurement result of the acceleration of the HMD 10 from the acceleration sensor 12, acquires the measurement result of the angular velocity of the HMD 10 from the gyro sensor 13, and measures the azimuth (orientation) of the HMD 10 from the geomagnetic sensor 14. Get results.
  • the viewpoint calculation unit 33 calculates the position, line of sight (orientation), inclination, etc. of the HMD 10 worn by the user 1 based on the three-dimensional data and various measurement results acquired by the sensing data acquisition unit 32 .
  • the environment model generation unit 34 generates an environment model, which is a three-dimensional model of the real environment 100, based on the three-dimensional data acquired by the sensing data acquisition unit 32.
  • the environment model generation unit 34 stores the generated environment model in the environment model storage unit 35 .
  • the environment model storage unit 35 stores an environment model of the actual environment 100 in which the robot is to be installed.
  • a robot model which is a three-dimensional model of a robot, is stored in the robot model storage unit 36 .
  • Robot model data may be obtained from a manufacturer that manufactures or sells the robot. Further, the data of the robot model may include data representing possible motions of the robot in addition to data representing the shape of the robot.
  • the simulation unit 37 acquires the environment model from the environment model storage unit 35 and the robot model from the robot model storage unit 36 . Then, the simulation unit 37 arranges the robot model in the environment model, operates the robot model, and simulates the relationship between the operation of the robot model and the environment model. As a result, it is possible to analyze whether or not the motion of the robot model interferes with the part of the environment model. Further functions of the simulation unit 37 will be described later.
  • the MR image generation unit 38 generates a robot model image 110 in which the user 1 wearing the HMD 10 looks as if the robot exists at a predetermined position in the real environment 100 based on the calculation result by the viewpoint calculation unit 33 . Generate.
  • the robot model image 110 is an example of an MR image generated by the MR image generator 38 .
  • Other MR images will be described later.
  • the MR image generator 38 displays the generated MR image on the display device 18 . Further functions of the MR image generator 38 will be described later.
  • FIG. 4 is a flowchart showing an example of environment model generation processing according to the present embodiment.
  • the operation acquisition unit 31 acquires an instruction to start three-dimensional scanning of the real environment 100 from the user 1 wearing the HMD 10, the following processing is started (S11).
  • the environment model generator 34 instructs the user 1 wearing the HMD 10 to move the position and line of sight (S12). In other words, the environment model generator 34 instructs the HMD 10 to move its position and orientation. Accordingly, the three-dimensional scanner 11 can three-dimensionally scan the real environment 100 from various directions and obtain three-dimensional data in various directions.
  • the sensing data acquisition unit 32 acquires 3D data from the 3D scanner 11 (S13). In addition, the sensing data acquisition unit 32 acquires measurement results from the acceleration sensor 12 , gyro sensor 13 and geomagnetic sensor 14 . The sensing data acquisition unit 32 may associate the acquired three-dimensional data with the acquired measurement results and store them in the memory 15 or the storage 16 . As a result, in step S15, which will be described later, it is possible to identify from which position each piece of three-dimensional data was obtained and in which orientation and inclination. can generate an environment model corresponding to
  • the environment model generation unit 34 determines whether or not the three-dimensional scanning of the real environment 100 has been completed (S14). For example, the environment model generation unit 34 determines that the three-dimensional scan is completed when sufficient three-dimensional data is obtained to generate the real environment 100 model of the place where the robot is installed. Alternatively, when the operation acquisition unit 31 acquires a three-dimensional scan completion instruction from the user 1, the environment model generation unit 34 determines that the three-dimensional scan has been completed.
  • step S15 If the three-dimensional scan of the real environment 100 has not been completed (S14: NO), the HMD 10 returns the process to step S12. When the three-dimensional scanning of the real environment 100 is completed (S14: YES), the HMD 10 advances the process to step S15.
  • the environment model generation unit 34 generates an environment model based on the three-dimensional data stored in the memory 15 or the storage 16 and the measurement results of the sensors 12, 13, 14, and stores it in the environment model storage unit 35 (S15). .
  • the environment model generation unit 34 determines the placement position of the robot model within the environment model (S16).
  • information indicating the placement position of the robot model will be referred to as robot position information.
  • a method of determining the placement position of the robot model within the environment model will be described later.
  • an environment model corresponding to the actual environment 100 in which the robot is to be placed can be generated.
  • FIG. 5 is a flowchart showing an example of MR image display processing according to this embodiment.
  • the operation acquisition unit 31 acquires the display mode selected by the user 1 (S21).
  • Selectable display modes include an interference site display mode, a pinch risk display mode, a collision risk display mode, an operation efficiency display mode, an operation range display mode, a robot operation trajectory display mode, and a workable range display mode. Details of these display modes will be described later.
  • the simulation unit 37 places a robot model at a position in the environment model indicated by the robot position information, operates the robot model, and generates information corresponding to the selected display mode (hereinafter referred to as display mode related information). (S22). Details of the display mode related information will be described later.
  • the sensing data acquisition unit 32 acquires 3D data from the 3D scanner 11 . Additionally, the sensing data acquisition unit 32 acquires measurement results from the acceleration sensor 12, the gyro sensor 13, and the geomagnetic sensor 14 (S23).
  • the viewpoint calculation unit 33 calculates the position and line-of-sight direction of the user 1 (HMD 10) based on the three-dimensional data and measurement results acquired by the sensing data acquisition unit 32 (S24).
  • the MR image generation unit 38 generates an MR image that is appropriately superimposed on the real environment 100 seen in the calculated line-of-sight direction, and displays it on the display device 18 (S25).
  • the superimposed position and image content of this MR image may differ depending on the display mode related information generated in S22. A specific example of the MR image will be described later.
  • the HMD 10 determines whether or not to end the display of MR images (S26). If the display of the MR image is not finished (S26: NO), the HMD 10 returns the process to step S23. When ending the processing of the MR image (S26: YES), the HMD 10 ends this processing.
  • the user 1 wearing the HMD 10 can see the MR image superimposed at an appropriate position in the real environment 100.
  • ⁇ Method of determining the placement position of the robot model in the environment model A method of determining the placement position of the robot model in the environment model will be described with reference to FIGS. Note that the HMD 10 may determine the placement position of the robot model by any of the methods shown in FIGS.
  • FIG. 6 is a diagram showing a case where the robot model is arranged at the position where the marker 102 is installed.
  • the user 1 installs a predetermined marker 102 (for example, a two-dimensional code) at the position of the workbench 101 where the robot is to be installed in the real environment 100 .
  • a predetermined marker 102 for example, a two-dimensional code
  • the environment model generator 34 detects the marker 102 in step S16 of FIG. 4, and determines the position of the detected marker 102 as the layout position of the robot model.
  • FIG. 7 is a diagram showing a case where the robot model is arranged at the position where the actual robot 103 is installed.
  • step S16 of FIG. 4 the environment model generation unit 34 detects the position where the actual robot 103 is installed, and determines the detected position of the actual robot 103 as the placement position of the robot model. Note that when the actual robot 103 is replaced, the environment model generation unit 34 may re-detect the position where the replaced actual robot 103 is installed.
  • FIG. 8 is a diagram showing a case where the robot model is arranged at the position specified by the user 1.
  • step S16 of FIG. 4 the environment model generation unit 34 instructs the user 1 to indicate the position where the robot is to be installed in the real environment 100.
  • the user 1 operates the arrow image 104 displayed on the display device 18 through the operation device 17 to indicate the position where the robot is to be installed in the real environment 100 .
  • the environment model generation unit 34 determines the position indicated by the user 1 as the placement position of the robot model.
  • the manner in which the user 1 instructs the position where the robot is to be installed is not limited to the operation of the arrow image 104 .
  • the user 1 may directly input the coordinates corresponding to the placement position of the robot through the operation device 17 .
  • the environment model generator 34 detects the position touched by the user 1, and determines the detected position as the placement position of the robot model. good. Also, the determined placement position of the robot model may be corrected by the user 1's operation (eg, gesture).
  • FIG. 9 is a diagram showing an example of an MR image in the interference site display mode or the pinch risk display mode.
  • the simulation unit 37 detects parts of the environment model that may interfere with the robot model (hereinafter referred to as interference parts) when the robot model is operated based on the motion sequence.
  • interference parts parts of the environment model that may interfere with the robot model
  • the simulation unit 37 may perform the following processes of S101 to S104 in step S22 of FIG.
  • the simulation unit 37 acquires the environment model from the environment model storage unit 35 and acquires the robot model from the robot model storage unit 36 (S101).
  • the simulation unit 37 calculates the position and orientation of the robot model within the environment model (S102).
  • the simulation unit 37 reads the motion sequence of the robot model (S103).
  • the simulation unit 37 operates the robot model based on the action sequence, and determines the part of the environment model that interferes with the robot model (interfering part) and the timing at which the interference occurs during the time of the action sequence (hereinafter referred to as interference timing). are specified, and the specified information (hereinafter referred to as interference information) is stored in the memory 15 or the storage 16 (S104). For example, the simulation unit 37 identifies a part of the environment model whose distance from the robot model is 0 or less as the interference part. However, considering the control error of the posture of the robot model, the simulation unit 37 is not limited to parts of the environment model whose distance from the robot model is 0 or less. threshold is greater than 0) may be identified as interference sites.
  • the simulation unit 37 may change the interference threshold according to the movement speed of the robot model. For example, the simulation unit 37 may set a larger interference threshold as the movement speed of the robot model increases. This is because the faster the robot model moves, the greater the error between the actual motion and the simulated motion, so even if there is no interference in the simulation, interference is likely to occur in the real environment. .
  • the interference information and the interference threshold are examples of display mode related information.
  • the MR image generator 38 may perform the following process in step S25 of FIG.
  • the MR image generator 38 uses the interference information described above to superimpose the robot model image 110 on the installation position of the robot in the real environment 100, and superimposes the interference image 111 on the part of the real environment 100 corresponding to the interference part.
  • MR images are generated as described above and displayed on the display device 18 .
  • the MR image generator 38 may change the robot model image 110 and the interference image 111 according to the motion sequence. That is, the MR image generation unit 38 displays a moving image (hereinafter referred to as an interference moving image) showing the change in the posture of the robot model and the time change of the interference part when the robot model is operated according to the operation sequence. Display on device 18 .
  • an interference moving image a moving image showing the change in the posture of the robot model and the time change of the interference part when the robot model is operated according to the operation sequence. Display on device 18 .
  • the MR image generator 38 may play back, pause, rewind, etc. the interference moving image according to the user's 1 operation on the operation device 17 .
  • the MR image generator 38 may automatically pause playback of the interference moving image at the timing of interference. As a result, the user 1 wearing the HMD 10 can easily check the posture of the robot and the interference site when the interference occurs without operating the operation device 17 .
  • the MR image generator 38 may display a list of interference timings on the display device 18 and allow the user 1 to select one interference timing. Then, the MR image generator 38 may display the robot model image 110 and the interference image 111 at the interference timing selected by the user 1 on the display device 18 . As a result, the user 1 can easily check the posture of the robot model at a desired interference timing when there are a plurality of interference timings.
  • the MR image generation unit 38 may display a list of multiple interference timings and allow the user 1 to select two or more interference timings. Then, the MR image generator 38 may collectively (simultaneously) display the robot model image 110 and the interference image 111 at two or more interference timings selected by the user 1 on the display device 18 . As a result, when there are a plurality of interference timings, the user 1 can collectively check the postures and the like of the robot model at two or more desired interference timings.
  • the robot model image 110 may be an image in which the contour portion of the robot model is colored.
  • the interference image 111 may be an image in which the outline of the interference site is colored.
  • the robot model image 110 may be an image in which the outline of the robot model is colored to increase the transparency of the interior of the outline of the robot model.
  • the interference image 111 may be an image in which the outline of the interference site is colored to increase the transparency of the inside of the outline of the interference site.
  • the color of the outline portion of the robot model or the color of the outline portion of the interference site may change according to the playback time of the interference moving image. This improves the visibility of the interference site.
  • the simulation unit 37 detects parts of the robot model and parts of the environment model (referred to as pinching parts) that have a risk of pinching a part of the worker's body when the robot is operated based on the operation sequence. do.
  • the simulation unit may perform the following processes of S111 to S114 in step S22.
  • the simulation unit 37 acquires the environment model from the environment model storage unit 35 and acquires the robot model from the robot model storage unit 36 (S111).
  • the simulation unit 37 calculates the position and orientation of the robot model within the environment model (S112).
  • the simulation unit 37 reads the motion sequence of the robot model (S113).
  • the simulation unit 37 causes the robot model to operate based on an action sequence, and the robot model approaches the environment model, and the part (pinch part) where the distance when the robot model approaches is less than a predetermined pinch threshold and the action sequence
  • entrapment timing The timing at which the entrapment occurred (hereinafter referred to as entrapment timing) is specified, and the specified information (hereinafter referred to as entrapment information) is stored in the memory 15 or storage 16 (S114).
  • the pinch threshold may vary depending on which part of the worker's body (eg, torso, arm, fingers) may be pinched. For example, the pinching threshold for the pinching site where a finger may be pinched may be smaller than the pinching threshold for the pinching site where the torso may be pinched.
  • entrapment information indicating the possibility of being pinched for each part of the worker's body may be stored in the memory 15 or the storage 16, respectively.
  • the simulation unit 37 may change the pinch threshold according to the moving speed of the robot model. For example, the simulation unit 37 may increase the pinch threshold as the movement speed of the robot model increases. This is because the faster the moving speed of the robot model is, the larger the error between the actual motion and the simulation motion is, so even if there is no pinching in the simulation, the pinching is more likely to occur in the real environment. .
  • the entrapment information and the entrapment threshold are examples of display mode related information.
  • the MR image generator 38 may perform the following process in step S25 of FIG.
  • the MR image generator 38 superimposes the robot model image 110 on the installation position of the robot in the real environment 100 using the above-described sandwiching information, and generates the sandwiched image on the portion of the robot model corresponding to the sandwiched portion and the portion of the real environment 100 .
  • An MR image is generated so that 112 is superimposed and displayed on the display device 18 .
  • the MR image generation unit 38 may change the robot model image 110 and the sandwiched image 112 according to the motion sequence. That is, the MR image generation unit 38 displays a moving image (hereinafter referred to as a sandwiched moving image) showing the temporal change of the posture of the robot model and the sandwiched part when the robot model is operated according to the motion sequence. to display.
  • a sandwiched moving image a moving image showing the temporal change of the posture of the robot model and the sandwiched part when the robot model is operated according to the motion sequence.
  • the MR image generator 38 may play back, pause, rewind, etc. the interleaved moving image in accordance with the operation of the user 1 on the operation device 17 . Thereby, the user 1 can confirm in detail the situation in which the pinch occurs.
  • the MR image generation unit 38 may automatically pause the playback of the sandwiched moving image at the sandwiched timing. As a result, the user 1 wearing the HMD 10 can confirm the posture of the robot when the pinching occurs and the pinched part without operating the operation device 17 .
  • the MR image generation unit 38 may display a list of pinching timings on the display device 18 and allow the user 1 to select one pinching timing. Then, the MR image generator 38 may display the robot model image 110 and the sandwiched image 112 at the sandwiched timing selected by the user 1 on the display device 18 . As a result, the user 1 can easily check the posture and the like of the robot model at a desired pinching timing when there are a plurality of pinching timings.
  • the MR image generation unit 38 may display a list of a plurality of pinching timings and allow the user 1 to select two or more pinching timings. Then, the MR image generator 38 may collectively (simultaneously) display the robot model image 110 and the sandwiched image 112 at two or more sandwiched timings selected by the user 1 on the display device 18 . As a result, when there are a plurality of pinching timings, the user 1 can collectively check the postures and the like of the robot model at two or more desired pinching timings.
  • the MR image generation unit 38 may hide the sandwiched image 112 that the user 1 has selected as having a low sandwiched risk.
  • the MR image generation unit 38 displays the pinching image 112 corresponding to the part designated by the user 1 among the parts of the worker's body when the pinching information indicating the possibility of pinching is available for each part of the worker's body. , other interleaved images 112 may be hidden. Also, the MR image generator 38 may simultaneously display the sandwiched images 112 of a plurality of parts. In this case, the sandwiched image 112 may be displayed using a different aspect (different color, transparency, etc.) for each part. By doing so, the user 1 can easily grasp the risk of entrapment for each part.
  • the robot model image 110 may be an image in which the contour portion of the robot model is colored.
  • the sandwiched image 112 may be an image in which the outline of the sandwiched portion is colored.
  • the robot model image 110 may be an image in which the outline of the robot model is colored to increase the transparency of the interior of the outline of the robot model.
  • the sandwiched image 112 may be an image in which the outline of the sandwiched portion is colored to increase the transparency of the inside of the outline of the sandwiched portion.
  • the color of the outline portion of the robot model or the color of the outline portion of the sandwiched portion may change according to the playback time of the sandwiched moving image. This improves the visibility of the sandwiched portion.
  • FIG. 10 is a diagram showing an example of an MR image in the collision risk display mode or operation efficiency display mode.
  • the simulation unit 37 automatically generates a robot motion plan and analyzes the risk of collision with the worker during robot motion.
  • the simulation unit 37 may perform the following processes of S121 to S126 in step S22 of FIG.
  • the simulation unit 37 acquires the environment model from the environment model storage unit 35 and acquires the robot model from the robot model storage unit 36 (S121).
  • the simulation unit 37 calculates the position and orientation of the robot model within the environment model (S122).
  • User 1 inputs the position, posture, etc. of the worker during work into the environment model (S123). For example, the user 1 inputs the location and range from which the worker picks up the parts, or the position at which the worker works.
  • User 1 inputs the joint work area where the robot and the worker jointly work into the environment model (S124).
  • the simulation unit 37 automatically generates a robot motion plan that does not interfere with the environment model (S125). At this time, the simulation unit 37 may generate the robot motion plan in consideration of the worker's position and posture and the joint work area input in steps S123 and S124.
  • the simulation unit 37 may generate the robot motion plan using a known technology for generating the robot motion plan.
  • Examples of well-known techniques for generating a robot motion plan include RRT (Rapidly-Exploring Random Tree), RRT*, PRM (Probabilistic Roadmap Method) and other path generation techniques by random sampling, CHOMP (Rapidly-Exploring Random Tree), STOMP (Stochastic Trajectory Optimization for Motion Planning), TrajOpt (Trajectory Optimization for Motion Planning), and other route optimization techniques; Dijkstra's algorithm; and A* and other graph search techniques.
  • the simulation unit 37 operates the robot model based on the robot operation plan, calculates the risk of the robot colliding with the worker at each timing when the robot operates, and stores the calculated information (hereinafter referred to as collision risk information). is stored in the memory 15 or storage 16 (S126). Note that the collision risk information is an example of display mode related information.
  • MR image display of collision risk >>
  • the MR image generator 38 may perform the following process in step S25 of FIG.
  • the MR image generation unit 38 uses the collision risk information described above, the MR image generation unit 38 superimposes the robot model image 110 on the installation position of the robot in the real environment 100 , and creates a collision risk image on parts of the robot that have a collision risk and parts of the real environment 100 .
  • An MR image is generated so that 113 is superimposed and displayed on the display device 18 .
  • the MR image generator 38 may display information indicating the collision risk in the joint work area as the collision risk image 113 on the display device 18 .
  • the MR image generation unit 38 may display the sandwiched image 112 described above on the display device 18 together with the collision risk image 113 .
  • the MR image generation unit 38 assumes the position and/or speed at which the worker's arm enters the joint work area, and the robot can automatically avoid the arm that has entered at that position and/or speed as the collision risk image 113. Information indicating whether or not may be displayed on the display device 18 .
  • the MR image generation unit 38 assumes the position and/or speed at which the worker's arm enters the joint work area, and creates a collision risk image 113 for the case where the robot collides with the arm that has entered the joint work area at that position and/or speed.
  • Information indicating the magnitude of the impact may be displayed on the display device 18 .
  • the MR image generator 38 detects that the user 1 puts his/her arm in the work space, and displays information indicating whether or not the robot can automatically avoid the detected arm as the collision risk image 113 on the display device 18. may be displayed.
  • the MR image generation unit 38 detects that the user 1 puts his or her arm in the work space, and displays information indicating the magnitude of the impact when the robot collides with the detected arm as the collision risk image 113 on the display device 18 . may be displayed on
  • the simulation unit 37 automatically generates a robot motion plan and analyzes the robot motion efficiency.
  • the simulation unit 37 may perform the following processes of S131 to S136 in step S22 of FIG.
  • the simulation unit 37 acquires the environment model from the environment model storage unit 35 and acquires the robot model from the robot model storage unit 36 (S131).
  • the simulation unit 37 calculates the position and orientation of the robot model within the environment model (S132).
  • User 1 inputs the position, posture, etc. of the worker during work into the environment model (S133). For example, the user 1 inputs the location and range from which the worker picks up the parts, or the position at which the worker works.
  • the simulation unit 37 automatically generates a robot motion plan that does not interfere with the environment model (S134). At this time, the simulation unit 37 may generate the robot motion plan in consideration of the worker's position and posture input in step S133. The simulation unit 37 may generate the robot motion plan using the known technique described above.
  • the simulation unit 37 operates the robot model based on the robot operation plan, calculates the operation speed of the robot at each timing when the robot operates, and stores the calculated information (hereinafter referred to as reference operation efficiency information) in the memory 15 or Store in the storage 16 (S135).
  • the simulation unit 37 removes a portion of the environment model, operates the robot model based on the robot operation plan, calculates the operation speed of the robot at each timing at which the robot operates, and outputs the calculated information ( hereinafter referred to as improved operation efficiency information) is stored in the memory 15 or storage 16 (S136).
  • the site removed in the environment model is referred to as the removed site.
  • the simulation unit 37 may execute at least one of (A1) to (A4) below. Note that the reference operating efficiency information and the improved operating efficiency information are examples of display mode related information.
  • the simulation unit 37 calculates a plurality of pieces of improved operation efficiency information by changing the removal site. In this case, the simulation unit 37 may randomly select the removal site.
  • the simulation unit 37 preferentially removes the part closest to the robot when generating the reference motion efficiency information.
  • the simulation unit 37 selects a removal site from movable objects that constitute the environment model. In this case, the simulation unit 37 may determine whether the object can be moved by image recognition processing or the like.
  • the simulation unit 37 removes the object in the environment model instructed by the user 1 as the removal site.
  • the MR image generator 38 may perform the following processing in step S25 of FIG.
  • the MR image generation unit 38 superimposes the robot model image 110 on the installation position of the robot in the real environment 100 using the reference motion efficiency information and the improved motion efficiency information described above, and obtains the robot motion before and after the motion improvement.
  • An MR image is generated so that the moving image is superimposed thereon, and displayed on the display device 18 .
  • the MR image generation unit 38 may display the moving image of the robot motion before the motion improvement and the motion image of the robot motion after the motion improvement on the display device 18 by switching according to an instruction from the user 1 .
  • the MR image generator 38 may also display information indicating the degree of improvement in the robot movement speed on the display device 18 when displaying the moving image of the robot movement after the movement improvement.
  • the MR image generator 38 When displaying the moving image of the robot motion after the motion improvement, the MR image generator 38 superimposes the removed image 114 on the part in the real environment 100 corresponding to the removed part removed for the motion improvement. You can
  • the MR image generator 38 may change the color of the outline of the removed image 114 according to the degree of improvement.
  • the MR image generator 38 may display the position of the removed part and the interference image 111 when the robot is operated with the removed part removed on the display device 18 .
  • FIG. 11 is a diagram showing an example of an MR image in the motion range display mode.
  • the simulation unit 37 operates the robot model to detect the reachable range of the robot.
  • the simulation unit 37 may perform the following processes of S141 to S143 in step S22 of FIG.
  • the simulation unit 37 acquires the environment model from the environment model storage unit 35 and acquires the robot model from the robot model storage unit 36 (S141).
  • the simulation unit 37 calculates the position and orientation of the robot model within the environment model (S142).
  • the simulation unit 37 operates the robot model in various postures that the robot model can take, detects the reachable range of the robot model (that is, the range of motion) in the environment model, and stores information indicating the detected range of motion ( hereinafter referred to as motion range information) is stored in the memory 15 or the storage 16 (S143).
  • motion range information is an example of display mode related information.
  • the simulation unit 37 may operate the robot model so as not to assume a posture that interferes with the environment model.
  • the simulation unit 37 may operate the robot model by considering the joint angles and restricted areas that can be operated by setting the robot.
  • the MR image generator 38 may perform the following processing in step S25 of FIG.
  • the MR image generation unit 38 superimposes the robot model image 110 on the installation position of the robot in the real environment 100, and superimposes an image indicating the movement range of the robot indicated by the movement range information (hereinafter referred to as a movement range image 115). MR images are generated and displayed on the display device 18 .
  • FIG. 12 is a diagram showing an example of an MR image in the robot motion trajectory display mode.
  • the simulation unit 37 operates the robot model to identify the motion trajectory of the robot.
  • the simulation unit 37 may perform the following processes of S151 to S154 in step S22 of FIG.
  • the simulation unit 37 acquires the environment model from the environment model storage unit 35 and acquires the robot model from the robot model storage unit 36 (S151).
  • the simulation unit 37 calculates the position and orientation of the robot model within the environment model (S152).
  • the simulation unit 37 reads the motion sequence of the robot model (S153).
  • the simulation unit 37 causes the robot model to move based on the motion sequence, and stores information indicating the motion trajectory of the robot model (hereinafter referred to as motion trajectory information) in the memory 15 or storage 16 (S154).
  • motion trajectory information is an example of display mode related information.
  • the MR image generator 38 may perform the following processing in step S25 of FIG.
  • the MR image generation unit 38 generates an MR image such that the robot model image 110 is superimposed on the installation position of the robot in the real environment 100 and the motion trajectory image 116 of the robot indicated by the motion trajectory information is superimposed thereon. to display.
  • the MR image generator 38 may display at least two motion trajectory images 116 at different timings of the motion sequence on the display device 18 at the same time. This allows the user 1 to simultaneously check the motion trajectories at multiple timings. Further, in this case, the MR image generation unit 38 may display only the outline of the motion trajectory image 116 at each timing, or may display a part or the whole of the motion trajectory image 116 in a translucent manner. As a result, even when the motion trajectory images overlap each other, the user 1 can accurately confirm the motion trajectory at each timing.
  • the MR image generator 38 may reproduce the motion trajectory image 116 as a moving image and display it on the display device 18 according to the real-time working speed of the robot. Thereby, the user 1 can confirm the operation when the robot is actually set and operated.
  • the MR image generation unit 38 may reproduce the motion trajectory image as a moving image and display it on the display device 18 at a speed (for example, high speed or low speed) different from the real-time working speed of the robot.
  • a speed for example, high speed or low speed
  • the user 1 can confirm the motion trajectory of the robot in a short time when the motion trajectory image is reproduced at high speed, and precisely confirm the motion trajectory of the robot when the motion trajectory image is reproduced at low speed. be able to.
  • FIG. 13 is a diagram showing an example of an MR image in the workable range display mode.
  • the simulation unit 37 operates the robot model to specify the workable range of a worker or machine (other robots, machine tools, etc.) working together with the robot.
  • the simulation unit 37 may perform the following processes of S161 to S164 in step S22 of FIG.
  • the simulation unit 37 acquires the environment model from the environment model storage unit 35 and acquires the robot model from the robot model storage unit 36 (S161).
  • the simulation unit 37 calculates the position and orientation of the robot model within the environment model (S162).
  • the simulation unit 37 reads the motion sequence of the robot model (S163).
  • the simulation unit 37 operates the robot model based on the operation sequence, detects the reachable range of the robot model without interfering with the environment model, and stores the detected information (hereinafter referred to as workable range information) in memory. 15 or storage 16 (S164).
  • workable range information is an example of display mode related information.
  • the MR image generator 38 may perform the following processing in step S25 of FIG.
  • the MR image generator 38 generates and displays an MR image such that the robot model image 110 is superimposed on the installation position of the robot in the real environment 100 and the workable range image 117 is superimposed on the range indicated by the workable range information. Display on device 18 .
  • FIG. 14 is a diagram for explaining a method of using a plurality of HMDs 10 in cooperation.
  • multiple HMDs 10 may be used as in (B1) or (B2) below.
  • (B1) A plurality of users 1 wear HMDs 10 and move in the real environment 100 . Then, the three-dimensional data acquired by each HMD 10 are integrated to generate an environment model corresponding to the real environment 100 . As a result, three-dimensional data of the real environment 100 can be generated more efficiently.
  • each HMD 10 obtains by three-dimensionally scanning actual members (hereinafter referred to as actual members) to be arranged around the installation location of the robot. Integrate the three-dimensional data collected from the environment to generate an environmental model.
  • the alignment of the three-dimensional data of different actual members may be performed using a predetermined marker, or may be performed by the user 1's operation. Alternatively, the alignment of three-dimensional data of different actual members may be automatically performed using an index indicating that no collision will occur.
  • a predetermined server (not shown) to which a plurality of HMDs 10 are connected may be provided.
  • the server may receive three-dimensional data and the like from each HMD 10, integrate the received multiple three-dimensional data and the like in real time, and generate an environment model.
  • a server is an example of an information processing apparatus.
  • the server may accumulate three-dimensional data, etc. acquired by one or more HMDs 10, and integrate an environment model generated from the three-dimensional data, etc. with an environment model of a different time or place.
  • the server may integrate pre-designed objects (eg CAD data, etc.) into the environment model.
  • pre-designed objects eg CAD data, etc.
  • the display mode selected by a certain user 1 may be transmitted to other HMDs 10 and MR images in the same display mode may be displayed on the plurality of HMDs 10 . Also, a reproduction operation or the like by a certain user 1 may be transmitted to other HMDs 10 and the same moving image may be displayed on a plurality of HMDs 10 .
  • the user 1 may operate the HMDs 10 individually, and the HMDs 10 may operate individually.
  • the HMD 10 may be non-transmissive. In this case, the HMD 10 may superimpose the MR image on the captured image of the real environment 100 and display it on the display device 18 .
  • the simulation unit 37 operates the robot model. However, if it is not necessary to detect the correct movement of the robot model, the robot model does not have to actually move. For example, it is conceivable to estimate a predetermined distance centered on the reference posture of the robot model as the movement range of the robot.
  • the worker is taken as an example of an object that the robot will pinch or collide with.
  • objects that may be pinched or collided are not limited to the operator, and any object (other object) other than the robot corresponding to the robot model can be analyzed and displayed for the possibility of pinching or collision. good.
  • other objects are robots that are installed or will be installed in the same real environment, or other machines such as conveyors.
  • the position, posture, etc. of the worker during work are added to the environment model in generating the robot motion plan, but information other than the worker may also be added to the environment model.
  • the environment model may include the positions and orientations of other robots and machines operating in the same environment. By doing so, it is possible to generate a robot motion plan in a situation in which the robot performs joint work with other robots or machines.
  • the mode of display may be changed according to the movement speed of the robot model in that situation. This is because, in general, it is more difficult for workers and the like to take avoidance actions when pinching or collision occurs at a high speed, so it is preferable to notify that there is a higher risk.
  • An information processing device for example, an HMD 10 includes a processor 20 and a display device 18.
  • the processor 20 arranges a robot model representing a robot within an environment model representing a real environment 100 in which the robot is installed. operates the robot model within the environment model to generate display mode related information corresponding to the display mode, which is a mode indicating the display mode of the relationship between the robot and the real environment 100, and generates an image based on the display mode related information; is displayed on the display device 18 owned by the user 1 existing in the real environment 100 .
  • the user 1 having the display device 18 can check the relationship between the robot corresponding to the display mode and the real environment using the image of the display mode corresponding to the display mode displayed on the display device 18 . can be visually confirmed.
  • the information processing apparatus 10 further includes a three-dimensional scanner 11 that three-dimensionally scans the real environment 100, and the processor 20 causes the user 1 existing in the real environment 100 and having the three-dimensional scanner 11 to move.
  • a model of the environment may be generated based on the three-dimensional data obtained from the three-dimensional scanner 11. FIG. Thereby, the information processing apparatus 10 can move the user 1 having the 3D scanner 11 to obtain 3D data in various directions, and can generate a 3D environment model.
  • the display mode related information is the robot in motion.
  • the image based on the display mode related information may include information indicating interference sites, which are sites of the environment model at which the models are at risk of interference, and may indicate sites in the real environment corresponding to the interference sites of the environment model.
  • the display mode-related information includes information that the robot model in motion is working.
  • the image based on the display mode-related information includes information indicating a pinched portion that is a portion of the robot model or the environment model that has a risk of pinching a person, and the image based on the display mode related information is the above-mentioned actual object corresponding to the pinched portion of the robot model or the pinched portion of the environment model. May indicate parts of the environment.
  • the user 1 having the display device 18 can visually confirm the part in the real environment 100 where there is a risk of getting another object caught in the image showing the pinched part displayed on the display device 18 .
  • the display mode-related information is The image based on the display mode-related information includes information indicating a collision site that is a part of the robot model or the environment model that has a risk of colliding with another object, and the image corresponds to the collision site of the robot model or the collision site of the environment model. You may indicate the part of the real environment where As a result, the user 1 having the display device 18 can visually confirm the portion having the risk of colliding with another object in the real environment 100 from the image showing the collision portion displayed on the display device 18. .
  • the display mode related information is removed to indicate the operation efficiency of the robot model.
  • the image based on the display mode related information may include information indicating the removed portion, which is the portion of the environment model whose efficiency is improved, and may indicate the portion of the real environment corresponding to the removed portion of the environment model.
  • the display mode related information includes information that the robot model can reach when the robot model is moved.
  • An image that includes range-indicating information and is based on the display mode-related information may indicate a reachable range of the robot model in the real environment.
  • the user 1 having the display device 18 can visually confirm the reachable range of the robot in the real environment 100 with the image showing the reachable range of the robot model displayed on the display device 18. can.
  • the display mode is the robot motion trajectory display mode for displaying the motion trajectory of the robot
  • the display mode related information is the motion trajectory of the robot model when the robot model is operated.
  • the image based on the display mode related information may indicate the motion trajectory of the robot model in the real environment.
  • the display mode-related information is the robot model
  • the image based on the display mode-related information contains information indicating the reachable range of the robot model without interfering with the environment model when operating A possible range may be indicated.
  • the user 1 having the display device 18 can see the reachable range of the robot in the real environment 100 without interference, and the reachable range of the robot model displayed on the display device 18 without interfering with the environment model. It can be visually confirmed by the shown image.
  • a robot model that models a robot is placed in an environment model that models the actual environment in which the robot is installed, and the robot model operates within the environment model. to generate display mode-related information corresponding to a display mode indicating a display mode of the relationship between the robot and the real environment 100, and display an image based on the display mode-related information to a user existing in the real environment 100. 1 is displayed on the display device 18 .
  • the user 1 having the display device 18 can check the relationship between the robot corresponding to the display mode and the real environment using the image of the display mode corresponding to the display mode displayed on the display device 18 . can be visually confirmed.
  • the technology disclosed in this disclosure is useful for prior confirmation when installing a robot in factory equipment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)

Abstract

情報処理装置は、プロセッサ及び表示装置を備え、プロセッサは、ロボットが設置される実環境をモデル化した環境モデル内に、ロボットをモデル化したロボットモデルを配置し、環境モデル内にてロボットモデルを動作させて、ロボットと実環境との関係性の表示態様を示すモードである表示モードに対応する表示モード関連情報を生成し、表示モード関連情報に基づく画像を、実環境内に存在するユーザが有する表示装置に表示する。

Description

情報処理装置、情報処理方法、及び、コンピュータプログラム
　本開示は、情報処理装置、情報処理方法、及び、コンピュータプログラムに関する。
　工場設備等に作業用のロボット（例えばロボットアーム）を設置する場合、実際にロボットを設置する前に、ロボットが周辺の物体と干渉せずに目的の作業を実施可能であるか否かを確認することが行われる。
　特許文献１には、仮想的なロボットの画像を、工場内に現実に存在する周辺機器、床面、フェンスといった周辺の物体に立体的に重ね合わせ、複合現実画像として透過型のＨＭＤ（Head Mounted Display）に表示し、ＨＭＤを装着した作業者に、仮想的なロボットが周辺の物体に干渉するか否かを目視で確認させる技術が開示される。
日本国特開２０１９－８４７３号公報
　しかし、特許文献１に開示される技術の場合、仮想的なロボットが周辺の物体に干渉するか否かの判断を、ＨＭＤを装着した作業者の目視に依存しているため、干渉チェックの漏れ又はミス等が発生しやすい。
　本開示の目的は、ロボットを設置する前に行われる、ロボットが周辺の物体に干渉するか否かの確認を、より確実に行うことができる技術を提供することにある。
　本開示の一態様に係る情報処理装置は、プロセッサ及び表示装置を備え、前記プロセッサは、ロボットが設置される実環境をモデル化した環境モデル内に、前記ロボットをモデル化したロボットモデルを配置し、前記環境モデル内にて前記ロボットモデルを動作させて、前記ロボットと前記実環境との関係性の表示態様を示すモードである表示モードに対応する表示モード関連情報を生成し、前記表示モード関連情報に基づく画像を、前記実環境内に存在するユーザが有する前記表示装置に表示する。
　本開示の一態様に係る情報処理方法は、情報処理装置によって、ロボットが設置される実環境をモデル化した環境モデル内に、前記ロボットをモデル化したロボットモデルを配置し、前記環境モデル内にて前記ロボットモデルを動作させて、前記ロボットと前記実環境との関係性の表示態様を示すモードである表示モードに対応する表示モード関連情報を生成し、前記表示モード関連情報に基づく画像を、前記実環境内に存在するユーザが有する表示装置に表示する。
　なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又は記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　本開示によれば、ロボットを設置する前に行われる、ロボットが周辺の物体に干渉するか否かの確認を、より確実に行うことができる。
本実施の形態に係るＨＭＤの利用態様を示す図 本実施の形態に係るＨＭＤのハードウェア構成の一例を示すブロック図 本実施の形態に係るＨＭＤの機能構成の一例を示すブロック図 本実施の形態に係る環境モデル生成処理の一例を示すフローチャート 本実施の形態に係るＭＲ画像表示処理の一例を示すフローチャート マーカが設置されている位置にロボットモデルを配置する場合を示す図 実際のロボットが設置されている位置にロボットモデルを配置する場合を示す図 ユーザが指定した位置にロボットモデルを配置する場合を示す図 干渉部位表示モード又は挟み込みリスク表示モードにおけるＭＲ画像の一例を示す図 衝突リスク表示モード又は動作効率表示モードにおけるＭＲ画像の一例を示す図 動作範囲表示モードにおけるＭＲ画像の一例を示す図 ロボット動作軌跡表示モードにおけるＭＲ画像の一例を示す図 作業可能範囲表示モードにおけるＭＲ画像の一例を示す図 複数のＨＭＤを連携して利用する方法を説明するための図
　以下、図面を適宜参照して、本開示の実施の形態について、詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明及び実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の記載の主題を限定することは意図されていない。
（本実施の形態）
＜ＨＭＤの利用態様＞
　図１は、本実施の形態に係るＨＭＤ１０の利用態様を示す図である。
　情報処理装置の一例である透過型のＨＭＤ１０は、ユーザ１に装着される。ＨＭＤ１０は、作業用のロボット（例えばロボットアーム）が設置される実際の環境である実環境１００のロボットが設置される予定の位置に、そのロボットに対応するロボットモデルの画像（以下、ロボットモデル画像１１０と称する）を表示する。つまり、ＨＭＤ１０を装着したユーザ１は、実環境１００のロボットが設置される予定の位置に、ＨＭＤ１０を通じて、ＭＲ（Mixed Reality；複合現実）画像の一例であるロボットモデル画像１１０が立体的に見える。ロボットモデル画像１１０は、ロボットのあるタイミングの姿勢を示す静止画であってもよいし、ロボットの作業動作を示す動画像であってもよい。
　これにより、ＨＭＤ１０を装着したユーザ１は、ロボットを実環境１００に設置する前に、ＨＭＤ１０を通じて、ロボットモデル画像１１０の動き等を見て、ロボットが実環境１００の周辺の物体に干渉するか否か等の確認を行うことができる。以下では、このようなロボットモデル画像１１０を表示でき、ＨＭＤ１０を装着したユーザ１が、ロボットを設置する前に確認すべき事項を、視覚的にわかり易くかつ効率的に確認できるＨＭＤ１０について説明する。
＜ＨＭＤのハードウェア構成＞
　図２は、本実施の形態に係るＨＭＤ１０のハードウェア構成の一例を示すブロック図である。
　図２に示すように、ＨＭＤ１０は、ハードウェアとして、３次元スキャナ１１、加速度センサ１２、ジャイロセンサ１３、地磁気センサ１４、メモリ１５、ストレージ１６、操作装置１７、表示装置１８、通信装置１９、プロセッサ２０を備え、これらの構成要素は、双方向通信可能なバス２１に接続される。
　３次元スキャナ１１は、実環境１００の物体を立体的にスキャンして３次元データを生成する。３次元スキャナ１１の例として、ＴｏＦ（Time Of Flight）センサ、ＬｉＤＡＲ（Laser Imaging Detection and Ranging）等が挙げられる。３次元データは、３次元座標を示す複数の点群によって構成されてよい。
　加速度センサ１２は、ＨＭＤ１０の加速度を測定する。
　ジャイロセンサ１３は、ＨＭＤ１０の角速度を測定する。なお、ジャイロセンサ１３は、角速度センサと読み替えられてもよい。
　地磁気センサ１４は、ＨＭＤ１０の方位（向き）を測定する。なお、地磁気センサ１４は、電子コンパスと読み替えられてもよい。
　メモリ１５は、プログラム及びデータ等を記憶する。メモリ１５は、例えば、ＲＯＭ（Read-Only Memory）、ＲＡＭ（Random Access Memory）、又は、フラッシュメモリ等を含んで構成される。
　ストレージ１６は、不揮発性記憶媒体にて構成され、プログラム及びデータ等を格納する。ストレージ１６は、例えば、フラッシュメモリを含んで構成される。
　操作装置１７は、ユーザ１からの入力操作を受け付ける。操作装置１７の例として、コントローラ、タッチパネル、ジェスチャセンサ等が挙げられる。
　表示装置１８は、画像を表示する。表示装置１８は、透過型ディスプレイを含んで構成され、ユーザ１は、表示装置１８の透過先に実環境１００を見ることができる。
　通信装置１９は、ＨＭＤ１０を所定のネットワークに接続するための装置である。通信装置１９は、有線通信に対応する装置であってもよいし、無線通信に対応する装置であってもよい。有線通信の方式の例として、Ｅｔｈｅｒｎｅｔ（登録商標）が挙げられる。無線通信の方式の例として、Ｗｉ－Ｆｉ（登録商標）、ＬＴＥ（Long Term Evolution）、４Ｇ、５Ｇ、Ｂｌｕｅｔｏｏｔｈ（登録商標）が挙げられる。
　プロセッサ２０は、他の構成要素１１～１９と協働して、本実施の形態に係るＨＭＤ１０が有する機能を実現する。例えば、プロセッサ２０は、メモリ１５又はストレージ１６からプログラム及びデータを読み出して処理することにより、本実施の形態に係るＨＭＤ１０が有する機能を実現する。ＨＭＤ１０が有する機能の詳細については後述する。なお、プロセッサ２０は、ＣＰＵ（Central Processing Unit）、制御部、制御回路といった他の用語に読み替えられてもよい。
＜ＨＭＤの機能構成＞
　図３は、本実施の形態に係るＨＭＤ１０の機能構成の一例を示すブロック図である。
　ＨＭＤ１０は、機能として、操作取得部３１、センシングデータ取得部３２、視点算出部３３、環境モデル生成部３４、環境モデル格納部３５、ロボットモデル格納部３６、シミュレーション部３７、ＭＲ画像生成部３８を有する。
　操作取得部３１は、操作装置１７から、当該操作装置１７にユーザ１が行った入力操作を示す情報を取得する。
　センシングデータ取得部３２は、３次元スキャナから３次元データを取得する。加えて、センシングデータ取得部３２は、加速度センサ１２からＨＭＤ１０の加速度の測定結果を取得し、ジャイロセンサ１３からＨＭＤ１０の角速度の測定結果を取得し、地磁気センサ１４からＨＭＤ１０の方位（向き）の測定結果を取得する。
　視点算出部３３は、センシングデータ取得部３２が取得した３次元データ及び各種測定結果に基づいて、ユーザ１が装着しているＨＭＤ１０の位置、視線（向き）及び傾き等を算出する。
　環境モデル生成部３４は、センシングデータ取得部３２によって取得された３次元データに基づいて、実環境１００の３次元モデルである環境モデルを生成する。環境モデル生成部３４は、その生成した環境モデルを環境モデル格納部３５に格納する。環境モデル格納部３５には、ロボットが設置される予定の実環境１００の環境モデルが格納される。
　ロボットモデル格納部３６には、ロボットの３次元モデルであるロボットモデルが格納される。ロボットモデルのデータは、ロボットを製造又は販売するメーカから得られてよい。また、ロボットモデルのデータには、ロボットの形状を示すデータに加えて、ロボットが可能な動作を示すデータも含まれてよい。
　シミュレーション部３７は、環境モデル格納部３５から環境モデルを取得し、ロボットモデル格納部３６からロボットモデルを取得する。そして、シミュレーション部３７は、環境モデル内にロボットモデルを配置し、ロボットモデルを動作させて、ロボットモデルの動作と環境モデルとの関係性をシミュレーションする。これにより、ロボットモデルの動作が環境モデルの部位と干渉するか否か等を分析できる。なお、シミュレーション部３７のさらなる機能については後述する。
　ＭＲ画像生成部３８は、視点算出部３３による算出結果に基づいて、ＨＭＤ１０を装着しているユーザ１があたかも実環境１００の所定の位置にロボットが存在しているように見えるロボットモデル画像１１０を生成する。なお、ロボットモデル画像１１０は、ＭＲ画像生成部３８が生成するＭＲ画像の一例である。他のＭＲ画像については後述する。ＭＲ画像生成部３８は、生成したＭＲ画像を表示装置１８に表示する。なお、ＭＲ画像生成部３８のさらなる機能については後述する。
＜環境モデル生成処理＞
　図４を参照して、環境モデルを生成する処理について説明する。図４は、本実施の形態に係る環境モデル生成処理の一例を示すフローチャートである。
　操作取得部３１が、ＨＭＤ１０を装着するユーザ１から、実環境１００の３次元スキャンの開始指示を取得した場合、以下の処理が開始される（Ｓ１１）。
　環境モデル生成部３４は、ＨＭＤ１０を装着するユーザ１に対して、位置及び視線の移動を指示する（Ｓ１２）。つまり、環境モデル生成部３４は、ＨＭＤ１０の位置及び向きの移動を指示する。これにより、３次元スキャナ１１は、実環境１００を様々な方向から３次元スキャンでき、様々な方向の３次元データを得ることができる。
　センシングデータ取得部３２は、３次元スキャナ１１から３次元データを取得する（Ｓ１３）。加えて、センシングデータ取得部３２は、加速度センサ１２、ジャイロセンサ１３、及び、地磁気センサ１４から測定結果を取得する。センシングデータ取得部３２は、取得した３次元データと、取得した測定結果を対応付けて、メモリ１５又はストレージ１６に格納してよい。これにより、後述するステップＳ１５において、それぞれの３次元データがいずれの位置からいずれの向き及び傾きにて得られたものであるかを特定できるので、複数の３次元データを結合して実環境１００に対応する環境モデルを生成することができる。
　環境モデル生成部３４は、実環境１００の３次元スキャンが完了したか否かを判定する（Ｓ１４）。例えば、環境モデル生成部３４は、ロボットを設置する場所の実環境１００モデルを生成するに十分な３次元データを得られた場合、３次元スキャンが完了したと判定する。あるいは、操作取得部３１が、ユーザ１から３次元スキャンの完了指示を取得した場合、環境モデル生成部３４は、３次元スキャンが完了したと判定する。
　実環境１００の３次元スキャンが完了していない場合（Ｓ１４：ＮＯ）、ＨＭＤ１０は、処理をステップＳ１２に戻す。実環境１００の３次元スキャンが完了した場合（Ｓ１４：ＹＥＳ）、ＨＭＤ１０は、処理をステップＳ１５に進める。
　環境モデル生成部３４は、メモリ１５又はストレージ１６格納された３次元データと各センサ１２、１３、１４の測定結果とに基づいて環境モデルを生成し、環境モデル格納部３５に格納する（Ｓ１５）。
　環境モデル生成部３４は、環境モデル内におけるロボットモデルの配置位置を決定する（Ｓ１６）。以下、ロボットモデルの配置位置を示す情報を、ロボット位置情報と称する。なお、環境モデル内におけるロボットモデルの配置位置の決定方法については後述する。
　以上の処理により、ロボットを配置する予定の実環境１００に対応する環境モデルを生成することができる。
＜ＭＲ画像表示処理のフロー＞
　図５を参照して、ＭＲ画像を表示する処理について説明する。図５は、本実施の形態に係るＭＲ画像表示処理の一例を示すフローチャートである。
　操作取得部３１は、ユーザ１が選択した表示モードを取得する（Ｓ２１）。選択可能な表示モードには、干渉部位表示モード、挟み込みリスク表示モード、衝突リスク表示モード、動作効率表示モード、動作範囲表示モード、ロボット動作軌跡表示モード、作業可能範囲表示モードがある。なお、これらの表示モードの詳細については後述する。
　シミュレーション部３７は、ロボット位置情報が示す環境モデル内の位置にロボットモデルを配置して当該ロボットモデルを動作させ、選択された表示モードに対応する情報（以下、表示モード関連情報と称する）を生成する（Ｓ２２）。なお、表示モード関連情報の詳細については後述する。
　センシングデータ取得部３２は、３次元スキャナ１１から３次元データを取得する。加えて、センシングデータ取得部３２は、加速度センサ１２、ジャイロセンサ１３及び地磁気センサ１４から測定結果を取得する（Ｓ２３）。
　視点算出部３３は、センシングデータ取得部３２によって取得された３次元データ及び測定結果に基づいて、ユーザ１（ＨＭＤ１０）の位置及び視線方向を算出する（Ｓ２４）。
　ＭＲ画像生成部３８は、算出された視線方向に見える実環境１００と適切に重畳するＭＲ画像を生成し、表示装置１８に表示する（Ｓ２５）。このＭＲ画像の重畳位置及び画像内容は、Ｓ２２にて生成された表示モード関連情報によって異なってよい。なお、ＭＲ画像の具体例については後述する。
　ＨＭＤ１０は、ＭＲ画像の表示を終了するか否かを判定する（Ｓ２６）。ＭＲ画像の表示を終了しない場合（Ｓ２６：ＮＯ）、ＨＭＤ１０は、処理をステップＳ２３に戻す。ＭＲ画像の処理を終了する場合（Ｓ２６：ＹＥＳ）、ＨＭＤ１０は、本処理を終了する。
　以上の処理により、ＨＭＤ１０を装着するユーザ１は、実環境１００の適切な位置に重畳されたＭＲ画像を見ることができる。
＜環境モデル内におけるロボットモデルの配置位置の決定方法＞
　図６、図７、図８を参照して、環境モデル内におけるロボットモデルの配置位置の決定方法について説明する。なお、ＨＭＤ１０は、図６～図８に示すいずれの方法でロボットモデルの配置位置を決定してもよい。
　図６は、マーカ１０２が設置されている位置にロボットモデルを配置する場合を示す図である。
　ユーザ１は、実環境１００においてロボットを設置する予定の作業台１０１の位置に所定のマーカ１０２（例えば二次元コード）を設置する。この場合、環境モデル生成部３４は、図４のステップＳ１６において、マーカ１０２を検出し、その検出されたマーカ１０２の位置をロボットモデルの配置位置に決定する。
　図７は、実際のロボット１０３が設置されている位置にロボットモデルを配置する場合を示す図である。
　環境モデル生成部３４は、図４のステップＳ１６において、実際のロボット１０３が設置されている位置を検出し、その検出された実際のロボット１０３の位置をロボットモデルの配置位置に決定する。なお、実際のロボット１０３が交換された場合、環境モデル生成部３４は、交換後の実際のロボット１０３が設置されている位置を検出し直してよい。
　図８は、ユーザ１が指定した位置にロボットモデルを配置する場合を示す図である。
　環境モデル生成部３４は、図４のステップＳ１６において、ユーザ１に対して、実環境１００においてロボットを設置する予定の位置を示すよう指示する。ユーザ１は、操作装置１７を通じて、表示装置１８に表示される矢印画像１０４を操作して、実環境１００においてロボットを設置する予定の位置を指示する。この場合、環境モデル生成部３４は、ユーザ１に指示された位置を、ロボットモデルの配置位置に決定する。なお、ロボットを設置する予定の位置をユーザ１の操作により指示する態様は、矢印画像１０４の操作に限られない。例えば、ユーザ１が、操作装置１７を通じて、ロボットの配置位置に対応する座標を直接入力してもよい。あるいは、ユーザ１がロボットを設置する予定の位置に触れると、環境モデル生成部３４は、そのユーザ１が触れた位置を検出し、その検出した位置を、ロボットモデルの配置位置に決定してもよい。また、ユーザ１の操作（例えばジェスチャ）により、決定されたロボットモデルの配置位置を修正してもよい。
＜干渉部位表示モード又は挟み込みリスク表示モード＞
　図９を参照して、干渉部位表示モード及び挟み込みリスク表示モードについて説明する。図９は、干渉部位表示モード又は挟み込みリスク表示モードにおけるＭＲ画像の一例を示す図である。
＜＜干渉部位の検出＞＞
　シミュレーション部３７は、ロボットモデルを動作シーケンスに基づいて動作させた場合に、ロボットモデルと干渉するおそれのある環境モデルの部位（以下、干渉部位と称する）を検出する。図５のステップＳ２１にて干渉部位表示モードが選択された場合、シミュレーション部３７は、図５のステップＳ２２にて、以下のＳ１０１～Ｓ１０４の処理を実行してよい。
　シミュレーション部３７は、環境モデル格納部３５から環境モデルを取得し、ロボットモデル格納部３６からロボットモデルを取得する（Ｓ１０１）。
　シミュレーション部３７は、環境モデル内におけるロボットモデルの位置及び姿勢を算出する（Ｓ１０２）。
　シミュレーション部３７は、ロボットモデルの動作シーケンスを読み込む（Ｓ１０３）。
　シミュレーション部３７は、動作シーケンスに基づいてロボットモデルを動作させ、ロボットモデルと干渉する環境モデルの部位（干渉部位）と、動作シーケンスの時間におけるその干渉が発生したタイミング（以下、干渉タイミングと称する）とを特定し、それら特定した情報（以下、干渉情報と称する）を、メモリ１５又はストレージ１６に格納する（Ｓ１０４）。例えば、シミュレーション部３７は、ロボットモデルとの距離が０以下である環境モデルの部位を、干渉部位に特定する。ただし、ロボットモデルの姿勢の制御誤差を考慮し、シミュレーション部３７は、ロボットモデルとの距離が０以下である環境モデルの部位に限らず、ロボットモデルとの距離が所定の干渉閾値未満（ただし干渉閾値は０より大きい）である環境モデルの部位を、干渉部位に特定してもよい。
　また、シミュレーション部３７は、干渉閾値を、ロボットモデルの移動速度に応じて変化させてもよい。例えば、シミュレーション部３７は、ロボットモデルの移動速度が速いほど、干渉閾値を大きく設定してもよい。ロボットモデルの移動速度が速いほど、現実の動作とシミュレーションの動作との間の誤差が大きくなり易いため、たとえシミュレーション上は干渉が発生していなくとも実環境では干渉が発生し易くなるためである。なお、干渉情報及び干渉閾値は、表示モード関連情報の一例である。
＜＜干渉部位のＭＲ画像表示＞＞
　図５のステップＳ２１にて干渉部位表示モードが選択された場合、ＭＲ画像生成部３８は、図５のステップＳ２５にて、次の処理を実行してよい。
　ＭＲ画像生成部３８は、上述した干渉情報を用いて、実環境１００におけるロボットの設置位置にロボットモデル画像１１０が重畳され、干渉部位に対応する実環境１００の部位に干渉画像１１１が重畳されるようにＭＲ画像を生成し、表示装置１８に表示する。
　ＭＲ画像生成部３８は、動作シーケンスに従って、ロボットモデル画像１１０及び干渉画像１１１を変化させてよい。すなわち、ＭＲ画像生成部３８は、動作シーケンスに従ってロボットモデルを動作させた場合における、ロボットモデルの姿勢の変化と干渉部位の時間変化とを示す動画像（以下、干渉動画像と称する）を、表示装置１８に表示する。
　ＭＲ画像生成部３８は、操作装置１７に対するユーザ１の操作に応じて、干渉動画像の再生、一時停止、巻き戻し等を行ってよい。
　ＭＲ画像生成部３８は、干渉タイミングで、干渉動画像の再生を自動的に一時停止してよい。これにより、ＨＭＤ１０を装着しているユーザ１は、操作装置１７を操作せずに、干渉発生時のロボットの姿勢と干渉部位とを容易に確認できる。
　ＭＲ画像生成部３８は、干渉タイミングのリストを表示装置１８に表示し、ユーザ１に１つの干渉タイミングを選択させてもよい。そして、ＭＲ画像生成部３８は、ユーザ１が選択した干渉タイミングにおけるロボットモデル画像１１０及び干渉画像１１１を、表示装置１８に表示してよい。これにより、ユーザ１は、複数の干渉タイミングが存在する場合に、所望の干渉タイミングにおけるロボットモデルの姿勢等を簡単に確認することができる。
　ＭＲ画像生成部３８は、複数の干渉タイミングのリストを表示し、ユーザ１に２以上の干渉タイミングを選択させてもよい。そして、ＭＲ画像生成部３８は、ユーザ１が選択した２以上の干渉タイミングにおけるロボットモデル画像１１０及び干渉画像１１１を、まとめて（同時に）表示装置１８に表示してよい。これにより、ユーザ１は、複数の干渉タイミングが存在する場合に、所望の２以上の干渉タイミングにおけるロボットモデルの姿勢等を、まとめて確認することができる。
　ロボットモデル画像１１０は、ロボットモデルの輪郭部分を着色した画像であってよい。干渉画像１１１は、干渉部位の輪郭部分を着色した画像であってよい。ロボットモデル画像１１０は、ロボットモデルの輪郭部分を着色し、ロボットモデルの輪郭の内部の透過性を高めた画像であってよい。干渉画像１１１は、干渉部位の輪郭部分を着色し、干渉部位の輪郭の内部の透過性を高めた画像であってよい。ロボットモデルの輪郭部分の色、又は、干渉部位の輪郭部分の色は、干渉動画像の再生時間に応じて変化してよい。これにより、干渉部位の視認性が向上する。
＜＜挟み込み部位の検出＞＞
　シミュレーション部３７は、ロボットを動作シーケンスに基づいて動作させた場合に、作業者の身体の一部を挟み込んでしまうリスクのあるロボットモデルの部位と環境モデルの部位（挟み込み部位と称する）とを検出する。図５のステップＳ２１にて挟み込み部位表示モードが選択された場合、シミュレーション部は、ステップＳ２２にて、以下のＳ１１１～Ｓ１１４の処理を実行してよい。
　シミュレーション部３７は、環境モデル格納部３５から環境モデルを取得し、ロボットモデル格納部３６からロボットモデルを取得する（Ｓ１１１）。
　シミュレーション部３７は、環境モデル内におけるロボットモデルの位置及び姿勢を算出する（Ｓ１１２）。
　シミュレーション部３７は、ロボットモデルの動作シーケンスを読み込む（Ｓ１１３）。
　シミュレーション部３７は、動作シーケンスに基づいてロボットモデルを動作させ、ロボットモデルが環境モデルに接近し、かつ、その接近した際の距離が所定の挟み込み閾値未満となる部位（挟み込み部位）と、動作シーケンスの時間におけるその挟み込みが発生したタイミング（以下、挟み込みタイミングと称する）とを特定し、それら特定した情報（以下、挟み込み情報と称する）を、メモリ１５又はストレージ１６に格納する（Ｓ１１４）。挟み込み閾値は、作業者の身体のどの部位（例えば、胴体、腕、指）が挟まれる可能性があるかによって異なってよい。例えば、指が挟まれる可能性がある挟み込み部位に関する挟み込み閾値は、胴体が挟まれる可能性がある挟み込み部位に関する挟み込み閾値よりも、小さくてよい。また、この場合、作業者の体の各部位について挟まれる可能性を示す挟み込み情報を、それぞれメモリ１５又はストレージ１６に格納してもよい。
　また、シミュレーション部３７は、挟み込み閾値を、ロボットモデルの移動速度に応じて変化させてもよい。例えば、シミュレーション部３７は、ロボットモデルの移動速度が速いほど、挟み込み閾値を大きくしてもよい。ロボットモデルの移動速度が速いほど、現実の動作とシミュレーションの動作との間の誤差が大きくなり易いため、たとえシミュレーション上は挟み込みが発生していなくとも実環境では挟み込みが発生し易くなるためである。なお、挟み込み情報及び挟み込み閾値は、表示モード関連情報の一例である。
＜＜挟み込み部位のＭＲ画像表示＞＞
　図５のステップＳ２１にて挟み込み部位表示モードが選択された場合、ＭＲ画像生成部３８は、図５のステップＳ２５にて、次の処理を実行してよい。
　ＭＲ画像生成部３８は、上述した挟み込み情報を用いて、実環境１００におけるロボットの設置位置にロボットモデル画像１１０が重畳され、挟み込み部位に対応するロボットモデルの部位及び実環境１００の部位に挟み込み画像１１２が重畳されるようにＭＲ画像を生成し、表示装置１８に表示する。
　ＭＲ画像生成部３８は、動作シーケンスに従って、ロボットモデル画像１１０及び挟み込み画像１１２を変化させてよい。すなわち、ＭＲ画像生成部３８は、動作シーケンスに従ってロボットモデルを動作させた場合における、ロボットモデルの姿勢と挟み込み部位との時間変化を示す動画像（以下、挟み込み動画像と称する）を、表示装置１８に表示する。
　ＭＲ画像生成部３８は、操作装置１７に対するユーザ１の操作に応じて、挟み込み動画像の再生、一時停止、巻き戻し等を行ってよい。これにより、ユーザ１は、挟み込みが発生する状況を詳細に確認することができる。
　ＭＲ画像生成部３８は、挟み込みタイミングで、挟み込み動画像の再生を自動的に一時停止してよい。これにより、ＨＭＤ１０を装着しているユーザ１は、操作装置１７を操作せずに、挟み込み発生時のロボットの姿勢と挟み込み部位とを確認できる。
　ＭＲ画像生成部３８は、挟み込みタイミングのリストを表示装置１８に表示し、ユーザ１に１つの挟み込みタイミングを選択させてもよい。そして、ＭＲ画像生成部３８は、ユーザ１が選択した挟み込みタイミングにおけるロボットモデル画像１１０及び挟み込み画像１１２を、表示装置１８に表示してよい。これにより、ユーザ１は、複数の挟み込みタイミングが存在する場合に、所望の挟み込みタイミングにおけるロボットモデルの姿勢等を簡単に確認することができる。
　ＭＲ画像生成部３８は、複数の挟み込みタイミングのリストを表示し、ユーザ１に２以上の挟み込みタイミングを選択させてもよい。そして、ＭＲ画像生成部３８は、ユーザ１が選択した２以上の挟み込みタイミングにおけるロボットモデル画像１１０及び挟み込み画像１１２を、まとめて（同時に）表示装置１８に表示してよい。これにより、ユーザ１は、複数の挟み込みタイミングが存在する場合に、所望の２以上の挟み込みタイミングにおけるロボットモデルの姿勢等をまとめて確認することができる。
　ＭＲ画像生成部３８は、ユーザ１が挟み込みリスクが低いとして選択した挟み込み画像１１２については、当該挟み込み画像１１２を非表示にしてよい。
　ＭＲ画像生成部３８は、作業者の体の各部位について挟まれる可能性を示す挟み込み情報を利用できる場合には、各部位のうちユーザ１に指定された部位に対応する挟み込み画像１１２を表示し、他の挟み込み画像１１２を非表示にしてもよい。また、ＭＲ画像生成部３８は、複数の部位の挟み込み画像１１２を同時に表示してもよい。この場合、部位ごとに異なる態様（異なる色や透明度等）を用いて挟み込み画像１１２を表示してもよい。このようにすることで、ユーザ１は、部位ごとの挟み込みのリスクを容易に把握することができる。
　ロボットモデル画像１１０は、ロボットモデルの輪郭部分を着色した画像であってよい。挟み込み画像１１２は、挟み込み部位の輪郭部分を着色した画像であってよい。ロボットモデル画像１１０は、ロボットモデルの輪郭部分を着色し、ロボットモデルの輪郭の内部の透過性を高めた画像であってよい。挟み込み画像１１２は、挟み込み部位の輪郭部分を着色し、挟み込み部位の輪郭の内部の透過性を高めた画像であってよい。ロボットモデルの輪郭部分の色、又は、挟み込み部位の輪郭部分の色は、挟み込み動画像の再生時間に応じて変化してよい。これにより、挟み込み部位の視認性が向上する。
＜衝突リスク表示モード及び動作効率表示モード＞
　図１０を参照して、衝突リスク表示モード及び動作効率表示モードについて説明する。図１０は、衝突リスク表示モード又は動作効率表示モードにおけるＭＲ画像の一例を示す図である。
＜＜衝突リスクの検出＞＞
　ロボットと作業者が実環境１００における作業空間の一部を共有する場合において、シミュレーション部３７は、ロボット動作計画を自動生成し、ロボット動作時における作業者との衝突リスクを分析する。図５のステップＳ２１にて衝突リスク表示モードが選択された場合、シミュレーション部３７は、図５のステップＳ２２にて、以下のＳ１２１～Ｓ１２６の処理を実行してよい。
　シミュレーション部３７は、環境モデル格納部３５から環境モデルを取得し、ロボットモデル格納部３６からロボットモデルを取得する（Ｓ１２１）。
　シミュレーション部３７は、環境モデル内におけるロボットモデルの位置及び姿勢を算出する（Ｓ１２２）。
　ユーザ１は、作業者の作業時における位置及び姿勢等を、環境モデルに入力する（Ｓ１２３）。例えば、ユーザ１は、作業者が部品の取り出しを行う場所及び範囲、又は、作業者が作業を行う位置等を入力する。
　ユーザ１は、ロボットと作業者が共同で作業を行う共同作業エリアを、環境モデルに入力する（Ｓ１２４）。
　シミュレーション部３７は、環境モデルと干渉しないようなロボット動作計画を自動生成する（Ｓ１２５）。このとき、シミュレーション部３７は、ステップＳ１２３及びＳ１２４で入力された作業者の位置及び姿勢、並びに、共同作業エリアを考慮して、ロボット動作計画を生成してよい。
　シミュレーション部３７は、ロボット動作計画を生成する公知の技術を用いて、ロボット動作計画を生成してよい。ロボット動作計画を生成する公知の技術の例として、ＲＲＴ（Rapidly-Exploring Random Tree）、ＲＲＴ＊、ＰＲＭ（Probabilistic Roadmap Method）等のランダムサンプリングによる経路生成技術、ＣＨＯＭＰ（Rapidly-Exploring Random Tree）、ＳＴＯＭＰ（Stochastic Trajectory Optimization for Motion Planning）、ＴｒａｊＯｐｔ（Trajectory Optimization for Motion Planning）等の経路最適化による経路生成技術、ダイクストラ法、Ａ＊等のグラフ探索による経路生成技術が挙げられる。
　シミュレーション部３７は、ロボット動作計画に基づいてロボットモデルを動作させ、ロボットが動作する各タイミングにおいて当該ロボットが作業者と衝突するリスクを算出し、それら算出した情報（以下、衝突リスク情報と称する）をメモリ１５又はストレージ１６に格納する（Ｓ１２６）。なお、衝突リスク情報は、表示モード関連情報の一例である。
＜＜衝突リスクのＭＲ画像表示＞＞
　図５のステップＳ２１にて衝突リスク表示モードが選択された場合、ＭＲ画像生成部３８は、図５のステップＳ２５にて、次の処理を実行してよい。
　ＭＲ画像生成部３８は、上述した衝突リスク情報を用いて、実環境１００におけるロボットの設置位置にロボットモデル画像１１０が重畳され、衝突リスクがあるロボットの部位及び実環境１００の部位に衝突リスク画像１１３が重畳されるようにＭＲ画像を生成し、表示装置１８に表示する。
　ＭＲ画像生成部３８は、衝突リスク画像１１３として、共同作業エリアにおける衝突リスクを示す情報を、表示装置１８に表示してよい。ＭＲ画像生成部３８は、衝突リスク画像１１３と合わせて、上述した挟み込み画像１１２を、表示装置１８に表示してもよい。
　ＭＲ画像生成部３８は、共同作業エリアに作業者の腕が侵入する位置及び／又は速度を想定し、衝突リスク画像１１３として、その位置及び／又は速度で侵入した腕をロボットが自動で回避可能か否かを示す情報を、表示装置１８に表示してよい。
　ＭＲ画像生成部３８は、共同作業エリアに作業者の腕が侵入する位置及び／又は速度を想定し、衝突リスク画像１１３として、その位置及び／又は速度で侵入した腕にロボットが衝突した場合の衝撃に大きさを示す情報を、表示装置１８に表示してよい。
　ＭＲ画像生成部３８は、ユーザ１が作業空間に腕を入れたことを検知し、衝突リスク画像１１３として、検知した腕をロボットが自動で回避可能か否かを示す情報を、表示装置１８に表示してよい。
　ＭＲ画像生成部３８は、ユーザ１が作業空間に腕を入れたことを検知し、衝突リスク画像１１３として、検知した腕にロボットが衝突した場合の衝撃に大きさを示す情報を、表示装置１８に表示してよい。
＜＜動作効率の算出＞＞
　シミュレーション部３７は、ロボット動作計画を自動生成し、ロボット動作の効率を分析する。図５のステップＳ２１にて動作効率表示モードが選択された場合、シミュレーション部３７は、図５のステップＳ２２にて、以下のＳ１３１～Ｓ１３６の処理を実行してよい。
　シミュレーション部３７は、環境モデル格納部３５から環境モデルと取得し、ロボットモデル格納部３６からロボットモデルを取得する（Ｓ１３１）。
　シミュレーション部３７は、環境モデル内におけるロボットモデルの位置及び姿勢を算出する（Ｓ１３２）。
　ユーザ１は、作業者の作業時における位置及び姿勢等を、環境モデルに入力する（Ｓ１３３）。例えば、ユーザ１は、作業者が部品の取り出しを行う場所及び範囲、又は、作業者が作業を行う位置等を入力する。
　シミュレーション部３７は、環境モデルと干渉しないようなロボット動作計画を自動生成する（Ｓ１３４）。このとき、シミュレーション部３７は、ステップＳ１３３で入力された作業者の位置及び姿勢を考慮して、ロボット動作計画を生成してよい。シミュレーション部３７は、上述した公知の技術を用いて、ロボット動作計画を生成してよい。
　シミュレーション部３７は、ロボット動作計画に基づいてロボットモデルを動作させ、ロボットが動作する各タイミングにおけるロボットの動作速度を算出し、それら算出した情報（以下、基準動作効率情報と称する）をメモリ１５又はストレージ１６に格納する（Ｓ１３５）。
　シミュレーション部３７は、環境モデルを構成する一部の部位を除去し、ロボット動作計画に基づいてロボットモデルを動作させ、ロボットが動作する各タイミングにおけるロボットの動作速度を算出し、それら算出した情報（以下、改善動作効率情報と称する）をメモリ１５又はストレージ１６に格納する（Ｓ１３６）。以下、環境モデルにおいて除去された部位を、除去部位と称する。改善動作効率情報を算出するにあたり、シミュレーション部３７は、以下の（Ａ１）～（Ａ４）の少なくとも１つを実行してよい。なお、基準動作効率情報及び改善動作効率情報は、表示モード関連情報の一例である。
（Ａ１）シミュレーション部３７は、除去部位を変更して、複数の改善動作効率情報を算出する。この場合、シミュレーション部３７は、除去部位をランダムに選択してよい。
（Ａ２）シミュレーション部３７は、基準動作効率情報を生成した際にロボットと最も接近した部位を優先的に除去する。
（Ａ３）シミュレーション部３７は、環境モデルを構成する移動可能な物体の中から除去部位を選択する。この場合、シミュレーション部３７は、画像認識処理等によって物体が移動可能か否を判定してよい。
（Ａ４）シミュレーション部３７は、ユーザ１に指示された環境モデルにおける物体を除去部位として除去する。
＜＜動作効率のＭＲ画像表示＞＞
　図５のステップＳ２１にて動作効率表示モードが選択された場合、ＭＲ画像生成部３８は、図５のステップＳ２５にて、次の処理を実行してよい。
　ＭＲ画像生成部３８は、上述した基準動作効率情報及び改善動作効率情報を用いて、実環境１００におけるロボットの設置位置にロボットモデル画像１１０が重畳され、動作改善前及び動作改善後のロボット動作の動画像が重畳されるようにＭＲ画像を生成し、表示装置１８に表示する。
　ＭＲ画像生成部３８は、動作改善前のロボット動作の動画像と、動作改善後のロボット動作の動画像とを、ユーザ１の指示により切り替えて表示装置１８に表示してよい。
　ＭＲ画像生成部３８は、動作改善後のロボット動作の動画像を表示する際に、ロボット動作速度の改善の大きさを示す情報を合わせて表示装置１８に表示してよい。
　ＭＲ画像生成部３８は、動作改善後のロボット動作の動画像を表示する際に、動作改善のために除去された除去部位に対応する実環境１００における部位に、除去画像１１４を重畳して表示してよい。
　ＭＲ画像生成部３８は、改善の大きさに応じて、除去画像１１４の輪郭の色を変化させてもよい。
　ＭＲ画像生成部３８は、除去部位の位置と、除去部位を除去してロボットを動作させた場合における干渉画像１１１を、表示装置１８に表示してもよい。
＜動作範囲表示モード＞
　図１１を参照して、動作範囲表示モードについて説明する。図１１は、動作範囲表示モードにおけるＭＲ画像の一例を示す図である。
＜＜動作範囲の検出＞＞
　シミュレーション部３７は、ロボットモデルを動作させて、ロボットが到達可能は範囲を検出する。図５のステップＳ２１にて動作範囲表示モードが選択された場合、シミュレーション部３７は、図５のステップＳ２２にて、以下のＳ１４１～Ｓ１４３の処理を実行してよい。
　シミュレーション部３７は、環境モデル格納部３５から環境モデルを取得し、ロボットモデル格納部３６からロボットモデルを取得する（Ｓ１４１）。
　シミュレーション部３７は、環境モデル内におけるロボットモデルの位置及び姿勢を算出する（Ｓ１４２）。
　シミュレーション部３７は、ロボットモデルがとり得る様々な姿勢でロボットモデルを動作させて、環境モデル内においてロボットモデルが到達可能な範囲（つまり動作範囲）を検出し、その検出した動作範囲を示す情報（以下、動作範囲情報と称する）をメモリ１５又はストレージ１６に格納する（Ｓ１４３）。なお、動作範囲情報は、表示モード関連情報の一例である。
　ステップＳ１４３において、シミュレーション部３７は、環境モデルと干渉する姿勢を取らないように、ロボットモデルを動作させてよい。また、シミュレーション部３７は、ロボットの設定により稼働可能な関節角及び制限領域等を考慮して、ロボットモデルを動作させてよい。
＜＜動作範囲のＭＲ画像表示＞＞
　図５のステップＳ２１にて動作範囲表示モードが選択された場合、ＭＲ画像生成部３８は、図５のステップＳ２５にて、次の処理を実行してよい。
　ＭＲ画像生成部３８は、実環境１００におけるロボットの設置位置にロボットモデル画像１１０が重畳され、上述した動作範囲情報が示すロボットの動作範囲を示す画像（以下、動作範囲画像１１５と称する）が重畳されるようにＭＲ画像を生成し、表示装置１８に表示する。
＜ロボット動作軌跡表示モード＞
　図１２を参照して、ロボット動作軌跡表示モードについて説明する。図１２は、ロボット動作軌跡表示モードにおけるＭＲ画像の一例を示す図である。
＜＜ロボット動作軌跡の特定＞＞
　シミュレーション部３７は、ロボットモデルを動作させて、ロボットの動作軌跡を特定する。図５のステップＳ２１にて動作軌跡表示モードが選択された場合、シミュレーション部３７は、図５のステップＳ２２にて、以下のＳ１５１～Ｓ１５４の処理を実行してよい。
　シミュレーション部３７は、環境モデル格納部３５から環境モデルを取得し、ロボットモデル格納部３６からロボットモデルを取得する（Ｓ１５１）。
　シミュレーション部３７は、環境モデル内におけるロボットモデルの位置及び姿勢を算出する（Ｓ１５２）。
　シミュレーション部３７は、ロボットモデルの動作シーケンスを読み込む（Ｓ１５３）。
　シミュレーション部３７は、動作シーケンスに基づいてロボットモデルを動作させ、ロボットモデルの動作軌跡を示す情報（以下、動作軌跡情報と称する）をメモリ１５又はストレージ１６に格納する（Ｓ１５４）。なお、動作軌跡情報は、表示モード関連情報の一例である。
＜＜ロボット動作軌跡のＭＲ画像表示＞＞
　図５のステップＳ２１にてロボット動作軌跡表示モードが選択された場合、ＭＲ画像生成部３８は、図５のステップＳ２５にて、次の処理を実行してよい。
　ＭＲ画像生成部３８は、実環境１００におけるロボットの設置位置にロボットモデル画像１１０が重畳され、動作軌跡情報が示すロボットの動作軌跡画像１１６が重畳されるようにＭＲ画像を生成し、表示装置１８に表示する。
　ＭＲ画像生成部３８は、動作シーケンスの異なるタイミングにおける少なくとも２つの動作軌跡画像１１６を、同時に表示装置１８に表示してもよい。これにより、ユーザ１は、複数のタイミングでの動作軌跡を同時に確認することが可能となる。また、この場合、ＭＲ画像生成部３８は、各タイミングの動作軌跡画像１１６について、輪郭のみを表示したり、一部又は全体を半透明にして表示したりしてもよい。これにより、動作軌跡画像同士が重複している場合であっても、ユーザ１は、正確に各タイミングの動作軌跡を確認することができる。
　ＭＲ画像生成部３８は、ロボットの実時間の作業速度に応じて、動作軌跡画像１１６を動画像として再生し、表示装置１８に表示してもよい。これにより、ユーザ１は、ロボットを実際に設定して動作させた場合の動作を確認することができる。
　ＭＲ画像生成部３８は、ロボットの実時間の作業速度とは異なる速度（例えば高速又は低速）にて、動作軌跡画像を動画像として再生し、表示装置１８に表示してもよい。これにより、ユーザ１は、高速で動作軌跡画像を再生する場合、ロボットの動作軌跡を短時間で確認することができ、低速で動作軌跡画像を再生する場合、ロボットの動作軌跡を精緻に確認することができる。
＜作業可能範囲表示モード＞
　図１３を参照して、作業可能範囲表示モードについて説明する。図１３は、作業可能範囲表示モードにおけるＭＲ画像の一例を示す図である。
＜＜作業可能範囲の検出＞＞
　シミュレーション部３７は、ロボットモデルを動作させて、ロボットと共同作業する作業者又は機械（他のロボットや工作機械等）の作業可能範囲を特定する。図５のステップＳ２１にて作業可能範囲表示モードが選択された場合、シミュレーション部３７は、図５のステップＳ２２にて、以下のＳ１６１～Ｓ１６４の処理を実行してよい。
　シミュレーション部３７は、環境モデル格納部３５から環境モデルを取得し、ロボットモデル格納部３６からロボットモデルを取得する（Ｓ１６１）。
　シミュレーション部３７は、環境モデル内におけるロボットモデルの位置及び姿勢を算出する（Ｓ１６２）。
　シミュレーション部３７は、ロボットモデルの動作シーケンスを読み込む（Ｓ１６３）。
　シミュレーション部３７は、動作シーケンスに基づいてロボットモデルを動作させ、ロボットモデルが環境モデルと干渉せずに到達可能な範囲を検出し、その検出した情報（以下、作業可能範囲情報と称する）をメモリ１５又はストレージ１６に格納する（Ｓ１６４）。なお、作業可能範囲情報は、表示モード関連情報の一例である。
＜＜作業可能範囲のＭＲ画像表示＞＞
　図５のステップＳ２１にて作業可能範囲表示モードが選択された場合、ＭＲ画像生成部３８は、図５のステップＳ２５にて、次の処理を実行してよい。
　ＭＲ画像生成部３８は、実環境１００におけるロボットの設置位置にロボットモデル画像１１０が重畳され、作業可能範囲情報が示す範囲に作業可能範囲画像１１７が重畳されるようにＭＲ画像を生成し、表示装置１８に表示する。
＜複数ＨＭＤの連携利用＞
　図１４を参照して、複数のＨＭＤ１０を連携させて利用する方法について説明する。図１４は、複数のＨＭＤ１０を連携して利用する方法を説明するための図である。
　例えば、環境モデル生成処理において、以下の（Ｂ１）又は（Ｂ２）のように、複数のＨＭＤ１０が用いられてよい。
（Ｂ１）複数のユーザ１がそれぞれＨＭＤ１０を装着して実環境１００内を移動する。そして、各ＨＭＤ１０が取得した３次元データを統合して、実環境１００に対応する環境モデルを生成する。これにより、より効率的に実環境１００の３次元データを生成できる。
（Ｂ２）複数のユーザ１が異なる実環境１００に存在し、各ＨＭＤ１０がそれぞれロボットの設置場所の周辺に配置される予定の実際の部材（以下、実部材と称する）を３次元スキャンして得た３次元データを統合して、環境モデルを生成する。この場合、異なる実部材の３次元データの位置合わせは、所定のマーカによって行われてもよいし、ユーザ１の操作によって行われてもよい。あるいは、異なる実部材の３次元データの位置合わせは、衝突が起こらないことを示す指標を目印として、自動で行われてもよい。
　また、複数のＨＭＤ１０が接続される所定のサーバ（図示しない）を設けてよい。この場合、サーバは、各ＨＭＤ１０から３次元データ等を受信し、その受信した複数の３次元データ等をリアルタイムで統合し、環境モデルを生成してもよい。なお、サーバは、情報処理装置の一例である。
　サーバは、１又は複数のＨＭＤ１０で取得した３次元データ等を蓄積し、その３次元データ等から生成した環境モデルを、異なる時刻又は場所の環境モデルと統合してもよい。
　サーバは、あらかじめ設計されたオブジェクト（例えばＣＡＤデータ等）を、環境モデルに統合してもよい。
　複数のＨＭＤ１０を連携して利用する場合、あるユーザ１が選択した表示モードを他のＨＭＤ１０にも送信し、複数のＨＭＤ１０にて同じ表示モードのＭＲ画像を表示してもよい。また、あるユーザ１による再生操作等を他のＨＭＤ１０にも送信し、複数のＨＭＤ１０にて同じ動画像を表示してもよい。
　あるいは、複数のＨＭＤ１０を連携して利用する場合、ユーザ１はそれぞれ個別にＨＭＤ１０を操作し、ＨＭＤ１０はそれぞれ個別に動作してもよい。
＜変形例＞
　ＨＭＤ１０は、非透過型であってもよい。この場合、ＨＭＤ１０は、実環境１００を撮像した画像にＭＲ画像を重畳して表示装置１８に表示すればよい。
　上述した実施の形態では、シミュレーション部３７は、ロボットモデルを動作させている。しかし、ロボットモデルの正確な動きを検出する必要がなければ、ロボットモデルを実際に動作させなくともよい。例えば、ロボットモデルの基準姿勢を中心とした所定の距離内をロボットの動作範囲として推定することなどが考えられる。
　上述した実施の形態では、ロボットが挟み込んだり衝突したりする対象として作業者を例に説明している。しかし、挟み込みや衝突の可能性がある物体は、作業者に限られず、ロボットモデルに対応するロボット以外の任意の物体（他の物体）について挟み込みや衝突の可能性を分析して表示してもよい。他の物体の例として、同じ実環境に設置されているロボットや設置される予定のロボット、または、コンベアなどの他の機械が考えられる。特に、他の物体が移動または変形する物体の場合、ロボットによる挟み込みや衝突が発生する可能性を予測しにくいため、ＭＲ画像として表示することは有益である。
　上述した実施の形態では、ロボット動作計画の生成において、作業者の作業時における位置及び姿勢等を環境モデルに追加しているが、作業者以外の情報も環境モデルに追加してもよい。例えば、同じ環境で動作する他のロボットや機械の位置及び姿勢等を環境モデルに追加してもよい。このようにすることで、ロボットが他のロボットや機械と共同作業が行われる状況におけるロボット動作計画を生成することができる。
　上述した実施の形態において、挟み込みまたは衝突のリスクを表示する場合、その状況におけるロボットモデルの動作速度に応じて表示の態様を変化させてもよい。一般的に、速い速度で挟み込みまたは衝突が発生する場合の方が、作業者等は回避の行動をとりにくいため、より高いリスクがあることを通知するとよいためである。
（本開示のまとめ）
　本開示の内容は、以下のように表現することができる。
＜表現１＞
　情報処理装置（例えばＨＭＤ）１０は、プロセッサ２０及び表示装置１８を備え、プロセッサ２０は、ロボットが設置される実環境１００をモデル化した環境モデル内に、ロボットをモデル化したロボットモデルを配置し、環境モデル内にてロボットモデルを動作させて、ロボットと実環境１００との関係性の表示態様を示すモードである表示モードに対応する表示モード関連情報を生成し、表示モード関連情報に基づく画像を、実環境１００内に存在するユーザ１が有する表示装置１８に表示する。
　これにより、表示装置１８を有するユーザ１は、ロボットを設置する前に、表示モードに対応するロボットと実環境との関係性を、表示装置１８に表示される表示モードに対応する表示態様の画像にて、視覚的に確認することができる。
＜表現２＞
　表現１に記載の情報処理装置１０において、実環境１００を３次元スキャンする３次元スキャナ１１をさらに備え、プロセッサ２０は、実環境１００内に存在して３次元スキャナ１１を有するユーザ１に移動を指示し、３次元スキャナ１１から得られる３次元データに基づいて環境モデルを生成してよい。
　これにより、情報処理装置１０は、３次元スキャナ１１を有するユーザ１を移動させて、様々な方向の３次元データを得ることができ、３次元の環境モデルを生成することができる。
＜表現３＞
　表現１に記載の情報処理装置１０において、表示モードが、動作中のロボットが実環境１００の部位と干渉するリスクを表示する干渉部位表示モードである場合、表示モード関連情報は、動作中のロボットモデルが干渉するリスクを有する環境モデルの部位である干渉部位を示す情報を含み、表示モード関連情報に基づく画像は、環境モデルの干渉部位に対応する実環境の部位を示してよい。
　これにより、表示装置１８を有するユーザ１は、実環境１００におけるロボットと干渉するリスクを有する部位を、表示装置１８に表示される干渉部位を示す画像にて視覚的に確認することができる。
＜表現４＞
　表現１に記載の情報処理装置１０において、表示モードが、動作中のロボットが他の物体を挟み込むリスクを表示する挟み込みリスク表示モードである場合、表示モード関連情報は、動作中のロボットモデルが作業者を挟み込むリスクを有するロボットモデル又は環境モデルの部位である挟み込み部位を示す情報を含み、表示モード関連情報に基づく画像は、ロボットモデルの挟み込み部位、又は、環境モデルの挟み込み部位に対応する前記実環境の部位を示してよい。
　これにより、表示装置１８を有するユーザ１は、実環境１００における他の物体を挟み込むリスクを有する部位を、表示装置１８に表示される挟み込み部位を示す画像にて視覚的に確認することができる。
＜表現５＞
　表現１に記載の情報処理装置１０において、表示モードが、動作中のロボットが他の物体と衝突するリスクを表示する衝突リスク表示モードである場合、表示モード関連情報は、動作中のロボットモデルが他の物体と衝突するリスクを有するロボットモデル又は環境モデルの部位である衝突部位を示す情報を含み、表示モード関連情報に基づく画像は、ロボットモデルの衝突部位、又は、環境モデルの衝突部位に対応する実環境の部位を示してよい。
　これにより、表示装置１８を有するユーザ１は、実環境１００における他の物体と衝突するリスクを有する部位を、表示装置１８に表示される衝突部位を示す画像にて視覚的に確認することができる。
＜表現６＞
　表現１に記載の情報処理装置１０において、表示モードが、ロボットの動作の効率を低下させる要因を表示する動作効率表示モードである場合、表示モード関連情報は、除去した場合にロボットモデルの動作の効率が向上する環境モデルの部位である除去部位を示す情報を含み、表示モード関連情報に基づく画像は、環境モデルの除去部位に対応する実環境の部位を示してよい。
　これにより、表示装置１８を有するユーザ１は、実環境１００における除去することによってロボットの動作効率が向上する部位を、表示装置１８に表示される除去部位を示す画像にて視覚的に確認することができる。
＜表現７＞
　表現１に記載の情報処理装置１０において、表示モードが、ロボットの動作範囲を表示する動作範囲表示モードである場合、表示モード関連情報は、ロボットモデルを動作させた場合にロボットモデルが到達可能な範囲を示す情報を含み、表示モード関連情報に基づく画像は、実環境におけるロボットモデルが到達可能な範囲を示してよい。
　これにより、表示装置１８を有するユーザ１は、実環境１００におけるロボットが到達可能な範囲を、表示装置１８に表示されるロボットモデルが到達可能な範囲を示す画像にて視覚的に確認することができる。
＜表現８＞
　表現１に記載の情報処理装置１０において、表示モードが、ロボットの動作軌跡を表示するロボット動作軌跡表示モードである場合、表示モード関連情報は、ロボットモデルを動作させた場合のロボットモデルの動作軌跡を示す情報であり、表示モード関連情報に基づく画像は、実環境におけるロボットモデルの動作軌跡を示してよい。
　これにより、表示装置１８を有するユーザ１は、実環境１００におけるロボットの動作軌跡を、表示装置１８に表示されるロボットモデルの動作軌跡を示す画像にて視覚的に確認することができる。
＜表現９＞
　表現１に記載の情報処理装置１０において、表示モードが、ロボットと共同作業を行う作業者又は機械が作業可能な範囲を表示する作業可能範囲表示モードである場合、表示モード関連情報は、ロボットモデルを動作させた場合にロボットモデルが環境モデルと干渉せずに到達可能な範囲を示す情報を含み、表示モード関連情報に基づく画像は、実環境における、ロボットモデルが環境モデルと干渉せずに到達可能な範囲を示してよい。
　これにより、表示装置１８を有するユーザ１は、実環境１００においてロボットが干渉せずに到達可能は範囲を、表示装置１８に表示されるロボットモデルが環境モデルと干渉せずに到達可能な範囲を示す画像にて視覚的に確認することができる。
＜表現１０＞
　情報処理装置（例えばＨＭＤ）１０による情報処理方法では、ロボットが設置される実環境をモデル化した環境モデル内に、ロボットをモデル化したロボットモデルを配置し、環境モデル内にてロボットモデルを動作させて、ロボットと実環境１００との関係性の表示態様を示すモードである表示モードに対応する表示モード関連情報を生成し、表示モード関連情報に基づく画像を、実環境１００内に存在するユーザ１が有する表示装置１８に表示する。
　これにより、表示装置１８を有するユーザ１は、ロボットを設置する前に、表示モードに対応するロボットと実環境との関係性を、表示装置１８に表示される表示モードに対応する表示態様の画像にて、視覚的に確認することができる。
　以上、添付図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した実施の形態における各構成要素を任意に組み合わせてもよい。
　なお、本出願は、２０２１年６月４日出願の日本特許出願（特願２０２１－０９４７１８）に基づくものであり、その内容は本出願の中に参照として援用される。
　本開示の技術は、工場設備等にロボットを設置する際の事前確認に有用である。
１　ユーザ
１０　ＨＭＤ
１１　３次元スキャナ
１２　加速度センサ
１３　ジャイロセンサ
１４　地磁気センサ
１５　メモリ
１６　ストレージ
１７　操作装置
１８　表示装置
１９　通信装置
２０　プロセッサ
２１　バス
３１　操作取得部
３２　センシングデータ取得部
３３　視点算出部
３４　環境モデル生成部
３５　環境モデル格納部
３６　ロボットモデル格納部
３７　シミュレーション部
３８　ＭＲ画像生成部
１００　実環境
１０１　作業台
１０２　マーカ
１０３　実際のロボット
１０４　矢印画像
１１０　ロボットモデル画像
１１１　干渉画像
１１２　挟み込み画像
１１３　衝突リスク画像
１１４　除去画像
１１５　動作範囲画像
１１６　動作軌跡画像
１１７　作業可能範囲画像

Claims (10)

  1. 　情報処理装置であって、プロセッサ及び表示装置を備え、
    　前記プロセッサは、
    　ロボットが設置される実環境をモデル化した環境モデル内に、前記ロボットをモデル化したロボットモデルを配置し、
    　前記環境モデル内にて前記ロボットモデルを動作させて、前記ロボットと前記実環境との関係性の表示態様を示すモードである表示モードに対応する表示モード関連情報を生成し、
    　前記表示モード関連情報に基づく画像を、前記実環境内に存在するユーザが有する前記表示装置に表示する、
    　情報処理装置。
  2. 　前記実環境を３次元スキャンする３次元スキャナをさらに備え、
    　前記プロセッサは、
    　前記実環境内に存在して前記３次元スキャナを有するユーザに移動を指示し、
    　前記３次元スキャナから得られる３次元データに基づいて前記環境モデルを生成する、
    　請求項１に記載の情報処理装置。
  3. 　前記表示モードが、動作中の前記ロボットが前記実環境の部位と干渉するリスクを表示する干渉部位表示モードである場合、
    　前記表示モード関連情報は、動作中の前記ロボットモデルが干渉するリスクを有する前記環境モデルの部位である干渉部位を示す情報を含み、
    　前記表示モード関連情報に基づく画像は、前記環境モデルの前記干渉部位に対応する前記実環境の部位を示す、
    　請求項１に記載の情報処理装置。
  4. 　前記表示モードが、動作中の前記ロボットが他の物体を挟み込むリスクを表示する挟み込みリスク表示モードである場合、
    　前記表示モード関連情報は、動作中の前記ロボットモデルが作業者を挟み込むリスクを有する前記ロボットモデル又は前記環境モデルの部位である挟み込み部位を示す情報を含み、
    　前記表示モード関連情報に基づく画像は、前記ロボットモデルの前記挟み込み部位、又は、前記環境モデルの前記挟み込み部位に対応する前記実環境の部位を示す、
    　請求項１に記載の情報処理装置。
  5. 　前記表示モードが、動作中の前記ロボットが他の物体と衝突するリスクを表示する衝突リスク表示モードである場合、
    　前記表示モード関連情報は、動作中の前記ロボットモデルが作業者と衝突するリスクを有する前記ロボットモデル又は前記環境モデルの部位である衝突部位を示す情報を含み、
    　前記表示モード関連情報に基づく画像は、前記ロボットモデルの前記衝突部位、又は、前記環境モデルの前記衝突部位に対応する前記実環境の部位を示す、
    　請求項１に記載の情報処理装置。
  6. 　前記表示モードが、前記ロボットの動作の効率を低下させる要因を表示する動作効率表示モードである場合、
    　前記表示モード関連情報は、除去した場合に前記ロボットモデルの動作の効率が向上する前記環境モデルの部位である除去部位を示す情報を含み、
    　前記表示モード関連情報に基づく画像は、前記環境モデルの前記除去部位に対応する前記実環境の部位を示す、
    　請求項１に記載の情報処理装置。
  7. 　前記表示モードが、前記ロボットの動作範囲を表示する動作範囲表示モードである場合、
    　前記表示モード関連情報は、前記ロボットモデルを動作させた場合に前記ロボットモデルが到達可能な範囲を示す情報を含み、
    　前記表示モード関連情報に基づく画像は、前記実環境における前記ロボットモデルが到達可能な範囲を示す、
    　請求項１に記載の情報処理装置。
  8. 　前記表示モードが、前記ロボットの動作軌跡を表示するロボット動作軌跡表示モードである場合、
    　前記表示モード関連情報は、前記ロボットモデルを動作させた場合の前記ロボットモデルの動作軌跡を示す情報であり、
    　前記表示モード関連情報に基づく画像は、前記実環境における前記ロボットモデルの動作軌跡を示す、
    　請求項１に記載の情報処理装置。
  9. 　前記表示モードが、前記ロボットと共同作業を行う作業者又は機械が作業可能な範囲を表示する作業可能範囲表示モードである場合、
    　前記表示モード関連情報は、前記ロボットモデルを動作させた場合に前記ロボットモデルが前記環境モデルと干渉せずに到達可能な範囲を示す情報を含み、
    　前記表示モード関連情報に基づく画像は、前記実環境における、前記ロボットモデルが前記環境モデルと干渉せずに到達可能な範囲を示す、
    　請求項１に記載の情報処理装置。
  10. 　情報処理装置による情報処理方法であって、
    　ロボットが設置される実環境をモデル化した環境モデル内に、前記ロボットをモデル化したロボットモデルを配置し、
    　前記環境モデル内にて前記ロボットモデルを動作させて、前記ロボットと前記実環境との関係性の表示態様を示すモードである表示モードに対応する表示モード関連情報を生成し、
    　前記表示モード関連情報に基づく画像を、前記実環境内に存在するユーザが有する表示装置に表示する、
    　情報処理方法。
PCT/JP2022/021465 2021-06-04 2022-05-25 情報処理装置、情報処理方法、及び、コンピュータプログラム WO2022255206A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021094718A JP2022186476A (ja) 2021-06-04 2021-06-04 情報処理装置、情報処理方法、及び、コンピュータプログラム
JP2021-094718 2021-06-04

Publications (1)

Publication Number Publication Date
WO2022255206A1 true WO2022255206A1 (ja) 2022-12-08

Family

ID=84324094

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/021465 WO2022255206A1 (ja) 2021-06-04 2022-05-25 情報処理装置、情報処理方法、及び、コンピュータプログラム

Country Status (2)

Country Link
JP (1) JP2022186476A (ja)
WO (1) WO2022255206A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003150217A (ja) * 2001-11-09 2003-05-23 Fanuc Ltd 作業機械のシミュレーション装置
JP2017035739A (ja) * 2015-08-06 2017-02-16 キヤノン株式会社 仮想環境作成方法、ロボット装置の制御方法、およびロボットシステム
WO2017072979A1 (ja) * 2015-10-30 2017-05-04 株式会社安川電機 ロボット教示装置、コンピュータプログラム及びロボット教示方法
WO2019092792A1 (ja) * 2017-11-07 2019-05-16 三菱電機株式会社 表示制御装置、表示制御方法および表示制御プログラム
JP2019109850A (ja) * 2017-12-20 2019-07-04 セイコーエプソン株式会社 透過型表示装置、表示制御方法、およびコンピュータープログラム
JP2019171501A (ja) * 2018-03-27 2019-10-10 日本電産株式会社 ロボットの干渉判定装置、ロボットの干渉判定方法、プログラム
JP2020075338A (ja) * 2018-11-09 2020-05-21 オムロン株式会社 ロボット制御装置、シミュレーション方法、及びシミュレーションプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003150217A (ja) * 2001-11-09 2003-05-23 Fanuc Ltd 作業機械のシミュレーション装置
JP2017035739A (ja) * 2015-08-06 2017-02-16 キヤノン株式会社 仮想環境作成方法、ロボット装置の制御方法、およびロボットシステム
WO2017072979A1 (ja) * 2015-10-30 2017-05-04 株式会社安川電機 ロボット教示装置、コンピュータプログラム及びロボット教示方法
WO2019092792A1 (ja) * 2017-11-07 2019-05-16 三菱電機株式会社 表示制御装置、表示制御方法および表示制御プログラム
JP2019109850A (ja) * 2017-12-20 2019-07-04 セイコーエプソン株式会社 透過型表示装置、表示制御方法、およびコンピュータープログラム
JP2019171501A (ja) * 2018-03-27 2019-10-10 日本電産株式会社 ロボットの干渉判定装置、ロボットの干渉判定方法、プログラム
JP2020075338A (ja) * 2018-11-09 2020-05-21 オムロン株式会社 ロボット制御装置、シミュレーション方法、及びシミュレーションプログラム

Also Published As

Publication number Publication date
JP2022186476A (ja) 2022-12-15

Similar Documents

Publication Publication Date Title
CN110394780B (zh) 机器人的仿真装置
US11724388B2 (en) Robot controller and display device using augmented reality and mixed reality
US10888998B2 (en) Method and device for verifying one or more safety volumes for a movable mechanical unit
JP6540472B2 (ja) シミュレーション装置、シミュレーション方法、およびシミュレーションプログラム
JP2019519387A (ja) 拡張現実ロボットシステムの可視化
EP3166084B1 (en) Method and system for determining a configuration of a virtual robot in a virtual environment
CN108687767B (zh) 离线编程装置以及离线编程方法
US9135392B2 (en) Semi-autonomous digital human posturing
CN109972674B (zh) 基于自然交互的复杂施工环境下的无人挖掘系统及方法
Fang et al. Robot path and end-effector orientation planning using augmented reality
WO2022255206A1 (ja) 情報処理装置、情報処理方法、及び、コンピュータプログラム
Kidiraliev et al. Using optical sensors for industrial robot-human interactions in a Gazebo environment
WO2017032407A1 (en) An industrial robot system and a method for programming an industrial robot
Landa-Hurtado et al. Kinect-based trajectory teaching for industrial robots
JP7068416B2 (ja) 拡張現実と複合現実を用いたロボット制御装置、ロボットの位置姿勢規定用コンピュータプログラム及びロボットの位置姿勢規定方法、相対位置姿勢取得用コンピュータプログラム及び相対位置姿勢取得方法
WO2022259600A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
KR101439249B1 (ko) 공간 점유 정보를 이용한 로봇 동작 생성 장치 및 방법
JP7258426B2 (ja) シミュレーションシステム、シミュレーションプログラムおよび学習装置
WO2023284960A1 (en) Teaching a robot system using hand gesture control and visual-inertial-odometry
Sziebig et al. Visual Programming of Robots
CN115476365A (zh) 机器人示教装置及利用其的机器人示教方法
JP2019084648A (ja) ロボット教示方法、ロボット教示装置、ロボットシステム、プログラム及び記録媒体
HONGCHAO ROBOT PROGRAMMING AND TRAJECTORY PLANNING USING AUGMENTED REALITY
Emrick Shared Autonomous System for Robot-Assisted Sewing
WO2017080579A1 (en) Controlling operation of a 3d tracking device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22815956

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22815956

Country of ref document: EP

Kind code of ref document: A1