WO2024069929A1 - Display control device and program - Google Patents

Display control device and program Download PDF

Info

Publication number
WO2024069929A1
WO2024069929A1 PCT/JP2022/036704 JP2022036704W WO2024069929A1 WO 2024069929 A1 WO2024069929 A1 WO 2024069929A1 JP 2022036704 W JP2022036704 W JP 2022036704W WO 2024069929 A1 WO2024069929 A1 WO 2024069929A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
display
appearance
display state
processor
Prior art date
Application number
PCT/JP2022/036704
Other languages
French (fr)
Japanese (ja)
Inventor
大貴 林
Original Assignee
ファナック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ファナック株式会社 filed Critical ファナック株式会社
Priority to PCT/JP2022/036704 priority Critical patent/WO2024069929A1/en
Priority to TW112135262A priority patent/TW202415513A/en
Publication of WO2024069929A1 publication Critical patent/WO2024069929A1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators

Definitions

  • This disclosure relates to a display control device and a program.
  • 3D screen can be displayed that displays the robot and parts in 3D in order to consider the placement of the robot and parts.
  • the 3D screen can display 3D models such as CAD (computer-aided design) models of the robot and parts placed in a virtual space.
  • the 3D screen has a function for highlighting the target 3D model so that the user can recognize the 3D model selected on the screen.
  • the problem that the embodiment of the present invention aims to solve is to provide a display control device and program that makes it easier than ever to see which 3D models have a specific relationship with the selected 3D model.
  • the display control device of the embodiment includes a setting unit and a display control unit.
  • the setting unit sets whether or not a first 3D model and a second 3D model have a predetermined relationship.
  • the display control unit sets the appearance of the selected first 3D model to a first display state, and when the first 3D model is selected and the second 3D model is set to have the predetermined relationship with the first 3D model, sets the appearance of the unselected second 3D model to a second display state different from the first display state, and when the second 3D model is set not to have the predetermined relationship with the first 3D model, sets the appearance of the unselected first 3D model and the unselected second 3D model to a third display state different from the first display state and the second display state.
  • FIG. 1 is a block diagram showing an example of a configuration of a main part of a processing apparatus according to an embodiment.
  • 2 is a flowchart showing an example of processing by a processor in FIG. 1 .
  • FIG. 2 is a diagram showing an example of a 3D screen displayed on the display device in FIG. 1 .
  • FIG. 2 is a diagram showing an example of a 3D screen displayed on the display device in FIG. 1 .
  • FIG. 2 is a diagram showing an example of a 3D screen displayed on the display device in FIG. 1 .
  • FIG. 2 is a diagram showing an example of a 3D screen displayed on the display device in FIG. 1 .
  • FIG. 2 is a diagram showing an example of a 3D screen displayed on the display device in FIG. 1 .
  • FIG. 2 is a diagram showing an example of a 3D screen displayed on the display device in FIG. 1 .
  • FIG. 1 is a block diagram showing an example of a main configuration of a processing apparatus 100 according to an embodiment.
  • the processing device 100 performs an operation simulation of a robot.
  • the robot is, for example, an industrial robot equipped with a manipulator or a robot arm.
  • the robot is controlled by, for example, a robot controller.
  • the robot may be a robot of another type.
  • the processing device 100 also displays a 3D screen.
  • the 3D screen is a screen that displays, for example, a robot, parts, and other objects in 3D in a virtual space.
  • the parts are, for example, peripheral devices of the robot.
  • the parts are, for example, controlled by a robot controller.
  • the processing device 100 is, for example, a general-purpose device such as a server device, a PC, a tablet terminal, or a smartphone. Alternatively, the processing device 100 may be a dedicated device for simulating the operation of a robot. As an example, the processing device 100 includes a processor 101, a ROM (read-only memory) 102, a RAM (random-access memory) 103, an auxiliary storage device 104, a display device 105, an input device 106, and a communication interface 107. A bus 108 and the like connect these components. The processing device 100 is an example of a display control device.
  • the processor 101 is the central part of the computer that performs calculations and control processes necessary for the operation of the processing device 100, and performs various calculations and processes.
  • the processor 101 is, for example, a CPU (central processing unit), an MPU (micro processing unit), a SoC (system on a chip), a DSP (digital signal processor), a GPU (graphics processing unit), an ASIC (application specific integrated circuit), a PLD (programmable logic device), or an FPGA (field-programmable gate array).
  • the processor 101 is a combination of several of these.
  • the processor 101 may also be a combination of these with a hardware accelerator.
  • the processor 101 controls each part to realize various functions of the processing device 100 based on programs such as firmware, system software, and application software stored in the ROM 102 or the auxiliary storage device 104.
  • the processor 101 also executes the processes described below based on the programs.
  • part or all of the program may be incorporated into the circuitry of the processor 101.
  • the ROM 102 and the RAM 103 are main memory devices of the computer with the processor 101 at its core.
  • the ROM 102 is a non-volatile memory used exclusively for reading data.
  • the ROM 102 stores, for example, firmware among the above programs.
  • the ROM 102 also stores data used by the processor 101 when performing various processes.
  • the RAM 103 is a memory used for reading and writing data.
  • the RAM 103 is used as a work area for storing data that is temporarily used when the processor 101 performs various processes.
  • the RAM 103 is typically a volatile memory.
  • the auxiliary storage device 104 is an auxiliary storage device of a computer with the processor 101 at its core.
  • the auxiliary storage device 104 is, for example, an EEPROM (electrical erasable programmable read-only memory), a HDD (hard disk drive), or flash memory.
  • the auxiliary storage device 104 stores, for example, system software and application software from among the above programs.
  • the auxiliary storage device 104 also stores data used by the processor 101 in performing various processes, data generated by the processes in the processor 101, various setting values, etc.
  • the above application software includes robot operation simulation software capable of displaying a 3D screen.
  • the auxiliary storage device 104 also stores various types of 3D model data to be displayed on a 3D screen.
  • the display device 105 displays a screen for notifying the operator of the processing device 100 (hereinafter simply referred to as the "operator") of various information.
  • the display device 105 is, for example, a display such as a liquid crystal display or an organic EL (electro-luminescence) display.
  • the display device 105 may be built into the processing device 100 or may be connected to the outside of the processing device 100.
  • the input device 106 accepts operations by an operator.
  • the input device 106 is, for example, a keyboard, a keypad, a touchpad, a mouse, or a controller.
  • the input device 106 may also be a device for voice input.
  • a touch panel may also be used as the display device 105 and the input device 106. In this case, the display panel provided on the touch panel functions as the display device 105. And, a pointing device provided on the touch panel that accepts touch input functions as the input device 106.
  • the input device 106 may be built into the processing device 100 or may be connected to the outside of the processing device 100.
  • the communication interface 107 is an interface through which the processing device 100 communicates with other devices.
  • the communication interface 107 communicates, for example, via a network including a LAN (local area network) or the Internet.
  • Bus 108 includes a control bus, an address bus, a data bus, etc., and transmits signals exchanged between each part of the processing device 100.
  • FIG. 2 is a flow chart showing an example of processing by the processor 101 of the processing device 100.
  • the processor 101 executes the processing of FIG. 2 based on a program such as robot operation simulation software stored in the ROM 102 or auxiliary storage device 104, for example.
  • the processor 101 starts the process of FIG. 2 when, for example, an operational input instructing the display of a 3D screen is received from the input device 106 or the like.
  • the processor 101 starts the process of FIG. 2 when, for example, an input such as a command instructing the display of a 3D screen is received from an external device or the like.
  • step ST11 the processor 101 causes the display device 105 to start displaying a 3D screen. To this end, the processor 101 generates an image corresponding to the 3D screen. The processor 101 then instructs the display device 105 to display this generated image. In response to the display instruction, the display device 105 displays the 3D screen.
  • the processor 101 updates the display content of the 3D screen as necessary in response to the execution of various functions.
  • processor 101 determines whether or not to add a 3D model to the virtual space.
  • Processor 101 determines to add a 3D model when, for example, an add operation is performed.
  • the add operation is a predetermined operation input that the operator performs when adding a 3D model.
  • One example of the add operation is an operation on an add button displayed on display device 105. If processor 101 does not determine to add a 3D model to the virtual space, it determines No in step ST12 and proceeds to step ST13.
  • step ST13 the processor 101 determines whether or not to change the relationship settings of any of the 3D models arranged in the virtual space.
  • the processor 101 determines that the relationship settings of the 3D models are to be changed when, for example, a setting change operation is performed.
  • the setting change operation is a predetermined operation input that the operator performs when instructing the processing device 100 to change the relationship settings of the 3D models.
  • One example of the setting change operation is an operation on a setting change button displayed on the display device 105. Relationships and relationship settings will be described later. If the processor 101 does not determine that the relationship settings of the 3D models are to be changed, the processor 101 determines No in step ST13 and proceeds to step ST14.
  • step ST14 the processor 101 determines whether or not to place any of the 3D models placed in the virtual space in a selected state.
  • the processor 101 determines that a 3D model is to be placed in a selected state when, for example, a selection operation is performed.
  • the selection operation is a predetermined operation input that is performed by the operator when instructing the processing device 100 to place a 3D model in a selected state.
  • a 3D model that is placed in the virtual space and is not being selected can be selected by, for example, a selection operation such as clicking or tapping on the 3D model. If the processor 101 does not determine that a 3D model is to be placed in a selected state, the processor 101 determines No in step ST14 and proceeds to step ST15.
  • step ST15 the processor 101 determines whether or not to cancel the selection state of any of the 3D models placed in the virtual space.
  • the processor 101 determines that the selection state of a 3D model is to be cancelled when, for example, a cancel operation is performed.
  • the cancel operation is a predetermined operation input that is performed by the operator when instructing the processing device 100 to cancel the selection state of a 3D model.
  • the selection of a selected 3D model placed in the virtual space can be cancelled by, for example, a cancel operation such as clicking or tapping on the 3D model. If the processor 101 does not determine that the selection state of the 3D model is to be cancelled, the processor 101 determines No in step ST15 and proceeds to step ST16.
  • step ST16 the processor 101 determines whether or not to change the display mode.
  • the processor 101 determines to change the display mode when, for example, a mode change operation is performed.
  • the mode change operation is a predetermined operation input that is performed by the operator when instructing the processing device 100 to change the display mode.
  • One example of the mode change operation is an operation on a mode change button displayed on the display device 105. The display mode will be described later. If the processor 101 does not determine to change the display mode, it determines No in step ST16 and proceeds to step ST17.
  • step ST17 the processor 101 determines whether or not to end the display of the 3D screen.
  • the processor 101 determines to end the display of the 3D screen when, for example, an end operation is performed.
  • the end operation is a predetermined operation input that the operator operates when instructing the processing device 100 to end the display of the 3D screen.
  • One example of the end operation is an operation on the end button displayed on the display device 105. If the processor 101 does not determine to end the display of the 3D screen, it determines No in step ST17 and returns to step ST12.
  • the processor 101 enters a standby state in which steps ST12 to ST17 are repeated until it is determined that the processor 101 has added a 3D model to the virtual space, changed the relationship settings of the 3D model, selected the 3D model, deselected the 3D model, changed the display mode, or ended the display of the 3D screen.
  • step ST12 determines Yes in step ST12 and proceeds to step ST18.
  • step ST18 the processor 101 performs a process of determining a 3D model to be placed in the virtual space.
  • the processor 101 determines the 3D model to be placed based on, for example, an operation input to the input device 106.
  • step ST19 the processor 101 places the 3D model determined in step ST18 in the virtual space.
  • the processor 101 updates the display on the 3D screen according to the placement content.
  • FIG. 3 and Fig. 4 Two examples of a 3D screen on which several 3D models are arranged are shown in Fig. 3 and Fig. 4.
  • FIG. 3 and Fig. 4 is a diagram showing an example of a 3D screen displayed on the display device 105.
  • the 3D screen shown in Fig. 3 displays a robot model M1, a part model M2, and a robot model M3.
  • the robot model M1 and the robot model M3 are 3D models of a robot.
  • the part model M2 is a 3D model of a part.
  • the 3D screen shown in Fig. 4 displays a robot model M4, and transported object models M5 to M7.
  • the robot model M1, the robot model M3, and the robot model M4 are 3D models of a robot.
  • the part model M2 is a 3D model of a part.
  • the transported object models M5 to M7 are 3D models of an object transported by a robot. Note that Fig. 4 also shows a 3D model of a platform on which the transported object models are placed.
  • the processor 101 After processing step ST19, the processor 101 returns to step ST11. Any two of the 3D models arranged in the virtual space are examples of a first 3D model and a second 3D model.
  • step ST13 If the processor 101 determines that the relationship settings of any of the 3D models arranged in the virtual space are to be changed while in the standby state of steps ST12 to ST17, it determines Yes in step ST13 and proceeds to step ST20.
  • step ST20 the processor 101 performs processing to set the relationship.
  • the processor 101 determines the content based on, for example, an operation input to the input device 106.
  • the setting of (i) will be explained using FIG. 3.
  • multiple robot controllers including a first robot controller and a second robot controller, can be used to control the robots and parts.
  • the robot model M1 can be controlled by the first robot controller
  • the part model M2 to be controlled by the first robot controller
  • the robot model M3 to be controlled by the second robot controller.
  • the multiple 3D models set to be controlled by the robot controller form a multi-group.
  • the robot model M1 and the part model M2 are controlled by the same first robot controller, so the robot model M1 and the part model M2 form a multi-group.
  • the setting of (ii) will be explained using Figure 4.
  • the transported object model M5 and the transported object model M6 are objects transported by the robot model M4.
  • an object indicating the transport start position and an object indicating the transport end position.
  • the transported object model M5 indicates the start position of the object transported by the robot model M4
  • the transported object model M6 indicates the start position of the object transported by the robot model M4.
  • the processor 101 functions as an example of a setting unit that sets whether or not the first 3D model and the second 3D model have a predetermined relationship.
  • step ST21 the processor 101 updates the display content of the 3D screen according to the relationship setting content in step ST20.
  • the display content updated here is, for example, a change from the third display to the second display based on a change in the relationship, and a change from the second display to the third display.
  • the third display and the second display will be described later.
  • the processor 101 returns to step ST11.
  • step ST14 If the processor 101 determines that any of the 3D models arranged in the virtual space should be placed in a selected state while in the standby state of steps ST12 to ST17, it determines Yes in step ST14 and proceeds to step ST22.
  • step ST22 the processor 101 selects the 3D model designated by an operational input or the like.
  • the processor 101 stores in the RAM 103 or the auxiliary storage device 104, etc., whether or not each 3D model arranged in the virtual space is in a selected state.
  • processor 101 updates the display content of the 3D screen in response to the change in the selection state in step ST22.
  • processor 101 changes the 3D model selected in step ST22 from the third display to the first display so that it is clear that it is selected.
  • Processor 101 also changes the 3D model that has a predetermined relationship with the 3D model selected in step ST22 from the third display to the second display.
  • the 3D model can be displayed in three different display methods, a first display, a second display, and a third display, each having a different appearance.
  • the processor 101 changes the appearance of the 3D model between the third display and the first display by displaying a difference in color, opacity, texture, or rendering of at least a part of the 3D model, a change in the display of at least a part of the 3D model, the presence or absence of a specified overlay display, or the presence or absence of a specified marker.
  • the difference in color is, for example, a difference in saturation, brightness, hue, gamma, color balance, or contrast.
  • the processor 101 changes the appearance of the 3D model between the first display and the second display by displaying a difference in color, opacity, texture, or rendering of at least a part of the 3D model, a change in the display of at least a part of the 3D model, the presence or absence of a specified overlay display, or the presence or absence of a specified marker that serves as a landmark.
  • the processor 101 changes the appearance of the 3D model between the third display and the second display by displaying, for example, a difference in color, opacity, texture, or rendering of at least a part of the 3D model, a change in the display of at least a part of the 3D model, the presence or absence of a specified overlay display, or the presence or absence of a specified marker that serves as a landmark.
  • Fig. 5 is a diagram showing an example of a 3D screen displayed on the display device 105.
  • Fig. 5 also shows the state after the robot model M1 has been changed from the state shown in Fig. 3 to a selected state.
  • the robot model M1 shown in FIG. 5 is in the first display.
  • the part model M2 shown in FIG. 5 is in the second display.
  • the second display shown in FIG. 5 is a 3D model surrounded by a dashed line.
  • the robot model M3 shown in FIG. 5 is in the third display. In this way, since the robot model M1 has been changed to a selected state, what was the third display in FIG. 3 becomes the first display in FIG. 5.
  • the part model M2 has a predetermined relationship with the robot model M1, what was the third display in FIG. 3 becomes the second display in FIG. 5.
  • the predetermined relationship here is that they are set to be controlled by the same robot controller.
  • Fig. 6 is a diagram showing an example of a 3D screen displayed on the display device 105.
  • Fig. 6 also shows the state after the robot model M4 has been changed from the state shown in Fig. 3 to a selected state.
  • All the 3D models shown in FIG. 4 are in the third display.
  • the robot model M4 shown in FIG. 6 is in the first display.
  • the transported object model M5 and the transported object model M6 shown in FIG. 6 are in the second display.
  • the transported object model M7 shown in FIG. 6 is in the third display. In this way, the robot model M4 has been changed to the selected state, so what was in the third display in FIG. 4 is in the first display in FIG. 6.
  • the transported object model M5 and the transported object model M6 have a predetermined relationship with the robot model M4, what was in the third display in FIG. 4 is in the second display in FIG. 6.
  • the transported object model M7 does not have a predetermined relationship with the robot model M4, so it is in the third display.
  • the predetermined relationship here is that the two 3D models are a robot and an object transported by the robot.
  • the robot model M4 is in the second display.
  • the transported object model M6 may also be in the second display. That is, the predetermined relationship in this case is that they are 3D models showing objects transported by the same robot.
  • the 3D screen may be capable of a display method different from any of the first to third displays.
  • the third display may include multiple display methods with different appearances.
  • the first display may include multiple display methods with different appearances.
  • the second display may include multiple display methods with different appearances.
  • the display method for making the appearance of the second display of a 3D model having a predetermined relationship of being set to be controlled by the same robot controller as the 3D model in the selected state and the second display of a 3D model having a predetermined relationship of being an object transported by the robot in the selected state may be different from that of the third display and the first display.
  • a plurality of 3D models may be in a selected state, or only one 3D model may be in a selected state.
  • the processor 101 After processing step ST23, the processor 101 returns to step ST11.
  • the third display is an example of the first display state.
  • the first display is an example of the second display state.
  • the second display is an example of the third display state.
  • the processor 110 functions as an example of a display control unit that, when the first 3D model is selected and the second 3D model and the third 3D model are not selected, sets the appearance of the first 3D model to a first display state, sets the appearance of the second 3D model that has a predetermined relationship with the first 3D model to a second display state different from the first display state, and sets the appearance of the third 3D model that does not have a predetermined relationship with the first 3D model to a third display state different from the first display state and the second display state.
  • the robot model M1 is an example of a first 3D model.
  • the part model M2 is an example of a second 3D model.
  • the robot model M3 is an example of a third 3D model.
  • processor 101 determines that the selection state of any of the 3D models arranged in the virtual space should be cancelled while in the standby state of steps ST12 to ST17, it determines Yes in step ST15 and proceeds to step ST24.
  • step ST24 the processor 101 changes the 3D model specified by an operational input or the like from a selected state to a non-selected state.
  • the processor 101 stores in the RAM 103 or the auxiliary storage device 104, etc., whether or not each 3D model arranged in the virtual space is in a selected state.
  • step ST25 the processor 101 updates the display content of the 3D screen in response to the change in the selection state in step ST24. For example, when the robot model M1 is no longer in a selected state in the 3D screen shown in FIG. 5, the processor 101 updates the display content of the 3D screen from the state in FIG. 5 to the state in FIG. 3. After processing step ST25, the processor 101 returns to step ST11.
  • processor 101 determines that the display mode should be changed while in the standby state of steps ST12 to ST17, it determines Yes in step ST16 and proceeds to step ST26.
  • step ST26 the processor 101 changes the display mode to a display mode specified by an operational input or the like.
  • the processor 101 updates the display content of the 3D screen in response to the change in the display mode.
  • the processor 101 can display the 3D screen in a plurality of types of display modes. There are at least two types of display modes: a first display mode and a second display mode.
  • Fig. 7 is a diagram showing an example of a 3D screen displayed on the display device 105.
  • Fig. 5 shows a 3D screen in the first display mode.
  • Fig. 7 shows a 3D screen in the second display mode.
  • the 3D model in the selected state is displayed as the first display
  • the 3D model having a predetermined relationship with the 3D model in the selected state is displayed as the second display
  • the other 3D models are displayed as the third display.
  • the 3D model in the selected state is displayed as the first display
  • the other 3D models are displayed as the third display.
  • the processor 101 functions as an example of a display control unit that controls the display device 105 to display a 3D screen in a first display mode, thereby putting the appearance of a selected first 3D model into a first display state, and, when a first 3D model is selected and a second 3D model is set to have a predetermined relationship with the first 3D model, putting the appearance of a non-selected second 3D model into a second display state different from the first display state, and, when a second 3D model is set not to have a predetermined relationship with the first 3D model, putting the appearances of the non-selected first 3D model and the non-selected second 3D model into a third display state different from the first display state and the second display state.
  • the processor 101 functions as an example of a display control unit that sets the appearance of a selected first 3D model to a first display state, sets the appearance of a non-selected second 3D model to a third display state, and sets the appearance of a non-selected first 3D model to the third display state by controlling the display device 105 to display a 3D screen in the second display mode.
  • the processor 101 controls the display device 105 to display a 3D screen in the second display mode, and thereby functions as an example of a display control unit that, when the first 3D model is selected and the second 3D model and the third 3D model are not selected, sets the appearance of the first 3D model to the first display state and sets the appearances of the second 3D model and the third 3D model to the third display state.
  • processor 101 determines that the display of the 3D screen should be ended while in the standby state of steps ST12 to ST17, it determines Yes in step ST17 and proceeds to step ST27.
  • step ST27 the processor 101 controls the display device 105 to end the display of the 3D screen. After processing in step ST27, the processor 101 ends the processing shown in FIG. 2.
  • the processing device 100 of the embodiment displays a selected 3D model so that its appearance differs from that of a non-selected 3D model.
  • the processing device 100 of the embodiment also displays a 3D model that has a predetermined relationship with the selected 3D model so that its appearance differs from that of the selected 3D model.
  • the processing device 100 of the embodiment also displays a 3D model that is not selected and does not have a predetermined relationship with the selected 3D model so that its appearance differs from that of the selected 3D model and a 3D model that has a predetermined relationship with the selected 3D model. This allows an operator or the like to know which 3D model has a predetermined relationship with the selected 3D model just by looking at the display by the processing device 100 of the embodiment. Therefore, the processing device 100 of the embodiment makes it easier to know which 3D models have a predetermined relationship with the selected 3D model than before.
  • the processing device 100 of the embodiment is capable of displaying in two display modes, a first display mode and a second display mode.
  • the second display mode 3D models that have a specific relationship with the selected 3D model are displayed in the same way as 3D models that do not have a specific relationship with the selected 3D model. Therefore, the operator can set the display mode to the second display mode in cases where there is no need to know which 3D models have a specific relationship with the selected 3D model.
  • the processing device 100 of the embodiment uses a relationship that the 3D model is controlled by the same controller as the selected 3D model as the predetermined relationship. This makes it easy for the processing device 100 of the embodiment to identify 3D models that are controlled by the same controller as the selected 3D model.
  • the processing device 100 of the embodiment uses a relationship between a 3D model and a 3D model that is transported by the 3D model as the predetermined relationship. This makes it easy for the processing device 100 of the embodiment to understand the 3D model that shows the object that is transported by the selected 3D model.
  • model Ma and model Mb having a predetermined relationship as an example.
  • model Ma when model Ma is in a selected state and model Mb is not in a selected state, model Ma becomes the first display and model Mb becomes the second display.
  • model Ma when the selection states of model Ma and model Mb are swapped, that is, when model Ma is not in a selected state and model Mb is in a selected state, model Ma becomes the second display and model Mb becomes the first display.
  • model Ma and model Mb have symmetry in the selection state and the display state.
  • model Ma and model Mb do not have to have symmetry in the selection state and the display state.
  • model Ma and model Mb do not have the symmetry
  • model Ma becomes the first display and model Mb becomes the second display.
  • model Ma becomes the third display and model Mb becomes the first display.
  • model Ma becomes the first display and model Mb becomes the third display.
  • model Ma becomes the second display and model Mb becomes the first display.
  • the robot operation simulation software displays the 3D screen.
  • other software may display the 3D screen.
  • the other software may be, for example, various 3DCG software such as 3D CAD software, 3DCG production software, or 3D video production software.
  • robots, parts, and transported goods are described as examples of 3D models to be placed in the virtual space.
  • the 3D models to be placed in the virtual space are not limited to these, and may be 3D models of various objects such as people, animals, machines, or still lifes.
  • a robot controller has been described as an example of a controller that controls a 3D model.
  • the controller that controls a 3D model may be a controller other than a robot controller.
  • the processor 101 may implement some or all of the processing implemented by the program in the above embodiment through a hardware circuit configuration.
  • the program that realizes the processing of the embodiment is transferred, for example, in a state stored in a non-transitory storage medium within the device.
  • the device may be transferred in a state in which the program is not stored therein.
  • the program may then be transferred separately and written to the device.
  • the program may be transferred, for example, by recording it on a removable, non-transitory storage medium, or by downloading it via a network such as the Internet or a LAN.
  • Processing device 101
  • Processor 102
  • ROM 103
  • RAM 104
  • Auxiliary storage device 105
  • Display device 106
  • Input device 107
  • Communication interface 108 Bus M1, M3, M4 Robot model M2 Part model M5, M6, M7 Transported object model

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Selective Calling Equipment (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Provided are a display control device and program with which it is easier than the past to understand a 3D model that has prescribed relevance to a 3D model that is currently selected. A display control device according to an embodiment comprises a setting unit and a display control unit. The setting unit sets whether a first 3D model has the prescribed relevance with a second 3D model. The display control unit puts: the appearance of the first 3D model, which is currently selected, in a first display state; the appearance of the second 3D model, which is not currently selected, in a second display state that is different from the first display state when the first 3D model is currently selected and the second 3D model is set to have the prescribed relevance to the first 3D model; and the appearances of the first 3D model, which is not currently selected, and the second 3D model, which is not currently selected, in a third display state that is different from the first and second display states when the second 3D model is not set to have the prescribed relevance to the first 3D model.

Description

表示制御装置及びプログラムDisplay control device and program
 本開示は、表示制御装置及びプログラムに関する。 This disclosure relates to a display control device and a program.
 3D(three-dimensional)モデルを表示する技術が知られている。例えば、ロボットの動作シミュレーションソフトウェアでは、ロボット及び部品の配置などを検討するために、ロボット及び部品などを3D表示する3D画面を表示することができる。当該3D画面には、仮想空間上に配置されたロボット及び部品などのCAD(computer-aided design)モデルなどの3Dモデルを表示することができる。当該3D画面は、画面内で選択している3Dモデルをユーザが認識するために対象の3Dモデルを強調表示する機能がある。 Technology for displaying 3D (three-dimensional) models is known. For example, in robot operation simulation software, a 3D screen can be displayed that displays the robot and parts in 3D in order to consider the placement of the robot and parts. The 3D screen can display 3D models such as CAD (computer-aided design) models of the robot and parts placed in a virtual space. The 3D screen has a function for highlighting the target 3D model so that the user can recognize the 3D model selected on the screen.
特開2018-039060号公報JP 2018-039060 A
 本発明の実施形態が解決しようとする課題は、選択中の3Dモデルと所定の関係性がある3Dモデルが従来よりも分かりやすい表示制御装置及びプログラムを提供することである。 The problem that the embodiment of the present invention aims to solve is to provide a display control device and program that makes it easier than ever to see which 3D models have a specific relationship with the selected 3D model.
 実施形態の表示制御装置は、設定部及び表示制御部を備える。設定部は、第1の3Dモデルと第2の3Dモデルとが所定の関係性を有するか否かを設定する。表示制御部は、選択中の前記第1の3Dモデルの外見を第1の表示状態にし、前記第1の3Dモデルが選択中であり、前記第2の3Dモデルが前記第1の3Dモデルと前記所定の関係性を有すると設定されている場合、選択中でない前記第2の3Dモデルの外見を前記第1の表示状態とは異なる第2の表示状態にし、前記第2の3Dモデルが前記第1の3Dモデルと前記所定の関係性を有しないと設定されている場合、選択中でない前記第1の3Dモデル及び選択中でない前記第2の3Dモデルの外見を前記第1の表示状態及び前記第2の表示状態とは異なる第3の表示状態にする。 The display control device of the embodiment includes a setting unit and a display control unit. The setting unit sets whether or not a first 3D model and a second 3D model have a predetermined relationship. The display control unit sets the appearance of the selected first 3D model to a first display state, and when the first 3D model is selected and the second 3D model is set to have the predetermined relationship with the first 3D model, sets the appearance of the unselected second 3D model to a second display state different from the first display state, and when the second 3D model is set not to have the predetermined relationship with the first 3D model, sets the appearance of the unselected first 3D model and the unselected second 3D model to a third display state different from the first display state and the second display state.
実施形態に係る処理装置の要部構成の一例を示すブロック図。FIG. 1 is a block diagram showing an example of a configuration of a main part of a processing apparatus according to an embodiment. 図1中のプロセッサーによる処理の一例を示すフローチャート。2 is a flowchart showing an example of processing by a processor in FIG. 1 . 図1中の表示デバイスに表示される3D画面の一例を示す図。FIG. 2 is a diagram showing an example of a 3D screen displayed on the display device in FIG. 1 . 図1中の表示デバイスに表示される3D画面の一例を示す図。FIG. 2 is a diagram showing an example of a 3D screen displayed on the display device in FIG. 1 . 図1中の表示デバイスに表示される3D画面の一例を示す図。FIG. 2 is a diagram showing an example of a 3D screen displayed on the display device in FIG. 1 . 図1中の表示デバイスに表示される3D画面の一例を示す図。FIG. 2 is a diagram showing an example of a 3D screen displayed on the display device in FIG. 1 . 図1中の表示デバイスに表示される3D画面の一例を示す図。FIG. 2 is a diagram showing an example of a 3D screen displayed on the display device in FIG. 1 .
 以下、実施形態に係る処理装置について図面を用いて説明する。なお、以下の実施形態の説明に用いる各図面は、各部の縮尺を適宜変更している場合がある。また、以下の実施形態の説明に用いる各図面は、説明のため、構成を省略して示している場合がある。また、各図面及び本明細書中において、同一の符号は同様の要素を示す。
 図1は、実施形態に係る処理装置100の要部構成の一例を示すブロック図である。
The processing apparatus according to the embodiment will be described below with reference to the drawings. Note that the scale of each part in each drawing used in the following description of the embodiment may be changed as appropriate. Also, for the purpose of explanation, each drawing used in the following description of the embodiment may be shown with the configuration omitted. Also, in each drawing and in this specification, the same reference numerals indicate similar elements.
FIG. 1 is a block diagram showing an example of a main configuration of a processing apparatus 100 according to an embodiment.
 処理装置100は、ロボットの動作シミュレーションを行う。ロボットは、例えば、マニピュレーター又はロボットアームなどを備える産業用ロボットなどである。ロボットは、例えば、ロボットコントローラーによって制御される。しかしながら、ロボットは、その他の形態のロボットであっても良い。
 また、処理装置100は、3D画面を表示する。3D画面は、例えば、仮想空間上にロボット、部品及びその他の物体などを3Dで表示する画面である。ここでは、部品は、例えば、ロボットの周辺機器などである。部品は、例えば、ロボットコントローラーによって制御される。
The processing device 100 performs an operation simulation of a robot. The robot is, for example, an industrial robot equipped with a manipulator or a robot arm. The robot is controlled by, for example, a robot controller. However, the robot may be a robot of another type.
The processing device 100 also displays a 3D screen. The 3D screen is a screen that displays, for example, a robot, parts, and other objects in 3D in a virtual space. Here, the parts are, for example, peripheral devices of the robot. The parts are, for example, controlled by a robot controller.
 処理装置100は、例えば、サーバー装置、PC、タブレット端末又はスマートホンなどの汎用の装置である。あるいは、処理装置100は、ロボットの動作シミュレーション用の専用の装置などであっても良い。処理装置100は、一例として、プロセッサー101、ROM(read-only memory)102、RAM(random-access memory)103、補助記憶装置104、表示デバイス105、入力デバイス106及び通信インターフェース107を含む。そして、バス108などが、これら各部を接続する。なお、処理装置100は、表示制御装置の一例である。 The processing device 100 is, for example, a general-purpose device such as a server device, a PC, a tablet terminal, or a smartphone. Alternatively, the processing device 100 may be a dedicated device for simulating the operation of a robot. As an example, the processing device 100 includes a processor 101, a ROM (read-only memory) 102, a RAM (random-access memory) 103, an auxiliary storage device 104, a display device 105, an input device 106, and a communication interface 107. A bus 108 and the like connect these components. The processing device 100 is an example of a display control device.
 プロセッサー101は、処理装置100の動作に必要な演算及び制御などの処理を行うコンピューターの中枢部分であり、各種演算及び処理などを行う。プロセッサー101は、例えば、CPU(central processing unit)、MPU(micro processing unit)、SoC(system on a chip)、DSP(digital signal processor)、GPU(graphics processing unit)、ASIC(application specific integrated circuit)、PLD(programmable logic device)又はFPGA(field-programmable gate array)などである。あるいは、プロセッサー101は、これらのうちの複数を組み合わせたものである。また、プロセッサー101は、これらにハードウェアアクセラレーターなどを組み合わせたものであっても良い。プロセッサー101は、ROM102又は補助記憶装置104などに記憶されたファームウェア、システムソフトウェア及びアプリケーションソフトウェアなどのプログラムに基づいて、処理装置100の各種の機能を実現するべく各部を制御する。また、プロセッサー101は、当該プログラムに基づいて後述する処理を実行する。なお、当該プログラムの一部又は全部は、プロセッサー101の回路内に組み込まれていても良い。 The processor 101 is the central part of the computer that performs calculations and control processes necessary for the operation of the processing device 100, and performs various calculations and processes. The processor 101 is, for example, a CPU (central processing unit), an MPU (micro processing unit), a SoC (system on a chip), a DSP (digital signal processor), a GPU (graphics processing unit), an ASIC (application specific integrated circuit), a PLD (programmable logic device), or an FPGA (field-programmable gate array). Alternatively, the processor 101 is a combination of several of these. The processor 101 may also be a combination of these with a hardware accelerator. The processor 101 controls each part to realize various functions of the processing device 100 based on programs such as firmware, system software, and application software stored in the ROM 102 or the auxiliary storage device 104. The processor 101 also executes the processes described below based on the programs. In addition, part or all of the program may be incorporated into the circuitry of the processor 101.
 ROM102及びRAM103は、プロセッサー101を中枢としたコンピューターの主記憶装置である。
 ROM102は、専らデータの読み出しに用いられる不揮発性メモリである。ROM102は、上記のプログラムのうち、例えばファームウェアなどを記憶する。また、ROM102は、プロセッサー101が各種の処理を行う上で使用するデータなども記憶する。
 RAM103は、データの読み書きに用いられるメモリである。RAM103は、プロセッサー101が各種の処理を行う上で一時的に使用するデータを記憶するワークエリアなどとして利用される。RAM103は、典型的には揮発性メモリである。
The ROM 102 and the RAM 103 are main memory devices of the computer with the processor 101 at its core.
The ROM 102 is a non-volatile memory used exclusively for reading data. The ROM 102 stores, for example, firmware among the above programs. The ROM 102 also stores data used by the processor 101 when performing various processes.
The RAM 103 is a memory used for reading and writing data. The RAM 103 is used as a work area for storing data that is temporarily used when the processor 101 performs various processes. The RAM 103 is typically a volatile memory.
 補助記憶装置104は、プロセッサー101を中枢としたコンピューターの補助記憶装置である。補助記憶装置104は、例えばEEPROM(electric erasable programmable read-only memory)、HDD(hard disk drive)又はフラッシュメモリなどである。補助記憶装置104は、上記のプログラムのうち、例えば、システムソフトウェア及びアプリケーションソフトウェアなどを記憶する。また、補助記憶装置104は、プロセッサー101が各種の処理を行う上で使用するデータ、プロセッサー101での処理によって生成されたデータ及び各種の設定値などを記憶する。 The auxiliary storage device 104 is an auxiliary storage device of a computer with the processor 101 at its core. The auxiliary storage device 104 is, for example, an EEPROM (electrical erasable programmable read-only memory), a HDD (hard disk drive), or flash memory. The auxiliary storage device 104 stores, for example, system software and application software from among the above programs. The auxiliary storage device 104 also stores data used by the processor 101 in performing various processes, data generated by the processes in the processor 101, various setting values, etc.
 上記のアプリケーションソフトウェアは、3D画面の表示が可能なロボットの動作シミュレーションソフトウェアを含む。
 また、補助記憶装置104は、3D画面に表示するための各種3Dモデルデータを記憶する。
The above application software includes robot operation simulation software capable of displaying a 3D screen.
The auxiliary storage device 104 also stores various types of 3D model data to be displayed on a 3D screen.
 表示デバイス105は、処理装置100の操作者(以下、単に「操作者」という。)などに各種情報を通知するための画面を表示する。表示デバイス105は、例えば、液晶ディスプレイ又は有機EL(electro-luminescence)ディスプレイなどのディスプレイである。表示デバイス105は、処理装置100に内蔵されたものであっても、処理装置100の外部に接続されるものであっても良い。 The display device 105 displays a screen for notifying the operator of the processing device 100 (hereinafter simply referred to as the "operator") of various information. The display device 105 is, for example, a display such as a liquid crystal display or an organic EL (electro-luminescence) display. The display device 105 may be built into the processing device 100 or may be connected to the outside of the processing device 100.
 入力デバイス106は、操作者による操作を受け付ける。入力デバイス106は、例えば、キーボード、キーパッド、タッチパッド、マウス又はコントローラーなどである。また、入力デバイス106は、音声入力用のデバイスであっても良い。また、表示デバイス105及び入力デバイス106としては、タッチパネルを用いることもできる。この場合、タッチパネルが備える表示パネルは、表示デバイス105として機能する。そして、タッチパネルが備える、タッチ入力によるポインティングデバイスは、入力デバイス106として機能する。入力デバイス106は、処理装置100に内蔵されたものであっても、処理装置100の外部に接続されるものであっても良い。 The input device 106 accepts operations by an operator. The input device 106 is, for example, a keyboard, a keypad, a touchpad, a mouse, or a controller. The input device 106 may also be a device for voice input. A touch panel may also be used as the display device 105 and the input device 106. In this case, the display panel provided on the touch panel functions as the display device 105. And, a pointing device provided on the touch panel that accepts touch input functions as the input device 106. The input device 106 may be built into the processing device 100 or may be connected to the outside of the processing device 100.
 通信インターフェース107は、処理装置100が他の装置と通信するためのインターフェースである。通信インターフェース107は、例えば、LAN(local area network)又はインターネットなどを含むネットワークなどを介して通信する。 The communication interface 107 is an interface through which the processing device 100 communicates with other devices. The communication interface 107 communicates, for example, via a network including a LAN (local area network) or the Internet.
 バス108は、コントロールバス、アドレスバス及びデータバスなどを含み、処理装置100の各部で授受される信号を伝送する。 Bus 108 includes a control bus, an address bus, a data bus, etc., and transmits signals exchanged between each part of the processing device 100.
 以下、実施形態に係る処理装置100の動作を図2などに基づいて説明する。なお、以下の動作説明における処理の内容は一例であって、同様な結果を得ることが可能な様々な処理を適宜に利用できる。図2は、処理装置100のプロセッサー101による処理の一例を示すフローチャートである。プロセッサー101は、例えば、ROM102又は補助記憶装置104などに記憶されたロボットの動作シミュレーションソフトウェアなどのプログラムに基づいて図2の処理を実行する。 The operation of the processing device 100 according to the embodiment will be described below with reference to FIG. 2 and other figures. Note that the contents of the processing in the following operation description are merely examples, and various processes capable of obtaining similar results can be used as appropriate. FIG. 2 is a flow chart showing an example of processing by the processor 101 of the processing device 100. The processor 101 executes the processing of FIG. 2 based on a program such as robot operation simulation software stored in the ROM 102 or auxiliary storage device 104, for example.
 プロセッサー101は、例えば、入力デバイス106などに対して3D画面の表示を指示する操作入力があった場合に、図2の処理を開始する。あるいは、プロセッサー101は、外部の装置などから、3D画面の表示を指示するコマンドなどの入力があった場合に、図2の処理を開始する。 The processor 101 starts the process of FIG. 2 when, for example, an operational input instructing the display of a 3D screen is received from the input device 106 or the like. Alternatively, the processor 101 starts the process of FIG. 2 when, for example, an input such as a command instructing the display of a 3D screen is received from an external device or the like.
 ステップST11においてプロセッサー101は、表示デバイス105に3D画面の表示を開始させる。このために、プロセッサー101は、3D画面に対応した画像を生成する。そして、プロセッサー101は、生成したこの画像を表示するように表示デバイス105に対して指示する。表示の指示を受けて表示デバイス105は、3D画面を表示する。 In step ST11, the processor 101 causes the display device 105 to start displaying a 3D screen. To this end, the processor 101 generates an image corresponding to the 3D screen. The processor 101 then instructs the display device 105 to display this generated image. In response to the display instruction, the display device 105 displays the 3D screen.
 3D画面では、例えば、配置された3Dモデルの移動、当該3Dモデルを動作させること、視点の移動、及び視野の変更などの各種機能の実行などが可能である。プロセッサー101は、各種機能の実行に応じて必要に応じて3D画面の表示内容を更新する。 On the 3D screen, it is possible to execute various functions, such as moving the placed 3D model, operating the 3D model, moving the viewpoint, and changing the field of view. The processor 101 updates the display content of the 3D screen as necessary in response to the execution of various functions.
 ステップST12においてプロセッサー101は、仮想空間に3Dモデルを追加するか否かを判定する。プロセッサー101は、例えば、追加操作が行われた場合に、3Dモデルを追加すると判定する。追加操作は、3Dモデルを追加する場合に操作者が操作するための予め定められた操作入力である。追加操作は、一例として表示デバイス105に表示された追加ボタンに対する操作である。プロセッサー101は、仮想空間に3Dモデルを追加すると判定しないならば、ステップST12においてNoと判定してステップST13へと進む。 In step ST12, processor 101 determines whether or not to add a 3D model to the virtual space. Processor 101 determines to add a 3D model when, for example, an add operation is performed. The add operation is a predetermined operation input that the operator performs when adding a 3D model. One example of the add operation is an operation on an add button displayed on display device 105. If processor 101 does not determine to add a 3D model to the virtual space, it determines No in step ST12 and proceeds to step ST13.
 ステップST13においてプロセッサー101は、仮想空間に配置されたいずれかの3Dモデルの関係性の設定を変更するか否かを判定する。プロセッサー101は、例えば、設定変更操作が行われた場合に、3Dモデルの関係性の設定を変更すると判定する。設定変更操作は、3Dモデルの関係性の設定変更を処理装置100に指示する場合に操作者が操作するための予め定められた操作入力である。設定変更操作は、一例として表示デバイス105に表示された設定変更ボタンに対する操作である。関係性及び関係性の設定については後述する。プロセッサー101は、3Dモデルの関係性の設定を変更すると判定しないならば、ステップST13においてNoと判定してステップST14へと進む。 In step ST13, the processor 101 determines whether or not to change the relationship settings of any of the 3D models arranged in the virtual space. The processor 101 determines that the relationship settings of the 3D models are to be changed when, for example, a setting change operation is performed. The setting change operation is a predetermined operation input that the operator performs when instructing the processing device 100 to change the relationship settings of the 3D models. One example of the setting change operation is an operation on a setting change button displayed on the display device 105. Relationships and relationship settings will be described later. If the processor 101 does not determine that the relationship settings of the 3D models are to be changed, the processor 101 determines No in step ST13 and proceeds to step ST14.
 ステップST14においてプロセッサー101は、仮想空間に配置されたいずれかの3Dモデルを選択状態にするか否かを判定する。プロセッサー101は、例えば、選択操作が行われた場合に、3Dモデルを選択状態にすると判定する。選択操作は、3Dモデルを選択状態にするように処理装置100に指示する場合に操作者が操作するための予め定められた操作入力である。仮想空間に配置された選択中でない3Dモデルは、例えば、当該3Dモデルをクリック又はタップするなどの選択操作により選択することが可能である。プロセッサー101は、3Dモデルを選択状態にすると判定しないならば、ステップST14においてNoと判定してステップST15へと進む。 In step ST14, the processor 101 determines whether or not to place any of the 3D models placed in the virtual space in a selected state. The processor 101 determines that a 3D model is to be placed in a selected state when, for example, a selection operation is performed. The selection operation is a predetermined operation input that is performed by the operator when instructing the processing device 100 to place a 3D model in a selected state. A 3D model that is placed in the virtual space and is not being selected can be selected by, for example, a selection operation such as clicking or tapping on the 3D model. If the processor 101 does not determine that a 3D model is to be placed in a selected state, the processor 101 determines No in step ST14 and proceeds to step ST15.
 ステップST15においてプロセッサー101は、仮想空間に配置されたいずれかの3Dモデルの選択状態を解除するか否かを判定する。プロセッサー101は、例えば、解除操作が行われた場合に、3Dモデルの選択状態を解除すると判定する。解除操作は、3Dモデルの選択状態を解除するように処理装置100に指示する場合に操作者が操作するための予め定められた操作入力である。仮想空間に配置された選択中の3Dモデルは、例えば、当該3Dモデルをクリック又はタップするなどの解除操作により選択を解除することが可能である。プロセッサー101は、3Dモデルの選択状態を解除すると判定しないならば、ステップST15においてNoと判定してステップST16へと進む。 In step ST15, the processor 101 determines whether or not to cancel the selection state of any of the 3D models placed in the virtual space. The processor 101 determines that the selection state of a 3D model is to be cancelled when, for example, a cancel operation is performed. The cancel operation is a predetermined operation input that is performed by the operator when instructing the processing device 100 to cancel the selection state of a 3D model. The selection of a selected 3D model placed in the virtual space can be cancelled by, for example, a cancel operation such as clicking or tapping on the 3D model. If the processor 101 does not determine that the selection state of the 3D model is to be cancelled, the processor 101 determines No in step ST15 and proceeds to step ST16.
 ステップST16においてプロセッサー101は、表示モードを変更するか否かを判定する。プロセッサー101は、例えば、モード変更操作が行われた場合に、表示モードを変更すると判定する。モード変更操作は、表示モードの変更を処理装置100に指示する場合に操作者が操作するための予め定められた操作入力である。モード変更操作は、一例として表示デバイス105に表示されたモード変更ボタンに対する操作である。表示モードについては後述する。プロセッサー101は、表示モードを変更すると判定しないならば、ステップST16においてNoと判定してステップST17へと進む。 In step ST16, the processor 101 determines whether or not to change the display mode. The processor 101 determines to change the display mode when, for example, a mode change operation is performed. The mode change operation is a predetermined operation input that is performed by the operator when instructing the processing device 100 to change the display mode. One example of the mode change operation is an operation on a mode change button displayed on the display device 105. The display mode will be described later. If the processor 101 does not determine to change the display mode, it determines No in step ST16 and proceeds to step ST17.
 ステップST17においてプロセッサー101は、3D画面の表示を終了するか否かを判定する。プロセッサー101は、例えば、終了操作が行われた場合に、3D画面の表示を終了すると判定する。終了操作は、3D画面の表示終了を処理装置100に指示する場合に操作者が操作するための予め定められた操作入力である。終了操作は、一例として表示デバイス105に表示された終了ボタンに対する操作である。プロセッサー101は、3D画面の表示を終了すると判定しないならば、ステップST17においてNoと判定してステップST12へと戻る。かくして、プロセッサー101は、仮想空間に3Dモデルを追加するか、3Dモデルの関係性の設定を変更するか、3Dモデルを選択状態にするか、3Dモデルの選択状態を解除するか、表示モードを変更するか、3D画面の表示を終了すると判定するまでステップST12~ステップST17を繰り返す待受状態となる。 In step ST17, the processor 101 determines whether or not to end the display of the 3D screen. The processor 101 determines to end the display of the 3D screen when, for example, an end operation is performed. The end operation is a predetermined operation input that the operator operates when instructing the processing device 100 to end the display of the 3D screen. One example of the end operation is an operation on the end button displayed on the display device 105. If the processor 101 does not determine to end the display of the 3D screen, it determines No in step ST17 and returns to step ST12. Thus, the processor 101 enters a standby state in which steps ST12 to ST17 are repeated until it is determined that the processor 101 has added a 3D model to the virtual space, changed the relationship settings of the 3D model, selected the 3D model, deselected the 3D model, changed the display mode, or ended the display of the 3D screen.
 プロセッサー101は、ステップST12~ステップST17の待受状態にあるときに仮想空間に3Dモデルを追加すると判定するならば、ステップST12においてYesと判定してステップST18へと進む。 If the processor 101 determines that a 3D model is to be added to the virtual space while in the standby state of steps ST12 to ST17, it determines Yes in step ST12 and proceeds to step ST18.
 ステップST18においてプロセッサー101は、仮想空間に配置する3Dモデルを決定する処理を行う。プロセッサー101は、例えば、入力デバイス106に対する操作入力などに基づき配置する3Dモデルを決定する。 In step ST18, the processor 101 performs a process of determining a 3D model to be placed in the virtual space. The processor 101 determines the 3D model to be placed based on, for example, an operation input to the input device 106.
 ステップST19においてプロセッサー101は、ステップST18で決定した3Dモデルを仮想空間に配置する。プロセッサー101は、配置内容に応じて3D画面の表示を更新する。 In step ST19, the processor 101 places the 3D model determined in step ST18 in the virtual space. The processor 101 updates the display on the 3D screen according to the placement content.
 いくつかの3Dモデルが配置された3D画面の例として図3及び図4の2つの例を示す。図3及び図4のそれぞれは、表示デバイス105に表示される3D画面の一例を示す図である。図3に示す3D画面は、ロボットモデルM1、部品モデルM2及びロボットモデルM3を表示している。ロボットモデルM1及びロボットモデルM3は、ロボットの3Dモデルである。部品モデルM2は、部品の3Dモデルである。図4に示す3D画面は、ロボットモデルM4、及び搬送物モデルM5~搬送物モデルM7を表示している。ロボットモデルM1、ロボットモデルM3及びロボットモデルM4は、ロボットの3Dモデルである。部品モデルM2は、部品の3Dモデルである。搬送物モデルM5~搬送物モデルM7は、ロボットによって搬送される物体の3Dモデルである。なお、図4には、搬送物モデルを置く台の3Dモデルも示している。
 プロセッサー101は、ステップST19の処理の後、ステップST11へと戻る。
 なお、仮想空間に配置された3Dモデルのうちのいずれか2つは、第1の3Dモデル及び第2の3Dモデルの一例である。
Two examples of a 3D screen on which several 3D models are arranged are shown in Fig. 3 and Fig. 4. Each of Fig. 3 and Fig. 4 is a diagram showing an example of a 3D screen displayed on the display device 105. The 3D screen shown in Fig. 3 displays a robot model M1, a part model M2, and a robot model M3. The robot model M1 and the robot model M3 are 3D models of a robot. The part model M2 is a 3D model of a part. The 3D screen shown in Fig. 4 displays a robot model M4, and transported object models M5 to M7. The robot model M1, the robot model M3, and the robot model M4 are 3D models of a robot. The part model M2 is a 3D model of a part. The transported object models M5 to M7 are 3D models of an object transported by a robot. Note that Fig. 4 also shows a 3D model of a platform on which the transported object models are placed.
After processing step ST19, the processor 101 returns to step ST11.
Any two of the 3D models arranged in the virtual space are examples of a first 3D model and a second 3D model.
 プロセッサー101は、ステップST12~ステップST17の待受状態にあるときに仮想空間に配置されたいずれかの3Dモデルの関係性の設定を変更すると判定するならば、ステップST13においてYesと判定してステップST20へと進む。 If the processor 101 determines that the relationship settings of any of the 3D models arranged in the virtual space are to be changed while in the standby state of steps ST12 to ST17, it determines Yes in step ST13 and proceeds to step ST20.
 ステップST20においてプロセッサー101は、関係性を設定するための処理を行う。プロセッサー101は、例えば、入力デバイス106に対する操作入力などに基づき内容を決定する。 In step ST20, the processor 101 performs processing to set the relationship. The processor 101 determines the content based on, for example, an operation input to the input device 106.
 関係性の設定の例として(i)及び(ii)を示す。
(i)どのロボットがどのロボットコントローラーによって制御されるか。及びどの部品がどのロボットコントローラーによって制御されるか。
(ii)どの物体がどのロボットによって搬送されるか。
As examples of relationship settings, (i) and (ii) are shown.
(i) Which robots are controlled by which robot controllers and which parts are controlled by which robot controllers.
(ii) Which objects are transported by which robots?
 図3を用いて(i)の設定について説明する。第1のロボットコントローラー及び第2のロボットコントローラーを含む複数のロボットコントローラーをロボット及び部品の制御に用いることができるとする。例えば、ロボットモデルM1は第1のロボットコントローラーによって制御され、部品モデルM2は第1のロボットコントローラーによって制御され、ロボットモデルM3は第2のロボットコントローラーによって制御されるといったように設定可能である。1つのロボットコントローラーが複数の3Dモデルを制御すると設定されている場合、当該ロボットコントローラーによって制御されると設定された複数の3Dモデルは、マルチグループを形成する。上記の設定例では、ロボットモデルM1と部品モデルM2が同じ第1のロボットコントローラーによって制御されるので、ロボットモデルM1と部品モデルM2がマルチグループを形成する。 The setting of (i) will be explained using FIG. 3. Assume that multiple robot controllers, including a first robot controller and a second robot controller, can be used to control the robots and parts. For example, it is possible to set the robot model M1 to be controlled by the first robot controller, the part model M2 to be controlled by the first robot controller, and the robot model M3 to be controlled by the second robot controller. When one robot controller is set to control multiple 3D models, the multiple 3D models set to be controlled by the robot controller form a multi-group. In the above setting example, the robot model M1 and the part model M2 are controlled by the same first robot controller, so the robot model M1 and the part model M2 form a multi-group.
 図4を用いて(ii)の設定について説明する。例えば、搬送物モデルM5及び搬送物モデルM6は、ロボットモデルM4によって搬送される物体であるといったように設定可能である。また、(ii)の設定では、搬送開始位置を示す物体と搬送終了位置を示す物体の設定が可能である。例えば、搬送物モデルM5はロボットモデルM4によって搬送される物体の開始位置を示し、搬送物モデルM6はロボットモデルM4によって搬送される物体の開始位置を示す、といったように設定可能である。このように設定されている場合、搬送物は、ロボットモデルM4によって搬送物モデルM5の位置から搬送物モデルM6の位置へと搬送されることを示す。 The setting of (ii) will be explained using Figure 4. For example, it is possible to set that the transported object model M5 and the transported object model M6 are objects transported by the robot model M4. In addition, in the setting of (ii), it is possible to set an object indicating the transport start position and an object indicating the transport end position. For example, it is possible to set that the transported object model M5 indicates the start position of the object transported by the robot model M4, and the transported object model M6 indicates the start position of the object transported by the robot model M4. When set in this way, it indicates that the transported object is transported by the robot model M4 from the position of the transported object model M5 to the position of the transported object model M6.
 以上より、プロセッサー101は、ステップST21の処理を行うことで、第1の3Dモデルと第2の3Dモデルとが所定の関係性を有するか否かを設定する設定部の一例として機能する。 As described above, by performing the processing of step ST21, the processor 101 functions as an example of a setting unit that sets whether or not the first 3D model and the second 3D model have a predetermined relationship.
 ステップST21においてプロセッサー101は、ステップST20の関係性の設定内容に応じて3D画面の表示内容を更新する。ここで更新される表示内容は、例えば、関係性の変更に基づく第3表示から第2表示への変更、及び第2表示から第3表示への変更などである。第3表示及び第2表示については後述する。プロセッサー101は、ステップST21の処理の後、ステップST11へと戻る。 In step ST21, the processor 101 updates the display content of the 3D screen according to the relationship setting content in step ST20. The display content updated here is, for example, a change from the third display to the second display based on a change in the relationship, and a change from the second display to the third display. The third display and the second display will be described later. After processing in step ST21, the processor 101 returns to step ST11.
 プロセッサー101は、ステップST12~ステップST17の待受状態にあるときに仮想空間に配置されたいずれかの3Dモデルを選択状態にすると判定するならば、ステップST14においてYesと判定してステップST22へと進む。 If the processor 101 determines that any of the 3D models arranged in the virtual space should be placed in a selected state while in the standby state of steps ST12 to ST17, it determines Yes in step ST14 and proceeds to step ST22.
 ステップST22においてプロセッサー101は、操作入力などによって指定された3Dモデルを選択状態にする。プロセッサー101は、仮想空間に配置された各3Dモデルが選択状態であるか否かをRAM103又は補助記憶装置104などに記憶する。 In step ST22, the processor 101 selects the 3D model designated by an operational input or the like. The processor 101 stores in the RAM 103 or the auxiliary storage device 104, etc., whether or not each 3D model arranged in the virtual space is in a selected state.
 ステップST23においてプロセッサー101は、ステップST22における選択状態の変更に応じて、3D画面の表示内容を更新する。ここでは、プロセッサー101は、ステップST22で選択状態にした3Dモデルを、選択中であることが分かるように第3表示から第1表示に変更する。また、プロセッサー101は、ステップST22で選択状態にした3Dモデルと所定の関係性を有する3Dモデルを第3表示から第2表示に変更する。 In step ST23, processor 101 updates the display content of the 3D screen in response to the change in the selection state in step ST22. Here, processor 101 changes the 3D model selected in step ST22 from the third display to the first display so that it is clear that it is selected. Processor 101 also changes the 3D model that has a predetermined relationship with the 3D model selected in step ST22 from the third display to the second display.
 3D画面では、第1表示~第3表示の3種類の互いに外見が異なる表示方法で3Dモデルを表示可能である。プロセッサー101は、第3表示と第1表示とでは、3Dモデルの少なくとも一部の色彩の差異、不透明度の差異、テクスチャーの差異、若しくはレンダリングの差異、3Dモデルの少なくとも一部の表示の変更、所定のオーバーレイ表示の有無又は所定のマーカーの有無などの表示によって3Dモデルの外見が変わるようにする。色彩の差異は、例えば、彩度、明度、色相、ガンマ、カラーバランス、又はコントラストの差異などである。プロセッサー101は、第1表示と第2表示とでは、3Dモデルの少なくとも一部の色彩の差異、不透明度の差異、テクスチャーの差異、若しくはレンダリングの差異、3Dモデルの少なくとも一部の表示の変更、所定のオーバーレイ表示の有無又は目印となるような所定のマーカーの有無などの表示によって3Dモデルの外見が変わるようにする。プロセッサー101は、第3表示と第2表示とでは、3Dモデルの少なくとも一部の色彩の差異、不透明度の差異、テクスチャーの差異、若しくはレンダリングの差異、3Dモデルの少なくとも一部の表示の変更、所定のオーバーレイ表示の有無又は目印となるような所定のマーカーの有無などの表示によって3Dモデルの外見が変わるようにする。 On the 3D screen, the 3D model can be displayed in three different display methods, a first display, a second display, and a third display, each having a different appearance. The processor 101 changes the appearance of the 3D model between the third display and the first display by displaying a difference in color, opacity, texture, or rendering of at least a part of the 3D model, a change in the display of at least a part of the 3D model, the presence or absence of a specified overlay display, or the presence or absence of a specified marker. The difference in color is, for example, a difference in saturation, brightness, hue, gamma, color balance, or contrast. The processor 101 changes the appearance of the 3D model between the first display and the second display by displaying a difference in color, opacity, texture, or rendering of at least a part of the 3D model, a change in the display of at least a part of the 3D model, the presence or absence of a specified overlay display, or the presence or absence of a specified marker that serves as a landmark. The processor 101 changes the appearance of the 3D model between the third display and the second display by displaying, for example, a difference in color, opacity, texture, or rendering of at least a part of the 3D model, a change in the display of at least a part of the 3D model, the presence or absence of a specified overlay display, or the presence or absence of a specified marker that serves as a landmark.
 図3及び図5を用いて第1表示~第3表示について説明する。図5は、表示デバイス105に表示される3D画面の一例を示す図である。また、図5は、図3の状態から、ロボットモデルM1が選択状態に変更された後の状態を示している。 The first to third displays will be explained using Fig. 3 and Fig. 5. Fig. 5 is a diagram showing an example of a 3D screen displayed on the display device 105. Fig. 5 also shows the state after the robot model M1 has been changed from the state shown in Fig. 3 to a selected state.
 図3に示す3Dモデルはいずれも第3表示である。図5に示すロボットモデルM1は、第1表示である。なお、図5に示す第1表示は、3Dモデルの周りを実線で囲ったものである。図5に示す部品モデルM2は、第2表示である。なお、図5に示す第2表示は、3Dモデルの周りを破線で囲ったものである。図5に示すロボットモデルM3は、第3表示である。このように、ロボットモデルM1は、選択状態に変更されたので図3で第3表示であったものが図5で第1表示となっている。そして、部品モデルM2は、ロボットモデルM1と所定の関係性を有するため、図3で第3表示であったものが図5で第2表示となっている。なお、ここでの所定の関係性は、同じロボットコントローラーによって制御されると設定されていることである。 All of the 3D models shown in FIG. 3 are in the third display. The robot model M1 shown in FIG. 5 is in the first display. Note that the first display shown in FIG. 5 is a 3D model surrounded by a solid line. The part model M2 shown in FIG. 5 is in the second display. Note that the second display shown in FIG. 5 is a 3D model surrounded by a dashed line. The robot model M3 shown in FIG. 5 is in the third display. In this way, since the robot model M1 has been changed to a selected state, what was the third display in FIG. 3 becomes the first display in FIG. 5. And since the part model M2 has a predetermined relationship with the robot model M1, what was the third display in FIG. 3 becomes the second display in FIG. 5. Note that the predetermined relationship here is that they are set to be controlled by the same robot controller.
 また、別の例として図4及び図6を用いて第3表示~第2表示について説明する。図6は、表示デバイス105に表示される3D画面の一例を示す図である。また、図6は、図3の状態から、ロボットモデルM4が選択状態に変更された後の状態を示している。 As another example, the third to second displays will be described using Fig. 4 and Fig. 6. Fig. 6 is a diagram showing an example of a 3D screen displayed on the display device 105. Fig. 6 also shows the state after the robot model M4 has been changed from the state shown in Fig. 3 to a selected state.
 図4に示す3Dモデルはいずれも第3表示である。図6に示すロボットモデルM4は、第1表示である。図6に示す搬送物モデルM5及び搬送物モデルM6は、第2表示である。図6に示す搬送物モデルM7は、第3表示である。このように、ロボットモデルM4は、選択状態に変更されたので図4で第3表示であったものが図6で第1表示となっている。そして、搬送物モデルM5及び搬送物モデルM6は、ロボットモデルM4と所定の関係性を有するため、図4で第3表示であったものが図6で第2表示となっている。搬送物モデルM7は、ロボットモデルM4と所定の関係性を有しないため、第3表示となっている。なお、ここでの所定の関係性は、2つの3Dモデルが、ロボットと当該ロボットによって搬送される物体であることである。なお、搬送物モデルM5が選択状態となった場合には、ロボットモデルM4が第2表示となる。また、この場合、搬送物モデルM6も第2表示となっても良い。すなわち、この場合の所定の関係性は、同じロボットによって搬送される物体を示した3Dモデルであることである。 All the 3D models shown in FIG. 4 are in the third display. The robot model M4 shown in FIG. 6 is in the first display. The transported object model M5 and the transported object model M6 shown in FIG. 6 are in the second display. The transported object model M7 shown in FIG. 6 is in the third display. In this way, the robot model M4 has been changed to the selected state, so what was in the third display in FIG. 4 is in the first display in FIG. 6. And, since the transported object model M5 and the transported object model M6 have a predetermined relationship with the robot model M4, what was in the third display in FIG. 4 is in the second display in FIG. 6. The transported object model M7 does not have a predetermined relationship with the robot model M4, so it is in the third display. The predetermined relationship here is that the two 3D models are a robot and an object transported by the robot. When the transported object model M5 is in the selected state, the robot model M4 is in the second display. In this case, the transported object model M6 may also be in the second display. That is, the predetermined relationship in this case is that they are 3D models showing objects transported by the same robot.
 なお、3D画面は、第1表示~第3表示のいずれとも異なる表示方法が可能であっても良い。また、第3表示は、外見の異なる複数の表示方法を含んでも良い。また、第1表示は、外見の異なる複数の表示方法を含んでも良い。また、第2表示は、外見の異なる複数の表示方法を含んでも良い。例えば、選択状態の3Dモデルと同じロボットコントローラーによって制御されると設定されているという所定の関係性を有する3Dモデルの第2表示と、選択状態のロボットによって搬送される物体であるという所定の関係性を有する3Dモデルの第2表示とでは、第3表示及び第1表示と外見を異ならせるための表示方法が異なっていても良い。 The 3D screen may be capable of a display method different from any of the first to third displays. The third display may include multiple display methods with different appearances. The first display may include multiple display methods with different appearances. The second display may include multiple display methods with different appearances. For example, the display method for making the appearance of the second display of a 3D model having a predetermined relationship of being set to be controlled by the same robot controller as the 3D model in the selected state and the second display of a 3D model having a predetermined relationship of being an object transported by the robot in the selected state may be different from that of the third display and the first display.
 また、複数の3Dモデルが選択状態になることができても良いし、選択状態になることができる3Dモデルは1つまでであっても良い。
 プロセッサー101は、ステップST23の処理の後、ステップST11へと戻る。
Furthermore, a plurality of 3D models may be in a selected state, or only one 3D model may be in a selected state.
After processing step ST23, the processor 101 returns to step ST11.
 なお、第3表示は、第1の表示状態の一例である。第1表示は、第2の表示状態の一例である。第2表示は、第3の表示状態の一例である。 Note that the third display is an example of the first display state. The first display is an example of the second display state. The second display is an example of the third display state.
 以上より、プロセッサー110は、ステップST23などの処理を行うことで、第1の3Dモデルが選択中であり、第2の3Dモデル及び第3の3Dモデルが選択中でない場合、第1の3Dモデルの外見を第1の表示状態にし、第1の3Dモデルと所定の関係性を有する第2の3Dモデルの外見を第1の表示状態とは異なる第2の表示状態にし、第1の3Dモデルと所定の関係性を有しない第3の3Dモデルの外見を第1の表示状態及び第2の表示状態とは異なる第3の表示状態にする表示制御部の一例として機能する。なお、図5においてロボットモデルM1は、第1の3Dモデルの一例である。部品モデルM2は、第2の3Dモデルの一例である。ロボットモデルM3は、第3の3Dモデルの一例である。 As described above, by performing processing such as step ST23, the processor 110 functions as an example of a display control unit that, when the first 3D model is selected and the second 3D model and the third 3D model are not selected, sets the appearance of the first 3D model to a first display state, sets the appearance of the second 3D model that has a predetermined relationship with the first 3D model to a second display state different from the first display state, and sets the appearance of the third 3D model that does not have a predetermined relationship with the first 3D model to a third display state different from the first display state and the second display state. Note that in FIG. 5, the robot model M1 is an example of a first 3D model. The part model M2 is an example of a second 3D model. The robot model M3 is an example of a third 3D model.
 プロセッサー101は、ステップST12~ステップST17の待受状態にあるときに仮想空間に配置されたいずれかの3Dモデルの選択状態を解除すると判定するならば、ステップST15においてYesと判定してステップST24へと進む。 If processor 101 determines that the selection state of any of the 3D models arranged in the virtual space should be cancelled while in the standby state of steps ST12 to ST17, it determines Yes in step ST15 and proceeds to step ST24.
 ステップST24においてプロセッサー101は、操作入力などによって指定された3Dモデルを選択状態から、選択状態でない状態に変更する。プロセッサー101は、仮想空間に配置された各3Dモデルが選択状態であるか否かをRAM103又は補助記憶装置104などに記憶する。 In step ST24, the processor 101 changes the 3D model specified by an operational input or the like from a selected state to a non-selected state. The processor 101 stores in the RAM 103 or the auxiliary storage device 104, etc., whether or not each 3D model arranged in the virtual space is in a selected state.
 ステップST25においてプロセッサー101は、ステップST24における選択状態の変更に応じて、3D画面の表示内容を更新する。例えば、図5に示す3D画面において、ロボットモデルM1が選択状態でなくなった場合、プロセッサー101は、3D画面を図5の状態から図3の状態へと表示内容を更新する。プロセッサー101は、ステップST25の処理の後、ステップST11へと戻る。 In step ST25, the processor 101 updates the display content of the 3D screen in response to the change in the selection state in step ST24. For example, when the robot model M1 is no longer in a selected state in the 3D screen shown in FIG. 5, the processor 101 updates the display content of the 3D screen from the state in FIG. 5 to the state in FIG. 3. After processing step ST25, the processor 101 returns to step ST11.
 プロセッサー101は、ステップST12~ステップST17の待受状態にあるときに表示モードを変更すると判定するならば、ステップST16においてYesと判定してステップST26へと進む。 If the processor 101 determines that the display mode should be changed while in the standby state of steps ST12 to ST17, it determines Yes in step ST16 and proceeds to step ST26.
 ステップST26においてプロセッサー101は、表示モードを、操作入力などによって指定された表示モードに変更する。プロセッサー101は、表示モードの変更に応じて3D画面の表示内容を更新する。プロセッサー101は、3D画面を、複数種類の表示モードで表示可能である。表示モードは、第1表示モード及び第2表示モードの少なくとも2種類がある。 In step ST26, the processor 101 changes the display mode to a display mode specified by an operational input or the like. The processor 101 updates the display content of the 3D screen in response to the change in the display mode. The processor 101 can display the 3D screen in a plurality of types of display modes. There are at least two types of display modes: a first display mode and a second display mode.
 図5及び図7を用いて第1表示モード及び第2表示モードについて説明する。図7は、表示デバイス105に表示される3D画面の一例を示す図である。また、図5は、第1表示モードの3D画面を示す。図7は、第2表示モードの3D画面を示す。第1表示モードでは、前述したように、選択状態の3Dモデルが第1表示、選択状態の3Dモデルと所定の関係性を有する3Dモデルが第2表示、それ以外の3Dモデルが第3表示となる。これに対し、第2表示モードでは、選択状態の3Dモデルが第1表示、それ以外の3Dモデルが第3表示となる。すなわち、第2表示モードでは、選択状態の3Dモデルと所定の関係性を有する3Dモデルであっても、第2表示とならずに第3表示となる。したがって、図5では、部品モデルM2は、第2表示であるが、図7では、部品モデルは、第3表示である。
 プロセッサー101は、ステップST26の処理の後、ステップST11へと戻る。
The first display mode and the second display mode will be described with reference to Figs. 5 and 7. Fig. 7 is a diagram showing an example of a 3D screen displayed on the display device 105. Fig. 5 shows a 3D screen in the first display mode. Fig. 7 shows a 3D screen in the second display mode. In the first display mode, as described above, the 3D model in the selected state is displayed as the first display, the 3D model having a predetermined relationship with the 3D model in the selected state is displayed as the second display, and the other 3D models are displayed as the third display. In contrast, in the second display mode, the 3D model in the selected state is displayed as the first display, and the other 3D models are displayed as the third display. That is, in the second display mode, even if a 3D model has a predetermined relationship with the 3D model in the selected state, it is not displayed as the second display but as the third display. Therefore, in Fig. 5, the part model M2 is displayed as the second display, but in Fig. 7, the part model is displayed as the third display.
After processing step ST26, the processor 101 returns to step ST11.
 以上より、プロセッサー101は、第1表示モードの3D画面を表示するように表示デバイス105を制御することで、選択中の第1の3Dモデルの外見を第1の表示状態にし、第1の3Dモデルが選択中であり、第2の3Dモデルが第1の3Dモデルと所定の関係性を有すると設定されている場合、選択中でない第2の3Dモデルの外見を第1の表示状態とは異なる第2の表示状態にし、第2の3Dモデルが第1の3Dモデルと所定の関係性を有しないと設定されている場合、選択中でない前記第1の3Dモデル及び選択中でない第2の3Dモデルの外見を第1の表示状態及び第2の表示状態とは異なる第3の表示状態にする表示制御部の一例として機能する。
 また、プロセッサー101は、第2表示モードの3D画面を表示するように表示デバイス105を制御することで、選択中の第1の3Dモデルの外見を第1の表示状態にし、選択中でない第2の3Dモデルの外見を第3の表示状態にし、選択中でない第1の3Dモデルの外見を第3の表示状態にする表示制御部の一例として機能する。
 また、プロセッサー101は、第2表示モードの3D画面を表示するように表示デバイス105を制御することで、第1の3Dモデルが選択中であり、第2の3Dモデル及び第3の3Dモデルが選択中でない場合、第1の3Dモデルの外見を第1の表示状態にし、第2の3Dモデル及び第3の3Dモデルの外見を第3の表示状態にする表示制御部の一例として機能する。
As described above, the processor 101 functions as an example of a display control unit that controls the display device 105 to display a 3D screen in a first display mode, thereby putting the appearance of a selected first 3D model into a first display state, and, when a first 3D model is selected and a second 3D model is set to have a predetermined relationship with the first 3D model, putting the appearance of a non-selected second 3D model into a second display state different from the first display state, and, when a second 3D model is set not to have a predetermined relationship with the first 3D model, putting the appearances of the non-selected first 3D model and the non-selected second 3D model into a third display state different from the first display state and the second display state.
In addition, the processor 101 functions as an example of a display control unit that sets the appearance of a selected first 3D model to a first display state, sets the appearance of a non-selected second 3D model to a third display state, and sets the appearance of a non-selected first 3D model to the third display state by controlling the display device 105 to display a 3D screen in the second display mode.
In addition, the processor 101 controls the display device 105 to display a 3D screen in the second display mode, and thereby functions as an example of a display control unit that, when the first 3D model is selected and the second 3D model and the third 3D model are not selected, sets the appearance of the first 3D model to the first display state and sets the appearances of the second 3D model and the third 3D model to the third display state.
 プロセッサー101は、ステップST12~ステップST17の待受状態にあるときに3D画面の表示を終了すると判定するならば、ステップST17においてYesと判定してステップST27へと進む。 If the processor 101 determines that the display of the 3D screen should be ended while in the standby state of steps ST12 to ST17, it determines Yes in step ST17 and proceeds to step ST27.
 ステップST27においてプロセッサー101は、表示デバイス105を制御して、3D画面の表示を終了させる。プロセッサー101は、ステップST27の処理の後、図2に示す処理を終了する。 In step ST27, the processor 101 controls the display device 105 to end the display of the 3D screen. After processing in step ST27, the processor 101 ends the processing shown in FIG. 2.
 実施形態の処理装置100は、選択中の3Dモデルを、選択中でない3Dモデルとは外見が異なるように表示する。また、実施形態の処理装置100は、選択中の3Dモデルと所定の関係性を有する3Dモデルを、選択中の3Dモデルとは外見が異なるように表示する。また、実施形態の処理装置100は、選択中でなく、選択中の3Dモデルと所定の関係性を有しない3Dモデルを、選択中の3Dモデル及び選択中の3Dモデルと所定の関係性を有する3Dモデルとは外見が異なるように表示する。これにより、操作者などは、実施形態の処理装置100による表示を見るだけでどの3Dモデルが選択中の3Dモデルと所定の関係性を有する3Dモデルであるかが分かる。したがって、実施形態の処理装置100は、選択中の3Dモデルと所定の関係性がある3Dモデルが従来よりも分かりやすい。 The processing device 100 of the embodiment displays a selected 3D model so that its appearance differs from that of a non-selected 3D model. The processing device 100 of the embodiment also displays a 3D model that has a predetermined relationship with the selected 3D model so that its appearance differs from that of the selected 3D model. The processing device 100 of the embodiment also displays a 3D model that is not selected and does not have a predetermined relationship with the selected 3D model so that its appearance differs from that of the selected 3D model and a 3D model that has a predetermined relationship with the selected 3D model. This allows an operator or the like to know which 3D model has a predetermined relationship with the selected 3D model just by looking at the display by the processing device 100 of the embodiment. Therefore, the processing device 100 of the embodiment makes it easier to know which 3D models have a predetermined relationship with the selected 3D model than before.
 また、実施形態の処理装置100は、第1表示モード及び第2表示モードに2種類の表示モードで表示可能である。第2表示モードでは、選択中の3Dモデルと所定の関係性がある3Dモデルも選択中の3Dモデルと所定の関係性を有しない3Dモデルと同じように表示される。したがって、操作者などは、どの3Dモデルが選択中の3Dモデルと所定の関係性を有する3Dモデルであるかを知る必要がない場合などにおいて表示モードを第2表示モードにすることができる。 The processing device 100 of the embodiment is capable of displaying in two display modes, a first display mode and a second display mode. In the second display mode, 3D models that have a specific relationship with the selected 3D model are displayed in the same way as 3D models that do not have a specific relationship with the selected 3D model. Therefore, the operator can set the display mode to the second display mode in cases where there is no need to know which 3D models have a specific relationship with the selected 3D model.
 また、実施形態の処理装置100は、所定の関係性として、選択中の3Dモデルと同じコントローラーによって制御されるという関係性を用いる。これにより、実施形態の処理装置100は、選択中の3Dモデルと同じコントローラーによって制御される3Dモデルが分かりやすい。 Furthermore, the processing device 100 of the embodiment uses a relationship that the 3D model is controlled by the same controller as the selected 3D model as the predetermined relationship. This makes it easy for the processing device 100 of the embodiment to identify 3D models that are controlled by the same controller as the selected 3D model.
 また、実施形態の処理装置100は、所定の関係性として、3Dモデルと、当該3Dモデルによって搬送される3Dモデルであるという関係性を用いる。これにより、実施形態の処理装置100は、選択中の3Dモデルによって搬送される物体を示す3Dモデルが分かりやすい。 In addition, the processing device 100 of the embodiment uses a relationship between a 3D model and a 3D model that is transported by the 3D model as the predetermined relationship. This makes it easy for the processing device 100 of the embodiment to understand the 3D model that shows the object that is transported by the selected 3D model.
 上記の実施形態は、以下のような変形も可能である。
 所定の関係性を有するモデルMaとモデルMbの2つの3Dモデルを例に考える。上記の実施形態では、モデルMaが選択状態でありモデルMbが選択状態でない場合、モデルMaは第1表示となり、モデルMbは第2表示となる。そして、モデルMaとモデルMbの選択状態を入れ替えた場合、すなわちモデルMaが選択状態でなくモデルMbが選択状態である場合、モデルMaは第2表示となり、モデルMbは第1表示となる。このように、上記の実施形態では、モデルMaとモデルMbは、選択状態及び表示状態について対称性を有する。しかしながら、モデルMaとモデルMbは、選択状態及び表示状態について対称性を有していなくても良い。モデルMaとモデルMbが当該対称性を有しない場合、モデルMaが選択状態でありモデルMbが選択状態でない場合、モデルMaは第1表示となり、モデルMbは第2表示となる。そして、モデルMaとモデルMbの選択状態を入れ替えた場合、すなわちモデルMaが選択状態でなくモデルMbが選択状態である場合、モデルMaは第3表示となり、モデルMbは第1表示となる。あるいは、モデルMaが選択状態でありモデルMbが選択状態でない場合、モデルMaは第1表示となり、モデルMbは第3表示となる。そして、モデルMaとモデルMbの選択状態を入れ替えた場合、すなわちモデルMaが選択状態でなくモデルMbが選択状態である場合、モデルMaは第2表示となり、モデルMbは第1表示となる。
The above embodiment can be modified as follows.
Consider two 3D models, model Ma and model Mb, having a predetermined relationship as an example. In the above embodiment, when model Ma is in a selected state and model Mb is not in a selected state, model Ma becomes the first display and model Mb becomes the second display. Then, when the selection states of model Ma and model Mb are swapped, that is, when model Ma is not in a selected state and model Mb is in a selected state, model Ma becomes the second display and model Mb becomes the first display. Thus, in the above embodiment, model Ma and model Mb have symmetry in the selection state and the display state. However, model Ma and model Mb do not have to have symmetry in the selection state and the display state. When model Ma and model Mb do not have the symmetry, when model Ma is in a selected state and model Mb is not in a selected state, model Ma becomes the first display and model Mb becomes the second display. Then, when the selection states of models Ma and Mb are swapped, i.e., when model Ma is not selected and model Mb is selected, model Ma becomes the third display and model Mb becomes the first display. Alternatively, when model Ma is selected and model Mb is not selected, model Ma becomes the first display and model Mb becomes the third display. Then, when the selection states of models Ma and Mb are swapped, i.e., when model Ma is not selected and model Mb is selected, model Ma becomes the second display and model Mb becomes the first display.
 上記の実施形態では、ロボットの動作シミュレーションソフトウェアが3D画面を表示する。しかしながら、他のソフトウェアが3D画面を表示しても良い。当該他のソフトウェアは、例えば、3DCADソフトウェア、3DCG製作ソフトウェア又は3D映像製作ソフトウェアなどの各種3DCGソフトウェアである。 In the above embodiment, the robot operation simulation software displays the 3D screen. However, other software may display the 3D screen. The other software may be, for example, various 3DCG software such as 3D CAD software, 3DCG production software, or 3D video production software.
 上記の実施形態では、仮想空間に配置される3Dモデルとして、ロボット、部品及び搬送物を例に説明した。しかしながら、仮想空間に配置される3Dモデルは、これらに限らず、人物、動物、機械又は静物などの様々な物体の3Dモデルであっても良い。 In the above embodiment, robots, parts, and transported goods are described as examples of 3D models to be placed in the virtual space. However, the 3D models to be placed in the virtual space are not limited to these, and may be 3D models of various objects such as people, animals, machines, or still lifes.
 上記の実施形態では、3Dモデルを制御するコントローラーとしてロボットコントローラーを例に説明した。しかしながら、3Dモデルを制御するコントローラーは、ロボットコントローラー以外のコントローラーであっても良い。 In the above embodiment, a robot controller has been described as an example of a controller that controls a 3D model. However, the controller that controls a 3D model may be a controller other than a robot controller.
 プロセッサー101は、上記実施形態においてプログラムによって実現する処理の一部又は全部を、回路のハードウェア構成によって実現するものであっても良い。 The processor 101 may implement some or all of the processing implemented by the program in the above embodiment through a hardware circuit configuration.
 実施形態の処理を実現するプログラムは、例えば装置内の非一時的な記憶媒体に記憶された状態で譲渡される。しかしながら、当該装置は、当該プログラムが記憶されない状態で譲渡されても良い。そして、当該プログラムが別途に譲渡され、当該装置へと書き込まれても良い。このときのプログラムの譲渡は、例えば、リムーバブルで非一時的な記憶媒体に記録して、あるいはインターネット又はLANなどのネットワークを介したダウンロードによって実現できる。 The program that realizes the processing of the embodiment is transferred, for example, in a state stored in a non-transitory storage medium within the device. However, the device may be transferred in a state in which the program is not stored therein. The program may then be transferred separately and written to the device. In this case, the program may be transferred, for example, by recording it on a removable, non-transitory storage medium, or by downloading it via a network such as the Internet or a LAN.
 以上、本発明の実施形態を説明したが、例として示したものであり、本発明の範囲を限定するものではない。本発明の実施形態は、本発明の要旨を逸脱しない範囲において種々の態様で実施可能である。 The above describes an embodiment of the present invention, but it is merely an example and does not limit the scope of the present invention. The embodiment of the present invention can be implemented in various forms without departing from the gist of the present invention.
100 処理装置
 101 プロセッサー
 102 ROM
 103 RAM
 104 補助記憶装置
 105 表示デバイス
 106 入力デバイス
 107 通信インターフェース
 108 バス
 M1,M3,M4 ロボットモデル
 M2 部品モデル
 M5,M6,M7 搬送物モデル
100 Processing device 101 Processor 102 ROM
103 RAM
104 Auxiliary storage device 105 Display device 106 Input device 107 Communication interface 108 Bus M1, M3, M4 Robot model M2 Part model M5, M6, M7 Transported object model

Claims (8)

  1.  第1の3Dモデルと第2の3Dモデルとが所定の関係性を有するか否かを設定する設定部と、
     選択中の前記第1の3Dモデルの外見を第1の表示状態にし、前記第1の3Dモデルが選択中であり、前記第2の3Dモデルが前記第1の3Dモデルと前記所定の関係性を有すると設定されている場合、選択中でない前記第2の3Dモデルの外見を前記第1の表示状態とは異なる第2の表示状態にし、前記第2の3Dモデルが前記第1の3Dモデルと前記所定の関係性を有しないと設定されている場合、選択中でない前記第1の3Dモデル及び選択中でない前記第2の3Dモデルの外見を前記第1の表示状態及び前記第2の表示状態とは異なる第3の表示状態にする表示制御部と、を備える表示制御装置。
    a setting unit that sets whether or not the first 3D model and the second 3D model have a predetermined relationship;
    a display control unit that sets an appearance of the first 3D model being selected to a first display state, and, when the first 3D model is selected and the second 3D model is set to have the specified relationship with the first 3D model, sets an appearance of the second 3D model being unselected to a second display state different from the first display state, and, when the second 3D model is set not to have the specified relationship with the first 3D model, sets an appearance of the first 3D model being unselected and the second 3D model being unselected to a third display state different from the first display state and the second display state.
  2.  第1の3Dモデルが選択中であり、第2の3Dモデル及び第3の3Dモデルが選択中でない場合、前記第1の3Dモデルの外見を第1の表示状態にし、前記第1の3Dモデルと所定の関係性を有する前記第2の3Dモデルの外見を前記第1の表示状態とは異なる第2の表示状態にし、前記第1の3Dモデルと前記所定の関係性を有しない前記第3の3Dモデルの外見を前記第1の表示状態及び前記第2の表示状態とは異なる第3の表示状態にする表示制御部を備える表示制御装置。 A display control device including a display control unit that, when a first 3D model is selected and a second 3D model and a third 3D model are not selected, sets the appearance of the first 3D model to a first display state, sets the appearance of the second 3D model having a predetermined relationship with the first 3D model to a second display state different from the first display state, and sets the appearance of the third 3D model not having the predetermined relationship with the first 3D model to a third display state different from the first display state and the second display state.
  3.  前記表示制御部は、
      第1表示モード及び第2表示モードを含む少なくとも2種類の表示モードのいずれかに設定することが可能であり、
      前記第1表示モードである間は、選択中の前記第1の3Dモデルの外見を前記第1の表示状態にし、前記第1の3Dモデルが選択中であり、前記第2の3Dモデルが前記第1の3Dモデルと前記所定の関係性を有すると設定されている場合、選択中でない前記第2の3Dモデルの外見を前記第2の表示状態にし、前記第2の3Dモデルが前記第1の3Dモデルと前記所定の関係性を有しないと設定されている場合、選択中でない前記第2の3Dモデルの外見を前記第3の表示状態にし、前記第1の3Dモデルが選択中でない場合、選択中でない前記第2の3Dモデルの外見を前記第3の表示状態にし、選択中でない前記第1の3Dモデルの外見を前記第3の表示状態にし、
      前記第2表示モードである間は、選択中の前記第1の3Dモデルの外見を前記第1の表示状態にし、選択中でない前記第2の3Dモデルの外見を前記第3の表示状態にし、選択中でない前記第1の3Dモデルの外見を前記第3の表示状態にする、請求項1に記載の表示制御装置。
    The display control unit is
    The display mode can be set to one of at least two display modes including a first display mode and a second display mode,
    while in the first display mode, the appearance of the first 3D model being selected is set to the first display state; when the first 3D model is selected and the second 3D model is set to have the predetermined relationship with the first 3D model, the appearance of the second 3D model being not selected is set to the second display state; when the second 3D model is set to not have the predetermined relationship with the first 3D model, the appearance of the second 3D model being not selected is set to the third display state; when the first 3D model is not selected, the appearance of the second 3D model being not selected is set to the third display state, and the appearance of the first 3D model being not selected is set to the third display state;
    2. The display control device according to claim 1, wherein, during the second display mode, an appearance of the first 3D model that is being selected is set to the first display state, an appearance of the second 3D model that is not being selected is set to the third display state, and an appearance of the first 3D model that is not being selected is set to the third display state.
  4.  前記表示制御部は、
      第1表示モード及び第2表示モードを含む少なくとも2種類の表示モードのいずれかに設定することが可能であり、
      前記第1表示モードである間は、前記第1の3Dモデルが選択中であり、前記第2の3Dモデル及び前記第3の3Dモデルが選択中でない場合、前記第1の3Dモデルの外見を前記第1の表示状態にし、前記第2の3Dモデルの外見を前記第2の表示状態にし、前記第3の3Dモデルの外見を前記第3の表示状態にし、
      前記第2表示モードである間は、前記第1の3Dモデルが選択中であり、前記第2の3Dモデル及び前記第3の3Dモデルが選択中でない場合、前記第1の3Dモデルの外見を前記第1の表示状態にし、前記第2の3Dモデル及び前記第3の3Dモデルの外見を前記第3の表示状態にする、請求項2に記載の表示制御装置。
    The display control unit is
    The display mode can be set to one of at least two display modes including a first display mode and a second display mode,
    while in the first display mode, when the first 3D model is selected and the second 3D model and the third 3D model are not selected, an appearance of the first 3D model is set to the first display state, an appearance of the second 3D model is set to the second display state, and an appearance of the third 3D model is set to the third display state;
    3. The display control device according to claim 2, wherein, during the second display mode, when the first 3D model is selected and the second 3D model and the third 3D model are not selected, an appearance of the first 3D model is set to the first display state and an appearance of the second 3D model and the third 3D model are set to the third display state.
  5.  前記第1の3Dモデルと前記第2の3Dモデルの前記所定の関係性は、前記第1の3Dモデル及び前記第2の3Dモデルが同じコントローラーによって制御されることである、請求項1又は請求項2に記載の表示制御装置。 The display control device according to claim 1 or 2, wherein the predetermined relationship between the first 3D model and the second 3D model is that the first 3D model and the second 3D model are controlled by the same controller.
  6.  前記第1の3Dモデルと前記第2の3Dモデルの前記所定の関係性は、前記第2の3Dモデルが前記第1の3Dモデルによって搬送される物体を示す3Dモデルであることである、請求項1又は請求項2に記載の表示制御装置。 The display control device according to claim 1 or 2, wherein the predetermined relationship between the first 3D model and the second 3D model is that the second 3D model is a 3D model that represents an object carried by the first 3D model.
  7.  表示制御装置が備えるプロセッサーを、
     第1の3Dモデルと第2の3Dモデルとが所定の関係性を有するか否かを設定する設定部と、
     選択中の前記第1の3Dモデルの外見を第1の表示状態にし、前記第1の3Dモデルが選択中であり、前記第2の3Dモデルが前記第1の3Dモデルと前記所定の関係性を有すると設定されている場合、選択中でない前記第2の3Dモデルの外見を前記第1の表示状態とは異なる第2の表示状態にし、前記第2の3Dモデルが前記第1の3Dモデルと前記所定の関係性を有しないと設定されている場合、選択中でない前記第2の3Dモデルの外見を前記第1の表示状態及び前記第2の表示状態とは異なる第3の表示状態にし、前記第1の3Dモデルが選択中でない場合、選択中でない前記第2の3Dモデルの外見を前記第3の表示状態にし、選択中でない前記第1の3Dモデルの外見を前記第3の表示状態にする表示制御部と、して機能させるプログラム。
    A processor included in the display control device,
    a setting unit that sets whether or not the first 3D model and the second 3D model have a predetermined relationship;
    a display control unit that sets an appearance of the first 3D model being selected to a first display state, when the first 3D model is selected and the second 3D model is set to have the specified relationship with the first 3D model, sets an appearance of the second 3D model not being selected to a second display state different from the first display state, when the second 3D model is set not to have the specified relationship with the first 3D model, sets the appearance of the second 3D model not being selected to a third display state different from the first display state and the second display state, when the first 3D model is not selected, sets the appearance of the second 3D model not being selected to the third display state, and sets the appearance of the first 3D model not being selected to the third display state.
  8.  表示制御装置が備えるプロセッサーを、
     第1の3Dモデルが選択中であり、第2の3Dモデル及び第3の3Dモデルが選択中でない場合、前記第1の3Dモデルの外見を第1の表示状態にし、前記第1の3Dモデルと所定の関係性を有する前記第2の3Dモデルの外見を前記第1の表示状態とは異なる第2の表示状態にし、前記第1の3Dモデルと前記所定の関係性を有しない前記第3の3Dモデルの外見を前記第1の表示状態及び前記第2の表示状態とは異なる第3の表示状態にする表示制御部として機能させるプログラム。
    A processor included in the display control device,
    and a display control unit that, when a first 3D model is selected and a second 3D model and a third 3D model are not selected, sets an appearance of the first 3D model to a first display state, sets an appearance of the second 3D model having a predetermined relationship with the first 3D model to a second display state different from the first display state, and sets an appearance of the third 3D model not having the predetermined relationship with the first 3D model to a third display state different from the first display state and the second display state.
PCT/JP2022/036704 2022-09-30 2022-09-30 Display control device and program WO2024069929A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2022/036704 WO2024069929A1 (en) 2022-09-30 2022-09-30 Display control device and program
TW112135262A TW202415513A (en) 2022-09-30 2023-09-15 Display control device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/036704 WO2024069929A1 (en) 2022-09-30 2022-09-30 Display control device and program

Publications (1)

Publication Number Publication Date
WO2024069929A1 true WO2024069929A1 (en) 2024-04-04

Family

ID=90476669

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/036704 WO2024069929A1 (en) 2022-09-30 2022-09-30 Display control device and program

Country Status (2)

Country Link
TW (1) TW202415513A (en)
WO (1) WO2024069929A1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018039060A (en) * 2016-09-05 2018-03-15 ファナック株式会社 Robot simulation device
JP2020013548A (en) * 2018-07-06 2020-01-23 キヤノン株式会社 Image processing apparatus, image processing method, system, article manufacturing method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018039060A (en) * 2016-09-05 2018-03-15 ファナック株式会社 Robot simulation device
JP2020013548A (en) * 2018-07-06 2020-01-23 キヤノン株式会社 Image processing apparatus, image processing method, system, article manufacturing method

Also Published As

Publication number Publication date
TW202415513A (en) 2024-04-16

Similar Documents

Publication Publication Date Title
JP4274377B2 (en) 3D graphics data display device
JP5875555B2 (en) Image creation system
JP3862336B2 (en) Image editing method and apparatus
JP5303116B2 (en) Screen editing device and its program
US20160171132A1 (en) Simulation device and simulation program
WO2024069929A1 (en) Display control device and program
US10838395B2 (en) Information processing device
JP2007065914A (en) Screen generation device and program, and recording medium recording program
JP4322780B2 (en) Screen creation device, screen creation program and recording medium
TWI582555B (en) A programmable controller system, a programmable display, a support device, a program
JP4970404B2 (en) Editor device and program
JP2006099566A (en) Screen forming device, screen forming program and storage medium recording the same
JP4851390B2 (en) Editor device and editor program
JP2006301729A (en) Picture preparation method and picture preparation device
JP5883953B2 (en) Programmable controller system, its programmable display, drawing editor device, program
WO2019039197A1 (en) User interface development assistance device, user interface development assistance method, and user interface development assistance program
JPH05120392A (en) Device and method for actuation simulation
JP7428303B1 (en) Characteristic prediction device, characteristic prediction method and program
JP2011175401A (en) Device and program for emulation of computer
JP3200115B2 (en) Operation simulation apparatus and method
US20210089277A1 (en) Gui controller design support device, system for remote control and program
EP3798821A1 (en) Gui controller design assistance device, remote control system, and program
JP3200111B2 (en) Operation simulation apparatus and method
JP3200112B2 (en) Operation simulation apparatus and method
JP3200110B2 (en) Operation simulation apparatus and method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22960988

Country of ref document: EP

Kind code of ref document: A1