WO2022145014A1 - 表示装置、制御システムおよび作画方法 - Google Patents

表示装置、制御システムおよび作画方法 Download PDF

Info

Publication number
WO2022145014A1
WO2022145014A1 PCT/JP2020/049246 JP2020049246W WO2022145014A1 WO 2022145014 A1 WO2022145014 A1 WO 2022145014A1 JP 2020049246 W JP2020049246 W JP 2020049246W WO 2022145014 A1 WO2022145014 A1 WO 2022145014A1
Authority
WO
WIPO (PCT)
Prior art keywords
display device
image
abnormality
unit
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/049246
Other languages
English (en)
French (fr)
Inventor
晶仁 山本
直希 森山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to PCT/JP2020/049246 priority Critical patent/WO2022145014A1/ja
Priority to JP2021527967A priority patent/JP6991396B1/ja
Priority to CN202080102240.6A priority patent/CN115803785B/zh
Publication of WO2022145014A1 publication Critical patent/WO2022145014A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics

Definitions

  • the present disclosure relates to a display device, a control system, and a drawing method that can be connected to a control device that controls a controlled device.
  • a worker performing restoration work identifies the location where the abnormality has occurred based on the information displayed on the display device.
  • the display device is connected to a control device that controls the device.
  • the display device and the control device constitute a control system that controls the controlled device, which is the device.
  • Patent Document 1 discloses that the display means included in the sequence controller system displays a portion where an abnormality has occurred in the sequence controller system in a three-dimensional figure representing the sequence controller system. Further, according to the technique of Patent Document 1, the displayed three-dimensional figure rotates according to the operation of the terminal. The operator can search for the place where the abnormality has occurred by rotating the displayed three-dimensional figure.
  • Patent Document 1 it is necessary to rotate a three-dimensional figure by an operation by an operator in order to search for a place where an abnormality has occurred. Since the location where the abnormality has occurred is searched while changing the direction in which the three-dimensional figure is rotated, it takes more time for the worker who has less experience in the restoration work to search for the location where the abnormality has occurred. As described above, according to the conventional technique, there is a problem that it may take time to identify the place where the abnormality has occurred.
  • the present disclosure has been made in view of the above, and is a display device capable of notifying the occurrence of an abnormality in the controlled device so that the operator can easily identify the location where the abnormality has occurred in the controlled device.
  • the purpose is to get.
  • the display device is a communication unit capable of communicating with the control device that controls the controlled device, and the controlled device is rotated and displayed on the screen.
  • An image generation unit that generates a 3D image of the above, a superimposed object generation unit that generates an object that is an object indicating the presence or absence of an abnormality in the controlled device portion and is superimposed on the position of the portion of the 3D image, and a screen. It is provided with a rotation information acquisition unit for acquiring rotation information indicating the mode of rotation of the controlled device displayed on the above, and an image display unit for displaying a three-dimensional image on which an object is superimposed. The image generation unit rotates and displays the three-dimensional image based on the rotation information.
  • the display device has an effect that it is possible to notify the occurrence of an abnormality in the controlled device so that the operator can easily identify the place where the abnormality has occurred in the controlled device.
  • FIG. 3 The figure which shows the example which superposed the 2D object of the transparent display on the 3D image by the display device which concerns on Embodiment 3.
  • a flowchart showing a processing procedure when a two-dimensional object is generated by the display device according to the third embodiment.
  • a flowchart showing a processing procedure when the display device according to the fourth embodiment displays the rotation of the controlled device in the window of the alarm screen.
  • FIG. 1 is a diagram showing a functional configuration of the display device 1 according to the first embodiment.
  • FIG. 2 is a diagram showing a hardware configuration of the display device 1 according to the first embodiment.
  • FIG. 3 is a diagram showing a configuration of a control system 100 including a display device 1 according to the first embodiment.
  • the control system 100 includes a display device 1, a control device 2 which is a connection device for controlling a controlled device, and a robot 3 which is a controlled device.
  • the control system 100 is a system that controls the robot 3.
  • the display device 1 is an HMI (Human Machine Interface) such as a programmable display.
  • the control device 2 is a controller such as a programmable logic controller (PLC).
  • PLC programmable logic controller
  • the display device 1 is connected to the control device 2.
  • the robot 3 is connected to the control device 2.
  • the display device 1 communicates with the control device 2.
  • the display device 1 has a function of displaying information about the operating state of the control device 2 and a function of accepting an operation.
  • the control device 2 controls the robot 3 by executing a control program such as a ladder program.
  • the screen displayed on the display device 1 is created by the drawing device. The drawing device will be described later.
  • the display device 1 rotates a communication unit 10 that can communicate with the control device 2, a rotation information acquisition unit 11 that acquires rotation information indicating the rotation mode of the controlled device displayed on the screen, and a controlled device on the screen. It has an image generation unit 12 that generates a three-dimensional image for display, and an abnormality information acquisition unit 13 that acquires abnormality information indicating the presence or absence of an abnormality in a controlled device portion. Further, in the display device 1, the superimposed object generation unit 14 that generates a two-dimensional object that is an object indicating the presence or absence of an abnormality in the controlled device portion, the data storage unit 15 that holds various data, and the two-dimensional object are superimposed. It has an image display unit 16 for displaying the created three-dimensional image.
  • the display device 1 includes a processor 20 that executes various processes, a memory 21 that is a built-in memory, a storage device 22 that holds various information, a communication interface 23 that communicates with the control device 2, and a display that displays information. It has 24 and a touch panel 25 for inputting information to the display device 1.
  • the processor 20 is a CPU (Central Processing Unit).
  • the processor 20 may be a processing device, an arithmetic unit, a microprocessor, a microcomputer, or a DSP (Digital Signal Processor).
  • the memory 21 is a volatile memory such as a RAM (Random Access Memory).
  • the storage device 22 is a non-volatile memory such as a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Memory) or an EEPROM (registered trademark) (Electrically Erasable Programmable Read Only Memory).
  • the communication interface 23 is an interface circuit for connecting the display device 1 to an external device.
  • the control device 2 and the drawing device are connected to the communication interface 23 via a network using Ethernet (registered trademark), USB (Universal Serial Bus), or the like.
  • the display 24 is, for example, a liquid crystal display (LCD).
  • the touch panel 25 detects the contact of a contact object such as a finger and outputs touch information.
  • the touch information includes the identification number of each finger, the coordinates, the information indicating the contact state, and the like.
  • Each function of the rotation information acquisition unit 11, the image generation unit 12, the abnormality information acquisition unit 13, and the superimposed object generation unit 14 is realized by using a combination of the processor 20 and software.
  • Each function may be realized using a combination of processor 20 and firmware, or may be realized using a combination of processor 20, software and firmware.
  • the software or firmware is written as a program and stored in the storage device 22.
  • the function of the communication unit 10 is realized by using the communication interface 23.
  • the function of the image display unit 16 is realized by using the display 24.
  • the program executed by the display device 1 may be stored in a storage medium that can be read by a computer system.
  • the display device 1 may store the program recorded on the storage medium in the memory 21.
  • the storage medium may be a portable storage medium that is a flexible disk, or a flash memory that is a semiconductor memory.
  • FIG. 4 is a diagram showing a hardware configuration of a control device 2 connected to the display device 1 according to the first embodiment.
  • the control device 2 has a processor 26 that executes various processes, a memory 27 that is a built-in memory, a storage device 28 that holds various information, and a communication interface 29 that communicates with the display device 1 and the robot 3. ..
  • the storage device 28 is an HDD (Hard Disk Drive) or an SSD (Solid State Drive).
  • the control program is stored in the storage device 28.
  • the processor 26 reads the control program stored in the storage device 28 into the memory 27 and executes it.
  • the processor 26 performs a process of generating a command output to the robot 3 and the like.
  • the description of the contents common to the processor 20, the memory 21, the storage device 22, and the communication interface 23 will be omitted.
  • FIG. 5 is a diagram showing how a three-dimensional image is displayed on the display device 1 according to the first embodiment.
  • the work support screen 30 is one of the screens displayed on the display 24.
  • the display device 1 displays the work support screen 30 in order to notify the occurrence of an abnormality in the controlled device.
  • the work support screen 30 is also a screen displayed to support the restoration work by the worker.
  • the restoration work is a work for resuming the operation of the controlled device that was interrupted due to the occurrence of an abnormality.
  • Abnormality refers to a state in which normal operation cannot be performed due to a defect such as deterioration or failure of parts.
  • a plurality of parts to be monitored for the presence or absence of an abnormality are preset in the robot 3.
  • the storage device 28 of the control device 2 secures a data area for holding a value indicating the presence or absence of an abnormality for each of the plurality of parts.
  • Variables used in programming the ladder program are associated with each data area. Such variables or data areas may be referred to as "devices" and values stored in the data areas may be referred to as "device values”.
  • the control device 2 detects the occurrence of the abnormality based on the signal received from the robot 3.
  • the control device 2 rewrites the device value corresponding to the portion where the abnormality has occurred from the value indicating normality to the value indicating abnormality.
  • the control device 2 notifies the display device 1 that an abnormality has occurred.
  • the control device 2 transmits rotation information and abnormality information indicating the presence or absence of an abnormality to the display device 1.
  • Rotation information is preset for each of the plurality of parts.
  • the storage device 28 of the control device 2 holds preset rotation information.
  • the control device 2 reads the rotation information corresponding to the portion where the abnormality has occurred from the storage device 28, and transmits the rotation information to the display device 1.
  • the communication unit 10 of the display device 1 receives rotation information and abnormality information.
  • the communication unit 10 outputs the received rotation information to the rotation information acquisition unit 11.
  • the communication unit 10 outputs the received abnormality information to the abnormality information acquisition unit 13.
  • the rotation information acquisition unit 11 acquires the rotation information transmitted from the control device 2.
  • the abnormality information acquisition unit 13 acquires the abnormality information transmitted from the control device 2.
  • the rotation information acquisition unit 11 outputs the acquired rotation information to the image generation unit 12 and the superimposed object generation unit 14.
  • the abnormality information acquisition unit 13 outputs the acquired abnormality information to the superimposed object generation unit 14.
  • Computer-aided Design (CAD) data which is the design data of the robot 3, is stored in the data storage unit 15.
  • the image generation unit 12 reads CAD data, which is three-dimensional data, from the data storage unit 15.
  • the image generation unit 12 generates a three-dimensional image for rotating and displaying the robot 3 on the work support screen 30 based on the CAD data and the rotation information.
  • the rotation information includes information such as the direction of rotation, the angle of rotation, and the period of rotation.
  • the image generation unit 12 rotates and displays a three-dimensional image based on the rotation information.
  • the image generation unit 12 outputs the generated three-dimensional image data to the image display unit 16.
  • the data storage unit 15 stores two-dimensional data, which is data of a two-dimensional object.
  • the superimposed object generation unit 14 reads two-dimensional data from the data storage unit 15.
  • the superimposed object generation unit 14 generates a two-dimensional object indicating the presence or absence of an abnormality in each part of the robot 3 based on the two-dimensional data and the abnormality information.
  • an object 33 indicating that the abnormality is generated is generated.
  • the superimposed object generation unit 14 outputs the data of the generated object 33 to the image display unit 16.
  • the image display unit 16 displays a three-dimensional image on which the object 33 is superimposed on the work support screen 30.
  • the object 33 is superimposed on the position of the portion of the image 31 where the abnormality has occurred.
  • the object 33 is a two-dimensional object for highlighting indicating that it is abnormal.
  • FIG. 5 shows a state in which the image 31 of the robot 3 in the posture at the time of installation is rotated about the rotation axis in the vertical direction.
  • the state of the image 31 shown on the left of FIG. 5 is set as the reference state
  • the image 31 shown on the right of FIG. 5 is a state rotated by 180 degrees from the reference state.
  • the work support screen 30 displays a state in which the image 31 is rotated between the reference state and the state rotated by 180 degrees from the reference state.
  • the rotation information is set so that the position of the portion where the abnormality has occurred can be easily and visually displayed by rotating the image 31 from the reference state.
  • Rotation information that can rotate the image 31 so as to be suitable for visual recognition is set for each portion where the presence or absence of an abnormality in the robot 3 is monitored.
  • the rotation information is the information described in the control program.
  • the rotation information may be information other than the information described in the control program.
  • an object 32 indicating normality may be superimposed on the position of the portion of the image 31 where no abnormality has occurred, that is, the position of the portion in the normal state.
  • the control device 2 transmits the abnormality information indicating that there is no abnormality in the normal portion to the display device 1.
  • the superimposed object generation unit 14 generates an object 32 indicating normality as a two-dimensional object superimposed on a normal portion.
  • the object 32 is superimposed on the position of the normal part of the image 31.
  • the object 32 is a two-dimensional object for highlighting that it is normal.
  • the object 32 and the object 33 can be visually distinguished from each other.
  • the superimposed object generation unit 14 generates an object 32 and an object 33 having different colors, such that the object 32 is blue and the object 33 is red. In this way, the superimposed object generation unit 14 generates a two-dimensional object in which abnormalities and normalities can be clearly visually recognized.
  • the object 32 and the object 33 may be different from each other in elements other than the color, as long as they can be visually distinguished from each other.
  • the display device 1 rotates the work support screen 30 not only for the abnormality of the portion represented by the image 31 in the reference state but also for the abnormality of the portion not represented by the image 31 in the reference state. Can be shown in.
  • the display device 1 can automatically rotate the image 31 in a manner suitable for displaying the portion where the abnormality has occurred. Therefore, the operator can easily confirm the portion where the abnormality has occurred without performing an operation for searching for the portion where the abnormality has occurred. Even a worker who has little experience in restoration work can identify the location where an abnormality has occurred in a short time.
  • the display device 1 acquires preset rotation information from the control device 2 for each part where the presence or absence of an abnormality is monitored.
  • the display device 1 does not need to hold rotation information for each portion in advance in order to rotate the image 31 so as to be suitable for visual recognition.
  • the display device 1 can display a three-dimensional image in which abnormalities in each portion can be easily visually recognized without increasing the storage capacity.
  • FIG. 6 is a diagram for explaining the creation of the work support screen 30 displayed on the display device 1 according to the first embodiment.
  • the drawing device 4 is a computer on which a drawing program is installed.
  • the display 44 of the drawing device 4 displays an editing screen that accepts an operation for creating a screen.
  • the creator who creates the screen of the display device 1 performs an editing work of arranging an object which is a display element on the editing screen.
  • the drawing device 4 creates a monitor screen for displaying information about the operating state of the control device 2, an operation screen for accepting operations, and a work support screen 30 according to the editing work by the creator.
  • a still image of the robot 3 is displayed on the edit screen for creating the work support screen 30.
  • a window 34 for setting a two-dimensional object to be superimposed on the three-dimensional image is displayed.
  • the creator arranges the two-dimensional object displayed in the window 34 at the position of the portion of the still image of the robot 3 to be monitored.
  • the drawing device 4 associates the two-dimensional data with the coordinates indicating the position of the portion of the three-dimensional data of the robot 3.
  • the creator can arrange the two-dimensional object while appropriately rotating the still image of the robot 3.
  • the drawing device 4 associates the two-dimensional data associated with the coordinates of the three-dimensional data with a data area for holding a value indicating the presence or absence of an abnormality in the portion, that is, a device.
  • a device For example, when a certain part of the robot 3 is normal, the device "M1000" is turned off, that is, the device value of "M1000” is set to "0", and when the part is abnormal, "M1000". Is on, that is, the process of setting the device value of "M1000" to "1” is described in the control program.
  • the drawing device 4 associates "M1000” with the two-dimensional data of the relevant portion.
  • the display device 1 selects one of the two objects 32 and 33 according to the device value of "M1000" by making such an association. In this way, the display device 1 uses the device value of the associated device as abnormality information.
  • the display device 1 downloads screen data 35, which is screen data created by the drawing device 4, from the drawing device 4.
  • the screen data 35 includes the data of the work support screen 30, the data of the monitor screen, and the data of the operation screen.
  • the display device 1 stores the downloaded screen data 35 in the data storage unit 15.
  • the image display unit 16 displays each screen by appropriately reading the data of each screen from the data storage unit 15.
  • FIG. 7 is a diagram showing a hardware configuration of a drawing device 4 for creating a screen of the display device 1 according to the first embodiment.
  • the drawing device 4 includes a processor 40 that executes various processes, a memory 41 that is a built-in memory, a storage device 42 that holds various information, a communication interface 43 that communicates with the display device 1, and a display that displays information. It has a 44 and an input device 45 for inputting information to the drawing device 4.
  • the drawing program is stored in the storage device 42.
  • the processor 40 reads the drawing program stored in the storage device 42 into the memory 41 and executes it.
  • the processor 40 executes a process for creating a screen according to an input.
  • the input device 45 is a device such as a keyboard, a mouse, or a touch panel.
  • FIG. 8 is a flowchart showing the procedure of the preparation process until the display of the work support screen 30 by the display device 1 according to the first embodiment is started.
  • step S1 the drawing device 4 creates a work support screen 30.
  • step S2 the display device 1 downloads the created screen data 35 from the drawing device 4.
  • step S3 the display device 1 is connected to the control device 2.
  • the display device 1 is connected to the control device 2 via a communication cable.
  • step S4 the control device 2 and the display device 1 are activated. As a result, the preparation step according to the procedure shown in FIG. 8 is completed.
  • FIG. 9 is a flowchart showing a procedure of a drawing method for creating a work support screen 30 displayed on the display device 1 according to the first embodiment.
  • the drawing device 4 accepts an operation of associating the three-dimensional data indicating the three-dimensional shape of the robot 3 with the two-dimensional data indicating an object indicating the presence or absence of an abnormality in the portion of the robot 3.
  • the drawing device 4 associates the two-dimensional data with the coordinates indicating the position of the portion where the presence or absence of abnormality is monitored.
  • step S6 the drawing device 4 associates the two-dimensional data with a data area for holding a value indicating the presence or absence of an abnormality in the portion. That is, the drawing device 4 further associates the device with the two-dimensional data associated with the coordinates indicating the position of the portion where the presence or absence of abnormality is monitored.
  • step S7 the drawing device 4 determines whether or not the correspondence between the two-dimensional data and the data area at all the locations to be monitored is completed.
  • step S7, No the drawing apparatus 4 repeats the procedure from step S5 to step S7 for each place.
  • step S7, Yes the drawing device 4 ends the creation of the work support screen 30 according to the procedure shown in FIG.
  • FIG. 10 is a flowchart showing a processing procedure when the display device 1 according to the first embodiment displays the rotation of the controlled device.
  • step S11 the display device 1 starts communication with the control device 2.
  • step S12 the display device 1 determines whether or not there has been a notification of the occurrence of an abnormality. If there is no notification of the occurrence of an abnormality (step S12, No), the display device 1 repeats the procedure of step S12 until the notification of the occurrence of an abnormality is received.
  • step S12, Yes the display device 1 acquires rotation information by the rotation information acquisition unit 11 in step S13.
  • the rotation information acquisition unit 11 outputs the acquired rotation information to the image generation unit 12 and the superimposed object generation unit 14.
  • the rotation axis is an axis perpendicular to the reference plane.
  • the reference plane is a plane of the robot 3 that is parallel to the installation plane on which the robot 3 is installed.
  • the direction of the rotation axis can be any direction in the virtual three-dimensional space in which the image 31 of the robot 3 is rotated.
  • the direction of the rotation axis is the vertical direction in the three-dimensional space.
  • the rotation information includes information indicating the direction of the rotation axis as information indicating the direction of rotation.
  • the rotation information further includes information indicating the angle of rotation and information indicating the period of rotation.
  • the rotation angle can be set to any angle in the range of 0 to 360 degrees with respect to the reference state. For example, when the angle is 180 degrees, the image 31 of the robot 3 rotates in a range of 180 degrees from the reference state. Any number of seconds can be set for the rotation cycle. For example, if the period is 1 second, the image 31 of the robot 3 rotates at a period of 1 second.
  • the display device 1 When the rotation information includes information indicating the direction of rotation, information indicating the angle of rotation, and information indicating the period of rotation, the display device 1 causes an abnormality for each part to be monitored. It is possible to display the position of the part by rotating it in an easy-to-understand manner.
  • the rotation information may include information other than the information indicating the direction of rotation, the information indicating the angle of rotation, and the information indicating the period of rotation.
  • step S14 the display device 1 generates a three-dimensional image by the image generation unit 12.
  • step S15 the display device 1 generates a two-dimensional object by the superimposed object generation unit 14.
  • the display device 1 superimposes the generated two-dimensional object on the generated three-dimensional image by the image display unit 16.
  • the image display unit 16 displays an image newly generated by superimposing a two-dimensional object on the three-dimensional image on the work support screen 30.
  • step S16 the display device 1 updates the work support screen 30 by the image display unit 16.
  • the data of the three-dimensional image, the data of the superimposed two-dimensional object, and the rotation information are stored in the data storage unit 15.
  • the display device 1 displays the rotation of the robot 3 on the work support screen 30.
  • the display device 1 ends the process according to the procedure of FIG.
  • FIG. 11 is a flowchart showing a processing procedure when the image generation unit 12 of the display device 1 according to the first embodiment generates a three-dimensional image.
  • step S21 the image generation unit 12 determines whether or not the rotation information acquired by the rotation information acquisition unit 11 has changed.
  • the data storage unit 15 stores the rotation information used for the previous display of the work support screen 30.
  • the image generation unit 12 compares the rotation information acquired this time with the previous rotation information, and determines whether or not there is a change.
  • step S21, No If there is no change in the rotation information (steps S21, No), the image generation unit 12 ends the process according to the procedure shown in FIG. In this case, the image generation unit 12 does not generate a three-dimensional image based on the rotation information acquired this time, but reads out the data of the three-dimensional image stored in the data storage unit 15. That is, the display device 1 does not update the three-dimensional image used for the previous display, but uses it as it is. On the other hand, when there is a change in the rotation information (steps S21, Yes), the image generation unit 12 advances the procedure to step S22.
  • step S22 the image generation unit 12 acquires the three-dimensional data by reading the three-dimensional data which is the CAD data of the robot 3 from the data storage unit 15.
  • step S23 the image generation unit 12 executes the drawing process of the three-dimensional data based on the rotation information. As a result, the image generation unit 12 generates a three-dimensional image.
  • FIG. 12 is a flowchart showing a processing procedure when a two-dimensional object is generated by the display device 1 according to the first embodiment.
  • step S31 the abnormality information acquisition unit 13 acquires abnormality information.
  • the abnormality information acquisition unit 13 acquires abnormality information for each portion where the presence or absence of an abnormality is monitored.
  • the abnormality information acquisition unit 13 outputs the acquired abnormality information to the superimposed object generation unit 14.
  • step S32 the superimposed object generation unit 14 determines whether or not the acquired abnormality information has changed.
  • the data storage unit 15 stores the abnormality information used for the previous display of the work support screen 30.
  • the superimposed object generation unit 14 compares the abnormality information acquired this time with the previous abnormality information for each part.
  • the superimposed object generation unit 14 determines for each part whether or not there is a change in the abnormality information.
  • the superimposed object generation unit 14 ends the process according to the procedure shown in FIG. In this case, the superimposed object generation unit 14 does not generate the two-dimensional object based on the abnormality information acquired this time, but reads out the data of the two-dimensional object stored in the data storage unit 15. That is, the display device 1 does not update the two-dimensional object used for the previous display, but uses it as it is. On the other hand, when there is a change in the abnormality information (step S32, Yes), the superimposed object generation unit 14 advances the procedure to step S33.
  • step S33 the superimposed object generation unit 14 determines whether or not the value of the abnormality information is a value indicating an abnormality.
  • the superimposed object generation unit 14 determines whether or not the abnormality information acquired for each portion is a value indicating an abnormality.
  • the superimposed object generation unit 14 reads the two-dimensional data of the object 33 indicating the abnormality from the data storage unit 15 in step S34, so that the abnormality occurs.
  • the two-dimensional data of the object 33 representing the above is acquired. Further, the superimposed object generation unit 14 acquires the coordinates indicating the position where the object 33 is arranged.
  • the superimposed object generation unit 14 reads the two-dimensional data of the object 32 indicating normality from the data storage unit 15 in step S35. , Acquires the two-dimensional data of the object 32 representing normality. Further, the superimposed object generation unit 14 acquires the coordinates indicating the position where the object 33 is arranged.
  • the superimposed object generation unit 14 acquires rotation information from the rotation information acquisition unit 11.
  • the procedure proceeds to step S36.
  • the abnormality information is stored in the data storage unit 15.
  • step S36 the superimposed object generation unit 14 executes the superimposed drawing process of the two-dimensional object based on the two-dimensional data, the coordinates, and the rotation information. As described above, the superimposed object generation unit 14 generates a two-dimensional object superimposed on the three-dimensional image.
  • FIG. 13 is a diagram for explaining a process of superimposing a two-dimensional object indicating normality on a three-dimensional image by the display device 1 according to the first embodiment.
  • FIG. 13 shows an image of an object 32 generated for a portion of the image 31 of the robot 3 for which a value indicating normality is acquired as abnormal information, and an image in which the object 32 is superimposed on the portion. Shows.
  • the superimposed object generation unit 14 acquires the two-dimensional data of the object 32 among the two-dimensional objects associated with the device corresponding to the portion.
  • the superimposed object generation unit 14 performs a superimposed drawing process in which the object 32 is superimposed on the surface of the portion of the robot 3 by the texture mapping method.
  • the superimposed object generation unit 14 acquires the parameters required for texture mapping from the rotation information. As a result, the superimposed object generation unit 14 performs the superimposed drawing process of superimposing the object 32 indicating that it is normal on the three-dimensional image.
  • FIG. 14 is a diagram for explaining a process of superimposing a two-dimensional object indicating an abnormality on a three-dimensional image by the display device 1 according to the first embodiment.
  • FIG. 14 shows an image of an object 33 generated for a portion of the image 31 of the robot 3 for which a value indicating an abnormality is acquired as abnormality information, and an image in which the object 33 is superimposed on the portion. Shows.
  • the superimposed object generation unit 14 acquires the two-dimensional data of the object 33 among the two-dimensional objects associated with the device corresponding to the portion.
  • the superimposed object generation unit 14 performs a superimposed drawing process in which the object 33 is superimposed on the surface of the portion of the robot 3 by the texture mapping method.
  • the superimposed object generation unit 14 acquires the parameters required for texture mapping from the rotation information. As a result, the superimposed object generation unit 14 performs the superimposed drawing process of superimposing the object 33 indicating that it is abnormal on the three-dimensional image.
  • the superimposed object generation unit 14 performs the superimposed drawing process of superimposing the two-dimensional object on the surface of the robot 3 in the three-dimensional image based on the rotation information.
  • the display device 1 can clearly display the abnormal portion and the normal portion of the robot 3.
  • the display device 1 generates a three-dimensional image for rotating and displaying the controlled device based on the rotation information, and also generates a two-dimensional object to be superimposed on the three-dimensional image. , The 3D image on which the object is superimposed is rotated and displayed.
  • the display device 1 can automatically rotate the image 31 of the controlled device in a manner suitable for displaying the portion where the abnormality has occurred. By visually observing the screen of the display device 1, the operator can identify the place where the abnormality has occurred in a short time. Further, since the display device 1 acquires the rotation information stored in the control device 2, it is possible to display a three-dimensional image in which abnormalities in each portion can be easily visually recognized without increasing the storage capacity.
  • the display device 1 has the effect of being able to notify the occurrence of an abnormality in the controlled device so that the operator can easily identify the location where the abnormality has occurred in the controlled device. Further, the display device 1 can display the location where the abnormality has occurred in an easy-to-understand manner without increasing the storage capacity.
  • FIG. 15 is a diagram showing a functional configuration of the display device 1A according to the second embodiment.
  • the display device 1A stops the rotation of the image 31 of the controlled device. Further, the display device 1A manually rotates the image 31 in a state where the rotation is stopped.
  • the same components as those in the first embodiment are designated by the same reference numerals, and the configurations different from those in the first embodiment will be mainly described.
  • the display device 1A has the same functional configuration as the display device 1 according to the first embodiment. Further, the display device 1A has an operation unit 51 that accepts an operation of stopping the rotation of the controlled device on the work support screen 30, a coordinate determination unit 52, and a rotation information changing unit 53. The function of the operation unit 51 is realized by using the touch panel 25. Each function of the coordinate determination unit 52 and the rotation information changing unit 53 is realized by using a combination of the processor 20 and software.
  • the operation unit 51 accepts the first operation of stopping the rotation of the robot 3 on the work support screen 30.
  • the first operation is an operation of touching a certain point on the screen with a contact object.
  • the operation unit 51 accepts a second operation following the first operation.
  • the second operation is an operation of moving the contact object from the touched position on the screen, that is, a swipe operation.
  • the second operation is an operation for rotating the image of the robot 3 stopped by the first operation in a direction designated by the movement of the contact object.
  • the first operation and the second operation are collectively referred to as a touch operation.
  • the operation unit 51 outputs touch information to the coordinate determination unit 52 when there is an operation.
  • the coordinate determination unit 52 determines the coordinates indicating the position of the contact object from the touch information.
  • the coordinate determination unit 52 determines whether or not the above touch operation has been performed based on the coordinates.
  • the coordinate determination unit 52 outputs the coordinates to the rotation information changing unit 53.
  • the rotation information changing unit 53 performs a process of changing the rotation information according to the coordinates.
  • FIG. 16 is a diagram for explaining an operation of manually rotating an image 31 of a controlled device in the display device 1A according to the second embodiment.
  • the image 31 shown on the left side of FIG. 16 is an image 31 when the rotation is stopped by the finger which is a contact object touching one point on the work support screen 30.
  • the automatic rotation of the image 31 is stopped when an arbitrary position on the work support screen 30 is touched by a finger.
  • FIG. 16 shows a state when the finger is moved in the right direction on the work support screen 30 from the state shown on the left side of FIG.
  • the image 31 displayed on the work support screen 30 is rotated clockwise from the state shown on the left of FIG.
  • the image 31 shown on the left side of FIG. 16 is a state in which the upper part of the robot 3 at the time of installation is tilted so as to face to the right.
  • the image 31 is rotated so that the lower part of the robot 3 moves to the right, and the image 31 is displayed.
  • the state shown on the right of FIG. 16 is obtained.
  • the amount of rotation of the image 31 is the amount of rotation according to the amount of movement of the finger touching the work support screen 30. The worker can move the finger touching the work support screen 30 in any direction.
  • the image 31 rotates in the direction in which the finger is moved from the state in which the rotation is stopped.
  • the display device 1A stops the automatic rotation of the image 31 by the operation of the operator, so that the operator can confirm the location where the abnormality has occurred in detail. Further, since the display device 1A can rotate the image 31 according to the direction in which the finger is moved and the amount of movement of the finger from the state in which the rotation of the image 31 is stopped, the display device 1A is operated by the operator. It is possible to improve the sex.
  • FIG. 17 is a flowchart showing a procedure for the display device 1A according to the second embodiment to rotate the image 31 of the controlled device according to the operation.
  • step S41 the display device 1A starts communication with the control device 2.
  • step S42 the display device 1A determines whether or not there has been a notification of the occurrence of an abnormality. If there is no notification of the occurrence of an abnormality (step S42, No), the display device 1A repeats the procedure of step S42 until the notification of the occurrence of an abnormality is received.
  • step S42, Yes the display device 1A acquires rotation information by the rotation information acquisition unit 11 in step S43.
  • the rotation information acquisition unit 11 outputs the acquired rotation information to the image generation unit 12 and the superimposed object generation unit 14.
  • the display device 1A changes the rotation information according to the touch operation in step S44.
  • the display device 1A generates a three-dimensional image based on the changed rotation information.
  • the display device 1A creates a two-dimensional object.
  • the display device 1A superimposes the generated two-dimensional object on the generated three-dimensional image.
  • the image display unit 16 displays an image newly generated by superimposing a two-dimensional object on the three-dimensional image on the work support screen 30.
  • the display device 1A updates the work support screen 30 by the image display unit 16.
  • the display device 1A ends the process according to the procedure of FIG.
  • FIG. 18 is a flowchart showing a procedure for changing rotation information in the display device 1A according to the second embodiment.
  • the operation unit 51 outputs the touch information by touching the contact object to the work support screen 30 to the coordinate determination unit 52.
  • the coordinate determination unit 52 acquires touch information.
  • the coordinate determination unit 52 determines whether or not the above touch operation has been performed based on the touch information.
  • the display device 1A ends the process according to the procedure shown in FIG.
  • the display device 1A advances the procedure to step S53.
  • the coordinate determination unit 52 outputs the coordinates of the position where the touch operation was performed to the rotation information changing unit 53.
  • the rotation information changing unit 53 holds the previous coordinates, which are the display coordinates before the rotation due to the movement amount is applied.
  • step S53 the rotation information changing unit 53 determines whether or not the current coordinate, which is the coordinate of the touched position, has changed from the previous coordinate, which is the held coordinate.
  • step S54 the display device 1A proceeds to step S54.
  • step S57 the display device 1A proceeds to step S57.
  • step S54 the rotation information changing unit 53 calculates the amount of change in the coordinates between the previous coordinates and the coordinates of the touched position.
  • step S55 the rotation information changing unit 53 turns off the initial flag.
  • the initial flag is a flag for setting whether to perform automatic rotation or manual rotation.
  • step S56 the rotation information changing unit 53 adds the amount of change calculated in step S54 to the manual rotation information which is the rotation information set by the operation to the operation unit 51. That is, the rotation information changing unit 53 reflects the rotation according to the movement amount in the swipe operation on the rotation display.
  • step S57 the rotation information changing unit 53 determines whether or not the initial flag is off.
  • the display device 1A proceeds to step S61.
  • step S57, Yes the initial flag is off (step S57, Yes)
  • step S59 the rotation information changing unit 53 updates the held coordinates to the coordinates of the touched position.
  • step S60 the rotation information changing unit 53 holds the rotation information acquired from the control device 2 as manual rotation information. After completing the procedure in step S60, the display device 1A proceeds to step S61.
  • step S61 the rotation information changing unit 53 changes the rotation information by the manual rotation information. That is, the rotation information changing unit 53 changes the rotation information acquired by the rotation information acquisition unit 11 into manual rotation information. As a result, the display device 1A ends the process for changing the rotation information.
  • the display device 1A stops the automatic rotation of the image 31 of the controlled device on the work support screen 30 according to the operation to the operation unit 51. Further, the display device 1A rotates the image 31 according to the direction in which the contact object is moved and the movement amount of the contact object from the state in which the automatic rotation of the image 31 is stopped. As a result, the display device 1A can display a three-dimensional image so that the location where the abnormality has occurred can be confirmed in detail, and the operability by the operator can be improved.
  • FIG. 19 is a diagram showing a functional configuration of the display device 1B according to the third embodiment.
  • the display device 1B generates a two-dimensional object that has undergone transparency processing.
  • the same components as those in the first or second embodiment are designated by the same reference numerals, and the configurations different from those in the first or second embodiment will be mainly described.
  • the display device 1B has the same functional configuration as the display device 1A according to the second embodiment. Further, the display device 1B has a transparency processing unit 61 for generating a two-dimensional object displayed by the transparent display by the superimposed object generation unit 14. The function of the transmission processing unit 61 is realized by using a combination of the processor 20 and software.
  • the display device 1B is not limited to the display device 1A in which the transmission processing unit 61 is added to the same functional configuration.
  • the display device 1B may have a transmission processing unit 61 added to the same functional configuration as the display device 1 according to the first embodiment.
  • the transparency processing unit 61 determines whether or not the transparency processing of the two-dimensional object superimposed on the three-dimensional image is possible.
  • the transmission processing unit 61 sets a transmission flag indicating the necessity of transmission processing based on the result of such determination.
  • the format of the two-dimensional data is a format capable of transparent processing, for example, ARGB8000 format
  • the transparent processing unit 61 determines that transparent processing of the two-dimensional object is possible. In this case, the transparency processing unit 61 turns on the transparency flag.
  • the format of the two-dimensional data is a format that cannot be transparently processed, for example, an RGB888 format
  • the transparent processing unit 61 determines that the transparent processing of the two-dimensional object is not possible. In this case, the transparency processing unit 61 turns off the transparency flag.
  • the superimposed object generation unit 14 When the transparency flag is on, the superimposed object generation unit 14 performs the superimposed drawing process of the two-dimensional object to which the transparency process has been performed. As a result, the superimposed object generation unit 14 superimposes the transparent display two-dimensional object on the three-dimensional image. On the other hand, when the transparency flag is off, the superimposed object generation unit 14 performs the superimposed drawing process of the two-dimensional object that has not been subjected to the transparency process. As a result, the superimposed object generation unit 14 superimposes the opaque two-dimensional object on the three-dimensional image.
  • FIG. 20 is a diagram showing an example in which a two-dimensional object having an opaque display is superimposed on a three-dimensional image by the display device 1B according to the third embodiment.
  • the superimposed object generation unit 14 When the transparency flag is off, the superimposed object generation unit 14 generates an object 33, which is a two-dimensional object of opaque display.
  • the superimposed object generation unit 14 performs a superimposed drawing process for superimposing the object 33 on the three-dimensional image.
  • the display device 1B can generate the two-dimensional object of the transparent display, the operator can easily confirm the presence or absence of the abnormality, and the abnormality has occurred in the state where the two-dimensional object is displayed. The surface condition of the part can be confirmed. As a result, the display device 1B can further improve the visibility of the location where the abnormality has occurred.
  • FIG. 21 is a diagram showing an example in which a transparent display two-dimensional object is superimposed on a three-dimensional image by the display device 1B according to the third embodiment.
  • the superimposed object generation unit 14 When the transparency flag is on, the superimposed object generation unit 14 generates the object 62, which is a transparent display two-dimensional object.
  • the superimposed object generation unit 14 performs a superimposed drawing process for superimposing the object 62 on the three-dimensional image.
  • FIG. 22 is a flowchart showing a processing procedure when a two-dimensional object is generated by the display device 1B according to the third embodiment.
  • step S71 the superimposed object generation unit 14 acquires abnormality information from the abnormality information acquisition unit 13.
  • the superimposed object generation unit 14 acquires abnormality information for each portion where the presence or absence of an abnormality is monitored.
  • step S72 the superimposed object generation unit 14 determines whether or not the acquired abnormality information has changed. When there is no change in the abnormality information (steps S72, No), the superimposed object generation unit 14 ends the process according to the procedure shown in FIG. On the other hand, when there is a change in the abnormality information (step S72, Yes), the superimposed object generation unit 14 advances the procedure to step S73.
  • step S73 the superimposed object generation unit 14 determines whether or not the value of the abnormality information is a value indicating an abnormality.
  • the value of the abnormality information is a value indicating an abnormality (step S73, Yes)
  • the superimposed object generation unit 14 acquires the two-dimensional data of the object 33 representing the abnormality in step S74.
  • the display device 1B proceeds to step S76.
  • the value of the abnormality information is not a value indicating an abnormality (step S73, No)
  • the superimposed object generation unit 14 acquires the two-dimensional data of the object 32 indicating normality in step S75. After completing the procedure in step S75, the display device 1B proceeds to step S76.
  • step S76 the transparency processing unit 61 sets the transparency flag.
  • the transparent processing unit 61 turns on the transparent flag.
  • the transparent processing unit 61 turns off the transparent flag.
  • step S77 the superimposed object generation unit 14 determines whether or not the transparency flag set in step S76 is off.
  • the superimposed object generation unit 14 executes the superimposed drawing process of the two-dimensional object in step S78. That is, the superimposed object generation unit 14 superimposes the opaque two-dimensional object on the three-dimensional image.
  • the superimposed object generation unit 14 executes the transparency process and the superimposed drawing process of the two-dimensional object in step S79. That is, the superimposed object generation unit 14 superimposes the transparent display two-dimensional object on the three-dimensional image.
  • the superimposed object generation unit 14 performs the transparency processing of the two-dimensional object by adjusting the transparency or the alpha value of the pixel in the two-dimensional data.
  • the display device 1B generates a transparent display 2D object or an opaque display 2D object superimposed on the 3D image.
  • the transparency processing unit 61 may be able to switch the transparency flag on and off for the two-dimensional data in which the transparency flag is turned on.
  • the transparency processing unit 61 switches the transmission flag on and off according to the operation to the operation unit 51.
  • the display device 1B can arbitrarily change whether the two-dimensional object superimposed on the three-dimensional image is transparently displayed or opaquely displayed.
  • the display device 1B can further improve the visibility of the place where the abnormality has occurred because the two-dimensional object to be transparently displayed can be generated by the superimposed object generation unit 14.
  • FIG. 23 is a diagram showing a functional configuration of the display device 1C according to the fourth embodiment.
  • the display device 1C displays the portion where the abnormality has occurred in the abnormality shown in the selected alarm information by selecting the alarm information which is the information for each occurrence of the abnormality from the alarm list.
  • the same components as those in the first to third embodiments are designated by the same reference numerals, and the configurations different from those in the first to third embodiments will be mainly described.
  • the display device 1C has the same functional configuration as the display device 1B according to the third embodiment. Further, the display device 1C has an alarm selection unit 71 that specifies alarm information selected by operation, a window generation unit 72 that generates a window displayed on the alarm screen, and an alarm display unit that displays an alarm list on the alarm screen. 73 and. Each function of the alarm selection unit 71 and the window generation unit 72 is realized by using a combination of the processor 20 and software. The function of the alarm display unit 73 is realized by using the display 24.
  • the display device 1C is not limited to the same functional configuration as the display device 1B with the alarm selection unit 71, the window generation unit 72, and the alarm display unit 73 added.
  • the display device 1C has the same functional configuration as the display device 1 according to the first embodiment or the same functional configuration as the display device 1A according to the second embodiment, and has the alarm selection unit 71, the window generation unit 72, and the alarm display. It may be the one to which the part 73 is added.
  • the alarm list is a list of alarm information, which is information for each abnormality that has occurred.
  • the display device 1C displays an alarm list on the alarm screen.
  • the alarm selection unit 71 identifies the selected alarm information, and the alarms specified in the window generation unit 72, the image generation unit 12, and the superimposed object generation unit 14. Notify information.
  • the window generation unit 72 Upon receiving the notification of the alarm information, the window generation unit 72 generates a window to be displayed on the alarm screen.
  • the image generation unit 12 specifies 3D data for generating a 3D image based on the notified alarm information, and reads the specified 3D data from the data storage unit 15.
  • the superimposed object generation unit 14 specifies the two-dimensional data for generating the two-dimensional object based on the notified alarm information, and reads the specified two-dimensional data from the data storage unit 15.
  • the alarm display unit 73 displays a three-dimensional image on which a two-dimensional object is superimposed in a window displayed on the alarm screen when the alarm information is selected from the alarm list. In this way, the display device 1C associates the display for rotating the image 31 of the controlled device with the alarm list.
  • FIG. 24 is a diagram showing a display of an alarm list on the display device 1C according to the fourth embodiment and a state in which a three-dimensional image is displayed on the display device 1C.
  • FIG. 24 shows a state in which the alarm screen 74 is displayed on the display device 1C and a state in which the image 31 of the robot 3 is rotated and displayed by selecting the alarm information from the alarm screen 74.
  • the alarm information includes the time when the abnormality occurred, the message indicating the content of the abnormality, and the time when the abnormality was recovered.
  • the alarm information may include information such as an error code indicating the content or cause of the abnormality, or the cumulative number of occurrences of the abnormality.
  • the operation unit 51 accepts an operation for selecting alarm information from the alarm list on the alarm screen 74.
  • the operator selects the alarm information from the alarm list by touching the line 76 in which the alarm information is described on the alarm screen 74.
  • the alarm display unit 73 displays the window 75 on the alarm screen 74.
  • the alarm display unit 73 displays the image 31 of the robot 3 that rotates according to the rotation information on the window 75.
  • a two-dimensional object indicating an abnormality is superimposed on the position of the portion of the image 31 where the abnormality indicated in the alarm information has occurred.
  • a state in which the image 31 on which the two-dimensional object is superimposed is rotated according to the rotation information is displayed.
  • the worker may not be able to instantly grasp the details of the abnormality that occurred when the alarm occurred. From the alarm list, the operator can check information about the abnormality, such as the time when the abnormality occurred. Further, the operator can identify the portion where the abnormality has occurred in the rotated image 31 by selecting the alarm information from the alarm list. This makes it possible for workers to improve work efficiency.
  • the alarm list may include not only alarm information about currently occurring abnormalities but also alarm information about abnormalities that have occurred in the past.
  • the operator can identify the part where the abnormality has occurred at present or the part where the abnormality has occurred in the past from the rotated image 31. You can also.
  • FIG. 25 is a flowchart showing a processing procedure when the display device 1C according to the fourth embodiment performs a rotation display of the controlled device in the window 75 of the alarm screen 74.
  • step S81 the display device 1C starts communication with the control device 2.
  • step S82 the display device 1C determines whether or not there has been a notification of the occurrence of an abnormality. If there is no notification of the occurrence of an abnormality (steps S82, No), the display device 1C repeats the procedure of step S82 until the notification of the occurrence of an abnormality is received. When notified of the occurrence of an abnormality (step S82, Yes), the display device 1C advances the procedure to step S83.
  • step S83 the display device 1C displays an alarm list on the alarm screen 74.
  • step S84 the display device 1C determines whether or not the alarm information has been selected. When the alarm information is not selected (step S84, No), the display device 1C repeats the procedure of step S84 until the alarm information is selected. When the alarm information is selected (steps S84, Yes), in step S85, the display device 1C displays the window 75 on the alarm screen 74.
  • step S86 the display device 1C acquires rotation information by the rotation information acquisition unit 11.
  • the rotation information acquisition unit 11 outputs the acquired rotation information to the image generation unit 12 and the superimposed object generation unit 14.
  • step S87 the display device 1C generates a three-dimensional image by the image generation unit 12.
  • step S88 the display device 1C generates a two-dimensional object by the superimposed object generation unit 14.
  • the display device 1C superimposes the generated two-dimensional object on the generated three-dimensional image by the alarm display unit 73.
  • the alarm display unit 73 displays an image newly generated by superimposing a two-dimensional object on the three-dimensional image on the window 75.
  • step S89 the display device 1C updates the display of the window 75 by the alarm display unit 73. In this way, the display device 1C displays the rotation of the robot 3 in the window 75 of the alarm screen 74.
  • step S90 the display device 1C determines whether or not the window 75 has been closed.
  • One of the operations of closing the window 75 is an operation of touching a button in the window 75. If there is no operation to close the window 75 (step S90, No), the display device 1C returns the procedure to step S86.
  • step S90, Yes the display device 1C clears the display of the window 75 and closes the window 75 in the step S91. As a result, the display device 1C ends the process according to the procedure shown in FIG.
  • the display device 1C displays a three-dimensional image on which a two-dimensional object is superimposed by selecting alarm information from the alarm list.
  • the display device 1C has an effect that the work efficiency by the operator can be improved.
  • the controlled device may be any device that can be controlled by the control device 2, and is not limited to the robot 3.
  • the display devices 1, 1A, 1B, and 1C are not limited to the programmable display device, and may be a computer system such as a personal computer or a general-purpose computer.
  • a program for realizing the function of the display device 1 is installed in the computer system.
  • the storage device 22 shown in FIG. 2 may be an HDD or an SSD. The program is stored in the storage device 22.
  • the processor 20 reads the program stored in the storage device 22 into the memory 21 and executes it.
  • each of the above embodiments shows an example of the contents of the present disclosure.
  • the configurations of each embodiment can be combined with other known techniques.
  • the configurations of the respective embodiments may be combined as appropriate. It is possible to omit or change a part of the configuration of each embodiment without departing from the gist of the present disclosure.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

表示装置（１）は、被制御機器を制御する制御装置と通信可能な通信部（１０）と、画面において被制御機器を回転させて表示するための３次元画像を生成する画像生成部（１２）と、被制御機器の部分における異常の有無を表すオブジェクトであって、３次元画像のうち部分の位置に重畳させるオブジェクトを生成する重畳オブジェクト生成部（１４）と、画面に表示される被制御機器の回転の態様を示す回転情報を取得する回転情報取得部（１１）と、オブジェクトが重畳された３次元画像を表示する画像表示部（１６）と、を備える。画像生成部（１２）は、回転情報に基づいて３次元画像を回転表示させる。

Description

表示装置、制御システムおよび作画方法
　本開示は、被制御機器を制御する制御装置に接続可能な表示装置、制御システムおよび作画方法に関する。
　建設現場または製造ラインといった現場での作業に使用される装置において異常が発生した場合に、復旧作業を行う作業者は、表示装置に表示される情報を基に、異常が発生した箇所を特定することがある。表示装置は、当該装置を制御する制御装置に接続される。表示装置と制御装置とは、当該装置である被制御機器を制御する制御システムを構成する。
　異常が発生した際における効率的な復旧作業を可能とするために、従来、異常が発生した箇所についての文字情報の他に、異常が発生した箇所を表す視覚情報を表示する技術が提案されている。特許文献１には、シーケンスコントローラシステムが有する表示手段に関し、シーケンスコントローラシステムにおいて異常が発生した箇所を、シーケンスコントローラシステムを表す３次元図形において表示することが開示されている。また、特許文献１の技術によると、表示されている３次元図形は、端末機の操作に従って回転する。作業者は、表示されている３次元図形を回転させることによって、異常が発生した箇所を探索することができる。
特開２０１０－１６０５４０号公報
　特許文献１に開示される従来の技術によると、異常が発生した箇所を探索するために、作業者による操作によって３次元図形を回転させる必要がある。３次元図形を回転させる方向を変えながら異常が発生した箇所を探索することになるため、復旧作業の経験が少ない作業者ほど、異常が発生した箇所を探索するのに時間がかかる。このように、従来の技術によると、異常が発生した箇所の特定に時間がかかる場合があるという問題があった。
　本開示は、上記に鑑みてなされたものであって、被制御機器における異常が発生した箇所を作業者が容易に特定できるように、被制御機器における異常の発生を報知可能とする表示装置を得ることを目的とする。
　上述した課題を解決し、目的を達成するために、本開示にかかる表示装置は、被制御機器を制御する制御装置と通信可能な通信部と、画面において被制御機器を回転させて表示するための３次元画像を生成する画像生成部と、被制御機器の部分における異常の有無を表すオブジェクトであって、３次元画像のうち部分の位置に重畳させるオブジェクトを生成する重畳オブジェクト生成部と、画面に表示される被制御機器の回転の態様を示す回転情報を取得する回転情報取得部と、オブジェクトが重畳された３次元画像を表示する画像表示部と、を備える。画像生成部は、回転情報に基づいて３次元画像を回転表示させる。
　本開示にかかる表示装置は、被制御機器における異常が発生した箇所を作業者が容易に特定できるように、被制御機器における異常の発生を報知することが可能となるという効果を奏する。
実施の形態１にかかる表示装置の機能構成を示す図 実施の形態１にかかる表示装置のハードウェア構成を示す図 実施の形態１にかかる表示装置を含む制御システムの構成を示す図 実施の形態１にかかる表示装置に接続される制御装置のハードウェア構成を示す図 実施の形態１にかかる表示装置において３次元画像が表示される様子を示す図 実施の形態１にかかる表示装置において表示される作業支援画面の作成について説明するための図 実施の形態１にかかる表示装置の画面を作成する作画装置のハードウェア構成を示す図 実施の形態１にかかる表示装置による作業支援画面の表示が開始されるまでの準備工程の手順を示すフローチャート 実施の形態１にかかる表示装置において表示される作業支援画面を作成するための作画方法の手順を示すフローチャート 実施の形態１にかかる表示装置が被制御機器の回転表示を行う際における処理の手順を示すフローチャート 実施の形態１にかかる表示装置の画像生成部が３次元画像を生成する際における処理の手順を示すフローチャート 実施の形態１にかかる表示装置によって２次元オブジェクトを生成する際における処理の手順を示すフローチャート 実施の形態１にかかる表示装置によって、正常であることを示す２次元オブジェクトを３次元画像に重畳する処理について説明するための図 実施の形態１にかかる表示装置によって、異常であることを示す２次元オブジェクトを３次元画像に重畳する処理について説明するための図 実施の形態２にかかる表示装置の機能構成を示す図 実施の形態２にかかる表示装置において被制御機器の像を手動により回転させる操作について説明するための図 実施の形態２にかかる表示装置が操作に従って被制御装置の像を回転させるための処理の手順を示すフローチャート 実施の形態２にかかる表示装置において回転情報を変更するための処理の手順を示すフローチャート 実施の形態３にかかる表示装置の機能構成を示す図 実施の形態３にかかる表示装置によって、不透過表示の２次元オブジェクトを３次元画像に重畳した例を示す図 実施の形態３にかかる表示装置によって、透過表示の２次元オブジェクトを３次元画像に重畳した例を示す図 実施の形態３にかかる表示装置によって２次元オブジェクトを生成する際における処理の手順を示すフローチャート 実施の形態４にかかる表示装置の機能構成を示す図 実施の形態４にかかる表示装置におけるアラーム一覧の表示と、表示装置において３次元画像が表示される様子とを示す図 実施の形態４にかかる表示装置がアラーム画面のウィンドウにおいて被制御機器の回転表示を行う際における処理の手順を示すフローチャート
　以下に、実施の形態にかかる表示装置、制御システムおよび作画方法を図面に基づいて詳細に説明する。
実施の形態１．
　図１は、実施の形態１にかかる表示装置１の機能構成を示す図である。図２は、実施の形態１にかかる表示装置１のハードウェア構成を示す図である。図３は、実施の形態１にかかる表示装置１を含む制御システム１００の構成を示す図である。
　制御システム１００は、表示装置１と、被制御機器を制御する接続機器である制御装置２と、被制御機器であるロボット３とを有する。制御システム１００は、ロボット３を制御するシステムである。表示装置１は、プログラマブル表示器といったＨＭＩ（Human　Machine　Interface）である。制御装置２は、プログラマブルロジックコントローラ（Programmable　Logic　Controller：ＰＬＣ）といったコントローラである。表示装置１は、制御装置２に接続されている。ロボット３は、制御装置２に接続されている。
　表示装置１は、制御装置２との通信を行う。表示装置１は、制御装置２の動作状態についての情報を表示する機能と、操作を受け付ける機能とを有する。制御装置２は、ラダープログラムといった制御プログラムを実行することによって、ロボット３を制御する。表示装置１に表示される画面は、作画装置によって作成される。作画装置については後述する。
　次に、表示装置１の機能構成について説明する。表示装置１は、制御装置２と通信可能な通信部１０と、画面に表示される被制御機器の回転の態様を示す回転情報を取得する回転情報取得部１１と、画面において被制御機器を回転させて表示するための３次元画像を生成する画像生成部１２と、被制御機器の部分における異常の有無を表す異常情報を取得する異常情報取得部１３と、を有する。また、表示装置１は、被制御機器の部分における異常の有無を表すオブジェクトである２次元オブジェクトを生成する重畳オブジェクト生成部１４と、各種データを保持するデータ格納部１５と、２次元オブジェクトが重畳された３次元画像を表示する画像表示部１６と、を有する。
　次に、表示装置１のハードウェア構成について説明する。表示装置１は、各種処理を実行するプロセッサ２０と、内蔵メモリであるメモリ２１と、各種情報を保持する記憶装置２２と、制御装置２との通信を行う通信インタフェース２３と、情報を表示するディスプレイ２４と、表示装置１へ情報を入力するためのタッチパネル２５と、を有する。
　プロセッサ２０は、ＣＰＵ（Central　Processing　Unit）である。プロセッサ２０は、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、又はＤＳＰ（Digital　Signal　Processor）であっても良い。メモリ２１は、ＲＡＭ（Random　Access　Memory）といった、揮発性のメモリである。記憶装置２２は、ＲＯＭ（Read　Only　Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable　Programmable　Read　Only　Memory）またはＥＥＰＲＯＭ（登録商標）（Electrically　Erasable　Programmable　Read　Only　Memory）といった、不揮発性のメモリである。
　通信インタフェース２３は、表示装置１の外部の装置との接続のためのインタフェース回路である。制御装置２および作画装置は、Ethernet（登録商標）またはＵＳＢ（Universal　Serial　Bus）などを用いたネットワークを介して、通信インタフェース２３に接続される。ディスプレイ２４は、例えば液晶ディスプレイ（Liquid　Crystal　Display：ＬＣＤ）である。タッチパネル２５は、指などの接触物の接触を検知し、タッチ情報を出力する。タッチ情報は、各指の識別番号、座標、接触状態を示す情報などを含む。
　回転情報取得部１１、画像生成部１２、異常情報取得部１３および重畳オブジェクト生成部１４の各機能は、プロセッサ２０とソフトウェアの組み合わせを使用して実現される。各機能は、プロセッサ２０およびファームウェアの組み合わせを使用して実現されても良く、プロセッサ２０、ソフトウェアおよびファームウェアの組み合わせを使用して実現されても良い。ソフトウェアまたはファームウェアは、プログラムとして記述され、記憶装置２２に格納される。通信部１０の機能は、通信インタフェース２３を使用して実現される。画像表示部１６の機能は、ディスプレイ２４を使用して実現される。
　表示装置１において実行されるプログラムは、コンピュータシステムによる読み取りが可能とされた記憶媒体に記憶されたものであっても良い。表示装置１は、記憶媒体に記録されたプログラムをメモリ２１へ格納しても良い。記憶媒体は、フレキシブルディスクである可搬型記憶媒体、あるいは半導体メモリであるフラッシュメモリであっても良い。
　次に、制御装置２のハードウェア構成について説明する。図４は、実施の形態１にかかる表示装置１に接続される制御装置２のハードウェア構成を示す図である。制御装置２は、各種処理を実行するプロセッサ２６と、内蔵メモリであるメモリ２７と、各種情報を保持する記憶装置２８と、表示装置１およびロボット３との通信を行う通信インタフェース２９と、を有する。
　記憶装置２８は、ＨＤＤ（Hard　Disk　Drive）またはＳＳＤ（Solid　State　Drive）である。制御プログラムは、記憶装置２８に格納される。プロセッサ２６は、記憶装置２８に格納されている制御プログラムをメモリ２７に読み出して実行する。プロセッサ２６は、ロボット３へ出力される指令を生成する処理などを行う。ここでは、上記のプロセッサ２０、メモリ２１、記憶装置２２および通信インタフェース２３と共通する内容についての説明は省略する。
　次に、表示装置１における３次元画像の表示について説明する。図５は、実施の形態１にかかる表示装置１において３次元画像が表示される様子を示す図である。作業支援画面３０は、ディスプレイ２４に表示される画面の１つである。表示装置１は、被制御機器における異常の発生を報知するために作業支援画面３０を表示する。作業支援画面３０は、作業者による復旧作業を支援するために表示される画面でもある。復旧作業とは、異常の発生によって中断した被制御機器の運転を再開するための作業である。
　異常とは、部品の劣化または故障といった不具合によって、正常な動作ができなくなった状態を指す。ロボット３には、異常の有無が監視される対象である複数の部分があらかじめ設定されている。制御装置２の記憶装置２８には、複数の部分の各々について、異常の有無を表す値を保持するためのデータ領域が確保されている。各データ領域には、ラダープログラムのプログラミングにおいて使用される変数が対応付けられている。かかる変数またはデータ領域は「デバイス」、データ領域に格納される値は「デバイス値」と称されることがある。
　ロボット３に異常が発生した際に、制御装置２は、ロボット３から受信された信号を基に、異常の発生を検知する。制御装置２は、異常が発生した部分に対応するデバイス値を、正常を示す値から異常を示す値へ書き換える。制御装置２は、異常が発生したことを表示装置１へ通知する。制御装置２は、表示装置１への通知の際に、回転情報と、異常の有無を表す異常情報とを表示装置１へ送信する。
　回転情報は、複数の部分の各々についてあらかじめ設定されている。制御装置２の記憶装置２８は、あらかじめ設定された回転情報を保持する。制御装置２は、異常が発生した部分に対応する回転情報を記憶装置２８から読み出して、表示装置１へ回転情報を送信する。表示装置１の通信部１０は、回転情報と異常情報とを受信する。通信部１０は、受信された回転情報を回転情報取得部１１へ出力する。通信部１０は、受信された異常情報を異常情報取得部１３へ出力する。このようにして、回転情報取得部１１は、制御装置２から送信された回転情報を取得する。異常情報取得部１３は、制御装置２から送信された異常情報を取得する。回転情報取得部１１は、取得された回転情報を画像生成部１２と重畳オブジェクト生成部１４とへ出力する。異常情報取得部１３は、取得された異常情報を重畳オブジェクト生成部１４へ出力する。
　データ格納部１５には、ロボット３の設計データであるコンピュータ支援設計（Computer-Aided　Design：ＣＡＤ）データが格納されている。画像生成部１２は、３次元データであるＣＡＤデータをデータ格納部１５から読み出す。画像生成部１２は、作業支援画面３０においてロボット３を回転させて表示するための３次元画像を、ＣＡＤデータと回転情報とに基づいて生成する。回転情報は、回転の方向、回転の角度、および回転の周期といった情報を含む。画像生成部１２は、回転情報に基づいて３次元画像を回転表示させる。画像生成部１２は、生成された３次元画像のデータを画像表示部１６へ出力する。
　データ格納部１５には、２次元オブジェクトのデータである２次元データが格納されている。重畳オブジェクト生成部１４は、データ格納部１５から２次元データを読み出す。重畳オブジェクト生成部１４は、ロボット３の部分ごとにおける異常の有無を表す２次元オブジェクトを、２次元データと異常情報とに基づいて生成する。異常があった部分に重畳される２次元オブジェクトとしては、異常であることを表すオブジェクト３３が生成される。重畳オブジェクト生成部１４は、生成されたオブジェクト３３のデータを画像表示部１６へ出力する。
　画像表示部１６は、オブジェクト３３が重畳された３次元画像を作業支援画面３０に表示する。作業支援画面３０には、回転情報に示される態様で回転するロボット３の像３１が表示される。オブジェクト３３は、像３１のうち異常が生じた部分の位置に重畳される。オブジェクト３３は、異常であることを表す強調表示のための２次元オブジェクトである。図５には、設置時の姿勢におけるロボット３の像３１を、鉛直方向の回転軸を中心に回転させた様子を示している。図５の左に示す像３１の状態を基準状態とした場合に、図５の右に示す像３１は、基準状態から１８０度回転した状態である。作業支援画面３０には、基準状態と、基準状態から１８０度回転した状態との間にて像３１が回転している様子が表示される。
　回転情報は、基準状態から像３１を回転させることによって、異常が発生した部分の位置を容易に視認可能に表示することができるように設定される。ロボット３における異常の有無が監視される部分ごとに、視認に適するように像３１を回転させ得る回転情報が設定される。回転情報は、制御プログラムに記述された情報である。回転情報は、制御プログラムに記述された情報以外の情報であっても良い。
　なお、図５に示すように、像３１のうち異常が生じていない部分の位置、すなわち正常な状態である部分の位置には、正常であることを表すオブジェクト３２が重畳されても良い。制御装置２は、正常な部分について、異常が無いことを示す異常情報を表示装置１へ送信する。重畳オブジェクト生成部１４は、正常な部分に重畳される２次元オブジェクトとして、正常であることを表すオブジェクト３２を生成する。オブジェクト３２は、像３１のうち正常な部分の位置に重畳される。オブジェクト３２は、正常であることを表す強調表示のための２次元オブジェクトである。
　オブジェクト３２とオブジェクト３３とは、視覚によって互いに識別が可能とされる。重畳オブジェクト生成部１４は、オブジェクト３２は青色、オブジェクト３３は赤色、というように、互いに異なる色のオブジェクト３２とオブジェクト３３とを生成する。このようにして、重畳オブジェクト生成部１４は、異常と正常とを明確に視認可能な２次元オブジェクトを生成する。なお、オブジェクト３２とオブジェクト３３とは、視覚によって互いに識別が可能であれば良く、色以外の要素を互いに異ならせたものであっても良い。
　表示装置１は、像３１を回転させることによって、基準状態の像３１に表されている部分の異常のみならず、基準状態の像３１に表されていない部分の異常についても、作業支援画面３０において示すことができる。表示装置１は、異常が発生した部分の表示に適した態様で像３１を自動的に回転させることができる。このため、作業者は、異常が発生した部分を検索するための操作を行わなくても、異常が発生した部分を容易に確認することができる。復旧作業の経験が少ない作業者であっても、異常が発生した箇所を短時間のうちに特定することができる。
　表示装置１は、異常の有無が監視される部分ごとあらかじめ設定された回転情報を制御装置２から取得する。表示装置１は、視認に適するように像３１を回転させるための、部分ごとの回転情報をあらかじめ保持する必要が無い。表示装置１は、格納容量を増やすこと無く、部分ごとにおける異常を容易に視認可能な３次元画像を表示することができる。
　次に、作業支援画面３０の作成について説明する。図６は、実施の形態１にかかる表示装置１において表示される作業支援画面３０の作成について説明するための図である。
　作画装置４は、作画プログラムがインストールされたコンピュータである。作画装置４のディスプレイ４４には、画面を作成するための操作を受け付ける編集画面が表示される。表示装置１の画面を作成する作成者は、表示要素であるオブジェクトを編集画面に配置する編集作業を行う。作画装置４は、作成者による編集作業に従って、制御装置２の動作状態についての情報を表示するためのモニタ画面と、操作を受け付ける操作画面と、作業支援画面３０とを作成する。
　作業支援画面３０を作成するための編集画面には、ロボット３の静止画像が表示される。ロボット３の静止画像の隣には、３次元画像に重畳させる２次元オブジェクトを設定するためのウィンドウ３４が表示される。作成者は、ウィンドウ３４に表示されている２次元オブジェクトを、ロボット３の静止画像のうち監視の対象とする部分の位置に配置する。かかる操作によって、作画装置４は、ロボット３の３次元データのうち、当該部分の位置を示す座標に２次元データを対応付ける。なお、作成者は、ロボット３の静止画像を適宜回転させながら、２次元オブジェクトを配置することができる。
　さらに、作画装置４は、３次元データの座標に対応付けられた２次元データに、当該部分における異常の有無を表す値を保持するためのデータ領域、すなわちデバイスを対応付ける。例えば、ロボット３のうちのある部分が正常である場合に、デバイスである「Ｍ１０００」をオフ、すなわち「Ｍ１０００」のデバイス値を「０」とし、当該部分が異常である場合に、「Ｍ１０００」をオン、すなわち「Ｍ１０００」のデバイス値を「１」とする処理が制御プログラムに記述されているとする。作画装置４は、当該部分の２次元データに、「Ｍ１０００」を対応付ける。表示装置１は、かかる対応付けがなされることによって、「Ｍ１０００」のデバイス値に従って、２つのオブジェクト３２，３３のうちの一方を選択する。このように、表示装置１は、対応付けられたデバイスのデバイス値を異常情報として利用する。
　表示装置１は、作画装置４によって作成された画面のデータである画面データ３５を、作画装置４からダウンロードする。画面データ３５は、作業支援画面３０のデータと、モニタ画面のデータと、操作画面のデータとを含む。表示装置１は、ダウンロードされた画面データ３５をデータ格納部１５に格納する。画像表示部１６は、データ格納部１５から各画面のデータを適宜読み出すことによって、各画面を表示する。
　次に、作画装置４のハードウェア構成について説明する。図７は、実施の形態１にかかる表示装置１の画面を作成する作画装置４のハードウェア構成を示す図である。作画装置４は、各種処理を実行するプロセッサ４０と、内蔵メモリであるメモリ４１と、各種情報を保持する記憶装置４２と、表示装置１との通信を行う通信インタフェース４３と、情報を表示するディスプレイ４４と、作画装置４へ情報を入力するための入力装置４５とを有する。
　作画プログラムは、記憶装置４２に格納される。プロセッサ４０は、記憶装置４２に格納されている作画プログラムをメモリ４１に読み出して実行する。プロセッサ４０は、入力に従って画面を作成するための処理を実行する。ここでは、上記のプロセッサ２６、メモリ２７、記憶装置２８、通信インタフェース２９およびディスプレイ２４と共通する内容についての説明は省略する。入力装置４５は、キーボード、マウスまたはタッチパネルといった機器である。
　次に、表示装置１による作業支援画面３０の表示が開始されるまでの準備工程について説明する。図８は、実施の形態１にかかる表示装置１による作業支援画面３０の表示が開始されるまでの準備工程の手順を示すフローチャートである。
　ステップＳ１において、作画装置４は、作業支援画面３０を作成する。ステップＳ２において、表示装置１は、作成された画面データ３５を作画装置４からダウンロードする。ステップＳ３において、制御装置２へ表示装置１が接続される。表示装置１は、通信ケーブルを介して制御装置２に接続される。ステップＳ４において、制御装置２と表示装置１とが起動される。以上により、図８に示す手順による準備工程が終了する。
　図９は、実施の形態１にかかる表示装置１において表示される作業支援画面３０を作成するための作画方法の手順を示すフローチャートである。ステップＳ５において、作画装置４は、ロボット３の３次元形状を示す３次元データに、ロボット３の部分における異常の有無を表すオブジェクトを示す２次元データを対応付ける操作を受け付ける。作画装置４は、異常の有無が監視される部分について、当該部分の位置を示す座標に２次元データを対応付ける。
　ステップＳ６において、作画装置４は、２次元データに、当該部分における異常の有無を表す値を保持するためのデータ領域を対応付ける。すなわち、作画装置４は、異常の有無が監視される部分について、当該部分の位置を示す座標に対応付けられた２次元データに、さらにデバイスを対応付ける。
　ステップＳ７において、作画装置４は、監視の対象である全ての箇所における２次元データおよびデータ領域の対応付けが終了したか否かを判断する。２次元データおよびデータ領域の対応付けが終了していない箇所がある場合（ステップＳ７，Ｎｏ）、作画装置４は、各箇所について、ステップＳ５からステップＳ７までの手順を繰り返す。全ての箇所について２次元データおよびデータ領域の対応付けが終了した場合（ステップＳ７，Ｙｅｓ）、作画装置４は、図９に示す手順による作業支援画面３０の作成を終了する。
　次に、表示装置１が作業支援画面３０において被制御機器の回転表示を行う際における処理について説明する。図１０は、実施の形態１にかかる表示装置１が被制御機器の回転表示を行う際における処理の手順を示すフローチャートである。
　ステップＳ１１において、表示装置１は、制御装置２との通信を開始する。ステップＳ１２において、表示装置１は、異常発生の通知があったか否かを判断する。異常発生の通知が無い場合（ステップＳ１２，Ｎｏ）、表示装置１は、異常発生の通知があるまでステップＳ１２の手順を繰り返す。異常発生の通知があった場合（ステップＳ１２，Ｙｅｓ）、表示装置１は、ステップＳ１３において、回転情報取得部１１によって回転情報を取得する。回転情報取得部１１は、取得された回転情報を画像生成部１２と重畳オブジェクト生成部１４とへ出力する。
　ここで、回転情報について説明する。図５に示す例において、回転軸は、基準面に垂直な軸である。基準面は、ロボット３のうち、ロボット３が設置される設置面に平行な面とする。回転軸の方向は、ロボット３の像３１を回転させる仮想の３次元空間において、任意の方向とすることができる。図５に示す例の場合、回転軸の方向は、３次元空間における鉛直方向である。回転情報には、回転の方向を表す情報として、回転軸の方向を表す情報が含められる。
　回転情報には、さらに、回転の角度を表す情報と、回転の周期を表す情報とが含められる。回転の角度には、基準状態を基準として、０度から３６０度の範囲における任意の角度が設定可能である。例えば、角度が１８０度である場合、ロボット３の像３１は、基準状態から１８０度の範囲を回転する。回転の周期には、任意の秒数が設定可能である。例えば、周期が１秒である場合、ロボット３の像３１は、１秒の周期で回転する。
　回転情報が、回転の方向を表す情報と、回転の角度を表す情報と、回転の周期を表す情報とを含むことによって、表示装置１は、監視の対象である部分ごとに、異常が発生した部分の位置を分かり易く回転させる表示が可能となる。なお、回転情報には、回転の方向を表す情報、回転の角度を表す情報、および回転の周期を表す情報以外の情報が含まれても良い。
　ステップＳ１４において、表示装置１は、画像生成部１２によって３次元画像を生成する。ステップＳ１５において、表示装置１は、重畳オブジェクト生成部１４によって２次元オブジェクトを生成する。表示装置１は、画像表示部１６によって、生成された３次元画像に生成された２次元オブジェクトを重畳させる。画像表示部１６は、３次元画像に２次元オブジェクトが重畳されることによって新たに生成された画像を、作業支援画面３０に表示する。これにより、ステップＳ１６において、表示装置１は、画像表示部１６によって作業支援画面３０を更新する。３次元画像のデータと、重畳された２次元オブジェクトのデータと、回転情報とは、データ格納部１５に格納される。以上により、表示装置１は、作業支援画面３０においてロボット３の回転表示を行う。表示装置１は、図１０の手順による処理を終了する。
　次に、図１０に示すステップＳ１４における３次元画像の生成について説明する。図１１は、実施の形態１にかかる表示装置１の画像生成部１２が３次元画像を生成する際における処理の手順を示すフローチャートである。
　ステップＳ２１において、画像生成部１２は、回転情報取得部１１によって取得された回転情報に変化があったか否かを判断する。データ格納部１５には、作業支援画面３０の前回の表示に使用された回転情報が格納されている。画像生成部１２は、今回取得された回転情報を前回の回転情報と比較して、変化があったか否かを判断する。
　回転情報に変化が無い場合（ステップＳ２１，Ｎｏ）、画像生成部１２は、図１１に示す手順による処理を終了する。この場合、画像生成部１２は、今回取得された回転情報に基づいた３次元画像の生成は行わず、データ格納部１５に格納されている３次元画像のデータを読み出す。すなわち、表示装置１は、前回の表示に使用された３次元画像を更新せず、そのまま使用する。一方、回転情報に変化があった場合（ステップＳ２１，Ｙｅｓ）、画像生成部１２は、手順をステップＳ２２へ進める。
　ステップＳ２２において、画像生成部１２は、ロボット３のＣＡＤデータである３次元データをデータ格納部１５から読み出すことによって、３次元データを取得する。ステップＳ２３において、画像生成部１２は、回転情報に基づいて、３次元データの描画処理を実行する。以上により、画像生成部１２は、３次元画像を生成する。
　次に、図１０に示すステップＳ１５における２次元オブジェクトの生成について説明する。図１２は、実施の形態１にかかる表示装置１によって２次元オブジェクトを生成する際における処理の手順を示すフローチャートである。
　ステップＳ３１において、異常情報取得部１３は、異常情報を取得する。異常情報取得部１３は、異常の有無が監視される部分ごとについての異常情報を取得する。異常情報取得部１３は、取得された異常情報を重畳オブジェクト生成部１４へ出力する。ステップＳ３２において、重畳オブジェクト生成部１４は、取得された異常情報に変化があったか否かを判断する。
　データ格納部１５には、作業支援画面３０の前回の表示に使用された異常情報が格納されている。重畳オブジェクト生成部１４は、部分ごとに、今回取得された異常情報を前回の異常情報と比較する。重畳オブジェクト生成部１４は、異常情報に変化があったか否かを部分ごとに判断する。
　異常情報に変化が無い場合（ステップＳ３２，Ｎｏ）、重畳オブジェクト生成部１４は、図１２に示す手順による処理を終了する。この場合、重畳オブジェクト生成部１４は、今回取得された異常情報に基づいた２次元オブジェクトの生成は行わず、データ格納部１５に格納されている２次元オブジェクトのデータを読み出す。すなわち、表示装置１は、前回の表示に使用された２次元オブジェクトを更新せず、そのまま使用する。一方、異常情報に変化があった場合（ステップＳ３２，Ｙｅｓ）、重畳オブジェクト生成部１４は、手順をステップＳ３３へ進める。
　ステップＳ３３において、重畳オブジェクト生成部１４は、異常情報の値が異常を示す値であるか否かを判断する。重畳オブジェクト生成部１４は、部分ごとに取得された異常情報について、異常を示す値であるか否かを判断する。
　異常情報の値が異常を示す値である場合（ステップＳ３３，Ｙｅｓ）、重畳オブジェクト生成部１４は、ステップＳ３４において、異常を表すオブジェクト３３の２次元データをデータ格納部１５から読み出すことによって、異常を表すオブジェクト３３の２次元データを取得する。また、重畳オブジェクト生成部１４は、オブジェクト３３が配置される位置を示す座標を取得する。
　一方、異常情報の値が異常を示す値ではない場合（ステップＳ３３，Ｎｏ）、重畳オブジェクト生成部１４は、ステップＳ３５において、正常を表すオブジェクト３２の２次元データをデータ格納部１５から読み出すことによって、正常を表すオブジェクト３２の２次元データを取得する。また、重畳オブジェクト生成部１４は、オブジェクト３３が配置される位置を示す座標を取得する。
　また、重畳オブジェクト生成部１４は、回転情報取得部１１から回転情報を取得する。重畳オブジェクト生成部１４は、２次元データと、座標と、回転情報とを取得すると、手順をステップＳ３６へ進める。なお、異常情報は、データ格納部１５に格納される。
　ステップＳ３６では、重畳オブジェクト生成部１４は、２次元データと、座標と、回転情報とを基に、２次元オブジェクトの重畳描画処理を実行する。以上により、重畳オブジェクト生成部１４は、３次元画像に重畳される２次元オブジェクトを生成する。
　図１３は、実施の形態１にかかる表示装置１によって、正常であることを示す２次元オブジェクトを３次元画像に重畳する処理について説明するための図である。図１３には、ロボット３の像３１のうち、正常であることを示す値が異常情報として取得された部分について生成されるオブジェクト３２のイメージと、オブジェクト３２が当該部分に重畳されるイメージとを示している。
　重畳オブジェクト生成部１４は、当該部分に対応するデバイスに対応付けられている２次元オブジェクトのうち、オブジェクト３２の２次元データを取得する。重畳オブジェクト生成部１４は、テクスチャマッピングの手法によって、ロボット３のうち当該部分の表面にオブジェクト３２を重畳させる重畳描画処理を行う。重畳オブジェクト生成部１４は、テクスチャマッピングに必要なパラメータを、回転情報から取得する。これにより、重畳オブジェクト生成部１４は、正常であることを示すオブジェクト３２を３次元画像に重畳させる重畳描画処理を行う。
　図１４は、実施の形態１にかかる表示装置１によって、異常であることを示す２次元オブジェクトを３次元画像に重畳する処理について説明するための図である。図１４には、ロボット３の像３１のうち、異常であることを示す値が異常情報として取得された部分について生成されるオブジェクト３３のイメージと、オブジェクト３３が当該部分に重畳されるイメージとを示している。
　重畳オブジェクト生成部１４は、当該部分に対応するデバイスに対応付けられている２次元オブジェクトのうち、オブジェクト３３の２次元データを取得する。重畳オブジェクト生成部１４は、テクスチャマッピングの手法によって、ロボット３のうち当該部分の表面にオブジェクト３３を重畳させる重畳描画処理を行う。重畳オブジェクト生成部１４は、テクスチャマッピングに必要なパラメータを、回転情報から取得する。これにより、重畳オブジェクト生成部１４は、異常であることを示すオブジェクト３３を３次元画像に重畳させる重畳描画処理を行う。
　このように、重畳オブジェクト生成部１４は、回転情報に基づいて、３次元画像におけるロボット３の面に２次元オブジェクトを重ね合わせる重畳描画処理を行う。これにより、表示装置１は、ロボット３のうち異常が生じた部分と正常な部分とを分かり易く表示することができる。
　実施の形態１によると、表示装置１は、被制御機器を回転させて表示するための３次元画像を回転情報に基づいて生成するとともに、３次元画像に重畳させる２次元オブジェクトを生成することによって、オブジェクトが重畳された３次元画像を回転表示する。表示装置１は、異常が発生した部分の表示に適した態様で被制御機器の像３１を自動的に回転させることができる。作業者は、表示装置１の画面を目視することによって、異常が発生した箇所を短時間のうちに特定することができる。また、表示装置１は、制御装置２に格納されている回転情報を取得するため、格納容量を増やすこと無く、部分ごとにおける異常を容易に視認可能な３次元画像を表示することができる。以上により、表示装置１は、被制御機器における異常が発生した箇所を作業者が容易に特定できるように、被制御機器における異常の発生を報知することが可能となるという効果を奏する。また、表示装置１は、格納容量を増やすこと無く、異常が発生した箇所を分かり易く表示することができる。
実施の形態２．
　図１５は、実施の形態２にかかる表示装置１Ａの機能構成を示す図である。表示装置１Ａは、被制御機器の像３１の回転を停止させる。また、表示装置１Ａは、回転を停止させた状態の像３１を手動により回転させる。実施の形態２では、上記の実施の形態１と同一の構成要素には同一の符号を付し、実施の形態１とは異なる構成について主に説明する。
　表示装置１Ａは、実施の形態１にかかる表示装置１と同様の機能構成を備える。さらに、表示装置１Ａは、作業支援画面３０における被制御機器の回転を停止させる操作を受け付ける操作部５１と、座標判別部５２と、回転情報変更部５３とを有する。操作部５１の機能は、タッチパネル２５を使用して実現される。座標判別部５２および回転情報変更部５３の各機能は、プロセッサ２０とソフトウェアの組み合わせ等を使用して実現される。
　操作部５１は、作業支援画面３０におけるロボット３の回転を停止させる第１の操作を受け付ける。第１の操作は、画面上のある１点を接触物によってタッチする操作である。また、操作部５１は、第１の操作に続く第２の操作を受け付ける。第２の操作は、画面上においてタッチされている位置から接触物を移動させる操作、すなわちスワイプ操作である。第２の操作は、第１の操作によって停止させた状態のロボット３の像を、接触物の移動によって指定された方向へ回転させるための操作である。以下の説明では、第１の操作と第２の操作とを併せてタッチ操作と称する。
　操作部５１は、操作があった場合に、座標判別部５２へタッチ情報を出力する。座標判別部５２は、タッチ情報から、接触物の位置を示す座標を判別する。座標判別部５２は、座標を基に、上記のタッチ操作があったか否かを判断する。上記のタッチ操作があった場合に、座標判別部５２は、回転情報変更部５３へ座標を出力する。回転情報変更部５３は、座標に従って回転情報を変更する処理を行う。
　図１６は、実施の形態２にかかる表示装置１Ａにおいて被制御機器の像３１を手動により回転させる操作について説明するための図である。図１６の左に示す像３１は、接触物である指が作業支援画面３０上の１点をタッチしていることによって回転が停止しているときの像３１である。作業支援画面３０上の任意の位置が指によりタッチされている状態において、像３１の自動回転は停止する。
　図１６の左に示す状態から、作業支援画面３０に触れている指を移動させると、指を移動させた方向へ像３１が回転する。すなわち、像３１は手動により回転する。図１６の右には、図１６の左に示す状態から、作業支援画面３０における右の方向へ指を移動させたときの様子を示している。作業支援画面３０にタッチしている指を右の方向へ移動させることによって、作業支援画面３０に表示されている像３１は、図１６の左に示す状態から右回りに回転する。
　図１６の左に示す像３１は、設置時におけるロボット３の上部が右の方へ向くように倒れている状態である。作業支援画面３０のうち設置時におけるロボット３の下部付近の位置から右の方へ指を移動させると、ロボット３の下部が右の方へ移動するように像３１が回転して、像３１は図１６の右に示す状態となる。像３１の回転量は、作業支援画面３０に触れている指の移動量に応じた回転量となる。なお、作業者は、作業支援画面３０にタッチしている指を任意の方向へ移動させることができる。像３１は、回転を停止している状態から、指を移動させた方向へ回転する。
　作業者の操作により表示装置１Ａが像３１の自動回転を停止させることによって、作業者は、異常が発生した箇所を詳細に確認することができる。また、像３１の回転が停止している状態から、指を移動させた方向と指の移動量とに従って表示装置１Ａが像３１を回転可能であることによって、表示装置１Ａは、作業者による操作性の向上が可能となる。
　次に、表示装置１Ａが操作に従って被制御装置の像３１を回転させるための処理について説明する。図１７は、実施の形態２にかかる表示装置１Ａが操作に従って被制御装置の像３１を回転させるための処理の手順を示すフローチャートである。
　ステップＳ４１において、表示装置１Ａは、制御装置２との通信を開始する。ステップＳ４２において、表示装置１Ａは、異常発生の通知があったか否かを判断する。異常発生の通知が無い場合（ステップＳ４２，Ｎｏ）、表示装置１Ａは、異常発生の通知があるまでステップＳ４２の手順を繰り返す。異常発生の通知があった場合（ステップＳ４２，Ｙｅｓ）、表示装置１Ａは、ステップＳ４３において、回転情報取得部１１によって回転情報を取得する。回転情報取得部１１は、取得された回転情報を画像生成部１２と重畳オブジェクト生成部１４とへ出力する。
　操作部５１へのタッチ操作があった場合に、表示装置１Ａは、ステップＳ４４において、タッチ操作に従って回転情報を変更する。ステップＳ４５において、表示装置１Ａは、変更後の回転情報に基づいて３次元画像を生成する。ステップＳ４６において、表示装置１Ａは、２次元オブジェクトを生成する。表示装置１Ａは、生成された３次元画像に生成された２次元オブジェクトを重畳させる。画像表示部１６は、３次元画像に２次元オブジェクトが重畳されることによって新たに生成された画像を、作業支援画面３０に表示する。これにより、ステップＳ４７において、表示装置１Ａは、画像表示部１６によって作業支援画面３０を更新する。以上により、表示装置１Ａは、図１７の手順による処理を終了する。
　次に、図１７に示すステップＳ４４における回転情報の変更について説明する。図１８は、実施の形態２にかかる表示装置１Ａにおいて回転情報を変更するための処理の手順を示すフローチャートである。
　操作部５１は、作業支援画面３０への接触物のタッチによるタッチ情報を座標判別部５２へ出力する。ステップＳ５１において、座標判別部５２は、タッチ情報を取得する。ステップＳ５２において、座標判別部５２は、上記のタッチ操作があったか否かを、タッチ情報に基づいて判別する。タッチ操作が無かった場合（ステップＳ５２，Ｎｏ）、表示装置１Ａは、図１８に示す手順による処理を終了する。一方、タッチ操作があった場合（ステップＳ５２，Ｙｅｓ）、表示装置１Ａは、ステップＳ５３へ手順を進める。座標判別部５２は、タッチ操作があった位置の座標を回転情報変更部５３へ出力する。
　回転情報変更部５３は、移動量に伴う回転が加えられる前の表示座標である前回座標を保持する。ステップＳ５３において、回転情報変更部５３は、タッチされた位置の座標である現在座標が、保持している座標である前回座標から変化したか否かを判断する。タッチされた位置の座標が前回座標から変化した場合（ステップＳ５３，Ｙｅｓ）、表示装置１Ａは、ステップＳ５４へ手順を進める。一方、タッチされた位置の座標が前回座標から変化していない場合（ステップＳ５３，Ｎｏ）、表示装置１Ａは、ステップＳ５７へ手順を進める。
　ステップＳ５４において、回転情報変更部５３は、前回座標とタッチされた位置の座標とにおける座標の変化量を算出する。ステップＳ５５において、回転情報変更部５３は、イニシャルフラグをオフにする。イニシャルフラグは、自動回転を行うか手動回転を行うかの設定を行うフラグである。ステップＳ５６において、回転情報変更部５３は、操作部５１への操作によって設定された回転情報である手動回転情報に、ステップＳ５４において算出された変化量を加算する。すなわち、回転情報変更部５３は、スワイプ操作における移動量に従った回転を、回転表示へ反映させる。ステップＳ５６の手順を終えると、表示装置１Ａは、ステップＳ６１へ手順を進める。
　ステップＳ５７において、回転情報変更部５３は、イニシャルフラグがオフであるか否かを判断する。イニシャルフラグがオンである場合（ステップＳ５７，Ｎｏ）、表示装置１Ａは、ステップＳ６１へ手順を進める。一方、イニシャルフラグがオフである場合（ステップＳ５７，Ｙｅｓ）、回転情報変更部５３は、ステップＳ５８において、イニシャルフラグをオンにする。ステップＳ５９において、回転情報変更部５３は、保持している座標を、タッチされた位置の座標に更新する。ステップＳ６０において、回転情報変更部５３は、制御装置２から取得された回転情報を、手動回転情報として保持する。ステップＳ６０の手順を終えると、表示装置１Ａは、ステップＳ６１へ手順を進める。
　ステップＳ６１において、回転情報変更部５３は、手動回転情報で回転情報を変更する。すなわち、回転情報変更部５３は、回転情報取得部１１により取得された回転情報を手動回転情報に変更する。以上により、表示装置１Ａは、回転情報を変更するための処理を終了する。
　実施の形態２によると、表示装置１Ａは、操作部５１への操作に従って、作業支援画面３０における被制御機器の像３１の自動回転を停止させる。また、表示装置１Ａは、像３１の自動回転が停止している状態から、接触物を移動させた方向と接触物の移動量とに従って像３１を回転させる。これにより、表示装置１Ａは、異常が発生した箇所を詳細に確認できるように３次元画像を表示でき、かつ、作業者による操作性の向上が可能となる。
実施の形態３．
　図１９は、実施の形態３にかかる表示装置１Ｂの機能構成を示す図である。表示装置１Ｂは、透過処理が施された２次元オブジェクトを生成する。実施の形態３では、上記の実施の形態１または２と同一の構成要素には同一の符号を付し、実施の形態１または２とは異なる構成について主に説明する。
　表示装置１Ｂは、実施の形態２にかかる表示装置１Ａと同様の機能構成を備える。さらに、表示装置１Ｂは、透過表示によって表示される２次元オブジェクトを重畳オブジェクト生成部１４によって生成するための透過処理部６１を有する。透過処理部６１の機能は、プロセッサ２０とソフトウェアの組み合わせ等を使用して実現される。なお、表示装置１Ｂは、表示装置１Ａと同様の機能構成に透過処理部６１を追加したものに限られない。表示装置１Ｂは、実施の形態１にかかる表示装置１と同様の機能構成に透過処理部６１を追加したものであっても良い。
　透過処理部６１は、３次元画像に重畳される２次元オブジェクトの透過処理が可能か否かを判定する。透過処理部６１は、かかる判定の結果を基に、透過処理の要否を示す透過フラグを設定する。透過処理部６１は、２次元データの形式が透過処理可能な形式、例えばＡＲＧＢ８０００形式である場合、２次元オブジェクトの透過処理が可能と判断する。この場合、透過処理部６１は、透過フラグをオンにする。透過処理部６１は、２次元データの形式が透過処理不可の形式、例えばＲＧＢ８８８形式である場合、２次元オブジェクトの透過処理は不可と判定する。この場合、透過処理部６１は、透過フラグをオフにする。
　重畳オブジェクト生成部１４は、透過フラグがオンである場合、透過処理が施された２次元オブジェクトの重畳描画処理を行う。これにより、重畳オブジェクト生成部１４は、透過表示の２次元オブジェクトを３次元画像に重畳させる。一方、重畳オブジェクト生成部１４は、透過フラグがオフである場合、透過処理が施されていない２次元オブジェクトの重畳描画処理を行う。これにより、重畳オブジェクト生成部１４は、不透過表示の２次元オブジェクトを３次元画像に重畳させる。
　図２０は、実施の形態３にかかる表示装置１Ｂによって、不透過表示の２次元オブジェクトを３次元画像に重畳した例を示す図である。透過フラグがオフである場合、重畳オブジェクト生成部１４は、不透過表示の２次元オブジェクトであるオブジェクト３３を生成する。重畳オブジェクト生成部１４は、３次元画像にオブジェクト３３を重畳させる重畳描画処理を行う。
　透過表示の２次元オブジェクトを表示装置１Ｂが生成可能であることによって、作業者は、異常の有無を容易に確認することができるとともに、２次元オブジェクトが表示されている状態において、異常が生じた箇所の表面状態を確認することができる。これにより、表示装置１Ｂは、異常が生じた箇所の視認性をさらに向上させることが可能となる。
　図２１は、実施の形態３にかかる表示装置１Ｂによって、透過表示の２次元オブジェクトを３次元画像に重畳した例を示す図である。透過フラグがオンである場合、重畳オブジェクト生成部１４は、透過表示の２次元オブジェクトであるオブジェクト６２を生成する。重畳オブジェクト生成部１４は、３次元画像にオブジェクト６２を重畳させる重畳描画処理を行う。
　次に、実施の形態３にかかる表示装置１Ｂによる２次元オブジェクトの生成について説明する。図２２は、実施の形態３にかかる表示装置１Ｂによって２次元オブジェクトを生成する際における処理の手順を示すフローチャートである。
　ステップＳ７１において、重畳オブジェクト生成部１４は、異常情報取得部１３から異常情報を取得する。重畳オブジェクト生成部１４は、異常の有無が監視される部分ごとについての異常情報を取得する。ステップＳ７２において、重畳オブジェクト生成部１４は、取得された異常情報に変化があったか否かを判断する。異常情報に変化が無い場合（ステップＳ７２，Ｎｏ）、重畳オブジェクト生成部１４は、図２２に示す手順による処理を終了する。一方、異常情報に変化があった場合（ステップＳ７２，Ｙｅｓ）、重畳オブジェクト生成部１４は、手順をステップＳ７３へ進める。
　ステップＳ７３において、重畳オブジェクト生成部１４は、異常情報の値が異常を示す値であるか否かを判断する。異常情報の値が異常を示す値である場合（ステップＳ７３，Ｙｅｓ）、重畳オブジェクト生成部１４は、ステップＳ７４において、異常を表すオブジェクト３３の２次元データを取得する。ステップＳ７４の手順を終えると、表示装置１Ｂは、ステップＳ７６へ手順を進める。一方、異常情報の値が異常を示す値ではない場合（ステップＳ７３，Ｎｏ）、重畳オブジェクト生成部１４は、ステップＳ７５において、正常を表すオブジェクト３２の２次元データを取得する。ステップＳ７５の手順を終えると、表示装置１Ｂは、ステップＳ７６へ手順を進める。
　ステップＳ７６において、透過処理部６１は、透過フラグを設定する。ステップＳ７４またはステップＳ７５において取得された２次元データの形式が透過処理可能な形式である場合、透過処理部６１は、透過フラグをオンにする。一方、ステップＳ７４またはステップＳ７５において取得された２次元データの形式が透過処理不可の形式である場合、透過処理部６１は、透過フラグをオフにする。
　ステップＳ７７において、重畳オブジェクト生成部１４は、ステップＳ７６において設定された透過フラグがオフであるか否かを判断する。透過フラグがオフである場合（ステップＳ７７，Ｙｅｓ）、重畳オブジェクト生成部１４は、ステップＳ７８において、２次元オブジェクトの重畳描画処理を実行する。すなわち、重畳オブジェクト生成部１４は、不透過表示の２次元オブジェクトを３次元画像に重畳させる。
　一方、透過フラグがオンである場合（ステップＳ７７，Ｎｏ）、重畳オブジェクト生成部１４は、ステップＳ７９において、２次元オブジェクトの透過処理と重畳描画処理とを実行する。すなわち、重畳オブジェクト生成部１４は、透過表示の２次元オブジェクトを３次元画像に重畳させる。重畳オブジェクト生成部１４は、２次元データにおける透過度または画素のアルファ値を調整することによって、２次元オブジェクトの透過処理を行う。以上により、表示装置１Ｂは、３次元画像に重畳される透過表示の２次元オブジェクト、または不透過表示の２次元オブジェクトを生成する。
　なお、透過処理部６１は、透過フラグがオンとされた２次元データについて、透過フラグのオンとオフとを切り換えることが可能であっても良い。透過処理部６１は、操作部５１への操作に従って、透過フラグのオンとオフとを切り換える。透過フラグのオンとオフとが切り換え可能であることによって、表示装置１Ｂは、３次元画像に重畳される２次元オブジェクトを透過表示するか不透過表示とするかを任意に変更することができる。
　実施の形態３によると、表示装置１Ｂは、透過表示される２次元オブジェクトを重畳オブジェクト生成部１４によって生成できることによって、異常が生じた箇所の視認性をさらに向上させることができる。
実施の形態４．
　図２３は、実施の形態４にかかる表示装置１Ｃの機能構成を示す図である。表示装置１Ｃは、発生した異常ごとの情報であるアラーム情報がアラーム一覧から選択されることによって、選択されたアラーム情報に示される異常について、異常が発生した部分を表示する。実施の形態４では、上記の実施の形態１から３と同一の構成要素には同一の符号を付し、実施の形態１から３とは異なる構成について主に説明する。
　表示装置１Ｃは、実施の形態３にかかる表示装置１Ｂと同様の機能構成を備える。さらに、表示装置１Ｃは、操作によって選択されたアラーム情報を特定するアラーム選択部７１と、アラーム画面に表示されるウィンドウを生成するウィンドウ生成部７２と、アラーム画面にアラーム一覧を表示するアラーム表示部７３とを有する。アラーム選択部７１およびウィンドウ生成部７２の各機能は、プロセッサ２０とソフトウェアの組み合わせ等を使用して実現される。アラーム表示部７３の機能は、ディスプレイ２４を使用して実現される。なお、表示装置１Ｃは、表示装置１Ｂと同様の機能構成にアラーム選択部７１、ウィンドウ生成部７２およびアラーム表示部７３を追加したものに限られない。表示装置１Ｃは、実施の形態１にかかる表示装置１と同様の機能構成、または、実施の形態２にかかる表示装置１Ａと同様の機能構成に、アラーム選択部７１、ウィンドウ生成部７２およびアラーム表示部７３を追加したものであっても良い。
　アラーム一覧は、発生した異常ごとの情報であるアラーム情報の一覧である。表示装置１Ｃは、アラーム画面においてアラーム一覧を表示する。アラーム選択部７１によってアラーム情報が選択されると、アラーム選択部７１は、選択されたアラーム情報を特定し、ウィンドウ生成部７２と画像生成部１２と重畳オブジェクト生成部１４とに、特定されたアラーム情報を通知する。ウィンドウ生成部７２は、アラーム情報の通知を受けると、アラーム画面に表示されるウィンドウを生成する。
　画像生成部１２は、通知されたアラーム情報を基に、３次元画像を生成するための３次元データを特定し、特定された３次元データをデータ格納部１５から読み出す。重畳オブジェクト生成部１４は、通知されたアラーム情報を基に、２次元オブジェクトを生成するための２次元データを特定し、特定された２次元データをデータ格納部１５から読み出す。アラーム表示部７３は、アラーム一覧からアラーム情報が選択されたことによって、アラーム画面に表示されるウィンドウに、２次元オブジェクトが重畳された３次元画像を表示する。このように、表示装置１Ｃは、被制御機器の像３１を回転させる表示を、アラーム一覧に提携させる。
　次に、表示装置１Ｃにおけるアラーム一覧の表示と３次元画像の表示とについて説明する。図２４は、実施の形態４にかかる表示装置１Ｃにおけるアラーム一覧の表示と、表示装置１Ｃにおいて３次元画像が表示される様子とを示す図である。図２４には、表示装置１Ｃにおいてアラーム画面７４が表示されている様子と、アラーム画面７４からアラーム情報が選択されることによるロボット３の像３１の回転表示の様子とを示している。
　アラーム情報は、異常が発生した時刻と、異常の内容を示すメッセージと、異常が復旧した時刻とを含む。アラーム情報には、異常の内容または原因を示すエラーコード、または異常の累積発生回数などといった情報が含まれても良い。
　操作部５１は、アラーム画面７４において、アラーム一覧の中からアラーム情報を選択するための操作を受け付ける。作業者は、アラーム画面７４においてアラーム情報が記載されている行７６をタッチする操作によって、アラーム一覧の中からアラーム情報を選択する。アラーム表示部７３は、アラーム情報が選択されると、アラーム画面７４にウィンドウ７５を表示する。アラーム表示部７３は、回転情報に従って回転するロボット３の像３１をウィンドウ７５に表示する。像３１のうち、アラーム情報に示される異常が生じた部分の位置には、異常を示す２次元オブジェクトが重畳される。ウィンドウ７５には、２次元オブジェクトが重畳された像３１が回転情報に従って回転している様子が表示される。
　作業者は、アラーム発生時に、発生した異常の内容を瞬時に把握できない場合がある。作業者は、アラーム一覧から、異常が発生した時刻等、異常に関する情報を確認することができる。また、作業者は、アラーム一覧からアラーム情報を選択することによって、回転表示させた像３１において、異常が発生している部分を特定することができる。これにより、作業者による作業効率の向上が可能となる。
　なお、アラーム一覧には、現在発生している異常についてのアラーム情報のみならず、過去に発生した異常についてのアラーム情報が含まれていても良い。作業者は、アラーム一覧の中からアラーム情報を選択することによって、回転表示させた像３１から、現在異常が発生している部分を特定することも、過去に異常が発生した部分を特定することもできる。
　次に、表示装置１Ｃがアラーム画面７４のウィンドウ７５において被制御機器の回転表示を行う際における処理について説明する。図２５は、実施の形態４にかかる表示装置１Ｃがアラーム画面７４のウィンドウ７５において被制御機器の回転表示を行う際における処理の手順を示すフローチャートである。
　ステップＳ８１において、表示装置１Ｃは、制御装置２との通信を開始する。ステップＳ８２において、表示装置１Ｃは、異常発生の通知があったか否かを判断する。異常発生の通知が無い場合（ステップＳ８２，Ｎｏ）、表示装置１Ｃは、異常発生の通知があるまでステップＳ８２の手順を繰り返す。異常発生の通知があった場合（ステップＳ８２，Ｙｅｓ）、表示装置１Ｃは、手順をステップＳ８３へ進める。
　ステップＳ８３において、表示装置１Ｃは、アラーム画面７４にアラーム一覧を表示する。ステップＳ８４において、表示装置１Ｃは、アラーム情報が選択されたか否かを判断する。アラーム情報が選択されなかった場合（ステップＳ８４，Ｎｏ）、表示装置１Ｃは、アラーム情報が選択されるまでステップＳ８４の手順を繰り返す。アラーム情報が選択された場合（ステップＳ８４，Ｙｅｓ）、ステップＳ８５において、表示装置１Ｃは、アラーム画面７４にウィンドウ７５を表示する。
　ステップＳ８６において、表示装置１Ｃは、回転情報取得部１１によって回転情報を取得する。回転情報取得部１１は、取得された回転情報を画像生成部１２と重畳オブジェクト生成部１４とへ出力する。ステップＳ８７において、表示装置１Ｃは、画像生成部１２によって３次元画像を生成する。ステップＳ８８において、表示装置１Ｃは、重畳オブジェクト生成部１４によって２次元オブジェクトを生成する。表示装置１Ｃは、アラーム表示部７３によって、生成された３次元画像に生成された２次元オブジェクトを重畳させる。アラーム表示部７３は、３次元画像に２次元オブジェクトが重畳されることによって新たに生成された画像を、ウィンドウ７５に表示する。これにより、ステップＳ８９において、表示装置１Ｃは、アラーム表示部７３によってウィンドウ７５の表示を更新する。このようにして、表示装置１Ｃは、アラーム画面７４のウィンドウ７５においてロボット３の回転表示を行う。
　ステップＳ９０では、表示装置１Ｃは、ウィンドウ７５を閉じる操作があったか否かを判断する。ウィンドウ７５を閉じる操作の１つは、ウィンドウ７５内にあるボタンがタッチされる操作である。ウィンドウ７５を閉じる操作が無かった場合（ステップＳ９０，Ｎｏ）、表示装置１Ｃは、ステップＳ８６へ手順を戻す。ウィンドウ７５を閉じる操作があった場合（ステップＳ９０，Ｙｅｓ）、表示装置１Ｃは、ステップＳ９１において、ウィンドウ７５の表示をクリアし、ウィンドウ７５を閉じる。以上により、表示装置１Ｃは、図２５に示す手順による処理を終了する。
　実施の形態４によると、表示装置１Ｃは、アラーム一覧からアラーム情報が選択されることによって、２次元オブジェクトが重畳された３次元画像を表示する。これにより、表示装置１Ｃは、作業者による作業効率を向上させることができるという効果を奏する。
　なお、実施の形態１から４において、被制御機器は、制御装置２によって制御可能な機器であれば良く、ロボット３に限られない。表示装置１，１Ａ，１Ｂ，１Ｃは、プログラマブル表示器に限られず、パーソナルコンピュータまたは汎用コンピュータといったコンピュータシステムであっても良い。コンピュータシステムには、表示装置１の機能を実現するためのプログラムがインストールされる。図２に示す記憶装置２２は、ＨＤＤまたはＳＳＤであっても良い。プログラムは、記憶装置２２に格納される。プロセッサ２０は、記憶装置２２に格納されているプログラムをメモリ２１に読み出して実行する。
　以上の各実施の形態に示した構成は、本開示の内容の一例を示すものである。各実施の形態の構成は、別の公知の技術と組み合わせることが可能である。各実施の形態の構成同士が適宜組み合わせられても良い。本開示の要旨を逸脱しない範囲で、各実施の形態の構成の一部を省略または変更することが可能である。
　１，１Ａ，１Ｂ，１Ｃ　表示装置、２　制御装置、３　ロボット、４　作画装置、１０　通信部、１１　回転情報取得部、１２　画像生成部、１３　異常情報取得部、１４　重畳オブジェクト生成部、１５　データ格納部、１６　画像表示部、２０，２６，４０　プロセッサ、２１，２７，４１　メモリ、２２，２８，４２　記憶装置、２３，２９，４３　通信インタフェース、２４，４４　ディスプレイ、２５　タッチパネル、３０　作業支援画面、３１　像、３２，３３，６２　オブジェクト、３４，７５　ウィンドウ、３５　画面データ、４５　入力装置、５１　操作部、５２　座標判別部、５３　回転情報変更部、６１　透過処理部、７１　アラーム選択部、７２　ウィンドウ生成部、７３　アラーム表示部、７４　アラーム画面、７６　行、１００　制御システム。

Claims (12)

  1. 　被制御機器を制御する制御装置と通信可能な通信部と、
    　画面において前記被制御機器を回転させて表示するための３次元画像を生成する画像生成部と、
    　前記被制御機器の部分における異常の有無を表すオブジェクトであって、前記３次元画像のうち前記部分の位置に重畳させるオブジェクトを生成する重畳オブジェクト生成部と、
    　前記画面に表示される前記被制御機器の回転の態様を示す回転情報を取得する回転情報取得部と、
    　前記オブジェクトが重畳された前記３次元画像を表示する画像表示部と、を備え、
    　前記画像生成部は、前記回転情報に基づいて前記３次元画像を回転表示させることを特徴とする表示装置。
  2. 　前記回転情報は、前記制御装置から前記通信部へ送信される情報であることを特徴とする請求項１に記載の表示装置。
  3. 　前記部分における異常の有無を示す異常情報を取得する異常情報取得部を備え、
    　前記重畳オブジェクト生成部は、前記異常情報に基づいて前記オブジェクトを生成することを特徴とする請求項１または２に記載の表示装置。
  4. 　前記重畳オブジェクト生成部は、前記回転情報に基づいて、前記３次元画像における前記被制御機器の面に前記オブジェクトを重畳させる処理を行うことを特徴とする請求項１から３のいずれか１つに記載の表示装置。
  5. 　前記回転情報は、回転の方向を表す情報と、回転の角度を表す情報と、回転の周期を表す情報とを含むことを特徴とする請求項１から４のいずれか１つに記載の表示装置。
  6. 　前記画面における前記被制御機器の回転を停止させる操作を受け付ける操作部を備えることを特徴とする請求項１から５のいずれか１つに記載の表示装置。
  7. 　前記画像生成部は、前記操作である第１の操作に従って回転を停止させた状態の前記被制御機器の像を、前記操作部への第２の操作に従った方向へ回転させるための３次元画像を生成することを特徴とする請求項６に記載の表示装置。
  8. 　透過表示される前記オブジェクトを前記重畳オブジェクト生成部によって生成するための透過処理部を備えることを特徴とする請求項１から７のいずれか１つに記載の表示装置。
  9. 　発生した異常ごとの情報であるアラーム情報の一覧であるアラーム一覧を表示するアラーム表示部を備え、
    　前記アラーム表示部は、前記アラーム一覧から前記アラーム情報が選択されることによって、前記オブジェクトが重畳された前記３次元画像を表示することを特徴とする請求項１から８のいずれか１つに記載の表示装置。
  10. 　被制御機器を制御する制御装置と、
    　前記制御装置と通信可能な表示装置と、を備え、
    　前記表示装置は、
    　画面において前記被制御機器を回転させて表示するための３次元画像を生成する画像生成部と、
    　前記被制御機器の部分における異常の有無を表すオブジェクトであって、前記３次元画像のうち前記部分の位置に重畳させるオブジェクトを生成する重畳オブジェクト生成部と、
    　前記画面に表示される前記被制御機器の回転の態様を示す回転情報を取得する回転情報取得部と、
    　前記オブジェクトが重畳された前記３次元画像を表示する画像表示部と、を備え、
    　前記画像生成部は、前記回転情報に基づいて前記３次元画像を回転表示させることを特徴とする制御システム。
  11. 　前記制御装置は、前記回転情報を保持し、前記表示装置へ前記回転情報を送信することを特徴とする請求項１０に記載の制御システム。
  12. 　請求項１から９のいずれか１つに記載の表示装置において表示される画面を作画装置によって作成する作画方法であって、
    　被制御機器の部分における異常の有無を表すオブジェクトを示す２次元データを、前記被制御機器の３次元形状を示す３次元データのうち前記部分の位置を示す座標に対応付けるステップと、
    　前記被制御機器を制御する制御装置のデータ領域であって前記部分における異常の有無を示すデータが格納されるデータ領域を前記２次元データに対応付けるステップと、を含むことを特徴とする作画方法。
PCT/JP2020/049246 2020-12-28 2020-12-28 表示装置、制御システムおよび作画方法 Ceased WO2022145014A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2020/049246 WO2022145014A1 (ja) 2020-12-28 2020-12-28 表示装置、制御システムおよび作画方法
JP2021527967A JP6991396B1 (ja) 2020-12-28 2020-12-28 表示装置、制御システムおよび作画方法
CN202080102240.6A CN115803785B (zh) 2020-12-28 2020-12-28 显示装置、控制系统及绘图方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/049246 WO2022145014A1 (ja) 2020-12-28 2020-12-28 表示装置、制御システムおよび作画方法

Publications (1)

Publication Number Publication Date
WO2022145014A1 true WO2022145014A1 (ja) 2022-07-07

Family

ID=80447954

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/049246 Ceased WO2022145014A1 (ja) 2020-12-28 2020-12-28 表示装置、制御システムおよび作画方法

Country Status (3)

Country Link
JP (1) JP6991396B1 (ja)
CN (1) CN115803785B (ja)
WO (1) WO2022145014A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09212219A (ja) * 1996-01-31 1997-08-15 Fuji Facom Corp 三次元仮想モデル作成装置及び制御対象物の監視制御装置
JP2004227175A (ja) * 2003-01-21 2004-08-12 Sony Corp メンテナンスシステム
WO2016051544A1 (ja) * 2014-09-30 2016-04-07 株式会社牧野フライス製作所 工作機械の制御装置
WO2016067342A1 (ja) * 2014-10-27 2016-05-06 株式会社牧野フライス製作所 工作機械の制御方法および工作機械の制御装置
JP2016107379A (ja) * 2014-12-08 2016-06-20 ファナック株式会社 拡張現実対応ディスプレイを備えたロボットシステム
JP2017181666A (ja) * 2016-03-29 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020187488A (ja) * 2019-05-13 2020-11-19 株式会社リコー 状態監視装置及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09212219A (ja) * 1996-01-31 1997-08-15 Fuji Facom Corp 三次元仮想モデル作成装置及び制御対象物の監視制御装置
JP2004227175A (ja) * 2003-01-21 2004-08-12 Sony Corp メンテナンスシステム
WO2016051544A1 (ja) * 2014-09-30 2016-04-07 株式会社牧野フライス製作所 工作機械の制御装置
WO2016067342A1 (ja) * 2014-10-27 2016-05-06 株式会社牧野フライス製作所 工作機械の制御方法および工作機械の制御装置
JP2016107379A (ja) * 2014-12-08 2016-06-20 ファナック株式会社 拡張現実対応ディスプレイを備えたロボットシステム
JP2017181666A (ja) * 2016-03-29 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
CN115803785B (zh) 2024-03-15
JP6991396B1 (ja) 2022-01-14
CN115803785A (zh) 2023-03-14
JPWO2022145014A1 (ja) 2022-07-07

Similar Documents

Publication Publication Date Title
EP0940739A2 (en) Robot control apparatus
JP2009009505A (ja) Ｐｌｃ
US10139805B2 (en) Ladder diagram monitoring device capable of additionally displaying operation situation of CNC in comment
CN102214066A (zh) 图像处理装置
JPH09212219A (ja) 三次元仮想モデル作成装置及び制御対象物の監視制御装置
US12479083B2 (en) Information processing apparatus, information processing method, robot system, manufacturing method for article using robot system, program, and recording medium
TWI465868B (zh) 次序程式設計支援裝置
JP6991396B1 (ja) 表示装置、制御システムおよび作画方法
JP4810543B2 (ja) 環境試験装置
JPH103307A (ja) 数値制御装置
JP4214384B2 (ja) ファンクションブロック呼び出し命令を含むラダープログラムの表示切替方法及びプログラミング装置
JP6337810B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2000242315A (ja) 設定表示器、プログラマブルコントローラ、プログラマブルコントローラシステムおよび表示部付き機器
JP5862236B2 (ja) 制御プログラム編集装置及び制御プログラムの作成支援プログラム
CN110442482A (zh) 一种高速工业相机固件的防错架构及其控制方法
JPS59174912A (ja) プログラミング装置
JP6374456B2 (ja) 電子機器及び数値制御装置
JP5830975B2 (ja) 動作制御装置
JP7712373B2 (ja) 教示装置及びロボットシステム
JP4043742B2 (ja) ラダーモニタ装置、並びに、そのプログラムおよび記録媒体
JP3847665B2 (ja) 制御プログラム検索装置、および、そのプログラム
JP2006209381A (ja) 制御用表示装置、そのプログラムおよび記録媒体
JP5840550B2 (ja) 操作手順書作成装置、操作手順書作成方法および操作手順書作成プログラム
JPH11327616A (ja) プログラム式表示装置用の表示画面作成方法
JP2008293392A (ja) ラダープログラミングエディタ

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2021527967

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20968025

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20968025

Country of ref document: EP

Kind code of ref document: A1