WO2019069436A1 - 監視装置、監視システムおよび監視方法 - Google Patents

監視装置、監視システムおよび監視方法 Download PDF

Info

Publication number
WO2019069436A1
WO2019069436A1 PCT/JP2017/036381 JP2017036381W WO2019069436A1 WO 2019069436 A1 WO2019069436 A1 WO 2019069436A1 JP 2017036381 W JP2017036381 W JP 2017036381W WO 2019069436 A1 WO2019069436 A1 WO 2019069436A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
information
dimensional coordinates
monitoring
client
Prior art date
Application number
PCT/JP2017/036381
Other languages
English (en)
French (fr)
Inventor
絵理奈 吉川
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to US16/643,590 priority Critical patent/US11163298B2/en
Priority to CN201780095495.2A priority patent/CN111183401B/zh
Priority to PCT/JP2017/036381 priority patent/WO2019069436A1/ja
Priority to JP2018530932A priority patent/JP6430079B1/ja
Publication of WO2019069436A1 publication Critical patent/WO2019069436A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/05—Programmable logic controllers, e.g. simulating logic interconnections of signals according to ladder diagrams or function charts
    • G05B19/058—Safety, monitoring
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41885—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by modeling, simulation of the manufacturing system
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41815—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the cooperation between machine tools, manipulators and conveyor or other workpiece supply system, workcell
    • G05B19/41825—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the cooperation between machine tools, manipulators and conveyor or other workpiece supply system, workcell machine tools and manipulators only, machining centre
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40311—Real time simulation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Definitions

  • the present invention relates to a monitoring device, a monitoring system and a monitoring method for maintenance of factory equipment.
  • the monitoring apparatus consisting of the conventional surveillance camera is recording from one direction of the surveillance camera, it is impossible to reproduce the detailed operation of the manufacturing site which becomes the blind spot of the surveillance camera, and the manufacturing apparatus such as a robot There was a problem that it took time to identify the cause when trouble occurred or it was difficult to identify the cause. In addition, even if a trouble is notified from the monitoring device, in order to solve the trouble, the user needs to go to the manufacturing site, reproduce and confirm the trouble, and identify the cause.
  • Patent Document 1 two robot control devices and one monitor device are connected, and the operation states of the two robots are drawn in real time on the display screen of one monitor device, whereby the robot operation is performed.
  • the monitoring device periodically collects the current value of the joint angle of the robot from the joint angle server on the robot control device via the communication network, and updates the drawing data of the robot.
  • Patent Document 1 aims to monitor the operation state of the robot, and only the current value of the joint angle of the robot is collected to execute the simulation. Therefore, although it is possible to reconfirm the robot simulation using the current value of the joint angle, it is possible to realistically simulate the trouble under the facility operating condition such as the collision between the transported object on the belt conveyor and the robot. No, I could not use the simulation to take measures against the problem.
  • the present invention has been made in view of the above, and it is an object of the present invention to obtain a monitoring device that makes it possible to simulate the operating condition of factory equipment including a manufacturing device.
  • the present invention acquires information of three-dimensional coordinates at each time indicating the operation status of factory equipment.
  • the present invention is a locus that describes a command on how to combine information of an image showing the operation status of factory equipment with three-dimensional coordinates based on the three-dimensional coordinates for each time and the received reproduction instruction.
  • a trajectory data generation unit for generating data is provided.
  • the monitoring apparatus concerning this invention has an effect that it becomes possible to simulate the working condition of the factory installation containing a manufacturing apparatus.
  • Block diagram showing the configuration of factory equipment according to the first embodiment of the present invention Block diagram showing the detailed configuration of the monitoring system according to the first embodiment Flowchart for explaining the operation of the logging unit according to the first embodiment Flow chart for explaining processing of client and server according to the first embodiment A diagram for explaining “real time reproduction” according to the first embodiment A diagram for explaining “normal reproduction” according to the first embodiment A diagram for explaining “reverse reproduction” according to the first embodiment Diagram for explaining the flow of client and server processing according to the first embodiment Another diagram for explaining the flow of client and server processing according to the first embodiment Diagram showing the configuration of a script according to the first embodiment A diagram showing the configuration of a script related file according to the first embodiment Diagram for explaining execution of “normal playback” according to the first embodiment Diagram for explaining execution of “reverse reproduction” according to the first embodiment FIG.
  • FIG. 6 is a diagram showing a screen of a display unit during execution of “normal playback” according to the first embodiment.
  • Flow chart for explaining processing of client and server when trouble occurs in the first embodiment Diagram for explaining the flow of client and server processing when a problem occurs in Embodiment 1
  • the factory facility 1 further includes a sensor 180 that detects the position of the workpiece 170, a sensor 181 that detects the temperature of the robot 161, and a sensor 182 that detects the temperature of the robot 162.
  • the temperature of each of the robots 161 and 162 is the temperature of each axis corresponding to each joint of the robot arms constituting the robots 161 and 162.
  • the robot control devices 151 and 152, the sensors 180, 181 and 182, and the belt conveyor 190 are connected to the network 200.
  • the network 200 may be wired or wireless.
  • the factory installation 1 is provided with a monitoring system 100 that monitors the states of the robots 161 and 162 and the work 170.
  • the monitoring system 100 includes a logging unit 110 having a logging function, a database 120 held in a storage device, a server 130 that is a monitoring device, and a client device 140 that is a client device that displays moving images that simulate the operation of the factory facility 1. And.
  • the client 140 simulates and displays the operation of the three-dimensional shape of the factory facility 1.
  • the logging unit 110, the database 120, the server 130 and the client 140 are connected to the network 200.
  • the logging unit 110, the server 130 and the client 140 are realized by a computer.
  • the logging unit 110 and the server 130 may be realized by separate computers, but one computer may realize the functions of both.
  • the client 140 simulates and displays the operation of the three-dimensional shape of the manufacturing site in the plant facility 1 based on the data acquired from the server 130.
  • the logging unit 110 acquires information of three-dimensional coordinates for each time indicating the operation status of the factory facility 1 including the manufacturing apparatus.
  • the factory equipment 1 includes the belt conveyor 190 in addition to the robots 161 and 162, and the operation status of the factory equipment 1 also includes the situation of the workpiece 170. Therefore, specifically, the logging unit 110 collects data such as the position and angle of each axis of the robots 161 and 162, the speed of the belt conveyor 190, the position of the workpiece 170, and the time information at a constant cycle.
  • the logging unit 110 transfers the collected data to the database 120 via the network 200 and stores the data in the database 120.
  • the server 130 accesses the database 120 to acquire necessary data.
  • the client 140 requests the server 130 for data necessary for the reproduction operation of the manufacturing apparatus and the manufacturing line.
  • FIG. 2 is a block diagram showing the detailed configuration of the monitoring system 100 according to the first embodiment.
  • FIG. 3 is a flowchart for explaining the operation of the logging unit 110 according to the first embodiment. Note that FIG. 2 omits some of the components of FIG. 1 for the sake of simplicity.
  • the operation period of the plant facility 1 is N cycles when the cycle in which the logging unit 110 collects information is taken as a unit.
  • the logging unit 110 collects data from the robot control devices 151 and 152, the belt conveyor 190, and the sensors 180, 181 and 182 (step S101).
  • the logging unit 110 is a position and an angle of each axis of the robot 161, 162 from the robot control device 151, 152, a speed of the belt conveyor 190 from the belt conveyor 190, a position of the work 170 from the sensor 180,
  • Data such as the temperatures of the robots 161 and 162 from the sensors 181 and 182 are collected via the network 200 together with time information.
  • the data collected by the logging unit 110 via the network 200 may include the speed of movement of each axis of the robots 161 and 162, the temperature of the manufacturing line and the manufacturing site where the manufacturing apparatus is installed. .
  • the logging unit 110 saves the collected data in the database 120 for each time (step S102).
  • the logging unit 110 acquires the position and angle of each axis of the robots 161 and 162, the speed of the belt conveyor 190, the position of the workpiece 170 and the temperature of the robots 161 and 162 for each fixed cycle, and the database together with time information It can be stored at 120. If the absolute value of the difference between the value of the data collected at a certain timing and the value collected one cycle before the relevant timing is larger than a predetermined value, the logging unit 110 uses the data collected at the relevant timing. Determines that noise is superimposed, the data is discarded and the data is not stored in the database 120.
  • the server 130 generates a locus data generation unit 131 that generates locus data relating to a locus of the three-dimensional shape of the plant facility 1 in response to a request from the client 140, and an alarm monitoring unit 132 that acquires alarm information and notifies the client 140. And a three-dimensional shape file 133 based on the information acquired from the database 120, and a bitmap file 134 which is image data.
  • the locus data creation unit 131 creates a script or script file including locus data. As described later, a script is a data file in which data other than trajectory data is also described, but only trajectory data is described in the script file.
  • the three-dimensional shape file 133 is a file having information of three-dimensional coordinates indicating the operating status of the factory equipment 1 including the manufacturing apparatus. Specifically, the three-dimensional shape file 133 is data including the data of the position of each axis of the robots 161 and 162 in the three-dimensional space and the data of the position of the workpiece 170 on the belt conveyor 190 in the three-dimensional space. is there.
  • the three-dimensional shape file 133 contains information of three-dimensional coordinates of a skeleton or a point group to be an outline for displaying the robots 161 and 162 and the workpiece 170 in three-dimensional space.
  • the data of the three-dimensional coordinates of each axis of the robots 161 and 162 is acquired by the logging unit 110 from the control program of the robots 161 and 162 possessed by the robot control devices 151 and 152 and fixed in the database 120 It is stored with the time information in a cycle. Further, the data of the three-dimensional coordinates of the workpiece 170 on the belt conveyor 190 is acquired by the logging unit 110 from the sensor 180 or the belt conveyor 190 and stored in the database 120 along with the time at a constant cycle. The client 140 accesses the database 120, and based on the data stored in the database 120, creates the three-dimensional shape file 133 for each time and saves it in its own storage device.
  • the file format of the three-dimensional shape file 133 conforms to the data format of AutoCAD (registered trademark), SOLIDWORKS (registered trademark) or iCAD (registered trademark)
  • the three-dimensional shape file 133 is AutoCAD (registered trademark), SOLIDWORKS (registered trademark) It is readable by registered trademark) or iCAD (registered trademark).
  • the file format of the three-dimensional shape file 133 is three-dimensional file format Parasolid, Initial Graphics Exchange Specification (IGES), STEP, Standard Triangulated Language (STEP), VPS, Virtual Reality Modeling Language (VRML), CATIA V5 ( It may be a file format such as Computer graphics Aided Three dimensional Interactive Application V5), Pro / E, NX, I-deas or JT. Also, the file format of the three-dimensional shape file 133 is not limited to the existing format as described above, and may be a unique or new file format.
  • the bit map file 134 is a file having image information indicating the operating status of the factory facility 1 including the manufacturing apparatus. Specifically, the bit map file 134 is a robot 161, 162 and a work required to draw the robot 161, 162 and the work 170 in the three-dimensional space by adding to the skeleton or outline indicated by the three-dimensional shape file 133. It is a file which shows the information of 170 images. That is, the bitmap file 134 is information of an image to be pasted on the three-dimensional space along the point group indicated by the three-dimensional shape file 133.
  • the file format of the bitmap file 134 conforms to the data format of AutoCAD (registered trademark), SOLIDWORKS (registered trademark) or iCAD (registered trademark)
  • the bitmap file 134 is AutoCAD (registered trademark), SOLIDWORKS (registered trademark) Or iCAD (registered trademark). Therefore, the file format of the bitmap file 134 may be a file format such as DXF (Drawing Exchange Format), DWG, ME-10, IGES, MicroCADAM drawing, DMNDOS, MCD or BMI.
  • DWG is a standard file format of AutoCAD (registered trademark).
  • the file format of the bitmap file 134 is not limited to the existing format as described above, and may be a unique or new file format.
  • the client 140 simulates the operation of the three-dimensional shape of the factory facility 1 based on the interpretation result of the locus data interpretation unit 141 that interprets the locus data included in the script or script file acquired from the server 130 and the locus data interpretation unit 141.
  • a simulator unit 142 to be executed and a display unit 143 for displaying the result of the operation simulation of the three-dimensional shape by the simulator unit 142 are provided.
  • FIG. 4 is a flowchart illustrating processing of the client 140 and the server 130 according to the first embodiment.
  • FIG. 5 is a diagram for explaining “real time reproduction” according to the first embodiment.
  • FIG. 6 is a diagram for explaining “normal reproduction” according to the first embodiment.
  • FIG. 7 is a diagram for explaining “reverse reproduction” according to the first embodiment.
  • FIG. 8 is a diagram for explaining the process flow of the client 140 and the server 130 according to the first embodiment.
  • FIG. 9 is another diagram illustrating the process flow of the client 140 and the server 130 according to the first embodiment.
  • FIG. 10 is a diagram showing the configuration of a script according to the first embodiment.
  • FIG. 11 is a diagram showing the configuration of a script related file according to the first embodiment.
  • FIG. 12 is a diagram for explaining the execution of the “normal reproduction” according to the first embodiment.
  • FIG. 13 is a diagram for explaining the execution of “reverse reproduction” according to the first embodiment.
  • FIG. 14 is a diagram of a screen of the display unit during execution of “normal playback” according to the first embodiment.
  • the user instructs either playback or reverse playback, and the input device of the client 140 receives the user's instruction (FIG. 4, step S201). Specifically, the user instructs one of “real-time reproduction”, “normal reproduction”, and “reverse reproduction”, and the input device of the client 140 receives any instruction.
  • both the reverse playback times are specified . If the current time and the reverse playback time are both 16:00, the user desires reverse playback as shown in FIG.
  • the client 140 requests the server 130 to transmit necessary data (FIG. 4, FIG. 8, step S202).
  • the client 140 notifies the server 130 of the “real-time playback”, “normal playback” or “reverse playback” instruction accepted in step S 201 and the period determined according to the instruction to the server 130,
  • the server 130 is requested to transmit data for the period.
  • the period determined in accordance with the instruction is a unit of time of data which is a group of data transfer in “real time reproduction”, “normal reproduction” or “reverse reproduction”.
  • the server 130 may initially hold a period determined in accordance with “real time reproduction”, “normal reproduction”, or “reverse reproduction”.
  • a specific example of the defined period is a period of 1 second in the case of "real time reproduction”, or 5 seconds in the case of "normal reproduction” or “reverse reproduction”. Then, even when the client 140 receives any of “real time reproduction”, “normal reproduction”, and “reverse reproduction”, the process from step S202 to step S207 described later is performed periodically based on the above-mentioned determined period. The request from the client 140 to the server 130 in step S202 will also be periodically executed.
  • the server 130 having received the request from the client 140 accesses the database 120 and acquires necessary data (FIG. 4, FIG. 8, FIG. 9, step S203).
  • the necessary data is information of three-dimensional coordinates at each time indicating the operation status of the factory facility 1 including the robots 161 and 162.
  • Necessary data include data of the position of each time on the three-dimensional space of each axis of the robots 161 and 162 necessary for the server 130 to create the three-dimensional shape file 133 and three of the work 170 on the belt conveyor 190.
  • the data of the position for each time in the dimensional space is included.
  • the necessary data further includes data of the speed of the belt conveyor 190 at each time.
  • the data acquired by the server 130 from the database 120 in step S203 includes the temperature of the robots 161 and 162 for each time, the angle of each axis of the robots 161 and 162 for each time, the speed of movement of each axis, and each time The temperature at the manufacturing site may be included. Then, the data acquired by the server 130 from the database 120 in step S203 is for a period determined according to the “real time reproduction”, “normal reproduction” or “reverse reproduction” received by the client 140 as described above. Data of
  • the server 130 uses the data acquired from the database 120 to create data to be transmitted to the client 140 (FIG. 4, step S204). Specifically, as described above, the server 130 is data on the positions of the axes of the robots 161 and 162 in the three-dimensional space acquired from the database 120 and on the three-dimensional space of the workpiece 170 on the belt conveyor 190. The three-dimensional shape file 133 for each time is created based on the data of the position of.
  • the locus data creation unit 131 of the server 130 creates a command that is received by the client 140 for “real-time playback”, “normal playback”, or “reverse playback”, and a period that is set according to the instruction How is the image of the bitmap file 134 combined with the three-dimensional coordinates indicated by the point group of the three-dimensional shape file 133 for each time based on the three-dimensional shape file 133 and displayed continuously in time series? Create trajectory data that describes the command for.
  • the server 130 may refer to the angle of each axis of the robots 161 and 162 and the speed of movement of each axis.
  • the locus data creation unit 131 of the server 130 creates locus data that more faithfully reproduces the movement of each axis of the robots 161 and 162 by referring to the angle of each axis of the robots 161 and 162 and the movement speed of each axis. can do. Further, the trajectory data creation unit 131 can create trajectory data in consideration of the influence of the temperature on the robots 161 and 162 by referring to the temperature of the manufacturing site at each time.
  • the trajectory data creation unit 131 creates a script that is one data file as shown in FIG.
  • the script in FIG. 10 describes the contents of the locus data, and also the speed of the belt conveyor 190, the speed of movement of each axis of the robots 161, 162, the temperature of each axis of the robots 161, 162, the manufacturing site Information such as the temperature of is added. That is, the script contains the information necessary for the client 140 to simulate the operating condition of the plant facility 1.
  • the server 130 transmits the trajectory data to the client 140
  • information such as the trajectory data and the speed of the belt conveyor 190 may be transmitted as separate files.
  • the locus data is described in a script file
  • the speed of the belt conveyor 190 and further, the speed of movement of each axis of the robots 161 and 162 are described in the speed file.
  • the temperature of each axis of 162 and the temperature at the manufacturing site are described in the temperature file.
  • the locus data creation unit 131 of the server 130 creates a script file in which only locus data is described.
  • the server 130 further uses the data acquired from the database 120 to create a velocity file and a temperature file.
  • a script file containing trajectory data and a file containing information obtained from the database 120 are divided, but the configuration of files other than the script file is not limited to the configuration shown in FIG.
  • the server 130 transmits the data to the client 140 (FIG. 4, FIG. 9, step S205).
  • the three-dimensional shape file 133 for each time of the defined period, the bit map file 134, and the script shown in FIG. Send to client 140.
  • the second method of transmitting data from the server 130 to the client 140 the three-dimensional shape file 133 for each time of the defined period, the bit map file 134, the script file shown in FIG. 11, the speed file and the temperature
  • the file is sent from the server 130 to the client 140.
  • the monitoring system 100 may adopt any of the above-described methods as a method of transmitting data from the server 130 to the client 140.
  • the locus data interpretation unit 141 of the client 140 interprets the locus data (FIG. 4, step S206). Specifically, based on the instruction of “real time reproduction”, “normal reproduction” or “reverse reproduction” accepted by the client 140, the locus data interpretation unit 141 extracts the locus data included in the script or script file. Interpret and combine the image of the bitmap file 134 with the three-dimensional coordinates indicated by the point cloud of the three-dimensional shape file 133 for each time, and display the image data of one screen each for continuous display in time series create.
  • the locus data interpretation unit 141 also refers to the speed of the belt conveyor 190 received from the server 130 when creating image data.
  • the trajectory data interpretation unit 141 may further refer to the angle of each axis of the robots 161 and 162 and the movement speed of each axis when creating image data. Further, when creating the image data, the locus data interpretation unit 141 may express the temperature of each axis of the robots 161 and 162 and the temperature of the manufacturing site using numerical values or colors. As described above, the trajectory data interpretation unit 141 can create image data that simulates not only the robots 161 and 162 but also the workpiece 170 and the belt conveyor 190.
  • trajectory data interpretation unit 141 continuously displays image data for each time period that further divides the time period determined according to the instruction of “real time reproduction”, “normal reproduction” or “reverse reproduction”, the robot 161 , 162, and creates image data for each screen so as to be a moving image composed of a three-dimensional graphic simulating the workpiece 170 and the belt conveyor 190.
  • the simulator unit 142 of the client 140 causes the display unit 143 to display an image using the image data created by the trajectory data interpretation unit 141 (FIG. 4, step S207). Specifically, the image data created by the locus data interpretation unit 141 is displayed at each time when the period defined in accordance with the instruction of “real time reproduction”, “normal reproduction” or “reverse reproduction” is further subdivided As described above, when the simulator unit 142 controls the display unit 143, it is possible to cause the display unit 143 to display an image according to the instruction of “real time reproduction”, “normal reproduction”, or “reverse reproduction”.
  • Step S201 is executed when the apparatus receives it.
  • FIG. 14 shows the state of the screen of the display unit 143 during execution of “normal reproduction” in step S207 after the input device of the client 140 receives “normal reproduction” in step S201, and the locus data interpretation unit 141 Since the created image data is displayed as thumbnails 301,..., 305,..., 310 and the bar 300 is at the position of the thumbnail 305, the enlarged screen of the thumbnail 305 is displayed as the large screen 1305 .
  • the display unit 143 of the client 140 can simulate and display not only the actual motions of the robots 161 and 162 but also the actual motions of the workpiece 170 and the belt conveyor 190.
  • the simulator unit 142 detects the thumbnail of the movement destination time of the bar 300 from the enlarged screen. The moving image can be reproduced on the display unit 143.
  • the client 140 determines whether to end the display (FIG. 4, step S208).
  • the client 140 determines that the display of the video on the display unit 143 is ended. (Step S208: Yes), the display is ended as soon as the reverse reproduction for the currently acquired data is completed.
  • the client 140 determines that the display of the video on the display unit 143 is continued (step S208 No), the process returns to step S202, and steps S202 to S207 are repeated.
  • the viewpoint position for the three-dimensional shape of the factory facility 1 in the video displayed on the display unit 143 is given via the input device, that is, the direction in which the user views the three-dimensional shape is given.
  • the simulator unit 142 simulates a motion of a three-dimensional shape viewed from a given viewpoint position.
  • the simulator unit 142 can cause the display unit 143 to display an image simulating an operation of a three-dimensional shape viewed from an arbitrary viewpoint position desired by the user.
  • the operations of the robots 161 and 162 and the work 170 can be simulated. Therefore, according to the monitoring system 100 according to the first embodiment, not only the actual operations of the robots 161 and 162 at the actual manufacturing site, but also the actual operations of the workpiece 170 and the belt conveyor 190 can be reproduced and displayed. As a result, it is possible to simulate a trouble such as a collision between the workpiece 170 on the belt conveyor 190 and the robots 161 and 162, and to display an image of a moving image composed of a three-dimensional graphic on the client 140.
  • the display unit 143 normally executes “real-time reproduction” based on a user's instruction, the user is not always monitoring the display unit 143.
  • the user can instruct “normal playback” with the playback time or can issue “reverse playback” with the reverse playback time.
  • the client 140 having received the instruction collects necessary information from the database 120 via the server 130, thereby moving the movie simulating the situation of the manufacturing site from the desired time backward in the forward direction on the time axis. It is also possible to cause the display unit 143 to reproduce and check the cause of the trouble.
  • the client 140 changes the viewpoint position of the three-dimensional graphic simulating the manufacturing site by reproducing the three-dimensional graphic based on the information acquired from the manufacturing site. Is easily possible. Therefore, unlike monitoring a manufacturing site with a video camera as in the prior art, in the monitoring system 100 according to the first embodiment, no blind spot in the monitored area occurs. As a result, maintenance of the factory facility 1 is facilitated, and information required for monitoring can be significantly reduced as compared with the conventional case of monitoring using a video camera, thus contributing to a reduction in the amount of communication. .
  • FIG. 15 is a flow chart for explaining the processing of the client 140 and the server 130 when a trouble occurs in the first embodiment.
  • FIG. 16 is a diagram for explaining the flow of processing of the client 140 and the server 130 when a problem occurs in the first embodiment.
  • FIG. 17 is a diagram for explaining the flow of processing of the client 140 at the time of troubleshooting in the first embodiment.
  • FIG. 18 is a diagram for explaining the flow of processing of the server 130 at the time of troubleshooting in the first embodiment.
  • an alarm occurs (FIG. 15, step S301).
  • the alarm is generated by a device such as the robot control device 151 or 152 or the belt conveyor 190 that has detected a problem.
  • the alarm monitoring unit 132 of the server 130 that has detected alarm information generated by the robot controller 151 or 152 or the belt conveyor 190 via the network 200 notifies the client 140 of the occurrence of an alarm (FIG. 15, FIG. 16, step S302). ).
  • FIG. 16 illustrates a state in which the robot control device 151 notifies the server 130 of alarm information via the network 200, and the server 130 notifies the client 140 of the occurrence of an alarm.
  • the client 140 notified of the occurrence of the alarm from the server 130 notifies the user of the occurrence of the alarm (FIG. 15, step S303).
  • the method of notifying the user of the occurrence of the alarm by the client 140 may be notified via the display unit 143 or may be notified using voice, and the method is not limited. At this time, the client 140 may notify the user of an alarm occurrence time.
  • the user notified of the occurrence of the alarm instructs either “normal play” or “reverse play” by clicking the “normal play” button 402 or “reverse play” button 403 in FIG.
  • the input device 140 receives an instruction from the user (FIG. 4, step S201).
  • the user may input the reproduction time or the reverse reproduction time with reference to the occurrence time of the alarm and make the input device accept it at step S201.
  • the client 140 having received either "normal playback” or "reverse playback” executes "normal playback” or "reverse playback” according to FIG. 4 (FIG. 15, step S304), and displays the video on the display unit 143. Do.
  • the user who has watched the playback video can examine the cause of the trouble in detail. When it is difficult to identify the cause in “normal playback”, “reverse playback” may make it easier to identify the cause.
  • the trouble is a collision between the work 170 and the robot 161, 162
  • the user can judge that the collision is generated due to the lack of control information of the robot 161, 162 described in the control program of the robot control device 151, 152. In some cases. In this case, the user needs to correct the operation setting information of the robots 161 and 162. Specifically, the user instructs correction of position data or angle data of each axis described in the control program. Then, the client 140 receives an instruction to correct the control program from the user (FIG. 15, step S305).
  • the client 140 acquires the control program of the robot control devices 151 and 152 in advance via the network 200 and the server 130, and the user corrects the control program held by the storage device of the client 140 and corrects it.
  • the client 140 may receive a control program correction instruction.
  • the client 140 may also receive a correction instruction of the control program by receiving the correction content of the control program by the user.
  • the client 140 having received the control program correction instruction transmits the correction instruction to the server 130 (FIG. 15, FIG. 17, step S306). Furthermore, the server 130 that has received the control program correction instruction transmits the correction instruction to the robot control device 151 (FIG. 15, FIG. 18, step S307).
  • the robot control device 151 that has received the control program correction instruction corrects the control program. If the correction instruction of the received control program is the control program after correction, the robot control device 151 may overwrite the control program with the corrected control program, and the correction instruction of the received control program corrects the control program If the content is the content, the control program may be corrected according to the content of the correction.
  • the monitoring system 100 in addition to the actual operations of the robots 161 and 162 at the manufacturing site, it is possible to monitor an image that reproduces and displays the actual operations of the workpiece 170 and the belt conveyor 190 as well.
  • the user can instruct modification of the control program of the robots 161 and 162.
  • the control program of the robots 161 and 162 can be corrected from a remote place without the user having to go to the manufacturing site, and it becomes possible to solve the trouble quickly or unmanage the manufacturing site.
  • the file format of the three-dimensional shape file 133 held by the server 130 may conform to the data format of data of three-dimensional coordinates of each axis of the robots 161 and 162 included in the control program. That is, the data format of data of three-dimensional coordinates of each axis of the robots 161 and 162 in the control program may be the same as the data format of the file format of the three-dimensional shape file 133.
  • three-dimensional CAD is performed for holding information on three-dimensional coordinates indicating the operating status of the factory facility 1, and for creating and correcting data on three-dimensional coordinates of the manufacturing apparatus described in the control program.
  • FIG. 19 is a diagram showing a hardware configuration when a part of the functions of the logging unit 110, the client 140 or the server 130 according to the first embodiment is realized by a computer.
  • a part of the functions of the logging unit 110, the client 140 or the server 130 is realized by a computer
  • a part of the functions of the logging unit 110, the client 140 or the server 130 are CPU (Central Processing Unit) 201 as shown in FIG.
  • the memory 202, the storage device 203, the display device 204, and the input device 205 Some of the functions of the logging unit 110, the client 140, or the server 130 are realized by software, firmware, or a combination of software and firmware.
  • the software or firmware is described as a program and stored in the storage device 203.
  • the CPU 201 realizes a part of the functions of the logging unit 110, the client 140 or the server 130 by reading out software or firmware stored in the storage device 203 into the memory 202 and executing the software or firmware. That is, the step in which the logging unit 110, the client 140 or the server 130 implements a part of the functions of the logging unit 110, the client 140 or the server 130 when the part of their functions is executed by the computer results in A storage device 203 is provided for storing the program to be executed. In addition, it can be said that these programs cause a computer to execute processing realized by part of the functions of the logging unit 110, the client 140 or the server 130.
  • the memory 202 corresponds to a volatile storage area such as a random access memory (RAM).
  • the storage device 203 corresponds to a non-volatile or volatile semiconductor memory such as a read only memory (ROM), a flash memory, or a magnetic disk.
  • ROM read only memory
  • the display device 204 are a monitor and a display.
  • the display unit 143 of the client 140 is realized by the display device 204.
  • Specific examples of the input device 205 are a keyboard, a mouse, and a touch panel.
  • the configuration shown in the above embodiment shows an example of the contents of the present invention, and can be combined with another known technique, and one of the configurations is possible within the scope of the present invention. Parts can be omitted or changed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • General Factory Administration (AREA)
  • Manipulator (AREA)

Abstract

監視装置（１３０）は、工場設備の稼働状況を示す時刻毎の３次元座標の情報を取得し、時刻毎の３次元座標および受け付けた再生の指示に基づいて、工場設備の稼働状況を示す画像の情報を３次元座標にどのように組み合わせて表示するかについての指令を記述する軌跡データを作成する軌跡データ作成部（１３１）を備える。

Description

監視装置、監視システムおよび監視方法
　本発明は、工場設備の保守のための監視装置、監視システムおよび監視方法に関する。
　従来の監視カメラからなる監視装置は、監視カメラの一方向からの録画になる為、監視カメラの死角となる製造現場の詳細な動作については再生することが不可能であり、ロボットといった製造装置にトラブルが発生したときの原因特定に時間がかかるまたは原因特定が困難であるという問題があった。また、監視装置からトラブルを通知されても、トラブルを解決するために、ユーザが製造現場に行ってトラブルを再現および確認して、原因を特定する必要があった。
　特許文献１においては、２台のロボット制御装置と１台のモニタ装置とを接続して、２台のロボットの動作状況を１つのモニタ装置の表示画面にリアルタイムに描画することで、ロボットの動作状況を再現するシステムが提案されている。具体的には、モニタ装置は通信ネットワークを介して周期的にロボットの関節角の現在値をロボット制御装置上の関節角サーバから収集し、ロボットの描画データを更新している。
特開平７－６４６１８号公報
　しかし、特許文献１のシステムは、ロボットの動作状況をモニタすることを目的としており、ロボットの関節角の現在値のみを収集してシミュレーションを実行している。したがって、関節角の現在値を用いてロボットのシミュレーションを再確認することは出来ても、ベルトコンベア上の搬送物とロボットとの衝突といった設備稼働状況下でのトラブルをリアルにシミュレーションすることはできず、シミュレーションを活用してトラブルの対策をすることは出来なかった。
　本発明は、上記に鑑みてなされたものであって、製造装置を含む工場設備の稼働状況を模擬することを可能にする監視装置を得ることを目的とする。
　上述した課題を解決し、目的を達成するために、本発明は、工場設備の稼働状況を示す時刻毎の３次元座標の情報を取得する。本発明は、時刻毎の３次元座標および受け付けた再生の指示に基づいて、工場設備の稼働状況を示す画像の情報を３次元座標にどのように組み合わせて表示するかについての指令を記述する軌跡データを作成する軌跡データ作成部を備えることを特徴とする。
　本発明にかかる監視装置は、製造装置を含む工場設備の稼働状況を模擬することが可能になるという効果を奏する。
本発明の実施の形態１にかかる工場設備の構成を示すブロック図 実施の形態１にかかる監視システムの詳細な構成を示すブロック図 実施の形態１にかかるロギング部の動作を説明するフローチャート 実施の形態１にかかるクライアントおよびサーバの処理を説明するフローチャート 実施の形態１にかかる「リアルタイム再生」を説明する図 実施の形態１にかかる「通常再生」を説明する図 実施の形態１にかかる「逆再生」を説明する図 実施の形態１にかかるクライアントおよびサーバの処理の流れを説明する図 実施の形態１にかかるクライアントおよびサーバの処理の流れを説明する別の図 実施の形態１にかかるスクリプトの構成を示す図 実施の形態１にかかるスクリプト関連ファイルの構成を示す図 実施の形態１にかかる「通常再生」の実行を説明する図 実施の形態１にかかる「逆再生」の実行を説明する図 実施の形態１にかかる「通常再生」の実行中の表示部の画面を示す図 実施の形態１におけるトラブル発生時のクライアントおよびサーバの処理を説明するフローチャート 実施の形態１におけるトラブル発生時のクライアントおよびサーバの処理の流れを説明する図 実施の形態１におけるトラブル対処時のクライアントの処理の流れを説明する図 実施の形態１におけるトラブル対処時のサーバの処理の流れを説明する図 実施の形態１にかかるロギング部、クライアントまたはサーバの機能の一部をコンピュータで実現する場合のハードウェア構成を示す図
　以下に、本発明の実施の形態にかかる監視装置、監視システムおよび監視方法を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
実施の形態１．
　図１は、本発明の実施の形態１にかかる工場設備１の構成を示すブロック図である。実施の形態１にかかる工場設備１は、製造ラインとなる搬送装置であるベルトコンベア１９０と、製造装置であるロボット１６１，１６２と、製造装置の制御装置であるロボット制御装置１５１，１５２と、を備える。ベルトコンベア１９０により搬送物であるワーク１７０が搬送される。図１では、工場設備１が扱うワーク１７０として自動車の例が示されている。ワーク１７０に対して作業を行うロボット１６１，１６２には、それぞれを制御するロボット制御装置１５１，１５２が接続されている。工場設備１には、さらに、ワーク１７０の位置を検出するセンサ１８０と、ロボット１６１の温度を検出するセンサ１８１と、ロボット１６２の温度を検出するセンサ１８２と、が設けられている。ロボット１６１，１６２の温度とは、具体的には、ロボット１６１，１６２を構成するロボットアームの各関節に相当する各軸の温度である。ロボット制御装置１５１，１５２、センサ１８０，１８１，１８２およびベルトコンベア１９０はネットワーク２００に接続されている。なお、ネットワーク２００は、有線または無線のいずれであってもかまわない。
　工場設備１には、ロボット１６１，１６２およびワーク１７０の状態を監視する監視システム１００が設けられている。監視システム１００は、ロギング機能を有するロギング部１１０と、記憶装置に保持されるデータベース１２０と、監視装置であるサーバ１３０と、工場設備１の動作を模擬する動画を表示するクライアント装置であるクライアント１４０と、を備える。クライアント１４０は、工場設備１の３次元形状の動作をシミュレートして表示する。ロギング部１１０、データベース１２０、サーバ１３０およびクライアント１４０はネットワーク２００に接続されている。ロギング部１１０、サーバ１３０およびクライアント１４０はコンピュータにより実現される。ロギング部１１０およびサーバ１３０は、それぞれ別個のコンピュータにより実現されてもよいが、１つのコンピュータによって両者の機能が実現されてもよい。クライアント１４０は、サーバ１３０から取得したデータに基づいて工場設備１における製造現場の３次元形状の動作を模擬して表示する。
　ネットワーク２００を介して、ロギング部１１０は、製造装置を含む工場設備１の稼働状況を示す時刻毎の３次元座標の情報を取得する。工場設備１にはロボット１６１，１６２に加えてベルトコンベア１９０も含まれ、工場設備１の稼働状況にはワーク１７０の状況も含まれる。したがって、ロギング部１１０は、具体的には、ロボット１６１，１６２の各軸の位置および角度、ベルトコンベア１９０の速度、ワーク１７０の位置といったデータを時刻の情報と共に一定周期で収集する。ロギング部１１０は収集した上記データをネットワーク２００経由でデータベース１２０に転送し、データベース１２０に保存する。サーバ１３０はデータベース１２０にアクセスして必要なデータを取得する。クライアント１４０は、製造装置および製造ラインの再生動作のために必要なデータをサーバ１３０に要求する。
　図２は、実施の形態１にかかる監視システム１００の詳細な構成を示すブロック図である。図３は、実施の形態１にかかるロギング部１１０の動作を説明するフローチャートである。なお、図２は、簡単のため図１の構成要素の一部の記載を省いてある。
　ここで、ロギング部１１０が情報を収集する周期を単位にしたときに、工場設備１の稼働期間がＮ周期であるとする。定められたタイミングで、ロギング部１１０は、ロボット制御装置１５１，１５２、ベルトコンベア１９０およびセンサ１８０，１８１，１８２からデータを収集する（ステップＳ１０１）。具体的には、ロギング部１１０は、ロボット制御装置１５１，１５２からのロボット１６１，１６２の各軸の位置および角度、ベルトコンベア１９０からのベルトコンベア１９０の速度、センサ１８０からのワーク１７０の位置、センサ１８１，１８２からのロボット１６１，１６２の温度といったデータを時刻の情報と共にネットワーク２００を介して収集する。さらに、ロギング部１１０がネットワーク２００を介して収集するデータには、ロボット１６１，１６２の各軸の動きの速度、製造ラインおよび製造装置が設置されている製造現場の温度が含まれていてもよい。
　そして、ロギング部１１０は、収集した上記データを時刻毎にデータベース１２０に保存する（ステップＳ１０２）。ロギング部１１０は、ｉ＝１，２，３，・・・，Ｎとｉ＝１からｉ＝ＮになるまでステップＳ１０１およびステップＳ１０２をＮ回繰り返す。これにより、ロギング部１１０は、一定周期毎のロボット１６１，１６２の各軸の位置および角度、ベルトコンベア１９０の速度、ワーク１７０の位置およびロボット１６１，１６２の温度を取得して時刻の情報と共にデータベース１２０に保存することができる。なお、あるタイミングで収集したデータの値と当該タイミングの１周期前に収集した値との差分の絶対値が、定められた値より大きい場合は、ロギング部１１０は、当該タイミングで収集したデータにはノイズが重畳していると判断して、当該データは破棄してデータベース１２０に保存しない。
　サーバ１３０は、クライアント１４０の要求に応じて工場設備１の３次元形状の軌跡にかかる軌跡データを作成する軌跡データ作成部１３１と、アラーム情報を取得してクライアント１４０に通知するアラーム監視部１３２と、データベース１２０から取得した情報に基づく３次元形状ファイル１３３と、画像データであるビットマップファイル１３４と、を備える。軌跡データ作成部１３１は、軌跡データを含んだスクリプトまたはスクリプトファイルを作成する。後述するように、スクリプトは軌跡データ以外のデータも記載されているデータファイルであるが、スクリプトファイルには軌跡データしか記載されていない。
　３次元形状ファイル１３３は、製造装置を含む工場設備１の稼働状況を示す３次元座標の情報を有するファイルである。３次元形状ファイル１３３は、具体的には、ロボット１６１，１６２の各軸の３次元空間上の位置のデータおよびベルトコンベア１９０上のワーク１７０の３次元空間上の位置のデータを含んだデータである。３次元形状ファイル１３３はロボット１６１，１６２およびワーク１７０を３次元空間上で表示するための骨格または輪郭となる点群の３次元座標の情報を含んでいる。上述したように、ロボット１６１，１６２の各軸の３次元座標のデータは、ロボット制御装置１５１，１５２が有しているロボット１６１，１６２の制御プログラムからロギング部１１０が取得してデータベース１２０に一定周期で時刻の情報と共に保存されている。また、ベルトコンベア１９０上のワーク１７０の３次元座標のデータは、センサ１８０またはベルトコンベア１９０からロギング部１１０が取得してデータベース１２０に一定周期で時刻と共に保存されている。クライアント１４０はデータベース１２０にアクセスして、データベース１２０に保存されているこれらのデータに基づいて、時刻毎の３次元形状ファイル１３３を作成して自らの記憶装置に保存してゆく。３次元形状ファイル１３３のファイル形式はＡｕｔｏＣＡＤ（登録商標）、ＳＯＬＩＤＷＯＲＫＳ（登録商標）またはｉＣＡＤ（登録商標）のデータフォーマットに準拠しているので、３次元形状ファイル１３３はＡｕｔｏＣＡＤ（登録商標）、ＳＯＬＩＤＷＯＲＫＳ（登録商標）またはｉＣＡＤ（登録商標）により読み取り可能である。したがって、３次元形状ファイル１３３のファイル形式は、３次元ファイル形式であるＰａｒａｓｏｌｉｄ、ＩＧＥＳ(Initial　Graphics　Exchange　Specification)、ＳＴＥＰ、ＳＴＬ(Standard　Triangulated　Language)、ＶＰＳ、ＶＲＭＬ(Virtual　Reality　Modeling　Language)、ＣＡＴＩＡ　Ｖ５(Computer　graphics　Aided　Three　dimensional　Interactive　Application　Ｖ５)、Ｐｒｏ／Ｅ、ＮＸ、Ｉ-ｄｅａｓまたはＪＴといったファイル形式であってもよい。また、３次元形状ファイル１３３のファイル形式は、上記したような既存の形式に限定されず、独自なまたは新たなファイル形式であってもかまわない。
　ビットマップファイル１３４は、製造装置を含む工場設備１の稼働状況を示す画像の情報を有するファイルである。ビットマップファイル１３４は、具体的には、３次元形状ファイル１３３が示す骨格または輪郭に肉付けして３次元空間におけるロボット１６１，１６２およびワーク１７０を作画するために必要となるロボット１６１，１６２およびワーク１７０の画像の情報を示すファイルである。すなわち、ビットマップファイル１３４は、３次元形状ファイル１３３が示す点群に沿って３次元空間上で貼り付ける画像の情報である。ビットマップファイル１３４のファイル形式はＡｕｔｏＣＡＤ（登録商標）、ＳＯＬＩＤＷＯＲＫＳ（登録商標）またはｉＣＡＤ（登録商標）のデータフォーマットに準拠しているので、ビットマップファイル１３４はＡｕｔｏＣＡＤ（登録商標）、ＳＯＬＩＤＷＯＲＫＳ（登録商標）またはｉＣＡＤ（登録商標）により読み取り可能である。したがって、ビットマップファイル１３４のファイル形式は、ＤＸＦ(Drawing　Exchange　Format)、ＤＷＧ、ＭＥ-１０、ＩＧＥＳ、ＭｉｃｒｏＣＡＤＡＭ図面、ＤＭＮＤＯＳ、ＭＣＤまたはＢＭＩといったファイル形式であってもよい。なお、ＤＷＧは、ＡｕｔｏＣＡＤ（登録商標）の標準ファイル形式である。また、ビットマップファイル１３４のファイル形式は、上記したような既存の形式に限定されず、独自なまたは新たなファイル形式であってもかまわない。
　クライアント１４０は、サーバ１３０から取得したスクリプトまたはスクリプトファイルに含まれる軌跡データを解釈する軌跡データ解釈部１４１と、軌跡データ解釈部１４１の解釈結果に基づいて工場設備１の３次元形状の動作シミュレーションを実行するシミュレータ部１４２と、シミュレータ部１４２による３次元形状の動作シミュレーションの結果を表示する表示部１４３と、を備える。
　図４は、実施の形態１にかかるクライアント１４０およびサーバ１３０の処理を説明するフローチャートである。図５は、実施の形態１にかかる「リアルタイム再生」を説明する図である。図６は、実施の形態１にかかる「通常再生」を説明する図である。図７は、実施の形態１にかかる「逆再生」を説明する図である。図８は、実施の形態１にかかるクライアント１４０およびサーバ１３０の処理の流れを説明する図である。図９は、実施の形態１にかかるクライアント１４０およびサーバ１３０の処理の流れを説明する別の図である。図１０は、実施の形態１にかかるスクリプトの構成を示す図である。図１１は、実施の形態１にかかるスクリプト関連ファイルの構成を示す図である。図１２は、実施の形態１にかかる「通常再生」の実行を説明する図である。図１３は、実施の形態１にかかる「逆再生」の実行を説明する図である。図１４は、実施の形態１にかかる「通常再生」の実行中の表示部の画面を示す図である。
　以下に、実施の形態１にかかるクライアント１４０およびサーバ１３０の処理を説明する。
　まず、ユーザは再生または逆再生のいずれかを指示し、クライアント１４０の入力装置がユーザの指示を受け付ける（図４、ステップＳ２０１）。具体的には、ユーザは「リアルタイム再生」、「通常再生」または「逆再生」のいずれかを指示し、クライアント１４０の入力装置はいずれかの指示を受け付ける。
　ユーザが「リアルタイム再生」を指示する場合は、現在以降の工場設備１の３次元形状の動作を再生することを望む場合である。現在時刻が１６：００の場合、ユーザは、図５に示すような再生を望んでいる。
　ユーザが「通常再生」を指示する場合は、ユーザが希望する過去の再生時刻からの工場設備１の３次元形状の動作を再生することを望む場合なので、再生時刻を共に指定することになる。現在時刻が１６：００で、再生時刻として１５：００が指定された場合、ユーザは、図６に示すような再生を望んでいる。
　ユーザが「逆再生」を指示する場合は、ユーザが希望する逆再生時刻からの工場設備１の３次元形状の動作を逆再生することを望む場合なので、逆再生時刻を共に指定することになる。現在時刻および逆再生時刻が共に１６：００の場合、ユーザは、図７に示すような逆再生を望んでいる。
　ステップＳ２０１の後、クライアント１４０はサーバ１３０に、必要なデータの送信を要求する（図４、図８、ステップＳ２０２）。このとき、クライアント１４０は、ステップＳ２０１において受け付けた「リアルタイム再生」、「通常再生」または「逆再生」のいずれかの指示および当該指示に応じて定められている期間をサーバ１３０に通知すると共に、当該期間分のデータの送信をサーバ１３０に要求する。指示に応じて定められている期間は、「リアルタイム再生」、「通常再生」または「逆再生」においてデータ転送の纏まりとなるデータの時間の単位となっている。なお、サーバ１３０が「リアルタイム再生」、「通常再生」または「逆再生」に応じて定められている期間を当初から保持していてもかまわない。定められている期間の具体例は、「リアルタイム再生」の場合は１秒、「通常再生」または「逆再生」の場合は５秒といった期間である。そして、クライアント１４０が「リアルタイム再生」、「通常再生」または「逆再生」のいずれを受け付けた場合であっても、ステップＳ２０２から後述するステップＳ２０７までは上記定められている期間に基づいて定期的に繰り返し実行されることになるので、ステップＳ２０２のクライアント１４０からサーバ１３０への要求も定期的に実行されることになる。
　クライアント１４０からの要求を受け付けたサーバ１３０は、データベース１２０にアクセスして、必要なデータを取得する（図４、図８、図９、ステップＳ２０３）。必要なデータは、ロボット１６１，１６２を含む工場設備１の稼働状況を示す時刻毎の３次元座標の情報である。必要なデータには、サーバ１３０が３次元形状ファイル１３３を作成するために必要なロボット１６１，１６２の各軸の３次元空間上の時刻毎の位置のデータおよびベルトコンベア１９０上のワーク１７０の３次元空間上の時刻毎の位置のデータが含まれている。必要なデータには、さらにベルトコンベア１９０の時刻毎の速度のデータが含まれる。また、ステップＳ２０３でサーバ１３０がデータベース１２０から取得するデータには、時刻毎のロボット１６１，１６２の温度、時刻毎のロボット１６１，１６２の各軸の角度、各軸の動きの速度、時刻毎の製造現場の温度が含まれていてもよい。そして、ステップＳ２０３でサーバ１３０がデータベース１２０から取得するデータは、上述したようにクライアント１４０が受け付けた「リアルタイム再生」、「通常再生」または「逆再生」の指示に応じて定められている期間分のデータである。
　次に、サーバ１３０はデータベース１２０から取得したデータを用いて、クライアント１４０に送信するデータを作成する（図４、ステップＳ２０４）。具体的には、サーバ１３０は、先に説明したように、データベース１２０から取得したロボット１６１，１６２の各軸の３次元空間上の位置のデータおよびベルトコンベア１９０上のワーク１７０の３次元空間上の位置のデータに基づいて、時刻毎の３次元形状ファイル１３３を作成する。さらに、サーバ１３０の軌跡データ作成部１３１は、クライアント１４０が受け付けた「リアルタイム再生」、「通常再生」または「逆再生」のいずれかの指示、当該指示に応じて定められている期間および作成した３次元形状ファイル１３３に基づいて、時刻毎の３次元形状ファイル１３３の点群が示す３次元座標にビットマップファイル１３４の画像をどのように組み合わせて、時系列に沿って連続して表示するかについての指令を記述する軌跡データを作成する。サーバ１３０による軌跡データの作成に際しては、サーバ１３０はロボット１６１，１６２の各軸の角度、各軸の動きの速度を参照してもよい。サーバ１３０の軌跡データ作成部１３１はロボット１６１，１６２の各軸の角度、各軸の動きの速度を参照することで、ロボット１６１，１６２の各軸の動きをより忠実に再現した軌跡データを作成することができる。また、軌跡データ作成部１３１は時刻毎の製造現場の温度を参照することにより、温度によるロボット１６１，１６２への影響を考慮した軌跡データを作成することができる。
　サーバ１３０が軌跡データをクライアント１４０に送信するに際しては、軌跡データ作成部１３１が、図１０に示すように１つのデータファイルであるスクリプトを作成する。図１０のスクリプトには、軌跡データの内容が記載されていると共に、ベルトコンベア１９０の速度、さらにはロボット１６１，１６２の各軸の動きの速度、ロボット１６１，１６２の各軸の温度、製造現場の温度といった情報が追記されている。すなわち、スクリプトには、クライアント１４０が工場設備１の稼働状況をシミュレーションする為に必要な情報が含まれている。
　なお、サーバ１３０が軌跡データをクライアント１４０に送信するに際して、軌跡データとベルトコンベア１９０の速度といった情報を別々のファイルで送信してもよい。具体的には、図１１に示すように、軌跡データはスクリプトファイルに記載され、ベルトコンベア１９０の速度、さらにはロボット１６１，１６２の各軸の動きの速度が速度ファイルに記載され、ロボット１６１，１６２の各軸の温度および製造現場の温度が温度ファイルに記載されている。サーバ１３０の軌跡データ作成部１３１は軌跡データのみが記載されたスクリプトファイルを作成する。サーバ１３０は、さらにデータベース１２０から取得したデータを用いて、速度ファイルおよび温度ファイルを作成する。スクリプト関連ファイルにおいては、軌跡データを含んだスクリプトファイルとデータベース１２０から得た情報を含むファイルとが分けられているが、スクリプトファイル以外のファイルの構成は図１１に示した構成に限定されない。
　そして、サーバ１３０はクライアント１４０にデータを送信する（図４、図９、ステップＳ２０５）。サーバ１３０からクライアント１４０にデータを送信する第一の方法では、定められている期間分の時刻毎の３次元形状ファイル１３３と、ビットマップファイル１３４と、図１０に示すスクリプトと、をサーバ１３０からクライアント１４０に送信する。サーバ１３０からクライアント１４０にデータを送信する第二の方法では、定められている期間分の時刻毎の３次元形状ファイル１３３と、ビットマップファイル１３４と、図１１に示すスクリプトファイル、速度ファイルおよび温度ファイルと、をサーバ１３０からクライアント１４０に送信する。監視システム１００は、サーバ１３０からクライアント１４０にデータを送信する方法として、上記いずれの方法を採用してもかまわない。
　サーバ１３０から軌跡データを含んだデータを受信したクライアント１４０の軌跡データ解釈部１４１は、軌跡データを解釈する（図４、ステップＳ２０６）。具体的には、クライアント１４０が受け付けた「リアルタイム再生」、「通常再生」または「逆再生」のいずれかの指示に基づいて、軌跡データ解釈部１４１は、スクリプトまたはスクリプトファイルに含まれる軌跡データを解釈して、時刻毎の３次元形状ファイル１３３の点群が示す３次元座標にビットマップファイル１３４の画像を組み合わせて、時系列に沿って連続して表示するための１画面ずつの画像データを作成する。軌跡データ解釈部１４１は、画像データの作成に際しては、サーバ１３０から受信したベルトコンベア１９０の速度も参照する。軌跡データ解釈部１４１は、画像データの作成に際して、ロボット１６１，１６２の各軸の角度、各軸の動きの速度をさらに参照してもよい。また、軌跡データ解釈部１４１は、画像データの作成に際して、ロボット１６１，１６２の各軸の温度および製造現場の温度を、数値または色を用いて表現してもよい。以上により、軌跡データ解釈部１４１は、ロボット１６１，１６２のみならず、ワーク１７０およびベルトコンベア１９０も模擬した画像データを作成することができる。軌跡データ解釈部１４１は、「リアルタイム再生」、「通常再生」または「逆再生」の指示に応じて定められている期間内を更に細分する時間毎の画像データを連続的に表示すればロボット１６１，１６２、ワーク１７０およびベルトコンベア１９０を模擬した立体グラフィックからなる動画となるように、１画面ずつの画像データを作成する。
　そして、クライアント１４０のシミュレータ部１４２は、軌跡データ解釈部１４１が作成した画像データを用いて、表示部１４３に映像を表示させる（図４、ステップＳ２０７）。具体的には、軌跡データ解釈部１４１が作成した画像データを「リアルタイム再生」、「通常再生」または「逆再生」の指示に応じて定められている期間内を更に細分する時刻毎に表示するようにシミュレータ部１４２が表示部１４３を制御することにより、「リアルタイム再生」、「通常再生」または「逆再生」の指示に応じた映像を表示部１４３に表示させることができる。
　現在時刻が１６：００である場合、「リアルタイム再生」における映像の再生は図５のように時刻に基づいて順方向に行われ、再生時刻として１５：００が指定された場合の「通常再生」における映像の再生は図１２のように時刻に基づいて順方向に行われる。現在時刻および逆再生時刻が共に１６：００の場合の「逆再生」における映像の再生は図１３のように時刻に基づいて逆方向に行われる。
　図１４の画面左側には、「リアルタイム再生」ボタン４０１、「通常再生」ボタン４０２および「逆再生」ボタン４０３が示されており、いずれかのボタンをクリックするといったユーザによる動作をクライアント１４０の入力装置が受け付けることによりステップＳ２０１が実行される。図１４は、クライアント１４０の入力装置がステップＳ２０１で「通常再生」を受け付けて、ステップＳ２０７において「通常再生」を実行中の表示部１４３の画面の様子を示しており、軌跡データ解釈部１４１が作成済みの画像データがサムネイル３０１，・・・３０５，・・・，３１０で表示されており、バー３００がサムネイル３０５の位置にあるので、サムネイル３０５の拡大画面が大画面１３０５として表示されている。このように、クライアント１４０の表示部１４３は、ロボット１６１，１６２の実際の動作のみならず、ワーク１７０およびベルトコンベア１９０の実際の動作も模擬して表示することが可能である。なお、映像の再生中に、ユーザがバー３００を動かすことにより、バー３００の移動をクライアント１４０の入力装置が受け付けると、シミュレータ部１４２は、バー３００の移動先の時刻のサムネイルの拡大画面からの動画を表示部１４３に再生させることができる。
　そして、クライアント１４０は、表示を終了するか否かを判断する（図４、ステップＳ２０８）。「逆再生」の場合において、データベース１２０に保存されているデータの最初の時刻までの逆再生が現在行われている場合は、クライアント１４０は、表示部１４３への映像の表示を終了すると判断して（ステップＳ２０８：Ｙｅｓ）、現在取得しているデータ分の逆再生が終了次第、表示を終了する。「逆再生」の場合であって上記以外の場合、「リアルタイム再生」の場合および「通常再生」の場合は、クライアント１４０は、表示部１４３への映像の表示を継続すると判断して（ステップＳ２０８：Ｎｏ）、ステップＳ２０２に戻って、ステップＳ２０２からステップＳ２０７までが繰り返される。
　なお、トラブルの原因解析をする際には、ユーザからの視点を変えて工場設備１の３次元形状の動作を再現することが望ましい。したがって、クライアント１４０は、表示部１４３に表示される映像における工場設備１の３次元形状に対する視点位置が入力装置を介して与えられた場合、すなわち３次元形状をユーザが観る方向が与えられた場合、与えられた視点位置から観た３次元形状の動作をシミュレータ部１４２にシミュレートさせる。これによって、シミュレータ部１４２は、ユーザが望む任意の視点位置から観た３次元形状の動作をシミュレートした映像を表示部１４３に表示させることができる。
　以上のように、実施の形態１にかかるサーバ１３０によれば、ロボット１６１，１６２およびワーク１７０の動作を模擬することができる。したがって、実施の形態１にかかる監視システム１００によれば、実際の製造現場におけるロボット１６１，１６２の実際の動作のみならず、ワーク１７０およびベルトコンベア１９０の実際の動作も再現表示することができる。これにより、ベルトコンベア１９０上のワーク１７０とロボット１６１，１６２との衝突といったトラブルを模擬して立体グラフィックからなる動画をクライアント１４０において映像表示することができる。
　表示部１４３は、通常は、ユーザの指示に基づいて「リアルタイム再生」を実行しているが、ユーザが表示部１４３を常に監視しているとは限らない。製造現場においてトラブルが発生した場合、トラブルが発生した時刻の動作を再度確認したい場合がある。このような場合に、ユーザは、再生時刻と共に「通常再生」を指示または逆再生時刻と共に「逆再生」を指示したりすることができる。指示を受け付けたクライアント１４０は、サーバ１３０を経由したデータベース１２０から必要な情報を収集することにより、所望の時刻からの製造現場の様子を模擬した動画を時間軸上で順方向にも逆方向にも表示部１４３に再生させて、トラブルの発生原因を確認することが可能となる。
　そして、実施の形態１にかかる監視システム１００によれば、製造現場から取得した情報を基に立体グラフィックを再生動作させることで、クライアント１４０において、製造現場を模擬した立体グラフィックの視点位置を変更することが容易に可能となる。したがって、従来のようにビデオカメラで製造現場を監視するのとは異なり、実施の形態１にかかる監視システム１００においては、監視エリアの死角が発生しない。これにより、工場設備１の保守が容易となる上、従来のようにビデオカメラを用いて監視する場合に比べて、監視に必要な情報を大幅に削減できるので、通信量の削減にも貢献できる。
　実施の形態１にかかる監視システム１００によれば、製造現場においてトラブルが発生したことを、クライアント１４０を介してユーザは知ることができる。以下に、トラブル発生時およびトラブル対処時のクライアント１４０およびサーバ１３０の処理について図を用いて説明する。図１５は、実施の形態１におけるトラブル発生時のクライアント１４０およびサーバ１３０の処理を説明するフローチャートである。図１６は、実施の形態１におけるトラブル発生時のクライアント１４０およびサーバ１３０の処理の流れを説明する図である。図１７は、実施の形態１におけるトラブル対処時のクライアント１４０の処理の流れを説明する図である。図１８は、実施の形態１におけるトラブル対処時のサーバ１３０の処理の流れを説明する図である。
　まず、製造現場においてロボット１６１，１６２とワーク１７０との衝突といったトラブルが発生するとアラームが発生する（図１５、ステップＳ３０１）。アラームは、ロボット制御装置１５１，１５２またはベルトコンベア１９０といったトラブルを検知した装置が発する。ネットワーク２００を介してロボット制御装置１５１，１５２またはベルトコンベア１９０が発したアラーム情報を検出したサーバ１３０のアラーム監視部１３２は、アラームの発生をクライアント１４０に通知する（図１５、図１６、ステップＳ３０２）。図１６は、具体例として、ネットワーク２００を介して、ロボット制御装置１５１がアラーム情報をサーバ１３０に通知し、サーバ１３０がアラームの発生をクライアント１４０に通知する様子を示す。アラームの発生をサーバ１３０から通知されたクライアント１４０は、アラームの発生をユーザに通知する（図１５、ステップＳ３０３）。クライアント１４０がユーザにアラームの発生を通知する方法は、表示部１４３を介して通知してもよいし、音声を用いて通知してもよく、その方法は限定されない。このとき、クライアント１４０は、アラームの発生時刻をユーザに通知してもよい。
　アラームの発生を通知されたユーザは、図１４の「通常再生」ボタン４０２または「逆再生」ボタン４０３をクリックするといった方法で、「通常再生」または「逆再生」のいずれかを指示し、クライアント１４０の入力装置がユーザの指示を受け付ける（図４、ステップＳ２０１）。クライアント１４０からアラームの発生時刻をユーザが通知されている場合は、ユーザは、ステップＳ２０１に際して、アラームの発生時刻を参考に再生時刻または逆再生時刻を入力して入力装置に受け付けさせてもよい。「通常再生」または「逆再生」のいずれかを受け付けたクライアント１４０は、図４に従って「通常再生」または「逆再生」を実行して（図１５、ステップＳ３０４）、映像を表示部１４３に表示する。
　再生動画を見たユーザは、トラブルの原因を詳細に検証することができる。「通常再生」で原因の特定が困難な場合は、「逆再生」により原因の特定が容易になる場合もある。トラブルがワーク１７０とロボット１６１，１６２との衝突である場合、ユーザは、ロボット制御装置１５１，１５２の制御プログラムに記載されているロボット１６１，１６２の制御情報の不備により衝突が発生したと判断出来る場合もある。この場合、ユーザは、ロボット１６１，１６２の動作設定情報を修正する必要がある。具体的には、ユーザは、制御プログラムに記載されている各軸の位置データまたは角度データの修正を指示する。そして、クライアント１４０は、ユーザによる制御プログラムの修正指示を受け付ける（図１５、ステップＳ３０５）。具体的には、ロボット制御装置１５１，１５２の制御プログラムをクライアント１４０が予めネットワーク２００およびサーバ１３０経由で取得していて、ユーザがクライアント１４０の記憶装置が保持している制御プログラムを修正し、修正後の制御プログラムをクライアント１４０が受け付けることによりクライアント１４０は、制御プログラムの修正指示を受け付けてもよい。また、クライアント１４０は、ユーザによる制御プログラムの修正内容を受け付けることにより、制御プログラムの修正指示を受け付けてもよい。
　制御プログラムの修正指示を受け付けたクライアント１４０は、当該修正指示をサーバ１３０に送信する（図１５、図１７、ステップＳ３０６）。さらに、制御プログラムの修正指示を受け付けたサーバ１３０は、当該修正指示をロボット制御装置１５１に送信する（図１５、図１８、ステップＳ３０７）。制御プログラムの修正指示を受け付けたロボット制御装置１５１は、制御プログラムを修正する。ロボット制御装置１５１は、受け付けた制御プログラムの修正指示が修正後の制御プログラムであれば、制御プログラムを修正後の制御プログラムで上書きすればよいし、受け付けた制御プログラムの修正指示が制御プログラムの修正内容であれば、当該修正内容に従って、制御プログラムを修正すればよい。
　以上説明したように、実施の形態１にかかる監視システム１００においては、製造現場におけるロボット１６１，１６２の実際の動作に加えてワーク１７０およびベルトコンベア１９０の実際の動作も再現表示する映像を監視できるクライアント１４０において、ユーザがロボット１６１，１６２の制御プログラムの修正を指示することができる。これにより、ユーザが製造現場に行かなくても遠隔地からロボット１６１，１６２の制御プログラムを修正することができ、トラブルを迅速に解決することまたは製造現場の無人化が可能となる。また、上記制御プログラムに含まれるロボット１６１，１６２の各軸の３次元座標のデータのデータフォーマットにサーバ１３０が保持する３次元形状ファイル１３３のファイル形式を準拠させてもよい。すなわち、制御プログラムにおけるロボット１６１，１６２の各軸の３次元座標のデータのデータフォーマットと、３次元形状ファイル１３３のファイル形式のデータフォーマットとを同一にしてもよい。これにより、監視システム１００においては、工場設備１の稼働状況を示す３次元座標の情報の保持と、制御プログラムに記載される製造装置の３次元座標のデータの作成および修正とにおいて、３次元ＣＡＤ（Computer　Aided　Design）で使用されている同一のデータフォーマットのファイル形式で３次元座標の情報を扱うことができるので、工場設備１のメンテナンスを容易にすることができる。制御プログラムにおけるロボット１６１，１６２の各軸の３次元座標のデータのデータフォーマットと、３次元形状ファイル１３３のファイル形式のデータフォーマットとが同一の一般的なフォーマットであれば、一般の３次元ＣＡＤソフトウェアで利用することができる。
　図１９は、実施の形態１にかかるロギング部１１０、クライアント１４０またはサーバ１３０の機能の一部をコンピュータで実現する場合のハードウェア構成を示す図である。ロギング部１１０、クライアント１４０またはサーバ１３０の機能の一部をコンピュータで実現する場合、ロギング部１１０、クライアント１４０またはサーバ１３０の機能の一部は、図１９に示すようにＣＰＵ（Central　Processing　Unit）２０１、メモリ２０２、記憶装置２０３、表示装置２０４および入力装置２０５により実現される。ロギング部１１０、クライアント１４０またはサーバ１３０の機能の一部は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述されて記憶装置２０３に格納される。ＣＰＵ２０１は、記憶装置２０３に記憶されたソフトウェアまたはファームウェアをメモリ２０２に読み出して実行することにより、ロギング部１１０、クライアント１４０またはサーバ１３０の機能の一部を実現する。すなわち、ロギング部１１０、クライアント１４０またはサーバ１３０は、それらの機能の一部がコンピュータにより実行されるときに、ロギング部１１０、クライアント１４０またはサーバ１３０の機能の一部を実施するステップが結果的に実行されることになるプログラムを格納するための記憶装置２０３を備える。また、これらのプログラムは、ロギング部１１０、クライアント１４０またはサーバ１３０の機能の一部が実現する処理をコンピュータに実行させるものであるともいえる。メモリ２０２は、ＲＡＭ（Random　Access　Memory）といった揮発性の記憶領域が該当する。記憶装置２０３は、ＲＯＭ（Read　Only　Memory）、フラッシュメモリといった不揮発性または揮発性の半導体メモリ、磁気ディスクが該当する。表示装置２０４の具体例は、モニタ、ディスプレイである。クライアント１４０の表示部１４３は、表示装置２０４により実現される。入力装置２０５の具体例は、キーボード、マウス、タッチパネルである。
　以上の実施の形態に示した構成は、本発明の内容の一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。
　１　工場設備、１００　監視システム、１１０　ロギング部、１２０　データベース、１３０　サーバ、１３１　軌跡データ作成部、１３２　アラーム監視部、１３３　３次元形状ファイル、１３４　ビットマップファイル、１４０　クライアント、１４１　軌跡データ解釈部、１４２　シミュレータ部、１４３　表示部、１５１，１５２　ロボット制御装置、１６１，１６２　ロボット、１７０　ワーク、１８０，１８１，１８２　センサ、１９０　ベルトコンベア、２０１　ＣＰＵ、２０２　メモリ、２０３　記憶装置、２０４　表示装置、２０５　入力装置、３００　バー、３０１，３０５，３１０　サムネイル、４０１　「リアルタイム再生」ボタン、４０２　「通常再生」ボタン、４０３　「逆再生」ボタン、１３０５　大画面。

Claims (14)

  1. 　工場設備の稼働状況を示す時刻毎の３次元座標の情報を取得し、
    　時刻毎の前記３次元座標および受け付けた再生の指示に基づいて、前記工場設備の稼働状況を示す画像の情報を前記３次元座標にどのように組み合わせて表示するかについての指令を記述する軌跡データを作成する軌跡データ作成部を備える
    　ことを特徴とする監視装置。
  2. 　前記軌跡データ作成部は、時刻毎の前記３次元座標および受け付けた逆再生の指示に基づいて、前記軌跡データを作成する
    　ことを特徴とする請求項１に記載の監視装置。
  3. 　接続されたクライアント装置を介して前記指示を受け付け、前記軌跡データを前記クライアント装置に送信する
    　ことを特徴とする請求項１または２に記載の監視装置。
  4. 　前記軌跡データ作成部は、前記工場設備が扱うワークの前記３次元座標にも基づいて前記軌跡データを作成する
    　ことを特徴とする請求項１から３のいずれか１つに記載の監視装置。
  5. 　前記工場設備が備える製造装置の制御装置が発するアラーム情報を検出して、前記クライアント装置に通知するアラーム監視部をさらに備える
    　ことを特徴とする請求項３に記載の監視装置。
  6. 　前記３次元座標の情報は、Ｐａｒａｓｏｌｉｄ、ＩＧＥＳ、ＳＴＥＰ、ＳＴＬ、ＶＰＳ、ＶＲＭＬ、ＣＡＴＩＡ　Ｖ５、Ｐｒｏ／Ｅ、ＮＸ、Ｉ-ｄｅａｓまたはＪＴのファイル形式で保持されている
    　ことを特徴とする請求項１から５のいずれか１つに記載の監視装置。
  7. 　前記画像の情報は、ＤＸＦ、ＤＷＧ、ＭＥ-１０、ＩＧＥＳ、ＭｉｃｒｏＣＡＤＡＭ図面、ＤＭＮＤＯＳ、ＭＣＤまたはＢＭＩのファイル形式で保持されている
    　ことを特徴とする請求項１から６のいずれか１つに記載の監視装置。
  8. 　工場設備の稼働状況を示す時刻毎の３次元座標の情報を取得し、前記３次元座標の情報に基づいて画像データを作成し、前記画像データを用いた映像を前記時刻に基づいて順方向に再生する
    　ことを特徴とする監視システム。
  9. 　請求項３または５に記載の監視装置と、
    　前記クライアント装置と、
    　前記３次元座標の情報を取得するロギング部と、
    　を備えた監視システムであって、
    　前記クライアント装置は、
    　表示部と、
    　前記軌跡データ、前記３次元座標の情報および前記画像の情報に基づいて、画像データを作成する軌跡データ解釈部と、
    　前記指示に基づいて、前記画像データを用いて前記表示部に映像を表示させるシミュレータ部と、
    　を備えることを特徴とする監視システム。
  10. 　前記工場設備の３次元形状に対する視点位置に基づいて、前記シミュレータ部は前記視点位置から観た前記３次元形状の動作をシミュレートした前記映像を前記表示部に表示する
    　ことを特徴とする請求項９に記載の監視システム。
  11. 　前記クライアント装置は、前記工場設備が備える製造装置の制御装置が前記製造装置を制御する制御プログラムの修正指示を受け付ける
    　ことを特徴とする請求項９に記載の監視システム。
  12. 　前記監視装置において前記３次元座標の情報を保持しているファイルのファイル形式のデータフォーマットと、前記制御プログラムに含まれる３次元座標のデータのデータフォーマットとが同一である
    　ことを特徴とする請求項１１に記載の監視システム。
  13. 　クライアント装置と、製造装置を含む工場設備の稼働状況を示す時刻毎の３次元座標の情報を取得する監視装置と、を備えた監視システムの監視方法であって、
    　時刻毎の前記３次元座標および前記クライアント装置が受け付けた再生の指示に基づいて、前記工場設備の稼働状況を示す画像の情報を前記３次元座標にどのように組み合わせて表示するかについての指令を記述する軌跡データを前記監視装置が作成するステップと、
    　前記監視装置が前記軌跡データを前記クライアント装置に送信するステップと、
    　を備えることを特徴とする監視方法。
  14. 　前記軌跡データ、前記３次元座標の情報および前記画像の情報に基づいて、前記クライアント装置が画像データを作成するステップと、
    　前記指示に基づいて、前記画像データを用いて前記クライアント装置の表示部に映像を表示させるステップと、
    　をさらに備えることを特徴とする請求項１３に記載の監視方法。
PCT/JP2017/036381 2017-10-05 2017-10-05 監視装置、監視システムおよび監視方法 WO2019069436A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/643,590 US11163298B2 (en) 2017-10-05 2017-10-05 Monitoring system and monitoring method
CN201780095495.2A CN111183401B (zh) 2017-10-05 2017-10-05 监视系统及监视方法
PCT/JP2017/036381 WO2019069436A1 (ja) 2017-10-05 2017-10-05 監視装置、監視システムおよび監視方法
JP2018530932A JP6430079B1 (ja) 2017-10-05 2017-10-05 監視システムおよび監視方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/036381 WO2019069436A1 (ja) 2017-10-05 2017-10-05 監視装置、監視システムおよび監視方法

Publications (1)

Publication Number Publication Date
WO2019069436A1 true WO2019069436A1 (ja) 2019-04-11

Family

ID=64480546

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/036381 WO2019069436A1 (ja) 2017-10-05 2017-10-05 監視装置、監視システムおよび監視方法

Country Status (4)

Country Link
US (1) US11163298B2 (ja)
JP (1) JP6430079B1 (ja)
CN (1) CN111183401B (ja)
WO (1) WO2019069436A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7075541B1 (ja) * 2020-12-22 2022-05-25 三菱電機株式会社 不具合解析支援プログラム
US11949847B2 (en) 2019-09-30 2024-04-02 Dwango Co., Ltd. Recording device, reproduction device, system, recording method, reproduction method, recording program, and reproduction program

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6450726B2 (ja) * 2016-10-26 2019-01-09 ファナック株式会社 ロボットの動作をシミュレーションするシミュレーション装置、およびシミュレーション方法
DE102018116611B4 (de) * 2018-07-10 2022-02-10 Dematic Gmbh Verfahren und System zur Steuerung des Materialflusses von Objekten in einem realen Lager
CN111360816A (zh) * 2018-12-26 2020-07-03 沈阳新松机器人自动化股份有限公司 一种机器人的控制方法、系统及机器人
CN113226666A (zh) * 2019-01-21 2021-08-06 Abb瑞士股份有限公司 用于监控机器人系统的方法和装置
JP7505919B2 (ja) 2020-05-29 2024-06-25 日鉄テックスエンジ株式会社 工場設備監視システム、工場設備監視方法及びプログラム
CN113194283A (zh) * 2021-04-14 2021-07-30 深圳赛动生物自动化有限公司 一种视频监控的智能控制方法、装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1124735A (ja) * 1997-06-27 1999-01-29 Mitsubishi Electric Corp プラント運転支援システム
JP2000250775A (ja) * 1999-03-01 2000-09-14 Omron Corp トラブル解析支援装置及びシミュレーション装置
JP2000259239A (ja) * 1999-03-12 2000-09-22 Omron Corp ロギング装置、ロギングシステム及びロギングレポート
JP2013222258A (ja) * 2012-04-13 2013-10-28 Mitsubishi Electric Corp 監視制御装置
WO2016189704A1 (ja) * 2015-05-27 2016-12-01 三菱電機株式会社 制御装置、及びデータ再生装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3305451B2 (ja) 1993-08-27 2002-07-22 株式会社安川電機 ロボット制御装置
JP2000132214A (ja) 1998-10-27 2000-05-12 Mitsubishi Electric Corp 加工機遠隔監視装置
JP3667139B2 (ja) * 1999-03-03 2005-07-06 キヤノン株式会社 画像形成装置
US6788218B2 (en) * 2001-07-19 2004-09-07 Lancer Partnership, Ltd. Pseudo real-time diagnostic and process monitoring system
JP3529373B2 (ja) * 2001-11-09 2004-05-24 ファナック株式会社 作業機械のシミュレーション装置
JP4505295B2 (ja) * 2004-09-16 2010-07-21 ヤマザキマザック株式会社 Ｎｃ加工シミュレーション方法及びｎｃ加工シミュレーション装置
JP2008217608A (ja) 2007-03-06 2008-09-18 Farukomu:Kk 産業機械の遠隔監視システム及び方法
US7831411B2 (en) * 2007-05-25 2010-11-09 Rockwell Automation Technologies, Inc. Diagnostic tool for retroactive assessment of industrial process performance
US20080307304A1 (en) * 2007-06-07 2008-12-11 Ernst Feiler Method and system for producing a sequence of views
EP2187283B1 (en) * 2008-02-27 2014-08-13 Mitsubishi Hitachi Power Systems, Ltd. Plant state monitoring method, plant state monitoring computer program, and plant state monitoring apparatus
US8615683B2 (en) * 2011-06-24 2013-12-24 Rockwell Automation Technologies, Inc. Capturing data during operation of an industrial controller for the debugging of control programs
IN2015DN00043A (ja) * 2012-08-03 2015-05-22 Toshiba Mitsubishi Elec Inc
US9278449B1 (en) * 2014-05-21 2016-03-08 Bot & Dolly, Llc Closed-loop control system for robotic operation
JP6392817B2 (ja) * 2016-08-04 2018-09-19 ファナック株式会社 シミュレーション装置
JP6789871B2 (ja) * 2017-03-31 2020-11-25 株式会社荏原製作所 半導体製造装置の動作に関する表示を制御する方法を実行するプログラム、当該方法及び半導体製造装置の動作に関する表示を行うシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1124735A (ja) * 1997-06-27 1999-01-29 Mitsubishi Electric Corp プラント運転支援システム
JP2000250775A (ja) * 1999-03-01 2000-09-14 Omron Corp トラブル解析支援装置及びシミュレーション装置
JP2000259239A (ja) * 1999-03-12 2000-09-22 Omron Corp ロギング装置、ロギングシステム及びロギングレポート
JP2013222258A (ja) * 2012-04-13 2013-10-28 Mitsubishi Electric Corp 監視制御装置
WO2016189704A1 (ja) * 2015-05-27 2016-12-01 三菱電機株式会社 制御装置、及びデータ再生装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11949847B2 (en) 2019-09-30 2024-04-02 Dwango Co., Ltd. Recording device, reproduction device, system, recording method, reproduction method, recording program, and reproduction program
JP7075541B1 (ja) * 2020-12-22 2022-05-25 三菱電機株式会社 不具合解析支援プログラム
WO2022137358A1 (ja) * 2020-12-22 2022-06-30 三菱電機株式会社 不具合解析支援プログラム、不具合解析支援装置、不具合解析支援方法および三次元データ表示プログラム
JP2022099341A (ja) * 2020-12-22 2022-07-04 三菱電機株式会社 不具合解析支援プログラム、不具合解析支援装置、不具合解析支援方法および三次元データ表示プログラム
JP7504149B2 (ja) 2020-12-22 2024-06-21 三菱電機株式会社 不具合解析支援装置、不具合解析支援方法および不具合解析支援プログラム

Also Published As

Publication number Publication date
US11163298B2 (en) 2021-11-02
US20200241513A1 (en) 2020-07-30
CN111183401B (zh) 2021-07-06
JP6430079B1 (ja) 2018-11-28
JPWO2019069436A1 (ja) 2019-11-14
CN111183401A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
JP6430079B1 (ja) 監視システムおよび監視方法
US10751877B2 (en) Industrial robot training using mixed reality
US10685489B2 (en) System and method for authoring and sharing content in augmented reality
JP6551184B2 (ja) シミュレーション装置、シミュレーション方法、およびシミュレーションプログラム
TWI540534B (zh) 虛擬導覽控制系統與方法
US20150379171A1 (en) Robot simulator and file generation method for robot simulator
JP7471428B2 (ja) 製造又は産業環境における協調ロボットとの相互作用のために仮想／拡張現実を使用するためのシステム、方法及びコンピュータ読み取り可能媒体
Liang et al. Real-time state synchronization between physical construction robots and process-level digital twins
KR102203234B1 (ko) Mr기반의 도시철도 기관사 운전연습시스템 및 그 시스템의 구동방법
CN115213890B (zh) 抓取的控制方法、装置、服务器、电子设备及存储介质
JP2021079520A (ja) 拡張現実を用いたシミュレーション装置及びロボットシステム
Bednarz et al. Distributed collaborative immersive virtual reality framework for the mining industry
CN111598273A (zh) 一种基于vr技术的环控生保系统维修性检测方法及装置
JP4053627B2 (ja) 通信型コンピュータグラフィックスアニメーション方法
Taylor et al. Interactive virtual reality in simulations: Exploring lag time
CN112233208B (zh) 机器人状态处理方法、装置、计算设备和存储介质
Wang Improving human-machine interfaces for construction equipment operations with mixed and augmented reality
WO2020067204A1 (ja) 学習用データ作成方法、機械学習モデルの生成方法、学習用データ作成装置及びプログラム
JP3763646B2 (ja) プラント模擬装置
Fucci et al. Measuring audio-visual latencies in virtual reality systems
Horváth et al. A use case of the simulation-based approach to mobile robot algorithm development
KR102664178B1 (ko) 디지털트윈 기반 영상 감시 방법
Wang et al. Research on Virtual Monitoring Method Based on Digital Twin Smart Factory.
JP7200004B2 (ja) 運転動作模擬装置および運転動作模擬方法
Croft et al. An Augmented Reality Command and Control Sand Table Visualization on Top of an Advanced User Interface Display on Large Touch Table Interface

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018530932

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17928033

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17928033

Country of ref document: EP

Kind code of ref document: A1