WO2022234668A1 - 稼働管理装置 - Google Patents

稼働管理装置 Download PDF

Info

Publication number
WO2022234668A1
WO2022234668A1 PCT/JP2021/017560 JP2021017560W WO2022234668A1 WO 2022234668 A1 WO2022234668 A1 WO 2022234668A1 JP 2021017560 W JP2021017560 W JP 2021017560W WO 2022234668 A1 WO2022234668 A1 WO 2022234668A1
Authority
WO
WIPO (PCT)
Prior art keywords
machine
unit
camera
cameras
machine tool
Prior art date
Application number
PCT/JP2021/017560
Other languages
English (en)
French (fr)
Inventor
智史 上野
Original Assignee
ファナック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ファナック株式会社 filed Critical ファナック株式会社
Priority to JP2023518596A priority Critical patent/JPWO2022234668A1/ja
Priority to CN202180097644.5A priority patent/CN117256005A/zh
Priority to DE112021007177.7T priority patent/DE112021007177T5/de
Priority to PCT/JP2021/017560 priority patent/WO2022234668A1/ja
Publication of WO2022234668A1 publication Critical patent/WO2022234668A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling

Definitions

  • the present invention relates to an operation management device.
  • the user needs to collect identification information and position information of each of the plurality of industrial machines arranged in the factory using a terminal device such as a smartphone. and takes time.
  • a terminal device such as a smartphone.
  • surveillance cameras are getting cheaper, and multiple surveillance cameras that can be connected to networks are installed in factories.
  • One aspect of the operation management device of the present disclosure is an operation management device that displays an icon representing at least one industrial machine by arranging it on a layout diagram that outlines a facility in which the industrial machine is installed. , detecting the industrial machine installed in the facility from images taken by a plurality of cameras installed in the facility, based on a plurality of feature points for each industrial machine registered in advance in a machine outline storage unit.
  • a machine tool detection unit detects a feature point that changes in time series among the plurality of detected feature points of the industrial machine, and a time at which the feature point changes in time series, from images captured by each of the plurality of cameras.
  • the point detection unit Based on the point detection unit, the time-series changing feature point detected by the change point detection unit, and the time at which the feature point changes in time series, one or more identical a same machine recognition unit that recognizes the same industrial machine, a distance between at least one set of feature points registered in advance in the machine outline storage unit, and a picture of the industrial machine recognized by the same machine recognition unit a camera parameter calculation unit for calculating camera parameters for each of the plurality of cameras based on the distance between the feature points; and based on the camera parameters for each of the plurality of cameras calculated by the camera parameter calculation unit, a machine distance calculation unit that calculates a distance between each feature point of the industrial machine recognized by the same machine recognition unit and the position of the camera lens center of each of the plurality of cameras; Recognition based on the distance between each feature point of the machine and the position of the camera lens center of each of the plurality of cameras, and the three-dimensional coordinates of the position of the camera lens center of each of the plurality of cameras registered in advance. and a layout drawing creation unit
  • FIG. 5 is a diagram showing an example of a relationship between a machine front area and a threshold value on an image
  • FIG. 10 is a diagram illustrating an example of processing for automatically determining a camera having a positional relationship that can be detected with a predetermined accuracy; It is a figure which shows an example of a layout drawing.
  • FIG. 10 is a diagram illustrating an example of a person's behavior requesting display of augmented reality;
  • FIG. 10 is a diagram illustrating an example of a person's behavior requesting display of augmented reality; It is a figure which shows an example of an AR image.
  • 6 is a flowchart for explaining management processing of the operation management device;
  • FIG. 1 is a functional block diagram showing a functional configuration example of an operation management system according to one embodiment.
  • a machine tool is exemplified as an industrial machine.
  • the present invention can also be applied to industrial machines such as industrial robots, service robots, press machines and injection molding machines.
  • the operation management system 1 includes an operation management device 10, n machine tools 20(1) to 20(n), and m cameras for capturing images (moving images) at a predetermined frame rate. 30(1) to 30(m) (where n is an integer of 1 or greater and m is an integer of 2 or greater).
  • the operation management device 10, the machine tools 20(1) to 20(n), and the cameras 30(1) to 30(m) are interconnected via a network such as a LAN (Local Area Network) or the Internet. good too.
  • the operation management device 10, the machine tools 20(1) to 20(n), and the cameras 30(1) to 30(m) are provided with communication units (not shown) for mutual communication through such connections.
  • the operation management device 10, the machine tools 20(1) to 20(n), and the cameras 30(1) to 30(m) may be directly connected to each other by wire or wirelessly via a connection interface (not shown). good.
  • Machine tools 20 ( 1 )- 20 ( n ) are machine tools known to those skilled in the art and include controller 210 .
  • Machine tools 20 ( 1 ) to 20 ( n ) operate based on operation commands from control device 210 .
  • the control device 210 is, for example, a numerical control device known to those skilled in the art, generates an operation command based on control information, and transmits the generated operation command to the machine tool 20 . Thereby, the control device 210 controls the operation of the machine tool 20 .
  • the control device 210 is a device that causes the machine tool 20 to perform predetermined machining by controlling the machine tool 20 .
  • a machining program describing the operation of the machine tool 20 is provided to the control device 210 . Based on a given machining program, the control device 210 creates motion commands including movement commands for each axis and rotation commands for the motors that drive the spindles, etc., and transmits these motion commands to the machine tool 20. , controls the motors of the machine tool 20 .
  • the machine tool 20 performs predetermined machining.
  • the control device 210 transmits operation information of the machine tool 20 including operation commands to the operation management device 10 .
  • the control device 210 adds time information indicating the time when the machine tool 20 was operated by the operation command to the operation data, and the operation management device 10 can be output to If the machine tool 20 is a robot or the like, the control device 210 may be a robot control device or the like.
  • devices controlled by the control device 210 are not limited to the machine tool 20 and robots, and can be widely applied to industrial machines in general.
  • Industrial machinery includes various machines such as, for example, machine tools, industrial robots, service robots, forging machines and injection molding machines.
  • a numerical control device is exemplified as the control device 210 .
  • the cameras 30(1) to 30(m) are, for example, digital cameras such as surveillance cameras, and are arranged in a factory where the machine tool 20 is arranged.
  • the cameras 30(1) to 30(m) output frame images captured at a predetermined frame rate to the operation management device 10 as video.
  • the cameras 30(1) to 30(m) obtain the time when each frame image was captured based on the clock signal of the clock (not shown) included in each of the cameras 30(1) to 30(m). , the time information indicating the acquired time is added to the video and output to the operation management device 10 .
  • FIGS. 2A and 2B are diagrams showing examples of images captured by the camera 30.
  • FIG. 2A and 2B show images of the same three machine tools 20 captured by two cameras 30 arranged at different positions.
  • each camera 30 is arranged to image a portion of at least one same machine tool 20 as the adjacent cameras 30 .
  • the cameras 30(1) to 30(m) are collectively referred to as the "camera 30" when there is no need to distinguish them individually.
  • the operation management device 10 is, for example, a computer.
  • FIG. 3 is a block diagram showing the configuration of the operation management device 10. As shown in FIG. As shown in FIG. 3 , the operation management device 10 has a control section 110 , a storage section 130 , an input section 150 and a display section 170 .
  • control unit 110 includes a video data acquisition unit 111, a machine tool detection unit 112, a human detection unit 113, a change point detection unit 114, a same machine recognition unit 115, a camera parameter calculation unit 116, an operation information acquisition unit 117, an operation information Machine identification unit 118, machine distance calculation unit 119, machine front area coordinate calculation unit 120, machine front area person detection unit 121, layout drawing creation unit 122, augmented reality display request motion detection unit 123, and augmented reality information transmission unit 124 have.
  • the storage unit 130 also stores video data 131 , operation information 132 , machine tool outline data 133 , and camera three-dimensional coordinate data 134 .
  • the operation management device 10 may have a function of checking the time of clocks (not shown) of the control device 210 and each camera 30 at predetermined time intervals and synchronizing them with each other.
  • the storage unit 130 is, for example, a ROM (Read Only Memory), a HDD (Hard Disk Drive), or the like, and stores a system program, an operation monitoring application program, and the like executed by the control unit 110, which will be described later.
  • the storage unit 130 also stores video data 131, operation information 132, machine tool outline data 133, and camera three-dimensional coordinate data.
  • the video data 131 stores, for each camera 30, video captured by each camera 30, which is acquired by the video data acquisition unit 111, which will be described later.
  • the operation information 132 stores, for each machine tool 20, operation information of each machine tool 20 acquired by an operation information acquisition unit 117, which will be described later, for example.
  • the machine tool outer shape data 133 is, for example, a machine outer shape storage unit based on drawings such as CAD data, and includes a plurality of feature points (for example, corners, logo characters, numerical values, etc.) registered in advance for each model of the machine tool 20. control (NC) part, patrol lamp, door, etc.).
  • the machine tool outer shape data 133 may also store the distance between at least one set of feature points among a plurality of feature points registered in advance based on the drawing.
  • FIG. 4 is a diagram showing an example of features of the machine tool 20. As shown in FIG. In FIG. 4, the feature points are indicated by black dots.
  • the storage unit 130 also stores the three-dimensional coordinates in the world coordinate system of the position of the center of the camera lens, which is the origin of the camera coordinate system set in each camera 30 registered in advance.
  • the origin of the camera coordinate system is set at the center of the camera lens, and the Z axis of the camera coordinate system is a straight line passing through the center of the lens and perpendicular to the lens surface, that is, the optical axis of the camera 30 .
  • the world coordinate system is set, for example, at a predetermined position of the factory (for example, a corner of the floor of the factory) as the coordinate origin.
  • Three-dimensional coordinate values in the world coordinate system centered on the camera lens of each camera 30 are hereinafter referred to as camera three-dimensional coordinate data 134 .
  • the input unit 150 is, for example, a keyboard or a touch panel arranged on the display unit 170 described later, and receives user input.
  • the input unit 150 may function as a camera parameter input unit that receives camera parameters of the camera 30 based on an input operation by a user such as an operator, and indicates the position of the camera lens center of each camera 30 in the world coordinate system. It may function as a camera coordinate input unit that receives three-dimensional coordinates.
  • the display unit 170 is, for example, a liquid crystal display or the like, and may function as a layout information display unit that displays a layout of the machine tool 20 created by the layout drawing creation unit 122, which will be described later.
  • the control unit 110 has a CPU, a ROM, a RAM, a CMOS (Complementary Metal-Oxide-Semiconductor) memory, etc., which are known to those skilled in the art and are configured to communicate with each other via a bus.
  • the CPU is a processor that controls the operation management device 10 as a whole.
  • the CPU reads the system program and the operation management application program stored in the ROM through the bus, and controls the entire operation management device 10 according to the system program and the operation management application program. As a result, as shown in FIG.
  • the control unit 110 includes a video data acquisition unit 111, a machine tool detection unit 112, a human detection unit 113, a change point detection unit 114, a same machine recognition unit 115, a camera parameter calculation unit 116, operation information acquisition unit 117, operation information machine identification unit 118, machine distance calculation unit 119, machine front area coordinate calculation unit 120, machine front area human detection unit 121, layout drawing creation unit 122, augmented reality display request motion detection unit 123, and the functions of the augmented reality information transmission unit 124 are realized.
  • Various data such as temporary calculation data and display data are stored in the RAM.
  • the CMOS memory is backed up by a battery (not shown), and configured as a non-volatile memory that retains the memory state even when the power of the operation management device 10 is turned off.
  • the video data acquisition unit 111 acquires from the camera 30 the frame image of the video imaged by each camera 30 and to which time information is added.
  • the video data acquisition unit 111 stores the acquired video in the video data 131 for each camera 30 .
  • the machine tool detection unit 112 performs, for example, feature point extraction processing known to those skilled in the art on the image acquired by the image data acquisition unit 111, and the extracted feature points and the machine tool outline data 133 registered in advance.
  • the imaged machine tool 20 is detected by comparing a plurality of feature points for each machine tool 20 obtained.
  • the human detection unit 113 performs, for example, a feature point extraction process known to those skilled in the art on the frame image of the video acquired by the video data acquisition unit 111, and combines the extracted feature points with those registered in the storage unit 130 in advance.
  • a person such as a worker imaged in the video is detected by comparing with characteristic point data (not shown) indicating the joints of the person.
  • the change point detection unit 114 captures, with each camera 30, the feature points that change in time series among the plurality of feature points of the machine tool 20 detected by the machine tool detection unit 112 and the time at which the feature points change in time series. It is detected from the captured image and the time information added to the image. Specifically, the change point detection unit 114 specifies, for example, a feature point corresponding to a patrol lamp arranged on the machine tool 20 among the plurality of detected feature points of the machine tool 20 as a feature point that changes in time series. do.
  • the change point detection unit 114 uses the image captured by the camera 30 and the time information to detect the state of the patrol lamp (for example, green indicating that the vehicle is driving, or indicates that the vehicle is stopped) in the image in which the specified feature point (patrol lamp) is captured. and the time when the state of the patrol lamp changes (for example, when it changes from green to yellow) are detected.
  • the change point detection unit 114 may specify the feature point corresponding to the door arranged on the machine tool 20 among the plurality of detected feature points of the machine tool 20 as the feature point that changes in time series. good.
  • the change point detection unit 114 uses the image captured by the camera 30 and the time information to detect the opening/closing state of the door and whether the door is opened or closed in the image in which the specified feature point (door) is captured. You may make it detect the time of the timing which was carried out.
  • the change point detection unit 114 may store the detected feature points that change in time series and the time of the change in time series in a RAM (not shown) or the like included in the control unit 110 for each machine tool 20. .
  • the same machine recognition unit 115 recognizes one or more identical machine tools in each image of the camera 30 based on the time-series changing feature points detected by the change point detection unit 114 and the times when the feature points change in time series. Recognize 20. Specifically, the same-machine recognition unit 115 recognizes, for example, the states of the patrol lamps and doors, which are feature points that change in time series and are detected by the change point detection unit 114, in the images shown in FIGS. Based on the time when the state of the door changed, and the time when the state of the door changed, each of the three machine tools 20 captured in the images of FIGS. 2A and 2B is recognized as the same machine tool.
  • the camera parameter calculation unit 116 calculates the distance between at least one set of feature points on the machine tool 20 registered in advance in the machine tool outline data 133 and the correspondence on the image of the machine tool 20 recognized by the same machine recognition unit 115.
  • the camera parameters of each camera 30 are calculated based on the distance between the feature points.
  • the camera parameter calculator 116 calculates each camera 30 From the image of the machine tool 20 including two feature points with a known distance between the feature points captured by Calculate as Note that a checkerboard or the like having a known distance between feature points is placed on each machine tool 20, and the camera parameter calculation unit 116 calculates the distance between each camera 30 from the image of the machine tool 20 including the checkerboard or the like captured by each camera 30. may be calculated.
  • the operation information acquisition unit 117 acquires operation information of the machine tools 20 including operation commands from the control device 210 of each machine tool 20 .
  • the operation information acquisition unit 117 stores the acquired operation information in the operation information 132 for each machine tool 20 .
  • the operation information machine identification unit 118 identifies the time-series change indicated by the operation information acquired by the operation information acquisition unit 117, the time-series change feature points detected by the change point detection unit 114, and the time-series change of the feature points. It identifies which machine tool 20 among the machine tools 20 recognized by the same machine recognition unit 115 the operation information acquired by the operation information acquisition unit 117 belongs to based on the time and . Specifically, the operation information machine identification unit 118 determines, for example, the state of the machine tool 20 such as operating, stopped, alarming, open/closed door, etc. in the operation information acquired by the operation information acquiring unit 117, and the state of the machine tool. 20 coincides with the state of the patrol lamp or door detected by the change point detection unit 114 among the machine tools 20 recognized by the same machine recognition unit 115 and the time when the state of the patrol lamp or door changed. The machine tool 20 to be used is specified.
  • the machine distance calculation unit 119 calculates the distance between the feature points of the machine tool 20 recognized by the same machine recognition unit 115 and each camera 30 based on the camera parameters of each camera 30 calculated by the camera parameter calculation unit 116 . do. Specifically, the mechanical distance calculation unit 119 uses, for example, the camera parameters of each camera 30 calculated by the camera parameter calculation unit 116 and a known technique (for example, SfM (Structure for Motion)), From the images captured by each camera 30, the distance between each feature point of the machine tool 20 recognized by the same machine recognition unit 115 in the world coordinate system and the position of the camera lens center of each camera 30 is calculated.
  • a known technique for example, SfM (Structure for Motion)
  • the machine front area coordinate calculation unit 120 calculates the distance between the feature point of the machine tool 20 and each camera 30 calculated by the machine distance calculation unit 119, the camera parameters of each camera 30 calculated by the camera parameter calculation unit 116, , the area in front of the machine tool 20 is calculated by the coordinates of the image coordinate system of the images captured by the respective cameras 30 . Specifically, for example, as shown in FIG. From the distances to the four feature points, the equation of the plane indicated by the thick line in front of the machine tool 20 in the world coordinate system is calculated. As shown in FIG.
  • the machine front region coordinate calculation unit 120 moves the calculated front plane of the machine tool 20 in the world coordinate system to a predetermined distance (for example, 2m, etc.) Calculate the equation of the plane indicated by the thick line that has been translated.
  • the machine front area coordinate calculation unit 120 calculates an area surrounded by the calculated front plane of the machine tool 20 and the translated front plane of the machine tool 20 as the machine front area.
  • the machine front region coordinate calculation unit 120 uses the camera parameters of the camera 30 to convert the equations of the front plane of the machine tool 20 that has been calculated and the front plane of the machine tool 20 that has been translated into the camera 30 from the world coordinate system. Convert to the image coordinate system of the video. As a result, the machine front region coordinate calculation unit 120 can calculate the machine front region on the image as shown in FIG. 5B.
  • the machine front area human detection unit 121 detects whether or not a person is included in the area in front of the machine tool 20 (machine front area) calculated by the machine front area coordinate calculation unit 120 by using the camera 30 with a predetermined accuracy. is detected from the image of the camera 30 having a positional relationship that can be detected by . Specifically, the machine front area human detection unit 121 calculates, for example, the X axis and Y axis of the area in front of the machine tool 20 (machine front area) in the image coordinate system of the image calculated by the machine front area coordinate calculation unit 120 . Minimum values x1 and y1 and maximum values x2 and y2 in the respective axial directions are set as threshold values. FIG.
  • FIG. 6 is a diagram showing an example of the relationship between the machine front area and the threshold on the image.
  • the accuracy may vary depending on the placement of the camera 30 .
  • the machine-front area human detection unit 121 automatically determines the camera 30 that can be determined accurately to some extent, that is, the camera 30 that has a positional relationship that allows detection with a predetermined accuracy.
  • FIG. 7 is a diagram illustrating an example of processing for automatically determining the cameras 30 having a positional relationship that allows detection with a predetermined accuracy.
  • FIG. 7 shows the XZ plane of the machine tool 20(1) viewed from the +Y-axis direction of the world coordinate system. show. The same applies to the machine tools 20(2) to 20(n) and the cameras 30(3) to 30(m), and the description is omitted.
  • Equations of four straight lines indicated by dashed lines corresponding to the minimum value x1 and the maximum value x2 of the area are calculated using the extrinsic parameters of the cameras 30(1) and 30(2).
  • the machine-front area human detection unit 121 calculates the area of the shaded area surrounded by the four calculated straight lines and excluding the machine-front area. Then, the machine front area human detection unit 121 determines that the calculated area is larger than a certain ratio of the machine front area (for example, 20% of the machine front area, a ratio that can guarantee that it is approximately in front of the machine tool 20(1)). If it is smaller, it is determined that the cameras 30(1) and 30(2) can be accurately determined to some extent, that is, the cameras have a positional relationship that allows detection with a predetermined accuracy.
  • a certain ratio of the machine front area for example, 20% of the machine front area, a ratio that can guarantee that it is approximately in front of the machine tool 20(1). If it is smaller, it is determined that the cameras 30(1) and 30(2) can be accurately determined to some extent, that is, the cameras have a positional relationship that allows detection with a predetermined accuracy.
  • the machine front region human detection unit 121 detects a human within the range of the thresholds x1 and x2 and the thresholds y1 and y2 in the images of the cameras 30(1), 30(2), etc. determined to be detectable with a predetermined accuracy. When there is a pixel of the image indicating the whole body of the person or the joints of the legs, arms, etc. detected by the detection unit 113, it is determined that the person is in the front area of the machine.
  • the layout drawing creation unit 122 calculates the distance between each feature point of the machine tool 20 calculated by the machine distance calculation unit 119 and the position of the center of the camera lens of each camera 30, and the distances registered in the camera three-dimensional coordinate data 134 in advance. Based on the three-dimensional coordinates of the position of the center of the camera lens of each camera 30, a layout drawing in which the icons of the machine tools 20 recognized by the same machine recognition unit 115 are arranged is created.
  • FIG. 8 is a diagram showing an example of a layout plan. As shown in FIG. 8, the layout drawing creation unit 122 calculates the world coordinate system based on the distance between each feature point of the machine tool 20 calculated by the machine distance calculation unit 119 and the position of the camera lens center of each camera 30.
  • the coordinates of the machine tool 20 at are calculated.
  • the layout drawing creation unit 122 arranges an icon 310 representing the machine tool 20 based on the calculated coordinates of the machine tool 20 and the three-dimensional coordinates of the positions of the camera lens centers of the cameras 30 in the camera three-dimensional coordinate data 134.
  • a plan view (or bird's eye view) layout drawing 300 is created.
  • the layout drawing creation unit 122 also displays the icon 310 in green when the machine tool 20 is in operation, displays the icon 310 in yellow when the machine tool 20 is stopped, and displays the icon 310 in yellow when the machine tool 20 is in alarm. In such a case, the icon 310 may be displayed in red or the like.
  • the layout drawing creation unit 122 displays the person icon 320 together with the icon 310 of the machine tool 20 where the person is detected. You may superimpose and display. Then, the layout drawing creation unit 122 displays the created layout drawing 300 on the display unit 170 as the layout drawing information display unit in real time.
  • the layout drawing creation unit 122 uses the coordinate values registered in the camera three-dimensional coordinate data 134 as the three-dimensional coordinates of the positions of the camera lens centers of the respective cameras 30 in the world coordinate system.
  • coordinate values input by an operator or the like via the input unit 150 may be used.
  • the augmented reality display request motion detection unit 123 detects a motion of a person requesting display of augmented reality superimposed on reality in the image in which the person is detected by the machine front region person detection unit 121 .
  • 9A and 9B are diagrams illustrating an example of a person's behavior requesting an augmented reality display.
  • the camera 30 captures an image of a person holding a smartphone, tablet terminal, or the like toward the machine tool 20, or wearing a wearable terminal such as an augmented reality (AR) device.
  • AR augmented reality
  • the augmented reality display request motion detection unit 123 detects a pose of holding a smartphone or the like over the machine tool 20 or wearing of a wearable terminal in the imaged video.
  • the augmented reality information transmission unit 124 sequentially generates AR image data including operation information of the machine tool 20 in which the area in which the person performing the action detected by the augmented reality display request action detection unit 123 is present is the machine front area,
  • the generated AR image data is transmitted to a smartphone, tablet terminal, wearable terminal, etc. as an augmented reality display unit that displays augmented reality.
  • FIG. 10 is a diagram showing an example of an AR image. As shown in FIG. 10, the smartphone or the like adjusts the position and orientation of the received AR image data based on the camera coordinate system of the camera (not shown) included in the smartphone or the like. ) displays the captured real space image and the received AR image.
  • the AR image includes, for example, the model name of the machine tool 20, "ROBODRILL-1", and operation information of "running” and "until end of machining: 5 minutes".
  • the AR image may also include "spindle temperature sensor value: XXX" as the operation information and a graph of time-series data of the spindle temperature sensor value.
  • FIG. 11 is a flowchart for explaining management processing of the operation management device 10. As shown in FIG. The flow shown here is repeatedly executed while management processing is being performed.
  • step S ⁇ b>11 the video data acquisition unit 111 acquires the video imaged by each camera 30 from each camera 30 .
  • step S12 the machine tool detection unit 112 performs feature point extraction processing on the image acquired in step S11.
  • the imaged machine tool 20 is detected by comparing a plurality of feature points.
  • step S13 the human detection unit 113 performs feature point extraction processing on the frame image of the video acquired in step S11. A person captured in the video is detected by comparing with feature point data (not shown).
  • step S14 the change point detection unit 114 detects the feature points that change in time series among the plurality of feature points of the machine tool 20 detected in step S12 and the times when the feature points change in time series, using the cameras 30, respectively. It is detected from the imaged image and the time information added to the image.
  • step S15 the same machine recognition unit 115 recognizes the same machine tool 20 in each image of the camera 30 based on the time-series changing feature point detected in step S14 and the time when the feature point changes in time series. recognize.
  • step S16 the camera parameter calculation unit 116 calculates the distance between the feature points on the machine tool 20 registered in advance in the machine tool outline data 133 and the corresponding feature points on the image of the machine tool 20 recognized in step S15. , and the camera parameters for each camera 30 are calculated.
  • step S ⁇ b>17 the operation information acquisition unit 117 acquires operation information of the machine tools 20 including operation commands from the control device 210 of each machine tool 20 .
  • step S18 the operation information machine identification unit 118 identifies the time-series change indicated by the operation information acquired in step S17, the time-series change feature point detected in step S14, and the time when the feature point changed time-series. , to identify which machine tool 20 recognized in step S15 the operation information acquired in step S17 belongs to.
  • step S19 the machine distance calculation unit 119 calculates each feature point of the machine tool 20 recognized in step S15 and the position of the camera lens center of each camera 30 based on the camera parameters of each camera 30 calculated in step S16. Calculate the distance from
  • step S20 the machine front area coordinate calculation unit 120 calculates the distance between each feature point of the machine tool 20 calculated in step S19 and the position of the camera lens center of each camera 30, and the distance between each camera 30 calculated in step S16. and the camera parameters, the machine front area of the machine tool 20 is calculated by the coordinates of the image coordinate system of the images of the respective cameras 30 .
  • step S21 the machine front area human detection unit 121 determines whether or not a person is included in the machine front area of the machine tool 20 calculated in step S20. is detected from the image of the camera 30 located at .
  • step S22 the layout drawing creation unit 122 calculates the distance between each feature point of the machine tool 20 calculated in step S19 and the position of the center of the camera lens of each camera 30, and the distances registered in the camera three-dimensional coordinate data 134 in advance. Based on the obtained three-dimensional coordinates of the positions of the camera lens centers of the cameras 30, a layout drawing 300 in which the icons 310 of the machine tools 20 recognized in step S15 are arranged is created.
  • step S23 the augmented reality display request motion detection unit 123 determines whether or not the motion of a person requesting augmented reality display has been detected in the image in which the person is detected by the machine front area person detection unit 121. If a motion of a person requesting display of augmented reality is detected, the process proceeds to step S24. If the motion of the person requesting the display of augmented reality is not detected, the process returns to step S11.
  • step S24 the augmented reality information transmission unit 124 sequentially generates and generates AR image data including operation information of the machine tool 20 in which the region in which the person performing the motion detected in step S23 exists is the machine front region. Send the AR image data to a smartphone, etc.
  • the operation management device 10 can easily create a layout diagram of the plurality of machine tools 20 arranged in the factory using the images captured by the plurality of cameras 30 .
  • the operation management device 10 can easily and quickly determine whether or not there is a person in the machine front area of the machine tool 20 without calculating the three-dimensional coordinates of the person's standing position.
  • the operation management apparatus 10 does not acquire the position information of a device such as a smartphone or the position information of the machine tool 20 whose operation information is to be displayed in augmented reality. It can be understood whether the operation information of the machine 20 should be displayed in augmented reality.
  • the operation management device 10 is not limited to the above-described embodiment, and includes modifications, improvements, etc. within a range that can achieve the purpose.
  • the operation management device 10 is one computer, but it is not limited to this.
  • the video data acquisition unit 111, the machine tool detection unit 112, the human detection unit 113, the change point detection unit 114, the same machine recognition unit 115, the camera parameter calculation unit 116, the operation information acquisition unit 117, and the operation information of the operation management device 10 Machine identification unit 118, machine distance calculation unit 119, machine front area coordinate calculation unit 120, machine front area person detection unit 121, layout drawing creation unit 122, augmented reality display request motion detection unit 123, and augmented reality information transmission unit 124 Some or all of them may be provided by a server, for example.
  • each function of the operation management device 10 may be implemented using a virtual server function or the like on the cloud.
  • the operation management device 10 may be a distributed processing system in which each function of the operation management device 10 is appropriately distributed to a plurality of servers.
  • Each function included in the operation management device 10 can be implemented by hardware, software, or a combination thereof.
  • “implemented by software” means implemented by a computer reading and executing a program.
  • Non-transitory computer-readable media include various types of tangible storage media.
  • Examples of non-transitory computer-readable media include magnetic recording media (e.g., flexible discs, magnetic tapes, hard disk drives), magneto-optical recording media (e.g., magneto-optical discs), CD-ROMs (Read Only Memory), CD- R, CD-R/W, semiconductor memory (eg, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM).
  • the program may also be supplied to the computer on various types of transitory computer readable medium. Examples of transitory computer-readable media include electrical signals, optical signals, and electromagnetic waves. Transitory computer-readable media can deliver the program to the computer via wired communication channels, such as wires and optical fibers, or wireless communication channels.
  • steps of writing a program recorded on a recording medium include not only processes that are executed chronologically in order, but also processes that are executed in parallel or individually, even if they are not necessarily processed chronologically. is also included.
  • the operation management device of the present disclosure can take various embodiments having the following configurations.
  • the operation management device 10 of the present disclosure is an operation management device that displays an icon representing at least one machine tool 20 by arranging it on a layout diagram showing the outline of a facility in which the machine tool 20 is installed. Based on a plurality of feature points for each machine tool 20 registered in advance in the machine tool outer shape data 133, the machine tool 20 installed in the facility is extracted from the images of each of the plurality of cameras 30 installed in the facility. and a machine tool detection unit 112 that detects a feature point that changes in time series among the plurality of detected feature points of the machine tool 20 and the time at which the feature point changes in time series from the images of each of the plurality of cameras 30.
  • the same machine recognition unit 115 that recognizes the same machine tool 20, the distance between at least one set of feature points registered in advance in the machine tool outline data 133, and the machine tool recognized by the same machine recognition unit 115 a camera parameter calculator 116 that calculates the camera parameters of each of the plurality of cameras 30 based on the distance between the feature points on the image of 20; a machine distance calculation unit 119 for calculating the distance between each feature point of the machine tool 20 recognized by the same machine recognition unit 115 and the position of the camera lens center of each of the plurality of cameras 30, based on The distance between each feature point of the machine tool 20 and the position of the camera lens center of each of the plurality of cameras 30 calculated by and the three-dimensional coordinates of the position of the camera lens center of each of the plurality of cameras registered in advance, a layout drawing creation unit 122 that creates a layout drawing
  • the operation information acquisition unit 117 acquires the operation information of the machine tool 20 from the control device 210 that controls the machine tool 20, and the operation information acquired by the operation information acquisition unit 117 The operation information acquired by the operation information acquisition unit 117 based on the time-series change indicated by the operation information, the time-series change feature point detected by the change point detection unit 114, and the time at which the time-series change of the feature point
  • An operation information machine identification unit 118 that identifies which machine tool 20 the information belongs to among the machine tools 20 recognized by the same machine recognition unit 115 may be provided. By doing so, the operation management apparatus 10 automatically associates the machine tool 20 on the image with the acquired operation information, thereby reducing the burden on the operator.
  • the distance between each feature point of the machine tool 20 calculated by the machine distance calculation unit 119 and the position of the camera lens center of each of the plurality of cameras 30, and the camera parameter and camera parameters of each of the plurality of cameras 30 calculated by the calculation unit 116, and the front area of the machine tool 20 is calculated by the coordinates of the image coordinate system of the images captured by each of the plurality of cameras 30.
  • the operation management device 10 can easily and quickly determine whether or not there is a person in the machine front area of the machine tool 20 without calculating the three-dimensional coordinates of the standing position of the person.
  • Augmented reality display request motion detection unit 123 and augmented reality image data including operation information of machine tool 20 in which the region in which the person performing the motion detected by augmented reality display request motion detection unit 123 is present is the front region.
  • an augmented reality information transmission unit 124 that transmits to the device the operation management apparatus 10 does not acquire position information of a device such as a smartphone or position information of the machine tool 20 whose operation information is to be displayed in augmented reality. , it is possible to know which machine tool 20's operating information should be displayed in augmented reality.
  • operation management system 10 operation management device 110 control unit 111 video data acquisition unit 112 machine tool detection unit 113 human detection unit 114 change point detection unit 115 same machine recognition unit 116 camera parameter calculation unit 117 operation information acquisition unit 118 operation information machine identification Unit 119 Machine distance calculation unit 120 Machine front area coordinate calculation unit 121 Machine front area human detection unit 122 Layout drawing creation unit 123 Augmented reality display request motion detection unit 124 Augmented reality information transmission unit 130 Storage unit 131 Video data 132 Operation information 133 Machine work Machine outline data 134 Camera three-dimensional coordinate data 150 Input unit 170 Display unit 20(1) to 20(n) Machine tool 210 Control device 30(1) to 30(m) Camera

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Theoretical Computer Science (AREA)
  • Marketing (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Manufacturing & Machinery (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • General Factory Administration (AREA)

Abstract

複数のカメラにより撮像された映像を用いて、工場に配置された複数の産業機械の配置図を容易に作成すること。　稼働管理装置は、登録された産業機械毎の特徴点に基づき複数のカメラの映像から産業機械を検出する工作機械検出部と、検出した産業機械の特徴点のうち時系列変化する特徴点と変化の時刻とを各カメラの映像から検出する変化点検出部と、時系列変化する特徴点と変化の時刻とに基づき映像で同一の産業機械を認識する同一機械認識部と、登録された特徴点間の距離と産業機械の映像上の特徴点間の距離とに基づき各カメラのカメラパラメータを算出するカメラパラメータ計算部と、各カメラのカメラパラメータに基づき産業機械の特徴点と複数のカメラとの距離を算出する機械距離計算部と、産業機械の各特徴点と各カメラのレンズ中心との距離と各カメラのレンズ中心の３次元座標とから産業機械のアイコンを配置した配置図を作成する配置図作成部と、を備える。

Description

稼働管理装置
　本発明は、稼働管理装置に関する。
　工作機械やロボット等の複数の産業機械が稼働する工場では、各産業機械を制御する制御装置と、各産業機械の稼働状況に関するデータの収集及び監視を行う管理装置と、をネットワークを介して接続し、各産業機械の稼働状況を集中管理する技術が提案されている。例えば、特許文献１参照。
特開２０１７－１０２００号公報
　しかしながら、管理装置上の産業機械の配置図作成において、工場に配置された複数の産業機械それぞれの識別情報と位置情報とを、ユーザがスマートフォン等の端末装置を用いて収集する必要があり、手間と時間がかかる。
　一方、監視カメラの低価格化が進み、工場にネットワーク接続が可能な複数の監視カメラが配置されている。
　そこで、複数のカメラにより撮像された映像を用いて、工場に配置された複数の産業機械の配置図を容易に作成することが望まれている。
　本開示の稼働管理装置の一態様は、少なくとも１つの産業機械を示すアイコンを、前記産業機械が設置された施設の概形を示す配置図の上に配置して表示する稼働管理装置であって、機械外形記憶部に事前に登録された産業機械毎の複数の特徴点に基づいて、前記施設内に設置された複数のカメラそれぞれの映像から、前記施設に設置された前記産業機械を検出する工作機械検出部と、検出された前記産業機械の前記複数の特徴点のうち時系列変化する特徴点と該特徴点が時系列変化した時刻とを、前記複数のカメラそれぞれの映像から検出する変化点検出部と、前記変化点検出部により検出された時系列変化する前記特徴点と、当該特徴点が時系列変化した時刻と、に基づいて、前記複数のカメラそれぞれの映像において１以上の同一の産業機械を認識する同一機械認識部と、前記機械外形記憶部に事前に登録された少なくとも１組の特徴点間の距離と、前記同一機械認識部により認識された前記産業機械の映像上の前記特徴点間の距離とに基づいて、前記複数のカメラそれぞれのカメラパラメータを算出するカメラパラメータ計算部と、前記カメラパラメータ計算部により算出された前記複数のカメラそれぞれのカメラパラメータに基づいて、前記同一機械認識部により認識された前記産業機械の各特徴点と前記複数のカメラそれぞれのカメラレンズ中心の位置との距離を算出する機械距離計算部と、前記機械距離計算部により算出された前記産業機械の各特徴点と前記複数のカメラそれぞれのカメラレンズ中心の位置との距離と、事前に登録された前記複数のカメラそれぞれのカメラレンズ中心の位置の３次元座標と、に基づいて、認識された前記産業機械のアイコンを配置した前記配置図を作成する配置図作成部と、を備える。
　一態様によれば、複数のカメラにより撮像された映像を用いて、工場に配置された産業機械の配置図を容易に作成することができる。
一実施形態に係る稼働管理システムの機能的構成例を示す機能ブロック図である。 カメラにより撮像された映像の一例を示す図である。 カメラにより撮像された映像の一例を示す図である。 稼働管理装置の構成を示すブロック図である。 工作機械の特徴点の一例を示す図である。 工作機械の正面の平面の一例を示す図である。 工作機械の正面を平行移動した平面及び機械前領域の一例を示す図である。 映像上における機械前領域と閾値との関係の一例を示す図である。 所定の精度で検知可能な位置関係にあるカメラを自動で判断する処理を説明する一例を示す図である。 配置図の一例を示す図である。 拡張現実の表示を要求する人の動作の一例を示す図である。 拡張現実の表示を要求する人の動作の一例を示す図である。 ＡＲ画像の一例を示す図である。 稼働管理装置の管理処理について説明するフローチャートである。
＜一実施形態＞
　図１は、一実施形態に係る稼働管理システムの機能的構成例を示す機能ブロック図である。ここでは、産業機械として工作機械を例示する。なお、本発明は、産業用ロボット、サービス用ロボット、鍛圧機械及び射出成形機等の産業機械に対しても適用可能である。
　図１に示すように、稼働管理システム１は、稼働管理装置１０、ｎ台の工作機械２０（１）～２０（ｎ）、及びｍ台の所定のフレームレートで映像（動画）を撮像するカメラ３０（１）～３０（ｍ）を有する（ｎは１以上の整数であり、ｍは２以上の整数である）。
　稼働管理装置１０、工作機械２０（１）～２０（ｎ）、及びカメラ３０（１）～３０（ｍ）は、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）やインターネット等のネットワークを介して相互に接続されていてもよい。この場合、稼働管理装置１０、工作機械２０（１）～２０（ｎ）、及びカメラ３０（１）～３０（ｍ）は、かかる接続によって相互に通信を行うための図示しない通信部を備えている。なお、稼働管理装置１０、工作機械２０（１）～２０（ｎ）、及びカメラ３０（１）～３０（ｍ）は、図示しない接続インタフェースを介して、有線又は無線で互いに直接接続されてもよい。
　工作機械２０（１）～２０（ｎ）は、当業者にとって公知の工作機械であり、制御装置２１０を含む。工作機械２０（１）～２０（ｎ）は、制御装置２１０からの動作指令に基づいて動作する。
　なお、以下、工作機械２０（１）～２０（ｎ）のそれぞれを個々に区別する必要がない場合、これらをまとめて「工作機械２０」という。
　制御装置２１０は、例えば当業者にとって公知の数値制御装置であり、制御情報に基づいて動作指令を生成し、生成した動作指令を工作機械２０に送信する。これにより、制御装置２１０は、工作機械２０の動作を制御する。
　具体的には、制御装置２１０は、工作機械２０を制御することにより、工作機械２０に所定の機械加工を行わせる装置である。制御装置２１０には、工作機械２０の動作を記述した加工プログラムが与えられる。制御装置２１０は、与えられた加工プログラムに基づいて、各軸に対する移動指令、主軸を駆動するモータへの回転指令等を含む動作指令を作成し、この動作指令を工作機械２０に送信することにより、工作機械２０のモータを制御する。これにより、工作機械２０による所定の機械加工が実行される。
　また、制御装置２１０は、動作指令を含む工作機械２０の稼働情報を稼働管理装置１０に送信する。さらに、制御装置２１０は、制御装置２１０に含まれるクロック（図示しない）のクロック信号に基づいて、動作指令により工作機械２０が動作した時刻を示す時刻情報を稼働データに付加して稼働管理装置１０に出力してもよい。
　なお、工作機械２０がロボット等の場合、制御装置２１０は、ロボット制御装置等でもよい。
　また、制御装置２１０の制御対象の装置は工作機械２０やロボットに限定されず、産業機械全般に広く適用することができる。産業機械とは、例えば、工作機械、産業用ロボット、サービス用ロボット、鍛圧機械及び射出成形機といった様々な機械を含む。
　本実施形態では、制御装置２１０として、数値制御装置を例示する。
　カメラ３０（１）～３０（ｍ）は、例えば、監視カメラ等のデジタルカメラであり、工作機械２０が配置された工場内に配置される。カメラ３０（１）～３０（ｍ）は、所定のフレームレートで撮像したフレーム画像を映像として稼働管理装置１０に出力する。また、カメラ３０（１）～３０（ｍ）は、カメラ３０（１）～３０（ｍ）それぞれに含まれるクロック（図示しない）のクロック信号に基づいて、各フレーム画像を撮像した時刻を取得し、取得した時刻を示す時刻情報を映像に付加して稼働管理装置１０に出力する。
　図２Ａ及び図２Ｂは、カメラ３０により撮像された映像の一例を示す図である。図２Ａ及び図２Ｂでは、異なる位置に配置された２つのカメラ３０が同じ３台の工作機械２０を撮像した映像を示す。すなわち、各カメラ３０は、隣接するカメラ３０と、少なくとも１つの同じ工作機械２０の一部分を撮像するように配置される。
　なお、以下、カメラ３０（１）～３０（ｍ）のそれぞれを個々に区別する必要がない場合、これらをまとめて「カメラ３０」という。
＜稼働管理装置１０＞
　稼働管理装置１０は、例えば、コンピュータである。
　図３は、稼働管理装置１０の構成を示すブロック図である。
　図３に示すように、稼働管理装置１０は、制御部１１０、記憶部１３０、入力部１５０、及び表示部１７０を有する。また、制御部１１０は、映像データ取得部１１１、工作機械検出部１１２、人検出部１１３、変化点検出部１１４、同一機械認識部１１５、カメラパラメータ計算部１１６、稼働情報取得部１１７、稼働情報機械特定部１１８、機械距離計算部１１９、機械前領域座標計算部１２０、機械前領域人検出部１２１、配置図作成部１２２、拡張現実表示要求動作検知部１２３、及び拡張現実情報送信部１２４を有する。また、記憶部１３０は、映像データ１３１、稼働情報１３２、工作機械外形データ１３３、及びカメラ３次元座標データ１３４を記憶する。
　また、稼働管理装置１０は、例えば、所定の時間間隔で制御装置２１０及び各カメラ３０のクロック（図示しない）の時刻をチェックし互いに同期させる機能を有するようにしてもよい。
＜記憶部１３０＞
　記憶部１３０は、例えば、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）やＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等であり、後述する制御部１１０が実行するシステムプログラム及び稼働監視アプリケーションプログラム等を格納する。また、記憶部１３０は、映像データ１３１、稼働情報１３２、工作機械外形データ１３３、及びカメラ３次元座標データを記憶する。
　映像データ１３１は、例えば、後述する映像データ取得部１１１により取得されたカメラ３０それぞれにより撮像された映像を、カメラ３０毎に格納する。
　稼働情報１３２は、例えば、後述する稼働情報取得部１１７により取得された工作機械２０それぞれの稼働情報を、工作機械２０毎に格納する。
　工作機械外形データ１３３は、例えば、機械外形記憶部として、ＣＡＤデータ等の図面に基づいて、工作機械２０の機種毎に事前に登録された複数の特徴点（例えば、コーナやロゴの文字、数値制御（ＮＣ）部分、パトランプ、扉等）を格納する。また、工作機械外形データ１３３は、図面に基づいて、事前に登録された複数の特徴点のうち少なくとも１組の特徴点間の距離を格納してもよい。
　図４は、工作機械２０の特徴点の一例を示す図である。図４では、特徴点を黒色の点で示している。
　また、記憶部１３０は、事前に登録された各カメラ３０に設定されるカメラ座標系の原点であるカメラレンズ中心の位置のワールド座標系における３次元座標を記憶する。なお、カメラ座標系の原点はカメラレンズ中心に設定され、カメラ座標系のＺ軸はレンズの中心を通りレンズ面に直交する直線、すなわちカメラ３０の光軸である。また、ワールド座標系は、例えば、工場の所定の位置（例えば、工場のフロアの隅等）を座標原点に設定される。
　以下、各カメラ３０のカメラレンズ中心のワールド座標系における３次元座標値をカメラ３次元座標データ１３４という。
＜入力部１５０＞
　入力部１５０は、例えば、キーボードや後述する表示部１７０に配置されたタッチパネル等であり、ユーザの入力を受け付ける。入力部１５０は、作業者等のユーザの入力操作に基づいて、カメラ３０のカメラパラメータを受け付けるカメラパラメータ入力部として機能してもよく、ワールド座標系における各カメラ３０のカメラレンズ中心の位置を示す３次元座標を受け付けるカメラ座標入力部として機能してもよい。
＜表示部１７０＞
　表示部１７０は、例えば、液晶ディスプレイ等であり、後述する配置図作成部１２２により作成された工作機械２０の配置図を表示する配置図情報表示部として機能してもよい。
＜制御部１１０＞
　制御部１１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）メモリ等を有し、これらはバスを介して相互に通信可能に構成される、当業者にとって公知のものである。
　ＣＰＵは稼働管理装置１０を全体的に制御するプロセッサである。ＣＰＵは、ＲＯＭに格納されたシステムプログラム及び稼働管理アプリケーションプログラムを、バスを介して読み出し、システムプログラム及び稼働管理アプリケーションプログラムに従って稼働管理装置１０全体を制御する。これにより、図２に示すように、制御部１１０が、映像データ取得部１１１、工作機械検出部１１２、人検出部１１３、変化点検出部１１４、同一機械認識部１１５、カメラパラメータ計算部１１６、稼働情報取得部１１７、稼働情報機械特定部１１８、機械距離計算部１１９、機械前領域座標計算部１２０、機械前領域人検出部１２１、配置図作成部１２２、拡張現実表示要求動作検知部１２３、及び拡張現実情報送信部１２４の機能を実現するように構成される。ＲＡＭには一時的な計算データや表示データ等の各種データが格納される。また、ＣＭＯＳメモリは図示しないバッテリでバックアップされ、稼働管理装置１０の電源がオフされても記憶状態が保持される不揮発性メモリとして構成される。
　映像データ取得部１１１は、カメラ３０それぞれにより撮像され時刻情報が付加された映像のフレーム画像をカメラ３０から取得する。映像データ取得部１１１は、取得した映像をカメラ３０毎に映像データ１３１に記憶する。
　工作機械検出部１１２は、例えば、映像データ取得部１１１により取得された映像に対して当業者にとって公知の特徴点抽出処理を行い、抽出された特徴点と工作機械外形データ１３３に事前に登録された工作機械２０毎の複数の特徴点とを比較して撮像された工作機械２０を検出する。
　人検出部１１３は、例えば、映像データ取得部１１１により取得された映像のフレーム画像に対して当業者にとって公知の特徴点抽出処理を行い、抽出された特徴点と記憶部１３０に事前に登録された人の関節等を示す特徴点データ（図示しない）とを比較して映像内に撮像された作業者等の人を検出する。
　変化点検出部１１４は、工作機械検出部１１２により検出された工作機械２０の複数の特徴点のうち時系列変化する特徴点と当該特徴点が時系列変化した時刻とを、カメラ３０それぞれにより撮像された映像と映像に付加された時刻情報とから検出する。
　具体的には、変化点検出部１１４は、例えば、検出された工作機械２０の複数の特徴点のうち工作機械２０に配置されたパトランプに対応する特徴点を、時系列変化する特徴点として特定する。変化点検出部１１４は、カメラ３０により撮像された映像及び時刻情報を用いて、特定した特徴点（パトランプ）が撮像された映像において、パトランプの状態（例えば、運転中を示す緑色、停止中を示す黄色、アラーム中を示す赤色のいずれかが点灯等）と、パトランプの状態が変化した（例えば、緑色から黄色等に変化した）時刻と、を検出する。
　また、変化点検出部１１４は、検出された工作機械２０の複数の特徴点のうち工作機械２０に配置された扉に対応する特徴点を、時系列変化する特徴点として特定するようにしてもよい。変化点検出部１１４は、カメラ３０により撮像された映像及び時刻情報を用いて、特定した特徴点（扉）が撮像された映像において、扉の開閉の状態と、扉が開けられた又は閉じられたタイミングの時刻と、を検出するようにしてもよい。
　変化点検出部１１４は、検出した時系列変化する特徴点と当該時系列変化の時刻とを、制御部１１０に含まれるＲＡＭ（図示しない）等に工作機械２０毎に記憶するようにしてもよい。
　同一機械認識部１１５は、変化点検出部１１４により検出された時系列変化する特徴点と当該特徴点が時系列変化した時刻とに基づいて、カメラ３０それぞれの映像において１以上の同一の工作機械２０を認識する。
　具体的には、同一機械認識部１１５は、例えば、図２Ａ及び図２Ｂに示す映像において、変化点検出部１１４により検出された時系列変化する特徴点であるパトランプや扉の状態と、パトランプや扉の状態が変化した時刻と、に基づいて、図２Ａ及び図２Ｂの映像に撮像された３台の工作機械２０それぞれが同一の工作機械であると認識する。
　カメラパラメータ計算部１１６は、工作機械外形データ１３３に事前に登録された工作機械２０における少なくとも１組の特徴点間の距離と、同一機械認識部１１５により認識された工作機械２０の映像上の対応する特徴点間の距離と、に基づいて、カメラ３０それぞれのカメラパラメータを算出する。
　具体的には、カメラパラメータ計算部１１６は、公知の手法（例えば、Z. Zhang: A Flexible New Technique for Camera Calibration, IEEE Trans. PAMI, 22, 11 (2000) 1330）を用いて、各カメラ３０により撮像された特徴点間の距離が既知の２つの特徴点を含む工作機械２０の映像から、映像における歪曲収差のパラメータとともに、各カメラ３０の内部パラメータ及び外部パラメータを、各カメラ３０のカメラパラメータとして算出する。
　なお、各工作機械２０に特徴点間の距離が既知のチェッカーボード等を配置し、カメラパラメータ計算部１１６は、各カメラ３０により撮像されたチェッカーボード等を含む工作機械２０の映像から各カメラ３０のカメラパラメータを算出するにしてもよい。
　稼働情報取得部１１７は、各工作機械２０の制御装置２１０から動作指令を含む工作機械２０の稼働情報を取得する。稼働情報取得部１１７は、取得した稼働情報を工作機械２０毎に稼働情報１３２に記憶する。
　稼働情報機械特定部１１８は、稼働情報取得部１１７により取得された稼働情報が示す時系列変化と、変化点検出部１１４により検出された時系列変化する特徴点及び当該特徴点が時系列変化した時刻と、に基づいて、稼働情報取得部１１７により取得された稼働情報が同一機械認識部１１５により認識された工作機械２０のうちいずれの工作機械２０のものかを特定する。
　具体的には、稼働情報機械特定部１１８は、例えば、稼働情報取得部１１７により取得された稼働情報において運転中、停止中、アラーム中や扉の開閉等の工作機械２０の状態及び当該工作機械２０の状態が変化した時刻が、同一機械認識部１１５により認識された工作機械２０のうち、変化点検出部１１４により検出されたパトランプや扉の状態及びパトランプや扉の状態が変化した時刻と一致する工作機械２０を特定する。
　機械距離計算部１１９は、カメラパラメータ計算部１１６により算出されたカメラ３０それぞれのカメラパラメータに基づいて、同一機械認識部１１５により認識された工作機械２０の特徴点とカメラ３０それぞれとの距離を算出する。
　具体的には、機械距離計算部１１９は、例えば、カメラパラメータ計算部１１６により計算されたカメラ３０それぞれのカメラパラメータと、公知の手法（例えば、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ　ｆｏｒ　Ｍｏｔｉｏｎ））と、を用いて、各カメラ３０により撮影された映像から、ワールド座標系における同一機械認識部１１５により認識された工作機械２０の各特徴点と各カメラ３０のカメラレンズ中心の位置との距離を算出する。
　機械前領域座標計算部１２０は、機械距離計算部１１９により算出された工作機械２０の特徴点とカメラ３０それぞれとの距離と、カメラパラメータ計算部１１６により算出されたカメラ３０それぞれのカメラパラメータと、に基づいて、工作機械２０の正面の領域をカメラ３０それぞれにより撮像された映像の画像座標系の座標で算出する。
　具体的には、機械前領域座標計算部１２０は、例えば、図５Ａに示すように、工作機械２０の特徴点のうち、カメラ３０のカメラレンズ中心の位置から工作機械２０の正面を示すコーナの４つの特徴点までの距離から、ワールド座標系における工作機械２０の正面の太線で示す平面の式を算出する。
　機械前領域座標計算部１２０は、図５Ｂに示すように、算出したワールド座標系における工作機械２０の正面の平面を、ワールド座標系において工作機械２０の正面の垂直方向に所定の距離（例えば、２ｍ等）平行移動した太線で示す平面の式を算出する。機械前領域座標計算部１２０は、算出した工作機械２０の正面の平面と平行移動した工作機械２０の正面の平面とに囲まれた領域を、機械前領域として算出する。
　機械前領域座標計算部１２０は、カメラ３０のカメラパラメータを用いて、算出した工作機械２０の正面の平面、及び平行移動した工作機械２０の正面の平面の式を、ワールド座標系からカメラ３０の映像の画像座標系に変換する。これにより、機械前領域座標計算部１２０は、図５Ｂに示すように、映像上における機械前領域を算出することができる。
　機械前領域人検出部１２１は、機械前領域座標計算部１２０により算出された工作機械２０の正面の領域（機械前領域）に人が含まれているか否かを、カメラ３０のうち所定の精度で検知可能な位置関係にあるカメラ３０の映像から検出する。
　具体的には、機械前領域人検出部１２１は、例えば、機械前領域座標計算部１２０により計算された映像の画像座標系における工作機械２０の正面の領域（機械前領域）のＸ軸及びＹ軸方向それぞれの最小値ｘ１、ｙ１と最大値ｘ２、ｙ２とを閾値として設定する。
　図６は、映像上における機械前領域と閾値との関係の一例を示す図である。
　なお、機械前領域に人が含まれているかを閾値で判断する場合、カメラ３０の配置で正確さが変わる場合がある。このため、機械前領域人検出部１２１は、カメラ３０のうちある程度正確に判断できる、すなわち所定の精度で検知可能な位置関係にあるカメラ３０を自動で判断する。
　図７は、所定の精度で検知可能な位置関係にあるカメラ３０を自動で判断する処理を説明する一例を示す図である。図７では、工作機械２０（１）をワールド座標系の＋Ｙ軸方向から見たＸＺ平面を示し、２つのカメラ３０（１）、３０（２）が工作機械２０（１）を撮像する場合を示す。なお、工作機械２０（２）～２０（ｎ）、及びカメラ３０（３）～３０（ｍ）の場合についても同様であり、説明は省略する。
　まず、機械前領域人検出部１２１は、ワールド座標系のＸＺ平面において、図６に示すように、カメラ３０（１）、３０（２）それぞれで撮像された映像上の画像座標系における機械前領域の最小値ｘ１及び最大値ｘ２それぞれに対応する破線で示す４つ直線の式を、カメラ３０（１）、３０（２）それぞれの外部パラメータを用いて算出する。
　次に、機械前領域人検出部１２１は、算出した４つの直線で囲まれ機械前領域を除いた網掛けで示す領域の面積を算出する。
　そして、機械前領域人検出部１２１は、算出した面積が機械前領域のある割合（例えば、機械前領域の２０％等、およそ工作機械２０（１）の前であることを保証できる割合）より小さければ、カメラ３０（１）、３０（２）をある程度正確に判断できる、すなわち所定の精度で検知可能な位置関係にあるカメラと判断する。
　機械前領域人検出部１２１は、所定の精度で検知可能と判断されたカメラ３０（１）、３０（２）等の映像における閾値ｘ１及びｘ２と、閾値ｙ１及びｙ２との範囲内に、人検出部１１３により検出された人の全身や足、腕等の関節を示す映像の画素がある場合、機械前領域に人がいると判断する。
　配置図作成部１２２は、機械距離計算部１１９により算出された工作機械２０の各特徴点と各カメラ３０のカメラレンズ中心の位置との距離と、カメラ３次元座標データ１３４に事前に登録された各カメラ３０のカメラレンズ中心の位置の３次元座標と、に基づいて、同一機械認識部１１５により認識された工作機械２０のアイコンを配置した配置図を作成する。
　図８は、配置図の一例を示す図である。
　図８に示すように、配置図作成部１２２は、機械距離計算部１１９により算出された工作機械２０の各特徴点と各カメラ３０のカメラレンズ中心の位置との距離に基づいて、ワールド座標系での工作機械２０の座標を算出する。配置図作成部１２２は、算出した工作機械２０の座標とカメラ３次元座標データ１３４の各カメラ３０のカメラレンズ中心の位置の３次元座標とに基づいて、工作機械２０を示すアイコン３１０を配置した平面図（又は鳥瞰図）の配置図３００を作成する。また、配置図作成部１２２は、工作機械２０が動作中の場合にアイコン３１０を緑色で表示し、工作機械２０が停止中の場合にアイコン３１０を黄色で表示し、工作機械２０がアラーム中の場合にアイコン３１０を赤色等で表示するようにしてもよい。また、配置図作成部１２２は、機械前領域人検出部１２１により工作機械２０の機械前領域に人が検出された場合、人が検出された工作機械２０のアイコン３１０とともに、人のアイコン３２０を重畳して表示してもよい。
　そして、配置図作成部１２２は、作成した配置図３００をリアルタイムで配置図情報表示部としての表示部１７０に表示する。
　なお、配置図作成部１２２は、配置図３００を作成するにあたり、各カメラ３０のカメラレンズ中心の位置のワールド座標系の３次元座標として、カメラ３次元座標データ１３４に登録された座標値を用いたが、入力部１５０を介して作業者等により入力される座標値を用いてもよい。
　拡張現実表示要求動作検知部１２３は、機械前領域人検出部１２１により人が検出された映像において、現実に仮想を重ねた拡張現実の表示を要求する人の動作を検知する。
　図９Ａ及び図９Ｂは、拡張現実の表示を要求する人の動作の一例を示す図である。
　図９Ａ及び図９Ｂに示すように、カメラ３０が、スマートフォンやタブレット端末等を工作機械２０に向けてかざす人、又は拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）機器等のウェアラブル端末を装着した人を撮像した場合、拡張現実表示要求動作検知部１２３は、撮像された映像において、スマートフォン等を工作機械２０に向けてかざすポーズ、又はウェアラブル端末の装着を検知する。
　拡張現実情報送信部１２４は、拡張現実表示要求動作検知部１２３により検知された動作を行う人が存在する領域が機械前領域である工作機械２０の稼働情報を含むＡＲ画像データを逐次生成し、生成したＡＲ画像データを拡張現実表示する拡張現実表示部としてのスマートフォンやタブレット端末、ウェアラブル端末等に送信する。
　図１０は、ＡＲ画像の一例を示す図である。
　図１０に示すように、スマートフォン等は、例えば、受信したＡＲ画像データの位置及び姿勢をスマートフォン等に含まれるカメラ（図示しない）のカメラ座標系に基づいて調整し、スマートフォン等のカメラ（図示しない）が撮影した現実空間画像と、受信したＡＲ画像とを表示する。
　そして、ＡＲ画像には、例えば、工作機械２０の機種名「ＲＯＢＯＤＲＩＬＬ－１」、及び稼働情報として「運転中」、「加工終了まで：５分」が含まれる。また、ＡＲ画像には、稼働情報として「主軸温度センサー値：ＸＸＸ」、及び主軸温度センサー値の時系列データのグラフが含まれてもよい。
＜稼働管理装置１０の管理処理＞
　次に、稼働管理装置１０の管理処理に係る動作について説明する。
　図１１は、稼働管理装置１０の管理処理について説明するフローチャートである。ここで示すフローは、管理処理が行われる間繰り返し実行される。
　ステップＳ１１において、映像データ取得部１１１は、各カメラ３０により撮像された映像を各カメラ３０から取得する。
　ステップＳ１２において、工作機械検出部１１２は、ステップＳ１１で取得された映像に対して特徴点抽出処理を行い、抽出された特徴点と工作機械外形データ１３３に事前に登録された工作機械２０毎の複数の特徴点とを比較して撮像された工作機械２０を検出する。
　ステップＳ１３において、人検出部１１３は、ステップＳ１１で取得された映像のフレーム画像に対して特徴点抽出処理を行い、抽出された特徴点と記憶部１３０に事前に登録された人の関節等の特徴点データ（図示しない）とを比較して映像内に撮像された人を検出する。
　ステップＳ１４において、変化点検出部１１４は、ステップＳ１２で検出された工作機械２０の複数の特徴点のうち時系列変化する特徴点と当該特徴点が時系列変化した時刻とを、カメラ３０それぞれにより撮像された映像と映像に付加された時刻情報とから検出する。
　ステップＳ１５において、同一機械認識部１１５は、ステップＳ１４で検出された時系列変化する特徴点と当該特徴点が時系列変化した時刻とに基づいて、カメラ３０それぞれの映像において同一の工作機械２０を認識する。
　ステップＳ１６において、カメラパラメータ計算部１１６は、工作機械外形データ１３３に事前に登録された工作機械２０における特徴点間の距離と、ステップＳ１５で認識された工作機械２０の映像上の対応する特徴点間の距離と、に基づいて、各カメラ３０のカメラパラメータを計算する。
　ステップＳ１７において、稼働情報取得部１１７は、各工作機械２０の制御装置２１０から動作指令を含む工作機械２０の稼働情報を取得する。
　ステップＳ１８において、稼働情報機械特定部１１８は、ステップＳ１７で取得された稼働情報が示す時系列変化と、ステップＳ１４で検出された時系列変化する特徴点及び当該特徴点が時系列変化した時刻と、に基づいて、ステップＳ１７で取得された稼働情報がステップＳ１５で認識されたいずれの工作機械２０のものかを特定する。
　ステップＳ１９において、機械距離計算部１１９は、ステップＳ１６で計算された各カメラ３０のカメラパラメータに基づいて、ステップＳ１５で認識された工作機械２０の各特徴点と各カメラ３０のカメラレンズ中心の位置との距離を算出する。
　ステップＳ２０において、機械前領域座標計算部１２０は、ステップＳ１９で算出された工作機械２０の各特徴点と各カメラ３０のカメラレンズ中心の位置との距離と、ステップＳ１６で算出されたカメラ３０それぞれのカメラパラメータと、に基づいて、工作機械２０の機械前領域をカメラ３０それぞれの映像の画像座標系の座標で算出する。
　ステップＳ２１において、機械前領域人検出部１２１は、ステップＳ２０で算出された工作機械２０の機械前領域に人が含まれているか否かを、カメラ３０のうち所定の精度で検知可能な位置関係にあるカメラ３０の映像から検出する。
　ステップＳ２２において、配置図作成部１２２は、ステップＳ１９で算出された工作機械２０の各特徴点と各カメラ３０のカメラレンズ中心の位置との距離と、カメラ３次元座標データ１３４に事前に登録された各カメラ３０のカメラレンズ中心の位置の３次元座標と、に基づいて、ステップＳ１５で認識された工作機械２０のアイコン３１０を配置した配置図３００を作成する。
　ステップＳ２３において、拡張現実表示要求動作検知部１２３は、機械前領域人検出部１２１により人が検出された映像において、拡張現実の表示を要求する人の動作を検知したか否かを判定する。拡張現実の表示を要求する人の動作を検知した場合、処理はステップＳ２４に進む。拡張現実の表示を要求する人の動作を検知しなかった場合、処理はステップＳ１１に戻る。
　ステップＳ２４において、拡張現実情報送信部１２４は、ステップＳ２３で検知された動作を行う人が存在する領域が機械前領域である工作機械２０の稼働情報を含むＡＲ画像データを逐次生成し、生成したＡＲ画像データをスマートフォン等に送信する。
　以上により、一実施形態に係る稼働管理装置１０は、複数のカメラ３０により撮像された映像を用いて、工場に配置された複数の工作機械２０の配置図を容易に作成することができる。
　また、稼働管理装置１０は、工作機械２０の機械前領域に人がいるか否かを、人の立ち位置の３次元座標を算出することなく簡単に速く判断することができる。
　また、稼働管理装置１０は、スマートフォン等のデバイスの位置情報や、稼働情報を拡張現実表示させたい工作機械２０の位置情報を取得することなく、拡張現実の表示を要求する人の動作からどの工作機械２０の稼働情報を拡張現実表示すれば良いかがわかる。
　以上、一実施形態について説明したが、稼働管理装置１０は、上述の実施形態に限定されるものではなく、目的を達成できる範囲での変形、改良等を含む。
＜変形例＞
　一実施形態では、稼働管理装置１０は、１つのコンピュータとしたが、これに限定されない。例えば、稼働管理装置１０の映像データ取得部１１１、工作機械検出部１１２、人検出部１１３、変化点検出部１１４、同一機械認識部１１５、カメラパラメータ計算部１１６、稼働情報取得部１１７、稼働情報機械特定部１１８、機械距離計算部１１９、機械前領域座標計算部１２０、機械前領域人検出部１２１、配置図作成部１２２、拡張現実表示要求動作検知部１２３、及び拡張現実情報送信部１２４の一部又は全部を、例えば、サーバが備えるようにしてもよい。また、クラウド上で仮想サーバ機能等を利用して、稼働管理装置１０の各機能を実現してもよい。
　さらに、稼働管理装置１０は、稼働管理装置１０の各機能を適宜複数のサーバに分散される、分散処理システムとしてもよい。
　なお、一実施形態に係る稼働管理装置１０に含まれる各機能は、ハードウェア、ソフトウェア又はこれらの組み合わせによりそれぞれ実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。
　プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（Ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ　ｃｏｍｐｕｔｅｒ　ｒｅａｄａｂｌｅ　ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（Ｔａｎｇｉｂｌｅ　ｓｔｏｒａｇｅ　ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（Ｔｒａｎｓｉｔｏｒｙ　ｃｏｍｐｕｔｅｒ　ｒｅａｄａｂｌｅ　ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は、無線通信路を介して、プログラムをコンピュータに供給できる。
　なお、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
　以上を換言すると、本開示の稼働管理装置は、次のような構成を有する各種各様の実施形態を取ることができる。
　（１）本開示の稼働管理装置１０は、少なくとも１つの工作機械２０を示すアイコンを、工作機械２０が設置された施設の概形を示す配置図の上に配置して表示する稼働管理装置であって、工作機械外形データ１３３に事前に登録された工作機械２０毎の複数の特徴点に基づいて、施設内に設置された複数のカメラ３０それぞれの映像から、施設に設置された工作機械２０を検出する工作機械検出部１１２と、検出された工作機械２０の複数の特徴点のうち時系列変化する特徴点と該特徴点が時系列変化した時刻とを、複数のカメラ３０それぞれの映像から検出する変化点検出部１１４と、変化点検出部１１４により検出された時系列変化する特徴点と、当該特徴点が時系列変化した時刻と、に基づいて、複数のカメラ３０それぞれの映像において１以上の同一の工作機械２０を認識する同一機械認識部１１５と、工作機械外形データ１３３に事前に登録された少なくとも１組の特徴点間の距離と、同一機械認識部１１５により認識された工作機械２０の映像上の特徴点間の距離とに基づいて、複数のカメラ３０それぞれのカメラパラメータを算出するカメラパラメータ計算部１１６と、カメラパラメータ計算部１１６により算出された複数のカメラ３０それぞれのカメラパラメータに基づいて、同一機械認識部１１５により認識された工作機械２０の各特徴点と複数のカメラ３０それぞれのカメラレンズ中心の位置との距離を算出する機械距離計算部１１９と、機械距離計算部１１９により算出された工作機械２０の各特徴点と複数のカメラ３０それぞれのカメラレンズ中心の位置との距離と、事前に登録された複数のカメラそれぞれのカメラレンズ中心の位置の３次元座標と、に基づいて、認識された工作機械２０のアイコン３１０を配置した配置図３００を作成する配置図作成部１２２と、を備える。
　この稼働管理装置１０によれば、複数のカメラ３０により撮像された映像を用いて、工場に配置された工作機械２０の配置図３００を容易に作成することができる。
　（２）　（１）に記載の稼働管理装置１０において、工作機械２０を制御する制御装置２１０から工作機械２０の稼働情報を取得する稼働情報取得部１１７と、稼働情報取得部１１７により取得された稼働情報が示す時系列変化と、変化点検出部１１４により検出された時系列変化する特徴点及び当該特徴点が時系列変化した時刻と、に基づいて、稼働情報取得部１１７により取得された稼働情報が同一機械認識部１１５により認識された工作機械２０のうちいずれの工作機械２０のものかを特定する稼働情報機械特定部１１８と、を備えてもよい。
　そうすることで、稼働管理装置１０は、映像上の工作機械２０と取得した稼働情報とを自動的に対応付けることで、作業者等の負担を軽減することができる。
　（３）　（２）に記載の稼働管理装置１０において、機械距離計算部１１９により算出された工作機械２０の各特徴点と複数のカメラ３０それぞれのカメラレンズ中心の位置との距離と、カメラパラメータ計算部１１６により算出された複数のカメラ３０それぞれのカメラパラメータと、に基づいて、工作機械２０の正面の領域を複数のカメラ３０それぞれにより撮像された映像の画像座標系の座標で算出する機械前領域座標計算部１２０と、機械前領域座標計算部１２０により算出された工作機械２０の正面の領域に人が含まれているか否かを、複数のカメラ３０のうち所定の精度で検知可能な位置関係にあるカメラの映像から検出する機械前領域人検出部１２１と、を備え、配置図作成部１２２は、機械距離計算部１１９により算出された工作機械２０の特徴点と複数のカメラ３０それぞれとの距離に基づいて、工作機械のアイコン３１０とともに、稼働情報機械特定部１１８により特定された工作機械２０の稼働情報と、機械前領域人検出部１２１により検出された工作機械２０の正面の領域の人の有無と、を配置図３００上にリアルタイムで配置してもよい。
　そうすることで、稼働管理装置１０は、工作機械２０の機械前領域に人がいるか否かを、人の立ち位置の３次元座標を算出することなく簡単に速く判断することができる。
　（４）　（３）に記載の稼働管理装置１０において、機械前領域人検出部１２１により検出された人の映像から、現実に仮想を重ねた拡張現実の表示を要求する人の動作を検知する拡張現実表示要求動作検知部１２３と、拡張現実表示要求動作検知部１２３により検知された動作を行う人が存在する領域が正面の領域である工作機械２０の稼働情報を含む拡張現実画像データを外部の装置に送信する拡張現実情報送信部１２４と、を備えてもよい。
　そうすることで、稼働管理装置１０は、スマートフォン等のデバイスの位置情報や、稼働情報を拡張現実表示させたい工作機械２０の位置情報を取得することなく、拡張現実の表示を要求する人の動作からどの工作機械２０の稼働情報を拡張現実表示すれば良いかがわかる。
　１　稼働管理システム
　１０　稼働管理装置
　１１０　制御部
　１１１　映像データ取得部
　１１２　工作機械検出部
　１１３　人検出部
　１１４　変化点検出部
　１１５　同一機械認識部
　１１６　カメラパラメータ計算部
　１１７　稼働情報取得部
　１１８　稼働情報機械特定部
　１１９　機械距離計算部
　１２０　機械前領域座標計算部
　１２１　機械前領域人検出部
　１２２　配置図作成部
　１２３　拡張現実表示要求動作検知部
　１２４　拡張現実情報送信部
　１３０　記憶部
　１３１　映像データ
　１３２　稼働情報
　１３３　工作機械外形データ
　１３４　カメラ３次元座標データ
　１５０　入力部
　１７０　表示部
　２０（１）～２０（ｎ）　工作機械
　２１０　制御装置
　３０（１）～３０（ｍ）　カメラ

Claims (4)

  1. 　少なくとも１つの産業機械を示すアイコンを、前記産業機械が設置された施設の概形を示す配置図の上に配置して表示する稼働管理装置であって、
    　機械外形記憶部に事前に登録された産業機械毎の複数の特徴点に基づいて、前記施設内に設置された複数のカメラそれぞれの映像から、前記施設に設置された前記産業機械を検出する工作機械検出部と、
    　検出された前記産業機械の前記複数の特徴点のうち時系列変化する特徴点と該特徴点が時系列変化した時刻とを、前記複数のカメラそれぞれの映像から検出する変化点検出部と、
    　前記変化点検出部により検出された時系列変化する前記特徴点と、当該特徴点が時系列変化した時刻と、に基づいて、前記複数のカメラそれぞれの映像において１以上の同一の産業機械を認識する同一機械認識部と、
    　前記機械外形記憶部に事前に登録された少なくとも１組の特徴点間の距離と、前記同一機械認識部により認識された前記産業機械の映像上の前記特徴点間の距離とに基づいて、前記複数のカメラそれぞれのカメラパラメータを算出するカメラパラメータ計算部と、
    　前記カメラパラメータ計算部により算出された前記複数のカメラそれぞれのカメラパラメータに基づいて、前記同一機械認識部により認識された前記産業機械の各特徴点と前記複数のカメラそれぞれのカメラレンズ中心の位置との距離を算出する機械距離計算部と、
    　前記機械距離計算部により算出された前記産業機械の各特徴点と前記複数のカメラそれぞれのカメラレンズ中心の位置との距離と、事前に登録された前記複数のカメラそれぞれのカメラレンズ中心の位置の３次元座標と、に基づいて、認識された前記産業機械のアイコンを配置した前記配置図を作成する配置図作成部と、
    　を備える稼働管理装置。
  2. 　前記産業機械を制御する制御装置から前記産業機械の稼働情報を取得する稼働情報取得部と、
    　前記稼働情報取得部により取得された前記稼働情報が示す時系列変化と、前記変化点検出部により検出された時系列変化する前記特徴点及び該特徴点が時系列変化した時刻と、に基づいて、前記稼働情報取得部により取得された前記稼働情報が前記同一機械認識部により認識された前記産業機械のうちいずれの産業機械のものかを特定する稼働情報機械特定部と、を備える、請求項１に記載の稼働管理装置。
  3. 　前記機械距離計算部により算出された前記産業機械の特徴点と前記複数のカメラそれぞれとの距離と、前記カメラパラメータ計算部により算出された前記複数のカメラそれぞれのカメラパラメータと、に基づいて、前記産業機械の正面の領域を前記複数のカメラそれぞれにより撮像された映像の画像座標系の座標で算出する機械前領域座標計算部と、
    　前記機械前領域座標計算部により算出された前記産業機械の正面の領域に人が含まれているか否かを、前記複数のカメラのうち所定の精度で検知可能な位置関係にあるカメラの映像から検出する機械前領域人検出部と、を備え、
    　前記配置図作成部は、前記機械距離計算部により算出された前記産業機械の各特徴点と前記複数のカメラそれぞれのカメラレンズ中心の位置との距離に基づいて、前記産業機械のアイコンとともに、前記稼働情報機械特定部により特定された前記産業機械の前記稼働情報と、前記機械前領域人検出部により検出された前記産業機械の正面の領域の人の有無と、を前記配置図上にリアルタイムで配置する、請求項２に記載の稼働管理装置。
  4. 　前記機械前領域人検出部により検出された人の映像から、現実に仮想を重ねた拡張現実の表示を要求する前記人の動作を検知する拡張現実表示要求動作検知部と、
    　前記拡張現実表示要求動作検知部により検知された前記動作を行う人が存在する領域が前記正面の領域である産業機械の稼働情報を含む拡張現実画像データを外部の装置に送信する拡張現実情報送信部と、を備える、請求項３に記載の稼働管理装置。
PCT/JP2021/017560 2021-05-07 2021-05-07 稼働管理装置 WO2022234668A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2023518596A JPWO2022234668A1 (ja) 2021-05-07 2021-05-07
CN202180097644.5A CN117256005A (zh) 2021-05-07 2021-05-07 运行管理装置
DE112021007177.7T DE112021007177T5 (de) 2021-05-07 2021-05-07 Betriebsverwaltungsvorrichtung
PCT/JP2021/017560 WO2022234668A1 (ja) 2021-05-07 2021-05-07 稼働管理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/017560 WO2022234668A1 (ja) 2021-05-07 2021-05-07 稼働管理装置

Publications (1)

Publication Number Publication Date
WO2022234668A1 true WO2022234668A1 (ja) 2022-11-10

Family

ID=83932711

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/017560 WO2022234668A1 (ja) 2021-05-07 2021-05-07 稼働管理装置

Country Status (4)

Country Link
JP (1) JPWO2022234668A1 (ja)
CN (1) CN117256005A (ja)
DE (1) DE112021007177T5 (ja)
WO (1) WO2022234668A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007142517A (ja) * 2005-11-15 2007-06-07 Kazuo Iwane 移動型自動監視装置
JP2008248613A (ja) * 2007-03-30 2008-10-16 Hitachi Constr Mach Co Ltd 作業機械周辺監視装置
JP2021021637A (ja) * 2019-07-29 2021-02-18 コベルコ建機株式会社 建設機械の位置特定システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6533105B2 (ja) 2015-06-19 2019-06-19 ファナック株式会社 製造設備の配置図を簡単に作成できる稼働管理システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007142517A (ja) * 2005-11-15 2007-06-07 Kazuo Iwane 移動型自動監視装置
JP2008248613A (ja) * 2007-03-30 2008-10-16 Hitachi Constr Mach Co Ltd 作業機械周辺監視装置
JP2021021637A (ja) * 2019-07-29 2021-02-18 コベルコ建機株式会社 建設機械の位置特定システム

Also Published As

Publication number Publication date
DE112021007177T5 (de) 2024-01-18
JPWO2022234668A1 (ja) 2022-11-10
CN117256005A (zh) 2023-12-19

Similar Documents

Publication Publication Date Title
KR102031670B1 (ko) 휴대단말과 원격관리장치 및 이를 이용한 증강현실 기반 원격 가이던스 방법
US20190126484A1 (en) Dynamic Multi-Sensor and Multi-Robot Interface System
Subakti et al. Indoor augmented reality using deep learning for industry 4.0 smart factories
KR102132330B1 (ko) 하이퍼모션 단계 처리가 가능한 증강현실 및 기계학습 기반 원격 가이던스 장치 및 그 방법
JP2015095164A (ja) ジェスチャ認識装置およびジェスチャ認識装置の制御方法
JP2015204615A (ja) 機器と移動デバイスとの間でインタラクトする方法及びシステム
WO2020031790A1 (ja) 制御システムおよび制御装置
US20150092040A1 (en) Gesture-Based Industrial Monitoring
JP7058621B2 (ja) 映像記録装置およびヘッドマウントディスプレイ
JP2020184250A (ja) 作業分析装置、作業分析方法およびプログラム
JP5174492B2 (ja) 画像認識装置、画像認識方法、画像認識プログラム、ジェスチャ動作認識システム、ジェスチャ動作認識方法、及びジェスチャ動作認識プログラム
CN106203252B (zh) 借助相机查明机器人轴角度并选出机器人
WO2022234668A1 (ja) 稼働管理装置
KR101563736B1 (ko) 가상자원의 위치정보 매핑 방법 및 장치
CN209273445U (zh) 基于多视角视觉检测的机械臂急停保护装置
JP2020129287A (ja) 工程情報取得システム、工程情報取得方法、および工程情報取得プログラム
WO2022234678A1 (ja) 機械学習装置、分類装置、及び制御装置
Arita et al. Maneuvering assistance of teleoperation robot based on identification of gaze movement
JP2019202354A (ja) ロボット制御装置、ロボット制御方法及びロボット制御プログラム
JP6885909B2 (ja) ロボット制御装置
CN111522299B (zh) 机械控制装置
US20240135525A1 (en) Method and system of providing assistance during an operation performed on an equipment
KR20150050224A (ko) 비정상 배회 탐지 장치 및 방법
JP7408731B1 (ja) 行動検知方法、行動検知装置、行動検知システム
KR102245760B1 (ko) 테이블 탑 디바이스 및 이를 포함하는 테이블 탑 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21939859

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023518596

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18286280

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112021007177

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21939859

Country of ref document: EP

Kind code of ref document: A1