WO2023105726A1 - 作業分析装置 - Google Patents

作業分析装置 Download PDF

Info

Publication number
WO2023105726A1
WO2023105726A1 PCT/JP2021/045391 JP2021045391W WO2023105726A1 WO 2023105726 A1 WO2023105726 A1 WO 2023105726A1 JP 2021045391 W JP2021045391 W JP 2021045391W WO 2023105726 A1 WO2023105726 A1 WO 2023105726A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
work
worker
video data
joint position
Prior art date
Application number
PCT/JP2021/045391
Other languages
English (en)
French (fr)
Inventor
智史 上野
一洋 大和
Original Assignee
ファナック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ファナック株式会社 filed Critical ファナック株式会社
Priority to PCT/JP2021/045391 priority Critical patent/WO2023105726A1/ja
Publication of WO2023105726A1 publication Critical patent/WO2023105726A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Definitions

  • the present invention relates to a work analysis device.
  • machine learning is performed using learning target data consisting of input data of an image of a worker's work captured and label data of the worker's work indicated by the image, and learning for identifying work from the image.
  • a technique is known for generating a trained model and using the trained model to identify which work is being performed on an image to be analyzed. See Patent Document 1, for example.
  • the position of the worker's hand is specified from the image data with depth captured by the depth sensor, and the position of the target object is specified from the image data captured by the digital camera. is known. See Patent Document 2, for example.
  • One aspect of the work analysis device of the present disclosure is a work analysis device that analyzes the work of a worker, and includes a joint position estimation unit that estimates joint position information of the worker from video data including the work of the worker. a motion estimation unit for estimating motion information of the worker based on the joint position information estimated by the joint position estimation unit; and from the video data based on the motion information estimated by the motion estimation unit.
  • An image clipping unit for clipping a range of video data related to an object related to the motion information
  • an object recognition unit for recognizing the object in the range of the video data clipped by the image clipping unit
  • the object recognition unit and a work identification unit that identifies the work of the worker based on the recognized object.
  • One aspect of the work analysis device of the present disclosure is a work analysis device that analyzes the work of a worker, comprising: an object detection unit that detects an object from video data including the work of the worker; a joint position estimation unit for estimating joint position information of a worker; and an image area including the object detected by the object detection unit based on the joint position information estimated by the joint position estimation unit. an object area entrance/exit detector for detecting whether or not an image area including joint positions enters and exits; and the object detected by the object detector from the video data based on the detection result of the object area entrance/exit detector.
  • an image clipping unit for clipping a range of video data according to the above, an object recognition unit for performing object recognition on the range of the video data clipped by the image clipping unit, and the range of the video data by the object recognition unit an object detection activating unit that periodically causes the object detection unit to detect the object when the object cannot be recognized; a work estimator that identifies the
  • FIG. 1 is a functional block diagram showing a functional configuration example of a work analysis system according to a first embodiment
  • FIG. It is a figure which shows an example of the range on video data according to a worker's motion information and a tool (object). It is a figure which shows an example of the range on video data according to a worker's motion information and a tool (object). It is a figure which shows an example of a work table. It is a figure which shows an example of the shape of a hand which grasps a driver.
  • FIG. 4B is a diagram showing an example of a hand shape similar to that of FIG. 4A holding a vernier caliper; FIG.
  • FIG. 2C is a diagram showing an example of image data that is cut out when the hand shape of the worker is that of the hand used by the driver in the image data shown in FIG. 2B;
  • FIG. 2C is a diagram showing an example of video data that is cut out when the worker's hand is in the form of a vernier caliper in the video data shown in FIG. 2B;
  • 4 is a flowchart for explaining analysis processing of the work analysis device; It is a functional block diagram showing an example of functional composition of a work analysis system concerning a 2nd embodiment. It is a figure which shows an example of the image data containing a worker's operation
  • each embodiment has in common that the work of the worker is specified from the image of the worker and the object (tool) captured by the camera.
  • the joint position information of the worker is estimated from video data including the worker's work, and the worker's motion information is calculated based on the estimated joint position information of the worker.
  • a range of video data related to an object related to the motion information is cut out from the video data based on the estimated worker motion information, the object is recognized from the cut-out video data range, and the recognized object is used for the work Identify employee work.
  • an object is detected from video data including the worker's work, the joint position information of the worker is estimated, and the detected object is included based on the estimated joint position information of the worker. It is detected whether or not the joint position of the worker enters and exits the image area, and based on the detection result, the range of video data related to the detected object is extracted from the video data, and the range of the extracted video data.
  • the first embodiment is characterized in that object recognition is performed, and if the object cannot be recognized within the range of the image data, the detection of the object is periodically executed, and the worker's work is determined based on the change in the coordinates of the object. differ from In the following, first, the first embodiment will be described in detail, and then the differences of the second embodiment from the first embodiment will be mainly described.
  • FIG. 1 is a functional block diagram showing a functional configuration example of a work analysis system according to the first embodiment.
  • the work analysis system 100 has a work analysis device 1 and a camera 2 .
  • the work analysis device 1 and camera 2 may be connected to each other via a network (not shown) such as a LAN (Local Area Network) or the Internet.
  • a network such as a LAN (Local Area Network) or the Internet.
  • the work analysis device 1 and the camera 2 are provided with a communication unit (not shown) for mutual communication through such connection.
  • the work analysis device 1 and the camera 2 may be directly connected to each other by wire or wirelessly via a connection interface (not shown).
  • the work analysis device 1 is connected to one camera 2 in FIG. 1 , it may be connected to two or more cameras 2 .
  • the camera 2 is a digital camera or the like, and a two-dimensional frame image obtained by projecting an object such as a worker and a tool (not shown) onto a plane perpendicular to the optical axis of the camera 2 is projected at a predetermined frame rate (for example, 30 fps). Take an image with The camera 2 outputs captured frame images to the work analysis device 1 as video data.
  • the video data captured by the camera 2 may be a visible light image such as an RGB color image, a grayscale image, or a depth image.
  • the work analysis device 1 is a computer known to those skilled in the art, and has a control section 10 and a storage section 20 as shown in FIG.
  • the control unit 10 also has a joint position estimation unit 101 , a motion estimation unit 102 , an image clipping unit 103 , an object recognition unit 104 and a work identification unit 105 .
  • the work identifying unit 105 also has a work estimating unit 1051 .
  • the storage unit 20 is a storage device such as a ROM (Read Only Memory) or HDD (Hard Disk Drive).
  • the storage unit 20 stores an operating system, application programs, and the like executed by the control unit 10, which will be described later.
  • the storage unit 20 also includes a video data storage unit 201 , a motion storage unit 202 , an object positional relationship storage unit 203 , and a work storage unit 204 .
  • the image data storage unit 201 stores image data of objects such as workers and tools captured by the camera 2 .
  • the motion storage unit 202 stores a rule base or a learned model for outputting the worker's motion information corresponding to the worker's joint position information estimated by the motion estimation unit 102, which will be described later.
  • the joint position of the worker's hand or the like in the image data of the worker performing each work to be specified for example, "measure with vernier calipers” or "screw driver"
  • a learned model such as a neural network generated in advance by known machine learning using teacher data with the joint position information including as input data and the work as label data may be stored in the motion storage unit 202.
  • a rule base that associates the joint position information of the worker in the video data of the worker performing each work to be specified captured by the camera 2 with the work based on a known method is the motion storage unit. 202 may be stored.
  • the object positional relationship storage unit 203 preliminarily stores a range on the image data including the tools (objects) related to the motion information of the worker estimated by the motion estimation unit 102, which will be described later.
  • 2A and 2B are diagrams showing an example of a range on video data corresponding to the motion information of the worker and the tool (object).
  • FIG. 2A shows an image in the case where a worker is performing measurement with a vernier caliper as operation information.
  • FIG. 2B shows an image when the worker is turning a screw with a screwdriver as motion information. As shown in FIG.
  • the joint position of the worker's hand (broken line rectangle) indicated by the joint position information estimated by the joint position estimation unit 101, which will be described later, is used as a reference.
  • Relative position coordinates in the image coordinate system of a horizontally elongated rectangle indicated by, for example, a dashed line are stored in the object positional relationship storage unit 203 in advance as a range on the video data in which the vernier caliper (object) exists.
  • the joint position (dotted rectangle) of the worker's hand indicated by the joint position information estimated by the joint position estimation unit 101 which will be described later, is used as the reference.
  • the work storage unit 204 stores a work table in which tools (objects) recognized by the object recognition unit 104, which will be described later, are associated with corresponding worker work.
  • FIG. 3 is a diagram showing an example of a work table. As shown in FIG. 3, the work table has storage areas for "object” and "work”. Tool names such as “driver” and “vernier caliper” are stored in the "object” storage area in the work table. In the "work” storage area in the work table, for example, work such as “turning a screw” and “measurement with a vernier caliper” are stored. It should be noted that even if a user such as a worker uses an input device such as a keyboard or a touch panel included in the work analysis device 1 to register in advance in the storage areas of "objects" and "work” in the work table, good.
  • the control unit 10 has a CPU, a ROM, a RAM (Random Access Memory), a CMOS memory, etc., which are known to those skilled in the art and are configured to communicate with each other via a bus.
  • the CPU is a processor that controls the work analysis apparatus 1 as a whole.
  • the CPU reads the system program and the application program stored in the ROM through the bus, and controls the entire work analysis apparatus 1 according to the system program and the application program.
  • the control unit 10 is configured to realize the functions of the joint position estimation unit 101, the motion estimation unit 102, the image clipping unit 103, the object recognition unit 104, and the work identification unit 105. be.
  • the work identifying unit 105 is configured to implement the function of the work estimating unit 1051 .
  • Various data such as temporary calculation data and display data are stored in the RAM.
  • the CMOS memory is backed up by a battery (not shown) and configured as a non-volatile memory that retains the stored state even when the work analysis device 1 is turned off.
  • the joint position estimation unit 101 estimates the joint position information of the worker from video data including work of the worker. Specifically, the joint position estimating unit 101 uses a known method (for example, Kosuke Kanno, Kenta Oku, Kyoji Kawagoe, "Motion detection and classification method from multidimensional time series data", DEIM Forum 2016 G4-5, Alternatively, using Shohei Uezono, Satoshi Ono, "Feature extraction of multimodal series data using LSTM Autoencoder", Japanese Society for Artificial Intelligence, SIG-KBS-B802-01, 2018), video data storage unit 201 Time-series data of the coordinates and angles (hand shape) of the joints of the worker's hands, etc., are estimated as joint position information from the image data to which the time information is added stored in the .
  • a known method for example, Kosuke Kanno, Kenta Oku, Kyoji Kawagoe, "Motion detection and classification method from multidimensional time series data", DEIM Forum 2016 G4-5, Alternatively, using Shohei Uezon
  • the joint position estimation part 101 demonstrates the case where the joint position of a worker's hand is estimated as joint position information.
  • the joint position estimating unit 101 can also estimate the joint positions of parts other than the worker's hands in the same manner as the joint positions of the hands.
  • the motion estimation unit 102 estimates motion information of the worker based on the joint position information estimated by the joint position estimation unit 101 .
  • the motion estimation unit 102 estimates the motion information of "measure with vernier calipers” shown in FIG. 2A and “screwdriver” shown in FIG. 2B as the worker's motion.
  • the motion estimating unit 102 estimates motion information other than "measured with vernier calipers” and “screwdriver” in the same manner as in the cases of "measured with vernier calipers” and "screwdriver".
  • the motion estimating unit 102 inputs, for example, the joint position information indicating the hand shape estimated by the joint position estimating unit 101 as input data into the learned model stored in the motion storage unit 202, Estimate the worker's action (ie, "caliper” or "screwdriver") in the video data.
  • the motion estimation unit 102 estimates the worker's motion in the video data based on the joint position information indicating the hand shape estimated by the joint position estimation unit 101 and the rule base stored in the motion storage unit 202. You may make it estimate.
  • the motion estimation unit 102 may calculate, together with the estimated motion information of the worker, a probability indicating the likelihood of the hand shape (hand joint position) performing the motion indicated by the motion information. As shown in FIGS.
  • the motion estimating unit 102 performs the motion estimation when the hand shape estimated by the joint position estimating unit 101 is ambiguous and resembles joint positions gripping two or more different objects (tools). , a plurality of motions may be estimated as the motion information.
  • FIG. 4A is a diagram showing an example of the shape of the hand that holds the driver.
  • FIG. 4B is a diagram showing an example of a hand shape similar to that of FIG. 4A holding a vernier caliper.
  • the image clipping unit 103 clips a range of video data related to an object (tool) related to the motion information from the video data based on the motion information estimated by the motion estimation unit 102 . Specifically, the image clipping unit 103 extracts the relative position coordinates in the image coordinate system, which is the range on the video data to be clipped corresponding to the motion information estimated by the motion estimation unit 102, from the object positional relationship storage unit 203. get. As shown in FIG. 2A or FIG. 2B, the image clipping unit 103 extracts an image within a rectangular range indicated by a dashed line based on the relative position coordinates obtained with reference to the joint position of the worker's hand (broken line rectangle). Cut out data.
  • the image clipping unit 103 acquires the relative position coordinates in the image coordinate system corresponding to each of the plurality of motions indicated by the motion information, Based on the relative position coordinates of each movement obtained with reference to the joint positions of the hands of the member, video data within a rectangular range is cut out.
  • 5A and 5B are diagrams showing an example of clipped video data when motion information includes a plurality of motions.
  • FIG. 5A is a diagram showing an example of image data that is cut out in the image data shown in FIG. 2B when the worker's hand shape is that of a driver's hand.
  • FIG. 5B is a diagram showing an example of video data that is cut out in the video data shown in FIG. 2B when the hand shape of the worker is that of a vernier caliper.
  • the object recognition unit 104 recognizes an object (tool) within the image data cut out by the image cutout unit 103 . Specifically, the object recognition unit 104 extracts an image feature amount such as an edge amount from the clipped video data using, for example, a known technique. The object recognition unit 104 performs matching processing between the extracted image feature amount and the image feature amount for each tool (object) stored in advance in the storage unit 20, and recognizes the tool (object) in the clipped video data. do. The object recognition unit 104 may also calculate a probability indicating the likelihood of the recognized tool (object). For example, when the motion information estimated by the motion estimation unit 102 includes a plurality of motions, the object recognition unit 104 recognizes the driver (object) from the clipped image data range of FIG.
  • the object recognition unit 104 may not be able to recognize the vernier caliper (tool) from the range of the clipped image data in FIG. 5B, and may calculate the probability of the vernier caliper (object) as 3%.
  • the work identification unit 105 identifies work performed by the worker based on the object (tool) recognized by the object recognition unit 104 . Specifically, the work identification unit 105 identifies the worker's work based on the tool (object) recognized by the object recognition unit 104 and the work table stored in the work storage unit 204, for example.
  • the work identification unit 105 may display the identified work on a display device (not shown) such as a liquid crystal display included in the work analysis device 1 . Further, when the tool (object) recognized by the object recognition unit 104 is not registered in the work table stored in the work storage unit 204, the work identification unit 105 displays a message such as "Work could not be identified.” It may be displayed on a display device (not shown) of the work analysis device 1 .
  • the work estimating unit 1051 calculates the probabilities of hand shapes (hand joint positions) performing each of the plurality of motions estimated by the motion estimating unit 102. and the probability of an object recognized for each range of a plurality of video data cut out by the object recognition unit 104, the task with the highest probability is estimated. For example, in the image data shown in FIG. 5A , the probability of the hand shape (hand joint position) performing the “screwdriver” motion estimated by the motion estimation unit 102 is 60%, and the object recognition unit 104 recognizes it.
  • FIG. 6 is a flowchart for explaining analysis processing of the work analysis device 1. As shown in FIG. The flow shown here is repeatedly executed while video data is input from the camera 2 .
  • step S1 the joint position estimation unit 101 estimates the joint position information of the worker's hand from the video data including the work of the worker.
  • step S2 the motion estimation unit 102 estimates the worker's motion information based on the joint position information estimated in step S1.
  • step S3 the image clipping unit 103 clips the range of video data related to the object (tool) associated with the motion included in the motion information estimated in step S2. Note that, if the motion information estimated in step S2 includes a plurality of motions, the image clipping unit 103 clips a range of video data related to an object (tool) associated with each motion.
  • step S4 the object recognition unit 104 recognizes an object (tool) within the range of the image data cut out in step S3. Note that, when there are a plurality of image data cut out in step S3, the object recognition unit 104 recognizes an object (tool) in each range of the plurality of image data.
  • step S5 the work identification unit 105 identifies the worker's work based on the tool (object) recognized in step S4 and the work table stored in the work storage unit 204.
  • the work estimating unit 1051 determines the probability of the shape of the hand (hand joint position) performing each of the plurality of motions estimated in step S2, Based on the probability of the object recognized in step S4 for each of the plurality of video data cut out in step S3, the work with the highest probability is specified as the work of the worker.
  • step S6 the work identification unit 105 displays the work identified in step S5 on the display device (not shown) of the work analysis device 1. If the tool (object) recognized in step S4 is not registered in the work table stored in the work storage unit 204, the work identification unit 105 generates a message such as "the work could not be identified.” It is displayed on the display device (not shown) of the device 1 .
  • the work analysis apparatus 1 estimates the joint position information of the worker from the video data including the work of the worker, and calculates the motion information of the worker based on the estimated joint position information of the worker. is estimated, based on the estimated worker's motion information, the range of video data related to the object related to the motion information is cut out from the video data, the object is recognized from the cut-out video data range, and the worker from the recognized object identify the work of
  • the work analysis device 1 can classify the work by recognizing the object from the image with a small amount of calculation.
  • the work analysis apparatus 1 can be implemented with an inexpensive device without requiring an expensive GPU or the like.
  • the work analysis apparatus 1 can easily interpret the work classification model, and the user can use it with satisfaction.
  • the work analysis apparatus 1 can easily interpret the work classification model, and the user can use it with satisfaction.
  • the first embodiment has been described above.
  • joint position information of the worker is estimated from video data including work of the worker, motion information of the worker is estimated based on the estimated joint position information of the worker, and the estimated motion of the worker is estimated. Based on the information, a range of video data related to the object related to the motion information is cut out from the video data, the object is recognized from the cut-out range of the video data, and the work of the worker is specified from the recognized object.
  • an object is detected from video data including the worker's work, the joint position information of the worker is estimated, and the detected object is included based on the estimated joint position information of the worker.
  • the work analysis apparatus 1A of the second embodiment can classify the work by recognizing the object from the image with a small amount of calculation.
  • FIG. 7 is a functional block diagram showing a functional configuration example of the work analysis system according to the second embodiment. Elements having functions similar to those of the work analysis system 100 of FIG. 1 are assigned the same reference numerals, and detailed description thereof is omitted.
  • the work analysis system 100 has a work analysis device 1A and a camera 2.
  • the camera 2 has functions equivalent to those of the camera 2 in the first embodiment.
  • the work analysis device 1A includes a control section 10a and a storage section 20a. Further, the control unit 10a includes a joint position estimation unit 101, a motion estimation unit 102, an image clipping unit 103a, an object recognition unit 104a, a work identification unit 105, an object detection unit 106, an object area entry/exit detection unit 107, and an object detection activation unit. 108.
  • the work identifying unit 105 also has a work estimating unit 1051a.
  • the storage unit 20a is a storage device such as a ROM or HDD.
  • the storage unit 20a stores an operating system, application programs, and the like executed by the control unit 10a, which will be described later.
  • the storage unit 20 a also includes a video data storage unit 201 , a motion storage unit 202 , an object positional relationship storage unit 203 , a work storage unit 204 and an object coordinate storage unit 205 .
  • the video data storage unit 201, the motion storage unit 202, the object positional relationship storage unit 203, and the work storage unit 204 are similar to the video data storage unit 201, the motion storage unit 202, the object positional relationship storage unit 203, and the work storage unit 201 in the first embodiment. Data equivalent to that of the storage unit 204 is stored.
  • the object coordinate storage unit 205 stores the coordinates in the image coordinate system of the tool (object) detected from the image data by the object detection unit 106, which will be described later.
  • the control unit 10a has a CPU, a ROM, a RAM, a CMOS memory, etc., which are known to those skilled in the art and are configured to communicate with each other via a bus.
  • the CPU is a processor that controls the work analysis apparatus 1A as a whole.
  • the CPU reads the system program and the application program stored in the ROM through the bus, and controls the entire work analysis apparatus 1A according to the system program and the application program. Accordingly, as shown in FIG.
  • control unit 10a includes a joint position estimation unit 101, a motion estimation unit 102, an image clipping unit 103a, an object recognition unit 104a, a work identification unit 105, an object detection unit 106, an object region entry/exit detection unit It is configured to implement the functions of the unit 107 and the object detection active unit 108 . Also, the work identifying unit 105 is configured to implement the function of the work estimating unit 1051a.
  • the joint position estimating unit 101, the motion estimating unit 102, and the work identifying unit 105 have functions equivalent to the joint position estimating unit 101, the motion estimating unit 102, and the work identifying unit 105 in the first embodiment.
  • the image clipping unit 103a extracts the range of the video data related to the object (tool) related to the motion information from the video data based on the motion information estimated by the motion estimating unit 102. cut out. Further, the image clipping unit 103a clips a range of video data related to an object (tool) detected by the object detection unit 106, which will be described later, from the video data based on the detection result of the object region entry/exit detection unit 107, which will be described later.
  • the object recognition unit 104a like the object recognition unit 104 of the first embodiment, recognizes objects (tools) within the range of video data cut out by the image cutout unit 103a. Further, the object recognition unit 104a recognizes an object (tool) within the range of the video data cut out by the image cutout unit 103a based on the detection result of the object area entrance/exit detection unit 107, which will be described later.
  • the work estimation unit 1051a identifies work based on changes in the coordinates of the tool (object) detected by the object detection unit 106, which will be described later. The operation of the work estimation unit 1051a will be described later.
  • the object detection unit 106 detects tools (objects) from video data including worker's work.
  • FIG. 8 is a diagram showing an example of video data including worker's work.
  • the vernier caliper is placed on the table but is not used by the worker.
  • the object detection unit 106 extracts an image feature amount such as an edge amount from the entire image of the video data shown in FIG. 8 using a known method.
  • the object detection unit 106 performs matching processing between the extracted image feature amount and the image feature amount for each tool (object) stored in advance in the storage unit 20, detects the tool (object) in the video data, and detects the tool (object).
  • the object detection unit 106 stores the coordinates in the image coordinate system of the acquired image area (rectangle of the dashed line) in the object coordinate storage unit 205 . Note that the detection processing of the object detection unit 106 may be performed only once at the beginning.
  • the object area entrance/exit detection unit 107 detects the joint positions of the worker in the image area including the tool (object) detected by the object detection unit 106 based on the joint position information of the worker estimated by the joint position estimation unit 101 . Detects whether it entered or exited. Specifically, the object region entering/exiting detection unit 107 detects, for example, the image region (dashed line rectangle). The object area entry/exit detection unit 107 detects that the position of the image area (broken line rectangle) including the joint position of the worker's hand is the image area (one-dot chain line rectangle) including the tool (object) detected by the object detection unit 106 . It is determined whether it entered and exited the position of (that is, overlapped and left).
  • the object area entry/exit detection unit 107 determines that the image area (broken line rectangle) of the joint positions of the worker's hand and the position of the image area (one-dot chain line rectangle) including the tool (object) are Since it is separated, it is determined that the worker's joint position is not in the image area of the tool (object).
  • the object area entry/exit detection unit 107 detects that the image area (broken line rectangle) of the joint position of the worker's hand is the image area (one-dot chain line rectangle).
  • the image clipping unit 103a clips an object image area (a rectangle with a dashed line) shown in FIG. 10 from the video data, and the object recognition unit 104a detects the object ( tools).
  • the object detection activation unit 108 causes the object detection unit 106 to periodically detect the tool (object). Specifically, for example, when the object recognition unit 104a cannot recognize the tool (object) detected by the object detection unit 106 in the image area indicated by the one-dot chain line rectangle in FIG. determines that the work has started using the tool (object).
  • the object detection activation unit 108 causes the object detection unit 106 to detect a tool (object) from the entire image data of FIG. 10 periodically (for example, every second). In this case, as shown in FIG.
  • the work estimating unit 1051a detects that the worker has moved the tool (object) when the position of the detected image area (rectangle of the two-dot chain line) of the tool (object) has changed. It specifies that the work specified by the work specifying unit 105 is being performed.
  • the work estimation unit 1051a determines that the position of the image area of the tool (object) (the rectangle of the two-dot chain line) has not changed (or the tool (object) cannot be detected) and the image area of the worker's hand (the dashed line ) and the image area of the worker's hand (the dashed rectangle) is moving, identify that the worker has finished using the tool (object).
  • the object detection activation unit 108 terminates the regular execution of object detection by the object detection unit 106 .
  • the work analysis device 1A uses the object detection and the joint position information to detect the object only when the worker is using the tool (object). The number of times of execution can be reduced by performing processing.
  • the work analysis device 1A can determine whether or not the identified worker's work is work using a tool (object).
  • FIG. 12 is a flowchart for explaining analysis processing of the work analysis device 1. As shown in FIG. The flow shown here is repeatedly executed while video data is input from the camera 2 .
  • step S11 the object detection unit 106 detects objects (tools) from the entire image data including the worker's work.
  • step S12 the joint position estimation unit 101 estimates the joint position information of the worker's hand from the video data.
  • step S13 when the object area entry/exit detection unit 107 determines that the image area of the joint position of the worker's hand has entered and exited the image area including the object (tool), the image clipping unit 103a detects in step S11. The range of the image data related to the object (tool) is cut out.
  • step S14 the object recognition unit 104a recognizes an object (tool) within the range of the image data cut out in step S13.
  • step S15 the object detection activation unit 108 determines whether or not the object recognition unit 104a in step S14 has recognized the object (tool) detected in step S11. If the object recognition unit 104a can recognize the detected object (tool), the object (tool) is at the initial position (not in use), so the process remains at step S15. On the other hand, if the object recognition unit 104a cannot recognize the detected object (tool), the process proceeds to step S16.
  • step S16 the object detection activation unit 108 causes the object detection unit 106 to periodically execute object (tool) detection processing.
  • step S17 the work estimation unit 1051a determines whether the position of the image area of the object (tool) detected in step S16 has changed. If the position of the image area of the detected object (tool) has changed, the process proceeds to step S18. On the other hand, if the position of the image area of the detected object (tool) has not changed, the process proceeds to step S19.
  • step S18 the work estimation unit 1051a identifies that the worker is using the tool (object) to perform the work.
  • step S19 the work estimating unit 1051a determines that if the image area of the object (tool) and the image area of the worker's hand are separated and the image area of the worker's hand is moving, the worker will move the object (tool). Identify when you are doing work without using it.
  • step S20 the object detection activation unit 108 terminates the object (tool) detection processing by the object detection unit 106. Then, the work analysis device 1A ends the analysis process.
  • the work analysis apparatus 1A detects an object from video data including the worker's work, estimates the joint position information of the worker, and based on the estimated joint position information of the worker. Detects whether or not the joint position of the worker has entered or exited the image area containing the detected object, and based on the detection result, cuts out the range of the image data related to the detected object from the image data, and cuts out the image Object recognition is performed for the range of data, and if the object cannot be recognized within the range of video data, detection of the object is periodically executed to determine the work of the worker based on changes in the coordinates of the object.
  • the work analysis device 1A can classify the work by recognizing the object from the image with a small amount of calculation.
  • the work analysis apparatus 1A can be implemented with an inexpensive device without requiring an expensive GPU or the like.
  • the work analysis apparatus 1A can easily interpret the work classification model, and the user can use it with satisfaction.
  • the object detection processing since the object detection processing is heavy, the work analysis device 1A performs object detection processing only when the worker is using an object using object detection and joint position information, thereby reducing the number of executions. can be done.
  • the work analysis device 1A can determine whether or not the identified worker's work is work using an object. The second embodiment has been described above.
  • the work analysis devices 1 and 1A are not limited to the above-described embodiments, and include modifications, improvements, etc. within a range that can achieve the purpose.
  • the work analysis devices 1 and 1A are connected to one camera 2 in the first and second embodiments, the present invention is not limited to this.
  • the work analysis devices 1 and 1A may be connected with two or more cameras 2 .
  • the work analysis devices 1 and 1A have all functions, but are not limited to this.
  • part or all of the joint position estimation unit 101, the motion estimation unit 102, the image clipping unit 103, the object recognition unit 104, the work identification unit 105, and the work estimation unit 1051 of the work analysis device 1, or the work analysis device 1A joint position estimation unit 101, motion estimation unit 102, image clipping unit 103a, object recognition unit 104a, work identification unit 105, work estimation unit 1051a, object detection unit 106, object region entry/exit detection unit 107, and object detection activation unit 108 may be partly or wholly provided by the server.
  • each function of the work analysis apparatuses 1 and 1A may be realized by using a virtual server function or the like on the cloud.
  • the work analysis devices 1 and 1A may be a distributed processing system in which each function of the work analysis devices 1 and 1A is appropriately distributed to a plurality of servers.
  • Each function included in the work analysis devices 1 and 1A in the first and second embodiments can be realized by hardware, software, or a combination thereof.
  • “implemented by software” means implemented by a computer reading and executing a program.
  • Non-transitory computer-readable media include various types of tangible storage media.
  • Examples of non-transitory computer-readable media include magnetic recording media (e.g., flexible discs, magnetic tapes, hard disk drives), magneto-optical recording media (e.g., magneto-optical discs), CD-ROMs (Read Only Memory), CD- R, CD-R/W, semiconductor memory (eg mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM).
  • the program may also be supplied to the computer on various types of transitory computer readable medium. Examples of transitory computer-readable media include electrical signals, optical signals, and electromagnetic waves. Transitory computer-readable media can deliver the program to the computer via wired communication channels, such as wires and optical fibers, or wireless communication channels.
  • steps of writing a program recorded on a recording medium include not only processes that are executed chronologically in order, but also processes that are executed in parallel or individually, even if they are not necessarily processed chronologically. It also includes
  • the work analysis device of the present disclosure can take various embodiments having the following configurations.
  • the work analysis device 1 of the present disclosure is a work analysis device that analyzes the work of a worker, and is a joint position estimation unit 101 that estimates joint position information of the worker from video data including the work of the worker. a motion estimating unit 102 for estimating the motion information of the worker based on the joint position information estimated by the joint position estimating unit 101; An image clipping unit 103 for clipping a range of video data related to a related object, an object recognition unit 104 for recognizing an object in the range of video data clipped by the image clipping unit 103, and an object recognized by the object recognition unit 104. and a work identification unit 105 that identifies the work of the worker based on. According to this work analysis device 1, it is possible to classify work by recognizing an object from an image with a small amount of calculation.
  • the image clipping unit 103 performs the estimated A plurality of image data ranges are cut out for each of a plurality of motions
  • the object recognition unit 104 recognizes an object for each of the plurality of image data ranges
  • the work identification unit 105 recognizes a plurality of images estimated by the motion estimation unit 102.
  • a task estimation unit 1051 may be provided that estimates a task with the highest probability based on the probability of each motion and the probability of objects recognized by the object recognition unit 104 for each range of a plurality of video data. By doing so, the work analysis device 1 can accurately identify the work of the worker even when the shape of the hand is ambiguous.
  • a rule base or a learned model for outputting the worker's motion information corresponding to the joint position information estimated by the joint position estimation unit 101 is stored.
  • a work storage unit 204 that stores a work table in which the objects and work performed by the worker are associated in advance.
  • the work analysis device 1A of the present disclosure is a work analysis device that analyzes the work of a worker, and includes an object detection unit 106 that detects an object from video data including the work of the worker, and a worker from the video data. Based on the joint position estimation unit 101 that estimates the joint position information of the worker and the joint position information estimated by the joint position estimation unit 101, the joint positions of the worker are added to the image area containing the object detected by the object detection unit 106.
  • the object area entrance/exit detection unit 107 detects whether or not the image area containing the , an object recognition unit 104a that performs object recognition on the range of the image data cut out by the image cutout unit 103a, and an object that cannot be recognized within the range of the image data by the object recognition unit 104a. , an object detection activation unit 108 that periodically causes the object detection unit 106 to detect an object, and a work estimation unit 1051a that identifies a work based on changes in the coordinates of the object detected by the object detection unit 106 in video data. And prepare. 1 A of this work analysis apparatus can produce the same effect as (1).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

少ない計算量で、画像から物体を認識させて作業の分類を行うこと。　作業分析装置は、作業員の作業を分析する作業分析装置であって、前記作業員の作業を含む映像データから、前記作業員の関節位置情報を推定する関節位置推定部と、前記関節位置推定部により推定された前記関節位置情報に基づいて前記作業員の動作情報を推定する動作推定部と、前記動作推定部により推定された前記動作情報に基づいて前記映像データから前記動作情報に関連する物体に係る映像データの範囲を切り出す画像切り出し部と、前記画像切り出し部により切り出された前記映像データの範囲において前記物体の認識を行う物体認識部と、前記物体認識部により認識された前記物体に基づいて、前記作業員の作業を特定する作業特定部と、を備える。

Description

作業分析装置
　本発明は、作業分析装置に関する。
　工場では工作機械等の稼働データは取得できているが、作業員の作業のデータは取得できていない。そこで、作業の改善、ロボット導入検討、工場のデジタルツイン等の実現には作業員の作業を見える化する必要があり、作業員の作業の映像から何をしていたのかを自動で認識する技術が重要である。
　この点、作業員の作業が撮像された画像の入力データと当該画像が示す作業員の作業のラベルデータとからなる学習対象データを用いて機械学習を行い、画像から作業を特定するための学習済みモデルを生成し、学習済みモデルを利用して分析対象の画像がどの作業を行っている画像であるかを特定する技術が知られている。例えば、特許文献１参照。
　また、デプスセンサにより撮像された深度付き画像データから作業者の手の位置を特定するとともに、デジタルカメラにより撮像された画像データから対象物の位置を特定し、作業において作業者が行なった動作の内容を特定する技術が知られている。例えば、特許文献２参照。
特開２０２１－６７９８１号公報 国際公開第２０１７／２２２０７０号
　しかしながら、特許文献１の学習済みモデルのような分類モデルは複雑で解釈性が低いという問題がある。
　また、特許文献２のように作業分類のために画像内から使っている道具（物体）を検出するには、画像全体を走査するため多くの計算量が必要である。
　そこで、少ない計算量で、画像から物体を認識させて作業の分類を行うことが望まれている。
　本開示の作業分析装置の一態様は、作業員の作業を分析する作業分析装置であって、前記作業員の作業を含む映像データから、前記作業員の関節位置情報を推定する関節位置推定部と、前記関節位置推定部により推定された前記関節位置情報に基づいて前記作業員の動作情報を推定する動作推定部と、前記動作推定部により推定された前記動作情報に基づいて前記映像データから前記動作情報に関連する物体に係る映像データの範囲を切り出す画像切り出し部と、前記画像切り出し部により切り出された前記映像データの範囲において前記物体の認識を行う物体認識部と、前記物体認識部により認識された前記物体に基づいて、前記作業員の作業を特定する作業特定部と、を備える。
　本開示の作業分析装置の一態様は、作業員の作業を分析する作業分析装置であって、前記作業員の作業を含む映像データから物体を検出する物体検出部と、前記映像データから前記作業員の関節位置情報を推定する関節位置推定部と、前記関節位置推定部により推定された前記関節位置情報に基づいて、前記物体検出部により検出された前記物体を含む画像領域に前記作業員の関節位置を含む画像領域が入って出たか否かを検知する物体領域入出検知部と、前記物体領域入出検知部の検知結果に基づいて、前記映像データから前記物体検出部により検出された前記物体に係る映像データの範囲を切り出す画像切り出し部と、前記画像切り出し部により切り出された前記映像データの範囲に対して物体認識を行う物体認識部と、前記物体認識部により前記映像データの範囲で前記物体が認識できない場合、前記物体検出部による前記物体の検出を定期的に実行させる物体検出活性部と、前記映像データにおける前記物体検出部により検出された前記物体の座標の変化に基づいて、作業を特定する作業推定部と、を備える。
　一態様によれば、少ない計算量で、画像から物体を認識させて作業の分類を行うことができる。
第１実施形態に係る作業分析システムの機能的構成例を示す機能ブロック図である。 作業員の動作情報と工具（物体）とに応じた映像データ上の範囲の一例を示す図である。 作業員の動作情報と工具（物体）とに応じた映像データ上の範囲の一例を示す図である。 作業テーブルの一例を示す図である。 ドライバーを握る手の形の一例を示す図である。 図４Ａと類似する手の形でノギスを握る手の形の一例を示す図である。 図２Ｂに示す映像データにおいて作業員の手の形がドライバーの使用の手の場合に切り出される映像データの一例を示す図である。 図２Ｂに示す映像データにおいて作業員の手の形がノギスの使用の手の場合に切り出される映像データの一例を示す図である。 作業分析装置の分析処理について説明するフローチャートである。 第２実施形態に係る作業分析システムの機能的構成例を示す機能ブロック図である。 作業員の作業を含む映像データの一例を示す図である。 作業員の作業を含む映像データの一例を示す図である。 作業員の作業を含む映像データの一例を示す図である。 作業員の作業を含む映像データの一例を示す図である。 作業分析装置の分析処理について説明するフローチャートである。
　作業分析装置の第１実施形態及び第２実施形態について、図面を参照して詳細に説明をする。
　ここで、各実施形態は、カメラにより撮像された作業員と物体（工具）との画像から、作業員の作業を特定するという構成において共通する。
　ただし、作業員の作業の特定において、第１実施形態では作業員の作業を含む映像データから作業員の関節位置情報を推定し、推定した作業員の関節位置情報に基づいて作業員の動作情報を推定し、推定した作業員の動作情報に基づいて映像データから動作情報に関連する物体に係る映像データの範囲を切り出し、切り出した映像データの範囲から物体の認識し、認識した物体から前記作業員の作業を特定する。これに対し、第２実施形態では作業員の作業を含む映像データから物体を検出するとともに、作業員の関節位置情報を推定し、推定した作業員の関節位置情報に基づいて検出した物体を含む画像領域に作業員の関節位置が入って出たか否かを検知し、当該検知結果に基づいて、映像データから検出した物体に係る映像データの範囲を切り出し、切り出した映像データの範囲に対して物体認識を行い、映像データの範囲で物体が認識できない場合に当該物体の検出を定期的に実行することで物体の座標の変化に基づいて作業員の作業を判定する点が、第１実施形態と相違する。
　以下では、まず第１実施形態について詳細に説明し、次に第２実施形態において第１実施形態と相違する部分を中心に説明を行う。
＜第１実施形態＞
　図１は、第１実施形態に係る作業分析システムの機能的構成例を示す機能ブロック図である。
　図１に示すように、作業分析システム１００は、作業分析装置１、及びカメラ２を有する。
　作業分析装置１、及びカメラ２は、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）やインターネット等の図示しないネットワークを介して相互に接続されていてもよい。この場合、作業分析装置１、及びカメラ２は、かかる接続によって相互に通信を行うための図示しない通信部を備えている。なお、作業分析装置１、及びカメラ２は、図示しない接続インタフェースを介して互いに有線又は無線で直接接続されてもよい。
　また、図１では、作業分析装置１は１つのカメラ２と接続されているが、２つ以上の複数のカメラ２と接続されてもよい。
　カメラ２は、デジタルカメラ等であり、図示しない作業員及び工具等の物体をカメラ２の光軸に対して垂直な平面に投影した２次元のフレーム画像を所定のフレームレート（例えば、３０ｆｐｓ等）で撮像する。カメラ２は、撮像したフレーム画像を映像データとして作業分析装置１に出力する。なお、カメラ２により撮像される映像データは、ＲＧＢカラー画像やグレースケール画像、深度画像等の可視光画像でもよい。
＜作業分析装置１＞
　作業分析装置１は、当業者にとって公知のコンピュータであり、図１に示すように、制御部１０及び記憶部２０を有する。また、制御部１０は、関節位置推定部１０１、動作推定部１０２、画像切り出し部１０３、物体認識部１０４、及び作業特定部１０５を有する。また、作業特定部１０５は、作業推定部１０５１を有する。
　記憶部２０は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）やＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等の記憶装置である。記憶部２０には、後述する制御部１０が実行するオペレーティングシステム及びアプリケーションプログラム等が記憶される。また、記憶部２０は、映像データ記憶部２０１、動作記憶部２０２、物体位置関係記憶部２０３、及び作業記憶部２０４を含む。
　映像データ記憶部２０１には、カメラ２により撮像された作業員及び工具等の物体の映像データが記憶される。
　動作記憶部２０２には、後述する動作推定部１０２により推定される作業員の関節位置情報に対応する作業員の動作情報を出力するルールベース又は学習済みモデルが記憶される。具体的には、例えば、カメラ２により撮像された特定したい作業（例えば、「ノギスで測定」や「ネジ回し」等）それぞれを行っている作業員の映像データにおける作業員の手等の関節位置を含む関節位置情報を入力データとし、当該作業をラベルデータとする教師データを用いた公知の機械学習により予め生成されたニューラルネットワーク等の学習済みモデルが動作記憶部２０２に記憶されてもよい。あるいは、カメラ２により撮像された特定したい作業それぞれを行っている作業員の映像データにおける作業員の関節位置情報と、当該作業と、を公知の手法に基づいて関係付けしたルールベースが動作記憶部２０２に記憶されてもよい。
　物体位置関係記憶部２０３は、後述する動作推定部１０２により推定される作業員の動作情報に基づいて、当該動作情報に関連する工具（物体）が含まれる映像データ上の範囲を予め記憶する。
　図２Ａ及び図２Ｂは、作業員の動作情報と工具（物体）とに応じた映像データ上の範囲の一例を示す図である。図２Ａは、動作情報として作業員がノギスで測定を行っている場合の画像を示す。図２Ｂは、動作情報として作業員がドライバーでネジ回しを行っている場合の画像を示す。
　図２Ａに示すように、作業員がノギスで測定を行っている場合、後述する関節位置推定部１０１により推定された関節位置情報が示す作業員の手の関節位置（破線の矩形）を基準にしてノギス（物体）が存在する映像データ上の範囲として、例えば一点鎖線で示す水平方向に長い矩形の画像座標系における相対位置座標が物体位置関係記憶部２０３に予め記憶される。
　また、図２Ｂに示すように、作業員がネジ回しを行っている場合、後述する関節位置推定部１０１により推定された関節位置情報が示す作業員の手の関節位置（破線の矩形）を基準にしてドライバー（物体）が存在する映像データ上の範囲として、例えば一点鎖線で示す垂直方向に長い矩形の画像座標系における相対位置座標が物体位置関係記憶部２０３に予め記憶される。
　作業記憶部２０４は、後述する物体認識部１０４により認識された工具（物体）と、対応する作業員の作業と、関係付けした作業テーブルを記憶する。
　図３は、作業テーブルの一例を示す図である。
　図３に示すように、作業テーブルは、「物体」及び「作業」の格納領域を有する。
　作業テーブル内の「物体」の格納領域には、例えば、「ドライバー」、「ノギス」等の工具名が格納される。
　作業テーブル内の「作業」の格納領域には、例えば、「ネジ回し」、「ノギスで測定」等の作業が格納される。
　なお、作業テーブル内の「物体」及び「作業」の格納領域には、作業分析装置１に含まれるキーボードやタッチパネル等の入力装置を用いて作業員等のユーザにより予め登録されるようにしてもよい。
　制御部１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＣＭＯＳメモリ等を有し、これらはバスを介して相互に通信可能に構成される、当業者にとって公知のものである。
　ＣＰＵは作業分析装置１を全体的に制御するプロセッサである。ＣＰＵは、ＲＯＭに格納されたシステムプログラム及びアプリケーションプログラムを、バスを介して読み出し、システムプログラム及びアプリケーションプログラムに従って作業分析装置１全体を制御する。これにより、図１に示すように、制御部１０は、関節位置推定部１０１、動作推定部１０２、画像切り出し部１０３、物体認識部１０４、及び作業特定部１０５の機能を実現するように構成される。また、作業特定部１０５は、作業推定部１０５１の機能を実現するように構成される。ＲＡＭには一時的な計算データや表示データ等の各種データが格納される。ＣＭＯＳメモリは図示しないバッテリでバックアップされ、作業分析装置１の電源がオフされても記憶状態が保持される不揮発性メモリとして構成される。
　関節位置推定部１０１は、作業員の作業を含む映像データから、作業員の関節位置情報を推定する。
　具体的には、関節位置推定部１０１は、公知の手法（例えば、菅野滉介、奥健太、川越恭二、「多次元時系列データからのモーション検出・分類手法」、DEIM Forum 2016 G4-5、又は、上園翔平、小野智司、「LSTM Autoencoderを用いたマルチモーダル系列データの特徴抽出」、人工知能学会研究会資料、SIG-KBS-B802-01、2018）を用いて、映像データ記憶部２０１に記憶されている時刻情報が付加された映像データから作業員の手等の関節の座標、角度（手の形）の時系列データを関節位置情報として推定する。
　なお、以下では、関節位置推定部１０１は、作業員の手の関節位置を関節位置情報として推定する場合について説明する。しかしながら、関節位置推定部１０１は、作業員の手以外の部位の関節位置についても、手の関節位置の場合と同様に推定することができる。
　動作推定部１０２は、関節位置推定部１０１により推定された関節位置情報に基づいて作業員の動作情報を推定する。
　なお、以下では、動作推定部１０２は、作業員の動作として、図２Ａに示す「ノギスで測定」と、図２Ｂに示す「ネジ回し」と、の動作情報を推定する場合について説明する。しかしながら、動作推定部１０２は、「ノギスで測定」及び「ネジ回し」以外の動作情報についても、「ノギスで測定」や「ネジ回し」の場合と同様に推定する。
　具体的には、動作推定部１０２は、例えば、関節位置推定部１０１により推定された手の形を示す関節位置情報を入力データとして、動作記憶部２０２に記憶された学習済みモデルに入力し、映像データにおける作業員の動作（すなわち、「ノギスで測定」又は「ネジ回し」）を推定する。あるいは、動作推定部１０２は、関節位置推定部１０１により推定された手の形を示す関節位置情報と、動作記憶部２０２に記憶されたルールベースと、に基づいて映像データにおける作業員の動作を推定するようにしてもよい。また、動作推定部１０２は、推定した作業員の動作情報とともに、当該動作情報が示す動作を行う手の形（手の関節位置）の確からしさを示す確率等を算出するようにしてもよい。
　なお、動作推定部１０２は、図４Ａ及び図４Ｂに示すように、関節位置推定部１０１により推定された手の形があいまいで２つ以上の異なる物体（工具）を握る関節位置に類似する場合、複数の動作を動作情報として推定してもよい。図４Ａは、ドライバーを握る手の形の一例を示す図である。図４Ｂは、図４Ａと類似する手の形でノギスを握る手の形の一例を示す図である。
　画像切り出し部１０３は、動作推定部１０２により推定された動作情報に基づいて映像データから動作情報に関連する物体（工具）に係る映像データの範囲を切り出す。
　具体的には、画像切り出し部１０３は、例えば、動作推定部１０２により推定された動作情報に対応する切り出す映像データ上の範囲である、画像座標系における相対位置座標を物体位置関係記憶部２０３から取得する。画像切り出し部１０３は、図２Ａ又は図２Ｂに示すように、作業員の手の関節位置（破線の矩形）を基準にして取得した相対位置座標に基づいて、一点鎖線で示す矩形の範囲の映像データを切り出す。
　なお、動作推定部１０２により推定された動作情報に複数の動作が含まれる場合、画像切り出し部１０３は、動作情報が示す複数の動作それぞれに対応する画像座標系の相対位置座標を取得し、作業員の手の関節位置を基準にして取得したそれぞれの動作の相対位置座標に基づいて矩形の範囲の映像データを切り出す。
　図５Ａ及び図５Ｂは、動作情報に複数の動作が含まれる場合の切り出された映像データの一例を示す図である。
　図５Ａは、図２Ｂに示す映像データにおいて作業員の手の形がドライバーの使用の手の場合に切り出される映像データの一例を示す図である。図５Ｂは、図２Ｂに示す映像データにおいて作業員の手の形がノギスの使用の手の場合に切り出される映像データの一例を示す図である。
　物体認識部１０４は、画像切り出し部１０３により切り出された映像データの範囲において物体（工具）の認識を行う。
　具体的には、物体認識部１０４は、例えば、公知の手法を用いて、切り出された映像データに対してエッジ量等の画像特徴量を抽出する。物体認識部１０４は、抽出した画像特徴量と、記憶部２０に予め記憶された工具（物体）毎の画像特徴量と、のマッチング処理を行い、切り出された映像データにおける工具（物体）を認識する。また、物体認識部１０４は、認識した工具（物体）の確からしさを示す確率を算出するようにしてもよい。
　例えば、動作推定部１０２により推定された動作情報に複数の動作が含まれる場合、物体認識部１０４は、図５Ａの切り出された映像データの範囲からドライバー（物体）を認識し、ドライバー（物体）の確率を９０％と算出するようにしてもよい。また、物体認識部１０４は、図５Ｂの切り出された映像データの範囲からノギス（工具）を認識できず、ノギス（物体）の確率を３％と算出するようにしてもよい。
　作業特定部１０５は、物体認識部１０４により認識された物体（工具）に基づいて、作業員の作業を特定する。
　具体的には、作業特定部１０５は、例えば、物体認識部１０４により認識された工具（物体）と、作業記憶部２０４に記憶された作業テーブルと、に基づいて作業員の作業を特定する。作業特定部１０５は、特定した作業を作業分析装置１に含まれる液晶ディスプレイ等の表示装置（図示しない）に表示するようにしてもよい。
　また、作業特定部１０５は、物体認識部１０４により認識された工具（物体）が作業記憶部２０４に記憶された作業テーブルに登録されていない場合、「作業を特定できなかった」等のメッセージを作業分析装置１の表示装置（図示しない）に表示してもよい。
　作業推定部１０５１は、動作推定部１０２により推定された動作情報に複数の動作が含まれる場合、動作推定部１０２により推定された複数の動作それぞれを行う手の形（手の関節位置）の確率と物体認識部１０４により切り出された複数の映像データの範囲毎に認識された物体の確率とに基づいて最も確率の高い作業を推定する。
　例えば、図５Ａに示す映像データにおいて、動作推定部１０２により推定された「ネジ回し」の動作を行う手の形（手の関節位置）の確率が６０％で、物体認識部１０４により認識された「ドライバー」の確率が９０％である場合、作業推定部１０５１は、「ネジ回し」の作業の確率を０．５（＝０．６×０．９）と算出する。また、図５Ｂに示す映像データにおいて、動作推定部１０２により推定された「ノギスで測定」の動作を行う手の形（手の関節位置）の確率が４０％で、物体認識部１０４により認識された「ノギス」の確率が３％である場合、作業推定部１０５１は、「ノギスで測定」の作業の確率を０．０１（＝０．４×０．０３）と算出する。そして、作業推定部１０５１は、確率が０．５と最も高い「ネジ回し」を作業員の作業として特定する。
＜作業分析装置１の分析処理＞
　次に、第１実施形態に係る作業分析装置１の分析処理に係る動作について説明する。
　図６は、作業分析装置１の分析処理について説明するフローチャートである。ここで示すフローは、カメラ２から映像データが入力される間繰り返し実行される。
　ステップＳ１において、関節位置推定部１０１は、作業員の作業を含む映像データから作業員の手の関節位置情報を推定する。
　ステップＳ２において、動作推定部１０２は、ステップＳ１で推定された関節位置情報に基づいて作業員の動作情報を推定する。
　ステップＳ３において、画像切り出し部１０３は、ステップＳ２で推定された動作情報に含む動作に関連する物体（工具）に係る映像データの範囲を切り出す。なお、画像切り出し部１０３は、ステップＳ２で推定された動作情報に複数の動作が含まれる場合、動作毎に関連する物体（工具）に係る映像データの範囲を切り出す。
　ステップＳ４において、物体認識部１０４は、ステップＳ３で切り出された映像データの範囲において物体（工具）を認識する。なお、物体認識部１０４は、ステップＳ３で切り出された映像データが複数ある場合、複数の映像データそれぞれの範囲において物体（工具）を認識する。
　ステップＳ５において、作業特定部１０５は、ステップＳ４で認識された工具（物体）と、作業記憶部２０４に記憶された作業テーブルとに基づいて、作業員の作業を特定する。なお、ステップＳ２で動作推定部１０２により複数の動作が推定された場合、作業推定部１０５１が、ステップＳ２で推定された複数の動作それぞれを行う手の形（手の関節位置）の確率と、ステップＳ３で切り出された複数の映像データ毎にステップＳ４で認識された物体の確率と、に基づいて最も確率の高い作業を作業員の作業として特定する。
　ステップＳ６において、作業特定部１０５は、ステップＳ５で特定した作業を作業分析装置１の表示装置（図示しない）に表示する。なお、作業特定部１０５は、ステップＳ４で認識された工具（物体）が作業記憶部２０４に記憶された作業テーブルに登録されていない場合、「作業を特定できなかった」等のメッセージを作業分析装置１の表示装置（図示しない）に表示する。
　以上により、第１実施形態に係る作業分析装置１は、作業員の作業を含む映像データから作業員の関節位置情報を推定し、推定した作業員の関節位置情報に基づいて作業員の動作情報を推定し、推定した作業員の動作情報に基づいて映像データから動作情報に関連する物体に係る映像データの範囲を切り出し、切り出した映像データの範囲から物体の認識し、認識した物体から作業員の作業を特定する。これにより、作業分析装置１は、少ない計算量で、画像から物体を認識させて作業の分類を行うことができる。
　また、作業分析装置１は、高価なＧＰＵ等を必要とせずに、安価なデバイスでも実施することが可能である。
　また、作業分析装置１は、作業分類のモデルの解釈が容易であり、ユーザが納得して使うことができる。また、例えば、作業分類の精度に問題がある場合、物体認識の精度が低いのか、特徴的な手の関節位置を検出する精度が低いのか、という問題に切り分けることができ、分類モデルを拡張・改良しやすい。
　以上、第１実施形態について説明した。
　次に、第２実施形態について説明する。第１実施形態では作業員の作業を含む映像データから作業員の関節位置情報を推定し、推定した作業員の関節位置情報に基づいて作業員の動作情報を推定し、推定した作業員の動作情報に基づいて映像データから動作情報に関連する物体に係る映像データの範囲を切り出し、切り出した映像データの範囲から物体の認識し、認識した物体から前記作業員の作業を特定する。これに対し、第２実施形態では作業員の作業を含む映像データから物体を検出するとともに、作業員の関節位置情報を推定し、推定した作業員の関節位置情報に基づいて検出した物体を含む画像領域に作業員の関節位置が入って出たか否かを検知し、当該検知結果に基づいて、映像データから検出した物体に係る映像データの範囲を切り出し、切り出した映像データの範囲に対して物体認識を行い、映像データの範囲で物体が認識できない場合に当該物体の検出を定期的に実行することで物体の座標の変化に基づいて作業員の作業を判定する点が、第１実施形態と相違する。
　これにより、第２実施形態の作業分析装置１Ａは、少ない計算量で、画像から物体を認識させて作業の分類を行うことができる。
　以下、第２実施形態について説明する。
＜第２実施形態＞
　図７は、第２実施形態に係る作業分析システムの機能的構成例を示す機能ブロック図である。なお、図１の作業分析システム１００の要素と同様の機能を有する要素については、同じ符号を付し、詳細な説明は省略する。
　図７に示すように、作業分析システム１００は、作業分析装置１Ａ、及びカメラ２を有する。
　カメラ２は、第１実施形態におけるカメラ２と同等の機能を有する。
＜作業分析装置１Ａ＞
　図７に示すように、作業分析装置１Ａは、制御部１０ａ、及び記憶部２０ａを含む。また、制御部１０ａは、関節位置推定部１０１、動作推定部１０２、画像切り出し部１０３ａ、物体認識部１０４ａ、作業特定部１０５、物体検出部１０６、物体領域入出検知部１０７、及び物体検出活性部１０８を有する。また、作業特定部１０５は、作業推定部１０５１ａを有する。
　記憶部２０ａは、ＲＯＭやＨＤＤ等の記憶装置である。記憶部２０ａには、後述する制御部１０ａが実行するオペレーティングシステム及びアプリケーションプログラム等が記憶される。また、記憶部２０ａは、映像データ記憶部２０１、動作記憶部２０２、物体位置関係記憶部２０３、作業記憶部２０４、及び物体座標記憶部２０５を含む。
　映像データ記憶部２０１、動作記憶部２０２、物体位置関係記憶部２０３、及び作業記憶部２０４は、第１実施形態における映像データ記憶部２０１、動作記憶部２０２、物体位置関係記憶部２０３、及び作業記憶部２０４と同等のデータが記憶される。
　物体座標記憶部２０５には、後述する物体検出部１０６により映像データから検出された工具（物体）の画像座標系における座標が記憶される。
　制御部１０ａは、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＣＭＯＳメモリ等を有し、これらはバスを介して相互に通信可能に構成される、当業者にとって公知のものである。
　ＣＰＵは作業分析装置１Ａを全体的に制御するプロセッサである。ＣＰＵは、ＲＯＭに格納されたシステムプログラム及びアプリケーションプログラムを、バスを介して読み出し、システムプログラム及びアプリケーションプログラムに従って作業分析装置１Ａ全体を制御する。これにより、図７に示すように、制御部１０ａは、関節位置推定部１０１、動作推定部１０２、画像切り出し部１０３ａ、物体認識部１０４ａ、作業特定部１０５、物体検出部１０６、物体領域入出検知部１０７、及び物体検出活性部１０８の機能を実現するように構成される。また、作業特定部１０５は、作業推定部１０５１ａの機能を実現するように構成される。
　関節位置推定部１０１、動作推定部１０２、及び作業特定部１０５は、第１実施形態における関節位置推定部１０１、動作推定部１０２、及び作業特定部１０５と同等の機能を有する。
　画像切り出し部１０３ａは、第１実施形態の画像切り出し部１０３と同様に、動作推定部１０２により推定された動作情報に基づいて映像データから動作情報に関連する物体（工具）に係る映像データの範囲を切り出す。また、画像切り出し部１０３ａは、後述する物体領域入出検知部１０７による検知結果に基づいて、映像データから後述する物体検出部１０６により検出された物体（工具）に係る映像データの範囲を切り出す。
　物体認識部１０４ａは、第１実施形態の物体認識部１０４と同様に、画像切り出し部１０３ａにより切り出された映像データの範囲において物体（工具）の認識を行う。また、物体認識部１０４ａは、後述する物体領域入出検知部１０７による検知結果に基づいて画像切り出し部１０３ａにより切り出された映像データの範囲において物体（工具）の認識を行う。
　作業推定部１０５１ａは、後述する物体検出部１０６により検出された工具（物体）の座標の変化に基づいて、作業を特定する。なお、作業推定部１０５１ａの動作については後述する。
　物体検出部１０６は、作業員の作業を含む映像データから工具（物体）を検出する。
　図８は、作業員の作業を含む映像データの一例を示す図である。
　図８に示す映像データでは、ノギスはテーブルの上に置かれているが、作業員により使用されていない。物体検出部１０６は、公知の手法を用いて、図８に示す映像データの画像全体に対してエッジ量等の画像特徴量を抽出する。物体検出部１０６は、抽出した画像特徴量と、記憶部２０に予め記憶された工具（物体）毎の画像特徴量と、のマッチング処理を行い、映像データにおける工具（物体）を検出し、検出した工具（物体）を含む画像領域（一点鎖線の矩形）の画像座標系の座標を取得する。物体検出部１０６は、取得した画像領域（一点鎖線の矩形）の画像座標系の座標を物体座標記憶部２０５に記憶する。
　なお、物体検出部１０６の検出処理は、最初の一度のみ行うようにしてもよい。
　物体領域入出検知部１０７は、関節位置推定部１０１により推定された作業者の関節位置情報に基づいて、物体検出部１０６により検出された工具（物体）を含む画像領域に作業員の関節位置が入って出たか否かを検知する。
　具体的には、物体領域入出検知部１０７は、例えば、関節位置推定部１０１により推定された関節位置情報に基づいて、図８の映像データにおいて作業員の手の関節位置を含む画像領域（破線の矩形）の位置を検知する。物体領域入出検知部１０７は、作業員の手の関節位置を含む画像領域（破線の矩形）の位置が、物体検出部１０６により検出された工具（物体）を含む画像領域（一点鎖線の矩形）の位置に入って出た（すなわち、重なって離れた）か否かを判定する。例えば、物体領域入出検知部１０７は、図８の場合、作業員の手の関節位置の画像領域（破線の矩形）と、工具（物体）を含む画像領域（一点鎖線の矩形）の位置とが離れていることから、工具（物体）の画像領域に作業員の関節位置が入って出ていないと判定する。
　一方、物体領域入出検知部１０７は、図９及び図１０に示すような場合、作業員の手の関節位置の画像領域（破線の矩形）が、工具（物体）を含む画像領域（一点鎖線の矩形）に入って出たと判定する。この場合、画像切り出し部１０３ａは、図１０に示す物体の画像領域（一点鎖線の矩形）を映像データから切り出し、物体認識部１０４ａは、画像切り出し部１０３ａにより切り出された映像データの範囲において物体（工具）の認識を行う。
　物体検出活性部１０８は、物体認識部１０４ａにより物体検出部１０６で検出された工具（物体）が認識できない場合、物体検出部１０６による工具（物体）の検出を定期的に実行させる。
　具体的には、物体検出活性部１０８は、例えば、物体認識部１０４ａにより図１０の一点鎖線の矩形で示す画像領域で物体検出部１０６により検出された工具（物体）が認識できない場合、作業員が当該工具（物体）を使って作業が開始したと判定する。そして、物体検出活性部１０８は、物体検出部１０６に対して図１０の映像データ全体から工具（物体）の検出を定期的（例えば、１秒毎等）に実行させる。この場合、作業推定部１０５１ａは、図１１に示すように、検出された工具（物体）の画像領域（二点鎖線の矩形）の位置が変化している場合、作業員が工具（物体）を使用して作業特定部１０５により特定された作業を行っていると特定する。
　一方、作業推定部１０５１ａは、工具（物体）の画像領域（二点鎖線の矩形）の位置が変化していない（もしくは工具（物体）が検出できない）、かつ作業員の手の画像領域（破線の矩形）から離れていて、作業員の手の画像領域（破線の矩形）が動いている場合、作業員が工具（物体）の使用を終了したと特定する。この場合、物体検出活性部１０８は、物体検出部１０６による物体検出の定期実行を終了する。
　そうすることで、作業分析装置１Ａは、物体検出部１０６による物体検出処理が重いことから、物体検出と関節位置情報とを用いて作業員が工具（物体）を使っている場合のみに物体検出処理を行うことで実行する回数を減らすことができる。
　また、作業分析装置１Ａは、特定した作業員の作業が工具（物体）を使った作業か否かを判別することかできる。
＜作業分析装置１Ａの分析処理＞
　次に、第２実施形態に係る作業分析装置１Ａの分析処理に係る動作について説明する。
　図１２は、作業分析装置１の分析処理について説明するフローチャートである。ここで示すフローは、カメラ２から映像データが入力される間繰り返し実行される。
　ステップＳ１１において、物体検出部１０６は、作業員の作業を含む映像データ全体から物体（工具）を検出する。
　ステップＳ１２において、関節位置推定部１０１は、映像データから作業員の手の関節位置情報を推定する。
　ステップＳ１３において、物体領域入出検知部１０７が、作業員の手の関節位置の画像領域が物体（工具）を含む画像領域に入って出たと判定した場合、画像切り出し部１０３ａは、ステップＳ１１で検出された物体（工具）に係る映像データの範囲を切り出す。
　ステップＳ１４において、物体認識部１０４ａは、ステップＳ１３で切り出された映像データの範囲において物体（工具）を認識する。
　ステップＳ１５において、物体検出活性部１０８は、ステップＳ１４において物体認識部１０４ａがステップＳ１１で検出された物体（工具）を認識できたか否かを判定する。物体認識部１０４ａが検出された物体（工具）を認識できた場合、物体（工具）は最初の位置にある（使用されていない）ので、処理はステップＳ１５に留まる。一方、物体認識部１０４ａが検出された物体（工具）を認識できなかった場合、処理はステップＳ１６に進む。
　ステップＳ１６において、物体検出活性部１０８は、物体検出部１０６による物体（工具）の検出処理を定期的に実行させる。
　ステップＳ１７において、作業推定部１０５１ａは、ステップＳ１６で検出された物体（工具）の画像領域の位置が変化しているか否かを判定する。検出された物体（工具）の画像領域の位置が変化している場合、処理はステップＳ１８に進む。一方、検出された物体（工具）の画像領域の位置が変化していない場合、処理はステップＳ１９に進む。
　ステップＳ１８において、作業推定部１０５１ａは、作業員が工具（物体）を使用して作業を行っていると特定する。
　ステップＳ１９において、作業推定部１０５１ａは、物体（工具）の画像領域と作業員の手の画像領域とが離れ、作業員の手の画像領域が動いている場合、作業員が物体（工具）を使わないで作業を行っていると特定する。
　ステップＳ２０において、物体検出活性部１０８は、物体検出部１０６による物体（工具）の検出処理を終了させる。そして、作業分析装置１Ａは、分析処理を終了する。
　以上により、第２実施形態に係る作業分析装置１Ａは、作業員の作業を含む映像データから物体を検出するとともに、作業員の関節位置情報を推定し、推定した作業員の関節位置情報に基づいて検出した物体を含む画像領域に作業員の関節位置が入って出たか否かを検知し、当該検知結果に基づいて、映像データから検出した物体に係る映像データの範囲を切り出し、切り出した映像データの範囲に対して物体認識を行い、映像データの範囲で物体が認識できない場合に当該物体の検出を定期的に実行することで物体の座標の変化に基づいて作業員の作業を判定する。これにより、作業分析装置１Ａは、少ない計算量で、画像から物体を認識させて作業の分類を行うことができる。
　また、作業分析装置１Ａは、高価なＧＰＵ等を必要とせずに、安価なデバイスでも実施することが可能である。
　また、作業分析装置１Ａは、作業分類のモデルの解釈が容易であり、ユーザが納得して使うことができる。また、例えば、作業分類の精度に問題がある場合、物体認識の精度が低いのか、特徴的な手の関節位置を検出する精度が低いのか、という問題に切り分けることができ、分類モデルを拡張・改良しやすい。
　また、作業分析装置１Ａは、物体検出処理が重いことから、物体検出と関節位置情報とを用いて作業員が物体を使っている場合のみに物体検出処理を行うことで実行する回数を減らすことができる。
　また、作業分析装置１Ａは、特定した作業員の作業が物体を使った作業か否かを判別することかできる。
　以上、第２実施形態について説明した。
　以上、第１実施形態及び第２実施形態について説明したが、作業分析装置１、１Ａは、上述の実施形態に限定されるものではなく、目的を達成できる範囲での変形、改良等を含む。
＜変形例１＞
　第１実施形態及び第２実施形態では、作業分析装置１、１Ａは、１つのカメラ２と接続されたが、これに限定されない。例えば、作業分析装置１、１Ａは、２以上の複数のカメラ２と接続されてもよい。
＜変形例２＞
　また例えば、上述の実施形態では、作業分析装置１、１Ａは、全ての機能を有したが、これに限定されない。例えば、作業分析装置１の関節位置推定部１０１、動作推定部１０２、画像切り出し部１０３、物体認識部１０４、作業特定部１０５、及び作業推定部１０５１の一部又は全部、又は、作業分析装置１Ａの関節位置推定部１０１、動作推定部１０２、画像切り出し部１０３ａ、物体認識部１０４ａ、作業特定部１０５、作業推定部１０５１ａ、物体検出部１０６、物体領域入出検知部１０７、及び物体検出活性部１０８の一部又は全部を、サーバが備えるようにしてもよい。また、クラウド上で仮想サーバ機能等を利用して、作業分析装置１、１Ａの各機能を実現してもよい。
　さらに、作業分析装置１、１Ａは、作業分析装置１、１Ａの各機能を適宜複数のサーバに分散される、分散処理システムとしてもよい。
　なお、第１実施形態及び第２実施形態における、作業分析装置１、１Ａに含まれる各機能は、ハードウェア、ソフトウェア又はこれらの組み合わせによりそれぞれ実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。
　プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（Ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ　ｃｏｍｐｕｔｅｒ　ｒｅａｄａｂｌｅ　ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（Ｔａｎｇｉｂｌｅ　ｓｔｏｒａｇｅ　ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（Ｔｒａｎｓｉｔｏｒｙ　ｃｏｍｐｕｔｅｒ　ｒｅａｄａｂｌｅ　ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は、無線通信路を介して、プログラムをコンピュータに供給できる。
　なお、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
　以上を換言すると、本開示の作業分析装置は、次のような構成を有する各種各様の実施形態を取ることができる。
　（１）本開示の作業分析装置１は、作業員の作業を分析する作業分析装置であって、作業員の作業を含む映像データから、作業員の関節位置情報を推定する関節位置推定部１０１と、関節位置推定部１０１により推定された関節位置情報に基づいて作業員の動作情報を推定する動作推定部１０２と、動作推定部１０２により推定された動作情報に基づいて映像データから動作情報に関連する物体に係る映像データの範囲を切り出す画像切り出し部１０３と、画像切り出し部１０３により切り出された映像データの範囲において物体の認識を行う物体認識部１０４と、物体認識部１０４により認識された物体に基づいて、作業員の作業を特定する作業特定部１０５と、を備える。
　この作業分析装置１によれば、少ない計算量で、画像から物体を認識させて作業の分類を行うことができる。
　（２）　（１）に記載の作業分析装置１において、画像切り出し部１０３は、動作推定部１０２が関節位置情報に基づいて複数の動作を含む作業員の動作情報を推定する場合、推定された複数の動作毎に複数の映像データの範囲を切り出し、物体認識部１０４は、複数の映像データの範囲毎に物体の認識を行い、作業特定部１０５は、動作推定部１０２により推定された複数の動作それぞれの確率と物体認識部１０４により複数の映像データの範囲毎に認識された物体の確率とに基づいて最も確率の高い作業を推定する作業推定部１０５１を備えてもよい。
　そうすることで、作業分析装置１は、手の形があいまいな場合でも精度良く作業員の作業を特定することができる。
　（３）　（１）又は（２）に記載の作業分析装置１において、関節位置推定部１０１により推定された関節位置情報に対応する作業員の動作情報を出力するルールベース又は学習済みモデルを記憶する動作記憶部２０２と、作業員の動作情報に基づいて、当該動作情報に関連する物体が含まれる映像データ上の範囲を予め記憶する物体位置関係記憶部２０３と、物体認識部１０４により認識された物体と作業員の作業とを予め対応付けした作業テーブルを記憶する作業記憶部２０４と、を備えてもよい。
　そうすることで、作業分析装置１は、作業分類のモデルの解釈が容易となる。
　（４）本開示の作業分析装置１Ａは、作業員の作業を分析する作業分析装置であって、作業員の作業を含む映像データから物体を検出する物体検出部１０６と、映像データから作業員の関節位置情報を推定する関節位置推定部１０１と、関節位置推定部１０１により推定された関節位置情報に基づいて、物体検出部１０６により検出された物体を含む画像領域に作業員の関節位置を含む画像領域が入って出たか否かを検知する物体領域入出検知部１０７と、物体領域入出検知部１０７の検知結果に基づいて、映像データから物体検出部１０６により検出された物体に係る映像データの範囲を切り出す画像切り出し部１０３ａと、画像切り出し部１０３ａにより切り出された映像データの範囲に対して物体認識を行う物体認識部１０４ａと、物体認識部１０４ａにより映像データの範囲で物体が認識できない場合、物体検出部１０６による物体の検出を定期的に実行させる物体検出活性部１０８と、映像データにおける物体検出部１０６により検出された物体の座標の変化に基づいて、作業を特定する作業推定部１０５１ａと、を備える。
　この作業分析装置１Ａは、（１）と同様の効果を奏することができる。
　１、１Ａ　作業分析装置
　１０、１０ａ　制御部
　１０１　関節位置推定部
　１０２　動作推定部
　１０３、１０３ａ　画像切り出し部
　１０４、１０４ａ　物体認識部
　１０５　作業特定部
　１０５１、１０５１ａ　作業推定部
　１０６　物体検出部
　１０７　物体領域入出検知部
　１０８　物体検出活性部
　２０、２０ａ　記憶部
　２０１　映像データ記憶部
　２０２　動作記憶部
　２０３　物体位置関係記憶部
　２０４　作業記憶部
　２０５　物体座標記憶部
　２　カメラ
　１００　作業分析システム

Claims (4)

  1. 　作業員の作業を分析する作業分析装置であって、
    　前記作業員の作業を含む映像データから、前記作業員の関節位置情報を推定する関節位置推定部と、
    　前記関節位置推定部により推定された前記関節位置情報に基づいて前記作業員の動作情報を推定する動作推定部と、
    　前記動作推定部により推定された前記動作情報に基づいて前記映像データから前記動作情報に関連する物体に係る映像データの範囲を切り出す画像切り出し部と、
    　前記画像切り出し部により切り出された前記映像データの範囲において前記物体の認識を行う物体認識部と、
    　前記物体認識部により認識された前記物体に基づいて、前記作業員の作業を特定する作業特定部と、
    　を備える作業分析装置。
  2. 　前記画像切り出し部は、前記動作推定部が前記関節位置情報に基づいて複数の動作を含む前記作業員の動作情報を推定する場合、推定された前記複数の動作毎に複数の前記映像データの範囲を切り出し、
    　前記物体認識部は、複数の前記映像データの範囲毎に前記物体の認識を行い、
    　前記作業特定部は、
    　前記動作推定部により推定された前記複数の動作それぞれの確率と前記物体認識部により複数の前記映像データの範囲毎に認識された物体の確率とに基づいて最も確率の高い作業を推定する作業推定部を備える、請求項１に記載の作業分析装置。
  3. 　前記関節位置推定部により推定された関節位置情報に対応する前記作業員の動作情報を出力するルールベース又は学習済みモデルを記憶する動作記憶部と、
    　前記作業員の動作情報に基づいて、当該動作情報に関連する前記物体が含まれる前記映像データ上の範囲を予め記憶する物体位置関係記憶部と、
    　前記物体認識部により認識された前記物体と前記作業員の作業とを予め対応付けした作業テーブルを記憶する作業記憶部と、を備える請求項１又は請求項２に記載の作業分析装置。
  4. 　作業員の作業を分析する作業分析装置であって、
    　前記作業員の作業を含む映像データから物体を検出する物体検出部と、
    　前記映像データから前記作業員の関節位置情報を推定する関節位置推定部と、
    　前記関節位置推定部により推定された前記関節位置情報に基づいて、前記物体検出部により検出された前記物体を含む画像領域に前記作業員の関節位置を含む画像領域が入って出たか否かを検知する物体領域入出検知部と、
    　前記物体領域入出検知部の検知結果に基づいて、前記映像データから前記物体検出部により検出された前記物体に係る映像データの範囲を切り出す画像切り出し部と、
    　前記画像切り出し部により切り出された前記映像データの範囲に対して物体認識を行う物体認識部と、
    　前記物体認識部により前記映像データの範囲で前記物体が認識できない場合、前記物体検出部による前記物体の検出を定期的に実行させる物体検出活性部と、
    　前記映像データにおける前記物体検出部により検出された前記物体の座標の変化に基づいて、作業を特定する作業推定部と、
    　を備える作業分析装置。
PCT/JP2021/045391 2021-12-09 2021-12-09 作業分析装置 WO2023105726A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/045391 WO2023105726A1 (ja) 2021-12-09 2021-12-09 作業分析装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/045391 WO2023105726A1 (ja) 2021-12-09 2021-12-09 作業分析装置

Publications (1)

Publication Number Publication Date
WO2023105726A1 true WO2023105726A1 (ja) 2023-06-15

Family

ID=86730030

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/045391 WO2023105726A1 (ja) 2021-12-09 2021-12-09 作業分析装置

Country Status (1)

Country Link
WO (1) WO2023105726A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020086819A (ja) * 2018-11-22 2020-06-04 コニカミノルタ株式会社 画像処理プログラムおよび画像処理装置
JP2020135417A (ja) * 2019-02-20 2020-08-31 Kddi株式会社 食材又は調味料の使用量を推定する情報装置、プログラム及び方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020086819A (ja) * 2018-11-22 2020-06-04 コニカミノルタ株式会社 画像処理プログラムおよび画像処理装置
JP2020135417A (ja) * 2019-02-20 2020-08-31 Kddi株式会社 食材又は調味料の使用量を推定する情報装置、プログラム及び方法

Similar Documents

Publication Publication Date Title
WO2021047232A1 (zh) 交互行为识别方法、装置、计算机设备和存储介质
JP4972201B2 (ja) サインに基づくマンマシンインタラクション
JP6331517B2 (ja) 画像処理装置、システム、画像処理方法、および画像処理プログラム
US10063843B2 (en) Image processing apparatus and image processing method for estimating three-dimensional position of object in image
JP2009266086A (ja) 視線検出装置および方法、並びに、プログラム
JP7234787B2 (ja) 作業分析装置、作業分析方法およびプログラム
JP7211455B2 (ja) 処理システム、処理方法及びプログラム
CN111382637A (zh) 行人检测跟踪方法、装置、终端设备及介质
TWI776176B (zh) 手部作業動作評分裝置、方法及電腦可讀取存儲介質
JP2021185505A (ja) 情報処理装置、表示位置調整方法、およびプログラム
JP2021000694A (ja) ロボット教示装置及びロボットシステム
JP6504180B2 (ja) 異常検出装置、異常検出方法および異常検出プログラム
WO2023105726A1 (ja) 作業分析装置
KR101923405B1 (ko) 기하학적 변환이 적용된 aam을 이용한 사람의 얼굴 검출 및 모델링시스템
Jia et al. Vision-based associative robotic recognition of working status in autonomous manufacturing environment
JP2015187769A (ja) 物体検出装置、物体検出方法及びプログラム
US10621746B2 (en) Methods and apparatus for rapidly dimensioning an object
JP2022036825A (ja) 画像処理装置、画像処理方法およびプログラム
JP2021086218A (ja) 協調作業システム、解析装置および解析プログラム
US9864890B1 (en) Systems and methods for contextualizing data obtained from barcode images
WO2023188417A1 (ja) 作業分析装置
JP7376446B2 (ja) 作業分析プログラム、および、作業分析装置
JP2009110239A (ja) 作業動作分析システム及び作業動作分析方法
KR101386655B1 (ko) 3d 공간 터치 시스템 및 방법
US20240112499A1 (en) Image analysis device and method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21967222

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023565817

Country of ref document: JP

Kind code of ref document: A