WO2017222070A1 - 作業分析装置、作業分析方法、及びコンピュータ読み取り可能な記録媒体 - Google Patents

作業分析装置、作業分析方法、及びコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2017222070A1
WO2017222070A1 PCT/JP2017/023308 JP2017023308W WO2017222070A1 WO 2017222070 A1 WO2017222070 A1 WO 2017222070A1 JP 2017023308 W JP2017023308 W JP 2017023308W WO 2017222070 A1 WO2017222070 A1 WO 2017222070A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
work
action
specified
position information
Prior art date
Application number
PCT/JP2017/023308
Other languages
English (en)
French (fr)
Inventor
勇介 中尾
Original Assignee
Necソリューションイノベータ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Necソリューションイノベータ株式会社 filed Critical Necソリューションイノベータ株式会社
Priority to JP2018523706A priority Critical patent/JP6733995B2/ja
Publication of WO2017222070A1 publication Critical patent/WO2017222070A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Definitions

  • the present invention relates to a work analysis apparatus, a work analysis method, and a computer-readable recording medium that records a program for realizing the work analysis apparatus for analyzing work performed by an operator.
  • IE industrial engineering
  • IEs are roughly classified into three types: IEs related to business management in general, IEs related to production, and IEs related to others. Of these, production-related IE is particularly important at production sites.
  • a MODPTS Modular Arrangement of Predetermined Time Standards
  • the basic motion centering on the motion of the human upper limb is represented by 21 symbols, and each symbol includes the content of the motion and a time value.
  • the operator first performs an operation of moving the hand to the ballpoint pen ("Movement"), and then performs an operation of grasping the ballpoint pen. Since the movement operation is terminated by grasping the ballpoint pen, The grabbing action is the final action (Terminal Activities).
  • the MODAPTS method is usually performed by manual video analysis using a video of the situation of the work performed by the worker. That is, the analyst visually observes the motion of the worker shown in the video, determines which of the motions is classified in advance, and records the determination results one by one. For this reason, there is a problem that the execution of the MODAPTS method takes too much time and labor.
  • An example of the object of the present invention is to provide a work analysis apparatus, a work analysis method, and a computer-readable recording medium that can solve the above-described problems and can analyze an operation of a worker at a work site without using a manual operation. There is.
  • a work analysis apparatus is an apparatus for analyzing work performed on an object by an operator,
  • a position information acquisition unit that acquires first position information that specifies a position of the operator's hand and second position information that specifies a position of the object;
  • an action specifying unit for specifying the content of the action performed by the worker in the work; It is characterized by having.
  • a work analysis method is a method for analyzing work performed on an object by an operator, (A) obtaining first position information identifying the position of the operator's hand and second position information identifying the position of the object; (B) using the first position information and the second position information, identifying the content of the action performed by the worker in the work; It is characterized by having.
  • a computer-readable recording medium is a computer-readable recording in which a program for analyzing an operation performed on an object by a worker is recorded by a computer.
  • a medium In the computer, (A) obtaining first position information identifying the position of the operator's hand and second position information identifying the position of the object; (B) using the first position information and the second position information, identifying the content of the action performed by the worker in the work; A program including an instruction for executing is recorded.
  • the work analysis apparatus of the present invention it is possible to analyze the operation of the worker on the work site without manual operation.
  • FIG. 1 is a block diagram showing a schematic configuration of a work analysis apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a block diagram specifically showing the configuration of the work analysis apparatus according to Embodiment 1 of the present invention.
  • FIG. 3 is a diagram showing an example of the contents of the moving operation specified in the first embodiment of the present invention.
  • FIG. 4 is a diagram showing an example of the content of the final operation specified in the first embodiment of the present invention and an example of a rule that defines the content of the final operation for each identifier.
  • FIG. 5 is a diagram for explaining processing in the case where the content of the final operation is specified according to the position of the object in the first embodiment of the present invention.
  • FIG. 1 is a block diagram showing a schematic configuration of a work analysis apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a block diagram specifically showing the configuration of the work analysis apparatus according to Embodiment 1 of the present invention.
  • FIG. 3 is a diagram showing
  • FIG. 6 is a flowchart showing the operation of the work analysis apparatus according to the first embodiment of the present invention.
  • FIG. 7 is a diagram for explaining processing in the case of specifying the content of the final action according to the orientation of the operator's face in the first modification of the first embodiment of the present invention.
  • FIG. 8 is a block diagram showing the configuration of the work analysis apparatus according to Embodiment 2 of the present invention.
  • FIG. 9 is a flowchart showing the operation of the work analysis apparatus according to the second embodiment of the present invention.
  • FIG. 10 is a block diagram illustrating an example of a computer that implements the work analysis apparatus according to the first and second embodiments of the present invention.
  • Embodiment 1 a work analysis device, a work analysis method, and a program according to Embodiment 1 of the present invention will be described with reference to FIGS.
  • FIG. 1 is a block diagram showing a schematic configuration of a work analysis apparatus according to Embodiment 1 of the present invention.
  • a work analysis apparatus 10 is an apparatus for analyzing work performed on an object by an operator. As shown in FIG. 1, the work analysis apparatus 10 includes a position information acquisition unit 11 and an action specifying unit 12.
  • the position information acquisition unit 11 acquires first position information that specifies the position of the operator's hand and second position information that specifies the position of the object.
  • the action specifying unit 12 uses the first position information and the second position information to specify the content of the action performed by the worker in the work.
  • the operation analysis device 10 does not involve human intervention, but the operation content, for example, the operation of moving only the hand from the position information of the operator's hand and the object, It is specified whether or not the operation was just touching. Therefore, if the work analysis apparatus 10 is used, it is possible to analyze the operation of the worker at the work site without using human hands.
  • FIG. 2 is a block diagram specifically showing the configuration of the work analysis apparatus according to Embodiment 1 of the present invention.
  • a depth sensor 20, a digital camera 30, and an analyzer terminal device 40 are connected to the work analysis apparatus 10.
  • the depth sensor 20 includes, for example, a light source that emits infrared laser light in a specific pattern and an image sensor that receives infrared light reflected by an object, and thereby image data to which a depth for each pixel is added. Is output.
  • a specific example of the depth sensor is an existing depth sensor such as Kinect (registered trademark).
  • the depth sensor 20 is arranged so that the operation of the worker 50 can be photographed. Therefore, if the coordinates and depth of each part of the limb of the worker 50 are specified using the image data with depth output from the depth sensor 20, the position of each part can be detected. That is, in the first embodiment, the image data with depth output from the depth sensor 20 is used as the first position information.
  • the parts that can be identified by the depth sensor 20 include the head, neck, right shoulder, right elbow, right wrist, right thumb, right hand tip, left shoulder, left elbow, left wrist, left thumb, left hand tip, chest, thoracolumbar region, Examples include the pelvis, right hip joint, right knee, right ankle, right foot, left hip joint, left knee, left ankle, and left foot.
  • an existing process used by the depth sensor 20 can be used as a process for detecting the position of each part from the image data with depth.
  • the digital camera 30 is arranged so as to be able to photograph the work object 60 and is used to detect the position of the object 60.
  • a graphic marker is provided on the upper surface of the object 60, and the digital camera 30 outputs image data including the graphic marker at set intervals. Therefore, if the position of the graphic marker is specified using this image data, the position of the object 60 can be detected.
  • image data output from the digital camera 30 is used as the second position information.
  • the work analysis apparatus 10 includes a work time prediction unit 13 in addition to the position information acquisition unit 11 and the action specification unit 12.
  • the work time predicting unit 13 predicts the work time required for the work by collating the content of the specified action with a predetermined relation between the action content and the time.
  • the position information acquisition unit 11 acquires image data with depth output from the depth sensor 20 as first position information, and an image output from the digital camera 30 as second position information. Get the data. In addition, the position information acquisition unit 11 inputs the acquired image data to the operation specifying unit 12.
  • the action specifying unit 12 specifies the positions of the left and right hands of the worker 50 from the image data with depth acquired as the first position information. Specifically, the action specifying unit 12 detects left and right hands from the image data with depth, and for each detected hand, a coordinate system set in advance in real space from the two-dimensional coordinates and depth on the image. The three-dimensional coordinates at are calculated.
  • the action specifying unit 12 specifies the position of the object 60 from the image data acquired as the second position information. Specifically, the action specifying unit 12 detects a graphic marker, and is set in advance in real space from the two-dimensional coordinates on the image of the detected graphic marker and the height of the work table 61 acquired in advance. The three-dimensional coordinates of the object 60 in the coordinate system are calculated.
  • the action specifying unit 12 determines the position of the hand of the worker 50 specified by the first position information, the position of the object 60 specified by the second position information, and the hand of the worker 50 obtained from both positions.
  • the content of the operation performed by the worker 50 is divided into the moving operation and the final operation based on the distance between the object 60 and the object 60.
  • the operation performed by the worker 50 is an operation (moving operation) of moving the hand such as “extending a hand” or “bringing” and a moving operation such as “touching”, “grabbing”, or “placement”. It is comprised with the operation
  • the action specifying unit 12 repeatedly obtains the distance between the hand and the object at the set intervals, and based on the obtained distance, the period during which the moving action is performed and the period during which the final action is being performed. Identify.
  • the action specifying unit 12 obtains the movement distance of the hand of the worker 50 until switching to the final action.
  • the motion specifying unit 12 is any one of “fingertip motion”, “hand motion”, “forearm motion”, “upper arm motion”, and “extended arm motion”. And the determination result is specified as the content of the movement operation.
  • the action specifying unit 12 determines that the movement action has been switched to “carry”. And determine the travel distance. Also in this case, the operation specifying unit 12 performs the same determination as described above, and specifies the content of the moving operation. After that, when the distance between the operator's hand and the object becomes larger than the threshold value again, since the hand is away from the object, the action specifying unit 12 switches from the moving action to the final action “put”. Judging when it was time. Further, the action specifying unit 12 determines that this time is the end time of the action.
  • the action specifying unit 12 can specify the final action by, for example, acquiring an identifier for identifying the object 60 and collating the acquired identifier with a rule defining the content of the final action for each identifier. .
  • the action specifying unit 12 can also specify the content of the final action according to the position of the object 60 at the end of the action.
  • FIG. 3 is a diagram showing an example of the contents of the moving operation specified in the first embodiment of the present invention.
  • FIG. 4 is a diagram showing an example of the content of the final operation specified in the first embodiment of the present invention and an example of a rule that defines the content of the final operation for each identifier.
  • FIG. 5 is a diagram for explaining processing in the case where the content of the final operation is specified according to the position of the object in the first embodiment of the present invention.
  • the action specifying unit 12 obtains the movement distance of the hand of the worker 50 during this period based on the change in the positions of the left and right hands of the worker 50. Then, the action specifying unit 12 determines which of the M1 to M5 shown in FIG. 3 the moving action corresponds to the obtained moving distance. Then, the operation specifying unit 12 specifies the determination result as the content of the moving operation.
  • the action specifying unit 12 acquires an identifier for identifying the object 60 by, for example, notification from the terminal device 40, image processing of image data that is second position information, or the like. Then, the operation specifying unit 12 compares the acquired identifier with the rule (table) shown in FIG. 4 and determines whether the content of the final operation corresponds to G0, G1, G3, P0, P2, or P5. To do. Whether the final motion is “grab” or “place” is determined from a change in the distance between the immediately preceding hand and the object.
  • the action specifying unit 12 determines where the object 60 is placed on the work table 61 based on the three-dimensional coordinates of the object 60 as shown in FIG. By determining, the content of the final operation can be specified.
  • the operation specifying unit 12 can specify the moving operation and the final operation in accordance with the operation classification defined by the MODAPTS method or the like.
  • the determination criteria and rules shown in FIGS. 3 to 5 are similar to the MODAPTS method, they are not as they are.
  • the MODAPTS method may be used as it is as a determination criterion and rule for specifying the operation.
  • FIG. 6 is a flowchart showing the operation of the work analysis apparatus according to the first embodiment of the present invention.
  • FIGS. 1 to 5 are referred to as appropriate.
  • the work analysis method is implemented by operating the work analysis apparatus 10. Therefore, the description of the work analysis method according to the first embodiment is replaced with the following description of the operation of the work analysis apparatus 10.
  • the position information acquisition unit 11 acquires image data with depth output from the depth sensor 20 as the first position information, and from the digital camera 30 as the second position information. Output image data is acquired (step A1).
  • the action specifying unit 12 specifies the position of the hand of the worker 50 from the image data with depth acquired as the first position information, and from the image data acquired as the second position information, the object 60. Is identified (step A2).
  • the action specifying unit 12 calculates the distance between the hand of the worker 50 and the target 60 from the position of the hand of the worker 50 specified in step A2 and the position of the target 60 (step A3).
  • the action specifying unit 12 determines the position of the hand of the worker 50 specified in step A2, the position of the target 60 specified in step A2, and the hand of the worker 50 and the target 60 calculated in step A3.
  • the content of the action performed by the worker 50 is specified based on the distance (step A4).
  • step A4 the action specifying unit 12 specifies the period of the moving action and the period of the final action from the distance between the hand and the object. Then, the action specifying unit 12 performs the specified period, the change in the position of the hand, and the change in the position of the object, and is performed by the worker 50 using the determination criteria and rules shown in FIGS. The content of the operation is specified by dividing it into a movement operation and a final operation.
  • the work time predicting unit 13 predicts the work time required for the work by collating the contents of the action specified in Step A4 with the relation between the contents of the preset action and the time (Step A5). .
  • the content of the operator's operation is specified from the image data without manual intervention, and the work time is predicted based on the content. Therefore, according to the first embodiment, the MODAPTS method can be executed without performing video analysis by a person.
  • the program in the first embodiment may be a program that causes a computer to execute steps A1 to A5 shown in FIG.
  • a CPU Central Processing Unit
  • the work analysis apparatus 10 and the work analysis method in the present embodiment can be realized.
  • a CPU Central Processing Unit
  • the computer functions as the position information acquisition unit 11, the operation specifying unit 12, and the work time prediction unit 13 to perform processing.
  • each computer may function as any one of the position information acquisition unit 11, the operation specifying unit 12, and the work time prediction unit 13.
  • the position information acquisition unit 11 can further acquire face information that specifies the orientation of the face of the worker 50.
  • the position information acquisition unit 11 acquires image data with depth from the depth sensor 20 that images the worker 50, and can acquire the image data with depth as face information. it can.
  • FIG. 7 is a diagram for explaining processing in the case of specifying the content of the final action according to the orientation of the operator's face in the first modification of the first embodiment of the present invention.
  • the action specifying unit 12 detects the operator's face from the image data with depth and specifies the direction of the detected face. For example, the action specifying unit 12 calculates the three-dimensional coordinates of the left and right eyes of the face from the two-dimensional coordinates and depth on the image, and further calculates the orientation of the face from the calculated three-dimensional coordinates of the left and right eyes. . Further, the action specifying unit 12 specifies the content of the final action based on the face direction of the worker 50 specified by the face information, the position of the hand of the worker 50, and the position of the object 60.
  • the action specifying unit 12 calculates the distance between the operator's line of sight and the hand or the object, and when the calculated distance d is equal to or greater than the threshold D (the upper diagram in FIG. 7). ) Determines that the worker is performing the simplest placing operation (P0) that does not require eye movement. On the other hand, when the distance d between the operator's line of sight and the hand or the object is less than the threshold value D (the lower diagram in FIG. 7), the motion specifying unit 12 performs the motion of the eye and performs one position correction ( It is determined that P2) is being performed. According to the first modification, it is possible to specify the content of the operation more accurately.
  • the object 60 has a function of recording a log of operations received from the worker 50 during work.
  • the operation specifying unit 12 can acquire an operation log from the object 60 and specify the content of the final operation based on the acquired operation log.
  • examples of such an object 60 include a tool that can record an operation log, and a measuring device that can also record an operation log.
  • the operation specifying unit 12 can specify the operation content of the worker 50 from the operation log, and thus can accurately specify the operation content based on the operation content.
  • the object 60 includes a sensor that identifies its own state, and sensor data output from the sensor is transmitted to the work analysis apparatus 10 by wire or wirelessly.
  • the operation specifying unit 12 can acquire the sensor data output from the sensor from the object 60 and specify the content of the operation using the acquired sensor data.
  • Such sensors include acceleration sensors and angular velocity sensors.
  • an acceleration sensor is attached to the object 60.
  • the action specifying unit 12 determines that the time when the acceleration value specified by the sensor data is equal to or greater than the threshold is the time when the moving action “take” is started. Further, the action specifying unit 12 can determine that the time point when the acceleration value is less than the threshold is the timing at which the moving action “take” is switched to the final action “put”.
  • the period during which the moving operation is performed and the period during which the final operation is performed can be more accurately specified, and as a result, the contents of the operation can be accurately specified.
  • the third modification is effective when it is difficult to specify the position of the object 60 by the depth sensor 20 or the digital camera 30.
  • Embodiment 2 Next, a work analysis device, a work analysis method, and a program according to Embodiment 2 of the present invention will be described with reference to FIGS.
  • FIG. 8 is a block diagram showing the configuration of the work analysis apparatus according to Embodiment 2 of the present invention.
  • the work analysis apparatus 70 in the second embodiment includes a storage unit 14, and is different from the work analysis apparatus 10 in the first embodiment shown in FIGS. 1 and 2 in this respect. ing.
  • the difference from the first embodiment will be mainly described.
  • the action specifying unit 12 obtains an actual measurement value from the start to the end of the action, and uses the obtained actual measurement value and the contents of the specified action to determine the action contents and the time.
  • a model 15 that defines the relationship is constructed.
  • the action specifying unit 12 stores the constructed model 15 in the storage unit 14. However, when the model 15 has already been constructed, the operation specifying unit 12 updates the model 15 every time measurement of actual values and specification of operation contents are performed.
  • the work time prediction unit 13 predicts the work time required for the work of the worker 50 by applying the content of the identified action to the model 15.
  • FIG. 9 is a flowchart showing the operation of the work analysis apparatus according to the second embodiment of the present invention.
  • FIG. 8 is taken into consideration as appropriate.
  • the work analysis method is performed by operating the work analysis apparatus 70. Therefore, the description of the work analysis method according to the second embodiment is replaced with the following description of the operation of the work analysis apparatus 70.
  • the position information acquisition unit 11 acquires image data with depth output from the depth sensor 20 as the first position information, and from the digital camera 30 as the second position information. Output image data is acquired (step B1).
  • the action specifying unit 12 specifies the position of the hand of the worker 50 from the image data with depth acquired as the first position information, and from the image data acquired as the second position information, the object 60. Is specified (step B2).
  • the action specifying unit 12 calculates the distance between the hand of the worker 50 and the target 60 from the position of the hand of the worker 50 specified in step B2 and the position of the target 60 (step B3).
  • the action specifying unit 12 determines the position of the hand of the worker 50 specified in step B2, the position of the target 60 specified in step B2, and the hand of the worker 50 and the target 60 calculated in step B3.
  • the content of the action performed by the worker 50 is specified based on the distance (step B4).
  • the above steps B1 to B4 are the same steps as steps A1 to A4 shown in FIG.
  • the operation specifying unit 12 acquires actual measurement values from the start to the end of the operation specifying the contents (step B5).
  • the actual measurement value can be acquired by using a timer or the like built in the work analysis apparatus 70.
  • the operation specifying unit 12 constructs or updates the model 15 using the content of the operation specified in step B4 and the actual measurement acquired in step B5 (step B6). Specifically, the action specifying unit 12 performs construction or update of the model 15 by performing general machine learning, statistical analysis, and the like.
  • the work time prediction unit 13 predicts the work time required for the work by applying the content of the action specified in Step B4 to the model 15 (Step B7).
  • FIG. 10 is a block diagram illustrating an example of a computer that implements the work analysis apparatus according to the first and second embodiments of the present invention.
  • the computer 110 includes a CPU 111, a main memory 112, a storage device 113, an input interface 114, a display controller 115, a data reader / writer 116, and a communication interface 117. These units are connected to each other via a bus 121 so that data communication is possible.
  • the CPU 111 performs various operations by developing the program (code) in the present embodiment stored in the storage device 113 in the main memory 112 and executing them in a predetermined order.
  • the main memory 112 is typically a volatile storage device such as a DRAM (Dynamic Random Access Memory).
  • the program in the present embodiment is provided in a state of being stored in a computer-readable recording medium 120. Note that the program in the present embodiment may be distributed on the Internet connected via the communication interface 117.
  • the storage device 113 includes a hard disk drive and a semiconductor storage device such as a flash memory.
  • the input interface 114 mediates data transmission between the CPU 111 and an input device 118 such as a keyboard and a mouse.
  • the display controller 115 is connected to the display device 119 and controls display on the display device 119.
  • the data reader / writer 116 mediates data transmission between the CPU 111 and the recording medium 120, and reads a program from the recording medium 120 and writes a processing result in the computer 110 to the recording medium 120.
  • the communication interface 117 mediates data transmission between the CPU 111 and another computer.
  • the recording medium 120 include general-purpose semiconductor storage devices such as CF (Compact Flash (registered trademark)) and SD (Secure Digital), magnetic storage media such as a flexible disk, or CD- Optical storage media such as ROM (Compact Disk Read Only Memory) are listed.
  • CF Compact Flash
  • SD Secure Digital
  • magnetic storage media such as a flexible disk
  • CD- Optical storage media such as ROM (Compact Disk Read Only Memory) are listed.
  • the work analysis apparatus can be realized not by using a computer in which a program is installed but also by using hardware corresponding to each unit. Furthermore, part of the work analysis apparatus may be realized by a program, and the remaining part may be realized by hardware.
  • a position information acquisition unit that acquires first position information that specifies a position of the operator's hand and second position information that specifies a position of the object; Using the first position information and the second position information, an action specifying unit for specifying the content of the action performed by the worker in the work;
  • a work analysis apparatus characterized by comprising:
  • the operation specifying unit determines the position of the worker's hand specified by the first position information, the position of the object specified by the second position information, and the operator's hand determined from both positions.
  • the operation specifying unit further acquires an identifier for identifying the object, collates the acquired identifier with a rule defining the content of the final operation for each identifier, and specifies the content of the final operation;
  • the work analysis apparatus according to attachment 2.
  • the operation specifying unit further specifies the content of the final operation according to the position of the object at the end of the operation;
  • the work analysis apparatus according to attachment 2.
  • the operation specifying unit further specifies the content of the final operation based on a change in the position of the operator's hand and a change in the position of the object;
  • the work analysis apparatus according to attachment 2.
  • the position information acquisition unit further acquires face information for specifying the face direction of the worker
  • the action specifying unit further specifies the face direction of the worker specified by the face information, the position of the operator's hand specified by the first position information, and the second position information. Based on the position of the object, the content of the final action is specified.
  • the work analysis apparatus according to attachment 2.
  • the object has a function of recording a log of operations received during work from the worker,
  • the operation specifying unit further acquires the operation log from the object, and specifies the content of the final operation based on the acquired operation log.
  • the work analysis apparatus according to attachment 2.
  • the object has a sensor for identifying the state of the object;
  • the operation specifying unit further acquires sensor data output from the sensor from the object, and specifies the content of the operation using the acquired sensor data.
  • the work analysis apparatus according to attachment 2.
  • Appendix 9 Further comprising a work time prediction unit for predicting a work time for the work by collating the content of the specified action with a predetermined relation between the content of the action and the time.
  • the work analysis apparatus according to any one of 8.
  • the action specifying unit further obtains an actual measurement value from the start to the end of the action, and defines the relation between the action content and time using the obtained actual measurement value and the specified action content. Build or update the model
  • the work time prediction unit predicts the work time required for the work by applying the content of the identified action to the model.
  • a method for analyzing work performed on an object by an operator (A) obtaining first position information identifying the position of the operator's hand and second position information identifying the position of the object; (B) using the first position information and the second position information, identifying the content of the action performed by the worker in the work;
  • a work analysis method characterized by comprising:
  • step (b) the operator obtained from the position of the operator's hand specified by the first position information, the position of the object specified by the second position information, and both positions Based on the distance between the hand and the object, the content of the action is identified by dividing it into a movement action and a final action.
  • step (b) an identifier for identifying the object is further acquired, and the acquired identifier is collated with a rule that defines the content of the final operation for each identifier, thereby specifying the content of the final operation.
  • step (b) In the step (b), further, the content of the final operation is specified based on the change in the position of the operator's hand and the change in the position of the object.
  • step (a) In the step (a), further acquiring face information for specifying the orientation of the operator's face, In the step (b), the orientation of the operator's face specified by the face information, the position of the operator's hand specified by the first position information, and the second position information Based on the position of the identified object, the content of the final action is specified.
  • the object has a function of recording a log of operations received during work from the worker, In the step (b), the operation log is further acquired from the object, and the content of the final operation is specified based on the acquired operation log.
  • the object has a sensor for identifying the state of the object; In the step (b), sensor data output by the sensor is further acquired from the object, and the content of the operation is specified using the acquired sensor data.
  • the method further includes a step of predicting a work time for the work by collating the content of the specified action with a predetermined relation between the content of the action and the time.
  • the work analysis method according to any one of appendices 11 to 18.
  • Appendix 21 A computer-readable recording medium in which a program for analyzing an operation performed on an object by a worker is recorded by a computer, In the computer, (A) obtaining first position information identifying the position of the operator's hand and second position information identifying the position of the object; (B) using the first position information and the second position information, identifying the content of the action performed by the worker in the work; The computer-readable recording medium which has recorded the program containing the instruction
  • step (b) the operator obtained from the position of the operator's hand specified by the first position information, the position of the object specified by the second position information, and both positions Based on the distance between the hand and the object, the content of the action is identified by dividing it into a movement action and a final action.
  • step (b) In the step (b), further, the content of the final operation is specified based on the change in the position of the operator's hand and the change in the position of the object.
  • step (a) In the step (a), further acquiring face information for specifying the orientation of the operator's face, In the step (b), the orientation of the operator's face specified by the face information, the position of the operator's hand specified by the first position information, and the second position information Based on the position of the identified object, the content of the final action is specified.
  • the computer-readable recording medium according to appendix 22 The computer-readable recording medium according to appendix 22.
  • the object has a function of recording a log of operations received during work from the worker, In the step (b), the operation log is further acquired from the object, and the content of the final operation is specified based on the acquired operation log.
  • the object has a sensor for identifying the state of the object; In the step (b), sensor data output by the sensor is further acquired from the object, and the content of the operation is specified using the acquired sensor data.
  • the present invention is useful for a production site such as a factory, a site that requires operation of equipment, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

作業分析装置10は、作業者が対象物に対して行なう作業を分析するための装置であって、作業者の手の位置を特定する第1の位置情報、及び対象物の位置を特定する第2の位置情報を取得する、位置情報取得部11と、第1の位置情報及び第2の位置情報を用いて、作業において作業者が行なった動作の内容を特定する、動作特定部と、を備えている。

Description

作業分析装置、作業分析方法、及びコンピュータ読み取り可能な記録媒体
 本発明は、作業者による作業を分析するための、作業分析装置、作業分析方法、及びこれらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
 近年、工場等における生産現場においては、生産性の向上と原価の低減とを図るため、インダストリアル・エンジニアリング(以下「IE」と表記する。)が導入されている。一般に、IEは、経営管理全般に関するIEと、生産に関するIEと、これら以外に関するIEとの大きく3つに分類される。このうち、生産に関するIEは、生産現場において特に重要である。
 具体的には、生産に関するIEにおいては、MODAPTS(Modular Arrangement of Predetermined Time Standards)法と呼ばれる手法を用いて、作業者による作業の分析が行なわれる(例えば、非特許文献1参照)。MODAPTS法では、人間の上肢の動作を中心とした基本動作が21個の記号で表され、各記号には動作の内容と時間値とが含まれている。
 例えば、「机の上に置いてある(手元から約15cm離れた位置にある)ボールペン)を掴む動作」を想定する。この場合、作業者は、まず,手をボールペンまで移動させる動作(「移動動作(Movement)」を行ない、その後、ボールペンを掴む動作を行なう。ボールペンを掴むことによって移動動作は終了するので、ボールペンを掴む動作は終局動作(Terminal Activities)となる。
 そして、これらの動作は、MODAPTS法では、M3G1と分析される。また、これらの動作にかかる作業時間は、4MOD=0.516秒(1MOD=0.129秒)と算出される。
 このように、MODAPTS法によれば、作業者が特定の作業を行う場合の所要時間を、実測することなく、作業動作から簡単に予測することが出来る。即ち、作業者が実行する作業動作さえ分かっていれば、作業のどこに無駄又は無理があるかを、時間を尺度にして簡単に評価することが出来る。結果、生産性の向上が図られると考えられる。
小松原明哲著 「モダプツ法による作業改善テキスト」日本モダプツ協会編、日本出版サービス、2008年10月、p.24-33
 ところで、MODAPTS法は、通常、作業者による作業の様子を撮影したビデオを用いて、人手によるビデオ分析にて行なわれている。つまり、分析者は、ビデオに写っている作業者の動作を目視して、この動作が予め分類されている動作のいずれであるかを判定し、判定結果を逐一記録している。このため、MODAPTS法の実行には、時間及び労力がかかり過ぎるという問題がある。
 本発明の目的の一例は、上記問題を解消し、人手によることなく、作業現場における作業者の動作の分析を行ない得る、作業分析装置、作業分析方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
 上記目的を達成するため、本発明の一側面における作業分析装置は、作業者が対象物に対して行なう作業を分析するための装置であって、
 前記作業者の手の位置を特定する第1の位置情報、及び前記対象物の位置を特定する第2の位置情報を取得する、位置情報取得部と、
 前記第1の位置情報及び前記第2の位置情報を用いて、前記作業において前記作業者が行なった動作の内容を特定する、動作特定部と、
を備えている、ことを特徴とする。
 また、上記目的を達成するため、本発明の一側面における作業分析方法は、作業者が対象物に対して行なう作業を分析するための方法であって、
(a)前記作業者の手の位置を特定する第1の位置情報、及び前記対象物の位置を特定する第2の位置情報を取得する、ステップと、
(b)前記第1の位置情報及び前記第2の位置情報を用いて、前記作業において前記作業者が行なった動作の内容を特定する、ステップと、
を有する、ことを特徴とする。
 更に、上記目的を達成するため、本発明の一側面におけるコンピュータ読み取り可能な記録媒体は、コンピュータによって、作業者が対象物に対して行なう作業を分析するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記コンピュータに、
(a)前記作業者の手の位置を特定する第1の位置情報、及び前記対象物の位置を特定する第2の位置情報を取得する、ステップと、
(b)前記第1の位置情報及び前記第2の位置情報を用いて、前記作業において前記作業者が行なった動作の内容を特定する、ステップと、
を実行させる、命令を含むプログラムを記録していることを特徴とする。
 以上のように、本発明における作業分析装置によれば、人手によることなく、作業現場における作業者の動作の分析を行なうことができる。
図1は、本発明の実施の形態1における作業分析装置の概略構成を示すブロック図である。 図2は、本発明の実施の形態1における作業分析装置の構成を具体的に示すブロック図である。 図3は、本発明の実施の形態1で特定される移動動作の内容の一例を示す図である。 図4は、本発明の実施の形態1で特定される終局動作の内容の一例と識別子毎に終局動作の内容を規定するルールの一例とを示す図である。 図5は、本発明の実施の形態1において、対象物の位置に応じて終局動作の内容を特定する場合の処理を説明するための図である。 図6は、本発明の実施の形態1における作業分析装置の動作を示すフロー図である。 図7は、本発明の実施の形態1の変形例1において、作業者の顔の向きに応じて終局動作の内容を特定する場合の処理を説明するための図である。 図8は、本発明の実施の形態2における作業分析装置の構成を示すブロック図である。 図9は、本発明の実施の形態2における作業分析装置の動作を示すフロー図である。 図10は、本発明の実施の形態1及び2における作業分析装置を実現するコンピュータの一例を示すブロック図である。
(実施の形態1)
 以下、本発明の実施の形態1における、作業分析装置、作業分析方法、およびプログラムについて、図1~図6を参照しながら説明する。
[装置構成]
 最初に、本発明の実施の形態1における作業分析装置の概略構成について図1を用いて説明する。図1は、本発明の実施の形態1における作業分析装置の概略構成を示すブロック図である。
 図1に示す、本実施の形態1における作業分析装置10は、作業者が対象物に対して行なう作業を分析するための装置である。図1に示すように、作業分析装置10は、位置情報取得部11と、動作特定部12とを備えている。
 位置情報取得部11は、作業者の手の位置を特定する第1の位置情報と、対象物の位置を特定する第2の位置情報とを取得する。動作特定部12は、第1の位置情報及び第2の位置情報を用いて、作業において作業者が行なった動作の内容を特定する。
 このように、本実施の形態では、人手を介することなく、作業分析装置10によって、作業者の手及び対象物の位置情報から、動作の内容、例えば、手先のみを動かす動作であったのか、触るだけの動作であったのか等が特定される。従って、作業分析装置10を用いれば、人手によることなく、作業現場における作業者の動作の分析が可能となる。
 続いて、図2を用いて、本実施の形態1における作業分析装置10の構成について更に具体的に説明する。図2は、本発明の実施の形態1における作業分析装置の構成を具体的に示すブロック図である。
 図2に示すように、本実施の形態1においては、作業分析装置10には、デプスセンサ20と、デジタルカメラ30と、分析者の端末装置40とが接続されている。デプスセンサ20は、例えば、特定のパターンで赤外線レーザ光を出射する光源と、対象物で反射された赤外線を受光する撮像素子とを備えており、これらによって、画素毎の深度が付加された画像データを出力する。デプスセンサの具体例としては、Kinect(登録商標)といった既存のデプスセンサが挙げられる。
 また、デプスセンサ20は、作業者50の動作を撮影可能となるように配置されている。従って、デプスセンサ20から出力された深度付の画像データを用いて、作業者50の四肢の各部位の座標と深度とを特定すれば、各部位の位置の検出が可能となる。即ち、本実施の形態1では、デプスセンサ20から出力される深度付の画像データが、第1の位置情報として用いられる。
 なお、デプスセンサ20によって特定可能な部位としては、頭、首、右肩、右肘、右手首、右親指、右手先、左肩、左肘、左手首、左親指、左手先、胸部、胸腰部、骨盤部、右股関節、右膝、右くるぶし、右足、左股関節、左膝、左くるぶし、左足等が挙げられる。また、深度付の画像データから各部位の位置を検出するための処理としては、デプスセンサ20で利用されている既存の処理を用いることができる。
 また、図2において、デジタルカメラ30は、作業の対象物60を撮影可能となるように配置されており、対象物60の位置の検出に用いられている。具体的には、対象物60の上面には、図形マーカが付与されており、デジタルカメラ30は、設定間隔で、図形マーカを含む画像データを出力する。従って、この画像データを用いて、図形マーカの位置を特定すれば、対象物60の位置の検出が可能となる。本実施の形態1では、デジタルカメラ30から出力される画像データが、第2の位置情報として用いられる。
 また、図2に示すように、本実施の形態1においては、作業分析装置10は、位置情報取得部11及び動作特定部12に加えて、作業時間予測部13を備えている。作業時間予測部13は、予め設定された動作の内容と時間との関係に、特定された動作の内容を照合することによって、作業にかかる作業時間を予測する。
 位置情報取得部11は、本実施の形態では、第1の位置情報として、デプスセンサ20から出力される深度付の画像データを取得し、第2の位置情報として、デジタルカメラ30から出力される画像データを取得する。また、位置情報取得部11は、取得した各画像データを動作特定部12に入力する。
 動作特定部12は、本実施の形態1では、第1の位置情報として取得した深度付の画像データから、作業者50の左右の手の位置を特定する。具体的には、動作特定部12は、深度付の画像データから左右の手を検出し、検出した手毎に、画像上の2次元座標と深度とから、予め実空間に設定された座標系における3次元座標を算出する。
 また、動作特定部12は、第2の位置情報として取得した画像データから、対象物60の位置を特定する。具体的には、動作特定部12は、図形マーカを検出し、検出した図形マーカの画像上の2次元座標と、予め取得されている作業台61の高さとから、予め実空間に設定された座標系における対象物60の3次元座標を算出する。
 更に、動作特定部12は、第1の位置情報で特定した作業者50の手の位置、第2の位置情報で特定した対象物60の位置、及び両方の位置から求めた作業者50の手と対象物60との距離に基づいて、作業者50が行なった動作の内容を移動動作と終局動作とに分けて特定する。
 具体的には、作業者50が行なう動作は、「手を伸ばす」、「持ってくる」といった手を移動させる動作(移動動作)と、「触る」、「掴む」、「置く」といった移動動作を終わらせる動作(終局動作)とで構成されている。動作特定部12は、設定された間隔で、手と対象物との距離を繰り返し求め、求めた距離に基づいて、移動動作が行なわれている期間と、終局動作が行なわれている期間とを特定する。
 例えば、動作特定部12は、手と対象物の距離が閾値より大きい状態から閾値以下となったときに、手と対象物とが接触することになるので、この時点を移動動作「手を伸ばす」から終局動作「触る」又は「掴む」へと切り替わったタイミングと判断する。続いて、動作特定部12は、終局動作へと切り替わるまでの作業者50の手の移動距離を求める。更に、動作特定部12は、移動距離に応じて、「指先の動作」、「手の動作」、「前腕の動作」、「上腕の動作」、「伸ばした腕の動作」のいずれであるかを判定し、判定結果を移動動作の内容として特定する。
 また、動作特定部12は、手と対象物との距離が閾値以下の状態で、作業者の手と対象物とが移動を開始すると、終局動作から移動動作「持ってくる」に切り替わったと判断し、移動距離を求める。そして、この場合も、動作特定部12は、上記と同様の判定をして、移動動作の内容を特定する。その後、再び、作業者の手と対象物との距離が閾値より大きくなったときは、手が対象物から離れているので、動作特定部12は、移動動作から終局動作「置く」へと切り替わったタイミングと判断する。また、動作特定部12は、この時点を動作の終了時点と判断する。
 動作特定部12は、終局動作については、例えば、対象物60を識別する識別子を取得し、取得した識別子を、識別子毎に終局動作の内容を規定するルールに照合することによって特定することができる。また、動作特定部12は、動作の終了時点での、対象物60の位置に応じて、終局動作の内容を特定することもできる。
 ここで、図3~図5を用いて、動作特定部12及び作業時間予測部13による処理について具体的に説明する。図3は、本発明の実施の形態1で特定される移動動作の内容の一例を示す図である。図4は、本発明の実施の形態1で特定される終局動作の内容の一例と識別子毎に終局動作の内容を規定するルールの一例とを示す図である。図5は、本発明の実施の形態1において、対象物の位置に応じて終局動作の内容を特定する場合の処理を説明するための図である。
 動作特定部12は、まず、移動動作が行なわれている期間を特定すると、作業者50の左右の手の位置の変化に基づき、この期間における作業者50の手の移動距離を求める。そして、動作特定部12は、求めた移動距離に応じて、移動動作が、図3に示すM1~M5のいずれに該当するかを判定する。そして、動作特定部12は、判定結果を移動動作の内容として特定する。
 また、動作特定部12は、例えば、端末装置40からの通知、第2の位置情報である画像データの画像処理等によって、対象物60を識別する識別子を取得する。そして、動作特定部12は、取得した識別子を図4に示すルール(テーブル)に照合して、終局動作の内容が、G0、G1、G3、P0、P2、P5のいずれに該当するかを判定する。なお、終局動作が「掴む」及び「置く」のいずれであるかは、直前の手と対象物との距離の変化から判断される。
 更に、動作特定部12は、終局動作が「置く」であるときは、対象物60の3次元座標に基づいて、図5に示すように、対象物60が作業台61のどこに置かれたかを判断することで、終局動作の内容の特定を行なうこともできる。
 このように、本実施の形態1では、動作特定部12は、MODAPTS法等で規定されている動作分類に沿って、移動動作及び終局動作を特定することができる。なお、図3~図5に示す判断基準及びルールは、MODAPTS法に類似しているが、MODAPTS法そのままではない。本実施の形態1では、動作特定のための判断基準及びルールとして、MODAPTS法がそのまま用いられていても良い。
 また、作業時間予測部13は、MODAPTS法等で規定されている動作時間に沿って作業時間を予測することができる。例えば、動作特定部12が、作業者50の動作の内容を「M3G1」と特定し、作業時間予測部13において、MODAPTS法が採用されているとする。この場合、作業時間予測部13は、作業時間を「4MOD=0.516秒(1MOD=0.129)」と予測する。
[装置動作]
 次に、本発明の実施の形態1における作業分析装置10の動作について図6を用いて説明する。図6は、本発明の実施の形態1における作業分析装置の動作を示すフロー図である。以下の説明においては、適宜図1~図5を参酌する。また、本実施の形態1では、作業分析装置10を動作させることによって、作業分析方法が実施される。よって、本実施の形態1における作業分析方法の説明は、以下の作業分析装置10の動作説明に代える。
 図6に示すように、最初に、位置情報取得部11が、第1の位置情報として、デプスセンサ20から出力される深度付の画像データを取得し、第2の位置情報として、デジタルカメラ30から出力される画像データを取得する(ステップA1)。
 次に、動作特定部12は、第1の位置情報として取得した深度付の画像データから、作業者50の手の位置を特定し、第2の位置情報として取得した画像データから、対象物60の位置を特定する(ステップA2)。
 次に、動作特定部12は、ステップA2で特定した作業者50の手の位置と対象物60の位置とから、作業者50の手と対象物60との距離を算出する(ステップA3)。
 次に、動作特定部12は、ステップA2で特定した作業者50の手の位置、同じくステップA2で特定した対象物60の位置、及びステップA3で算出した作業者50の手と対象物60との距離に基づいて、作業者50が行なった動作の内容を特定する(ステップA4)。
 具体的には、ステップA4では、動作特定部12は、手と対象物との距離から、移動動作の期間と終局動作の期間とを特定する。そして、動作特定部12は、特定した各期間、手の位置の変化、対象物の位置の変化を総合し、図3~図5に示す判断基準及びルールを用いて、作業者50が行なった動作の内容を移動動作と終局動作とに分けて特定する。
 その後、作業時間予測部13は、予め設定された動作の内容と時間との関係に、ステップA4で特定された動作の内容を照合することによって、作業にかかる作業時間を予測する(ステップA5)。
[実施の形態1における効果]
 以上のように、本実施の形態1では、画像データから、人手を介することなく、作業者の動作の内容が特定されると共に、その内容に基づいて作業時間が予測される。従って、本実施の形態1によれば、人によるビデオ分析を行なわずとも、MODAPTS法を実行することができる。
[プログラム]
 本実施の形態1におけるプログラムは、コンピュータに、図6に示すステップA1~A5を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における作業分析装置10と作業分析方法とを実現することができる。この場合、コンピュータのCPU(Central Processing Unit)は、位置情報取得部11、動作特定部12、及び作業時間予測部13として機能し、処理を行なう。
 なお、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、位置情報取得部11、動作特定部12、及び作業時間予測部13のいずれかとして機能しても良い。
 続いて、本実施の形態1における変形例1~3について以下に説明する。
[変形例1]
 本変形例1では、位置情報取得部11は、作業者50の顔の向きを特定する顔情報を更に取得することができる。但し、本実施の形態1では、位置情報取得部11は、作業者50を撮影するデプスセンサ20から深度付の画像データを取得しており、この深度付の画像データを顔情報として取得することができる。以下、図7を用いて説明する。図7は、本発明の実施の形態1の変形例1において、作業者の顔の向きに応じて終局動作の内容を特定する場合の処理を説明するための図である。
 本変形例1では、動作特定部12は、深度付の画像データから、作業者の顔を検出し、検出した顔の向きを特定する。例えば、動作特定部12は、画像上の2次元座標と深度とから、顔の左右の目の3次元座標を算出し、算出した左右の目の3次元座標から、更に顔の向きを算出する。また、動作特定部12は、顔情報によって特定した作業者50の顔の向きと、作業者50の手の位置と、対象物60の位置とに基づいて、終局動作の内容を特定する。
 具体的には、図7に示すように、動作特定部12は、作業者の視線と手又は対象物との距離を算出し、算出した距離dが閾値D以上である場合(図7上図)は、作業者は、目の動きを要しない最も簡単な置く動作(P0)を行なっていると判断する。一方、動作特定部12は、作業者の視線と手又は対象物との距離dが閾値D未満である場合(図7下図)は、目の動きと1回の位置修正を行なって置く動作(P2)を行なっていると判断する。本変形例1によれば、動作の内容の特定をより正確に行なうことが可能となる。
[変形例2]
 本変形例2では、対象物60が、作業者50から作業の際に受けた操作のログを記録する機能を有している。この場合、動作特定部12は、対象物60から操作ログを取得し、取得した操作ログに基づいて、終局動作の内容を特定することができる。
 具体的には、このような対象物60としては、操作ログを記録可能な工具、同じく操作ログを記録可能な測定機器等が挙げられる。このような工具又は測定機器等が用いられる場合は、動作特定部12は、操作ログから作業者50の操作内容を特定できるので、操作内容に基づいて動作の内容を正確に特定できる。
[変形例3]
 本変形例3では、対象物60が、それ自体の状態を特定するセンサを有し、センサが出力したセンサデータが、有線又は無線によって作業分析装置10に送信されている。この場合、動作特定部12は、対象物60から、センサが出力したセンサデータを取得し、取得したセンサデータを用いて、動作の内容を特定することができる。
 このようなセンサとしては、加速度センサ、角速度センサ等が挙げられる。例えば、対象物60に加速度センサが取り付けられているとする。この場合、動作特定部12は、センサデータによって特定される加速度の値が閾値以上となった時点を、移動動作「持ってくる」が開始された時点と判断する。また、動作特定部12は、加速度の値が閾値未満となった時点を、移動動作「持ってくる」から終局動作「置く」へと切り替わったタイミングと判断することができる。
 本変形例3によれば、移動動作が行なわれている期間と、終局動作が行なわれている期間との特定をより、正確に行なうことができ、結果、動作の内容を正確に特定できる。また、本変形例3は、対象物60の位置を、デプスセンサ20又はデジタルカメラ30によって特定することが難しい場合に有効である。
(実施の形態2)
 次に、本発明の実施の形態2における、作業分析装置、作業分析方法、およびプログラムについて、図8及び図9を参照しながら説明する。
[装置構成]
 最初に、本発明の実施の形態2における作業分析装置の構成について図8を用いて説明する。図8は、本発明の実施の形態2における作業分析装置の構成を示すブロック図である。
 図8に示すように、本実施の形態2における作業分析装置70は、記憶部14を備えており、この点で、図1及び図2に示した実施の形態1における作業分析装置10と異なっている。以下、実施の形態1との相違点を中心に説明する。
 本実施の形態2では、動作特定部12は、動作が開始されてから終了するまでの実測値を求め、求めた実測値と特定した動作の内容とを用いて、動作の内容と時間との関係を規定するモデル15を構築する。
 また、動作特定部12は、構築したモデル15を記憶部14に格納する。但し、既にモデル15が構築されている場合は、動作特定部12は、実測値の測定と動作内容の特定とが行なわれる度に、モデル15を更新する。
 また、本実施の形態2では、作業時間予測部13は、特定した動作の内容をモデル15に適用することによって、作業者50の作業にかかる作業時間を予測する。
[装置動作]
 次に、本発明の実施の形態2における作業分析装置70の動作について図8を用いて説明する。図9は、本発明の実施の形態2における作業分析装置の動作を示すフロー図である。以下の説明においては、適宜図8を参酌する。また、本実施の形態2では、作業分析装置70を動作させることによって、作業分析方法が実施される。よって、本実施の形態2における作業分析方法の説明は、以下の作業分析装置70の動作説明に代える。
 図9に示すように、最初に、位置情報取得部11が、第1の位置情報として、デプスセンサ20から出力される深度付の画像データを取得し、第2の位置情報として、デジタルカメラ30から出力される画像データを取得する(ステップB1)。
 次に、動作特定部12は、第1の位置情報として取得した深度付の画像データから、作業者50の手の位置を特定し、第2の位置情報として取得した画像データから、対象物60の位置を特定する(ステップB2)。
 次に、動作特定部12は、ステップB2で特定した作業者50の手の位置と対象物60の位置とから、作業者50の手と対象物60との距離を算出する(ステップB3)。
 次に、動作特定部12は、ステップB2で特定した作業者50の手の位置、同じくステップB2で特定した対象物60の位置、及びステップB3で算出した作業者50の手と対象物60との距離に基づいて、作業者50が行なった動作の内容を特定する(ステップB4)。以上のステップB1からB4は、図6に示したステップA1からA4と同様のステップである。
 次に、動作特定部12は、本実施の形態2では、内容を特定した動作の開始から終了までの実測値を取得する(ステップB5)。なお、実測値の取得は、作業分析装置70に内蔵されたタイマー等を用いることによって可能である。
 次に、動作特定部12は、ステップB4で特定された動作の内容とステップB5で取得された実測置とを用いてモデル15の構築又は更新を実行する(ステップB6)。具体的には、動作特定部12は、一般的な機械学習、統計分析等を行なうことによって、モデル15の構築又は更新を実行する。
 その後、作業時間予測部13は、ステップB4で特定された動作の内容を、モデル15に適用することによって、作業にかかる作業時間を予測する(ステップB7)。
[実施の形態2における効果]
 以上のように、本実施の形態2によれば、実施の形態1と異なり、動作内容と時間との関係を予め設定しない場合であっても、過去の実測置を用いることで、作業時間を予測することができる。また、本実施の形態2によれば、作業者の作業時間の予測精度をよりいっそう向上できると考えられる。
(物理構成)
 ここで、実施の形態1及び2におけるプログラムを実行することによって、作業分析装置を実現するコンピュータについて図10を用いて説明する。図10は、本発明の実施の形態1及び2における作業分析装置を実現するコンピュータの一例を示すブロック図である。
 図10に示すように、コンピュータ110は、CPU111と、メインメモリ112と、記憶装置113と、入力インターフェイス114と、表示コントローラ115と、データリーダ/ライタ116と、通信インターフェイス117とを備える。これらの各部は、バス121を介して、互いにデータ通信可能に接続される。
 CPU111は、記憶装置113に格納された、本実施の形態におけるプログラム(コード)をメインメモリ112に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ112は、典型的には、DRAM(Dynamic Random Access Memory)等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体120に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス117を介して接続されたインターネット上で流通するものであっても良い。
 また、記憶装置113の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス114は、CPU111と、キーボード及びマウスといった入力機器118との間のデータ伝送を仲介する。表示コントローラ115は、ディスプレイ装置119と接続され、ディスプレイ装置119での表示を制御する。
 データリーダ/ライタ116は、CPU111と記録媒体120との間のデータ伝送を仲介し、記録媒体120からのプログラムの読み出し、及びコンピュータ110における処理結果の記録媒体120への書き込みを実行する。通信インターフェイス117は、CPU111と、他のコンピュータとの間のデータ伝送を仲介する。
 また、記録媒体120の具体例としては、CF(Compact Flash(登録商標))及びSD(Secure Digital)等の汎用的な半導体記憶デバイス、フレキシブルディスク(Flexible Disk)等の磁気記憶媒体、又はCD-ROM(Compact Disk Read Only Memory)などの光学記憶媒体が挙げられる。
 なお、実施の形態1及び2における作業分析装置は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、作業分析装置は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
 上述した実施の形態の一部又は全部は、以下に記載する(付記1)~(付記30)によって表現することができるが、以下の記載に限定されるものではない。
(付記1)
 作業者が対象物に対して行なう作業を分析するための装置であって、
 前記作業者の手の位置を特定する第1の位置情報、及び前記対象物の位置を特定する第2の位置情報を取得する、位置情報取得部と、
 前記第1の位置情報及び前記第2の位置情報を用いて、前記作業において前記作業者が行なった動作の内容を特定する、動作特定部と、
を備えている、ことを特徴とする作業分析装置。
(付記2)
 前記動作特定部が、前記第1の位置情報で特定した前記作業者の手の位置、前記第2の位置情報で特定した前記対象物の位置、及び両方の位置から求めた前記作業者の手と前記対象物との距離に基づいて、前記動作の内容を移動動作と終局動作とに分けて特定する、付記1に記載の作業分析装置。
(付記3)
 前記動作特定部が、更に、前記対象物を識別する識別子を取得し、取得した前記識別子を、識別子毎に終局動作の内容を規定するルールに照合して、前記終局動作の内容を特定する、
付記2に記載の作業分析装置。
(付記4)
 前記動作特定部が、更に、前記動作の終了時点での、前記対象物の位置に応じて、前記終局動作の内容を特定する、
付記2に記載の作業分析装置。
(付記5)
 前記動作特定部が、更に、前記作業者の手の位置の変化、及び前記対象物の位置の変化に基づいて、前記終局動作の内容を特定する、
付記2に記載の作業分析装置。
(付記6)
 前記位置情報取得部が、前記作業者の顔の向きを特定する顔情報を更に取得し、
 前記動作特定部が、更に、前記顔情報によって特定した前記作業者の顔の向きと、前記第1の位置情報で特定した前記作業者の手の位置と、前記第2の位置情報で特定した前記対象物の位置とに基づいて、前記終局動作の内容を特定する、
付記2に記載の作業分析装置。
(付記7)
 前記対象物が、前記作業者から作業の際に受けた操作のログを記録する機能を有しており、
 前記動作特定部が、更に、前記対象物から前記操作ログを取得し、取得した前記操作ログに基づいて、前記終局動作の内容を特定する、
付記2に記載の作業分析装置。
(付記8)
 前記対象物が、当該対象物の状態を特定するセンサを有しており、
 前記動作特定部が、更に、前記対象物から、前記センサが出力したセンサデータを取得し、取得した前記センサデータを用いて、前記動作の内容を特定する、
付記2に記載の作業分析装置。
(付記9)
 予め設定された動作の内容と時間との関係に、特定された前記動作の内容を照合することによって、前記作業にかかる作業時間を予測する、作業時間予測部を更に備えている、付記1~8のいずれかに記載の作業分析装置。
(付記10)
 前記動作特定部が、更に、前記動作が開始されてから終了するまでの実測値を求め、求めた前記実測値と特定した動作の内容とを用いて、動作の内容と時間との関係を規定するモデルを構築又は更新し、
 前記作業時間予測部が、特定した動作の内容を前記モデルに適用することによって、前記作業にかかる作業時間を予測する、
付記9に記載の作業分析装置。
(付記11)
 作業者が対象物に対して行なう作業を分析するための方法であって、
(a)前記作業者の手の位置を特定する第1の位置情報、及び前記対象物の位置を特定する第2の位置情報を取得する、ステップと、
(b)前記第1の位置情報及び前記第2の位置情報を用いて、前記作業において前記作業者が行なった動作の内容を特定する、ステップと、
を有する、ことを特徴とする作業分析方法。
(付記12)
 前記(b)のステップにおいて、前記第1の位置情報で特定した前記作業者の手の位置、前記第2の位置情報で特定した前記対象物の位置、及び両方の位置から求めた前記作業者の手と前記対象物との距離に基づいて、前記動作の内容を移動動作と終局動作とに分けて特定する、
付記11に記載の作業分析方法。
(付記13)
 前記(b)のステップにおいて、更に、前記対象物を識別する識別子を取得し、取得した前記識別子を、識別子毎に終局動作の内容を規定するルールに照合して、前記終局動作の内容を特定する、
付記12に記載の作業分析方法。
(付記14)
 前記(b)のステップにおいて、更に、前記動作の終了時点での、前記対象物の位置に応じて、前記終局動作の内容を特定する、
付記12に記載の作業分析方法。
(付記15)
 前記(b)のステップにおいて、更に、前記作業者の手の位置の変化、及び前記対象物の位置の変化に基づいて、前記終局動作の内容を特定する、
付記12に記載の作業分析方法。
(付記16)
 前記(a)のステップにおいて、前記作業者の顔の向きを特定する顔情報を更に取得し、
 前記(b)のステップにおいて、更に、前記顔情報によって特定した前記作業者の顔の向きと、前記第1の位置情報で特定した前記作業者の手の位置と、前記第2の位置情報で特定した前記対象物の位置とに基づいて、前記終局動作の内容を特定する、
付記12に記載の作業分析方法。
(付記17)
 前記対象物が、前記作業者から作業の際に受けた操作のログを記録する機能を有しており、
 前記(b)のステップにおいて、更に、前記対象物から前記操作ログを取得し、取得した前記操作ログに基づいて、前記終局動作の内容を特定する、
付記12に記載の作業分析方法。
(付記18)
 前記対象物が、当該対象物の状態を特定するセンサを有しており、
 前記(b)のステップにおいて、更に、前記対象物から、前記センサが出力したセンサデータを取得し、取得した前記センサデータを用いて、前記動作の内容を特定する、
付記12に記載の作業分析方法。
(付記19)
(c)予め設定された動作の内容と時間との関係に、特定された前記動作の内容を照合することによって、前記作業にかかる作業時間を予測する、ステップを更に有している、
付記11~18のいずれかに記載の作業分析方法。
(付記20)
(d)前記動作が開始されてから終了するまでの実測値を求め、求めた前記実測値と特定した動作の内容とを用いて、動作の内容と時間との関係を規定するモデルを構築又は更新する、ステップを更に有し、
 前記(c)のステップにおいて、特定した動作の内容を前記モデルに適用することによって、前記作業にかかる作業時間を予測する、
付記19に記載の作業分析方法。
(付記21)
 コンピュータによって、作業者が対象物に対して行なう作業を分析するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記コンピュータに、
(a)前記作業者の手の位置を特定する第1の位置情報、及び前記対象物の位置を特定する第2の位置情報を取得する、ステップと、
(b)前記第1の位置情報及び前記第2の位置情報を用いて、前記作業において前記作業者が行なった動作の内容を特定する、ステップと、
を実行させる、命令を含むプログラムを記録しているコンピュータ読み取り可能な記録媒体。
(付記22)
 前記(b)のステップにおいて、前記第1の位置情報で特定した前記作業者の手の位置、前記第2の位置情報で特定した前記対象物の位置、及び両方の位置から求めた前記作業者の手と前記対象物との距離に基づいて、前記動作の内容を移動動作と終局動作とに分けて特定する、
付記21に記載のコンピュータ読み取り可能な記録媒体。
(付記23)
 前記(b)のステップにおいて、更に、前記対象物を識別する識別子を取得し、取得した前記識別子を、識別子毎に終局動作の内容を規定するルールに照合して、前記終局動作の内容を特定する、
付記22に記載のコンピュータ読み取り可能な記録媒体。
(付記24)
 前記(b)のステップにおいて、更に、前記動作の終了時点での、前記対象物の位置に応じて、前記終局動作の内容を特定する、
付記22に記載のコンピュータ読み取り可能な記録媒体。
(付記25)
 前記(b)のステップにおいて、更に、前記作業者の手の位置の変化、及び前記対象物の位置の変化に基づいて、前記終局動作の内容を特定する、
付記22に記載のコンピュータ読み取り可能な記録媒体。
(付記26)
 前記(a)のステップにおいて、前記作業者の顔の向きを特定する顔情報を更に取得し、
 前記(b)のステップにおいて、更に、前記顔情報によって特定した前記作業者の顔の向きと、前記第1の位置情報で特定した前記作業者の手の位置と、前記第2の位置情報で特定した前記対象物の位置とに基づいて、前記終局動作の内容を特定する、
付記22に記載のコンピュータ読み取り可能な記録媒体。
(付記27)
 前記対象物が、前記作業者から作業の際に受けた操作のログを記録する機能を有しており、
 前記(b)のステップにおいて、更に、前記対象物から前記操作ログを取得し、取得した前記操作ログに基づいて、前記終局動作の内容を特定する、
付記22に記載のコンピュータ読み取り可能な記録媒体。
(付記28)
 前記対象物が、当該対象物の状態を特定するセンサを有しており、
 前記(b)のステップにおいて、更に、前記対象物から、前記センサが出力したセンサデータを取得し、取得した前記センサデータを用いて、前記動作の内容を特定する、
付記22に記載のコンピュータ読み取り可能な記録媒体。
(付記29)
 前記プログラムが、前記コンピュータに、
(c)予め設定された動作の内容と時間との関係に、特定された前記動作の内容を照合することによって、前記作業にかかる作業時間を予測する、ステップを実行させる、命令を更に含む、
付記21~28のいずれかに記載のコンピュータ読み取り可能な記録媒体。
(付記30)
 前記プログラムが、前記コンピュータに、
(d)前記動作が開始されてから終了するまでの実測値を求め、求めた前記実測値と特定した動作の内容とを用いて、動作の内容と時間との関係を規定するモデルを構築又は更新する、ステップを実行させる、命令を更に含み、
 前記(c)のステップにおいて、特定した動作の内容を前記モデルに適用することによって、前記作業にかかる作業時間を予測する、
付記29に記載のコンピュータ読み取り可能な記録媒体。
 以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
 この出願は、2016年6月23日に出願された日本出願特願2016-124875を基礎とする優先権を主張し、その開示の全てをここに取り込む。
 以上のように、本発明における作業分析装置によれば、人手によることなく、作業現場における作業者の動作の分析を行なうことができる。本発明は、工場等の生産現場、機器の操作が必要な現場等に有用である。
 10 作業分析装置(実施の形態1)
 11 位置情報取得部
 12 動作特定部
 13 作業時間予測部
 14 記憶部
 15 モデル
 20 デプスセンサ
 30 デジタルカメラ
 40 端末装置
 50 作業者
 60 対象物
 61 作業台
 70 作業分析装置(実施の形態2)
 110 コンピュータ
 111 CPU
 112 メインメモリ
 113 記憶装置
 114 入力インターフェイス
 115 表示コントローラ
 116 データリーダ/ライタ
 117 通信インターフェイス
 118 入力機器
 119 ディスプレイ装置
 120 記録媒体
 121 バス

Claims (30)

  1.  作業者が対象物に対して行なう作業を分析するための装置であって、
     前記作業者の手の位置を特定する第1の位置情報、及び前記対象物の位置を特定する第2の位置情報を取得する、位置情報取得部と、
     前記第1の位置情報及び前記第2の位置情報を用いて、前記作業において前記作業者が行なった動作の内容を特定する、動作特定部と、
    を備えている、ことを特徴とする作業分析装置。
  2.  前記動作特定部が、前記第1の位置情報で特定した前記作業者の手の位置、前記第2の位置情報で特定した前記対象物の位置、及び両方の位置から求めた前記作業者の手と前記対象物との距離に基づいて、前記動作の内容を移動動作と終局動作とに分けて特定する、請求項1に記載の作業分析装置。
  3.  前記動作特定部が、更に、前記対象物を識別する識別子を取得し、取得した前記識別子を、識別子毎に終局動作の内容を規定するルールに照合して、前記終局動作の内容を特定する、
    請求項2に記載の作業分析装置。
  4.  前記動作特定部が、更に、前記動作の終了時点での、前記対象物の位置に応じて、前記終局動作の内容を特定する、
    請求項2に記載の作業分析装置。
  5.  前記動作特定部が、更に、前記作業者の手の位置の変化、及び前記対象物の位置の変化に基づいて、前記終局動作の内容を特定する、
    請求項2に記載の作業分析装置。
  6.  前記位置情報取得部が、前記作業者の顔の向きを特定する顔情報を更に取得し、
     前記動作特定部が、更に、前記顔情報によって特定した前記作業者の顔の向きと、前記第1の位置情報で特定した前記作業者の手の位置と、前記第2の位置情報で特定した前記対象物の位置とに基づいて、前記終局動作の内容を特定する、
    請求項2に記載の作業分析装置。
  7.  前記対象物が、前記作業者から作業の際に受けた操作のログを記録する機能を有しており、
     前記動作特定部が、更に、前記対象物から前記操作ログを取得し、取得した前記操作ログに基づいて、前記終局動作の内容を特定する、
    請求項2に記載の作業分析装置。
  8.  前記対象物が、当該対象物の状態を特定するセンサを有しており、
     前記動作特定部が、更に、前記対象物から、前記センサが出力したセンサデータを取得し、取得した前記センサデータを用いて、前記動作の内容を特定する、
    請求項2に記載の作業分析装置。
  9.  予め設定された動作の内容と時間との関係に、特定された前記動作の内容を照合することによって、前記作業にかかる作業時間を予測する、作業時間予測部を更に備えている、請求項1~8のいずれかに記載の作業分析装置。
  10.  前記動作特定部が、更に、前記動作が開始されてから終了するまでの実測値を求め、求めた前記実測値と特定した動作の内容とを用いて、動作の内容と時間との関係を規定するモデルを構築又は更新し、
     前記作業時間予測部が、特定した動作の内容を前記モデルに適用することによって、前記作業にかかる作業時間を予測する、
    請求項9に記載の作業分析装置。
  11.  作業者が対象物に対して行なう作業を分析するための方法であって、
    (a)前記作業者の手の位置を特定する第1の位置情報、及び前記対象物の位置を特定する第2の位置情報を取得する、ステップと、
    (b)前記第1の位置情報及び前記第2の位置情報を用いて、前記作業において前記作業者が行なった動作の内容を特定する、ステップと、
    を有する、ことを特徴とする作業分析方法。
  12.  前記(b)のステップにおいて、前記第1の位置情報で特定した前記作業者の手の位置、前記第2の位置情報で特定した前記対象物の位置、及び両方の位置から求めた前記作業者の手と前記対象物との距離に基づいて、前記動作の内容を移動動作と終局動作とに分けて特定する、
    請求項11に記載の作業分析方法。
  13.  前記(b)のステップにおいて、更に、前記対象物を識別する識別子を取得し、取得した前記識別子を、識別子毎に終局動作の内容を規定するルールに照合して、前記終局動作の内容を特定する、
    請求項12に記載の作業分析方法。
  14.  前記(b)のステップにおいて、更に、前記動作の終了時点での、前記対象物の位置に応じて、前記終局動作の内容を特定する、
    請求項12に記載の作業分析方法。
  15.  前記(b)のステップにおいて、更に、前記作業者の手の位置の変化、及び前記対象物の位置の変化に基づいて、前記終局動作の内容を特定する、
    請求項12に記載の作業分析方法。
  16.  前記(a)のステップにおいて、前記作業者の顔の向きを特定する顔情報を更に取得し、
     前記(b)のステップにおいて、更に、前記顔情報によって特定した前記作業者の顔の向きと、前記第1の位置情報で特定した前記作業者の手の位置と、前記第2の位置情報で特定した前記対象物の位置とに基づいて、前記終局動作の内容を特定する、
    請求項12に記載の作業分析方法。
  17.  前記対象物が、前記作業者から作業の際に受けた操作のログを記録する機能を有しており、
     前記(b)のステップにおいて、更に、前記対象物から前記操作ログを取得し、取得した前記操作ログに基づいて、前記終局動作の内容を特定する、
    請求項12に記載の作業分析方法。
  18.  前記対象物が、当該対象物の状態を特定するセンサを有しており、
     前記(b)のステップにおいて、更に、前記対象物から、前記センサが出力したセンサデータを取得し、取得した前記センサデータを用いて、前記動作の内容を特定する、
    請求項12に記載の作業分析方法。
  19. (c)予め設定された動作の内容と時間との関係に、特定された前記動作の内容を照合することによって、前記作業にかかる作業時間を予測する、ステップを更に有している、
    請求項11~18のいずれかに記載の作業分析方法。
  20. (d)前記動作が開始されてから終了するまでの実測値を求め、求めた前記実測値と特定した動作の内容とを用いて、動作の内容と時間との関係を規定するモデルを構築又は更新する、ステップを更に有し、
     前記(c)のステップにおいて、特定した動作の内容を前記モデルに適用することによって、前記作業にかかる作業時間を予測する、
    請求項19に記載の作業分析方法。
  21.  コンピュータによって、作業者が対象物に対して行なう作業を分析するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    前記コンピュータに、
    (a)前記作業者の手の位置を特定する第1の位置情報、及び前記対象物の位置を特定する第2の位置情報を取得する、ステップと、
    (b)前記第1の位置情報及び前記第2の位置情報を用いて、前記作業において前記作業者が行なった動作の内容を特定する、ステップと、
    を実行させる、命令を含むプログラムを記録しているコンピュータ読み取り可能な記録媒体。
  22.  前記(b)のステップにおいて、前記第1の位置情報で特定した前記作業者の手の位置、前記第2の位置情報で特定した前記対象物の位置、及び両方の位置から求めた前記作業者の手と前記対象物との距離に基づいて、前記動作の内容を移動動作と終局動作とに分けて特定する、
    請求項21に記載のコンピュータ読み取り可能な記録媒体。
  23.  前記(b)のステップにおいて、更に、前記対象物を識別する識別子を取得し、取得した前記識別子を、識別子毎に終局動作の内容を規定するルールに照合して、前記終局動作の内容を特定する、
    請求項22に記載のコンピュータ読み取り可能な記録媒体。
  24.  前記(b)のステップにおいて、更に、前記動作の終了時点での、前記対象物の位置に応じて、前記終局動作の内容を特定する、
    請求項22に記載のコンピュータ読み取り可能な記録媒体。
  25.  前記(b)のステップにおいて、更に、前記作業者の手の位置の変化、及び前記対象物の位置の変化に基づいて、前記終局動作の内容を特定する、
    請求項22に記載のコンピュータ読み取り可能な記録媒体。
  26.  前記(a)のステップにおいて、前記作業者の顔の向きを特定する顔情報を更に取得し、
     前記(b)のステップにおいて、更に、前記顔情報によって特定した前記作業者の顔の向きと、前記第1の位置情報で特定した前記作業者の手の位置と、前記第2の位置情報で特定した前記対象物の位置とに基づいて、前記終局動作の内容を特定する、
    請求項22に記載のコンピュータ読み取り可能な記録媒体。
  27.  前記対象物が、前記作業者から作業の際に受けた操作のログを記録する機能を有しており、
     前記(b)のステップにおいて、更に、前記対象物から前記操作ログを取得し、取得した前記操作ログに基づいて、前記終局動作の内容を特定する、
    請求項22に記載のコンピュータ読み取り可能な記録媒体。
  28.  前記対象物が、当該対象物の状態を特定するセンサを有しており、
     前記(b)のステップにおいて、更に、前記対象物から、前記センサが出力したセンサデータを取得し、取得した前記センサデータを用いて、前記動作の内容を特定する、
    請求項22に記載のコンピュータ読み取り可能な記録媒体。
  29.  前記プログラムが、前記コンピュータに、
    (c)予め設定された動作の内容と時間との関係に、特定された前記動作の内容を照合することによって、前記作業にかかる作業時間を予測する、ステップを実行させる、命令を更に含む、
    請求項21~28のいずれかに記載のコンピュータ読み取り可能な記録媒体。
  30.  前記プログラムが、前記コンピュータに、
    (d)前記動作が開始されてから終了するまでの実測値を求め、求めた前記実測値と特定した動作の内容とを用いて、動作の内容と時間との関係を規定するモデルを構築又は更新する、ステップを実行させる、命令を更に含み、
     前記(c)のステップにおいて、特定した動作の内容を前記モデルに適用することによって、前記作業にかかる作業時間を予測する、
    請求項29に記載のコンピュータ読み取り可能な記録媒体。
PCT/JP2017/023308 2016-06-23 2017-06-23 作業分析装置、作業分析方法、及びコンピュータ読み取り可能な記録媒体 WO2017222070A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018523706A JP6733995B2 (ja) 2016-06-23 2017-06-23 作業分析装置、作業分析方法、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016124875 2016-06-23
JP2016-124875 2016-06-23

Publications (1)

Publication Number Publication Date
WO2017222070A1 true WO2017222070A1 (ja) 2017-12-28

Family

ID=60783904

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/023308 WO2017222070A1 (ja) 2016-06-23 2017-06-23 作業分析装置、作業分析方法、及びコンピュータ読み取り可能な記録媒体

Country Status (2)

Country Link
JP (2) JP6733995B2 (ja)
WO (1) WO2017222070A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019149154A (ja) * 2018-02-27 2019-09-05 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2020086854A (ja) * 2018-11-22 2020-06-04 株式会社構造計画研究所 情報処理システム、情報処理方法及びプログラム
WO2021166716A1 (ja) 2020-02-18 2021-08-26 Necプラットフォームズ株式会社 作業稼働率測定装置及び作業稼働率測定方法
WO2022162844A1 (ja) * 2021-01-28 2022-08-04 三菱電機株式会社 作業推定装置、作業推定方法、及び、作業推定プログラム
DE112021008311T5 (de) 2021-12-09 2024-08-14 Fanuc Corporation Arbeitsanalysevorrichtung

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003256756A (ja) * 2002-03-05 2003-09-12 Osaka Gas Co Ltd 作業空間診断方法及び作業空間診断装置
JP2009015809A (ja) * 2007-06-07 2009-01-22 Ricoh Co Ltd 動作解析装置
JP2013025578A (ja) * 2011-07-21 2013-02-04 Uchihama Kasei Kk 作業支援システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4135332B2 (ja) 2001-04-18 2008-08-20 松下電工株式会社 作業分析システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003256756A (ja) * 2002-03-05 2003-09-12 Osaka Gas Co Ltd 作業空間診断方法及び作業空間診断装置
JP2009015809A (ja) * 2007-06-07 2009-01-22 Ricoh Co Ltd 動作解析装置
JP2013025578A (ja) * 2011-07-21 2013-02-04 Uchihama Kasei Kk 作業支援システム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019149154A (ja) * 2018-02-27 2019-09-05 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP7254546B2 (ja) 2018-02-27 2023-04-10 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2020086854A (ja) * 2018-11-22 2020-06-04 株式会社構造計画研究所 情報処理システム、情報処理方法及びプログラム
JP7252593B2 (ja) 2018-11-22 2023-04-05 株式会社ビー・ナレッジ・デザイン 情報処理システム、情報処理方法及びプログラム
WO2021166716A1 (ja) 2020-02-18 2021-08-26 Necプラットフォームズ株式会社 作業稼働率測定装置及び作業稼働率測定方法
WO2022162844A1 (ja) * 2021-01-28 2022-08-04 三菱電機株式会社 作業推定装置、作業推定方法、及び、作業推定プログラム
JPWO2022162844A1 (ja) * 2021-01-28 2022-08-04
JP7254262B2 (ja) 2021-01-28 2023-04-07 三菱電機株式会社 作業推定装置、作業推定方法、及び、作業推定プログラム
DE112021006095B4 (de) 2021-01-28 2024-09-12 Mitsubishi Electric Corporation Arbeitsermittlungsvorrichtung, arbeitsermittlungsverfahren und arbeitsermittlungsprogramm
DE112021008311T5 (de) 2021-12-09 2024-08-14 Fanuc Corporation Arbeitsanalysevorrichtung

Also Published As

Publication number Publication date
JPWO2017222070A1 (ja) 2019-04-11
JP2020177680A (ja) 2020-10-29
JP7010542B2 (ja) 2022-01-26
JP6733995B2 (ja) 2020-08-05

Similar Documents

Publication Publication Date Title
JP7010542B2 (ja) 作業分析装置、作業分析方法、及びプログラム
US11009941B2 (en) Calibration of measurement units in alignment with a skeleton model to control a computer system
US20190126484A1 (en) Dynamic Multi-Sensor and Multi-Robot Interface System
US11285624B2 (en) Object detection device, control device, and object detection computer program
US11474593B2 (en) Tracking user movements to control a skeleton model in a computer system
US10976863B1 (en) Calibration of inertial measurement units in alignment with a skeleton model to control a computer system based on determination of orientation of an inertial measurement unit from an image of a portion of a user
US20150261373A1 (en) Determining User Handedness and Orientation Using a Touchscreen Device
JP2008021092A (ja) ロボットシステムのシミュレーション装置
JP2011110621A (ja) ロボットの教示データを作成する方法およびロボット教示システム
US20200125839A1 (en) Method and system for automatic repetitive step and cycle detection for manual assembly line operations
US11175729B2 (en) Orientation determination based on both images and inertial measurement units
US20200319721A1 (en) Kinematic Chain Motion Predictions using Results from Multiple Approaches Combined via an Artificial Neural Network
JP6075888B2 (ja) 画像処理方法、ロボットの制御方法
US20170017303A1 (en) Operation recognition device and operation recognition method
US10162737B2 (en) Emulating a user performing spatial gestures
WO2017222072A1 (ja) 姿勢分析装置、姿勢分析方法、及びコンピュータ読み取り可能な記録媒体
JP2018153874A (ja) 提示装置、提示方法およびプログラム、ならびに作業システム
JP6501806B2 (ja) 情報処理装置、操作検出方法、及びコンピュータプログラム
WO2021195916A1 (zh) 动态手部仿真方法、装置和系统
JP7165108B2 (ja) 作業訓練システム及び作業訓練支援方法
CN112347837A (zh) 图像处理系统
KR20200063727A (ko) 제스처 인식 방법 및 장치
JP2017027311A (ja) 情報処理装置、その制御方法、プログラム、および記憶媒体
JP2021086218A (ja) 協調作業システム、解析装置および解析プログラム
KR20200032990A (ko) 실제 손에 대응하는 가상 손 모델링 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17815535

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018523706

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17815535

Country of ref document: EP

Kind code of ref document: A1