WO2019221081A1 - 作業分析装置および作業分析方法 - Google Patents

作業分析装置および作業分析方法 Download PDF

Info

Publication number
WO2019221081A1
WO2019221081A1 PCT/JP2019/018998 JP2019018998W WO2019221081A1 WO 2019221081 A1 WO2019221081 A1 WO 2019221081A1 JP 2019018998 W JP2019018998 W JP 2019018998W WO 2019221081 A1 WO2019221081 A1 WO 2019221081A1
Authority
WO
WIPO (PCT)
Prior art keywords
worker
work
analysis
posture
time
Prior art date
Application number
PCT/JP2019/018998
Other languages
English (en)
French (fr)
Inventor
雄二 里
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to CN201980032857.2A priority Critical patent/CN112189210A/zh
Priority to US17/055,304 priority patent/US11842511B2/en
Publication of WO2019221081A1 publication Critical patent/WO2019221081A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Definitions

  • the present invention relates to a work analysis apparatus and a work analysis method in which a processor executes a process of outputting analysis information related to a worker's work situation based on a video obtained by photographing a worker's work.
  • a camera is used to photograph a situation in which the worker is working, and an image in which a predetermined image pattern exists at a predetermined position in the captured image is extracted.
  • a technique is known in which the timing at which the extracted image is taken is determined as a process break, and the time interval of the extracted image is measured as a working time (see Patent Document 1).
  • the present invention does not increase the burden of setting work for an administrator for analysis even if the number of workers to be targeted increases, and makes it possible to efficiently analyze the work situation for a large number of workers. It is a main object of the present invention to provide a work analysis apparatus and a work analysis method that can be performed in a simple manner.
  • the work analysis apparatus of the present invention is a work analysis apparatus that executes processing for outputting analysis information related to a worker's work status based on a video obtained by photographing a worker's work state, the processor including: The joint position of the worker is estimated from the video, and based on the estimation result, it is determined whether the worker's posture corresponds to a predetermined fixed posture, and based on the determination result, the worker's work status The analysis information related to is generated.
  • the work analysis method of the present invention is a work analysis method in which a processor executes a process of outputting analysis information relating to a worker's work situation based on a video obtained by photographing a worker's work.
  • the joint position of the worker is estimated from the above, and based on the estimation result, it is determined whether or not the worker's posture corresponds to a predetermined fixed posture, and based on the determination result, The analysis information is generated.
  • the fixed posture of the worker corresponding to the timing at which the process is separated is detected based on the joint position of the worker.
  • a first invention made to solve the above-described problem is a work analysis apparatus that executes processing for outputting analysis information related to a worker's work status by a processor based on an image obtained by photographing a worker's work.
  • the processor estimates the joint position of the worker from the video, determines whether the posture of the worker corresponds to a predetermined fixed posture based on the estimation result, and based on the determination result Thus, the analysis information related to the work status of the worker is generated.
  • the fixed posture of the worker corresponding to the timing at which the process is separated is detected based on the joint position of the worker.
  • the processor is based on a learning video, information on a joint position of the worker shown in the video, and information indicating whether or not the worker has a fixed posture. Then, machine learning on the joint position and posture of the operator is performed to acquire learning information for joint position estimation and learning information for fixed posture determination, and based on the learning information for joint position estimation, An estimation is performed, and the fixed posture is determined based on the estimation result and the learning information for determining the fixed posture.
  • the machine learning may be performed by a device different from the work analysis device.
  • the third invention is configured such that the processor acquires the work time that the worker actually worked in the workplace as the analysis information based on the determination result of the fixed posture.
  • the working time of each worker can be presented to the administrator. For this reason, the manager can determine the work efficiency (skill level) of each worker.
  • the processor determines whether or not the worker is in the workplace from the video, and acquires the residence time the worker was in the workplace as the analysis information based on the determination result.
  • the configuration
  • the residence time of each worker can be presented to the administrator. For this reason, the administrator can judge the waste when the worker performs work by comparing the working time and the staying time.
  • the processor acquires the work time of a skilled worker as a standard time, compares the work time with the standard time, and determines the work efficiency of the worker as the analysis information.
  • the evaluated evaluation information is acquired.
  • the evaluation result of the work efficiency of each worker can be presented to the manager. For this reason, the administrator can easily grasp the work efficiency of each worker.
  • the processor determines the fixed posture for each of a plurality of workers, generates the analysis information for each worker based on the determination result for each worker, The analysis information for each worker is statistically processed to generate statistical information regarding the work status for each worker.
  • the administrator can easily compare the work status of each worker.
  • the seventh invention is configured such that the processor determines whether the posture of the worker corresponds to a plurality of fixed postures and generates the analysis information according to the determined fixed posture.
  • a process in operation can be identified by setting a different attitude for each process as a fixed attitude. Also, by setting different postures at the start of work and at the end of work as the fixed posture, it is possible to identify the work start timing and the work end timing.
  • a work analysis method in which a processor executes a process of outputting analysis information relating to a worker's work situation based on a video obtained by photographing a worker's work.
  • the joint position of the worker is estimated, and based on the estimation result, it is determined whether or not the worker's posture corresponds to a predetermined fixed posture, and the analysis information relating to the worker's work situation is determined based on the determination result Is generated.
  • FIG. 1 is an overall configuration diagram of a work analysis system according to the present embodiment.
  • This work analysis system analyzes a worker's work situation in a factory or the like and presents the analysis result to a manager.
  • the camera 1 takes a picture of the worker working in his / her place.
  • Recorder 2 records the video output from camera 1.
  • the server 3 acquires a video from the camera 1 or the recorder 2, analyzes the work status of the worker based on the video, and outputs the analysis result.
  • the administrator terminal 4 is used by a system administrator or a work administrator, and is composed of a PC, a tablet terminal, or the like.
  • the system administrator performs various setting operations related to processing performed in the server 3. Further, the administrator terminal 4 displays the analysis result output from the server 3 and is browsed by the work administrator.
  • processing performed by the server 3 may be real-time processing performed simultaneously with imaging or post-processing performed after imaging.
  • the camera 1, the server 3, and the administrator terminal 4 may be connected to the network.
  • the video stored in the recorder 2 may be transferred to the server 3 via an appropriate storage medium.
  • FIG. 2 is an explanatory diagram showing an outline of the analysis process.
  • the server 3 determines whether or not the worker is in the holding place (in charge area) in each frame image of the video obtained by photographing the work situation of the worker, and based on the determination result, the time the worker is in the holding place ( Dwell time).
  • the residence start time is obtained, the timing from the residence state to the absence state is taken as the residence end time, and the time from the residence start time to the residence end time is obtained as the residence time.
  • the server 3 determines whether or not the worker has taken a predetermined trigger posture (standard posture) in each frame image of the video, and based on the determination result, the worker actually works in the workplace. Measure the working time (working time).
  • raising the hand is a trigger posture
  • the worker raises his hand when starting work and raises his hand when finishing the work.
  • the timing from when the trigger posture is detected while not working is the work start time
  • the timing when the trigger posture is detected while working is the work end time
  • the time from the work start time to the work end time is the work time. Get as.
  • the operator takes the same trigger posture (raised hand) at the start of work and at the end of work.
  • the trigger posture is different at the start of work and at the end of work. Also good.
  • the worker may take a trigger posture when starting a process at each process timing, for example, each process.
  • FIG. 3 is an explanatory diagram showing an outline of trigger posture detection.
  • the joint position of the worker's body is estimated, and the worker's posture is changed to the trigger posture (raising hand) based on the joint position. It is determined whether it is applicable.
  • the raising hand is the trigger posture, but the trigger posture is not limited to the raising hand.
  • the upright posture may be the trigger posture.
  • a posture that the worker always takes during the work may be set as the trigger posture.
  • the posture when the worker brings the face guard mask close to the face in the welding operation may be set as the trigger posture.
  • the posture at the time of confirming pointing with the instrument may be a trigger posture.
  • the posture when the component is taken out from the component case may be set as the trigger posture.
  • a plurality of trigger postures may be set to determine which of the plurality of fixed postures corresponds to the worker's posture, and an analysis corresponding to the detected fixed posture may be performed. For example, a process can be identified by setting a different posture for each process as a fixed posture. Also, by setting different postures at the start of work and at the end of work as the fixed posture, it is possible to identify the work start timing and the work end timing.
  • FIG. 4 is a block diagram illustrating a schematic configuration of the server 3.
  • the server 3 includes a video input unit 11, a screen output unit 12, a storage unit 13, and a control unit 14.
  • video captured by the camera 1 is input in the case of real-time processing, and video recorded by the recorder 2 is input in post-processing.
  • the analysis result display screen generated by the control unit 14 is output, and the analysis result display screen is displayed on the administrator terminal 4.
  • the storage unit 13 stores a program to be executed by a processor that constitutes the control unit 14.
  • the storage unit 13 stores the video (the learning video and the analysis video) acquired by the video input unit 11.
  • the storage unit 13 also stores the joint position estimation model and posture class estimation model (learning information), posture detection information, and analysis information generated by the control unit 14.
  • the control unit 14 includes a posture learning unit 21, a posture detection unit 22, an analysis unit 23, and an analysis result visualization unit 24.
  • This control part 14 is comprised with a processor, and each part of the control part 14 is implement
  • the posture learning unit 21 generates a joint position estimation model (learning information for joint position estimation) and a posture class estimation model (learning information for routine posture determination) by machine learning using a learning video.
  • the posture detection unit 22 estimates the joint position of the worker from the video for analysis using the joint position estimation model and the posture class estimation model acquired by the posture learning unit 21, and based on the estimation result, the worker It is determined whether or not takes a trigger posture, and posture detection information including a joint position estimation result and a trigger posture determination result is acquired.
  • the analysis unit 23 generates analysis information related to the worker's work status based on the posture detection information acquired by the posture detection unit 22.
  • the analysis result visualization unit 24 visualizes the analysis information acquired by the analysis unit 23 and presents it to the administrator.
  • an analysis result display screen is generated and displayed on the administrator terminal 4.
  • FIG. 5 is a block diagram illustrating a schematic configuration of the posture learning unit 21.
  • the posture learning unit 21 generates a joint position estimation model and a posture class estimation model by machine learning using a learning video, and includes a video acquisition unit 31, an annotation unit 32, a learning unit 33, and an output. Part 34.
  • the video acquisition unit 31 acquires a video for learning from the storage unit 13. Note that the learning video is obtained by previously capturing the work situation of the worker selected as the representative with the camera 1.
  • the annotation unit 32 sets the joint position of the worker and the posture class label indicating whether or not the trigger posture is set for each frame image of the learning video according to the operation input of the administrator. To generate annotation information.
  • the joint position and posture class label are associated with the ID (frame number) of each frame image.
  • a process for estimating the joint position is performed for each frame image of the learning video, and the joint position acquired by this joint position estimation is calculated. If there is an error, the administrator performs an operation to correct the joint position, and sets the correct joint position.
  • the learning unit 33 performs machine learning (deep learning) using the learning video and the annotation information acquired by the annotation unit 32 to generate a joint position estimation model and a posture class estimation model.
  • the joint position estimation model is a neural network that estimates each frame image of a learning video and the joint position of an operator reflected in the frame image as input information and estimates the joint position as output information from the input information.
  • the posture class estimation model is a time series neural network that estimates a posture class as output information from this input information using joint positions as input information. Note that. A known technique may be used for this machine learning.
  • the output unit 34 stores the joint position estimation model and posture class estimation model generated by the learning unit 33 in the storage unit 13.
  • FIG. 6 is an explanatory diagram showing an annotation information setting screen.
  • the administrator terminal 4 displays an annotation information setting screen for setting annotation information (joint position and posture class label in the learning video).
  • This annotation information setting screen is provided with an image display unit 41.
  • the image display unit 41 displays a frame image 42 of a learning video.
  • a mark 43 representing the joint position of the worker is displayed on the frame image 42.
  • a mark 43 corresponding to the joint position acquired by joint position estimation using a joint position estimation model created in advance is displayed.
  • a “next joint” button 44 and a “next image” button 45 are provided. If all joint positions displayed on the image display unit 41 are appropriate, the administrator operates the “next image” button 45 to proceed to confirmation of the next frame image. On the other hand, if there is an unsuitable joint position, the administrator operates the “next joint” button 44 to select the mark 43 to be corrected and operate the input device such as a mouse to properly The administrator specifies the correct location.
  • a class label specifying unit 46 is provided on the annotation information setting screen.
  • the class label designating unit 46 designates whether or not the worker shown in the frame image 42 takes the trigger posture (posture class label). Specifically, “0” is selected when the worker is not in the trigger posture, and “1” is selected when the worker is in the trigger posture.
  • FIG. 7 is a flowchart showing the procedure of the posture learning process.
  • the video acquisition unit 31 acquires a video for learning from the storage unit 13 and determines whether all the frame images have been processed (ST101).
  • the annotation unit 32 sets the joint position for the target frame image in accordance with the operation input by the administrator (ST102). Also, a posture class label is set for the target frame image in response to an operation input by the administrator (ST103). Then, the process returns to ST101.
  • the learning unit 33 performs machine learning based on the annotation information, that is, the joint position and posture class label in each frame image of the learning video. Perform (ST104).
  • the output unit 34 stores the learning results, that is, the joint position estimation model and posture class estimation model generated by the learning unit 33 in the storage unit 13 (ST105).
  • FIG. 8 is a block diagram illustrating a schematic configuration of the posture detection unit 22.
  • the posture detection unit 22 detects the trigger posture of the worker from each frame image of the video for analysis, and includes a video acquisition unit 51, a joint position estimation unit 52, a trigger posture determination unit 53, and an output unit. 54.
  • the video acquisition unit 51 acquires a video for analysis from the storage unit 13.
  • the joint position estimation unit 52 detects the worker from each frame image of the video for analysis using the joint position estimation model stored in the storage unit 13 and estimates the joint position of the worker's body.
  • the trigger posture determination unit 53 uses the posture class estimation model stored in the storage unit 13 to determine the trigger posture of the worker based on the joint position of the worker in each frame image acquired by the joint position estimation unit 52. It is determined whether it corresponds to. Note that determination may be made based on joint positions in a plurality of frame images.
  • the joint position acquired by the joint position estimation unit 52 and the determination result of the trigger posture determination unit 53 that is, the posture class label indicating whether or not the operator is taking the trigger posture, are used as posture detection information. Is stored in the storage unit 13. This posture detection information associates the joint position and posture class label with the ID (frame number) of each frame image.
  • FIG. 9 is a block diagram illustrating a schematic configuration of the analysis unit 23.
  • the analysis unit 23 generates analysis information related to the work status of the worker based on the posture detection information acquired by the posture detection unit 22, and includes a posture detection result acquisition unit 61, a work time measurement unit 62, and a staying time. A time measuring unit 63 and an output unit 64 are provided.
  • the posture detection result acquisition unit 61 acquires the posture detection information stored in the storage unit 13.
  • the work time measuring unit 62 measures the time (work time) that the worker is actually working in the workplace. Specifically, work time counting is started with the timing when the trigger posture is detected in a state where work is not being performed as the work start time, and the time from the work start time to the present is acquired as the work time. Further, the timing at which the trigger posture is detected in the state of being worked is set as the work end time, the work time count is stopped, and the time from the work start time to the work end time is acquired as the work time.
  • the residence time measuring unit 63 measures the time (stay time) that the worker is in the office. Specifically, the timing at which the operator is detected from the video is set as the stay start time, the count of the stay time is started, and the time from the stay start time to the present is acquired as the stay time. In addition, the timing when the worker can no longer be detected from the video is set as the staying end time, the counting of the staying time is stopped, and the time from the staying start time to the staying end time is acquired as the staying time.
  • the dwell time measurement unit 63 sets the timing at which a valid joint position and posture class label is found in the posture detection information as the dwell start time, and the joint position and posture class label become invalid. That is, the joint position and posture class
  • the timing when all the labels become -1 may be set as the residence end time.
  • the output unit 64 stores the work time acquired by the work time measurement unit 62 and the residence time acquired by the residence time measurement unit 63 in the storage unit 13 as analysis information.
  • FIG. 10 is a block diagram illustrating a schematic configuration of the analysis result visualization unit 24.
  • the analysis result visualization unit 24 visualizes the analysis information generated by the analysis unit 23, and includes a video acquisition unit 71, an analysis result acquisition unit 72, and a screen generation unit 73.
  • the video acquisition unit 71 acquires a video for analysis from the storage unit 13.
  • the analysis result acquisition unit 72 acquires analysis information (working time and residence time) from the storage unit 13.
  • the screen generation unit 73 generates an analysis result display screen that visualizes the analysis information.
  • the analysis result display screen is output from the screen output unit 12 to the administrator terminal 4, and the analysis result display screen is displayed on the administrator terminal 4.
  • an analysis video is displayed on the analysis result display screen, and analysis information (work time and residence time) is displayed.
  • FIG. 11 is an explanatory diagram showing an analysis result display screen.
  • analysis result display screen an analysis video is displayed, and analysis information, that is, work time and dwell time are superimposed on this video.
  • the residence time is an accumulated time through all the processes, and when the worker leaves the place between the two processes, The time when the worker is absent is excluded.
  • the work time is the work time of the current process, that is, the process in which the worker is working in the displayed video, and the number of the work process (for example, the first time) is displayed.
  • the stay time and the work time are displayed, and the administrator can determine whether the work of the worker is efficient by paying attention to the work time. Also, compare the dwell time with the work time, and if the difference between the two is large, that is, if the time from when the worker comes to the workplace until the start of work is long, observe the worker's behavior on the video By doing so, it is possible to determine the cause of delay in the start of work.
  • both the stay time and work time are displayed. However, only one of the stay time and work time is selected from the operation manager's operation from the setting screen (not shown). Can be displayed.
  • FIG. 12 is a flowchart showing the procedure of posture detection processing and analysis processing.
  • the video acquisition unit 51 of the posture detection unit 22 determines whether or not all the frame images of the target analysis video have been processed (ST201). If all the frame images have not been processed (No in ST201), the joint position estimation unit 52 estimates the joint position of the operator from the target frame image (ST202). Next, the trigger posture determination unit 53 determines whether or not the worker's posture corresponds to the trigger posture based on the joint position, and sets a posture class label (ST203).
  • the counting of the residence time is started or continued (ST205). If the worker has not been in the office until the previous time, the residence time is started to be counted. If the worker is already in the office, the residence time is continuously counted.
  • the work time measuring unit 62 determines whether or not the worker is taking a trigger posture (ST207).
  • the server 3 measures the work time and the stay time, and the manager terminal 4 displays the work time and the stay time on the analysis result display screen (see FIG. 11).
  • FIG. 13 is a block diagram illustrating a schematic configuration of the analysis unit 23 according to the first modification.
  • the analysis unit 23 includes an evaluation unit 65.
  • the evaluation unit 65 acquires the work time of the skilled worker as the standard time, compares the work time of the target worker with the standard time, and evaluates the work proficiency (work efficiency) of the worker. Get evaluation information. Note that the standard time may be acquired by causing an expert to actually perform the work.
  • the worker's work proficiency is evaluated in three stages by comparing the worker's work time with two threshold values. That is, when the difference between the working time and the standard time is less than the first threshold value, it is determined as “good” ()), and the difference is equal to or larger than the first threshold value and the second threshold value. When the difference is less than the threshold value, it is determined as “possible” ( ⁇ ), and when the difference is equal to or greater than the second threshold value, it is determined as “impossible” ( ⁇ ).
  • FIG. 14 is an explanatory diagram showing an analysis result display screen according to the first modification.
  • the video of the camera 1 is displayed on the analysis result display screen, and the residence time, work time, standard time, and evaluation result ( ⁇ , ⁇ , ⁇ ) as the analysis result are displayed.
  • This evaluation result may be represented by the display attribute of the work time value.
  • the work time value is color-coded (green, blue, red), or the character size, thickness, and blinking speed of the work time value.
  • the evaluation result may be confirmed.
  • the staying time is an accumulated time through all the processes
  • the work time is the current process, that is, the worker in the displayed video.
  • the working time of the current process is the working time of the current process
  • the standard time is the standard time of the current process
  • the evaluation is an evaluation related to the current process.
  • the residence time, work time, standard time, and evaluation result ( ⁇ , ⁇ , ⁇ ) are displayed on the analysis result display screen, and the administrator focuses on the evaluation result, The worker's work proficiency (working efficiency) can be easily confirmed.
  • the evaluation result and the like are displayed on the analysis result display screen, but the evaluation result and the like for each worker may be displayed in a list.
  • the analysis result display screen displays the residence time, work time, standard time, and evaluation
  • the display of the residence time or standard time is omitted from the operation manager's operation from the setting screen (not shown). Can be displayed.
  • FIG. 15 is a block diagram illustrating a schematic configuration of the analysis unit 23 according to the second modification.
  • FIG. 16 is an explanatory diagram illustrating statistical information as an analysis result according to the second modification.
  • the analysis unit 23 includes a statistical processing unit 66 as shown in FIG.
  • the statistical processing unit 66 statistically processes (for example, averages) the work time for each worker in a predetermined counting period (for example, one day), and generates statistical information regarding the work time for each worker. Specifically, as shown in FIG. 16A, statistical information for comparing work times for each worker is generated. Further, as shown in FIG. 16B, statistical information representing the transition status of the work time of a specific worker is generated.
  • the work time for each worker is displayed as a bar graph. Thereby, the work time for every worker can be compared, and an administrator can grasp a worker with low proficiency.
  • the work time at the past predetermined time point (one month ago, two weeks ago, one week ago, the previous day (most recent work day)) regarding the designated worker is displayed as a bar graph. Yes. Thereby, the administrator can check how the work proficiency of the designated worker has changed.
  • the embodiment has been described as an example of the technique disclosed in the present application.
  • the technology in the present disclosure is not limited to this, and can be applied to embodiments in which changes, replacements, additions, omissions, and the like have been performed.
  • the work analysis apparatus and the work analysis method according to the present invention are intended for a large number of workers without increasing the burden of setting work of an administrator for analysis even when the number of target workers increases.
  • Work analysis that has an effect of efficiently performing analysis on the work situation, and that performs processing to output analysis information on the work situation of the worker by the processor based on the video obtained by photographing the work situation of the worker It is useful as a device and work analysis method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Business, Economics & Management (AREA)
  • Manufacturing & Machinery (AREA)
  • Primary Health Care (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • General Factory Administration (AREA)
  • Image Analysis (AREA)

Abstract

【課題】対象となる作業者の人数が増えても、分析のための管理者の設定業務の負担が増えることがなく、多数の作業者を対象にした作業状況に関する分析を効率的に行うことができるようにする。 【解決手段】映像の各フレーム画像から作業者の関節位置を推定して、その推定結果に基づいて、各フレーム画像における作業者の姿勢がトリガ姿勢に該当するか否かを判定して、その判定結果に基づいて、作業者の作業状況に関する分析として、作業時間および滞留時間を計測する。

Description

作業分析装置および作業分析方法
　本発明は、作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析情報を出力する処理をプロセッサにより実行する作業分析装置および作業分析方法に関するものである。
　工場では、作業者の作業状況を分析して、その分析結果に基づいて、作業の手順などを見直すことで、作業効率の向上を図ることができる。このため、作業者の作業状況に関する分析を効率的に行うことができる技術が望まれる。
　このような作業者の作業状況を分析する技術として、従来、作業者が作業している様子をカメラで撮影し、その撮影した画像内の所定の位置に所定の画像パターンが存在する画像を抽出し、その抽出した画像が撮影されたタイミングを工程の区切りと判断して、抽出した画像の時間間隔を作業時間として計測する技術が知られている（特許文献１参照）。
特開２００７－２４３８４６号公報
　さて、従来の技術では、作業に関係する物体（例えば瓶）が画像内の決まった位置に決まった状態で出現することに着目して、分析を行うようにしているが、物体の持ち方は作業者に応じて異なるため、画像パターンおよびその出現位置を作業者ごとに逐一指定しないと、精度の高い処理を行うことができない。このため、対象となる作業者がかなりの人数に達する場合には、分析のための管理者の設定業務に膨大な手間を要するという問題があった。
　そこで、本発明は、対象となる作業者の人数が増えても、分析のための管理者の設定業務の負担が増えることがなく、多数の作業者を対象にした作業状況に関する分析を効率的に行うことができる作業分析装置および作業分析方法を提供することを主な目的とする。
　本発明の作業分析装置は、作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析情報を出力する処理をプロセッサにより実行する作業分析装置であって、前記プロセッサは、前記映像から作業者の関節位置を推定し、その推定結果に基づいて、作業者の姿勢が所定の定型姿勢に該当するか否かを判定し、その判定結果に基づいて、作業者の作業状況に関する前記分析情報を生成する構成とする。
　また、本発明の作業分析方法は、作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析情報を出力する処理をプロセッサにより実行する作業分析方法であって、前記映像から作業者の関節位置を推定し、その推定結果に基づいて、作業者の姿勢が所定の定型姿勢に該当するか否かを判定し、その判定結果に基づいて、作業者の作業状況に関する前記分析情報を生成する構成とする。
　本発明によれば、工程の区切りとなるタイミングに対応した作業者の定型姿勢を、作業者の関節位置に基づいて検知する。これにより、対象となる作業者の人数が増えても、分析のための管理者の設定業務の負担が増えることがなく、多数の作業者を対象にした作業状況に関する分析を効率的に行うことができる。
本実施形態に係る作業分析システムの全体構成図 サーバ３で行われる分析処理の概要を示す説明図 サーバ３で行われるトリガ姿勢検知の概要を示す説明図 サーバ３の概略構成を示すブロック図 サーバ３の姿勢学習部２１の概略構成を示すブロック図 管理者端末４に表示されるアノテーション情報設定画面を示す説明図 サーバ３で行われる姿勢学習処理の手順を示すフロー図 サーバ３の姿勢検知部２２の概略構成を示すブロック図 サーバ３の分析部２３の概略構成を示すブロック図 サーバ３の分析結果可視化部２４の概略構成を示すブロック図 管理者端末４に表示される分析結果表示画面を示す説明図 サーバ３で行われる姿勢検知処理および分析処理の手順を示すフロー図 第１の変形例に係る分析部２３の概略構成を示すブロック図 第１の変形例に係る分析結果表示画面を示す説明図 第２の変形例に係る分析部２３の概略構成を示すブロック図 第２の変形例に係る分析結果としての統計情報を示す説明図
　前記課題を解決するためになされた第１の発明は、作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析情報を出力する処理をプロセッサにより実行する作業分析装置であって、前記プロセッサは、前記映像から作業者の関節位置を推定し、その推定結果に基づいて、作業者の姿勢が所定の定型姿勢に該当するか否かを判定し、その判定結果に基づいて、作業者の作業状況に関する前記分析情報を生成する構成とする。
　これによると、工程の区切りとなるタイミングに対応した作業者の定型姿勢を、作業者の関節位置に基づいて検知する。これにより、対象となる作業者の人数が増えても、分析のための管理者の設定業務の負担が増えることがなく、多数の作業者を対象にした作業状況に関する分析を効率的に行うことができる。
　また、第２の発明は、前記プロセッサは、学習用の映像と、その映像に映る作業者の関節位置に関する情報、および作業者が定型姿勢をとっているか否かを表す情報と、に基づいて、作業者の関節位置および姿勢に関する機械学習を行って、関節位置推定用の学習情報および定型姿勢判定用の学習情報を取得し、前記関節位置推定用の学習情報に基づいて、前記関節位置の推定を行い、その推定結果と前記定型姿勢判定用の学習情報とに基づいて、前記定型姿勢の判定を行う構成とする。
　これによると、関節位置の推定および定型姿勢の判定を精度よく行うことができる。なお、機械学習は、作業分析装置とは別の装置で行うようにしてもよい。
　また、第３の発明は、前記プロセッサは、前記定型姿勢の判定結果に基づいて、前記分析情報として、持ち場で作業者が実際に作業していた作業時間を取得する構成とする。
　これによると、各作業者の作業時間を管理者に提示することができる。このため、管理者が、各作業者の作業効率性（習熟度）を判断することができる。
　また、第４の発明は、前記プロセッサは、前記映像から作業者が持ち場にいるか否かを判定し、その判定結果に基づいて、前記分析情報として、作業者が持ち場にいた滞留時間を取得する構成とする。
　これによると、各作業者の滞留時間を管理者に提示することができる。このため、管理者が、作業時間と滞留時間とを比較することで、作業者が作業を行う際の無駄を判断することができる。
　また、第５の発明は、前記プロセッサは、熟練者の作業時間を標準時間として取得して、前記作業時間と前記標準時間とを比較して、前記分析情報として、作業者の作業効率性を評価した評価情報を取得する構成とする。
　これによると、各作業者の作業効率性の評価結果を管理者に提示することができる。このため、管理者が、各作業者の作業効率性を容易に把握することができる。
　また、第６の発明は、前記プロセッサは、複数の作業者ごとに前記定型姿勢の判定を行い、その作業者ごとの判定結果に基づいて、作業者ごとの前記分析情報を生成し、その作業者ごとの分析情報を統計処理して、作業者ごとの作業状況に関する統計情報を生成する構成とする。
　これによると、作業者ごとの作業状況を管理者が容易に比較することができる。
　また、第７の発明は、前記プロセッサは、作業者の姿勢が複数の定形姿勢のいずれに該当するか否かを判定し、判定した定形姿勢に応じた前記分析情報を生成する構成とする。
　これによると、分析の精度を向上させ、また、多様な分析が可能になる。例えば、工程ごとに異なる姿勢を定形姿勢とすることで、作業中の工程を識別することができる。また、作業開始時と作業終了時とで異なる姿勢を定形姿勢とすることで、作業開始のタイミングと作業終了のタイミングとを識別することができる。
　また、第８の発明は、作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析情報を出力する処理をプロセッサにより実行する作業分析方法であって、前記映像から作業者の関節位置を推定し、その推定結果に基づいて、作業者の姿勢が所定の定型姿勢に該当するか否かを判定し、その判定結果に基づいて、作業者の作業状況に関する前記分析情報を生成する構成とする。
　これによると、第１の発明と同様に、対象となる作業者の人数が増えても、分析のための管理者の設定業務の負担が増えることがなく、多数の作業者を対象にした作業状況に関する分析を効率的に行うことができる。
　以下、本発明の実施の形態を、図面を参照しながら説明する。
　図１は、本実施形態に係る作業分析システムの全体構成図である。
　この作業分析システムは、工場などにおける作業者の作業状況を分析して、その分析結果を管理者に提示するものであり、カメラ１と、レコーダ２と、サーバ３（作業分析装置）と、管理者端末４と、を備えている。
　カメラ１は、作業者が持ち場で作業を行う様子を撮影する。
　レコーダ２は、カメラ１から出力される映像を録画する。
　サーバ３は、カメラ１またはレコーダ２から映像を取得して、その映像に基づいて、作業者の作業状況に関する分析を行って、その分析結果を出力する。
　管理者端末４は、システム管理者や作業管理者が使用するものであり、ＰＣやタブレット端末などで構成される。この管理者端末４では、サーバ３で行われる処理に関する各種の設定の操作をシステム管理者が行う。また、管理者端末４では、サーバ３から出力される分析結果を表示して作業管理者が閲覧する。
　なお、サーバ３で行われる処理は、撮影と同時に行うリアルタイム処理でも、撮影後に行う事後処理でもよい。リアルタイム処理を行う場合には、カメラ１とサーバ３と管理者端末４とをネットワーク接続すればよい。また、事後処理のみを行う場合には、適宜な記憶媒体を介して、レコーダ２に蓄積した映像をサーバ３に転送するようにしてもよい。
　次に、サーバ３で行われる分析処理について説明する。図２は、分析処理の概要を示す説明図である。
　サーバ３では、作業者の作業状況を撮影した映像の各フレーム画像において、作業者が持ち場（担当エリア）にいるか否かを判定し、その判定結果に基づいて、作業者が持ち場にいる時間（滞留時間）を計測する。
　具体的には、映像に作業者が出現すると、作業者が持ち場にいるものと判断して、映像から作業者を検出できない不在状態から、映像から作業者を検出できる滞留状態に変化したタイミングを滞留開始時刻とし、滞留状態から不在状態に変化したタイミングを滞留終了時刻として、滞留開始時刻から滞留終了時刻までの時間を滞留時間として取得する。
　また、サーバ３では、映像の各フレーム画像において、作業者が所定のトリガ姿勢（定型姿勢）をとったか否かを判定し、その判定結果に基づいて、持ち場で作業者が実際に作業している時間（作業時間）を計測する。
　本実施形態では、挙手をトリガ姿勢としており、作業者は、作業を開始する際に挙手し、また、作業を終了した際に挙手する。そして、作業中でない状態でトリガ姿勢を検知したタイミングを作業開始時刻とし、作業中である状態でトリガ姿勢を検知したタイミングを作業終了時刻として、作業開始時刻から作業終了時刻までの時間を作業時間として取得する。
　なお、本実施形態では、作業者が作業開始時と作業終了時とで同一のトリガ姿勢（挙手）をとるようにしたが、作業開始時と作業終了時とで異なるトリガ姿勢をとるようにしてもよい。また、複数の工程の作業を順次行う場合には、工程の区切りとなるタイミング、例えば、各工程の作業を開始する際に、作業者がトリガ姿勢をとるようにしてもよい。
　次に、サーバ３で行われるトリガ姿勢検知について説明する。図３は、トリガ姿勢検知の概要を示す説明図である。
　本実施形態では、作業者の作業状況を撮影した映像の各フレーム画像において、作業者の身体の関節位置を推定して、その関節位置に基づいて、作業者の姿勢がトリガ姿勢（挙手）に該当するか否かを判定する。
　図３に示す例では、作業者の下半身が隠れて見えないため、作業者の上半身に８つの関節位置（頭頂部、首、両肩、両肘、および両手首）が設定されている。なお、作業者の全身が映る場合には、上半身の８つの関節位置の他に、下半身の６つの関節位置（両股関節、両膝、および両足首）を加えて、合計で１４個の関節位置を設定するようにしてもよい。
　なお、本実施形態では、挙手をトリガ姿勢としたが、トリガ姿勢は挙手に限定されない。例えば、直立姿勢をトリガ姿勢としてもよい。また、このような作業と直接関係ない姿勢ではなく、作業中に作業者が必ずとる姿勢をトリガ姿勢としてもよい。例えば、溶接作業において作業者がフェイスガード用のマスクを顔に近づけた時の姿勢をトリガ姿勢としてもよい。また、計器を指差し確認する時の姿勢をトリガ姿勢としてもよい。また、部品ケースから部品を取り出す時の姿勢をトリガ姿勢としてもよい。
　また、トリガ姿勢を複数設定して、作業者の姿勢が複数の定形姿勢のいずれに該当するか否かを判定して、検知された定形姿勢に応じた分析を行うようにしてもよい。例えば、工程ごとに異なる姿勢を定形姿勢とすることで、工程を識別することができる。また、作業開始時と作業終了時とで異なる姿勢を定形姿勢とすることで、作業開始のタイミングと作業終了のタイミングとを識別することができる。
　次に、サーバ３の概略構成について説明する。図４は、サーバ３の概略構成を示すブロック図である。
　サーバ３は、映像入力部１１と、画面出力部１２と、記憶部１３と、制御部１４と、を備えている。
　映像入力部１１では、リアルタイム処理の場合には、カメラ１で撮影された映像が入力され、事後処理の場合にはレコーダ２で録画された映像が入力される。
　画面出力部１２では、制御部１４で生成した分析結果表示画面が出力され、管理者端末４に分析結果表示画面が表示される。
　記憶部１３は、制御部１４を構成するプロセッサで実行されるプログラムを記憶する。また、記憶部１３は、映像入力部１１で取得した映像（学習用の映像および分析用の映像）を記憶する。また、記憶部１３は、制御部１４で生成した関節位置推定モデルおよび姿勢クラス推定モデル（学習情報）、姿勢検知情報、および分析情報を記憶する。
　制御部１４は、姿勢学習部２１と、姿勢検知部２２と、分析部２３と、分析結果可視化部２４と、を備えている。この制御部１４は、プロセッサで構成され、制御部１４の各部は、記憶部１３に記憶されたプログラムをプロセッサで実行することで実現される。
　姿勢学習部２１では、学習用の映像を用いた機械学習により、関節位置推定モデル（関節位置推定用の学習情報）および姿勢クラス推定モデル（定型姿勢判定用の学習情報）を生成する。
　姿勢検知部２２では、姿勢学習部２１で取得した関節位置推定モデルおよび姿勢クラス推定モデルを用いて、分析用の映像から作業者の関節位置を推定して、その推定結果に基づいて、作業者がトリガ姿勢をとっているか否かを判定して、関節位置の推定結果およびトリガ姿勢の判定結果を含む姿勢検知情報を取得する。
　分析部２３では、姿勢検知部２２で取得した姿勢検知情報に基づいて、作業者の作業状況に関する分析情報を生成する。
　分析結果可視化部２４では、分析部２３で取得した分析情報を可視化して管理者に提示する。本実施形態では、分析結果表示画面を生成して管理者端末４に表示する。
　次に、サーバ３の姿勢学習部２１について説明する。図５は、姿勢学習部２１の概略構成を示すブロック図である。
　姿勢学習部２１は、学習用の映像を用いた機械学習により、関節位置推定モデルおよび姿勢クラス推定モデルを生成するものであり、映像取得部３１と、アノテーション部３２と、学習部３３と、出力部３４と、を備えている。
　映像取得部３１では、学習用の映像を記憶部１３から取得する。なお、学習用の映像は、代表者として選出した作業者の作業状況をカメラ１で予め撮像したものである。
　アノテーション部３２では、管理者の操作入力に応じて、学習用の映像の各フレーム画像に対して、作業者の関節位置と、トリガ姿勢であるか否かを表す姿勢クラスラベルと、を設定して、アノテーション情報を生成する。なお、このアノテーション情報は、関節位置および姿勢クラスラベルを、各フレーム画像のＩＤ（フレーム番号）に対応付けたものである。
　本実施形態では、まず、事前に作成された関節位置推定モデルを用いて、学習用の映像の各フレーム画像に対して関節位置を推定する処理を行い、この関節位置推定で取得した関節位置に誤りがあれば、管理者に関節位置を修正する操作を行わせて、正しい関節位置を設定する。
　学習部３３では、学習用の映像と、アノテーション部３２で取得したアノテーション情報とを用いて、機械学習（ディープラーニング）を行い、関節位置推定モデルおよび姿勢クラス推定モデルを生成する。関節位置推定モデルは、学習用の映像の各フレーム画像と、そのフレーム画像に映る作業者の関節位置とを入力情報として、この入力情報から、出力情報としての関節位置を推定するニューラルネットワークである。姿勢クラス推定モデルは、関節位置を入力情報として、この入力情報から、出力情報としての姿勢クラスを推定する時系列ニューラルネットワークである。なお。この機械学習には、公知の技術を用いればよい。
　出力部３４では、学習部３３で生成した関節位置推定モデルおよび姿勢クラス推定モデルを記憶部１３に記憶する。
　次に、管理者端末４に表示されるアノテーション情報設定画面について説明する。図６は、アノテーション情報設定画面を示す説明図である。
　管理者端末４では、アノテーション情報（学習用の映像における関節位置および姿勢クラスラベル）を設定するためのアノテーション情報設定画面が表示される。
　このアノテーション情報設定画面には、画像表示部４１が設けられている。この画像表示部４１には、学習用の映像のフレーム画像４２が表示される。また、画像表示部４１では、フレーム画像４２上に作業者の関節位置を表すマーク４３が表示される。この画面の初期状態では、予め作成した関節位置推定モデルを用いた関節位置推定で取得した関節位置に対応するマーク４３が表示される。
　また、このアノテーション情報設定画面には、「次の関節」のボタン４４と、「次の画像」のボタン４５と、が設けられている。画像表示部４１に表示された全ての関節位置が適切であれば、「次の画像」のボタン４５を管理者が操作して、次のフレーム画像の確認に進む。一方、適切でない関節位置がある場合には、「次の関節」のボタン４４を管理者が操作して、修正対象となるマーク４３を選択状態として、マウスなとの入力デバイスを操作して適切な位置を管理者が指定する。
　また、このアノテーション情報設定画面には、クラスラベル指定部４６が設けられている。このクラスラベル指定部４６では、フレーム画像４２に映る作業者がトリガ姿勢をとっているか否か（姿勢クラスラベル）を指定する。具体的には、作業者がトリガ姿勢をとっていない場合には「０」を選択し、作業者がトリガ姿勢をとっている場合には「１」を選択する。
　次に、サーバ３で行われる姿勢学習処理の手順について説明する。図７は、姿勢学習処理の手順を示すフロー図である。
　サーバ３の姿勢学習部２１では、まず、映像取得部３１において、学習用の映像を記憶部１３から取得して、全てのフレーム画像を処理したか否かを判定する（ＳＴ１０１）。
　ここで、全てのフレーム画像を処理していない場合には（ＳＴ１０１でＮｏ）、アノテーション部３２において、管理者の操作入力に応じて、対象となるフレーム画像に対して関節位置を設定する（ＳＴ１０２）。また、管理者の操作入力に応じて、対象となるフレーム画像に対して姿勢クラスラベルを設定する（ＳＴ１０３）。そして、ＳＴ１０１に戻る。
　一方、全てのフレーム画像を処理した場合には（ＳＴ１０１でＹｅｓ）、学習部３３において、アノテーション情報、すなわち、学習用の映像の各フレーム画像における関節位置および姿勢クラスラベルに基づいて、機械学習を行う（ＳＴ１０４）。次に、出力部３４において、学習結果、すなわち、学習部３３で生成した関節位置推定モデルおよび姿勢クラス推定モデルを記憶部１３に保存する（ＳＴ１０５）。
　次に、サーバ３の姿勢検知部２２について説明する。図８は、姿勢検知部２２の概略構成を示すブロック図である。
　姿勢検知部２２は、分析用の映像の各フレーム画像から、作業者のトリガ姿勢を検知するものであり、映像取得部５１と、関節位置推定部５２と、トリガ姿勢判定部５３と、出力部５４と、を備えている。
　映像取得部５１では、分析用の映像を記憶部１３から取得する。
　関節位置推定部５２では、記憶部１３に記憶された関節位置推定モデルを用いて、分析用の映像の各フレーム画像から作業者を検出して、その作業者の身体の関節位置を推定する。
　トリガ姿勢判定部５３では、記憶部１３に記憶された姿勢クラス推定モデルを用いて、関節位置推定部５２で取得した各フレーム画像における作業者の関節位置に基づいて、作業者の姿勢がトリガ姿勢に該当するか否かを判定する。なお、複数のフレーム画像での関節位置に基づいて判定するようにしてもよい。
　出力部５４では、関節位置推定部５２で取得した関節位置と、トリガ姿勢判定部５３の判定結果、すなわち、作業者がトリガ姿勢をとっているか否かを表す姿勢クラスラベルと、を姿勢検知情報として記憶部１３に記憶する。なお、この姿勢検知情報は、関節位置および姿勢クラスラベルを、各フレーム画像のＩＤ（フレーム番号）に対応付けるものである。
　次に、サーバ３の分析部２３について説明する。図９は、分析部２３の概略構成を示すブロック図である。
　分析部２３は、姿勢検知部２２で取得した姿勢検知情報に基づいて、作業者の作業状況に関する分析情報を生成するものであり、姿勢検知結果取得部６１と、作業時間計測部６２と、滞留時間計測部６３と、出力部６４と、を備えている。
　姿勢検知結果取得部６１では、記憶部１３に記憶された姿勢検知情報を取得する。
　作業時間計測部６２では、持ち場で作業者が実際に作業している時間（作業時間）を計測する。具体的には、作業中でない状態でトリガ姿勢を検知したタイミングを作業開始時刻として、作業時間のカウントを開始し、作業開始時刻から現在までの時間を作業時間として取得する。また、作業中である状態でトリガ姿勢を検知したタイミングを作業終了時刻として、作業時間のカウントを停止し、作業開始時刻から作業終了時刻までの時間を作業時間として取得する。
　滞留時間計測部６３では、持ち場に作業者がいる時間（滞留時間）を計測する。具体的には、映像から作業者を検出したタイミングを滞留開始時刻として、滞留時間のカウントを開始し、滞留開始時刻から現在までの時間を滞留時間として取得する。また、映像から作業者を検出できなくなったタイミングを滞留終了時刻として、滞留時間のカウントを停止し、滞留開始時刻から滞留終了時刻までの時間を滞留時間として取得する。
　なお、滞留時間計測部６３では、姿勢検知情報において、有効な関節位置および姿勢クラスラベルが見つかったタイミングを滞留開始時刻とし、関節位置および姿勢クラスラベルが無効になる、すなわち、関節位置および姿勢クラスラベルが全て－１の値になったタイミングを滞留終了時刻とすればよい。
　出力部６４では、作業時間計測部６２で取得した作業時間と、滞留時間計測部６３で取得した滞留時間と、を分析情報として記憶部１３に記憶する。
　次に、サーバ３の分析結果可視化部２４について説明する。図１０は、分析結果可視化部２４の概略構成を示すブロック図である。
　分析結果可視化部２４は、分析部２３で生成した分析情報を可視化するものであり、映像取得部７１と、分析結果取得部７２と、画面生成部７３と、を備えている。
　映像取得部７１では、分析用の映像を記憶部１３から取得する。
　分析結果取得部７２では、分析情報（作業時間および滞留時間）を記憶部１３から取得する。
　画面生成部７３では、分析情報を可視化した分析結果表示画面を生成する。この分析結果表示画面は、画面出力部１２から管理者端末４に出力され、管理者端末４に分析結果表示画面が表示される。本実施形態では、分析結果表示画面に、分析用の映像を表示するとともに、分析情報（作業時間および滞留時間）を表示する。
　次に、管理者端末４に表示される分析結果表示画面について説明する。図１１は、分析結果表示画面を示す説明図である。
　分析結果表示画面では、分析用の映像が表示され、この映像上に分析情報、すなわち、作業時間および滞留時間が重畳表示される。
　ここで、複数の工程ごとの作業を順次、繰り返し行う場合には、滞留時間は、全ての工程を通した累積時間であり、２つの工程の間に作業者が持ち場から退出した場合には、作業者が不在である時間が除外される。また、作業時間は、現在の工程、すなわち、表示中の映像で作業者が作業中の工程の作業時間であり、作業中の工程の回数（例えば１回目）が表示される。
　このように分析結果表示画面では、滞留時間および作業時間が表示され、管理者は、作業時間に注目することで、作業者の作業が効率的であるか否かを判断することができる。また、滞留時間と作業時間とを比較して、両者の差分が大きい、すなわち、作業者が持ち場に来てから作業を開始するまでの時間が長い場合には、映像で作業者の行動を観察することで、作業の開始が遅れる原因を判断することができる。なお、この分析結果表示画面では、滞留時間および作業時間の両方を表示するようにしたが、図示しない設定画面からの作業管理者の操作より、滞留時間と作業時間のどちらか一方のみを選択して表示させることができる。
　次に、サーバ３で行われる姿勢検知処理および分析処理の手順について説明する。図１２は、姿勢検知処理および分析処理の手順を示すフロー図である。
　サーバ３では、まず、姿勢検知部２２の映像取得部５１において、対象となる分析用の映像の全てのフレーム画像を処理したか否かを判定する（ＳＴ２０１）。ここで、全てのフレーム画像を処理していない場合には（ＳＴ２０１でＮｏ）、関節位置推定部５２において、対象となるフレーム画像から作業者の関節位置を推定する（ＳＴ２０２）。次に、トリガ姿勢判定部５３において、関節位置に基づいて、作業者の姿勢がトリガ姿勢に該当するか否かを判定して、姿勢クラスラベルを設定する（ＳＴ２０３）。
　次に、分析部２３の滞留時間計測部６３において、作業者が持ち場にいるか否かを判定する（ＳＴ２０４）。
　ここで、作業者が持ち場にいる場合には（ＳＴ２０４でＹｅｓ）、滞留時間のカウントを開始または継続する（ＳＴ２０５）。なお、前回までに作業者が持ち場にいない場合には、滞留時間のカウントを開始し、既に作業者が持ち場にいる場合には、滞留時間のカウントを継続する。
　次に、作業時間計測部６２において、姿勢クラスラベルに基づいて、作業者がトリガ姿勢をとっているか否かを判定する（ＳＴ２０７）。
　ここで、作業者がトリガ姿勢をとっている場合には（ＳＴ２０７でＹｅｓ）、次に、作業者が作業中であるか否かを判定する（ＳＴ２０８）。ここで、作業者が作業中でない場合には（ＳＴ２０８でＮｏ）、作業時間のカウントを開始する（ＳＴ２０９）。そして、ＳＴ２０１に戻る。一方、作業者が作業中である場合には（ＳＴ２０８でＹｅｓ）、作業時間のカウントを停止する（ＳＴ２１０）。そして、ＳＴ２０１に戻る。
　また、作業者がトリガ姿勢をとっていない場合には（ＳＴ２０７でＹｅｓ）、次に、作業者が作業中であるか否かを判定する（ＳＴ２１１）。ここで、作業者が作業中でない場合には（ＳＴ２１１でＮｏ）、ＳＴ２０１に戻る。一方、作業者が作業中である場合には（ＳＴ２１１でＹｅｓ）、作業時間のカウントを継続する（ＳＴ２１２）。そして、ＳＴ２０１に戻る。
　また、作業者が持ち場にいない場合には（ＳＴ２０４でＮｏ）、滞留時間のカウントを停止する（ＳＴ２０６）。そして、ＳＴ２０１に戻る。
　また、全ての画像を処理した場合には（ＳＴ２０１でＹｅｓ）、処理を終了する。
　このようにしてサーバ３では、作業時間および滞留時間が計測され、管理者端末４において、作業時間および滞留時間が分析結果表示画面（図１１参照）に表示される。
　次に、本実施形態の第１の変形例について説明する。図１３は、第１の変形例に係る分析部２３の概略構成を示すブロック図である。
　本変形例では、分析部２３が評価部６５を備えている。この評価部６５では、熟練者の作業時間を標準時間として取得して、対象となる作業者の作業時間と標準時間とを比較して、作業者の作業習熟度（作業効率性）を評価する評価情報を取得する。なお、標準時間は、熟練者に実際に作業を行わせて取得すればよい。
　具体的には、例えば、作業者の作業時間を２つのしきい値と比較して、作業者の作業習熟度を３段階で評価する。すなわち、作業時間と標準時間との差分が、第１のしきい値未満である場合には、「良」（◎）と判定し、差分が、第１のしきい値以上でかつ第２のしきい値未満である場合には、「可」（○）と判定し、差分が、第２のしきい値以上である場合には、「不可」（×）と判定する。
　次に、第１の変形例に係る分析結果の可視化について説明する。図１４は、第１の変形例に係る分析結果表示画面を示す説明図である。
　本変形例では、分析結果表示画面に、カメラ１の映像を表示すると共に、分析結果である滞留時間、作業時間、標準時間、および評価結果（◎、○、×）を表示する。なお、この評価結果は、作業時間値の表示属性で表わしてもよく、例えば、作業時間値を色分け（緑、青、赤）したり、あるいは、作業時間値の文字サイズ、太さ、点滅速度などで評価結果が確認できるようにしてもよい。
　ここで、複数の工程ごとの作業を順次、繰り返し行う場合には、滞留時間は、全ての工程を通した累積時間であり、作業時間は、現在の工程、すなわち、表示中の映像で作業者が作業中の工程の作業時間であり、標準時間は、現在の工程の標準時間であり、評価は、現在の工程に関する評価である。
　このように本変形例では、分析結果表示画面に滞留時間、作業時間、標準時間、および評価結果（◎、○、×）が表示され、管理者は、評価結果に注目することで、対象となる作業者の作業習熟度（作業効率性）を簡単に確認することができる。
　なお、本変形例では、評価結果などを分析結果表示画面に表示するようにしたが、作業者ごとの評価結果などを一覧表で表示するようにしてもよい。また、分析結果表示画面において、滞留時間、作業時間、標準時間、評価を表示するようにしたが、図示しない設定画面からの作業管理者の操作より、滞留時間または標準時間の表示を省略して表示させることができる。
　次に、本実施形態の第２の変形例について説明する。図１５は、第２の変形例に係る分析部２３の概略構成を示すブロック図である。図１６は、第２の変形例に係る分析結果としての統計情報を示す説明図である。
　本変形例では、図１５に示すように、分析部２３が統計処理部６６を備えている。この統計処理部６６では、所定の集計期間（例えば１日）における作業者ごとの作業時間を統計処理（例えば平均化）して、作業者ごとの作業時間に関する統計情報を生成する。具体的には、図１６（Ａ）に示すように、作業者ごとの作業時間を比較する統計情報を生成する。また、図１６（Ｂ）に示すように、特定の作業者の作業時間の推移状況を表す統計情報を生成する。
　図１６（Ａ）に示す例では、作業者ごとの作業時間が棒グラフで表示されている。これにより、作業者ごとの作業時間を比較することができ、習熟度が低い作業者を管理者が把握することができる。
　図１６（Ｂ）に示す例では、指定した作業者に関する過去の所定の時点（１ヶ月前、２週間前、１週間前、前日（直近の就業日））における作業時間が棒グラフで表示されている。これにより、指定した作業者の作業習熟度がどのように変化したかを管理者が確認することができる。
　以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
　本発明に係る作業分析装置および作業分析方法は、対象となる作業者の人数が増えても、分析のための管理者の設定業務の負担が増えることがなく、多数の作業者を対象にした作業状況に関する分析を効率的に行うことができる効果を有し、作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析情報を出力する処理をプロセッサにより実行する作業分析装置および作業分析方法などとして有用である。
１　カメラ
２　レコーダ
３　サーバ
４　管理者端末
１１　映像入力部
１２　画面出力部
１３　記憶部
１４　制御部（プロセッサ）
２１　姿勢学習部
２２　姿勢検知部
２３　分析部
２４　分析結果可視化部

Claims (8)

  1. 　作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析情報を出力する処理をプロセッサにより実行する作業分析装置であって、
    　前記プロセッサは、
    　前記映像から作業者の関節位置を推定し、
    　その推定結果に基づいて、作業者の姿勢が所定の定型姿勢に該当するか否かを判定し、
    　その判定結果に基づいて、作業者の作業状況に関する前記分析情報を生成することを特徴とする作業分析装置。
  2. 　前記プロセッサは、
    　学習用の映像と、その映像に映る作業者の関節位置に関する情報、および作業者が定型姿勢をとっているか否かを表す情報と、に基づいて、作業者の関節位置および姿勢に関する機械学習を行って、関節位置推定用の学習情報および定型姿勢判定用の学習情報を取得し、
    　前記関節位置推定用の学習情報に基づいて、前記関節位置の推定を行い、その推定結果と前記定型姿勢判定用の学習情報とに基づいて、前記定型姿勢の判定を行うことを特徴とする請求項１に記載の作業分析装置。
  3. 　前記プロセッサは、
    　前記定型姿勢の判定結果に基づいて、前記分析情報として、持ち場で作業者が実際に作業していた作業時間を取得することを特徴とする請求項１または請求項２に記載の作業分析装置。
  4. 　前記プロセッサは、
    　前記映像から作業者が持ち場にいるか否かを判定し、その判定結果に基づいて、前記分析情報として、作業者が持ち場にいた滞留時間を取得することを特徴とする請求項３に記載の作業分析装置。
  5. 　前記プロセッサは、
    　熟練者の作業時間を標準時間として取得して、前記作業時間と前記標準時間とを比較して、前記分析情報として、作業者の作業効率性を評価した評価情報を取得することを特徴とする請求項３に記載の作業分析装置。
  6. 　前記プロセッサは、
    　複数の作業者ごとに前記定型姿勢の判定を行い、
    　その作業者ごとの判定結果に基づいて、作業者ごとの前記分析情報を生成し、
    　その作業者ごとの分析情報を統計処理して、作業者ごとの作業状況に関する統計情報を生成することを特徴とする請求項１から請求項５のいずれかに記載の作業分析装置。
  7. 　前記プロセッサは、
    　作業者の姿勢が複数の定形姿勢のいずれに該当するか否かを判定し、
    　判定した定形姿勢に応じた前記分析情報を生成することを特徴とする請求項１から請求項６のいずれかに記載の作業分析装置。
  8. 　作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析情報を出力する処理をプロセッサにより実行する作業分析方法であって、
    　前記映像から作業者の関節位置を推定し、
    　その推定結果に基づいて、作業者の姿勢が所定の定型姿勢に該当するか否かを判定し、
    　その判定結果に基づいて、作業者の作業状況に関する前記分析情報を生成することを特徴とする作業分析方法。
PCT/JP2019/018998 2018-05-16 2019-05-13 作業分析装置および作業分析方法 WO2019221081A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201980032857.2A CN112189210A (zh) 2018-05-16 2019-05-13 作业分析装置和作业分析方法
US17/055,304 US11842511B2 (en) 2018-05-16 2019-05-13 Work analyzing system and work analyzing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-094271 2018-05-16
JP2018094271A JP2019200560A (ja) 2018-05-16 2018-05-16 作業分析装置および作業分析方法

Publications (1)

Publication Number Publication Date
WO2019221081A1 true WO2019221081A1 (ja) 2019-11-21

Family

ID=68539965

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/018998 WO2019221081A1 (ja) 2018-05-16 2019-05-13 作業分析装置および作業分析方法

Country Status (4)

Country Link
US (1) US11842511B2 (ja)
JP (2) JP2019200560A (ja)
CN (1) CN112189210A (ja)
WO (1) WO2019221081A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230044842A1 (en) * 2019-12-27 2023-02-09 Panasonic Intellectual Property Management Co., Ltd. Work analyzing device and work analyzing method
US20210232810A1 (en) * 2020-01-24 2021-07-29 University Of Washington Automated monitoring system for biomechanical postural assessment
JP7180886B2 (ja) 2020-02-18 2022-11-30 Ｎｅｃプラットフォームズ株式会社 作業稼働率測定装置及び作業稼働率測定方法
JP7479201B2 (ja) 2020-06-03 2024-05-08 エヌ・ティ・ティ・コミュニケーションズ株式会社 クラス判定装置、クラス判定方法及びコンピュータプログラム
JP7440352B2 (ja) 2020-06-17 2024-02-28 株式会社日立製作所 教育コンテンツ作成システム及び方法
JP7231785B2 (ja) * 2020-11-27 2023-03-01 ソフトバンク株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP7354182B2 (ja) 2021-05-31 2023-10-02 株式会社ブロードリーフ モバイル作業分析装置及び作業分析方法
JP7106175B1 (ja) 2021-08-31 2022-07-26 スリーフィールズ株式会社 作業判別システム
CN114758267A (zh) * 2022-03-14 2022-07-15 北京明略软件系统有限公司 一种确定装卸作业效率的方法和装置
WO2024009467A1 (ja) * 2022-07-07 2024-01-11 三菱電機株式会社 コンベア制御装置、生産システム、及びコンベア制御プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006190166A (ja) * 2005-01-07 2006-07-20 Sharp Corp 作業時間管理システム、作業時間管理方法、作業時間管理プログラム、及び、そのプログラムを記録した記録媒体
JP2009032033A (ja) * 2007-07-27 2009-02-12 Omron Corp 動作境界検出方法および作業分析システム
JP2009289134A (ja) * 2008-05-30 2009-12-10 Hitachi Ltd 作業分析装置、生産管理方法及び生産管理システム
JP2009545789A (ja) * 2006-08-02 2009-12-24 ピルツ ゲーエムベーハー アンド コー．カーゲー 工業環境中で人間を観察する方法
JP2017134691A (ja) * 2016-01-28 2017-08-03 株式会社ブロードリーフ 作業分析支援装置、作業分析支援方法及びコンピュータプログラム
JP2017151520A (ja) * 2016-02-22 2017-08-31 株式会社ブロードリーフ コンピュータプログラム、作業分析支援方法及び作業分析支援装置
JP2017220018A (ja) * 2016-06-07 2017-12-14 キヤノン株式会社 情報処理装置、システム、情報処理方法及びプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007243846A (ja) 2006-03-10 2007-09-20 Matsushita Electric Ind Co Ltd 画像抽出分析装置、画像抽出分析システム及び画像抽出分析方法
CN102222342A (zh) * 2010-04-16 2011-10-19 上海摩比源软件技术有限公司 人体运动跟踪及其识别方法
US9262674B2 (en) * 2010-12-09 2016-02-16 Panasonic Corporation Orientation state estimation device and orientation state estimation method
CN102156859B (zh) * 2011-04-21 2012-10-03 刘津甦 手部姿态与空间位置的感知方法
DE112014004212T5 (de) * 2013-09-12 2016-05-25 Mitsubishi Electric Corporation Vorrichtung und Verfahren, Programm und Speichermedium zur Gestenbedienung
JP2015176253A (ja) * 2014-03-13 2015-10-05 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
JP2016157357A (ja) * 2015-02-26 2016-09-01 株式会社日立製作所 作業者品質管理方法及び作業者品質管理装置
JP2018045395A (ja) * 2016-09-13 2018-03-22 株式会社ジェイテクト 教育支援装置
JP6444573B2 (ja) * 2016-11-09 2018-12-26 三菱電機株式会社 作業認識装置および作業認識方法
JP6951685B2 (ja) * 2018-01-12 2021-10-20 オムロン株式会社 動作分析システム、動作分析装置、動作分析方法及び動作分析プログラム
CN108596148B (zh) * 2018-05-10 2022-03-29 华南理工大学 一种基于计算机视觉的建筑工人劳动状态分析系统及方法
CN112560745B (zh) * 2020-12-23 2022-04-05 南方电网电力科技股份有限公司 一种电力作业现场人员甄别方法及相关装置
CN112819306A (zh) * 2021-01-22 2021-05-18 同济大学 基于计算机视觉的工作效率评价方法、系统、设备及介质
CN115457656A (zh) * 2022-09-05 2022-12-09 海尔数字科技(青岛)有限公司 操作时长的确定方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006190166A (ja) * 2005-01-07 2006-07-20 Sharp Corp 作業時間管理システム、作業時間管理方法、作業時間管理プログラム、及び、そのプログラムを記録した記録媒体
JP2009545789A (ja) * 2006-08-02 2009-12-24 ピルツ ゲーエムベーハー アンド コー．カーゲー 工業環境中で人間を観察する方法
JP2009032033A (ja) * 2007-07-27 2009-02-12 Omron Corp 動作境界検出方法および作業分析システム
JP2009289134A (ja) * 2008-05-30 2009-12-10 Hitachi Ltd 作業分析装置、生産管理方法及び生産管理システム
JP2017134691A (ja) * 2016-01-28 2017-08-03 株式会社ブロードリーフ 作業分析支援装置、作業分析支援方法及びコンピュータプログラム
JP2017151520A (ja) * 2016-02-22 2017-08-31 株式会社ブロードリーフ コンピュータプログラム、作業分析支援方法及び作業分析支援装置
JP2017220018A (ja) * 2016-06-07 2017-12-14 キヤノン株式会社 情報処理装置、システム、情報処理方法及びプログラム

Also Published As

Publication number Publication date
US20210225029A1 (en) 2021-07-22
US11842511B2 (en) 2023-12-12
JP2023041969A (ja) 2023-03-24
CN112189210A (zh) 2021-01-05
JP2019200560A (ja) 2019-11-21

Similar Documents

Publication Publication Date Title
WO2019221081A1 (ja) 作業分析装置および作業分析方法
US11011074B2 (en) Information processing system, information processor, information processing method and program
JP6945373B2 (ja) 作業改善支援システム
WO2021131552A1 (ja) 作業分析装置及び作業分析方法
JP2014085730A (ja) 機器の損傷解析支援システム及び損傷解析支援方法
JP2015225630A (ja) 作業管理装置、作業管理システムおよび作業管理方法
US20210118234A1 (en) Quantitative quality assurance for mixed reality
CN110765289A (zh) 一种快速低成本获取建筑裂缝开度的方法
JP2019079144A (ja) 作業支援システム，撮像装置，ウェアラブル装置，作業支援方法
JP2018207175A (ja) 人数管理装置、人数管理方法およびプログラム
JP7486751B2 (ja) 作業稼働率測定装置及び作業稼働率測定方法
JP7113702B2 (ja) 点検作業支援装置、点検作業支援システム、および点検作業支援方法
JP2020087091A (ja) 熟練度判定システム
JP2023018016A (ja) 管理システムおよび原因分析システム
WO2018074243A1 (ja) 生産管理システム及び生産管理方法
JP7330043B2 (ja) 作業状態判別装置、作業状態判別方法およびプログラム
CN110309722B (zh) 基于动作热点图的体育运动视频动作识别方法
JP7408731B1 (ja) 行動検知方法、行動検知装置、行動検知システム
JP6736204B2 (ja) 作業支援方法、作業支援プログラム及び作業支援装置
JP2009110239A (ja) 作業動作分析システム及び作業動作分析方法
US20240161330A1 (en) Information processor and computer program product
CN109865968A (zh) 一种焊接操作检测方法及系统
WO2023008330A1 (ja) 作業状況分析システム及び作業状況分析方法
WO2022210006A1 (ja) 情報処理システム
WO2024082658A1 (zh) 用于空调器温升检测的方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19803428

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19803428

Country of ref document: EP

Kind code of ref document: A1