WO2021053738A1 - 作業要素分析装置及び作業要素分析方法 - Google Patents

作業要素分析装置及び作業要素分析方法 Download PDF

Info

Publication number
WO2021053738A1
WO2021053738A1 PCT/JP2019/036456 JP2019036456W WO2021053738A1 WO 2021053738 A1 WO2021053738 A1 WO 2021053738A1 JP 2019036456 W JP2019036456 W JP 2019036456W WO 2021053738 A1 WO2021053738 A1 WO 2021053738A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
work element
unit
information
probability
Prior art date
Application number
PCT/JP2019/036456
Other languages
English (en)
French (fr)
Inventor
尚吾 清水
勝大 草野
奥村　誠司
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2019/036456 priority Critical patent/WO2021053738A1/ja
Priority to CN201980100185.4A priority patent/CN114365161A/zh
Priority to DE112019007626.4T priority patent/DE112019007626T5/de
Priority to JP2020516763A priority patent/JP6777266B1/ja
Priority to TW108141759A priority patent/TW202113703A/zh
Publication of WO2021053738A1 publication Critical patent/WO2021053738A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing

Definitions

  • the present invention relates to a work element analysis device and a work element analysis method for analyzing work elements by an operator.
  • the work element analyzer of the present invention is a work information acquisition unit that acquires work information generated in association with the work performed by the worker, and a work that infers work elements that compose the work from the work information acquired by the work information unit. It includes an element inference unit, an occurrence probability acquisition unit that acquires the occurrence probability of the work element in the work, and a correction unit that corrects the work element inferred by the work element inference unit based on the occurrence probability acquired by the occurrence probability acquisition unit. ..
  • the work element inferred from the work information is corrected in consideration of the probability of occurrence of the work element in the work, it is possible to analyze the work element with higher accuracy.
  • the work element analyzer 200 analyzes a series of work performed by a worker at a manufacturing site of a production factory and detects a "work element” which is an element constituting the series of work. is there. For example, in a manufacturing site where the work of assembling a certain object is performed, when the worker places the parts, screws them, and confirms that they are fixed, the "assembly" is the “work”. "Part placement”, “screwing”, and “confirmation” are "working elements".
  • actions such as “part placement”, “screwing”, and “confirmation” are used as work elements, but these actions can be further subdivided, and which set of actions is defined as a work element is determined.
  • the user may decide according to the way of summarizing the user.
  • the work elements are divided into four, and the work element numbers “0”, “1”, “2”, and “3” are attached as symbols for distinguishing the divided work elements.
  • FIG. 1 is a configuration diagram showing the configuration of the work element analyzer 200 according to the first embodiment.
  • the work element analysis device 200 analyzes the work elements performed by the worker based on the signals from the camera 101, the microphone 102, and the production device 103, and outputs the analysis result to the analysis result storage unit 300.
  • the work element analyzer 200 of the present embodiment configures the work from the work information acquisition unit 210 that acquires the work information generated by the work performed by the worker and the work information acquired by the work information acquisition unit 210.
  • the work element inference unit 220 infers the work element, the occurrence probability acquisition unit 240 that acquires the occurrence probability of the work element in the work, and the work element inference unit 220 infers based on the occurrence probability acquired by the occurrence probability acquisition unit 240. It is configured to have a correction unit 250 for correcting a working element.
  • the work element inference unit 220 infers the work elements constituting the work from the work information acquired by the work information acquisition unit 210.
  • the work element analyzer 200 of the present embodiment is caused by the fact that the work information acquired by the work information acquisition unit 210 has noise and that the worker accidentally performs the same operation as other work elements.
  • the work element inference unit 220 infers a work element number different from a valid work element number
  • the occurrence probability acquisition unit 240 and the correction unit 250 are used to correct this error and perform more accurate analysis of the work element. It is provided.
  • the occurrence probability acquisition unit 240 acquires the occurrence probability of each work element that may occur in the work, and based on this occurrence probability, the correction unit 250 is inferred by the work element inference unit 220. Correct the work element that was done. As a result, for example, when a work element that is unlikely to occur in a certain work is inferred, the inference is likely to be an erroneous inference and is corrected, so that a more accurate analysis of the work element is performed. Can be done.
  • the camera 101 photographs the worker performing the work and its surroundings, converts it into a video signal, and outputs it.
  • the microphone 102 is installed in a work place where a worker works, or is installed in a worker, and converts a sound such as a sound generated when the worker performs the work or a voice of the worker into an electric signal, and outputs a voice signal.
  • the production device 103 is a production device used by an operator when performing work, such as an electric screwdriver, and outputs a state signal indicating drive, stop, torque, and the like of the electric motor.
  • the video signal, audio signal, and state signal output by the camera 101, the microphone 102, and the production device 103 are input to the work information acquisition unit 210 of the work element analyzer 200.
  • the signal input to the work information acquisition unit 210 may be one or more signals including information on the work performed by the worker, and is not limited to the camera 101, the microphone 102, and the production equipment 103, but may be an acceleration sensor, a depth sensor, or the like. It may be a signal including the detected information.
  • a signal stored in advance in an external recording device such as a recorder may be input.
  • the skeleton information extraction unit 211 In the work information acquisition unit 210, the skeleton information extraction unit 211, the image feature amount extraction unit 212, the audio feature amount extraction unit 213, and the production equipment feature amount extraction unit 214 are used from the signals input from the camera 101, the microphone 102, and the production equipment 103.
  • the work information generated by the work performed by the worker is extracted, and each work information extracted by the work information integration unit 215 is integrated for each frame and output to the work element inference unit.
  • the video signal input from the camera 101 to the work information acquisition unit 210 of the work element analyzer 200 is input to the skeleton information extraction unit 211 and the image feature amount extraction unit 212 of the work information acquisition unit 210.
  • the skeleton information extraction unit 211 performs a process of extracting the skeleton information of the worker, which is work information for, for example, an image for each frame of the video signal acquired from the camera 101.
  • the skeleton information is information representing the coordinates of typical joint positions of the human body such as the shoulder, elbow, and wrist of the worker in the image coordinate system, and is information representing the working posture of the worker.
  • the joint position is extracted using a pre-learned Convolutional-Neural-Network (CNN).
  • CNN Convolutional-Neural-Network
  • the skeleton information extracted by the skeleton information extraction unit 211 is input to the work information integration unit 215.
  • the image feature amount extraction unit 212 performs a process of extracting feature amounts related to an image, such as a Histograms-of-Oriented-Gradients (HOG) feature amount, for each frame from the video signal acquired from the camera 101.
  • HOG Histograms-of-Oriented-Gradients
  • the audio signal input from the microphone 102 to the work information acquisition unit 210 of the work element analyzer 200 is input to the audio feature amount extraction unit 213 of the work information acquisition unit 210.
  • the voice feature amount extraction unit 213 extracts the voice feature amount, which is work information for the voice of the voice signal acquired from the microphone 102, by performing a process of extracting the voice feature amount, for example, by performing frequency spectrum analysis.
  • the voice feature amount information extracted by the voice feature amount extraction unit 213 is input to the work information integration unit 215.
  • the status signal input from the production equipment 103 to the work information acquisition unit 210 of the work element analyzer 200 is input to the production equipment feature amount extraction unit 214 of the work information acquisition unit 210.
  • the production equipment feature quantity extraction unit 214 outputs the status signal acquired from the production equipment 103, for example, information on the operating state when the operator switches on the electric driver, information on the bar code reader reading the tag, and the like. Perform the process of extracting as a feature amount.
  • the production equipment feature amount information extracted by the production equipment feature amount extraction unit 214 is input to the work information integration unit 215.
  • the work information integration unit 215 integrates work information such as skeleton information, image feature amount information, audio feature amount information, and production equipment feature amount information together with time information as one work information for each frame at the same time.
  • the work information integrated by the work information integration unit 215 is input to the work element inference unit 220.
  • the work element inference unit 220 includes a learned model generation unit 221 which is a learning unit, a learned model storage unit 222, and an inference unit 223.
  • the learned model generated by the trained model generation unit 221 is stored in the trained model storage unit 222 in advance, so that the trained model is stored from the work information acquired by the work information acquisition unit 210.
  • the trained model of Part 222 Utilizing the trained model of Part 222, the work elements constituting the work are inferred frame by frame. There are various methods for inferring work elements by the work element inference unit 220, and the inference may be performed from statistical data without being limited to the above methods.
  • the work element may be inferred by setting a set value in the information.
  • the work element teaching unit 230 obtains teacher data, which is true work element information corresponding to the work information, by inputting the user, and outputs the teacher data to the trained model generation unit 221 of the work element inference unit 220.
  • the true work element is a work element that the work element analyzer 200 should obtain from the work information, and for the teacher data, for example, the user determines the work element number for the past work information in the work element teaching unit 230. Obtained by Further, the work element teaching unit 230 also outputs teacher data to the work element output probability calculation unit 241 and the work element transition probability calculation unit 243 of the generation probability acquisition unit 240.
  • the learned model generation unit 221 infers the work elements constituting the work process from the work information based on the work information input from the work information acquisition unit 210 and the teacher data input from the work element teaching unit 230. Therefore, a trained model in which the relationship between the work element and the work information is machine-learned is generated and output to the trained model storage unit 222. By using the trained model, the inference unit infers the work element number for the work information for each frame.
  • the trained model is generated by the trained model generation unit 221, it is not always necessary to acquire the work information from the work information acquisition unit 210 and generate it, and even if it is directly input to the trained model storage unit 222. good.
  • the trained model generation unit 221 outputs the trained model input to the work element teaching unit 230 to the trained model storage unit 222 as it is. Further, the trained model may be generated and stored outside the work element analyzer 200, and the trained model may be acquired by using a means such as a network when the inference unit 223 infers.
  • the trained model storage unit 222 stores the trained model output from the trained model generation unit 221. By storing the trained model in the trained model storage unit 222 in advance, the inference unit 223 can infer the work element from the work information by utilizing the trained model. The trained model storage unit 222 outputs the trained model to the inference unit 223.
  • the inference unit 223 Infers the work element by utilizing the learned model output from the learned model storage unit 222. For the work element, the probability value for each work element is inferred for the work information of one frame, and the work element having the highest probability is output to the occurrence probability acquisition unit 240 and the correction unit 250 as the work element inference information.
  • the occurrence probability acquisition unit 240 includes a work element output probability calculation unit 241, a work element output probability information storage unit 242, a work element transition probability calculation unit 243, and a work element transition probability information storage unit 244.
  • the occurrence probability acquisition unit 240 acquires the work element output probability and the work element transition probability, which are the generation probabilities of the work elements in the work, and outputs them to the correction unit 250.
  • the probability of occurrence of a work element in the work is calculated from the true work element with respect to the past work information, but the probability of occurrence of the work element is not limited to this.
  • the work element output probability calculation unit 241 calculates the work element output probability calculated from the statistics of the true work element for the past work information and the work element inferred from the same past work information by the work element inference unit 220. ..
  • the true work element information with respect to the past work information is obtained from the teacher data output from the work element teaching unit 230.
  • the work element output probability calculation unit 241 adjusts by adding an adjustment value to the work element number so that the work element output probability does not become 0. The specific adjustment method will be described later. By adjusting the work element occurrence probability in this way, when an abnormal work element inference occurs by the work element inference unit 220, which did not occur in the past work information used when calculating the work element output probability. It is possible to make corrections in consideration of.
  • the work element output probability calculation unit 241 stores the work element output probability information in the work element output probability information storage unit 242.
  • the work element output probability information storage unit 242 outputs the work element output probability information to the correction unit 250.
  • the work element transition probability calculation unit 243 calculates the work element transition probability calculated from the statistics of the transition from the work element number to the next work element number in the past.
  • the information that has transitioned from the work element number to the next work element number in the past is obtained from the teacher data output from the work element teaching unit 230.
  • the work element transition probability calculation unit 243 adjusts by adding an adjustment value to the probability of the work element so that the work element transition probability does not become 0. The specific adjustment method will be described later. By adjusting the work element transition probability in this way, it is possible to make corrections in consideration of the case where the work element transition that was not made in the past work element used when calculating the work element transition probability occurs. Become.
  • the work element transition probability calculation unit 243 stores the information of the work element transition probability in the work element transition probability information storage unit 244.
  • the work element transition probability information storage unit 244 outputs the work element transition probability information to the correction unit 250.
  • the time of the past work element inference information when the probability calculation unit 243 calculates the probability may be different from each other. Further, for example, when the user grasps the tendency regarding the work element and corrects the occurrence probability obtained from the statistical result, the occurrence probability obtained from the statistical result may be corrected.
  • the work element output probability information or the work element transition probability information stored in the work element output probability information storage unit 242 and the work element transition probability information storage unit 244 is rewritten.
  • the correction unit 250 acquires the work element inference information from the work element inference unit 220
  • the work element output probability information storage unit 242 and the work element transition probability information storage unit 244 provide the work element output probability information and the work element transition probability information. To get.
  • the work element acquired from the work element inference unit 220 is corrected by using the Viterbi algorithm, and the corrected work element is corrected.
  • the correction information is output to the analysis unit 260.
  • the correction unit 250 can consider the performance of the work element inference unit 220 inferring the work element by making corrections using the work element output probability, and the work information is 1 by making corrections using the work element transition probability. It is possible to consider the probability that the work element will transition when the frame advances. By correcting the work element using the occurrence rate of the work element inferred by the work element inference unit 220 in this way, a more accurate work element can be obtained and analyzed.
  • two probabilities are acquired by the occurrence probability acquisition unit 240, but the probability of acquisition by the occurrence probability acquisition unit 240 may be one, and in that case, the correction unit 250 is based on one probability. To correct.
  • the analysis unit 260 counts the section in which the same work element is continuous as the time required to execute the work element, and the time required for one cycle of the repetitive work. To analyze. At this time, in addition to performing analysis to detect work omissions and work misplacement by evaluating the order of occurrence of work elements, analysis is performed to extract abnormal information based on the upper limit of work element time, and the analysis results are analyzed. Output to the storage unit 300. The user refers to the analysis result storage unit 300 to grasp the work time and the occurrence status of work mistakes for each worker.
  • the analysis unit 260 and the work element teaching unit 230 do not necessarily have to be included in the work element analysis device 200, and the work element analysis device 200 may be such that the work element is inferred from the work information and corrected.
  • Each work element shall be assigned a work element number of 0 to 3.
  • the trained model in which the relationship between the work element and the work information is machine-learned in advance is stored in the trained model storage unit 222.
  • the trained model includes the past work information input from the work information acquisition unit 210 to the trained model generation unit 221 and the true work element information for the same past work information input from the work element teaching unit 230. Based on this, it is generated and output by the trained model generation unit 221 and stored in the trained model storage unit 222.
  • the work element output probability information corrected in advance and the work element transition probability are calculated by the work element output probability information of the generation probability acquisition unit 240 so that the correction unit 250 can correct the work element inferred by the work element inference unit 220 based on the occurrence probability. It is stored in the storage unit 242 and the work element transition probability information storage unit 244. The calculation method of the work element output probability and the work element transition probability will be described below.
  • the work element output probability bik is calculated by the work element output probability calculation unit 241 as follows and stored in the work element output probability information storage unit 242.
  • the work element information inferred from the past work information by the work element inference unit 220 in the work element output probability calculation unit 241 and the true work element information with respect to the past work information input by the user to the work element teaching unit 230. Is entered.
  • the number of cases in which the work element number k inferred by the work element inference unit 220 is obtained for the true work element number i is totaled (hereinafter, the total value c b_ik ).
  • FIG. 2 shows an explanatory diagram showing an example in which the work element output probability calculation unit 241 of the work element analyzer 200 according to the first embodiment aggregates the work elements.
  • the total value inferred as the work element number 0 is 43
  • the total value inferred as the work element number 1 is 8, and the work element number 2 is inferred.
  • the total value calculated is 3, the work element number 3 and the inferred total value are 6, and there are 17 cases inferred to work elements that are not actual work elements simply by inferring from work information. Indicates the state.
  • working element output probability calculating unit 241 to aggregate value c B_ik, following correction by adding the adjustment value corresponding to the total number of working element number i as in Equation 1 the summary value c B_ik Calculate the value c'b_ik.
  • FIG. 3 is an explanatory diagram showing an example in which the work element output probability calculation unit 241 of the work element analyzer 200 according to the first embodiment adds an adjustment value to the aggregated value.
  • 10% (W b ) of the total number of cases inferred by the work element inference unit 220 is added as an adjustment value to the true work element number i.
  • the adjustment value 6 which is 10% of the total value is added to each work element number inferred by the work element inference unit.
  • the work element output probability bik of the work element number k of the work element inference unit 220 in the true work element number i is calculated using the value adjusted by the following mathematical formula 2.
  • FIG. 4 is an explanatory diagram showing an example in which the occurrence probability acquisition unit 240 of the work element analyzer 200 according to the first embodiment calculates the work element output probability bik.
  • the probability that the work element inference unit determines that the true work element number is 0 with respect to the true work element number 0 is that the correction value 49 in which the true work element number shown in FIG. 3 is 0 is the true work element number.
  • the work element output probability bik calculated in this way is stored in the work element output probability storage unit 242.
  • the work element transition probability a ij is calculated by the work element transition probability calculation unit 243 as follows and stored in the work element transition probability information storage unit 244.
  • the work element transition probability calculation unit 243 is input with the information of the true work element of the continuous frame input by the user from the work element teaching unit 230.
  • the number of cases in which the work element number of the frame following the frame in which the true work element number is i is j is totaled (hereinafter, the total value c a_ij ).
  • FIG. 5 shows an explanatory diagram showing an example in which the work element transition probability calculation unit 243 of the work element analyzer 200 according to the first embodiment aggregates the work elements.
  • the aggregate value where the work element number of the transition destination is 0 is 78
  • the aggregate value where the work element number is 1, is 3
  • the work element number is The aggregated value of 2 is 0,
  • the aggregated value of 3 working elements is 0, and there is no data in which the working element number has transitioned from 0 to 2 and 3 in the past.
  • working element transition probability calculation unit 243 to aggregate value c A_ij, following correction by adding the adjustment value corresponding to the total number of working element number i as Equation 3 in total value c A_ij Calculate the value c'a_ij.
  • FIG. 6 is an explanatory diagram showing an example in which the work element transition probability calculation unit 243 of the work element analyzer 200 according to the first embodiment adds adjustment values.
  • 1% (W a ) of the total number of cases inferred by the work element inference unit 220 is added as an adjustment value to the true work element number i.
  • the adjustment value 0.81 which is 1% of the total value is added.
  • the work element transition probability a ij of the work element number j that transitions from the true work element number i is calculated using the value adjusted by the following formula 4.
  • FIG. 7 is an explanatory diagram showing an example in which the occurrence probability acquisition unit 240 of the work element analyzer 200 according to the first embodiment calculates the work element transition probability.
  • the probability that the work element number of the transition source is 0 to the work element number of the transition destination is 0 is based on the correction value of 78.81 in which the work element number of the transition source is 0 as shown in FIG.
  • the work element number of is 0, which is 93.6% divided by the total correction value of 84.24.
  • the work element transition probability a ij calculated in this way is stored in the work element transition probability storage unit 244.
  • the work element analyzer 200 stores the trained model, the work element output probability, and the work element transition probability in the trained model storage unit 222, the work element output probability information storage unit 242, and the work element transition probability information storage unit 244. It is used in the state where it is used.
  • FIG. 8 is a flowchart showing the operation of the work element analyzer 200 according to the first embodiment.
  • the work information acquisition unit 210 acquires the work information. Specifically, when information is input from the camera 101, the microphone 102, and the production equipment 103, the skeleton information extraction unit 211, the image feature amount extraction unit 212, the audio feature amount extraction unit 213, and the production equipment feature amount extraction unit 214 The skeleton information, the image feature amount information, the audio feature amount information, and the production equipment feature amount information, which are work information generated in association with the work performed by the worker, are extracted. Then, the work information is integrated into one frame for each time by the work information integration unit 215, and the integrated work information is output to the work element inference unit 220.
  • step S002 the work element inference unit 220 infers the work elements constituting the work from the work information output from the work information acquisition unit 210. Specifically, when work information is input from the work information acquisition unit 210 to the inference unit 223 of the work element inference unit 220, the inference unit 223 works on one frame of work information by using the learned model storage unit 222. The probability value for each element is inferred, and the work element with the highest probability is output to the correction unit 250 as work element inference information in chronological order.
  • step S003 the correction unit 250 corrects the work element inferred by the work element inference unit 220 based on the occurrence probability acquired by the occurrence probability acquisition unit 240. Specifically, when the correction unit 250 acquires the work element inference information from the work element inference unit 220, the work element output probability and the work element transition probability stored in the work element output probability information storage unit 242 of the occurrence probability acquisition unit 240. A bitabi algorithm is applied using the work element transition probability stored in the information storage unit 244, and the work element inferred by the work element inference unit 220 is corrected. The corrected work element is output to the analysis unit 260.
  • the effect of adding an adjustment value to the occurrence probability of the work element whose occurrence probability value is 0 by the occurrence probability acquisition unit 240 will be described with reference to a specific example of the work element transition probability.
  • the worker performs the work in which the work element number of each frame is 0000022222233333, and the work element inference unit 220 infers based on the work information corresponding to these works, and as the inference result. It is assumed that 00002222223133 is output as the work element number for 15 frames.
  • the inference unit 223 uses the work element number of the 13th frame. Is inferred to be 1.
  • Such an inference error is corrected by the correction unit 250 based on the work element transition probability.
  • the correction unit 250 does not allow the transition from the work element number 0 to 2. Therefore, for example, the work element number is corrected to 00000122222233333 so that the work element number 1 appears forcibly at the boundary portion between the work element numbers 0 and 2.
  • the order of the work element numbers changes to 0, 1, 2, and 3, so that the analysis unit 260 cannot perform the analysis for detecting the work omission.
  • the correction unit 250 can obtain the result of 0000022222233333 as the work element number, and the following The analysis unit of the step can perform an analysis to detect that the work element number 1 is missing.
  • step S004 the analysis unit 260 analyzes the corrected work element output from the correction unit 250. Specifically, the section in which the same work element is continuous is counted as the time required to execute the work element, and the time required for the work elements 1 to 4 for one cycle can be analyzed, or from the transition of the work element. Perform analysis to detect work omissions. The analysis unit 260 outputs the analysis result to the analysis result storage unit 300.
  • the work element analyzer 200 corrects not only the work information but also the work element inferred by the work element inference unit 220 based on the occurrence probability of the work element in the work. It is possible to analyze work elements with good accuracy.
  • the processing method of the work element inference information output from the inference unit 223 of the work element inference unit 220 and the correction unit 250 is different from that of the first embodiment, but the other aspects are the same as those of the first embodiment.
  • the correction unit 250 corrects the work element inferred by the work element inference unit 220 based on the occurrence probability acquired by the occurrence probability acquisition unit 240 and the probability value p t i for each work element. Then, the work element having the highest probability is output to the analysis unit 260 as work element correction information.
  • the correction unit 250 calculates the work element having the highest probability based on the occurrence probability acquired by the occurrence probability acquisition unit 240 and the probability value p t i for each work element will be described.
  • the variables V, layer, node, and bestPath are defined as shown in Equation 5 below.
  • nxtIdx t ik is a variable that can store up to one index (I, K) that points to the node node t + 1 IK included in layer t + 1.
  • likehood t ik is a scalar with a default value of 0 given to the node node t ik at time t and index (i, k), and the likelihood when the maximum likelihood work history is traced from time 0 to time t. means.
  • the bestPath is a variable for storing the work history having the maximum likelihood from the time 0 to the time T-1, and is the information finally output by the correction unit 250.
  • FIG. 9 is a flowchart showing the operation of the work element analyzer 200 according to the second embodiment.
  • the correction unit 250 calculates the likelihood likehood 0 ik of each node corresponding to the frame at time 0.
  • FIG. 10 shows a flowchart in which the correction unit 250 of the work element analyzer 200 of the embodiment calculates likehood 0 ik. The calculation formula is shown in the following formula 6.
  • FIG. 11 is a flowchart showing the operation of the work element analyzer 200 according to the second embodiment. The extraction conditions are shown in the following formula 7.
  • FIG. 12 is a flowchart in which the correction unit 250 of the work element analyzer 200 of the second embodiment calculates the likelihood. Further, a specific processing code is shown in FIG.
  • FIG. 14 is a detailed flowchart in which the correction unit 250 of the work element analyzer 200 according to the second embodiment extracts the maximum likelihood work history.
  • step S301 the node t ik having the maximum likelihood T-1 ik is extracted, the index information (i tmp , k tmp ) is retained, and i tmp is registered in the bestPath T-1.
  • the work element analyzer 200 corrects the work element inferred by the work element inference unit 220 based on the probability of occurrence of the work element in the work and the probability value for each work element. More accurate corrections can be made.
  • the probability value p t i for each work element and the work element inferred by the work element inference unit 220 are output from the work element inference unit 220 as work element inference information, but the work element inference information is the work element. Only the probability value p t i for each may be used. In that case, the correction unit corrects the probability value p t i for each work element using the probability of occurrence of the work element in the work, and sets the work element number with the highest probability as the work element correction information.
  • FIG. 15 is a hardware configuration diagram of the work element analyzer 200 according to the present embodiment.
  • signals are input from the camera 101, the microphone 102, and the production equipment 103 via the first interface 201, the second interface 202, and the third interface 203 of the work element analyzer 200.
  • the arithmetic unit 204 is a circuit such as a CPU or DSP, and has a skeleton information extraction unit 211, an image feature amount extraction unit 212, a voice feature amount extraction unit 213, a production equipment feature amount extraction unit 214, a work information integration unit 215, and learned.
  • the model generation unit 221 and the inference unit 223, the work element teaching unit 230, the work element output probability calculation unit 241 and the work element transition probability calculation unit 243, the correction unit 250, and the analysis unit 260 are processed.
  • the main storage device 205 is a volatile memory that temporarily stores a program or data when the program is executed by the arithmetic unit 204.
  • the auxiliary storage device is a non-volatile memory that stores a long-term storage, and stores a learned model, work element output probability information, and work element transition probability information.

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • General Factory Administration (AREA)

Abstract

生産工場において、作業者の一連の作業を構成する作業要素を推定し、作業の抜けや作業時間を分析する技術が知られている。このとき、作業者が作業を行っている位置情報のみを用いて、作業要素を推論すると実際の作業要素とは異なる作業要素を推論してしまう場合がある。　本発明によれば、あらかじめ作業における作業要素の発生確率を取得しておき、作業情報から作業要素が推論された際に発生確率を用いて訂正するので、より精度の良い作業要素を得て分析することができる。

Description

作業要素分析装置及び作業要素分析方法
　本発明は、作業者による作業要素を分析する作業要素分析装置及び作業要素分析方法に関するものである。　
　生産工場において、作業の抜けや作業者ごとの作業時間を把握するため、作業者が作業を行っている映像や作業者の位置情報を用いて、作業を構成する作業要素を分析する技術が知られている。特許文献１では、ある時刻における作業者の体の部位や物体の位置情報から、作業者による作業要素を推論している。
国際公開第２０１８／０８７８４４号
　しかしながら、特許文献１のようにある時刻に取得した体や物体の位置情報のみから作業要素を推論すると、例えば位置情報にノイズが入ってしまった場合に実際の作業要素とは異なる作業要素を推論してしまう場合がある。
　本発明は、上記課題を解決するためになされたものであり、より精度の良い作業要素分析装置を得ることを目的とする。
　本発明の作業要素分析装置は、作業者が行う作業に付随して生じた作業情報を取得する作業情報取得部と、作業情報部が取得した作業情報から作業を構成する作業要素を推論する作業要素推論部と、作業における作業要素の発生確率を取得する発生確率取得部と、発生確率取得部が取得した発生確率に基づいて作業要素推論部が推論した作業要素を訂正する訂正部とを備える。
　本発明によれば、作業における作業要素の発生確率も考慮して作業情報から推論された作業要素を訂正するので、より精度の良い作業要素を分析することができる。
本実施の形態１に係る作業要素分析装置２００の構成を示す構成図である。 本実施の形態１に係る作業要素分析装置２００の作業要素出力確率算出部２４１が作業要素を集計した例を示す説明図である。 本実施の形態１に係る作業要素分析装置２００の作業要素出力確率算出部２４１が集計値に調整値を加算した例を示す説明図である。 本実施の形態１に係る作業要素分析装置２００の発生確率取得部２４０が作業要素発生確率を算出した例を示す説明図である。 本実施の形態１に係る作業要素分析装置２００の作業要素遷移確率算出部２４３が作業要素を集計した例を示す説明図である。 本実施の形態１に係る作業要素分析装置２００の作業要素遷移確率算出部２４３が調整値を加算した例を示す説明図である。 本実施の形態１に係る作業要素分析装置２００の発生確率取得部２４０が作業要素遷移確率を算出した例を示す説明図である。 本実施の形態１に係る作業要素分析装置２００の動作を示すフローチャートである。 本実施の形態２に係る作業要素分析装置２００の動作を示すフローチャートである。 本実施の形態２の作業要素分析装置２００の訂正部２５０が各ノードの尤度 を計算するフローチャートである。 本実施の形態２に係る作業要素分析装置２００の動作を示すフローチャートである 本実施の形態２の作業要素分析装置２００の訂正部２５０が尤度を計算する動作を示すフローチャートである。 本実施の形態２の作業要素分析装置２００の訂正部２５０が尤度を計算する際の具体的な処理コードの例を示す説明図である。 本実施の形態２に係る作業要素分析装置２００の訂正部２５０が最尤作業履歴を抽出する動作を示すフローチャートである。 本実施の形態に係る作業要素分析装置２００のハードウェア構成図である。
実施の形態１
　以下、本実施の形態１に係る 作業要素分析装置について説明する。実施の形態１に係る作業要素分析装置２００は、生産工場の製造現場などにおいて作業者が行う一連の作業を分析し、その一連の作業を構成する要素である「作業要素」を検知するものである。
　例えば、ある物を組み立てるという作業を行う製造現場において、作業者が部品を配置し、ネジ止めをし、固定されているか確認するという行為が行われる場合、「組み立て」が「作業」であり、「部品配置」「ねじ止め」「確認」が「作業要素」となる。ここでは、「部品配置」「ねじ止め」「確認」などの行為を作業要素としたが、これらの行為はさらに細分化することも可能であり、どの行為のまとまりを作業要素と定義するかは、ユーザが考えるまとめ方に応じてユーザが決定すればよい。本実施の形態では、作業要素を４つに分け、分けた作業要素を区別する記号として作業要素番号「０」「１」「２」「３」を付しているものとして説明する。
　図１は、本実施の形態１に係る 作業要素分析装置２００の構成を示す構成図である。 作業要素分析装置２００は、カメラ１０１、マイク１０２、生産機器１０３からの信号をもとに作業者が行う作業要素を分析し、分析結果を分析結果記憶部３００へ出力する。本実施の形態の作業要素分析装置２００は、作業者が行う作業に付随して生じた作業情報を取得する作業情報取得部２１０と、作業情報取得部２１０が取得した作業情報から作業を構成する作業要素を推論する作業要素推論部２２０と、作業における作業要素の発生確率を取得する発生確率取得部２４０と、発生確率取得部２４０が取得した発生確率に基づいて作業要素推論部２２０が推論した作業要素を訂正する訂正部２５０とを有して構成されている。
　このような構成の作業要素分析装置２００において、まず、作業要素推論部２２０は作業情報取得部２１０が取得した作業情報から作業を構成する作業要素を推論する。この推論方法は、従来より種々の方法がある。本実施の形態の作業要素分析装置２００は、作業情報取得部２１０が取得した作業情報にノイズがあることや、作業者が偶然に他の作業要素と同様の動作を行ったことに起因して作業要素推論部２２０が妥当な作業要素番号とは異なる作業要素番号を推論した場合に、この誤りを訂正し、より精度の良い作業要素の分析を行えるよう発生確率取得部２４０と訂正部２５０を設けている。この作業要素分析装置２００では、発生確率取得部２４０が作業において発生する可能性がある各作業要素の発生確率を取得し、この発生確率に基づいて、訂正部２５０は作業要素推論部２２０が推論した作業要素を訂正する。これにより、例えば、ある作業において発生する可能性が低い作業要素が推論された場合、その推論は誤った推論である可能性が高いので訂正されることになり、より精度の良い作業要素の分析を行うことができるものである。
　以下、各部の構成を詳細に説明する。
　カメラ１０１は、作業を行っている作業者及びその周辺を撮影し、映像信号に変換して出力する。マイク１０２は、作業者が作業を行う作業場や、作業者に設置され、作業者が作業を行う際に生じる音や作業者の声などの音声を電気信号に変換し、音声信号を出力する。生産機器１０３は、例えば電動ドライバなど、作業者が作業を行う際に使用する生産機器であり、電動モータの駆動、停止、トルクなどを示す状態信号を出力する。カメラ１０１、マイク１０２、生産機器１０３がそれぞれ出力した映像信号、音声信号、状態信号が、作業要素分析装置２００の作業情報取得部２１０に入力される。
　作業情報取得部２１０に入力される信号は、作業者が行う作業に関する情報を含む信号が１つ以上あればよく、カメラ１０１、マイク１０２、生産機器１０３に限らず、加速度センサや深度センサ等で検知した情報を含む信号でもよい。また、作業情報取得部２１０に入力される信号は、レコーダなどの外部記録装置にあらかじめ記憶されたものを入力しても良い。
　作業情報取得部２１０では、カメラ１０１、マイク１０２、生産機器１０３から入力された信号から、骨格情報抽出部２１１、画像特徴量抽出部２１２、音声特徴量抽出部２１３、生産機器特徴量抽出部２１４にて作業者が行う作業に付随して生じた作業情報を抽出し、作業情報統合部２１５にて抽出されたそれぞれの作業情報をフレームごとに統合して作業要素推論部へ出力する。
　カメラ１０１から作業要素分析装置２００の作業情報取得部２１０に入力された映像信号は、作業情報取得部２１０の骨格情報抽出部２１１及び画像特徴量抽出部２１２に入力される。
　骨格情報抽出部２１１では、カメラ１０１から取得した映像信号について、例えばフレームごとの画像について作業情報である作業者の骨格情報を抽出する処理を行う。ここで、骨格情報とは、画像座標系における作業者の肩、肘、手首など、人体の代表的な関節位置の座標を表した情報であり、作業者の作業姿勢を表す情報である。映像から作業者の骨格情報を抽出する方法として、作業者に取り付けたマーカ位置から関節位置を抽出する方法のほか、事前に学習済みのＣｏｎｖｏｌｕｔｉｏｎａｌ－Ｎｅｕｒａｌ－Ｎｅｔｗｏｒｋ（ＣＮＮ）を用いて関節位置を抽出する方法などがある。骨格情報抽出部２１１にて抽出された骨格情報は、作業情報統合部２１５へ入力される。
　画像特徴量抽出部２１２では、カメラ１０１から取得した映像信号から、フレームごとに例えばＨｉｓｔｏｇｒａｍｓ－ｏｆ－Ｏｒｉｅｎｔｅｄ－Ｇｒａｄｉｅｎｔｓ（ＨＯＧ）特徴量等、画像に関する特徴量を抽出する処理を行う。画像特徴量抽出部２１２にて抽出された画像特徴量情報は、作業情報統合部２１５へ入力される。
　マイク１０２から作業要素分析装置２００の作業情報取得部２１０に入力された音声信号は、作業情報取得部２１０の音声特徴量抽出部２１３へ入力される。
　音声特徴量抽出部２１３では、マイク１０２から取得した音声信号の音声について作業情報である音声特徴量を、例えば周波数スペクトル分析を行うことにより抽出する処理を行うことにより抽出する。音声特徴量抽出部２１３にて抽出された音声特徴量情報は、作業情報統合部２１５へ入力される。
　生産機器１０３から作業要素分析装置２００の作業情報取得部２１０に入力された状態信号は、作業情報取得部２１０の生産機器特徴量抽出部２１４へ入力される。
　生産機器特徴量抽出部２１４は、生産機器１０３から取得した状態信号について、例えば作業者が電動ドライバのスイッチを入れることによる稼働状態の情報、バーコードリーダがタグを読み込んだ情報などを生産機器の特徴量として抽出する処理を行う。生産機器特徴量抽出部２１４が抽出した生産機器特徴量情報は、作業情報統合部２１５へ入力される。
　作業情報統合部２１５では、作業情報である骨格情報、画像特徴量情報、音声特徴量情報、生産機器特徴量情報を、時刻情報と共に同じ時刻のフレームごとに１つの作業情報として統合する。作業情報統合部２１５にて統合された作業情報は、作業要素推論部２２０に入力される。
　作業要素推論部２２０は、学習部である学習済みモデル生成部２２１、学習済みモデル記憶部２２２、推論部２２３を備える。作業要素推論部２２０では、学習済みモデル生成部２２１により生成した学習済みモデルを学習済みモデル記憶部２２２にあらかじめ記憶しておくことにより、作業情報取得部２１０が取得した作業情報から学習済みモデル記憶部２２２の学習済みモデルを活用して作業を構成する作業要素をフレームごとに推論する。
　なお、作業要素推論部２２０が作業要素を推論する方法は従来より種々の方法があり、上記の方法に限らず、統計データから推論を行っても良いし、ユーザが作業情報の特徴量などの情報に設定値を設けて作業要素を推論しても良い。
　作業要素教示部２３０は、ユーザの入力により作業情報に対応する真の作業要素の情報である教師データを得て、教師データを作業要素推論部２２０の学習済みモデル生成部２２１に出力する。真の作業要素とは、本作業要素分析装置２００が作業情報から得るべき作業要素であり、教師データは、例えばユーザが作業要素教示部２３０にて過去の作業情報に対する作業要素番号を判定することにより得られる。
　また、作業要素教示部２３０は、発生確率取得部２４０の作業要素出力確率算出部２４１及び作業要素遷移確率算出部２４３にも教師データを出力する。
　学習済みモデル生成部２２１は、作業情報取得部２１０から入力された作業情報と作業要素教示部２３０から入力された教師データをもとに、作業の過程を構成する作業要素を作業情報から推論するために作業要素と作業情報との関連性を機械学習した学習済みモデルを生成し、学習済みモデル記憶部２２２に出力する。学習済みモデルを用いることで、推論部はフレームごとの作業情報に対して作業要素番号を推論する。
　なお、学習済みモデルは学習済みモデル生成部２２１にて生成されたが、必ずしも作業情報取得部２１０から作業情報を取得して生成する必要はなく、学習済みモデル記憶部２２２に直接入力されても良い。その場合、学習済みモデル生成部２２１は作業要素教示部２３０に入力された学習済みモデルをそのまま学習済みモデル記憶部２２２へ出力する。
　また、学習済みモデルは作業要素分析装置２００の外部で生成、記憶され、推論部２２３が推論する際にネットワークなどの手段を用いて学習済みモデルを取得する構成としても良い。
　学習済みモデル記憶部２２２は、学習済みモデル生成部２２１から出力された学習済みモデルを記憶する。事前に学習済みモデルを学習済みモデル記憶部２２２に記憶しておくことで、推論部２２３にて学習済みモデルを活用して作業情報から作業要素を推論することが可能となる。学習済みモデル記憶部２２２は、推論部２２３へ学習済みモデルを出力する。
　推論部２２３は、作業情報取得部２１０が取得した作業情報が入力されると、学習済みモデル記憶部２２２から出力された学習済みモデルを活用することで作業要素を推論する。作業要素は、１フレームの作業情報について作業要素ごとの確率値が推論され、最も確率の高い作業要素を作業要素推論情報として発生確率取得部２４０及び訂正部２５０へ出力される。
　発生確率取得部２４０は、作業要素出力確率算出部２４１、作業要素出力確率情報記憶部２４２、作業要素遷移確率算出部２４３、作業要素遷移確率情報記憶部２４４を備える。発生確率取得部２４０では、作業における作業要素の発生確率である作業要素出力確率及び作業要素遷移確率を取得して、訂正部２５０へ出力する。本実施の形態において、作業における作業要素の発生確率は過去の作業情報に対する真の作業要素から算出されるが、作業要素に関する発生確率であればこれに限らない。
　作業要素出力確率算出部２４１は、過去の作業情報に対する真の作業要素と、作業要素推論部２２０が同じ過去の作業情報から推論した作業要素との統計から算出される作業要素出力確率を算出する。過去の作業情報に対する真の作業要素の情報は、作業要素教示部２３０から出力された教師データから得られる。作業要素出力確率算出部２４１は、作業要素出力確率を算出する際に、作業要素出力確率が０とならないよう作業要素の番号に対して調整値を加える調整を行う。具体的な調整方法については後述する。このように作業要素発生確率の調整を行うことにより、作業要素出力確率を算出する際に用いた過去の作業情報では起こっていなかった作業要素推論部２２０による異常な作業要素の推論が生じた場合を考慮した訂正が可能となる。作業要素出力確率算出部２４１は、作業要素出力確率の情報を作業要素出力確率情報記憶部２４２に記憶する。作業要素出力確率情報記憶部２４２は、訂正部２５０へ作業要素出力確率の情報を出力する。
　作業要素遷移確率算出部２４３は、過去に作業要素番号から次の作業要素番号へ遷移した統計から算出される作業要素遷移確率を算出する。過去に作業要素番号から次の作業要素番号へ遷移した情報は、作業要素教示部２３０から出力された教師データから得られる。作業要素遷移確率算出部２４３は、作業要素遷移確率を算出する際に、作業要素遷移確率が０とならないよう作業要素の確率に調整値を加える調整を行う。具体的な調整方法については後述する。このように作業要素遷移確率の調整を行うことにより、作業要素遷移確率を算出する際に用いた過去の作業要素では遷移していなかった作業要素の遷移が生じた場合を考慮した訂正が可能となる。作業要素遷移確率算出部２４３は、作業要素遷移確率の情報を作業要素遷移確率情報記憶部２４４に記憶する。作業要素遷移確率情報記憶部２４４は、訂正部２５０へ作業要素遷移確率の情報を出力する。
　なお、作業要素推論部２２０の学習済みモデル生成部２２１が学習済みモデルを作成する際の作業情報と、発生確率取得部２４０の作業要素出力確率算出部２４１が確率を算出する際、作業要素遷移確率算出部２４３が確率を算出する際の過去の作業要素推論情報の時刻はそれぞれ異なっていてもよい。
　また、例えばユーザが作業要素に関する傾向を把握しており統計結果から得られた発生確率を修正する場合に、統計結果から得られた発生確率を修正できるよう構成しても良い。その場合、本実施の形態では、作業要素出力確率情報記憶部２４２及び作業要素遷移確率情報記憶部２４４に記憶されている作業要素出力確率情報又は作業要素遷移確率情報を書き換える。
　訂正部２５０は、作業要素推論部２２０から作業要素推論情報を取得すると、作業要素出力確率情報記憶部２４２及び作業要素遷移確率情報記憶部２４４から作業要素出力確率の情報及び作業要素遷移確率の情報を取得する。そして、発生確率取得部２４０が取得した発生確率である作業要素出力確率及び作業要素遷移確率に基づいて、ビタビアルゴリズムを用いて作業要素推論部２２０から取得した作業要素を訂正し、訂正した作業要素訂正情報を分析部２６０へ出力する。
　訂正部２５０は、作業要素出力確率を用いて訂正することで作業要素推論部２２０が作業要素を推論する性能を考慮することができ、作業要素遷移確率を用いて訂正することで作業情報が１フレーム進んだ時に作業要素が遷移する確率を考慮することができる。このように作業要素推論部２２０が推論した作業要素の発生率を用いて作業要素を訂正することで、より精度の良い作業要素を得て分析することができる。
　本実施の形態では、発生確率取得部２４０にて２つの確率が取得されたが、発生確率取得部２４０が取得する確率は１つでもよく、その場合は訂正部２５０にて１つの確率に基づいて訂正する。
　分析部２６０は、訂正部２５０から出力された作業要素訂正情報について、同じ作業要素が連続する区間を当該作業要素の実施に要した時間として計上し、繰り返し行われる作業の１サイクル分にかかる時間を分析する。この時、作業要素の発生順序を評価することで作業抜けや作業の入れ違いを検知する分析を行う他、作業要素時間の上限値に基づいた異常情報を抽出する分析を行い、分析結果を分析結果記憶部３００へ出力する。ユーザは分析結果記憶部３００を参照して作業者ごとの作業時間や作業ミスの発生状況を把握する。
　なお、分析部２６０及び作業要素教示部２３０は必ずしも作業要素分析装置２００に含まれる必要はなく、作業要素分析装置２００は、作業情報から作業要素が推論され、訂正されるものであればよい。
　次に、本実施の形態１に係る作業要素分析装置２００の動作について説明する。
　以下、繰り返して行う作業の１サイクルの作業過程が４つの作業要素で構成された例を説明する。各作業要素には、それぞれ０～３の作業要素番号を付すものとする。
　まず、作業要素推論部２２０が作業情報取得部２１０から取得した作業情報から作業要素を推論できるよう、あらかじめ作業要素と作業情報の関連性を機械学習した学習済みモデルを学習済みモデル記憶部２２２に記憶させておく。学習済みモデルは、作業情報取得部２１０から学習済みモデル生成部２２１に入力された過去の作業情報と、作業要素教示部２３０から入力される同じ過去の作業情報に対する真の作業要素の情報とをもとにして学習済みモデル生成部２２１にて生成後出力され、学習済みモデル記憶部２２２に記憶される。
　また、訂正部２５０が発生確率に基づいて作業要素推論部２２０が推論した作業要素を訂正できるよう、あらかじめ補正した作業要素出力確率と作業要素遷移確率を発生確率取得部２４０の作業要素出力確率情報記憶部２４２と作業要素遷移確率情報記憶部２４４に記憶させておく。以下に作業要素出力確率と作業要素遷移確率の算出方法について説明する。
　作業要素出力確率bikは、作業要素出力確率算出部２４１にて次のように算出されて作業要素出力確率情報記憶部２４２に記憶される。
　まず、作業要素出力確率算出部２４１に作業要素推論部２２０が過去の作業情報から推論した作業要素の情報と、作業要素教示部２３０にユーザが入力した過去の作業情報に対する真の作業要素の情報が入力される。そして同一フレームの作業情報において真の作業要素の番号ｉに対して作業要素推論部２２０が推論した作業要素番号ｋとなった件数をそれぞれ集計する（以下、集計値cb_ik）。図２に実施の形態１に係る作業要素分析装置２００の作業要素出力確率算出部２４１が作業要素を集計した例である説明図を示す。ここで示した例では、例えば真の作業要素番号が０の時に、作業要素番号０と推論された集計値が４３、作業要素番号１と推論された集計値が８、作業要素番号２と推論された集計値が３、作業要素番号３と推論された集計値が６となっており、単に作業情報から推論しただけでは、実際の作業要素ではない作業要素に推論される件数が１７件ある状態を示している。
　次に、作業要素出力確率算出部２４１は、集計値cb_ikに対し、次に示す数式１のように作業要素番号ｉの総件数に応じた調整値を集計値cb_ikに加算することで補正値c'b_ikを算出する。
Figure JPOXMLDOC01-appb-M000001
　図３は、実施の形態１に係る作業要素分析装置２００の作業要素出力確率算出部２４１が集計値に調整値を加算した例を示す説明図である。図３では、真の作業要素番号ｉに対して作業要素推論部２２０が推論した件数の合計値の１０％（Wb）を調整値として加算している。例えば、真の作業要素番号０については集計値が全部で６０あるので、その１０％である調整値６が作業要素推論部が推論したそれぞれの作業要素番号に加算されている。このように調整値を加算することにより、作業要素出力確率bikが０となることを防ぐことで、訂正部２５０が訂正を行う際に作業要素出力確率を求める際に使用した作業情報では起こらなかった異常な作業要素の推論が生じた場合を考慮した訂正が可能となる。
　最後に、次に示す数式２で調整後の値を用いて真の作業要素番号ｉにおける作業要素推論部２２０の作業要素番号ｋの作業要素出力確率bikを算出する。
Figure JPOXMLDOC01-appb-M000002
　図４は、実施の形態１に係る作業要素分析装置２００の発生確率取得部２４０が作業要素出力確率bikを算出した例を示す説明図である。例えば、真の作業要素番号０に対し作業要素推論部が作業要素番号０と判定した確率は、図３に記載された真の作業要素番号が０であった補正値４９を真の作業要素番号が０であった全体の補正値８４で割った５８．３％である。このように算出された作業要素出力確率bikは、作業要素出力確率記憶部２４２に記憶される。
　作業要素遷移確率aijは、作業要素遷移確率算出部２４３にて次のように算出されて作業要素遷移確率情報記憶部２４４に記憶される。
　まず、作業要素遷移確率算出部２４３に、作業要素教示部２３０からユーザが入力した連続したフレームの真の作業要素の情報が入力される。真の作業要素の番号がｉであるフレームの次のフレームの作業要素番号がｊとなった件数をそれぞれ集計する（以下、集計値ca_ij）。図５に実施の形態１に係る作業要素分析装置２００の作業要素遷移確率算出部２４３が作業要素を集計した例である説明図を示す。ここで示した例では、例えば遷移元の作業要素番号が０の時に、遷移先の作業要素番号が０である集計値が７８、作業要素番号が１である集計値が３、作業要素番号が２である集計値が０件、作業要素が３である集計値が０件となっており、過去に作業要素番号が０から２及び３へ遷移したデータがない状態となっている。
　次に、作業要素遷移確率算出部２４３は、集計値ca_ijに対し、次に示す数式３のように作業要素番号ｉの総件数に応じた調整値を集計値ca_ijに加算することで補正値c'a_ijを算出する。
Figure JPOXMLDOC01-appb-M000003
　図６は、実施の形態１に係る作業要素分析装置２００の作業要素遷移確率算出部２４３が調整値を加算した例を示す説明図である。図６では真の作業要素番号ｉに対して作業要素推論部２２０が推論した件数の合計値の１％（Wa）を調整値として加算している。例えば、図５にて遷移元の作業要素番号が０の集計値は全部で８１なので、その１％である調整値０．８１が加算される。このように調整値を加算することにより、図５の集計テーブルにて０であった集計値ca_ijが、図６では調整値が加えられたことにより０ではなくなっている。このように、作業要素遷移確率aijが０となることを防ぐことで、訂正部２５０が訂正を行う際に作業要素遷移確率を求める際に使用した作業情報では起こらなかった異常な作業要素の遷移が生じた場合を考慮した訂正が可能となる。
　最後に、次に示す数式４で調整後の値を用いて真の作業要素番号ｉから遷移する作業要素番号ｊの作業要素遷移確率aijを算出する。
Figure JPOXMLDOC01-appb-M000004
　図７は、実施の形態１に係る作業要素分析装置２００の発生確率取得部２４０が作業要素遷移確率を算出した例を示す説明図である。例えば、遷移元の作業要素番号が０から遷移先の作業要素番号が０である確率は、図６に記載された遷移元の作業要素番号が０であった補正値７８．８１件を遷移元の作業要素番号が０であった全体の補正値８４．２４で割った９３．６％である。このように算出された作業要素遷移確率aijは、作業要素遷移確率記憶部２４４に記憶される。
　このように、作業要素分析装置２００は学習済みモデル記憶部２２２、作業要素出力確率情報記憶部２４２、作業要素遷移確率情報記憶部２４４に学習済みモデル、作業要素出力確率、作業要素遷移確率が記憶された状態で使用される。
　次に、作業要素分析装置２００が作業要素を分析する際の動作について説明する。図８は、本実施の形態１に係る作業要素分析装置２００の動作を示すフローチャートである。
　ステップＳ００１にて作業情報取得部２１０は作業情報を取得する。具体的には、カメラ１０１、マイク１０２、生産機器１０３から情報が入力されると、骨格情報抽出部２１１、画像特徴量抽出部２１２、音声特徴量抽出部２１３、生産機器特徴量抽出部２１４にて作業者が行う作業に付随して生じた作業情報である骨格情報、画像特徴量情報、音声特徴量情報、生産機器特徴量情報が抽出される。そして、それらの作業情報は作業情報統合部２１５にて時刻ごとに１フレームに統合され、統合された作業情報が作業要素推論部２２０へ出力される。
　ステップＳ００２にて、作業要素推論部２２０は作業情報取得部２１０から出力された作業情報から作業を構成する作業要素を推論する。具体的には、作業要素推論部２２０の推論部２２３に作業情報取得部２１０から作業情報が入力されると、推論部２２３は学習済みモデル記憶部２２２を用いることで１フレームの作業情報に作業要素ごとの確率値が推論され、最も確率の高い作業要素を作業要素推論情報として訂正部２５０に時系列順に出力する。
　ステップＳ００３にて、訂正部２５０は発生確率取得部２４０により取得された発生確率に基づいて作業要素推論部２２０が推論した作業要素を訂正する。具体的には、訂正部２５０は作業要素推論部２２０から作業要素推論情報を取得すると、発生確率取得部２４０の作業要素出力確率情報記憶部２４２に記憶された作業要素出力確率と作業要素遷移確率情報記憶部２４４に記憶された作業要素遷移確率を用いてビタビアルゴリズムを適用し、作業要素推論部２２０が推論した作業要素を訂正する。訂正された作業要素は分析部２６０に出力される。
　ここで、発生確率取得部２４０にて発生確率の値が０である作業要素の発生確率に調整値を加える調整を行った場合の効果について、作業要素遷移確率の具体例を用いて説明する。
　例えば、作業者が１５フレーム分の時間において、各フレームの作業要素番号がそれぞれ０００００２２２２２２３３３３となる作業を行い、作業要素推論部２２０がこれらの作業に対応した作業情報に基づいて推論し、推論結果として１５フレーム分の作業要素番号として０００００２２２２２２３１３３が出力されたとする。この場合、１３フレーム目のタイミングにおいて、作業情報にノイズが入ったり、あるいは作業者が偶然に作業要素番号１と同様の動作を行ってしまったため、推論部２２３にて１３フレーム目の作業要素番号が１と推論されている。このような推論誤りは、訂正部２５０においてこの作業要素遷移確率に基づいて訂正される。ここで、仮に図５に示すように作業要素番号が０から２へ遷移する集計値が０のまま調整が行われなかった場合、訂正部２５０において作業要素番号０から２への遷移は許されないこととなり、作業要素番号０と２の境界部分で強制的に作業要素番号１が出現するように、例えば作業要素番号が００００１２２２２２２３３３３と訂正されてしまう。このように訂正されると、作業要素番号の順番は０、１、２、３と遷移しているため、分析部２６０は作業抜けを検知する分析を行うことができない。本実施の形態のように発生確率の値が０である作業要素の発生確率に調整値を加える調整を行うことで、訂正部２５０は作業要素番号として０００００２２２２２２３３３３という結果を得ることができ、次のステップの分析部にて作業要素番号１が抜けていることを検知する分析を行うことができる。
　ステップＳ００４にて、分析部２６０は訂正部２５０から出力された訂正後の作業要素を分析する。具体的には、同じ作業要素が連続する区間を当該作業要素の実施に要した時間として計上し、１サイクル分である１～４の作業要素にかかる時間を分析したり、作業要素の遷移から作業抜けを検知する分析を行う。分析部２６０は、分析結果を分析結果記憶部３００へ出力する。
　以上のように、実施の形態１に係る作業要素分析装置２００は、作業情報だけでなく、作業における作業要素の発生確率に基づいて作業要素推論部２２０が推論した作業要素を訂正するので、より精度の良い作業要素を分析することができる。
　次に、実施の形態２に係る作業要素分析装置２００について説明する。実施の形態１とは作業要素推論部２２０の推論部２２３から出力される作業要素推論情報と訂正部２５０の処理方法が異なるが、その他は実施の形態１と同様である。
　作業要素推論部２２０の推論部２２３は、作業情報取得部２１０が取得した作業情報が入力されると、学習済みモデル記憶部２２２から出力された学習済みモデルを用いることで１フレームの作業情報について作業要素ごとの確率値pt i(0.0≦pt i≦1.0、Σipt i=1.0、i=0,1,…,N-1,N、N：作業要素の総数、t=0,1,…,T-1,T、T：総フレーム数)を得る。そして、得られた確率値pt iのうち最も確率が高い確率値pt iの作業要素をそのフレームの作業要素として推論する。作業要素推論部２２０は、作業要素ごとの確率値pt i及び推論した作業要素を作業要素推論情報として訂正部２５０へ出力する。
　訂正部２５０は、発生確率取得部２４０が取得した発生確率及び作業要素ごとの確率値pt iに基づいて作業要素推論部２２０が推論した作業要素を訂正する。そして、確率が最も高い作業要素を作業要素訂正情報として分析部２６０へ出力する。
　以下、訂正部２５０が発生確率取得部２４０が取得した発生確率及び作業要素ごとの確率値pt iに基づいて確率が最も高い作業要素を算出する動作について説明する。説明のため、変数V、layer、node、bestPathを次に示す数式５の通り定義する。
Figure JPOXMLDOC01-appb-M000005
　ここで、prvIdxt ikは、layert-1に含まれるノードnodet-1 IKを指し示すインデックス（I,K）（I≠i、K≠k、I＝0,1,…N-1、K＝0,1,…,N-1）を最大１つ格納できる変数である。
　nxtIdxt ikは、layert+1に含まれるノードnodet+1 IKを指しし示すインデックス（I,K）を最大１つ格納できる変数である。
　likehoodt ikは、時刻t、インデックス（i,k）のノードnodet ikに付与される既定値０のスカラであり、時刻０から時刻tまで最尤な作業履歴を辿ったときの尤度を意味する。
　bestPathは時刻０から時刻T-1までの尤度が最大となる作業履歴を格納する変数であり、訂正部２５０が最終的に出力する情報である。
　上記の変数の定義を踏まえ、訂正部２５０の動作について説明する。図９は、実施の形態２に係る作業要素分析装置２００の動作を示すフローチャートである。
　ステップＳ１０１にて、訂正部２５０は時刻０のフレームに対応する各ノードの尤度likehood0 ikを計算する。図１０は、実施の形態の作業要素分析装置２００の訂正部２５０がlikehood0 ik を計算するフローチャートを示す。計算式を次の数式６に示す。
Figure JPOXMLDOC01-appb-M000006
　ステップＳ１０２にて、訂正部２５０は時刻t={0,1,…,T-1}について、nodet-1 IKの最適な遷移先となるノードを抽出する。図１１は、実施の形態２に係る作業要素分析装置２００の動作を示すフローチャートである。抽出条件を次の数式７に示す。
Figure JPOXMLDOC01-appb-M000007
　ステップＳ１０３にて、訂正部２５０は時刻t={0,1,…,T-1}のnodet ikについて、最適な遷移元ノードを抽出し尤度を計算する。図１２は、実施の形態２の作業要素分析装置２００の訂正部２５０が尤度を計算するフローチャートである。また、具体的な処理コードを図１３に示す。
　ステップＳ１０４にて、最尤作業履歴bestPath={bestPatht}を抽出する。図１４は、実施の形態２に係る作業要素分析装置２００の訂正部２５０が最尤作業履歴を抽出する詳細のフローチャートである。まず、ステップＳ３０１にて尤度likehoodT-1 ikが最大となるnodet ikを抽出し、そのインデックス情報（itmp,ktmp）を保持し、bestPathT-1にitmpを登録する。次にステップＳ３０２にてt=T-1からt=1まで、次に示す数式８の処理を行うことにより、確率的に最尤な作業履歴bestPathを得る。
Figure JPOXMLDOC01-appb-M000008
　以上のように、実施の形態２に係る作業要素分析装置２００は、作業における作業要素の発生確率及び作業要素ごとの確率値に基づいて作業要素推論部２２０が推論した作業要素を訂正するので、より高精度な訂正を行うことができる。
　なお、実施の形態２では作業要素推論部２２０から作業要素ごとの確率値pt i及び作業要素推論部２２０が推論した作業要素を作業要素推論情報として出力したが、作業要素推論情報は作業要素ごとの確率値pt iのみであっても良い。その場合、訂正部にて作業における作業要素の発生確率を用いて作業要素ごとの確率値pt iを訂正し、最も確率が高い作業要素番号を作業要素訂正情報とする。
　図１５は、本実施の形態に係る作業要素分析装置２００のハードウェア構成図である。本実施の形態では、カメラ１０１、マイク１０２、生産機器１０３から作業要素分析装置２００の第１インターフェース２０１、第２インターフェース２０２、第３インターフェース２０３を介して信号が入力される。演算装置２０４は、ＣＰＵまたはＤＳＰなどの回路であり、骨格情報抽出部２１１、画像特徴量抽出部２１２、音声特徴量抽出部２１３、生産機器特徴量抽出部２１４、作業情報統合部２１５、学習済みモデル生成部２２１、推論部２２３、作業要素教示部２３０、作業要素出力確率算出部２４１、作業要素遷移確率算出部２４３、訂正部２５０、分析部２６０の処理を行う。主記憶装置２０５は、演算装置２０４でプログラムが実行される際にプログラムやデータを一時的に記憶する揮発性メモリである。補助記憶装置は、長期的に記憶する不揮発性メモリであり、学習済みモデルや作業要素出力確率情報、作業要素遷移確率情報を記憶する。
１０１．カメラ
１０２．マイク
１０３．生産機器
２００．作業要素分析装置
２０１．第１インターフェース
２０２．第２インターフェース
２０３．第３インターフェース
２０４．演算装置
２０５．主記憶装置
２０６．補助記憶装置
２１０．作業情報取得部
２１１．骨格情報抽出部
２１２．画像特徴量抽出部
２１３．音声特徴量抽出部
２１４．生産機器特徴量抽出部
２１５．作業情報統合部
２２０．作業要素推論部
２２１．学習済みモデル生成部
２２２．学習済みモデル記憶部
２２３．推論部
２３０．作業要素教示部
２４０．発生確率取得部
２４１．作業要素出力確率算出部
２４２．作業要素出力確率情報記憶部
２４３．作業要素遷移確率算出部
２４４．作業要素遷移確率情報記憶部
２５０．訂正部
２６０．分析部
３００．分析結果記憶部

Claims (7)

  1. 　作業者が行う作業に付随して生じた作業情報を取得する作業情報取得部と、
    　前記作業情報取得部が取得した前記作業情報から前記作業を構成する作業要素を推論する作業要素推論部と、
    　前記作業における前記作業要素の発生確率を取得する発生確率取得部と、
    　前記発生確率取得部が取得した前記発生確率に基づいて前記作業要素推論部が推論した作業要素を訂正する訂正部と、
    を備えた作業要素分析装置。
  2. 　前記作業要素推論部は、
    　前記作業の過程を構成する作業要素を前記作業情報から推論するために前記作業要素と前記作業情報との関連性を機械学習した学習部に、前記作業情報取得部が取得した前記作業情報を入力し、前記学習部を用いることで前記作業要素を推論する
    ことを特徴とする請求項１に記載の作業要素分析装置。
  3. 　前記発生確率取得部は、
    　前記発生確率の値が０である前記作業要素の発生確率に調整値を加える調整を行う
    　ことを特徴とする請求項１または２に記載の作業要素分析装置。
  4. 　前記発生確率取得部が取得する発生確率は、
    　過去の作業情報に対する前記作業要素と、前記作業要素推論部が前記過去の作業情報から推論した作業要素との統計から算出される確率である
    ことを特徴とする請求項１から３のいずれかに記載の作業要素分析装置。
  5. 　前記発生確率取得部が取得する発生確率は、
    　過去に前記作業要素が遷移した作業要素の統計から算出される確率である
    　ことを特徴とする請求項１から４のいずれか一項に記載の作業要素分析装置。
  6. 　前記作業要素推論部は、
    　前記作業情報取得部が取得した前記作業情報から求めた前記作業要素ごとの確率値を出力し、
    　前記訂正部は、
    　前記作業要素推論部の推論結果である前記作業要素ごとの確率値に基づいて前記作業要素推論部が推論した作業要素を訂正する
    　ことを特徴とする請求項１から５のいずれか一項に記載の作業要素分析装置。
  7. 　作業者が行う作業に付随して生じた作業情報を取得する作業情報取得ステップと、
    　前記作業情報取得ステップにて取得した前記作業情報から前記作業を構成する作業要素を推論する作業要素推論ステップと、
    　前記作業における前記作業要素の発生確率を取得する発生確率取得ステップと、
    　前記発生確率取得ステップにて取得した前記発生確率に基づいて前記作業要素推論ステップにて推論した作業要素を訂正する訂正ステップと、
    を備えた作業要素分析方法。
PCT/JP2019/036456 2019-09-18 2019-09-18 作業要素分析装置及び作業要素分析方法 WO2021053738A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2019/036456 WO2021053738A1 (ja) 2019-09-18 2019-09-18 作業要素分析装置及び作業要素分析方法
CN201980100185.4A CN114365161A (zh) 2019-09-18 2019-09-18 作业要素分析装置和作业要素分析方法
DE112019007626.4T DE112019007626T5 (de) 2019-09-18 2019-09-18 Arbeitselement-analyseeinrichtung und arbeitselement-analyseverfahren
JP2020516763A JP6777266B1 (ja) 2019-09-18 2019-09-18 作業要素分析装置及び作業要素分析方法
TW108141759A TW202113703A (zh) 2019-09-18 2019-11-18 作業要素分析裝置及作業要素分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/036456 WO2021053738A1 (ja) 2019-09-18 2019-09-18 作業要素分析装置及び作業要素分析方法

Publications (1)

Publication Number Publication Date
WO2021053738A1 true WO2021053738A1 (ja) 2021-03-25

Family

ID=72916136

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/036456 WO2021053738A1 (ja) 2019-09-18 2019-09-18 作業要素分析装置及び作業要素分析方法

Country Status (5)

Country Link
JP (1) JP6777266B1 (ja)
CN (1) CN114365161A (ja)
DE (1) DE112019007626T5 (ja)
TW (1) TW202113703A (ja)
WO (1) WO2021053738A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7387025B2 (ja) * 2020-11-02 2023-11-27 三菱電機株式会社 作業手順更新装置、作業手順更新方法及びプログラム
JPWO2022209082A1 (ja) * 2021-04-02 2022-10-06
JP7375240B1 (ja) * 2023-03-06 2023-11-07 株式会社 日立産業制御ソリューションズ 作業管理装置、作業管理方法、並びに作業管理プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011238221A (ja) * 2010-05-05 2011-11-24 Palo Alto Research Center Inc パッセージシーケンスの再使用を介して文書の展開を推測することによる文書類似性の測定
WO2017146094A1 (ja) * 2016-02-24 2017-08-31 日本電信電話株式会社 攻撃コード検知装置、攻撃コード検知方法及び攻撃コード検知プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6212510B1 (en) * 1998-01-30 2001-04-03 Mitsubishi Electric Research Laboratories, Inc. Method for minimizing entropy in hidden Markov models of physical signals
JP2007328435A (ja) * 2006-06-06 2007-12-20 Mitsubishi Electric Corp 移動体行動分析装置
JP5463964B2 (ja) * 2010-03-05 2014-04-09 三菱電機株式会社 作業内容推定装置及び作業内容推定方法
WO2015173882A1 (ja) * 2014-05-13 2015-11-19 株式会社日立製作所 コンテンツ生成方法および管理装置
JP6173281B2 (ja) * 2014-08-29 2017-08-02 本田技研工業株式会社 環境理解装置および環境理解方法
WO2018087844A1 (ja) 2016-11-09 2018-05-17 三菱電機株式会社 作業認識装置および作業認識方法
WO2018131630A1 (ja) * 2017-01-13 2018-07-19 三菱電機株式会社 作業分析装置および作業分析方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011238221A (ja) * 2010-05-05 2011-11-24 Palo Alto Research Center Inc パッセージシーケンスの再使用を介して文書の展開を推測することによる文書類似性の測定
WO2017146094A1 (ja) * 2016-02-24 2017-08-31 日本電信電話株式会社 攻撃コード検知装置、攻撃コード検知方法及び攻撃コード検知プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHIMIZU, SHOGO: "Worker behavior analysis method using skeleton information at the production site", PROCEEDINGS OF THE 81ST NATIONAL CONVENTION OF IPSJ, 28 February 2019 (2019-02-28) *

Also Published As

Publication number Publication date
JP6777266B1 (ja) 2020-10-28
CN114365161A (zh) 2022-04-15
DE112019007626T5 (de) 2022-04-28
JPWO2021053738A1 (ja) 2021-03-25
TW202113703A (zh) 2021-04-01

Similar Documents

Publication Publication Date Title
JP6777266B1 (ja) 作業要素分析装置及び作業要素分析方法
Chen et al. A distribution-free multivariate control chart
US10482352B2 (en) Information processing device and non-transitory computer readable medium
JP7000359B2 (ja) 判定装置
CN111476097A (zh) 人体姿态评估方法、装置、计算机设备及存储介质
JP2023085255A5 (ja)
US11112759B2 (en) Thermal displacement correction system and computer
CN112638596B (zh) 自主学习型机器人装置以及自主学习型机器人装置的动作生成方法
CN113568960B (zh) 物联网数据实时分析方法、系统及计算机可读存储介质
CN111143101A (zh) 用于确定故障根源的方法、装置、存储介质及电子设备
JPWO2018011432A5 (ja)
CN117077867A (zh) 基于神经网络实现的企业数据智能分析方法及系统
CN111401563B (zh) 机器学习模型更新方法和装置
WO2022244536A1 (ja) 作業認識装置および作業認識方法
WO2019229943A1 (ja) 作業分析装置
US11556760B2 (en) Learning-based data processing system and model update method
JP7339063B2 (ja) 作業工程に関する学習を行う機械学習プログラム及び機械学習装置
TW201822078A (zh) 基於感測資料之估測方法及基於感測資料之估測系統
KR101468681B1 (ko) 표준 작업 관리 시스템 및 표준 작업 관리 방법
JP2022006885A (ja) 動作認識装置、動作認識方法及び動作認識プログラム
WO2020136924A1 (ja) 動作分析装置、動作分析方法及び動作分析プログラム
JP2005258717A (ja) 制御装置のパラメータ設定方法及び装置並びにプログラム
CN118467767B (zh) 一种基于虚拟技术的戏曲表演身段序列保护系统及方法
JP2023094083A (ja) 情報処理プログラム、情報処理方法、および情報処理装置
WO2021111832A1 (ja) 情報処理方法、情報処理システム及び情報処理装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2020516763

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19945782

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19945782

Country of ref document: EP

Kind code of ref document: A1