WO2023085208A1 - 作業学習システム、作業判定システム、学習装置、判定装置、作業学習方法、作業判定方法、および、プログラム - Google Patents

作業学習システム、作業判定システム、学習装置、判定装置、作業学習方法、作業判定方法、および、プログラム Download PDF

Info

Publication number
WO2023085208A1
WO2023085208A1 PCT/JP2022/041162 JP2022041162W WO2023085208A1 WO 2023085208 A1 WO2023085208 A1 WO 2023085208A1 JP 2022041162 W JP2022041162 W JP 2022041162W WO 2023085208 A1 WO2023085208 A1 WO 2023085208A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
worker
information
information indicating
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/041162
Other languages
English (en)
French (fr)
Inventor
哲也 玉置
俊之 八田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to CN202280072358.8A priority Critical patent/CN118176501A/zh
Priority to JP2023559605A priority patent/JPWO2023085208A1/ja
Priority to US18/701,685 priority patent/US20250029006A1/en
Publication of WO2023085208A1 publication Critical patent/WO2023085208A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Definitions

  • the present disclosure relates to a work learning system, a work judgment system, a learning device, a judgment device, a work learning method, a work judgment method, and a program.
  • Patent Literature 1 discloses a position specifying system that includes a wireless terminal device held by a monitored target and a sensor device that wirelessly communicates with the wireless terminal device and captures an image of the monitored target.
  • a wireless terminal device transmits a detection signal for detecting the position of the wireless terminal device to a sensor device together with identification information holding identification information unique to the wireless terminal device.
  • the sensor device detects the position of the wireless terminal device based on the received detection signal including the identification information, and calculates the position of the monitoring target based on the image captured by the imaging unit.
  • the sensor device identifies the position of the monitored target by associating the calculated position of the monitored target with the detected position and identification information of the wireless terminal device.
  • Patent Document 1 With the technology described in Patent Document 1, the position of the monitored object is specified and only the movement is tracked. Therefore, even if the technique described in Patent Document 1 is applied to the production site, it is not possible to obtain work information indicating the work classification of the work performed by the worker at that position. Without work information, work analysis cannot be performed.
  • the present disclosure has been made in order to solve the above-described problems, and it is possible to easily display position information indicating the position of a worker and work information indicating the work classification of the work being performed by the worker at that position. It is intended to make it possible to obtain
  • the work learning system includes a learning device, a position information generation device, a static/motion information generation device, an object information generation device, and a work information generation device.
  • the learning device learns the work classification of the work performed by the worker.
  • the position information generating device generates position information indicating the position of the worker.
  • the still/movement information generating device generates still/movement information indicating the movement of the worker.
  • An object information generation device generates object information indicating an object handled by a worker.
  • the work information generation device generates work information indicating the work classification of the work performed by the worker.
  • the learning device has a data acquisition unit and a model generation unit.
  • the data acquisition unit acquires position information, still/movement information, object information, and work information from the position information generation device, the still/motion information generation device, the object information generation device, and the work information generation device, respectively.
  • the model generation unit learns the work classification of the work performed by the worker based on the position information, static/movement information, object information, and work information acquired by the data acquisition unit, and generates a learned model.
  • the worker when data that associates position information indicating the position of the worker, motion information indicating the movement of the worker, and object information indicating the object handled by the worker is input, the worker performs By generating a trained model that outputs the work classification of the work that the worker is doing, it is possible to easily obtain position information that indicates the position of the worker and work information that indicates the work classification of the work that the worker is doing at that position. become.
  • FIG. 1 is a diagram showing a configuration example of a work learning system according to Embodiment 1;
  • FIG. FIG. 2 is a block diagram showing an example of the functional configuration of the position information generating device according to Embodiment 1;
  • FIG. 4 is a diagram for explaining a method of determining a worker's movement according to Embodiment 1;
  • 1 is a block diagram showing a functional configuration example of an object information generating device according to Embodiment 1;
  • FIG. 11 is a diagram showing another example of the functional configuration of the determination device in the work determination system according to Embodiment 2; Flowchart showing an example of operation of determination processing according to Embodiment 2
  • FIG. 2 shows an example of a hardware configuration of a learning device according to Embodiment 1 and a determination device according to Embodiment 2;
  • a work learning system, a work judgment system, a learning device, a judgment device, a work learning method, a work judgment method, and a program according to the present embodiment will be described in detail below with reference to the drawings. Identical or corresponding parts in the drawings are denoted by the same reference numerals.
  • the work learning system 100 includes a learning device 1 that learns the work classification of work performed by a worker, a position information generation device 2 that generates position information indicating the position of the worker, and a static/movement device that indicates the movement of the worker.
  • a still/movement information generating device 3 that generates information
  • an object information generating device 4 that generates object information indicating an object handled by a worker
  • work information that indicates a work classification of work performed by the worker.
  • a work information generation device 5 .
  • the learning device 1 includes a data acquisition unit 11 that acquires position information, still/movement information, object information, and work information, and a data acquisition unit 11 that acquires position information, still/movement information, object information, and work information to determine the work performed by the worker.
  • a model generator 12 that learns work classification and generates a trained model.
  • the model generation unit 12 generates learning data based on the position information, stationary/movement information, object information, and work information acquired by the data acquisition unit 11, and learns the work classification of the work performed by the worker by machine learning. do.
  • the model generation unit 12 When the learning is completed, the model generation unit 12 generates a trained model and stores it in the external trained model storage unit 6 .
  • the learned model storage unit 6 may be provided in the learning device 1 .
  • the position information generation device 2 includes a position estimation unit 21 that estimates the position of the worker and a position information output unit 22 that outputs position information.
  • the position estimating unit 21 performs, for example, position estimation using a positioning system represented by the Global Positioning System (GPS), Bluetooth (registered trademark), position estimation by surveying using sound waves, etc., and shooting the space where the worker is present.
  • the position of the worker is estimated by estimating the position by image processing of images.
  • the position information output unit 22 generates time-series position information indicating the position of the worker estimated by the position estimation unit 21 and outputs the position information to the learning device 1 and the motion information generation device 3 .
  • the still/movement information generation device 3 includes a position information acquisition unit 31 that acquires position information from the position information generation device 2, an acceleration information generation unit 32 that generates acceleration information indicating the acceleration of the worker, and a movement of the worker. and a stationary/moving information output unit 34 for outputting stationary/moving information.
  • the acceleration information generator 32 detects the acceleration of the worker using, for example, an accelerometer worn by the worker.
  • the acceleration information generator 32 generates time-series acceleration information indicating the detected acceleration of the worker.
  • the still/movement determination unit 33 determines the movement of the worker based on the time-series position information acquired by the position information acquisition unit 31 and the time-series acceleration information generated by the acceleration information generation unit 32 .
  • the still/movement determination unit 33 determines whether or not the change in position of the worker per unit time is equal to or greater than a threshold based on the position information.
  • the still/movement determination unit 33 determines whether or not the change in acceleration per unit time of the worker is greater than or equal to a threshold based on the acceleration information.
  • the still/movement determining unit 33 when the change in position of the worker per unit time is less than the threshold and the change in acceleration of the worker per unit time is less than the threshold, the still/movement determining unit 33 is "completely still". "Completely stationary” represents a state in which the worker is neither moving nor working. If the change in position of the worker per unit time is greater than or equal to the threshold and the change in acceleration per unit time of the worker is less than the threshold, the still/movement determination unit 33 determines that the worker's movement is "heteronomous movement". Determine that there is.
  • Heteronomous movement refers to a state in which the worker himself/herself is moving without moving, for example, a state in which the worker is on a transport cart, a forklift, or the like. If the change in position of the worker per unit time is less than the threshold and the change in acceleration per unit time of the worker is greater than or equal to the threshold, the motion determining unit 33 determines that the motion of the worker is "stationary work". I judge. "Stationary work” represents a state in which the worker does not move and is working on the spot.
  • the still/movement determination unit 33 determines that the motion of the worker is "autonomous movement". I judge. "Autonomous movement” represents a state in which the worker moves by himself.
  • the still/movement determination unit 33 determines whether the worker's movement is “completely still”, “heteronomous movement”, “stationary work”, or “autonomous movement” for each unit time.
  • the still/movement information output unit 34 of the still/movement information generation device 3 determines whether the worker's movement determined by the static/movement determination unit 33 is “completely stationary”, “heteronomous movement”, “stationary work”, It generates time-series still/moving information indicating whether it is “autonomous movement” and outputs it to the learning device 1 .
  • the object information generation device 4 includes an object detection unit 41 for detecting an object and its position, a worker hand detection unit 42 for detecting a worker's hand and its position, and an object determination unit for determining an object handled by the worker. and an object information output unit 44 for outputting object information.
  • the method by which the object detection unit 41 detects the object and its position includes, for example, a method of judging by a marker added to the object in advance based on an image captured by a camera worn by the worker, a method of estimating by AI, and the like.
  • Objects refer to, for example, parts, materials, and other workers required for work.
  • a method for the worker's hand detection unit 42 to detect the worker's hand and its position includes, for example, a method of determining by a marker given to the worker's hand based on an image captured by a camera worn by the worker. , a method of detecting the skeleton of the worker's hand, and the like.
  • the object determination unit 43 determines, for example, an object existing within a predetermined range from the position of the operator's hand as an object handled by the operator.
  • the object determination unit 43 further uses the line of sight measurement of the worker to detect objects that exist within a predetermined range from the position of the worker's hand and that the worker has been looking at for a certain period of time or more. You may judge the object you are dealing with.
  • the object information output unit 44 generates time-series object information indicating the object handled by the worker determined by the object determination unit 43 and outputs it to the learning device 1 .
  • the work information generation device 5 includes a work determination unit 51 that determines the work classification of the work performed by the worker, and a work information output unit 52 that outputs work information.
  • the work determination unit 51 processes the image of the worker and determines the work classification of the work being performed by pattern matching.
  • the work determination unit 51 may detect the skeleton of the worker based on a video of the worker and determine the work classification of the work performed by the worker from the movement of the skeleton.
  • the work information output unit 52 generates work information indicating the work classification of the work performed by the worker determined by the work determination unit 51 and outputs the work information to the learning device 1 .
  • the work information includes time zone information indicating the shooting time zone of the video for which the work classification has been determined.
  • the functional configuration of the work information generation device 5 is not limited to this, and as shown in FIG.
  • the worker inputs the work classification and work time period of the work to be performed by the worker to the work information input unit 53 .
  • the work information output unit 52 generates work information indicating the work classification input to the work information input unit 53 and outputs the work information to the learning device 1 .
  • the work information includes time period information indicating the work hours input to the work information input unit 53 . It should be noted that the input of the work classification and work time period may not be performed by the worker himself/herself.
  • the work information generation device 5 may include both the work determination unit 51 and the work information input unit 53 .
  • the work information output unit 52 gives priority to which work information. It is set in advance whether to generate by
  • the data acquisition unit 11 of the learning device 1 obtains position information, static/moving information, object Get information and work information.
  • the model generation unit 12 learns the work classification of the work performed by the worker based on the position information, static/movement information, object information, and work information acquired by the data acquisition unit 11, and creates a learned model.
  • the timing at which the model generating unit 12 generates a learned model may be, for example, when a learned model generation instruction is input, or when a predetermined timing arrives, or when position information, static/motion information, It may be when a certain period of time has passed since the acquisition of object information and work information started.
  • Work classifications are divided into routine and non-routine work classifications, and there are, for example, the following work classifications (1) to (5).
  • the work classification is divided into six types: (1) to (5) routine work + (6) non-routine work.
  • the work classification is not limited to this, and may be, for example, the name of the work or an identification number that identifies the work.
  • the learning algorithms used by the model generation unit 12 include supervised learning, unsupervised learning, and reinforcement learning.
  • K-means method which is unsupervised learning
  • Unsupervised learning is a method of learning features of data that does not contain results (labels).
  • the K-means method is a non-hierarchical clustering algorithm, and is a method of classifying into K clusters using averages of clusters.
  • the model generation unit 12 generates learning data xi that associates position information, static/movement information, and object information in the shooting time zone or the work time zone indicated by the time zone information included in the work information for each piece of work information. to generate Work information is associated with the learning data xi.
  • the model generation unit 12 calculates the center Vj of each cluster to which the learning data xi are allocated.
  • the model generator 12 obtains the distance between each learning data xi and each center Vj, and reassigns the learning data xi to the cluster of the closest center Vj. Then, when the cluster allocation of all the learning data xi does not change in the above processing, or when the amount of change falls below a preset threshold value, it is determined that convergence has occurred, and learning is completed.
  • the model generating unit 12 determines the most common work classification among the work classifications indicated by the work information corresponding to the learning data xi assigned to the cluster as the work classification of the cluster. It should be noted that since tasks similar in worker position, movement, and handled object belong to the same task classification, it is assumed that cluster task classifications do not overlap.
  • the model generation unit 12 outputs the generated learned model to the learned model storage unit 6.
  • the learned model storage unit 6 stores the learned model output from the model generation unit 12 .
  • the work classification of the work performed by the worker is learned using the K-means method, which is unsupervised learning.
  • the associated data is input, it determines which cluster it corresponds to (which cluster has the closest distance to the center Vj), and outputs the work classification of the applicable cluster.
  • the learning process shown in FIG. 7 starts when the learning device 1 is powered on.
  • the data acquisition unit 11 of the learning device 1 obtains position information, static/movement information, object information, and work information from the position information generation device 2, the static/motion information generation device 3, the object information generation device 4, and the work information generation device 5, respectively. acquire (step S11). If the learned model generation instruction is not input (step S12; NO), the process proceeds to step S18. When a learned model generation instruction is input (step S12; YES), the model generation unit 12 acquires learning data based on the position information, stationary/movement information, object information, and work information acquired by the data acquisition unit 11. Generate (step S13).
  • step S13 the model generation unit 12 acquires position information, static/motion information, and Learning data xi associated with object information is generated. Work information is associated with the learning data xi.
  • the model generation unit 12 learns the work classification of the work performed by the worker using the learning data (step S14).
  • the model generating unit 12 randomly allocates clusters to each piece of learning data xi in step S14.
  • the model generator 12 calculates the center Vj of each cluster to which the learning data xi are allocated.
  • the model generator 12 obtains the distance between each learning data xi and each center Vj, and reassigns the learning data xi to the cluster of the closest center Vj.
  • step S15 the process returns to step S14 and repeats steps S14 and S15.
  • step S15 the model generating unit 12 generates a trained model (step S16).
  • the model generation unit 12 determines whether the cluster allocation of all the learning data xi has not changed, or the amount of change has been set in advance. If the value is less than the threshold, it is determined that learning has been completed, and among the work classifications indicated by the work information corresponding to the learning data xi assigned to the cluster, the work classification with the largest number is determined as the work classification of the cluster.
  • step S16 the model generation unit 12, when the data in which the position information, static/movement information, and object information are associated is input, determines which cluster it corresponds to (which cluster is closest to the center Vj). and generate a trained model that outputs the work classification of the corresponding cluster.
  • step S12 is not limited to determining whether or not a learned model generation instruction has been input. For example, it may be determined whether or not the timing for generating a predetermined learned model has arrived, or whether a certain period of time has elapsed since the acquisition of position information, static/movement information, object information, and work information began. It may be determined whether Steps S11 to S16 are an example of the work learning method.
  • data in which position information indicating the position of the worker, static/motion information indicating the movement of the worker, and object information indicating the object handled by the worker are associated are input.
  • the work that indicates the work classification of the work performed by the worker at that position along with the position information that indicates the worker's position Information can be obtained easily.
  • the learned model generated by the work learning system 100 of the first embodiment is used to classify the work performed by the worker based on the position information, static/movement information, and object information. Determine and output work information.
  • the configuration of the work determination system 200 according to Embodiment 2 will be described with reference to FIGS. 8A and 8B.
  • the work determination system 200 determines the work performed by the worker with the position information generation device 2, the static/motion information generation device 3, and the object information generation device 4, and outputs work information. and a determination device 7 .
  • the functional configurations of the position information generation device 2, the static/motion information generation device 3, and the object information generation device 4 are the same as those of the first embodiment.
  • the determination device 7 includes a target data acquisition unit 71 that acquires position information, static/movement information, and object information for determining the work performed by the worker, and data that associates the position information, static/movement information, and object information. into the learned model to determine the work classification of the work performed by the worker.
  • the target data acquisition unit 71 acquires position information, still/movement information, and object information from the position information generation device 2, the still/movement information generation device 3, and the object information generation device 4, respectively.
  • the determination unit 72 inputs the data associated with the position information, the still/movement information, and the object information acquired by the target data acquisition unit 71 to the learned model stored in the learned model storage unit 6, and outputs from the learned model It generates and outputs work information indicating the work classification of the work performed by the worker.
  • the work information may be output by, for example, screen display, voice output, or transmission to a terminal carried or worn by the worker.
  • the learned model storage unit 6 may be provided in the determination device 7 .
  • the determination device 7 further includes a work performance acquisition unit 73 that acquires work performance information indicating the work classification of the work actually performed by the worker.
  • the work performance information may be acquired, for example, by accepting an input from the worker, by receiving it from a terminal used by the worker, or by acquiring it from an external system or device.
  • the determination unit 72 feeds back the work performance information acquired by the work performance acquisition unit 73 to the learned model.
  • the determination unit 72 determines whether or not the work classification output from the learned model matches based on the work performance information. If the work classification does not match, the determination unit 72 uses the same learning algorithm as that of the model generation unit 12 to determine the location information, static/movement information, and object information for which the work classification does not match, and the actually performed data. Based on the work performance information indicating the work classification of the work, learning data is generated, and the work classification of the worker's work is re-learned to update the learned model. For example, when using the K-means method, the determination unit 72 generates learning data xi based on the position information, static/movement information, and object information for which the work classification does not match, Assign tasks to task classification clusters.
  • the determination unit 72 recalculates the center Vj of each cluster, and reassigns each learning data xi to the cluster closest to the center Vj. When the learning is completed, the determination unit 72 determines the most common work classification among the work classifications indicated by the work information corresponding to the learning data xi assigned to the cluster as the work classification of the cluster. This updates the learned model.
  • step S21; NO the process proceeds to step S25.
  • the determination unit 72 inputs the data obtained by associating the position information, static/motion information and object information obtained by the target data obtaining unit 71 into the learned model stored in the learned model storage unit 6 (step S22).
  • the determination unit 72 generates work information indicating the work classification of the work performed by the worker output from the learned model (step S23), and outputs the work information (step S24).
  • Step S25 If the power of the determination device 7 is not turned off (step S25; NO), the process returns to step S21, and steps S21 to S25 are repeated. When the power is turned off (step S25; YES), the process ends. Steps S21 to S23 are an example of the work learning method.
  • data in which position information indicating the position of the worker, motion information indicating the movement of the worker, and object information indicating the object handled by the worker are associated are input. Then, using a trained model that outputs the work classification of the work performed by the worker, position information indicating the position of the worker and work information indicating the work classification of the work performed by the worker at that position are obtained. can be obtained easily.
  • the manager can refer to the output work information to check if there are any abnormalities in the quality, productivity, and lead time of the production activities, and if there are any points for improvement in quality, productivity, and lead time. This can improve quality, productivity and lead times.
  • the determination unit 72 generates learning data based on the position information, static/movement information, and object information for which the work classification does not match, and the work performance information indicating the work classification of the work actually performed, and performs the work.
  • learning device 1 or determination device 7 includes temporary storage unit 101 , storage unit 102 , calculation unit 103 , input unit 104 , transmission/reception unit 105 and display unit 106 .
  • Temporary storage unit 101, storage unit 102, input unit 104, transmission/reception unit 105, and display unit 106 are all connected to calculation unit 103 via BUS.
  • the calculation unit 103 is, for example, a CPU (Central Processing Unit). Calculation unit 103 executes the processing of model generation unit 12 or determination unit 72 according to the control program stored in storage unit 102 .
  • CPU Central Processing Unit
  • the temporary storage unit 101 is, for example, a RAM (Random-Access Memory). Temporary storage unit 101 loads a control program stored in storage unit 102 and is used as a work area for calculation unit 103 .
  • RAM Random-Access Memory
  • the storage unit 102 is a non-volatile memory such as flash memory, hard disk, DVD-RAM (Digital Versatile Disc-Random Access Memory), DVD-RW (Digital Versatile Disc-ReWritable).
  • the storage unit 102 stores in advance a program for causing the calculation unit 103 to perform the processing of the learning device 1 or the determination device 7, and supplies the data stored by this program to the calculation unit 103 according to instructions from the calculation unit 103. and stores the data supplied from the calculation unit 103 . If the learning device 1 or the determination device 7 is configured to include the learned model storage unit 6 , the learned model storage unit 6 is configured in the storage unit 102 .
  • the input unit 104 is an input device such as a keyboard, pointing device, voice input device, etc., and an interface device that connects the input device to the BUS. Information input by the user is supplied to the calculation unit 103 via the input unit 104 .
  • the input unit 104 functions as the model generation unit 12 when the model generation unit 12 is configured to receive input of a trained model generation instruction.
  • the transmitting/receiving unit 105 is a network terminal device or wireless communication device that connects to a network, and a serial interface or LAN (Local Area Network) interface that connects to them.
  • the transmission/reception unit 105 functions as the data acquisition unit 11 or the target data acquisition unit 71 .
  • the display unit 106 is a display device such as an LCD (Liquid Crystal Display) or an organic EL (electroluminescence) display. If the determination unit 72 is configured to display work information on the screen, the display unit 106 functions as the determination unit 72 .
  • the data acquisition unit 11 and the model generation unit 12 of the learning device 1 shown in FIG. 1, the target data acquisition unit 71 and the determination unit 72 of the determination device 7 shown in FIG. 8A, and the work result acquisition unit of the determination device 7 shown in FIG. 8B The processing of 73 is executed by the control program using the temporary storage unit 101, the calculation unit 103, the storage unit 102, the input unit 104, the transmission/reception unit 105, the display unit 106, etc. as resources.
  • a computer program for executing the above operations may be recorded on a computer-readable recording medium such as a flexible disk, CD-ROM (Compact Disc-Read Only Memory), DVD-ROM (Digital Versatile Disc-Read Only Memory).
  • the learning device 1 or the determination device 7 that executes the above processing may be configured by storing and distributing the program in a computer and installing the computer program in the computer.
  • the computer program may be stored in a storage device of a server device on a communication network such as the Internet, and the learning device 1 or the determination device 7 may be configured by downloading it to a normal computer system.
  • the functions of the learning device 1 or the determination device 7 are realized by sharing the work of the OS (Operating System) and the application program, or by cooperation between the OS and the application program, only the application program part can be stored in the recording medium. may be stored in the device.
  • the computer program may be posted on a bulletin board system (BBS, Bulletin Board System) on the communication network, and the computer program may be provided via the communication network. Then, the computer program may be activated and executed in the same manner as other application programs under the control of the OS to execute the above processing.
  • BSS bulletin board System
  • the model generation unit 12 learns the work classification of the work performed by the worker based on the position information, static/movement information, object information, and work information acquired by the data acquisition unit 11. , to generate a trained model, but not limited to this. If the work classification of the work performed by the worker can be learned, the model generation unit 12 can perform the work based on part of the position information, static/movement information, and object information acquired by the data acquisition unit 11. A learned model may be generated by learning the work classification of the work performed by a person.
  • the determination unit 72 inputs the data in which the position information, the still/movement information, and the object information acquired by the target data acquisition unit 71 are associated to the learned model stored in the learned model storage unit 6. , work information indicating the work classification of the work performed by the worker output from the learned model is generated, but the present invention is not limited to this. If it is possible to determine which cluster the learned model corresponds to, the determining unit 72 obtains data that associates part of the position information, static/moving information, and object information acquired by the target data acquiring unit 71. The work information may be input to the learned model stored in the learned model storage unit 6, and work information indicating the work classification of the work performed by the worker output from the learned model may be generated.
  • non-hierarchical clustering by the K-means method as unsupervised learning used in the learning algorithm used by the model generating unit 12
  • the present invention is not limited to this.
  • unsupervised learning for example, hierarchical clustering by the shortest distance method may be used.
  • reinforcement learning supervised learning, semi-supervised learning, deep learning, or the like. The same is true when the determination unit 72 relearns the work classification of the work performed by the worker by machine learning and updates the learned model.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • General Factory Administration (AREA)

Abstract

作業学習システム（１００）は、学習装置（１）と、作業者の位置を示す位置情報を生成する位置情報生成装置（２）と、作業者の動きを示す静動情報を生成する静動情報生成装置（３）と、作業者が扱っている物体を示す物体情報を生成する物体情報生成装置（４）と、作業者が行っている作業の作業分類を示す作業情報を生成する作業情報生成装置（５）と、を備える。学習装置（１）は、位置情報生成装置（２）、静動情報生成装置（３）、物体情報生成装置（４）および作業情報生成装置（５）からそれぞれ、位置情報、静動情報、物体情報および作業情報を取得するデータ取得部（１１）と、位置情報、静動情報、物体情報および作業情報に基づいて、作業者が行っている作業の作業分類を学習し、学習済モデルを生成するモデル生成部（１２）とを有する。

Description

作業学習システム、作業判定システム、学習装置、判定装置、作業学習方法、作業判定方法、および、プログラム
　本開示は、作業学習システム、作業判定システム、学習装置、判定装置、作業学習方法、作業判定方法、および、プログラムに関する。
　生産現場では、作業者の活動は生産性に影響を与える。そのため、作業者の活動を記録し、分析することが求められている。
　例えば、特許文献１には、監視対象が保持する無線端末装置と、無線端末装置と無線通信して監視対象の画像を撮影するセンサ装置と、を備えた位置特定システムが開示されている。この位置特定システムにおいて、無線端末装置は、無線端末装置に固有の識別情報を保持する識別情報と共に、無線端末装置の位置を検出するための検出用信号をセンサ装置に発信する。センサ装置は、受信した識別情報を含む検出用信号に基づいて、無線端末装置の位置を検出し、撮影部で撮影した画像に基づいて、監視対象の位置を算出する。センサ装置は、算出した監視対象の位置と、検出した無線端末装置の位置および識別情報とを結び付けて、監視対象の位置を特定する。
特許第５３８５８９３号公報
　特許文献１に記載の技術では、監視対象の位置を特定し、動きの追跡のみを行っている。そのため、特許文献１に記載の技術を生産現場に適用したとしても、その位置で作業者が行っている作業の作業分類を示す作業情報を得ることはできない。作業情報がないと、作業分析ができない。
　本開示は、上記のような問題点を解決するためになされたものであり、作業者の位置を示す位置情報と共に、その位置で作業者が行っている作業の作業分類を示す作業情報を簡単に得ることを可能にすることを目的とするものである。
　上記目的を達成するため、本開示に係る作業学習システムは、学習装置と、位置情報生成装置と、静動情報生成装置と、物体情報生成装置と、作業情報生成装置とを備える。学習装置は、作業者が行っている作業の作業分類を学習する。位置情報生成装置は、作業者の位置を示す位置情報を生成する。静動情報生成装置は、作業者の動きを示す静動情報を生成する。物体情報生成装置は、作業者が扱っている物体を示す物体情報を生成する。作業情報生成装置は、作業者が行っている作業の作業分類を示す作業情報を生成する。学習装置は、データ取得部と、モデル生成部とを有する。データ取得部は、位置情報生成装置、静動情報生成装置、物体情報生成装置および作業情報生成装置からそれぞれ、位置情報、静動情報、物体情報および作業情報を取得する。モデル生成部は、データ取得部が取得した位置情報、静動情報、物体情報および作業情報に基づいて、作業者が行っている作業の作業分類を学習し、学習済モデルを生成する。
　本開示によれば、作業者の位置を示す位置情報、作業者の動きを示す静動情報および作業者が扱っている物体を示す物体情報を関連付けたデータが入力されると作業者が行っている作業の作業分類を出力する学習済モデルを生成することで、作業者の位置を示す位置情報と共にその位置で作業者が行っている作業の作業分類を示す作業情報を簡単に得ることが可能になる。
実施の形態１に係る作業学習システムの構成例を示す図 実施の形態１に係る位置情報生成装置の機能構成例を示すブロック図 実施の形態１に係る静動情報生成装置の機能構成例を示すブロック図 実施の形態１に係る作業者の動きを判定する方法を説明する図 実施の形態１に係る物体情報生成装置の機能構成例を示すブロック図 実施の形態１に係る作業情報生成装置の機能構成の一例を示すブロック図 実施の形態１に係る作業情報生成装置の機能構成の他の例を示すブロック図 実施の形態１に係る学習処理の動作の一例を示すフローチャート 実施の形態２に係る作業判定システムにおける判定装置の機能構成の一例を示す図 実施の形態２に係る作業判定システムにおける判定装置の機能構成の他の例を示す図 実施の形態２に係る判定処理の動作の一例を示すフローチャート 実施の形態１に係る学習装置および実施の形態２に係る判定装置のハードウェア構成の一例を示す図
　以下に、本実施の形態に係る作業学習システム、作業判定システム、学習装置、判定装置、作業学習方法、作業判定方法、および、プログラムについて図面を参照して詳細に説明する。なお、図中同一または相当する部分には同じ符号を付す。
（実施の形態１）
　実施の形態１に係る作業学習システム１００の構成について図１を用いて説明する。作業学習システム１００は、作業者が行っている作業の作業分類を学習する学習装置１と、作業者の位置を示す位置情報を生成する位置情報生成装置２と、作業者の動きを示す静動情報を生成する静動情報生成装置３と、作業者が扱っている物体を示す物体情報を生成する物体情報生成装置４と、作業者が行っている作業の作業分類を示す作業情報を生成する作業情報生成装置５とを備える。
　学習装置１は、位置情報、静動情報、物体情報および作業情報を取得するデータ取得部１１と、位置情報、静動情報、物体情報および作業情報に基づいて、作業者が行っている作業の作業分類を学習し、学習済モデルを生成するモデル生成部１２とを備える。モデル生成部１２は、データ取得部１１が取得した位置情報、静動情報、物体情報および作業情報に基づいて学習用データを生成し、機械学習によって作業者が行っている作業の作業分類を学習する。モデル生成部１２は、学習が完了すると、学習済モデルを生成し、外部の学習済モデル記憶部６に記憶させる。なお、学習済モデル記憶部６は、学習装置１が備えてもよい。
　ここで、位置情報生成装置２の機能構成について、図２を用いて説明する。位置情報生成装置２は、作業者の位置を推定する位置推定部２１と、位置情報を出力する位置情報出力部２２とを備える。位置推定部２１は、例えば、Global Positioning System（ＧＰＳ） に代表される測位システムを用いた位置推定、Ｂｌｕｅｔｏｏｔｈ（登録商標）、音波などを用いた測量による位置推定、作業者のいる空間を撮影した映像の映像処理による位置推定などによって、作業者の位置を推定する。位置情報出力部２２は、位置推定部２１が推定した作業者の位置を示す時系列の位置情報を生成し、学習装置１および静動情報生成装置３に出力する。
　続いて、静動情報生成装置３の機能構成について、図３を用いて説明する。静動情報生成装置３は、位置情報生成装置２から位置情報を取得する位置情報取得部３１と、作業者の加速度を示す加速度情報を生成する加速度情報生成部３２と、作業者の動きを判定する静動判定部３３と、静動情報を出力する静動情報出力部３４とを備える。加速度情報生成部３２は、例えば、作業者が装着した加速度計を用いて、作業者の加速度を検出する。加速度情報生成部３２は、検出した作業者の加速度を示す時系列の加速度情報を生成する。静動判定部３３は、位置情報取得部３１が取得した時系列の位置情報および加速度情報生成部３２が生成した時系列の加速度情報に基づいて、作業者の動きを判定する。
　ここで、作業者の動きの判定方法について、図４を用いて説明する。静動判定部３３は、位置情報に基づいて、作業者の単位時間あたりの位置変化が閾値以上であるか否かを判定する。静動判定部３３は、加速度情報に基づいて、作業者の単位時間あたりの加速度変化が閾値以上であるか否かを判定する。
　図４に示すように、作業者の単位時間あたりの位置変化が閾値未満であって、作業者の単位時間あたりの加速度変化が閾値未満である場合、静動判定部３３は、作業者の動きが「完全静止」であると判定する。「完全静止」とは、作業者が移動せず、かつ作業もしていない状態を表す。作業者の単位時間あたりの位置変化が閾値以上であって、作業者の単位時間あたりの加速度変化が閾値未満である場合、静動判定部３３は、作業者の動きが「他律移動」であると判定する。「他律移動」とは、作業者自身は動かずに移動している状態、例えば、搬送カート、フォークリフトなどに乗っている状態を表す。作業者の単位時間あたりの位置変化が閾値未満であって、作業者の単位時間あたりの加速度変化が閾値以上である場合、静動判定部３３は、作業者の動きが「静止作業」であると判定する。「静止作業」とは、作業者が移動せず、その場で作業している状態を表す。作業者の単位時間あたりの位置変化が閾値以上であって、作業者の単位時間あたりの加速度変化が閾値以上である場合、静動判定部３３は、作業者の動きが「自律移動」であると判定する。「自律移動」とは、作業者が自身で移動している状態を表す。
　静動判定部３３は、単位時間ごとに、作業者の動きが「完全静止」、「他律移動」、「静止作業」、「自律移動」のいずれであるかを判定する。
　図３に戻り、静動情報生成装置３の静動情報出力部３４は、静動判定部３３が判定した、作業者の動きが「完全静止」、「他律移動」、「静止作業」、「自律移動」のいずれであるかを示す時系列の静動情報を生成し、学習装置１に出力する。
　続いて、物体情報生成装置４の機能構成について、図５を用いて説明する。物体情報生成装置４は、物体およびその位置を検出する物体検出部４１と、作業者の手およびその位置を検出する作業者手検出部４２と、作業者が扱っている物体を判定する物体判定部４３と、物体情報を出力する物体情報出力部４４とを備える。
　物体検出部４１が物体およびその位置を検出する方法には、例えば、作業者が装着したカメラが撮影した映像に基づいて、物体にあらかじめ付加したマーカによって判定する方法、ＡＩによって推定する方法などを用いる。物体とは、例えば、作業に必要な部品、材料、他の作業者などのことをいう。作業者手検出部４２が作業者の手およびその位置を検出する方法には、例えば、作業者が装着したカメラが撮影した映像に基づいて、作業者の手に付与されたマーカによって判定する方法、作業者の手の骨格を検出する方法などを用いる。物体判定部４３は、例えば、作業者の手の位置から決められた範囲内に存在する物体を、作業者が扱っている物体として判定する。物体判定部４３は、さらに作業者の視線計測を用いて、作業者の手の位置から決められた範囲内に存在する物体で、かつ、作業者が一定時間以上見ている物体を作業者が扱っている物体を判定してもよい。
　物体情報出力部４４は、物体判定部４３が判定した作業者が扱っている物体を示す時系列の物体情報を生成し、学習装置１に出力する。
　続いて、作業情報生成装置５の機能構成について、図６Ａおよび図６Ｂを用いて説明する。図６Ａの例では、作業情報生成装置５は、作業者が行っている作業の作業分類を判定する作業判定部５１と、作業情報を出力する作業情報出力部５２とを備える。
　作業判定部５１は、例えば、作業者を撮影した映像を映像処理して、パターンマッチングにより、行っている作業の作業分類を判定する。あるいは、作業判定部５１は、作業者を撮影した映像に基づいて、作業者の骨格を検出し、骨格の動きから作業者が行っている作業の作業分類を判定してもよい。作業情報出力部５２は、作業判定部５１が判定した作業者が行っている作業の作業分類を示す作業情報を生成し、学習装置１に出力する。作業情報には、作業分類を判定した映像の撮影時間帯を示す時間帯情報を含む。
　作業情報生成装置５の機能構成はこれに限らず、図６Ｂに示すように、作業判定部５１の代わりに作業分類および作業時間帯の入力を受け付ける作業情報入力部５３を備えてもよい。この場合、作業者は、自身が行う作業の作業分類および作業時間帯を作業情報入力部５３に入力する。作業情報出力部５２は、作業情報入力部５３に入力された作業分類を示す作業情報を生成し、学習装置１に出力する。作業情報には、作業情報入力部５３に入力された作業時間を示す時間帯情報を含む。なお、作業分類および作業時間帯の入力は、作業者本人でなくてもよい。
　また、作業情報生成装置５は、作業判定部５１および作業情報入力部５３を両方備えてもよい。この構成では、作業判定部５１が判定した作業者が行っている作業の作業分類と作業情報入力部５３に入力された作業分類とが異なる場合、作業情報出力部５２がどちらの作業情報を優先して生成するかを予め設定しておく。
　図１に戻り、学習装置１のデータ取得部１１は、位置情報生成装置２、静動情報生成装置３、物体情報生成装置４および作業情報生成装置５からそれぞれ、位置情報、静動情報、物体情報および作業情報を取得する。モデル生成部１２は、データ取得部１１が取得した位置情報、静動情報、物体情報および作業情報に基づいて、作業者が行っている作業の作業分類を学習し、学習済モデルを生成する。モデル生成部１２が学習済モデルを生成するタイミングは、例えば、学習済モデル生成指示が入力された時でもよいし、予め決められたタイミングが到来した時でもよいし、位置情報、静動情報、物体情報および作業情報を取得し始めてから一定時間が経過した時でもよい。
　作業分類は、定型または非定型に分かれており、定型の作業分類には、例えば、次の（１）～（５）の作業分類がある。（１）予め輸送経路が定められた、倉庫のＡ点からＢ点への運搬。（２）作業方法があらかじめ定められた、位置が固定された作業。（３）作業方法があらかじめ定められた、移動しながら行う作業。（４）あらかじめ定められた、対面での相談。（５）（１）～（４）の複合作業。つまり、この例では、作業分類は、（１）～（５）の定型作業＋（６）非定型作業の６種類に分かれている。なお、作業分類はこれに限らず、例えば、作業の名称であってもよいし、作業を識別する識別番号であってもよい。
　モデル生成部１２が用いる学習アルゴリズムには、教師あり学習、教師なし学習、強化学習などがある。一例として、教師なし学習であるＫ平均法を用いた場合について説明する。教師なし学習とは、結果（ラベル）を含まないデータが有する特徴を学習する手法である。Ｋ平均法とは、非階層型クラスタリングのアルゴリズムであり、クラスタの平均を用いてＫ個のクラスタに分類する手法である。
　具体的には、モデル生成部１２は、作業情報ごとに、作業情報に含まれる時間帯情報が示す撮影時間帯または作業時間帯の位置情報、静動情報および物体情報を関連付けた学習用データｘｉを生成する。学習用データｘｉには、作業情報が対応付けられている。モデル生成部１２は、各学習用データｘｉに対してランダムにＫ個のクラスタを割り振る。上述のように、作業分類が（１）～（５）の定型作業＋（６）非定型作業の６種類に分かれている場合は、Ｋ＝６とする。
　モデル生成部１２は、学習用データｘｉを割り振った各クラスタの中心Ｖｊを計算する。モデル生成部１２は、各学習用データｘｉと各中心Ｖｊとの距離を求め、学習用データｘｉを最も近い中心Ｖｊのクラスタに割り当て直す。そして、上記の処理で全ての学習用データｘｉのクラスタの割り当てが変化しなかった場合、あるいは変化量が事前に設定した閾値を下回った場合に、収束したと判定して学習を完了する。モデル生成部１２は、クラスタに割り当てられた学習用データｘｉに対応する作業情報が示す作業分類のうち、最も多い作業分類を当該クラスタの作業分類に決定する。なお、作業者の位置、動き、扱う物体が似ている作業は同じ作業分類に属するので、クラスタの作業分類が重複することはないものとする。
　モデル生成部１２は、生成した学習済モデルを学習済モデル記憶部６に出力する。学習済モデル記憶部６は、モデル生成部１２から出力された学習済モデルを記憶する。例えば、上記のように、教師なし学習であるＫ平均法を用いて作業者が行っている作業の作業分類を学習し、生成された学習済モデルは、位置情報、静動情報および物体情報を関連付けたデータが入力されると、どのクラスタに該当するか（中心Ｖｊとの距離が最も近いクラスタタはどれか）を判定し、該当するクラスタの作業分類を出力する。
　ここで、学習装置１が実行する学習処理の流れについて、図７を用いて説明する。図７に示す学習処理は、学習装置１に電源が投入された時に開始する。学習装置１のデータ取得部１１は、位置情報生成装置２、静動情報生成装置３、物体情報生成装置４および作業情報生成装置５からそれぞれ、位置情報、静動情報、物体情報および作業情報を取得する（ステップＳ１１）。学習済モデル生成指示が入力されない場合（ステップＳ１２；ＮＯ）、処理はステップＳ１８に移行する。学習済モデル生成指示が入力された場合（ステップＳ１２；ＹＥＳ）、モデル生成部１２は、データ取得部１１が取得した位置情報、静動情報、物体情報および作業情報に基づいて、学習用データを生成する（ステップＳ１３）。学習アルゴリズムとして教師なし学習であるＫ平均法を用いた場合、ステップＳ１３でモデル生成部１２は、作業情報に含まれる時間帯情報が示す撮影時間帯または作業時間帯の位置情報、静動情報および物体情報を関連付けた学習用データｘｉを生成する。学習用データｘｉには、作業情報が対応付けられている。
　モデル生成部１２は、学習用データを用いて作業者が行っている作業の作業分類を学習する（ステップＳ１４）。学習アルゴリズムとして教師なし学習であるＫ平均法を用いた場合、ステップＳ１４でモデル生成部１２は、各学習用データｘｉに対してランダムにクラスタを割り振る。モデル生成部１２は、学習用データｘｉを割り振った各クラスタの中心Ｖｊを計算する。モデル生成部１２は、各学習用データｘｉと各中心Ｖｊとの距離を求め、学習用データｘｉを最も近い中心Ｖｊのクラスタに割り当て直す。
　学習が完了しない場合（ステップＳ１５；ＮＯ）、処理はステップＳ１４に戻り、ステップＳ１４およびステップＳ１５を繰り返す。学習が完了した場合（ステップＳ１５；ＹＥＳ）、モデル生成部１２は、学習済モデルを生成する（ステップＳ１６）。学習アルゴリズムとして教師なし学習であるＫ平均法を用いた場合、ステップＳ１５でモデル生成部１２は、全ての学習用データｘｉのクラスタの割り当てが変化しなかった場合、あるいは変化量が事前に設定した閾値を下回った場合に、学習が完了したと判定し、クラスタに割り当てられた学習用データｘｉに対応する作業情報が示す作業分類のうち、最も多い作業分類を当該クラスタの作業分類に決定する。ステップＳ１６でモデル生成部１２は、位置情報、静動情報および物体情報を関連付けたデータが入力されると、どのクラスタに該当するか（中心Ｖｊとの距離が最も近いクラスタタはどれか）を判定し、該当するクラスタの作業分類を出力する学習済モデルを生成する。
　モデル生成部１２は、生成した学習済モデルを学習済モデル記憶部６に出力する（ステップＳ１７）。学習装置１の電源がＯＦＦになっていなければ（ステップＳ１８；ＮＯ）、処理はステップＳ１１に戻り、ステップＳ１１～ステップＳ１８を繰り返す。電源がＯＦＦになると（ステップＳ１８；ＹＥＳ）、処理は終了する。なお、ステップＳ１２は、学習済モデル生成指示が入力されたか否かの判定に限らない。例えば、予め決められた学習済モデルを生成するタイミングが到来したか否かを判定してもよいし、位置情報、静動情報、物体情報および作業情報を取得し始めてから一定時間が経過したか否かを判定してもよい。ステップＳ１１～ステップＳ１６は、作業学習方法の例である。
　実施の形態１に係る作業学習システム１００によれば、作業者の位置を示す位置情報、作業者の動きを示す静動情報および作業者が扱っている物体を示す物体情報を関連付けたデータが入力されると作業者が行っている作業の作業分類を出力する学習済モデルを生成することで、作業者の位置を示す位置情報と共にその位置で作業者が行っている作業の作業分類を示す作業情報を簡単に得ることが可能になる。
（実施の形態２）
　実施の形態２では、実施の形態１の作業学習システム１００で生成された学習済モデルを用いて、位置情報、静動情報および物体情報に基づいて、作業者が行っている作業の作業分類を判定して作業情報を出力する。
　実施の形態２に係る作業判定システム２００の構成について図８Ａおよび図８Ｂを用いて説明する。図８Ａの例では、作業判定システム２００は、位置情報生成装置２と、静動情報生成装置３と、物体情報生成装置４と、作業者が行っている作業を判定して作業情報を出力する判定装置７とを備える。位置情報生成装置２、静動情報生成装置３および物体情報生成装置４の機能構成は、実施の形態１と同様である。判定装置７は、作業者が行っている作業を判定する対象となる位置情報、静動情報および物体情報を取得する対象データ取得部７１と、位置情報、静動情報および物体情報を関連付けたデータを学習済モデルに入力して作業者が行っている作業の作業分類を判定する判定部７２とを備える。
　対象データ取得部７１は、位置情報生成装置２、静動情報生成装置３および物体情報生成装置４からそれぞれ、位置情報、静動情報および物体情報を取得する。判定部７２は、対象データ取得部７１が取得した位置情報、静動情報および物体情報を関連付けたデータを学習済モデル記憶部６が記憶する学習済モデルに入力し、学習済モデルから出力された作業者が行っている作業の作業分類を示す作業情報を生成し、出力する。作業情報の出力方法は、例えば、画面表示でもよいし、音声出力でもよいし、作業者が携帯または装着する端末に送信してもよい。学習済モデル記憶部６は、判定装置７が備えてもよい。
　図８Ｂの例では、判定装置７は、実際に作業者が行った作業の作業分類を示す作業実績情報を取得する作業実績取得部７３をさらに備える。作業実績情報の取得方法は、例えば、作業者からの入力を受け付けてもよいし、作業者が使用する端末から受信してもよいし、外部のシステムまたは装置から取得してもよい。判定部７２は、作業実績取得部７３が取得した作業実績情報を学習済モデルにフィードバックする。
　具体的には、判定部７２は、作業実績情報に基づいて、学習済モデルから出力された作業分類が合っていたか否かを判定する。作業分類が合っていなかった場合には、判定部７２は、モデル生成部１２と同じ学習アルゴリズムを用いて、作業分類が合っていなかった位置情報、静動情報および物体情報と実際に行われた作業の作業分類を示す作業実績情報とに基づいて学習用データを生成し、作業者の作業の作業分類を再学習して学習済モデルを更新する。例えば、Ｋ平均法を用いる場合、判定部７２は、作業分類が合っていなかった位置情報、静動情報および物体情報に基づいて学習用データｘｉを生成し、作業実績情報が示す実際に行われた作業の作業分類のクラスタに割り当てる。判定部７２は、各クラスタの中心Ｖｊを再計算し、中心Ｖｊとの距離が最も近いクラスタに各学習用データｘｉを割り当て直す。判定部７２は、学習が完了すると、クラスタに割り当てられた学習用データｘｉに対応する作業情報が示す作業分類のうち、最も多い作業分類を当該クラスタの作業分類に決定する。これによって、学習済モデルが更新される。
　ここで、判定装置７が実行する判定処理の流れについて、図９を用いて説明する。図９に示す判定処理は、判定装置７に電源が投入された時に開始する。判定装置７の対象データ取得部７１が位置情報生成装置２、静動情報生成装置３および物体情報生成装置４からそれぞれ、位置情報、静動情報および物体情報を取得しない場合（ステップＳ２１；ＮＯ）、処理はステップＳ２５に移行する。対象データ取得部７１が位置情報生成装置２、静動情報生成装置３および物体情報生成装置４からそれぞれ、位置情報、静動情報および物体情報を取得した場合（ステップＳ２１；ＹＥＳ）、判定部７２は、対象データ取得部７１が取得した位置情報、静動情報および物体情報を関連付けたデータを学習済モデル記憶部６が記憶する学習済モデルに入力する（ステップＳ２２）。判定部７２は、学習済モデルから出力された作業者が行っている作業の作業分類を示す作業情報を生成し（ステップＳ２３）、出力する（ステップＳ２４）。
　判定装置７の電源がＯＦＦになっていなければ（ステップＳ２５；ＮＯ）、処理はステップＳ２１に戻り、ステップＳ２１～ステップＳ２５を繰り返す。電源がＯＦＦになると（ステップＳ２５；ＹＥＳ）、処理は終了する。ステップＳ２１～ステップＳ２３は、作業学習方法の例である。
　実施の形態２に係る作業判定システム２００によれば、作業者の位置を示す位置情報、作業者の動きを示す静動情報および作業者が扱っている物体を示す物体情報を関連付けたデータが入力されると作業者が行っている作業の作業分類を出力する学習済モデルを用いて、作業者の位置を示す位置情報と共にその位置で作業者が行っている作業の作業分類を示す作業情報を簡単に得ることが可能になる。また、管理者は、出力された作業情報を参照して、生産活動の品質、生産性、工期に異常がないか、また、品質、生産性、工期の改善点はないかを確認することができ、これにより、品質、生産性、工期を改善することができる。さらに、判定部７２が、作業分類が合っていなかった位置情報、静動情報および物体情報と実際に行われた作業の作業分類を示す作業実績情報とに基づいて学習用データを生成し、作業者の作業の作業分類を再学習して学習済モデルを更新する構成することで、学習済モデルの作業分類の判定精度の向上が期待できる。
　学習装置１または判定装置７のハードウェア構成について図１０を用いて説明する。図１０に示すように、学習装置１または判定装置７は、一時記憶部１０１、記憶部１０２、計算部１０３、入力部１０４、送受信部１０５および表示部１０６を備える。一時記憶部１０１、記憶部１０２、入力部１０４、送受信部１０５および表示部１０６はいずれもＢＵＳを介して計算部１０３に接続されている。
　計算部１０３は、例えばＣＰＵ（Central Processing Unit）である。計算部１０３は、記憶部１０２に記憶されている制御プログラムに従って、モデル生成部１２または判定部７２の処理を実行する。
　一時記憶部１０１は、例えばＲＡＭ（Random-Access Memory）である。一時記憶部１０１は、記憶部１０２に記憶されている制御プログラムをロードし、計算部１０３の作業領域として用いられる。
　記憶部１０２は、フラッシュメモリ、ハードディスク、ＤＶＤ－ＲＡＭ（Digital Versatile Disc - Random Access Memory）、ＤＶＤ－ＲＷ（Digital Versatile Disc - ReWritable）などの不揮発性メモリである。記憶部１０２は、学習装置１または判定装置７の処理を計算部１０３に行わせるためのプログラムを予め記憶し、また、計算部１０３の指示に従って、このプログラムが記憶するデータを計算部１０３に供給し、計算部１０３から供給されたデータを記憶する。学習装置１または判定装置７が学習済モデル記憶部６を備える構成の場合、学習済モデル記憶部６は、記憶部１０２に構成される。
　入力部１０４は、キーボード、ポインティングデバイス、音声入力機器などの入力装置と、入力装置をＢＵＳに接続するインターフェース装置である。入力部１０４を介して、ユーザが入力した情報が計算部１０３に供給される。モデル生成部１２が学習済モデル生成指示の入力を受け付ける構成の場合、入力部１０４は、モデル生成部１２として機能する。
　送受信部１０５は、ネットワークに接続する網終端装置または無線通信装置、およびそれらと接続するシリアルインターフェースまたはＬＡＮ（Local Area Network）インターフェースである。送受信部１０５は、データ取得部１１または対象データ取得部７１として機能する。
　表示部１０６は、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（electroluminescence）ディスプレイなどの表示装置である。判定部７２が作業情報を画面表示する構成の場合、表示部１０６は、判定部７２として機能する。
　図１に示す学習装置１のデータ取得部１１およびモデル生成部１２、図８Ａに示す判定装置７の対象データ取得部７１および判定部７２、ならびに、図８Ｂに示す判定装置７の作業実績取得部７３の処理は、制御プログラムが、一時記憶部１０１、計算部１０３、記憶部１０２、入力部１０４、送受信部１０５および表示部１０６などを資源として用いて処理することによって実行する。
　その他、前記のハードウェア構成およびフローチャートは一例であり、任意に変更および修正が可能である。
　計算部１０３、一時記憶部１０１、記憶部１０２、入力部１０４、送受信部１０５、表示部１０６などの学習装置１または判定装置７の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、フレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc - Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc - Read Only Memory）などのコンピュータが読み取り可能な記録媒体に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する学習装置１または判定装置７を構成してもよい。また、インターネットに代表される通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロードすることで学習装置１または判定装置７を構成してもよい。
　また、学習装置１または判定装置７の機能を、ＯＳ（Operating System）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体、記憶装置に格納してもよい。
　また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して提供することも可能である。例えば、通信ネットワーク上の掲示板（BBS, Bulletin Board System）に前記コンピュータプログラムを掲示し、通信ネットワークを介して前記コンピュータプログラムを提供してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できる構成にしてもよい。
　上記の実施の形態１では、モデル生成部１２は、データ取得部１１が取得した位置情報、静動情報、物体情報および作業情報に基づいて、作業者が行っている作業の作業分類を学習し、学習済モデルを生成するが、これに限らない。作業者が行っている作業の作業分類を学習可能であれば、モデル生成部１２は、データ取得部１１が取得した位置情報、静動情報および物体情報のうち一部の情報に基づいて、作業者が行っている作業の作業分類を学習し、学習済モデルを生成してもよい。
　上記の実施の形態２では、判定部７２は、対象データ取得部７１が取得した位置情報、静動情報および物体情報を関連付けたデータを学習済モデル記憶部６が記憶する学習済モデルに入力し、学習済モデルから出力された作業者が行っている作業の作業分類を示す作業情報を生成するが、これに限らない。学習済モデルがどのクラスタに該当するかを判定可能であれば、判定部７２は、対象データ取得部７１が取得した位置情報、静動情報および物体情報のうち一部の情報を関連付けたデータを学習済モデル記憶部６が記憶する学習済モデルに入力し、学習済モデルから出力された作業者が行っている作業の作業分類を示す作業情報を生成してもよい。
　上記の実施の形態では、モデル生成部１２が用いる学習アルゴリズムに用いる教師なし学習として、Ｋ平均法による非階層型クラスタリングを用いた具体例について説明したが、これに限らない。他の教師なし学習として、例えば、最短距離法による階層型クラスタリングを用いてもよい。また、教師なし学習以外にも、例えば、強化学習、教師あり学習、又は半教師あり学習、深層学習（Ｄｅｅｐ　Ｌｅａｒｎｉｎｇ）等を適用することも可能である。判定部７２が機械学習によって作業者が行っている作業の作業分類を再学習して学習済モデルを更新する場合も同様である。
　なお、本開示は、本開示の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この開示を説明するためのものであり、本開示の範囲を限定するものではない。即ち、本開示の範囲は、実施の形態ではなく、請求の範囲によって示される。そして、請求の範囲内及びそれと同等の開示の意義の範囲内で施される様々な変形が、この開示の範囲内とみなされる。
　本出願は、２０２１年１１月９日に出願された、日本国特許出願特願２０２１－１８２２６６号に基づく。本明細書中に日本国特許出願特願２０２１－１８２２６６号の明細書、特許請求の範囲、図面全体を参照として取り込むものとする。
　１Ａ－１Ｃ　ヘッダ、２　伝熱管、３　フィン、４，５　エンドキャップ、６　冷媒管、１０Ａ－１０Ｃ　本体部、１１　底部、１２Ａ－１２Ｃ　正面壁部、１３Ａ－１３Ｃ　背面壁部、１４　内部空間、１５　挿入口、１６，１７　保持爪、２０　蓋部、２５　隙間、３０－３７　フィレット、４１－４４　排水溝、５１，５２　導水溝、６１　底部、６２　正面壁部、６３　背面壁部、１００　熱交換器、Ｄ１，Ｄ２　距離、Ｈ１，Ｈ２　高さ、Ｔ　厚み。

Claims (9)

  1. 　作業者が行っている作業の作業分類を学習する学習装置と、
    　前記作業者の位置を示す位置情報を生成する位置情報生成装置と、
    　前記作業者の動きを示す静動情報を生成する静動情報生成装置と、
    　前記作業者が扱っている物体を示す物体情報を生成する物体情報生成装置と、
    　前記作業者が行っている作業の作業分類を示す作業情報を生成する作業情報生成装置と、
    　を備え、
    　前記学習装置は、
    　前記位置情報生成装置、前記静動情報生成装置、前記物体情報生成装置および前記作業情報生成装置からそれぞれ、前記位置情報、前記静動情報、前記物体情報および前記作業情報を取得するデータ取得部と、
    　前記データ取得部が取得した前記位置情報、前記静動情報、前記物体情報および前記作業情報に基づいて、前記作業者が行っている作業の作業分類を学習し、学習済モデルを生成するモデル生成部と、
    　を有する作業学習システム。
  2. 　作業者が行っている作業の作業分類を判定する判定装置と、
    　前記作業者の位置を示す位置情報を生成する位置情報生成装置と、
    　前記作業者の動きを示す静動情報を生成する静動情報生成装置と、
    　前記作業者が扱っている物体を示す物体情報を生成する物体情報生成装置と、
    　を備え、
    　前記判定装置は、
    　前記位置情報生成装置、前記静動情報生成装置および前記物体情報生成装置からそれぞれ、前記位置情報、前記静動情報および前記物体情報を取得する対象データ取得部と、
    　前記対象データ取得部が取得した前記位置情報、前記静動情報および前記物体情報を関連付けたデータを、前記作業者が行っている作業の作業分類を学習した学習済モデルに入力して、前記学習済モデルから出力された前記作業者が行っている作業の作業分類を示す作業情報を生成する判定部と、
    　を有する作業判定システム。
  3. 　作業者が行っている作業の作業分類を学習する学習装置であって、
    　前記作業者の位置を示す位置情報、前記作業者の動きを示す静動情報、前記作業者が扱っている物体を示す物体情報および前記作業者が行っている作業の作業分類を示す作業情報を取得するデータ取得部と、
    　前記データ取得部が取得した前記位置情報、前記静動情報、前記物体情報および前記作業情報に基づいて、前記作業者が行っている作業の作業分類を学習し、学習済モデルを生成するモデル生成部と、
    　を備える学習装置。
  4. 　作業者が行っている作業の作業分類を判定する判定装置であって、
    　前記作業者の位置を示す位置情報、前記作業者の動きを示す静動情報および前記作業者が扱っている物体を示す物体情報を取得する対象データ取得部と、
    　前記対象データ取得部が取得した前記位置情報、前記静動情報および前記物体情報を関連付けたデータを、前記作業者が行っている作業の作業分類を学習した学習済モデルに入力して、前記学習済モデルから出力された前記作業者が行っている作業の作業分類を示す作業情報を生成する判定部と、
    　を有する判定装置。
  5. 　実際に前記作業者が行った作業の作業分類を示す作業実績情報を取得する作業実績取得部をさらに備え、
    　前記判定部は、
    　前記作業実績情報に基づいて、前記学習済モデルから出力された前記作業者の作業の作業分類が合っていたか否かを判定し、作業分類が合っていなかった場合には、作業分類が合っていなかった前記位置情報、前記静動情報および前記物体情報と、実際に行われた作業の作業分類を示す前記作業実績情報とに基づいて、前記作業者の作業の作業分類を再学習し、前記学習済モデルを更新する、
    　請求項４に記載の判定装置。
  6. 　作業者が行っている作業の作業分類を学習する作業学習システムが実行する、
    　前記作業者の位置を示す位置情報を生成するステップと、
    　前記作業者の動きを示す静動情報を生成するステップと、
    　前記作業者が扱っている物体を示す物体情報を生成するステップと、
    　前記作業者が行っている作業の作業分類を示す作業情報を生成するステップと、
    　前記位置情報、前記静動情報、前記物体情報および前記作業情報に基づいて、前記作業者が行っている作業の作業分類を学習し、学習済モデルを生成するステップと、
    　を備える作業学習方法。
  7. 　作業者が行っている作業の作業分類を判定する作業判定システムが実行する、
    　前記作業者の位置を示す位置情報を生成するステップと、
    　前記作業者の動きを示す静動情報を生成するステップと、
    　前記作業者が扱っている物体を示す物体情報を生成するステップと、
    　前記位置情報、前記静動情報および前記物体情報を関連付けたデータを、前記作業者が行っている作業の作業分類を学習した学習済モデルに入力して、前記学習済モデルから出力された前記作業者が行っている作業の作業分類を示す作業情報を生成するステップと、
    　を備える作業判定方法。
  8. 　コンピュータを、
    　作業者の位置を示す位置情報、前記作業者の動きを示す静動情報、前記作業者が扱っている物体を示す物体情報および前記作業者が行っている作業の作業分類を示す作業情報に基づいて、前記作業者が行っている作業の作業分類を学習し、学習済モデルを生成するモデル生成部、
    　として機能させるプログラム。
  9. 　コンピュータを、
    　作業者の位置を示す位置情報、前記作業者の動きを示す静動情報および前記作業者が扱っている物体を示す物体情報を関連付けたデータを、前記作業者が行っている作業の作業分類を学習した学習済モデルに入力して、前記学習済モデルから出力された前記作業者が行っている作業の作業分類を示す作業情報を生成する判定部、
    　として機能させるプログラム。
PCT/JP2022/041162 2021-11-09 2022-11-04 作業学習システム、作業判定システム、学習装置、判定装置、作業学習方法、作業判定方法、および、プログラム Ceased WO2023085208A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280072358.8A CN118176501A (zh) 2021-11-09 2022-11-04 作业学习系统、作业判定系统、学习装置、判定装置、作业学习方法、作业判定方法和程序
JP2023559605A JPWO2023085208A1 (ja) 2021-11-09 2022-11-04
US18/701,685 US20250029006A1 (en) 2021-11-09 2022-11-04 Operation learning system, operation identifying system, and identifying-device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021182266 2021-11-09
JP2021-182266 2021-11-09

Publications (1)

Publication Number Publication Date
WO2023085208A1 true WO2023085208A1 (ja) 2023-05-19

Family

ID=86336016

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/041162 Ceased WO2023085208A1 (ja) 2021-11-09 2022-11-04 作業学習システム、作業判定システム、学習装置、判定装置、作業学習方法、作業判定方法、および、プログラム

Country Status (4)

Country Link
US (1) US20250029006A1 (ja)
JP (1) JPWO2023085208A1 (ja)
CN (1) CN118176501A (ja)
WO (1) WO2023085208A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017010186A (ja) * 2015-06-19 2017-01-12 三菱電機株式会社 物流作業分析システム
JP2019101516A (ja) * 2017-11-29 2019-06-24 ファナック株式会社 作業者管理装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008077424A (ja) * 2006-09-21 2008-04-03 Toshiba Corp 作業分析システム及び方法
JP6834372B2 (ja) * 2016-11-08 2021-02-24 株式会社リコー 情報処理装置、情報処理システム、情報処理方法およびプログラム
JP2019200560A (ja) * 2018-05-16 2019-11-21 パナソニックＩｐマネジメント株式会社 作業分析装置および作業分析方法
JP2021082137A (ja) * 2019-11-21 2021-05-27 キヤノン株式会社 行動認識装置及びその制御方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017010186A (ja) * 2015-06-19 2017-01-12 三菱電機株式会社 物流作業分析システム
JP2019101516A (ja) * 2017-11-29 2019-06-24 ファナック株式会社 作業者管理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MATSUMURA, YUKI ET AL.: "Intention Estimation of Workers Based on Tracking of Implementation Process Using Objects and Their Positions as Clues", IEICE TECHNICAL REPORT, vol. 117, no. 483, 1 March 2018 (2018-03-01), pages 41 - 46, XP009545610 *

Also Published As

Publication number Publication date
JPWO2023085208A1 (ja) 2023-05-19
US20250029006A1 (en) 2025-01-23
CN118176501A (zh) 2024-06-11

Similar Documents

Publication Publication Date Title
US11308334B2 (en) Method and apparatus for integration of detected object identifiers and semantic scene graph networks for captured visual scene behavior estimation
CN106774345B (zh) 一种进行多机器人协作的方法与设备
US10479328B2 (en) System and methods for assessing the interior of an autonomous vehicle
JP5682563B2 (ja) 移動体軌跡識別システム、移動体軌跡識別方法および移動体軌跡識別プログラム
CN115705714A (zh) 用于分析工作区域的系统和方法
US12296490B2 (en) End device, three-party communication system comprising cloud server and edge server for controlling end device, and operation method therefor
US8407024B2 (en) Motion determination apparatus, method and computer readable medium
JP2019530385A (ja) 受動的な訪問検知
US20140160295A1 (en) Road condition detection
CN110795985B (zh) 信息处理方法及信息处理系统
JP2012524439A (ja) カメラネットワークによる標的の位置決定用システムおよび方法
EP4036857A1 (en) Vehicle and method for generating map corresponding to three-dimensional space
CN101446639A (zh) 在时间和空间中定位射频识别标签的方法和系统
US20150363706A1 (en) Fusion of data from heterogeneous sources
CN114387780A (zh) 车辆损坏识别和事故管理系统和方法
US20150339591A1 (en) Collegial Activity Learning Between Heterogeneous Sensors
CN112381853A (zh) 用于利用无线信号和图像来进行人员检测、跟踪和标识的装置和方法
TW201727418A (zh) 分析地面紋理並結合資料記錄的自動行走建議系統及方法
JP5674550B2 (ja) 状態追跡装置、方法、及びプログラム
CN111630346B (zh) 基于图像和无线电词语的移动设备的改进定位
JP7617980B2 (ja) 教師モデルによる知識の抽出を用いた、自動車のアプリケーションのためのフェデレーテッドラーニングのためのシステム及び方法
WO2023085208A1 (ja) 作業学習システム、作業判定システム、学習装置、判定装置、作業学習方法、作業判定方法、および、プログラム
CN112528078A (zh) 一种图像归档方法、装置及设备
US11216969B2 (en) System, method, and computer-readable medium for managing position of target
Chen et al. Adaptive cross-camera video analytics at the edge

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22892707

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023559605

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18701685

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202280072358.8

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22892707

Country of ref document: EP

Kind code of ref document: A1