WO2018154709A1 - 動作学習装置、技能判別装置および技能判別システム - Google Patents

動作学習装置、技能判別装置および技能判別システム Download PDF

Info

Publication number
WO2018154709A1
WO2018154709A1 PCT/JP2017/007104 JP2017007104W WO2018154709A1 WO 2018154709 A1 WO2018154709 A1 WO 2018154709A1 JP 2017007104 W JP2017007104 W JP 2017007104W WO 2018154709 A1 WO2018154709 A1 WO 2018154709A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
motion
worker
learning
trajectory
Prior art date
Application number
PCT/JP2017/007104
Other languages
English (en)
French (fr)
Inventor
諒介 佐々木
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to US16/475,230 priority Critical patent/US20190370982A1/en
Priority to DE112017006891.6T priority patent/DE112017006891T5/de
Priority to KR1020197023884A priority patent/KR20190099537A/ko
Priority to PCT/JP2017/007104 priority patent/WO2018154709A1/ja
Priority to CN201780086469.3A priority patent/CN110291559A/zh
Priority to JP2019500950A priority patent/JP6570786B2/ja
Priority to TW106113889A priority patent/TW201832182A/zh
Publication of WO2018154709A1 publication Critical patent/WO2018154709A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Definitions

  • the present invention relates to a technique for evaluating the operation of an evaluation subject based on moving image data.
  • skilled workers In order to improve the work efficiency of workers working in factories, etc., the skills of skilled workers (hereinafter referred to as skilled workers) are extracted, and general workers who are not skilled workers (hereinafter referred to as general workers) It is required to create a mechanism to communicate. Specifically, a motion different from that of a general worker is detected in the operation of the skilled worker, and the detected motion is taught to the general worker, thereby supporting improvement of the skill of the general worker. For example, in the motion feature extraction device disclosed in Patent Document 1, a figure of a skilled worker who is engaged in a certain work process is photographed, and a figure of a general worker who is engaged in the same work process at the same photographing angle is photographed. Thus, an abnormal operation by a general worker is extracted.
  • a three-dimensional higher-order autocorrelation (CHLAC) feature is extracted from moving image data of a skilled worker, a CHLAC feature is extracted from an evaluation target image of a general worker, and based on the correlation between the extracted CHLAC features. Extracting abnormal behavior of general workers.
  • CHLAC three-dimensional higher-order autocorrelation
  • the present invention has been made to solve the above-described problems.
  • the purpose is to obtain an index for discriminating the skill of the worker.
  • the motion learning device is a first operation for extracting trajectory features of motions of a skilled worker and a general worker based on moving image data obtained by imaging each of a skilled worker and a general worker.
  • the trajectory features similar to the reference trajectory features determined from the trajectory features extracted by the feature extraction unit and the first motion feature extraction unit are clustered, and a histogram is generated according to the appearance frequency of the clustered trajectory features Based on the generated histogram, the operation feature learning unit for performing discriminative learning for identifying the trajectory features of the proficient motion, and the result of the discriminative learning by the motion feature learning unit, whether the operation is a proficient And a discriminant function generating unit that generates a discriminant function indicating a boundary for discriminating.
  • the present invention it is possible to extract the skilled movement of the skilled worker from the moving image data, and it is possible to obtain an index for discriminating the skill of the worker who is the evaluation target based on the extracted movement. .
  • FIG. 2A and 2B are hardware configurations of the motion learning apparatus according to Embodiment 1.
  • 3A and 3B are diagrams illustrating a hardware configuration example of the skill determination device according to the first embodiment.
  • 4 is a flowchart illustrating an operation of the motion learning device according to the first embodiment. 4 is a flowchart showing the operation of the skill discrimination device according to the first embodiment.
  • 6A, FIG. 6B, FIG. 6C, and FIG. 6D are explanatory diagrams illustrating processing of the motion learning device according to the first embodiment. It is a figure which shows the example of a display of the discrimination
  • FIG. It is a block diagram which shows the structure of the skill discrimination
  • FIG. 6 is a flowchart illustrating an operation of the motion learning device according to the second embodiment.
  • 10 is a flowchart showing the operation of the skill determination apparatus according to the second embodiment. It is a figure which shows the effect at the time of adding a sparse regularization term in the action learning apparatus which concerns on Embodiment 1.
  • FIG. 6 is a flowchart illustrating an operation of the motion learning device according to the second embodiment.
  • 10 is a flowchart showing the operation of the skill determination apparatus according to the second embodiment. It is a figure which shows the effect at the time of adding a sparse regularization term in the action learning apparatus which concerns on Embodiment 1.
  • FIG. 1 is a block diagram showing a configuration of a skill discrimination system according to Embodiment 1 of the present invention.
  • the skill discrimination system includes an action learning device 100 and a skill discrimination device 200.
  • the motion learning device 100 analyzes the difference in the characteristics of motion between a skilled worker (hereinafter referred to as a skilled worker) and a general worker who is not a skilled worker (hereinafter referred to as a general worker). Then, a function for discriminating the skill of the worker to be evaluated is generated.
  • the workers to be evaluated include skilled workers and general workers.
  • the skill discriminating apparatus 200 uses the function generated by the motion learning apparatus 100 to discriminate whether or not the skill of the worker who is the evaluation target is proficient.
  • the motion learning apparatus 100 includes a moving image database 101, a first motion feature extraction unit 102, a motion feature learning unit 103, and a discriminant function generation unit 104.
  • the moving image database 101 is a database that stores moving image data obtained by photographing a plurality of skilled workers and a plurality of general workers.
  • the first motion feature extraction unit 102 extracts the trajectory features of motions of skilled workers and general workers from the moving image data stored in the moving image database 101.
  • the first motion feature extraction unit 102 outputs the extracted motion trajectory features to the motion feature learning unit 103.
  • the motion feature learning unit 103 determines a reference motion trajectory feature from the motion trajectory feature extracted by the first motion feature extraction unit 102.
  • the motion feature learning unit 103 performs discriminative learning for identifying a skilled motion trajectory feature based on a reference motion trajectory feature.
  • the motion feature learning unit 103 generates a motion feature dictionary describing the trajectory features of the determined reference motion, and stores the motion feature dictionary in the motion feature dictionary storage unit 202 of the skill discrimination device 200. Further, the motion feature learning unit 103 outputs the result of the discriminative learning to the discriminant function generation unit 104.
  • the discriminant function generation unit 104 refers to the learning result of the motion feature learning unit 103 and determines a function (hereinafter referred to as a discriminant function) for determining whether or not the skill of the worker who is the evaluation target is proficient. Generate.
  • the discriminant function generation unit 104 stores the generated discriminant function in the discriminant function storage unit 204 of the skill discrimination device 200.
  • the skill discrimination device 200 includes an image information acquisition unit 201, an operation feature dictionary storage unit 202, a second operation feature extraction unit 203, a discrimination function storage unit 204, a skill discrimination unit 205, and a display control unit 206.
  • the skill discrimination apparatus 200 is connected to a camera 300 that captures the work of an operator who is an evaluation target, and a display apparatus 400 that displays information based on display control of the skill discrimination apparatus 200.
  • the image information acquisition unit 201 acquires moving image data (hereinafter referred to as evaluation target moving image data) obtained by capturing an image of the work of an operator whose camera 300 is an evaluation target.
  • the image information acquisition unit 201 outputs the acquired moving image data to the second motion feature extraction unit 203.
  • the motion feature dictionary storage unit 202 stores a motion feature dictionary describing trajectory features of a reference motion input from the motion learning device 100.
  • the second motion feature extraction unit 203 refers to the motion feature dictionary stored in the motion feature dictionary storage unit 202, and extracts a motion trajectory feature from the evaluation target moving image data acquired by the image information acquisition unit 201.
  • the second motion feature extraction unit 203 outputs the extracted motion trajectory features to the skill determination unit 205.
  • the discriminant function storage unit 204 is an area in which the discriminant function generated by the discriminant function generation unit 104 of the motion learning device 100 is stored.
  • the skill discriminating unit 205 uses the discriminant function stored in the discriminant function accumulating unit 204 to check whether the skill of the worker who is the object of evaluation is proficient from the trajectory feature of the motion extracted by the second motion feature extracting unit 203 Determine whether or not.
  • the skill discrimination unit 205 outputs the discrimination result to the display control unit 206.
  • the display control unit 206 determines information to be displayed to the evaluation target worker as support information according to the determination result of the skill determination unit 205.
  • the display control unit 206 performs display control for displaying the determined information on the display device 400.
  • FIG. 2A and 2B are diagrams illustrating a hardware configuration example of the motion learning apparatus 100 according to the first embodiment.
  • the functions of the first motion feature extraction unit 102, the motion feature learning unit 103, and the discriminant function generation unit 104 in the motion learning device 100 are realized by a processing circuit. That is, the motion learning device 100 includes a processing circuit for realizing the above functions.
  • the processing circuit may be a processing circuit 100a, which is dedicated hardware as shown in FIG. 2A, or a processor 100b that executes a program stored in the memory 100c as shown in FIG. 2B. Good.
  • the processing circuit 100a includes, for example, a single circuit, a composite circuit, a program An integrated processor, a processor programmed in parallel, an ASIC (Application Specific Integrated Circuit), an FPGA (Field-programmable Gate Array), or a combination thereof is applicable.
  • Each of the functions of the first motion feature extraction unit 102, the motion feature learning unit 103, and the discriminant function generation unit 104 may be realized by a processing circuit, or the functions of the units may be realized by a single processing circuit. Also good.
  • the function of each unit is software, firmware, or a combination of software and firmware. It is realized by.
  • Software or firmware is described as a program and stored in the memory 100c.
  • the processor 100b implements the functions of the first motion feature extraction unit 102, the motion feature learning unit 103, and the discriminant function generation unit 104 by reading and executing a program stored in the memory 100c. That is, the motion feature extraction unit, the motion feature learning unit 103, and the discriminant function generation unit 104 store a program in which each step shown in FIG. 4 to be described later is executed when executed by the processor 100b.
  • a memory 100c is provided. Further, it can be said that these programs cause the computer to execute the procedures or methods of the first motion feature extraction unit 102, the motion feature learning unit 103, and the discriminant function generation unit 104.
  • the processor 100b is, for example, a CPU (Central Processing Unit), a processing device, an arithmetic device, a processor, a microprocessor, a microcomputer, or a DSP (Digital Signal Processor).
  • the memory 100c may be, for example, a nonvolatile or volatile semiconductor memory such as a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable ROM), or an EEPROM (Electrically EPROM). Further, it may be a magnetic disk such as a hard disk or a flexible disk, or an optical disk such as a mini disk, CD (Compact Disc), or DVD (Digital Versatile Disc).
  • a part is implement
  • the processing circuit 100a in the motion learning apparatus 100 can realize the above-described functions by hardware, software, firmware, or a combination thereof.
  • 3A and 3B are diagrams illustrating a hardware configuration example of the skill determination device 200 according to the first embodiment.
  • the functions of the image information acquisition unit 201, the second motion feature extraction unit 203, the skill determination unit 205, and the display control unit 206 in the skill determination device 200 are realized by a processing circuit. That is, the skill determination device 200 includes a processing circuit for realizing the above functions.
  • the processing circuit may be a processing circuit 200a that is dedicated hardware as shown in FIG. 3A, or a processor 200b that executes a program stored in the memory 200c as shown in FIG. 3B. Good.
  • the processing circuit 200a includes, for example, a single circuit, A composite circuit, a programmed processor, a parallel programmed processor, an ASIC, an FPGA, or a combination thereof is applicable.
  • the functions of the image information acquisition unit 201, the second motion feature extraction unit 203, the skill determination unit 205, and the display control unit 206 may be realized by a processing circuit, or the functions of the units may be combined into one processing circuit. It may be realized with.
  • the functions of the units are software, firmware, or software. Realized by combination with firmware.
  • Software or firmware is described as a program and stored in the memory 200c.
  • the processor 200b reads out and executes the program stored in the memory 200c, thereby realizing the functions of the image information acquisition unit 201, the second motion feature extraction unit 203, the skill determination unit 205, and the display control unit 206. That is, when the image information acquisition unit 201, the second motion feature extraction unit 203, the skill determination unit 205, and the display control unit 206 are executed by the processor 200b, each step shown in FIG. A memory 200c for storing the program to be executed. These programs can also be said to cause the computer to execute the procedures or methods of the image information acquisition unit 201, the second motion feature extraction unit 203, the skill determination unit 205, and the display control unit 206.
  • the processing circuit 200a in the skill determination apparatus 200 can realize the above-described functions by hardware, software, firmware, or a combination thereof.
  • FIG. 4 is a flowchart showing the operation of the motion learning apparatus 100 according to the first embodiment.
  • the first motion feature extraction unit 102 reads moving image data obtained by capturing the motions of skilled workers and general workers from the moving image database 101 (step ST1).
  • the first motion feature extraction unit 102 extracts motion trajectory features from the moving image data read in step ST1 (step ST2).
  • the first motion feature extraction unit 102 outputs the extracted trajectory features to the motion feature learning unit 103.
  • the first motion feature extraction unit 102 tracks feature points of moving image data, and extracts changes in coordinates of feature points having a certain number of frames or more as trajectory features.
  • the first motion feature extraction unit 102 includes at least one of edge information around feature points of moving image data, an optical flow histogram, or an optical flow first derivative histogram. One may be added and extracted. In that case, the first motion feature extraction unit 102 extracts numerical information obtained by integrating information obtained in addition to the transition of coordinates as a trajectory feature.
  • the motion feature learning unit 103 determines a plurality of reference trajectory features from the trajectory features extracted in step ST2 (step ST3).
  • the motion feature learning unit 103 creates a motion feature dictionary using the reference trajectory features determined in step ST3 and stores it in the motion feature dictionary storage unit 202 of the skill discrimination device 200 (step ST4).
  • a method in which the median value of each cluster is set as a reference trajectory feature by a clustering method such as a k-means algorithm.
  • the motion feature learning unit 103 clusters the trajectory features extracted in step ST2 with similar trajectory features using the reference trajectory features determined in step ST3 (step ST5).
  • the motion feature learning unit 103 first vectorizes each trajectory feature extracted in step ST2.
  • the motion feature learning unit 103 resembles each trajectory feature as a reference trajectory feature based on the distance between each trajectory feature vector and the reference trajectory feature vector determined in step ST3. Determine whether or not.
  • the motion feature learning unit 103 performs clustering of each trajectory feature based on the determination result of whether or not they are similar.
  • the motion feature learning unit 103 generates a histogram according to the appearance frequency of similar trajectory features based on the clustering result of step ST5 (step ST6).
  • histograms are respectively generated for the skilled worker group and the general worker group.
  • the motion feature learning unit 103 Based on the histogram generated at step ST6, the motion feature learning unit 103 performs discriminative learning for identifying the trajectory features of the skilled motion (step ST7).
  • the motion feature learning unit 103 Based on the learning result of the discriminative learning in step ST7, the motion feature learning unit 103 generates a projective transformation matrix to the axis corresponding to the degree of skill of the worker (step ST8).
  • the motion feature learning unit 103 outputs the projective transformation matrix generated in step ST8 to the discriminant function generation unit 104.
  • the discriminant function generation unit 104 Based on the projective transformation matrix generated in step ST8, the discriminant function generation unit 104 generates a discriminant function indicating a boundary for identifying whether the operation of the worker to be evaluated is a proficient operation (step ST9). ). Specifically, in step ST9, the discriminant function generation unit 104 designs a linear discriminant function that discriminates between a skilled operation and a general operation on the axis transformed by the projective transformation matrix. The discriminant function generating unit 104 stores the discriminant function generated in step ST9 in the discriminant function storage unit 204 of the skill discriminating apparatus 200 (step ST10), and ends the process.
  • step ST10 If the discriminant function that is the linear discriminant function accumulated in step ST10 is “0” or more, it indicates that the operation of the worker to be evaluated is a proficient operation, and if it is less than “0”, the evaluation is performed. Indicates that the operation of the target worker is a general operation that is not proficient.
  • the motion feature learning unit 103 performs discriminant analysis using the histogram generated in step ST6, and the variance between classes of the skilled worker group and the general work worker group is maximum, and the variance within each class is minimum.
  • the projection axis is calculated and the discrimination boundary is determined.
  • the calculation by the motion feature learning unit 103 maximizes the Fisher evaluation criterion represented by the following equation (1).
  • S B are inter-class variance
  • S W represents a within-class variance.
  • A is a matrix which converts a histogram into a one-dimensional numerical value, and is the projection transformation matrix mentioned above.
  • a that maximizes J S (A) in equation (1) is changed from the Lagrange multiplier method to the problem of obtaining the extreme value in equation (2) below.
  • the principal axis analysis is used to pre-calculate the axis with a large variance of the data, and after conversion to the principal component for dimensional compression, a discriminator such as discriminant analysis or SVM (Support Vector Machine) is installed. May be used.
  • SVM Serial Vector Machine
  • the motion feature learning unit 103 detects an axis that maximizes the variance between the skilled worker group and the general worker group, and determines whether the movement is an accomplished motion or a general motion.
  • a useful trajectory can be obtained. In other words, the motion feature learning unit 103 can identify a trajectory indicating a skilled motion, and can visualize the trajectory.
  • the motion feature learning unit 103 performs singular value decomposition with the axis that maximizes the variance between the classes of the skilled worker group and the general worker group as a result of the discriminant analysis of the histogram. Calculate the corresponding projective transformation matrix.
  • the motion feature learning unit 103 outputs the calculated projective transformation matrix to the discriminant function generation unit 104 as an expert component transformation matrix.
  • FIG. 5 is a flowchart showing the operation of the skill determination apparatus 200 according to the first embodiment.
  • the image information acquisition unit 201 acquires moving image data obtained by imaging the work of the worker who is the evaluation target (step ST21)
  • the second motion feature extraction unit 203 acquires the moving image data acquired in step ST21.
  • the trajectory feature of the movement is extracted (step ST22).
  • the second motion feature extraction unit 203 refers to the motion feature dictionary stored in the motion feature dictionary storage unit 202, clusters the extracted trajectory features, and generates a histogram according to the appearance frequency (step ST23).
  • the second motion feature extraction unit 203 outputs the histogram generated in step ST23 to the skill determination unit 205.
  • the skill discriminating unit 205 discriminates whether or not the skill of the worker who is the object of evaluation is proficient from the histogram generated in step ST23, based on the discriminant function stored in the discriminant function storage unit 204 (step ST24).
  • the skill discrimination unit 205 outputs the discrimination result to the display control unit 206.
  • the display control unit 206 performs display control for displaying information for the skilled worker on the display device 400 ( Step ST25).
  • the display control unit 206 performs display control for displaying information for a general worker on the display device 400. Perform (step ST26). The process ends here.
  • the operator's skill is discriminated according to whether the discriminant function stored in the discriminant function storage unit 204 is “0” or more or less than “0”. Therefore, in the determination process of step ST24, the skill determination unit 205 determines that the operator's skill is proficient if the determination function is “0” or more, and if the determination function is less than “0”, the worker It is determined that the skill is not proficient.
  • FIG. 6 is an explanatory diagram showing processing of the motion learning device 100 according to the first embodiment.
  • FIG. 6A is a diagram illustrating moving image data read by the first motion feature extraction unit 102, and illustrates moving image data of the worker X as an example.
  • 6B is a diagram illustrating the trajectory features of the motion extracted by the first motion feature extraction unit 102 from the moving image data of FIG. 6A. In the example of FIG. 6B, the trajectory feature Y of the movement of the hand Xa of the worker X is shown.
  • FIG. 6C is a diagram illustrating a result of the motion feature learning unit 103 learning the trajectory feature Y in FIG. 6B.
  • the motion feature learning unit 103 shows a case where three reference trajectory features A, second trajectory feature B, and third trajectory feature C are determined from the trajectory feature Y.
  • 6B shows a result of generating a histogram by clustering the trajectory feature Y shown in FIG. 6B into the first trajectory feature A, the second trajectory feature B, and the third trajectory feature C. Since the motion feature learning unit 103 generates histograms for skilled workers and general workers, as shown in FIG. 6C, a histogram for the skilled worker group and a histogram for the general worker group are generated. In the histogram of the skilled worker group shown in FIG. 6C, the third trajectory feature C is the highest, while in the histogram of the general worker group, the first trajectory feature A is the highest.
  • FIG. 6D shows a case where a trajectory D indicating a skilled motion identified by the motion feature learning unit 103 is visualized and displayed in a space indicating work skill (hereinafter, work skill space).
  • the horizontal axis shown in FIG. 6D represents the third trajectory feature C, and each other axis represents the appearance frequency of each trajectory feature.
  • the skill level increases as the path D moves in the arrow direction, and the skill level decreases as the path D moves in the opposite arrow direction.
  • the motion feature learning unit 103 first learns the boundary by paying attention only to the variance between classes of the region P having a low skill level and the region Q having a high skill level shown in FIG. 6D.
  • the motion feature learning unit 103 obtains a straight line orthogonal to the learned boundary as an axis of a skilled trajectory.
  • the display control unit 206 of the skill discrimination device 200 performs control for displaying the level of the skill level of the worker who is the evaluation target based on the discrimination result of the skill discrimination unit 205 using the work skill space shown in FIG. 6D. You may go.
  • FIG. 7 is a diagram illustrating an example in which the discrimination result of the skill discrimination device 200 according to Embodiment 1 is displayed on the display device 400.
  • the worker X can easily recognize a place to be improved by visually recognizing the display.
  • the trajectory characteristics of the operations of the skilled worker and the general worker are extracted based on the moving image data obtained by capturing the skilled worker and the general worker.
  • the operation feature learning unit 103 that performs discriminative learning for identifying the trajectory features of the skilled motion, and a boundary for discriminating whether or not the motion is an expert by referring to the result of the discriminative learning
  • a discriminant function generation unit 104 that generates a discriminant function to be shown, so that it is possible to extract a skilled worker's movement from moving image data, It can be obtained an indicator to determine the skill of the operator to be evaluated from the movement.
  • the trajectory feature of the motion of the worker to be evaluated is extracted from the moving image data obtained by capturing the work of the worker to be evaluated, and the trajectory feature serving as a predetermined reference is extracted. Is used to cluster the extracted trajectory features, and generate a histogram according to the appearance frequency of the clustered trajectory features, and a discriminant function for discriminating the proficient motion obtained in advance.
  • FIG. 8 is a block diagram illustrating a configuration of the skill determination system according to the second embodiment.
  • the operation learning apparatus 100A of the skill discrimination system according to the second embodiment is configured by adding a part detection unit 105 to the movement learning apparatus 100 of the first embodiment shown in FIG. Further, instead of the first motion feature extraction unit 102, the motion feature learning unit 103, and the discriminant function generation unit 104, a first motion feature extraction unit 102a, a motion feature learning unit 103a, and a discriminant function generation unit 104a are provided. is doing.
  • the skill discrimination device 200A of the skill discrimination system according to the second embodiment replaces the second motion feature extraction unit 203, the skill discrimination unit 205, and the display control unit 206 of the first embodiment shown in FIG. Operating feature extraction unit 203a, skill discrimination unit 205a and display control unit 206a.
  • the same or corresponding parts as those of the motion learning device 100 and the skill discrimination device 200 according to the first embodiment are denoted by the same reference numerals as those used in the first embodiment, and the description thereof is omitted. Simplify.
  • the part detection unit 105 analyzes the moving image data stored in the moving image database 101, and detects the parts of skilled workers and general workers (hereinafter referred to as worker parts) included in the moving image data. To detect.
  • the operator's parts are the operator's fingers, palms, wrists, and the like.
  • the part detection unit 105 outputs information indicating the detected part and moving image data to the first motion feature extraction unit 102a.
  • the first motion feature extraction unit 102a extracts, for each part detected by the part detection unit 105, trajectory features of the actions of skilled workers and general workers from the moving image data.
  • the first motion feature extraction unit 102a associates the extracted motion trajectory features with information indicating the worker's part and outputs the information to the motion feature learning unit 103a.
  • the motion feature learning unit 103a determines a motion trajectory feature serving as a reference for each part from the motion trajectory features extracted by the first motion feature extraction unit 102a.
  • the motion feature learning unit 103a performs discriminative learning for identifying a motion trajectory feature that is proficient for each part based on the trajectory feature of the reference motion.
  • the motion feature learning unit 103a generates a motion feature dictionary that stores the trajectory features of the determined reference motion for each part, and stores the motion feature dictionary in the motion feature dictionary storage unit 202 of the skill discrimination device 200A.
  • the motion feature learning unit 103a outputs the result of discrimination learning for each part to the discrimination function generation unit 104a.
  • the discriminant function generation unit 104a refers to the learning result of the motion feature learning unit 103a and generates a discriminant function for each part.
  • the discriminant function generation unit 104a stores the generated discriminant function in the discriminant function storage unit 204 of the skill discrimination device 200A.
  • the second motion feature extraction unit 203a refers to the motion feature dictionary stored in the motion feature dictionary storage unit 202, and extracts a motion trajectory feature from the evaluation target moving image data acquired by the image information acquisition unit 201.
  • the second motion feature extraction unit 203a associates the extracted motion trajectory feature with information indicating the worker's part and outputs the information to the skill determination unit 205a.
  • the skill discriminating unit 205a uses the discriminant function stored in the discriminant function accumulating unit 204 to determine whether the skill of the worker who is the object of evaluation is proficient from the trajectory feature of the motion extracted by the second motion feature extracting unit 203a. Determine whether or not.
  • the skill discriminating unit 205a discriminates for each part associated with the trajectory feature of the motion.
  • the skill determination unit 205a associates the determination result with information indicating the worker's part and outputs the result to the display control unit 206a.
  • the display control unit 206a determines information to be displayed to the evaluation target worker as support information for each part of the worker, according to the determination result of the skill determination unit 205a.
  • the part detection unit 105, the first motion feature extraction unit 102a, the motion feature learning unit 103a, and the discriminant function generation unit 104a in the motion learning device 100A are included in the processing circuit 100a illustrated in FIG. 2A or the memory 100c illustrated in FIG. 2B.
  • FIG. 9 is a flowchart illustrating the operation of the motion learning device 100A according to the second embodiment.
  • the part detection unit 105 reads moving image data obtained by capturing the actions of skilled workers and general workers from the moving image database 101 (step ST31).
  • Part detection unit 105 detects the part of the worker included in the moving image data read in step ST31 (step ST32).
  • the part detection unit 105 outputs information indicating the detected part and the read moving image data to the first motion feature extraction unit 102a.
  • the first motion feature extraction unit 102a extracts motion trajectory features for each part of the worker detected in step ST32 from the moving image data read in step ST31 (step ST2a).
  • the first motion feature extraction unit 102a outputs the trajectory feature of the motion for each part of the worker to the motion feature learning unit 103a.
  • the motion feature learning unit 103a determines a plurality of reference trajectory features for each part of the worker (step ST3a).
  • the motion feature learning unit 103a creates a motion feature dictionary for each part of the worker using a plurality of trajectory features that are determined in step ST3a, and stores the motion feature dictionary in the motion feature dictionary storage unit 202 of the skill determination device 200A.
  • Step ST4a The motion feature learning unit 103a performs the processing from step ST5 to step ST7, and generates a projective transformation matrix for each part of the worker (step ST8a).
  • the discriminant function generation unit 104a generates a discriminant function for each part of the worker (step ST9a).
  • the discriminant function generation unit 104a associates the generated discriminant function with the worker's part, stores the discriminant function in the discriminant function storage unit 204 of the skill discrimination device 200A (step ST10a), and ends the process.
  • FIG. 10 is a flowchart showing the operation of the skill determination apparatus 200A according to the second embodiment.
  • the second motion feature extraction unit 203a refers to the motion feature dictionary stored in the motion feature dictionary storage unit 202, clusters the extracted trajectory features, and generates a histogram corresponding to the appearance frequency for each part (step ST23a). ).
  • the second motion feature extraction unit 203a associates the histogram generated in step ST23a with the worker's part and outputs the result to the skill determination unit 205a.
  • the skill discriminating unit 205a discriminates whether or not the skill for each part of the worker is proficient from the histogram generated in step ST23a, based on the discriminant function for each part accumulated in the discriminant function accumulating part 204 (step ST24a ). Skill discriminating part 205a will output a discrimination result to display control part 206a, if it discriminates about the skill of all parts in Step ST24a.
  • step ST24a When the skill of the worker who is working on a certain part is proficient (step ST24a; YES), the display control unit 206a displays information on the skilled worker regarding the part on the display device 400. Display control is performed (step ST25a). On the other hand, when the skill of the worker who is working on a certain part is not proficient (step ST24a; NO), the display control unit 206a displays a display for displaying information for a general worker on the display device 400. Control is performed (step ST26a). The process ends here. In addition, when the discrimination result of the skill discriminating unit 205a indicates that the skill is proficient with respect to a certain part but the skill is not proficient with respect to a certain part, the display control unit 206a performs steps ST25a and ST26a. Perform both processes.
  • the first motion feature extraction unit 102a includes the part detection unit 105 that detects the imaged part of the skilled worker and the general worker from the moving image data.
  • the trajectory feature is extracted for each detected part
  • the motion feature learning unit 103a performs the discrimination learning by generating a histogram for each part detected
  • the discriminant function generation unit 104a detects the detected part. Since the discriminant function is generated every time, the operation feature can be learned for each part of the worker. Further, in the skill discrimination device 200A, information can be presented for each part to the worker to be evaluated, and detailed information can be presented.
  • the motion feature learning units 103 and 103a When the motion feature learning units 103 and 103a perform the two-class classification of the skilled worker group and the general worker group in the discriminant analysis, the projection axis that maximizes the variance between the classes and minimizes the variance within the class. A configuration for calculating the discrimination boundary is shown.
  • a projection axis is calculated by adding a sparse normalization term, an element having a low influence is learned as a weight “0”.
  • the motion feature learning units 103 and 103a calculate the projection axis, it is possible to add the sparse normalization term so that the axis component includes many “0” and calculate the projection axis. It is.
  • the feature trajectory required for determining the discrimination boundary is extracted from a complex feature trajectory in which the motion feature learning units 103 and 103a add the sparse normalization term and calculate the projection axis. Can be suppressed. Therefore, the motion feature learning unit 103 can determine the discrimination boundary by calculating the projection axis from a combination of fewer types of feature trajectories from among a plurality of feature trajectories. Thereby, skill discrimination device 200, 200A can implement
  • FIG. 11 is a diagram illustrating an effect when a sparse regularization term is added in the motion learning device 100 according to the first embodiment.
  • FIG. 11 shows a work space and a trajectory E when the projection result is calculated by adding a sparse regularization term to the learning result shown in FIG. 6C of the first embodiment.
  • the horizontal axis shown in FIG. 11D represents the third trajectory feature C, and each other axis represents the appearance frequency of each trajectory feature.
  • the trajectory E is parallel to the third trajectory feature C, and displays a trajectory that shows the skill that the operator is proficient in an easy-to-understand manner.
  • the present invention can freely combine each embodiment, modify any component of each embodiment, or omit any component of each embodiment. It is.
  • the motion learning device can learn the skilled movement of the worker, and therefore is applied to a system that supports the worker, teaches the characteristics of the movement of the worker skilled in the worker, It is suitable to realize the transmission of the skills of the workers.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Psychiatry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Social Psychology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

熟練作業者と一般作業者とのそれぞれを撮像した動画像データに基づいて、熟練作業者および一般作業者の動作の軌跡特徴を抽出する第１の動作特徴抽出部（１０２）と、抽出された軌跡特徴の中から決定した基準となる軌跡特徴に類似する軌跡特徴をクラスタリングし、クラスタリングした軌跡特徴の出現頻度に応じてヒストグラムを生成し、生成したヒストグラムに基づいて、熟達した動作の軌跡特徴を特定するための判別学習を行う動作特徴学習部（１０３）と、判別学習の結果を参照し、熟達した動作であるか否かを判別するための境界を示す判別関数を生成する判別関数生成部（１０４）とを備える。

Description

動作学習装置、技能判別装置および技能判別システム
　この発明は、動画像データに基づいて、評価対象者の動作を評価する技術に関するものである。
　工場等で作業する作業者の作業効率を向上させるため、熟練した作業者（以下、熟練作業者と記載する）の技能を抽出し、熟練した作業者でない一般の作業者（以下、一般作業者と記載する）に伝達する仕組み作りが求められている。具体的には、熟練作業者の動作の中で、一般作業者とは異なる動きを検出し、検出した動きを一般作業者に教示することにより、一般作業者の技能の向上を支援する。
　例えば、特許文献１に開示された動作特徴抽出装置では、ある作業工程に従事する熟練作業者の姿を撮影し、同じ撮影アングルで同一の作業工程に従事するときの一般作業者の姿を撮影して、一般作業者による異常動作を抽出している。より詳細には、熟練作業者の動画像データから立体高次自己相関（ＣＨＬＡＣ）特徴を抽出し、一般作業者の評価対象画像からＣＨＬＡＣ特徴を抽出し、抽出したＣＨＬＡＣ特徴の相関関係に基づいて、一般作業者の異常動作を抽出している。
特開２０１１－１３３９８４号公報
　しかし、上述した特許文献１に開示された技術では、動画像データ中の動作特徴に関して、ＣＨＬＡＣ特徴という固定のマスクパターンを複数用意する必要があり、熟練作業者の動きに対するマスクパターンをユーザが設計する必要があるという課題があった。
　この発明は、上記のような課題を解決するためになされたもので、熟練作業者の動きに対するマスクパターンを設計することなく、動画像データから抽出された熟練作業者の動きに基づいて評価対象である作業者の技能を判別するための指標を得ることを目的とする。
　この発明に係る発明の動作学習装置は、熟練作業者と一般作業者とのそれぞれを撮像した動画像データに基づいて、熟練作業者および一般作業者の動作の軌跡特徴を抽出する第１の動作特徴抽出部と、第１の動作特徴抽出部が抽出した軌跡特徴の中から決定した基準となる軌跡特徴に類似する軌跡特徴をクラスタリングし、クラスタリングした軌跡特徴の出現頻度に応じてヒストグラムを生成し、生成したヒストグラムに基づいて、熟達した動作の軌跡特徴を特定するための判別学習を行う動作特徴学習部と、動作特徴学習部の判別学習の結果を参照し、熟達した動作であるか否かを判別するための境界を示す判別関数を生成する判別関数生成部とを備える。
　この発明によれば、動画像データから熟練作業者の熟達した動きを抽出することができ、抽出された動きに基づいて評価対象である作業者の技能を判別するための指標を得ることができる。
実施の形態１に係る技能判別システムの構成を示すブロック図である。 図２Ａ、図２Ｂは、実施の形態１に係る動作学習装置のハードウェア構成 図３Ａ，図３Ｂは、実施の形態１に係る技能判別装置のハードウェア構成例を示す図である。 実施の形態１に係る動作学習装置の動作を示すフローチャートである。 実施の形態１に係る技能判別装置の動作を示すフローチャートである。 図６Ａ，図６Ｂ，図６Ｃ，図６Ｄは、実施の形態１に係る動作学習装置の処理を示す説明図である。 実施の形態１に係る技能判別装置の判別結果の表示例を示す図である。 実施の形態２に係る技能判別システムの構成を示すブロック図である。 実施の形態２に係る動作学習装置の動作を示すフローチャートである。 実施の形態２に係る技能判別装置の動作を示すフローチャートである。 実施の形態１に係る動作学習装置においてスパース正則化項を追加した場合の効果を示す図である。
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１は、この発明の実施の形態１に係る技能判別システムの構成を示すブロック図である。
　技能判別システムは、動作学習装置１００および技能判別装置２００で構成されている。動作学習装置１００は、熟練した作業者（以下、熟練作業者と記載する）と、熟練した作業者でない一般の作業者（以下、一般作業者と記載する）との動作の特徴の違いを解析し、評価対象である作業者の技能を判別するための関数を生成する。ここで、評価対象である作業者には、熟練作業者および一般作業者が含まれるものとする。技能判別装置２００は、動作学習装置１００で生成された関数を用いて、評価対象である作業者の技能が熟達しているか否かを判別する。
　動作学習装置１００は、動画像データベース１０１、第１の動作特徴抽出部１０２、動作特徴学習部１０３および判別関数生成部１０４を備えて構成される。
　動画像データベース１０１は、複数の熟練作業者および複数の一般作業者の作業の様子を撮影した動画像データを格納したデータベースである。第１の動作特徴抽出部１０２は、動画像データベース１０１に格納された動画像データから熟練作業者および一般作業者の動作の軌跡特徴を抽出する。第１の動作特徴抽出部１０２は、抽出した動作の軌跡特徴を動作特徴学習部１０３に出力する。
　動作特徴学習部１０３は、第１の動作特徴抽出部１０２が抽出した動作の軌跡特徴から、基準となる動作の軌跡特徴を決定する。動作特徴学習部１０３は、基準となる動作の軌跡特徴に基づいて、熟達した動作の軌跡特徴を特定するための判別学習を行う。動作特徴学習部１０３は、決定した基準となる動作の軌跡特徴を記述した動作特徴辞書を生成し、技能判別装置２００の動作特徴辞書格納部２０２に格納する。また、動作特徴学習部１０３は、判別学習の結果を判別関数生成部１０４に出力する。判別関数生成部１０４は、動作特徴学習部１０３の学習結果を参照し、評価対象である作業者の技能が熟達しているか否かを判別するための関数（以下、判別関数と記載する）を生成する。判別関数生成部１０４は、生成した判別関数を技能判別装置２００の判別関数蓄積部２０４に蓄積する。
　技能判別装置２００は、画像情報取得部２０１、動作特徴辞書格納部２０２、第２の動作特徴抽出部２０３、判別関数蓄積部２０４、技能判別部２０５および表示制御部２０６で構成されている。また、技能判別装置２００には、評価対象である作業者の作業を撮像するカメラ３００、および技能判別装置２００の表示制御に基づいて情報を表示する表示装置４００が接続されている。
　画像情報取得部２０１は、カメラ３００が評価対象である作業者の作業の様子を撮像した動画像データ（以下、評価対象の動画像データという）を取得する。画像情報取得部２０１は、取得した動画像データを第２の動作特徴抽出部２０３に出力する。動作特徴辞書格納部２０２には、動作学習装置１００から入力された基準となる動作の軌跡特徴を記述した動作特徴辞書が格納されている。
　第２の動作特徴抽出部２０３は、動作特徴辞書格納部２０２に格納された動作特徴辞書を参照し、画像情報取得部２０１が取得した評価対象の動画像データから動作の軌跡特徴を抽出する。第２の動作特徴抽出部２０３は、抽出した動作の軌跡特徴を技能判別部２０５に出力する。判別関数蓄積部２０４は、動作学習装置１００の判別関数生成部１０４が生成した判別関数を蓄積する領域である。技能判別部２０５は、判別関数蓄積部２０４に蓄積された判別関数を用いて、第２の動作特徴抽出部２０３が抽出した動作の軌跡特徴から評価対象である作業者の技能が熟達しているか否か判別を行う。技能判別部２０５は、判別結果を表示制御部２０６に出力する。表示制御部２０６は、技能判別部２０５の判別結果に応じて、支援情報として評価対象である作業者に表示すべき情報を決定する。表示制御部２０６は、決定した情報を表示するための表示制御を表示装置４００に対して行う。
　次に、動作学習装置１００および技能判別装置２００のハードウェア構成例を説明する。
　まず、動作学習装置１００のハードウェア構成例について説明する。
　図２Ａおよび図２Ｂは、実施の形態１に係る動作学習装置１００のハードウェア構成例を示す図である。
　動作学習装置１００における第１の動作特徴抽出部１０２、動作特徴学習部１０３および判別関数生成部１０４の各機能は、処理回路により実現される。即ち、動作学習装置１００は、上記各機能を実現するための処理回路を備える。当該処理回路は、図２Ａに示すように専用のハードウェアである処理回路１００ａであってもよいし、図２Ｂに示すようにメモリ１００ｃに格納されているプログラムを実行するプロセッサ１００ｂであってもよい。
　図２Ａに示すように第１の動作特徴抽出部１０２、動作特徴学習部１０３および判別関数生成部１０４が専用のハードウェアである場合、処理回路１００ａは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-programmable Gate Array）、またはこれらを組み合わせたものが該当する。第１の動作特徴抽出部１０２、動作特徴学習部１０３および判別関数生成部１０４の各部の機能それぞれを処理回路で実現してもよいし、各部の機能をまとめて１つの処理回路で実現してもよい。
　図２Ｂに示すように、第１の動作特徴抽出部１０２、動作特徴学習部１０３および判別関数生成部１０４がプロセッサ１００ｂである場合、各部の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ１００ｃに格納される。プロセッサ１００ｂは、メモリ１００ｃに記憶されたプログラムを読み出して実行することにより、第１の動作特徴抽出部１０２、動作特徴学習部１０３および判別関数生成部１０４の各機能を実現する。即ち、動作特徴抽出部、動作特徴学習部１０３および判別関数生成部１０４は、プロセッサ１００ｂにより実行されるときに、後述する図４に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ１００ｃを備える。また、これらのプログラムは、第１の動作特徴抽出部１０２、動作特徴学習部１０３および判別関数生成部１０４の手順または方法をコンピュータに実行させるものであるともいえる。
　ここで、プロセッサ１００ｂとは、例えば、ＣＰＵ（Central Processing Unit）、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、またはＤＳＰ（Digital Signal Processor）などのことである。
　メモリ１００ｃは、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically EPROM）等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等の光ディスクであってもよい。
　なお、第１の動作特徴抽出部１０２、動作特徴学習部１０３および判別関数生成部１０４の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、動作学習装置１００における処理回路１００ａは、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。
　次に、技能判別装置２００のハードウェア構成例について説明する。
　図３Ａおよび図３Ｂは、実施の形態１に係る技能判別装置２００のハードウェア構成例を示す図である。
　技能判別装置２００における画像情報取得部２０１、第２の動作特徴抽出部２０３、技能判別部２０５および表示制御部２０６の各機能は、処理回路により実現される。即ち、技能判別装置２００は、上記各機能を実現するための処理回路を備える。当該処理回路は、図３Ａに示すように専用のハードウェアである処理回路２００ａであってもよいし、図３Ｂに示すようにメモリ２００ｃに格納されているプログラムを実行するプロセッサ２００ｂであってもよい。
　図３Ａに示すように画像情報取得部２０１、第２の動作特徴抽出部２０３、技能判別部２０５および表示制御部２０６が専用のハードウェアである場合、処理回路２００ａは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、またはこれらを組み合わせたものが該当する。画像情報取得部２０１、第２の動作特徴抽出部２０３、技能判別部２０５および表示制御部２０６の各部の機能それぞれを処理回路で実現してもよいし、各部の機能をまとめて１つの処理回路で実現してもよい。
　図３Ｂに示すように、画像情報取得部２０１、第２の動作特徴抽出部２０３、技能判別部２０５および表示制御部２０６がプロセッサ２００ｂである場合、各部の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ２００ｃに格納される。プロセッサ２００ｂは、メモリ２００ｃに記憶されたプログラムを読み出して実行することにより、画像情報取得部２０１、第２の動作特徴抽出部２０３、技能判別部２０５および表示制御部２０６の各機能を実現する。即ち、画像情報取得部２０１、第２の動作特徴抽出部２０３、技能判別部２０５および表示制御部２０６は、プロセッサ２００ｂにより実行されるときに、後述する図５に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ２００ｃを備える。また、これらのプログラムは、画像情報取得部２０１、第２の動作特徴抽出部２０３、技能判別部２０５および表示制御部２０６の手順または方法をコンピュータに実行させるものであるともいえる。
　なお、画像情報取得部２０１、第２の動作特徴抽出部２０３、技能判別部２０５および表示制御部２０６の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、技能判別装置２００における処理回路２００ａは、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。
　次に、動作学習装置１００の動作および技能判別装置２００の動作について説明する。まず、動作学習装置１００の動作について説明する。
　図４は、実施の形態１に係る動作学習装置１００の動作を示すフローチャートである。
第１の動作特徴抽出部１０２は、動画像データベース１０１から熟練作業者および一般作業者の動作を撮影した動画像データを読み出す（ステップＳＴ１）。第１の動作特徴抽出部１０２は、ステップＳＴ１で読み出した動画像データから動作の軌跡特徴を抽出する（ステップＳＴ２）。第１の動作特徴抽出部１０２は、抽出した軌跡特徴を動作特徴学習部１０３に出力する。
　上述したステップＳＴ２の処理の詳細について説明する。
　第１の動作特徴抽出部１０２は、動画像データの特徴点を追跡し、ある一定以上のフレーム数の特徴点の座標の変遷を軌跡特徴として抽出する。また、第１の動作特徴抽出部１０２は、座標の変遷に加えて、動画像データの特徴点の周辺のエッジ情報、オプティカルフローのヒストグラム、またはオプティカルフローの一次微分のヒストグラムのうちの少なくともいずれか１つを追加して抽出してもよい。その場合、第１の動作特徴抽出部１０２は、座標の変遷に加えて得られた情報を統合した数値情報を軌跡特徴として抽出する。
　動作特徴学習部１０３は、ステップＳＴ２で抽出された軌跡特徴の中から基準となる複数の軌跡特徴を決定する（ステップＳＴ３）。動作特徴学習部１０３は、ステップＳＴ３で決定した基準となる複数の軌跡特徴を用いて動作特徴辞書を作成し、技能判別装置２００の動作特徴辞書格納部２０２に格納する（ステップＳＴ４）。
　ステップＳＴ４の動作特徴辞書の作成では、ｋ－ｍｅａｎｓアルゴリズム等のクラスタリング手法によって、各クラスタの中央値を基準の軌跡特徴とする方法を適用することが可能である。
　動作特徴学習部１０３は、ステップＳＴ３で決定した基準となる軌跡特徴を用いて、ステップＳＴ２で抽出された各軌跡特徴を類似する軌跡特徴同士でクラスタリングする（ステップＳＴ５）。
　ステップＳＴ５の処理では、動作特徴学習部１０３は、まずステップＳＴ２で抽出された各軌跡特徴をベクトル化する。次に、動作特徴学習部１０３は、各軌跡特徴のベクトルと、ステップＳＴ３で決定された基準となる軌跡特徴のベクトルとの距離に基づいて、各軌跡特徴が基準となる軌跡特徴に類似しているか否か判定する。動作特徴学習部１０３は、類似しているか否かの判定結果に基づいて、各軌跡特徴のクラスタリングを行う。
　動作特徴学習部１０３は、ステップＳＴ５のクラスタリング結果に基づき、類似した軌跡特徴の出現頻度に応じたヒストグラムを生成する（ステップＳＴ６）。ステップＳＴ６の処理では、熟練作業者群と、一般作業者群とで、それぞれヒストグラムを生成する。動作特徴学習部１０３は、ステップＳＴ６で生成したヒストグラムに基づいて、熟達した動作の軌跡特徴を特定するための判別学習を行う（ステップＳＴ７）。動作特徴学習部１０３は、ステップＳＴ７の判別学習の学習結果に基づいて、作業者の熟練の度合いに応じた軸への射影変換行列を生成する（ステップＳＴ８）。動作特徴学習部１０３は、ステップＳＴ８で生成した射影変換行列を、判別関数生成部１０４に出力する。
　判別関数生成部１０４は、ステップＳＴ８で生成された射影変換行列に基づいて、評価対象である作業者の動作が熟達した動作であるか識別するための境界を示す判別関数を生成する（ステップＳＴ９）。具体的に、ステップＳＴ９において、判別関数生成部１０４は、射影変換行列により変換された軸において、熟達した動作と、一般的な動作とを識別する線形識別関数を設計する。判別関数生成部１０４は、ステップＳＴ９で生成した判別関数を、技能判別装置２００の判別関数蓄積部２０４に蓄積し（ステップＳＴ１０）、処理を終了する。ステップＳＴ１０において蓄積された線形識別関数である判別関数は、「０」以上であれば、評価対象である作業者の動作が熟達した動作であることを示し、「０」未満であれば、評価対象である作業者の動作が熟達していない一般的な動作であることを示す。
　上述したステップＳＴ７およびステップＳＴ８の処理の詳細について説明する。
　動作特徴学習部１０３は、ステップＳＴ６で生成されたヒストグラムを用いて判別分析を行い、熟練作業者群と一般作的作業者群とのクラス間の分散が最大、且つ各クラス内の分散が最小となる射影軸を計算し、判別境界を決定する。動作特徴学習部１０３による演算は、以下の式（１）で示すフィッシャーの評価基準を最大化する。
Figure JPOXMLDOC01-appb-I000001
　式（１）において、ＳＢはクラス間分散、ＳＷはクラス内分散を表している。また、式（１）において、Ａはヒストグラムを一次元の数値に変換する行列であり、上述した射影変換行列である。
　式（１）のＪＳ（Ａ）を最大化させるＡは、ラグランジュの未定乗数法より、以下の式（２）における極値を求める問題に変わる。
Figure JPOXMLDOC01-appb-I000002

Figure JPOXMLDOC01-appb-I000003
　また、このとき主成分分析を用いてデータの分散の大きい軸を予め計算し、次元圧縮のために主成分に変換する処理をした上で判別分析やＳＶＭ（Support Vector Machine）等の判別器を利用してもよい。これにより、動作特徴学習部１０３は、熟練作業者群と一般作業者群との分散が最大となる軸を検出し、熟達した動きであるか、または一般的な動きであるかを判別するのに有用な軌跡を得ることができる。即ち、動作特徴学習部１０３は、熟達した動きを示す軌跡を特定することができ、当該軌跡を可視化することができる。
　このように、動作特徴学習部１０３は、ヒストグラムの判別分析の結果、熟練作業者群と一般作業者群とのクラス間の分散が最大となる軸を固有ベクトルとする特異値分解を行い、固有ベクトルに対応した射影変換行列を計算する。動作特徴学習部１０３は、計算した射影変換行列を、熟練成分変換行列として、判別関数生成部１０４に出力する。
　次に、技能判別装置２００の動作について説明する。
　図５は、実施の形態１に係る技能判別装置２００の動作を示すフローチャートである。
　画像情報取得部２０１が、評価対象である作業者の作業の様子を撮像した動画像データを取得すると（ステップＳＴ２１）、第２の動作特徴抽出部２０３は、ステップＳＴ２１で取得された動画像データの動作の軌跡特徴を抽出する（ステップＳＴ２２）。第２の動作特徴抽出部２０３は、動作特徴辞書格納部２０２に格納された動作特徴辞書を参照し、抽出した軌跡特徴をクラスタリングし、出現頻度に応じたヒストグラムを生成する（ステップＳＴ２３）。第２の動作特徴抽出部２０３は、ステップＳＴ２３で生成されたヒストグラムを技能判別部２０５に出力する。
　技能判別部２０５は、判別関数蓄積部２０４に蓄積された判別関数により、ステップＳＴ２３で生成されたヒストグラムから評価対象である作業者の技能が熟達しているか否か判別する（ステップＳＴ２４）。技能判別部２０５は、判別結果を表示制御部２０６に出力する。表示制御部２０６は、評価対象である作業者の技能が熟達している場合（ステップＳＴ２４；ＹＥＳ）、表示装置４００に対して、熟練した作業者に対する情報を表示するための表示制御を行う（ステップＳＴ２５）。一方、表示制御部２０６は、評価対象である作業者の技能が熟達していない場合（ステップＳＴ２４；ＮＯ）、表示装置４００に対して、一般の作業者に対する情報を表示するための表示制御を行う（ステップＳＴ２６）。以上で処理を終了する。
　上述したように、判別関数蓄積部２０４に蓄積された判別関数は、「０」以上であるか、「０」未満であるかに応じて、作業者の技能を判別する。そこで、ステップＳＴ２４の判別処理において、技能判別部２０５は、判別関数が「０」以上であれば作業者の技能が熟達していると判別し、判別関数が「０」未満であれば作業者の技能が熟達していないと判別する。
　次に、動作学習装置１００による学習の効果について、図６および図７を参照しながら説明する。
　図６は、実施の形態１に係る動作学習装置１００の処理を示す説明図である。
　図６Ａは、第１の動作特徴抽出部１０２が読み出した動画像データを示す図であり、作業者Ｘの動画像データを例に示している。
　図６Ｂは、第１の動作特徴抽出部１０２が、図６Ａの動画像データから抽出した動作の軌跡特徴を示す図である。図６Ｂの例では、作業者Ｘの手Ｘａの動作の軌跡特徴Ｙを示している。
　図６Ｃは、動作特徴学習部１０３が、図６Ｂの軌跡特徴Ｙを学習した結果を示す図である。図６Ｃに示すように、動作特徴学習部１０３は、軌跡特徴Ｙから、基準となる３つの第１の軌跡特徴Ａ、第２の軌跡特徴Ｂ、第３の軌跡特徴Ｃを決定した場合を示している。また、図６Ｂで示した軌跡特徴Ｙを、第１の軌跡特徴Ａ、第２の軌跡特徴Ｂおよび第３の軌跡特徴Ｃにクラスタリングし、ヒストグラムを生成した結果を示している。動作特徴学習部１０３は、熟練作業者および一般作業者についてヒストグラムを生成することから、図６Ｃに示すように、熟練作業者群のヒストグラムと一般作業者群のヒストグラムが生成される。図６Ｃで示した熟練作業者群のヒストグラムでは第３の軌跡特徴Ｃが最も高く、一方、一般作業者群のヒストグラムでは第１の軌跡特徴Ａが最も高い。
　図６Ｄは、動作特徴学習部１０３が特定した熟達した動作を示す軌跡Ｄを、作業の技能を示す空間（以下、作業技能空間）において可視化して表示した場合を示している。図６Ｄで示した横軸は第３の軌跡特徴Ｃを示し、その他の各軸は各軌跡特徴の出現頻度を表している。図６Ｄの例では、軌跡Ｄの矢印方向に進むにつれて熟練度が高くなり、軌跡Ｄの反矢印方向に進むにつれて熟練度が低くなることを示している。熟練作業者および一般作業者の軌跡特徴をヒストグラム化することにより、作業技能空間が生成され、動作特徴学習部１０３が特定した動作をマッピングすることができる。これにより、熟練作業者と一般作業者の動作が、作業技能空間内でそれぞれ異なる領域に分布されると仮定することができる。動作特徴学習部１０３は、図６Ｄで示した熟練度が低い領域Ｐと、熟練度が高い領域Ｑとの、クラス間の分散のみに着目し、まず境界を学習する。動作特徴学習部１０３は、学習した境界と直交する直線を熟練した軌跡の軸として求める。
　技能判別装置２００の表示制御部２０６は、図６Ｄで示した作業技能空間を用いて、技能判別部２０５の判別結果に基づいて、評価対象である作業者の技能レベルの程度を表示する制御を行ってもよい。
　図７は、実施の形態１に係る技能判別装置２００の判別結果を表示装置４００に表示する場合の一例を示す図である。
　図７の例では、作業者Ｘの技能が熟達していないと判別され、当該作業者Ｘに対して、表示装置４００を介して熟達した動作の軌跡Ｄａを表示している。作業者Ｘは当該表示を視認することにより、自身が改善すべき箇所を容易に認識可能である。
　以上のように、この実施の形態１によれば、熟練作業者と一般作業者とのそれぞれを撮像した動画像データに基づいて、熟練作業者および一般作業者の動作の軌跡特徴を抽出する第１の動作特徴抽出部１０２と、抽出された軌跡特徴の中から決定した基準となる軌跡特徴に類似する軌跡特徴をクラスタリングし、クラスタリングした軌跡特徴の出現頻度に応じてヒストグラムを生成し、生成したヒストグラムに基づいて、熟達した動作の軌跡特徴を特定するための判別学習を行う動作特徴学習部１０３と、判別学習の結果を参照し、熟達した動作であるか否かを判別するための境界を示す判別関数を生成する判別関数生成部１０４とを備えるように構成したので、動画像データから熟練作業者の熟達した動きを抽出することができ、抽出した動きから評価対象である作業者の技能を判別するための指標を得ることができる。
　また、この実施の形態１によれば、評価対象の作業者の作業を撮像した動画像データから、当該評価対象の作業者の動作の軌跡特徴を抽出し、予め決定された基準となる軌跡特徴を用いて、抽出した軌跡特徴をクラスタリングし、クラスタリングした軌跡特徴の出現頻度に応じてヒストグラムを生成する第２の動作特徴抽出部２０３と、予め求められた、熟達した動作を判別する判別関数により、生成されたヒストグラムから、評価対象の作業者の動作が熟達しているか否か判別する技能判別部２０５と、判別結果に基づいて、評価対象の作業者の動作が熟達している場合には熟練した作業者に対する情報を表示する制御を行い、評価対象の作業者の動作が熟達していない場合には熟練していない作業者に対する情報を表示する制御を行う表示制御部２０６とを備えるように構成したので、評価対象である作業者の作業を撮像した動画像データから、当該作業者の技能を判別することができる。判別結果に応じて、提示する情報を切り替えることができ、熟練作業者の作業を阻害する、あるいは作業効率を低下させてしまうのを抑制しつつ、一般作業者に技能を伝達することができる。
実施の形態２．
　この実施の形態２では、評価対象である作業者の体の部位毎に、技能を評価する構成を示す。
　図８は、実施の形態２に係る技能判別システムの構成を示すブロック図である。
　実施の形態２に係る技能判別システムの動作学習装置１００Ａは、図１に示した実施の形態１の動作学習装置１００に部位検出部１０５を追加して構成している。また、第１の動作特徴抽出部１０２、動作特徴学習部１０３および判別関数生成部１０４に替えて、第１の動作特徴抽出部１０２ａ、動作特徴学習部１０３ａおよび判別関数生成部１０４ａを備えて構成している。
　実施の形態２に係る技能判別システムの技能判別装置２００Ａは、図１に示した実施の形態１の第２の動作特徴抽出部２０３、技能判別部２０５および表示制御部２０６に替えて、第２の動作特徴抽出部２０３ａ、技能判別部２０５ａおよび表示制御部２０６ａを備えて構成している。
　以下では、実施の形態１に係る動作学習装置１００および技能判別装置２００の構成要素と同一または相当する部分には、実施の形態１で使用した符号と同一の符号を付して説明を省略または簡略化する。
　部位検出部１０５は、動画像データベース１０１に格納された動画像データを解析し、動画像データに含まれている熟練作業者および一般作業者の部位（以下、作業者の部位と記載する）を検出する。ここで、作業者の部位とは、作業者の指、手のひらおよび手首等である。部位検出部１０５は、検出した部位を示す情報と、動画像データとを第１の動作特徴抽出部１０２ａに出力する。第１の動作特徴抽出部１０２ａは、部位検出部１０５で検出された部位毎に、動画像データから熟練作業者および一般作業者の動作の軌跡特徴を抽出する。第１の動作特徴抽出部１０２ａは、抽出した動作の軌跡特徴を、作業者の部位を示す情報と紐付けて動作特徴学習部１０３ａに出力する。
　動作特徴学習部１０３ａは、第１の動作特徴抽出部１０２ａが抽出した動作の軌跡特徴から、部位毎に基準となる動作の軌跡特徴を決定する。動作特徴学習部１０３ａは、基準となる動作の軌跡特徴に基づいて、部位毎に熟達した動作の軌跡特徴を特定するための判別学習を行う。動作特徴学習部１０３ａは、決定した基準となる動作の軌跡特徴を部位毎に格納した動作特徴辞書を生成して技能判別装置２００Ａの動作特徴辞書格納部２０２に格納する。また、動作特徴学習部１０３ａは、部位毎の判別学習の結果を判別関数生成部１０４ａに出力する。判別関数生成部１０４ａは、動作特徴学習部１０３ａの学習結果を参照し、部位毎に判別関数を生成する。判別関数生成部１０４ａは、生成した判別関数を技能判別装置２００Ａの判別関数蓄積部２０４に蓄積する。
　第２の動作特徴抽出部２０３ａは、動作特徴辞書格納部２０２に格納された動作特徴辞書を参照し、画像情報取得部２０１が取得した評価対象の動画像データから動作の軌跡特徴を抽出する。第２の動作特徴抽出部２０３ａは、抽出した動作の軌跡特徴を作業者の部位を示す情報と紐付けて技能判別部２０５ａに出力する。技能判別部２０５ａは、判別関数蓄積部２０４に蓄積された判別関数を用いて、第２の動作特徴抽出部２０３ａが抽出した動作の軌跡特徴から評価対象である作業者の技能が熟達しているか否か判別を行う。技能判別部２０５ａは、動作の軌跡特徴に紐付けられた部位毎に判別を行う。技能判別部２０５ａは、判別結果を作業者の部位を示す情報に紐付けて表示制御部２０６ａに出力する。表示制御部２０６ａは、技能判別部２０５ａの判別結果に応じて、作業者の部位毎に支援情報として評価対象である作業者に表示すべき情報を決定する。
　次に、動作学習装置１００Ａおよび技能判別装置２００Ａのハードウェア構成例を説明する。なお、実施の形態１と同一の構成の説明は省略する。
　動作学習装置１００Ａにおける部位検出部１０５、第１の動作特徴抽出部１０２ａ、動作特徴学習部１０３ａおよび判別関数生成部１０４ａは、図２Ａで示した処理回路１００ａ、または図２Ｂで示したメモリ１００ｃに格納されるプログラムを実行するプロセッサ１００ｂである。
　技能判別装置２００Ａにおける第２の動作特徴抽出部２０３ａ、技能判別部２０５ａおよび表示制御部２０６ａ、図３Ａで示した処理回路２００ａ、または図３Ｂで示したメモリ２００ｃに格納されるプログラムを実行するプロセッサ２００ｂである。
　次に、動作学習装置１００Ａの動作および技能判別装置２００Ａの動作について説明する。まず、動作学習装置１００Ａの動作について説明する。
　図９は、実施の形態２に係る動作学習装置１００Ａの動作を示すフローチャートである。なお、図９のフローチャートにおいて、図４で示した実施の形態１のフローチャートと同一のステップには同一の符号を付し、説明を省略する。
　部位検出部１０５は、動画像データベース１０１から熟練作業者および一般作業者の動作を撮影した動画像データを読み出す（ステップＳＴ３１）。部位検出部１０５は、ステップＳＴ３１で読み出した動画像データに含まれる作業者の部位を検出する（ステップＳＴ３２）。部位検出部１０５は、検出した部位を示す情報と、読み出した動画像データとを第１の動作特徴抽出部１０２ａに出力する。第１の動作特徴抽出部１０２ａは、ステップＳＴ３１で読み出された動画像データから、ステップＳＴ３２で検出された作業者の部位毎に、動作の軌跡特徴を抽出する（ステップＳＴ２ａ）。第１の動作特徴抽出部１０２ａは、作業者の部位毎の動作の軌跡特徴を動作特徴学習部１０３ａに出力する。
　動作特徴学習部１０３ａは、作業者の部位毎に、基準となる複数の軌跡特徴を決定する（ステップＳＴ３ａ）。動作特徴学習部１０３ａは、ステップＳＴ３ａで決定した基準となる複数の軌跡特徴を用いて、作業者の部位毎に動作特徴辞書を作成し、技能判別装置２００Ａの動作特徴辞書格納部２０２に格納する（ステップＳＴ４ａ）。動作特徴学習部１０３ａは、ステップＳＴ５からステップＳＴ７の処理を行い、作業者の部位毎に射影変換行列を生成する（ステップＳＴ８ａ）。判別関数生成部１０４ａは、作業者の部位毎に判別関数を生成する（ステップＳＴ９ａ）。判別関数生成部１０４ａは、生成した判別関数を作業者の部位と紐付けて、技能判別装置２００Ａの判別関数蓄積部２０４に蓄積し（ステップＳＴ１０ａ）、処理を終了する。
　次に、技能判別装置２００Ａの動作について説明する。
　図１０は、実施の形態２に係る技能判別装置２００Ａの動作を示すフローチャートである。なお、図１０のフローチャートにおいて、図５で示した実施の形態１のフローチャートと同一のステップには同一の符号を付し、説明を省略する。
　第２の動作特徴抽出部２０３ａは、動作特徴辞書格納部２０２に格納された動作特徴辞書を参照し、抽出した軌跡特徴をクラスタリングし、出現頻度に応じたヒストグラムを部位毎に生成する（ステップＳＴ２３ａ）。第２の動作特徴抽出部２０３ａは、ステップＳＴ２３ａで生成したヒストグラムと作業者の部位とを紐付けて技能判別部２０５ａに出力する。技能判別部２０５ａは、判別関数蓄積部２０４に蓄積された部位毎の判別関数により、ステップＳＴ２３ａで生成されたヒストグラムから、作業者の部位毎の技能が熟達しているか否か判別する（ステップＳＴ２４ａ）。技能判別部２０５ａは、ステップＳＴ２４ａにおいて、全ての部位の技能について判別を行うと、判別結果を表示制御部２０６ａに出力する。
　表示制御部２０６ａは、ある部位に関して作業中の作業者の技能が熟達している場合（ステップＳＴ２４ａ；ＹＥＳ）、表示装置４００に対して、当該部位に関して熟練した作業者に対する情報を表示するための表示制御を行う（ステップＳＴ２５ａ）。一方、表示制御部２０６ａは、ある部位に関して作業中の作業者の技能が熟達していない場合（ステップＳＴ２４ａ；ＮＯ）、表示装置４００に対して、一般の作業者に対する情報を表示するための表示制御を行う（ステップＳＴ２６ａ）。以上で処理を終了する。なお、技能判別部２０５ａの判別結果が、ある部位に関して技能が熟達しているが、ある部位に関して技能が熟達していないことを示していた場合、表示制御部２０６ａは、ステップＳＴ２５ａおよびステップＳＴ２６ａの双方の処理を行う。
　以上のように、この実施の形態２によれば、動画像データから、熟練作業者および一般作業者の撮像された部位を検出する部位検出部１０５を備え、第１の動作特徴抽出部１０２ａが、検出された部位毎に軌跡特徴を抽出し、動作特徴学習部１０３ａが、検出された部位毎にヒストグラムを部位毎に生成して判別学習を行い、判別関数生成部１０４ａが、検出された部位毎に判別関数を生成するように構成したので、作業者の部位毎に、動作特徴を学習することができる。
　また、技能判別装置２００Ａにおいて、評価対象の作業者に対して部位毎に情報を提示することができ、詳細な情報の提示が可能となる。
　動作特徴学習部１０３，１０３ａが、判別分析において、熟練作業者群と一般的作業者群の２クラス分類を行う際に、クラス間の分散が最大、且つクラス内の分散が最小となる射影軸を計算し、判別境界を決定する構成を示した。スパース正規化項を追加して射影軸を計算すると、影響度の低い要素は重み「０」として学習される。これにより、動作特徴学習部１０３，１０３ａが射影軸を計算する際に、軸の成分が「０」を多く含むようにスパース正規化項を追加して射影軸を計算する構成とすることが可能である。
　動作特徴学習部１０３，１０３ａが、スパース正規化項を追加して射影軸を計算することにより、判別境界を決定するのに必要な特徴軌跡が、複数の軌跡の組み合わせという複雑な特徴軌跡の抽出となるのを抑制することができる。そのため、動作特徴学習部１０３は、複数の特徴軌跡の中からより少ない種類の特徴軌跡の組み合わせから、射影軸を計算して判別境界を決定することができる。これにより、技能判別装置２００，２００Ａは、作業者にとって分かりやすい技能レベルの提示を実現することができる。
　図１１は、実施の形態１に係る動作学習装置１００においてスパース正則化項を追加した場合の効果を示す図である。
　図１１では、実施の形態１の図６Ｃで示した学習結果に対して、スパース正則化項を追加して射影軸を計算して得られた際の、作業空間および軌跡Ｅを示している。図１１Ｄで示した横軸は第３の軌跡特徴Ｃを示し、その他の各軸は各軌跡特徴の出現頻度を表している。軌跡Ｅは、第３の軌跡特徴Ｃに対して平行であり、作業者に熟達した動きを示す軌跡をより分かりやすく表示している。
　上記以外にも、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。
　この発明に係る動作学習装置は、作業者の熟達した動きを学習することができるため、作業者を支援するシステム等に適用し、作業者に熟練した作業者の動きの特徴を教示し、熟練した作業者の技能の伝達を実現するのに適している。
　１００，１００Ａ　動作学習装置、１０１　動画像データベース、１０２，１０２ａ　第１の動作特徴抽出部、１０３，１０３ａ　動作特徴学習部、１０４，１０４ａ　判別関数生成部、１０５　部位検出部、２００，２００Ａ　技能判別装置、２０１　画像情報取得部、２０２　動作特徴辞書格納部、２０３，２０３ａ　第２の動作特徴抽出部、２０４　判別関数蓄積部、２０５，２０５ａ　技能判別部、２０６，２０６ａ　表示制御部。

Claims (7)

  1. 　熟練作業者と一般作業者とのそれぞれを撮像した動画像データに基づいて、前記熟練作業者および前記一般作業者の動作の軌跡特徴を抽出する第１の動作特徴抽出部と、
    　前記第１の動作特徴抽出部が抽出した前記軌跡特徴の中から決定した基準となる軌跡特徴に類似する軌跡特徴をクラスタリングし、クラスタリングした軌跡特徴の出現頻度に応じてヒストグラムを生成し、生成した前記ヒストグラムに基づいて、熟達した動作の軌跡特徴を特定するための判別学習を行う動作特徴学習部と、
    　前記動作特徴学習部の判別学習の結果を参照し、熟達した動作であるか否かを判別するための境界を示す判別関数を生成する判別関数生成部とを備えた動作学習装置。
  2. 　前記動作特徴学習部は、前記熟練作業者群のヒストグラムと、前記一般作業者群のヒストグラムとを用いて、前記熟練作業者群と前記一般作業者群との間の分散が最大、且つ各群内の分散が最小となる射影軸を計算し、前記判別関数を生成することを特徴とする請求項１記載の動作学習装置。
  3. 　前記動作特徴学習部は、機械学習による判別器を用いて前記判別学習を行うことを特徴とする請求項１記載の動作学習装置。
  4. 　前記動画像データから、前記熟練作業者および前記一般作業者の撮像された部位を検出する部位検出部を備え、
    　前記第１の動作特徴抽出部は、前記検出された部位毎に前記軌跡特徴を抽出し、
    　前記動作特徴学習部は、前記部位検出部で検出された部位毎に前記ヒストグラムを生成して前記判別学習を行い、
    　前記判別関数生成部は、前記検出された部位毎に前記判別関数を生成することを特徴とする請求項１記載の動作学習装置。
  5. 　前記動作特徴学習部は、スパース正則化項を追加し、前記判別器を用いた前記判別学習を行うことを特徴とする請求項３記載の動作学習装置。
  6. 　評価対象の作業者の作業を撮像した動画像データから、当該評価対象の作業者の動作の軌跡特徴を抽出し、予め決定された基準となる軌跡特徴を用いて、前記抽出した前記評価対象の作業者の軌跡特徴をクラスタリングし、クラスタリングした軌跡特徴の出現頻度に応じてヒストグラムを生成する第２の動作特徴抽出部と、
    　予め求められた、熟達した動作を判別する判別関数により、前記第２の動作特徴抽出部が生成したヒストグラムから、前記評価対象の作業者の動作が熟達しているか否か判別する技能判別部と、
    　前記技能判別部の判別結果に基づいて、前記評価対象の作業者の動作が熟達している場合には熟練作業者に対する情報を表示する制御を行い、前記評価対象の作業者の動作が熟達していない場合には一般作業者に対する情報を表示する制御を行う表示制御部とを備えた技能判別装置。
  7. 　熟練作業者と一般作業者とのそれぞれを撮像した動画像データに基づいて、前記熟練作業者および前記一般作業者の動作の第１の軌跡特徴を抽出する第１の動作特徴抽出部と、
    　前記第１の動作特徴抽出部が抽出した前記第１の軌跡特徴の中から基準となる軌跡特徴を決定し、決定した基準となる軌跡特徴に類似する前記第１の軌跡特徴をクラスタリングし、クラスタリングした前記第１の軌跡特徴の出現頻度に応じてヒストグラムを生成し、当該ヒストグラムに基づいて、熟達した動作の軌跡特徴を特定するための判別学習を行う動作特徴学習部と、
    　前記動作特徴学習部の判別学習の結果を参照し、熟達した動作であるか否かを判別するための境界を示す判別関数を生成する判別関数生成部と、
    　評価対象の作業者の作業を撮像した動画像データから、前記評価対象の作業者の動作の第２の軌跡特徴を抽出し、前記動作特徴学習部が決定した前記基準となる軌跡特徴を用いて、前記第２の軌跡特徴をクラスタリングし、クラスタリングした前記第２の軌跡特徴の出現頻度に応じてヒストグラムを生成する第２の動作特徴抽出部と、
    　前記判別関数生成部が生成した前記判別関数により、前記第２の動作特徴抽出部が生成したヒストグラムから、前記作業中の作業者の動作が熟達しているか否か判別する技能判別部と、
    　前記技能判別部の判別結果に基づいて、前記作業中の作業者の動作が熟達している場合には前記熟練作業者に対する情報を表示する制御を行い、前記作業中の作業者の動作が熟達していない場合には前記一般作業者に対する情報を表示する制御を行う表示制御部とを備えた技能判別システム。
PCT/JP2017/007104 2017-02-24 2017-02-24 動作学習装置、技能判別装置および技能判別システム WO2018154709A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
US16/475,230 US20190370982A1 (en) 2017-02-24 2017-02-24 Movement learning device, skill discriminating device, and skill discriminating system
DE112017006891.6T DE112017006891T5 (de) 2017-02-24 2017-02-24 Bewegungslerneinrichtung, fertigkeitendiskriminationseinrichtung und fertigkeitendiskriminationssystem
KR1020197023884A KR20190099537A (ko) 2017-02-24 2017-02-24 동작 학습 장치, 기능 판별 장치 및 기능 판별 시스템
PCT/JP2017/007104 WO2018154709A1 (ja) 2017-02-24 2017-02-24 動作学習装置、技能判別装置および技能判別システム
CN201780086469.3A CN110291559A (zh) 2017-02-24 2017-02-24 动作学习装置、技能判别装置以及技能判别系统
JP2019500950A JP6570786B2 (ja) 2017-02-24 2017-02-24 動作学習装置、技能判別装置および技能判別システム
TW106113889A TW201832182A (zh) 2017-02-24 2017-04-26 動作學習裝置、技能判別裝置以及技能判別系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/007104 WO2018154709A1 (ja) 2017-02-24 2017-02-24 動作学習装置、技能判別装置および技能判別システム

Publications (1)

Publication Number Publication Date
WO2018154709A1 true WO2018154709A1 (ja) 2018-08-30

Family

ID=63252523

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/007104 WO2018154709A1 (ja) 2017-02-24 2017-02-24 動作学習装置、技能判別装置および技能判別システム

Country Status (7)

Country Link
US (1) US20190370982A1 (ja)
JP (1) JP6570786B2 (ja)
KR (1) KR20190099537A (ja)
CN (1) CN110291559A (ja)
DE (1) DE112017006891T5 (ja)
TW (1) TW201832182A (ja)
WO (1) WO2018154709A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020071864A (ja) * 2018-10-31 2020-05-07 ファナック株式会社 表示システム、機械学習装置、及び表示装置
US11119716B2 (en) 2018-10-31 2021-09-14 Fanuc Corporation Display system, machine learning device, and display device
JP7249444B1 (ja) 2022-02-14 2023-03-30 日鉄ソリューションズ株式会社 情報処理装置、情報処理方法、プログラム、及び情報処理システム
JP7393720B2 (ja) 2019-10-29 2023-12-07 オムロン株式会社 技能評価装置、技能評価方法及び技能評価プログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7106851B2 (ja) * 2017-12-12 2022-07-27 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
KR102618732B1 (ko) * 2019-08-27 2023-12-27 엘지전자 주식회사 얼굴 인식 활용 단말기 및 얼굴 인식 활용 방법
CN111046739A (zh) * 2019-11-14 2020-04-21 京东数字科技控股有限公司 一种操作熟练度识别方法、装置及存储介质
KR102466433B1 (ko) * 2020-09-03 2022-11-11 (주)넥스트랩 영상 분석 기반 작업 동작 인식 장치 및 방법
CN114783611B (zh) * 2022-06-22 2022-08-23 新泰市中医医院 基于人工智能的神经康复动作检测系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011133984A (ja) * 2009-12-22 2011-07-07 Panasonic Corp 動作特徴抽出装置および動作特徴抽出方法
JP2012088881A (ja) * 2010-10-19 2012-05-10 Nippon Hoso Kyokai <Nhk> 人物動作検出装置およびそのプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011133984A (ja) * 2009-12-22 2011-07-07 Panasonic Corp 動作特徴抽出装置および動作特徴抽出方法
JP2012088881A (ja) * 2010-10-19 2012-05-10 Nippon Hoso Kyokai <Nhk> 人物動作検出装置およびそのプログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020071864A (ja) * 2018-10-31 2020-05-07 ファナック株式会社 表示システム、機械学習装置、及び表示装置
US11119716B2 (en) 2018-10-31 2021-09-14 Fanuc Corporation Display system, machine learning device, and display device
JP7393720B2 (ja) 2019-10-29 2023-12-07 オムロン株式会社 技能評価装置、技能評価方法及び技能評価プログラム
JP7249444B1 (ja) 2022-02-14 2023-03-30 日鉄ソリューションズ株式会社 情報処理装置、情報処理方法、プログラム、及び情報処理システム
WO2023153036A1 (ja) * 2022-02-14 2023-08-17 日鉄ソリューションズ株式会社 情報処理装置、情報処理方法、プログラム、及び情報処理システム
JP2023117614A (ja) * 2022-02-14 2023-08-24 日鉄ソリューションズ株式会社 情報処理装置、情報処理方法、プログラム、及び情報処理システム

Also Published As

Publication number Publication date
TW201832182A (zh) 2018-09-01
DE112017006891T5 (de) 2019-10-10
US20190370982A1 (en) 2019-12-05
KR20190099537A (ko) 2019-08-27
JP6570786B2 (ja) 2019-09-04
JPWO2018154709A1 (ja) 2019-06-27
CN110291559A (zh) 2019-09-27

Similar Documents

Publication Publication Date Title
JP6570786B2 (ja) 動作学習装置、技能判別装置および技能判別システム
US11703951B1 (en) Gesture recognition systems
US9098740B2 (en) Apparatus, method, and medium detecting object pose
JP5417494B2 (ja) 画像処理方法およびシステム
Harville et al. Fast, integrated person tracking and activity recognition with plan-view templates from a single stereo camera
JP6032921B2 (ja) 物体検出装置及びその方法、プログラム
JP6007682B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20130251246A1 (en) Method and a device for training a pose classifier and an object classifier, a method and a device for object detection
JP2014182480A (ja) 人物認識装置、及び方法
WO2015070764A1 (zh) 一种人脸定位的方法与装置
JP6487642B2 (ja) 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。
JP2016099982A (ja) 行動認識装置、行動学習装置、方法、及びプログラム
JP6071002B2 (ja) 信頼度取得装置、信頼度取得方法および信頼度取得プログラム
JP6756406B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
KR20120089948A (ko) Ｍｈｉ의 형태 정보를 이용한 실시간 동작 인식시스템 및 실시간 동작 인식 방법
JP2007280219A (ja) 動きパターン認識装置、動きパターン認識方法及び動きパターン認識プログラム
JP6384167B2 (ja) 移動体追跡装置及び移動体追跡方法、並びにコンピュータ・プログラム
WO2018173848A1 (ja) オブジェクト追跡システム、インテリジェント撮像装置、オブジェクト特徴量抽出装置、オブジェクト特徴量抽出方法及び記憶媒体
JP2021144359A (ja) 学習装置、推定装置、学習方法、及びプログラム
JP6393495B2 (ja) 画像処理装置および物体認識方法
Moseva et al. Algorithm for Predicting Pedestrian Behavior on Public Roads
Thabet et al. Algorithm of local features fusion and modified covariance-matrix technique for hand motion position estimation and hand gesture trajectory tracking approach
JP2011233072A (ja) ロボット、位置推定方法及びプログラム
Elsayed et al. Hybrid method based on multi-feature descriptor for static sign language recognition
TWI618027B (zh) 基因演算三維手勢影像辨識方法及其系統

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17897958

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019500950

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20197023884

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 17897958

Country of ref document: EP

Kind code of ref document: A1