WO2022219724A1 - 推論装置、学習装置、推論方法、学習方法、推論プログラム及び学習プログラム - Google Patents

推論装置、学習装置、推論方法、学習方法、推論プログラム及び学習プログラム Download PDF

Info

Publication number
WO2022219724A1
WO2022219724A1 PCT/JP2021/015344 JP2021015344W WO2022219724A1 WO 2022219724 A1 WO2022219724 A1 WO 2022219724A1 JP 2021015344 W JP2021015344 W JP 2021015344W WO 2022219724 A1 WO2022219724 A1 WO 2022219724A1
Authority
WO
WIPO (PCT)
Prior art keywords
curve
trajectory
learned
trajectory curve
movement trajectory
Prior art date
Application number
PCT/JP2021/015344
Other languages
English (en)
French (fr)
Inventor
士人 新井
勝大 草野
尚吾 清水
誠司 奥村
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2023514228A priority Critical patent/JP7297182B2/ja
Priority to EP21936926.1A priority patent/EP4318396A4/en
Priority to CN202180096585.XA priority patent/CN117099131A/zh
Priority to PCT/JP2021/015344 priority patent/WO2022219724A1/ja
Publication of WO2022219724A1 publication Critical patent/WO2022219724A1/ja
Priority to US18/239,328 priority patent/US20230410322A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Definitions

  • a movement trajectory curve is a curve representing a movement trajectory of an object.
  • Patent Literature 1 discloses a technique to which such an image analysis technique is applied, particularly a technique for recognizing the action content of a worker from the movement trajectory curve of each part of the body of the factory worker.
  • Patent Document 1 in order to solve the problem of erroneous recognition when the coordinate values of the movement curves are different even if the type of movement is the same and the shape of the curve is the same, the shapes of the movement curves are compared. discloses a movement type recognition technique that is robust against positional differences. However, since the shapes of the movement trajectory curves are compared, if there are two or more learned movement trajectory curves that are similar in shape to each other, there is a problem that the type of movement cannot be recognized accurately. be.
  • One of the main purposes of this disclosure is to solve such problems. More specifically, the present disclosure accurately recognizes the type of movement even when there are two or more learned movement trajectory curves that are similar in shape to each other while having robust performance against position differences.
  • the main purpose is to obtain a configuration that can be
  • the reasoning device is A shape similarity calculation unit that calculates a shape similarity between a learned trajectory curve, which is a trajectory curve obtained by learning, and an observed trajectory curve, which is a trajectory curve obtained by observation.
  • Positional similarity for calculating positional similarity between the learned trajectory curve and the observed trajectory curve when the learned trajectory curve and the observed trajectory curve are arranged in the same coordinate space.
  • a degree calculation unit; and a goodness-of-fit calculation unit that calculates a goodness of fit between the learned trajectory curve and the observed trajectory curve using the shape similarity and the positional similarity.
  • FIG. 1 is a diagram showing a configuration example of an analysis system according to Embodiment 1;
  • FIG. 2 is a diagram showing a functional configuration example of a learning device according to Embodiment 1;
  • FIG. 2 is a diagram showing a hardware configuration example of a learning device according to Embodiment 1;
  • FIG. 2 is a diagram showing a functional configuration example of an inference apparatus according to Embodiment 1;
  • FIG. 2 is a diagram showing a hardware configuration example of an inference apparatus according to Embodiment 1;
  • FIG. FIG. 5 is a diagram showing comparison processing of the inference apparatus according to Embodiment 1;
  • FIG. 4 is a diagram showing the relationship between a movement trajectory curve and movement speed according to Embodiment 1;
  • FIG. 4 is a diagram showing a procedure for generating a learning movement trajectory curve according to Embodiment 1;
  • FIG. 5 is a diagram showing an example of variations in basic movement trajectory curves according to Embodiment 1; 4A and 4B are diagrams showing examples of positional similarity and shape similarity according to the first embodiment;
  • FIG. 5 is a diagram showing an example of calculation of integrated importance according to the first embodiment;
  • FIG. 5 is a diagram showing an example of calculation of a goodness of fit according to the first embodiment;
  • FIG. 10 is a diagram showing an example of a multimodal probability distribution according to the second embodiment;
  • FIG. FIG. 11 is a diagram showing an example of calculation of distribution coefficient values according to the third embodiment;
  • FIG. 10 is a flowchart showing an operation example of the inference device according to Embodiment 4;
  • 4A and 4B are diagrams showing an example of an operation according to the first embodiment;
  • FIG. FIG. 4 is a diagram showing an example of a movement trajectory curve according to Embodiment 1;
  • Embodiment 1 ***Description of assignment*** In this embodiment, a configuration will be described in which the type of movement can be recognized accurately even when there are two or more learned movement locus curves having mutually similar shapes. First, an example will be described in which the conventional image analysis technology cannot accurately recognize the type of movement when there are two or more learned movement trajectory curves that are similar in shape to each other.
  • FIG. 18 shows a state in which the worker 800 is extending his hand after starting to extend his hand.
  • (b) of FIG. 18 shows a state in which the worker 800 is picking up the part A.
  • FIG. (c) of FIG. 18 shows a state in which the worker 800 is picking up the part B.
  • FIG. Normally, at the stage of (a) of FIG. 18, there is not much difference in how the operator 800 extends his/her hand, regardless of whether the part A or the part B is taken.
  • FIG. 19 shows a movement trajectory curve representing the movement trajectory of the hand of worker 800 shown in FIG.
  • FIG. 19(a) shows two trajectory curves obtained by learning.
  • the two trajectory curves in FIG. 19(a) are labeled as learned trajectory curves.
  • a curve A is a movement trajectory curve representing a movement trajectory of the hand of the worker 800 when the worker 800 picks up the part A. That is, the curve A is labeled with, for example, "part A acquisition operation”.
  • curve B is a movement trajectory curve representing the movement trajectory of the hand of worker 800 when worker 800 picks up component B.
  • the curve B is labeled with, for example, "component B acquisition operation".
  • FIG. 19 shows a movement trajectory curve representing the movement trajectory of the hand of worker 800 shown in FIG.
  • FIG. 19(a) shows two trajectory curves obtained by learning.
  • the two trajectory curves in FIG. 19(a) are labeled as learned trajectory curves.
  • a curve A is a movement trajectory curve representing a movement trajectory of the hand
  • FIG. 19 shows a movement trajectory curve in a two-dimensional coordinate space of yt.
  • the movement trajectory curve is set in the xyt coordinate space or the xyzt coordinate space.
  • drawings other than FIG. 19 an example in which the movement trajectory curve is arranged in a two-dimensional coordinate space of yt will be shown.
  • a trajectory curve is set in the coordinate space of t.
  • x, y, and z above represent the x, y, and z axes in FIG.
  • t represents time.
  • curve C in FIG. 19(b) is a movement trajectory curve obtained by analyzing image data when worker 800 newly performs an action of picking up part A or part B.
  • FIG. 19(b) is a movement trajectory curve obtained by analyzing image data when worker 800 newly performs an action of picking up part A or part B.
  • (c) of FIG. 19 shows an example of comparison processing.
  • comparison processing is performed only on the shape of the movement trajectory curve. Therefore, since the curves A and B are similar in shape, it is difficult to accurately recognize which of the curve A and the curve B the curve C is classified into. Therefore, there is a possibility that the motion of the worker 800 represented by the curve C is erroneously recognized.
  • FIG. 1 shows a configuration example of an analysis system 1000 according to this embodiment.
  • An analysis system 1000 according to this embodiment is composed of a learning device 100 and an inference device 200 .
  • learning device 100 and reasoning device 200 are implemented by different computers, but learning device 100 and reasoning device 200 may be implemented by the same computer.
  • the learning device 100 performs learning using a plurality of image data 400 and generates movement trajectory curves for each type of movement.
  • the trajectory curve generated by learning device 100 is used for comparison by inference device 200 .
  • the movement trajectory curve generated by the learning device 100 is referred to as a learned movement trajectory curve.
  • the learned movement trajectory curve is included in the learned trajectory data 300 . Details of the learning locus data 300 will be described later.
  • the inference device 200 analyzes the image data 600 and generates a movement trajectory curve.
  • the movement trajectory curve generated by the inference device 200 is called an observed movement trajectory curve because it is a movement trajectory curve generated by observing an object.
  • the reasoning device 200 compares the learned trajectory curve and the observed trajectory curve.
  • the inference apparatus 200 compares the positions of the movement trajectory curves in addition to comparing the shapes of the movement trajectory curves in the inference phase.
  • the trajectory curve is subdivided into multiple curve components.
  • a curve component is, for example, a point corresponding to each time point in the movement trajectory curve, that is, a plot point.
  • the comparison of the shape of the trajectory curve and the comparison of the position of the trajectory curve are performed for each curve component.
  • the plotted points are assumed to be curve components.
  • FIG. 6 shows an example of position comparison processing by the inference device 200 .
  • (a) of FIG. 6 is the same as (a) of FIG. (b) of FIG. 6 is the same as (b) of FIG. (c) of FIG. 6 shows an example in which the inference device 200 compares the positions of the curve A and the curve C.
  • the inference apparatus 200 calculates the degree of similarity between the positions of the curve A and the curve C when the curve A and the curve C are arranged in the same coordinate space. Perform position comparison. Specifically, the reasoning apparatus 200 calculates the distance in the y-axis direction between the plot points of curve A and the corresponding plot points of curve C.
  • the reasoning apparatus 200 calculates the distances in the y-axis direction between plot points for all pairs of plot points, and integrates the calculation results to obtain the degree of similarity in position between curve A and curve C. calculate.
  • (d) of FIG. 6 is an example in which the inference device 200 compares the positions of curve B and curve C.
  • FIG. The inference device 200 compares the positions of the curve B and the curve C when the curve B and the curve C are arranged in the same coordinate space, and calculates the degree of similarity.
  • a comparison of the shapes is shown in FIG. 19(c). In the shape comparison, the degree of similarity of the shapes of the movement trajectory curves is calculated. As shown in (c) of FIG.
  • both curve A and curve B are similar to curve C, so it is useful to determine whether curve C is classified as curve A or curve B. difficult.
  • the reasoning apparatus 200 also compares positions. As shown in FIGS. 6(c) and 6(d), the reasoning apparatus 200 can classify the curve C as the curve A because the curve C is more similar to the curve A than the curve B in position.
  • the inference device 200 performs analysis using attributes of each curve component in the movement trajectory curve, in addition to comparing the position and shape of the movement trajectory curve.
  • learning device 100 performs analysis using the attribute of each curve component in the movement trajectory curve in the learning phase in accordance with such analysis by inference device 200 .
  • the learning device 100 and the inference device 200 perform analysis using the moving speed of each curve component and the distribution of the basic movement trajectory curve for each curve component as attributes of each curve component.
  • the basic movement trajectory curve is one of movement trajectory curves representing a series of motions generated from a plurality of image data 400 that are input in the learning phase. Analysis using the movement speed for each curve component and analysis using the distribution of the basic movement trajectory curve for each curve component will be described below.
  • FIG. 7 shows the relationship between the movement trajectory curve and the movement speed of the hand of worker 800 when the motion of FIG. 18 is performed. Since unimportant motions are performed at curve components (plotted points) corresponding to the stage from the beginning of the hand extension to the middle of the extension, the hand movement speed is high. On the other hand, at the curve component (plotted point) corresponding to the stage where the worker 800 picks up the part, the movement speed of the hand slows down because the important action of adjusting the position of the hand to the position of the part is performed.
  • learning device 100 and reasoning device 200 assume that a curve component with a slow moving speed is performing an important action, and thus, the curve component with a slow moving speed is considered as an important curve component. Evaluate as an element.
  • the learning device 100 sets a higher speed coefficient value cd for a curve component having a slower moving speed.
  • the inference apparatus 200 sets a higher speed importance level ce for a curve component having a slower moving speed.
  • the reasoning unit 200 connects the velocity importance ce for each curve component to generate a velocity importance curve. Details of the speed coefficient value cd and the speed importance degree ce will be described later.
  • the learning device 100 learns a plurality of image data 400 obtained by photographing the same type of motion a plurality of times to generate a plurality of basic movement trajectory curves.
  • the worker 800 in FIG. 18 performs the action of picking up the part A multiple times.
  • the learning device 100 learns a plurality of image data 400 obtained by photographing the action of picking up the part A each time.
  • the learning device 100 then generates a plurality of basic movement trajectory curves corresponding to the plurality of image data 400 .
  • the learning device 100 integrates a plurality of basic trajectory curves to generate a final learned trajectory curve. Details of the procedure shown in FIG. 8 will be described later.
  • the learning device 100 obtains the probability distribution p of the movement trajectory curves obtained by normalizing a plurality of basic movement trajectory curves with respect to time. Then, learning device 100 sets distribution coefficient value pd according to the likelihood obtained from probability distribution p. The learning device 100 sets a higher distribution coefficient value pd for a curve component with a higher likelihood. As shown in FIG. 9, the learning device 100 sets a low distribution coefficient value pd because the likelihood is low for curve components with large variations. On the other hand, the learning device 100 sets a high distribution coefficient value pd because a curve component with small variation has a high likelihood. The learning device 100 connects the distribution coefficient values pd for each curve component to generate a distribution coefficient curve.
  • the shape of the probability distribution p may be of any shape. That is, the shape of the probability distribution p may be a normal distribution or non-parametric (not a mathematical model). Moreover, the probability distribution p may be a single numerical value without taking a distribution shape. The details of the distribution coefficient value pd and the distribution importance pe will be described later.
  • FIG. 2 shows a functional configuration example of the learning device 100 according to this embodiment.
  • 3 shows a hardware configuration example of the learning device 100. As shown in FIG. First, a hardware configuration example of the learning device 100 will be described with reference to FIG.
  • Learning device 100 is a computer.
  • the operation procedure of learning device 100 corresponds to a learning method.
  • a program that implements the operation of the learning device 100 corresponds to a learning program.
  • the learning device 100 includes a processor 911, a main storage device 912, an auxiliary storage device 913, and a communication device 914 as hardware. Further, as shown in FIG. 2, the learning device 100 includes a learning movement trajectory curve generation unit 101 and a coefficient value setting unit 102 as functional configurations.
  • the auxiliary storage device 913 stores a program that implements the functions of the learning movement trajectory curve generation unit 101 and the coefficient value setting unit 102 . These programs are loaded from the auxiliary storage device 913 to the main storage device 912 .
  • FIG. 3 schematically shows a state in which the processor 911 is executing a program that implements the functions of the learning movement trajectory curve generation unit 101 and the coefficient value setting unit 102 .
  • the learned movement trajectory curve generation unit 101 generates a learned movement trajectory curve 150 through learning. More specifically, the learning trajectory curve generator 101 acquires a plurality of image data 400, performs image analysis, and generates a plurality of basic trajectory curves 140 based on the image analysis results. Then, the learned movement trajectory curve generation unit 101 generates the learned movement trajectory curve 150 by integrating the plurality of generated basic movement trajectory curves 140, as described with reference to FIG.
  • the image data 400 is, for example, image data obtained by photographing the action of the worker 800 shown in FIG. 18 holding the part A. Further, the image data 400 is, for example, image data obtained by photographing the action of the worker 800 shown in FIG. 18 holding the part B.
  • the learned movement trajectory curve 150 is a movement trajectory curve representing the movement trajectory of the movement of the object.
  • the learned trajectory curve 150 is subdivided into a plurality of curve components (plot points).
  • the learning movement trajectory curve generation unit 101 acquires the label information 500 from the user of the learning device 100, for example.
  • the label information 500 is a label for classifying the basic trajectory curve 140 and the learned trajectory curve 150 .
  • the image data 400 is a plurality of image data obtained by photographing a series of actions of the worker 800 holding the part A shown in FIG. .
  • the image data 400 is a plurality of image data obtained by photographing the action of the worker 800 picking up the part B shown in FIG.
  • the processing performed by the learning movement trajectory curve generation unit 101 corresponds to learning movement trajectory curve generation processing.
  • the coefficient value setting unit 102 sets a coefficient value for each curve component (plot point) of the learned movement trajectory curve 150 based on the attribute.
  • the coefficient value setting unit 102 is composed of a speed coefficient value setting unit 1021 , a distribution coefficient value setting unit 1022 and a learning trajectory data generation unit 1023 .
  • the processing performed by the coefficient value setting unit 102 corresponds to coefficient value setting processing.
  • the speed coefficient value setting unit 1021 sets a coefficient value for each curve component based on the moving speed of the object for each curve component, which is an attribute for each curve component of the learned movement trajectory curve 150 .
  • the coefficient value set by the speed coefficient value setting unit 1021 is the speed coefficient value cd.
  • the speed coefficient value setting unit 1021 sets a higher speed coefficient value cd for a curve component with a slower moving speed of the object.
  • the distribution coefficient value setting unit 1022 is an attribute of each curve constituent element of the learned movement trajectory curve 150.
  • a coefficient value is set for each curve component based on the probability distribution p of a plurality of basic trajectory curves 140 for each element.
  • the coefficient value set by the distribution coefficient value setting unit 1022 is the distribution coefficient value pd.
  • the distribution coefficient value setting unit 1022 sets a higher distribution coefficient value pd for a curve component having a higher likelihood obtained from the probability distribution p of the plurality of basic trajectory curves 140 .
  • the learning trajectory data generation unit 1023 generates the learning trajectory data 300 . Specifically, the learning trajectory data generation unit 1023 generates the learning trajectory curve 150, the label 160 indicated in the label information 500, the speed coefficient value 170 (speed coefficient value cd), and the distribution coefficient value 180 (distribution coefficient value pd) and learning trajectory data 300 is generated. The learning trajectory data generation unit 1023 generates the learning trajectory data 300 for each type of movement. Specifically, for example, the learning trajectory data generation unit 1023 generates learning trajectory data 300 for the “part A acquisition motion” and learning trajectory data 300 for the “part B acquisition motion”. Each piece of learning trajectory data 300 is transmitted to the inference device 200 by the communication device 914, for example.
  • FIG. 4 shows a functional configuration example of the inference device 200 according to this embodiment.
  • FIG. 5 shows a hardware configuration example of the inference device 200 .
  • a hardware configuration example of the inference device 200 will be described with reference to FIG.
  • Inference apparatus 200 is a computer.
  • An operation procedure of the inference device 200 corresponds to an inference method.
  • a program that implements the operation of the inference device 200 corresponds to an inference program.
  • the inference device 200 includes a processor 921, a main storage device 922, an auxiliary storage device 923, and a communication device 924 as hardware.
  • the inference device 200 includes an observed movement trajectory curve generation unit 201, a similarity calculation unit 202, and a fitness calculation unit 203 as functional configurations.
  • the auxiliary storage device 923 stores a program that implements the functions of the observed movement trajectory curve generation unit 201 , the similarity calculation unit 202 , and the fitness calculation unit 203 .
  • FIG. 5 schematically shows a state in which the processor 921 is executing a program that implements the functions of the observed movement trajectory curve generation unit 201 , the similarity calculation unit 202 , and the fitness calculation unit 203 .
  • the observed movement trajectory curve generation unit 201 acquires a plurality of image data 600, performs image analysis on the image data 600, and generates an observed movement trajectory curve 250 based on the image analysis results.
  • the plurality of image data 600 is, for example, a series of image data obtained by photographing the action of the worker 800 shown in FIG. 18 acquiring the part A.
  • the observed trajectory curve 250 is a trajectory curve representing the trajectory of movement of the object. Observed trajectory curve 250 is subdivided into a plurality of curve components (plot points) corresponding to a plurality of curve components (plot points) of learned trajectory curve 150 .
  • the similarity calculator 202 acquires the learned trajectory data 300 and the observed movement trajectory curve 250 . Then, the similarity calculation unit 202 calculates the similarity between the learned trajectory curve 150 and the observed trajectory curve 250 .
  • the similarity calculation unit 202 calculates the “part A obtaining operation and the learning locus data 300 for the "part B obtaining operation”. Then, the similarity calculation unit 202 calculates the similarity between the learned movement trajectory curve 150 and the observed movement trajectory curve 250 for the "part A obtaining operation”.
  • the similarity calculation unit 202 calculates the similarity between the learned movement trajectory curve 150 and the observed movement trajectory curve 250 for the "part B acquisition operation".
  • the similarity calculation unit 202 is composed of a shape similarity calculation unit 2021 and a position similarity calculation unit 2022 .
  • the shape similarity calculator 2021 calculates the shape similarity between the learned trajectory curve 150 and the observed trajectory curve 250 .
  • the shape similarity calculator 2021 calculates the shape similarity for each corresponding curve component between the learned trajectory curve 150 and the observed trajectory curve 250 .
  • the processing performed by the shape similarity calculation unit 2021 corresponds to shape similarity calculation processing.
  • the positional similarity calculator 2022 calculates the positional similarity between the learned trajectory curve 150 and the observed trajectory curve 250 .
  • the positional similarity is the degree of positional similarity between the learned trajectory curve 150 and the observed trajectory curve 250 when the learned trajectory curve 150 and the observed trajectory curve 250 are arranged in the same coordinate space.
  • the positional similarity calculator 2022 calculates the positional similarity for each corresponding curve component between the learned trajectory curve 150 and the observed trajectory curve 250 .
  • the processing performed by the position similarity calculation unit 2022 corresponds to position similarity calculation processing.
  • FIG. 10 shows an example of positional similarity and shape similarity.
  • (a) of FIG. 10 shows an example of the learning locus data 300 .
  • (b) of FIG. 10 shows an example of an observed movement trajectory curve 250 .
  • (c) of FIG. 10 shows a calculation image of the positional similarity.
  • (d) of FIG. 10 shows an image of the positional similarity obtained from the calculation of (c) of FIG. 10 .
  • “f” in (d) of FIG. 10 represents the positional similarity.
  • (e) of FIG. 10 shows a calculation image of the shape similarity.
  • (f) of FIG. 10 shows an image of the shape similarity obtained from the calculation of (e) of FIG. "g" in (f) of FIG. 10 represents the shape similarity.
  • the fitness calculator 203 calculates the fitness between the learned trajectory curve 150 and the observed trajectory curve 250 using the shape similarity and position similarity calculated by the similarity calculator 202 .
  • the suitability calculation unit 203 calculates the “part A obtaining operation ” between the learned trajectory curve 150 and the observed trajectory curve 250 .
  • the fitness calculation unit 203 calculates the fitness between the learned movement trajectory curve 150 and the observed movement trajectory curve 250 for the "part B acquisition operation”. Then, the fitness calculation unit 203 outputs the label 160 of the type of movement with a high fitness.
  • the processing performed by the fitness calculation unit 203 corresponds to fitness calculation processing.
  • the suitability calculation unit 203 is composed of an importance setting unit 2031 and a label output unit 2032 .
  • the importance setting unit 2031 sets the importance for each curve component of the learned movement trajectory curve 150 based on the attribute of each curve component. Specifically, the speed importance and distribution importance are calculated from the speed coefficient value 170 and the distribution coefficient value 180 in the learning locus data 300, respectively.
  • the label output unit 2032 integrates the speed importance and the distribution importance to obtain an integrated importance. Then, the label output unit 2032 calculates the degree of conformity between the learned movement trajectory curve 150 and the observed movement trajectory curve 250 using the shape similarity, positional similarity, and integrated importance of each curve component. Specifically, the label output unit 2032 corrects at least one of shape similarity and position similarity for each curve component using the integrated importance of the same curve component. Then, the label output unit 2032 uses the uncorrected/corrected shape similarity and the uncorrected/corrected positional similarity for each curve component to obtain the learned movement trajectory curve 150 and the observed movement trajectory curve 250.
  • the label output unit 2032 selects the learned trajectory curve 150 with the highest degree of conformity from among the plurality of learned trajectory curves 150, and selects the learned trajectory data 300 corresponding to the selected learned trajectory curve 150. , outputs the label 160 of the selected learning trajectory data 300 .
  • FIG. 11 shows an operation example of the learning device 100 .
  • an operation example of the learning device 100 will be described with reference to FIG.
  • the learned movement trajectory curve generation unit 101 analyzes image data 400 obtained by photographing a plurality of motions of the same type, and generates a movement trajectory curve from the image data 400 of each motion.
  • the trajectory curve generated in step S101 corresponds to the basic trajectory curve.
  • the learned movement trajectory curve generation unit 101 learns a series of image data 400 of the action of the worker 800 picking up the part A in FIG. Generate a base trajectory curve.
  • the learned movement trajectory curve generator 101 generates a movement trajectory curve for the coordinates of each part of the body of the worker 800 .
  • the movement trajectory curve generated by the learning movement trajectory curve generation unit 101 only the movement trajectory curve of the hand of the worker 800 will be described.
  • the movement trajectory curve generated by the observed movement trajectory curve generation unit 201 only the movement trajectory curve of the hand of the worker 800 will be described.
  • step S102 the learning trajectory curve generation unit 101 sets corresponding labels to the plurality of basic trajectory curves 140 generated in step S101 based on the label information 500 input by the user of the learning device 100. do.
  • the learned movement trajectory curve generator 101 sets the label "part A acquisition operation" to the plurality of basic movement trajectory curves 140, for example.
  • step S103 the learning movement trajectory curve generating unit 101 determines whether or not there is unprocessed image data 400.
  • the process returns to step S101.
  • the process proceeds to step S104.
  • step S104 the learning movement trajectory curve generation unit 101 selects any unselected label.
  • step S105 the learned movement trajectory curve generation unit 101 generates a learned movement trajectory curve 150 by integrating the basic movement trajectory curves 140 having the same label as the label selected in step S104.
  • step S105 Details of step S105 will be described with reference to FIG.
  • the learned trajectory curve generator 101 arranges a plurality of basic trajectory curves 140 with the same label in the same coordinate space.
  • the learned trajectory curve generator 101 normalizes the plurality of basic trajectory curves 140 with respect to time, as shown in FIG. 8(b).
  • the learning movement trajectory curve generation unit 101 performs time adjustment and time expansion/contraction. That is, the learning trajectory curve generation unit 101 performs time expansion/contraction of each of the basic trajectory curves 140 so that the start point time and the end point time of the plurality of basic trajectory curves 140 match.
  • the learned movement trajectory curve generator 101 may expand or contract the entire section of each basic movement trajectory curve 140 at a constant rate.
  • the learned movement trajectory curve generation unit 101 may determine the optimum expansion/contraction rate for each time using a technique such as DTW (Dynamic Time Warping).
  • the learned trajectory curve generator 101 generates one learned trajectory curve by integrating a plurality of normalized basic trajectory curves 140, as shown in FIG. 8(c).
  • the learned movement trajectory curve generator 101 treats the average movement trajectory curve of the plurality of basic movement trajectory curves 140 after normalization as the learned movement trajectory curve 150 .
  • a solid line in (c) of FIG. 8 indicates the learning movement trajectory curve 150 .
  • the learned trajectory curve 150 is a trajectory curve obtained by averaging the normalized basic trajectory curve 140 .
  • the dashed line in 8(c) of FIG. 8 indicates the variation of the basic movement trajectory curve 140 after normalization.
  • the learned movement trajectory curve generation unit 101 sets the labels set to the plurality of basic movement trajectory curves 140 to the labels 160 of the learned movement trajectory curve 150 .
  • the speed coefficient value setting unit 1021 sets the speed coefficient value cd for each curve component to the learning movement trajectory curve 150.
  • the speed coefficient value setting unit 1021 acquires the learning movement trajectory curve 150 from the learning movement trajectory curve generation unit 101, analyzes the learning movement trajectory curve generation unit 101, calculates the speed coefficient value, and learns the calculated speed coefficient value. Set to the movement locus curve 150 . Specifically, the speed coefficient value setting unit 1021 divides the distance from the previous plot point by the unit time (time between plot points) for each plot point of the learning movement trajectory curve 150 to obtain the movement speed. calculate. Then, the speed coefficient value setting unit 1021 obtains a speed coefficient value cd for each plot point by converting the moving speed for each plot point into a coefficient. Furthermore, the speed coefficient value setting unit 1021 associates the speed coefficient value cd with each plot point.
  • the distribution coefficient value setting unit 1022 sets the distribution coefficient value pd for each curve component to the learning movement trajectory curve 150 .
  • the distribution coefficient value setting unit 1022 obtains the learned trajectory curve 150 and a plurality of basic trajectory curves 140, and determines the basic trajectory when the learned trajectory curve 150 and the plurality of basic trajectory curves 140 are superimposed in the same coordinate space. A probability distribution p of curve 140 is calculated.
  • distribution coefficient value setting section 1022 calculates likelihood from probability distribution p of basic trajectory curve 140 for each plot point of learned trajectory curve 150, converts the likelihood into a coefficient, and obtains distribution coefficient value pd. Further, the distribution coefficient value setting unit 1022 associates each plot point with a distribution coefficient value pd.
  • steps S106 and S107 may be reversed.
  • the learning trajectory data generation unit 1023 generates the learning trajectory data 300 .
  • the learned trajectory data generator 1023 generates the learned trajectory curve 150, the label 160 of the learned trajectory curve 150, the speed coefficient value 170 (the speed coefficient value cd for each curve component), and the distribution coefficient value 180 (the curve component).
  • the learning trajectory data 300 is generated by integrating the distribution coefficient value pd) for each.
  • the learning trajectory data 300 generated by the learning trajectory data generation unit 1023 may be transmitted to the inference device 200 via the communication device 914, or may be output to the inference device 200 by another method. Alternatively, a portable recording medium storing the learning locus data 300 may be sent by mail or the like.
  • step S109 the learning movement trajectory curve generation unit 101 determines whether or not there is an unselected label. If there is an unselected label, the process returns to step S104. On the other hand, if there is no unselected label, the process ends.
  • the observed movement trajectory curve generation unit 201 analyzes a plurality of image data 600 and generates a movement trajectory curve from the plurality of image data 600 .
  • the trajectory curve generated in step S201 corresponds to the observed trajectory curve 250.
  • FIG. the observed movement trajectory curve generation unit 201 analyzes a plurality of image data 600 photographing a series of actions of the worker 800 picking up the part A in FIG. An observed movement trajectory curve 250 is generated.
  • step S ⁇ b>202 the similarity calculation unit 202 selects an unselected learned trajectory curve 150 from among the learned trajectory curves 150 to be compared with the observed trajectory curve 250 .
  • step S203 the shape similarity calculator 2021 calculates the shape similarity between the observed trajectory curve 250 and the learned trajectory curve 150 selected in step S202.
  • the shape similarity calculation unit 2021 arranges, for example, the observed trajectory curve 250 and the learned trajectory curve 150 in the same coordinate space. Then, the shape similarity calculation unit 2021 normalizes the observed movement trajectory curve 250 and the learned movement trajectory curve 150 with respect to time in the same manner as in FIG. 8(b). Specifically, the shape similarity calculation unit 2021 adjusts the time of the observed movement trajectory curve 250 and the learned movement trajectory curve 150 and performs time expansion/contraction. That is, the shape similarity calculation unit 2021 performs time expansion/contraction of the observed trajectory curve 250 and the learned trajectory curve 150 so that the start point time and the end point time of the observed trajectory curve 250 and the learned trajectory curve 150 match.
  • the shape similarity calculation unit 2021 normalizes the observed movement trajectory curve 250 and the learned movement trajectory curve 150 normalized with respect to time, this time with respect to position.
  • the normalization method for position is not limited. For example, only the coordinates of the starting point of the curve may be matched, or the starting point and the end point of the curve may be matched, and the middle portion may be expanded or contracted at the same rate. After calculating the optimum expansion/contraction ratio for each curve element, expansion/contraction may be performed.
  • the shape similarity calculation unit 2021 calculates the difference in the distance in the y-axis direction for each pair of corresponding plot points with respect to the observed trajectory curve 250 normalized with respect to time and position and the learned trajectory curve 150. Ask.
  • the shape similarity calculation unit 2021 calculates the distance difference in the y-axis direction for all plot point pairs, and calculates the shape of each curve component between the observed movement trajectory curve 250 and the learned movement trajectory curve 150. Calculate the similarity.
  • step S204 the positional similarity calculator 2022 calculates the positional similarity between the observed trajectory curve 250 and the learned trajectory curve 150 selected in step S202.
  • the position similarity calculation unit 2022 arranges the observed trajectory curve 250 and the learned trajectory curve 150 in the same coordinate space, and normalizes the observed trajectory curve 250 and the learned trajectory curve 150 with respect to time. become Then, the position similarity calculation unit 2022 calculates the distance in the y-axis direction between the plotted points of the observed trajectory curve 250 and the corresponding plotted points of the learned trajectory curve 150 .
  • the reasoning apparatus 200 calculates the distances in the y-axis direction between plot points for all pairs of plot points, and calculates the position similarity for each curve component between the observed movement trajectory curve 250 and the learned movement trajectory curve 150. Calculate degrees.
  • steps S203 and S204 may be reversed.
  • the importance setting unit 2031 sets the speed importance ce to the learned movement trajectory curve 150 .
  • the importance setting unit 2031 may use the speed coefficient value 170 (speed coefficient value cd) included in the learning trajectory data 300 as it is as the speed importance ce. Further, the importance level setting unit 2031 may perform calculation on the speed coefficient value 170 (speed coefficient value cd) and use the value obtained by the calculation as the speed importance level ce.
  • speed coefficient value 170 speed coefficient value cd
  • the importance setting unit 2031 sets the distribution importance pe to the learning movement trajectory curve 150 .
  • the importance setting unit 2031 may use the distribution coefficient value 180 (distribution coefficient value pd) included in the learning trajectory data 300 as it is as the distribution importance pe. Further, the importance level setting unit 2031 may perform a calculation on the distribution coefficient value 180 (distribution coefficient value pd) and use the value obtained by the calculation as the distribution importance level pe.
  • the importance setting unit 2031 uses the distribution coefficient value 180 (distribution coefficient value pd) as it is as the distribution importance pe.
  • steps S205 and S206 may be reversed.
  • step S ⁇ b>207 the label output unit 2032 calculates the degree of matching between the observed trajectory curve 250 and the learned trajectory curve 150 . Details of step S207 will be described with reference to FIGS. 13 and 14. FIG.
  • FIG. 13(a) shows an example of the probability distribution p of the learning movement trajectory curve 150 and the speed importance ce.
  • FIG. 13(a) shows an example of the probability distribution p of the learning movement trajectory curve 150 and the speed importance ce.
  • the integrated importance w n at the plot point (y n , t n ) which is one of the curve components, will be described.
  • the likelihood at the plotted point (y n , t n ) obtained from the probability distribution p is 0.6. That is, the distribution importance pe at the plotted point (y n , t n ) is 0.6.
  • the speed importance ce at the plot point (y n , t n ) is 1.
  • the label output unit 2032 multiplies 0.6, which is the distribution importance pe at the plot point (y n , t n ), by 1, which is the speed importance ce at the plot point (y n , t n ),
  • the integrated importance w n at the plot point (y n , t n ) is calculated as 0.6.
  • the label output unit 2032 calculates the integrated importance w for all the plot points as described above.
  • the label output unit 2032 multiplies the distribution importance pe and the speed importance ce, but the label output unit 2032 may obtain the integrated importance w by other types of calculations. Alternatively, the label output unit 2032 may use only one of the distribution importance pe and the speed importance ce without calculating the integrated importance w.
  • the label output unit 2032 calculates the fitness P according to the formula shown in FIG. That is, for each plot point, the label output unit 2032 multiplies the positional similarity of the plot point by the integrated importance w of the plot point, and the shape similarity of the plot point is changed from 1 to the integrated importance of the plot point. Multiply the value obtained by subtracting w. Then, sum the two multiplied values. The label output unit 2032 performs the calculation for all the plot points, totals the obtained values, and calculates the degree of matching P between the learned movement trajectory curve 150 and the observed movement trajectory curve 250 .
  • step S208 of FIG. 12 the similarity calculation unit 202 determines whether there is an unselected learned trajectory curve 150 among the plurality of learned trajectory curves 150 to be compared with the observed trajectory curve 250. determine whether or not If there is an unselected learned movement trajectory curve 150, the process returns to step S202. On the other hand, if all learned movement trajectory curves 150 have been selected, the process proceeds to step S209.
  • step S209 the label of the learned movement trajectory curve 150 with the highest degree of conformance P is selected from among the plurality of learned movement trajectory curves 150, and the selected label is output.
  • the inference device 200 can accurately recognize the type of movement represented by the multiple pieces of image data 600 . Therefore, according to the present embodiment, inference apparatus 200 can accurately recognize the type of movement even when there are two or more learned movement trajectory curves having mutually similar shapes.
  • the importance level setting unit 2031 calculates the distribution importance level pe and the position importance level ce.
  • the label output unit 2032 calculates the integrated importance w and calculates the degree of suitability P according to the formula shown in FIG. 14, the method of calculating the degree of suitability P is not limited. For example, instead of this, the distribution importance pe and the position importance ce may not be calculated. Also, in this case, the label output unit 2032 calculates the degree of conformity P only by summing the positional importance and the shape importance. That is, the label output unit 2032 calculates the fitness P by omitting w(y, t) and (1-w(y, t)) from the equation in FIG.
  • the positional similarity calculator 2022 may directly compare the curve components (plot points) of the observed movement trajectory curve 250 and the corresponding probability distributions p to calculate the positional similarity.
  • w(y, t) and (1-w(y, t)) may or may not be omitted from the equation of FIG.
  • the importance level setting unit 2031 sets the speed importance level ce based on the speed coefficient value 170 and sets the distribution importance level pe based on the distribution coefficient value 180 .
  • the importance setting unit 2031 may set the speed importance ce without using the speed coefficient value 170 and the distribution importance pe without using the distribution coefficient value 180 .
  • the learned trajectory data generation unit 1023 causes the learned trajectory data 300 to include the plurality of basic trajectory curves 140 used to generate the learned trajectory curve 150 .
  • the speed coefficient value setting section 1021 and the distribution coefficient value setting section 1022 are unnecessary.
  • the speed coefficient value 170 and the distribution coefficient value 180 are not included in the learning trajectory data 300 .
  • the importance setting unit 2031 derives the moving speed of the object from the learned movement trajectory curve 150, and calculates the speed importance ce in the same procedure as the speed coefficient value cd calculation procedure of the speed coefficient value setting unit 1021. do.
  • the importance level setting unit 2031 analyzes the probability distribution p of the plurality of basic movement trajectory curves 140 included in the learning trajectory data 300, and follows the same procedure as the distribution coefficient value pd calculation procedure of the distribution coefficient value setting unit 1022. to calculate the distribution importance pe.
  • Embodiment 2 In this embodiment, differences from the first embodiment will be mainly described. Matters not described below are the same as those in the first embodiment.
  • the probability distribution p of the basic movement trajectory curve 140 an example of using a multimodal probability distribution p illustrated in FIG. It is useful to use the multimodal probability distribution p illustrated in FIG. 15(b) when one motion can include two different movement trajectories as in FIG. 15(a).
  • the distribution coefficient value setting unit 1022 of the learning device 100 distributes the distribution based on the multimodal probability distribution of the curve component at any curve component (plot point) of the learning movement trajectory curve 150. Set the coefficient value pd.
  • the probability distribution of all the curve components (plot points) of the learning movement trajectory curve 150 may be multimodal, or the probability distribution of only some of the curve components (plot points) may be multimodal. There may be.
  • the label output unit 2032 of the inference device 200 distributes the distribution based on the multimodal probability distribution of the curve component at any curve component (plot point) of the learned movement trajectory curve 150. Set the importance pe.
  • the inference device 200 can accurately recognize a motion that may include a complicated movement trajectory.
  • Embodiment 3 In this embodiment, differences from the first embodiment will be mainly described. Matters not described below are the same as those in the first embodiment.
  • the observed movement trajectory curve 250 when the observed movement trajectory curve 250 momentarily approaches the learned movement curve at a certain plot point, the positional similarity at that plot point becomes high, and thus misrecognition is likely to occur.
  • the observed trajectory curve 251 is significantly different from the learned trajectory curve 150 and the other basic trajectory curves 140 in the interval away from the plot point (y n , t n ). is seperated.
  • observed trajectory curve 251 intersects learned trajectory curve 150 .
  • all the base trajectory curves 140, including the observed trajectory curve 251 have reduced variability.
  • the similarity is high at the plotted point (y n , t n ).
  • the learned trajectory curve 251 is significantly different in curve shape from the other basic trajectory curves 140, so the position of the observed trajectory curve 251 at the plot point (y n , t n ) is It is desirable to reduce the effect of similarity. Therefore, in the present embodiment, the importance level setting unit 2031 sets the progress of the learned movement trajectory curve 150 and the observed movement trajectory curve 251 at the plot point (yn, t n ) at the plot point ( yn , t n ) . The distribution importance pe is corrected based on the direction.
  • the importance setting unit 2031 uses the traveling direction of the observed movement trajectory curve 251 to correct the distribution importance pe, so that the position partially matches the learned movement trajectory curve 150. Since the influence of the positional similarity of the observed movement trajectory curve 251 can be reduced, erroneous recognition is less likely to occur.
  • the importance setting unit 2031 calculates the distribution importance pe at the plot point (y n , t n ) as shown in (b) of FIG. 16, for example. p(y n , t n ) cos ⁇ In the example of FIG. 16B, since the angle formed by the learned movement trajectory curve 150 and the observed movement trajectory curve 251 is 90°, the distribution importance pe is 0 as follows.
  • the method of calculating the distribution importance pe of the importance setting unit 2031 is not limited to the above.
  • the traveling direction of the observed movement trajectory curve 251 may be the traveling direction of the tangential direction of the observed movement trajectory curve 251, or may be the average traveling direction of a certain section.
  • the distribution coefficient value setting unit 1022 does not calculate the distribution coefficient value pd, that is, the importance setting unit 2031 analyzes the probability distribution p of the plurality of basic movement trajectory curves 140 without based on the distribution coefficient value pd. Also when calculating the distribution importance pe at can do.
  • the inference The device 200 can accurately recognize motion.
  • Embodiment 4 In this embodiment, differences from the first embodiment will be mainly described. Matters not described below are the same as those in the first embodiment.
  • the inference device 200 does not calculate the positional similarity when the shapes of the plurality of learned movement trajectory curves 150 are not similar and there is no need to calculate the positional similarity. More specifically, in the present embodiment, the inference device 200 calculates the shape similarity between two or more learned trajectory curves 150 to be compared with the observed trajectory curve 250 . Then, if the shape similarity between two or more learned movement trajectory curves 150 is equal to or greater than the threshold, the inference device 200 calculates the positional similarity and the shape similarity. On the other hand, if the shape similarity between two or more learned movement trajectory curves 150 is less than the threshold, the reasoning device 200 calculates only the shape similarity.
  • FIG. 17 shows an operation example of the inference device 200 according to this embodiment.
  • the inference device 200 for the sake of simplicity, a case will be described in which there are two learned trajectory curves 150 to be compared with the observed trajectory curve 250 .
  • the shape similarity calculator 2021 calculates the shape similarity between the two learned trajectory curves 150 in step S211.
  • the procedure for calculating the shape similarity in step S211 is the same as the procedure for calculating in step S203 described in the first embodiment.
  • the shape similarity calculator 2021 calculates the shape similarity between the learned trajectory curve 150 and the observed trajectory curve 250.
  • the shape similarity calculator 2021 calculates the two learned trajectories. A shape similarity between the curves 150 is calculated.
  • steps S202 to S208 shown in FIG. 12 are performed. That is, when the shape similarity between the two learned movement trajectory curves 150 is equal to or greater than the threshold, the positional similarity is calculated in addition to the shape similarity between the observed movement trajectory curve 250 and the learned movement trajectory curve 150. be. On the other hand, if the shape similarity between the two learned movement trajectory curves 150 is less than the threshold (NO in step S212), steps S202, S203, and S205 to S208 are performed.
  • step S209 is the same as that shown in the first embodiment, so description thereof is omitted.
  • the shape similarity calculation unit 2021 calculates the shape similarity between the three or more learned trajectory curves 150. calculate. If the shape similarity is greater than or equal to the threshold value in one or more pairs of learned movement trajectory curves 150, steps S202 to S208 shown in FIG. 12 are performed. On the other hand, if the shape similarity is less than the threshold for all pairs of learned movement trajectory curves 150, steps S202, S203, and S205 to S208 are performed.
  • the inference device 200 does not calculate the positional similarity when the shapes of the plurality of learned movement trajectory curves 150 are not similar and it is not necessary to calculate the positional similarity. Therefore, according to the present embodiment, it is possible to avoid a decrease in recognition accuracy caused by calculating the positional similarity when there is no need to calculate the positional similarity.
  • the shape similarity calculation processing in step S ⁇ b>211 may be performed within the learning device 100 . Specifically, the process of S211 is performed after step S103 in FIG. 11, and the labels of the movement trajectories having similar shapes are stored. Information on the label of the trajectory may be used.
  • Embodiment 5 In this embodiment, differences from the first embodiment will be mainly described. Matters not described below are the same as those in the first embodiment.
  • fitness calculation section 203 acquires additional data that can be used to calculate fitness in addition to shape similarity and position similarity. Then, the fitness calculation unit 203 calculates the fitness using the additional data.
  • the additional data may be any data as long as it is added to the shape similarity, position similarity, and integrated importance.
  • the fitness calculation unit 203 may acquire the image data 600 and the image data 400 used to generate the basic movement trajectory curve 140 as additional data.
  • the label output section 2032 compares the image data 600 and the image data 400 . Then, when the image data 600 and the image data 400 are similar, the label output unit 2032 adds a predetermined numerical value to the integrated importance.
  • the importance level setting unit 2031 subtracts a predetermined numerical value from the combined importance level. For example, if the image data 600 is the image data of the motion of moving the electric screwdriver and the image data 400 is the image data of the motion of moving the wrench, the two image data are not similar. In this case, the importance level setting unit 2031 subtracts a predetermined numerical value from the integrated importance level. Note that the user of the inference device 200 can arbitrarily determine the similarity criterion between the image data 600 and the image data 400 . Additional data is not limited to image data 600 and image data 400 . The additional data may be sensor data or the like that observes movement of an object, or may be other types of data.
  • Embodiments 1 to 5 have been described above, but two or more of these embodiments may be combined for implementation. Alternatively, one of these embodiments may be partially implemented. Alternatively, two or more of these embodiments may be partially combined for implementation. Also, the configurations and procedures described in these embodiments may be changed as necessary.
  • a processor 911 shown in FIG. 3 is an IC (Integrated Circuit) that performs processing.
  • the processor 911 is a CPU (Central Processing Unit), a DSP (Digital Signal Processor), or the like.
  • the main storage device 912 shown in FIG. 3 is a RAM (Random Access Memory).
  • the auxiliary storage device 913 shown in FIG. 3 is a ROM (Read Only Memory), flash memory, HDD (Hard Disk Drive), or the like.
  • the communication device 914 shown in FIG. 3 is an electronic circuit that performs data communication processing.
  • the communication device 914 is, for example, a communication chip or a NIC (Network Interface Card).
  • the auxiliary storage device 913 also stores an OS (Operating System). At least part of the OS is executed by the processor 911 .
  • the processor 911 executes a program that implements the functions of the learning movement trajectory curve generation unit 101 and the coefficient value setting unit 102 while executing at least part of the OS. Task management, memory management, file management, communication control, and the like are performed by the processor 911 executing the OS.
  • at least one of information, data, signal values, and variable values indicating the processing results of the learning movement trajectory curve generation unit 101 and the coefficient value setting unit 102 is stored in the main storage device 912, the auxiliary storage device 913, and the Stored in registers and/or cache memory.
  • a program that realizes the functions of the learning movement trajectory curve generation unit 101 and the coefficient value setting unit 102 is stored in a portable recording medium such as a magnetic disk, flexible disk, optical disk, compact disk, Blu-ray (registered trademark) disk, and DVD. may have been Then, a portable recording medium storing a program for realizing the functions of the learning movement trajectory curve generation unit 101 and the coefficient value setting unit 102 may be distributed.
  • a portable recording medium such as a magnetic disk, flexible disk, optical disk, compact disk, Blu-ray (registered trademark) disk, and DVD.
  • the “parts” of the learning movement trajectory curve generation unit 101 and the coefficient value setting unit 102 may be read as “circuit”, “process”, “procedure”, “processing”, or “circuitry”.
  • the learning device 100 may be realized by a processing circuit.
  • the processing circuits are, for example, logic ICs (Integrated Circuits), GAs (Gate Arrays), ASICs (Application Specific Integrated Circuits), and FPGAs (Field-Programmable Gate Arrays).
  • the learning movement trajectory curve generation unit 101 and the coefficient value setting unit 102 are each realized as part of the processing circuit.
  • a processor 921 shown in FIG. 5 is an IC that performs processing.
  • the processor 921 is a CPU, DSP, or the like.
  • the main storage device 922 shown in FIG. 5 is a RAM.
  • the auxiliary storage device 923 shown in FIG. 5 is a ROM, flash memory, HDD, or the like.
  • the communication device 924 shown in FIG. 5 is an electronic circuit that performs data communication processing. Communication device 924 is, for example, a communication chip or NIC.
  • the auxiliary storage device 923 also stores an OS. At least part of the OS is executed by the processor 921 .
  • the processor 921 executes a program that implements the functions of the observed movement trajectory curve generation unit 201, the similarity calculation unit 202, and the fitness calculation unit 203 while executing at least part of the OS. Task management, memory management, file management, communication control, and the like are performed by the processor 921 executing the OS.
  • at least one of information, data, signal values, and variable values indicating the results of the processing of the observed movement trajectory curve generation unit 201, the similarity calculation unit 202, and the fitness calculation unit 203 is stored in the main storage device 922 and the auxiliary storage device.
  • a program that realizes the functions of the observed movement trajectory curve generation unit 201, the similarity calculation unit 202, and the fitness calculation unit 203 can It may be stored in a portable recording medium. Then, a portable recording medium storing a program for implementing the functions of the observed movement trajectory curve generation unit 201, the similarity calculation unit 202, and the fitness calculation unit 203 may be distributed.
  • the “units” of the observed movement trajectory curve generation unit 201, the similarity calculation unit 202, and the fitness calculation unit 203 are read as “circuit”, “process”, “procedure”, “processing”, or “circuitry”. good too.
  • the inference apparatus 200 may be realized by a processing circuit.
  • the processing circuit is, for example, logic IC, GA, ASIC, FPGA.
  • the observed movement trajectory curve generation unit 201, the similarity calculation unit 202, and the fitness calculation unit 203 are each realized as part of the processing circuit.
  • processors and processing circuits are each examples of “processing circuitry.”

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

形状類似度算出部（２０２１）は、学習により得られた移動軌跡曲線である学習移動軌跡曲線と、観測により得られた移動軌跡曲線である観測移動軌跡曲線との間で形状の類似度を形状類似度として算出する。位置類似度算出部（２０２２）は、学習移動軌跡曲線と観測移動軌跡曲線とを同一の座標空間に配置した場合の学習移動軌跡曲線と観測移動軌跡曲線との間の位置の類似度を位置類似度として算出する。適合度算出部（２０３）は、形状類似度と位置類似度とを用いて、学習移動軌跡曲線と観測移動軌跡曲線との間の適合度を算出する。

Description

推論装置、学習装置、推論方法、学習方法、推論プログラム及び学習プログラム
　本開示は、移動軌跡曲線の解析に関する。移動軌跡曲線とは、物体の移動軌跡を表す曲線である。
　物体の移動を撮影機器で撮影し、撮影画像の解析により、当該物体の移動の種類を認識する画像解析技術がある。
　このような画像解析技術では、撮影画像を解析して物体の移動軌跡を表す移動軌跡曲線を抽出する。そして、抽出した移動軌跡曲線を、予め用意されている複数の学習済みの移動軌跡曲線の各々と比較する。学習済みの移動軌跡曲線の各々にはラベルが設定されている。ラベルは、移動の種類を示す。比較の結果、抽出した移動軌跡曲線に最も類似する学習済みの移動軌跡曲線が選択される。そして、選択された学習済みの移動軌跡曲線のラベルに従って、当該物体の移動の種類が認識される。
　特許文献１では、このような画像解析技術が応用された技術、特に工場作業者の体各部位の移動軌跡曲線から、作業者の動作内容を認識する技術が開示されている。
特願２０２０－５２８３６５号公報
　特許文献１では、移動の種類が同一で曲線の形状が同一であったとしても移動曲線の座標値が異なる場合には誤認識するとの問題を解決するために、移動曲線の形状を比較することで、位置の違いに対し頑健な移動の種類の認識技術が開示されている。
　しかし、移動軌跡曲線の形状の比較が行われるため、相互に形状が類似する学習済みの移動軌跡曲線が２つ以上存在する場合には、移動の種類を正確に認識することができないという課題がある。
　本開示は、このような課題を解決することを主な目的の一つとしている。より具体的には、本開示は、位置の違いに頑健な性能を有しつつ、相互に形状が類似する学習済みの移動軌跡曲線が２つ以上存在する場合でも、正確に移動の種類を認識することができる構成を得ることを主な目的とする。
　本開示に係る推論装置は、
　学習により得られた移動軌跡曲線である学習移動軌跡曲線と、観測により得られた移動軌跡曲線である観測移動軌跡曲線との間で形状の類似度を形状類似度として算出する形状類似度算出部と、
　前記学習移動軌跡曲線と前記観測移動軌跡曲線とを同一の座標空間に配置した場合の前記学習移動軌跡曲線と前記観測移動軌跡曲線との間の位置の類似度を位置類似度として算出する位置類似度算出部と、
　前記形状類似度と前記位置類似度とを用いて、前記学習移動軌跡曲線と前記観測移動軌跡曲線との間の適合度を算出する適合度算出部とを有する。
　本開示によれば、相互に形状が類似する学習済みの移動軌跡曲線が２つ以上存在する場合でも、正確に移動の種類を認識することができる。
実施の形態１に係る解析システムの構成例を示す図。 実施の形態１に係る学習装置の機能構成例を示す図。 実施の形態１に係る学習装置のハードウェア構成例を示す図。 実施の形態１に係る推論装置の機能構成例を示す図。 実施の形態１に係る推論装置のハードウェア構成例を示す図。 実施の形態１に係る推論装置の比較処理を示す図。 実施の形態１に係る移動軌跡曲線と移動速度との関係を示す図。 実施の形態１に係る学習移動軌跡曲線の生成手順を示す図。 実施の形態１に係る基礎移動軌跡曲線のばらつきの例を示す図。 実施の形態１に係る位置類似度及び形状類似度の例を示す図。 実施の形態１に係る学習装置の動作例を示すフローチャート。 実施の形態１に係る推論装置の動作例を示すフローチャート。 実施の形態１に係る統合重要度の算出例を示す図。 実施の形態１に係る適合度の算出例を示す図。 実施の形態２に係る多峰性の確率分布の例を示す図。 実施の形態３に係る分布係数値の算出例を示す図。 実施の形態４に係る推論装置の動作例を示すフローチャート。 実施の形態１に係る動作の例を示す図。 実施の形態１に係る移動軌跡曲線の例を示す図。
　以下、実施の形態を図を用いて説明する。以下の実施の形態の説明及び図面において、同一の符号を付したものは、同一の部分又は相当する部分を示す。
　実施の形態１．
＊＊＊課題の説明＊＊＊
　本実施の形態では、相互に形状が類似する学習済みの移動軌跡曲線が２つ以上存在する場合でも、正確に移動の種類を認識することができる構成を説明する。
　先ず、相互に形状が類似する学習済みの移動軌跡曲線が２つ以上存在する場合に、従来の画像解析技術では、正確に移動の種類を認識することができない例を説明する。
　ここでは、図１８に示すように、作業者８００が隣り合う２つのボックスに入っている部品Ａ又は部品Ｂを取る動作を例にして説明を行う。
　図１８の例では、作業者８００の手が移動する物体に相当する。
　図１８の（ａ）は、作業者８００が手を伸ばし始めてから手を伸ばしている最中の状態を示す。図１８の（ｂ）は、作業者８００が部品Ａを手に取っている状態を示す。図１８の（ｃ）は、作業者８００が部品Ｂを手に取っている状態を示す。
　通常は、図１８の（ａ）の段階では、部品Ａ又は部品Ｂのいずれを取る場合でも、作業者８００の手の伸ばし方に大差がない。
　図１９は、図１８で示した作業者８００の手の移動軌跡を表す移動軌跡曲線を示す。
　図１９の（ａ）は、学習により得られた、２つの移動軌跡曲線を示す。図１９の（ａ）の２つの移動軌跡曲線は学習済みの移動軌跡曲線としてラベルが設定されている。曲線Αは、作業者８００が部品Αを手に取ったときの作業者８００の手の移動軌跡を表す移動軌跡曲線である。つまり、曲線Αには、例えば「部品Α取得動作」といったラベルが設定されている。一方、曲線Βは、作業者８００が部品Βを手に取ったときの作業者８００の手の移動軌跡を表す移動軌跡曲線である。つまり、曲線Βには、例えば「部品Β取得動作」といったラベルが設定されている。
　なお、図１９では、説明の便宜上、ｙ－ｔの２次元の座標空間における移動軌跡曲線を示す。しかしながら、実際には、ｘ－ｙ－ｔの座標空間又はｘ－ｙ－ｚ－ｔの座標空間に移動軌跡曲線が設定される。
　以下、図１９以外の図面でも、移動軌跡曲線がｙ－ｔの２次元の座標空間に配置される例を示すが、実際には、ｘ－ｙ－ｔの座標空間又はｘ－ｙ－ｚ－ｔの座標空間に移動軌跡曲線が設定されるものとする。
　なお、上記のｘ、ｙ及びｚは、図１８のｘ軸、ｙ軸及びｚ軸を表す。また、ｔは時刻を表す。
　図１９の（ｂ）は、観測により得られた移動軌跡曲線を示す。つまり、図１９の（ｂ）の曲線Ｃは、新たに作業者８００が部品Ａ又は部品Ｂを取る動作を行った際の画像データを解析して得られた移動軌跡曲線である。
　図１９の（ｃ）は、比較処理の例を示す。
　従来の画像解析技術では、移動軌跡曲線の形状のみで比較処理が行われる。このため、曲線Ａと曲線Ｂは形状が類似しているため、曲線Ｃが曲線Ａと曲線Ｂのいずれに分類されるかを正確に認識することが難しい。
　このため、曲線Ｃに表される作業者８００の動作を誤認識してしまう可能性がある。
　本実施の形態では、図１９のように、比較対象の移動軌跡曲線が２つ以上存在しており、それぞれの移動軌跡曲線の形状が類似している場合でも、正確に移動の種類を認識することができる構成を説明する。
　＊＊＊概要説明＊＊＊
　図１は、本実施の形態に係る解析システム１０００の構成例を示す。
　本実施の形態に係る解析システム１０００は、学習装置１００と推論装置２００で構成される。
　なお、以上では、学習装置１００と推論装置２００は異なるコンピュータで実現されることを前提としているが、学習装置１００と推論装置２００が同一のコンピュータで実現されてもよい。
　学習装置１００は、学習フェーズにおいて、複数の画像データ４００を用いた学習を行い、移動の種類ごとの移動軌跡曲線を生成する。学習装置１００で生成された移動軌跡曲線は、推論装置２００での比較に用いられる。以下では、学習装置１００により生成される移動軌跡曲線を学習移動軌跡曲線という。学習移動軌跡曲線は学習軌跡データ３００に含まれる。学習軌跡データ３００の詳細は後述する。
　推論装置２００は、推論フェーズにおいて、画像データ６００を解析して移動軌跡曲線を生成する。推論装置２００により生成される移動軌跡曲線は、物体の観測により生成される移動軌跡曲線であるため、観測移動軌跡曲線という。推論装置２００は、学習移動軌跡曲線と観測移動軌跡曲線とを比較する。
　学習装置１００及び推論装置２００の詳細を説明する前に、学習装置１００及び推論装置２００の動作原理を説明する。
　本実施の形態では、推論装置２００は、推論フェーズにおいて、移動軌跡曲線の形状の比較に加えて、移動軌跡曲線の位置の比較も行う。
　移動軌跡曲線は、複数の曲線構成要素に細分される。曲線構成要素は、例えば、移動軌跡曲線内の各時刻に対応する点、すなわち、プロット点である。
　移動軌跡曲線の形状の比較及び移動軌跡曲線の位置の比較は、曲線構成要素ごとに行われる。本実施の形態では、プロット点が曲線構成要素であるものとする。
　図６は、推論装置２００による位置の比較処理の例を示す。
　図６の（ａ）は、図１９の（ａ）と同じである。図６の（ｂ）は、図１９の（ｂ）と同じである。
　図６の（ｃ）は、推論装置２００が、曲線Ａと曲線Ｃとの位置の比較を行う例を示す。
　本実施の形態では、推論装置２００は、曲線Ａと曲線Ｃを同一の座標空間に配置した場合の曲線Ａと曲線Ｃとの間の位置の類似度を算出して、曲線Ａと曲線Ｃの位置の比較を行う。具体的には、推論装置２００は、曲線Ａのプロット点と曲線Ｃの対応するプロット点との間のｙ軸方向の距離を算出する。推論装置２００は、プロット点間のｙ軸方向の距離の算出を全てのプロット点のペアに対して行い、算出結果を統合することで、曲線Ａと曲線Ｃとの間の位置における類似度を算出する。
　同様に、図６の（ｄ）は、推論装置２００が、曲線Ｂと曲線Ｃとの位置の比較を行っている例である。推論装置２００は、曲線Ｂと曲線Ｃを同一の座標空間に配置した場合の曲線Ｂと曲線Ｃの位置を比較し、類似度を算出する。
　なお、形状の比較は、図１９の（ｃ）に示す。形状の比較では、移動軌跡曲線の形状の類似度を算出する。
　図１９の（ｃ）に示したように、形状の比較では、曲線Ａも曲線Ｂも曲線Ｃに類似するため、曲線Ｃが曲線Ａ及び曲線Ｂのいずれに分類されるかを判定するのが難しい。本実施の形態では、推論装置２００は、位置の比較も行う。図６の（ｃ）及び（ｄ）に示すように、曲線Ｃは、位置において曲線Ｂよりも曲線Ａに類似するため、推論装置２００は、曲線Ｃを曲線Ａに分類することができる。
　本実施の形態では、推論装置２００は、移動軌跡曲線の位置と形状の比較に加えて、移動軌跡曲線内の曲線構成要素ごとの属性を利用した解析を行う。また、本実施の形態では、学習装置１００は、推論装置２００のこのような解析に合わせて、学習フェーズで、移動軌跡曲線内の曲線構成要素ごとの属性を利用した解析を行う。
　具体的には、学習装置１００及び推論装置２００は、曲線構成要素ごとの属性として、曲線構成要素ごとの移動速度と、曲線構成要素ごとの基礎移動軌跡曲線の分布を利用した解析を行う。ここで基礎移動軌跡曲線とは学習フェーズの入力である複数の画像データ４００から生成された一連の動作を示す移動軌跡曲線の１つである。
　以下にて、曲線構成要素ごとの移動速度を利用した解析と、曲線構成要素ごとの基礎移動軌跡曲線の分布を利用した解析を説明する。
　先ず、曲線構成要素ごとの移動速度を利用した解析について説明する。
　物体が移動する場合は、移動の開始から移動の終了までの間に移動速度が変化することが一般的である。
　図１８に示した作業者８００が部品Ａ又は部品Ｂを取る動作を例にして説明を行う。
　図１８の（ａ）の段階では、作業者８００は、部品Ａのボックス及び部品Ｂのボックスの方向に大まかに狙いをつけて手を伸ばす。このため、図１８の（ａ）の段階では、一般的に、作業者８００の手の移動速度は速い。一方で、図１８の（ｂ）又は（ｃ）の段階では、作業者８００は、部品Ａのボックスの位置又は部品Ｂのボックスの位置に手の位置を合わせる必要がある。このため、図１８の（ｂ）又は（ｃ）の段階では、一般的に、作業者８００の手の移動速度は遅い。
　図７は、図１８の動作が行われる場合の移動軌跡曲線と作業者８００の手の移動速度との関係を示す。
　作業者８００が手を伸ばし始めから伸ばしている最中の段階に相当する曲線構成要素（プロット点）では重要でない動作が行われているため、手の移動速度が速い。一方、作業者８００が部品を取る段階に相当する曲線構成要素（プロット点）では、部品の位置に手の位置を調整するという重要な動作が行われるため、手の移動速度が遅くなる。
　本実施の形態では、学習装置１００及び推論装置２００は、移動速度が遅い曲線構成要素では重要な動作が行われているとの推測のもと、移動速度が遅い曲線構成要素を重要な曲線構成要素であると評価する。具体的には、学習装置１００は、移動速度が遅い曲線構成要素ほど高い速度係数値ｃｄを設定する。また、推論装置２００は、移動速度が遅い曲線構成要素ほど高い速度重要度ｃｅを設定する。推論装置２００は、各曲線構成要素に対する速度重要度ｃｅをつなげ、速度重要曲線を生成する。
　速度係数値ｃｄ及び速度重要度ｃｅの詳細は後述する。
　次に、曲線構成要素ごとの基礎移動軌跡曲線の分布を利用した解析を説明する。
　本実施の形態では、学習装置１００は、図８の（ａ）に示すように、同種の動作を複数回撮影した複数の画像データ４００を学習して複数の基礎移動軌跡曲線を生成する。例えば、図１８の作業者８００が部品Ａを取る動作を複数回行う。学習装置１００は、各回の部品Ａを取る動作を撮影して得られた複数の画像データ４００を学習する。そして、学習装置１００は、複数の画像データ４００に対応する複数の基礎移動軌跡曲線を生成する。更に、学習装置１００は、図８の（ｂ）及び（ｃ）に示すように、複数の基礎移動軌跡曲線を統合して、最終的な学習移動軌跡曲線を生成する。
　図８に示す手順の詳細は後述する。
　前述したように、作業者８００が手を伸ばし始めから伸ばしている最中の段階に相当する曲線構成要素では重要でない動作が行われている。つまり、作業者８００が手を伸ばし始めから伸ばしている最中では、作業者８００は無造作に手を伸ばしているので、図９に示すように、複数の基礎移動軌跡曲線の分布にばらつきが大きい。一方、作業者８００が部品を取る段階に相当する曲線構成要素では、部品の位置に手の位置を調整するという重要な動作が行われる。このため、作業者８００が部品を取る段階では、図９に示すように、複数の基礎移動軌跡曲線の分布にばらつきが小さい。
　この点に着目して、学習装置１００は、複数の基礎移動軌跡曲線を時間に関して正規化した移動軌跡曲線の確率分布ｐを求める。そして、学習装置１００は、確率分布ｐから得られる尤度に応じて分布係数値ｐｄを設定する。学習装置１００は、尤度が高い曲線構成要素ほど高い分布係数値ｐｄを設定する。図９に示すように、ばらつきが大きい曲線構成要素では尤度が低いため、学習装置１００は低い分布係数値ｐｄを設定する。一方で、ばらつきが小さい曲線構成要素では尤度が高いため、学習装置１００は高い分布係数値ｐｄを設定する。学習装置１００は、各曲線構成要素に対する分布係数値ｐｄをつなげ、分布係数曲線を生成する。
　なお、ここでは、確率分布ｐの形状は、どのようなものでもよい。つまり、確率分布ｐの形状は、正規分布であってもよいし、ノンパラメトリック（数理モデルではないもの）であってもよい。また、確率分布ｐは分布形状をとらず単一の数値であっても構わない。
　分布係数値ｐｄ及び分布重要度ｐｅの詳細は後述する。
＊＊＊構成の説明＊＊＊
　以上の説明をもとに、学習装置１００及び推論装置２００の構成の詳細を説明する。
　図２は、本実施の形態に係る学習装置１００の機能構成例を示す。
　また、図３は、学習装置１００のハードウェア構成例を示す。
　先ず、図３を参照して、学習装置１００のハードウェア構成例を説明する。
　本実施の形態に係る学習装置１００は、コンピュータである。学習装置１００の動作手順は、学習方法に相当する。また、学習装置１００の動作を実現するプログラムは、学習プログラムに相当する。
　学習装置１００は、ハードウェアとして、プロセッサ９１１、主記憶装置９１２、補助記憶装置９１３及び通信装置９１４を備える。
　また、学習装置１００は、図２に示すように、機能構成として、学習移動軌跡曲線生成部１０１及び係数値設定部１０２を備える。
　補助記憶装置９１３には、学習移動軌跡曲線生成部１０１及び係数値設定部１０２の機能を実現するプログラムが記憶されている。
　これらプログラムは、補助記憶装置９１３から主記憶装置９１２にロードされる。そして、プロセッサ９１１がこれらプログラムを実行して、後述する学習移動軌跡曲線生成部１０１及び係数値設定部１０２の動作を行う。
　図３では、プロセッサ９１１が学習移動軌跡曲線生成部１０１及び係数値設定部１０２の機能を実現するプログラムを実行している状態を模式的に表している。
　次に、図２を参照して、学習装置１００の機能構成例を説明する。
　学習移動軌跡曲線生成部１０１は、学習により、学習移動軌跡曲線１５０を生成する。より具体的には、学習移動軌跡曲線生成部１０１は、複数の画像データ４００を取得し、画像解析を行い、画像解析の結果に基づき、複数の基礎移動軌跡曲線１４０を生成する。そして、学習移動軌跡曲線生成部１０１は、図８を用いて説明したように、生成した複数の基礎移動軌跡曲線１４０を統合して、学習移動軌跡曲線１５０を生成する。
　画像データ４００は、例えば、図１８に示す作業者８００が部品Ａを手にする動作を撮影した画像データである。また、画像データ４００は、例えば、図１８に示す作業者８００が部品Ｂを手にする動作を撮影した画像データである。
　学習移動軌跡曲線１５０は、物体の移動の移動軌跡が表される移動軌跡曲線である。学習移動軌跡曲線１５０は、複数の曲線構成要素（プロット点）に細分される。
　また、学習移動軌跡曲線生成部１０１は、例えば、学習装置１００のユーザからラベル情報５００を取得する。ラベル情報５００は、基礎移動軌跡曲線１４０及び学習移動軌跡曲線１５０を分類するラベルである。例えば、画像データ４００が図１８に示す作業者８００が部品Ａを手にする一連の動作を撮影した複数の画像データである場合は、ラベル情報５００は「部品Ａ取得動作」を示すラベルとなる。同様に、画像データ４００が図１８に示す作業者８００が部品Ｂを手にする動作を撮影した複数の画像データである場合は、ラベル情報５００は「部品Ｂ取得動作」を示すラベルとなる。
　学習移動軌跡曲線生成部１０１により行われる処理は、学習移動軌跡曲線生成処理に相当する。
　係数値設定部１０２は、学習移動軌跡曲線１５０の曲線構成要素（プロット点）ごとに、属性に基づき、係数値を設定する。
　係数値設定部１０２は、速度係数値設定部１０２１、分布係数値設定部１０２２及び学習軌跡データ生成部１０２３で構成される。
　係数値設定部１０２により行われる処理は、係数値設定処理に相当する。
　速度係数値設定部１０２１は、学習移動軌跡曲線１５０の曲線構成要素ごとの属性である、曲線構成要素ごとの物体の移動速度に基づき、曲線構成要素ごとに係数値を設定する。速度係数値設定部１０２１が設定する係数値は速度係数値ｃｄである。
　速度係数値設定部１０２１は、物体の移動速度が遅い曲線構成要素ほど高い速度係数値ｃｄを設定する。
　分布係数値設定部１０２２は、学習移動軌跡曲線１５０の曲線構成要素ごとの属性である、同一の座標空間に学習移動軌跡曲線１５０と複数の基礎移動軌跡曲線１４０とを重畳させた場合の曲線構成要素ごとの複数の基礎移動軌跡曲線１４０の確率分布ｐに基づき、曲線構成要素ごとに係数値を設定する。分布係数値設定部１０２２が設定する係数値は分布係数値ｐｄである。
　分布係数値設定部１０２２は、複数の基礎移動軌跡曲線１４０の確率分布ｐから得られる尤度が高い曲線構成要素ほど高い分布係数値ｐｄを設定する。
　学習軌跡データ生成部１０２３は、学習軌跡データ３００を生成する。
　具体的には、学習軌跡データ生成部１０２３は、学習移動軌跡曲線１５０と、ラベル情報５００に示されるラベル１６０と、速度係数値１７０（速度係数値ｃｄ）と、分布係数値１８０（分布係数値ｐｄ）とを含む学習軌跡データ３００を生成する。
　学習軌跡データ生成部１０２３は、移動の種類ごとに学習軌跡データ３００を生成する。具体的には例えば、学習軌跡データ生成部１０２３は、「部品Ａ取得動作」についての学習軌跡データ３００と「部品Ｂ取得動作」についての学習軌跡データ３００とをそれぞれ生成する。
　各学習軌跡データ３００は、例えば、通信装置９１４により推論装置２００に送信される。
　図４は、本実施の形態に係る推論装置２００の機能構成例を示す。
　また、図５は、推論装置２００のハードウェア構成例を示す。
　先ず、図５を参照して、推論装置２００のハードウェア構成例を説明する。
　本実施の形態に係る推論装置２００は、コンピュータである。推論装置２００の動作手順は、推論方法に相当する。また、推論装置２００の動作を実現するプログラムは、推論プログラムに相当する。
　推論装置２００は、ハードウェアとして、プロセッサ９２１、主記憶装置９２２、補助記憶装置９２３及び通信装置９２４を備える。
　また、推論装置２００は、図４に示すように、機能構成として、観測移動軌跡曲線生成部２０１、類似度算出部２０２及び適合度算出部２０３を備える。
　補助記憶装置９２３には、観測移動軌跡曲線生成部２０１、類似度算出部２０２及び適合度算出部２０３の機能を実現するプログラムが記憶されている。
　これらプログラムは、補助記憶装置９２３から主記憶装置９２２にロードされる。そして、プロセッサ９２１がこれらプログラムを実行して、後述する観測移動軌跡曲線生成部２０１、類似度算出部２０２及び適合度算出部２０３の動作を行う。
　図５では、プロセッサ９２１が観測移動軌跡曲線生成部２０１、類似度算出部２０２及び適合度算出部２０３の機能を実現するプログラムを実行している状態を模式的に表している。
　次に、図４を参照して、推論装置２００の機能構成例を説明する。
　観測移動軌跡曲線生成部２０１は、複数の画像データ６００を取得し、画像データ６００を画像解析し、画像解析の結果に基づき、観測移動軌跡曲線２５０を生成する。
　複数の画像データ６００は、例えば、図１８に示す作業者８００が部品Ａを取得する動作を撮影した一連の画像データである。観測移動軌跡曲線２５０は、物体の移動の移動軌跡が表される移動軌跡曲線である。観測移動軌跡曲線２５０は、学習移動軌跡曲線１５０の複数の曲線構成要素（プロット点）に対応する複数の曲線構成要素（プロット点）に細分される。
　類似度算出部２０２は、学習軌跡データ３００と観測移動軌跡曲線２５０とを取得する。
　そして、類似度算出部２０２は、学習移動軌跡曲線１５０と観測移動軌跡曲線２５０との間の類似度を算出する。
　学習装置１００が「部品Ａ取得動作」についての学習軌跡データ３００と「部品Ｂ取得動作」についての学習軌跡データ３００とを生成している場合は、類似度算出部２０２は、「部品Ａ取得動作」についての学習軌跡データ３００と「部品Ｂ取得動作」についての学習軌跡データ３００とを取得する。
　そして、類似度算出部２０２は、「部品Ａ取得動作」についての学習移動軌跡曲線１５０と観測移動軌跡曲線２５０との間の類似度を算出する。また同様に、類似度算出部２０２は、「部品Ｂ取得動作」についての学習移動軌跡曲線１５０と観測移動軌跡曲線２５０との間の類似度を算出する。
　類似度算出部２０２は、形状類似度算出部２０２１と位置類似度算出部２０２２で構成される。
　形状類似度算出部２０２１は、学習移動軌跡曲線１５０と観測移動軌跡曲線２５０との間の形状類似度を算出する。
　形状類似度算出部２０２１は、学習移動軌跡曲線１５０と観測移動軌跡曲線２５０との間で相互に対応する曲線構成要素ごとに形状類似度を算出する。
　形状類似度算出部２０２１により行われる処理は、形状類似度算出処理に相当する。
　位置類似度算出部２０２２は、学習移動軌跡曲線１５０と観測移動軌跡曲線２５０との間の位置類似度を算出する。位置類似度は、学習移動軌跡曲線１５０と観測移動軌跡曲線２５０とを同一の座標空間に配置した場合の学習移動軌跡曲線１５０と観測移動軌跡曲線２５０との間の位置の類似度である。
　位置類似度算出部２０２２は、学習移動軌跡曲線１５０と観測移動軌跡曲線２５０との間で相互に対応する曲線構成要素ごとに位置類似度を算出する。
　位置類似度算出部２０２２により行われる処理は、位置類似度算出処理に相当する。
　図１０は、位置類似度と形状類似度の例を示す。
　図１０の（ａ）は、学習軌跡データ３００の例を示す。図１０の（ｂ）は、観測移動軌跡曲線２５０の例を示す。
　図１０の（ｃ）は、位置類似度の計算イメージを示す。図１０の（ｄ）は、図１０の（ｃ）の計算から得られる位置類似度のイメージを示す。図１０の（ｄ）中の「ｆ」は位置類似度を表す。
　図１０の（ｅ）は、形状類似度の計算イメージを示す。図１０の（ｆ）は、図１０の（ｅ）の計算から得られる形状類似度のイメージを示す。図１０の（ｆ）中の「ｇ」は形状類似度を表す。
　適合度算出部２０３は、類似度算出部２０２で算出した形状類似度と位置類似度とを用いて、学習移動軌跡曲線１５０と観測移動軌跡曲線２５０との間の適合度を算出する。
　学習装置１００が「部品Ａ取得動作」についての学習軌跡データ３００と「部品Ｂ取得動作」についての学習軌跡データ３００とを生成している場合は、適合度算出部２０３は、「部品Ａ取得動作」についての学習移動軌跡曲線１５０と観測移動軌跡曲線２５０との間の適合度を算出する。また同様に、適合度算出部２０３は、「部品Ｂ取得動作」についての学習移動軌跡曲線１５０と観測移動軌跡曲線２５０との間の適合度を算出する。
　そして、適合度算出部２０３は、適合度が高い移動の種類のラベル１６０を出力する。
　適合度算出部２０３により行われる処理は、適合度算出処理に相当する。
　適合度算出部２０３は、重要度設定部２０３１とラベル出力部２０３２で構成される。
　重要度設定部２０３１は、学習移動軌跡曲線１５０の曲線構成要素ごとに、曲線構成要素ごとの属性に基づき、重要度を設定する。
　具体的には、学習軌跡データ３００のうち、速度係数値１７０と分布係数値１８０から、それぞれ速度重要度と分布重要度を算出する。
　ラベル出力部２０３２は、速度重要度と分布重要度を統合して統合重要度を求める。そして、ラベル出力部２０３２は、曲線構成要素ごとの形状類似度と位置類似度と統合重要度とを用いて、学習移動軌跡曲線１５０と観測移動軌跡曲線２５０との間の適合度を算出する。
　具体的には、ラベル出力部２０３２は、曲線構成要素ごとに、形状類似度及び位置類似度の少なくともいずれかを、同じ曲線構成要素の統合重要度を用いて補正する。そして、ラベル出力部２０３２は、曲線構成要素ごとの非補正の／補正後の形状類似度及び非補正の／補正後の位置類似度とを用いて、学習移動軌跡曲線１５０と観測移動軌跡曲線２５０との間の適合度を算出する。
　そして、ラベル出力部２０３２は、複数の学習移動軌跡曲線１５０の中から、最も適合度が高い学習移動軌跡曲線１５０を選択し、選択した学習移動軌跡曲線１５０に対応する学習軌跡データ３００を選択し、選択した学習軌跡データ３００のラベル１６０を出力する。
＊＊＊動作の説明＊＊＊
　次に、本実施の形態に係る学習装置１００と推論装置２００の動作例を示す。
　図１１は、学習装置１００の動作例を示す。
　先ず、図１１を参照して、学習装置１００の動作例を説明する。
　最初に、ステップＳ１０１において、学習移動軌跡曲線生成部１０１が複数の同種の動作を撮影した画像データ４００を解析し、各動作の画像データ４００から移動軌跡曲線を生成する。ステップＳ１０１で生成される移動軌跡曲線は基礎移動軌跡曲線に相当する。
　例えば、学習移動軌跡曲線生成部１０１は、図１８の作業者８００が部品Ａを取る動作の複数の一連の画像データ４００を学習して、作業者８００が部品Ａを取る動作に対応する複数の基礎移動軌跡曲線を生成する。
　実際には、学習移動軌跡曲線生成部１０１は、作業者８００の体の各部位の座標について移動軌跡曲線を生成する。本明細書では、説明の簡明化のために、学習移動軌跡曲線生成部１０１が生成する移動軌跡曲線のうち、作業者８００の手の移動軌跡曲線に限って説明を行う。また、観測移動軌跡曲線生成部２０１が生成する移動軌跡曲線についても、作業者８００の手の移動軌跡曲線に限って説明を行う。
　次に、ステップＳ１０２において、学習移動軌跡曲線生成部１０１は、学習装置１００のユーザより入力されたラベル情報５００に基づき、ステップＳ１０１で生成した複数の基礎移動軌跡曲線１４０に、該当するラベルを設定する。
　前述の例では、学習移動軌跡曲線生成部１０１は、例えば、複数の基礎移動軌跡曲線１４０に「部品Α取得動作」というラベルを設定する。
　次に、学習移動軌跡曲線生成部１０１は、ステップＳ１０３において、未処理の画像データ４００があるか否かを判定する。
　未処理の画像データ４００がある場合は、処理がステップＳ１０１に戻る。一方、未処理の画像データ４００がない場合は、処理がステップＳ１０４に進む。
　ステップＳ１０４において、学習移動軌跡曲線生成部１０１は、未選択のいずれかのラベルを選択する。
　次に、ステップＳ１０５において、学習移動軌跡曲線生成部１０１は、ステップＳ１０４で選択されたラベルと同一のラベルが設定されている基礎移動軌跡曲線１４０を統合して学習移動軌跡曲線１５０を生成する。
　図８を参照して、ステップＳ１０５の詳細を説明する。
　学習移動軌跡曲線生成部１０１は、図８の（ａ）に示すように、同一ラベルが設定された複数の基礎移動軌跡曲線１４０を同一の座標空間に配置する。
　次に、学習移動軌跡曲線生成部１０１は、図８の（ｂ）に示すように、複数の基礎移動軌跡曲線１４０を時間に関して正規化する。具体的には、学習移動軌跡曲線生成部１０１は、時刻合わせと時間伸縮を行う。つまり、学習移動軌跡曲線生成部１０１は、複数の基礎移動軌跡曲線１４０の始点時刻と終点時刻が一致するように各基礎移動軌跡曲線１４０の時間伸縮を行う。学習移動軌跡曲線生成部１０１は、各基礎移動軌跡曲線１４０の全区間を一定割合で伸縮してもよい。また、学習移動軌跡曲線生成部１０１は、ＤＴＷ（Ｄｙｎａｍｉｃ　Ｔｉｍｅ　Ｗａｒｐｉｎｇ）等の手法を用いて時刻ごとに最適な伸縮割合を決定してもよい。
　次に、学習移動軌跡曲線生成部１０１は、図８の（ｃ）に示すように、正規化後の複数の基礎移動軌跡曲線１４０を統合して１つの学習移動軌跡曲線を生成する。例えば、学習移動軌跡曲線生成部１０１は、正規化後の複数の基礎移動軌跡曲線１４０の平均の移動軌跡曲線を学習移動軌跡曲線１５０として扱う。図８の（ｃ）の実線は、学習移動軌跡曲線１５０を示す。図８の（ｃ）では、学習移動軌跡曲線１５０は、正規化後の基礎移動軌跡曲線１４０を平均した移動軌跡曲線である。また、図８の８（ｃ）の破線は、正規化後の基礎移動軌跡曲線１４０のばらつきを示す。
　学習移動軌跡曲線生成部１０１は、複数の基礎移動軌跡曲線１４０に設定されていたラベルを、学習移動軌跡曲線１５０のラベル１６０に設定する。
　次に、図１０のステップＳ１０６において、速度係数値設定部１０２１が曲線構成要素ごとの速度係数値ｃｄを学習移動軌跡曲線１５０に設定する。
　速度係数値設定部１０２１は、学習移動軌跡曲線１５０を学習移動軌跡曲線生成部１０１から取得し、学習移動軌跡曲線生成部１０１を解析して速度係数値を算出し、算出した速度係数値を学習移動軌跡曲線１５０に設定する。
　具体的には、速度係数値設定部１０２１は、学習移動軌跡曲線１５０のプロット点ごとに、１つ前のプロット点からの距離を単位時間（プロット点間の時間）で除算して移動速度を算出する。そして、速度係数値設定部１０２１は、プロット点ごとの移動速度を係数化してプロット点ごとに速度係数値ｃｄを得る。更に、速度係数値設定部１０２１は、各プロット点に速度係数値ｃｄを対応付ける。
　次に、ステップＳ１０７において、分布係数値設定部１０２２が曲線構成要素ごとの分布係数値ｐｄを学習移動軌跡曲線１５０に設定する。
　分布係数値設定部１０２２は、学習移動軌跡曲線１５０と複数の基礎移動軌跡曲線１４０を取得し、学習移動軌跡曲線１５０と複数の基礎移動軌跡曲線１４０を同一座標空間に重畳した場合の基礎移動軌跡曲線１４０の確率分布ｐを算出する。そして、分布係数値設定部１０２２は、学習移動軌跡曲線１５０のプロット点ごとに、基礎移動軌跡曲線１４０の確率分布ｐから尤度を算出し、尤度を係数化して分布係数値ｐｄを得る。更に、分布係数値設定部１０２２は、各プロット点に分布係数値ｐｄを対応付ける。
　なお、ステップＳ１０６とステップＳ１０７は順序が入れ替わっても構わない。
　次に、ステップＳ１０８において、学習軌跡データ生成部１０２３が、学習軌跡データ３００を生成する。
　学習軌跡データ生成部１０２３は、学習移動軌跡曲線１５０と、学習移動軌跡曲線１５０のラベル１６０と、速度係数値１７０（曲線構成要素ごとの速度係数値ｃｄ）と、分布係数値１８０（曲線構成要素ごとの分布係数値ｐｄ）とを統合して学習軌跡データ３００を生成する。
　学習軌跡データ生成部１０２３により生成された学習軌跡データ３００は通信装置９１４により推論装置２００に送信されてもよいし、他の方法により推論装置２００に出力されてもよい。また、学習軌跡データ３００が格納された可搬記録媒体を郵送等により送付してもよい。
　最後に、ステップＳ１０９において、学習移動軌跡曲線生成部１０１が未選択のラベルあるか否かを判定する。未選択のラベルがある場合は、処理がステップＳ１０４に戻る。一方、未選択のラベルがない場合は、処理が終了する。
　次に、図１２を参照して、推論装置２００の動作例を説明する。
　先ず、ステップＳ２０１において、観測移動軌跡曲線生成部２０１は、複数の画像データ６００を解析し、複数の画像データ６００から移動軌跡曲線を生成する。ステップＳ２０１で生成される移動軌跡曲線は観測移動軌跡曲線２５０に相当する。
　例えば、観測移動軌跡曲線生成部２０１は、図１８の作業者８００が部品Ａを取る一連の動作を撮影した複数の画像データ６００を解析して、作業者８００が部品Ａを取る動作に対応する観測移動軌跡曲線２５０を生成する。
　次に、ステップＳ２０２において、類似度算出部２０２が、観測移動軌跡曲線２５０と比較する学習移動軌跡曲線１５０のうち、未選択の学習移動軌跡曲線１５０を選択する。
　次に、ステップＳ２０３において、形状類似度算出部２０２１が、観測移動軌跡曲線２５０とステップＳ２０２で選択された学習移動軌跡曲線１５０との間の形状類似度を算出する。
　形状類似度算出部２０２１は、例えば、観測移動軌跡曲線２５０と学習移動軌跡曲線１５０を同一座標空間に配置する。
　そして、形状類似度算出部２０２１は、図８の（ｂ）と同様にして、観測移動軌跡曲線２５０と学習移動軌跡曲線１５０を時間に関して正規化する。具体的には、形状類似度算出部２０２１は、観測移動軌跡曲線２５０と学習移動軌跡曲線１５０の時刻合わせと時間伸縮を行う。つまり、形状類似度算出部２０２１は、観測移動軌跡曲線２５０と学習移動軌跡曲線１５０の始点時刻と終点時刻が一致するように観測移動軌跡曲線２５０及び学習移動軌跡曲線１５０の時間伸縮を行う。
　次に、形状類似度算出部２０２１は、時間に関して正規化を行った観測移動軌跡曲線２５０と学習移動軌跡曲線１５０に対し、今度は位置に関する正規化を行う。位置に関する正規化の方法は限定しない。例えば、曲線の始点の座標を一致させるだけでもよいし、曲線の始点と終点を一致させ、中間部分に関してはすべて同一の割合で伸縮させてもよい。曲線要素ごとに最適な伸縮割合を算出したうえで、伸縮させてもよい。
　更に、形状類似度算出部２０２１は、時間と位置に対して正規化を施した観測移動軌跡曲線２５０と学習移動軌跡曲線１５０に関して対応するプロット点のペアごとに、ｙ軸方向の距離の差を求める。形状類似度算出部２０２１は、ｙ軸方向の距離の差の算出を全てのプロット点のペアに対して行い、観測移動軌跡曲線２５０と学習移動軌跡曲線１５０との間の曲線構成要素ごとの形状類似度を算出する。
　次に、ステップＳ２０４において、位置類似度算出部２０２２が、観測移動軌跡曲線２５０とステップＳ２０２で選択された学習移動軌跡曲線１５０との間の位置類似度を算出する。
　位置類似度算出部２０２２は、例えば、ステップＳ２０３と同様に、観測移動軌跡曲線２５０と学習移動軌跡曲線１５０を同一座標空間に配置し、観測移動軌跡曲線２５０と学習移動軌跡曲線１５０を時間に関して正規化する。
　そして、位置類似度算出部２０２２は、観測移動軌跡曲線２５０のプロット点と学習移動軌跡曲線１５０の対応するプロット点との間のｙ軸方向の距離を算出する。推論装置２００は、プロット点間のｙ軸方向の距離の算出を全てのプロット点のペアに対して行い、観測移動軌跡曲線２５０と学習移動軌跡曲線１５０との間の曲線構成要素ごとの位置類似度を算出する。
　なお、ステップＳ２０３とステップＳ２０４は順序が入れ替わっても構わない。
　次に、ステップＳ２０５において、重要度設定部２０３１が速度重要度ｃｅを学習移動軌跡曲線１５０に設定する。
　重要度設定部２０３１は、学習軌跡データ３００に含まれる速度係数値１７０（速度係数値ｃｄ）をそのまま速度重要度ｃｅとして用いてもよい。また、重要度設定部２０３１は、速度係数値１７０（速度係数値ｃｄ）に演算を行って、演算により得られた値を速度重要度ｃｅとして用いてもよい。
　ここでは、説明の簡明化のために、重要度設定部２０３１は、速度係数値１７０（速度係数値ｃｄ）をそのまま速度重要度ｃｅとして用いるものとする。
　次に、ステップ２０６において、重要度設定部２０３１が分布重要度ｐｅを学習移動軌跡曲線１５０に設定する。
　重要度設定部２０３１は、学習軌跡データ３００に含まれる分布係数値１８０（分布係数値ｐｄ）をそのまま分布重要度ｐｅとして用いてもよい。また、重要度設定部２０３１は、分布係数値１８０（分布係数値ｐｄ）に演算を行って、演算により得られた値を分布重要度ｐｅとして用いてもよい。
　ここでは、説明の簡明化のために、重要度設定部２０３１は、分布係数値１８０（分布係数値ｐｄ）をそのまま分布重要度ｐｅとして用いるものとする。
　なお、ステップＳ２０５とステップＳ２０６は順序が入れ替わっても構わない。
　次に、ステップＳ２０７において、ラベル出力部２０３２が観測移動軌跡曲線２５０と学習移動軌跡曲線１５０との適合度を算出する。
　ステップＳ２０７の詳細を図１３及び図１４を用いて説明する。
　先ず、図１３に示すように、ラベル出力部２０３２は、統合重要度ｗを算出する。
　図１３の（ａ）は、学習移動軌跡曲線１５０の確率分布ｐと速度重要度ｃｅの例を示す。
　ここでは、曲線構成要素の１つであるプロット点（ｙｎ，ｔｎ）での統合重要度ｗｎを算出する例を説明する。
確率分布ｐから求められるプロット点（ｙｎ，ｔｎ）での尤度は０．６であるとする。つまり、プロット点（ｙｎ，ｔｎ）での分布重要度ｐｅは０．６である。一方、プロット点（ｙｎ，ｔｎ）での速度重要度ｃｅは、１であるものとする。
　ラベル出力部２０３２は、プロット点（ｙｎ，ｔｎ）での分布重要度ｐｅである０．６とプロット点（ｙｎ，ｔｎ）での速度重要度ｃｅである１を乗算して、プロット点（ｙｎ，ｔｎ）での統合重要度ｗｎを０．６と算出する。
　ラベル出力部２０３２は、以上のようにして、全てのプロット点について統合重要度ｗを算出する。
　ここでは、ラベル出力部２０３２は分布重要度ｐｅと速度重要度ｃｅを乗算しているが、ラベル出力部２０３２は、他の種類の演算により統合重要度ｗを求めてもよい。
　また、ラベル出力部２０３２は、統合重要度ｗを求めず、分布重要度ｐｅ及び速度重要度ｃｅのいずれか一方のみを用いるようにしてもよい。
　次に、ラベル出力部２０３２は、図１４に示す式に従って適合度Ｐを算出する。
　つまり、ラベル出力部２０３２は、プロット点ごとに、当該プロット点の位置類似度に当該プロット点の統合重要度ｗを乗算し、当該プロット点の形状類似度に１から当該プロット点の統合重要度ｗを減算して得られる値を乗算する。そして、２つの乗算値を和算する。ラベル出力部２０３２は、当該計算を全てのプロット点に行い、得られた値を総和して、学習移動軌跡曲線１５０と観測移動軌跡曲線２５０との間の適合度Ｐを算出する。
　次に、図１２のステップＳ２０８では、類似度算出部２０２は、観測移動軌跡曲線２５０との比較の対象となる複数の学習移動軌跡曲線１５０のうち、未選択の学習移動軌跡曲線１５０があるか否かを判定する。
　未選択の学習移動軌跡曲線１５０がある場合は、処理がステップＳ２０２に戻る。
　一方、全ての学習移動軌跡曲線１５０を選択済みの場合は、処理がステップＳ２０９に進む。
　ステップＳ２０９では、複数の学習移動軌跡曲線１５０の中から適合度Ｐが最も高い学習移動軌跡曲線１５０のラベルを選択し、選択したラベルを出力する。
＊＊＊実施の形態の効果の説明＊＊＊
　このように、本実施の形態によれば、推論装置２００は、複数の画像データ６００で表されている移動の種類を正確に認識することができる。このため、本実施の形態によれば、相互に形状が類似する学習移動軌跡曲線が２つ以上存在する場合でも、推論装置２００は、移動の種類を正確に認識することができる。
　なお、本実施の形態では、重要度設定部２０３１が分布重要度ｐｅと位置重要度ｃｅを算出するものとした。また、ラベル出力部２０３２が統合重要度ｗを算出し、また、図１４に示す式に従って適合度Ｐを算出することとしたが、適合度Ｐの算出方法は限定しない。
　例えば、これに代えて、分布重要度ｐｅと位置重要度ｃｅを算出しないようにしてもよい。また、この場合は、ラベル出力部２０３２は、位置重要度と形状重要度との和算のみで適合度Ｐを算出する。つまり、ラベル出力部２０３２は、図１４の式からｗ（ｙ，ｔ）と（１－ｗ（ｙ，ｔ））とを省略して、適合度Ｐを算出する。
　または、位置類似度算出部２０２２は、観測移動軌跡曲線２５０の曲線構成要素（プロット点）と対応する確率分布ｐを直接比較し、位置類似度を算出してもよい。この場合は図１４の式からｗ（ｙ，ｔ）と（１－ｗ（ｙ，ｔ））とを省略してもよいし、省略しなくてもよい。
　また、本実施の形態では、重要度設定部２０３１が速度係数値１７０に基づいて速度重要度ｃｅを設定し、分布係数値１８０に基づいて分布重要度ｐｅを設定する例を説明した。
　これに代えて、重要度設定部２０３１が速度係数値１７０に基づかずに速度重要度ｃｅを設定し、分布係数値１８０に基づかずに分布重要度ｐｅを設定するようにしてもよい。
　この場合は、学習軌跡データ生成部１０２３が、学習移動軌跡曲線１５０の生成に用いられた複数の基礎移動軌跡曲線１４０を学習軌跡データ３００に含ませる。なお、この場合では、速度係数値設定部１０２１及び分布係数値設定部１０２２は不要である。また、速度係数値１７０及び分布係数値１８０は学習軌跡データ３００に含まれない。そして、重要度設定部２０３１は、学習移動軌跡曲線１５０から物体の移動速度を導出して、速度係数値設定部１０２１の速度係数値ｃｄの算出手順と同様の手順にて速度重要度ｃｅを算出する。また、重要度設定部２０３１は、学習軌跡データ３００に含まれる複数の基礎移動軌跡曲線１４０の確率分布ｐを解析し、分布係数値設定部１０２２の分布係数値ｐｄの算出手順と同様の手順にて分布重要度ｐｅを算出する。
　実施の形態２．
　本実施の形態では、主に実施の形態１との差異を説明する。
　なお、以下で説明していない事項は、実施の形態１と同様である。
　本実施の形態では、基礎移動軌跡曲線１４０の確率分布ｐとして、図１５の（ｂ）に例示する多峰性の確率分布ｐを用いる例を説明する。
　図１５の（ａ）のように、１つの動作に２つの異なる移動軌跡が含まれ得る場合に、図１５の（ｂ）に例示する多峰性の確率分布ｐを用いることが有用である。
　本実施の形態では、学習装置１００の分布係数値設定部１０２２が、学習移動軌跡曲線１５０のいずれかの曲線構成要素（プロット点）で、当該曲線構成要素の多峰性の確率分布に基づき分布係数値ｐｄを設定する。なお、学習移動軌跡曲線１５０の全ての曲線構成要素（プロット点）の確率分布が多峰性であってもよいし、一部の曲線構成要素（プロット点）の確率分布のみが多峰性であってもよい。
　また、本実施の形態では、推論装置２００のラベル出力部２０３２が、学習移動軌跡曲線１５０のいずれかの曲線構成要素（プロット点）で、当該曲線構成要素の多峰性の確率分布に基づき分布重要度ｐｅを設定する。
　このように、本実施の形態によれば、多峰性の確率分布を用いることで、推論装置２００は、複雑な移動軌跡を含む可能性がある動作も正確に認識することができる。
実施の形態３．
　本実施の形態では、主に実施の形態１との差異を説明する。
　なお、以下で説明していない事項は、実施の形態１と同様である。
　本実施の形態では、移動軌跡曲線の形状だけでなく進行方向も解析する例を説明する。
　実施の形態１では、あるプロット点で瞬間的に観測移動軌跡曲線２５０が学習移動曲線に接近した場合は、そのプロット点での位置の類似度が高くなるため、誤認識されやすい。
　例えば、図１６の（ａ）に示すように、プロット点（ｙｎ，ｔｎ）から離れている区間では、観測移動軌跡曲線２５１は学習移動軌跡曲線１５０及び他の基礎移動軌跡曲線１４０から大きく離れている。しかし、プロット点（ｙｎ，ｔｎ）では、観測移動軌跡曲線２５１は学習移動軌跡曲線１５０と交わっている。プロット点（ｙｎ，ｔｎ）では、観測移動軌跡曲線２５１を含むすべての基礎移動軌跡曲線１４０のばらつきが小さくなっている。このため、プロット点（ｙｎ，ｔｎ）では類似度が高くなる。しかし、全体的には、学習移動軌跡曲線２５１は、他の基礎移動軌跡曲線１４０と曲線形状が大きく異なっているため、プロット点（ｙｎ，ｔｎ）での観測移動軌跡曲線２５１の位置の類似度の影響を下げることが望ましい。
　このため、本実施の形態では、重要度設定部２０３１は、プロット点（ｙｎ，ｔｎ）では、プロット点（ｙｎ，ｔｎ）の学習移動軌跡曲線１５０と観測移動軌跡曲線２５１の進行方向とに基づき、分布重要度ｐｅを補正する。
　このように、本実施の形態では、重要度設定部２０３１が、観測移動軌跡曲線２５１の進行方向を分布重要度ｐｅの補正に利用することにより、部分的に学習移動軌跡曲線１５０と位置が一致した観測移動軌跡曲線２５１の位置類似度の影響を下げることができるため、誤認識されにくくなる。
　重要度設定部２０３１は、例えば、図１６の（ｂ）に示すように、プロット点（ｙｎ，ｔｎ）での分布重要度ｐｅを以下にて算出する。
　ｐ（ｙｎ，ｔｎ）ｃｏｓθ
　図１６の（ｂ）の例では学習移動軌跡曲線１５０と観測移動軌跡曲線２５１のなす角が９０°であるため、分布重要度ｐｅは、以下のように０となる。
　ｐ（ｙｎ，ｔｎ）ｃｏｓ９０°＝ｐ（ｙｎ，ｔｎ）×０＝０
　なお、重要度設定部２０３１の分布重要度ｐｅの算出方法は上記に限らない。
　また、観測移動軌跡曲線２５１の進行方向は、観測移動軌跡曲線２５１の接線方向の進行方向でもよいし、一定区間の平均的な進行方向でもよい。
　また、分布係数値設定部１０２２が分布係数値ｐｄを算出しない場合、すなわち、重要度設定部２０３１が、分布係数値ｐｄに基づかずに、複数の基礎移動軌跡曲線１４０の確率分布ｐを解析して分布重要度ｐｅを算出する場合も、重要度設定部２０３１は、上記の分布係数値ｐｄの算出手順と同様の手順にてプロット点（ｙｎ，ｔｎ）での分布重要度ｐｅを算出することができる。
　このように、本実施の形態によれば、観測移動軌跡曲線の進行方向も含めて解析することで、あるプロット点で瞬間的に観測移動軌跡曲線１５０が学習移動曲線に接近した場合でも、推論装置２００は、正確に動作を認識することができる。
実施の形態４．
　本実施の形態では、主に実施の形態１との差異を説明する。
　なお、以下で説明していない事項は、実施の形態１と同様である。
　本実施の形態では、複数の学習移動軌跡曲線１５０の間の形状が類似しておらず、位置類似度を算出する必要がない場合は、推論装置２００は、位置類似度を算出しない。
　より具体的には、本実施の形態では、推論装置２００が、観測移動軌跡曲線２５０との比較の対象となる２つ以上の学習移動軌跡曲線１５０の間の形状類似度を算出する。そして、２つ以上の学習移動軌跡曲線１５０の間の形状類似度が閾値以上であれば、推論装置２００は、位置類似度と形状類似度を算出する。一方、２つ以上の学習移動軌跡曲線１５０の間の形状類似度が閾値未満であれば、推論装置２００は、形状類似度のみを算出する。
　図１７は、本実施の形態に係る推論装置２００の動作例を示す。
　なお、以下では、説明の簡明のために、観測移動軌跡曲線２５０との比較の対象となる学習移動軌跡曲線１５０が２つである場合を説明する。
　ステップＳ２０１において観測移動軌跡曲線２５０が生成された後、ステップＳ２１１において、形状類似度算出部２０２１が２つの学習移動軌跡曲線１５０の間の形状類似度を算出する。
　ステップＳ２１１の形状類似度の算出手順は、実施の形態１で説明したステップＳ２０３の算出手順と同様である。ステップＳ２０３では、形状類似度算出部２０２１が学習移動軌跡曲線１５０と観測移動軌跡曲線２５０との間の形状類似度を算出するが、ステップＳ２１１では、形状類似度算出部２０２１は２つの学習移動軌跡曲線１５０の間の形状類似度を算出する。
　２つの学習移動軌跡曲線１５０の間の形状類似度が閾値以上である場合（ステップＳ２１２でＹＥＳ）は、図１２に示すステップＳ２０２～Ｓ２０８が行われる。つまり、２つの学習移動軌跡曲線１５０の間の形状類似度が閾値以上である場合は、観測移動軌跡曲線２５０と学習移動軌跡曲線１５０との間の形状類似度に加えて位置類似度も算出される。
　一方、２つの学習移動軌跡曲線１５０の間の形状類似度が閾値未満である場合（ステップＳ２１２でＮＯ）は、ステップＳ２０２、Ｓ２０３、Ｓ２０５～Ｓ２０８が行われる。つまり、２つの学習移動軌跡曲線１５０の間の形状類似度が閾値未満である場合は、観測移動軌跡曲線２５０と学習移動軌跡曲線１５０との間の形状類似度は算出されるが、位置類似度は算出されない。
　なお、ステップＳ２０９は、実施の形態１で示したものと同じであるため、説明を省略する。
　観測移動軌跡曲線２５０との比較の対象となる学習移動軌跡曲線１５０が３以上である場合は、形状類似度算出部２０２１は、３つ以上の学習移動軌跡曲線１５０の相互間の形状類似度を算出する。
　１つ以上の学習移動軌跡曲線１５０のペアにおいて形状類似度が閾値以上であれば、図１２に示すステップＳ２０２～Ｓ２０８が行われる。
　一方、全ての学習移動軌跡曲線１５０のペアにおいて形状類似度が閾値未満であれば、ステップＳ２０２、Ｓ２０３、Ｓ２０５～Ｓ２０８が行われる。
　以上、本実施の形態では、複数の学習移動軌跡曲線１５０の間の形状が類似しておらず、位置類似度を算出する必要がない場合は、推論装置２００は、位置類似度を算出しない。
　このため、本実施の形態によれば、位置類似度を算出する必要がない場合に位置類似度を算出することによって生じる認識精度の低下を回避することができる。
　なお、ステップＳ２１１の形状類似度の算出処理は、学習装置１００内で実施しても構わない。具体的には、図１１のステップＳ１０３の後でＳ２１１の処理を実施し、形状が類似した移動軌跡のラベルを保持しておき、推論時にステップＳ２１１の代わりに保持しておいた形状が類似した移動軌跡のラベルの情報を利用してもよい。
実施の形態５．
　本実施の形態では、主に実施の形態１との差異を説明する。
　なお、以下で説明していない事項は、実施の形態１と同様である。
　本実施の形態では、適合度算出部２０３は、形状類似度と位置類似度とに追加して適合度の算出に用いることができる追加データを取得する。そして、適合度算出部２０３は、追加データを用いて適合度を算出する。
　追加データは、形状度類似度、位置類似度及び統合重要度に追加するデータであれば、どのようなデータでもよい。例えば、適合度算出部２０３は、画像データ６００と、基礎移動軌跡曲線１４０の生成に用いられた画像データ４００とを、追加データとして取得してもよい。
　この場合に、ラベル出力部２０３２は、画像データ６００と画像データ４００とを比較する。そして、画像データ６００と画像データ４００が類似している場合は、ラベル出力部２０３２は、統合重要度に既定の数値を加算する。一方、画像データ６００と画像データ４００が類似していない場合は、重要度設定部２０３１は、統合重要度から既定の数値を減算する。
　例えば、画像データ６００が電動ドライバーを移動させている動作の画像データであり、画像データ４００がスパナを移動させている動作の画像データである場合は、２つの画像データは類似しない。この場合には、重要度設定部２０３１は、統合重要度から既定の数値を減算する。なお、画像データ６００と画像データ４００との類似性の判定基準は推論装置２００のユーザが任意に決定することができる。
　追加データは、画像データ６００及び画像データ４００に限らない。追加データは、物体の移動を観測したセンサデータ等であってもよいし、他の種類のデータであってもよい。
　このように、本実施の形態によれば、追加データを用いることで認識精度を向上させることができる。
　以上、実施の形態１～５を説明したが、これらの実施の形態のうち、２つ以上を組み合わせて実施しても構わない。
　あるいは、これらの実施の形態のうち、１つを部分的に実施しても構わない。
　あるいは、これらの実施の形態のうち、２つ以上を部分的に組み合わせて実施しても構わない。
　また、これらの実施の形態に記載された構成及び手順を必要に応じて変更してもよい。
＊＊＊ハードウェア構成の補足説明＊＊＊
　最後に、学習装置１００及び推論装置２００のハードウェア構成の補足説明を行う。
　図３に示すプロセッサ９１１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）である。
　プロセッサ９１１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）等である。
　図３に示す主記憶装置９１２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）である。
　図３に示す補助記憶装置９１３は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等である。
　図３に示す通信装置９１４は、データの通信処理を実行する電子回路である。
　通信装置９１４は、例えば、通信チップ又はＮＩＣ（Ｎｅｔｗｏｒｋ　Ｉｎｔｅｒｆａｃｅ　Ｃａｒｄ）である。
　また、補助記憶装置９１３には、ＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）も記憶されている。
　そして、ＯＳの少なくとも一部がプロセッサ９１１により実行される。
　プロセッサ９１１はＯＳの少なくとも一部を実行しながら、学習移動軌跡曲線生成部１０１及び係数値設定部１０２の機能を実現するプログラムを実行する。
　プロセッサ９１１がＯＳを実行することで、タスク管理、メモリ管理、ファイル管理、通信制御等が行われる。
　また、学習移動軌跡曲線生成部１０１及び係数値設定部１０２の処理の結果を示す情報、データ、信号値及び変数値の少なくともいずれかが、主記憶装置９１２、補助記憶装置９１３、プロセッサ９１１内のレジスタ及びキャッシュメモリの少なくともいずれかに記憶される。
　また、学習移動軌跡曲線生成部１０１及び係数値設定部１０２の機能を実現するプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ等の可搬記録媒体に格納されていてもよい。そして、学習移動軌跡曲線生成部１０１及び係数値設定部１０２の機能を実現するプログラムが格納された可搬記録媒体を流通させてもよい。
　また、学習移動軌跡曲線生成部１０１及び係数値設定部１０２の「部」を、「回路」又は「工程」又は「手順」又は「処理」又は「サーキットリー」に読み替えてもよい。
　また、学習装置１００は、処理回路により実現されてもよい。処理回路は、例えば、ロジックＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＧＡ（Ｇａｔｅ　Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）である。
　この場合は、学習移動軌跡曲線生成部１０１及び係数値設定部１０２は、それぞれ処理回路の一部として実現される。
　図５に示すプロセッサ９２１は、プロセッシングを行うＩＣである。
　プロセッサ９２１は、ＣＰＵ、ＤＳＰ等である。
　図５に示す主記憶装置９２２は、ＲＡＭである。
　図５に示す補助記憶装置９２３は、ＲＯＭ、フラッシュメモリ、ＨＤＤ等である。
　図５に示す通信装置９２４は、データの通信処理を実行する電子回路である。
　通信装置９２４は、例えば、通信チップ又はＮＩＣである。
　また、補助記憶装置９２３には、ＯＳも記憶されている。
　そして、ＯＳの少なくとも一部がプロセッサ９２１により実行される。
　プロセッサ９２１はＯＳの少なくとも一部を実行しながら、観測移動軌跡曲線生成部２０１、類似度算出部２０２及び適合度算出部２０３の機能を実現するプログラムを実行する。
　プロセッサ９２１がＯＳを実行することで、タスク管理、メモリ管理、ファイル管理、通信制御等が行われる。
　また、観測移動軌跡曲線生成部２０１、類似度算出部２０２及び適合度算出部２０３の処理の結果を示す情報、データ、信号値及び変数値の少なくともいずれかが、主記憶装置９２２、補助記憶装置９２３、プロセッサ９２１内のレジスタ及びキャッシュメモリの少なくともいずれかに記憶される。
　また、観測移動軌跡曲線生成部２０１、類似度算出部２０２及び適合度算出部２０３の機能を実現するプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ等の可搬記録媒体に格納されていてもよい。そして、観測移動軌跡曲線生成部２０１、類似度算出部２０２及び適合度算出部２０３の機能を実現するプログラムが格納された可搬記録媒体を流通させてもよい。
　また、観測移動軌跡曲線生成部２０１、類似度算出部２０２及び適合度算出部２０３の「部」を、「回路」又は「工程」又は「手順」又は「処理」又は「サーキットリー」に読み替えてもよい。
　また、推論装置２００は、処理回路により実現されてもよい。処理回路は、例えば、ロジックＩＣ、ＧＡ、ＡＳＩＣ、ＦＰＧＡである。
　この場合は、観測移動軌跡曲線生成部２０１、類似度算出部２０２及び適合度算出部２０３は、それぞれ処理回路の一部として実現される。
　なお、本明細書では、プロセッサと処理回路との上位概念を、「プロセッシングサーキットリー」という。
　つまり、プロセッサと処理回路とは、それぞれ「プロセッシングサーキットリー」の具体例である。
　１００　学習装置、１０１　学習移動軌跡曲線生成部、１０２　係数値設定部、１０２１　速度係数値設定部、１０２２　分布係数値設定部、１０２３　学習軌跡データ生成部、１４０　基礎移動軌跡曲線、１５０　学習移動軌跡曲線、１６０　ラベル、１７０　速度係数値、１８０　分布係数値、２００　推論装置、２０１　観測移動軌跡曲線生成部、２０２　類似度算出部、２０２１　形状類似度算出部、２０２２　位置類似度算出部、２０３　適合度算出部、２０３１　重要度設定部、２０３２　ラベル出力部、２５０　観測移動軌跡曲線、２５１　基礎移動軌跡曲線、３００　学習軌跡データ、４００　画像データ、５００　ラベル情報、６００　画像データ、８００　作業者、９１１　プロセッサ、９１２　主記憶装置、９１３　補助記憶部装置、９１４　通信装置、９２１　プロセッサ、９２２　主記憶装置、９２３　補助記憶部装置、９２４　通信装置、１０００　解析システム。

Claims (22)

  1. 　学習により得られた移動軌跡曲線である学習移動軌跡曲線と、観測により得られた移動軌跡曲線である観測移動軌跡曲線との間で形状の類似度を形状類似度として算出する形状類似度算出部と、
    　前記学習移動軌跡曲線と前記観測移動軌跡曲線とを同一の座標空間に配置した場合の前記学習移動軌跡曲線と前記観測移動軌跡曲線との間の位置の類似度を位置類似度として算出する位置類似度算出部と、
    　前記形状類似度と前記位置類似度とを用いて、前記学習移動軌跡曲線と前記観測移動軌跡曲線との間の適合度を算出する適合度算出部とを有する推論装置。
  2. 　前記学習移動軌跡曲線は、前記学習移動軌跡曲線を構成する複数の曲線構成要素に細分され、
    　前記観測移動軌跡曲線は、前記学習移動軌跡曲線の前記複数の曲線構成要素に対応する複数の曲線構成要素に細分され、
    　前記形状類似度算出部は、
    　前記学習移動軌跡曲線と前記観測移動軌跡曲線との間で相互に対応する曲線構成要素ごとに前記形状類似度を算出し、
    　前記位置類似度算出部は、
    　前記学習移動軌跡曲線と前記観測移動軌跡曲線との間で相互に対応する曲線構成要素ごとに前記位置類似度を算出し、
    　前記適合度算出部は、
    　前記学習移動軌跡曲線の曲線構成要素ごとに、曲線構成要素ごとの属性に基づき、重要度を設定し、
    　曲線構成要素ごとの前記形状類似度と前記位置類似度と前記重要度とを用いて、前記適合度を算出する請求項１に記載の推論装置。
  3. 　前記学習移動軌跡曲線は、移動する物体の移動軌跡が表される移動軌跡曲線であり、
    　前記適合度算出部は、
    　前記学習移動軌跡曲線の曲線構成要素ごとの属性である、曲線構成要素ごとの前記物体の移動速度に基づき、曲線構成要素ごとに前記重要度を設定する請求項２に記載の推論装置。
  4. 　前記適合度算出部は、
    　前記物体の移動速度が遅い曲線構成要素ほど高い重要度を設定する請求項３に記載の推論装置。
  5. 　前記学習移動軌跡曲線は、複数の基礎移動軌跡曲線を統合して生成された移動軌跡曲線であり、
    　前記適合度算出部は、
    　前記学習移動軌跡曲線の曲線構成要素ごとの属性である、同一の座標空間に前記学習移動軌跡曲線と前記複数の基礎移動軌跡曲線とを重畳させた場合の曲線構成要素ごとの前記複数の基礎移動軌跡曲線の分布に基づき、曲線構成要素ごとに前記重要度を設定する請求項２又は３に記載の推論装置。
  6. 　前記適合度算出部は、
    　前記複数の基礎移動軌跡曲線の分布から得られる尤度が高い曲線構成要素ほど高い重要度を設定する請求項５に記載の推論装置。
  7. 　前記適合度算出部は、
    　曲線構成要素ごとに、前記形状類似度及び前記位置類似度の少なくともいずれかを、同じ曲線構成要素の前記重要度を用いて補正し、
    　曲線構成要素ごとに前記重要度を用いた補正を行った後に、曲線構成要素ごとの前記形状類似度と前記位置類似度とを用いて、前記学習移動軌跡曲線と前記観測移動軌跡曲線との間の適合度を算出する請求項２に記載の推論装置。
  8. 　前記形状類似度算出部は、
    　複数の学習移動軌跡曲線の各々と前記観測移動軌跡曲線との間で前記形状類似度を算出し、
    　前記位置類似度算出部は、
    　前記複数の学習移動軌跡曲線の各々と前記観測移動軌跡曲線との間で前記位置類似度を算出し、
    　前記適合度算出部は、
    　前記複数の学習移動軌跡曲線の各々と前記観測移動軌跡曲線との間で算出された前記形状類似度と前記位置類似度とを用いて、前記複数の学習移動軌跡曲線の各々と前記観測移動軌跡曲線との間の適合度を算出し、前記適合度の算出結果に基づき、前記複数の学習移動軌跡曲線の中からいずれかの学習移動軌跡曲線を選択する請求項１に記載の推論装置。
  9. 　前記適合度算出部は、
    　前記学習移動軌跡曲線のいずれかの曲線構成要素で、当該曲線構成要素の前記複数の基礎移動軌跡曲線の多峰性の分布に基づき前記重要度を設定する請求項５に記載の推論装置。
  10. 　前記適合度算出部は、
    　前記学習移動軌跡曲線のいずれかの曲線構成要素で、当該曲線構成要素の前記複数の基礎移動軌跡曲線の分布と、当該曲線構成要素の前記複数の基礎移動軌跡曲線のうちの少なくともいずれかの基礎移動軌跡曲線の進行方向とに基づき前記重要度を設定する請求項５に記載の推論装置。
  11. 　前記形状類似度算出部は、
    　前記複数の学習移動軌跡曲線の間で前記形状類似度を算出し、
    　前記位置類似度算出部は、
    　前記複数の学習移動軌跡曲線の間の前記形状類似度が閾値以上である場合に、前記複数の学習移動軌跡曲線の各々と前記観測移動軌跡曲線との間で前記位置類似度を算出する請求項８に記載の推論装置。
  12. 　前記適合度算出部は、
    　前記形状類似度と前記位置類似度とに追加して前記学習移動軌跡曲線と前記観測移動軌跡曲線との間の適合度の算出に用いることができる追加データを取得し、
    　前記追加データを用いて、前記学習移動軌跡曲線と前記観測移動軌跡曲線との間の適合度を算出する請求項１に記載の推論装置。
  13. 　学習により、複数の曲線構成要素に細分される移動軌跡曲線である学習移動軌跡曲線を生成する学習移動軌跡曲線生成部と、
    　前記学習移動軌跡曲線の曲線構成要素ごとに、曲線構成要素ごとの属性に基づき、係数値を設定する係数値設定部とを有する学習装置。
  14. 　学習移動軌跡曲線生成部は、
    　移動する物体の移動軌跡が表される移動軌跡曲線を前記学習移動軌跡曲線として生成し、
    　前記係数値設定部は、
    　前記学習移動軌跡曲線の曲線構成要素ごとの属性である、曲線構成要素ごとの前記物体の移動速度に基づき、曲線構成要素ごとに前記係数値を設定する請求項１３に記載の学習装置。
  15. 　前記係数値設定部は、
    　前記物体の移動速度が遅い曲線構成要素ほど高い係数値を設定する請求項１４に記載の学習装置。
  16. 　前記学習移動軌跡曲線生成部は、
    　複数の基礎移動軌跡曲線を統合して前記学習移動軌跡曲線を生成し、
    　前記係数値設定部は、
    　前記学習移動軌跡曲線の曲線構成要素ごとの属性である、同一の座標空間に前記学習移動軌跡曲線と前記複数の基礎移動軌跡曲線とを重畳させた場合の曲線構成要素ごとの前記複数の基礎移動軌跡曲線の分布に基づき、曲線構成要素ごとに前記係数値を設定する請求項１３又は１４に記載の学習装置。
  17. 　前記係数値設定部は、
    　前記複数の基礎移動軌跡曲線の分布から得られる尤度が高い曲線構成要素ほど高い係数値を設定する請求項１６に記載の学習装置。
  18. 　前記係数値設定部は、
    　前記学習移動軌跡曲線のいずれかの曲線構成要素で、当該曲線構成要素の前記複数の基礎移動軌跡曲線の多峰性の分布に基づき前記係数値を設定する請求項１６に記載の学習装置。
  19. 　コンピュータが、学習により得られた移動軌跡曲線である学習移動軌跡曲線と、観測により得られた移動軌跡曲線である観測移動軌跡曲線との間で形状の類似度を形状類似度として算出し、
    　前記コンピュータが、前記学習移動軌跡曲線と前記観測移動軌跡曲線とを同一の座標空間に配置した場合の前記学習移動軌跡曲線と前記観測移動軌跡曲線との間の位置の類似度を位置類似度として算出し、
    　前記コンピュータが、前記形状類似度と前記位置類似度とを用いて、前記学習移動軌跡曲線と前記観測移動軌跡曲線との間の適合度を算出する推論方法。
  20. 　コンピュータが、学習により、複数の曲線構成要素に細分される移動軌跡曲線である学習移動軌跡曲線を生成し、
    　前記コンピュータが、前記学習移動軌跡曲線の曲線構成要素ごとに、曲線構成要素ごとの属性に基づき、係数値を設定する学習方法。
  21. 　学習により得られた移動軌跡曲線である学習移動軌跡曲線と、観測により得られた移動軌跡曲線である観測移動軌跡曲線との間で形状の類似度を形状類似度として算出する形状類似度算出処理と、
    　前記学習移動軌跡曲線と前記観測移動軌跡曲線とを同一の座標空間に配置した場合の前記学習移動軌跡曲線と前記観測移動軌跡曲線との間の位置の類似度を位置類似度として算出する位置類似度算出処理と、
    　前記形状類似度と前記位置類似度とを用いて、前記学習移動軌跡曲線と前記観測移動軌跡曲線との間の適合度を算出する適合度算出処理とをコンピュータに実行させる推論プログラム。
  22. 　学習により、複数の曲線構成要素に細分される移動軌跡曲線である学習移動軌跡曲線を生成する学習移動軌跡曲線生成処理と、
    　前記学習移動軌跡曲線の曲線構成要素ごとに、曲線構成要素ごとの属性に基づき、係数値を設定する係数値設定処理とをコンピュータに実行させる学習プログラム。
PCT/JP2021/015344 2021-04-13 2021-04-13 推論装置、学習装置、推論方法、学習方法、推論プログラム及び学習プログラム WO2022219724A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2023514228A JP7297182B2 (ja) 2021-04-13 2021-04-13 推論装置、学習装置、推論方法、学習方法、推論プログラム及び学習プログラム
EP21936926.1A EP4318396A4 (en) 2021-04-13 2021-04-13 INFERENCE DEVICE, LEARNING DEVICE, INFERENCE METHOD, LEARNING METHOD, INFERENCE PROGRAM, AND LEARNING PROGRAM
CN202180096585.XA CN117099131A (zh) 2021-04-13 2021-04-13 推理装置、学习装置、推理方法、学习方法、推理程序和学习程序
PCT/JP2021/015344 WO2022219724A1 (ja) 2021-04-13 2021-04-13 推論装置、学習装置、推論方法、学習方法、推論プログラム及び学習プログラム
US18/239,328 US20230410322A1 (en) 2021-04-13 2023-08-29 Inference apparatus and learning apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/015344 WO2022219724A1 (ja) 2021-04-13 2021-04-13 推論装置、学習装置、推論方法、学習方法、推論プログラム及び学習プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/239,328 Continuation US20230410322A1 (en) 2021-04-13 2023-08-29 Inference apparatus and learning apparatus

Publications (1)

Publication Number Publication Date
WO2022219724A1 true WO2022219724A1 (ja) 2022-10-20

Family

ID=83639923

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/015344 WO2022219724A1 (ja) 2021-04-13 2021-04-13 推論装置、学習装置、推論方法、学習方法、推論プログラム及び学習プログラム

Country Status (5)

Country Link
US (1) US20230410322A1 (ja)
EP (1) EP4318396A4 (ja)
JP (1) JP7297182B2 (ja)
CN (1) CN117099131A (ja)
WO (1) WO2022219724A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004118290A (ja) * 2002-09-24 2004-04-15 Nippon Telegr & Teleph Corp <Ntt> 移動軌跡データ検索用インデックス生成装置及びその方法と、移動軌跡データ検索装置及びその方法と、移動軌跡データ検索用インデックス生成プログラム及びそのプログラムを記録した記録媒体と、移動軌跡データ検索プログラム及びそのプログラムを記録した記録媒体
WO2011086684A1 (ja) * 2010-01-15 2011-07-21 トヨタ自動車株式会社 車両制御装置
JP2016115110A (ja) * 2014-12-15 2016-06-23 アイシン・エィ・ダブリュ株式会社 車両情報記録システム、方法およびプログラム
JP2020528365A (ja) 2017-07-14 2020-09-24 ランダ コーポレイション リミテッド 中間転写部材

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004118290A (ja) * 2002-09-24 2004-04-15 Nippon Telegr & Teleph Corp <Ntt> 移動軌跡データ検索用インデックス生成装置及びその方法と、移動軌跡データ検索装置及びその方法と、移動軌跡データ検索用インデックス生成プログラム及びそのプログラムを記録した記録媒体と、移動軌跡データ検索プログラム及びそのプログラムを記録した記録媒体
WO2011086684A1 (ja) * 2010-01-15 2011-07-21 トヨタ自動車株式会社 車両制御装置
JP2016115110A (ja) * 2014-12-15 2016-06-23 アイシン・エィ・ダブリュ株式会社 車両情報記録システム、方法およびプログラム
JP2020528365A (ja) 2017-07-14 2020-09-24 ランダ コーポレイション リミテッド 中間転写部材

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4318396A4

Also Published As

Publication number Publication date
US20230410322A1 (en) 2023-12-21
CN117099131A (zh) 2023-11-21
EP4318396A1 (en) 2024-02-07
JP7297182B2 (ja) 2023-06-23
EP4318396A4 (en) 2024-05-08
JPWO2022219724A1 (ja) 2022-10-20

Similar Documents

Publication Publication Date Title
KR102292028B1 (ko) 제스처 인식 방법, 장치, 전자 기기 및 저장 매체
JP5336995B2 (ja) 特徴点位置決め装置、画像認識装置、その処理方法及びプログラム
JP5772821B2 (ja) 顔特徴点位置補正装置、顔特徴点位置補正方法および顔特徴点位置補正プログラム
US8345988B2 (en) Method and apparatus for recognizing 3-D objects
CN106202329B (zh) 样本数据处理、数据识别方法和装置、计算机设备
US7068843B2 (en) Method for extracting and matching gesture features of image
JP2009211177A (ja) 特徴点位置決定方法及び装置
JP5235691B2 (ja) 情報処理装置及び情報処理方法
CN114092521A (zh) 基于多阶段自适应网络的鲁棒目标跟踪方法及系统
JP7297182B2 (ja) 推論装置、学習装置、推論方法、学習方法、推論プログラム及び学習プログラム
WO2018135326A1 (ja) 画像処理装置、画像処理システム、画像処理プログラム、及び画像処理方法
JP6427807B2 (ja) 物体認証装置および物体認証方法
JP2016221660A (ja) 判定方法、判定プログラム及び判定装置
US20240020918A1 (en) Information processing apparatus and information processing method
JP2017162230A (ja) 情報処理装置、類似データ検索方法、及び類似データ検索プログラム
KR101869304B1 (ko) 컴퓨터를 이용한 수화어 인식시스템, 방법 및 인식프로그램
JP6209067B2 (ja) 画像認識装置、及び画像認識方法
KR101543150B1 (ko) 행동 인식 장치 및 그의 행동 인식 방법
JPWO2009151002A1 (ja) パターン識別方法、装置およびプログラム
JP6453618B2 (ja) 算出装置、方法及びプログラム
JP2014081743A (ja) 情報処理装置及び方法、並びにパターン認識装置
JP7023324B2 (ja) マルチメディア信号認識のための電子装置およびその動作方法
JP2010205043A (ja) パターン学習方法、装置、およびプログラム
van Hout et al. Late fusion and calibration for multimedia event detection using few examples
US20240304028A1 (en) Information processing system, information processing method, biometric matching system, biometric matching method, and storage medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21936926

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023514228

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202180096585.X

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2021936926

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2021936926

Country of ref document: EP

Effective date: 20231023

NENP Non-entry into the national phase

Ref country code: DE