WO2011086889A1 - 特徴点選択システム、特徴点選択方法および特徴点選択プログラム - Google Patents

特徴点選択システム、特徴点選択方法および特徴点選択プログラム Download PDF

Info

Publication number
WO2011086889A1
WO2011086889A1 PCT/JP2011/000073 JP2011000073W WO2011086889A1 WO 2011086889 A1 WO2011086889 A1 WO 2011086889A1 JP 2011000073 W JP2011000073 W JP 2011000073W WO 2011086889 A1 WO2011086889 A1 WO 2011086889A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature point
recognition
importance
evaluation
recognition task
Prior art date
Application number
PCT/JP2011/000073
Other languages
English (en)
French (fr)
Inventor
石山塁
宮野博義
本谷秀堅
坂上文彦
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2011549921A priority Critical patent/JPWO2011086889A1/ja
Priority to US13/521,439 priority patent/US8885923B2/en
Publication of WO2011086889A1 publication Critical patent/WO2011086889A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to a feature point selection system, a feature point selection method, and a feature point selection program for selecting a feature point effective for a recognition task from a plurality of feature points on a three-dimensional shape model.
  • the process of recognizing the object shown in the image and the state of the object is called a recognition task.
  • the recognition task there is a process of estimating the orientation (hereinafter referred to as posture) of an individual from the image of the individual (for example, a human face) or identifying the individual.
  • An example of a recognition task will be shown taking object posture estimation as an example.
  • the three-dimensional position of the feature point in the three-dimensional shape model of the object is stored in advance. In general, in a system in which an individual to be recognized is newly registered after the system is operated, the feature point position is common to all individuals.
  • the position of the feature point is detected from the image to be recognized (in this example, the image representing the object whose posture is to be estimated), and is associated with the three-dimensional position of the feature point stored in advance. . Then, the posture of the object is estimated from the correspondence between the position of the feature point in the recognition target image and the position of the feature point on the three-dimensional shape model.
  • a method for estimating the posture of an object from this correspondence is known as a method for solving a perspective n-point problem.
  • the feature points on the three-dimensional shape model stored in advance are part of the recognition target object, and it is easy to specify the position in the image, and the recognition task In this case, the position of the part is determined manually in consideration of both of the importance of the position of the part.
  • the manual feature point determination will be described in more detail.
  • recognition algorithms that perform tasks such as posture estimation and individual identification can improve recognition performance as the number of feature points used increases.
  • the calculation amount of the recognition algorithm increases.
  • the amount of calculation for extracting feature points from the recognition target image increases. Therefore, it is practically important to reduce the number of feature points.
  • Non-Patent Document 1 describes a method for generating feature points based on entropy.
  • this technique it is impossible to narrow down to a small number of feature points useful for the recognition task in consideration of both the first condition and the second condition. For this reason, the definition of the feature points used for the recognition task has been determined manually.
  • the feature point extraction from the recognition target image is performed by cutting out each part from the recognition target image and comparing it with a previously learned determination pattern, and determining the position determined to be the most characteristic point as the feature point position. To do.
  • Non-Patent Document 2 describes a technique for extracting feature points necessary for obtaining corresponding points between images using a SIFT (Scale-Invariant Feature Transform) algorithm.
  • SIFT Scale-Invariant Feature Transform
  • the SIFT algorithm enables block detection by multi-resolution analysis and correlation between images using a grayscale histogram.
  • feature amounts of feature points are also calculated.
  • the feature amount of the pattern for determination given in learning is stored in advance, and it is determined whether it is a feature point by comparing it with the feature amount of the feature point extracted from the recognition target image, and its position is extracted. can do.
  • Non-Patent Document 3 describes using generalized learning vector quantization (GLVQ: GeneralizedGeneralLearning Vector Quantization).
  • GLVQ GeneralizedGeneralLearning Vector Quantization
  • face pattern detection is performed, but if a pattern is replaced with a feature point from the face, the feature point can be detected.
  • SVM Small Vector Vector Machine
  • the appearance of the feature points represented on the recognition target image changes depending on the posture of the object and the lighting conditions.
  • the importance in the first condition and the accuracy of feature point extraction in the second condition are the type of recognition object (shape and appearance), the characteristics of the method for extracting feature points from the image, the recognition task (posture estimation and individual This depends on various factors such as the characteristics of the technique used for identification and the like, and the shooting conditions of the recognition target image. For this reason, it is difficult to quantify the importance in the first condition and the accuracy of feature point extraction in the second condition until a system for performing a recognition task is created and operated. For this reason, system developers have subjectively estimated such importance and accuracy. Therefore, it is difficult for an experienced developer to select an appropriate feature point that satisfies the first and second conditions from the three-dimensional shape model, and the recognition task algorithm itself has the maximum capability. It was difficult to obtain recognition performance.
  • an object of the present invention is to provide a feature point selection system, a feature point selection method, and a feature point selection program that can select an appropriate feature point suitable for a recognition algorithm in a recognition task.
  • the feature point selection system is an image generated from a three-dimensional shape model and used on a three-dimensional shape model for a plurality of evaluation images, which are images used for evaluating recognition errors in a recognition task. From the difference between the recognition task execution means for executing the recognition task, the recognition result by the recognition task execution means, and the correct data of the recognition task for each evaluation image, using the importance for each of the plurality of feature point candidates. It is a function of the recognition error evaluation means for evaluating the recognition error related to the evaluation image and the importance of each feature point candidate, and it is easy to approach the importance of the unimportant feature point candidate to the recognition error related to all evaluation images.
  • the feature point importance determining means for determining the importance of each feature point candidate, and the feature points to be used in the recognition task from the feature point candidates on the three-dimensional shape model based on the importance of each feature point candidate
  • a cost function determined by the importance of each feature point candidate determined by the feature point importance determination means, the recognition task execution means, the recognition error evaluation means, and the feature point importance determination means.
  • the recognition task execution means executes the recognition task until the value of the value converges, the recognition error evaluation means evaluates the recognition error for all evaluation images, and the feature point importance determination means determines the importance of the feature point candidates. It is characterized by repeating determining.
  • the feature point selection method is an image generated from a three-dimensional shape model and used for evaluating a recognition error in a recognition task with respect to a plurality of evaluation images. Recognize all evaluation images based on the difference between the recognition result of the recognition task and the correct data of the recognition task for each evaluation image, using the importance of each feature point candidate on the model. The error is evaluated and expressed as a function of the importance of each feature point candidate, which is a recognition error for all evaluation images plus a constraint that makes the importance of unimportant feature point candidates easily approach zero. And determine the importance of each feature point candidate by calculating the importance of each feature point candidate that minimizes the value of the cost function.
  • the recognition task is executed, the recognition error is evaluated for all evaluation images, and the importance of the feature point candidate is determined repeatedly. Based on the above, a feature point to be used in the recognition task is selected from feature point candidates on the three-dimensional shape model.
  • the feature point selection program provides a computer with a plurality of evaluation images that are images generated from a three-dimensional shape model and used to evaluate recognition errors in a recognition task.
  • the recognition task execution process for executing the recognition task, the recognition result by the recognition task execution process, and the correct data of the recognition task for each evaluation image while using the importance for each of the plurality of feature point candidates on the three-dimensional shape model
  • Recognition error evaluation process for evaluating recognition errors for all evaluation images from the difference, and a function of the importance of each feature point candidate.
  • Zero recognition of unimportant feature point candidates for recognition errors for all evaluation images Define a cost function expressed as a function with a constraint that makes it easy to approach the feature, and the importance of each feature point candidate that minimizes the value of the cost function
  • the feature point candidates on the three-dimensional shape model are recognized by the recognition task.
  • the feature point selection process for selecting the feature point to be used is executed, and the recognition task execution process and recognition are performed until the cost function value determined by the importance of each feature point candidate determined in the feature point importance determination process converges.
  • the error evaluation process and the feature point importance determination process are repeated.
  • FIG. 1 is a block diagram illustrating an example of a feature point selection system according to the first embodiment of this invention.
  • a three-dimensional shape model 1 a plurality of feature point candidates 2 on the three-dimensional shape model 1, and evaluation data 3 are input as input data.
  • the feature point candidate 2 is a plurality of feature point candidates on the three-dimensional shape model 1 and is represented by positions in the three-dimensional shape model 1.
  • the evaluation data 3 includes an evaluation image group (not shown in FIG. 1) under various shooting conditions to be used for performance evaluation of the recognition task, and a result of executing feature point extraction on the evaluation image group. And the correct answer data (recognition result correct data) 5 of the recognition task for the evaluation image group.
  • the feature point data 4 is feature point data on the evaluation image, and is represented by a position in the evaluation image.
  • the type of recognition task is not particularly limited, but the recognition task handled by the feature point selection system is determined in advance.
  • the evaluation image is an image created from the three-dimensional shape model 1 and is an image used for evaluating a recognition error in the recognition task.
  • feature point extraction from the evaluation image group is performed using, for example, a feature point extractor that determines whether a pattern is a feature point when a pattern (part of an image) is input. Just do it. The feature point extractor only needs to learn in advance internal data for making such a determination.
  • feature points 9 having a high degree of importance that can reduce recognition errors in a predetermined recognition task are selected from among a plurality of feature point candidates 2 on the three-dimensional shape model 1. Select from and output.
  • the feature point selection system includes a recognition task execution means 11, a recognition error evaluation means 12, a feature point importance degree determination means 13, and a feature point selection means 14.
  • the recognition task execution means 11 executes a predetermined recognition task using the feature point data 4 obtained from each evaluation image included in the evaluation data 3.
  • the type of recognition task is not particularly limited.
  • the recognition task execution unit 11 may perform posture estimation or may perform individual identification such as face identification. Alternatively, facial expression estimation, age estimation, and the like may be performed.
  • the present invention is characterized in that a recognition task is executed after a weight is assigned to each feature point.
  • a recognition task to be executed after assigning a weight to each feature point is referred to as a weighted recognition task.
  • the weight for each feature point can be referred to as the importance of the feature point from the viewpoint of reducing the recognition error in the recognition task, and the weight for the feature point may be described as the importance of the feature point. Comparing the general recognition task and the weighted recognition task in the present invention, the general recognition task minimizes the sum of reproduction errors when the position of each feature point is reproduced using the recognition result. The recognition result is obtained.
  • the weighted recognition task a recognition result is obtained that minimizes the sum of values obtained by multiplying the reproduction error by the weight representing the importance of each feature point.
  • the weight for the feature point (importance of the feature point) is a value determined for each feature point.
  • the recognition task is performed on each evaluation image included in the evaluation data 3, the same importance is used as the importance of each feature point. That is, the importance of the feature points is determined for each feature point. And each importance for every feature point does not change for every image for evaluation.
  • the recognition error is a difference between the recognition result obtained in the recognition task and the recognition result correct data.
  • the recognition task execution unit 11 performs the posture estimation on the evaluation image included in the evaluation data 3 using a feature point set (a set of feature points).
  • the difference between the obtained orientation and the correct posture may be calculated as a recognition error.
  • information for designating a three-dimensional shape model 1 and a plurality of feature points on the three-dimensional shape model 1 is prepared for a plurality of persons, and evaluation of each person is performed.
  • Data 3 is also created.
  • the ratio of persons who have failed in face recognition is calculated as a recognition error.
  • the example of the recognition task raised here is merely an example, and is not limited to these.
  • the recognition task execution unit 11 performs the weighted recognition task and also obtains the recognition error.
  • the recognition error calculation is performed by the recognition error evaluation unit 12 instead of the recognition task execution unit 11. May be.
  • FIG. 1 shows an example in which the recognition error evaluation unit 12 obtains a recognition error using the recognition result correct answer data 5.
  • Posture estimation related to the evaluation image is calculated from “the position of the feature point extracted from the evaluation image (ie, feature point data 4)” and “the feature point on the three-dimensional shape model 1 (feature point candidate 2)”. This is a process of calculating a posture ⁇ that minimizes an error (reprojection error) with respect to the “position of a feature point on an image in a certain posture”.
  • ⁇ is a six-dimensional vector in which the rotation angle of the object and the three-dimensional position are arranged.
  • the position of the feature point i extracted from the evaluation image is set as a vector y i .
  • This vector y i corresponds to the feature point data 4 shown in FIG.
  • the position of the feature point i on the image when the posture of the object calculated from the three-dimensional shape model 1 is ⁇ is denoted as a vector x i ( ⁇ ). That is, x i ( ⁇ ) is a feature point on the image when the orientation of the three-dimensional shape model 1 is ⁇ , and is the position of the feature point corresponding to the feature point on the three-dimensional shape model 1.
  • reprojection error epsilon a is represented by the formula (1) shown below.
  • the position of the feature point on the three-dimensional shape model 1 is X i
  • the perspective camera matrix determined by the posture ⁇ is P p ( ⁇ ).
  • the feature point position X i on the three-dimensional shape model 1 corresponds to the feature point candidate 2 shown in FIG.
  • x i ( ⁇ ) is obtained by the following equation (2).
  • A is a matrix representing the internal parameters of the camera, and may be set to a realistic value as the internal parameter matrix of the camera.
  • R and T are respectively defined as a rotation vector and a translation vector in posture ⁇ .
  • Recognition Task Common pose estimation can be formulated as a problem of finding the values of the attitude parameters ⁇ for the value of epsilon a in equation (1) to a minimum. This problem can be solved using a non-linear least-squares solution, and many methods are generally known for this purpose. For example, by applying the method described in Reference 1 below, the value of epsilon a can be obtained posture parameter ⁇ that minimizes.
  • the recognition task execution means 11 of the present invention introduces a weight w i representing the importance of each feature point i in the recognition task, and executes posture estimation as a weighted recognition task.
  • the recognition task execution means 11 when performing posture estimation, performs a calculation including multiplication of the weight w i as shown in the following equation (4), and performs a reprojection error ⁇ b (hereinafter, weighted re-execution). referred to as a projection error.) is calculated, to calculate the orientation ⁇ that minimizes the weighted reprojection error epsilon b.
  • ⁇ b ⁇ i w i ( y i -x i ( ⁇ )) T (y i -x i ( ⁇ )) (4)
  • Each w i is determined for each feature point corresponding to the feature point candidate 2.
  • Recognition task execution unit 11 uses the w i that is already established at the time of executing the recognition task, perform recognition tasks (pose estimation in this example). Since w i is known at the time of executing the recognition task, the weighted reprojection error ⁇ b is minimized in the same manner as when obtaining the posture parameter ⁇ that minimizes the value of ⁇ a in general posture estimation. Attitude ⁇ can be calculated.
  • the feature point selection system of the present invention performs a loop process including a recognition task and feature point importance calculation.
  • the first time you run the recognition task the recognition task execution unit 11 may be used a value defined as an initial value of importance w i. Further, when executing the recognition task in the second and subsequent loop processes, the recognition task execution means 11 may use the importance w i obtained in the immediately preceding importance calculation process.
  • the posture calculated as the recognition result for the evaluation image j be ⁇ j .
  • the recognition error evaluation unit 12 evaluates the error of the recognition result obtained by the recognition task execution unit 11. Specifically, the recognition error evaluation unit 12 calculates a value indicating the magnitude of the error of the recognition result for all the evaluation images, and uses the calculation result as an evaluation result of the recognition result error. This evaluation result is denoted as ⁇ c.
  • the evaluation data 3 includes the correct value of the recognition result for each evaluation image j (that is, the recognition result correct data 5). As in the example described above, when the recognition task is posture estimation, the recognition result correct data 5 is the correct value of the posture ⁇ j . This correct value is denoted as ⁇ * j . In this case, the recognition error evaluation unit 12 may calculate, for example, the following expression (5) and calculate the evaluation result ⁇ c of the recognition result error for all the evaluation images.
  • the recognition error evaluation means 12 calculates the square of the difference between ⁇ j obtained by the weighted recognition task and the correct value ⁇ * j for each evaluation image, and the sum is also used as the evaluation result ⁇ c. Good.
  • This evaluation result ⁇ c is the total sum of recognition errors (more precisely, the sum of squares of recognition errors) for all evaluation images.
  • the recognition task execution means 11 may perform a weighted recognition task and may obtain a recognition error, or the recognition error evaluation means 12 may calculate a recognition error.
  • the recognition task execution unit 11 may perform a weighted recognition task and may calculate ( ⁇ j ⁇ * j ).
  • the recognition error evaluation means 12 may perform the entire calculation of Expression (5) including the calculation of ( ⁇ j ⁇ * j ).
  • the feature point importance determining means 13 calculates the importance (weight) of the feature point that minimizes the error evaluation result ⁇ c of the recognition result. This calculation means obtaining the importance of the feature points that minimize the total sum of recognition errors for the evaluation images (in the above example, the sum of squares of the recognition errors).
  • this importance it is characteristic that a constraint condition suitable for selecting a feature point which is an object of the present invention is added.
  • An object of the present invention is to reduce a recognition error by using as few feature points as possible, and from the input feature point candidate group (a plurality of feature point candidates 2 on the three-dimensional shape model 1), a small number of appropriate feature points. Is to select.
  • the constraint condition of minimizing is added to the calculation of importance.
  • epsilon c a function obtained by adding the L1 norm of the vector to the importance of each feature point element, as shown in the following equation (6) is defined as the cost function J.
  • the constraint condition of minimizing the L1 norm of the vector having the importance of each feature point as an element so that the value of the unimportant point is as close to zero as possible is as described above. It can be said that this is a constraint condition for making discrete.
  • w is a vector having the importance of each feature point as an element.
  • ⁇ is a constant parameter that defines how strongly the above constraint condition is applied, and the value of ⁇ is set to an appropriate value in advance.
  • an initial value of importance (weight) is determined.
  • the feature point importance determination means 13 sets a weight (specifically, vector w) that minimizes the value of the cost function J (w) while changing the vector w having the importance of each feature point as an element.
  • the weighted recognition task by the recognition task execution means 11 and the recognition error evaluation result calculation by the recognition error evaluation means 12 are repeatedly executed.
  • the feature point importance determination means 13 obtains w when the value of J (w) converges as the optimum w. As a result, the optimum importance of each feature point is obtained.
  • the weighted recognition task by the recognition task execution means 11 is repeatedly executed until the cost function value converges.
  • w i 0 and the feature point is calculated May be excluded.
  • Feature point selection means 14 selects feature points according to the determined importance of each feature point.
  • the importance of each feature point is determined by the feature point importance determining means 13 as a vector w having the importance of each feature point as an element.
  • the feature point selection unit 14 selects, for example, a predetermined number of feature points in descending order of importance from the feature point candidates 2 input to the feature point selection system of the present invention. The number of feature points to be selected may be determined in advance in consideration of the calculation amount when executing the recognition task.
  • the feature point selection means 14 outputs the selected feature point as a feature point suitable for the recognition task.
  • the method by which the feature point selection unit 14 selects feature points is not limited to the above method.
  • a threshold value for determining whether or not the importance level of a feature point is selected is set, and the feature point selection unit 14 selects only feature points whose importance level exceeds the threshold value, and the importance level is selected. You may make it not select the feature point which is below the threshold value.
  • a method may be used in which the feature points having the highest importance are sequentially selected and a threshold value is set for the cumulative value of the importance of the selected feature points.
  • the feature point selection unit 14 sequentially selects feature points from the feature point having the highest importance level, and calculates a cumulative value obtained by adding the importance levels of the selected feature points each time the feature point is selected. Then, the feature point selection means 14 stops the selection of the feature points when the accumulated value exceeds a predetermined threshold, and the feature points selected so far are converted into features suitable for the recognition task. You may output as a point.
  • the feature point selected when the accumulated value exceeds the threshold, the feature point selected last is excluded, and each feature point selected while satisfying the condition that the accumulated value is less than or equal to the threshold is suitable for the recognition task. It may be output as a feature point.
  • the feature point selection unit 14 sorts the importance levels in descending order, and calculates a difference between the importance levels adjacent to each other. And when the difference becomes larger than a predetermined threshold value, it is possible to select feature points corresponding to the respective importance levels up to the higher one of the two importance levels as the calculation target of the difference. Good. That is, the difference between the importance levels adjacent to each other in the order of the first and second, second and third,... Is calculated, and the difference between the kth and k + 1th importance is larger than the threshold. If so, the feature point selection means 14 may select each feature point whose importance rank after sorting is from 1st to kth.
  • the recognition task execution unit 11, the recognition error evaluation unit 12, the feature point importance degree determination unit 13, and the feature point selection unit 14 are realized by a CPU of a computer that operates according to a feature point selection program, for example.
  • the CPU may read a feature point selection program from a storage device (not shown) of the feature point selection system and operate as each of the above means according to the program.
  • each means 11 to 14 may be realized by a separate dedicated circuit.
  • FIG. 2 is a flowchart illustrating an example of processing progress of the feature point selection system according to the first embodiment. Also in the following description, a case where posture estimation is performed as a recognition task will be described as an example.
  • the recognition error evaluation unit 12 calculates an error evaluation result ⁇ c of recognition results for all the evaluation images (step S2). For example, the recognition error evaluation unit 12 may calculate ⁇ c by calculating Expression (5).
  • the feature point importance determination means 13 calculates the importance of each feature point (step S3). For example, the feature point importance determining means 13 determines a cost function J (w) obtained by adding the L1 norm of a vector having the importance of each feature point as an element to ⁇ c (see equation (6)). A vector w that minimizes the value of J (w) is obtained. The element of this vector is the importance of each feature point.
  • the feature point importance determination means 13 determines whether or not the cost function J (w) has converged (step S4). For example, J (w) determined from the minimum value of J (w) determined from the vector w obtained in step S3 of the previous loop process and the vector w determined in step S3 of the current loop process (that is, the latest step S3). If the absolute value of the difference from the minimum value of) is equal to or less than a predetermined threshold value, the feature point importance determination means 13 may determine that J (w) has converged. On the other hand, if the absolute value of the difference is larger than a predetermined threshold value, the feature point importance determination means 13 may determine that J (w) has not converged.
  • the feature point selection system repeats the processes in and after step S1.
  • the second and subsequent step S1 may be used importance w i of the feature points calculated in the previous step S3.
  • the feature point selection unit 14 selects from the input feature point candidates 2 based on the importance determined in the immediately preceding step S3. A feature point is selected, and the selected feature point is output as a feature point suitable for the recognition task.
  • the feature point data 4 included in the evaluation data 3 includes a feature point extraction error that may occur when the evaluation image is actually used in practice.
  • this feature point data 4 is used, a weighting importance is assigned to each feature point, a recognition task is executed, and a recognition error is evaluated. Then, the importance value that minimizes the recognition error is obtained.
  • the cost function J (w) to which the recognition error is added to the evaluation result and the constraint condition that makes the value of the unimportant point as close to zero as possible is determined, and the J (w) is minimized. Find the importance of each feature point.
  • each specified feature point on the three-dimensional shape model 1 is for the purpose of reducing the recognition error in the actual operating state of the recognition system. Can do. Therefore, for example, by selecting a predetermined number of feature points in descending order of importance, it is possible to select feature points that can execute the recognition task with a limited number of accuracy. Note that the selection method of selecting a predetermined number of feature points in descending order of importance is an example, and appropriate feature points can also be selected by other feature point selection methods based on importance.
  • posture estimation and individual identification are exemplified as examples of the recognition task, but the recognition task is not limited to these processes.
  • a process for estimating the deformation amount of an object instead of a posture a facial expression recognition process for a face image, or the like may be used.
  • FIG. FIG. 3 is a block diagram illustrating an example of a feature point selection system according to the second embodiment of this invention. Constituent elements and data similar to those in the first embodiment are denoted by the same reference numerals as those in FIG. 1, and detailed description thereof is omitted.
  • the feature point selection system according to the second embodiment includes a learning / evaluation data generation unit 15, a feature in addition to a recognition task execution unit 11, a recognition error evaluation unit 12, a feature point importance determination unit 13, and a feature point selection unit 14.
  • a point extraction learning data generation unit hereinafter referred to as a special extraction learning data generation unit
  • a feature point extractor learning unit 17 a feature point extraction execution unit 18 are provided.
  • the 3D shape model 1 and a plurality of feature point candidates 2 on the 3D shape model 1 are used as input data, and the evaluation data 3 is generated by a feature point selection system. Therefore, in the second embodiment, evaluation image groups under various shooting conditions for use in performance evaluation of recognition tasks, and feature points obtained as a result of executing feature point extraction on the evaluation image groups The data 4 and the correct data 5 of the recognition task for the evaluation image group need not be input to the feature point selection system.
  • the input feature point candidate 2 covers all those important points. That is, there must be a large number of input feature point candidates. In particular, if an object contains many characteristic points, or conversely, there are many points that do not have clear feature points and cannot be superior or inferior, it is important to prepare a large number of feature point candidates 2. Feature points cannot be selected.
  • a feature point extractor that can operate in various environments is required. In this embodiment, when a large number of feature point candidates are obtained so as to cover effective feature points, a feature point extractor for the feature point can be automatically generated, and the feature point extractor is used. As a result, it becomes possible to finally select a more accurate feature point.
  • a template means a local area cut out from an image, and the size of the template is referred to as a template size.
  • the learning / evaluation data generation means 15 receives the three-dimensional shape model 1 and information (feature point candidate 2) for specifying a plurality of feature points on the three-dimensional shape model 1. It is assumed that a texture is attached to the three-dimensional shape model 1.
  • the learning / evaluation data generation means 15 stores the learning data 51 and the evaluation data 3 including images in which the posture (orientation) of the input three-dimensional shape model 1 and the position of illumination with respect to the three-dimensional shape model 1 are variously changed. Generate.
  • the learning data 51 generated by the learning / evaluation data generation unit 15 includes a plurality of learning images 52 in which the posture of the three-dimensional shape model 1 and the position of illumination are variously changed, and feature points in the learning images 52. Correct position data 53 is included.
  • the evaluation data 3 generated by the learning / evaluation data generation unit 15 includes a plurality of evaluation images 6 in which the posture of the three-dimensional shape model 1 and the position of illumination are variously changed, and the evaluation images 6. And correct answer data 5 of the recognition task.
  • the learning image 52 and the evaluation image 6 are common in that they are images obtained by variously changing the posture of the three-dimensional shape model 1, the position of illumination with respect to the three-dimensional shape model 1, and the like. However, the learning image 52 and the evaluation image 6 have different conditions such as posture (orientation) and illumination position.
  • the learning / evaluation data generation means 15 uses the three-dimensional shape model 1 to generate the learning image 52 and the evaluation image 6 as two-dimensional CG (Computer Graphics) images.
  • the feature point extractor determines whether the pattern is a feature point.
  • the feature point extractor learns internal data for performing such determination in advance.
  • Various pattern identification methods and feature extraction operators can be used for the feature point extractor.
  • the SIFT feature value described in Non-Patent Document 2 can be used.
  • a SIFT feature extraction operator is applied to a position corresponding to a feature point of the learning data (learning image 52) to extract a SIFT feature amount.
  • the SIFT feature value is stored as internal data.
  • a SIFT feature value is extracted from the image and compared with internal data to determine whether the template corresponds to a feature point.
  • a pattern identification method such as GLVQ described in Non-Patent Document 3 can also be used. In this embodiment, these methods will be described in detail.
  • learning a plurality of templates corresponding to feature points and a template not corresponding to feature points are input, and internal data is generated from the templates. Then, when a template is input in a recognition task or the like, the feature point extractor determines whether or not the template corresponds to a feature point by comparing it with internal data.
  • a group of images used by the feature point extractor to cut out a template for learning internal data is a learning image 52.
  • the learning data 51 generated by the learning / evaluation data generation unit 15 includes the learning image 52 and the correct position data 53 of the feature points in the image group (learning image 52).
  • an image group prepared separately from the learning data Is the evaluation image 6.
  • the evaluation data 3 generated by the learning / evaluation data generation means 15 is the evaluation result image 6 and the recognition result correct data 5 representing the correct answer of the recognition result when the recognition task is executed on the evaluation image 6.
  • the learning / evaluation data generation means 15 uses, as a CG (Computer Graphics) image, an image obtained by variously changing the posture (orientation) of the three-dimensional shape model 1 and the position of illumination with respect to the three-dimensional shape model 1, and the learning image 52 and An evaluation image 6 is generated.
  • CG Computer Graphics
  • conditions such as the posture (orientation) of the three-dimensional shape model 1 and the position of illumination with respect to the three-dimensional shape model 1 are different so that the learning image 52 and the evaluation image 6 are not the same.
  • the learning / evaluation data generation unit 15 performs the same processing to generate the learning image 52 and the evaluation image 6 except that the conditions at the time of image generation are different.
  • the learning / evaluation data generation unit 15 generates a plurality of images to be the learning images 52 and a plurality of images to be the evaluation images 6. It is preferable that the learning / evaluation data generation unit 15 generates a large number of images by setting various postures / illumination conditions so as to cover the imaging conditions of the images to be recognized in the recognition task.
  • FIG. 4 is an explanatory diagram showing examples of images that become the learning image 52 and the evaluation image 6.
  • the example shown in FIG. 4 shows an example of an image generated from two types of three-dimensional shape models.
  • FIG. 4A shows a plurality of types of images generated from a certain three-dimensional shape model
  • FIG. 4B shows a plurality of types of images generated from another three-dimensional shape model.
  • the location where the shadow 61 appears is changed by changing the condition of the illumination position.
  • FIG. 4 illustrates various images when the illumination position condition is changed, but the learning / evaluation data generation unit 15 also uses the learning image 52 and the image when the posture of the three-dimensional shape model is changed. You may produce
  • the feature point candidate 2 designated as a feature point group on the three-dimensional shape model 1 is input to the learning / evaluation data generation means 15.
  • the learning / evaluation data generation unit 15 specifies a feature point on the learning image 52 corresponding to the feature point candidate 2.
  • the learning / evaluation data generation means 15 determines the position of the feature point on the three-dimensional shape model 1 designated as the feature point candidate 2 and the condition (three-dimensional) regarding the posture used when generating the CG image (here, the learning image).
  • the position of the feature point on the learning image 52 can be correctly obtained from the orientation of the shape model.
  • the position of the feature point on the learning image 52 corresponds to the correct position data 53 of the feature point.
  • FIG. 5 is an explanatory diagram showing an example of the correct position data 53 of feature points.
  • the left ends of FIGS. 5A and 5B respectively represent a three-dimensional shape model and a feature point candidate 2 on the three-dimensional shape model.
  • any three-dimensional shape model is schematically represented in two dimensions.
  • 5A and 5B the three images on the right side each represent a two-dimensional learning image generated from the three-dimensional shape model shown at the left end.
  • the learning / evaluation data generation unit 15 specifies the correct position data 53 of the feature points corresponding to the feature point candidate 2 designated as the feature points on the three-dimensional shape model on such a learning image.
  • the learning / evaluation data generation unit 15 also changes the conditions for the posture (orientation) when the conditions regarding the posture (orientation) are changed.
  • the correct position data 53 of the feature point on the learning image is specified from the position of the specified feature point (feature point candidate 2) in the three-dimensional shape model 1.
  • the learning / evaluation data generation means 15 gives the correct answer of the recognition task for each evaluation image 6 to obtain the recognition result correct data 5.
  • the recognition condition correct answer data 5 may be used as a condition related to the posture used when each evaluation image is generated.
  • identification information for identifying an individual of a three-dimensional shape model used when each evaluation image is generated may be used as recognition result correct answer data 5.
  • the special lottery learning data generation means 16 cuts out a plurality of templates corresponding to the feature points and a plurality of templates not corresponding to the feature points from the learning image 52 included in the learning data 51.
  • a template corresponding to the feature point a plurality of templates determined by the template size may be cut out from the learning image 52 with the feature point in the learning image 52 or a point in the vicinity thereof as the center.
  • a template that does not correspond to a feature point a plurality of templates that are centered around points around the feature point and do not include the feature point may be cut out from the learning image 52.
  • the special lottery learning data generation unit 16 may determine the feature points in the learning image 52 based on the correct position data 53 of the feature points.
  • the template size may be specified by being input as input data, for example. However, the template size may be specified in other specification modes.
  • a template corresponding to a feature point is referred to as a feature point template 57
  • a template not corresponding to a feature point is referred to as a non-feature point template 58.
  • the feature point template 57 and the non-feature point template 58 are collectively referred to as feature point extraction learning data 56.
  • Feature point extractor learning means 17 learns internal data of the feature point extractor. That is, internal data of a feature point extractor for determining whether or not a given pattern is a feature point is generated.
  • the feature point extractor learning means 17 learns the internal data 59 with reference to the plurality of feature point templates 57 and the plurality of non-feature point templates 58 generated by the special extraction learning data generation means 16.
  • the feature point extraction execution unit 18 sequentially extracts local templates for each evaluation image 6 in the evaluation data 3 generated by the learning / evaluation data generation unit 15, compares the template with the internal data 59, and It is determined whether or not the template corresponds to a feature point.
  • the feature point extraction execution means 18 determines which part of each evaluation image 6 is a feature point by this determination processing. This determination result becomes the feature point data 4.
  • the learning / evaluation data generation means 15, the special extraction learning data generation means 16, the feature point extractor learning means 17 and the feature point extraction execution means 18 in the second embodiment are, for example, a CPU of a computer that operates according to a feature point selection program. It is realized by.
  • the CPU may read the feature point selection program and operate as each of the means 11 to 18 according to the program.
  • each means 11 to 18 may be realized by a separate dedicated circuit.
  • FIG. 6 is a flowchart illustrating an example of processing progress in the second embodiment. However, processing similar to that in the first embodiment is omitted.
  • the learning / evaluation data generation means 15 generates the learning image 52 and the correct position data 53 of the feature points on the learning image 52 using the input three-dimensional shape model 1 and feature point candidate 2.
  • the learning / evaluation data generation means 15 also generates the evaluation image 6 and recognition result correct answer data 5 representing the correct answer of the recognition result when the recognition task is executed on the evaluation image 6 (step S11). .
  • the special lottery learning data generating means 16 extracts the feature point template 57 and the non-feature point template 58 from the learning image 52 based on the learning image 52 generated in step S11 and the correct position data 53 of the feature points. Cut out (step S12).
  • the feature point extractor learning means 17 learns the internal data 59 of the feature point extractor with reference to the feature point template 57 and the non-feature point template 58 (step S13).
  • the feature point extraction executing means 18 extracts feature points from each evaluation image 6 (step S14). Specifically, the feature point extraction executing unit 18 sequentially cuts out local templates, compares the cut out template with the internal data 59, and determines whether or not the template corresponds to a feature point. When it is determined that the template corresponds to the feature point, the feature point extraction executing unit 18 sets the position of the template in the evaluation image as the feature point position, and determines the feature point position as the feature point data 4.
  • the evaluation image 6 and the recognition result correct data 5 generated in step S11 by the learning / evaluation data generation unit 15 and the feature point data 4 determined in step S14 by the feature point extraction execution unit 18 are included. This corresponds to the evaluation data 3 in the first embodiment.
  • the recognition task executing means 11, the recognition error evaluating means 12, the feature point importance determining means 13 and the feature point selecting means 14 are connected to the evaluation image 6, the recognition result correct answer data 5, the feature point data 4, and the like.
  • processing similar to that in the first embodiment processing after step S1 is executed. This process is the same as in the first embodiment, and a description thereof will be omitted.
  • the input data may be the dimensional shape model 1 and a plurality of feature point candidates 2 on the three-dimensional shape model 1, and the input data is less than that in the first embodiment. be able to. That is, the evaluation image 6 corresponding to the evaluation data 3 in the first embodiment, the recognition result correct answer data 5 and the feature point data 4 are generated by the feature point selection system itself, and thus do not need to be input as input data. . Therefore, the cost for preparing input data can be reduced.
  • the learning data 51 is obtained using the three-dimensional shape model 1 using the three-dimensional shape model 1 and the arrangement of feature point candidates (feature point candidate 2) as input data.
  • the evaluation data 3 is automatically generated.
  • feature point extraction learning data 56 for a large number of feature point candidates can be prepared, and internal data 59 of the feature point extractor can be obtained.
  • evaluation data 3 (evaluation image 6, recognition result correct data 5, and feature point data 4) for estimating a recognition error when a designated recognition task is executed for various images is automatically generated. As a result, the cost of preparing data can be reduced.
  • the learning data 51 may be prepared separately.
  • an evaluation image in which correct data for a recognition task is prepared in advance can be obtained.
  • a configuration without the learning / evaluation data means 15 in the present embodiment may be employed. Then, using the separately prepared learning data 51, the evaluation image 6, and the recognition result correct answer data 5, the processes after step S12 may be executed to select an appropriate feature point.
  • FIG. FIG. 7 is a block diagram illustrating an example of a feature point selection system according to the third embodiment of this invention. Constituent elements and data similar to those in the first embodiment and the second embodiment are denoted by the same reference numerals as those in FIGS. 1 and 3, and detailed description thereof is omitted.
  • the feature point selection system according to the third embodiment includes a recognition task execution unit 11, a recognition error evaluation unit 12, a feature point importance degree determination unit 13, a feature point selection unit 14, a learning / evaluation data generation unit 15, and a specially extracted learning data.
  • a feature point candidate determination means 19 is provided.
  • the feature point selection system uses the three-dimensional shape model 1 as input data, the feature point candidate 2 as a candidate for the feature point on the three-dimensional shape model 1, and the evaluation data 3 (evaluation image 6 Recognition result correct data 5 and feature point data 4) are automatically generated. Therefore, it is not necessary to input the feature point candidate 2 and the evaluation data 3 to the feature point selection system. Further, in the feature point selection system of the third embodiment, the feature point candidate determination means 19 determines a large number of feature points as the feature point candidate 2 and, as a result, can select without having important points. .
  • the feature point candidate determination means 19 applies a feature extraction operator such as edge extraction to the texture image representing the surface pattern of the three-dimensional shape model 1 to determine a strong feature strength portion, To do.
  • a feature extraction operator such as edge extraction to the texture image representing the surface pattern of the three-dimensional shape model 1 to determine a strong feature strength portion.
  • Various techniques are known as a feature extraction operator. As an example, the above-described SIFT feature extraction, a corner detector, or the like can be used.
  • the feature point candidate determining means 19 determines feature point candidates using a plurality of feature point extractors (feature extraction operators), and all the feature point candidates determined by the individual feature point extractors are feature point candidates. It may be 2.
  • the feature point candidate determination means 19 adds feature point candidates by extracting feature points by applying feature point extraction to the shape data of the surface of the three-dimensional shape model 1 in addition to the texture image. Also good.
  • the feature point candidates determined by the feature point candidate determination unit 19 correspond to the feature point candidate 2 in the first embodiment and the second embodiment.
  • the learning / evaluation data generation unit 15 uses the 3D shape model 1 given as input data and the feature point candidate 2 to As in the second embodiment, learning data 51 and evaluation data 3 are generated. Subsequent operations are the same as those in the second embodiment, and a description thereof will be omitted.
  • the feature point candidate determination means 19 is realized by a CPU that operates according to a feature point selection program, for example, as in the other means. Further, the feature point candidate determination unit 19 may be realized by a dedicated circuit different from other units.
  • the feature point candidate determination unit 19 applies the feature extraction operator to the texture image of the 3D shape model 1 or extracts the feature points from the shape.
  • a large number of feature point candidates can be determined.
  • a large number of feature point candidates can be determined by applying a plurality of types of feature extraction operators.
  • These feature point candidates include many feature points that are not necessarily effective for the recognition task.
  • features that can be easily extracted on the image are surely included in the feature point candidates. Therefore, it is possible to make the feature point candidate 2 as a feature point candidate without leaking points important for the recognition task more reliably than when the operator designates the feature point candidate 2, for example.
  • the feature point extractor can be automatically generated, so that a system for executing the recognition task can be immediately constructed.
  • FIG. 8 is a block diagram showing an example of the minimum configuration of the present invention.
  • the feature point selection system of the present invention includes a recognition task execution unit 11, a recognition error evaluation unit 12, a feature point importance degree determination unit 13, and a feature point selection unit 14.
  • the recognition task execution means 11 is a plurality of images on the three-dimensional shape model for a plurality of evaluation images that are images generated from the three-dimensional shape model and are used for evaluating recognition errors in the recognition task.
  • the recognition task is executed using the importance for each feature point candidate.
  • the recognition error evaluation means 12 evaluates the recognition error for all the evaluation images from the difference between the recognition result by the recognition task execution means 11 and the correct answer data of the recognition task for each evaluation image.
  • the feature point importance level determination means 13 is a function of the importance level of each feature point candidate, and adds a constraint that makes the importance level of unimportant feature point candidates easy to approach zero to the recognition error regarding all evaluation images.
  • a cost function expressed as a function is defined, and the importance of each feature point candidate is calculated such that the value of the cost function is minimized, thereby determining the importance of each feature point candidate.
  • the recognition task execution unit 11, the recognition error evaluation unit 12, and the feature point importance determination unit 13 converge the cost function value determined by the importance of each feature point candidate determined by the feature point importance determination unit 13.
  • the recognition error evaluation unit 12 evaluates the recognition error regarding all the evaluation images, and the feature point importance determination unit 13 determines the importance of the feature point candidate. Repeat to do.
  • Feature point selection means 14 selects feature points to be used in the recognition task from the feature point candidates on the three-dimensional shape model based on the importance of each feature point candidate.
  • a feature point selection system is an image generated from a three-dimensional shape model and used for evaluating a plurality of evaluation images, which are images used for evaluating a recognition error in a recognition task.
  • a recognition task execution means (for example, recognition task execution means 11) that executes a recognition task while using importance for each of a plurality of feature point candidates on the shape model, a recognition result by the recognition task execution means, and each evaluation image
  • a recognition error evaluation means (for example, recognition error evaluation means 12) that evaluates recognition errors related to all evaluation images, and a function of the importance of each feature point candidate.
  • a cost function that is expressed as a function that includes the recognition error related to the evaluation image and the constraint that the importance of the unimportant feature point candidates easily approaches zero.
  • Feature point importance determining means for example, feature point importance determining means 13 for determining the importance of each feature point candidate by calculating the importance of each feature point candidate that minimizes the value of the strike function
  • feature point selection means for selecting a feature point to be used in the recognition task from the feature point candidates on the three-dimensional shape model based on the importance of each feature point candidate.
  • Execution means executes a recognition task
  • recognition error evaluation means evaluates recognition errors for all images for evaluation
  • feature point importance determination means repeats determining importance of feature point candidates. And butterflies.
  • the feature point importance determining means may be configured to exclude feature point candidates whose importance is equal to or less than a predetermined threshold from the processing target of the recognition task.
  • a plurality of evaluation images and correct data of a recognition task for each evaluation image are created from the three-dimensional shape model, and are images generated from the three-dimensional shape model and used for determination of the feature point extractor.
  • a plurality of learning images which are images used for learning data (for example, internal data of a feature point extractor), are generated, and position data representing the position of each feature point candidate on the 3D shape model on each learning image is generated.
  • Feature point extractor learning for learning determination data of the feature point extractor based on means (for example, feature point extraction learning data generating means 16) and a local region corresponding to the feature point and a local region not corresponding to the feature point Means (for example, feature point extractor learning means 17) and feature point extraction execution means (for example, feature point extraction execution means 18) for extracting feature points from each evaluation image using determination data. It may be.
  • a configuration may be provided that includes feature point candidate determination means (for example, feature point candidate determination means 19) for determining a point that is a feature point candidate on the 3D shape model from the 3D shape model.
  • feature point candidate determination means for example, feature point candidate determination means 19
  • the feature point candidate determination means applies a plurality of types of feature extraction operators to the texture image of the three-dimensional shape model and the shape of the three-dimensional shape model to extract points that become feature point candidates, The point which becomes a feature point candidate may be determined.
  • the feature point selection system is an image generated from a three-dimensional shape model and used for evaluating a plurality of evaluation images, which are images used for evaluating a recognition error in a recognition task.
  • a recognition task execution unit (for example, recognition task execution unit 11) that executes a recognition task while using importance for each of a plurality of feature point candidates on the shape model, a recognition result by the recognition task execution unit, and each evaluation image
  • a recognition error evaluator e.g., recognition error evaluator 12
  • a feature point importance determining unit (for example, feature point importance determining means 13) that determines the importance of each feature point candidate by calculating the importance of each feature point candidate that minimizes the value of the number;
  • a feature point selection unit (for example, feature point selection means 14) that selects a feature point to be used in the recognition task from the feature point candidates on the three-dimensional shape model based on the importance of each feature point candidate.
  • the recognition task execution unit, the recognition error evaluation unit, and the feature point importance determination unit execute the recognition task until the cost function value determined by the importance of each feature point candidate determined by the feature point importance determination unit converges.
  • a recognition task is performed, a recognition error evaluation unit evaluates recognition errors regarding all evaluation images, and a feature point importance determination unit repeatedly determines the importance of feature point candidates. To do.
  • the configuration may be such that the feature point importance determining unit excludes feature point candidates whose importance is equal to or less than a predetermined threshold from the recognition task processing targets.
  • a plurality of learning images which are images used for learning data (for example, internal data of a feature point extractor), are generated, and position data representing the position of each feature point candidate on the 3D shape model on each learning image is generated
  • the learning / evaluation data generation unit for example, the learning / evaluation data generation unit 15
  • the learning / evaluation data generation unit for example, the learning / evaluation data generation unit 15
  • Local region cutout unit that cuts out a corresponding local region (for example, feature point template 57) and a local region that does not correspond to a feature point (for example, non-feature point template 58)
  • a feature point extraction learning data generation unit 16 and a feature point extractor learning unit (learning data for determination of a feature point extractor based on a local region corresponding to a feature point and a local region not corresponding to a feature point
  • the configuration includes a feature point extractor learning unit 17) and a feature point extraction execution unit (for example, feature point extraction execution unit 18) that extracts feature points from each evaluation image using determination data. May be.
  • a configuration including a feature point candidate determination unit (for example, a feature point candidate determination unit 19) that determines a point to be a feature point candidate on the three-dimensional shape model from the three-dimensional shape model may be used.
  • the feature point candidate determination unit applies a plurality of types of feature extraction operators to the texture image of the three-dimensional shape model and the shape of the three-dimensional shape model to extract points that become feature point candidates, The point which becomes a feature point candidate may be determined.
  • the present invention can be suitably used as a system for determining feature points on a three-dimensional shape model used for a recognition task in an apparatus that performs recognition tasks such as individual posture estimation and individual identification.

Abstract

認識タスクにおける認識アルゴリズムに合う適切な特徴点を選ぶことができる特徴点選択システムを提供する認識タスク実行手段１１は、複数の評価用画像に対して、３次元形状モデル上の複数の特徴点候補毎の重要度を用いつつ、認識タスクを実行する。認識誤差評価手段１２は、認識タスクの認識結果と、各評価用画像に対する認識タスクの正解データとの差から、全評価用画像に関する認識誤差を評価する。特徴点重要度決定手段１３は、全評価用画像に関する認識誤差に、重要でない特徴点候補の重要度をゼロに近づきやすくするという制約条件を加えた関数として表されるコスト関数を定め、コスト関数の値が最小となるような各特徴点候補の重要度を計算する。特徴点選択手段１４は、各特徴点候補の重要度に基づいて、３次元形状モデル上の特徴点候補から、認識タスクで使用するべき特徴点を選択する。

Description

特徴点選択システム、特徴点選択方法および特徴点選択プログラム
　本発明は、３次元形状モデル上の複数の特徴点の中から認識タスクにとって有効な特徴点を選択する特徴点選択システム、特徴点選択方法および特徴点選択プログラムに関する。
　画像に示された物体やその物体の状態を認識する処理を認識タスクと呼ぶ。認識タスクの例として、個体（例えば人の顔）の画像から、その個体の向き（以下、姿勢と記す。）を推定したり、その個体を識別したりする処理が挙げられる。物体の姿勢推定を例にして認識タスクの例を示す。まず、予め物体の３次元形状モデルにおける特徴点の３次元位置を記憶しておく。一般に、システム稼働後に認識対象の個体が新たに登録されるシステムにおいて、特徴点位置は全個体で共通とされる。特徴点の記憶後、認識対象の画像（本例では、姿勢推定しようとする物体が表された画像）から、特徴点の位置を検出し、予め記憶していた特徴点の３次元位置と対応付ける。そして、認識対象画像における特徴点の位置と、３次元形状モデル上における特徴点の位置との対応関係から物体の姿勢推定を行う。この対応関係から物体の姿勢を推定する方法は、透視ｎ点問題の解法として知られている。
　上記のような処理において、予め記憶される３次元形状モデル上の特徴点は、予め、認識対象物体の一部であり画像の中で位置を特定することが容易であること、および、認識タスクにおいてその部位の位置が重要であることの双方を総合的に考慮して人手で定められていた。人手による特徴点決定について、より詳細に説明する。姿勢推定や個体識別等のタスクを行う認識アルゴリズムは、一般に、用いる特徴点の数が多いほど認識性能を向上できる。しかし、多数の特徴点を用いると、認識アルゴリズムの計算量は増大する。さらに、認識対象画像から特徴点を抽出するための計算量も増大する。そのため、特徴点の数を絞り込むことが実用上重要である。少数の特徴点で認識タスクにおける認識性能を向上させるためには、以下のような条件を満たす特徴点を決めておく必要がある。第１条件として、認識タスクにおいて重要な特徴点であること（換言すれば、認識アルゴリズムの精度に与える影響が大きいこと）が必要である。さらに、第２条件として、画像から特徴点として精度良く抽出できることが必要である。一般的に、第１条件および第２条件を両方とも満たす特徴点が３次元形状モデル上の点から人手で決められている。
　３次元モデル上の特徴点を自動的に決定する手法としては、例えば、非特許文献１には、エントロピーに基づいて特徴点を生成する方法が記載されている。しかしながら、この技術では上記の第１条件・第２条件の双方を考慮し、認識タスクにとって有用な少数の特徴点に絞り込むことができなかった。このため、認識タスクに使用する特徴点の定義は人手によって決定されていた。
　また、認識対象画像からの特徴点抽出は、認識対象画像から各部分をそれぞれ切り出し、予め学習しておいた判定用パターンと比較し、最も特徴点らしいと判定された位置を特徴点位置と決定することにより行う。
　非特許文献２には、画像間の対応点を求めるために必要な特徴点を、ＳＩＦＴ（Scale-Invariant Feature Transform ）アルゴリズムによって抽出する技術が記載されている。ＳＩＦＴアルゴリズムは、多重解像度解析による塊検出と、濃淡勾配のヒストグラムを利用した画像間の対応付けを可能とする。ＳＩＦＴアルゴリズムでは、特徴点の特徴量も算出する。予め学習において与えられた判定用パターンの特徴量を記憶しておき、認識対象の画像から抽出された特徴点の特徴量と比較することで、特徴点かどうかの判定を行い、その位置を抽出することができる。
　また、この判定を行う技術として、多くのパターン識別法を利用することもできる。その一例として、一般化学習ベクトル量子化（ＧＬＶＱ：Generalized Learning Vector Quantization）を用いることが非特許文献３に記載されている。非特許文献３では顔のパターン検出を行っているが、パターンを顔から特徴点に置き換えれば特徴点の検出を行うことができる。また、機械学習の手法としてＳＶＭ（Support Vector Machine）も知られている。
　認識対象画像上に表される特徴点の見え方は、物体の姿勢や照明条件によって変化する。画像から切り出された部分が特徴点に該当するか否かを正しく判断するためには、判定用パターンを学習しておく必要がある。そのため、様々な条件で物体の学習用画像を多数撮影しておき、その多数の学習用画像それぞれにおいて正しい特徴点の位置を人手で入力して判定用パターンを学習させていた。
Joshua Cates, Miriah Meyer, P.Thomas Fletcher, Ross Whitaker, "Entropy-Based Particle Systems for Shape Correspondence",Proceedings of the MICCAI,２００６年 藤吉弘亘、「Ｇｒａｄｉｅｎｔベースの特徴抽出　－ＳＩＦＴとＨＯＧ－」、情報処理学会研究報告　ＣＶＩＭ１６０、pp.211-224、２００７年 細井利憲、鈴木哲明、佐藤敦、「一般化学習ベクトル量子化による顔検出」、Technical report of IEICE. PRMU，Vol.102,No.651(20030213),pp.47-52
　上記の第１条件における重要度や第２条件における特徴点抽出の精度は、認識対象物体の種類（形状や見え方）、画像から特徴点を抽出する方法の特性、認識タスク（姿勢推定や個体識別等）に用いる手法の特性、認識対象画像の撮影条件等の様々な要因に依存する。そのため、認識タスクを行うシステムを作り上げて稼働させるまで、第１条件における重要度や第２条件における特徴点抽出の精度は定量化することが難しかった。そのため、そのような重要度や精度をシステム開発者が主観的に見積もっていた。従って、熟達した開発者でなければ、３次元形状モデル上から、上記の第１条件および第２条件を満たす適切な特徴点を選択することが困難であり、認識タスクのアルゴリズム自体が持つ最大限の認識性能を得ることが困難であった。
　そこで、本発明は、認識タスクにおける認識アルゴリズムに合う適切な特徴点を選ぶことができる特徴点選択システム、特徴点選択方法および特徴点選択プログラムを提供することを目的とする。
　本発明による特徴点選択システムは、３次元形状モデルから生成された画像であって認識タスクにおける認識誤差を評価するために用いられる画像である複数の評価用画像に対して、３次元形状モデル上の複数の特徴点候補毎の重要度を用いつつ、認識タスクを実行する認識タスク実行手段と、認識タスク実行手段による認識結果と、各評価用画像に対する認識タスクの正解データとの差から、全評価用画像に関する認識誤差を評価する認識誤差評価手段と、各特徴点候補の重要度の関数であって、全評価用画像に関する認識誤差に、重要でない特徴点候補の重要度をゼロに近づきやすくするという制約条件を加えた関数として表されるコスト関数を定め、当該コスト関数の値が最小となるような各特徴点候補の重要度を計算することによって、各特徴点候補の重要度を決定する特徴点重要度決定手段と、各特徴点候補の重要度に基づいて、３次元形状モデル上の特徴点候補から、認識タスクで使用するべき特徴点を選択する特徴点選択手段とを備え、認識タスク実行手段、認識誤差評価手段および特徴点重要度決定手段は、特徴点重要度決定手段によって決定される各特徴点候補の重要度により定まるコスト関数の値が収束するまで、認識タスク実行手段が、認識タスクを実行し、認識誤差評価手段が、全評価用画像に関する認識誤差を評価し、特徴点重要度決定手段が、特徴点候補の重要度を決定することを繰り返すことを特徴とする。
　また、本発明による特徴点選択方法は、３次元形状モデルから生成された画像であって認識タスクにおける認識誤差を評価するために用いられる画像である複数の評価用画像に対して、３次元形状モデル上の複数の特徴点候補毎の重要度を用いつつ、認識タスクを実行し、認識タスクの認識結果と、各評価用画像に対する認識タスクの正解データとの差から、全評価用画像に関する認識誤差を評価し、各特徴点候補の重要度の関数であって、全評価用画像に関する認識誤差に、重要でない特徴点候補の重要度をゼロに近づきやすくするという制約条件を加えた関数として表されるコスト関数を定め、当該コスト関数の値が最小となるような各特徴点候補の重要度を計算することによって、各特徴点候補の重要度を決定し、決定された各特徴点候補の重要度により定まるコスト関数の値が収束するまで、認識タスクの実行と、全評価用画像に関する認識誤差の評価と、特徴点候補の重要度の決定を繰り返し、各特徴点候補の重要度に基づいて、３次元形状モデル上の特徴点候補から、認識タスクで使用するべき特徴点を選択することを特徴とする。
　また、本発明による特徴点選択プログラムは、コンピュータに、３次元形状モデルから生成された画像であって認識タスクにおける認識誤差を評価するために用いられる画像である複数の評価用画像に対して、３次元形状モデル上の複数の特徴点候補毎の重要度を用いつつ、認識タスクを実行する認識タスク実行処理、認識タスク実行処理による認識結果と、各評価用画像に対する認識タスクの正解データとの差から、全評価用画像に関する認識誤差を評価する認識誤差評価処理、各特徴点候補の重要度の関数であって、全評価用画像に関する認識誤差に、重要でない特徴点候補の重要度をゼロに近づきやすくするという制約条件を加えた関数として表されるコスト関数を定め、当該コスト関数の値が最小となるような各特徴点候補の重要度を計算することによって、各特徴点候補の重要度を決定する特徴点重要度決定処理、および、各特徴点候補の重要度に基づいて、３次元形状モデル上の特徴点候補から、認識タスクで使用するべき特徴点を選択する特徴点選択処理を実行させ、特徴点重要度決定処理で決定される各特徴点候補の重要度により定まるコスト関数の値が収束するまで、認識タスク実行処理、認識誤差評価処理および特徴点重要度決定処理を繰り返させることを特徴とする。
　本発明によれば、認識タスクにおける認識アルゴリズムに合う適切な特徴点を選ぶことができる。
本発明の第１の実施形態の特徴点選択システムの例を示すブロック図である。 第１の実施形態における処理経過の例を示すフローチャートである。 本発明の第２の実施形態の特徴点選択システムの例を示すブロック図である。 学習画像または評価用画像となる画像の例を示す説明図である。 特徴点の正解位置データの例を示す説明図である。 第２の実施形態における処理経過の例を示すフローチャートである。 本発明の第３の実施形態の特徴点選択システムの例を示すブロック図である。 本発明の最小構成の例を示すブロック図である。
　以下、本発明の実施形態を図面を参照して説明する。
実施形態１．
　図１は、本発明の第１の実施形態の特徴点選択システムの例を示すブロック図である。第１の実施形態の特徴点選択システムには、３次元形状モデル１と、その３次元形状モデル１上の複数の特徴点候補２と、評価データ３とが入力データとして入力される。特徴点候補２は、３次元形状モデル１上の複数の特徴点の候補であり、３次元形状モデル１における位置で表される。また、評価データ３には、認識タスクの性能評価に用いるための多様な撮影条件における評価用画像群（図１において図示略）と、その評価用画像群に対して特徴点抽出を実行した結果として得られた特徴点データ４と、その評価用画像群に対する認識タスクの正解データ（認識結果正解データ）５とが含まれる。特徴点データ４は、評価用画像上の特徴点のデータであり、評価用画像における位置で表される。なお、認識タスクの種類は特に限定されないが、特徴点選択システムが扱う認識タスクは予め定められている。また、評価用画像は、３次元形状モデル１から作成された画像であり、認識タスクにおける認識誤差を評価するために用いられる画像である。また、評価用画像群からの特徴点抽出は、例えば、あるパターン（画像の一部）が入力されたときにそのパターンが特徴点であるか否かを判定する特徴点抽出器を用いて行えばよい。特徴点抽出器は、そのような判定を行うための内部データを予め学習しておけばよい。
　第１の実施形態の特徴点選択システムは、予め定められた認識タスクにおける認識誤差を少なくできるような重要度の高い特徴点９を、３次元形状モデル１上の複数の特徴点候補２の中から選択し、出力する。
　本発明の第１の実施形態の特徴点選択システムは、認識タスク実行手段１１と、認識誤差評価手段１２と、特徴点重要度決定手段１３と、特徴点選択手段１４とを備える。
　認識タスク実行手段１１は、評価データ３に含まれるそれぞれの評価用画像から得られた特徴点データ４を用い、予め定められた認識タスクを実行する。認識タスクの種類は特に限定されない。例えば、認識タスク実行手段１１は、姿勢推定を行っても、あるいは、顔識別等の個体識別を行ってもよい。あるいは、表情推定や年齢推定等を行ってもよい。
　ただし、本発明では、各特徴点に対して重みを付与した上で認識タスクを実行する点が特徴である。各特徴点に対して重みを付与した上で実行する認識タスクを、重み付き認識タスクと呼ぶこととする。各特徴点に対する重みは、認識タスクにおける認識誤差を少なくするという観点での特徴点の重要度ということができ、特徴点に対する重みを、特徴点の重要度と記す場合がある。一般的な認識タスクと本発明における重み付き認識タスクとを比較すると、一般的な認識タスクでは、認識結果を用いて各特徴点の位置を再現した際の再現誤差の総和を最小化するような認識結果を求めるものである。これに対して、本発明における重み付き認識タスクでは、各特徴点の重要度をあらわす重みを再現誤差に乗算した値の総和を最小化するような認識結果を求める。特徴点に対する重み（特徴点の重要度）は、個々の特徴点に対してそれぞれ定められる値である。また、評価データ３に含まれる各評価用画像に対して認識タスクを行う際に、各特徴点の重要度として同じ重要度を用いる。すなわち、特徴点の重要度は、個々の特徴点に対してそれぞれ定められる。そして、その特徴点毎の各重要度は、評価用画像毎に変化しない。
　また、認識タスク実行手段１１は、評価データ３に含まれるそれぞれの評価用画像に対して重み付き認識タスクを実行する毎に、その認識タスクの認識結果で生じた認識誤差を求める処理も行う。認識誤差は、認識タスクで得られた認識結果と、認識結果正解データとの差である。
　例えば、認識タスクが姿勢推定であるとすると、認識タスク実行手段１１は、評価データ３に含まれる評価用画像に対して、特徴点セット（特徴点の集合）を用いて姿勢推定を行った結果得た向きと正解となる姿勢との差を認識誤差として計算すればよい。また、認識タスクとして顔画像による個人識別を行う場合、複数の人物について３次元形状モデル１およびその３次元形状モデル１上の複数の特徴点を指定する情報を用意しておき、各人物の評価データ３も作成しておく。そして、その評価データ３に対して特徴点セットを用いて顔認識を行った結果、顔認識に失敗した人物の割合を認識誤差として計算する。ここに上げた認識タスクの例はあくまで一例であり、これらに限定されるものではない。
　なお、ここでは、認識タスク実行手段１１が重み付き認識タスクを行うとともに、認識誤差も求めるものとして説明したが、認識誤差の算出は、認識タスク実行手段１１ではなく、認識誤差評価手段１２が行ってもよい。図１では、認識誤差評価手段１２が、認識結果正解データ５を用いて、認識誤差を求める場合の例を示している。
　以下、認識タスク実行手段１１が実行する認識タスクの実行例を詳しく説明する。ここでは、認識タスク実行手段１１が認識タスクとして、評価用画像に関する姿勢推定を行う場合を例にして説明する。評価用画像に関する姿勢推定は、「評価用画像から抽出された特徴点の位置（すなわち、特徴点データ４）」と「３次元形状モデル１上の特徴点（特徴点候補２）から計算される、ある姿勢における画像上の特徴点の位置」との間の誤差（再投影誤差）が最小となるとなるような姿勢θを計算する処理である。θは、物体の回転角度と３次元位置を並べた６次元ベクトルである。
　評価用画像から抽出された特徴点ｉの位置をベクトルｙｉとする。このベクトルｙｉは、図１に示す特徴点データ４に相当する。また、３次元形状モデル１から計算される物体の姿勢がθであるときの特徴点ｉの画像上の位置をベクトルｘｉ（θ）と記す。すなわち、ｘｉ（θ）は、３次元形状モデル１の姿勢をθとしたときの画像上の特徴点であって、３次元形状モデル１上の特徴点に対応する特徴点の位置である。
　一般的な姿勢推定では、再投影誤差εａは、以下に示す式（１）で表される。
εａ＝Σｉ（ｙｉ－ｘｉ（θ））Ｔ（ｙｉ－ｘｉ（θ））　　　　　式（１）
　ここで、３次元形状モデル１上の特徴点の位置をＸｉとし、姿勢θによって決まる透視カメラ行列をＰｐ（θ）とする。なお、３次元形状モデル１上の特徴点の位置Ｘｉは、図１に示す特徴点候補２に相当する。このとき、ｘｉ（θ）は、以下に示す式（２）によって求められる。
ｘｉ（θ）＝Ｐｐ（θ）Ｘｉ　　　　　式（２）
　また、Ｐｐ（θ）は、以下に示す式（３）によって求められる。
Ｐｐ（θ）＝Ａ［Ｒ　Ｔ］　　　　　式（３）
　式（３）において、Ａは、カメラの内部パラメータを表す行列であり、カメラの内部パラメータ行列として現実的な値に定めておけばよい。Ｒ，Ｔは、それぞれ姿勢θにおける回転ベクトルおよび平行移動ベクトルとして定められる。一般的な姿勢推定の認識タスクは、式（１）におけるεａの値を最小にする姿勢パラメータθの値を求める問題として定式化できる。この問題は、非線形最小二乗法の解法を用いて解くことができ、そのための数多くの方法が一般に公知である。例えば、下記の参考文献１に記載された方法を適用して、εａの値を最小にする姿勢パラメータθを求めることができる。
［参考文献１］
　徐剛、「写真から作る３次元ＣＧ」、近代科学社、P.59-62および付録Ｆ
　本発明の認識タスク実行手段１１は、各特徴点ｉの認識タスクにおける重要度を表す重みｗｉを導入し、姿勢推定を重み付き認識タスクとして実行する。すなわち、姿勢推定を行う場合には、認識タスク実行手段１１は、以下に示す式（４）のように、重みｗｉの乗算を含む計算を行って再投影誤差εｂ（以下、重み付き再投影誤差と呼ぶ。）を計算し、重み付き再投影誤差εｂを最小とする姿勢θを計算する。
εｂ＝Σｉｗｉ（ｙｉ－ｘｉ（θ））Ｔ（ｙｉ－ｘｉ（θ））　　　　　式（４）
　各ｗｉは、特徴点候補２に該当する特徴点毎に定められる。認識タスク実行手段１１は、認識タスクを実行する時点で既に定められているｗｉを用いて、認識タスク（本例では姿勢推定）を行う。認識タスク実行時にｗｉは既知であるので、一般的な姿勢推定においてεａの値を最小にする姿勢パラメータθを求める場合と全く同様の方法で、重み付き再投影誤差εｂを最小とする姿勢θを計算することができる。
　なお、後述するように、本発明の特徴点選択システムは、認識タスクと、特徴点の重要度計算とを含むループ処理を行う。最初に認識タスクを実行する際には、認識タスク実行手段１１は、重要度ｗｉの初期値として定められた値を用いればよい。また、２回目以降のループ処理において認識タスクを実行する際には、認識タスク実行手段１１は、直前の重要度計算処理で求めた重要度ｗｉを用いればよい。
　認識タスク実行手段１１は、評価データ３に含まれる全ての評価用画像に対してそれぞれ、重み付き認識タスク（本例では、重み付き再投影誤差εｂを最小とする姿勢θの算出）を行う。評価用画像ｊに対する認識結果として算出した姿勢をθｊとする。
　認識誤差評価手段１２は、認識タスク実行手段１１によって得られた認識結果の誤差を評価する。具体的には、認識誤差評価手段１２は、全ての評価用画像全体に関する認識結果の誤差の大小を表す値を計算し、その計算結果を、認識結果の誤差の評価結果とする。この評価結果をεｃと記す。評価データ３には、各評価用画像ｊに対する認識結果の正解値（すなわち、認識結果正解データ５）が含まれている。上述した例のように、認識タスクが姿勢推定である場合には、認識結果正解データ５は姿勢θｊの正解値である。この正解値をθ＊ ｊと記す。この場合、認識誤差評価手段１２は、例えば、以下の式（５）の計算を行い、全ての評価用画像全体に関する認識結果の誤差の評価結果εｃを計算してもよい。
εｃ＝Σｊ（θｊ－θ＊ ｊ）２　　　　　　式（５）
　すなわち、認識誤差評価手段１２は、重み付き認識タスクによって得られたθｊと、正解値θ＊ ｊとの差の二乗を、評価用画像毎に計算し、その総和を評価結果εｃとしてもよい。この評価結果εｃは、全て評価用画像に対する認識誤差の総和（より正確には、認識誤差の二乗の総和）である。
　なお、既に説明したように、認識タスク実行手段１１が重み付き認識タスクを行うとともに、認識誤差も求めてもよく、あるいは、認識誤差評価手段１２が認識誤差の算出を行ってもよい。式（５）に示す例では、認識タスク実行手段１１が重み付き認識タスクを行うとともに、（θｊ－θ＊ ｊ）の計算を行ってもよい。あるいは、（θｊ－θ＊ ｊ）の計算も含め、式（５）の計算全体を認識誤差評価手段１２が行ってもよい。
　特徴点重要度決定手段１３は、認識結果の誤差の評価結果εｃを最小にする特徴点の重要度（重み）を計算する。この計算は、全て評価用画像に対する認識誤差の総和（上記の例では、認識誤差の二乗の総和）を最小にする特徴点の重要度を求めることを意味する。本発明では、この重要度に関し、本発明の目的である特徴点の選択を行うために適した制約条件を付け加える点が特徴的である。本発明の目的は、できるだけ少ない特徴点を使って認識誤差を小さくするために、入力された特徴点候補群（３次元形状モデル１上の複数の特徴点候補２）から少数の適切な特徴点を選択することである。そこで、重要である度合いに応じて重みの値が疎になるように、すなわち、重要でない点の値がなるべくゼロに近づきやすくなるように、各特徴点の重要度を要素とするベクトルのＬ１ノルムを最小化するという制約条件を、重要度の計算に付加する。すなわち、εｃに、各特徴点の重要度を要素とするベクトルのＬ１ノルムを加えた関数を、以下の式（６）に示すように、コスト関数Ｊとして定義する。なお、上記のような、重要でない点の値がなるべくゼロに近づきやすくなるように各特徴点の重要度を要素とするベクトルのＬ１ノルムを最小化するという制約条件は、各特徴点の重要度を離散的にする制約条件であるということができる。
Ｊ（ｗ）＝εｃ＋α｜ｗ｜１
　　　　＝Σｊ（θｊ－θ＊ ｊ）２＋α｜ｗ｜１　　　　　　　式（６）
　式（６）において、ｗは、各特徴点の重要度を要素に持つベクトルである。αは、上記の制約条件を、どの程度強く効かせるかを規定する定数パラメータであり、αの値は、予め適当な値に設定しておく。ｗ（すなわち、各特徴点の重要度）を決定しておき、認識タスク実行手段１１が重み付き認識タスクを実行し、認識誤差評価手段１２が、認識誤差の評価結果εｃを計算することにより、特徴点重要度決定手段１３は、コスト関数Ｊの値を計算することができる。従って、コスト関数Ｊは、重要度ｗの関数となり、Ｊ（ｗ）と表してもよい。
　姿勢推定における特徴点の重要度は、非線形関数Ｊ（ｗ）に対する制約付き最適化問題として定式化される。この最適化の計算方法として、適当な初期値を設定して繰り返し処理を行うことで最適な解を得る様々な方法が既に公知である。例えば、参考文献２に記載されているように、Lagrangeの未定数乗法を用いて計算する方法がある。
［参考文献２］
　Ｃ．Ｍ．ビショップ、「パターン認識と機械学習（上）」、シュプリンガージャパン株式会社、付録Ｅ
　具体的な処理は以下のようになる。まず、重要度（重み）の初期値を決定する。これには様々な方法があるが、一例として、全ての重みを均一とする方法がある。すなわち、特徴点の数がＮ個である場合、各特徴点の重みｗｉの初期値を、ｗｉ＝１／Ｎと定めておく。次に、特徴点重要度決定手段１３は、各特徴点の重要度を要素とするベクトルｗを変化させながらコスト関数Ｊ（ｗ）の値を最小化する重み（具体的にはベクトルｗ）を求める。すなわち、初期値から、各特徴点の重要度を要素とするベクトルｗを更新しつつ、認識タスク実行手段１１による重み付き認識タスクと、認識誤差評価手段１２による認識誤差の評価結果算出を繰り返し実行し、特徴点重要度決定手段１３が、Ｊ（ｗ）の値が収束したときのｗを、最適なｗとして求める。この結果、最適な、各特徴点の重要度が得られる。
　上記の処理では、コスト関数の値が収束するまで認識タスク実行手段１１による重み付き認識タスクを繰り返し実行することとなる。各特徴点の重要度の最適化（ｗの最適化）の途中で、重要度ｗｉの値がある閾値以下に低くなった特徴点については、ｗｉ＝０として、その特徴点を計算対象から除外してもよい。このようにすることで、重み付き認識タスクの計算処理を高速化することができる。この閾値は、予め定めておけばよい。
　特徴点選択手段１４は、決定された各特徴点の重要度に応じて、特徴点を選択する。なお、各特徴点の重要度は、特徴点重要度決定手段１３によって、各特徴点の重要度を要素とするベクトルｗとして決定される。特徴点選択手段１４は、例えば、本発明の特徴点選択システムに入力される特徴点候補２の中から、重要度が大きい順に、所定個の特徴点を選択する。選択する特徴点の数は、認識タスク実行時の計算量を考慮して、予め所望の数を定めておけばよい。特徴点選択手段１４は、選択した特徴点を、認識タスクに適した特徴点として出力する。
　特徴点選択手段１４が特徴点を選択する方法は、上記の方法に限定されない。例えば、特徴点の重要度を選択するか否かを判定するための閾値を定めておき、特徴点選択手段１４は、重要度がその閾値を超えている特徴点のみを選択し、重要度がその閾値以下となっている特徴点を選択しないようにしてもよい。
　また、重要度が最大である特徴点から順次選択していき、選択された特徴点の重要度の累積値に対して閾値を定めておく方法であってもよい。例えば、特徴点選択手段１４は、重要度が最大である特徴点から特徴点を順次選択し、特徴点を選択する毎に、選択した特徴点の重要度を加算した累積値を算出する。そして、特徴点選択手段１４は、その累積値が、予め定められた閾値を超えたときに、特徴点の選択を停止して、それまでに選択した各特徴点を、認識タスクに適した特徴点として出力してもよい。あるいは、累積値が閾値を超えた時点で、最後に選択した特徴点を除外し、累積値が閾値以下となっているという条件を満たしている間に選択した各特徴点を、認識タスクに適した特徴点として出力してもよい。
　また、重要度を大きい順にソートし、値が急激に減少する順位を決定し、高位の特徴点のみを選択する方法であってもよい。例えば、特徴点選択手段１４は、重要度を大きい順にソートし、順位が隣り合う重要度同士の差を計算する。そして、その差が、予め定められた閾値より大きくなった場合、その差の計算対象とした２つの重要度のうち、順位が高い方までの各重要度に対応する特徴点を選択してもよい。すなわち、１番目と２番目、２番目と３番目、・・・という順に、順位が隣り合う重要度同士の差を計算し、ｋ番目とｋ＋１番目の重要度同士の差が閾値より大きくなったならば、特徴点選択手段１４は、ソート後の重要度の順位が１番目からｋ番目までとなっている各特徴点を選択してもよい。
　認識タスク実行手段１１、認識誤差評価手段１２、特徴点重要度決定手段１３および特徴点選択手段１４は、例えば、特徴点選択プログラムに従って動作するコンピュータのＣＰＵによって実現される。例えば、ＣＰＵが、特徴点選択システムの記憶装置（図示せず）から特徴点選択プログラムを読み込み、そのプログラムに従って、上記の各手段として動作してもよい。あるいは、各手段１１～１４がそれぞれ別々の専用回路によって実現されていてもよい。
　次に、動作について説明する。
　図２は、第１の実施形態の特徴点選択システムの処理経過の例を示すフローチャートである。以下の説明においても、認識タスクとして姿勢推定を行う場合を例にして説明する。
　まず、認識タスク実行手段１１が、重み付き認識タスクを実行する（ステップＳ１）。例えば、認識タスク実行手段１１は、式（４）における重み付き再投影誤差εｂを最小とする姿勢θを求める。また、最初にステップＳ１を実行するときには、予め重要度ｗｉの初期値を定めておき、その初期値を用いればよい。既に説明したように、特徴点の数がＮ個である場合、各特徴点の重みｗｉの初期値をそれぞれ均一として、ｗｉ＝１／Ｎと定めておいてもよい。
　次に、認識誤差評価手段１２が、全ての評価用画像全体に関する認識結果の誤差の評価結果εｃを計算する（ステップＳ２）。例えば、認識誤差評価手段１２は、式（５）を計算することによってεｃを算出すればよい。
　次に、特徴点重要度決定手段１３が、各特徴点の重要度を計算する（ステップＳ３）。例えば、特徴点重要度決定手段１３は、εｃに、各特徴点の重要度を要素とするベクトルのＬ１ノルムを加えたコスト関数Ｊ（ｗ）を定め（式（６）参照）、コスト関数Ｊ（ｗ）の値を最小とするベクトルｗを求める。このベクトルの要素が、各特徴点の重要度である。
　次に、特徴点重要度決定手段１３は、コスト関数Ｊ（ｗ）が収束したか否かを判定する（ステップＳ４）。例えば、前回のループ処理のステップＳ３で求めたベクトルｗから定まるＪ（ｗ）の最小値と、今回のループ処理のステップＳ３（すなわち、直近のステップＳ３）で求めたベクトルｗから定まるＪ（ｗ）の最小値との差の絶対値が、予め定められた閾値以下になったならば、特徴点重要度決定手段１３は、Ｊ（ｗ）が収束したと判定すればよい。一方、その差の絶対値が、予め定められた閾値よりも大きければ、特徴点重要度決定手段１３は、Ｊ（ｗ）が収束していないと判定すればよい。
　Ｊ（ｗ）が収束していないと判定したならば（ステップＳ４におけるＮｏ）、特徴点選択システムは、ステップＳ１以降の処理を繰り返す。２回目以降のステップＳ１では、その前のステップＳ３で算出された各特徴点の重要度ｗｉを用いればよい。
　また、特徴点重要度決定手段１３は、重要度ｗｉの値がある閾値以下に低くなった特徴点については、ｗｉ＝０としてもよい。このことは、重要度ｗｉの値がある閾値以下に低くなった特徴点を、認識タスク実行手段１１が行う重み付き認識タスクの処理対象から除外することを意味する。
　Ｊ（ｗ）が収束したと判定したならば（ステップＳ４におけるＹｅｓ）、特徴点選択手段１４は、直前のステップＳ３で決定された重要度に基づいて、入力された特徴点候補２の中から特徴点を選択し、選択した特徴点を、認識タスクに適した特徴点として出力する。
　本実施形態において、評価データ３に含まれる特徴点データ４は、評価用画像を実際に認識システムを実用に供した際に生じるであろう特徴点抽出誤差を含んでいる。本実施形態によれば、この特徴点データ４を用い、各特徴点に重要度の重みをつけた上で認識タスクを実行し、認識誤差を評価する。そして、認識誤差が最小になるような、重要度の値を求める。上記の例では、認識誤差を評価結果に、重要でない点の値がなるべくゼロに近づきやすくなるような制約条件を付加したコスト関数Ｊ（ｗ）を定め、そのＪ（ｗ）が最小となるような、各特徴点の重要度を求める。このように処理することで、３次元形状モデル１上の指定された各特徴点が、実際の認識システムの運用状況における認識誤差を小さくするという目的において、どの程度重要であるかを評価することができる。よって、例えば、重要度が大きい順に所定個の特徴点を選択することによって、限られた数で精度よく認識タスクを実行することができるような特徴点を選択することができる。なお、重要度が大きい順に所定個の特徴点を選択するという選択方法は例示であり、重要度に基づいた他の特徴点選択方法によっても、適切な特徴点を選択することができる。
　また、以上の説明では、認識タスクの例として姿勢推定や個体識別を例示したが、認識タスクはこれらの処理に限定されない。例えば、姿勢ではなく物体の変形量を推定する処理や、顔画像に対する表情認識処理などであってもよい。
実施形態２．
　図３は、本発明の第２の実施形態の特徴点選択システムの例を示すブロック図である。第１の実施形態と同様の構成要素やデータについては、図１と同一の符号を付し、詳細な説明を省略する。第２の実施形態の特徴点選択システムは、認識タスク実行手段１１、認識誤差評価手段１２、特徴点重要度決定手段１３および特徴点選択手段１４に加え、学習・評価データ生成手段１５と、特徴点抽出学習データ生成手段（以下、特抽学習データ生成手段と記す。）１６と、特徴点抽出器学習手段１７と、特徴点抽出実行手段１８とを備える。
　第２の実施形態では、３次元形状モデル１と、その３次元形状モデル１上の複数の特徴点候補２を入力データとし、評価データ３に関しては、特徴点選択システムが生成する。従って、第２の実施形態では、認識タスクの性能評価に用いるための多様な撮影条件における評価用画像群と、その評価用画像群に対して特徴点抽出を実行した結果として得られた特徴点データ４と、その評価用画像群に対する認識タスクの正解データ５に関しては、特徴点選択システムに対して入力する必要がない。
　認識タスクの認識性能を高めるために真に重要な特徴点を選択するためには、入力される特徴点候補２がそれらの重要な点を全て網羅していることが必要である。すなわち、入力される特徴点の候補は多数でなければならない。特に、物体が特徴的な点を多数含む場合や、逆に、明確な特徴点がなく優劣付けがたい点が多数あるような場合には、特徴点候補２を大量に用意しなければ、重要な特徴点を選択することができない。また、多様な環境で撮影された画像を認識対象とする認識タスクを対象として特徴点を選択する場合、多様な環境で動作可能な特徴点抽出器が必要とされる。本実施形態では、有効な特徴点を網羅するように大量の特徴点候補を得たときに、その特徴点に対する特徴点抽出器を自動的に生成することができ、その特徴点抽出器を用いることで、結果として、最終的に、より正確な特徴点を選択することが可能となる。
　また、以下の説明において、テンプレートとは、画像から切り出される局所領域を意味し、テンプレートの大きさをテンプレートサイズと記す。
　学習・評価データ生成手段１５には、３次元形状モデル１と、その３次元形状モデル１上の複数の特徴点を指定する情報（特徴点候補２）が入力される。３次元形状モデル１にはテクスチャが貼り付けられているものとする。学習・評価データ生成手段１５は、入力された３次元形状モデル１の姿勢（向き）や、３次元形状モデル１に対する照明の位置等を様々に変更した画像を含む学習データ５１および評価データ３を生成する。学習・評価データ生成手段１５によって生成される学習データ５１には、３次元形状モデル１の姿勢や照明の位置等を様々に変更した複数の学習画像５２と、それらの学習画像５２における特徴点の正解位置データ５３が含まれる。また、学習・評価データ生成手段１５によって生成される評価データ３には、３次元形状モデル１の姿勢や照明の位置等を様々に変更した複数の評価用画像６と、各評価用画像６に対する認識タスクの正解データ５とを含む。学習画像５２および評価用画像６は、３次元形状モデル１の姿勢や３次元形状モデル１に対する照明の位置等を様々に変更して得られる画像である点で共通である。ただし、学習画像５２と評価用画像６とでは、姿勢（向き）や照明位置等の条件が異なるようにする。学習・評価データ生成手段１５は、３次元形状モデル１を用いて、学習画像５２および評価用画像６を、２次元のＣＧ（Computer Graphics ）画像として生成する。
　ここで、特徴点抽出器と、学習・評価データ生成手段１５によって生成される学習データ５１および評価データ３とについて説明する。特徴点抽出器は、あるパターンが入力されたときにそのパターンが特徴点であるか否かを判定する。通常、特徴点抽出器は、そのような判定を行うための内部データを予め学習しておく。特徴点抽出器には様々なパターン識別法や特徴抽出演算子を利用可能である。
　一例として、非特許文献２に記載のＳＩＦＴ特徴量を用いることができる。この場合、学習としては、学習データ（学習画像５２）の特徴点に該当する位置に対してＳＩＦＴ特徴抽出演算子を適用し、ＳＩＦＴ特徴量を抽出する。そして、そのＳＩＦＴ特徴量を内部データとして記憶しておく。認識タスク等において、ある認識対象となる画像が入力されると、その画像からＳＩＦＴ特徴量を抽出し、内部データと比較することにより、そのテンプレートが特徴点に該当するか否かを判定する。
　また、別の方法として、非特許文献３に記載のＧＬＶＱのようなパターン識別法を用いることもできる。本実施形態では、これらの方法について詳しく説明する。学習においては、特徴点に該当するテンプレートと、特徴点に該当しないテンプレートをそれぞれ複数入力され、そのテンプレートから内部データを生成する。そして、特徴点抽出器は、認識タスク等において、あるテンプレートが入力されると、内部データと比較することにより、そのテンプレートが特徴点に該当するか否かを判定する。特徴点抽出器が内部データを学習するためのテンプレートを切り出すために用いられる画像群が学習画像５２である。そして、学習画像５２と、その画像群（学習画像５２）における特徴点の正解位置データ５３とを含むデータが、学習・評価データ生成手段１５によって生成される学習データ５１に含まれる。
　また、内部データ学習後の特徴点抽出器が、実際の認識タスクにおいて用いられた場合にどの程度の精度で特徴点を抽出できるかを評価するために、学習データとは別に用意される画像群が、評価用画像６である。そして、評価用画像６と、その評価用画像６に対して認識タスクを実行した場合における認識結果の正解を表す認識結果正解データ５が、学習・評価データ生成手段１５によって生成される評価データ３に含まれる。
　学習・評価データ生成手段１５は、３次元形状モデル１の姿勢（向き）や、３次元形状モデル１に対する照明の位置等を様々に変更した画像をＣＧ（Computer Graphics ）画像として、学習画像５２および評価用画像６を生成する。ただし、３次元形状モデル１の姿勢（向き）や３次元形状モデル１に対する照明の位置等の条件は、学習画像５２と評価用画像６とが同一にならないように異なるものとする。画像生成時の条件が異なる点を除き、学習・評価データ生成手段１５は、同様の処理を行って学習画像５２および評価用画像６を生成する。また、学習・評価データ生成手段１５は、学習画像５２となる画像および評価用画像６となる画像を、それぞれ複数生成する。学習・評価データ生成手段１５は、認識タスクにおいて認識対象となる画像の撮影条件を網羅するように、様々な姿勢・照明条件を設定して、多数の画像を生成することが好ましい。
　図４は、学習画像５２や評価用画像６となる画像の例を示す説明図である。図４に示す例では、２種類の３次元形状モデルから生成された画像の例を示している。図４（ａ）は、ある一つの３次元形状モデルから生成された複数種類の画像であり、図４（ｂ）は、別の３次元形状モデルから生成された複数種類の画像である。図４（ａ），（ｂ）に例示する各画像では、照明位置の条件を変えることで、影６１の現れる場所が変化している。図４では、照明位置の条件を変えた場合の種々の画像を例示しているが、学習・評価データ生成手段１５は、３次元形状モデルの姿勢を変更した場合の画像も、学習画像５２および評価用画像６として生成してもよい。
　また、学習・評価データ生成手段１５には、３次元形状モデル１上の特徴点群として指定された特徴点候補２が入力される。学習・評価データ生成手段１５は、この特徴点候補２に対応する学習画像５２上の特徴点を特定する。学習・評価データ生成手段１５は、特徴点候補２として指定された３次元形状モデル１上の特徴点の位置と、ＣＧ画像（ここでは、学習画像）の生成時に用いた姿勢に関する条件（３次元形状モデルの向き）とから、学習画像５２上の特徴点の位置を正しく求めることができる。この学習画像５２上の特徴点の位置が、特徴点の正解位置データ５３に該当する。
　図５は、特徴点の正解位置データ５３の例を示す説明図である。図５（ａ），（ｂ）の左端は、それぞれ、３次元形状モデルと、その３次元形状モデル上の特徴点候補２を表している。ただし、いずれの３次元形状モデルも、模式的に２次元で表している。図５（ａ），（ｂ）において、右側の３つの画像は、それぞれ、左端に示す３次元形状モデルから生成された２次元の学習画像を表しており、図５に示す例では、図４に示す場合と同様に、影が現れている。学習・評価データ生成手段１５は、このような学習画像上において、３次元形状モデル上の特徴点として指定された特徴点候補２に対応する、特徴点の正解位置データ５３を特定する。図５では、各学習画像における顔の向きがいずれも同一である場合を例示しているが、姿勢（向き）に関する条件を変えた場合にも、学習・評価データ生成手段１５は、その条件と、３次元形状モデル１における指定された特徴点の位置（特徴点候補２）とから、学習画像上における特徴点の正解位置データ５３を特定する。
　また、学習・評価データ生成手段１５は、各評価用画像６に対する認識タスクの正解を付与し、認識結果正解データ５とする。例えば、認識タスクとして姿勢推定を行う場合は、各評価用画像を生成した際に用いた姿勢に関する条件を、認識結果正解データ５とすればよい。また、認識タスクとして個体識別を行う場合は、各評価用画像を生成した際に用いた３次元形状モデルの個体を特定する識別情報を認識結果正解データ５とすればよい。
　特抽学習データ生成手段１６は、学習データ５１に含まれる学習画像５２から、特徴点に該当するテンプレートと、特徴点に該当しないテンプレートを複数切り出す。特徴点に該当するテンプレートとして、学習画像５２における特徴点やその近辺の点を中心とし、テンプレートサイズによって決まるテンプレートを学習画像５２から複数切り出せばよい。また、特徴点に該当しないテンプレートとして、その特徴点の周囲の点を中心とするテンプレートであって特徴点を含まないテンプレートを学習画像５２から複数切り出せばよい。このとき、特抽学習データ生成手段１６は、学習画像５２における特徴点を、特徴点の正解位置データ５３によって判断すればよい。また、テンプレートサイズは、例えば、入力データとして入力されることによって、指定されればよい。ただし、テンプレートサイズは他の指定態様で指定されてもよい。以下、特徴点に該当するテンプレートを、特徴点テンプレート５７と記し、特徴点に該当しないテンプレートを、非特徴点テンプレート５８と記す。そして、特徴点テンプレート５７および非特徴点テンプレート５８を合わせて、特徴点抽出学習データ５６と記す。
　特徴点抽出器学習手段１７は、特徴点抽出器の内部データを学習する。すなわち、与えられるパターンが特徴点であるか否かを判定するための特徴点抽出器の内部データを生成する。特徴点抽出器学習手段１７は、特抽学習データ生成手段１６によって生成された複数の特徴点テンプレート５７および複数の非特徴点テンプレート５８を参照して、内部データ５９を学習する。
　特徴点抽出実行手段１８は、学習・評価データ生成手段１５によって生成された評価データ３におけるそれぞれの評価用画像６について、局所的なテンプレートを順次切り出し、テンプレートと内部データ５９とを比較して、そのテンプレートが特徴点に該当するか否かを判定する。特徴点抽出実行手段１８は、この判定処理によって、各評価用画像６におけるどの部分が特徴点であるかを判定する。この判定結果が、特徴点データ４となる。
　第２の実施形態における学習・評価データ生成手段１５、特抽学習データ生成手段１６、特徴点抽出器学習手段１７および特徴点抽出実行手段１８は、例えば、特徴点選択プログラムに従って動作するコンピュータのＣＰＵによって実現される。例えば、ＣＰＵが、特徴点選択プログラムを読み込み、そのプログラムに従って、各手段１１～１８として動作してもよい。あるいは、各手段１１～１８がそれぞれ別々の専用回路によって実現されていてもよい。
　次に、動作について説明する。
　図６は、第２の実施形態における処理経過の例を示すフローチャートである。ただし、第１の実施形態と同様の処理については、省略している。
　まず、学習・評価データ生成手段１５が、入力された３次元形状モデル１および特徴点候補２を用いて、学習画像５２と、その学習画像５２上における特徴点の正解位置データ５３を生成する。また、学習・評価データ生成手段１５は、評価用画像６と、その評価用画像６に対して認識タスクを実行した場合における認識結果の正解を表す認識結果正解データ５も生成する（ステップＳ１１）。
　次に、特抽学習データ生成手段１６は、ステップＳ１１で生成された学習画像５２、および特徴点の正解位置データ５３に基づいて、特徴点テンプレート５７および非特徴点テンプレート５８を、学習画像５２から切り出す（ステップＳ１２）。
　次に、特徴点抽出器学習手段１７は、特徴点テンプレート５７および非特徴点テンプレート５８を参照して、特徴点抽出器の内部データ５９を学習する（ステップＳ１３）。
　続いて、特徴点抽出実行手段１８が、それぞれの評価用画像６から特徴点を抽出する（ステップＳ１４）。具体的には、特徴点抽出実行手段１８は、局所的なテンプレートを順次切り出し、切り出したテンプレートと内部データ５９とを比較して、そのテンプレートが特徴点に該当するか否かを判定する。テンプレートが特徴点に該当すると判定した場合には、特徴点抽出実行手段１８は、評価用画像におけるそのテンプレートの位置を特徴点の位置とし、その特徴点の位置を特徴点データ４と定める。
　以上の処理において、学習・評価データ生成手段１５によってステップＳ１１で生成された評価用画像６および認識結果正解データ５と、特徴点抽出実行手段１８によってステップＳ１４で定められた特徴点データ４とが、第１の実施形態における評価データ３に相当する。ステップＳ１４の後、認識タスク実行手段１１、認識誤差評価手段１２、特徴点重要度決定手段１３および特徴点選択手段１４は、上記の評価用画像６、認識結果正解データ５、特徴点データ４と、入力データである３次元形状モデル１および特徴点候補２とを用いて、第１の実施形態と同様の処理（ステップＳ１以降の処理）を実行する。この処理は、第１の実施形態と同様であり、説明を省略する。
　第２の実施形態によれば、第１の実施形態と同様に、認識タスクとして行う処理に応じた適切な特徴点を選択することができる。また、第２の実施形態では、入力データを、次元形状モデル１と、その３次元形状モデル１上の複数の特徴点候補２とすればよく、第１の実施形態よりも入力データを少なくすることができる。すなわち、第１の実施形態における評価データ３に相当する評価用画像６、認識結果正解データ５および特徴点データ４に関しては、特徴点選択システム自身が生成するので、入力データとして入力する必要がない。従って、入力データを準備するコストを削減することができる。
　以上に説明したように、第２の実施形態では、３次元形状モデル１と特徴点の候補の配置（特徴点候補２）を入力データとして、３次元形状モデル１を利用して、学習データ５１および評価データ３を自動的に生成する。このように学習データ５１を自動生成することによって、大量の特徴点候補に対する特徴点抽出学習データ５６を用意し、特徴点抽出器の内部データ５９を得ることを可能としている。さらに、指定の認識タスクを多様な画像に対して実行した際の認識誤差を見積もるための評価データ３（評価用画像６、認識結果正解データ５、および特徴点データ４）も自動的に生成することにより、データを準備するコストを削減できるようにもしている。
　なお、特徴点候補２があらかじめ少数に絞られている場合等には、学習データ５１は別途用意できる場合もある。また、予め認識タスクの正解データが用意された評価用画像を入手可能な場合もある。このような場合には、本実施形態における学習・評価データ手段１５を備えない構成であってもよい。そして、別途用意された学習データ５１、評価用画像６および認識結果正解データ５を用いて、ステップＳ１２以降の処理を実行して、適切な特徴点を選択してもよい。
実施形態３．
　図７は、本発明の第３の実施形態の特徴点選択システムの例を示すブロック図である。第１の実施形態や第２の実施形態と同様の構成要素やデータについては、図１、図３と同一の符号を付し、詳細な説明を省略する。第３の実施形態の特徴点選択システムは、認識タスク実行手段１１、認識誤差評価手段１２、特徴点重要度決定手段１３、特徴点選択手段１４、学習・評価データ生成手段１５、特抽学習データ生成手段１６、特徴点抽出器学習手段１７および特徴点抽出実行手段１８に加え、特徴点候補決定手段１９を備える。
　第３の実施形態の特徴点選択システムは、３次元形状モデル１を入力データとし、３次元形状モデル１上の特徴点の候補となる特徴点候補２、および、評価データ３（評価用画像６、認識結果正解データ５、特徴点データ４）を自動的に生成する。従って、特徴点候補２、評価データ３に関しては、特徴点選択システムに対して入力する必要がない。また、第３の実施形態の特徴点選択システムでは、特徴点候補決定手段１９が、特徴点候補２として大量の特徴点を決定し、その結果、重要な点をもらさず選択できるようにしている。
　特徴点候補決定手段１９は、３次元形状モデル１の表面の文様を表すテクスチャ画像に対し、エッジ抽出等の特徴抽出演算子を適用し、特徴強度の強い部分を決定し、特徴点の候補とする。特徴抽出演算子として様々な技術が公知であるが、一例として、前述のＳＩＦＴ特徴抽出や、コーナー検出器などを用いることが可能である。特徴点候補決定手段１９は、複数の特徴点抽出器（特徴抽出演算子）を用いて特徴点の候補を決定し、個々の特徴点抽出器により決定した特徴点の候補を、全て特徴点候補２としてもよい。また、特徴点候補決定手段１９は、テクスチャ画像に加え、３次元形状モデル１の表面の形状データに対して特徴点抽出を適用して特徴点を抽出することによって、特徴点候補を追加してもよい。
　特徴点候補決定手段１９が決定した特徴点の候補は、第１の実施形態や第２の実施形態における特徴点候補２に相当する。特徴点候補決定手段１９によって特徴点候補２が決定されると、学習・評価データ生成手段１５は、入力データとして与えられた３次元形状モデル１と、その特徴点候補２とを用いて、第２の実施形態と同様に、学習データ５１および評価データ３を生成する。以降の動作は、第２の実施形態と同様であり、説明を省略する。
　特徴点候補決定手段１９は、他の各手段と同様に、例えば、特徴点選択プログラムに従って動作するＣＰＵによって実現される。また、特徴点候補決定手段１９は、他の手段とは別の専用回路によって実現されていてもよい。
　以上のように、特徴点候補決定手段１９が、３次元形状モデル１が３次元形状モデル１のテクスチャ画像に対して特徴抽出演算子を適用したり、形状に対して特徴点抽出を行ったりすることで、大量の特徴点候補を決定することができる。特に、複数種類の特徴抽出演算子を適用することで、大量の特徴点候補を決定できる。これらの特徴点候補には、認識タスクにとってずしも有効でない特徴点も多く含まれる。しかし、画像上で特徴抽出が容易な点が特徴点候補に確実に含まれている。そのため、特徴点候補２を例えばオペレータが指定する場合よりも確実に、認識タスクにとって重要な点を漏らさず特徴点候補とすることができる。さらに、入力データにおいて予め特徴点候補２として決めていなかった特徴点であっても、その特徴点抽出器を自動生成することができるので、認識タスクを実行するシステムを直ちに構築することができるという利点がある。
　次に、本発明の最小構成について説明する。図８は、本発明の最小構成の例を示すブロック図である。本発明の特徴点選択システムは、認識タスク実行手段１１と、認識誤差評価手段１２と、特徴点重要度決定手段１３と、特徴点選択手段１４とを備える。
　認識タスク実行手段１１は、３次元形状モデルから生成された画像であって認識タスクにおける認識誤差を評価するために用いられる画像である複数の評価用画像に対して、３次元形状モデル上の複数の特徴点候補毎の重要度を用いつつ、認識タスクを実行する。
　認識誤差評価手段１２は、認識タスク実行手段１１による認識結果と、各評価用画像に対する認識タスクの正解データとの差から、全評価用画像に関する認識誤差を評価する。
　特徴点重要度決定手段１３は、各特徴点候補の重要度の関数であって、全評価用画像に関する認識誤差に、重要でない特徴点候補の重要度をゼロに近づきやすくするという制約条件を加えた関数として表されるコスト関数を定め、当該コスト関数の値が最小となるような各特徴点候補の重要度を計算することによって、各特徴点候補の重要度を決定する。
　そして、認識タスク実行手段１１、認識誤差評価手段１２および特徴点重要度決定手段１３は、特徴点重要度決定手段１３によって決定される各特徴点候補の重要度により定まるコスト関数の値が収束するまで、認識タスク実行手段１１が、認識タスクを実行し、認識誤差評価手段１２が、全評価用画像に関する認識誤差を評価し、特徴点重要度決定手段１３が、特徴点候補の重要度を決定することを繰り返す。
　特徴点選択手段１４は、各特徴点候補の重要度に基づいて、３次元形状モデル上の特徴点候補から、認識タスクで使用するべき特徴点を選択する。
　以上のような構成により、認識タスクにおける認識アルゴリズムに合う適切な特徴点を、３次元形状モデル上の特徴点候補から選択することができる。
　なお、上記の実施形態では、以下の（１）～（１０）に示すような特徴点選択システムの特徴的構成が開示されている。
（１）本発明による特徴点選択システムは、３次元形状モデルから生成された画像であって認識タスクにおける認識誤差を評価するために用いられる画像である複数の評価用画像に対して、３次元形状モデル上の複数の特徴点候補毎の重要度を用いつつ、認識タスクを実行する認識タスク実行手段（例えば、認識タスク実行手段１１）と、認識タスク実行手段による認識結果と、各評価用画像に対する認識タスクの正解データとの差から、全評価用画像に関する認識誤差を評価する認識誤差評価手段（例えば、認識誤差評価手段１２）と、各特徴点候補の重要度の関数であって、全評価用画像に関する認識誤差に、重要でない特徴点候補の重要度をゼロに近づきやすくするという制約条件を加えた関数として表されるコスト関数を定め、当該コスト関数の値が最小となるような各特徴点候補の重要度を計算することによって、各特徴点候補の重要度を決定する特徴点重要度決定手段（例えば、特徴点重要度決定手段１３）と、各特徴点候補の重要度に基づいて、３次元形状モデル上の特徴点候補から、認識タスクで使用するべき特徴点を選択する特徴点選択手段（例えば、特徴点選択手段１４）とを備え、認識タスク実行手段、認識誤差評価手段および特徴点重要度決定手段は、特徴点重要度決定手段によって決定される各特徴点候補の重要度により定まるコスト関数の値が収束するまで、認識タスク実行手段が、認識タスクを実行し、認識誤差評価手段が、全評価用画像に関する認識誤差を評価し、特徴点重要度決定手段が、特徴点候補の重要度を決定することを繰り返すことを特徴とする。
（２）特徴点重要度決定手段が、重要度が予め定められた閾値以下になった特徴点候補を認識タスクの処理対象から除外する構成であってもよい。
（３）３次元形状モデルから複数の評価用画像と、各評価用画像に対する認識タスクの正解データとを作成するとともに、３次元形状モデルから生成される画像であって特徴点抽出器の判定用データ（例えば、特徴点抽出器の内部データ）の学習に用いられる画像である学習画像を複数生成し、３次元形状モデル上の各特徴点候補の各学習画像上における位置を表す位置データを生成する学習・評価用データ生成手段（例えば、学習・評価用データ生成手段１５）と、学習・評価用データ生成手段によって生成された各学習画像および位置データに基づいて、各学習画像から特徴点に該当する局所領域（例えば、特徴点テンプレート５７）および特徴点に該当しない局所領域（例えば、非特徴点テンプレート５８）を切り出す局所領域切り出し手段（例えば、特徴点抽出学習データ生成手段１６）と、特徴点に該当する局所領域および特徴点に該当しない局所領域に基づいて、特徴点抽出器の判定用データを学習する特徴点抽出器学習手段（例えば、特徴点抽出器学習手段１７）と、判定用データを用いて、各評価用画像から特徴点を抽出する特徴点抽出実行手段（例えば、特徴点抽出実行手段１８）とを備える構成であってもよい。
（４）３次元形状モデルから、当該３次元形状モデル上の特徴点候補となる点を決定する特徴点候補決定手段（例えば、特徴点候補決定手段１９）を備える構成であってもよい。
（５）特徴点候補決定手段が、３次元形状モデルのテクスチャ画像および３次元形状モデルの形状に対して複数種類の特徴抽出演算子を適用して特徴点候補となる点を抽出することによって、特徴点候補となる点を決定する構成であってもよい。
（６）本発明による特徴点選択システムは、３次元形状モデルから生成された画像であって認識タスクにおける認識誤差を評価するために用いられる画像である複数の評価用画像に対して、３次元形状モデル上の複数の特徴点候補毎の重要度を用いつつ、認識タスクを実行する認識タスク実行部（例えば、認識タスク実行手段１１）と、認識タスク実行部による認識結果と、各評価用画像に対する認識タスクの正解データとの差から、全評価用画像に関する認識誤差を評価する認識誤差評価部（例えば、認識誤差評価手段１２）と、各特徴点候補の重要度の関数であって、全評価用画像に関する認識誤差に、重要でない特徴点候補の重要度をゼロに近づきやすくするという制約条件を加えた関数として表されるコスト関数を定め、当該コスト関数の値が最小となるような各特徴点候補の重要度を計算することによって、各特徴点候補の重要度を決定する特徴点重要度決定部（例えば、特徴点重要度決定手段１３）と、各特徴点候補の重要度に基づいて、３次元形状モデル上の特徴点候補から、認識タスクで使用するべき特徴点を選択する特徴点選択部（例えば、特徴点選択手段１４）とを備え、認識タスク実行部、認識誤差評価部および特徴点重要度決定部は、特徴点重要度決定部によって決定される各特徴点候補の重要度により定まるコスト関数の値が収束するまで、認識タスク実行部が、認識タスクを実行し、認識誤差評価部が、全評価用画像に関する認識誤差を評価し、特徴点重要度決定部が、特徴点候補の重要度を決定することを繰り返すことを特徴とする。
（７）特徴点重要度決定部が、重要度が予め定められた閾値以下になった特徴点候補を認識タスクの処理対象から除外する構成であってもよい。
（８）３次元形状モデルから複数の評価用画像と、各評価用画像に対する認識タスクの正解データとを作成するとともに、３次元形状モデルから生成される画像であって特徴点抽出器の判定用データ（例えば、特徴点抽出器の内部データ）の学習に用いられる画像である学習画像を複数生成し、３次元形状モデル上の各特徴点候補の各学習画像上における位置を表す位置データを生成する学習・評価用データ生成部（例えば、学習・評価用データ生成手段１５）と、学習・評価用データ生成部によって生成された各学習画像および位置データに基づいて、各学習画像から特徴点に該当する局所領域（例えば、特徴点テンプレート５７）および特徴点に該当しない局所領域（例えば、非特徴点テンプレート５８）を切り出す局所領域切り出し部（例えば、特徴点抽出学習データ生成手段１６）と、特徴点に該当する局所領域および特徴点に該当しない局所領域に基づいて、特徴点抽出器の判定用データを学習する特徴点抽出器学習部（例えば、特徴点抽出器学習手段１７）と、判定用データを用いて、各評価用画像から特徴点を抽出する特徴点抽出実行部（例えば、特徴点抽出実行手段１８）とを備える構成であってもよい。
（９）３次元形状モデルから、当該３次元形状モデル上の特徴点候補となる点を決定する特徴点候補決定部（例えば、特徴点候補決定手段１９）を備える構成であってもよい。
（１０）特徴点候補決定部が、３次元形状モデルのテクスチャ画像および３次元形状モデルの形状に対して複数種類の特徴抽出演算子を適用して特徴点候補となる点を抽出することによって、特徴点候補となる点を決定する構成であってもよい。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１０年１月１２日に出願された日本特許出願２０１０－００３８８３を基礎とする優先権を主張し、その開示の全てをここに取り込む。
産業上の利用の可能性
　本発明は、個体の姿勢推定や個体識別等の認識タスクを行う装置等で認識タスクに用いられる３次元形状モデル上の特徴点を決定するシステムとして好適に利用できる。
　１１　認識タスク実行手段
　１２　認識誤差評価手段
　１３　特徴点重要度決定手段
　１４　特徴点選択手段
　１５　学習・評価データ生成手段
　１６　特徴点抽出学習データ生成手段（特抽学習データ生成手段）
　１７　特徴点抽出器学習手段
　１８　特徴点抽出実行手段
　１９　特徴点候補決定手段

Claims (9)

  1. 　３次元形状モデルから生成された画像であって認識タスクにおける認識誤差を評価するために用いられる画像である複数の評価用画像に対して、前記３次元形状モデル上の複数の特徴点候補毎の重要度を用いつつ、認識タスクを実行する認識タスク実行手段と、
    　認識タスク実行手段による認識結果と、各評価用画像に対する認識タスクの正解データとの差から、全評価用画像に関する認識誤差を評価する認識誤差評価手段と、
    　各特徴点候補の重要度の関数であって、全評価用画像に関する認識誤差に、重要でない特徴点候補の重要度をゼロに近づきやすくするという制約条件を加えた関数として表されるコスト関数を定め、当該コスト関数の値が最小となるような各特徴点候補の重要度を計算することによって、各特徴点候補の重要度を決定する特徴点重要度決定手段と、
    　各特徴点候補の重要度に基づいて、前記３次元形状モデル上の特徴点候補から、前記認識タスクで使用するべき特徴点を選択する特徴点選択手段とを備え、
    　認識タスク実行手段、認識誤差評価手段および特徴点重要度決定手段は、特徴点重要度決定手段によって決定される各特徴点候補の重要度により定まるコスト関数の値が収束するまで、認識タスク実行手段が、認識タスクを実行し、認識誤差評価手段が、全評価用画像に関する認識誤差を評価し、特徴点重要度決定手段が、特徴点候補の重要度を決定することを繰り返す
    　ことを特徴とする特徴点選択システム。
  2. 　特徴点重要度決定手段は、重要度が予め定められた閾値以下になった特徴点候補を認識タスクの処理対象から除外する
    　請求項１に記載の特徴点選択システム。
  3. 　３次元形状モデルから複数の評価用画像と、各評価用画像に対する認識タスクの正解データとを作成するとともに、３次元形状モデルから生成される画像であって特徴点抽出器の判定用データの学習に用いられる画像である学習画像を複数生成し、３次元形状モデル上の各特徴点候補の各学習画像上における位置を表す位置データを生成する学習・評価用データ生成手段と、
    　学習・評価用データ生成手段によって生成された各学習画像および位置データに基づいて、各学習画像から特徴点に該当する局所領域および特徴点に該当しない局所領域を切り出す局所領域切り出し手段と、
    　特徴点に該当する局所領域および特徴点に該当しない局所領域に基づいて、特徴点抽出器の判定用データを学習する特徴点抽出器学習手段と、
    　前記判定用データを用いて、各評価用画像から特徴点を抽出する特徴点抽出実行手段とを備える
    　請求項１または請求項２に記載の特徴点選択システム。
  4. 　３次元形状モデルから、当該３次元形状モデル上の特徴点候補となる点を決定する特徴点候補決定手段を備える
    　請求項３に記載の特徴点選択システム。
  5. 　特徴点候補決定手段は、３次元形状モデルのテクスチャ画像および３次元形状モデルの形状に対して複数種類の特徴抽出演算子を適用して特徴点候補となる点を抽出することによって、特徴点候補となる点を決定する
    　請求項４に記載の特徴点選択システム。
  6. 　３次元形状モデルから生成された画像であって認識タスクにおける認識誤差を評価するために用いられる画像である複数の評価用画像に対して、前記３次元形状モデル上の複数の特徴点候補毎の重要度を用いつつ、認識タスクを実行し、
    　前記認識タスクの認識結果と、各評価用画像に対する認識タスクの正解データとの差から、全評価用画像に関する認識誤差を評価し、
    　各特徴点候補の重要度の関数であって、全評価用画像に関する認識誤差に、重要でない特徴点候補の重要度をゼロに近づきやすくするという制約条件を加えた関数として表されるコスト関数を定め、当該コスト関数の値が最小となるような各特徴点候補の重要度を計算することによって、各特徴点候補の重要度を決定し、
    　決定された各特徴点候補の重要度により定まるコスト関数の値が収束するまで、前記認識タスクの実行と、全評価用画像に関する認識誤差の評価と、特徴点候補の重要度の決定を繰り返し、
    　各特徴点候補の重要度に基づいて、前記３次元形状モデル上の特徴点候補から、前記認識タスクで使用するべき特徴点を選択する
    　ことを特徴とする特徴点選択方法。
  7. 　重要度が予め定められた閾値以下になった特徴点候補を認識タスクの処理対象から除外する請求項６に記載の特徴点選択方法。
  8. 　コンピュータに、
    　３次元形状モデルから生成された画像であって認識タスクにおける認識誤差を評価するために用いられる画像である複数の評価用画像に対して、前記３次元形状モデル上の複数の特徴点候補毎の重要度を用いつつ、認識タスクを実行する認識タスク実行処理、
    　認識タスク実行処理による認識結果と、各評価用画像に対する認識タスクの正解データとの差から、全評価用画像に関する認識誤差を評価する認識誤差評価処理、
    　各特徴点候補の重要度の関数であって、全評価用画像に関する認識誤差に、重要でない特徴点候補の重要度をゼロに近づきやすくするという制約条件を加えた関数として表されるコスト関数を定め、当該コスト関数の値が最小となるような各特徴点候補の重要度を計算することによって、各特徴点候補の重要度を決定する特徴点重要度決定処理、および、
    　各特徴点候補の重要度に基づいて、前記３次元形状モデル上の特徴点候補から、前記認識タスクで使用するべき特徴点を選択する特徴点選択処理を実行させ、
    　前記特徴点重要度決定処理で決定される各特徴点候補の重要度により定まるコスト関数の値が収束するまで、前記認識タスク実行処理、前記認識誤差評価処理および前記特徴点重要度決定処理を繰り返させる
    　ための特徴点選択プログラム。
  9. 　コンピュータに、
    　特徴点重要度決定処理で、重要度が予め定められた閾値以下になった特徴点候補を認識タスクの処理対象から除外させる
    　請求項８に記載の特徴点選択プログラム。
PCT/JP2011/000073 2010-01-12 2011-01-11 特徴点選択システム、特徴点選択方法および特徴点選択プログラム WO2011086889A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011549921A JPWO2011086889A1 (ja) 2010-01-12 2011-01-11 特徴点選択システム、特徴点選択方法および特徴点選択プログラム
US13/521,439 US8885923B2 (en) 2010-01-12 2011-01-11 Feature point selecting system, feature point selecting method and feature point selecting program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010003883 2010-01-12
JP2010-003883 2010-01-12

Publications (1)

Publication Number Publication Date
WO2011086889A1 true WO2011086889A1 (ja) 2011-07-21

Family

ID=44304167

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/000073 WO2011086889A1 (ja) 2010-01-12 2011-01-11 特徴点選択システム、特徴点選択方法および特徴点選択プログラム

Country Status (3)

Country Link
US (1) US8885923B2 (ja)
JP (1) JPWO2011086889A1 (ja)
WO (1) WO2011086889A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012032747A1 (ja) * 2010-09-06 2012-03-15 日本電気株式会社 特徴点選択システム、特徴点選択方法および特徴点選択プログラム
JP2014178862A (ja) * 2013-03-14 2014-09-25 Secom Co Ltd 特徴点抽出装置
JP2017224283A (ja) * 2016-06-09 2017-12-21 株式会社島津製作所 ビッグデータ解析方法及び該解析方法を利用した質量分析システム
WO2018020954A1 (ja) * 2016-07-29 2018-02-01 株式会社日立製作所 機械学習用データベース作成システム
JP2018092449A (ja) * 2016-12-05 2018-06-14 株式会社ソニー・インタラクティブエンタテインメント システム、治具、情報処理装置、情報処理方法、およびプログラム
WO2019102619A1 (ja) * 2017-11-27 2019-05-31 三菱電機株式会社 表情認識装置
JP2020166473A (ja) * 2019-03-29 2020-10-08 三井情報株式会社 学習済みモデル生成装置、プログラム及び学習済みモデル生成システム
US11132582B2 (en) 2017-10-05 2021-09-28 Nec Corporation Individual identification device

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5746550B2 (ja) * 2011-04-25 2015-07-08 キヤノン株式会社 画像処理装置、画像処理方法
JP6287827B2 (ja) * 2012-03-27 2018-03-07 日本電気株式会社 情報処理装置、情報処理方法、及びプログラム
KR20150015680A (ko) * 2013-08-01 2015-02-11 씨제이씨지브이 주식회사 특징점의 생성을 이용한 이미지 보정 방법 및 장치
KR102120864B1 (ko) * 2013-11-06 2020-06-10 삼성전자주식회사 영상 처리 방법 및 장치
JP6348093B2 (ja) * 2015-11-06 2018-06-27 ファナック株式会社 入力データから検出対象物の像を検出する画像処理装置および方法
JP6727228B2 (ja) * 2015-11-09 2020-07-22 株式会社Ｆｕｊｉ リード先端位置画像認識方法及びリード先端位置画像認識システム
JP2019023858A (ja) * 2017-07-21 2019-02-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 学習データ生成装置、学習データ生成方法、機械学習方法及びプログラム
CN110895699B (zh) * 2018-09-12 2022-09-13 北京字节跳动网络技术有限公司 用于处理图像的特征点的方法和装置
CN111723688B (zh) * 2020-06-02 2024-03-12 合肥的卢深视科技有限公司 人体动作识别结果的评价方法、装置和电子设备
CN111738141B (zh) * 2020-06-19 2023-07-07 首都师范大学 一种硬笔书法作品评判方法
JP2022075139A (ja) * 2020-11-06 2022-05-18 富士通株式会社 形状データ出力プログラム、形状データ出力方法および情報処理装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02127783A (ja) * 1988-11-08 1990-05-16 Nippon Telegr & Teleph Corp <Ntt> 特徴点対応づけ処理方法
JP2007233997A (ja) * 2006-02-06 2007-09-13 Toshiba Corp 顔特徴点検出装置及びその方法
JP2010218051A (ja) * 2009-03-13 2010-09-30 Nec Corp 特徴点選択システム、特徴点選択方法および特徴点選択プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070183665A1 (en) 2006-02-06 2007-08-09 Mayumi Yuasa Face feature point detecting device and method
JP4891712B2 (ja) * 2006-09-05 2012-03-07 株式会社日立ハイテクノロジーズ 類似度分布を利用したテンプレートマッチング方法を用いた検査装置
JP4926116B2 (ja) * 2008-04-16 2012-05-09 株式会社日立ハイテクノロジーズ 画像検査装置
KR101247891B1 (ko) * 2008-04-28 2013-03-26 고리츠다이가쿠호징 오사카후리츠다이가쿠 물체 인식용 화상 데이터베이스의 작성 방법, 처리 장치 및 처리용 프로그램

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02127783A (ja) * 1988-11-08 1990-05-16 Nippon Telegr & Teleph Corp <Ntt> 特徴点対応づけ処理方法
JP2007233997A (ja) * 2006-02-06 2007-09-13 Toshiba Corp 顔特徴点検出装置及びその方法
JP2010218051A (ja) * 2009-03-13 2010-09-30 Nec Corp 特徴点選択システム、特徴点選択方法および特徴点選択プログラム

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012032747A1 (ja) * 2010-09-06 2012-03-15 日本電気株式会社 特徴点選択システム、特徴点選択方法および特徴点選択プログラム
JP2014178862A (ja) * 2013-03-14 2014-09-25 Secom Co Ltd 特徴点抽出装置
JP2017224283A (ja) * 2016-06-09 2017-12-21 株式会社島津製作所 ビッグデータ解析方法及び該解析方法を利用した質量分析システム
US11315774B2 (en) 2016-06-09 2022-04-26 Shimadzu Corporation Big-data analyzing Method and mass spectrometric system using the same method
JP7057913B2 (ja) 2016-06-09 2022-04-21 株式会社島津製作所 ビッグデータ解析方法及び該解析方法を利用した質量分析システム
US10878288B2 (en) 2016-07-29 2020-12-29 Hitachi, Ltd. Database construction system for machine-learning
WO2018020954A1 (ja) * 2016-07-29 2018-02-01 株式会社日立製作所 機械学習用データベース作成システム
JPWO2018020954A1 (ja) * 2016-07-29 2019-04-04 株式会社日立製作所 機械学習用データベース作成システム
JP7051287B2 (ja) 2016-12-05 2022-04-11 株式会社ソニー・インタラクティブエンタテインメント システム、治具、および情報処理方法
US11200695B2 (en) 2016-12-05 2021-12-14 Sony Interactive Entertainment Inc. System, jig, information processing device, information processing method, and program
JP2018092449A (ja) * 2016-12-05 2018-06-14 株式会社ソニー・インタラクティブエンタテインメント システム、治具、情報処理装置、情報処理方法、およびプログラム
US11132582B2 (en) 2017-10-05 2021-09-28 Nec Corporation Individual identification device
JPWO2019102619A1 (ja) * 2017-11-27 2020-02-27 三菱電機株式会社 表情認識装置
WO2019102619A1 (ja) * 2017-11-27 2019-05-31 三菱電機株式会社 表情認識装置
JP2020166473A (ja) * 2019-03-29 2020-10-08 三井情報株式会社 学習済みモデル生成装置、プログラム及び学習済みモデル生成システム
JP7267068B2 (ja) 2019-03-29 2023-05-01 三井情報株式会社 学習済みモデル生成装置、プログラム及び学習済みモデル生成システム

Also Published As

Publication number Publication date
JPWO2011086889A1 (ja) 2013-05-16
US20140161346A1 (en) 2014-06-12
US8885923B2 (en) 2014-11-11

Similar Documents

Publication Publication Date Title
WO2011086889A1 (ja) 特徴点選択システム、特徴点選択方法および特徴点選択プログラム
JP5206517B2 (ja) 特徴点選択システム、特徴点選択方法および特徴点選択プログラム
US10936911B2 (en) Logo detection
JP5505409B2 (ja) 特徴点生成システム、特徴点生成方法および特徴点生成プログラム
US9928405B2 (en) System and method for detecting and tracking facial features in images
CN104573614B (zh) 用于跟踪人脸的设备和方法
JP4332649B2 (ja) 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体
US11017210B2 (en) Image processing apparatus and method
JP4376145B2 (ja) 画像分類学習処理システム及び画像識別処理システム
CN105426929B (zh) 对象形状对准装置、对象处理装置及其方法
JP6872044B2 (ja) 対象物の外接枠を決定するための方法、装置、媒体及び機器
JP7439004B2 (ja) 行動認識装置、学習装置、および行動認識方法
Bhuyan et al. Trajectory guided recognition of hand gestures having only global motions
JP6623851B2 (ja) 学習方法、情報処理装置および学習プログラム
JP7156643B2 (ja) 姿勢推定装置、学習装置、方法、及びプログラム
JP4477439B2 (ja) 画像分割処理システム
WO2012032747A1 (ja) 特徴点選択システム、特徴点選択方法および特徴点選択プログラム
JP2021081795A (ja) 推定システム、推定装置および推定方法
US20210326754A1 (en) Storage medium, learning method, and information processing apparatus
CN110675507A (zh) 一种三维模型处理方法、装置和存储介质
JP2005149302A (ja) 顔画像認識装置及び顔画像認識プログラム
Rodriguez et al. Growing neural gas (GNG): a soft competitive learning method for 2D hand modelling
Chen et al. Implement of a 6-DOF manipulator with machine vision and machine learning algorithms
JP2018088093A (ja) 物体候補領域抽出装置、方法、及びプログラム
Walker et al. Determining correspondences for statistical models of facial appearance

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2011549921

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13521439

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 11732764

Country of ref document: EP

Kind code of ref document: A1