WO2021214943A1 - パラメータ最適化方法、非一時的記録媒体、特徴量抽出方法及びパラメータ最適化装置 - Google Patents

パラメータ最適化方法、非一時的記録媒体、特徴量抽出方法及びパラメータ最適化装置 Download PDF

Info

Publication number
WO2021214943A1
WO2021214943A1 PCT/JP2020/017502 JP2020017502W WO2021214943A1 WO 2021214943 A1 WO2021214943 A1 WO 2021214943A1 JP 2020017502 W JP2020017502 W JP 2020017502W WO 2021214943 A1 WO2021214943 A1 WO 2021214943A1
Authority
WO
WIPO (PCT)
Prior art keywords
class
feature
classification
vector
feature amount
Prior art date
Application number
PCT/JP2020/017502
Other languages
English (en)
French (fr)
Inventor
忍 工藤
隆一 谷田
木全　英明
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US17/918,173 priority Critical patent/US20230153393A1/en
Priority to PCT/JP2020/017502 priority patent/WO2021214943A1/ja
Priority to JP2022516581A priority patent/JP7453582B2/ja
Publication of WO2021214943A1 publication Critical patent/WO2021214943A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2115—Selection of the most significant subset of features by evaluating different subsets according to an optimisation criterion, e.g. class separability, forward selection or backward elimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present invention relates to a parameter optimization method, a non-temporary recording medium, a feature amount extraction method, and a parameter optimization device.
  • Non-Patent Documents 1 to 3 L2-Constrained Softmax Loss shown in Non-Patent Document 1, ArcFace shown in Non-Patent Document 2, and AdaCos shown in Non-Patent Document 3 all project a feature vector immediately before being applied to Softmax on a hypersphere, and feature vector and class. This is a method of optimizing by the cosine similarity with the representative vector.
  • ArcFace is a method of penalizing the angle between the feature vector and the representative vector of the target class and optimizing it so that it is mapped closer to the target class than other classes.
  • AdaCos is a version in which the parameters of ArcFace are automatically adjusted.
  • the above conventional method has two problems.
  • the first problem is that each class representative vector of each similar sample is mapped to a close position on the nsphere. As a result, it is easy to be classified as an incorrect class.
  • the second problem is that the hypersphere is not used up. As a result, the expressive ability of the feature space is reduced, and efficient learning becomes difficult. Both problems cause a problem that the classification accuracy is lowered.
  • an object of the present invention is to provide a technique capable of improving the classification accuracy.
  • One aspect of the present invention is a feature quantity extraction step of extracting a feature vector using input input data, and a classification step of acquiring a classification result of the feature vector and a class representative vector of each class to be classified. Based on the classification error obtained based on the correct answer data and the classification result and the distance error between the class representative vectors, the feature amount does not overlap in the feature amount space so that the feature amount regions of each class do not overlap. It is a parameter optimization method having an optimization step for optimizing the parameters used in the extraction step.
  • One aspect of the present invention is a non-temporary recording medium for recording a computer program for causing a computer to execute the above parameter optimization method.
  • One aspect of the present invention is a feature quantity extraction unit that extracts a feature vector using input input data, and a classification unit that acquires a classification result of the feature vector and a class representative vector of each class to be classified. Based on the classification error obtained based on the correct answer data and the classification result and the distance error between the class representative vectors, the feature amount does not overlap in the feature amount space so that the feature amount regions of each class do not overlap. It is a parameter optimization device including an optimization unit for optimizing the parameters used in the extraction unit.
  • One aspect of the present invention is a feature amount extraction step of extracting a feature vector using input input data, and a classification step of acquiring a classification result of the feature vector and a class representative vector of each class to be classified. It has an optimization step for optimizing the parameters used in the feature amount extraction step based on the classification error obtained based on the correct answer data and the classification result and the distance error between the class representative vectors.
  • This is a parameter optimization method that optimizes the parameters by optimizing the classification error by the gradient method after determining the position of each class representative vector in the feature space in the optimization step. ..
  • One aspect of the present invention is a feature amount extraction step of extracting a feature vector using input input data, and a classification step of acquiring a classification result of the feature vector and a class representative vector of each class to be classified. It has an optimization step that optimizes the parameters used in the feature amount extraction step based on the classification error obtained based on the correct answer data and the classification result and the distance error between the class representative vectors.
  • This is a parameter optimization method for optimizing the parameters by adding a distance error between the class representative vectors to the classification error and optimizing by the gradient method in the optimization step.
  • FIG. 1 is a block diagram showing a specific example of the functional configuration of the parameter optimization device 10 in the present invention.
  • the parameter optimization device 10 is a device that optimizes parameters for extracting a feature vector used in deep learning.
  • the deep learning used in this embodiment is, for example, L2-Constrained Softmax Loss, ArcFace, AdaCos, SurfaceFace, CosFace, and the like.
  • the parameter optimization device 10 is configured by using an information processing device such as a personal computer.
  • the parameter optimization device 10 includes an initialization unit 100, a feature amount extraction unit 101, a class representative vector memory 102, a similarity calculation unit 103, a classification unit 104, a classification error calculation unit 105, an interclass distance error calculation unit 106, and an optimization unit.
  • a unit 107 is provided.
  • the initialization unit 100 initializes the parameters used by the feature amount extraction unit 101 for feature vector extraction and the information of the class representative vector stored in the class representative vector memory 102 with random values.
  • the feature amount extraction unit 101 extracts a feature vector using image data input from the outside. For example, at the time of learning, the feature amount extraction unit 101 extracts a feature vector using the input image data for learning. For example, when the actual processing is used, the feature amount extraction unit 101 extracts the feature vector using the input image data.
  • the parameters used by the feature amount extraction unit 101 for feature vector extraction are initialized with random values at the start of the learning process. Optimized parameters are used when using the actual processing.
  • the class representative vector memory 102 stores the information of the class representative vector.
  • the information of the class representative vector stored in the class representative vector memory 102 is initialized with a random value at the start of the learning process.
  • the class representative vector represents a feature vector that serves as a reference for each class.
  • the similarity calculation unit 103 calculates the similarity between the feature vector output from the feature amount extraction unit 101 and each class representative vector stored in the class representative vector memory 102.
  • the classification unit 104 acquires the classification result of the feature vector output from the feature amount extraction unit 101 by using the softmax function and the value of each similarity calculated by the similarity calculation unit 103. For example, the classification unit 104 acquires as a classification result indicating the probability of belonging to each class of the feature vector output from the feature amount extraction unit 101.
  • the classification error calculation unit 105 calculates the classification error based on the classification result acquired by the classification unit 104 and the information of the correct answer data input from the outside.
  • the inter-class distance error calculation unit 106 calculates an error in the distance between each class representative vector stored in the class representative vector memory 102 (hereinafter referred to as “inter-class distance error”).
  • the optimization unit 107 uses the parameters and class representatives used by the feature amount extraction unit 101 based on the classification error calculated by the classification error calculation unit 105 and the interclass distance error calculated by the interclass distance error calculation unit 106.
  • the information of the class representative vector stored in the vector memory 102 is optimized.
  • the optimization unit 107 uses parameters and class representatives used by the feature extraction unit 101 so that the feature areas of each class do not overlap in the feature space based on the classification error and the inter-class distance error.
  • the information of the class representative vector stored in the vector memory 102 is optimized.
  • FIG. 2 is a flowchart showing a processing flow of the parameter optimization device 10 in the embodiment.
  • the parameter optimization device 10 inputs information of the input image x i (i is an integer of 1 or more), the correct answer data y i, and the number of classification classes K as learning data (step S101).
  • the input image x i is input to the feature amount extraction unit 101
  • the correct answer data y i is input to the classification error calculation unit 105
  • the information of the number of classification classes K is input to the initialization unit 100.
  • the initialization unit 100 sets the class representative vector to the vector W k (0 ⁇ k ⁇ K), and initializes the parameters used by the feature extraction unit 101 and the vector W k with random values (step S102). Let W k ′ be the initialized or optimized class representative vector.
  • Feature amount extracting unit 101 inputs the input image x i (step S103). For example, when a plurality of input images are input, the feature amount extraction unit 101 selects and inputs one input image. Feature extraction unit 101 uses the input image x i input, obtains a feature vector f i 'of the input image x i (step S104). Feature extraction unit 101 outputs the extracted feature vector f i 'to the similarity calculation unit 103.
  • Similarity calculation unit 103 inputs 'and, each class representative vector W k stored in the class representative vector memory 102' feature vector f i output from the feature extraction unit 101 and a. Similarity calculation unit 103 normalizes the input feature vectors f i 'and each class representative vector W k' and with L2 norm, respectively.
  • the similarity calculating unit 103 obtains the feature vector f i and each class representative vector W k after normalization. Then, the similarity calculation unit 103 calculates the similarity c k of the feature vector f i and the class representative vector W k obtained for each class representative vector (step S105). For example, the similarity calculation unit 103 calculates the similarity kk for each class representative vector based on the following equation 1.
  • the “ ⁇ ” symbol in equation (1) represents the inner product.
  • the similarity calculation unit 103 by obtaining the inner product of the feature vector f i and the class representative vector W k obtained, the similarity is calculated c k for each class representative vector.
  • the similarity calculation unit 103 outputs the calculated information of the similarity kk for each class representative vector to the classification unit 104.
  • the classification unit 104 acquires the classification result by using the softmax function and the similarity kk for each class representative vector (step S106). Specifically, the classification unit 104, a softmax function, by giving a similarity c k for each class representative vectors, to obtain a classification result indicating probability of belonging to each class of feature vectors f i. The classification unit 104 outputs information indicating the acquired classification result to the classification error calculation unit 105.
  • the classification error calculation unit 105 calculates the classification error L c using the information indicating the classification result and the input correct answer data (step S107). For example, the classification error calculation unit 105 calculates the classification error by obtaining the cross entropy. The classification error calculation unit 105 outputs the calculated classification error L c to the optimization unit 107.
  • the inter-class distance error calculation unit 106 calculates the error L d of the distance between the class representative vectors stored in the class representative vector memory 102 (step S108). Specifically, the inter-class distance error calculation unit 106 calculates the inter-class distance error L d based on the following equation (2).
  • M and n in the equation (2) are values of 0 or more and satisfy the integers 0 ⁇ m and n ⁇ K.
  • the inter-class distance error calculation unit 106 outputs the calculated inter-class distance error L d to the optimization unit 107.
  • the optimization unit 107 inputs the classification error L c and the inter-class distance error L d.
  • the optimization unit 107 uses the input classification error L c and the inter-class distance error L d to solve the minimization problem of the objective function shown in the following equation (3), thereby causing the feature extraction unit 101 to solve the problem.
  • Parameters to be used and information on the class representative vector in the class representative vector memory 102 are updated (step S109).
  • the parameters used by the feature amount extraction unit 101 are optimized to the parameters that equalize the distances in the feature amount space between the plurality of classes to be classified. Further, the feature amount extracted by the feature amount extraction unit 101 is mapped to any region of a plurality of classes in the feature amount space.
  • the optimization unit 107 determines whether or not the processes from step S103 to step S109 have been performed a predetermined number of times (step S110). When the predetermined number of times is performed (step S110-YES), the parameter optimization device 10 ends the process of FIG. On the other hand, when the predetermined number of times has not been performed (step S110-NO), the feature amount extraction unit 101 inputs an unselected input image (step S110). After that, the parameter optimization device 10 executes the processes after step S103.
  • FIGS. 3 to 14 L2-Constrained Softmax Loss and ArcFace are shown as examples as conventional methods.
  • 3 to 6 are diagrams showing the experimental results when the conventional method is used, and FIGS. 7, 8, 11, and 12 show the experimental results of the present invention, and FIGS. 9, 10, 13, and 13 and FIG.
  • FIG. 14 is a diagram showing experimental results when the method of the present invention is combined with the conventional method (ArcFace).
  • the feature vector is made two-dimensional by using a 10-class data set of MNIST (Modified National Institute of Standards and Technology).
  • L2-Constrained Softmax Loss is used as a conventional method, and the feature vector immediately before the final layer is visualized on the hypersphere.
  • a plurality of straight lines 21-0 to 21-9 extending outward from the position of the center 20 each represent a class representative vector of each class, and the numbers corresponding to the straight lines 21-0 to 21-9 represent each sample data. show.
  • the content indicated by each reference numeral in FIG. 5, FIG. 7, FIG. 9, FIG. 11 and FIG. 13 is the same as that in FIG.
  • the straight line 21-0 represents a class representative vector of the class of the number "0".
  • the straight line 21-1 represents a class representative vector of the class of the number “1”.
  • the straight line 21-2 represents a class representative vector of the class of the number “2”.
  • the straight line 21-3 represents a class representative vector of the class of the number “3”.
  • the straight line 21-4 represents a class representative vector of the class of the number “4”.
  • the straight line 21-5 represents a class representative vector of the class of the number “5”.
  • the straight line 21-6 represents a class representative vector of the class of the number “6”.
  • the straight line 21-7 represents a class representative vector of the class of the number “7”.
  • the straight line 21-8 represents a class representative vector of the class of the number “8”.
  • the straight line 21-9 represents the class representative vector of the class of the number “9”.
  • FIG. 4 shows the results of loss and classification accuracy when L2-Constrained Softmax Loss is used as the conventional method.
  • the line 31 represents the result when the training data is used
  • the line 32 represents the result when the test data is used.
  • FIG. 6 FIG. 7, FIG. 10, FIG. 12, and FIG. 14, the contents indicated by the respective reference numerals are the same as those in FIG.
  • FIG. 5 shows an example in which the feature vector immediately before the final layer is visualized on the hypersphere by using ArcFace as a conventional method.
  • FIG. 6 shows the results of loss and classification accuracy when ArcFace is used as a conventional method.
  • the degree of problem is smaller than that of L2-Constrained Softmax Loss, but "3" and "5" are mapped to substantially the same position, or "9" and "9” and " It can be seen that the entire feature space cannot be fully utilized due to the gap between 2 ”.
  • the classification accuracy of similar classes is reduced by the conventional method.
  • the classification accuracy when L2-Constrained Softmax Loss is used is 70%
  • the classification accuracy when ArcFace is used is about 90%.
  • the conventional method has not been able to make the best use of the entire feature space.
  • FIG. 7 an example in which the feature vector immediately before the final layer is visualized on the hypersphere by using the first method of the present invention is shown.
  • FIG. 8 shows the results of loss and classification accuracy when the first method of the present invention is used. As shown in FIG. 7, when the first method of the present invention is used, each class is classified as compared with L2-Constrained Softmax Loss, and the entire feature space can be fully utilized. I understand.
  • FIG. 9 an example is shown in which the feature vector immediately before the final layer is visualized on the hypersphere by using the ArcFace in combination with the first method of the present invention.
  • FIG. 10 shows the results of loss and classification accuracy when ArcFace is used in combination with the first method of the present invention.
  • FIG. 9 when the first method of the present invention is used in combination with ArcFace, each class is classified as compared with the case where only ArcFace is used, and the entire feature space is maximized. You can see that it can be utilized.
  • FIG. 12 shows the results of loss and classification accuracy when the second method of the present invention is used. As shown in FIG. 11, it can be seen that when the second method of the present invention is used, the classification accuracy is improved as compared with L2-Constrained Softmax Loss.
  • FIG. 13 an example is shown in which the feature vector immediately before the final layer is visualized on the hypersphere by using ArcFace in combination with the second method of the present invention.
  • FIG. 14 shows the results of loss and classification accuracy when ArcFace is used in combination with the second method of the present invention. As shown in FIG. 13, it can be seen that when the second method of the present invention is used in combination with ArcFace, the classification accuracy is improved as compared with the case where only ArcFace is used.
  • the feature vector is extracted using the input input data, and the classification result of the feature vector and the class representative vector of each class to be classified is acquired. Then, based on the classification error obtained based on the correct answer data and the classification result and the distance error between the class representative vectors, the parameters are optimized so that the feature area of each class does not overlap in the feature space. .. This can be optimized to maximize the distance between each class, i.e. to reduce the cosine similarity. As a result, it becomes possible to improve the classification accuracy.
  • the parameter optimization device 10 optimizes the parameters by optimizing the classification error by the gradient method after determining the position of each class representative vector in the feature space. do. More specifically, the class representative vectors are mapped in advance so as to be evenly spaced in the feature space. This can be optimized to maximize the distance between each class, i.e. to reduce the cosine similarity. As a result, it becomes possible to improve the classification accuracy.
  • the parameter optimization device 10 optimizes the parameters by applying the distance error between the class representative vectors to the classification error as a penalty and optimizing by the gradient method as the second method of optimization. At this time, the parameter optimization device 10 uses Lagrange's undetermined multiplier method. This can be optimized to maximize the distance between each class, i.e. to reduce the cosine similarity. As a result, it becomes possible to improve the classification accuracy.
  • the first method is a method for class classification tasks because it is forcibly mapped so as to be evenly spaced without considering the closeness of similar classes.
  • the second method is a method for anomaly detection tasks because it retains the element of distance learning that brings similar classes closer together.
  • the parameter optimization device 10 shows a configuration for determining whether or not the processing from step S103 to step S108 has been performed a predetermined number of times in the processing of step S109.
  • the parameter optimization device 10 is configured to determine whether or not the processing from step S103 to step S108 in the processing of step S109 has been performed until the parameter values and the class representative vectors used in the feature amount extraction unit 101 have converged. May be done.
  • the parameter optimization device 10 executes the processes after step S103.
  • step S109-YES the parameter optimization device 10 ends the process of FIG. With this configuration, processing is performed until it is optimized, so that the classification accuracy can be further improved.
  • the method for calculating the inter-class distance error L d does not have to be limited to the above equation (2).
  • the inter-class distance error L d may be calculated by the following equation (4) or equation (5).
  • Equation (4) is an equation based on the sum of all distances of the class representative vectors.
  • Equation (5) is an equation based on the sum of the maximum distances in each class.
  • a part or all of the functional parts of the parameter optimization device 10 described above may be realized by a computer.
  • the program for realizing this function may be recorded on a computer-readable recording medium, and the program recorded on the recording medium may be read by the computer system and executed.
  • the term "computer system” as used herein includes hardware such as an OS and peripheral devices.
  • the "computer-readable recording medium” refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, or a CD-ROM, or a storage device such as a hard disk built in a computer system.
  • a "computer-readable recording medium” is a communication line for transmitting a program via a network such as the Internet or a communication line such as a telephone line, and dynamically holds the program for a short period of time. It may also include a program that holds a program for a certain period of time, such as a volatile memory inside a computer system that serves as a server or a client in that case. Further, the above program may be for realizing a part of the above-mentioned functions, and may be further realized for realizing the above-mentioned functions in combination with a program already recorded in the computer system. It may be realized by using a programmable logic device such as FPGA (Field Programmable Gate Array).
  • FPGA Field Programmable Gate Array
  • the present invention can be applied to a technique for classifying classes.
  • 10 Parameter optimizer, 100 ... Initialization unit, 101 ... Feature extraction unit, 102 ... Class representative vector memory, 103 ... Similarity calculation unit, 104 ... Classification unit, 105 ... Classification error calculation unit, 106 ... Between classes Distance error calculation unit, 107 ... Optimization unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

入力された入力データを用いて特徴ベクトルを抽出する特徴量抽出ステップと、特徴ベクトルと、分類対象となる各クラスのクラス代表ベクトルとの分類結果を取得する分類ステップと、正解データ及び分類結果に基づいて得られる分類誤差と、クラス代表ベクトル間の距離誤差とに基づいて、特徴量空間上で各クラスの特徴量の領域が重複しないように特徴量抽出ステップで利用するパラメータを最適化する最適化ステップと、を有するパラメータ最適化方法。

Description

パラメータ最適化方法、非一時的記録媒体、特徴量抽出方法及びパラメータ最適化装置
　本発明は、パラメータ最適化方法、非一時的記録媒体、特徴量抽出方法及びパラメータ最適化装置に関する。
　顔認識のような個体識別問題において、様々な学習手法が提案されている（例えば、非特許文献１～３参照）。非特許文献１に示すL2-Constrained Softmax Loss、非特許文献２に示すＡｒｃＦａｃｅ及び非特許文献３に示すＡｄａＣｏｓはいずれも、Ｓｏｆｔｍａｘにかける直前の特徴ベクトルを超球面上に投影し、特徴ベクトルとクラス代表ベクトルとのコサイン類似度で最適化する手法である。例えば、ＡｒｃＦａｃｅは、特徴ベクトルと、ターゲットクラスの代表ベクトルとの角度にペナルティを付けて、他のクラスよりもターゲットクラス近くにマッピングされるように最適化する手法である。また、例えば、ＡｄａＣｏｓは、ＡｒｃＦａｃｅのパラメータを自動的に調整したバージョンである。
Rajeev Ranjan, Carlos D. Castillo, Rama Chellappa, "L2-constrained Softmax Loss for Discriminative Face Verification", Computer Vision and Pattern Recognition Jiankang Deng, Jia Guo, Niannan Xue, Stefanos Zafeiriou , "ArcFace: Additive Angular Margin Loss for Deep Face Recognition", Computer Vision and Pattern Recognition Xiao Zhang, Rui Zhao, Yu Qiao, Xiaogang Wang, Hongsheng Li, "AdaCos: Adaptively Scaling Cosine Logits for Effectively Learning Deep Face Representations", Computer Vision and Pattern Recognition
　しかしながら、上記の従来手法では、２つの課題が生じる。１つ目の課題は、類似した各サンプルの各クラス代表ベクトルが超球面上で近い位置にマッピングされてしまう点である。その結果、誤ったクラスに分類されやすくなる。２つ目の課題は、超球面を使いきれていない点である。その結果、特徴量空間の表現能力が低下し、効率的な学習が困難になる。いずれの課題も、分類精度が低下してしまうという問題を引き起こす。
　上記事情に鑑み、本発明は、分類精度を向上させることができる技術の提供を目的としている。
　本発明の一態様は、入力された入力データを用いて特徴ベクトルを抽出する特徴量抽出ステップと、前記特徴ベクトルと、分類対象となる各クラスのクラス代表ベクトルとの分類結果を取得する分類ステップと、正解データ及び前記分類結果に基づいて得られる分類誤差と、前記クラス代表ベクトル間の距離誤差とに基づいて、特徴量空間上で各クラスの特徴量の領域が重複しないように前記特徴量抽出ステップで利用するパラメータを最適化する最適化ステップと、を有するパラメータ最適化方法である。
　本発明の一態様は、上記のパラメータ最適化方法をコンピュータに実行させるためのコンピュータプログラムを記録する非一時的記録媒体である。
　本発明の一態様は、入力された入力データを用いて特徴ベクトルを抽出する特徴量抽出部と、前記特徴ベクトルと、分類対象となる各クラスのクラス代表ベクトルとの分類結果を取得する分類部と、正解データ及び前記分類結果に基づいて得られる分類誤差と、前記クラス代表ベクトル間の距離誤差とに基づいて、特徴量空間上で各クラスの特徴量の領域が重複しないように前記特徴量抽出部で利用するパラメータを最適化する最適化部と、を備えるパラメータ最適化装置である。
　本発明の一態様は、入力された入力データを用いて特徴ベクトルを抽出する特徴量抽出ステップと、前記特徴ベクトルと、分類対象となる各クラスのクラス代表ベクトルとの分類結果を取得する分類ステップと、正解データ及び前記分類結果に基づいて得られる分類誤差と、前記クラス代表ベクトル間の距離誤差とに基づいて、前記特徴量抽出ステップで利用するパラメータを最適化する最適化ステップを有し、前記最適化ステップにおいて、前記各クラスのクラス代表ベクトルそれぞれの特徴量空間上における位置を決定した後に、前記分類誤差を勾配法により最適化することによって前記パラメータを最適化するパラメータ最適化方法である。
　本発明の一態様は、入力された入力データを用いて特徴ベクトルを抽出する特徴量抽出ステップと、前記特徴ベクトルと、分類対象となる各クラスのクラス代表ベクトルとの分類結果を取得する分類ステップと、正解データ及び前記分類結果に基づいて得られる分類誤差と、前記クラス代表ベクトル間の距離誤差とに基づいて、前記特徴量抽出ステップで利用するパラメータを最適化する最適化ステップを有し、前記最適化ステップにおいて、前記クラス代表ベクトル間の距離誤差を前記分類誤差に付与して勾配法により最適化することによって前記パラメータを最適化するパラメータ最適化方法である。
　本発明により、分類精度を向上させることが可能となる。
本発明におけるパラメータ最適化装置の機能構成の具体例を示すブロック図である。 実施形態におけるパラメータ最適化装置の処理の流れを示すフローチャートである。 従来手法を用いた場合の実験結果を示す図である。 従来手法を用いた場合の実験結果を示す図である。 従来手法を用いた場合の実験結果を示す図である。 従来手法を用いた場合の実験結果を示す図である。 従来手法に本発明の手法を組み合わせた場合の実験結果を示す図である。 従来手法に本発明の手法を組み合わせた場合の実験結果を示す図である。 従来手法に本発明の手法を組み合わせた場合の実験結果を示す図である。 従来手法に本発明の手法を組み合わせた場合の実験結果を示す図である。 従来手法に本発明の手法を組み合わせた場合の実験結果を示す図である。 従来手法に本発明の手法を組み合わせた場合の実験結果を示す図である。 従来手法に本発明の手法を組み合わせた場合の実験結果を示す図である。 従来手法に本発明の手法を組み合わせた場合の実験結果を示す図である。
　以下、本発明の一実施形態を、図面を参照しながら説明する。
　図１は、本発明におけるパラメータ最適化装置１０の機能構成の具体例を示すブロック図である。
　パラメータ最適化装置１０は、深層学習で用いる特徴ベクトルを抽出するためのパラメータを最適化する装置である。本実施形態で用いる深層学習は、例えばL2-Constrained Softmax Loss、ＡｒｃＦａｃｅ、ＡｄａＣｏｓ、ＳｐｈｅｒｅＦａｃｅ及びＣｏｓＦａｃｅ等である。パラメータ最適化装置１０は、例えばパーソナルコンピュータ等の情報処理装置を用いて構成される。
　パラメータ最適化装置１０は、初期化部１００、特徴量抽出部１０１、クラス代表ベクトルメモリ１０２、類似度算出部１０３、分類部１０４、分類誤差算出部１０５、クラス間距離誤差算出部１０６及び最適化部１０７を備える。
　初期化部１００は、特徴量抽出部１０１が特徴ベクトル抽出に用いるパラメータ及びクラス代表ベクトルメモリ１０２に保存されるクラス代表ベクトルの情報をランダム値で初期化する。
　特徴量抽出部１０１は、外部から入力された画像データを用いて特徴ベクトルを抽出する。例えば、学習時では、特徴量抽出部１０１は、入力された学習用の画像データを用いて特徴ベクトルを抽出する。例えば、実際の処理の利用時では、特徴量抽出部１０１は、入力された画像データを用いて特徴ベクトルを抽出する。特徴量抽出部１０１が特徴ベクトル抽出に用いるパラメータは、学習処理開始時にはランダム値で初期化される。実際の処理の利用時には、最適化されたパラメータが利用される。
　クラス代表ベクトルメモリ１０２には、クラス代表ベクトルの情報が保存されている。クラス代表ベクトルメモリ１０２に保存されているクラス代表ベクトルの情報は、学習処理開始時にはランダム値で初期化される。クラス代表ベクトルは、各クラスの基準となる特徴ベクトルを表す。
　類似度算出部１０３は、特徴量抽出部１０１から出力された特徴ベクトルと、クラス代表ベクトルメモリ１０２に保存されている各クラス代表ベクトルとの類似度をそれぞれ算出する。
　分類部１０４は、ソフトマックス関数と、類似度算出部１０３によって算出された各類似度の値とを用いて、特徴量抽出部１０１から出力された特徴ベクトルの分類結果を取得する。例えば、分類部１０４は、特徴量抽出部１０１から出力された特徴ベクトルの各クラスに属する確率を示す分類結果として取得する。
　分類誤差算出部１０５は、分類部１０４によって取得された分類結果と、外部から入力された正解データの情報とに基づいて分類誤差を算出する。
　クラス間距離誤差算出部１０６は、クラス代表ベクトルメモリ１０２に保存されている各クラス代表ベクトル間の距離の誤差（以下「クラス間距離誤差」という。）を算出する。
　最適化部１０７は、分類誤差算出部１０５によって算出された分類誤差と、クラス間距離誤差算出部１０６によって算出されたクラス間距離誤差とに基づいて、特徴量抽出部１０１が用いるパラメータ及びクラス代表ベクトルメモリ１０２に保存されているクラス代表ベクトルの情報を最適化する。例えば、最適化部１０７は、分類誤差と、クラス間距離誤差とに基づいて、特徴量空間上で各クラスの特徴量の領域が重複しないように、特徴量抽出部１０１が用いるパラメータ及びクラス代表ベクトルメモリ１０２に保存されているクラス代表ベクトルの情報を最適化する。
　図２は、実施形態におけるパラメータ最適化装置１０の処理の流れを示すフローチャートである。
　パラメータ最適化装置１０は、学習データとして入力画像ｘｉ(ｉは１以上の整数)、正解データｙｉ及び分類クラス数Ｋの情報を入力する（ステップＳ１０１）。入力画像ｘｉは特徴量抽出部１０１に入力され、正解データｙｉは分類誤差算出部１０５に入力され、分類クラス数Ｋの情報は初期化部１００に入力される。初期化部１００は、クラス代表ベクトルをベクトルＷｋ（０≦ｋ＜Ｋ）とし、特徴量抽出部１０１が用いるパラメータと、ベクトルＷｋとをランダム値で初期化する（ステップＳ１０２）。初期化又は最適化されたクラス代表ベクトルをＷｋ´とする。
　特徴量抽出部１０１は、入力画像ｘｉを入力する（ステップＳ１０３）。例えば、特徴量抽出部１０１は、複数の入力画像が入力された場合には、１つの入力画像を選択して入力する。特徴量抽出部１０１は、入力した入力画像ｘｉを用いて、入力画像ｘｉの特徴ベクトルｆｉ´を取得する（ステップＳ１０４）。特徴量抽出部１０１は、抽出した特徴ベクトルｆｉ´を類似度算出部１０３に出力する。
　類似度算出部１０３は、特徴量抽出部１０１から出力された特徴ベクトルｆｉ´と、クラス代表ベクトルメモリ１０２に保存されている各クラス代表ベクトルＷｋ´とを入力する。類似度算出部１０３は、入力した特徴ベクトルｆｉ´と各クラス代表ベクトルＷｋ´とをそれぞれＬ２ノルムで正規化する。
　これにより、類似度算出部１０３は、正規化後の特徴ベクトルｆｉと各クラス代表ベクトルＷｋとを取得する。その後、類似度算出部１０３は、取得した特徴ベクトルｆｉとクラス代表ベクトルＷｋとの類似度ｃｋをクラス代表ベクトル毎に算出する（ステップＳ１０５）。例えば、類似度算出部１０３は、以下の式１に基づいて類似度ｃｋをクラス代表ベクトル毎に算出する。
Figure JPOXMLDOC01-appb-M000001
　式（１）における“・”の記号は内積を表す。このように、類似度算出部１０３は、取得した特徴ベクトルｆｉとクラス代表ベクトルＷｋとの内積を求めることによって、類似度ｃｋをクラス代表ベクトル毎に算出する。類似度算出部１０３は、算出したクラス代表ベクトル毎の類似度ｃｋの情報を分類部１０４に出力する。
　分類部１０４は、ソフトマックス関数と、クラス代表ベクトル毎の類似度ｃｋとを用いて分類結果を取得する（ステップＳ１０６）。具体的には、分類部１０４は、ソフトマックス関数に、クラス代表ベクトル毎の類似度ｃｋを与えることによって、特徴ベクトルｆｉの各クラスに属する確率を示す分類結果を取得する。分類部１０４は、取得した分類結果を示す情報を分類誤差算出部１０５に出力する。
　分類誤差算出部１０５は、分類結果を示す情報と、入力された正解データとを用いて分類誤差Ｌｃを算出する（ステップＳ１０７）。例えば、分類誤差算出部１０５は、交差エントロピーを求めることによって分類誤差を算出する。分類誤差算出部１０５は、算出した分類誤差Ｌｃを最適化部１０７に出力する。
　クラス間距離誤差算出部１０６は、クラス代表ベクトルメモリ１０２に保存されているクラス代表ベクトル間の距離の誤差Ｌｄを算出する（ステップＳ１０８）。具体的には、クラス間距離誤差算出部１０６は、以下の式（２）に基づいてクラス間距離誤差Ｌｄを算出する。
Figure JPOXMLDOC01-appb-M000002
　式（２）におけるｍ及びｎは、０以上の値であり、整数０≦ｍ，ｎ＜Ｋを満たす。クラス間距離誤差算出部１０６は、算出したクラス間距離誤差Ｌｄを最適化部１０７に出力する。最適化部１０７は、分類誤差Ｌｃと、クラス間距離誤差Ｌｄとを入力する。最適化部１０７は、入力した分類誤差Ｌｃと、クラス間距離誤差Ｌｄとを用いて、以下の式（３）に示す目的関数の最小化問題を解くことによって、特徴量抽出部１０１で用いるパラメータ及びクラス代表ベクトルメモリ１０２におけるクラス代表ベクトルの情報を更新する（ステップＳ１０９）。
Figure JPOXMLDOC01-appb-M000003
　ここで、最適化部１０７が行う最適化の方法として、２つの方法（第１の方法及び第２の方法）がある。
　第１の方法では、最適化部１０７が、まずクラス間距離誤差Ｌｄ＜ｄを満たすようにクラス代表ベクトルを更新する。例えば、最適化部１０７は、目的関数Ｌ＝Ｌｄ－ｄを勾配法により最適化するようにクラス代表ベクトルを更新する。ｄは、予め定められる整数である。次に、最適化部１０７は、クラス代表ベクトルを固定した状態で目的関数Ｌ＝Ｌｃを勾配法により最適化する。すなわち、第１の方法では、各クラスのクラス代表ベクトルそれぞれの特徴量空間上における位置を決定した後に、分類誤差を勾配法により最適化することによって特徴量抽出部１０１で利用するパラメータを最適化する。
　上記の処理により、特徴量抽出部１０１で利用するパラメータが、分類先である複数のクラス間の特徴量空間における距離を均等にするようなパラメータに最適化される。さらに、特徴量抽出部１０１で抽出される特徴量は、特徴量空間における複数のクラスのいずれかの領域にマッピングされる。
　第２の方法は、最適化部１０７が、ラグランジェの未定乗数法を用いて、目的関数Ｌ＝Ｌｃ＋λＬｄ（λはラグランジュ係数）を勾配法により最適化する。すなわち、第２の方法では、クラス代表ベクトル間の距離誤差を分類誤差に付与して勾配法により最適化することによって特徴量抽出部１０１で利用するパラメータを最適化する。例えば、第２の方法で用いるクラス代表ベクトル間の距離誤差は、全クラス間の距離の最大値である。
　最適化部１０７は、ステップＳ１０３からステップＳ１０９までの処理を所定の回数行ったか否かを判定する（ステップＳ１１０）。所定の回数行った場合（ステップＳ１１０－ＹＥＳ）、パラメータ最適化装置１０は図２の処理を終了する。
　一方、所定の回数行っていない場合（ステップＳ１１０－ＮＯ）、特徴量抽出部１０１は未選択の入力画像を入力する（ステップＳ１１０）。その後、パラメータ最適化装置１０はステップＳ１０３以降の処理を実行する。
　図３～図１４を用いて、従来手法の実験結果と、本発明及び従来手法に本発明の手法を組み合わせた場合の実験結果とについて説明する。図３～図１４では、従来手法として、L2-Constrained Softmax Loss及びＡｒｃＦａｃｅのそれぞれを例に示している。図３～図６は従来手法を用いた場合の実験結果を示す図であり、図７、図８、図１１及び図１２は本発明の実験結果を示し、図９、図１０、図１３及び図１４は従来手法（ＡｒｃＦａｃｅ）に本発明の手法を組み合わせた場合の実験結果を示す図である。実験では、ＭＮＩＳＴ（Modified National Institute of Standards and Technology）の１０クラスのデータセットを用いて、特徴ベクトルを２次元としている。
　図３に示す例では、従来手法としてL2-Constrained Softmax Lossを利用し、最終層直前の特徴ベクトルを超球面上に可視化した例を示している。図３において、中心２０の位置から外側に延びる複数の直線２１－０～２１－９はそれぞれ各クラスのクラス代表ベクトルを表し、直線２１－０～２１－９に対応する数字は各サンプルデータを表す。なお、図５、図７、図９、図１１及び図１３においても各符号が示す内容は図３と同様である。
　例えば、直線２１－０は、数字“０”のクラスのクラス代表ベクトルを表す。直線２１－１は、数字“１”のクラスのクラス代表ベクトルを表す。直線２１－２は、数字“２”のクラスのクラス代表ベクトルを表す。直線２１－３は、数字“３”のクラスのクラス代表ベクトルを表す。直線２１－４は、数字“４”のクラスのクラス代表ベクトルを表す。直線２１－５は、数字“５”のクラスのクラス代表ベクトルを表す。直線２１－６は、数字“６”のクラスのクラス代表ベクトルを表す。直線２１－７は、数字“７”のクラスのクラス代表ベクトルを表す。直線２１－８は、数字“８”のクラスのクラス代表ベクトルを表す。直線２１－９は、数字“９”のクラスのクラス代表ベクトルを表す。
　図３に示すように、L2-Constrained Softmax Lossを用いた場合には、類似したサンプルデータのクラス代表ベクトルが超球面上で近い位置にマッピングされていることがわかる。
　図４には、従来手法としてL2-Constrained Softmax Lossを利用した場合のｌｏｓｓと分類精度の結果を示している。図４において、線３１は学習データを用いた際の結果を表し、線３２はテストデータを用いた際の結果を表す。なお、図６、図７、図１０、図１２及び図１４においても各符号が示す内容は図４と同様である。
　図５に示す例では、従来手法としてＡｒｃＦａｃｅを利用し、最終層直前の特徴ベクトルを超球面上に可視化した例を示している。図６には、従来手法としてＡｒｃＦａｃｅを利用した場合のｌｏｓｓと分類精度の結果を示している。図５に示すように、ＡｒｃＦａｃｅを用いた場合には、L2-Constrained Softmax Lossよりは問題度合いが小さいが、“３”と“５”が略同じ位置にマッピングされていたり、“９”と“２”の間が空いていたりして特徴空間全体を最大限に活用できていないことがわかる。
　図３～図６のように、従来手法では、類似するクラスの分類精度が低下していることがわかる。例えば、L2-Constrained Softmax Lossを利用した場合の分類精度は７０％、ＡｒｃＦａｃｅを利用した場合の分類精度は９０％程度である。さらに、従来手法では、特徴空間全体を最大限に活用できていない。
　図７に示す例では、本発明の第１の手法を利用し、最終層直前の特徴ベクトルを超球面上に可視化した例を示している。図８には、本発明の第１の手法を利用した場合のｌｏｓｓと分類精度の結果を示している。
　図７に示すように、本発明の第１の手法を利用した場合には、L2-Constrained Softmax Lossと比べて、各クラスが分類されており、特徴空間全体を最大限に活用できていることがわかる。
　図９に示す例では、ＡｒｃＦａｃｅに本発明の第１の手法を組み合わせて利用し、最終層直前の特徴ベクトルを超球面上に可視化した例を示している。図１０には、ＡｒｃＦａｃｅに本発明の第１の手法を組み合わせて利用した場合のｌｏｓｓと分類精度の結果を示している。
　図９に示すように、ＡｒｃＦａｃｅに本発明の第１の手法を組み合わせて利用した場合には、ＡｒｃＦａｃｅのみを利用した場合に比べて、各クラスが分類されており、特徴空間全体を最大限に活用できていることがわかる。
　図１１に示す例では、本発明の第２の手法を
利用し、最終層直前の特徴ベクトルを超球面上に可視化した例を示している。図１２には、本発明の第２の手法を利用した場合のｌｏｓｓと分類精度の結果を示している。
　図１１に示すように、本発明の第２の手法を利用した場合には、L2-Constrained Softmax Lossと比べて、分類精度が向上していることがわかる。
　具体的には、L2-Constrained Softmax Lossでは、特徴が似ているデータが特徴量空間で近い位置にマッピングされやすくなっているのに対して、本発明の第２の手法ではクラス代表ベクトルの間隔を広げるように明示的に学習している。したがって、特徴が似ているデータが特徴量空間で近い位置にマッピングされることを抑制している。そのため、分類精度を向上させることができる。
　図１３に示す例では、ＡｒｃＦａｃｅに本発明の第２の手法を組み合わせて利用し、最終層直前の特徴ベクトルを超球面上に可視化した例を示している。図１４には、ＡｒｃＦａｃｅに本発明の第２の手法を組み合わせて利用した場合のｌｏｓｓと分類精度の結果を示している。
　図１３に示すように、ＡｒｃＦａｃｅに本発明の第２の手法を組み合わせて利用した場合には、ＡｒｃＦａｃｅのみを利用した場合に比べて、分類精度が向上していることがわかる。
　具体的には、ＡｒｃＦａｃｅでは、特徴が似ているデータが特徴量空間で近い位置にマッピングされやすくなっているのに対して、本発明の第２の手法ではクラス代表ベクトルの間隔を広げるように明示的に学習している。したがって、特徴が似ているデータが特徴量空間で近い位置にマッピングされることを抑制している。そのため、分類精度を向上させることができる。
　以上のように構成されたパラメータ最適化装置１０によれば、入力された入力データを用いて特徴ベクトルを抽出し、特徴ベクトルと、分類対象となる各クラスのクラス代表ベクトルとの分類結果を取得し、正解データ及び分類結果に基づいて得られる分類誤差と、クラス代表ベクトル間の距離誤差とに基づいて、特徴量空間上で各クラスの特徴量の領域が重複しないようにパラメータを最適化する。これにより、各クラス間の距離を最大化する、すなわちコサイン類似度を小さくするように最適化することができる。その結果、分類精度を向上させることが可能になる。
　パラメータ最適化装置１０は、最適化の第１の方法として、各クラスのクラス代表ベクトルそれぞれの特徴量空間上における位置を決定した後に、分類誤差を勾配法により最適化することによってパラメータを最適化する。より具体的には、予めクラス代表ベクトルを特徴量空間で等間隔になるようにマッピングしている。これにより、各クラス間の距離を最大化する、すなわちコサイン類似度を小さくするように最適化することができる。その結果、分類精度を向上させることが可能になる。
　パラメータ最適化装置１０は、最適化の第２の方法として、クラス代表ベクトル間の距離誤差をペナルティとして分類誤差に付与して勾配法により最適化することによってパラメータを最適化する。この際、パラメータ最適化装置１０は、ラグランジェの未定乗数法を用いる。これにより、各クラス間の距離を最大化する、すなわちコサイン類似度を小さくするように最適化することができる。その結果、分類精度を向上させることが可能になる。
　本発明では、新しいクラスを再学習するときに特徴空間上に新しいクラスの入り込む余地があるため、Zero Shot Learningのような機械学習の精度向上も期待できる。
　第１の方法は、類似するクラスの近さを考慮せずに強制的に等間隔になるようにマッピングするため、クラス分類のタスク向けの方法である。
　第２の方法は、類似するクラスを近くするという距離学習の要素を残しているため、異常検知のタスク向けの手法である。
　（変形例）
　上記の実施形態では、パラメータ最適化装置１０は、ステップＳ１０９の処理においてステップＳ１０３からステップＳ１０８までの処理を所定の回数行ったか否かを判定する構成を示した。パラメータ最適化装置１０は、ステップＳ１０９の処理においてステップＳ１０３からステップＳ１０８までの処理を、特徴量抽出部１０１で用いるパラメータの値及びクラス代表ベクトルが収束するまで行ったか否かを判定するように構成されてもよい。このように構成される場合、収束していない場合（ステップＳ１０９－ＮＯ）、特徴量抽出部１０１は未選択の入力画像を入力する（ステップＳ１１０）。その後、パラメータ最適化装置１０はステップＳ１０３以降の処理を実行する。
　一方、収束した場合（ステップＳ１０９－ＹＥＳ）、パラメータ最適化装置１０は図２の処理を終了する。
　このように構成されることによって、最適化されるまで処理が行われるため、分類精度をより向上させることができる。
　クラス間距離誤差Ｌｄの算出方法は、上記の式（２）に限定される必要はない。例えば、クラス間距離誤差Ｌｄは、以下の式（４）又は式（５）によって算出されてもよい。式（４）は、クラス代表ベクトルの全距離の合計に基づく式である。式（５）は、各クラス最大距離の合計に基づく式である。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　上述したパラメータ最適化装置１０の一部又は全ての機能部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
　さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
　以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
　本発明は、クラスの分類を行う技術に適用できる。
１０…パラメータ最適化装置，　１００…初期化部，　１０１…特徴量抽出部，　１０２…クラス代表ベクトルメモリ，　１０３…類似度算出部，　１０４…分類部，　１０５…分類誤差算出部，　１０６…クラス間距離誤差算出部，　１０７…最適化部

Claims (8)

  1. 　入力された入力データを用いて特徴ベクトルを抽出する特徴量抽出ステップと、
    　前記特徴ベクトルと、分類対象となる各クラスのクラス代表ベクトルとの分類結果を取得する分類ステップと、
    　正解データ及び前記分類結果に基づいて得られる分類誤差と、前記クラス代表ベクトル間の距離誤差とに基づいて、特徴量空間上で各クラスの特徴量の領域が重複しないように前記特徴量抽出ステップで利用するパラメータを最適化する最適化ステップと、
    　を有するパラメータ最適化方法。
  2. 　前記最適化ステップにおいて、前記各クラスのクラス代表ベクトルそれぞれの特徴量空間上における位置を決定した後に、前記分類誤差を勾配法により最適化することによって前記パラメータを最適化する、
    　請求項１に記載のパラメータ最適化方法。
  3. 　前記最適化ステップにおいて、前記クラス代表ベクトル間の距離誤差を前記分類誤差に付与して勾配法により最適化することによって前記パラメータを最適化する、
    　請求項１に記載のパラメータ最適化方法。
  4. 　請求項１から３のいずれか一項に記載のパラメータ最適化方法をコンピュータに実行させるためのコンピュータプログラムを記録する非一時的記録媒体。
  5. 　分類対象の対象データを取得する取得ステップと、
    　前記対象データから特徴量を抽出する特徴量抽出ステップと、
    　を有し、
    　前記特徴量抽出ステップでは、
    　分類先である複数のクラス間の特徴量空間における距離が均等になるよう最適化されており、
    　前記特徴量は、前記特徴量空間における、前記複数のクラスのいずれかの領域にマッピングされる、
    　特徴量抽出方法。
  6. 　入力された入力データを用いて特徴ベクトルを抽出する特徴量抽出部と、
    　前記特徴ベクトルと、分類対象となる各クラスのクラス代表ベクトルとの分類結果を取得する分類部と、
    　正解データ及び前記分類結果に基づいて得られる分類誤差と、前記クラス代表ベクトル間の距離誤差とに基づいて、特徴量空間上で各クラスの特徴量の領域が重複しないように前記特徴量抽出部で利用するパラメータを最適化する最適化部と、
    　を備えるパラメータ最適化装置。
  7. 　入力された入力データを用いて特徴ベクトルを抽出する特徴量抽出ステップと、
    　前記特徴ベクトルと、分類対象となる各クラスのクラス代表ベクトルとの分類結果を取得する分類ステップと、
    　正解データ及び前記分類結果に基づいて得られる分類誤差と、前記クラス代表ベクトル間の距離誤差とに基づいて、前記特徴量抽出ステップで利用するパラメータを最適化する最適化ステップを有し、
    　前記最適化ステップにおいて、前記各クラスのクラス代表ベクトルそれぞれの特徴量空間上における位置を決定した後に、前記分類誤差を勾配法により最適化することによって前記パラメータを最適化するパラメータ最適化方法。
  8. 　入力された入力データを用いて特徴ベクトルを抽出する特徴量抽出ステップと、
    　前記特徴ベクトルと、分類対象となる各クラスのクラス代表ベクトルとの分類結果を取得する分類ステップと、
    　正解データ及び前記分類結果に基づいて得られる分類誤差と、前記クラス代表ベクトル間の距離誤差とに基づいて、前記特徴量抽出ステップで利用するパラメータを最適化する最適化ステップを有し、
    　前記最適化ステップにおいて、前記クラス代表ベクトル間の距離誤差を前記分類誤差に付与して勾配法により最適化することによって前記パラメータを最適化するパラメータ最適化方法。
PCT/JP2020/017502 2020-04-23 2020-04-23 パラメータ最適化方法、非一時的記録媒体、特徴量抽出方法及びパラメータ最適化装置 WO2021214943A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/918,173 US20230153393A1 (en) 2020-04-23 2020-04-23 Parameter optimization method, non-transitory recording medium, feature amount extraction method, and parameter optimization device
PCT/JP2020/017502 WO2021214943A1 (ja) 2020-04-23 2020-04-23 パラメータ最適化方法、非一時的記録媒体、特徴量抽出方法及びパラメータ最適化装置
JP2022516581A JP7453582B2 (ja) 2020-04-23 2020-04-23 パラメータ最適化方法、非一時的記録媒体、特徴量抽出方法及びパラメータ最適化装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/017502 WO2021214943A1 (ja) 2020-04-23 2020-04-23 パラメータ最適化方法、非一時的記録媒体、特徴量抽出方法及びパラメータ最適化装置

Publications (1)

Publication Number Publication Date
WO2021214943A1 true WO2021214943A1 (ja) 2021-10-28

Family

ID=78270578

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/017502 WO2021214943A1 (ja) 2020-04-23 2020-04-23 パラメータ最適化方法、非一時的記録媒体、特徴量抽出方法及びパラメータ最適化装置

Country Status (3)

Country Link
US (1) US20230153393A1 (ja)
JP (1) JP7453582B2 (ja)
WO (1) WO2021214943A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11948358B2 (en) * 2021-11-16 2024-04-02 Adobe Inc. Self-supervised hierarchical event representation learning

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019096313A (ja) * 2017-11-20 2019-06-20 富士通株式会社 情報処理方法及び情報処理装置
US20190279091A1 (en) * 2018-03-12 2019-09-12 Carnegie Mellon University Discriminative Cosine Embedding in Machine Learning
JP2020004405A (ja) * 2018-06-25 2020-01-09 富士通株式会社 情報処理方法及び情報処理装置
CN111079790A (zh) * 2019-11-18 2020-04-28 清华大学深圳国际研究生院 一种构建类别中心的图像分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019096313A (ja) * 2017-11-20 2019-06-20 富士通株式会社 情報処理方法及び情報処理装置
US20190279091A1 (en) * 2018-03-12 2019-09-12 Carnegie Mellon University Discriminative Cosine Embedding in Machine Learning
JP2020004405A (ja) * 2018-06-25 2020-01-09 富士通株式会社 情報処理方法及び情報処理装置
CN111079790A (zh) * 2019-11-18 2020-04-28 清华大学深圳国际研究生院 一种构建类别中心的图像分类方法

Also Published As

Publication number Publication date
JPWO2021214943A1 (ja) 2021-10-28
US20230153393A1 (en) 2023-05-18
JP7453582B2 (ja) 2024-03-21

Similar Documents

Publication Publication Date Title
US11721131B2 (en) Liveness test method and apparatus
Xu et al. Coarse to fine K nearest neighbor classifier
Cao et al. Face alignment by explicit shape regression
US8064653B2 (en) Method and system of person identification by facial image
US20110243381A1 (en) Methods for tracking objects using random projections, distance learning and a hybrid template library and apparatuses thereof
Verbanck et al. Regularised PCA to denoise and visualise data
CN108985190B (zh) 目标识别方法和装置、电子设备、存储介质
KR100950776B1 (ko) 얼굴 인식 방법
Chang et al. Effectiveness evaluation of iris segmentation by using geodesic active contour (GAC)
WO2021214943A1 (ja) パラメータ最適化方法、非一時的記録媒体、特徴量抽出方法及びパラメータ最適化装置
CN115293235A (zh) 建立风险识别模型的方法及对应装置
Lavanya et al. Particle Swarm Optimization Ear Identification System
US11520837B2 (en) Clustering device, method and program
Liu et al. Inner lips feature extraction based on CLNF with hybrid dynamic template for Cued Speech
Barra et al. F-FID: fast fuzzy-based iris de-noising for mobile security applications
US20170004349A1 (en) Biometrics authentication device and biometrics authentication method
Dhillon et al. Edge-preserving image denoising using noise-enhanced patch-based non-local means
Nguyen et al. Constrained least-squares density-difference estimation
US20210192318A1 (en) System and method for training deep-learning classifiers
Angadi et al. Iris recognition: a symbolic data modeling approach using Savitzky-Golay filter energy features
Roy et al. A mixture model of circular-linear distributions for color image segmentation
Abate et al. Iris quality assessment: a statistical approach for biometric security applications
Zhang et al. Finger-knuckle-print verification with score level adaptive binary fusion
KR20190071594A (ko) 듀얼 qml을 사용한 개선된 홍채 인식 장치 및 방법
CN107844735B (zh) 生物特征的认证方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20932714

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022516581

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20932714

Country of ref document: EP

Kind code of ref document: A1