WO2014115362A1 - 識別器学習装置及び識別器学習方法 - Google Patents

識別器学習装置及び識別器学習方法 Download PDF

Info

Publication number
WO2014115362A1
WO2014115362A1 PCT/JP2013/072665 JP2013072665W WO2014115362A1 WO 2014115362 A1 WO2014115362 A1 WO 2014115362A1 JP 2013072665 W JP2013072665 W JP 2013072665W WO 2014115362 A1 WO2014115362 A1 WO 2014115362A1
Authority
WO
WIPO (PCT)
Prior art keywords
vector
reference vector
sample
processing target
nearest neighbor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2013/072665
Other languages
English (en)
French (fr)
Inventor
亀井　俊男
雅人 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to US14/763,702 priority Critical patent/US20150363709A1/en
Priority to JP2014558428A priority patent/JPWO2014115362A1/ja
Publication of WO2014115362A1 publication Critical patent/WO2014115362A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/60—Methods or arrangements for performing computations using a digital non-denominational number representation, i.e. number representation without radix; Computing devices using combinations of denominational and non-denominational quantity representations, e.g. using difunction pulse trains, STEELE computers, phase computers
    • G06F7/72—Methods or arrangements for performing computations using a digital non-denominational number representation, i.e. number representation without radix; Computing devices using combinations of denominational and non-denominational quantity representations, e.g. using difunction pulse trains, STEELE computers, phase computers using residue arithmetic

Definitions

  • the present invention relates to a learning technique for a nearest neighbor classifier.
  • NNC Nearest Neighbor Classifier
  • the NNC has reference vectors (also called templates or prototypes) classified into categories, and outputs a category (class) to which a reference vector having the smallest distance from the input vector belongs as a result of recognition (identification) of the input vector.
  • a two-class classifier or a multi-class classifier can be configured.
  • the identification boundary surface of NNC is a boundary surface of a feature space that is Voronoi divided by reference vectors.
  • the learning accuracy of NNC can be improved by learning a reference vector for determining the identification boundary surface using a learning sample prepared in advance.
  • a learning method of the NNC reference vector a method called learning vector quantization (LVQ (Learning VectorizationQuantization)) (see Non-Patent Document 1 below) and a method called GLVQ (Generalized Learning Vector Quantization) which is an improved method (see FIG. The following non-patent document 2) is known.
  • LVQ Learning VectorizationQuantization
  • GLVQ Generalized Learning Vector Quantization
  • a support vector machine (SVM (Support Vector Machine)) is known (see Non-Patent Document 3 below).
  • SVM Support Vector Machine
  • the SVM suppresses overlearning by learning to maximize the distance (margin) between the identification boundary surface and the learning sample.
  • the linear SVM can be applied to a two-class identification problem in which the identification boundary is a plane (see Non-Patent Document 4 below). With this application, learning is performed so as to maximize the margin between the identification boundary surface and the learning sample, so that a classifier having high identification performance can be obtained.
  • Patent Document 2 proposes a speech recognition method that uses a continuous HMM (Hidden Markov Model) for learning and a discrete HMM for recognition.
  • HMM Hidden Markov Model
  • JP 2009-186243 A Japanese Patent Laid-Open No. 8-11599
  • LIBLINEAR a library for linear classification
  • Journal of Machine Learning Research Vol.9, pp.1871-1874, 2008 Chi-Chung Chang and Chih-Jen Lin
  • LIBSVM a library for support vector machines
  • the present invention has been made in view of such circumstances, and provides an NNC reference vector learning technique capable of improving the identification accuracy.
  • the first aspect relates to a discriminator learning device.
  • the classifier learning device includes a target acquisition unit that acquires a reference vector set and belonging category information of each reference vector as a processing target, and a reference vector of the processing target that belongs to the same category as the sample vector.
  • a specifying unit for specifying the internal nearest neighbor reference vector closest to the sample vector and for specifying the external nearest neighbor reference vector closest to the sample vector from the reference vectors to be processed belonging to a different category from the sample vector
  • a calculation unit that calculates an evaluation value of the processing target using a distance between the identification boundary formed by the inner nearest neighbor reference vector and the outer nearest neighbor reference vector and the sample vector. Based on the evaluation value of the processing target, the original reference vector set and the original affiliation category information Having, an update unit that updates the processing target.
  • the second aspect relates to a classifier learning method.
  • the classifier learning method according to the second aspect is executed by at least one computer, acquires a reference vector set and belonging category information of each reference vector as a processing target, and refers to the processing target belonging to the same category as the sample vector.
  • the internal nearest neighbor reference vector closest to the sample vector is identified from the vectors, and the external nearest neighbor reference vector closest to the sample vector is identified from the reference vectors to be processed belonging to a different category from the sample vector.
  • the evaluation value of the processing target is calculated, and the calculated evaluation value of the processing target Based on the original reference vector set and the original affiliation category information. In the update, including that.
  • Another aspect of the present invention may be a program that causes at least one computer to execute the method of the second aspect, or a computer-readable recording medium that records such a program. May be.
  • This recording medium includes a non-transitory tangible medium.
  • NNC learning apparatus it is a figure which shows notionally the process structural example of the nearest neighbor discriminator learning apparatus (NNC learning apparatus) in 3rd Embodiment. It is a flowchart which shows the operation example of the nearest neighbor discriminator learning apparatus (NNC learning apparatus) in 3rd Embodiment.
  • FIG. 1 is a diagram conceptually illustrating a configuration example of a discriminator learning device 100 according to an embodiment of the present invention.
  • the classifier learning device 100 includes a target acquisition unit 101 that acquires a reference vector set and affiliation category information of each reference vector as a processing target, and a reference of the processing target that belongs to the same category as the sample vector.
  • the internal nearest neighbor reference vector closest to the sample vector is identified from the vectors, and the nearest external reference vector closest to the sample vector is selected from the reference vectors to be processed belonging to a different category from the sample vector.
  • the discriminator learning device 100 has, for example, the same hardware configuration as the nearest neighbor discriminator learning device 1 in the detailed embodiment described later, and the program is processed in the same manner as the nearest neighbor discriminator learning device 1. Each processing unit described above is realized.
  • the classifier learning method is executed by at least one computer such as the above-described classifier learning apparatus 100, and acquires a reference vector set and affiliation category information of each reference vector as a processing target. Then, from among the reference vectors of the processing target belonging to the same category as the sample vector, the internal nearest neighbor reference vector closest to the sample vector is specified, and from among the reference vectors of the processing target belonging to a category different from the sample vector Identify the nearest external reference vector closest to the sample vector, and evaluate the processing target using the distance between the identification boundary formed by the internal nearest neighbor reference vector and the external nearest neighbor reference vector and the sample vector.
  • the Kutorusetto and original category membership information to update in the processed includes.
  • the steps included in the classifier learning method may be executed sequentially in any order, or may be executed simultaneously.
  • the evaluation value of the processing target is calculated from the relationship between the sample vector and the reference vector set acquired as the processing target, and based on the evaluation value, the NNC reference vector set and Those affiliation category information is learned.
  • the term “vector” means not only data having a size and an orientation, but also any data composed of a plurality of elements.
  • Each reference vector of the reference vector set belongs to a category, and the belonging category information indicates a category to which each reference vector belongs.
  • Sample vector is learning data having the same number of elements as each reference vector to be processed, and belongs to a certain category.
  • the processing target and the sample vector may be generated by the discriminator learning device 100, or may be acquired from another device or a portable recording medium.
  • an internal nearest neighbor reference vector (hereinafter referred to as an IN-NN reference vector) that belongs to the same category as the sample vector and is closest to the sample vector, and a sample vector And an external nearest neighbor reference vector (hereinafter referred to as an EX-NN reference vector) closest to the sample vector.
  • the evaluation value of the processing target is calculated using the distance between the identification boundary formed by the IN-NN reference vector and the EX-NN reference vector and the sample vector.
  • the NNC reference vector can be learned so as to maximize the distance, that is, the margin between the learning sample vector and the identification boundary in the reference vector set.
  • the NNC identification accuracy can be improved.
  • the first to third embodiments will be exemplified as detailed embodiments.
  • Each of the following embodiments is an example when the classifier learning device 100 and the classifier learning method described above are applied to a nearest neighbor classifier (NNC) learning device.
  • NNC nearest neighbor classifier
  • the use of the classifier learned in the above-described classifier learning apparatus 100 and classifier learning method and the following detailed embodiment is not limited.
  • the discriminator can be used in various pattern recognitions such as character recognition, face recognition, vehicle detection, and voice recognition.
  • FIG. 2 is a diagram conceptually illustrating a hardware configuration example of the nearest neighbor classifier learning device (hereinafter referred to as an NNC learning device) 1 in the first embodiment.
  • the NNC learning device 1 in the first embodiment is a so-called computer, and is, for example, a CPU (Central Processing Unit) 2, a memory 3, an input / output interface (I / F) 4, and a communication device that are connected to each other via a bus 6. 5 etc.
  • the memory 3 is a RAM (Random Access Memory), a ROM (Read Only Memory), a hard disk, a portable storage medium, or the like.
  • the input / output I / F 4 can be connected to a user interface device such as a display device (not shown) or an input device (not shown).
  • the communication device 5 communicates with other devices via a network (not shown).
  • the present embodiment does not limit the hardware configuration of the NNC learning device 1.
  • FIG. 3 is a diagram conceptually illustrating a processing configuration example of the NNC learning device 1 in the first embodiment.
  • the NNC learning device 1 according to the first embodiment includes a parameter setting unit 11, a learning sample holding unit 12, a specifying unit 13, a calculating unit 14, an updating unit 15, an optimal parameter holding unit 16, and the like.
  • Each of these processing units is realized, for example, by executing a program stored in the memory 3 by the CPU 2.
  • the program may be installed from a portable recording medium such as a CD (Compact Disc) or a memory card or another computer on the network via the input / output I / F 4 and stored in the memory 3. Good.
  • CD Compact Disc
  • the parameter setting unit 11 sets a reference vector set in the NNC to be processed and their belonging category information.
  • the processing target set by the parameter setting unit 11 includes N (N is an integer of 2 or more) reference vectors r i (i is an integer of 1 to N) and categories c i corresponding to the respective reference vectors. Can be represented.
  • the target acquisition unit 101 described above acquires, for example, the processing target set by the parameter setting unit 11.
  • the parameter setting unit 11 sets a reference vector, which is an NNC parameter, using a technique such as MDS (Multi-Directional Search), simplex method, or Alternate Directions Search described in the following references.
  • Reference 1 VJ Torczon, "On the convergence of the multidirectional search algorithm", SIAM Journal on Optimization, Vol. 1, pp.123-145 (1991).
  • Reference 2 NJ Higham, "Optimization by direct search in matrix computations", SIAM Journal on Matrix Analysis and Applications, Vol. 14, No. 2, pp. 317-333 (1993).
  • the parameter setting unit 11 may use an average vector of clusters obtained by clustering the learning sample vectors by the K-means method as the reference vector (see Reference Document 3 below).
  • Reference 3 R. O. Duda and P. E. Hart and D. G. Stork, "Pattern Identification", New Technology Communications, pp.528-529 (2001).
  • the learning sample holding unit 12 holds a plurality of learning sample vectors and affiliation category information of each sample vector.
  • the information held by the learning sample holding unit 12 includes M (M is an integer of 2 or more) sample vectors s j (j is an integer of 1 to M) and categories c j corresponding to the sample vectors. Can be represented.
  • the sample vector s j and the reference vector r i have the same number of elements.
  • the optimum parameter holding unit 16 holds a reference vector set and their belonging category information, which are obtained as a result of learning by the NNC learning device 1 and are NNC optimum parameters.
  • the specifying unit 13 specifies the IN-NN reference vector and the EX-NN reference vector for each of the plurality of sample vectors held in the learning sample holding unit 12 as in the above-described specifying unit 102. For example, the specifying unit 13 calculates each distance between the reference vector r i and the sample vector s j and specifies the IN-NN reference vector and the EX-NN reference vector based on each calculated distance. . In the present embodiment, the distance between the sample vector s j having the same number of elements and the reference vector r i is calculated using the square distance as shown in the following (Equation 1).
  • the calculation unit 14 When the sample vector is closer to the EX-NN reference vector than the IN-NN reference vector, the calculation unit 14 shows a lower evaluation as the distance between the identification boundary and the sample vector is longer, and the sample vector becomes EX-NN.
  • the evaluation value of the processing target is calculated so that the higher the distance, the higher the evaluation. If the category of the reference vector that is the nearest to the sample vector among all the reference vectors is the same as the category of the sample vector, the sample vector is correctly identified, so the distance (margin) at this time is It is desirable to be maximized. Therefore, in this case, as described above, the calculation unit 14 calculates the evaluation value of the processing target so that the longer the distance, the higher the evaluation.
  • the calculation unit 14 calculates the evaluation value of the processing target so that the longer the distance, the lower the evaluation. If this embodiment is a calculation method that embodies such a technical idea, the calculation unit 14 limits the calculation method for calculating the evaluation value of the processing target from the distance between the identification boundary and the sample vector. do not do.
  • the calculation unit 14 can use the following calculation method that embodies the technical idea described above.
  • the calculation unit 14 calculates the distance as a negative value when the sample vector is closer to the EX-NN reference vector than the IN-NN reference vector, and the sample vector is closer to the IN-NN reference vector than the EX-NN reference vector.
  • the distance is calculated as a positive value
  • the evaluation value of the processing target is calculated based on the output value of the sigmoid function that receives the calculated distance.
  • the following (Formula 2) shows an example of the distance calculation method
  • the following (Formula 3) shows a sigmoid function.
  • r w denotes an IN-NN reference vector
  • r b represents an EX-NN reference vectors.
  • the coefficient ⁇ in (Expression 3) is a positive constant set experimentally in advance.
  • the calculation unit 14 calculates the total value of the evaluation values calculated for each of the plurality of sample vectors held in the learning sample holding unit 12, and sets this total value as the final evaluation value of the processing target. According to the above-described examples of (Expression 2) and (Expression 3), the calculation unit 14 calculates the final evaluation value J using the following (Expression 4).
  • FIG. 4 is a diagram conceptually showing an NNC identification boundary.
  • the reference vectors r 1 , r 2 and r 3 belong to the category C A and the reference vectors r 4 and r 5 belong to the category C B.
  • the feature space in NNC is divided into Voronoi regions by reference vectors.
  • the boundaries (Voronoi boundaries) of the region divided by the reference vector r i are indicated by solid lines B 15 , B 14 , B 24 and B 34 , and broken lines B 12 , B 23 and B 45 . .
  • Each boundary is a boundary of an area occupied by each reference vector, and a vector located in the area has the smallest distance from the reference vector of the area. That is, the nearest neighbor reference vector of a vector located in the region becomes the reference vector of the region.
  • the nearest reference vector of an arbitrary vector located in the region surrounded by the broken line B 23 , the solid line B 24 and the broken line B 12 is the reference vector r 2 .
  • the Voronoi boundary is constituted by a plane perpendicular to the midpoint between adjacent reference vectors when a square distance is used as the distance between vectors.
  • the Voronoi boundary dashed B 12 is a plane perpendicular to the midpoint of the reference vector r 1 and the reference vector r 2.
  • a two-dimensional Voronoi boundary dashed B 12 is a perpendicular bisector of a line segment connecting the reference vector r 1 and reference vector r 2.
  • An identification boundary is formed by Voronoi boundaries between reference vectors having different affiliation categories in Voronoi boundaries created by reference vectors. In the example of FIG. 4, the identification boundary is indicated by solid lines B 15 , B 14 , B 24 and B 34 .
  • FIG. 5 is a diagram conceptually showing a margin of NNC.
  • the margin is the distance from the identification boundary closest to the sample vector s j . Closest identification boundary to sample vector s j is, in the reference vector belonging to the same category as the sample vector s j, and the sample vector s j the closest reference vector (IN-NN reference vector) r w, sample vector s j and in the different reference vectors belonging to the category, sample vector s j and the nearest reference vector and (EX-NN reference vector) r b is Voronoi boundary B wb constituting.
  • the margin m (s j ) is the distance from the Voronoi boundary B wb to the sample vector s j .
  • the margin m (s j ) is the distance from the sample vector s j to the plane (identification boundary surface B wb ) perpendicular to the midpoint between the IN-NN reference vector and the EX-NN reference vector, It can be calculated by the above (formula 2) and the like.
  • the update unit 15 includes a final evaluation value related to the reference vector set and the belonging category information held in the optimum parameter holding unit 16, and a final evaluation value calculated by the calculation unit 14 regarding the processing target set in the parameter setting unit 11. And the reference vector set having a high evaluation value and the category information belonging to them are updated and held in the optimum parameter holding unit 16. Thereby, when the final evaluation value to be processed is held in the optimum parameter holding unit 16 but is smaller than the final evaluation value, the optimum parameter holding unit 16 is not updated.
  • the NNC learning device 1 causes the parameter setting unit 11 to set a new processing target a predetermined number of times, and operates the specifying unit 13, the calculation unit 14, and the updating unit 15 for each processing target, so that the optimum parameter holding unit The reference vector set held in 16 and their category information are sequentially updated. Further, the NNC learning device 1 may end the learning process when the information in the optimal parameter holding unit 16 is not updated by the updating unit 15 a predetermined number of times or more.
  • FIG. 6 is a flowchart showing an operation example of the NNC learning device 1 in the first embodiment.
  • the NNC learning device 1 is the execution subject of each process, but the above-described processing units included in the NNC learning device 1 may be the execution subject.
  • the NNC learning device 1 sets a processing target (S60).
  • the processing target is a reference vector set which is a parameter of NNC and information on their belonging category.
  • the NNC learning device 1 sets the processing target by the above-described method described for the parameter setting unit 11.
  • the processing target set in (S60) is represented by N (N is an integer of 2 or more) reference vectors r i (i is an integer of 1 or more and N or less), and a category c i corresponding to each reference vector. be able to.
  • the NNC learning device 1 acquires a sample vector s 1 (S61). All sample vectors s j may be expressed as M (M is an integer of 2 or more) sample vectors s j (j is an integer of 1 or more and M or less) each having the same number of elements as the reference vector r i. it can. In (S61), one of all sample vectors s j is acquired.
  • the NNC learning device 1 calculates the distance d (s 1 , r i ) between the sample vector s 1 and each reference vector r i (S62).
  • the distance d (s 1 , r i ) is calculated using the square distance represented by (Equation 1) above.
  • the NNC learning device 1 specifies the IN-NN reference vector r w and the EX-NN reference vector r b for the sample vector s 1 based on the distance d (s 1 , r i ) calculated in (S62) ( S63, S64).
  • the IN-NN reference vector r w is one of the reference vectors r i belonging to the same category as the sample vector s 1
  • the EX-NN reference vector r b is a reference vector belonging to a different category from the sample vector s 1 one of r i .
  • NNC learning device 1 calculates a margin m (s 1) is the distance between the decision boundary and the sample vector s 1 which is formed from the IN-NN reference vector r w and EX-NN reference vector r b (S65) .
  • the NNC learning device 1 inputs the calculated margin m (s 1 ) into a gain function g (m) such as a sigmoid function, thereby evaluating the margin m (s 1 ) evaluation value g (m (s 1 )). Is calculated (S66).
  • the (S65) and (S66), NNC learning device 1 includes a sample vector s 1 is the case close to the EX-NN reference vector r b from IN-NN reference vector r w, and the decision boundary and the sample vector s 1 The longer the distance between, the lower the evaluation, and when the sample vector s 1 is closer to the IN-NN reference vector r w than the EX-NN reference vector r b , the longer the distance, the higher the evaluation, An evaluation value g (m (s 1 )) of the margin m (s 1 ) is calculated.
  • the NNC learning device 1 sets the margin m (s 1 ) as a negative value when the sample vector s 1 is closer to the EX-NN reference vector r b than the IN-NN reference vector r w in (S65). calculated, when the sample vector s 1 is close to EX-NN reference vector r b from iN-NN reference vector r w, calculated the margin m a (s 1) as a positive value, the (S66), the calculated The evaluation value g (m (s 1 )) of the margin m (s 1 ) may be calculated by inputting the margin m (s 1 ) into the sigmoid function g (m).
  • the NNC learning device 1 adds the calculated evaluation value g (m (s 1 )) to the final evaluation value J (S66).
  • the NNC learning device 1 determines that the final evaluation value J is the original It is determined whether it is higher than the final evaluation value calculated for the reference vector set and their category information (S69).
  • the NNC learning device 1 updates the optimum parameter with the processing target set in (S60) (S70). That is, when the final evaluation value J is improved (S69; YES), the reference vector set set in (S60) and the information on the category belonging thereto are set as the optimum parameters.
  • the NNC learning device 1 does not update the optimal parameter because the processing target set in (S60) is inferior to the current optimal parameter. .
  • the NNC learning device 1 determines whether or not the learning is finished (S71).
  • the learning end is, for example, that the number of repetitions of the above process has reached a predetermined number, or that the final evaluation value J does not improve even if the above process is repeated a predetermined number of times (S69; NO). Judged by standards. If the learning is not finished (S71; NO), the NNC learning device 1 sets a new processing target in (S60), and executes (S60) and subsequent steps on this new processing target.
  • the sum of the evaluation values of the margins of a plurality of sample vectors is calculated as the final evaluation value for the processing target, and the final evaluation value is improved.
  • the NNC optimum parameters are updated.
  • the evaluation value of each margin is set to a higher value as the distance between the identification boundary and the sample vector is longer when the nearest neighbor reference vector of the sample vector belongs to the same category as the sample vector. When the nearest neighbor reference vector belongs to a different category from the sample vector, the longer the distance, the lower the value.
  • the first embodiment it is possible to learn the reference vector of the NNC on the basis of maximizing the margin, and as a result, it is possible to improve the identification accuracy of the NNC.
  • the distance between the sample vector s j having the same number of elements and the reference vector r i is calculated using the square distance.
  • the distance is calculated by weighting the square distance.
  • the NNC learning device 1 in the second embodiment will be described focusing on the content different from the first embodiment. In the following description, the same contents as those in the first embodiment are omitted as appropriate.
  • the identification boundary is a plane.
  • ⁇ represents a variance covariance matrix
  • ⁇ represents an average vector.
  • the category C A and the category C B are isotropic normal distributions.
  • the discrimination boundary where the discrimination error is the smallest is the boundary where p A and p B are equal, passes through the center point of the mean vector ⁇ A and the mean vector ⁇ B, and the mean vector ⁇ a plane orthogonal to the line connecting the a and the average vector mu B. That is, an ideal NNC for identifying a pattern composed of the distributions p A and p B is when the reference vector of category C A is ⁇ A and the reference vector of category C B is ⁇ B.
  • the identification boundary surface with the smallest error is a surface where the distributions p A and p B are equal.
  • the log likelihood of the distributions p A and p B is expressed by the following equation.
  • the identification surface where p A and p B are equal is the identification surface where d A and d B are equal, it can be seen that this identification surface is a superquadratic surface.
  • the square distance is used, and the identification plane is a plane (a plane passing through the midpoint between the reference vector and the reference vector and orthogonal to a straight line connecting the reference vectors).
  • a curved surface cannot be expressed directly. For this reason, when using the square distance, it is desired to set a plurality of identification surfaces using more reference vectors and approximate the superquadratic surface. However, this results in degradation of NNC identification accuracy, an increase in the number of reference vectors required for NNC, and a reduction in processing speed.
  • the NNC learning device 1 calculates the distance between the sample vector s j having the same number of elements and the reference vector r i using the CWP distance or the AWP distance.
  • the device configuration of the NNC learning device 1 in the second embodiment is the same as that of the first embodiment shown in FIGS.
  • the processing content of the processing unit shown below is different from that of the first embodiment.
  • the parameter setting unit 11 further sets a weighting coefficient used for calculation of the distance between vectors in addition to the reference vector set and their belonging category information as the processing target.
  • the parameter setting unit 11 further sets the weighting factors ⁇ i and ⁇ i as processing targets, and the AWP distance (the above (formula 6)) as the distance function. Is used, the weighting factor ⁇ i is further set as a processing target.
  • the parameter setting unit 11 sets weighting coefficients ⁇ i and ⁇ i for each reference vector.
  • the specifying unit 13 calculates the distance between the sample vector s j and the reference vector r i using the CWP distance or the AWP distance including the weighting coefficient set by the parameter setting unit 11. Further, since the identification boundary is a superquadratic surface at the CWP distance, for example, the specifying unit 13 calculates the distance m (s j ) between the sample vector s j and the identification boundary by the following expression.
  • the case of d (s j , r w ) ⁇ d (s j , r b ) indicates that the sample vector is closer to the IN-NN reference vector than the EX-NN reference vector, and otherwise Indicates a case where the sample vector is closer to the EX-NN reference vector than the IN-NN reference vector.
  • the specifying unit 13 calculates the distance m (s j ) between the sample vector s j and the identification boundary by the following equation.
  • the optimum parameter holding unit 16 holds the weighting coefficient together with the reference vector set and the category information belonging thereto as the NNC optimum parameters.
  • the updating unit 15 causes the optimum parameter holding unit 16 to further reflect the weighting coefficient set as the processing target when updating the optimum parameter holding unit 16.
  • the NNC learning device 1 further sets a weighting coefficient used for the distance function as a processing target.
  • the NNC learning device 1 calculates the distance d (s 1 , r i ) between the sample vector s 1 and each reference vector r i using the CWP distance or the AWP distance.
  • the NNC learning device 1 updates the optimum parameter with the weighting coefficient in addition to the reference vector set and the category information to which the processing is set in (S60).
  • the AWP distance or CWP distance that weights the square distance with the weighting coefficient is used.
  • the weighting coefficient used for the distance function is also learned and optimized.
  • the NNC can be configured with fewer reference vectors by calculating the inter-vector distance using the CWP distance or the AWP distance.
  • a pattern identification problem for detecting an object such as a face is illustrated.
  • the pattern identification is processed as a two-class identification problem of an object to be detected (for example, a face) and a non-object (for example, a background) that is not to be detected. That is, the pattern discriminator determines whether the input data is an object class or a non-object class.
  • the detection omission rate is an error rate at which an object cannot be detected
  • the excess detection rate is an error rate at which a non-object is detected.
  • the detection omission rate and the excess detection rate are in a trade-off relationship.
  • the excess detection rate is increased.
  • the detection failure rate is increased.
  • object detection if you want to minimize the detection omission after setting the overdetection rate to a certain value, if you want to minimize the overdetection after setting the omission detection rate to a certain value, or There are cases where you want to make the detection omission rate the same.
  • the NNC reference vector is learned so that the discrimination accuracy such as the detection omission rate and the excess detection rate approaches the designated value.
  • the NNC learning device 1 according to the third embodiment will be described focusing on the contents different from the first embodiment and the second embodiment. In the following description, the same contents as those in the first embodiment and the second embodiment are omitted as appropriate.
  • FIG. 7 is a diagram conceptually illustrating a processing configuration example of the NNC learning device 1 in the third embodiment.
  • the calculation unit 14 includes a correction unit 21.
  • the correction unit 21 is realized, for example, by executing a program stored in the memory 3 by the CPU 2.
  • FIG. 7 an example in which the correction unit 21 exists inside the calculation unit 14 is shown, but the correction unit 21 may be realized as a processing unit different from the calculation unit 14.
  • Correcting unit 21 category membership information of the most adjacent reference vectors for each of the sample vector s j, and, based on category membership information of each sample vector s j, for the sample vector s j which is held in the learning sample holding portion 12 Then, the identification accuracy of the processing target set by the parameter setting unit 11 is calculated, and the processing target corresponding to the sample vector s j is calculated with a correction value corresponding to the calculated identification accuracy and the specified identification accuracy information. Correct the final evaluation value.
  • the specified identification accuracy information may be input by the user operating the input unit or the like based on an input screen or the like, or from a portable recording medium, another computer, or the like via the input / output I / F 4 May be acquired.
  • the specified identification accuracy information indicates a desired identification accuracy, for example, a desired detection failure rate, a desired excess detection rate, or a request for making the detection failure rate and the excess detection rate the same.
  • amendment part 21 is not restrict
  • an example in which the NNC that is the learning target of the NNC learning device 1 is used for pattern recognition for object detection is illustrated.
  • NNC learning for object detection a plurality of sample vectors belonging to either the object class or the non-object class are used.
  • Misdetection means an identification error in which a sample vector of an object class is identified as a non-object class. Therefore, when the nearest reference vector of the sample vector of the object class belongs to the non-object class, the sample vector corresponds to the detection omission.
  • over-detection means an identification error in which a sample vector of a non-object class is identified as an object class. Therefore, when the nearest reference vector of the sample vector of the non-object class belongs to the object class, the sample vector corresponds to the excessive detection.
  • the correction unit 21 determines the number of sample vectors corresponding to the detection omission with respect to the number of sample vectors held in the learning sample holding unit 12. obj is calculated. In addition, when the desired excess detection rate is specified as the identification accuracy information, the correction unit 21 overdetects the number of sample vectors corresponding to the excess detection with respect to the number of sample vectors held in the learning sample holding unit 12. Calculated as the rate E bg .
  • the correction unit 21 detects that the sample vector s j is not detected depending on whether the value of the margin m (s j ) is positive or negative. Alternatively, it can be determined whether it corresponds to over-detection or identification success.
  • the correction unit 21 is a correction value corresponding to the identification accuracy calculated as described above and the specified identification accuracy information.
  • the final evaluation value J is corrected.
  • This correction can be expressed by the following equation corresponding to the specified identification accuracy information.
  • the following (Equation 7) is used when the specified identification accuracy information indicates a desired detection omission rate e
  • the following (Equation 8) is used when the specified identification accuracy information indicates a desired excess detection rate e.
  • the following (Equation 9) is used when the specified identification accuracy information indicates a request for making the detection omission rate and the excess detection rate the same.
  • ⁇ in the following equations is a negative value, and its absolute value is set in advance to a value sufficiently larger than the value of J.
  • J ′ J + ⁇ (E obj ⁇ e) 2 (Expression 7)
  • J ′ J + ⁇ (E bg ⁇ e) 2 (Formula 8)
  • J ′ J + ⁇ (E obj ⁇ E bg ) 2 (Formula 9)
  • FIG. 8 is a flowchart showing an operation example of the NNC learning device 1 in the third embodiment.
  • steps similar to those in FIG. 6 are denoted by the same reference numerals as in FIG.
  • the NNC learning device 1 detects an identification error by the processing in (S63), (S64), and (S65).
  • an identification error at least one of detection omission and overdetection may be detected as described above, or it may be detected that the nearest neighbor reference vector of the sample vector s j is an EX-NN reference vector.
  • the NNC learning device 1 When the sum of the evaluation values g (m (s j )) for all the sample vectors s j is calculated as the final evaluation value J (S67; NO), the NNC learning device 1 is based on the specified identification accuracy information. Then, the identification accuracy of the processing target for the sample vector s j is calculated (S81). For example, the NNC learning device 1 calculates the ratio of the number of sample vectors s j whose nearest neighbor reference vectors are EX-NN reference vectors to the number of all sample vectors s j as the identification accuracy. Further, as described above, the NNC learning device 1 may calculate the detection omission rate and the excess detection rate.
  • the NNC learning device 1 corrects the final evaluation value J with a correction value corresponding to the identification accuracy calculated in (S81) and the specified identification accuracy information (S82). Then, the NNC learning device 1 determines whether or not the final evaluation value J ′ is improved based on the corrected final evaluation value J ′ (S69).
  • the identification accuracy of the processing target with respect to the sample vector for learning is calculated, and the final evaluation value of the processing target is a correction value corresponding to the identification accuracy and the specified identification accuracy information. It is corrected. That is, in the third embodiment, the reference vector set and the category information thereof are updated so that the NNC identification accuracy approaches the specified value. Therefore, according to the third embodiment, identification accuracy such as a detection error rate and an excessive detection rate can be controlled to a desired value.
  • the identification boundary is a superquadratic surface, and the distance between the sample vector s j and the superquadratic surface can be calculated by the method described in the following reference.
  • Reference 4 David Eberly, "Distance from point to a general quadratic curve or a general quadric surface", http://www.geometrictools.com/Documentation/DistancePointToQuadratic.pdf (1999)
  • the NNC learning device 1 has the parameter setting unit 11, the learning sample holding unit 12, and the optimum parameter holding unit 16, but the other devices include the parameter setting unit 11, the learning sample, The holding unit 12 and the optimum parameter holding unit 16 may be provided. In this case, the NNC learning device 1 may access the learning sample holding unit 12 and the optimum parameter holding unit 16 via the other device and acquire a processing target from the other device.
  • a target acquisition unit that acquires the reference vector set and affiliation category information of each reference vector as a processing target;
  • the internal nearest neighbor reference vector closest to the sample vector is identified from the reference vectors to be processed belonging to the same category as the sample vector, and the reference vector of the processing target belonging to a category different from the sample vector
  • a specifying unit for specifying an external nearest neighbor reference vector closest to the sample vector
  • a calculation unit that calculates an evaluation value of the processing target using a distance between an identification boundary formed by the inner nearest neighbor reference vector and the outer nearest neighbor reference vector and the sample vector; Based on the evaluation value of the processing target calculated by the calculation unit, an updating unit that updates the original reference vector set and the original affiliation category information with the processing target;
  • a classifier learning device comprising:
  • the calculation unit calculates the distance as a negative value when the sample vector is closer to the external nearest neighbor reference vector than the inner nearest neighbor reference vector, and the sample vector is greater than the inner nearest neighbor reference vector to the inner nearest reference vector.
  • the distance is calculated as a positive value, and the evaluation value of the processing target is calculated based on the output value of the sigmoid function with the calculated distance as an input.
  • the discriminator learning device according to appendix 2.
  • the specifying unit specifies the inner nearest neighbor reference vector and the outer nearest neighbor reference vector for each of a plurality of sample vectors,
  • the calculation unit calculates a total value of evaluation values calculated for each of the plurality of sample vectors,
  • the update unit includes a total value of evaluation values calculated by the calculation unit with respect to the original reference vector set and the original belonging category information, and a total value of evaluation values calculated by the calculation unit with respect to the processing target. And, based on the comparison result, determines the update of the processing target.
  • the discriminator learning device according to any one of appendices 1 to 3.
  • the calculation unit includes: Based on the belonging category information of the nearest reference vector for each of the plurality of sample vectors and the belonging category information of each sample vector, the identification accuracy of the processing target for the plurality of sample vectors is calculated and calculated.
  • a correction unit that corrects a total value of the evaluation values of the processing target corresponding to the plurality of sample vectors with a correction value corresponding to the identification accuracy and the specified identification accuracy information;
  • the discriminator learning device including:
  • the specifying unit uses any one of (Equation 1), (Equation 5), (Equation 6), and (Equation 10) to calculate the distance between the sample vector and the reference vector. calculate, The classifier learning device according to any one of supplementary notes 1 to 5.
  • the target acquisition unit further acquires the weighting factor as the processing target
  • the specifying unit calculates the distance between the sample vector and the reference vector using the (Formula 5) or the (Formula 6) including the weighting coefficient acquired by the target acquisition unit,
  • the updating unit further updates the original weighting factor with the weighting factor acquired as the processing target;
  • the discriminator learning device according to appendix 6.
  • (Appendix 8) In a classifier learning method performed by at least one computer, Obtain the reference vector set and the category information of each reference vector as the processing target, From the reference vectors to be processed belonging to the same category as the sample vector, an internal nearest neighbor reference vector closest to the sample vector is identified, From the reference vectors to be processed belonging to a category different from the sample vector, an external nearest neighbor reference vector closest to the sample vector is identified, Using the distance between the identification boundary formed by the inner nearest neighbor reference vector and the outer nearest neighbor reference vector and the sample vector, the evaluation value of the processing target is calculated, Based on the calculated evaluation value of the processing target, the original reference vector set and the original affiliation category information are updated with the processing target.
  • a classifier learning method including:
  • the evaluation value is calculated when the sample vector is closer to the external nearest neighbor reference vector than the inner nearest neighbor reference vector, and the longer the distance, the lower the evaluation, and the sample vector is the outer nearest neighbor reference vector. When closer to the internal nearest neighbor reference vector, the evaluation value of the processing target is calculated so as to indicate higher evaluation as the distance is longer.
  • the evaluation value is calculated as follows: When the sample vector is closer to the external nearest neighbor reference vector than the inner nearest neighbor reference vector, the distance is calculated as a negative value, and the sample vector is changed from the outer nearest neighbor reference vector to the inner nearest neighbor reference vector. When near, calculate the distance as a positive value, Calculating an evaluation value of the processing target based on an output value of a sigmoid function having the calculated distance as an input; The classifier learning method according to appendix 9.
  • the specification of the internal nearest neighbor reference vector specifies the internal nearest neighbor reference vector for each of a plurality of sample vectors, The external nearest neighbor reference vector is specified with respect to each of a plurality of sample vectors, and the external nearest neighbor reference vector is specified respectively.
  • the evaluation value is calculated by calculating a total value of evaluation values calculated for each of the plurality of sample vectors,
  • the update includes a total value of evaluation values calculated by the calculation unit with respect to the original reference vector set and the original belonging category information, and a total value of evaluation values calculated by the calculation unit with respect to the processing target. Comparing, and determining the update of the processing target based on the comparison result;
  • the classifier learning method according to any one of appendices 8 to 10.
  • a distance between the sample vector and the reference vector is calculated using any one of (Equation 1), (Equation 5), (Equation 6), and (Equation 10).
  • the discriminator learning method according to any one of appendices 8 to 12, further including: In each of the above equations, the vector s j indicates the sample vector, the vector r i indicates the reference vector, ⁇ i and ⁇ i indicate weighting factors corresponding to the reference vector r i , and ⁇ is the variance covariance Indicates a matrix.
  • Appendix 15 A program that causes at least one computer to execute the classifier learning method according to any one of appendices 8 to 14.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

　識別器学習装置（１００）は、参照ベクトルセット及び各参照ベクトルの所属カテゴリ情報を処理対象として取得する対象取得部（１０１）と、サンプルベクトルと同じカテゴリに属する当該処理対象の参照ベクトルの中から、サンプルベクトルに最も近い内部最近傍参照ベクトルを特定し、かつ、サンプルベクトルとは異なるカテゴリに属する当該処理対象の参照ベクトルの中から、サンプルベクトルに最も近い外部最近傍参照ベクトルを特定する特定部（１０２）と、内部最近傍参照ベクトルと外部最近傍参照ベクトルとにより形成される識別境界とサンプルベクトルとの間の距離を用いて、当該処理対象の評価値を算出する算出部（１０３）と、当該処理対象の評価値に基づいて、元の参照ベクトルセットを当該処理対象で更新する更新部（１０４）と、を有する。

Description

識別器学習装置及び識別器学習方法
　本発明は、最近傍識別器の学習技術に関する。
　代表的なパターン識別器の一つとして最近傍識別器（以降、ＮＮＣ（Nearest Neighbor Classifier）とも表記する）が知られている。ＮＮＣは、カテゴリに分類された参照ベクトル（テンプレート又はプロトタイプとも呼ばれる）を持ち、入力ベクトルとの距離が最も小さい参照ベクトルが属するカテゴリ（クラス）をその入力ベクトルの認識（識別）結果として出力する。ＮＮＣでは、参照ベクトル及び参照ベクトルが属するカテゴリを変更することで、２クラスの識別器や多クラスの識別器が構成され得る。
　ＮＮＣの識別境界面は、参照ベクトルによってボロノイ分割される特徴空間の境界面となる。この識別境界面を決める参照ベクトルを予め用意した学習サンプルを用いて学習することで、ＮＮＣの認識精度を向上させることができる。ＮＮＣの参照ベクトルの学習方法としては、学習ベクトル量子化（ＬＶＱ（Learning Vector Quantization））と呼ばれる方法（下記非特許文献１参照）やこの改良方法であるＧＬＶＱ（Generalized Learning Vector Quantization）と呼ばれる方法（下記非特許文献２参照）が知られている。これらの学習方法では、参照ベクトルがそれぞれ独自の基準に従って更新される。
　また、他のパターン識別器として、サポートベクトルマシン（ＳＶＭ（Support Vector Machine））が知られている（下記非特許文献３参照）。ＳＶＭは、識別境界面と学習サンプルとの間の距離（マージン）を最大化するように学習することで、過学習を抑制する。例えば、線形ＳＶＭは、識別境界が平面となるような２クラスの識別問題に対して適用され得る（下記非特許文献４参照）。この適用により、識別境界面と学習サンプルとの間のマージンを最大化するように学習が行われるため、高い識別性能を持つ識別器を得ることができる。下記特許文献１では、ＳＶＭの学習機能を利用した判別関数を学習用特徴情報と学習用判別結果情報とに用いて導出し、判別結果が誤っている誤判別特徴情報が当該判別関数に対して与える影響度合を示す影響係数を調整することで、当該判別関数を修正する手法が提案されている。
　また、マージン最大化を基準とするパターン識別器の学習方法として、カーネル技法を用いたＳＶＭもよく知られている（下記非特許文献５参照）。また、下記特許文献２では、学習時には連続ＨＭＭ（Hidden Markov Model）を用い、認識時には離散型ＨＭＭを用いる音声認識手法が提案されている。
特開２００９－１８６２４３号公報 特開平８－１１５０９９号公報
T. Kohonen、"The Neural Phonetic Typewriter"、IEEE Computer、Vol. 21、No.3、pp.11-22、1988 A. Sato and K. Yamada、"Generalized Learning Vector Quantization"、Advances in Neural Information Processing Systems 8、423-429、1996 R. O. Duda and P. E. Hart and D. G. Stork、"パターン識別"、 新技術コミュニケーションズ、pp.256-257、2001 R.-E. Fan, K.-W. Chang, X.-R. Wang, C.-J. Hsieh and C.-J. Lin、"LIBLINEAR: a library for linear classification"、Journal of Machine Learning Research、Vol.9、pp.1871-1874、2008 Chi-Chung Chang and Chih-Jen Lin、"LIBSVM: a library for support vector machines"、ACM Transactions on Intelligent Systems and Technology、Vol. 2, No. 3, Article 27、2011
　しかしながら、上述のＬＶＱやＧＬＶＱのような学習方法では、過学習と呼ばれる現象が発生し、ＮＮＣの識別精度が劣化する可能性がある。これは、ＮＮＣの識別境界面と学習サンプルとの間のマージンを最大化することが保証されないからである。また、上述のＳＶＭは、識別境界となる平面を学習する方法であるため、ＮＮＣの参照ベクトルの学習に適用することはできない。同様に、上述のカーネル技法を用いたＳＶＭもＮＮＣの参照ベクトルの学習に適用することはできない。
　このように、上述のような方法では、ＮＮＣに対してマージンを最大化することを基準とする学習を行うことができないため、過学習を抑制することが難しく、結果、ＮＮＣの識別精度を向上させることが困難である。
　本発明は、このような事情に鑑みてなされたものであり、識別精度を向上させ得るＮＮＣの参照ベクトルの学習技術を提供することにある。
　本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。
　第１の側面は、識別器学習装置に関する。第１の側面に係る識別器学習装置は、参照ベクトルセット及び各参照ベクトルの所属カテゴリ情報を処理対象として取得する対象取得部と、サンプルベクトルと同じカテゴリに属する当該処理対象の参照ベクトルの中から、サンプルベクトルに最も近い内部最近傍参照ベクトルを特定し、かつ、サンプルベクトルとは異なるカテゴリに属する当該処理対象の参照ベクトルの中から、サンプルベクトルに最も近い外部最近傍参照ベクトルを特定する特定部と、内部最近傍参照ベクトルと外部最近傍参照ベクトルとにより形成される識別境界とサンプルベクトルとの間の距離を用いて、当該処理対象の評価値を算出する算出部と、算出部により算出される当該処理対象の評価値に基づいて、元の参照ベクトルセット及び元の所属カテゴリ情報を当該処理対象で更新する更新部と、を有する。
　第２の側面は、識別器学習方法に関する。第２の側面に係る識別器学習方法は、少なくとも１つのコンピュータにより実行され、参照ベクトルセット及び各参照ベクトルの所属カテゴリ情報を処理対象として取得し、サンプルベクトルと同じカテゴリに属する当該処理対象の参照ベクトルの中から、サンプルベクトルに最も近い内部最近傍参照ベクトルを特定し、サンプルベクトルとは異なるカテゴリに属する当該処理対象の参照ベクトルの中から、サンプルベクトルに最も近い外部最近傍参照ベクトルを特定し、内部最近傍参照ベクトルと外部最近傍参照ベクトルとにより形成される識別境界とサンプルベクトルとの間の距離を用いて、当該処理対象の評価値を算出し、算出された当該処理対象の評価値に基づいて、元の参照ベクトルセット及び元の所属カテゴリ情報を当該処理対象で更新する、ことを含む。
　なお、本発明の他の側面としては、上記第２の側面の方法を少なくとも１つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。
　上記各側面によれば、識別精度を向上させ得るＮＮＣの参照ベクトルの学習技術を提供することができる。
　上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
本発明の実施の形態に係る識別器学習装置の構成例を概念的に示す図である。 第１実施形態における最近傍識別器学習装置（ＮＮＣ学習装置）のハードウェア構成例を概念的に示す図である。 第１実施形態における最近傍識別器学習装置（ＮＮＣ学習装置）の処理構成例を概念的に示す図である。 ＮＮＣの識別境界を概念的に示す図である。 ＮＮＣのマージンを概念的に示す図である。 第１実施形態における最近傍識別器学習装置（ＮＮＣ学習装置）の動作例を示すフローチャートである。 第３実施形態における最近傍識別器学習装置（ＮＮＣ学習装置）の処理構成例を概念的に示す図である。 第３実施形態における最近傍識別器学習装置（ＮＮＣ学習装置）の動作例を示すフローチャートである。
　以下、本発明の実施の形態について説明する。なお、以下に挙げる実施形態は例示であり、本発明は以下の実施形態の構成に限定されない。
　図１は、本発明の実施の形態に係る識別器学習装置１００の構成例を概念的に示す図である。図１に示されるように、識別器学習装置１００は、参照ベクトルセット及び各参照ベクトルの所属カテゴリ情報を処理対象として取得する対象取得部１０１と、サンプルベクトルと同じカテゴリに属する当該処理対象の参照ベクトルの中から、サンプルベクトルに最も近い内部最近傍参照ベクトルを特定し、かつ、サンプルベクトルとは異なるカテゴリに属する当該処理対象の参照ベクトルの中から、サンプルベクトルに最も近い外部最近傍参照ベクトルを特定する特定部１０２と、内部最近傍参照ベクトルと外部最近傍参照ベクトルとにより形成される識別境界とサンプルベクトルとの間の距離を用いて、当該処理対象の評価値を算出する算出部１０３と、算出部１０３により算出される当該処理対象の評価値に基づいて、元の参照ベクトルセット及び元の所属カテゴリ情報を当該処理対象で更新する更新部１０４と、を有する。
　識別器学習装置１００は、例えば、後述する詳細実施形態における最近傍識別器学習装置１と同様のハードウェア構成を有し、その最近傍識別器学習装置１と同様にプログラムが処理されることで、上述の各処理部が実現される。
　また、本発明の実施の形態に係る識別器学習方法は、上述の識別器学習装置１００のような少なくとも１つのコンピュータにより実行され、参照ベクトルセット及び各参照ベクトルの所属カテゴリ情報を処理対象として取得し、サンプルベクトルと同じカテゴリに属する当該処理対象の参照ベクトルの中から、サンプルベクトルに最も近い内部最近傍参照ベクトルを特定し、サンプルベクトルとは異なるカテゴリに属する当該処理対象の参照ベクトルの中から、サンプルベクトルに最も近い外部最近傍参照ベクトルを特定し、内部最近傍参照ベクトルと外部最近傍参照ベクトルとにより形成される識別境界とサンプルベクトルとの間の距離を用いて、当該処理対象の評価値を算出し、算出された当該処理対象の評価値に基づいて、元の参照ベクトルセット及び元の所属カテゴリ情報を当該処理対象で更新する、ことを含む。但し、本識別器学習方法に含まれる各工程は、順不同に逐次的に実行されてもよいし、同時に実行されてもよい。
　このように、本実施形態では、サンプルベクトルと、処理対象として取得される参照ベクトルセットとの関係から、その処理対象の評価値が算出され、この評価値に基づいて、ＮＮＣの参照ベクトルセット及びそれらの所属カテゴリ情報が学習される。ここで、「ベクトル」という用語は、大きさ及び向きを持つデータのみではなく、複数の要素から構成されるあらゆるデータを意味する。参照ベクトルセットの各参照ベクトルは、カテゴリにそれぞれ属しており、所属カテゴリ情報は、各参照ベクトルが属するカテゴリを示す。「サンプルベクトル」とは、処理対象の各参照ベクトルと同じ要素数を持つ学習用のデータであり、或るカテゴリに属する。処理対象及びサンプルベクトルは、識別器学習装置１００で生成されてもよいし、他の装置や可搬型記録媒体から取得されてもよい。
　具体的には、処理対象の参照ベクトルの中から、サンプルベクトルと同じカテゴリに属し、かつ、サンプルベクトルに最も近い内部最近傍参照ベクトル（以降、ＩＮ－ＮＮ参照ベクトルと表記する）と、サンプルベクトルと異なるカテゴリに属し、かつ、サンプルベクトルに最も近い外部最近傍参照ベクトル（以降、ＥＸ－ＮＮ参照ベクトルと表記する）とが特定される。そして、ＩＮ－ＮＮ参照ベクトルとＥＸ－ＮＮ参照ベクトルとにより形成される識別境界とサンプルベクトルとの間の距離を用いて、当該処理対象の評価値が算出される。
　従って、本実施形態によれば、学習用のサンプルベクトルと、参照ベクトルセットにおける識別境界との間の距離、即ち、マージンを最大化するように、ＮＮＣの参照ベクトルを学習することができる。結果、本実施形態によれば、ＮＮＣの識別精度を向上させることができる。
　以下、上述の実施形態について更に詳細を説明する。以下には、詳細実施形態として第１実施形態から第３実施形態を例示する。以下の各実施形態は、上述の識別器学習装置１００及び識別器学習方法を最近傍識別器（ＮＮＣ）学習装置に適用した場合の例である。なお、上述の識別器学習装置１００及び識別器学習方法並びに下記の詳細実施形態で学習される識別器の用途は制限されない。当該識別器は、文字認識、顔認識、車両検出、音声識別など様々なパターン認識で用いられることができる。
　［第１実施形態］
　〔装置構成〕
　図２は、第１実施形態における最近傍識別器学習装置（以降、ＮＮＣ学習装置と表記する）１のハードウェア構成例を概念的に示す図である。第１実施形態におけるＮＮＣ学習装置１は、いわゆるコンピュータであり、例えば、バス６で相互に接続される、ＣＰＵ（Central Processing Unit）２、メモリ３、入出力インタフェース（Ｉ／Ｆ）４、通信装置５等を有する。メモリ３は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ハードディスク、可搬型記憶媒体等である。入出力Ｉ／Ｆ４は、表示装置（図示せず）や入力装置（図示せず）等のようなユーザインタフェース装置と接続され得る。通信装置５は、ネットワーク（図示せず）を介して他の装置と通信を行う。本実施形態は、ＮＮＣ学習装置１のハードウェア構成を制限しない。
　図３は、第１実施形態におけるＮＮＣ学習装置１の処理構成例を概念的に示す図である。第１実施形態におけるＮＮＣ学習装置１は、パラメータ設定部１１、学習サンプル保持部１２、特定部１３、算出部１４、更新部１５、最適パラメータ保持部１６等を有する。これら各処理部は、例えば、ＣＰＵ２によりメモリ３に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、ＣＤ（Compact Disc）、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力Ｉ／Ｆ４を介してインストールされ、メモリ３に格納されてもよい。
　パラメータ設定部１１は、処理対象のＮＮＣにおける参照ベクトルセット及びそれらの所属カテゴリ情報を設定する。パラメータ設定部１１により設定される処理対象は、Ｎ個（Ｎは２以上の整数）の参照ベクトルｒｉ（ｉは１以上Ｎ以下の整数）と、各参照ベクトルに対応するカテゴリｃｉとにより表わすことができる。上述の対象取得部１０１は、例えば、このようなパラメータ設定部１１により設定された処理対象を取得する。
　例えば、パラメータ設定部１１は、下記参考文献に記載される、ＭＤＳ（Multi-Directional Search）、シンプレックス法、Alternating Directions Search等の方法に用いる手法で、ＮＮＣのパラメータである参照ベクトルを設定する。
　参考文献１：V.J. Torczon, "On the convergence of the multidirectional search algorithm", SIAM Journal on Optimization, Vol. 1, pp.123-145 (1991).
　参考文献２：N.J. Higham, "Optimization by direct search in matrix computations", SIAM Journal on Matrix Analysis and Applications, Vol. 14, No. 2, pp. 317-333 (1993).
　パラメータ設定部１１は、学習用のサンプルベクトルをＫ平均（K-means）法によりクラスタリングすることで得られるクラスタの平均ベクトルを当該参照ベクトルに用いるようにしてもよい（下記参考文献３参照）。
　参考文献３：R. O. Duda and P. E. Hart and D. G. Stork, "パターン識別", 新技術コミュニケーションズ, pp.528-529 (2001).
　学習サンプル保持部１２は、学習用の複数のサンプルベクトルと、各サンプルベクトルの所属カテゴリ情報とを保持する。学習サンプル保持部１２により保持される情報は、Ｍ個（Ｍは２以上の整数）のサンプルベクトルｓｊ（ｊは１以上Ｍ以下の整数）と、各サンプルベクトルに対応するカテゴリｃｊとにより表わすことができる。ここで、サンプルベクトルｓｊと参照ベクトルｒｉとは同じ要素数を持つ。
　最適パラメータ保持部１６は、ＮＮＣ学習装置１による学習の結果得られる、ＮＮＣの最適なパラメータとなる、参照ベクトルセットとそれらの所属カテゴリ情報とを保持する。
　特定部１３は、学習サンプル保持部１２に保持される複数のサンプルベクトルの各々に関し、上述の特定部１０２と同様に、ＩＮ－ＮＮ参照ベクトル及びＥＸ－ＮＮ参照ベクトルをそれぞれ特定する。例えば、特定部１３は、参照ベクトルｒｉとサンプルベクトルｓｊとの間の各距離をそれぞれ算出し、算出された各距離に基づいて、ＩＮ－ＮＮ参照ベクトル及びＥＸ－ＮＮ参照ベクトルを特定する。本実施形態では、同じ要素数を持つサンプルベクトルｓｊと参照ベクトルｒｉとの間の距離は、以下の（式１）に示されるように二乗距離を用いて算出される。
Figure JPOXMLDOC01-appb-M000002
　算出部１４は、サンプルベクトルがＩＮ－ＮＮ参照ベクトルよりＥＸ－ＮＮ参照ベクトルに近い場合に、当該識別境界とサンプルベクトルとの間の距離が長い程、低い評価を示し、サンプルベクトルがＥＸ－ＮＮ参照ベクトルよりＩＮ－ＮＮ参照ベクトルに近い場合に、当該距離が長い程、高い評価を示すように、処理対象の評価値を算出する。全ての参照ベクトルの中でサンプルベクトルに対して最近傍となる参照ベクトルのカテゴリが、サンプルベクトルのカテゴリと同じであれば、そのサンプルベクトルは正しく識別されるため、このときの距離（マージン）は最大化されることが望ましい。よって、この場合、上述のように、算出部１４は、当該距離が長い程、高い評価を示すように、処理対象の評価値を算出する。一方、全ての参照ベクトルの中でサンプルベクトルに対して最近傍となる参照ベクトルのカテゴリが、サンプルベクトルのカテゴリと異なれば、そのサンプルベクトルは誤って識別されるため、このときの距離（マージン）は最小化されることが望ましい。よって、この場合、上述のように、算出部１４は、当該距離が長い程、低い評価を示すように、処理対象の評価値を算出する。本実施形態は、このような技術的思想を具現化する算出手法であれば、算出部１４による、当該識別境界とサンプルベクトルとの間の距離から処理対象の評価値を算出する算出手法を制限しない。
　例えば、算出部１４は、上述のような技術的思想を具現化する次のような算出手法を用いることができる。算出部１４は、サンプルベクトルがＩＮ－ＮＮ参照ベクトルよりＥＸ－ＮＮ参照ベクトルに近い場合に、当該距離を負の値として算出し、サンプルベクトルがＥＸ－ＮＮ参照ベクトルよりＩＮ－ＮＮ参照ベクトルに近い場合に、当該距離を正の値として算出し、算出された距離を入力とするシグモイド関数の出力値に基づいて処理対象の評価値を算出する。以下の（式２）は、当該距離の算出手法の一例を示し、以下の（式３）は、シグモイド関数を示す。以下の式において、ｒｗはＩＮ－ＮＮ参照ベクトルを示し、ｒｂはＥＸ－ＮＮ参照ベクトルを示す。（式３）における係数σは、予め実験的に設定される正の定数である。
Figure JPOXMLDOC01-appb-M000003
　算出部１４は、学習サンプル保持部１２に保持される複数のサンプルベクトルの各々に関しそれぞれ算出される評価値の合計値を算出し、この合計値を当該処理対象の最終評価値とする。上述の（式２）及び（式３）の例によれば、算出部１４は、次の（式４）を用いて最終評価値Ｊを算出する。
Figure JPOXMLDOC01-appb-M000004
　ここで、ＮＮＣの識別境界について図４を用いて説明する。図４は、ＮＮＣの識別境界を概念的に示す図である。図４の例では、参照ベクトルｒ１、ｒ２及びｒ３がカテゴリＣＡに属し、参照ベクトルｒ４及びｒ５がカテゴリＣＢに属する。ＮＮＣにおける特徴空間は、図４に示されるように、参照ベクトルによってボロノイ領域に分割される。図４では、参照ベクトルｒｉによって分割された領域の境界（ボロノイ境界）が、実線Ｂ１５、Ｂ１４、Ｂ２４及びＢ３４、並びに、破線Ｂ１２、Ｂ２３及びＢ４５で示されている。各境界は、各参照ベクトルが占める領域の境界であり、領域内に位置するベクトルは、その領域の参照ベクトルとの距離が最も小さい。即ち、領域内に位置するベクトルの最近傍参照ベクトルは、その領域の参照ベクトルとなる。例えば、破線Ｂ２３、実線Ｂ２４及び破線Ｂ１２で囲まれた領域内に位置する任意のベクトルの最近傍参照ベクトルは、参照ベクトルｒ２となる。
　ボロノイ境界は、ベクトル間距離に二乗距離が用いられる場合、隣接する参照ベクトル間の中点に垂直な平面によって構成される。例えば、破線Ｂ１２のボロノイ境界は、参照ベクトルｒ１と参照ベクトルｒ２との中点に垂直な平面となる。但し、図４は２次元で表わされているため、破線Ｂ１２のボロノイ境界は、参照ベクトルｒ１と参照ベクトルｒ２とを結ぶ線分の垂直二等分線となる。識別境界は、参照ベクトルが作るボロノイ境界の中の、所属カテゴリが異なる参照ベクトル間のボロノイ境界で形成される。図４の例では、識別境界は、実線Ｂ１５、Ｂ１４、Ｂ２４及びＢ３４で示される。
　次に、マージンについて図５を用いて説明する。図５は、ＮＮＣのマージンを概念的に示す図である。マージンは、サンプルベクトルｓｊに最も近い識別境界との距離である。サンプルベクトルｓｊに最も近い識別境界は、サンプルベクトルｓｊと同じカテゴリに属する参照ベクトルの中の、サンプルベクトルｓｊと最も近い参照ベクトル（ＩＮ－ＮＮ参照ベクトル）ｒｗと、サンプルベクトルｓｊと異なるカテゴリに属する参照ベクトルの中の、サンプルベクトルｓｊと最も近い参照ベクトル（ＥＸ－ＮＮ参照ベクトル）ｒｂとが構成するボロノイ境界Ｂｗｂである。マージンｍ（ｓｊ）は、このボロノイ境界Ｂｗｂからサンプルベクトルｓｊへの距離である。即ち、マージンｍ（ｓｊ）は、サンプルベクトルｓｊから、ＩＮ－ＮＮ参照ベクトルとＥＸ－ＮＮ参照ベクトルとの間の中点と垂直な平面（識別境界面Ｂｗｂ）への距離であり、上述の（式２）等により算出可能である。
　更新部１５は、最適パラメータ保持部１６に保持される参照ベクトルセット及びそれらの所属カテゴリ情報に関する最終評価値と、パラメータ設定部１１で設定された処理対象に関し算出部１４で算出された最終評価値とを比較し、高い評価値を持つ参照ベクトルセット及びそれらの所属カテゴリ情報で最適パラメータ保持部１６に保持されるものを更新する。これにより、処理対象の最終評価値が最適パラメータ保持部１６で保持されるものの最終評価値よりも小さい場合には、最適パラメータ保持部１６の更新は行われない。
　ＮＮＣ学習装置１は、パラメータ設定部１１に所定回数分新たな処理対象を設定させ、各処理対象に対して特定部１３、算出部１４及び更新部１５をそれぞれ動作させることで、最適パラメータ保持部１６に保持される参照ベクトルセット及びそれらの所属カテゴリ情報を逐次更新する。また、ＮＮＣ学習装置１は、更新部１５により所定回数以上最適パラメータ保持部１６の情報が更新されない場合に、学習処理を終了するようにしてもよい。
　〔動作例〕
　以下、第１実施形態における識別器学習方法について図６を用いて説明する。図６は、第１実施形態におけるＮＮＣ学習装置１の動作例を示すフローチャートである。以下の説明では、ＮＮＣ学習装置１が各工程の実行主体となるが、ＮＮＣ学習装置１に含まれる上述の各処理部が実行主体となってもよい。
　ＮＮＣ学習装置１は、処理対象を設定する（Ｓ６０）。処理対象は、ＮＮＣのパラメータである参照ベクトルセット及びそれらの所属カテゴリ情報である。ＮＮＣ学習装置１は、パラメータ設定部１１に関し説明された上述の方法により、当該処理対象を設定する。（Ｓ６０）で設定される処理対象は、Ｎ個（Ｎは２以上の整数）の参照ベクトルｒｉ（ｉは１以上Ｎ以下の整数）と、各参照ベクトルに対応するカテゴリｃｉとにより表わすことができる。
　更に、ＮＮＣ学習装置１は、サンプルベクトルｓ１を取得する（Ｓ６１）。全てのサンプルベクトルｓｊは、参照ベクトルｒｉと同じ数の要素をそれぞれ持つ、Ｍ個（Ｍは２以上の整数）のサンプルベクトルｓｊ（ｊは１以上Ｍ以下の整数）と表すことができる。（Ｓ６１）では全てのサンプルベクトルｓｊの中の１つが取得される。
　ＮＮＣ学習装置１は、サンプルベクトルｓ１と各参照ベクトルｒｉとの距離ｄ（ｓ１、ｒｉ）をそれぞれ算出する（Ｓ６２）。本実施形態では、上記（式１）で示される二乗距離を用いて距離ｄ（ｓ１、ｒｉ）が算出される。
　ＮＮＣ学習装置１は、（Ｓ６２）で算出された距離ｄ（ｓ１、ｒｉ）に基づいて、サンプルベクトルｓ１に対するＩＮ－ＮＮ参照ベクトルｒｗ及びＥＸ－ＮＮ参照ベクトルｒｂを特定する（Ｓ６３、Ｓ６４）。ＩＮ－ＮＮ参照ベクトルｒｗは、サンプルベクトルｓ１と同じカテゴリに属する参照ベクトルｒｉの中の１つであり、ＥＸ－ＮＮ参照ベクトルｒｂは、サンプルベクトルｓ１と異なるカテゴリに属する参照ベクトルｒｉの中の１つである。
　ＮＮＣ学習装置１は、ＩＮ－ＮＮ参照ベクトルｒｗとＥＸ－ＮＮ参照ベクトルｒｂとから形成される識別境界とサンプルベクトルｓ１との距離であるマージンｍ（ｓ１）を算出する（Ｓ６５）。
　ＮＮＣ学習装置１は、算出されたマージンｍ（ｓ１）をシグモイド関数のような利得関数ｇ（ｍ）に入力することにより、マージンｍ（ｓ１）の評価値ｇ（ｍ（ｓ１））を算出する（Ｓ６６）。
　（Ｓ６５）及び（Ｓ６６）により、ＮＮＣ学習装置１は、サンプルベクトルｓ１がＩＮ－ＮＮ参照ベクトルｒｗよりＥＸ－ＮＮ参照ベクトルｒｂに近い場合に、当該識別境界とサンプルベクトルｓ１との間の距離が長い程、低い評価を示し、サンプルベクトルｓ１がＥＸ－ＮＮ参照ベクトルｒｂよりＩＮ－ＮＮ参照ベクトルｒｗに近い場合に、当該距離が長い程、高い評価を示すように、マージンｍ（ｓ１）の評価値ｇ（ｍ（ｓ１））を算出する。例えば、ＮＮＣ学習装置１は、（Ｓ６５）において、サンプルベクトルｓ１がＩＮ－ＮＮ参照ベクトルｒｗよりＥＸ－ＮＮ参照ベクトルｒｂに近い場合に、当該マージンｍ（ｓ１）を負の値として算出し、サンプルベクトルｓ１がＥＸ－ＮＮ参照ベクトルｒｂよりＩＮ－ＮＮ参照ベクトルｒｗに近い場合に、当該マージンｍ（ｓ１）を正の値として算出し、（Ｓ６６）において、算出されたマージンｍ（ｓ１）をシグモイド関数ｇ（ｍ）に入力することにより、マージンｍ（ｓ１）の評価値ｇ（ｍ（ｓ１））を算出するようにしてもよい。
　ＮＮＣ学習装置１は、算出された評価値ｇ（ｍ（ｓ１））を最終評価値Ｊに加算する（Ｓ６６）。
　ＮＮＣ学習装置１は、未処理のサンプルベクトルｓｊが未だ存在するか否かを判定する（Ｓ６７）。ＮＮＣ学習装置１は、ｊがＭ以下の場合、即ち、未処理のサンプルベクトルｓｊが未だ存在する場合には（Ｓ６７；ＹＥＳ）、未処理のサンプルベクトルｓｊ（ｊ＝ｊ＋１）を取得する（Ｓ６８）。ここでは、未処理のサンプルベクトルｓ２が取得される。以降、サンプルベクトルｓ２に関し、サンプルベクトルｓ１のときと同様に、（Ｓ６２）から（Ｓ６６）が実行される。これにより、（Ｓ６６）において、サンプルベクトルｓ２に関する評価値ｇ（ｍ（ｓ２））が最終評価値Ｊに更に加算される。このような処理が全てのサンプルベクトルｓｊに対してそれぞれ実行される。
　ＮＮＣ学習装置１は、全てのサンプルベクトルｓｊに関する評価値ｇ（ｍ（ｓｊ））の合計が最終評価値Ｊとして算出されると（Ｓ６７；ＮＯ）、その最終評価値Ｊが、元の参照ベクトルセット及びそれらの所属カテゴリ情報に関し算出された最終評価値よりも高いか否かを判断する（Ｓ６９）。ＮＮＣ学習装置１は、最終評価値Ｊが向上している場合（Ｓ６９；ＹＥＳ）、（Ｓ６０）で設定された処理対象で最適パラメータを更新する（Ｓ７０）。即ち、最終評価値Ｊが向上している場合（Ｓ６９；ＹＥＳ）、（Ｓ６０）で設定された参照ベクトルセット及びそれらの所属カテゴリ情報が最適パラメータとされる。一方、ＮＮＣ学習装置１は、最終評価値Ｊが向上していない場合（Ｓ６９；ＮＯ）、（Ｓ６０）で設定された処理対象が現状の最適パラメータよりも劣っているため、最適パラメータを更新しない。
　ＮＮＣ学習装置１は、学習終了か否かを判断する（Ｓ７１）。学習終了は、例えば、上述のような処理の反復回数が所定回数に達したこと、上述のような処理が所定回数以上繰り返されても最終評価値Ｊが向上しないこと（Ｓ６９；ＮＯ）などを基準に判断される。ＮＮＣ学習装置１は、学習終了でない場合（Ｓ７１；ＮＯ）、（Ｓ６０）で新たな処理対象を設定し、この新たな処理対象に対して（Ｓ６０）以降を実行する。
　〔第１実施形態の作用及び効果〕
　上述したように第１実施形態では、処理対象に対して、複数のサンプルベクトルの各々のマージンの評価値の合計が最終評価値として算出され、最終評価値が向上する場合に、その処理対象でＮＮＣの最適パラメータが更新される。また、各マージンの評価値は、サンプルベクトルの最近傍参照ベクトルがサンプルベクトルと同じカテゴリに属する場合に、識別境界とサンプルベクトルとの間の距離が長い程、高い値に設定され、サンプルベクトルの最近傍参照ベクトルがサンプルベクトルと異なるカテゴリに属する場合に、当該距離が長い程、低い値に設定される。
　従って、第１実施形態によれば、ＮＮＣの参照ベクトルをマージンを最大化するという基準で学習することができ、ひいては、ＮＮＣの識別精度を向上させることができる。
　［第２実施形態］
　上述の第１実施形態では、同じ要素数を持つサンプルベクトルｓｊと参照ベクトルｒｉとの間の距離が二乗距離を用いて算出された。第２実施形態では、二乗距離に対し重み付けすることで、当該距離を算出する。以下、第２実施形態におけるＮＮＣ学習装置１について、第１実施形態と異なる内容を中心に説明する。以下の説明では、第１実施形態と同様の内容については適宜省略する。
　まず、ＮＮＣにおけるパターンの分布と識別境界との関係について説明する。中心位置のみが異なりそれ以外が等しい分布関数で等方的に分布するパターンの場合、その識別境界は平面となる。例えば、カテゴリＣＡとカテゴリＣＢとのｍ次元のベクトルｘがそれぞれ、次の２つの正規分布ｐＡ及びｐＢに基づいて、分布する場合を考える。以下の式において、Σは分散共分散行列を示し、μは平均ベクトルを示す。
Figure JPOXMLDOC01-appb-M000005
　ここで、ΣＡがΣＢと同一であり、ΣＡ及びΣＢが単位行列Ｉであれば、カテゴリＣＡとカテゴリＣＢとは、等方的な正規分布となる。この分布に対する識別を行うとき、最も識別誤りが少なくなる識別境界は、ｐＡとｐＢとが等しくなる境界であり、平均ベクトルμＡと平均ベクトルμＢとの中心点を通り、平均ベクトルμＡと平均ベクトルμＢとを結ぶ直線と直交する平面である。つまり、当該分布ｐＡとｐＢとからなるパターンを識別する理想的なＮＮＣは、カテゴリＣＡの参照ベクトルがμＡであり、カテゴリＣＢの参照ベクトルがμＢのときである。
　しかしながら、ΣＡがΣＢと異なる場合、最も識別誤りが小さくなる識別境界は、必ずしも、上記のような平均ベクトル間の中点を通り、平均ベクトル間を結ぶ線分と直交する平面とはならない。これは、例えば、カテゴリＣＡ及びカテゴリＣＢの各分散がΣＡ＝ｓＡＩとなり、かつ、ΣＢ＝ｓＢＩとなる分布の場合である。
Figure JPOXMLDOC01-appb-M000006
　このときの最も誤りが小さくなる識別境界面は、当該分布ｐＡとｐＢとが等しくなる面である。当該分布ｐＡとｐＢの対数尤度は以下の式で示される。
Figure JPOXMLDOC01-appb-M000007
　ｐＡとｐＢとが等しくなる識別面は、ｄＡとｄＢとが等しくなる識別面であるので、この識別面は、超二次曲面であることがわかる。上述の第１実施形態は、二乗距離を用いており、識別面は平面（参照ベクトルと参照ベクトルとの中点を通り、参照ベクトル間を結ぶ直線と直交する平面）となるため、超二次曲面を直接表現できない。このため、二乗距離を用いる場合、より多くの参照ベクトルを用いて、複数の識別面を設定し、超二次曲面を近似表現することが望まれる。しかしながら、これでは、ＮＮＣの識別精度の劣化や、ＮＮＣに必要な参照ベクトル数の増大や、処理速度の低下をもたらすこととなる。
　このような問題に対しては、距離関数を変更することで、より少ない参照ベクトルでＮＮＣを構成することが可能となる。このような問題は、例えば、距離関数として以下の（式５）を用いることで、解決可能である。以降、下記（式５）は、複合的重み付け二乗距離（ＣＷＰ（Compoundly Weighted Power）距離）と表記される。このＣＷＰ距離では、重み係数αｉ及びβｉにより二乗距離が重み付けされる。
Figure JPOXMLDOC01-appb-M000008
　ＣＷＰ距離を用いた場合の理想的なＮＮＣは、カテゴリＣＡ及びＣＢに対する参照ベクトルはそれぞれ１つであり、カテゴリＣＡの参照ベクトルがｒＡ＝μＡであり、参照ベクトルｒＡとの距離を、αＡ＝ｓＡ、βＡ＝－２ｌｏｇｋＡを用いて計算し、カテゴリＣＢの参照ベクトルがｒＢ＝μＢであり、参照ベクトルｒＢとの距離をαＢ＝ｓＢ、βＢ＝－２ｌｏｇｋＢを用いて計算する場合である。つまり、距離関数として二乗距離ではなく、ＣＷＰ距離を用いることで、２つの参照ベクトルで理想的なＮＮＣを構成することができる。
　また、距離関数として下記（式６）を用いることで、分散が等しく、事前確率が異なる分布をするパターンの識別に適したＮＮＣを構成することもできる。以降、下記（式６）は、加算的重み付け二乗距離（ＡＷＰ（Additively Weighted Power）距離）と表記される。このＡＷＰ距離では、重み係数βｉにより二乗距離が重み付けされる。
Figure JPOXMLDOC01-appb-M000009
　第２実施形態におけるＮＮＣ学習装置１は、同じ要素数を持つサンプルベクトルｓｊと参照ベクトルｒｉとの間の距離をＣＷＰ距離又はＡＷＰ距離を用いて算出する。
　〔装置構成〕
　第２実施形態におけるＮＮＣ学習装置１の装置構成は、図２及び図３に示される第１実施形態と同様である。第２実施形態では、以下に示す処理部の処理内容が第１実施形態と異なる。
　パラメータ設定部１１は、参照ベクトルセット及びそれらの所属カテゴリ情報に加えて、ベクトル間距離の算出に用いられる重み係数を当該処理対象として更に設定する。距離関数としてＣＷＰ距離（上記（式５））が用いられる場合、パラメータ設定部１１は、重み係数αｉ及びβｉを処理対象として更に設定し、距離関数としてＡＷＰ距離（上記（式６））が用いられる場合、重み係数βｉを処理対象として更に設定する。パラメータ設定部１１は、重み係数αｉ及びβｉを参照ベクトル毎にそれぞれ設定する。
　特定部１３は、パラメータ設定部１１で設定された重み係数を含むＣＷＰ距離又はＡＷＰ距離を用いて、サンプルベクトルｓｊと参照ベクトルｒｉとの間の距離を算出する。また、ＣＷＰ距離では識別境界が超二次曲面となるため、例えば、特定部１３は、サンプルベクトルｓｊと識別境界との距離ｍ（ｓｊ）を次の式により算出する。以下の式において、ｄ（ｓｊ、ｒｗ）＜ｄ（ｓｊ、ｒｂ）の場合とは、サンプルベクトルがＥＸ－ＮＮ参照ベクトルよりＩＮ－ＮＮ参照ベクトルに近い場合を示し、それ以外とは、サンプルベクトルがＩＮ－ＮＮ参照ベクトルよりＥＸ－ＮＮ参照ベクトルに近い場合を示す。
Figure JPOXMLDOC01-appb-M000010
　また、ＡＷＰ距離を用いる場合には、例えば、特定部１３は、サンプルベクトルｓｊと識別境界との距離ｍ（ｓｊ）を次の式により算出する。
Figure JPOXMLDOC01-appb-M000011
　最適パラメータ保持部１６は、ＮＮＣの最適パラメータとして参照ベクトルセット及びそれらの所属カテゴリ情報と共に、上記重み係数を保持する。
　更新部１５は、最適パラメータ保持部１６を更新する際に、処理対象として設定されている重み係数を更に最適パラメータ保持部１６に反映させる。
　〔動作例〕
　以下、第２実施形態における識別器学習方法について図６を用いて説明する。
　（Ｓ６０）において、ＮＮＣ学習装置１は、処理対象として距離関数に用いる重み係数を更に設定する。（Ｓ６２）において、ＮＮＣ学習装置１は、ＣＷＰ距離又はＡＷＰ距離を用いて、サンプルベクトルｓ１と各参照ベクトルｒｉとの距離ｄ（ｓ１、ｒｉ）をそれぞれ算出する。（Ｓ７０）において、ＮＮＣ学習装置１は、（Ｓ６０）で設定された処理対象としての、参照ベクトルセット及びそれらの所属カテゴリ情報に加えて重み係数で、当該最適パラメータを更新する。
　〔第２実施形態における作用及び効果〕
　このように、第２実施形態では、サンプルベクトルｓ１と各参照ベクトルｒｉとの距離を算出するために、二乗距離を重み係数で重み付けするＡＷＰ距離又はＣＷＰ距離が用いられる。そして、第２実施形態では、ＮＮＣのパラメータである参照ベクトルセット及びそれらの所属カテゴリ情報に加えて、距離関数に用いられる重み係数も学習され最適化される。
　これにより、第２実施形態によれば、様々なパターン分布を有するＮＮＣの参照ベクトルの学習が可能となる。即ち、第２実施形態によれば、様々なパターン分布を有するＮＮＣの認識精度を向上させることができる。更に、第２実施形態によれば、ＣＷＰ距離やＡＷＰ距離を用いてベクトル間距離を算出することにより、より少ない参照ベクトルでＮＮＣを構成することができる。
　［第３実施形態］
　例えば、顔などの物体の検出を行うパターン識別問題を例示する。この問題をパターン識別器で判定する場合、パターン識別は、検出対象の物体（例えば、顔）と、検出対象でない非物体（例えば、背景など）との２クラスの識別問題として処理される。つまり、パターン識別器は入力データに対して、物体クラスか、非物体クラスかの判定を行う。物体検出における代表的な識別精度の尺度としては、検出漏れ率と過剰検出率とが存在する。検出漏れ率とは、物体を検出できない誤り率であり、過剰検出率とは、非物体を検出してしまう誤り率である。一般的には、検出漏れ率と過剰検出率とは、トレードオフの関係にある。検出漏れ率が小さくなるように調整すると、過剰検出率が大きくなり、逆に、過剰検出率が小さくなるように調整すると、検出漏れ率が大きくなる。物体検出では、過剰検出率を或る値に設定した上で検出漏れを最小にしたい場合、検出漏れ率を或る値に設定した上で過剰検出を最小にしたい場合、又は、過剰検出率と検出漏れ率を同じにしたい場合などがある。
　そこで、第３実施形態では、検出漏れ率、過剰検出率等のような識別精度を指定された値に近づけるように、ＮＮＣの参照ベクトルを学習する。以下、第３実施形態におけるＮＮＣ学習装置１について、第１実施形態及び第２実施形態と異なる内容を中心に説明する。以下の説明では、第１実施形態及び第２実施形態と同様の内容については適宜省略する。
　〔装置構成〕
　図７は、第３実施形態におけるＮＮＣ学習装置１の処理構成例を概念的に示す図である。第３実施形態におけるＮＮＣ学習装置１では、算出部１４が補正部２１を有する。補正部２１も他の処理部と同様に、例えば、ＣＰＵ２によりメモリ３に格納されるプログラムが実行されることにより実現される。なお、図７の例では、補正部２１は、算出部１４の内部に存在する例が示されるが、算出部１４とは異なる処理部として実現されてもよい。
　補正部２１は、サンプルベクトルｓｊの各々に対する最近傍参照ベクトルの所属カテゴリ情報、及び、各サンプルベクトルｓｊの所属カテゴリ情報に基づいて、学習サンプル保持部１２に保持されるサンプルベクトルｓｊに対する、パラメータ設定部１１で設定された処理対象の識別精度を算出し、この算出された識別精度と、指定される識別精度情報とに対応する補正値で当該サンプルベクトルｓｊに対応する処理対象の最終評価値を補正する。指定される識別精度情報は、入力画面等に基づいて入力部等をユーザが操作することにより入力されてもよいし、可搬型記録媒体、他のコンピュータ等から入出力Ｉ／Ｆ４を経由して取得されてもよい。指定される識別精度情報は、所望の識別精度を示し、例えば、所望の検出漏れ率、所望の過剰検出率、又は、検出漏れ率と過剰検出率とを同じにすることの要求を示す。
　以下、補正部２１の具体例について説明する。但し、補正部２１は以下のような具体例のみに制限されない。以下では、ＮＮＣ学習装置１の学習対象となるＮＮＣが物体検出のパターン認識に用いられる形態が例示される。
　物体検出のためのＮＮＣの学習では、物体クラス及び非物体クラスのいずれか一方に属する複数のサンプルベクトルが用いられる。このときの識別誤りには、検出漏れ及び過剰検出の２つのタイプがあり得る。検出漏れは、物体クラスのサンプルベクトルが非物体クラスに識別される識別誤りを意味する。よって、物体クラスのサンプルベクトルの最近傍参照ベクトルが非物体クラスに属する場合に、そのサンプルベクトルは当該検出漏れに該当する。一方、過剰検出は、非物体クラスのサンプルベクトルが物体クラスに識別される識別誤りを意味する。よって、非物体クラスのサンプルベクトルの最近傍参照ベクトルが物体クラスに属する場合に、そのサンプルベクトルは当該過剰検出に該当する。
　補正部２１は、所望の検出漏れ率が識別精度情報として指定される場合、学習サンプル保持部１２に保持されるサンプルベクトルの数に対する、当該検出漏れに該当するサンプルベクトルの数を検出漏れ率Ｅｏｂｊとして算出する。また、補正部２１は、所望の過剰検出率が識別精度情報として指定される場合、学習サンプル保持部１２に保持されるサンプルベクトルの数に対する、当該過剰検出に該当するサンプルベクトルの数を過剰検出率Ｅｂｇとして算出する。補正部２１は、算出部１４が上記（式２）を用いてマージンｍ（ｓｊ）を算出する場合、マージンｍ（ｓｊ）の値が正か負かによって、サンプルベクトルｓｊが検出漏れ又は過剰検出に該当するか、若しくは、識別成功に該当するかを判断することができる。
　補正部２１は、算出部１４により上述の各実施形態のように最終評価値Ｊが算出されると、上述のように算出された識別精度と指定される識別精度情報とに対応する補正値で最終評価値Ｊを補正する。この補正は、指定される識別精度情報に対応する、次のような式で表すことができる。下記（式７）は、指定される識別精度情報が所望の検出漏れ率ｅを示す場合に用いられ、下記（式８）は、指定される識別精度情報が所望の過剰検出率ｅを示す場合に用いられ、下記（式９）は、指定される識別精度情報が検出漏れ率と過剰検出率とを同じにすることの要求を示す場合に用いられる。以下の各式におけるλは、負の値であって、その絶対値がＪの値に比べて十分大きい値に予め設定される。
　Ｊ'＝Ｊ＋λ（Ｅｏｂｊ－ｅ）２　　　（式７）
　Ｊ'＝Ｊ＋λ（Ｅｂｇ－ｅ）２　　　（式８）
　Ｊ'＝Ｊ＋λ（Ｅｏｂｊ－Ｅｂｇ）２　　　（式９）
　〔動作例〕
　以下、第３実施形態における識別器学習方法について図８を用いて説明する。図８は、第３実施形態におけるＮＮＣ学習装置１の動作例を示すフローチャートである。図８では、図６と同様の工程については図６と同様の符号が付されている。
　ＮＮＣ学習装置１は、（Ｓ６３）、（Ｓ６４）及び（Ｓ６５）における処理により、識別誤りを検出する。識別誤りとして、上述のように検出漏れ及び過剰検出の少なくとも一方が検出されてもよいし、サンプルベクトルｓｊの最近傍参照ベクトルがＥＸ－ＮＮ参照ベクトルであることが検出されてもよい。
　ＮＮＣ学習装置１は、全てのサンプルベクトルｓｊに関する評価値ｇ（ｍ（ｓｊ））の合計が最終評価値Ｊとして算出されると（Ｓ６７；ＮＯ）、指定される識別精度情報に基づいて、当該サンプルベクトルｓｊに対する処理対象の識別精度を算出する（Ｓ８１）。例えば、ＮＮＣ学習装置１は、識別精度として、全サンプルベクトルｓｊの数に対する、最近傍参照ベクトルがＥＸ－ＮＮ参照ベクトルであるサンプルベクトルｓｊの数の割合を算出する。また、上述のように、ＮＮＣ学習装置１は、検出漏れ率及び過剰検出率を算出してもよい。
　ＮＮＣ学習装置１は、（Ｓ８１）で算出された識別精度と、指定される識別精度情報とに対応する補正値で、最終評価値Ｊを補正する（Ｓ８２）。そして、ＮＮＣ学習装置１は、この補正された最終評価値Ｊ'に基づいて、最終評価値Ｊ'が向上しているか否かを判定する（Ｓ６９）。
　〔第３実施形態における作用及び効果〕
　このように、第３実施形態では、学習用のサンプルベクトルに対する処理対象の識別精度が算出され、この識別精度と指定された識別精度情報とに対応する補正値で、処理対象の最終評価値が補正される。即ち、第３実施形態では、ＮＮＣの識別精度が指定した値に近づくように、参照ベクトルセット及びそれらの所属カテゴリ情報が更新される。従って、第３実施形態によれば、検出誤り率や過剰検出率等のような識別精度を所望の値に制御することができる。
　［変形例］
　上述の各実施形態では、距離関数として、二乗距離、ＣＷＰ距離及びＡＷＰ距離を用いる例が示されたが、それ以外の距離関数が用いられてもよい。例えば、等方的でない分布を持つパターンの識別の場合には、以下の（式１０）を距離関数として用いるようにしてもよい。以下の（式１０）は、異方性重み付け距離と表記される。以下の式においてΣは、サンプルベクトルｓｊと参照ベクトルｒｉとの分散共分散行列である。
Figure JPOXMLDOC01-appb-M000012
　異方性重み付け距離を用いた場合も識別境界は超二次曲面となり、サンプルベクトルｓｊと超二次曲面との距離は、以下の参考文献に記載された方法で算出することができる。
　参考文献４：David Eberly, "Distance from point to a general quadratic curve or a general quadric surface", http://www.geometrictools.com/Documentation/DistancePointToQuadratic.pdf (1999)
　また、上述の各実施形態では、ＮＮＣ学習装置１が、パラメータ設定部１１、学習サンプル保持部１２及び最適パラメータ保持部１６を有していたが、他の装置が、パラメータ設定部１１、学習サンプル保持部１２及び最適パラメータ保持部１６を持つようにしてもよい。この場合、ＮＮＣ学習装置１は、当該他の装置を介して、学習サンプル保持部１２及び最適パラメータ保持部１６にアクセスし、当該他の装置から処理対象を取得するようにしてもよい。
　なお、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、本実施形態で実行される工程の実行順序は、その記載の順番に制限されない。本実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態及び各変形例は、内容が相反しない範囲で組み合わせることができる。
　上記の各実施形態及び各変形例の一部又は全部は、以下の付記のようにも特定され得る。但し、各実施形態及び各変形例が以下の記載に限定されるものではない。
　（付記１）
　参照ベクトルセット及び各参照ベクトルの所属カテゴリ情報を処理対象として取得する対象取得部と、
　サンプルベクトルと同じカテゴリに属する前記処理対象の参照ベクトルの中から、該サンプルベクトルに最も近い内部最近傍参照ベクトルを特定し、かつ、該サンプルベクトルとは異なるカテゴリに属する前記処理対象の参照ベクトルの中から、該サンプルベクトルに最も近い外部最近傍参照ベクトルを特定する特定部と、
　前記内部最近傍参照ベクトルと前記外部最近傍参照ベクトルとにより形成される識別境界と前記サンプルベクトルとの間の距離を用いて、前記処理対象の評価値を算出する算出部と、
　前記算出部により算出される前記処理対象の評価値に基づいて、元の参照ベクトルセット及び元の所属カテゴリ情報を前記処理対象で更新する更新部と、
　を備える識別器学習装置。
　（付記２）
　前記算出部は、前記サンプルベクトルが前記内部最近傍参照ベクトルより前記外部最近傍参照ベクトルに近い場合に、前記距離が長い程、低い評価を示し、前記サンプルベクトルが前記外部最近傍参照ベクトルより前記内部最近傍参照ベクトルに近い場合に、前記距離が長い程、高い評価を示すように、前記処理対象の評価値を算出する、
　付記１に記載の識別器学習装置。
　（付記３）
　前記算出部は、前記サンプルベクトルが前記内部最近傍参照ベクトルより前記外部最近傍参照ベクトルに近い場合に、前記距離を負の値として算出し、前記サンプルベクトルが前記外部最近傍参照ベクトルより前記内部最近傍参照ベクトルに近い場合に、前記距離を正の値として算出し、算出された該距離を入力とするシグモイド関数の出力値に基づいて前記処理対象の評価値を算出する、
　付記２に記載の識別器学習装置。
　（付記４）
　前記特定部は、複数のサンプルベクトルの各々に関し、前記内部最近傍参照ベクトル及び前記外部最近傍参照ベクトルをそれぞれ特定し、
　前記算出部は、前記複数のサンプルベクトルの各々に関しそれぞれ算出される評価値の合計値を算出し、
　前記更新部は、前記元の参照ベクトルセット及び前記元の所属カテゴリ情報に関し前記算出部で算出される評価値の合計値と、前記処理対象に関し前記算出部で算出される評価値の合計値とを比較し、該比較結果に基づいて、前記処理対象の更新を決める、
　付記１から３のいずれか１つに記載の識別器学習装置。
　（付記５）
　前記算出部は、
　　前記複数のサンプルベクトルの各々に対する最近傍参照ベクトルの所属カテゴリ情報、及び、該各サンプルベクトルの所属カテゴリ情報に基づいて、前記複数のサンプルベクトルに対する前記処理対象の識別精度を算出し、該算出された識別精度と、指定される識別精度情報とに対応する補正値で前記複数のサンプルベクトルに対応する前記処理対象の評価値の合計値を補正する補正部、
　を含む付記４に記載の識別器学習装置。
　（付記６）
　前記特定部は、上記（式１）、上記（式５）、上記（式６）及び上記（式１０）のいずれか１つを用いて、前記サンプルベクトルと前記参照ベクトルとの間の距離を算出する、
　付記１から５のいずれか１つに記載の識別器学習装置。
　（付記７）
　前記対象取得部は、前記重み係数を前記処理対象として更に取得し、
　前記特定部は、前記対象取得部により取得される前記重み係数を含む前記（式５）又は前記（式６）を用いて、前記サンプルベクトルと前記参照ベクトルとの間の距離を算出し、
　前記更新部は、前記処理対象として取得される前記重み係数で元の重み係数を更に更新する、
　付記６に記載の識別器学習装置。
　（付記８）
　少なくとも１つのコンピュータにより実行される識別器学習方法において、
　参照ベクトルセット及び各参照ベクトルの所属カテゴリ情報を処理対象として取得し、
　サンプルベクトルと同じカテゴリに属する前記処理対象の参照ベクトルの中から、該サンプルベクトルに最も近い内部最近傍参照ベクトルを特定し、
　前記サンプルベクトルとは異なるカテゴリに属する前記処理対象の参照ベクトルの中から、前記サンプルベクトルに最も近い外部最近傍参照ベクトルを特定し、
　前記内部最近傍参照ベクトルと前記外部最近傍参照ベクトルとにより形成される識別境界と前記サンプルベクトルとの間の距離を用いて、前記処理対象の評価値を算出し、
　前記算出された処理対象の評価値に基づいて、元の参照ベクトルセット及び元の所属カテゴリ情報を前記処理対象で更新する、
　ことを含む識別器学習方法。
　（付記９）
　前記評価値の算出は、前記サンプルベクトルが前記内部最近傍参照ベクトルより前記外部最近傍参照ベクトルに近い場合に、前記距離が長い程、低い評価を示し、前記サンプルベクトルが前記外部最近傍参照ベクトルより前記内部最近傍参照ベクトルに近い場合に、前記距離が長い程、高い評価を示すように、前記処理対象の評価値を算出する、
　付記８に記載の識別器学習方法。
　（付記１０）
　前記評価値の算出は、
　　前記サンプルベクトルが前記内部最近傍参照ベクトルより前記外部最近傍参照ベクトルに近い場合に、前記距離を負の値として算出し、前記サンプルベクトルが前記外部最近傍参照ベクトルより前記内部最近傍参照ベクトルに近い場合に、前記距離を正の値として算出し、
　　前記算出された距離を入力とするシグモイド関数の出力値に基づいて前記処理対象の評価値を算出する、
　付記９に記載の識別器学習方法。
　（付記１１）
　前記内部最近傍参照ベクトルの特定は、複数のサンプルベクトルの各々に関し、前記内部最近傍参照ベクトルをそれぞれ特定し、
　前記外部最近傍参照ベクトルの特定は、複数のサンプルベクトルの各々に関し、前記外部最近傍参照ベクトルをそれぞれ特定し、
　前記評価値の算出は、前記複数のサンプルベクトルの各々に関しそれぞれ算出される評価値の合計値を算出し、
　前記更新は、前記元の参照ベクトルセット及び前記元の所属カテゴリ情報に関し前記算出部で算出される評価値の合計値と、前記処理対象に関し前記算出部で算出される評価値の合計値とを比較し、該比較結果に基づいて、前記処理対象の更新を決める、
　付記８から１０のいずれか１つに記載の識別器学習方法。
　（付記１２）
　前記複数のサンプルベクトルの各々に対する最近傍参照ベクトルの所属カテゴリ情報、及び、該各サンプルベクトルの所属カテゴリ情報に基づいて、前記複数のサンプルベクトルに対する前記処理対象の識別精度を算出し、
　前記算出された識別精度と、指定される識別精度情報とに対応する補正値で前記複数のサンプルベクトルに対応する前記処理対象の評価値の合計値を補正する、
　ことを更に含む付記１１に記載の識別器学習方法。
　（付記１３）
　前記サンプルベクトルと前記参照ベクトルとの間の距離を、上記（式１）、上記（式５）、上記（式６）及び上記（式１０）のいずれか１つを用いてを算出する、
　ことを更に含む付記８から１２のいずれか１つに記載の識別器学習方法。
　上記各式において、ベクトルｓｊは、前記サンプルベクトルを示し、ベクトルｒｉは前記参照ベクトルを示し、αｉ及びβｉは、参照ベクトルｒｉに対応する重み係数を示し、Σは分散共分散行列を示す。
　（付記１４）
　前記重み係数を前記処理対象として取得し、
　前記算出された処理対象の評価値に基づいて、前記処理対象として取得される前記重み係数で元の重み係数を更新する、
　ことを更に含み、
　前記サンプルベクトルと前記参照ベクトルとの間の距離は、前記重み係数を含む前記（式５）又は前記（式６）を用いて算出される、
　付記１３に記載の識別器学習方法。
　（付記１５）
　付記８から１４のいずれか１つに記載の識別器学習方法を少なくとも１つのコンピュータに実行させるプログラム。
　（付記１６）
　付記１５に記載のプログラムをコンピュータにより読み取り可能に記録する記録媒体。
　この出願は、２０１３年１月２８日に出願された日本出願特願２０１３－０１３６７４号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (9)

  1. 　参照ベクトルセット及び各参照ベクトルの所属カテゴリ情報を処理対象として取得する対象取得部と、
    　サンプルベクトルと同じカテゴリに属する前記処理対象の参照ベクトルの中から、該サンプルベクトルに最も近い内部最近傍参照ベクトルを特定し、かつ、該サンプルベクトルとは異なるカテゴリに属する前記処理対象の参照ベクトルの中から、該サンプルベクトルに最も近い外部最近傍参照ベクトルを特定する特定部と、
    　前記内部最近傍参照ベクトルと前記外部最近傍参照ベクトルとにより形成される識別境界と前記サンプルベクトルとの間の距離を用いて、前記処理対象の評価値を算出する算出部と、
    　前記算出部により算出される前記処理対象の評価値に基づいて、元の参照ベクトルセット及び元の所属カテゴリ情報を前記処理対象で更新する更新部と、
    　を備える識別器学習装置。
  2. 　前記算出部は、前記サンプルベクトルが前記内部最近傍参照ベクトルより前記外部最近傍参照ベクトルに近い場合に、前記距離が長い程、低い評価を示し、前記サンプルベクトルが前記外部最近傍参照ベクトルより前記内部最近傍参照ベクトルに近い場合に、前記距離が長い程、高い評価を示すように、前記処理対象の評価値を算出する、
    　請求項１に記載の識別器学習装置。
  3. 　前記算出部は、前記サンプルベクトルが前記内部最近傍参照ベクトルより前記外部最近傍参照ベクトルに近い場合に、前記距離を負の値として算出し、前記サンプルベクトルが前記外部最近傍参照ベクトルより前記内部最近傍参照ベクトルに近い場合に、前記距離を正の値として算出し、算出された該距離を入力とするシグモイド関数の出力値に基づいて前記処理対象の評価値を算出する、
    　請求項２に記載の識別器学習装置。
  4. 　前記特定部は、複数のサンプルベクトルの各々に関し、前記内部最近傍参照ベクトル及び前記外部最近傍参照ベクトルをそれぞれ特定し、
    　前記算出部は、前記複数のサンプルベクトルの各々に関しそれぞれ算出される評価値の合計値を算出し、
    　前記更新部は、前記元の参照ベクトルセット及び前記元の所属カテゴリ情報に関し前記算出部で算出される評価値の合計値と、前記処理対象に関し前記算出部で算出される評価値の合計値とを比較し、該比較結果に基づいて、前記処理対象の更新を決める、
    　請求項１から３のいずれか１項に記載の識別器学習装置。
  5. 　前記算出部は、
    　　前記複数のサンプルベクトルの各々に対する最近傍参照ベクトルの所属カテゴリ情報、及び、該各サンプルベクトルの所属カテゴリ情報に基づいて、前記複数のサンプルベクトルに対する前記処理対象の識別精度を算出し、該算出された識別精度と、指定される識別精度情報とに対応する補正値で前記複数のサンプルベクトルに対応する前記処理対象の評価値の合計値を補正する補正部、
    　を含む請求項４に記載の識別器学習装置。
  6. 　前記特定部は、以下の（式１）、（式２）、（式３）及び（式４）のいずれか１つを用いて、前記サンプルベクトルと前記参照ベクトルとの間の距離を算出する、
    　請求項１から５のいずれか１項に記載の識別器学習装置。
    Figure JPOXMLDOC01-appb-M000001
     　上記各式において、ベクトルｓｊは、前記サンプルベクトルを示し、ベクトルｒｉは前記参照ベクトルを示し、αｉ及びβｉは、参照ベクトルｒｉに対応する重み係数を示し、Σは、サンプルベクトルｓｊと参照ベクトルｒｉとの分散共分散行列を示す。
  7. 　前記対象取得部は、前記重み係数を前記処理対象として更に取得し、
    　前記特定部は、前記対象取得部により取得される前記重み係数を含む前記（式２）又は前記（式３）を用いて、前記サンプルベクトルと前記参照ベクトルとの間の距離を算出し、
    　前記更新部は、前記処理対象として取得される前記重み係数で元の重み係数を更に更新する、
    　請求項６に記載の識別器学習装置。
  8. 　少なくとも１つのコンピュータにより実行される識別器学習方法において、
    　参照ベクトルセット及び各参照ベクトルの所属カテゴリ情報を処理対象として取得し、
    　サンプルベクトルと同じカテゴリに属する前記処理対象の参照ベクトルの中から、該サンプルベクトルに最も近い内部最近傍参照ベクトルを特定し、
    　前記サンプルベクトルとは異なるカテゴリに属する前記処理対象の参照ベクトルの中から、前記サンプルベクトルに最も近い外部最近傍参照ベクトルを特定し、
    　前記内部最近傍参照ベクトルと前記外部最近傍参照ベクトルとにより形成される識別境界と前記サンプルベクトルとの間の距離を用いて、前記処理対象の評価値を算出し、
    　前記算出された処理対象の評価値に基づいて、元の参照ベクトルセット及び元の所属カテゴリ情報を前記処理対象で更新する、
    　ことを含む識別器学習方法。
  9. 　少なくとも１つのコンピュータに識別器学習方法を実行させるプログラムにおいて、
    　前記識別器学習方法は、
    　参照ベクトルセット及び各参照ベクトルの所属カテゴリ情報を処理対象として取得し、
    　サンプルベクトルと同じカテゴリに属する前記処理対象の参照ベクトルの中から、該サンプルベクトルに最も近い内部最近傍参照ベクトルを特定し、
    　前記サンプルベクトルとは異なるカテゴリに属する前記処理対象の参照ベクトルの中から、前記サンプルベクトルに最も近い外部最近傍参照ベクトルを特定し、
    　前記内部最近傍参照ベクトルと前記外部最近傍参照ベクトルとにより形成される識別境界と前記サンプルベクトルとの間の距離を用いて、前記処理対象の評価値を算出し、
    　前記算出された処理対象の評価値に基づいて、元の参照ベクトルセット及び元の所属カテゴリ情報を前記処理対象で更新する、
    　ことを含むプログラム。
PCT/JP2013/072665 2013-01-28 2013-08-26 識別器学習装置及び識別器学習方法 Ceased WO2014115362A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/763,702 US20150363709A1 (en) 2013-01-28 2013-08-26 Classifier learning device and classifier learning method
JP2014558428A JPWO2014115362A1 (ja) 2013-01-28 2013-08-26 識別器学習装置及び識別器学習方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-013674 2013-01-28
JP2013013674 2013-01-28

Publications (1)

Publication Number Publication Date
WO2014115362A1 true WO2014115362A1 (ja) 2014-07-31

Family

ID=51227171

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/072665 Ceased WO2014115362A1 (ja) 2013-01-28 2013-08-26 識別器学習装置及び識別器学習方法

Country Status (3)

Country Link
US (1) US20150363709A1 (ja)
JP (1) JPWO2014115362A1 (ja)
WO (1) WO2014115362A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019181675A1 (ja) * 2018-03-19 2019-09-26 日本電気株式会社 識別器修正装置、識別器修正方法、および記憶媒体

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2769668B1 (fr) * 2013-02-26 2021-10-13 Sorin CRM SAS Ensemble pour le diagnostic adaptatif de l'insuffisance cardiaque moyennant des classifieurs et un arbre de décision booléen
US11026634B2 (en) 2017-04-05 2021-06-08 doc.ai incorporated Image-based system and method for predicting physiological parameters
JP6950744B2 (ja) * 2017-10-26 2021-10-13 日本電気株式会社 トラヒック分析装置、システム、方法及びプログラム
US10671812B2 (en) * 2018-03-22 2020-06-02 Equifax Inc. Text classification using automatically generated seed data
CN111401563B (zh) * 2018-12-28 2023-11-03 杭州海康威视数字技术股份有限公司 机器学习模型更新方法和装置
WO2020185973A1 (en) 2019-03-11 2020-09-17 doc.ai incorporated System and method with federated learning model for medical research applications
US11915802B2 (en) 2019-08-05 2024-02-27 Sharecare AI, Inc. Accelerated processing of genomic data and streamlined visualization of genomic insights
US11256801B2 (en) * 2020-04-21 2022-02-22 doc.ai, Inc. Artificial intelligence-based generation of anthropomorphic signatures and use thereof
JP7563056B2 (ja) * 2020-09-07 2024-10-08 富士通株式会社 データ提示プログラム、データ提示方法および情報処理装置
US12039012B2 (en) 2020-10-23 2024-07-16 Sharecare AI, Inc. Systems and methods for heterogeneous federated transfer learning
US12438799B2 (en) 2022-04-22 2025-10-07 Spirent Communications, Inc. One way latency estimation without clock synchronization

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10301917A (ja) * 1997-02-28 1998-11-13 Nec Corp 認識辞書学習方法及びその装置並びにプログラムを記録した機械読み取り可能な記録媒体
JP2012155394A (ja) * 2011-01-24 2012-08-16 Kddi Corp 文書分類学習制御装置、文書分類装置およびコンピュータプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10301917A (ja) * 1997-02-28 1998-11-13 Nec Corp 認識辞書学習方法及びその装置並びにプログラムを記録した機械読み取り可能な記録媒体
JP2012155394A (ja) * 2011-01-24 2012-08-16 Kddi Corp 文書分類学習制御装置、文書分類装置およびコンピュータプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KOTA YAMADA ET AL.: "Geometric Margin Control for Minimum Error Classification", IEICE TECHNICAL REPORT, vol. 109, no. 139, 10 July 2009 (2009-07-10), pages 13 - 18 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019181675A1 (ja) * 2018-03-19 2019-09-26 日本電気株式会社 識別器修正装置、識別器修正方法、および記憶媒体
JPWO2019181675A1 (ja) * 2018-03-19 2021-02-04 日本電気株式会社 識別器修正装置、識別器修正方法、およびプログラム
JP7070663B2 (ja) 2018-03-19 2022-05-18 日本電気株式会社 識別器修正装置、識別器修正方法、およびプログラム

Also Published As

Publication number Publication date
US20150363709A1 (en) 2015-12-17
JPWO2014115362A1 (ja) 2017-01-26

Similar Documents

Publication Publication Date Title
WO2014115362A1 (ja) 識別器学習装置及び識別器学習方法
Zhang et al. Adaptive manifold learning
US10970313B2 (en) Clustering device, clustering method, and computer program product
CN115735213A (zh) 使用多层支持向量机的异常检测系统及其方法
US11403878B2 (en) Apparatus and method with user verification
EP3876146B1 (en) Method and apparatus with anti-spoofing using embedding vectors
KR101682268B1 (ko) 다중 클래스 svm과 트리 분류를 이용한 제스처 인식 장치 및 방법
US20230282216A1 (en) Authentication method and apparatus with transformation model
CN105929113B (zh) 一种带子空间投影的电子鼻信号误差自适应学习方法
Shen et al. An incremental online semi-supervised active learning algorithm based on self-organizing incremental neural network
CN118094216A (zh) 一种多模态模型优化检索训练方法及存储介质
Dutta et al. On some transformations of high dimension, low sample size data for nearest neighbor classification
KR20200080419A (ko) 인공신경망 기반 손동작 인식 방법 및 장치
US20120131006A1 (en) Systems and methods for robust pattern classification
Lin et al. Optimization design and application of library face recognition access control system based on improved PCA
JP2005309920A (ja) 多数決装置及びその学習方法と多クラス識別装置
CN111027609B (zh) 一种图像数据加权分类方法和系统
US8943005B2 (en) Metric learning apparatus
KR102383159B1 (ko) 악성 pdf 탐지용 학습 모델을 위한 학습 데이터 생성 방법 및 학습 모델을 이용한 악성 pdf 탐지 방법
CN105825205B (zh) 一种协作稀疏表示自适应的快速人脸识别方法
CN112733727B (zh) 基于线性分析的特征决策融合的脑电意识动态分类方法
US12229184B2 (en) Method and apparatus with input data classification
Ghufran et al. Improving the age estimation accuracy by a hybrid optimization scheme
Keser Face Recognition Using The Subspace and Deep Learning Algorithms For Cases of Sufficient and Insufficient Data
Zhao et al. A new algorithm for imbalanced datasets in presence of outliers and noise

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13872748

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014558428

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14763702

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13872748

Country of ref document: EP

Kind code of ref document: A1