WO2006009043A1 - データ照合方法、データ照合装置及びデータ照合プログラム - Google Patents

データ照合方法、データ照合装置及びデータ照合プログラム Download PDF

Info

Publication number
WO2006009043A1
WO2006009043A1 PCT/JP2005/012952 JP2005012952W WO2006009043A1 WO 2006009043 A1 WO2006009043 A1 WO 2006009043A1 JP 2005012952 W JP2005012952 W JP 2005012952W WO 2006009043 A1 WO2006009043 A1 WO 2006009043A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
state
component
collation
state change
Prior art date
Application number
PCT/JP2005/012952
Other languages
English (en)
French (fr)
Inventor
Atsushi Marugame
Original Assignee
Nec Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Corporation filed Critical Nec Corporation
Priority to EP05760141A priority Critical patent/EP1768064A4/en
Priority to US10/573,843 priority patent/US20080247639A1/en
Priority to JP2006524549A priority patent/JP4029413B2/ja
Publication of WO2006009043A1 publication Critical patent/WO2006009043A1/ja

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/169Holistic features and representations, i.e. based on the facial image taken as a whole
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Definitions

  • the present invention relates to a data matching method and a data matching system (apparatus) for collating data of a state change object at a certain point in time with respect to an object in which a state change occurs.
  • the present invention also relates to a data collation program for collating an image of data of a state change object at a certain point in time with respect to an object in which a state change occurs.
  • a data collation method and data collation system for collating images and voices of biometrics information such as human face, voiceprint, etc.
  • the present invention relates to a data collation program that collates images and sounds of biometrics information such as human faces, voiceprints, etc. at different points in time and images of the biometrics information from other points in time.
  • collation may be an obstacle.
  • data related to changes in state such as a person's face and voice that are typified by biometrics information
  • characteristics at an early age may be lost due to aging, and characteristics at the time of aging may appear.
  • the state data at a certain point in time may be an obstacle during collation, even if it is the same object data, unlike the state data at another point in time.
  • a face image at the time of aging can be applied to a face image when it is aged.
  • CG computer graphics
  • US Pat. No. 6,556,196 describes a three-dimensional model in the case of processing a face image. Describes an image processing method that uses Dell to refine the addition of aged and facial features to an image and add unclear features to the image.
  • a 3D face data force stored in the face database is created, and a general model of the deformable face is created, and the input face image is pasted on the created model.
  • the model is then deformed using a modeler to provide feature changes including state changes.
  • Japanese Patent Application Laid-Open No. 2003-233671 is a method for predicting the progress of at least one state on a body external surface portion of a subject, and receives first data representing at least one state, Receives second data reflecting how the at least one state of the body's exterior is expected to evolve over time, and based on the first data and the second data, A method is described that includes generating a prediction progress for at least one state and sending the prediction progress to the subject!
  • An object of the present invention is to provide a data collation method, a data collation apparatus and a data collation program that can improve the collation performance.
  • the present invention adds statistical state changes to data before state changes, and uses state change data to which features of global state changes are added for collation, so that data accompanying state changes is used.
  • An object of the present invention is to provide a data collation method, a data collation apparatus and a data collation program that can improve the collation performance of the data.
  • the present invention uses the state change data in which the general state change of each age is added to the data before the state change to provide correspondence of the constituent components between the state categories. Accordingly, it is an object of the present invention to provide a data collation method, a data collation apparatus, and a data collation program that can improve data collation performance in a specific state.
  • a statistical change in state is added to data before a change in state, and state change data created at the time of collation can be automatically created, thereby reducing the burden on the operator at the time of data collation.
  • the object is to provide a data verification method, a data verification device, and a data verification program.
  • the data collating method decomposes the measured amount of an object by a predetermined method.
  • a component storage step for storing the component obtained by the above in association with each of a plurality of states taken by the object, and a component for decomposing the measured amount of the object to be collated into components in a predetermined state of the plurality of states Stored in a decomposition step, a parameter conversion step for converting a parameter corresponding to a component in a predetermined state into a post-conversion parameter in a second state different from the predetermined state among a plurality of states, and a component storage step Using the component corresponding to the second state and the converted parameter, a state change data creation step for creating state change data that gives a predetermined state change to the data of the object to be verified, and state change data and pre-stored And a verification step for verifying the verification data.
  • verification is performed using data obtained by adding state information to input data. As a result, the collation performance of data
  • the predetermined method is principal component analysis.
  • the collation performance of data accompanying a state change is improved.
  • the configuration of the data collating device is simplified. “Learning” is, for example, creating a face image by conversion using a neural network with the same person-specific data as learning data.
  • the data of the object to be collated is human biometric data.
  • the nanometric data is, for example, an image of a part of a human body exemplified by a face and a fingerprint, one-dimensional data of voice such as a voice, and three-dimensional data of a face shape.
  • each of the plurality of states corresponds to a state at a different point in time.
  • a data collating apparatus is a computer having a function of executing each of the steps included in the data collating method according to the present invention.
  • the data verification program according to the present invention causes a computer to execute the data verification method according to the present invention.
  • a data collating method is a data collating method for collating data of an object to be collated with data corresponding to an object to be collated included in a data group, the data being registered for collation.
  • a collation data accumulation step for accumulating groups in advance, a component decomposition step for decomposing data to be collated into constituent components in a predetermined state, and parameters corresponding to constituent components in a predetermined state
  • the parameter conversion step to convert to parameters in different states (realized by the component coefficients ci and di)
  • the component components of the data divided by state are accumulated, and the accumulated component components and parameter conversion step
  • a state change data creation step for creating state change data in which a predetermined state change is given to the data to be verified, and a state change data And state change data created by the creation Sutetsu flop, characterized in that it comprises a verification step for collating the verification data group that has been accumulated in the verification data storage step.
  • the data collating method is a data collating method for collating the data of the object to be collated with data corresponding to the object to be collated included in the data group, and the data group registered for collation.
  • State change data obtained by changing data in a predetermined state to data in a state different from the predetermined state by a conversion using a collation data storage step for storing in advance and learning using data classified by state.
  • the state change data creation step to be created may include a collation step for collating the state change data created in the state change data creation step with the collation data group accumulated in the collation data accumulation step.
  • the data collating method is a data collating method for collating human biometric data with biometric data corresponding to humans included in the data group, the data group registered for collation.
  • a pre-stored collation data storage step a component decomposition step for decomposing biometrics data to be collated into constituent components in a predetermined state, and parameters corresponding to the constituent components in the predetermined state
  • a parameter conversion step that converts the parameter to a state parameter different from the time, and biometrics data divided by state State change data that accumulates components and creates state change data that gives a predetermined state change to biometrics data to be verified using the accumulated components and the parameters converted in the parameter conversion step It may include a creation step, a collation step for collating the state change data created in the state change data creation step and the collation data group accumulated in the collation data accumulation step.
  • the data collating method is a data collating method for collating human biometric data with biometric data corresponding to the human being included in the data group, and is a data group registered for collation.
  • the biometrics data in a given state is changed to biometrics data in a different state from the given state by a collation data accumulation step that stores the data in advance and conversion using learning based on biometrics data divided by state.
  • the biometric data in the component decomposition step, is decomposed into constituent components of a predetermined age, and in the parameter conversion step, parameters corresponding to the constituent components of the predetermined age are obtained. Converts parameters to aging that is different from the specified aging, accumulates the components of biometrics data divided by age in the state change data creation step, and converts them in the component conversion and parameter conversion step Using this parameter, the aging data (realized by the status change data) that gives the biometrics data a predetermined aging change is created, and the aging data created in the status change creation step in the verification step And a collation data group accumulated in the collation data accumulation step may be collated.
  • the data collating method in the state change data creation step, the metric data at a predetermined age is converted into a predetermined age by conversion using learning based on biometric data divided by age. Creates aging data that has been changed to biometrics data at different aging times, and in the verification step, the aging data created in the state change creation step and the verification data group accumulated in the verification data storage step It can be a collation.
  • the data matching method is a data matching method for matching a face image of a person to be matched with a face image corresponding to a person included in the face image group, the face image group registered for matching.
  • a pre-stored collation data storage step, a component decomposition step for decomposing a face image into components for a predetermined facial expression, and parameters corresponding to the components for the predetermined facial expression are different from those for a predetermined facial expression.
  • the data collating method is a data collating method for collating a face image of a person to be collated with a face image corresponding to a person included in the face image group, the face image group registered for collation.
  • a collation data storage step that stores information in advance and conversion using learning based on facial images divided according to facial expressions
  • the facial image with a predetermined facial expression is changed to a facial image with a facial expression different from the predetermined facial expression.
  • Facial expression change data creation step for creating facial expression change data
  • a facial expression change data created in the facial expression change data creation step and a collation step for collating the collation data group accumulated in the collation data accumulation step.
  • a data collating apparatus is a data collating apparatus that collates data of an object to be collated with data corresponding to an object to be collated included in a data group.
  • Component decomposition means for decomposing the component at the state (implemented by the component analysis means 101), and converting the parameter corresponding to the component at the predetermined state into the parameter at the state different from the predetermined state Parameter conversion means (implemented by the component coefficient conversion means 103) and the component components of the data divided according to the state, and using the accumulated component components and the parameters converted by the parameter conversion means, State change data creation means (realized by state change data creation means 102) that creates state change data that gives a predetermined state change to the data, and is registered for verification
  • the Collation data storage means for storing the data group in advance (realized by the collation data storage means 104), state change data created by the state change data creation means, collation data group accumulated by the collation data accumulation means, And a verification means (realized by the verification means 105).
  • the data collating device is a data collating device for collating the data of the object to be collated with data corresponding to the object to be collated included in the data group, and learning based on the data classified according to the state.
  • a state change data creating means (implemented by the state change data creating means 102b) that creates state change data in which data in a predetermined state is changed to data in a state different from the predetermined state by conversion using Collation data storage means for preliminarily storing a data group registered for collation, state change data created by the state change data creation means, and collation means for collating the collation data group accumulated by the collation data storage means May be provided. According to such a configuration, it is possible to improve the data collation performance accompanied by the state change and simplify the configuration of the data collation device.
  • the data collating device is a data collating device for collating the biometric data of a person with the biometric data corresponding to the human being included in the data group, and the biometric data to be collated is obtained.
  • Component decomposing means for decomposing into constituent components in a predetermined state
  • parameter converting means for converting parameters corresponding to the constituent components in a predetermined state into parameters in a state different from the predetermined state
  • the components of the biometrics data divided according to the state are accumulated, and a predetermined state change is given to the biometrics data to be verified using the accumulated components and the parameters converted by the parameter conversion means.
  • State change data creation means for creating state change data
  • collation data storage means for pre-accumulating data groups registered for collation
  • state change data creation And state change data stage created the verification data storage unit be a structure having a collating means for collating the verification data group to be accumulated.
  • the data collating device is a data collating device that collates biometric data of a person with biometric data corresponding to humans included in the data group, and is classified according to states.
  • the state of the bar State change data creation means for creating state change data by changing the biometric data to a state different from the predetermined state, and collation that prestores data groups registered for collation
  • the data storage means, the state change data created by the state change data creation means, and the collation means for collating the collation data group accumulated by the collation data storage means may be provided.
  • the component decomposing means decomposes the biometric data into the components of a predetermined age
  • the meter converting means sets the parameters corresponding to the components of the predetermined age as the predetermined age. Is converted into parameters for different ages, and the state change data creation means accumulates the components of biometrics data divided by age, and uses the accumulated components and the parameters converted by the parameter conversion means. Aging data is generated by giving a predetermined secular change to the biometric data, and the collating means includes the aging data created by the state change creating means, the collation data group accumulated by the collating data storage means, May be used.
  • the state change data creation means separates the nanometric data at a predetermined age from the predetermined age by conversion using learning based on biometric data divided by age. Aging data that has been changed to biometric data at the time of aging is created, and the collation means collates the aging data created by the state change creation means with the collation data group accumulated by the collation data storage means. You may do.
  • the data collating device is a data collating device that collates a face image of a person to be collated with a face image corresponding to a person included in the face image group.
  • Component decomposition means for decomposing into components parameter conversion means for converting parameters corresponding to components at the time of a predetermined facial expression into a meter for a facial expression different from that for a predetermined facial expression, and divided by expression
  • Facial expression change data creation means that creates facial expression change data that gives a predetermined facial expression change to the facial image using the constituent components to be accumulated and the parameters converted by the parameter conversion means.
  • collation data storage means for previously storing facial image groups registered for collation, facial expression change data created by the facial expression change data creation means, and collation data storage Stage may be one in which a collating means for collating the verification data group to be accumulated.
  • the data matching device is a data matching device for matching the face image of the person to be matched with the face image corresponding to the person included in the face image group, and learning by the face image divided by expression.
  • Expression change data creating means for creating facial expression change data by changing a face image at a predetermined expression to a face image at a different expression from that at the predetermined expression by conversion using (state change data creating means 102b
  • a matching data storage means for storing face image groups registered for matching in advance, facial expression change data created by the facial expression change data creating means, and matching data group stored by the matching data storage means It may be provided with a matching means for checking against.
  • a data collation program is a data collation program for collating data of objects to be collated with data corresponding to objects to be collated included in a data group, and is registered for collation.
  • a computer having collation data accumulation means for preliminarily accumulating the data group, a process for decomposing the data to be collated into constituent components in a predetermined state, and parameters corresponding to the constituent components in the predetermined state
  • a process for converting to a parameter for a state different from the state and a component component of the data divided according to the state are stored, and using the stored component component and the converted parameter, the verification target data is stored in a predetermined state.
  • a process for creating state change data with a change, and a process for collating the created state change data with the collation data group stored in the collation data storage means are executed.
  • the data collation program is a data collation program for collating the data of the object to be collated with data corresponding to the object to be collated included in the data group, and the data registered for the collation
  • a computer equipped with collation data storage means that stores groups in advance was converted into data in a state different from the predetermined state by conversion using learning based on data divided by state. You may perform the process which produces state change data, the process which collates the produced state change data, and the collation data group which a collation data storage means accumulate
  • the state change data is created and collated, so
  • highly accurate collation can be performed using only object data at a certain point in time. Therefore, when creating state change data, using state change data that takes into account the uniqueness of the object based on the correlation of the same object for collation can improve the collation performance of data accompanying state changes. it can.
  • FIG. 1 is a block diagram showing an example of the configuration of a data collating apparatus according to the present invention.
  • FIG. 2 is a flowchart showing an example of data collation processing in which a data collation apparatus collates face images.
  • FIG. 3 is a block diagram showing another configuration example of the data collating apparatus.
  • FIG. 4 is a flowchart showing another example of data matching processing in which the data matching device matches face images.
  • FIG. 5 is a block diagram showing an example of the configuration of a component analyzer.
  • FIG. 6 is a block diagram showing an example of a configuration of a state change creation device.
  • FIG. 7 is a block diagram showing an example of a configuration of a component coefficient conversion device.
  • FIG. 8 is a block diagram showing an example of a configuration of a state change data creation device.
  • FIG. 1 is a block diagram showing an example of the configuration of a data collating apparatus according to the present invention.
  • the type of state change is secular change
  • a face image is used as the state change data
  • a face image at one time point is compared with a face image at another time point using a data matching device.
  • the data matching device is not limited to the case where the state change is a secular change, and the data collating device may collate data with other state changes such as facial expression changes.
  • state change data is not limited to face images, but images of other parts of the human body such as fingerprints and voices such as voices. Biometric data such as data and three-dimensional data of face shape may be used.
  • the state change data may be data on animals and plants other than human beings, and data on objects that change over time while having individual characteristics like living things.
  • the data collating device includes component analysis means 101 for analyzing the components of the input data 11, and state change data creation means 102 for creating state (age) change data of the input data 11.
  • the component coefficient conversion means 103 for associating the databases by state (age), the collation data accumulation means 104 for accumulating collation data in advance, the status (aging) change data and the data accumulated by the collation data accumulation means 104 Including matching means 105 for matching
  • the state change data creation means 102 stores a plurality of state (aged) databases DB1, ⁇ , DBi, ⁇ , DBn that accumulate data components classified by state (aged). Yes.
  • state databases DBl to DBn are simply referred to as state databases when they are comprehensively expressed, or when referring to any state database.
  • the collation data storage unit 104 is realized by, for example, a magnetic disk device.
  • the component analysis unit 101, the component coefficient conversion unit 103, and the collation unit 105 are realized by, for example, a central processing unit in a computer and a program executed by the central processing unit.
  • the state change data creating means 102 is realized by, for example, a magnetic disk device, a central processing unit in a computer, and a program executed by the central processing unit.
  • the component analysis means 101 uses the components in the state database DBi corresponding to the face image state (age) information 12 as the input data 11, and uses the component components in the state database DBi to generate the face image so that the error is minimized.
  • a function to reconfigure is provided.
  • the component analysis unit 101 selects, for example, the state-specific database DBi corresponding to the state of the face image of the input data 11 based on the state information 12 input by the state change data generation unit 102, Reconstruct an image
  • linear component analysis such as principal component analysis may be used.
  • principal component analysis such as principal component analysis
  • the face image is represented by Expression (1).
  • Ip clPl + c2P2H h cmPm (Pi: principal component, ci: coefficient)
  • the minimum error coefficient set ci that minimizes the error from the input face image 10 is selected from the face images represented by the equation (1).
  • the component analysis unit 101 sends the selected minimum error coefficient selection set ci to the component coefficient conversion unit 103 via the state database DBi of the state change data creation unit 102.
  • the state change data creating means 102 has a plurality of state-by-state databases DB1,..., DBi,..., DBn for accumulating data components classified by state (age). Further, the state change data creation means 102 has a function of passing the coefficient set ci for each state database calculated by the component analysis means 101 to the component coefficient conversion means 103.
  • the state change data creation means 102 includes the coefficient set di converted by the component coefficient conversion means 103 for the state-specific database different from the state-specific database selected by the component analysis means 101, and the other state. It has a function to reconstruct a face image using components in another database. Further, the state change data creation means 102 has a function of sending the reconstructed face image p to the matching means 105 as state (age) change data. When the principal component analysis is used, the reconstructed facial image p is expressed using Equation (2) as a linear combination of coefficient components di of the principal component Qi in the state database.
  • the state-based database DBi calculates a face image of a certain age ⁇ Al, A2, ⁇
  • the state database stores as a component a value obtained by singular value differentiation of a matrix in which pixels Ai (x, y) of each image are arranged as a column vector.
  • a matrix in which the pixels Ai (x, y) of each image are arranged as a column vector is expressed by Equation (3).
  • the state-specific database is obtained by converting the matrix represented by Equation (3) into the first half p column vectors ⁇ Ul, U2, ⁇ of the orthogonal matrix obtained by the singular value decomposition represented by Equation (4). , Uj, ..., Up ⁇ are stored as constituents.
  • Equation (4) S is a matrix in which elements other than the diagonal component are 0 and the diagonal components are arranged in descending order of absolute values.
  • the same number of components that use the same person's face image are prepared in advance between the two state databases. For example, when using 30 component components, prepare facial images for both states (aged) for 30 or more people in two state databases and create the component components for each state database in advance. Accumulate.
  • the component coefficient conversion means 103 has a function of converting a coefficient to be multiplied by the component of the state-specific database. For example, a case where principal component analysis is used will be described as an example.
  • a plurality of face images Ip and Jp belonging to both states (aged) corresponding to the databases DBi and DBj are used with the same person's face.
  • the face images I P and JP are expressed by Expression (5) and Expression (6), respectively, using Expression (1).
  • CiA and DjA are column vectors in which the coefficients ci and dj in Expression (4) and Expression (5) are vertically arranged.
  • the component coefficient conversion means 103 may convert c into dj using a non-linear conversion.
  • the component coefficient conversion unit 103 may perform coefficient conversion using a neural network using coefficient sets ⁇ ci, dj ⁇ corresponding to the databases DBi and DBj as the learning data for the same person's face. .
  • the collation data storage unit 104 is a database for accumulating data for collation, and accumulates data registered for collation in advance.
  • the verification data storage unit 104 is realized by, for example, a data storage unit of a normal verification device.
  • the collation data storage means 104 stores, for example, a data group of a person's current face image or expressionless face image in advance as collation data.
  • the matching unit 105 has a function of comparing the state change data created by the state change data creating unit 102 with the registered data stored in the matching data storage unit 104 and collating them, and outputting a matching result 18.
  • the collating means 105 obtains a difference between the state (aging) change data and the registered data, and determines that the data having the smallest obtained difference is the person's data.
  • the collation unit 105 is not limited to the method for obtaining the difference, and the collation unit 105 may perform collation using another collation method. Further, as shown in FIG. 1, the collating unit 105 collates a plurality of state change data created by the state change data creating unit 102 with registered data.
  • the collation means 105 collates a plurality of state change data and registered data, and can perform collation corresponding to the state (aging) change by regarding the data as the original data with the smallest difference. it can. If the state (age) of the data stored in the collation database (collation data storage means 104) is known, the collation means 105 uses the state change data corresponding to the registration data as the registration data. You may make it collate. By doing so, the verification time can be shortened.
  • FIG. 2 is a flowchart showing an example of data matching processing in which the data matching device matches face images.
  • the component analysis means 101 inputs the input data 11 to be collated according to the user's input operation (step S101).
  • the component analysis unit 101 inputs a face image to be collated as input data 11.
  • the state change data creating means 102 inputs state information 12 indicating the state of the input data 11 according to the user's input operation (step S102). For example, the state change data creating means 102 inputs the age and age band (age) of the person of the face image of the input data 11 as the state information 12. Further, for example, the state change data creating means 102 inputs, as the state information 12, information indicating facial expression of the face image of the input data 11 such as anger.
  • the component analysis means 101 selects the state-specific database DBi corresponding to the state of the input data 11 to be verified based on the state information 12 from the state-specific database DB of the state change data creation means 102 (step S 103). Further, the component analysis means 101 extracts the component from the selected state-by-state database, analyzes the input data 11, and calculates the component component coefficient (step S104). Further, the component analysis unit 101 sends the calculated component component coefficient to the component coefficient conversion unit 103 via the state database of the state change data creation unit 102.
  • the component coefficient conversion means 103 converts the component coefficient calculated by the component analysis means 101 into a component coefficient corresponding to a state database different from the state database selected by the component analysis means 101 (step S105).
  • the state change data creation unit 102 extracts the constituent components from the state-specific database corresponding to the converted constituent component coefficients, and generates the constituent components. State change data is created based on the component coefficient converted by the fraction coefficient conversion means 103 and the extracted component (step S106).
  • the matching unit 105 extracts registration data from the matching data storage unit 104.
  • the matching unit 105 then collates the state change data created by the state change data creation unit 102 with the registration data accumulated by the collation data storage unit 104, and outputs a collation result 18 (step S 108).
  • the object features are decomposed into constituent components, it is possible to perform highly accurate collation using statistical state features that are difficult to express manually. Therefore, by adding statistical state changes to data before state changes and using state change data with global state change characteristics for collation, the collation performance of data accompanying state changes is improved. be able to.
  • state change data of a plurality of states can be created and used for collation, so that collation with high accuracy can be performed by responding to a plurality of state changes. Can do.
  • state change data obtained by adding the general state change of each age to the data before the state change Therefore, it is possible to improve the data collation performance in a specific state.
  • the present embodiment it is possible to automatically add the state change created at the time of collation, so that the burden on the operator at the time of collation can be reduced. Therefore, the statistical state change It is possible to automatically create the state change data created at the time of collation by adding to the data before conversion, reducing the burden on the worker at the time of data collation.
  • a data collating apparatus can be realized by using many existing collating systems. Therefore, the system (data collating apparatus) can be easily assembled or the system can be changed. Can do.
  • FIG. 3 is a block diagram showing another configuration example of the data collating apparatus.
  • the present embodiment differs from the first embodiment in that the data matching device does not include the component analysis unit 101 and the component coefficient conversion unit 103 among the components shown in FIG. Further, in the present embodiment, the processing content of the state change data creation means 102b of the data collating apparatus is different from the processing content of the state change data creation means 102 shown in the first embodiment.
  • the state change data creating means 102b inputs the face image as the input data 11 to the state-specific database corresponding to the state (age) information 12 of the input data 11. .
  • the state change data creating means 102b directly sends the input data 11 to a state-specific database other than the state-specific database corresponding to the input data 11, and the face image of a state other than the state of the input data 11 (aged) Create (state change data). Then, the state change data creating unit 102b sends the created face image to the matching unit 105.
  • state change data creating means 102b creates state change data by directly converting a face image from one state to another without using a component. For this reason, data classified according to the state (age) of the same person is stored in advance between the databases according to each state to form a -Ural network. Then, the state change data creation means 102b creates a converted face image using a pre-formed-Ural network. In the present embodiment, for example, the state change data creating unit 102b creates a face image by performing conversion processing using a neural network with the same person-by-state data accumulated in advance as learning data.
  • a force data collating apparatus that requires a large amount of data according to the state of the same person to learn in a neural network
  • the configuration can be simplified.
  • FIG. 4 is a flowchart showing another example of data collation processing in which the data collation apparatus collates face images.
  • the state change data creation unit 102b inputs the input data 11 to be verified in accordance with the input operation of the user (step S201).
  • the state change data creating means 102b inputs the face image to be collated as the input data 11.
  • the state change data creating unit 102b inputs state information 12 indicating the state of the input data 11 in accordance with the user's input operation (step S202). For example, the state change data creating means 102b inputs the age and age band (age) of the person in the face image of the input data 11. Further, for example, the state change data creating unit 102b inputs information indicating the facial image expression of the input data 11 such as anger as the state information 12.
  • the state change data creating means 102b converts the input data 11 into state change data of a state (age) other than the state of the input data 11 (step S203). In this case, the state change data creating unit 102b creates state change data using the learned-Eural network based on the state information 12.
  • the matching unit 105 extracts registration data from the matching data storage unit 104.
  • the matching unit 105 collates the state change data created by the state change data creation unit 102b with the registered data stored in the verification data storage unit 104, and outputs a verification result 18 (step S204).
  • the data collating apparatus does not include the component analysis unit 101 and the component coefficient conversion unit 103 described in the first embodiment, but the first embodiment The same effect as the data collating apparatus shown in the form of can be obtained. Therefore, it is possible to improve the collation performance of data accompanied by a change in state and simplify the configuration of the data collation apparatus.
  • the data collating device is a component in which the component coefficient converting means 103 is implemented.
  • FIG. 5 is a block diagram showing an example of the configuration of a component analysis apparatus 101a in which the component analysis means 101 is implemented.
  • the component analyzer 101a includes an arithmetic device 101b, an input data storage device 101c, and a component storage device 101d.
  • the input data storage device 101c is realized by a memory or a magnetic disk device.
  • the input data storage device 101c has a function of storing a face image that is the input data 11.
  • the component storage device 101d is realized by a memory or a magnetic disk device.
  • the component storage device 101d has a function of accumulating components sent from the state change creation device 102a, which is the state change data creation means 102.
  • the arithmetic unit 101b is realized by a CPU that operates according to a program.
  • the arithmetic device 101b performs data processing using the input data 11 and the constituent components.
  • the computing device 101b is based on the facial image accumulated in the input data storage device 101c and the component stored in the component storage device 101d, and performs the same calculation processing as the component analysis means 101 shown in the first embodiment. To obtain the component coefficient. Then, the computing device 101b sends the obtained component coefficient to the state change creation device 102a.
  • FIG. 6 is a block diagram showing an example of the configuration of a state change creation device 102a in which the state change data creation means 102 is implemented as an apparatus.
  • the state change creating device 102a includes a computing device 102c, a state-specific component storage device 102d, and a state sorting device 102e.
  • the state selection device 102e is realized by a switching semiconductor circuit or the like. Based on the state information 12, the state selection device 102e has a function of selecting a state-by-state database from which constituent components to be sent to the component analysis device 101a are extracted.
  • the state-specific component storage device 102d is realized by a memory or a magnetic disk device.
  • the state-specific component storage device 102d has a function of storing the components of the face image for each state.
  • the computing device 102c is a CPU that operates according to a program. It is realized by.
  • the computing device 102c has a function of creating state change data based on the constituent components and the constituent component coefficients of the face image for each state.
  • the state selection device 102e selects a state-specific database corresponding to the state information 12, extracts the constituent components from the selected database, and sends them to the component analysis device 101a. Further, the state selection device 102e sends the component coefficient calculated by the component analysis device 101a to the component coefficient conversion device 103a in which the component coefficient conversion means 103 is implemented. The computing device 102c calculates the state change by using Equation (2) based on the component coefficient converted by the component coefficient conversion device 103a and the component of the state database corresponding to the converted component coefficient. Create data.
  • FIG. 7 is a block diagram showing an example of a configuration of a component coefficient conversion device 103a in which the component coefficient conversion means 103 is implemented.
  • the component coefficient conversion device 103a includes an arithmetic device 103b.
  • the arithmetic unit 103b is realized by a CPU that operates according to a program.
  • the arithmetic device 103b has a function of converting the component component coefficient from the state change creating device 102a into a component component coefficient corresponding to a state database different from the state database corresponding to the component coefficient. Note that the arithmetic device 103b converts the component coefficient using the same conversion method as the component coefficient conversion means 103 shown in the first embodiment.
  • the collation data storage device in which the collation data storage unit 104 is implemented is specifically realized by a storage device such as a memory disk device.
  • the collation device 105a in which the collation means 105 is implemented as an apparatus, has a power that may slightly change the configuration of the device depending on the collation method. Realized by a computer equipped with the device.
  • the data collation apparatus is a state change creation apparatus that implements the state change data creation means 102b, a collation data storage apparatus that implements the collation data storage means 104, and a collation means 105. And a verification device.
  • the configurations of the collation data storage device and the collation device are the same as the configurations of the collation data storage device and the collation device 105a shown in the third embodiment.
  • FIG. 8 is a block diagram showing an example of the configuration of the state change data creation device 102 2f that incorporates the state change data creation means 102b.
  • the state change data creation device 102f includes a state selection device 102g and an arithmetic device 102i.
  • the state selection device 102g is realized by a switching semiconductor circuit or the like.
  • the state selection device 102g receives the input data 11 and the state (aged) information 12
  • the state selection device 102g converts the input data 11 to a state other than the state indicated by the state information 12 in the operation device 102i--Ural network operation.
  • the input image (input data) 11 is sent to the arithmetic unit 102i to be performed.
  • the arithmetic unit 102i is realized by a CPU that operates according to a program.
  • the arithmetic device 102i converts the input data 11 into a face image in a state different from the state indicated by the state information 12, creates state change data, and outputs the state change data to the collation device 105a.
  • the data matching method performed by the data matching device may be realized by a data matching program that can be executed on a computer.
  • the data collation program is stored in an information recording medium readable by a computer and is read by the computer so that the data collation process shown in the first embodiment is executed on the computer.
  • a process of decomposing data to be collated into constituent components in a predetermined state and parameters corresponding to the constituent components in the predetermined state in a state different from the predetermined state The state change data that stores the constituent components of the data divided according to the state and the data that is classified according to the state, and that gives the specified state change to the data to be verified using the stored constituent components and the converted parameters
  • the data verification process is executed by causing the computer to read a data verification program for executing the process of generating the status change data and the process of verifying the generated status change data and the verification data group stored in the verification data storage means. Let ’s do it.
  • the data matching method performed by the data matching device may be realized by a data matching program that can be executed on a computer. And that day The data verification process shown in the second embodiment may be executed on the computer by storing the data verification program in a computer-readable information recording medium and causing the computer to read it. ,.
  • a process of creating state change data in which data in a predetermined state is changed to data in a state different from a predetermined state by conversion using learning based on data classified by state in a computer;
  • the data verification process is executed by causing the computer to read a data verification program for executing the process of verifying the created state change data and the verification data group stored by the verification data storage means.
  • a data verification program for executing the process of verifying the created state change data and the verification data group stored by the verification data storage means.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Exchange Systems With Centralized Control (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

 年齢によって変化する顔などの状態変化する物体に対して、状態変化前のデータから状態変化後のデータを照合し又は状態変化後のデータから状態変化前のデータを照合できるようにすることを目的とする。ソフトウェアによって実現される成分分析手段は、選択された状態別データベースの構成成分を用いて入力データを分析し、構成成分係数を成分係数変換手段に送る。成分係数変換手段は、送られた構成成分係数を、選択された以外の状態別データベースに対応する構成成分係数に変換し、状態変化データ作成手段に送る。状態変化データ作成手段は、送られた構成成分係数と、対応する状態別データベースの構成成分とを用いて状態変化データを作成する。照合手段は、状態変化データと照合データ蓄積手段が蓄積する登録データとを照合して、照合結果を出力する。

Description

データ照合方法、データ照合装置及びデータ照合プログラム 技術分野
[0001] 本発明は、状態変化が生じる物体に対して、ある時点における状態変化物体のデ 一タカ その物体の別の時点におけるデータを照合するデータ照合方法及びデータ 照合システム (装置)に関する。また、本発明は、状態変化が生じる物体に対して、あ る時点における状態変化物体のデータ力 その物体の別の時点におけるデータの 画像を照合するデータ照合プログラムに関する。特に、ある時点における人物の顔、 声紋などバイオメトリタス情報の画像、音声力 そのバイオメトリタス情報の別の時点 における画像、音声を照合するデータ照合方法及びデータ照合システム (装置)に 関し、ある時点における人物の顔、声紋などバイオメトリタス情報の画像、音声からそ のバイオメトリタス情報の別の時点における画像、音声を照合するデータ照合プログ ラムに関する。
背景技術
[0002] 状態変化が生じる物体についてのデータを照合する場合、ある時点におけるデー タカも別の時点におけるデータを照合しょうとすると、照合の障害になることがある。 例えば、人物の顔や声などバイオメトリタス情報に代表されるような状態変化が生ずる ものに関するデータの場合、加齢により若年時の特徴が失せ加齢時の特徴が現たり
、感情の変化により顔や声のある特徴が目立たなくなり別の特徴が目立つようになつ たりする。そのため、ある時点における状態のデータは、同一物体のデータであって も別の時点における状態のデータと異なり、照合時の障害になることがある。
[0003] ある時点におけるデータ力 特徴の付カ卩によって状態変化後のデータを作成する 方法の例として、顔画像に経年変化を加える場合に若年時の顔カゝら加齢時の顔画 像を作成する方法がある。例えば、コンピュータグラフィックス (CG)を用いて、若年 時の顔に皺などの加齢時の特徴を書き込むことによって、若年時の顔から加齢時の 顔画像を作成することが行われる。
[0004] また、米国特許第 6556196号明細書には、顔画像を処理するケースで、 3次元モ デルを用いて経年特徴や表情特徴の画像への付加を洗練化し、不明確な特徴も画 像に付加することができる画像処理方法が記載されて 、る。この画像処理方法では、 顔データベースが記憶する 3次元の顔データ力 変形可能な顔の一般的なモデルを 作成し、作成したモデルに入力顔画像を張り付ける。そして、状態変化も含めた特徴 変化を与えるために、モデラを用いてモデルを変形させて 、る。
[0005] 特開 2000- 132675号公報には、撮影条件または撮影時期の違いによる画像変 動の特徴を分類されたクラス毎に予め学習しておき、撮影条件または撮影時期の少 なくとも 1つが異なる 2枚の顔画像の差力 クラスを選択し、その 2枚の顔画像力 選 択されたクラスの画像変動の特徴量が小さくなる特徴量をそれぞれ求め、その 2枚の 顔画像の特徴量により顔識別 ·照合を行うことを特徴とする顔識別 ·照合方法が記載 されている。
[0006] 特開 2003-233671号公報には、対象者の身体外面部位における少なくとも 1つ の状態の進展を予測する方法であって、その少なくとも 1つの状態を表す第 1のデー タを受け取り、身体外面のその少なくとも 1つの状態が時間の経過に伴ってどのよう に進展すると期待されるかを反映する第 2のデータを受け取り、その第 1のデータとそ の第 2のデータに基づき、その少なくとも 1つの状態の予測進展を生成し、その予測 進展を対象者に送ることを含む方法が記載されて!ヽる。
発明の開示
[0007] 特徴の付加によって状態変化データを作成してデータを照合する場合、経年変化 や表情変化で生じる特徴変化を作成する手順が必ずしも確立して ヽるとは限らな ヽ 。特徴変化の作成手順が確立していない場合、現実に存在する特徴を人が模倣して データに書き込まなければならない。そのため、手動による作業、または手動による 作業に近 、労力を要する半自動処理を行わなければならな 、。
[0008] また、特徴の付加によって状態変化データを作成してデータを照合する場合、局所 的で比較的明確な特徴を書き込むのと異なり、大域で直感的に把握しにくい状態変 化を書き込みのような形で付加すること自体が困難である。そのため、大域で直感的 に把握しにくい状態変化に対する対応が困難である。
[0009] 米国特許第 6556196号明細書に記載された画像処理方法では、予め用意された 雛形を用いて画像に状態特徴を与える。そのため、誰の顔画像を作成する場合であ つても、同じところに同じ状態変化の特徴が生じてしまう。例えば、誰の顔画像を作成 する場合であっても、同じところに同じ皺ができてしまう。
[0010] また、米国特許第 6556196号明細書に記載された画像処理方法では、照会顔に 適した状態特徴を付加する用途を想定して!/ヽな ヽので、作成した雛形が照会顔に適 した状態特徴のものであるか否か不明である。そのため、不自然な状態特徴を付カロ した顔画像が作成される可能性がある。
[0011] また、米国特許第 6556196号明細書に記載された画像処理方法では、どの程度 の状態の時にどのような変化を画像に与えるかを決定して状態変化を画像に付加す るという用途を想定していない。そのため、画像に付加する状態変化を決定する際の ユーザの作業負担が大きい。
[0012] そこで、本発明は、状態変化データを作成する際に、同一物体の相関関係にもと づいて物体の独自性を考慮した状態変化データを照合に用いることによって、状態 変化を伴うデータの照合性能を向上できるデータ照合方法、データ照合装置及びデ ータ照合プログラムを提供することを目的とする。
[0013] また、本発明は、統計的な状態変化を状態変化前のデータに付加し、大域的な状 態変化の特徴も付加した状態変化データを照合に用いることによって、状態変化を 伴うデータの照合性能を向上できるデータ照合方法、データ照合装置及びデータ照 合プログラムを提供することを目的とする。
[0014] また、本発明は、各状態カテゴリ間での構成成分の対応を与え、状態変化前のデ 一タに各年代の一般的な状態変化を付加した状態変化データを照合に用いることに よって、特定状態でのデータの照合性能を向上できるデータ照合方法、データ照合 装置及びデータ照合プログラムを提供することを目的とする。
[0015] さらに、本発明は、統計的な状態変化を状態変化前のデータに付加し、照合時に 作成する状態変化データを自動的に作成でき、データ照合時の作業者の負担を軽 減できるデータ照合方法、データ照合装置及びデータ照合プログラムを提供すること を目的とする。
[0016] 本発明によるデータ照合方法は、物体の測定量を所定の方法によって分解するこ とによって得られる構成成分を物体が取る複数の状態の各々と対応づけて蓄積する 構成成分蓄積ステップと、照合対象物体の測定量を複数の状態のうちの所定状態に おける構成成分に分解する成分分解ステップと、所定状態における構成成分に対応 するパラメータを、複数の状態のうちの所定状態とは異なる第 2状態における変換後 ノ ラメータに変換するパラメータ変換ステップと、構成成分蓄積ステップにおいて蓄 積され第 2状態に対応する構成成分と変換後パラメータとを用いて、照合対象物体 のデータに所定の状態変化を与えた状態変化データを作成する状態変化データ作 成ステップと、状態変化データと予め蓄積された照合データとを照合する照合ステツ プとを含む。そのような構成により、入力データに状態情報を付加したデータを用い て照合が行われる。その結果、状態変化を伴うデータの照合性能が向上する。
[0017] 本発明によるデータ照合方法において、所定の方法は主成分分析である。
[0018] 本発明によるデータ照合方法は、物体の測定量を所定の方法によって分解するこ とによって得られる構成成分を物体が取る複数の状態の各々と対応づけて蓄積する 構成成分蓄積ステップと、複数の状態のうちの第 1状態における構成成分に対応す るパラメータと第 2状態における構成成分に対応するパラメータとを学習を用いた変 換によって結びつける結合ステップと、第 1状態における照合対象物体のデータに対 して学習を用いた変換を用いて第 2状態におけるデータである状態変化データを作 成する状態変化データ作成ステップと、状態変化データと予め蓄積された照合デー タとを照合する照合ステップとを含む。そのような構成によれば、状態変化を伴うデー タの照合性能が向上する。更に、データ照合装置の構成が簡単化される。「学習」と は、例えば、同一人物の状態別データを学習データとして、ニューラルネットワークを 用いた変換によって顔画像を作成することである。
[0019] 本発明によるデータ照合方法において、照合対象の物体のデータは人物のバイオ メトリタスデータである。ノ ィオメトリタスデータとは、例えば、顔及び指紋に例示される 人体の部位の画像、声など音声の一次元データ、顔形状の三次元データである。
[0020] 本発明によるデータ照合方法において、複数の状態の各々は、経年変化における 異なった時点の状態に対応する。
[0021] 本発明によるデータ照合方法において、物体の測定量は顔の画像である。 [0022] 本発明によるデータ照合装置は、本発明によるデータ照合方法に含まれるステップ の各々を実行する機能を有するコンピュータである。本発明によるデータ照合プログ ラムは、本発明によるデータ照合方法をコンピュータに実行させる。
[0023] 本発明によるデータ照合方法は、照合対象の物体のデータを、データ群に含まれ る照合対象の物体に対応するデータと照合するデータ照合方法であって、照合用に 登録されたデータ群を予め蓄積する照合データ蓄積ステップと、照合対象のデータ を所定の状態時の構成成分に分解する成分分解ステップと、所定の状態時の構成 成分に対応するパラメータを、所定の状態時とは別の状態時のパラメータ (構成成分 の係数 ci, diによって実現される)に変換するパラメータ変換ステップと、状態別に分 けられたデータの構成成分を蓄積し、蓄積する構成成分とパラメータ変換ステップで 変換したパラメータとを用いて、照合対象のデータに所定の状態変化を与えた状態 変化データを作成する状態変化データ作成ステップと、状態変化データ作成ステツ プで作成した状態変化データと、照合データ蓄積ステップで蓄積した照合用データ 群とを照合する照合ステップとを含むことを特徴とする。
[0024] また、データ照合方法は、照合対象の物体のデータを、データ群に含まれる照合 対象の物体に対応するデータと照合するデータ照合方法であって、照合用に登録さ れたデータ群を予め蓄積する照合データ蓄積ステップと、状態別に分けられたデー タによる学習を用いた変換によって、所定の状態のデータを所定の状態とは別の状 態のデータに変化させた状態変化データを作成する状態変化データ作成ステップと 、状態変化データ作成ステップで作成した状態変化データと、照合データ蓄積ステツ プで蓄積した照合用データ群とを照合する照合ステップとを含むものであってもよい
[0025] また、データ照合方法は、人物のバイオメトリタスデータを、データ群に含まれる人 物に対応するバイオメトリタスデータと照合するデータ照合方法であって、照合用に 登録されたデータ群を予め蓄積する照合データ蓄積ステップと、照合対象のバイオメ トリタスデータを所定の状態時の構成成分に分解する成分分解ステップと、所定の状 態時の構成成分に対応するパラメータを、所定の状態時とは別の状態時のパラメ一 タに変換するパラメータ変換ステップと、状態別に分けられたバイオメトリタスデータの 構成成分を蓄積し、蓄積する構成成分とパラメータ変換ステップで変換したパラメ一 タとを用いて、照合対象のバイオメトリタスデータに所定の状態変化を与えた状態変 化データを作成する状態変化データ作成ステップと、状態変化データ作成ステップ で作成した状態変化データと、照合データ蓄積ステップで蓄積した照合用データ群 とを照合する照合ステップとを含むものであってもよい。
[0026] また、データ照合方法は、人物のバイオメトリタスデータを、データ群に含まれる人 物に対応するバイオメトリタスデータと照合するデータ照合方法であって、照合用に 登録されたデータ群を予め蓄積する照合データ蓄積ステップと、状態別に分けられ たバイオメトリタスデータによる学習を用いた変換によって、所定の状態のバイオメトリ タスデータを所定の状態とは別の状態のバイオメトリタスデータに変化させた状態変 化データを作成する状態変化データ作成ステップと、状態変化データ作成ステップ で作成した状態変化データと、照合データ蓄積ステップで蓄積した照合用データ群 とを照合する照合ステップとを含むものであってもよい。
[0027] また、データ照合方法は、成分分解ステップで、バイオメトリタスデータを所定の経 年時の構成成分に分解し、パラメータ変換ステップで、所定の経年時の構成成分に 対応するパラメータを、所定の経年時とは別の経年時のパラメータに変換し、状態変 化データ作成ステップで、経年別に分けられたバイオメトリタスデータの構成成分を 蓄積し、蓄積する構成成分とパラメータ変換ステップで変換したパラメータとを用いて 、バイオメトリタスデータに所定の経年変化を与えた経年変化データ (状態変化デー タによって実現される)を作成し、照合ステップで、状態変化作成ステップで作成した 経年変化データと、照合データ蓄積ステップで蓄積した照合用データ群とを照合す るものであってもよい。
[0028] また、データ照合方法は、状態変化データ作成ステップで、経年別に分けられたバ ィオメトリタスデータによる学習を用いた変換によって、所定の経年時のノ ィオメトリク スデータを所定の経年時とは別の経年時のバイオメトリタスデータに変化させた経年 変化データを作成し、照合ステップで、状態変化作成ステップで作成した経年変化 データと、照合データ蓄積ステップで蓄積した照合用データ群とを照合するものであ つてもよい。 [0029] また、データ照合方法は、照合対象の人物の顔画像を、顔画像群に含まれる人物 に対応する顔画像と照合するデータ照合方法であって、照合用に登録された顔画像 群を予め蓄積する照合データ蓄積ステップと、顔画像を所定の表情時の構成成分に 分解する成分分解ステップと、所定の表情時の構成成分に対応するパラメータを、所 定の表情時とは別の表情時のパラメータに変換するパラメータ変換ステップと、表情 別に分けられた顔画像の構成成分を蓄積し、蓄積する構成成分とパラメータ変換ス テツプで変換したパラメータとを用いて、顔画像に所定の表情変化を与えた表情変 化データ (状態変化データによって実現される)を作成する表情変化データ作成ステ ップと、表情変化データ作成ステップで作成した表情変化データと、照合データ蓄積 ステップで蓄積した照合用データ群とを照合する照合ステップとを含むものであって ちょい。
[0030] また、データ照合方法は、照合対象の人物の顔画像を、顔画像群に含まれる人物 に対応する顔画像と照合するデータ照合方法であって、照合用に登録された顔画像 群を予め蓄積する照合データ蓄積ステップと、表情別に分けられた顔画像による学 習を用いた変換によって、所定の表情時の顔画像を所定の表情時とは別の表情時 の顔画像に変化させた表情変化データを作成する表情変化データ作成ステップと、 表情変化データ作成ステップで作成した表情変化データと、照合データ蓄積ステツ プで蓄積した照合用データ群とを照合する照合ステップとを含むものであってもよい
[0031] 本発明によるデータ照合装置は、照合対象の物体のデータを、データ群に含まれ る照合対象の物体に対応するデータと照合するデータ照合装置であって、照合対象 のデータを所定の状態時の構成成分に分解する成分分解手段 (成分分析手段 101 によって実現される)と、所定の状態時の構成成分に対応するパラメータを、所定の 状態時とは別の状態時のパラメータに変換するパラメータ変換手段 (成分係数変換 手段 103によって実現される)と、状態別に分けられたデータの構成成分を蓄積し、 蓄積する構成成分とパラメータ変換手段が変換したパラメータとを用いて、照合対象 のデータに所定の状態変化を与えた状態変化データを作成する状態変化データ作 成手段 (状態変化データ作成手段 102によって実現される)と、照合用に登録された データ群を予め蓄積する照合データ蓄積手段 (照合データ蓄積手段 104によって実 現される)と、状態変化データ作成手段が作成した状態変化データと、照合データ蓄 積手段が蓄積する照合用データ群とを照合する照合手段 (照合手段 105によって実 現される)とを備えたことを特徴とする。
[0032] また、データ照合装置は、照合対象の物体のデータを、データ群に含まれる照合 対象の物体に対応するデータと照合するデータ照合装置であって、状態別に分けら れたデータによる学習を用いた変換によって、所定の状態のデータを所定の状態と は別の状態のデータに変化させた状態変化データを作成する状態変化データ作成 手段 (状態変化データ作成手段 102bによって実現される)と、照合用に登録された データ群を予め蓄積する照合データ蓄積手段と、状態変化データ作成手段が作成 した状態変化データと、照合データ蓄積手段が蓄積する照合用データ群とを照合す る照合手段とを備えたものであってもよい。そのような構成によれば、状態変化を伴う データの照合性能を向上させることができるとともに、データ照合装置の構成を簡単 ィ匕することがでさる。
[0033] また、データ照合装置は、人物のバイオメトリタスデータを、データ群に含まれる人 物に対応するバイオメトリタスデータと照合するデータ照合装置であって、照合対象 のバイオメトリタスデータを所定の状態時の構成成分に分解する成分分解手段と、所 定の状態時の構成成分に対応するパラメータを、所定の状態時とは別の状態時のパ ラメータに変換するパラメータ変換手段と、状態別に分けられたバイオメトリクスデ一 タの構成成分を蓄積し、蓄積する構成成分とパラメータ変換手段が変換したパラメ一 タとを用いて、照合対象のバイオメトリタスデータに所定の状態変化を与えた状態変 化データを作成する状態変化データ作成手段と、照合用に登録されたデータ群を予 め蓄積する照合データ蓄積手段と、状態変化データ作成手段が作成した状態変化 データと、照合データ蓄積手段が蓄積する照合用データ群とを照合する照合手段と を備えたものであってもよ 、。
[0034] また、データ照合装置は、人物のバイオメトリタスデータを、データ群に含まれる人 物に対応するバイオメトリタスデータと照合するデータ照合装置であって、状態別に 分けられたバイオメトリタスデータによる学習を用いた変換によって、所定の状態のバ ィオメトリタスデータを所定の状態とは別の状態のバイオメトリタスデータに変化させた 状態変化データを作成する状態変化データ作成手段と、照合用に登録されたデー タ群を予め蓄積する照合データ蓄積手段と、状態変化データ作成手段が作成した状 態変化データと、照合データ蓄積手段が蓄積する照合用データ群とを照合する照合 手段とを備えたものであってもよ 、。
[0035] また、成分分解手段は、バイオメトリタスデータを所定の経年時の構成成分に分解 し、ノ メータ変換手段は、所定の経年時の構成成分に対応するパラメータを、所定 の経年時とは別の経年時のパラメータに変換し、状態変化データ作成手段は、経年 別に分けられたバイオメトリタスデータの構成成分を蓄積し、蓄積する構成成分とパラ メータ変換手段が変換したパラメータとを用いて、バイオメトリタスデータに所定の経 年変化を与えた経年変化データを作成し、照合手段は、状態変化作成手段が作成 した経年変化データと、照合データ蓄積手段が蓄積する照合用データ群とを照合す るものであってもよい。
[0036] また、状態変化データ作成手段は、経年別に分けられたバイオメトリタスデータによ る学習を用いた変換によって、所定の経年時のノ ィオメトリタスデータを所定の経年 時とは別の経年時のバイオメトリタスデータに変化させた経年変化データを作成し、 照合手段は、状態変化作成手段が作成した経年変化データと、照合データ蓄積手 段が蓄積する照合用データ群とを照合するものであってもよい。
[0037] また、データ照合装置は、照合対象の人物の顔画像を、顔画像群に含まれる人物 に対応する顔画像と照合するデータ照合装置であって、顔画像を所定の表情時の 構成成分に分解する成分分解手段と、所定の表情時の構成成分に対応するパラメ ータを、所定の表情時とは別の表情時のノ メータに変換するパラメータ変換手段と 、表情別に分けられた顔画像の構成成分を蓄積し、蓄積する構成成分とパラメータ 変換手段が変換したパラメータとを用いて、顔画像に所定の表情変化を与えた表情 変化データを作成する表情変化データ作成手段 (状態変化データ作成手段 102に よって実現される)と、照合用に登録された顔画像群を予め蓄積する照合データ蓄積 手段と、表情変化データ作成手段が作成した表情変化データと、照合データ蓄積手 段が蓄積する照合用データ群とを照合する照合手段とを備えたものであってもよい。 [0038] また、データ照合装置は、照合対象の人物の顔画像を、顔画像群に含まれる人物 に対応する顔画像と照合するデータ照合装置であって、表情別に分けられた顔画像 による学習を用いた変換によって、所定の表情時の顔画像を所定の表情時とは別の 表情時の顔画像に変化させた表情変化データを作成する表情変化データ作成手段 (状態変化データ作成手段 102bによって実現される)と、照合用に登録された顔画 像群を予め蓄積する照合データ蓄積手段と、表情変化データ作成手段が作成した 表情変化データと、照合データ蓄積手段が蓄積する照合用データ群とを照合する照 合手段とを備えたものであってもよ 、。
[0039] 本発明によるデータ照合プログラムは、照合対象の物体のデータを、データ群に含 まれる照合対象の物体に対応するデータと照合するためのデータ照合プログラムで あって、照合用に登録されたデータ群を予め蓄積する照合データ蓄積手段を備えた コンピュータに、照合対象のデータを所定の状態時の構成成分に分解する処理と、 所定の状態時の構成成分に対応するパラメータを、所定の状態時とは別の状態時の パラメータに変換する処理と、状態別に分けられたデータの構成成分を蓄積し、蓄積 する構成成分と変換したパラメータとを用いて、照合対象のデータに所定の状態変 化を与えた状態変化データを作成する処理と、作成した状態変化データと、照合デ ータ蓄積手段が蓄積する照合用データ群とを照合する処理とを実行させることを特 徴とする。
[0040] また、データ照合プログラムは、照合対象の物体のデータを、データ群に含まれる 照合対象の物体に対応するデータと照合するためのデータ照合プログラムであって 、照合用に登録されたデータ群を予め蓄積する照合データ蓄積手段を備えたコンビ ユータに、状態別に分けられたデータによる学習を用いた変換によって、所定の状態 のデータを所定の状態とは別の状態のデータに変化させた状態変化データを作成 する処理と、作成した状態変化データと、照合データ蓄積手段が蓄積する照合用デ ータ群とを照合する処理とを実行させるものであってもよい。そのような構成によれば 、状態変化を伴うデータの照合性能を向上させることができるとともに、データ照合装 置の構成を簡単ィ匕することができる。
[0041] 本発明によれば、状態変化データを作成して照合を行うので、状態変化物体に対 して、ある時点における物体のデータのみを用いて精度の高い照合を行うことができ る。従って、状態変化データを作成する際に、同一物体の相関関係にもとづいて物 体の独自性を考慮した状態変化データを照合に用いることによって、状態変化を伴う データの照合性能を向上させることができる。
[0042] 本発明によれば、ある状態における画像や音声などのバイオメトリタスデータしかな い場合であっても、状態変化時のデータを作成して登録情報と照合することによって 、セキュリティシステムにおける本人識別や犯罪搜查、学術調査時の照合等の性能 を向上させることができる。
図面の簡単な説明
[0043] [図 1]本発明によるデータ照合装置の構成の一例を示すブロック図である。
[図 2]データ照合装置が顔画像を照合するデータ照合処理の一例を示す流れ図であ る。
[図 3]データ照合装置の他の構成例を示すブロック図である。
[図 4]データ照合装置が顔画像を照合するデータ照合処理の他の例を示す流れ図 である。
[図 5]成分分析装置の構成の一例を示すブロック図である。
[図 6]状態変化作成装置の構成の一例を示すブロック図である。
[図 7]成分係数変換装置の構成の一例を示すブロック図である。
[図 8]状態変化データ作成装置の構成の一例を示すブロック図である。
発明を実施するための最良の形態
[0044] 実施の形態 1.
以下、本発明の第 1の実施の形態を図面を参照して説明する。図 1は、本発明によ るデータ照合装置の構成の一例を示すブロック図である。ここでは、状態変化の種類 が経年変化であり、状態変化データとして顔画像を用い、データ照合装置を用いて、 ある時点における顔画像と別の時点における顔画像とを照合する場合を説明する。
[0045] なお、状態変化が経年変化である場合に限らず、データ照合装置は、顔の表情変 化など他の状態変化を伴うデータを照合するものであってもよい。また、状態変化デ ータは、顔画像に限らず、指紋など人体の他の部位の画像や、声など音声の一次元 データ、顔形状の三次元データなどのバイオメトリタスデータであってもよい。また、状 態変化データは、人間以外の動物や植物のデータ、生物と同様に個別の特性を持 ちながら経年変化をする物体に関するデータであってもよい。
[0046] 図 1に示すように、データ照合装置は、入力データ 11の成分を分析する成分分析 手段 101と、入力データ 11の状態 (経年)変化データを作成する状態変化データ作 成手段 102と、状態 (経年)別データベース間を関連づける成分係数変換手段 103 と、照合用データを予め蓄積する照合データ蓄積手段 104と、状態 (経年)変化デー タと照合データ蓄積手段 104が蓄積するデータとを照合する照合手段 105とを含む
[0047] また、状態変化データ作成手段 102は、状態 (経年)別に分類されたデータの構成 成分を蓄積した複数の状態 (経年)別データベース DB1, · · · , DBi, · · · , DBnを有 する。それらのデータベースの各々には、物体の測定量を主成分分析などの所定の 方法によって分解することによって得られる構成成分が蓄積される。以下、状態別デ ータベース DBl〜DBnを包括的に表現する場合、または、いずれかの状態別デー タベースを指す場合に、単に状態別データベースと 、う。
[0048] 本実施の形態にぉ 、て、照合データ蓄積手段 104は、例えば、磁気ディスク装置 によって実現される。成分分析手段 101、成分係数変換手段 103及び照合手段 105 は、例えば、コンピュータにおける中央処理部及び中央処理部が実行するプログラム によって実現される。状態変化データ作成手段 102は、例えば、磁気ディスク装置、 コンピュータにおける中央処理部及び中央処理部が実行するプログラムによって実 現される。
[0049] 成分分析手段 101は、入力データ 11である顔画像の状態 (経年)情報 12に対応し た状態別データベース DBi中の構成成分を用いて、最も誤差が小さくなるように顔画 像を再構成する機能を備える。本実施の形態では、成分分析手段 101は、例えば、 状態変化データ作成手段 102が入力した状態情報 12にもとづいて、入力データ 11 の顔画像の状態に対応した状態別データベース DBiを選択し、顔画像を再構成する
[0050] 例えば、成分分析を行う場合、主成分分析などの線形成分分析が用いられることが 多い。顔画像を主成分の線形結合で構成した場合、顔画像は、式(1)で表される。
[0051] 式(1)
Ip = clPl + c2P2H h cmPm (Pi:主成分、 ci:係数)
[0052] 本実施の形態では、成分分析手段 101として、式(1)で表される顔画像のうち、入 力顔画像 10との誤差が最も小さくなる最小誤差係数組 ciが選択される。成分分析手 段 101は、選択した最小誤差係数選択組 ciを、状態変化データ作成手段 102の状 態別データベース DBiを介して、成分係数変換手段 103に送る。
[0053] 状態変化データ作成手段 102は、状態 (経年)別に分類されたデータの構成成分 を蓄積する複数の状態別データベース DB1, · · · , DBi, · · · , DBnを有する。また、 状態変化データ作成手段 102は、成分分析手段 101が計算した各状態別データべ ースに対する係数組 ciを、成分係数変換手段 103に渡す機能を備える。
[0054] また、状態変化データ作成手段 102は、成分分析手段 101が選択した状態別デー タベースとは別の状態別データベース用に成分係数変換手段 103が変換した係数 組 diと、その別の状態別データベース内の構成成分とを用いて顔画像を再構成する 機能を備える。また、状態変化データ作成手段 102は、再構成顔画衞 pを状態 (経 年)変化データとして照合手段 105に送る機能を備える。再構成顔画衞 pは、主成 分分析を用いる場合、状態別データベース内の主成分 Qiの係数組 diによる線形結 合として、式(2)を用いて表される。
[0055] 式(2)
Jp = dlQl +d2Q2H hdmQm
[0056] 状態別データベース DBiは、所定の計算によって、ある年代の顔画像 {Al, A2, ·
· · , Ai, · · · , Ap}から各画像を構成する要素のうちの重要要素 {Ul, U2, · · · , Uj , · · · , Up}に変換して作成した成分を構成成分として蓄積する。例えば、主成分分 析を用いる場合、状態別データベースは、各画像の画素 Ai (x, y)を列ベクトルとして 並べた行列を特異値分化した値を構成成分として蓄積する。この場合、各画像の画 素 Ai(x, y)を列ベクトルとして並べた行列は、式(3)で表される。
[0057] [数 1] A=
Figure imgf000016_0001
式 (3)
[0058] 状態別データベースは、式(3)で表される行列を、式 (4)で表される特異値分解に よって求めた直交行列の前半の p個の列ベクトル {Ul, U2, ···, Uj, ···, Up}を構 成成分として蓄積する。
[0059] 式(4)
A=USVt
[0060] なお、式 (4)において、 Sは、対角成分以外の要素が 0であり、対角成分が絶対値 の降順に並べた行列である。
[0061] また、各状態別データベースを対応付けるため、 2つの状態別データベース間にお いて、それぞれ同一人物の顔画像を使用する成分数だけ予め用意する。例えば、構 成成分を 30個使用する場合、 2つの状態別データベースにおいて、 30人以上分の 両状態 (経年)時の顔画像を用意してそれぞれの状態別データベースの構成成分を 作成し、予め蓄積させる。
[0062] 成分係数変換手段 103は、状態別データベースの構成成分に乗ずる係数を変換 する機能を備える。例えば、主成分分析を用いる場合を例に説明する。
[0063] 例えば、 2つの状態別データベース DBi, DBjを用い、データベース DBi, DBjの 主成分をそれぞれ Pi (i=l, ···, n)及び Qj(j = l, ···, n)とし、それら主成分の係 数をそれぞれ ci (i=l, ···, n)及び dj (j = l, ···, n)とする。この場合、係数 から 係数 djへの変換を行うために、同一人物の顔でデータベース DBi及び DBjにそれぞ れ対応する状態 (経年)双方に属する複数の顔画像 Ip, Jpを用いる。ここで、顔画像 I P, JPは、式(1)を用いて、それぞれ式(5)及び式 (6)で表される。
[0064] 式(5) Ip = clPl + c2P2H h cnPn
[0065] 式(6)
Jp = dlQl +d2Q2H hdnQn
[0066] 従って、係数 dから係数 djへの変換を線形変換 Tと仮定し、人物 Aの係数組 {CiA,
DjA}及び人物 Bの係数組 {CiB, DjB} , · · ·とすると、人物 Bの係数組 {CiB, DjB} ,
· · ·は、式(7)で表される。
[0067] 式(7)
[DjA, DjB, •••] =T[CiA, CiB, · · · ]
[0068] ここで、式(7)において、 CiA, DjAは、式(4)及び式(5)における係数 ci, djを縦 に並べた列ベクトルである。よって、線形変換 Tは、 C= [CiA, CiB, · · · ] , D= [Dj
A, DjB, · · ·]とすると、式 (8)を用いて計算できる。
[0069] 式(8)
T=DCt(CCt) "1
[0070] なお、成分係数変換手段 103は、 c も djへの変換を非線形な変換を用いて行つ てもよい。例えば、成分係数変換手段 103は、同一人物の顔でデータベース DBi及 び DBjにそれぞれ対応する係数組 {ci, dj }を学習データとして、ニューラルネットヮー クを用いて係数変換を行ってもょ ヽ。
[0071] 照合データ蓄積手段 104は、照合用のデータを蓄積するデータベースであり、予 め照合用に登録されたデータを蓄積する。照合データ蓄積手段 104は、例えば、通 常の照合用装置のデータストレージ部によって実現される。照合データ蓄積手段 10 4は、例えば、照合用データとして、人物の現在の顔画像や無表情の顔画像のデー タ群を予め蓄積する。
[0072] 照合手段 105は、状態変化データ作成手段 102が作成した状態変化データと、照 合データ蓄積手段 104が蓄積する登録データとを比較して照合し、照合結果 18を出 力する機能を備える。例えば、照合手段 105は、状態 (経年)変化データと登録デー タとの差分を求め、求めた差分が最も小さいデータを本人のデータと判断する。なお 、差分を求める方法に限らず、照合手段 105は、他の照合方法を用いて照合を行つ てもよい。 [0073] また、照合手段 105は、図 1に示すように、状態変化データ作成手段 102が作成し た複数の状態変化データを登録データと照合する。従って、照合手段 105は、複数 の状態変化データと登録データとを照合し、全体で最も差分が小さ 、データを本人 のデータとみなすことによって、状態 (経年)変化に対応した照合を行うことができる。 なお、照合データベース (照合データ蓄積手段 104)が蓄積するデータの状態 (経年 )が既知である場合、照合手段 105は、登録データに対応する状態 (年代)だけの状 態変化データを登録データと照合するようにしてもよい。そのようにすれば、照合時 間を短縮することができる。
[0074] 次に、動作について説明する。図 2は、データ照合装置が顔画像を照合するデータ 照合処理の一例を示す流れ図である。成分分析手段 101は、ユーザの入力操作に 従って、照合対象の入力データ 11を入力する (ステップ S101)。本例では、成分分 析手段 101は、入力データ 11として照合対象の顔画像を入力する。
[0075] また、状態変化データ作成手段 102は、ユーザの入力操作に従って、入力データ 11の状態を示す状態情報 12を入力する (ステップ S102)。例えば、状態変化データ 作成手段 102は、状態情報 12として、入力データ 11の顔画像の人物の年齢や年齢 帯 (年代)を入力する。また、例えば、状態変化データ作成手段 102は、状態情報 12 として、喜怒など入力データ 11の顔画像の表情を示す情報を入力する。
[0076] 成分分析手段 101は、状態変化データ作成手段 102の状態別データベース DBの うち、状態情報 12にもとづいて照合対象の入力データ 11の状態に対応する状態別 データベース DBiを選択する (ステップ S 103)。また、成分分析手段 101は、選択し た状態別データベースから構成成分を抽出して入力データ 11を分析し、構成成分 係数を計算する (ステップ S104)。また、成分分析手段 101は、計算した構成成分係 数を、状態変化データ作成手段 102の状態別データベースを介して、成分係数変換 手段 103に送る。
[0077] 成分係数変換手段 103は、成分分析手段 101が計算した構成成分係数を、成分 分析手段 101が選択した状態別データベースとは別の状態別データベースに対応 する構成成分係数に変換する (ステップ S105)。状態変化データ作成手段 102は、 変換後の構成成分係数に対応する状態別データベースから構成成分を抽出し、成 分係数変換手段 103が変換した構成成分係数と抽出した構成成分とにもとづいて状 態変化データを作成する (ステップ S 106)。
[0078] 照合手段 105は、照合データ蓄積手段 104から登録データを抽出する。そして、照 合手段 105は、状態変化データ作成手段 102が作成した状態変化データと、照合デ ータ蓄積手段 104が蓄積する登録データとを照合して、照合結果 18を出力する (ス テツプ S 108)。
[0079] 以上のように、本実施の形態によれば、状態変化前や状態変化後のデータを作成 して照合を行うので、状態変化物体に対して、ある時点における物体のデータのみを 用いて精度の高い照合を行うことができる。従って、状態変化データを作成する際に 、同一物体の相関関係にもとづいて物体の独自性を考慮した状態変化データを照 合に用いることによって、状態変化を伴うデータの照合性能を向上させることができる
[0080] また、本実施の形態では、物体の特徴を構成成分に分解するので、手動では表現 しにくい統計的な状態特徴も利用して精度の高い照合を行うことができる。従って、 統計的な状態変化を状態変化前のデータに付加し、大域的な状態変化の特徴も付 カロした状態変化データを照合に用いることによって、状態変化を伴うデータの照合性 能を向上させることができる。
[0081] また、本実施の形態によれば、時間軸に関係なく処理できるので、状態変化として 経年変化を与える処理を行う場合に、加齢変化だけでなぐ若くなる方向への経年変 化など他の経年変化に対しても精度の高い照合を行うことができる。
[0082] また、本実施の形態によれば、複数の状態の状態変化データを作成して照合に用 いることができるので、複数の状態変化に対応することによって精度の高い照合を行 うことができる。また、本実施の形態によれば、各状態カテゴリ間での構成成分の対 応を与え、状態変化前のデータに各年代の一般的な状態変化を付加した状態変化 データを照合に用いることによって、特定状態でのデータの照合性能を向上させるこ とがでさる。
[0083] また、本実施の形態によれば、照合時に作成される状態変化の付加を自動で行え るので、照合時の作業者の負担を軽減できる。従って、統計的な状態変化を状態変 化前のデータに付加し、照合時に作成する状態変化データを自動的に作成でき、デ ータ照合時の作業者の負担を軽減することができる。
[0084] さらに、本実施の形態によれば、既存の多くの照合システムを利用してデータ照合 装置を実現できるので、容易にシステム (データ照合装置)を組み立てたり、システム を変更したりすることができる。
[0085] 実施の形態 2.
次に、本発明の第 2の実施の形態を図面を参照して説明する。図 3は、データ照合 装置の他の構成例を示すブロック図である。本実施の形態において、データ照合装 置は、図 1で示した構成要素のうち、成分分析手段 101及び成分係数変換手段 103 を含まない点において第 1の実施の形態と異なる。また、本実施の形態では、データ 照合装置の状態変化データ作成手段 102bの処理内容が、第 1の実施の形態で示 した状態変化データ作成手段 102の処理内容と異なる。
[0086] 本実施の形態では、状態変化データ作成手段 102bは、入力データ 11である顔画 像を、その入力データ 11の状態 (経年)情報 12に対応する状態別データベースに対 して入力する。状態変化データ作成手段 102bは、入力データ 11に対応する状態別 データベース以外の他の状態別データベースに入力データ 11を直接送り、入力デ ータ 11の状態以外の他の状態 (経年)の顔画像 (状態変化データ)を作成する。そし て、状態変化データ作成手段 102bは、作成した顔画像を照合手段 105に送る。
[0087] 本実施の形態では、状態変化データ作成手段 102bは、構成成分を用いずに、あ る状態から他の状態に顔画像を直接変換して状態変化データを作成する。そのため 、各状態別データベース間において、同一人物の状態 (経年)別に分類されたデー タを予め蓄積して-ユーラルネットワークを形成しておく。そして、状態変化データ作 成手段 102bは、予め形成された-ユーラルネットワークを用いて、変換した顔画像を 作成する。本実施の形態では、例えば、状態変化データ作成手段 102bは、予め蓄 積する同一人物の状態別データを学習データとして、ニューラルネットワークを用い て変換処理を行うことによって顔画像を作成する。
[0088] 本実施の形態では、第 1の実施の形態と比較して、ニューラルネットワークにおいて 学習するために大量の同一人物の状態別データが必要となる力 データ照合装置 の構成を簡単ィ匕することができる。
[0089] 次に、動作について、説明する。図 4は、データ照合装置が顔画像を照合するデー タ照合処理の他の例を示す流れ図である。状態変化データ作成手段 102bは、ユー ザの入力操作に従って、照合対象の入力データ 11を入力する (ステップ S201)。本 例では、状態変化データ作成手段 102bは、入力データ 11として照合対象の顔画像 を入力する。
[0090] また、状態変化データ作成手段 102bは、ユーザの入力操作に従って、入力データ 11の状態を示す状態情報 12を入力する (ステップ S202)。例えば、状態変化データ 作成手段 102bは、入力データ 11の顔画像の人物の年齢や年齢帯 (年代)を入力す る。また、例えば、状態変化データ作成手段 102bは、状態情報 12として、喜怒など 入力データ 11の顔画像の表情を示す情報を入力する。
[0091] 状態変化データ作成手段 102bは、入力データ 11を、入力データ 11の状態以外 の状態 (年代)の状態変化データに変換する (ステップ S203)。この場合、状態変化 データ作成手段 102bは、状態情報 12にもとづいて、学習済み-ユーラルネットヮー クを用いて状態変化データを作成する。
[0092] 照合手段 105は、照合データ蓄積手段 104から登録データを抽出する。そして、照 合手段 105は、状態変化データ作成手段 102bが作成した状態変化データと、照合 データ蓄積手段 104が蓄積する登録データとを照合して、照合結果 18を出力する( ステップ S 204)。
[0093] 以上のように、本実施の形態によれば、データ照合装置は、第 1の実施の形態で示 した成分分析手段 101及び成分係数変換手段 103を備えなくても、第 1の実施の形 態で示したデータ照合装置と同様の効果を得ることができる。従って、状態変化を伴 うデータの照合性能を向上させることができるとともに、データ照合装置の構成を簡 単ィ匕することができる。
[0094] 実施の形態 3.
次に、本発明の第 3の実施の形態を図面を参照して説明する。本実施の形態は、 第 1の実施の形態におけるデータ照合装置を具体的に装置化したものに相当する。 本実施の形態おいて、データ照合装置は、成分係数変換手段 103を装置化した成 分係数変換装置と、状態変化データ作成手段 102を装置化した状態変化作成装置 と、成分分析手段 101を装置化した成分分析装置と、照合データ蓄積手段 104を装 置化した照合データ蓄積装置と、照合手段 105を装置化した照合装置とを含む。
[0095] 図 5は、成分分析手段 101を装置化した成分分析装置 101aの構成の一例を示す ブロック図である。図 5に示すように、成分分析装置 101aは、演算装置 101b、入力 データストレージ装置 101c及び構成成分ストレージ装置 101dを含む。
[0096] 入力データストレージ装置 101cは、具体的には、メモリや磁気ディスク装置によつ て実現される。入力データストレージ装置 101cは、入力データ 11である顔画像を蓄 積する機能を備える。構成成分ストレージ装置 101dは、具体的には、メモリや磁気 ディスク装置によって実現される。構成成分ストレージ装置 101dは、状態変化データ 作成手段 102を装置化した状態変化作成装置 102aから送られる構成成分を蓄積す る機能を備える。
[0097] 演算装置 101bは、具体的には、プログラムに従って動作する CPUによって実現さ れる。演算装置 101bは、入力データ 11及び構成成分を用いたデータ処理を行う。 演算装置 101bは、入力データストレージ装置 101cが蓄積する顔画像と、構成成分 ストレージ装置 101dが蓄積する構成成分とにもとづいて、第 1の実施の形態で示し た成分分析手段 101と同様の計算処理を実行し構成成分係数を求める。そして、演 算装置 101bは、求めた構成成分係数を状態変化作成装置 102aに送る。
[0098] 図 6は、状態変化データ作成手段 102を装置化した状態変化作成装置 102aの構 成の一例を示すブロック図である。図 6に示すように、状態変化作成装置 102aは、演 算装置 102c、状態別構成成分ストレージ装置 102d及び状態選別装置 102eを含む
[0099] 状態選別装置 102eは、具体的には、切り替え用の半導体回路などによって実現さ れる。状態選別装置 102eは、状態情報 12にもとづいて、成分分析装置 101aに送る 構成成分を抽出する状態別データベースを選択する機能を備える。状態別構成成 分ストレージ装置 102dは、具体的には、メモリや磁気ディスク装置によって実現され る。状態別構成成分ストレージ装置 102dは、状態別に顔画像の構成成分を蓄積す る機能を備える。演算装置 102cは、具体的には、プログラムに従って動作する CPU によって実現される。演算装置 102cは、状態別の顔画像の構成成分と構成成分係 数とにもとづいて状態変化データを作成する機能を備える。
[0100] 本実施の形態では、状態選別装置 102eは、状態情報 12に対応する状態別デー タベースを選択し、その選択したデータベースから構成成分を抽出して成分分析装 置 101aに送る。また、状態選別装置 102eは、成分分析装置 101aが計算した構成 成分係数を、成分係数変換手段 103を装置化した成分係数変換装置 103aに送る。 演算装置 102cは、成分係数変換装置 103aが変換した構成成分係数と、その変換 後の構成成分係数に対応する状態別データベースの構成成分とにもとづいて、式( 2)を用いて計算し状態変化データを作成する。
[0101] 図 7は、成分係数変換手段 103を装置化した成分係数変換装置 103aの構成の一 例を示すブロック図である。図 7に示すように、成分係数変換装置 103aは、演算装置 103bを含む。演算装置 103bは、具体的には、プログラムに従って動作する CPUに よって実現される。演算装置 103bは、状態変化作成装置 102aからの構成成分係数 を、その構成成分係数に対応する状態別データベースとは別の状態別データベース に対応する構成成分係数に変換する機能を備える。なお、演算装置 103bは、第 1の 実施の形態で示した成分係数変換手段 103と同様の変換方法を用いて、構成成分 係数を変換する。
[0102] 照合データ蓄積手段 104を装置化した照合データ蓄積装置は、具体的には、メモ リゃ磁気ディスク装置などストレージ装置によって実現される。
[0103] 照合手段 105を装置化した照合装置 105aは、照合方法によって装置の構成が多 少異なりうる力 具体的には、メモリや磁気ディスク装置などストレージ装置、及びプロ グラムに従って動作する CPUなど演算装置を備えた計算機によって実現される。
[0104] 実施の形態 4.
次に、本発明の第 4の実施の形態を図面を参照して説明する。本実施の形態は、 第 2の実施の形態におけるデータ照合装置を具体的に装置化したものに相当する。 本実施の形態において、データ照合装置は、状態変化データ作成手段 102bを装置 化した状態変化作成装置と、照合データ蓄積手段 104を装置化した照合データ蓄 積装置と、照合手段 105を装置化した照合装置とを含む。 [0105] 本実施の形態において、照合データ蓄積装置及び照合装置の構成は、第 3の実 施の形態で示した照合データ蓄積装置及び照合装置 105aの構成と同様である。
[0106] 図 8は、状態変化データ作成手段 102bを装置化した状態変化データ作成装置 10 2fの構成の一例を示すブロック図である。図 8に示すように、状態変化データ作成装 置 102fは、状態選別装置 102g及び演算装置 102iを含む。
[0107] 状態選別装置 102gは、具体的には、切り替え用の半導体回路などによって実現さ れる。状態選別装置 102gは、入力データ 11及び状態 (経年)情報 12を入力すると、 演算装置 102iのうち、状態情報 12で示す状態以外の他の状態に入力データ 11を 変換する-ユーラルネットワーク演算を行う演算装置 102iに入力画像 (入力データ) 11を送る。演算装置 102iは、具体的には、プログラムに従って動作する CPUによつ て実現される。演算装置 102iは、それぞれ入力データ 11を状態情報 12で示す状態 とは別の状態の顔画像に変換して状態変化データを作成し、照合装置 105aに出力 する。
[0108] なお、第 1の実施の形態において、データ照合装置が行うデータ照合方法を計算 機上で実行可能なデータ照合プログラムによって実現してもよい。そして、そのデー タ照合プログラムを計算機で読み取り自在な情報記録媒体に格納して、計算機に読 み込ませることによって、計算機上において第 1の実施の形態で示したデータ照合処 理を実行するようにしてもょ 、。
[0109] 例えば、コンピュータに、照合対象のデータを所定の状態時の構成成分に分解す る処理と、所定の状態時の構成成分に対応するパラメータを、所定の状態時とは別 の状態時のパラメータに変換する処理と、状態別に分けられたデータの構成成分を 蓄積し、蓄積する構成成分と変換したパラメータとを用いて、照合対象のデータに所 定の状態変化を与えた状態変化データを作成する処理と、作成した状態変化データ と、照合データ蓄積手段が蓄積する照合用データ群とを照合する処理とを実行させ るためのデータ照合プログラムを計算機に読み込ませることによって、データ照合処 理を実行するようにしてもょ 、。
[0110] また、第 2の実施の形態において、データ照合装置が行うデータ照合方法を計算 機上で実行可能なデータ照合プログラムによって実現してもよい。そして、そのデー タ照合プログラムを計算機で読み取り自在な情報記録媒体に格納して、計算機に読 み込ませることによって、計算機上において第 2の実施の形態で示したデータ照合処 理を実行するようにしてもょ 、。
例えば、コンピュータに、状態別に分けられたデータによる学習を用いた変換によ つて、所定の状態のデータを所定の状態とは別の状態のデータに変化させた状態変 化データを作成する処理と、作成した状態変化データと、照合データ蓄積手段が蓄 積する照合用データ群とを照合する処理とを実行させるためのデータ照合プログラム を計算機に読み込ませることによって、データ照合処理を実行するようにしてもょ 、。

Claims

請求の範囲
[1] 物体の測定量を所定の方法によって分解することによって得られる構成成分を前 記物体が取る複数の状態の各々と対応づけて蓄積する構成成分蓄積ステップと、 照合対象物体の測定量を前記複数の状態のうちの所定状態における前記構成成 分に分解する成分分解ステップと、
前記所定状態における前記構成成分に対応するパラメータを、前記複数の状態の うちの前記所定状態とは異なる第 2状態における変換後パラメータに変換するパラメ ータ変換ステップと、
前記構成成分蓄積ステップにおいて蓄積され前記第 2状態に対応する前記構成 成分と前記変換後パラメータとを用いて、前記照合対象物体のデータに所定の状態 変化を与えた状態変化データを作成する状態変化データ作成ステップと、
前記状態変化データと予め蓄積された照合データとを照合する照合ステップ とを具備するデータ照合方法。
[2] 前記所定の方法は主成分分析である
請求項 1に記載のデータ照合方法。
[3] 物体の測定量を所定の方法によって分解することによって得られる構成成分を前 記物体が取る複数の状態の各々と対応づけて蓄積する構成成分蓄積ステップと、 前記複数の状態のうちの第 1状態における前記構成成分に対応するパラメータと前 記第 2状態における前記構成成分に対応するパラメータとを学習を用いた変換によ つて結びつける結合ステップと、
第 1状態における前記照合対象物体のデータに対して前記学習を用いた変換を用 いて前記第 2状態におけるデータである状態変化データを作成する状態変化データ 作成ステップと、
前記状態変化データと予め蓄積された照合データとを照合する照合ステップ とを具備するデータ照合方法。
[4] 前記照合対象の物体のデータは人物のバイオメトリタスデータである
請求項 1乃至 3に記載のデータ照合方法。
[5] 前記複数の状態の各々は、経年変化における異なった時点の状態に対応する 請求項 1乃至 4に記載のデータ照合方法。
[6] 前記物体の測定量は顔の画像である
請求項 1乃至 5に記載のデータ照合方法。
[7] 物体の測定量を所定の方法によって分解することによって得られる構成成分を前 記物体が取る複数の状態の各々と対応づけて蓄積する構成成分蓄積部と、 照合対象物体の測定量を前記複数の状態のうちの所定状態における前記構成成 分に分解する成分分解部と、
前記所定状態における前記構成成分に対応するパラメータを、前記複数の状態の うちの前記所定状態とは異なる第 2状態における変換後パラメータに変換するパラメ ータ変換部と、
前記構成成分蓄積ステップにおいて蓄積され前記第 2状態に対応する前記構成 成分と前記変換後パラメータとを用いて、前記照合対象物体のデータに所定の状態 変化を与えた状態変化データを作成する状態変化データ作成部と、
前記状態変化データと予め蓄積された照合データとを照合する照合部 とを具備するデータ照合装置。
[8] 前記所定の方法は主成分分析である
請求項 7に記載のデータ照合装置。
[9] 物体の測定量を所定の方法によって分解することによって得られる構成成分を前 記物体が取る複数の状態の各々と対応づけて蓄積する構成成分蓄積部と、 前記複数の状態のうちの第 1状態における前記構成成分に対応するパラメータと前 記第 2状態における前記構成成分に対応するパラメータとを学習を用いた変換によ つて結びつける結合部と、
第 1状態における前記照合対象物体のデータに対して前記学習を用いた変換を用 いて前記第 2状態におけるデータである状態変化データを作成する状態変化データ 作成部と、
前記状態変化データと予め蓄積された照合データとを照合する照合部 とを具備するデータ照合装置。
[10] 前記照合対象の物体のデータは人物のバイオメトリタスデータである 請求項 7乃至 9に記載のデータ照合装置。
[11] 前記複数の状態の各々は、経年変化における異なった時点の状態に対応する 請求項 7乃至 10に記載のデータ照合装置。
[12] 前記物体の測定量は顔の画像である
請求項 7乃至 11に記載のデータ照合装置。
[13] 物体の測定量を所定の方法によって分解することによって得られる構成成分を前 記物体が取る複数の状態の各々と対応づけて蓄積する構成成分蓄積ステップと、 照合対象物体の測定量を前記複数の状態のうちの所定状態における前記構成成 分に分解する成分分解ステップと、
前記所定状態における前記構成成分に対応するパラメータを、前記複数の状態の うちの前記所定状態とは異なる第 2状態における変換後パラメータに変換するパラメ ータ変換ステップと、
前記構成成分蓄積ステップにおいて蓄積され前記第 2状態に対応する前記構成 成分と前記変換後パラメータとを用いて、前記照合対象物体のデータに所定の状態 変化を与えた状態変化データを作成する状態変化データ作成ステップと、
前記状態変化データと予め蓄積された照合データとを照合する照合ステップ とを具備する方法をコンピュータに実行させるためのデータ照合プログラム。
[14] 物体の測定量を所定の方法によって分解することによって得られる構成成分を前 記物体が取る複数の状態の各々と対応づけて蓄積する構成成分蓄積ステップと、 前記複数の状態のうちの第 1状態における前記構成成分に対応するパラメータと前 記第 2状態における前記構成成分に対応するパラメータとを学習を用いた変換によ つて結びつける結合ステップと、
第 1状態における前記照合対象物体のデータに対して前記学習を用いた変換を用 いて前記第 2状態におけるデータである状態変化データを作成する状態変化データ 作成ステップと、
前記状態変化データと予め蓄積された照合データとを照合する照合ステップ とを具備する方法をコンピュータに実行させるためのデータ照合プログラム。
PCT/JP2005/012952 2004-07-15 2005-07-13 データ照合方法、データ照合装置及びデータ照合プログラム WO2006009043A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP05760141A EP1768064A4 (en) 2004-07-15 2005-07-13 METHOD FOR VERIFYING DATA, DEVICE FOR VERIFYING DATA, AND PROGRAM FOR VERIFYING DATA
US10/573,843 US20080247639A1 (en) 2004-07-15 2005-07-13 Data Matching Method, Data Matching Apparatus and Data Matching Program
JP2006524549A JP4029413B2 (ja) 2004-07-15 2005-07-13 データ照合方法、データ照合装置及びデータ照合プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004-208603 2004-07-15
JP2004208603 2004-07-15

Publications (1)

Publication Number Publication Date
WO2006009043A1 true WO2006009043A1 (ja) 2006-01-26

Family

ID=35785157

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/012952 WO2006009043A1 (ja) 2004-07-15 2005-07-13 データ照合方法、データ照合装置及びデータ照合プログラム

Country Status (6)

Country Link
US (1) US20080247639A1 (ja)
EP (1) EP1768064A4 (ja)
JP (1) JP4029413B2 (ja)
KR (1) KR100845634B1 (ja)
CN (1) CN100437641C (ja)
WO (1) WO2006009043A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4742193B2 (ja) 2009-04-28 2011-08-10 Necソフト株式会社 年齢推定装置、年齢推定方法及びプログラム
US9886945B1 (en) * 2011-07-03 2018-02-06 Reality Analytics, Inc. System and method for taxonomically distinguishing sample data captured from biota sources
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
AU2019208182B2 (en) 2018-07-25 2021-04-08 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000113197A (ja) * 1998-10-02 2000-04-21 Victor Co Of Japan Ltd 個人識別装置
JP2000357221A (ja) * 1999-06-15 2000-12-26 Minolta Co Ltd 画像処理装置および画像処理方法、ならびに画像処理プログラムを記録した記録媒体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5422961A (en) * 1992-04-03 1995-06-06 At&T Corp. Apparatus and method for improving recognition of patterns by prototype transformation
EP1039417B1 (en) * 1999-03-19 2006-12-20 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Method and device for the processing of images based on morphable models
US6937744B1 (en) * 2000-06-13 2005-08-30 Microsoft Corporation System and process for bootstrap initialization of nonparametric color models
US7093941B2 (en) * 2001-04-25 2006-08-22 Matsushita Electric Industrial Co., Ltd. Video display apparatus and video display method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000113197A (ja) * 1998-10-02 2000-04-21 Victor Co Of Japan Ltd 個人識別装置
JP2000357221A (ja) * 1999-06-15 2000-12-26 Minolta Co Ltd 画像処理装置および画像処理方法、ならびに画像処理プログラムを記録した記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1768064A4 *

Also Published As

Publication number Publication date
EP1768064A4 (en) 2008-01-02
JPWO2006009043A1 (ja) 2008-05-01
CN100437641C (zh) 2008-11-26
CN1842823A (zh) 2006-10-04
JP4029413B2 (ja) 2008-01-09
KR100845634B1 (ko) 2008-07-10
EP1768064A8 (en) 2007-06-20
EP1768064A1 (en) 2007-03-28
US20080247639A1 (en) 2008-10-09
KR20060054477A (ko) 2006-05-22

Similar Documents

Publication Publication Date Title
EP1433118B1 (en) System and method of face recognition using portions of learned model
JP4721052B2 (ja) 特徴変化画像作成方法、特徴変化画像作成装置および特徴変化画像作成プログラム
Cambria et al. Extreme learning machines [trends & controversies]
JPH1055444A (ja) Dctをベースとするフィーチャー・ベクトルを使った顔の認識
JP2000081894A (ja) 音声評価方法
US20020143539A1 (en) Method of determining an eigenspace for representing a plurality of training speakers
Kim et al. Analysis of 3d hand trajectory gestures using stroke-based composite hidden markov models
WO2021003813A1 (zh) 基于神经网络模型的答案生成方法及相关设备
EP2115737B1 (en) Method and system to improve automated emotional recognition
CN111126233A (zh) 基于距离值的通话通道构建方法、装置和计算机设备
US6243695B1 (en) Access control system and method therefor
Coviello et al. The variational hierarchical EM algorithm for clustering hidden Markov models
CN111724458A (zh) 一种语音驱动的三维人脸动画生成方法及网络结构
JP4029413B2 (ja) データ照合方法、データ照合装置及びデータ照合プログラム
JP5812505B2 (ja) マルチモーダル情報に基づく人口学的分析方法及びシステム
US7454062B2 (en) Apparatus and method of pattern recognition
JP2962549B2 (ja) 顔動画像からの表情認識方法
US7207068B2 (en) Methods and apparatus for modeling based on conversational meta-data
JP2021021978A (ja) 情報処理装置及びプログラム
US7516071B2 (en) Method of modeling single-enrollment classes in verification and identification tasks
CN108596094A (zh) 人物风格检测系统、方法、终端及介质
JP2002082694A (ja) 先行知識に基づく話者確認および話者識別
KR102432854B1 (ko) 잠재 벡터를 이용하여 군집화를 수행하는 방법 및 장치
JPWO2006030687A1 (ja) データ照合システム、データ照合装置、及びデータ照合方法
CN117150320B (zh) 对话数字人情感风格相似度评价方法及系统

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200580001020.X

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2006524549

Country of ref document: JP

AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

WWE Wipo information: entry into national phase

Ref document number: 10573843

Country of ref document: US

Ref document number: 2005760141

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020067006216

Country of ref document: KR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 1020067006216

Country of ref document: KR

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Ref document number: DE

WWP Wipo information: published in national office

Ref document number: 2005760141

Country of ref document: EP