WO2006030687A1 - データ照合システム、データ照合装置、及びデータ照合方法 - Google Patents

データ照合システム、データ照合装置、及びデータ照合方法 Download PDF

Info

Publication number
WO2006030687A1
WO2006030687A1 PCT/JP2005/016503 JP2005016503W WO2006030687A1 WO 2006030687 A1 WO2006030687 A1 WO 2006030687A1 JP 2005016503 W JP2005016503 W JP 2005016503W WO 2006030687 A1 WO2006030687 A1 WO 2006030687A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
state
state information
collation
state change
Prior art date
Application number
PCT/JP2005/016503
Other languages
English (en)
French (fr)
Inventor
Atsushi Marugame
Original Assignee
Nec Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Corporation filed Critical Nec Corporation
Priority to JP2006535811A priority Critical patent/JPWO2006030687A1/ja
Priority to US11/662,788 priority patent/US20070220044A1/en
Priority to EP05782276A priority patent/EP1791088A4/en
Publication of WO2006030687A1 publication Critical patent/WO2006030687A1/ja

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/28Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Definitions

  • the present invention relates to a data collation system, a data collation device, and a data collation method, and particularly to a data collation system, a data collation device, and a data collation method for collating a collation target that causes a state change.
  • US Pat. No. 6,556,196 discloses a method for facial images. This method refines the addition of aged features and facial features using a 3D model, and adds unclear features.
  • a general model of a deformable face is created by using a 3D face database, and an input face image is pasted on this model, and feature changes including state changes are transformed by a modeler.
  • a feature change caused by a secular change or a change in facial expression is not always established. If not, people need to imitate what is in reality. For this reason, the method of creating and collating state change data by adding features requires manual or semi-automatic processing that requires much effort. Also local and relatively clear Unlike features, it is difficult to add in the form of writing itself, so it is difficult to respond to global state changes that are difficult to grasp intuitively.
  • the state feature uses a pre-arranged state change feature (for example, the occurrence position of wrinkles), so the same as anyone else A state change feature occurs (a wrinkle occurs at the same position). Also, it is not assumed whether the state change feature (template) is a state feature suitable for the face to be collated.
  • a pre-arranged state change feature for example, the occurrence position of wrinkles
  • Japanese Unexamined Patent Application Publication No. 2003-44858 discloses a personal authentication apparatus and method.
  • This personal authentication device includes biometric information 1 input means, biometric information 1 reliability determination means, biometric information 1 verification means, biometric information 2 input means, biometric information 2 reliability determination means, and biometric information 2 verification. Means and a composite determination means.
  • the biometric information 1 input means acquires the first biometric information.
  • the biological information 1 reliability determination means is configured to determine the reliability of the first biological information based on the first biological information acquired by the biological information 1 input means and the input environment information of the first biological information. To decide.
  • the biometric information 1 collation means collates the first biometric information acquired by the biometric information 1 input means with biometric information 1 registration data in which information including the first biometric information is registered in advance.
  • the biometric information 2 input means acquires the second biometric information.
  • the biological information 2 reliability determination means is configured to determine the reliability of the second biological information based on the second biological information acquired by the biological information 2 input means and the input environment information of the second biological information. To decide.
  • the biometric information 2 collation means collates the second biometric information acquired by the biometric information 2 input means with biometric information 2 registration data in which information including the second biometric information is registered in advance.
  • the composite determination means includes the reliability determined by the biological information 1 reliability determination means, the reliability determined by the biological information 2 reliability determination means, the verification result by the biological information 1 verification means, and the biological information 2Personal identification, which is a determination of whether or not the person is the person, is performed based on the result of verification by the verification means.
  • Japanese Laid-Open Patent Publication No. 10-171988 discloses a pattern recognition / collation device.
  • This pattern recognition 'collation apparatus includes a model pattern input means, an input pattern input means, a model vector covariance input means, a model one-input variation covariance input means, a covariance weighted average generation means, A diagonalization means, a second diagonalization means, a feature extraction means, and a determination Means.
  • the model pattern input means inputs a model pattern M (also called a model vector).
  • the input pattern input means inputs the input pattern 1 to be recognized (also called input vector).
  • the model vector covariance input means inputs a model vector covariance matrix Cm.
  • the model one-input variation covariance input means learns and inputs in advance the covariance matrix Cp of variation to the input pattern corresponding to each model pattern force.
  • the covariance weighted mean generation means includes a model vector covariance matrix input from the model vector covariance input means and a model one input variation covariance matrix input from the model one input variation covariance input means. Weighted average
  • the first diagonalization means uses the matrix Cs of the output of the covariance weighted average generation means,
  • A is a normal ⁇ eigenvector matrix of Cs
  • Q is a diagonal matrix consisting of the corresponding eigenvalues
  • Q1 / 2 is a square root matrix of Q
  • AT is a transposed matrix of A
  • the matrix D ⁇ Q—1Z2AT, where Q—1Z2 is the inverse of the square root matrix of matrix Q.
  • the second diagonalization means uses the matrix DCmDT obtained by converting the model pattern covariance matrix Cm by the matrix D.
  • the feature extraction means uses the output Q-1Z2AT, B of the first and second diagonalization means,
  • the feature vectors ⁇ 'and ⁇ are extracted according to The judging means includes the feature vector I of the input pattern I extracted by the feature extraction means, the feature vector M of the model pattern M, Distance with
  • a model pattern having the smallest feature vector is found, and this determines (recognizes) which model the input pattern corresponds to.
  • An object of the present invention is to provide a data collating system, a data collating apparatus, and a data collating method for accurately collating information on an object that causes a state change.
  • Another object of the present invention is to provide a data verification system, a data verification device, and a data verification method that reduce the burden on the worker during verification.
  • a data collation apparatus includes an original data storage unit, a state change data creation unit, and a collation unit.
  • the original data storage unit stores the original data of the object in association with the first state information representing the state of the object.
  • the state change data creation unit creates a plurality of state change data associated with a plurality of pieces of second state information representing different states of the plurality of objects based on the original data.
  • the collation unit compares the input data, which is the target object data to be collated, with each of the plurality of state change data, and the difference between the input data among the plurality of state change data is the smallest. Extract state change data.
  • the data collating device further includes a state change data storage unit that stores the plurality of state change data.
  • the original data and the plurality of state change data are transmitted to the verification unit as a plurality of verification data.
  • the collation unit compares the input data with each of the plurality of pieces of collation data, and extracts collation data having the smallest difference from the input data.
  • the collating unit performs the extraction when the difference is equal to or smaller than the threshold in addition to the case where the difference is the minimum.
  • the state change data creation unit includes a state change calculation device and a state-specific buffer.
  • the state change computing device responds to the first state information by using a neural network learned from the data divided into each of the first state information and the plurality of second state information.
  • the original data power
  • the plurality of state change data corresponding to the second state information are created.
  • Each state buffer stores corresponding state change data among the plurality of state change data.
  • the data collating apparatus further includes a plurality of state-specific component data buffers, a component analyzer, and a component converter.
  • the plurality of state-specific component data buffers are configured to correspond to the state label indicating the third state information as each of the first state information and the plurality of second state information, and the third state information.
  • Component data and is provided for each of the first state information and the plurality of second state information.
  • the component analyzer extracts the component data from the state-specific component data buffer having a state label that matches the first state information among the plurality of state-specific component data buffers, and converts the component data into the component data. Based on this, the original data is analyzed, and the first analysis result data corresponding to the first state information is output.
  • the component conversion unit converts the plurality of second analysis result data corresponding to the plurality of second state information.
  • the state change data creation unit includes a plurality of second analysis result data and a plurality of state-specific configurations having state labels that match the second state information of the plurality of state-specific component data buffers.
  • a state change computing device is provided that creates the plurality of state change data based on the plurality of component data of the component data buffer.
  • the input data and the original data are biometric data.
  • the first state information and the plurality of second state information are state information corresponding to the secular change of the object.
  • the object and the object are human faces.
  • the input data and its original data are face image data.
  • the first state information and the plurality of second state information are information representing facial expressions.
  • a data collation system includes an acquisition device that obtains data of an object to be collated as input data, and data collation that collates original data of an object with the input data.
  • the data verification device is the original data A data storage unit, a state change data creation unit, and a verification unit.
  • the original data storage unit stores the original data in association with the first state information representing the state of the object.
  • the state change data creation unit creates a plurality of state change data associated with a plurality of pieces of second state information representing different states of the plurality of objects based on the original data.
  • the collating unit compares the input data with each of the plurality of state change data, and extracts state change data having a minimum difference from the input data among the plurality of state change data.
  • the data collating apparatus further includes a state change data storage unit that stores the plurality of state change data.
  • the original data and the plurality of state change data are transmitted to the verification unit as a plurality of verification data.
  • the collation unit compares the input data with each of the plurality of pieces of collation data, and extracts collation data having the smallest difference from the input data.
  • the collation unit performs the extraction when the difference is equal to or smaller than the threshold in addition to the case where the difference is the minimum.
  • the state change data creation unit includes a state change calculation device and a state-specific buffer.
  • the state change computing device learns from the first state information and the plurality of second state information--using the Eural network, the original data force corresponding to the first state information, the plurality of second state information.
  • a plurality of state change data corresponding to the state information is created.
  • Each state buffer stores corresponding state change data among the plurality of state change data.
  • the data collating apparatus further includes a plurality of state-specific component data buffers, a component analyzer, and a component converter.
  • the plurality of state-specific component data buffers are configured to correspond to the state label indicating the third state information as each of the first state information and the plurality of second state information, and the third state information.
  • Component data and is provided for each of the first state information and the plurality of second state information.
  • the component data is extracted from the state-specific component data buffer having a state label that matches the first state information among the plurality of state-specific component data buffers.
  • the original data is analyzed based on the component data, and the first analysis result data corresponding to the first state information is output.
  • the component conversion unit converts the plurality of second analysis result data corresponding to the plurality of second state information based on the first analysis result data.
  • the state change data creation unit includes the plurality of second analysis result data and the state-specific component having a state label that matches the second state information among the plurality of state-specific component data buffers.
  • a state change arithmetic unit that creates the plurality of state change data based on the component data of the data buffer is included.
  • the input data and the original data are biometric data.
  • the first state information and the plurality of second state information are state information corresponding to the secular change of the object.
  • the object and the object are human faces.
  • the input data and the original data are face image data.
  • the first state information and the plurality of second state information are information representing facial expressions.
  • the data collating system further includes a registration device that reads the original data of the object force and inputs the original data in association with the first state information to the data collating device.
  • the data collation system further includes a collation result output device that outputs a collation result based on the collation result data output from the data collation device.
  • the data collation method of the present invention includes (a) obtaining original data of an object together with first state information representing the state of the object, and (b) the original data. Creating a plurality of state change data associated with a plurality of second state information representing different states of the plurality of objects based on the data; and (c) input data which is data of a target object of collation And a step of collating each of the plurality of state change data, and (d) outputting a result of the collation.
  • the step (c) includes (cl) the original data and the plurality of state change data as a plurality of collation data, and the input data and the data. A step of collating each of the plurality of collation data.
  • the step (b) includes (bl) a conversion method learned from data separately for each of the first state information and the plurality of second state information.
  • the original data force further comprises the step of creating the plurality of state change data.
  • the step (b) includes (b2) decomposing the original data into component data corresponding to the first state information, and converting the first analysis result data into And (b3) further creating a plurality of state change data based on the first analysis result data and a plurality of component data corresponding to the plurality of second state information.
  • a computer program product is a program code for executing all the steps of the data matching method described in any of the above items when used on a computer. Have means.
  • a computer program product provides a method for collating data stored in a storage means that can be read by a computer.
  • Program code means for executing all of the steps.
  • FIG. 1 is a block diagram showing a configuration of a first exemplary embodiment in a data matching system of the present invention.
  • FIG. 2A is a block diagram showing a configuration of a collation unit 11 in the first embodiment of the data collation system of the present invention.
  • FIG. 2B is a block diagram showing a configuration of the collation unit 11 in the second embodiment of the data collation system of the present invention.
  • FIG. 3 is a block diagram showing a configuration of the state change data creation unit 14 in the first embodiment of the data matching system of the present invention.
  • FIG. 4 is a flowchart showing the operation of the data collating system according to the first embodiment of the present invention.
  • FIG. 5 is a block diagram showing a configuration in the second embodiment of the data matching system according to the present invention.
  • FIG. 6 is a flowchart showing the operation in the second embodiment of the data collating system according to the present invention.
  • FIG. 7 is a block diagram showing a configuration in the third embodiment of the data matching system according to the present invention.
  • FIG. 8 is a block diagram showing a configuration of a component analysis unit 13 in the third embodiment of the data matching system of the present invention.
  • FIG. 9 is a block diagram showing a configuration of a state change data creation unit 14 ′ in the third embodiment of the data collation system of the present invention.
  • FIG. 10 is a block diagram showing a configuration of a component conversion unit 15 in the third embodiment of the data matching system of the present invention.
  • FIG. 11 is a flowchart showing an operation in the third embodiment of the data collating system according to the present invention.
  • FIG. 12 is a block diagram showing a configuration in the fourth embodiment of the data matching system according to the present invention.
  • FIG. 13 is a block diagram showing a configuration of a state change data creation unit 14 ′′ in the fourth embodiment of the data matching system of the present invention.
  • FIG. 14 is a flowchart showing an operation in the fourth embodiment of the data matching system according to the present invention.
  • a data collation system is a system that performs collation with respect to an object that causes a state change.
  • the data verification system is used, for example, for identification in a security system, verification for crimes and academic research.
  • secular change An example of collation based on a face image of a person who causes a change or voice information will be described.
  • the input data 101 used for collation and the original data 102A registered in the data collation device 10 are images of human body parts such as faces and fingerprints, one-dimensional data such as voice sounds, face shapes, etc.
  • Biometric data such as three-dimensional data, data on animals other than plants and humans, and data on artifacts that change state while having individual characteristics like living organisms may be used.
  • the state information 102B that causes the state change in addition to the age that is information on the secular change, facial expression change information, voice information due to poor physical condition, and the like may be used.
  • FIGS. 1-10 A first embodiment of a data collating system according to the present invention will be described with reference to FIGS.
  • FIG. 1 is a block diagram showing the configuration of the first exemplary embodiment of the data matching system of the present invention.
  • the data verification system according to the present invention includes a data verification device 10, an acquisition device 20, a registration device 30, and a verification result output device 40, each of which is connected to the data verification device 10.
  • Data such as a face image and voice information of a person to be collated that is input in advance to the registration device 30 is registered in the data collation device 10 as original data 102A.
  • the data matching device 10 converts the original data 102A into the state change data 106 based on the state information 102B attached to the registered original data 102A.
  • the state information 102B is state information resulting from the state change of the person to be collated (for example, age information in the case of secular change).
  • the data collating device 10 collates the input data 101 such as a face image read by the acquiring device 20 with the collating data 107 which is the original data 102A and the state change data 106.
  • the collation result is transmitted to the collation result output device 40 as collation result data 108.
  • the collation output device 40 displays the collation result based on the collation result data 108.
  • the acquisition device 20 includes a scanner that reads a face image or a recorder that acquires audio information.
  • the acquisition device 20 detects a feature portion of the face and voice from the acquired face image and voice information, and transmits it to the data verification device 10 as input data 101.
  • the scanner used in the acquisition device 20 is a 2D or 3D scanner if the data to be read is an image.
  • the recorder used in the acquisition device 20 can change voice information into data that can be used by a computer.
  • the compression format of various data to be read is not limited.
  • the registration device 30 includes a scanner that reads a face image or a recorder that acquires audio information.
  • the registration device 30 performs a process of detecting a feature part of the face and voice from the acquired face image and voice information, and creates original data 102A.
  • data such as the registration date / time and the age and physical condition of the person to be collated are input as the state information 102B using an input device such as a keyboard.
  • the created original data 102A and state information 102B input at the time of creation are associated with each other and transmitted to the data collating apparatus 10 as the original data 102 with state information.
  • the data collating apparatus 10 is an information processing apparatus exemplified by a workstation or a personal computer.
  • the data verification device 10 includes a verification unit 11, a verification data storage unit 12, and a state change data creation unit 14.
  • the verification unit 11 and the state change data creation unit 14 are each connected to the verification data storage unit 12.
  • the collation data storage unit 12 and the state change data creation unit 14 are located at a remote location and connected to the collation unit 11 via a communication line or a network!
  • the collation unit 11 is connected to the acquisition device 20 via a communication line or a network.
  • the collation unit 11 collates the input data 101 to be collated input from the acquisition device 20 with the collation data 107 received from the collation data storage unit 12, and transmits the collation result data to the collation result output unit 40.
  • FIG. 2A is a block diagram showing the configuration of the collation unit 11 in the first embodiment of the data collation system of the present invention.
  • the collation unit 11 includes an input data notch 111, a collation data buffer 112, and a collation operation device 113.
  • the input data buffer 111 holds input data 101 received from the acquisition device 20.
  • the collation data buffer 112 holds the collation data 107 received from the collation data storage unit 12.
  • the collation calculation device 113 is connected to the input data buffer 111 and the collation data buffer 112.
  • the collation calculation device 113 reads the collation data 107 in the collation data buffer 112.
  • the collation data 107 is compared with the input data 101 in the input data buffer 111, and the collation result data 108 is output to the collation result output unit 40.
  • the collation arithmetic unit 113 The difference between the data 107 and the input data 101 is taken. When the difference is the smallest, the difference is compared with the set threshold. If the difference is less than or equal to the threshold value, the verification result data 108 that identifies the user is transmitted to the verification result output device 40. Alternatively, the difference between the collation data 107 and the input data 101 is taken. Then, the collation data 107 having the smallest difference is extracted and transmitted as the collation result data 108 to the collation result output device.
  • the comparison method used for collation is not limited, and the present invention is not limited to the above method as long as the input data 101 and the collation data 107 can be collated.
  • the collation calculation device 113 may extract the collation data 107 directly from the collation data storage unit 12 without using the collation data buffer 112 and perform collation.
  • the verification data storage unit 12 is a storage device such as a memory or a disk.
  • the collation data storage unit 12 includes an original data storage unit 12A and a state change data storage unit 12B.
  • the original data storage unit 12A is connected to the registration device 30 and stores the original data 102 with state information registered from the registration device 30.
  • the state change data storage unit 12B stores the state change data 106 received from the state change data creation unit 14 in association with the corresponding state information 102B.
  • the collation data storage unit 12 creates the state change data 106, so that the original data 102 with state information is sent to the state change data creation unit. Send. Further, in response to a command from the collation unit 11, the stored original data 102 A and state change data 106 are transmitted as collation data 107 to the collation unit 11.
  • FIG. 3 is a block diagram showing a configuration of the state change data creation unit 14 in the first embodiment of the data matching system of the present invention.
  • the state change data creation unit 14 includes a plurality of state buffers 141-1 to 141-n connected to each other, and a state change operation device 142 connected to the plurality of state buffers 141-1 to 141-n. Is provided.
  • Each of the plurality of state buffers 141-1 to 141-n (hereinafter also referred to as "state buffer 141”) is a storage device such as a memory or a disk, and the state change arithmetic unit 142 is a CPU or the like.
  • the state-specific buffer 141 and the state change calculation device 142 are respectively connected to the collation data storage unit 12. It is connected.
  • Each of the plurality of state-specific buffers 141-1 to 141-n corresponds to (associated with) different state information 102B.
  • the state-specific buffer 141 has a state label corresponding to its own state information 102B.
  • the state change arithmetic unit 142 forms a learned-Ural network between the state change arithmetic unit 142 and each state-specific buffer 141 by learning a plurality of pieces of data classified into a plurality of states of the same person. Yes.
  • state information original data 102 having the state information 1 02B corresponding to the state label of the state-specific buffer 141 i (l ⁇ i ⁇ n, n is a natural number) is input to the state change arithmetic unit 142.
  • the state change calculation device 142 inputs the original data 102 A to the state-specific buffer 141-i.
  • the original data 102A force also creates state change data 106 in another state using a common network.
  • “another state” means a state corresponding to the state information 102B different from the state information 102B attached to the original data 102A.
  • Each of the created state change data 106-1 to 106-n (excluding the state change data 106-i) is stored in a state-specific notifier 141 having a state label corresponding to the respective state information 102B. Entered. That is, the state change data 106-j (l ⁇ j ⁇ n, i ⁇ j, j is a natural number) is input to the state-specific buffer 141 j. Multiple state-specific buffers 141— 1 to 1 41— n (except for state-specific buffers 141— i) are the multiple state change data 106— 1 to 106— n (state Change data 106—excluding i) is transmitted to the state change data storage unit 12B of the collation data storage unit 12.
  • the collation result output unit 40 is an information processing apparatus exemplified by a personal computer.
  • the verification result output unit 40 includes a display unit that displays the verification result on the display screen based on the received verification result data 108.
  • the collation result data 108 includes personal authentication indicating that the person to be collated is a person registered in the data collation apparatus 10, and collation data 108 Original state information-added data 102 or state change data 106 (state information 102B is also attached).
  • the verification result output unit 40 can include an opening / closing device that opens and closes the gate based on the presence / absence of identity authentication and a locking device that opens / closes the lock. The entrance / exit of the facility can be managed based on the verification result.
  • the object or person to be collated can be specified by the original data 102 with state information or the state change data 106 of the data collating apparatus 10.
  • the same recognition number is added to the original data 102A, the original data 102 with state information, and the state change data generated based on the original data 102A. Accordingly, the identification number power can be extracted from the source of the data and the related data (not shown). For example, if the original data 102A is a face image, the related data is exemplified by the information of the person.
  • FIG. 4 is a flowchart showing the operation of the data collating system according to the first embodiment of the present invention.
  • the registration device 30 scans (photographs) the face image of the person to be collated before the collation, and the original data 102A is stored in the data collation device 10. Enter as. At this time, the registration date and the age of the person are input as the status information 102B-i.
  • the input original data 102A and state information 102B—i are associated and stored in the original data storage unit 12A of the collation storage unit 12 as the original data 102 with state information (step S2).
  • the original data with state information 102 of the original data storage unit 12A is input to a state-specific buffer 141 (for example, state-specific buffer 141 i) having a state label corresponding to the state information 102B-i (Step S4).
  • the state change calculation unit 142 of the state change data creation unit 14 converts the original data 102A input to the state-specific buffer 141-i using a neural network, and performs a plurality of state changes in a plurality of other states.
  • Data 106—1 to 106—n are created and recorded in the state buffers 141—1 to 141—n (excluding state-specific buffers 141—i) corresponding to each state information 102B. (Step S6). That is, the state change data 106-j is input to the state-specific buffer 141-j.
  • a change parameter is determined. For example, if the input status information 102B-i is status information representing 25 years old, first, 20 years old is based on the relationship with status information 102B-jl, 102B j2 corresponding to 50 years old. Calculate changes in the face that change over time (including youth changes). Then, the change is added to the original data 102A, and state change data 106-jl, 106-j2 in each state information 102B-jl (20 years old) and 102B-j2 (50 years old) are created.
  • the state change data 106 of each of the plurality of state-specific buffers 141 1 to 141-n is associated with the corresponding state information 102B to the state change data storage unit 12B. Sent and accumulated (step S8). That is, a plurality of state change data 106-1 to 106-n (excluding state change data 106-i) is stored in the state change data storage unit 12B.
  • original data 102A with state information of a plurality of human face images and state change data 106 are stored as collation data 107 for collation in the data collation apparatus 10.
  • the acquisition device 20 scans (photographs) a face image of a person to be collated, and inputs it as collation unit 11 of the data collation device 10 as input data 101 (step S 10).
  • the collation unit 11 extracts the original data with status information 102 and the state change data 106 as the collation data 107 from the collation data storage unit 12, and compares them with the collation arithmetic unit 113.
  • the processing is performed! /
  • the verification result data 108 is transmitted to the verification result output device 30 (step S12).
  • the collation data 106 that has the minimum difference from the input data 101 and does not exceed the set threshold value is recognized as the person.
  • the verification result output unit 30 displays the verification result on the display screen based on the received verification result data 108.
  • the display result shows a personal authentication display indicating that the person to be collated is a person who has already been registered in the data collating apparatus 10, or the original data 102 with the state information 102 or the state change data 106 (the status information 106). 102B is also attached) as an image or text (step S14).
  • state change data 106-1 to data 106-n corresponding to various state information 102B-1 to 101B-n are created and collated, It is possible to perform highly accurate collation only with the original data 102A of the object in a certain state (state information 102B-i).
  • state information 102B-i since the method of creating the state change data 106 can be processed regardless of the time axis, if the state change is secular change, it is more accurate than any aging change as well as any age change. It is possible to perform a high collation.
  • FIG. 5 is a block diagram showing the configuration of the data collating system according to the second embodiment of the present invention.
  • the data collation system according to the present invention in the second embodiment includes a data collation device 10, an acquisition device 20, a registration device 30, and a collation result output device 40. Each device is connected to a data verification device 10.
  • Data such as a face image or voice information of a person to be collated that is input in advance to the registration apparatus 30 is registered in the data collation apparatus 10 as original data 102A.
  • the data matching device 10 converts the original data 102A into the state change data 106 based on the state information 102B attached to the registered original data 102A.
  • the state information 102B is state information resulting from a state change of a person to be collated.
  • the data collating device 10 collates the input data 101 such as a face image read by the acquiring device 20 with the state change data 106.
  • the collation result is transmitted to the collation result output device 40 as collation result data 108.
  • the collation output device 40 performs collation based on the collation result data 108. Display the results.
  • the data collating apparatus 10 is an information processing apparatus exemplified by a workstation or a personal computer.
  • the data verification device 10 includes a verification unit 11, an original data storage unit 12A ', and a state change data creation unit 14.
  • the verification unit 11 is connected to the state change data creation unit 14.
  • the state change data creation unit 14 is connected to the original data storage unit 12A.
  • the original data storage unit 12A 'and the state change data creation unit 14 are placed at a remote location and connected to the verification unit 11 via a communication line or network.
  • the collating unit 11 is connected to the acquisition device 20 via a communication line or a network.
  • the collation unit 11 collates the input data 101 to be collated input from the acquisition device 20 with the state change data 106 received from the state change data creation unit 14, and the collation result data 108 is collated with the collation result output unit 40.
  • FIG. 2B is a block diagram showing the configuration of the collation unit 11 in the second embodiment of the data collation system of the present invention.
  • the collation unit 11 includes an input data buffer 111, a collation data buffer 112 ′, and a collation operation device 113.
  • the input data buffer 111 holds the input data 101 received from the acquisition device 20.
  • the verification data buffer 112 ′ holds the state change data 106 received from the state change data creation unit 14.
  • the collation calculation device 113 is connected to the input data buffer 111 and the collation data buffer 112.
  • the collation calculation device 113 reads the collation data 107 ′ that also has the state change data power in the collation data buffer 112 ′. Then, the collation data 107 ′ is compared with the input data 101 in the input data buffer 111, and the collation result data 108 is output to the collation result output unit 40.
  • the collation calculation device 113 takes the difference between the collation data 107 ′ and the input data 101. When the difference is the smallest, the difference is compared with the set threshold. If the difference is less than or equal to the threshold value, the verification result data 108 for identifying the person is transmitted to the verification result output device. Alternatively, the difference between the collation data 107 ′ and the input data 101 is taken.
  • the matching data 107 ′ with the smallest difference is extracted and transmitted as matching result data 108 to the matching result output device.
  • the collation method is not particularly limited, and the present invention is not limited to the above method as long as the input data 101 and the collation data 107 ′ can be collated.
  • the collation operation device 113 may extract the state change data 106 as the collation data 107 ′ directly from the state change data creation unit 14 without using the collation data buffer 112 ′, and may perform collation.
  • the original data storage unit 12A is a storage device such as a memory or a disk.
  • the original data storage unit 12A ′ is connected to the registration device 30 and stores the original data 102 with state information registered from the registration device 30.
  • the original data storage unit 12A ′ creates the state change data 106, and the registered original data 102 with state information is sent to the state change data creation unit 14. Send.
  • FIG. 3 is a block diagram showing a configuration of the state change data creation unit 14 in the second embodiment of the data matching system of the present invention.
  • the configuration and operation of the state change data creation unit 14 are the same as those in the first embodiment, but the created state change data 106 is transmitted to the verification unit 11.
  • FIG. 6 is a flowchart showing the operation in the second embodiment of the data matching system according to the present invention.
  • the registration device 30 scans (photographs) the face image of the person to be collated before performing the collation, and the original data is stored in the data collation device 10. Enter as 102A. At this time, the registration date and the age of the person are input as the status information 102B. The input original data 102A and the state information 102B are associated with each other and stored in the original data storage unit 12A ′ of the collation storage unit 12 ′ as the original data 102 with state information (step S16).
  • the acquisition device 20 scans (photographs) a face image of a person to be collated, and inputs it as collation unit 11 of the data collation device 10 as input data 101 (step S 18).
  • the original data with state information 102 stored in the original data storage unit 12A is transmitted to the state change data creation unit 14 and the state corresponding to the state information 102Bi.
  • Stored in state-specific buffer 141—i with label step S 20).
  • the state change calculation unit 142 extracts the original data 102A from the state-specific buffer 141—and outputs a plurality of state change data 106 corresponding to the other pieces of state information 102B-1 to 102B—n (excluding 102B—i) 106. -Convert from 1 to 106—n (excluding 106—i) (step S22). Since the conversion operation is the same as that of the first embodiment, the description thereof is omitted.
  • the plurality of state change data 106-1 to 106-n are a plurality of state-specific buffers 141-1 to 141-n corresponding to the state information 102B. (Excluding 141 i) and transmitted to the collation unit 11 in accordance with a command from the state change arithmetic unit 142.
  • the state change data 106 may be extracted by receiving control from the collating unit 11.
  • the collation unit 11 collates a plurality of state change data 106-1 to 106-n (excluding 106-i) to which a plurality of state-specific buffers 141-1 to 141-n (excluding 141-i) are also transmitted.
  • the comparison operation device 113 performs comparison processing with the input data 101 as 107 ′. Then, the collation unit 11 transmits the collation result data 108 as the comparison processing result to the collation result output device 30 (step S24).
  • the collation operation is the same as in the first embodiment.
  • the verification result output unit 30 displays the verification result on the display screen based on the received verification result data 108.
  • the display result is a personal authentication display indicating that the person to be collated is a person registered in the data collation apparatus 10, and state change data 106 (with status information 102B) as collation data 108 is displayed as an image, Display as text (step S26). By displaying the matched state change data 106 and its status information 102B, it is possible to identify the person to be collated.
  • the state change data 106 is directly collated from the state change data creation unit 14 that does not need to constitute the state change data storage unit 12B in the first embodiment. Since the data is transmitted to the section 11 and collation is performed, the storage space can be reduced, and the original data 102A can be excluded from the collation target and the collation data 107 ′ candidates can be reduced. Further, when the status information 102B at that time is input together with the input data 101, only the status change data 106 corresponding to the status information 102B is collated, so that collation candidates can be further reduced.
  • FIG. 7 is a block diagram showing a configuration in the third embodiment of the data matching system according to the present invention.
  • the data collation system according to the present invention in the third embodiment includes a data collation device 10, an acquisition device 20, a registration device 30, and a collation result output device 40, each of which is a data Connected to verification device 10.
  • Data such as a face image and voice information of a person to be collated input to the registration device 30 in advance is registered in the data collation device 10 as original data 102A.
  • the data collating apparatus 10 converts the original data 102A into the state change data 106 based on the state information 102B accompanying the registered original data 102A.
  • the state information 102B is information on a state caused by a state change of a person to be collated.
  • the data collating device 10 collates the input data 101 such as a face image read by the acquiring device 20 with the collating data 107 which is the original data 102A and the state change data 106.
  • the collation result is transmitted to the collation result output device 40 as collation result data 108.
  • the collation output device 40 displays the collation result based on the collation result data 108.
  • the data verification device 10 is an information processing device exemplified by a workstation or a personal computer.
  • the data verification device 10 includes a verification unit 11, a verification data storage unit 12 ′, a component analysis unit 13, a state change data creation unit 14 ′, and a component analysis unit 15.
  • the collation data storage unit 12 ′ includes a collation unit 11, a component analysis unit 13, and a state change data creation unit 14.
  • the component analysis unit 13, the state change data creation unit 14 ′, and the component conversion unit 15 are connected to each other.
  • the collation data storage unit 12 ′ and the state change data creation unit 14 ′ may be located at a remote location and connected to the collation unit 11 via a communication line or a network.
  • collation unit 11 Since the configuration of collation unit 11 is the same as that of the first embodiment, description thereof is omitted.
  • the collation data storage unit 12 is a storage device such as a memory or a disk.
  • the collation data accumulating unit 12 'includes an original data accumulating unit 12A "and a state change data storing unit 12B.
  • the original data accumulating unit 12A" is connected to the registration device 30 and is connected to the registration device 30.
  • the registered original data 102 with state information is stored.
  • the state change data storage unit 12B stores the state change data 106 received from the state change data creation unit 14 ′ in association with the corresponding state information 102B.
  • collation data storage unit 12 When original data 102 with state information is input from registration device 30, collation data storage unit 12 'generates state change data 106. It is transmitted to the state change data creation unit 14 ′. Further, in response to a command from the collation unit 11, the stored original data 102 A and state change data 106 are transmitted as collation data 107 to the collation unit 11.
  • FIG. 8 is a block diagram showing a configuration of the component analysis unit 13 in the third embodiment of the data matching system of the present invention.
  • the component analysis unit 13 includes an original data buffer 131, a component data buffer 133, a state information matching unit 132, and an analysis calculation device 134.
  • the original data buffer 131 and the component data buffer 133 are storage devices such as a memory and a disk.
  • the state information collating unit 132 and the analysis operation device 134 are a calculation device such as a CPU or a program or a combination of the calculation device and the program. Each device is connected to each other.
  • the original data buffer 131 is connected to the original data storage unit 12A ", temporarily stores the original data 102A input from the original data storage unit 12A", and receives the original data in response to a command from the analysis arithmetic unit 134.
  • the state information matching unit 132 is connected to the original data storage unit 12A "and the state change data creation unit 14 '.
  • the state information 102B and the state change data creation unit 14' input from the original data storage unit 12A" are compared, the component data 103 is extracted from the state-specific component data buffer 141 ′ having the state label corresponding to the state information 102 B, and transmitted to the component data buffer 133.
  • the component data buffer 133 temporarily stores the component data 103 input from the state information matching unit 132, and transmits the component data 103 to the analysis calculation device 134 in response to a command from the analysis calculation device 134. To do.
  • the analyzer 134 receives the original data 1 input from the original data buffer 131.
  • the analysis result data 104A is created by the calculation described later using 02A and the component data 103 inputted from the component data buffer 133. Also, it is connected to the original data storage unit 12A "and the component conversion unit 15, and the analysis result data 104A and the state information 102B input from the original data storage unit 12A" are associated with each other, and analysis result data with state information is added. This is transmitted to the component conversion unit 15 as 104.
  • FIG. 9 is a block diagram showing a configuration of the state change data creation unit 14 ′ in the third embodiment of the data matching system of the present invention.
  • the state change data creation unit 14 ′ is connected to a plurality of state-specific component data buffers 141 1 ′ to 141 n and a plurality of state-specific component data buffers 141-1 ′ to 141-n connected to each other. And a state change calculation device 142 ′.
  • Each of the plurality of state-specific component data buffers 141-1 'to 141-n corresponds to different state information 102B. Yes (associated).
  • the state-specific component data buffer 141 ′ has a state label corresponding to its own normal state information 102 B, and is connected to the component analysis unit 13.
  • the state-specific component data buffer 141 ′ stores component data 103 corresponding to its own state label. That is, the state-specific component data buffer 141′-j stores the component data 103-j corresponding to its own state label (state information 102B-j).
  • each of the plurality of state-constituting component data buffers 141-1' to 141-n Is sent to the component analyzer 13 to make a request.
  • the state-specific component data buffer 141 ′ having a state label that matches the state information 102 B corresponding to the original data 102 A transmits the component data 103 held by itself to the component analyzer 13.
  • each of the plurality of state-specific component data buffers 1411 to 141 n ′ generates the state change data 106 based on the command of the state change calculation device 142 ′. It is transmitted to the state change arithmetic unit 142 ′.
  • the state change computing device 142 Upon receiving the original data 102 with state information from the original data storage unit 12A ", the state change computing device 142 'displays the state label of the state-specific component data buffer 141'. Extract it and send it to the component analyzer 13 to make a request. Also, from the conversion analysis result data 104 with state information received from the component conversion unit 15, and the component data 103 with state information in the state-specific component data buffer 141 ′ having a state label corresponding to the state information 102B. The state change data 106 corresponding to each state information 102B is created by calculation described later, and transmitted to the state change data storage unit 12B.
  • FIG. 10 is a block diagram showing the configuration of the component conversion unit 15 in the third embodiment of the data matching system of the present invention.
  • the component conversion unit 15 includes an arithmetic device such as a CPU or a program, or a conversion arithmetic device 151 that is a combination of the arithmetic device and a program, and a memory 152 that temporarily stores signals and data when the conversion arithmetic device 151 executes arithmetic operations.
  • an arithmetic device such as a CPU or a program
  • a conversion arithmetic device 151 that is a combination of the arithmetic device and a program
  • a memory 152 that temporarily stores signals and data when the conversion arithmetic device 151 executes arithmetic operations.
  • the conversion calculation device 151 is connected to the component analysis unit 13, and based on the analysis result data with state information 104 input from the component analysis unit 13, a plurality of other state information 1 02B— A plurality of conversion analysis result data 105 A-1 to 105A-n (excluding 105-i) corresponding to 1 to 102B-n (excluding 102-i) are created.
  • the conversion calculation device 151 is connected to the state change data creation unit 14 ′, and the created conversion analysis result plural conversion analysis result data 105A-1 to 105A and the corresponding plural pieces of state information 10 2B—1 to 102B — N (102—excluding i) is transmitted in association with state information conversion analysis result data 105 to state change data creation unit 14 ′.
  • FIG. 11 is a flowchart showing the operation in the third embodiment of the data matching system according to the present invention.
  • the registration device 30 scans (photographs) the face image of the person to be collated before performing the collation, and the original data 102A is stored in the data collation device 10. Enter as. At this time, the registration date and the age of the person are input as the status information 102B.
  • the input original data 102A and state information 102B are associated with each other and stored in the original data storage unit 12A "of the collation data storage unit 12 'as the original data 102 with state information (step S32).
  • the original data with state information 102 of the original data storage unit 12A is transmitted to the component analysis unit 13 and the state change data creation unit 14 '.
  • the component analysis unit 13 receives the received state information.
  • the original data 102 with information is temporarily stored in the original data notch 131 (step S34).
  • the state change creation unit 14 ′ receives the state information-added original data 102
  • the state change creation unit 14 ′ transmits the state labels of the plurality of state-specific component data buffers 1411 ′ to 141 n to the component analysis unit 13.
  • the component analysis unit 13 extracts the component data 103-i from the state-specific component data buffer: L41 i ′ having a state label that matches the state information 102B input, and temporarily stores it in the component buffer 133 (Step S36).
  • the analysis operation unit 134 of the component analysis unit 13 analyzes the original data 102A for the component data 103-, and outputs analysis result data 104-i with state information corresponding to the state information 102B.
  • the data is transmitted to the component converter 15 (step S38).
  • the component conversion unit 15 converts the received analysis result data with status information 104-i into a plurality of other status information 102B-1 to 102B- different from the status information 102B of the analysis result data with status information 104-i.
  • a plurality of conversion analysis result data 105A-1 to 105A-n (excluding 105A-i) corresponding to n (excluding 102B-i) are converted.
  • the component conversion unit 15 creates a plurality of conversion analysis result data 105A—1 to 105A—n (excluding 105A—i) and a plurality of corresponding state information 102B—1 to 102B—n (excluding 102B—i) ) Are transmitted to the state change data creation unit 14 ′ as conversion analysis result data 105-1 to 105-n (excluding 105-i) (step S40).
  • state change data creation unit 14 ' conversion analysis result data with state information received from the component conversion unit 15 105-1 to 105-n (excluding 105-i) and the respective state information 102B State-based component data buffer with corresponding state label 141 1 'to 141 n' (excluding 141—i ′) 103—1 to 103—n (excluding 103—i), state change Data 106-1 to 106-n (excluding 106-i) are created (step S42).
  • the component data 103 held by the component data buffer 141 'for each state of the state change data creation unit 14' is obtained from the data Al, A2, ..., Ai, ..., Ap in some state. Total By calculation, it is created by converting into important elements Ul, U2,..., Uj,.
  • the matrix in which the point elements Ai (x, y) of each data are arranged as a column vector is as follows.
  • the first half of the orthogonal matrix formed by the singular value decomposition A USVt (S is a non-diagonal component, 0 and the diagonal component is arranged in descending order of absolute value) is the component data 103 (Ul, U2, ..., Uj, ..., Up).
  • the state-specific component data buffer 141 ' in order to relate the state-specific component data buffer 141 ', between the two state-specific component data buffers 141', prepare the same number of components that use the original data 102A of the same person (object). . For example, if 30 orders of the component data 103 are used, the two component data buffers 141 ′ for each state prepare 30 or more (persons) data for both states, and each state database Will be created.
  • Ip is expressed by the following equation.
  • Ip clPl + c2P2 + '"cmPm (Pi is the principal component, ci is a coefficient)... H) Among these, select the minimum error coefficient set ci that minimizes the error from the original data 102A (Io), and select this minimum error coefficient The set ci becomes analysis result data 104 A.
  • This analysis result data 104 A is associated with the state information 102 B corresponding to the original data 102 A, and is transmitted to the component conversion unit 15 as the analysis information 104 with state information.
  • the component converter 15 converts the minimum error coefficient set ci, which is the analysis result data 104A, into the coefficient set dj, which is the conversion analysis result data 105A corresponding to the other state information 102B. The case is shown below.
  • This conversion uses a plurality of pieces of data Ip and Jp belonging to both of the state information 102B corresponding to the state-specific state component data buffers 141-i 'and 141-j' for the same person.
  • Ip and JP are expressed by the following equations, respectively.
  • the conversion from d to dj is a linear transformation ⁇
  • the coefficient pair of person ⁇ registered in the data matching device 10 is ⁇ Ci (A), Dj (A) ⁇
  • the coefficient pair ⁇ Ci ( If B), Dj (B) ⁇ ,..., Coefficient set ⁇ Ci (N), Dj (N) ⁇ of person N the transformation relational expression is expressed as follows.
  • the conversion calculation device 151 can create conversion analysis result data 105A corresponding to the other state information 102B from the analysis result data 104A.
  • the person A registered in the data matching device 10 corresponds to the state-specific state component data buffers 141-i ′ and 141 j ′. It is possible to determine the transformation using a coefficient group ⁇ ci (A), dj (A) ⁇ as learning data-using a Yural network.
  • Qj subscript j corresponds to dj
  • the state change data 106 of the other states created as described above is recorded in the state change data storage unit 12B of the collation storage unit 12 'in association with the corresponding state information 102B (step S44). .
  • a face image of a person to be collated is scanned (captured) by the acquisition device 20 and input as input data 101 to the collation unit 11 of the data collation device 10 (step S46).
  • the collation unit 11 extracts the collation data 107 of the status data original data 102 and the state change data 106 from the collation data storage unit 12 ′, and performs the comparison process in the collation calculation device 113.
  • the verification result data 108 is transmitted to the verification result output device 30 (step S48).
  • the collation operation is the same as in the first embodiment.
  • the collation result output unit 30 displays the collation result on the display screen based on the received collation result data 108.
  • the display result shows that the person to be collated is a person authentication display that indicates that the person registered in the data collation device 10 or the collation data 108 similar to the collation target is displayed as an image or text. (Step S50).
  • the feature of the object is decomposed into constituent components, and the state change data 106 is created and collated based on the constituent components corresponding to the state information 102B and the analysis result data 104A from the original data 102A. Therefore, it is possible to perform highly accurate collation using statistical state features that are difficult to express manually.
  • collation data storage unit 12 'and the state change data creation unit 14' are connected to the collation unit 11 via a network and placed in a remote place. Even if it is used, it is not limited.
  • FIG. 12 is a block diagram showing the configuration of the data collating system according to the fourth embodiment of the present invention.
  • the data verification system according to the present invention in the fourth embodiment includes a data verification device 10, an acquisition device 20, a registration device 30, and a verification result output device 40. Each device is connected to a data verification device 10.
  • Data such as a face image and voice information of a person to be collated that is input in advance to the registration apparatus 30 is registered in the data collation apparatus 10 as original data 102A.
  • the data matching device 10 converts the original data 102A into the state change data 106 based on the state information 102B attached to the registered original data 102A.
  • the state information 102B is state information resulting from a state change of a person to be collated.
  • the data collating device 10 collates the input data 101 such as a face image read by the acquiring device 20 with the state change data 106.
  • the collation result is transmitted to the collation result output device 40 as collation result data 108, and the collation output device 40 displays the collation result based on the collation result data 108.
  • the data verification device 10 is an information processing device exemplified by a workstation or a personal computer.
  • the data verification device 10 includes a verification unit 11, an original data storage unit 12 '' ', a component analysis unit 13, a state change data creation unit 14' ', and a component analysis unit 15.
  • the state change data creation unit 14' Are connected to the original data storage unit 12A, and the verification unit 11.
  • the state change data creation unit 14 ′ and the original data storage unit 12A ′ ′ ′ are placed in a remote place and are verified by a communication line or network. 11 may be connected.
  • the collation unit 11 is connected to the acquisition device 20 via a communication line or a network.
  • the collation unit 11 collates the input data 101 to be collated inputted from the acquisition device 20 with the state change data 106 received from the state change data creation unit 14 ", and collates the result data 108 into the collation result output unit. Send to 40.
  • the configuration of the collation unit 11 is the same as that of the second embodiment, and the configurations of the component analysis unit 13 and the component analysis unit 15 are the same as those of the third embodiment, so the description thereof is omitted (however, In FIG. 8, the original data storage unit 12A "is the original data storage unit 12A,").
  • the original data storage units 12A,... are storage devices such as memories and disks.
  • the original data storage unit 12A ′ ′ ′ is connected to the registration device 30 and stores the original data 102 with state information registered from the registration device 30.
  • the input data 101 is input to the collation unit 11, the original data storage unit 12A, Therefore, the registered original data 102 with state information is transmitted to the component analysis unit 13 and the state change data creation unit 14 ".
  • FIG. 13 is a block diagram showing the configuration of the state change data creation unit 14 ′′ in the fourth embodiment of the data collating system of the present invention.
  • the configuration of the state change data creation unit 14 ′′ is Although the same as that of the third embodiment, the state change calculation device 142 "is connected to the verification unit 11 and transmits the generated state change data 106 to the verification unit 11.
  • FIG. 14 is a flowchart showing the operation in the fourth embodiment of the data matching system according to the present invention.
  • the registration device 30 scans (photographs) the face image of the person to be collated before performing the collation, and the original data is stored in the data collation device 10. Enter as 102A. At this time, the registration date and the age of the person are input as the status information 102B. The input original data 102A and the state information 102B are associated with each other and stored in the original data storage unit 12A ′ ′ ′ of the collation storage unit 12 as the original data 102 with state information (step S52).
  • a face image of a person to be collated is scanned (captured) by the acquisition device 20 and input as input data 101 to the collation unit 11 of the data collation device 10 (step S54).
  • the original data storage state original data 102 of the original data storage unit 12A, '' is transmitted to the component analysis unit 13 and the state change data creation unit 14 ".
  • the component analysis unit 13 The original data 102 with state information to be received is temporarily stored in the original data buffer 131 (step S56).
  • the state change creating unit 14 "receives a plurality of state-specific component data.
  • the state labels of 141 n are transmitted from the buffer 141 1 ′ to the component analysis unit 13.
  • the component analysis unit 13 extracts the component data 103-i from the state-specific component data buffer 141-i 'having a state label that matches the input state information 102B, and temporarily stores it in the component buffer 133 ( Step S58).
  • the analysis calculation device 134 of the component analysis unit 13 analyzes the original data 102A for the component data 103-, and the analysis result data 1 with state information corresponding to the state information 102B 1 04—i is output and transmitted to the component converter 15 (step S60).
  • the component conversion unit 15 converts the received analysis result data with status information 104-i into a plurality of other status information 102B-1 to 102B- different from the status information 102B of the analysis result data with status information 104-i.
  • a plurality of conversion analysis result data 105A-1 to 105A-n (excluding 105A-i) corresponding to n (excluding 102B-i) is converted.
  • the component conversion unit 15 creates a plurality of conversion analysis result data 105A—1 to 105A—n (excluding 105A—i) and a plurality of corresponding state information 102B—1 to 102B—n (excluding 102B—i) ) And the state information conversion analysis result data 105-1 to 105-n (excluding 105-i) are transmitted to the state change data creation unit 14 "(step S62).
  • the state change data creation unit 14 "corresponds to the conversion analysis result data 105A-1 to 105A-n (excluding 105A-i) received from the component conversion unit 15 and the respective state information 102B. State change data with state labels 141 1 ′ to 141 n (excluding 141—i ′) 103—1 to 103—n (excluding 103-i), state change data 106— 1 106-n (except 105A-i) are created (step S64), and the conversion operation is the same as that of the third embodiment, and the description thereof is omitted.
  • the created state change data 106 of another state is transmitted to the matching unit 11 'in association with the state information 102B corresponding to the command of the state change calculation device 142 ".
  • 106 may be a method that is extracted under the control of the collation unit 11.
  • the collation unit 11 uses the state change data 106 transmitted from the state change data creation unit 14 as the collation data 107 ′, and the collation operation device.
  • comparison processing is performed with the input data 101, and the verification result data 108 is transmitted to the verification result output device 30 (step S66)
  • the verification operation is the same as in the second embodiment.
  • the collation result output unit 30 displays the collation result on the display screen based on the received collation result data 108.
  • the display result is a personal authentication display indicating that the person to be collated is a person registered in the data collation apparatus 10, and state change data 106 (with status information 102B) as collation data 108 is displayed as an image, Display as text (step S26). By displaying the matched state change data 106 and its status information 102B, it is possible to identify the person to be collated.
  • the state change data 106 is obtained directly from the state change data creation unit 14 "that does not need to constitute the state change data storage unit 12B in the third embodiment.
  • the storage space can be reduced, and the original data 102A can be excluded from verification and the number of candidates for verification data 107 'can be reduced.
  • the state information 102B is input, only the state change data 106 corresponding to the state information 102B is collated, so that the number of collation candidates can be further reduced.
  • the collation data storage unit 12, the component analysis unit 13, the state change data creation unit 14, and the component conversion unit 15 are connected to the collation unit 11 through a network and are used even if they are placed in a remote place. It is not limited even if it is connected by a line and used in a nearby location.
  • the data collating system of the present invention when collating an object whose state changes, the state change of the registered data used during collation is automatically added, so the burden on the operator during collation is reduced.
  • the existing acquisition device 20, registration device 30, and verification result output device 40 can be used, and the system can be easily assembled and changed.
  • the state-specific buffer 141 ′ (first and second embodiments) or the state-specific component data buffer 141 ′ (third and fourth embodiments) corresponding to the new state information is sent to the state change data creation unit. By simply adding to 14, it is possible to easily improve the accuracy of the verification system and change conditions for state changes.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Collating Specific Patterns (AREA)

Abstract

 照合の対象物のデータを入力データ101として取得する取得装置20と、登録装置30から入力される物体のオリジナルデータ102Aと前記物体の状態を示す状態情報102Aとを関連付けて保持し、オリジナルデータ101Aを基に、別の状態を示す状態情報102Bに対応する状態変化データ106を作成するデータ照合装置10とを備え、データ照合装置10は、入力データ101と状態変化データ106とを照合し、照合結果データ108を照合結果出力装置40に送信し、照合結果を出力する。

Description

明 細 書
データ照合システム、データ照合装置、及びデータ照合方法
技術分野
[0001] 本発明は、データ照合システム、データ照合装置、及びデータ照合方法に関し、特 に状態変化を生じる照合対象を照合するためのデータ照合システム、データ照合装 置、及びデータ照合方法に関する。
背景技術
[0002] 人物の顔や声のようなバイオメトリタス情報に代表される状態変化が生ずるものに関 するデータは、状態の変化により特徴の生成消滅が生じる。例えば、人物の顔では、 加齢により若年時の特徴が失せ加齢時の特徴が現たり、感情によりある特徴が目立 たなくなり別の特徴が目立つようになる。そのため、ある状態のデータは、同一物体 のデータであっても別の状態のデータと異なり、照合時の障害になることがある。
[0003] 照合用のデータとして同一人物のデータを状態別に取得して、状態対応データべ ースを作ることは通常困難である。そのため、状態変化への対策としては、データべ ース内のある状態のデータ力 その物体の別状態の推定データを作成することが考 えられる。ある時点のデータ力 状態変化後のデータを作成する方法として、データ が顔画像で状態変化が経年変化の場合、例えば、若年時の顔に皺などの加齢時の 特徴を CGで書き込んで加齢時の顔画像を作成する方法がある。
[0004] 米国特許第 6556196号に、顔画像の場合の方法が開示されている。この方法で は、 3Dモデルを用いて経年特徴や表情特徴の付加を洗練ィ匕し、不明確な特徴の付 加を実施している。この方法では、 3Dの顔データベース力 変形可能な顔の一般的 なモデルを作り、入力顔画像をこのモデルに貼り付け、状態変化を含めた特徴変化 をモデラ一により変形している。
[0005] 経年変化や表情変化で起こる特徴変化は必ずしも作成手順が確立しているとは限 ららない。確立していない場合、現実にあるものを人が模倣する必要がある。このた め、特徴付加によって状態変化データを作成し照合する方式では、手動もしくはそれ に近い労力を要する半自動処理を行なう必要が生じる。又、局所的で比較的明確な 特徴とは異なり、書き込みのような形で付加すること自体が困難であるため、直感的 に把握しにくい大域の状態変化への対応は困難である。
[0006] 米国特許第 6556196号に開示されている方法では、状態特徴はあら力じめ用意さ れた状態変化の特徴 (例えば皺の発生位置)を用いるため、誰であろうと同じところに 同じ状態変化特徴が生じる(同じ位置に皺が発生する)。又、その状態変化特徴 (雛 形)が照合の対象顔に適した状態特徴かはどうかは想定されていない。
[0007] 関連する技術として特開 2003— 44858号公報に個人認証装置および方法が開 示されている。この個人認証装置は、生体情報 1入力手段と、生体情報 1信頼度決 定手段と、生体情報 1照合手段と、生体情報 2入力手段と、生体情報 2信頼度決定 手段と、生体情報 2照合手段と、複合判定手段とを備える。生体情報 1入力手段は、 第 1の生体情報を取得する。生体情報 1信頼度決定手段は、前記生体情報 1入力手 段によって取得された第 1の生体情報と前記第 1の生体情報の入力環境情報とに基 づいて前記第 1の生体情報の信頼度を決定する。生体情報 1照合手段は、前記生体 情報 1入力手段によって取得された第 1の生体情報と前記第 1の生体情報を含む情 報が予め登録された生体情報 1登録データとを照合する。生体情報 2入力手段は、 第 2の生体情報を取得する。生体情報 2信頼度決定手段は、前記生体情報 2入力手 段によって取得された第 2の生体情報と前記第 2の生体情報の入力環境情報とに基 づいて前記第 2の生体情報の信頼度を決定する。生体情報 2照合手段は、前記生体 情報 2入力手段によって取得された第 2の生体情報と前記第 2の生体情報を含む情 報が予め登録された生体情報 2登録データとを照合する。複合判定手段は、前記生 体情報 1信頼度決定手段によって決定された信頼度、前記生体情報 2信頼度決定 手段によって決定された信頼度、前記生体情報 1照合手段による照合結果、および 前記生体情報 2照合手段による照合結果に基づいて本人か否かの判定である本人 判定を行う。
[0008] 特開平 10— 171988号公報にパターン認識 '照合装置が開示されている。このパ ターン認識'照合装置は、モデルパターン入力手段と、入力パターン入力手段と、モ デルベクトル共分散入力手段と、モデル一入力変動共分散入力手段と、共分散加重 平均生成手段と、第 1の対角化手段と、第 2の対角化手段と、特徴抽出手段と、判定 手段とを具備する。モデルパターン入力手段は、モデルパターン M (モデルベクトル とも呼ぶ)を入力する。入力パターン入力手段は、認識対象の入力パターン 1(入力べ タトルとも呼ぶ)を入力する。モデルベクトル共分散入力手段は、モデルベクトルの共 分散行列 Cmを入力する。
モデル一入力変動共分散入力手段は、個々のモデルパターン力 対応する入力パ ターンへの変動の共分散行列 Cpを予め学習させ入力する。共分散加重平均生成手 段は、前記モデルベクトル共分散入力手段から入力されたモデルベクトル共分散行 列と前記モデル一入力変動共分散入力手段から入力されたモデル一入力変動共分 散行列との加重平均を、
Cs≡ aCm+(l- a)Cp («は0<«<1の実数) ··· (1)
に従ってとり、新たに行列 Csを生成する。第 1の対角化手段は、前記共分散加重平 均生成手段の出力の行列 Csを、
Cs= (AQ1/2) (Q1/2AT) · · · (2)
(Aは Csの正規ィ匕固有ベクトル行列、 Qは対応する固有値よりなる対角行列、 Q1/2 は Qの平方根行列、 ATは Aの転置行列)のようにスペクトル分解し、これより行列 D ≡Q— 1Z2AT、(Q— 1Z2は行列 Qの平方根行列の逆行列)を得る。第 2の対角化 手段は、モデルパターン共分散行列 Cmを行列 Dによって変換した行列 DCmDTを
DCmDT=BPBT …(3)
(Bは DCmDTの正規ィ匕固有ベクトル行列、 Pは対応する固有値よりなる対角行列) のようにスペクトル分解し、行列 Bを得る。特徴抽出手段は、前記第 1及び第 2の対角 化手段の出力 Q— 1Z2AT、 Bを用いて、
H≡WBTQ-1/2AT …(4)
(W≡diag(al, α2, ··· an), iは適当な非負の数))に従って行列 Hを生成- 保持し、認識のランタイムにモデルパターン Mと入力パターン Iから、
M,≡HM、I,≡HI ··· (5)
に従ってそれぞれの特徴ベクトル Μ'、 Γを抽出する。判定手段は、前記特徴抽出手 段が抽出した入力パターン Iの特徴ベクトル I,とモデルパターン Mの特徴ベクトル M, との距離、
II M, -I' II ( II * IIはユークリッド距離) · · ·(6)
が最も小さ 、特徴ベクトルを有するモデルパターンを見い出し、これによつて入力パ ターンがどのモデルに対応するかを判定 (認識)する。
発明の開示
[0009] 本発明の目的は、状態変化を生じる物体の情報を精度良く照合するデータ照合シ ステム、データ照合装置、及びデータ照合方法を提供することにある。
[0010] 本発明の他の目的は、照合時の作業者の負担を軽減するデータ照合システム、デ ータ照合装置、及びデータ照合方法を提供することにある。
[0011] 上記課題を解決するために本発明のデータ照合装置は、オリジナルデータ蓄積部 と、状態変化データ作成部と、照合部とを具備する。オリジナルデータ蓄積部は、物 体のオリジナルデータと、その物体の状態を表す第 1の状態情報とを関連付けて保 持する。状態変化データ作成部は、そのオリジナルデータに基づいて、複数のその 物体の別の状態を表す複数の第 2の状態情報に関連付けられる複数の状態変化デ ータを作成する。照合部は、入力される照合の対象物のデータである入力データと その複数の状態変化データの各々とを比較し、その複数の状態変化データのうちそ の入力データとの差分が最小である状態変化データを抽出する。
[0012] 上記のデータ照合装置において、その複数の状態変化データを記憶する状態変 化データ蓄積部を更に具備する。そのオリジナルデータとその複数の状態変化デー タは、複数の照合データとしてその照合部に送信される。その照合部は、その入力デ ータとその複数の照合データの各々とを比較し、その入力データとの差分が最小で ある照合データを抽出する。
[0013] 上記のデータ照合装置において、その照合部は、その抽出を、その差分が最小で ある場合に加えて、その差分が閾値以下である場合に行う。
[0014] 上記のデータ照合装置において、その状態変化データ作成部は、状態変化演算 装置と状態別バッファとを備える。状態変化演算装置は、その第 1の状態情報及びそ の複数の第 2の状態情報の各々別に分けられたデータで学習したニューラルネットヮ ークを用いて、その第 1の状態情報に対応するそのオリジナルデータ力 その複数の 第 2の状態情報に対応するその複数の状態変化データを作成する。状態別バッファ は、各々がその複数の状態変化データのうちの対応する状態変化データを記憶する
[0015] 上記のデータ照合装置において、複数の状態別構成成分データバッファと、成分 分析部と、成分変換部とを更に具備する。複数の状態別構成成分データバッファは 、その第 1の状態情報及びその複数の第 2の状態情報の各々としての第 3の状態情 報を示す状態ラベルとその第 3の状態情報に対応する構成成分データとを保持し、 その第 1の状態情報及びその複数の第 2の状態情報の各々ごとに設けられている。 成分分析部は、その複数の状態別構成成分データバッファのうちその第 1の状態情 報に一致する状態ラベルを持つ状態別構成成分データバッファからその構成成分 データを抽出し、その構成成分データに基づいてそのオリジナルデータを分析し、そ の第 1の状態情報に対応する第 1の分析結果データを出力する。成分変換部は、そ の第 1の分析結果データに基づいて、その複数の第 2の状態情報に対応する複数の 第 2の分析結果データに変換する。その状態変化データ作成部は、その複数の第 2 の分析結果データと、その複数の状態別構成成分データバッファのうちその複数の 第 2の状態情報に一致する状態ラベルを持つ複数の状態別構成成分データバッファ の複数の構成成分データとに基づいて、その複数の状態変化データを作成する状 態変化演算装置を備える。
[0016] 上記のデータ照合装置において、その入力データ及びそのオリジナルデータは、 バイオメトリタスデータである。
[0017] 上記のデータ照合装置において、その第 1の状態情報及びその複数の第 2の状態 情報は、その物体の経年変化に対応する状態の情報である。
[0018] 上記のデータ照合装置において、その対象物及びその物体は人物の顔である。そ の入力データ及びそのオリジナルデータは顔画像データである。その第 1の状態情 報及びその複数の第 2の状態情報は、その顔の表情を表す情報である。
[0019] 上記課題を解決するために本発明のデータ照合システムは、照合の対象物のデー タを入力データとして取得する取得装置と、物体のオリジナルデータとその入力デー タとを照合するデータ照合装置とを具備する。そのデータ照合装置は、オリジナルデ ータ蓄積部と、状態変化データ作成部と、照合部とを備える。オリジナルデータ蓄積 部は、そのオリジナルデータと、その物体の状態を表す第 1の状態情報とを関連付け て保持する。状態変化データ作成部は、そのオリジナルデータに基づいて、複数の その物体の別の状態を表す複数の第 2の状態情報に関連付けられる複数の状態変 化データを作成する。照合部は、その入力データとその複数の状態変化データの各 々とを比較し、その複数の状態変化データのうちその入力データとの差分が最小で ある状態変化データを抽出する。
[0020] 上記のデータ照合システムにおいて、そのデータ照合装置は、その複数の状態変 化データを記憶する状態変化データ蓄積部を更に備える。そのオリジナルデータと その複数の状態変化データは、複数の照合データとしてその照合部に送信される。 その照合部は、その入力データとその複数の照合データの各々とを比較し、その入 力データとの差分が最小である照合データを抽出する。
[0021] 上記のデータ照合システムにおいて、その照合部は、その抽出を、その差分が最 小である場合に加えて、その差分が閾値以下である場合に行う。
[0022] 上記のデータ照合システムにお 、て、その状態変化データ作成部は、状態変化演 算装置と、状態別バッファとを含む。状態変化演算装置は、その第 1の状態情報及 びその複数の第 2の状態情報で学習した-ユーラルネットワークを用いて、その第 1 の状態情報に対応するそのオリジナルデータ力 その複数の第 2の状態情報に対応 するその複数の状態変化データを作成する。状態別バッファは、各々がその複数の 状態変化データのうちの対応する状態変化データを記憶する。
[0023] 上記のデータ照合システムにおいて、
そのデータ照合装置は、複数の状態別構成成分データバッファと、成分分析部と、 成分変換部とを更に備える。複数の状態別構成成分データバッファは、その第 1の 状態情報及びその複数の第 2の状態情報の各々としての第 3の状態情報を示す状 態ラベルとその第 3の状態情報に対応する構成成分データとを保持し、その第 1の状 態情報及びその複数の第 2の状態情報の各々ごとに設けられている。成分分析部は
、その複数の状態別構成成分データバッファのうちその第 1の状態情報に一致する 状態ラベルを持つ状態別構成成分データバッファからその構成成分データを抽出し 、その構成成分データに基づいてそのオリジナルデータを分析し、その第 1の状態情 報に対応する第 1の分析結果データを出力する。成分変換部は、その第 1の分析結 果データに基づいて、その複数の第 2の状態情報に対応する複数の第 2の分析結果 データに変換する。その状態変化データ作成部は、その複数の第 2の分析結果デー タと、その複数の状態別構成成分データバッファのうちその複数の第 2の状態情報に 一致する状態ラベルを持つ状態別構成成分データバッファのその構成成分データと に基づ!/、て、その複数の状態変化データを作成する状態変化演算装置を含む。
[0024] 上記のデータ照合システムにおいて、その入力データ及びそのオリジナルデータ は、バイオメトリタスデータである。
[0025] 上記のデータ照合装置において、その第 1の状態情報及びその複数の第 2の状態 情報は、その物体の経年変化に対応する状態の情報である。
[0026] 上記のデータ照合システムにおいて、その対象物及びその物体は人物の顔である 。その入力データ及びそのオリジナルデータは顔画像データである。その第 1の状態 情報及びその複数の第 2の状態情報は、その顔の表情を表す情報である。
[0027] 上記のデータ照合システムにおいて、そのオリジナルデータをその物体力 読み取 り、その第 1の状態情報と関連付けてそのデータ照合装置に入力する登録装置を更 に具備する。
[0028] 上記のデータ照合システムにおいて、そのデータ照合装置から出力されたその照 合結果データに基づいて、照合結果を出力する照合結果出力装置を更に具備する
[0029] 上記課題を解決するために本発明のデータの照合方法は、(a)物体のオリジナル データをその物体の状態を表す第 1の状態情報とともに取得するステップと、(b)そ のオリジナルデータに基づいて、複数のその物体の別の状態を表す複数の第 2の状 態情報に関連付けられる複数の状態変化データを作成するステップと、(c)照合の 対象物のデータである入力データとその複数の状態変化データの各々とを照合する ステップと、(d)その照合の結果を出力するステップとを具備する。
[0030] 上記のデータの照合方法において、その(c)ステップは、(cl)そのオリジナルデー タ及びその複数の状態変化データを複数の照合データとして、その入力データとそ の複数の照合データの各々とを照合するステップを備える。
[0031] 上記のデータの照合方法において、その(b)ステップは、(bl)その第 1の状態情報 及びその複数の第 2の状態情報の各々別に分けられたデータで学習した変換方法 により、そのオリジナルデータ力もその複数の状態変化データを作成するステップを 更に備える。
[0032] 上記のデータの照合方法において、その(b)ステップは、(b2)そのオリジナルデー タをその第 1の状態情報に対応する構成成分データに分解し、第 1の分析結果デー タを作成するステップと、 (b3)その第 1の分析結果データとその複数の第 2の状態情 報に対応する複数の構成成分データとに基づいて、その複数の状態変化データを 作成するステップを更に備える。
[0033] 上記課題を解決するために本発明のるコンピュータプログラム製品は、コンピュータ 上で使用したときに、上記各項のいずれかに記載されたデータの照合方法の全ての ステップを実行するプログラムコード手段を有する。
[0034] 上記課題を解決するために本発明のるコンピュータプログラム製品は、コンピュータ により読み取り可能な記憶手段に記憶された、上記各項の!/、ずれかに記載されたデ ータの照合方法の全てのステップを実行するプログラムコード手段を有する。
[0035] 本発明のデータ照合システム、データ照合装置、及びデータ照合方法によれば、 状態変化を生じる物体の情報を精度良く照合することができる。又、照合時の作業者 の負担を軽減することができる。
図面の簡単な説明
[0036] [図 1]図 1は、本発明のデータ照合システムにおける第 1の実施の形態の構成を示す ブロック図である。
[図 2A]図 2Aは、本発明のデータ照合システムの第 1の実施の形態における照合部 1 1の構成を示すブロック図である。
[図 2B]図 2Bは、本発明のデータ照合システムの第 2の実施の形態における照合部 1 1の構成を示すブロック図である。
[図 3]図 3は、本発明のデータ照合システムの第 1の実施の形態における状態変化デ ータ作成部 14の構成を示すブロック図である。 [図 4]図 4は、本発明によるデータ照合システムの第 1の実施の形態における動作を 示すフロー図である。
[図 5]図 5は、本発明によるデータ照合システムの第 2の実施の形態における構成を 示すブロック図である。
[図 6]図 6は、本発明によるデータ照合システムの第 2の実施の形態における動作を 示すフロー図である。
[図 7]図 7は、本発明によるデータ照合システムの第 3の実施の形態における構成を 示すブロック図である。
[図 8]図 8は、本発明のデータ照合システムの第 3の実施の形態における成分分析部 13の構成を示すブロック図である。
[図 9]図 9は、本発明のデータ照合システムの第 3の実施の形態における状態変化デ ータ作成部 14'の構成を示すブロック図である。
[図 10]図 10は、本発明のデータ照合システムの第 3の実施の形態における成分変換 部 15の構成を示すブロック図である。
[図 11]図 11は、本発明によるデータ照合システムの第 3の実施の形態における動作 を示すフロー図である。
[図 12]図 12は、本発明によるデータ照合システムの第 4の実施の形態における構成 を示すブロック図である。
[図 13]図 13は、本発明のデータ照合システムの第 4の実施の形態における状態変化 データ作成部 14"の構成を示すブロック図である。
[図 14]図 14は、本発明によるデータ照合システムの第 4の実施の形態における動作 を示すフロー図である。 発明を実施するための最良の形態
[0037] 以下、添付図面を参照して、本発明によるデータ照合システムの実施の形態を説 明する。
[0038] 本発明によるデータ照合システムは、状態変化を起こす対象に対する照合を実施 するシステムである。データ照合システムは、例えば、セキュリティシステムでの本人 識別、犯罪搜查ゃ学術調査時の照合等に用いられる。本実施の形態では、経年変 化を起こす人物の顔画像、あるいは、音声情報等による照合を一例に説明する。尚、 照合に用いられる入力データ 101やデータ照合装置 10に登録されるオリジナルデ ータ 102Aは、顔、指紋等の人体の部位の画像、声の音声などの一次元のデータ、 顔形状などの三次元データ等のバイオメトリタスデータ、植物や人間以外の動物のデ ータ、生物と同様に個別の特性を持ちながら状態変化をする人工物に関するデータ でも良い。又、状態変化を起こす状態情報 102Bとしては経年変化の情報である年 齢の他、顔の表情変化情報や、体調不良による音声情報等でも構わない。
[0039] (第 1の実施の形態)
図 1から図 4を参照して本発明によるデータ照合システムの第 1の実施の形態を説 明する。
[0040] 図 1は、本発明のデータ照合システムにおける第 1の実施の形態の構成を示すプロ ック図である。本発明によるデータ照合システムは、データ照合装置 10と、取得装置 20と、登録装置 30と、照合結果出力装置 40とを備え、それぞれの装置はデータ照 合装置 10に接続されている。
[0041] 事前に登録装置 30に入力される、照合の対象となる人物の顔画像や音声情報等 のデータは、オリジナルデータ 102Aとしてデータ照合装置 10に登録される。データ 照合装置 10は、登録されたオリジナルデータ 102Aに付随する状態情報 102Bに基 づいて、オリジナルデータ 102Aを状態変化データ 106に変換する。この際、状態情 報 102Bとは、照合の対象となる人物の状態変化に起因する状態の情報である (例え ば、経年変化の場合は年齢情報)。データ照合装置 10は、取得装置 20で読み取ら れる顔画像等の入力データ 101と、オリジナルデータ 102Aや状態変化データ 106 である照合データ 107との照合を行なう。照合の結果は、照合結果データ 108として 照合結果出力装置 40に送信される。照合出力装置 40は、照合結果データ 108に基 づき照合結果を表示する。
[0042] 取得装置 20は、顔画像を読み取るスキャナ、あるいは、音声情報を取得するレコー ダを備える。取得装置 20は、取得した顔画像や音声情報から顔や音声の特徴部分 を検出し、入力データ 101としてデータ照合装置 10に送信する。取得装置 20に用い られるスキャナは、読み込むデータが画像であれば、 2Dあるいは 3Dスキャナである 。取得装置 20に用いられるレコーダは、音声情報をコンピュータで利用できるデータ に変更できる。読み込む各種データの圧縮形式は、限定しない。
[0043] 登録装置 30は、顔画像を読み取るスキャナ、あるいは、音声情報を取得するレコー ダを備える。登録装置 30は、取得した顔画像や音声情報から顔や音声の特徴部分 を検出する処理を施し、オリジナルデータ 102Aを作成する。この際、キーボード等の 入力装置を用いて登録日時や照合の対象となる人物の年齢や体調等のデータを状 態情報 102Bとして入力する。作成されるオリジナルデータ 102Aと、作成時に入力さ れる状態情報 102Bは関連付けられて、状態情報付オリジナルデータ 102としてデ ータ照合装置 10に送信される。
[0044] データ照合装置 10は、ワークステーションやパーソナルコンピュータに例示される 情報処理装置である。データ照合装置 10は、照合部 11と、照合データ蓄積部 12と、 状態変化データ作成部 14とを備える。照合部 11及び状態変化データ作成部 14は、 それぞれ照合データ蓄積部 12に接続されている。尚、照合データ蓄積部 12及び状 態変化データ作成部 14は、遠隔地に置かれ、通信回線あるいはネットワークによつ て照合部 11と接続されて!、てもよ!/、。
[0045] 照合部 11は、通信回線あるいはネットワーク等を介し取得装置 20に接続されてい る。照合部 11は、取得装置 20から入力される照合の対象となる入力データ 101と、 照合データ蓄積部 12から受信する照合データ 107とを照合し、照合結果データを照 合結果出力部 40に送信する。図 2Aは、本発明のデータ照合システムの第 1の実施 の形態における照合部 11の構成を示すブロック図である。照合部 11は、入力データ ノ ッファ 111と、照合データバッファ 112と、照合演算装置 113とを備える。入力デー タバッファ 111は、取得装置 20から受信する入力データ 101を保持する。照合デー タバッファ 112は、照合データ蓄積部 12から受信する照合データ 107を保持する。 照合演算装置 113は、入力データバッファ 111と照合データバッファ 112に接続され る。
[0046] 照合演算装置 113は、照合データバッファ 112にある照合データ 107を読み出す。
そして、照合データ 107と入力データバッファ 111にある入力データ 101とを比較し、 照合結果データ 108を照合結果出力部 40に出力する。照合演算装置 113は、照合 データ 107と入力データ 101との差分を取る。その差分が最も小さい時、その差分と 設定された閾値とを比較する。差分が閾値以下である場合、本人と認定する照合結 果データ 108を照合結果出力装置 40に送信する。あるいは、照合データ 107と入力 データ 101との差分を取る。そして、その差分が最も小さい照合データ 107を抽出し 、照合結果データ 108として照合結果出力装置に送信する。尚、本発明では照合に 使用する比較の方式は限定せず、入力データ 101と照合データ 107とを照合できれ ば上記方法に限定されない。又、照合演算装置 113は、照合データバッファ 112を 介さずに直接照合データ蓄積部 12から、照合データ 107を抽出し照合を実施しても 構わない。
[0047] 照合データ蓄積部 12は、メモリやディスク等のストレージ装置である。照合データ蓄 積部 12は、オリジナルデータ蓄積部 12Aと、状態変化データ記憶部 12Bとを備える 。オリジナルデータ蓄積部 12Aは、登録装置 30に接続され、登録装置 30から登録さ れる状態情報付オリジナルデータ 102を記憶する。状態変化データ記憶部 12Bは、 状態変化データ作成部 14から受信する状態変化データ 106を対応する状態情報 1 02Bと関連付けて記憶する。
[0048] 照合データ蓄積部 12は、登録装置 30から状態情報付オリジナルデータ 102が入 力されると、状態変化データ 106を作成するため、その状態情報付オリジナルデータ 102を状態変化データ作成部へ送信する。又、照合部 11からの指令により、保持し ているオリジナルデータ 102Aや状態変化データ 106を照合データ 107として照合 部 11に送信する。
[0049] 図 3は、本発明のデータ照合システムの第 1の実施の形態における状態変化デー タ作成部 14の構成を示すブロック図である。状態変化データ作成部 14は、相互に接 続される複数の状態別バッファ 141— 1から 141—nと、複数の状態別バッファ 141 - 1から 141—nに接続される状態変化演算装置 142とを備える。複数の状態別バッフ ァ 141— 1から 141— nの各々(以下、「状態別バッファ 141」ともいう)は、メモリやディ スク等のストレージ装置であり、状態変化演算装置 142は、 CPU等の演算装置又は プログラムあるいは演算装置とプログラムの組合せである。
[0050] 状態別バッファ 141と状態変化演算装置 142は、それぞれ照合データ蓄積部 12に 接続されている。複数の状態別バッファ 141— 1から 141— nの各々は、互いに異な る状態情報 102Bに対応している(関連付けられている)。状態別バッファ 141は、自 身の状態情報 102Bに対応する状態ラベルを持つ。状態変化演算装置 142は、状 態変化演算装置 142と各状態別バッファ 141と間において、同一人物の複数の状態 の各々別に分類された複数のデータで学習済みの-ユーラルネットワークを形成して いる。
[0051] 状態別バッファ 141 i (l≤i≤n、 nは自然数)の状態ラベルに対応する状態情報 1 02Bを持つ状態情報付オリジナルデータ 102が、状態変化演算装置 142に入力さ れる場合を考える。この場合、状態変化演算装置 142は、そのオリジナルデータ 102 Aを状態別バッファ 141— iに入力する。そして、そのオリジナルデータ 102A力も-ュ 一ラルネットワークを用いて別の状態の状態変化データ 106を作成する。ここで、「別 の状態」は、そのオリジナルデータ 102Aに付属の状態情報 102Bとは異なる状態情 報 102Bに対応する状態をいう。ここでは、複数の状態別バッファ 141— 1から 141— n (但し、状態別バッファ 141— iを除く)に対応する状態情報 102Bの状態である。し たがって、別の状態の状態変化データ 106として、「別の状態」に対応して、複数の 状態変化データ 106— 1から 106— n (状態変化データ 106— iを除く)が生成される
[0052] 作成された複数の状態変化データ 106— 1から 106— n (状態変化データ 106— i を除く)の各々は、それぞれの状態情報 102Bに対応する状態ラベルを持つ状態別 ノ ッファ 141に入力される。すなわち、状態変化データ 106-j (l≤j≤n、 i≠j、; jは自 然数)は、状態別バッファ 141 jに入力される。複数の状態別バッファ 141— 1から 1 41— n (但し、状態別バッファ 141— iを除く)は、それぞれの状態情報 102Bと関連 付けた複数の状態変化データ 106— 1から 106— n (状態変化データ 106— iを除く) を照合データ蓄積部 12の状態変化データ蓄積部 12Bに送信する。
[0053] 照合結果出力部 40は、パーソナルコンピュータに例示される情報処理装置である 。照合結果出力部 40は、受信する照合結果データ 108に基づき、照合結果を表示 画面に表示する表示部を備える。照合結果データ 108は、照合対象である人物がデ ータ照合装置 10に登録済みの人物であることを示す本人認証や、照合データ 108 である状態情報付オリジナルデータ 102又は状態変化データ 106 (状態情報 102B も付随)である。照合結果出力部 40は、本人認証の有無に基づきゲートの開閉を行 なう開閉装置や、施錠の開閉をする施錠装置を備えることもでき、照合結果データ 1 08が本人認証であれば、この照合結果によって、施設の入退場を管理することがで きる。又、照合結果データ 108が照合データ 107である場合、データ照合装置 10の 状態情報付オリジナルデータ 102又は状態変化データ 106によって、照合対象とな る物体や人物の特定を行なうことができる。
[0054] なお、上記のオリジナルデータ 102A、状態情報付きオリジナルデータ 102、その オリジナルデータ 102Aに基づいて生成された状態変化データには、同一の認識番 号を付加してある。したがって、認識番号力もそのデータの元、及びその関連データ (図示されず)を取り出すことが出来る。関連データは、例えば、オリジナルデータ 10 2Aが顔画像であれば、その人物の情報に例示される。
[0055] 次に、本発明によるデータ照合システムの第 1の実施の形態における動作を説明 する。図 4は、本発明によるデータ照合システムの第 1の実施の形態における動作を 示すフロー図である。
[0056] 照合用データ 107を作成及び登録するため、照合を実施する前に登録装置 30に より照合の対象となる人物の顔画像をスキャン (撮影)してデータ照合装置 10にオリ ジナルデータ 102Aとして入力する。この際、状態情報 102B— iとして登録日時と人 物の年齢を入力する。入力されたオリジナルデータ 102Aと状態情報 102B— iは関 連付けられて、状態情報付オリジナルデータ 102として照合蓄積部 12のオリジナル データ蓄積部 12Aに蓄積される (ステップ S 2)。
[0057] オリジナルデータ蓄積部 12Aの状態情報付オリジナルデータ 102は、その状態情 報 102B-iに対応する状態ラベルを持つ状態別バッファ 141 (例えば、状態別バッ ファ 141 i)に入力される (ステップ S4)。状態変化データ作成部 14の状態変化演 算装置 142は、状態別バッファ 141— iに入力されたオリジナルデータ 102Aを、ニュ 一ラルネットワークを用いて変換し、複数の他の状態における複数の状態変化デー タ 106— 1から 106— nを作成し、複数の状態別バッファ 141— 1から 141— n (状態 別バッファ 141—iは除く)のうち、それぞれの状態情報 102Bに対応するものへ記録 される (ステップ S6)。すなわち、状態変化データ 106 -jは、状態別バッファ 141 -j に入力される。
[0058] この際、オリジナルデータ 102Aに付随する状態情報 102B— iと、他の状態情報 1 02B— jとの関係に基づいて、他の状態変化データ 106への変化率や、変化領域等 の変化パラメータが決定される。例えば、入力された状態情報 102B— iが 25才を表 す状態情報である場合、まず、 20才ゃ 50才に対応する状態情報 102B— j l、 102B j2との関係に基づき、 25才を基準に経年変化 (若年変化も含む)する顔の変化を 計算する。そして、その変化分をオリジナルデータ 102Aに付加して、各状態情報 10 2B—j l (20才)、 102B— j2 (50才)における状態変化データ 106— j l、 106— j2を 作成する。
[0059] 複数の状態別バッファ 141 1から 141—n (状態別バッファ 141—iは除く)の各々 の状態変化データ 106は、対応する状態情報 102Bと関連付けられて状態変化デー タ蓄積部 12Bへ送信され、蓄積される (ステップ S8)。すなわち、複数の状態変化デ ータ 106— 1から 106— n (状態変化データ 106— iを除く)は、状態変化データ蓄積 部 12Bに蓄積される。
[0060] 同様にして、データ照合装置 10に複数の人物の顔画像の状態情報付オリジナル データ 102Aと、状態変化データ 106が照合用の照合データ 107として蓄積される。
[0061] 次に、取得装置 20が照合の対象となる人物の顔画像をスキャン (撮影)し、入力デ ータ 101としてデータ照合装置 10の照合部 11へ入力する(ステップ S 10)。入力デ ータ 101が入力されると、照合部 11は照合データ蓄積部 12から照合データ 107とし て状況情報付オリジナルデータ 102や状態変化データ 106を抽出し、照合演算装置 113にお 、て比較処理を行な!/、、照合結果データ 108を照合結果出力装置 30に送 信する (ステップ S12)。照合では、入力データ 101との差分が最小、且つ、設定して いる閾値を越えない照合データ 106を本人であると認定する。尚、閾値を設けず、差 分が最小の照合データを本人と認定しても構わない。この際、閾値を設けることで、 データ照合装置 10に登録されている人物と照合対象である人物との精度の高い本 人判定ができ、セキュリティチェック等の本人確認に使用することができる。又、閾値 を設けない場合は、類似の照合データを本人として抽出するため、照合対象となる人 物写真等からデータ照合装置 10に登録されている犯人の特定等に使用できる。
[0062] 照合結果出力部 30は、受信する照合結果データ 108に基づき、照合結果を表示 画面に表示する。表示結果は、照合対象である人物が、データ照合装置 10に登録 済みの人物であることを示す本人認証表示や、照合データ 108である状態情報付ォ リジナルデータ 102又は状態変化データ 106 (状況情報 102Bも付随)を画像やテキ ストとして表示する(ステップ S 14)。
[0063] 以上のように、さまざまな状態情報 102B— 1から 101B— nに対応する状態変化デ ータ 106— 1からデータ 106— nを作成して照合を行なうため、状態変化物体に対し てある状態 (状態情報 102B—i)の物体のオリジナルデータ 102Aのみで精度の高 い照合を行なうことが可能となる。又、状態変化データ 106を作成する方式は時間軸 に関係なく処理が可能であるため、状態変化が経年変化の場合、加齢変化だけでな ぐ若くなる方向、いかなる経年変化に対しても精度の高い照合を行なうことを可能と なる。
[0064] (第 2の実施の形態)
図 2B、図 3、図 5及び図 6を参照して本発明によるデータ照合システムの第 2の実 施の形態を説明する。図 5は、本発明によるデータ照合システムの第 2の実施の形態 における構成を示すブロック図である。
[0065] 第 2の実施の形態における本発明によるデータ照合システムは、データ照合装置 1 0と、取得装置 20と、登録装置 30と、照合結果出力装置 40とを備える。それぞれの 装置はデータ照合装置 10に接続されている。
[0066] 事前に登録装置 30に入力される、照合の対象となる人物の顔画像や音声情報等 のデータは、オリジナルデータ 102Aとしてデータ照合装置 10に登録される。データ 照合装置 10は、登録されたオリジナルデータ 102Aに付随する状態情報 102Bに基 づいて、オリジナルデータ 102Aを状態変化データ 106に変換する。この際、状態情 報 102Bとは、照合の対象となる人物の状態変化に起因する状態の情報である。デ ータ照合装置 10は、取得装置 20で読み取られる顔画像等の入力データ 101と状態 変化データ 106との照合を行なう。照合の結果は、照合結果データ 108として照合結 果出力装置 40に送信され、照合出力装置 40は、照合結果データ 108に基づき照合 結果を表示する。
[0067] 取得装置 20、登録装置 30、照合結果出力装置 40の構成は、第 1の実施の形態と 同じであるので説明を省略する。
[0068] データ照合装置 10は、ワークステーションやパーソナルコンピュータに例示される 情報処理装置である。データ照合装置 10は、照合部 11と、オリジナルデータ蓄積部 12A'と、状態変化データ作成部 14とを備える。照合部 11は状態変化データ作成部 14に接続されている。状態変化データ作成部 14はオリジナルデータ蓄積部 12A,に 接続されている。尚、オリジナルデータ蓄積部 12A'、状態変化データ作成部 14は、 遠隔地に置かれ、通信回線あるいはネットワークによって照合部 11と接続されて 、て ちょい。
[0069] 照合部 11は、通信回線あるいはネットワーク等を介し取得装置 20に接続されてい る。照合部 11は、取得装置 20から入力される照合の対象となる入力データ 101と、 状態変化データ作成部 14から受信する状態変化データ 106とを照合し、照合結果 データ 108を照合結果出力部 40に送信する。図 2Bは、本発明のデータ照合システ ムの第 2の実施の形態における照合部 11の構成を示すブロック図である。照合部 11 は、入力データバッファ 111と、照合データバッファ 112'と、照合演算装置 113とを 備える。入力データバッファ 111は、取得装置 20から受信する入力データ 101を保 持する。照合データバッファ 112'は、状態変化データ作成部 14から受信する状態 変化データ 106を保持する。照合演算装置 113は、入力データバッファ 111と照合 データバッファ 112,に接続される。
[0070] 照合演算装置 113は、照合データバッファ 112'にある状態変化データ力もなる照 合データ 107'を読み出す。そして、照合データ 107'と入力データバッファ 111にあ る入力データ 101とを比較し、照合結果データ 108を照合結果出力部 40に出力する 。照合演算装置 113は、照合データ 107'と入力データ 101との差分を取る。その差 分が最も小さい時、その差分と設定した閾値とを比較する。差分が閾値以下である場 合、本人と認定する照合結果データ 108を照合結果出力装置に送信する。又は、照 合データ 107'と入力データ 101との差分を取る。そして、その差分が最も小さい照 合データ 107'を抽出し、照合結果データ 108として照合結果出力装置に送信する。 尚、本発明では特に照合方式は限定せず、入力データ 101と照合データ 107'とを 照合できれば上記方法に限定されない。又、照合演算装置 113は、照合データバッ ファ 112'を介さずに直接状態変化データ作成部 14から、状態変化データ 106を照 合データ 107'として抽出し、照合を実施しても構わない。
[0071] オリジナルデータ蓄積部 12A,は、メモリやディスク等のストレージ装置である。オリ ジナルデータ蓄積部 12A'は、登録装置 30に接続され、登録装置 30から登録される 状態情報付オリジナルデータ 102を記憶する。オリジナルデータ蓄積部 12A'は、照 合部 11に入力データ 101が入力されると、状態変化データ 106を作成するため、登 録されている状態情報付オリジナルデータ 102を状態変化データ作成部 14へ送信 する。
[0072] 図 3は、本発明のデータ照合システムの第 2の実施の形態における状態変化デー タ作成部 14の構成を示すブロック図である。状態変化データ作成部 14の構成及び 動作は、第 1の実施の形態と同じであるが、作成される状態変化データ 106は照合 部 11に送信される。
[0073] 次に、本発明によるデータ照合システムの第 2の実施の形態における動作を説明 する。図 6は、本発明によるデータ照合システムの第 2の実施の形態における動作を 示すフロー図である。
[0074] 照合用データ 107'を作成及び登録するため、照合を実施する前に登録装置 30に より照合の対象となる人物の顔画像をスキャン (撮影)してデータ照合装置 10にオリ ジナルデータ 102Aとして入力する。この際、状態情報 102Bとして登録日時と人物 の年齢を入力する。入力されたオリジナルデータ 102Aと状態情報 102Bは関連付け られて、状態情報付オリジナルデータ 102として照合蓄積部 12'のオリジナルデータ 蓄積部 12A'に蓄積される (ステップ S16)。
[0075] 次に、取得装置 20が照合の対象となる人物の顔画像をスキャン (撮影)し、入力デ ータ 101としてデータ照合装置 10の照合部 11へ入力する(ステップ S 18)。入力デ ータ 101が入力されると、オリジナルデータ蓄積部 12A,に蓄積されている状態情報 付オリジナルデータ 102は状態変化データ作成部 14に送信され、その状態情報 10 2B—iに対応する状態ラベルを持つ状態別バッファ 141—iに記憶される (ステップ S 20)。状態変化演算装置 142は、状態別バッファ 141— もオリジナルデータ 102A を抽出し、他の複数の状態情報 102B— 1から 102B— n(102B— iを除く)に対応す る複数の状態変化データ 106 - 1から 106— n ( 106— iを除く)に変換する (ステップ S22)。変換の動作については第 1の実施の形態と同じであるので説明を省略する。
[0076] 作成された複数の状態変化データ 106— 1から 106— n (106-iは除く)は、それぞ れの状態情報 102Bに対応する、複数の状態別バッファ 141— 1から 141—n (141 iは除く)に記憶され、状態変化演算装置 142の指令により照合部 11へ送信される 。尚、状態変化データ 106は、照合部 11からの制御を受けて抽出される方式でも構 わない。照合部 11は、複数の状態別バッファ 141— 1から 141— n (141— iは除く) 力も送信される複数の状態変化データ 106— 1から 106— n (106-iは除く)を照合 データ 107 'として、照合演算装置 113にお 、て入力データ 101と比較処理を行なう 。そして、照合部 11は、比較処理結果としての照合結果データ 108を照合結果出力 装置 30に送信する (ステップ S24)。照合の動作は、第 1の実施の形態と同じである。
[0077] 照合結果出力部 30は、受信する照合結果データ 108に基づき、照合結果を表示 画面に表示する。表示結果は、照合対象である人物が、データ照合装置 10に登録 済みの人物であることを示す本人認証表示や、照合データ 108である状態変化デー タ 106 (状況情報 102Bも付随)を画像やテキストとして表示する (ステップ S26)。照 合された状態変化データ 106とその状況情報 102Bが表示されることで、照合の対象 である人物の特定を行なうことができる。
[0078] 以上のように、第 2の実施の形態では、第 1の実施の形態における状態変化データ 蓄積部 12Bを構成する必要がなぐ状態変化データ作成部 14から直接、状態変化 データ 106を照合部 11に送信して照合を行なうため、蓄積スペースを削減でき、オリ ジナルデータ 102Aを照合の対象外にして照合データ 107'の候補を減らすことがで きる。又、入力データ 101とともにその時の状態情報 102Bを入力すると、その状態情 報 102Bに対応する状態変化データ 106のみと照合するため、更に照合候補を減じ ることがでさる。
[0079] (第 3の実施の形態)
図 2A及び図 7から図 11を参照して本発明によるデータ照合システムの第 3の実施 の形態を説明する。図 7は、本発明によるデータ照合システムの第 3の実施の形態に おける構成を示すブロック図である。
[0080] 第 3の実施の形態における本発明によるデータ照合システムは、データ照合装置 1 0と、取得装置 20と、登録装置 30と、照合結果出力装置 40とを備え、それぞれの装 置はデータ照合装置 10に接続されている。
[0081] 事前に登録装置 30に入力される照合の対象となる人物の顔画像や音声情報等の データは、オリジナルデータ 102Aとしてからデータ照合装置 10に登録される。デー タ照合装置 10は、登録されたオリジナルデータ 102Aに付随する状態情報 102Bに 基づいて、オリジナルデータ 102Aを状態変化データ 106に変換する。この際、状態 情報 102Bとは、照合の対象となる人物の状態変化に起因する状態の情報である。 データ照合装置 10は、取得装置 20で読み取られる顔画像等の入力データ 101と、 オリジナルデータ 102Aや状態変化データ 106である照合データ 107との照合を行 なう。照合の結果は、照合結果データ 108として照合結果出力装置 40に送信される 。照合出力装置 40は、照合結果データ 108に基づき照合結果を表示する。
[0082] 取得装置 20、登録装置 30、照合結果出力装置 40の構成は、第 1の実施の形態と 同じであるので説明を省略する。
[0083] データ照合装置 10は、ワークステーションやパーソナルコンピュータに例示される 情報処理装置である。データ照合装置 10は、照合部 11、照合データ蓄積部 12'、 成分分析部 13、状態変化データ作成部 14'、成分分析部 15とを備える。
[0084] 照合データ蓄積部 12'は、照合部 11、成分分析部 13、状態変化データ作成部 14
'に接続されている。成分分析部 13と状態変化データ作成部 14'と成分変換部 15と は相互に接続されている。尚、照合データ蓄積部 12'及び状態変化データ作成部 1 4'は、遠隔地に置かれ、通信回線又はネットワークによって照合部 11と接続されて いてもよい。
[0085] 照合部 11の構成は第 1の実施の形態と同じであるので説明を省略する。
[0086] 照合データ蓄積部 12,は、メモリやディスク等のストレージ装置である。照合データ 蓄積部 12'は、オリジナルデータ蓄積部 12A"と、状態変化データ記憶部 12Bとを備 える。オリジナルデータ蓄積部 12A"は、登録装置 30に接続され、登録装置 30から 登録される状態情報付オリジナルデータ 102を記憶する。状態変化データ記憶部 12 Bは、状態変化データ作成部 14'から受信する状態変化データ 106を対応する状態 情報 102Bと関連付けて記憶する。
[0087] 照合データ蓄積部 12'は、登録装置 30から状態情報付オリジナルデータ 102が入 力されると、状態変化データ 106を作成するため、その状態情報付オリジナルデータ 102を成分分析部 13及び状態変化データ作成部 14'へ送信する。又、照合部 11か らの指令により、保持しているオリジナルデータ 102Aや状態変化データ 106を照合 データ 107として照合部 11に送信する。
[0088] 図 8は、本発明のデータ照合システムの第 3の実施の形態における成分分析部 13 の構成を示すブロック図である。成分分析部 13は、オリジナルデータバッファ 131と、 構成成分データバッファ 133、状態情報照合部 132、分析演算装置 134を備える。 オリジナルデータバッファ 131及び構成成分データバッファ 133は、メモリやディスク 等のストレージ装置である。状態情報照合部 132及び分析演算装置 134は、 CPU 等の演算装置又はプログラムあるいは演算装置とプログラムの組合せである。各装置 はそれぞれ相互に接続されて ヽる。
[0089] オリジナルデータバッファ 131は、オリジナルデータ蓄積部 12A"に接続され、オリ ジナルデータ蓄積部 12A"から入力されるオリジナルデータ 102Aを一時記憶し、分 析演算装置 134からの指令により、オリジナルデータ 102Aを分析演算装置 134〖こ 送信する。
[0090] 状態情報照合部 132は、オリジナルデータ蓄積部 12A"と状態変化データ作成部 14'とに接続され、オリジナルデータ蓄積部 12A"から入力される状態情報 102Bと 状態変化データ作成部 14'から入力される状態ラベルを比較し、状態情報 102Bに 対応する状態ラベルを持つ状態別構成成分データバッファ 141 'から構成成分デー タ 103を抽出し、構成成分データバッファ 133に送信する。
[0091] 構成成分データバッファ 133は、状態情報照合部 132から入力される構成成分デ ータ 103を一時記憶し、分析演算装置 134からの指令により、構成成分データ 103 を分析演算装置 134に送信する。
[0092] 分析装置 134は、オリジナルデータバッファ 131から入力されるオリジナルデータ 1 02Aと、構成成分データバッファ 133から入力される構成成分データ 103とを用いて 後述する演算により、分析結果データ 104Aを作成する。又、オリジナルデータ蓄積 部 12 A"と成分変換部 15に接続され、分析結果データ 104Aとオリジナルデータ蓄 積部 12A"から入力される状態情報 102Bとを関連付けて、状態情報付分析結果デ ータ 104として成分変換部 15に送信する。
[0093] 図 9は、本発明のデータ照合システムの第 3の実施の形態における状態変化デー タ作成部 14'の構成を示すブロック図である。状態変化データ作成部 14'は、相互に 接続される複数の状態別構成成分データバッファ 141 1 'から 141 nと、複数の 状態別構成成分データバッファ 141— 1 'から 141—n に接続される状態変化演算 装置 142'とを備える。
[0094] 複数の状態別構成成分データバッファ 141— 1 'から 141— nの各々(以下、「状 態別構成成分データバッファ 141 '」ともいう)は、互いに異なる状態情報 102Bに対 応している(関連付けられている)。状態別構成成分データバッファ 141 'は、自身の 常態情報 102Bに対応する状態ラベルを持ち、成分分析部 13に接続されている。状 態別構成成分データバッファ 141 'は、自身の状態ラベルに対応した構成成分デー タ 103を記憶している。すなわち、状態別構成成分データバッファ 141 ' -jは、自身 の状態ラベル (状態情報 102B—j)に対応した構成成分データ 103— jを記憶してい る。
[0095] 状態情報付オリジナルデータ 102を受信する状態変化演算装置 142'からの指令 により、複数の状態別構成成分データバッファ 141— 1 'から 141— nの各々は、そ れぞれの状態ラベルを成分分析装置 13に送信してリクエストをかける。オリジナルデ ータ 102Aに対応する状態情報 102Bと一致する状態ラベルを持つ状態別構成成分 データバッファ 141 'は、自身が保有する構成成分データ 103を成分分析装置 13〖こ 送信する。又、状態変化演算装置 142'の指令に基づき、複数の状態別構成成分デ ータバッファ 141 1,から 141 n'の各々は、状態変化データ 106を作成するため 、それぞれが保有する構成成分データ 103を状態変化演算装置 142'に送信する。
[0096] 状態変化演算装置 142'は、オリジナルデータ蓄積部 12A"から状態情報付オリジ ナルデータ 102を受信すると、状態別構成成分データバッファ 141 'の状態ラベルを 抽出して、成分分析部 13に送信しリクエストを力 4ナる。又、成分変換部 15から受信す る状態情報付変換分析結果データ 104と、その状態情報 102Bに対応する状態ラベ ルを持つ状態別構成成分データバッファ 141 'の状態情報付構成分データ 103とか ら後述する演算により、各状態情報 102Bに対応する状態変化データ 106を作成し、 状態変化データ蓄積部 12Bに送信する。
[0097] 図 10は、本発明のデータ照合システムの第 3の実施の形態における成分変換部 1 5の構成を示すブロック図である。成分変換部 15は、 CPU等の演算装置又はプログ ラムあるいは演算装置とプログラムの組合せである変換演算装置 151と、変換演算装 置 151が演算を実行する際の信号やデータを一時記憶するメモリ 152とを備える。
[0098] 変換演算装置 151は成分分析部 13に接続され、成分分析部 13から入力される状 態情報付分析結果データ 104を基に、以下に示す演算により他の複数の状態情報 1 02B— 1から 102B— n(102— iを除く)に対応した複数の変換分析結果データ 105 A- 1から 105A— n(105— iを除く)を作成する。
[0099] 変換演算装置 151は、状態変化データ作成部 14'に接続され、作成した変換分析 結複数の変換分析結果データ 105A— 1から 105Aと、対応する複数の状態情報 10 2B— 1から 102B— n(102— iを除く)とを関連付けて状態情報付変換分析結果デー タ 105として状態変化データ作成部 14 'に送信する。
[0100] 次に、本発明によるデータ照合システムの第 3の実施の形態における動作を説明 する。図 11は、本発明によるデータ照合システムの第 3の実施の形態における動作 を示すフロー図である。
[0101] 照合用データ 107を作成及び登録するため、照合を実施する前に登録装置 30に より照合の対象となる人物の顔画像をスキャン (撮影)してデータ照合装置 10にオリ ジナルデータ 102Aとして入力する。この際、状態情報 102Bとして登録日時と人物 の年齢を入力する。入力されたオリジナルデータ 102Aと状態情報 102Bは関連付け られて、状態情報付オリジナルデータ 102として照合データ蓄積部 12'のオリジナル データ蓄積部 12A"に蓄積される (ステップ S 32)。
[0102] オリジナルデータ蓄積部 12A"の状態情報付オリジナルデータ 102は、成分分析 部 13と状態変化データ作成部 14'に送信される。成分分析部 13は受信する状態情 報付オリジナルデータ 102をオリジナルデータノッファ 131に一時記憶する (ステップ S34)。又、状態変化作成部 14'は、状態情報付オリジナルデータ 102を受信すると 、複数の状態別構成成分データバッファ 141 1 'から 141 nの状態ラベルを成分 分析部 13に送信する。成分分析部 13は、入力される状態情報 102Bと一致する状 態ラベルを持つ状態別構成成分データバッファ :L41 i'から、構成成分データ 103 -iを抽出し、構成成分バッファ 133に一時記憶する (ステップ S36)。
[0103] 成分分析部 13の分析演算装置 134は、構成成分データ 103— もオリジナルデ ータ 102Aを分析し、その状態情報 102Bに対応する状態情報付分析結果データ 1 04— iを出力し、成分変換部 15に送信する (ステップ S 38)。
[0104] 成分変換部 15では、受信する状態情報付分析結果データ 104— iを、状態情報付 分析結果データ 104— iの状態情報 102Bと異なる他の複数の状態情報 102B— 1か ら 102B— n(102B— iを除く)に対応する複数の変換分析結果データ 105A— 1から 105A— n (105A— iを除く)に変換する。成分変換部 15は作成した複数の変換分 析結果データ 105A— 1から 105A— n (105A— iを除く)とそれに対応する複数の状 態情報 102B— 1から 102B— n (102B— iを除く)とを関連付けて、状態情報付変換 分析結果データ 105— 1から 105— n(105-iは除く)として状態変化データ作成部 14'に送信する (ステップ S40)。
[0105] 状態変化データ作成部 14'では、成分変換部 15から受信される状態情報付変換 分析結果データ 105— 1から 105— n(105— iは除く)と、それぞれの状態情報 102 Bに対応する状態ラベルを持つ状態別構成成分データバッファ 141 1 'から 141 n' (141— i'は除く)の構成成分 103— 1から 103— n (103— iは除く)とから、状態変 化データ 106— 1から 106— n(106— iは除く)を作成する(ステップ S42)。
[0106] ここで、本発明によるデータ照合システムの第 3の実施の形態のデータ照合装置 1 0におけるオリジナルデータ 102Aを用いて状態変化データを作成するまでの演算の 一例を、成分分析に一般的に用いられる主成分分析のような線形成分分析で説明 する。
[0107] 状態変化データ作成部 14'の状態別構成成分データバッファ 141 'が保有する構 成成分データ 103は、ある状態のデータ Al、 A2、 · ··、 Ai、 · ··、 Apからなんらかの計 算により、各データを構成する要素で重要な要素 Ul、 U2、 · ··、 Uj、 · ··、 Upに変換し て作成される。主成分分析では、各データの点要素 Ai (x, y)を列ベクトルとして並べ た行列は次式のようになる。
[0108] [数 1]
Figure imgf000027_0001
[0109] 上式を特異値分解 A=USVt(Sは対角成分以外 0で対角成分は絶対値の降順に 並べる)によってできた直交行列の前半の p個の列ベクトルが構成成分データ 103 ( Ul、 U2、 · ··、 Uj、 · ··、 Up)となる。
[0110] この際、状態別構成成分データバッファ 141 '間を関係づけるため、 2つの状態別 構成成分データバッファ 141 '間では、同一人物(物体)のオリジナルデータ 102Aを 使用する成分数だけ用意する。例えば、構成成分データ 103の次数を 30個使用す るならば、 2つの状態別構成成分データバッファ 141 'では両状態時のデータを 30個 (人)以上分用意して、それぞれの状態別データベースの構成成分を作成することに なる。
[0111] 成分分析部 13の分析演算装置 134が行なう演算において、構成成分データ 103 ( 主成分)の線形結合で構成されたデータを Ipとすると、 Ipは次式で表される。
Ip = clPl + c2P2 + ' "cmPm (Piは主成分、 ciは係数) …ひ) このうち、オリジナルデータ 102A(Io)との誤差が最も小さくなる最小誤差係数組 ciを 選び、この最小誤差係数組 ciが分析結果データ 104Aとなる。この分析結果データ 1 04Aは、オリジナルデータ 102Aに対応する状態情報 102Bと関連付けられ、状態情 報付分析結果 104として、成分変換部 15に送信される。
[0112] 成分変換部 15において、分析結果データ 104Aである最小誤差係数組 ciを、他の 状態情報 102Bに対応する変換分析結果データ 105Aである係数組 djに変換する 場合について以下に示す。
[0113] 状態変化データ作成部 14'中の 2つの状態別状態構成成分データバッファ 141 i ,、 141— j,における構成成分データ 103を、それぞれ Pi(i=l、 ···、!!)、 Qj(j = l、 ···、 n)とし、その係数をそれぞれ ci(i=l、 ···、 n)、 dj(j = l、 ···、 n)として dから djへ の変換を考える。この変換には、同一人物で状態別状態構成成分データバッファ 14 1— i'、 141— j'に対応する状態情報 102Bの双方に属するデータ Ip、 Jpの複数を用 いる。 Ip、 JPは、それぞれ次式で表される。
Ip = clPl + c2P2H—— hcnPn ---(2)
Jp = dlQl + d2Q2H—— hdnQn ·'·(3)
[0114] dから djへの変換を線形変換 Τとし、データ照合装置 10に登録される人物 Αの係 数組を {Ci(A)、 Dj (A) }、人物 Bの係数組 {Ci(B)、 Dj (B) }、 ···、人物 Nの係数組 { Ci(N)、 Dj(N) }とすると、変換の関係式は次式のように表される。
[Dj (A)、 Dj (D)、•••,Dj(N)]=T[Ci(A),Ci(D),…ゝ Ci(N)] ·'·(4) ただし、 Ci (A)、 Dj (A)は(2)式、(3)式の係数 ci、 djを縦に並べた列ベクトルである o従って、 C=[Ci(A)ゝ Ci(D)ゝ …ゝ Ci(N)]、D=[Dj(A)ゝ Dj(D)ゝ …ゝ Dj(N)]と して次式により線形変換 Tを求めることができる。
T=DCt(CCt)"1 ---(5)
上式に示す線形変換 Tによって、変換演算装置 151は、分析結果データ 104Aから 他の状態情報 102Bに対応する変換分析結果データ 105Aを作成することができる。
[0115] 又、 c も djへの変換を非線形な変換とした時は、例えばデータ照合装置 10に登 録される人物 Aで状態別状態構成成分データバッファ 141—i'、 141 j 'に対応す る係数組 {ci(A)、 dj (A) }を学習データとして-ユーラルネットワークを使って、変換 を決めることができる。
[0116] 成分変換部 15から状態別構成成分データバッファ 141'に入力される変換分析結 果データ 105Aである係数組を dj、状態別構成成分データバッファ 141内の構成成 分データ 103を主成分 Qj (添え字の jは djに対応する)、状態変化演算装置 142'に おける演算により再構成された状態変化データ 106を線形結合 Jpとすると、 Jpは次式 で表される。 Jp = dlQl + d2Q2H—— hdmQm "- (6)
[0117] 以上のように作成された他の状態の状態変化データ 106は、それに対応する状態 情報 102Bに関連付けられて照合蓄積部 12'の状態変化データ蓄積部 12Bに記録 される(ステップ S44)。
[0118] 次に、取得装置 20によって照合の対象となる人物の顔画像をスキャン (撮影)し、入 力データ 101としてデータ照合装置 10の照合部 11に入力される (ステップ S46)。入 力データ 101が入力されると、照合部 11は照合データ蓄積部 12'から状況情報付ォ リジナルデータ 102や状態変化データ 106の照合データ 107を抽出し、照合演算装 置 113において比較処理を行ない、照合結果データ 108を照合結果出力装置 30に 送信する (ステップ S48)。照合の動作は、第 1の実施の形態と同じである。
[0119] 照合結果出力部 30は、受信する照合結果データ 108に基づき、照合結果を表示 画面に表示する。表示結果は、照合対象である人物が、データ照合装置 10に登録 済みの人物であることを示す本人認証表示や、照合対象に類似する照合データ 108 等を画像やテキストとして表示し、人物の特定を行なう(ステップ S50)。
[0120] 以上のように、物体の特徴を構成成分に分解し、状態情報 102Bに対応した構成 成分と、オリジナルデータ 102Aからの分析結果データ 104Aを基に状態変化データ 106を作成して照合に用いるため、手動で表現しづらい統計的な状態特徴も利用し て精度の高い照合を行なうことを可能にする。
[0121] 尚、照合データ蓄積部 12'、状態変化データ作成部 14'は、照合部 11とネットヮー クによって接続され遠隔地に置かれて使用しても、通信回線で接続され、近接地で 使用されてもその限りではない。
[0122] (第 4の実施の形態)
図 2B、図 12から図 14を参照して本発明によるデータ照合システムの第 4の実施の 形態を説明する。図 12は、本発明によるデータ照合システムの第 4の実施の形態に おける構成を示すブロック図である。
[0123] 第 4の実施の形態における本発明によるデータ照合システムは、データ照合装置 1 0と、取得装置 20と、登録装置 30と、照合結果出力装置 40とを備える。それぞれの 装置はデータ照合装置 10に接続されている。 [0124] 事前に登録装置 30に入力される、照合の対象となる人物の顔画像や音声情報等 のデータは、オリジナルデータ 102Aとしてデータ照合装置 10に登録される。データ 照合装置 10は、登録されたオリジナルデータ 102Aに付随する状態情報 102Bに基 づいて、オリジナルデータ 102Aを状態変化データ 106に変換する。この際、状態情 報 102Bとは、照合の対象となる人物の状態変化に起因する状態の情報である。デ ータ照合装置 10は、取得装置 20で読み取られる顔画像等の入力データ 101と状態 変化データ 106との照合を行なう。照合の結果は、照合結果データ 108として照合結 果出力装置 40に送信され、照合出力装置 40は、照合結果データ 108に基づき照合 結果を表示する。
[0125] 取得装置 20、登録装置 30、照合結果出力装置 40の構成は、第 1の実施の形態と 同じであるので説明を省略する。
[0126] データ照合装置 10は、ワークステーションやパーソナルコンピュータに例示される 情報処理装置である。データ照合装置 10は、照合部 11、オリジナルデータ蓄積部 1 2' ' '、成分分析部 13、状態変化データ作成部 14"、成分分析部 15とを備える。状 態変化データ作成部 14'は、オリジナルデータ蓄積部 12A,,,及び照合部 11と接続 されている。状態変化データ作成部 14'、オリジナルデータ蓄積部 12A' ' 'は、遠隔 地に置かれ、通信回線又はネットワークによって照合部 11と接続されていてもよい。
[0127] 照合部 11は、通信回線あるいはネットワーク等を介し取得装置 20に接続されてい る。照合部 11は、取得装置 20から入力される照合の対象となる入力データ 101と、 状態変化データ作成部 14"から受信する状態変化データ 106とを照合し、照合結果 データ 108を照合結果出力部 40に送信する。
[0128] 照合部 11の構成は第 2の実施の形態と同じであり、成分分析部 13、成分分析部 1 5の構成は第 3の実施の形態と同じであるので説明を省略する(ただし図 8における オリジナルデータ蓄積部 12A"はオリジナルデータ蓄積部 12A, "である)。
[0129] オリジナルデータ蓄積部 12A,,,は、メモリやディスク等のストレージ装置である。ォ リジナルデータ蓄積部 12A' ' 'は、登録装置 30に接続され、登録装置 30から登録さ れる状態情報付オリジナルデータ 102を記憶する。オリジナルデータ蓄積部 12A,,, は、照合部 11に入力データ 101が入力されると、状態変化データ 106を作成するた め、登録されている状態情報付オリジナルデータ 102を成分分析部 13と状態変化デ ータ作成部 14"へ送信する。
[0130] 図 13は、本発明のデータ照合システムの第 4の実施の形態における状態変化デー タ作成部 14"の構成を示すブロック図である。状態変化データ作成部 14"の構成は、 第 3の実施の形態と同じであるが、状態変化演算装置 142"は、照合部 11に接続さ れ、作成する状態変化データ 106を照合部 11に送信する。
[0131] 次に、本発明によるデータ照合システムの第 4の実施の形態における動作を説明 する。図 14は、本発明によるデータ照合システムの第 4の実施の形態における動作 を示すフロー図である。
[0132] 照合用データ 107'を作成及び登録するため、照合を実施する前に登録装置 30に より照合の対象となる人物の顔画像をスキャン (撮影)してデータ照合装置 10にオリ ジナルデータ 102Aとして入力する。この際、状態情報 102Bとして登録日時と人物 の年齢を入力する。入力されたオリジナルデータ 102Aと状態情報 102Bは関連付け られて、状態情報付オリジナルデータ 102として照合蓄積部 12のオリジナルデータ 蓄積部 12A' ' 'に蓄積される (ステップ S52)。
[0133] 次に、取得装置 20によって照合の対象となる人物の顔画像をスキャン (撮影)し、入 力データ 101としてデータ照合装置 10の照合部 11に入力される (ステップ S54)。入 力データ 101が入力されると、オリジナルデータ蓄積部 12A, ' 'の状態情報付オリジ ナルデータ 102は、成分分析部 13と状態変化データ作成部 14"に送信される。成分 分析部 13は受信する状態情報付オリジナルデータ 102をオリジナルデータバッファ 131に一時記憶する (ステップ S56)。又、状態変化作成部 14"は、状態情報付オリ ジナルデータ 102を受信すると、複数の状態別構成成分データバッファ 141 1 'か ら 141 nの状態ラベルを成分分析部 13に送信する。成分分析部 13は、入力され る状態情報 102Bと一致する状態ラベルを持つ状態別構成成分データバッファ 141 — i'から、構成成分データ 103— iを抽出し、構成成分バッファ 133に一時記憶する( ステップ S58)。
[0134] 成分分析部 13の分析演算装置 134は、構成成分データ 103— もオリジナルデ ータ 102Aを分析し、その状態情報 102Bに対応する状態情報付分析結果データ 1 04— iを出力し、成分変換部 15に送信する (ステップ S60)。
[0135] 成分変換部 15では、受信する状態情報付分析結果データ 104— iを、状態情報付 分析結果データ 104— iの状態情報 102Bと異なる他の複数の状態情報 102B— 1か ら 102B— n(102B— iを除く)に対応する複数の変換分析結果データ 105A— 1から 105A— n (105A— iを除く)に変換する。成分変換部 15は作成した複数の変換分 析結果データ 105A— 1から 105A— n (105A— iを除く)とそれに対応する複数の状 態情報 102B— 1から 102B— n (102B— iを除く)とを関連付けて状態情報付変換分 析結果データ 105— 1から 105— n(105-iは除く)として状態変化データ作成部 14 "に送信する (ステップ S62)。
[0136] 状態変化データ作成部 14"では、成分変換部 15から受信される状態情報付変換 分析結果データ 105A— 1から 105A— n (105A— iは除く)と、それぞれの状態情報 102Bに対応する状態ラベルを持つ状態別構成成分バッファ 141 1 'から 141 n (141— i'は除く)の構成成分 103— 1から 103— n (103-iは除く)とから、状態変化 データ 106— 1から 106— n(105A— iは除く)を作成する(ステップ S64)。変換の動 作については第 3の実施の形態と同じであるので説明を省略する。
[0137] 作成された他の状態の状態変化データ 106は、状態変化演算装置 142"の指令に より対応する状態情報 102Bに関連付けられて照合部 11 'へ送信される。尚、状態変 化データ 106は、照合部 11からの制御を受けて抽出される方式でも構わない。照合 部 11は、状態変化データ作成部 14から送信される状態変化データ 106を照合デー タ 107'として、照合演算装置 113において入力データ 101と比較処理を行ない、照 合結果データ 108を照合結果出力装置 30に送信する (ステップ S66)。照合の動作 は、第 2の実施の形態と同じである。
[0138] 照合結果出力部 30は、受信する照合結果データ 108に基づき、照合結果を表示 画面に表示する。表示結果は、照合対象である人物が、データ照合装置 10に登録 済みの人物であることを示す本人認証表示や、照合データ 108である状態変化デー タ 106 (状況情報 102Bも付随)を画像やテキストとして表示する (ステップ S26)。照 合された状態変化データ 106とその状況情報 102Bが表示されることで、照合の対象 である人物の特定を行なうことができる。 [0139] 以上のように、第 4の実施の形態では、第 3の実施の形態における状態変化データ 蓄積部 12Bを構成する必要がなぐ状態変化データ作成部 14"から直接、状態変化 データ 106を照合部 11に送信して照合を行なうため、蓄積スペースを削減でき、オリ ジナルデータ 102Aを照合の対象外にして照合データ 107'の候補を減らすことがで きる。又、入力データ 101とともにその時の状態情報 102Bを入力すると、その状態情 報 102Bに対応する状態変化データ 106のみと照合するため、更に照合候補を減じ ることがでさる。
[0140] 尚、照合データ蓄積部 12、成分分析部 13、状態変化データ作成部 14、成分変換 部 15は、照合部 11とネットワークによって接続され遠隔地に置かれて使用しても、通 信回線で接続され、近接地で使用されてもその限りではない。
[0141] 本発明のデータ照合システムによれば、状態が変化する物体の照合に際し、照合 時に使用される登録データの状態変化の付加を自動で行うため、照合時の作業者 の負担が軽減される。又、既存の取得装置 20や、登録装置 30、照合結果出力装置 40を利用でき、容易にシステムの組み立て、変更が可能になる。更に、新たな状態 情報に対応する状態別バッファ 141 ' (第 1、 2の実施の形態)あるいは状態別構成成 分データバッファ 141 ' (だい 3、 4の実施の形態)を状態変化データ作成部 14へ追 加するだけで、簡易に照合制度精度の向上や状態変化の条件を変更することが可 能である。

Claims

請求の範囲
[1] 物体のオリジナルデータと、前記物体の状態を表す第 1の状態情報とを関連付けて 保持するオリジナルデータ蓄積部と、
前記オリジナルデータに基づいて、複数の前記物体の別の状態を表す複数の第 2 の状態情報に関連付けられる複数の状態変化データを作成する状態変化データ作 成部と、
入力される照合の対象物のデータである入力データと前記複数の状態変化データ の各々とを比較し、前記複数の状態変化データのうち前記入力データとの差分が最 小である状態変化データを抽出する照合部と
を具備する
データ照合装置。
[2] 請求項 1に記載のデータ照合装置にお!、て、
前記複数の状態変化データを記憶する状態変化データ蓄積部を更に具備し、 前記オリジナルデータと前記複数の状態変化データは、複数の照合データとして 前記照合部に送信され、
前記照合部は、前記入力データと前記複数の照合データの各々とを比較し、前記 入力データとの差分が最小である照合データを抽出する
データ照合装置。
[3] 請求項 1又は 2に記載のデータ照合装置において、
前記照合部は、前記抽出を、前記差分が最小である場合に加えて、前記差分が閾 値以下である場合に行う
データ照合装置。
[4] 請求項 1から 3のいずれ力 1項に記載のデータ照合装置において、
前記状態変化データ作成部は、
前記第 1の状態情報及び前記複数の第 2の状態情報の各々別に分けられたデー タで学習したニューラルネットワークを用いて、前記第 1の状態情報に対応する前記 オリジナルデータから前記複数の第 2の状態情報に対応する前記複数の状態変化 データを作成する状態変化演算装置と、 各々が前記複数の状態変化データのうちの対応する状態変化データを記憶する 状態別バッファと
を備える
データ照合装置。
[5] 請求項 1から 3のいずれ力 1項に記載のデータ照合装置において、
前記第 1の状態情報及び前記複数の第 2の状態情報の各々としての第 3の状態情 報を示す状態ラベルと前記第 3の状態情報に対応する構成成分データとを保持し、 前記第 1の状態情報及び前記複数の第 2の状態情報の各々ごとに設けられた複数 の状態別構成成分データバッファと、
前記複数の状態別構成成分データバッファのうち前記第 1の状態情報に一致する 状態ラベルを持つ状態別構成成分データバッファから前記構成成分データを抽出し
、前記構成成分データに基づいて前記オリジナルデータを分析し、前記第 1の状態 情報に対応する第 1の分析結果データを出力する成分分析部と、
前記第 1の分析結果データに基づいて、前記複数の第 2の状態情報に対応する複 数の第 2の分析結果データに変換する成分変換部と
を更に具備し、
前記状態変化データ作成部は、前記複数の第 2の分析結果データと、前記複数の 状態別構成成分データバッファのうち前記複数の第 2の状態情報に一致する状態ラ ベルを持つ複数の状態別構成成分データバッファの複数の構成成分データとに基 づ 、て、前記複数の状態変化データを作成する状態変化演算装置を備える データ照合装置。
[6] 請求項 1から 5のいずれ力 1項に記載のデータ照合装置において、
前記入力データ及び前記オリジナルデータは、バイオメトリタスデータである データ照合装置。
[7] 請求項 1から 6のいずれ力 1項に記載のデータ照合装置において、
前記第 1の状態情報及び前記複数の第 2の状態情報は、前記物体の経年変化に 対応する状態の情報である
データ照合装置。
[8] 請求項 1から 7のいずれ力 1項に記載のデータ照合装置において、 前記対象物及び前記物体は人物の顔であり、
前記入力データ及び前記オリジナルデータは顔画像データであり、
前記第 1の状態情報及び前記複数の第 2の状態情報は、前記顔の表情を表す情 報である
データ照合装置。
[9] 照合の対象物のデータを入力データとして取得する取得装置と、
物体のオリジナルデータと前記入力データとを照合するデータ照合装置と を具備し、
前記データ照合装置は、
前記オリジナルデータと、前記物体の状態を表す第 1の状態情報とを関連付けて 保持するオリジナルデータ蓄積部と、
前記オリジナルデータに基づ!/、て、複数の前記物体の別の状態を表す複数の第 2の状態情報に関連付けられる複数の状態変化データを作成する状態変化データ 作成部と、
前記入力データと前記複数の状態変化データの各々とを比較し、前記複数の状 態変化データのうち前記入力データとの差分が最小である状態変化データを抽出す る照合部と
を備える
データ照合システム。
[10] 請求項 9に記載のデータ照合システムにおいて、
前記データ照合装置は、前記複数の状態変化データを記憶する状態変化データ 蓄積部を更に備え、
前記オリジナルデータと前記複数の状態変化データは、複数の照合データとして 前記照合部に送信され、
前記照合部は、前記入力データと前記複数の照合データの各々とを比較し、前記 入力データとの差分が最小である照合データを抽出する
データ照合システム。
[11] 請求項 9又は 10に記載のデータ照合システムにおいて、
前記照合部は、前記抽出を、前記差分が最小である場合に加えて、前記差分が閾 値以下である場合に行う
データ照合システム。
[12] 請求項 9から 11のいずれ力 1項に記載のデータ照合システムにおいて、
前記状態変化データ作成部は、
前記第 1の状態情報及び前記複数の第 2の状態情報で学習したニューラルネットヮ ークを用いて、前記第 1の状態情報に対応する前記オリジナルデータから前記複数 の第 2の状態情報に対応する前記複数の状態変化データを作成する状態変化演算 装置と、
各々が前記複数の状態変化データのうちの対応する状態変化データを記憶する 状態別バッファと
を含む
データ照合システム。
[13] 請求項 9から 11のいずれ力 1項に記載のデータ照合システムにおいて、
前記データ照合装置は、
前記第 1の状態情報及び前記複数の第 2の状態情報の各々としての第 3の状態情 報を示す状態ラベルと前記第 3の状態情報に対応する構成成分データとを保持し、 前記第 1の状態情報及び前記複数の第 2の状態情報の各々ごとに設けられた複数 の状態別構成成分データバッファと、
前記複数の状態別構成成分データバッファのうち前記第 1の状態情報に一致する 状態ラベルを持つ状態別構成成分データバッファから前記構成成分データを抽出し
、前記構成成分データに基づいて前記オリジナルデータを分析し、前記第 1の状態 情報に対応する第 1の分析結果データを出力する成分分析部と、
前記第 1の分析結果データに基づいて、前記複数の第 2の状態情報に対応する複 数の第 2の分析結果データに変換する成分変換部と
を更に備え、
前記状態変化データ作成部は、前記複数の第 2の分析結果データと、前記複数の 状態別構成成分データバッファのうち前記複数の第 2の状態情報に一致する状態ラ ベルを持つ状態別構成成分データバッファの前記構成成分データとに基づ ヽて、前 記複数の状態変化データを作成する状態変化演算装置を含む
データ照合システム。
[14] 請求項 9から 13のいずれ力 1項に記載のデータ照合システムにおいて、
前記入力データ及び前記オリジナルデータは、バイオメトリタスデータである データ照合システム。
[15] 請求項 9から 14いずれか 1項に記載のデータ照合装置において、
前記第 1の状態情報及び前記複数の第 2の状態情報は、前記物体の経年変化に 対応する状態の情報である
データ照合システム。
[16] 請求項 9から 15のいずれ力 1項に記載のデータ照合システムにおいて、
前記対象物及び前記物体は人物の顔であり、
前記入力データ及び前記オリジナルデータは顔画像データであり、
前記第 1の状態情報及び前記複数の第 2の状態情報は、前記顔の表情を表す情 報である
データ照合システム。
[17] 請求項 9から 16のいずれ力 1項に記載のデータ照合システムにおいて、
前記オリジナルデータを前記物体から読み取り、前記第 1の状態情報と関連付けて 前記データ照合装置に入力する登録装置を更に具備する
データ照合システム。
[18] 請求項 9から 17のいずれ力 1項に記載のデータ照合システムにおいて、
前記データ照合装置力 出力された前記照合結果データに基づいて、照合結果を 出力する照合結果出力装置を更に具備する
データ照合システム。
[19] (a)物体のオリジナルデータを前記物体の状態を表す第 1の状態情報とともに取得 するステップと、
(b)前記オリジナルデータに基づ!/、て、複数の前記物体の別の状態を表す複数の 第 2の状態情報に関連付けられる複数の状態変化データを作成するステップと、
(c)照合の対象物のデータである入力データと前記複数の状態変化データの各々 とを照合するステップと、
(d)前記照合の結果を出力するステップと
を具備する
データの照合方法。
[20] 請求項 19に記載のデータの照合方法において、
前記 (c)ステップは、
(cl)前記オリジナルデータ及び前記複数の状態変化データを複数の照合データ として、前記入力データと前記複数の照合データの各々とを照合するステップを備え る
データの照合方法。
[21] 請求項 19又は 20に記載のデータの照合方法において、
前記 (b)ステップは、
(bl)前記第 1の状態情報及び前記複数の第 2の状態情報の各々別に分けられた データで学習した変換方法により、前記オリジナルデータ力 前記複数の状態変化 データを作成するステップを更に備える
データの作成方法。
[22] 請求項 19又は 20に記載のデータの照合方法において、
前記 (b)ステップは、
(b2)前記オリジナルデータを前記第 1の状態情報に対応する構成成分データに分 解し、第 1の分析結果データを作成するステップと、
(b3)前記第 1の分析結果データと前記複数の第 2の状態情報に対応する複数の 構成成分データとに基づ 、て、前記複数の状態変化データを作成するステップを更 に備える
データの照合方法。
PCT/JP2005/016503 2004-09-14 2005-09-08 データ照合システム、データ照合装置、及びデータ照合方法 WO2006030687A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006535811A JPWO2006030687A1 (ja) 2004-09-14 2005-09-08 データ照合システム、データ照合装置、及びデータ照合方法
US11/662,788 US20070220044A1 (en) 2004-09-14 2005-09-08 Data Collating System, Data Collating Apparatus and Data Collating Method
EP05782276A EP1791088A4 (en) 2004-09-14 2005-09-08 DATA COLLATION SYSTEM, DATA COLLAGING DEVICE AND DATA COLLATION METHOD

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004-267183 2004-09-14
JP2004267183 2004-09-14

Publications (1)

Publication Number Publication Date
WO2006030687A1 true WO2006030687A1 (ja) 2006-03-23

Family

ID=36059940

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/016503 WO2006030687A1 (ja) 2004-09-14 2005-09-08 データ照合システム、データ照合装置、及びデータ照合方法

Country Status (4)

Country Link
US (1) US20070220044A1 (ja)
EP (1) EP1791088A4 (ja)
JP (1) JPWO2006030687A1 (ja)
WO (1) WO2006030687A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101546359A (zh) * 2009-04-28 2009-09-30 上海银晨智能识别科技有限公司 人体生物信息整理系统及整理方法
KR101862128B1 (ko) * 2012-02-23 2018-05-29 삼성전자 주식회사 얼굴을 포함하는 영상 처리 방법 및 장치
CN110213071B (zh) * 2018-04-16 2021-11-02 腾讯科技(深圳)有限公司 数据核对方法、装置、系统、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11316836A (ja) * 1998-05-06 1999-11-16 Omron Corp 本人特定装置
JP2000357221A (ja) * 1999-06-15 2000-12-26 Minolta Co Ltd 画像処理装置および画像処理方法、ならびに画像処理プログラムを記録した記録媒体
JP2003067339A (ja) * 2001-08-27 2003-03-07 Mitsubishi Electric Corp ログイン個人認証方法、ログイン個人認証装置及び記録媒体
JP2004102359A (ja) * 2002-09-04 2004-04-02 Advanced Telecommunication Research Institute International 画像処理装置、画像処理方法および画像処理プログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4276570A (en) * 1979-05-08 1981-06-30 Nancy Burson Method and apparatus for producing an image of a person's face at a different age
US5422961A (en) * 1992-04-03 1995-06-06 At&T Corp. Apparatus and method for improving recognition of patterns by prototype transformation
US5638502A (en) * 1992-12-25 1997-06-10 Casio Computer Co., Ltd. Device for creating a new object image relating to plural object images
TW359781B (en) * 1993-05-25 1999-06-01 Casio Computer Co Ltd Animal image display controlling devices and method thereof
IT1277993B1 (it) * 1994-09-30 1997-11-12 Ist Trentino Di Cultura Procedimento per memorizzare e ritrovare immagini di persone, ad esempio in archivi fotografici e per la costruzione di identikit e
EP0980565B1 (de) * 1997-05-07 2001-07-25 Siemens Aktiengesellschaft Verfahren zur anpassung eines referenzdatensatzes anhand mindestens eines eingabedatensatzes durch einen rechner
US6137903A (en) * 1997-06-03 2000-10-24 Linotype-Hell Ag Color transformation system based on target color image
EP1039417B1 (en) * 1999-03-19 2006-12-20 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Method and device for the processing of images based on morphable models
FR2806814B1 (fr) * 2000-03-22 2006-02-03 Oce Ind Sa Procede de reconnaissance et d'indexation de documents
US6734858B2 (en) * 2000-12-27 2004-05-11 Avon Products, Inc. Method and apparatus for use of computer aging to demonstrate a product benefit
US7848544B2 (en) * 2002-04-12 2010-12-07 Agency For Science, Technology And Research Robust face registration via multiple face prototypes synthesis
US6828972B2 (en) * 2002-04-24 2004-12-07 Microsoft Corp. System and method for expression mapping
EP1359536A3 (en) * 2002-04-27 2005-03-23 Samsung Electronics Co., Ltd. Face recognition method and apparatus using component-based face descriptor
US6919892B1 (en) * 2002-08-14 2005-07-19 Avaworks, Incorporated Photo realistic talking head creation system and method
GB2402536B (en) * 2003-06-05 2008-04-02 Canon Kk Image processing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11316836A (ja) * 1998-05-06 1999-11-16 Omron Corp 本人特定装置
JP2000357221A (ja) * 1999-06-15 2000-12-26 Minolta Co Ltd 画像処理装置および画像処理方法、ならびに画像処理プログラムを記録した記録媒体
JP2003067339A (ja) * 2001-08-27 2003-03-07 Mitsubishi Electric Corp ログイン個人認証方法、ログイン個人認証装置及び記録媒体
JP2004102359A (ja) * 2002-09-04 2004-04-02 Advanced Telecommunication Research Institute International 画像処理装置、画像処理方法および画像処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1791088A4 *

Also Published As

Publication number Publication date
JPWO2006030687A1 (ja) 2008-07-31
US20070220044A1 (en) 2007-09-20
EP1791088A4 (en) 2009-04-15
EP1791088A1 (en) 2007-05-30

Similar Documents

Publication Publication Date Title
Kar et al. Study of implementing automated attendance system using face recognition technique
US6219639B1 (en) Method and apparatus for recognizing identity of individuals employing synchronized biometrics
EP1760635B1 (en) Image processing apparatus and method and program
Soltane et al. Face and speech based multi-modal biometric authentication
CN113822192A (zh) 一种基于Transformer的多模态特征融合的在押人员情感识别方法、设备及介质
WO2007049560A1 (ja) 係数決定方法、特徴抽出方法、システム及びプログラム、並びにパタン照合方法、システム及びプログラム
Haji et al. Real time face recognition system (RTFRS)
Meenakshi Real-Time Facial Recognition System—Design, Implementation and Validation
WO2006030687A1 (ja) データ照合システム、データ照合装置、及びデータ照合方法
KR100845634B1 (ko) 데이터 대조 방법, 데이터 대조 장치 및 데이터 대조 프로그램을 기록한 기록 매체
JP5873959B2 (ja) ホワイトリスト内外判定装置及び方法
Sharma et al. Face recognition using haar cascade and local binary pattern histogram in opencv
JPH10261083A (ja) 個人同定装置及び個人同定方法
Kumar et al. Facial expression recognition using wavelet and k-nearest neighbour
Charishma et al. Smart Attendance System with and Without Mask using Face Recognition
SAĞIROĞLU et al. An intelligent face features generation system from fingerprints
Mallauran et al. Online face detection and user authentication
JP4645301B2 (ja) 顔形状変化情報抽出装置、顔画像登録装置および顔画像認証装置
JP4068888B2 (ja) アイリス推定装置およびアイリス照合装置
Singla Development of automatic attendance marking system using facial recognition method
SINGH Automated Attendance System Using Face Recognition
Kohli et al. Attendance System using Face Recognition–A Review
Malathi et al. Fiducial Point Location Algorithm for Automatic Facial Expression Recognition
CN117115928A (zh) 基于多种身份认证的村网共建便民服务终端
Yang et al. Biometrics education with hands-on labs

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2006535811

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2005782276

Country of ref document: EP

Ref document number: 11662788

Country of ref document: US

Ref document number: 2007220044

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 2005782276

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 11662788

Country of ref document: US