WO2007105768A1 - 顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体 - Google Patents

顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体 Download PDF

Info

Publication number
WO2007105768A1
WO2007105768A1 PCT/JP2007/055125 JP2007055125W WO2007105768A1 WO 2007105768 A1 WO2007105768 A1 WO 2007105768A1 JP 2007055125 W JP2007055125 W JP 2007055125W WO 2007105768 A1 WO2007105768 A1 WO 2007105768A1
Authority
WO
WIPO (PCT)
Prior art keywords
face image
registration
face
image
representative
Prior art date
Application number
PCT/JP2007/055125
Other languages
English (en)
French (fr)
Inventor
Tomohiro Inoue
Masahiro Senga
Takashi Kakiuchi
Original Assignee
Omron Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corporation filed Critical Omron Corporation
Priority to EP07738595A priority Critical patent/EP1998286A4/en
Priority to US12/282,631 priority patent/US8848985B2/en
Priority to CN2007800090665A priority patent/CN101401126B/zh
Publication of WO2007105768A1 publication Critical patent/WO2007105768A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Definitions

  • Face image registration device face image registration method, face image registration program, and recording medium
  • the present invention relates to a face image registration apparatus, a face image registration method, a face image registration program, and a recording medium that register a face image used for face authentication processing in a dictionary.
  • the face recognition system currently has various unsolved problems. One of them is that the accuracy of certification is still not high enough. Even if a face image is shown, the level that can be authenticated has not yet been reached. For example, there is a problem that the person cannot be authenticated because the brightness of the background has changed.
  • Patent Document 1 detects a frame in which a face is reflected in a video, extracts the frame power face image, and groups the faces of the same character from all the extracted face images.
  • An image search method characterized by extracting a representative face image for each character is disclosed.
  • Patent Document 2 discloses a means for inputting image data for performing person authentication in units of frames, a means for detecting a face area from the image data, and a means for detecting a feature quantity from the face area. The feature quantity is compared with a reference value to determine whether the feature quantity is effective. Means for storing a plurality of frames of feature quantities determined to be valid, means for obtaining an authentication feature quantity by performing an operation on the feature quantities of the plurality of frames, and the authentication feature quantity. There has been disclosed a person authentication apparatus characterized by comprising a means for authenticating the person by comparing with a facial feature amount stored in advance.
  • Patent Document 3 discloses a face authentication database in which a plurality of pieces of face information obtained by photographing an authentication person's face in a plurality of different environments are registered with pattern names corresponding to the environment.
  • An authentication person identification table associating the pattern name registered in the face authentication database with the authentication person photographed with this pattern name, a camera for obtaining face information by photographing the face of the person to be authenticated
  • authentication processing means for collating face information photographed by this camera with a plurality of pieces of face information registered in the face authentication database to identify the face information having the highest similarity.
  • An authentication system comprising: an authentication principal identifying means for identifying an authentication principal corresponding to the pattern name from the pattern name of the face information identified by the authentication processing means using the authentication principal identification table. Is Ru.
  • Patent Document 4 in a face image database new registration device for registering a new person in a person's face image database and face feature database, the positions of a plurality of feature points in the face area of the person in the input image, and An estimation means for estimating the orientation of a person's face, and a frame indicating the predetermined orientation of the person's face according to the face orientation information estimated by the estimation means or the face orientation information input from outside
  • the selecting means for selecting image power, the user interface means for receiving and displaying a frame selected by the selecting means and its related information, and the estimating means in the frame selected by the selecting means by the estimating means By measuring the feature quantity of the person's face in the vicinity of the estimated feature points, the person data in the input image is measured.
  • a face image database new registration device including a calculation means for calculating a base component is disclosed.
  • Patent Document 1 Japanese Patent Publication “JP 2001-167110 (Publication Date: June 22, 2001)”
  • Patent Document 2 Japanese Patent Publication “JP-A-6-259534 (Publication Date: September 16, 1994)”
  • Patent Document 3 Japanese Patent Publication “JP 2005-115481 Publication (Publication Date: April 28, 2005)”
  • Patent Document 4 Japanese Patent Publication “JP 2002-133423 (Publication Date: May 10, 2002)”
  • Patent Document 1 merely groups the faces of the same characters, and is not devised in that the grouped faces are registered in a dictionary.
  • Patent Document 2 merely improves the measurement accuracy of the feature quantity for valid frame determination, and has no ingenuity in registering the measured feature quantity in the dictionary.
  • Patent Document 3 With the technique of Patent Document 3, it is necessary for the user to prepare face information in different environments, and this causes a problem that causes the user to take extra effort.
  • Patent Document 4 With the technology of Patent Document 4, only the position of the feature point in each frame of the input material is estimated, leaving the final decision to the user. Therefore, there arises a problem that causes the user to spend unnecessary effort.
  • the present invention has been made to solve the above-described problems, and an object of the present invention is to register a face image registration device and a face for registering various face images in a dictionary without requiring a user to take time and effort.
  • an image registration method a face image registration program, and a recording medium.
  • a face image registration device In order to solve the above problems, a face image registration device according to the present invention
  • a face image registration device that extracts a face image representing a person's face from an input moving image and registers it in a dictionary
  • Representative face image extracting means for extracting at least one face image that matches a representative condition determined from the above moving image as a representative face image
  • a face image extracting means Among the other face images of the person represented by the representative face image, at least one other face image that matches the registration conditions determined in advance is extracted from the moving image as a registration face image.
  • a face image registration means for registering the registration face image in the dictionary in association with the representative face image.
  • the representative face image extracting means extracts at least one face image that matches a predetermined representative condition from the moving image as the representative face image.
  • the “face image” here refers to a still image representing a person's face.
  • the “representative condition” is a condition that must be satisfied by a face image most suitable for face authentication among various face images captured in a moving image. For example, the face facing forward satisfies the representative condition. Therefore, the representative face image extracting unit extracts, as the representative face image, for example, a front face image that is an image of a face facing the front from the moving image.
  • a moving image is an image of the movement of a person or thing.
  • the representative face image extracting means can extract the moving image force from the representative face image such as the front face without any problem.
  • the registration face image extracting means matches the registration condition that has been determined in advance among other face images of the person represented by the representative face image.
  • One other face image is extracted from the moving image as a registration face image.
  • the “registration condition” is a condition that applies to a face image suitable for image recognition. For example, a condition that applies to faces in various states, such as a face facing up, a face with a beard, and a face with an open mouth. Therefore, when the representative face image extracting means extracts, for example, a face facing front as a representative face image, the face image registration device removes the face or beard facing upward for the person represented by the front face image. Extract facial images for registration that match various registration conditions, such as raw faces and faces with open mouth, from the same video.
  • the face image registration means registers the representative face image and the registration face image extraction means in association with each other in the dictionary. Therefore, for example, various different face images such as a bearded face image are registered in association with the face image facing the front. Registration here is not necessarily limited to registering the image itself. For example, a feature amount representing the feature of the image may be calculated and registered in the dictionary instead of the image.
  • the face image registration device can register various face images for the same person in the dictionary for registering face images. Therefore, there is an effect that the types of face images registered in the dictionary can be more reliably increased.
  • the face images required for registration are manually checked, or compared with methods that prepare face images for registration in advance by changing the shooting conditions in various ways. Thus, it is possible to further reduce the labor required for the registration process of the face image. In other words, various face images can be registered in the dictionary without requiring the user to spend time.
  • the face image registration method according to the present invention provides:
  • a face image registration method for extracting a face image representing a person's face from an input moving image and registering it in a dictionary
  • At least one other face image that matches the registration conditions determined in advance is extracted from the moving image as a registration face image.
  • a face image registration step of registering the registration face image in the dictionary in association with the representative face image is a face image registration step of registering the registration face image in the dictionary in association with the representative face image.
  • this method has the same operational effects as the above-described face image registration device. To do.
  • the face image registration means The face image registration means
  • the face image registration unit registers the feature amount obtained by quantifying the feature of the registration face image in the dictionary.
  • the feature amount of the face image is calculated by specifying the position of each organ of the face and calculating the arrangement state of each position.
  • the feature amount calculated in this way is usually smaller in data amount than the image itself.
  • the face image registration device has the effect of reducing the data size of the dictionary compared to registering the face image itself in the dictionary.
  • the face image registration means The face image registration means
  • all of the registration face images extracted for each registration condition are associated with the representative face image and registered in the dictionary.
  • the representative face image extraction unit when a plurality of different registration conditions are preliminarily determined, includes at least one registration that matches the registration condition for each registration condition. Extract a facial image. For example, if 10 registration conditions are preliminarily determined, registration face images that apply to all 10 registration conditions are extracted from the moving image.
  • the face image registration means extracts the registration face image extracted for each registration condition, All are registered in the dictionary in association with the representative face image. In other words, a plurality of face images that individually match a plurality of registration conditions are comprehensively registered in the dictionary.
  • the face image registration device has an effect of further enhancing the degree of fullness of the dictionary.
  • the face image registration means The face image registration means
  • the face image registration means The face image registration means
  • all of the one registration face image extracted for each registration condition is associated with the representative face image and registered in the dictionary.
  • the representative face image extracting means when a plurality of different registration conditions are preliminarily determined, for each registration condition, the one registration face that matches the registration condition. Extract images. For example, if 10 registration conditions are preliminarily determined, one registration face image that applies to all 10 registration conditions is extracted from the moving image one by one.
  • the face image registration means registers all the registration face images extracted for each registration condition in the dictionary in association with the representative face image. That is, a plurality of face images covering all of the plurality of registration conditions are registered in the dictionary.
  • the face image registration device has an effect of further enhancing the degree of fullness of the dictionary. Also, the number of face images registered in the dictionary is limited to one for each registration condition. Therefore, the data size of the dictionary can be made smaller than when a plurality of face images are registered for each registration condition.
  • the registration face image extraction means includes: When a plurality of different representative face images are extracted by the representative face image extracting means, it is preferable to extract the registration face image for each representative face image.
  • the registration face image extracting unit extracts a registration face image for each extracted representative face image.
  • a plurality of different representative face images are a plurality of face images in which each face image represents a different person's face. At this time, the registration face image is extracted for each different person.
  • the face image registering means registers the representative face image and the registration face image in the dictionary in association with the representative face image for each person when a plurality of persons are photographed in the moving image. As a result, face images for several different people are accumulated in the dictionary.
  • the face image registration device has an effect of further enhancing the degree of fullness of the dictionary.
  • the face image registration device further includes:
  • the representative face image extracting means extracts the representative face image from the scene
  • the registration face image extracting means extracts the registration face image from the scene.
  • a scene extraction means extracts a scene from a moving image.
  • a scene is a partial moving image in which a plurality of frames in which a specific face continues to exist in a moving image are combined into one.
  • the scene extraction means uses face tracking technology to enter a frame with a specific face, continue to exist in a certain number of frames, and finally exit from another frame. Extracted from moving images as one scene.
  • the representative face image extracting means extracts a representative face image from the scene. Therefore, a part of the moving image can be a processing target of face image extraction.
  • the registration face image extraction means extracts a registration face image from the same scene. As a result, a part of the moving image can be a processing target of face image extraction.
  • the face image registration device can keep the moving image targeted for the process of extracting the face image as a part of the whole. As a result, the time required for the face image registration process can be shortened.
  • the scene extracting means extracts a plurality of different scenes from the moving image force, and the registration face image extracting means cannot extract the registration face image from a certain scene, and other scenes different from the scene are extracted. Scene power It is preferable to extract the registration face image.
  • the scene extracting means also extracts a moving image force from a plurality of different scenes.
  • a scene in which a person's face is not shown is divided, and a plurality of divided partial moving images are extracted as different scenes from the moving image column.
  • the registration face image extracting means extracts the registration face image from other scenes different from the above scenes. Extract face images. This produces an effect that the types of face images registered in the dictionary can be increased more reliably.
  • the registration face image extraction means includes:
  • the face image registration means When the recognition reliability of the other registration face image is higher than the recognition reliability of the registered registration face image, the registered face image is replaced with the other registration face image. Is preferred.
  • the registration face image extraction unit displays another registration face image that matches the registration condition when the registration face image that matches the registration condition has already been registered in the dictionary. To extract.
  • the face image registration means converts the registered face image into another registration image. Replace with a face image.
  • the recognition reliability of the face image registered in the dictionary can be further increased.
  • the face image registration device has an effect that the recognition accuracy of the face image registered in the dictionary can be further increased.
  • the face image registration device may be realized by a computer.
  • a face image registration program that realizes the face image registration apparatus in the computer by operating the computer as each of the above means, and a computer-readable recording medium that records the face image registration program. Falls within the scope of the present invention.
  • FIG. 1 is a block diagram showing a main configuration of a face image registration system according to an embodiment of the present invention.
  • FIG. 2 is a flowchart showing a processing flow when the face image registration device extracts a face image from a moving image and registers it in a face image dictionary.
  • FIG. 3 (a) is a diagram showing an example of a moving image processed when the dictionary creation device extracts a face image.
  • FIG. 3 (b) is a diagram showing an example of a scene extracted by the scene extraction unit.
  • FIG. 3 (c) is a diagram showing an example of a plurality of frames each including various face images and constituting one scene.
  • FIG. 4 is a diagram showing an example of a display screen for requesting the user to select a representative face image.
  • FIG. 5 is a diagram showing an example of a pickup condition list 50.
  • FIG. 6 is a flowchart showing a flow of processing in which a face image extraction unit for registration extracts a scene force from a face image that matches a pickup condition.
  • FIG. 7 is a flowchart showing a processing flow when the face image registration unit registers the registration face image extracted by the registration face image extraction unit in the face image dictionary.
  • FIG. 8 is a flowchart showing a processing flow when a registration face image extraction unit extracts a face image that matches a pickup condition.
  • FIG. 9 is a flowchart showing a processing flow when the registration face image extraction unit updates the pickup condition list.
  • FIG. 10 is a flowchart showing a flow of processing when a face image registration device extracts face images of a plurality of persons and registers them in a face image dictionary.
  • FIG. 11 is a diagram showing an example of dictionary data stored in a face image dictionary.
  • Representative face image extraction unit (Representative face image extraction means)
  • Registration face image extraction unit Registration face image extraction means
  • Face image registration part (Face image registration means)
  • FIG. 1 is a block diagram showing a main configuration of a face image registration system 20 according to an embodiment of the present invention.
  • the face image registration system 20 includes a face image registration device 1, an input device 2, a display device 3, and a moving image photographing device 4.
  • the face image registration device 1 is a device that registers a face image necessary for face authentication in a dictionary. Details of the configuration and outline will be described later.
  • the input device 2 is a device used by the user to input information to the face image registration device 1 or to select information displayed on the display device 3. For example, it is realized as a mouse or a keyboard.
  • the display device 3 is a device that displays information and presents it to the user.
  • it is realized as a liquid crystal display device or a plasma display device.
  • the moving image shooting device 4 is a device for shooting a person or thing in the outside world into a moving image.
  • it is realized as a video camera.
  • the face image registration device 1 includes a moving image input unit 10, a scene extraction unit 11 (scene Extraction means), representative face image extraction section 12 (representative face image extraction means), registration face image extraction section 1 3 (registration face image extraction means), face image registration section 14 (face image registration means), face image dictionary 15 (dictionary), input processing unit 16, and display processing unit 17.
  • scene extraction means scene Extraction means
  • representative face image extraction section 12 representative face image extraction means
  • registration face image extraction section 1 3 registration face image extraction means
  • face image registration section 14 face image registration means
  • face image dictionary 15 dictionary
  • input processing unit 16 and display processing unit 17.
  • the face image registration device 1 extracts a face image suitable for dictionary registration from a moving image and registers it.
  • the purpose is not to separate the scenes or to make the face image dallet.
  • the purpose is to improve dictionary performance and simplify the performance improvement procedure.
  • the face image registration device 1 also extracts a face image suitable for face authentication processing, and also inputs the input moving image power, and automatically registers it in the face image dictionary 15. At this time, for example, a face image of a person designated by the user is selectively registered. The point is to extract face images from moving images.
  • the face image registration device can extract various face images of the same person from the moving images.
  • various face images can be registered in the face image dictionary 15, so that the bias of the face images registered in the face image dictionary 15 can be reduced.
  • the face image dictionary 15 can be created easily and accurately.
  • the authentication device can greatly improve the performance of human face authentication.
  • FIG. 2 is a flowchart showing the flow of processing when the face image registration device 1 extracts a face image from a moving image and registers it in the face image dictionary 15.
  • the user Prior to the processing shown in FIG. 2, the user uses the moving image capturing device 4 to capture a moving image. Thereby, the moving image photographing apparatus 4 inputs the moving image to the face image registration apparatus 1 (step S20).
  • the moving image input unit 10 receives the input moving image in the face image registration device 1.
  • input The processing unit 16 outputs the received moving image to the scene extraction unit 11.
  • the moving image input to the face image registration device 1 is not limited to the one captured by the moving image capturing device 4.
  • it may be commercially available video software, or may be a moving image that can be obtained free of charge, such as a broadcast drama or sports program.
  • the moving image input to the face image registration device 1 can be anything as long as it captures a human face.
  • the face image registration device 1 extracts a face image from a moving image. Accordingly, first, an example of a moving image to be processed by the face image registration device 1 will be described below with reference to FIG.
  • FIG. 3 (a) is a diagram showing an example of a moving image processed when the dictionary creating device 1 extracts a face image.
  • the moving image 30 is composed of a plurality of continuous frames 31.
  • Each frame corresponds to a so-called “frame” in terms of video. That is, each frame 31 is one still image.
  • the scene extraction unit 11 extracts at least one scene from the input moving image (step S21).
  • the “scene” is a partial moving image in which some frames constituting the moving image are continuously connected.
  • the scene extraction unit 11 may extract a single scene from the time when the face of the same person enters the frame until it leaves. In other words, a scene may be anything from the time a person's face appears in the first frame until it disappears.
  • the scene extraction unit 11 may extract a scene with a moving image force using a known arbitrary method. For example, it is possible to use so-called face tracking technology that detects and tracks a face that changes continuously little by little. Further, a change in the background may be detected, and the moving image may be segmented at a location where a frame showing a background that matches a predetermined specific condition appears. At this time, the frame groups before and after the separation are extracted as different scenes.
  • FIG. 3B is a diagram showing an example of the scene extracted by the scene extraction unit 11.
  • the scene extraction unit 11 extracts three scenes, that is, a scene 32, a scene 33, and a scene 34 from one moving image.
  • the scene 32 has a structure in which a plurality of continuous frames are connected up to the frame 32a force frame 32b. In each of these frames, the same person's face is continuously photographed.
  • the scene 33 is composed of two frames, a frame 33a and a frame 33b. Since the face is not shot in the frame immediately before frame 33a and the frame immediately after frame 33b, the scene extraction unit 11 determines the location constituted by the two frames 33a and 33b in the moving image. Extract as one scene 33.
  • the scene 34 has a structure in which three frames, that is, frames 34a to 34c are continuously connected. In these frames, face images of the same person are taken continuously. Therefore, the scene extraction unit 11 extracts a portion constituted by three frames 34a to 34c in the moving image as one scene 34.
  • FIG. 3 (c) is a diagram showing an example of a plurality of frames each including various face images and constituting one scene 32.
  • FIG. 3 (c) is a diagram showing an example of a plurality of frames each including various face images and constituting one scene 32.
  • the scene 32 is composed of a plurality of frames. Each frame captures the face of at least one person.
  • the scene 32 also includes frames in which other people's faces are shot at the same time. Note that not all frames are taken of a plurality of human face images. However, each frame has a face with various characteristics such as a face facing forward, a face facing sideways, a face with a beard, and a face with open mouth.
  • the scene extraction unit 11 outputs the scene extracted in step S21 to the representative face image extraction unit 12.
  • the representative face image extraction unit 12 extracts various face images from the input scene. Search (step S22).
  • the representative face image extraction unit 12 extracts a face image that matches the representative condition that has been determined in advance.
  • the “representative condition” is a condition that should be satisfied by a face image most suitable for face authentication among various face images captured in a moving image.
  • representative conditions are preliminarily stored in a memory (not shown).
  • the condition that the face image of the face facing the front satisfies is the representative condition. Therefore, the representative face image extraction unit 12 extracts a face facing forward from the input scene (step S23).
  • the representative condition is not necessarily limited to the condition that the face image of the face facing the front satisfies.
  • any condition may be used as long as the face image suitable for face authentication should be satisfied.
  • the representative face image extracting unit 12 may extract all face images that match the representative condition from the scene as much as possible. Therefore, the faces facing the front of the same person may be extracted separately from each other as different representative face images.
  • the user may set the representative conditions as appropriate.
  • the representative face image extracting unit 12 extracts a face image that matches the representative condition set by the user from the scene as a representative face image.
  • the representative face image extraction unit 12 extracts as many representative face images as possible from the input scene regardless of overlapping of the corresponding persons. Then, all the extracted representative face images are output to the display processing unit 17.
  • the face image registration device 1 selects one extracted representative face image (step S24).
  • the face image registration device 1 of the present embodiment allows the user to select one representative face image of a person to be registered in the face image dictionary 15.
  • the display processing unit 17 causes the display device 3 to display all input representative face images.
  • the user confirms the display of the representative face image through the display device 3.
  • the user selects one of the displayed representative face images using the input device 2. To do.
  • This selection is accepted by the input processing unit 16.
  • the input processing unit 16 outputs information about the representative face image selected by the user to the registration face image extracting unit 13.
  • the registration face image extraction unit 13 selects the representative face image selected by the user as the processing target.
  • FIG. 4 is a diagram showing an example of a display screen for requesting the user to select a representative face image.
  • the display processing unit 17 displays the screen 40 shown in FIG.
  • the screen 40 includes an area for displaying a plurality of front face images including the front face image 41 and a message box 42.
  • a message prompting the user to select a face image is displayed.
  • the message “Please select the face image of the person you want to register” is displayed.
  • the representative face image extraction unit 12 can also extract different front face images for the same person a plurality of times as the representative face image.
  • the display processing unit 17 causes the display device 3 to simultaneously display a plurality of different front face images for the same person.
  • the registration face image extraction unit 13 registers the front face image selected by the user in the face image dictionary 15 (step S25). At this time, a unique identifier for identifying the selected front face image may be registered in the face image dictionary 15. Alternatively, the selected front face image itself may be registered. Alternatively, the feature amount of the face image that can be calculated by a method described later may be registered. In any case, the storage area for registering the face image representing the face of the selected person is newly set in the face image dictionary 15.
  • the registration face image extraction unit 13 searches various face images of the same person for the person represented by the front face image selected by the user, as well as the input scene power (step S26). At this time, all face images that can be determined to be the same person's face as the extracted front face regardless of the condition are searched.
  • the determination method may be a known one. In the present embodiment, the registration face image extraction unit 13 collectively searches for images that can be determined as face images.
  • the registration face image extraction unit 13 determines whether or not the searched face image matches a pickup condition (registration condition) that has been determined in advance. To do. Then, the face image determined to be satisfied is extracted as a face image to be registered in the face image dictionary 15 (step S27). At this time, a pickup condition list preliminarily stored in a memory (not shown) is used.
  • the “pickup condition list” is a list in which various pickup conditions that should be satisfied by a face image suitable for registration in the face image dictionary 15 are combined.
  • FIG. 5 is a diagram showing an example of the pickup condition list 50.
  • a main condition As shown in this figure, in the pickup condition list 50, a main condition, a sub condition A, a sub condition B, and a sub condition C are defined.
  • the main condition is a condition that roughly classifies the features of the face image.
  • the face direction, brightness, facial expression, and accessory are defined as main conditions of the pickup condition.
  • the force sub-condition A is a further definition of the main condition.
  • “Face” is “Up”, “Down”, “Right”, “Left”, “Brightness” is “Flash”, “Background ratio”, “Face” is “Eye”, “Mouth”, In the “accompaniment”, “glasses” and “ ⁇ ” are defined as sub-conditions A, respectively.
  • the force subcondition B is obtained by further defining the subcondition A. For example, “Up” is “0-30 degrees”, “Flash” is “Yes”, “No”, “Background ratio” is “Bright”, “Dark”, “Eye” is “Open”, “Open” Sub-conditions B such as “Closed” are defined.
  • the force subcondition C is obtained by further defining the subcondition B. For example, “0-30 degrees” is defined as “5-degree increments”.
  • the level of the sub-condition to be set varies depending on the pickup condition.
  • the registration face image extraction unit 13 generates various pickup conditions by appropriately combining the main conditions defined in the pickup condition list 50 with the sub-conditions belonging to the main conditions. For example, when talking about “face orientation,” one “pick face up 5 degrees” Treat as a condition.
  • the registration face image extraction unit 13 sets at least one face image that matches at least one pickup condition defined in the pickup condition list 50 as a registration face image. Extract scene power.
  • the registration face image extraction unit 13 outputs the registration face image from which the scene power is also extracted to the face image registration unit 14.
  • the face image registration unit 14 registers the input registration face image in the face image dictionary 15 (step S28). Details of this will be described later.
  • the registration face image extraction unit 13 determines whether or not the scene power has also been extracted from the face image (step S29). At this time, the registration face image extraction unit 13
  • Condition B A certain number of scenes were processed
  • Condition E A certain number of moving images were processed
  • Condition F The extraction process starts and the force has reached a certain time
  • step S27 the registration face image extraction unit 13 determines whether or not the face image retrieved from the scene matches the pickup condition, and selects one new face image. Then, it is determined whether or not the force matches the pickup condition described above.
  • the registration face image extraction unit 13 performs the pickup condition as the face image power registration face image searched by the scene camera. Is repeatedly determined for each face image. [Details of condition judgment and extraction processing]
  • FIG. 6 is a flowchart showing a flow of processing in which the registration face image extraction unit 13 extracts a scene force from a face image that matches the pickup condition.
  • the registration face image extraction unit 13 of the present embodiment extracts a face image that matches the pickup conditions from the scene using, for example, a technique disclosed in JP-A-2005-49854. Therefore, a face image (template) corresponding to each pickup condition is not required in advance. That is, if a condition defined as a pickup condition is given, a face image that matches the condition can be automatically extracted for each person.
  • the registration face image extraction unit 13 selects one unregistered pickup condition (step S60).
  • the “unregistered pickup condition” here refers to the condition that the face image satisfies the face image registered in the face image dictionary 15 among the face images of the person represented by the selected representative face image. That is. For example, when the face image power matching the face orientation pickup condition is not registered in the face image dictionary 15, the pickup condition for the face orientation is selected from the pickup condition list 50.
  • the registration face image extraction unit 13 executes processing according to the selected condition. In the example of Fig. 6, jump to the block for processing the selected condition.
  • a flag indicating that a face image that matches the pickup condition is registered in the face image dictionary 15 is set in the pickup condition list 50 for each pickup condition. Therefore, the registration face image extraction unit 13 should select a condition for which the flag is not set among the pickup conditions defined in the pickup condition list 50 as an unregistered pickup condition.
  • the registration face image extraction unit 13 calculates the orientation of the face represented by the face image to be processed. For example, the direction and numerical value such as 40 degrees upward are calculated.
  • the registration face image extraction unit 13 performs, for example, • Triangle shape connecting eyes and mouth
  • the registration face image extraction unit 13 determines whether or not the calculated face orientation satisfies the selected pickup condition (step S62). When it is determined that the image is satisfied (Yes), the registration face image extraction unit 13 updates the pickup condition (step S69). Details of the update will be described later.
  • step S62 When it is determined in step S62 that the face image force does not match the pick-up condition for the face orientation (No), the registration face image extraction unit 13 next calculates the brightness of the face image. (Step S63).
  • the brightness of the face image is selected. Since these calculation methods have already been established, detailed description thereof is omitted.
  • the registration face image extraction unit 13 determines whether the calculated brightness satisfies the selected pickup condition or not (step S64). When it is determined that the condition is satisfied (Yes), the registration face image extraction unit 13 updates the pickup conditions (step S69). Details of the update will be described later.
  • step S64 when it is determined that the brightness power that the face image power is calculated does not match the pick-up condition for brightness (No), the registration face image extraction unit 13 then calculates the facial image expression ( Step S65).
  • the registration face image extraction unit 13 performs, for example, 'Edge amount from eye center
  • Registration face image extraction unit 13 determines whether the calculated facial expression satisfies the pickup condition for the facial expression or not (step S68). When it is determined that the image is satisfied (Yes), the registration face image extraction unit 13 updates the pickup condition (step S69). Details of the update will be described later.
  • step S66 when it is determined that the facial expression power also does not match the pickup condition for the facial expression (No), the registration facial image extraction unit 13 calculates the presence or absence of an accessory of the facial image (step S67).
  • the registration face image extraction unit 13 performs, for example,
  • the registration face image extraction unit 13 determines whether or not the calculated accessory is a color that satisfies the pickup condition for the accessory (step S68). When it is determined that the condition is satisfied (Yes), the registration face image extraction unit 13 updates the pickup condition (step S69). Details will be described later.
  • the registration facial image extraction unit 13 if it is determined that the conditions for calculating facial image power satisfy the selected pickup conditions (Yes), the registration facial image extraction unit 13 will Then, the pickup condition list 50 is updated (step S69). Specifically, the selected pick As for the cleanup condition, a flag indicating that a matching face image is registered in the face image dictionary 15 is set in the pickup condition list 50. At this time, the registration face image extraction unit 13 will not select the condition registered this time again when processing the next face image.
  • the face image registration device 1 automatically generates the face image dictionary 15 most suitable for face authentication of a person when the user selects a person to be registered in the face image dictionary 15. That is, various different face images are automatically extracted from the moving image (scene) and registered in the face image dictionary 15. Therefore, the labor required for the face image registration process can be reduced as compared with the prior art.
  • the face image registration device 1 may leave the selection of the registration face image to be registered in the face image dictionary 15 to the user. At this time, the face image registration device 1 causes the display device 3 to display a list of various searched face images. As a result, the face image selected by the user is registered in the face image dictionary 15. In this case, since the determination by the user is added to the selection of the registered face image, the accuracy of the face image dictionary 15 can be further increased.
  • the registration face image extraction unit 13 updates the pickup condition list 50 each time a face image that matches the pickup condition is extracted.
  • the registration face image extraction unit 13 may first store all face images that match the pickup conditions in the memory. At this time, the registration face image extraction unit 13 may select one face image to be registered in the face image dictionary 15 at random after completing the face image extraction. Or let the user select the face image to register.
  • FIG. 7 is a flowchart showing a processing flow when the face image registration unit 14 registers the registration face image extracted by the registration face image extraction unit 13 in the face image dictionary 15.
  • the face image registration unit 14 first applies the face represented by the face image. Then, the positions of various organs are detected (step S70). Specifically, the center of the eye, the corner of the eye, the head of the eye, the mouth, both ends of the mouth, both ends of the eyebrows, etc. are detected. Since the organ detection method is known, a detailed description thereof will be omitted.
  • the organs detected by the face image registration unit 14 are not limited to these, and may be any facial organs.
  • the number to be detected is not particularly limited. The number of organs to be detected and how many are detected is predetermined in the memory, not shown in the face image registration apparatus 1.
  • the face image registration unit 14 calculates the feature amount of the face image using the detected information on each organ position (step S71). This digitizes the features of the face image. The numerical method is already established and will not be described in detail here.
  • the face image registration unit 14 stores the calculated feature value in association with the representative face image already registered in the face image dictionary 15 (step S72).
  • the face image registration unit 14 registers data with a smaller amount in the face image dictionary 15 as compared to registering the face image itself in the face image dictionary 15. Therefore, the data size of the generated face image dictionary 15 can be made smaller.
  • the face image registration device 1 extracts a face image that matches a pickup condition that is not registered in the face image dictionary 15 and registers it in the face image dictionary 15.
  • the face image registration device 1 may extract a face image that matches the pickup condition regardless of whether or not the registered power is used.
  • the registration face image extraction unit 13 determines which one of the face image registered in the face image dictionary 15 and the newly extracted registration face image is suitable for face authentication. If it is determined that the newly extracted face image is suitable for face recognition, the existing face image is replaced with the newly extracted face image.
  • FIG. 8 is a flowchart showing a processing flow when the registration face image extraction unit 13 extracts a face image that matches the pickup condition.
  • the registration face image extraction unit 13 selects one face image to be processed.
  • the face image registration unit 14 calculates the face orientation for the selected face image (step S80). Since the face orientation calculation processing has been described above, a description thereof will be omitted.
  • the registration face image extraction unit 13 determines whether or not the calculated face orientation is a force that matches at least one of the pickup conditions for the face orientation defined in the pickup condition list 50 (step S81). ).
  • step S81 If it is determined in step S81 that the calculated face orientation matches the pickup condition (Yes), the registration face image extraction unit 13 updates the pickup condition list 50. Details of this processing will be described later.
  • step S81 When it is determined in step S81 that the calculated face orientation does not match the pickup condition (No), the registration face image extraction unit 13 next calculates the brightness of the selected face image. (Step S82). Since the brightness calculation process has been described above, a description thereof will be omitted. The registration face image extraction unit 13 determines whether or not the calculated brightness matches at least one of the pickup conditions for brightness defined in the pickup condition list 50 (step S83).
  • step S83 When it is determined in step S83 that the calculated brightness matches the pickup condition (Yes), the registration face image extraction unit 13 updates the pickup condition list 50. Details of this processing will be described later.
  • step S83 When it is determined in step S83 that the calculated face orientation does not match the pickup condition (No), the registration face image extraction unit 13 next calculates the facial expression of the selected face image (Ste S82). Since the facial expression calculation process has been described above, a description thereof will be omitted. The registration face image extraction unit 13 determines whether the calculated facial expression is a force that matches at least one of the pickup conditions for the facial expression defined in the pickup condition list 50 (step S85).
  • step S83 when it is determined that the calculated brightness matches the pickup condition (Yes), the registration face image extraction unit 13 updates the pickup condition list 50. Details of this processing will be described later.
  • step S85 it is determined that the calculated facial expression does not match the pickup conditions. (No), the registration face image extraction unit 13 then calculates an accessory for the selected face image (step S86). Since the facial expression calculation process has been described above, a description thereof will be omitted. The registration face image extraction unit 13 determines whether or not the calculated accessory matches at least one of the pickup conditions for the accessory defined in the pickup condition list 50 (step S87).
  • the registration face image extraction unit 13 updates the pickup condition list 50 when the face image matches the pickup condition (step S88).
  • FIG. 9 is a flowchart showing the flow of processing when the registration face image extraction unit 13 updates the pickup condition list.
  • the registration face image extraction unit 13 determines whether or not the pick-up condition determined to match the selected face image is a force registered in the pickup condition list 50 (step S 90). Specifically, it is determined whether or not a flag for the pickup condition is set in the pickup condition list 50.
  • step S90 When the determination result in step S90 is “false” (No), the pickup condition list 50 is updated. Specifically, a flag is set for the pickup condition determined to match the face image.
  • step S90 determines whether or not the newly recognized recognition reliability is greater than the stored recognition reliability (STEP).
  • the “recognition reliability” is a numerical value indicating how well the pickup condition is satisfied.
  • the registration face image extraction unit 13 stores the calculated numerical value in the pickup condition list 50 in association with the pickup condition, such as 5 degrees and 8 degrees. Alternatively, it may be registered in the face image dictionary 15 in association with the registration face image.
  • registration face image extraction unit 13 updates pickup condition list 50. Since the flag indicating that the face image matching the pickup condition is registered in the face image dictionary 15 is already set in the pickup condition list 50, it is left as it is. On the other hand, the recognition reliability stored so far is replaced with the recognition reliability of the newly extracted face image. Thereafter, the face image registration unit 14 replaces the face image registered in the face image dictionary 15 with the face image newly extracted by the registration face image extraction unit 13.
  • the face image registration device 1 extracts a registration face image for one person selected by the user from a plurality of representative face images and registers it in the face image dictionary 15.
  • the face image registration device 1 extracts a face image suitable for registration from one moving image or one scene
  • the face image registration device 1 extracts face images for registration for a plurality of persons, and continues to the face image dictionary 15. You may register.
  • FIG. 10 is a flowchart showing the flow of processing when the face image registration device 1 extracts face images for a plurality of persons and registers them in the face image dictionary 15.
  • Steps S100 to S109 shown in FIG. 10 are essentially the same as steps S20 and S29, respectively. Therefore, the description is omitted for details.
  • step S104 the display processing unit 17 sets a flag indicating that the person selected by the user has been selected in a memory (not shown).
  • step S109 it is determined that the extraction of the registration face image for a person has ended. If it is determined (Yes), the registration face image extraction unit 13 is a person who has not registered in the face image dictionary 15 among the representative face images presented to the user, that is, has not yet been processed. Whether or not force ⁇ is determined (step S110). Specifically, it is determined whether there is a face image for which the flag is not set.
  • step S110 determines whether the result of determination in step S110 is "true" (Yes)
  • the processing in Fig. 10 returns to step S104, and face image registration device 1 displays the representative face image displayed on display device 3.
  • the user is allowed to select an unregistered one.
  • the selected face image may be displayed in a single scale to clearly indicate that it has been selected.
  • the user selects one unselected representative face image.
  • the registration face image extraction unit 13 extracts a registration face image for the person represented by the newly selected representative face image from the scene.
  • the face image registration unit 14 registers the registration face image selected by the registration face image extraction unit 13 in the face image dictionary 15.
  • the face image registration device 1 repeats the above processing until there is no more representative face image that can be selected or until the user explicitly instructs the end of registration.
  • the registration face image extraction unit 13 extracts a registration face image for each representative face image when the representative face image extraction unit 12 extracts a plurality of different representative face images.
  • a plurality of different representative face images are a plurality of face images in which each face image represents a face of a different person. At this time, the registration face image extraction unit 13 extracts a registration face image for each different person.
  • the face image registration unit 14 associates the representative face image with the registration face image and registers them in the face image dictionary 15 for each person when a plurality of persons are photographed in the moving image. To do. Therefore, face images about a plurality of different persons are accumulated in the face image dictionary 15.
  • the face image registration device 1 can further enhance the degree of fulfillment of the face image dictionary 15.
  • FIG. 11 is a diagram showing an example of dictionary data stored in the face image dictionary 15.
  • the dictionary data generated by the face image registration device 1 includes header data H, feature quantity data dl, feature quantity data d2,..., Feature quantity data dn.
  • the header data H is composed of various definition data related to the entire dictionary data, such as version information of the face image dictionary 15 and the number of people registered in the face image dictionary 15.
  • the feature values are integrated for each registration face image.
  • the face image registration device 1 does not extract a matching face image by comparing a template image that matches a specific pickup condition with a face image in the moving image. Instead, a face image that matches each registered pickup condition is extracted, and the feature values calculated from the extracted face image data are combined into one to generate a face image dictionary 15. Therefore, it is possible to create a face image dictionary 15 that can handle a wider range than the registered conditions.
  • Various authentication devices use the face image dictionary 15 generated by the face image registration device 1 as described above.
  • the authentication device extracts a photograph of a specific person from a large number of given still images.
  • the authentication accuracy can be increased by using the face image dictionary 15 at the time of personal authentication.
  • scenes where a specific person appears can be extracted from the input video.
  • the face image dictionary 15 with higher accuracy than in the past can be used, authentication of the face image can be executed with higher accuracy than in the past.
  • the registration face image extraction unit 13 can search another scene if there is no registration face image necessary for one scene.
  • the scene extraction unit 11 extracts a plurality of different scenes from the moving image.
  • a scene in which a person's face is not shown is separated.
  • the registration face image extraction unit 13 extracts a registration face from other scenes different from the scene. Extract images.
  • the types of face images registered in the face image dictionary 15 can be increased more reliably.
  • the representative face image extracting unit 12 can also extract face images of the same size for each person when extracting the representative face image with scene power. By doing so, the authentication accuracy of the representative face image registered in the face image dictionary 15 can be stabilized.
  • the registration face image extraction unit 13 can also extract face images of the same size for each pickup condition when extracting the scene power registration. In this way, the authentication accuracy of the registration face image registered in the face image dictionary 15 can be stabilized.
  • the face image registration device 1 may automatically select the representative face image extracted by the representative face image extraction unit 12 without allowing the user to select it. At this time, the registration face image extraction unit 13 selects any one of the extracted representative face images, and extracts a registration face image for the person represented by the selected representative face image from the scene. According to this method, the face image dictionary 15 can be generated completely automatically, and the user's hand is not troubled at all.
  • each block included in the face image registration device 1 may be configured by hardware logic.
  • a CPU Central Processing Unit
  • the face image registration device 1 executes a command of a control program that realizes each function.
  • CPU Read Only Memory
  • RAM Random Access Memory
  • memory that stores the control program and various data
  • a device recording medium
  • the object of the present invention can also be achieved by a predetermined recording medium.
  • the program code (execution format program, intermediate code program, source program) of the control program of the face image registration apparatus 1 which is software for realizing the above-described functions is recorded so as to be readable by a computer. Just do it.
  • This recording medium is supplied to the face image registration device 1.
  • the face image registration device 1 (or CCU or MPU) as a computer may read and execute the program code recorded on the supplied recording medium.
  • the recording medium that supplies the program code to the face image registration device 1 is not limited to a specific structure or type. That is, this recording medium includes, for example, a tape system such as a magnetic tape or a cassette tape, a magnetic disk such as a floppy (registered trademark) disk / hard disk, or an optical disk such as a CD-ROM / MO / MD / DVD / CD-R. Disk system, IC card (including memory card) Z optical card or other card system, or mask ROMZ EPROMZEEPROMZ flash ROM or other semiconductor memory system
  • the object of the present invention can be achieved.
  • the above program code is supplied to the face image registration device 1 via the communication network.
  • the communication network is not limited to a specific type or form as long as it can supply the program code to the face image registration device 1.
  • the Internet, intranet, extranet, LAN, ISDN, VAN, CATV communication network, virtual private network, telephone line network, mobile communication network, satellite communication network, etc. may be used.
  • the transmission medium constituting this communication network is not limited to a specific configuration or type as long as it is an arbitrary medium capable of transmitting the program code.
  • the present invention can also be realized in the form of a computer data signal embedded in a carrier wave in which the program code is embodied by electronic transmission.
  • the face image registration apparatus registers the face image for registration extracted from the moving image in the dictionary in association with the representative face image extracted from the moving image. Because it is equipped with means, it is possible to register various face images in the dictionary without requiring the user to spend time and effort.
  • the present invention can be widely used as a face image registration device for generating a face image dictionary used by various authentication devices for authenticating a person's face image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Collating Specific Patterns (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

　シーン抽出部（１１）は、入力された動画像から、少なくとも一人の顔画像が連続して撮影されているシーンを抽出する。代表顔画像抽出部（１２）は、抽出されたシーンから、正面を向いた顔の画像を抽出する。登録用顔画像抽出部（１３）は、抽出された正面顔画像の表す人物についての他の顔画像のうち、ピックアップ条件に一致する各種の登録用顔画像をシーンから抽出する。顔画像登録部（１４）は、抽出された代表顔画像と、抽出された登録用顔画像とを、互いに関連付けて顔画像辞書（１５）に登録する。これにより、ユーザに手間を掛けさせることなく、認証処理に利用できるさまざまな顔画像を辞書に登録する。

Description

明 細 書
顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録 媒体
技術分野
[0001] 本発明は、顔認証処理に用いられる顔画像を辞書に登録する顔画像登録装置、 顔画像登録方法、顔画像登録プログラム、および記録媒体に関する。
背景技術
[0002] セキュリティ意識の高まりを反映して力、近年、顔認証システムの利用が急速に拡 大している。従来の暗証番号を利用した認証システムに比べて、顔認証システムは、 認証に必要な情報 (本人の顔の特徴)を他人に盗まれる可能性が極めて低 、こと、 本人さえいれば確実に認証できることなどの手軽さがあることから、今後、より一層の 普及が見込まれている。
[0003] とは ヽぇ顔認証システムは、現在、さまざまな未解決の問題を抱えて 、る。その一 つは認証の精度が未だ十分に高くな ヽことである。顔画像さえ映せば認証できるレ ベルにはまだ到達しておらず、たとえば背景の明るさが変わっただけで、本人と認証 できなくなる問題も現実に発生している。
[0004] そこで、顔認証処理の精度を高めることを目的とした各種の技術が、従来、提案さ れている。
[0005] たとえば特許文献 1には、映像中から顔が写っているフレームを検出し、前記フレ ーム力 顔画像を抽出し、抽出したすべての顔画像から同一登場人物の顔をグルー プ化し、登場人物別にその代表顔画像を抽出することを特徴とする画像検索方法が 開示されている。
[0006] 上記の方法によれば、映像力 顔に特ィ匕した検出を行い、さらに検出した顔の識別 を行うことで、映像中に登場する人物の顔を区別して表示できる。
[0007] 特許文献 2には、人物認証を行うための画像データをフレーム単位で入力する手 段と、前記画像データから顔領域を検出する手段と、前記顔領域から特徴量を検出 する手段と、前記特徴量を基準値と比較することにより該特徴量が有効力否かを判 定する手段と、有効と判定された特徴量を複数フレーム分蓄える手段と、前記複数フ レーム分の特徴量に演算を施こすことにより認証用特徴量を得る手段と、前記認証 用特徴量を予め記憶された顔特徴量と比較することにより当該人物の認証を行う手 段とを具備したことを特徴とする人物認証装置が開示されている。
[0008] 上記装置によれば、頭の姿勢、表情の影響により認証精度の低下を無くし、さらに 有効フレーム判定のための特徴量の計測精度を向上させることができる。
[0009] 特許文献 3には、認証本人の顔を互いに異なる複数の環境下で撮影して得られた 複数の顔情報を、前記環境に対応したパターン名をつけて登録した顔認証用データ ベースと、この顔認証用データベースに登録されたパターン名と、このパターン名で 撮影した認証本人とを対応付けた認証本人特定テーブルと、認証対象人の顔を撮 影して顔情報を得るカメラと、このカメラで撮影した顔情報と、前記顔認証用データべ ースに登録された複数の顔情報とを照合し、最も類似度の高!、顔情報を特定する認 証処理手段と、この認証処理手段により特定された顔情報のパターン名から、前記 認証本人特定テーブルにより、このパターン名に対応する認証本人を特定する認証 本人特定手段と、を備えたことを特徴とする認証システムが開示されて ヽる。
[0010] 上記のシステムによれば、異なる環境下での顔情報を複数用意しておくことにより、 どのような環境下においても正しく認証を行うことができる。
[0011] 特許文献 4には、人物の顔画像データベースと顔特徴データベースに新規人物を 登録する顔画像データベース新規登録装置において、入力画像中の人物の顔領域 における複数の特徴点の位置、および前記人物の顔の向きを推定する推定手段と、 前記推定手段により推定された顔の向き情報または外部から入力された顔の向き情 報に従って、前記人物の顔が所定の向きを示すフレームを前記入力画像力 選択 する選択手段と、前記選択手段により選択されたフレームとその関連情報をユーザ 命令を受けて表示させるユーザインタフ ース手段と、前記選択手段により選択され た前記フレームにおいて、前記推定手段により推定された前記複数の特徴点の近傍 で前記人物の顔の特徴量を計測することで、前記入力画像中の前記人物のデータ ベース成分を計算する計算手段とを含むことを特徴とする顔画像データベース新規 登録装置が開示されている。 [0012] 上記の装置によれば、新規人物のデータベース登録作業を自動化できる。
特許文献 1 :日本国公開特許公報「特開 2001— 167110号公報 (公開日： 2001年 6 月 22日）」
特許文献 2 :日本国公開特許公報「特開平 6— 259534号公報 (公開日： 1994年 9月 16日）」
特許文献 3 :日本国公開特許公報「特開 2005— 115481号公報 (公開日： 2005年 4 月 28日）」
特許文献 4:日本国公開特許公報「特開 2002— 133423号公報 (公開日： 2002年 5 月 10日）」
発明の開示
[0013] 顔画像を用いた認証装置にお！ヽて、認証性能を向上させるためには、さまざまな条 件下で撮影された顔画像を登録することが必要である。しかし登録に適した画像を、 多数の静止画力 手動で選び出し登録する作業は煩雑であり、ときとして困難である
[0014] 特許文献 1の技術は、同一登場人物の顔をグループィ匕するに過ぎず、グループィ匕 した顔を辞書に登録する点にぉ 、ては何ら工夫がな 、。
[0015] 特許文献 2の技術は、あくまで有効フレーム判定のための特徴量の計測精度を向 上させるに過ぎず、計測した特徴量を辞書に登録する点においては何ら工夫がない
[0016] 特許文献 3の技術では、異なる環境ィ匕での顔情報をユーザがあら力じめ用意して おく必要があり、ユーザに余計な手間を掛けさせてしまう問題が生ずる。
[0017] 特許文献 4の技術では、入力素材の各フレームにおける特徴点の位置を推定する のみであり、最終的な判断をユーザにゆだねてしまっている。したがってユーザに無 用な手間を掛けさせる問題が生ずる。
[0018] 以上のように、従来の技術を流用しても、認証装置が必要とする顔画像を、網羅し きれない可能性が高い。かといつて、ユーザの手動では大変な手間を要する。
[0019] 本発明は上記の課題を解決するためになされたものであり、その目的は、ユーザに 手間を掛けさせることなぐさまざまな顔画像を辞書に登録する顔画像登録装置、顔 画像登録方法、顔画像登録プログラム、および記録媒体を提供することにある。
[0020] (顔画像登録装置の主要構成）
本発明に係る顔画像登録装置は、上記の課題を解決するために、
入力された動画像から、人物の顔を表す顔画像を抽出し辞書に登録する顔画像登 録装置であって、
あら力じめ定められた代表条件に一致する少なくとも 1つの顔画像を、代表顔画像 として上記動画像から抽出する代表顔画像抽出手段と、
上記代表顔画像の表す人物についての他の顔画像のうち、あら力じめ定められた 登録条件に一致する少なくとも 1つの他の顔画像を、登録用顔画像として上記動画 像から抽出する登録用顔画像抽出手段と、
上記登録用顔画像を上記代表顔画像に関連付けて上記辞書に登録する顔画像 登録手段とを備えて 、ることを特徴として 、る。
[0021] (作用'効果）
上記の構成によれば、代表顔画像抽出手段は、あらかじめ定められた代表条件に 一致する少なくとも 1つの顔画像を、代表顔画像として動画像から抽出する。ここでい う「顔画像」とは、人物の顔を表す静止画のことをいう。「代表条件」とは、動画像に撮 影されている各種の顔画像のうち、顔認証に最も適している顔画像が満たすべき条 件のことである。たとえば正面を向いた顔は、代表条件を満たしている。そのため代 表顔画像抽出手段は、代表顔画像として、たとえば正面を向いた顔についての画像 である正面顔画像を、動画像から抽出する。
[0022] 動画像は、一般に、人物や事物の動きを撮影したものである。そのため、正面顔な どの代表顔画像を、代表顔画像抽出手段は問題なく動画像力も抽出できる。
[0023] 代表顔画像が抽出されたあと、登録用顔画像抽出手段が、代表顔画像の表す人 物についての他の顔画像のうち、あら力じめ定められた登録条件に一致する少なくと も 1つの他の顔画像を、登録用顔画像として動画像から抽出する。ここでいう「登録条 件」とは、画像認識に適した顔画像に当てはまる条件のことである。たとえば上を向い た顔、ひげを生やした顔、口を開いた顔など、さまざまな状態の顔に当てはまる条件 1S 登録条件に該当する。 [0024] したがって代表顔画像抽出手段が、たとえば正面を向いた顔を代表顔画像として 抽出したとき、顔画像登録装置は、この正面顔画像が表す人物についての、上を向 いた顔、ひげを生やした顔、口を開いた顔など、さまざま登録条件に一致する登録用 顔画像を、同じ動画像から抽出する。
[0025] 顔画像登録手段は、代表顔画像と、登録用顔画像抽出手段とを関連付けて辞書 に登録する。したがって、たとえば正面を向いた顔の画像に、ひげを生やした顔の画 像などの各種の異なる顔画像を関連付けて登録する。ここでいう登録とは、必ずしも 、画像そのものを登録することに限定されない。たとえば画像の特徴を表す特徴量を 算出し、画像の代わりに辞書に登録してもよい。
[0026] 以上の処理によって、顔画像登録装置は、顔画像を登録するための辞書に、同じ 人物についてのさまざまな顔画像を登録できる。したがって、辞書に登録する顔画像 の種類を、より確実に増やすことができる効果を奏する。また、動画像から顔画像を 抽出するので、登録に必要な顔画像を手作業で調べたり、あるいは撮影条件をさま ざまに変化させて、登録用の顔画像をあらかじめ用意したりする手法に比べて、顔画 像の登録処理に要する手間を、より減らすことができる。すなわち、ユーザに手間を 掛けさせることなぐさまざまな顔画像を辞書に登録できる。
[0027] (顔画像登録方法）
本発明に係る顔画像登録方法は、上記の課題を解決するために、
入力された動画像から、人物の顔を表す顔画像を抽出し辞書に登録する顔画像登 録方法であって、
あら力じめ定められた代表条件に一致する少なくとも 1つの顔画像を、代表顔画像 として上記動画像力 抽出する代表顔画像抽出ステップと、
上記代表顔画像の表す人物についての他の顔画像のうち、あら力じめ定められた 登録条件に一致する少なくとも 1つの他の顔画像を、登録用顔画像として上記動画 像から抽出する登録用顔画像抽出ステップと、
上記登録用顔画像を上記代表顔画像に関連付けて上記辞書に登録する顔画像 登録ステップとを含んで 、ることを特徴として 、る。
[0028] 上記の構成によれば、本方法は、上述した顔画像登録装置と同様の作用効果を奏 する。
[0029] (特徴量を登録）
また、本発明に係る顔画像登録装置では、さらに、
上記顔画像登録手段は、
上記登録用顔画像の特徴を数値化した特徴量を、上記辞書に登録することが好ま しい。
[0030] (作用'効果）
上記の構成によれば、顔画像登録手段は、登録用顔画像の特徴を数値化した特 徴量を、上記辞書に登録する。たとえば、顔の各器官の位置をそれぞれ特定し、各 位置の配置状態などを算出することによって、顔画像の特徴量を算出する。
[0031] こうして算出した特徴量は、通常、画像そのものよりもデータ量がずつと小さい。した 力 Sつて顔画像登録装置は、顔画像そのものを辞書に登録する場合に比べて、辞書 のデータサイズをより小さくできる効果を奏する。
[0032] (登録条件に一致するすべての登録用顔画像を登録）
また、本発明に係る顔画像登録装置では、さらに、
上記顔画像登録手段は、
互 ヽに異なる複数の登録条件があら力じめ定められて 、るとき、当該登録条件ごと に、当該登録条件に一致する少なくとも 1つの上記登録用顔画像を抽出し、 上記顔画像登録手段は、
上記代表顔画像に、上記登録条件ごとに抽出された上記登録用顔画像を、すべて 関連付けて上記辞書に登録することが好まし 、。
[0033] (作用'効果）
上記の構成によれば、代表顔画像抽出手段は、互いに異なる複数の登録条件が あら力じめ定められているとき、当該登録条件ごとに、当該登録条件に一致する少な くとも 1つの上記登録用顔画像を抽出する。たとえば、 10個の登録条件があら力じめ 定められているなら、 10個の登録条件のすべてについて、当てはまる登録用顔画像 を動画像から抽出する。
[0034] これにより顔画像登録手段は、登録条件ごとに抽出された上記登録用顔画像を、 すべて、代表顔画像に関連付けて辞書に登録する。すなわち、複数の登録条件に それぞれ個別に一致する複数の顔画像を、辞書に網羅的に登録する。
[0035] 以上の処理によって、顔画像登録装置は、辞書の充実度をより高めることができる 効果を奏する。
[0036] (登録条件に一致するすべての登録用顔画像を 1つづつ登録）
また、本発明に係る顔画像登録装置では、さらに、
上記顔画像登録手段は、
互 ヽに異なる複数の登録条件があら力じめ定められて 、るとき、当該登録条件ごと に、当該登録条件に一致する 1つの上記登録用顔画像を抽出し、
上記顔画像登録手段は、
上記代表顔画像に、上記登録条件ごとに抽出された 1つの上記登録用顔画像を、 すべて関連付けて上記辞書に登録することが好ましい。
[0037] (作用'効果）
上記の構成によれば、代表顔画像抽出手段は、互いに異なる複数の登録条件が あら力じめ定められているとき、当該登録条件ごとに、当該登録条件に一致する 1つ の上記登録用顔画像を抽出する。たとえば、 10個の登録条件があら力じめ定められ ているなら、 10個の登録条件のすべてについて、当てはまる登録用顔画像を、 1つ づっ、動画像から抽出する。
[0038] これにより顔画像登録手段は、登録条件ごとに抽出された上記登録用顔画像を、 すべて、代表顔画像に関連付けて辞書に登録する。すなわち、複数の登録条件の すべてを網羅した複数の顔画像を、辞書に登録する。
[0039] 以上の処理によって、顔画像登録装置は、辞書の充実度をより高めることができる 効果を奏する。また、辞書に登録する顔画像は、登録条件ごとに 1つに限定される。 したがって、登録条件ごとに複数の顔画像を登録する場合よりも、辞書のデータサイ ズをより小さくできる効果を奏する。
[0040] (全人物の顔画像を登録）
また、本発明に係る顔画像登録装置では、さらに、
上記登録用顔画像抽出手段は、 上記代表顔画像抽出手段によって複数の異なる上記代表顔画像が抽出されたとき 、当該代表顔画像ごとに上記登録用顔画像を抽出することが好ましい。
[0041] (作用'効果）
動画像には一人の人物が撮影されて 、るとは限らな 、。大勢の人物が写って 、る ことも良くある。そこで上記の構成によれば、代表顔画像抽出手段によって複数の異 なる代表顔画像が抽出されたとき、登録用顔画像抽出手段は、抽出された代表顔画 像ごとに登録用顔画像を抽出する。複数の異なる代表顔画像とは、個々の顔画像が それぞれ異なる人物の顔を表して ヽる複数の顔画像のことである。このとき登録用顔 画像は、異なる人物ごとに、登録用顔画像を抽出する。
[0042] したがって顔画像登録手段は、動画像に複数の人物が撮影されて 、る場合にぉ ヽ て、人物ごとに、代表顔画像とこの登録用顔画像を関連付けて、辞書に登録する。そ の結果として辞書には、複数の異なる人物についての顔画像が蓄積されることになる
[0043] 以上の処理によって、顔画像登録装置は、辞書の充実度をより高めることができる 効果を奏する。
[0044] (シーンから顔画像を抽出）
また、本発明に係る顔画像登録装置は、さらに、
上記動画像力 シーンを抽出するシーン抽出手段をさらに備え、
上記代表顔画像抽出手段は、上記シーンから上記代表顔画像を抽出し、 上記登録用顔画像抽出手段は、上記シーンから上記登録用顔画像を抽出すること が好ましい。
(作用'効果）
上記の構成によれば、シーン抽出手段は、動画像からシーンを抽出する。ここでい うシーンとは、動画像において、特定の顔が連続して存在し続ける複数のフレームを 1つにまとめた部分動画像のことである。たとえばシーン抽出手段は、顔トラッキング 技術を用いることによって、特定の顔があるフレームに入り、それから一定枚数のフレ ームに存在し続け、最後に別のフレームから出て行くまでの間を、 1つのシーンとして 動画像から抽出する。 [0045] シーン抽出手段によってシーンが抽出されたとき、代表顔画像抽出手段は、シーン から代表顔画像を抽出する。したがって動画像の一部を、顔画像抽出の処理対象に することができる。さらに登録用顔画像抽出手段は、同じシーンから登録用顔画像を 抽出する。これにより動画像の一部を、顔画像抽出の処理対象にすることができる。
[0046] 以上の処理によって顔画像登録装置は、顔画像を抽出する処理の対象とする動画 像を、全体の中の一部に留めることができる。これにより顔画像の登録処理に要する 時間を、より短くできる効果を奏する。
[0047] (複数シーンを処理）
また、本発明に係る顔画像登録装置では、さらに、
上記シーン抽出手段は、複数の異なる上記シーンを上記動画像力 抽出し、 上記登録用顔画像抽出手段は、あるシーンから上記登録用顔画像を抽出できなか つたとき、上記シーンとは異なる他のシーン力 上記登録用顔画像を抽出することが 好ましい。
[0048] (作用'効果）
上記の構成によれば、シーン抽出手段は、複数の異なるシーンを動画像力も抽出 する。このときたとえば、人物の顔が写っていない場面を区切りにして、区切られた複 数の部分動画像を、それぞれ異なるシーンとして動画像カゝら抽出する。
[0049] 1つのシーンに、登録条件に一致するすべての種類の顔画像が含まれているとは 限らない。そこで登録用顔画像抽出手段は、複数の異なるシーンのうちあるシーンか ら登録用顔画像を抽出できな力つたとき、複数の異なるシーンのうち、上記シーンと は異なる他のシーンから、登録用顔画像を抽出する。これにより、辞書に登録する顔 画像の種類を、より確実に増やすことができる効果を奏する。
[0050] (より信頼性の高!ヽ顔画像に置換）
また、本発明に係る顔画像登録装置では、さらに、
上記登録用顔画像抽出手段は、
ある登録条件に一致する登録用顔画像が、上記辞書に登録済みである場合、当該 登録条件に一致する他の登録用顔画像をあらたに抽出し、
上記顔画像登録手段は、 上記他の登録用顔画像の認識信頼度が、上記登録済みの登録用顔画像の認識 信頼度よりも高いとき、当該登録済みの顔画像を、当該他の登録用顔画像に置き換 えることが好ましい。
(作用'効果）
上記の構成によれば、登録用顔画像抽出手段は、ある登録条件に一致する登録 用顔画像が辞書に登録済みである場合において、当該登録条件に一致する他の登 録用顔画像をあらたに抽出する。
[0051] そして顔画像登録手段は、他の登録用顔画像の認識信頼度が、上記登録済みの 登録用顔画像の認識信頼度よりも高いとき、登録済みの顔画像を、他の登録用顔画 像に置き換える。これにより、辞書に登録済みの顔画像の認識信頼度をより高めるこ とがでさる。
[0052] したがって顔画像登録装置は、辞書に登録する顔画像の認識精度を、より高めるこ とができる効果を奏する。
[0053] (顔画像登録プログラムおよび記録媒体）
なお、上記顔画像登録装置は、コンピュータによって実現してもよい。この場合、コ ンピュータを上記各手段として動作させることにより上記顔画像登録装置をコンビュ ータにお 、て実現する顔画像登録プログラム、およびその顔画像登録プログラムを 記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
[0054] 本発明の他の目的、特徴、および優れた点は、以下に示す記載によって十分分か るであろう。また、本発明の利点は、添付図面を参照した次の説明によって明白にな るであろう。
図面の簡単な説明
[0055] [図 1]本発明の一実施形態に係る顔画像登録システムの要部構成を示すブロック図 である。
[図 2]顔画像登録装置が動画像から顔画像を抽出し顔画像辞書に登録する際の処 理の流れを示すフローチャートである。
[図 3(a)]辞書作成装置が顔画像を抽出する際に処理する動画像の一例を示す図で ある。 [図 3(b)]シーン抽出部によって抽出されたシーンの一例を示す図である。
[図 3(c)]それぞれが各種の顔画像を含み、 1つのシーンを構成する、複数のフレーム の例を示す図である。
[図 4]代表顔画像の選択をユーザに求めるための表示画面の一例を示す図である。
[図 5]ピックアップ条件リスト 50の一例を示す図である。
[図 6]ピックアップ条件に一致する顔画像を登録用顔画像抽出部がシーン力 抽出 する処理の流れを示すフローチャートである。
[図 7]登録用顔画像抽出部によって抽出された登録用顔画像を、顔画像登録部が顔 画像辞書に登録するときの処理の流れを示すフローチャートである。
[図 8]ピックアップ条件に一致する顔画像を登録用顔画像抽出部が抽出するときの処 理の流れを示すフローチャートである。
[図 9]登録用顔画像抽出部がピックアップ条件リストを更新するときの処理の流れを示 すフローチャートである。
[図 10]複数の人物についての顔画像を顔画像登録装置が抽出し、顔画像辞書に登 録するときの処理の流れを示すフローチャートである。
[図 11]顔画像辞書に記憶されている辞書データの一例を示す図である。
符号の説明
1 顔画像登録装置
2 入力装置
3 表示装置
10 動画入力部
11 シーン抽出部（映像シーン抽出手段）
12 代表顔画像抽出部 (代表顔画像抽出手段）
13 登録用顔画像抽出部 (登録用顔画像抽出手段）
14 顔画像登録部 (顔画像登録手段）
15 顔画像辞書 (辞書）
16 入力処理部
17 表示処理部 20 顔画像登録システム
40 画面
41 正面顔画像
42 メッセージボックス
50 ピックアップ条件リスト
発明を実施するための最良の形態
[0057] 本発明の一実施形態について、図 1〜図 11を参照して以下に説明する。
[0058] (顔画像登録システム 20)
まず、顔画像登録システム 20の構成について、図 1を参照して以下に説明する。図 1は、本発明の一実施形態に係る顔画像登録システム 20の要部構成を示すブロック 図である。この図に示すように、顔画像登録システム 20は、顔画像登録装置 1、入力 装置 2、表示装置 3、および動画撮影装置 4によって構成されている。
[0059] (顔画像登録装置 1)
顔画像登録装置 1は、顔認証に必要な顔画像を、辞書に登録する装置である。構 成や概要などの詳細は、後述する。
[0060] (入力装置 2)
入力装置 2は、情報を顔画像登録装置 1に入力したり、表示装置 3に表示されてい る情報を選択したりするためにユーザが用いる装置である。たとえばマウスやキーボ ードとして実現される。
[0061] (表示装置 3)
表示装置 3は、情報を表示しユーザに提示する装置である。たとえば液晶表示装 置やプラズマ表示装置として実現される。
[0062] (動画撮影装置 4)
動画撮影装置 4は、外界の人物や事物を動画に撮影する装置である。たとえばビ デォカメラとして実現される。
[0063] (顔画像登録装置 1)
本実施形態に係る顔画像登録装置 1について、図 1を参照して以下に説明する。 図 1に示すように、顔画像登録装置 1は、動画入力部 10、シーン抽出部 11 (シーン 抽出手段)、代表顔画像抽出部 12 (代表顔画像抽出手段)、登録用顔画像抽出部 1 3 (登録用顔画像抽出手段)、顔画像登録部 14 (顔画像登録手段)、顔画像辞書 15 ( 辞書）、入力処理部 16、および表示処理部 17を備えている。
[0064] (顔画像登録装置 1の概要）
顔画像登録装置 1の概要をまず説明する。顔画像登録装置 1は、動画像から辞書 登録に適した顔画像を抽出し、登録する。すなわちシーンきり分けや、顔画像のダル ープ化が目的ではない。辞書の性能向上と、性能向上手順の簡略化とを目的にして いる。
[0065] 具体的には、顔画像登録装置 1は、顔の認証処理に適した顔画像を、入力された 動画像力も抽出し、顔画像辞書 15に自動的に登録する。このとき、たとえばユーザ によって指定された人物の顔画像を選択的に登録する。顔画像を動画像から抽出す ることがポイントである。
[0066] すなわち動画像には、さまざまな条件に一致する顔画像が、数多く撮影されている 可能性が極めて高い。そのため顔画像登録装置は、同じ人物についての異なる顔 画像を、動画像からさまざまに抽出できる。これにより、顔画像辞書 15にさまざまな顔 画像を登録できるので、顔画像辞書 15に登録される顔画像の偏りを減らすことがで きる。また、顔画像辞書 15を簡単かつ精度よく作成できる。
[0067] 以上のことから、顔画像登録装置 1によって作成される顔画像辞書 15を用いれば、 認証装置は、人物の顔認証の性能を大きく向上させることができる。
[0068] (顔画像の登録処理）
顔画像登録装置 1が、動画像から抽出した顔画像を顔画像辞書 15に登録する際 の処理について、図 2を参照して以下に説明する。図 2は、顔画像登録装置 1が動画 像から顔画像を抽出し顔画像辞書 15に登録する際の処理の流れを示すフローチヤ ートである。
[0069] (動画像の入力）
図 2に示す処理の前に、ユーザは、動画撮影装置 4を用いて動画像を撮影しておく 。これにより動画撮影装置 4は、動画像を顔画像登録装置 1に入力する (ステップ S2 0)。入力された動画像を、顔画像登録装置 1では動画入力部 10が受け付ける。入力 処理部 16は、受け付けた動画像をシーン抽出部 11に出力する。
[0070] 本発明において、顔画像登録装置 1に入力される動画像は、動画撮影装置 4によ つて撮影されたものに限定されない。たとえば、市販されている有償の映像ソフトであ つてもよく、あるいは放送されているドラマやスポーツ番組のような、無償で入手できる 動画像であってもよい。すなわち顔画像登録装置 1に入力される動画像は、人物の 顔が撮影されて 、るものであれば何でもよ 、。
[0071] (動画像の例）
顔画像登録装置 1は、動画像から顔画像を抽出する。そこでまず、顔画像登録装 置 1が処理の対象とする動画像の一例について、図 3 (a)を参照して以下に説明する 。図 3 (a)は、辞書作成装置 1が顔画像を抽出する際に処理する動画像の一例を示 す図である。
[0072] この図に示すように、動画像 30は、複数の連続したフレーム 31によって構成されて いる。各フレームは映像でいうところのいわゆる「コマ」に相当する。すなわち各フレー ム 31は、いずれも一つの静止画である。
[0073] (シーンの抽出）
顔画像登録装置において、シーン抽出部 11は、入力された動画像から、少なくとも 1つのシーンを抽出する (ステップ S21)。ここでいう「シーン」とは、動画像を構成する 一部のフレームが連続して連なっている、部分動画像である。シーン抽出部 11は、 同一人物の顔がフレームに入ってから、出て行くまでの間を、 1つのシーンとして抽 出すればよい。すなわち 1つのシーンは、ある人物の顔が最初のフレームに映ってか ら、消えていくまでのものであればよい。
[0074] シーン抽出部 11は、公知の任意手法を用いて、動画像力もシーンを抽出すればよ い。たとえば、連続的に少しずつ変化する顔を検出して追いかける、いわゆる顔トラッ キング技術を利用することができる。また、背景の変化を検出し、あらかじめ定められ ている特定条件に一致する背景を映したフレームが出現した箇所において、動画像 を切り分けてもよい。このとき、切り分けた前後のフレーム群を、それぞれ異なるシー ンとして抽出することになる。
[0075] (シーンの一例） シーン抽出部 11によって動画像力も抽出されるシーンの一例を、図 3 (b)を参照し て以下に説明する。図 3 (b)は、シーン抽出部 11によって抽出されたシーンの一例を 示す図である。
[0076] この図に示す例では、シーン抽出部 11は、 1つの動画像から 3つのシーンを、すな わちシーン 32、シーン 33、およびシーン 34を抽出する。シーン 32は、フレーム 32a 力 フレーム 32bまで、連続する複数のフレームが連なった構造を取っている。これら のフレームには、いずれも、同一人物の顔が連続して撮影されている。
[0077] シーン 33は、フレーム 33aおよびフレーム 33bという 2つのフレームから構成されて いる。フレーム 33aの直前のフレーム、およびフレーム 33bの直後のフレームには、 顔が撮影されていないため、シーン抽出部 11は、動画像のうちフレーム 33aおよび 3 3bの 2つによって構成される箇所を、 1つのシーン 33として抽出する。
[0078] シーン 34は、 3つのフレームすなわちフレーム 34aから 34cが連続して連なった構 造を取っている。これらのフレームには、同一人物の顔画像が、連続して撮影されて いる。そのためシーン抽出部 11は、動画像のうちフレーム 34aから 34cの 3つによつ て構成されている箇所を、 1つのシーン 34として抽出する。
[0079] (フレームの一例）
シーンを構成するフレームについて、図 3 (c)を参照して以下に説明する。図 3 (c) は、それぞれが各種の顔画像を含み、 1つのシーン 32を構成する、複数のフレーム の例を示す図である。
[0080] この図に示すように、シーン 32は、複数のフレームによって構成されている。各フレ ームには、少なくとも一人の人物の顔が撮影されている。カロえて、他の人物の顔も同 時に撮影しているフレームも、シーン 32に含まれている。なお、必ずしもすべてのフ レームが、複数の人物の顔画像を撮影しているとは限らない。しかし、各フレームに は、正面を向いた顔、横を向いた顔、ひげを生やした顔、口を開いた顔など、さまざ まに異なる特徴を持った顔が撮影されている。
[0081] (正面顔の抽出）
シーン抽出部 11は、ステップ S21において抽出したシーンを、代表顔画像抽出部 12に出力する。代表顔画像抽出部 12は、入力されたシーンから、各種の顔画像を 検索する (ステップ S 22)。
[0082] このとき代表顔画像抽出部 12は、特に、あら力じめ定められた代表条件に一致す る顔画像を抽出する。ここでいう「代表条件」とは、動画像に撮影されている各種の顔 画像のうち、顔認証に最も適している顔画像が満たすべき条件のことである。顔画像 登録装置 1において、代表条件は、図示しないメモリにあら力じめ記憶されている。本 実施形態では、正面を向いた顔の顔画像が満たす条件が代表条件である。したがつ て代表顔画像抽出部 12は、入力されたシーンから、正面を向いた顔を抽出する (ス テツプ S23)。
[0083] なお、代表条件は、必ずしも、正面を向いた顔の顔画像が満たす条件に限らない。
他に、顔認証に適した顔画像が満たすべき条件であれば、どのような条件であっても よい。
[0084] また代表顔画像抽出部 12は、シーンから、代表条件に一致する顔画像を、可能な 限りすベて抽出してもよい。したがって、同じ人物についての正面を向いた顔を、そ れぞれ異なる代表顔画像として互いに区別して抽出してもよ 、。
[0085] なお、顔画像登録装置 1において、ユーザが、適宜、代表条件を設定してもよい。こ の場合代表顔画像抽出部 12は、'ユーザによって設定された代表条件に一致する顔 画像を、代表顔画像としてシーンから抽出する。
[0086] (人物の選択）
本実施形態では、代表顔画像抽出部 12は、入力されたシーンから、可能な限りの 数の代表顔画像を、該当する人物の重複に関わり無くすベて抽出する。そして、抽 出したすべての代表顔画像を、表示処理部 17に出力する。
[0087] 代表顔画像抽出部 12が代表顔画像をシーンから抽出し終えると、顔画像登録装 置 1は、抽出された代表顔画像を 1つ、選択する (ステップ S24)。本実施形態の顔画 像登録装置 1は、顔画像辞書 15に登録させたい人物の代表顔画像を、ユーザに 1 つ選択させる。
[0088] 具体的には、表示処理部 17は、入力されたすベての代表顔画像を表示装置 3に 表示させる。ユーザは、表示装置 3を通じて代表顔画像の表示を確認する。つぎにュ 一ザは、表示されている代表顔画像のうちいずれか 1つを、入力装置 2を用いて選択 する。この選択を、入力処理部 16が受け付ける。入力処理部 16は、ユーザが選択し た代表顔画像についての情報を登録用顔画像抽出部 13に出力する。これにより登 録用顔画像抽出部 13は、ユーザが選択した代表顔画像を、処理の対象として選択 する。
[0089] 図 4は、代表顔画像の選択をユーザに求めるための表示画面の一例を示す図であ る。表示処理部 17は、図 4に示す画面 40を表示装置 3に表示させる。画面 40は、正 面顔画像 41を含む複数の正面顔画像を表示する領域と、メッセージボックス 42とを 含んでいる。メッセージボックス 42には、ユーザに顔画像の選択を促すメッセージを 表示している。図 4の例では、「登録したい人物の顔画像を選択してください」とのメッ セージを表示している。
[0090] 上述したように、代表顔画像抽出部 12は、代表顔画像として、同一人物について 異なる正面顔画像を複数回、抽出することもできる。このとき表示処理部 17は、表示 装置 3に、同じ人物についての複数の異なる正面顔画像を、同時に表示させることに なる。
[0091] (選択した人物の登録）
登録用顔画像抽出部 13は、ユーザによって選択された正面顔画像を顔画像辞書 15に登録する (ステップ S25)。このとき、選択された正面顔画像を識別するための固 有の識別子を、顔画像辞書 15に登録してもよい。または、選択された正面顔画像そ のものを、登録してもよい。あるいは、後述する方法によって算出できる、顔画像の特 徴量を登録してもよい。いずれにせよ、選択された人物の顔を表す顔画像を登録す るための格納領域を、顔画像辞書 15にあらたに設定することに変わりはない。
[0092] (登録人物について顔画像検索）
登録用顔画像抽出部 13は、ユーザによって選択された正面顔画像の表す人物に ついて、同じ人物の顔画像を、各種、入力されたシーン力も検索する (ステップ S26) 。このとき、条件の違いに関わらず、抽出された正面顔と同じ人物の顔と判定できる 顔画像を、すべて検索する。判定手法は公知のものでよい。本実施形態では、登録 用顔画像抽出部 13は、顔画像だと判定できる画像を一括して検索しておく。
[0093] (条件判定および抽出） ステップ S26において各種の顔画像を検索したあと、登録用顔画像抽出部 13は、 検索した顔画像が、あら力じめ定められているピックアップ条件 (登録条件）に一致す るか否かを判定する。そして、満たすと判定した顔画像を、顔画像辞書 15に登録す る顔画像として抽出する (ステップ S27)。このとき、図示しないメモリにあら力じめ記憶 されているピックアップ条件リストを用いる。「ピックアップ条件リスト」とは、顔画像辞書 15への登録に適した顔画像が満たすべき各種のピックアップ条件を 1つにまとめたリ ストである。
[0094] (ピックアップ条件リスト 50)
登録用顔画像抽出部 13が用いるピックアップ条件リスト 50について、図 5を参照し て以下に説明する。図 5は、ピックアップ条件リスト 50の一例を示す図である。
[0095] この図に示すように、ピックアップ条件リスト 50において、主条件、副条件 A、副条 件 B、副条件 Cがそれぞれ定義されている。主条件は、顔画像の特徴を大雑把に分 類した条件である。ピックアップ条件リスト 50には、顔の向き、明るさ、表情、および付 帯物が、ピックアップ条件の主条件として定義されて 、る。
[0096] 主条件をさらに細力べ定義したの力 副条件 Aである。たとえば「顔の向き」には「上 」「下」「右」「左」が、「明るさ」には「フラッシュ」「背景比」が、「表情」には「目」「口」が、 そして「付帯物」には「眼鏡」「髭」が、それぞれ副条件 Aとして定義されている。
[0097] 副条件 Aをさらに細力べ定義したの力 副条件 Bである。たとえば「上」には「0〜30 度」が、「フラッシュ」には「あり」「なし」が、「背景比」には「明るい」「暗い」が、「目」に は「開」「閉」といった副条件 Bがそれぞれ定義されている。
[0098] 副条件 Bをさらに細力べ定義したの力 副条件 Cである。たとえば「0〜30度」には「 5度刻み」が定義されている。
[0099] 以上のように、ピックアップ条件によっては、設定される副条件のレベルが異なる。
しかし、顔画像を抽出するための条件であることに変わりはない。すなわち、特定の 条件に一致する顔画像だと判定できる条件の細力さに違いがあるのみである。
[0100] 登録用顔画像抽出部 13は、ピックアップ条件リスト 50に定義されている主条件に、 当該主条件に属する副条件を適宜組み合わせて、各種のピックアップ条件を生成す る。たとえば、「顔の向き」について言えば、「上に 5度向いた顔」を 1つのピックアップ 条件として扱う。
[0101] ステップ S27に示す処理の詳細については、後述する。なお、この処理を実行する ことによって、登録用顔画像抽出部 13は、ピックアップ条件リスト 50に定義されてい る少なくとも 1つのピックアップ条件に一致する顔画像を、少なくとも 1つ、登録用顔画 像としてシーン力 抽出する。
[0102] (顔画像の登録）
登録用顔画像抽出部 13は、シーン力も抽出した登録用顔画像を顔画像登録部 14 に出力する。顔画像登録部 14は、入力された登録用顔画像を顔画像辞書 15に登 録する (ステップ S28)。この詳細は後述する。
[0103] (最終判定処理）
ステップ S28において登録用顔画像を顔画像辞書 15に登録したあと、登録用顔画 像抽出部 13は、シーン力も顔画像を抽出し終えた力否かを判定する (ステップ S29) 。このとき登録用顔画像抽出部 13は、
条件 A:ピックアップ条件リスト 50に定義されて 、る各ピックアップ条件に一致する 顔画像をすベて顔画像辞書 15に登録した
条件 C : 1つの動画像内の全シーンを処理した
条件 B：一定数のシーンを処理した
条件 D：入力された複数の動画像をすベて処理した
条件 E：一定数の動画像を処理した
条件 F:抽出処理を開始して力 一定時間が経過した
のいずれかを満たしたとき、顔画像の抽出を終了したと判定する。
[0104] 上記の条件 Aから Fの 、ずれをも満たして 、な 、と判定したとき（No)、図 2に示す 処理はステップ S27に戻る。このとき登録用顔画像抽出部 13は、シーンから検索した 顔画像のうちピックアップ条件に一致する力否かを判定して ヽな 、顔画像を、あらた に 1つ選択する。そして、上述したピックアップ条件に一致する力否かを判定する。
[0105] このようにして、ステップ S29に示す最終判定処理において「真」の結果を得るまで 、登録用顔画像抽出部 13は、シーンカゝら検索した顔画像力 登録用顔画像としての ピックアップ条件に一致するか否かを、顔画像ごとに繰り返し判定する。 [0106] (条件判定および抽出処理の詳細）
ステップ S27に示す条件判定および抽出処理の詳細について、図 6を参照して以 下に説明する。図 6は、ピックアップ条件に一致する顔画像を登録用顔画像抽出部 1 3がシーン力 抽出する処理の流れを示すフローチャートである。
[0107] 本実施形態の登録用顔画像抽出部 13は、たとえば特開 2005— 49854号公報に 開示されて!、る技術を用いて、ピックアップ条件に一致する顔画像をシーンから抽出 する。したがって、各ピックアップ条件に該当する顔画像 (テンプレート）を事前に必 要としない。すなわち、ピックアップ条件として定義されている条件が与えられれば、 それに一致する顔画像を、人物ごとに自動的に抽出できる。
[0108] (未登録の条件を選択）
登録用顔画像抽出部 13は、まず、未登録のピックアップ条件を 1つ選択する (ステ ップ S60)。ここでいう「未登録のピックアップ条件」とは、選択された代表顔画像の表 す人物につ 、ての顔画像のうち、顔画像辞書 15に登録されて 、な 、顔画像が満た す条件のことである。たとえば、顔の向きのピックアップ条件に一致する顔画像力 顔 画像辞書 15に登録されていないとき、顔の向きについてのピックアップ条件を、ピッ クアップ条件リスト 50から選択する。
[0109] 登録用顔画像抽出部 13は、選択した条件に応じた処理を実行する。図 6の例では 、選択した条件を処理するためのブロックまでジャンプする。
[0110] なお、本実施形態では、ピックアップ条件に一致する顔画像を顔画像辞書 15に登 録したことを示すフラグが、ピックアップ条件ごとにピックアップ条件リスト 50に設定さ れている。したがって登録用顔画像抽出部 13は、ピックアップ条件リスト 50に定義さ れているピックアップ条件のうち、フラグが設定されていない条件を、未登録のピック アップ条件として選択すればょ ヽ。
[0111] (顔の向きの算出および判定）
以下では、「顔の向き」の条件に一致する登録用顔画像が、顔画像辞書 15に未登 録だと仮定する。このとき登録用顔画像抽出部 13は、処理対象の顔画像の表す顔 の向きを算出する。たとえば、上向き 40度、といった方向や数値を算出する。
[0112] このとき登録用顔画像抽出部 13は、たとえば、 •目と口とを結んだ三角形の形
•目尻から顔の輪郭までの距離、左右方向
などに基づき、顔の向きを算出する。これらの算出方法はすでに確立されているもの であるため、詳細な説明を省略する。
[0113] 登録用顔画像抽出部 13は、算出した顔の向きが、選択したピックアップ条件を満た して ヽるカゝ否かを判定する (ステップ S62)。満たして ヽると判定したとき (Yes)、登録 用顔画像抽出部 13は、ピックアップ条件を更新する (ステップ S69)。更新の詳細は 後述する。
[0114] (明るさの算出および判定）
ステップ S62において、顔画像力 算出した顔の向き力 顔の向きについてのピッ クアップ条件に一致しないと判定したとき (No)、登録用顔画像抽出部 13は、つぎに 顔画像の明るさを算出する (ステップ S63)。
[0115] このとき登録用顔画像抽出部 13は、たとえば、
'画像ファイルの絞り情報
'フラッシュの情報
•背景の輝度と、顔の明るさ輝度の差
•顔画像の輪郭内画素の輝度レベル平均値
などに基づき、顔画像の明るさを選択する。これらの算出方法はすでに確立されてい るものであるため、詳細な説明を省略する。
[0116] 登録用顔画像抽出部 13は、算出した明るさが、選択したピックアップ条件を満たし て!、る力否かを判定する (ステップ S64)。満たして 、ると判定したとき (Yes)、登録用 顔画像抽出部 13は、ピックアップ条件を更新する (ステップ S69)。更新の詳細は後 述する。
[0117] (表情の算出および判定）
ステップ S64において、顔画像力も算出した明るさ力 明るさについてのピックアツ プ条件に一致しないと判定したとき (No)、登録用顔画像抽出部 13は、つぎに顔画 像の表情を算出する (ステップ S65)。
[0118] このとき登録用顔画像抽出部 13は、たとえば、 '目の中心からのエッジ量
'目の中心から上下左右方向へのエッジ量
-睦と白目との境
•目の縦と横との比率
などに基づき、顔画像の表情を算出する。これらの算出方法はすでに確立されてい るものであるため、詳細な説明を省略する。
[0119] 登録用顔画像抽出部 13は、算出した表情が、表情についてのピックアップ条件を 満たして!/ヽるカゝ否かを判定する (ステップ S68)。満たして ヽると判定したとき (Yes)、 登録用顔画像抽出部 13はピックアップ条件を更新する (ステップ S69)。更新の詳細 は後述する。
[0120] (付帯物の算出および判定）
ステップ S66において、顔画像力も算出した表情力 表情についてのピックアップ 条件に一致しないと判定したとき (No)、登録用顔画像抽出部 13は、つぎに顔画像 の付帯物の有無を算出する (ステップ S67)。
[0121] このとき登録用顔画像抽出部 13は、たとえば、
•代表顔画像との違い
•目の周囲の色と、肌色との違い
•口の周囲の色（黒色）
などに基づき、顔画像の付帯物の有無を算出する。これらの算出方法はすでに確立 されて 、るものであるため、詳細な説明を省略する。
[0122] 登録用顔画像抽出部 13は、算出した付帯物が、付帯物についてのピックアップ条 件を満たして ヽるカゝ否かを判定する (ステップ S68)。満たして ヽると判定したとき (Ye s)、登録用顔画像抽出部 13は、ピックアップ条件を更新する (ステップ S69)。詳細 は後述する。
[0123] (ピックアップ条件リスト 50の更新）
顔の向き、明るさ、表情、付帯物のいずれにせよ、顔画像力も算出した条件が、選 択したピックアップ条件を満たしていると判定したとき (Yes)、登録用顔画像抽出部 1 3は、ピックアップ条件リスト 50を更新する (ステップ S69)。具体的には、選択したピッ クアップ条件について、一致する顔画像を顔画像辞書 15に登録することを表すフラ グを、ピックアップ条件リスト 50に立てる。このとき登録用顔画像抽出部 13は、次の顔 画像を処理するとき、今回登録した条件を再び選択することはな ヽ。
[0124] (まとめ）
以上のように顔画像登録装置 1は、顔画像辞書 15に登録したい人物をユーザが選 択することによって、その人物の顔認証に最適な顔画像辞書 15を自動的に生成する 。すなわち、さまざまに異なる顔画像を動画像 (シーン)から自動的に抽出し、顔画像 辞書 15に登録する。したがって、顔画像の登録処理に要する手間を、従来技術より ち減らすことができる。
[0125] なお、顔画像登録装置 1は、顔画像辞書 15に登録する登録用顔画像の選択を、ュ 一ザに任せてもよい。このとき顔画像登録装置 1は、検索した各種の顔画像を、表示 装置 3に一覧表示させる。これにより、ユーザによって選択された顔画像を顔画像辞 書 15に登録することになる。この場合、登録する顔画像の選別にユーザによる判定 が加味されるので、顔画像辞書 15の精度をより高めることができる。
[0126] (無作為な選択）
以上の例では、登録用顔画像抽出部 13は、ピックアップ条件に一致する顔画像を 抽出するごとに、ピックアップ条件リスト 50を更新している。しかし登録用顔画像抽出 部 13は、ピックアップ条件に一致する顔画像を、まず、すべてまとめてメモリに記憶し てもよい。このとき登録用顔画像抽出部 13は、顔画像の抽出を終了したあと、顔画像 辞書 15に登録する顔画像を 1つ、無作為に選択すればよい。あるいは、登録する顔 画像をユーザに選択させてもょ 、。
[0127] (顔画像辞書 15への登録処理の詳細）
ステップ S28において顔画像登録部 14が実行する、顔画像辞書 15への顔画像の 登録処理について、図 7を参照して以下に説明する。図 7は、登録用顔画像抽出部 1 3によって抽出された登録用顔画像を、顔画像登録部 14が顔画像辞書 15に登録す るときの処理の流れを示すフローチャートである。
[0128] (器官位置の検出）
この図に示すように、顔画像登録部 14は、まず、顔画像によって表される顔につい て、各種の器官の位置を検出する (ステップ S70)。具体的には、目の中心、目尻、 目頭、口、口の両端、眉の両端などを検出する。器官の検出手法は公知であるため 、詳細な説明を省略する。顔画像登録部 14が検出する器官はこれらに限定されず、 顔の器官であればどれでもよい。検出する数も特に限定されない。どの器官を、どれ だけの数検出するのかは、顔画像登録装置 1にお 、て図示しな 、メモリにあらかじめ 定められている。
[0129] (特徴量の算出）
顔画像の器官位置を検出したあと、顔画像登録部 14は、検出した各器官位置の情 報を用いて、顔画像の特徴量を算出する (ステップ S71)。これにより顔画像の特徴を 数値化する。数値ィ匕の方法はすでに確立されているものであるため、ここでは特に詳 しく説明しない。
[0130] (特徴量の登録）
つぎに顔画像登録部 14は、算出した特徴量を、顔画像辞書 15において、すでに 登録されて!、る代表顔画像に関連付けて格納する (ステップ S72)。
[0131] 以上の処理によって、顔画像登録部 14は、顔画像そのものを顔画像辞書 15に登 録することに比べて、より少ない量でのデータを顔画像辞書 15に登録する。したがつ て、生成する顔画像辞書 15のデータサイズを、より小さくできる。
[0132] (条件判定および抽出処理）
以上に説明した例では、顔画像登録装置 1は、顔画像辞書 15に登録されていない ピックアップ条件に一致する顔画像を抽出し、顔画像辞書 15に登録している。しかし 顔画像登録装置 1は、登録済み力否かに関わらず、ピックアップ条件に一致する顔 画像を抽出してもよい。このとき登録用顔画像抽出部 13は、顔画像辞書 15に登録さ れている顔画像と、あらたに抽出した登録用顔画像とのうち、どちらが顔認証に適し ているかを判定する。もしあらたに抽出した顔画像の方力 顔認証に適していると判 定したとき、既存の顔画像を、あらたに抽出した顔画像によって置き換える。
[0133] 以上の処理について、図 8を参照して以下に説明する。図 8は、ピックアップ条件に 一致する顔画像を登録用顔画像抽出部 13が抽出するときの処理の流れを示すフロ 一チャートである。 [0134] 処理の前に、登録用顔画像抽出部 13は、処理対象とする顔画像を 1つ、選択して いる。つぎに顔画像登録部 14は、選択した顔画像についての顔の向きを算出する（ ステップ S80)。顔の向きの算出処理については上述したので、説明を省略する。登 録用顔画像抽出部 13は、算出した顔の向きが、ピックアップ条件リスト 50に定義され ている、顔の向きについてのピックアップ条件の少なくともいずれかに一致する力否 かを判定する (ステップ S81)。
[0135] ステップ S81において、算出した顔の向きがピックアップ条件に一致すると判定した とき (Yes)、登録用顔画像抽出部 13は、ピックアップ条件リスト 50を更新する。この 処理の詳細については、後述する。
[0136] ステップ S81において、算出した顔の向きがピックアップ条件に一致しないと判定し たとき (No)、登録用顔画像抽出部 13は、つぎに、選択した顔画像についての明るさ を算出する (ステップ S82)。明るさの算出処理については上述したので、説明を省 略する。登録用顔画像抽出部 13は、算出した明るさが、ピックアップ条件リスト 50に 定義されている、明るさについてのピックアップ条件の少なくともいずれかに一致する か否かを判定する（ステップ S83)。
[0137] ステップ S83において、算出した明るさがピックアップ条件に一致すると判定したと き (Yes)、登録用顔画像抽出部 13は、ピックアップ条件リスト 50を更新する。この処 理の詳細については、後述する。
[0138] ステップ S83において、算出した顔の向きがピックアップ条件に一致しないと判定し たとき (No)、登録用顔画像抽出部 13は、つぎに、選択した顔画像についての表情 を算出する (ステップ S82)。表情の算出処理については上述したので、説明を省略 する。登録用顔画像抽出部 13は、算出した表情が、ピックアップ条件リスト 50に定義 されている、表情についてのピックアップ条件の少なくともいずれかに一致する力否 かを判定する（ステップ S85)。
[0139] ステップ S83において、算出した明るさがピックアップ条件に一致すると判定したと き (Yes)、登録用顔画像抽出部 13は、ピックアップ条件リスト 50を更新する。この処 理の詳細については、後述する。
[0140] ステップ S85にお 、て、算出した表情がピックアップ条件に一致しな 、と判定したと き (No)、登録用顔画像抽出部 13は、つぎに、選択した顔画像についての付帯物を 算出する (ステップ S86)。表情の算出処理については上述したので、説明を省略す る。登録用顔画像抽出部 13は、算出した付帯物が、ピックアップ条件リスト 50に定義 されている、付帯物についてのピックアップ条件の少なくともいずれかに一致するか 否かを判定する (ステップ S87)。
[0141] (ピックアップ条件リストの更新）
いずれのピックアップ条件に一致するかに関わらず、登録用顔画像抽出部 13は、 顔画像がピックアップ条件に一致したとき、ピックアップ条件リスト 50を更新する (ステ ップ S88)。
[0142] (ピックアップ条件リスト更新の詳細）
ステップ S88において登録用顔画像抽出部 13が実行する、ピックアップ条件リスト 50更新処理について、図 9を参照して以下に説明する。図 9は、登録用顔画像抽出 部 13がピックアップ条件リストを更新するときの処理の流れを示すフローチャートであ る。
[0143] まず登録用顔画像抽出部 13は、選択した顔画像に一致すると判定したピックアツ プ条件が、ピックアップ条件リスト 50に登録済みである力否かを判定する (ステップ S 90)。具体的には、ピックアップ条件リスト 50に、そのピックアップ条件についてのフラ グが設定されて 、るか否かを判定する。
[0144] (認識信頼度の比較）
ステップ S90における判定の結果が「偽」であるとき（No)、ピックアップ条件リスト 50 を更新する。具体的には、顔画像に一致すると判定したピックアップ条件に、フラグを 設定する。
[0145] 一方、ステップ S90における判定の結果が「真」であるとき (Yes)、そのピックアップ 条件にはすでにフラグが設定されている。すなわち、そのピックアップ条件に一致す る顔画像が、すでに顔画像辞書 15に登録されている。そこで登録用顔画像抽出部 1 3は、登録済みの顔画像についての認識信頼度と、あらたに抽出した顔画像につい ての認識信頼度とを比較する。これにより、記憶されている認識信頼度が、あらたに 算出した認識信頼度が、記憶済みの認識信頼度よりも大きいか否かを判定する (ステ ップ S91)
ここでいう「認識信頼度」とは、ピックアップ条件の満たし具合を数値ィ匕したものであ る。たとえば、顔の向きなら、 5度、 8度、というように、登録用顔画像抽出部 13は、算 出した数値を、ピックアップ条件に関連付けてピックアップ条件リスト 50に記憶する。 あるいは、登録用顔画像に関連付けて顔画像辞書 15に登録してもよい。
[0146] ステップ S90における判定の結果力 ^真」であるとき (Yes)、登録用顔画像抽出部 1 3は、ピックアップ条件リスト 50を更新する。ピックアップ条件に一致する顔画像が顔 画像辞書 15に登録されていることを表すフラグは、すでにピックアップ条件リスト 50 に設定されているので、そのままにする。一方で、それまでに記憶されている認識信 頼度を、あらたに抽出した顔画像についての認識信頼度に置き換える。このあと、顔 画像登録部 14が、顔画像辞書 15に登録済みの顔画像を、登録用顔画像抽出部 13 によってあらたに抽出された顔画像に置き換える。
[0147] 以上の処理によって、顔画像辞書 15に、より認識精度の高い顔画像を登録できる 。したがって、顔画像登録装置 1が生成した顔画像辞書 15の認証精度を、より高める ことができる。
[0148] (複数の人物についての顔画像を登録）
以上に説明した例では、顔画像登録装置 1は、複数の代表顔画像のうち、ユーザ が選択した一人の人物についての登録用顔画像を抽出し、顔画像辞書 15に登録し ている。しかし顔画像登録装置 1は、 1つの動画像、あるいは 1つのシーンから登録に 適した顔画像を抽出するとき、複数の人物についての登録用顔画像をそれぞれ抽出 し、顔画像辞書 15に続けて登録してもよい。
[0149] 図 10は、複数の人物についての顔画像を顔画像登録装置 1が抽出し、顔画像辞 書 15に登録するときの処理の流れを示すフローチャートである。
[0150] 図 10に示すステップ S 100から S 109の処理は、それぞれ、ステップ S20力ら S29 の処理と、本質的に同一である。そのため、詳細は説明を省略する。なお、ステップ S 104において、表示処理部 17は、ユーザの選択した人物が選択済みであることを示 すフラグを、図示しないメモリに設定する。
[0151] ステップ S109において、ある人物についての登録用顔画像の抽出を終了したと判 定したとき (Yes)、登録用顔画像抽出部 13は、ユーザに提示した代表顔画像の人 物のうち、顔画像辞書 15に未登録、すなわち未だ処理の対象としていない顔画像に ついての人物力 ^、るか否かを判定する (ステップ S 110)。具体的には、フラグが未設 定の顔画像があるかどうかを判定する。
[0152] ステップ S110における判定の結果が「真」であるとき（Yes)、図 10の処理はステツ プ S104に戻って、顔画像登録装置 1は、表示装置 3に表示させた代表顔画像のうち 、未登録のものを、ユーザに選択させる。このときたとえば選択済みの顔画像をダレ 一スケール表示するなどして、選択済みであることを明示させてもょ 、。
[0153] ユーザは、未選択の代表顔画像を 1つ選択する。これにより登録用顔画像抽出部 1 3は、あらたに選択された代表顔画像の表す人物についての登録用顔画像を、シー ンから抽出する。そして、登録用顔画像抽出部 13によって選択した登録用顔画像を 、顔画像登録部 14が顔画像辞書 15に登録する。
[0154] 以上の処理を、もはや選択できる代表顔画像がなくなる力 あるいはユーザによつ て明示的に登録終了の指示がなされるまで、顔画像登録装置 1は繰り返す。
[0155] (作用'効果）
動画像には、一人の人物が撮影されているとは限らない。大勢の人物が写っている ことも、しばしばある。そこで登録用顔画像抽出部 13は、代表顔画像抽出部 12によ つて、複数の異なる代表顔画像が抽出されたとき、代表顔画像ごとに登録用顔画像 を抽出する。複数の異なる代表顔画像とは、個々の顔画像がそれぞれ異なる人物の 顔を表している複数の顔画像のことである。このとき登録用顔画像抽出部 13は、異な る人物ごとに、登録用顔画像を抽出する。
[0156] したがって顔画像登録部 14は、動画像に複数の人物が撮影されている場合にお いて、人物ごとに、代表顔画像とこの登録用顔画像を関連付けて、顔画像辞書 15に 登録する。したがって、顔画像辞書 15には、複数の異なる人物についての顔画像が 蓄積されること〖こなる。
[0157] 以上の処理によって、顔画像登録装置 1は、顔画像辞書 15の充実度をより高める ことができる。
[0158] (辞書データの一例） 顔画像登録装置 1が生成する、顔画像辞書 15に記憶される辞書データの一例に ついて、図 11を参照して以下に説明する。図 11は、顔画像辞書 15に記憶されてい る辞書データの一例を示す図である。
[0159] この図に示すように、顔画像登録装置 1が生成する辞書データは、ヘッダデータ H 、特徴量データ dl、特徴量データ d2、 · · '特徴量データ dnを含んでいる。ヘッダデ ータ Hは、顔画像辞書 15のバージョン情報や、顔画像辞書 15に登録されている人 物の人数など、辞書データ全体に関わる各種の定義データによって構成されている 。各特徴量データ di(i= l、 2、 · · ·!!）は、代表顔画像抽出部 12によって動画像から 抽出された代表顔画像の表す人物ごとの、特徴量を表すデータである。人物ごとの 特徴量データにおいて、特徴量は、登録用顔画像ごとに分かれず一体化されている
[0160] (顔画像辞書 15の利用）
上述したように、顔画像登録装置 1は、特定のピックアップ条件に一致するテンプレ ート画像と、動画像内の顔画像とを比較して、一致する顔画像を抽出しているのでは ない。その代わりに、登録された各ピックアップ条件に一致する顔画像を抽出し、抽 出した顔画像カゝら算出した特徴量を 1つに合成して、顔画像辞書 15を生成する。し たがって、登録済み条件よりも幅広く対応できる顔画像辞書 15を作成できる。
[0161] 以上のようにして顔画像登録装置 1が生成した顔画像辞書 15を、各種の認証装置 が使用する。たとえば、認証装置は、与えられた多量の静止画から、特定の人物が 写った写真を抽出する。あるいは、本人認証時に顔画像辞書 15を使用して、認証精 度を高めることもできる。または、入力された動画から、特定の人物の登場する場面を 抜き出すこともできる。いずれにせよ、従来に比べてより精度の高い顔画像辞書 15を 用いることができるので、顔画像の認証を従来に比べてより精度よく実行できる。
[0162] なお、本発明は上述した実施形態に限定されるものではなぐ請求項に示した範囲 で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的 手段を組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれ る。
[0163] (他のシーンの連続検索） たとえば 1つのシーンに、ピックアップ条件に一致するすべての種類の顔画像が含 まれているとは限らない。そこで登録用顔画像抽出部 13は、 1つのシーンに必要な 登録用顔画像が無ければ、別のシーンを検索対象とすることもできる。
[0164] このときシーン抽出部 11は、動画像から、複数の異なるシーンを抽出する。このとき たとえば、人物の顔が写っていない場面を区切りにする。登録用顔画像抽出部 13は 、複数の異なるシーンのうちあるシーン力も登録用顔画像を抽出できな力つたとき、 複数の異なるシーンのうち、そのシーンとは異なる他のシーンから、登録用顔画像を 抽出する。これにより、顔画像辞書 15に登録する顔画像の種類を、より確実に増や すことができる。
[0165] (顔画像の大きさ）
代表顔画像抽出部 12は、シーン力も代表顔画像を抽出するとき、人物ごとに、互い に同じ大きさの顔画像を抽出することもできる。このようにすれば、顔画像辞書 15に 登録する代表顔画像の認証精度を安定させることができる。
[0166] 同様に、登録用顔画像抽出部 13は、シーン力も登録を抽出するときに、ピックアツ プ条件ごとに、互いに同じ大きさの顔画像を抽出することもできる。このようにすれば 、顔画像辞書 15に登録する登録用顔画像の認証精度を安定させることができる。
[0167] (代表顔画像の自動選択）
顔画像登録装置 1は、代表顔画像抽出部 12が抽出した代表顔画像を、ユーザに 選択させることなぐ自動的に選択してもよい。このとき登録用顔画像抽出部 13が、 抽出された代表顔画像のうちいずれか 1つを選択し、当該選択した代表顔画像の表 す人物についての登録用顔画像を、シーンから抽出する。この手法によれば、顔画 像辞書 15を完全に自動的に生成することができ、ユーザの手を一切、煩わせること がない。
[0168] (顔画像登録プログラムおよび記録媒体）
最後に、顔画像登録装置 1に含まれている各ブロックは、ハードウェアロジックによ つて構成すればよい。または、次のように、 CPU (Central Processing Unit)を用
V、てソフトウェアによって実現してもよ!/、。
[0169] すなわち顔画像登録装置 1は、各機能を実現する制御プログラムの命令を実行す る CPU、この制御プログラムを格納した ROM (Read Only Memory)、上記制御 プログラムを実行可能な形式に展開する RAM (Random Access Memory)、お よび、上記制御プログラムおよび各種データを格納するメモリ等の記憶装置 (記録媒 体)を備えている。
[0170] この構成により、本発明の目的は、所定の記録媒体によっても達成できる。この記 録媒体は、上述した機能を実現するソフトウェアである顔画像登録装置 1の制御プロ グラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプロダラ ム）をコンピュータで読み取り可能に記録していればよい。顔画像登録装置 1にこの 記録媒体を供給する。これにより、コンピュータとしての顔画像登録装置 1 (または CP Uや MPU)が、供給された記録媒体に記録されているプログラムコードを読み出し、 実行すればよい。
' プログラムコードを顔画像登録装置 1に供給する記録媒体は、特定の構造または 種類のものに限定されない。すなわちこの記録媒体は、たとえば、磁気テープゃカセ ットテープ等のテープ系、フロッピー（登録商標）ディスク/ハードディスク等の磁気デ イスクゃ CD— ROM/MO/MD/DVD/CD— R等の光ディスクを含むディスク 系、 ICカード (メモリカードを含む） Z光カード等のカード系、あるいはマスク ROMZ EPROMZEEPROMZフラッシュ ROM等の半導体メモリ系などとすることができる
[0171] また顔画像登録装置 1は、通信ネットワークと接続可能に構成しても、本発明の目 的を達成できる。この場合、上記のプログラムコードを、通信ネットワークを介して顔画 像登録装置 1に供給する。この通信ネットワークは、顔画像登録装置 1にプログラムコ ードを供給できるものであればよぐ特定の種類または形態に限定されない。たとえ ば、インターネット、イントラネット、エキストラネット、 LAN, ISDN, VAN, CATV通 信網、仮想専用網（Virtual Private Network)、電話回線網、移動体通信網、衛 星通信網等であればよい。
[0172] この通信ネットワークを構成する伝送媒体も、プログラムコードを'伝送可能な任意 の媒体であればよぐ特定の構成または種類のものに限定されない。たとえば、 IEE E1394、 USB (Universal Serial Bus)、電力線搬送、ケーブル TV回線、電話線 、 ADSL (Asymmetric Digital Subscriber Line)回線等の有線でも、 Ir DAや リモコンのような赤外線、 Bluetooth (登録商標）、 802. 11無線、 HDR、携帯電話 網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、 上記プログラムコードが電子的な伝送で具現ィ匕された、搬送波に埋め込まれたコンビ ユータデータ信号の形態でも実現され得る。
[0173] 以上のように、本発明に係る顔画像登録装置は、動画像から抽出された登録用顔 画像を、動画像から抽出された代表顔画像に関連付けて辞書に登録する顔画像登 録手段を備えているため、ユーザに手間を掛けさせることなぐさまざまな顔画像を辞 書に登録できる効果を奏する。
[0174] 発明の詳細な説明の項においてなされた具体的な実施形態または実施例は、あく までも、本発明の技術内容を明らかにするものであって、そのような具体例にのみ限 定して狭義に解釈されるべきものではなぐ本発明の精神と次に記載する請求の範 囲内にお!、て、 、ろ 、ろと変更して実施することができるものである。
産業上の利用可能性
[0175] 本発明は、人物の顔画像を認証する各種の認証装置が利用する顔画像辞書を生 成する顔画像登録装置として、幅広く利用できる。

Claims

請求の範囲
[1] 入力された動画像から、人物の顔を表す顔画像を抽出し辞書に登録する顔画像登 録装置であって、
あら力じめ定められた代表条件に一致する少なくとも 1つの顔画像を、代表顔画像 として上記動画像から抽出する代表顔画像抽出手段と、
上記代表顔画像の表す人物についての他の顔画像のうち、あら力じめ定められた 登録条件に一致する少なくとも 1つの他の顔画像を、登録用顔画像として上記動画 像から抽出する登録用顔画像抽出手段と、
上記登録用顔画像を上記代表顔画像に関連付けて上記辞書に登録する顔画像 登録手段とを備えて ヽることを特徴とする顔画像登録装置。
[2] 上記顔画像登録手段は、
上記登録用顔画像の特徴を数値化した特徴量を、上記辞書に登録することを特徴 とする請求の範囲第 1項に記載の顔画像登録装置。
[3] 上記顔画像登録手段は、
互 ヽに異なる複数の登録条件があら力じめ定められて 、るとき、当該登録条件ごと に、当該登録条件に一致する少なくとも 1つの上記登録用顔画像を抽出し、 上記顔画像登録手段は、
上記代表顔画像に、上記登録条件ごとに抽出された上記登録用顔画像を、互いに すべて関連付けて上記辞書に登録することを特徴とする請求の範囲第 1項に記載の 顔画像登録装置。
[4] 上記顔画像登録手段は、
互 ヽに異なる複数の登録条件があら力じめ定められて 、るとき、当該登録条件ごと に、当該登録条件に一致する 1つの上記登録用顔画像を抽出し、
上記顔画像登録手段は、
上記代表顔画像に、上記登録条件ごとに抽出された 1つの上記登録用顔画像を、 互いにすベて関連付けて上記辞書に登録することを特徴とする請求の範囲第 3項に 記載の顔画像登録装置。
[5] 上記登録用顔画像抽出手段は、 上記代表顔画像抽出手段によって複数の異なる上記代表顔画像が抽出されたとき 、当該代表顔画像ごとに上記登録用顔画像を抽出することを特徴とする請求の範囲 第 1項に記載の顔画像登録装置。
[6] 上記動画像力もシーンを抽出するシーン抽出手段をさらに備え、
上記代表顔画像抽出手段は、上記シーンから上記代表顔画像を抽出し、 上記登録用顔画像抽出手段は、上記シーンから上記登録用顔画像を抽出すること を特徴とする請求の範囲第 1項に記載の顔画像登録装置。
[7] 上記シーン抽出手段は、複数の異なる上記シーンを上記動画像力も抽出し、 上記登録用顔画像抽出手段は、あるシーンから上記登録用顔画像を抽出できなか つたとき、上記あるシーンとは異なる他のシーン力 上記登録用顔画像を抽出するこ とを特徴とする請求の範囲第 6項に記載の顔画像登録装置。
[8] 上記登録用顔画像抽出手段は、
ある登録条件に一致する登録用顔画像が、上記辞書に登録済みである場合にお いて、当該登録条件に一致する他の登録用顔画像をあらたに抽出し、
上記顔画像登録手段は、
上記他の登録用顔画像の認識信頼度が、上記登録済みの登録用顔画像の認識 信頼度よりも高いとき、当該登録済みの顔画像を、当該他の登録用顔画像に置き換 えることを特徴とする請求の範囲第 1項に記載の顔画像登録装置。
[9] 入力された動画像から、人物の顔を表す顔画像を抽出し辞書に登録する顔画像登 録方法であって、
あら力じめ定められた代表条件に一致する少なくとも 1つの顔画像を、代表顔画像 として上記動画像力 抽出する代表顔画像抽出ステップと、
上記代表顔画像の表す人物についての他の顔画像のうち、あら力じめ定められた 登録条件に一致する少なくとも 1つの他の顔画像を、登録用顔画像として上記動画 像から抽出する登録用顔画像抽出ステップと、
上記登録用顔画像を上記代表顔画像に関連付けて上記辞書に登録する顔画像 登録ステップとを含んでいることを特徴とする顔画像登録方法。
[10] 請求の範囲第 1項力 第 8項のいずれか 1項に記載の顔画像登録装置を動作させ る顔画像登録プログラムであって、コンピュータを上記の各手段として機能させるため の顔画像登録プログラム。
請求の範囲第 10項に記載の顔画像登録プログラムを記録しているコンピュータ読 み取り可能な記録媒体。
PCT/JP2007/055125 2006-03-15 2007-03-14 顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体 WO2007105768A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP07738595A EP1998286A4 (en) 2006-03-15 2007-03-14 FACE IMAGE RECORDING DEVICE, METHOD, AND RECORDING MEDIUM, AND RECORDING MEDIUM
US12/282,631 US8848985B2 (en) 2006-03-15 2007-03-14 Face-image registration device, face-image registration method, face-image registration program, and storage medium
CN2007800090665A CN101401126B (zh) 2006-03-15 2007-03-14 面部图像注册装置、面部图像注册方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006-071851 2006-03-15
JP2006071851A JP4725377B2 (ja) 2006-03-15 2006-03-15 顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体

Publications (1)

Publication Number Publication Date
WO2007105768A1 true WO2007105768A1 (ja) 2007-09-20

Family

ID=38509584

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/055125 WO2007105768A1 (ja) 2006-03-15 2007-03-14 顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体

Country Status (6)

Country Link
US (1) US8848985B2 (ja)
EP (1) EP1998286A4 (ja)
JP (1) JP4725377B2 (ja)
KR (1) KR100996066B1 (ja)
CN (1) CN101401126B (ja)
WO (1) WO2007105768A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017047090A1 (ja) * 2015-09-18 2017-03-23 日本電気株式会社 指紋撮像システム、指紋撮像装置、画像処理装置、指紋撮像方法、及び記録媒体
CN109784231A (zh) * 2018-12-28 2019-05-21 广东中安金狮科创有限公司 安防信息管理方法、装置及存储介质

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4697106B2 (ja) * 2006-09-25 2011-06-08 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP4941124B2 (ja) * 2007-06-25 2012-05-30 オムロン株式会社 監視システムおよび方法、情報処理装置、並びにプログラム
JP4983558B2 (ja) * 2007-11-13 2012-07-25 マツダ株式会社 車両用運転支援装置
KR100840023B1 (ko) * 2007-11-13 2008-06-20 (주)올라웍스 셀프 촬영 시 얼굴의 구도를 잡도록 도와주는 방법 및시스템
CN101465961B (zh) * 2007-12-19 2013-10-30 神基科技股份有限公司 以特征影像辨识控制快门的摄像装置及方法
JP2010027035A (ja) 2008-06-16 2010-02-04 Canon Inc 個人認証装置及び個人認証方法
JP2014116033A (ja) * 2008-06-16 2014-06-26 Canon Inc 個人認証装置及び個人認証方法、カメラ、プログラム並びに記憶媒体
US9405995B2 (en) * 2008-07-14 2016-08-02 Lockheed Martin Corporation Method and apparatus for facial identification
JP5371083B2 (ja) * 2008-09-16 2013-12-18 Ｋｄｄｉ株式会社 顔識別特徴量登録装置、顔識別特徴量登録方法、顔識別特徴量登録プログラム及び記録媒体
JP5164767B2 (ja) * 2008-09-25 2013-03-21 キヤノン株式会社 画像処理装置、画像処理装置の制御方法及びプログラム
DE102009023306A1 (de) * 2009-05-29 2010-12-09 Siemens Aktiengesellschaft Verfahren zum rechnergestützten Erkennen der Identität eines Objekts
JP5438419B2 (ja) * 2009-07-29 2014-03-12 富士フイルム株式会社 人物照合装置及び人物照合方法
JP5881932B2 (ja) * 2009-09-30 2016-03-09 カシオ計算機株式会社 顔画像データ生成装置、顔画像データ生成方法及びプログラム
JP4844670B2 (ja) * 2009-11-13 2011-12-28 日本ビクター株式会社 映像処理装置および映像処理方法
KR101185243B1 (ko) * 2009-12-15 2012-09-21 삼성전자주식회사 얼굴 인식을 위한 복수의 얼굴 이미지를 등록하기 위한 장치 및 방법
KR101673032B1 (ko) * 2010-01-25 2016-11-04 엘지전자 주식회사 화상 통신 방법 및 그를 이용한 디지털 ｔｖ
KR101214732B1 (ko) * 2010-03-09 2012-12-21 삼성전자주식회사 복수의 얼굴 영상을 이용한 얼굴 인식 장치 및 방법
JP5434708B2 (ja) * 2010-03-15 2014-03-05 オムロン株式会社 照合装置、デジタル画像処理システム、照合装置制御プログラム、コンピュータ読み取り可能な記録媒体、および照合装置の制御方法
JP5479198B2 (ja) * 2010-04-23 2014-04-23 株式会社東芝 電子機器及び画像処理プログラム
WO2012029150A1 (ja) * 2010-09-01 2012-03-08 富士通株式会社 生体認証システム、生体認証方法、及びプログラム
US8965067B2 (en) 2010-10-28 2015-02-24 Telefonaktiebolaget L M Ericsson (Publ) Face data acquirer, end user video conference device, server, method, computer program and computer program product for extracting face data
JP5801601B2 (ja) 2011-05-10 2015-10-28 キヤノン株式会社 画像認識装置、画像認識装置の制御方法、およびプログラム
JP5311239B2 (ja) 2011-06-17 2013-10-09 カシオ計算機株式会社 売上データ処理装置及びプログラム
JP5755046B2 (ja) 2011-06-22 2015-07-29 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム
US9875431B2 (en) 2013-06-28 2018-01-23 Nec Corporation Training data generating device, method, and program, and crowd state recognition device, method, and program
JP5673743B2 (ja) * 2013-06-28 2015-02-18 カシオ計算機株式会社 データ処理装置及びプログラム
JP6018029B2 (ja) * 2013-09-26 2016-11-02 富士フイルム株式会社 撮像画像の主要顔画像決定装置ならびにその制御方法およびその制御プログラム
JP6287527B2 (ja) * 2014-04-17 2018-03-07 富士通株式会社 情報処理装置、方法及びプログラム
JP6754574B2 (ja) * 2016-01-18 2020-09-16 株式会社日立情報通信エンジニアリング 移動体計測システム、及び計測対象の領域における人物の数を特定する方法
WO2017146161A1 (ja) * 2016-02-26 2017-08-31 日本電気株式会社 顔照合システム、顔照合装置、顔照合方法、及び記録媒体
JP2017021844A (ja) * 2016-09-29 2017-01-26 富士フイルム株式会社 撮像画像の主要顔画像決定装置ならびにその制御方法およびその制御プログラム
US10621419B2 (en) * 2016-12-06 2020-04-14 Robert William Kocher Method and system for increasing biometric acceptance rates and reducing false accept rates and false rates
JP7104291B2 (ja) * 2017-06-30 2022-07-21 キヤノンマーケティングジャパン株式会社 情報処理システム、情報処理方法、プログラム
JP7299543B2 (ja) * 2017-06-30 2023-06-28 キヤノンマーケティングジャパン株式会社 情報処理システム、情報処理方法、プログラム
JP6769475B2 (ja) 2018-12-04 2020-10-14 日本電気株式会社 情報処理システム、認証対象の管理方法、及びプログラム
JP7054847B2 (ja) * 2019-03-04 2022-04-15 パナソニックＩｐマネジメント株式会社 顔認証登録装置および顔認証登録方法
JP7327571B2 (ja) 2020-09-24 2023-08-16 日本電気株式会社 情報処理システム、端末装置、認証対象の管理方法、及びプログラム
JP7067593B2 (ja) * 2020-09-24 2022-05-16 日本電気株式会社 情報処理システム、認証対象の管理方法、及びプログラム
WO2023032157A1 (ja) * 2021-09-03 2023-03-09 日本電気株式会社 情報処理システム、情報処理装置、情報処理方法、及び記録媒体

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06259534A (ja) 1993-03-03 1994-09-16 Toshiba Corp 人物認証装置
JPH10232934A (ja) * 1997-02-18 1998-09-02 Toshiba Corp 顔画像登録装置及びその方法
JPH11167632A (ja) * 1997-12-02 1999-06-22 Omron Corp 本人特定装置
JP2001167110A (ja) 1999-12-08 2001-06-22 Matsushita Electric Ind Co Ltd 画像検索方法及びその装置
JP2002133423A (ja) 2000-10-19 2002-05-10 Nippon Hoso Kyokai <Nhk> 顔画像データベース新規登録装置および記録媒体
JP2002269563A (ja) * 2001-03-08 2002-09-20 Matsushita Electric Ind Co Ltd 顔画像照合システム
JP2005049854A (ja) 2003-07-15 2005-02-24 Omron Corp 対象決定装置及び撮像装置
JP2005115481A (ja) 2003-10-03 2005-04-28 Toshiba Social Automation Systems Co Ltd 認証システム及びコンピュータ読み取り可能な記憶媒体
JP2006031387A (ja) * 2004-07-15 2006-02-02 Yamaha Motor Co Ltd 画像認識装置、画像認識方法、画像認識プログラムおよび画像認識プログラムを記録した記録媒体

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10257436A (ja) * 1997-03-10 1998-09-25 Atsushi Matsushita 動画像の自動階層構造化方法及びこれを用いたブラウジング方法
TWI278782B (en) * 2001-08-24 2007-04-11 Toshiba Corp Personal recognition apparatus
US7587068B1 (en) * 2004-01-22 2009-09-08 Fotonation Vision Limited Classification database for consumer digital images
JP4230870B2 (ja) * 2003-09-25 2009-02-25 富士フイルム株式会社 動画記録装置、動画記録方法、及びプログラム
JP4189811B2 (ja) * 2003-09-30 2008-12-03 日本電気株式会社 画像検出装置、画像検出方法及び画像検出用プログラム
JP4230959B2 (ja) * 2004-05-19 2009-02-25 株式会社東芝 メディアデータ再生装置、メディアデータ再生システム、メディアデータ再生プログラムおよび遠隔操作プログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06259534A (ja) 1993-03-03 1994-09-16 Toshiba Corp 人物認証装置
JPH10232934A (ja) * 1997-02-18 1998-09-02 Toshiba Corp 顔画像登録装置及びその方法
JPH11167632A (ja) * 1997-12-02 1999-06-22 Omron Corp 本人特定装置
JP2001167110A (ja) 1999-12-08 2001-06-22 Matsushita Electric Ind Co Ltd 画像検索方法及びその装置
JP2002133423A (ja) 2000-10-19 2002-05-10 Nippon Hoso Kyokai <Nhk> 顔画像データベース新規登録装置および記録媒体
JP2002269563A (ja) * 2001-03-08 2002-09-20 Matsushita Electric Ind Co Ltd 顔画像照合システム
JP2005049854A (ja) 2003-07-15 2005-02-24 Omron Corp 対象決定装置及び撮像装置
JP2005115481A (ja) 2003-10-03 2005-04-28 Toshiba Social Automation Systems Co Ltd 認証システム及びコンピュータ読み取り可能な記憶媒体
JP2006031387A (ja) * 2004-07-15 2006-02-02 Yamaha Motor Co Ltd 画像認識装置、画像認識方法、画像認識プログラムおよび画像認識プログラムを記録した記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1998286A4

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017047090A1 (ja) * 2015-09-18 2017-03-23 日本電気株式会社 指紋撮像システム、指紋撮像装置、画像処理装置、指紋撮像方法、及び記録媒体
US10692201B2 (en) 2015-09-18 2020-06-23 Nec Corporation Fingerprint capture system, fingerprint capture device, image processing apparatus, fingerprint capture method, and storage medium
US10699399B2 (en) 2015-09-18 2020-06-30 Nec Corporation Fingerprint capture system, fingerprint capture device, image processing apparatus, fingerprint capture method, and storage medium
US10984514B2 (en) 2015-09-18 2021-04-20 Nec Corporation Fingerprint capture system, fingerprint capture device, image processing apparatus, fingerprint capture method, and storage medium
US11004185B2 (en) 2015-09-18 2021-05-11 Nec Corporation Fingerprint capture system, fingerprint capture device, image processing apparatus, fingerprint capture method, and storage medium
US11501422B2 (en) 2015-09-18 2022-11-15 Nec Corporation Fingerprint capture system, fingerprint capture device, image processing apparatus, fingerprint capture method, and storage medium
US11844609B2 (en) 2015-09-18 2023-12-19 Nec Corporation Fingerprint capture system, fingerprint capture device, image processing apparatus, fingerprint capture method, and storage medium
CN109784231A (zh) * 2018-12-28 2019-05-21 广东中安金狮科创有限公司 安防信息管理方法、装置及存储介质
CN109784231B (zh) * 2018-12-28 2023-07-25 广东中安金狮科创有限公司 安防信息管理方法、装置及存储介质

Also Published As

Publication number Publication date
JP2007249588A (ja) 2007-09-27
KR20080104034A (ko) 2008-11-28
US8848985B2 (en) 2014-09-30
EP1998286A4 (en) 2011-02-02
JP4725377B2 (ja) 2011-07-13
KR100996066B1 (ko) 2010-11-25
CN101401126B (zh) 2011-10-26
US20090060295A1 (en) 2009-03-05
CN101401126A (zh) 2009-04-01
EP1998286A1 (en) 2008-12-03

Similar Documents

Publication Publication Date Title
JP4725377B2 (ja) 顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体
WO2019128508A1 (zh) 图像处理方法、装置、存储介质及电子设备
US8285006B2 (en) Human face recognition and user interface system for digital camera and video camera
JP4497236B2 (ja) 検出用情報登録装置、電子機器、検出用情報登録装置の制御方法、電子機器の制御方法、検出用情報登録装置制御プログラム、電子機器の制御プログラム
EP2339536B1 (en) Image processing system, image processing apparatus, image processing method, and program
JP5366756B2 (ja) 情報処理装置及び情報処理方法
US20060008173A1 (en) Device and method for correcting image including person area
CN103632130B (zh) 验证被摄体的验证装置及验证方法
JP5662670B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2009514107A (ja) 集合体からの特定の人物の割り出し
JP6941966B2 (ja) 人物認証装置
US11710347B2 (en) Information processing apparatus, information processing method, and program
JP2010118868A (ja) 情報処理装置およびその制御方法
JP2013065118A (ja) 顔認識装置、及び顔認識方法
JP2013232060A (ja) 画像認識装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置
JP2024045460A (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
US9286707B1 (en) Removing transient objects to synthesize an unobstructed image
JP5895624B2 (ja) 画像処理装置、画像処理方法、制御プログラムおよび記録媒体
WO2020115910A1 (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
JP5861530B2 (ja) 利用者検知装置、方法、及びプログラム
JP4781248B2 (ja) 撮像装置、撮像装置の制御方法、プログラム及び記録媒体
JP2008148262A (ja) 撮像装置及び撮像装置の制御方法、プログラム及び記憶媒体
JP7371806B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US20220392256A1 (en) Authentication device, registration device, authentication method, registration method, and storage medium
JP2017033390A (ja) 画像解析装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07738595

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 12282631

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 200780009066.5

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 1020087023721

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2007738595

Country of ref document: EP