WO2018110012A1 - 顔画像処理方法および顔画像処理装置 - Google Patents

顔画像処理方法および顔画像処理装置 Download PDF

Info

Publication number
WO2018110012A1
WO2018110012A1 PCT/JP2017/033388 JP2017033388W WO2018110012A1 WO 2018110012 A1 WO2018110012 A1 WO 2018110012A1 JP 2017033388 W JP2017033388 W JP 2017033388W WO 2018110012 A1 WO2018110012 A1 WO 2018110012A1
Authority
WO
WIPO (PCT)
Prior art keywords
face image
identification information
image processing
closed space
person
Prior art date
Application number
PCT/JP2017/033388
Other languages
English (en)
French (fr)
Inventor
一樹 前野
小林　昇
千恵 吉広
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to US16/469,042 priority Critical patent/US11170086B2/en
Priority to JP2018556187A priority patent/JP7050231B2/ja
Priority to EP17880175.9A priority patent/EP3557525B1/en
Priority to CN201780076859.2A priority patent/CN110073407B/zh
Publication of WO2018110012A1 publication Critical patent/WO2018110012A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition

Definitions

  • the present disclosure relates to a face image processing method and a face image processing apparatus.
  • Patent Documents 1 and 2 There is known a method in which a face image captured by a camera or the like is compared with identification information to identify the person (see Patent Documents 1 and 2).
  • Patent Document 1 is provided on a path through which a person to be authenticated passes, and performs a first authentication of the person to be authenticated that is imaged by the first imaging unit and a first imaging unit that images the person to be authenticated.
  • An authentication unit, and a second imaging unit which is provided at a position where the certifier passes after the position where the first imaging unit is provided in a route through which the person to be authenticated passes, and which images the subject;
  • a second authentication unit for authenticating the subject by collating the image of the subject taken by the first imaging unit with the image of the subject taken by the second imaging unit It is disclosed that the authentication system can be performed efficiently.
  • Patent Document 2 includes a wireless tag in which the identifier of the passer is recorded and a camera for capturing the face of the passerby approaching the gate, and the face image of the passer is registered in advance in correspondence with the identifier.
  • the face image of the passerby corresponding to the identifier recognized from the wireless tag is compared with the face image of the passerby photographed by the camera to confirm the identity of the passerby
  • Patent documents 1 and 2 are techniques related to face image processing, but the face image matching process has a large amount of data and takes a long time to perform the matching process, so there is a problem that the moving person can not be identified quickly and accurately. is there.
  • An object of the present disclosure is to provide a face image processing method and a face image processing apparatus capable of performing face image processing at high speed.
  • the face image processing method of the present disclosure is a face image processing method using a face image of a person who has been permitted to enter a predetermined closed space in advance and a registration database in which narrowing-down information corresponding to the face image is registered.
  • the narrowing-down information corresponding to the person who enters and leaves the closed space is acquired. Further, the narrow-down information registered and the narrow-down information acquired are collated, and based on the collation result of the narrow-down information registered and the narrow-down information acquired, authentication processing of a face image in the closed space
  • the search range of the face image registered in the registration database to be searched is determined.
  • the face image processing device of the present disclosure includes a control database and a registration database in which a face image of a person who is permitted in advance to enter a predetermined closed space and narrowing information corresponding to the face image is provided.
  • the unit acquires narrowing-down information corresponding to a person who enters and leaves the closed space. Further, the narrow-down information registered and the narrow-down information acquired are collated, and based on the collation result of the narrow-down information registered and the narrow-down information acquired, authentication processing of a face image in the closed space
  • the search range of the face image registered in the registration database to be searched is determined.
  • the present disclosure it is not necessary to match the face images of all the persons registered in the registration database, and only the persons permitted to enter and exit the closed space are set as the search target range. It is possible to provide a face image processing method and a face image processing apparatus capable of reducing the load on a computer and suppressing errors in matching to enable high-speed matching processing.
  • FIG. 1A is a block diagram of a server apparatus (face image processing apparatus) that configures a face image processing system of the present disclosure.
  • FIG. 1B is a block diagram of an entrance gate that constitutes the face image processing system of the present disclosure.
  • FIG. 2A is a block diagram of an authentication device that configures the face image processing system of the present disclosure.
  • FIG. 2B is a block diagram of an exit gate constituting the face image processing system of the present disclosure.
  • FIG. 3A is a view showing a situation in which an attendee holds an air ticket together with a check-in procedure.
  • FIG. 3B is a diagram showing a state in which an attendee who has entered the restricted area attempts to enter the membership lounge.
  • FIG. 1A is a block diagram of a server apparatus (face image processing apparatus) that configures a face image processing system of the present disclosure.
  • FIG. 1B is a block diagram of an entrance gate that constitutes the face image processing system of the present disclosure.
  • FIG. 2A is
  • FIG. 3C is a diagram showing a situation where the receptionist near the entrance of the membership lounge confirms that the attendee is a true member.
  • FIG. 3D is a diagram showing a state in which the captured face image and the face image registered in the registration database are collated.
  • FIG. 4A is a schematic view of all face images registered in the server apparatus registration database.
  • FIG. 4B is a schematic view of a face image whose search range is limited by the face image processing method of the present disclosure.
  • FIG. 5 is a flowchart showing an example of the operation of the face image processing method and the face image processing device of the present disclosure.
  • FIG. 6 is a schematic view showing a situation in which the search range of the face image registered in the registration database by the process of FIG. 5 is limited.
  • FIG. 7 is a flowchart showing another example of the operation of the face image processing method and the face image processing device of the present disclosure.
  • FIG. 8 is a schematic view showing a situation in which the search range of the face image registered in the registration database by the process of FIG. 7 is limited.
  • FIG. 9 is a flowchart showing a process of acquiring identification information and a face image at an entrance gate and registering the same.
  • the embodiment which specifically discloses a face image processing method and a face image processing apparatus according to the present disclosure will be described in detail with reference to the drawings as appropriate. However, the detailed description may be omitted if necessary. For example, detailed description of already well-known matters and redundant description of substantially the same configuration may be omitted. This is to avoid unnecessary redundancy in the following description and to facilitate understanding by those skilled in the art. It should be noted that the attached drawings and the following description are provided to enable those skilled in the art to fully understand the present disclosure, and they are not intended to limit the claimed subject matter.
  • FIGS. 1A, 1B, 2A, and 2B are block diagrams of respective parts constituting the face image processing system
  • FIG. 1A is a server apparatus
  • FIG. 1B is an entrance gate
  • FIGS. 2A and 2B are FIGS. 1A and 1B
  • 2A is an authentication device
  • FIG. 2B is an exit gate.
  • the face image processing system and face image processing apparatus of the present disclosure will be described based on FIGS. 1A, 1B, 2A, and 2B.
  • the face image processing system of the present disclosure includes a server device 10 (see FIG. 1A), an entrance gate 20 (see FIG. 1B), an authentication device 30 (see FIG. 2A), and an exit gate 40 (see FIG. 2B).
  • the server device 10 is a host computer constituting a face image processing device that forms the core of the face image processing system, and the entrance gate 20, the authentication device 30, and the exit gate 40 are terminals connected to the server device 10 on the network. is there.
  • the entrance gate 20 acquires the visitor identification information (second identification information) of the person who enters from the ID or the like of the visitor who enters the predetermined closed space, and the authentication device 30 moves the inside of the closed space.
  • the exit gate 40 captures the exit identification information of the exit from the closed space.
  • the specified closed space refers to a restricted area (controlled area) where entry is permitted after a person boarding the aircraft at the airfield receives a security check, the inside of a building authentication gate, etc. It is a space where only the person who has taken it can enter, and it is not a space where anyone can freely go in and out like public spaces.
  • the server apparatus (face image processing apparatus) 10 includes a control unit 11, a storage unit 12, an input unit 13, an output unit 14, and a registration database (hereinafter referred to as a registration DB) 15.
  • the control unit 11 is a processor that integrally controls the entire server device 10
  • the storage unit 12 is a memory for storing programs and necessary information
  • the input unit 13 includes an entrance gate 20, an authentication device 30, and an exit gate 40.
  • the output unit 14 transmits data to the entrance gate 20, the authentication device 30, and the exit gate 40. Transmission / reception with the server device 10 is performed by an input unit and an output unit provided in each of the terminals 20, 30, 40.
  • the registration DB 15 is a registration database that registers information including identification information (first identification information) such as an ID of a person who is permitted to enter the closed space in advance and a face image linked to the identification information. is there.
  • identification information first identification information
  • the persons who are permitted to enter in advance are the members of the airline, the person who holds the ticket of the day, the person who plans the flight of the day, the person who participates in the membership conference, etc.
  • the entrance gate 20 is installed at a place entering a restricted area which is a closed space such as a reception counter, security gate, entry and exit management, etc., and similarly to the server device 10, the control unit 21, storage unit 22, input unit 23 And an output unit 24.
  • the entrance opening and closing unit 25 is provided which performs acquisition, registration, opening and closing of the gate, and the like of identification information by an ID card or the like of the entrance person at the entrance gate.
  • the authentication device 30 is installed at the entrance of a special area provided further inside the closed space, etc., and includes the control unit 31, the storage unit 32, the input unit 33, and the output unit 34 as the server device 10. . Moreover, the camera 35 which images the face of the person who moves in the closed space is provided.
  • the special area may be, for example, a member-only lounge in the restricted area of the aerodrome, a member's room or member's meeting room in a closed space, or a dedicated room (only a venue or meeting room) in which only preregistered participants in the closed space can Etc.), VIP rooms and floors of the hotel, etc. with limited admission.
  • the exit gate 40 is installed at, for example, a take-off gate for boarding an airplane, a reception counter, etc., and includes a control unit 41, a storage unit 42, an input unit 43, and an output unit 44 as the server device 10.
  • An exit opening / closing unit 45 is provided which performs acquisition, registration, opening / closing of the gate, and the like of identification information by an ID card or the like of the exit person at the exit gate.
  • control units 21, 31, 41, the storage units 22, 32, 42, the input units 23, 33, 43, and the output units 24, 34, 44 have the same functions as those of the server apparatus 10, and therefore, will be described. Omit.
  • 3A to 3D show an example of a situation where at the airfield, an entrance person who passes through the entrance gate 20 and enters the closed space (restricted area) is a preregistered member, and further enters the membership lounge within the restricted area.
  • an entrance person who passes through the entrance gate 20 and enters the closed space (restricted area) is a preregistered member, and further enters the membership lounge within the restricted area.
  • the visitor 100 who enters the predetermined lounge holds the airline ticket on which the identification information (second identification information) is recorded along with the boarding procedure on the reading device 26 provided in the entrance opening / closing unit 25 of the entrance gate 20 (see FIG. 3A) And the reading device 26 reads the identification information of the visitor 100 and opens the gate of the entrance opening / closing unit 25 to permit the entrance of the visitor 100 to the restricted area (closed space).
  • the visitor 100 who has entered the restricted area attempts to enter the membership lounge (see FIG. 3B).
  • the receptionist 101 near the entrance of the membership lounge checks that the attendee 100 is a true member, using a terminal such as a PC provided at the reception (see FIG. 3C).
  • the camera 35 of the authentication device 30 installed in the vicinity of the entrance door of the membership lounge, etc. captures the face of the attendee 100 (see FIG. 3B).
  • the server device 10 collates the captured face image with the face image registered in the registration DB 15, determines that the attendee 100 is a true member (see FIG. 3D), and prepares the determination result for reception. It notifies to the terminal such as the designated PC.
  • the receptionist 101 can confirm that the attendee 100 is a true member (see FIG. 3C).
  • FIG. 4A and 4B show face images registered in the registration DB 15 in advance.
  • FIG. 4A shows that all face images registered in the registration DB 15 are to be searched, that is, included in the search range, when collated with the captured face image.
  • the determination using face authentication as described above is a method useful for improvement of services such as smooth member guidance.
  • the search target The capacity of the is increased, and the time required for the collation may be long.
  • the possibility of making a mistake in determination also increases. As a result, the quality of service may be degraded.
  • the processing load is reduced by narrowing down the search range to only necessary face images under predetermined conditions.
  • the face image matching time can be shortened. Since the face image can be collated in a short time while a plurality of visitors (members) move to the target special area room (conference room, lounge, etc.), the inconvenience to the visitors can be reduced. It is possible. In addition, it prevents the forged membership card and the entrance of the spoofing, etc., leading to the enhancement of security.
  • FIG. 5 is a flowchart showing a procedure for narrowing down the search range of the face image by exchanging information of the server device 10, the entrance gate 20, the authentication device 30, and the exit gate 40.
  • the entrance gate 20 acquires the identification information of the attendee, and transmits the identification information (second identification information) to the server device 10 via the output unit 24 of the entrance gate 20 and the input unit 13 of the server device 10 (see FIG. S1).
  • the acquisition of the identification information of the visitors may be either mechanical or artificial.
  • the acquired identification information may be transmitted to the server device 10 after being registered temporarily at the entrance gate 20, or may be transmitted to the server device 10 immediately without being registered.
  • the control unit 11 of the server device 10 collates the identification information (second identification information) of the attendee transmitted from the entrance gate 20 with the identification information (first identification information) of the individual registered in the registration DB 15 To do (S2). Then, as a result of the collation, as shown in FIG. 4B, the control unit 11 validates only the identification information and the face image of the matching person, and includes them in the search range by setting it as a search target (S3).
  • the camera 35 of the authentication device 30 captures an image of the face of the visitor who has passed through the entrance gate 20, and transmits the face image to the server device 10 via the output unit 24 of the entrance gate 20 and the input unit 13 of the server device 10. (S4).
  • the control unit 11 collates the face image among the received face image and the face image for which the search range is determined (S5).
  • the result is transmitted to the authentication device 30, and the authentication device 30 reflects the result (S6). If you are a legitimate visitor, open the entrance door, notify the staff of the arrival of a legitimate visitor, etc. If you are not a legitimate visitor, you can not open the entrance door, to the security guard It is a report etc.
  • the exit gate 40 acquires the identification information (second identification information) of the exit person by using a predetermined reader or the like, for example, when passing through the exit gate 40, and inputs the output unit 44 of the exit gate 40 and the server device 10.
  • the identification information of the leaving person is transmitted to the server device 10 through the unit 13 (S7).
  • the control unit 11 excludes the identification information (first identification information) and the face image that match the exit person from the search target (S8).
  • the face image matched with the person leaving the house is excluded from the search range shown in FIG. 4B.
  • the face image to be searched in the registration DB 15 can be reduced and the search range can be narrowed, so that the time for matching by the control unit 11 can be shortened and the judgment error in matching can be suppressed. It becomes possible.
  • FIG. 7 is a flowchart showing another procedure for narrowing down the search range of the face image by exchanging information of the server apparatus 10, the entrance gate 20 and the authentication apparatus 30.
  • Steps S1 to S5 are the same as in FIG.
  • identification information and a face image that match the face image acquired by the authentication device 30 are excluded from the search range (S9). That is, the person who has entered the membership-type lounge is excluded from the search target and the search range (see FIG. 8). Since there is little need to authenticate a person who has entered the restricted area once, such as a membership lounge, there is no problem even if this person is excluded from the search. In this way, even when there is no processing by the exit gate 40, substantially the same effect as the processing by the flow of FIG. 5 can be obtained.
  • FIG. 5 and FIG. 7 mainly assume a situation where, after the attendee accesses the server apparatus 10 in advance using a terminal such as a PC, the user's identification information is registered in the registration DB 15 in advance.
  • FIG. 9 shows a flow of processing for registering at the entrance gate 20 the face image of a person not registered in the registration DB 15 in advance.
  • identification information (second identification information) of a person entering is acquired, and a camera installed at the entrance gate 20 simultaneously picks up a face image, and the identification information and the face image are output simultaneously from the entrance gate 20. 24 to the input unit 13 of the server device (S10).
  • the control unit 11 registers the identification information and the face image received by the input unit 13 in the registration DB 15 (S11).
  • the operations subsequent to the operation of capturing a face image with the authentication device 30 and reflecting the result of matching are the same as those in the example of FIGS. 4A and 4B.
  • a passenger who has selected the business class in the flight of the day can use the lounge, and a person who is not registered in the registration DB 15 may use a predetermined closed space.
  • a predetermined closed space By temporarily including the search range of the registration DB and collating the face image and invalidating the data after leaving, it is possible to reduce the load of the face image collation process and to speed up the process.
  • second identification information identifying a person who enters and leaves the closed space is acquired.
  • the first identification information and the second identification information are collated, and based on the collation result of the first identification information and the second identification information, a search is performed in the authentication process of the face image in the closed space.
  • the search range of the face image registered in the target registration database is determined.
  • the second identification information is the attendee identification information corresponding to the person entering the closed space
  • the first identification that matches the attendee identification information Information and a face image corresponding to the first identification information are included in the search range.
  • the second identification information is exit identification information corresponding to a person exiting from the closed space, and the first identification matches the exit identification information.
  • the information and the face image corresponding to the first identification information are excluded from the search range. As a result, it is possible to save the amount of accumulated data by excluding a leaving person from the search range, and speeding up authentication of a face image can be achieved.
  • the first identification information matching the second identification information of the person who has entered the closed space and the face image corresponding to the first identification information are excluded from the search range.
  • the first identification information and the face image included in the search range are excluded from the search range.
  • the first identification information matching the second identification information of the person who has entered the closed space and the face image corresponding to the first identification information When the first identification information and the face image included in the search range are identified in the authentication process of the face image in the closed space, the first identification information and the face included in the search range are included in the search range. Disable the image. As a result, by including matched visitors in the registration DB in the search range and invalidating from the search range when leaving, it becomes possible to always save the data amount of the search range, and face image authentication can be speeded up. .
  • the face image processing apparatus controls the registration database 15 that registers the face image of a person who is permitted in advance to enter the predetermined closed space and the first identification information corresponding to the face image, and
  • the control unit 11 acquires second identification information identifying a person who enters and leaves the closed space, and collates the first identification information and the second identification information;
  • the search range of the face image registered in the registration database 15 to be searched in the authentication processing of the face image in the closed space is determined based on the collation result of the first identification information and the second identification information.
  • the face image processing apparatus (server apparatus 10) cooperates with both the entrance gate 20 and the exit gate 40 so that both the time of entrance to the closed space and the time of exit from the closed space
  • the search range of the face image is determined in.
  • the face image processing apparatus according to the present disclosure does not necessarily have to determine the search range at both times, and may be such as to determine the search range at the time of entry or exit. . By doing this at any point in time, it is possible to reduce the burden of face image search.
  • the search range of the face image to be searched is narrowed based on the collation result of the identification information acquired from the ID or the like, but the search range may be narrowed using other information.
  • information it is conceivable to use a specific voice, the gait of the person to be authenticated, a predetermined action, a password, etc. (In the present disclosure, these information and identification information are collectively referred to as “ It is called narrowing information).
  • the operation of narrowing down using voice or the like can be realized by replacing “identification information” with “voice or the like” in FIG. 5 or 7.
  • identification information As an example, in FIG. 5 or FIG. 7, instead of the identification information, the operation in the case where voices of “open” and “open” are associated will be described.
  • each face image is associated with either "open” or "open” sound. That is, in the registration DB 15, a first group consisting of one or more face images associated with the voice "open” and a second group composed of one or more face images associated with the voice "open” are registered. ing.
  • the entrance gate 20 acquires a voice from the person to be authenticated via the input unit 13 and transmits the voice to the server device 10 (the modification of S1 in FIG. 5 or 7).
  • the control unit 11 of the server device 10 collates the voice transmitted from the entrance gate 20 with the information of the voice registered in the registration DB (the modification of S2 in FIG. 5 or FIG. 7). Then, the control unit 11 includes, in the search range, only the identification information of the person and the face image associated with the voice matched with the voice transmitted from the entrance gate 20 as a result of the matching. For example, when the voice “open” is transmitted from the entrance gate 20, the search range is limited to the face images belonging to the first group.
  • the subsequent operation is basically the same as that of the example of FIG. 5 or 7.
  • voices such as "open” and "open"
  • voice etc. as narrow-down information
  • identification of the person leaving may also be performed by voice or the like.
  • the correspondence between the voice etc. and each face image may be registered by the same operation as the operation of FIG. That is, in step S10 of FIG. 9, instead of the second identification information, the voice and the like of the person to be authenticated and the face image are acquired and transmitted to the server device, and in step S11 the acquired voice and the like correspond to the face image. Then, it may be recorded in the registration DB 15.
  • the system may automatically determine the information to be assigned to each subject and notify the subject to the information at the entrance gate 30.
  • the voice and the like are used to determine the group to be the search range, the correspondence between the voice and the like and the individual to be authenticated is not important. Therefore, the system may randomly determine the voice and the like assigned to each person to be authenticated.
  • the narrowing-down is performed using defined voices such as "open” and "open”, but it is also possible to use any voice.
  • defined voices such as "open” and "open”
  • any voice For example, if information of the voiceprint of the person to be authenticated is registered in association with each face image in the registration DB, it is possible to narrow down the face images corresponding to similar voices by voiceprint analysis of the acquired voice.
  • the narrowing-down information does not have to be limited to one type of information of identification information or voice.
  • the combination of multiple types of refinement information may narrow the search range.
  • the face image processing method and the face image processing device of the present disclosure are useful for a network system that reduces the load of search and quickly performs face image processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Alarm Systems (AREA)

Abstract

顔画像処理装置であるサーバー装置（１０）は、制御部（１１）と、記憶部（１２）、入力部（１３）と、出力部（１４）と、登録データベース（１５）とを備える。入場ゲートで取得した入場者の識別情報をサーバー装置（１０）に送信し、制御部（１１）で登録データベース（１５）と照合し、入場者に関連する人物や入場者と合致した人物を検索範囲に含める。検索範囲を絞り込むことにより、検索負荷を低減し、エラーを抑制すると共に高速化を図る。

Description

顔画像処理方法および顔画像処理装置
　本開示は、顔画像処理方法および顔画像処理装置に関する。
　カメラ等で撮像された顔画像と識別情報とを照合して本人確認を行う方法が知られている（特許文献１、２参照）。
　特許文献１は、被認証者が通過する経路に設けられ、前記被認証者を撮像する第１撮像部と、前記第１撮像部により撮像される前記被認証者の第１認証を行う第１認証部と、前記被認証者が通過する経路において、前記第１撮像部が設けられた位置より後に前記認証者が通過する位置に設けられ、前記被認証者を撮像する第２撮像部と、前記第１撮像部により撮像された前記被認証者の画像と、前記第２撮像部により撮像された前記被認証者の画像とを照合することにより、前記被認証者を認証する第２認証部とを備える認証システムであり、認証を効率よく行うことができることが開示されている。
　特許文献２は、通行者の識別子を記録した無線タグと、ゲートに接近する通行者の顔を撮影するカメラとを備え、前記識別子に対応させてその通行者の顔画像を予め登録しておき、前記通行者がゲートに接近したときに、前記無線タグから認識した識別子に対応する通行者の顔画像と、前記カメラが撮影した通行者の顔画像とを比較して前記通行者の本人確認を行うことを特徴とするゲート管理システムである。無線タグを携帯する通行者をその識別子と顔画像とにより二重に本人確認を行うようにしたことによって、識別子と顔画像が異なる不正な通行者を排除することができ、無線タグを用いたゲート管理システムおける安全性を向上するとしたことが開示されている。
特開２００５－１２９０１６号公報 特開２００４－３２４１８３号公報
　特許文献１、２は、顔画像処理に関する技術であるが、顔画像の照合処理はデータ量が多く、照合処理に時間が掛かるため、移動している人物を迅速、的確に認証できないという課題がある。
　本開示は、顔画像処理を高速で行える顔画像処理方法および顔画像処理装置を提供することを目的とする。
　本開示の顔画像処理方法は、所定の閉空間への入場を予め許可された人物の顔画像および当該顔画像に対応した絞込み情報を登録した登録データベースを用いた顔画像処理方法であって、前記閉空間に対して出入りする人物に対応する絞込み情報を取得する。さらに、登録されている前記絞込み情報および取得される前記絞込み情報を照合し、登録されている前記絞込み情報および取得される前記絞込み情報の照合結果に基づき、前記閉空間内における顔画像の認証処理において検索対象となる前記登録データベースに登録された顔画像の検索範囲を決定する。
　本開示の顔画像処理装置は、所定の閉空間への入場を予め許可された人物の顔画像および当該顔画像に対応した絞込み情報を登録した登録データベースと、制御部と、を備え、当該制御部は、前記閉空間に対して出入りする人物に対応する絞込み情報を取得する。さらに、登録されている前記絞込み情報および取得される前記絞込み情報を照合し、登録されている前記絞込み情報および取得される前記絞込み情報の照合結果に基づき、前記閉空間内における顔画像の認証処理において検索対象となる前記登録データベースに登録された顔画像の検索範囲を決定する。
　本開示によれば、登録データベースに登録された全ての人物の顔画像と照合する必要が無く、閉空間に対して出入りを許可された人物のみを検索対象範囲とするため、顔画像認証処理においてコンピュータに対する負荷を低減し、照合上のミスを抑制して、高速照合処理を可能とすることができる顔画像処理方法および顔画像処理装置を提供できる。
図１Ａは、本開示の顔画像処理システムを構成するサーバー装置（顔画像処理装置）のブロック図である。 図１Ｂは、本開示の顔画像処理システムを構成する入場ゲートのブロック図である。 図２Ａは、本開示の顔画像処理システムを構成する認証装置のブロック図である。 図２Ｂは、本開示の顔画像処理システムを構成する退場ゲートのブロック図である。 図３Ａは、入場者が搭乗手続と共に航空チケットをかざす状況を示す図である。 図３Ｂは、制限区域内に入場した入場者が会員制ラウンジへの入場を試みる状況を示す図である。 図３Ｃは、会員制ラウンジの入り口付近にいる受付係が入場者が真の会員であることを確認する状況を示す図である。 図３Ｄは、撮像した顔画像と登録データベースに登録された顔画像とを照合する状況を示す図である。 図４Ａは、サーバー装置の登録データベースに登録された全顔画像の模式図である。 図４Ｂは、本開示の顔画像処理方法により検索範囲が限定された顔画像の模式図である。 図５は、本開示の顔画像処理方法および顔画像処理装置の動作の一例を示すフロー図である。 図６は、図５の処理により登録データベースに登録された顔画像の検索範囲を限定する状況を示す模式図である。 図７は、本開示の顔画像処理方法および顔画像処理装置の動作の他の例を示すフロー図である。 図８は、図７の処理により登録データベースに登録された顔画像の検索範囲を限定する状況を示す模式図である。 図９は、入場ゲートにて識別情報及び顔画像を取得し、登録する処理を示すフロー図である。
　以下、適宜図面を参照しながら、本開示に係る顔画像処理方法および顔画像処理装置を具体的に開示した実施形態（以下、「本実施形態」という）を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。
　以下、本開示を実施するための好適な本実施形態について、図面を参照して詳細に説明する。
　図１Ａ、１Ｂ、２Ａ、２Ｂは、顔画像処理システムを構成する各部分のブロック図で、図１Ａはサーバー装置、図１Ｂは入場ゲートであり、図２Ａ、図２Ｂは、図１Ａ、図１Ｂに続くブロック図で、図２Ａは認証装置、図２Ｂは退場ゲートである。図１Ａ、図１Ｂ、図２Ａ、図２Ｂに基づいて本開示の顔画像処理システム、顔画像処理装置を説明する。
　本開示の顔画像処理システムは、サーバー装置１０（図１Ａ参照）と、入場ゲート２０（図１Ｂ参照）と、認証装置３０（図２Ａ参照）と、退場ゲート４０（図２Ｂ参照）とを備える。サーバー装置１０は顔画像処理システムの中核をなす顔画像処理装置を構成するホストコンピュータであり、入場ゲート２０、認証装置３０及び退場ゲート４０は、サーバー装置１０とネットワーク上で接続された端末等である。
　入場ゲート２０は、所定の閉空間に入場する入場者のＩＤ等から入場する人物の入場者識別情報（第２の識別情報）を取得し、認証装置３０は、閉空間内を移動する入場者の顔を撮像し、退場ゲート４０は、閉空間から退場する退場者の退場者識別情報を取得する。また、所定の閉空間とは、飛行場において航空機に乗り込む人がセキュリティチェックを受けた後に入場が許可される制限区域（コントロールドエリア）や、建物の認証ゲートの内部等であり、予め入場が許可された人のみが入場できる空間であって、公共空間の様に誰もが自由に出入りできる空間ではない。
　サーバー装置（顔画像処理装置）１０は、制御部１１と、記憶部１２、入力部１３と、出力部１４と、登録データベース（以下、登録ＤＢと記述する）１５とを備える。制御部１１は、サーバー装置１０全体を統括制御するプロセッサであり、記憶部１２は、プログラムや必要な情報を記憶するメモリーであり、入力部１３は、入場ゲート２０、認証装置３０及び退場ゲート４０からのデータを受信し、出力部１４は、入場ゲート２０、認証装置３０及び退場ゲート４０にデータを送信する。サーバー装置１０との送受信は、各端末２０、３０、４０に設けられた入力部、出力部で行う。
　登録ＤＢ１５は、閉空間への入場を予め許可された人物のＩＤなどの識別情報（第１の識別情報）と当該識別情報に紐付けられた顔画像からなる情報を登録している登録データベースである。入場を予め許可された人物とは、航空会社の会員、その日のチケットを持っている人、その日のフライト予定を入れている人、その日に会員制会議に参加する人、等である。
　入場ゲート２０は、例えば、受付カウンター、セキュリティーゲート、出入国管理、等の閉空間である制限区域に入る場所に設置され、サーバー装置１０と同様に、制御部２１と、記憶部２２、入力部２３と、出力部２４を備える。また、入場ゲートでの入場者のＩＤカード等による識別情報の取得、登録、ゲートの開閉などを行う入場開閉部２５を備える。
　認証装置３０は、閉空間のさらに内部に設けられた特別エリアの入口などに設置され、サーバー装置１０と同様に、制御部３１と、記憶部３２、入力部３３と、出力部３４とを備える。また、閉空間内を移動する人物の顔を撮像するカメラ３５を備える。特別エリアとは、例えば、飛行場の制限区域の会員制ラウンジ、閉空間内の会員専用ルームや会員用会議室、閉空間内でさらに事前登録された参加者のみが入れる専用室（会場や会議室など）、入場者が限定されたホテルのＶＩＰルームやフロア、等である。
　退場ゲート４０は、例えば、飛行機に乗り込む離陸ゲート、受付カウンター、等に設置され、サーバー装置１０と同様に、制御部４１と、記憶部４２、入力部４３と、出力部４４とを備える。退場ゲートでの退場者のＩＤカード等による識別情報の取得、登録、ゲートの開閉などを行う退場開閉部４５を備える。
　尚、各制御部２１、３１、４１、記憶部２２、３２、４２、入力部２３、３３、４３、及び出力部２４、３４、４４は、サーバー装置１０のそれぞれと機能が同様であるため説明を省略する。
　図３Ａ－３Ｄは、飛行場において、入場ゲート２０を通過して閉空間（制限区域）に入る入場者が予め登録された会員であり、さらに制限区域内の会員制ラウンジに入室する状況の例を説明している。
　所定のラウンジに入室する入場者１００は、入場ゲート２０の入場開閉部２５に設けられた読み取り装置２６に搭乗手続と共に識別情報（第２の識別情報）を記録した航空チケットをかざす（図３Ａ参照）と、読み取り装置２６は入場者１００の識別情報を読み取り、入場開閉部２５のゲートを開いて入場者１００の制限区域（閉空間）への入場を許可する。
　制限区域内に入場した入場者１００が会員制ラウンジへの入場を試みる（図３Ｂ参照）。この際、会員制ラウンジの入り口付近にいる受付係１０１が、受付に備えられたＰＣ等の端末を用いて、入場者１００が真の会員であることを確認する（図３Ｃ参照）。
　ここで、入場者１００が真の会員であることを確認するために、顔認証を利用することが考えられる。例えば、会員制ラウンジの入口のドア等の近傍に設置された認証装置３０のカメラ３５が、入場者１００の顔を撮像する（図３Ｂ参照）。そして、サーバー装置１０が、撮像した顔画像と登録ＤＢ１５に登録された顔画像とを照合して、入場者１００が真の会員であると判定し（図３Ｄ参照）、判定結果を受付に備えられたＰＣ等の端末に通知する。この結果、受付係１０１は、入場者１００が真の会員であることを確認することができる（図３Ｃ参照）。
　図４Ａ、４Ｂは、登録ＤＢ１５に予め登録された顔画像を示している。図４Ａは、登録ＤＢ１５に登録されている全顔画像が、撮像した顔画像との照合に際して検索対象となる、すなわち検索範囲に含められることを示している。ここで、上記のような顔認証を用いた判定は、円滑な会員の誘導等、サービスの向上に有用な方法である。しかしながら、登録ＤＢ１５に登録された人物の識別情報（第１の識別情報）と紐付けられた顔画像の数が多い場合、図４Ａに示したように全顔画像を検索対象とすると、検索対象の容量が大きくなり、照合に要する時間が長時間となるおそれがある。また、判定に際してミスが発生する可能性も高くなる。この結果、サービスの質が低下するおそれがある。
　そこで、本開示の顔画像処理方法及び顔画像処理装置では、例えば図４Ｂに示すように、所定の条件の下で、検索範囲を必要な顔画像のみに絞り込むことにより、処理負荷を低減し、顔画像の照合時間を短縮することができる。複数の入場者（会員）が目的の特別エリア部屋（会議室、ラウンジなど）に移動する間に短時間で顔画像の照合を行うことができるため、入場者への煩わしさを低減することが可能である。また、偽造された会員カードやなりすましの入場等を未然に防げるため、セキュリティーの強化にも繋がる。
　図５は、サーバー装置１０、入場ゲート２０、認証装置３０及び退場ゲート４０の情報のやりとりにより、顔画像の検索範囲を絞り込む手順を示したフロー図である。
　入場ゲート２０は、入場者の識別情報を取得し、この識別情報（第２の識別情報）を入場ゲート２０の出力部２４とサーバー装置１０の入力部１３を介してサーバー装置１０に送信する（Ｓ１）。入場者の識別情報の取得は、機械的でも人為的でも良い。取得された識別情報は、入場ゲート２０で一時的に登録された後、サーバー装置１０に送信されても良く、登録されないまま直ちにサーバー装置１０に送信されても良い。
　サーバー装置１０の制御部１１は、入場ゲート２０から送信された入場者の識別情報（第２の識別情報）と、登録ＤＢ１５に登録された個人の識別情報（第１の識別情報）とを照合する（Ｓ２）。そして、制御部１１は、照合の結果、図４Ｂに示すように、合致する人物の識別情報及び顔画像のみを有効化し、検索対象とすることで検索範囲に含める（Ｓ３）。
　次に、制限区域への入場者の来場があったとする。入場ゲート２０を通過した入場者の顔画像を認証装置３０のカメラ３５で撮像し、顔画像を入場ゲート２０の出力部２４とサーバー装置１０の入力部１３を介して、サーバー装置１０に送信する（Ｓ４）。制御部１１は、受信した顔画像と検索範囲が決定された顔画像の中から、顔画像を照合する（Ｓ５）。
　顔画像での照合ができた場合は、認証装置３０に結果を送信し、認証装置３０はその結果を反映する（Ｓ６）。正規の入場者である場合は、入口のドアを開く、係員に正規の入場者が来ることを通知する等であり、正規の入場者で無い場合は、入口のドアを開けない、警備員に通報する等である。
　次に制限区域から退場する退場者を想定する。退場ゲート４０は、所定の読み取り装置等により退場者の識別情報（第２の識別情報）を、例えば退場ゲート４０を通過する際に取得し、退場ゲート４０の出力部４４及びサーバー装置１０の入力部１３を介して、サーバー装置１０に退場者の識別情報を送信する（Ｓ７）。
　制御部１１は、退場者と合致した識別情報（第１の識別情報）と顔画像を検索対象から除外する（Ｓ８）。ここでは、図６に示すように、図４Ｂで示した検索範囲から、退場者と合致した顔画像を除外する。
　上記のフローによれば、登録ＤＢ１５中の検索対象となる顔画像を減らし、検索範囲を絞り込むことができるため、制御部１１による照合の時間を短縮するとともに、照合の判定ミスを抑制することが可能となる。
　図７は、サーバー装置１０、入場ゲート２０及び認証装置３０の情報のやりとりにより、顔画像の検索範囲を絞り込む他の手順を示したフロー図である。ステップＳ１～Ｓ５は図５と同じである。そして、Ｓ５の後、本例では、認証装置３０で取得した顔画像と一致する識別情報及び顔画像を検索範囲から除外する（Ｓ９）。すなわち、会員制ラウンジに入場した人物を検索対象、検索範囲から除外する（図８参照）。一旦会員制ラウンジ等の制限区域に入場した人物をその後に認証する必要性は低いため、このように検索対象から除外しても問題はない。このようにすると、退場ゲート４０による処理が全くない状態でも、図５のフローによる処理とほぼ同等の効果を得ることができる。
　図５、図７のフローは、前もって入場者がＰＣ等の端末を用いてサーバー装置１０にアクセスした上で、自己の識別情報を登録ＤＢ１５にあらかじめ登録した状況を主に想定している。図９は、予め登録ＤＢ１５に登録していない人物の顔画像を入場ゲート２０で登録する処理のフローを示す。
　入場ゲート２０で入場する人物の識別情報（第２の識別情報）を取得するとともに、入場ゲート２０に設置したカメラで同時に顔画像を撮像し、識別情報と顔画像を同時に入場ゲート２０の出力部２４からサーバー装置の入力部１３に送信する（Ｓ１０）。制御部１１は、入力部１３で受信した識別情報及び顔画像を登録ＤＢ１５に登録する（Ｓ１１）。認証装置３０で顔画像を撮像し、照合の結果を反映する動作等以降の動作は、図４Ａ、４Ｂの例と同様である。
　例えば、当日のフライトでビジネスクラスを選んだ搭乗者は、ラウンジを使用することが可能であり、登録ＤＢ１５に登録されていない人物も所定の閉空間を利用することがある。一時的に登録ＤＢの検索範囲に含め、顔画像の照合を行い、退場後、当該データを無効にすることにより、顔画像照合処理の負荷を低減し、高速化を図ることが可能となる。
　以上により、本実施形態の顔画像処理方法は、所定の閉空間への入場を予め許可された人物の顔画像および当該顔画像に対応した第１の識別情報を登録した登録データベースを用いた顔画像処理方法であって、前記閉空間に対して出入りする人物を識別する第２の識別情報を取得する。そして、前記第１の識別情報および前記第２の識別情報を照合し、前記第１の識別情報および前記第２の識別情報の照合結果に基づき、前記閉空間内における顔画像の認証処理において検索対象となる前記登録データベースに登録された顔画像の検索範囲を決定する。
　これにより、登録データベースに登録された全ての人物の顔画像と照合する必要が無く、閉空間に対して出入りする人物のみを検索対象範囲とするため、顔画像認証処理におけるコンピュータに対する負荷を低減し、照合上のミスを抑制して、高速認証処理を可能とすることができる。特に、会員等の重要な客に対して、迅速な接客が可能となり、サービスの向上が図れ、一方で、非会員等の特定も迅速に行われ、セキュリティーの強化が向上する。
　以上により、本実施形態の顔画像処理方法は、前記第２の識別情報が、前記閉空間に入場する人物に対応する入場者識別情報であり、前記入場者識別情報に合致する第１の識別情報および当該第１の識別情報に対応する顔画像を前記検索範囲に含める。これにより、入場する人物のみが検索対象となるため、検索負荷が軽減され、エラーを抑制すると共に高速化が可能となる。
　以上により、本実施形態の顔画像処理方法は、前記第２の識別情報が、前記閉空間から退場する人物に対応する退場者識別情報であり、前記退場者識別情報に合致する第１の識別情報および当該第１の識別情報に対応する顔画像を前記検索範囲から除外する。これにより、退場者を検索範囲から除外することにより、データ蓄積量をセーブすることが可能となり、顔画像の認証の高速化が図れる。
　以上により、本実施形態の顔画像処理方法は、前記閉空間に対して入場した人物の第２の識別情報に合致する第１の識別情報および当該第１の識別情報に対応する顔画像を前記検索範囲に含め、前記閉空間に対して入場した人物の前記閉空間からの退場が検知された場合は、前記検索範囲に含めた第１の識別情報及び顔画像を前記検索範囲から除外する。これにより、登録ＤＢ内の合致した入場者を検索範囲に含め、退場したら検索範囲から除外することにより、検索範囲のデータ量を常にセーブすることが可能となり、顔画像認証の高速化が図れる。
　以上により、本実施形態の顔画像処理方法は、前記閉空間に対して入場した人物の第２の識別情報に合致する第１の識別情報および当該第１の識別情報に対応する顔画像を前記検索範囲に含め、前記閉空間内における顔画像の認証処理において、前記検索範囲に含めた第１の識別情報及び顔画像を認証した場合は、当該検索範囲に含めた第１の識別情報及び顔画像を無効にする。これにより、登録ＤＢ内の合致した入場者を検索範囲に含め、退場したら検索範囲から無効にすることにより、検索範囲のデータ量を常にセーブすることが可能となり、顔画像認証の高速化が図れる。
　以上により、本実施形態の顔画像処理装置は、所定の閉空間への入場を予め許可された人物の顔画像および当該顔画像に対応した第１の識別情報を登録する登録データベース１５と、制御部１１と、を備え、当該制御部１１は、前記閉空間に対して出入りする人物を識別する第２の識別情報を取得し、前記第１の識別情報および前記第２の識別情報を照合し、前記第１の識別情報および前記第２の識別情報の照合結果に基づき、前記閉空間内における顔画像の認証処理において検索対象となる登録データベース１５に登録された顔画像の検索範囲を決定する。
　これにより、登録データベースに登録された全ての人物の顔画像と照合する必要が無く、閉空間に対して出入りする人物のみを検索対象範囲とするため、顔画像認証処理においてコンピュータに対する負荷を低減し、照合上のミスを抑制して、高速照合処理を可能とする顔画像処理装置を提供できる。特に、会員等の重要な客に対して、迅速な接客が可能となり、サービスの向上が図れ、一方で、非会員等の特定も迅速に行われ、セキュリティーの強化が向上する。
　なお、上述の実施形態では、顔画像処理装置（サーバー装置１０）が、入場ゲート２０および退場ゲート４０の双方と連携して、閉空間への入場時および閉空間からの退場時の双方の時点において顔画像の検索範囲を決定している。しかしながら、本開示の顔画像処理装置は、必ずしも双方の時点で検索範囲を決定する必要はなく、入場時または退場時の少なくともいずれかの時点において検索範囲を決定する様なものであってもよい。いずれかの時点で行うことにより、顔画像の検索の負担を減らすことができるからである。
　以上、図面を参照して本開示に係る顔画像処理方法および顔画像処理装置の実施形態について説明したが、本開示はかかる例に限定されない。当業者であれば、請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。
　例えば、以下のような変形例が考えられる。
　上述の実施形態では、ＩＤ等から取得されれる識別情報の照合結果に基づいて、検索対象となる顔画像の検索範囲を絞り込んでいたが、他の情報を用いて検索範囲を絞り込んでもよい。他の情報の例としては、特定の音声、被認証者の歩容，予め定められた動作、パスワード等を用いることが考えられる（本開示では、これらの情報と識別情報とを総称して「絞込み情報」と呼ぶ）。
　音声等を用いて絞込みを行う動作は、基本的には、図５または図７において、「識別情報」を「音声等」に読み替えれば実現できる。一例として、図５または図７において、識別情報に替えて、「開け」「オープン」という音声が対応付けられている場合の動作を説明する。
　この場合、登録ＤＢ１５では、各顔画像と「開け」または「オープン」のいずれかの音声とが対応付けられている。すなわち、登録ＤＢ１５では、「開け」という音声が対応付けられた１以上の顔画像からなる第１グループと「オープン」という音声が対応付けられた１以上の顔画像からなる第２グループが登録されている。
　入場ゲート２０は、入力部１３を介して被認証者から音声を取得し、サーバー装置１０へ送信する（図５または図７のＳ１の変形）。サーバー装置１０の制御部１１は、入場ゲート２０から送信された音声と、登録ＤＢに登録された音声の情報とを照合する（図５または図７のＳ２の変形）。そして、制御部１１は、照合の結果、入場ゲート２０から送信された音声に合致する音声と対応付けられた人物の識別情報および顔画像のみを検索範囲に含める。例えば、「開け」という音声が入場ゲート２０から送信された場合、検索範囲は第１グループに属する顔画像に限定される。
　以降の動作は、基本的に図５または図７の例と同様である。しかしながら、「開け」「オープン」等の音声では、被認証者のグループは識別できても、被認証者それぞれを識別することは難しく、その結果、図５のステップＳ７において退場者を識別することは難しい。そのため、音声等を絞込み情報として使用する場合は、第１の識別情報を用いて退場者を識別してもよい。ただし、高精度な声紋解析や歩容解析など、被認証者と絞込み情報とが１対１で対応付けられる可能性が高い場合は、退場者の識別も音声等で行ってもよい。
　また、音声等と各顔画像の対応付けは、図９の動作と同様の動作によって登録するものともよい。すなわち、図９のステップＳ１０において、第２の識別情報に替えて被認証者の音声等と顔画像を取得してサーバ装置に送信し、ステップＳ１１において、取得した音声等と顔画像とを対応づけて登録ＤＢ１５に記録すればよい。
　また、「開け」と「オープン」のように、音声等の情報が複数の被認証者に対応付けられる場合には、被認証者からの入力を省略することもできる。すなわち、システムが各被認証者に割り当てられる情報を自動で決定し、入場ゲート３０において被認証者に対して当該情報を通知するものとしてもよい。なお、この変形例において、音声等は検索範囲となるグループを決定するために使うものであるため、音声等と被認証者個人の対応付けは重要ではない。そこで、各被認証者に割り当てられる音声等はシステムがランダムに決定するものであっても構わない。
　また、この変形例では、「開け」「オープン」といった定められた音声を利用して絞り込みを行っているが、任意の音声を用いることも可能である。例えば、登録ＤＢにおいて各顔画像に対応付けて被認証者の声紋の情報が登録されていれば、取得した音声の声紋解析によって類似する音声に対応する顔画像を絞り込むことができる。
　また、絞込み情報は、識別情報または音声等のうちの一種類の情報に限る必要はない。複数の種類の絞込み情報の組み合わせによって、検索範囲を絞り込むものとしてもよい。
　本開示の顔画像処理方法および顔画像処理装置は、検索の負荷を低減し、顔画像処理を迅速に行うネットワークシステムに有用である。
　１０：サーバー装置（顔画像処理装置）
　１１：制御部
　１２：記憶部
　１３：入力部
　１４：出力部
　１５：登録データベース（登録ＤＢ）
　２０：入場ゲート
　２５：入場開閉部
　３０：認証装置
　３５：カメラ
　４０：退場ゲート
　４５：退場開閉部

Claims (16)

  1. 　所定の閉空間への入場を予め許可された人物の顔画像および当該顔画像に対応した絞込み情報を登録した登録データベースを用いた顔画像処理方法であって、
    　前記閉空間に対して出入りする人物に対応する絞込み情報を取得し、
    　登録されている前記絞込み情報および取得される前記絞込み情報を照合し、
    　登録されている前記絞込み情報および取得される前記絞込み情報の照合結果に基づき、前記閉空間内における顔画像の認証処理において検索対象となる前記登録データベースに登録された顔画像の検索範囲を決定する、
    　顔画像処理方法。
  2. 　請求項１に記載の顔画像処理方法であって、
    　登録されている前記絞込み情報は、前記閉空間への入場を予め許可された人物を識別する第１の識別情報であり、
    　取得される前記絞込み情報は、前記閉空間に対して出入りする人物を識別する第２の識別情報であり、
    　前記第１の識別情報および前記第２の識別情報の照合結果に基づき、前記閉空間内における顔画像の認証処理において検索対象となる前記登録データベースに登録された顔画像の検索範囲を決定する、
    　顔画像処理方法。
  3. 　請求項２に記載の顔画像処理方法であって、
    　前記第２の識別情報が、前記閉空間に入場する人物に対応する入場者識別情報であり、
    　前記入場者識別情報に合致する第１の識別情報および当該第１の識別情報に対応する顔画像を前記検索範囲に含める、
    　顔画像処理方法。
  4. 　請求項２に記載の顔画像処理方法であって、
    　前記第２の識別情報が、前記閉空間から退場する人物に対応する退場者識別情報であり、
    　前記退場者識別情報に合致する第１の識別情報および当該第１の識別情報に対応する顔画像を前記検索範囲から除外する、
    　顔画像処理方法。
  5. 　請求項２に記載の顔画像処理方法であって、
    　前記閉空間に対して入場した人物の第２の識別情報に合致する第１の識別情報および当該第１の識別情報に対応する顔画像を前記検索範囲に含め、
    　前記閉空間に対して入場した人物の前記閉空間からの退場が検知された場合は、前記検索範囲に含めた第１の識別情報及び顔画像を前記検索範囲から除外する、
    　顔画像処理方法。
  6. 　請求項２に記載の顔画像処理方法であって、
    　前記閉空間に対して入場した人物の第２の識別情報に合致する第１の識別情報および当該第１の識別情報に対応する顔画像を前記検索範囲に含め、
    　前記閉空間内における顔画像の認証処理において、前記検索範囲に含めた第１の識別情報及び顔画像を認証した場合は、当該検索範囲に含めた第１の識別情報及び顔画像を無効にする、
    　顔画像処理方法。
  7. 　請求項１に記載の顔画像処理方法であって、
    　前記絞込み情報は、顔画像のグループに対応付けられて登録されており、
    　前記顔画像の検索範囲は、取得される絞込み情報に対応する顔画像のグループに限定される、
    　顔画像処理方法。
  8. 　請求項７に記載の顔画像処理方法であって、
    　前記絞込み情報は、特定の音声、被認証者の歩容，予め定められた動作、パスワードの少なくとも１つを含む、
    　顔画像処理方法。
  9. 　所定の閉空間への入場を予め許可された人物の顔画像および当該顔画像に対応した絞込み情報を登録した登録データベースと、
    　制御部と、を備え、
    　当該制御部は、
    　前記閉空間に対して出入りする人物に対応する絞込み情報を取得し、
    　登録されている前記絞込み情報および取得される前記絞込み情報を照合し、
    　登録されている前記絞込み情報および取得される前記絞込み情報の照合結果に基づき、前記閉空間内における顔画像の認証処理において検索対象となる前記登録データベースに登録された顔画像の検索範囲を決定する、
    　顔画像処理装置。
  10. 　請求項９に記載の顔画像処理装置であって、
    　登録されている前記絞込み情報は、前記閉空間への入場を予め許可された人物を識別する第１の識別情報であり、
    　取得される前記絞込み情報は、前記閉空間に対して出入りする人物を識別する第２の識別情報であり、
    　前記制御部は、
    　前記第１の識別情報および前記第２の識別情報を照合し、
    　前記第１の識別情報および前記第２の識別情報の照合結果に基づき、前記閉空間内における顔画像の認証処理において検索対象となる前記登録データベースに登録された顔画像の検索範囲を決定する、
    　顔画像処理装置。
  11. 　請求項１０に記載の顔画像処理装置であって、
    　前記第２の識別情報が、前記閉空間に入場する人物に対応する入場者識別情報であり、
    　前記制御部は、前記入場者識別情報に合致する第１の識別情報および当該第１の識別情報に対応する顔画像を前記検索範囲に含める、
    　顔画像処理装置。
  12. 　請求項１０に記載の顔画像処理装置であって、
    　前記第２の識別情報が、前記閉空間から退場する人物に対応する退場者識別情報であり、
    　前記制御部は、前記退場者識別情報に合致する第１の識別情報および当該第１の識別情報に対応する顔画像を前記検索範囲から除外する、
    　顔画像処理装置。
  13. 　請求項１０に記載の顔画像処理装置であって、
    　前記制御部は、
    　前記閉空間に対して入場した人物の第２の識別情報に合致する第１の識別情報および当該第１の識別情報に対応する顔画像を前記検索範囲に含め、
    　前記閉空間に対して入場した人物の前記閉空間からの退場が検知された場合は、前記検索範囲に含めた第１の識別情報及び顔画像を前記検索範囲から除外する、
    　顔画像処理装置。
  14. 　請求項１０に記載の顔画像処理装置であって、
    　前記制御部は、
    　前記閉空間に対して入場した人物の第２の識別情報に合致する第１の識別情報および当該第１の識別情報に対応する顔画像を前記検索範囲に含め、
    　前記閉空間内における顔画像の認証処理において、前記検索範囲に含めた第１の識別情報及び顔画像を認証した場合は、当該検索範囲に含めた第１の識別情報及び顔画像を無効にする、
    　顔画像処理装置。
  15. 　請求項９に記載の顔画像処理装置であって、
    　前記絞込み情報は、顔画像のグループに対応付けられて登録されており、
    　前記制御部は、前記顔画像の検索範囲を、取得される絞込み情報に対応する顔画像のグループに限定する、
    　顔画像処理装置。
  16. 　請求項１５に記載の顔画像処理装置であって、
    　前記絞込み情報は、特定の音声、被認証者の歩容，予め定められた動作、パスワードの少なくとも１つを含む、
    　顔画像処理装置。
PCT/JP2017/033388 2016-12-16 2017-09-15 顔画像処理方法および顔画像処理装置 WO2018110012A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/469,042 US11170086B2 (en) 2016-12-16 2017-09-15 Face image processing method and face image processing device that narrow a search range of face images utilizing a registration database
JP2018556187A JP7050231B2 (ja) 2016-12-16 2017-09-15 顔画像処理方法および顔画像処理装置
EP17880175.9A EP3557525B1 (en) 2016-12-16 2017-09-15 Face image processing method and face image processing device
CN201780076859.2A CN110073407B (zh) 2016-12-16 2017-09-15 面部图像处理方法和面部图像处理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-244461 2016-12-16
JP2016244461 2016-12-16

Publications (1)

Publication Number Publication Date
WO2018110012A1 true WO2018110012A1 (ja) 2018-06-21

Family

ID=62558375

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/033388 WO2018110012A1 (ja) 2016-12-16 2017-09-15 顔画像処理方法および顔画像処理装置

Country Status (5)

Country Link
US (1) US11170086B2 (ja)
EP (1) EP3557525B1 (ja)
JP (1) JP7050231B2 (ja)
CN (1) CN110073407B (ja)
WO (1) WO2018110012A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020026368A1 (ja) * 2018-07-31 2020-02-06 日本電気株式会社 情報処理装置、情報処理方法及び記録媒体
JP2020086780A (ja) * 2018-11-21 2020-06-04 日本電気株式会社 情報処理装置
JP2020140732A (ja) * 2020-05-29 2020-09-03 パソナ・パナソニックビジネスサービス株式会社 認証システム、サーバ、認証プログラム
JP2020161063A (ja) * 2019-03-28 2020-10-01 株式会社セガ 生体情報登録システム
WO2021260941A1 (ja) * 2020-06-26 2021-12-30 日本電気株式会社 サーバ装置、端末、システム、サーバ装置の制御方法及び記憶媒体
JP7036300B1 (ja) * 2021-05-31 2022-03-15 日本電気株式会社 システム、認証方法、認証端末、認証端末の制御方法及びプログラム
JP7116372B1 (ja) 2021-05-31 2022-08-10 日本電気株式会社 認証端末、認証端末の制御方法及びプログラム
WO2022190358A1 (ja) * 2021-03-12 2022-09-15 日本電気株式会社 画像処理装置、画像処理方法、プログラム
WO2022230204A1 (ja) 2021-04-30 2022-11-03 日本電気株式会社 情報処理システム、情報処理方法、及び記録媒体

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7327923B2 (ja) * 2018-10-18 2023-08-16 キヤノン株式会社 情報処理装置、情報処理方法、システムおよびプログラム
JP7218837B2 (ja) * 2020-03-18 2023-02-07 日本電気株式会社 ゲート装置、認証システム、ゲート装置の制御方法及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001331801A (ja) * 2000-03-15 2001-11-30 Cai Kk 個人認証装置および個人認証方法および記録媒体
JP2004324183A (ja) 2003-04-24 2004-11-18 Oki Electric Ind Co Ltd ゲート管理システムおよびそのプログラム
JP2005129016A (ja) 2003-09-29 2005-05-19 Fuji Photo Film Co Ltd 認証システム、プログラム、及び建築物
JP2006293644A (ja) * 2005-04-08 2006-10-26 Canon Inc 情報処理装置、情報処理方法
JP2008071366A (ja) * 2007-10-22 2008-03-27 Toshiba Corp 顔画像照合装置、顔画像照合システム及び顔画像照合方法
JP2009009588A (ja) * 2001-07-27 2009-01-15 Toshiba Corp 顔画像認識装置および通行制御装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003108984A (ja) 2001-07-27 2003-04-11 Toshiba Corp 顔画像認識装置、通行制御装置、顔画像認識方法、及び通行制御方法
JP2006236244A (ja) * 2005-02-28 2006-09-07 Toshiba Corp 顔認証装置および入退場管理装置
JP4855180B2 (ja) * 2006-08-25 2012-01-18 株式会社日立国際電気 画像処理システム
JP5326527B2 (ja) * 2008-11-28 2013-10-30 富士通株式会社 認証装置及び認証方法
JP2011150497A (ja) * 2010-01-21 2011-08-04 Mitsubishi Electric Corp 人物認証装置、人物認証方法、およびそのソフトウェアプログラム
US9582707B2 (en) * 2011-05-17 2017-02-28 Qualcomm Incorporated Head pose estimation using RGBD camera
EP2546782B1 (en) * 2011-07-11 2014-06-25 Accenture Global Services Limited Liveness detection
US9165180B2 (en) * 2012-10-12 2015-10-20 Microsoft Technology Licensing, Llc Illumination sensitive face recognition
JP6248178B2 (ja) * 2014-02-26 2017-12-13 株式会社日立製作所 顔認証システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001331801A (ja) * 2000-03-15 2001-11-30 Cai Kk 個人認証装置および個人認証方法および記録媒体
JP2009009588A (ja) * 2001-07-27 2009-01-15 Toshiba Corp 顔画像認識装置および通行制御装置
JP2004324183A (ja) 2003-04-24 2004-11-18 Oki Electric Ind Co Ltd ゲート管理システムおよびそのプログラム
JP2005129016A (ja) 2003-09-29 2005-05-19 Fuji Photo Film Co Ltd 認証システム、プログラム、及び建築物
JP2006293644A (ja) * 2005-04-08 2006-10-26 Canon Inc 情報処理装置、情報処理方法
JP2008071366A (ja) * 2007-10-22 2008-03-27 Toshiba Corp 顔画像照合装置、顔画像照合システム及び顔画像照合方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3557525A4

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7482381B2 (ja) 2018-07-31 2024-05-14 日本電気株式会社 情報処理装置、情報処理方法及び記録媒体
JP7176565B2 (ja) 2018-07-31 2022-11-22 日本電気株式会社 情報処理装置、情報処理方法及びプログラム
US11610438B2 (en) 2018-07-31 2023-03-21 Nec Corporation Information processing apparatus, information processing method, and storage medium
US10963716B2 (en) 2018-07-31 2021-03-30 Nec Corporation Information processing apparatus, information processing method, and storage medium
JPWO2020026368A1 (ja) * 2018-07-31 2021-08-02 日本電気株式会社 情報処理装置、情報処理方法及びプログラム
US12045754B2 (en) 2018-07-31 2024-07-23 Nec Corporation Information processing apparatus, information processing method, and storage medium
WO2020026368A1 (ja) * 2018-07-31 2020-02-06 日本電気株式会社 情報処理装置、情報処理方法及び記録媒体
JP2020086780A (ja) * 2018-11-21 2020-06-04 日本電気株式会社 情報処理装置
US11734412B2 (en) 2018-11-21 2023-08-22 Nec Corporation Information processing device
JP2020161063A (ja) * 2019-03-28 2020-10-01 株式会社セガ 生体情報登録システム
JP2020140732A (ja) * 2020-05-29 2020-09-03 パソナ・パナソニックビジネスサービス株式会社 認証システム、サーバ、認証プログラム
JP7040690B1 (ja) * 2020-06-26 2022-03-23 日本電気株式会社 サーバ装置、システム、サーバ装置の制御方法及びコンピュータプログラム
WO2021260941A1 (ja) * 2020-06-26 2021-12-30 日本電気株式会社 サーバ装置、端末、システム、サーバ装置の制御方法及び記憶媒体
WO2022190358A1 (ja) * 2021-03-12 2022-09-15 日本電気株式会社 画像処理装置、画像処理方法、プログラム
WO2022230204A1 (ja) 2021-04-30 2022-11-03 日本電気株式会社 情報処理システム、情報処理方法、及び記録媒体
JP2022184831A (ja) * 2021-05-31 2022-12-13 日本電気株式会社 認証端末、認証端末の制御方法及びプログラム
JP2022184709A (ja) * 2021-05-31 2022-12-13 日本電気株式会社 認証端末、認証端末の制御方法及びプログラム
WO2022254484A1 (ja) * 2021-05-31 2022-12-08 日本電気株式会社 システム、サーバ装置、認証方法及び記憶媒体
JP7363982B2 (ja) 2021-05-31 2023-10-18 日本電気株式会社 認証端末、認証端末の制御方法及びプログラム
JP7116372B1 (ja) 2021-05-31 2022-08-10 日本電気株式会社 認証端末、認証端末の制御方法及びプログラム
JP7036300B1 (ja) * 2021-05-31 2022-03-15 日本電気株式会社 システム、認証方法、認証端末、認証端末の制御方法及びプログラム

Also Published As

Publication number Publication date
EP3557525A1 (en) 2019-10-23
US11170086B2 (en) 2021-11-09
US20190311104A1 (en) 2019-10-10
CN110073407B (zh) 2023-05-12
CN110073407A (zh) 2019-07-30
EP3557525A4 (en) 2019-11-20
EP3557525B1 (en) 2021-04-07
JP7050231B2 (ja) 2022-04-08
JPWO2018110012A1 (ja) 2019-10-24

Similar Documents

Publication Publication Date Title
WO2018110012A1 (ja) 顔画像処理方法および顔画像処理装置
US11551223B2 (en) Biometric pre-identification
US11687637B2 (en) Biometric ticketing
JP2023139040A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
US20240370870A1 (en) Biometric pre-identification
WO2022044274A1 (ja) 認証制御装置、認証システム、認証制御方法及び非一時的なコンピュータ可読媒体
WO2024195121A1 (ja) 認証システム、認証方法及び記録媒体
JP2006099457A (ja) 所在管理システム
JP2024104627A (ja) 情報処理システム、情報処理方法、及びプログラム
Elliott Training Development Papers

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17880175

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018556187

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017880175

Country of ref document: EP

Effective date: 20190716