WO2021214857A1 - 照合装置、照合システム、照合方法、及び、照合プログラムが格納された非一時的なコンピュータ可読媒体 - Google Patents

照合装置、照合システム、照合方法、及び、照合プログラムが格納された非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2021214857A1
WO2021214857A1 PCT/JP2020/017150 JP2020017150W WO2021214857A1 WO 2021214857 A1 WO2021214857 A1 WO 2021214857A1 JP 2020017150 W JP2020017150 W JP 2020017150W WO 2021214857 A1 WO2021214857 A1 WO 2021214857A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
image
registered
collation
face
Prior art date
Application number
PCT/JP2020/017150
Other languages
English (en)
French (fr)
Inventor
康志 浜田
秀治 古明地
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to EP20931908.6A priority Critical patent/EP4141784A4/en
Priority to PCT/JP2020/017150 priority patent/WO2021214857A1/ja
Priority to US17/619,719 priority patent/US20220358787A1/en
Priority to JP2022516505A priority patent/JP7388544B2/ja
Publication of WO2021214857A1 publication Critical patent/WO2021214857A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Definitions

  • the present invention relates to a collation device, a collation system, a collation method, and a non-temporary computer-readable medium in which a collation program is stored.
  • Patent Document 1 discloses a system for collating a large number of people registered in a database with a person shown in a collation source image.
  • the face image of a candidate person out of a large number of people registered in the database and the face image of the person shown in the collation source image are superimposed to generate a composite image for consistency check.
  • the function to display the composite image in the window is provided.
  • the face image of a candidate person among a large number of people registered in the database and the face image of the person shown in the collation source image are only displayed in an superimposed manner.
  • An object of the present invention is to provide a non-transitory computer-readable medium containing a system, a collation method, and a collation program.
  • the collation device is based on a plurality of designated first feature points in the face area of the inspection subject extracted from the captured image taken by the inspection subject, and image data of the person registered in the database. By collating the extracted plurality of designated first feature points in the face area of the person, the photographed image of the person to be inspected and the registered image of the person generated based on the image data.
  • the adjusting means for adjusting the positional relationship of the A display control means for displaying is provided.
  • the collation method according to the present disclosure is based on a plurality of designated first feature points in the face area of the inspection subject extracted from the captured image taken by the inspection subject and image data of the person registered in the database. By collating the extracted plurality of designated first feature points in the face area of the person, the photographed image of the person to be inspected and the registered image of the person generated based on the image data.
  • the adjustment step for adjusting the positional relationship of the It includes a display control step for displaying.
  • the non-temporary computer-readable medium according to the present disclosure is registered in the database together with a plurality of designated first feature points in the face area of the inspection subject extracted from the photographed image taken by the inspection subject.
  • the photographed image of the person to be inspected and the image generated based on the image data are collated with a plurality of designated first feature points in the face area of the person extracted from the image data of the person.
  • the adjustment process for adjusting the positional relationship between the registered image of the person and the photographed image of the person to be inspected and the mark indicating the visible second feature point identified from the registered image of the person are superimposed.
  • the display control process for displaying on the display device and the collation program for executing the display are stored.
  • the present disclosure allows a non-temporary storage of a collation device, a collation system, a collation method, and a collation program that can facilitate a visual determination as to whether or not a person to be inspected corresponds to a specific person.
  • Computer-readable medium can be provided.
  • FIG. It is a block diagram which shows the structural example of the collation apparatus which concerns on Embodiment 1.
  • FIG. It is a flowchart which shows the operation of the collation apparatus shown in FIG. It is a conceptual diagram for demonstrating the collation process by the collation apparatus shown in FIG. It is a figure which shows an example of a plurality of feature points P1.
  • FIG. It is a block diagram which shows the structural example of the photographing apparatus provided in the collation system shown in FIG. It is a block diagram which shows the configuration example of the face registration terminal provided in the collation system shown in FIG.
  • FIG. 1 is a block diagram showing a configuration example of the collation device 100 according to the first embodiment.
  • the collation device 100 is a visible feature point (mole) identified from a photographed image of the inspection target person TG and a registered image of a candidate person RF extracted from the database as having a high possibility of being the same person as the inspection target person TG. Etc.) and the mark MK indicating the above are superimposed and displayed on the display device.
  • the test subject TG corresponds to a specific person (candidate person RF in this example).
  • a specific description will be given.
  • the collating device 100 includes an adjusting unit 111 and a display control unit 112.
  • the collation device 100 is connected to a network 500 (not shown).
  • the network 500 may be wired or wireless.
  • a face information DB (DataBase) and a photographing device (not shown) are connected to the network 500 (neither is shown).
  • Image data of the face areas of a plurality of people is registered in the face information DB.
  • a person ID user ID
  • image data of the face area of the person are associated and registered for each person.
  • the person registered in the face information DB is, for example, a person with a criminal history or a person under investigation.
  • the image data of each person registered in the face information DB is two-dimensional data including the face area facing the front, and the captured image of the inspection target person TG taken by the photographing device is ,
  • the case of two-dimensional data including a face area facing the front will be described, but the present invention is not limited to this.
  • the image data of each person registered in the face information DB may be three-dimensional data including the three-dimensional shape of the face region and the developed image.
  • the photographed image of the inspection subject TG photographed by the photographing apparatus may be two-dimensional data including a face region facing an arbitrary direction.
  • the adjustment unit 111 is based on the captured image of the inspection target person TG taken by the photographing device and the image data of the person (candidate person) RF extracted from the face information DB as having a high possibility of being the same person as the inspection target person TG.
  • the positional relationship with the generated registered image of the candidate person RF is adjusted.
  • the image data of each person registered in the face information DB is two-dimensional data as described above
  • the image data of the candidate person RF extracted from the face information DB is the registered image of the candidate person RF. Can be done.
  • the case where the registered image of the candidate person RF is extracted by the user's selection will be described as an example, but it may be automatically performed by using the face recognition device.
  • the adjustment unit 111 first first has a plurality of designated feature points (first feature points) P1 in the face area of the inspection target person TG extracted from the captured image, and the face of the candidate person RF extracted from the registered image.
  • the plurality of designated feature points (first feature points) P1 in the region are collated with each other.
  • the feature point P1 is a part of a face region commonly used to specify the orientation of a person's face. Upper center point, right earlobe point, left earlobe point, etc.
  • the adjusting unit 111 has a plurality of feature points P1 in the face region of the inspection subject TG extracted from the captured image and a plurality of feature points P1 in the face region of the candidate person RF extracted from the registered image, respectively. Adjust the position of the registered image of the candidate person RF so that they match.
  • the position of the visible feature point P2 specified in the face area of the candidate person RF is also adjusted.
  • the visible feature point P2 is a portion peculiar to the candidate person RF formed in the face region of the candidate person RF, and is, for example, a mole, a wrinkle, a stain, a freckle, a dimple, a wart, a scratch, and a scratch. , Tattoos, etc.
  • the feature point P2 need not be included in the feature point P1 used for adjusting the positional relationship.
  • the feature portion P1 in the face area of each person used when adjusting the position by the adjusting unit 111 is not always easy for a human to visually confirm. Therefore, by targeting the feature portion P2, which is easy for humans to visually confirm, to be highlighted, which will be described later, it is easy to determine whether or not the inspection target person TG is a specific person.
  • the type and position of the feature point P2 may be registered in the face information DB 200 in association with the registered image (two-dimensional data) of the candidate person RF, but the present invention is not limited to this.
  • the type and position of the feature point P2 may be acquired at an arbitrary timing based on the registered image (two-dimensional data) of the candidate person RF.
  • the display control unit 112 superimposes the photographed image of the inspection target person TG and the mark MK indicating the visible feature point P2 identified from the registered image of the adjusted candidate person RF and displays it on the display device.
  • the mark MK only needs to be able to emphasize the feature point P2. For example, a dotted line surrounding the feature point P2 or a shape and pattern of the feature point P2 using an emphasized color such as red is used. Further, as the mark MK, a display format (emphasized content) corresponding to the type of the feature point P2 may be used. For example, a red mark MK may be used for the feature point P2 of the “mole”, and a blue mark MK may be used for the feature point P2 of the “wrinkle”. It becomes easier to visually confirm which of the plurality of feature points P2 is emphasized.
  • FIG. 2 is a flowchart showing the operation of the collation device 100.
  • FIG. 3 is a conceptual diagram for explaining the collation process of the collation device 100.
  • the adjusting unit 111 positions the photographed image of the inspection target person TG photographed by the photographing apparatus and the registered image of the candidate person RF generated from the image data of the candidate person RF extracted from the face information DB. Adjust the relationship (step S101).
  • the image data of each person registered in the face information DB is two-dimensional data as described above
  • the image data of the candidate person RF extracted from the face information DB is the registered image of the candidate person RF. Can be done.
  • the adjustment unit 111 first has a plurality of designated feature points P1 in the face area of the inspection subject TG extracted from the captured image, and a plurality of designated feature points P1 in the face area of the candidate person RF extracted from the registered image. Is collated with the feature point P1 of.
  • the adjusting unit 111 has a plurality of feature points P1 in the face region of the inspection subject TG extracted from the captured image and a plurality of feature points P1 in the face region of the candidate person RF extracted from the registered image, respectively. Adjust the position of the registered image of the candidate person RF so that they match.
  • FIG. 4 is a diagram showing an example of a plurality of feature points P1.
  • Earlobe point P1g is designated.
  • the adjusting unit 111 has the feature points P1a to P1g in the face region of the inspection subject TG extracted from the captured image and the feature points P1a to P1g in the face region of the candidate person RF extracted from the registered image. Adjust the position of the registered image of the candidate person RF so that they match each other.
  • the display control unit 112 superimposes the photographed image of the inspection target person TG and the mark MK indicating the visible feature point P2 identified from the registered image of the adjusted candidate person RF and displays it on the display device. (Step S102).
  • the collation device 100 captures the photographed image of the inspection target person TG and the visible feature point (mole or the like) P2 of the candidate person RF identified from the registered image of the candidate person RF.
  • the mark MK shown is superimposed and displayed on the display device. As a result, it becomes easy to visually determine whether or not the test subject TG corresponds to a specific person (candidate person RF in this example).
  • the face information DB is provided outside the collation device 100
  • the present invention is not limited to this.
  • the face information DB may be provided inside the collation device 100.
  • the collation device 100 includes a processor, a memory, and a storage device as a configuration (not shown). Further, the storage device stores a computer program in which the processing of the guidance method according to the present embodiment is implemented. Then, the processor reads the computer program from the storage device into the memory and executes the computer program. As a result, the processor realizes the respective functions of the adjusting unit 111 and the display control unit 112.
  • the adjustment unit 111 and the display control unit 112 may each be realized by dedicated hardware.
  • some or all of the components of each device may be realized by a general-purpose or dedicated circuitry, a processor, and a combination thereof. These may be composed of a single chip or may be composed of a plurality of chips connected via a bus. A part or all of each component of each device may be realized by a combination of the above-mentioned circuit or the like and a program.
  • a processor a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an FPGA (Field-Programmable Gate Array), or the like can be used.
  • each component of the collation device 100 when a part or all of each component of the collation device 100 is realized by a plurality of information processing devices and circuits, the plurality of information processing devices and circuits may be centrally arranged or distributed. It may be arranged.
  • the information processing device, the circuit, and the like may be realized as a form in which each of the client-server system, the cloud computing system, and the like is connected via a communication network.
  • the function of the collation device 100 may be provided in the SaaS (Software as a Service) format.
  • FIG. 5 is a block diagram showing a configuration example of the collation system 600 according to the second embodiment.
  • the collation system 600 is preferably used, for example, to identify a person with a criminal history or a person under investigation.
  • the collation system 600 includes a collation device 100a, which is a specific example of the collation device 100, a face information DB 200, a face registration terminal 300, a photographing device 400, and a network 500.
  • a collation device 100a which is a specific example of the collation device 100
  • a face information DB 200 which is a specific example of the collation device 100
  • a face registration terminal 300 which is a specific example of the collation device 100
  • a photographing device 400 includes a network 500.
  • Each of the collation device 100a, the face information DB 200, the face registration terminal 300, and the photographing device 400 is connected via the network 500.
  • FIG. 6 is a block diagram showing a configuration example of the photographing device 400.
  • the photographing device 400 includes a photographing unit 410, a storage unit 420, a communication unit 430, and a control unit 440.
  • the photographing unit 410 is, for example, a surveillance camera and photographs the face image of the person to be inspected TG.
  • the storage unit 420 is a storage device in which a program for realizing each function of the photographing device 400 is stored.
  • the communication unit 430 is a communication interface with the network 500.
  • the control unit 440 controls the hardware included in the photographing device 400. Specifically, the control unit 440 has a shooting control unit 441.
  • the photographing control unit 441 photographs the face image of the person to be inspected TG by using the photographing unit 410.
  • the face area of the inspection subject TG photographed by the photographing unit 410 does not have to face the front, and may face any direction. Then, the photographing control unit 441 transmits the photographed image of the inspection target person TG photographed by the photographing unit 410 to the collating device 100a via the network 500.
  • FIG. 7 is a block diagram showing a configuration example of the face registration terminal 300.
  • the face registration terminal 300 includes a photographing unit 310, a storage unit 320, a communication unit 330, and a control unit 340.
  • the shooting unit 310 shoots a facial image of any person including a person with a criminal history or a person under investigation.
  • the storage unit 320 is a storage device that stores a program for realizing each function of the face registration terminal 300.
  • the communication unit 330 is a communication interface with the network 500.
  • the control unit 340 controls the hardware of the face registration terminal 300. Specifically, the control unit 340 includes a shooting control unit 341 and a registration request unit 342.
  • the shooting control unit 341 uses the shooting unit 310 to shoot a face image of an arbitrary person.
  • the photographing control unit 341 photographs the face region of each person from a plurality of angles by using, for example, the photographing unit 310.
  • the configuration of the photographing unit and the method of acquiring the three-dimensional data are not limited to the above.
  • three-dimensional data including a three-dimensional shape of a person's face region and a developed face image may be acquired.
  • the registration request unit 342 transmits a face information registration request including three-dimensional image data to the face information DB 200 via the network 500. After that, the registration requesting unit 342 receives the registration result from the face information DB 200.
  • Image data including the face area of each person is registered in the face information DB 200.
  • a person ID user ID
  • image data of the person three-dimensional data in this example
  • the person registered in the face information DB 200 is, for example, a person with a criminal history or a person under investigation.
  • FIG. 8 is a flowchart showing the flow of the face information registration process in the face information DB 200.
  • the face information DB 200 acquires the image data included in the face information registration request from the face registration terminal 300 (step S201). After that, the face information DB 200 issues a person ID (user ID) and registers the person ID and the image data in association with each other (step S202).
  • a person ID user ID
  • FIG. 9 is a block diagram showing a configuration example of the collation device 100a.
  • the collation device 100a is, for example, a server device realized by a computer, and includes a control unit 110, a storage unit 120, a memory 130, a communication unit 140, and a display unit 150. ..
  • the storage unit 120 is a storage device in which a program for realizing each function of the collation device 100a is stored.
  • the memory 130 is a storage area for temporarily storing the processing contents of the control unit 110, and is, for example, a volatile storage device such as a RAM.
  • the communication unit 140 is a communication interface with the network 500.
  • the display unit 150 is a display device such as a monitor.
  • the control unit 110 is a control device that controls the operation of the collation device 100a, and is, for example, a processor such as a CPU.
  • the control unit 110 reads the program read from the storage unit 120 into the memory 130 and executes the program. As a result, the control unit 110 realizes the functions of the adjustment unit 111, the display control unit 112, the captured image acquisition unit 113, and the registered image acquisition unit 114.
  • the photographed image acquisition unit 113 acquires the photographed image of the inspection target person TG photographed by the photographing unit 410 of the photographing apparatus 400 via the network 500.
  • the photographed image of the inspection target person TG acquired by the photographed image acquisition unit 113 is two-dimensional data including a face region facing an arbitrary direction.
  • the registered image acquisition unit 114 acquires the image data of the candidate person RF extracted from the face information DB 200 as having a high possibility of being the same person as the inspection target person TG via the network 500.
  • the image data acquired by the registered image acquisition unit 114 is three-dimensional data including the three-dimensional shape of the face region of the candidate person RF and the developed image.
  • the case where the registered image of the candidate person RF is extracted by the user's selection will be described as an example, but it may be automatically performed by using the face recognition device.
  • the adjustment unit 111 is a candidate generated based on the photographed image of the inspection target person TG acquired by the photographed image acquisition unit 113 and the image data (three-dimensional data) of the candidate person RF acquired by the registered image acquisition unit 114. Adjust the positional relationship with the registered image of the person RF.
  • the adjustment unit 111 first designates a plurality of designated feature points P1 in the face area of the inspection target person TG extracted from the captured image and the face area of the candidate person RF extracted from the three-dimensional shape of the image data.
  • the plurality of feature points P1 are collated with each other.
  • the feature point P1 is a part of a face region commonly used to specify the orientation of a person's face. Upper center point, right earlobe point, left earlobe point, etc.
  • the adjusting unit 111 has a plurality of feature points P1 in the face region of the inspection subject TG extracted from the captured image and a plurality of feature points P1 in the face region of the candidate person RF extracted from the three-dimensional shape, respectively. Adjust the orientation (position) of the three-dimensional shape of the candidate person RF so that they match. As a result, a registered image (two-dimensional data) of the candidate person RF facing the same direction as the inspection target person TG shown in the photographed image is generated.
  • the position of the visible feature point P2 specified in the face area of the candidate person RF is also adjusted.
  • the visible feature point P2 is a portion peculiar to the candidate person RF formed in the face region of the candidate person RF, and is, for example, a mole, a wrinkle, a stain, a freckle, a dimple, a wart, a scratch, and a scratch. , Tattoos, etc.
  • the feature point P2 need not be included in the feature point P1 used for adjusting the positional relationship.
  • the feature portion P1 in the face area of each person used when adjusting the position by the adjusting unit 111 is not always easy for a human to visually confirm. Therefore, by targeting the feature portion P2, which is easy for humans to visually confirm, to be highlighted, which will be described later, it is easy to determine whether or not the inspection target person TG is a specific person.
  • the type and position of the feature point P2 may be registered in the face information DB 200 in association with the three-dimensional data of the candidate person RF, but the present invention is not limited to this.
  • the type and position of the feature point P2 may be acquired at an arbitrary timing based on the three-dimensional data of the candidate person RF.
  • the display control unit 112 superimposes a photographed image of the inspection target person TG and a mark MK indicating a visible feature point P2 identified from the registered image of the candidate person RF whose face direction has been adjusted, and displays the display unit 112. Display on 150.
  • the feature point P2 can be emphasized. For example, a dotted line surrounding the feature point P2 or a shape and pattern of the feature point P2 using an emphasized color such as red is used.
  • a display format (emphasized content) corresponding to the type of the feature point P2 may be used. For example, a red mark MK may be used for the feature point P2 of the “mole”, and a blue mark MK may be used for the feature point P2 of the “wrinkle”. It becomes easier to visually confirm which of the plurality of feature points P2 is emphasized.
  • FIG. 10 is a flowchart showing the operation of the collating device 100a.
  • FIG. 11 is a conceptual diagram for explaining the collation process of the collation device 100a.
  • the captured image acquisition unit 113 acquires the captured image of the inspection target person TG photographed by the photographing unit 410 of the photographing device 400 via the network 500 (step S301).
  • the photographed image of the inspection target person TG acquired by the photographed image acquisition unit 113 is two-dimensional data including a face region facing an arbitrary direction.
  • the registered image acquisition unit 114 acquires the image data of the candidate person RF extracted from the face information DB 200 as having a high possibility of being the same person as the inspection target person TG via the network 500 (step S302).
  • the image data acquired by the registered image acquisition unit 114 is three-dimensional data including the three-dimensional shape of the face region of the candidate person RF and the developed image.
  • the adjustment unit 111 of the candidate person RF generated based on the photographed image of the inspection target person TG acquired by the photographed image acquisition unit 113 and the image data of the candidate person RF acquired by the registered image acquisition unit 114.
  • the positional relationship between the registered image and the image is adjusted (step S303).
  • the adjustment unit 111 first designates a plurality of designated feature points P1 in the face area of the inspection target person TG extracted from the captured image and the face area of the candidate person RF extracted from the three-dimensional shape of the image data.
  • the plurality of feature points P1 are collated with each other.
  • the adjusting unit 111 has a plurality of feature points P1 in the face region of the inspection subject TG extracted from the captured image and a plurality of feature points P1 in the face region of the candidate person RF extracted from the three-dimensional shape, respectively. Adjust the orientation (position) of the three-dimensional shape of the candidate person RF so that they match. As a result, a registered image (two-dimensional data) of the candidate person RF facing the same direction as the inspection target person TG shown in the photographed image is generated.
  • FIG. 12 is a diagram showing an example of a plurality of feature points P1.
  • Earlobe point P1g is designated.
  • the adjusting unit 111 has the feature points P1a to P1g in the face region of the inspection subject TG extracted from the captured image and the feature points P1a to P1g in the face region of the candidate person RF extracted from the three-dimensional shape. Adjust the orientation of the three-dimensional shape of the candidate person RF so that they match each other.
  • the display control unit 112 superimposes the photographed image of the inspection target person TG and the mark MK indicating the visible feature point P2 identified from the registered image of the candidate person RF whose face direction is adjusted. It is displayed on the display unit 150 (step S304).
  • the collation device 100a and the collation system 600 have visible feature points (mole) of the candidate person RF identified from the photographed image of the inspection target person TG and the registered image of the candidate person RF. Etc.)
  • the mark MK indicating P2 is superimposed and displayed on the display device. As a result, it becomes easy to visually determine whether or not the test subject TG corresponds to a specific person (candidate person RF in this example).
  • the collation device 100a By registering the three-dimensional data of the face area of each person in the face information DB 200, the collation device 100a is not limited to the photographed image of the inspection target person TG facing the front, and the inspection facing any direction.
  • the collation process can be performed using the captured image of the target person TG.
  • the collation device 100a can perform collation processing by using a photographed image of the inspection target person TG photographed by a photographing device 400 such as a security camera that is not conscious of being photographed. Become.
  • the case where the face information DB 200 is provided outside the collation device 100a has been described as an example, but the present invention is not limited to this.
  • the face information DB 200 may be provided inside the collation device 100a.
  • Non-temporary computer-readable media include various types of tangible storage media.
  • Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks).
  • Examples of non-temporary computer-readable media include CD-ROM (Read Only Memory), CD-R, CD-R / W, DVD (Digital Versatile Disc), and semiconductor memory (for example, mask ROM, PROM (Programmable)).
  • ROM Read Only Memory
  • CD-R Compact Only Memory
  • CD-R Compact Disc
  • CD-R / W Compact Disc
  • DVD Digital Versatile Disc
  • semiconductor memory for example, mask ROM, PROM (Programmable)
  • ROM EPROM (ErasablePROM), flash ROM, RAM (RandomAccessMemory)).
  • the program may also be supplied to the computer by various types of temporary computer readable medium.
  • temporary computer-readable media include electrical, optical, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • the face recognition device is, for example, from the face feature information (set of feature points) of the inspection target person TG extracted from the captured image of the photographing device 400 and the registered image of each person registered in the face information DB 200. Face recognition is performed by collating the extracted face feature information of each person.
  • the face recognition device has a predetermined value of matching degree between the face feature information of the inspection target person TG extracted from the captured image and the face feature information of a certain person extracted from the registered image of the face information DB 200. In the above case, it is determined that the person is likely to be the same person as the person to be inspected TG. A person who is determined to have a high possibility of being the same person as the person to be inspected TG is used in the collation device 100a as a candidate person RF.
  • the collation device has the photographed image of the inspection target person TG and the mark MK indicating the visible feature point P2 of the candidate person RF identified from the registered image of the candidate person RF.
  • the collating device (more specifically, the display control unit) may be configured so that the mark MK can be partially displayed by a wipe operation, or the transparency of the mark MK may be changed.
  • the collation device may display the registered image of the candidate person RF in addition to the photographed image of the inspection target person TG and the mark MK on the display device.
  • the collation device may be configured so that the registered images of the mark MK and the candidate person RF can be partially displayed by a wipe operation, or the transparency of the registered images of the mark MK and the candidate person RF can be changed. It may have been done.
  • the collation device (more specifically, the display control unit) according to the first and second embodiments is formed in a region (that is, a hidden region) of the face region of the inspection subject TG that is not displayed in the captured image.
  • the mark MK indicating the feature point P2 may be displayable.
  • the mark MK indicating the feature point P2 formed in the face region that is not displayed in the captured image is displayed in a display format different from that of the other mark MKs. Thereby, it can be used as a reference when further extracting the candidate person RF from the face information DB.
  • Appendix 1 A plurality of designated first feature points in the face area of the person to be inspected extracted from the photographed image of the person to be inspected, and the face area of the person extracted from the image data of the person registered in the database. Adjustment to adjust the positional relationship between the photographed image of the inspection target person and the registered image of the person generated based on the image data by collating the plurality of first feature points specified in Means and A display control means for superimposing the photographed image of the person to be inspected and a mark indicating a visible second feature point identified from the registered image of the person and displaying the image on the display device.
  • the adjusting means includes the plurality of designated first feature points in the face area of the person to be inspected extracted from the captured image, and the designated points in the face area of the person extracted from the three-dimensional data. It is configured to collate a plurality of first feature points and generate the registered image in which the orientation of the face of the person is adjusted based on the collation result.
  • the collation device according to Appendix 1.
  • the adjusting means includes the plurality of designated first feature points in the face area of the person to be inspected extracted from the captured image, and the designated points in the face area of the person extracted from the three-dimensional data. It is configured to generate the registered image in which the orientation of the face of the person is adjusted so that the plurality of first feature points coincide with each other.
  • the collation device according to Appendix 2.
  • the second feature point is different from the first feature point.
  • the collation device according to any one of Supplementary note 1 to 3.
  • the second feature is at least one of moles, wrinkles, blemishes, freckles, dimples, warts, scratches, and tattoos.
  • the collation device according to any one of Appendix 1 to 4.
  • the second feature point includes the contour of the facial region and the shape of the nose muscle.
  • the collation device according to any one of Supplementary note 1 to 5.
  • the display control means displays the mark in a display format according to the type of the second feature point.
  • the collation device according to any one of Supplementary note 1 to 6.
  • the display control means is configured to be able to partially display the mark by a wipe operation.
  • the collation device according to any one of Supplementary note 1 to 7.
  • the display control means is configured so that the transparency of the mark can be changed.
  • the collation device according to any one of Supplementary note 1 to 8.
  • the display control means is configured to be able to display the mark indicating the second feature point formed in a region of the face region of the inspection target person that is not displayed in the captured image.
  • the collation device according to any one of Supplementary note 1 to 9.
  • the display control means is configured to be capable of superimposing and displaying the photographed image of the person to be inspected and the registered image of the person in addition to the mark.
  • the collation device according to any one of Appendix 1 to 10.
  • the display control means is configured to be able to partially display the mark and the registered image of the person by a wipe operation.
  • the display control means is configured so that the transparency of each of the mark and the registered image of the person can be changed by a wipe operation.
  • the collation device according to Appendix 11.
  • the display device is further provided.
  • the collation device according to any one of Supplementary note 1 to 14.
  • Appendix 16 An imaging device that photographs the facial area of the person to be inspected, and The collation device described in Appendix 1 and A matching system with.
  • (Appendix 17) A plurality of designated first feature points in the face area of the person to be inspected extracted from the photographed image of the person to be inspected, and the face area of the person extracted from the image data of the person registered in the database. Adjustment to adjust the positional relationship between the photographed image of the inspection target person and the registered image of the person generated based on the image data by collating the plurality of first feature points specified in Steps and A display control step in which the photographed image of the person to be inspected and a mark indicating a visible second feature point identified from the registered image of the person are superimposed and displayed on the display device. A matching method with.
  • Appendix 19 A plurality of designated first feature points in the face area of the person to be inspected extracted from the photographed image of the person to be inspected, and the face area of the person extracted from the image data of the person registered in the database. Adjustment to adjust the positional relationship between the photographed image of the inspection target person and the registered image of the person generated based on the image data by collating the plurality of first feature points specified in Processing and A display control process in which the photographed image of the person to be inspected and a mark indicating a visible second feature point identified from the registered image of the person are superimposed and displayed on the display device.
  • Appendix 20 Three-dimensional data including the three-dimensional shape of the face region of the person and the developed image are registered in the database as the image data.
  • the plurality of designated first feature points in the face area of the person to be inspected extracted from the captured image and the designated points in the face area of the person extracted from the three-dimensional data. It is configured to collate a plurality of first feature points and generate the registered image in which the orientation of the face of the person is adjusted based on the collation result.
  • Collation device 100a Collation device 110 Control unit 111 Adjustment unit 112 Display control unit 113 Captured image acquisition unit 114 Registered image acquisition unit 120 Storage unit 130 Memory 140 Communication unit 150 Display unit 200 Face information DB 300 Face registration terminal 310 Imaging unit 320 Storage unit 330 Communication unit 340 Control unit 341 Imaging control unit 342 Registration request unit 400 Imaging device 410 Imaging unit 420 Storage unit 430 Communication unit 440 Control unit 441 Imaging control unit 500 Network 600 Verification system MK mark P1 feature point P2 feature point RF candidate person TG inspection target person

Abstract

一実施の形態によれば、表示装置（１００）は、検査対象者が撮影された撮影画像から抽出された検査対象者の顔領域における指定された複数の第１特徴点と、データベースに登録された人物の画像データから抽出された人物の顔領域における指定された複数の第１特徴点と、を照合して、検査対象者の撮影画像と、画像データに基づいて生成される人物の登録画像と、の位置関係を調整する調整手段（１１１）と、検査対象者の撮影画像と、人物の登録画像から特定される視認可能な第２特徴点を示すマークと、を重畳して表示装置に表示させる表示制御手段（１１２）と、を備える。

Description

照合装置、照合システム、照合方法、及び、照合プログラムが格納された非一時的なコンピュータ可読媒体
　本発明は、照合装置、照合システム、照合方法、及び、照合プログラムが格納された非一時的なコンピュータ可読媒体に関する。
　特許文献１には、データベースに登録された多数の人物と、照合元画像に写った人物と、の照合を行うシステムが開示されている。このシステムには、データベースに登録された多数の人物のうち候補となる人物の顔画像と、照合元画像に写った人物の顔画像と、を重畳して整合性チェック用の合成画像を生成し、その合成画像をウィンドウに表示させる機能が設けられている。
特開２００１－２７３４９６号公報
　特許文献１に開示されたシステムでは、データベースに登録された多数の人物のうち候補となる人物の顔画像と、照合元画像に写った人物の顔画像と、が重畳して表示されるに過ぎず、データベースに登録された候補の人物と、照合元画像に写った人物と、が同一人物であるか否かを正確に判定するには不十分であった。即ち、特許文献１に開示されたシステムでは、検査対象者が特定の人物に該当するか否かの視覚的な判断が依然として困難である、という課題があった。
　本開示は、このような課題を解決するためになされたものであり、検査対象者が特定の人物に該当するか否かの視覚的な判断を容易にすることが可能な、照合装置、照合システム、照合方法、及び、照合プログラムが格納された非一時的なコンピュータ可読媒体を提供することを目的とする。
　本開示にかかる照合装置は、検査対象者が撮影された撮影画像から抽出された前記検査対象者の顔領域における指定された複数の第１特徴点と、データベースに登録された人物の画像データから抽出された前記人物の顔領域における指定された複数の第１特徴点と、を照合して、前記検査対象者の前記撮影画像と、前記画像データに基づいて生成される前記人物の登録画像と、の位置関係を調整する調整手段と、前記検査対象者の前記撮影画像と、前記人物の前記登録画像から特定される視認可能な第２特徴点を示すマークと、を重畳して表示装置に表示させる表示制御手段と、を備える。
　本開示にかかる照合方法は、検査対象者が撮影された撮影画像から抽出された前記検査対象者の顔領域における指定された複数の第１特徴点と、データベースに登録された人物の画像データから抽出された前記人物の顔領域における指定された複数の第１特徴点と、を照合して、前記検査対象者の前記撮影画像と、前記画像データに基づいて生成される前記人物の登録画像と、の位置関係を調整する調整ステップと、前記検査対象者の前記撮影画像と、前記人物の前記登録画像から特定される視認可能な第２特徴点を示すマークと、を重畳して表示装置に表示させる表示制御ステップと、を備える。
　本開示にかかる非一時的なコンピュータ可読媒体は、検査対象者が撮影された撮影画像から抽出された前記検査対象者の顔領域における指定された複数の第１特徴点と、データベースに登録された人物の画像データから抽出された前記人物の顔領域における指定された複数の第１特徴点と、を照合して、前記検査対象者の前記撮影画像と、前記画像データに基づいて生成される前記人物の登録画像と、の位置関係を調整する調整処理と、前記検査対象者の前記撮影画像と、前記人物の前記登録画像から特定される視認可能な第２特徴点を示すマークと、を重畳して表示装置に表示させる表示制御処理と、を実行させる照合プログラムが格納されている。
　本開示により、検査対象者が特定の人物に該当するか否かの視覚的な判断を容易にすることが可能な、照合装置、照合システム、照合方法、及び、照合プログラムが格納された非一時的なコンピュータ可読媒体を提供することができる。
実施の形態１にかかる照合装置の構成例を示すブロック図である。 図１に示す照合装置の動作を示すフローチャートである。 図１に示す照合装置による照合処理について説明するための概念図である。 複数の特徴点Ｐ１の一例を示す図である。 実施の形態２にかかる照合システムの構成例を示すブロック図である。 図５に示す照合システムに設けられた撮影装置の構成例を示すブロック図である。 図５に示す照合システムに設けられた顔登録端末の構成例を示すブロック図である。 図５に示す照合システムに設けられた顔情報ＤＢにおける顔情報登録処理の流れを示すフローチャートである。 図５に示す照合システムに設けられた照合装置の構成例を示すブロック図である。 図９に示す照合装置の動作を示すフローチャートである。 図９に示す照合装置による照合処理について説明するための概念図である。 複数の特徴点Ｐ１の一例を示す図である。
　以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
＜実施の形態１＞
　図１は、実施の形態１にかかる照合装置１００の構成例を示すブロック図である。
　照合装置１００は、検査対象者ＴＧの撮影画像と、検査対象者ＴＧと同一人物の可能性が高いとしてデータベースから抽出された候補人物ＲＦの登録画像、から特定される視認可能な特徴点（ほくろ等）を示すマークＭＫと、を重畳して表示装置に表示させる。それにより、検査対象者ＴＧが特定の人物（本例では候補人物ＲＦ）に該当する否かの視覚的な判断が容易になる。以下、具体的に説明する。
　図１に示すように、照合装置１００は、調整部１１１と、表示制御部１１２と、を備える。なお、照合装置１００は、ネットワーク５００（不図示）に接続されている。ネットワーク５００は、有線であっても無線であってもよい。ネットワーク５００には、図示しない顔情報ＤＢ（ＤａｔａＢａｓｅ）及び撮影装置が接続されている（何れも不図示）。
　顔情報ＤＢには、複数の人物の顔領域の画像データが登録されている。具体的には、顔情報ＤＢには、人物ごとに、人物ＩＤ（ユーザＩＤ）及びその人物の顔領域の画像データが対応付けられて登録されている。顔情報ＤＢに登録されている人物は、例えば、犯罪歴のある人物や、捜査中の人物などである。
　本実施の形態では、顔情報ＤＢに登録された各人物の画像データが、正面を向いた顔領域を含む二次元データであり、かつ、撮影装置によって撮影された検査対象者ＴＧの撮影画像が、正面を向いた顔領域を含む二次元データの場合を説明するが、これに限られない。詳しくは後述するが、顔情報ＤＢに登録されている各人物の画像データは、顔領域の立体形状及び展開画像を含む三次元データであっても良い。その場合、撮影装置によって撮影された検査対象者ＴＧの撮影画像は、任意の方向を向いた顔領域を含む二次元データであって良い。
　調整部１１１は、撮影装置によって撮影された検査対象者ＴＧの撮影画像と、検査対象者ＴＧと同一人物の可能性が高いとして顔情報ＤＢから抽出された人物（候補人物）ＲＦの画像データから生成される当該候補人物ＲＦの登録画像と、の位置関係を調整する。なお、顔情報ＤＢに登録されている各人物の画像データが上述のように二次元データである場合、顔情報ＤＢから抽出された候補人物ＲＦの画像データは、候補人物ＲＦの登録画像ということができる。また、本実施の形態では、候補人物ＲＦの登録画像の抽出が、ユーザの選択によって行われる場合を例に説明するが、顔認証装置を用いて自動的に行われても良い。
　例えば、調整部１１１は、まず、撮影画像から抽出された検査対象者ＴＧの顔領域における指定された複数の特徴点（第１特徴点）Ｐ１と、登録画像から抽出された候補人物ＲＦの顔領域における指定された複数の特徴点（第１特徴点）Ｐ１と、を照合する。
　なお、特徴点Ｐ１は、人物の顔の向きを特定するために共通に用いられる顔領域の部位であって、一例として、鼻根点、鼻尖点、口裂正中点、右目上中心点、左目上中心点、右耳朶点、左耳朶点などである。
　そして、調整部１１１は、撮影画像から抽出された検査対象者ＴＧの顔領域における複数の特徴点Ｐ１と、登録画像から抽出された候補人物ＲＦの顔領域における複数の特徴点Ｐ１と、がそれぞれ一致するように候補人物ＲＦの登録画像の位置を調整する。
　なお、登録画像に写る候補人物ＲＦの位置の調整に伴って、当該候補人物ＲＦの顔領域において特定される視認可能な特徴点Ｐ２の位置も調整される。ここで、視認可能な特徴点Ｐ２は、候補人物ＲＦの顔領域に形成された当該候補人物ＲＦに特有の部分であって、例えば、ほくろ、しわ、しみ、そばかす、えくぼ、いぼ、傷、及び、刺青などである。特徴点Ｐ２は、位置関係の調整に用いられる特徴点Ｐ１に含まれる必要はない。
　調整部１１１による位置調整の際に用いられる各人物の顔領域における特徴部分Ｐ１は、必ずしも人間にとって視覚的に確認しやすいものとは限られない。そこで、人間にとって視覚的に確認しやすい特徴部分Ｐ２を後述する強調表示の対象とすることにより、検査対象者ＴＧが特定の人物であるか否かの判断をしやすくしている。
　また、特徴点Ｐ２の種類や位置は、候補人物ＲＦの登録画像（二次元データ）と関連付けて顔情報ＤＢ２００に登録されても良いが、これに限定されない。特徴点Ｐ２の種類や位置は、候補人物ＲＦの登録画像（二次元データ）を基にして、任意のタイミングで取得されるものであっても良い。
　表示制御部１１２は、検査対象者ＴＧの撮影画像と、調整後の候補人物ＲＦの登録画像から特定される視認可能な特徴点Ｐ２を示すマークＭＫと、を重畳して表示装置に表示させる。
　なお、マークＭＫは、特徴点Ｐ２を強調できれば良く、例えば、特徴点Ｐ２を囲む点線状のものや、赤色などの強調色が用いられた特徴点Ｐ２の形状及び模様状のものが用いられる。さらに、マークＭＫは、特徴点Ｐ２の種類に応じた表示形式（強調内容）のものが用いられても良い。例えば、“ほくろ”の特徴点Ｐ２に対しては、赤色のマークＭＫが用いられ、“しわ”の特徴点Ｐ２に対しては、青色のマークＭＫが用いられても良い。複数のある特徴点Ｐ２のうち、何れの特徴点Ｐ２が強調されているのかを視覚的に確認することがさらに容易になる。
　図２は、照合装置１００の動作を示すフローチャートである。
　図３は、照合装置１００の照合処理について説明するための概念図である。
　まず、調整部１１１は、撮影装置によって撮影された検査対象者ＴＧの撮影画像と、顔情報ＤＢから抽出された候補人物ＲＦの画像データから生成される当該候補人物ＲＦの登録画像と、の位置関係を調整する（ステップＳ１０１）。なお、顔情報ＤＢに登録されている各人物の画像データが上述のように二次元データである場合、顔情報ＤＢから抽出された候補人物ＲＦの画像データは、候補人物ＲＦの登録画像ということができる。
　例えば、調整部１１１は、まず、撮影画像から抽出された検査対象者ＴＧの顔領域における指定された複数の特徴点Ｐ１と、登録画像から抽出された候補人物ＲＦの顔領域における指定された複数の特徴点Ｐ１と、を照合する。
　その後、調整部１１１は、撮影画像から抽出された検査対象者ＴＧの顔領域における複数の特徴点Ｐ１と、登録画像から抽出された候補人物ＲＦの顔領域における複数の特徴点Ｐ１と、がそれぞれ一致するように候補人物ＲＦの登録画像の位置を調整する。
　図４は、複数の特徴点Ｐ１の一例を示す図である。
　図４を参照すると、例えば、複数の特徴点Ｐ１として、鼻根点Ｐ１ａ、鼻尖点Ｐ１ｂ、口裂正中点Ｐ１ｃ、右目上中心点Ｐ１ｄ、左目上中心点Ｐ１ｅ、右耳朶点Ｐ１ｆ、及び、左耳朶点Ｐ１ｇが指定されている。このとき、調整部１１１は、撮影画像から抽出された検査対象者ＴＧの顔領域における特徴点Ｐ１ａ～Ｐ１ｇと、登録画像から抽出された候補人物ＲＦの顔領域における特徴点Ｐ１ａ～Ｐ１ｇと、がそれぞれ一致するように候補人物ＲＦの登録画像の位置を調整する。
　その後、表示制御部１１２は、検査対象者ＴＧの撮影画像と、調整後の候補人物ＲＦの登録画像から特定される視認可能な特徴点Ｐ２を示すマークＭＫと、を重畳して表示装置に表示させる（ステップＳ１０２）。
　このように、本実施の形態にかかる照合装置１００は、検査対象者ＴＧの撮影画像と、候補人物ＲＦの登録画像から特定される当該候補人物ＲＦの視認可能な特徴点（ほくろ等）Ｐ２を示すマークＭＫと、を重畳して表示装置に表示させる。それにより、検査対象者ＴＧが特定の人物（本例では候補人物ＲＦ）に該当する否かの視覚的な判断が容易になる。
　本実施の形態では、顔情報ＤＢが照合装置１００の外部に設けられた場合を例に説明したが、これに限られない。顔情報ＤＢは、照合装置１００の内部に設けられても良い。
　なお、照合装置１００は、図示しない構成として、プロセッサ、メモリ及び記憶装置を備える。また、前記記憶装置には、本実施の形態にかかる案内方法の処理が実装されたコンピュータプログラムが記憶されている。そして、前記プロセッサは、記憶装置からコンピュータプログラムを前記メモリへ読み込ませ、前記コンピュータプログラムを実行する。それにより、前記プロセッサは、調整部１１１及び表示制御部１１２のそれぞれの機能を実現する。
　または、調整部１１１及び表示制御部１１２は、それぞれが専用のハードウェアによって実現されてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路（circuitry）、プロセッサ、及び、これらの組み合せによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続された複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field-Programmable Gate Array）等を用いることができる。
　また、照合装置１００の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、照合装置１００の機能がＳａａＳ（Software as a Service）形式で提供されてもよい。
＜実施の形態２＞
　図５は、実施の形態２にかかる照合システム６００の構成例を示すブロック図である。照合システム６００は、例えば、犯罪歴のある人物や捜査中の人物の特定などに好適に用いられる。
　図５に示すように、照合システム６００は、照合装置１００の具体例である照合装置１００ａと、顔情報ＤＢ２００と、顔登録端末３００と、撮影装置４００と、ネットワーク５００と、を備える。照合装置１００ａ、顔情報ＤＢ２００、顔登録端末３００、及び、撮影装置４００のそれぞれは、ネットワーク５００を介して接続されている。
（撮影装置４００の詳細）
　図６は、撮影装置４００の構成例を示すブロック図である。
　図６に示すように、撮影装置４００は、撮影部４１０と、記憶部４２０と、通信部４３０と、制御部４４０と、を備える。
　撮影部４１０は、例えば監視カメラであって、検査対象者ＴＧの顔画像を撮影する。記憶部４２０は、撮影装置４００の各機能を実現するためのプログラムが格納される記憶装置である。通信部４３０は、ネットワーク５００との通信インターフェースである。制御部４４０は、撮影装置４００が有するハードウェアの制御を行う。具体的には、制御部４４０は、撮影制御部４４１を有する。
　撮影制御部４４１は、撮影部４１０を用いて検査対象者ＴＧの顔画像を撮影する。なお、撮影部４１０によって撮影される検査対象者ＴＧの顔領域は、正面を向いている必要は無く、任意の方向を向いていて良い。そして、撮影制御部４４１は、撮影部４１０によって撮影された検査対象者ＴＧの撮影画像をネットワーク５００を介して照合装置１００ａに送信する。
（顔登録端末３００の詳細）
　図７は、顔登録端末３００の構成例を示すブロック図である。
　図７に示すように、顔登録端末３００は、撮影部３１０と、記憶部３２０と、通信部３３０と、制御部３４０と、を備える。
　撮影部３１０は、犯罪歴のある人物や捜査中の人物を含む任意の人物の顔画像を撮影する。記憶部３２０は、顔登録端末３００の各機能を実現するためのプログラムが格納される記憶装置である。通信部３３０は、ネットワーク５００との通信インターフェースである。制御部３４０は、顔登録端末３００が有するハードウェアの制御を行う。具体的には、制御部３４０は、撮影制御部３４１と、登録要求部３４２と、を有する。
　撮影制御部３４１は、撮影部３１０を用いて任意の人物の顔画像を撮影する。ここで、撮影制御部３４１は、例えば、撮影部３１０を用いて各人物の顔領域を複数の角度から撮影する。それにより、各人物の顔領域の立体形状及び展開画像を含む三次元データの取得が可能となる。なお、撮影部の構成及び三次元データの取得方法は、上記に限定されない。例えば、ステレオカメラや深度センサを用いることによって、人物の顔領域の立体形状及び展開顔画像を含む三次元データの取得を行ってもよい。
　登録要求部３４２は、三次元の画像データを含む顔情報登録要求を、ネットワーク５００を介して顔情報ＤＢ２００に送信する。その後、登録要求部３４２は、登録の結果を、顔情報ＤＢ２００から受信する。
（顔情報ＤＢ２００の詳細）
　顔情報ＤＢ２００には、各人物の顔領域を含む画像データが登録されている。具体的には、顔情報ＤＢ２００には、人物ごとに、人物ＩＤ（ユーザＩＤ）及びその人物の画像データ（本例では三次元データ）が対応付けられて登録されている。顔情報ＤＢ２００に登録されている人物は、例えば、犯罪歴のある人物や、捜査中の人物などである。
　図８は、顔情報ＤＢ２００における顔情報登録処理の流れを示すフローチャートである。図８に示すように、まず、顔情報ＤＢ２００は、顔登録端末３００からの顔情報登録要求に含まれる画像データを取得する（ステップＳ２０１）。その後、顔情報ＤＢ２００は、人物ＩＤ（ユーザＩＤ）を発行し、その人物ＩＤと画像データとを対応付けて登録する（ステップＳ２０２）。
（照合装置１００ａの詳細）
　図９は、照合装置１００ａの構成例を示すブロック図である。
　図９に示すように、照合装置１００ａは、例えばコンピュータによって実現されるサーバ装置であって、制御部１１０と、記憶部１２０と、メモリ１３０と、通信部１４０と、表示部１５０と、を備える。
　記憶部１２０は、照合装置１００ａの各機能を実現するためのプログラムが格納される記憶装置である。メモリ１３０は、制御部１１０の処理内容を一時的に記憶する記憶領域であって、例えば、ＲＡＭ等の揮発性記憶装置である。通信部１４０は、ネットワーク５００との通信インターフェースである。表示部１５０は、モニタ等の表示装置である。制御部１１０は、照合装置１００ａの動作を制御する制御装置であって、例えば、ＣＰＵ等のプロセッサである。制御部１１０は、記憶部１２０から読み出したプログラムをメモリ１３０に読み込ませて実行する。それにより、制御部１１０は、調整部１１１、表示制御部１１２、撮影画像取得部１１３、及び、登録画像取得部１１４のそれぞれの機能を実現する。
　撮影画像取得部１１３は、撮影装置４００の撮影部４１０によって撮影された検査対象者ＴＧの撮影画像を、ネットワーク５００を介して取得する。なお、撮影画像取得部１１３によって取得された検査対象者ＴＧの撮影画像は、任意の方向を向いた顔領域を含む二次元データである。
　登録画像取得部１１４は、検査対象者ＴＧと同一人物の可能性が高いとして顔情報ＤＢ２００から抽出された候補人物ＲＦの画像データを、ネットワーク５００を介して取得する。なお、登録画像取得部１１４によって取得された画像データは、候補人物ＲＦの顔領域の立体形状及び展開画像を含む三次元データである。本実施の形態では、候補人物ＲＦの登録画像の抽出が、ユーザの選択によって行われる場合を例に説明するが、顔認証装置を用いて自動的に行われても良い。
　調整部１１１は、撮影画像取得部１１３によって取得された検査対象者ＴＧの撮影画像と、登録画像取得部１１４によって取得された候補人物ＲＦの画像データ（三次元データ）に基づいて生成される候補人物ＲＦの登録画像と、の位置関係を調整する。
　例えば、調整部１１１は、まず、撮影画像から抽出された検査対象者ＴＧの顔領域における指定された複数の特徴点Ｐ１と、画像データの立体形状から抽出された候補人物ＲＦの顔領域における指定された複数の特徴点Ｐ１と、を照合する。
　なお、特徴点Ｐ１は、人物の顔の向きを特定するために共通に用いられる顔領域の部位であって、一例として、鼻根点、鼻尖点、口裂正中点、右目上中心点、左目上中心点、右耳朶点、左耳朶点などである。
　そして、調整部１１１は、撮影画像から抽出された検査対象者ＴＧの顔領域における複数の特徴点Ｐ１と、立体形状から抽出された候補人物ＲＦの顔領域における複数の特徴点Ｐ１と、がそれぞれ一致するように候補人物ＲＦの立体形状の向き（位置）を調整する。それにより、撮影画像に写る検査対象者ＴＧと同じ方向を向いた候補人物ＲＦの登録画像（二次元データ）が生成される。
　なお、登録画像に写る候補人物ＲＦの顔の向きの調整に伴って、当該候補人物ＲＦの顔領域において特定される視認可能な特徴点Ｐ２の位置も調整される。ここで、視認可能な特徴点Ｐ２は、候補人物ＲＦの顔領域に形成された当該候補人物ＲＦに特有の部分であって、例えば、ほくろ、しわ、しみ、そばかす、えくぼ、いぼ、傷、及び、刺青などである。特徴点Ｐ２は、位置関係の調整に用いられる特徴点Ｐ１に含まれる必要はない。
　調整部１１１による位置調整の際に用いられる各人物の顔領域における特徴部分Ｐ１は、必ずしも人間にとって視覚的に確認しやすいものとは限られない。そこで、人間にとって視覚的に確認しやすい特徴部分Ｐ２を後述する強調表示の対象とすることにより、検査対象者ＴＧが特定の人物であるか否かの判断をしやすくしている。
　また、特徴点Ｐ２の種類や位置は、候補人物ＲＦの三次元データと関連付けて顔情報ＤＢ２００に登録されても良いが、これに限定されない。特徴点Ｐ２の種類や位置は、候補人物ＲＦの三次元データを基にして、任意のタイミングで取得されるものであっても良い。
　表示制御部１１２は、検査対象者ＴＧの撮影画像と、顔の向きが調整された候補人物ＲＦの登録画像から特定される視認可能な特徴点Ｐ２を示すマークＭＫと、を重畳して表示部１５０に表示させる。
　なお、マークＭＫは、特徴点Ｐ２を強調できれば良く、例えば、特徴点Ｐ２を囲む点線状のものや、赤色などの強調色が用いられた特徴点Ｐ２の形状及び模様状のものを用いる。また、マークＭＫは、特徴点Ｐ２の種類に応じた表示形式（強調内容）のものを用いてもよい。例えば、“ほくろ”の特徴点Ｐ２に対しては、赤色のマークＭＫが用いられ、“しわ”の特徴点Ｐ２に対しては、青色のマークＭＫが用いられても良い。複数のある特徴点Ｐ２のうち、何れの特徴点Ｐ２が強調されているのかを視覚的に確認することがさらに容易になる。
　図１０は、照合装置１００ａの動作を示すフローチャートである。
　図１１は、照合装置１００ａの照合処理について説明するための概念図である。
　まず、撮影画像取得部１１３は、撮影装置４００の撮影部４１０によって撮影された検査対象者ＴＧの撮影画像を、ネットワーク５００を介して取得する（ステップＳ３０１）。なお、撮影画像取得部１１３によって取得された検査対象者ＴＧの撮影画像は、任意の方向を向いた顔領域を含む二次元データである。
　その後、登録画像取得部１１４は、検査対象者ＴＧと同一人物の可能性が高いとして顔情報ＤＢ２００から抽出された候補人物ＲＦの画像データを、ネットワーク５００を介して取得する（ステップＳ３０２）。なお、登録画像取得部１１４によって取得された画像データは、候補人物ＲＦの顔領域の立体形状及び展開画像を含む三次元データである。
　その後、調整部１１１は、撮影画像取得部１１３により取得された検査対象者ＴＧの撮影画像と、登録画像取得部１１４により取得された候補人物ＲＦの画像データに基づいて生成される候補人物ＲＦの登録画像と、の位置関係を調整する（ステップＳ３０３）。
　例えば、調整部１１１は、まず、撮影画像から抽出された検査対象者ＴＧの顔領域における指定された複数の特徴点Ｐ１と、画像データの立体形状から抽出された候補人物ＲＦの顔領域における指定された複数の特徴点Ｐ１と、を照合する。
　その後、調整部１１１は、撮影画像から抽出された検査対象者ＴＧの顔領域における複数の特徴点Ｐ１と、立体形状から抽出された候補人物ＲＦの顔領域における複数の特徴点Ｐ１と、がそれぞれ一致するように候補人物ＲＦの立体形状の向き（位置）を調整する。それにより、撮影画像に写る検査対象者ＴＧと同じ方向を向いた候補人物ＲＦの登録画像（二次元データ）が生成される。
　図１２は、複数の特徴点Ｐ１の一例を示す図である。
　図１２を参照すると、例えば、複数の特徴点Ｐ１として、鼻根点Ｐ１ａ、鼻尖点Ｐ１ｂ、口裂正中点Ｐ１ｃ、右目上中心点Ｐ１ｄ、左目上中心点Ｐ１ｅ、右耳朶点Ｐ１ｆ、及び、左耳朶点Ｐ１ｇが指定されている。このとき、調整部１１１は、撮影画像から抽出された検査対象者ＴＧの顔領域における特徴点Ｐ１ａ～Ｐ１ｇと、立体形状から抽出された候補人物ＲＦの顔領域における特徴点Ｐ１ａ～Ｐ１ｇと、がそれぞれ一致するように候補人物ＲＦの立体形状の向きを調整する。
　その後、表示制御部１１２は、検査対象者ＴＧの撮影画像と、顔の向きが調整された候補人物ＲＦの登録画像から特定される視認可能な特徴点Ｐ２を示すマークＭＫと、を重畳して表示部１５０に表示させる（ステップＳ３０４）。
　このように、本実施の形態にかかる照合装置１００ａ及び照合システム６００は、検査対象者ＴＧの撮影画像と、候補人物ＲＦの登録画像から特定される当該候補人物ＲＦの視認可能な特徴点（ほくろ等）Ｐ２を示すマークＭＫと、を重畳して表示装置に表示させる。それにより、検査対象者ＴＧが特定の人物（本例では候補人物ＲＦ）に該当する否かの視覚的な判断が容易になる。
　なお、各人物の顔領域の三次元データを顔情報ＤＢ２００に登録しておくことにより、照合装置１００ａは、正面を向いた検査対象者ＴＧの撮影画像に限られず、任意の方向を向いた検査対象者ＴＧの撮影画像を用いて、照合処理を行うことが可能となる。具体的には、照合装置１００ａは、防犯カメラ等、撮影されていることが意識されないような撮影装置４００によって撮影された検査対象者ＴＧの撮影画像を用いて、照合処理を行うことが可能となる。
　本実施の形態では、顔情報ＤＢ２００が照合装置１００ａの外部に設けられた場合を例に説明したが、これに限られない。顔情報ＤＢ２００は、照合装置１００ａの内部に設けられても良い。
　なお、本開示は、ハードウェアの処理として説明した任意の処理を、ＣＰＵにコンピュータプログラムを実行させることにより実現することも可能である。
　上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）を含む。また、非一時的なコンピュータ可読媒体の例は、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、ＤＶＤ（Digital Versatile Disc）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　なお、本開示は上記実施形態１，２に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、本開示は、それぞれの実施形態を適宜組み合わせて実施されてもよい。
　上記実施の形態１，２では、顔情報ＤＢからの候補人物ＲＦの抽出が、ユーザの選択によって行われる場合を例に説明したが、これに限られず、顔認証装置を用いて自動的に行われてもよい。その場合、顔認証装置は、例えば、撮影装置４００の撮影画像から抽出された検査対象者ＴＧの顔特徴情報（特徴点の集合）と、顔情報ＤＢ２００に登録されている各人物の登録画像から抽出された各人物の顔特徴情報と、を照合することで、顔認証を行う。具体的には、顔認証装置は、撮影画像から抽出された検査対象者ＴＧの顔特徴情報と、顔情報ＤＢ２００の登録画像から抽出されたある人物の顔特徴情報と、の一致度合いが所定値以上の場合、その人物が検査対象者ＴＧと同一人物の可能性が高いと判断する。検査対象者ＴＧと同一人物の可能性が高いと判断された人物は、候補人物ＲＦとして、照合装置１００ａに用いられる。
　また、上記実施の形態１，２では、照合装置が、検査対象者ＴＧの撮影画像と、候補人物ＲＦの登録画像から特定される当該候補人物ＲＦの視認可能な特徴点Ｐ２を示すマークＭＫと、を重畳して表示装置に表示させる場合を例に説明したが、これに限られない。照合装置（より詳細には表示制御部）は、ワイプ操作によってマークＭＫを部分的に表示可能に構成されていても良いし、マークＭＫの透明度を変更可能に構成されていても良い。ワイプ操作によってマークＭＫを部分的に表示可能にしたり、マークＭＫの透明度を変更可能にしたりすることで、特徴部Ｐ２についての視覚的な確認をさらに容易にすることができる。
　或いは、照合装置は、検査対象者ＴＧの撮影画像、及び、マークＭＫに加えて、候補人物ＲＦの登録画像をさらに重畳して表示装置に表示させても良い。この場合、照合装置は、ワイプ操作によってマークＭＫ及び候補人物ＲＦの登録画像を部分的に表示可能に構成されていても良いし、マークＭＫ及び候補人物ＲＦの登録画像の透明度を変更可能に構成されていても良い。ワイプ操作によってマークＭＫ及び候補人物ＲＦの登録画像を部分的に表示可能にしたり、マークＭＫ及び候補人物ＲＦの登録画像の透明度を変更可能にしたりすることで、検査対象者ＴＧと候補人物ＲＦとの間の視認可能な差異がより明確になる。
　さらに、上記実施の形態１，２にかかる照合装置（より詳細には表示制御部）は、検査対象者ＴＧの顔領域のうち撮影画像に表示されない領域（即ち、隠れた領域）に形成された特徴点Ｐ２（ほくろ等）を示すマークＭＫを表示可能に構成されていても良い。この場合、撮影画像に表示されない顔領域に形成された特徴点Ｐ２を示すマークＭＫは、それ以外のマークＭＫとは異なる表示形式で表示されるようにする。それにより、顔情報ＤＢからさらに候補人物ＲＦを抽出する際の参考とすることができる。
　上記の実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
　検査対象者が撮影された撮影画像から抽出された前記検査対象者の顔領域における指定された複数の第１特徴点と、データベースに登録された人物の画像データから抽出された前記人物の顔領域における指定された複数の第１特徴点と、を照合して、前記検査対象者の前記撮影画像と、前記画像データに基づいて生成される前記人物の登録画像と、の位置関係を調整する調整手段と、
　前記検査対象者の前記撮影画像と、前記人物の前記登録画像から特定される視認可能な第２特徴点を示すマークと、を重畳して表示装置に表示させる表示制御手段と、
　を備えた、照合装置。
（付記２）
　前記データベースには、前記人物の顔領域の立体形状及び展開画像を含む三次元データが前記画像データとして登録され、
　前記調整手段は、前記撮影画像から抽出された前記検査対象者の顔領域における指定された前記複数の第１特徴点と、前記三次元データから抽出される前記人物の顔領域における指定された前記複数の第１特徴点と、を照合したうえで、その照合結果に基づいて前記人物の顔の向きが調整された前記登録画像を生成するように構成されている、
　付記１に記載の照合装置。
（付記３）
　前記調整手段は、前記撮影画像から抽出された前記検査対象者の顔領域における指定された前記複数の第１特徴点と、前記三次元データから抽出される前記人物の顔領域における指定された前記複数の第１特徴点と、がそれぞれ一致するように前記人物の顔の向きが調整された前記登録画像を生成するように構成されている、
　付記２に記載の照合装置。
（付記４）
　前記第２特徴点は、前記第１特徴点とは異なる、
　付記１～３の何れか一項に記載の照合装置。
（付記５）
　前記第２特徴点は、ほくろ、しわ、しみ、そばかす、えくぼ、いぼ、傷、及び、刺青の少なくとも何れかである、
　付記１～４の何れか一項に記載の照合装置。
（付記６）
　前記第２特徴点は、顔領域の輪郭、及び、鼻筋の形状を含む、
　付記１～５の何れか一項に記載の照合装置。
（付記７）
　前記表示制御手段は、前記第２特徴点の種類に応じた表示形式の前記マークを表示させる、
　付記１～６の何れか一項に記載の照合装置。
（付記８）
　前記表示制御手段は、ワイプ操作によって、前記マークを部分的に表示可能に構成されている、
　付記１～７の何れか一項に記載の照合装置。
（付記９）
　前記表示制御手段は、前記マークの透明度を変更可能に構成されている、
　付記１～８の何れか一項に記載の照合装置。
（付記１０）
　前記表示制御手段は、前記検査対象者の顔領域のうち前記撮影画像に表示されない領域に形成された前記第２特徴点を示す前記マークを表示可能に構成されている、
　付記１～９の何れか一項に記載の照合装置。
（付記１１）
　前記表示制御手段は、前記検査対象者の前記撮影画像、及び、前記マークに加えて、前記人物の前記登録画像を重畳表示可能に構成されている、
　付記１～１０の何れか一項に記載の照合装置。
（付記１２）
　前記表示制御手段は、ワイプ操作によって、前記マーク及び前記人物の前記登録画像を部分的に表示可能に構成されている、
　付記１１に記載の照合装置。
（付記１３）
　前記表示制御手段は、ワイプ操作によって、前記マーク及び前記人物の前記登録画像のそれぞれの透明度を変更可能に構成されている、
　付記１１に記載の照合装置。
（付記１４）
　前記データベースをさらに備えた、
　付記１～１３の何れか一項に記載の照合装置。
（付記１５）
　前記表示装置をさらに備えた、
　付記１～１４の何れか一項に記載の照合装置。
（付記１６）
　前記検査対象者の顔領域を撮影する撮影装置と、
　付記１に記載の照合装置と、
　を備えた、照合システム。
（付記１７）
　検査対象者が撮影された撮影画像から抽出された前記検査対象者の顔領域における指定された複数の第１特徴点と、データベースに登録された人物の画像データから抽出された前記人物の顔領域における指定された複数の第１特徴点と、を照合して、前記検査対象者の前記撮影画像と、前記画像データに基づいて生成される前記人物の登録画像と、の位置関係を調整する調整ステップと、
　前記検査対象者の前記撮影画像と、前記人物の前記登録画像から特定される視認可能な第２特徴点を示すマークと、を重畳して表示装置に表示させる表示制御ステップと、
　を備えた、照合方法。
（付記１８）
　前記データベースには、前記人物の顔領域の立体形状及び展開画像を含む三次元データが前記画像データとして登録され、
　前記調整ステップでは、前記撮影画像から抽出された前記検査対象者の顔領域における指定された前記複数の第１特徴点と、前記三次元データから抽出される前記人物の顔領域における指定された前記複数の第１特徴点と、を照合したうえで、その照合結果に基づいて前記人物の顔の向きが調整された前記登録画像を生成するように構成されている、
　付記１７に記載の照合方法。
（付記１９）
　検査対象者が撮影された撮影画像から抽出された前記検査対象者の顔領域における指定された複数の第１特徴点と、データベースに登録された人物の画像データから抽出された前記人物の顔領域における指定された複数の第１特徴点と、を照合して、前記検査対象者の前記撮影画像と、前記画像データに基づいて生成される前記人物の登録画像と、の位置関係を調整する調整処理と、
　前記検査対象者の前記撮影画像と、前記人物の前記登録画像から特定される視認可能な第２特徴点を示すマークと、を重畳して表示装置に表示させる表示制御処理と、
　を実行させる照合プログラムが格納された非一時的なコンピュータ可読媒体。
（付記２０）
　前記データベースには、前記人物の顔領域の立体形状及び展開画像を含む三次元データが前記画像データとして登録され、
　前記調整処理では、前記撮影画像から抽出された前記検査対象者の顔領域における指定された前記複数の第１特徴点と、前記三次元データから抽出される前記人物の顔領域における指定された前記複数の第１特徴点と、を照合したうえで、その照合結果に基づいて前記人物の顔の向きが調整された前記登録画像を生成するように構成されている、
　付記１９に記載の照合プログラムが格納された非一時的なコンピュータ可読媒体。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　１００　照合装置
　１００ａ　照合装置
　１１０　制御部
　１１１　調整部
　１１２　表示制御部
　１１３　撮影画像取得部
　１１４　登録画像取得部
　１２０　記憶部
　１３０　メモリ
　１４０　通信部
　１５０　表示部
　２００　顔情報ＤＢ
　３００　顔登録端末
　３１０　撮影部
　３２０　記憶部
　３３０　通信部
　３４０　制御部
　３４１　撮影制御部
　３４２　登録要求部
　４００　撮影装置
　４１０　撮影部
　４２０　記憶部
　４３０　通信部
　４４０　制御部
　４４１　撮影制御部
　５００　ネットワーク
　６００　照合システム
　ＭＫ　マーク
　Ｐ１　特徴点
　Ｐ２　特徴点
　ＲＦ　候補人物
　ＴＧ　検査対象者

Claims (20)

  1. 　検査対象者が撮影された撮影画像から抽出された前記検査対象者の顔領域における指定された複数の第１特徴点と、データベースに登録された人物の画像データから抽出された前記人物の顔領域における指定された複数の第１特徴点と、を照合して、前記検査対象者の前記撮影画像と、前記画像データに基づいて生成される前記人物の登録画像と、の位置関係を調整する調整手段と、
    　前記検査対象者の前記撮影画像と、前記人物の前記登録画像から特定される視認可能な第２特徴点を示すマークと、を重畳して表示装置に表示させる表示制御手段と、
    　を備えた、照合装置。
  2. 　前記データベースには、前記人物の顔領域の立体形状及び展開画像を含む三次元データが前記画像データとして登録され、
    　前記調整手段は、前記撮影画像から抽出された前記検査対象者の顔領域における指定された前記複数の第１特徴点と、前記三次元データから抽出される前記人物の顔領域における指定された前記複数の第１特徴点と、を照合したうえで、その照合結果に基づいて前記人物の顔の向きが調整された前記登録画像を生成するように構成されている、
    　請求項１に記載の照合装置。
  3. 　前記調整手段は、前記撮影画像から抽出された前記検査対象者の顔領域における指定された前記複数の第１特徴点と、前記三次元データから抽出される前記人物の顔領域における指定された前記複数の第１特徴点と、がそれぞれ一致するように前記人物の顔の向きが調整された前記登録画像を生成するように構成されている、
    　請求項２に記載の照合装置。
  4. 　前記第２特徴点は、前記第１特徴点とは異なる、
    　請求項１～３の何れか一項に記載の照合装置。
  5. 　前記第２特徴点は、ほくろ、しわ、しみ、そばかす、えくぼ、いぼ、傷、及び、刺青の少なくとも何れかである、
    　請求項１～４の何れか一項に記載の照合装置。
  6. 　前記第２特徴点は、顔領域の輪郭、及び、鼻筋の形状を含む、
    　請求項１～５の何れか一項に記載の照合装置。
  7. 　前記表示制御手段は、前記第２特徴点の種類に応じた表示形式の前記マークを表示させる、
    　請求項１～６の何れか一項に記載の照合装置。
  8. 　前記表示制御手段は、ワイプ操作によって、前記マークを部分的に表示可能に構成されている、
    　請求項１～７の何れか一項に記載の照合装置。
  9. 　前記表示制御手段は、前記マークの透明度を変更可能に構成されている、
    　請求項１～８の何れか一項に記載の照合装置。
  10. 　前記表示制御手段は、前記検査対象者の顔領域のうち前記撮影画像に表示されない領域に形成された前記第２特徴点を示す前記マークを表示可能に構成されている、
    　請求項１～９の何れか一項に記載の照合装置。
  11. 　前記表示制御手段は、前記検査対象者の前記撮影画像、及び、前記マークに加えて、前記人物の前記登録画像を重畳表示可能に構成されている、
    　請求項１～１０の何れか一項に記載の照合装置。
  12. 　前記表示制御手段は、ワイプ操作によって、前記マーク及び前記人物の前記登録画像を部分的に表示可能に構成されている、
    　請求項１１に記載の照合装置。
  13. 　前記表示制御手段は、ワイプ操作によって、前記マーク及び前記人物の前記登録画像のそれぞれの透明度を変更可能に構成されている、
    　請求項１１に記載の照合装置。
  14. 　前記データベースをさらに備えた、
    　請求項１～１３の何れか一項に記載の照合装置。
  15. 　前記表示装置をさらに備えた、
    　請求項１～１４の何れか一項に記載の照合装置。
  16. 　前記検査対象者の顔領域を撮影する撮影装置と、
    　請求項１に記載の照合装置と、
    　を備えた、照合システム。
  17. 　検査対象者が撮影された撮影画像から抽出された前記検査対象者の顔領域における指定された複数の第１特徴点と、データベースに登録された人物の画像データから抽出された前記人物の顔領域における指定された複数の第１特徴点と、を照合して、前記検査対象者の前記撮影画像と、前記画像データに基づいて生成される前記人物の登録画像と、の位置関係を調整する調整ステップと、
    　前記検査対象者の前記撮影画像と、前記人物の前記登録画像から特定される視認可能な第２特徴点を示すマークと、を重畳して表示装置に表示させる表示制御ステップと、
    　を備えた、照合方法。
  18. 　前記データベースには、前記人物の顔領域の立体形状及び展開画像を含む三次元データが前記画像データとして登録され、
    　前記調整ステップでは、前記撮影画像から抽出された前記検査対象者の顔領域における指定された前記複数の第１特徴点と、前記三次元データから抽出される前記人物の顔領域における指定された前記複数の第１特徴点と、を照合したうえで、その照合結果に基づいて前記人物の顔の向きが調整された前記登録画像を生成するように構成されている、
    　請求項１７に記載の照合方法。
  19. 　検査対象者が撮影された撮影画像から抽出された前記検査対象者の顔領域における指定された複数の第１特徴点と、データベースに登録された人物の画像データから抽出された前記人物の顔領域における指定された複数の第１特徴点と、を照合して、前記検査対象者の前記撮影画像と、前記画像データに基づいて生成される前記人物の登録画像と、の位置関係を調整する調整処理と、
    　前記検査対象者の前記撮影画像と、前記人物の前記登録画像から特定される視認可能な第２特徴点を示すマークと、を重畳して表示装置に表示させる表示制御処理と、
    　を実行させる照合プログラムが格納された非一時的なコンピュータ可読媒体。
  20. 　前記データベースには、前記人物の顔領域の立体形状及び展開画像を含む三次元データが前記画像データとして登録され、
    　前記調整処理では、前記撮影画像から抽出された前記検査対象者の顔領域における指定された前記複数の第１特徴点と、前記三次元データから抽出される前記人物の顔領域における指定された前記複数の第１特徴点と、を照合したうえで、その照合結果に基づいて前記人物の顔の向きが調整された前記登録画像を生成するように構成されている、
    　請求項１９に記載の照合プログラムが格納された非一時的なコンピュータ可読媒体。
PCT/JP2020/017150 2020-04-21 2020-04-21 照合装置、照合システム、照合方法、及び、照合プログラムが格納された非一時的なコンピュータ可読媒体 WO2021214857A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP20931908.6A EP4141784A4 (en) 2020-04-21 2020-04-21 MAPPING DEVICE, MAPPING SYSTEM, MAPPING METHOD, AND NON-TRANSITORY COMPUTER READABLE MEDIA STORING A MAPPING PROGRAM
PCT/JP2020/017150 WO2021214857A1 (ja) 2020-04-21 2020-04-21 照合装置、照合システム、照合方法、及び、照合プログラムが格納された非一時的なコンピュータ可読媒体
US17/619,719 US20220358787A1 (en) 2020-04-21 2020-04-21 Comparison apparatus, comparison system, comparison method, and non-transitory computer-readable medium storing comparison program
JP2022516505A JP7388544B2 (ja) 2020-04-21 2020-04-21 照合装置、照合方法、及び、照合プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/017150 WO2021214857A1 (ja) 2020-04-21 2020-04-21 照合装置、照合システム、照合方法、及び、照合プログラムが格納された非一時的なコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2021214857A1 true WO2021214857A1 (ja) 2021-10-28

Family

ID=78270918

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/017150 WO2021214857A1 (ja) 2020-04-21 2020-04-21 照合装置、照合システム、照合方法、及び、照合プログラムが格納された非一時的なコンピュータ可読媒体

Country Status (4)

Country Link
US (1) US20220358787A1 (ja)
EP (1) EP4141784A4 (ja)
JP (1) JP7388544B2 (ja)
WO (1) WO2021214857A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017043132A1 (ja) * 2015-09-08 2017-03-16 日本電気株式会社 顔認識システム、顔認識方法、表示制御装置、表示制御方法および表示制御プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001273496A (ja) 2000-03-28 2001-10-05 Medeikku Engineering:Kk 人物照合システム
JP2009176208A (ja) * 2008-01-28 2009-08-06 Nec Corp 顔認証装置、システム、方法及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5385759B2 (ja) * 2009-10-30 2014-01-08 キヤノン株式会社 画像処理装置及び画像処理方法
JPWO2011086803A1 (ja) * 2010-01-12 2013-05-16 日本電気株式会社 画像照合システム、画像照合方法、コンピュータプログラム
AU2013346387A1 (en) * 2012-11-14 2015-07-02 Golan Weiss Biometric methods and systems for enrollment and authentication
US9443307B2 (en) * 2013-09-13 2016-09-13 Intel Corporation Processing of images of a subject individual
JP2015179423A (ja) * 2014-03-19 2015-10-08 キヤノン株式会社 人物登録装置、人物認識装置及びプログラム
US9436892B2 (en) * 2014-05-02 2016-09-06 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Method and apparatus for facial detection using regional similarity distribution analysis
US20160070952A1 (en) * 2014-09-05 2016-03-10 Samsung Electronics Co., Ltd. Method and apparatus for facial recognition
WO2016149944A1 (zh) * 2015-03-26 2016-09-29 北京旷视科技有限公司 用于识别人脸的方法、系统和计算机程序产品
WO2017043132A1 (ja) 2015-09-08 2017-03-16 日本電気株式会社 顔認識システム、顔認識方法、表示制御装置、表示制御方法および表示制御プログラム
FR3085217B1 (fr) * 2018-08-23 2021-06-25 Idemia Identity & Security France Procede de determination de pose et d'identification d'une vue tridimensionnelle de visage

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001273496A (ja) 2000-03-28 2001-10-05 Medeikku Engineering:Kk 人物照合システム
JP2009176208A (ja) * 2008-01-28 2009-08-06 Nec Corp 顔認証装置、システム、方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4141784A4

Also Published As

Publication number Publication date
EP4141784A1 (en) 2023-03-01
JP7388544B2 (ja) 2023-11-29
US20220358787A1 (en) 2022-11-10
JPWO2021214857A1 (ja) 2021-10-28
EP4141784A4 (en) 2023-06-14

Similar Documents

Publication Publication Date Title
JP7420183B2 (ja) 認証システム
US11006864B2 (en) Face detection device, face detection system, and face detection method
CN110717446B (zh) 检测设备、检测方法和记录介质
CN106572298A (zh) 显示控制装置以及显示控制方法
JP5170094B2 (ja) なりすまし検知システム、なりすまし検知方法およびなりすまし検知用プログラム
JP2009245338A (ja) 顔画像照合装置
JP2017017431A (ja) 画像処理装置、情報処理方法及びプログラム
CN109690542A (zh) 使用面部识别的用户认证方法以及用于该方法的设备
WO2017187694A1 (ja) 注目領域画像生成装置
JP2014165565A (ja) テレビ会議装置およびシステムおよび方法
WO2021214857A1 (ja) 照合装置、照合システム、照合方法、及び、照合プログラムが格納された非一時的なコンピュータ可読媒体
WO2020065954A1 (ja) 認証装置、認証方法および記憶媒体
JP2009176208A (ja) 顔認証装置、システム、方法及びプログラム
US20240054819A1 (en) Authentication control device, authentication system, authentication control method and non-transitory computer readable medium
CN105993022A (zh) 利用脸部表情识别和认证的方法和系统
JP2020181305A (ja) 生体判別装置及び生体判別方法、並びに個人認証方法
JP6446676B1 (ja) 本人認証システム、方法およびプログラム
JP2008059108A (ja) 画像処理装置，画像処理方法、そのプログラムおよび人流監視システム
JP2001215109A (ja) 虹彩画像入力装置
TWI578263B (zh) Hospital visit guide device
US20230141541A1 (en) Authentication control apparatus, authentication system, authentication control method, and storage medium
CN108875472A (zh) 图像采集装置及基于该图像采集装置的人脸身份验证方法
US20230106309A1 (en) Photographing control device, system, method, and non-transitory computer-readable medium storing program
JPWO2021214857A5 (ja) 照合装置、照合方法、及び、照合プログラム
WO2022215248A1 (ja) 当人認証支援、当人認証支援方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20931908

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022516505

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020931908

Country of ref document: EP

Effective date: 20221121