WO2015182270A1 - 同一人物判定装置ならびにその方法およびその制御プログラム - Google Patents

同一人物判定装置ならびにその方法およびその制御プログラム Download PDF

Info

Publication number
WO2015182270A1
WO2015182270A1 PCT/JP2015/061426 JP2015061426W WO2015182270A1 WO 2015182270 A1 WO2015182270 A1 WO 2015182270A1 JP 2015061426 W JP2015061426 W JP 2015061426W WO 2015182270 A1 WO2015182270 A1 WO 2015182270A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
face
feature
faces
same person
Prior art date
Application number
PCT/JP2015/061426
Other languages
English (en)
French (fr)
Inventor
学 斌 胡
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP15798876.7A priority Critical patent/EP3151191A4/en
Priority to CN201580027210.2A priority patent/CN106462980B/zh
Publication of WO2015182270A1 publication Critical patent/WO2015182270A1/ja
Priority to US15/290,087 priority patent/US10007842B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Definitions

  • the present invention relates to a same person determination device, a method thereof, and a control program thereof.
  • Patent Document 1 identification of a plurality of faces (Patent Document 1), formation of a group of the same person (Patent Documents 2, 3, 4, 5), person verification (Patent Document 6), analogy of human relations (Patent Document) 7).
  • the device described in Patent Document 1 calculates a distance as a measure of similarity between faces in order to identify a plurality of faces from a plurality of images, and identifies a face based on the distance. If the faces are similar, such as siblings or relatives, the faces may not be distinguished because the distance is close. Since the thing of patent document 2 finds the area
  • An object of the present invention is to make it possible to determine whether or not the faces are similar, such as parents, children, siblings, relatives, and the like.
  • the same person determination device includes a first feature amount calculation unit and a first feature amount calculation unit that calculate a feature amount of each of a plurality of faces from one image including a plurality of faces.
  • a feature amount comparing means for comparing the feature amount of each face calculated from one image with the feature amount of each of a plurality of faces included in another image different from the one image, and the feature amount By comparison in the comparison means, the feature quantity of one face calculated from one image approximates the feature quantity of one face obtained from another image, and the one face calculated from one image is approximated.
  • One face included in an image is the same person as one face included in another image Characterized in that it comprises a and a face determining the person determining section.
  • This invention also provides a method for determining the same person. That is, in this method, the feature quantity calculating means calculates the feature quantity of each face of the plurality of faces from one image including a plurality of faces, and the feature quantity comparing means is the first feature quantity.
  • the feature determination unit compares each face feature amount calculated from one image by the calculation unit with each face feature amount of a plurality of faces included in another image different from the one image.
  • the feature amount of one face calculated from one image approximates the feature amount of one face obtained from another image by the comparison in the feature amount comparison means, and the one calculated from one image
  • the fact that the feature quantities of the face and the feature quantities of all other faces other than one face obtained from another image are not approximated is obtained from one image and other images, so that One face contained in one image and one face contained in another image are the faces of the same person It is intended to determine.
  • the present invention also provides a computer-readable program for controlling the computer of the same object determination apparatus.
  • a recording medium storing such a program may be provided.
  • the person determination means can obtain one face included in one image and one face included in another image by obtaining a plurality of relationships from one image and another image. Are the faces of the same person, and one face included in one image and all other faces included in another image are determined to be non-identical persons.
  • the person determination means determines that one face included in the one image and one face included in the other image May not be determined to be the faces of the same person.
  • a second feature amount calculating means for calculating the feature amount of each of a plurality of faces from another image may be further provided.
  • the feature amount comparison unit is configured such that each face feature amount calculated from one image by the first feature amount calculation unit and each face calculated from another image by the second feature amount calculation unit. It will be compared with the feature quantity.
  • the image processing apparatus may further include a feature amount storage unit that stores feature amounts of each of a plurality of faces included in another image.
  • the feature amount comparison unit includes the feature amount of each face calculated from one image by the first feature amount calculation unit, the feature amount of each face stored in the feature amount storage unit, Will be compared.
  • control unit may be further included that performs the processing in the feature amount comparison unit and the processing in the person determination unit for the plurality of other images.
  • a grouping unit that groups the faces determined to be the same person's face by the person determination unit may be further provided.
  • the feature amount of each of a plurality of faces is calculated from one image including a plurality of faces.
  • the calculated feature values of each face are compared with the feature values of each of a plurality of faces included in another image different from the one image (a plurality of face feature values included in another image). May be calculated in advance or may be calculated when compared).
  • the feature quantity of one face calculated from one image approximates the feature quantity of one face calculated from another image (for example, the feature quantity of one face calculated from one image and the other If the difference from the feature value of one face calculated from the image is within the threshold value, it is determined that the difference is within the threshold), and the feature value of one face calculated from the one image and the other image are calculated.
  • the feature values of all other faces other than the one face are not approximate (for example, all the features other than the face feature value calculated from one image and the face calculated from the other image) If there is more than one relationship between one image and another image, the difference between the feature value of the other face and the facial feature value exceeds the threshold value)
  • One face included in the image and one face included in another image are determined to be the same person.
  • the feature value of one face calculated from one image is approximated to the feature value of one face calculated from another image, but also one feature value calculated from one image.
  • one face included in one image and one face included in another image are determined to be the same person. Since the facial feature values are simply approximated, it is not determined that the facial characters are the same person, but the facial features are not approximated. Since it is determined that they are the same person, it can be determined whether the faces are similar even if they are similar.
  • the feature amount of one face calculated from one image and the feature amounts of all other faces other than one face calculated from another image are not approximated. If more than one is obtained, one face included in one image and one face included in another image are judged to be the same person, so it is more similar to parents, children, siblings, relatives, etc. It is possible to determine whether or not the faces are the same person. To increase the accuracy of the same person, it is necessary to increase the threshold of facial similarity for determining whether or not the person is the same. It may be determined that the person is not a person. According to the present invention, since the same person is determined when a plurality of the above-described relationships are obtained, the threshold value of the face similarity for determining whether or not they are the same person can be suppressed. More same person can be determined.
  • FIG. 1 shows an embodiment of the present invention and is a block diagram showing an electrical configuration of the same person determination apparatus.
  • the overall operation of the same person determination device 1 is controlled by a CPU (Central Processing Unit) 6.
  • CPU Central Processing Unit
  • the same person determination device 1 includes a communication device 2 for communicating with other devices via a network such as the Internet, a memory 3 for temporarily storing data, a display control for controlling the display device 4 and the display device 4. A device 5 is included. Further, the same person determination device 1 is provided with an input device 7 such as a keyboard for giving a command or the like to the same person determination device 1. An output signal from the input device 7 is given to the CPU 6.
  • the same person determination device 1 includes a hard disk 9 for storing data such as image data, a hard disk drive 8 for accessing the hard disk 9, and a compact disk drive 10 for accessing the compact disk 11. It is.
  • the compact disk 11 stores a program for controlling operations described later.
  • the program is read from the compact disk 11 by the compact disk drive 10.
  • an operation described later is performed.
  • the program may be downloaded from the network using the communication device 2 even if it is not stored in a recording medium such as the compact disk 11.
  • FIGS. 2 to 4 are flowcharts showing a processing procedure of the same person determination apparatus 1, and FIGS. 5 to 8 are examples of images including a plurality of faces.
  • the image data representing these images is stored in the hard disk 9, but may be downloaded via the communication device 2 even if not stored in the hard disk 9, or recorded on a recording medium such as a memory card.
  • the same person determination device 1 may read the image data that are stored.
  • FIG. 5 shows the first image I1, which includes human images H11 to H14.
  • the first image I1 is an image of the family, and the person images H11, H12, H13, and H14 are a mother image, an eldest son image, a second son image, and a father image, respectively.
  • FIG. 6 shows the second image I2, which includes person images H21 to H23.
  • the second image I2 is an image of a mother and father couple and their friends, and the person images H21, H22 and H23 are a mother image, father image and friend image, respectively.
  • FIG. 7 shows a third image I3, which includes human images H31 and H32.
  • the third image I3 is an image captured by the parent and child, and the person images H31 and H32 are the eldest son's image and the mother's image.
  • FIG. 8 shows a fourth image I4, which includes person images H41 to H43.
  • the fourth image I4 is an image captured by a parent and child and a friend, and the person images H41, H42, and H43 are a mother image, a friend image, and an eldest son image.
  • the characters “mother”, “eldest son”, “second son”, “father” or “friend” are attached to each person image so that the person image is known.
  • the same person determination device 1 does not recognize which person image is the mother, eldest son, second son, father or friend (although the characteristics of each person are registered in the same person determination device 1 in advance and each person image is May be recognized).
  • the face of the same person is determined from a plurality of images including a plurality of faces.
  • the face of the same person is determined from the four images I1 to I4.
  • the image is not limited to four images. Absent.
  • one image is determined by the CPU 6 (step 21 in FIG. 2). It may be determined by the user of the same person determination device 1. It is assumed that the first image I1 is determined as one image. Subsequently, the CPU 6 performs face detection processing on the determined one image I1, and a face is detected from the one image I1 (step 22 in FIG. 2).
  • FIG. 9 shows a state in which faces F11 to F14 are detected from one image I1.
  • the face F11 is a face detected from the person image H11, and is the “mother” face F11.
  • the face F12 is a face detected from the person image H12, and is the face F12 of the “eldest son”.
  • the face F13 is a face detected from the person image H13, and is the face F13 of the “second son”.
  • the face F14 is a face detected from the person image H14, and is the “Father” face F14.
  • the characters “mother”, “eldest son”, “second son” or “father” are added so that the face of the person can be seen. , It does not recognize who the detected face is.
  • the face feature amounts of the plurality of faces F11, F12, F13, and F14 detected from the one image I1 are calculated by the CPU 6 (first feature amount calculating means), and the calculated face feature amounts are calculated.
  • the feature quantity table is stored in the memory 3 (feature quantity storage means).
  • the facial feature value is obtained by quantifying the position and size of the eyes, nose, mouth, ears, and the like with respect to the entire face, and is obtained by a known method.
  • FIG. 13 shows an example of the feature amount table.
  • the feature amount table stores the calculated face feature amount for each face detected from the image.
  • the feature amount table is stored in the memory 3.
  • the face feature amounts of the faces F11, F12, F13 and F14 detected from one image I1 are L11, L12, L13 and L14.
  • another image is determined by the CPU 6 (step 24).
  • another image may be determined by a user who operates the same person determination device 1.
  • the second image I6 is determined as another image by the CPU 6.
  • the face detection process is performed by the CPU 6 as in the case of the one image I1, and the face is detected from the second image I2 determined as the other image (step 25 in FIG. 2).
  • FIG. 10 shows a state in which faces F21 to F23 are detected from another image I2.
  • the face F21 is a face detected from the person image H21 and is the “mother” face F21.
  • the face F22 is a face detected from the person image H22 and is the face of “Father”.
  • the face F23 is a face detected from the person image H23 and is a face of a “friend”. Also in FIG. 10, the letters “mother”, “father” or “friend” are added so that the face of the person can be seen.
  • the face feature amounts of the plurality of faces F21, F22 and F23 detected from the other image I2 are calculated by the CPU 6 (second feature amount calculating means).
  • the calculated facial feature quantity is stored in the feature quantity table (step 26).
  • L21, L22, and L23 are stored in the feature amount table of FIG. 13 as the face feature amounts of the faces F21, F22, and F23 detected from the other image I2.
  • the facial feature amounts L11, L12, L13, and L14 calculated from one image I1 are compared by the CPU 6 [feature feature values calculated from one image by the feature value comparison means and the first feature value calculation means, and calculated from other images by the second feature value calculation means.
  • Each face feature amount (each face feature amount stored in the feature amount storage means) is compared] (step 27 in FIG. 3).
  • the feature amount of one face calculated from one image I1 approximates the feature amount of one face obtained from another image I2, and one face calculated from one image I1.
  • the relationship (approximation-non-approximation relationship) in which the feature amount of each other and the feature amounts of all other faces other than one face obtained from the other image I2 are not approximated is one image I1 and the other image I2. It is determined whether or not two or more can be obtained. When a plurality of such relationships are obtained, it is determined that one face included in one image I1 and one face included in another image I2 are the faces of the same person.
  • the face F11 is determined by the CPU 6 as one face
  • the face F21 is the CPU 6 as one face. Determined by. It is determined whether or not the feature quantity L11 of one face F11 included in one image I1 is approximate to the feature quantity L21 of one face F21 contained in another image I2. If the difference between the feature value L11 and the feature value L21 is less than the threshold value (below), it is determined that the feature value L11 and the feature value L21 are approximate.
  • the threshold value can be determined from the variation amount of the feature amount obtained by calculating the feature amount for a plurality of faces of the same person.
  • the feature quantity of one face of one image I1 is approximate to the feature quantities of all other faces of the other image I2 (step 29 in FIG. 3). For example, the feature quantity L11 of one face F11 of one image I1 and the feature quantity L22 of another face F22 of another image I2 are not approximate, and the feature quantity L11 of one face F11 of one image I1 is It is determined whether the feature amount L23 of the other face F23 of the other image I2 is not approximate. If the difference between the feature quantity L11 and the feature quantity L22 is greater than or equal to a threshold value (greater than the threshold value), it is determined that the feature quantity L11 and the feature quantity L22 are not approximated. It is determined that they are approximate. This threshold value can be determined from the difference between the feature values obtained by calculating the feature values of a plurality of similar faces that are not the same person, such as parents and children, siblings, and relatives.
  • the one face F11 is changed to F12, F13 and F14, and the processes of steps 28 and 29 are performed (step 30 in FIG. 3).
  • the one face F21 is changed to F22 and F23, and the processes of steps 28 and 29 are performed (step 30 in FIG. 3).
  • Steps 28 and 29 are performed for all combinations of the faces F11 to F14 included in one image I1 and the faces F21 to F23 included in another image I2.
  • one face of one image determined as described above and one face of another image are the faces of the same person. It is determined by the CPU 6 (person determination means) (step 32 in FIG. 4). The determination result is stored in the same person table (step 32 in FIG. 4).
  • FIG. 14 is an example of the same person table.
  • identification data of a person image determined to be the person is stored for each person.
  • the sign of a person image is stored for each group for easy understanding.
  • groups 1, 2, 3 and 4 are groups of mother, eldest son, second son and father, respectively.
  • the code of the person image corresponding to each group is stored.
  • the faces determined to be the same person are grouped by the CPU 6.
  • Such an identical person table is generated by the CPU 6 (grouping means) and stored in the memory 3.
  • the CPU 6 determines that one face of one image and all other faces of other images are non-identical persons (person determination means) (step 33 in FIG. 4). Such a determination result is stored in the non-identical person table (step 33 in FIG. 4).
  • FIG. 15 is an example of a non-identical person table.
  • identification data of a person image determined to be different from the person is stored for each person. Also in FIG. 15, the sign of the person image is stored for each group for easy understanding. For example, the person of the person image H11 is a person different from the person images H22, H23, H42, and H43. The same applies to the other figures.
  • the non-identical person table is also generated by the CPU 6 and stored in the memory 3.
  • the feature quantity L11 of one face F11 of one image I1 approximates the feature quantity L21 of one face F21 of another image I2, and the one face F11 of one image I1
  • the relationship that the feature quantity L11 and the feature quantities L22 and L23 of all other faces F22 and F23 of the other image I2 are not approximated is established, and the feature quantity L14 of one face F14 of one image I1
  • the feature amount L22 of one face F22 of another image I2 approximates, and the feature amount L14 of one face F14 of one image I1 and the feature amount L21 of all other faces F21 and F23 of the other image I2 And L23 are not approximated.
  • one face F11 of one image I1 and one face F21 of another image I2 are determined to be faces of the same person, and one One face F14 of the image I1 and another face F23 of the other image I2 are determined as the faces of the same person.
  • the persons determined to be the same person's face are grouped in the same person table as shown in FIG.
  • one face F11 of one image I1 and all other faces F22 and F23 other than one face F21 of another image I2 are determined to be different human faces, and one face of one image I1 It is determined that F14 and all other faces F21 and F23 other than one face F23 of another image I2 are different human faces.
  • Data for identifying the person determined to be the face of the non-identical person is stored in the non-identical person table as shown in FIG.
  • step 31 if there is not a plurality of the approximate-non-approximate relationships described above (NO in step 31), even if only one approximate-non-approximate relationship is obtained, one image is obtained. Even if the feature value of one face included in the image is similar to the feature value of one face included in another image, one face and another image included in one image It is not determined by the CPU 6 that one face included in is the same person. For this reason, the processing of step 32 and step 33 in FIG. 4 is skipped.
  • step 21 in FIG. 2 If the above-described processing has not been completed for all the images (NO in step 34 in FIG. 4), the processing from step 21 in FIG. 2 is repeated.
  • the above processing is completed when one image is the image I1 and the other image is the image I2, the one image is again the image I1, and the other image is the image I3 shown in FIG.
  • Face images F31 and F32 are detected from person images H31 and H32 included in another image I3 shown in FIG. 7, and facial feature amounts L31 and L32 are calculated as shown in FIG.
  • the calculated facial feature amounts L31 and L32 are stored in the feature amount table shown in FIG. 13, and the detection processing of the same person and the non-identical person is performed as described above.
  • the faces F41 and F42 as shown in FIG. And F43 are detected, and feature amounts L41, L42 and L43 of the respective faces are calculated.
  • the calculated feature values L41, L42 and L43 are stored in the feature value table shown in FIG.
  • the feature quantity L11 of one face F11 included in the image I1 shown in FIG. 5 and another image I4 shown in FIG. 8 is approximated, and the feature amount L11 and the feature amounts L42 of all other faces F42 and F43 included in the other image I4 And L43 are not approximated, and an approximate-non-approximate relationship is established, and the feature amount L12 of one face F12 of the human image H12 included in the image I1 of FIG. 5 and the other image of FIG.
  • An approximate-non-approximation relationship is also established in which the feature quantities L41 and L42 of all other faces F41 and F42 included in I4 are not approximated. Since there are a plurality of approximate-non-approximate relationships, the person image H11 included in one image I1 in FIG. 5 and the person image H41 included in another image I4 in FIG. 8 are the same person, and FIG. It is determined that the person image H12 included in one image I1 and the person image H43 included in another image I4 in FIG. 8 are the same person. Further, the person image H11 included in one image I1 of FIG. 5 and the person images H42 and H43 included in the other image I4 of FIG. 8 are non-identical persons and included in the image I1 of FIG. The person image H12 and the person images H41 and H42 included in the other image I4 in FIG. 8 are determined to be non-identical persons.
  • each face determined to be the same person may be displayed in a list on the display screen of the display device 4.
  • an album can be generated using a plurality of images that always include the person with the largest number of face images determined to be the same person.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

　類似している顔同士であっても同一人物かどうかを判定できる同一人物判定装置，同一人物判定方法および同一人物判定装置のコンピュータの制御プログラムを提供する。一の画像の一の顔の特徴量と他の画像の一の顔の特徴量とが近似しており（ステップ28でＹＥＳ），かつ一の画像の一の顔の特徴量と他の画像の一の顔以外のすべての他の顔の特徴量とが近似していない（ステップ29でＹＥＳ）ような近似－非近似の関係が複数存在するかどうかが判定される（ステップ31）。そのような近似－非近似の関係が複数存在する場合には，一の画像の一の顔と他の画像の一の顔とが同一人物であると判定される。

Description

同一人物判定装置ならびにその方法およびその制御プログラム
　この発明は，同一人物判定装置ならびにその方法およびその制御プログラムに関する。
　ディジタル・カメラ，スマートフォンの普及により，写真撮影が気軽となり，極めて多くの画像がメモリ・カード，パーソナル・コンピュータに保存されるようになってきている。多くの画像からアルバムを作成しようとする場合などには，主要人物を見つけるために人物ごとにグループ分けすることが必要となってくる。このために，複数の顔の識別（特許文献１），同一人物のグループの形成（特許文献２，３，４，５），人物照合（特許文献６），人間関係を類推するもの（特許文献７）などがある。
USP8379939 特開2006-343791 特開2007-102549 特開2010-211785 特開2012-64082 特開2011-34133 特開2009-59042
　複数の人物像が含まれている複数の画像から主要人物を分類する場合に，顔検出，認証技術により識別分類することは一般的であるが，複数の画像には主要人物以外の他人（他人の顔）の存在，様々な顔の向き，表情，照明条件などにより，人物の分類に不利な状況がある。このため，常に高精度な主要人物識別は容易ではない。人物の自動抽出の場合には，主要人物の事前登録もできない。
　特許文献１に記載のものは，複数の画像から複数の顔を識別するために顔同士の類似性の尺度としての距離を算出し，その距離にもとづいて顔を識別しているが，親子，兄弟，親戚などのように顔が類似している場合には，その距離が近くなるために，顔を区別できないことがある。特許文献２に記載のものは，時間的に異なるフレームから検出される顔領域に対応する領域を見つけ，同一人物のグループを形成するものであるから，動画が必要となる。特許文献３に記載のものは，顔の特徴量ごとにソートするものであり，類似している顔同士を区別することは難しい。特許文献４に記載のものは，類似性にしたがって複数の顔領域をグループ化しているが，類似している顔同士を区別することは難しい。特許文献５に記載のものは，表情ごとの顔特徴量を記憶し，検出された顔特徴量と比較することにより人物を識別しているが，類似している顔を識別することは難しい。特許文献６に記載のものは，タグ情報として，兄弟，親戚のＩＤが付加され，兄弟，親戚などの画像の類似度を求めて照合しているが，そのためにあらかじめデータベースに登録する必要がある。特許文献７に記載のものは，一緒に写っている人物を利用して人物が誰かを推定するが，その精度が高いとは言えない。
　この発明は，親子，兄弟，親戚などのように類似している顔同士であっても，同一人物かどうかを判定できるようにすることを目的とする。
　この発明による同一人物判定装置は，複数の顔が含まれている一の画像から，複数の顔のそれぞれの顔の特徴量を算出する第１の特徴量算出手段，第１の特徴量算出手段によって一の画像から算出されたそれぞれの顔の特徴量と，一の画像と異なる他の画像に含まれる複数の顔のそれぞれの顔の特徴量と，を比較する特徴量比較手段，および特徴量比較手段における比較によって，一の画像から算出された一の顔の特徴量と他の画像から得られた一の顔の特徴量とが近似し，かつ一の画像から算出された一の顔の特徴量と他の画像から得られた一の顔以外のすべての他の顔の特徴量とが近似していない関係が，一の画像と他の画像とから複数得られたことにより，一の画像に含まれている一の顔と他の画像に含まれている一の顔とが同一人物の顔と判定する人物判定手段を備えていることを特徴とする。
　この発明は，同一人物判定方法も提供している。すなわち，この方法は，特徴量算出手段が，複数の顔が含まれている一の画像から，複数の顔のそれぞれの顔の特徴量を算出し，特徴量比較手段が，第１の特徴量算出手段によって一の画像から算出されたそれぞれの顔の特徴量と，一の画像と異なる他の画像に含まれる複数の顔のそれぞれの顔の特徴量と，を比較し，人物判定手段が，特徴量比較手段における比較によって，一の画像から算出された一の顔の特徴量と他の画像から得られた一の顔の特徴量とが近似し，かつ一の画像から算出された一の顔の特徴量と他の画像から得られた一の顔以外のすべての他の顔の特徴量とが近似していない関係が，一の画像と他の画像とから複数得られたことにより，一の画像に含まれている一の顔と他の画像に含まれている一の顔とが同一人物の顔と判定するものである。
　この発明は，同一物判定装置のコンピュータを制御するコンピュータが読み取り可能なプログラムも提供している。そのようなプログラムを格納した記録媒体を提供するようにしてもよい。
　人物判定手段は，たとえば，関係が，一の画像と他の画像とから複数得られたことにより，一の画像に含まれている一の顔と他の画像に含まれている一の顔とが同一人物の顔と判定し，かつ一の画像に含まれている一の顔と他の画像に含まれているすべての他の顔とが非同一人物と判定するものである。
　人物判定手段は，関係が一の画像と他の画像とから一つだけ得られた場合には，一の画像に含まれている一の顔と他の画像に含まれている一の顔とが同一人物の顔であるとは判定しないものでもよい。
　他の画像から，複数の顔のそれぞれの顔の特徴量を算出する第２の特徴量算出手段をさらに備えてもよい。この場合，特徴量比較手段は，第１の特徴量算出手段によって一の画像から算出されたそれぞれの顔の特徴量と，第２の特徴量算出手段によって他の画像から算出されたそれぞれの顔の特徴量と，を比較するものとなろう。
　他の画像に含まれる複数の顔のそれぞれの顔の特徴量を記憶する特徴量記憶手段をさらに備えてもよい。この場合，特徴量比較手段は，第１の特徴量算出手段によって一の画像から算出されたそれぞれの顔の特徴量と，特徴量記憶手段に記憶されている，それぞれの顔の特徴量と，を比較するものとなろう。
　他の画像が複数存在している場合には，複数の他の画像について，特徴量比較手段における処理および人物判定手段における処理を行わせる制御手段をさらに備えてもよい。
　人物判定手段によって同一人物の顔と判定された顔ごとにグループ化するグループ化手段をさらに備えてもよい。
　この発明によると，複数の顔が含まれている一の画像から，複数の顔のそれぞれの顔の特徴量が算出される。算出されたそれぞれの顔の特徴量と，一の画像と異なる他の画像に含まれる複数の顔のそれぞれの顔の特徴量とが比較される（他の画像に含まれる複数の顔の特徴量は，あらかじめ算出されていてもよいし，比較される時に算出されてもよい）。一の画像から算出された一の顔の特徴量と他の画像から算出された一の顔の特徴量とが近似し（例えば，一の画像から算出された一の顔の特徴量と他の画像から算出された一の顔の特徴量との差分がしきい値以内であれば近似すると判断される），かつ一の画像から算出された一の顔の特徴量と他の画像から算出された一の顔以外のすべての他の顔の特徴量とが近似していない（例えば，一の画像から算出された一の顔の特徴量と他の画像から算出された位置の顔以外のすべての他の顔の特徴量との差分がしきい値を越えていれば近似しないと判断される）という関係が，一の画像と他の画像とから複数得られた場合には，一の画像に含まれている一の顔と他の画像に含まれている一の顔とが同一人物と判定される。
　この発明によると，一の画像から算出された一の顔の特徴量と他の画像から算出された一の顔の特徴量とが近似しているだけでなく，一の画像から算出された一の顔の特徴量と他の画像から算出された一の顔以外のすべての他の顔の特徴量とが近似していないという関係が，一の画像と他の画像とから複数得られた場合に，一の画像に含まれている一の顔と他の画像に含まれている一の顔とが同一人物と判定される。単に顔の特徴量が近似しているから，それらの顔の人物が同一人物と判定されるのではなく，顔の特徴量が近似していないということを考慮して，それらの顔の人物が同一人物と判定しているので，類似している顔同士であっても同一人物かどうかを判定できる。しかも，一の画像から算出された一の顔の特徴量と他の画像から算出された一の顔以外のすべての他の顔の特徴量とが近似していないという関係が，１つだけでなく複数得られた場合に，一の画像に含まれている一の顔と他の画像に含まれている一の顔とが同一人物と判定されるので，親子，兄弟，親戚など，より類似している顔同士の人物であっても同一人物かどうかを判定できるようになる。同一人物の判定精度を高くするためには同一人物かどうかを判定するための顔の類似度のしきい値を上げる必要があるが，このしきい値を上げると，同一人物であっても同一人物でないと判定されてしまうことがある。この発明によると，上述した関係が複数得られた場合に同一人物と判定されるので，同一人物かどうかを判定するための顔の類似度のしきい値を抑えることができる。より多くの同一人物の判定が可能となる。
同一人物判定装置の電気的構成を示すブロック図である。 同一人物判定装置の処理手順を示すフローチャートである。 同一人物判定装置の処理手順を示すフローチャートである。 同一人物判定装置の処理手順を示すフローチャートである。 画像の一例である。 画像の一例である。 画像の一例である。 画像の一例である。 画像から検出された顔を示している。 画像から検出された顔を示している。 画像から検出された顔を示している。 画像から検出された顔を示している。 特徴量テーブルの一例である。 同一人物テーブルの一例である。 非同一人物テーブルの一例である。
　図１は，この発明の実施例を示すもので，同一人物判定装置の電気的構成を示すブロック図である。
　同一人物判定装置１の全体の動作は，ＣＰＵ（中央処理装置）６によって統括される。
　同一人物判定装置１には，インターネットなどのネットワークを介して他の装置と通信するための通信装置２，データ等を一時的に記憶するメモリ３，表示装置４および表示装４を制御する表示制御装置５が含まれている。また，同一人物判定装置１には，コマンド等を同一人物判定装置１に与えるためのキーボードなどの入力装置７が設けられている。入力装置７からの出力信号は，ＣＰＵ６に与えられる。
　さらに，同一人物判定装置１には，画像データなどのデータを記憶するハードディスク９，ハードディスク９にアクセスするためのハードディスク・ドライブ８ならびにコンパクト・ディスク11にアクセスするためにコンパクト・ディスク・ドライブ10も含まれている。
　コンパクト・ディスク11に，後述する動作を制御するプログラムが格納されている。そのプログラムがコンパクト・ディスク・ドライブ10によってコンパクト・ディスク11から読み取られる。読み取られたプログラムが同一人物判定装置１にインストールされることにより，後述する動作が行われる。プログラムは，コンパクト・ディスク11のような記録媒体に格納されていなくとも，通信装置２を利用してネットワークからダウンロードされるようにしてもよい。
　図２から図４は，同一人物判定装置１の処理手順を示すフローチャート，図５から図８は，複数の顔が含まれている画像の一例である。これらの画像を表わす画像データは，ハードディスク９に格納されているが，ハードディスク９に格納させていなくとも，通信装置２を介してダウンロードされてもよいし，メモリ・カードなどの記録媒体に記録されている画像データが同一人物判定装置１において読み取られてもよい。
　図５は第１の画像Ｉ１を示しており，人物像Ｈ11からＨ14が含まれている。第１の画像Ｉ１は家族が撮像された画像であり，人物像Ｈ11，Ｈ12，Ｈ13およびＨ14は，それぞれ母親の画像，長男の画像，次男の画像および父親の画像である。図６は第２の画像Ｉ２を示しており，人物像Ｈ21からＨ23が含まれている。第２の画像Ｉ２は，母親と父親との夫婦とその友人が撮像された画像であり，人物像Ｈ21，Ｈ22およびＨ23は，それぞれ母親の画像，父親の画像および友人の画像である。図７は第３の画像Ｉ３を示しており，人物像Ｈ31およびＨ32が含まれている。第３の画像Ｉ３は親子で撮像された画像であり，人物像Ｈ31およびＨ32は，長男の画像および母親の画像である。図８は第４の画像Ｉ４を示しており，人物像Ｈ41からＨ43が含まれている。第４の画像Ｉ４は親子と友人とで撮像された画像であり，人物像Ｈ41，Ｈ42およびＨ43は，母親の画像，友人の画像および長男の画像である。図５から図８においては，人物像が誰か分るように，それぞれの人物像に「母」，「長男」，「次男」，「父」または「友人」の文字が付されているが，同一人物判定装置１は，どの人物像が，母，長男，次男，父または友人かは認識しない（もっとも，それぞれの人物の特徴をあらかじめ同一人物判定装置１に登録しておき，それぞれの人物像がだれかが認識されるようにしてもよい）。
　この実施例は，複数の顔が含まれている複数の画像から，同一人物の顔を判定するものである。この実施例では，４つの画像Ｉ１からＩ４の画像から，同一人物の顔を判定するが，複数の顔が含まれている複数の画像があれば，４つの画像に限らないのはいうまでもない。
　複数の画像Ｉ１からＩ４の中から，一の画像がＣＰＵ６によって決定される（図２ステップ21）。同一人物判定装置１のユーザによって決定されてもよい。第１の画像Ｉ１が一の画像として決定されたものとする。つづいて，決定された一の画像Ｉ１についてＣＰＵ６によって顔検出処理が行われ，一の画像Ｉ１から顔が検出される（図２ステップ22）。
　図９は，一の画像Ｉ１から顔Ｆ11からＦ14が検出された様子を示している。顔Ｆ11は，人物像Ｈ11から検出された顔であり，「母」の顔Ｆ11である。顔Ｆ12は，人物像Ｈ12から検出された顔であり，「長男」の顔Ｆ12である。顔Ｆ13は，人物像Ｈ13から検出された顔であり，「次男」の顔Ｆ13である。顔Ｆ14は，人物像Ｈ14から検出された顔であり，「父」の顔Ｆ14である。図９においても，誰の顔かが分るように，「母」，「長男」，「次男」または「父」の文字が付されているが，上述したように，同一人物判定装置１は，検出された顔が誰の顔かは認識していない。
　つづいて，一の画像Ｉ１から検出された複数の顔Ｆ11，Ｆ12，Ｆ13およびＦ14のそれぞれの顔の特徴量がＣＰＵ６によって算出され（第１の特徴量算出手段），算出された顔の特徴量が特徴量テーブル（特徴量記憶手段）に記憶させられる（図２ステップ23）。特徴量テーブルはメモリ３（特徴量記憶手段）に記憶される。顔の特徴量は，顔全体に対する目，鼻，口，耳などの位置，大きさなどを数値化したものであり，公知の手法により得られる。
　図13は，特徴量テーブルの一例である。
　特徴量テーブルは，画像から検出された顔ごとに，算出された顔の特徴量を記憶するものである。特徴量テーブルは，メモリ３に格納される。一の画像Ｉ１から検出された顔Ｆ11，Ｆ12，Ｆ13およびＦ14のそれぞれの顔の特徴量は，Ｌ11，Ｌ12，Ｌ13およびＬ14である。
　図２に戻って，ＣＰＵ６によって他の画像が決定される（ステップ24）。もっとも，同一人物判定装置１を操作するユーザによって，他の画像が決定されてもよい。ここでは，ＣＰＵ６によって，第２の画像Ｉ６が他の画像として決定されたものとする。つづいて，一の画像Ｉ１と同様に，ＣＰＵ６によって顔検出処理が行われ，他の画像として決定された第２の画像Ｉ２から顔が検出される（図２ステップ25）。
　図10は，他の画像Ｉ２から顔Ｆ21からＦ23が検出された様子を示している。顔Ｆ21は，人物像Ｈ21から検出された顔であり，「母」の顔Ｆ21である。顔Ｆ22は，人物像Ｈ22から検出された顔であり，「父」の顔である。顔Ｆ23は，人物像Ｈ23から検出された顔であり，「友人」の顔である。図10においても，誰の顔かが分るように，「母」，「父」または「友人」の文字が付されている。
　図２に戻って，上述したのと同様に，他の画像Ｉ２から検出された複数の顔Ｆ21，Ｆ22およびＦ23のそれぞれの顔の特徴量がＣＰＵ６によって算出され（第２の特徴量算出手段），算出された顔の特徴量が特徴量テーブルに記憶させられる（ステップ26）。これにより，図13の特徴量テーブルに，他の画像Ｉ２から検出された顔Ｆ21，Ｆ22およびＦ23のそれぞれの顔の特徴量としてＬ21，Ｌ22およびＬ23が記憶させられる。
　つづいて，一の画像Ｉ１から算出されたそれぞれの顔の特徴量Ｌ11，Ｌ12，Ｌ13およびＬ14と，一の画像と異なる他の画像Ｉ２から算出されたそれぞれの顔の特徴量Ｌ21，Ｌ22およびＬ23と，がＣＰＵ６によって比較される［特徴量比較手段，第１の特徴量算出手段によって一の画像から算出されたそれぞれの顔の特徴量と，第２の特徴量算出手段によって他の画像から算出されたそれぞれの顔の特徴量（特徴量記憶手段に記憶されている，それぞれの顔の特徴量）とが比較されることとなる］（図３ステップ27）。この比較によって，一の画像Ｉ１から算出された一の顔の特徴量と他の画像Ｉ２から得られた一の顔の特徴量とが近似し，かつ一の画像Ｉ１から算出された一の顔の特徴量と他の画像Ｉ２から得られた一の顔以外のすべての他の顔の特徴量とが近似していない関係（近似－非近似関係）が，一の画像Ｉ１と他の画像Ｉ２とから複数得られるかどうか判定される。そのような関係が複数得られると，一の画像Ｉ１に含まれている一の顔と他の画像Ｉ２に含まれている一の顔とが同一人物の顔と判定される。
　まず，一の画像Ｉ１から算出された一の顔の特徴量と，他の画像Ｉ２から算出された一の顔の特徴量とが近似しているかどうかが判定される（図３ステップ28）。たとえば，一の画像Ｉ１に含まれる顔Ｆ11からＦ14のうち，一の顔として顔Ｆ11がＣＰＵ６によって決定され，他の画像Ｉ２に含まれる顔Ｆ21からＦ23のうち，一の顔として顔Ｆ21がＣＰＵ６によって決定される。一の画像Ｉ１に含まれる一の顔Ｆ11の特徴量Ｌ11と他の画像Ｉ２に含まれる一の顔Ｆ21の特徴量Ｌ21とが近似しているかどうかが判定される。特徴量Ｌ11と特徴量Ｌ21との差分がしきい値未満（以下）であれば，これらの特徴量Ｌ11と特徴量Ｌ21とは近似しているものと判定される。特徴量Ｌ11と特徴量Ｌ21との差分がしきい値以上（しきい値より大きい）であれば，これらの特徴量Ｌ11と特徴量Ｌ21とは近似していないと判定される。しきい値は，同一人物の複数の顔について特徴量を算出し，得られる特徴量の変動量から決定できる。
　さらに，一の画像Ｉ１の一の顔の特徴量と他の画像Ｉ２のすべての他の顔の特徴量とが近似していないかどうかが判定される（図３ステップ29）。たとえば，一の画像Ｉ１の一の顔Ｆ11の特徴量Ｌ11と他の画像Ｉ２の他の顔Ｆ22の特徴量Ｌ22とが近似せず，かつ一の画像Ｉ１の一の顔Ｆ11の特徴量Ｌ11と他の画像Ｉ２の他の顔Ｆ23の特徴量Ｌ23とが近似していないかどうかが判定される。特徴量Ｌ11と特徴量Ｌ22との差分がしきい値以上（しきい値より大きい）であれば，これらの特徴量Ｌ11と特徴量Ｌ22とは近似していないと判定され，そうでなければ，近似していると判定される。このしきい値は，親子，兄弟，親戚など，同一人物ではないが，似ている複数の顔について特徴量を算出し，得られる特徴量の差分から決定できる。
　一の画像Ｉ１に含まれるすべての顔Ｆ11，Ｆ12，Ｆ13およびＦ14について，一の顔Ｆ11が，Ｆ12，Ｆ13およびＦ14に変更させられて，ステップ28および29の処理が行われる（図３ステップ30）。また，他の画像Ｉ２に含まれるすべての顔Ｆ21，Ｆ22およびＦ23について，一の顔Ｆ21が，Ｆ22およびＦ23に変更させられて，ステップ28および29の処理が行われる（図３ステップ30）。一の画像Ｉ１に含まれる顔Ｆ11からＦ14と他の画像Ｉ２に含まれる顔Ｆ21からＦ23とのすべての組み合わせについてステップ28および29の処理が行われることとなる。
　ステップ28において近似しているとされた判定結果およびステップ29において近似していないとされた判定結果の関係（近似－非近似関係）が複数存在するかどうかが判定される（図３ステップ31）。
　近似－非近似関係が複数存在すると判定されると（図３ステップ31でＹＥＳ），そのように判定された一の画像の一の顔と他の画像の一の顔とが同一人物の顔とＣＰＵ６によって判定される（人物判定手段）（図４ステップ32）。その判定結果が同一人物テーブルに格納される（図４ステップ32）。
　図14は，同一人物テーブルの一例である。
　同一人物テーブルには，人物ごとに，その人物と判定された人物像の識別データが格納される。図14においては，分りやすくするためにグループごとに人物像の符号が格納されている。たとえば，グループ１，２，３および４は，それぞれ母親，長男，次男および父親のグループである。それぞれのグループに対応した人物像の符号が格納される。同一人物と判定された顔ごとにＣＰＵ６によってグループ化されることとなる。このような同一人物テーブルは，ＣＰＵ６によって生成され（グループ化手段），メモリ３に格納される。
　図４に戻って，一の画像の一の顔と他の画像の一の顔とが同一人物の顔と判定されると，一の画像の一の顔と他の画像の一の顔以外のすべての他の顔とは同一人物では無いと考えられる。このために，一の画像の一の顔と他の画像のすべての他の顔とが非同一人物であるとＣＰＵ６によって判定される（人物判定手段）（図４ステップ33）。このような判定結果は非同一人物テーブルに格納される（図４ステップ33）。
　図15は，非同一人物テーブルの一例である。
　非同一人物テーブルには，人物ごとに，その人物とは異なる人物と判定された人物像の識別データが格納される。図15においても，分りやすくするためにグループごとに人物像の符号が格納されている。たとえば，人物像Ｈ11の人物は，人物像Ｈ22，Ｈ23，Ｈ42，Ｈ43とは異なる人物となる。その他の人物像の人物についても同様である。非同一人物テーブルもＣＰＵ６によって生成され，メモリ３に格納される。
　たとえば，上述のように，一の画像Ｉ１の一の顔Ｆ11の特徴量Ｌ11と他の画像Ｉ２の一の顔Ｆ21の特徴量Ｌ21とが近似し，かつ一の画像Ｉ１の一の顔Ｆ11の特徴量Ｌ11と他の画像Ｉ２のすべての他の顔Ｆ22およびＦ23の特徴量Ｌ22およびＬ23とが近似していないという関係が成立し，かつ一の画像Ｉ１の一の顔Ｆ14の特徴量Ｌ14と他の画像Ｉ２の一の顔Ｆ22の特徴量Ｌ22とが近似し，かつ一の画像Ｉ１の一の顔Ｆ14の特徴量Ｌ14と他の画像Ｉ２のすべての他の顔Ｆ21およびＦ23の特徴量Ｌ21およびＬ23とが近似していないという関係が成立したとする。すると，上述した近似－非近似の関係が複数存在することとなるから，一の画像Ｉ１の一の顔Ｆ11と他の画像Ｉ２の一の顔Ｆ21とが同一人物の顔と判定され，かつ一の画像Ｉ１の一の顔Ｆ14と他の画像Ｉ２の一の顔Ｆ23とが同一人物の顔と判定される。このように同一人物の顔と判定された人物ごとに図14に示すように同一人物テーブルにおいてグループ化される。さらに，一の画像Ｉ１の一の顔Ｆ11と他の画像Ｉ２の一の顔Ｆ21以外のすべての他の顔Ｆ22およびＦ23とが異なる人物の顔と判定され，かつ一の画像Ｉ１の一の顔Ｆ14と他の画像Ｉ２の一の顔Ｆ23以外のすべての他の顔Ｆ21およびＦ23とが異なる人物の顔と判定される。このように非同一人物の顔と判定された人物を識別するデータが図15に示すように非同一人物テーブルに格納される。
　図３に戻って，上述した近似－非近似の関係が複数存在しない場合には（ステップ31でＮＯ），近似－非近似の関係が一つだけ得られた場合であっても，一の画像に含まれている一の顔の特徴量と他の画像に含まれている一の顔の特徴量とが近似していたとしても，一の画像に含まれている一の顔と他の画像に含まれている一の顔とが同一人物であるとはＣＰＵ６によって判定されない。このために，図４ステップ32およびステップ33の処理がスキップされる。
　すべての画像について上述した処理が終了していなければ（図４ステップ34でＮＯ），図２ステップ21からの処理が繰り返される。一の画像が画像Ｉ１とされ，他の画像が画像Ｉ２とされた場合の上述の処理が終了すると，再び一の画像が画像Ｉ１とされ，他の画像が，図７に示す画像Ｉ３とされて，上述した処理が行われる。図７に示す他の画像Ｉ３に含まれている人物像Ｈ31およびＨ32から，図11に示すように顔画像Ｆ31およびＦ32が検出され，顔の特徴量Ｌ31およびＬ32が算出される。算出された顔の特徴量Ｌ31およびＬ32が図13に示す特徴量テーブルに格納され，上述したように，同一人物および非同一人物の検出処理が行われる。
　図５に示す一の画像Ｉ１と図７に示す他の画像Ｉ３との間では，図５の一の画像Ｉ１に含まれる人物像Ｈ11の一の顔F11の特徴量Ｌ11と図７の他の画像Ｉ３に含まれる人物像Ｈ32の一の顔Ｆ32の特徴量Ｌ32とが近似し，かつその特徴量Ｌ11と他の画像Ｉ３に含まれるすべての他の顔Ｆ31の特徴量Ｌ31とが近似していないという近似－非近似関係が成立するが，そのような近似－非近似関係は一つだけなので，一の画像Ｉ１の一の顔Ｆ11と他の画像Ｉ３の位置の顔Ｆ32とは同一人物であるとは判定されない。
　また，図５に示す一の画像Ｉ１と図８に示す他の画像Ｉ４との間においても，上述したように，図８に示す他の画像Ｉ４から，図12に示すように顔Ｆ41，Ｆ42およびＦ43が検出され，それぞれの顔の特徴量Ｌ41，Ｌ42およびＬ43が算出される。算出された特徴量Ｌ41，Ｌ42およびＬ43は，図13に示す特徴量テーブルに格納される。
　図５に示す一の画像Ｉ１と図８に示す他の画像Ｉ４との間では，図５の一の画像Ｉ１に含まれる人物像Ｈ11の一の顔Ｆ11の特徴量Ｌ11と，図８の他の画像Ｉ４に含まれる人物像Ｈ41の一の顔Ｆ41の特徴量Ｌ41と，が近似し，かつその特徴量Ｌ11と，他の画像Ｉ４に含まれるすべての他の顔Ｆ42およびＦ43の特徴量Ｌ42およびＬ43と，が近似していないという近似－非近似関係が成立し，かつ図５の一の画像Ｉ１に含まれる人物像Ｈ12の一の顔Ｆ12の特徴量Ｌ12と，図８の他の画像Ｉ４に含まれるすべての他の顔Ｆ41およびＦ42の特徴量Ｌ41およびＬ42と，が近似していないという近似－非近似関係も成立する。複数の近似－非近似関係が存在するので，図５の一の画像Ｉ１に含まれる人物像Ｈ11と図８の他の画像Ｉ４に含まれる人物像Ｈ41とは同一人物であり，かつ図５の一の画像Ｉ１に含まれる人物像Ｈ12と図８の他の画像Ｉ４に含まれる人物像Ｈ43とは同一人物であると判定される。さらに，図５の一の画像Ｉ１に含まれる人物像Ｈ11と，図８の他の画像Ｉ４に含まれる人物像Ｈ42およびＨ43とは非同一人物であり，かつ図５の一の画像Ｉ１に含まれる人物像Ｈ12と図８の他の画像Ｉ４に含まれる人物像Ｈ41およびＨ42とは非同一人物であると判定される。
　図５に示す画像Ｉ１を一の画像とし，図６から図８に示す画像Ｉ２からＩ４のそれぞれを他の画像とした上述の処理が終了すると，次に図６に示す画像Ｉ２を一の画像とし，図７および図８に示す画像Ｉ３およびＩ４を他の画像とした上述の処理が行われる。さらに，図７に示す画像Ｉ３を一の画像とし，図８に示す画像Ｉ４を他の画像とした上述の処理が行われる。このように，複数の他の画像について，上述した特徴量比較処理，人物判定処理が行われるようにＣＰＵ６によって制御される（制御手段）。
　家族，親子，兄弟，姉妹，親戚などで撮影された画像は，顔つきが似ている。このために，顔の類似度（特徴量）にもとづいて同一人物かどうかを判定する場合には，精度を高くするためには，同一人物かどうかを判別するしきい値を上げる必要がある。この実施例によると，上述したように近似－非近似関係が複数存在する場合に同一人物であると判定しているので，しきい値を上げる必要がない。顔の類似度があまり高くなくとも同一人物を見つけることができるようになる。たとえば，カメラに正面の顔を見せないような子供であっても，同一人物かどうかを判定できるようになる。
　また，上述のようにして生成された同一人物テーブルから，同一人物と判定された顔ごとに一覧で表示装置４の表示画面に表示させるようにしてもよい。さらに，同一人物と判定された顔の画像が最も多い人物が必ず含まれているような複数の画像を用いてアルバムを生成することもできる。
１　同一人物判定装置
３　メモリ（特徴量記憶手段）
６　ＣＰＵ（第１の特徴量算出手段，特徴量比較手段，人物判定手段，第２の特徴量算出手段，制御手段，グループ化手段）
11　コンパクト・ディスク（プログラムを格納した記録媒体）

Claims (9)

  1. 　複数の顔が含まれている一の画像から，複数の顔のそれぞれの顔の特徴量を算出する第１の特徴量算出手段，
    　上記第１の特徴量算出手段によって上記一の画像から算出されたそれぞれの顔の特徴量と，上記一の画像と異なる他の画像に含まれる複数の顔のそれぞれの顔の特徴量と，を比較する特徴量比較手段，および
    　上記特徴量比較手段における比較によって，上記一の画像から算出された一の顔の特徴量と上記他の画像から得られた一の顔の特徴量とが近似し，かつ上記一の画像から算出された一の顔の特徴量と上記他の画像から得られた一の顔以外のすべての他の顔の特徴量とが近似していない関係が，上記一の画像と上記他の画像とから複数得られたことにより，上記一の画像に含まれている上記一の顔と上記他の画像に含まれている上記一の顔とが同一人物の顔と判定する人物判定手段，
    　を備えた同一人物判定装置。
  2. 　上記人物判定手段は，
    　上記関係が，上記一の画像と上記他の画像とから複数得られたことにより，上記一の画像に含まれている上記一の顔と上記他の画像に含まれている上記一の顔とが同一人物の顔と判定し，かつ上記一の画像に含まれている上記一の顔と上記他の画像に含まれている上記すべての他の顔とが非同一人物と判定するものである，
    　請求項１に記載の同一人物判定装置。
  3. 　上記人物判定手段は，
    　上記関係が上記一の画像と上記他の画像とから一つだけ得られた場合には，上記一の画像に含まれている上記一の顔と上記他の画像に含まれている上記一の顔とが同一人物の顔であるとは判定しないものである，
    　請求項１または２に記載の同一人物判定装置。
  4. 　上記他の画像から，複数の顔のそれぞれの顔の特徴量を算出する第２の特徴量算出手段をさらに備え，
    　上記特徴量比較手段は，
    　上記第１の特徴量算出手段によって上記一の画像から算出されたそれぞれの顔の特徴量と，上記第２の特徴量算出手段によって上記他の画像から算出されたそれぞれの顔の特徴量と，を比較するものである，
    　請求項１から３のうち，いずれか一項に記載の同一人物判定装置。
  5. 　上記他の画像に含まれる複数の顔のそれぞれの顔の特徴量を記憶する特徴量記憶手段をさらに備え，
    　上記特徴量比較手段は，
    　上記第１の特徴量算出手段によって上記一の画像から算出されたそれぞれの顔の特徴量と，上記特徴量記憶手段に記憶されている，それぞれの顔の特徴量と，を比較するものである，
    　請求項１から３のうち，いずれか一項に記載の同一人物判定装置。
  6. 　上記他の画像が複数存在しており，
    　複数の上記他の画像について，上記特徴量比較手段における処理および上記人物判定手段における処理を行わせる制御手段，
    　をさらに備えた請求項１に記載の同一人物判定装置。
  7. 　上記人物判定手段によって同一人物の顔と判定された顔ごとにグループ化するグループ化手段，
    　をさらに備えた請求項１から６のうち，いずれか一項に記載の同一人物判定装置。
  8. 　特徴量算出手段が，複数の顔が含まれている一の画像から，複数の顔のそれぞれの顔の特徴量を算出し，
    　特徴量比較手段が，上記第１の特徴量算出手段によって上記一の画像から算出されたそれぞれの顔の特徴量と，上記一の画像と異なる他の画像に含まれる複数の顔のそれぞれの顔の特徴量と，を比較し，
    　人物判定手段が，上記特徴量比較手段における比較によって，上記一の画像から算出された一の顔の特徴量と上記他の画像から得られた一の顔の特徴量とが近似し，かつ上記一の画像から算出された一の顔の特徴量と上記他の画像から得られた一の顔以外のすべての他の顔の特徴量とが近似していない関係が，上記一の画像と上記他の画像とから複数得られたことにより，上記一の画像に含まれている上記一の顔と上記他の画像に含まれている上記一の顔とが同一人物の顔と判定する，
    　同一人物判定方法。
  9. 　同一人物判定装置のコンピュータを制御するコンピュータが読み取り可能なプログラムであって，
    　複数の顔が含まれている一の画像から，複数の顔のそれぞれの顔の特徴量を算出させ，
    　上記一の画像から算出されたそれぞれの顔の特徴量と，上記一の画像と異なる他の画像に含まれる複数の顔のそれぞれの顔の特徴量と，を比較させ，
    　上記一の画像から算出された一の顔の特徴量と上記他の画像から得られた一の顔の特徴量とが近似し，かつ上記一の画像から算出された一の顔の特徴量と上記他の画像から得られた一の顔以外のすべての他の顔の特徴量とが近似していない関係が，上記一の画像と上記他の画像とから複数得られたことにより，上記一の画像に含まれている上記一の顔と上記他の画像に含まれている上記一の顔とが同一人物の顔と判定するように，同一人物判定装置のコンピュータを制御するプログラム。
PCT/JP2015/061426 2014-05-29 2015-04-14 同一人物判定装置ならびにその方法およびその制御プログラム WO2015182270A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP15798876.7A EP3151191A4 (en) 2014-05-29 2015-04-14 Same person determination device and method, and control program therefor
CN201580027210.2A CN106462980B (zh) 2014-05-29 2015-04-14 同一人物判定装置、其方法及计算机可读取存储介质
US15/290,087 US10007842B2 (en) 2014-05-29 2016-10-11 Same person determination device and method, and control program therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014110916A JP6215774B2 (ja) 2014-05-29 2014-05-29 同一人物判定装置ならびにその方法およびその制御プログラム
JP2014-110916 2014-05-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/290,087 Continuation US10007842B2 (en) 2014-05-29 2016-10-11 Same person determination device and method, and control program therefor

Publications (1)

Publication Number Publication Date
WO2015182270A1 true WO2015182270A1 (ja) 2015-12-03

Family

ID=54698611

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/061426 WO2015182270A1 (ja) 2014-05-29 2015-04-14 同一人物判定装置ならびにその方法およびその制御プログラム

Country Status (5)

Country Link
US (1) US10007842B2 (ja)
EP (1) EP3151191A4 (ja)
JP (1) JP6215774B2 (ja)
CN (1) CN106462980B (ja)
WO (1) WO2015182270A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US10753075B2 (en) 2016-09-26 2020-08-25 Zurn Industries, Llc Flush valve
KR20210083026A (ko) 2019-12-26 2021-07-06 삼성전자주식회사 생체 인식을 위한 전자 장치 및 그 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006236217A (ja) * 2005-02-28 2006-09-07 Fuji Photo Film Co Ltd 人物認識システム、人物認識方法、及び人物認識プログラム
JP2007272890A (ja) * 2006-03-31 2007-10-18 Fujifilm Corp デジタル画像データの制約条件付きスペクトル・クラスタリングを実施するための方法および装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7403642B2 (en) * 2005-04-21 2008-07-22 Microsoft Corporation Efficient propagation for face annotation
JP4591215B2 (ja) * 2005-06-07 2010-12-01 株式会社日立製作所 顔画像データベース作成方法及び装置
JP2007102549A (ja) 2005-10-05 2007-04-19 Fujifilm Corp 画像検索支援装置
JP5128880B2 (ja) 2007-08-30 2013-01-23 オリンパスイメージング株式会社 画像取扱装置
US8121358B2 (en) 2009-03-06 2012-02-21 Cyberlink Corp. Method of grouping images by face
JP4636190B2 (ja) * 2009-03-13 2011-02-23 オムロン株式会社 顔照合装置、電子機器、顔照合装置の制御方法、および顔照合装置制御プログラム
JP5178611B2 (ja) * 2009-04-15 2013-04-10 株式会社東芝 画像処理装置、画像処理方法及びプログラム
JP5438419B2 (ja) 2009-07-29 2014-03-12 富士フイルム株式会社 人物照合装置及び人物照合方法
US8379939B1 (en) 2009-09-08 2013-02-19 Adobe Systems Incorporated Efficient and scalable face recognition in photo albums
JP2012064082A (ja) 2010-09-17 2012-03-29 Panasonic Corp 画像分類装置
US8494231B2 (en) * 2010-11-01 2013-07-23 Microsoft Corporation Face recognition in video content
JP4775515B1 (ja) * 2011-03-14 2011-09-21 オムロン株式会社 画像照合装置、画像処理システム、画像照合プログラム、コンピュータ読み取り可能な記録媒体、および画像照合方法
JP6074182B2 (ja) * 2012-07-09 2017-02-01 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006236217A (ja) * 2005-02-28 2006-09-07 Fuji Photo Film Co Ltd 人物認識システム、人物認識方法、及び人物認識プログラム
JP2007272890A (ja) * 2006-03-31 2007-10-18 Fujifilm Corp デジタル画像データの制約条件付きスペクトル・クラスタリングを実施するための方法および装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3151191A4 *

Also Published As

Publication number Publication date
US10007842B2 (en) 2018-06-26
JP2015225567A (ja) 2015-12-14
EP3151191A1 (en) 2017-04-05
CN106462980B (zh) 2019-10-08
JP6215774B2 (ja) 2017-10-18
US20170032181A1 (en) 2017-02-02
EP3151191A4 (en) 2017-06-21
CN106462980A (zh) 2017-02-22

Similar Documents

Publication Publication Date Title
US8422747B1 (en) Finding untagged images of a social network member
JP6446971B2 (ja) データ処理装置、データ処理方法、及び、コンピュータ・プログラム
CN107038405B (zh) 识别对象的方法和设备以及训练识别模型的方法和设备
US9626551B2 (en) Collation apparatus and method for the same, and image searching apparatus and method for the same
EP3067829A1 (en) Person authentication method
US20160299897A1 (en) License plate matching systems and methods
US10037467B2 (en) Information processing system
CN109189970A (zh) 图片相似度比对方法和装置
JP7463473B2 (ja) 画像候補決定装置，画像候補決定方法，ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体
Katzman et al. Taxonomizing and measuring representational harms: A look at image tagging
JP6215774B2 (ja) 同一人物判定装置ならびにその方法およびその制御プログラム
US10572111B2 (en) Image display control device, image display control method, image display control program, and recording medium having the program stored thereon
US11393249B2 (en) Apparatus and method of providing vehicle service based on individual emotion recognition
US9785829B2 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
JP6800671B2 (ja) 付与装置、付与方法および付与プログラム
JP5845988B2 (ja) 画像処理システム、画像処理方法、サーバおよびプログラム
US11205258B2 (en) Image processing apparatus, image processing method, and storage medium
JP2014191479A (ja) 顔認識装置、撮像装置、制御方法、及びプログラム
Grosselfinger et al. An architecture for automatic multimodal video data anonymization to ensure data protection
Fu Human-centered social media analytics
US20170068848A1 (en) Display control apparatus, display control method, and computer program product
WO2022079841A1 (ja) グループ特定装置、グループ特定方法、及びコンピュータ読み取り可能な記録媒体
US20150356377A1 (en) Image processing device, image processing method, and storage medium computer-readably storing program therefor
JP2010113526A (ja) 年齢推定装置及び方法
Lee et al. Real‐time monitoring system using RGB‐infrared in a vehicle black box

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15798876

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2015798876

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015798876

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE