JP4340860B2

JP4340860B2 - Face matching system

Info

Publication number: JP4340860B2
Application number: JP2003311606A
Authority: JP
Inventors: 昌紀佐藤
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2003-09-03
Filing date: 2003-09-03
Publication date: 2009-10-07
Anticipated expiration: 2023-09-03
Also published as: JP2005078590A

Description

本発明は、顔の特徴を認識して検索するシステムに関する。 The present invention relates to a system for recognizing and searching for facial features.

現在、顔の画像を他の顔の画像と照合する顔照合システムが開発されている。顔照合システムを用いたサービスが開発されることが望まれている。 Currently, face collation systems that collate face images with other face images have been developed. It is desired to develop a service using a face matching system.

多数のキャラクタ画像からその人物を印象づける画像を抽出する装置であって、予め、キャラクタ画像の属性情報として、印象的な項目の測定量を保持する手段を有し、対象人物の顔や身体を画像入力する手段と、前記入力された画像から顔や身体の各部分の測定量を抽出する手段と、前記各測定量から印象的な部分を判定する手段と、前記印象的な部分のみを照合対象として、キャラクタ画像の属性情報を照合する手段と、前記照合結果に基づいて、キャラクタ画像を抽出する手段とを有することを特徴とする画像抽出装置が知られている（特許文献１参照）。 An apparatus for extracting an image that impresses a person from a large number of character images, and having means for holding a measurable item measurement amount in advance as attribute information of the character image, and images the face and body of the target person Means for inputting, means for extracting a measurement amount of each part of the face and body from the input image, means for determining an impressive part from each measurement quantity, and subjecting only the impressive part to be collated As an example, an image extracting apparatus is known that includes means for collating attribute information of a character image and means for extracting a character image based on the collation result (see Patent Document 1).

有名人等に似せた似顔絵的な顔や体形を容易に作成でき、しかも、作成した似顔絵的な顔等と、元となる有名人等の顔等との相似程度を客観的に判定することを可能にすることを目的とするモンタージュデータ出力装置が知られている（特許文献２参照）。 Facial figures and body shapes resembling celebrities can be easily created, and it is possible to objectively determine the degree of similarity between the created facial faces and the faces of the original celebrities. A montage data output device intended to do this is known (see Patent Document 2).

特開２００２−７４３４１号公報JP 2002-74341 A 特開平６−２０３１２４号公報JP-A-6-203124

本発明の目的は、顔認証とその顔認証に基づく顔照合とを用いたサービスを可能にするシステムを提供することである。 An object of the present invention is to provide a system that enables a service using face authentication and face matching based on the face authentication.

本発明の他の目的は、顔の一部分が類似しているキャラクタを探し出すことを可能にするシステムを提供することである。 Another object of the present invention is to provide a system that makes it possible to search for characters whose face parts are similar.

以下に、［発明を実施するための形態］で使用される番号を括弧付きで用いて、課題を解決するための手段を説明する。これらの番号は、［特許請求の範囲］の記載と［発明を実施するための形態］との対応関係を明らかにするために付加されたものである。ただし、それらの番号を、［特許請求の範囲］に記載されている発明の技術的範囲の解釈に用いてはならない。 Hereinafter, means for solving the problem will be described using the numbers used in [DETAILED DESCRIPTION] in parentheses. These numbers are added to clarify the correspondence between the description of [Claims] and [Mode for Carrying Out the Invention]. However, these numbers should not be used to interpret the technical scope of the invention described in [Claims].

本発明による顔照合システム（１）は、顔画像を入力する入力部（１０）と、複数のキャラクタ画像（５２）を格納するデータベース（４２）と、顔画像とキャラクタ画像（５２）とを照合して類似度の大小を示す類似度情報（９０）を作成し、類似度が大きいキャラクタ画像（５２）を類似キャラクタ画像（８４）として選び出す照合部（３６）と、類似キャラクタ画像（８４）を表示する表示部（２２）とを具備している。 A face collation system (1) according to the present invention collates an input unit (10) for inputting a face image, a database (42) for storing a plurality of character images (52), and a face image and a character image (52). Similarity information (90) indicating the degree of similarity is created, and a matching unit (36) for selecting a character image (52) having a high similarity as a similar character image (84), and a similar character image (84) And a display section (22) for displaying.

入力部（１０）が入力する顔画像は、デジタルカメラにより撮影された画像のデータ、ダウンロードされた画像ファイル、又はスキャンされた画像のデータである。キャラクタ画像（５２）を例示すると、有名人、動物、又はマンガ等に登場する架空のキャラクタである。 The face image input by the input unit (10) is image data captured by a digital camera, a downloaded image file, or scanned image data. An example of the character image (52) is a fictional character appearing in a celebrity, an animal, or a manga.

類似度の大小は、顔の各部位（髪、眉、目、鼻、口、輪郭、肌の色）の位置あるいは形状の偏差を用いて計算される。あるいは類似度の大小は、従来知られている顔認証の技術における認証方法を用いて計算される。類似キャラクタ画像（８４）は、入力された顔画像との類似度が最も大きいキャラクタ、類似度が大きい方から順に所定の順位まで選び出された複数のキャラクタ、あるいは類似度が所定の値よりも大きいすべてのキャラクタの画像である。 The degree of similarity is calculated using the position or shape deviation of each part of the face (hair, eyebrows, eyes, nose, mouth, contour, skin color). Alternatively, the degree of similarity is calculated using an authentication method in a conventionally known face authentication technique. The similar character image (84) is a character having the highest degree of similarity with the input face image, a plurality of characters selected in order from the highest degree of similarity to a predetermined rank, or the similarity is lower than a predetermined value. It is an image of all large characters.

本発明による顔照合システム（１）は、顔画像から特徴量を抽出する認証部（１８）を具備している。類似度情報（９０）は、特徴量を用いて作成される。 The face matching system (1) according to the present invention includes an authentication unit (18) that extracts a feature amount from a face image. The similarity information (90) is created using the feature amount.

特徴量として、髪、眉、目、鼻、口、又は耳の特定部分の位置を用いることが可能である。特徴量として、肌の色を用いることが可能である。特徴量として、顔の輪郭を所定の分類により区分したものを用いることが可能である。 As the feature amount, the position of a specific part of hair, eyebrows, eyes, nose, mouth, or ear can be used. Skin color can be used as the feature amount. As the feature amount, it is possible to use a feature obtained by dividing the face outline according to a predetermined classification.

本発明による顔照合システム（１）において、入力部（１０）と表示部（２２）とは通信機能を備えた携帯端末に含まれている。照合部（３６）はデータベース（４２）にアクセス可能なサーバ（４）に含まれている。携帯端末（２）は、通信機能を用いてサーバ（４）に顔画像を送信する。 In the face matching system (1) according to the present invention, the input unit (10) and the display unit (22) are included in a portable terminal having a communication function. The verification unit (36) is included in the server (4) that can access the database (42). A portable terminal (2) transmits a face image to a server (4) using a communication function.

こうした顔照合システム（１）によれば、携帯電話、又はＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）を用いて顔照合を行うことが可能である。携帯電話はエンターテイメント性の高さが求められており、こうした顔照合システムは特にカメラ付き携帯電話に好適に用いられる。携帯電話が電気通信回線を介してデータベース（４２）を利用することにより、常に内容が新しいキャラクタ画像（５２）を用いて顔照合を行うことが可能になる。 According to such a face collation system (1), it is possible to perform face collation using a mobile phone or a PDA (Personal Digital Assistant). Mobile phones are required to be highly entertaining, and such face matching systems are particularly suitable for camera-equipped mobile phones. When the mobile phone uses the database (42) via the telecommunication line, it is possible to always perform face matching using the character image (52) whose content is new.

好ましくは、携帯端末（２）は、認証部（１８）が抽出した特徴量を用いた使用制限機能を備えていることが好ましい。こうした場合、携帯端末（２）から所定の操作がなされると、認証部（１８）が抽出した特徴量はメモリ（１６）に記憶され、それ以降、携帯端末（２）に操作が加えられると、携帯端末（２）が備えるカメラ（１０）により使用者が撮影される。撮影された画像とメモリ（１６）に記憶されている特徴量とが照合されることにより認証が行われ、認証の結果が一致しないときには携帯端末（２）が有する機能の一部または全部は使用が不可能となる。 Preferably, the portable terminal (2) preferably includes a use restriction function using the feature amount extracted by the authentication unit (18). In such a case, when a predetermined operation is performed from the mobile terminal (2), the feature amount extracted by the authentication unit (18) is stored in the memory (16), and thereafter, the operation is applied to the mobile terminal (2). The user is photographed by the camera (10) included in the portable terminal (2). Authentication is performed by comparing the photographed image with the feature quantity stored in the memory (16), and when the authentication result does not match, part or all of the functions of the portable terminal (2) are used. Is impossible.

照合部（３６）による照合は、サーバ（４）が格納しているプログラムにより行われる。あるいは照合部（３６）による照合は、携帯端末（２）がサーバ（４）からダウンロードしたプログラムにより行われる。 The collation by the collation unit (36) is performed by a program stored in the server (4). Or collation by collation part (36) is performed by the program which portable terminal (2) downloaded from server (4).

本発明による顔照合システム（１）は、顔の部位を示す複数の部位情報を格納するテーブル（４０）を具備している。類似度情報（９０）は、複数の部位情報の各々に対応して作成される。 The face matching system (1) according to the present invention includes a table (40) that stores a plurality of pieces of part information indicating face parts. The similarity information (90) is created corresponding to each of the plurality of pieces of part information.

こうした顔照合システム（１）によれば、例えば目の形状に特徴があるユーザは、そのユーザと目の形状が類似しているキャラクタを検索することが可能である。こうした顔照合システム（１）は面白く、かつ検索のバリエーションが豊富であるためにユーザが多様な使い方をすることができる。 According to such a face matching system (1), for example, a user who is characterized by the shape of an eye can search for a character whose eye shape is similar to that user. Such a face matching system (1) is interesting and has a wide variety of search, so that the user can use it in various ways.

本発明による顔照合システム（１）において、部位情報は、髪型、輪郭、目、鼻、耳、眉、又は肌の色を示す情報を含む。 In the face matching system (1) according to the present invention, the part information includes information indicating a hairstyle, contour, eyes, nose, ears, eyebrows, or skin color.

本発明による顔照合システム（１）において、表示部（２２）は、類似度情報（９０）に示される類似度が最も大きい部位を指示する指示表示（７６、７８）を行う。 In the face matching system (1) according to the present invention, the display unit (22) performs an instruction display (76, 78) for indicating a part having the highest similarity shown in the similarity information (90).

指示表示（７６、７８）は、携帯端末（２）からの操作に応答して行われることが好ましい。こうした顔照合システム（１）によれば、例えばユーザに似ている有名人が検索されたときに、顔のどこがその有名人と似ているかを同時に知ることができる。多くの人は、自分と有名なキャラクタとの顔の特定の部位が似ていると指摘されると面白く感ずる。そのため、こうした顔照合システム（１）はエンターテイメント性が高い。 The instruction display (76, 78) is preferably performed in response to an operation from the portable terminal (2). According to such a face collation system (1), when a celebrity similar to a user is searched, for example, it is possible to know simultaneously what part of the face is similar to the celebrity. Many people find it interesting when it is pointed out that a particular part of their face is similar to that of a famous character. Therefore, such a face matching system (1) is highly entertaining.

本発明による顔照合システム（１）において、指示表示は、顔画像またはキャラクタ画像（５２）の一部を指示するポインタ（７６）により表示される。 In the face collation system (1) according to the present invention, the instruction display is displayed by a pointer (76) indicating a part of the face image or character image (52).

本発明による顔照合システム（１）において、指示表示は、文字（７８）により表示される。 In the face matching system (1) according to the present invention, the instruction display is displayed by characters (78).

本発明による顔照合システム（１）は、複数の顔画像に対応する類似度情報（９０）を格納する類似度データベース（４４）と、キャラクタ画像（５２）に対応して類似度が大きい顔画像を類似度データベース（４４）を用いて抽出するランキング部（３８）とを具備している。 The face matching system (1) according to the present invention includes a similarity database (44) storing similarity information (90) corresponding to a plurality of face images, and a face image having a large similarity corresponding to a character image (52). Is ranked using a similarity database (44).

こうした顔照合システム（１）によれば、例えばこの顔照合システム（１）を利用した人の中で、あるタレントに似ている人が現在までに１２３６人おり、今回利用したユーザはその中で３番目に似ている、というランキングがユーザに提供される。こうした情報は、多くのユーザが面白く感じることが期待される。 According to such a face matching system (1), for example, among the people who used this face matching system (1), there are 1236 people who are similar to a certain talent so far, and the users who have used this time are among them. A ranking that is similar to the third is provided to the user. Such information is expected to be interesting for many users.

本発明による顔照合システム（１）は、キャラクタ画像（５２）に対応する付加情報を格納する付加情報データベース（４６）を具備している。表示部（２２）は、表示されるキャラクタ画像（５２）に対応する付加情報を表示する。 The face matching system (1) according to the present invention includes an additional information database (46) for storing additional information corresponding to the character image (52). The display unit (22) displays additional information corresponding to the displayed character image (52).

付加情報は、携帯端末（２）からの操作に応答して表示されることが好ましい。付加情報としては、性格診断、またはその日の運勢を含む占いの情報が例示される。特にキャラクタ画像（５２）が動物であるとき、動物の種類と関連づけられた占いは人気があり、多くのユーザが面白く感じることが期待される。 The additional information is preferably displayed in response to an operation from the mobile terminal (2). Examples of the additional information include personality diagnosis or fortune telling information including the fortune of the day. In particular, when the character image (52) is an animal, fortune-telling associated with the type of animal is popular, and it is expected that many users will find it interesting.

本発明によれば、顔認証とその顔認証に基づく顔照合とを用いたサービスを可能にするシステムが提供される。 ADVANTAGE OF THE INVENTION According to this invention, the system which enables the service using face authentication and face matching based on the face authentication is provided.

更に本発明によれば、顔の一部分が類似しているキャラクタを探し出すことを可能にするシステムが提供される。 Furthermore, according to the present invention, there is provided a system that makes it possible to find a character whose face part is similar.

図１を参照すると、本発明の実施の形態における顔照合システムの構成が示されている。顔照合システム１は、携帯電話機２と、センターサーバ４と、通信ネットワーク６と、サーバ８とを備えている。 Referring to FIG. 1, the configuration of a face matching system according to an embodiment of the present invention is shown. The face matching system 1 includes a mobile phone 2, a center server 4, a communication network 6, and a server 8.

図２を参照すると、携帯電話機２の構成が示されている。携帯電話機２は、カメラ１０と、操作部１２と、ＣＰＵ１４と、メモリ１６と、表示部２２と、無線送受信部２４とを備えている。メモリ１６は、顔認証プログラム１８と、結果表示プログラム２０とを記憶している。 Referring to FIG. 2, the configuration of the mobile phone 2 is shown. The cellular phone 2 includes a camera 10, an operation unit 12, a CPU 14, a memory 16, a display unit 22, and a wireless transmission / reception unit 24. The memory 16 stores a face authentication program 18 and a result display program 20.

図３を参照すると、センターサーバ４の構成が示されている。センターサーバ４は、送受信部３０と、ＣＰＵ３２と、メモリ３４と、キャラクタ画像データベース４２と、類似度データベース４４と、占いデータベース４６とを備えている。メモリ３４は、照合プログラム３６と、ランキングプログラム３８と、占いプログラム３９と、顔部位テーブル４０と、出力テーブル４１とを記憶している。顔部位テーブル４０は、人間の顔の中から眉、目、鼻、口、耳の位置または形状、肌の色、及び顔の輪郭の類型（卵型、四角など）を抽出するための情報である顔部位情報（図示されない）を格納している。 Referring to FIG. 3, the configuration of the center server 4 is shown. The center server 4 includes a transmission / reception unit 30, a CPU 32, a memory 34, a character image database 42, a similarity database 44, and a fortune telling database 46. The memory 34 stores a collation program 36, a ranking program 38, a fortune telling program 39, a face part table 40, and an output table 41. The face part table 40 is information for extracting the position or shape of eyebrows, eyes, nose, mouth, ears, skin color, and face outline type (eg, egg shape, square) from a human face. Some face part information (not shown) is stored.

図４を参照すると、出力テーブル４１の構成が示されている。出力テーブル４１は、ユーザ名８０と、類似キャラクタ名８２と、類似キャラクタ画像８４と、類似部位８８と、類似度９０と、ランキング順位９２と、性格９４と、今日の運勢９６とを対応づけて格納する。 Referring to FIG. 4, the configuration of the output table 41 is shown. The output table 41 associates a user name 80, a similar character name 82, a similar character image 84, a similar part 88, a similarity 90, a ranking rank 92, a personality 94, and a current fortune 96. Store.

図５を参照すると、キャラクタ画像データベース４２の構成が示されている。キャラクタ画像データベース４２は、キャラクタ名５０と、キャラクタ画像５２とを対応づけて格納している。キャラクタ名５０とは有名人、動物、架空のキャラクタに例示される、著名なキャラクタを示す名前である。キャラクタ画像５２とは、キャラクタ名５０によって指定されるキャラクタの顔を含む画像データである。 Referring to FIG. 5, the configuration of the character image database 42 is shown. The character image database 42 stores a character name 50 and a character image 52 in association with each other. The character name 50 is a name indicating a famous character exemplified by celebrities, animals, and fictional characters. The character image 52 is image data including the face of the character specified by the character name 50.

図６を参照すると、類似度データベース４４の構成が示されている。類似度データベース４４は、キャラクタ名５０を格納している。類似度データベース４４は更に、過去に照合プログラム３６が当該キャラクタ名により指定されるキャラクタに似ていると判定したユーザのユーザ名を顔類似ユーザ名５４として、その類似度５５と類似度５５の順位５３と共に格納している。 Referring to FIG. 6, the configuration of the similarity database 44 is shown. The similarity database 44 stores a character name 50. Further, the similarity database 44 uses the user name of the user that the collation program 36 has determined to be similar to the character specified by the character name in the past as the face similarity user name 54, and ranks of the similarity 55 and the similarity 55 53 and stored together.

図７を参照すると、占いデータベース４６の構成が示されている。占いデータベース４６は、キャラクタ名５０と性格情報５６とを対応づけて格納している。占いデータベース４６は更に、キャラクタ名５０と日付とに対応して、運勢情報６０を格納している。 Referring to FIG. 7, the structure of the fortune telling database 46 is shown. Fortune-telling database 46 stores character name 50 and personality information 56 in association with each other. The fortune telling database 46 further stores fortune information 60 corresponding to the character name 50 and the date.

こうした構成を備える顔照合システム１の動作が以下に示されている。但し、ＣＰＵがプログラムを読み出し、そのプログラムに記述された手順により実行する動作は、そのプログラムが行う動作として記載される。 The operation of the face matching system 1 having such a configuration is shown below. However, an operation that the CPU reads a program and executes according to a procedure described in the program is described as an operation performed by the program.

携帯電話機２のユーザは、カメラ１０を用いて自分または他人の顔を撮影する。撮影された顔の画像である顔画像は、メモリ１６に格納される。あるいは携帯電話機２のユーザは、携帯電話機２に所定の操作を行うことにより通信ネットワークを介して顔画像を受信する。受信した顔画像は、メモリ１６に格納される。 The user of the mobile phone 2 uses the camera 10 to photograph himself or another person's face. A face image that is a photographed face image is stored in the memory 16. Alternatively, the user of the mobile phone 2 receives a face image via the communication network by performing a predetermined operation on the mobile phone 2. The received face image is stored in the memory 16.

ユーザが操作部１２から所定の操作を行うと、顔認証プログラム１８は、メモリ１６に記憶された顔画像から特徴量（例示：髪型、目、鼻、口、耳、眉の位置または形状、それらの相互の位置関係、顔の輪郭、肌の色）を抽出する。無線送受信部２４は顔画像とその顔画像から抽出された特徴量とユーザ名とを通信ネットワーク６を介してセンターサーバ４に送信する。 When the user performs a predetermined operation from the operation unit 12, the face authentication program 18 reads feature amounts (eg, hairstyle, eyes, nose, mouth, ears, eyebrow positions or shapes, and the like from the face images stored in the memory 16. Of each other, face outline, skin color). The wireless transmission / reception unit 24 transmits the face image, the feature amount extracted from the face image, and the user name to the center server 4 via the communication network 6.

あるいは携帯電話機２は顔認証プログラム１８を備えておらず、ユーザが操作部１２から行う所定の操作に応答して、センターサーバ４から顔認証プログラム１８をダウンロードして利用する。 Alternatively, the mobile phone 2 does not include the face authentication program 18 and downloads and uses the face authentication program 18 from the center server 4 in response to a predetermined operation performed by the user from the operation unit 12.

センターサーバ４は、送受信部３０により顔画像と特徴量とユーザ名とを受信する。受信したユーザ名は、出力テーブル４１にユーザ名８０として格納される。照合プログラム３６は、キャラクタ画像データベース４２を検索し、受信した特徴量を用いて、その顔画像とキャラクタ画像データベース４２に格納されている複数のキャラクタ画像５２との照合を行い、各々のキャラクタ画像５２に対する顔画像の類似度（好ましくは数値で表される）を計算する。 The center server 4 receives the face image, the feature amount, and the user name by the transmission / reception unit 30. The received user name is stored as the user name 80 in the output table 41. The collation program 36 searches the character image database 42, collates the face image with a plurality of character images 52 stored in the character image database 42 using the received feature amount, and each character image 52. The degree of similarity of the face image with respect to (preferably expressed as a numerical value) is calculated.

照合プログラム３６は、顔画像との類似度が最も大きいキャラクタ画像５２を選び出す。あるいは、顔画像との類似度が所定の数値よりも大きいキャラクタ画像５２を選び出す。選び出されたキャラクタ画像５２は、類似キャラクタ画像８４として出力テーブル４１に格納される。選び出されたキャラクタ画像に対応するキャラクタ名５０は、類似キャラクタ名８２として出力テーブル４１に格納される。受信した顔画像と選び出されたキャラクタ画像５２との類似度は、類似度９０として出力テーブル４１に格納される。 The collation program 36 selects the character image 52 having the highest similarity with the face image. Alternatively, the character image 52 having a similarity with the face image larger than a predetermined numerical value is selected. The selected character image 52 is stored in the output table 41 as a similar character image 84. The character name 50 corresponding to the selected character image is stored in the output table 41 as a similar character name 82. The similarity between the received face image and the selected character image 52 is stored in the output table 41 as the similarity 90.

照合プログラム３６は、顔部位テーブル４０を参照して、受信した顔画像と、その顔画像に対応する類似キャラクタ画像８４とから複数の顔の部位を抽出し、抽出された顔の部位ごとに顔画像とキャラクタ画像５２とを照合して部分類似度（好ましくは数値で表される）を計算する。その結果、例えば眉の類似度は８０パーセント、顔の輪郭の類似度は３５パーセントという部分類似度が得られる。部分類似度が所定の数値よりも大きい部分は、類似部位８８として出力テーブル４１に格納される。 The collation program 36 refers to the face part table 40 and extracts a plurality of face parts from the received face image and the similar character image 84 corresponding to the face image, and the face is extracted for each extracted face part. The image and the character image 52 are collated to calculate a partial similarity (preferably expressed by a numerical value). As a result, for example, a partial similarity of 80% for the eyebrow similarity and 35% for the facial contour similarity is obtained. A portion having a partial similarity greater than a predetermined numerical value is stored in the output table 41 as a similar portion 88.

ランキングプログラム３８は、キャラクタ名５０に対応して、新規に受信した顔画像の類似度と、それ以前に記録された顔画像の類似度５５との大小関係を比較して、受信した顔画像の類似度の順位５３を計算する。計算された順位５３は、ランキング順位９２として出力テーブル４１に格納される。ランキングプログラム３８は、新規に受信した顔画像に対応するユーザ名５４と類似度５５と順位５３とを類似度データベース４４に追加する。 The ranking program 38 compares the magnitude relationship between the similarity of the newly received face image and the similarity 55 of the previously recorded face image corresponding to the character name 50, and The similarity rank 53 is calculated. The calculated rank 53 is stored in the output table 41 as a rank rank 92. The ranking program 38 adds the user name 54, similarity 55, and ranking 53 corresponding to the newly received face image to the similarity database 44.

占いプログラム３９は占いデータベース４６を参照し、照合プログラム３６により選び出されたキャラクタ名５０に対応する性格５６と、照合プログラム３６により選び出されたキャラクタ名５０及び顔画像を受信した日付に対応する占いの内容とを、各々性格９４及び今日の運勢９６として、出力テーブル４１に格納する。 The fortune-telling program 39 refers to the fortune-telling database 46 and corresponds to the character 56 corresponding to the character name 50 selected by the matching program 36 and the date when the character name 50 and face image selected by the matching program 36 are received. The contents of the fortune-telling are stored in the output table 41 as the personality 94 and the current fortune 96, respectively.

あるいはセンターサーバ４は占いプログラム３９と占いデータベース４６とを備えておらず、代わりにサーバ８が占いサービスを提供している。こうした顔照合システム１において、センターサーバ４は、通信ネットワーク６を介してサーバ８に類似キャラクタ名８２あるいは日付を送信し、それらの類似キャラクタ名８２あるいは日付に対応する占いの結果をサーバ８から取得する。 Alternatively, the center server 4 does not include the fortune-telling program 39 and the fortune-telling database 46, and the server 8 provides a fortune-telling service instead. In such a face matching system 1, the center server 4 transmits similar character names 82 or dates to the server 8 via the communication network 6, and obtains fortune-telling results corresponding to the similar character names 82 or dates from the server 8. To do.

送受信部３０は、以上の手順により出力テーブル４１に格納されたユーザ名８０と、類似キャラクタ名８２と、類似キャラクタ画像８４と、類似部位８８と、類似度９０と、ランキング順位９２と、性格９４と、今日の運勢９６とを含む情報を携帯電話機２に送信する。 The transmission / reception unit 30 stores the user name 80, the similar character name 82, the similar character image 84, the similar part 88, the similarity 90, the ranking rank 92, and the personality 94 stored in the output table 41 by the above procedure. And information including today's fortune 96 is transmitted to the mobile phone 2.

携帯電話機２が備える無線送受信部２４は、センターサーバ４から送信された情報を受信する。表示部２２は、ＣＰＵ１４による制御に基づいて受信した情報を表示画面に表示する。 The wireless transmission / reception unit 24 included in the mobile phone 2 receives information transmitted from the center server 4. The display unit 22 displays the received information on the display screen based on the control by the CPU 14.

図８を参照すると、携帯電話機２の表示画面の一例が示されている。表示画面７０はキャラクタ表示画面７４を有している。キャラクタ表示画面７４には、類似キャラクタ画像８４が表示される。類似キャラクタ画像８４の類似部位８８に対応する部分は、矢印７６で指し示されている。類似部位８８は更に、類似部位を示す情報を含んだ文章をテキストデータあるいは画像データの形式で含んでおり、その文章は文章７８として表示される。文章７８が画像データであると、テキストデータに比べて多彩な表現が可能となり好ましい。 Referring to FIG. 8, an example of the display screen of the mobile phone 2 is shown. The display screen 70 has a character display screen 74. A similar character image 84 is displayed on the character display screen 74. A portion corresponding to the similar portion 88 of the similar character image 84 is indicated by an arrow 76. The similar part 88 further includes a sentence including information indicating the similar part in the form of text data or image data, and the sentence is displayed as a sentence 78. It is preferable that the text 78 is image data because various expressions are possible compared to text data.

表示画面７０は、類似度表示部７２を有している。類似度表示部７２には、類似キャラクタ名８２と類似度９０とランキング順位９２とが表示される。 The display screen 70 has a similarity display section 72. In the similarity display portion 72, a similar character name 82, a similarity 90, and a ranking rank 92 are displayed.

ユーザが操作部１２から所定の操作を行うことにより、表示画面７０には更に、性格９４または今日の運勢９６が表示される。ユーザの顔に対応した性格や運勢の情報は、マスメディアにより提供される占いとは異なる分類に基づき、多くのユーザにとって目新しく面白い。 When the user performs a predetermined operation from the operation unit 12, the character 94 or the current fortune 96 is further displayed on the display screen 70. The personality and fortune information corresponding to the user's face is novel and interesting for many users based on a classification different from the fortune telling provided by the mass media.

図１は、顔照合システムの構成を示す。FIG. 1 shows the configuration of a face matching system. 図２は、携帯電話機の構成を示す。FIG. 2 shows a configuration of the mobile phone. 図３は、センターサーバの構成を示す。FIG. 3 shows the configuration of the center server. 図４は、出力テーブルの構成を示す。FIG. 4 shows the configuration of the output table. 図５は、キャラクタ画像データベースの構成を示す。FIG. 5 shows the structure of the character image database. 図６は、類似度データベースの構成を示す。FIG. 6 shows the configuration of the similarity database. 図７は、占いデータベースの構成を示す。FIG. 7 shows the structure of the fortune telling database. 図８は、表示画面を示す。FIG. 8 shows a display screen.

Explanation of symbols

１…顔照合システム
２…携帯電話機
４…センターサーバ
６…通信ネットワーク
８…サーバ
５３…類似順位
５４…顔類似ユーザ名
５５…類似度
５６…性格情報
６０…運勢情報
７０…表示画面
７２…類似度表示部
７４…キャラクタ表示画面
７６…矢印
７８…類似部位表示部 DESCRIPTION OF SYMBOLS 1 ... Face collation system 2 ... Mobile telephone 4 ... Center server 6 ... Communication network 8 ... Server 53 ... Similar rank 54 ... Face similarity user name 55 ... Similarity 56 ... Personality information 60 ... Fortune information 70 ... Display screen 72 ... Similarity Display unit 74 ... Character display screen 76 ... Arrow 78 ... Similar part display unit

Claims

An input unit for inputting a face image;
A database for storing multiple character images;
A collation unit that collates the face image and the character image to create similarity information indicating the degree of similarity, and selects the character image having a large similarity as a similar character image;
A display unit for displaying the similar character image ;
A similarity database storing the similarity information corresponding to a plurality of the face images;
The face image having a large similarity degree corresponding to the character image is extracted using the similarity database, and the magnitude relationship between the similarity degree of the new face image and the similarity degree of the face image previously recorded And a ranking unit that calculates the ranking of the degree of similarity of new face images .

In claim 1,
And an authentication unit for extracting a feature amount from the face image.
The similarity information is created using the feature amount.

In claim 1 or 2,
The input unit and the display unit are included in a portable terminal having a communication function,
The verification unit is included in a server accessible to the database;
The mobile terminal transmits the face image to the server using the communication function.

In claim 3,
In addition, a table for storing a plurality of part information indicating the part of the face is provided,
The similarity information is created corresponding to each of the plurality of part information.

In claim 4,
The part information includes information indicating a hairstyle, contour, eyes, nose, ears, eyebrows, or skin color.

In claim 4 or 5,
The said display part performs the instruction | indication display which instruct | indicates the said site | part with the largest similarity shown by the said similarity information.

In claim 6,
The instruction display is displayed by a pointer that indicates a part of the face image or the character image.

In claim 6 or 7,
The instruction display is a face matching system displayed by characters.

In any one of Claims 1-8,
Further, an additional information database for storing additional information corresponding to the character image
Comprising
The face check system , wherein the display unit displays the additional information corresponding to the displayed character image .