JP7521256B2 - Information processing device and program - Google Patents

Information processing device and program Download PDF

Info

Publication number
JP7521256B2
JP7521256B2 JP2020089487A JP2020089487A JP7521256B2 JP 7521256 B2 JP7521256 B2 JP 7521256B2 JP 2020089487 A JP2020089487 A JP 2020089487A JP 2020089487 A JP2020089487 A JP 2020089487A JP 7521256 B2 JP7521256 B2 JP 7521256B2
Authority
JP
Japan
Prior art keywords
image
user
images
facial
photo image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020089487A
Other languages
Japanese (ja)
Other versions
JP2021184184A (en
Inventor
雅洋 安井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2020089487A priority Critical patent/JP7521256B2/en
Publication of JP2021184184A publication Critical patent/JP2021184184A/en
Application granted granted Critical
Publication of JP7521256B2 publication Critical patent/JP7521256B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Transfer Between Computers (AREA)

Description

本発明は、情報処理装置およびプログラムに関する。 The present invention relates to an information processing device and a program.

特許文献1には、ユーザによって指定された候補画像に含まれる顔画像を、撮影部により撮影されたユーザの顔画像と比較して、2つの顔画像の類似度が所定の基準を満たした場合に、ユーザによって指定された候補画像をユーザのプロフィール画像としてサーバ装置に送信するようにした画像判定方法が開示されている。 Patent document 1 discloses an image judgment method in which a facial image included in a candidate image designated by a user is compared with a facial image of the user captured by a capture unit, and if the similarity between the two facial images satisfies a predetermined standard, the candidate image designated by the user is sent to a server device as the user's profile image.

特開2019-159647号公報JP 2019-159647 A

本発明の目的は、ユーザの顔写真画像を登録する際に、そのユーザ以外の顔写真画像が登録されることを抑制することが可能な情報処理装置およびプログラムを提供することである。 The object of the present invention is to provide an information processing device and program that can prevent the registration of a facial photo image of a user other than that user when registering the facial photo image of the user.

[情報処理装置]
請求項1に係る本発明は、メモリとプロセッサを備え、
前記プロセッサは、
自装置の記憶領域又は自装置に接続された記録媒体内の記憶領域に画像を格納する際に、装置外部から取得した画像、表示画面上に表示した画像の全部又は一部を写した画像および自装置の撮影機能を用いて撮影された画像のいずれかに区別して管理し、
登録しようとするユーザの顔写真画像の入力を受け付ける際に、自装置の撮影機能を用いて撮影された画像として管理している画像の中から選択された画像を、当該ユーザの顔写真画像として受け付け、
受け付けた顔写真画像を当該ユーザの顔写真画像として登録する情報処理装置である。
[Information processing device]
The present invention according to claim 1 comprises a memory and a processor,
The processor,
When storing images in a storage area of the device itself or in a storage area of a recording medium connected to the device itself, the images are managed by distinguishing between images acquired from outside the device, images that are a copy of all or a part of an image displayed on a display screen, and images that have been photographed using a photographing function of the device itself;
When accepting input of a face photo image of a user to be registered, an image selected from images managed as images taken using a photographing function of the device is accepted as the face photo image of the user,
The information processing device registers the received facial photo image as the facial photo image of the user.

請求項に係る本発明は、前記プロセッサが、装置外部から取得した画像、表示画面上に表示した画像の全部又は一部を写した画像、および自装置の撮影機能を用いて撮影された画像をそれぞれ異なる格納場所に格納し、
登録しようとするユーザの顔写真画像の入力を受け付ける際に、自装置の撮影機能を用いて撮影された画像を格納している格納場所に格納されている画像の中から選択された画像を、当該ユーザの顔写真画像として受け付ける請求項記載の情報処理装置である。
The present invention according to claim 2 is characterized in that the processor stores an image acquired from outside the device, an image showing all or a part of an image displayed on the display screen, and an image photographed using a photographing function of the device in different storage locations,
The information processing device of claim 1, when accepting input of a facial photograph image of a user to be registered, accepts as the facial photograph image of the user an image selected from images stored in a storage location that stores images taken using the device's own photography function.

請求項に係る本発明は、前記プロセッサが、装置外部から取得した画像、表示画面上に表示した画像の全部又は一部を写した画像、および自装置の撮影機能を用いて撮影された画像のそれぞれに画像を取得した際の経路を示す属性情報を対応付けて格納し、
登録しようとするユーザの顔写真画像の入力を受け付ける際に、自装置の撮影機能を用いて撮影された画像であること示す属性情報が対応付けられた画像の中から選択された画像を、当該ユーザの顔写真画像として受け付ける請求項記載の情報処理装置である。
The present invention according to claim 3 is characterized in that the processor associates attribute information indicating a route taken when an image was acquired with an image acquired from outside the device, an image showing all or a part of an image displayed on a display screen, and an image captured using a photographing function of the device, and stores the associated attribute information;
The information processing device of claim 1, when accepting input of a facial photograph image of a user to be registered , accepts as the facial photograph image of the user an image selected from images associated with attribute information indicating that the image was taken using the device's own photography function.

請求項に係る本発明は、メモリとプロセッサを備え、
前記プロセッサは、
登録しようとするユーザの顔写真画像の入力を受け付ける際に、自装置の撮影機能を用いて撮影された画像のみを選択可能に表示することにより、自装置の撮影機能を用いて撮影された顔写真画像のみを受け付け、
受け付けた顔写真画像を当該ユーザの顔写真画像として登録する情報処理装置である。
The present invention according to claim 4 provides a method for controlling a computer comprising:
The processor,
When accepting input of a face photo image of a user to be registered, only images taken using a photographing function of the device are displayed in a selectable manner, thereby accepting only face photos taken using the photographing function of the device;
The information processing device registers the received facial photo image as the facial photo image of the user .

請求項に係る本発明は、メモリとプロセッサを備え、
前記プロセッサは、
登録しようとするユーザの顔写真画像の入力を受け付ける際に、自装置の撮影機能を用いて撮影された画像以外の画像が選択された場合、選択された画像を登録することができない旨をユーザに通知することにより、自装置の撮影機能を用いて撮影された顔写真画像のみを受け付け、
受け付けた顔写真画像を当該ユーザの顔写真画像として登録する情報処理装置である。
The present invention according to claim 5 provides a method for controlling a computer comprising:
The processor,
When accepting input of a facial photograph image of a user to be registered, if an image other than an image taken using the photographing function of the own device is selected, the user is notified that the selected image cannot be registered, and only facial photograph images taken using the photographing function of the own device are accepted;
The information processing device registers the received facial photo image as the facial photo image of the user .

請求項に係る本発明は、前記プロセッサが、自装置内に格納されている当該ユーザの顔写真画像と、受け付けた顔写真画像とを照合して、2つの顔写真画像が同一人物のものであると判定された場合、入力された顔写真画像を当該ユーザの顔写真画像として登録する請求項1からのいずれか1項に記載の情報処理装置である。 The present invention of claim 6 is an information processing device described in any one of claims 1 to 5, in which the processor compares a facial photo image of the user stored in the device with the received facial photo image, and if it determines that the two facial photo images are of the same person, registers the input facial photo image as the facial photo image of the user.

請求項に係る本発明は、前記プロセッサが、前記自装置内に格納されている顔写真画像のうち、当該ユーザと対応付けされている顔写真画像を取得して、入力された顔写真画像との照合を行う請求項記載の情報処理装置である。 The present invention of claim 7 is an information processing device as described in claim 6, wherein the processor acquires a facial photo image associated with the user from among facial photo images stored in the device , and compares it with the input facial photo image.

[プログラム]
請求項に係る本発明は、自装置の記憶領域又は自装置に接続された記録媒体内の記憶領域に画像を格納する際に、装置外部から取得した画像、表示画面上に表示した画像の全部又は一部を写した画像および自装置の撮影機能を用いて撮影された画像のいずれかに区別して管理するステップと、
登録しようとするユーザの顔写真画像の入力を受け付ける際に、自装置の撮影機能を用いて撮影された画像として管理している画像の中から選択された画像を、当該ユーザの顔写真画像として受け付けるステップと、
受け付けた顔写真画像を当該ユーザの顔写真画像として登録するステップとをコンピュータに実行させるためのプログラムである。
請求項9に係る本発明は、登録しようとするユーザの顔写真画像の入力を受け付ける際に、自装置の撮影機能を用いて撮影された画像のみを選択可能に表示することにより、自装置の撮影機能を用いて撮影された顔写真画像のみを受け付けるステップと、
受け付けた顔写真画像を当該ユーザの顔写真画像として登録するステップと、
をコンピュータに実行させるためのプログラムである。
請求項10に係る本発明は、登録しようとするユーザの顔写真画像の入力を受け付ける際に、自装置の撮影機能を用いて撮影された画像以外の画像が選択された場合、選択された画像を登録することができない旨をユーザに通知することにより、自装置の撮影機能を用いて撮影された顔写真画像のみを受け付けるステップと、
受け付けた顔写真画像を当該ユーザの顔写真画像として登録するステップと、
をコンピュータに実行させるためのプログラムである。
[program]
The present invention according to claim 8 provides a method for managing images by distinguishing between images acquired from outside the device, images that are a copy of all or a part of an image displayed on a display screen, and images captured using a photographing function of the device, when storing images in a memory area of the device itself or in a memory area of a recording medium connected to the device itself;
When receiving an input of a face photo image of a user to be registered, receiving an image selected from images managed as images taken using a photographing function of the device as the face photo image of the user;
and registering the accepted facial photo image as the facial photo image of the user.
The present invention according to claim 9 provides a method for accepting only face photos of a user to be registered by displaying only images taken using a photographing function of the user's own device in a selectable manner, the method comprising:
registering the received facial photo image as a facial photo image of the user;
It is a program for causing a computer to execute the above.
The present invention according to claim 10 provides a method for accepting only face photos taken using the photographing function of the device when an image other than an image taken using the photographing function of the device is selected when inputting a face photo image of the user to be registered, by notifying the user that the selected image cannot be registered;
registering the received facial photo image as a facial photo image of the user;
It is a program for causing a computer to execute the above.

請求項1に係る本発明によれば、ユーザの顔写真画像を登録する際に、そのユーザ以外の顔写真画像が登録されることを抑制することが可能な情報処理装置を提供することができる。 According to claim 1 of the present invention, it is possible to provide an information processing device that can prevent the registration of a facial photo image of a user other than that user when registering the facial photo image of the user.

請求項に係る本発明によれば、取得した画像を自装置内に格納する際に、取得経路に応じた格納場所に格納するだけで、ユーザの顔写真画像を登録する際に、そのユーザ以外の顔写真画像が登録されることを抑制することが可能な情報処理装置を提供することができる。 According to the present invention relating to claim 2 , it is possible to provide an information processing device that, when storing an acquired image within the device, can prevent facial photo images of users other than the user from being registered when registering a facial photo image of the user by simply storing the acquired image in a storage location corresponding to the acquisition route.

請求項に係る本発明によれば、取得した画像を自装置内に格納する際に、取得経路に応じた属性情報を各画像に対応付けるだけで、ユーザの顔写真画像を登録する際に、そのユーザ以外の顔写真画像が登録されることを抑制することが可能な情報処理装置を提供することができる。 According to the present invention relating to claim 3 , it is possible to provide an information processing device that, when storing acquired images within the device, can simply associate attribute information corresponding to the acquisition route with each image, thereby preventing facial photo images of users other than the user from being registered when registering a facial photo image of the user.

請求項に係る本発明によれば、自装置の撮影機能を用いて撮影された画像以外の画像がユーザにより選択されることを抑制することが可能な情報処理装置を提供することができる。 According to the present invention as set forth in claim 4 , it is possible to provide an information processing device capable of preventing a user from selecting an image other than an image captured using the image capturing function of the device itself.

請求項に係る本発明によれば、自装置の撮影機能を用いて撮影された画像以外の画像がユーザにより選択された場合に、その旨をユーザに通知して、自装置の撮影機能を用いて撮影された画像以外の画像がユーザにより選択されることを抑制することが可能な情報処理装置を提供することができる。 According to the present invention of claim 5 , it is possible to provide an information processing device that, when a user selects an image other than an image taken using the photography function of the device, notifies the user of this and prevents the user from selecting an image other than an image taken using the photography function of the device.

請求項に係る本発明によれば、自装置の撮影機能を用いて撮影された画像に他人の顔写真画像が含まれている場合でも、ユーザの顔写真画像を登録する際に、そのユーザ以外の顔写真画像が登録されることを抑制することが可能な情報処理装置を提供することができる。 According to the present invention of claim 6 , it is possible to provide an information processing device that can prevent facial photos of other users from being registered when registering a facial photo of the user, even if an image captured using the device's photography function includes a facial photo of another person.

請求項に係る本発明によれば、自装置内に格納されている顔写真画像の中から当該ユーザの顔写真画像を選択することが可能な情報処理装置を提供することができる。 According to the seventh aspect of the present invention, it is possible to provide an information processing device capable of selecting a facial photo image of a user from facial photo images stored in the device itself.

請求項に係る本発明によれば、ユーザの顔写真画像を登録する際に、そのユーザ以外の顔写真画像が登録されることを抑制することが可能なプログラムを提供することができる。
請求項9に係る本発明によれば、自装置の撮影機能を用いて撮影された画像以外の画像がユーザにより選択された場合に、その旨をユーザに通知して、自装置の撮影機能を用いて撮影された画像以外の画像がユーザにより選択されることを抑制することが可能なプログラムを提供することができる。
請求項10に係る本発明によれば、自装置の撮影機能を用いて撮影された画像に他人の顔写真画像が含まれている場合でも、ユーザの顔写真画像を登録する際に、そのユーザ以外の顔写真画像が登録されることを抑制することが可能なプログラムを提供することができる。
According to the eighth aspect of the present invention, it is possible to provide a program that, when registering a facial photo image of a user, can prevent a facial photo image of a user other than the user from being registered.
According to the present invention of claim 9, it is possible to provide a program that, when a user selects an image other than an image taken using the photography function of the device, notifies the user of this and prevents the user from selecting an image other than an image taken using the photography function of the device.
According to the present invention of claim 10, it is possible to provide a program that can prevent facial photos of other users from being registered when registering a facial photo of a user, even if an image captured using the photographing function of the device itself includes a facial photo of another person.

本発明の一実施形態のマッチングシステムのシステム構成を示す図である。1 is a diagram showing a system configuration of a matching system according to an embodiment of the present invention; 本発明の一実施形態のマッチングシステムにおける携帯端末20のハードウェア構成を示す図である。2 is a diagram showing a hardware configuration of a mobile terminal 20 in the matching system of one embodiment of the present invention. FIG. 本発明の一実施形態のマッチングシステムにおける携帯端末20の機能構成を示すブロック図である。2 is a block diagram showing a functional configuration of a mobile terminal 20 in the matching system of one embodiment of the present invention. FIG. 画像ファイル管理テーブル記憶部35に記録されている画像ファイル管理テーブルの一例を示す図である。4 is a diagram showing an example of an image file management table recorded in an image file management table storage unit 35. FIG. 写真画像の種類に応じて複数のフォルダにそれぞれ格納するようにした写真画像の管理例を説明するための図である。FIG. 13 is a diagram for explaining an example of management of photographic images in which photographic images are stored in a plurality of folders according to their types. 自装置の撮影機能を利用して撮影された画像のみを候補画像として表示する場合の携帯端末20の動作を説明するためのフローチャートである。10 is a flowchart for explaining the operation of the mobile terminal 20 in the case where only images captured using the image capturing function of the mobile terminal itself are displayed as candidate images. 自装置の撮影機能を利用して撮影した画像のみを候補画像として表示する場合の選択画面の一例を示す図である。FIG. 13 is a diagram showing an example of a selection screen in a case where only images captured using the image capturing function of the own device are displayed as candidate images. 選択された写真画像がプロフィール情報として登録されたことを表示する際の表示画面例を示す図である。FIG. 13 is a diagram showing an example of a display screen when displaying that a selected photo image has been registered as profile information. 自装置の撮影機能を利用して撮影された画像以外の画像についても候補画像として表示する場合の携帯端末20の動作を説明するためのフローチャートである。10 is a flowchart for explaining the operation of the mobile terminal 20 in a case where images other than images captured using the image capturing function of the mobile terminal itself are also displayed as candidate images. 自装置の撮影機能を利用して撮影された画像以外の画像についても候補画像として表示する場合の選択画面の一例を示す図である。FIG. 13 is a diagram showing an example of a selection screen in which images other than images captured using the image capturing function of the own device are also displayed as candidate images. ユーザにより選択された画像が登録不可である旨をユーザに通知する際の表示画面例を示す図である。13 is a diagram showing an example of a display screen when notifying a user that an image selected by the user cannot be registered; FIG. ユーザにより選択された画像が自装置の撮影機能を利用して撮影された画像ではないと判定された場合の他の表示画面例を示す図である。13 is a diagram showing another example of a display screen when it is determined that the image selected by the user is not an image captured using the image capturing function of the device itself; FIG. ユーザにより選択された画像が自装置の撮影機能を利用して撮影された画像ではないと判定された場合の他の表示画面例を示す図である。13 is a diagram showing another example of a display screen when it is determined that the image selected by the user is not an image captured using the image capturing function of the device itself; FIG. ユーザにより選択された画像が自装置の撮影機能を利用して撮影された画像ではないと判定された場合の他の表示画面例を示す図である。13 is a diagram showing another example of a display screen when it is determined that the image selected by the user is not an image captured using the image capturing function of the device itself; FIG. ユーザにより選択された写真画像の人物がそのユーザ本人であるか否かを確認してから登録処理を行う場合の携帯端末20の動作を説明するためのフローチャートである。10 is a flowchart for explaining the operation of the mobile terminal 20 when performing registration processing after confirming whether or not a person in a photo image selected by a user is the user himself/herself. タグ情報が付加された写真画像例を示す図である。FIG. 13 is a diagram showing an example of a photographic image to which tag information has been added.

次に、本発明の実施の形態について図面を参照して詳細に説明する。 Next, an embodiment of the present invention will be described in detail with reference to the drawings.

図1は本発明の一実施形態のマッチングシステムのシステム構成を示す図である。 Figure 1 shows the system configuration of a matching system according to one embodiment of the present invention.

本発明の一実施形態のマッチングシステムは、図1に示されるように、マッチングサービス提供サーバ10が、複数の端末装置20とインターネット30を介して接続された構成となっている。 As shown in FIG. 1, a matching system according to one embodiment of the present invention is configured such that a matching service providing server 10 is connected to multiple terminal devices 20 via the Internet 30.

ここで、携帯端末20は、それぞれスマートフォン等の端末装置であり、無線LANターミナル40を介してインターネット30に接続している。なお、携帯端末20の代わりにパーソナルコンピュータ等の情報処理装置を用いてマッチングサービスを利用することも可能である。 Here, each of the mobile terminals 20 is a terminal device such as a smartphone, and is connected to the Internet 30 via a wireless LAN terminal 40. Note that it is also possible to use the matching service using an information processing device such as a personal computer instead of the mobile terminal 20.

マッチングサービス提供サーバ10は、予め登録された複数のユーザに対して、交際相手や結婚相手となる異性を探すようなマッチングサービスを提供している。このようなマッチングサービスは、登録された数多くの異性の自己紹介情報であるプロフィール情報を閲覧して、趣味や条件に合致する異性を探すことを目的としている。 The matching service providing server 10 provides a matching service for multiple pre-registered users to search for members of the opposite sex who could potentially become dating or marriage partners. The purpose of such a matching service is to browse the profile information, which is self-introduction information of many registered members of the opposite sex, to search for members of the opposite sex who match the user's hobbies and conditions.

このマッチングシステムでは、サービス利用者の容貌を確認できるように顔写真をプロフィール情報として登録することが一般的に行われている。しかし、事前の確認を行うことなくどのような画像でも登録を認めたのでは、別人の顔写真を登録することができてしまうという懸念がある。例えば、インターネットからダウンロードした他人の顔写真画像や、スクリーンショットで取得した他人の顔写真画像が本人の顔写真として登録された場合、別人の顔写真が登録されてしまうことになる。 In this matching system, it is common for face photos to be registered as profile information so that the appearance of service users can be confirmed. However, there is a concern that if any image is allowed to be registered without prior confirmation, it may be possible for a face photo of another person to be registered. For example, if a face photo of another person downloaded from the Internet or taken as a screenshot is registered as a face photo of the person in question, a face photo of another person will be registered.

そして、マッチングサービスという初対面の個人と直接的に会う可能性があるサービスの性質上、登録されているプロフィールの顔写真が本人のものであることを担保することは重要である。 And because of the nature of a matching service, which involves potentially meeting individuals face-to-face for the first time, it is important to ensure that the facial photo displayed in the registered profile is of the individual.

このような別人の顔写真が登録されることを防ぐための方法として、免許証等の顔写真付きの身分証明書の提示を要求して、この身分証明書の顔写真と登録しようとする顔写真とが同一人物であることを事前に確認するような方法が用いられる場合もある。しかし、このような方法を用いる場合、2つの顔写真が同一人物であることを確認するための確認作業が人手で行われるため、手間と時間がかかるという問題がある。 As a method for preventing such registration of a facial photograph of another person, a method is sometimes used in which a person is required to present a photo ID such as a driver's license, and it is confirmed in advance that the photo on the ID and the photo to be registered are the same person. However, when using such a method, the verification work to confirm that the two photos are of the same person is done manually, which is time-consuming and laborious.

そこで、本実施形態のマッチングサービスでは、下記で説明するような処理を行うようにすることにより、ユーザの顔写真画像を登録する際に、そのユーザ以外の顔写真画像が登録されることを抑制するようにしている。 Therefore, in the matching service of this embodiment, the process described below is performed to prevent the registration of facial images of users other than the user when registering the facial image of the user.

次に、本実施形態のマッチングシステムにおける携帯端末20のハードウェア構成を図2に示す。 Next, the hardware configuration of the mobile terminal 20 in the matching system of this embodiment is shown in Figure 2.

携帯端末20は、図2に示されるように、CPU11、メモリ12、フラッシュメモリ等の記憶装置13、外部の装置等との間でデータの送信及び受信を行う通信インタフェース(IFと略す。)14、タッチパネル又は液晶ディスプレイを含むユーザインタフェース(UIと略す。)装置15、カメラ16を有する。これらの構成要素は、制御バス17を介して互いに接続されている。 As shown in FIG. 2, the mobile terminal 20 has a CPU 11, a memory 12, a storage device 13 such as a flash memory, a communication interface (abbreviated as IF) 14 for transmitting and receiving data between the device and an external device, a user interface (abbreviated as UI) device 15 including a touch panel or liquid crystal display, and a camera 16. These components are connected to each other via a control bus 17.

CPU11は、メモリ12または記憶装置13に格納された制御プログラムに基づいて所定の処理を実行して、携帯端末20の動作を制御するプロセッサである。なお、本実施形態では、CPU11は、メモリ12または記憶装置13内に格納されたマッチングサービス用のアプリケーションプログラムを読み出して実行するものとして説明するが、当該プログラムを外部の記憶媒体に格納してCPU11に提供することも可能である。 The CPU 11 is a processor that executes a predetermined process based on a control program stored in the memory 12 or the storage device 13 to control the operation of the mobile terminal 20. Note that in this embodiment, the CPU 11 is described as reading and executing an application program for a matching service stored in the memory 12 or the storage device 13, but it is also possible to store the program in an external storage medium and provide it to the CPU 11.

図3は、上記のアプリケーションプログラムが実行されることにより実現される携帯端末20の機能構成を示すブロック図である。 Figure 3 is a block diagram showing the functional configuration of the mobile terminal 20 that is realized by executing the above application program.

携帯端末20は、図3に示されるように、表示部31と、操作受付部32と、顔写真画像登録処理部33と、データ送受信部34と、画像ファイル管理テーブル記憶部35と、写真画像管理部36と、写真画像格納部37と、同一人物判定処理部38とを備えている。 As shown in FIG. 3, the mobile terminal 20 includes a display unit 31, an operation reception unit 32, a face photo image registration processing unit 33, a data transmission/reception unit 34, an image file management table memory unit 35, a photo image management unit 36, a photo image storage unit 37, and a same person determination processing unit 38.

表示部31は、ユーザに各種情報を表示する。操作受付部32は、ユーザにより行われた各種操作情報を受け付ける。なお、本実施形態の携帯端末20では、表示部31と操作受付部32とによりタッチパネルが構成される。データ送受信部34は、マッチングサービス提供サーバ10との間でデータの送受信を行っている。 The display unit 31 displays various information to the user. The operation reception unit 32 receives various pieces of operation information performed by the user. In the mobile terminal 20 of this embodiment, the display unit 31 and the operation reception unit 32 form a touch panel. The data transmission/reception unit 34 transmits and receives data to and from the matching service providing server 10.

顔写真画像登録処理部33は、プロフィール情報として登録するユーザの顔写真画像を受け付けて、マッチングシステムに対して登録する処理を実行する。具体的には、顔写真画像登録処理部33は、端末装置20内に格納されている写真画像の中からプロフィール情報として登録する顔写真画像の指定をユーザから受け付け、受け付けた顔写真画像をそのユーザの顔写真画像としてデータ送受信部33を介してマッチングサービス提供サーバ10に送信する。 The face photo image registration processing unit 33 accepts a face photo image of the user to be registered as profile information, and executes the process of registering it in the matching system. Specifically, the face photo image registration processing unit 33 accepts from the user a designation of a face photo image to be registered as profile information from among the photo images stored in the terminal device 20, and transmits the accepted face photo image as the face photo image of the user to the matching service providing server 10 via the data transmission/reception unit 33.

ここで、顔写真画像登録処理部33は、登録しようとするユーザの顔写真画像の入力を受け付ける際に、自装置の撮影機能を用いて撮影された顔写真画像のみを受け付け、受け付けた顔写真画像をそのユーザの顔写真画像として登録する。 Here, when accepting input of a facial photo image of a user to be registered, the facial photo image registration processing unit 33 accepts only facial photo images taken using the photographing function of the device itself, and registers the accepted facial photo image as the facial photo image of that user.

なお、端末装置20に備えられたカメラ等の撮影機能を利用して撮影された写真画像は、装置外部からダウンロードした画像やスクリーンショットの画像等と比較して、そのユーザ本人の顔写真画像である可能性が高い。そのため、プロフィール情報として登録することが可能な画像を、自装置において撮影された画像の中からのみ選択可能とすることにより、他人の顔写真画像がそのユーザの顔写真画像として登録される可能性が低減されることになる。 Note that a photographic image taken using a photographing function such as a camera provided in the terminal device 20 is more likely to be a facial photograph of the user than an image downloaded from outside the device, a screenshot, or the like. Therefore, by making it possible to select images that can be registered as profile information only from images taken on the user's own device, the possibility of a facial photograph of another person being registered as the user's facial photograph is reduced.

写真画像管理部36は、自装置の記憶領域である写真画像格納部37又は自装置に接続されたSDメモリカード等の記録媒体内の記憶領域に画像を格納する際に、インターネット30経由でダウンロードした画像を装置外部から取得した画像、スクリーンショットにより取得した画像、自装置において撮影されたカメラ画像のいずれかに区別して管理する。 When storing images in the photo image storage unit 37, which is the storage area of the device itself, or in a storage area of a recording medium such as an SD memory card connected to the device, the photo image management unit 36 manages images downloaded via the Internet 30 by distinguishing between images obtained from outside the device, images obtained by screenshots, and camera images taken on the device itself.

ここで、スクリーンショットにより取得した画像とは、表示部31の表示画面上に表示した画像の全部又は一部を写した画像である。また、自装置において撮影されたカメラ画像とは、自装置の撮影機能を用いて撮影された画像である。 Here, an image acquired by a screenshot is an image that captures all or part of an image displayed on the display screen of the display unit 31. Also, a camera image captured on the device itself is an image captured using the image capture function of the device itself.

そして、顔写真画像登録処理部33は、登録しようとするユーザの顔写真画像の入力を受け付ける際に、写真画像管理部36において、自装置の撮影機能を用いて撮影された画像として管理されている画像の中から選択された画像を、そのユーザの顔写真画像として受け付ける。 When the facial photo image registration processing unit 33 accepts input of a facial photo image of a user to be registered, it accepts an image selected from images managed in the photo image management unit 36 as images taken using the photographing function of the device as the facial photo image of the user.

例えば、写真画像管理部36は、装置外部からインターネット30経由でダウンロードした画像、スクリーンショットの画像、および自装置において撮影されたカメラ画像のそれぞれに画像を取得した際の経路を示す属性情報を対応付けて写真画像格納部37に格納する。 For example, the photo image management unit 36 associates images downloaded from outside the device via the Internet 30, screenshot images, and camera images taken on the device with attribute information indicating the route taken when the images were acquired, and stores the images in the photo image storage unit 37.

具体的には、画像ファイル管理テーブル記憶部35は、写真画像格納部37又はSDカード等の外部の記憶媒体に格納された各写真画像の各種属性情報を対応付けて管理するための画像ファイル管理テーブルを記憶する。写真画像管理部36は、写真画像を写真画像格納部37に格納する際に、この画像ファイル管理テーブルを用いて各写真画像の取得経路を管理する。 Specifically, the image file management table storage unit 35 stores an image file management table for managing various attribute information of each photo image stored in the photo image storage unit 37 or an external storage medium such as an SD card in association with each other. When storing a photo image in the photo image storage unit 37, the photo image management unit 36 uses this image file management table to manage the acquisition path of each photo image.

このような画像ファイル管理テーブルの一例を図4に示す。図4に示された画像ファイル管理テーブルでは、写真画像格納部37等において格納されている写真画像のファイル名、格納日時、取得経路等の属性情報が写真画像毎に管理されている。 An example of such an image file management table is shown in FIG. 4. In the image file management table shown in FIG. 4, attribute information such as the file name, storage date and time, and acquisition route of the photo images stored in the photo image storage unit 37, etc., is managed for each photo image.

この画像ファイル管理テーブルにおいて、取得経路が「スクリーンショット」となっている写真画像は、表示部31上に表示された画像を取得したスクリーンショットの画像であることを意味する。また、取得経路が「ダウンロード」となっている写真画像は、装置外部からインターネット30経由にてダウンロードした画像であることを意味する。さらに、取得経路が「自装置のカメラで撮影」となっている写真画像は、自装置のカメラにより撮影された画像であることを意味する。 In this image file management table, a photo image with an acquisition route of "screenshot" means that it is an image of a screenshot obtained by acquiring an image displayed on the display unit 31. A photo image with an acquisition route of "download" means that it is an image downloaded from outside the device via the Internet 30. Furthermore, a photo image with an acquisition route of "taken with the device's own camera" means that it is an image taken with the device's own camera.

このように各画像に属性情報が対応付けて管理されている場合には、顔写真画像登録処理部33は、登録しようとするユーザの顔写真画像の入力を受け付ける際に、自装置の撮影機能を用いて撮影された画像であること示す属性情報が対応付けられた画像の中から選択された画像を、そのユーザの顔写真画像として受け付ける。 When attribute information is associated with each image and managed in this manner, when the facial photo image registration processing unit 33 accepts input of a facial photo image of a user to be registered, it accepts as the facial photo image of that user an image selected from among images associated with attribute information indicating that the image was taken using the photographing function of the device itself.

また、属性情報を各写真画像と対応付けるような管理方法以外の管理方法として、写真画像格納部37は、装置外部からインターネット30経由でダウンロードした画像、スクリーンショットの画像、および自装置において撮影されたカメラ画像をそれぞれ異なるファイルに格納するような管理方法を用いても良い。なお、このファイルは写真画像を格納する格納場所の一例であり、それぞれの写真画像を区別して管理可能な格納場所であれば格納場所はファイルに限定されるものではない。 As a management method other than associating attribute information with each photo image, the photo image storage unit 37 may use a management method in which images downloaded from outside the device via the Internet 30, screenshot images, and camera images taken on the device itself are stored in different files. Note that this file is an example of a storage location for storing photo images, and the storage location is not limited to files as long as the storage location allows each photo image to be managed separately.

そして、顔写真画像登録処理部33は、登録しようとするユーザの顔写真画像の入力を受け付ける際に、自装置の撮影機能を用いて撮影された画像を格納しているファイルに格納されている画像の中から選択された画像を、そのユーザの顔写真画像として受け付ける。 When the facial photo image registration processing unit 33 accepts input of a facial photo image of a user to be registered, it accepts an image selected from the images stored in a file that stores images taken using the photographing function of the device as the facial photo image of the user.

このような写真画像の管理例を図5に示す。この図5を参照すると画像ファイルを格納するフォルダの下の階層に、「スクリーンショット」、「ダウンロード」、「カメラ」というフォルダが設けられているのが分かる。 An example of such photo image management is shown in Figure 5. Referring to this Figure 5, we can see that folders named "Screenshots," "Downloads," and "Camera" are provided in the hierarchy below the folder that stores image files.

そして、写真画像管理部36は、写真画像を写真画像格納部37に格納する際に、装置外部からインターネット30経由でダウンロードした画像については「ダウンロード」というフォルダ内に格納し、スクリーンショットの画像については「スクリーンショット」というフォルダ内に格納し、自装置において撮影されたカメラ画像については「カメラ」というフォルダ内に格納する。 When storing photo images in the photo image storage unit 37, the photo image management unit 36 stores images downloaded from outside the device via the Internet 30 in a folder called "downloads," stores screenshot images in a folder called "screenshots," and stores camera images taken on the device in a folder called "camera."

そして、顔写真画像登録処理部33は、登録しようとするユーザの顔写真画像の入力を受け付ける際に、「カメラ」というフォルダ内に格納されている写真画像のみをそのユーザの顔写真画像として受け付けるようにする。 Then, when accepting input of a facial photo image of a user to be registered, the facial photo image registration processing unit 33 will only accept photo images stored in a folder called "Camera" as the facial photo image of that user.

なお、顔写真画像登録処理部33は、登録しようとするユーザの顔写真画像の入力を受け付ける際に、写真画像を表示部31に対して表示させてユーザにより登録すべき顔写真画像を選択させるようにする。 When the facial photo image registration processing unit 33 receives input of a facial photo image of a user to be registered, the facial photo image registration processing unit 33 displays the photo image on the display unit 31 so that the user can select the facial photo image to be registered.

この際に、顔写真画像登録処理部33は、自装置において撮影されたカメラ画像のみを選択可能に表示部31上において表示するようにしても良い。 At this time, the face photo image registration processing unit 33 may display only the camera images taken by the own device on the display unit 31 in a selectable manner.

この際、顔写真画像登録処理部33は、自装置において撮影されたカメラ画像のみを表示部31上に表示させても良いし、自装置において撮影されたカメラ画像以外の画像もあわせて表示しつつ、自装置において撮影されたカメラ画像のみを選択可能に表示部31において表示しても良い。また、自装置において撮影されたカメラ画像以外の画像もあわせて表示している場合に、当該カメラ画像以外の画像は選択できないことを示すように、自装置において撮影されたカメラ画像とは識別可能な形態で表示をしてもよい。例えば、顔写真画像登録処理部33は、カメラ画像以外の画像をグレイアウトしたり、選択不可能であることを示す情報を付加したりして表示する。 At this time, the facial photo image registration processing unit 33 may display only the camera images taken on the own device on the display unit 31, or may display only the camera images taken on the own device selectable on the display unit 31 while also displaying images other than the camera images taken on the own device. Furthermore, when images other than the camera images taken on the own device are also displayed, the images may be displayed in a form distinguishable from the camera images taken on the own device so as to indicate that images other than the camera images cannot be selected. For example, the facial photo image registration processing unit 33 displays images other than the camera images by graying them out or adding information indicating that they are not selectable.

または、顔写真画像登録処理部33は、自装置において撮影されたカメラ画像以外の画像が選択された場合、選択された画像を登録することができない旨をユーザに通知するようにしても良い。 Alternatively, the facial photo image registration processing unit 33 may notify the user that if an image other than a camera image taken on the user's own device is selected, the selected image cannot be registered.

上述したように、本実施形態の携帯端末20では、プロフィール情報として登録することが可能な画像を、自装置において撮影された画像の中からのみ選択可能とすることにより、他人の顔写真画像がそのユーザの顔写真画像として登録される可能性を低減するようにしている。 As described above, in the mobile terminal 20 of this embodiment, images that can be registered as profile information can be selected only from images taken by the device itself, thereby reducing the possibility that a facial image of another person will be registered as the user's facial image.

ただし、プロフィール情報として登録することが可能な画像を、自装置において撮影された画像の中からのみ選択可能としたとしても、他人の顔写真画像がそのユーザの顔写真画像として登録されることを完全に防ぐことはできない。 However, even if the images that can be registered as profile information can only be selected from images taken with the user's own device, it is not possible to completely prevent another person's facial image from being registered as the user's facial image.

そのため、本実施形態の携帯端末20では、同一人物判定処理部38を備えることにより、他人の顔写真画像がそのユーザの顔写真画像として登録される可能性をより低くするようにしている。 Therefore, in the present embodiment, the mobile terminal 20 is equipped with a same person determination processing unit 38, which reduces the possibility that a facial photo image of another person will be registered as the user's facial photo image.

また、装置外部からダウンロードした写真画像やスクリーンショットの画像であっても、そのユーザの顔写真画像である場合もあり得る。 In addition, even if the image is a photograph or a screenshot downloaded from outside the device, it may be a facial image of the user.

同一人物判定処理部38は、自装置内に格納されているそのユーザの顔写真画像と、プロフィール情報に登録するために受け付けた顔写真画像とを照合して、2つの顔写真画像が同一人物のものであるか否かの判定を行う。なお、同一人物判定処理部38は、既知の画像処理方法によって、2つの顔写真画像にそれぞれ写っている人物が同一人物か否かを判定する。 The same person determination processing unit 38 compares the facial photo image of the user stored in the device with the facial photo image accepted for registration in the profile information, and determines whether the two facial photo images are of the same person. The same person determination processing unit 38 uses a known image processing method to determine whether the person appearing in each of the two facial photo images is the same person.

顔写真画像登録処理部33は、ユーザによりプロフィール情報として登録する顔写真画像が入力された場合に、自装置内に格納されている顔写真画像のうち、そのユーザと対応付けされている顔写真画像を取得して、入力された顔写真画像との照合が同一人物判定処理部38において実行されるよう制御する。 When a user inputs a face photo image to be registered as profile information, the face photo image registration processing unit 33 acquires the face photo image associated with the user from among the face photo images stored in the device, and controls the same person determination processing unit 38 to match the input face photo image with the face photo image.

そして、同一人物判定処理部38において2つの顔写真画像が同一人物のものであると判定された場合、顔写真画像登録処理部33は、入力された顔写真画像をそのユーザの顔写真画像としてマッチングサービス提供サーバ10に登録する If the same person determination processing unit 38 determines that the two facial image images are of the same person, the facial image registration processing unit 33 registers the input facial image as the facial image of the user in the matching service providing server 10.

なお、装置内に格納されている顔写真画像のうち、そのユーザと対応付けされている顔写真画像を取得する具体的な方法については後述する。 The specific method for acquiring the facial photo image associated with the user from among the facial photo images stored in the device will be described later.

次に、本実施形態のマッチングシステムの携帯端末20においてユーザの顔写真画像を登録する際の動作について図面を参照して詳細に説明する。 Next, the operation of registering a user's face photo image on the mobile terminal 20 of the matching system of this embodiment will be described in detail with reference to the drawings.

まず、自装置の撮影機能を利用して撮影された画像のみを候補画像として表示する場合の動作について、図6のフローチャートを参照して説明する。 First, the operation when only images captured using the image capture function of the device itself are displayed as candidate images will be described with reference to the flowchart in FIG. 6.

まず、顔写真画像登録処理部33は、ステップS101において、プロフィール情報として登録する顔写真画像を選択するための選択画面を表示部31に表示する。 First, in step S101, the face photo image registration processing unit 33 displays a selection screen on the display unit 31 for selecting a face photo image to be registered as profile information.

この際に、顔写真画像登録処理部33は、ステップS102において、自装置の撮影機能を利用して撮影した画像のみを候補画像として選択画面内に表示する。 At this time, in step S102, the face photo image registration processing unit 33 displays only images captured using the image capture function of the device as candidate images on the selection screen.

このようにして表示された選択画面の一例を図7に示す。図7に示した選択画面例では、自装置の撮影機能を利用して撮影した画像のみが選択可能に表示され、装置外部からダウンロードして取得した写真画像やスクリーンショットの画像はグレイアウトされた選択不可能な状態で表示されている。なお、図7に示した選択画面例では、装置外部からダウンロードして取得した写真画像やスクリーンショットの画像を選択不可能な状態で表示するようにしているが、このような画像を候補画像としては表示しないようにしても良い。 An example of a selection screen displayed in this way is shown in FIG. 7. In the selection screen example shown in FIG. 7, only images captured using the image capture function of the device itself are displayed as selectable, and photo images and screenshot images downloaded and obtained from outside the device are displayed as grayed out and unselectable. Note that in the selection screen example shown in FIG. 7, photo images and screenshot images downloaded and obtained from outside the device are displayed as unselectable, but such images may not be displayed as candidate images.

そして、ユーザが選択画面の中から1つの画像を選択して登録指示を行った場合、顔写真画像登録処理部33は、ステップS103において、ユーザにより選択された画像をプロフィール情報として登録すべき顔写真画像としてマッチングサービス提供サーバ10に送信する。 When the user selects an image from the selection screen and issues an instruction to register it, the facial photo image registration processing unit 33 transmits the image selected by the user to the matching service providing server 10 as a facial photo image to be registered as profile information in step S103.

具体的には、図7に示した選択画面においてユーザが写真画像を1つ選択して「決定」ボタンを押下すると、その写真画像がそのユーザの顔写真画像としてプロフィール情報として登録される。その結果、携帯端末20では、図8に示すようにその写真画像がプロフィール情報として登録されたことが表示される。 Specifically, when a user selects one photo image on the selection screen shown in FIG. 7 and presses the "OK" button, the photo image is registered as the user's face image as profile information. As a result, the mobile terminal 20 displays a message indicating that the photo image has been registered as profile information, as shown in FIG. 8.

次に、自装置の撮影機能を利用して撮影された画像以外の画像についても候補画像として表示する場合の動作について、図9のフローチャートを参照して説明する。 Next, we will explain the operation when images other than those captured using the device's image capture function are displayed as candidate images, with reference to the flowchart in Figure 9.

まず、顔写真画像登録処理部33は、ステップS201において、プロフィール情報として登録する顔写真画像を選択するための選択画面を表示部31に表示する。 First, in step S201, the face photo image registration processing unit 33 displays a selection screen on the display unit 31 for selecting a face photo image to be registered as profile information.

この際に、顔写真画像登録処理部33は、ステップS202において、自装置の撮影機能を利用して撮影した画像だけでなく、スクリーンショットの画像や装置外部からダウンロードした画像についても候補画像として選択画面内に表示する。 At this time, in step S202, the face photo image registration processing unit 33 displays, on the selection screen, not only images captured using the image capture function of the device itself, but also screenshot images and images downloaded from outside the device as candidate images.

このようにして表示された選択画面の一例を図10に示す。図10に示した選択画面例では、自装置の撮影機能を利用して撮影した画像とともに、装置外部からダウンロードして取得した写真画像やスクリーンショットの画像も選択可能な状態で表示されている。 An example of the selection screen displayed in this way is shown in Figure 10. In the selection screen example shown in Figure 10, in addition to images captured using the image capture function of the device itself, photographic images and screenshot images downloaded from outside the device are also displayed in a selectable state.

ここで、ユーザが選択画面の中から1つの画像を選択して登録指示を行った場合、顔写真画像登録処理部33は、ステップS203において、ユーザにより選択された画像を受け付ける。 Here, if the user selects one image from the selection screen and issues a registration instruction, the facial photo image registration processing unit 33 accepts the image selected by the user in step S203.

そして、顔写真画像登録処理部33は、ステップS204において、ユーザにより選択された画像は自装置の撮影機能を利用して撮影された画像であるか否かを判定する。 Then, in step S204, the face photo image registration processing unit 33 determines whether the image selected by the user was taken using the image capture function of the device itself.

ここで、ユーザにより選択された画像が自装置の撮影機能を利用して撮影された画像ではないと判定された場合、顔写真画像登録処理部33は、ステップS205において、選択された画像は登録不可である旨をユーザに通知する。 If it is determined that the image selected by the user was not taken using the image capture function of the device, the facial photo image registration processing unit 33 notifies the user in step S205 that the selected image cannot be registered.

例えば、図10に示したような選択画面において、ユーザが自装置において撮影されたカメラ画像以外の写真画像を1つ選択して「決定」ボタンを押下すると、図11に示すような表示が行われて選択された画像は登録不可である旨をユーザに通知する。 For example, on a selection screen such as that shown in FIG. 10, when a user selects a photo image other than a camera image taken on the user's device and presses the "OK" button, a display such as that shown in FIG. 11 appears, informing the user that the selected image cannot be registered.

図11に示す表示画面例では、「選択された写真あなたが写っている写真ではないおそれがあると判定されました。」という文章が表示され、選択された写真画像がプロフィール情報として登録されなかった旨がユーザに通知されている。図11に示した表示画面例では、ユーザがOKボタンを押下すると、図10に示した選択画面に戻るようになっている。 In the example display screen shown in FIG. 11, the text "It has been determined that the selected photo may not contain you" is displayed, and the user is notified that the selected photo image was not registered as profile information. In the example display screen shown in FIG. 11, when the user presses the OK button, the display returns to the selection screen shown in FIG. 10.

なお、ステップS204においてユーザにより選択された画像が自装置の撮影機能を利用して撮影された画像であると判定された場合、顔写真画像登録処理部33は、ステップS206において、その選択された画像をプロフィール情報として登録すべき顔写真画像としてマッチングサービス提供サーバ10に送信する。 If it is determined in step S204 that the image selected by the user is an image taken using the photographing function of the user's own device, the facial photo image registration processing unit 33 transmits the selected image to the matching service providing server 10 in step S206 as a facial photo image to be registered as profile information.

ここで、ユーザにより選択された画像が自装置の撮影機能を利用して撮影された画像ではないと判定された場合の他の表示画面例を図12~図14に示す。 Here, other examples of the display screen when it is determined that the image selected by the user was not taken using the image capture function of the device itself are shown in Figures 12 to 14.

図12に示した表示画面例では、「カメラを起動して新たにあなたの顔写真を撮影してください。」という文章が表示され、ユーザが「カメラを起動」というボタンを押下するとカメラが起動して撮影モードに移行する。そして、顔写真画像登録処理部33は、起動したカメラにより撮影されたユーザの顔写真画像をプロフィール情報として登録する。 In the example display screen shown in FIG. 12, the text "Please start the camera and take a new photo of your face" is displayed, and when the user presses the "Start camera" button, the camera starts up and transitions to photography mode. The face photo image registration processing unit 33 then registers the face photo image of the user taken by the started camera as profile information.

また、図13に示した表示画面例では、「選択された写真があなたの顔写真であることを確認するために今からあなたの顔写真を撮影してください。」という文章が表示され、ユーザがOKボタンを押下するとカメラが起動して撮影モードに移行する。 In addition, in the example display screen shown in FIG. 13, the text "Please take a photo of your face now to confirm that the selected photo is your face" is displayed, and when the user presses the OK button, the camera starts up and transitions to photography mode.

そして、撮影された画像の人物と、選択された画像の人物とが同一人であるか否かが同一人物判定処理部38により判定される。そして、2つの画像の人物が同一人物であると同一人物判定処理部38により判定された場合、顔写真画像登録処理部33は、ユーザにより選択された写真画像をプロフィール情報として登録する。 Then, the same person determination processing unit 38 determines whether the person in the photographed image and the person in the selected image are the same person. If the same person determination processing unit 38 determines that the people in the two images are the same person, the face photo image registration processing unit 33 registers the photo image selected by the user as profile information.

なお、図13では、ユーザにカメラを起動することを促して、本人確認のための顔写真画像を撮影する場合が示されているが、ユーザに確認せずに自動的にカメラを起動してそのユーザの顔写真画像を撮影して、選択された写真画像がそのユーザ本人のものであるか否かを判定するようにしても良い。 Note that FIG. 13 shows a case where the user is prompted to start the camera to take a facial photo image for identity verification, but the camera may be automatically started without user confirmation to take a facial photo image of the user, and it may be determined whether the selected photo image is that of the user himself.

また、図14に示した表示画面例では、「この写真はいかがですか?」という文章とともに、自装置の撮影機能を利用して撮影された写真画像の中からそのユーザの顔写真画像である可能性が高いと判定された写真画像が、候補画像としてユーザに提示する場合が示されている。 In addition, the example display screen shown in FIG. 14 shows a case in which photo images that have been taken using the photographing function of the device and that have been determined to be highly likely to be a facial image of the user are presented to the user as candidate images, along with the text "How do you like this photo?"

ここで、自装置の撮影機能を利用して撮影された写真画像の中からそのユーザの顔写真画像である可能性が高いと判定された画像を選択する方法としては、外部のSNS(Social Networking Service)に登録された画像と同一人物である画像を選択する方法や、後述するタグ情報等によりそのユーザと対応付けられた写真画像を選択する方法等を用いることができる。 Here, methods for selecting an image determined to be highly likely to be a facial image of the user from among the photographic images taken using the photographing function of the device can include a method of selecting an image of the same person as an image registered on an external SNS (Social Networking Service), or a method of selecting a photographic image associated with the user using tag information, etc., as described below.

さらに、そのユーザの顔写真画像である可能性が高いと判定された写真画像が複数存在する場合、最も新しい写真画像を選択する、最も古い写真画像を選択する、ランダムに選択する、既知の画像アルゴリズムにより最も綺麗に写っていると判定された写真画像を選択する等の様々な選択方法を用いることができる。 Furthermore, if there are multiple photographic images that are determined to be highly likely to be a facial image of the user, various selection methods can be used, such as selecting the newest photographic image, selecting the oldest photographic image, selecting randomly, or selecting the photographic image determined to be the most beautiful by a known image algorithm.

最後に、ユーザにより選択された写真画像の人物がそのユーザ本人であるか否かを確認してから登録処理を行う場合の動作について、図15のフローチャートを参照して説明する。 Finally, we will explain the operation of performing the registration process after confirming whether the person in the photo image selected by the user is the user himself/herself, with reference to the flowchart in Figure 15.

顔写真画像登録処理部33は、ステップS301~S303において、プロフィール情報として登録する顔写真画像を選択するための選択画面を表示部31に表示して、ユーザにより選択された画像を受け付ける。 In steps S301 to S303, the facial photo image registration processing unit 33 displays a selection screen on the display unit 31 for selecting a facial photo image to be registered as profile information, and accepts the image selected by the user.

なお、図15のフローチャートにおけるステップS301~S303の処理については、図9のフローチャートにおいて説明したステップS201~S203の処理と同じであるためその説明は省略する。 Note that the processing of steps S301 to S303 in the flowchart of FIG. 15 is the same as the processing of steps S201 to S203 described in the flowchart of FIG. 9, so a description thereof will be omitted.

そして、顔写真画像登録処理部33は、ステップS304において、自装置内に格納されている写真画像の中から本人確認に使用する顔写真画像を取得する。つまり、顔写真画像登録処理部33は、そのユーザの顔写真画像である可能性が高い写真画像を取得する。 Then, in step S304, the face photo image registration processing unit 33 acquires a face photo image to be used for identity verification from among the photo images stored in the device. In other words, the face photo image registration processing unit 33 acquires a photo image that is highly likely to be the face photo image of the user.

具体的には、顔写真画像登録処理部33は、自装置内に格納されている写真画像の中から、そのユーザのタグ情報が付加された写真画像を取得する。ここで、タグ情報が付加された写真画像例を図16に示す。 Specifically, the face photo image registration processing unit 33 acquires a photo image to which the user's tag information has been added from among the photo images stored in the device. An example of a photo image to which tag information has been added is shown in FIG. 16.

図16に示した各写真画像では、写っている人物の画像に対して、その人物の氏名がタグ情報70として付加された場合が示されている。 In each photo image shown in FIG. 16, the name of the person in the image is added as tag information 70.

ここで、プロフィール情報として顔写真を登録しようとするユーザの氏名が「富士 太郎」である場合、顔写真画像登録処理部33は、ファイル名が1000123.jpgという写真画像または1000125.jpgという写真画像を本人確認用の顔写真画像として取得する。 Here, if the name of the user who is trying to register a face photo as profile information is "Fuji Taro", the face photo image registration processing unit 33 will obtain a photo image with the file name 1000123.jpg or 1000125.jpg as the face photo image for identity verification.

そして、同一人物判定処理部38は、ステップS305において、ユーザにより選択された写真画像の人物と、本人確認用の顔写真画像の人物とが同一人物であるか否かを判定する。 Then, in step S305, the same person determination processing unit 38 determines whether the person in the photo image selected by the user and the person in the face photo image used for identity verification are the same person.

そして、ユーザにより選択された写真画像の人物と、本人確認用の顔写真画像の人物とが同一人物ではないと判定された場合、顔写真画像登録処理部33は、ステップS307において、選択された画像は登録不可である旨をユーザに通知する。 If it is determined that the person in the photo image selected by the user is not the same person as the person in the face photo image for identity verification, the face photo image registration processing unit 33 notifies the user in step S307 that the selected image cannot be registered.

また、ステップS306においてユーザにより選択された写真画像の人物と、本人確認用の顔写真画像の人物とが同一人物であると判定された場合、顔写真画像登録処理部33は、ステップS308において、その選択された画像をプロフィール情報として登録すべき顔写真画像としてマッチングサービス提供サーバ10に送信する。 In addition, if it is determined in step S306 that the person in the photo image selected by the user and the person in the face photo image for identity verification are the same person, the face photo image registration processing unit 33 transmits the selected image to the matching service providing server 10 in step S308 as a face photo image to be registered as profile information.

上記各実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ(例えばCPU:Central Processing Unit、等)や、専用のプロセッサ(例えばGPU:Graphics Processing Unit、ASIC:Application Specific Integrated Circuit、FPGA:Field Programmable Gate Array、プログラマブル論理デバイス等)を含むものである。 In each of the above embodiments, the term "processor" refers to a processor in a broad sense, including general-purpose processors (e.g., CPU: Central Processing Unit, etc.) and dedicated processors (e.g., GPU: Graphics Processing Unit, ASIC: Application Specific Integrated Circuit, FPGA: Field Programmable Gate Array, programmable logic device, etc.).

また上記各実施形態におけるプロセッサの動作は、1つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。 In addition, the processor operations in each of the above embodiments may not only be performed by a single processor, but may also be performed by multiple processors located at physically separate locations working together. Furthermore, the order of each processor operation is not limited to the order described in each of the above embodiments, and may be changed as appropriate.

[変形例]
上記実施形態では、携帯端末20においてマッチングシステムに対してユーザの顔写真画像をプロフィール情報として登録する場合を用いて説明したが、本発明はこれに限定されるものではなく、タブレット端末、パーソナルコンピュータのような固定端末等の各種情報処理装置を用いて顔写真画像を登録するような場合でも同様に本発明を適用することができるものである。
[Variations]
In the above embodiment, a case has been described in which a facial photo image of a user is registered as profile information in a matching system on a mobile terminal 20, but the present invention is not limited to this, and the present invention can be similarly applied to cases in which a facial photo image is registered using various information processing devices such as a tablet terminal, a fixed terminal such as a personal computer, etc.

10 マッチングサービス提供サーバ
11 CPU
12 メモリ
13 記憶装置
14 通信インタフェース
15 ユーザインタフェース装置
16 カメラ
17 制御バス
20 携帯端末
30 インターネット
31 表示部
32 操作受付部
33 顔写真画像登録処理部
34 データ送受信部
35 画像ファイル管理テーブル記憶部
36 写真画像管理部
37 写真画像格納部
38 同一人物判定処理部
40 無線LANターミナル
70 タグ情報
10 Matching service providing server 11 CPU
REFERENCE SIGNS LIST 12 Memory 13 Storage device 14 Communication interface 15 User interface device 16 Camera 17 Control bus 20 Portable terminal 30 Internet 31 Display unit 32 Operation reception unit 33 Face photo image registration processing unit 34 Data transmission/reception unit 35 Image file management table storage unit 36 Photo image management unit 37 Photo image storage unit 38 Same person determination processing unit 40 Wireless LAN terminal 70 Tag information

Claims (10)

メモリとプロセッサを備え、
前記プロセッサは、
自装置の記憶領域又は自装置に接続された記録媒体内の記憶領域に画像を格納する際に、装置外部から取得した画像、表示画面上に表示した画像の全部又は一部を写した画像および自装置の撮影機能を用いて撮影された画像のいずれかに区別して管理し、
登録しようとするユーザの顔写真画像の入力を受け付ける際に、自装置の撮影機能を用いて撮影された画像として管理している画像の中から選択された画像を、当該ユーザの顔写真画像として受け付け、
受け付けた顔写真画像を当該ユーザの顔写真画像として登録する
情報処理装置。
It has memory and a processor.
The processor,
When storing images in a storage area of the device itself or in a storage area of a recording medium connected to the device itself, the images are managed by distinguishing between images acquired from outside the device, images that are a copy of all or a part of an image displayed on a display screen, and images that have been photographed using a photographing function of the device itself;
When accepting input of a facial photograph image of a user to be registered, an image selected from images managed as images taken using a photographing function of the device is accepted as the facial photograph image of the user,
The information processing device registers the accepted facial photo image as a facial photo image of the user.
前記プロセッサは、装置外部から取得した画像、表示画面上に表示した画像の全部又は一部を写した画像、および自装置の撮影機能を用いて撮影された画像をそれぞれ異なる格納場所に格納し、
登録しようとするユーザの顔写真画像の入力を受け付ける際に、自装置の撮影機能を用いて撮影された画像を格納している格納場所に格納されている画像の中から選択された画像を、当該ユーザの顔写真画像として受け付ける、
請求項記載の情報処理装置。
The processor stores an image acquired from outside the device, an image showing all or a part of an image displayed on a display screen, and an image captured using a photographing function of the device in different storage locations, respectively;
When accepting an input of a facial photograph image of a user to be registered, an image selected from images stored in a storage location that stores images captured using a photographing function of the device is accepted as the facial photograph image of the user.
2. The information processing device according to claim 1 .
前記プロセッサは、装置外部から取得した画像、表示画面上に表示した画像の全部又は一部を写した画像、および自装置の撮影機能を用いて撮影された画像のそれぞれに画像を取得した際の経路を示す属性情報を対応付けて格納し、
登録しようとするユーザの顔写真画像の入力を受け付ける際に、自装置の撮影機能を用いて撮影された画像であること示す属性情報が対応付けられた画像の中から選択された画像を、当該ユーザの顔写真画像として受け付ける、
請求項記載の情報処理装置。
the processor associates attribute information indicating a route along which the image was acquired with each of an image acquired from outside the device, an image showing all or a part of an image displayed on a display screen, and an image captured using a photographing function of the device, and stores the associated attribute information;
When accepting an input of a face photo image of a user to be registered, an image selected from images associated with attribute information indicating that the image was taken using a photographing function of the device is accepted as the face photo image of the user.
2. The information processing device according to claim 1 .
メモリとプロセッサを備え、
前記プロセッサは、
登録しようとするユーザの顔写真画像の入力を受け付ける際に、自装置の撮影機能を用いて撮影された画像のみを選択可能に表示することにより、自装置の撮影機能を用いて撮影された顔写真画像のみを受け付け、
受け付けた顔写真画像を当該ユーザの顔写真画像として登録する
情報処理装置。
It has memory and a processor.
The processor,
When accepting input of a face photo image of a user to be registered, only images taken using a photographing function of the device are displayed in a selectable manner, thereby accepting only face photos taken using the photographing function of the device;
The information processing device registers the accepted facial photo image as a facial photo image of the user.
メモリとプロセッサを備え、
前記プロセッサは、
登録しようとするユーザの顔写真画像の入力を受け付ける際に、自装置の撮影機能を用いて撮影された画像以外の画像が選択された場合、選択された画像を登録することができない旨をユーザに通知することにより、自装置の撮影機能を用いて撮影された顔写真画像のみを受け付け、
受け付けた顔写真画像を当該ユーザの顔写真画像として登録する
情報処理装置。
It has memory and a processor.
The processor,
When accepting input of a facial photograph image of a user to be registered, if an image other than an image taken using the photographing function of the own device is selected, the user is notified that the selected image cannot be registered, and only facial photograph images taken using the photographing function of the own device are accepted;
The information processing device registers the accepted facial photo image as a facial photo image of the user.
前記プロセッサは、自装置内に格納されている当該ユーザの顔写真画像と、受け付けた顔写真画像とを照合して、2つの顔写真画像が同一人物のものであると判定された場合、入力された顔写真画像を当該ユーザの顔写真画像として登録する請求項1からのいずれか1項に記載の情報処理装置。 6. An information processing device according to claim 1, wherein the processor compares a facial photo image of the user stored in the device with the received facial photo image, and if it determines that the two facial photo images are of the same person , registers the input facial photo image as the facial photo image of the user. 前記プロセッサは、前記自装置内に格納されている顔写真画像のうち、当該ユーザと対応付けされている顔写真画像を取得して、入力された顔写真画像との照合を行う請求項記載の情報処理装置。 The information processing device according to claim 6 , wherein the processor acquires a facial photo image associated with the user from among facial photo images stored in the device itself , and compares the acquired facial photo image with the input facial photo image. 自装置の記憶領域又は自装置に接続された記録媒体内の記憶領域に画像を格納する際に、装置外部から取得した画像、表示画面上に表示した画像の全部又は一部を写した画像および自装置の撮影機能を用いて撮影された画像のいずれかに区別して管理するステップと、
登録しようとするユーザの顔写真画像の入力を受け付ける際に、自装置の撮影機能を用いて撮影された画像として管理している画像の中から選択された画像を、当該ユーザの顔写真画像として受け付けるステップと、
受け付けた顔写真画像を当該ユーザの顔写真画像として登録するステップと、
をコンピュータに実行させるためのプログラム。
When storing images in a storage area of the device itself or in a storage area of a recording medium connected to the device itself, the images are managed by distinguishing between images acquired from outside the device, images that are a copy of all or a part of an image displayed on a display screen, and images that have been photographed using a photographing function of the device itself;
When receiving an input of a face photo image of a user to be registered, receiving an image selected from images managed as images taken using a photographing function of the device as the face photo image of the user;
registering the received facial photo image as a facial photo image of the user;
A program for causing a computer to execute the following.
登録しようとするユーザの顔写真画像の入力を受け付ける際に、自装置の撮影機能を用いて撮影された画像のみを選択可能に表示することにより、自装置の撮影機能を用いて撮影された顔写真画像のみを受け付けるステップと、
受け付けた顔写真画像を当該ユーザの顔写真画像として登録するステップと、
をコンピュータに実行させるためのプログラム。
When accepting input of a facial photograph image of a user to be registered, only images taken using a photographing function of the device are displayed in a selectable manner, thereby accepting only facial photograph images taken using the photographing function of the device;
registering the received facial photo image as a facial photo image of the user;
A program for causing a computer to execute the following.
登録しようとするユーザの顔写真画像の入力を受け付ける際に、自装置の撮影機能を用いて撮影された画像以外の画像が選択された場合、選択された画像を登録することができない旨をユーザに通知することにより、自装置の撮影機能を用いて撮影された顔写真画像のみを受け付けるステップと、
受け付けた顔写真画像を当該ユーザの顔写真画像として登録するステップと、
をコンピュータに実行させるためのプログラム。
When accepting input of a facial photograph image of a user to be registered, if an image other than an image taken using a photographing function of the device is selected, the step of notifying the user that the selected image cannot be registered, thereby accepting only facial photograph images taken using the photographing function of the device;
registering the received facial photo image as a facial photo image of the user;
A program for causing a computer to execute the following.
JP2020089487A 2020-05-22 2020-05-22 Information processing device and program Active JP7521256B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020089487A JP7521256B2 (en) 2020-05-22 2020-05-22 Information processing device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020089487A JP7521256B2 (en) 2020-05-22 2020-05-22 Information processing device and program

Publications (2)

Publication Number Publication Date
JP2021184184A JP2021184184A (en) 2021-12-02
JP7521256B2 true JP7521256B2 (en) 2024-07-24

Family

ID=78767424

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020089487A Active JP7521256B2 (en) 2020-05-22 2020-05-22 Information processing device and program

Country Status (1)

Country Link
JP (1) JP7521256B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102576191B1 (en) * 2022-08-19 2023-09-07 시놀(주) Method for matching system for senior user

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005102126A (en) 2003-08-21 2005-04-14 Casio Comput Co Ltd Image pickup device with communication function and display processing method
JP2006237838A (en) 2005-02-23 2006-09-07 Casio Comput Co Ltd Imaging apparatus and program
JP2008033810A (en) 2006-07-31 2008-02-14 Secom Co Ltd Face image collation device
JP2012242891A (en) 2011-05-16 2012-12-10 Canon Inc Face recognition apparatus, face recognition method, face recognition program, and recording medium with the program recorded thereon
JP2019040401A (en) 2017-08-25 2019-03-14 アズビル株式会社 Information management device, information management system, and information management method
JP2019102024A (en) 2017-12-08 2019-06-24 株式会社テイパーズ Event hall face registration system
JP2019531561A (en) 2016-10-19 2019-10-31 華為技術有限公司Huawei Technologies Co.,Ltd. Image processing method and apparatus, electronic device, and graphical user interface
JP2020013368A (en) 2018-07-19 2020-01-23 桂子 向山 Makeup support system, makeup support program and makeup support method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005102126A (en) 2003-08-21 2005-04-14 Casio Comput Co Ltd Image pickup device with communication function and display processing method
JP2006237838A (en) 2005-02-23 2006-09-07 Casio Comput Co Ltd Imaging apparatus and program
JP2008033810A (en) 2006-07-31 2008-02-14 Secom Co Ltd Face image collation device
JP2012242891A (en) 2011-05-16 2012-12-10 Canon Inc Face recognition apparatus, face recognition method, face recognition program, and recording medium with the program recorded thereon
JP2019531561A (en) 2016-10-19 2019-10-31 華為技術有限公司Huawei Technologies Co.,Ltd. Image processing method and apparatus, electronic device, and graphical user interface
JP2019040401A (en) 2017-08-25 2019-03-14 アズビル株式会社 Information management device, information management system, and information management method
JP2019102024A (en) 2017-12-08 2019-06-24 株式会社テイパーズ Event hall face registration system
JP2020013368A (en) 2018-07-19 2020-01-23 桂子 向山 Makeup support system, makeup support program and makeup support method

Also Published As

Publication number Publication date
JP2021184184A (en) 2021-12-02

Similar Documents

Publication Publication Date Title
RU2647681C2 (en) Method and device for album displaying
JP5587390B2 (en) Method, system, and apparatus for selecting images picked up by image pickup apparatus
WO2019011083A1 (en) Private information processing method and apparatus, and mobile terminal
JP7521256B2 (en) Information processing device and program
JP2019118021A (en) Shooting control system, shooting control method, program, and recording medium
KR100785617B1 (en) System for transmitting a photograph using multimedia messaging service and method therefor
JP6999920B2 (en) Image processing system and image processing equipment
KR101231156B1 (en) System for managing picture folder using quick response code and method thereof
US20120275643A1 (en) Purchasing Photographic Products from a Software Application on a Mobile Electronic Device Application
JP6507555B2 (en) Application acceptance method and system for media with face image
US8874039B2 (en) Method of operating a mobile telecommunication terminal
WO2019237578A1 (en) File viewing method and device and computer-readable storage medium
US20190180042A1 (en) Image display device, image display control device, and image display control method
KR20090097691A (en) Method of setting the publication of image file and the apparatus adopting the same
JP6645089B2 (en) Service management system
JP7505270B2 (en) Information processing device and program
WO2012098855A1 (en) Portable terminal, portable terminal including camera, and information processing system
US20240273898A1 (en) Method for operating an electronic device to browse a collection of images
JP2013164745A (en) Communication terminal
US20240282108A1 (en) Method for operating an electronic device to browse a collection of images
KR101365637B1 (en) Image capturing system
JP6859560B2 (en) Information processing methods, computer programs, information processing servers and information processing equipment
JP2021082338A (en) Information processing method, computer program, information processing server and information processing device
KR20170016606A (en) Integrated photo management system using photo information and member information, method of photo management and method of social network service using the same
JP2017062630A (en) Service management system

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20201102

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240314

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240624

R150 Certificate of patent or registration of utility model

Ref document number: 7521256

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150