JP6675893B2 - Personal authentication system, personal authentication device, personal authentication method, and program - Google Patents

Personal authentication system, personal authentication device, personal authentication method, and program Download PDF

Info

Publication number
JP6675893B2
JP6675893B2 JP2016053564A JP2016053564A JP6675893B2 JP 6675893 B2 JP6675893 B2 JP 6675893B2 JP 2016053564 A JP2016053564 A JP 2016053564A JP 2016053564 A JP2016053564 A JP 2016053564A JP 6675893 B2 JP6675893 B2 JP 6675893B2
Authority
JP
Japan
Prior art keywords
authentication
unit
face
user
authentication data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016053564A
Other languages
Japanese (ja)
Other versions
JP2017167884A (en
Inventor
竜一 稲川
竜一 稲川
大介 上條
大介 上條
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Data Corp
Original Assignee
NTT Data Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Data Corp filed Critical NTT Data Corp
Priority to JP2016053564A priority Critical patent/JP6675893B2/en
Publication of JP2017167884A publication Critical patent/JP2017167884A/en
Application granted granted Critical
Publication of JP6675893B2 publication Critical patent/JP6675893B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Collating Specific Patterns (AREA)

Description

本発明は、個人認証システム、個人認証装置、個人認証方法、およびプログラムに関する。   The present invention relates to a personal authentication system, a personal authentication device, a personal authentication method, and a program.

複数の認証方法を用いて個人を識別する個人認証方法がある(例えば、特許文献1)。これにより、例えば、識別対象であるユーザにとって利便性が高い認証方法(第1認証)を用いることを基本としつつ、第1認証によって個人を識別できなかった場合に当該第1認証よりも利便性は劣るがより認証確度が高い認証方法(第2認証)を補完的に組み合わせて用いるような個人認証を行うことができる。なお、第1認証には、例えば、ユーザの顔を自動的に撮影して個人を識別する顔認証等のような、ユーザの作業負担が少なく利便性が高い個人認証方法が用いられる。また、第2認証には、例えば、指紋認証、またはID・パスワードによる認証等のような、より認証確度が高い認証方法が用いられることが望ましい。   There is a personal authentication method for identifying an individual using a plurality of authentication methods (for example, Patent Document 1). Thus, for example, based on using an authentication method (first authentication) that is highly convenient for the user to be identified, if the individual cannot be identified by the first authentication, it is more convenient than the first authentication. However, it is possible to perform personal authentication using an authentication method (second authentication) that is inferior but has higher authentication accuracy in a complementary manner. For the first authentication, for example, a personal authentication method with a low work load on the user and high convenience, such as face authentication for automatically capturing a user's face to identify an individual, is used. For the second authentication, it is desirable to use an authentication method with higher authentication accuracy, such as fingerprint authentication or ID / password authentication.

国際公開第2002/025457号WO2002 / 025457

上記のような個人認証方法においては、第1認証による個人認証の成功度が上がるほどユーザの利便性が高まるため、第1認証における認証確度を高めていくことが求められる。しかしながら、従来の個人認証方法(例えば、特許文献1)によれば、個人認証を繰り返し行ったとしても、例えば第1認証などの特定の個人認証方法の認証確度が高まっていくようなことはない。   In the personal authentication method as described above, since the convenience of the user increases as the degree of success of the personal authentication by the first authentication increases, it is required to increase the authentication accuracy in the first authentication. However, according to the conventional personal authentication method (for example, Patent Document 1), even if personal authentication is repeatedly performed, the authentication accuracy of a specific personal authentication method such as the first authentication does not increase. .

本発明は上記の点に鑑みてなされたものであり、個人認証における認証確度を高めることができる、個人認証システム、個人認証方法、個人認証装置、およびプログラムを提供する。   The present invention has been made in view of the above points, and provides a personal authentication system, a personal authentication method, a personal authentication device, and a program that can increase the authentication accuracy in personal authentication.

(1)本発明は上記の課題を解決するためになされたものであり、本発明の一態様としては、第1認証サーバと第2認証サーバを有する個人認証システムであって、前記第1認証サーバは、ユーザの顔画像に基づく顔認証データをユーザ毎に記憶する記憶部と、個人認証の対象ユーザの顔画像に基づく顔認証データを取得する取得部と、前記取得部が取得した顔認証データと前記記憶部が記憶する顔認証データとの照合結果に基づいて個人を特定する顔認証を含む第1認証を行う第1認証部と、を備え、前記第2認証サーバは、前記第1認証が成功しなかった場合、端末からの入力に基づいて前記ユーザを特定する第2認証を行う第2認証部、を備え、前記第1認証または前記第2認証が成功した場合、前記記憶部は既に記憶している前記顔認証データに加えて前記取得部が取得した前記顔認証データを記憶することを特徴とする個人認証システム。 (1) The present invention has been made to solve the above-described problems. One aspect of the present invention is a personal authentication system having a first authentication server and a second authentication server, wherein the first authentication A server configured to store, for each user, face authentication data based on the face image of the user; an acquisition unit configured to acquire face authentication data based on the face image of the target user for personal authentication; and a face authentication acquired by the acquisition unit. A first authentication unit that performs a first authentication including a face authentication for identifying an individual based on a result of matching data with the face authentication data stored in the storage unit, wherein the second authentication server includes the first authentication unit. A second authentication unit that performs a second authentication for specifying the user based on an input from a terminal when the authentication is not successful; and the storage unit when the first authentication or the second authentication is successful. Is the previously remembered face A personal authentication system and to store the face authentication data which the acquiring unit in addition to the testimony data acquired.

(2)また、本発明の一態様としては、前記顔認証は、前記取得部が取得した顔認証データと前記記憶部が記憶する少なくとも1件の顔認証データの全件とをそれぞれ照合して、前記取得部が取得した顔認証データが示す人物と前記記憶部が記憶する顔認証データが示す人物が同一人物であるか否かをそれぞれ判定し、同一人物であると判定された件数の割合が所定の割合以上である場合に認証が成功したと判定する、ことを特徴とする(1)に記載の個人認証システムである。 (2) In one aspect of the present invention, the face authentication is performed by comparing the face authentication data acquired by the acquisition unit with all of at least one face authentication data stored in the storage unit. And determining whether or not the person indicated by the face authentication data acquired by the acquisition unit and the person indicated by the face authentication data stored in the storage unit are the same person, and the ratio of the number of cases determined to be the same person. The personal authentication system according to (1), wherein it is determined that the authentication has been successful when is greater than or equal to a predetermined ratio.

(3)また、本発明の一態様としては、前記ユーザの顔画像を撮影する撮像部と、前記撮像部によって撮影された顔画像に基づく顔認証データを前記第1認証サーバへ送信し、前記第1認証サーバから前記ユーザに対する応答を示す情報を受信する通信部と、を備えるロボットを有することを特徴とする(1)に記載の個人認証システムである。 (3) Also, as one aspect of the present invention, an imaging unit that captures a face image of the user, and face authentication data based on the face image captured by the imaging unit are transmitted to the first authentication server. The personal authentication system according to (1), further including a robot including: a communication unit configured to receive information indicating a response to the user from the first authentication server.

(4)また、本発明の一態様としては、前記第1認証部は、前記取得部が定期的に取得した前記顔認証データに基づいて繰り返し第1認証を行うことを特徴とする(1)に記載の個人認証システムである。 (4) According to another aspect of the invention, the first authentication unit repeatedly performs the first authentication based on the face authentication data periodically acquired by the acquisition unit. (1) The personal authentication system described in the above.

(5)また、本発明の一態様としては、前記第2認証部が前記端末から入力される情報は、前記ロボットを識別する識別子を含み、前記第2認証サーバは、前記ロボットを介さずに前記第2認証を行い、前記第2認証が成功した場合、前記識別子で特定される前記ロボットに前記ユーザを特定する情報を送信し、前記第1認証または前記第2認証が成功した場合、前記記憶部は、前記ユーザへの応答が行われている間に前記取得部が取得した前記顔認証データをさらに記憶することを特徴とする(3)に記載の個人認証システムである。 (5) Also, as one aspect of the present invention, the information input by the second authentication unit from the terminal includes an identifier for identifying the robot, and the second authentication server does not pass through the robot. Performing the second authentication, transmitting the information identifying the user to the robot identified by the identifier if the second authentication is successful, and if the first authentication or the second authentication is successful, The personal authentication system according to (3), wherein the storage unit further stores the face authentication data acquired by the acquisition unit while the response to the user is being made.

(6)また、本発明の一態様としては、ユーザの顔画像に基づく顔認証データをユーザ毎に記憶する記憶部と、個人認証の対象ユーザの顔画像に基づく顔認証データを取得する取得部と、前記取得部が取得した顔認証データと前記記憶部が記憶する顔認証データとの照合結果に基づいて個人を特定する顔認証を含む第1認証を行う第1認証部と、前記第1認証が成功しなかった場合、端末からの入力に基づいて前記ユーザを特定する第2認証を行う第2認証部と、を備え、前記第1認証または前記第2認証が成功した場合、前記記憶部は既に記憶している前記顔認証データに加えて前記取得部が取得した前記顔認証データを記憶することを特徴とする個人認証装置である。 (6) According to another aspect of the present invention, a storage unit that stores face authentication data based on a face image of a user for each user, and an obtaining unit that obtains face authentication data based on a face image of a target user for personal authentication. A first authentication unit that performs a first authentication including a face authentication for identifying an individual based on a result of matching the face authentication data obtained by the obtaining unit with the face authentication data stored in the storage unit; A second authentication unit that performs a second authentication that specifies the user based on an input from a terminal when the authentication is not successful, and stores the memory when the first authentication or the second authentication is successful. The unit stores the face authentication data acquired by the acquiring unit in addition to the already stored face authentication data.

(7)また、本発明の一態様としては、記憶部が、ユーザの顔画像に基づく顔認証データをユーザ毎に記憶する第1記憶ステップと、取得部が、個人認証の対象ユーザの顔画像に基づく顔認証データを取得する取得ステップと、第1認証部が、前記取得部によって取得された顔認証データと前記記憶部によって記憶された顔認証データとの照合結果に基づいて個人を特定する顔認証を含む第1認証を行う第1認証ステップと、前記第1認証が成功しなかった場合、第2認証部が、端末からの入力に基づいて前記ユーザを特定する第2認証を行う第2認証ステップと、前記第1認証または前記第2認証が成功した場合、前記記憶部が、既に記憶している前記顔認証データに加えて前記取得部が取得した前記顔認証データを記憶する第2記憶ステップと、を有することを特徴とする個人認証方法である。 (7) Also, as one aspect of the present invention, the storage unit stores, for each user, face authentication data based on the user's face image, and the acquisition unit stores the face image of the target user for personal authentication. Acquiring the face authentication data based on the information, and the first authentication unit identifies the individual based on a result of the comparison between the face authentication data acquired by the acquisition unit and the face authentication data stored by the storage unit. A first authentication step of performing a first authentication including a face authentication, and a second authentication step of performing a second authentication for specifying the user based on an input from a terminal when the first authentication is not successful. A second authentication step, and in the case where the first authentication or the second authentication is successful, the storage unit stores the face authentication data obtained by the obtaining unit in addition to the already stored face authentication data. 2 memory station A personal authentication method characterized by comprising the flop, the.

(8)また、本発明の一態様としては、コンピュータに、ユーザの顔画像に基づく顔認証データをユーザ毎に記憶する第1記憶ステップと、個人認証の対象ユーザの顔画像に基づく顔認証データを取得する取得ステップと、前記取得ステップにおいて取得された顔認証データと前記第1記憶ステップにおいて記憶された顔認証データとの照合結果に基づいて個人を特定する顔認証を含む第1認証を行う第1認証ステップと、前記第1認証が成功しなかった場合、端末からの入力に基づいて前記ユーザを特定する第2認証を行う第2認証ステップと、前記第1認証または前記第2認証が成功した場合、既に記憶されている前記顔認証データに加えて前記取得ステップにおいて取得された前記顔認証データを記憶する第2記憶ステップと、を実行させるためのプログラムである。 (8) According to another aspect of the present invention, a first storage step of storing face authentication data based on a user's face image in a computer for each user, and face authentication data based on a face image of a target user for personal authentication. And performing first authentication including face authentication for identifying an individual based on a result of matching the face authentication data obtained in the obtaining step with the face authentication data stored in the first storage step. A first authentication step, a second authentication step of performing a second authentication for specifying the user based on an input from a terminal when the first authentication is not successful, and wherein the first authentication or the second authentication is performed. If successful, executing a second storing step of storing the face authentication data acquired in the acquiring step in addition to the already stored face authentication data. A program for causing.

本発明によれば、個人認証における認証確度を高めることができる。   According to the present invention, authentication accuracy in personal authentication can be increased.

本発明の第1の実施形態に係る個人認証システムの構成の一例を示す概略図である。It is a schematic diagram showing an example of composition of a personal identification system concerning a 1st embodiment of the present invention. 本発明の第1の実施形態に係る個人認証システムが有するロボットの機能構成を示すブロック図である。FIG. 2 is a block diagram illustrating a functional configuration of a robot included in the personal authentication system according to the first embodiment of the present invention. 本発明の第1の実施形態に係る個人認証システムが有する第1認証サーバの機能構成を示すブロック図である。FIG. 2 is a block diagram illustrating a functional configuration of a first authentication server included in the personal authentication system according to the first embodiment of the present invention. 本発明の第1の実施形態に係る個人認証システムが有する端末の機能構成を示すブロック図である。FIG. 2 is a block diagram illustrating a functional configuration of a terminal included in the personal authentication system according to the first embodiment of the present invention. 本発明の第1の実施形態に係る個人認証システムが有する第2認証サーバの機能構成を示すブロック図である。FIG. 2 is a block diagram illustrating a functional configuration of a second authentication server included in the personal authentication system according to the first embodiment of the present invention. 本発明の第1の実施形態に係る個人認証システムの動作を示すフローチャートである。4 is a flowchart illustrating an operation of the personal authentication system according to the first embodiment of the present invention. 本発明の第1の実施形態に係る個人認証システムの動作を示すフローチャートである。4 is a flowchart illustrating an operation of the personal authentication system according to the first embodiment of the present invention. 本発明の第1の実施形態に係る個人認証システムの動作を示すフローチャートである。4 is a flowchart illustrating an operation of the personal authentication system according to the first embodiment of the present invention. 本発明の第1の実施形態に係る個人認証システムの動作を示すフローチャートである。4 is a flowchart illustrating an operation of the personal authentication system according to the first embodiment of the present invention. 本発明の第1の実施形態に係る個人認証システムの動作を示すフローチャートである。4 is a flowchart illustrating an operation of the personal authentication system according to the first embodiment of the present invention.

(第1の実施形態)
(個人認証システムの構成)
以下、本発明の第1の実施形態について、図面を参照しながら説明する。
図1は、本発明の第1の実施形態に係る個人認証システム1の構成の一例を示す概略図である。
(First embodiment)
(Configuration of personal authentication system)
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a schematic diagram illustrating an example of a configuration of a personal authentication system 1 according to the first embodiment of the present invention.

個人認証システム1は、ロボット10と、第1認証サーバ20(ロボット管理サーバ)と、端末30と、第2認証サーバ40と、を含んで構成される。個人認証システム1は、例えば、店舗の受付等において用いられるシステムであり、顔認証を含む個人認証によって来店者(以下、ユーザとも称する)を識別し、ロボット10を介して、識別されたユーザに応じた対話等による応対を行うシステムである。また、ユーザの個人認証時、およびユーザへの応対時において取得されたデータは記憶(蓄積)され、次回の当該ユーザの個人認証時に活用されうる。   The personal authentication system 1 is configured to include a robot 10, a first authentication server 20 (robot management server), a terminal 30, and a second authentication server 40. The personal authentication system 1 is, for example, a system used in reception of a store or the like, and identifies a visitor (hereinafter, also referred to as a user) by personal authentication including face authentication, and sends the identified user to the identified user via the robot 10. It is a system that responds by a corresponding dialogue or the like. Further, data acquired at the time of personal authentication of the user and at the time of response to the user are stored (stored), and can be used at the next time of personal authentication of the user.

ロボット10は、例えば、店舗の受付等に設置され、受付に訪れるユーザの顔を認識し、顔画像に基づく顔認証データを第1認証サーバ20へ送信する。ロボット10と第1認証サーバとは、通信回線50を介して通信接続される。通信回線50は、例えば、LTE(Long Term Evolution;エル・ティー・イー)や3G(3rd Generation;第3世代移動通信システム)回線等の無線通信回線、公衆無線LAN(Wi−Fi;Wireless Fidelity(ワイ・ファイ))、LAN(Local Area Network;構内通信網)、およびWAN(Wide Area Network;広域ネットワーク)等の専用線を含んで構成される。   The robot 10 is installed at, for example, a reception in a store, recognizes the face of a user who visits the reception, and transmits face authentication data based on the face image to the first authentication server 20. The robot 10 and the first authentication server are communicatively connected via a communication line 50. The communication line 50 is, for example, a wireless communication line such as LTE (Long Term Evolution) or 3G (3rd Generation; third generation mobile communication system) line, or a public wireless LAN (Wi-Fi; Wireless Fidelity). Wi-Fi), LAN (Local Area Network; private communication network), and WAN (Wide Area Network; wide area network).

第1認証サーバ20(ロボット管理サーバ)は、ユーザの顔画像に基づく顔認証データをユーザ毎に記憶(蓄積)することができる。第1認証サーバ20は、ロボット10から取得した顔認証データと自己の第1認証サーバ20が記憶している顔認証データとの照合結果に基づいて個人を特定する顔認証を含む第1認証を行う。第1認証サーバ20は、例えば、汎用コンピュータ、またはパーソナルコンピュータ等を用いたサーバ装置を含んで構成される。   The first authentication server 20 (robot management server) can store (accumulate) face authentication data based on the face image of the user for each user. The first authentication server 20 performs a first authentication including a face authentication for identifying an individual based on a result of matching the face authentication data acquired from the robot 10 with the face authentication data stored in the first authentication server 20 of the first authentication server 20. Do. The first authentication server 20 includes, for example, a server device using a general-purpose computer, a personal computer, or the like.

第1認証が成功した場合(ユーザを識別できた場合)、第1認証サーバ20(ロボット管理サーバ)は、ロボット10を介してユーザへの応対を行う。また、第1認証が成功しなかった場合(ユーザを識別できなかった場合)、第1認証サーバ20は、例えば、ユーザへのメッセージを示す音声データを送信し、当該音声データに基づく音声をロボット10に出力させる。当該メッセージには、例えば、「端末にて、(第2認証を行うための)アプリケーションを起動してください」という主旨のメッセージが含まれる。   When the first authentication is successful (when the user can be identified), the first authentication server 20 (robot management server) responds to the user via the robot 10. When the first authentication is not successful (when the user cannot be identified), the first authentication server 20 transmits, for example, voice data indicating a message to the user, and outputs a voice based on the voice data to the robot. 10 is output. The message includes, for example, a message to the effect that "Please start an application (for performing the second authentication) at the terminal".

上記のメッセージにより、端末30において第2認証用のアプリケーションが起動されると、第2認証サーバ40は、端末30からの入力データ(例えば、指紋の取得によって得られる指紋情報に基づく署名データ)に基づいて、個人を特定する第2認証(例えば、指紋認証)を行う。   When the second authentication application is started in the terminal 30 by the above message, the second authentication server 40 converts the input data from the terminal 30 (for example, signature data based on fingerprint information obtained by acquiring a fingerprint) into the input data. Based on this, a second authentication (for example, fingerprint authentication) for specifying the individual is performed.

第1認証サーバ20と端末30とは、通信回線60を介して通信接続する。通信回線60は、例えば、LTEや3G回線等の無線通信回線、公衆無線LAN、LAN、およびWAN等の専用線を含んで構成される。   The first authentication server 20 and the terminal 30 are connected for communication via a communication line 60. The communication line 60 includes, for example, a wireless communication line such as an LTE or 3G line, and a dedicated line such as a public wireless LAN, a LAN, and a WAN.

端末30は、第2認証における入力を受け付けるための構成、例えば、指紋を読み取るセンサー、またはユーザID(Identifir;識別子)やパスワードの入力を受け付けるタッチパネル等を備える。端末30は、例えば、スマートフォン、タブレット型端末、小型のパーソナルコンピュータである。   The terminal 30 includes a configuration for receiving an input in the second authentication, for example, a sensor for reading a fingerprint, a touch panel for receiving an input of a user ID (Identifier) or a password, and the like. The terminal 30 is, for example, a smartphone, a tablet terminal, or a small personal computer.

第2認証サーバ40は、例えば、汎用コンピュータ、またはパーソナルコンピュータ等を用いたサーバ装置を含んで構成される。
端末30と第2認証サーバ40とは、通信回線70を介して通信接続する。例えば、LTEや3G回線等の無線通信回線、公衆無線LAN(Wi−Fi)、LAN、およびWAN等の専用線を含んで構成される。
また、第1認証サーバ20と第2認証サーバ40とは、通信回線80を介して通信接続する。通信回線80は、例えば、LAN、およびWAN等の専用線を含んで構成される。
The second authentication server 40 is configured to include a server device using, for example, a general-purpose computer or a personal computer.
The terminal 30 and the second authentication server 40 are connected for communication via a communication line 70. For example, it includes a wireless communication line such as an LTE or 3G line, and a dedicated line such as a public wireless LAN (Wi-Fi), a LAN, and a WAN.
Further, the first authentication server 20 and the second authentication server 40 are connected for communication via a communication line 80. The communication line 80 includes, for example, a dedicated line such as a LAN and a WAN.

第2認証が成功した場合、第1認証サーバ20(ロボット管理サーバ)は、ロボット10を介してユーザへの応対を行う。
また、第1認証時、第2認証時、およびユーザへの応対時において取得された顔画像に基づく顔認証データは、第1認証サーバ20にて記憶され、当該ユーザの次回の第1認証において活用されうる。
If the second authentication is successful, the first authentication server 20 (robot management server) responds to the user via the robot 10.
The face authentication data based on the face images acquired at the time of the first authentication, at the time of the second authentication, and at the time of responding to the user are stored in the first authentication server 20, and are stored in the next first authentication of the user. Can be used.

(ロボットの構成)
次に、個人認証システム1におけるロボット10の機能構成について、図面を参照しながら説明する。
図2は、本発明の第1の実施形態に係る個人認証システム1が有するロボット10の機能構成を示すブロック図である。
ロボット10は、制御部100と、撮像部101と、顔検知部102と、音声入力部103と、データ変換部104と、音声出力部105と、記憶部106と、表示部107と、通信部108と、を含んで構成される。
(Robot configuration)
Next, the functional configuration of the robot 10 in the personal authentication system 1 will be described with reference to the drawings.
FIG. 2 is a block diagram illustrating a functional configuration of the robot 10 included in the personal authentication system 1 according to the first embodiment of the present invention.
The robot 10 includes a control unit 100, an imaging unit 101, a face detection unit 102, a voice input unit 103, a data conversion unit 104, a voice output unit 105, a storage unit 106, a display unit 107, a communication unit 108.

制御部100は、ロボット10における各種の処理を制御する。制御部100は、例えば、CPU(Central Processing Unit;中央演算処理装置)を含んで構成される。   The control unit 100 controls various processes in the robot 10. The control unit 100 includes, for example, a CPU (Central Processing Unit).

撮像部101は、ロボット10の前方を撮影する。撮像部101は、例えば、カメラを含んで構成される。当該撮影は、動画の撮影であってもよいし、一定間隔毎(例えば、1秒毎)に行われる静止画の撮影であってもよい。撮像部101は、撮影した画像を示す画像データを顔検知部102へ出力する。なお、動画の場合には、撮像部101は、例えば、一定間隔毎(例えば、1秒毎)のスクリーンショットの静止画像を示す画像データを顔検知部102へ出力する。   The imaging unit 101 captures an image of the front of the robot 10. The imaging unit 101 includes, for example, a camera. The shooting may be a moving image, or may be a still image taken at regular intervals (for example, every second). The imaging unit 101 outputs image data indicating a captured image to the face detection unit 102. In the case of a moving image, the imaging unit 101 outputs image data indicating a still image of a screen shot at regular intervals (for example, every one second) to the face detection unit 102, for example.

顔検知部102は、撮像部101によって撮影された画像を解析する。顔検知部102は、当該画像の中に人物の顔と推定される画像が含まれている場合、それを検知することができる。顔検知部102は、人物の顔と推定される画像が含まれている画像(以下、顔画像と称する)を示す顔認証データを、後述する通信部108へ出力する。   The face detection unit 102 analyzes an image captured by the imaging unit 101. The face detection unit 102 can detect an image that is presumed to be a human face in the image. The face detection unit 102 outputs face authentication data indicating an image (hereinafter, referred to as a face image) including an image estimated to be a person's face to a communication unit 108 described below.

音声入力部103は、ロボット10の前方からロボット10に対して発話されるユーザの声に基づいて、音声信号を生成する。音声入力部103は、例えば、マイクロフォンを含んで構成される。音声入力部103によって生成された音声信号は、適宜、データ変換部104を介して所定のデータ形式の音声データに変換され、後述する通信部108へ出力される。
なお、本実施形態においては、ロボット10がデータ変換部104を備える構成であるが、これに限られない。例えば、第1認証サーバ20(ロボット管理サーバ)がデータ変換部を備える構成であってもよい。データ変換部が第1認証サーバ20(ロボット管理サーバ)側に備えられている場合には、音声入力部103によって生成された音声信号は通信部108を介して第1認証サーバ20(ロボット管理サーバ)へ送信され、所定のデータ形式の音声データに変換される。
The voice input unit 103 generates a voice signal based on a user's voice uttered to the robot 10 from the front of the robot 10. The voice input unit 103 includes, for example, a microphone. The audio signal generated by the audio input unit 103 is appropriately converted to audio data of a predetermined data format via the data conversion unit 104, and output to the communication unit 108 described later.
In the present embodiment, the robot 10 includes the data conversion unit 104, but is not limited thereto. For example, the first authentication server 20 (robot management server) may include a data conversion unit. When the data conversion unit is provided on the first authentication server 20 (robot management server) side, the voice signal generated by the voice input unit 103 is transmitted via the communication unit 108 to the first authentication server 20 (robot management server). ) And converted into audio data in a predetermined data format.

音声出力部105は、第1認証サーバ20から通信部108を介して取得する音声データに基づく音声を出力する。第1認証サーバ20から取得する音声データに基づく音声とは、例えば、ユーザに対する応答メッセージを示す音声などである。音声出力部105は、例えば、スピーカを含んで構成される。   The audio output unit 105 outputs audio based on audio data obtained from the first authentication server 20 via the communication unit 108. The voice based on the voice data acquired from the first authentication server 20 is, for example, a voice indicating a response message to the user. The audio output unit 105 includes, for example, a speaker.

記憶部106は、各種のアプリケーションプログラムや各種のデータを予め記憶している。なお、記憶部106は、ロボット10における各種の処理の一時記憶領域としても用いられてもよい。記憶部106は、記憶媒体、例えば、HDD(Hard Disk Drive;ハードディスクドライブ)、フラッシュメモリ、EEPROM(Electrically Erasable Programmable Read Only Memory;イーイープロム)、RAM(Random Access read/write Memory;読み書き可能なメモリ)、ROM(Read Only Memory;読み出し専用メモリ)、又はそれらの任意の組み合わせを含んで構成される。   The storage unit 106 stores various application programs and various data in advance. The storage unit 106 may also be used as a temporary storage area for various processes in the robot 10. The storage unit 106 includes a storage medium such as a hard disk drive (HDD), a flash memory, an electrically erasable programmable read only memory (EEPROM), and a random access memory (RAM). , ROM (Read Only Memory), or an arbitrary combination thereof.

表示部107は、ユーザに対する各種の情報を表示する。表示部107は、ディスプレイ、例えば、液晶ディスプレイ(LCD;liquid crystal display)、または有機EL(ElectroLuminescence;イー・エル)ディスプレイを含んで構成される。   The display unit 107 displays various information for the user. The display unit 107 includes a display, for example, a liquid crystal display (LCD) or an organic EL (Electro Luminescence) display.

通信部108は、通信回線50を介して、第1認証サーバ20(ロボット管理サーバ)と通信接続するための通信インターフェースである。
通信部108は、ユーザの顔画像を含む画像に基づく顔認証データ、およびユーザの声に基づく音声データを、通信回線50を介して第1認証サーバ20の後述する通信部201へ送信する。
また、通信部108は、ユーザへの応答メッセージを示す音声データ、および個人認証において用いられる各種の情報(例えば、個人認証の結果を示す情報など)を、通信回線50を介して第1認証サーバ20(ロボット管理サーバ)から受信する。
The communication unit 108 is a communication interface for communicatively connecting to the first authentication server 20 (robot management server) via the communication line 50.
The communication unit 108 transmits the face authentication data based on the image including the face image of the user and the voice data based on the voice of the user to the communication unit 201 of the first authentication server 20 via the communication line 50.
The communication unit 108 transmits the voice data indicating a response message to the user and various information used in personal authentication (for example, information indicating the result of personal authentication) to the first authentication server via the communication line 50. 20 (robot management server).

(第1認証サーバの構成)
次に、個人認証システム1における第1認証サーバ20(ロボット管理サーバ)の機能構成について、図面を参照しながら説明する。
図3は、本発明の第1の実施形態に係る個人認証システム1が有する第1認証サーバ20の機能構成を示すブロック図である。
本実施形態に係る第1認証サーバ20(ロボット管理サーバ)は、制御部200と、通信部201(取得部)と、顔認証部202(第1認証部)と、認証情報記憶部203と、キーワード認証部204と、キーワード生成部205と、声紋認証部206と、応答制御部207と、機器認証部208と、応答情報記憶部209と、ユーザID認証部210と、認証データ学習部211と、認証状態更新部212と、認証連携部213と、を含んで構成される。
(Configuration of first authentication server)
Next, the functional configuration of the first authentication server 20 (robot management server) in the personal authentication system 1 will be described with reference to the drawings.
FIG. 3 is a block diagram illustrating a functional configuration of the first authentication server 20 included in the personal authentication system 1 according to the first embodiment of the present invention.
The first authentication server 20 (robot management server) according to the present embodiment includes a control unit 200, a communication unit 201 (acquisition unit), a face authentication unit 202 (first authentication unit), an authentication information storage unit 203, The keyword authentication unit 204, the keyword generation unit 205, the voiceprint authentication unit 206, the response control unit 207, the device authentication unit 208, the response information storage unit 209, the user ID authentication unit 210, and the authentication data learning unit 211 , An authentication status update unit 212 and an authentication cooperation unit 213.

制御部200は、第1認証サーバ20における各種の処理を制御する。制御部200は、例えば、CPUを含んで構成される。   The control unit 200 controls various processes in the first authentication server 20. The control unit 200 includes, for example, a CPU.

通信部201(取得部)は、通信回線50を介してロボット10と通信接続するための通信インターフェースである。
通信部201は、ユーザへの応答メッセージを示す音声データ、および個人認証において用いられる各種の情報(例えば、個人認証の結果を示す情報など)を、通信回線50を介してロボット10へ送信する。
また、通信部201は、個人認証の対象ユーザの顔画像を含む画像に基づく顔認証データ、およびユーザの声に基づく音声データを、ロボット10の通信部108から通信回線50を介して受信する。
The communication unit 201 (acquisition unit) is a communication interface for communicatively connecting to the robot 10 via the communication line 50.
The communication unit 201 transmits voice data indicating a response message to the user and various information used in personal authentication (for example, information indicating a result of personal authentication) to the robot 10 via the communication line 50.
The communication unit 201 receives face authentication data based on an image including a face image of the target user for personal authentication and voice data based on the voice of the user from the communication unit 108 of the robot 10 via the communication line 50.

また、通信部201(取得部)は、通信回線60を介して端末30と通信接続するための通信インターフェースである。
通信部201は、個人認証において用いられる各種の情報(例えば、個人認証の結果を示す情報など)を、通信回線60を介して端末30の後述する通信部302へ送信する。
また、通信部201は、個人認証において用いられる各種の情報(例えば、個人認証の要求を示す情報など)を、端末30の後述する通信部302から通信回線60を介して受信する。
The communication unit 201 (acquisition unit) is a communication interface for communicatively connecting to the terminal 30 via the communication line 60.
The communication unit 201 transmits various information used in personal authentication (for example, information indicating the result of personal authentication) to a communication unit 302 of the terminal 30 via the communication line 60, which will be described later.
In addition, the communication unit 201 receives various information used in personal authentication (for example, information indicating a request for personal authentication) from a communication unit 302 of the terminal 30 described later via the communication line 60.

顔認証部202(第1認証部)は、ロボット10から通信部201を介して取得した顔認証データと、自己の第1認証サーバ20の後述する認証情報記憶部203が記憶している顔認証データと、の適合度に基づく照合結果に基づいて顔認証を行う。   The face authentication unit 202 (first authentication unit) includes face authentication data acquired from the robot 10 via the communication unit 201 and face authentication data stored in an authentication information storage unit 203 (to be described later) of the first authentication server 20 of its own. Face authentication is performed based on the matching result based on the degree of conformity with the data.

認証情報記憶部203は、ユーザの顔画像に基づく顔認証データを、ユーザ毎に記憶(蓄積)する顔認証データベースを記憶する。
また、認証情報記憶部203は、ユーザの声の声紋に基づく声紋データをユーザ毎に記憶(蓄積)する声紋認証データベースを記憶する。
また、認証情報記憶部203は、ロボット10を識別する識別子(例えば、ロボット10が備えるBluetooth(登録商標)デバイスのデバイスアドレス等)を、予め記憶している。なお、認証情報記憶部203は、ロボット10が複数存在する場合には、各ロボット10に対応する識別子を、リスト形式で予め記憶している。
また、認証情報記憶部203は、ユーザを識別するユーザIDのリストを含む顧客情報データベースを予め記憶している。
認証情報記憶部203は、記憶媒体、例えば、HDD、フラッシュメモリ、EEPROM、RAM、又はそれらの任意の組み合わせを含んで構成される。
The authentication information storage unit 203 stores a face authentication database that stores (accumulates) face authentication data based on a user's face image for each user.
The authentication information storage unit 203 stores a voiceprint authentication database that stores (accumulates) voiceprint data based on the voiceprint of the user's voice for each user.
Further, the authentication information storage unit 203 stores an identifier for identifying the robot 10 (for example, a device address of a Bluetooth (registered trademark) device included in the robot 10) in advance. When there are a plurality of robots 10, the authentication information storage unit 203 stores in advance a list of identifiers corresponding to each robot 10.
The authentication information storage unit 203 stores a customer information database including a list of user IDs for identifying users in advance.
The authentication information storage unit 203 is configured to include a storage medium, for example, an HDD, a flash memory, an EEPROM, a RAM, or any combination thereof.

キーワード認証部204は、後述するキーワード生成部205が生成したキーワードを示すデータを用いてキーワード認証を行う。
キーワード生成部205は、キーワード認証部204からの要求に応じて、キーワード認証に用いられる任意のキーワードを示すデータ(例えば、テキスト形式のデータ)を生成する。
The keyword authentication unit 204 performs keyword authentication using data indicating a keyword generated by a keyword generation unit 205 described later.
The keyword generation unit 205 generates data (for example, data in a text format) indicating an arbitrary keyword used for keyword authentication in response to a request from the keyword authentication unit 204.

具体的には、キーワード認証部204は、キーワード生成部205へ、キーワード生成の要求を示す情報を出力する。キーワード生成部205は、キーワード認証部204からキーワード生成の要求を示す情報が入力されると、キーワード認証に用いられる任意のキーワードを示すデータ(例えば、テキスト形式のデータ)を生成する。キーワード生成部205は、生成したキーワードを示すデータを、通信部201を介して端末30の後述する通信部302へ送信する。   Specifically, the keyword authentication unit 204 outputs information indicating a request for keyword generation to the keyword generation unit 205. When information indicating a request for keyword generation is input from the keyword authentication unit 204, the keyword generation unit 205 generates data (for example, text format data) indicating an arbitrary keyword used for keyword authentication. The keyword generation unit 205 transmits data indicating the generated keyword to the communication unit 302 of the terminal 30 via the communication unit 201, which will be described later.

そして、端末30において表示されたキーワードが、ユーザによりロボット10に対して発話される。
キーワード認証部204は、ロボット10の通信部108から自己のキーワード認証部204の通信部201を介して、ユーザの発話に基づくキーワードを示すデータ(例えば、音声データ)を取得する。キーワード認証部204は、適宜データ形式の変換(例えば、音声データからテキスト形式のデータへの変換)を行い、送信されたキーワードと受信されたキーワードとの照合を行う。キーワード認証部204は、送信されたキーワードと受信されたキーワードとが一致した場合に、キーワード認証が成功したと判定する。また、キーワード認証部204は、送信されたキーワードと受信されたキーワードとが一致しない場合には、キーワード認証は失敗したと判定する。
Then, the keyword displayed on the terminal 30 is uttered to the robot 10 by the user.
The keyword authentication unit 204 acquires data (for example, voice data) indicating a keyword based on the utterance of the user from the communication unit 108 of the robot 10 via the communication unit 201 of the keyword authentication unit 204 of the robot 10. The keyword authentication unit 204 performs data format conversion (for example, conversion from voice data to text format data) as appropriate, and collates the transmitted keyword with the received keyword. When the transmitted keyword matches the received keyword, the keyword authentication unit 204 determines that the keyword authentication has been successful. When the transmitted keyword does not match the received keyword, the keyword authentication unit 204 determines that the keyword authentication has failed.

声紋認証部206は、ロボット10から通信部201を介して取得したユーザの声を示す音声に基づく音声データから、ユーザの声紋を示す声紋認証データを検出する。声紋認証部206は、検出した声紋認証データと、認証情報記憶部203が記憶している声紋認証データと、の適合度に基づいて声紋認証を行う。   The voiceprint authentication unit 206 detects voiceprint authentication data indicating the voiceprint of the user from voice data based on the voice indicating the user's voice acquired from the robot 10 via the communication unit 201. The voiceprint authentication unit 206 performs voiceprint authentication based on the matching degree between the detected voiceprint authentication data and the voiceprint authentication data stored in the authentication information storage unit 203.

応答制御部207は、ユーザによりロボット10に対してなされた発話の内容を解析し、解析された発話内容に応じた応答メッセージを選択(または、生成)する対話エンジンを含んで構成される。
応答制御部207は、ユーザによって発話された音声に基づく音声データを、ロボット10の通信部108から通信部201を介して取得し、当該音声データに基づく発話内容を解析する。応答制御部207は、発話内容の解析結果に応じて、後述する応答情報記憶部209に記憶された応答メッセージ用の文言データベースから、適宜応答メッセージ用の文言を取得する。そして、応答制御部207は、適宜取得した応答メッセージ用の文言を用いて応答メッセージを生成する。応答制御部207は、生成した応答メッセージを示す情報を音声データに変換し、当該音声データを、通信部201を介してロボット10の通信部108へ送信する。
The response control unit 207 is configured to include a dialogue engine that analyzes the content of an utterance made by the user to the robot 10 and selects (or generates) a response message according to the analyzed utterance content.
The response control unit 207 acquires voice data based on the voice uttered by the user from the communication unit 108 of the robot 10 via the communication unit 201, and analyzes the utterance content based on the voice data. The response control unit 207 appropriately obtains the response message text from the response message text database stored in the response information storage unit 209 described below, according to the analysis result of the utterance content. Then, the response control unit 207 generates a response message using the appropriately acquired response message text. The response control unit 207 converts the information indicating the generated response message into audio data, and transmits the audio data to the communication unit 108 of the robot 10 via the communication unit 201.

機器認証部208は、端末30からの要求に応じて機器認証を行う。具体的には、機器認証部208は、端末30の通信部302から、通信部201を介して機器を識別する機器識別子(例えば、Bluetooth(登録商標)デバイスアドレス)を取得する。機器認証部208は、取得した機器識別子と同一の識別子が、認証情報記憶部203に記憶された識別子(ロボット10を識別する識別子)の中に存在するか否かを確認する。これにより、取得した機器識別子に対応する機器が、自己の第1認証サーバ(ロボット管理サーバ)によって管理されているロボット10であるとの判定がなされる。
機器認証部208は、機器認証の判定結果を示す情報を、通信部201を介して端末30の通信部302へ送信する。
The device authentication unit 208 performs device authentication in response to a request from the terminal 30. Specifically, the device authentication unit 208 acquires, from the communication unit 302 of the terminal 30, a device identifier (for example, a Bluetooth (registered trademark) device address) that identifies the device via the communication unit 201. The device authentication unit 208 checks whether or not the same identifier as the acquired device identifier exists in the identifier (identifier for identifying the robot 10) stored in the authentication information storage unit 203. Thereby, it is determined that the device corresponding to the obtained device identifier is the robot 10 managed by its own first authentication server (robot management server).
The device authentication unit 208 transmits information indicating the determination result of the device authentication to the communication unit 302 of the terminal 30 via the communication unit 201.

応答情報記憶部209は、上述したように、応答メッセージ用の文言データベースを記憶する。なお、当該文言データベースに記憶される文言データのデータ形式は任意のデータ形式でよい。例えば、当該文言データは、テキスト形式のデータ、バイナリ形式のデータ、または音声データ等のいずれでもよく、ロボット10との通信時に適切にデータ形式の変換がなされればよい。   The response information storage unit 209 stores the wording database for the response message as described above. The data format of the text data stored in the text database may be any data format. For example, the text data may be any of text format data, binary format data, voice data, and the like, as long as the data format is appropriately converted when communicating with the robot 10.

ユーザID認証部210は、端末30の通信部302から、通信部201を介してユーザを識別するユーザIDを取得する。機器認証部208は、取得したユーザIDと同一のユーザIDが、認証情報記憶部203に記憶されたユーザIDのリストの中に存在するか否かを確認する。これにより、端末30から取得したユーザIDが、自己の第1認証サーバ(ロボット管理サーバ)によって管理されているユーザIDであるか否かの判定がなされる。
ユーザID認証部210は、ユーザID認証の判定結果を示す情報を、通信部201を介して端末30の通信部302へ送信する。
The user ID authentication unit 210 acquires a user ID for identifying a user from the communication unit 302 of the terminal 30 via the communication unit 201. The device authentication unit 208 checks whether the same user ID as the acquired user ID exists in the list of user IDs stored in the authentication information storage unit 203. Thereby, it is determined whether or not the user ID acquired from the terminal 30 is a user ID managed by its own first authentication server (robot management server).
The user ID authentication unit 210 transmits information indicating the determination result of the user ID authentication to the communication unit 302 of the terminal 30 via the communication unit 201.

認証データ学習部211は、各種の認証時、およびユーザへの応答時において取得された情報(例えば、ユーザの顔画像に基づく顔認証データ、およびユーザの声紋に基づく声紋認証データなど)を、認証情報記憶部203に記憶された各種のデータベースに記憶(蓄積)させる。   The authentication data learning unit 211 authenticates information (for example, face authentication data based on a user's face image, voiceprint authentication data based on a user's voiceprint, and the like) acquired during various types of authentication and when responding to the user. The information is stored (stored) in various databases stored in the information storage unit 203.

認証状態更新部212は、各個人認証の判定結果に基づいて、各ユーザの認証状態を示す認証状態データを更新する。なお、認証状態データは、例えば、認証情報記憶部203に記憶されている。認証状態データは、例えば、第1認証または第2認証がなされた際に「認証済」の認証状態を示すデータに更新され、ユーザとロボットとの対話が終了した際や一定期間ユーザによる発話が発生しないことによりタイムアウトした際などに、「未認証」の認証状態を示すデータに更新される。   The authentication status update unit 212 updates the authentication status data indicating the authentication status of each user based on the determination result of each personal authentication. Note that the authentication status data is stored in, for example, the authentication information storage unit 203. For example, the authentication status data is updated to data indicating an authentication status of “authorized” when the first authentication or the second authentication is performed, and when the interaction between the user and the robot ends or when the user speaks for a certain period of time. When a timeout occurs due to no occurrence, the data is updated to data indicating the authentication state of “unauthenticated”.

認証連携部213は、通信回線80を介して第2認証サーバ40と通信接続するための通信インターフェースである。当該通信接続により、第1認証サーバ20と第2認証サーバ40とのデータの同期が図られる。ここでいうデータとは、例えば、顧客情報や、ユーザの認証状態を示すデータなどである。   The authentication cooperation unit 213 is a communication interface for communicatively connecting to the second authentication server 40 via the communication line 80. By the communication connection, data synchronization between the first authentication server 20 and the second authentication server 40 is achieved. The data referred to here is, for example, customer information or data indicating a user authentication state.

(顔認証部による判定)
以下に、顔認証部202(第1認証部)による顔認証データの適合度に基づく判定の一例について説明する。上述した顔認証は、具体的には、例えば以下のような手順で行われる。
顔認証部202は、ロボット10から通信部201を介して取得した顔認証データと、認証情報記憶部203に記憶された顔認証データベースの顔認証データとについて、ユーザ毎に適合度の判定を行う。
(Judgment by the face authentication unit)
Hereinafter, an example of the determination by the face authentication unit 202 (first authentication unit) based on the matching degree of the face authentication data will be described. The face authentication described above is specifically performed in the following procedure, for example.
The face authentication unit 202 determines, for each user, the degree of conformity between the face authentication data acquired from the robot 10 via the communication unit 201 and the face authentication data in the face authentication database stored in the authentication information storage unit 203. .

例えば、あるユーザの顔画像に基づく顔認証データは、顔認証データベースに10件記憶されていたとする。顔認証データは、例えば、過去にユーザが店舗に訪れた際に撮影された顔画像に基づくデータである。顔認証部202は、ロボット10から取得した顔認証データと、上記の10件の顔認証データ全件とをそれぞれ照合することによって、ロボット10によって撮影されたユーザと、当該顔認証データに対応するユーザとが同一人物であるか否かを判定する。   For example, it is assumed that 10 pieces of face authentication data based on a face image of a certain user are stored in the face authentication database. The face authentication data is, for example, data based on a face image captured when a user has visited a store in the past. The face authentication unit 202 collates the face authentication data acquired from the robot 10 with all of the ten face authentication data described above to correspond to the user photographed by the robot 10 and the face authentication data. It is determined whether or not the user is the same person.

この10件の顔認証データの適合度の判定結果において、(適合度が高いことにより)同一人物であると判定された判定結果の件数の割合が、所定の割合以上(例えば、8割以上)であったならば(すわなち、10件中8件の顔画像が同一人物であるという判定結果であったならば)、顔認証部202は、顔認証が成功したと判定する。なお、顔認証部202は、顔認証データベースに記憶されている顔認証データ全体に対して上記の照合を行うことによって、ユーザを識別する。
なお、顔認証データは、ユーザの顔画像に基づく画像データであってもよいし、または、ユーザの顔画像に基づく画像データから抽出される特徴量を示す特徴量データであってもよい。
In the determination results of the suitability of the ten face authentication data, the ratio of the number of the determination results determined to be the same person (because of the high suitability) is equal to or more than a predetermined ratio (for example, 80% or more). (That is, if it is determined that eight out of ten face images are the same person), the face authentication unit 202 determines that the face authentication has been successful. Note that the face authentication unit 202 identifies the user by performing the above-described comparison on the entire face authentication data stored in the face authentication database.
The face authentication data may be image data based on a face image of the user, or may be feature amount data indicating a feature amount extracted from the image data based on the face image of the user.

(端末の構成)
次に、個人認証システム1における端末30の機能構成について、図面を参照しながら説明する。
図4は、本発明の第1の実施形態に係る個人認証システム1が有する端末30の機能構成を示すブロック図である。
本実施形態に係る端末30は、制御部300と、表示部301と、通信部302と、指紋入力部303と、機器検知部304と、操作入力部305と、記憶部306と、を含んで構成される。
(Terminal configuration)
Next, the functional configuration of the terminal 30 in the personal authentication system 1 will be described with reference to the drawings.
FIG. 4 is a block diagram illustrating a functional configuration of the terminal 30 included in the personal authentication system 1 according to the first embodiment of the present invention.
The terminal 30 according to the present embodiment includes a control unit 300, a display unit 301, a communication unit 302, a fingerprint input unit 303, a device detection unit 304, an operation input unit 305, and a storage unit 306. Be composed.

制御部300は、端末30における各種の処理を制御する。制御部300は、例えば、CPUを含んで構成される。
表示部301は、ユーザに対する各種の情報を表示する。表示部107は、ディスプレイ、例えば、液晶ディスプレイ(LCD)、または有機ELディスプレイを含んで構成される。
The control unit 300 controls various processes in the terminal 30. The control unit 300 includes, for example, a CPU.
The display unit 301 displays various information for the user. The display unit 107 includes a display, for example, a liquid crystal display (LCD) or an organic EL display.

通信部302は、通信回線60を介して第1認証サーバ20(ロボット管理サーバ)と通信接続するための通信インターフェースである。
通信部302は、個人認証において用いられる各種の情報(例えば、個人認証の要求を示す情報など)を、通信回線60を介して第1認証サーバ20の通信部201へ送信する。
また、通信部302は、個人認証において用いられる各種の情報(例えば、個人認証の結果を示す情報など)を、通信回線60を介して第1認証サーバ20の通信部201から受信する。
The communication unit 302 is a communication interface for communication connection with the first authentication server 20 (robot management server) via the communication line 60.
The communication unit 302 transmits various information used in personal authentication (for example, information indicating a request for personal authentication) to the communication unit 201 of the first authentication server 20 via the communication line 60.
In addition, the communication unit 302 receives various information used in personal authentication (for example, information indicating a result of the personal authentication) from the communication unit 201 of the first authentication server 20 via the communication line 60.

また、通信部302は、通信回線70を介して第2認証サーバ40と通信接続するための通信インターフェースである。
通信部302は、個人認証において用いられる各種の情報(例えば、個人認証の要求を示す情報など)を、通信回線60を介して第2認証サーバ40の後述する通信部401へ送信する。
また、通信部302は、個人認証において用いられる各種の情報(例えば、個人認証の結果を示す情報など)を、通信回線60を介して第2認証サーバ40の後述する通信部401から受信する。
Further, the communication unit 302 is a communication interface for communicatively connecting to the second authentication server 40 via the communication line 70.
The communication unit 302 transmits various information used in personal authentication (for example, information indicating a request for personal authentication) to the communication unit 401 of the second authentication server 40 via the communication line 60, which will be described later.
In addition, the communication unit 302 receives various information used in personal authentication (for example, information indicating a result of the personal authentication) from a communication unit 401 (described later) of the second authentication server 40 via the communication line 60.

指紋入力部303は、ユーザの指紋を読み取るセンサーを含んで構成される。指紋入力部303は、読み込んだ指紋に基づく指紋データと、後述する記憶部306に記憶された指紋データリストに含まれる指紋データと、を照合することによってユーザを識別する。   The fingerprint input unit 303 includes a sensor that reads a user's fingerprint. The fingerprint input unit 303 identifies a user by comparing fingerprint data based on the read fingerprint with fingerprint data included in a fingerprint data list stored in the storage unit 306 described below.

なお、本実施形態では、第2認証として、FIDO(Fast IDentity Online;ファイド)アライアンスが規定するパスワードレス認証の標準化技術であるFIDOを用いた生体認証(指紋認証)を例として説明するが、これに限られない。例えば、第2認証として、指紋認証ではなく、ユーザIDとパスワードによる認証等が用いられてもよい。   In the present embodiment, biometric authentication (fingerprint authentication) using FIDO, which is a standardization technology of passwordless authentication specified by the FIDO (Fast Identity Online; Fido) Alliance, will be described as an example of the second authentication. Not limited to For example, instead of fingerprint authentication, authentication using a user ID and a password may be used as the second authentication.

機器検知部304は、近傍のロボット10を識別する機器識別子を検知することができる。機器検知部304は、ロボット10を識別する機器識別子(例えば、Bluetooth(登録商標)デバイスアドレス)を示す情報を、例えば、端末30が備えるアンテナ(図示せず)を介して取得する。機器検知部304は、取得した機器識別子のリストを、表示部301に表示させ、後述する操作入力部305により機器識別子のリストに含まれる特定の機器識別子をユーザに選択させる。そして、操作入力部305は、選択された機器識別子を示すデータを、通信部302を介して第1認証サーバ20(ロボット管理サーバ)へ送信する。   The device detection unit 304 can detect a device identifier that identifies a nearby robot 10. The device detection unit 304 acquires information indicating a device identifier (for example, a Bluetooth (registered trademark) device address) that identifies the robot 10 via, for example, an antenna (not illustrated) provided in the terminal 30. The device detection unit 304 causes the display unit 301 to display the acquired device identifier list, and allows the user to select a specific device identifier included in the device identifier list using the operation input unit 305 described later. Then, the operation input unit 305 transmits data indicating the selected device identifier to the first authentication server 20 (robot management server) via the communication unit 302.

操作入力部305は、ユーザによる各種の操作入力を受け付ける。操作入力部305は、例えば、タッチパネル、入力ボタン、キーボード、またはタッチパッドなどを含んで構成される。
記憶部306は、ユーザの指紋データを含む各種のデータ、および指紋認証(第2認証)において用いられるアプリケーションのアプリケーションプログラムを含む各種のアプリケーションプログラムを予め記憶している。なお、記憶部306は、端末30における各種の処理の一時記憶領域としても用いることができる。記憶部306は、記憶媒体、例えば、HDD、フラッシュメモリ、EEPROM、RAM、ROM、又はそれらの任意の組み合わせを含んで構成される。
The operation input unit 305 receives various operation inputs from the user. The operation input unit 305 includes, for example, a touch panel, input buttons, a keyboard, a touch pad, and the like.
The storage unit 306 stores in advance various data including a user's fingerprint data and various application programs including an application program of an application used in fingerprint authentication (second authentication). The storage unit 306 can also be used as a temporary storage area for various processes in the terminal 30. The storage unit 306 is configured to include a storage medium, for example, an HDD, a flash memory, an EEPROM, a RAM, a ROM, or any combination thereof.

(第2認証サーバの構成)
次に、個人認証システム1における第2認証サーバ40の機能構成について、図面を参照しながら説明する。
図5は、本発明の第1の実施形態に係る個人認証システム1が有する第2認証サーバ40の機能構成を示すブロック図である。
本実施形態に係る第2認証サーバ40は、制御部400と、通信部401と、指紋認証処理部402(第2認証部)と、記憶部403と、認証連携部404と、を含んで構成される。
(Configuration of second authentication server)
Next, a functional configuration of the second authentication server 40 in the personal authentication system 1 will be described with reference to the drawings.
FIG. 5 is a block diagram illustrating a functional configuration of the second authentication server 40 included in the personal authentication system 1 according to the first embodiment of the present invention.
The second authentication server 40 according to the present embodiment includes a control unit 400, a communication unit 401, a fingerprint authentication processing unit 402 (second authentication unit), a storage unit 403, and an authentication cooperation unit 404. Is done.

制御部400は、第2認証サーバ40における各種の処理を制御する。制御部400は、例えば、CPUを含んで構成される。
通信部401は、通信回線70を介して端末30と通信接続するための通信インターフェースである。
通信部401は、個人認証において用いられる各種の情報(例えば、個人認証の結果を示す情報など)を、通信回線60を介して端末30の通信部401へ送信する。
また、通信部302は、個人認証において用いられる各種の情報(例えば、個人認証の要求を示す情報など)を、通信回線60を介して第2認証サーバ40の後述する通信部401から受信する。
The control unit 400 controls various processes in the second authentication server 40. The control unit 400 includes, for example, a CPU.
The communication unit 401 is a communication interface for communicatively connecting to the terminal 30 via the communication line 70.
The communication unit 401 transmits various information used in personal authentication (for example, information indicating the result of personal authentication) to the communication unit 401 of the terminal 30 via the communication line 60.
In addition, the communication unit 302 receives various information used in personal authentication (for example, information indicating a request for personal authentication) from a communication unit 401 (described later) of the second authentication server 40 via the communication line 60.

指紋認証処理部402(第2認証部)は、端末30においてなされた指紋認証の判定結果に応じて生成される署名データを、端末30の通信部302から通信部401を介して取得する。指紋認証処理部402は、取得した署名データを検証し、検証結果を、通信部401を介して端末30の通信部302へ送信する。   The fingerprint authentication processing unit 402 (second authentication unit) acquires the signature data generated according to the result of the fingerprint authentication performed in the terminal 30 from the communication unit 302 of the terminal 30 via the communication unit 401. The fingerprint authentication processing unit 402 verifies the obtained signature data, and transmits the verification result to the communication unit 302 of the terminal 30 via the communication unit 401.

なお、このようにFIDO(ファイド)においては、指紋認証の処理自体は端末30において完結し、指紋データは含まれない署名データのみが端末30から第2認証サーバ40へ送信され、個人認証がなされる。また、署名および署名の検証において用いられる公開鍵と秘密鍵とは、端末30と第2認証サーバ40との間で予めセキュアに共有されている。   In the FIDO (Fido), the fingerprint authentication itself is completed in the terminal 30, only the signature data not including the fingerprint data is transmitted from the terminal 30 to the second authentication server 40, and the personal authentication is performed. You. In addition, the public key and the private key used in the signature and the signature verification are securely shared in advance between the terminal 30 and the second authentication server 40.

記憶部403は、第2認証サーバ40において用いられる各種のデータ、および各種のアプリケーションプログラムを予め記憶している。なお、記憶部403は、第2認証サーバ40における各種の処理の一時記憶領域としても用いられてもよい。記憶部403は、記憶媒体、例えば、HDD、フラッシュメモリ、EEPROM、RAM、ROM、又はそれらの任意の組み合わせを含んで構成される。   The storage unit 403 stores various data used in the second authentication server 40 and various application programs in advance. The storage unit 403 may be used as a temporary storage area for various processes in the second authentication server 40. The storage unit 403 includes a storage medium, for example, an HDD, a flash memory, an EEPROM, a RAM, a ROM, or any combination thereof.

認証連携部404は、通信回線80を介して第1認証サーバ20(ロボット管理サーバ)と通信接続するための通信インターフェースである。当該通信接続により、第1認証サーバ20と第2認証サーバ40とのデータの同期が図られる。ここでいうデータとは、上述したように、例えば、顧客情報や、ユーザの認証状態を示すデータなどである。   The authentication cooperation unit 404 is a communication interface for communication connection with the first authentication server 20 (robot management server) via the communication line 80. By the communication connection, data synchronization between the first authentication server 20 and the second authentication server 40 is achieved. As described above, the data here is, for example, customer information, data indicating the authentication state of the user, and the like.

(個人認証システムの動作)
次に、個人認証システム1の動作について、図面を参照しながら説明する。
図6乃至図10は、本発明の第1の実施形態に係る個人認証システム1の動作を示すフローチャートである。本フローチャートは、ロボット10が撮像部101により撮影を開始した際に開始される。
(Operation of personal authentication system)
Next, the operation of the personal authentication system 1 will be described with reference to the drawings.
6 to 10 are flowcharts showing the operation of the personal authentication system 1 according to the first embodiment of the present invention. This flowchart is started when the robot 10 starts shooting with the imaging unit 101.

(ステップst001)ロボット10の撮像部101は、ロボット10の前方を撮影する。顔検知部102は、撮像部101によって撮影された画像を解析する。顔検知部102は、当該画像の中に含まれる、人物の顔と推定される画像を検知する。顔検知部102は、人物の顔と推定される画像が含まれている画像(顔画像)を示す顔認証データを、通信部108へ出力する。その後、ステップst002へ進む。 (Step st001) The imaging unit 101 of the robot 10 photographs the front of the robot 10. The face detection unit 102 analyzes an image captured by the imaging unit 101. The face detection unit 102 detects an image included in the image and estimated to be a human face. The face detection unit 102 outputs, to the communication unit 108, face authentication data indicating an image (face image) including an image estimated to be a human face. Thereafter, the process proceeds to step st002.

(ステップst002)ロボット10の通信部108は、顔検知部102から入力された顔認証データを、通信回線50を介して第1認証サーバ20の通信部201へ送信する。その後、ステップst003へ進む。 (Step st002) The communication unit 108 of the robot 10 transmits the face authentication data input from the face detection unit 102 to the communication unit 201 of the first authentication server 20 via the communication line 50. Thereafter, the process proceeds to step st003.

(ステップst003)第1認証サーバ20の顔認証部202(第1認証部)は、ロボット10から通信部201を介して取得した顔認証データと、自己の第1認証サーバ20の後述する認証情報記憶部203が記憶している顔認証データと、の適合度に基づいて顔認証を行う。 (Step st003) The face authentication unit 202 (first authentication unit) of the first authentication server 20 includes the face authentication data acquired from the robot 10 via the communication unit 201 and authentication information of the own first authentication server 20 described later. The face authentication is performed based on the matching degree between the face authentication data stored in the storage unit 203 and the face authentication data.

顔認証が成功した場合(すなわち、顔画像に対応するユーザを識別できた場合)、顔認証部202は、キーワード認証部204へ、キーワード認証の実行要求を示す情報を出力する。その後、ステップst004へ進む。
顔認証が成功しなかった場合(すなわち、顔画像に対応するユーザを識別できなかった場合)、顔認証部202は、(第2認証を行わせるための)アプリケーションの起動要求を示す情報を、通信部201を介してロボット10の通信部108へ送信する。その後、ステップst015へ進む。
When the face authentication is successful (that is, when the user corresponding to the face image can be identified), the face authentication unit 202 outputs information indicating a request to execute keyword authentication to the keyword authentication unit 204. Thereafter, the process proceeds to step st004.
When the face authentication is not successful (that is, when the user corresponding to the face image cannot be identified), the face authentication unit 202 transmits information indicating a request for starting an application (for performing the second authentication) to: The data is transmitted to the communication unit 108 of the robot 10 via the communication unit 201. Thereafter, the process proceeds to step st015.

(ステップst004)キーワード認証部204は、キーワード認証の実行要求を示す情報が顔認証部202から入力されると、キーワード生成部205へ、キーワード生成の要求を示す情報を出力する。キーワード生成部205は、キーワード認証部204からキーワード生成の要求を示す情報が入力されると、キーワード認証に用いられる任意のキーワードを示すデータ(例えば、テキストデータ)を生成する。その後、ステップst005へ進む。 (Step st004) When information indicating a request for executing keyword authentication is input from the face authentication unit 202, the keyword authentication unit 204 outputs information indicating a request for keyword generation to the keyword generation unit 205. When information indicating a request for keyword generation is input from the keyword authentication unit 204, the keyword generation unit 205 generates data (for example, text data) indicating an arbitrary keyword used for keyword authentication. Thereafter, the process proceeds to step st005.

(ステップst005)キーワード認証部204は、ユーザによって読み上げられるキーワードを示す声の取得を待機させるための待機指示を示す情報を、通信部201を介してロボット10の通信部108へ送信する。これにより、ロボット10は、ユーザによって読み上げられるキーワードを示す声の取得を待機する状態となる。その後、ステップst006へ進む。 (Step st005) The keyword authentication unit 204 transmits, to the communication unit 108 of the robot 10 via the communication unit 201, information indicating a standby instruction for waiting for acquisition of a voice indicating a keyword read out by the user. Thereby, the robot 10 is in a state of waiting for the acquisition of the voice indicating the keyword read out by the user. Thereafter, the process proceeds to step st006.

(ステップst006)キーワード生成部205は、ステップst004において生成したキーワードを示すデータを、通信部201を介して端末30の後述する通信部302へ送信する。端末30の通信部302は、当該キーワードを示すデータを受信する。その後、ステップst007へ進む。 (Step st006) The keyword generation unit 205 transmits data indicating the keyword generated in step st004 to the communication unit 302 of the terminal 30 via the communication unit 201, which will be described later. The communication unit 302 of the terminal 30 receives the data indicating the keyword. Thereafter, the process proceeds to step st007.

(ステップst007)端末30の表示部301は、通信部302により受信されたデータに基づくキーワードを表示する。なお、当該キーワードが、表示部301によって表示される代わりに、例えば、端末30が備えるスピーカ(図示せず)等によって音声により出力されるような構成であっても構わない。その後、ステップst008へ進む。 (Step st007) The display unit 301 of the terminal 30 displays a keyword based on the data received by the communication unit 302. Note that, instead of the keyword being displayed on the display unit 301, for example, a configuration may be used in which the keyword is output by voice using a speaker (not shown) or the like provided in the terminal 30. Thereafter, the process proceeds to step st008.

(ステップst008)ユーザは、ステップst007において表示部301に表示されたキーワードを、ロボット10の音声入力部103(例えば、マイクロフォン)に向けて読み上げる。音声入力部103は、ユーザによって発話された声を音声認識し、当該キーワードが読み上げられた声に基づく音声信号を生成する。その後、ステップst009へ進む。 (Step st008) The user reads out the keyword displayed on the display unit 301 in step st007 to the voice input unit 103 (for example, a microphone) of the robot 10. The voice input unit 103 performs voice recognition of a voice uttered by the user, and generates a voice signal based on a voice in which the keyword is read out. Thereafter, the process proceeds to step st009.

(ステップst009)音声入力部103によって生成された音声信号は、適宜、後述するデータ変換部104を介して所定のデータ形式の音声データに変換され、通信部108へ出力される。通信部108は、ユーザによって発話されたキーワードを示す音声データを、通信回線50を介して第1認証サーバ20の通信部201へ送信する。その後、ステップst010へ進む。 (Step st009) The audio signal generated by the audio input unit 103 is appropriately converted to audio data of a predetermined data format via a data conversion unit 104 described later, and output to the communication unit 108. The communication unit 108 transmits voice data indicating the keyword spoken by the user to the communication unit 201 of the first authentication server 20 via the communication line 50. Thereafter, the process proceeds to step st010.

(ステップst010)第1認証サーバ20の通信部201は、ステップst009においてロボット10から受信した音声データを、キーワード認証部204へ出力する。キーワード認証部204は、入力された音声データについて、適宜データ形式の変換(例えば、音声データからテキスト形式のデータへの変換)を行う。キーワード認証部204は、当該音声データに基づくキーワードと、ステップst004においてキーワード生成部205が生成したキーワードとの照合を行う。 (Step st010) The communication unit 201 of the first authentication server 20 outputs the voice data received from the robot 10 in step st009 to the keyword authentication unit 204. The keyword authentication unit 204 appropriately converts the input voice data into a data format (for example, converts voice data into text format data). The keyword authentication unit 204 collates the keyword based on the voice data with the keyword generated by the keyword generation unit 205 in step st004.

キーワード認証部204は、当該音声データに基づくキーワードと、ステップst004においてキーワード生成部205が生成したキーワードとが一致した場合に、キーワード認証が成功したと判定する。キーワード認証が成功した場合(すなわち、端末30を所持するユーザと、ロボット10に対して発話しているユーザとが同一であることが確認されなかった場合)、キーワード認証部204は、声紋認証部206へ、声紋認証の実行要求を示す情報を出力する。その後、ステップst011へ進む。   When the keyword based on the voice data matches the keyword generated by the keyword generation unit 205 in step st004, the keyword authentication unit 204 determines that the keyword authentication has been successful. When the keyword authentication is successful (that is, when it is not confirmed that the user holding the terminal 30 and the user speaking to the robot 10 are the same), the keyword authentication unit 204 sets the voiceprint authentication unit Information indicating a request to execute voiceprint authentication is output to 206. Thereafter, the process proceeds to step st011.

また、当該音声データに基づくキーワードと、ステップst004においてキーワード生成部205が生成したキーワードとが一致しない場合には、キーワード認証は失敗したと判定する。キーワード認証が成功しなかった場合(すなわち、端末30を所持するユーザと、ロボット10に対して発話しているユーザとが同一であることが確認されなかった場合)、キーワード認証部204は、(第2認証を行わせるための)アプリケーションの起動要求を示す情報を、通信部201を介してロボット10の通信部108へ送信する。その後、ステップst015へ進む。   If the keyword based on the audio data does not match the keyword generated by the keyword generation unit 205 in step st004, it is determined that the keyword authentication has failed. When the keyword authentication is not successful (that is, when it is not confirmed that the user holding the terminal 30 and the user speaking to the robot 10 are the same), the keyword authentication unit 204 determines ( Information indicating a request for starting the application (for performing the second authentication) is transmitted to the communication unit 108 of the robot 10 via the communication unit 201. Thereafter, the process proceeds to step st015.

(ステップst011)第1認証サーバ20の通信部201は、ステップst009においてロボット10から受信した音声データを、声紋認証部206へ出力する。声紋認証部206は、入力された音声データについて、適宜データ形式の変換(例えば、音声データから声紋(の特徴量)を示す情報への変換)を行う。キーワード認証部204は、当該音声データに基づく声紋を示す情報と認証情報記憶部203が記憶している声紋データとの適合度に基づいて声紋認証を行う。 (Step st011) The communication unit 201 of the first authentication server 20 outputs the voice data received from the robot 10 in step st009 to the voice print authentication unit 206. The voiceprint authentication unit 206 appropriately converts the input voice data into a data format (for example, conversion from voice data to information indicating a voiceprint (feature amount)). The keyword authentication unit 204 performs voiceprint authentication based on the matching degree between the information indicating the voiceprint based on the voice data and the voiceprint data stored in the authentication information storage unit 203.

声紋認証が成功した場合(すなわち、ステップst009においてロボット10から受信した音声データに基づく声紋に対応するユーザを識別できた場合)、声紋認証部206は、当該ユーザの認証状態を示す認証状態データの更新要求(すなわち、当該ユーザが認証済の状態であることを示す認証状態データへの更新の要求)を示す情報を認証状態更新部212へ出力する。その後、ステップst012へ進む。   If the voiceprint authentication is successful (that is, if the user corresponding to the voiceprint based on the voice data received from the robot 10 can be identified in step st009), the voiceprint authentication unit 206 returns the authentication status data indicating the authentication status of the user. Information indicating an update request (that is, a request for updating to the authentication status data indicating that the user is authenticated) is output to the authentication status update unit 212. Thereafter, the process proceeds to step st012.

声紋認証が成功しなかった場合(すなわち、ステップst009においてロボット10から受信した音声データに基づく声紋に対応するユーザを識別できなかった場合)、声紋認証部206は、(第2認証を行わせるための)アプリケーションの起動要求を示す情報を、通信部201を介してロボット10の通信部108へ送信する。その後、ステップst015へ進む。   If the voiceprint authentication is not successful (that is, if the user corresponding to the voiceprint based on the voice data received from the robot 10 in step st009 cannot be identified), the voiceprint authentication unit 206 (to perform the second authentication) (A) Information indicating a request to start an application is transmitted to the communication unit 108 of the robot 10 via the communication unit 201. Thereafter, the process proceeds to step st015.

(ステップst012)認証状態更新部212は、声紋認証部206から入力された認証状態データの更新要求に基づいて、当該ユーザが認証済の状態であることを示す認証状態データへの更新を行う。認証状態更新部212は、当該ユーザが認証済の状態であることを示す認証状態データへの更新を行ったことを示す情報を、認証データ学習部211へ出力する。その後、ステップst013へ進む。 (Step st012) The authentication status update unit 212 updates the authentication status data indicating that the user is authenticated, based on the authentication status data update request input from the voice print authentication unit 206. The authentication status update unit 212 outputs to the authentication data learning unit 211, information indicating that the user has been updated to authentication status data indicating that the user has been authenticated. Thereafter, the process proceeds to step st013.

(ステップst013)認証データ学習部211は、ステップst012において認証状態更新部212から出力された情報を取得すると、ステップst003において通信部201により受信したユーザの顔画像に基づく顔認証データを認証情報記憶部203に記憶された各種の顔認証データベースに記憶(蓄積)させる。
また、認証データ学習部211は、ステップst012において認証状態更新部212から出力された情報を取得すると、ステップst010において通信部201により受信したユーザの声紋に基づく声紋認証データを認証情報記憶部203に記憶された各種の声紋認証データベースに記憶(蓄積)させる。これにより、ユーザの特徴(例えば、顔画像や声紋)が学習される。
認証データ学習部211は、上述したユーザの特徴の学習を完了したことを示す情報を、応答制御部207へ出力する。その後、ステップst014へ進む。
(Step st013) Upon acquiring the information output from the authentication state updating unit 212 in step st012, the authentication data learning unit 211 stores the face authentication data based on the user's face image received by the communication unit 201 in step st003 in the authentication information. The various face authentication databases stored in the unit 203 are stored (stored).
When acquiring the information output from the authentication state updating unit 212 in step st012, the authentication data learning unit 211 stores the voiceprint authentication data based on the user's voiceprint received by the communication unit 201 in step st010 in the authentication information storage unit 203. It is stored (stored) in the stored various voiceprint authentication databases. Thereby, the user's characteristics (for example, a face image and a voiceprint) are learned.
The authentication data learning unit 211 outputs, to the response control unit 207, information indicating that the learning of the user characteristics described above has been completed. Thereafter, the process proceeds to step st014.

(ステップst014)応答制御部207は、ステップst013において認証データ学習部211から出力された情報を取得すると、ステップst003における顔認証によって識別されたユーザ、またはステップst011における声紋認証によって識別されたユーザに応じた応答メッセージを選択(または、生成)し、当該応答メッセージを示すデータを、通信部201を介してロボット10の通信部108へ送信する。その後、図10に示すステップst401へ進む。 (Step st014) When the response control unit 207 acquires the information output from the authentication data learning unit 211 in step st013, the response control unit 207 gives the user identified by the face authentication in step st003 or the user identified by the voiceprint authentication in step st011. A corresponding response message is selected (or generated), and data indicating the response message is transmitted to the communication unit 108 of the robot 10 via the communication unit 201. Thereafter, the process proceeds to step st401 shown in FIG.

(ステップst015)ロボット10の通信部201は、第1認証サーバ20からアプリケーションの起動要求を示す情報を受信する。当該アプリケーションの起動要求を示す情報に基づいて、ロボット10は、例えば、「端末にて、(第2認証を行うための)アプリケーションを起動してください」という主旨のメッセージが含まれる応答メッセージを音声出力部105によって音声出力する。なお、ロボット10が、当該応答メッセージを、表示部107によりテキスト情報として表示するようにしてもよい。その後、図7に示すステップst101へ進む。 (Step st015) The communication unit 201 of the robot 10 receives information indicating a request to start an application from the first authentication server 20. Based on the information indicating the request to start the application, the robot 10 outputs, for example, a response message including a message to the effect that "Please start the application (for performing the second authentication) at the terminal". The output unit 105 outputs audio. The robot 10 may display the response message on the display unit 107 as text information. Thereafter, the process proceeds to step st101 shown in FIG.

(ステップst101)ステップst015において音声出力(または、表示)された応答メッセージにより、端末30において第2認証用のアプリケーションがユーザの操作によって起動される。その後、ステップst102へ進む。 (Step st101) The response authentication message output (or displayed) in step st015 activates the second authentication application in the terminal 30 by a user operation. Thereafter, the process proceeds to step st102.

(ステップst102)端末30においてユーザの操作により第2認証用のアプリケーションが起動されると、端末30の制御部300は、第2認証の処理開始を示す情報を、通信部302を介して第2認証サーバの40の通信部401へ送信する。その後、ステップst103へ進む。 (Step st <b> 102) When the application for the second authentication is started by the user operation on the terminal 30, the control unit 300 of the terminal 30 transmits the information indicating the start of the second authentication processing to the second communication via the communication unit 302. The information is transmitted to the communication unit 401 of the authentication server 40. Thereafter, the process proceeds to step st103.

(ステップst103)第2認証サーバ40の通信部401は、端末30から送信された第2認証の処理開始を示す情報を受信すると、当該情報を指紋認証処理部402(第2認証部)へ出力する。指紋認証処理部402は、当該情報が入力されると、チャレンジ(乱数によって生成されるデジタル署名対象となるデータ)を生成する。指紋認証処理部402は、生成したチャレンジを、通信部401を介して端末30の通信部302へ送信する。その後、ステップst104へ進む。 (Step st103) Upon receiving the information indicating the start of the second authentication process transmitted from the terminal 30, the communication unit 401 of the second authentication server 40 outputs the information to the fingerprint authentication processing unit 402 (second authentication unit). I do. When the information is input, the fingerprint authentication processing unit 402 generates a challenge (data to be subjected to a digital signature generated by a random number). The fingerprint authentication processing unit 402 transmits the generated challenge to the communication unit 302 of the terminal 30 via the communication unit 401. Thereafter, the process proceeds to step st104.

(ステップst104)端末30の通信部302は、ステップst103において第2認証サーバから送信されたチャレンジを受信する。また、指紋入力部303は、ユーザによる操作(例えば、指紋入力部303への指の接触)に基づいて当該ユーザの指紋を読み取る。指紋入力部303は、読み込んだ指紋に基づく指紋データと、記憶部306に記憶された指紋データリストに含まれる指紋データと、を照合することによってユーザを識別する。 (Step st104) The communication unit 302 of the terminal 30 receives the challenge transmitted from the second authentication server in step st103. Further, the fingerprint input unit 303 reads the fingerprint of the user based on an operation by the user (for example, contact of the finger with the fingerprint input unit 303). The fingerprint input unit 303 identifies a user by comparing fingerprint data based on the read fingerprint with fingerprint data included in the fingerprint data list stored in the storage unit 306.

なお、上述したように本実施形態では、第2認証として、FIDO(ファイド)を用いた指紋認証を例として説明するが、これに限られない。例えば、第2認証として、指紋認証ではなく、ユーザIDとパスワードによる認証等が用いられてもよい。
ユーザが識別されると、制御部300は、上記において通信部302が受信したチャレンジに対してデジタル署名を行う。その後、ステップst105へ進む。
Note that, as described above, in the present embodiment, fingerprint authentication using FIDO (fido) will be described as an example of the second authentication, but the present invention is not limited to this. For example, instead of fingerprint authentication, authentication using a user ID and a password may be used as the second authentication.
When the user is identified, the control unit 300 digitally signs the challenge received by the communication unit 302 described above. Thereafter, the process proceeds to step st105.

(ステップst105)制御部300は、デジタル署名がなされたチャレンジを、通信部302を介して第2認証サーバ40の通信部401へ送信する。その後、ステップst106へ進む。 (Step st105) The control unit 300 transmits the digitally signed challenge to the communication unit 401 of the second authentication server 40 via the communication unit 302. Thereafter, the process proceeds to step st106.

(ステップst106)第2認証サーバ40の通信部401は、ステップst105において端末30から送信されたデジタル署名がなされたチャレンジを受信する。通信部401は、当該デジタル署名がなされたチャレンジを指紋認証処理部402(第2認証部)へ出力する。指紋認証処理部402は、入力された当該デジタル署名がなされたチャレンジについてデジタル署名の検証を行う。なお、上述したように、署名および署名の検証において用いられる公開鍵と秘密鍵とは、端末30と第2認証サーバ40との間で予めセキュアに共有されている。その後、ステップst107へ進む。 (Step st106) The communication unit 401 of the second authentication server 40 receives the digitally signed challenge transmitted from the terminal 30 in step st105. The communication unit 401 outputs the challenge with the digital signature to the fingerprint authentication processing unit 402 (second authentication unit). The fingerprint authentication processing unit 402 verifies the digital signature with respect to the input challenge with the digital signature. As described above, the public key and the secret key used in the signature and the signature verification are securely shared in advance between the terminal 30 and the second authentication server 40. Thereafter, the process proceeds to step st107.

(ステップst107)指紋認証処理部402(第2認証部)は、ステップst106において行ったデジタル署名の検証結果を示すデータを、通信部401を介して端末30の通信部302へ送信する。その後、ステップst108へ進む。 (Step st107) The fingerprint authentication processing unit 402 (second authentication unit) transmits the data indicating the result of the verification of the digital signature performed in step st106 to the communication unit 302 of the terminal 30 via the communication unit 401. Thereafter, the process proceeds to step st108.

(ステップst108)端末30の通信部302は、ステップst107において第2認証サーバ40から送信されたデジタル署名の検証結果を示すデータを受信する。
当該デジタル署名が有効であることを示す検証結果で有る場合、制御部300は、指紋認証が成功したものと判定する。その後、図8に示すステップst201へ進む。
また、当該デジタル署名が有効ではないことを示す検証結果で有る場合、制御部300は、指紋認証が成功しなかったものと判定する。その後、図10に示すステップst405へ進む。
(Step st108) The communication unit 302 of the terminal 30 receives the data indicating the verification result of the digital signature transmitted from the second authentication server 40 in step st107.
If the verification result indicates that the digital signature is valid, the control unit 300 determines that the fingerprint authentication has been successful. Thereafter, the process proceeds to step st201 shown in FIG.
If the digital signature is a verification result indicating that it is not valid, the control unit 300 determines that the fingerprint authentication has not been successful. Thereafter, the process proceeds to step st405 shown in FIG.

(ステップst201)端末30の制御部300は、機器検知部304へ、指紋認証が成功したものと判定したことを示す情報を出力する。機器検知部304は、当該情報が入力されると、近傍のロボット10を識別する機器識別子を検知する。上述したように、機器検知部304は、ロボット10を識別する機器識別子(例えば、Bluetooth(登録商標)デバイスアドレス)を示す情報を、例えば、端末30が備えるアンテナ(図示せず)を介して取得する。その後、ステップst202へ進む。 (Step st201) The control unit 300 of the terminal 30 outputs, to the device detection unit 304, information indicating that fingerprint authentication has been determined to be successful. When the information is input, the device detection unit 304 detects a device identifier that identifies the nearby robot 10. As described above, the device detection unit 304 acquires information indicating a device identifier (for example, a Bluetooth (registered trademark) device address) that identifies the robot 10 via, for example, an antenna (not shown) provided in the terminal 30. I do. Thereafter, the process proceeds to step st202.

(ステップst202)機器検知部304は、取得した機器識別子のリストを、表示部301に表示させる。その後、ステップst203へ進む。 (Step st202) The device detection unit 304 causes the display unit 301 to display the acquired list of device identifiers. Thereafter, the process proceeds to step st203.

(ステップst203)ユーザは、表示部301に表示された機器識別子のリストを参照し、当該ユーザが対面するロボット10に対応付けられた機器識別子を選択する。なお、ロボット10に対応付けられた機器識別子は予めユーザに知られているか、または当該機器識別子はロボット10に対応付けられた機器識別子であることをユーザが認知できるような識別子であるものとする。その後、ステップst204へ進む。 (Step st203) The user refers to the list of device identifiers displayed on the display unit 301, and selects a device identifier associated with the robot 10 facing the user. The device identifier associated with the robot 10 is known to the user in advance, or the device identifier is an identifier that allows the user to recognize that the device identifier is the device identifier associated with the robot 10. . Thereafter, the process proceeds to step st204.

(ステップst204)制御部300は、ステップst203において操作入力部305によってユーザの操作により選択された機器識別子を示すデータ、およびユーザIDを示すデータ、通信部302を介して第1認証サーバ20(ロボット管理サーバ)の通信部201へ送信することにより、機器認証およびユーザID認証の要求を行う。なお、ユーザIDは、予めユーザにより入力がなされているものとする。その後、ステップst205へ進む。 (Step st204) The control unit 300 transmits the data indicating the device identifier and the data indicating the user ID selected by the operation input unit 305 by the user operation in step st203, and the first authentication server 20 (robot) via the communication unit 302. By transmitting the request to the communication unit 201 of the management server, a request for device authentication and user ID authentication is made. It is assumed that the user ID has been input by the user in advance. Thereafter, the process proceeds to step st205.

(ステップst205)第1認証サーバ20(ロボット管理サーバ)の通信部201は、ステップst204において端末30から送信された機器識別子を示すデータおよびユーザIDを示すデータを受信する。通信部201は、当該機器識別子を示すデータを機器認証部208へ出力する。また、通信部201は、当該ユーザIDを示すデータをユーザID認証部210へ出力する。 (Step st205) The communication unit 201 of the first authentication server 20 (robot management server) receives the data indicating the device identifier and the data indicating the user ID transmitted from the terminal 30 in step st204. The communication unit 201 outputs data indicating the device identifier to the device authentication unit 208. The communication unit 201 outputs data indicating the user ID to the user ID authentication unit 210.

機器認証部208は、当該データが入力されると、当該データに基づく機器識別子と同一の識別子が、認証情報記憶部203に記憶された識別子(ロボット10を識別する識別子)の中に存在するか否かを確認する。これにより、取得した機器識別子に対応する機器が、自己の第1認証サーバ(ロボット管理サーバ)によって管理されているロボット10であるか否かの判定がなされる。その後、ステップst206へ進む。   When the data is input, the device authentication unit 208 determines whether the same identifier as the device identifier based on the data exists in the identifier (the identifier for identifying the robot 10) stored in the authentication information storage unit 203. Check whether or not. Thereby, it is determined whether or not the device corresponding to the obtained device identifier is the robot 10 managed by its own first authentication server (robot management server). Thereafter, the process proceeds to step st206.

なお、上記においては、ユーザがロボット10に対応付けられた機器識別子を選択するものとしたが、これに限られない。例えば、制御部300が、機器検知部304によって取得された機器識別子のリストを、通信部302を介して第1認証サーバ20(ロボット管理サーバ)の通信部201へ送信するようにしてもよい。そして、第1認証サーバ20(ロボット管理サーバ)の機器認証部208において、当該機器識別子のリストの中に、自己の第1認証サーバ20が管理しているロボット10に対応付けられた機器識別子が存在するか否かが検証されることによって機器認証がなされてもよい。   In the above description, the user selects the device identifier associated with the robot 10; however, the present invention is not limited to this. For example, the control unit 300 may transmit the device identifier list acquired by the device detection unit 304 to the communication unit 201 of the first authentication server 20 (robot management server) via the communication unit 302. Then, in the device authentication unit 208 of the first authentication server 20 (robot management server), the device identifier associated with the robot 10 managed by its own first authentication server 20 is included in the list of device identifiers. Device authentication may be performed by verifying whether the device exists.

(ステップst206)ステップst205において受信された機器識別子が、自己の第1認証サーバ20(ロボット管理サーバ)によって管理されているロボット10に対応付けられた識別子である場合(すなわち、機器認証が成功したものと判定された場合)には、機器認証部208は、機器認証が成功したことを示す情報をユーザID認証部210へ出力する。その後、図9に示すステップst301へ進む。
また、ステップst205において受信された機器識別子が、自己の第1認証サーバ20(ロボット管理サーバ)によって管理されているロボット10に対応付けられた識別子ではない場合(すなわち、機器認証が成功したものと判定されなかった場合)には、本フローチャートの処理を終了する。
(Step st206) When the device identifier received in step st205 is an identifier associated with the robot 10 managed by its own first authentication server 20 (robot management server) (that is, device authentication has succeeded). If it is determined that the device authentication has been performed, the device authentication unit 208 outputs information indicating that the device authentication has been successful to the user ID authentication unit 210. Thereafter, the process proceeds to step st301 shown in FIG.
If the device identifier received in step st205 is not the identifier associated with the robot 10 managed by its own first authentication server 20 (robot management server) (that is, if the device authentication is successful) If not determined), the processing of this flowchart ends.

なお、機器認証に成功しなかった場合に本フローチャートを終了する理由は、第1認証サーバ20(ロボット管理サーバ)に管理されているロボット10ではない機器に対してユーザが発話したり、情報を入力したりすることによって、例えば、不正に情報を盗み取られたり、不正に情報が改ざんされたりする可能性があるためである。   The reason for ending this flowchart when the device authentication is not successful is that the user speaks to the device other than the robot 10 managed by the first authentication server 20 (robot management server) or transmits information to the device. This is because, for example, there is a possibility that the information is illegally stolen or the information is falsified by inputting.

(ステップst301)第1認証サーバ20(ロボット管理サーバ)のユーザID認証部210は、機器認証部208から、機器認証が成功したことを示す情報が入力されると、ステップst205において入力されたデータに基づくユーザIDと同一のユーザIDが、認証情報記憶部203に記憶されたユーザIDの中に存在するか否かを確認する。これにより、取得したユーザIDに対応するユーザが、自己の第1認証サーバによって管理されているユーザであるか否かの判定がなされる。その後、ステップst302へ進む。 (Step st301) When the information indicating that the device authentication is successful is input from the device authentication unit 208, the user ID authentication unit 210 of the first authentication server 20 (robot management server) receives the data input in step st205. It is determined whether the same user ID as the user ID based on the user ID exists in the user IDs stored in the authentication information storage unit 203. Thereby, it is determined whether the user corresponding to the acquired user ID is a user managed by the first authentication server of the user. Thereafter, the process proceeds to step st302.

(ステップst302)ステップst205において入力されたデータに基づくユーザIDと同一のユーザIDが、認証情報記憶部203に記憶されたユーザIDの中に存在する場合には、ユーザID認証部210は、ユーザID認証が成功したものと判定する。ユーザID認証部210は、ユーザID認証が成功したことを示す情報を認証データ学習部211へ出力する。その後、ステップst303へ進む。 (Step st302) If the same user ID as the user ID based on the data input in step st205 exists in the user ID stored in the authentication information storage unit 203, the user ID authentication unit 210 It is determined that the ID authentication has been successful. The user ID authentication unit 210 outputs information indicating that the user ID authentication has succeeded to the authentication data learning unit 211. Thereafter, the process proceeds to step st303.

ステップst205において入力されたデータに基づくユーザIDと同一のユーザIDが、認証情報記憶部203に記憶されたユーザIDの中に存在しなかった場合には、ユーザID認証部210は、ユーザID認証が成功しなかったものと判定する。ユーザID認証部210は、認証状態データの更新要求を応答制御部207へ出力する。その後、図10に示すステップst405へ進む。   If the same user ID as the user ID based on the data input in step st205 does not exist in the user IDs stored in the authentication information storage unit 203, the user ID authentication unit 210 Is determined not to be successful. The user ID authentication unit 210 outputs a request for updating the authentication status data to the response control unit 207. Thereafter, the process proceeds to step st405 shown in FIG.

(ステップst303)認証状態更新部212は、ユーザID認証部210から入力された認証状態データの更新要求に基づいて、当該ユーザが認証済の状態であることを示す認証状態データへの更新を行う。認証状態更新部212は、当該ユーザが認証済の状態であることを示す認証状態データへの更新を行ったことを示す情報を、認証データ学習部211へ出力する。その後、ステップst304へ進む。 (Step st303) Based on the authentication status data update request input from the user ID authentication unit 210, the authentication status update unit 212 updates the authentication status data indicating that the user is authenticated. . The authentication status update unit 212 outputs to the authentication data learning unit 211, information indicating that the user has been updated to authentication status data indicating that the user has been authenticated. Thereafter, the process proceeds to step st304.

(ステップst304)認証データ学習部211は、ステップst303において認証状態更新部212から出力された情報を取得すると、ステップst003において通信部201により受信したユーザの顔画像に基づく顔認証データを認証情報記憶部203に記憶された各種の顔認証データベースに記憶(蓄積)させる。
また、認証データ学習部211は、ステップst012において認証状態更新部212から出力された情報を取得すると、ステップst010において通信部201により受信したユーザの声紋に基づく声紋認証データを認証情報記憶部203に記憶された各種の声紋認証データベースに記憶(蓄積)させる。これにより、ユーザの特徴(例えば、顔画像や声紋)が学習される。
認証データ学習部211は、上述したユーザの特徴の学習を完了したことを示す情報を、制御部200へ出力する。その後、ステップst305へ進む。
(Step st304) Upon acquiring the information output from the authentication state updating unit 212 in step st303, the authentication data learning unit 211 stores the face authentication data based on the user's face image received by the communication unit 201 in step st003 in the authentication information. The various face authentication databases stored in the unit 203 are stored (stored).
When acquiring the information output from the authentication state updating unit 212 in step st012, the authentication data learning unit 211 stores the voiceprint authentication data based on the user's voiceprint received by the communication unit 201 in step st010 in the authentication information storage unit 203. It is stored (stored) in the stored various voiceprint authentication databases. Thereby, the user's characteristics (for example, a face image and a voiceprint) are learned.
The authentication data learning unit 211 outputs, to the control unit 200, information indicating that the learning of the user characteristics described above has been completed. Thereafter, the process proceeds to step st305.

(ステップst305)制御部200は、ユーザの特徴の学習を完了したことを示す情報が認証データ学習部211から入力されると、機器認証およびユーザID認証が成功したことを示す情報を、通信部201を介して端末30の通信部302へ送信する。なお、端末30の通信部302は、機器認証およびユーザID認証が成功したことを示す情報を受信した場合、例えば、当該情報を表示部301によって表示させるようにしてもよい。
その後、ステップst306へ進む。
(Step st305) When information indicating that the learning of the characteristics of the user has been completed is input from the authentication data learning unit 211, the control unit 200 transmits information indicating that the device authentication and the user ID authentication have succeeded to the communication unit. The data is transmitted to the communication unit 302 of the terminal 30 via 201. When the communication unit 302 of the terminal 30 receives information indicating that the device authentication and the user ID authentication have been successful, the communication unit 302 may cause the display unit 301 to display the information, for example.
Thereafter, the process proceeds to step st306.

(ステップst306)制御部200は、機器認証およびユーザID認証が成功したことを示す情報を、応答制御部207へ出力する。応答制御部207は、当該情報が入力されると、ステップst301におけるユーザID認証によって識別されたユーザに応じた応答メッセージを選択(または、生成)し、当該応答メッセージを示すデータを、通信部201を介してロボット10の通信部108へ送信する。その後、図10に示すステップst401へ進む。 (Step st306) The control unit 200 outputs information indicating that the device authentication and the user ID authentication have been successful to the response control unit 207. When the information is input, the response control unit 207 selects (or generates) a response message corresponding to the user identified by the user ID authentication in step st301, and transmits data indicating the response message to the communication unit 201. Is transmitted to the communication unit 108 of the robot 10 via. Thereafter, the process proceeds to step st401 shown in FIG.

(ステップst401)ロボット10の通信部108は、第1認証サーバ20から応答メッセージを示すデータを受信する。当該データは、データ変換部104によって適宜データ変換がなされた後、音声出力部105へ出力される。音声出力部105は、当該データに基づく音声を出力する。以上により、ユーザに応じた応答(個人応答)がなされる。その後、ステップst402へ進む。 (Step st401) The communication unit 108 of the robot 10 receives data indicating a response message from the first authentication server 20. The data is appropriately converted by the data conversion unit 104 and then output to the audio output unit 105. The sound output unit 105 outputs a sound based on the data. As described above, a response (individual response) corresponding to the user is made. Thereafter, the process proceeds to step st402.

(ステップst402)ロボット10の撮像部101は、ユーザへの応答が行われている間も撮影を継続する。なお撮影は、連続撮影であってもよいし、一定間隔(例えば、1秒間隔)での撮影であってもよい。撮影された画像は、顔検知部102において解析され、ユーザの顔画像が検知される。これにより、顔認証時のユーザの顔画像だけでなく、応答時のユーザの顔画像も、記憶部106に記憶(蓄積)される。これにより、当該ユーザの顔認証に用いることができる顔画像をより多く集めることができ、当該ユーザの顔認証における認証確度を高めることができる。 (Step st402) The imaging unit 101 of the robot 10 continues shooting while a response to the user is being made. The photographing may be continuous photographing, or may be photographing at fixed intervals (for example, at one-second intervals). The captured image is analyzed by the face detection unit 102, and a face image of the user is detected. Thus, not only the user's face image at the time of face authentication, but also the user's face image at the time of response is stored (stored) in the storage unit 106. As a result, more face images that can be used for the face authentication of the user can be collected, and the authentication accuracy in the face authentication of the user can be increased.

ロボット10の音声入力部103からの入力に基づく音声データは、第1認証サーバ20(ロボット管理サーバ)へ送信され、ユーザへの応答が行われている間も、声紋認証部206において声紋の検知が継続される。なお声紋の検知処理は、連続的になされてもよいし、一定間隔(例えば、1秒間隔)でなされてもよい。これにより、声紋認証時のユーザの音声データだけでなく、応答時のユーザの音声データも、記憶部106に記憶(蓄積)される。これにより、当該ユーザの声紋認証に用いることができる音声データをより多く集めることができ、当該ユーザの声紋認証における認証確度を高めることができる。   The voice data based on the input from the voice input unit 103 of the robot 10 is transmitted to the first authentication server 20 (robot management server), and the voiceprint authentication unit 206 detects the voiceprint while the response to the user is being performed. Is continued. Note that the voiceprint detection process may be performed continuously, or may be performed at regular intervals (for example, at one-second intervals). As a result, not only the user's voice data at the time of voiceprint authentication but also the user's voice data at the time of response are stored (stored) in the storage unit 106. As a result, more voice data that can be used for the user's voiceprint authentication can be collected, and the authentication accuracy of the user's voiceprint authentication can be increased.

(ステップst403)ステップst402において取得された顔認証データおよび音声データは、通信部108を介して第1認証サーバ20(ロボット管理サーバ)の通信部201へ送信される。その後、ステップst404へ進む。 (Step st403) The face authentication data and the voice data acquired in step st402 are transmitted to the communication unit 201 of the first authentication server 20 (robot management server) via the communication unit 108. Thereafter, the process proceeds to step st404.

(ステップst404)第1認証サーバ20(ロボット管理サーバ)の通信部201は、ロボット10において個人応答時に取得された顔認証データおよび音声データを受信する。通信部201は、受信した顔認証データを、認証情報記憶部203に記憶された顔認証データベースに記憶(蓄積)させる。また、認証データ学習部211は、受信した音声データに基づくユーザの声紋を示す声紋認証データを認証情報記憶部203に記憶された声紋認証データベースに記憶(蓄積)させる。これにより、ユーザの特徴(例えば、顔画像や声紋)が学習される。以上で、本フローチャートの処理が終了する。 (Step st404) The communication unit 201 of the first authentication server 20 (robot management server) receives the face authentication data and the voice data acquired by the robot 10 at the time of the individual response. The communication unit 201 stores (accumulates) the received face authentication data in the face authentication database stored in the authentication information storage unit 203. Further, the authentication data learning unit 211 stores (accumulates) voiceprint authentication data indicating the voiceprint of the user based on the received voice data in the voiceprint authentication database stored in the authentication information storage unit 203. Thereby, the user's characteristics (for example, a face image and a voiceprint) are learned. This is the end of the processing of this flowchart.

(ステップst405)制御部200は、ユーザID認証が成功しなかったことを示す情報を、通信部201を介して端末30の通信部302へ送信する。なお、端末30の通信部302は、ユーザID認証が成功しなかったことを示す情報を受信した場合、例えば、当該情報を表示部301によって表示させるようにしてもよい。
その後、ステップst406へ進む。
(Step st405) The control unit 200 transmits information indicating that the user ID authentication has not been successful to the communication unit 302 of the terminal 30 via the communication unit 201. When the communication unit 302 of the terminal 30 receives information indicating that the user ID authentication has not been successful, for example, the communication unit 302 may cause the display unit 301 to display the information.
Thereafter, the process proceeds to step st406.

(ステップst406)制御部200は、ユーザID認証が成功しなかったことを示す情報を、応答制御部207へ出力する。応答制御部207は、当該情報が入力されると、識別されていないユーザ(匿名ユーザ)に応じた応答メッセージを選択(または、生成)し、当該応答メッセージを示すデータを、通信部201を介してロボット10の通信部108へ送信する。その後、ステップst407へ進む。 (Step st406) The control unit 200 outputs to the response control unit 207, information indicating that the user ID authentication has not been successful. When the information is input, the response control unit 207 selects (or generates) a response message corresponding to the unidentified user (anonymous user), and transmits data indicating the response message via the communication unit 201. To the communication unit 108 of the robot 10. Thereafter, the process proceeds to step st407.

(ステップst407)ロボット10の通信部108は、第1認証サーバ20から応答メッセージを示すデータを受信する。当該データは、データ変換部104によって適宜データ変換がなされた後、音声出力部105へ出力される。音声出力部105は、当該データに基づく音声を出力する。以上により、識別されていないユーザへの応答(匿名応答)がなされる。以上で、本フローチャートの処理が終了する。 (Step st407) The communication unit 108 of the robot 10 receives data indicating a response message from the first authentication server 20. The data is appropriately converted by the data conversion unit 104 and then output to the audio output unit 105. The sound output unit 105 outputs a sound based on the data. As described above, a response to the unidentified user (anonymous response) is made. This is the end of the processing of this flowchart.

以上、説明したように、本発明の第1の実施形態に係る個人認証システム1は、顔認証によってユーザを識別する第1認証と、端末を用いてユーザを識別する第2認証とを用いて個人認証を行うことができる。
本実施形態に係る個人認証システム1は、第1認証にてユーザを識別できなかった場合に、第2認証にてユーザの識別を試みる。第1認証にてユーザを識別できない場合であっても、第2認証にてユーザを識別できた場合には、本実施形態に係る個人認証システム1は、第1認証のために有効なデータ(例えば、第1認証時に取得された顔認証データや声紋認証データ、および、ユーザへの応対時に取得された顔認証データや声紋認証データ)を記憶することができる。これにより、本実施形態に係る個人認証システム1は、認証の回数(機会)が増えるほど、第1認証のために有効なデータが蓄積されていくため、第1認証によって認証される確度を高めていくことが可能である。
As described above, the personal authentication system 1 according to the first embodiment of the present invention uses the first authentication for identifying a user by face authentication and the second authentication for identifying a user using a terminal. Personal authentication can be performed.
The personal authentication system 1 according to the present embodiment attempts to identify a user by the second authentication when the user cannot be identified by the first authentication. Even if the user cannot be identified by the first authentication, if the user can be identified by the second authentication, the personal authentication system 1 according to the present embodiment uses the data ( For example, it is possible to store the face authentication data and voice print authentication data acquired at the time of the first authentication, and the face authentication data and voice print authentication data acquired at the time of responding to the user. Thereby, in the personal authentication system 1 according to the present embodiment, as the number of times of authentication (opportunity) increases, valid data for the first authentication is accumulated, so that the accuracy of the authentication by the first authentication is increased. It is possible to go.

また、これにより、本実施形態に係る個人認証システム1は、従来使用されていた認証方式(例えば、第2認証で用いられているような認証方式)から顔認証による認証方式への移行をサポートすることもできる。   This also allows the personal authentication system 1 according to the present embodiment to support the transition from the conventionally used authentication method (for example, the authentication method used in the second authentication) to the authentication method using face authentication. You can also.

従来の顔認証技術では、例えば、姿勢、照明、表情、付着物、および経年などによる個人または環境の変動要素により、同一人物でも別人と認識してしまう場合がある。本実施形態に係る個人認証システム1によれば、第1認証のために有効なデータが蓄積されることにより、これらの変動要素を要因とした誤認識の発生の影響を受け難くすることができる。これにより、本実施形態に係る個人認証システム1は、(第1認証による)個人認証の認証確度を高めることができる。   In the conventional face authentication technology, for example, the same person may be recognized as another person due to factors such as posture, lighting, facial expression, attached matter, and aging that change the individual or the environment. According to the personal authentication system 1 according to the present embodiment, by accumulating valid data for the first authentication, it is possible to reduce the influence of the occurrence of erroneous recognition due to these variable factors. . Thereby, the personal authentication system 1 according to the present embodiment can increase the authentication accuracy of the personal authentication (by the first authentication).

また、本実施形態に係る個人認証システム1によれば、ユーザへの応対時に取得された顔認証データや声紋認証データを記憶するだけでなく、応対中にも定期的に取得される顔認証データや声紋認証データを用いて、ユーザへの応対中にも個人認証を繰り返し行うことができる。これにより、本実施形態に係る個人認証システム1は、例えば、応対の途中でユーザが入れ代わった場合にも、それぞれのユーザに応じた応対が可能である。また、本実施形態に係る個人認証システム1は、応対の途中でユーザが入れ代わった場合に、入れ代わった後のユーザに対して、入れ代わる前のユーザに対する応答をすることにより入れ代わる前のユーザの個人的な情報を漏えいさせてしまうようなことも防止することができる。   Further, according to the personal authentication system 1 according to the present embodiment, not only the face authentication data and the voice print authentication data acquired at the time of responding to the user are stored, but also the face authentication data acquired periodically during the response. The personal authentication can be repeatedly performed during the response to the user by using the voiceprint authentication data. Thus, the personal authentication system 1 according to the present embodiment can respond to each user, for example, even when the users are replaced during the response. Further, the personal authentication system 1 according to the present embodiment, when a user is replaced in the middle of a response, gives a response to the user before the replacement to the user before the replacement, thereby providing the user before the replacement. It is also possible to prevent personal information from being leaked.

また、本実施形態に係る個人認証システム1において、第2認証は端末30と認証装置(第2認証サーバ)との通信によって行われる。そのため、本実施形態に係る個人認証システム1は、公共性の高い場所に設置されることが多いロボット10を経由することなく認証を行うことができる。これにより、本実施形態に係る個人認証システム1は、比較的セキュリティが低い場合が多いロボット10を狙った不正アクセス等の防止に対しても有効である。   In the personal authentication system 1 according to the present embodiment, the second authentication is performed by communication between the terminal 30 and an authentication device (second authentication server). Therefore, the personal authentication system 1 according to the present embodiment can perform authentication without passing through the robot 10, which is often installed in a highly public place. As a result, the personal authentication system 1 according to the present embodiment is also effective for preventing unauthorized access or the like aimed at the robot 10 that often has relatively low security.

(第2の実施形態)
以下に、第2の実施形態に係る個人認証システム1について説明する。
上述した第1の実施形態に係る個人認証システム1においては、顔認証、キーワード認証、および声紋認証の3つ認証の全ての認証が成功した場合にのみ、第1認証が成功したものと判定され、上記3つの認証のうち1つでも認証が成功しなかった場合には、第2認証が行われる。
また、第1の実施形態に係る個人認証システム1においては、指紋認証、機器認証、およびユーザID認証の3つの認証の全ての認証が成功した場合にのみ、第2認証が成功したものと判定され、上記3つの認証のうち1つでも認証が成功しなかった場合には、個人認証は行われず、場合により、匿名応答が行われるか、またはユーザへの応対が行われない。
(Second embodiment)
Hereinafter, a personal authentication system 1 according to the second embodiment will be described.
In the personal authentication system 1 according to the first embodiment described above, it is determined that the first authentication has succeeded only when all three of the face authentication, the keyword authentication, and the voiceprint authentication have succeeded. If at least one of the three authentications does not succeed, the second authentication is performed.
Further, in the personal authentication system 1 according to the first embodiment, it is determined that the second authentication is successful only when all of the three authentications of the fingerprint authentication, the device authentication, and the user ID authentication are successful. If at least one of the three authentications does not succeed, the personal authentication is not performed, and depending on the case, an anonymous response is performed or a response to the user is not performed.

以下に説明する第2の実施形態に係る個人認証システム1は、第1の実施形態に係る個人認証システム1よりも構成を簡易にしたものである。
第2の実施形態に係る個人認証システム1は、第1認証の認証方式として顔認証を用いる。また、第2の実施形態に係る個人認証システム1は、第2認証の認証方式として、ユーザIDおよびパスワードによる認証を用いる。
The personal authentication system 1 according to the second embodiment described below has a simpler configuration than the personal authentication system 1 according to the first embodiment.
The personal authentication system 1 according to the second embodiment uses face authentication as the authentication method of the first authentication. The personal authentication system 1 according to the second embodiment uses authentication using a user ID and a password as an authentication method of the second authentication.

まずロボット10は、前方の撮影を開始し、撮影した画像を解析する。解析した画像において人物の顔画像と推定される部分を検知した場合、ロボット10は検知した顔画像データの特徴量を算出し、算出した特徴量データを、第1認証サーバ20(ロボット管理サーバ)へ送信する。第1認証サーバ20は、特徴量データを取得すると、取得した特徴量データと、自己の第1認証サーバ20が記憶しているユーザ毎の特徴量データ(過去に取得されたデータ群)との適合度に基づく照合を行う。   First, the robot 10 starts photographing in front, and analyzes the photographed image. When detecting a portion presumed to be a face image of a person in the analyzed image, the robot 10 calculates a feature amount of the detected face image data, and transmits the calculated feature amount data to the first authentication server 20 (robot management server). Send to When the first authentication server 20 acquires the feature amount data, the first authentication server 20 compares the acquired feature amount data with the feature amount data for each user (a group of data acquired in the past) stored in its own first authentication server 20. Perform matching based on the degree of conformity.

第1認証サーバ20は、適合度の高い特徴量データの件数の割合が所定の割合以上であるユーザが存在する場合、第1認証は成功したものと判定し、当該ユーザが、ロボット10が応対中のユーザであると識別する。なお、適合度の高い特徴量データの件数の割合が所定の割合以上であるユーザが複数存在する場合のユーザの識別方法については任意である。例えば、適合度の高い特徴量データの件数の割合が所定の割合以上であるユーザが複数存在する場合には、最も割合が高いユーザが選択されるようにしてもよいし、ユーザが識別されなかったものとするようにしてもよい。   The first authentication server 20 determines that the first authentication is successful when there is a user whose ratio of the number of feature amount data having a high degree of conformity is equal to or more than a predetermined ratio, and the user responds to the robot 10. Identify that you are a user. It should be noted that the method of identifying a user when there are a plurality of users whose ratio of the number of pieces of feature amount data having a high degree of matching is equal to or higher than a predetermined ratio is arbitrary. For example, when there are a plurality of users whose ratio of the number of feature amount data having a high degree of matching is equal to or more than a predetermined ratio, the user having the highest ratio may be selected, or the user is not identified. May be used.

第1認証が成功した場合には、第1認証サーバ20は、第1認証において取得された特徴量データを記憶し、次回の認証時に用いられるようにする。また、第1認証サーバ20は、識別されたユーザに応じた応対(個人応答)を行う。また、第1認証サーバ20は、応対時に撮影される顔画像に基づく特徴量データも記憶し、次回の認証時に用いられるようにする。   If the first authentication is successful, the first authentication server 20 stores the feature amount data acquired in the first authentication, and uses the feature amount data in the next authentication. In addition, the first authentication server 20 performs a response (individual response) according to the identified user. Further, the first authentication server 20 also stores feature amount data based on a face image photographed at the time of a response, and is used for the next authentication.

第1認証サーバ20は、適合度の高い特徴量データの件数の割合が所定の割合以上であるユーザが存在しなかった場合、第1認証は成功しなかったものと判定する。その場合、第1認証サーバは、ロボット10へ、ユーザに第2認証を行わせるための応答メッセージを示すデータを送信する。ロボット10は、当該データを受信すると、当該データに基づく応答メッセージを表示する。当該応答メッセージは、例えば、「端末にて、ユーザIDおよびパスワードを入力してください」といった主旨の内容が含まれる。   The first authentication server 20 determines that the first authentication has not been successful when there is no user whose ratio of the number of feature amount data having a high degree of matching is equal to or higher than a predetermined ratio. In that case, the first authentication server transmits, to the robot 10, data indicating a response message for causing the user to perform the second authentication. When receiving the data, the robot 10 displays a response message based on the data. The response message includes, for example, a content such as “Please input a user ID and password at a terminal”.

ユーザは、ロボット10に表示された応答メッセージを参照し、当該ユーザが所持する端末30にてユーザIDおよびパスワードを入力する。入力されたユーザIDおよびパスワードを示すデータは、適宜暗号化され、第2認証サーバへ送信される。
第2認証サーバ40は、ユーザIDおよびパスワードを示すデータを受信すると、受信したユーザIDおよびパスワードと、自己の第2認証サーバ40に記憶された顧客データベースに含まれるユーザIDおよびパスワードと、を照合することによって第2認証を行う。
The user refers to the response message displayed on the robot 10 and inputs a user ID and a password at the terminal 30 owned by the user. Data indicating the input user ID and password is appropriately encrypted and transmitted to the second authentication server.
Upon receiving the data indicating the user ID and the password, the second authentication server 40 collates the received user ID and password with the user ID and password included in the customer database stored in the second authentication server 40 of the second authentication server 40. Performs the second authentication.

第2認証が成功した場合には、第1認証サーバ20は、第1認証において取得された特徴量データを記憶し、次回の認証時に用いられるようにする。また、第1認証サーバ20は、識別されたユーザに応じた応対(個人応答)を行う。また、第1認証サーバ20は、応対時に撮影される顔画像に基づく特徴量データも記憶し、次回の認証時に用いられるようにする。
また、第2認証が成功しなかった場合には、ユーザを識別できていないため、第1認証サーバ20は、ユーザに依存しない応対(匿名応答)を行う。
以上で、本発明の第2の実施形態に係る個人認証システム1の説明を終了する。
When the second authentication is successful, the first authentication server 20 stores the feature amount data acquired in the first authentication, and uses the feature data in the next authentication. In addition, the first authentication server 20 performs a response (individual response) according to the identified user. Further, the first authentication server 20 also stores feature amount data based on a face image photographed at the time of a response, and is used for the next authentication.
If the second authentication is not successful, the first authentication server 20 performs a user-independent response (anonymous response) because the user has not been identified.
This is the end of the description of the personal authentication system 1 according to the second embodiment of the present invention.

以上、この発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。   Although the embodiments of the present invention have been described in detail above, the specific configuration is not limited to the above-described one, and various design changes and the like can be made without departing from the gist of the present invention. is there.

なお、上述した実施形態における第1認証サーバ20および第2認証サーバ40の一部又は全部をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。   Note that a part or all of the first authentication server 20 and the second authentication server 40 in the above-described embodiment may be realized by a computer. In this case, a program for realizing the control function may be recorded on a computer-readable recording medium, and the program recorded on the recording medium may be read and executed by a computer system.

なお、ここでいう「コンピュータシステム」とは、第1認証サーバ20および第2認証サーバ40に内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。   Here, the “computer system” is a computer system built in the first authentication server 20 and the second authentication server 40, and includes an OS and hardware such as peripheral devices. The “computer-readable recording medium” refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, and a CD-ROM, and a storage device such as a hard disk built in a computer system.

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信回線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。   Further, the "computer-readable recording medium" is a medium that dynamically holds the program for a short time, such as a communication line when transmitting the program via a communication line such as a network such as the Internet or a telephone line, In this case, a program holding a program for a certain period of time, such as a volatile memory in a computer system serving as a server or a client, may be included. Further, the above-mentioned program may be for realizing a part of the above-mentioned functions, or may be for realizing the above-mentioned functions in combination with a program already recorded in a computer system.

また、上述した実施形態における第1認証サーバ20および第2認証サーバ40を、LSI(Large Scale Integration)等の集積回路として実現してもよい。第1認証サーバ20および第2認証サーバ40の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。   Further, the first authentication server 20 and the second authentication server 40 in the above-described embodiment may be realized as an integrated circuit such as an LSI (Large Scale Integration). Each functional block of the first authentication server 20 and the second authentication server 40 may be individually formed into a processor, or a part or all may be integrated into a processor. The method of circuit integration is not limited to an LSI, and may be realized by a dedicated circuit or a general-purpose processor. Further, in the case where a technology for forming an integrated circuit that replaces the LSI appears due to the advance of the semiconductor technology, an integrated circuit based on the technology may be used.

1・・・個人認証システム、10・・・ロボット、20・・・第1認証サーバ(ロボット管理サーバ)、30・・・端末、40・・・第2認証サーバ、50・・・通信回線、60・・・通信回線、70・・・通信回線、80・・・通信回線、100・・・制御部、101・・・撮像部、102・・・顔検知部、103・・・音声入力部、104・・・データ変換部、105・・・音声出力部、106・・・記憶部、107・・・表示部、108・・・通信部、200・・・制御部、201・・・通信部(取得部)、202・・・顔認証部(第1認証部)、203・・・認証情報記憶部、204・・・キーワード認証部、205・・・キーワード生成部、206・・・声紋認証部、207・・・応答制御部、208・・・機器認証部、209・・・応答情報記憶部、210・・・ユーザID認証部、211・・・認証データ学習部、212・・・認証状態更新部、213・・・認証連携部、300・・・制御部、301・・・表示部、302・・・通信部、303・・・指紋入力部、304・・・機器検知部、305・・・操作入力部、306・・・記憶部、400・・・制御部、401・・・通信部、402・・・指紋認証処理部(第2認証部)、403・・・記憶部、404・・・認証連携部 DESCRIPTION OF SYMBOLS 1 ... Personal authentication system, 10 ... Robot, 20 ... 1st authentication server (robot management server), 30 ... Terminal, 40 ... 2nd authentication server, 50 ... Communication line Reference numeral 60: communication line, 70: communication line, 80: communication line, 100: control unit, 101: imaging unit, 102: face detection unit, 103: voice input unit , 104: data conversion unit, 105: audio output unit, 106: storage unit, 107: display unit, 108: communication unit, 200: control unit, 201: communication Unit (acquisition unit), 202: face authentication unit (first authentication unit), 203: authentication information storage unit, 204: keyword authentication unit, 205: keyword generation unit, 206: voiceprint Authentication unit, 207: Response control unit, 208: Device authentication unit, 209 Response information storage unit, 210: user ID authentication unit, 211: authentication data learning unit, 212: authentication status update unit, 213: authentication cooperation unit, 300: control unit, 301 .. Display unit, 302 communication unit, 303 fingerprint input unit, 304 device detection unit, 305 operation input unit, 306 storage unit, 400 control unit, 401: communication unit, 402: fingerprint authentication processing unit (second authentication unit), 403: storage unit, 404: authentication cooperation unit

Claims (6)

第1認証サーバと第2認証サーバを有する個人認証システムであって、
前記第1認証サーバは、
ユーザの顔画像に基づく顔認証データをユーザ毎に記憶する記憶部と、
個人認証の対象ユーザの顔画像に基づく顔認証データを取得する取得部と、
前記取得部が取得した顔認証データと前記記憶部が記憶する顔認証データとの照合結果に基づいて個人を特定する顔認証を含む第1認証を行う第1認証部と、
を備え、
前記第2認証サーバは、
前記第1認証が成功しなかった場合、端末からの入力に基づいて前記ユーザを特定する第2認証を行う第2認証部、
を備え、
前記第1認証または前記第2認証が成功した場合、前記記憶部は既に記憶している前記顔認証データに加えて前記取得部が取得した前記顔認証データを記憶する
個人認証システムであり、
前記顔認証は、前記取得部が取得した顔認証データと前記記憶部が記憶する少なくとも1件の顔認証データの全件とをそれぞれ照合して、前記取得部が取得した顔認証データが示す人物と前記記憶部が記憶する顔認証データが示す人物が同一人物であるか否かをそれぞれ判定し、同一人物であると判定された件数の割合が所定の割合以上である場合に認証が成功したと判定する、
ことを特徴とする個人認証システム。
A personal authentication system having a first authentication server and a second authentication server,
The first authentication server,
A storage unit that stores face authentication data based on the face image of the user for each user;
An acquisition unit that acquires face authentication data based on a face image of a target user for personal authentication,
A first authentication unit that performs first authentication including face authentication for identifying an individual based on a result of matching between the face authentication data obtained by the obtaining unit and the face authentication data stored in the storage unit;
With
The second authentication server,
If the first authentication is not successful, a second authentication unit that performs a second authentication that specifies the user based on an input from a terminal;
With
If the first authentication or the second authentication is successful, the storage unit stores the face authentication data obtained by the obtaining unit in addition to the already stored face authentication data.
Personal authentication system,
The face authentication is performed by comparing the face authentication data acquired by the acquisition unit with all of the at least one face authentication data stored in the storage unit, and identifying the person indicated by the face authentication data acquired by the acquisition unit. It is determined whether the person indicated by the face authentication data stored in the storage unit is the same person or not. If the ratio of the number of cases determined to be the same person is equal to or more than a predetermined ratio, the authentication is successful. Judge
A personal authentication system, characterized in that:
第1認証サーバと第2認証サーバを有する個人認証システムであって、
前記第1認証サーバは、
ユーザの顔画像に基づく顔認証データをユーザ毎に記憶する記憶部と、
個人認証の対象ユーザの顔画像に基づく顔認証データを取得する取得部と、
前記取得部が取得した顔認証データと前記記憶部が記憶する顔認証データとの照合結果に基づいて個人を特定する顔認証を含む第1認証を行う第1認証部と、
を備え、
前記第2認証サーバは、
前記第1認証が成功しなかった場合、端末からの入力に基づいて前記ユーザを特定する第2認証を行う第2認証部、
を備え、
前記第1認証または前記第2認証が成功した場合、前記記憶部は既に記憶している前記顔認証データに加えて前記取得部が取得した前記顔認証データを記憶する
個人認証システムであり、
前記第1認証部は、前記取得部が定期的に取得した前記顔認証データに基づいて繰り返し第1認証を行う、
ことを特徴とする個人認証システム。
A personal authentication system having a first authentication server and a second authentication server,
The first authentication server,
A storage unit that stores face authentication data based on the face image of the user for each user;
An acquisition unit that acquires face authentication data based on a face image of a target user for personal authentication,
A first authentication unit that performs first authentication including face authentication for identifying an individual based on a result of matching between the face authentication data obtained by the obtaining unit and the face authentication data stored in the storage unit;
With
The second authentication server,
If the first authentication is not successful, a second authentication unit that performs a second authentication that specifies the user based on an input from a terminal;
With
When the first authentication or the second authentication is successful, the storage unit stores the face authentication data obtained by the obtaining unit in addition to the already stored face authentication data.
Personal authentication system,
The first authentication unit repeatedly performs the first authentication based on the face authentication data acquired by the acquisition unit periodically;
A personal authentication system, characterized in that:
第1認証サーバと第2認証サーバを有する個人認証システムであって、
前記第1認証サーバは、
ユーザの顔画像に基づく顔認証データをユーザ毎に記憶する記憶部と、
個人認証の対象ユーザの顔画像に基づく顔認証データを取得する取得部と、
前記取得部が取得した顔認証データと前記記憶部が記憶する顔認証データとの照合結果に基づいて個人を特定する顔認証を含む第1認証を行う第1認証部と、
を備え、
前記第2認証サーバは、
前記第1認証が成功しなかった場合、端末からの入力に基づいて前記ユーザを特定する第2認証を行う第2認証部、
を備え、
前記第1認証または前記第2認証が成功した場合、前記記憶部は既に記憶している前記顔認証データに加えて前記取得部が取得した前記顔認証データを記憶する
個人認証システムであり、
当該個人認証システムは、さらに、
前記ユーザの顔画像を撮影する撮像部と、
前記撮像部によって撮影された顔画像に基づく顔認証データを前記第1認証サーバへ送信し、前記第1認証サーバから前記ユーザに対する応答を示す情報を受信する通信部と、
を備えるロボットを有し、
前記第2認証部が前記端末から入力される情報は、前記ロボットを識別する識別子を含み、
前記第2認証サーバは、前記ロボットを介さずに前記第2認証を行い、前記第2認証が成功した場合、前記識別子で特定される前記ロボットに前記ユーザを特定する情報を送信し、
前記第1認証または前記第2認証が成功した場合、前記記憶部は、前記ユーザへの応答が行われている間に前記取得部が取得した前記顔認証データをさらに記憶する、
ことを特徴とする個人認証システム。
A personal authentication system having a first authentication server and a second authentication server,
The first authentication server,
A storage unit that stores face authentication data based on the face image of the user for each user;
An acquisition unit that acquires face authentication data based on a face image of a target user for personal authentication,
A first authentication unit that performs first authentication including face authentication for identifying an individual based on a result of matching between the face authentication data obtained by the obtaining unit and the face authentication data stored in the storage unit;
With
The second authentication server,
If the first authentication is not successful, a second authentication unit that performs a second authentication that specifies the user based on an input from a terminal;
With
When the first authentication or the second authentication is successful, the storage unit stores the face authentication data obtained by the obtaining unit in addition to the already stored face authentication data.
Personal authentication system,
The personal authentication system further includes:
An imaging unit that captures a face image of the user;
A communication unit that transmits face authentication data based on the face image captured by the imaging unit to the first authentication server, and receives information indicating a response to the user from the first authentication server;
Having a robot with
The information input by the second authentication unit from the terminal includes an identifier for identifying the robot,
The second authentication server performs the second authentication without the intervention of the robot, and when the second authentication is successful, transmits information specifying the user to the robot specified by the identifier,
When the first authentication or the second authentication is successful, the storage unit further stores the face authentication data obtained by the obtaining unit while a response to the user is being performed,
A personal authentication system, characterized in that:
ユーザの顔画像に基づく顔認証データをユーザ毎に記憶する記憶部と、
個人認証の対象ユーザの顔画像に基づく顔認証データを取得する取得部と、
前記取得部が取得した顔認証データと前記記憶部が記憶する顔認証データとの照合結果に基づいて個人を特定する顔認証を含む第1認証を行う第1認証部と、
前記第1認証が成功しなかった場合、端末からの入力に基づいて前記ユーザを特定する第2認証を行う第2認証部と、
を備え、
前記第1認証または前記第2認証が成功した場合、前記記憶部は既に記憶している前記顔認証データに加えて前記取得部が取得した前記顔認証データを記憶する
個人認証装置であり、
前記顔認証は、前記取得部が取得した顔認証データと前記記憶部が記憶する少なくとも1件の顔認証データの全件とをそれぞれ照合して、前記取得部が取得した顔認証データが示す人物と前記記憶部が記憶する顔認証データが示す人物が同一人物であるか否かをそれぞれ判定し、同一人物であると判定された件数の割合が所定の割合以上である場合に認証が成功したと判定する、
ことを特徴とする個人認証装置。
A storage unit that stores face authentication data based on the face image of the user for each user;
An acquisition unit that acquires face authentication data based on a face image of a target user for personal authentication,
A first authentication unit that performs first authentication including face authentication for identifying an individual based on a result of matching between the face authentication data obtained by the obtaining unit and the face authentication data stored in the storage unit;
If the first authentication is not successful, a second authentication unit that performs a second authentication that specifies the user based on an input from a terminal;
With
If the first authentication or the second authentication is successful, the storage unit stores the face authentication data obtained by the obtaining unit in addition to the already stored face authentication data.
Personal authentication device,
The face authentication is performed by comparing the face authentication data acquired by the acquisition unit with all of the at least one face authentication data stored in the storage unit, and identifying the person indicated by the face authentication data acquired by the acquisition unit. It is determined whether the person indicated by the face authentication data stored in the storage unit is the same person or not. If the ratio of the number of cases determined to be the same person is equal to or more than a predetermined ratio, the authentication is successful. Judge
A personal authentication device, characterized in that:
記憶部が、ユーザの顔画像に基づく顔認証データをユーザ毎に記憶する第1記憶ステップと、
取得部が、個人認証の対象ユーザの顔画像に基づく顔認証データを取得する取得ステップと、
第1認証部が、前記取得部によって取得された顔認証データと前記記憶部によって記憶された顔認証データとの照合結果に基づいて個人を特定する顔認証を含む第1認証を行う第1認証ステップと、
前記第1認証が成功しなかった場合、第2認証部が、端末からの入力に基づいて前記ユーザを特定する第2認証を行う第2認証ステップと、
前記第1認証または前記第2認証が成功した場合、前記記憶部が、既に記憶している前記顔認証データに加えて前記取得部が取得した前記顔認証データを記憶する第2記憶ステップと、
を有し、
前記顔認証は、前記取得部が取得した顔認証データと前記記憶部が記憶する少なくとも1件の顔認証データの全件とをそれぞれ照合して、前記取得部が取得した顔認証データが示す人物と前記記憶部が記憶する顔認証データが示す人物が同一人物であるか否かをそれぞれ判定し、同一人物であると判定された件数の割合が所定の割合以上である場合に認証が成功したと判定する、
とを特徴とする個人認証方法。
A first storage step in which the storage unit stores face authentication data based on a face image of the user for each user;
An acquiring step of acquiring face authentication data based on a face image of a target user for personal authentication,
A first authentication unit configured to perform a first authentication including a face authentication for identifying an individual based on a result of a comparison between the face authentication data obtained by the obtaining unit and the face authentication data stored by the storage unit; Steps and
If the first authentication is not successful, a second authentication unit performs a second authentication for specifying the user based on an input from a terminal;
If the first authentication or the second authentication is successful, the storage unit stores the face authentication data acquired by the acquisition unit in addition to the already stored face authentication data, a second storage step,
Have a,
The face authentication is performed by comparing the face authentication data acquired by the acquisition unit with all of the at least one face authentication data stored in the storage unit, and identifying the person indicated by the face authentication data acquired by the acquisition unit. It is determined whether the person indicated by the face authentication data stored in the storage unit is the same person or not. If the ratio of the number of cases determined to be the same person is equal to or more than a predetermined ratio, the authentication is successful. Judge
Personal authentication method which is characterized a call.
コンピュータに、
ユーザの顔画像に基づく顔認証データをユーザ毎に記憶する第1記憶ステップと、
個人認証の対象ユーザの顔画像に基づく顔認証データを取得する取得ステップと、
前記取得ステップにおいて取得された顔認証データと前記第1記憶ステップにおいて記憶された顔認証データとの照合結果に基づいて個人を特定する顔認証を含む第1認証を行う第1認証ステップと、
前記第1認証が成功しなかった場合、端末からの入力に基づいて前記ユーザを特定する第2認証を行う第2認証ステップと、
前記第1認証または前記第2認証が成功した場合、既に記憶されている前記顔認証データに加えて前記取得ステップにおいて取得された前記顔認証データを記憶する第2記憶ステップと、
を実行させるためのプログラムであり、
前記顔認証は、前記取得部が取得した顔認証データと前記記憶部が記憶する少なくとも1件の顔認証データの全件とをそれぞれ照合して、前記取得部が取得した顔認証データが示す人物と前記記憶部が記憶する顔認証データが示す人物が同一人物であるか否かをそれぞれ判定し、同一人物であると判定された件数の割合が所定の割合以上である場合に認証が成功したと判定する
プログラム。
On the computer,
A first storage step of storing face authentication data based on a user's face image for each user;
An acquisition step of acquiring face authentication data based on a face image of a target user for personal authentication,
A first authentication step of performing a first authentication including a face authentication for identifying an individual based on a comparison result between the face authentication data obtained in the obtaining step and the face authentication data stored in the first storage step;
A second authentication step of performing a second authentication for specifying the user based on an input from a terminal when the first authentication is not successful;
A second storage step of storing the face authentication data obtained in the obtaining step in addition to the already stored face authentication data when the first authentication or the second authentication is successful;
A program for executing,
The face authentication is performed by comparing the face authentication data acquired by the acquisition unit with all of the at least one face authentication data stored in the storage unit, and identifying the person indicated by the face authentication data acquired by the acquisition unit. It is determined whether the person indicated by the face authentication data stored in the storage unit is the same person or not. If the ratio of the number of cases determined to be the same person is equal to or more than a predetermined ratio, the authentication is successful. Judge
program.
JP2016053564A 2016-03-17 2016-03-17 Personal authentication system, personal authentication device, personal authentication method, and program Active JP6675893B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016053564A JP6675893B2 (en) 2016-03-17 2016-03-17 Personal authentication system, personal authentication device, personal authentication method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016053564A JP6675893B2 (en) 2016-03-17 2016-03-17 Personal authentication system, personal authentication device, personal authentication method, and program

Publications (2)

Publication Number Publication Date
JP2017167884A JP2017167884A (en) 2017-09-21
JP6675893B2 true JP6675893B2 (en) 2020-04-08

Family

ID=59913398

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016053564A Active JP6675893B2 (en) 2016-03-17 2016-03-17 Personal authentication system, personal authentication device, personal authentication method, and program

Country Status (1)

Country Link
JP (1) JP6675893B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019061348A1 (en) * 2017-09-29 2019-04-04 上海与德通讯技术有限公司 Intelligent robot and control method thereof, and computer readable storage medium
JP7054331B2 (en) * 2017-10-27 2022-04-13 ホーチキ株式会社 Room occupancy monitoring system
JP7030476B2 (en) * 2017-11-06 2022-03-07 キヤノン株式会社 Image processor, image processor control method, program, system, and system control method
WO2019106811A1 (en) * 2017-11-30 2019-06-06 株式会社三井住友銀行 Query response system and query response method
WO2020045204A1 (en) * 2018-08-31 2020-03-05 日本電気株式会社 Biometric authentication device, biometric authentication method, and recording medium
US11315571B2 (en) * 2018-11-28 2022-04-26 Visa International Service Association Audible authentication

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4303602B2 (en) * 2004-01-09 2009-07-29 本田技研工業株式会社 Facial image acquisition system
JP5055905B2 (en) * 2006-09-11 2012-10-24 富士通株式会社 Entrance / exit management system, entrance / exit management robot device, and entrance / exit management program
JP2009064140A (en) * 2007-09-05 2009-03-26 Toshiba Corp Personal identification device and personal identification managing system
JP2009104599A (en) * 2007-10-04 2009-05-14 Toshiba Corp Face authenticating apparatus, face authenticating method and face authenticating system
JP5390228B2 (en) * 2009-03-24 2014-01-15 グローリー株式会社 Face image matching device, face image matching method, and face image matching program
JP2012008821A (en) * 2010-06-25 2012-01-12 Hitachi Ltd Updating method of authentication information

Also Published As

Publication number Publication date
JP2017167884A (en) 2017-09-21

Similar Documents

Publication Publication Date Title
JP6675893B2 (en) Personal authentication system, personal authentication device, personal authentication method, and program
US9053310B2 (en) System and method for verifying status of an authentication device through a biometric profile
JP5859953B2 (en) Biometric authentication system, communication terminal device, biometric authentication device, and biometric authentication method
CN107800672B (en) Information verification method, electronic equipment, server and information verification system
US20130227678A1 (en) Method and system for authenticating user of a mobile device via hybrid biometics information
JP2017530457A (en) Identity authentication method and apparatus, terminal and server
US10282532B2 (en) Secure storage of fingerprint related elements
US10318721B2 (en) System and method for person reidentification
US20120117633A1 (en) Enhanced Security For Pervasive Devices Using A Weighting System
JP5429905B2 (en) Information processing apparatus, authentication system, authentication server, information processing apparatus control method, authentication server control method and program
WO2016188230A1 (en) Unlocking method and device
WO2017201874A1 (en) Method and apparatus for prompting loss of terminal
JP6031172B1 (en) Biometric matching system, biometric matching method, biometric matching device, and control program
US10810450B2 (en) Methods and systems for improved biometric identification
EP3811254A1 (en) Method and electronic device for authenticating a user
US11259186B2 (en) Systems and methods for validating a device and authenticating a user
JP6381478B2 (en) Biometric authentication system
KR101512498B1 (en) Door open system and method using nfc
JP7260145B2 (en) Authentication device, authentication terminal, authentication method, program and recording medium
KR102060563B1 (en) Method and apparatus for providing authentication using voice and facial data
KR20120014533A (en) System and method for user verification using biometrics at a distance
JP4134798B2 (en) Wireless communication system and program
KR20160098901A (en) User authentication server system and user authentication method using the same
KR102340398B1 (en) Apparatus, system, and control method for access control
JP2004145395A (en) Method and system for personal identification

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200311

R150 Certificate of patent or registration of utility model

Ref document number: 6675893

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250