WO2019176206A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2019176206A1
WO2019176206A1 PCT/JP2018/046347 JP2018046347W WO2019176206A1 WO 2019176206 A1 WO2019176206 A1 WO 2019176206A1 JP 2018046347 W JP2018046347 W JP 2018046347W WO 2019176206 A1 WO2019176206 A1 WO 2019176206A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
reliability
authentication
request
modal
Prior art date
Application number
PCT/JP2018/046347
Other languages
English (en)
French (fr)
Inventor
昭彦 泉
原 昌宏
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201880091009.4A priority Critical patent/CN111868720A/zh
Priority to US16/979,177 priority patent/US20200401683A1/en
Publication of WO2019176206A1 publication Critical patent/WO2019176206A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/44Secrecy systems
    • H04N1/4406Restricting access, e.g. according to user identity
    • H04N1/4433Restricting access, e.g. according to user identity to an apparatus, part of an apparatus or an apparatus function
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45Structures or tools for the administration of authentication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Definitions

  • an information processing apparatus includes an acquisition unit, a setting unit, and a process execution unit.
  • the acquisition unit acquires reliability of modal authentication executed for a user.
  • the setting unit sets a reliability threshold based on a request requested by the user.
  • the process execution unit suspends execution of the process according to the user's request until the reliability of the acquired modal authentication becomes greater than the set reliability threshold.
  • the setting unit may set the reliability threshold based on a type of user request. Thereby, it becomes possible to prevent a user's misidentification and to improve safety.
  • the process execution unit may select a warning mode when the authentication result of the modal authentication is invalid.
  • the warning mode may be a mode in which execution of modal authentication for the user is restricted.
  • the setting unit may set a timeout time based on the user's request.
  • the process execution unit may determine whether to continue the suspension of the execution of the process according to the user's request based on the timeout time.
  • the process execution unit may regulate the execution of modal authentication for the user when there is no possibility that the reliability of the modal authentication becomes larger than the reliability threshold before the timeout time elapses.
  • the process execution unit may execute a process including requesting the user to take an action for increasing the reliability of the modal authentication as the intermediate process.
  • Modal authentication is an authentication technique for authenticating the user 1 based on the biometric information of the user 1.
  • biometric information of the user 1 include specific behaviors such as face, voice, fingerprint, and wrinkle, smell (body odor, bad breath, smell of cigarettes and cosmetics), iris, waveform of electroencephalogram, and the like.
  • FIG. 5 is a diagram for describing an outline of an example of user authentication according to the present technology.
  • FIG. 5A is a diagram illustrating a case where Mr. A registered in the storage unit 7 requests purchase processing.
  • the predetermined processing request is included in the above-described user request.
  • the agent 2 periodically acquires modal authentication information about Mr. A from the storage unit 7 in a state where the execution of the purchase process is suspended. And it is determined whether the reliability contained in the acquired modal authentication information is larger than a reliability threshold value.
  • the authentication result included in the modal authentication information acquired at that time may be valid.
  • user authentication is executed based on the authentication result when the reliability of modal authentication is sufficiently accumulated. Therefore, impersonation and the like can be sufficiently prevented, and high safety is exhibited.
  • the execution of the process is suspended until the reliability is sufficiently accumulated. Therefore, it is possible to suppress Mr. B's thorough analysis of impersonation success and failure and correct impersonation, and high safety is exhibited.
  • the CPU loads the program according to the present technology recorded in advance in the ROM or the like to the RAM and executes the program, so that the acquisition unit 20, the setting unit 30, the process execution unit 40, the request reception unit 50, and the notification are performed as functional blocks.
  • the control part 60 is comprised and the information processing method which concerns on this technique is performed.
  • Installation of the program is executed through various recording media, for example.
  • program installation may be executed via the Internet or the like.
  • the notification control unit 60 controls the notification of information to the user 1. For example, various information such as a notification that the user's request has been accepted is notified. In addition, the notification control unit 60 executes control of information notification timing, regulation and suspension of notification of predetermined information, and the like.
  • FIG. 7 to 9 are flowcharts showing an example of agent processing in response to a user request.
  • the reliability threshold value setting unit 31 and the timeout time setting unit 32 set the reliability threshold value and the timeout time (step 401).
  • Immediacy is set based on when it is necessary to execute processing according to the user's request. For example, when the user's request is urgent or urgent, the immediacy is set high.
  • the setting of the reliability threshold and the timeout time based on reliability and immediacy will be described later with reference to various requests illustrated in FIGS.
  • the execution determination unit 41 determines whether or not the reliability of the modal authentication is larger than a reliability threshold (step 402). In the example illustrated in FIG. 4, it is determined whether or not the reliability is greater than or equal to the reliability threshold. However, it may be determined whether or not the reliability is greater than the reliability threshold.
  • the execution determination unit 41 executes a process according to the request of the user 1.
  • the execution determination unit 41 rejects the request of the user 1 and cancels the execution of the process (Step 602).
  • FIGS. 10 and 11 are diagrams illustrating an example of determining immediacy and reliability according to a user request content (request type).
  • FIG. 12 is an example of table information including the relationship between immediacy and reliability, timeout time, and reliability threshold.
  • the request content classification unit 33 shown in FIGS. 10 and 11 classifies the request of the user 1 based on “operation category”, “target”, and “time axis”. Specifically, according to the type of request of the user 1, meta information related to each of “operation category”, “object”, and “time axis” is set.
  • the “time axis” is a time (timing) for performing the requested operation, for example, meta information such as current, future, and emergency is set.
  • meta information such as current, future, and emergency is set.
  • the meta information related to the “operation category”, “object”, and “time axis” is not limited to the above-described information and the information shown in FIGS.
  • parameters for classifying the user's 1 request are not limited, and for example, parameters different from “operation category”, “object”, and “time axis” may be adopted.
  • the reliability setting for example, when the user 1 requests the agent 2 to purchase an expensive item, unlock the user 1's house key, and confirm the user 1's schedule, the user 1 needs to be alone. Since it is high, the reliability is set to “large”. As a result, the reliability threshold is set to 99%.
  • meta information of “status change”, “lighting, air conditioning” and “current” is set, and correspondingly, reliability is set to “small” and immediacy is set to “medium” Is done.
  • the reliability threshold is set to 10%
  • the timeout time is set to 30 seconds.
  • the reliability threshold is set to 80%, and the timeout time is set to 30 seconds.
  • the reliability threshold is set to 80 to 99% according to the contents, and the timeout time is set to several seconds to 10 minutes according to the contents.
  • the reliability threshold value and the timeout time corresponding to the type of request of the user 1 are set on the rule base.
  • the reliability threshold value and the timeout time may be set based on machine learning.
  • the reliability threshold value and the timeout time may be output by machine learning using meta information related to the request of the user 1 as an input.
  • any method may be employed.
  • the reliability of the modal authentication of the user 1 at this time is low and the slope of the reliability of the smoothed modal authentication of the user 1 is small, the reliability of the modal authentication of the user 1 does not exceed the reliability threshold by the timeout time. If it is determined, the execution determination unit 41 can proceed to the next step without waiting for the timeout time. Thereby, a user's waiting time can be reduced and high usability is exhibited.
  • the intermediate processing that seeks cooperation with an authentication method with less burden than ID / password is assumed to be fingerprint authentication, and is a modal that can acquire a fingerprint. Moreover, since the fingerprint authentication apparatus can be touched immediately, it is highly immediate and can be used as a method that does not affect the influence of aging. The user's feeling of burden is moderate. There may be methods other than fingerprint authentication.
  • Intermediate processing that governs user behavior so that it is convenient for authentication is a modal that can acquire a “face”. Further, since the face may be seen by other people, it can be used as a method in which the face may be intercepted. On the other hand, because the face is affected by aging, it cannot be used to deal with the effects of aging. Also, it may be necessary to wait for an event that is convenient for authentication to happen, and it cannot be used when immediacy is high. The user's burden is minimal.
  • Keep-alive means that the agent 2 periodically notifies the server device such as a cloud service of the current status such as the current time. As a result, if the keep-alive from the agent 2 is interrupted while the request from the user 1 is suspended, the server device determines that the agent 2 can no longer continue its operation, authenticates the user 1, and performs the processing of the agent 2 It becomes possible to take over.
  • the agent 2 detects that the user 1 is about to leave the room or home, the user 1 is stopped before the user 1 leaves, and reliable user authentication such as ID / password input is performed.
  • reliable user authentication such as ID / password input is performed. The process proceeds to the flowchart of FIG.
  • the agent 2 detects a sign that the user 1 goes to bed, the agent stops the user 1 before the user goes to bed, and seeks reliable user authentication such as ID / password input. Transition.
  • Agent 2 When Agent 2 receives a request that overlaps with a pending request, it rejects the request received later. For example, there is a case where the user 1 requests the agent 2 to lower the room temperature, and the user 1 requests to lower the room temperature again while the agent 2 holds the processing of the request.
  • the countermeasure for the subsequent processing request is a countermeasure assuming a case where the agent 2 receives a request having a context with the pending request while the request from the user 1 is pending.
  • steps 801 and 802 shown in FIG. 15 corresponds to determining the possibility that execution of modal authentication is interrupted. Further, Yes in each step corresponds to a case where execution of modal authentication may be interrupted. “Countermeasures for going out” and “measures for falling asleep” correspond to processing for preventing interruption of execution of modal authentication.
  • the information processing method according to the present technology is executed by a computer such as an agent.
  • the information processing method and the program according to the present technology may be executed by a computer that can be operated by the user and another computer that can communicate via a network or the like.
  • an information processing system according to the present technology may be constructed in conjunction with a computer operable by the user and another computer.
  • Information processing method and program execution according to the present technology by a computer system is performed when, for example, acquisition of reliability of modal authentication, setting of a reliability threshold, suspension of processing execution, etc. are executed by a single computer, and This includes both cases where each process is executed by a different computer.
  • the execution of each process by a predetermined computer includes causing another computer to execute a part or all of the process and acquiring the result.
  • the information processing apparatus executes processing according to a request from the user when an authentication result of the modal authentication is valid.
  • the information processing apparatus according to any one of (3) to (5), The processing execution unit selects a warning mode when an authentication result of the modal authentication is invalid.
  • the information processing apparatus according to (6), The alert mode is an information processing device according to (8), (6), or (7), wherein the execution of modal authentication for the user is restricted.
  • the alert mode is a mode in which execution of modal authentication for the user is prohibited.
  • the information processing apparatus determines a possibility that the reliability of the modal authentication is larger than the reliability threshold before the timeout time elapses. (13) The information processing apparatus according to (12), The information processing apparatus restricts execution of modal authentication for the user when there is no possibility that the reliability of the modal authentication becomes larger than the reliability threshold before the timeout time elapses. (14) The information processing apparatus according to (12), The process execution unit executes an intermediate process for increasing the reliability of the modal authentication when the reliability of the modal authentication is not likely to become larger than the reliability threshold before the timeout time elapses. Information processing device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本技術の一形態に係る情報処理装置は、取得部と、設定部と、処理実行部とを具備する。前記取得部は、ユーザに対して実行されるモーダル認証の信頼度を取得する。前記設定部は、前記ユーザの依頼した要求に基づいて信頼度閾値を設定する。前記処理実行部は、前記取得されたモーダル認証の信頼度が、前記設定された信頼度閾値より大きくなるまで、前記ユーザの要求に応じた処理の実行を保留する。

Description

情報処理装置、情報処理方法、及びプログラム
 本技術は、ユーザの認証に適用可能な情報処理装置、情報処理方法、及びプログラムに関する。
 従来から顔認証技術等のユーザを認識する技術が広く利用されている。例えば、特許文献1には、ユーザ認識を伴うサービスを、より柔軟に提供することが可能なシステムが開示されている。特許文献1に記載のシステムでは、ユーザの身体的特徴等の第1の観測情報と、過去のユーザの身体的特徴等である第2の観測情報の少なくとも一部とが照合される。これにより、ユーザ及びユーザの変化を認識することが可能となっている(特許文献1の段落[0015]~[0021]図3等)。
特開2016-225938号公報
 このようなユーザ認証を実行する際には、ユーザへの成りすまし等を十分に防止し、高い安全性を発揮することが重要である。一方で、安全性を高めるためにパスワードの入力等をユーザに頻繁に要求すると、ユーザビリティが低下してしまう。
 以上のような事情に鑑み、本技術の目的は、高いユーザビリティを発揮させつつ、安全性を向上させることが可能となる情報処理装置、情報処理方法、及びプログラムを提供することにある。
 上記目的を達成するため、本技術の一形態に係る情報処理装置は、取得部と、設定部と、処理実行部とを具備する。
 前記取得部は、ユーザに対して実行されるモーダル認証の信頼度を取得する。
 前記設定部は、前記ユーザの依頼した要求に基づいて信頼度閾値を設定する。
 前記処理実行部は、前記取得されたモーダル認証の信頼度が、前記設定された信頼度閾値より大きくなるまで、前記ユーザの要求に応じた処理の実行を保留する。
 この情報処理装置では、モーダル認証の信頼度が、ユーザの要求に基づいて設定された信頼度閾値よりも大きくなるまで、ユーザの要求に応じた処理の実行が保留される。これにより、高いユーザビリティを発揮させつつ、安全性を向上することが可能となる。
 前記設定部は、前記ユーザの要求の種類に基づいて、前記信頼度閾値を設定してもよい。
 これにより、ユーザの誤認を防ぎ、安全性を向上することが可能となる。
 前記処理実行部は、前記取得されたモーダル認証の信頼度が前記設定された信頼度閾値より大きくなった場合、前記モーダル認証の認証結果に基づく処理を実行してもよい。
 前記処理実行部は、前記モーダル認証の認証結果が正当である場合に、前記ユーザの要求に応じた処理を実行してもよい。
 前記処理実行部は、前記モーダル認証の認証結果が不当である場合に、前記ユーザの要求を拒否してもよい。
 これにより、ユーザ以外の要求を拒否し、安全性を向上することが可能となる。
 前記処理実行部は、前記モーダル認証の認証結果が不当である場合に、警戒モードを選択してもよい。
 前記警戒モードは、前記ユーザに対するモーダル認証の実行が規制されるモードであってもよい。
 前記警戒モードは、前記ユーザに対するモーダル認証の実行が禁止されるモードであってもよい。
 前記設定部は、前記ユーザの要求に基づいてタイムアウト時間を設定してもよい。この場合、前記処理実行部は、前記タイムアウト時間に基づいて、前記ユーザの要求に応じた処理の実行の保留を継続するか否かを判定してもよい。
 前記設定部は、前記ユーザの要求の種類に基づいて、前記タイムアウト時間を設定してもよい。
 前記処理実行部は、前記モーダル認証の信頼度が前記信頼度閾値より大きくなる前に前記タイムアウト時間が経過した場合は、前記ユーザに対するモーダル認証の実行を規制してもよい。
 前記処理実行部は、前記タイムアウト時間が経過する前に前記モーダル認証の信頼度が前記信頼度閾値より大きくなる可能性を判定してもよい。
 前記処理実行部は、前記タイムアウト時間が経過する前に前記モーダル認証の信頼度が前記信頼度閾値より大きくなる可能性がない場合には、前記ユーザに対するモーダル認証の実行を規制してもよい。
 前記処理実行部は、前記タイムアウト時間が経過する前に前記モーダル認証の信頼度が前記信頼度閾値より大きくなる可能性がない場合には、前記モーダル認証の信頼度を高めるための中間処理を実行してもよい。
 前記処理実行部は、前記中間処理として、前記モーダル認証の信頼度を高めるための行動を前記ユーザに要求することを含む処理を実行してもよい。
 前記処理実行部は、前記モーダル認証の信頼度を高めるために前記ユーザに要求される行動を行う際の前記ユーザの負担度に基づいて、前記中間処理を選択してもよい。
 前記処理実行部は、前記モーダル認証の実行が中断される可能性を判定し、前記モーダル認証の実行が中断される可能性がある場合には、前記モーダル認証の実行の中断を防止するための処理を実行してもよい。
 前記処理実行部は、処理の実行を保留している前記ユーザの要求に関連した前記ユーザの他の要求を受付けた場合に、処理の実行を保留している前記ユーザの要求と前記ユーザの他の要求との関係に応じた処理を実行してもよい。
 前記ユーザに対して実行されるモーダル認証は、認証のための行動を前記ユーザが行う必要がない方法により実行されていてもよい。
 前記情報処理装置は、前記ユーザへの情報の通知を制御する通知制御部を具備してもよい。この場合、前記通知制御部は、前記ユーザの要求に応じた処理の実行が保留されている間は、前記モーダル認証の認証結果に関する情報の通知を保留(規制)してもよい。
 本技術の一形態に係る情報処理方法は、コンピュータシステムにより実行される情報処理方法であって、ユーザに対して実行されるモーダル認証の信頼度を取得することを含む。
 前記ユーザの要求に基づいて信頼度閾値が設定される。
 前記取得されたモーダル認証の信頼度が、前記設定された信頼度閾値より大きくなるまで、前記ユーザの要求に応じた処理の実行が保留される。
 本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行させる。
 ユーザに対して実行されるモーダル認証の信頼度を取得するステップ。
 前記ユーザの要求に基づいて信頼度閾値を設定するステップ。
 前記取得されたモーダル認証の信頼度が、前記設定された信頼度閾値より大きくなるまで、前記ユーザの要求に応じた処理の実行を保留するステップ。
 以上のように、本技術によれば、高いユーザビリティを発揮させつつ、安全性を向上することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の一実施形態に係る情報処理システムの概要を説明するための模式図である。 情報処理システムの基本動作を説明するためのフローチャートである。 モーダル認証装置の構成例を示すブロック図である。 トラッキングが実行される際の動作例を示すフローチャートである。 本技術に係るユーザ認証の一例の概要を説明するための図である。 エージェントの機能的な構成例を示すブロック図である。 ユーザの要求に対するエージェントの処理例を示すフローチャートである。 ユーザの要求に対するエージェントの処理例を示すフローチャートである。 ユーザの要求に対するエージェントの処理例を示すフローチャートである。 ユーザの依頼内容に応じた即時性と信頼性とを決定する一例を示す図である。 ユーザの依頼内容に応じた即時性と信頼性とを決定する一例を示す図である。 即時性と信頼性に対応したタイムアウト時間と信頼度閾値を設定するためのテーブル情報の一例を示す図である。 タイムアウト時間までにユーザのモーダル認証の信頼度が大きくなる可能性を判断する処理例を示すフローチャートである。 中間処理の具体例を示す表である。 エージェントの行う処理を継続させるための処理の例を示すフローチャートである。
 以下、本技術に係る実施形態を、図面を参照しながら説明する。
 [情報処理システムの構成]
 図1は、本技術の一実施形態に係る情報処理システムの概要を説明するための模式図である。図2は、情報処理システムの基本動作を説明するためのフローチャートである。
 情報処理システム100は、対話型のエージェントに音声や身振り等を介して、様々な要求を依頼することが可能なシステムである。
 エージェントは、典型的には、ディープラーニング(深層学習)等を行うAI(人工知能)により構築される。図1に示す例では、ユーザ1から視認可能な形態で、エージェント2が構成されている。エージェント2内には、コンピュータシステムが構築されており、本技術に係る情報処理装置として機能する。
 情報処理システム100は、エージェント2と、カメラ3と、マイク4と、スピーカ5と、テレビ6とを含む。例えば、ユーザ1がテレビ6に表示されている自転車を指差しながら「これを注文して!」と発話する。
 エージェント2は、カメラ3により撮影されたユーザ1の画像、及びマイク4により取得されたユーザ1の音声を解析する。これによりユーザ1がテレビ6に映っている自転車を購入したい旨の要求を入力したことを認識し、当該要求を受付ける(ステップ101)。
 なおエージェント2が、ユーザ1が注文を要求した対象を認識する方法は限定されない。例えばエージェント2がネットワークを介してテレビ6と接続されており、現在表示されている物が認識可能であってもよい。あるいは、テレビ画面が撮影され、その撮影画像を解析することで、注文を要求した対象が認識されてもよい。
 エージェント2は、要求を入力したユーザ1に対して、ユーザ認証を実行する。本実施形態では、情報処理システム100に含まれる記憶部7から、要求を入力したユーザ1に関するモーダル認証情報が取得される(ステップ102)。
 本実施形態では、モーダル認証情報は、モーダル認証装置10(図3参照)により生成される。例えば部屋内等において人物が検出されると、その人物に対してトラッキングが開始されモーダル認証が実行される(ステップ201)。モーダル認証が実行されると、モーダル認証情報が生成される。トラッキングが実行されている間、モーダル認証情報は更新され、記憶部7に登録される(ステップ202)。モーダル認証装置によるモーダル認証については、後に詳しく説明する。
 エージェント2は、記憶部7から取得したモーダル認証情報に基づいて、要求を入力したユーザ1が、本情報処理システム100の利用を許可されているユーザ本人であるか否かを判定する(ステップ103)。
 要求を入力したユーザ1がユーザ本人である場合、すなわちユーザ認証の結果が正当である場合(ステップ103のYes)、ユーザの要求に応じた処理が実行される。図1に示す例では、エージェント2により、自転車の注文処理(購入処理)が実行される。この際に、スピーカ5を介して「かしこまりました」等の音声が出力されてもよい。
 要求を入力したユーザ1がユーザ本人ではない場合(ステップ103のNo)、すなわちユーザ認証の結果が不当である場合には、自転車の購入処理は実行されず、ステップ103に戻る。なお、図2に示すフローは、本技術に係るユーザ認証の基本動作であり、詳細な動作については後に説明する。
 図3は、モーダル認証装置10の構成例を示すブロック図である。図4は、モーダル認証装置によりトラッキングが実行される際の動作例を示すフローチャートである。上記したように、本実施形態では、モーダル認証装置10により、検出された人物(ユーザ1)に対してモーダル認証が実行される。
 モーダル認証とは、ユーザ1の生体情報に基づいてユーザ1を認証する認証技術のことである。ユーザ1の生体情報としては、例えば顔、声、指紋、癖等の特有の行動、匂い(体臭、口臭、タバコや化粧品の匂い)、虹彩、脳波の波形等が挙げられる。
 また本開示では、生体情報に準ずる情報を用いた認証も、モーダル認証に含まれる。そのような生体情報に準ずる情報としては、例えば身に着けている機器、衣服、靴、所持品、及び肉眼では見えないインク等が挙げられる。身に着けている機器については、その機器自身の情報が用いられてもよいし、その機器の使用者情報等の機器に関する情報が用いられてもよい。所持品については、電子機器に限らず普通の品物も含まれる。肉源では見えないインクの使用方法については、例えば手などに人物識別用の情報を書く等の方法が考えられる。もちろんこれに限定されず、他の情報が、生体情報や生体情報に準ずる情報に含まれ得る。
 以下、生体情報及び生体情報に準ずる情報を、まとめて生体情報と記載する。また異なる種類の生体情報を、異なるモーダルと表現する場合がある。
 モーダル認証装置10は、例えばCPU、ROM、RAM、及びHDD等のコンピュータの構成に必要なハードウェアを有する。CPUがROM等に予め記録されているプログラムをRAMにロードして実行することにより、図3に示す各ブロックが実現される。例えばPC等の任意のコンピュータにより、モーダル認証装置を実現することが可能である。もちろんFPGA、ASIC等のハードウェアが用いられてもよい。
 モーダル認証装置10は、生体情報取得部11と、モーダル認証実行部12と、モーダル認証情報登録部13とを有する。
 生体情報取得部11は、ユーザ1の生体情報を取得する。例えばカメラ3により撮影されたユーザ1の画像に基づいて、ユーザ1の顔や体型、服装等の生体情報が取得される。またマイク4等により取得されたユーザ1の音声により、ユーザ1の声情報が取得される。その他、生体情報を取得する方法は限定されない。例えば指紋や脳波等を取得するための専用のデバイスが用いられ、当該専用のデバイスから生体情報が取得されてもよい。
 モーダル認証実行部12は、取得された生体情報に基づいて、モーダル認証を実行する。例えば記憶部7に記憶されているユーザ1に関する生体情報との間で、マッチング処理を実行することでモーダル認証が実行される。モーダル認証を実行するための具体的なアルゴリズム等は限定されず、例えば機械学習が用いられてもよい。
 本実施形態では、モーダル認証の実行により、モーダル認証の認証結果とモーダル認証の信頼度とを含むモーダル認証情報が生成される。生成されたモーダル認証情報は、モーダル認証情報登録部13により、記憶部7に登録される。
 モーダル認証の認証結果は、例えば「ユーザ1がユーザ本人である」「ユーザ1がユーザ本人ではない」「ユーザ1が誰であるかを判定できない(不明:Unknown)」等の情報を含む。本実施形態では、認証結果が「ユーザ1がユーザ本人である」となる場合に、モーダル認証の結果は正当であるとする。それ以外の認証結果となった場合には、モーダル認証の結果は不当(失敗)であるとする。
 モーダル認証の信頼度は、モーダル認証の認証結果をどの程度信頼してよいかを表す指標である。図4に示すように、本実施形態では、ユーザ1が入室すると、ユーザ1のトラッキングが開始され、モーダル認証が実行される(ステップ301)。
 モーダル認証装置10は、ユーザ1が退室するまで、継続して実行される(ステップ302からステップ303のNoのループ)。ステップ302では、トラッキング中に実行されるモーダル認証の認証結果及びモーダル認証の信頼度が適宜統合され、モーダル認証情報が生成される。
 例えばトラッキングを継続する時間が長いほど、人物に関する生体情報を多く取得することが可能であるので、モーダル認証の信頼度が向上する。また種類の異なる複数のモーダル認証(例えば顔認証及び音声認証等)を同時に実行することも可能となり、各モーダル認証の信頼度を合算することも可能である。この際に、モーダル認証の種類により、重み付けが行われ、各々の信頼度が合算されてもよい。
 モーダル認証の信頼度を算出するために具体的な方法は限定されず、任意のアルゴリズムが用いられてよい。例えば取得された生体情報と、記憶されている生体情報とのマッチング結果の精度に基づいて、モーダル認証の信頼度が算出される。あるいは取得された生体情報の内容や情報量等に基づいて、モーダル認証の信頼度が算出されてもよい。あるいはモーダル認証を実行するトラッキングの時間をパラメータとして、モーダル認証の信頼度が算出されてもよい。
 ユーザ1が退室した場合には(ステップ303のYes)、ユーザ1のトラッキングが終了する(ステップ304)。すなわちユーザ1に対するモーダル認証が終了する。なおトラッキングが可能な範囲は、1つの部屋に限定されず、複数の部屋にわたってトラッキングが可能であってもよい。また室内に限定されず、室外も含めた任意の範囲が、トラッキングが可能な範囲として設定されてもよい。
 なお本実施形態では、トラッキング中に実行されるモーダル認証として、ユーザ1が認証のための行動を行う必要のない方法より実行されるモーダル認証が選択されている。すなわち、例えば顔認証や音声認証等の、部屋にて通常の行動を行っているユーザ1に対して実行可能なモーダル認証が実行される。これにより、モーダル認証のためにユーザにかかる負担を十分に抑えることが可能となる。もちろん、このような低負荷なモーダル認証が実行される場合に、限定される訳ではない。
 [エージェント2によるユーザ認証]
 図5は、本技術に係るユーザ認証の一例の概要を説明するための図である。図5Aは、記憶部7に登録されているAさんが購入処理を依頼した場合を示す図である。当然のことながら、所定の処理の依頼は、上記したユーザの要求に含まれる。
 エージェント2は、Aさんから要求が入力されたことを認識し、要求を受付ける。そして記憶部2から、Aさん(正確にはAさんに相当する人物)に関するモーダル認証情報を読み出す。すなわち、エージェント2は、Aさんに対してモーダル認証が実行されることで生成されたモーダル認証情報を取得する。
 図5Aに示すように、Aさんから依頼があった時点では、モーダル認証の信頼度が信頼度閾値よりも小さかったとする。この場合、表面上は、Aさんの依頼を受諾しながらも、Aさんの要求に応じた処理である購買処理の実行が保留される。例えばスピーカ5等を介して依頼を受付けた旨の通知をしつつ、処理の実行は保留される。なお、信頼度閾値については、後に詳しく説明する。
 エージェント2は、購買処理の実行を保留した状態で、定期的にAさんに関するモーダル認証情報を記憶部7から取得する。そして、取得されたモーダル認証情報に含まれる信頼度が、信頼度閾値よりも大きいか否かを判定する。
 図5Aに示すように、モーダル認証の信頼度が蓄積されて、信頼度閾値よりも大きくなったとする。この場合、エージェント2は、モーダル認証の認証結果に基づく処理を実行する。図5Aでは、モーダル認証の認証結果は、Aさんが本人であるという結果となる。すなわちモーダル認証結果は正当となるので、ユーザの要求に応じた処理として、依頼された購買処理が実行される。
 このように本実施形態では、取得されたモーダル認証の信頼度が、信頼度閾値よりも大きくなるまで、ユーザの要求に応じた処理の実行が保留される。なお、信頼度が信頼度閾値よりも小さい場合に、そのときに取得されたモーダル認証情報に含まれる認証結果が不当となってしまう場合もあり得る。
 例えばAさんの画像を適正に撮影することができない場合や、Aさんの声を取得できない場合等に、本人であるという認証結果が得られないといったことも起こり得る。本実施形態では、モーダル認証の信頼度が十分に蓄積された場合の認証結果に基づいて、ユーザ認証が実行される。従って、非常に高い認証精度を発揮することが可能となり、安全性を向上させることが可能である。また信頼度を高めるための特別な行動をユーザに要求することなく、ユーザ認証を実行可能であるので、高いユーザビリティが発揮される。
 図5Bは、Aさんの子供のB君が、Aさんに成りすまして購入処理を依頼した場合を示す図である。B君は記憶部7に登録されていない、あるいは登録されているが購買処理は許可されていないとする。
 エージェント2は、B君から要求が入力されたことを認識し、要求を受付ける。そして記憶部2から、B君(正確にはB君に相当する人物)に関するモーダル認証情報を読み出す。すなわち、エージェント2は、B君に対してモーダル認証が実行されることで生成されたモーダル認証情報を取得する。
 図5Bに示すように、B君から依頼があった時点では、モーダル認証の信頼度が信頼度閾値よりも小さかったとする。この場合、表面上は、B君の依頼を受諾しながらも、B君の要求に応じた処理である購買処理の実行が保留される。
 エージェント2は、購買処理の実行を保留した状態で、定期的にB君に関するモーダル認証情報を記憶部7から取得する。そして、取得されたモーダル認証情報に含まれる信頼度が、信頼度閾値よりも大きいか否かを判定する。
 図5Bに示すように、モーダル認証の信頼度が蓄積されて、信頼度閾値よりも大きくなったとする。この場合、エージェント2は、モーダル認証の認証結果に基づく処理を実行する。例えばB君が登録されていない場合には、モーダル認証の認証結果は、(不明:Unknown)となる。B君が登録されている場合には、認証結果は、B君となる。いずれにせよ、モーダル認証の認証結果は不当となるので、ユーザの要求は拒否される。具体的には、ユーザの要求に応じた処理である購買処理がキャンセルされ、後に説明する警戒モードが選択される。
 なお、信頼度が信頼度閾値よりも小さい場合に、そのときに取得されたモーダル認証情報に含まれる認証結果が正当となってしまう場合もあり得る。本実施形態では、モーダル認証の信頼度が十分に蓄積された場合の認証結果に基づいて、ユーザ認証が実行される。従って、成りすまし等を十分に防止することが可能となり、高い安全性が発揮される。
 また、例えば十分に信頼度が蓄積されない状態でモーダル認証の結果が不当であった場合に、すぐに要求を拒否したり、改めてID/パスワードの入力等を求めるとする。そうすると、成りすましを試みたB君に対して、成りすましが上手くいっていないということが即時に伝わってしまう。この結果、どうやったら成りすましが成功するかといった点について、ヒントを与えてしまう可能性が生じる。
 本実施形態では、信頼度が十分に蓄積されるまで処理の実行が保留される。従ってどのような行為が成りすましの成功及び失敗に影響を与えるか等をB君が十分に分析して成りすましを修正する、といったことを抑制可能であり、高い安全性が発揮される。
 なお定期的に取得されるモーダル認識情報に含まれる信頼度が変動している場合もあり得る。その場合、定期的に得られる信頼度の平均値等が、改めてモーダル認証の信頼度として算出されてもよい。なお、モーダル認証装置10により信頼度が生成される場合に、過去の信頼度の履歴等に基づいて平均値等が算出され、その値がその時点での信頼度として記憶部7に登録されてもよい。
 図6は、エージェント2の機能的な構成例を示すブロック図である。エージェント2は、例えばCPU、ROM、RAM、及びHDD等のコンピュータの構成に必要なハードウェアを有する。
 CPUがROM等に予め記録されている本技術に係るプログラムをRAMにロードして実行することにより、機能ブロックとして、取得部20、設定部30、処理実行部40、要求受付部50、及び通知制御部60が構成され、本技術に係る情報処理方法が実行される。
 例えばPC等の任意のコンピュータにより、情報処理装置100を実現することが可能である。もちろんFPGA、ASIC等のハードウェアが用いられてもよい。また図6に示す各ブロックを実現するために、IC(集積回路)等の専用のハードウェアが用いられてもよい。
 プログラムのインストールは、例えば種々の記録媒体を介して実行される。あるいは、インターネット等を介してプログラムのインストールが実行されてもよい。
 本実施形態では、エージェント2は、視認可能な単体の機器として構成されている。これに限定されず、特定の筐体を持たずに警報機、蛍光、及び壁の内部等の住宅内にある設備に組み込まれて、エージェントが構成されてもよい。すなわち視認可能でない構成にてエージェントが実現されてもよい。
 取得部20は、記憶部7から、モーダル認証情報を取得する。例えば取得部20により、記憶部7から取得されたモーダル認証情報に含まれる信頼度の平均値等が算出され、改めてモーダル認証の信頼度として出力されてもよい。
 設定部30は、信頼度閾値設定部31と、タイムアウト時間設定部32と、依頼内容分類部33とを有する。
 信頼度閾値設定部31は、図5に示す信頼度閾値を設定する。信頼度閾値とは、ユーザのモーダル認証の信頼度がその値より大きくなることで十分な認証結果が得られる閾値のことである。本実施形態では、信頼度閾値は、ユーザ1の要求の種類に基づいて設定される。
 タイムアウト時間設定部32は、タイムアウト時間を設定する。タイムアウト時間とは、ユーザの要求に応じた処理の実行の保留を継続するか否かの判定基準となる時間である。本実施形態では、タイムアウト時間は、ユーザ1の要求の種類に基づいて設定される。
 依頼内容分類部33は、ユーザ1の要求した依頼の内容に基づいて依頼を分類する。依頼内容に応じた分類をする方法は図10~図12を参照して後に説明する。
 処理実行部40は、実行判断部41と、警戒モード部42と、中間処理部43とを有する。各ブロックについては、図7~図9に示すフローチャートを参照して説明を行う。
 要求受付部50は、ユーザ1が入力した要求を受付ける。例えばカメラ3により撮影されたユーザ1の画像やマイク4により取得されたユーザ1の音声を解析することで、ユーザの要求を認識し受付けることが可能である。もちろん、その他の方法が実行されてもよい。
 通知制御部60は、ユーザ1への情報の通知を制御する。例えばユーザの要求を受諾した旨の通知等、種々の情報が通知される。また通知制御部60により、情報の通知タイミングの制御、所定の情報の通知の規制や保留等が実行される。
 例えば通知制御部60は、図5を参照して説明したように、ユーザの要求を表面上受諾した場合には、その旨をスピーカ5等を介して通知する。またユーザの要求の処理の実行が保留されている間は、モーダル認証の認証結果に関する情報の通知を保留(規制)する。モーダル認証の認証結果に関する情報は、例えばモーダル認証の認証結果や、現在処理の実行を保留している旨等を含む。
 図7~図9は、ユーザの要求に対するエージェントの処理例を示すフローチャートである。要求受付部50により、ユーザ1の要求が受付けられると、信頼度閾値設定部31及びタイムアウト時間設定部32により、信頼度閾値及びタイムアウト時間が設定される(ステップ401)。
 本実施形態では、ユーザの要求の種類に応じて設定される信頼性と即時性に基づいて、信頼度閾値及びタイムアウト時間が設定される。信頼性は、ユーザ1の要求に応じた処理を実行する際の必要な安全性に基づいて設定される。要求を入力したユーザ1がユーザ本人であることがどの程度望まれるかによって設定されるということも可能である。
 即時性は、ユーザの要求に応じた処理をいつまでに実行する必要があるかに基づいて設定される。例えばユーザの要求が、急を要する場合や緊急の要求である場合には、即時性は高く設定される。信頼性及び即時性に基づいた信頼度閾値やタイムアウト時間の設定について、図10~図12に例示した種々の要求を参照しながら、後に説明する。
 実行判断部41により、モーダル認証の信頼度が信頼度閾値よりも大きいか否かは判定される(ステップ402)。図4に示す例では、信頼度≧信頼度閾値となるか否かが判定されるが、信頼度>信頼度閾値となるか否かが判定されてもよい。
 モーダル認証の信頼度が信頼度閾値よりも大きい場合には(ステップ402のYes)、図9のステップ601に進む。そして実行判断部41により、モーダル認証の認証結果が正当であるか否かが判定される。
 モーダル認証の認証結果が正当である場合には(ステップ601のYes)、実行判断部41により、ユーザ1の要求に応じた処理が実行される。モーダル認証の認証結果が正当でない、すなわち不当である場合には(ステップ601のNo)、実行判断部41により、ユーザ1の要求が拒否され処理の実行がキャンセルされる(ステップ602)。
 また警戒モード部42により警戒モードが選択され、エージェント2のユーザ認証のモードが警戒モードに遷移される(ステップ603)。警戒モードは、ユーザ1に対するモーダル認証の実行が規制されるモードである。モーダル認証の実行の規制は、モーダル認証の実行の禁止、及び所定の種類のモーダル認証の実行の禁止を含む。
 モーダル認証の結果が不当である場合には、成りすまし等の不正な状態が発生している可能性が高い。一方で、モーダル認証が間違っている可能性が全くない訳でもない。従って本実施形態では、警戒モードとして、信頼性が高いユーザ認証のみを有効とするモードが設定される。
 例えば警戒モードでは、生体情報を用いたモーダル認証は禁止とされ、例えばID及びパスワードの入力によるユーザ認証や、予め登録された秘密の質問の回答を入力してもらう方法によるユーザ認証等が実行される。もちろん他の認証方法も採用可能である。
 あるいは警戒モードでは、信頼性の低いモーダル認証が禁止され、信頼性の高いモーダル認証が実行される。信頼性の高いモーダル認証とは、指紋認証、及び網膜認証等のユーザ本人を信頼性高く特定できる特徴に基づいたモーダル認証である。
 例えば、ユーザのDNA、ユーザの掌形、ユーザの虹彩、ユーザの血管、ユーザの筆跡、及びユーザの歩行等の認証が、信頼性の高いモーダル認証として採用されてもよい。もちろん複数のモーダルを組み合わせたモーダル認証が実行されてもよい。
 警戒モードは、例えばエージェント2の管理者がパスワードの入力等の所定の手続きを実行するか、事前に設定した期間が経過した場合に解除される。この際、通知制御部60により、警戒モードに遷移したことがユーザ1に通知されてもよい。なお、警戒モードを解除する方法は限定されず、例えば、ユーザによる警戒モードを解除する旨の発話に応じて、警戒モードが解除されてもよい。
 なおユーザ1が認証のための特別な行動を行う必要がないモーダル認証は、信頼度が低くなる傾向がある。反対に、ユーザ1が認証のために特別な行動を行う必要があるモーダル認証は、信頼度が高くなる傾向がある。もちろん生体情報を取得するためのシステムを高精度に構築することで、ユーザ1が認証のための特別な行動を行う必要なく、信頼性の高いモーダル認証を実行することも可能である。
 いずれにせよ本発明者は、警戒モードに遷移する前の通常モードでは、ユーザビリティを重視して、ユーザ1が認証のための特別な行動を行う必要がないモーダル認証を積極的に採用する。警戒モードでは信頼性を重視して、モーダル認証の禁止、あるいは信頼性の高いモーダル認証のみを採用する。このような新たな発想により、高いユーザビリティの発揮と、安全性の向上とが実現されている。
 モーダル認証の信頼度が信頼度閾値よりも小さい場合には(ステップ402のNo)、実行判断部41により、タイムアウト時間の経過する前にモーダル認証の信頼度が信頼度閾値より大きくなる可能性があるか否かが判定される(ステップ403)。すなわち、タイムアウトとなる前に、信頼度が信頼度閾値を超える見込みがあるか否か判定される。本ステップを実行するための方法例として、図13を参照して後に説明する。
 ステップ403の判定の結果が肯定である場合には(ステップ403のYes)、実行判断部41により、ユーザ1の要求に応じた処理の実行の保留が継続される(ステップ404)。このことは、トラッキングによるモーダル認証を継続させ、信頼度が蓄積することを待機することにも相当する。
 ステップ403の判定の結果が否定である場合には(ステップ403のNo)、中間処理部43により、モーダル認証の信頼度を高めるための中間処理が実行される。中間処理としては、例えば、モーダル認証の信頼度を高めるための行動をユーザに要求することを含む種々の処理が挙げられる。
 図8に示すように本実施形態では、まず中間処理部43により、適用可能な中間処理があるか否かが判定される(ステップ501)。例えばユーザの要求の種類や、必要なモーダルの種類、ユーザの状況、周りの状況等に基づいて、適用可能な中間処理があるか否かが判定される。
 適用可能な中間処理がない場合には(ステップ501のNo)、実行判断部41により、ユーザ1に対するモーダル認証の実行が規制される(ステップ506)。すなわち警戒モードと同様に、信頼性を重視して、モーダル認証が禁止される、あるいは信頼性の高いモーダル認証のみが実行される。警戒モードと同じ認証方法が採用されてもよいし、警戒モードとは異なる認証方法が採用されてもよい。
 いわゆる、通常よく行われる認証方法(ID及びパスワードの入力等)を採用することで、ユーザにとって慣れている方法でのユーザ認証となり、ユーザビリティの低下を抑えることが可能である。
 適用可能な中間処理がある場合には(ステップ501のYes)、中間処理部43により、ユーザの負担が最小のものが実行される(ステップ502)。このように本実施形態では、モーダル認証の信頼度を高めるためにユーザに要求される行動を行う際の、ユーザの負担度に基づいて、中間処理が適宜選択される。これによりユーザビリティを高く維持することが可能となる。
 中間処理が実行されると、ユーザ1の要求に応じた処理の実行の保留が継続される(ステップ503)。そしてモーダル認証の信頼度が信頼度閾値よりも大きいか否かが判定される(ステップ504)。モーダル認証の信頼度が信頼度閾値よりも大きい場合には(ステップ504のYes)、図9のステップ601に進む。
 モーダル認証の信頼度が信頼度閾値よりも小さい場合には(ステップ504のNo)、タイムアウト時間の経過する前にモーダル認証の信頼度が信頼度閾値より大きくなる可能性があるか否かが判定される(ステップ505)。ステップ505の判定の結果が肯定である場合には(ステップ505のYes)、ステップ503に戻る。
 ステップ505の判定の結果が否定である場合には(ステップ505のNo)、ユーザ1に対するモーダル認証の実行が規制される(ステップ506)。
 なお図7~図9に示すフローでは、タイムアウト時間の経過する前にモーダル認証の信頼度が信頼度閾値より大きくなる可能性が判定され、当該可能性がない場合には、モーダル認証の実行が規制された。これにより、ユーザはタイムアウト時間までのモーダル認証の信頼度が蓄積される待機時間を減らすことにより、高いユーザビリティを発揮することが可能となる。
 なお、モーダル認証の信頼度が信頼度閾値より大きくなる可能性を判定するステップが行われない方法もあり得る。この場合、モーダル認証の信頼度が信頼度閾値より大きくなる前にタイムアウト時間が経過すると、ユーザに対するモーダル認証の実行が規制される。また中間処理が実行されない方法もあり得る。この場合、タイムアウト時間の経過する前にモーダル認証の信頼度が信頼度閾値より大きくなる可能性がない場合に、ユーザに対するモーダル認証の実行が規制される。
 図10及び図11は、ユーザの依頼内容(要求の種類)に応じた即時性と信頼性とを決定する一例を示す図である。図12は、即時性及び信頼性と、タイムアウト時間及び信頼度閾値との関係を含むテーブル情報の一例である。
 図7に示すように、要求受付部50により、ユーザ1の要求が受付けられると、信頼度閾値設定部31及びタイムアウト時間設定部32により、信頼度閾値及びタイムアウト時間が設定される(ステップ401)。以下、このステップ401の処理の具体例を図10~図12を参照して説明する。
 本実施形態では、図10および図11に示す依頼内容分類部33により、ユーザ1の要求が、「動作カテゴリ」、「対象物」、及び「時間軸」に基づいて分類される。具体的には、ユーザ1の要求の種類に応じて、「動作カテゴリ」、「対象物」、及び「時間軸」の各々に関するメタ情報が設定される。
 「動作カテゴリ」は、ユーザ1により要求されている動作であり、例えば購入、状態変更、コンテンツ再生、送信(send)、受信(Receive)、接続(connect)、受付(accept)、登録、問い合わせ等のメタ情報が設定される。
 「対象物」は、要求された動作の対象物であり、例えば安価なもの、高価なもの、年齢制限があるもの、鍵、照明、ライフライン、写真、音楽、つぶやき、文章、警察(通報先)、スケジュール、天気予報等のメタ情報が設定される。
 「時間軸」は、要求された動作を行う時間(タイミング)であり、例えば現在、将来、緊急等のメタ情報が設定される。もちろん「動作カテゴリ」、「対象物」、及び「時間軸」に関するメタ情報が、上記したものや図10及び図11に示されたものに限定される訳ではない。またユーザ1の要求を分類するためのパラメータも限定されず、例えば「動作カテゴリ」、「対象物」、及び「時間軸」とは異なるパラメータが採用されてもよい。
 依頼内容分類部33は、ユーザ1の要求の種類に応じて設定された「動作カテゴリ」「対象物」「時間軸」に関するメタ情報に基づいて、即時性及び信頼性を設定する。この設定方法は限定されず、任意のアルゴリズムが用いられてよい。
 図7に示すステップ401において、信頼度閾値設定部31及びタイムアウト時間設定部32は、ユーザ1の要求の種類に応じて設定された即時性及び信頼性に基づき、図12A及びBに示すテーブル情報を参照して、信頼度閾値及びタイムアウト時間を設定する。本実施形態では、依頼内容分類部33は、設定部の一部として機能する。なお図12A及びBに示すテーブル情報を一例であり、即時性に対するタイムアウト時間の具体的な値や、信頼性に対する信頼度閾値の具体的な値等は、任意に設定されてよい。
 以下、図10及び図11を参照して、ユーザ1の要求の分類(メタ情報の設定)、即時性及び信頼性の設定の具体例について説明する。
 信頼性の設定について、例えばユーザ1が高価な物の購買、ユーザ1の家の鍵の開錠、及びユーザ1のスケジュールの確認等をエージェント2に依頼した場合、ユーザ1本人である必要性が高いため、信頼性は「大」に設定される。この結果、信頼度閾値は99%に設定される。
 ユーザ1の要求した内容が部屋の温度を上げることのようにユーザ1本人でなくともよい場合、信頼性は「小」に設定される。この結果、信頼度閾値は10%に設定される。
 即時性の設定について、例えばユーザ1が品薄の商品の購買、電話を受ける等を依頼した場合、急を要するため即時性は「大」に設定される。この結果、タイムアウト時間は数秒に設定される。
 ユーザ1の要求した内容がスケジュールの設定等、今すぐに処理を実行する必要がない場合、即時性は「小」に設定される。この結果、タイムアウト時間は10分に設定される。
 調理中の火を止める、及び警察や救急車を呼ぶ等の緊急の場合は、信頼性は「小」、即時性は「緊急」とされ、信頼度閾値は10%、タイムアウト時間は0秒に設定される。なお緊急のときには、信頼性「ゼロ」及び信頼度閾値0%に設定され、誰であるかを認証することなく、要求が実行されてもよい。
 このように、ユーザ1の要求の内容に対して信頼性と即時性とを求め、信頼度閾値とタイムアウト時間とを設定することにより、エージェント2はユーザ1のユーザビリティ、及び安全性を損なわずにユーザ1の要求に応えることが可能となる。
 図10を参照して、安価な物の購入に対しては、「購入」「安価な物」「現在」のメタ情報が設定され、それに対応して信頼性は購入物の内容に合わせて「小~中」、即時性は「小」に設定される。この結果、信頼度閾値は10~80%に設定され、タイムアウト時間は10分に設定される。
 高価な物の購入に対しては、「購入」「高価な物」「現在」のメタ情報が設定され、それに対応して信頼性は「大」、即時性は「小」に設定される。この結果、信頼度閾値は99%に設定され、タイムアウト時間は10分に設定される。
 明日必要になる物の購入に対しては、「購入」「物」「将来」のメタ情報が設定され、それに対応して信頼性は購入物の内容に合わせて設定され、即時性は「小」に設定される。この結果、信頼度閾値は購入物の内容に合わせて設定され、タイムアウト時間は10分に設定される。
 年齢制限のあるものの購入に対しては、「購入」「年齢制限があるもの」「現在/将来」のメタ情報が設定され、それに対応して信頼性は「大」、即時性は「小」に設定される。この結果、信頼度閾値は99%に設定され、タイムアウト時間は10分に設定される。
 品薄な物の購入に対しては、「購入」物」「緊急」のメタ情報が設定され、それに対応して信頼性は購入物の内容に合わせて設定され、即時性は「大」に設定される。この結果、信頼度閾値は購入物の内容に合わせて設定され、タイムアウト時間は0秒に設定される。
 家の鍵を開けることに対しては、「状態変更」「屋外の鍵」「現在」のメタ情報が設定され、それに対応して信頼性は「大」、即時性は「大」に設定される。この結果、信頼度閾値は99%に設定され、タイムアウト時間は数秒に設定される。
 部屋の鍵を開けることに対しては、「状態変更」「屋内の鍵」「現在」のメタ情報が設定され、それに対応して信頼性は「大」、即時性は「中」に設定される。この結果、信頼度閾値は99%に設定され、タイムアウト時間は30秒に設定される。
 照明又は空調を変更することに対しては、「状態変更」「照明、空調」「現在」のメタ情報が設定され、それに対応して信頼性は「小」、即時性は「中」に設定される。この結果、信頼度閾値は10%に設定され、タイムアウト時間は30秒に設定される。
 火を止める等の緊急の依頼に対しては、「動作停止」「ライフライン」「緊急」のメタ情報が設定され、それに対応して信頼性は「小」、即時性は「緊急」に設定される。この結果、信頼度閾値は10%に設定され、タイムアウト時間を0秒に設定される。
 プロの音楽、動画、及び写真を再生することに対しては、「コンテンツ再生」「プロの音楽/動画/写真」「現在」のメタ情報が設定され、それに対応して信頼性は「小」、即時性は「中」に設定される。この結果、信頼度閾値は10%に設定され、タイムアウト時間は30秒に設定される。
 プライベートの音楽、動画、及び写真を再生することに対しては、「コンテンツ再生」「プライベートの音楽/動画/写真」「現在」のメタ情報が設定され、それに対応して信頼性は「中」、即時性は「中」に設定される。この結果、信頼度閾値は80%に設定され、タイムアウト時間は30秒に設定される。
 録音/録画メッセージを送ることに対しては、「send」「音声/画像」「現在」のメタ情報が設定され、それに対応して信頼性は「小」、即時性は「中」に設定される。この結果、信頼度閾値は10%に設定され、タイムアウト時間は30秒に設定される。
 メール/手書きメッセージを送ることに対しては、「send」「文書」現在」のメタ情報が設定され、それに対応して信頼性は「大」、即時性は「中」に設定される。この結果、信頼度閾値は99%に設定され、タイムアウト時間は30秒に設定される。
 SNSへ投稿することに対しては、「send」「つぶやき」「現在」のメタ情報が設定され、それに対応して信頼性は「大」、即時性は「中」に設定される。この結果、信頼度閾値は99%に設定され、タイムアウト時間は30秒に設定される。
 録音/録画メッセージを受けることに対しては、「Receive」「音声/画像」「現在」のメタ情報が設定され、それに対応して信頼性は内容に合わせて「中~大」、即時性は内容に合わせて「小~大」に設定される。この結果、信頼度閾値は内容に合わせて80~99%に設定され、タイムアウト時間は内容に合わせて数秒~10分に設定される。
 メール/手書きメッセージを受けることに対しては、「Receive」「文書」「現在」のメタ情報が設定され、それに対応して信頼性は内容に合わせて「中~大」、即時性は内容に合わせて「小~大」は設定される。この結果、信頼度閾値は内容に合わせて80~99%に設定され、タイムアウト時間は内容に合わせて数秒~10分に設定される。
 図11を参照して、警察や救急車等を呼ぶことに対しては、「connect」「警察、救急、消防」「緊急」のメタ情報が設定され、それに対応して信頼性は「小」、即時性は「緊急」に設定される。この結果、信頼度閾値を10%に設定され、タイムアウト時間は0秒に設定される。
 誰かに電話をかけることに対しては、「connect」「ライブ音声/画像」「現在」のメタ情報が設定され、それに対応して信頼性は「小」、即時性は「中」に設定される。この結果、信頼度閾値は10%に設定され、タイムアウト時間は30秒に設定される。
 電話を受けることに対しては、「accept」「ライブ音声/画像」「現在」のメタ情報が設定され、それに対応して信頼性は「中」、即時性は「大」に設定される。この結果、信頼度閾値は80%に設定され、タイムアウト時間は数秒に設定される。
 モーニングコールの設定に対しては、「登録」「モーニングコール」「将来」のメタ情報が設定され、それに対応して信頼性は「中」、即時性は「小」に設定される。この結果、信頼度閾値は80%に設定され、タイムアウト時間は10分に設定される。
 スケジュールの設定に対しては、「登録」「スケジュール」「現在」のメタ情報が設定され、それに対応して信頼性は「中」、即時性は「小」に設定される。この結果、信頼度閾値は80%に設定され、タイムアウト時間は10分に設定される。
 スケジュールの確認に対しては、「問い合わせ」「スケジュール」「現在」のメタ情報が設定され、それに対応して信頼性は「大」、即時性は「中」に設定される。この結果、信頼度閾値は99%に設定され、タイムアウト時間は30秒に設定される。
 天気の確認に対しては、「問い合わせ」「天気予報」「現在」のメタ情報が設定され、それに対応して信頼性は「小」、即時性は「中」に設定される。この結果、信頼度閾値は10%に設定され、タイムアウト時間は30秒に設定される。
 エキスパートエージェントに相談することに対しては、「問い合わせ」「知識」「現在」のメタ情報が設定され、それに対応して信頼性は相談先に合わせて「小~中」、即時性は「中」に設定される。この結果、信頼度閾値は相談先に合わせて10~80%に設定され、タイムアウト時間は30秒に設定される。
 ここで、エキスパートエージェントとは、旅行の相談等の特定の分野に特化したエージェントのことを指す。エキスパートエージェントにインターネット等を介して相談をする。
 パスワード等のユーザ1本人の秘密の情報を聞くことに対しては、「問い合わせ」「個人の秘密情報」「現在」のメタ情報が設定され、それに対応して信頼性は「大」、即時性は「中」に設定される。この結果、信頼度閾値は99%に設定され、タイムアウト時間は30秒に設定される。
 このように本実施形態では、ルールベースにて、ユーザ1の要求の種類に応じた信頼度閾値及びタイムアウト時間が設定される。これに限定されず、機械学習をベースにして、信頼度閾値及びタイムアウト時間が設定されておよい。例えばユーザ1の要求に関するメタ情報を入力として、機械学習により、信頼度閾値及びタイムアウト時間が出力されてもよい。その他、任意の方法が採用されてよい。
 図13は、タイムアウト時間までにユーザのモーダル認証の信頼度が大きくなる可能性を判断する処理例を示すフローチャートである。すなわち図7のステップ403や図8のステップ505にて、実行判断部41により実行される処理の一例である。
 図13の右上に示すグラフは、モーダル認証の信頼度が蓄積する様子を模式的に示すグラフである。グラフ内の点線は信頼度の実際の変動であり、実線は信頼度を平滑化したものである。以下に説明するように、本実施形態では、信頼度を平滑化することで、タイムアウト時間の経過する前に、モーダル認証の信頼度が信頼度閾値より大きくなる可能性があるか否かが判定される。
 トラッキングを開始してからの経過時間が一定以下か否かが判定される(ステップ701)。経過時間が一定以下である場合(ステップ701のYes)、またタイムアウト時間が経過するまで時間があるので、タイムアウト時間の経過する前に、モーダル認証の信頼度が大きくなる可能性があると判定される(ステップ702)。
 経過時間が一定を越えている場合(ステップ701のNo)、(現時点のユーザ1のモーダル認証の信頼度)+(平滑化したユーザ1のモーダル認証の信頼度の傾き)×(タイムアウト時間までの残り時間)を加えた値が信頼度閾値よりも大きくなるか否かがが判定される
 ステップ703の判定の結果が肯定である場合は(ステップ703のYes)、タイムアウト時間の経過する前に、モーダル認証の信頼度が大きくなる可能性があると判定される(ステップ702)。
 ステップ703の判定の結果が否定である場合は(ステップ703のNo)、タイムアウト時間の経過する前に、モーダル認証の信頼度が大きくなる可能性がないと判定される(ステップ704)。
 ユーザ1のモーダル認証の信頼度を平滑化する理由は、トラッキングによって得ているユーザ1のモーダル認証はユーザ1の顔が向いている方向等によって同じ顔のモーダル認証であっても信頼度が変動するためである。これにより、ユーザの様々な状態であっても、ユーザ認証の精度を高め、安全性を向上することが可能となる。
 平滑化することにより、ユーザ1のモーダル認証の信頼度は毎秒何%上がるという傾きが得られる。この傾きの度合いによって、タイムアウト時間までにユーザ1のモーダル認証の信頼度が信頼度閾値より大きくなるか否かが判定される。
 例えば、現時点でのユーザ1のモーダル認証の信頼度が10%として、平滑化したユーザ1のモーダル認証の信頼度の傾きが毎秒8%上がるとする。この場合タイムアウト時間が10秒とすると、タイムアウト時間までにユーザ1のモーダル認証の信頼度は90%に上がる可能性があるとみなされる。
 この時、信頼度閾値設定部31が設定した信頼度閾値が80%とすると、ユーザ1はタイムアウト時間までにユーザ1のモーダル認証の信頼度が信頼度閾値より大きくなる可能性があると判定され、認証が継続される。
 また、平滑化したユーザ1のモーダル認証の信頼度の傾きが毎秒5%上がるとすると、タイムアウト時間までにユーザ1のモーダル認証の信頼度は60%である。この場合、実行判断部41は、タイムアウト時間までにユーザ1のモーダル認証の信頼度が信頼度閾値より大きくなる可能性がないと判定する。
 現時点でのユーザ1のモーダル認証の信頼度が低く、平滑化したユーザ1のモーダル認証の信頼度の傾きが小さい時、タイムアウト時間までにユーザ1のモーダル認証の信頼度が信頼度閾値を超えないと判定された場合、実行判断部41はタイムアウト時間まで待たずに、次のステップに進むことができる。これにより、ユーザの待機時間を減らすことができ、高いユーザビリティが発揮される。
 なお、図13に示すように平滑化したユーザ1のモーダル認証の信頼度が一次関数で表記されているが、これに限定されず、2次関数等の傾きでユーザのモーダル認証の認証信頼度が上昇してもよい。なお、信頼度を平滑化することで、タイムアウト時間の経過する前に、モーダル認証の信頼度が信頼度閾値より大きくなる可能性があるか否かを判定するために、他の任意の方法が用いられてもよい。
 図14は、中間処理の具体例を示す表である。中間処理部43はステップ501の判定の結果が肯定である場合(ステップ501のYes)、ステップ502であるユーザ1に適用可能な中間処理の内、ユーザ1の負担感(負担度)が最小のものを選択する。以下、中間処理部43による中間処理の選択例を具体的に説明する。
 図14の表では、中間処理ごとの特性を示す評価パラメータが記載されている。本実施形態では、評価パラメータとして、「取得できるモーダル」「即時性が高い場合に使える方法か?」「傍受されても構わない方法か?」「加齢の影響の対処に使える方法か?」及び「ユーザの負担感」が設定されている。
 取得できるモーダルとは、実行される中間処理によって得られるモーダルである。例えば、ユーザ1のモーダル認証の信頼度を高めるために必要なモーダルが特定されている場合には、この評価パラメータが参照されて、適切な中間処理が選択される。
 即時性が高い場合に使える方法とは、ユーザ1の要求に基づいて設定されたタイムアウト時間が短い場合(あるいは残り少ない場合)でも、ユーザ1のモーダル認証の信頼度を高めることができる中間処理である。
 傍受されても構わない方法とは、実行される中間処理によるエージェント2とユーザ1とのやり取りが他者に見られていても、ユーザ1の個人情報が漏れない中間処理である。
 加齢の影響の対処に使える方法とは、エージェント2がユーザ1を認証してから月日が経っている場合等において、ユーザ1の加齢に対して影響の少ない方法により実行される中間処理である。
 図14を参照して、顔画像情報の取得への協力を求める中間処理は、「顔」が取得できるモーダルとなる。またすぐに顔を向かせることができるので即時性が高く、特に個人情報が漏れる訳ではないので傍受されても構わない方法となる。一方で、顔は加齢の影響を受けるので、加齢の影響の対処には使えない。ユーザの負担感は、顔を向けさせるということで、中となる。
 音声情報の取得への協力を求める中間処理は、「声」が取得できるモーダルとなる。またすぐに発話させることができるので即時性が高く、発話させる内容を適宜選択することで傍受されても構わない方法として使用可能である。一方で、声は加齢の影響を受けるので、加齢の影響の対処には使えない。ユーザの負担感は、中となる。
 音声情報と、本人確認を補強する情報取得への協力を求める中間処理は、「音声、知識」が取得できるモーダルとなる。またすぐに発話させることができるので即時性が高い方法として使用可能である。加齢の影響の対処については、声自体は加齢の影響を受けるが、知識自体は加齢の影響をほぼ受けないので、発話させる内容を適宜選択することである程度は対処可能である。一方で、知識は他人がいると傍受されるので、傍受されては構わない方法には使えない。ユーザの負担感は、中となる。
 ID/パスワードよりも負担の少ない認証方法への協力を求める中間処理は、ここでは指紋認証が想定されており、指紋」が取得できるモーダルとなる。またすぐに指紋認証装置に触れることができるので即時性が高く、加齢の影響に影響しない方法として使用可能である。ユーザの負担感は、中となる。なお指紋認証以外の方法もあり得る。
 あまり害のなさそうな働きかけをして、顔画像情報取得への協力を求める中間処理は、「顔」が取得できるモーダルとなる。また顔は他人に見られても構わないので傍受されても構わない方法として使用可能である。一方で、顔は加齢の影響を受けるので、加齢の影響の対処には使えない。また、顔の認識に時間がかかる可能性があるため、即時性が高い場合は使えない。ユーザの負担感は、小となる。
 あまり害のなさそうな働きかけをして、音声情報取得への協力を求める中間処理は、「声」が取得できるモーダルとなる。また他人に聞かれても構わない内容を適宜選択することで傍受されても構わない方法として使用可能である。一方で、声は加齢の影響を受けるので、加齢の影響の対処には使えない。また、声の認識に時間がかかる可能性があるため、即時性が高い場合は使えない。ユーザの負担感は、小となる。
 認証に都合が良いようにユーザの行動を支配する中間処理は、「顔」が取得できるモーダルとなる。また顔は他人に見られても構わないので傍受されても構わない方法として使用可能である。一方で、顔は加齢の影響を受けるので、加齢の影響の対処には使えない。また、認証に都合の良いイベントがたまたま発生するのを待たなくてはならない可能性があり、即時性が高い場合は使えない。ユーザの負担感は、極小となる。
 以上の分類された中間処理の内、中間処理部43が適用可能且つユーザの負担感が最小のものを実施する例を示す。
 第1の例として、ユーザ1がエージェント2に対して声で「高価な物」を買うことを要求したとする。エージェント2は、ユーザ1の音声は聞こえたが、ユーザ1の顔の向きが悪いためにモーダル認証の信頼度が低く、タイムアウト時間までにユーザ1のモーダル認証の信頼度が信頼度閾値を超える可能性がないと判定し、中間処理を実行する。
 エージェント2はユーザ1の依頼内容が「購買」「高価な物」に該当するので即時性は低いと判定する。またエージェント2はユーザ1の顔情報をさらに取得することで、ユーザ1のモーダル認証の信頼度が向上すると判定する。これらの判定から、エージェント2は図14の「認証に都合が良いようにユーザの行動を支配する」を選択することが可能であるが、ここでは「認証に都合が良いようにユーザの行動を支配する」ことが難しいとする。この場合、エージェント2は「あまり害のなさそうな働きかけをして、顔画像情報を取得する」を選択する。
 上記に基づいて、エージェント2はユーザ1の顔を認識するのに都合の良い方向に写真を表示する。ユーザ1が表示された写真を見ることで、ユーザ1は認証のための特別な行動を意識せずに、つまり負担感が小さい認証によってユーザ1のモーダル認証の信頼度を高めることができる。
 第2の例としては、エージェント2が電話を受けたことを検知した際に、部屋にいる人物を特定できていない状況である。この時、タイムアウト時間までに人物のモーダル認証の信頼度が信頼度閾値を超える可能性がないと判定し、中間処理を実行する。
 この場合、図11の「電話を受ける」に該当するのでエージェント2は即時性が高いと判定する。またエージェント2はユーザ1の顔情報をさらに取得することで、ユーザ1のモーダル認証の信頼度が向上すると判定する。この時、指紋認証装置等のユーザ1を特定する手段がない場合、テレビ画面にカメラが付いているとすると、顔画像を取得することが最適と判定する。
 以上より、エージェント2は図14の「顔画像情報取得への協力を求める」を選択する。上記に基づいて、エージェント2はユーザの顔を認識するのに都合の良い方向に人物が向くように指示を出す。人物が指定された方を見ることで、ユーザ1のモーダル認証の信頼度を高めることができる。
 第2の例の場合、人物がユーザ1に成りすました時、エージェント2の出した指示により、認証結果が確かではないことを教えることになる。しかし、即時性が高いことによりタイムアウト時間が短いので、ユーザ1への成りすましを修正する時間が足りないことにより、安全性は向上される。
 なお、中間処理の内容、適用可能な中間処理を選択する方法、及び評価パラメータの設定方法等はこれに限定されず、任意に設定されてよい。図14に示されている取得できるモーダル、即時性が高い場合に使える方法、傍受されても構わない方法、加齢の影響の対処に使える方法、及びユーザの負担感以外の任意のアルゴリズムが採用されてもよい。また、ユーザ1の依頼内容や傾向に合わせてエージェント2がディープラーニング等の機械学習を用いて、適宜変更してもよい。
 以上、本実施形態に係る情報処理装置100では、ユーザ1に対して実行されるモーダル認証の信頼度が取得され、またユーザ1の要求に基づいて信頼度閾値が設定される。そして、モーダル認証の信頼度が信頼度閾値より大きくなるまで、ユーザ1の要求に応じた処理の実行が保留される。これにより、高いユーザビリティを発揮させつつ、安全性を向上させることが可能となる。
 例えばモーダル認証の信頼度が信頼度閾値よりも小さい場合に、いきなりID/パスワード入力等の通常よく行われる認証をユーザに求めるのではなく、ユーザのモーダル認証の信頼度が十分に蓄積するまで処理が保留される。これによりユーザにとって認証のための特別な負担であるユーザ認証を強いる頻度を減らし、高いユーザビリティを発揮することが可能となる。
 また、モーダル認証の信頼度が信頼度閾値よりも小さい場合に、ID/パスワード入力等のユーザ認証を求めると、成りすましを試みた人物に対して信頼度が不足しているというヒントを与えることもあり得る。本実施形態では、要求に対する処理を保留していることをUI等で表示しないことで、成りすましを試みた人物がユーザ本人のクセを真似する等の成りすましを行うことを防ぎ、モーダル認証を継続する時間を稼ぐことができる。これにより、安全性を向上させることができる。
 本実施形態では、モーダル認証の認証結果がユーザ本人ではなかった場合、不特定の人物が成りすましを試みた可能性を考慮し、警戒モード部42により警戒モードが選択される。これにより、網膜認証等の信頼性の高いモーダル認証及びパスワ-ド入力等の所定の手続き以外を規制するため、安全性を向上することが可能となる。
 <その他の実施形態>
 本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
 図15は、エージェント2の行う処理を継続させるための処理の例を示すフローチャートである。このフローチャートはユーザ1からの依頼を保留している時に、エージェント2が認証の継続ができなくなった場合、又は保留している依頼と新たに依頼された内容が干渉することを想定している。
 図15の「keep-aliveを更新する」とは、エージェント2がユーザ1からの依頼を保留中に、停電等の理由でエージェント2が動作継続できなくなった場合の対策である。
 keep-aliveとは、エージェント2が現在時刻等の現在の状況を、クラウドサービス等のサーバ機器に定期的に通知することである。これにより、ユーザ1からの依頼を保留中にエージェント2からのkeep-aliveが途絶えた場合、サーバ機器はエージェント2が動作継続できなくなったと判定し、ユーザ1に対する認証を行ってエージェント2の処理を引き継ぐことが可能となる。
 認証を継続している際に、ユーザ1の外出する動作をエージェント2が検知した場合、エージェント2は外出に対する対策を行う(ステップ801のYes)。
 外出に対する対策とは、エージェント2がユーザ1からの依頼を保留している間に、ユーザ1がトラッキング可能な範囲から出ていきトラッキングの継続が困難になる場合を想定した対策である。
 例えば、ユーザ1が部屋もしくは家から退出しようとしている素振りをエージェント2が検出した場合、ユーザ1が退出する前にユーザ1を呼び止めて、ID/パスワード入力等の信頼性の高いユーザ認証を行い、図9のフローチャートに移行する。
 外出ではなく(ステップ801のNo)、ユーザ1が寝るような動作をエージェント2が検知した場合、エージェント2は寝てしまうことに対する対策を行う(ステップ802のYes)。
 寝てしまうことに対する対策とは、ユーザ1が就寝することによりエージェント2は声等のユーザ1のモーダル認証を得ることができず、ユーザ1のモーダル認証の認証結果の信頼度の向上が困難になる場合を想定した対策である。
 例えば、ユーザ1が就寝する兆候をエージェント2が検出した場合、エージェントはユーザが就寝する前にユーザ1を呼び止めて、ID/パスワード入力等の信頼性の高いユーザ認証を求め、図9のフローチャートに移行する。
 寝るような動作ではなく(ステップ802のNo)、保留中の「登録」処理に対する問い合わせをエージェント2が受けた場合、エージェント2は保留中の「登録」に対する対策を行う(ステップ803のYes)。
 保留中の「登録」に対する対策とは、エージェント2がユーザ1からの要求が動作カテゴリの「登録」である処理を保留している間に、その「登録」に関する問い合わせをユーザがエージェントに行った場合を想定した対策である。
 例えば、ユーザ1の明日のスケジュールを登録する要求をエージェント2が保留していた場合に、ユーザ1がエージェント2に明日のスケジュールを確認することを要求したとする。このような場合は、保留中のスケジュールの登録を、登録されているものとして返答をする。エージェントは返答をした上で、ユーザ1にID/パスワード入力等の信頼性の高いユーザ認証を求め、図9のフローチャートに移行する。
 問い合わせではなく(ステップ803のNo)、保留中の処理と競合する処理の依頼をエージェント2が受けた場合、エージェント2は競合する処理の依頼に対する対策を行う(ステップ804のYes)。
 競合する処理の依頼に対する対策とは、エージェント2がユーザ1からの依頼を保留している間に、保留中の要求と競合もしくは矛盾する要求を新たに依頼された場合を想定した対策である。
 エージェント2が保留中の依頼と重複する依頼を受けた場合、後から受けた依頼を拒否する。例えば、ユーザ1が部屋の温度を下げることをエージェント2に依頼し、その要求の処理をエージェント2が保留している間に、ユーザ1が再び部屋の温度を下げる依頼をした場合が挙げられる。
 エージェント2が保留中の依頼と両立しにくい依頼を受けた場合は、どちらの要求を処理するかをユーザ1に問い合わせる。この際にユーザ1のモーダル認証の認証結果の信頼度が信頼度閾値を超えている場合は図9のフローチャートに移行をする。ユーザ1のモーダル認証の認証結果の信頼度が信頼度閾値を超えない場合は、ID/パスワ-ド入力等の信頼性の高いユーザ認証を行い、図9のフローチャートに移行をする。
 例えば、ユーザ1が動画の再生をエージェントに依頼をし、エージェント2が処理を保留している間に、ユーザ1が音楽の再生を依頼したとする。この場合、音声出力のあるコンテンツを複数同時に再生することになり、音が混ざるためエージェント2はどちらの依頼を実行するかユーザ1に問い合わせる。
 競合する処理の依頼ではなく(ステップ804のNo)、保留中の要求の処理の後続となる処理の依頼をエージェント2が受けた場合、エージェント2は後続の処理の依頼に対する対策を行う(ステップの805のYes)。
 後続の処理の依頼に対する対策とは、エージェント2がユーザ1からの依頼を保留している間に、保留されている依頼と前後関係のある依頼を受けた場合を想定した対策である。
 例えば、ユーザ1がメッセージの送信をエージェント2に依頼した場合、エージェント2が処理を保留している間に、ユーザ1が同じ相手へメッセージの送信をエージェント2に依頼したとする。ユーザ1は先に送信したメッセージを相手が見ている前提で後のメッセージを送信した可能性があるので、エージェント2は両方の依頼の処理を保留した上で、図9のフローチャートに移行をした際にそれらの要求を依頼された順番通りに処理を行う。
 この場合の図7、及び図8のタイムアウト時間は、両方の要求に設定されたタイムアウト時間のうち、タイムアウト時間の残り時間が短い方とする。
 上記のエージェント2がユーザ1の認証が困難になるケースが無い場合(ステップ805のNo)、エージェント2はユーザ1の認証を継続させる。
 本実施形態において図15に示すステップ801及び802の処理は、モーダル認証の実行が中断される可能性を判定することに相当する。また各ステップのYesは、モーダル認証の実行が中断される可能性がある場合に相当する。また「外出に対する対策」「寝てしまうことに対する対策」はモーダル認証の実行の中断を防止するための処理に相当する。
 また図15に示すステップ803~805のYesは、処理の実行を保留しているユーザの要求に関連したユーザの他の要求を受付けた場合に相当する。また「保留中の「登録」に対する対策」「競合する処理の依頼に対する対策」「後続の処理の依頼に対する対策」は処理の実行を保留しているユーザの要求とユーザの他の要求との関係に応じた処理に相当する。
 このような処理を実行することで、ユーザからの処理を保留している間にエージェント2がユーザを認証継続できなくなった場合に、保留中の処理が放棄されることを防ぐことができ、高いユーザビリティを発揮することが可能となる。
 なお、図15のフローチャートの順番と内容とはこれに限定されない。ユーザ1のトラッキングによる認証が困難になり得る状況に対応する任意の対策を行ってもよい。ユーザ1の保留している依頼と新たに要求した依頼に対しても任意の対策を行ってもよい。
 上記では、図1にエージェント2とカメラ3とマイク4とスピーカ5とテレビ6とが図示されている。これに限定されず、例えば、エージェント2にカメラ3、マイク4、スピーカ5、及びテレビ6等の画像を表示できる構成のいずれか1つが備えられてもよい。またカメラ3、マイク4、スピーカ5、及びテレビ6内のいずれか1つにエージェント2が構成されてもよい。
 また上記では、エージェントと、モーダル認証装置とが別個に構成され、ユーザへのトラッキング(モーダル認証)と、ユーザ認証とが別個に実行された。これに限定されず、エージェントと、モーダル認証装置とが一体的に構成され、本技術に係る情報処理装置として実現されてもよい。
 また、上記ではエージェント等のコンピュータにより、本技術に係る情報処理方法が実行される場合を説明した。しかしながらユーザが操作可能なコンピュータとネットワーク等を介して通信可能な他のコンピュータとにより、本技術に係る情報処理方法、及びプログラムが実行されてもよい。またユーザが操作可能なコンピュータと、他のコンピュータとが連動して、本技術に係る情報処理システムが構築されてもよい。
 すなわち本技術に係る情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお本開示において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれもシステムである。
 コンピュータシステムによる本技術に係る情報処理方法、及びプログラムの実行は、例えばモーダル認証の信頼度の取得、信頼度閾値の設定、処理の実行の保留等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。
 すなわち本技術に係る情報処理方法及びプログラムは、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
 以上説明した本技術に係る特徴部分のうち、少なくとも2つの特徴部分を組み合わせる
ことも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別
なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示で
あって限定されるものではなく、また他の効果が発揮されてもよい。
 なお、本技術は以下のような構成も採ることができる。
(1)ユーザに対して実行されるモーダル認証の信頼度を取得する取得部と、
 前記ユーザの要求に基づいて信頼度閾値を設定する設定部と、
 前記取得されたモーダル認証の信頼度が、前記設定された信頼度閾値より大きくなるまで、前記ユーザの要求に応じた処理の実行を保留する処理実行部と
 を具備する情報処理装置。
(2)(1)に記載の情報処理装置であって、
 前記設定部は、前記ユーザの要求の種類に基づいて、前記信頼度閾値を設定する
 情報処理装置。
(3)(1)又は(2)に記載の情報処理装置であって、
 前記処理実行部は、前記取得されたモーダル認証の信頼度が前記設定された信頼度閾値より大きくなった場合、前記モーダル認証の認証結果に基づく処理を実行する
 情報処理装置。
(4)(3)に記載の情報処理装置であって、
 前記処理実行部は、前記モーダル認証の認証結果が正当である場合に、前記ユーザの要求に応じた処理を実行する
 情報処理装置。
(5)(3)又は(4)に記載の情報処理装置であって、
 前記処理実行部は、前記モーダル認証の認証結果が不当である場合に、前記ユーザの要求を拒否する
 情報処理装置。
(6)(3)から(5)のうちいずれか1つに記載の情報処理装置であって、
 前記処理実行部は、前記モーダル認証の認証結果が不当である場合に、警戒モードを選択する
 情報処理装置。
(7)(6)に記載の情報処理装置であって、
 前記警戒モードは、前記ユーザに対するモーダル認証の実行が規制されるモードである
 情報処理装置
(8)(6)又は(7)に記載の情報処理装置であって、
 前記警戒モードは、前記ユーザに対するモーダル認証の実行が禁止されるモードである
 情報処理装置。
(9)(1)から(8)のうちいずれか1つに記載の情報処理装置であって、
 前記設定部は、前記ユーザの要求に基づいてタイムアウト時間を設定し、
 前記処理実行部は、前記タイムアウト時間に基づいて、前記ユーザの要求に応じた処理の実行の保留を継続するか否かを判定する
 情報処理装置。
(10)(9)に記載の情報処理装置であって、
 前記設定部は、前記ユーザの要求の種類に基づいて、前記タイムアウト時間を設定する
 情報処理装置。
(11)(9)又は(10)に記載の情報処理装置であって、
 前記処理実行部は、前記モーダル認証の信頼度が前記信頼度閾値より大きくなる前に前記タイムアウト時間が経過した場合は、前記ユーザに対するモーダル認証の実行を規制する
 情報処理装置。
(12)(9)から(11)のうちいずれか1つに記載の情報処理装置であって、
 前記処理実行部は、前記タイムアウト時間が経過する前に前記モーダル認証の信頼度が前記信頼度閾値より大きくなる可能性を判定する
 情報処理装置。
(13)(12)に記載の情報処理装置であって、
 前記処理実行部は、前記タイムアウト時間が経過する前に前記モーダル認証の信頼度が前記信頼度閾値より大きくなる可能性がない場合には、前記ユーザに対するモーダル認証の実行を規制する
 情報処理装置。
(14)(12)に記載の情報処理装置であって、
 前記処理実行部は、前記タイムアウト時間が経過する前に前記モーダル認証の信頼度が前記信頼度閾値より大きくなる可能性がない場合には、前記モーダル認証の信頼度を高めるための中間処理を実行する
 情報処理装置。
(15)(14)に記載の情報処理装置であって、
 前記処理実行部は、前記中間処理として、前記モーダル認証の信頼度を高めるための行動を前記ユーザに要求することを含む処理を実行する
 情報処理装置。
(16)(14)又は(15)に記載の情報処理装置であって、
 前記処理実行部は、前記モーダル認証の信頼度を高めるために前記ユーザに要求される行動を行う際の前記ユーザの負担度に基づいて、前記中間処理を選択する
 情報処理装置。
(17)(1)から(16)のうちいずれか1つに記載の情報処理装置であって、
 前記処理実行部は、前記モーダル認証の実行が中断される可能性を判定し、前記モーダル認証の実行が中断される可能性がある場合には、前記モーダル認証の実行の中断を防止するための処理を実行する
 情報処理装置。
(18)(1)から(17)のうちいずれか1つに記載の情報処理装置であって、
 前記処理実行部は、処理の実行を保留している前記ユーザの要求に関連した前記ユーザの他の要求を受付けた場合に、処理の実行を保留している前記ユーザの要求と前記ユーザの他の要求との関係に応じた処理を実行する
 情報処理装置。
(19)ユーザに対して実行されるモーダル認証の信頼度を取得し、
 前記ユーザの要求に基づいて信頼度閾値を設定し、
 前記取得されたモーダル認証の信頼度が、前記設定された信頼度閾値より大きくなるまで、前記ユーザの要求に応じた処理の実行を保留する
 ことをコンピュータシステムが実行する情報処理方法。
(20)ユーザに対して実行されるモーダル認証の信頼度を取得するステップと、
 前記ユーザの要求に基づいて信頼度閾値を設定するステップと、
 前記取得されたモーダル認証の信頼度が、前記設定された信頼度閾値より大きくなるまで、前記ユーザの要求に応じた処理の実行を保留するステップと
 をコンピュータシステムに実行させるプログラム。
 1…ユーザ
 2…エージェント
 7…記憶部
 10…モーダル認証装置
 11…生体情報取得部
 12…モーダル認証実行部
 13…認証結果情報登録部
 20…取得部
 30…設定部
 31…信頼度閾値設定部
 32…タイムアウト時間設定部
 40…処理実行部
 41…実行判断部
 42…警戒モード部
 43…中間処理部
 50…要求受付部
 60…通知制御部
 100…情報処理装置

Claims (20)

  1.  ユーザに対して実行されるモーダル認証の信頼度を取得する取得部と、
     前記ユーザの要求に基づいて信頼度閾値を設定する設定部と、
     前記取得されたモーダル認証の信頼度が、前記設定された信頼度閾値より大きくなるまで、前記ユーザの要求に応じた処理の実行を保留する処理実行部と
     を具備する情報処理装置。
  2.  請求項1に記載の情報処理装置であって、
     前記設定部は、前記ユーザの要求の種類に基づいて、前記信頼度閾値を設定する
     情報処理装置。
  3.  請求項1に記載の情報処理装置であって、
     前記処理実行部は、前記取得されたモーダル認証の信頼度が前記設定された信頼度閾値より大きくなった場合、前記モーダル認証の認証結果に基づく処理を実行する
     情報処理装置。
  4.  請求項3に記載の情報処理装置であって、
     前記処理実行部は、前記モーダル認証の認証結果が正当である場合に、前記ユーザの要求に応じた処理を実行する
     情報処理装置。
  5.  請求項3に記載の情報処理装置であって、
     前記処理実行部は、前記モーダル認証の認証結果が不当である場合に、前記ユーザの要求を拒否する
     情報処理装置。
  6.  請求項3に記載の情報処理装置であって、
     前記処理実行部は、前記モーダル認証の認証結果が不当である場合に、警戒モードを選択する
     情報処理装置。
  7.  請求項6に記載の情報処理装置であって、
     前記警戒モードは、前記ユーザに対するモーダル認証の実行が規制されるモードである
     情報処理装置。
  8.  請求項6に記載の情報処理装置であって、
     前記警戒モードは、前記ユーザに対するモーダル認証の実行が禁止されるモードである
     情報処理装置。
  9.  請求項1に記載の情報処理装置であって、
     前記設定部は、前記ユーザの要求に基づいてタイムアウト時間を設定し、
     前記処理実行部は、前記タイムアウト時間に基づいて、前記ユーザの要求に応じた処理の実行の保留を継続するか否かを判定する
     情報処理装置。
  10.  請求項9に記載の情報処理装置であって、
     前記設定部は、前記ユーザの要求の種類に基づいて、前記タイムアウト時間を設定する
     情報処理装置。
  11.  請求項9に記載の情報処理装置であって、
     前記処理実行部は、前記モーダル認証の信頼度が前記信頼度閾値より大きくなる前に前記タイムアウト時間が経過した場合は、前記ユーザに対するモーダル認証の実行を規制する
     情報処理装置。
  12.  請求項9に記載の情報処理装置であって、
     前記処理実行部は、前記タイムアウト時間が経過する前に前記モーダル認証の信頼度が前記信頼度閾値より大きくなる可能性を判定する
     情報処理装置。
  13.  請求項12に記載の情報処理装置であって、
     前記処理実行部は、前記タイムアウト時間が経過する前に前記モーダル認証の信頼度が前記信頼度閾値より大きくなる可能性がない場合には、前記ユーザに対するモーダル認証の実行を規制する
     情報処理装置。
  14.  請求項12に記載の情報処理装置であって、
     前記処理実行部は、前記タイムアウト時間が経過する前に前記モーダル認証の信頼度が前記信頼度閾値より大きくなる可能性がない場合には、前記モーダル認証の信頼度を高めるための中間処理を実行する
     情報処理装置。
  15.  請求項14に記載の情報処理装置であって、
     前記処理実行部は、前記中間処理として、前記モーダル認証の信頼度を高めるための行動を前記ユーザに要求することを含む処理を実行する
     情報処理装置。
  16.  請求項14に記載の情報処理装置であって、
     前記処理実行部は、前記モーダル認証の信頼度を高めるために前記ユーザに要求される行動を行う際の前記ユーザの負担度に基づいて、前記中間処理を選択する
     情報処理装置。
  17.  請求項1に記載の情報処理装置であって、
     前記処理実行部は、前記モーダル認証の実行が中断される可能性を判定し、前記モーダル認証の実行が中断される可能性がある場合には、前記モーダル認証の実行の中断を防止するための処理を実行する
     情報処理装置。
  18.  請求項1に記載の情報処理装置であって、
     前記処理実行部は、処理の実行を保留している前記ユーザの要求に関連した前記ユーザの他の要求を受付けた場合に、処理の実行を保留している前記ユーザの要求と前記ユーザの他の要求との関係に応じた処理を実行する
     情報処理装置。
  19.  ユーザに対して実行されるモーダル認証の信頼度を取得し、
     前記ユーザの要求に基づいて信頼度閾値を設定し、
     前記取得されたモーダル認証の信頼度が、前記設定された信頼度閾値より大きくなるまで、前記ユーザの要求に応じた処理の実行を保留する
     ことをコンピュータシステムが実行する情報処理方法。
  20.  ユーザに対して実行されるモーダル認証の信頼度を取得するステップと、
     前記ユーザの要求に基づいて信頼度閾値を設定するステップと、
     前記取得されたモーダル認証の信頼度が、前記設定された信頼度閾値より大きくなるまで、前記ユーザの要求に応じた処理の実行を保留するステップと
     をコンピュータシステムに実行させるプログラム。
PCT/JP2018/046347 2018-03-16 2018-12-17 情報処理装置、情報処理方法、及びプログラム WO2019176206A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201880091009.4A CN111868720A (zh) 2018-03-16 2018-12-17 信息处理设备、信息处理方法及程序
US16/979,177 US20200401683A1 (en) 2018-03-16 2018-12-17 Information processing apparatus, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018049065 2018-03-16
JP2018-049065 2018-03-16

Publications (1)

Publication Number Publication Date
WO2019176206A1 true WO2019176206A1 (ja) 2019-09-19

Family

ID=67907599

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/046347 WO2019176206A1 (ja) 2018-03-16 2018-12-17 情報処理装置、情報処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US20200401683A1 (ja)
CN (1) CN111868720A (ja)
WO (1) WO2019176206A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7342606B2 (ja) * 2019-10-23 2023-09-12 日本電気株式会社 情報処理装置、アクセス制御方法及びアクセス制御プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007157002A (ja) * 2005-12-07 2007-06-21 Sharp Corp サービス管理装置、サービス管理システム、プログラムおよび記録媒体
JP2009169855A (ja) * 2008-01-18 2009-07-30 Sharp Corp データ通信システム及びデータ送信装置
JP2012509526A (ja) * 2008-11-17 2012-04-19 ディジタルペルソナ インコーポレイテッド エンドユーザーの識別情報保護スイートのための方法および装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005012528A (ja) * 2003-06-19 2005-01-13 Nec Saitama Ltd 画像表示部切替機能つき折畳型携帯電話機
US8359645B2 (en) * 2005-03-25 2013-01-22 Microsoft Corporation Dynamic protection of unpatched machines
US8386288B2 (en) * 2009-01-27 2013-02-26 Direct Response Medicine, Llc Workflow management system and method with workflow package exchange between drop-box application programs
JP2011023854A (ja) * 2009-07-14 2011-02-03 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP5244200B2 (ja) * 2011-01-19 2013-07-24 レノボ・シンガポール・プライベート・リミテッド 利便性に優れたセキュリティ機能を備える携帯端末装置およびアクセスの制御方法
DE102012216191A1 (de) * 2011-09-14 2013-03-14 Hitachi Information & Communication Engineering, Ltd. Authentifizierungssystem
JP5850269B2 (ja) * 2011-11-22 2016-02-03 学校法人日本大学 携帯端末を認証する認証方法及び認証サーバ
US9000927B2 (en) * 2013-02-25 2015-04-07 Sony Corporation System and method for monitoring biometric data
JP6465542B2 (ja) * 2013-09-02 2019-02-06 キヤノン株式会社 情報処理装置、その制御方法及びプログラム
US10560442B2 (en) * 2014-06-22 2020-02-11 Targetproof, Llc Participation thresholding for extending communication security functionality
WO2016067556A1 (ja) * 2014-10-29 2016-05-06 日本電気株式会社 生体認証装置及び生体認証方法
CN108347730B (zh) * 2017-01-25 2022-12-09 中兴通讯股份有限公司 一种无线通信处理方法及装置
EP3563553B1 (en) * 2017-02-24 2022-02-16 NEC Corporation Method for signing a new block in a decentralized blockchain consensus network
US10360733B2 (en) * 2017-06-20 2019-07-23 Bank Of America Corporation System controlled augmented resource facility
US10922423B1 (en) * 2018-06-21 2021-02-16 Amazon Technologies, Inc. Request context generator for security policy validation service
US11310284B2 (en) * 2019-05-31 2022-04-19 Varmour Networks, Inc. Validation of cloud security policies
US11005872B2 (en) * 2019-05-31 2021-05-11 Gurucul Solutions, Llc Anomaly detection in cybersecurity and fraud applications

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007157002A (ja) * 2005-12-07 2007-06-21 Sharp Corp サービス管理装置、サービス管理システム、プログラムおよび記録媒体
JP2009169855A (ja) * 2008-01-18 2009-07-30 Sharp Corp データ通信システム及びデータ送信装置
JP2012509526A (ja) * 2008-11-17 2012-04-19 ディジタルペルソナ インコーポレイテッド エンドユーザーの識別情報保護スイートのための方法および装置

Also Published As

Publication number Publication date
US20200401683A1 (en) 2020-12-24
CN111868720A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
US10235508B2 (en) Systems and methods for high fidelity multi-modal out-of-band biometric authentication with human cross-checking
CN107735776B (zh) 信息处理设备、信息处理方法和程序
CN104094192B (zh) 来自用户的音频输入
JP2008503113A (ja) ホームネットワークに接続された装置の使用の親による監視および制御の方法
CA2922139C (en) World-driven access control
KR20160147515A (ko) 사용자 인증 방법 및 이를 지원하는 전자장치
US20210209929A1 (en) Methods of and devices for filtering out false alarms to the call centers using a non-gui based user interface for a user to input a control command
US20210019385A1 (en) Methods, systems, and media for secure authentication of users using one or more biometric recognition systems
CN114127801A (zh) 跨设备网络使用人物可识别性的系统和方法
WO2019176206A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2020115384A (ja) 情報処理システム、情報処理装置、制御方法、記憶媒体、およびプログラム
JP4533679B2 (ja) 個人認証方法及び該システム
AU2019216725A1 (en) Image processing apparatus for facial recognition
CN110516426A (zh) 身份认证方法、认证终端、装置及可读存储介质
JP2007213369A (ja) 生体認証装置および生体認証方法
JP2016140074A (ja) 情報処理装置及び情報処理プログラム
JP2023180943A (ja) 情報処理装置、情報処理方法およびプログラム
US11809546B2 (en) Adaptive biometric authentication
JP2022189048A (ja) 認証システム、認証装置、認証方法、及びプログラム
EP3572961B1 (en) Method and system for continuous verification of user identity in an online service using multi-biometric data
JP7311548B2 (ja) アカウント管理装置、アカウント管理方法およびアカウント管理プログラム
US20240126854A1 (en) Communication apparatus, communication method, and non-transitory computer-readable storage medium
KR102581000B1 (ko) 어시스턴트 서비스 제공 방법 및 시스템
JP7501575B2 (ja) ビデオ会議システム、ビデオ会議方法、およびプログラム
KR102605945B1 (ko) 스마트책상 관리시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18909748

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18909748

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP