JP6949149B2 - 音声アシスタントシステムのための発話による特権の管理 - Google Patents

音声アシスタントシステムのための発話による特権の管理 Download PDF

Info

Publication number
JP6949149B2
JP6949149B2 JP2019570509A JP2019570509A JP6949149B2 JP 6949149 B2 JP6949149 B2 JP 6949149B2 JP 2019570509 A JP2019570509 A JP 2019570509A JP 2019570509 A JP2019570509 A JP 2019570509A JP 6949149 B2 JP6949149 B2 JP 6949149B2
Authority
JP
Japan
Prior art keywords
user
utterance
privilege
speech
privileges
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019570509A
Other languages
English (en)
Other versions
JP2020525903A (ja
Inventor
トーマス ミラー グレゴリー
トーマス ミラー グレゴリー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Amazon Technologies Inc
Original Assignee
Amazon Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Amazon Technologies Inc filed Critical Amazon Technologies Inc
Publication of JP2020525903A publication Critical patent/JP2020525903A/ja
Application granted granted Critical
Publication of JP6949149B2 publication Critical patent/JP6949149B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification
    • G10L17/04Training, enrolment or model building
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063Training
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification
    • G10L17/02Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification
    • G10L17/06Decision making techniques; Pattern matching strategies
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification
    • G10L17/22Interactive procedures; Man-machine interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2141Access rights, e.g. capability lists, access control lists, access tables, access matrices
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063Training
    • G10L2015/0638Interactive procedures
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/227Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology

Description

関連出願の相互参照
本願は、その全体的な開示が参照によりここに援用される、「ADMINISTRATION OF PRIVILEGES BY SPEECH FOR VOICE ASSISTANT SYSTEM」と題する、2017年9月8日に出願された米国特許出願第15/700,008号に対する優先権を主張する。
コンピューティングデバイスが進化を続けるのに伴い、ユーザーは、コンピューティングデバイスと対話するときによりシームレスかつ効率的な経験を期待する。ユーザーが、例えば機械的な装置(例えば、キーボード、マウス等)、タッチスクリーン、モーションキャプチャ(例えば、ジェスチャ)を使用することによって、及び例えば発話等の自然言語入力も使用し、コンピューティングデバイスと対話できるようにするための多くの技術及び機構が導入されてきた。発話が入力として使用されるとき、コンピューティングデバイスは、多くの場合、発話処理のために少なくとも一部の音声情報をリモートコンピューティングデバイスに送信する。ユーザーがコンピューティングデバイスを制御するために音声入力を使用することに慣れるのに伴い、音声コマンドを使用し、タスクの完了を容易にするために、従来のタスクが考え直される場合がある。
いくつかのコンピューティングタスクは、ユーザーが、例えばコンピューティングデバイスのための管理設定を修正する等の特定のアクションを行うことを可能にするために、安全なプロセス及び/またはユーザー特権の実装及び実施を必要とする。従来、この種のアクションは、例えばキーボード等の従来型のコンピューティングデバイス入力装置を使用し、実行される。
発明を実施するための形態は、添付の図を参照して説明される。図中、参照番号の左端の数字(複数可)は、参照番号が最初に現れる図を特定する。異なる図の同じ参照番号は、類似または同一の物を示す。
例示的なコンピューティング環境の概略図である。 例示的なコンピューティングアーキテクチャのブロック図である。 信頼されるユーザーの発話及び新しいユーザーの発話を分析して、新しいユーザーに対する新しい特権を管理するための例示的なプロセスの流れ図である。 発話トレーニングを通して新しいユーザーの音声属性を作成及び/または改良するための例示的なプロセスの流れ図である。 以前の音声対話に基づいて、以前の発話データを新しいユーザーと関連付けるための例示的なプロセスの流れ図である。 新しいユーザーまたは別のユーザーの特権をカスタマイズするための例示的なプロセスの流れ図である。 与えられた特権と関連付けられた条件を作成し、実施するための例示的なプロセスの流れ図である。
本開示は、音声アシスタントシステムを使用するユーザー特権の管理を対象とし、システムは、ユーザーが、例えば音声アシスタントデバイスとともに音声起動コマンドを使用し、新しいユーザーによるコンピューティングリソースへのアクセスを提供すること等の管理者タスクを実行できるようにする。音声アシスタントデバイスは、ユーザーから音声コマンドを受け取り、自動音声認識(ASR)アルゴリズム及び自然言語処理(NLP)アルゴリズムを使用し、音声を処理してテキストを決定し、テキストに基づいた返事を返し、テキストを音声に変換するアルゴリズムを使用し、返事を音声出力に変換し、話者に音声出力を出力させる任意のシステムまたはデバイスを含んでよい。一部の例では、一部の音声アシスタントシステムは、ディスプレイを含んでよく、ユーザーが、システムにより受け取られた発話入力に基づいて生成または更新され得るテキスト及び/または他のグラフィックスを見ることを可能にしてよい。プロセスは、プロセスの複数の関係するインスタンスを含んだダイアログを定義する複数の「転換点(turns)」を含んでよい。音声アシスタントシステムの例は、Seattle、WashingtonのAmazon.com(登録商標)により提供されるAlexa(登録商標)、Cupertino、CaliforniaのApple Corp.(登録商標)により提供されるSiri(登録商標)、及びRedmond、WashingtonのMicrosoft Corp.(登録商標)により提供されるCortana(登録商標)を含む。音声アシスタントシステムは、通常少なくともネットワークインタフェース、マイク、及びスピーカを含むユーザーデバイスを含んでよい。ユーザーデバイスは、スマートフォン、専用装置、及び/またはユーザーによって制御され、ユーザーに近接して位置する他のデバイスであってよい。音声アシスタントシステムは、(例えば、クラウドコンピューティング構成等のリモートコンピューティングデバイスを介して)離れた場所にあるユーザーデバイスによって記憶されてよいサービスエンジン、及び/または両方の組み合わせを含んでよい。
様々な実施形態では、音声アシスタントシステムは、例えば「こちらは私の友人のジョン・スミスです」と述べる発話等の、信頼されるユーザーからの紹介を受け取るように構成されてよい。ここで、「ジョン・スミス」は、特定の音声アシスタントシステムと以前に対話したことがない新しいユーザーである場合がある。音声アシスタントシステムは、ASR及びおそらくNLUを使用し、発話を処理してよく、コマンドまたはインテントを決定するためにテキストを構文分析してよい。また、音声アシスタントシステムは、話者、または音声アシスタントシステムに紹介を発話した話者と関連付けられたプロファイルを決定するために、発話または発話の属性も分析してよい。例えば、口調、音量、言葉のペース、及び/または他の発話属性は、例えば話者が信頼されるユーザーであると判断することによって等、話者、または話者と関連付けられたプロファイルを決定するために使用されてよい。音声アシスタントシステムは、おそらく対応するユーザープロファイルへのアクセスを介して、信頼されるユーザー(例えば、「サリー・ジョーンズ」)が、管理特権を含むこと、及びテキスト「こちらは私の友人のジョン・スミスです」が少なくとも一部のユーザー特権をジョン・スミスに与えるためのコマンドであることを判断してよい。ユーザー特権は、ジョン・スミスが、例えばコマンドを発行する、情報を抽出する(例えば、質問を尋ね、回答を得る等)、メディアを再生する、及び/または信頼されるユーザーにより音声アシスタントシステムに紹介されていない、及び/またはユーザープロファイルと関連付けられ、特定の音声アシスタントシステムと関連付けられた特権を有していないが、別の音声アシスタントシステムと関連付けられた特権を有する場合がある人は利用できない場合がある、音声アシスタントシステムを用いた他のアクションを実行する等、音声アシスタントシステムと対話できるようにしてよい。
音声アシスタントシステムは、例えば「こんにちは、ジョン・スミスと申します」等のジョン・スミスからの発話を受け取ってよい。音声アシスタントシステムは、テキストを構文分析して、ジョン・スミスに特権を与えるために以前のコマンドまたはインテントと関連付けられる場合がある別のコマンドまたはインテントを決定するために、ASR及びおそらくNLUを使用し、この発話を分析してよい。また、音声アシスタントシステムは、発話の属性を決定してジョン・スミスと関連付けるために発話を分析してもよい。音声アシスタントシステムは、ジョン・スミスのユーザープロファイルを作成し、発話の属性をジョン・スミスのユーザープロファイルと関連付けてよく、ジョン・スミスのものであると考えられるとして後に発話を識別することを可能にしてよい。
音声アシスタントシステムは、信頼されるユーザーから、ジョン・スミスに与えるための1つ以上の特権を決定してよい。いくつかの実施形態では、音声アシスタントシステムは、新しいユーザー、ジョン・スミスの特権の名称またはグループを決定してよい。例えば、「友人」のグループは、ジョン・スミスに、音声コマンドを使用し、音声アシスタントシステムを介して、特定の情報及び/またはコンテンツを受け取る及び/またはアクセスする能力を許す、ジョン・スミスに与えるための特権と関連付けられてよい。グループ化され、例えば「ゲスト」、「家族」、「子供」等の名前と関連付けられてよい他の事前に定義された特権のグループがユーザーに与えられてよい。
音声アシスタントシステムは、おそらく特定のグループと関連付けられた特権を修正することによって、カスタマイズされたグループ、及び/またはカスタマイズされた特権の集合体の作成を可能にしてよい。様々な実施形態では、信頼されるユーザーは、特権の条件を作成してよい。例えば、信頼されるユーザーは、特権が条件を課すために特定のときに期限切れになると述べる場合がある(例えば、「こちらは、日曜日まで、私のゲストのジョン・スミスです」)。信頼されるユーザーは、例えば、ジョン・スミスによるカレンダデータにアクセスする特権を取り消し得る、「ジョン・スミスのカレンダアクセスを削除してください」と述べることによって特権を削除し得る。
いくつかの実施形態では、音声アシスタントシステムは、音声属性を作成及び/または改良して、新しいユーザーの声を介した後続の新しいユーザーの識別を可能にするために、新しいユーザーと少なくともなんらかの発話トレーニングを開始してよい。音声アシスタントシステムは、別の音声アシスタントシステムとの以前のユーザー対話の間に取り込まれた可能性がある、ユーザーと関連付けられた以前の音声データの場所を突き止め、アクセスしようと試みてよい。例えば、新しいユーザーは、自身の音声アシスタントシステムと対話してよく、別の音声アシスタントシステムによる使用のために、自身の音声アシスタントシステムにより取り込まれた一部の情報をインポートすることを所望する場合がある。
本明細書に説明する技術及びシステムは、いくつかの方法で実装し得る。例の実施態様は、以下の図に関して以下に提供される。
図1は、例示的なコンピューティング環境100の概略図である。環境100は、ユーザーデバイス104と関連付けられた信頼されるユーザー106との対話を容易にするために、例えば音声データ及び発話データ等のデータをユーザーデバイス104と交換する、音声アシスタントサービス(VAS)102を含んでよい。ユーザーデバイス104は、信頼されるユーザー106によって発行される発話コマンドを使用し、少なくとも部分的に制御される任意の電子機器の1つであってよい。いくつかの実施形態では、ユーザーデバイス104は、他の入力制御装置をほとんどまたはまったく含まない(例えば、ボタン、モーションデバイス、撮像装置等をほとんどまたはまったく含まない)専用の音声認識デバイスであってよい。代わりに、ユーザーデバイス104は、発話されたコマンドを受け取ることによってユーザーからの入力を受け取ってよく、コマンドはユーザーデバイス104によって及び/またはクラウドサービスによって信号に変換され、次いで例えばVAS102とのデータの交換によって処理される。VAS102は、それに応えて、直接的にまたは間接的に、ユーザーデバイス104に、及びユーザーデバイス104からデータを提供する任意のサービスであってよい。少なくとも一部の音声認識は、いくつかの実施形態ではサービスの1つに要求を送信する前に実行される場合があるので、VAS102が音声認識のために構成される必要はない。様々な実施形態では、VAS102は、ユーザーデバイス104によって取り込まれ、1つ以上のネットワーク108を介してVASに送信された音声に対して少なくともなんらかのASR及び/またはNLUを実行してよい。ネットワーク(複数可)は、有線ネットワーク、無線ネットワーク、または両方を含んでよい。
VAS102は、ユーザーデバイスと104と関連付けられた特定のユーザーを追跡するように構成されてよく、音声入力(発話)の属性を分析することによってそれらのユーザーを識別し、識別を使用してユーザープロファイルを受け取った音声入力と関連付けてよい。例えば、サリー・ジョーンズがユーザーデバイス104に発話することによって音声入力を提供すると、音声入力の少なくとも一部はVAS102に送信されてよく、VAS102は音声入力を分析して、音声入力がサリー・ジョーンズと関連付けられると判断してよい。VAS102は、音声入力をサリー・ジョーンズのユーザープロファイルと関連付けてよい。ユーザープロファイルは、VAS102がどのようにしてサリー・ジョーンズに応答するのか、VAS102がサリー・ジョーンズにどの情報を提供するのか等を管理し得る、サリー・ジョーンズのための特権を含んでよい。
本明細書に説明するように、いくつかの実施形態では、VAS102の動作の少なくとも一部は、ユーザーデバイス104でローカルに実行されてよい。様々な実施形態では、VAS102は、ユーザーデバイス104で完全に実装されてよく、信頼されるユーザー106にとってローカルに(例えば、ユーザーの住居内等に)常駐してよい。少なくとも一実施形態では、ユーザーデバイス104は、追加処理のためにすべての音声をVAS102に渡し、コマンドをローカルに処理しない「データ処理能力のない」端末であってよい。
ユーザーは、例えばVasがユーザーを積極的に識別し、ユーザーの特権(VASがユーザーの代わりに、どの物事、タスク、データ、動作を実行またはアクセスできるのか)を決定できるようにするための情報を含むユーザープロファイルを介して、VAS102との特別な関係を有してよい、または作成してよい。例えば、第1のユーザーは、VAS102を介してユーザーアカウントと関連付けられてよく、信頼されるユーザーになる、または信頼されるユーザーの特権を与えられてよい。これらの特権は、信頼されるユーザーが他のユーザーに特権を与えることを可能にし得る管理権を含んでよい。特権は、VAS102及び/またはユーザーデバイス104がどのようにして他のユーザーと対話するのかを定義してよい。例えば、VAS102は、特権を有さない(及びおそらくVAS102と関連付けられたユーザープロファイルを有さない)登録されていないユーザーに情報を提供することを控えてよい。
VAS102は、例えば音楽、指示、文書を提供すること、タスクを実行すること(リストに物事を加えること、リマインダを設定すること、タイマを起動すること、カレンダイベントを加えること等)等によって、異なるタイプの情報、エンターテインメント、またはデータを提供してよい。本明細書に説明するように、VASは、ユーザーとの対話110に従事するように構成されてよい。いくつかの実施形態では、対話は、複数の要求及び返事を含む場合がある。要求/返事の各対は、通常はユーザーデバイス104を介したユーザーとVAS102との間での往復の情報交換である「転換点」を定義してよい。例えば、ユーザーが質問を尋ねるまたは要求を発行すると、要求はユーザーデバイス104によって、及びおそらくVAS102によって受け取られてよい。ユーザーデバイス104及び/またはVAS102は、代わりに要求を処理し、ユーザー106に発行され、返されてよいシステム返事を生成してよい。この単一の往復の交換を、本明細書では単一の「転換点」と呼ぶ。いくつかの要求は単一の転換点で満たされる場合があるが、他の要求は、ユーザーが意図された結果または目標を達成する前に複数の転換点を必要とするまたは含む場合がある。
新しいユーザー112に特権を与えるために、ユーザーデバイス104及び/またはVAS102は多様な発話を処理してよい。一例として、信頼されるユーザー106は、「私のゲストのジョン・スミスにユーザー特権を与えてください」と発話する場合がある。ユーザーデバイス104は、マイクを介してこの発話を受け取り、音声を音声信号に変換し、それらの信号の少なくとも一部を処理してよい、及び/または処理のためにVAS102に信号を送信してよい。処理プロトコルに関わらず、発話は、少なくとも(1)話者が信頼されるユーザー106であること、及び(2)発話が「ジョン・スミス」に特権を与えるコマンドを含んでいることを判断するために分析されてよい。上述したように、ユーザーデバイス104、VAS102、または両方は、例えばASRアルゴリズム及び/またはNLUアルゴリズムを使用することによって、音声属性及びまたはテキストを決定するために発話を処理してよい。
ユーザーデバイス104は、例えば「こんにちは、ジョン・スミスと申します」を含む発話等、新しいユーザー112から追加の発話を受け取る場合がある。ユーザーデバイス104は、マイクを介してこの発話を受け取り、音声を音声信号に変換し、それらの信号の少なくとも一部を処理してよい、及び/または処理のためにVAS102に信号を送信してよい。処理プロトコルに関わらず、発話は、ジョン・スミスの音声属性を、ジョン・スミスのために作成されたユーザープロファイルと関連付けるために分析されてよい。ユーザープロファイルは、上述したように信頼されるユーザーによる紹介及び特権の要求に応えて作成されてよい。ユーザーデバイス104、VAS102、または両方は、ジョン・スミスの音声属性を決定し、それらの音声属性をユーザープロファイルと関連付けるために発話を処理してよい。ユーザープロファイルは、ジョン・スミスのために新しく作成された特権を含んでよい。
いくつかの実施形態では、ユーザーデバイス104は、スピーカに、例えば「お目にかかれて光栄です、ジョン。私たちは別の家で話をしたことがありましたか?」等の新しいユーザーに対するメッセージを含んだ音声を出力させてよい。例えば、ユーザーデバイス104及び/またはVASは、発話トレーニング及び/または新しいユーザー112と関連付けられた以前の音声データにアクセスすることを通して追加の音声属性を得るために新しいユーザーと対話してよい。
VAS102と関連して示すように、ユーザープロファイル114は、例えば信頼されるユーザー106のための第1のユーザープロファイル116及び新しいユーザーのための第2のユーザープロファイル118等、異なるユーザーのためにアクセスされ、作成され、及び/または維持されてよい。各ユーザープロファイルは、VAS102及び/またはユーザーデバイス104がどのようにして対応するユーザーと対話するのか、またはVAS102及び/またはユーザーデバイス104が対応するユーザーと対話するかどうかを決定してよい異なる特権120を含んでよい、または異なる特権120と関連付けられてよい。いくつかの実施形態では、ユーザープロファイル114は、ユーザーデバイス104と関連してローカルに記憶されてよい。ユーザープロファイル114は、上述したように、ユーザーの発話を特定のユーザープロファイルと関連付けるために使用されてよい音声属性を含んでよい。
図2は、例示的なコンピューティングアーキテクチャ200のブロック図である。コンピューティングアーキテクチャ200は、分散コンピューティング環境または非分散コンピューティング環境で実装されてよい。コンピューティングアーキテクチャ200は、1つ以上のプロセッサ202、及び多様なモジュール、アプリケーション、プログラム、または他のデータを記憶する1つ以上のコンピュータ可読媒体204を含んでよい。コンピュータ可読媒体204は、1つ以上のプロセッサ202によって実行されるときに、プロセッサに本明細書に説明する動作を実行させる命令を含んでよい。
実施形態は、本明細書中に説明するプロセスまたは方法を実行するようにコンピュータ(または他の電子機器)をプログラムするために使用され得る命令を(圧縮形式で、または非圧縮形式で)記憶する非一過性の機械可読記憶媒体を含むコンピュータプログラム製品として提供されてよい。機械可読記憶媒体は、ハードドライブ、フロッピーディスク、光ディスク、CD−ROM、DVD、読み取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、フラッシュメモリ、磁気カードもしくは光カード、ソリッドステートメモリデバイス、または電子命令を記憶するために適した他のタイプの媒体/機械可読媒体を含む場合があるが、これに限定されるものではない。さらに、実施形態はまた、一過性の機械可読信号を(圧縮形式で、または非圧縮形式で)含むコンピュータプログラム製品として提供されてもよい。機械可読信号の例は、搬送波を使用して変調されるか否かに関わらず、インターネットもしくは他のネットワークを介してダウンロードされる信号を含んだ、コンピュータプログラムをホストするまたは実行するコンピュータシステムまたは機械がアクセスするように構成できる信号を含むが、これに限定されるものではない。
いくつかの実施形態では、コンピュータ可読媒体204は、対話構成要素208、発話処理構成要素210、特権構成要素212、及び発話トレーニング構成要素214を含む場合がある、管理アプリケーション206を記憶してよい。VAS102は、ユーザーデータ216及び/または特権定義データ218を記憶、管理、及び/またはアクセスしてよい。多様な構成要素は及び/またはデータストアは、ともにまたは分散構成で記憶されてよい。多様な構成要素を順番に説明する。
対話構成要素208は、1人以上のユーザーとの音声対話を容易にしてよい。例えば、対話構成要素208は、マイク及び/またはマイクを有するユーザーデバイスを介してユーザーからの発話等の音声入力を検出し、受け取ってよい。いくつかの実施形態では、対話構成要素208は、少なくとも部分的には、デバイスに「傾聴」を開始させ、追加処理のために音声信号を取り込むウェイクワードまたは他のコマンドの受取り時にトリガされてよい。対話構成要素208は、例えば「友人」特権をジョン・スミスに与える等の特定のアクションを行うためのコマンド及び要求であってよい、例えば「こちらは私の友人のジョン・スミスです」等の発話を受け取ってよく、これによりジョン・スミスは音声コマンドを使用し、VAS102と対話できるようになる。様々な実施形態では、対話構成要素208は、受け取った発話を分析して、発話と関連付けられたユーザープロファイル220を決定してよい。例えば、対話構成要素208は、例えば口調、音量、言葉のペース等の受け取った発話の属性、及び/または他の発話属性を取り込み、分析し、それらの属性をユーザーデータ216の記憶されている発話属性222に比較し、ユーザーデータ216から、話者(ユーザー)である信頼されるユーザーのユーザープロファイルを決定してよい。対話構成要素208は、話者と対話するために音声出力を生じさせてよい。例えば、対話構成要素208は、例えば「私は、グループ友人の特権をもたせるためにジョン・スミスを加えました」と述べる音声を出力することによって「ジョン・スミス」を紹介した話者に対する応答を出力してよい。言うまでもなく、対話構成要素208により受け取られた特定のコマンド及び発話、及び/または対話構成要素208による特定の出力は、同様のタイプの情報を伝えつつも上記に提供した例とは異なる場合がある。対話構成要素208は、おそらく発話処理構成要素210による発話の処理の後に、受け取った発話に基づいて実行するアクションを決定してよい。例えば、対話構成要素208は、信頼されるユーザーが「ジョン・スミス」という名前の新しいユーザーにアクセス特権を与えることを所望しており、特権のグループが「友人」特権であると判断してよい。いくつかの実施形態では、対話構成要素208は、ボイスオーバーインターネットプロトコル(VoIP)を使用し、新しいユーザーと関連付けられたデバイスに接続することを容易にしてよい。これは、信頼されるユーザーと同じ場所にはいない第2のユーザーに特権を与えることを可能にし得る。一例として、新しいユーザーは、信頼されるユーザーの建物を使用するであろうが、まだ建物に到着していないゲストである場合がある。
発話処理構成要素210は、音声とテキストとの変換を可能にするために音声をテキストに変換するアルゴリズム(複数可)及び/またはテキストを音声に変換するアルゴリズム(複数可)を含んでよい。発話処理構成要素210は、話者により提供されるコマンド及び情報を理解するためにASRアルゴリズム及び/またはNLUアルゴリズムを利用してよい。発話処理構成要素210は、例えばテキストに変換するための音声、または音声に変換するためのテキスト等の、対話構成要素208からの要求を受け取り、対話構成要素208のために要求されたタスクを実行してよい。
特権構成要素212は、特権を決定してよい、及び/または例えば新しいユーザー等の他のユーザーに与えられてよい特権を管理してよい。特権構成要素212は、例えば信頼されるユーザー等の1人以上のユーザーとの対話に基づいて、特権を決定する及び/または特権を修正するために特権定義データ218と対話してよい。例えば、信頼されるユーザーは、特定の特権割り当て224を新しいユーザーに与えることを要求する場合があり、このことは新しいユーザーのユーザープロファイル220と関連付けられてよい。特権構成要素212は、対応する特定の特権と特権定義データ218で関連付けられる、おそらく例えば「友人」、「ゲスト」、「家族」、「子供」等のラベルまたは他のラベルで参照される特権割り当て(複数可)224として特権のグループを決定してよい。例えば、特権は、ユーザーが、コマンドを発行する、情報を抽出する(例えば、質問を尋ね、回答を得る等)、メディアを再生する、商品を購入する、例えば家の照明及び/またはサーモスタット等の他の機器を制御する、及び/またはユーザープロファイルと関連付けられ、特定の音声アシスタントシステムと関連付けられた特権を有していないが、別の音声アシスタントシステムと関連付けられた特権を有する場合がある人は利用できない場合がある、音声アシスタントシステムを用いた他のアクションを実行することを可能にしてよい。
特権構成要素212は、場合により1つ以上の他の構成要素と併せて、信頼されるユーザーが、新しいグループを作成する、またはグループの名前及びグループの特権を含むグループを定義することを可能にしてよい。特権構成要素212は、信頼されるユーザーが、発話または他の入力を介して、選択及び/またはパラメータを入力して特権のグループを定義することを可能にする方式を実装してよい。例えば、信頼されるユーザーが、グループ「友人」に類似する特権を含むが、いくつかの追加の特権及び/または他の相違点も含む「親友」と呼ばれる新しいグループを作成することを所望する場合がある。上述したように、いくつかのグループは、管理アプリケーション206によって事前に定義されてよい。特権構成要素212は、グループからの既存の情報を利用するための他の技術の中で既存のグループをコピーし、次いで編集することによって新しいグループの作成を可能にしてよい。
いくつかの実施形態では、特権構成要素212は、例えばユーザーに、グループと関連付けられたデフォルトの特権を超えて追加の特権を与えること、いくつかの特権を削除すること、及び/または特権の使用もしくは持続期間の条件を作成する(例えば、特権の期限切れ、特権の使用の期間、利用限度額、購入カテゴリ、消費限度等を作成する)ことによって特権に対するカスタマイズを可能にしてよい。一例として、新しいユーザーがVAS102を用いた発話入力によりサービスから商品を注文できるようにする特権が与えられてよい。特権は、利用限度額(例えば、毎週$100等)を含む条件、ならびに注文の対象の商品のホワイトリストに登録された及び/またはブラックリストに登録されたカテゴリ(例えば、清掃用品のみ、ビデオゲームなし等)を含んでよい。別の例としては、条件は、例えば、「ジョンは1日に最高2時間分の音楽を聴いてよい」または「ジョンは歌詞に不適切な表現を含んだ音楽を聴いてはならない」等のメディアの消費時間に課される場合がある。多くの他のタイプの条件が特権と関連付けられてよい。条件は、ユーザーごとにカスタマイズされてよく、いくつかの例では、特定のグループのためにカスタマイズされてよい。
発話トレーニング構成要素214は、音声アシスタントシステム102との後続のセッション中に新しいユーザーから発話を受け取ることに応えて、対話構成要素208がユーザープロファイル220を新しいユーザーと関連付けることを可能にするために新しいユーザーの声の属性を決定してよい。発話トレーニング構成要素214は、新しいユーザーからの発話を分析し、後続の発話を新しいユーザーのユーザープロファイル220と関連付けることを可能にする、発話の発話属性222を作成及び/または改良してよい。いくつかの実施形態では、発話トレーニング構成要素214は、対話構成要素208に、新しいユーザーとの対話を開始させて、発話トレーニング構成要素214による分析のために新しいユーザーから追加の発話を抽出させ、さらに発話の属性を作成及び/または改良させてよい。発話トレーニング構成要素214は、閾値スコアまたはスコアの範囲に比較されてよい、属性に基づいた属性信頼スコアを維持または生成してよい。比較は、例えば以下に図4に関して説明するプロセス等のループプロセスをおそらく使用し、属性を抽出またはさらに改良するために、新しいユーザーからの追加の発話を要求するかどうかを知らせてよい。
様々な実施形態では、発話トレーニング構成要素214は、新しいユーザーを、異なる音声アシスタントシステムまたはVAS102の異なるインスタンスと関連付けられる場合がある以前に得た発話属性と関連付けようと試みてよい。例えば、発話トレーニング構成要素214は、対話構成要素208に、新しいユーザーが異なる家庭の音声アシスタントシステムと対話したかどうかを判断させ、次いで新しいユーザーと対話しているVAS102の現在のインスタンスと関連付けるために、存在し、利用可能な場合、過去の対話の詳細を収集させてよい。以前の音声対話データを関連付けることによって、新しいユーザーの声の発話属性222は、上述したように最小の発話トレーニングまたは追加の発話トレーニングなしで得られてよく、次いで記憶されてよい、またはユーザープロファイル220と関連付けられてよい。一例として、発話トレーニング構成要素214は、以下の図5に関して説明するプロセスに類似したプロセスを実装してよい。
言うまでもなく、管理アプリケーション206は、より多くのまたはより少ない構成要素を含んでよい。いくつかの実施形態では、対話構成要素208は、少なくとも部分的にオペレーティングシステム、または信頼されるユーザーが、本明細書に説明するように発話紹介によって新しいユーザーに許可を提供できるようにするための特定のタスクを実行するために、例えば発話処理構成要素210、特権構成要素212、及び/または発話トレーニング構成要素214等のより低水準の機能を呼び出す高水準機能として動作してよい。
図3〜図7は、ハードウェア、ソフトウェア、またはその組み合わせで実装できる動作のシーケンスを表す論理的な流れ図でブロックの集合体として示す例示的なプロセスの流れ図である。ソフトウェアの観点から、ブロックは、1つ以上のプロセッサで実行したときに、列挙した動作を実行する1つ以上のコンピュータ可読媒体に記憶されたコンピュータ実行可能命令を表す。概して、コンピュータ実行可能命令は、特定の機能を実行するまたは特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、構成要素、データ構造等を含む。動作が記載される順序は、制限として解釈されることを意図するものではなく、任意の数が記載されるブロックは、任意の順序及び/または並行して組み合わせて、プロセスを実装できる。
図3は、信頼されるユーザーの発話及び新しいユーザーの発話を分析して、新しいユーザーに対する新しい特権を管理するための例示的なプロセス300の流れ図である。プロセス300は、環境100及びコンピューティングアーキテクチャ200に関して説明されているが、異なる環境で及び/または異なるコンピューティングアーキテクチャで実装されてよい。
302で、対話構成要素208は、新しいユーザーを紹介する信頼されるユーザーからの発話紹介の音声を受け取ってよい。例えば、音声アシスタントシステム102は、例えば「こちらは私の友人のジョン・スミスです」と述べる発話等の、信頼されるユーザーからの紹介を受け取るように構成されてよい。ここで、「ジョン・スミス」は、特定の音声アシスタントシステム102と以前に対話したことがない新しいユーザーである場合がある。
304で、対話構成要素208は、発話が、他のユーザーに特権を与える管理特権を有する信頼されるユーザーからであるかどうかを判断してよい。いくつかの実施形態では、対話構成要素208は、動作302から受け取った発話を分析して、発話と関連付けられたユーザープロファイルを決定してよい。例えば、対話構成要素208は、例えば口調、音量、言葉のペース等の受け取った発話の属性、及び/または他の発話属性を取り込み、分析し、それらの属性をユーザーデータ216の記憶されている属性に比較し、ユーザーデータ216から、話者(ユーザー)である信頼されるユーザーのユーザープロファイルを決定してよい。音声アシスタントシステム102は、おそらく対応するユーザープロファイルへのアクセスを介して、信頼されるユーザー(例えば、「サリー・ジョーンズ」)が、管理特権を含むこと、及びテキスト「こちらは私の友人のジョン・スミスです」が少なくとも一部のユーザー特権を新しいユーザーに与えるためのコマンドであることを判断してよい。
306で、発話処理構成要素210及び/または対話構成要素208は、動作302で受け取られた発話から、要求、新しいユーザー、及び特権または特権グループを決定するために要求の中のデータを構文解析してよい。例えば、発話処理構成要素210は、音声をテキストに変換するためにASR及びおそらくNLUを使用してよい。テキストは、例えばユーザーの名前及び特権情報等の多様な情報を決定するために構文解析されてよい。対話構成要素208は、ユーザープロファイルがユーザーデータ216に存在していない場合、新しいユーザー、ジョン・スミスのために新しいユーザープロファイルを作成してよい。ユーザープロファイルは、音声属性、特権、コマンド履歴データ、及び/または他の情報を記憶してよい。いくつかの実施形態では、特権構成要素212は、特権のラベルを特権定義データ218に定義された特権と関連付けてよい。音声アシスタントシステム102は、信頼されるユーザーによって新しいユーザーに与えるための1つ以上の特権を決定してよい。いくつかの実施形態では、音声アシスタントシステム102は、新しいユーザー、ジョン・スミスの特権の名称またはグループを決定してよい。例えば、「友人」のグループは、ジョン・スミスに、音声コマンドを使用し、音声アシスタントシステムを介して、特定の情報及び/またはコンテンツを受け取る及び/またはアクセスする能力を許す、ジョン・スミスに与えるための特権と関連付けられてよい。グループ化され、例えば「ゲスト」、「家族」等の名前と関連付けられてよい他の事前に定義された特権のグループがユーザーに与えられてよい。
308で、対話構成要素208は、例えば「こんにちは、ジョン・スミスと申します」等の新しいユーザーからの発話を受け取ってよい。いくつかの実施形態では、対話構成要素208は、例えば「お目にかかれて光栄です。自己紹介してもらえますか?」等の音声を発することによって、発話を提供するように新しいユーザーに促してよい。音声アシスタントシステムは、テキストを構文解析して、ジョン・スミスに特権を与えるための以前のコマンドまたはインテントと関連付けられる場合がある別のコマンドまたはインテントを決定するために、ASR及びおそらくNLUを使用し、この発話を分析してよい。いくつかの実施形態では、新しいユーザーからの発話は、信頼されるユーザーからの発話と関連付けられたタイムスタンプに比較されてよいタイムスタンプと関連付けられてよい。比較は、管理アプリケーション206によって実施されてよいタイムアウトまたは他の時間条件を実施するために使用されてよい。例えば、特権の付与は、(例えば、動作302を介する)信頼されるユーザーからの紹介後の閾値時間量の範囲内で(例えば、動作308を介して)新しいユーザーによる返事を要求する場合がある。
310で、発話トレーニング構成要素214は、発話を分析して、ジョン・スミスのユーザープロファイルと関連付けるための発話の属性を決定してよい。発話トレーニング構成要素214は、新しいユーザーのユーザープロファイルと関連して属性を追加及び/または改良してよく、このことが新しいユーザーのものであると考えられるとして後に発話を識別することを可能にしてよい。いくつかの実施形態では、音声アシスタントシステムは、音声属性を作成及び/または改良して、新しいユーザーの声を介した後続の新しいユーザーの識別を可能にするために、新しいユーザーと少なくともなんらかの発話トレーニングを開始してよい。
312で、特権構成要素212は、新しいユーザーが音声アシスタントシステム102と対話できるようにするために、新しいユーザーに与えられる1つ以上の特権をアクティブにしてよい。ユーザー特権は、新しいユーザーが、例えばコマンドを発行する、情報を抽出する(例えば、質問を尋ね、回答を得る等)、メディアを再生する、及び/または信頼されるユーザーにより音声アシスタントシステムに紹介されていない、及び/またはユーザープロファイルと関連付けられ、特定の音声アシスタントシステムと関連付けられた特権を有していないが、別の音声アシスタントシステムと関連付けられた特権を有する場合がある人は利用できない場合がある、音声アシスタントシステムを用いた他のアクションを実行する等、音声アシスタントシステムと対話できるようにしてよい。
新しい特権が新しいユーザーにとってアクティブであると、新しいユーザーは、(図1に示す)VAS102によって受け取られてよいコマンドをユーザーデバイス104に発話してよい。新しいユーザーの声は、新しいユーザーとしてユーザーのアイデンティティを決定するために、記憶されている属性と比較されてよい属性を決定するために分析されてよい。発話はテキストに変換され、例えば「なにか新しい音楽をかけて」等の要求を決定するために分析されてよい。VAS102は、テキスト及び/またはコンテキストをユーザーデバイス104に返して、話者(つまり、新しいユーザー)が要求されたアクション(例えば、音楽を再生すること)を受け取るための有効かつ最新の特権を有している旨を確認すると、要求されたアクションを実施してよい。
図4は、発話トレーニングを通して新しいユーザーの音声属性を作成及び/または改良するための例示的なプロセス400の流れ図である。プロセス400は、環境100及びコンピューティングアーキテクチャ200に関して説明されているが、異なる環境で及び/または異なるコンピューティングアーキテクチャで実装されてよい。
402で、対話構成要素208は、新しいユーザーを紹介する信頼されるユーザーからの発話紹介の音声を受け取ってよい。例えば、音声アシスタントシステム102は、例えば「こちらは私の友人のジョン・スミスです」と述べる発話等の、信頼されるユーザーからの紹介を受け取るように構成されてよい。対話構成要素208は、発話処理構成要素210と併せて発話のためのテキストを決定し、プロセス300に関して上述したように、コマンド、新しいユーザー、及び特定の特権の要求を決定するために、発話を解析してよい。
404で、対話構成要素208は、例えば「こんにちは、ジョン・スミスと申します」等の新しいユーザーからの発話、または場合により新しいユーザーからの他の発話を受け取ってよい。音声アシスタントシステム102は、テキストを構文解析して、新しいユーザーに特権を与えるための以前のコマンドまたはインテントと関連付けられる場合がある別のコマンドまたはインテントを決定するために、ASR及びおそらくNLUを使用し、この発話を分析してよい。
406で、発話トレーニング構成要素214は、動作404で受け取った発話を分析して、新しいユーザーのユーザープロファイルと関連付けるための発話の属性を決定してよい。発話トレーニング構成要素214は、新しいユーザーのユーザープロファイルと関連して属性を追加及び/または改良してよく、このことが新しいユーザーのものであると考えられるとして後に発話を識別することを可能にしてよい。
408で、発話トレーニング構成要素214は、新しいユーザーの音声属性スコアを決定してよい。音声属性スコアは、対話構成要素208によって受け取られる他の音声の中から新しいユーザーの声を正確に識別するために属性の信頼水準を表してよい。
410で、音声属性スコアは、属性の発話トレーニングを続行するかどうかを判断するために閾値スコアに比較されてよい。音声属性スコアが閾値スコア未満であるとき(決定動作410から「yes」ルートをたどる)、次いでプロセス400は動作412に進んでよい。
412で、発話トレーニング構成要素214は、おそらく対話構成要素208と併せて、発話トレーニングのために新しいユーザーから追加の発話を要求してよい。例えば、発話トレーニング構成要素214は、新しいユーザーからの発話された応答を呼び出してよい音声質問の出力を生じさせてよく、発話応答は、新しいユーザーと関連付けられた発話を積極的に識別するために使用される属性を決定または改良するために分析されてよい。いくつかの実施形態では、発話トレーニング構成要素214は、新しいユーザーによる発話を呼び出すために異なる質問及び/または他の要求の出力を生じさせてよく、発話は、質問、新しいユーザーに提供される情報の繰り返される発話(例えば、「私の後について言ってください...」)、及び/またはユーザーからの発話に対する他の要求に応えるものであってよい。
いくつかの実施形態では、管理アプリケーション206は、新しいユーザーと関連付けられるユーザープロファイル220に加えられてよい、一意の識別情報を決定するために新しいユーザーからの発話を要求してよい。一意の識別情報は、ユーザーの一意の識別子を作成するために使用されてよい。一例として、一意の識別情報は、新しいユーザーの電話番号、新しいユーザーの実際の住所、新しいユーザーの電子メールアドレス、及び/または新しいユーザーと関連付けられ、新しいユーザーを他のユーザーから識別するために使用できる他の一意の情報を含んでよい。一意の識別情報は、音声アシスタントシステム102と対話するとき、可能な範囲まで公表されずにおかれる場合があり、他のユーザーと共用されない場合がある。
414で、発話トレーニング構成要素214は、追加の発話が新しいユーザーから受け取られたかどうかを判断してよい。追加の発話が新しいユーザーから受け取られるとき(決定動作414から「yes」ルートをたどる)、次いでプロセス400は動作404に進み、上記に及び本明細書に説明したように処理を続行してよい。しかしながら、いくつかの例では、例えば新しいユーザーがマイクの場所を離れたときまたは他の理由で等、新しいユーザーが応答しない場合がある。追加の発話が新しいユーザーから受け取られないとき(決定動作414から「no」ルートをたどる)、または音声属性スコアが閾値スコアに達するもしくは超えるとき(決定動作410から「no」のルートをたどる)、次いでプロセス400は動作416に進んでよい。
416で、発話トレーニング構成要素214は、新しいユーザーのための発話トレーニングを、少なくとも一時的に終了してよい。例えば、追加の発話トレーニングは、新しいユーザーとの後の対話で実行または再開されてよい。
いくつかの実施形態では、プロセス400は、信頼されるユーザー及び新しいユーザーが同じ場所にいることを検証してよい。例えば、管理アプリケーション206は、ユーザーが特定のアクションを行う及び/または同一場所にいることの証拠を提供する特定の発話を提供することを要求してよい。しかしながら、いくつかの実施形態では、同一の場所にいることは、特権を作成するまたは新しいユーザーに特権を与えるための条件として課されない場合がある。例えば、新しいユーザーは、信頼されるユーザーの将来の訪問者及びゲストである場合があり、例えばインターネット接続または他の接続の音声を介してVAS102と通信している場合がある。
図5は、以前の音声対話に基づいて、以前の発話データを新しいユーザーと関連付けるための例示的なプロセス500の流れ図である。プロセス500は、環境100及びコンピューティングアーキテクチャ200に関して説明されているが、異なる環境で及び/または異なるコンピューティングアーキテクチャで実装されてよい。
502で、対話構成要素208は、新しいユーザーを紹介する信頼されるユーザーからの発話紹介の音声を受け取ってよい。例えば、音声アシスタントシステム102は、例えば「こちらは私のゲストのジョン・スミスです」と述べる発話等の、信頼されるユーザーからの紹介を受け取るように構成されてよい。対話構成要素208は、発話処理構成要素210と併せて、発話のためのテキストを決定し、プロセス300に関して上述したように、コマンド、新しいユーザー、及び特定の特権の要求を決定するために、発話を分析してよい。
504で、対話構成要素208は、例えば「こんにちは、ジョン・スミスと申します」等の新しいユーザーからの発話、または場合により新しいユーザーからの他の発話を受け取ってよい。音声アシスタントシステム102は、テキストを構文解析して、新しいユーザーに特権を与えるための以前のコマンドまたはインテントと関連付けられる場合がある別のコマンドまたはインテントを決定するために、ASR及びおそらくNLUを使用し、この発話を分析してよい。
506で、発話トレーニング構成要素214は、以前の発話データの場所を突き止めるために新しいユーザーに問い合わせしてよい。例えば、発話トレーニング構成要素214は、対話構成要素208に、可聴質問「こんにちは、ジョン・スミス、私たちは別の家や場所で以前に話をしたことがありますか?」を出力させてよい。発話トレーニング構成要素214は、発話トレーニング構成要素214が、任意の係る発話データが存在する場合、ジョン・スミスと関連付けられた以前の発話データの場所を突き止めることを可能にするための情報を決定するために、この問い合わせ、類似した問い合わせ、及び/または追加の問い合わせを実行してよい。新しいユーザーが、自分が以前にシステムと話をしたことがないことを示す場合、次いで問い合わせは終了してよい。動作506は新しいユーザーから発話を受け取り、テキストを決定するために発話を処理し、以前の発話データが利用可能であるかどうか、及び利用可能である場合、その発話データがどこに位置しているのかを判断するためにテキストを処理してよい。例えば、新しいユーザーは、自分が以前に音声アシスタントシステムを使用したことがある家の住所を示す場合がある。他の関連付けは、ユーザープロファイル及び/またはユーザープロファイル名等のなんらかの個人識別情報を参照することによってなされてよい。
508で、発話トレーニング構成要素214は、ユーザーから受け取られた発話応答、及び発話トレーニング構成要素214によって実行される検索に基づいて候補発話データの場所を突き止めることができるかどうかを判断してよい。検索は、音声アシスタントシステムがアクセス可能な情報の検索を含んでよい。いくつかの実施形態では、新しいユーザーは、音声アシスタントシステムが以前の発話データにアクセスできるようにするための特定の許可を提供してよい。例えば、承認は、例えば携帯電話を介したテキストメッセージング、または他の簡略なツーステップ承認プロセスを使用すること等、二次デバイスで実行されてよい。ここでは、発話データは以下に説明する追加の処理まで新しいユーザーに属していると確認されていないため、発話データは「候補」と呼ばれる。候補発話データが発見されると(決定ブロック508から「yes」ルートをたどる)、次いでプロセス500は動作510に進んでよい。
510で、発話トレーニング構成要素214は、発見された候補発話データを、セッション中に(例えば新しいユーザーが「こんにちは、ジョン・スミスと申します」のような何かを発話するのに応えて)新しいユーザーから受け取った発話データに比較してよい。例えば、発話トレーニング構成要素214は、属性の相違が対応する閾値に満たないかどうかを判断するために、現在の発話データの属性を候補発話データの属性と比較してよい。例えば、口調、速度、音量等の属性、及び/または他の音声属性は、候補発話データがおそらく新しいユーザーに属しており、実際に異なるユーザーからの発話データではないかどうかを判断するために比較されてよい。
512で、発話トレーニング構成要素214は、動作510で実行された比較に少なくとも部分的に基づいて、新しいユーザーのための発話データとして候補発話データを使用するかどうかを判断してよい。発話トレーニング構成要素214が、新しいユーザーのための発話データとして候補発話データを使用しないと判断すると(決定動作512から「no」ルートをたどる)、次いでプロセス500は例えば新しいユーザーのための以前の発話データを発見しようと再び試みること等、追加の処理のために動作506に進んでよい。しかしながら、いくつかの実施形態では、プロセス500はここで終わってよい。発話トレーニング構成要素214が、新しいユーザーのための発話データとして候補発話データを使用することを決定すると(決定動作512から「yes」ルートをたどる)、次いでプロセス500は追加の処理のために動作514に進んでよい。
514で、発話トレーニング構成要素214は、以前の発話データを新しいユーザーと関連付けてよい。例えば、発話トレーニング構成要素214は、以前の発話データを使用して新しいユーザーのために音声属性の一部またはすべてを作成及び/または改良して、対話構成要素が、音声アシスタントシステム102との後続の対話の間に受け取られる新しいユーザーの発話により新しいユーザーを正確に識別できるようにしてよい。いくつかの実施形態では、プロセス500は、動作510及び512を省略または抜かし、例えば、候補発話が新しいユーザーからであるとして高い信頼を有するとき、決定動作508から動作514に直接的に進んでよい。候補発話は、候補発話が単一のユーザーしか有していない家庭と関連付けられる、特定のユーザー識別子と関連付けられる等のとき、高い信頼を有してよい。
候補発話データが発見されないとき(決定ブロック508から「no」ルートをたどる)、次いでプロセス500は動作516に進んでよい。例えば、「no」ルートは、以前の発話データが存在していない(例えば、新しいユーザーが初めてのユーザーである)、または新しいユーザーにより提供された情報が、発話トレーニング構成要素214が任意の候補発話データの場所を突き止めることを可能にしなかった旨の応答からトリガされる場合がある。516で、発話トレーニング構成要素214は、例えば上述したプロセス400の動作の少なくとも一部を実行することによって等、発話トレーニングを実行してよい。いくつかの実施形態では、新しいユーザーの音声スコアが、プロセス400に関連して上述したように閾値音声スコア未満であるとき、動作514の後に、少なくとも一部の追加の発話トレーニングが続く場合がある。
図6は、新しいユーザーまたは別のユーザーの特権をカスタマイズするための例示的なプロセス600の流れ図である。プロセス600は、環境100及びコンピューティングアーキテクチャ200に関して説明されているが、異なる環境で及び/または異なるコンピューティングアーキテクチャで実装されてよい。プロセス600は、信頼されるユーザーからの発話の受け取りによって、及び新しいユーザーによる存在または音声入力なしに実行されてよい。
602で、対話構成要素208は、新しいユーザーを紹介する信頼されるユーザーからの発話紹介の音声を受け取ってよい。例えば、音声アシスタントシステム102は、例えば「こちらは、私のスマートホームコントロールにもアクセスできる、私のゲストのジョン・スミスです」と述べる発話等の、信頼されるユーザーからの紹介を受け取るように構成されてよい。ここで、「ジョン・スミス」は、特定の音声アシスタントシステム102と以前に対話したことがない新しいユーザーである場合がある。対話構成要素208は、発話が、他のユーザーに特権を与える管理特権を有する信頼されるユーザーからであるかどうかを判断してよい。
604で、発話処理構成要素210及び/または対話構成要素208は、動作602で受け取られた発話から、要求、新しいユーザー、及び特権または特権グループを決定するために要求の中のデータを構文解析してよい。例えば、発話処理構成要素210は、音声をテキストに変換するためにASR及びおそらくNLUを使用してよい。テキストは、プロセス300の動作306に関して上述したように、例えばユーザーの名前及び特権情報等の多様な情報を決定するために構文解析されてよい。音声アシスタントシステム102は、信頼されるユーザーによって新しいユーザーに与えるための1つ以上の特権を決定してよい。いくつかの実施形態では、音声アシスタントシステム102は、新しいユーザー、ジョン・スミスの特権の名称またはグループを決定してよい。例えば、「ゲスト」のグループは、ジョン・スミスに、音声コマンドを使用し、音声アシスタントシステムを介して、特定の情報及び/またはコンテンツを受け取る及び/またはアクセスする能力を許す、ジョン・スミスに与えるための特権と関連付けられてよい。グループ化され、例えば「ゲスト」、「家族」等の名前と関連付けられてよい他の事前に定義された特権のグループがユーザーに与えられてよい。
606で、特権構成要素212は、新しいユーザーのための特権の修正、追加、または削除を決定してよい。例えば、新しいユーザーの紹介で、例の発話は、「私のスマートホームコントロールにアクセスする」という追加特権を含んでいた。この特権は、この例では特権の「ゲスト」セットには含まれない場合があるが、新しいユーザー、ジョン・スミスに与えられる特権に加えられる場合がある。追加の特権が、ゲスト特権を有する他のユーザーに影響を与えるのではなく、ただ新しいユーザー、ジョン・スミスに、この追加の特権を与えるにすぎない場合があることに留意されたい。
608で、特権構成要素212は、おそらく対話構成要素208を介して、特権の追加の修正、追加、または削除が新しいユーザーのために実行されるのかどうかを判断してよい。例えば、特権の修正、追加、及び/または削除の少なくとも一部は、新しいユーザーの紹介の後、場合により例えば別の日の間に等、異なるセッションの間に、信頼されるユーザーからの発話によって受け取られてよい。特権の削除は、個々の特権の削除、及び/またはすべての新しいユーザーの特権の取り消しを含む場合がある。特権の修正は、例えば図7に関して以下に説明するように、条件を修正することを含む場合がある。特権の別の修正、追加、または削除が実行されるとき(決定動作608から「yes」ルートをたどる)、次いでプロセス600は動作606に進み、上述したように追加の情報を処理してよい。特権の別の修正、追加、または削除が実行されないとき(決定動作608から「no」ルートをたどる)、次いでプロセス600は動作610に進んでよい。
610で、特権構成要素212は、新しいユーザーに与えられる1つ以上の特権、及び/または新しいユーザーが、現在与えられている特権に従って音声アシスタントシステム102と対話できるようにするための特権の修正、追加、及び/または削除をアクティブにしてよい。ユーザー特権は、新しいユーザーが、例えばコマンドを発行する、情報を抽出する(例えば、質問を尋ね、回答を得る等)、メディアを再生する、及び/または信頼されるユーザーにより音声アシスタントシステムに紹介されていない、及び/またはユーザープロファイルと関連付けられ、特定の音声アシスタントシステムと関連付けられた特権を有していないが、別の音声アシスタントシステムと関連付けられた特権を有する場合がある人は利用できない場合がある、音声アシスタントシステムを用いた他のアクションを実行する等、音声アシスタントシステムと対話できるようにしてよい。
図7は、与えられた特権と関連付けられた条件を作成し、実施するための例示的なプロセス700の流れ図である。プロセス700は、環境100及びコンピューティングアーキテクチャ200に関して説明されているが、異なる環境で及び/または異なるコンピューティングアーキテクチャで実装されてよい。
702で、対話構成要素208は、新しいユーザーを紹介する信頼されるユーザーからの発話紹介の音声を受け取ってよい。例えば、音声アシスタントシステム102は、例えば「こちらは本日の私のゲストのジョン・スミスです」と述べる発話等の、信頼されるユーザーからの紹介を受け取るように構成されてよい。ここで、「ジョン・スミス」は、特定の音声アシスタントシステム102と以前に対話したことがない新しいユーザーである場合がある。対話構成要素208は、発話が、他のユーザーに特権を与える管理特権を有する信頼されるユーザーからであるかどうかを判断してよい。
704で、発話処理構成要素210及び/または対話構成要素208は、動作702で受け取られた発話から、要求、新しいユーザー、及び特権または特権グループを決定するために要求の中のデータを構文解析してよい。例えば、発話処理構成要素210は、音声をテキストに変換するためにASR及びおそらくNLUを使用してよい。テキストは、プロセス300の動作306に関して上述したように、例えばユーザーの名前及び特権情報等の多様な情報を決定するために構文解析されてよい。音声アシスタントシステム102は、信頼されるユーザーによって新しいユーザーに与えるための1つ以上の特権を決定してよい。いくつかの実施形態では、音声アシスタントシステム102は、新しいユーザー、ジョン・スミスの特権の名称またはグループを決定してよい。例えば、「ゲスト」のグループは、ジョン・スミスに、音声コマンドを使用し、音声アシスタントシステムを介して、特定の情報及び/またはコンテンツを受け取る及び/またはアクセスする能力を許す、ジョン・スミスに与えるための特権と関連付けられてよい。グループ化され、例えば「ゲスト」、「家族」等の名前と関連付けられてよい他の事前に定義された特権のグループがユーザーに与えられてよい。
706で、特権構成要素212は、新しいユーザーのための1つ以上の特権の条件を決定してよい。例えば、新しいユーザーの紹介で、例の発話は、「当日」という条件を含んでいた。この条件は、例えば期限切れまたは特権が有効である時間範囲等の時間的な条件である場合がある。また、例えば新しいユーザーがどのコンテンツにアクセスできるのか(例えば、歌詞に不適切な表現を有する音楽なし等)の他の条件が課されてもよい。条件は、信頼されるユーザーからの別個の発話で提供されてよく、必ずしも紹介または新しいユーザー、ジョン・スミスに対する特権の初期の付与に含まれる必要はない。
708で、特権構成要素212は、新しいユーザーが音声アシスタントシステム102と対話できるようにするために、新しいユーザーに与えられる1つ以上の特権をアクティブにしてよい。ユーザー特権は、新しいユーザーが、例えばコマンドを発行する、情報を抽出する(例えば、質問を尋ね、回答を得る等)、メディアを再生する、及び/または信頼されるユーザーにより音声アシスタントシステムに紹介されていない、及び/またはユーザープロファイルと関連付けられ、特定の音声アシスタントシステムと関連付けられた特権を有していないが、別の音声アシスタントシステムと関連付けられた特権を有する場合がある人は利用できない場合がある、音声アシスタントシステムを用いた他のアクションを実行する等、音声アシスタントシステムと対話できるようにしてよい。
710で、特権構成要素212は、例えば特権が期限切れになったのか、それとも現在利用できないのか等の、条件が有効になったかどうかを判断してよい。特権が条件の対象にならない、または終了しているとき(決定動作710から「no」ルートをたどる)、次いでプロセス700は動作708に進み、新しいユーザーが信頼されるユーザーによって与えられる特権を使用できるようにし続けてよい。特権が条件の対象となり、終了しているとき(決定動作710から「yes」ルートをたどる)、次いでプロセス700は動作712に進んでよい。
712で、特権構成要素212は、条件の対象となり、少なくとも一時的に期限切れとなった1つ以上の特権を取り消してよい。例えば、特権が時刻制御の条件(例えば、特権は午前8時〜午後10時だけアクティブである等)の対象である場合、次いで特権はその後になって再びアクティブにされてよい。
いくつかの実施形態では、条件は複数のユーザーに適用されてよい。例えば、信頼されるユーザーが、関係者をホストしてよく、「今夜はすべての人に音楽を制御してもらいましょう」と述べる場合がある。特権構成要素212は、全員が、例えば、音声アシスタントシステム102に対して発話することによって、音楽を再生する、音楽を選択する等の音楽制御コマンドにアクセスする、及び/または他の音楽制御コマンドを実行する許可を作成してよい。特権構成要素212は、(タイムフレーム「今夜」のために)当日の期限切れを有する条件を作成してよい。特権構成要素212は、全員が時間分の最後に(例えば、当日の終わりに、またはなんらかの他のときに)音楽を制御する特権を取り消してよい。
以下の例示的な実施形態は、本明細書に説明する主題の追加の説明を提供する。例示的な実施形態は以下を含む。
1.音声制御アシスタントによって実装されるコンピュータ実装方法であって、管理特権を有する第1のユーザープロファイルと関連付けられる第1のユーザーから第1の発話を受け取ることであって、前記第1の発話が、特権のグループ及び前記特権のグループに含まれる特権を獲得するための第2のユーザーの少なくとも識別を含む、前記受け取ることと、前記第1の発話の第1の属性を分析して、前記第1の発話が前記第1のユーザープロファイルと関連付けられていると判断することと、前記第1の発話の処理に少なくとも部分的に基づいて前記第2のユーザー及び前記特権のグループを決定することと、前記第2のユーザーと関連付けられた第2のユーザープロファイルを作成することと、前記第2のユーザーからの発話を要求するためのプロンプトを提供することと、第2の発話を前記第2のユーザーから受け取ることと、前記第2の発話から引き出される第2の属性を決定することであって、前記第2の属性が、前記第2のユーザーと関連付けられた後続の発話の識別を可能にする、前記決定することと、前記第2の属性及び前記特権のグループを前記第2のユーザープロファイルと関連付けることとを含む、前記コンピュータ実装方法。
2.前記プロンプトが、前記第2のユーザーに、発話データとして受け取られる発話を提供するように要求する質問を含み、前記質問が、発話トレーニングプロセスにより使用される複数の所定の質問から選択される、実施形態1に記載のコンピュータ実装方法。
3.前記第2のユーザーによって提供される追加の発話に少なくとも部分的に基づいて、前記第2のユーザーを以前の発話データと関連付けることと、前記以前の発話データに少なくとも部分的に基づいて前記第2の属性を作成して、前記第2のユーザーとの後続の音声対話の間に前記第2のユーザープロファイルを認識することとをさらに含む、実施形態1または2のいずれかに記載のコンピュータ実装方法。
4.前記第2の属性に少なくとも部分的に基づいて音声認識スコアを作成することと、発話トレーニングのために前記第2のユーザーからの追加の発話を得るように前記第2のユーザーに別のプロンプトを提供するかどうかを判断するために、前記音声認識スコアを閾値音声スコアに比較することと、前記音声認識スコアを前記閾値音声スコアに前記比較することに少なくとも部分的に基づいて、前記第2のユーザーから追加の発話を要求するために前記別のプロンプトを前記第2のユーザーに提供することとをさらに含む、実施形態1、2、または3のいずれかに記載のコンピュータ実装方法。
5.前記第2のユーザーのための前記特権のグループと関連付けられた期限切れを受け取ることであって、前記期限切れの経過が、前記特権のグループを前記第2のユーザープロファイルから取り消させる、前記受け取ることをさらに含む、実施形態1、2、3、または4のいずれかに記載のコンピュータ実装方法。
6.前記第1の特権を取り消すためのコマンドを含む前記第1のユーザーからの第3の発話に応えて前記第2のユーザープロファイルの前記特権のグループと関連付けられた第1の特権を取り消すこと、または前記第2の特権を追加するためのコマンドを含む前記第1のユーザーからの第3の発話に応えて前記第2のユーザープロファイルに第2の特権を追加することのうちの少なくとも1つをさらに含む、実施形態1、2、3、4、または5のいずれかに記載のコンピュータ実装方法。
7.1つ以上のプロセッサと、コンピュータ実装命令を記憶するメモリとを含むシステムであって、前記コンピュータ実装命令が実行されるとき、管理特権を有する第1のユーザープロファイルと関連付けられる第1のユーザーから第1の発話を受け取る行為であって、前記第1の発話が、特権及び前記特権を獲得するための第2のユーザーの少なくとも識別を含む、前記受け取る行為と、少なくとも前記第2のユーザー及び前記特権を決定するために前記第1の発話のコンテンツを処理する行為と、前記第2のユーザーから第2の発話を受け取る行為と、前記第2の発話から引き出される第2の属性を決定する行為であって、前記第2の属性が前記第2のユーザーと関連付けられた第2のユーザープロファイルと関連付けられた後続の発話の識別を可能にする、前記決定する行為と、前記第2の属性及び前記特権を前記第2のユーザープロファイルと関連付ける行為とを前記1つ以上のプロセッサに実行させる、前記システム。
8.前記コンピュータ実装命令が、前記1つ以上のプロセッサに、前記新しいユーザーにプロンプトを提供する行為であって、前記プロンプトが、前記第2のユーザーに、発話データとして受け取られる発話を提供するように要求する質問を含み、前記質問が、発話トレーニングプロセスにより使用される複数の所定の質問から選択される、前記提供する行為をさらに実行させる、実施形態7に記載のシステム。
9.前記第1の発話がグループの名称を含み、前記グループが少なくとも前記特権を含む、実施形態7または8のいずれかに記載のシステム。
10.前記コンピュータ実装命令が、前記1つ以上のプロセッサに、前記第2のユーザーによって提供される追加の発話に少なくとも部分的に基づいて、前記第2のユーザーを以前の発話データと関連付ける行為と、前記以前の発話データに少なくとも部分的に基づいて前記第2の属性を作成して、前記第2のユーザーとの後続の音声対話の間に前記第2のユーザープロファイルを認識する行為とをさらに実行させる、実施形態7、8、または9のいずれかに記載のシステム。
11.前記コンピュータ実装命令が、前記1つ以上のプロセッサに、前記第2の属性に少なくとも部分的に基づいて音声認識スコアを作成する行為と、前記音声認識スコアの閾値音声スコアとの比較に応えて、発話トレーニングのために前記第2のユーザーから追加の発話を得るように前記第2のユーザーにプロンプトを提供することを決定する行為とをさらに実行させる、実施形態7、8、9、または10のいずれかに記載のシステム。
12.前記コンピュータ実装命令が、前記1つ以上のプロセッサに、前記第2のユーザーのための前記特権と関連付けられた条件を受け取る行為と、前記第2のユーザーとの後続の音声対話に応えて前記条件を実施する行為とをさらに実行させる、実施形態7、8、9、10、または11のいずれかに記載のシステム。
13.前記コンピュータ実装命令が、前記1つ以上のプロセッサに、少なくとも1つの特権を取り消すためのコマンドを含む前記第1のユーザーからの第3の発話に応えて前記第2のユーザーと関連付けられた前記少なくとも1つの特権を取り消すための行為をさらに実行させる、実施形態7、8、9、10、11、または12のいずれかに記載のシステム。
14.前記コンピュータ実装命令が、前記1つ以上のプロセッサに、少なくとも1つの特権を追加するためのコマンドを含む前記第1のユーザーからの第3の発話に応えて前記第2のユーザープロファイルに前記少なくとも1つの特権を追加する行為をさらに実行させる、実施形態7、8、9、10、11、12、または13のいずれかに記載のシステム。
15.前記第1の発話が、少なくとも前記特権を含む第1のグループの名称を含み、前記第1のグループが、前記第2のユーザープロファイルに与えるために利用可能な特権の第2のグループとは異なる、実施形態7、8、9、10、11、12、13、または14のいずれかに記載のシステム。
16.前記コンピュータ実装命令が、前記1つ以上のプロセッサに、ボイスオーバーインターネットプロトコルを使用し、前記第2のユーザーと関連付けられたデバイスに接続する行為をさらに実行させ、前記第2のユーザーから第2の発話を前記受け取ることが、前記ボイスオーバーインターネットプロトコルを使用し、受け取られる、実施形態7、8、9、10、11、12、13、14、または15のいずれかに記載のシステム。
17.方法であって、管理特権を有する第1のユーザープロファイルと関連付けられる第1のユーザーから第1の発話を受け取ることであって、前記第1の発話が、特権及び前記特権を獲得するための第2のユーザーの少なくとも識別を含む、前記受け取ることと、前記第1の発話の第1の属性を分析して、前記第1の発話が前記第1のユーザープロファイルと関連付けられていると判断することと、前記第1の発話の処理に少なくとも部分的に基づいて前記第2のユーザー及び前記特権を決定することと、前記第2のユーザーから第2の発話を受け取ることと、前記第2の発話から引き出される第2の属性を決定することであって、前記第2の属性が、前記第2のユーザーと関連付けられた第2のユーザープロファイルと関連付けられた後続の発話の識別を可能にする、前記決定することと、前記第2の属性及び前記特権を前記第2のユーザープロファイルと関連付けることとを含む、前記方法。
18.前記第2の属性に少なくとも部分的に基づいて音声認識スコアを作成することと、発話トレーニングのために前記第2のユーザーからの追加の発話を得るように前記第2のユーザーに別のプロンプトを提供するかどうかを判断するために、前記音声認識スコアを閾値音声スコアに比較することとをさらに含む、実施形態17に記載の方法。
19.第1の特権を取り消すためのコマンドを含む前記第1のユーザーからの第3の発話に応えて前記第2のユーザープロファイルの前記特権のグループと関連付けられた前記第1の特権を取り消すこと、または第2の特権を追加するためのコマンドを含む前記第1のユーザーからの第3の発話に応えて前記第2のユーザープロファイルに前記第2の特権を追加することのうちの少なくとも1つをさらに含む、実施形態17または18のいずれかに記載の方法。
20.前記第2のユーザーのための前記特権と関連付けられた条件を受け取ることと、前記第2のユーザーとの後続の音声対話に応えて前記条件を実施することとをさらに含む、実施形態17、18、または19のいずれかに記載の方法。
結論
本主題は、構造的特徴及び/または方法論的行為に特有の言語で説明されてきたが、添付の特許請求の範囲で定義される本主題が必ずしも説明した特定の特徴または行為に限定されないことを理解されたい。むしろ、特定の特徴及び行為は、特許請求の範囲を実施する例示的形態として開示される。

Claims (15)

  1. 管理特権を有する第1のユーザープロファイルと関連付けられる第1のユーザーから第1の発話を受け取るステップであって、前記第1の発話は、特権のグループの識別及び前記特権のグループに含まれる特権を獲得する第2のユーザーの識別を少なくとも含む、ステップと、
    前記第1の発話の第1の属性を分析して、前記第1の発話が前記第1のユーザープロファイルと関連付けられていることを判断するステップと、
    前記第1の発話の処理に少なくとも部分的に基づいて、前記第2のユーザー及び前記特権のグループを決定するステップと、
    前記第2のユーザーから発話を要求する第1のプロンプトを提供するステップと、
    前記第2のユーザーから第2の発話を受け取るステップと、
    前記第2のユーザーと関連付けられた以前のやり取りがあるかどうかを前記第2のユーザーに問い合わせる第2のプロンプトを提供して、前記第2のユーザーから第3の発話を受け取るステップと、
    前記第3の発話が以前のやり取りがないことを示す場合に前記第2のユーザーに対する1つまたは複数の問い合わせを終了して、前記第2の発話から引き出される第2の属性を決定するステップであって、前記第2の属性は、前記第2のユーザーと関連付けられた後続の発話の識別を可能にする、ステップと、
    前記第2の属性及び前記特権のグループを第2のユーザープロファイルと関連付けるステップと
    を備えるコンピュータ実装方法。
  2. 前記第1のプロンプトが、前記第2のユーザーに、発話データとして受け取られる発話を提供するように要求する質問を含み、前記質問が、発話トレーニングプロセスにより使用される複数の所定の質問から選択されることを特徴とする請求項1に記載のコンピュータ実装方法。
  3. 前記第2のユーザーによって提供される発話に少なくとも部分的に基づいて前記第2のユーザーを以前の発話データと関連付けるステップであって、前記第2のユーザーによって提供される前記発話は、前記第2のユーザーに関する以前の家の住所または個人識別情報と関連付けられる、ステップと、
    前記以前の発話データに少なくとも部分的に基づいて前記第2の属性を作成して、前記第2のユーザーとの後続の音声対話の間に前記第2のユーザープロファイルを認識するステップと
    をさらに備えることを特徴とする請求項1または2に記載のコンピュータ実装方法。
  4. 前記第2の属性に少なくとも部分的に基づいて音声認識スコアを作成するステップと、
    発話トレーニングのために前記第2のユーザーからの追加の発話を得るように前記第2のユーザーに別のプロンプトを提供するかどうかを判断するために、前記音声認識スコアを閾値音声スコアに比較するステップと、
    前記音声認識スコアを前記閾値音声スコアに前記比較することに少なくとも部分的に基づいて、前記第2のユーザーから追加の発話を要求するために前記別のプロンプトを前記第2のユーザーに提供するステップと
    をさらに備えることを特徴とする請求項1、2、または3のいずれか一項に記載のコンピュータ実装方法。
  5. 前記第2のユーザーのための前記特権のグループと関連付けられた期限切れを受け取るステップであって、前記期限切れの経過が、前記特権のグループを前記第2のユーザープロファイルから取り消させる、ステップをさらに備えることを特徴とする請求項1、2、3、または4のいずれか一項に記載のコンピュータ実装方法。
  6. 第1の特権を取り消すためのコマンドを含む前記第1のユーザーからの第の発話に応えて前記第2のユーザープロファイルの前記特権のグループと関連付けられた前記第1の特権を取り消すステップ、または
    第2の特権を追加するためのコマンドを含む前記第1のユーザーからの第の発話に応えて前記第2の特権を前記第2のユーザープロファイルに追加するステップ
    のうちの少なくとも1つをさらに備えることを特徴とする請求項1、2、3、4、または5のいずれか一項に記載のコンピュータ実装方法。
  7. 1つ以上のプロセッサと、
    実行されると前記1つ以上のプロセッサに、
    管理特権を有する第1のユーザープロファイルと関連付けられる第1のユーザーから第1の発話を受け取り、前記第1の発話は、特権の識別及び前記特権を獲得する第2のユーザーの識別を少なくとも含み、
    少なくとも前記第2のユーザー及び前記特権を決定するために前記第1の発話のコンテンツを処理し、
    前記第2のユーザーから第2の発話を受け取り、
    前記第2のユーザーから第3の発話を受け取り、前記第3の発話は、前記第2のユーザーと関連付けられた以前のやり取りに関し、
    前記第3の発話が以前のやり取りがないことを示す場合に前記第2のユーザーに対する1つまたは複数の問い合わせを終了して、前記第2の発話から引き出される第2の属性を決定し、前記第2の属性は、前記第2のユーザーと関連付けられた第2のユーザープロファイルと関連付けられた後続の発話の識別を可能にし、
    前記第2の属性及び前記特権を前記第2のユーザープロファイルと関連付ける
    動作を行わせるコンピュータ実装命令を記憶するメモリと
    を備えたシステム。
  8. 前記コンピュータ実装命令は、前記1つ以上のプロセッサに、
    前記第2のユーザーにプロンプトを提供し、前記プロンプトは、発話データとして受け取られる発話を提供するように前記第2のユーザーに要求する質問を含み、前記質問は、発話トレーニングプロセスにより使用される複数の所定の質問から選択される動作をさらに行わせることを特徴とする請求項7に記載のシステム。
  9. 前記コンピュータ実装命令は、前記1つ以上のプロセッサに、
    前記第2のユーザーによって提供される発話に少なくとも部分的に基づいて前記第2のユーザーを以前の発話データと関連付け、前記第2のユーザーによって提供される前記発話は、前記第2のユーザーに関する以前の家の住所または個人識別情報と関連付けられ
    前記以前の発話データに少なくとも部分的に基づいて前記第2の属性を作成して、前記第2のユーザーとの後続の音声対話の間に前記第2のユーザープロファイルを認識する
    動作をさらに行わせることを特徴とする請求項7または8に記載のシステム。
  10. 前記コンピュータ実装命令は、前記1つ以上のプロセッサに、
    前記第2の属性に少なくとも部分的に基づいて音声認識スコアを作成し、
    前記音声認識スコアの閾値音声スコアとの比較に応えて、発話トレーニングのために前記第2のユーザーから追加の発話を得るように前記第2のユーザーにプロンプトを提供することを決定する
    動作をさらに行わせることを特徴とする請求項7、8、または9のいずれか一項に記載のシステム。
  11. 前記コンピュータ実装命令は、前記1つ以上のプロセッサに、
    前記第2のユーザーのための前記特権と関連付けられた条件を受け取り、
    前記第2のユーザーとの後続の音声対話に応えて前記条件を実施する
    動作をさらに行わせることを特徴とする請求項7、8、9、または10のいずれか一項に記載のシステム。
  12. 前記コンピュータ実装命令は、前記1つ以上のプロセッサに、
    少なくとも1つの特権を取り消すためのコマンドを含む前記第1のユーザーからの第の発話に応えて前記第2のユーザーと関連付けられた少なくとも前記1つの特権を取り消す動作をさらに行わせることを特徴とする請求項7、8、9、10、または11のいずれか一項に記載のシステム。
  13. 前記コンピュータ実装命令は、前記1つ以上のプロセッサに、
    少なくとも1つの特権を追加するためのコマンドを含む前記第1のユーザーからの第の発話に応えて前記第2のユーザープロファイルに少なくとも前記1つの特権を追加する動作をさらに行わせることを特徴とする請求項7、8、9、10、11、または12のいずれか一項に記載のシステム。
  14. 前記第1の発話が、少なくとも前記特権を含む第1のグループの名称を含み、前記第1のグループが、前記第2のユーザープロファイルに与えるために利用可能な特権の第2のグループとは異なることを特徴とする請求項7、8、9、10、11、12、または13のいずれか一項に記載のシステム。
  15. 前記コンピュータ実装命令は、前記1つ以上のプロセッサに、
    ボイスオーバーインターネットプロトコルを使用して前記第2のユーザーと関連付けられたデバイスに接続し、前記第2のユーザーから前記第2の発話を前記受け取ることは、前記ボイスオーバーインターネットプロトコルを使用して受け取られる動作さらに行わせることを特徴とする請求項7、8、9、10、11、12、13、または14のいずれか一項に記載のシステム。
JP2019570509A 2017-09-08 2018-09-07 音声アシスタントシステムのための発話による特権の管理 Active JP6949149B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/700,008 2017-09-08
US15/700,008 US10438594B2 (en) 2017-09-08 2017-09-08 Administration of privileges by speech for voice assistant system
PCT/US2018/049936 WO2019051214A1 (en) 2017-09-08 2018-09-07 ADMINISTRATION OF PRIVILEGES BY SPEECH FOR A VOICE ASSISTANT SYSTEM

Publications (2)

Publication Number Publication Date
JP2020525903A JP2020525903A (ja) 2020-08-27
JP6949149B2 true JP6949149B2 (ja) 2021-10-13

Family

ID=63684595

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019570509A Active JP6949149B2 (ja) 2017-09-08 2018-09-07 音声アシスタントシステムのための発話による特権の管理

Country Status (5)

Country Link
US (1) US10438594B2 (ja)
EP (1) EP3679571B1 (ja)
JP (1) JP6949149B2 (ja)
CN (1) CN110800044B (ja)
WO (1) WO2019051214A1 (ja)

Families Citing this family (97)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
CN104969289B (zh) 2013-02-07 2021-05-28 苹果公司 数字助理的语音触发器
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US10395655B1 (en) * 2017-09-13 2019-08-27 Amazon Technologies, Inc. Proactive command framework
US10567515B1 (en) * 2017-10-26 2020-02-18 Amazon Technologies, Inc. Speech processing performed with respect to first and second user profiles in a dialog session
KR102392717B1 (ko) * 2017-12-08 2022-04-29 구글 엘엘씨 네트워크 시스템의 분산 식별
US11295748B2 (en) * 2017-12-26 2022-04-05 Robert Bosch Gmbh Speaker identification with ultra-short speech segments for far and near field voice assistance applications
US10937431B2 (en) * 2017-12-27 2021-03-02 Rovi Guides, Inc. Systems and methods for identifying users based on voice data and media consumption data
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10978056B1 (en) 2018-04-20 2021-04-13 Facebook, Inc. Grammaticality classification for natural language generation in assistant systems
US10782986B2 (en) 2018-04-20 2020-09-22 Facebook, Inc. Assisting users with personalized and contextual communication content
US11115410B1 (en) 2018-04-20 2021-09-07 Facebook, Inc. Secure authentication for assistant systems
US11715042B1 (en) 2018-04-20 2023-08-01 Meta Platforms Technologies, Llc Interpretability of deep reinforcement learning models in assistant systems
US11886473B2 (en) 2018-04-20 2024-01-30 Meta Platforms, Inc. Intent identification for agent matching by assistant systems
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10949616B1 (en) 2018-08-21 2021-03-16 Facebook, Inc. Automatically detecting and storing entity information for assistant systems
US10896295B1 (en) 2018-08-21 2021-01-19 Facebook, Inc. Providing additional information for identified named-entities for assistant systems
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10908883B2 (en) * 2018-11-13 2021-02-02 Adobe Inc. Voice interaction development tool
US10847156B2 (en) 2018-11-28 2020-11-24 Adobe Inc. Assembled voice interaction
US11165779B2 (en) * 2018-11-29 2021-11-02 International Business Machines Corporation Generating a custom blacklist for a listening device based on usage
CN111258528B (zh) * 2018-12-03 2021-08-13 华为技术有限公司 语音用户界面的显示方法和会议终端
US11516220B1 (en) 2018-12-28 2022-11-29 Juniper Networks, Inc. Creating roles and controlling access within a computer network
US11070540B1 (en) 2018-12-28 2021-07-20 Juniper Networks, Inc. Dynamic provisioning of user groups within computer networks based on user attributes
US11017771B2 (en) 2019-01-18 2021-05-25 Adobe Inc. Voice command matching during testing of voice-assisted application prototypes for languages with non-phonetic alphabets
US10964322B2 (en) 2019-01-23 2021-03-30 Adobe Inc. Voice interaction tool for voice-assisted application prototypes
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11468881B2 (en) * 2019-03-29 2022-10-11 Samsung Electronics Co., Ltd. Method and system for semantic intelligent task learning and adaptive execution
US11093715B2 (en) 2019-03-29 2021-08-17 Samsung Electronics Co., Ltd. Method and system for learning and enabling commands via user demonstration
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US10867608B1 (en) * 2019-05-31 2020-12-15 Apple Inc. Multi-user configuration
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11010121B2 (en) 2019-05-31 2021-05-18 Apple Inc. User interfaces for audio media control
KR20240049648A (ko) 2019-05-31 2024-04-16 애플 인크. 오디오 미디어 제어를 위한 사용자 인터페이스
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11657094B2 (en) 2019-06-28 2023-05-23 Meta Platforms Technologies, Llc Memory grounded conversational reasoning and question answering for assistant systems
US11442992B1 (en) 2019-06-28 2022-09-13 Meta Platforms Technologies, Llc Conversational reasoning with knowledge graph paths for assistant systems
TWI714212B (zh) * 2019-08-14 2020-12-21 緯創資通股份有限公司 跨平台通訊方法、伺服器裝置與電子裝置
US20210090561A1 (en) 2019-09-24 2021-03-25 Amazon Technologies, Inc. Alexa roaming authentication techniques
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11567788B1 (en) 2019-10-18 2023-01-31 Meta Platforms, Inc. Generating proactive reminders for assistant systems
US11636438B1 (en) 2019-10-18 2023-04-25 Meta Platforms Technologies, Llc Generating smart reminders by assistant systems
FR3105501B1 (fr) 2019-12-24 2022-07-29 Atos Integration Système d’assistant personnel vocal pour une gestion de dialogue avec une application d’invitations exécutables
US11562744B1 (en) 2020-02-13 2023-01-24 Meta Platforms Technologies, Llc Stylizing text-to-speech (TTS) voice response for assistant systems
US11159767B1 (en) 2020-04-07 2021-10-26 Facebook Technologies, Llc Proactive in-call content recommendations for assistant systems
US11043220B1 (en) 2020-05-11 2021-06-22 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
FR3110992A1 (fr) 2020-05-28 2021-12-03 Bull Sas Application exécutable sur un Objet Intelligent et Communicant pour réserver une salle
US11658835B2 (en) 2020-06-29 2023-05-23 Meta Platforms, Inc. Using a single request for multi-person calling in assistant systems
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11615795B2 (en) 2020-08-03 2023-03-28 HCL America Inc. Method and system for providing secured access to services rendered by a digital voice assistant
US11563706B2 (en) 2020-12-29 2023-01-24 Meta Platforms, Inc. Generating context-aware rendering of media contents for assistant systems
US11809480B1 (en) 2020-12-31 2023-11-07 Meta Platforms, Inc. Generating dynamic knowledge graph of media contents for assistant systems
US20220237309A1 (en) * 2021-01-26 2022-07-28 EMC IP Holding Company LLC Signal of risk access control
US11861315B2 (en) 2021-04-21 2024-01-02 Meta Platforms, Inc. Continuous learning for natural-language understanding models for assistant systems
US11960615B2 (en) 2021-06-06 2024-04-16 Apple Inc. Methods and user interfaces for voice-based user profile management
US11882237B1 (en) * 2022-11-30 2024-01-23 Gmeci, Llc Apparatus and methods for monitoring human trustworthiness

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2239339C (en) * 1997-07-18 2002-04-16 Lucent Technologies Inc. Method and apparatus for providing speaker authentication by verbal information verification using forced decoding
US20020023231A1 (en) * 2000-07-28 2002-02-21 Jan Pathuel Method and system of securing data and systems
CA2429171C (en) 2002-06-27 2016-05-17 Yi Tang Voice controlled business scheduling system and method
US20050071168A1 (en) * 2003-09-29 2005-03-31 Biing-Hwang Juang Method and apparatus for authenticating a user using verbal information verification
WO2006006120A1 (en) * 2004-07-05 2006-01-19 Philips Intellectual Property & Standards Gmbh A method for establishing an access for a user to a system
US20060085189A1 (en) * 2004-10-15 2006-04-20 Derek Dalrymple Method and apparatus for server centric speaker authentication
US7826945B2 (en) * 2005-07-01 2010-11-02 You Zhang Automobile speech-recognition interface
US7949529B2 (en) * 2005-08-29 2011-05-24 Voicebox Technologies, Inc. Mobile systems and methods of supporting natural language human-machine interactions
US7940908B2 (en) * 2006-02-23 2011-05-10 Qualcomm Incorporated Sharing profile data between telecommunication devices
US8214208B2 (en) * 2006-09-28 2012-07-03 Reqall, Inc. Method and system for sharing portable voice profiles
US8838646B2 (en) * 2008-03-05 2014-09-16 International Business Machines Corporation Using social networking thresholds in access control decisions
US20100015976A1 (en) * 2008-07-17 2010-01-21 Domingo Enterprises, Llc System and method for sharing rights-enabled mobile profiles
US8526587B2 (en) * 2009-12-23 2013-09-03 Oracle America, Inc. Web guided collaborative audio
JP2013529794A (ja) * 2010-06-24 2013-07-22 本田技研工業株式会社 車載音声認識システム及び車両外音声認識システム間の通信システム及び方法
EP2938022A4 (en) 2012-12-18 2016-08-24 Samsung Electronics Co Ltd METHOD AND DEVICE FOR REMOTE CONTROL OF A HOME DEVICE IN A HOME NETWORK SYSTEM
US8977555B2 (en) * 2012-12-20 2015-03-10 Amazon Technologies, Inc. Identification of utterance subjects
US9117451B2 (en) * 2013-02-20 2015-08-25 Google Inc. Methods and systems for sharing of adapted voice profiles
CN105009205B (zh) * 2013-03-08 2019-11-05 索尼公司 用于启用网络的设备上的语音识别输入的方法和系统
WO2014172321A1 (en) * 2013-04-15 2014-10-23 Flextronics Ap, Llc Access and portability of user profiles stored as templates
US9607137B2 (en) 2013-12-17 2017-03-28 Lenovo (Singapore) Pte. Ltd. Verbal command processing based on speaker recognition
US9666204B2 (en) * 2014-04-30 2017-05-30 Qualcomm Incorporated Voice profile management and speech signal generation
US10446141B2 (en) * 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9934221B2 (en) * 2014-09-29 2018-04-03 Amazon Technologies, Inc. Remote access control for stored data
US10127911B2 (en) * 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9646611B2 (en) * 2014-11-06 2017-05-09 Microsoft Technology Licensing, Llc Context-based actions
US9544412B2 (en) 2015-03-09 2017-01-10 Ford Global Technologies, Llc Voice profile-based in-vehicle infotainment identity identification
US9701280B2 (en) * 2015-04-03 2017-07-11 GM Global Technology Operations LLC Revocation of mobile device communication control privileges
US10743101B2 (en) * 2016-02-22 2020-08-11 Sonos, Inc. Content mixing
CN106506442B (zh) * 2016-09-14 2018-03-30 上海百芝龙网络科技有限公司 一种智能家居多用户身份识别及其权限管理系统
US10467509B2 (en) * 2017-02-14 2019-11-05 Microsoft Technology Licensing, Llc Computationally-efficient human-identifying smart assistant computer

Also Published As

Publication number Publication date
US20190080698A1 (en) 2019-03-14
JP2020525903A (ja) 2020-08-27
CN110800044B (zh) 2024-04-05
WO2019051214A1 (en) 2019-03-14
EP3679571B1 (en) 2023-01-11
CN110800044A (zh) 2020-02-14
EP3679571A1 (en) 2020-07-15
US10438594B2 (en) 2019-10-08

Similar Documents

Publication Publication Date Title
JP6949149B2 (ja) 音声アシスタントシステムのための発話による特権の管理
US11289100B2 (en) Selective enrollment with an automated assistant
US11355098B1 (en) Centralized feedback service for performance of virtual assistant
US10410630B2 (en) System and method for speech-enabled personalized operation of devices and services in multiple operating environments
KR20220024557A (ko) 자동화된 어시스턴트에 의한 응답 액션을 트리거하기 위한 핫 명령의 검출 및/또는 등록
JP6084654B2 (ja) 音声認識装置、音声認識システム、当該音声認識システムで使用される端末、および、話者識別モデルを生成するための方法
US11810557B2 (en) Dynamic and/or context-specific hot words to invoke automated assistant
JP2020502682A (ja) 対話型アシスタントモジュールによるアクセスの条件付き提供
KR102421668B1 (ko) 패킷화된 오디오 신호의 인증
KR102451925B1 (ko) 자연 언어 처리를 위한 네트워크-기반 학습 모델
US10880384B1 (en) Multi-tasking resource management
US11556575B2 (en) System answering of user inputs
US20230005480A1 (en) Voice Filtering Other Speakers From Calls And Audio Messages
US11575758B1 (en) Session-based device grouping
CN112700767A (zh) 人机对话打断方法及装置
US11854552B2 (en) Contact list reconciliation and permissioning
US11368579B1 (en) Presence-based notification system
KR20230147157A (ko) 어시스턴트 명령(들)의 컨텍스트적 억제
US11914923B1 (en) Computer system-based pausing and resuming of natural language conversations
US11533283B1 (en) Voice user interface sharing of content
US20240135932A1 (en) Contact list reconciliation and permissioning

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210528

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210824

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210921

R150 Certificate of patent or registration of utility model

Ref document number: 6949149

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150