JP6928046B2 - パーソナルアシスタントモジュールとの会話への選択可能アプリケーションリンクの組込み - Google Patents

パーソナルアシスタントモジュールとの会話への選択可能アプリケーションリンクの組込み Download PDF

Info

Publication number
JP6928046B2
JP6928046B2 JP2019173285A JP2019173285A JP6928046B2 JP 6928046 B2 JP6928046 B2 JP 6928046B2 JP 2019173285 A JP2019173285 A JP 2019173285A JP 2019173285 A JP2019173285 A JP 2019173285A JP 6928046 B2 JP6928046 B2 JP 6928046B2
Authority
JP
Japan
Prior art keywords
user
personal assistant
assistant module
client computing
message exchange
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019173285A
Other languages
English (en)
Other versions
JP2020042826A (ja
Inventor
ティルケ・ジャッド
ヤリーヴ・アダン
ザヒド・サバー
ベーシャド・ベーザディ
ルーカス・ミレルマン
ジャン・ラメッキ
ダルヴ・バクシ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2020042826A publication Critical patent/JP2020042826A/ja
Application granted granted Critical
Publication of JP6928046B2 publication Critical patent/JP6928046B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046—Interoperability with other network applications or services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/06—Message adaptation to terminal or network requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/18—Commands or executable codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21—Monitoring or handling of messages
    • H04L51/216—Handling conversation history, e.g. grouping of messages in sessions or threads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Stored Programmes (AREA)
  • Information Transfer Between Computers (AREA)

Description

本発明は、パーソナルアシスタントモジュールとの会話への選択可能アプリケーションリンクの組込みに関する。
パーソナルアシスタントモジュールは、ユーザが自然言語コマンドを発行するためのユーザフレンドリーなインターフェースを提供するために、スマートフォン、タブレット、車両ナビゲーションシステム、およびスマートウォッチなど、コンピューティングデバイス上にインストールされたソフトウェアプロセスである。ユーザは、自分の音声を使用して、自然言語コマンドを発行することが多いが、パーソナルアシスタントモジュールは、様々な形態のテキストおよび/または画像入力など、他のモダリティにも同様に応答し得る。ユーザとパーソナルアシスタントモジュールとの間で交換されるコンテンツは、典型的には、(たとえば、タイピングされるか、または音声入力から生成される)テキスト、または写真などの他のデータに限定され、典型的には、後で使用するために保存されない。したがって、会話に関係する外部情報を求めるユーザは、所望の情報を取得するために、ウェブブラウザなど、異なるアプリケーションに切り替えなければならない。特に一度に単一のアプリケーションのみを表示することが多いモバイルデバイスを使用する、アプリケーションの切替えは、特に不器用なユーザにとって、気が散り、面倒である場合があり、会話の流れを中断させることがある。
本開示は、概して、「選択可能アプリケーションリンク」-ユーザを別のアプリケーションに関連付けられたインターフェースにエクスポーズするために、ユーザとパーソナルアシスタントモジュールとの間のメッセージ交換スレッドに組み込まれたグラフィカル要素-を、ユーザによって操作されたクライアントコンピューティングデバイス(または単に「クライアントデバイス」)上でレンダリングされる、メッセージ交換スレッドのトランスクリプトに直接組み込むための、方法、装置、およびコンピュータ可読媒体(一時的および非一時的)を対象とする。様々な実装形態では、トランスクリプトに組み込まれる選択可能アプリケーションリンクは、トランスクリプトをレンダリングするクライアントデバイスのリソースによって規定され得る。たとえば、メッセージ交換スレッドのコンテンツに何らかの形で関連する-および、また、パーソナルアシスタントモジュールと対話するユーザによって操作されたクライアントコンピューティングデバイス上にインストールされている-1つまたは複数の「候補アプリケーション」が識別され得る。いくつかの実装形態では、インストールされたアプリケーションへの選択可能アプリケーションリンクのみが提示され得る。他の実装形態では、適用可能なアプリケーションがインストールされていない場合、(たとえば、アプリストアにおける、またはウェブページ上の)アプリケーションインストーラ、またはインストールされていないアプリへの対応する機能を有するウェブページへの、リンクが代わりに含まれ得る。メッセージ交換スレッドへの選択可能アプリケーションリンクの組込みによって、リンクを介して利用可能であるコンテンツにアクセスするために、ユーザがデバイスに対して行わなければならないユーザ入力の数が低減され得る。これは、あまり器用ではないユーザ、またはさもなければデバイスに対してユーザ入力を行うことが困難であるユーザにとって、特に有効であり得る。少なくともこれらのユーザにとって、メッセージ交換スレッドへの選択可能示唆の組込みによって、たとえば、ユーザがあまり器用ではないために誤りをすることを省くことによって、デバイスの使用の信頼性および速度を高めることができる。
トランスクリプトへの選択可能アプリケーションリンクの組込みは、様々なキューによってトリガされ得る。いくつかの実装形態では、キューは、ユーザによって操作された1つまたは複数のクライアントコンピューティングデバイスによって、メッセージ交換スレッドに組み込まれたコンテンツから発出し得る。たとえば、ユーザは、スマートウォッチ上で動作するパーソナルアシスタントモジュールのインスタンスに、「今夜の自分のスケジュールはどうなっているか?」と尋ねることがある。パーソナルアシスタントモジュールは、ユーザのカレンダーおよび/または他のデータソース(オンラインであるか、またはクライアントデバイスのローカルであり得る)を検索し、その晩のユーザのプランがないと応答することがある。後に、ユーザは、スマートフォンまたはタブレットなど、異なるクライアントデバイス上で動作するパーソナルアシスタントモジュールの第2のインスタンスと対話することがある。ユーザは、「XYZカフェの予約を取ろう」のようなことを言うことがある。ユーザは、いつ予約するべきであるかについて明確にしなかったので、パーソナルアシスタントモジュールの第2のインスタンスは、永続的メッセージ交換スレッドを調べて、-スマートウォッチ上で動作するパーソナルアシスタントモジュールの第1のインスタンスへのユーザの前の質問、および/またはそれに対する応答に基づいて-ユーザが今晩を意図したことを推論し得る。そのような推論を行うことによって、ユーザから必要とされる入力の数をさらに低減することが可能である。
クライアントデバイス上にインストールされたアプリケーションは、様々な方法で識別され得る。いくつかの実装形態では、クライアントデバイス上にインストールされたアプリケーションは、たとえば、ユーザによって操作されたクライアントデバイスの協調「エコシステム」を形成する、1つまたは複数のクライアントデバイス上にインストールされたアプリケーションのレコードを有する、アプリケーションストアサーバによって、クライアントデバイスからリモートで知られ得る。そのような場合、クライアントデバイス上にインストールされていることが知られているアプリケーションに関連付けられた1つまたは複数の選択可能アプリケーションリンクを示すデータが、クライアントデバイスにダウンロードされ、クライアントデバイスがそれらのアプリケーションへの選択可能アプリケーションリンクをメッセージスレッドに組み込むことができるようにされ得る。少なくともこれらのシナリオでは、メッセージ交換スレッドにおいて組み込まれた選択可能リンクは、-少なくとも、データが1つまたは複数の外部コンピュータからデバイスにダウンロードされることを引き起こすことによって-それにおいてリンクが表示されるデバイスの外側に影響を及ぼし得る。このプロセスは、選択可能リンクによってより信頼性が高くなり得、それによって、誤った手動の検索結果のユーザ選択など、1つまたは複数の誤ったユーザ入力のために、誤ったデータがデバイスにダウンロードされるリスクが著しく低減されることを保証する。これによって、ネットワークトラフィックが低減し、システム全体をより効率的に動作させることができる。いくつかの実装形態では、複数のインストールされたアプリケーションが、リモートで識別され得(および、それを示すデータがクライアントにダウンロードされ)、次いで、クライアントデバイスは、(たとえば、ユーザのエコシステムの1つまたは複数のクライアントコンピューティングデバイスの間の、または単一のクライアントコンピューティングデバイス上の)アプリケーションの使用の頻度など、様々な信号に基づいて、複数のアプリケーションのサブセットを選択し得る。いくつかの実装形態では、クライアントデバイス自体が、インストールされたアプリケーションを識別し得る。たとえば、アプリケーション「カテゴリ」(たとえば、「マップ」、「予約」、「音楽」、「映画」、「メッセージング」、「ビデオ会議」、「電話」など)が、メッセージ交換スレッドのコンテンツに基づいて識別され得、次いで、クライアントデバイスは、カテゴリ内で、もしあれば、どの一致するアプリケーションをそれがインストールしたかを識別し得る。
いくつかの実装形態では、以下の動作、すなわち、ユーザによって操作されたクライアントコンピューティングデバイスによって、クライアントコンピューティングデバイスを操作している間にユーザにサービスするために、パーソナルアシスタントモジュールのインスタンスを動作させるステップであって、パーソナルアシスタントモジュールのインスタンスが、ユーザと、パーソナルアシスタントモジュールの1つまたは複数のインスタンスとの間の、メッセージ交換スレッドの永続的レコードへのアクセスを有する、ステップと、パーソナルアシスタントモジュールのインスタンスによって、永続的メッセージ交換スレッドから発出する1つまたは複数のキューを検出するステップであって、1つまたは複数のキューが、パーソナルアシスタントモジュールのインスタンスとは異なる1つまたは複数のアプリケーションへの1つまたは複数の選択可能リンクの、永続的メッセージ交換スレッドへの組込みをトリガする、ステップと、パーソナルアシスタントモジュールのインスタンスによって、ユーザによって操作されたクライアントコンピューティングデバイス上にインストールされている1つまたは複数の候補アプリケーションを識別するステップであって、1つまたは複数の候補アプリケーションが、メッセージ交換スレッドのコンテンツに関連付けられる、ステップと、パーソナルアシスタントモジュールのインスタンスによって、1つまたは複数の選択可能リンクを、クライアントコンピューティングデバイス上にレンダリングされたグラフィカルユーザインターフェースにおいて表示されるメッセージ交換スレッドのトランスクリプトに組み込むステップであって、各選択可能リンクが、それぞれの候補アプリケーションに関連付けられたインターフェースをユーザにエクスポーズすることをクライアントコンピューティングデバイスに行わせるようにユーザによって操作可能である、ステップとを含む、コンピュータ実装方法が提供され得る。
本明細書で開示する技術のこの方法および他の実装形態は、各々、以下の特徴のうちの1つまたは複数をオプションで含み得る。
様々な実装形態では、クライアントコンピューティングデバイスは、ユーザによって操作された複数のクライアントコンピューティングデバイスのうちの1つであり得、複数のクライアントコンピューティングデバイスの各々は、永続的メッセージ交換スレッドへのアクセスをもつパーソナルアシスタントモジュールの別個のインスタンスを動作させるように構成され得る。様々な実装形態では、1つまたは複数のキューは、複数のクライアントコンピューティングデバイスのうちの異なるクライアントコンピューティングデバイスによって、永続的メッセージ交換スレッドに組み込まれた複数のメッセージを備える。
様々な実装形態では、識別するステップが、クライアントコンピューティングデバイスからリモートであるプロセッサのうちの1つまたは複数によって行われ得、1つまたは複数の選択可能リンクを示すデータが、クライアントコンピューティングデバイスにダウンロードされる。様々な実装形態では、方法は、パーソナルアシスタントモジュールのインスタンスによって、1つまたは複数の情報信号に基づいて、表示のために、ダウンロードされた1つまたは複数の選択可能リンクのサブセットを選択するステップをさらに含み得る。様々な実装形態では、1つまたは複数の情報信号は、1つまたは複数の候補アプリケーションの使用の頻度を含み得る。
様々な実装形態では、識別するステップが、クライアントコンピューティングデバイスと一体であるプロセッサのうちの1つまたは複数によって行われ得る。様々な実装形態では、1つまたは複数のキューは、メッセージ交換スレッドのコンテンツから発出し得る。様々な実装形態では、1つまたは複数のキューは、特定のアプリケーションに関連付けられたキーワードまたはフレーズを含み得る。
様々な実装形態では、識別するステップは、メッセージ交換スレッドのコンテンツに関連付けられた所与のアプリケーションが、クライアントコンピューティングデバイス上にインストールされていないとの決定に応答して、クライアントコンピューティングデバイス上にインストールされたウェブブラウザを、候補アプリケーションとして識別するステップを含み得る。様々な実装形態では、組み込むステップは、インタラクティブなウェブページへの選択可能リンクを、トランスクリプトに組み込むステップであって、インタラクティブなウェブページが、クライアントコンピューティングデバイス上にインストールされていない所与のアプリケーションの機能に対応する機能を含み得る、ステップを含み得る。
様々な実装形態では、識別するステップは、メッセージ交換スレッドのコンテンツに関連付けられた所与のアプリケーションが、クライアントコンピューティングデバイス上にインストールされていないとの決定に応答して、クライアントコンピューティングデバイス上にインストールされたウェブブラウザを、候補アプリケーションとして識別するステップを含み得る。様々な実装形態では、組み込むステップは、所与のアプリケーションのインストーラをダウンロードすることに関連付けられたウェブページへの選択可能リンクを、トランスクリプトに組み込むステップを含み得る。
様々な実装形態では、グラフィカルユーザインターフェースは、動作可能部分と永続的部分とを含み得る。トランスクリプトは、永続的部分においてレンダリングされ得る。動作可能部分は、コンテンツをメッセージ交換スレッドに組み込むように動作可能である1つまたは複数のグラフィカル要素を含み得る。いくつかのそのような実装形態では、方法は、1つまたは複数の信号に基づいて、少なくとも1つの非永続的選択可能リンクを、グラフィカルユーザインターフェースの動作可能部分に選択的に組み込むステップであって、少なくとも1つの非永続的選択可能リンクが、特定の候補アプリケーションに関連付けられたインターフェースをユーザにエクスポーズすることをクライアントコンピューティングデバイスに行わせるようにユーザによって操作可能である、ステップをさらに含み得る。いくつかの実装形態では、1つまたは複数の信号は、ユーザと特定の候補アプリケーションとの間の対話の履歴を含み得る。
他の実装形態は、上記で説明した方法のうちの1つまたは複数などの方法を行うために、プロセッサによって実行可能な命令を記憶する、非一時的コンピュータ可読記憶媒体を含み得る。また別の実装形態は、メモリと、上記で説明した方法のうちの1つまたは複数などの方法を単独で、または集合的に行う、1つまたは複数のモジュールまたはエンジンを実装するために、メモリにおいて記憶された命令を実行するように動作可能な1つまたは複数のプロセッサとを含む、システムを含み得る。
本明細書でより詳細に説明する上記の概念および追加の概念のすべての組合せが、本明細書で開示する主題の一部であるとして企図されることを諒解されたい。たとえば、本開示の最後に現れる、請求される主題のすべての組合せが、本明細書で開示する主題の一部であるとして企図される。
様々な実装形態による、1つまたは複数の選択可能アプリケーションリンクがメッセージ交換スレッドに組み込まれ得る環境を示す図である。 様々な実装形態による、クライアントデバイスがグラフィカルユーザインターフェースをどのようにレンダリングし得るかの例を示す図である。 様々な実装形態による、クライアントデバイスがグラフィカルユーザインターフェースをどのようにレンダリングし得るかの例を示す図である。 様々な実装形態による、クライアントデバイスがグラフィカルユーザインターフェースをどのようにレンダリングし得るかの例を示す図である。 様々な実装形態による、個々のクライアントデバイスが、ローカルにインストールされている候補アプリケーションをどのように識別し得るかの一例を示す図である。 様々な実装形態による、個々のクライアントデバイス上にインストールされている候補アプリケーションが、どのようにリモートで識別され得るかの一例を示す図である。 様々な実装形態による例示的な方法を示すフローチャートである。 様々な実装形態による、クライアントデバイスがグラフィカルユーザインターフェースをどのようにレンダリングし得るかの別の例を示す図である。 コンピュータシステムの例示的なアーキテクチャを概略的に示す図である。
図1は、1つまたは複数の「選択可能アプリケーションリンク」が、ユーザと、ユーザによって操作されたクライアントデバイス上でレンダリングされるパーソナルアシスタントモジュールの1つまたは複数のインスタンスとの間の、メッセージ交換スレッドのトランスクリプトに直接組み込まれ得る、環境を示す。例示的な環境は、複数のクライアントデバイス1061〜Nと、知識システム102とを含む。知識システム102は、たとえば、ネットワークを通して通信する1つまたは複数のコンピュータにおいて実装され得る。知識システム102は、それにおいて本明細書で説明するシステム、構成要素、および技法が実装され得、かつ/またはそれとともに本明細書で説明するシステム、構成要素、および技法がインターフェースし得る、情報取出しシステムの一例である。
ユーザは、クライアントデバイスの協調「エコシステム」108を集合的に形成する、1つまたは複数のクライアントデバイス106を介して、知識システム102と対話し得る。ユーザのエコシステム108の各クライアントデバイス106は、ローカルエリアネットワーク(LAN)、またはインターネットなどのワイドエリアネットワーク(WAN)など、1つまたは複数のネットワーク110を通して、知識システム102に結合されたコンピュータであり得る。各クライアントデバイス106は、たとえば、デスクトップコンピューティングデバイス、ラップトップコンピューティングデバイス、タブレットコンピューティングデバイス、モバイルフォンコンピューティングデバイス、ユーザの車両のコンピューティングデバイス(たとえば、車内通信システム、車内エンターテインメントシステム、車内ナビゲーションシステム)、または、コンピューティングデバイスを含むユーザのウェアラブルな装置(たとえば、コンピューティングデバイスを有するユーザの時計、コンピューティングデバイスを有するユーザの眼鏡)であり得る。追加のおよび/または代替的なクライアントデバイスが提供され得る。
各クライアントデバイス106は、パーソナルアシスタントモジュール107、ならびに/または図1に示されているアプリケーション、アプリA、アプリB、アプリC、アプリD、およびアプリEなど、様々な異なるアプリケーションを動作させ得る。異なる仮想的アプリケーションが、異なるクライアントデバイス106上にインストールされていることを見ることができる。たとえば、第1のクライアントデバイス1061には、アプリAと、アプリBと、アプリCとがインストールされている。別のクライアントデバイス106NにもまたアプリAがインストールされているが、アプリBまたはアプリCはインストールされていない。しかしながら、他のクライアントデバイス106Nには、アプリDとアプリEとがインストールされている。アプリA〜Eは、様々なイベントに応答して、クライアントデバイス106のユーザにエクスポーズされたインターフェースを有することができる、任意のアプリケーションを一般的に指すように意図されている。アプリケーションインターフェースは、(たとえば、不揮発性メモリから)アプリケーションをロードすること/開くこと/起動することによって、または、アプリケーションがバックグラウンドにおいて既に開始され/開かれ/起動されている場合、アプリケーションをフォアグラウンドに持ってくる(たとえば、アプリケーションウィンドウをアクティブウィンドウにする)ことによって、ユーザに「エクスポーズ」され(すなわち、ユーザがそれと対話することを可能にし)得る。これらのアプリ(および、本明細書で言及する任意の「候補アプリケーション」)は、限定はしないが、予約するかまたはチケットを取得するためのアプリケーション(たとえば、レストラン予約、ホテル予約、航空会社予約、列車予約、イベント予約など)、マップアプリケーション、カレンダーアプリケーション、リマインダアプリケーション、媒体消費アプリケーション(たとえば、音楽またはビデオプレーヤ)、ゲーム、メッセージングアプリ、天気アプリ、不動産アプリ、ヘルストラッキングアプリ、ショッピングアプリ、ニュースアプリ、ライドシェアリングアプリ、ワードプロセッサまたは表計算アプリケーションなどの生産性アプリケーション、電話アプリケーション、ウェブブラウザなどを含み得る。
各クライアントデバイス106および知識システム102は、データおよびソフトウェアアプリケーションの記憶のための1つまたは複数のメモリ、データにアクセスし、アプリケーションを実行するための1つまたは複数のプロセッサ、ならびにネットワークを介した通信を容易にする他の構成要素を含み得る。1つまたは複数のクライアントデバイス106および/または知識システム102によって行われる動作は、複数のコンピュータシステムにわたって分散され得る。知識システム102は、たとえば、ネットワークを通して互いに結合される、1つまたは複数のロケーションにおける、1つまたは複数のコンピュータ上で実行する、コンピュータプログラムとして実装され得る。
様々な実装形態では、知識システム102は、パーソナルアシスタントエンジン120と、アプリケーションエンジン122と、インデクシングエンジン126と、情報エンジン130と、ランキングエンジン134と、代替クエリ示唆エンジン136とを含み得る。いくつかの実装形態では、エンジン120、122、126、130、134、および/または136のうちの1つまたは複数が省略され得る。いくつかの実装形態では、エンジン120、122、126、130、134、および/または136のうちの1つまたは複数のすべてまたは態様が組み合わせられ得る。いくつかの実装形態では、エンジン120、122、126、130、134、および/または136のうちの1つまたは複数が、知識システム102とは別個である構成要素において実装され得る。いくつかの実装形態では、エンジン120、122、126、130、134、および/もしくは136のうちの1つもしくは複数、またはそれらの任意の動作部分が、クライアントデバイス106によって実行される構成要素において実装され得る。
様々な実装形態では、パーソナルアシスタントエンジン120は、たとえば、インデックス121において記憶され得る様々なオンライン音響/言語、文法および/またはアクションモデルに依拠する、音声ベースのクエリプロセッサを使用して、音声入力を扱うための補足的な機能を含み得る。いくつかの実装形態では、特に大部分のクライアントデバイス106が、リソース制約のあるデバイスであるので、パーソナルアシスタントエンジン120は、各クライアントデバイス106のローカルであるよりも、複雑で計算リソース集約的な音声処理機能を実装し得ることが諒解されよう。アクションがパーソナルアシスタントモジュール107によって行われるとして、本明細書で説明するとき、それは、パーソナルアシスタントエンジン120によって行われているアクションの1つまたは複数の態様もまた含んでもまたは含まなくてもよいことをさらに理解されたい。
いくつかの実装形態では、複数のパーソナルアシスタントエンジン120が採用され得、各々が、1つまたは複数の個々のパーソナルアシスタントモジュール107のためのオンラインの相手方として働く。たとえば、いくつかの実装形態では、エコシステム108における各クライアントデバイス106は、ユーザに関連付けられる(たとえば、ユーザの選好とともに構成される、同じ対話履歴に関連付けられるなどの)パーソナルアシスタントモジュール107のインスタンスを動作させるように構成され得る。パーソナルアシスタントエンジン120の単一のユーザ中心のオンラインのインスタンスは、どのデバイスをそのときにユーザが操作中であるかに応じて、パーソナルアシスタントモジュール107のこれらの複数のインスタンスの各々にアクセス可能であり得る。
いくつかの実装形態では、オンラインとオフラインの両方の機能がサポートされ得るので、たとえば、クライアントデバイス106がオンラインサービスと通信しているときは常にオンライン機能が使用されるが、接続性が存在しないとき、オフライン機能が使用されるようになる。他の実装形態では、異なるアクションまたはアクション領域が、オンラインおよびオフライン機能に割り振られ得、さらに他の実装形態では、オフライン機能が特定の音声入力を適切に扱うことに失敗するときのみ、オンライン機能が使用され得る。しかしながら、他の実装形態では、補足的なオンライン機能が使用されないことがある。
様々な実装形態では、パーソナルアシスタントモジュール107および/またはパーソナルアシスタントエンジン120は、たとえば、永続的メッセージ交換スレッドとして、ユーザとパーソナルアシスタントモジュール107との間で交換されたメッセージおよび/または他のデータのトランスクリプトを、後で使用するために記憶し得る。たとえば、パーソナルアシスタントモジュール107および/またはパーソナルアシスタントエンジン120は、たとえば、インデックス121において、メッセージ自体を記憶し得る。いくつかの実装形態では、これらのメッセージは、たとえば、タイムスタンプ、メッセージがメッセージ交換スレッドに寄与されたロケーション、メッセージの主題などを用いて、注釈を付けられ得る。これらの記憶されたメッセージおよび注釈(または、場合によっては、メタデータ)は、ユーザと、ユーザ自身のパーソナルアシスタントモジュール107の1つまたは複数のインスタンスとの間の会話の流れを向上させるために、後に使用され得る。本明細書で使用する「トランスクリプト」は、メッセージ交換スレッドにおいて交換および/または閲覧されるテキスト、画像、サウンド、および/またはアプレットのライブのレコードを指すことがある。いくつかの実装形態では、メッセージ交換スレッドのトランスクリプトは、ユーザがパーソナルアシスタントモジュール107の1つまたは複数のインスタンスと会話するとき、リアルタイムまたはほぼリアルタイムで更新され得る。
アプリケーションエンジン122は、クライアントデバイス106にインストールされているか、またはさもなければクライアントデバイス106にとって利用可能なアプリケーションのインデックス124を維持し得る。たとえば、アプリケーションエンジン122は、そこからクライアントデバイス106のユーザがアプリケーション(または「アプリ」)をダウンロードする、いわゆる「アプリストア」と一体であるか、または少なくとも通信していることがある。いくつかの実装形態では、ユーザが、アプリケーションエンジン122から(または、アプリケーションエンジン122と通信しているアプリストアから)、アプリをダウンロードおよび/またはインストールするとき、たとえば、インデックス124において、ユーザにそのアプリケーションがインストールされているというレコードが追加され得る。いくつかの実装形態では、これらのレコードは、たとえば、ユーザがアプリをアンインストールするとき、ユーザが、アプリケーションエンジン122にとって利用可能なアプリストア以外のソースから、アプリをダウンロードおよびインストールするときなどを反映するために、クライアントデバイス106と定期的に同期され得る。以下で説明するように、アプリケーションエンジン122は、クライアントデバイス106上にインストールされているアプリケーションを識別するプロセスに関与することができる、図1に示されている複数の構成要素のうちの1つであるので、好適な選択可能アプリケーションリンクが、クライアントデバイス106によってレンダリングされたメッセージ交換スレッドのトランスクリプトに挿入され得るようになる。
いくつかの実装形態では、アプリケーションエンジン122は、ユーザがセットアップするアカウントを通して、個々のユーザによってアクセス可能であり得る。たとえば、ユーザは、ユーザが様々なクレデンシャル(たとえば、ユーザ名/パスワード、網膜スキャン、指紋スキャンなど)を使用してアクセスすることができる、アプリケーションエンジン122における(または、アプリケーションエンジン122と通信しているアプリストアにおける)アカウントを有し得る。ユーザが自分のアカウントにサインインされると、ユーザは、1つまたは複数のアプリを、ユーザによって操作/所有されたクライアントデバイスのエコシステムを形成する1つまたは複数のクライアントデバイスにダウンロードし得る。いくつかの事例では、特定のアプリは、ユーザがアプリ(または、アプリを使用するための権利)を購入するという条件でのみ、ダウンロードのために利用可能であり得る。いくつかの実装形態では、ユーザがアプリを購入するとき、ユーザは、その後、エコシステム108の複数のクライアントデバイス106上でアプリをダウンロードおよびインストールするための権利を有し得る。
インデクシングエンジン126は、知識システム102によって使用するために、インデックス128を維持し得る。インデクシングエンジン126は、文書を処理し、たとえば、従来および/または他のインデクシング技法を使用して、インデックス128におけるインデックスエントリを更新する。たとえば、インデクシングエンジン126は、クロールを介してアクセスされるワールドワイドウェブおよびインデックス文書など、1つまたは複数のリソースをクロールし得る。別の例として、インデクシングエンジン126は、そのような文書を制御するウェブマスタなど、1つまたは複数のリソースからの1つまたは文書に関連する情報を受信し、そのような情報に基づいて、文書をインデックス付けし得る。文書は、文書アドレスに関連付けられる任意のデータである。文書には、ほんのいくつかの例を挙げれば、ウェブページ、ワードプロセシング文書、ポータブルドキュメントフォーマット(PDF)文書、画像、電子メール、カレンダーエントリ、ビデオ、およびウェブフィードが含まれる。各文書は、たとえば、テキスト、画像、ビデオ、サウンド、埋込み情報(たとえば、メタ情報および/またはハイパーリンク)、および/または埋込み命令(たとえば、JavaScript(登録商標)など、ECMAScript実装)などのコンテンツを含み得る。
情報エンジン130は、知識システム102によって使用するための非文書特有の情報へのアクセスを含むか、または容易にする、別のインデックス132を維持し得る。たとえば、知識システム102は、特定の情報を求めるように見える検索クエリに応答して、情報を返すように構成され得る。ユーザが「ロナルド・レーガンの誕生日」を検索する場合、知識システム102は、たとえば、情報エンジン130から、「1911年2月6日」という日付を受信し得る。この情報は、インデクシングエンジン126から受信された文書とは別個である検索結果の一部として、ユーザに返され得る。様々な実装形態では、インデックス132自体は、情報を含み得るか、または、オンライン百科事典、年鑑など、1つもしくは複数の他の情報のソースにリンクし得る。様々な実装形態では、インデックス128またはインデックス132は、クエリ(またはクエリ用語)と文書および/または情報との間のマッピングを含み得る。
本明細書では、「データベース」および「インデックス」という用語は、データの任意の集合を指すために幅広く使用されることになる。データベースおよび/またはインデックスのデータは、任意の特定の方法で構築される必要はなく、1つまたは複数の地理的ロケーションにおける記憶デバイス上に記憶され得る。したがって、たとえば、インデックス121、124、128、および132は、その各々が異なるように編成およびアクセスされ得る複数のデータの集合を含み得る。
ランキングエンジン134は、たとえば、従来および/または他の情報検索技法を使用して、検索クエリに応答して、文書および他の情報を識別するために、インデックス128および/または132を使用し得る。ランキングエンジン134は、たとえば、1つまたは複数のランキング信号を使用して、検索クエリに応答するとして識別された、文書および他の情報のためのスコアを計算し得る。各ランキング信号は、文書もしくは情報自体、文書もしくは情報と検索クエリとの間の関係、および/または文書もしくは情報と検索を行うユーザとの間の関係についての情報を提供し得る。
代替クエリ示唆エンジン136は、任意の検索結果とともにクライアントデバイス106に提供するために、代替クエリ示唆を生成するために、代替クエリ示唆のデータベース(図示せず)、および/またはクライアントデバイス106のユーザについての情報(たとえば、検索履歴、GPSロケーション、ユーザ属性)など、1つまたは複数の信号および/または他の情報を使用し得る。ユーザが検索クエリの連続的な文字をタイプするとき、代替クエリ示唆エンジン136は、ユーザにとって有用である結果を生じる可能性があり得る、代替クエリを識別し得る。たとえば、クライアントデバイス106がシカゴに位置し、「restaur」という文字をタイプしたと仮定する。代替クエリ示唆エンジン136は、クライアントデバイス106がシカゴにあることを示すロケーション信号と、生の音楽があるレストランをユーザが選好することを示す検索履歴信号とに基づいて、「生の音楽があるシカゴにおけるレストラン」というクエリを示唆し得る。別の例として、「ロナルド・レーガンのbirt」とタイプしたユーザに対して、代替クエリ示唆エンジン136は、たとえば、プレフィックスマッチングなどの技法を使用して、「ロナルド・レーガンの誕生日」、「ロナルド・レーガンの出生地」、「ロナルド・レーガンのバースコントロールポジション」などの代替クエリを決定および示唆し得る。代替クエリ示唆エンジン136は、部分的に形成された検索クエリのスペリング訂正バージョンなど、他の示唆も同様に提供し得る。
様々な実装形態では、パーソナルアシスタントモジュール107の1つまたは複数のインスタンス、および/またはパーソナルアシスタントエンジン120は、ユーザと、パーソナルアシスタントモジュール107の1つまたは複数のインスタンスとの間の、メッセージ交換スレッドから発出する、1つまたは複数のキューを検出するように構成され得る。様々な実装形態では、1つまたは複数のキューは、メッセージ交換スレッドへの、1つまたは複数の選択可能リンクの組込みをトリガし得る。1つまたは複数の選択可能アプリケーションリンクの各々は、メッセージ交換スレッドおよび/またはパーソナルアシスタントモジュール107とは異なるアプリケーションにリンクし得る。
いくつかの実装形態では、キューは、メッセージ交換スレッドのコンテンツから発出し得る。たとえば、1つまたは複数のアプリケーションに関連付けられたエンティティまたはキーワード/フレーズに言及するユーザは、1つまたは複数のアプリケーションへの1つまたは複数の選択可能アプリケーションリンクをメッセージ交換スレッドに組み込むために、キューを構成し得る。キューの別の例は、アプリケーションに関連付けられたパターンまたはテンプレートに一致するパーソナルアシスタントモジュール107に、ユーザによって向けられたステートメントである。様々な実装形態では、テンプレートは、特定のアプリケーションに関連付けられ得る。たとえば、テンプレートは、特定のアプリケーションのユーザ呼出しまたはアクティベーションにつながる、前のメッセージ交換スレッドからのメッセージを含む、メッセージのコーパスから生成されていることがある。いくつかの実装形態では、テンプレートは、同じまたは同様の固定および「過渡的」テキストを含むメッセージなど、1つまたは複数の属性を共有する、コーパスからのメッセージのクラスタに関連付けられ得る。また他の実装形態では、キューはより明示的であり得る。たとえば、ユーザは、自分のパーソナルアシスタントモジュールに向けられるスレッドに、たとえば、「ヘイ、BOT、サンフランシスコの天気はどうか?」というメッセージを入力することができる。これによって、サンフランシスコの天気とともに既にプリロードされている天気アプリへのリンクなど、1つまたは複数のアプリケーションリンクを、メッセージ交換スレッドのトランスクリプトに組み込むように、パーソナルアシスタントモジュール107を促し得る。
どの選択可能アプリケーションリンクが、クライアントデバイス106上に表示されるメッセージ交換スレッドのトランスクリプトに組み込まれるべきであるかを決定するために、1つまたは複数のパーソナルアシスタントモジュール107、および/またはパーソナルアシスタントエンジン120もしくはアプリケーションエンジン122は、メッセージ交換スレッドにおいて、ユーザによって操作されたクライアントデバイス106上にインストールされている、1つまたは複数の候補アプリケーションを識別し得る。様々な実装形態では、1つまたは複数の識別された候補アプリケーションは、メッセージ交換スレッドのコンテンツに関連付けられ得る。いくつかの実装形態では、上記で説明した1つまたは複数のキューは、1つまたは複数のアプリケーションに関連付けられ得る。
一例として、ユーザが音楽および/またはミュージシャンに言及する場合、1つまたは複数の候補アプリケーションは、音楽の再生、録音、および/またはプロデュースに関連付けられたアプリケーションであり得る。ユーザが映画、テレビ、および/または俳優/ディレクターに言及する場合、1つまたは複数の候補アプリケーションは、映画/テレビの再生、または映画およびテレビプロダクションに関連付けられたキャスト/クルーの検索可能データベースに関連付けられ得る。ユーザが旅行に言及する場合、1つまたは複数の候補アプリケーションは、ホテル、航空会社、列車、ボート、レンタカーなどのための、旅行の予約を行うことに関連付けられ得る。ユーザがレストランに言及する場合、1つまたは複数の候補アプリケーションは、レストランを予約すること、レストランのレビュー、レストランに電話することなどに関連付けられ得る。
1つまたは複数の候補アプリケーションが識別されると、1つまたは複数の選択可能アプリケーションリンク(「選択可能リンク」とも呼ばれる)が、ユーザによって現在操作されている所与のクライアントコンピューティングデバイス106のグラフィカルユーザインターフェースにおいて表示される、メッセージ交換スレッドのトランスクリプトに組み込まれ得る。様々な実装形態では、各選択可能リンクは、それぞれの候補アプリケーションに関連付けられたインターフェースをユーザにエクスポーズすることをクライアントデバイス106に行わせるようにユーザによって操作可能であり得る。たとえば、それぞれの候補アプリケーションが、バックグラウンドにおいて実行中である(たとえば、ある形態において揮発性メモリに既にロードされている)場合、対応する選択可能リンクの動作は、ユーザがそれぞれの候補アプリケーションのインターフェース(グラフィカル、可聴、触覚など)にエクスポーズされ、したがってそれと対話することができるように、候補アプリケーションがアクティブにされることを引き起こし得る。それぞれがインストールされているが、バックグラウンドにおいて実行中ではない場合、対応する選択可能リンクの動作は、候補アプリケーションが、たとえば、不揮発性メモリから開かれるかまたは「起動」されることを引き起こし得る。
メッセージ交換スレッドに(たとえば、少なくとも1つのパーソナルアシスタントモジュール107によって表示されたスレッドのトランスクリプトに)組み込まれる選択可能アプリケーションリンクは、様々な形態になり得る。いくつかの実装形態では、選択可能アプリケーションリンクは、リンク先アプリケーションに関連付けられたグラフィカルアイコンまたはアニメーションの形態になり得る。いくつかの実装形態では、選択可能アプリケーションリンクは、アプリケーション、またはアプリケーションを使用してとられ得るアクション(たとえば、「ロケーションまでの道案内を得る」)についての情報を伝える、テキストを含み得る。様々な実装形態では、選択可能リンクは、たとえば、パーソナルアシスタントモジュール107によって作成されたステートメントを表すように意図される「吹出し」内に、メッセージ交換スレッドのいずれかの他のメッセージとまったく同様に、トランスクリプトの一部としてレンダリングされ得る。したがって、追加のメッセージがメッセージ交換スレッドに付加されるので、選択可能アプリケーションリンクは、「上昇」し得る。
いくつかの実装形態では、知識システム102は、たとえば、情報エンジン130および/または別の構成要素の一部として、知られているエンティティ、エンティティタイプ(たとえば、「人」、「場所」、「物」)、および知られているエンティティの間の関係のレコードを含む、いわゆる知識ベースを有し得る。いくつかの実装形態では、そのような知識ベースは、たとえば、インデックス132において、それにおいてノードがエンティティを表すグラフとして実装され得、エッジは、エンティティおよび/またはエンティティタイプの間の関係を表すが、これは必要とされない。いくつかのそのような実装形態では、そのような知識ベースからのエンティティについての情報は、パーソナルアシスタントエンジン120、および/またはパーソナルアシスタントモジュール107の1つもしくは複数のインスタンスなど、構成要素にとって利用可能にされ得る。次いで、それらの構成要素は、エンティティ情報を使用して、関連のあるアプリケーションを識別すること、1つもしくは複数の入力フィールド、または識別された候補アプリケーションに関連付けられた状態機械の異なる状態の間で遷移するために使用可能な他のデータポイントを事前にポピュレートすることなどを行い得る。
いくつかの実装形態では、知識ベースは、たとえば、エンジン120、122、126、および/または130のうちの1つまたは複数によって、ユーザと、パーソナルアシスタントモジュール107の1つまたは複数のインスタンスとの間で交換された、1つまたは複数のメッセージにおいて言及された、第1のエンティティまたはエンティティタイプを識別するために使用され得る。次いで、たとえば、エンティティについての検索クエリに応答して取得される、エンティティ/エンティティタイプに関連する情報が、1つまたは複数の候補アプリケーションを識別するために使用され得る。たとえば、ユーザが、「ベーブ・ルースは最高だった!」などのメッセージを、メッセージ交換スレッドにサブミットすると仮定する。「ベーブ・ルース」は、たとえば、彼がプレイした1つまたは複数のチーム(たとえば、ニューヨーク・ヤンキース)、彼の家族、彼のチームメイト、現役年数、享年など、ベーブ・ルースの1つもしくは複数の属性、および/または1つもしくは複数の関連エンティティとともに、インデックス132において記憶された知識ベースに基づいて、情報エンジン130によって識別され得る。次いで、この情報のうちの1つまたは複数が、エンティティの言及に応答するかまたはさもなければ関連し得る、1つまたは複数の候補アプリケーション、またはアプリケーション「カテゴリ」を識別するために使用され得る。いくつかの実装形態では、この情報のうちのいくつかが、リンク先アプリケーションに関連付けられた1つまたは複数のデータポイント(たとえば、入力パラメータ、データエントリフィールド、状態機械の状態の間の遷移を引き起こすデータポイントなど)を「事前にポピュレート」するために使用され得る。そのように、ユーザが選択可能アプリケーションリンクを作動させるとき、リンク先アプリケーションは、1つまたは複数のデータポイントが既にポピュレートされている状態において開き得る。
図2は、スヴェンという名前のユーザによって操作される第1のクライアントデバイス2061(スマートフォンまたはタブレットコンピュータの形態をとる)を示す。クライアントデバイス2061は、スヴェンと、パーソナルアシスタントモジュール(図2における「PAM」)の1つまたは複数のインスタンスとの間の、永続的メッセージ交換スレッドのトランスクリプト252を示す、グラフィカルユーザインターフェース250を含む。グラフィカルユーザインターフェース250はまた、たとえば、パーソナルアシスタントモジュールによる前のステートメントに応答して、(たとえば、タイピングまたは話すことによって)テキストを、または他のコンテンツをメッセージ交換スレッドに入力するために、スヴェンが使用することができる、テキスト入力フィールド254を含む。この例では、スヴェン(これはスヴェンのクライアントデバイス2061であるので、図2における「あなた」)が、自分が空腹であると述べている。パーソナルアシスタントモジュールは、スヴェンに、彼が何の気分であるかを尋ね、スヴェンは、「ギリシャ料理が好きだが、インド料理は好きではない」と返答する。パーソナルアシスタントモジュールは、「仮想的カフェ」と呼ばれるレストランを提案することによって応答する。
会話におけるこの時点で、知られているエンティティ(仮想的カフェ)の言及は、複数の選択可能アプリケーションリンク2561〜3がトランスクリプト252においてレンダリングされることにつながり得る。図2では、選択可能アプリケーションリンク2561〜3が、吹出し内に示されている。ただし、これは限定であるように意図されない。他の実装形態では、そのようなアイコンは、グラフィックスおよび/またはアニメーションを含んでもまたは含まなくてもよく、たとえば、図3に示されているように、吹出しの外側にレンダリングされ得る。また、いくつかの実装形態では、選択可能リンクは、純粋にテキストのハイパーリンクであり得る。
第1の選択可能アプリケーションリンク2561は、電話アプリケーションにリンクする。スヴェンがこのリンクを選択する場合、クライアントデバイス206上にインストールされた電話アプリのインターフェースが、スヴェンにエクスポーズされ得る。たとえば、電話アプリが起動され得、かつ/または電話アプリが(多数のモバイルデバイスにおいては、単一のウィンドウである)アクティブウィンドウにおいて提供され得る。いくつかの実装形態では、電話アプリは、仮想的カフェに関連付けられた電話番号に電話をかけるために、事前にダイヤルされ得る。第3の選択可能アプリケーションリンク2563は、たとえば、仮想的カフェまでの道案内がプリロードされた、マッピングアプリケーションにリンクする。
第2の選択可能リンク2562は、仮想的カフェにおいて予約を行うために、スヴェンによって動作可能である、「テーブル確保」アプリケーションにリンクする。スヴェンがそのリンクを選択する場合、「テーブル確保」アプリケーションに関連付けられたインターフェース(たとえば、グラフィカル、インタラクティブな音声応答、触覚など)が、スヴェンにエクスポーズされ得る。いくつかの実装形態では、「テーブル確保」アプリは、様々なソースから取得されたデータで事前にポピュレートされた入力など、様々なデータポイントを有し得る。いくつかの実装形態では、データポイントは、クライアントデバイス2061から、および/または知識システム102の様々な構成要素から取得された、コンテキストデータで事前にポピュレートされ得る。たとえば、スヴェンによって操作されたクライアントデバイス2061によって提供された全地球測位システム(「GPS」)座標は、仮想的カフェが近くにあることを明らかにし得る。
図3は、それからしばらくして、スヴェンによって操作される、スヴェンのエコシステムの第2のクライアントデバイス2062(スマートウォッチの形態をとる)を示す。クライアントデバイス2062は、スヴェンと、彼のパーソナルアシスタントモジュール(図3における「PAM」)の1つまたは複数のインスタンスとの間の、永続的メッセージ交換スレッドのトランスクリプト262を示す、グラフィカルユーザインターフェース260を含む。この例では、スヴェンは、「3人分のランチの予約が必要だ」と述べる。図2に示されている前のメッセージによって提供されたコンテキストがなければ、そのような要求は、第2のクライアントデバイス2062上で動作するパーソナルアシスタントモジュールのインスタンスによって解決不可能であり得る。しかしながら、本明細書で説明する技法を使用して、第2のクライアントデバイス2062上で動作するパーソナルアシスタントモジュールのインスタンスは、スヴェンと、スヴェンのエコシステム(図1における108を参照)の複数のデバイス上で動作する、パーソナルアシスタントモジュールの複数のインスタンスとの間の、永続的メッセージ交換スレッドへのアクセスを有し得る。したがって、パーソナルアシスタントモジュールは、仮想的カフェをもう一度示唆することが可能であり、トランスクリプト262において、複数の選択可能アプリケーションリンク2661〜3を再度レンダリングする。
多くの場合、ユーザは、図1に示されたように、自分のデバイスのエコシステムのうちの異なるデバイス上に異なるアプリケーションをインストールしていることがある。それは、スヴェンの第1のクライアントデバイス2061および第2のクライアントデバイス2062に当てはまる。第1のクライアントデバイス2061は、「テーブル確保」と呼ばれる予約アプリケーションを有するが、第2のクライアントデバイス2062は、「食事準備」と呼ばれる代替予約アプリケーションを有する。したがって、図2に示されているように、第2の選択可能アプリケーションリンク2562が第1のクライアントデバイス2061上にレンダリングされるとき、それは、ローカルにインストールされた「テーブル確保」アプリケーションにリンクする。しかしながら、図3に示されているように、第2の選択可能アプリケーションリンク2662が第2のクライアントデバイス2062上にレンダリングされるとき、それは、ローカルにインストールされた「食事準備」アプリケーションにリンクする。以下で説明するように、様々な実装形態では、クライアントデバイス上にインストールされているアプリケーションは、どの選択可能リンクが、ユーザとパーソナルアシスタントモジュールとの間のメッセージ交換スレッドに組み込まれるかを規定し得る。
図3において、スヴェンによる選択可能アプリケーションリンク2662の操作に応答して、スヴェンにエクスポーズされ得る、「食事準備」アプリケーション(デモンストレーションの目的で、本明細書で説明する仮想的アプリケーションにすぎない)に関連付けられたインターフェース270の一例が、図4に示されている。この例では、「食事準備」インターフェース270が、様々なデータポイント(たとえば、入力フィールド)が事前にポピュレートされた、スヴェンの第2のクライアントデバイス2062上にレンダリングされている。たとえば、スヴェンが3人分の予約を必要とすることに言及したので、3人の食事客のために予約がキューイングされている。
予約の時間は、12:00PMで事前にポピュレートされている。これは、たとえば、スヴェンが11:30AMに自分のパーソナルアシスタントモジュールとともにランチについて検討した後、レストランに到着するために十分な時間が必要となるからであり得る。予約の時間は、追加または代替として、12:00PMで事前にポピュレートされていてよく、その理由は、それが、人々が一般に食事をする次の時刻であるからである。スヴェンが、たとえば、3:30PMに食べることを検討していた場合、予約のための時間が、6:30PMなど、より一般に夕食に関連付けられた時間で事前にポピュレートされていてよい。予約の名前は「スヴェン」であり、その理由は、スヴェンが、パーソナルアシスタントモジュールと対話しているユーザであるからである。
図2〜図4の例は、レストランに関連するが、選択可能アプリケーションリンクは、多数の他のタイプのアプリケーションにリンクし得、アプリケーションのタイプに応じて、他のタイプのプリロードされたデータを含み得ることを理解されたい。たとえば、クライアントデバイスを操作するユーザが、自分のパーソナルアシスタントモジュールに、タクシーを呼ぶように頼むと仮定する。様々な実装形態では、交通アプリにリンクする選択可能アプリケーションリンクが、ユーザとパーソナルアシスタントモジュールとの間の会話に組み込まれ得る。様々な実装形態では、(たとえば、クライアントデバイスのGPS機能によって決定されるような)ユーザの現在のロケーションが、交通アプリに関連付けられた「現在のロケーション」データポイントを事前にポピュレートするために使用され得る。ユーザがまた、所期の目的地を指定した場合、交通アプリに関連付けられた「目的地」フィールドが、同様に事前にポピュレートされ得る。
上述のように、1つまたは複数の選択可能アプリケーションリンクは、クライアントデバイス上で利用可能なリソースに少なくとも部分的に基づいて、クライアントデバイスによって表示されたトランスクリプトにおいて選択的にレンダリングされ得る。たとえば、いくつかの実装形態では、インストールされたアプリケーションへの選択可能アプリケーションリンクのみが、クライアントデバイス上に表示され得る。図5は、図1に示されている環境の様々な構成要素を示し、ユーザのエコシステム508のクライアントデバイス506と一体である、1つまたは複数の構成要素(たとえば、その上にインストールされたソフトウェア、そのハードウェア構成要素)が、クライアントデバイス506上にインストールされたアプリケーションの識別をどのように行い得るかをデモンストレーションする。この例では、第1のクライアントデバイス5061は、特に、前に説明した「テーブル確保」と呼ばれる(仮想的)予約クライアントアプリケーション562をインストールしている。第2のクライアントデバイス5062は、特に、「食事準備」と呼ばれる、異なる(仮想的)予約クライアントアプリケーション564をインストールしている。
ユーザが、パーソナルアシスタントモジュールの第1のインスタンス5071と会話するために、ユーザのエコシステム508の第1のクライアントデバイス5061と対話すると仮定する。メッセージ交換スレッドが、図2と同様に、どこで食べるかについての検討を含むとさらに仮定する。この検討(すなわち、レストラン予約を行うことに関連する検討からの1つまたは複数のキュー)に基づいて、「予約」のアプリケーションカテゴリが、たとえば、パーソナルアシスタントエンジン120および/またはアプリケーションエンジン122によって識別されており、このカテゴリの指示が、第1のクライアントデバイス5061に提供されている。
ユーザが、後に、パーソナルアシスタントモジュールの第2のインスタンス5072と会話するために、ユーザのエコシステム508の第2のクライアントデバイス5062と対話すると仮定する。メッセージ交換スレッドが、図3〜図4と同様に、どこで食べるかについての検討を含むとさらに仮定する。この検討(すなわち、レストラン予約を行うことに関連する検討からの1つまたは複数のキュー)に基づいて、「予約」のアプリケーションカテゴリが、たとえば、パーソナルアシスタントエンジン120および/またはアプリケーションエンジン122によって識別されており、このカテゴリの指示が、第2のクライアントデバイス5062に提供されている。
「予約」アプリケーションカテゴリの指示の、パーソナルアシスタントモジュール5071〜2による受信時に、各々は、「予約」カテゴリに一致する、1つまたは複数のローカルにインストールされたアプリケーションを識別することができる。たとえば、第1のクライアントデバイス5061には、「テーブル確保」クライアント562がインストールされており、「テーブル確保」クライアント562を、第1のパーソナルアシスタントモジュール5071は、「予約」アプリケーションとして識別し得る。したがって、第1のパーソナルアシスタントモジュール5071は、「テーブル確保」クライアント562への選択可能アプリケーションリンクを、それが表示するメッセージ交換スレッドのトランスクリプトに組み込み得る。同様に、第2のクライアントデバイス5062には、「食事準備」クライアント564がインストールされており、「食事準備」クライアント564を、第2のパーソナルアシスタントモジュール5072は、「予約」アプリケーションとして識別し得る。したがって、第2のパーソナルアシスタントモジュール5072は、「食事準備」クライアント564への選択可能アプリケーションリンクを、それが表示するメッセージ交換スレッドのトランスクリプトに組み込み得る。
いくつかの実装形態では、クライアントデバイスに、特定のアプリケーションカテゴリに一致する、複数のアプリケーションがインストールされていることがある。たとえば、単一のクライアントデバイスが、図5に示されている「テーブル確保」クライアント562と「食事準備」クライアント564の両方を有し得る。いくつかの実装形態では、両方のアプリケーションへの選択可能アプリケーションリンクが、そのクライアントデバイス上のメッセージ交換スレッドトランスクリプトに組み込まれ得る。いくつかのバージョンでは、複数の選択可能アプリケーションリンクが、各クライアントの使用の頻度など、様々な情報信号に基づいて選択される順序において提示され得る。「テーブル確保」クライアント562が、「食事準備」クライアント564よりも頻繁に使用される場合、クライアント562への選択可能アプリケーションリンクが最初に、クライアント564への選択可能アプリケーションリンクよりも顕著に、より目立つようになど、提示され得る。
単一のクライアントデバイス上にインストールされた複数のアプリケーションが、アプリケーションカテゴリに一致する、いくつかの実装形態では、パーソナルアシスタントモジュール507または他の構成要素は、各々がメッセージ交換スレッドのトランスクリプトへの選択可能アプリケーションリンクの組込みを保証するか否かを決定するために、それらの複数のアプリケーションがどのくらい頻繁に使用されるかを分析し得る。たとえば、所与のアプリケーションに関連付けられた使用の頻度は、対応する選択可能アプリケーションリンクがメッセージ交換スレッドトランスクリプトに組み込まれるようにするために、独立して、または他の一致するインストールされたアプリケーションに対して、あらかじめ決定されたしきい値を満たすことが必要であり得る。アプリケーションが頻繁に使用されないか、またはさらにはまったく使用されない場合(たとえば、アプリケーションが機器製造業者によってインストールされ、ユーザによって一度も開かれなかった場合)、アプリケーションへの選択可能アプリケーションリンクは、メッセージ交換スレッドのトランスクリプトに組み込まれないことがある。
図6は、図5の代替シナリオを示す。ここで、ユーザによって操作された協調エコシステム608のクライアントデバイス6061〜N上のインストールされたアプリケーションの識別は、クライアントデバイス6061〜Nから少なくとも部分的にリモートで行われ得る。具体的には、アプリケーションエンジン122(上記で説明したものであり、アプリストアと一体であるか、または少なくとも通信していることがある)は、何のアプリケーションが、エコシステム608のどのクライアントデバイス606上にインストールされているかを、インデックス124におけるレコードに基づいて決定するように構成され得る。
この例では、エコシステム608のクライアントデバイス606を操作するユーザが、アプリケーション、アプリA、アプリB、アプリC、アプリD、およびアプリEをダウンロードおよび使用するための権利を所有すると仮定する。たとえば、ユーザのモバイルフォンであり得る、第1のクライアントデバイス6061上で、ユーザは、アプリAと、アプリBと、アプリCとをインストールしている。アプリDおよびアプリEは、線の下にそれらが配置されることによって示されているように、第1のクライアントデバイス6061上にインストールされていないが、ユーザがそうするための権利を前に購入しているので、ダウンロードおよび/またはインストールのために利用可能であり得る。たとえば、ユーザのスマートウォッチであり得る、第2のクライアントデバイス606N上で、ユーザは、アプリAと、アプリDと、アプリEとをインストールしている。アプリBおよびアプリCは、線の下にそれらが配置されることによって示されているように、第2のクライアントデバイス606N上にインストールされていないが、ユーザがそうするための権利を前に購入しているので、ダウンロードおよび/またはインストールのために利用可能であり得る。
図6の例では、パーソナルアシスタントエンジン120は、どのアプリケーションがどのクライアントデバイス606上にインストールされているかを決定するために、アプリケーションエンジン122に助言を求め得る。1つまたは複数の選択可能アプリケーションリンクをメッセージ交換スレッドに組み込むための1つまたは複数のキューが検出されるとき、パーソナルアシスタントエンジン120は、アプリケーションエンジン122が、所与のクライアントデバイス606上にインストールされた1つまたは複数のアプリケーションを識別することを要求し得る。次いで、パーソナルアシスタントエンジン120は、メッセージ交換スレッドのコンテンツにも関連付けられる所与のクライアントデバイス上にインストールされたアプリケーションへの、1つまたは複数の選択可能アプリケーションリンクを示すデータを、所与のクライアントデバイス606にダウンロードするように構成され得る。様々な実装形態では、所与のクライアントデバイス606は、メッセージ交換スレッドトランスクリプトに、1つまたは複数の選択可能アプリケーションリンクを自動的に組み込み得るか、または、1つまたは複数の信号(たとえば、リンク先アプリケーションの使用の頻度、リンク先アプリケーションが依然としてインストールされているか否かなど)に応答して、1つまたは複数の選択可能アプリケーションリンクのサブセットを、トランスクリプトに選択的に組み込み得る。いくつかの実装形態では、(第1のクライアントデバイス6061上のアプリDおよびアプリEの場合のように)所与のアプリケーションがインストールされていないが、クライアントデバイスにとって利用可能である場合、クライアントデバイス606上にアプリケーションを完全にインストールするために選択可能であるアプリケーションリンクが、そのクライアントデバイス上に表示されたメッセージ交換スレッドのトランスクリプトに組み込まれ得る。
上記で説明した例は、選択可能アプリケーションリンクが特定のアプリケーションにどのようにリンクし得るかをデモンストレーションした。ただし、これは限定であるように意図されない。いくつかの実装形態では、選択可能アプリケーションリンクは、検討に関連し、任意の数のアプリケーションを使用してアクセス可能である、文書または他のオンラインコンテンツにリンクし得る。たとえば、いくつかの実装形態では、選択可能アプリケーションリンクは、ウェブアドレスまたは他のオンライン識別子にリンクし得る。いくつかのそのような実装形態では、クライアントデバイスにおける選択可能アプリケーションリンクの動作は、お気に入りのインストールされたウェブブラウザをユーザにエクスポーズし得る。様々な実装形態では、ウェブブラウザは、クライアントデバイス上にインストールされていないアプリケーションの機能に対応する機能をもつインタラクティブなウェブページなど、メッセージ交換スレッドのコンテンツに関連する、ウェブページまたは他のコンテンツを既にロードしていることがある。
次に図7を参照して、ユーザと、パーソナルアシスタントモジュールの1つまたは複数のインスタンスとの間の、メッセージ交換スレッドのトランスクリプトに直接、1つまたは複数の選択可能アプリケーションリンクを選択的に組み込む、1つの例示的な方法700について説明する。便宜上、フローチャートの動作について、動作を行うシステムを参照しながら説明する。このシステムは、本明細書で説明する様々なエンジンおよび/またはクライアントアプリケーションを含む、様々なコンピュータシステムの様々な構成要素を含み得る。また、方法700の動作が特定の順序において示されるが、これは、限定であるように意図されない。1つまたは複数の動作が、並べ替え、省略、または追加され得る。
ブロック702で、システム、および具体的には、ユーザのエコシステムの1つまたは複数のクライアントデバイスは、ユーザにサービスするために、パーソナルアシスタントモジュールのインスタンスを動作させ得る。様々な実装形態では、パーソナルアシスタントモジュールのインスタンスは、ユーザと、パーソナルアシスタントモジュールの1つまたは複数のインスタンスとの間の、メッセージ交換スレッドの永続的レコードへのアクセスを有し得る。たとえば、永続的メッセージ交換スレッドは、パーソナルアシスタントエンジン120によって維持され得、ユーザにサービスするパーソナルアシスタントモジュールのすべてのインスタンスにとって(たとえば、同期のために)利用可能にされ得る。ブロック704で、システムは、永続的メッセージ交換スレッドから発出する1つまたは複数のキューを検出し得る。1つまたは複数のキューは、パーソナルアシスタントモジュールとは異なる1つまたは複数のアプリケーションへの1つまたは複数の選択可能リンクの、永続的メッセージ交換スレッドへの組込みをトリガし得る。
ブロック706で、システムは、クライアントデバイス上にインストールされた1つまたは複数の候補アプリケーションを識別し得る。上記で説明したように、いくつかの実装形態では、候補アプリケーションは、メッセージ交換スレッドのコンテンツに何らかの形で関連すると見なされるものであり得る。図2〜図4は、ユーザがパーソナルアシスタントモジュールとともに外食を検討し、結果として、外食に関連付けられるアプリケーション(たとえば、レストランに電話をするための電話ダイヤラー、予約アプリケーション、マップアプリケーションなど)が識別される例を示している。他の例についても、上記で説明している。いくつかの実装形態では、ブロック706の識別は、所与のクライアントコンピューティングデバイスからリモートであるプロセッサのうちの1つまたは複数によって行われ得、1つまたは複数の選択可能リンクを示すデータが、所与のクライアントデバイスにダウンロードされ得る。他の実装形態では、ブロック706の識別は、所与のクライアントコンピューティングデバイスと一体であるプロセッサのうちの1つまたは複数によって行われ得る。
いくつかのシナリオでは、組込みのために最も好適な1つまたは複数の候補アプリケーションが、所与のクライアントコンピューティングデバイス上にインストールされていないことがある。しかしながら、いくつかの候補アプリケーション(たとえば、レストラン/航空会社予約アプリケーション、マッピングアプリケーションなど)は、対応する機能を含む対応するウェブページを有し得る。たとえば、ユーザは、ウェブブラウザを「テーブル確保」ウェブサイトにナビゲートし、ユーザが「テーブル確保」アプリを使用して、予約をすることができるのとほとんど同じ方法で、予約することができる。したがって、いくつかの実装形態では、オプションのブロック708で、システムは、メッセージ交換スレッドのコンテンツに関連付けられた所与のアプリケーションが、所与のクライアントコンピューティングデバイス上にインストールされていないとの決定に応答して、所与のクライアントコンピューティングデバイス上にインストールされたウェブブラウザまたは他の汎用アプリケーション(たとえば、電話タイヤラー、電子メールアプリケーション、ソーシャルネットワーキングアプリケーションなど)を、候補アプリケーションとして識別し得る。
ブロック710で、システムは、1つまたは複数の選択可能アプリケーションリンクを、クライアントデバイスによってレンダリングされるメッセージ交換スレッドのトランスクリプトに組み込み得る。ブロック708で、ウェブブラウザなどの汎用アプリケーションが識別される事例では、様々な実装形態では、システムは、所与のクライアントコンピューティングデバイス上にインストールされていないと決定された所与のアプリケーションの機能に対応する機能を含む、インタラクティブなウェブページへの選択可能リンクを組み込み得る。追加または代替として、様々な実装形態では、システムは、所与のクライアントコンピューティングデバイス上にインストールされていないと決定されたアプリケーションをダウンロードおよび/またはインストールするために、選択可能リンクを組み込み得る。
図8は、図2に示されたものの代替実装形態を示す。同じ第1のクライアントデバイス2061(スマートフォンまたはタブレットコンピュータの形態をとる)が、スヴェンという名前のユーザによって操作される。この実装形態では、クライアントデバイス2061は、スヴェンと、パーソナルアシスタントモジュール(図2における「PAM」)の1つまたは複数のインスタンスとの間の、永続的メッセージ交換スレッドのトランスクリプト252を示す、永続的部分850Aと、(たとえば、タイピングまたは話すことによって)テキストを、または他のコンテンツをメッセージ交換スレッドに入力するために、スヴェンによって操作可能なキーボードおよび/または他のグラフィカル要素を含む、動作可能部分850Bとの、2つの部分をもつグラフィカルユーザインターフェースを含む。いくつかの実装形態では、動作可能部分850Bは、スヴェンによる、図2におけるテキスト入力フィールド254の選択(たとえば、タッピング)に応答して、レンダリングされ得る。この例では、スヴェン(これはスヴェンのクライアントデバイス2061であるので、図8における「あなた」)が、自分が空腹であると述べている。パーソナルアシスタントモジュール(「PAM」)は、スヴェンに、彼が何の気分であるかを尋ね、スヴェンは、「ギリシャ料理が好きだが、インド料理は好きではない」と返答する。パーソナルアシスタントモジュールは、この場合も「仮想的カフェ」と呼ばれるレストランを提案することによって応答する。
ただし、今回は、パーソナルアシスタントモジュールは、図2とはわずかに異なる方法で提案を行う。具体的には、パーソナルアシスタントモジュールは、動作可能部分850Bにおいて3つの選択可能リンク8561〜3、および永続的部分850Aにおいてさらに3つの選択可能リンク8564〜6を提供する。動作可能部分850Bにおいて含まれた選択可能リンク8561〜3は、スヴェンが操作するキーボードにより近いので、スヴェンの指にとってより容易にアクセス可能であり得る。しかしながら、動作可能部分850Bにおいて含まれた選択可能リンク8561〜3は、メッセージ交換スレッドに組み込まれておらず、したがって、トランスクリプト252において現れない。したがって、動作可能部分850Bにおいて含まれた選択可能リンク8561〜3は、非永続的であり得、スヴェンがそれらを選択せず、スヴェンとパーソナルアシスタントモジュールとの間のメッセージ交換の主題が変更になる場合、選択可能リンク8561〜3は、持続しないことがある(たとえば、選択可能リンク8561〜3は、消滅することがあり、かつ/または、現在の会話により関連する選択可能リンクで置き換えられ得る)。
対照的に、選択可能リンク8564〜6は、現在、トランスクリプト252の一部である。したがって、スヴェンは、しばらくしてから、たとえば、選択可能リンク8561〜3が永続的部分850Aにおいて可視であることから「上昇」されるように、トランスクリプト252が十分に増大した後、戻り、それらのリンクを操作し得る。より一般的には、(図2〜図4のものを含む)本明細書で説明する様々な実装形態における、メッセージ交換スレッドに組み込まれた選択可能リンクは、スレッドにおいて持続し得るので、ユーザは、後でスレッドにおいて「スクロールアップ」し、これらのリンクが組み込まれてからずっと後に、これらのリンクを作動させることができる。これは、ユーザに関連付けられたエコシステムのデバイスにわたって真であり得る。たとえば、スヴェンは、クライアントデバイス2061を使用して最初に作成されたトランスクリプト部分を再訪し、過去にメッセージ交換スレッドに組み込まれた選択可能リンクを選択するために、図3〜図4に示されているクライアントデバイス2062(スマートウォッチ)を、後で使用し得る。
再び図8を参照すると、様々な実装形態では、選択可能リンクは、様々な信号に基づいて、動作可能部分850Bまたは永続的部分850Aに選択的に組み込まれ得る。いくつかの実装形態では、ユーザと、選択可能リンクによってリンクされた候補アプリケーションとの間の対話の履歴が、考慮され得る。たとえば、(図8の場合のように)6つの潜在的に応答する候補アプリケーションが識別される場合、n個の最も使用頻度の高いアプリケーションへのリンクのみが、たとえば、ユーザ選好、画面サイズなどに基づいて、一方の部分または他方の部分に組み込まれ得る。
たとえば、図8において、(選択可能リンク8561によってリンクされた)発呼アプリ、(選択可能リンク8562によってリンクされた)テーブル確保アプリ、および(選択可能リンク8563によってリンクされた)道案内アプリは、6つの識別された、潜在的に応答するアプリケーションのうちの、3つの最も使用頻度の高いアプリケーションであり得、したがって、ユーザの指にとってより容易にアクセス可能であるように、動作可能部分850Bに組み込まれ得る。一方、他の選択可能リンク8564〜6に関連付けられたアプリケーションは、使用頻度の低いものであり得、したがって、永続的部分850Aに退けられ得る。もちろん、選択可能リンク8561〜6は、他の方法で同様に組み込まれ得る。たとえば、ユーザは、最も使用頻度の高いアプリへの選択可能リンクが、たとえば、ユーザが後でスクロールアップし、それらにアクセスすることができるように、動作可能部分850Bに加えて、またはその代わりに、永続的部分850Aにおいて現れるようにすることを選好し得る。
追加または代替として、永続的部分850Aに対して動作可能部分850Bに選択可能リンクを選択的に組み込むとき、他の信号が考慮され得る。いくつかの実装形態では、現在の検討への特定の候補アプリケーションの関連性の測度が考慮され得る。たとえば、最も関連のあるアプリケーションへの選択可能リンクは、動作可能部分850Bに組み込まれ得るが、より関連の低いアプリケーションへの選択可能リンクは、永続的部分850Aに組み込まれ得、またはその逆も同様であり得る。いくつかの実装形態では、既にインストールされたアプリケーションへの選択可能リンクは、動作可能部分850Bに組み込まれ得るのに対して、インストールされていないアプリケーションへの、および/またはアンインストールされたアプリに対応する機能をもつウェブページへの選択可能リンクは、永続的部分850Aに組み込まれ得、またはその逆も同様であり得る。いくつかの実装形態では、永続的部分850Aに(または、場合によっては動作可能部分850Bに)組み込まれた選択可能リンクは、レストランへの前の訪問の際のレシート、レストランについての電子メールまたは他の通信へのリンクなど、クライアントデバイスのローカルであってもまたはそうでなくてもよい文書へのリンクを含み得る。
図9は、例示的なコンピュータシステム910のブロック図である。コンピュータシステム910は、典型的には、バスサブシステム912を介して、いくつかの周辺デバイスと通信する、少なくとも1つのプロセッサ914を含む。これらの周辺デバイスは、たとえば、メモリサブシステム925およびファイル記憶サブシステム926を含む、記憶サブシステム924と、ユーザインターフェース出力デバイス920と、ユーザインターフェース入力デバイス922と、ネットワークインターフェースサブシステム916とを含み得る。入力および出力デバイスは、コンピュータシステム910とのユーザ対話を可能にする。ネットワークインターフェースサブシステム916は、外部ネットワークへのインターフェースを提供し、他のコンピュータシステムにおける対応するインターフェースデバイスに結合される。
ユーザインターフェース入力デバイス922は、キーボード、およびマウス、トラックボール、タッチパッド、もしくはグラフィックスタブレットなどのポインティングデバイス、スキャナ、ディスプレイに組み込まれたタッチスクリーン、および音声認識システム、マイクロフォンなどのオーディオ入力デバイス、および/または他のタイプの入力デバイスを含み得る。一般に、「入力デバイス」という用語の使用は、コンピュータシステム910に、または通信ネットワーク上に情報を入力するための、すべての可能なタイプのデバイスおよび方法を含むものである。
ユーザインターフェース出力デバイス920は、ディスプレイサブシステム、プリンタ、ファックス機械、またはオーディオ出力デバイスなどの非視覚的ディスプレイを含み得る。ディスプレイサブシステムは、陰極線管(CRT)、液晶ディスプレイ(LCD)などのフラットパネルデバイス、投影デバイス、または可視の画像を作成するための何らかの他の機構を含み得る。ディスプレイサブシステムはまた、オーディオ出力デバイスを介してなど、非視覚的ディスプレイを提供し得る。一般に、「出力デバイス」という用語の使用は、コンピュータシステム910からユーザに、または別の機械もしくはコンピュータシステムに情報を出力するための、すべての可能なタイプのデバイスおよび方法を含むものである。
記憶サブシステム924は、本明細書で説明するモジュールの一部または全部の機能を提供する、プログラミングおよびデータ構成物を記憶する。たとえば、記憶サブシステム924は、方法700の選択された態様を行うため、ならびに/または、パーソナルアシスタントモジュール107、パーソナルアシスタントエンジン120、アプリケーションエンジン122、インデクシングエンジン126、情報エンジン130、ランキングエンジン134、および/もしくは代替クエリ示唆エンジン136のうちの1つもしくは複数を実装するための論理を含み得る。
これらのソフトウェアモジュールは、一般に、プロセッサ914によって単独で、または他のプロセッサとの組合せにおいて実行される。記憶サブシステム924において使用されるメモリ925は、プログラム実行中に命令およびデータを記憶するためのメインランダムアクセスメモリ(RAM)930と、それにおいて固定された命令が記憶される読取り専用メモリ(ROM)932とを含む、いくつかのメモリを含み得る。ファイル記憶サブシステム926は、プログラムおよびデータファイルのための永続的記憶を提供することができ、ハードディスクドライブ、関連付けられたリムーバブル媒体を伴うフロッピーディスクドライブ、CD-ROMドライブ、光ドライブ、またはリムーバブル媒体カートリッジを含み得る。いくつかの実装形態の機能を実装するモジュールは、記憶サブシステム924におけるファイル記憶サブシステム926によって、またはプロセッサ914によってアクセス可能な他の機械において記憶され得る。
バスサブシステム912は、コンピュータシステム910の様々な構成要素およびサブシステムを目的通りに互いに通信させるための機構を提供する。バスサブシステム912は、単一のバスとして概略的に示されているが、バスサブシステムの代替実装形態は、複数のバスを使用し得る。
コンピュータシステム910は、ワークステーション、サーバ、コンピューティングクラスタ、ブレードサーバ、サーバファーム、または任意の他のデータ処理システムもしくはコンピューティングデバイスを含む、様々なタイプであり得る。コンピュータおよびネットワークの絶え間なく変化する性質のために、図9に示されているコンピュータシステム910の説明は、いくつかの実装形態を例示する目的でのみ、具体例として意図される。図9に示されているコンピュータシステムよりも多いまたは少ない構成要素を有する、コンピュータシステム910の多数の他の構成が可能である。
本明細書で説明するシステムがユーザについての個人情報を収集するか、または個人情報を利用し得る状況では、ユーザは、プログラムもしくは特徴がユーザ情報(たとえば、ユーザのソーシャルネットワーク、ソーシャルアクションもしくはアクティビティ、専門的職業、ユーザの選好、またはユーザの現在の地理的ロケーションについての情報)を収集するか否かを制御するため、または、ユーザにより関連し得るコンテンツサーバからのコンテンツを受信するか否か、および/もしくはどのように受信するかを制御するための機会を提供され得る。また、あるデータが、記憶または使用される前に1つまたは複数の方法で扱われ、個人識別可能な情報が除去されるようにしてよい。たとえば、ユーザについて、個人識別可能な情報を決定できないように、ユーザのアイデンティティが扱われてよく、または、地理的ロケーション情報が取得される場合、ユーザの地理的ロケーションが(市、郵便番号、または州レベルなどに)一般化され、ユーザの特定の地理的ロケーションを決定できないようにしてよい。したがって、ユーザは、ユーザについての情報がどのように収集され、かつ/または使用されるかに対する制御を有し得る。
いくつかの実装形態について、本明細書で説明し、例示してきたが、機能を行うため、ならびに/あるいは、結果および/または本明細書で説明する利点のうちの1つもしくは複数を取得するための、様々な他の手段および/または構造が利用され得、そのような変形および/または変更の各々は、本明細書で説明する実装形態の範囲内であると見なされる。より一般的には、本明細書で説明するすべてのパラメータ、寸法、材料、および構成は、例示的であるように意図され、実際のパラメータ、寸法、材料、および/または構成は、そのために本教示が使用される1つまたは複数の特定の適用例によって決まることになるように意図される。当業者は、単なる日常の実験を使用して、本明細書で説明する特定の実装形態の多数の均等物を認識することになるか、または確認することが可能になる。したがって、上記の実装形態が例としてのみ提示されること、ならびに、添付の特許請求の範囲およびその均等物の範囲内で、実装形態が、具体的に説明および請求する以外に実施され得ることを理解されたい。本開示の実装形態は、本明細書で説明する各個々の特徴、システム、物品、材料、キット、および/または方法を対象とする。加えて、2つ以上のそのような特徴、システム、物品、材料、キット、および/または方法の任意の組合せは、そのような特徴、システム、物品、材料、キット、および/または方法が、相互に矛盾するのでない場合、本開示の範囲内に含まれる。
102 知識システム
106 クライアントデバイス、クライアントコンピューティングデバイス
1061〜106N、206、506、606、6061〜N クライアントデバイス
1061、5061、6061 第1のクライアントデバイス
108、508 エコシステム
110 ネットワーク
107、507 パーソナルアシスタントモジュール
120 パーソナルアシスタントエンジン、エンジン
121、124、128、132 インデックス
122 アプリケーションエンジン、エンジン
126 インデクシングエンジン、エンジン
130 情報エンジン、エンジン
134 ランキングエンジン、エンジン
136 代替クエリ示唆エンジン、エンジン
2061 第1のクライアントデバイス、クライアントデバイス
2062 第2のクライアントデバイス、クライアントデバイス
250、260 グラフィカルユーザインターフェース
252、262 トランスクリプト
254 テキスト入力フィールド
2561〜3、2661〜3 選択可能アプリケーションリンク
2561 第1の選択可能アプリケーションリンク
2562 第2の選択可能リンク、第2の選択可能アプリケーションリンク
2563 第3の選択可能アプリケーションリンク
2662 第2の選択可能アプリケーションリンク
270 インターフェース、「食事準備」インターフェース
5062、606N 第2のクライアントデバイス
5071 パーソナルアシスタントモジュールの第1のインスタンス、パーソナルアシスタントモジュール、第1のパーソナルアシスタントモジュール
5072 パーソナルアシスタントモジュールの第2のインスタンス、パーソナルアシスタントモジュール、第2のパーソナルアシスタントモジュール
562 (仮想的)予約クライアントアプリケーション、「テーブル確保」クライアント、クライアント
564 異なる(仮想的)予約クライアントアプリケーション、「食事準備」クライアント、クライアント
608 協調エコシステム、エコシステム
850A 永続的部分
850B 動作可能部分
8561〜3、8564〜6 選択可能リンク
910 コンピュータシステム
912 バスサブシステム
914 プロセッサ
916 ネットワークインターフェースサブシステム
920 ユーザインターフェース出力デバイス
922 ユーザインターフェース入力デバイス
924 記憶サブシステム
925 メモリサブシステム、メモリ
926 ファイル記憶サブシステム
930 メインランダムアクセスメモリ(RAM)
932 読取り専用メモリ(ROM)

Claims (20)

  1. ユーザにより操作されたクライアントコンピューティングデバイスによって、前記ユーザが前記クライアントコンピューティングデバイスを操作する間、ユーザと人間対コンピュータの対話を行うために、パーソナルアシスタントモジュールのインスタンスを動作させるステップであって、前記パーソナルアシスタントモジュールの前記インスタンスは、前記ユーザと、前記パーソナルアシスタントモジュールの1つまたは複数のインスタンスとの間のメッセージ交換スレッドの永続的トランスクリプトへのアクセスを有し、前記メッセージ交換スレッドが前記ユーザと前記パーソナルアシスタントモジュールとの間で交換されるメッセージの集まりを含み、前記永続的トランスクリプトが、前記メッセージを含む、ステップと、
    前記パーソナルアシスタントモジュールの前記インスタンスによって、永続的部分と動作可能部分とを含むグラフィカルユーザインターフェースをレンダリングするステップであって、前記永続的部分が、前記メッセージ交換スレッドの前記永続的トランスクリプトの少なくとも一部を表示し、前記動作可能部分が、コンテンツを前記メッセージ交換スレッドに組み込むように動作可能である1つまたは複数のグラフィカル要素を含む、ステップと、
    前記メッセージ交換スレッドの参加者により監視された1つまたは複数のエンティティを検出するステップと、
    前記監視された1つまたは複数のエンティティに基づき、前記パーソナルアシスタントモジュールの前記インスタンスとは異なる1つまたは複数のアプリケーションを選択するステップと、
    前記パーソナルアシスタントモジュールの前記インスタンスによって、1つまたは複数の選択可能なリンクを、前記グラフィカルユーザインターフェースの前記動作可能部分に組み込むステップであって、各選択可能なリンクが、前記パーソナルアシスタントモジュールの前記インスタンスとは異なる前記1つまたは複数のアプリケーションの各アプリケーションに関連付けられたインターフェースを前記ユーザにエクスポーズすることを前記クライアントコンピューティングデバイスに行わせるようにユーザによって操作可能である、ステップと
    を含む、コンピュータ実装方法。
  2. 前記クライアントコンピューティングデバイスが、前記ユーザによって操作された複数のクライアントコンピューティングデバイスのうちの1つであり、前記複数のクライアントコンピューティングデバイスの各々が、前記メッセージ交換スレッドへのアクセスを有する前記パーソナルアシスタントモジュールの個々のインスタンスを動作させるように構成させる、請求項1に記載のコンピュータ実装方法。
  3. 前記1つまたは複数のエンティティが、前記複数のクライアントコンピューティングデバイスの異なるクライアントコンピューティングデバイスにおいて監視される、請求項2に記載のコンピュータ実装方法。
  4. 前記1つまたは複数のエンティティが、特定のアプリケーションに関連付けられたキーワードまたはフレーズを含む、請求項1に記載のコンピュータ実装方法。
  5. 前記1つまたは複数のアプリケーションが複数のアプリケーションを含み、前記1つまたは複数の選択可能なリンクが複数の選択可能なリンクを含む、請求項1に記載のコンピュータ実装方法。
  6. 前記複数の選択可能なリンクの第1のサブセットが前記動作可能部分に組み込まれ、前記複数の選択可能なリンクの第2のサブセットが前記永続的部分に組み込まれる、請求項5に記載のコンピュータ実装方法。
  7. 前記選択可能なリンクの前記第1のサブセットが、前記複数のアプリケーションの対応する前記第1のサブセットの各使用頻度に基づき、前記複数の選択可能なリンクから選択される、請求項6に記載のコンピュータ実装方法。
  8. 選択可能なリンクの前記第1のサブセットが、前記複数のアプリケーションの対応する前記第1のサブセットの、前記監視された1つまたは複数のエンティティへの各関連性の測度に基づき、前記複数の選択可能なリンクから選択される、請求項6に記載のコンピュータ実装方法。
  9. 前記選択可能なリンクの前記第2のサブセットが、前記クライアントコンピューティングデバイスにインストールされていない前記複数のアプリケーションの前記第2のサブセットの各アプリケーションに基づき、前記複数の選択可能なリンクから選択される、請求項6に記載のコンピュータ実装方法。
  10. 1つまたは複数のプロセッサと命令を記憶するメモリとを備え、
    前記命令は、前記1つまたは複数のプロセッサにより実行されたときに、前記1つまたは複数のプロセッサに、
    ユーザにより操作されたクライアントコンピューティングデバイスによって、前記ユーザが前記クライアントコンピューティングデバイスを操作する間、ユーザと人間対コンピュータの対話を行うために、パーソナルアシスタントモジュールのインスタンスを動作させる動作あって、前記パーソナルアシスタントモジュールの前記インスタンスは、前記ユーザと、前記パーソナルアシスタントモジュールの1つまたは複数のインスタンスとの間のメッセージ交換スレッドの永続的トランスクリプトへのアクセスを有し、前記メッセージ交換スレッドが前記ユーザと前記パーソナルアシスタントモジュールとの間で交換されるメッセージの集まりを含み、前記永続的トランスクリプトが、前記メッセージを含む、動作と、
    前記パーソナルアシスタントモジュールの前記インスタンスによって、永続的部分と動作可能部分とを含むグラフィカルユーザインターフェースをレンダリングする動作であって、前記永続的部分が、前記メッセージ交換スレッドの前記永続的トランスクリプトの少なくとも一部を表示し、前記動作可能部分が、コンテンツを前記メッセージ交換スレッドに組み込むように動作可能である1つまたは複数のグラフィカル要素を含む、動作と、
    前記メッセージ交換スレッドの参加者により監視された1つまたは複数のエンティティを検出する動作と、
    前記監視された1つまたは複数のエンティティに基づき、前記パーソナルアシスタントモジュールの前記インスタンスとは異なる1つまたは複数のアプリケーションを選択する動作と、
    前記パーソナルアシスタントモジュールの前記インスタンスによって、1つまたは複数の選択可能なリンクを、前記グラフィカルユーザインターフェースの前記動作可能部分に組み込む動作であって、各選択可能なリンクが、前記パーソナルアシスタントモジュールの前記インスタンスとは異なる前記1つまたは複数のアプリケーションの各アプリケーションに関連付けられたインターフェースを前記ユーザにエクスポーズすることを前記クライアントコンピューティングデバイスに行わせるようにユーザによって操作可能である、動作と
    を含む動作を行わせる、システム。
  11. 前記クライアントコンピューティングデバイスが、前記ユーザによって操作された複数のクライアントコンピューティングデバイスのうちの1つであり、前記複数のクライアントコンピューティングデバイスの各々が、前記メッセージ交換スレッドへのアクセスを有する前記パーソナルアシスタントモジュールの個々のインスタンスを動作させるように構成させる、請求項10に記載のシステム。
  12. 前記1つまたは複数のエンティティが、前記複数のクライアントコンピューティングデバイスの異なるクライアントコンピューティングデバイスにおいて監視される、請求項11に記載のシステム。
  13. 前記1つまたは複数のエンティティが、特定のアプリケーションに関連付けられたキーワードまたはフレーズを含む、請求項10に記載のシステム。
  14. 前記1つまたは複数のアプリケーションが複数のアプリケーションを含み、前記1つまたは複数の選択可能なリンクが複数の選択可能なリンクを含む、請求項10に記載のシステム。
  15. 前記複数の選択可能なリンクの第1のサブセットが前記動作可能部分に組み込まれ、前記複数の選択可能なリンクの第2のサブセットが前記永続的部分に組み込まれる、請求項14に記載のシステム。
  16. 前記選択可能なリンクの第1のサブセットが、前記複数のアプリケーションの対応する前記第1のサブセットの各使用頻度に基づき、前記複数の選択可能なリンクから選択される、請求項14に記載のシステム。
  17. 選択可能なリンクの第1のサブセットが、前記複数のアプリケーションの対応する前記第1のサブセットの、前記監視された1つまたは複数のエンティティへの各関連性の測度に基づき、前記複数の選択可能なリンクから選択される、請求項14に記載のシステム。
  18. 前記選択可能なリンクの第2のサブセットが、前記クライアントコンピューティングデバイスにインストールされていない前記複数のアプリケーションの前記第2のサブセットの各アプリケーションに基づき、前記複数の選択可能なリンクから選択される、請求項14に記載のシステム。
  19. 命令を含む少なくとも1つのコンピュータ可読記録媒体であって、前記命令は、1つまたは複数のプロセッサによる前記命令の実行に応答して、前記1つまたは複数のプロセッサに、
    ユーザにより操作されたクライアントコンピューティングデバイスによって、前記ユーザが前記クライアントコンピューティングデバイスを操作する間、ユーザと人間対コンピュータの対話を行うために、パーソナルアシスタントモジュールのインスタンスを動作させる動作あって、前記パーソナルアシスタントモジュールの前記インスタンスは、前記ユーザと、前記パーソナルアシスタントモジュールの1つまたは複数のインスタンスとの間のメッセージ交換スレッドの永続的トランスクリプトへのアクセスを有し、前記メッセージ交換スレッドが前記ユーザと前記パーソナルアシスタントモジュールとの間で交換されるメッセージの集まりを含み、前記永続的トランスクリプトが、前記メッセージを含む、動作と、
    前記パーソナルアシスタントモジュールの前記インスタンスによって、永続的部分と動作可能部分とを含むグラフィカルユーザインターフェースをレンダリングする動作であって、前記永続的部分が、前記メッセージ交換スレッドの前記永続的トランスクリプトの少なくとも一部を表示し、前記動作可能部分が、コンテンツを前記メッセージ交換スレッドに組み込むように動作可能である1つまたは複数のグラフィカル要素を含む、動作と、
    前記メッセージ交換スレッドの参加者により監視された1つまたは複数のキーワードまたはフレーズを検出する動作と、
    前記監視された1つまたは複数のキーワードまたはフレーズに基づき、前記パーソナルアシスタントモジュールの前記インスタンスとは異なる1つまたは複数のアプリケーションを選択する動作と、
    前記パーソナルアシスタントモジュールの前記インスタンスによって、1つまたは複数の選択可能なリンクを、前記グラフィカルユーザインターフェースの前記動作可能部分に組み込む動作であって、各選択可能なリンクが、前記パーソナルアシスタントモジュールの前記インスタンスとは異なる前記1つまたは複数のアプリケーションの各アプリケーションに関連付けられたインターフェースを前記ユーザにエクスポーズすることを前記クライアントコンピューティングデバイスに行わせるようにユーザによって操作可能である、動作と
    を含む動作を行わせる、少なくとも1つのコンピュータ可読記録媒体。
  20. 前記クライアントコンピューティングデバイスが、前記ユーザによって操作された複数のクライアントコンピューティングデバイスのうちの1つであり、前記複数のクライアントコンピューティングデバイスの各々が、前記メッセージ交換スレッドへのアクセスを有する前記パーソナルアシスタントモジュールの個々のインスタンスを動作させるように構成させる、請求項19に記載の少なくとも1つのコンピュータ可読記録媒体。
JP2019173285A 2016-05-17 2019-09-24 パーソナルアシスタントモジュールとの会話への選択可能アプリケーションリンクの組込み Active JP6928046B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662337845P 2016-05-17 2016-05-17
US62/337,845 2016-05-17
US15/207,821 US10291565B2 (en) 2016-05-17 2016-07-12 Incorporating selectable application links into conversations with personal assistant modules
US15/207,821 2016-07-12
JP2018560503A JP6595127B2 (ja) 2016-05-17 2016-12-28 パーソナルアシスタントモジュールとの会話への選択可能アプリケーションリンクの組込み

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018560503A Division JP6595127B2 (ja) 2016-05-17 2016-12-28 パーソナルアシスタントモジュールとの会話への選択可能アプリケーションリンクの組込み

Publications (2)

Publication Number Publication Date
JP2020042826A JP2020042826A (ja) 2020-03-19
JP6928046B2 true JP6928046B2 (ja) 2021-09-01

Family

ID=57838522

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018560503A Active JP6595127B2 (ja) 2016-05-17 2016-12-28 パーソナルアシスタントモジュールとの会話への選択可能アプリケーションリンクの組込み
JP2019173285A Active JP6928046B2 (ja) 2016-05-17 2019-09-24 パーソナルアシスタントモジュールとの会話への選択可能アプリケーションリンクの組込み

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018560503A Active JP6595127B2 (ja) 2016-05-17 2016-12-28 パーソナルアシスタントモジュールとの会話への選択可能アプリケーションリンクの組込み

Country Status (8)

Country Link
US (2) US10291565B2 (ja)
EP (1) EP3440544A1 (ja)
JP (2) JP6595127B2 (ja)
KR (2) KR102668730B1 (ja)
CN (2) CN107395485B (ja)
DE (2) DE102016125804A1 (ja)
GB (1) GB2550638A (ja)
WO (1) WO2017200590A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2962891A1 (en) * 2016-11-22 2018-05-22 Kik Interactive Inc. Method, system and apparatus for centralized augmentation of autonomous message handling
CN111699483B (zh) * 2018-01-16 2024-04-09 谷歌有限责任公司 提供助理深度链接以实行第三方对话会话转移的系统、方法和装置
US10782951B2 (en) * 2018-02-23 2020-09-22 Digital Turbine, Inc. Instant installation of apps
JP7155605B2 (ja) * 2018-05-22 2022-10-19 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
US10198877B1 (en) 2018-05-23 2019-02-05 Google Llc Providing a communications channel between instances of automated assistants
JP6603001B1 (ja) * 2018-05-23 2019-11-06 グーグル エルエルシー 自動アシスタントのインスタンス間への通信チャネルの提供
KR102661340B1 (ko) * 2018-09-21 2024-04-30 삼성전자주식회사 전자 장치 및 이의 제어 방법
CN110704054A (zh) * 2019-09-06 2020-01-17 北京达佳互联信息技术有限公司 通过小程序接入目标应用程序的方法、装置、电子设备及存储介质
CN112187856A (zh) * 2020-08-21 2021-01-05 黄冈格罗夫氢能汽车有限公司 一种燃料电池氢能汽车车机的智能提醒系统及方法
US20240073160A1 (en) * 2022-08-25 2024-02-29 Equals 3 LLC Providing a system-generated response in a messaging session

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050223073A1 (en) 2000-05-04 2005-10-06 Malik Dale W Attaching applets to messaging communications
US6976082B1 (en) 2000-11-03 2005-12-13 At&T Corp. System and method for receiving multi-media messages
US20040215467A1 (en) 2001-01-03 2004-10-28 Coffman Kathryn D. Method and system for electronic document handling, such as for requests for quotations under an electronic auction
US20020138588A1 (en) 2001-03-20 2002-09-26 Richard Leeds System and method for adaptive forums communication
US7406659B2 (en) 2001-11-26 2008-07-29 Microsoft Corporation Smart links
US7451188B2 (en) 2005-01-07 2008-11-11 At&T Corp System and method for text translations and annotation in an instant messaging session
US7483899B2 (en) 2005-01-11 2009-01-27 International Business Machines Corporation Conversation persistence in real-time collaboration system
US7949529B2 (en) * 2005-08-29 2011-05-24 Voicebox Technologies, Inc. Mobile systems and methods of supporting natural language human-machine interactions
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US20080201434A1 (en) 2007-02-16 2008-08-21 Microsoft Corporation Context-Sensitive Searches and Functionality for Instant Messaging Applications
US8504621B2 (en) 2007-10-26 2013-08-06 Microsoft Corporation Facilitating a decision-making process
US7890525B2 (en) 2007-11-14 2011-02-15 International Business Machines Corporation Foreign language abbreviation translation in an instant messaging system
CN101217508B (zh) * 2007-12-29 2010-06-23 腾讯科技（深圳）有限公司 一种基于即时通信平台的网络代理系统及其实现方法
US20120010995A1 (en) * 2008-10-23 2012-01-12 Savnor Technologies Web content capturing, packaging, distribution
US9031216B1 (en) 2009-03-05 2015-05-12 Google Inc. In-conversation search
GB2470751A (en) 2009-06-04 2010-12-08 Iq2 Ltd Delivering messages/content by determining if a target device is equipped with the appropriate application to enable the message/content to be conveyed.
US20110035453A1 (en) 2009-08-06 2011-02-10 Oracle International Corporation Automatic rules-based messaging system based on analysis of text and/or associated metadata
US8977639B2 (en) * 2009-12-02 2015-03-10 Google Inc. Actionable search results for visual queries
WO2012154440A2 (en) 2011-05-06 2012-11-15 Evans Michael Shepherd System and method for including advertisements in electronic communications
US9253137B1 (en) 2011-06-24 2016-02-02 Google Inc. Concurrent display of conversation messages and social network posts by conversation message authors
CA3023918C (en) * 2011-09-30 2022-11-29 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
AU2012316484A1 (en) * 2011-09-30 2014-04-17 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US9082402B2 (en) 2011-12-08 2015-07-14 Sri International Generic virtual personal assistant platform
WO2013089684A2 (en) 2011-12-13 2013-06-20 Empire Technology Development, Llc Graphics render matching for displays
US20130218885A1 (en) 2012-02-22 2013-08-22 Salesforce.Com, Inc. Systems and methods for context-aware message tagging
AU2012201460A1 (en) 2012-03-12 2013-09-26 Tdm Projectservice Service Pty Ltd Mr Pay it
US9685160B2 (en) 2012-04-16 2017-06-20 Htc Corporation Method for offering suggestion during conversation, electronic device using the same, and non-transitory storage medium
US20130326354A1 (en) 2012-06-01 2013-12-05 James Anderson Systems and Methods for Selection and Personalization of Content Items
JP6231315B2 (ja) 2012-07-20 2017-11-15 公立大学法人広島市立大学 情報処理装置
US9338403B2 (en) 2013-01-23 2016-05-10 Google Inc. Persistent conversations
US10228819B2 (en) * 2013-02-04 2019-03-12 602531 British Cilumbia Ltd. Method, system, and apparatus for executing an action related to user selection
KR101488930B1 (ko) 2013-02-25 2015-02-03 주식회사 팬택 모바일 단말의 입력 예측 서비스 제공 장치 및 방법
US9607617B2 (en) 2013-04-02 2017-03-28 Nuance Communications, Inc. Concept cloud in smart phone applications
EP3008641A1 (en) * 2013-06-09 2016-04-20 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
GB201401173D0 (en) * 2013-09-11 2014-03-12 Landa Corp Ltd Ink formulations and film constructions thereof
US9454621B2 (en) * 2013-12-31 2016-09-27 Google Inc. Surfacing navigational search results
US9514748B2 (en) * 2014-01-15 2016-12-06 Microsoft Technology Licensing, Llc Digital personal assistant interaction with impersonations and rich multimedia in responses
KR102249197B1 (ko) 2014-05-31 2021-05-10 삼성전자주식회사 사용자 단말 장치, 통신 시스템 및 그 제어 방법
US9965559B2 (en) 2014-08-21 2018-05-08 Google Llc Providing automatic actions for mobile onscreen content
US20160092410A1 (en) * 2014-09-25 2016-03-31 Monotype Imaging Inc. Selectable Styles for Text Messaging System User Devices
US20160092937A1 (en) 2014-09-25 2016-03-31 Monotype Imagining Inc. Selectable Text Messaging Styles for Brand Owners
US9508339B2 (en) * 2015-01-30 2016-11-29 Microsoft Technology Licensing, Llc Updating language understanding classifier models for a digital personal assistant based on crowd-sourcing
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US20160342665A1 (en) * 2015-05-22 2016-11-24 Microsoft Technology Licensing, Llc Interactive command line for content creation
CN105024922A (zh) * 2015-07-22 2015-11-04 苏州乐聚一堂电子科技有限公司 聊天机器人与聊天系统
US10686738B2 (en) * 2015-07-24 2020-06-16 Facebook, Inc. Providing personal assistant service via messaging
CN108781175B (zh) 2015-12-21 2021-09-21 谷歌有限责任公司 用于消息交换题绪的自动建议的方法、介质及系统
KR102174346B1 (ko) 2015-12-21 2020-11-04 구글 엘엘씨 메시징 애플리케이션들을 위한 자동적인 제안들 및 다른 콘텐츠
US10158593B2 (en) * 2016-04-08 2018-12-18 Microsoft Technology Licensing, Llc Proactive intelligent personal assistant

Also Published As

Publication number Publication date
US20190068537A1 (en) 2019-02-28
CN112910759B (zh) 2022-03-15
US10291565B2 (en) 2019-05-14
US10601755B2 (en) 2020-03-24
GB201621667D0 (en) 2017-02-01
CN112910759A (zh) 2021-06-04
GB2550638A (en) 2017-11-29
KR20210153758A (ko) 2021-12-17
CN107395485A (zh) 2017-11-24
KR20190007042A (ko) 2019-01-21
DE202016008323U1 (de) 2017-07-26
EP3440544A1 (en) 2019-02-13
KR102339296B1 (ko) 2021-12-14
KR102668730B1 (ko) 2024-05-28
CN107395485B (zh) 2021-02-09
WO2017200590A1 (en) 2017-11-23
JP2020042826A (ja) 2020-03-19
JP6595127B2 (ja) 2019-10-23
US20170339088A1 (en) 2017-11-23
DE102016125804A1 (de) 2017-11-23
JP2019518280A (ja) 2019-06-27

Similar Documents

Publication Publication Date Title
JP6928046B2 (ja) パーソナルアシスタントモジュールとの会話への選択可能アプリケーションリンクの組込み
KR102215471B1 (ko) 선택가능한 어플리케이션 링크들을 메시지 교환 스레드들에 통합하기
US11269678B2 (en) Systems and methods for integrating third party services with a digital assistant
JP6956113B2 (ja) マルチユーザメッセージ交換スレッドにおける自動化アシスタントとのインタラクションのための提案を提供すること
US20180260384A1 (en) Conversational agent
JP2021165843A (ja) 非要請型コンテンツの人間対コンピュータダイアログ内へのプロアクティブな組込み
JP6530573B1 (ja) メッセージ交換スレッドの拡張

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210805

R150 Certificate of patent or registration of utility model

Ref document number: 6928046

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150