JP6445053B2 - リスト蓄積およびリマインダトリガ - Google Patents

リスト蓄積およびリマインダトリガ Download PDF

Info

Publication number
JP6445053B2
JP6445053B2 JP2016574948A JP2016574948A JP6445053B2 JP 6445053 B2 JP6445053 B2 JP 6445053B2 JP 2016574948 A JP2016574948 A JP 2016574948A JP 2016574948 A JP2016574948 A JP 2016574948A JP 6445053 B2 JP6445053 B2 JP 6445053B2
Authority
JP
Japan
Prior art keywords
reminder
category
type
input
terms
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016574948A
Other languages
English (en)
Other versions
JP2017526047A (ja
Inventor
ファーガス・ジェラード・ハーレイ
ロビン・デュア
サンスー・スン
アンドリュー・トムキンズ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2017526047A publication Critical patent/JP2017526047A/ja
Application granted granted Critical
Publication of JP6445053B2 publication Critical patent/JP6445053B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/109—Time management, e.g. calendars, reminders, meetings or time accounting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification

Description

本明細書は、ユーザデバイスのためのリスト蓄積およびリマインダトリガに関する。
クラウドベースのサービス、探索エンジン、および他のサービスおよびメディアの到来は、最近の10年間にわたり、ユーザデバイスの利用を劇的に拡大した。多くのユーザデバイス、特にモバイルデバイスおよびスマートフォンは、今や、音声およびデータアクセスに加えて、サービスおよびアプリケーションを提供する。さらに、音声テキスト処理システムにおける最近の到来によって、多くのユーザが今、自分のユーザデバイスを用いて流動的および直感的なユーザ経験を望んでいる。
ユーザへ利用可能なこれらアプリケーションサービスの多くは、コマンド入力の使用によって実証される。そのような1つのサービスは、リマインダの設定である。たとえば、ユーザは、スマートフォンへ入力[今晩牛乳を買うように私にリマインドして下さい]を話し(またはタイプし)、スマートフォンは、コマンド構文解析アプリケーションを使用して(または、代わりに、コマンド構文解析サービスと通信して)、ユーザからの追加情報を求め得るリマインダ処理を起動し得る。そのような情報は、ユーザが、ある時間においてリマインドされることを望んでいるのであれば時間であり得、または、ユーザが、ユーザがある場所に到着した場合にリマインドされることを望んでいるのであれば場所であり得る。
そのようなリマインダの設定は、非常に役立つ一方、比較的流動的なユーザ経験であり、ユーザは、時間または場所を指定せねばならず、後者のケースでは、ユーザは、食料品店の住所のような、特定の場所を探索することを要求され得る。
一般に、本明細書において説明された主題の1つの革新的な態様は、複数の用語を備える第1の入力を、データ処理装置において受信するステップと、第1の入力における用語のうちの1つまたは複数が、リマインダカテゴリに属するアイテムを指定していると、データ処理装置によって判定するステップであって、リマインダカテゴリは、カテゴリに属し、リマインダが生成され得るアイテムの集合に関連付けられる、判定するステップと、判定に応じて、リマインダタイプを、1つまたは複数の用語によって指定されたアイテムに関連付けるデータを記憶するステップとからなる動作を含む方法において具体化され得る。この態様の他の実施形態は、対応するシステムと、装置と、方法の動作を実行するように構成され、コンピュータ記憶デバイスにおいてエンコードされたコンピュータプログラムとを含む。
本明細書において説明された主題の特定の実施形態は、以下の利点のうちの1つまたは複数を実現するように実施され得る。以下に説明される主題の実施は、リマインダを生成する場合、非常に流動的で直感的なユーザ経験を可能にする。食料品カテゴリに属する食料品アイテム、または、映画カテゴリに属する映画アイテムのような特定のカテゴリに属するアイテムの識別は、対応するカテゴリに特定のリマインダタイプの選択を可能にする。多くの状況では、これは、特定の時間を指定しなければならないこと、または、リマインダトリガのための特定の場所を探索しなければならないことからユーザを解放する。代わりに、リマインダトリガは、アイテムおよびカテゴリに基づいて自動的に選択され得るか、あるいは、確認のためにユーザへ提供され得る。これは、リマインダを設定するためにユーザによって必要とされる時間および労力を低減し、いくつかの実施では、短い文章のみの発声によって、リマインダの設定、または、リマインダの対象であるリストアイテムの生成を達成し得る。
本明細書において説明された主題の1つまたは複数の実施形態の詳細は、添付図面および以下の詳細説明において述べられる。主題の他の特徴、態様、および利点は、詳細説明、図面、および特許請求の範囲から明らかになるであろう。
コマンド入力がリスト蓄積およびリマインダトリガのために処理される環境のブロック図である。 トリガされたリマインダリストを生成するための例示的な処理のフロー図である。 トリガされたリマインダリストを生成するための別の例示的な処理のフロー図である。 第1のカテゴリに属するアイテムのためのリマインダが確認のために提示されるユーザデバイスにおけるユーザインターフェースを例示する図である。 第2のカテゴリに属するアイテムのためのリマインダが確認のために提示されるユーザデバイスにおけるユーザインターフェースを例示する図である。 リマインダリストを選択するための例示的な処理のフロー図である。 第1のカテゴリに属するアイテムのためのリマインダリストが提示されるユーザデバイスにおけるユーザインターフェースを例示する図である。 第2のカテゴリに属するアイテムのためのリマインダリストが提示されるユーザデバイスにおけるユーザインターフェースを例示する図である。 リマインダイベントのトリガに応じてアイテムのリストを提示するための例示的な処理のフロー図である。 第1のリマインダタイプのためのリマインダインベントのトリガに応じてアイテムのリストが表示されるユーザデバイスにおけるユーザインターフェースを例示する図である。 第2のリマインダタイプのためのリマインダインベントのトリガに応じてアイテムのリストが表示されるユーザデバイスにおけるユーザインターフェースを例示する図である。 例示的なモバイルコンピューティングデバイスのブロック図である。
様々な図面において、同様の参照番号および指定が、同様の要素を示す。
リマインダ処理システムは、特定のリマインダタイプのリマインダの対象であるアイテムおよび動作のリストの自動生成を容易にする。工程では、リマインダ処理システムは、用語の入力セットを受信する。これら用語は、構文解析され、カテゴリ辞書のようなリマインダカテゴリデータのセットと比較される。入力が、リマインダカテゴリに属するアイテムを指定する用語を含む場合、システムは、リマインダタイプを、1つまたは複数の用語によって指定されたアイテムに関連付けるデータを記憶する。リマインダタイプは、トリガイベントを指定し、アイテムおよびカテゴリに関して変化し得る。たとえば、食料品カテゴリに属する食料品アイテムは、リマインダのための時間を指定する「時間」タイプのリマインダ、または、食料品店または食料品店のセットを指定する「場所」タイプのリマインダを有し得る。逆に、映画タイトルのような映画アイテムは、各々が異なる公開日を指定する「公開」タイプのリマインダを有し得る。
例示するために、ユーザは、[緑サヤインゲン、パン、および牛乳を買う]と発言し、それに応じて、リマインダは、ユーザが、何れかの食料品店(または、ユーザのオプションにおいて指定されうる特定の店)に入った場合、緑サヤインゲン、パン、および牛乳のためのリマインダリストをトリガするように設定され得る。同様に、ユーザが[ゴジラを見に行く]と発言し、これに応じて、リマインダは、その劇場公開(または、劇場公開後のオンデマンドまたはストリーミング公開のような他のいくつかの公開)の日に映画ゴジラを見に行くようにとのリマインダをトリガするように設定され得る。
リマインダはまた、複雑なトリガを対象とされ得る。たとえば、ユーザは[私がフレッシュグローサリーストアに行く場合にのみ妻を呼んで下さい]と述べ得る。「フレッシュグローサリーストア」は特定の食料品店である。よって、ユーザが食料品店に行き、食料品アイテムリマインダリストがトリガされた場合、リマインダリストはまた、食料品店がフレッシュグローサリーストアである場合にのみユーザが自分の妻を呼ぶためのリマインダを含むであろう。同様に、ユーザが、[家にいる時に限ってデイリーレポートを見る]を発声し、デイリーレポートという番組が始まり、ユーザが家にいる時に限って、この番組を見るためのリマインダがトリガするであろう。
リマインダ処理システムは、ユーザデバイスにおいて、または、サーバシステムのような、ユーザデバイスから分離されたコンピュータシステムにおいて実施され得る。後者のケースでは、サーバシステムは、ユーザデバイスから入力を受信し、リマインダを処理し設定するためにデータをユーザデバイスへ送信する。これらの特徴および追加の特徴は、より詳細に以下に説明される。
図1は、コマンド入力がリスト蓄積およびリマインダトリガのために処理される環境100のブロック図である。インターネット、またはその組合せのようなコンピュータネットワーク102は、電子デバイスとシステムとの間のデータ通信を提供する。コンピュータネットワーク102はまた、1つまたは複数のワイヤレスネットワーク103を含み得る、または、1つまたは複数のゲートウェイによって、1つまたは複数のワイヤレスネットワーク103とデータ通信し得る。
ユーザデバイス106は、ユーザの制御下にあり、ネットワーク102を介してリソースを要求および受信し、他のユーザデバイスと、たとえば音声通信のような通信チャネルを確立することが可能であり、また他の動作を実行することも可能な電子デバイスである。例示的なユーザデバイス106は、パーソナルコンピュータと、モバイル通信デバイスと、ネットワーク102を介してデータを送信および受信し得る他のデバイスとを含む。図1における例では、ユーザデバイス106は、スマートフォンである。例示的なスマートフォンは、図8を参照して以下に説明される。ユーザデバイス106は、ネットワーク102、103とのワイヤおよびワイヤレス接続によって、ネットワーク102、103を介して通信し得る。
図8を参照して説明されるように、ユーザデバイスは、様々なプログラムおよび機能のためのデバイス動作のセットを実行することが可能であり得る。いくつかの実施では、ユーザデバイス106は、音声入力を受信する音声認識システムを利用し、言語認識処理を実行し、結果として得られた認識された単語および語句を構文解析する。構文解析された単語および語句は、その後、音声入力が特定の動作またはコマンドを起動するか否かを判定するために処理される。しかしながら、デバイスはまた、テキスト形式のコマンド入力も同様に受信し得るので、音声認識および言語処理システムは必要ではない。
ユーザデバイス106は、多数のサービスを提供するクラウドサービスプロバイダ112によってホストされているアカウントのようなユーザアカウントに関連付けられる。これらのサービスは、ウェブメール、ソーシャルネットワーキング、メッセージング、文書記憶および編集等を含み得る。アカウントデータ114は、ユーザデバイス106のアカウントに特有のデータを記憶し得る。
コマンド処理システム120は、ユーザデバイスからコマンド入力を受信し、もしあれば、コマンド入力に応じて、どの動作が講じられるべきかを判定するために、コマンド入力を処理する。コマンド処理システム120は、図1において個別のエンティティとして図示されているが、コマンド処理システム120は、クラウドサービスプロバイダ112において、または、ユーザデバイス106においてでさえも実施され得る。
コマンド処理システム120によって判定されたように、入力は、様々な動作を起動させ得る。たとえば、入力は探索クエリコマンドとして解釈され得る。このケースでは、探索クエリは、探索サービスへ送信される。同様に、入力は、電話通話を行うためのコマンドとして解釈され得る。このケースでは、ユーザデバイス106は、ネットワーク103を介した音声通信を確立することを試みる。同様に、入力はリマインダとして解釈され得る。このケースでは、リマインダアイテムが生成され得る。リマインダアイテムの生成およびそのようなアイテムの処理は、以下により詳細に説明される。
いくつかの実施では、各入力は、入力パーサ122によって処理される。入力パーサは、入力された用語を構文解析し、もしあれば、どの動作が講じられるべきであるかを判定するようにプログラムされる。いくつかの実施では、入力パーサ122は、どのコマンドまたは動作が講じられるべきであるかを判定するために、言語モデルにアクセスし得る。そのような言語モデルは、たとえば、モデルが、特定のコマンドへ意味論的に関連していると判定された特定の単語および語句へ割り当てられた重みを含み得るように統計ベースであり得るか、または、たとえば、特定のコマンドのための文章構造を記述する文法のようにルールベースであり得る。他の様々な言語およびテキスト入力処理システムが使用され得る。
上記に説明されたように、ユーザは、ユーザデバイス106にコマンドを入力し、コマンド処理システム120は、コマンド入力が、ユーザデバイスが実行するように構成されたユーザデバイス動作へ分解するか否かを判定するために、コマンド入力を処理する。本書の残りについて、処理される例示的な入力は、リマインダベースの入力へ分解するであろう。したがって、他のコマンド入力タイプのための他のコマンド処理特徴の説明が省略される。
いくつかの実施では、コマンド処理システム120は、入力パーサ122と通信するリマインダプロセッサ124を含む。リマインダプロセッサ124はまた、リマインダカテゴリデータ126およびリマインダリストデータ128にアクセスする。リマインダカテゴリデータ126は、いくつかの実施では、カテゴリ辞書の集合であり得る。各辞書は、特定のカテゴリに対応し、カテゴリに属し、リマインダが生成され得るアイテムの集合に関連付けられる。たとえば、「食料品」カテゴリは、食料品および食品アイテムのリストに関連付けられ得、「映画」カテゴリは、映画、俳優等のリストに関連付けられ得るといった具合である。異なる様々なカテゴリと、これらカテゴリに属するアイテムが、カテゴリデータ126に記憶され得る。単純性のために、単に2つのカテゴリの例である食料品および映画が、システム特徴の文脈上の例を提供するために使用される。
各リマインダカテゴリおよびアイテムはまた、リマインダタイプの対応するセットにも関連付けられ得る。リマインダタイプは、そのタイプに特有の特定のイベントに従ってトリガするリマインダのタイプである。たとえば、「場所」タイプのリマインダは、ユーザデバイスがリマインダによって指定された場所にある場合にトリガするリマインダであり、「時間」タイプのリマインダは、リマインダによって指定された時間になるとトリガするリマインダである。一般に、リマインダタイプは、それをトリガするイベントのタイプに依存する。たとえば、映画の場合、リマインダタイプは、劇場公開のための公開日、オンデマンド公開のための別の公開日等のような特定の公開タイプに基づき得る。
リマインダタイプは、ワンタイムまたは繰り返し得る。ワンタイムイベントは、一度だけ生じ、ユーザによってリセットされないのであれば再度生じることはないであろう。たとえば、劇場公開のような特定のタイムイベントは、公開日にのみ生じ得る。同様に、店に到着した時のような特定の場所イベントは、ユーザが最初に店に到着した場合にのみ生じ得、ユーザが店を再訪問しても生じないであろう。しかしながら、繰り返しイベントは、定期的に、または、動作が生じる毎に生じ得る。たとえば、毎週のシリーズである放映時間のような特定の時間イベントは、シリーズの放映のエピソード毎に生じ得る。同様に、店に到着した時のように、特定の場所イベントは、ユーザが店に到着する毎に、対応するリマインダがトリガされるように、ユーザによって繰り返しであると指定され得る。
いくつかのリマインダは、アイテムおよびカテゴリに特有であるので、特定のアイテムおよびカテゴリに関連付けられたいくつかのリマインダは、他のアイテムまたは他のカテゴリに関連付けられない。たとえば、食料品というカテゴリアイテムは、「劇場公開日」という時間タイプのリマインダに関連付けられない。同様に、映画アイテムは、「食料品店にいる場合」という場所タイプのリマインダに関連付けられない。
リマインダリストデータ128は、リマインダタイプのアイテムとの関連付けを記憶する。サーバ側処理のケースでは、リマインダリストデータ128は、多数のユーザのための関連付けを記憶し得る。逆に、ユーザデバイス側処理のケースでは、リマインダリストデータ128は、ユーザデバイス106のユーザのみのための関連付けを記憶し得る。たとえば、ユーザデバイス106に接続されたファントムリマインダリストデータ128は、ユーザデバイスが多数のリマインダリストRLmを有することを示し、リマインダリストの各々は、多くのリマインダ{Rm1...Rmx}を含む。リマインダプロセッサ124は、リストデータ128を更新および維持し、リマインダタイプのうちの1つに対応するイベントが生じた場合、ユーザデバイス106のためのリマインダを生成する。
リマインダプロセッサの工程は、図2A、図2B、図4および図6を参照して以下に説明される。特に、図2Aは、トリガされたリマインダリストを生成するための例示的な処理200のフロー図である。処理200は、リマインダプロセッサ120が作動しているコンピュータデバイスにおいて実施され得る。いくつかの実施では、リマインダプロセッサ120は、ユーザデバイス106において実施され得る。他の実施では、リマインダプロセッサ120は、ユーザデバイス106とデータ通信しているサーバにおいて作動し得る。たとえば、クラウドサービスプロバイダ112は、ネットワーク102および/または103を介してユーザデバイス106と通信するクラウドにおけるサーバにおいてリマインダプロセッサ120を作動させ得る。サーバは、ユーザデバイスからクエリを受信し、それに応じてデータを提供する。以下に説明される処理220、400および600はまた、ユーザデバイスまたはサーバ側デバイスにおいても実施され得る。
処理200は、第1の入力を受信する(202)。たとえば、入力パーサ122は、1つまたは複数の用語を有する入力を受信する。
処理200は、第1の入力の1つまたは複数の用語が、リマインダカテゴリに属するアイテムを指定するか否かを判定する(204)。たとえば、パーサ122は、入力の用語を構文解析して、構文解析された用語を生成し、構文解析された用語を、リマインダカテゴリ辞書と比較する。各々のリマインダカテゴリ辞書は、他の各々のリマインダカテゴリとは異なるリマインダカテゴリに対応し、カテゴリに属するアイテムを説明する用語を記憶する。入力の用語が、リマインダカテゴリ辞書のうちの1つにおけるアイテムを説明する用語と一致するのであれば、この辞書が対応するリマインダカテゴリが選択される。たとえば、入力[緑サヤインゲンを買う]の場合、用語[緑サヤインゲン]は、食料品アイテムと一致する。
いくつかの実施では、入力は、入力がリマインダまたは他のいくつかの動作に関するか否かを判定するために、たとえば、言語モデル、文法等を使用することによってさらに処理され得る。たとえば、文法は、特定の動作へマップされ得る。たとえば、<食料品アイテム不定期>におけるS→ビタミンのように、[緑サヤインゲンにおけるビタミン]へ構文解析する文法は、探索クエリ入力動作へマップし得る。そのための入力は、探索エンジンへ入力として発行される。逆に、たとえば、S→<購入不定期><食料品アイテム不定期>のように［緑サヤインゲンを買う］へ構文解析する文法は、食料品カテゴリのためのリマインダ動作へマップし得る。
他の言語モデルもまた使用され得る。たとえば、入力の意味論的な解析は、様々な動作をスコア付けるために使用され、最高スコアを有する動作が選択され得る。
処理200が、第1の入力の1つまたは複数の用語が、リマインダカテゴリに属するアイテムを指定していると判定しないのであれば、処理200は、この入力をリマインダとして処理しない(206)。しかしながら、入力は、工程または動作に従って、たとえば、探索クエリ入力として、電話通話を行うためにコマンド等として、処理され得る。
逆に、処理200が、第1の入力の1つまたは複数の用語が、リマインダカテゴリに属するアイテムを指定していると判定すると、処理200は、リマインダタイプを、1つまたは複数の用語によって指定されたアイテムに関連付けるデータを記憶する(208)。たとえば、入力パーサ122は、リマインダプロセッサ124を起動させ得る。リマインダプロセッサ124は、リマインダカテゴリデータ126におけるリマインダ辞書にアクセスする。リマインダカテゴリおよびアイテムに依存して、このアイテムのためのリマインダタイプは、このアイテムに関連付けられ得、リマインダリストデータ128に記憶され得る。
記憶は、デフォルトパラメータに従って自動的に生じ得るか、または、ユーザ確認に従い得る。前者のケースでは、たとえば、デフォルトリマインダタイプが、アイテムおよびカテゴリに基づいて選択され得る。たとえば、食料品アイテムの場合、デフォルトリマインダタイプは、ユーザが何れかの食料品店に入った場合にトリガする「場所」タイプであり得る。逆に、映画アイテムの場合、デフォルトリマインダタイプは、「時間」タイプであり得、さらに、劇場公開日(または、劇場公開日が過ぎたのであれば、次に来るメディア公開日)にトリガするサブタイプであり得る。
リマインダプロセッサ124は、リマインダタイプの、より複雑な自動選択ロジックを実施し得る。たとえば、リマインダタイプは、最も生じる可能性が高い、または、時間的に最も直近のイベントに基づいて選択され得る。たとえば、入力が[ゴジラを見る]であり、映画ゴジラの劇場公開日が過ぎてしまったと仮定する。しかしながら、この映画がまだ多くの劇場で公開されているのであれば、この映画が上映されている何れかの映画館の場所に関する場所タイプのリマインダが、映画アイテムに関連付けられ得る。逆に、映画が、劇場外であるが、たとえばBlu-Rayのようなメディア公開がスケジュールされているのであれば、Blu-Ray公開のための時間タイプのリマインダがスケジュールされ得る。別の例によれば、映画が公開され、まだ多くの映画館で公開されているのであれば、場所タイプのリマインダと時間タイプのリマインダとが、アイテムに関連付けられ得る。場所タイプのリマインダは、映画が上映されている何れかの劇場場所に関し得、時間タイプのリマインダは、単に週末が始まるとユーザにリマインドする、金曜日の夕方6:00に関し得る。
ユーザ確認のケースでは、ユーザインターフェースダイアログが、リマインダタイプの確認および選択のためにユーザに提示され得る。図2Bは、トリガされたリマインダリストを生成するための別の例示的な処理220のフロー図である。処理220は、ユーザ確認に従い、図3Aおよび図3Bのコンテキストにおいても説明される。特に、図3Aは、第1のカテゴリである食料品に属するアイテムのためのリマインダが、確認のために提示されるユーザデバイス300におけるユーザインターフェース302の例示であり、図3Bは、第2のカテゴリである映画に属するアイテムのためのリマインダが、確認のために提示されるユーザデバイス330におけるユーザインターフェース332の例示である。
処理ステップ222、224および226は、上記で説明された処理ステップ202、204および206に類似している。よって、図2Bの説明は、処理ステップ228において始まる。ここでは、リマインダプロセッサ124が、入力の1つまたは複数の用語によって指定されたアイテムに基づいて、1つまたは複数のリマインダタイプを選択し、その後、1つまたは複数のリマインダオプションのリストをユーザデバイスが、提示するようにさせるデータを提供する(230)。
たとえば、図3Aでは、入力フィールド304に図示された入力306[緑サヤインゲンを買う]に関し、「場所」タイプのリマインダ310が、リマインダプロセッサ124によって自動的に選択されユーザへ提示される。デフォルト場所は、メニューアイテム312において示されているように「食料品店-すべての場所」である。この場所タイプは、ユーザデバイスが何れかの食料品店に入った場合に、「緑サヤインゲンを買う」ためのリマインダをトリガするであろう。ユーザデバイスの場所の決定は、たとえば、GPS座標または他の任意の適切な処理によってなされ得る。この場所は、その後、様々な食料品店場所と比較され得る。
ユーザはまた、ファントムリスト314によって示されるように、特定の店の場所を選択し得る。たとえば、ユーザは、特定の非重要項目を念頭に置いた特定のストアを有し得る。逆に、重要項目の場合、ユーザは、自分が通う食料品店がどこであるかを気にしないことがあり得る。特定の場所が選択されると、リマインダは、ユーザがその場所にいる場合にのみトリガするであろう。
ユーザは、代わりに、時間タイプ308のような、異なるリマインダタイプを選択し得る。ユーザが指定した時間のように、時間タイプ308の選択後に、追加の入力が必要とされ得る。
他に、図3Bでは、入力フィールド334に図示される入力306[ゴジラを見る]に関し、「時間」タイプのリマインダ338が、リマインダプロセッサ124によって自動的に選択され、ユーザへ提示される。デフォルトリマインダは、メニューアイテム342に示されるように「すべての公開日」である。この時間タイプは、各公開日の発生時において、または、ユーザがリマインダをクリアするまで、リマインダをトリガするであろう。公開日の判定は、たとえば映画ゴジラのような映画アイテムを、サードパーティによって提供された映画情報のデータベースにおけるエントリへ分解することによってなされ得る。
ユーザはまた、ファントムリスト344によって示されるような、公開日をも選択し得る。たとえば、ユーザは、映画が「オンデマンド」フォーマットで公開された後にのみ映画を見ることを所望し得、ユーザは、その公開日になった時にリマインドされるであろう。
ユーザは、あるいは、場所タイプ340のような、異なるリマインダタイプを選択し得る。特定の映画館の場所のような、場所タイプ340の選択後に、追加の入力が必要とされ得る。
いくつかの実施では、リマインダプロセッサ124は、適格なリマインダタイプおよび不適格なリマインダタイプを説明する辞書におけるデータへアクセスし得る。適格なリマインダタイプは、イベントが未だに生じ得るリマインダタイプであり、逆に、不適格なリマインダタイプは、イベントが生じており、再び生じることはない、または、イベントが生じ得ないリマインダタイプである。たとえば、劇場公開がすでになされている、または、劇場公開がない映画アイテムの場合、「劇場公開」に関するリマインダタイプは、不適格であると判定されるであろう。リマインダプロセッサ124はその後、提示のために、適格なリマインダタイプのみを選択する。
処理220は、リマインダオプションが選択されているか否かを判定する(232)。ユーザは必ずしもリマインダオプションを選択しないことがあり得る。たとえば、ユーザの入力が、良好に生成されておらず、したがって、リマインダを誤ってトリガし得るか、または、ユーザは、リマインダを記憶しないことを決定し得る。リマインダオプションが選択されていないのであれば、入力は、リマインダとして処理されない(226)。逆に、リマインダオプションが選択されると、処理220は、選択されたリマインダオプションに対応するリマインダタイプを、1つまたは複数の用語によって指定されたアイテムへ関連付けるデータを記憶する(234)。特定のカテゴリアイテムのための特定のタイプのリマインダが、その後、ユーザデバイス106のために設定される。
ユーザが、アイテムのためのリマインダを生成すると、アイテムおよびリマインダは、カテゴリに従って収集され、リマインダリストの形態で提示される。たとえば、ユーザは、構文解析された場合に、特定のアイテムリストおよび対応するリマインダを表示するために動作へ分解するコマンドを入力し得る。図4は、リマインダリストを選択するための例示的な処理400のフロー図である。処理400は、図5Aおよび図5Bを参照して説明される。特に、図5Aは、第1のカテゴリである食料品に属するアイテムのためのリマインダリストが提示されるユーザデバイス500におけるユーザインターフェース502の例示であり、図5Bは、第2のカテゴリである映画に属するアイテムのためのリマインダリストが提示されるユーザデバイス530におけるユーザインターフェース532の例示である。
処理400は、第2の入力を受信する(402)。たとえば、入力パーサ122は、1つまたは複数の用語を有する入力を受信する。
処理400は、1つまたは複数の用語が、リマインダカテゴリに属するアイテムリストを処理するための動作を指定するか否かを判定する(404)。たとえば、パーサ122は、入力の用語を構文解析して、構文解析された用語を生成し、この用語を処理して、入力が、リマインダカテゴリに属するアイテムリストを処理する動作を指定するか否かを判定する。たとえば、構文解析された用語は、入力が表示動作を起動するか否かを判定するために、文法または言語モデルを使用して処理され得る。たとえば、図5Aおよび図5B各々の入力[私の食料品リマインダを私に見せて下さい]および[私の映画をリストして下さい]が構文解析され、リマインダプロセッサ124は、食料品リマインダのためのアイテムリストと、映画リマインダのためのアイテムリストとを各々表示するための動作を、入力が各々起動すると判定し得る。
処理400が、入力が、リマインダカテゴリに属するアイテムリストを処理するための動作を指定しないと判定するのであれば、入力は、アイテムリスト要求として処理されない(406)。しかしながら、入力は、たとえば、探索クエリ入力として、電話通話を行うためのコマンド等として、工程または動作に従って処理され得る。
逆に、入力が、リマインダカテゴリに属するアイテムリストを処理するための動作を指定していると処理400が判定すると、アイテムリストが選択され(408)、アイテムリストをユーザデバイスが提示するようにさせるデータが提供される(410)。たとえば、図5Aに図示されるように、たとえば、処理400が、ユーザデバイスにおいて実施されるのであれば、ユーデバイス106によって生成され、または、処理400が、サービスプロバイダ112によって実施されるのであれば、サーバによって送信されるように、入力506[私の食料品リマインダを私に見せて下さい]が、ユーザデバイスへ提供されるデータという結果になる。これは、食料品アイテムリスト508をユーザデバイスが表示するようにさせる。いくつかの実施では、アイテムリストが、アイテムのための異なるリマインダタイプを有している場合、アイテムは、アイテムリストグルーピング510、512および514によって図示されるように、リマインダタイプに従ってグループ化され得る。アイテムリストを提示するための他の適切な方式もまた使用され得る。
第1のグルーピング510では、ユーザが何れかの食料品店に入った場合に、アイテムに関するリマインダが提供されるであろう。第2のグルーピング512では、アイテムに関するリマインダは、ユーザが食料品店「Pop's」へ入った場合にのみ、提供されるであろう。第3のグループピング514では、アイテムに関するリマインダは、ユーザが食料品店「Mom's」へ入った場合にのみ、提供されるであろう。
別の例によれば、図5Bに図示されるように、入力536[私の映画をリストして下さい]が、ユーザデバイスへ提供されるデータという結果になる。これは、映画アイテムリスト538をユーザデバイスが表示するようにさせる。繰り返すが、アイテムは、アイテムリストグルーピング540、542、および544によって図示されるように、リマインダタイプに従ってグループ化され得る。第1のグルーピング540では、アイテムは、2つの異なるリマインダ、すなわち、劇場公開日とBlu-Ray公開日とを有し、リマインダは、各公開のためのアイテムのために提供されるであろう。第2のグルーピング542では、アイテムのためのリマインダは、Blu-Ray公開日のためにのみ提供されるであろう。第3のグルーピング544では、アイテムのためのリマインダは、オンデマンド公開のためにのみ提供されるであろう。
繰り返すが、アイテムリストを提示するための他の適切な方式もまた使用され得る。たとえば、ユーザは、入力[私の劇場公開映画を私に見せて下さい]を提供し得る。リマインダプロセッサ124は、適切な言語モデルまたは文法を適用することによって、構文解析された第2の入力の用語は、カテゴリおよび/またはアイテムに加えて、第1のリマインダタイプである「劇場公開」を指定すると判定するであろう。これに応じて、リマインダプロセッサ124は、アイテムリストをユーザデバイスが提示するようにさせるデータを提供するであろう。ここで、リスト内のアイテムの各々は、第1のリマインダタイプに関連付けられる。この例では、映画アイテムのゴジラとモスラのみが表示されるであろう。
他の様々なリマインダタイプロジックもまた処理されるであろう。たとえば、ユーザは、[Pop's以外のすべての私の食料品店をリストして下さい]を入力し得る。意味論的な言語モデルを使用して、リマインダプロセッサ124は、「Pop's」へ設定された場所リマインダのための食料品リマインダは図示されないと判定するであろう。したがって、図5Aにおけるグルーピング510および514のみが図示されるであろう。
別の例によれば、関連するトリガを有するアイテムのリストもまた図示され得る。リストは、異なるカテゴリからのアイテムから生成され得るが、アイテムは、入力によって指定された共通のリマインダタイプを有する。たとえば、ユーザは、[明日私は何をしなければならないのかを私に見せて下さい]を入力し得る。「明日」という用語は、特定の日に構文解析され、たとえば、その日に生じる「時間」タイプのリマインダが、その後、図示され、たとえば、食料品リスト、映画、および洗濯のリマインダが図示され得る。同様に、ユーザは、[私がサンフランシスコにいる間に、私は何をする必要があるのか]を入力し得る。それに応じて、「サンフランシスコ」の場所を有する「場所」タイプのリマインダに関連付けられたアイテムのためのリマインダをリストするアイテムリストが図示される。
リマインダリストにおける各アイテムについて、リマインダプロセッサ124は、そのアイテムのためのリマインダタイプを指定するイベントが生じたか否かを判定する。そのようなイベントが生じると、そのアイテムに関するリマインダが図示される。図6は、リマインダイベントのトリガに応じてアイテムのリストを提示するための例示的な処理600のフロー図である。処理600は、図7Aおよび図7Bのコンテキストにおいて説明される。特に、図7Aは、ユーザデバイス700におけるユーザインターフェース702の例示であり、ここでは、特定の食料品店の場所にいるとの第1のリマインダタイプに関するリマインダイベントのトリガに応じて、アイテムのリストが表示される。同様に、図7Bは、ユーザデバイス730におけるユーザインターフェース732の例示であり、ここでは、劇場公開日であるとの第2のリマインダタイプに関するリマインダイベントのトリガに応じて、アイテムのリストが表示される。
処理600は、リマインダタイプをトリガするイベントが生じたと判定する(602)。たとえば、リマインダプロセッサ124は、各イベントタイプについて、現在の場所、現在の時間または日付等のようなイベントタイプに関連するデータを収集し、リマインダタイプに関するイベントの何れかが生じたか否かを判定する。
リマインダタイプに関するイベントが生じた場合、処理600は、イベントが生じたリマインダタイプに対応するアイテムをユーザデバイスが提示するようにさせるデータを提供する(604)。たとえば、図7Aを参照して示すように、ユーザは「Mom's」食料品店に入った。したがって、アイテムに関するリマインダが図5Aにリストされ、イベントは、グループ510および514におけるリマインダを満足する。よって、グループ510および514におけるリマインダに対応するリマインダ704のリストが図示される。
同様に、図7Bを参照して示すように、映画ゴジラのための劇場公開日になった。したがって、映画ゴジラに関するリマインダ734が図示される。いくつかの実施では、リマインダに関係のある追加情報が提供され得る。たとえば、映画を上映している劇場のリストが、リンク736を選択することによって図示され得る。
「時間」および「場所」タイプのリマインダに加えて、他のリマインダタイプもまた実施され得る。たとえば、上記で説明されるように、リマインダは、「ワンタイム」または「繰り返し」タイプのリマインダであり得る。リマインダはまた、リストアイテムの達成をモニタし、リストアイテムが締切時間までに達成されていないかどうかをユーザにリマインドのみする「締切」タイプのリマインダであり得る。これらの実施のバリエーションでは、締切リマインダは、リスト上のアイテムに関する毎日のリマインダのように、締切までの日数とともに、締切前にユーザに定期的にリマインドし得る。
リマインダはまた、挙動タイプのリマインダであり得る。たとえば、リマインダは、「〜の途中に」タイプのリマインダからなり得、ユーザが「どこかの」場所へ行く途中である場合にトリガするであろう。たとえば、ユーザは、映画館への方向を要求し得る。そして、その方向が提供された場合、映画リマインダのリストもまた提供され得る。
リマインダはまた、たとえば「時間」および「場所」、「時間」または「場所」等のようなBoolean演算によって組み合わされ得る。
リマインダはまた、各々のカテゴリに従ってクラスタ化され得る。たとえば、食料品およびハードウェアのカテゴリに関連するリマインダは、ユーザが通常、必要に応じて、食料品店およびハードウェアストアにおける買い物を考えるような、「用事」タイプカテゴリへグループ化され得る。逆に、映画、テレビ、スポーツイベント等のカテゴリに関連するリマインダは、そのようなイベントは典型的には娯楽であると考えられるので、「娯楽」タイプカテゴリへグループ化され得る。よって、ユーザは、「今日私がしなければならない用事を私に見せて下さい」と発声し得、リマインダプロセッサ124は、特定のカテゴリクラスタに属するカテゴリのためのリマインダをユーザデバイスが提示するようにさせるであろう。
いくつかの実施では、リマインダは、量的なイベントの代わりに、質的なイベントであり得る。たとえば、ユーザは、[私が自由時間がある時、洗濯をする]と発言し得る。リマインダプロセッサ124は、「私が自由時間がある時」という用語からの制約を判定するために言語モデルを再度使用し得る。制約はその後、制約タイプのためのあらかじめ定義された1つまたは複数の基準に従って表現され得る。たとえば、「自由時間」という制約の場合、基準は、1)通常の勤務時間外、2)家にいる場合、および、3)ユーザカレンダにおける他の任意の約束の1時間以内ではない、であり得る。これらの基準が満足される場合、「洗濯をする」とのリマインダが生成されるであろう。
いくつかの実施では、リマインダアイテムは、リマインダリスト上の他のアイテムへリンクされ得る。たとえば、ユーザは、[食料品を買い物している場合、妻を呼んで下さい]と発言し得る。リマインダプロセッサは、その後、「妻を呼んで下さい」というアイテムが、食料品アイテムではないにも関わらず、「妻を呼んで下さい」というリマインダを、対応する「場所」タイプである「食料品店において」とともに、食料品アイテムリストへ追加するであろう。よって、「食料品店において」というリマインダタイプが満足される場合、「妻を呼んで下さい」というリマインダもまた示されるであろう。
いくつかの実施では、リマインダリストは、ユーザ間で共有され得る。たとえば、2人が食料品店アイテムリストを共有し得、各人がその週の間、リストへアイテムを追加すると、各人のためにリストが更新される。よって、リスト上のリマインダを満足するイベントが生じた場合、リストが、ユーザデバイス上に図示される。これら実施のバリエーションでは、リマインダがトリガされたとの通知が、リストを共有する他のユーザへ提供され得る。たとえば、夫は、「あなたの妻は今、Mom's食料品店で買い物をしており、彼女は、食料品リスト上の以下のアイテムを購入するようにリマインドされました」という通知を、リマインダがトリガされたアイテムのリストとともに受信し得る。
「食料品」および「映画」のカテゴリのための例示的なリマインダタイプが説明されているが、他のカテゴリに関する他のリマインダタイプも使用され得る。たとえば、テレビタイプのリマインダの場合、リマインダタイプは、たとえば番組が始まる前の1時間のような「リードタイム」に従う「時間」タイプ、および、各エピソードの放映に従う「リピート」タイプであり得る。共同番組に関連するリマインダの場合、リマインダはまた、共同番組を放映する局に従う「チャンネル」タイプからなり得る。
本、音楽、仕事、専門組織等のような他の主題エリアのためのリマインダもまた使用され得る。
上記で説明された例示的なリストがユーザ入力に応じて生成される一方、リストおよびリマインダはまた、観察されたユーザ挙動に基づいて生成され得る。たとえば、リマインダ生成および完了のユーザ履歴は、提案されたリマインダとして、正確なリマインダアイテムおよび対応するトリガを判定するために使用され得る。リマインダがトリガされる前にユーザがリマインダを削除するか否か等に関わらず、ユーザ場所のような他の情報もまた、ユーザへ提案するための、または、ユーザのために自動的に設定するためのリマインダを判定するために使用され得る。たとえば、ユーザは、たとえば「ジムへ行きなさい」のような特定のリマインダを希にしか入力しないが、その後、リマインダがトリガされる前に、リマインダをクリアし得る。観察された挙動は、ユーザが特定のリマインダを重要であると考えないことであるので、システムは、リマインダがユーザのために自動的に設定されるべきではないか、または、ユーザへ提案さえもされるべきではないと学習する。
本明細書で議論されたシステムが、ユーザに関する個人情報を収集するか、または、個人情報を活用し得る状況では、ユーザは、番組または特徴がユーザ情報(たとえば、ユーザのソーシャルネットワーク、社会運動または活動、専門、ユーザの嗜好、またはユーザの現在場所のような)を収集するか否かを制御するため、または、ユーザにより関連性のあり得るコンテンツサーバからコンテンツを受信するか否か、および/または、どのようにして受信するのかを制御するための機会を提供され得る。それに加えて、いくつかのデータは、記憶または使用される前に、1つまたは多くの方式で取り扱われ、これによって、個人的に識別可能な情報が削除されるようになる。たとえば、ユーザの識別情報は、個人的に識別可能な情報が、ユーザに関して判定され得ることのないように取り扱われ得るか、または、ユーザの地理的な場所が、場所情報が取得された場所において(たとえば都市、郵便番号、または州レベルへ)一般化され、これによって、ユーザの特定の場所が判定されないようになる。よって、ユーザは、ユーザに関する情報がコンテンツサーバによってどのようにして収集され使用されるのかに関する制御を有し得る。
図8は、例示的なモバイルコンピューティングデバイスのブロック図である。この例示では、モバイルコンピューティングデバイス810は、コンテンツを、モバイルコンピューティングデバイス810のユーザへ提示し、タッチベースのユーザ入力を受信するためのタッチスクリーンディスプレイデバイス812を含むハンドヘルドモバイル電話(たとえば、スマートフォン、またはアプリケーション電話)として描写されている。様々な異なる入力構成要素のように、他の視覚的、触覚的、および聴覚的な出力構成要素(たとえば、LED照明、触覚的な出力のための振動メカニズム、または、音調、音声生成された、または録音された出力を提供するためのスピーカ)もまた提供され得る。
ディスプレイデバイス812の形式である例示的な視覚的出力メカニズム812は、抵抗性または容量性タッチ機能を備えたディスプレイの形態をとり得る。ディスプレイデバイスは、ビデオ、グラフィック、画像、およびテキストを表示するためのものであり得、デバイス810が、表示されたアイテムの場所におけるユーザコンタクトをアイテムと関連付けることができるように、ユーザタッチ入力場所を、表示された情報の場所と調整するためのものであり得る。モバイルコンピューティングデバイス810はまた、ラップトップコンピュータ、タブレットまたはスレートコンピュータ、携帯情報端末、組込システム(たとえば、カーナビゲーションシステム)、デスクトップパーソナルコンピュータ、またはコンピュータ化されたワークステーションを含む代替的な形態をもとり得る。
モバイルコンピューティングデバイス810はまた、タッチスクリーンディスプレイデバイス812との物理的なコンタクトの位置(たとえば、指またはスタイラスによるコンタクトの位置)を決定することができ得る。タッチスクリーン812を使用して、様々な「仮想的な」入力メカニズムが生成され得る。ここでは、ユーザは、グラフィックユーザインターフェース要素にコンタクトすることによって、タッチスクリーン512上に描写されたグラフィックユーザインターフェース要素とインタラクトする。「仮想的な」入力メカニズムは、「ソフトウェアキーボード」であり、タッチスクリーン上にキーボードが表示され、ユーザは、各キーに対応するタッチスクリーン812の領域を押すことによってキーを選択する。
モバイルコンピューティングデバイス810は、機械的またはタッチセンサ式のボタン818a〜dを含み得る。それに加えて、モバイルコンピューティングデバイスは、1つまたは複数のスピーカ820によって出力された音量を調節するためのボタンと、モバイルコンピューティングデバイスをオンまたはオフするためのボタンとを含み得る。マイクロホン822によって、モバイルコンピューティングデバイス810は、可聴音を、デジタル的にエンコードされコンピュータ読取可能なメモリへ記憶され得るか、または、別のコンピューティングデバイスへ送信され得る電気信号へ変換することが可能となる。モバイルコンピューティングデバイス810はまた、デジタルコンパス、加速度計、近接センサ、および周辺光センサを含み得る。
オペレーティングシステムは、モバイルコンピューティングデバイスのハードウェア(たとえば、入力/出力メカニズムと、コンピュータ読取可能な媒体から取得された命令を実行するプロセッサ)とソフトウェアとの間のインターフェースを提供し得る。オペレーティングシステムは、コンピューティングデバイスとユーザとの間のインタラクションを容易にするアプリケーションプログラムの実行のためのプラットフォームを提供し得る。
モバイルコンピューティングデバイス810は、タッチスクリーン812を用いてグラフィックユーザインターフェースを提示し得る。グラフィックユーザインターフェースは、1つまたは複数のグラフィックインターフェース要素の集合であり、(たとえば、ディスプレイが、期間にわたって同じままを維持するように見える)静的であり得るか、または、(たとえば、グラフィックユーザインターフェースが、ユーザ入力なしで活発になるグラフィックインターフェース要素を含む)動的であり得る。
グラフィックインターフェース要素は、テキスト、線、形状、画像、またはこれらの組合せであり得る。たとえば、グラフィックインターフェース要素は、デスクトップ上に表示されるアイコン、およびアイコンの関連付けられたテキストであり得る。いくつかの例では、グラフィックインターフェース要素は、ユーザ入力を用いて選択可能である。たとえば、ユーザは、グラフィックインターフェース要素のディスプレイに対応するタッチスクリーンの領域を押すことによって、グラフィックインターフェース要素を選択し得る。いくつかの例では、ユーザは、焦点を有するものとして単一のグラフィックインターフェース要素を強調するためにトラックボールを操作し得る。グラフィックインターフェース要素のユーザ選択は、モバイルコンピューティングデバイスによってあらかじめ定義された動作を起動し得る。ボタンのユーザ選択は、あらかじめ定義された動作を起動し得る。
モバイルコンピューティングデバイス810は、他のアプリケーション、コンピューティングサブシステム、およびハードウェアを含み得る。音声認識サービス872は、モバイルコンピューティングデバイスのマイクロホン822によって受信された音声通信データを受信し得、音声通信を、対応するテキスト形式のデータへ変換するか、または、音声認識を実行し得る。処理された音声データは、上記で説明されたように、音声データを生成するために使用される音声入力が、特定のアプリケーションのための特定の動作を起動するか否かを判定するために、コマンドモデルデータ122に記憶されたコマンドモデルへ入力され得る。以下に示すアプリケーション、サービス、およびユニットのうちの1つまたは複数は、そのような音声コマンドによって起動される対応する動作を有し得る。
通話取扱ユニットは、着信通話を示すインジケーションを受信し得、着信通話に回答する機能をユーザへ提供し得る。メディアプレーヤによって、ユーザは、モバイルコンピューティングデバイス810のローカルメモリに記憶された音楽を聞いたり、映画を再生できるようになり得る。モバイルデバイス810は、デジタルカメラセンサ、および、対応する画像およびビデオキャプチャおよび編集ソフトウェアを含み得る。インターネットブラウザによって、ユーザは、ウェブページに対応するアドレスをタイプすることによって、または、ウェブページへのリンクを選択することによって、ウェブページからのコンテンツを視聴できるようになり得る。
基地局のネットワークを作動させるサービスプロバイダは、モバイルコンピューティングデバイス810と、サービス860を提供する他のコンピューティングシステムとの間の通信を可能にするために、モバイルコンピューティングデバイス810をネットワーク850へ接続し得る。サービス860は、(たとえば、サービスプロバイダの内部ネットワーク、公衆交換電話網、およびインターネットのような)異なるネットワークを介して提供され得るが、ネットワーク850は、単一のネットワークとして例示される。サービスプロバイダは、情報パケットと音声データとを、モバイルコンピューティングデバイス810と、サービス860に関連付けられたコンピューティングシステムとの間に経路付けるサーバシステム852を作動させ得る。
ネットワーク850は、モバイルコンピューティングデバイス810と別のコンピューティングデバイスとの間の音声またはファックス通信を確立するために、モバイルコンピューティングデバイス810を、公衆交換電話網(PSTN)862へ接続し得る。たとえば、サービスプロバイダサーバシステム852は、モバイルコンピューティングデバイス810の着信のPSTN862からインジケーションを受信し得る。逆に、モバイルコンピューティングデバイス810は、PSTN862を介してアクセス可能なデバイスに関連付けられた電話番号を使用して、電話通話を開始する通信を、サービスプロバイダサーバシステム852へ送信し得る。
ネットワーク850は、PSTNではなく、IPネットワークを介した音声通信を経路付けるボイスオーバインターネットプロトコル(VoIP)サービス864へモバイルコンピューティングデバイス810を接続し得る。たとえば、モバイルコンピューティングデバイス810のユーザは、VoIPアプリケーションを起動し、プログラムを使用して通話を開始し得る。サービスプロバイダサーバシステム852は、通話からの音声データをVoIPサービスへ転送し得る。VoIPサービスは、潜在的には、接続の最終工程のためにPSTNを使用して、通話を、インターネットを介して、対応するコンピューティングデバイスへ経路付け得る。
アプリケーションストア866は、モバイルコンピューティングデバイス810のユーザへ、ユーザがネットワーク850を介してダウンロードし、モバイルコンピューティングデバイス810へインストールすることができる、遠隔に記憶されたアプリケーションプログラムのリストをブラウズする機能を提供し得る。アプリケーションストア866は、サードパーティアプリケーション開発者によって開発されたアプリケーションのリポジトリとして役立ち得る。モバイルコンピューティングデバイス810にインストールされたアプリケーションプログラムは、アプリケーションプログラムのために設計されたサーバシステムとネットワーク850を介して通信することができ得る。たとえば、VoIPアプリケーションプログラムは、アプリケーションストア866からダウンロードされ、ユーザが、VoIPサービス864と通信することを可能にする。
モバイルコンピューティングデバイス810は、ネットワーク850を介してインターネット868上のコンテンツにアクセスし得る。たとえば、モバイルコンピューティングデバイス810のユーザは、指定されたユニバーサルリソースロケーションにおいてアクセス可能な遠隔コンピューティングデバイスからのデータを要求するウェブブラウザアプリケーションを起動し得る。様々な例において、サービス860のうちのいくつかは、インターネットを介してアクセス可能である。
モバイルコンピューティングデバイスは、パーソナルコンピュータ870と通信し得る。たとえば、パーソナルコンピュータ870は、モバイルコンピューティングデバイス810のユーザのためのホームコンピュータであり得る。よって、ユーザは、自分のパーソナルコンピュータ870からメディアをストリームすることができ得る。ユーザはまた、自分のパーソナルコンピュータ870のファイル構造を閲覧し得、コンピュータ化されたデバイス間で、選択された文書を送信し得る。
モバイルコンピューティングデバイス810は、ソーシャルネットワーク874と通信し得る。ソーシャルネットワークは、多数のメンバを含み得る。それらのうちの何人かは、知人であるとして関連付けられることに合意している。モバイルコンピューティングデバイス810上のアプリケーションプログラムは、モバイルコンピューティングデバイスのユーザの知人に基づいて、情報を検索するために、ソーシャルネットワーク874へアクセスし得る。たとえば、「アドレス帳」アプリケーションプログラムは、ユーザの知人のための電話番号を検索し得る。様々な例において、コンテンツは、メンバのソーシャルネットワークグラフにおける他のメンバへのユーザからのソーシャルネットワーク距離およびつながり関係に基づいて、モバイルコンピューティングデバイス810へ配信され得る。たとえば、広告およびニュース記事コンテンツは、ユーザに「近い」メンバ(たとえば、「友達」または「友達の友達」であるメンバ)によるそのようなコンテンツとのインタラクションのレベルに基づいて、ユーザのために選択され得る。
モバイルコンピューティングデバイス810は、ネットワーク850を介して個人のコンタクト876のセットにアクセスし得る。各コンタクトは、個人を識別し得、その個人に関する情報(たとえば、電話番号、電子メールアドレス、および誕生日)を含み得る。コンタクトのセットは、モバイルコンピューティングデバイス810へ遠隔的にホストされるので、ユーザは、いくつかのデバイスを横切ってコンタクト876にアクセスし、共通のコンタクトのセットとして維持し得る。
モバイルコンピューティングデバイス810は、クラウドベースのアプリケーションプログラム878にアクセスし得る。クラウドコンピューティングは、モバイルコンピューティングデバイス810から遠隔的にホストされるアプリケーションプログラム(たとえば、ワードプロセッサまたは電子メールプログラム)を提供し、ウェブブラウザまたは専用プログラムを使用してデバイス810によってアクセスされ得る。
マッピングサービス880は、モバイルコンピューティングデバイス810へストリートマップ、ルート計画情報、および衛星画像を提供し得る。マッピングサービス880はまた、クエリを受信し、場所特有の結果を返し得る。たとえば、モバイルコンピューティングデバイス810は、モバイルコンピューティングデバイスの推定された場所と、「ピザの場所」を求めるユーザ入力クエリとを、マッピングサービス880へ送信し得る。マッピングサービス880は、近くの「ピザの場所」の地理的場所を識別する地図上に重ね合わされた「マーカ」を付されたストリートマップを返し得る。
ターンバイターンサービス882は、ユーザによって提供された目的地へのターンバイターン方向を、モバイルコンピューティングデバイス810へ提供し得る。たとえば、ターンバイターンサービス882は、デバイスの推定された場所のストリートレベルビューを、オーディオコマンドを提供しデバイス810のユーザを目的地へ指示する矢印を重ね合わせるためのデータとともに、デバイス810へストリームし得る。
様々な形態のストリーミングメディア884が、モバイルコンピューティングデバイス810によって要求され得る。たとえば、コンピューティングデバイス810は、あらかじめ記録されたビデオファイル、ライブテレビ番組、またはライブオーディオ番組のためのストリームを要求し得る。
マイクロブログ作成サービス886は、投稿の受信者を識別しないユーザによって入力された投稿を、モバイルコンピューティングデバイス810から受信し得る。マイクロブログ作成サービス886は、ユーザへ登録することに合意したマイクロブログ作成サービス886の他のメンバへの投稿を普及させ得る。
探索エンジン888は、モバイルコンピューティングデバイス810から、ユーザが入力したテキスト形式または口頭のクエリを受信し得、クエリに応じたインターネットアクセス可能な文書のセットを判定し得、応答する文書に関する探索結果のリストを表示するための情報をデバイス810へ提供し得る。口頭のクエリが受信される例では、音声認識サービス872が、受信されたオーディオを、探索エンジンへ送信されるテキスト形式のクエリへ変換し得る。
これらおよび他のサービスは、サーバシステム890において実施され得る。サーバシステムは、サービスまたはサービスのセットを提供するハードウェアとソフトウェアとの組合せであり得る。たとえば、物理的に分離し、ネットワーク化されたコンピュータ化されたデバイスのセットは、何百ものコンピューティングデバイスへサービスを提供するために必要な工程を取り扱うための論理サーバシステムユニットとしてともに作動し得る。サーバシステムは、本明細書において、コンピューティングシステムとも称される。
様々な実施では、別の工程(たとえば、判定または識別)「に応じて」または「の結果として」実行される工程は、前の工程が不成功であれば(たとえば、判定が実行されなければ)実行されない。「自動的に」実行される工程は、ユーザ介在(ユーザ入力を介在すること)なく実行される工程である。条件付き言語で説明される本書における特徴は、オプションである実施を説明し得る。いくつかの例では、第1のデバイスから第2のデバイスへ「送信するステップ」は、第1のデバイスが、第2のデバイスによる受信のためにネットワークへデータを配置するステップを含むが、第2のデバイスがデータを受信するステップを含まないことがあり得る。逆に、第1のデバイスから「受信するステップ」は、ネットワークからデータを受信するステップを含み得るが、第1のデバイスがデータを送信するステップを含まないことがあり得る。
コンピューティングシステムによって「判定するステップ」は、別のデバイスに対して、判定を実行し、結果をコンピューティングシステムへ供給することをコンピューティングシステムが要求するステップを含み得る。さらに、コンピューティングシステムによって「表示するステップ」または「提示するステップ」は、参照された情報を別のデバイスが表示または提示するようにさせるためのデータを、コンピューティングシステムが送信するステップを含み得る。
本明細書において説明された主題および工程の実施形態は、本明細書において開示された構成、およびその構成的な均等物、またはそれらの1つまたは複数の組合せを含むデジタル電子回路、または、コンピュータソフトウェア、ファームウェア、またはハードウェアにおいて実施され得る。本明細書において説明された主題の実施形態は、1つまたは複数のコンピュータプログラム、すなわち、データ処理装置による実行のために、または、データ処理装置の工程を制御するために、コンピュータ記憶媒体においてエンコードされたコンピュータプログラム命令の1つまたは複数のモジュールとして実施され得る。あるいは、または、それに加えて、プログラム命令は、たとえば、マシンによって生成された電気、光、または電磁気信号のように、データ処理装置による実行のために適切な受信機装置への送信のために情報をエンコードするために生成された人為的に生成された伝搬信号においてエンコードされ得る。コンピュータ記憶媒体は、コンピュータ読取可能な記憶デバイス、コンピュータ読取可能な記憶基板、ランダムまたはシリアルなアクセスメモリアレイまたはデバイス、または、これらの1つまたは複数の組合せであり得るか、または、これらに含まれ得る。さらに、コンピュータ記憶媒体は、伝搬信号ではないが、コンピュータ記憶媒体は、人為的に生成された伝搬信号においてエンコードされたコンピュータプログラム命令のソースまたは宛先であり得る。コンピュータ記憶媒体はまた、1つまたは複数の個別の物理的な構成要素または媒体(たとえば、多数のCD、ディスク、または他の記憶デバイス)であり得るか、または、これらに含まれ得る。
本明細書において説明された工程は、1つまたは複数のコンピュータ読取可能な記憶デバイスに記憶された、または、他のソースから受信されたデータについて、データ処理装置によって実行される工程として実施され得る。
「データ処理装置」という用語は、例によれば、プログラマブルプロセッサ、コンピュータ、システムオンチップ、これらのうちの複数または組合せを含む、データ処理のためのすべての種類の装置、デバイス、およびマシンを包含する。装置は、たとえばFPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)のような専用目的論理回路を含み得る。装置はまた、ハードウェアに加えて、問題となっているコンピュータプログラムのための実行環境を生成するコード、たとえば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想マシン、またはこれらのうちの1つまたは複数の組合せを構成するコードを含み得る。装置および実行環境は、ウェブサービス、分散コンピューティングインフラストラクチャ、およびグリッドコンピューティングインフラストラクチャのような様々な異なるコンピューティングモデルインフラストラクチャを実現し得る。
(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られている)コンピュータプログラムは、コンパイル型またはインタプリタ型言語、宣言型または手続型言語を含む任意の形態のプログラミング言語で書かれ得、スタンドアロンプログラムとして、または、モジュール、構成要素、サブルーチン、オブジェクト、またはコンピューティング環境における使用のために適切な他のユニットを含む任意の形態で展開され得る。コンピュータプログラムは、ファイルシステム内のファイルに相当し得るが、必ずしも相当する必要はない。プログラムは、問題となっているプログラムに専用の単一のファイルに、または、多数の調整されたファイル(たとえば、1つまたは複数のモジュール、サブプログラム、またはコードの一部を記憶するファイル)に、他のプログラムまたはデータ(たとえば、マークアップ言語文書に記憶された1つまたは複数のスクリプト)を保持するファイルの一部に記憶され得る。コンピュータプログラムは、1つのコンピュータにおいて、または、1つのサイトにおいて配置されているか、または、多数のサイトにわたって分散され、通信ネットワークによって相互接続された多数のコンピュータにおいて実行されるように展開され得る。
本明細書に説明された処理および論理フローは、入力データについて演算し、出力を生成することによって、動作を実行するために、1つまたは複数のコンピュータプログラムを実行する1つまたは複数のプログラマブルプロセッサによって実行され得る。処理および論理フローはまた、たとえば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)のような専用目的論理回路によって実行され、装置は、たとえば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)のような専用目的論理回路によって実施され得る。
コンピュータプログラムの実行のために適切なプロセッサは、例によれば、汎用および専用の両方のマイクロプロセッサと、任意の種類のデジタルコンピュータの任意の1つまたは複数のプロセッサとを含む。一般に、プロセッサは、読取専用メモリまたはランダムアクセスメモリまたは両方から命令およびデータを受信するであろう。コンピュータの必須の要素は、命令に従って動作を実行するためのプロセッサと、命令およびデータを記憶するための1つまたは複数のメモリデバイスである。一般に、コンピュータはまた、たとえば磁気、磁気光ディスク、または光ディスクのように、データを記憶するための1つまたは複数の大容量デバイスを含み得るか、このような大容量デバイスからデータを受信するために、またはこのような大容量デバイスへデータを転送するために、またはその両方のために、動作可能に結合され得る。しかしながら、コンピュータは、そのようなデバイスを有する必要はない。さらに、コンピュータは、いくつか名前を挙げると、たとえば、モバイル電話、携帯情報端末(PDA)、モバイルオーディオまたはビデオプレーヤ、ゲームコンソール、全地球測位システム(GPS)受信機、またはポータブル記憶デバイス(たとえば、ユニバーサルシリアルバス(USB)フラッシュドライブ)のような別のデバイスに組み込まれ得る。コンピュータプログラム命令およびデータを記憶するために適切なデバイスは、例によれば、たとえば、EPROM、EEPROM、およびフラッシュメモリデバイスのような半導体メモリデバイス、たとえば内部ハードディスクまたはリムーバブルディスクのような磁気ディスク、磁気光ディスク、および、CD-ROMおよびDVD-ROMディスクを含むすべての形態の不揮発性メモリ、媒体、およびメモリデバイスを含む。プロセッサおよびメモリは、専用目的論理回路によって補足され得るか、または、専用目的論理回路内に組み込まれ得る。
ユーザとのインタラクションを提供するために、本明細書において説明された主題の実施形態は、たとえば、CRT(陰極線管)またはLCD(液晶ディスプレイ)モニタのように、ユーザへ情報を表示するためのディスプレイデバイスと、キーボードと、たとえば、マウスまたはトラックボールのように、ユーザがコンピュータへ入力を提供し得るポインティングデバイスとを有するコンピュータにおいて実施され得る。他の種類のデバイスもまた同様に、ユーザとのインタラクションを提供するために使用され得る。たとえば、ユーザへ提供されるフィードバックは、たとえば、視覚的なフィードバック、聴覚的なフィードバック、または触覚的なフィードバックのような任意の形態の知覚的なフィードバックであり得、ユーザからの入力は、音響、音声、または触覚入力を含む任意の形態で受信され得る。それに加えて、コンピュータは、たとえば、ウェブブラウザから受信された要求に応じて、ユーザのユーザデバイス上のウェブブラウザへウェブページを送信することによって、ユーザによって使用されるデバイスへ文書を送信し、このデバイスから文書を受信することによってユーザとインタラクトし得る。
本明細書において説明された主題の実施形態は、たとえば、データサーバのようなバックエンド構成要素を含む、または、たとえば、アプリケーションサーバのようなミドルウェア構成要素を含む、または、たとえば、本明細書において説明された主題の実施とユーザがインタラクトし得るグラフィックユーザインターフェースまたはウェブブラウザを有するユーザコンピュータのようなフロントエンド構成要素を含むコンピューティングシステムにおいて、または、1つまたは複数のそのようなバックエンド、ミドルウェア、またはフロントエンド構成要素の任意の組合せにおいて実施され得る。システムの構成要素は、たとえば通信ネットワークのような、デジタルデータ通信の任意の形態または媒体によって相互接続され得る。通信ネットワークの例は、ローカルエリアネットワーク(「LAN」)および広域ネットワーク(「WAN」)、インターネットワーク(たとえば、インターネット)、およびピアツーピアネットワーク(たとえば、アドホックピアツーピアネットワーク)を含む。
コンピューティングシステムは、ユーザおよびサーバを含み得る。ユーザおよびサーバは、一般に、互いに離れており、典型的には、通信ネットワークを介してインタラクトする。ユーザとサーバとの関係は、それぞれのコンピュータにおいて作動し、ユーザサーバ関係を互いに有するコンピュータプグラムによって生じる。いくつかの実施形態では、サーバは、データ(たとえば、HTMLページ)を、(たとえば、ユーザデバイスとインタラクトするユーザへデータを表示し、このユーザからユーザ入力を受信する目的のために)ユーザデバイスへ送信する。ユーザデバイスにおいて生成されたデータ(たとえば、ユーザインタラクションの結果)は、サーバにおいてユーザデバイスから受信され得る。
本明細書は、多くの特定の実施詳細を含んでいるが、これらは、任意の発明の、または、特許請求される範囲の限定としてではなく、むしろ特定の発明の特定の実施形態に特有の特徴の説明として解釈されるべきである。個別の実施形態のコンテキストにおいて本明細書において説明されているいくつかの特徴はまた、単一の実施形態における組合せにおいても実施され得る。逆に、単一の実施形態のコンテキストに説明されている様々な特徴はまた、多くの実施形態において個別に、または、任意の適切な部分的組合せにおいても実施され得る。さらに、特徴は、いくつかの実施形態において動作するとして上記で説明され、そのように最初に等しく特許請求され得るが、特許請求された組合せからの1つまたは複数の特徴は、いくつかのケースでは、組合せから削除され得、特許請求された組合せは、部分的組合せまたは部分的組合せのバリエーションを対象とされ得る。
同様に、工程は、特定の順序で図面に描写されているが、これは、所望の結果を達成するために、そのような工程が、図示された特定の順序または連続した順序で実行されること、または、例示されたすべての工程が実行されることも必要としているとして理解されるべきではない。いくつかの状況では、マルチタスクおよび並列処理が有利であり得る。さらに、上記で説明された実施形態における様々なシステム構成要素の分離は、すべての実施形態におけるそのような分離を必要としているとして理解されるべきではなく、説明されたプログラム構成要素およびシステムは一般に、単一のソフトウェア製品へともに統合され得るか、または、多数のソフトウェア製品へパッケージ化され得ることが理解されるべきである。
よって、主題の特定の実施形態が説明された。他の実施形態は、以下の特許請求の範囲内である。いくつかのケースでは、特許請求の範囲において記載された動作は、別の順序で実行され、依然として望ましい結果を達成し得る。それに加えて、添付図面に図示された処理は、所望の結果を達成するために、必ずしも図示された特定の順序または連続した順序を必要とする訳ではない。いくつかの実施では、マルチタスクおよび並列処理が有利であり得る。
100 環境
102 ネットワーク
103 ワイヤレスネットワーク
106 ユーザデバイス
112 クラウドサービスプロバイダ
114 アカウントデータ
120 コマンド処理システム
122 入力パーサ
124 リマインダプロセッサ
126 リマインダカテゴリデータ
128 リマインダリストデータ
700 ユーザデバイス
702 ユーザインターフェース
704 リマインダ
730 ユーザデバイス
732 ユーザインターフェース
734 リマインダ
736 リンク
810 モバイルコンピューティングデバイス
812 タッチスクリーンディスプレイデバイス
818a ボタン
818b ボタン
818c ボタン
818d ボタン
820 スピーカ
822 マイクロホン
860 サービス
866 アプリケーションストア
868 インターネット
870 パーソナルコンピュータ
872 音声認識サービス
874 ソーシャルネットワーク
876 コンタクト
878 クラウドベースのアプリケーション
880 マッピングサービス
882 ターンバイターンサービス
884 ストリーミングメディア
886 マイクロブログ作成サービス
888 探索エンジン
890 サーバシステム

Claims (15)

  1. データ処理装置によって実行されるコンピュータ実施方法であって、
    複数の用語を備える第1の入力をデータ処理装置において受信するステップと、
    前記第1の入力における前記用語のうちの1つまたは複数が、リマインダカテゴリに属するアイテムを指定していると、前記データ処理装置によって判定するステップと
    を備え、
    前記リマインダカテゴリは、前記リマインダカテゴリに属し、リマインダが生成され得るアイテムの集合に関連付けられ、
    判定する前記ステップは、
    複数のリマインダカテゴリ辞書にアクセスするステップであって、各リマインダカテゴリ辞書は、他の各リマインダカテゴリ辞書の他の各リマインダカテゴリとは異なるリマインダカテゴリに対応し、前記リマインダカテゴリ辞書が対応する前記リマインダカテゴリに属するアイテムを説明する用語を記憶し、かつ、前記リマインダカテゴリに属するリマインダタイプを指定し、各リマインダタイプは、前記リマインダタイプに特有であり、かつ、他の各リマインダタイプのイベントをトリガするのとは異なる、トリガイベントを指定する、アクセスするステップと、
    前記第1の入力で指定された前記アイテムが、前記複数のリマインダカテゴリ辞書の特定のリマインダカテゴリ辞書でリスト化されたアイテムであると判定するステップと、
    前記判定に応じて、
    前記データ処理装置によって、前記特定のリマインダカテゴリ辞書の前記リマインダタイプのうちの1つを選択するステップと、
    前記1つまたは複数の用語によって指定された前記アイテムについて前記選択されたリマインダタイプのトリガイベントを関連付けるデータを記憶するステップと
    を備える、コンピュータ実施方法。
  2. リマインダタイプを、前記1つまたは複数の用語によって指定された前記アイテムについて前記選択されたリマインダタイプのトリガイベントを関連付けるデータを記憶するステップは、
    前記1つまたは複数の用語によって指定された前記アイテムに基づいて、1つまたは複数のリマインダタイプを選択するステップであって、各リマインダタイプは、他の各リマインダタイプとは異なる、選択するステップと、
    前記選択されたリマインダタイプのうちの少なくとも1つについて、
    リマインダオプションのリストをユーザデバイスが提示するようにさせるデータを提供するステップであって、各リマインダオプションは各々、前記選択されたリマインダタイプに対応し、各リマインダオプションは、前記選択されたリマインダタイプについて特定のトリガイベントを指定し、かつ前記選択されたリマインダタイプについて他の各リマインダオプションの他の各トリガイベントとは異なる、提供するステップと、
    前記リマインダオプションのうちの1つの選択を受信するステップと、
    前記選択されたリマインダオプションに対応する前記リマインダタイプを、前記1つまたは複数の用語によって指定された前記アイテムに関連付けるデータを記憶するステップと
    を備える、請求項1に記載のコンピュータ実施方法。
  3. 複数の用語を備える第2の入力を受信するステップと、
    前記第2の入力における前記用語のうちの1つまたは複数が、前記リマインダカテゴリに属するアイテムリストを処理するための動作を指定していると判定するステップであって、前記アイテムリストは、選択されたリマインダオプションに対応するリマインダタイプに関連付けられた1つまたは複数のアイテムの集合である、判定するステップと、
    1つまたは複数のアイテムの前記アイテムリストをユーザデバイスが提示するようにさせるデータを提供するステップと
    をさらに備える、請求項1に記載のコンピュータ実施方法。
  4. 前記第2の入力における前記用語のうちの1つまたは複数が、前記リマインダカテゴリに属するアイテムリストを処理するための動作を指定していると判定するステップは、
    前記第2の入力の前記複数の用語を構文解析して、構文解析された用語を生成するステップと、
    前記第2の入力の前記構文解析された用語を、前記複数のリマインダカテゴリ辞書と比較するステップと、
    前記選択されたリマインダカテゴリに対応する前記リマインダカテゴリ辞書における用語に対する、前記第2の入力における前記1つまたは複数の用語の一致に基づいて、前記リマインダカテゴリのうちの1つを選択するステップと
    を備える、請求項3に記載のコンピュータ実施方法。
  5. 前記第2の入力における前記用語のうちの1つまたは複数が、前記リマインダカテゴリに属するアイテムリストを処理するための動作を指定していると判定するステップは、前記第2の入力の構文解析された用語が、第1のリマインダタイプを指定していると判定するステップを備え、
    1つまたは複数のアイテムの前記アイテムリストを前記ユーザデバイスが提示するようにさせるデータを提供するステップは、1つまたは複数のアイテムの前記アイテムリストを前記ユーザデバイスが提示するようにさせるデータを提供するステップであって、前記1つまたは複数のアイテムの各々は、前記第1のリマインダタイプに関連付けられる、提供するステップを備える、請求項4に記載のコンピュータ実施方法。
  6. 前記第2の入力における前記用語のうちの1つまたは複数が、前記リマインダカテゴリに属するアイテムリストを処理するための動作を指定していると判定するステップは、構文解析された前記第2の入力の用語が、第2のリマインダタイプを指定していると判定するステップを備え、
    1つまたは複数のアイテムの前記アイテムリストを前記ユーザデバイスが提示するようにさせるデータを提供するステップは、1つまたは複数のアイテムの前記アイテムリストを前記ユーザデバイスが提示するようにさせるデータを提供するステップであって、前記1つまたは複数のアイテムの各々は、前記第2のリマインダタイプに関連付けられていない、提供するステップを備える、請求項5に記載のコンピュータ実施方法。
  7. 前記リマインダタイプをトリガするイベントが生じたと判定するステップと、
    前記判定に応じて、リマインダと前記アイテムを含むリストとをユーザデバイスが提示するようにさせるデータを提供するステップと
    をさらに備える、請求項1に記載のコンピュータ実施方法。
  8. 前記イベントは、あらかじめ定義された時間の発生、または、場所における前記ユーザデバイスの存在のいずれか1つである、請求項7に記載のコンピュータ実施方法。
  9. 複数の用語を備える第2の入力を受信するステップと、
    前記第2の入力における前記用語のうちの1つまたは複数が、特定のリマインダタイプに関連付けられたアイテムのためのリマインダをリストするアイテムリストを処理するための動作を指定していると判定するステップと、
    前記アイテムのためのリマインダの前記アイテムリストをユーザデバイスが提示するようにさせるデータを提供するステップと
    をさらに備える、請求項1に記載のコンピュータ実施方法。
  10. システムであって、
    データ処理装置と、
    コンピュータプログラムでエンコードされたコンピュータ記憶媒体と
    を備え、
    前記プログラムは、前記データ処理装置によって実行された場合、
    複数の用語を備える第1の入力を受信するステップと、
    前記第1の入力における前記用語のうちの1つまたは複数が、リマインダカテゴリに属するアイテムを指定していると判定するステップと
    を備え、
    前記リマインダカテゴリは、前記リマインダカテゴリに属し、リマインダが生成され得るアイテムの集合に関連付けられ、
    判定する前記ステップは、
    複数のリマインダカテゴリ辞書にアクセスするステップであって、各リマインダカテゴリ辞書は、他の各リマインダカテゴリ辞書の他の各リマインダカテゴリとは異なるリマインダカテゴリに対応し、前記リマインダカテゴリ辞書が対応する前記リマインダカテゴリに属するアイテムを説明する用語を記憶し、かつ、前記リマインダカテゴリに属するリマインダタイプを指定し、各リマインダタイプは、前記リマインダタイプに特有であり、かつ、他の各リマインダタイプのイベントをトリガするのとは異なる、トリガイベントを指定する、アクセスするステップと、
    前記第1の入力で指定された前記アイテムが、前記複数のリマインダカテゴリ辞書の特定のリマインダカテゴリ辞書でリスト化されたアイテムであると判定するステップと、
    前記判定に応じて、
    前記データ処理装置によって、前記特定のリマインダカテゴリ辞書の前記リマインダタイプのうちの1つを選択するステップと、
    前記1つまたは複数の用語によって指定された前記アイテムについて前記選択されたリマインダタイプのトリガイベントを関連付けるデータを記憶するステップと
    を備える工程を、前記データ処理装置に実行させる命令を備える、システム。
  11. リマインダタイプを、前記1つまたは複数の用語によって指定された前記アイテムについて前記選択されたリマインダタイプのトリガイベントを関連付けるデータを記憶するステップは、
    前記1つまたは複数の用語によって指定された前記アイテムに基づいて、1つまたは複数のリマインダタイプを選択するステップであって、各リマインダタイプは、他の各リマインダタイプとは異なる、選択するステップと、
    前記選択されたリマインダタイプのうちの少なくとも1つについて、
    リマインダオプションのリストをユーザデバイスが提示するようにさせるデータを提供するステップであって、各リマインダオプションは各々、前記選択されたリマインダタイプに対応し、各リマインダオプションは、前記選択されたリマインダタイプについて特定のトリガイベントを指定し、かつ前記選択されたリマインダタイプについて他の各リマインダオプションの他の各トリガイベントとは異なる、提供するステップと、
    前記リマインダオプションのうちの1つの選択を受信するステップと、
    前記選択されたリマインダオプションに対応する前記リマインダタイプを、前記1つまたは複数の用語によって指定された前記アイテムに関連付けるデータを記憶するステップと
    を備える、請求項10に記載のシステム。
  12. 前記工程はさらに、
    複数の用語を備える第2の入力を受信するステップと、
    前記第2の入力における前記用語のうちの1つまたは複数が、前記リマインダカテゴリに属するアイテムリストを処理するための動作を指定していると判定するステップであって、前記アイテムリストは、選択されたリマインダオプションに対応するリマインダタイプに関連付けられた1つまたは複数のアイテムの集合である、判定するステップと、
    1つまたは複数のアイテムの前記アイテムリストをユーザデバイスが提示するようにさせるデータを提供するステップと
    を備える、請求項10に記載のシステム。
  13. 前記第2の入力における前記用語のうちの1つまたは複数が、前記リマインダカテゴリに属するアイテムリストを処理するための動作を指定していると判定するステップは、
    前記第2の入力の前記複数の用語を構文解析して、構文解析された用語を生成するステップと、
    前記第2の入力の前記構文解析された用語を、前記複数のリマインダカテゴリ辞書と比較するステップと、
    前記選択されたリマインダカテゴリに対応する前記リマインダカテゴリ辞書における用語に対する、前記第2の入力における前記1つまたは複数の用語の一致に基づいて、前記リマインダカテゴリのうちの1つを選択するステップと
    を備える、請求項12に記載のシステム。
  14. 前記第2の入力における前記用語のうちの1つまたは複数が、前記リマインダカテゴリに属するアイテムリストを処理するための動作を指定していると判定するステップは、前記第2の入力の構文解析された用語が、第1のリマインダタイプを指定していると判定するステップを備え、
    1つまたは複数のアイテムの前記アイテムリストを前記ユーザデバイスが提示するようにさせるデータを提供するステップは、1つまたは複数のアイテムの前記アイテムリストを前記ユーザデバイスが提示するようにさせるデータを提供するステップであって、前記1つまたは複数のアイテムの各々は、前記第1のリマインダタイプに関連付けられる、提供するステップを備える、請求項13に記載のシステム。
  15. コンピュータプログラムでエンコードされたコンピュータ記憶媒体であって、前記プログラムは、データ処理装置によって実行された場合、
    複数の用語を備える第1の入力を受信するステップと、
    前記第1の入力における前記用語のうちの1つまたは複数が、リマインダカテゴリに属するアイテムを指定していると判定するステップと
    を備え、
    前記リマインダカテゴリは、前記リマインダカテゴリに属し、リマインダが生成され得るアイテムの集合に関連付けられ、
    判定する前記ステップは、
    複数のリマインダカテゴリ辞書にアクセスするステップであって、各リマインダカテゴリ辞書は、他の各リマインダカテゴリ辞書の他の各リマインダカテゴリとは異なるリマインダカテゴリに対応し、前記リマインダカテゴリ辞書が対応する前記リマインダカテゴリに属するアイテムを説明する用語を記憶し、かつ、前記リマインダカテゴリに属するリマインダタイプを指定し、各リマインダタイプは、前記リマインダタイプに特有であり、かつ、他の各リマインダタイプのイベントをトリガするのとは異なる、トリガイベントを指定する、アクセスするステップと、
    前記第1の入力で指定された前記アイテムが、前記複数のリマインダカテゴリ辞書の特定のリマインダカテゴリ辞書でリスト化されたアイテムであると判定するステップと、
    前記判定に応じて、
    前記データ処理装置によって、前記特定のリマインダカテゴリ辞書の前記リマインダタイプのうちの1つを選択するステップと、
    前記1つまたは複数の用語によって指定された前記アイテムについて前記選択されたリマインダタイプのトリガイベントを関連付けるデータを記憶するステップと
    を備える工程を、前記データ処理装置に実行させる命令を備える、コンピュータ記憶媒体。
JP2016574948A 2014-06-24 2015-06-16 リスト蓄積およびリマインダトリガ Active JP6445053B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/313,459 US10783166B2 (en) 2014-06-24 2014-06-24 List accumulation and reminder triggering
US14/313,459 2014-06-24
PCT/US2015/035990 WO2015200042A1 (en) 2014-06-24 2015-06-16 List accumulation and reminder triggering

Publications (2)

Publication Number Publication Date
JP2017526047A JP2017526047A (ja) 2017-09-07
JP6445053B2 true JP6445053B2 (ja) 2018-12-26

Family

ID=53718114

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016574948A Active JP6445053B2 (ja) 2014-06-24 2015-06-16 リスト蓄積およびリマインダトリガ

Country Status (6)

Country Link
US (3) US10783166B2 (ja)
EP (1) EP3161755A1 (ja)
JP (1) JP6445053B2 (ja)
CN (1) CN106663241B (ja)
RU (1) RU2666462C2 (ja)
WO (1) WO2015200042A1 (ja)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20120311585A1 (en) 2011-06-03 2012-12-06 Apple Inc. Organizing task items that represent tasks to perform
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
KR102579086B1 (ko) 2013-02-07 2023-09-15 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US10218582B2 (en) 2013-09-26 2019-02-26 Apple Inc. Notifications with input-based completion
EP3149728B1 (en) 2014-05-30 2019-01-16 Apple Inc. Multi-command single utterance input method
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10453325B2 (en) 2015-06-01 2019-10-22 Apple Inc. Creation of reminders using activity state of an application
US9603123B1 (en) 2015-06-04 2017-03-21 Apple Inc. Sending smart alerts on a device at opportune moments using sensors
US10235863B2 (en) * 2015-06-05 2019-03-19 Apple Inc. Smart location-based reminders
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US20170201803A1 (en) * 2016-01-13 2017-07-13 Google Inc. Explicit and implicit tv and movie viewing availability reminders
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10212023B2 (en) * 2016-10-05 2019-02-19 Vmware, Inc. Methods and systems to identify and respond to low-priority event messages
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US11688268B2 (en) * 2018-01-23 2023-06-27 Sony Corporation Information processing apparatus and information processing method
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11767126B2 (en) * 2019-04-30 2023-09-26 Honeywell International Inc. Methods and systems for automatic time keeping of electronic checklists
US11307752B2 (en) * 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11622002B2 (en) 2021-01-14 2023-04-04 International Business Machines Corporation Synchronizing virtual reality notifications
CN114783156A (zh) * 2022-03-09 2022-07-22 青岛海尔科技有限公司 提醒事项的播报方法、存储介质及电子装置

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5699107A (en) * 1995-05-05 1997-12-16 Microsoft Corporation Program reminder system
JPH11143936A (ja) 1997-11-13 1999-05-28 Nippon Telegr & Teleph Corp <Ntt> スケジュールのリマインド通知処理方法，スケジュール管理装置およびリマインド通知プログラムを記録した記録媒体
US6177905B1 (en) 1998-12-08 2001-01-23 Avaya Technology Corp. Location-triggered reminder for mobile user devices
US6169543B1 (en) * 1998-12-28 2001-01-02 Thomson Licensing S.A. System and method for customizing program guide information to include reminder item or local identifier
US7444390B2 (en) * 1999-10-20 2008-10-28 Cdimensions, Inc. Method and apparatus for providing a web-based active virtual file system
US7458080B2 (en) * 2000-12-19 2008-11-25 Microsoft Corporation System and method for optimizing user notifications for small computer devices
US6619543B1 (en) 2001-01-23 2003-09-16 Tokheim Holding B.V. URL-encoded internet access card for retrieving and viewing e-mail at a fuel dispenser
US6604059B2 (en) 2001-07-10 2003-08-05 Koninklijke Philips Electronics N.V. Predictive calendar
FI117079B (fi) * 2002-03-11 2006-05-31 Nokia Corp Menetelmä ja järjestelmä muistutusten esittämiseksi kannettavassa laitteessa
US7640306B2 (en) * 2002-11-18 2009-12-29 Aol Llc Reconfiguring an electronic message to effect an enhanced notification
US7493646B2 (en) * 2003-01-30 2009-02-17 United Video Properties, Inc. Interactive television systems with digital video recording and adjustable reminders
CN1765136B (zh) * 2003-04-17 2010-05-12 诺基亚有限公司 一种移动通信设备及其操作移动通信设备的方法
US7277726B2 (en) 2004-05-03 2007-10-02 Motorola, Inc. Controlling wireless mobile devices from a remote device
GB2421333B (en) * 2004-12-17 2007-08-01 Motorola Inc An alert management apparatus and a method of alert management therefor
US7323988B2 (en) * 2004-12-17 2008-01-29 Alcatel Lucent Personal item reminder
JP2007058660A (ja) 2005-08-25 2007-03-08 Matsushita Electric Ind Co Ltd 端末装置およびイベント報知方法
US7577522B2 (en) * 2005-12-05 2009-08-18 Outland Research, Llc Spatially associated personal reminder system and method
US8442828B2 (en) 2005-12-02 2013-05-14 Microsoft Corporation Conditional model for natural language understanding
WO2008021147A2 (en) * 2006-08-08 2008-02-21 Siemens Energy & Automation, Inc. Devices, systems, and methods for initializing a plc module
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8081963B2 (en) 2008-02-12 2011-12-20 Microsoft Corporation Utilizing mobile device functionality from remote computers
US7889101B2 (en) * 2008-04-14 2011-02-15 Alpine Electronics, Inc Method and apparatus for generating location based reminder message for navigation system
US8054180B1 (en) 2008-12-08 2011-11-08 Amazon Technologies, Inc. Location aware reminders
US8321916B2 (en) 2008-12-19 2012-11-27 Intel Corporation Method, apparatus and system for remote management of mobile devices
US8666367B2 (en) * 2009-05-01 2014-03-04 Apple Inc. Remotely locating and commanding a mobile device
WO2011001989A1 (ja) * 2009-06-29 2011-01-06 Tokuyama Masaaki ワークフロー処理プログラム、情報処理装置、及び、ワークフロー処理方法
US8417662B2 (en) * 2010-02-18 2013-04-09 The University Of Utah Research Foundation Adjustable alert rules for medical personnel
US10225683B1 (en) * 2010-08-02 2019-03-05 Intellectual Ventures Fund 79 Llc Systems, methods, and mediums for receiving reminders and/or identifying available goods and/or services
WO2012040661A1 (en) * 2010-09-24 2012-03-29 Robert Plotkin Profile-based message control
US9760920B2 (en) * 2011-03-23 2017-09-12 Audible, Inc. Synchronizing digital content
US8766793B2 (en) * 2011-03-25 2014-07-01 Microsoft Corporation Contextually-appropriate task reminders
CN102945074B (zh) * 2011-10-12 2016-04-27 微软技术许可有限责任公司 根据所捕捉的语音和音频内容来填充列表和任务
EP2587746B1 (en) 2011-10-27 2016-04-20 BlackBerry Limited Setting reminders from an instant messaging application
US8644848B2 (en) * 2011-12-02 2014-02-04 Yellowpages.Com Llc Systems and methods for location sensitive alerts in a mobile communication network
EP2839391A4 (en) * 2012-04-20 2016-01-27 Maluuba Inc CONVERSATION AGENT
US10204507B2 (en) * 2012-08-24 2019-02-12 La Crosse Technology, Ltd. User-configurable weather warning apparatus
US9460608B2 (en) * 2012-09-13 2016-10-04 Apple Inc. Reminder creation for tasks associated with a user event
US20140114716A1 (en) 2012-10-20 2014-04-24 Moritz Tim Flögel Method and system for proximity reminders
US9271111B2 (en) * 2012-12-14 2016-02-23 Amazon Technologies, Inc. Response endpoint selection
US9167388B2 (en) * 2013-01-18 2015-10-20 Apple Inc. Method and apparatus for automatically adjusting the operation of reminders based on device event history
US9148398B2 (en) * 2013-03-13 2015-09-29 Google Inc. Prioritized and contextual display of aggregated account notifications
US9176807B2 (en) * 2013-07-10 2015-11-03 Cellco Partnership Random event capturing mechanism for application systems
US20150143281A1 (en) * 2013-11-19 2015-05-21 Apple Inc. Notifications and reminders based on user states
US20170017351A1 (en) * 2014-03-31 2017-01-19 Pcms Holdings, Inc. System and method for updating notifications across devices and applications

Also Published As

Publication number Publication date
US20150370884A1 (en) 2015-12-24
RU2016150424A3 (ja) 2018-07-24
US10783166B2 (en) 2020-09-22
US20200401609A1 (en) 2020-12-24
CN106663241A (zh) 2017-05-10
JP2017526047A (ja) 2017-09-07
US11562005B2 (en) 2023-01-24
RU2666462C2 (ru) 2018-09-07
CN113807806A (zh) 2021-12-17
WO2015200042A1 (en) 2015-12-30
EP3161755A1 (en) 2017-05-03
US20230237074A1 (en) 2023-07-27
RU2016150424A (ru) 2018-07-24
CN106663241B (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
JP6445053B2 (ja) リスト蓄積およびリマインダトリガ
US11848028B2 (en) Remote invocation of mobile device actions
WO2016182712A1 (en) Activity triggers
US20230244657A1 (en) Query composition system
EP3516831B1 (en) Uniform resource identifier and image sharing for contextual information display
CN113807806B (zh) 列表累积和提醒触发

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180601

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181128

R150 Certificate of patent or registration of utility model

Ref document number: 6445053

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250