JP6224592B2 - 動的かつ構成可能なユーザインターフェース - Google Patents

動的かつ構成可能なユーザインターフェース Download PDF

Info

Publication number
JP6224592B2
JP6224592B2 JP2014531863A JP2014531863A JP6224592B2 JP 6224592 B2 JP6224592 B2 JP 6224592B2 JP 2014531863 A JP2014531863 A JP 2014531863A JP 2014531863 A JP2014531863 A JP 2014531863A JP 6224592 B2 JP6224592 B2 JP 6224592B2
Authority
JP
Japan
Prior art keywords
context
information
user
mobile device
subset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014531863A
Other languages
English (en)
Other versions
JP2014531666A (ja
Inventor
ゴヴィンダラジャン・クリシュナマーティ
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Publication of JP2014531666A publication Critical patent/JP2014531666A/ja
Application granted granted Critical
Publication of JP6224592B2 publication Critical patent/JP6224592B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/20—Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/50—Service provisioning or reconfiguring

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Stored Programmes (AREA)

Description

関連出願の相互参照
本出願は、参照により、あらゆる目的においてこれらの参照のそれぞれの全体が本明細書に組み込まれている、「DYNAMIC AND CONFIGURABLE USER INTERFACE」という表題の、2011年9月22日に出願した米国仮出願第61/537,684号、ならびに「DYNAMIC AND CONFIGURABLE USER INTERFACE」という表題の、2012年1月6日に出願した、米国非仮出願第13/344,735号の利点および優先権を主張するものである。
モバイルデバイスは、ますます普及し、多用途になっている。たとえば、プログラムの多用なセットをセルラー電話上および携帯情報端末(PDA)上で実行することができる。加えて、モバイルデバイスは、ユーザに多くのタイプの情報(たとえば、ニュースまたは教育的個人指導)を提示することができる。モバイルデバイスのユーザインターフェースは、ユーザが、(たとえば、プログラムに関連するグラフィカルアイコンを選択することによって)特定の利用可能な情報を実行するためのプログラム、および/または当該情報を閲覧するためのプログラムを選択することを可能にすることができる。ユーザが、簡単にプログラムを選択することまたは情報を閲覧することができない場合、そのプログラムまたはその情報の価値は下がる。したがって、ユーザが所望するプログラムおよび情報に容易にアクセスすることを可能にするユーザインターフェースを提供することが重要である。
モバイルデバイスのユーザに利用可能なユーザインターフェースを改善するための技法が提供される。所与の文脈に応じて、利用可能なプログラムおよび/または情報のタイプ(たとえば、警告)を識別する情報キューをユーザに異なって提示するために動的に構成されたユーザインターフェースまたはディスプレイを生成することができる。たとえば、文脈に基づいて、プログラムおよび/または情報タイプのサブセットと関連付けられた情報キュー(たとえば、グラフィカルアイコン)を識別して、(たとえば、グラフィカルアイコン、動画による視覚的提示、音声などを使用して)ユーザに提示することができる。一方で、場合によっては、その文脈に関連しない他のプログラムおよび/または情報タイプと関連付けられた情報キューは、提示されないか、または(たとえば、より小さなアイコンサイズを使用して、より少ない動画を使用して、または動画なしで、より少ない音声を使用して、または音声なしで、など)より目立たないように提示される。ユーザは文脈関連情報キューの提示に関する特性を少なくとも部分的に定義することができる。たとえば、ユーザは画面の動的部分を少なくとも部分的に定義することができ、動的部分内の情報キューの提示は文脈に応じて変化する(たとえば、提示された情報キューの識別またはそれらのキューの他の提示特性を変更する)。ユーザは、タッチスクリーンを使用して動的区域の外周を画定すること、動的区域構成のシステム提供オプションの中から選択すること、動的になる画面の割合を識別することなどが可能である。次いで、ユーザ入力またはシステムインターフェースに基づいて、文脈を判断することができる。ユーザ入力および/またはシステムアルゴリズム(たとえば、ニューラルネットワークの使用)に基づいて、プログラムおよび/または情報タイプのサブセットを文脈と関連付けることが可能である。サブセットは、文脈を考慮して、関心が高いと予測されるか、または関心が高いとして知られているプログラムおよび/もしくは情報タイプを含むことが可能である。(たとえば、サブセットに関するグラフィカルアイコンまたはテキストだけを動的部分内で表示すること、サブセットの提示を動画にすること、サブセットのうちの1つまたは複数にリンクしたサウンドクリップを再生すること、など)優位な(predominate)様式で、サブセットと関連付けられた情報キューをユーザに提示することができる。次いで、ユーザは、文脈を考慮して、特定の関心のプログラムおよび/または情報タイプを容易に識別して、そのプログラムおよび/または情報タイプにアクセスすることができる。
いくつかの実施形態では、モバイルデバイスのユーザインターフェースを生成するための方法が提供される。この方法は、モバイルデバイスを介して、動的文脈依存情報キューを提示するための特性に関する入力をモバイルデバイスのユーザから受信するステップと、文脈を判断するステップと、文脈と関連付けられた、情報キューのセットのサブセットを識別するステップと、モバイルデバイスを介して、識別されたサブセットをユーザに優位に提示するステップであって、提示が、情報キューのセット内の他の情報キューの何らかの提示と比較して優位である、提示するステップとを含むことが可能であり、提示は受信されたユーザ入力と一致する。情報キューのセットは、モバイルデバイス上で実行可能なプログラムと関連付けられたグラフィカルアイコンを含むことが可能である。情報キューのセットは文脈の警告を含むことが可能である。情報キューのセットは取引の警告を含むことが可能である。文脈は先に受信された文脈定義ユーザ入力に基づいて判断可能である。先に受信された文脈定義ユーザ入力は、情報キューのセットのサブセットを表示するための1つまたは複数の条件を識別することができる。1つまたは複数の条件は、1人または複数の特定の送信者から電子メールを受信することを含むことが可能である。入力は、識別されたサブセットを視覚的に提示するために、モバイルデバイス上の画面の動的部分の実際の境界または近似的境界を含むことが可能である。入力は、1つまたは複数のタッチスクリーンに描かれた(touch-screen-drawn)境界を含むことが可能である。動的部分は、画面の全体に満たない部分をカバーする、モバイルデバイス上の画面の複数の領域を含むことが可能である。識別されたサブセットは、モバイルデバイス上の画面のシステム定義部分内に視覚的に提示可能である。情報キューのセットの1つまたは複数の情報キューは複数の文脈と関連付けられる。識別されたサブセットの全体がモバイルデバイスの画面上に同時に提示されないように、識別されたサブセットは少なくとも1つのスクロール機能を用いて提示可能である。この方法は、情報キューのセットの情報キューの少なくともいくつかをランク付けするステップであって、識別されたサブセットの提示がランク付けに少なくとも一部基づく、ランク付けするステップをさらに含むことが可能である。情報キューのセットの識別されたサブセットの情報キューの各々の提示に関連する画面位置は、ランク付けするステップに少なくとも一部基づいてよい。入力は複数のシステム生成画面区分化オプションの中からの選択を含むことが可能である。識別されたサブセットを優位に提示するステップは、情報キューのセット内の他の情報キューと関連付けられたグラフィカルアイコンの何らかの表示と比較して、サブセットと関連付けられたグラフィカルアイコンを優位に表示するステップを含むことが可能である。場合によっては、サブセット内の情報キューはモバイルデバイスのディスプレイ画面上でユーザに視覚的に提示され、他の情報キューはディスプレイ画面上でユーザに視覚的に提示されない。場合によっては、サブセット内の情報キューはデスクトップ上またはモバイルデバイスのホーム画面上でユーザに視覚的に提示され、他の情報キューはデスクトップ上またはホーム画面上でユーザに視覚的に提示されない。サブセットは、文脈が判断されたことを示す情報キューを含むことが可能である。文脈が判断されたことを示す情報キューは、モバイルデバイスの音声および振動のうちの少なくとも1つを使用してユーザに提示可能である。文脈は、環境文脈であってよい。この方法は、モバイルデバイスを介して、情報キューの静的文脈非依存セットをユーザに提示するステップをさらに含むことが可能である。モバイルデバイスはセルラー電話であってよい。この方法は、1つまたは複数の文脈関連変数を受信するステップをさらに含むことが可能であり、文脈を判断するステップは、受信された1つまたは複数の文脈関連変数に基づいて、文脈を推論するステップを含む。この方法は、第2の文脈を判断するステップと、第2の文脈と関連付けられた、情報キューの動的セットの第2のサブセットを識別するステップと、モバイルデバイスを介して、動的セット内の他の情報キューの何らかの提示と比較して、第2のサブセットを優位に提示するステップとをさらに含むことが可能であり、提示は受信されたユーザ入力と一致し、第2のサブセットはサブセットとは異なる。サブセットは、モバイルデバイス上で実行可能なプログラムを文脈と関連付けるユーザ入力に少なくとも一部基づいて識別可能である。この方法は、モバイルデバイス上で実行可能なプログラムとのユーザの対話を監視するステップと、ユーザの対話と文脈関連変数との間の相関関係を識別するステップと、文脈関連変数の値を受信するステップと、識別された相関関係と受信された値とに基づいて、文脈を推論するステップとをさらに含むことが可能である。
いくつかの実施形態では、モバイルデバイスのユーザインターフェースを生成するためのシステムが提供される。このシステムは、動的文脈依存情報キューを提示するための特性に関する入力をモバイルデバイスのユーザから受信することを行うように構成された入力構成要素と、文脈を判断することを行うように構成された文脈検出器と、判断された文脈を情報キューのセットのサブセットと関連付けるように構成された関連付け装置(associator)と、情報キューのセット内の他の情報キューの何らかの提示と比較して、そのサブセットを優位に提示するユーザインターフェースを生成することを行うように構成されたユーザインターフェース生成器とを含むことが可能であり、サブセットの提示は受信されたユーザ入力に一致する。ユーザインターフェース生成器は、動的文脈依存情報キューを表示するための、モバイルデバイスのディスプレイの部分を定義するディスプレイ割当て装置(apportioner)を含むことが可能であり、定義はユーザ入力に応じる。文脈検出器は、複数の文脈定義を少なくとも周期的に調整することを行うように構成された適応モデルを含むことが可能である。関連付け装置は、文脈と情報キューの動的セットの一部との間の関連付けを少なくとも周期的に調整するように構成された適応モデルを含むことが可能である。
いくつかの実施形態では、モバイルデバイスのユーザインターフェースを生成するためのシステムが提供される。このシステムは、動的文脈依存情報キューを提示するための特性に関する入力をモバイルデバイスのユーザから受信することを行うように構成された入力デバイスと、文脈を判断することと、文脈と関連付けられた、情報キューのセットのサブセットを識別することと、ユーザインターフェースを生成して、識別されたサブセットをユーザに優位に提示することであって、提示が、情報キューのセット内の他の情報キューの何らかの提示と比較して優位である、提示することを行うためのコンピュータ実行可能命令を用いてプログラムされた、1つまたは複数のプロセッサとを含むことが可能であり、提示は受信されたユーザ入力と一致する。モバイルデバイスは1つまたは複数のプロセッサを含むことが可能である。外部コンピュータは1つまたは複数のプロセッサのうちの少なくとも1つを含むことが可能であり、外部コンピュータはワイヤレス接続を介してモバイルデバイスに結合される。モバイルデバイスは、1つまたは複数の文脈関連変数を監視することを行うように構成された1つまたは複数のセンサをさらに含むことが可能である。
いくつかの実施形態では、ユーザインターフェースを生成するためのシステムが提供される。このシステムは、動的文脈依存情報キューを提示するための特性に関する入力をモバイルデバイスのユーザから受信するための手段と、文脈を判断するための手段と、文脈に関連する、情報キューのセットのサブセットを識別するための手段と、情報キューのセット内の他の情報キューの何らかの提示と比較して、識別されたサブセットを優位に提示するための手段であって、提示が受信されたユーザ入力と一致する、提示するための手段とを含むことが可能である。文脈を判断するための手段は、クラスタリングアルゴリズムを使用するための手段を含むことが可能である。サブセットを識別するための手段は、ニューラルネットワークを使用するための手段を含むことが可能である。入力を受信するための手段は、タッチスクリーンを含むことが可能である。
モバイルデバイスに関するユーザインターフェースを生成するための、あるシステムのある実施形態を示す図である。 動的ユーザインターフェースを構成するための、本発明のある実施形態による、ある方法を示す図である。 動的ユーザインターフェースを構成するための、本発明のある実施形態による、ある方法を示す図である。 文脈に基づいて、プログラムおよび/または情報タイプを識別するための、ある方法のある実施形態を示す図である。 文脈依存変数と、文脈と、プログラムと、情報タイプとの間の関連付けのある実施形態を示す図である。 モバイルデバイスの画面のある例を示す図である。 文脈を推論して、ディスプレイを生成するための、あるシステムのある実施形態を示す図である。 コンピュータシステムのある実施形態を例示する図である。
モバイルデバイスのユーザに利用可能なユーザインターフェースを改善するための方法、デバイス、およびシステムが提供される。モバイルデバイスは、現在、多数のプログラムおよび情報タイプをサポートする。しかし、モバイルデバイスのディスプレイの小さなサイズを考慮すると、すべての利用可能なプログラムおよび情報のタイプを識別する情報キューをユーザに提示することは所望されないか、または不可能な場合がある。本発明のいくつかの実施形態は、動的に構成されたユーザインターフェースまたはディスプレイを生成することに関する。ユーザは、動的なユーザインターフェースまたはディスプレイに関する特性を少なくとも部分的に定義することができる。たとえば、ユーザは、情報キューの提示が文脈を通して変化する、画面の部分を少なくとも部分的に定義することができる。文脈は、たとえば、ユーザ入力またはシステム推論に基づいて判断可能である。(たとえば、ユーザ入力またはシステム解析に基づいて)(たとえば、その各々が、利用可能なプログラムを識別すること、または特定のタイプの情報を提示することが可能な)特定の情報キューを文脈と関連付けることが可能である。ユーザインターフェースは、ユーザが特定の情報キューと関連付けられたプログラムもしくは情報を容易に識別することおよび/または当該プログラムもしくは情報に容易にアクセスすることを可能にすることを行うように構成可能である。たとえば、画面の定義された動的部分は、特定のプログラムだけと関連付けられたグラフィカルアイコンまたはテキストを表示することができ、(たとえば、アイコンサイズを増大すること、動画を追加すること、アイコンにリンクしたサウンドクリップを追加することなどによって)特定のプログラムの提示を強調表示することができ、かつ/または(たとえば、デバイスの振動、音声信号、ディスプレイを点滅させることなどを介して)文脈もしくは関連するプログラム/情報タイプについてユーザに警告することができる。
場合によっては、文脈は環境文脈である。環境文脈は、たとえば、(たとえば、San Diego繁華街、15 Main Street、「仕事」場、外部、GPS座標、自由の女神像付近、Moe's Pizza付近、休憩施設付近など)位置文脈、(たとえば、旅行、仕事、家など)設定文脈、(たとえば、野球の試合、映画、会議、夕食、勉強など)活動文脈、(たとえば、Bettyと会う、Billが近くにいる、Annが話している、Peterが近くにいる可能性があるなど)関連人物文脈、または(たとえば、月曜日、週末、晩、午後9:00、1月など)時間文脈を含むことが可能である。場合によっては、文脈は事象検出文脈である。事象検出文脈は、たとえば、(たとえば、アイコンの選択、特定のキーをタイプすること、プログラムとの特定の対話、一定の期間にわたってデバイスを使用しないこと、タイプし続けること、文書を閲覧することなど)ユーザ活動、プログラムの開始、または(たとえば、プログラムによって検出される)トリガの検出を含むことが可能である。トリガがユーザ/デバイスの存在によって実質的に影響を受けないように、トリガはユーザ/デバイスに依存しなくてよい(たとえば、株価の変化、気象報告、航空券の取引、1足の靴の販売、他人のソーシャルネットワーキングアカウントの更新、特定の定期刊行物による新しい号の公開、特定の主題に関する新しい記事の公開などに基づくトリガ)。他の場合、トリガは、ユーザ/デバイスに少なくとも一部依存する(たとえば、モバイルデバイスの電池、ユーザアカウントによる新しい電子メールの受信などに基づくトリガ)。
一部の文脈は、相互排他的であってよい(たとえば、朝および晩、またはMoe's Pizzaおよび仕事)一方、他の文脈は相互排他的でなくてよい(たとえば、朝および自宅)。文脈は、(たとえば、販売前設定に基づいて)事前定義されてよく、または事前定義されなくてもよい。いくつかの実施形態では、たとえば、文脈は、下でより詳細に説明されるように、文脈関連変数の特定の値を繰り返して観察することに基づいて定義される。文脈に特定の名称(たとえば、「家」)もしくは総称(たとえば、「文脈A」)を与えてよく、または与えなくてもよい。いくつかの実施形態では、ユーザは事前定義された文脈または学習された文脈の名称を入力することができる。
下でより広く説明されるように、文脈が判断された後で、ディスプレイは、関心を持つ可能性があるプログラムおよび/または情報タイプをユーザに通知するための情報キューを提示することを行うように構成可能である。一例として、システムは、電話のGPSデータに基づいて、および/もしくは時刻に基づいて、ユーザが「事務所」文脈にいることを推論することができ、またはユーザは自らが「事務所」文脈にいることを指定するデータをデバイス内に入力することができる。ユーザは、仕事文脈にいる間、そのプログラムを頻繁に使用して、情報タイプにアクセスするため、システムは電子メールアプリケーションおよび技術開発情報を仕事関連として識別することができる。アプリケーションを仕事文脈と関連付けるユーザ入力に基づいて、書取りアプリケーションおよび走査アプリケーションを仕事関連プログラムとして識別することも可能である。他のアプリケーション(たとえば、スポーツニュースアプリケーションまたは運動記録アプリケーション)および他の情報タイプ(たとえば、ゴルフニュース)は仕事文脈と関連付けられず、他の文脈と関連付けられる。仕事関連プログラムは、次いで、ユーザに優位に提示される。たとえば、ユーザは、自らの画面の一部を「動的」になるように定義している場合がある。その場合、ユーザ選択可能アイコンもしくは機械選択可能アイコン、または仕事関連のアプリケーションおよび/もしくは情報タイプだけと関連付けられたテキストをこの部分内に表示することができる。1つまたは複数の他の画面部分は、静的であってよく、文脈に依存せずに、アイコンならびに/または情報(たとえば、ウェブブラウジングアプリケーションアイコン、電話アプリケーションアイコン、および気象情報)を表示することができる。このようにして、ユーザは、文脈を考慮して、使用する可能性が最も高いプログラムおよび情報のタイプに容易にアクセスすることができる。
別の例として、アプリケーションは、取引に関するサーバを追跡するように動作することができる。取引の検出は、事象検出文脈として定義可能である。この場合、ユーザインターフェースは、(たとえば、警告アイコンを提示すること、関連するアプリケーションのアイコンを提示すること、関連するアプリケーションのアイコンの提示または外観を変更すること、警告情報または文脈情報を提示すること、デバイスを振動させること、トーンを再生することなどによって)ユーザに取引または文脈を警告することを行うように構成可能である。(たとえば、取引を買い取るための)特定のプログラムまたはプログラム特徴をユーザに提示することも可能である。警告は、(たとえば、警告アイコンを動画にすることによって)動画を含むことが可能であり、かつ/またはデバイスは音声信号を発することが可能である。
図1は、モバイルデバイスに関するユーザインターフェースを生成するためのシステム100のある実施形態を示す。このシステムは、ワイヤレスネットワーク115と(クラウドネットワークを含むことが可能な)ネットワーク130とを介して遠隔サーバ140と通信することができるモバイルデバイス110を含むことが可能である。ワイヤレスネットワーク115は、セルラーサービスプロバイダのワイヤレスネットワークを表す場合がある。ワイヤレスネットワーク115は、1つまたは複数のネットワーク130を使用して、遠隔サーバ140と通信することができる。ネットワーク130は、企業イントラネットなど、1つもしくは複数のプライベートネットワーク、および/または、インターネットなど、1つもしくは複数のパブリックネットワークを含むことが可能である。
モバイルデバイス110は、セルラー電話、または、PDA、タブレットコンピュータ、ラップトップ、ハンドヘルドゲームデバイス、デジタルカメラなど、いくつかの他のモバイルコンピュータ化デバイスを表す場合がある。モバイルデバイス110は、モバイルデバイスの周囲の物理的環境からの音声データ(たとえば、人物111が話した会話)を収集または捕捉することができるマイクロフォンを含むことが可能である。モバイルデバイス110は、音声信号を発するためのスピーカを含むことが可能である。
モバイルデバイス110は、ディスプレイ(たとえば、タッチスクリーンディスプレイ)を含むことも可能である。ディスプレイは、利用可能なプログラムおよび/または情報をユーザに提示することを行うように構成可能である。たとえば、各プログラムおよび/もしくは情報のタイプまたは複数のプログラムおよび/もしくは情報のタイプと関連付けられた、ユーザ選択可能なグラフィカルアイコンあるいはテキストを表示することができる。ディスプレイは、少なくともおよそ0.5インチ、1インチ、2インチ、3インチ、5インチ、10インチ、12インチ、14インチ、20インチ、25インチ、30インチ、40インチまたは50インチであるか、またはおよそ0.5インチ、1インチ、2インチ、3インチ、5インチ、10インチ、12インチ、14インチ、20インチ、25インチ、30インチ、40インチまたは50インチ未満の長さおよび/あるいは幅を有することができる。
モバイルデバイス110は、ユーザ入力構成要素を含むことが可能である。ユーザ入力構成要素は、実行するためのプログラムの選択、閲覧するための情報のタイプの選択、またはユーザ選好の設定など、ユーザから入力を受信することを行うように構成可能である。ユーザ入力構成要素は、キーパッド(たとえば、テンキーおよび/もしくは文字キー)ならびに/または(たとえば、音声認識ソフトウェアに結合された)マイクロフォンを含むことが可能である。ユーザ入力構成要素は、マウス、タブレットペン、および/またはタッチスクリーンを含むことが可能である。
システム100は、1つまたは複数のセンサを含むことが可能である。いくつかの実施形態では、モバイルデバイス110は、1つまたは複数のセンサ(たとえば、光検出センサ、雑音センサ、圧力センサ、位置センサ、GPSなど)を含む。いくつかの実施形態では、1つまたは複数のセンサはモバイルデバイス110に対して外付けである。たとえば、モバイルデバイスの位置センサは、デバイスが「San Diego」にあることを示すことができ、外界センサは、San Diegoの温度を識別することができる。外界センサは、モバイルデバイス110および/または遠隔サーバ140とワイヤレス通信することが可能である。
モバイルデバイス110は、プロセッサ112と記憶デバイス114とを含むことが可能である。遠隔サーバ140は、プロセッサ142と記憶デバイス144とを含むことが可能である。「記憶デバイス」および「プロセッサ」は、本明細書で、単数形を使用して参照されるが、代わりに、複数の記憶デバイスおよび複数のプロセッサを使用することが可能である。記憶デバイス114または144は、文脈データ122、プログラムデータ124、および/もしくはユーザデータ126など、データ120を記憶することができる。データ120のうちのいくつかまたはすべては、個々のユーザまたはモバイルデバイスに特定であってよい。記憶されたデータ120を使用して、現在のもしくは最近のモバイルデバイス文脈を判断すること、ならびに/またはその文脈に関連するプログラムおよび/もしくは情報タイプを判断することが可能である。関連するプログラムおよび/または情報タイプは、何らかの適切な様式で、かつ何らかの適切な形態のデータを使用することによって判断可能である。たとえば、当該プログラムは、モバイルデバイスの位置、モバイルデバイスに関連するカレンダー、時刻、付近の陸標、ユーザの入力などに関するデータに少なくとも一部基づいて予測可能である。
文脈データ122は、文脈関連変数および/または複数の文脈を含むことが可能である。たとえば、文脈データ122は、「家」の文脈に関連するGPS座標のセットを含むことが可能である。文脈の例は上で提供されている。
文脈関連変数は、現在の文脈、近接未来の文脈、または未来の文脈を判断する際に役立つ可能性がある、何らかの変数を含むことが可能である。文脈関連変数の例は、GPS座標と、(たとえば、文脈を詳細に識別するか、またはプログラムの実行を開始する)ユーザ入力と、デバイス信号強度と、付近のBluetooth（登録商標）デバイスの検出と、センサに対する近接性と、付近の話し手の識別と、話された語の認識と、単一の発生または繰り返された活動もしくは事象を識別する電子メールあるいはカレンダーと、ユーザ特定事象または一般的な行事事象(たとえば、午後1時にBobと会うこと、またはクリスマス)と、(たとえば、日付、曜日、時刻など)時間データと、(たとえば、株価、気象、公開、商品取引など)公に送信されたデータおよび/またはネットワーク上で受信されたデータと、(たとえば、特定のプログラムの使用、デバイスがオン/オフであった時刻など)デバイス履歴と、(たとえば、取引価格通知トリガ、株価通知トリガ、ウェブサイト更新通知トリガなど)ユーザ定義トリガとを含む。
たとえば、(デバイスが繁華街にあることを示す)GPS座標の文脈関連変数、(月曜の午後3時であることを示す)時間データ、(ユーザが書取りプログラムを実行したばかりであることを示す)ユーザ活動、および(付近の話し手をユーザの上司として識別する)話し手識別は、プロセッサがデバイスおよびユーザが「仕事」文脈にいることを推論することを可能にし得る。別の例として、(San DiegoとSan Franciscoとの間の航空便が130ドルで利用可能であることを示す)航空券価格検査の文脈関連変数および(140ドルでこれらの位置間の航空便に関するトリガを示す)ユーザ定義トリガは、プロセッサが航空券価格検出事象文脈を推論することを可能にし得る。
いくつかの実施形態では、文脈データは、文脈のリストを含む。たとえば、ユーザは、(たとえば、「仕事」、「家」、「文脈A」、「休暇」、「雑事」など)1つまたは複数の文脈見出しを入力することができる。
プログラムデータ124は、モバイルデバイス上で実行可能なプログラムのリストを含むことが可能である。プログラムは、たとえば、アプリケーションまたはソフトウェアを含むことが可能である。プログラムデータ124は、モバイルデバイス上で閲覧可能な情報のタイプのリストを含むことも可能である。情報のタイプは、たとえば、ニュース、スポーツニュース、日付、外部温度などを含むことが可能である。場合によっては、情報のタイプは(たとえば、背景)プログラムの実行によって判断される。
プログラムデータ124は、1つもしくは複数のプログラムおよび/または情報タイプの各々に関連する、選択可能な特徴など、情報キューを含むことが可能である。たとえば、1つもしくは複数のプログラムおよび/または情報タイプをユーザ選択可能グラフィカルアイコン、テキスト、ボタン、または他のオプションと関連付けることが可能である。ユーザ選択可能特徴のユーザの選択は、関連するプログラムを実行させることが可能であるか、または選択されたタイプの特定情報を表示させることが可能である。場合によっては、ユーザは、プログラムを実行するため、または情報タイプからの情報を閲覧するために、ユーザ選択可能特徴を選択しなくてもよい。プログラムデータ124は、プログラムの記述、または情報タイプおよび/もしくはキーワード(たとえば、プログラムの表題)を含むことが可能である。
プログラムデータ124は、1つもしくは複数の文脈と、1つもしくは複数の情報キューと、プログラムおよび/または情報タイプとの間の関連付けを含むことが可能である。文脈を情報キューと関連付けることが、文脈をプログラムまたは情報タイプとさらに関連付け、文脈をプログラムまたは情報タイプと関連付けることが、文脈を情報キューとさらに関連付けるように、情報キューをプログラムまたは情報タイプと関連付けることが可能である。いくつかの実施形態では、文脈を、一般に、1つもしくは複数の(かつ、場合によっては、固定数の)プログラムおよび/または情報タイプと関連付けることが可能であり、かつ/あるいはプログラム/情報タイプを1つもしくは複数の文脈と関連付けることが可能である。いくつかの実施形態では、文脈を、各々が別個のまたは連続的な関連付け重みを有する、複数の(もしくは、すべての)プログラムまたは情報タイプと関連付けることが可能である。関連付けおよび(たとえば、関連付け重み、ランク付けなど)関係する特徴は、(下でさらに説明される)判断された文脈を考慮して、ユーザがそのプログラムを使用すること、もしくは情報タイプを閲覧することにどの程度関心があるかのシステムの予測に基づくこと、および/または(たとえば、重みもしくはプログラムランク付けを定義する)ユーザ入力に基づくことが可能である。システムの予測は、たとえば、プログラマによって提供されたデータ、ユーザ選好、および/または特定の文脈で使用されたプログラムの履歴解析に基づくことが可能である。
ある実施形態では、異なる文脈に対応するプログラムデータ124は、入れ子構造を有する場合がある。これらの場合、文脈が低い(たとえば、より正確な)レベルで判断された場合、文脈の特異性は、ユーザが使用もしくは閲覧する際にどのプログラムまたは情報タイプに関心を持つことになるかについて、より正確な判断を可能にし得る。たとえば、文脈は、「仕事中」のハイレベル文脈ではなく、「クライアントAとの会議」であり得る。プロセッサは、「仕事中」にユーザが使用するいくつかのプログラムはクライアントAとの会議の間に決して使用されないのに対して、他のプログラムは比較的高い頻度で使用されることを識別することができる。たとえば、ユーザは、クライアントAとの会議の間に走査アプリケーションを決して使用しないが、書取りアプリケーションを定期的に使用する場合がある。これにより、プログラムアイコンのより限定されたセットおよび/またはより良く適合されたセットをより正確な文脈でユーザに提示することができる。
ユーザデータ126は、ユーザによって明示的に入力された情報および/またはモバイルデバイスのユーザの使用に基づいてユーザに関して判断された情報を含むことが可能である。たとえば、ユーザデータ126は、特定のプログラムまたは情報タイプが1つの文脈、より多くの文脈、またはすべての文脈において優位に表示されることになることになるというインジケータを含むことが可能である。ユーザデータ126は、(たとえば、特定のサイズのグラフィカルアイコンの表示、アイコンまたは情報の位置、音声通知、デバイスの振動、テキストの動画、あるいはアイコンなど)1つもしくは複数のプログラムおよび/または情報タイプがどのようにユーザに提示されることになるかに関する選好を含むことが可能である。ユーザデータ126は、1つもしくは複数の既存の文脈または新しい文脈のユーザの定義(たとえば、名称および/または記述)を含むことが可能である。ユーザデータ126は、ユーザまたはモバイルデバイス110に関する人口学的情報(たとえば、モバイルデバイス上のセンサのタイプ)を含むことが可能である。ユーザデータ126は、ディスプレイの区分化(たとえば、動的になるディスプレイの断片、外周、または区域)に関する選好を含むことが可能である。
モバイルデバイス110のプロセッサ112およびサーバ140のプロセッサ142のうちの1つまたは両方を、モバイルデバイス110の記憶デバイス114および/またはサーバ140の記憶デバイス144に結合することが可能である。これらのプロセッサのうちの1つまたは両方は、本明細書で説明される何らかのステップまたは方法を実行することができる。下でより詳細に説明されるように、プロセッサは、現在の文脈または将来の文脈を判断するために、文脈データ122を解析することができる。次いで、プロセッサは、その文脈と関連付けられたプログラムまたは情報タイプを判断するために、プログラムデータ124を解析することができる。一実施形態では、関連付けられたプログラムおよび/または情報タイプは、当初、システムアルゴリズムによって判断されて、その後、ユーザデータ126に基づいて精緻化される(たとえば、関連付けをオーバライドする)。プログラムまたは情報タイプの判断に少なくとも一部基づいて、プロセッサは、ユーザに優位に提示されることになる1つまたは複数の情報キューを識別することができる。場合によっては、モバイルデバイス110上のディスプレイ画面は、関連付けられた情報キューを優位に表示することができる。
図2は、動的ユーザインターフェースを構成するための、本発明のある実施形態による方法200を示す。205で、文脈依存提示特性に関するユーザ入力を受信する。提示特性は、たとえば、文脈関連プログラムおよび/または情報タイプをユーザに提示するために使用される(たとえば、視覚的、音声、振動など)一般的なタイプの信号を示すことができる。別の例として、提示特性は、プログラムおよび/または情報タイプを提示するために使用される(たとえば、サウンドクリップ、ディスプレイ内のアイコンに関する位置、振動存続期間など)特定のタイプの信号を示すことができる。場合によっては、提示特性は文脈を通して固定される。たとえば、(たとえば、利用可能なプログラムまたは情報タイプを識別する)文脈依存情報キューが画面の固定部分内に一貫して提示可能であるか、または振動は、常に、新しい文脈の識別を示すことが可能である。場合によっては、提示特性は、異なる文脈に関する、異なる値、定義などを含む。ユーザ入力は、たとえば、表示されたオプションの中からの選択、(たとえば、文脈関連プログラムおよび/または情報タイプを表示するための画面の部分の周囲の外周を描く)タッチスクリーン入力、(たとえば、キーボードを使用して、文脈関連プログラムおよび/または情報タイプの表示専用の画面の割合を入力する)手動入力などを含むことが可能である。
210で、文脈を判断する。文脈判断は、下でより詳細に説明される。文脈は、ユーザ入力、事象検出、もしくは受信された文脈関連変数によってサポートされる推論に一部または完全に基づいて判断可能である。
215で、(たとえば、各々が1つもしくは複数のプログラムおよび/または情報タイプと関連付けられている)文脈関連情報キューを識別する。この識別は、下でより詳細に説明される。文脈関連情報キューは、ユーザ入力、プログラム使用および情報閲覧の履歴的ユーザ特定解析、プログラム記述などに基づいて、一部または完全に判断可能である。場合によっては、(たとえば、別個に、もしくは文脈関連情報キューの識別の一部として、)文脈関連プログラムおよび/または情報タイプが識別される。文脈と関連付けられた情報タイプは、文脈が識別された(たとえば、取引文脈が識別された)という通知を含んでよく、または含まなくてもよい。文脈と関連付けられたプログラムは、文脈を判断するために少なくとも一部使用されるプログラムを含んでよく、または含まなくてもよい。
220で、情報キューの提示がユーザ入力と一致し得るように、ユーザ入力に従って文脈関連情報キューを提示する。たとえば、ユーザが画面の一部を動的であるかまたは文脈依存であると定義した場合、文脈関連グラフィカル情報キューを定義された部分内で提示することができる。別の例として、(たとえば、関連するグラフィカルアイコンを拡大するために、動画を追加するためになど)ユーザが文脈関連情報キューと関連付けられるとして信号を識別した場合、識別された信号を介して、または識別された信号とともに、文脈関連情報キューを提示することができる。
図3は、動的ユーザインターフェースを構成するための、本発明のある実施形態による方法300を示す。305で、1つまたは複数の潜在的な文脈関連変数を識別する。文脈関連変数の例は上で列挙された。これらの変数は、たとえば、標準設定、ユーザ入力、識別を実行するモバイルデバイス上もしくはプロセッサ上で利用可能なセンサまたは当該モバイルデバイスもしくは当該プロセッサと通信する利用可能なセンサ、あるいはプログラムデータに基づいて識別可能である。
310で、文脈関連変数とユーザ活動とを監視する。ユーザ活動は、たとえば、(たとえば、デバイスの現在の位置を「家」と識別する)ユーザ入力、デバイスを実行するためのプログラムの選択、情報のタイプの閲覧などを含むことが可能である。315で、関連する文脈関連変数を判断する。関連する文脈関連変数は、たとえば、監視された文脈関連変数のどれが頻繁に判断可能であったか、所望される(たとえば、しきい値を超える、または特定の範囲内の)可変性を示したか、少なくとも最低限の一貫性を示したか、複数の範囲内でクラスタ化されたか、ユーザ活動と相関したか、文脈を十分予測できる可能性があったかなどを識別することによって判断可能である。場合によっては、ユーザは関連する文脈関連変数を識別する。場合によっては、潜在的な文脈関連変数のすべてが関連すると判断される。
320で、関連する文脈関連変数の頻繁に観察される値を識別する。関連する文脈関連変数の値は、たとえば、数、整数、実数、スケーリングされた数(scaled number)、バイナリ識別子、語、範疇などを含むことが可能である。頻繁に観察される値は、値の1つまたは複数の範囲を含むことが可能である。たとえば、監視されたデータは、モバイルデバイスが3つのGPS座標のうちの1つに極めて頻繁に近接することを示すことができる。したがって、頻繁に観察される値は、3つのGPS座標を囲むGSP座標の3つの範囲を含むことが可能である。
325で、文脈を定義する。定義された文脈は、モバイルデバイスがその文脈内にあるかどうかに関する情報を提供する文脈関連変数の識別、モバイルデバイスがその文脈内にあるかどうかに関して様々な文脈関連変数がどの程度情報を提供するかを示す重み、その文脈に関連する文脈関連変数の値、および/または文脈名を含むことが可能である。
いくつかの実施形態では、文脈は、識別された文脈関連変数の値に基づいて定義される。文脈は、関連する文脈関連変数の様々な特定の値の繰り返される発生に基づいて定義され得る。文脈は、たとえば、クラスタリングアルゴリズム(たとえば、主な成分解析)を使用して、関連する文脈関連変数の値のクラスタを識別することによって定義可能である。たとえば、監視されたデータは、モバイルデバイスが頻繁に、各状態が異なる地理的位置、受信強度、およびユーザ選択リングトーンに対応する、2つの状態のうちの1つであることを示すことができる。場合によっては、文脈は(たとえば、現在の位置を「家」と識別する)ユーザによって少なくとも部分的に定義される。
いくつかの実施形態では、文脈はユーザ入力に基づいて定義される。たとえば、ユーザは、4つの文脈が存在すること、または何らかの記憶された文脈に加えて、「新しい」文脈が存在することを入力することができる。文脈は、名付けられてよく、名付けられなくてもよい。場合によっては、1つまたは複数の文脈は、ユーザがその文脈内にいるかどうかを推論するために使用される何らかの文脈関連変数と関連付けられない。(したがって、たとえば、いくつかの実施形態では、方法300は201、310および/または315を含まない。)代わりに、たとえば、システムは、ユーザが所与の文脈内にいるときを示すために、ユーザ入力に依存することが可能である。
330で、1つまたは複数の文脈を特定のプログラムおよび/または情報のタイプと関連付ける。文脈に関連する特定のプログラムおよび/または情報タイプは、310で監視されたデータ、ユーザ入力、文脈が定義された後で監視されたデータ、文脈の解析(たとえば、アーキテクチャ会社の動作設定)、プログラムおよび/または情報タイプの他のユーザの使用解析、プログラムおよび/または情報タイプの目的の解析などのうちの1つもしくは複数に少なくとも一部基づいて判断可能である。各文脈は、プログラムおよび/または情報タイプと関連付けられなくてよく、1つもしくは複数のプログラムおよび/または1つもしくは複数の情報タイプと関連付けられてもよい。この関連付けは、2値(関連付けられるか、関連付けられないかのいずれか)であってよく、または2値でなくてもよい。たとえば、文脈は複数のプログラムおよび/または情報タイプと関連付けられてよいが、関連付けの重みはプログラムおよび/または情報タイプの間で異なってよい。場合によっては、文脈と複数のプログラムおよび/または情報タイプの各々との間で重み付けされた関連付けが判断される。場合によっては、文脈は、次いで、特定のしきい値を超える(たとえば、特定の値を超えるか、もしくは最高の重み内にある)関連付け重みを有するプログラムおよび/または情報タイプだけと関連付けられる。
335で、文脈関連変数のうちの少なくとも1つに関する値を受信する。場合によっては、(たとえば、モバイルデバイスのスピーカが背景雑音を測定するために駆動されていないため)受信された値は、文脈を識別する際に有用であり得るすべての変数に関する値を含まない。場合によっては、受信された変数の不在それ自体が文脈関連変数の受信された値であり得る。これらの値は、自動的に受信されてよく、かつ/または(たとえば、モバイルデバイス110もしくは遠隔サーバ140に)利用可能であってよく、あるいは(たとえば、モバイルデバイス110または遠隔サーバ140からの)値に関する要求に応じてであってよい。
340で、文脈を判断する。いくつかの実施形態では、文脈は定義された文脈と受信された値とに基づいて推論される。たとえば、定義されたクラスタの各々は、様々な文脈関連変数の値のクラスタに対応し得る(たとえば、「クラスタ#1」は、繁華街の位置、平日、無音呼出し、および低い背景雑音に対応する)。(たとえば、厳密な距離測定または重み付けされた距離測定に基づいて)どのクラスタが受信された値を最も密に含むかを識別することによって文脈を推論することができる。文脈推論を信頼値または信頼範囲と関連付けることが可能である。場合によっては、複数の文脈が推論され、各文脈を信頼測定基準と関連付けることが可能である。文脈は、過去の文脈、現在の文脈、または将来の文脈を含むことが可能である。
いくつかの実施形態では、文脈はユーザ入力に少なくとも一部または完全に基づいて判断される。したがって、場合によっては、方法300は、335で、文脈関連変数に関する値を受信しない。たとえば、ユーザは、自らが「文脈B」すなわち「家」文脈にいることを示すオプションを選択することができる。いくつかの実施形態では、文脈は事象の検出に基づいて判断される。たとえば、株価がしきい値を超えた、航空券価格がしきい値を下回る、新しい映画の公開などは、システムが特定の事象検出文脈を判断することを可能にし得る。いくつかの実施形態では、文脈は何らかの文脈関連変数にかかわらず判断される。
文脈判断についてユーザに通知することができる。たとえば、(たとえば、デバイスディスプレイ画面上の)視覚信号、動画、音声信号、無線信号、ワイヤレス信号、振動信号などは、文脈が概して判断されていること、または特定の文脈が判断されていることを示すことが可能である。たとえば、異なるサウンドクリップを複数の環境文脈と関連付けることが可能である。デバイスが関連する文脈内にあると判断されるとすぐにサウンドクリップを再生することができる。
345で、判断された文脈に基づいて、プログラムおよび/または情報のタイプを識別する。プログラムおよび/または情報のタイプは、判断された文脈を考慮して、ユーザが関心を持つと予測されるプログラムおよび/または情報のタイプを含むことが可能である。プログラムおよび/または情報タイプは、330で判断された文脈と関連付けられたプログラムおよび/または情報タイプであってよい。識別されたプログラムおよび/または情報タイプは、下でより詳細に説明されるように、プログラムおよび/または情報タイプの総合的動的セットのサブセットを含むことが可能である。一実施形態では、340で単一の文脈を判断して、(330からの)文脈と関連付けられたプログラムおよび/または情報タイプのうちのいくつかまたはすべては、345で識別されるプログラムおよび/または情報タイプである。
別の実施形態では、340で(たとえば、各々が信頼測定基準と関連付けられた)複数の文脈を判断する。特定のプログラムおよび/または情報タイプは、各判断された文脈と関連付けられた信頼測定基準、ならびに/または各判断された文脈と各プログラムおよび/もしくは情報タイプとの間の関連付け重みに少なくとも一部基づいて識別可能である。その文脈関連付け重みの文脈全体の和を文脈判断信頼測定基準で乗算した数に等しい重要度値を各プログラムおよび/または情報タイプに割り当てることができる。次いで、しきい値またはランク付けアルゴリズムを使用して、プログラムおよび/または情報タイプのうちのどれにユーザが関心を持つことになるかを判断することができる。たとえば、文脈判断が、デバイスが文脈A内にいる90%の確率と、デバイスが文脈B内にいる10%の確率とを含むと仮定する。さらに、4つのプログラムに関する関連付け重み付けベクトルが、文脈Aに関して[1,0.5,0,.2]であり、文脈Bに関して[1,1,0.2,0.5]であると仮定する。4つのプログラムに関する重要度値ベクトルは、0.9*[1,0.5,0,.2]+0.1*[1,1,.2,.5]=[1.0,0.55,0.02,0.23]に等しいことになる。
識別されたプログラムおよび/または情報タイプの各々を情報キュー(たとえば、グラフィカルアイコン、視覚効果、動画、振動、静的テキスト、時間依存テキストなど)と関連付けることが可能である。次いで、識別されたプログラムおよび/または情報タイプと関連付けられた情報キューをユーザに提示することができる。
図4は、情報キューを提示するための方法400のある実施形態を示す。405で、プログラムおよび/または情報のタイプの第1のセットを識別する。プログラムおよび/または情報タイプの第1のセットは、少なくとも部分的に文脈非依存であってよい。たとえば、第1のセットは、ユーザに常に提示されるプログラムおよび/または情報タイプを含むことが可能である。いくつかの実施形態では、プログラムもしくは情報タイプ(たとえば、表示位置、アイコンサイズ、フォントなど)の提示に関連する1つの提示特性、複数の提示特性、またはすべての提示特性が文脈非依存である。プログラムおよび/または情報タイプの第1のセットは、プログラムおよび/または情報タイプが文脈を通して有用になるという予測に基づいて識別可能である。これらの予測は、たとえば、監視されるユーザ活動ならびに/またはプログラムおよび/もしくは情報タイプの特定の効用に基づいてよい。プログラムおよび/または情報タイプの第1のセットは、ユーザ入力に基づいて、少なくとも一部または完全に判断可能である。
410で、現在の文脈または将来の文脈を判断する。文脈は、たとえば、図3に関して説明された方法に基づいて判断可能である。
415で、判断された文脈に少なくとも一部基づいて、プログラムおよび/または情報のタイプの第2のセットを識別する。このようにして、第2のセットのプログラムおよび/または情報タイプの識別は、判断された文脈によって影響を受ける場合がある。たとえば、図3に関して説明された方法に基づいてこの判断を行うことが可能である。場合によっては、文脈非依存プログラムまたは文脈非依存情報タイプの第1のセットが初めに識別される。次いで、残りのプログラムおよび/または情報タイプと1つまたは複数の文脈との間の関連付けを形成することができる。プログラムおよび/または情報タイプの第2のセットは、1つもしくは複数の判断された文脈に関連するプログラムおよび/または情報タイプ(たとえば、図3に関する345の説明を参照されたい)のうちのいくつか(たとえば、しきい値を超える特定の関連付け重みを有するすべてのプログラムおよび/もしくは情報タイプ)あるいはすべてを含むことが可能である。
いくつかの実施形態では、プログラムおよび/または情報タイプの第2のセットは、現在、実行していないプログラムおよび/もしくは情報タイプ、ならびに/または、現在、情報キューを介して提示されていないプログラムおよび/もしくは情報タイプだけを含む。いくつかの実施形態では、プログラムおよび/または情報タイプの第2のセットは、現在、実行されているプログラムおよび/もしくは情報タイプ、ならびに/または、現在、情報キューを介して提示されているプログラムおよび/もしくは情報タイプを含むことが可能である。プログラムおよび/または情報タイプの第2のセットは、文脈を判断するため、および/もしくは文脈関連変数を判断するために使用されるプログラムを含んでよく、または含まなくてもよい。たとえば、場合によっては、プログラムAは、文脈A'に関連する事象を検出する。第2のセットは、プログラムAで構成されてよく、(文脈A'に関連する他のプログラムおよび/もしくは情報タイプに加えて)プログラムAを含んでよく、またはプログラムAを含まなくてもよい。
場合によっては、プログラムおよび/または情報のタイプの第2のセットは、少なくとも一部固定される。たとえば、プログラムの第2のセットは、文脈にかかわらず、少なくとも3つのプログラムを含むことが可能である。そのような場合、判断された文脈に基づいて、特定のプログラムおよび/または情報タイプを強調表示するために、提示特性は提示されるプログラムおよび/または情報のタイプを通して変化し得る。場合によっては、判断された文脈にかかわらず、プログラムおよび/または情報タイプが必ずしも提示されるとは限らないように、プログラムおよび/または情報タイプの第2のセットの識別は全体に文脈依存である。
場合によっては、第2のセット内のプログラムおよび/もしくは情報のタイプの数は、セット数と等しいか、またはセット範囲内でなければならない。セット数は、ユーザ入力(たとえば、「4つの」プログラムが画面の動的部分で表示されるべきであるというユーザ入力)から直接的に、(たとえば、8つのプログラムアイコンが画面のユーザ定義動的部分内に表示可能であると判断する)ユーザ入力から間接的に、またはユーザ入力なしに判断可能である。一例として、第2のセットは、プログラムおよび/または情報のタイプを全部でちょうど8つ含む必要がある場合がある。別の例として、第2のセットは、ちょうど4つのプログラムと4つの情報のタイプとを含む必要がある場合がある。別の例として、第2のセットは、少なくとも2つのプログラム、4つのプログラム、または8つのプログラムを含む必要がある場合がある。数および範囲
420で、1つまたは複数の提示特性を提示する。提示特性は、デバイスがプログラムおよび/または情報タイプをどのようにユーザに提示するか(たとえば、情報キューがどのように提示されるか)に影響を及ぼす何らかの特性を含む。提示特性のタイプの例は、ディスプレイ内の位置、サイズ、フォントサイズ、フォントスタイル、色、動画、ポップアップ、音声などを含む。1つまたは複数の提示特性(たとえば、アイコンサイズ)は、第2のセットの1つのプログラムおよび/もしくは情報タイプと関連付けられた情報キュー、複数のプログラムおよび/もしくは情報タイプと関連付けられた情報キュー、またはすべてのプログラムおよび/もしくは情報タイプと関連付けられた情報キューに関して判断可能である。提示特性は、判断された文脈に依存し得る。たとえば、単一の利用可能なプログラムを識別する単一の情報キューと関連付けられた提示特性は、大きなアイコンサイズ、デフォルトのフォントスタイルおよびフォントサイズ、ディスプレイの右上の角、動画なし、およびアイコンの上にマウスを重ねるとすぐにオーディオクリップを再生することを含むことが可能である。
いくつかの実施形態では、1つまたは複数の提示特性(たとえば、サイズ、フォントサイズ、およびフォントスタイル)は第1のセットと関連付けられたすべての情報キュー、第2のセットと関連付けられたすべての情報キュー、または第1のセットおよび第2のセットの両方と関連付けられたすべての情報キューを通して同じである。いくつかの実施形態では、1つもしくは複数の提示特性(たとえば、位置および/またはサイズ)は、第2のセットの情報キュー(または、第1のセットの情報キュー)の提示を通して変化する。たとえば、第2のセットは、各々がグラフィカルアイコン(情報キュー)によって表された複数のプログラムを含むことが可能である。ユーザがアイコンのすべてを閲覧できるように、グラフィカルアイコンはすべて異なる画面位置に提示されてよい。アイコンのサイズは、ユーザがプログラムの各々に関心を持つことになる予測される確率に応じて変化し得る。別の例として、判断された文脈を考慮して、最高の関連付け重みが与えられたアイコンを動画にすることができる。場合によっては、提示特性の分布(たとえば、表示されるアイコンのサイズ分布)は、文脈を通して類似であるか、または同じである。場合によっては、提示特性の分布は、文脈を通して異なる(たとえば、文脈A内でアイコンは動画にされるが、文脈B内では何のアイコンも動画にされない)。
425で、第1のセットと関連付けられた情報キューおよび第2のセットと関連付けられた情報キューを(たとえば、同時に)提示する。提示は、プログラムおよび/または情報タイプ(もしくは、情報自体)の表現をデバイスのディスプレイ内で表示することを含むことが可能である。たとえば、アイコンまたはテキストによってプログラムを表すことができる。情報タイプを同様に表すことができ(たとえば、スポーツニュースを新聞アイコンによって表すことができ)、またはタイプ(たとえば、GPS座標)と関連付けられた情報自体が表示されてもよい。
提示は、さらに、または代替で、一般的な、もしくはプログラムタイプ特定の、または情報タイプ特定の音声信号を再生すること、デバイスを振動させること、ディスプレイ画面を点滅させること、デバイスから無線信号を送信することなどを含むことが可能である。
場合によっては、第1のセットと関連付けられた情報キューは、第2のセットと関連付けられた情報キューとは別個に提示される。たとえば、モバイルデバイスの画面は、第1のセットと関連付けられた情報キューを提示するための静的部分と、第2のセットと関連付けられた情報キューを提示するための動的部分とを含むことが可能である。動的部分および静的部分は、各々、連続的であってよく、または複数の個別の要素を含むことも可能である。動的部分および静的部分は、要するに、画面全体を構成することが可能であり、または全体に満たない部分を構成することも可能である。別の例として、モバイルデバイスの画面は、プログラムの第1のセットを視覚的に提示することができ、音声信号を発すること、デバイスを振動させることなどによって、第2のセットをユーザに提示することができる。
図5は、文脈依存変数と、文脈と、プログラムと、情報タイプとの間の関連付けのある実施形態を示す。複数の潜在的な文脈関連変数v1、v2、…vnが識別される。各変数を1つまたは複数の文脈(c1、c2、…cn)と関連付けることが可能である。図5のラインの太さは重みに対応し、太いラインは、所与の変数が文脈を極めてよく示すものとして識別されることを示す。たとえば、「v1」はGPS座標に対応してよく、「c1」は仕事文脈に対応してよく、「cn」は家文脈に対応してよい。GPS座標は、デバイスが仕事文脈内にあるかどうか、およびデバイスが家文脈内にあるかどうかに関して非常によく情報を提供できる。したがって、高い関連付け重みが存在する。
複数のプログラム(p1、p2、…pn)および/または情報のタイプ(i1、i2、…in)がやはり識別される。各文脈を、1つもしくは複数のプログラムおよび/または情報タイプと関連付けることが可能である。関連性は、ユーザが所与のプログラムを使用することになる確率、または所与のタイプの情報もしくは所与のプログラム内のユーザ定義文脈依存関心事を閲覧することになる確率に関する場合がある。この場合も、関連性を重み付けすることができる。たとえば、「c1」は仕事文脈に対応してよく、「pn」は、この文脈で定期的に使用される、仕事電子メールプログラムに対応してよい。仕事場での仕事電子メールプログラムの頻繁な使用、または文脈とプログラムとの間の強い論理的関係は、結果として、c1とpnとの間に高い関連付け重みをもたらし得る。
図5に示される関連付けネットワークは、固定ネットワーク、動的ネットワーク、および/または「学習」ネットワークであってよい。動的ネットワークは、たとえば、各変数、各文脈、各プログラム、および/もしくは各情報タイプと関連付けられた「ノード」が追加ならびに/または削除されること、ならびに/あるいは関連付け重みが調整されることを可能にし得る。これらの動力学は、ユーザ入力および/または監視されたデータ(たとえば、所与の文脈内にいるとき、ユーザによって実際に使用されたプログラム)に基づいて少なくとも一部判断可能である。関連付けネットワークは、ニューラルネットワークを含むことが可能である。
図6は、モバイルデバイスの画面600のある例を示す。画面は、動的部分605と、静的部分610とを含むことが可能である。静的部分610は、たとえば、文脈非依存プログラム(p1'、p2'、およびp3')ならびに/または情報タイプ(i1')を識別する情報キューを提示することができる。動的部分605は、文脈依存プログラム(p3、p5、p6、およびp8)ならびに/または情報タイプ(i2およびi3)を識別する情報キューを提示することができる。静的部分および/または動的部分は、画面の少なくとも0%、3%、5%、10%、20%、50%、80%、90%、95%、97%、もしくは100%の区域、およそ0%、3%、5%、10%、20%、50%、80%、90%、95%、97%、もしくは100%の区域、または0%、3%、5%、10%、20%、50%、80%、90%、95%、97%、もしくは100%未満の区域を含むことが可能である。いくつかの実施形態では、静的部分および動的部分のうちの1つまたは両方は、画面の少なくとも10%または少なくとも50%を表す区域を含む。場合によっては、ディスプレイ600は、文脈非依存プログラム(および/または情報タイプ)を識別する情報キューを提示する静的部分を含まない。静的部分および/もしくは動的部分に対応する領域は、固定されてよく、または可変であってもよい。たとえば、1つの領域または両方の領域のサイズおよび位置は、所与の文脈を考慮して、ユーザが関心を持つと予測されるプログラムの数に応じてよい。
いくつかの実施形態では、ユーザは、動的部分605および/または静的部分610に対応する画面の1つもしくは複数の区域を定義する。たとえば、ユーザは、指またはポインティングデバイスを使用して、動的領域として定義されることになる、画面上の区域の一部もしくはすべて、近似外周または実際の外周を描くことができる。別の例として、ユーザは、指またはポインティングデバイスを使用して、動的領域として定義されることになる、画面上の矩形区域の垂直縁または水平縁の座標を識別することができる。さらに別の例として、ユーザは自らが動的になることを望み、かつ文脈依存プログラムおよび/または情報タイプを識別する情報キューの提示を含む、画面の部分(たとえば、断片、割合、または重み)を示す変数を入力することができる。さらなる例は、システム生成ディスプレイ区分化オプションの中からのユーザ選択、動的部分605で表示されることになるプログラムおよび/または情報タイプの数の表示などを含む。
いくつかの実施形態では、動的部分605および静的部分610は異なる外観特性を含む。たとえば、背景、アイコンサイズ、アイコン間隔などは、部分同士の間で異なる場合がある。いくつかの実施形態では、動的部分605および静的部分610は、視覚的マーカ(たとえば、部分を分離するライン、それらの部分のうちの1つまたは両方を囲むボックスなど)によって分離される。いくつかの実施形態では、動的部分605および静的部分610は、異なるナビゲーション制御を含む。たとえば、動的部分605はスクロール機能(たとえば、スクロールバーまたはトラックパッドを使用してスクロールする機能)を含むことが可能である。スクロール機能は、ユーザが、たとえば、動的部分内の識別された動的プログラムおよび/または情報タイプを識別する情報キューのうちのいくつかを閲覧して、スクロール機能を使用するとすぐに、他のプログラムおよび/または情報タイプを識別する情報キューを閲覧することを可能にし得る。静的部分610は、加えて、または代替で、スクロール機能を含むことが可能である。
図6に示されるように、異なるプログラムおよび情報タイプと関連付けられた情報キューは、異なる提示特性を含むことが可能である。たとえば、情報キューは、異なるサイズのものであってよく、異なる「強調性(boldness)」(色、背景、強調表示、フォントサイズなど)を含む。提示特性は、ユーザの予測される関心に応じて、情報キューを通して変化し得る。たとえば、より高い関心を持つと予測されるプログラムおよび/または情報タイプと関連付けられた情報キューは、優位にサイズ指定(たとえば、より大きく)されてよく、優位に配置(たとえば、ディスプレイの上部に近接して、またはディスプレイの中央に配置)されてよく、(たとえば、境界、またはより明るいアイコンもしくはフォント色を用いて)優位に強調表示されてよく、(たとえば、他の情報キューはそうでないのに対して、サウンドクリップ上にマウスを重ねることと同時に)優位に音声で特徴付けされてよく、優位に動画化され(たとえば、アイコンが点滅され、またはアイコンが移動され)てよい、等々である。場合によっては、動的部分605は、提示特性が予測される関心のプログラムおよび/または情報タイプを他のプログラムおよび/または情報タイプと区別する状態で、プログラムおよび/または情報タイプの完全なセットと関連付けられた情報キューを提示する。場合によっては、動的部分は、判断された文脈に少なくとも一部基づいて識別される、情報キューのセットのサブセットだけを提示する。提示特性は、(たとえば、予測される関心重みに基づいて)このサブセットを通して異なってよく、または異ならなくてもよい。
場合によっては、静的部分610は、完全に静的であり、プログラムおよび/または情報タイプの提示は常に同じ状態に留まる。場合によっては、提示されたプログラムおよび/または情報タイプの識別は、常に、同じ状態に留まる(または、ユーザ設定に基づいてのみ変更する)が、提示特性は変化し得る。提示特性は、ユーザ設定および/または文脈に基づいて変化し得る。場合によっては、動的部分605は、静的部分610よりもより文脈依存である。たとえば、静的部分610内に提示された情報キューと関連付けられた提示特性が文脈に依存する場合、情報キューの提示特性の文脈依存可変性は、動的部分605内でより劇的な可能性がある。
図6は、(たとえば、各々がプログラムまたは情報タイプを識別する)情報キューの動的セットのサブセットを選択的に表示する、ある実施形態を示す。いくつかの実施形態では、このサブセットは、他の手段を使用して選択的に提示される。たとえば、そのサブセットと関連付けられた音声信号をデバイスから発することが可能であり、そのサブセットに対応するワイヤレス信号をデバイスから送信することが可能である、等々である。
図7は、ユーザインターフェースまたはディスプレイを生成するためのシステム700のある実施形態を示す。システム700は、文脈関連変数検出器705を含むことが可能である。文脈関連変数検出器705は、1つもしくは複数のセンサを含むことが可能であり、かつ/または1つもしくは複数のセンサから(たとえば、ネットワーク上の伝送を介して)信号を受信することが可能である。センサは、モバイルデバイス110上にあってよく、モバイルデバイス110に結合されてよく、またはモバイルデバイス110に結合されず、外部にあってもよい。たとえば、文脈関連変数検出器705は、(たとえば、GPS座標、受信機によって受信された、モバイルデバイス110が受信機に近接していることを示す信号、モバイルデバイス110のユーザによるデータ入力などによって)モバイルデバイス110の位置を検出することが可能である。文脈関連変数検出器705は、モバイルデバイス110上に記憶されたカレンダー事象を検出することができる。
システム700は、文脈を判断することを行うように構成された文脈検出器710を含むことが可能である。文脈検出器710は、文脈関連変数検出器705によって検出された変数を受信することが可能である。文脈検出器710は、文脈を定義する文脈定義装置(definer)715を含むことが可能である。文脈定義は、文脈と1つまたは複数の変数との間の(重み付けされた、または重み付けされていない)関連付け、文脈確率、文脈名などを含むことが可能である。文脈定義は、たとえば、文脈データ122として、記憶デバイス114または144内に記憶可能である。場合によっては、文脈検出器710は適応モデル720を含む。
適応モデル720は、文脈と文脈関連変数との間の関連付けを識別することおよび/もしくは動的に調整すること、ならびに/またはこれらの関連付けの重みを動的に調整することが可能である。たとえば、適応モデル720は、文脈関連変数の累積クラスタまたは時間重み付けされたクラスタを形成するためのクラスタリングアルゴリズムを含むことが可能である。場合によっては、クラスタは、主に、文脈関連変数データおよび/またはセンサデータに基づいて形成される。たとえば、文脈関連変数検出器705は、一週間の期間にわたって、以下の変数、すなわち、GPS座標、時刻、呼出し音量を検出することができる。データは、一方が仕事場、労働時間、および無音呼出しと関連付けられ、他方が家の場所、家での時間、および大きな呼出し音と関連付けられた、2つの優位なクラスタを形成することができる。場合によっては、クラスタは、使用されるプログラムおよび/またはモバイルデバイスのユーザによって閲覧される情報に少なくとも一部基づいて形成される。たとえば、第1のクラスタは、ユーザが電子メールアプリケーションを使用することと関連付けられた事例に関する場合があり、第2のクラスタはユーザがニュースを閲覧することに関する場合がある。
クラスタ識別に関して情報を最もよく提供する変数を、文脈を定義するために使用することができ、かつ/または大きく重み付けすることができ、1つまたは複数の文脈と関連付けられるこれらの変数の値を動的に調整することが可能である。したがって、たとえば、適応モデルは、当初、一方が、時間午前9時、午後1時、午後3時、および「繁華街」の位置と関連付けられ、他方が、午後8時および「郊外」の位置と関連付けられる、2つの文脈クラスタを識別することができる。適応モデルは、たとえば、午後5:30前の時間をクラスタ1と関連付け、午後5:30後の時間をクラスタ2と関連付けることができる。より多くのデータが収集された後で、クラスタ1とクラスタ2との間の遷移がいつ発生する可能性が高いかに関するより詳細なデータに基づいて、この区別を調整することができる。
文脈検出器710は、プログラム/情報関連付け装置725に結合可能である。プログラム/情報関連付け装置725は、1つまたは複数の文脈を1つもしくは複数のプログラムおよび/または情報タイプと関連付けることができる。場合によっては、(たとえば、予測される使用確率に基づいて)いくつかまたはすべての関連付けが重み付けされる。プログラム/情報関連付け装置は、文脈とプログラム/情報タイプとの間の関連付けを識別および/または動的に調整することを行うように構成された適応モデル730を含むことが可能である。
場合によっては、適応モデル730は、文脈と1つもしくは複数のプログラムおよび/または情報のタイプとの間に重みを割り当てる。高い重みは、(1)文脈を考慮して、ユーザがプログラムを使用するか、もしくは情報を閲覧すると予測される高い確率、および/または(2)所与の文脈内にあるとき、プログラムおよび/もしくは情報タイプを提示することに関して示されたユーザの関心に対応し得る。過去の使用および閲覧データ、ならびに過去の文脈関連変数データに基づいて重みを割り当てることができる。最近の活動パターンおよび/またはユーザ選好は、重みを判断する際により影響力が大きい可能性がある。
場合によっては、適応モデル730は、プログラムおよび/または情報タイプをクラスタリングするクラスタリングアルゴリズムを含む。たとえば、1時間の時間枠内で、ユーザはプログラムA、B、およびFを実行して、情報Gを閲覧することができ、別の1時間の時間枠内で、ユーザはプログラムC、D、およびFを実行して、情報Nを閲覧することができる。このデータセットは、この場合、2つのデータ点に対応し得る。経時的に収集されたデータは、単一の文脈内でユーザが関心を持つと予測されるプログラムおよび/または情報タイプのセットを識別することを可能にし得る。この場合、各文脈を、たとえば、プログラムおよび/もしくは情報タイプの1つまたは複数のセットと関連付けることが可能である。
適応モデル730は、文脈検出器710内の適応モデル720と類似の特徴を有することが可能である。場合によっては、これら2つは組み合わされて単一のモデルになる。たとえば、文脈関連変数と文脈との間の関係をモデル形成して、文脈と当該プログラム/情報タイプとの間の関係を別個にモデル形成するのではなく、単一のモデルが文脈関連変数と当該プログラム/情報タイプとの間の関係をモデル形成することが可能である。
プログラム/情報関連付け装置725は、プログラム/情報復号器735を含むことが可能である。プログラム/情報復号器735は、1つもしくは複数のプログラムおよび/または情報タイプを解析して、ユーザがプログラムを使用すること、ならびに/あるいは情報タイプを閲覧することに関心を持つことになる文脈を予測することができる。たとえば、プログラム/情報復号器は、プログラムもしくは情報のタイプと関連付けられる名前、記述、メタデータ、ユーザ入力、または人口に基づく使用量、あるいは閲覧統計を解析することができる。
プログラム/情報関連付け装置725は、以下のうちの1つもしくは複数を判断および/または出力することができる。すなわち、文脈を判断するとすぐ(たとえば、関連付けられた情報キューを介して)提示されることになる動的プログラム/情報タイプ、判断された文脈と複数のプログラム/情報タイプとの間の関連付けの重み、判断された文脈に基づいて表示されることが予測された動的プログラム/情報タイプの数、予測される関心によってソートされたプログラム/情報タイプの文脈依存ランク付け、プログラム/情報タイプのユーザ提供文脈依存ランク付け(user-provided context-dependent ranking)、プログラム/情報タイプのユーザ提供文脈非依存ランク付けまたはシステム生成文脈非依存ランク付け(user-provided or system-generated context-independent ranking)などである。これらのうちのいずれかもしくはすべてを、たとえばプログラムデータ124として記憶デバイス114または144内に記憶することが可能である。
場合によっては、プログラム/情報関連付け装置725は、特定のプログラムおよび/または情報タイプを情報キュー(たとえば、グラフィカルアイコン、信号、もしくはテキスト)と関連付ける情報キュー関連付け装置740をさらに含む。したがって、プログラム/情報関連付け装置725は、情報キュー関連付け装置740を使用することによって、1つまたは複数の情報キューを所与の文脈と関連付けることが可能である。この関連付けは、間接的技法(たとえば、文脈を1つもしくは複数のプログラムおよび/または情報タイプと関連付けて、関連付けられた1つもしくは複数のプログラムおよび/または情報タイプを1つまたは複数の情報キューと関連付けること)あるいは直接的技法(たとえば、文脈を1つまたは複数の情報キューと直接的に関連付けること)に基づいて判断可能である。他のタイプの関連付けに関して、本明細書で記述された類似の技法を使用して(たとえば、クラスタリングアルゴリズム、適応モデルなどを使用して)直接的な関連付けを行うことが可能である。場合によっては、情報キュー関連付け装置740は、プログラム/情報関連付け装置とは別に提供される。
プログラム/情報関連付け装置725は、ユーザ入力に基づく関連付けを含むことが可能である。たとえば、ユーザは、それに基づいて自らが1つもしくは複数の特定の情報キューが提示されるか、または1つもしくは複数のプログラムおよび/または情報タイプが識別されることを望む条件を示すことができる。たとえば、ユーザは、特定の人物または電子メールアドレスから電子メールを受信するとすぐに、自らが特定のプログラムと関連付けられたグラフィカルアイコンが提示されることを望むことを示すことができる。そのような表示は、たとえば、ユーザが文脈を定義する、文脈の中から選択するなどを意味する場合がある。
プログラム/情報関連付け装置725はユーザインターフェース生成器745に結合可能である。ユーザインターフェース生成器745は、システム識別文脈および/または関連プログラムもしくは情報タイプをユーザに通知することを行うように構成可能である。たとえば、ユーザインターフェース生成器745は、表示生成器、音声生成器、振動生成器などを含むことが可能である。生成された信号は、(たとえば、文脈が判断された、またはプログラムおよび/もしくは情報タイプが識別されたという)一般的な意味を有することが可能である。生成された信号は、特定の意味(たとえば、新しい取引が検出されたことを表す音声信号、またはデスクトップ上に提示された、ユーザが文脈関連プログラムに容易にアクセスすることを可能にする視覚的アイコン)を有することが可能である。
ユーザインターフェース生成器745は、ディスプレイ割当て装置750を含むことが可能である。ディスプレイ割当て装置は、その各々が図6を参照して上でより詳細に説明された静的部分と動的部分との間にディスプレイ画面を分配することができる。分配は、たとえば、判断された文脈と関連付けられたプログラムもしくは情報のタイプの数、および/または画面の動的部分を少なくとも部分的に定義する(たとえば、動的部分の外周を定義する、動的部分に割り振られることになる、画面の割合を定義するなど)ユーザ入力に基づいてよい。場合によっては、静的部分と動的部分との間の分配は文脈を通して固定される。図6は、静的部分と動的部分との間で分配された画面のある例を示す。いくつかの実施形態では、画面全体が動的部分であるか、または画面全体が静的部分である(たとえば、さらにユーザは、たとえば音声信号、ディスプレイの点滅などを介して、文脈関連プログラムおよび/または情報タイプを通知される)。
ユーザインターフェース生成器745は、静的プログラム識別子755を含むことが可能である。静的プログラム識別子は、判断された文脈にかかわらず、提示されることになるプログラムおよび/または情報のタイプを識別することができる。場合によっては、ユーザ入力に基づいて、これらのプログラムを少なくとも部分的に定義することができる。
ユーザインターフェース生成器745は、提示特性識別子760を含むことが可能である。提示特性識別子760は、1つもしくは複数の静的プログラムおよび/または情報のタイプならびに/あるいは1つもしくは複数の動的プログラムおよび/または情報のタイプと関連付けられた情報キューを提示することに関連する特性を識別することができる。提示特性は、図4を参照して上でより詳細に説明された。一例では、判断された文脈を考慮して、ユーザが関心を持つと予測される1つもしく複数のプログラムおよび/または情報タイプと関連付けられた情報キューを優位な提示特性と関連付けることが可能である。たとえば、ユーザは、文脈と関連付けられることになるプログラムのランク付けされたリストを提供している場合がある。下位にランク付けされたプログラムよりも高位にランク付けされたプログラムと関連付けられた情報キュー(たとえば、グラフィカルアイコン)を(たとえば、上位の位置に、中央位置に、異なる位置内になど)より優位に提示することができる。ユーザは、ランク可変提示特性を設定または修正することが可能であってよく、可能でなくてもよい。
ユーザインターフェース生成器745は、(たとえば、モバイルデバイス110の)ディスプレイ、スピーカ、振動器に結合可能であり、かつ/または(たとえば、ディスプレイ上に表示されることになるテキストおよび/もしくはアイコンを生成するために)プロセッサに結合可能である。
図8は、本明細書で説明されるような、様々な他の実施形態によって提供される方法を実行することが可能なコンピュータシステム800の一実施形態の概略図を提供する。遠隔サーバ140および/またはモバイルデバイス110は、システム800の1つもしくは複数の構成要素を含むことが可能である。図8は、必要に応じて、そのうちのいずれかまたはすべてを利用することができる様々な構成要素の一般化された例示を提供することだけを意味することに留意されたい。したがって、図8は、比較的分離された様式でまたは比較的より統合された様式で、それぞれのシステム要素がどのように実施され得るかを広く例示する。
バス805を介して電気的に結合可能な(または、そうでない場合、必要に応じて、通信することが可能な)ハードウェア要素を含むコンピュータシステム800が示される。ハードウェア要素は、限定なしに、(デジタル信号処理チップ、グラフィックス加速プロセッサなど)1つもしくは複数の汎用プロセッサおよび/または1つもしくは複数の専用プロセッサを含む、1つもまたは複数のプロセッサ810と、限定なしに、マウス、キーボード、タッチスクリーン、トラックパッドなどを含むことが可能な1つもしくは複数の入力デバイス815と、限定なしに、ディスプレイデバイス、プリンタなどを含むことが可能な、1つもしくは複数の出力デバイス820とを含むことが可能である。
コンピュータシステム800は、限定なしで、ローカルアクセス可能な記憶装置および/またはネットワークアクセス可能な記憶装置を含むことが可能であり、かつ/あるいは、限定なしに、ディスクドライブ、ドライブアレイ、光記憶デバイス、プログラム可能、フラッシュ更新可能(flash-updateable)などであってよい、ランダムアクセスメモリ(「RAM」)および/または読出し専用メモリ(「ROM」)など、固体記憶デバイスを含むことが可能な、1つまたは複数の記憶デバイス825をさらに含むこと(かつ/あるいはそれと通信すること)が可能である。そのような記憶デバイスは、限定なしに、様々なファイルシステム、データベース構造などを含む、何らかの適切なデータ記憶装置を実施することを行うように構成可能である。
コンピュータシステム800は、限定なしに、モデム、(ワイヤレスまたはワイヤード)ネットワークカード、赤外線通信デバイス、ワイヤレス通信デバイス、および/またはチップセット(Bluetooth(登録商標)デバイス、802.11デバイス、WiFiデバイス、WiMaxデバイス、セルラー通信機器など)などを含むことが可能な通信サブシステム830を含むことも可能である。通信サブシステム830は、データがネットワーク(一例を挙げると、下で説明されるようなネットワークなど)、他のコンピュータシステム、および/または本明細書で説明される何らかの他のデバイスと交換されることを可能にし得る。多くの実施形態では、コンピュータシステム800は、上で説明されたような、RAMデバイスまたはROMデバイスを含むことが可能な作業メモリ835をさらに含むことになる。
コンピュータシステム800は、オペレーティングシステム840、デバイスドライバ、実行可能ライブラリ、および/または様々な実施形態によって提供されるコンピュータプログラムを含むことが可能であり、かつ/あるいは本明細書で説明されるような、他の実施形態によって提供される方法を実施し、かつ/またはシステムを構成するように設計可能な、1つもしくは複数のアプリケーションプログラム845など、他のコードを含めて、作業メモリ835内に現在配置されているとして示されるソフトウェア要素を含むことも可能である。単なる例として、上で議論された方法に関して説明された1つもしくは複数の手順は、コンピュータ(および/またはコンピュータ内のプロセッサ)によって実行可能なコードならびに/あるいは命令として実施可能であり、ある態様では、この場合、そのようなコードおよび/または命令を使用して、説明された方法に従って、1つもしく複数の動作を実行するように汎用コンピュータ(または、他のデバイス)を構成および/あるいは適合することが可能である。
これらの命令および/またはコードのセットは、上で説明された記憶デバイス825など、コンピュータ可読記憶媒体内に記憶可能である。場合によっては、記憶媒体を、システム800など、コンピュータシステム内に組み込むことが可能である。他の実施形態では、記憶媒体は、コンピュータシステム(たとえば、コンパクトディスクなど、取外し可能媒体)から分離されてよく、かつ/または命令/コードを記憶した汎用コンピュータをプログラム、構成、および/または適合するために記憶媒体を使用することができるように、インストールパッケージ内に提供されてよい。これらの命令は、コンピュータシステム800によって実行可能な実行可能コードの形をとってよく、かつ/あるいは(たとえば、様々な、一般に利用可能なコンパイラ、インストールプログラム、圧縮/圧縮解除ユーティリティなどのうちのいずれかを使用して)コンピュータシステム800上に編集および/もしくはインストールするとすぐに実行可能コードの形をとるソースコードおよび/またはインストール可能コードの形をとってよい。
特定の要件に従って、実質的な改変を行うことが可能であることは当業者には明らかであろう。たとえば、カスタマイズされたハードウェアを使用することも可能であり、かつ/またはハードウェア内で、(アプレットなど、携帯用ソフトウェアを含めて)ソフトウェア内で、もしくはそれらの両方の中で特定の要素を実施することが可能である。さらに、ネットワーク入出力デバイスなど他のコンピューティングデバイスへの接続を用いることが可能である。
上述のように、一態様では、いくつかの実施形態は、(コンピュータシステム800など)コンピュータシステムを用いて、本発明の様々な実施形態による方法を実行することが可能である。実施形態のセットによれば、そのような方法の手順のうちのいくつかまたはすべては、プロセッサ810が作業メモリ835内に含まれた(オペレーティングシステム840および/またはアプリケーションプログラム845など、他のコード内に組み込むことが可能な) 1つもしくは複数の命令の1つまたは複数のシーケンスを実行するのに応答して、コンピュータシステム800によって実行される。そのような命令は、記憶デバイス825のうちの1つまたは複数など、別のコンピュータ可読媒体から作業メモリ835内に読み取り可能である。単なる例として、作業メモリ835内に含まれた命令のシーケンスの実行は、プロセッサ810に本明細書で説明された方法の1つまたは複数の手順を実行させることが可能である。
「機械可読媒体」および「コンピュータ可読媒体」という用語は、本明細書で使用される場合、機械に特定の様式で動作させるデータを提供するのに関与する何らかの媒体を指す。コンピュータ可読媒体および記憶媒体は、一時的な伝搬信号を指さない。コンピュータシステム800を使用して実施される、ある実施形態では、様々なコンピュータ可読媒体は、実行のために命令/コードをプロセッサ810に提供することに関与可能であり、かつ/またはそのような命令/コードを記憶するために使用可能である。多くの実施形態では、コンピュータ可読媒体は、物理的記憶媒体および/または有形記憶媒体である。そのような媒体は、不揮発性媒体または揮発性媒体の形をとる。不揮発性媒体は、たとえば、記憶デバイス825など、光ディスクおよび/または磁気ディスクを含む。揮発性媒体は、限定なしに、作業メモリ835など、動的メモリを含む。
物理的コンピュータ可読媒体および/または有形コンピュータ可読媒体の一般的な形態は、たとえば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、または何らかの他の磁気媒体、CD-ROM、何らかの他の光媒体、パンチカード、紙テープ、穴のパターンを有する、何らかの他の物理媒体、RAM、PROM、EPROM、FLASH-EPROM、何らかの他のメモリチップまたはカートリッジなどを含む。
上で議論された方法、システム、およびデバイスは例である。様々な構成は、必要に応じて、様々な手順もしくは構成要素を省略、置換、または追加することが可能である。たとえば、代替の構成では、これらの方法は、説明された方法とは異なる順序で実行可能であり、かつ/または様々な段階を追加すること、省略すること、および/もしくは組み合わせることが可能である。方法のすべてまたは一部を繰り返して実行することが可能である。また、ある種の構成に関して説明された特徴を様々な他の構成と組み合わせることが可能である。構成の異なる態様および要素を類似の様式で組み合わせることが可能である。また、技術は進化し、したがって、これらの要素のうちの多くは例であり、本開示または請求項の範囲を限定しない。
本明細書では、(実装を含めて)例示的な構成の十分な理解をもたらすために、特定の詳細が提示されている。しかし、構成はこれらの特定の詳細なしに実践可能である。たとえば、「プログラム」が説明される場合、本開示は、いくつかの実施形態では、さらに、または代替で、「情報のタイプ」に関する場合がある。逆が発生する場合もある。別の例として、よく知られている回路、プロセス、アルゴリズム、構造、および技法は、これらの構成を曖昧にするのを避けるために、不要な詳細なしに示されている。本明細書は、例示的な構成だけを提供し、請求項の範囲、適用可能性、または構成を限定しない。むしろ、これらの構成の前述の説明は、説明された技法を実施するのを可能にする説明を当業者に提供する。本開示の趣旨または範囲から逸脱せずに、要素の機能および配列に様々な変更を行うことが可能である。
また、構成は、流れ図またはブロック図として示されたプロセスとして説明される場合がある。各々、連続的なプロセスとして動作を説明する場合があるが、これらの動作の多くは並行して、または同時に実行可能である。加えて、これらの動作の順番を配列しなおすことが可能である。プロセスは、図面に含まれていない追加のステップを有する場合がある。さらに、これらの方法の例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの何らかの組合せによって実施可能である。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードの形で実施される場合、必要なタスクを実行するためのプログラムコードまたはコード区分は、記憶媒体など、非一時的コンピュータ可読媒体内に記憶可能である。プロセッサは、説明されたタスクを実行することができる。
いくつかの例示的な構成を説明したが、本開示の趣旨から逸脱せずに、様々な修正形態、代替構造、および均等物を使用することが可能である。たとえば、上記の要素はより大きなシステムの構成要素である場合があり、その場合、他の規則が本発明の出願に優先するか、またはそうでなければ本発明の出願を修正する場合がある。また、いくつかのステップを、上記の要素が考慮される前、その間、またはその後に実施することが可能である。したがって、上記の説明は、請求の範囲を限定しない。
100 システム
110 モバイルデバイス
111 人物
112 プロセッサ
114 記憶デバイス
115 ワイヤレスネットワーク
120 データ
122 文脈データ
124 プログラムデータ
126 ユーザデータ
130 ネットワーク
140 遠隔サーバ
142 プロセッサ
144 記憶デバイス
200 方法
300 方法
400 方法
600 画面、ディスプレイ
605 動的部分
610 静的部分
700 システム
705 文脈関連変数検出器
710 文脈検出器
715 文脈定義装置
720 適応モデル
725 プログラム/情報関連付け装置
730 適応モデル
735 プログラム/情報復号器
740 情報キュー関連付け装置
745 ユーザインターフェース生成器
750 ディスプレイ割当て装置
755 静的プログラム識別子
760 提示特性識別子
800 コンピュータシステム
805 バス
810 プロセッサ
815 入力デバイス
820 出力デバイス
825 記憶デバイス
830 通信サブシステム
835 作業メモリ
840 オペレーティングシステム
845 アプリケーションプログラム
835 作業メモリ
900 システム

Claims (39)

  1. モバイルデバイスのユーザインターフェースを生成するための方法であって、
    前記モバイルデバイスを介して、動的文脈依存情報キューを提示するためのグラフィカルユーザインターフェース（ＧＵＩ）内の通知区域の選択に関する入力を前記モバイルデバイスのユーザから受信するステップと、
    １つまたは複数の文脈関連変数を判断するステップと、
    前記文脈関連変数の値の累積クラスタまたは時間重み付けされたクラスタを識別することによって、文脈を判断するステップと、
    前記文脈と関連付けられた、情報キューのセットのサブセットを識別するステップと、
    前記モバイルデバイスを介して、前記通知区域内の前記識別されたサブセットを前記ユーザに提示するステップであって、前記提示が、前記識別されたサブセットを提示するステップと、情報キューの前記セット内の他の情報キューを隠すステップとを含む、提示するステップと
    を含み、
    前記提示が前記受信されたユーザ入力と一致し、
    前記識別されたサブセットの提示特性が前記文脈に基づいて変化し、
    情報キューの前記セットが、モバイルデバイス上で実行可能なプログラムを提示し、情報キューの前記セットの各々が、前記プログラムのうちのそれぞれ1つと関連付けられたグラフィカルアイコンを含む、方法。
  2. 情報キューの前記セットが前記文脈の警告を含む、請求項1に記載の方法。
  3. 情報キューの前記セットが取引の警告を含む、請求項1に記載の方法。
  4. 前記文脈が先に受信された文脈定義ユーザ入力に基づいて判断される、請求項1に記載の方法。
  5. 前記先に受信された文脈定義ユーザ入力が、情報キューの前記セットの前記サブセットを表示するための1つまたは複数の条件を識別する、請求項4に記載の方法。
  6. 前記1つまたは複数の条件が、1人または複数の特定の送信者から電子メールを受信することを含む、請求項5に記載の方法。
  7. 前記入力が、前記識別されたサブセットを視覚的に提示するために、モバイルデバイス上の画面の動的部分の実際の境界または近似境界を描くことを含む、請求項1に記載の方法。
  8. 前記入力が1つまたは複数のタッチスクリーンに描かれた境界を含む、請求項7に記載の方法。
  9. 前記動的部分が、前記画面の全体に満たない部分をカバーする、前記モバイルデバイス上の前記画面の複数の領域を含む、請求項7に記載の方法。
  10. 前記識別されたサブセットが、モバイルデバイス上の画面のシステム定義部分内に視覚的に提示される、請求項1に記載の方法。
  11. 情報キューの前記セットの1つまたは複数の情報キューが複数の文脈と関連付けられる、請求項1に記載の方法。
  12. 前記識別されたサブセットの全体が前記モバイルデバイスの画面上に同時に提示されないように、前記識別されたサブセットが少なくとの1つのスクロール機能を用いて提示される、請求項1に記載の方法。
  13. 情報キューの前記セットの前記情報キューのうちの少なくともいくつかをランク付けするステップであって、前記識別されたサブセットの前記提示が前記ランク付けに少なくとも一部基づく、ランク付けするステップをさらに含む、請求項1に記載の方法。
  14. 情報キューの前記のセットの前記識別されたサブセットの前記情報キューの各々の前記提示に関連する画面位置が、前記ランク付けするステップに少なくとも一部基づく、請求項13に記載の方法。
  15. 前記入力が複数の画面区分化オプションの中からタッチスクリーン入力または手動入力の選択を含む、請求項1に記載の方法。
  16. 情報キューの前記セット内の前記他の情報キューと関連付けられたグラフィカルアイコンの何らかの表示と比較して、前記サブセットと関連付けられたグラフィカルアイコンを優位に表示するステップをさらに含む請求項1に記載の方法。
  17. 前記サブセット内の情報キューが前記モバイルデバイスのディスプレイ画面上で前記ユーザに視覚的に提示され、前記他の情報キューが前記ディスプレイ画面上で前記ユーザに視覚的に提示されない、請求項1に記載の方法。
  18. 前記サブセット内の情報キューがデスクトップ画面上または前記モバイルデバイスのホーム画面上で前記ユーザに視覚的に提示され、前記他の情報キューが前記デスクトップ画面上または前記ホーム画面上で前記ユーザに視覚的に提示されない、請求項1に記載の方法。
  19. 前記サブセットが、前記文脈が判断されたことを示す情報キューを含む、請求項1に記載の方法。
  20. 前記文脈が判断されたことを示す前記情報キューが、前記モバイルデバイスの音声および振動のうちの少なくとも1つを使用して、前記ユーザに提示される、請求項19に記載の方法。
  21. 前記文脈が環境文脈である、請求項1に記載の方法。
  22. 前記モバイルデバイスを介して、情報キューの静的文脈非依存性セットを前記ユーザに提示するステップをさらに含む、請求項1に記載の方法。
  23. 前記モバイルデバイスがセルラー電話である、請求項1に記載の方法。
  24. 1つまたは複数の文脈関連変数を受信するステップをさらに含み、
    前記文脈を前記判断するステップが、前記受信された1つまたは複数の文脈関連変数に基づいて、前記文脈を推論するステップを含む、請求項1に記載の方法。
  25. 第2の文脈を判断するステップと、
    前記第2の文脈と関連付けられた、前記情報キューの動的セットの第2のサブセットを識別するステップと、
    前記モバイルデバイスを介して、前記動的セット内の他の情報キューの何らかの提示と比較して、前記第2のサブセットを優位に提示するステップと
    をさらに含み、
    前記提示が前記受信されたユーザ入力と一致し、
    前記第2のサブセットが前記サブセットとは異なる請求項1に記載の方法。
  26. 前記サブセットが、モバイルデバイス上で実行可能なプログラムを前記文脈と関連付けるユーザ入力に少なくとも一部基づいて識別される、請求項1に記載の方法。
  27. モバイルデバイス上で実行可能なプログラムとの前記ユーザの対話を監視するステップと、
    前記ユーザの対話と文脈関連変数との間の相関関係を識別するステップと、
    前記文脈関連変数の値を受信するステップと、
    前記識別された相関関係と前記受信された値とに基づいて、前記文脈を推論するステップと
    をさらに含む、請求項1に記載の方法。
  28. モバイルデバイスのユーザインターフェースを生成するためのシステムであって、
    動的文脈依存情報キューを提示するためのグラフィカルユーザインターフェース（ＧＵＩ）内の通知区域の選択に関する入力を前記モバイルデバイスのユーザから受信することを行うように構成された入力構成要素と、
    １つまたは複数の文脈関連変数を判断するように構成された文脈関連変数検出器と、
    前記文脈関連変数の値の累積クラスタまたは時間重み付けされたクラスタを識別することによって、文脈を判断することを行うように構成された文脈検出器と、
    前記判断された文脈を情報キューのセットのサブセットと関連付けることを行うように構成された関連付け装置と、
    前記通知区域内に前記サブセットを提示し、情報キューの前記セット内の他の情報キューの提示を隠すユーザインターフェースを生成することを行うように構成されたユーザインターフェース生成器と
    を含み、
    前記サブセットの前記提示が前記受信されたユーザ入力と一致し、
    前記サブセットの提示特性が前記文脈に基づいて変化し、
    情報キューの前記セットが、モバイルデバイス上で実行可能なプログラムを提示し、情報キューの前記セットの各々が、前記プログラムのうちのそれぞれ1つと関連付けられたグラフィカルアイコンを含む、システム。
  29. 前記ユーザインターフェース生成器が、前記動的文脈依存情報キューを表示するための、前記モバイルデバイスのディスプレイの部分を前記ユーザ入力に応じて定義するためのディスプレイ割当て装置を含む、請求項28に記載のシステム。
  30. 前記文脈検出器が、文脈と文脈関連変数との間の関連付けを動的に調整することを行うように構成された適応モデルを含む、請求項28に記載のシステム。
  31. 前記関連付け装置が、文脈と前記情報キューの動的セットの一部との間の関連付けを少なくとも周期的に調整することを行うように構成された適応モデルを含む、請求項28に記載のシステム。
  32. モバイルデバイスのユーザインターフェースを生成するためのシステムであって、
    動的文脈依存情報キューを提示するためのグラフィカルユーザインターフェース（ＧＵＩ）内の通知区域の選択に関する入力を前記モバイルデバイスのユーザから受信することを行うように構成された入力デバイスと、
    １つまたは複数の文脈関連変数を判断することと、
    前記文脈関連変数の値の累積クラスタまたは時間重み付けされたクラスタを識別することによって、文脈を判断することと、
    前記文脈と関連付けられた、情報キューのセットのサブセットを識別することと、
    ユーザインターフェースを生成して、前記通知区域内の前記識別されたサブセットを前記ユーザに提示することであって、前記提示が、前記識別されたサブセットを提示し、情報キューの前記セット内の他の情報キューを隠すことを含む、提示することと
    を行うためのコンピュータ実行可能命令を用いてプログラムされた、1つまたは複数のプロセッサと
    を含み、
    前記提示が前記受信されたユーザ入力と一致し、
    前記識別されたサブセットの提示特性が前記文脈に基づいて変化し、
    情報キューの前記セットが、モバイルデバイス上で実行可能なプログラムを提示し、情報キューの前記セットの各々が、前記プログラムのうちのそれぞれ1つと関連付けられたグラフィカルアイコンを含む、システム。
  33. 前記モバイルデバイスが前記1つまたは複数のプロセッサを含む、請求項32に記載のシステム。
  34. 外部コンピュータが前記1つまたは複数のプロセッサのうちの1つを含み、前記外部コンピュータがワイヤレス接続を介して前記モバイルデバイスに結合された、請求項32に記載のシステム。
  35. 前記モバイルデバイスが、1つまたは複数の文脈関連変数を監視することを行うように構成された1つまたは複数のセンサをさらに含む、請求項32に記載のシステム。
  36. ユーザインターフェースを生成するためのシステムであって、
    動的文脈依存情報キューを提示するためのグラフィカルユーザインターフェース（ＧＵＩ）内の通知区域の選択に関する入力をモバイルデバイスのユーザから受信するための手段と、
    １つまたは複数の文脈関連変数を判断する手段と、
    前記文脈関連変数の値の累積クラスタまたは時間重み付けされたクラスタを識別することによって、文脈を判断するための手段と、
    前記文脈に関連する、情報キューのセットのサブセットを識別するための手段と、
    前記通知区域内に前記識別されたサブセットを提示し、情報キューの前記セット内の他の情報キューの提示を隠すための手段であって、前記提示が前記受信されたユーザ入力と一致し、前記識別されたサブセットの提示特性が前記文脈に基づいて変化する、提示するための手段と
    を含み、
    情報キューの前記セットが、モバイルデバイス上で実行可能なプログラムを提示し、情報キューの前記セットの各々が、前記プログラムのうちのそれぞれ1つと関連付けられたグラフィカルアイコンを含む、システム。
  37. 前記文脈を前記判断するための手段が、クラスタリングアルゴリズムを使用するための手段を含む、請求項36に記載のシステム。
  38. 前記サブセットを識別するための前記手段が、ニューラルネットワークを使用するための手段を含む、請求項36に記載のシステム。
  39. 入力を前記受信するための手段がタッチスクリーンを含む、請求項36に記載のシステム。
JP2014531863A 2011-09-22 2012-09-12 動的かつ構成可能なユーザインターフェース Active JP6224592B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161537684P 2011-09-22 2011-09-22
US61/537,684 2011-09-22
US13/344,735 2012-01-06
US13/344,735 US9672049B2 (en) 2011-09-22 2012-01-06 Dynamic and configurable user interface
PCT/US2012/054834 WO2013043430A1 (en) 2011-09-22 2012-09-12 Dynamic and configurable user interface

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016111726A Division JP6348538B2 (ja) 2011-09-22 2016-06-03 動的かつ構成可能なユーザインターフェース

Publications (2)

Publication Number Publication Date
JP2014531666A JP2014531666A (ja) 2014-11-27
JP6224592B2 true JP6224592B2 (ja) 2017-11-01

Family

ID=47912645

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014531863A Active JP6224592B2 (ja) 2011-09-22 2012-09-12 動的かつ構成可能なユーザインターフェース
JP2016111726A Active JP6348538B2 (ja) 2011-09-22 2016-06-03 動的かつ構成可能なユーザインターフェース

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2016111726A Active JP6348538B2 (ja) 2011-09-22 2016-06-03 動的かつ構成可能なユーザインターフェース

Country Status (6)

Country Link
US (2) US9672049B2 (ja)
EP (1) EP2758871B1 (ja)
JP (2) JP6224592B2 (ja)
KR (2) KR101847097B1 (ja)
CN (1) CN103827821B (ja)
WO (1) WO2013043430A1 (ja)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US9672049B2 (en) 2011-09-22 2017-06-06 Qualcomm Incorporated Dynamic and configurable user interface
DE102012221513A1 (de) * 2011-12-09 2013-06-13 International Business Machines Corp. Verfahren und System zum Bereitstellen zusätzlicher Daten einem grafischen Schnittstellenelement
KR101980173B1 (ko) * 2012-03-16 2019-05-20 삼성전자주식회사 서드 파티 테스크 공급자들의 서비스 제공을 대행하는 협력적 퍼스널 어시스턴트 시스템 및 그에 따른 방법
US11372536B2 (en) * 2012-11-20 2022-06-28 Samsung Electronics Company, Ltd. Transition and interaction model for wearable electronic device
US11237719B2 (en) 2012-11-20 2022-02-01 Samsung Electronics Company, Ltd. Controlling remote electronic device with wearable electronic device
US20140152583A1 (en) * 2012-12-03 2014-06-05 International Business Machines Corporation Optimistic placement of user interface elements on a touch screen
US20140164935A1 (en) * 2012-12-12 2014-06-12 Dror Frommer System for rapid browsing of content
US20140201655A1 (en) * 2013-01-16 2014-07-17 Lookout, Inc. Method and system for managing and displaying activity icons on a mobile device
US20150089386A1 (en) * 2013-09-25 2015-03-26 At&T Mobility Ii Llc Intelligent Adaptation of Home Screens According to Handedness
US20150089360A1 (en) * 2013-09-25 2015-03-26 At&T Mobility Ii Llc Intelligent Adaptation of User Interfaces
US20150089359A1 (en) * 2013-09-25 2015-03-26 At&T Mobility Ii Llc Intelligent Adaptation of Home Screens
US9792003B1 (en) * 2013-09-27 2017-10-17 Audible, Inc. Dynamic format selection and delivery
WO2015057586A1 (en) 2013-10-14 2015-04-23 Yahoo! Inc. Systems and methods for providing context-based user interface
US9032321B1 (en) * 2014-06-16 2015-05-12 Google Inc. Context-based presentation of a user interface
JP6274028B2 (ja) * 2014-06-18 2018-02-07 富士通株式会社 表示端末、表示方法、及びプログラム
US9916059B2 (en) 2014-07-31 2018-03-13 Microsoft Technology Licensing, Llc Application launcher sizing
US10186138B2 (en) * 2014-09-02 2019-01-22 Apple Inc. Providing priming cues to a user of an electronic device
US9600156B2 (en) 2014-09-26 2017-03-21 International Business Machines Corporation Enlarging a selection region associated with selected information in a document displayed on a screen of a computing device
US10320704B2 (en) * 2014-10-22 2019-06-11 Tata Consultancy Services Limited User driven smartphone scheduling enhancement for running data analytics application
US20160148157A1 (en) * 2014-11-25 2016-05-26 Sanju Walia Managing activities in an organization
US9927954B2 (en) * 2014-12-05 2018-03-27 HomeAway.com. Inc. Dynamic interface to present customized information contextually in relation to access to a property
KR20160133154A (ko) * 2015-05-12 2016-11-22 삼성전자주식회사 전자 장치 및 그의 그래픽 유저 인터페이스 제공 방법
JP6344311B2 (ja) * 2015-05-26 2018-06-20 ソニー株式会社 表示装置、情報処理システム及び制御方法
US10380569B2 (en) 2015-08-11 2019-08-13 Toshiba Tec Corporation Systems, methods, and apparatuses for displaying purchase transaction elements based on a determined hierarchy
US10845949B2 (en) 2015-09-28 2020-11-24 Oath Inc. Continuity of experience card for index
US11609427B2 (en) 2015-10-16 2023-03-21 Ostendo Technologies, Inc. Dual-mode augmented/virtual reality (AR/VR) near-eye wearable displays
US10521070B2 (en) * 2015-10-23 2019-12-31 Oath Inc. Method to automatically update a homescreen
US11106273B2 (en) * 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
US10146397B2 (en) * 2015-11-27 2018-12-04 International Business Machines Corporation User experience steering
US10345594B2 (en) 2015-12-18 2019-07-09 Ostendo Technologies, Inc. Systems and methods for augmented near-eye wearable displays
US10831766B2 (en) 2015-12-21 2020-11-10 Oath Inc. Decentralized cards platform for showing contextual cards in a stream
US10578882B2 (en) 2015-12-28 2020-03-03 Ostendo Technologies, Inc. Non-telecentric emissive micro-pixel array light modulators and methods of fabrication thereof
USD789416S1 (en) * 2016-02-04 2017-06-13 Lutron Electronics Co., Inc. Display screen or portion thereof with animated graphical user interface
USD797791S1 (en) * 2016-03-22 2017-09-19 Teletracking Technologies, Inc. Display screen with graphical user interface
US10353203B2 (en) 2016-04-05 2019-07-16 Ostendo Technologies, Inc. Augmented/virtual reality near-eye displays with edge imaging lens comprising a plurality of display devices
US10453431B2 (en) 2016-04-28 2019-10-22 Ostendo Technologies, Inc. Integrated near-far light field display systems
US10522106B2 (en) 2016-05-05 2019-12-31 Ostendo Technologies, Inc. Methods and apparatus for active transparency modulation
US10345986B1 (en) * 2016-05-17 2019-07-09 Google Llc Information cycling in graphical notifications
US10248536B2 (en) * 2016-10-31 2019-04-02 International Business Machines Corporation Method for static and dynamic configuration verification
US20180129581A1 (en) * 2016-11-07 2018-05-10 International Business Machines Corporation Method for static and dynamic configuration verification
US20190122140A1 (en) * 2017-10-20 2019-04-25 STATGRAF Research LLP. Data analysis and rendering
CN108874485A (zh) * 2018-06-08 2018-11-23 Oppo广东移动通信有限公司 图标显示方法、装置及终端
WO2021006906A1 (en) * 2019-07-11 2021-01-14 Google Llc System and method for providing an artificial intelligence control surface for a user of a computing device
US10768952B1 (en) 2019-08-12 2020-09-08 Capital One Services, Llc Systems and methods for generating interfaces based on user proficiency
US11097688B2 (en) 2019-09-20 2021-08-24 GM Cruise Holdings, LLC Journey verification for ridesharing via audible signals
US10953852B1 (en) 2019-09-27 2021-03-23 GM Cruise Holdings, LLC. Pick-up authentication via audible signals
US11267401B2 (en) 2019-09-27 2022-03-08 GM Cruise Holdings, LLC Safe passenger disembarking for autonomous vehicles via audible signals
DE102020204619A1 (de) * 2020-04-09 2021-10-14 Siemens Aktiengesellschaft Überwachen eines Elektroenergieübertragungssystems
US11546458B2 (en) * 2020-06-10 2023-01-03 Micron Technology, Inc. Organizing applications for mobile devices
US11756574B2 (en) * 2021-03-11 2023-09-12 Apple Inc. Multiple state digital assistant for continuous dialog
CN113407268B (zh) * 2021-05-07 2023-09-01 北京奇艺世纪科技有限公司 互动窗口展示方法、装置、电子设备及存储介质
CN114356165B (zh) * 2022-01-11 2024-01-23 瀚云科技有限公司 一种监控设备的监控区域确定方法、装置及电子设备

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6211858B1 (en) 1997-09-26 2001-04-03 Ericsson Inc. Method and apparatus for displaying a rotating meter icon on a portable intelligent communications device
US6668177B2 (en) 2001-04-26 2003-12-23 Nokia Corporation Method and apparatus for displaying prioritized icons in a mobile terminal
EP1256875A1 (en) 2001-05-10 2002-11-13 Nokia Corporation Method and device for context dependent user input prediction
US20020186257A1 (en) 2001-06-08 2002-12-12 Cadiz Jonathan J. System and process for providing dynamic communication access and information awareness in an interactive peripheral display
US7032188B2 (en) * 2001-09-28 2006-04-18 Nokia Corporation Multilevel sorting and displaying of contextual objects
US20040155909A1 (en) * 2003-02-07 2004-08-12 Sun Microsystems, Inc. Scroll tray mechanism for cellular telephone
JP3669702B2 (ja) * 2003-02-25 2005-07-13 松下電器産業株式会社 アプリケーションプログラムの予測方法及び移動体端末
US7386279B2 (en) 2003-04-02 2008-06-10 Sun Microsystems, Inc. Context based main screen for mobile device
EP1473911A1 (en) 2003-04-28 2004-11-03 Sony Ericsson Mobile Communications AB Changing presentation of items of information based on message reception frequency
US7221331B2 (en) 2003-05-05 2007-05-22 Microsoft Corporation Method and system for auxiliary display of information for a computing device
US7620894B1 (en) * 2003-10-08 2009-11-17 Apple Inc. Automatic, dynamic user interface configuration
US8209634B2 (en) 2003-12-01 2012-06-26 Research In Motion Limited Previewing a new event on a small screen device
JP4730684B2 (ja) 2004-03-16 2011-07-20 イマジニアリング株式会社 ユーザインターフェースが進化するデータベースシステムおよび当該データベースシステムを利用したＷｅｂブラウザ
US20060107219A1 (en) 2004-05-26 2006-05-18 Motorola, Inc. Method to enhance user interface and target applications based on context awareness
EP1659766B1 (en) 2004-11-09 2007-02-28 Research In Motion Limited Dynamic bar oriented user interface
US20080005679A1 (en) * 2006-06-28 2008-01-03 Microsoft Corporation Context specific user interface
JP2008015971A (ja) 2006-07-10 2008-01-24 Matsushita Electric Ind Co Ltd 情報提示装置及び情報提示方法
US7581188B2 (en) * 2006-09-27 2009-08-25 Hewlett-Packard Development Company, L.P. Context-based user interface system
US8032839B2 (en) * 2006-12-18 2011-10-04 Sap Ag User interface experience system
US8413059B2 (en) 2007-01-03 2013-04-02 Social Concepts, Inc. Image based electronic mail system
US20090150807A1 (en) * 2007-12-06 2009-06-11 International Business Machines Corporation Method and apparatus for an in-context auto-arrangable user interface
US20090187466A1 (en) * 2008-01-23 2009-07-23 Maphook, Inc. Location-Based Information-Geo Retail Notification
US8245143B2 (en) 2008-10-08 2012-08-14 Research In Motion Limited Method and handheld electronic device having a graphical user interface which arranges icons dynamically
JP5262673B2 (ja) 2008-12-18 2013-08-14 日本電気株式会社 携帯端末、機能実行方法及びプログラム
JP5201591B2 (ja) * 2009-03-05 2013-06-05 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 携帯端末装置及びプログラム
US20100317371A1 (en) 2009-06-12 2010-12-16 Westerinen William J Context-based interaction model for mobile devices
JP2011066850A (ja) * 2009-09-18 2011-03-31 Fujitsu Toshiba Mobile Communications Ltd 情報通信端末
US8972878B2 (en) * 2009-09-21 2015-03-03 Avaya Inc. Screen icon manipulation by context and frequency of Use
JP4982551B2 (ja) 2009-11-05 2012-07-25 株式会社エヌ・ティ・ティ・ドコモ 通信システム、通信装置及びプログラム
US8490018B2 (en) * 2009-11-17 2013-07-16 International Business Machines Corporation Prioritization of choices based on context and user history
US20110126119A1 (en) * 2009-11-20 2011-05-26 Young Daniel J Contextual presentation of information
JP5400599B2 (ja) 2009-12-18 2014-01-29 株式会社日立製作所 Ｇｕｉカスタマイズ方法、システム及びプログラム
JP2011160145A (ja) * 2010-01-29 2011-08-18 Fujitsu Toshiba Mobile Communications Ltd 携帯端末装置
US8315791B2 (en) * 2010-06-18 2012-11-20 Nokia Coporation Method and apparatus for providing smart zooming of a geographic representation
EP2451141B1 (en) * 2010-11-09 2018-11-07 BlackBerry Limited Methods and apparatus to display mobile device contents
US9292171B2 (en) * 2010-11-17 2016-03-22 International Business Machines Corporation Border menu for context dependent actions within a graphical user interface
US8766793B2 (en) * 2011-03-25 2014-07-01 Microsoft Corporation Contextually-appropriate task reminders
US9672049B2 (en) 2011-09-22 2017-06-06 Qualcomm Incorporated Dynamic and configurable user interface

Also Published As

Publication number Publication date
KR20160066048A (ko) 2016-06-09
CN103827821B (zh) 2018-02-06
US11106350B2 (en) 2021-08-31
KR20140079428A (ko) 2014-06-26
US20130080890A1 (en) 2013-03-28
US20170262293A1 (en) 2017-09-14
JP6348538B2 (ja) 2018-06-27
US9672049B2 (en) 2017-06-06
JP2016194932A (ja) 2016-11-17
WO2013043430A1 (en) 2013-03-28
EP2758871B1 (en) 2021-08-11
JP2014531666A (ja) 2014-11-27
KR101847097B1 (ko) 2018-04-10
EP2758871A1 (en) 2014-07-30
CN103827821A (zh) 2014-05-28

Similar Documents

Publication Publication Date Title
JP6348538B2 (ja) 動的かつ構成可能なユーザインターフェース
US11009958B2 (en) Method and apparatus for providing sight independent activity reports responsive to a touch gesture
US20230315261A1 (en) Unified and smart notifications and quick settings system
CN108268259B (zh) 动态生成定制应用入门教程
US20190138190A1 (en) Evaluating conversation data based on risk factors
US20160063874A1 (en) Emotionally intelligent systems
CN105404629B (zh) 确定地图界面的方法和装置
CN110326010A (zh) 具有基于内容的通知徽标标注的图形用户界面
KR20180104720A (ko) 상황별 작업 바로 가기들
CN105917349B (zh) 对请求的用户数据的隐私过滤以及上下文激活的隐私模式
US20160093226A1 (en) Identification and altering of user routines
US20200004495A1 (en) Generating a Customized Social-Driven Playlist
US20150382147A1 (en) Leveraging user signals for improved interactions with digital personal assistant
US9456308B2 (en) Method and system for creating and refining rules for personalized content delivery based on users physical activities
CN108351992A (zh) 根据活动预测的增强型计算机体验
CN108351870A (zh) 根据活动模式的计算机语音识别和语义理解
US20100153890A1 (en) Method, Apparatus and Computer Program Product for Providing a Predictive Model for Drawing Using Touch Screen Devices
US11436265B2 (en) System for presenting tailored content based on user sensibilities
CN112384888A (zh) 基于上下文状态的用户界面格式适应
US20180225025A1 (en) Technologies for providing user centric interfaces
US20150324458A1 (en) Information-Processing Device, Server Device, Interaction System, and Program
US10223065B2 (en) Locating and presenting key regions of a graphical user interface
US20240061561A1 (en) Visually-deemphasized effect for computing devices
CN114072763A (zh) 一种推荐行为的交互界面展示方法和系统

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151111

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160603

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20160613

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20160708

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170714

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171005

R150 Certificate of patent or registration of utility model

Ref document number: 6224592

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250