JP6721703B2 - グラフィカルキーボード内での図像シンボル検索 - Google Patents

グラフィカルキーボード内での図像シンボル検索 Download PDF

Info

Publication number
JP6721703B2
JP6721703B2 JP2018543129A JP2018543129A JP6721703B2 JP 6721703 B2 JP6721703 B2 JP 6721703B2 JP 2018543129 A JP2018543129 A JP 2018543129A JP 2018543129 A JP2018543129 A JP 2018543129A JP 6721703 B2 JP6721703 B2 JP 6721703B2
Authority
JP
Japan
Prior art keywords
computing device
search
emoji
display
graphical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018543129A
Other languages
English (en)
Other versions
JP2019511771A (ja
Inventor
ドン・ホ・キム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2019511771A publication Critical patent/JP2019511771A/ja
Application granted granted Critical
Publication of JP6721703B2 publication Critical patent/JP6721703B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0237—Character input methods using prediction or retrieval techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Description

いくつかのアプリケーションを同時に実行することができるにもかかわらず、いくつかのモバイルコンピューティングデバイスは、一度に単一のアプリケーションのグラフィカルユーザインターフェース(GUI)しか提示することができない。複数のアプリケーションと一斉に対話するために、モバイルコンピューティングデバイスのユーザは、異なるアプリケーションGUIの間を切り替えなければならない場合がある。たとえば、モバイルコンピューティングデバイスのユーザは、メッセージを組み立てるか、またはそうでなければテキストを入れるときに使用するための特定の情報断片(たとえば、絵文字シンボルなどの図像シンボル(iconographic symbol))を検索するために、メッセージングアプリケーションにおいてテキストを入れるのをやめ、デバイスを検索アプリケーションにトグルさせるための入力を与えなければならない場合がある。
一例では、方法は、コンピューティングデバイスによって、複数のキーを備えるグラフィカルキーボードを表示用に出力するステップであって、複数のキーは、グラフィカルキーボードの図像検索機能に関連付けられた図像検索キーを含む、ステップと、図像検索キーの選択の指示を受信したことに応答して、コンピューティングデバイスによって、複数のキーに加え、図像検索機能に関連付けられた検索クエリの指示を表示するように構成された図像検索ボックスを含む第1の更新されたグラフィカルキーボードを表示用に出力するステップと、コンピューティングデバイスによって、ユーザ入力に基づいて、図像検索クエリを判断するステップとを含む。方法は、コンピューティングデバイスによって、図像検索ボックス内での表示のために、図像検索クエリのグラフィカル指示を出力するステップと、コンピューティングデバイスによって、図像検索クエリに基づいて、およびグラフィカルキーボードの図像検索機能を使用して、1つまたは複数の候補図像シンボルを識別するステップと、1つまたは複数の候補図像シンボルを識別したことに応答して、コンピューティングデバイスによって、複数のキーの少なくとも一部分に加え、1つまたは複数の候補図像シンボルに対応する1つまたは複数の選択可能要素を表示する図像提案領域(suggestion region)を含む第2の更新されたグラフィカルキーボードを表示用に出力するステップとをさらに含む。
別の例では、コンピューティングデバイスは、存在感知ディスプレイ(presence-sensitive display)と、少なくとも1つのプロセッサと、命令を記憶するメモリとを含む。命令は、少なくとも1つのプロセッサによって実行されると、少なくとも1つのプロセッサに、存在感知ディスプレイにおける表示用に、複数のキーを備えるグラフィカルキーボードを出力することであって、複数のキーは、グラフィカルキーボードの図像検索機能に関連付けられた図像検索キーを含む、ことと、存在感知ディスプレイにおいて検出された図像検索キーの選択の指示を受信したことに応答して、存在感知ディスプレイにおける表示用に、複数のキーに加え、図像検索機能に関連付けられた検索クエリの指示を表示するように構成された図像検索ボックスを含む第1の更新されたグラフィカルキーボードを出力することとを行わせる。命令は、実行されると、少なくとも1つのプロセッサにさらに、ユーザ入力に基づいて、図像検索クエリを判断させ、存在感知ディスプレイにおける表示用に、図像検索ボックス内で、図像検索クエリのグラフィカル指示を出力させ、図像検索クエリに基づいて、およびグラフィカルキーボードの図像検索機能を使用して、1つまたは複数の候補図像シンボルを識別させ、1つまたは複数の候補図像シンボルを識別したことに応答して、存在感知ディスプレイにおける表示用に、複数のキーの少なくとも一部分に加え、1つまたは複数の候補図像シンボルに対応する1つまたは複数の選択可能要素を表示する図像提案領域を含む第2の更新されたグラフィカルキーボードを出力させる。
別の例では、コンピュータ可読記憶媒体は命令で符号化され、命令は、コンピューティングデバイスの少なくとも1つのプロセッサによって実行されると、少なくとも1つのプロセッサに、複数のキーを備えるグラフィカルキーボードを表示用に出力することであって、複数のキーは、グラフィカルキーボードの図像検索機能に関連付けられた図像検索キーを含む、ことと、図像検索キーの選択の指示を受信したことに応答して、複数のキーに加え、図像検索機能に関連付けられた検索クエリの指示を表示するように構成された図像検索ボックスを含む第1の更新されたグラフィカルキーボードを表示用に出力することと、ユーザ入力に基づいて、図像検索クエリを判断することとを行わせる。命令は、実行されると、少なくとも1つのプロセッサにさらに、図像検索ボックス内での表示のために、図像検索クエリのグラフィカル指示を出力させ、図像検索クエリに基づいて、およびグラフィカルキーボードの図像検索機能を使用して、1つまたは複数の候補図像シンボルを識別させ、1つまたは複数の候補図像シンボルを識別したことに応答して、複数のキーの少なくとも一部分に加え、1つまたは複数の候補図像シンボルに対応する1つまたは複数の選択可能要素を表示する図像提案領域を含む第2の更新されたグラフィカルキーボードを表示用に出力させる。
1つまたは複数の例の詳細が、添付の図面および以下の説明に記載されている。本開示の他の特徴、目的、および利点は、説明および図面から、ならびに特許請求の範囲から明らかになるであろう。
本開示の1つまたは複数の態様による、統合型図像検索を伴うグラフィカルキーボードを提示するように構成される例示的コンピューティングデバイスを示す概念図である。 本開示の1つまたは複数の態様による、統合型図像検索を伴うグラフィカルキーボードを提示するように構成される例示的コンピューティングデバイスを示す概念図である。 本開示の1つまたは複数の態様による、統合型図像検索を伴うグラフィカルキーボードを提示するように構成される例示的コンピューティングデバイスを示す概念図である。 本開示の1つまたは複数の態様による、統合型図像検索を伴うグラフィカルキーボードを提示するように構成される例示的コンピューティングデバイスを示す概念図である。 本開示の1つまたは複数の態様による、統合型図像検索を伴うグラフィカルキーボードを提示するように構成される例示的コンピューティングデバイスを示すブロック図である。 本開示の1つまたは複数の技法による、リモートデバイスにおける表示用にグラフィカルコンテンツを出力する例示的コンピューティングデバイスを示すブロック図である。 本開示の1つまたは複数の態様による、統合型図像検索を伴うグラフィカルキーボードを提示するように構成される例示的コンピューティングデバイスの例示的グラフィカルユーザインターフェースを示す概念図である。 本開示の1つまたは複数の態様による、統合型図像検索を伴うグラフィカルキーボードを提示するように構成される例示的コンピューティングデバイスの例示的グラフィカルユーザインターフェースを示す概念図である。 本開示の1つまたは複数の態様による、統合型図像検索を伴うグラフィカルキーボードを提示するように構成される例示的コンピューティングデバイスの例示的グラフィカルユーザインターフェースを示す概念図である。 本開示の1つまたは複数の態様による、統合型図像検索を伴うグラフィカルキーボードを提示するように構成される例示的コンピューティングデバイスの例示的グラフィカルユーザインターフェースを示す概念図である。 本開示の1つまたは複数の態様による、統合型図像検索を伴うグラフィカルキーボードを提示するように構成される例示的コンピューティングデバイスの例示的グラフィカルユーザインターフェースを示す概念図である。 本開示の1つまたは複数の態様による、統合型図像検索を伴うグラフィカルキーボードを提示するように構成される例示的コンピューティングデバイスの例示的グラフィカルユーザインターフェースを示す概念図である。 本開示の1つまたは複数の態様による、統合型図像検索を伴うグラフィカルキーボードを提示するように構成されるコンピューティングデバイスの例示的動作を示すフローチャートである。
概して、本開示は、コンピューティングデバイスが、グラフィカルキーボードの図像検索領域内から図像シンボル検索を行うことを可能にするための技法を対象とする。たとえば、コンピューティングデバイスが、メッセージングアプリケーションのグラフィカルユーザインターフェース(GUI)のグラフィカルキーボードにおける入力を検出すると、コンピューティングデバイスは、図像検索キーの選択の指示を受信することができ、選択に応答して、コンピューティングデバイスは、グラフィカルキーボード内に、図像検索ボックスを表示し得る。グラフィカルキーボードにおいて後で検出された入力に基づいて、コンピューティングデバイスは、コンピューティングデバイスが1つまたは複数の候補図像シンボルをそこから識別する場合がある図像検索クエリ(たとえば、絵文字シンボルについてのタイプ入力テキスト、手書き、または手描きクエリ)を判断することができる。コンピューティングデバイスは、グラフィカルキーボードの図像提案領域内に候補図像シンボルを表示することができ、ユーザは、候補図像シンボルのうちの1つまたは複数を、電子メッセージ用のコンテンツとして使われるように選択してもよい。
グラフィカルキーボードに内蔵型図像シンボル検索能力を与えることによって、例示的コンピューティングデバイスのユーザは、カテゴリー分類された図像シンボルの多くのページを巡るか、または特定の図像シンボルをルックアップするために異なるアプリケーションGUIの間を切り替えるよう、ユーザに求めるよりもむしろ、ユーザがすでにタイプ入力しているグラフィカルキーボード内から、選択可能な図像シンボルを素早く検索し、取得することができる。このようにして、本開示の技法は、特定の図像シンボルを見つけるためにコンピューティングデバイスによって求められる時間量およびユーザ入力の数を削減することができ、そうすることにより、ユーザエクスペリエンスを単純化することができ、コンピューティングデバイスの電力消費を削減することができる。
本明細書で使用する、「図像シンボル」という用語は、概して、アスキーまたはユニコード規格の一部であってもそうでなくても、様々なタイプの「絵文字」キャラクタ、絵文字フレーズ、絵文字シンボル、およびすべての他のタイプの(通常、非テキスト)エモーティコン、アイコン、キャラクタ、ならびに特殊シンボルを指すのに使われる。本明細書で使用する限り、図像シンボルは、漢字およびローマ数字などの表意シンボルとは異なり、表意シンボルであると企図されるべきではない。説明しやすいように、以下の技法は、主に絵文字シンボルの観点から記載される。ただし、これらの技法は、どのタイプの図像シンボルとともに使われてもよい。
本開示を通して、コンピューティングデバイスが、コンピューティングデバイスのユーザから、情報を分析するための許可を受信した場合のみ、コンピューティングデバイスおよび/またはコンピューティングシステムが、コンピューティングデバイスと、コンピューティングデバイスのユーザとに関連付けられた情報(たとえば、コンテキスト、ロケーション、速度、検索クエリなど)を分析する例が記載される。たとえば、以下で論じる状況では、コンピューティングデバイスまたはコンピューティングシステムが、ユーザに関連付けられた情報を収集することができるか、または利用し得る前に、ユーザには、コンピューティングデバイスおよび/もしくはコンピューティングシステムのプログラムもしくは特徴が、ユーザ情報(たとえば、ユーザの現在ロケーション、現在速度などについての情報)を収集し、利用することができるかどうかを制御するための、またはデバイスおよび/もしくはシステムが、ユーザに関連のあり得るコンテンツを受信することができるかどうか、および/もしくはどのようにして受信し得るかを規定するための入力を与える機会が与えられてよい。さらに、特定のデータが、コンピューティングデバイスおよび/またはコンピューティングシステムによって記憶され、または使われる前に、個人の識別が可能な情報が削除されるように1つまたは複数のやり方で扱われ得る。たとえば、ユーザについての個人を識別できる情報を判断することができないようにユーザのアイデンティティが扱われてよく、またはユーザの地理的ロケーションが、ユーザの特定のロケーションを判断することができないようにロケーション情報が取得されるように(たとえば、市、郵便番号、または州レベルに)一般化されてよい。したがって、ユーザは、情報がどのように、ユーザについて収集され、コンピューティングデバイスおよびコンピューティングシステムによって使われるかに対する制御を有することができる。
図1A〜図1Dは、本開示の1つまたは複数の態様による、統合型図像検索を伴うグラフィカルキーボードを提示するように構成される例示的コンピューティングデバイス110を示す概念図である。コンピューティングデバイス110は、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、コンピュータ化ウォッチ、コンピュータ化アイウェア、コンピュータ化グローブ、または任意の他のタイプのポータブルコンピューティングデバイスなどのモバイルデバイスを表し得る。コンピューティングデバイス110の追加の例は、デスクトップコンピュータ、テレビジョン、携帯情報端末(PDA)、ポータブルゲーム用システム、メディアプレーヤ、eブックリーダ、モバイルテレビジョンプラットフォーム、自動車ナビゲーションおよびエンターテインメントシステム、車両(たとえば、自動車、航空機、もしくは他の車両)コックピットディスプレイ、またはグラフィカルキーボードを表示用に出力することができるどの他のタイプの装着型および非装着型、モバイルもしくは非モバイルコンピューティングデバイスも含む。
コンピューティングデバイス110は、存在感知ディスプレイ(PSD)112、ユーザインターフェース(UI)モジュール120およびキーボードモジュール122を含む。モジュール120および122は、ソフトウェア、ハードウェア、ファームウェア、またはコンピューティングデバイス110において常駐および/もしくは実行するハードウェア、ソフトウェア、およびファームウェアの混合物を使用して記述される動作を実施し得る。コンピューティングデバイス110の1つまたは複数のプロセッサは、モジュール120および122の動作を実施するように、コンピューティングデバイス110のメモリまたは他の非一時的記憶媒体に記憶されている命令を実行することができる。コンピューティングデバイス110は、モジュール120および122を、基底ハードウェア上で実行する仮想マシンとして実行し得る。モジュール120および122は、オペレーティングシステムまたはコンピューティングプラットフォームの1つまたは複数のサービスとして実行し得る。モジュール120および122は、コンピューティングプラットフォームのアプリケーションレイヤにおいて、1つまたは複数の実行可能プログラムとして実行し得る。
コンピューティングデバイス110のPSD112は、コンピューティングデバイス110用のそれぞれの入力および/または出力デバイスとして機能し得る。PSD112は、様々な技術を使用して実装され得る。たとえば、PSD112は、抵抗性タッチスクリーン、表面音響波タッチスクリーン、容量性タッチスクリーン、投影静電容量タッチスクリーン、圧力感知スクリーン、音響パルス認識タッチスクリーン、または別の存在感知ディスプレイ技術などの存在感知入力スクリーンを使用する入力デバイスとして機能し得る。PSD112はまた、液晶ディスプレイ(LCD)、ドットマトリックスディスプレイ、発光ダイオード(LED)ディスプレイ、有機発光ダイオード(OLED)ディスプレイ、eインク、またはコンピューティングデバイス110のユーザに可視情報を出力することが可能な同様のモノクロームもしくはカラーディスプレイなど、任意の1つまたは複数のディスプレイデバイスを使用する出力(たとえば、ディスプレイ)デバイスとして機能し得る。
PSD112は、それぞれのコンピューティングデバイス110のユーザからの入力(たとえば、タッチおよび非タッチ入力)を検出することができる。PSD112は、ユーザからの1つまたは複数のジェスチャー(たとえば、ユーザが、PSD112の1つまたは複数のロケーションの所またはその近くを、指またはスタイラスペンでタッチし、ポイントし、かつ/またはスワイプすること)を検出することによって、入力の指示を検出することができる。PSD112は、ユーザインターフェース(たとえば、ユーザインターフェース114A〜114D)の形で、ユーザに情報を出力することができ、ユーザインターフェースは、コンピューティングデバイス110によって提供される機能性に関連付けられ得る。そのようなユーザインターフェースは、コンピューティングプラットフォーム、オペレーティングシステム、アプリケーション、ならびに/またはコンピューティングデバイス110において実行するか、もしくはそこからアクセス可能なサービス(たとえば、電子メッセージアプリケーション、チャットアプリケーション、インターネットブラウザアプリケーション、モバイルもしくはデスクトップオペレーティングシステム、ソーシャルメディアアプリケーション、電子ゲーム、および他のタイプのアプリケーション)に関連付けられ得る。たとえば、PSD112は、ユーザインターフェース114A〜114D(まとめて「ユーザインターフェース114」と呼ばれる)を提示することができ、これらは、図1A〜図1Dに示すように、コンピューティングデバイス110において実行するチャットアプリケーションのグラフィカルユーザインターフェースであるとともに、PSD112の様々なロケーションにおいて表示される様々なグラフィカル要素を含む。
図1A〜図1Cに示すように、ユーザインターフェース114は、チャットユーザインターフェースの一部であるが、ユーザインターフェース114は、統合型検索特徴をもつグラフィカルキーボードを含むどのグラフィカルユーザインターフェースであってもよい。ユーザインターフェース114は、出力領域116A、グラフィカルキーボード116B、および編集領域116Cを含む。コンピューティングデバイス110のユーザは、出力領域116A内に表示される電子メッセージの内容を形成するテキストキャラクタおよび/または絵文字シンボルを編集領域116C内で生じるように、グラフィカルキーボード116Bにおいて入力を与えることができる。出力領域116A内に表示されるメッセージは、コンピューティングデバイス110のユーザと、異なるコンピューティングデバイスのユーザとの間のチャット会話を形成する。
UIモジュール120は、PSD112およびコンピューティングデバイス110の他の構成要素とのユーザ対話を管理する。言い換えると、UIモジュール120は、PSD112によって検出されたユーザ入力に基づく判断を行い、ユーザ入力に応答してPSD112において出力を生成するための、コンピューティングデバイス110の様々な構成要素の間の媒介として作用し得る。UIモジュール120は、PSD112にユーザインターフェース(たとえば、ユーザインターフェース114)を出力させるための命令を、アプリケーション、サービス、プラットフォーム、またはコンピューティングデバイス110の他のモジュールから受信し得る。UIモジュール120は、PSD112において提示されるユーザインターフェースをユーザが閲覧し、それと対話するとき、コンピューティングデバイス110によって受信された入力を管理し、ユーザ入力を処理している、コンピューティングデバイス110のアプリケーション、サービス、プラットフォーム、または他のモジュールから追加命令を受信したことに応答して、ユーザインターフェースを更新することができる。
キーボードモジュール122は、統合型検索能力を有するグラフィカルキーボードをコンピューティングデバイス110に提供する、コンピューティングデバイス110において実行するか、またはデバイス110にとってアクセス可能なアプリケーション、サービス、または構成要素を表す。キーボードモジュール122は、キーボードモジュール122が従来のグラフィカルキーボードと同様に機能するテキスト記入モード、またはキーボードモジュール122が絵文字シンボル検索などの様々な統合型検索機能を実施する検索モードでの動作を切り替えることができる。
いくつかの例では、キーボードモジュール122は、コンピューティングデバイス110において実行するスタンドアロンアプリケーション、サービス、またはモジュールであってよく、他の例では、キーボードモジュール122は、それらの下位構成要素であってよい。たとえば、キーボードモジュール122は、コンピューティングデバイス110において実行するチャットまたはメッセージングアプリケーションに統合されてよく、他の例では、キーボードモジュール122は、アプリケーションまたはオペレーティングプラットフォームがグラフィカルキーボード入力機能性を求めるときはいつでもコンピューティングデバイス110のアプリケーションまたはオペレーティングプラットフォームによって呼び出されるスタンドアロンアプリケーションまたはサブルーチンであってよい。いくつかの例では、コンピューティングデバイス110は、サービスプロバイダのアプリケーションリポジトリから(たとえば、インターネットを介して)キーボードモジュール122をダウンロードし、インストールすることができる。他の例では、キーボードモジュール122は、コンピューティングデバイス110の製造中にプリロードされてよい。
テキスト記入モードで動作するとき、コンピューティングデバイス110のキーボードモジュール122は、テキスト記入に使われる従来のグラフィカルキーボード動作を実施してもよく、たとえば、グラフィカルキーボードレイアウトをPSD112における表示用に生成し、PSD112における検出された入力をグラフィカルキーの選択にマップし、選択されたキーに基づいてキャラクタを判断し、または選択されたキーから判断されたキャラクタに基づいて、単語および/もしくはフレーズを予測もしくはオートコレクトする。
グラフィカルキーボード116Bは、グラフィカルキー118Aとして表示されるグラフィカル要素を含む。グラフィカルキー118Aは、例示的な図像検索キーとして絵文字検索キー118Dを含む。キーボードモジュール122は、ユーザインターフェース114内でのグラフィカルキーボード116Bのレイアウトを指定する情報をUIモジュール120に対して出力することができる。たとえば、情報は、グラフィカルキー118Aのロケーション、サイズ、色、および他の特性を指定する命令を含み得る。キーボードモジュール122から受信された情報に基づいて、UIモジュール120は、PSD112に、グラフィカルキーボード116Bをユーザインターフェース114の一部として表示させてもよい。
キー118Aのうちのいくつかは、キー内に表示される個々のキャラクタ(たとえば、文字、数、句読点、または他のキャラクタ)に関連付けられ得る。コンピューティングデバイス110のユーザは、編集領域116Cにコンテンツ(たとえば、キャラクタ、検索結果など)を入力するために(たとえば、出力領域116A内で送られ、表示されるメッセージを組み立てるため、またはコンピューティングデバイス110がグラフィカルキーボード116B内から実行する検索クエリを入力するために)グラフィカルキー118Aのうちの1つまたは複数が表示される、PSD112のロケーションにおいて入力を与えることができる。キーボードモジュール122は、グラフィカルキーの各々のロケーションに関連する、PSD112によって検出された入力に関連付けられたロケーションを示す情報を、UIモジュール120から受信し得る。空間および/または言語モデルを使用して、キーボードモジュール122は、入力を、キーおよびキャラクタ、単語、フレーズ、絵文字シンボル、絵文字フレーズ、または他の図像シンボルおよびフレーズの選択に翻訳してよい。
たとえば、PSD112がグラフィカルキー118Aを提示するPSD112のロケーションにおいて、または近くでコンピューティングデバイス110のユーザがユーザ入力を与えると、PSD112はユーザ入力を検出し得る。UIモジュール120は、PSD112から、PSD112におけるユーザ入力の指示を受信し、キーボードモジュール122に、ユーザ入力についての情報を出力し得る。ユーザ入力についての情報は、PSD112によって検出された1つまたは複数のタッチイベントの指示(たとえば、入力についてのロケーションおよび他の情報)を含み得る。
UIモジュール120から受信された情報に基づいて、キーボードモジュール122は、PSD112における検出された入力を、グラフィカルキー118Aの選択にマップし、選択されたキー118Aに基づいてキャラクタを判断し、選択されたキー118Aに関連付けられたキャラクタに基づいて判断された単語および/またはフレーズを予測またはオートコレクトし得る。たとえば、キーボードモジュール122は、キー118Aのロケーションおよび入力についての情報に基づいて、選択される、最も見込みのある1つまたは複数のキー118Aを判断することができる空間モデルを含み得る。選択される、最も見込みのある1つまたは複数のキー118Aを判断したことに応答して、キーボードモジュール122は、1つまたは複数のキャラクタ、単語、および/またはフレーズを判断し得る。たとえば、PSD112におけるユーザ入力から選択される1つまたは複数のキー118Aの各々は、個々のキャラクタまたはキーボード動作を表し得る。キーボードモジュール122は、1つまたは複数の選択されたキー118Aに基づいて選択されるキャラクタのシーケンスを判断することができる。いくつかの例では、キーボードモジュール122は、キー118Aの選択に基づいてユーザが入力しようとしている最も見込みのある1つまたは複数の候補文字、形態素、単語、および/またはフレーズを判断するために、キャラクタのシーケンスに言語モデルを適用してよい。
キーボードモジュール122は、キャラクタならびに/または候補単語およびフレーズのシーケンスをUIモジュール120に送ってよく、UIモジュール120は、PSD112に、編集領域116C内のテキストとして、1つまたは複数のキー118Aの選択から判断されたキャラクタおよび/または候補単語を提示させることができる。いくつかの例では、テキスト記入動作を実施するための従来のキーボードとして機能するとき、および(たとえば、ユーザが、編集領域116C内でテキストを入れるために、グラフィカルキーボード116Bにおいてタイプ入力しているときに)グラフィカルキー118Aにおいてユーザ入力を受信したことに応答して、キーボードモジュール122は、UIモジュール120に、候補単語などを、1つまたは複数の選択可能な提案として提案領域118B内に表示させることができる。ユーザは、グラフィカルキー118Aの個々のキャラクタキーをすべてタイプするよりもむしろ、提案領域118B内の個々の提案を選択することができる。
従来のテキスト記入動作を実施するのに加え、コンピューティングデバイス110のキーボードモジュール122は、統合型検索能力も提供する。つまり、コンピューティングデバイス110のユーザが、グラフィカルキーボード116Bが表示されるユーザインターフェース114から離れて(たとえば、コンピューティングデバイス110において実行するか、またはそこからアクセス可能な異なるアプリケーションまたはサービスに)ナビゲートすることを求めるよりもむしろ、キーボードモジュール122は、キーボードモジュール122が検索動作を実行し、グラフィカルキーボード116Bが表示されるPSD112の同じ領域内に検索結果を提示することができる検索モードで動作し得る。
上述したように、キーボードモジュール122は、コンピューティングデバイス110において実行するスタンドアロンアプリケーション、サービス、もしくはモジュールとして、またはそれらの単一の、統合された下位構成要素として実行し得る。したがって、キーボードモジュール122が、コンピューティングデバイス110において実行するチャットまたはメッセージングアプリケーションの一部を形成する場合、キーボードモジュール122は、チャットまたはメッセージングアプリケーションにテキスト記入能力ならびに検索能力を提供することができる。同様に、キーボードモジュール122が、アプリケーションまたはオペレーティングプラットフォームがグラフィカルキーボード入力機能性を求めるときはいつでもコンピューティングデバイス110のアプリケーションまたはオペレーティングプラットフォームによって呼び出されるスタンドアロンアプリケーションまたはサブルーチンである場合、キーボードモジュール122は、呼出側アプリケーションまたはオペレーティングプラットフォームにテキスト記入能力ならびに検索能力を提供することができる。
キーボードモジュール122は、グラフィカルキーボード116Bに、検索要素118Cを含めさせることができる。検索要素118Cは、グラフィカルキーボード116Bの様々な検索特徴のうちの1つまたは複数を手動で呼び出すようにキーボードモジュール122を遷移させるための、グラフィカルキーボード116Bの選択可能要素を表す。検索要素118Cを(たとえば、検索要素118Cが表示されるPSD112のロケーションにおいて、またはその領域内でタップするか、またはジェスチャー入力することによって)選択することによって、ユーザは、コンピューティングデバイス110に、検索モードで動作させ、コンピューティングデバイス110において実行するか、またはそこからアクセス可能な別個のアプリケーション、サービス、または他の特徴へナビゲートする必要なく、検索機能を実施させることができる。
たとえば、UIモジュール120は、コンピューティングデバイス110のユーザが選択可能要素118Cを選択した可能性があることを示す情報を、キーボードモジュール122に出力することができる。要素118Cが選択されたと判断したことに応答して、キーボードモジュール122は、検索モードでの動作に遷移してよい。検索モードで動作する間、キーボードモジュール122は、提案された単語、またはキーボードモジュール122が言語モデル、レキシコン、もしくは辞書から導出する、他の主として言語的な情報の代わりに、またはそれに加えて、提案された検索コンテンツ(たとえば、予測される検索クエリ、予測される図像シンボル、エモーティコン、絵文字シンボルおよびフレーズ、または他の提案されたコンテンツ)を提案領域118B内での選択可能要素として提示するなどの検索機能を実行するように、グラフィカルキーボード116Bを再構成することができる。言い換えると、辞書からのスペリングまたは単語提案を提案領域118B内で単に与えるよりもむしろ、コンピューティングデバイス110は、提案領域118B内に、電子通信に関連した入力を与える際にユーザを支援し得るとコンピューティングデバイス110が判断する提案された検索関連コンテンツを含めることができる。
グラフィカルキー118Aは、例示的な図像検索キーとして絵文字検索キー118Dを含む。絵文字検索キー118Dは、例示的な図像検索機能としてグラフィカルキーボード116Bの絵文字検索機能を手動で呼び出すための、グラフィカルキーボード116Bの選択可能要素を表す。絵文字検索キー118Dを(たとえば、絵文字検索キー118Dが表示されるPSD112のロケーションの所またはPSD112の領域内をタップするか、またはジェスチャー入力することによって)選択することによって、ユーザは、コンピューティングデバイス110を検索モードに遷移させ、デバイス110に、コンピューティングデバイス110において実行するか、またはそこからアクセス可能な別個のアプリケーション、サービス、または他の特徴へナビゲートする必要なく、グラフィカルキーボード116Bの絵文字検索機能を実行させることができる。
たとえば、UIモジュール120は、コンピューティングデバイス110のユーザが、絵文字検索キー118Dが表示されるPSD112のロケーションにおいてタップまたはジェスチャー入力を与えた可能性があることを示す情報を、キーボードモジュール122に出力し得る。キーボードモジュール122は、UIモジュール120から受信された情報から、ユーザが絵文字検索キー118Dを選択したと推論し得る。図1Aに示すように、絵文字検索キー118Dが選択されたと判断したことに応答して、キーボードモジュール122は、検索モードでの動作に遷移し、絵文字検索機能を実行することができ、そうすることによって、キーボードモジュール122は、絵文字検索クエリに関連付けられた入力を受信し、グラフィカルキーボード116B内から、絵文字検索結果を表示するようにグラフィカルキーボード116Bを再構成することができる。
図1Bに示すように、絵文字検索キー118Dの選択の指示を受信したことに応答して、キーボードモジュール122は、コンピューティングデバイス110に、ユーザインターフェース114Bを表示用に出力させることができる。ユーザインターフェース114Bは、キー118Aに加え、例示的な図像検索ボックスとして絵文字検索ボックス118Eを含む更新されたグラフィカルキーボード116Bを含む。絵文字検索ボックス118Eは、キーボードモジュール122の絵文字検索機能に関連付けられた検索クエリの指示を表示するように構成される。ユーザは、グラフィカルキーボード116Bにおいてユーザ入力を与えることができ、キーボードモジュール122は、ユーザ入力から導出された絵文字検索クエリを絵文字検索ボックス118Eにおいて提示することができる。
たとえば、絵文字検索キー118Dの選択を検出したことに応答して、キーボードモジュール122は、PSD112にユーザインターフェース114Aをユーザインターフェース114Bで置き換えさせるための情報をUIモジュール120に送ってよい。ユーザインターフェース114BをPSD112において提示した後、キーボードモジュール122は、追加ユーザ入力に基づいて、絵文字検索クエリを判断し得る。たとえば、コンピューティングデバイス110は、コンピューティングデバイス110のマイクロフォンによって検出された音声入力(voice input)、コンピューティングデバイス110のユーザが、PSD112がグラフィカルキー118Aを提示するPSD112のロケーションにおいて、もしくはその近くでユーザ入力を与えたときにPSD112によって検出されたジェスチャー入力、または何らかの他のユーザ入力(たとえば、PSD112のロケーションの所もしくはその近くでの手書きもしくは描画入力など)を受信し得る。UIモジュール120は、ユーザ入力についての情報をキーボードモジュール122に送ってもよく、その情報から、キーボードモジュール122は、ユーザが入れようとしている見込みがある絵文字検索クエリを予測することができる。たとえば、キーボードモジュール122の会話テキスト特徴(speech-to-text feature)が、音声入力を、テキストベースの絵文字検索クエリに転写することができる。または、いくつかの例では、キーボードモジュール122は、キー118AにおいてPSD112によって検出されたタッチ入力を、絵文字検索クエリを作成する1つもしくは複数の候補単語もしくはフレーズに変換するために、キーボードモジュール122の空間および/もしくは言語モデルに依拠してよい。さらに他の例では、キーボードモジュール122は、PSD112によって検出されたタッチ入力を、画像ベースの絵文字検索クエリを作成する画像の手書き描画として解釈してよい。
いずれのケースでも、ユーザ入力に基づいて絵文字検索クエリを判断した後、キーボードモジュール122は、コンピューティングデバイス110に、絵文字検索ボックス118E内での表示用に、絵文字検索クエリのグラフィカル指示を出力させてよい。図1Bに示すように、キーボードモジュール122は、ユーザ入力をグラフィカルキー118Aの選択として検出し、キーボードモジュール122が絵文字検索ボックス118E内の選択から判断するキャラクタ「Ital」を提示し得る。
次に、図1Cに示すように、キーボードモジュール122は、選択から導出されたキャラクタに基づいて、ユーザが入れようとしている見込みがある絵文字検索クエリを予測し、キャラクタ「Ital」をフレーズ「Italian food」で自動的に置き換え得る。言い換えると、ユーザに、絵文字検索クエリ全体を手動で入力するよう求めるよりもむしろ、各個々のキャラクタキー118Aを選択することによって、キーボードモジュール122は、ユーザがタイプ入力している見込みがある絵文字検索クエリを、ユーザがクエリ全体をタイプ入力し終える前に、(たとえば、起こり得る絵文字検索クエリの、データベース中でのリアルタイムのルックアップを実施することによって)予測し、表示することができる。
キーボードモジュール122は、絵文字検索クエリに基づいて、およびグラフィカルキーボード116Bの絵文字検索機能を使用して、1つまたは複数の候補絵文字シンボルを識別することができる。たとえば、いくつかの例では、ユーザが、キーボードモジュール122に絵文字検索を実行させるために、キー118Aの検索キーが表示されるロケーションにおいて、またはその近くでタップまたはジェスチャー入力する場合がある。他の例では、キーボードモジュール122は、ユーザが、クエリに関連付けられたユーザ入力をタイプ入力するか、または与えている間、絵文字検索を自動的に(たとえば、検索キーの選択を求めることなく)実行することができる。
1つまたは複数の候補絵文字シンボルを取得したことに応答して、キーボードモジュール122は、コンピューティングデバイス110に、複数のキー118Aの少なくとも一部分に加え、1つまたは複数の候補絵文字シンボルに対応する1つまたは複数の選択可能要素を表示する絵文字提案領域118Fを含む第2の更新されたグラフィカルキーボードを表示用に出力させることができる。たとえば、図1Dに示すように、キーボードモジュール122は、キーボードモジュール122がコンピューティングデバイス110において維持するローカル絵文字シンボルデータベースにおいて絵文字検索クエリを照会することによって、絵文字シンボルについての検索を実行することができる。検索の結果は、ピザの絵文字、スパゲッティもしくはパスタ料理の絵文字、パンの絵文字、およびワインの絵文字、またはキーボードモジュール122が絵文字検索クエリ「Italian food」に関連すると判断するどの他の絵文字も含み得る。キーボードモジュール122は、UIモジュール120に、絵文字検索からの結果を、候補絵文字シンボルのグラフィカル指示として絵文字提案領域118F内に提示させてもよい。図1Dでは、グラフィカルキー118Aの少なくとも一部分を置き換えるものとして示されているが、いくつかの例では、絵文字提案領域118Fは、PSD112においてコンピューティングデバイス110によって、グラフィカルキー118Aに加えて表示されるグラフィカルキーボード116Bの別個の領域の一部を形成し得る。言い換えると、いくつかの例では、絵文字提案領域118Fは、グラフィカルキー118Aをすべて、グラフィカルキー118Aの一部分を除くすべてを置き換えるか、またはグラフィカルキー118Aのどれも置き換えない場合がある。および、いくつかの例では、追加図面に関して以下で説明するように、絵文字提案領域118Fは、提案領域118Bの一部を形成するか、またはそれと置き換わる場合がある。
絵文字提案領域118F内で候補絵文字シンボルを出力した後、コンピューティングデバイス110は、1つまたは複数の選択可能要素のうちの少なくとも1つの、選択の指示を受信することができ、編集領域116C内で、1つまたは複数の候補絵文字シンボルのうちの少なくとも1つを表示用に出力することができる。たとえば、ユーザは、絵文字提案領域118F内の、パスタ料理の絵文字シンボルが表示されるPSD112のロケーションにおいてタップまたはジェスチャー入力してもよく、それに応答して、キーボードモジュール122は、タップまたはジェスチャーの指示を受信し得る。キーボードモジュール122は、タップまたはジェスチャーを、候補絵文字シンボルのうちの1つの、選択と解釈し、UIモジュール120に、選択された絵文字シンボルを、編集領域116C内での表示用に出力させてよい。
グラフィカルキーボードに統合型絵文字シンボル検索を与えることによって、コンピューティングデバイス110などの例示的コンピューティングデバイスのユーザは、特定の絵文字シンボルをルックアップするために、カテゴリー分類された絵文字シンボルの多くのページを巡るか、または異なるアプリケーションGUIを切り替えるようユーザに求めるよりもむしろ、ユーザがすでにタイプ入力しているグラフィカルキーボード内から、選択可能な絵文字シンボルを素早く検索し、取得することができる。このようにして、本開示の技法は、特定の絵文字シンボルを見つけるためにコンピューティングデバイスによって求められる時間量およびユーザ入力の数を削減することができ、そうすることにより、ユーザエクスペリエンスを単純化することができ、コンピューティングデバイスの電力消費を削減することができる。
図2は、本開示の1つまたは複数の態様による、統合型図像検索を伴うグラフィカルキーボードを提示するように構成される例示的コンピューティングデバイスとしてのコンピューティングデバイス210を示すブロック図である。図2のコンピューティングデバイス210は、図1A〜図1Dのコンピューティングデバイス110の例として以下で説明される。図2は、コンピューティングデバイス210の1つの特定の例を示しているにすぎず、コンピューティングデバイス210の多くの他の例が、他の事例において使われてよく、例示的コンピューティングデバイス210に含まれる構成要素のサブセットを含んでよく、または図2に示されない追加構成要素を含んでよい。
図2の例に示すように、コンピューティングデバイス210は、PSD212、1つまたは複数のプロセッサ240、1つまたは複数の通信ユニット242、1つまたは複数の入力構成要素244、1つまたは複数の出力構成要素246、および1つまたは複数の記憶構成要素248を含む。存在感知ディスプレイ212は、ディスプレイ構成要素202および存在感知入力構成要素204を含む。コンピューティングデバイス210の記憶構成要素248は、UIモジュール220、キーボードモジュール222、1つまたは複数のアプリケーションモジュール224、および絵文字シンボルデータストア232を含む。キーボードモジュール222は、空間モデル(「SM」)モジュール226、言語モデル(「LM」)モジュール228、および検索モジュール230を含み得る。通信チャネル250は、構成要素212、240、242、244、246、および248の各々を、構成要素間通信のために(物理的に、通信可能に、および/または動作可能に)相互接続し得る。いくつかの例では、通信チャネル250は、システムバス、ネットワーク接続、プロセス間通信データ構造、またはデータを通信するためのどの他の方法も含み得る。
コンピューティングデバイス210の1つまたは複数の通信ユニット242は、1つまたは複数のネットワーク上でネットワーク信号を送信および/または受信することによって、1つまたは複数のワイヤードおよび/またはワイヤレスネットワークを介して、外部デバイスと通信し得る。通信ユニット242の例は、ネットワークインターフェースカード(たとえば、イーサネット(登録商標)カードなど)、光学トランシーバ、無線周波数トランシーバ、GPS受信機、または情報を送り、かつ/もしくは受信することができるどの他のタイプのデバイスも含む。通信ユニット242の他の例は、短波無線機、セルラーデータ無線機、ワイヤレスネットワーク無線機、ならびにユニバーサルシリアルバス(USB)コントローラを含み得る。
コンピューティングデバイス210の1つまたは複数の入力構成要素244は、入力を受信し得る。入力の例は、触覚、オーディオ、およびビデオ入力である。コンピューティングデバイス210の入力構成要素242は、一例では、存在感知入力デバイス(たとえば、タッチ感知スクリーン、PSD)、マウス、キーボード、音声応答システム、ビデオカメラ、マイクロフォンまたは人間もしくはマシンから入力を検出するためのどの他のタイプのデバイスも含む。いくつかの例では、入力構成要素242は、1つまたは複数のセンサー構成要素、1つまたは複数のロケーションセンサー(GPS構成要素、Wi-Fi構成要素、セルラー構成要素)、1つまたは複数の温度センサー、1つまたは複数の動きセンサー(たとえば、加速度計、ジャイロ)、1つまたは複数の圧力センサー(たとえば、気圧計)、1つまたは複数の環境光センサー、および1つまたは複数の他のセンサー(たとえば、マイクロフォン、カメラ、赤外線近接センサー、湿度計など)を含み得る。他のセンサーは、いくつか他の非限定的例を挙げると、心拍センサー、磁力計、グルコースセンサー、湿度計センサー、嗅覚センサー、コンパスセンサー、ステップカウンタセンサーを含み得る。
コンピューティングデバイス110の1つまたは複数の出力構成要素246は、出力を生成し得る。出力の例は、触覚、オーディオ、およびビデオ出力である。コンピューティングデバイス210の出力構成要素246は、一例では、PSD、サウンドカード、ビデオグラフィクスアダプタカード、スピーカー、陰極線管(CRT)モニタ、液晶ディスプレイ(LCD)、または人間もしくはマシンに出力を生成するためのどの他のタイプのデバイスも含む。
コンピューティングデバイス210のPSD212は、コンピューティングデバイス110のPSD112と同様であり、ディスプレイ構成要素202および存在感知入力構成要素204を含む。ディスプレイ構成要素202は、PSD212によって情報が表示されるスクリーンであってよく、存在感知入力構成要素204は、ディスプレイ構成要素202の所および/または近くでオブジェクトを検出し得る。一例示的範囲として、存在感知入力構成要素204は、ディスプレイ構成要素202の2インチ以下の範囲内にある指またはスタイラスなどのオブジェクトを検出する場合がある。存在感知入力構成要素204は、オブジェクトが検出されたディスプレイ構成要素202のロケーション(たとえば、[x,y]座標)を判断することができる。別の例示的範囲では、存在感知入力構成要素204は、ディスプレイ構成要素202から6インチ以下のオブジェクトを検出する場合があり、他の範囲も可能である。存在感知入力構成要素204は、ユーザの指によって選択されたディスプレイ構成要素202のロケーションを、容量性、誘導性、および/または光学認識技法を使用して判断することができる。いくつかの例では、存在感知入力構成要素204はまた、ディスプレイ構成要素202に関して記載されるように、触覚、オーディオ、またはビデオ刺激を使用して、ユーザに出力を与える。図2の例では、PSD212は、ユーザインターフェース(図1A〜図1Dのグラフィカルユーザインターフェース114など)を提示し得る。
コンピューティングデバイス210の内部構成要素として示されているが、PSD212は、入力および出力を送信および/または受信するために、コンピューティングデバイス210とデータ経路を共有する外部構成要素を表す場合もある。たとえば、一例では、PSD212は、コンピューティングデバイス210の外部パッケージング内に配置され、それに物理的に接続された、コンピューティングデバイス210の内蔵型構成要素(たとえば、モバイルフォンにおけるスクリーン)を表す。別の例では、PSD212は、コンピューティングデバイス210のパッケージングまたはハウジングの外側に配置され、物理的に隔てられた、コンピューティングデバイス210の外部構成要素(たとえば、コンピューティングデバイス210とワイヤードおよび/またはワイヤレスデータ経路を共有するモニタ、プロジェクタなど)を表す。
コンピューティングデバイス210のPSD212は、2次元および/または3次元ジェスチャーを、コンピューティングデバイス210のユーザからの入力として検出する場合がある。たとえば、PSD212のセンサーが、PSD212のセンサーの閾距離内でのユーザの動き(たとえば、手、腕、ペン、スタイラスなどを動かすこと)を検出し得る。PSD212は、動きの2または3次元ベクトル表現を判断し、ベクトル表現を、複数の次元を有するジェスチャー入力(たとえば、手の振り、つまむこと、たたくこと、ペンストロークなど)に相関させることができる。言い換えると、PSD212は、PSD212が表示用に情報を出力するスクリーンまたは表面の所またはその近くでジェスチャーするよう、ユーザに求めることなく、多次元ジェスチャーを検出することができる。そうではなく、PSD212は、PSD212が表示用に情報を出力するスクリーンまたは表面の近くに配置されている場合も、そうでない場合もあるセンサーの所またはその近くで実施される多次元ジェスチャーを検出することができる。
1つまたは複数のプロセッサ240は、機能性を実装し、かつ/またはコンピューティングデバイス210に関連付けられた命令を実行し得る。プロセッサ240の例は、アプリケーションプロセッサ、ディスプレイコントローラ、補助プロセッサ、1つまたは複数のセンサーハブ、およびプロセッサ、処理ユニット、または処理デバイスとして機能するように構成された、どの他のハードウェアも含む。モジュール220、222、224、226、228、および230は、プロセッサ240によって、コンピューティングデバイス210の様々なアクション、動作、または機能を実施するように動作可能であり得る。たとえば、コンピューティングデバイス210のプロセッサ240は、プロセッサ240に、モジュール220、222、224、226、228、および230ならびにデータストア232の動作を実施させる、記憶構成要素248によって記憶された命令を取り出し、実行することができる。命令は、プロセッサ240によって実行されると、コンピューティングデバイス210に、記憶構成要素248内に情報を記憶させることができる。
コンピューティングデバイス210内の1つまたは複数の記憶構成要素248は、コンピューティングデバイス210の動作中に、処理用の情報を記憶することができる(たとえば、コンピューティングデバイス210は、コンピューティングデバイス210における実行中に、モジュール220、222、224、226、228、および230ならびにデータストア232によってアクセスされるデータを記憶することができる)。いくつかの例では、記憶構成要素248は一時メモリであり、これは、記憶構成要素248の主目的が長期記憶ではないことを意味する。コンピューティングデバイス210上の記憶構成要素248は、揮発性メモリとして、情報の短期記憶用に構成され、したがって、電源オフされた場合は、記憶された内容を保持しなくてよい。揮発性メモリの例は、ランダムアクセスメモリ(RAM)、動的ランダムアクセスメモリ(DRAM)、静的ランダムアクセスメモリ(SRAM)、および当該分野において知られている他の形の揮発性メモリを含む。
記憶構成要素248は、いくつかの例では、1つまたは複数のコンピュータ可読記憶媒体も含む。記憶構成要素248は、いくつかの例では、1つまたは複数の非一時的コンピュータ可読記憶媒体を含む。記憶構成要素248は、揮発性メモリによって通常記憶されるよりも大量の情報を記憶するように構成されてよい。記憶構成要素248は、さらに、不揮発性メモリ空間として、情報の長期記憶用に構成され、電源オン/オフ周期後に情報を保持することができる。不揮発性メモリの例は、磁気ハードディスク、光ディスク、フロッピーディスク、フラッシュメモリ、または電気的プログラム可能メモリ(EPROM)もしくは電気的消去可能およびプログラム可能(EEPROM)メモリの形を含む。記憶構成要素248は、モジュール220、222、224、226、228、および230ならびにデータストア232に関連付けられたプログラム命令および/または情報(たとえば、データ)を記憶することができる。記憶構成要素248は、モジュール220、222、224、226、228、および230ならびにデータストア232に関連付けられたデータまたは他の情報を記憶するように構成されたメモリを含み得る。
UIモジュール220は、図1A〜図1Dのコンピューティングデバイス110のUIモジュール120のあらゆる機能性を含むことができ、ユーザからの入力を扱うための、コンピューティングデバイス210が存在感知ディスプレイ212において提供するユーザインターフェース(たとえば、ユーザインターフェース114)を管理するための、UIモジュール120と同様の動作を実施することができる。たとえば、コンピューティングデバイス210のUIモジュール220は、キーボードモジュール222にキーボードレイアウト(たとえば、英語QWERTYキーボードなど)を照会することができる。UIモジュール220は、キーボードレイアウトについての要求を、通信チャネル250を介してキーボードモジュール222に送信することができる。キーボードモジュール222は、要求を受信し、キーボードレイアウトに関連付けられたデータで、UIモジュール220に返してもよい。UIモジュール220は、通信チャネル250を介してキーボードレイアウトデータを受信し、そのデータを、ユーザインターフェースを生成するのに使ってよい。UIモジュール220は、PSD212に、PSD212においてユーザインターフェースを提示させるために、通信チャネル250を介して表示コマンドおよびデータを送信することができる。
いくつかの例では、UIモジュール220は、PSD212において検出された1つまたは複数のユーザ入力の指示を受信することができ、ユーザ入力についての情報をキーボードモジュール222に出力することができる。たとえば、PSD212は、ユーザ入力を検出し、ユーザ入力についてのデータをUIモジュール220に送ってよい。UIモジュール220は、検出された入力に基づいて、1つまたは複数のタッチイベントを生成することができる。タッチイベントは、ユーザ入力のロケーション成分(たとえば、[x,y]座標)、時間成分(たとえば、いつユーザ入力が受信されたか)、力成分(たとえば、ユーザ入力によって加えられる圧力の量)、またはユーザ入力についての他のデータ(たとえば、速度、加速度、方向、密度など)など、ユーザ入力を特徴づける情報を含み得る。
ユーザ入力から生成されたタッチイベントのロケーション情報に基づいて、UIモジュール220は、検出されたユーザ入力がグラフィカルキーボードに関連付けられると判断してよい。UIモジュール220は、1つまたは複数のタッチイベントの指示を、さらなる翻訳のためにキーボードモジュール222に送ってよい。キーボードモジュール222は、UIモジュール220から受信されたタッチイベントに基づいて、検出されたユーザ入力が、グラフィカルキーボードの1つまたは複数のキーの初期選択を表すと判断してよい。
アプリケーションモジュール224は、統合型検索特徴を有するグラフィカルキーボードに依拠し得る、コンピューティングデバイス210において実行するとともにそこからアクセス可能な、様々な個々のアプリケーションおよびサービスすべてを表す。コンピューティングデバイス210のユーザは、コンピューティングデバイス210に機能を実施させるために、1つまたは複数のアプリケーションモジュール224に関連付けられたグラフィカルユーザインターフェースと対話することができる。アプリケーションモジュール224の多数の例が存在し、フィットネスアプリケーション、カレンダアプリケーション、パーソナルアシスタントもしくは予測エンジン、検索アプリケーション、地図もしくはナビゲーションアプリケーション、輸送サービスアプリケーション(たとえば、バスもしくは電車追跡アプリケーション)、ソーシャルメディアアプリケーション、ゲームアプリケーション、eメールアプリケーション、チャットもしくはメッセージングアプリケーション、インターネットブラウザアプリケーション、またはコンピューティングデバイス210において実行することができるあらゆる他のアプリケーションを含み得る。
キーボードモジュール222は、図1A〜図1Dのコンピューティングデバイス110のキーボードモジュール122のあらゆる機能性を含むことができ、絵文字検索などの統合型検索特徴を有するグラフィカルキーボードを提供するための、キーボードモジュール122と同様の動作を実施することができる。キーボードモジュール222は、SMモジュール226、LMモジュール228、および検索モジュール230など、様々なサブモジュールを含むことができ、これらは、キーボードモジュール222の機能性を実施することができる。
SMモジュール226は、1つまたは複数のタッチイベントを入力として受信し、1つまたは複数のタッチイベントを表す見込みがある1つのキャラクタまたはキャラクタのシーケンスを、1つまたは複数のキャラクタがタッチイベントを定義する見込みがどれだけあるか、またはどの程度の正確さで定義するかを示す確実性の程度または空間モデルスコアとともに出力し得る。言い換えると、SMモジュール226は、キーボードの1つまたは複数のキーの選択としてタッチイベントを推論することができ、1つまたは複数のキーの選択に基づいて、1つのキャラクタまたはキャラクタのシーケンスを出力することができる。
キーボードモジュール222がテキスト記入モードおよび/または検索モードで動作するとき、LMモジュール228は、1つのキャラクタまたはキャラクタのシーケンスを入力として受信し、所与の言語コンテキスト(たとえば、書き言葉での文)向けの入力としてLMモジュール228が受信するキャラクタのシーケンスのための起こり得る置き換えであるものとしてレキシコンからLMモジュール228が識別する1つまたは複数の候補キャラクタ、単語、またはフレーズを出力し得る。キーボードモジュール222は、UIモジュール220に、候補単語のうちの1つまたは複数を、ユーザインターフェース114の提案領域118Cにおいて提示させてもよい。
コンピューティングデバイス210のレキシコンは、書き言葉語彙内の単語のリスト(たとえば、辞書)を含み得る。たとえば、レキシコンは、単語(たとえば、標準辞書中の単語および/またはユーザもしくはコンピューティングデバイス210によって辞書に追加される単語)のデータベースを含み得る。LMモジュール228は、キャラクタ列のキャラクタのいくつかの部分またはすべてを含む1つまたは複数の文字、単語、および/またはフレーズを識別するために、レキシコン中で、キャラクタ列のルックアップを実施することができる。たとえば、LMモジュール228は、入力された1つのキャラクタまたはキャラクタのシーケンスと同じキャラクタのうちの少なくともいくつかを含む、コンピューティングデバイス210のレキシコンに置かれた1つまたは複数の候補単語に、言語モデル確率または類似係数(たとえば、Jaccard類似係数)を割り当てることができる。1つまたは複数の候補単語の各々に割り当てられた言語モデル確率は、候補単語が通常、LMモジュール228によって分析されるキャラクタの現在シーケンスを受信したのに先立って、および/または続いて存在感知入力構成要素204によって検出されたテキスト入力から生成された単語のシーケンス(たとえば、文)に続いて、先立って、および/またはその中に位置決めされていることがわかる確実性の程度または見込みの程度を示す。1つまたは複数の候補単語を判断したことに応答して、LMモジュール228は、最も高い類似係数を有する1つまたは複数の候補単語を、レキシコンデータストア260Aから出力してよい。
キーボードモジュール222の検索モジュール230は、絵文字検索を含む統合型検索機能を、キーボードモジュール222に代わって実施することができる。つまり、(たとえば、コンピューティングデバイス210のユーザが、ユーザインターフェース114Aの絵文字検索キー118Dを選択したことに応答して)呼び出されると、キーボードモジュール222は検索モードで動作してよく、このモードでは、キーボードモジュール222は、コンピューティングデバイス210が、グラフィカルキーボード116B内から絵文字検索機能を実施することを可能にする。
絵文字シンボルデータストア232は、絵文字シンボルを記憶するオンデバイス(たとえば、記憶デバイス248においてローカルに記憶された)絵文字シンボルデータベースを表す。検索モジュール230は、1つまたは複数の候補絵文字シンボルを取得するための絵文字検索クエリについて、データストア232を照会してよい。たとえば、データストア232は、絵文字シンボルの指示と、キーワードについての検索クエリを解析し、検索クエリのキーワードを、データベース内の絵文字シンボルにあらかじめ割り当てられている単語またはフレーズと突き合わせるための関連付けられた注釈とをもつ、sqlite3または他のタイプのデータベースであってよい。ユーザが絵文字検索クエリを入力すると、検索モジュール230は、データベース内で、絵文字シンボル記述子に対する、予測される検索クエリのフル検索を実行するように、絵文字検索クエリ予測をデータストア232に入力してよい。
グラフィカルキーボード116Bと対話する際のユーザエクスペリエンスの一部として、絵文字検索は、典型的なテキスト記入動作と同程度に速くなくても、可能な限り速いか、または典型的なテキスト記入動作とほぼ同じように速いことが重要な場合がある。絵文字検索が可能な限り速く実行することを確実にするために、検索モジュール230は、どのリモートコンピューティングデバイスにもアクセスせずに、コンピューティングデバイス110において実行してもよい。検索モジュール230は、いくつかの例では、絵文字検索動作の一部としてリモート絵文字シンボルデータベースにアクセスする場合があるが、検索モジュール230は、絵文字検索を行うために、絵文字シンボルデータストア232に主にアクセスし得る。検索モジュール230は、記憶デバイス248においてコンピューティングデバイス210に対してローカルに記憶されているデータストア232に、リモートデータベースにアクセスしなければならないよりも速くアクセスすることができ、したがって、検索モジュール230が、より少ない時間量で絵文字検索を行うことを可能にする。
図3は、本開示の1つまたは複数の技法による、リモートデバイスにおける表示用にグラフィカルコンテンツを出力する例示的コンピューティングデバイスを示すブロック図である。グラフィカルコンテンツは、概して、ほんのいくつか例を挙げると、テキスト、画像、動画像のグループなど、表示用に出力され得るどの視覚情報も含み得る。図3に示す例は、コンピューティングデバイス310、PSD312、通信ユニット342、プロジェクタ380、プロジェクタスクリーン382、モバイルデバイス386、および視覚ディスプレイ構成要素390を含む。いくつかの例では、PSD312は、図1〜図2に記載された存在感知ディスプレイであってよい。図1および図2における例のために、スタンドアロンコンピューティングデバイス110として示されているが、コンピューティングデバイス310などのコンピューティングデバイスは、概して、ソフトウェア命令を実行するためのプロセッサまたは他の適切なコンピューティング環境を含むとともに、たとえば、存在感知ディスプレイを含む必要がない、どの構成要素またはシステムであってもよい。
図3の例に示すように、コンピューティングデバイス310は、図2のプロセッサ240に関して記載された機能性を含むプロセッサであってよい。そのような例では、コンピューティングデバイス310は、通信チャネル362AによってPSD312に動作可能に結合されてよく、チャネル362Aは、システムバスまたは他の適切な接続であってよい。コンピューティングデバイス310はまた、通信チャネル362Bによって、さらに以下で説明される通信ユニット342に動作可能に結合されてよく、チャネル362Bも、システムバスまたは他の適切な接続であってよい。図3では例として別々に示されているが、コンピューティングデバイス310は、1つまたは複数の通信チャネルのうちの任意の数のものによって、PSD312および通信ユニット342に動作可能に結合され得る。
以前、図1〜図2のコンピューティングデバイス110によって示したような他の例では、コンピューティングデバイスは、モバイルフォン(スマートフォンを含む)、ラップトップコンピュータなどのようなポータブルまたはモバイルデバイスを指し得る。いくつかの例では、コンピューティングデバイスは、デスクトップコンピュータ、タブレットコンピュータ、スマートテレビジョンプラットフォーム、カメラ、携帯情報端末(PDA)、サーバ、またはメインフレームであってよい。
PSD312は、ディスプレイ構成要素302および存在感知入力構成要素304を含み得る。ディスプレイ構成要素302は、たとえば、コンピューティングデバイス310からデータを受信し、グラフィカルコンテンツを表示することができる。いくつかの例では、存在感知入力構成要素304は、容量性、誘導性、および/または光学認識技法を使用して、PSD312における1つまたは複数のユーザ入力(たとえば、連続ジェスチャー、マルチタッチジェスチャー、シングルタッチジェスチャー)を判断し、そのようなユーザ入力の指示を、通信チャネル362Aを使用してコンピューティングデバイス310に送ることができる。いくつかの例では、ユーザが、ディスプレイ構成要素302によって表示されるグラフィカル要素の上方に入力ユニットを位置決めすると、存在感知入力構成要素304のロケーションが、グラフィカル要素が表示されるディスプレイ構成要素302のロケーションに対応するように、存在感知入力構成要素304は、ディスプレイ構成要素302の上に物理的に位置決めされてよい。
図3に示すように、コンピューティングデバイス310はまた、通信ユニット342を含み、かつ/またはそれと動作可能に結合され得る。通信ユニット342は、図2において記載された通信ユニット242の機能性を含み得る。通信ユニット342の例は、ネットワークインターフェースカード、イーサネット(登録商標)カード、光学トランシーバ、無線周波数トランシーバ、または情報を送り、受信することができるどの他のタイプのデバイスも含み得る。そのような通信ユニットの他の例は、Bluetooth(登録商標)、3G、およびWi-Fi無線機、ユニバーサルシリアルバス(USB)インターフェースなどを含み得る。コンピューティングデバイス310はまた、簡潔および例示のために図3には示さない1つまたは複数の他のデバイス(たとえば、入力デバイス、出力構成要素、メモリ、記憶デバイス)を含み、かつ/またはそれと動作可能に結合され得る。
図3は、プロジェクタ380およびプロジェクタスクリーン382も示す。投影デバイスの他のそのような例は、電子ホワイトボード、ホログラフィックディスプレイ構成要素、およびグラフィカルコンテンツを表示するための、どの他の適切なデバイスも含み得る。プロジェクタ380およびプロジェクタスクリーン382は、それぞれのデバイスがコンピューティングデバイス310と通信することを可能にする1つまたは複数の通信ユニットを含み得る。いくつかの例では、1つまたは複数の通信ユニットは、プロジェクタ380とプロジェクタスクリーン382との間の通信を可能にし得る。プロジェクタ380は、グラフィカルコンテンツを含むデータを、コンピューティングデバイス310から受信し得る。プロジェクタ380は、データを受信したことに応答して、グラフィカルコンテンツをプロジェクタスクリーン382上に投影してもよい。いくつかの例では、プロジェクタ380は、光学認識または他の適切な技法を使用して、プロジェクタスクリーンにおける1つまたは複数のユーザ入力(たとえば、連続ジェスチャー、マルチタッチジェスチャー、シングルタッチジェスチャー)を判断し、そのようなユーザ入力の指示を、1つまたは複数の通信ユニットを使用して、コンピューティングデバイス310に送ることができる。そのような例では、プロジェクタスクリーン382は不必要な場合があり、プロジェクタ380は、任意の適切な媒体上でグラフィカルコンテンツを投影し、光学認識または他のそのような適切な技法を使用して、1つまたは複数のユーザ入力を検出してもよい。
プロジェクタスクリーン382は、いくつかの例では、存在感知ディスプレイ384を含み得る。存在感知ディスプレイ384は、本開示に記載される、存在感知ディスプレイ112および/または312の機能性のサブセットまたは機能性すべてを含み得る。いくつかの例では、存在感知ディスプレイ384は追加機能性を含み得る。プロジェクタスクリーン382(たとえば、電子ホワイトボード)は、コンピューティングデバイス310からデータを受信し、グラフィカルコンテンツを表示することができる。いくつかの例では、存在感知ディスプレイ384は、容量性、誘導性、および/または光学認識技法を使用して、プロジェクタスクリーン382における1つまたは複数のユーザ入力(たとえば、連続ジェスチャー、マルチタッチジェスチャー、シングルタッチジェスチャー)を判断し、そのようなユーザ入力の指示を、1つまたは複数の通信ユニットを使用してコンピューティングデバイス310に送ることができる。
図3は、モバイルデバイス386および視覚ディスプレイ構成要素390も示す。モバイルデバイス386および視覚ディスプレイ構成要素390は、各々、計算および接続性能力を含むことができる。モバイルデバイス386の例は、eリーダデバイス、コンバーチブルノートブックデバイス、ハイブリッドスレートデバイスなどを含み得る。視覚ディスプレイ構成要素390の例は、テレビジョン、コンピュータモニタなどのような他のデバイスを含み得る。いくつかの例では、視覚ディスプレイ構成要素390は、(たとえば、自動車、航空機、または何らかの他の車両中の)車両コックピットディスプレイまたはナビゲーションディスプレイであってよい。いくつかの例では、視覚ディスプレイ構成要素390は、コンピューティングデバイス310から分離した、ホームオートメーションディスプレイまたは何らかの他のタイプのディスプレイであってよい。
図3に示すように、モバイルデバイス386は存在感知ディスプレイ388を含み得る。視覚ディスプレイ構成要素390は、存在感知ディスプレイ392を含み得る。存在感知ディスプレイ388、392は、本開示に記載される、存在感知ディスプレイ112、212および/または312の機能性のサブセットまたは機能性すべてを含み得る。いくつかの例では、存在感知ディスプレイ388、392は追加機能性を含み得る。いずれのケースでも、存在感知ディスプレイ392は、たとえば、コンピューティングデバイス310からデータを受信し、グラフィカルコンテンツを表示することができる。いくつかの例では、存在感知ディスプレイ392は、容量性、誘導性、および/または光学認識技法を使用して、プロジェクタスクリーンにおける1つまたは複数のユーザ入力(たとえば、連続ジェスチャー、マルチタッチジェスチャー、シングルタッチジェスチャー)を判断し、そのようなユーザ入力の指示を、1つまたは複数の通信ユニットを使用してコンピューティングデバイス310に送ることができる。
上述したように、いくつかの例では、コンピューティングデバイス310は、システムバスまたは他の適切な通信チャネルによってコンピューティングデバイス310に結合されているPSD312における表示用に、グラフィカルコンテンツを出力することができる。コンピューティングデバイス310は、プロジェクタ380、プロジェクタスクリーン382、モバイルデバイス386、および視覚ディスプレイ構成要素390など、1つまたは複数のリモートデバイスにおける表示用に、グラフィカルコンテンツを出力することもできる。たとえば、コンピューティングデバイス310は、本開示の技法に従ってグラフィカルコンテンツを生成および/または修正するために、1つまたは複数の命令を実行することができる。コンピューティングデバイス310は、グラフィカルコンテンツを含むデータを、通信ユニット342などのコンピューティングデバイス310の通信ユニットに出力することができる。通信ユニット342は、プロジェクタ380、プロジェクタスクリーン382、モバイルデバイス386、および/または視覚ディスプレイ構成要素390など、リモートデバイスのうちの1つまたは複数にデータを送ってよい。このようにして、コンピューティングデバイス310は、リモートデバイスのうちの1つまたは複数における表示用にグラフィカルコンテンツを出力してよい。いくつかの例では、リモートデバイスのうちの1つまたは複数が、それぞれのリモートデバイスに含まれ、かつ/またはそれらに動作可能に結合されている存在感知ディスプレイにおいて、グラフィカルコンテンツを出力し得る。
いくつかの例では、コンピューティングデバイス310は、コンピューティングデバイス310に動作可能に結合されているPSD312においてグラフィカルコンテンツを出力しない場合がある。他の例では、コンピューティングデバイス310は、通信チャネル362Aによってコンピューティングデバイス310に結合されているPSD312と、1つまたは複数のリモートデバイスの両方における表示用にグラフィカルコンテンツを出力することができる。そのような例では、グラフィカルコンテンツは、各それぞれのデバイスにおいてほぼ同時に表示され得る。たとえば、グラフィカルコンテンツを含むデータをリモートデバイスに送るための通信待ち時間によって、ある程度の遅延がもたらされる場合がある。いくつかの例では、コンピューティングデバイス310によって生成され、かつPSD312における表示用に出力されたグラフィカルコンテンツは、1つまたは複数のリモートデバイスにおける表示用に出力されるグラフィカルコンテンツ表示とは異なり得る。
コンピューティングデバイス310は、任意の適切な通信技法を使用して、データを送り、受信することができる。たとえば、コンピューティングデバイス310は、ネットワークリンク373Aを使用して、外部ネットワーク374に動作可能に結合され得る。図3に示すリモートデバイスの各々は、それぞれのネットワークリンク373B、373C、または373Dのうちの1つによって、外部ネットワーク374に動作可能に結合され得る。外部ネットワーク374は、動作可能に相互結合され、そうすることによって、図3に示す、コンピューティングデバイス310とリモートデバイスとの間での情報の交換をできるようにする、ネットワークハブ、ネットワークスイッチ、ネットワークルータなどを含み得る。いくつかの例では、ネットワークリンク373A〜373Dは、イーサネット(登録商標)、ATMまたは他のネットワーク接続であってよい。そのような接続は、ワイヤレスおよび/またはワイヤード接続であってよい。
いくつかの例では、コンピューティングデバイス310は、直接デバイス通信378を使用して、図3に含まれるリモートデバイスのうちの1つまたは複数に動作可能に結合され得る。直接デバイス通信378は、コンピューティングデバイス310が、ワイヤードまたはワイヤレス通信を使用してリモートデバイスとデータを直接送り、受信するための通信を含み得る。つまり、直接デバイス通信378のいくつかの例では、コンピューティングデバイス310によって送られるデータは、リモートデバイスにおいて受信される前に、1つまたは複数の追加デバイスによって転送されない可能性があり、およびその反対も可能である。直接デバイス通信378の例は、Bluetooth(登録商標)、近距離通信、ユニバーサルシリアルバス、Wi-Fi、赤外線などを含み得る。図3に示すリモートデバイスのうちの1つまたは複数は、通信リンク376A〜376Dによって、コンピューティングデバイス310と動作可能に結合され得る。いくつかの例では、通信リンク376A〜376Dは、Bluetooth(登録商標)、近距離通信、ユニバーサルシリアルバス、赤外線などを使用する接続であってよい。そのような接続は、ワイヤレスおよび/またはワイヤード接続であってよい。
本開示の技法によると、コンピューティングデバイス310は、外部ネットワーク374を使用して視覚ディスプレイ構成要素390に動作可能に結合され得る。コンピューティングデバイス310は、絵文字検索ボックスを含むグラフィカルキーボードを、PSD392における表示用に出力し得る。たとえば、コンピューティングデバイス310は、絵文字検索ボックスをもつグラフィカルキーボードの表現を含むデータを、通信ユニット342に送ってよい。通信ユニット342は、絵文字検索ボックスをもつグラフィカルキーボードの表現を含むデータを、外部ネットワーク374を使用して視覚ディスプレイ構成要素390に送ることができる。視覚ディスプレイ構成要素390は、外部ネットワーク374を使用してデータを受信したことに応答して、PSD392に、絵文字検索ボックスをもつグラフィカルキーボードを出力させることができる。絵文字検索ボックス内で絵文字検索クエリを入力するためのユーザ入力をPSD392において受信したことに応答して、視覚ディスプレイ構成要素390は、外部ネットワーク374を使用して、ユーザ入力の指示をコンピューティングデバイス310に送ってよい。通信ユニット342は、ユーザ入力の指示を受信し、指示をコンピューティングデバイス310に送ってもよい。
コンピューティングデバイス310は、ユーザ入力に基づいて、絵文字検索クエリを判断することができる。たとえば、コンピューティングデバイス310は、ユーザ入力に基づいて、クエリを作成する1つまたは複数の候補単語を入れるための1つまたは複数のキーの選択を判断することができる。コンピューティングデバイス310は、絵文字検索機能を使用して、コンピューティングデバイス310に対してローカルに記憶された検索可能絵文字シンボルデータベースから、クエリに合致する1つまたは複数の候補絵文字シンボルを識別することができる。
クエリに合致する1つまたは複数の候補絵文字シンボルを取得したことに応答して、コンピューティングデバイス310は、1つまたは複数の候補絵文字シンボルのグラフィカル指示を有する絵文字提案領域を含む、更新されたグラフィカルキーボードを含む、更新されたグラフィカルユーザインターフェースの表現を出力することができる。通信ユニット342は、更新されたグラフィカルユーザインターフェースの表現を受信することができ、表現を視覚ディスプレイ構成要素390に送ることができ、そうすることによって、視覚ディスプレイ構成要素390は、PSD392に、絵文字提案領域を含む更新されたグラフィカルキーボードを出力させることができる。
図4A〜図4Fは、本開示の1つまたは複数の態様による、統合型図像検索を伴うグラフィカルキーボードを提示するように構成される例示的コンピューティングデバイスの例示的グラフィカルユーザインターフェースを示す概念図である。図4A〜図4Fは、それぞれ、例示的グラフィカルユーザインターフェース414A〜414F(まとめて、ユーザインターフェース414)を示す。ただし、グラフィカルユーザインターフェースの多くの他の例が、他の事例において使われてよい。グラフィカルユーザインターフェース414の各々は、それぞれ、図1および図2のコンピューティングデバイス110または210によって表示されるグラフィカルユーザインターフェースに対応し得る。図4A〜図4Eについて、コンピューティングデバイス110のコンテキストにおいて以下で説明する。
ユーザインターフェース414の各々は、出力領域416A、編集領域416C、およびグラフィカルキーボード416Bを含み、グラフィカルキーボード416B内で、ユーザインターフェース414の各々は、編集領域418Bと、絵文字検索キー418Dおよびメッセージ送付キー418Gを含む、グラフィカルキー418Aの少なくとも一部分とを含む。ユーザインターフェース414B〜414Eは各々、絵文字検索ボックス418Eおよび絵文字提案領域418Fの例を含む。図4A〜図4Fに示すように、コンピューティングデバイス110は、ユーザインターフェース414の編集領域416Cを継続的に表示することができ、その間、グラフィカルキーボード416Bのうちの少なくとも1つが表示用に出力され、絵文字検索ボックス418Eおよび絵文字提案領域418Fを含む、更新されたユーザインターフェース414B〜414Eの各々が、表示用に出力される。
図4Aに示すように、コンピューティングデバイス110は、ユーザの友人に関連付けられたテキストメッセージを、異なるコンピューティングデバイスから受信することができ、ユーザは、顔文字などの図像シンボルを使用して返信することを望む場合がある。コンピューティングデバイスは、PSD112が絵文字検索キー418Dを提示するロケーションにおいてユーザ入力を検出することができる。
図4Bに示すように、コンピューティングデバイス110が絵文字検索キー418Dの選択の指示を受信した後、キーボードモジュール122は、絵文字検索モードでの動作に遷移してよく、UIモジュール120に、PSD112において提示されているグラフィカルキーボード416Bのサイズを、絵文字検索ボックス418Eおよび絵文字提案領域418Fを収めるように増大させてよい。たとえば、図4Bは、コンピューティングデバイス110が、グラフィカルキーボード416Bを垂直配向に提示し、図4Aに示すグラフィカルキーボード416Bの垂直サイズと比較して、絵文字検索ボックス418Eおよび絵文字提案領域418Fを収めるように、増加した垂直サイズを有していることを示す。他の例では(たとえば、横長配向において)コンピューティングデバイス110は、グラフィカルキーボード416Bの幅または他のサイズパラメータを、絵文字検索ボックス418Eおよび絵文字提案領域418Fを収めるように変えることができる。たとえば、コンピューティングデバイス110は、グラフィカルキー418Aのサイズを、絵文字検索ボックス418Eおよび絵文字提案領域418Fを収めるように縮めてよく、グラフィカルキーボード416Bの全体的な垂直または水平サイズは、絵文字検索ボックス418Eおよび絵文字提案領域418Fが表示されるかどうかにかかわらず、同じままである。
図4Bに示すように、絵文字検索ボックス418Eは、テキスト入力を受信するように構成される。コンピューティングデバイス110のユーザは、絵文字検索クエリ「tired」をタイプするために、様々なキー418Aのロケーションにおいて、またはその近くでタップ入力を与える場合がある。キー418Aにおけるタップ入力に応答して、キーボードモジュール122は、タップ入力の指示を受信し、タップ入力に基づいて、キャラクタ「tired」を開始するか、または含む1つまたは複数の候補単語として、テキスト入力を判断し得る。キーボードモジュール122は、候補単語を絵文字検索クエリとして使用することができる。ユーザへのフィードバックの形として、キーボードモジュール122は、UIモジュール120に、絵文字検索クエリ「tired」のグラフィカル指示を絵文字検索ボックス418E内に提示させてよい。
他の例では、コンピューティングデバイス110のユーザは、音声入力を受信するようにコンピューティングデバイス110を構成するために、絵文字検索ボックス418Eに隣接して提示されるマイクロフォンアイコンをタップする場合がある。マイクロフォンアイコンを押した後、コンピューティングデバイス110は、ユーザが絵文字検索クエリを指示するように、ユーザから音声入力を受信し得る。コンピューティングデバイス110は、音声入力をテキストに転写し、コンピューティングデバイス110がタイプ入力を処理して絵文字検索クエリにするのと同様にして、テキスト入力を処理して絵文字検索クエリにすることができる。
図4Cは、図4Bと比較した、ユーザが絵文字検索クエリを入力することができる代替法を示す。図4Cに示すように、絵文字検索ボックス418Eは、(たとえば、PSD112の所またはその近くでの、指、手、またはスタイラスでのユーザ描画に基づく)手描き入力を受信するように構成される。コンピューティングデバイス110のユーザは、タイプするよりもむしろ、ユーザが検索している特定の絵文字シンボルに似ている絵を描くために、絵文字検索ボックス418Eのロケーションにおいて、またはその近くでタッチ入力を与える場合がある。たとえば、単語tiredをタイプするよりもむしろ、ユーザは、ベッドに似ている図像シンボルを描く場合がある。絵文字検索ボックス418Eにおいて検出された手描き入力に応答して、キーボードモジュール122は、手描き入力の指示を受信し、手描き入力に基づいて、手描き入力に似て見える、1つまたは複数の合致する図像シンボルを判断することができる。ユーザへのフィードバックの形として、キーボードモジュール122は、UIモジュール120に、手描き入力のグラフィカル指示を絵文字検索ボックス418E内に提示させてよい。他の例では、ユーザは、キャラクタ(たとえば、文字、単語など)の入力法として手描き入力を与え、図4Bに関して記載されたのと同様の技法を使用して、手描き入力に基づいて1つまたは複数の候補絵文字シンボルを判断することができる。
いずれのケースでも、図4Dに示すように、ユーザ入力の形がどのようであっても、コンピューティングデバイス110のキーボードモジュール122は、ユーザ入力から判断された検索クエリに基づいて図像検索を実行してよい。キーボードモジュール122は、UIモジュール120に、PSD112において、キーボードモジュール122が検索に基づいて判断する1つまたは複数の候補絵文字シンボルの1つまたは複数の選択可能なグラフィカル指示を提示させてよい。たとえば、検索クエリが「tired」またはベッドの絵であると判断したことに応答して、キーボードモジュール122は、疲れた顔の絵文字、ベッドの絵文字、眠っている「Zzz」の絵文字、およびあくびしている顔の絵文字を、単語「tired」またはベッドの描画に関連した、すべての例示的な図像シンボルとして識別することができる。
次に、図4Eに示すように、コンピューティングデバイス110は、UIモジュール120がPSD112にベッドの絵文字および眠っている「Zzz」の絵文字を提示させるロケーションにおいて、またはその近くで、ユーザがタッチ入力を与えたと判断してよい。キーボードモジュール122は、ユーザがベッドの絵文字および眠っている「Zzz」の絵文字を、電子メッセージ中に含めるために選択したと判断してよい。ベッドの絵文字および眠っている「Zzz」の絵文字を選択するためのユーザ入力を検出したことに応答して、キーボードモジュール122は、UIモジュール120に、選択された絵文字シンボルを編集領域416C内に含めさせてよい。
最後に、図4Fに示すように、送付キー418Gを押した後、コンピューティングデバイス110は、友人に関連付けられた異なるコンピューティングデバイスに、ベッドの絵文字および眠っている「Zzz」の絵文字を示すデータを含む電子メッセージを送ることができる。コンピューティングデバイス110は、UIモジュール120に、電子メッセージの本文を出力領域416A内で提示させてもよい。
図5は、本開示の1つまたは複数の態様による、統合型図像検索を伴うグラフィカルキーボードを提示するように構成されるコンピューティングデバイスの例示的動作を示すフローチャートである。図5の動作は、図1のコンピューティングデバイス110または図2のコンピューティングデバイス210などのコンピューティングデバイスの1つまたは複数のプロセッサによって実施され得る。説明のためにのみ、図5を、図1A〜図1Dのコンピューティングデバイス110のコンテキストにおいて以下で説明する。
動作中、コンピューティングデバイス110は、複数のキーを備えるグラフィカルキーボードを表示用に出力することができ、複数のキーは、グラフィカルキーボードの図像検索機能に関連付けられた図像検索キーを含む(500)。たとえば、キーボードモジュール122は、UIモジュール120に、絵文字検索キー118Dを含むユーザインターフェース114AをPSD112において提示させることができる。
コンピューティングデバイス110は、図像検索キーの選択の指示を受信し得る(510)。たとえば、ユーザは、絵文字検索キー118Dが表示されるPSD112のロケーションにおいて検出された入力を与える場合がある。キーボードモジュール122は、検出された入力についての情報をUIモジュール120から受信し、絵文字検索を実施するための検索モードに遷移してよい。
図像検索キーの選択の指示を受信したことに応答して、コンピューティングデバイス110は、複数のキーに加え、図像検索機能に関連付けられた検索クエリの指示を表示するように構成された図像検索ボックスを含む第1の更新されたグラフィカルキーボードを表示用に出力してよい(520)。たとえば、絵文字検索に遷移したことに応答して、キーボードモジュール122は、UIモジュール120に、絵文字提案領域118Eを含むユーザインターフェース114BをPSD112において提示させてよい。
コンピューティングデバイス110は、ユーザ入力に基づいて、図像検索クエリを判断することができる(530)。たとえば、グラフィカルキー118Aが表示されるPSD112のロケーションにおいてユーザがタッチ入力を与えると、キーボードモジュール122は、ユーザがタイプ入力している可能性がある絵文字検索クエリを予測することができる。たとえば、ユーザが「ca」とタイプした場合、キーボードモジュール122は、cat、caterpillar、camels、chattingなどを、すべての可能な絵文字検索クエリとして判断してよい。
コンピューティングデバイス110は、図像検索ボックス内での表示のために、図像検索クエリのグラフィカル指示を出力し得る(540)。たとえば、キーボードモジュール122が、ユーザ入力に基づいて1つまたは複数の絵文字検索クエリを判断すると、キーボードモジュール122は、UIモジュール120に、予測されるクエリのテキスト記述子を絵文字検索ボックス118E内で提示させることができる。
コンピューティングデバイス110は、図像検索クエリに基づいて、およびグラフィカルキーボードの図像検索機能を使用して、1つまたは複数の候補図像シンボルを識別することができる(550)。たとえば、キーボードモジュール122が、ユーザ入力に基づいて1つまたは複数の絵文字検索クエリを判断すると、キーボードモジュール122は同時に、絵文字シンボルのデータベースに、予測される検索クエリを照会してよい。
1つまたは複数の候補図像シンボルを識別したことに応答して、コンピューティングデバイス110は、複数のキーの少なくとも一部分に加え、1つまたは複数の候補図像シンボルに対応する1つまたは複数の選択可能要素を表示する図像提案領域を含む第2の更新されたグラフィカルキーボードを表示用に出力してよい(560)。たとえば、キーボードモジュール122が、合致する絵文字シンボルをデータベースから識別すると、キーボードモジュール122は、UIモジュール120に、予測されるクエリに合致する絵文字シンボルのグラフィカル指示を含むユーザインターフェース114Cを、絵文字提案領域118F内で提示させてよい。
以下の番号付けされた項は、本開示の1つまたは複数の態様を例示することができる。
項1。コンピューティングデバイスによって、複数のキーを備えるグラフィカルキーボードを表示用に出力するステップであって、複数のキーは、グラフィカルキーボードの図像検索機能に関連付けられた図像検索キーを含む、ステップと、図像検索キーの選択の指示を受信したことに応答して、コンピューティングデバイスによって、複数のキーに加え、図像検索機能に関連付けられた検索クエリの指示を表示するように構成された図像検索ボックスを含む第1の更新されたグラフィカルキーボードを表示用に出力するステップと、コンピューティングデバイスによって、ユーザ入力に基づいて、図像検索クエリを判断するステップと、コンピューティングデバイスによって、図像検索ボックス内での表示のために、図像検索クエリのグラフィカル指示を出力するステップと、コンピューティングデバイスによって、図像検索クエリに基づいて、かつ、グラフィカルキーボードの図像検索機能を使用して、1つまたは複数の候補図像シンボルを識別するステップと、1つまたは複数の候補図像シンボルを識別したことに応答して、コンピューティングデバイスによって、複数のキーの少なくとも一部分に加え、1つまたは複数の候補図像シンボルに対応する1つまたは複数の選択可能要素を表示する図像提案領域を含む第2の更新されたグラフィカルキーボードを表示用に出力するステップとを含む方法。
項2。グラフィカルキーボード、第1の更新されたグラフィカルキーボード、および第2の更新されたグラフィカルキーボードは、アプリケーショングラフィカルユーザインターフェースの一部として表示用に出力される、項1に記載の方法。
項3。アプリケーショングラフィカルユーザインターフェースは編集領域を含み、方法は、1つまたは複数の選択可能要素のうちの少なくとも1つの、選択の指示を受信したことに応答して、コンピューティングデバイスによって、編集領域内で、1つまたは複数の候補図像シンボルのうちの少なくとも1つを表示用に出力するステップをさらに含む、項2に記載の方法。
項4。グラフィカルキーボードが表示用に出力されるか、第1の更新されたグラフィカルキーボードが表示用に出力されるか、または第2の更新されたグラフィカルキーボードが表示用に出力されることのうちの少なくとも1つの間、コンピューティングデバイスによって、アプリケーショングラフィカルユーザインターフェースの編集領域を継続的に表示するステップをさらに含む、項2または3に記載の方法。
項5。第1の更新されたグラフィカルキーボードのサイズは、図像検索ボックスを収めるように、グラフィカルキーボードのサイズよりも大きい、項4に記載の方法。
項6。複数のキーの少なくとも一部分はリターンキーまたはメッセージ送付キーを含む、項1から5のいずれか一項に記載の方法。
項7。方法は、コンピューティングデバイスによって、ユーザ入力に基づいてテキスト入力を判断するステップをさらに含み、図像検索クエリはテキスト入力に基づいて判断され、図像検索クエリのグラフィカル指示はテキスト入力のグラフィカル指示である、項1から6のいずれか一項に記載の方法。
項8。ユーザ入力は、複数のキーのうちの1つもしくは複数のテキストキャラクタキーの選択、または音声入力である、項7に記載の方法。
項9。ユーザ入力は手描き入力であり、図像検索クエリは手描き入力に基づいて判断され、図像検索クエリのグラフィカル指示は手描き入力のグラフィカル指示である、項1から6のいずれか一項に記載の方法。
項10。手描き入力は、図像シンボルのユーザ描画または図像検索クエリに関連付けられたテキストの手書き入力に対応する、項9に記載の方法。
項11。図像検索キーは絵文字検索キーであり、図像検索機能は絵文字検索機能であり、図像検索ボックスは絵文字検索ボックスであり、図像検索クエリは絵文字検索クエリであり、図像提案領域は絵文字提案領域であり、1つまたは複数の候補図像シンボルは1つまたは複数の候補絵文字シンボルを含む、項1から10のいずれか一項に記載の方法。
項12。存在感知ディスプレイと、少なくとも1つのプロセッサと、命令を記憶したメモリとを備えるコンピューティングデバイスであって、命令は、少なくとも1つのプロセッサによって実行されると、少なくとも1つのプロセッサに、存在感知ディスプレイにおける表示用に、複数のキーを備えるグラフィカルキーボードを出力することであって、複数のキーは、グラフィカルキーボードの図像検索機能に関連付けられた図像検索キーを含む、出力することと、存在感知ディスプレイにおいて検出された図像検索キーの選択の指示を受信したことに応答して、存在感知ディスプレイにおける表示用に、複数のキーに加え、図像検索機能に関連付けられた検索クエリの指示を表示するように構成された図像検索ボックスを含む第1の更新されたグラフィカルキーボードを出力することと、ユーザ入力に基づいて、図像検索クエリを判断することと、存在感知ディスプレイにおける表示用に、図像検索ボックス内で、図像検索クエリのグラフィカル指示を出力することと、図像検索クエリに基づいて、かつ、グラフィカルキーボードの図像検索機能を使用して、1つまたは複数の候補図像シンボルを識別することと、1つまたは複数の候補図像シンボルを識別したことに応答して、存在感知ディスプレイにおける表示用に、複数のキーの少なくとも一部分に加え、1つまたは複数の候補図像シンボルに対応する1つまたは複数の選択可能要素を表示する図像提案領域を含む第2の更新されたグラフィカルキーボードを出力することとを行わせる、コンピューティングデバイス。
項13。命令は、実行されると、少なくとも1つのプロセッサに、アプリケーショングラフィカルユーザインターフェースの一部として、グラフィカルキーボード、第1の更新されたグラフィカルキーボード、および第2の更新されたグラフィカルキーボードを表示用に出力することを行わせる、項12に記載のコンピューティングデバイス。
項14。アプリケーショングラフィカルユーザインターフェースは編集領域を含み、命令は、実行されると、少なくとも1つのプロセッサにさらに、1つまたは複数の選択可能要素のうちの少なくとも1つの、選択の指示を受信したことに応答して、編集領域内で、1つまたは複数の候補図像シンボルのうちの少なくとも1つを表示用に出力することを行わせる、項13に記載のコンピューティングデバイス。
項15。命令は、実行されると、少なくとも1つのプロセッサに、グラフィカルキーボードが表示用に出力され、第1の更新されたグラフィカルキーボードが表示用に出力され、または第2の更新されたグラフィカルキーボードが表示用に出力されることのうちの少なくとも1つの間に、アプリケーショングラフィカルユーザインターフェースの編集領域を継続的に表示することを行わせる、項13または14のいずれか一項に記載のコンピューティングデバイス。
項16。第1の更新されたグラフィカルキーボードのサイズは、グラフィカルキーボードのサイズよりも大きい、項15に記載のコンピューティングデバイス。
項17。第2の更新されたグラフィカルキーボードのサイズは、第1の更新されたグラフィカルキーボードのサイズよりも大きい、項16に記載のコンピューティングデバイス。
項18。命令を記憶したコンピュータ可読記憶媒体であって、命令は、コンピューティングデバイスの少なくとも1つのプロセッサによって実行されると、少なくとも1つのプロセッサに、複数のキーを備えるグラフィカルキーボードを表示用に出力することであって、複数のキーは、グラフィカルキーボードの図像検索機能に関連付けられた図像検索キーを含む、出力することと、図像検索キーの選択の指示を受信したことに応答して、複数のキーに加え、図像検索機能に関連付けられた検索クエリの指示を表示するように構成された図像検索ボックスを含む第1の更新されたグラフィカルキーボードを表示用に出力することと、ユーザ入力に基づいて、図像検索クエリを判断することと、図像検索ボックス内での表示のために、図像検索クエリのグラフィカル指示を出力することと、図像検索クエリに基づいて、かつ、グラフィカルキーボードの図像検索機能を使用して、1つまたは複数の候補図像シンボルを識別することと、1つまたは複数の候補図像シンボルを識別したことに応答して、複数のキーの少なくとも一部分に加え、1つまたは複数の候補図像シンボルに対応する1つまたは複数の選択可能要素を表示する図像提案領域を含む第2の更新されたグラフィカルキーボードを表示用に出力することとを行わせる、コンピュータ可読記憶媒体。
項19。命令は、実行されると、少なくとも1つのプロセッサにさらに、アプリケーショングラフィカルユーザインターフェースの一部として、グラフィカルキーボード、第1の更新されたグラフィカルキーボード、および第2の更新されたグラフィカルキーボードを表示用に出力することを行わせる、項18に記載のコンピュータ可読記憶媒体。
項20。アプリケーショングラフィカルユーザインターフェースは編集領域を含み、命令は、実行されると、少なくとも1つのプロセッサにさらに、1つまたは複数の選択可能要素のうちの少なくとも1つの、選択の指示を受信したことに応答して、編集領域内で、1つまたは複数の候補図像シンボルのうちの少なくとも1つを表示用に出力することを行わせる、項19に記載のコンピュータ可読記憶媒体。
項21。項1から11に記載の方法のいずれかを実施するための手段を備えるシステム。
項22。項1から11に記載の方法のいずれかを実施するための手段を備えるコンピューティングデバイス。
1つまたは複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアに実装される場合、機能は、1つもしくは複数の命令もしくはコードとしてコンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行することができる。コンピュータ可読媒体は、データ記憶媒体のような有形媒体に対応するコンピュータ可読記憶媒体、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含み得る。このように、コンピュータ可読媒体は、一般に、(1)非一時的な有形コンピュータ可読記憶媒体、または(2)信号もしくは搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明する技法の実装のための命令、コードおよび/またはデータ構造を取り出すために1つもしくは複数のコンピュータまたは1つもしくは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。
限定ではなく例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気記憶デバイス、フラッシュメモリ、または、命令もしくはデータ構造の形態の所望のプログラムコードを記憶するために使用され得るとともにコンピュータによってアクセスされ得る任意の他の媒体を備えることができる。また、任意の接続が、適切にコンピュータ可読媒体と呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用してウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は媒体の定義に含まれる。ただし、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)およびBlu-ray(登録商標)ディスク(disc)を含み、ここで、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲に含まれるべきである。
命令は、1つもしくは複数のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブル論理アレイ(FPGA)、または他の等価な集積論理回路機構もしくは個別論理回路機構などの、1つまたは複数のプロセッサによって実行され得る。したがって、使用される「プロセッサ」という用語は、上記の構造、または本明細書で説明された技法の実装に好適な他の構造のいずれかを指すことがある。加えて、いくつかの態様では、説明された機能性は、専用のハードウェアモジュールおよび/またはソフトウェアモジュール内で提供されてよい。また、技法は、1つまたは複数の回路または論理要素で完全に実装され得る。
本開示の技法は、ワイヤレスハンドセット、集積回路(IC)またはICのセット(たとえば、チップセット)を含む、多種多様なデバイスまたは装置において実装され得る。開示された技法を実施するように構成されたデバイスの機能的側面を強調するために、様々な構成要素、モジュール、またはユニットが本開示に記載されているが、それらは、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明されたように、様々なユニットが、好適なソフトウェアおよび/またはファームウェアとともに、上記で説明された1つまたは複数のプロセッサを含んで、ハードウェアユニットにおいて組み合わせられるか、または相互動作可能なハードウェアユニットの集合によって与えられ得る。
様々な例が説明されてきた。これらおよび他の例は以下の特許請求の範囲に入る。
110 コンピューティングデバイス
112 存在感知ディスプレイ(PSD)
114 ユーザインターフェース
116A 出力領域
116B グラフィカルキーボード
116C 編集領域
118A グラフィカルキー、キー、キャラクタキー
118B 提案領域
118C 検索要素、要素
118D 絵文字検索キー
118E 絵文字検索ボックス
118F 絵文字提案領域
120 ユーザインターフェース(UI)モジュール、モジュール
122 キーボードモジュール、モジュール
202 ディスプレイ構成要素
204 存在感知入力構成要素
210 コンピューティングデバイス
212 PSD、構成要素
220 UIモジュール、モジュール
222 キーボードモジュール、モジュール
224 アプリケーションモジュール、モジュール
226 空間モデル(「SM」)モジュール、モジュール
228 言語モデル(「LM」)モジュール、モジュール
230 検索モジュール、モジュール
232 絵文字シンボルデータストア、データストア
240 プロセッサ、構成要素
242 通信ユニット、構成要素
244 入力構成要素、構成要素
246 出力構成要素、構成要素
248 記憶構成要素、構成要素、記憶デバイス
260A レキシコンデータストア
302 ディスプレイ構成要素
304 存在感知入力構成要素
310 コンピューティングデバイス
312 PSD
342 通信ユニット
362A 通信チャネル
362B 通信チャネル
373A ネットワークリンク
373B ネットワークリンク
373C ネットワークリンク
373D ネットワークリンク
374 外部ネットワーク
376A 通信リンク
376B 通信リンク
376C 通信リンク
376D 通信リンク
378 直接デバイス通信
380 プロジェクタ
382 プロジェクタスクリーン
384 存在感知ディスプレイ
386 モバイルデバイス
388 存在感知ディスプレイ
390 視覚ディスプレイ構成要素
392 存在感知ディスプレイ、PSD
414 ユーザインターフェース
416A 出力領域
416B グラフィカルキーボード
416C 編集領域
418A グラフィカルキー、キー
418B 編集領域
418D 絵文字検索キー
418E 絵文字検索ボックス
418F 絵文字提案領域
418G メッセージ送付キー

Claims (12)

  1. コンピューティングデバイスによって、複数のキーを備えるグラフィカルキーボードを表示用に出力するステップであって、前記複数のキーは、前記グラフィカルキーボードの絵文字検索機能に関連付けられた絵文字検索キーと、英数字を入力するための1つまたは複数のキーとを含む、ステップと、
    前記絵文字検索キーの選択を受信したことに応答して、前記コンピューティングデバイスによって、英数字を入力するための前記1つまたは複数のキーに加え、前記絵文字検索機能に関連付けられた検索クエリの指示を表示するように構成された絵文字検索ボックスを含む第1の更新されたグラフィカルキーボードを表示用に出力するステップと、
    前記コンピューティングデバイスによって、前記第1の更新されたグラフィカルキーボードを使用した1つまたは複数の英数字のユーザ入力に基づいて絵文字検索クエリを判断するステップと、
    前記コンピューティングデバイスによって、前記絵文字検索ボックス内での表示のために、前記絵文字検索クエリのテキストを出力するステップと、
    前記コンピューティングデバイスによって、前記絵文字検索クエリの前記テキストに基づいて、かつ、前記グラフィカルキーボードの前記絵文字検索機能を使用して、1つまたは複数の候補絵文字シンボルを識別するステップと、
    前記1つまたは複数の候補絵文字シンボルを識別したことに応答して、前記コンピューティングデバイスによって、英数字を入力するための前記1つまたは複数のキーに加え、前記1つまたは複数の候補絵文字シンボルに対応する1つまたは複数の選択可能要素を表示する絵文字提案領域を含む第2の更新されたグラフィカルキーボードを表示用に出力するステップと
    を含み、
    前記グラフィカルキーボード、前記第1の更新されたグラフィカルキーボード、および前記第2の更新されたグラフィカルキーボードは、アプリケーショングラフィカルユーザインターフェースの一部として表示用に出力され、
    前記第2の更新されたグラフィカルキーボードのサイズは、前記絵文字検索ボックスおよび前記絵文字提案領域を収めるように、前記グラフィカルキーボードのサイズよりも大きい、方法。
  2. 前記アプリケーショングラフィカルユーザインターフェースは編集領域を含み、
    前記方法は、前記1つまたは複数の選択可能要素のうちの少なくとも1つの選択を受信したことに応答して、前記コンピューティングデバイスによって、前記編集領域内で、前記1つまたは複数の候補絵文字シンボルのうちの少なくとも1つを表示用に出力するステップをさらに含む、請求項1に記載の方法。
  3. 前記グラフィカルキーボードが表示用に出力されるか、
    前記第1の更新されたグラフィカルキーボードが表示用に出力されるか、または
    前記第2の更新されたグラフィカルキーボードが表示用に出力される
    ことのうちの少なくとも1つの間に、前記コンピューティングデバイスによって、前記アプリケーショングラフィカルユーザインターフェースの前記編集領域を継続的に表示するステップをさらに含む、請求項2に記載の方法。
  4. 前記第1の更新されたグラフィカルキーボードのサイズは、前記絵文字検索ボックスを収めるように、前記グラフィカルキーボードのサイズよりも大きい、請求項3に記載の方法。
  5. 前記複数のキーの前記少なくとも一部分はリターンキーまたはメッセージ送付キーを含む、請求項1から4のいずれか一項に記載の方法。
  6. 前記コンピューティングデバイスによって、前記ユーザ入力に基づいてテキスト入力を判断するステップをさらに含み、
    前記絵文字検索クエリは前記テキスト入力に基づいて判断される、請求項1から5のいずれか一項に記載の方法。
  7. 前記ユーザ入力は、前記複数のキーのうちの1つもしくは複数のテキストキャラクタキーの選択、または音声入力である、請求項6に記載の方法。
  8. 前記ユーザ入力は手描き入力であり、
    前記絵文字検索クエリは前記手描き入力に基づいて判断され、
    前記絵文字検索クエリのグラフィカル指示は前記手描き入力のグラフィカル指示である、請求項1から7のいずれか一項に記載の方法。
  9. 前記手描き入力は、絵文字シンボルのユーザ描画、または前記絵文字検索クエリに関連付けられたテキストの手書き入力に対応する、請求項8に記載の方法。
  10. 存在感知ディスプレイと、
    少なくとも1つのプロセッサと、
    命令を記憶したメモリと
    を備えるコンピューティングデバイスであって、前記命令は、前記少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、請求項1から9に記載の方法のいずれか1つを実施させる、コンピューティングデバイス。
  11. 命令を記憶したコンピュータ可読記憶媒体であって、前記命令は、コンピューティングデバイスの少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、請求項1から9に記載の方法のいずれか1つを実施させる、コンピュータ可読記憶媒体。
  12. 請求項1から9に記載の方法のいずれか1つを実施するための手段を備えるシステム。
JP2018543129A 2016-04-20 2016-12-29 グラフィカルキーボード内での図像シンボル検索 Active JP6721703B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/133,282 2016-04-20
US15/133,282 US20170308289A1 (en) 2016-04-20 2016-04-20 Iconographic symbol search within a graphical keyboard
PCT/US2016/069109 WO2017184217A1 (en) 2016-04-20 2016-12-29 Iconographic symbol search within a graphical keyboard

Publications (2)

Publication Number Publication Date
JP2019511771A JP2019511771A (ja) 2019-04-25
JP6721703B2 true JP6721703B2 (ja) 2020-07-15

Family

ID=57822119

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018543129A Active JP6721703B2 (ja) 2016-04-20 2016-12-29 グラフィカルキーボード内での図像シンボル検索

Country Status (6)

Country Link
US (1) US20170308289A1 (ja)
EP (1) EP3403167A1 (ja)
JP (1) JP6721703B2 (ja)
KR (1) KR102151683B1 (ja)
CN (1) CN108700951B (ja)
WO (1) WO2017184217A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015163854A1 (en) * 2014-04-22 2015-10-29 Hewlett-Packard Development Company, L.P. Flow autocomplete
US10592098B2 (en) 2016-05-18 2020-03-17 Apple Inc. Devices, methods, and graphical user interfaces for messaging
KR20240023200A (ko) 2016-05-18 2024-02-20 애플 인크. 그래픽 메시징 사용자 인터페이스 내의 확인응답 옵션들의 적용
US10368208B2 (en) 2016-06-12 2019-07-30 Apple Inc. Layers in messaging applications
US10185701B2 (en) * 2016-10-17 2019-01-22 Microsoft Technology Licensing, Llc Unsupported character code detection mechanism
US11121991B2 (en) * 2017-07-03 2021-09-14 Mycelebs Co., Ltd. User terminal and search server providing a search service using emoticons and operating method thereof
JP7007168B2 (ja) * 2017-12-07 2022-01-24 Ｌｉｎｅ株式会社 プログラム、情報処理方法、及び情報処理装置
US20190197102A1 (en) * 2017-12-27 2019-06-27 Paypal, Inc. Predictive Contextual Messages
US20220261092A1 (en) * 2019-05-24 2022-08-18 Krishnamoorthy VENKATESA Method and device for inputting text on a keyboard
WO2020251600A1 (en) * 2019-06-12 2020-12-17 Google, Llc Dynamically exposing repetitively used data in a user interface
US11308110B2 (en) * 2019-08-15 2022-04-19 Rovi Guides, Inc. Systems and methods for pushing content
US11099811B2 (en) * 2019-09-24 2021-08-24 Rovi Guides, Inc. Systems and methods for displaying subjects of an audio portion of content and displaying autocomplete suggestions for a search related to a subject of the audio portion
US11868592B2 (en) 2019-09-27 2024-01-09 Apple Inc. User interfaces for customizing graphical objects
CN114144789A (zh) * 2019-10-15 2022-03-04 谷歌有限责任公司 图形用户界面中的内容的声控输入
CN113051427A (zh) * 2019-12-10 2021-06-29 华为技术有限公司 一种表情制作方法和装置
JP7155391B2 (ja) * 2020-02-21 2022-10-18 グーグル エルエルシー メディアコンテンツアイテムの宛先に基づくメディアコンテンツアイテムの改善された検索およびカテゴリ化のためのシステムおよび方法
US11775583B2 (en) * 2020-04-15 2023-10-03 Rovi Guides, Inc. Systems and methods for processing emojis in a search and recommendation environment
CN111723515A (zh) * 2020-05-15 2020-09-29 第四范式（北京）技术有限公司 一种运行算子的方法、装置及系统
US11609640B2 (en) * 2020-06-21 2023-03-21 Apple Inc. Emoji user interfaces
CN111913593B (zh) * 2020-08-06 2023-07-18 聚好看科技股份有限公司 媒体数据的搜索方法及显示设备
CN112269522A (zh) * 2020-10-27 2021-01-26 维沃移动通信（杭州）有限公司 图像处理方法、装置、电子设备和可读存储介质
WO2022197082A1 (en) * 2021-03-17 2022-09-22 Samsung Electronics Co., Ltd. Method and electronic device for predicting plurality of multi-modal drawings
US11776289B2 (en) 2021-03-17 2023-10-03 Samsung Electronics Co., Ltd. Method and electronic device for predicting plurality of multi-modal drawings
US11561673B1 (en) * 2021-06-30 2023-01-24 Salesforce, Inc. User interface for searching content of a communication platform using reaction icons
CN114531406A (zh) * 2021-12-30 2022-05-24 北京达佳互联信息技术有限公司 界面展示方法、装置及存储介质
CN117171188A (zh) * 2022-05-30 2023-12-05 荣耀终端有限公司 搜索方法、装置、电子设备和可读存储介质

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7590699B2 (en) * 2005-06-23 2009-09-15 Microsoft Corporation Instant messaging with built-in search
US8584031B2 (en) * 2008-11-19 2013-11-12 Apple Inc. Portable touch screen device, method, and graphical user interface for using emoji characters
EP4318463A3 (en) * 2009-12-23 2024-02-28 Google LLC Multi-modal input on an electronic device
JP5521772B2 (ja) * 2010-05-24 2014-06-18 日本電気株式会社 文字入力装置及び文字入力方法及びプログラム
US8706750B2 (en) * 2010-08-19 2014-04-22 Google Inc. Predictive query completion and predictive search results
JP2012083887A (ja) * 2010-10-08 2012-04-26 Ntt Docomo Inc 変換制御装置、情報処理装置、文字変換方法、プログラム及び文字変換用のデータ構造
US8587547B2 (en) * 2010-11-05 2013-11-19 Apple Inc. Device, method, and graphical user interface for manipulating soft keyboards
WO2012140935A1 (ja) * 2011-04-11 2012-10-18 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 情報入力装置
JP5861710B2 (ja) * 2011-08-15 2016-02-16 富士通株式会社 携帯電子機器及びキー表示プログラム
US20130159919A1 (en) * 2011-12-19 2013-06-20 Gabriel Leydon Systems and Methods for Identifying and Suggesting Emoticons
KR20130143268A (ko) * 2012-06-21 2013-12-31 주식회사 다음커뮤니케이션 콘텐츠 입력 시스템, 단말, 콘텐츠 입력 방법 및 입력 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체
CN104412212A (zh) * 2012-06-29 2015-03-11 微软公司 输入法编辑器
KR101911999B1 (ko) * 2012-08-30 2018-10-25 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 피처 기반 후보 선택 기법
US10664657B2 (en) * 2012-12-27 2020-05-26 Touchtype Limited System and method for inputting images or labels into electronic devices
US10228819B2 (en) * 2013-02-04 2019-03-12 602531 British Cilumbia Ltd. Method, system, and apparatus for executing an action related to user selection
US8887103B1 (en) * 2013-04-22 2014-11-11 Google Inc. Dynamically-positioned character string suggestions for gesture typing
US9898187B2 (en) * 2013-06-09 2018-02-20 Apple Inc. Managing real-time handwriting recognition
CN109614845B (zh) * 2013-06-09 2023-08-04 苹果公司 管理实时手写识别
US20150100537A1 (en) * 2013-10-03 2015-04-09 Microsoft Corporation Emoji for Text Predictions
KR102177607B1 (ko) * 2014-05-16 2020-11-11 엘지전자 주식회사 이동 단말기 및 이의 제어방법
JP6413391B2 (ja) * 2014-06-27 2018-10-31 富士通株式会社 変換装置、変換プログラム、及び変換方法
US9930167B2 (en) * 2014-07-07 2018-03-27 Verizon Patent And Licensing Inc. Messaging application with in-application search functionality
US9043196B1 (en) * 2014-07-07 2015-05-26 Machine Zone, Inc. Systems and methods for identifying and suggesting emoticons
KR20160014329A (ko) * 2014-07-29 2016-02-11 김기주 휴대폰을 포함한 휴대 가능한 전자기기에서의 키보드 ui
US20160306438A1 (en) * 2015-04-14 2016-10-20 Logitech Europe S.A. Physical and virtual input device integration
US10318525B2 (en) * 2015-06-07 2019-06-11 Apple Inc. Content browsing user interface
US20170083524A1 (en) * 2015-09-22 2017-03-23 Riffsy, Inc. Platform and dynamic interface for expression-based retrieval of expressive media content

Also Published As

Publication number Publication date
KR102151683B1 (ko) 2020-09-04
WO2017184217A1 (en) 2017-10-26
EP3403167A1 (en) 2018-11-21
US20170308289A1 (en) 2017-10-26
KR20180102148A (ko) 2018-09-14
CN108700951A (zh) 2018-10-23
CN108700951B (zh) 2022-05-10
JP2019511771A (ja) 2019-04-25

Similar Documents

Publication Publication Date Title
JP6721703B2 (ja) グラフィカルキーボード内での図像シンボル検索
EP3479213B1 (en) Image search query predictions by a keyboard
CN107305585B (zh) 由键盘作出的搜索查询预测
US10140017B2 (en) Graphical keyboard application with integrated search
US9977595B2 (en) Keyboard with a suggested search query region
EP3400539B1 (en) Determining graphical elements associated with text
US9946773B2 (en) Graphical keyboard with integrated search features
JP2018101413A (ja) 会話に対するアイコノグラフィック・シンボル予測
KR102204888B1 (ko) 키보드에 의한 자동 번역

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20181012

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181012

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190909

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200525

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200618

R150 Certificate of patent or registration of utility model

Ref document number: 6721703

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250