JP7438238B2 - 動的空間モデルに基づく仮想キーボードエラー訂正 - Google Patents

Description

関連出願の相互参照
本出願は、２０２０年１０月２５日に出願された、「VIRTUAL KEYBOARD ERROR CORRECTION BASED ON A DYNAMIC SPATIAL MODEL（動的空間モデルに基づく仮想キーボードエラー訂正）」と題された米国特許出願第１７／０７９，４９２号の利益を主張し、その全体が本明細書において参照によって援用される。

背景
モバイルデバイスの普及とともに、仮想キーボードの使用が一般的になっている。しかしながら、仮想キーボードは、仮想キーボード上の予想されるユーザの位置と実際にタッピングされる位置との間の差によって、使用がイライラすることがある。たとえば、タイピングミスの種類についての近年の研究によると、英語の仮想キーボードにおけるタイピングミスの３７％はスペースバーが省略されることによるものであり、タイピングミスの６０％がスペースバーに関するもの、たとえば、仮想キーボードのスペースバーと最後の行におけるＣ、Ｖ、ＢおよびＮの文字との間の混同によるものであった。これは、ユーザの指の幅が広いこと、十分正確なタッチを用いずに片手のみでタッピングすること、タッチスクリーンまたはジェスチャベースのキーストローク入力の内在する不正確さなどに起因する場合がある。

本明細書に記載される背景技術の説明は、本開示の文脈を概して提示することを目的としている。本発明者らの研究は、この背景技術の項で説明される範囲で、出願時に他の態様では先行技術とみなされないであろう説明の態様とならんで、本開示に対する先行技術として明示的にも暗黙的にも認められるものではない。

概要
方法は、仮想キーボード上の位置におけるユーザによるタッチ入力を検出することと、空間モデルを適用して、仮想キーボードの１つ以上の第１の候補キーにタッチ入力をマッピングすることとを備えてもよく、空間モデルは、以前のタッチ入力のヒートマップに基づいて、１つ以上の第１の候補キーにタッチ入力をマッピングし、方法はさらに、言語モデルを適用して、仮想キーボードの１つ以上の第２の候補キーにタッチ入力をマッピングすることを備えてもよく、言語モデルは、タッチ入力の位置を１つ以上の次の予測キーと比較することに基づいて、１つ以上の第２の候補キーにタッチ入力をマッピングし、方法はさらに、タッチ入力で示されるような１つ以上の第１のおよび第２の候補キーのうちの特定のキーを選択することを備えてもよい。

いくつかの実施形態では、空間モデルは、キー中心付近の以前のタッチ入力のヒートマップに基づく第１のガウス分布を用いて、グローバルキー中心オフセットを求め、空間モデルは、グローバルキー中心オフセットに基づいてタッチ入力をマッピングする。いくつかの実施形態では、方法はさらに、第２のガウス分布に基づいてタッチ入力にキーレベル中心オフセットを適用することを備え、空間モデルは、キーレベル中心オフセットに基づいてタッチ入力をマッピングする。いくつかの実施形態では、空間モデルは、キーボードレイアウト内のすべてのキーが１つのパラメータを共有するグローバルレベル訂正、同じクラスタ内のすべてのキーが１つのパラメータを共有するクラスタレベル訂正、または各キーがそれ自体のガウスパラメータを有するキーレベル訂正のうちの１つ以上を提供する。いくつかの実施形態では、方法はさらに、ヒートマップに基づいて、仮想キーボードの少なくとも一部の外観を調整することを備える。いくつかの実施形態では、仮想キーボードの少なくとも一部の外観を調整することは、スペースバーの外観を調整して、スペースバーの少なくとも上または下のスペースを拡張することを含む。いくつかの実施形態では、方法はさらに、特定のキーに対応する文字を含む１つ以上の単語を判断することと、１つ以上の単語を修正して、言語モデルに基づいてスペースを追加または削除することとを備える。いくつかの実施形態では、方法はさらに、ヒートマップを更新して、所定量の時間よりも古い以前のタッチを破棄することを備える。いくつかの実施形態では、方法はさらに、タッチ入力を提供するユーザのアイデンティティを判断することを備え、アイデンティティは、ユーザによって提供される認証入力に基づいて判断され、方法はさらに、ユーザに対応するヒートマップを検索することを備える。

コンピューティングデバイスは、プロセッサと、プロセッサによって実行されるとプロセッサに動作を行わせる命令を格納したメモリとを備えてもよく、動作は、仮想キーボード上の位置におけるユーザによるタッチ入力を検出することと、空間モデルを適用して、仮想キーボードの１つ以上の第１の候補キーにタッチ入力をマッピングすることとを含み、空間モデルは、以前のタッチ入力のヒートマップに基づいて、１つ以上の第１の候補キーにタッチ入力をマッピングし、動作はさらに、言語モデルを適用して、仮想キーボードの１つ以上の第２の候補キーにタッチ入力をマッピングすることを含み、言語モデルは、タッチ入力の位置を１つ以上の次の予測キーと比較することに基づいて、１つ以上の第２の候補キーにタッチ入力をマッピングし、動作はさらに、タッチ入力で示されるような１つ以上の第１のおよび第２の候補キーのうちの特定のキーを選択することを含む。

いくつかの実施形態では、空間モデルは、キー中心付近の以前のタッチ入力のヒートマップに基づく第１のガウス分布を用いて、グローバルキー中心オフセットを求め、空間モデルは、グローバルキー中心オフセットに基づいてタッチ入力をマッピングする。いくつかの実施形態では、動作はさらに、第２のガウス分布に基づいてタッチ入力にキーレベル中心オフセットを適用することを含み、空間モデルは、さらにキーレベル中心オフセットに基づいてタッチ入力をマッピングする。いくつかの実施形態では、空間モデルは、キーボードレイアウト内のすべてのキーが１つのパラメータを共有するグローバルレベル訂正、同じクラスタ内のすべてのキーが１つのパラメータを共有するクラスタレベル訂正、または各キーがそれ自体のガウスパラメータを有するキーレベル訂正のうちの１つ以上を提供する。いくつかの実施形態では、動作はさらに、ヒートマップに基づいて、仮想キーボードの少なくとも一部の外観を調整することを含む。いくつかの実施形態では、仮想キーボードの少なくとも一部の外観を調整することは、スペースバーの外観を調整して、スペースバーの少なくとも上または下のスペースを拡張することを含む。

１つ以上のコンピュータによって実行されると、１つ以上のコンピュータに動作を行わせる命令を格納した非一時的コンピュータ読取可能媒体であって、動作は、仮想キーボード上の位置におけるユーザによるタッチ入力を検出することと、空間モデルを適用して、仮想キーボードの１つ以上の第１の候補キーにタッチ入力をマッピングすることとを含み、空間モデルは、以前のタッチ入力のヒートマップに基づいて、１つ以上の第１の候補キーにタッチ入力をマッピングし、動作はさらに、言語モデルを適用して、仮想キーボードの１つ以上の第２の候補キーにタッチ入力をマッピングすることを含み、言語モデルは、タッチ入力の位置を１つ以上の次の予測キーと比較することに基づいて、１つ以上の第２の候補キーにタッチ入力をマッピングすることを含み、動作はさらに、タッチ入力で示されるような１つ以上の第１のおよび第２の候補キーのうちの特定のキーを選択することを含む。

いくつかの実施形態では、空間モデルは、キー中心付近の以前のタッチ入力のヒートマップに基づく第１のガウス分布を用いて、グローバルキー中心オフセットを求め、空間モデルは、グローバルキー中心オフセットに基づいてタッチ入力をマッピングする。いくつかの実施形態では、動作はさらに、第２のガウス分布に基づいてタッチ入力にキーレベル中心オフセットを適用することを含み、空間モデルは、さらにキーレベル中心オフセットに基づいてタッチ入力をマッピングする。いくつかの実施形態では、動作はさらに、ヒートマップに基づいて、仮想キーボードの少なくとも一部の外観を調整することを含む。いくつかの実施形態では、仮想キーボードの少なくとも一部の外観を調整することは、スペースバーの外観を調整して、スペースバーの少なくとも上または下のスペースを拡張することを含む。

本特許または本出願ファイルは、少なくとも１つのカラー図面を含む。カラー図面を有する本特許または本特許出願公報のコピーは、請求および必要な料金の支払いに応じて庁から提供される。

本明細書で説明するいくつかの実施形態に係る、ネットワーク環境の例を示すブロック図である。 本明細書で説明するいくつかの実施形態に係る、コンピューティングデバイスの例を示すブロック図である。 本明細書で説明するいくつかの実施形態に係る、仮想キーボード上のタッチ入力から生成されるヒートマップの例を示す図である。 本明細書で説明するいくつかの実施形態に係る、図３Ａに示すヒートマップに基づいて求められるキーごとのキー中心オフセットの例を示す図である。 本明細書で説明するいくつかの実施形態に係る、キー訂正を仮想キーボードのキーに適用するための方法の例を示すフローチャートである。 仮想キーボード上のキー中心とユーザのタッチ入力との間のｘ寸法の差およびｙ寸法の差の例を示す図である。 仮想キーボード上のスペースバーについてのタッチ入力の例を示す図である。 本明細書で説明するいくつかの実施形態に係る、スペースバーに関するタッチ入力についてのｘ寸法の変化およびｙ寸法の変化の計算の例を示す図である。 本明細書で説明するいくつかの実施形態に係る、スペースバーにマッピングされるタッチ入力の数を増やすために空間モデルによって使用されるガウス分布の他の例を示す図である。 本明細書で説明するいくつかの実施形態に係る、スペースバーの位置を修正する２つの異なる方法の例を示す図である。 スペースバーについてのユーザのタッチ入力が傾斜しているとヒートマップが示す、仮想キーボードの例を示す図である。 本明細書で説明するいくつかの実施形態に係る、文字キーとファンクションキーとの間の仮想的な区別を有する仮想キーボードの例を示す図である。 本明細書で説明するいくつかの実施形態に係る、スペースバーキーが隣接するキーから下方向にシフトしずれている仮想キーボードの例を示す図である。 本明細書で説明するいくつかの実施形態に係る、スペースバーキーの代わりにブランクスペースを有する仮想キーボードの例を示す図である。 本明細書で説明するいくつかの実施形態に係る、スペースバーキーの上および下の分離を用いる例を示す図である。 本明細書で説明するいくつかの実施形態に係る、仮想キーボード上で受信されるタッチ入力に基づいて特定のキーを選択する方法の例を示すフローチャートである。

詳細な説明
いくつかの実施形態では、キーボードアプリケーション（たとえば、デバイスオペレーティングシステムの一部または別個のアプリケーションでもよい）が、仮想キーボード上の位置におけるユーザによるタッチ入力を検出する。たとえば、ユーザは、「ｍｏｒ」を入力した後に、「ｂ」、「ｎ」、およびスペースバー付近の仮想キーボード上の地点をタッチする。キーボードアプリケーションは、動的空間モデルを適用して、仮想キーボードの１つ以上の第１の候補キーにタッチ入力をマッピングする。この例では、空間モデルは、ユーザによる以前のタッチ入力のヒートマップに基づいて、１つ以上の第１の候補キー（たとえば、「ｂ」、「ｎ」、およびスペースバー）にタッチ入力をマッピングする。キーボードアプリケーションは、言語モデルを適用して、仮想キーボードの１つ以上の第２の候補キーにタッチ入力をマッピングする。たとえば、言語モデルによると、通常起こり得る「ｍｏｒｎｉｎｇ」などの単語に対応するため、文字が「ｎ」と入力される確率は５０％であり、そう多くは起こらない「ｍｏｒａｌ」または「ｍｏｒａｔｏｒｉｕｍ」に対応するため、入力される文字が「ａ」である確率は２０％であり、さらに一般的ではない「ｍｏｒｂｉｄ」に対応するため、文字が「ｂ」と入力される確率は１０％であり、「ｍｏｒ」は適切な単語ではないため（英語では、および、ユーザ固有の辞書がある場合そのような辞書では）、文字が空白（スペースバーキーの選択に対応する）である確率は０％である。キーボードアプリケーションは、タッチ入力によって示されるような１つ以上の第１のおよび第２の候補キーのうち特定のキーを選択する。たとえばタッチ位置およびヒートマップに基づいて、タッチ入力が「ｎ」キーに対応する確率が７０％であると空間モデルが示し、かつ、タッチ入力が単語予測に基づいて「ｎ」キーに対応する確率が５０％であると言語モデルが示す場合、キーボードアプリケーションは、組合わせ結果に基づいて「ｎ」を選択する。このような組合わせ結果を用いることによって、ユーザのタイピングミスの減少、およびより早いデータ入力が可能になる。それゆえ、人間とコンピュータとの間のインターフェイスが向上される。

いくつかの実施形態では、キーボードアプリケーションは、ヒートマップに基づいて仮想キーボードの一部を修正する。たとえば、以前の入力およびタッチ入力がデフォルトのキー中心より上にあるとキーボードアプリケーションが判断する場合、キーボードアプリケーションは、仮想キーボード（たとえば、スペースバーおよび／または他のキー）の一部の表示をより高くなるように移動させ得る。他の例では、キーボードアプリケーションは表示を移動させなくてもよく、代わりに、スペースバーの上の所定の数の画素を受取ったタッチがスペースバーに対応していると解釈してもよい。

ネットワーク環境１００
図１は、ネットワーク環境１００の例を示すブロック図である。いくつかの実施形態では、ネットワーク環境１００は、１つ以上のモバイルデバイス、たとえば、モバイルデバイス１１５ａ、１１５ｎを含み得る。モバイルデバイス１１５ａは、キーボードアプリケーション１０３を含み得る。キーボードアプリケーション１０３は、ユーザからタッチ入力を受信し、空間モデルおよび言語モデルに基づいて、仮想キーボードで表示するために、特定のキーを選択してもよい。

モバイルデバイス１１５は、ネットワーク１０５などのネットワークと通信可能である。ネットワーク１０５は、インターネット、ローカルエリアネットワーク（ＬＡＮ）、無線ネットワーク、スイッチまたはハブ接続などのうちの１つ以上を含む、任意の種類の通信ネットワークでもよい。いくつかの実施形態では、ネットワーク１０５は、たとえばピアツーピア無線プロトコル（たとえば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ－Ｄｉｒｅｃｔ、Ｕｌｔｒａｗｉｄｅｂａｎｄなど）などを用いた、デバイス間のピアツーピア通信を含み得る。２つのモバイルデバイス１１５ａおよび１１５ｎ間のピアツーピア通信の一例が、矢印１３２によって示されている。

また、ネットワーク環境１００は、１つ以上のサーバシステム、たとえば図１の例におけるサーバシステム１０１を含み得る。サーバシステム１０１は、データベース１９９または他の記憶デバイスを含み得る。いくつかの実施形態では、サーバシステム１０１は、キーボードアプリケーション１０３についてのアップデートをモバイルデバイス１１５に送ってもよい。

図示を簡単にするために、図１は、サーバシステム１０１およびデータベース１９９について１つのブロックを示し、モバイルデバイス１１５ａおよび１１５ｎについて２つのブロックを示す。サーバブロック１０１および１９９は、複数のシステム、サーバデバイス、およびネットワークデータベースを表してもよく、ブロックは、図示されているものとは異なる構成で設けることが可能である。たとえば、サーバシステム１０１は、ネットワーク１０５を介して他のサーバシステムと通信可能な複数のサーバシステムを表し得る。いくつかの実施形態では、サーバシステム１０１は、たとえばクラウドホスティングサーバを含み得る。いくつかの実施形態では、データベース１９９および／または他の記憶装置は、サーバシステム１０１と分離されるサーバシステムブロック（複数可）に設けることが可能であり、ネットワーク１０５を介してサーバシステム１０１および他のサーバシステムと通信可能である。

任意の数のモバイルデバイス１１５が設けられてもよい。各モバイルデバイス１１５は、仮想キーボードを用いる任意の種類の電子デバイス、たとえば、ポータブルデバイス、携帯電話、スマートフォン、タブレットコンピュータ、カメラ、スマートディスプレイ、ウェアラブルデバイス（たとえば、ディスプレイ眼鏡またはゴーグル、リストウォッチ、ヘッドセット、アームバンド、宝石など）、パーソナルデジタルアシスタント（ＰＤＡ）、メディアプレーヤ、ゲームデバイスなどであり得る。また、モバイルデバイス１１５は、データベース１９９に類似のローカルデータベースまたは他の記憶装置を含んでもよい。いくつかの実施形態では、ネットワーク環境１００は、図示されたコンポーネントをすべて有していなくてもよい、および／または、本明細書で説明するものの代わりに、またはこれらに加えて、他の種類の要素を含む他の要素を有してもよい。

様々な実施形態では、ユーザ１２５は、それぞれのモバイルデバイス１１５ａ、１１５ｎを用いて、サーバシステム１０１と、および／または互いに通信してもよい。いくつかの例では、ユーザ１２５は、それぞれのモバイルデバイス１１５上で実行されるキーボードアプリケーション１０３を介して互いに、および／または、ネットワークサービス、たとえば、サーバシステム１０１上で実現されるメッセージングアプリケーション、ソーシャルネットワークサービス、画像ホスティングサービス、または他の種類のネットワークサービスを介して、サーバシステム１０１とインタラクトしてもよい。たとえば、それぞれのモバイルデバイス１１５ａ、１１５ｎは、１つ以上のサーバシステム、たとえば、サーバシステム１０１に対するデータ通信を行ってもよい。

いくつかの実施形態では、サーバシステム１０１は、各モバイルデバイス１１５が、サーバシステム１０１および／またはネットワークサービスにアップロードされる通信コンテンツまたは共有コンテンツを受信できるように、キーボードアプリケーション１０３アップデートなどの適切なデータを、モバイルデバイス１１５ａ、１１５ｎに提供してもよい。

コンピューティングデバイス２００の例
図２は、本明細書で説明する１つ以上の特徴を実現するために使用可能なコンピューティングデバイス２００の例を示すブロック図である。一例では、コンピューティングデバイス２００は、キーボードアプリケーション１０３を実現するために使用されるモバイルデバイス１１５でもよい。コンピューティングデバイス２００は、上述のような任意の好適なコンピュータシステム、サーバ、または他の電子もしくはハードウェアデバイスであり得る。

本明細書で説明する１つ以上の方法は、任意の種類のコンピューティングデバイスで実行可能なスタンドアロンプログラム、ウェブブラウザで実行されるプログラム、モバイルコンピューティングデバイス（たとえば、携帯電話、スマートフォン、スマートディスプレイ、タブレットコンピュータ、ウェアラブルデバイス（リストウォッチ、アームバンド、宝石、ヘッドウェア、仮想現実ゴーグルまたは眼鏡、拡張現実ゴーグルまたは眼鏡、ヘッドマウントディスプレイなど）、ラップトップコンピュータなど）で実行されるモバイルアプリケーション（「アプリ」）で実行可能である。主な例では、全ての計算は、モバイルコンピューティングデバイス上のモバイルアプリケーション（および／または他のアプリケーション）内で行われる。しかしながら、クライアント／サーバアーキテクチャを用いることも可能である、たとえば、モバイルコンピューティングデバイスは、ユーザ入力データをサーバデバイスに送り、出力用に（たとえば、表示用に）最終的な出力データをサーバから受信する。他の例では、モバイルコンピューティングデバイスと１つ以上のサーバデバイスとの間で計算が分割されてもよい。

いくつかの実施形態では、コンピューティングデバイス２００は、プロセッサ２０２、メモリ２０４、入出力（Ｉ／Ｏ）インターフェイス２０６、ディスプレイデバイス２０８、およびデータベース２１０を含む。プロセッサ２０２、メモリ２０４、Ｉ／Ｏインターフェイス２０６、ディスプレイデバイス２０８、およびデータベース２１０は、バス２２０を介して連結されてもよい。

プロセッサ２０２は、プログラムコードを実行し、かつ、コンピューティングデバイス２００の基本的な動作を制御するための、１つ以上のプロセッサおよび／または処理回路であり得る。「プロセッサ」は、データ、信号または他の情報を処理する任意の好適なハードウェアシステム、メカニズムまたはコンポーネントを含む。プロセッサは、１つ以上のコア（たとえば、シングルコア、デュアルコア、もしくはマルチコア構成）を有する一般的な中央処理装置（ＣＰＵ）、複数の処理ユニット（たとえば、マルチプロセッサ構成）、グラフィック処理ユニット（ＧＰＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）、機能性を実現するための専用回路構成、ニューラルネットワークモデルベース処理を実現するための専用プロセッサ、ニューラル回路、行列計算（たとえば、行列乗算）用に最適化されたプロセッサを有するシステム、または他のシステムを含んでもよい。いくつかの実施形態では、プロセッサ２０２は、ニューラルネットワーク処理を実現する１つ以上のコプロセッサを含んでもよい。いくつかの実施形態では、プロセッサ２０２は、データを処理して確率的な出力を生成するプロセッサでもよい、たとえば、プロセッサ２０２によって生成される出力は、不正確でもよい、または、予想される出力からの範囲内で正確でもよい。処理は、特定の地理的な位置に限定される必要はない、または、時間的な制約を有する必要はない。たとえば、プロセッサは、バッチモードなどでリアルタイムにオフラインでその機能を行ってもよい。処理の一部は異なる時間に、異なる場所で、異なる（または同じ）処理システムによって行われてもよい。コンピュータは、メモリと通信している任意のプロセッサでもよい。

メモリ２０４は典型的に、プロセッサ２０２によるアクセスのためにコンピューティングデバイス２００内に設けられており、プロセッサまたはプロセッサのセットによる実行のための命令を格納するのに好適なランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、電気的消去可能読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリなどの任意の好適なプロセッサ読出し可能記憶媒体でもよく、プロセッサ２０２とは別に位置してもよい、および／またはプロセッサ２０２と一体化されてもよい。メモリ２０４は、キーボードアプリケーション１０３を含む、プロセッサ２０２によってコンピューティングデバイス２００上で実行されるソフトウェアを格納可能である。

Ｉ／Ｏインターフェイス２０６は、コンピューティングデバイス２００を他のシステムおよびデバイスとインターフェイス接続可能にする機能を提供し得る。インターフェイス接続されたデバイスは、コンピューティングデバイス２００の一部として含まれてもよい、または、分離されてコンピューティングデバイス２００と通信してもよい。たとえば、ネットワーク通信デバイス、記憶デバイス（たとえば、メモリおよび／またはデータベース１９９）ならびに入出力デバイスは、Ｉ／Ｏインターフェイス２０６を介して通信可能である。いくつかの実施形態では、Ｉ／Ｏインターフェイスは、入力デバイス（キーボード、ポインティングデバイス、タッチスクリーン、マイク、カメラ、スキャナ、センサなど）および／または出力デバイス（ディスプレイデバイス、スピーカデバイス、プリンタ、モータなど）などのインターフェイスデバイスに接続可能である。たとえば、ユーザがタッチ入力を提供すると、Ｉ／Ｏインターフェイス２０６は、データをキーボードアプリケーション１０３に送信する。

Ｉ／Ｏインターフェイス２０６に接続可能なインターフェイス接続されたデバイスの例は、コンテンツ、たとえば、画像、ビデオ、および／または本明細書で説明するような出力アプリケーションのユーザインターフェイスを表示し、かつ、ユーザからタッチ（またはジェスチャ）入力を受信するために使用可能な１つ以上のディスプレイデバイス２０８を含み得る。たとえば、ディスプレイデバイス２０８は、オンスクリーン仮想キーボードを表示するために用いられてもよい。ディスプレイデバイス２０８は、タッチ検出能力（たとえば、タッチを検出可能な抵抗、容量、または他の回路構成を介して）を含んでもよい。たとえば、ディスプレイデバイス２０８は、ユーザがディスプレイデバイス２０８の特定領域、たとえばディスプレイデバイスの個々の画素、ディスプレイデバイスの画素のクラスタなどをタッチする、またはこれらの領域に指またはスタイラスを近接させると検出する。ディスプレイデバイス２０８は、ローカル接続（たとえば、表示バス）を介して、および／またはネットワーク化された接続を介してコンピューティングデバイス２００に接続可能であり、任意の好適なディスプレイデバイスであり得る。ディスプレイデバイス２０８は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）、またはプラズマ表示画面、ブラウン管（ＣＲＴ）、テレビ、モニタ、タッチスクリーン、３次元表示画面、または他の視覚ディスプレイデバイスなどの任意の好適なディスプレイデバイスであり得る。たとえば、ディスプレイデバイス２０８は、モバイルデバイスに設けられたフラット表示画面、眼鏡形状の要素もしくはヘッドセットデバイスに埋込まれた複数の表示画面、またはコンピュータデバイス用のモニタスクリーンであり得る。

いくつかの実施形態では、ディスプレイデバイス２０８は、たとえば、タッチ性能がディスプレイデバイス２０８、たとえばタッチスクリーンディスプレイに一体化されると、入力デバイスとして直接作用し得る。いくつかの実施形態では、ディスプレイデバイス２０８とは別のタッチ認識層が、コンピューティングデバイス２００に設けられてもよい。これらの実現例では、タッチ認識層はＩ／Ｏインターフェイス２０６の一部でもよく、たとえば、ディスプレイデバイス２０８が仮想キーボードもしくは他のコンテンツを表示する間にタッチ位置を検出してもよい。本明細書の目的で、コンピューティングデバイス２００がハードウェアタッチ検出性能を含み、これによって、ユーザによって提供されるタッチ入力が検出され、ディスプレイデバイス２０８に表示される仮想キーボードの特定位置にマッピングされると推定される。

データベース２１０は、キーボードアプリケーション１０３に関連するデータを格納する。たとえば、データベース２１０は、ユーザの以前のタッチのヒートマップ、ユーザ特有の個人辞書などを格納してもよい。いくつかの実施形態では、ヒートマップは、所定量の時間（たとえば、直近の２４時間、直近の１週間、直近の１時間など）よりも古い以前のタッチを破棄するように更新される。

キーボードアプリケーション１０３
キーボードアプリケーション１０３は、空間モジュール２１２、言語モジュール２１４、およびユーザインターフェイスモジュール２１６を含んでもよい。

空間モジュール２１２は、動的空間モデルを適用して、仮想キーボードの１つ以上の候補キーにタッチ入力をマッピングする。いくつかの実施形態では、空間モジュール２１２は、仮想キーボードの１つ以上の候補キーにタッチ入力をマッピングするために、プロセッサ２０２によって実行可能な命令のセットを含む。いくつかの実施形態では、空間モジュール２１２は、コンピューティングデバイス２００のメモリ２０４に格納され、プロセッサ２０２によってアクセスおよび実行可能であり得る。

いくつかの実施形態では、空間モジュール２１２は、Ｉ／Ｏインターフェイス２０６および／またはディスプレイデバイス２０８を介して、ユーザからタッチ入力を受信する。空間モジュール２１２は、タッチ入力からヒートマップを生成してもよい。いくつかの実施形態では、空間モジュール２１２は、直近の２４時間、直近の１週間などの固定時間に基づいて、ヒートマップを生成する。有利なことに、最近のヒートマップを維持することによって、ユーザがモバイルデバイスのケースまたはカバーを変更する、電話を異なる態様で握る、電話を異なる態様で持つ（たとえば、縦置きもしくは横置きの方向で）、手にけがをする、または他の態様では入力パターンを変更するときなどについて、ユーザのタッチ入力におけるパターンの変化を説明し得る。空間モジュール２１２は、データベース２１０にヒートマップを格納し得る。いくつかの実施形態では、ユーザによる以前のタッチ入力のヒートマップを生成するのにデータが不十分な場合、空間モジュール２１２は、デフォルトのヒートマップを出発点として用いてもよい。

いくつかの実施形態では、複数のユーザは、同じモバイルデバイス１１５を用いてもよい。空間モジュール２１２は、モバイルデバイス１１５のために複数のヒートマップを生成し、特定のユーザに対応するヒートマップに基づいて、ユーザのためにヒートマップを検索してもよい。空間モジュール２１２は、生体認証データ（たとえば、指紋、カメラ識別など）、パスワード、パスパターンといった、ユーザによって提供される認証入力に基づいてタッチ入力を提供するユーザのアイデンティティを判断してもよい。認証入力は、ユーザによって具体的に実現される場合、認証目的のみで用いられ、タッチ入力の目的で用いられない。ユーザには、特定の種類の認証を有効または無効にするオプションが設けられる、たとえば、ユーザは、生体認証を完全に切ることが可能である。認証は、ローカルにオンデバイスで行われ、ユーザ識別可能なデータは他のデバイスに送信されない。

いくつかの実施形態では、空間モジュール２１２は、ユーザによる以前のタッチ入力のヒートマップに基づいて、１つ以上の第１の候補キーにタッチ入力をマッピングする。たとえば、ユーザが一貫してキーの各々の上の中心をタップするとヒートマップが示す場合、空間モジュール２１２は、候補キーの中心（すなわち、デフォルトのキー中心）にタッチ入力をマッピングする。他の例では、ユーザが一貫して仮想キーボード上のキーの上を左側にタップするとヒートマップが示す場合、空間モジュール２１２は、タッチ入力の下で右側のキーに対応するようにタッチ入力をマッピングする。空間モジュール２１２は、ユーザがコンピューティングデバイス２００にアクセスしていると識別されたことに基づいて、ユーザのためにヒートマップを検索してもよい。ヒートマップは、異なるキー、たとえば、（異なる手の異なる指でアクセスされることもある）仮想キーボードの左および右の部分についてキー中心からの異なるオフセット、異なる行についての異なるオフセット（たとえば、ユーザがデバイスを握り仮想キーボード上でタイプすると、ユーザの指から異なる距離になり得る）、または個々のキーについて異なるオフセットを示し得る。いくつかの実施形態では、空間モジュール２１２は、以下で説明するようなヒートマップに基づいて調整を行う。

空間モジュール２１２は、ユーザ固有の実際のキー中心の位置、および場所間の差を求めるために、ユーザ固有の実際のキー中心の位置がデフォルトのキー中心の位置と異なる態様を特定するために用いられてもよい。たとえば、図３Ａは、試験データ入力セッション中にボランティアのユーザから取得される、仮想キーボード上の以前のタッチ入力から生成されるヒートマップの図３００の例を示す。この例では、タッチ入力データは、各々が５０個の文を入力した５０人のボランティアのユーザから取得された。図３００は、仮想キーボード上の２，５００個の文（約１２，０００個の単語）についての５０人のユーザのタッチ入力のすべての分布を含む。灰色の点は、ユーザの実際のタッチ入力を表し、赤い点は、デフォルトのキー中心（すなわち、キーボードレイアウトからのキー中心）を表し、青い点は、ユーザのタッチ入力から計算されるキー中心を表し、緑の点は、キー訂正を引起こした（誤ったキーが仮想キーボードによって解釈されたため、ユーザは訂正を行った）タッチ入力を表す。図示するように、緑の点はキーの端付近で生じる。図３Ａは、特に仮想キーボードの第１の行のキーについて、このデータセットにおけるボランティアのユーザが、デフォルトのキー中心よりも低くタッピングする傾向があったことを示す。

なお、図３Ａは、複数のボランティアのユーザから取得される集合体データから生成された特定の種類のヒートマップを示すが、異なるユーザは異なるタッチパターン、および異なるキーをタッチする対応するオフセット点を有することがある。実際の使用では、さらに以下で説明するように、空間モジュール２１２は、ユーザがオンスクリーン仮想キーボードを用いるとユーザごとにオンデバイスでローカルにヒートマップを生成することが可能であり、必要な場合に修正アクティビティに携わることが可能である。時間と共に、ユーザが仮想キーボードを用いてテキストを入力するにつれて、ヒートマップはタッチ入力のユーザのパターンを表す、たとえば、ユーザは「ｓ」キーとの境界により近接する「ａ」キーをタッチする、ユーザは「ｃ」「ｖ」「ｂ」および「ｎ」キーとの境界により近接して、上部に向かってスペースバーをタッチする、などを表す。

図３Ｂは、本明細書で説明するいくつかの実施形態に係る、図３Ａに示すヒートマップに基づいて求められる、キーごとの（単位画素における）キーの幾何学的中心に対するタッチ入力間の距離として測定されるキー中心オフセットを示す図３５０の例である。この例では、ｘ＿軸についてのオフセット（ｘ＿オフセット）は青で示され、ｙ＿軸についてのオフセット（ｙ＿オフセット）は赤で示される。最も左側のデータ点は、スペースバーについてのオフセットである。隣は、英語のアルファベットについてのキーである。図は、特定の文字が他よりも著しいオフセットを有すると示す。たとえば、文字「ｊ」は、最も高いｘ＿オフセットおよびｙ＿オフセットを有する。

いくつかの実施形態では、空間モジュール２１２は、仮想キーボードのデフォルトのキー中心とユーザのタッチ入力によって示される実際のキー中心との間のキーオフセットを求め、かつ、キーオフセットに基づいて動的修正を行うことによって、動的空間モデルを生成する。いくつかの実施形態では、空間モデルはガウス分布を用いる。いくつかの実施形態では、空間モジュール２１２は、異なるキーボードレイアウトについて異なる空間モデルを維持する。

以下の定義は、以下に示す式において用いられる。x,yは、タッチ入力の座標であり、単位は画素（画素座標）である。keyは、ユーザがタッピングすると予想されるキーである。key_actualは、仮想キーボードからのタップされるキーの実際のキー中心位置である。d(x,y,key_default)は、ユーザの実際のタッチ入力からkeyのデフォルトのキー中心までの差であり、ベクトルである。d(x,y,key_actual)は、ユーザの実際のタッチ入力から実際のキー中心までの差である。d(key_actual,key_default)は、キー中心オフセットであり、ユーザの実際のキー中心からデフォルトのキー中心までの差として定義される。σ_dは、空間モデルの現在のガウス分布の基準である。E[d()]は、ある特定の距離の期待値である。

ある実施形態では、空間モジュール２１２は、以下の式を用いて調整スコアを求める。

タッチ入力からデフォルトのキー中心までの差は、以下の式で定義されるように、実際のキー中心に対するタッチ入力と、デフォルトのキー中心に対する実際のキー中心との合計として扱うことが可能である。

ある特定のキーのタッチ入力の分布は、実際のキー中心の周囲であり、以下のように定義される。

ここで、

以下の式が得られる。

キーオフセットについての上記の式は、空間モジュール２１２がデフォルトのキー中心からのキー中心オフセットとユーザのタッチ入力とを予測すると示している。いくつかの実施形態では、これは、複雑な学習および計算を必要としない教師なしアルゴリズムであり、機械学習が空間モジュール２１２の一部でないことを意味する。いくつかの実施形態では、空間モジュール２１２は、重みを有するデフォルトキー中心にキー中心オフセットを追加して、個別化されたキー中心を取得する。

空間モジュール２１２は、（スペースバーを含む）キーごとにキーオフセットを求めてもよい。キーオフセットは、指がタッチする領域よりも広い場合などのユーザの指のエラー、タイピングするときのユーザの位置／視点、および、左手、右手、片手、または両手などのユーザのタイピングの癖によって生じる場合がある。いくつかの実施形態では、空間モジュール２１２は、キーオフセットに基づいて仮想キーボードの候補キーにタッチ入力をマッピングする。たとえば、タッチ入力が「ｄ」よりも「ｅ」に近い場合、実際のキー中心位置がデフォルトのキー中心よりも高いことに基づいて、空間モジュール２１２は、候補キーは「ｄ」であると判断してもよい。いくつかの実施形態では、空間モジュール２１２は、空間モデルに基づいて、仮想キーボードの少なくとも一部の位置を調整する。たとえば、前述の例を続けると、空間モジュール２１２は、ユーザインターフェイスモジュール２１６に、（たとえば、「ｄ」キーよりも上の所定数の画素についてのタッチが、タッチされるかもしれない上の実際のキー、たとえば「ｅ」または「ｒ」ではなく「ｄ」キーを示すと解釈することによって）、「ｄ」キーの位置が仮想キーボード上でより高くなるように調整して、キーオフセットを減らすように指示する。

典型的に、仮想キーボードの位置および視角によるタイピングミスは、単語のタイピング中は一定のままである。その結果、キー中心オフセットが文字間で変化しそうにないため、空間モジュール２１２は単語予測についての定数としてキー中心オフセットを用いることによって、単語レベルの学習を適用する。空間モジュール２１２は、単語の第１の部分についてキーオフセットを求め、その後、単語の第２の部分を予測する。たとえば、ユーザが「ｉｎｔｅｒｎａｔｉｏｎａｌｉｚａｔｉｏｎ」とタイピングしていて、文字「ａ」についての空間スコアを計算するときに「ｉｎｔｅｒｎａｔｉｏｎ」とすでにタイプしている場合、空間モジュール２１２は、「ｉｎｔｅｒｎａｔｉｏｎ」のタッチ入力に基づいてキー中心オフセットを求め、空間モデルのキー中心に対してキー中心オフセットを適用し、個別化された空間スコアを計算する。

いくつかの実施形態では、空間モジュール２１２は、空間モデル内の以下の関数のうちの１つ以上を用いる。これらの関数は、学習される最低限の数のタッチ入力を特定するキー中心サンプルサイズ、タップタイピングについてキー中心に適用されるキー中心オフセットの重みであるタップキー中心オフセット重み、および、ジェスチャタイピングについてのキー中心に適用されるキー中心オフセットの重みであるジェスチャキー中心オフセット重みである。

いくつかの実施形態では、空間モジュール２１２は、単語レベルの学習を行う代わりにインメモリー学習を行う。これによって、単語の長さが短すぎる単語レベルの学習における不具合、およびノイズが不正確さを生じるほど個別化されたキー中心に影響を与える例における不具合が対処される。空間モジュール２１２は、データベース２１０に格納されたキャッシュにおけるユーザ履歴（そのような安全なインメモリー格納についてユーザから特定の許可を有する）を維持することによって、インメモリー学習を行う。より詳細に、ユーザが単語のタイピングを始めると、空間モジュール２１２は、インメモリー履歴からキー中心オフセットを取出し、キー中心オフセットをキー中心に適用し、空間スコアを計算し、インメモリー履歴を更新する。いくつかの実施形態では、空間モジュール２１２は、空間モデル内の以下の関数を用いる。これらの関数は、学習される最低限の数のタッチ入力を特定するキー中心サンプルサイズ、および、タップタイピングについてキー中心に適用されるキー中心オフセットの重みであるタップキー中心オフセット重みである。

いくつかの実施形態では、空間モジュール２１２は、スペースバーについてのタッチ入力の解釈を変更することによって、仮想キーボードのスペースバーについてキー訂正を行う。たとえば、スペースバー上に直接ないタッチ入力をユーザが提供する時であっても、空間モジュール２１２は、それをスペースバーのタッチに対応すると解釈してもよい。空間モジュール２１２は、キー訂正を行う態様を判断するためにガウス分布を用いてもよい。

いくつかの実施形態では、空間モジュール２１２は、空間モデルのキー中心の周りのガウス分布を用いて、タッチ入力の分布を求める。たとえば、空間モジュール２１２は、以下のパラメータを有するガウスモデルパラメータ関数を用いてもよい。これらのパラメータは、ｘ軸におけるオフセット、ｙ軸におけるオフセット、ｘ軸における分散、ｙ軸における分散（これがない場合、ｘ軸における分散が用いられる）、デフォルトが分布を独立分布として扱うことである２次元分布の分散、およびデータ点の全量である。ガウスパラメータの定義に基づいて、空間モジュール２１２は、以下の異なるレベルの個別化されたパラメータを維持する。これらのパラメータは、キーボードレイアウト内のすべてのキーが１つのパラメータを共有するグローバルキー中心オフセットに基づくグローバルレベル訂正、同じクラスタ内のすべてのキーが１つのパラメータを共有するクラスタキー中心オフセットのクラスタレベル訂正、および、各キーがそれ自体のガウスパラメータを有するキーレベル中心オフセットのキーレベル訂正である。

いくつかの実施形態では、空間モジュール２１２は、グローバルキー中心オフセットについて用いられる空間モデルに加えて、キー訂正について別の空間モデルを生成する。このように、空間モジュール２１２は、スペースの入力前およびスペースの入力後に生じる予測を説明する。たとえば、空間モジュール２１２は、第１の空間モジュールを用いて、ある単語、たとえば「ｍｏｒｎｉｎ」が「ｇ」の単語予測を有する前に単語予測を行い、ユーザが「ｈ」（これは仮想キーボード上で「ｇ」のすぐ右にある）をタイプする場合であっても、空間モジュール２１２は文字「ｇ」を選択する。空間モジュール２１２は、第２の空間モジュールを用いて、単語全体が書込まれると単語予測を行う、たとえば、空間モジュール２１２は、書き込まれた単語「ｊａｐｐｙ」を「ｈａｐｐｙ」に変える。

空間モジュール２１２は、同じユーザについて異なる空間モデルを維持してもよい。たとえば、異なる空間モデルは、肖像画書式または風景画書式などの異なるデバイス方向と関連付けられてもよい。さらに、デバイスが複数のユーザによって使用される場合、それぞれのユーザの許可を得て、異なるオンデバイス空間モデルが異なるユーザについて維持されてもよい。ユーザ特有のヒートマップ、空間モデルの生成、格納、および／もしくは使用、ならびに／またはタッチ入力に基づく候補キーの判断は、特定のユーザ許可で行われる。各ユーザには、そのような個別化を有効または無効にするオプションが設けられる。たとえば、ユーザには、用いられてもよい情報の種類（たとえば、以前のタッチ履歴）および個別化の利点（たとえば、タイピングミスの減少およびデータ入力の高速化）を明瞭に示すメニューが提示されてもよい。ユーザには、いつでも個別化を有効／無効にするオプションが設けられる。以前のタッチ入力などのユーザデータ、およびヒートマップまたは空間モデルなどの導出情報は、オンデバイスでローカルに格納され、仮想キーボードを介してデータ入力を向上させる目的で具体的に用いられる。ユーザが個別化を無効にし、および／またはデータの削除を選択する場合、そのような情報は破棄される。ユーザが個別化特徴を無効にする場合、仮想キーボードを用いたユーザのデータ入力に関する情報はアクセスされない、または格納されない。空間モジュール２１２は、完全にオンデバイスで動作する。

図４は、本明細書で説明するいくつかの実施形態に係る、仮想キーボードにおける各キーにキー訂正を適用するための方法４００の例を示すフローチャートである。この例では、空間モジュール２１２は、ユーザからタッチ入力データを受信し４０５、グローバルレベルキー中心オフセットをタッチ入力データに適用するために、データベース２１０からユーザタッチ履歴を取出し４１０、特定のキーについて訂正するためにキーレベル訂正（ＫＣ）をタッチ入力データに適用するべきかどうかを判断し４１５、グローバルキー中心オフセットについて用いられる空間モデルを更新する４２０。

本実施形態の場合、空間モジュール２１２は、特定の前提条件が満たされるとキーレベル訂正を適用しない。たとえば、サンプルサイズ（たとえば、タイピングされている単語）が所定閾値を下回る場合、空間モジュール２１２は、キーレベル訂正を適用せず、空間モジュール２１２は、キー中心オフセットの学習重みをタッチ入力に適用する、または、空間モジュール２１２は、キー中心分散の学習重みをタッチ入力に適用する。いくつかの実施形態では、スペースバーはキーであるが、より大きなｘ範囲を有するため、空間モジュール２１２は異なるルールをスペースバーに適用する。たとえば、ルールは文字キーについての場合と異なるため、空間モジュール２１２は、スペースバーに対応するタッチ入力についてのグローバルキーオフセットについて用いられる空間モデルを更新しなくてもよい。方法４００は、付加的なタッチ入力データが受信されると繰返されてもよい。

いくつかの実施形態では、空間モジュール２１２は、ガウス分布をキーレベル訂正の一部として用いて、空間スコアを生成する。図５Ａは、いくつかの実施形態に係る、空間モジュール２１２が仮想キーボード上のキーの中心とユーザのタッチ入力との間のｘ寸法（ｄｘ）の差およびｙ寸法（ｄｙ）の差を求める態様を示す図５００である。キー（たとえば、スペースバー）の幅または高さが通常のキー（たとえば、「ｎ」）よりも広いキーの場合、ユーザはキーの中心をタッチしないかもしれない。たとえば、図５Ｂは、スペースバーについてのタッチ入力を示す図５２５であり、スペースバーの中心をタッチしないことに加えて、ユーザによってはスペースバーの外側をタッチすることさえあると示す。

いくつかの実施形態では、空間モジュール２１２は、以下の式を用いてキーの限界を求める。

図５Ｃは、スペースバーを参照したタッチ入力についてｘ寸法（ｄｘ）の変化およびｙ寸法（ｄｙ）の変化を計算する態様を示す図５５０の例である。図５Ｃは、Ｃキー、Ｎキー、およびスペースバーについてのデフォルトのキー中心を灰色の円で示す。図５Ｃは、タッチ入力を白抜きの円で示す。図５Ｃに示されるように、スペースバーのｘ＿下方＿限界は、キー「Ｃ」の中心ｘと同じ値であり、スペースバーのｘ＿上方＿限界は、キー「Ｎ」の中心ｘと同じ値である。

幅が通常のキーよりも広いキーの場合（たとえば、スペースバーの場合）、空間モジュール２１２は、以下の式を用いてｄｘを求める。

高さが通常のキーよりも高いキーの場合、空間モジュール２１２は、式１１～１３と同様の式を用いてｄｙを求めるが、ｙがｘに置き換わる。

いくつかの実施形態では、空間モジュール２１２は、キーレベル訂正の一部として拡張バージョンのガウス分布を用いて、空間スコアを生成する。図５Ｄは、仮想キーボード上のＣおよびＮキーとスペースバーとの間の付加的な重なりを有する空間モデルによって用いられるガウス分布を示す図５７５である。この例では、空間モジュール２１２は、図５Ｄにおいて破線で示されるように、１．５の値を有するガウス＿標的＿サイズ＿関数を用いる。空間モジュール２１２は、すべてのキーの幅および高さにガウス＿標的＿サイズ＿関数を乗算し、かつ、通常のキー幅および通常のキー高さにガウス＿標的＿サイズ＿関数を乗算する。その結果、「Ｃ」キーとスペースバーとの、または「Ｎ」キーとスペースバーとの間のタッチ入力は、より小さな重なりを有する拡張的でないガウス分布を用いる代わりに、候補キー「Ｃ」およびスペースバーまたは「Ｎ」およびスペースバーにタッチ入力をマッピングしてもよく、そのため、空間モジュール２１２は、候補キー「Ｃ」もしくはスペースバーまたは候補キー「Ｎ」もしくはスペースバーのいずれかにタッチ入力をマッピングする。

図５Ｄを続けると、空間モジュール２１２は、すべてのキーの幅および高さにガウス＿標的＿サイズ＿関数を乗算することによって、スペースバーについてのエラーｘ＿下方＿限界およびｘ＿上方＿限界を取得する。スペースバーのｘ＿下方＿限界はキーＣの中心ｘより小さく、スペースバーのｘ＿上方＿限界はキーＮの中心ょり大きいため、ｄｘによって、空間モジュール２１２は、ガウス＿標的＿サイズ＿関数を用いずにガウス分布を用いる場合よりも、スペースバーに対してより大きな空間スコアを関連付ける。

いくつかの実施形態では、空間モジュール２１２は、仮想キーボードの少なくとも一部の外観を調整することによって、仮想キーボードのキーについてキー訂正を行う。仮想キーボードの外観を調整することによって、空間モジュール２１２によってマッピングされるように、仮想キーボードのキーの限界に関してより鮮明になる。たとえば、空間モジュール２１２は、たとえばヒートマップによって示されるような仮想キーボードディスプレイをキーの位置により近接させることによって、仮想キーボード全体の位置を移動させて、キーオフセットを減らす。他の例では、空間モジュール２１２は、ヒートマップに基づいて特定のキーの外観を修正する。たとえば、空間モジュール２１２は、ヒートマップに基づいて、キー「Ｎ」についてのキーオフセットがすべての文字キーのうちで最大であると判断してもよく、その結果、仮想キーボード上のキー「Ｎ」の限界のサイズを大きくする（その内部のタッチは、空間モジュール２１２によって「Ｎ」キーにマッピングされてもよい）。

いくつかの実施形態では、空間モジュール２１２はスペースバーについて外観を調整する。たとえば、空間モジュール２１２がヒートマップに基づいて、タッチ入力がスペースバーに対応するはずであるがタッチ入力がスペースバーの外側であると判断するいくつかの実施形態では、空間モジュール２１２はユーザインターフェイスモジュール２１６に、タッチ入力のヒートマップに基づいてスペースバーの外観が調整されるユーザインターフェイスを生成するように指示する。空間モジュール２１２は、ユーザインターフェイスモジュール２１６に、キーボード位置を（たとえば数ピクセル、たとえば、スペースバーの高さの約半分だけ）上げることによって、システムナビゲーションバー（使用されている場合）または他のＵＩ要素に到達するまでスペースバーのクリック可能領域を拡張することによって、スペースバーの下のスペースバークリック可能領域を（たとえば、スペースバー高さの約半分だけ）拡張することによって、またはユーザのタッチ入力の履歴に基づいて求められる高さまでキーボード位置を上げることによって、ディスプレイを修正するように指示してもよい。いくつかの実施形態では、空間モジュール２１２は、ユーザインターフェイスモジュール２１６に、スペースバーの外観がスペースバーの境界を変更することによって調整されるユーザインターフェイスを生成するように指示してもよい。

図６Ａは、本明細書で説明するいくつかの実施形態に係る、スペースバーの位置を修正する２つの異なる方法を示す図６００の例である。この例では、スペース上方の隔離部分と、スペースバー下方からシステムナビゲーションバー６０１までのクリック可能スペースとにおいて受信されるタッチ入力は、依然としてスペースバーの選択に対応するとみなされる。いくつかの実施形態では、空間モジュール２１２は、スペースバーの外観を修正する、または、スペースバーに対応するように、より多くの画素を有するタッチ入力のマッピングを修正する。

図６Ｂは、ヒートマップが、スペースバーについてのユーザからのタッチ入力が傾斜していると示す仮想キーボードを示す図６０５の例である。たとえば、ユーザは「Ｃ」キー付近の左側でスペースバーキーの上部よりも高く、かつ、「Ｎ」キー付近のスペースバーの真上である下方点を有する右側に向かって漸進的に低くタッチする傾向がある。この例では、スペースバーキーについてのヒートマップは、傾斜した破線６０６によって表される。これは、たとえば、ユーザが主に右手でタイプし、親指が他の指よりも高角でタッチ入力を提供する場合に発生する。いくつかの実施形態では、空間モジュール２１２は、重なり領域におけるタッチ入力を検出するために高角のタッチ入力を含むヒートマップを用い、空間モデルを用いて、Ｃ、Ｖ、ＢもしくはＮキーまたはスペースバーについてのタッチ入力が意味されているかどうかを解釈する。それによって、スペースバーの外観は同じであるものの、空間モジュール２１２は、Ｃ、Ｖ、Ｂ、もしくはＮキーまたはさらにはそれらのキーとの重なりにより近接する画素におけるスクリーン上のタッチが、スペースバーに割当てられるような角度でスペースバーに対応するように、より多くの画素を有するタッチ入力をマッピングする。

図６Ｃは、本明細書で説明するいくつかの実施形態に係る、文字キーとファンクションキーとの間の視覚的な区別を有する仮想キーボードを示す図６２５の例である。この例では、ファンクションキーは赤い矩形（これらは仮想キーボードの一部ではなく、ここでは図示の目的で含まれている）の内側である。文字は白で表示され、他のキーは視覚的な区別で表示される。たとえば、キャップスロック、数／文字ファンクションキー、コンマキー、ピリオドキー、およびバックスペースは灰色で表示され、エンターボタンは青で表示され、検索ボタンおよびスペースバーは白で表示されるが、他の色のキーを含むキーの行の一部である。

図６Ｄは、本明細書で説明するいくつかの実施形態に係る、スペースバーを低くシフトして、スペースバーならびにＣ、Ｖ、ＢおよびＮキーに対するタッチ入力マッピング間での区別を可能にすることによって、ユーザインターフェイスモジュール２１６がスペースバーの外観を修正した仮想キーボードを示す図６３０の例である。

図６Ｅは、本明細書で説明するいくつかの実施形態に係る、スペースバーとＣ、Ｖ、ＢおよびＮキーとの間のタッチ入力マッピング間での区別を可能にするためにスペースがないデザインを示す図６５０の例である。この例では、ユーザインターフェイスモジュール２１６は、視覚的な輪郭を有さないスペースバーを有する仮想キーボードを生成している。さらに、空間モジュール２１２は、直接Ｃ、Ｖ、ＢまたはＮキー上でないタッチ入力がスペースバーに対応すると判断する。それによって、直接Ｃ、Ｖ、ＢまたはＮキーのうちの１つの上にない限り、より多くの数のタッチ入力がスペースバーにマッピングされる。

図６Ｆは、本明細書で説明するいくつかの実施形態に係る、スペースバーとＣ、Ｖ、ＢまたはＮキーとの間の混同を解決するためのスペースバーの上および下の隔離の使用を示す図６７０の例である。この例では、ユーザインターフェイスモジュール２１６は、視覚的な輪郭を有さず、直接Ｃ、Ｖ、ＢまたはＮキーにないさらに多くの数のタッチ入力がスペースバーに対応するように、スペースバーの上および下に隔離があるスペースバーを有する仮想キーボードを生成した。

言語モジュール２１４は、言語モデルを適用して、仮想キーボードの１つ以上の候補キーに、タッチ入力をマッピングする。いくつかの実施形態では、言語モジュール２１４は、仮想キーボードの１つ以上の候補キーにタッチ入力をマッピングするようにプロセッサ２０２によって実行可能な命令のセットを含む。いくつかの実施形態では、言語モジュール２１６はコンピューティングデバイス２００のメモリ２０４に格納され、プロセッサ２０２によってアクセスおよび実行可能であり得る。

いくつかの実施形態では、言語モジュール２１４は、空間モジュール２１２がタッチ入力をマッピングした１つ以上の第１の候補キーと異なる場合もある仮想キーボードの１つ以上の第２の候補キーに、タッチ入力をマッピングする。たとえば、空間モジュール２１２は、空間モデルに基づいて、最初の３つの文字が「ｒａｔ」である場合、文字「ｓ」に対するタッチ入力の近接性に基づいて４番目の文字が「ｓ」であると判断してもよいが、「ｒａｔｅ」が「ｒａｔｓ」よりも一般的な単語である、またはユーザは「ｒａｔｓ」よりも「ｒａｔｅ」とタイプすることが多いため（そのような判断についてユーザのタイピングデータの使用をユーザが認める場合）、言語モジュール２１４は、文字「ｅ」にタッチ入力をマッピングする。いくつかの実施形態では、言語モジュール２１４は、異なる言語について異なってもよい。

言語モジュール２１４は、タッチ入力の位置を１つ以上の予測された次のキーと比較することに基づいて、１つ以上の第２の候補キーにタッチ入力をマッピングしてもよい。いくつかの実施形態では、言語モジュール２１４は、ガウス分布を適用して、次の文字を予測する。たとえば、ガウス分布は、文字「ｎ」が一般的であるためこの文字について高確率を示してもよい一方で、英語であまり一般的でない文字「ｚ」について低確率を示してもよい。

言語モジュール２１４は、タッチ入力によって示されるような、空間モジュール２１２によって求められる１つ以上の第１の候補キー（たとえば、「ｓ」）および言語モジュール２１４によって求められる１つ以上の第２の候補キー（たとえば、「ｅ」）から、特定のキーを選択してもよい。１つ以上の第１の候補キーは、１つ以上の第２の候補キーと同じでもよい、または異なってもよい。いくつかの実施形態では、１つ以上の第１の候補キーと１つ以上の第２の候補キーとの間に競合がある場合、言語モジュール２１４は、ありそうな言葉を最も形成しそうな候補キーに基づいて、特定のキーを選択してもよい。

いくつかの実施形態では、言語モジュール２１４は、言語モデルを用いて、文字をスペースとまたはスペースを文字と置換することに基づいて、１つ以上の単語の後訂正を行ってもよい。たとえば、２つの単語が「ｍｏｒ」および「ｉｎｇ」の場合、言語モジュール２１４は、後訂正を行って文字「ｎ」を挿入し、これらの２つの単語から１つの単語「ｍｏｒｎｉｎｇ」を生成してもよい。この例では、後訂正によって、文字「ｎ」を自動的に挿入することによって、２つの別の単語「ｍｏｒ」および「ｉｎｇ」につながる、スペースバーのタッチとして「ｎ」のタッチが誤って解釈されることに起因するタイピングミスが自動的に訂正される。

ユーザインターフェイスモジュール２１６は、仮想キーボードを含むユーザインターフェイスを表示するために図表データを生成する。いくつかの実施形態では、ユーザインターフェイスモジュール２１６は、ユーザインターフェイスを表示するための図表データを生成するように、プロセッサ２０２によって実行可能な命令のセットを含む。いくつかの実施形態では、ユーザインターフェイスモジュール２１６は、コンピューティングデバイス２００のメモリ２０４に格納され、プロセッサ２０２によってアクセスおよび実行可能であり得る。

いくつかの実施形態では、ユーザインターフェイスモジュール２１６は、メッセージングアプリケーションなどのアプリケーションの一部である仮想キーボードなど、ユーザインターフェイスを表示するための図表データを生成する。ユーザインターフェイスモジュール２１６は、言語モジュール２１４から命令を受信して、ユーザのタッチ入力によって示されるような特定のキーを表示してもよい。

フローチャート７００
図７は、本明細書で説明するいくつかの実施形態に係る、仮想キーボードについて特定のキーを選択するためのフローチャート７００の例である。フローチャート７００は、図１に示すモバイルデバイス１１５など、図２におけるコンピューティングデバイス２００によって行われてもよい。

方法７００は、ブロック７０２で開始してもよい。ブロック７０２で、タッチ入力は仮想キーボード上の位置でユーザによって検出される。ブロック７０２に、ブロック７０４が続いてもよい。

ブロック７０４で、空間モデルを適用して、仮想キーボードの１つ以上の第１の候補キーに、タッチ入力をマッピングする。空間モデルは、以前のタッチ入力のヒートマップに基づいて、１つ以上の第１の候補キーにタッチ入力をマッピングする。ブロック７０４に、ブロック７０６が続いてもよい。

ブロック７０６で、言語モデルを適用して、仮想キーボードの１つ以上の第２の候補キーにタッチ入力をマッピングする。言語モデルは、タッチ入力の位置を１つ以上の予測される次のキーと比較することに基づいて、１つ以上の第２の候補キーにタッチ入力をマッピングする。ブロック７０６に、ブロック７０８が続いてもよい。

ブロック７０８で、タッチ入力によって示されるような１つ以上の第１のおよび第２の候補キーのうちの特定のキーが選択される。いくつかの実施形態では、空間モデルは、各候補キーを信頼スコア（たとえば、空間スコア）および言語モデル（たとえば、言語スコア）と関連付け、各候補キーを信頼スコアと関連付ける。また、信頼スコアは、（たとえば、文字の頻度に基づいて）それぞれの重みと関連付けられてもよい。特定のキーは、信頼スコアの組合わせおよび最もあり得る選択を示す信頼スコアの選択に基づいて選択されてもよい。いくつかの実施形態では、特定のキーは、組合わせ信頼スコアが閾値を上回ることに基づいて、選択される。

方法７００は図７におけるさまざまなブロックに関して説明されたが、本開示に記載の技術は図７のブロックの一部を行うことなく実行可能であると理解されるであろう。いくつかの実施形態では、図７に示すブロックのうちの１つ以上は組合わされてもよい。

その特定の実施形態に関して説明してきたが、これらの特定の実施形態は例示にすぎず、限定的ではない。例において示される概念は、他の例および実施形態に適用され得る。

上記の説明に加えて、本明細書で説明されるシステム、プログラム、または特徴がユーザ情報（たとえば、仮想キーボードを介したユーザのデータ入力、タッチスクリーンデバイス上のユーザのタッチパターン、ユーザのキーボード言語、ユーザの仮想キーボード設定、ユーザの嗜好、またはユーザの現在の位置についての情報）の収集を可能にし得るかどうか、および何時そうであり得るかの両方について、ならびにユーザがサーバからコンテンツまたは通信を送信されるかどうかに関してユーザが選択を行うことを可能にする制御が、ユーザに提供されてもよい。さらに、特定のデータは、個人を特定できる情報が取除かれるように、格納または使用前に、１つ以上の方法で処理されてもよい。たとえば、ユーザの素性は、ユーザについて個人的に識別可能な情報を判断できないように扱われてもよく、またはユーザの地理的位置は、（たとえば、都市、郵便番号、または州レベルに関して）位置情報が得られる場合に、ユーザの特定の位置を判断することができないように、一般化されてもよい。したがって、ユーザは、ユーザに関してどのような情報が収集されるか、その情報がどのように用いられるか、およびどのような情報がユーザに提供されるかについて、制御することができる。

なお、本開示で説明する機能ブロック、動作、特徴、方法、デバイス、およびシステムは、当業者に知られているように、システム、デバイス、および機能ブロックの異なる組合わせに統合または分割され得る。任意の適切なプログラミング言語およびプログラミング技術を使用して、特定の実施形態のルーチンを実施することができる。異なるプログラミング技法、例えば手続き的またはオブジェクト指向の技法を採用することができる。ルーチンは、単一の処理デバイスまたは複数のプロセッサ上で実行することができる。ステップ、動作、または計算は、特定の順序で提示され得るが、順序は、異なる特定の実施形態で変更され得る。いくつかの実施の形態では、本明細書で順次として示される複数のステップまたは動作が同時に実行され得る。

Claims (21)

1. コンピュータによって実現される方法であって、
   仮想キーボード上の位置におけるユーザによるタッチ入力を検出することと、
   空間モデルを適用して、前記仮想キーボードの１つ以上の第１の候補キーに前記タッチ入力をマッピングすることとを備え、前記空間モデルを適用して、前記仮想キーボードの前記１つ以上の第１の候補キーに前記タッチ入力をマッピングすることは、
   キー中心付近の以前のタッチ入力のヒートマップに基づいてグローバルキー中心オフセットを前記タッチ入力に適用することと、
   １つ以上のキーについて訂正するためにキーレベル訂正を前記タッチ入力に適用することと、
   前記グローバルキー中心オフセットと前記キーレベル訂正とに基づいて、前記１つ以上の第１の候補キーに前記タッチ入力をマッピングすることとによって行なわれ、前記方法は、さらに、
   言語モデルを適用して、前記仮想キーボードの１つ以上の第２の候補キーに前記タッチ入力をマッピングすることを備え、前記言語モデルは、前記タッチ入力の前記位置を１つ以上の次の予測キーと比較することに基づいて、前記１つ以上の第２の候補キーに前記タッチ入力をマッピングし、前記方法は、さらに、
   前記タッチ入力で示されるような前記１つ以上の第１のおよび第２の候補キーのうちの特定のキーを選択することを備える、方法。
2. 前記空間モデルは、前記キー中心付近の以前のタッチ入力の前記ヒートマップに基づく第１のガウス分布を用いて、前記グローバルキー中心オフセットを求める、請求項１に記載の方法。
3. 前記キーレベル訂正を適用することは、第２のガウス分布に基づいて、前記タッチ入力にキーレベル中心オフセットを適用することをさらに備え、前記空間モデルは、さらに前記キーレベル中心オフセットに基づいて前記タッチ入力をマッピングする、請求項２に記載の方法。
4. 前記空間モデルは、キーボードレイアウト内のすべてのキーが１つのパラメータを共有するグローバルレベル訂正と、各キーがそれ自体のガウスパラメータを有する前記キーレベル訂正とを提供する、請求項１～３のいずれか１項に記載の方法。
5. 前記ヒートマップに基づいて、前記仮想キーボードの少なくとも一部の外観を調整することをさらに備える、請求項１～４のいずれか１項に記載の方法。
6. 前記仮想キーボードの前記少なくとも一部の前記外観を調整することは、スペースバーの前記外観を調整して、前記スペースバーの少なくとも上または下のスペースを拡張することを含む、請求項５に記載の方法。
7. 前記特定のキーに対応する文字を含む１つ以上の単語を判断することと、
   前記１つ以上の単語を修正して、前記言語モデルに基づいてスペースを追加または削除することとをさらに備える、請求項１～６のいずれか１項に記載の方法。
8. 前記ヒートマップを更新して、所定量の時間よりも古い以前のタッチを破棄することをさらに備える、請求項１～７のいずれか１項に記載の方法。
9. 前記タッチ入力を提供するユーザのアイデンティティを判断することをさらに備え、前記アイデンティティは、前記ユーザによって提供される認証入力に基づいて判断され、前記方法は、さらに、
   前記ユーザに対応する前記ヒートマップを検索することを備える、請求項１～８のいずれか１項に記載の方法。
10. コンピューティングデバイスであって、
    プロセッサと、
    前記プロセッサに連結され、前記プロセッサによって実行されると、前記プロセッサに動作を行わせる命令を格納したメモリとを備え、前記動作は、
    仮想キーボード上の位置におけるユーザによるタッチ入力を検出することと、
    空間モデルを適用して、前記仮想キーボードの１つ以上の第１の候補キーに前記タッチ入力をマッピングすることとを含み、前記空間モデルを適用して、前記仮想キーボードの前記１つ以上の第１の候補キーに前記タッチ入力をマッピングすることは、
    キー中心付近の以前のタッチ入力のヒートマップに基づいてグローバルキー中心オフセットを前記タッチ入力に適用することと、
    １つ以上のキーについて訂正するためにキーレベル訂正を前記タッチ入力に適用することと、
    前記グローバルキー中心オフセットと前記キーレベル訂正とに基づいて、前記１つ以上の第１の候補キーに前記タッチ入力をマッピングすることとによって行なわれ、前記動作は、さらに、
    言語モデルを適用して、前記仮想キーボードの１つ以上の第２の候補キーに前記タッチ入力をマッピングすることを含み、前記言語モデルは、前記タッチ入力の前記位置を１つ以上の次の予測キーと比較することに基づいて、前記１つ以上の第２の候補キーに前記タッチ入力をマッピングし、前記動作は、さらに、
    前記タッチ入力で示されるような前記１つ以上の第１のおよび第２の候補キーのうちの特定のキーを選択することを含む、コンピューティングデバイス。
11. 前記空間モデルは、前記キー中心付近の以前のタッチ入力の前記ヒートマップに基づく第１のガウス分布を用いて、前記グローバルキー中心オフセットを求める、請求項１０に記載のコンピューティングデバイス。
12. 前記キーレベル訂正はさらに、第２のガウス分布に基づいて前記タッチ入力にキーレベル中心オフセットを適用することを含み、前記空間モデルは、さらに前記キーレベル中心オフセットに基づいて前記タッチ入力をマッピングする、請求項１１に記載のコンピューティングデバイス。
13. 前記空間モデルは、キーボードレイアウト内のすべてのキーが１つのパラメータを共有するグローバルレベル訂正と、各キーがそれ自体のガウスパラメータを有するキーレベル訂正とを提供する、請求項１０～１２のいずれか１項に記載のコンピューティングデバイス。
14. 前記動作はさらに、前記ヒートマップに基づいて、前記仮想キーボードの少なくとも一部の外観を調整することを含む、請求項１０～１３のいずれか１項に記載のコンピューティングデバイス。
15. 前記仮想キーボードの前記少なくとも一部の前記外観を調整することは、スペースバーの前記外観を調整して、前記スペースバーの少なくとも上または下のスペースを拡張することを含む、請求項１４に記載のコンピューティングデバイス。
16. １つ以上のコンピュータによって実行されると、前記１つ以上のコンピュータに動作を行わせる命令を格納した非一時的コンピュータ読取可能媒体であって、前記動作は、
    仮想キーボード上の位置におけるユーザによるタッチ入力を検出することと、
    空間モデルを適用して、前記仮想キーボードの１つ以上の第１の候補キーに前記タッチ入力をマッピングすることとを含み、前記空間モデルを適用して、前記仮想キーボードの前記１つ以上の第１の候補キーに前記タッチ入力をマッピングすることは、
    キー中心付近の以前のタッチ入力のヒートマップに基づいてグローバルキー中心オフセットを前記タッチ入力に適用することと、
    １つ以上のキーについて訂正するためにキーレベル訂正を前記タッチ入力に適用することと、
    前記グローバルキー中心オフセットと前記キーレベル訂正とに基づいて、前記１つ以上の第１の候補キーに前記タッチ入力をマッピングすることとによって行なわれ、前記動作は、さらに、
    言語モデルを適用して、前記仮想キーボードの１つ以上の第２の候補キーに前記タッチ入力をマッピングすることを含み、前記言語モデルは、前記タッチ入力の前記位置を１つ以上の次の予測キーと比較することに基づいて、前記１つ以上の第２の候補キーに前記タッチ入力をマッピングし、前記動作は、さらに、
    前記タッチ入力で示されるような前記１つ以上の第１のおよび第２の候補キーのうちの特定のキーを選択することを含む、非一時的コンピュータ読取可能媒体。
17. 前記空間モデルは、前記キー中心付近の以前のタッチ入力の前記ヒートマップに基づく第１のガウス分布を用いて、前記グローバルキー中心オフセットを求め、前記空間モデルは、前記グローバルキー中心オフセットに基づいて前記タッチ入力をマッピングする、請求項１６に記載の非一時的コンピュータ読取可能媒体。
18. 前記キーレベル訂正はさらに、第２のガウス分布に基づいて前記タッチ入力にキーレベル中心オフセットを適用することを含み、前記空間モデルは、さらに前記キーレベル中心オフセットに基づいて前記タッチ入力をマッピングする、請求項１７に記載の非一時的コンピュータ読取可能媒体。
19. 前記動作はさらに、前記ヒートマップに基づいて、前記仮想キーボードの少なくとも一部の外観を調整することを含む、請求項１６～１８のいずれか１項に記載の非一時的コンピュータ読取可能媒体。
20. 前記仮想キーボードの前記少なくとも一部の前記外観を調整することは、スペースバーの前記外観を調整して、前記スペースバーの少なくとも上または下のスペースを拡張することを含む、請求項１９に記載の非一時的コンピュータ読取可能媒体。
21. コンピューティング装置によって実行されると、前記コンピューティング装置に請求項１～９のいずれか１項に記載の方法を実行させる命令を含む、コンピュータプログラム。

Images