JP7246390B2 - ウェアラブルコンピューティングデバイスを用いた表示デバイスの直接操作 - Google Patents

Description

背景
表示デバイスによって出力されるグラフィカルユーザインターフェース内のオブジェクトの直接操作は、ユーザのコンピュータに対するインタラクションを容易にする、きわめて自然な方法である。直接操作には、表示されたオブジェクトに対する作用（たとえば、ソフトボタンのタッピング、スライダの移動、アイコンのドラッグ）が含まれる。表示デバイスのなかには、直接操作を容易にするタッチスクリーンを含むものもある。しかしながら、パブリックキオスク、デジタルテーブルトップ、ラップトップ、（たとえば、会議室または教室の）テレビの多くはタッチスクリーンを有していない。そのため、ユーザは通常、マウス、キーボードまたは遠隔ポインティングデバイスの使用を含む間接操作によって、これらのデバイス（すなわち、タッチスクリーンでないもの）を制御しなければならない。

概要
一般に、本開示は、ウェアラブルコンピューティングデバイスを利用して、プレゼンスセンシティブ（存在感知、presence-sensitive）でない表示デバイスによって出力されるグラフィカルユーザインターフェースにおけるオブジェクトの直接操作を容易にするための技術に向けられている。たとえば、マウスまたは他の間接操作ツールの使用と異なり、ユーザは、表示デバイスにおいて表示されるオブジェクトを直接操作するために、表示デバイス上でウェアラブルコンピューティングデバイスをあちこち移動させ得る。１つもしくは複数の光学センサおよび／または１つもしくは複数の動きセンサなどの、ウェアラブルコンピューティングデバイスの１つまたは複数のセンサは、ウェアラブルコンピューティングデバイスが表示デバイス上で移動されるとデータを生成し得る。（たとえば、表示デバイスにグラフィカルユーザインターフェースを出力させている）制御デバイスは、センサデータに基づいて表示デバイス上のウェアラブルコンピューティングデバイスの位置を判断し得る。制御デバイスはその後、ウェアラブルコンピューティングデバイスの判断された位置をユーザ入力として用いて、グラフィカルユーザインターフェースに含まれるオブジェクトを操作し得る。

このように、本開示の技術によって、ユーザは、表示デバイスによって表示されるオブジェクトを直接操作可能である。ウェアラブルコンピューティングデバイスの判断された位置をユーザ入力として利用することによって、制御デバイスは、タッチスクリーンまたは他の直接操作手段を含まない表示デバイスとのさらにリッチなインタラクションを行い得る。

一例として、方法は、１つまたは複数のプロセッサが、プレゼンスセンシティブでない表示デバイス上の、ユーザの手首に装着されるように構成されたウェアラブルコンピューティングデバイスの推定位置を判断することと、表示デバイスに、推定位置においてグラフィカルパターンを出力させることと、１つまたは複数のプロセッサがウェアラブルコンピューティングデバイスの光学センサによって生成された光学データに基づいて、ウェアラブルコンピューティングデバイスのリファインされた位置を判断することと、１つまたは複数のプロセッサが、表示デバイスを介してグラフィカルユーザインターフェースを出力するアプリケーションのために、ユーザ入力の位置としてウェアラブルコンピューティングデバイスのリファインされた位置を利用することとを備える。

他の例として、制御デバイスは、１つまたは複数のプロセッサと、メモリとを備え、メモリは、１つまたは複数のプロセッサによって実行されると１つまたは複数のプロセッサに、プレゼンスセンシティブでない表示デバイス上の、ユーザの手首に装着されるように構成されたウェアラブルコンピューティングデバイスの推定位置を判断させる命令と、表示デバイスに、推定位置においてグラフィカルパターンを出力させる命令と、ウェアラブルコンピューティングデバイスの光学センサによって生成された光学データに基づいて、ウェアラブルコンピューティングデバイスのリファインされた位置を判断させる命令と、表示デバイスを介してグラフィカルユーザインターフェースを出力するアプリケーションのために、ユーザ入力の位置としてウェアラブルコンピューティングデバイスのリファインされた位置を利用させる命令とを含む。

他の例として、コンピュータ可読記憶媒体は、実行されると１つまたは複数のプロセッサに、プレゼンスセンシティブでない表示デバイスに、１つまたは複数のプロセッサにおいて実行されているアプリケーションによって生成されたグラフィカルユーザインターフェースを出力させる命令と、表示デバイスに、推定位置においてグラフィカルパターンを出力させる命令と、ウェアラブルコンピューティングデバイスの光学センサによって生成された光学データに基づいて、ウェアラブルコンピューティングデバイスのリファインされた位置を判断させる命令と、ウェアラブルコンピューティングデバイスのリファインされた位置を、アプリケーションのためのユーザ入力の位置として利用させる命令とを格納する。

本開示の１つまたは複数の例について、添付の図面および以下の記載において詳細に説明する。他の特徴、目的、および利点は、説明および図面、ならびに請求項の範囲から明らかとなろう。

本開示の１つまたは複数の技術に係る、表示デバイスによって出力されるグラフィカルユーザインターフェース内のオブジェクトの直接操作を容易にするために、ウェアラブルコンピューティングデバイスを使用可能にするシステムを示すシステム図である。 本開示の１つまたは複数の態様に係る、表示されたユーザインターフェースコンポーネントの直接操作を容易にするために使用可能なウェアラブルコンピューティングデバイス６を示すブロック図である。 本開示の１つまたは複数の態様に係る、表示されたグラフィカルオブジェクトの直接操作のためにウェアラブルデバイスの使用を可能にするように構成された制御デバイスの例を示すブロック図である。 本開示の１つまたは複数の技術に係る、位置リファインプロセスの例を示す概念図である。 本開示の１つまたは複数の技術に係る、位置リファインプロセスの例を示す概念図である。 本開示の１つまたは複数の技術に係る、位置リファインプロセスの例を示す概念図である。 本開示の１つまたは複数の技術に係る、位置リファインプロセスの例を示す概念図である。 本開示の１つまたは複数の技術に係る、位置リファインプロセスの例を示す概念図である。 本開示の１つまたは複数の技術に係る、位置リファインプロセスの例を示す概念図である。 本開示の１つまたは複数の技術に係る、表示されたグラフィカルオブジェクトの直接操作のためにウェアラブルデバイスの使用を可能にするデバイスの動作の例を示すフロー図である。 本開示の１つまたは複数の技術に係る、グローバル初期化のために使用可能なグラフィカルパターンの例を示す図である。 本開示の１つまたは複数の技術に係る、グローバル初期化のために使用可能なグラフィカルパターンの例を示す図である。 本開示の１つまたは複数の技術に係る、グローバル初期化のために使用可能なグラフィカルパターンの例を示す図である。

詳細な説明
図１は、本開示の１つまたは複数の技術に係る、表示デバイスによって出力されるグラフィカルユーザインターフェース内のオブジェクトの直接操作を容易にするために、ウェアラブルコンピューティングデバイスを使用可能にするシステムを示すシステム図である。図１に示すように、システム２は、表示デバイス４と、ウェアラブルコンピューティングデバイス６と、制御デバイス８とを含む。

表示デバイス４は、一人または複数のユーザが視聴するために、グラフィカル情報を表示するように構成され得る。表示デバイス４の例として、モニター、テレビ、背面投射型スクリーン、または情報を表示可能な他のデバイスが挙げられるが、これらに限定されるわけではない。表示デバイス４は、任意の好適な技術を用いて出力画像を形成し得る。画像形成技術の例として、液晶表示装置（ＬＣＤ）、レーザ、発光ダイオード（ＬＥＤ）、有機発光ダイオード（ＯＬＥＤ）、プラズマなどが挙げられるが、これらに限定されるわけではない。

表示デバイス４は、表示のためにグラフィカル情報を生成するように構成されたコンポーネントを含み得る。たとえば表示デバイス４は、いわゆる「スマートディスプレイ」でもよい。表示デバイス４は、外部デバイス（たとえば、制御デバイス８）からの表示のためにグラフィカル情報を受信可能な１つまたは複数の入力（たとえば、有線入力および無線入力のうちの１つまたは両方）を含み得る。たとえば、表示デバイス４は、１つもしくは複数の有線入力（たとえば、高解像度マルチメディアインターフェース（ＨＤＭＩ（登録商標））入力、１つもしくは複数の表示ポート入力、１つもしくは複数のネットワーク接続（たとえば、ＷＩＦＩ、ブルートゥース（登録商標）、イーサネット（登録商標）など）、および／または、１つもしくは複数のデジタルビジュアルインターフェース（ＤＶＩ）入力を含み得る。

制御デバイス８は、表示デバイス４にグラフィカル情報を出力させるように構成可能である。たとえば、制御デバイス８は表示デバイス４に、１つまたは複数のグラフィカルオブジェクト（たとえば、ボタン、キー、スライダなど）を含むグラフィカルインターフェースを表示させ得る。いくつかの例では、制御デバイス８は、表示デバイス４に一体化可能である。たとえば、表示デバイス４が「スマートディスプレイ」の場合、制御デバイス８は、表示デバイス４に一体化可能である。他の例では、制御デバイス８は、表示デバイス４の外部デバイスでもよい。たとえば制御デバイス８は、表示デバイス４の入力を介して表示デバイス４にグラフィカル情報を出力可能である。一例として、制御デバイス８は、表示デバイス４のＨＤＭＩ入力に差し込まれたストリーミングスティックでもよい。他の例として、制御デバイス８は、モバイルコンピューティングデバイス（たとえば、スマートフォン）でもよく、グラフィカル情報を表示デバイス４に無線で流してもよい。

制御デバイス８は、制御デバイス８の動作をサポートするためにさまざまな計算を行い得る１つまたは複数のプロセッサを含み得る。たとえば、制御デバイス８の１つまたは複数のプロセッサは、グラフィカルユーザインターフェースを生成するアプリケーションを実行してもよく、制御デバイス８は、表示デバイス４において表示されてもよい。

いくつかの例では、表示デバイス４は、ユーザに表示デバイス４において表示されるグラフィカルオブジェクトを直接操作させるように構成された１つまたは複数の入力コンポーネントを含み得る。たとえば表示デバイス４は、タッチ感知パネル、または表示デバイス４上もしくはその付近のユーザの移動を検出する他のプレゼンスセンシティブパネルを含み得る。表示デバイス４がプレゼンスセンシティブパネルを含む場合、表示デバイス４は、プレゼンスセンシティブパネルを介して受信されたユーザ入力の表現を制御デバイス８に出力し得る。たとえば表示デバイス４は、プレゼンスセンシティブパネルがユーザ入力を検出した表示デバイス４上の位置を表す（ｘ、ｙ）座標ペアのストリームを制御デバイス８に出力し得る。制御デバイス８は、表示デバイス４において表示されているグラフィカルユーザインターフェースを出力している制御デバイス８において実行されているアプリケーションのためのユーザ入力として、表示デバイス４によって提供されるユーザ入力の表現を利用し得る。

上述のように、表示されたグラフィカルオブジェクトの直接操作は、間接操作よりも望ましい。たとえば、グラフィカルオブジェクトの直接操作は、間接操作と比べて、ユーザにとってより自然に感じ得る。しかしながらいくつかの例では、表示デバイス４は、表示デバイス４において表示されるグラフィカルオブジェクトをユーザに直接操作させるように構成された入力コンポーネントを含まなくてもよい。たとえば、表示デバイス４は、いわゆる「タッチスクリーン」でなくてもよく、プレゼンスセンシティブディスプレイとみなされなくてもよい。そのため、表示デバイス４がプレゼンスセンシティブパネルでない場合であっても、表示デバイス４において表示されるグラフィカルオブジェクトの直接操作を可能にできることが望ましい場合がある。

本開示の１つまたは複数の技術に従って、制御デバイス８は、表示デバイス４において表示されるグラフィカルオブジェクトの直接操作を行うように、ウェアラブルコンピューティングデバイス６をユーザに使用させ得る。ウェアラブルコンピューティングデバイス６（単に「ウェアラブル６」とも呼ばれる）は、ユーザが装着するように構成されたデバイスでもよい。図１の例では、ウェアラブル６は、コンピュータ制御の腕時計である。しかしながら他の例では、ウェアラブル６は、コンピュータ制御のフィットネスバンド／トラッカー、コンピュータ制御のアイウェア、コンピュータ制御のヘッドウェア、コンピュータ制御の手袋などである。以下で説明するように、いくつかの例では、ウェアラブルデバイス以外のデバイスはウェアラブル６の機能を行い得る。

ウェアラブル６は、１つまたは複数の計測されたパラメータを表すデータを生成するように構成し得るセンサ１０を含む。図２を参照してさらに詳細に説明されるように、センサ１０は、１つまたは複数のセンサおよび１つまたは複数の光学センサを含み得る。ウェアラブル６は、センサ１０によって生成されたデータを、制御デバイス８などの、１つまたは複数の外部デバイスに無線送信するように構成されたコンポーネントを含み得る。

制御デバイス８は、ウェアラブル６から受信されたセンサデータに基づいて、表示デバイス４上のウェアラブル６の位置を判断し得る。たとえば制御デバイス８は、（たとえば、センサ１０のうち１つまたは複数の動きセンサによって生成される動きデータに基づいて）表示デバイス４上のウェアラブル６の推定位置を判断し得る。ユーザが表示デバイス４を横断してウェアラブル６を移動させると、ウェアラブル６の動きセンサは、ウェアラブル６の移動を表す動きデータを生成し得る。制御デバイス８は、この動きデータを処理して、ウェアラブル６の相対移動を判断し得る。たとえば、動きセンサによって生成される加速度計データおよび／またはジャイロデータに基づいて、制御デバイス８は、ウェアラブル６が９５°の方位で６インチ移動したと判断し得る。しかしながら、動きデータのみに基づいて表示デバイス４上のウェアラブル６の位置を判断することは、１つまたは複数の欠点が生じることがある。たとえば、最初に分かっている位置がある場合でも、制御デバイス８は次の位置を判断するためにデッドレコニングを用いる場合があり、これによって、時間と共にますます多くのエラーが導入されてしまう。そのため、いくつかの例では、ただの動きデータでないものに基づいて表示デバイス４上のウェアラブル６の位置を判断することが望ましい場合がある。

いくつかの例では、動きデータに加えてまたはこの代わりに、制御デバイス８は、ウェアラブル６の１つまたは複数の光学センサによって生成された光学データに基づいて、表示デバイス４上のウェアラブル６の位置を判断し得る。たとえば、制御デバイス８は表示デバイス４に、表示デバイス４上のウェアラブル６の推定現在位置においてグラフィカルパターンを出力させてもよい。図１に示すように、制御デバイス８は、表示デバイス４に、各々が異なる光学特徴（たとえば、異なる色、異なる色合いまたは明るさ）を有する複数の領域を含むグラフィカルパターン１２を出力させ得る。これらの複数の領域は、中心領域１４と、中心領域１４の周囲に分散した複数の境界領域１６Ａ～１６Ｄ（まとめて「境界領域１６」）とを含み得る。制御デバイス８は、ウェアラブル６から受信された光学データを用いて、表示デバイス４上のウェアラブル６の現在位置の推定をリファインし得る。制御デバイス８は、表示デバイス４において表示されているグラフィカルユーザインターフェースを出力している制御デバイス８において実行されているアプリケーションについてのユーザ入力として、リファインされた位置を利用し得る。ウェアラブル６の推定位置をリフィアンするための技術の一例について、図４Ａ～図４Ｆを参照して以下でさらに詳細に説明する。

いくつかの例では、制御デバイス８は、動きデータと光学データとの組合せに基づいて、表示デバイス４上のウェアラブル６の位置を判断し得る。たとえば、制御デバイス８は、動きデータに基づいてウェアラブル６の最初の推定位置を判断してもよく、光学データに基づいてリファインされた位置を判断してもよい。

制御デバイス８は、表示デバイス４を介してグラフィカルユーザインターフェースを出力するアプリケーションについてのユーザ入力の位置として、ウェアラブルコンピューティングデバイスのリファインされた位置を利用し得る。たとえば、制御デバイス８において実行されているアプリケーションが表示デバイス４上の位置ｘ１、ｙ１においてグラフィカルボタンを含むグラフィカルユーザインターフェースを出力する場合、このアプリケーションは、リファインされた位置がｘ１、ｙ１であるグラフィカルボタンが選択されたと判断し得る。

制御デバイス８は別のデバイスとして図１で示されているが、別のデバイスでもよい、または、表示デバイス４もしくはウェアラブル６に一体化されてもよい。一例として、制御デバイス８が別のデバイスである（すなわち、表示デバイス４およびウェアラブル６とは異なる）場合、制御デバイス８は、ウェアラブル６からセンサデータを（たとえば無線で）受信し、アプリケーションを実行してグラフィカルインターフェースを生成し、表示デバイス４にグラフィカルユーザインターフェースを表示させ、受信されたセンサデータに基づいてアプリケーションについてのユーザ入力を生成するラップトップまたはスマートフォンでもよい。他の例として、制御デバイス８が表示デバイス４に含まれる場合、本明細書で説明される機能は、表示デバイス４の１つまたは複数のプロセッサによって行われてもよい。たとえば、表示デバイス４の１つまたは複数のプロセッサは、ウェアラブル６からセンサデータを受信し、アプリケーションを実行してグラフィカルユーザインターフェースを生成し、（表示デバイス４において）グラフィカルユーザインターフェースを表示し、受信されたセンサデータに基づいてアプリケーションについてのユーザ入力を生成してもよい。他の例として、制御デバイス８がウェアラブル６に含まれる場合、本明細書で説明される機能は、ウェアラブル６の１つまたは複数のプロセッサによって行われてもよい。たとえば、ウェアラブル６の１つまたは複数のプロセッサはウェアラブル６のセンサ１０によって生成されたセンサデータを取得し、アプリケーションを実行してグラフィカルユーザインターフェースを生成し、表示デバイス４にグラフィカルユーザインターフェースを表示させ（たとえば、ユーザインターフェースを生成する命令を表示デバイス４に無線で送信し）、受信されたセンサデータに基づいてアプリケーションについてのユーザ入力を生成してもよい。

図２は、本開示の１つまたは複数の態様に係る、表示されたユーザインターフェースコンポーネントの直接操作を容易にするために使用され得るウェアラブルコンピューティングデバイス６（単に「ウェアラブル６」とも呼ばれる）を示すブロック図である。図２の例では、ウェアラブル６はコンピュータ制御の腕時計である。しかしながら他の例では、ウェアラブル６は、コンピュータ制御のフィットネスバンド／トラッカー、コンピュータ制御のアイウェア、コンピュータ制御のヘッドウェア、コンピュータ制御の手袋などである。

図２に示すようにいくつかの例では、ウェアラブル６は、取付けコンポーネント５０とハウジング５２とを含み得る。ウェアラブル６のハウジング５２は、ウェアラブル６のハードウェア、ソフトウェア、ファームウェア、および／または他の電気コンポーネントを収容するウェアラブル６の物理的な部分を含む。たとえば図２は、ハウジング５２内でウェアラブル６が（動きセンサ５４および光学センサ５６を含む）センサ１０、通信ユニット５８、および通信モジュール６０を含み得ると示している。

取付けコンポーネント５０は、ユーザがウェアラブル６を着用しているときにユーザの体（たとえば、組織、筋肉、皮膚、髪、衣服など）と接触する（しかし、いくつかの例では、ハウジング５２の一部もユーザの体と接触し得る）ウェアラブルコンピューティングデバイスの物理的な部分を含み得る。たとえば、ウェアラブル６が腕時計である場合、取付けコンポーネント５０は、ユーザの手首に外嵌されユーザの皮膚と接触する腕時計バンドでもよい。ウェアラブル６がアイウェアまたはヘッドウェアである例では、取付けコンポーネント５０は、ユーザの頭の周囲に外嵌されるアイウェアまたはヘッドウェアのフレームの一部でもよく、ウェアラブル６が手袋の場合、取付けコンポーネント５０は、ユーザの指および手に合う手袋の材料でもよい。いくつかの例では、ウェアラブル６を、ハウジング５２および／または取付けコンポーネント５０から握り、掴むことができる。

動きセンサ５４は、ウェアラブル６と関連付けられた移動を示すもの（たとえば、移動を表すデータ）を検出するように構成された１つもしくは複数の動きセンサまたは入力デバイスを表す。動きセンサ５４の例として、加速度計、速度センサ、ジャイロスコープ、磁気計、傾斜センサ、気圧計、近接センサ、またはウェアラブル６が移動を検出可能なデータを生成可能な他の種類の入力デバイスもしくはセンサのいずれかまたは全てが挙げられる。いくつかの例では、動きセンサ５４は、慣性計測装置（ＩＭＵ）でもよい、またはこれに含まれてもよい。動きセンサ５４は、ハウジング５２が移動すると「生の」動きデータを生成し得る。動きデータは、加速度、走行距離、方向、速度、回転度、または配向度のうち少なくとも１つを含む移動の１つまたは複数の特徴を示し得る。

光学センサ５６は、光強度を表す電気信号を生成するように構成された１つまたは複数のデバイスを表す。光学センサ５６の例として、フォトダイオード、フォトレジスタ、または光を電気信号に変換可能な他のデバイスが挙げられる。いくつかの例では、光学センサ５６のうち１つ以上は、光電脈波（ＰＰＧ）センサ（たとえば、心拍モニタリングに使用されるセンサ）に含まれ得る。ＰＰＧセンサに含まれる光学センサ５６のうち複数の光学センサは、ウェアラブル６が装着されるとウェアラブル６を装着している人の皮膚に接触するウェアラブル６の表面に配設され得る。たとえば、ウェアラブル６が腕時計である場合、ＰＰＧセンサに含まれる光学センサ５６のうち複数の光学センサは、腕時計の底面に位置し得る。いくつかの例では、光学センサ５６は、ウェアラブル６が装着されるとウェアラブル６を装着する人の皮膚に接触するウェアラブル６の表面以外のウェアラブル６のどこかに位置し得る。たとえば光学センサ５６は、ウェアラブル６のカメラに向かい合う面（または光学センサに（たとえば腕時計面上で）向かい合う他の面）に含まれ得る。そのような例では、ユーザは、ウェアラブル６を利用して、手首からウェアラブル６を取り外すことなく直接操作を行い得る。

通信ユニット５８は、１つまたは複数のネットワーク上でネットワーク信号を送信および／または受信することによって、１つまたは複数の有線および／または無線ネットワークを介して外部デバイスと通信し得る。通信ユニット５８の例として、ネットワークインターフェースカード（たとえば、イーサネットカード）、光学送受信機、無線周波数送受信機、ＧＰＳ送受信機、または情報を送信および／または受信可能な他の種類のデバイスが挙げられる。通信ユニット５８の他の例として、短波ラジオ、セルラーデータラジオ、無線ネットワークラジオ（たとえば、ＷＩＦＩラジオ、ブルートゥースラジオなど）、およびユニバーサルシリアルバス（ＵＢＳ）コントローラが挙げられ得る。

いくつかの例では、ウェアラブル６は、入力を受信するように構成された１つまたは複数の入力コンポーネントを含み得る。入力の例として、触覚入力、音声入力、運動入力、存在入力、および光学入力が挙げられるが、これらはほんの一例に過ぎない。一例では、入力コンポーネントとして、マウス、キーボード、音声応答システム、ビデオカメラ、ボタン、制御パッド、マイク、または人間もしくはマシンからの入力を検出するための他の種類のデバイスが挙げられる。いくつかの例では、入力コンポーネントは、プレゼンスセンシティブスクリーン、タッチ感知スクリーン、レーダーなどを含み得るプレゼンスセンシティブ入力コンポーネントを含み得る。

通信モジュール６０は、ウェアラブル６と外部デバイスとの間での通信を管理するために、さまざまな動作を行い得る。一例として、通信モジュール６０は、センサ１０からのデータ（たとえば、光学センサ５６からの光学データおよび／または動きセンサ５４からの動きデータ）を受信し、通信ユニット５８のうち１つまたは複数にデータの表現を外部デバイス（たとえば、図１および図３の制御デバイス８）に無線で送信させてもよい。他の例として、ウェアラブル６が制御デバイス８によるものであると本明細書で説明されている機能を行う場合、通信モジュール６０は、通信ユニット５８のうち１つまたは複数に、グラフィカルユーザインターフェースを生成する命令を、表示デバイス４に対して送信させてもよい。このようにいくつかの例では、ウェアラブル６は、センサ１０によって生成されたデータを内部で処理して、ウェアラブル６を介したグラフィカルオブジェクトの直接操作を可能にし得る。他の例として、通信モジュール６０は、通信ユニット５８のうち１つまたは複数に、ウェアラブル６の１つまたは複数の入力コンポーネントを介して受信されたユーザ入力を示すものを、外部デバイス（たとえば、図１および図３の制御デバイス８）へと送信させ得る。このようにウェアラブル６は、ユーザに、ウェアラブル６の入力コンポーネントを用いて、表示されたグラフィカルオブジェクトとインタラクションするためのさらに他の入力を設けさせ得る（たとえば、ユーザにグラフィカルオブジェクト上で「クリック」させ得る）。

ウェアラブルコンピューティングデバイスであると説明されたが、他のデバイスがウェアラブル６による機能を行い得ると理解される。たとえば、センサ（たとえば、１つまたは複数の動きセンサおよび１つまたは複数の光学センサ）ならびに１つまたは複数の無線通信ユニットを含むコンピューティングデバイスは、ウェアラブル６による機能を行い得る。そのようなデバイスの例として、スマートフォン、タブレットなどが挙げられる。

図３は、本開示の１つまたは複数の態様に係る、表示されたグラフィカルオブジェクトの直接操作のためのウェアラブルデバイスの使用を可能にするように構成された制御デバイスの例を示すブロック図である。図３の制御デバイス８は、図１のシステム１に関連して以下で説明される。図３は、制御デバイス８のただ１つの特定の例を示す図であり、制御デバイス２の多くの他の例を他の場合に用いることができる。図３の制御デバイス８は、制御デバイス８の例に含まれるコンポーネントの部分集合を含んでもよい、または、図３に示されていないさらに他のコンポーネントを含んでもよい。

図３の例に示すように、制御デバイス８は、１つまたは複数のプロセッサ７０、１つまたは複数の出力デバイス７２、１つまたは複数の入力デバイス７４、１つまたは複数の通信ユニット７６、および１つまたは複数の記憶デバイス８２を含む。また、記憶デバイス８２は、ユーザインターフェース（ＵＩ）モジュール８６、通信モジュール７８、およびアプリケーションモジュール８０を含み得る。

通信チャネル８４は、（物理的に、通信可能に、および／または動作可能に）コンポーネント間通信のためにコンポーネント７０、７２、７４、７６、８２の各々とインタラクションし得る。いくつかの例では、通信チャネル８４は、電力バス、システムバス、ネットワーク接続、プロセス間通信データ構造、またはデータ通信もしくは電力転送のための他の方法を含み得る。

１つまたは複数の出力デバイス７２は、出力を生成し得る。出力の例として、触覚出力、音声出力、およびビデオ出力が挙げられる。出力デバイス７２は一例では、プレゼンスセンシティブディスプレイ、サウンドカード、ビデオグラフィックスアダプターカード、スピーカ、ブラウン管（ＣＲＴ）モニタ、液晶表示ディスプレイ（ＬＣＤ）、または人間もしくはマシンに出力を生成するための他の種類のデバイスを含む。

１つまたは複数の入力デバイス７４は、入力を受信し得る。入力の例は、触覚入力、音声入力、およびビデオ入力である。入力デバイス７４はいくつかの例では、プレゼンスセンシティブディスプレイ、タッチ感知スクリーン、マウス、キーボード、音声応答システム、ビデオカメラ、マイク、センサ、または人間もしくはマシンからの入力を検出するための他の種類のデバイスを含む。

１つまたは複数の通信ユニット７６は、１つまたは複数のネットワーク上でネットワーク信号を送信および／または受信することによって、１つまたは複数の有線ネットワークおよび／または無線ネットワークを介して外部デバイスと通信し得る。通信ユニット７６の例として、ネットワークインターフェースカード（たとえば、イーサネットカードなど）、光学送受信機、無線周波数送受信機、ＧＰＳ受信機、または情報の送信および／または受信が可能な他の種類のデバイスが挙げられる。通信ユニット７６の他の例として、短波ラジオ、セルラーデータラジオ、無線ネットワークラジオ（たとえば、ＷＩＦＩラジオ、ブルートゥースラジオなど）、およびユニバーサルシリアルバス（ＵＳＢ）コントローラ、ＨＤＭＩコントローラなどが挙げられ得る。

通信モジュール７８は、制御デバイス８と外部デバイスとの間の通信を管理するために、さまざまな動作を行い得る。一例として、通信モジュール７８は、制御デバイス８の１つまたは複数のコンポーネントからデータを受信し、通信ユニット７６のうち１つ以上に、データの表現を外部デバイスに送信させ得る。たとえば通信モジュール７８は、アプリケーションモジュール８０のうち１つのアプリケーションからグラフィカルユーザインターフェースを生成する命令を受信し、通信ユニット７６のうち１つ以上にこれらの命令を表示デバイス４に送信させてもよい。他の例として、通信モジュール７８は、外部デバイスから無線で受信された通信ユニット７６のうち１つ以上からのデータを受信してもよい。たとえば、通信モジュール７８は、ウェアラブル６から無線で受信された通信ユニット７６のうち１つ以上からセンサデータ（たとえば、動きデータと光学データとのうちの１つまたは両方）を受信してもよい。

送信元である制御デバイス８内の１つまたは複数の記憶デバイス８２は、モジュール８６、７８および８０がアクセスする制御デバイス８の動作中（制御デバイス８における実行中）の処理のために、情報を格納し得る。いくつかの例では、記憶デバイス８２は一時的なメモリであり、これは、記憶デバイス８２の主な目的が長期間の格納ではないことを意味する。制御デバイス８上の記憶デバイス８２は、揮発性メモリとして情報を短期間格納するために構成されてもよく、そのため、電源がオフになると格納された内容を保存しなくてもよい。揮発性メモリの例として、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、および当技術分野で周知の他の形式の揮発性メモリが挙げられる。

記憶デバイス８２はいくつかの例では、１つまたは複数のコンピュータ可読記憶媒体を含む。記憶デバイス８２は、揮発性メモリよりも大きい量の情報を格納するように構成され得る。記憶デバイス８２はさらに、不揮発性メモリ空間として情報を長期間格納するために構成されてもよく、電源オン／オフサイクルの後で情報を保存し得る。不揮発性メモリの例として、磁気ハードディスク、光学ディスク、フラッシュメモリ、または電気的にプログラム可能なメモリ（ＥＰＲＯＭ）もしくは電気的に消去可能なプログラム可能なメモリ（ＥＥＰＲＯＭ）の形式が挙げられる。記憶デバイス８２は、モジュール８６、７８および８０と関連付けられたプログラム命令および／または情報（たとえば、データ）を格納し得る。

１つまたは複数のプロセッサ７０は、機能を実現し得る、および／または、制御デバイス８内の命令を実行し得る。たとえば、プロセッサ７０は、モジュール８６、７８および８０の機能を実行する記憶デバイス８２によって記憶された命令の受信および実行を行い得る。プロセッサ７０は、モジュール８６、７８および８０の命令を実行して、制御デバイス８のさまざまなアクションまたは機能を実行させ得る。

アプリケーションモジュール８０は、ユーザ入力を利用可能な制御デバイス８において実行される、およびこの制御デバイス８からアクセス可能な、さまざまな個々のアプリケーションおよびサービスのすべてを表す。ユーザは、アプリケーションモジュール８０のうちの１つまたは複数と関連付けられたグラフィカルユーザインターフェースとインタラクションを行って、制御デバイス８に機能を実行させ得る。アプリケーションモジュール８０の多数の例が存在することがあり、フィットネスアプリケーション、カレンダーアプリケーション、パーソナルアシスタントもしくは推定エンジン、検索エンジン、地図もしくはナビゲーションアプリケーション、交通サービスアプリケーション（たとえば、バスもしくは電車追跡アプリケーション）、ソーシャルメディアアプリケーション、ゲームアプリケーション、（たとえば、スライドのプレゼンテーションのための）プレゼンテーションアプリケーション、電子メールアプリケーション、チャットもしくはメッセージングアプリケーション、インターネットブラウザアプリケーション、または制御デバイス８において実行可能な他のすべてのアプリケーションを含み得る。

ＵＩモジュール８６は、制御デバイス８の他のコンポーネントとのユーザインタラクションを管理する。言い換えると、ＵＩモジュール８６は、制御デバイス８のさまざまなコンポーネント間の中間として作用して、ユーザ入力に基づいた判断およびユーザ入力に応じた出力の生成を行い得る。ＵＩモジュール８６は、アプリケーション、サービス、プラットフォーム、または制御デバイス８の他のモジュールから命令を受信して、デバイス（たとえば、図１の表示デバイス４）にユーザインターフェースを出力させ得る。たとえば、アプリケーションモジュール８０のうち１つのアプリケーションは、ＵＩモジュール８６とインタラクションを行って、表示デバイス４に、１つまたは複数のグラフィカルオブジェクトを含むグラフィカルユーザインターフェースを表示させ得る。ＵＩモジュール８６は、ユーザがユーザインターフェースを眺めこれとインタラクションを行うと、制御デバイス８によって受信された入力の管理を行ってもよく、アプリケーション、サービス、プラットフォーム、またはユーザ入力を処理している制御デバイス８の他のモジュールからのさらに他の命令の受信に応じて、ユーザインターフェースの更新を行ってもよい。

本開示の１つまたは複数の技術によると、制御デバイス８は、表示されたグラフィカルオブジェクトの直接操作を提供するためにウェアラブルコンピューティングデバイスが使用可能になるように、ウェアラブルコンピューティングデバイスによって生成されるセンサデータを利用し得る。たとえば、ＵＩモジュール８６は、ウェアラブルデバイスの動きセンサによって生成された動きデータを用いて、表示デバイス上のウェアラブルデバイスの推定現在位置を判断し得る。ＵＩモジュール８６は、ウェアラブルデバイスの１つまたは複数の光学センサによって生成された光学データを用いて推定位置をリファインし得る。アプリケーションモジュール８０のうちの（たとえば、表示デバイスを介してグラフィカルユーザインターフェースを出力している）１つのアプリケーションモジュールは、ウェアラブルコンピューティングデバイスのリファインされた位置をユーザ入力の位置として利用し得る。たとえば、ＵＩモジュール８６は、アプリケーションモジュールにリファインされた位置のｘｙ座標を提供可能であり、アプリケーションモジュールは、ｘｙ座標をユーザ入力として使用可能である。

アプリケーションモジュールは、本開示の技術がユーザ入力位置を生成するために使用されたかどうかに依存しない場合がある。たとえば、アプリケーションモジュールにとって、ユーザ入力の位置は、標準的なタッチスクリーンを用いて生成されたものと同じであるかのように見える場合がある。したがって、アプリケーションモジュールは、本明細書で説明されたようなウェアラブルデバイス対応の直接操作を用いて判断されたユーザ入力位置を用いて動作するために、修正されなくてもよい。

いくつかの例ではユーザは、位置に加えて入力を用いて、表示されたオブジェクトとインタラクションすることが望ましい場合がある。たとえば、ウェアラブルコンピューティングデバイス（たとえば、ウェアラブル６）が位置としてユーザ入力を提供できることに加えて、ユーザが、クリック、スクロール、選択または他のそのようなことなどのユーザ入力を提供できることが望ましい場合がある。本開示の１つまたは複数の技術に従って、制御デバイス８は、ウェアラブルコンピューティングデバイスの１つまたは複数の入力コンポーネントを介して受信されたユーザ入力を表すウェアラブルコンピューティングデバイスからデータを受信し得る。たとえばＵＩモジュール８６は、ユーザがウェアラブルコンピューティングデバイスのプレゼンスセンシティブディスプレイをタッピングしたという表示を受信し得る。ＵＩモジュール８６は、アプリケーションモジュールにユーザ入力の表現を提供し得る。たとえば、 ウェアラブルコンピューティングデバイスのプレゼンスセンシティブディスプレイをユーザがタッピングしたという表示をＵＩモジュール８６が受信する場合、ＵＩモジュール８６は、リファインされた位置のｘｙ座標においてクリックが受信されたというユーザ入力表示をアプリケーションに提供し得る。

図４Ａ～図４Ｆは、本開示の１つまたは複数の技術に係る、位置リファインプロセスの例を示す概念図である。図４Ａ～図４Ｆのリファインプロセスは、表示デバイス４、ウェアラブル６および制御デバイス８を含む図１のシステム２を参照して説明される。

制御デバイス８は、表示デバイス４に、１つまたは複数のグラフィカルオブジェクトを含むグラフィカルユーザインターフェースを表示させ得る。たとえば、制御デバイス８のプロセッサ７０は、アプリケーションモジュール８０のうち１つのアプリケーションモジュールを実行し得る。実行されたアプリケーションモジュールはＵＩモジュール８６と共に、グラフィカルユーザインターフェースのレンダリングを行う命令を生成し得る。プロセッサ７０は、通信モジュール７８を実行して、通信ユニット７６に、グラフィカルユーザインターフェースを生成する命令を表示デバイス４に出力させ得る。一般に、グラフィカルオブジェクトは、制御デバイス８の動作を修正するためにユーザがインタラクション可能なグラフィカル要素でもよい。グラフィカルオブジェクトの例として、ダイアル、ボタン、トグル、スライダ、グラフィカルキーボードのキーなどが挙げられるが、これらに限定されるわけではない。

ユーザは、表示デバイス４において表示されるグラフィカルユーザインターフェースに含まれる１つまたは複数のグラフィカルオブジェクトを直接操作したい場合がある。しかしながら、表示デバイス４がプレゼンスセンシティブディスプレイでない例では、ユーザは単に自分の指を用いて、表示されたオブジェクトを直接操作することができない場合がある。そのため、本開示および上述の１つまたは複数の技術に従って、ユーザは、ウェアラブルコンピューティングデバイスを利用して直接操作を行い得る。たとえば、ウェアラブル６がユーザの手首に装着されている場合、ユーザは、ウェアラブル６を取り外し（たとえば、取付けコンポーネント５０をほどき）、ウェアラブル６を利用して、グラフィカルオブジェクトを直接操作することができる。

制御デバイス８は、ユーザがウェアラブル６を利用して、表示デバイス４において表示されたグラフィカルオブジェクトを直接操作できるように、動作を行い得る。上述のように、一般に制御デバイス８は、ウェアラブル６の動きセンサ５４によって生成された動きデータを利用して、表示デバイス４上の推定位置を判断して、表示デバイス４に推定位置におけるグラフィカルパターンを表示させ、その後、ウェラブル６の光学センサ５６によって生成された光学データに基づいて推定位置のリファインを行わせることができる。

最初は、制御デバイス８はウェアラブル６の推定位置を判断できなくてもよい。たとえば、ユーザが表示デバイス４に対してウェアラブル６を配設する前に、制御デバイス８は、ウェアラブル６の位置を判断できなくてもよい。そのため最初の位置について、制御デバイス８は、ユーザに表示されたグラフィカルパターンの位置にウェアラブル６を配設させる命令で、表示デバイス４上の位置においてグラフィカルパターンを出力し得る。制御デバイス８は通常、最初の位置として表示デバイス４上の特定の位置を用いてもよい、または、状況によっては異なる位置を用いてもよい。ユーザが表示されたグラフィカルパターンの位置において表示デバイス４上にウェアラブル６を配設すると、制御デバイス８は、ウェアラブル６の判断された位置のリファインを開始してもよい。

表示デバイス４において出力されるグラフィカルパターンは、ウェアラブル６の光学センサ５６などの光学センサによる検出を容易にするように設計可能である。一般にグラフィカルパターンは、各々が異なる光学特徴を有する複数の領域を含み得る。図１および図４Ａ～図４Ｆに示すように、グラフィカルパターン１２は、中心領域１４と中心領域１４の周囲に分散された複数の境界領域１６とを含む。４つの境界領域を含むと図示されているが、グラフィカルパターンは、任意の数の境界領域を含み得る。たとえばいくつかの例では、グラフィカルパターンは、５、６、７、８、９、１０、１２またはそれ以上の境界領域を含み得る。

境界領域の各々は、調整方向と関連付けられ得る。特定の境界領域の調整方向は、境界領域と中心領域との間の空間関係を表し得る。一例として、境界領域１６Ａの調整方向は、３１５°（たとえば、中心領域１４から境界領域１６Ａに向かう方向）でもよい。同様に、境界領域１６Ｂの調整方向は４５°でもよく、境界領域１６Ｃの調整方向は２２５°でもよく、境界領域１６Ｄの調整方向は１３５°でもよい。以下でさらに詳細に説明するように、境界領域１６の特定の境界領域がウェアラブル６の下に表示されていると示す光学データに応答して、制御デバイス８は、特定の境界領域に対応する調整方向にウェアラブル６の推定位置を調整し得る。

図４Ａに示すように、ユーザは最初に、グラフィカルパターン１２が表示される表示デバイス４上の位置にウェアラブル６を配設し得る。ユーザがウェアラブル６を用いて直接操作を行っている間、制御デバイス８は、表示されたグラフィカルパターンの位置をユーザ入力として用い得る。たとえば、制御デバイス８のＵＩモジュール８６は、グラフィカルパターン１２の中心領域１４のセントロイドのｘｙ座標を、制御デバイス８において実行中のアプリケーションモジュール８０のうち１つのアプリケーションについてのユーザ入力として利用し得る。

図４Ｂに示すように、ユーザは、表示デバイス４を横断してウェアラブル６を移動させ得る。ウェアラブル６が移動されると、動きセンサ５４は、移動を示す動きデータを生成し得る。制御デバイス８の位置推定モジュール（ＬＥＭ）９０は、動きデータに基づいてウェアラブル６の更新された推定位置を判断し得る。たとえば、ＬＥＭ９０は、動きセンサ５４の加速度計によって生成された加速度データの二重積分を行い、その結果生じる値をウェアラブル６の既に知られている位置（すなわち、ウェアラブル６が移動される前にグラフィカルパターン１２が表示されていた位置）に加算してもよい。

図４Ｃに示すように、制御デバイス８は、表示デバイス４に、更新された推定位置においてグラフィカルパターン１２を出力させ得る。位置推定の精度に応じて、グラフィカルパターン１２は、ウェアラブル６の実際の位置において表示されても、または表示されなくてもよい。制御デバイス８の位置リファインモジュール（ＬＲＭ）９２は、ウェアラブル６の１つまたは複数の光学センサ５６によって生成された光学データに基づいて推定位置のリファインを行ってもよい。

３つのシナリオのうち１つが、リファインプロセス中にいずれかの時点の間に可能である。第１のシナリオでは、グラフィカルパターン１２は、ウェアラブル６の下に表示されなくてもよい（たとえば、光学センサ５６は、グラフィカルパターン１２の任意の領域を検出できなくてもよい）。第２のシナリオでは、グラフィカルパターン１２の境界領域１６のうち１つが、ウェアラブル６の下に表示されてもよい。第３のシナリオでは、グラフィカルパターン１２の中心領域１４は、ウェアラブル６の下に表示されてもよい。ＬＲＭ９２は、１つまたは複数の光学センサ５６によって生成された光学データに基づいて、どのシナリオが発生しているかを判断し得る。一例として、中心領域１４および境界領域１６のうちどの領域も検出されていないと光学データが示す場合、ＬＲＭ９２は、第１のシナリオが発生していると判断してもよい。他の例として、境界領域１６のうち特定の境界領域が検出されていると光学データが示す場合、ＬＲＭ９２は、第２のシナリオが発生していると判断してもよい。他の例として、中心領域１４が検出されていると光学データが示す場合、ＬＲＭ９２は、第３のシナリオが発生していると判断してもよい。

ＬＲＭ９２は、判断されたシナリオに基づいて特定のアクションを行い得る。第１のシナリオが発生している（たとえば、グラフィカルパターン１２のどの領域も検出されていない）という判断に応じて、ＬＲＭ９２は、グラフィカルパターン１２の表示サイズを拡大させ得る。すなわち、グラフィカルパターン１２の複数の領域のうちいずれも検出されていないという判断に応じて、ＬＲＭ９２は表示デバイス４に、現在のサイズに対して拡大されたサイズでグラフィカルパターン１２を出力させ得る。グラフィカルパターン１２の表示サイズを拡大することによって、ＬＲＭ９２は、グラフィカルパターン１２の領域が光学データにおいて検出される可能性を増加させ得る。サイズ拡大の例が、図４Ｃおよび図４で見られる。

第２のシナリオが発生している（たとえば、境界領域１６のうち特定の境界領域が検出されている）という判断に応じて、ＬＲＭ９２は、グラフィカルパターン１２の表示された位置を調整し得る。たとえば、境界領域１６のうち特定の境界領域が検出されているという判断に応じて、ＬＲＭ９２は、特定の境界領域に基づいて調整方向を判断し得る。上述のように、境界領域１６の各境界領域は、それぞれの境界領域と中心領域１４との間の空間関係を示すそれぞれの調整方向と関連付けられ得る。ＬＲＭ９２は、調整方向において、推定位置を調整してリファインされた位置を取得し得る。図４Ｄおよび図４Ｅの例では、ＬＲＭ９２は、境界領域１６Ｂが検出されていると判断し、境界領域１６Ｂに対応する調整方向が４５°の方位であると判断し、グラフィカルパターン１２の表示された位置を４５°の方位の距離だけ移動させ得る。ＬＲＭ９２がグラフィカルパターン１２を移動させる距離は、グラフィカルパターン１２の現在の表示サイズの関数であり得る。たとえばこの距離は、グラフィカルパターン１２の現在の表示サイズの半径の半分でもよい。

第３のシナリオが発生している（たとえば、中心領域が検出されている）という判断に応じて、ＬＲＭ９２は、グラフィカルパターン１２の表示サイズを縮小させ得る。言い換えると、グラフィカルパターン１２の中心領域１４が検出されているという判断に応じて、ＬＲＭ９２は、表示デバイス４に、現在のサイズに対して縮小されたサイズでグラフィカルパターン１２を表示させ得る。グラフィカルパターン１２の表示サイズを縮小することによって、ＬＲＭ９２は、グラフィカルパターン１２によって隠される／閉塞されるグラフィカルユーザインターフェースの量を低減し得る。いくつかの例では、ＬＲＭ９２は、グラフィカルパターン１２がウェアラブル６の周囲で見えない（たとえば、グラフィカルパターン１２がウェアラブル６によって完全に閉塞され得る）点にグラフィカルパターン１２のサイズを縮小し得る。サイズ縮小の例は、図４Ｅおよび図４Ｆにおいて見られる。

なお、制御デバイス８は、１つまたは複数の条件が満たされるまで、および／またはウェアラブル６が再び移動されるまで、リファインプロセスを続けてもよい。条件の一例は、グラフィカルパターン１２が最低表示サイズに達することを含む。最低表示サイズは、（たとえば、最低表示サイズがウェアラブル６のサイズと同じまたはそれよりわずかに小さくなるように）ウェアラブル６のサイズに基づいて選択され得る。

なお、さらに、特定のリファイン動作が他のシナリオを誘発し得る。たとえば、グラフィカルパターン１２の表示サイズを縮小することによって、中心領域１４が光学データにおいてもはや検出されなくなる（たとえば、境界領域が検出される、または検出される領域がない）。一具体例として、グラフィカルパターン１２の表示サイズを縮小した後で、制御デバイス８は、境界領域が現在検出されていると判断可能であり、検出された境界領域に基づいて グラフィカルパターン１２の表示位置を調整し得る。このプロセスは、グラフィカルパターン１２の最低サイズに達するまでループし得る。

図５は、本開示の１つまたは複数の技術に係る、表示されたグラフィカルオブジェクトの直接操作のためにウェアラブルデバイスの使用を可能にするためのデバイスの動作の例を示すフローチャートである。図５の技術は、図１および図３の制御デバイス８などの、デバイスの１つまたは複数のプロセッサによって実行され得る。図示のために、制御デバイス８の構成とは異なる構成を有するコンピューティングデバイスは図５の技術を行い得るが、図５の技術は、図１および図３の制御デバイス８の状況において説明される。一例として、図１の表示デバイス４の１つまたは複数のプロセッサは、図５の技術を行い得る。他の例として、図１および図２のウェアラブル６の１つまたは複数のプロセッサは、図５の技術を行い得る。他の例として、表示デバイス４およびウェアラブル６以外のモバイルコンピューティングデバイスの１つまたは複数のプロセッサが、図５の技術を行い得る。

制御デバイス８は、表示デバイスによる表示のために、グラフィカルユーザインターフェースを出力し得る（５０２）。たとえば、制御デバイス８のプロセッサ７０は、アプリケーションモジュール８０のうち１つのアプリケーションモジュールを実行してもよく、実行されたアプリケーションモジュールはＵＩモジュール８６と共に、グラフィカルユーザインターフェースのレンダリングを行う命令を生成してもよい。プロセッサ７０は、通信モジュール７８を実行して、通信ユニット７６に、グラフィカルユーザインターフェースを生成する命令を表示デバイス４に出力してもよい。

制御デバイス８は、動きデータに基づいて、ウェアラブルコンピューティングデバイスの推定位置を判断し得る（５０４）。たとえば、制御デバイス８は、ウェアラブル６の動きセンサ５４の加速度計によって生成される加速度データを無線で受信してもよく、制御デバイス８のＬＥＭ９０は、加速度データの二重積分を行い、その結果生じる値をウェアラブル６の既に知られている位置に加算してもよい。

制御デバイス８は、表示デバイスによる推定位置での表示のために、中心領域および複数の境界領域を含むグラフィカルパターンを出力し得る（５０６）。たとえば、ＬＲＭ９２は、（たとえば、グラフィカルパターンがグラフィカルユーザインターフェースの他の要素の上にオーバーレイされるように）グラフィカルパターン１２をアプリケーションモジュールによって生成されたグラフィカルユーザインターフェースに挿入してもよい。

制御デバイス８は、ウェアラブルコンピューティングデバイスの光学センサによって生成された光学データに基づいて、ウェアラブルコンピューティングデバイスのリファインされた位置を判断し得る。たとえば、ＬＲＭ９２は、光学データがグラフィカルパターン１２の領域の光学特徴と一致するかどうかを判断するように、ウェアラブル６の光学センサ５６のうち１つの光学センサによって生成された光学データを処理し得る。中心領域が光学データにおいて検出されているという判断に基づいて（５０８の「はい」という分岐）、ＬＲＭ９２は、グラフィカルパターン１２の表示サイズを縮小し得る（５１０）。中心領域または境界領域のうちいずれも光学データにおいて検出されていないという判断に応じて（５１２の「いいえ」という分岐）、ＬＲＭ９２は、グラフィカルパターン１２の表示サイズを拡大し得る（５１４）。光学データにおいて境界領域が検出されているという判断に応じて（５１２の「はい」という分岐）、ＬＲＭ９２は、検出された境界領域と関連付けられた調整方向に基づいて推定位置を調整し得る（５１６）。

制御デバイス８は、ウェアラブルデバイスが移動したかどうかを判断し得る（５１８）。たとえば、制御デバイス８は、動きセンサ５４によって生成された動きデータに基づいて、ウェアラブルコンピューティングデバイス６の加速度が加速度閾値よりも大きいかどうかを判断してもよい。ウェアラブルデバイスが移動したという判断に応じて（５１８の「はい」という分岐）、制御デバイス８は、移動を示す動きデータに基づいて、ウェアラブルコンピューティングデバイスの更新された推定位置を判断し得る（５０４）。ウェアラブルデバイスが移動していないという判断に応じて（５１８の「いいえ」という分岐）、ＬＲＭ９２は、リファイン動作の実行を継続し得る（５０８～５１６）。

上述のように、グラフィカルパターンは、グラフィカルユーザインターフェースの他の要素にオーバーレイされて表示され得る。いくつかの例では、制御デバイス８は、グラフィカルパターンがグラフィカルユーザインターフェースの他の要素について「混同」される可能性を低減する１つまたは複数の動作を行い得る。たとえば制御デバイス８は、表示デバイスにグラフィカルパターンを表示させつつ、表示デバイスに所定のレートで（たとえば、１、２、３、４、５フレーム毎に）グラフィカルパターンを点滅させてもよい。

図６Ａ～図６Ｃは、本開示の１つまたは複数の技術に係る、グローバル初期化のために使用可能なグラフィカルパターンの例を示す図である。上述のように、いくつかの例では、制御デバイス８は、グラフィカルパターン（たとえば、図１のグラフィカルパターン１２）を表示デバイス４上の特定の位置（たとえば、特定の位置が初期位置として機能する）に表示することによって、ウェアラブル６の初期位置を判断し得る。他の例では、制御デバイス８は、表示デバイス４の全体を横断してさまざまなグラフィカルパターンを表示することによって、表示デバイス４上のウェアラブル６の初期位置を判断するように構成されてもよい（その一方で、グラフィカルパターン１２は、表示デバイス４の全てよりも占める場所は少ない）。グラフィカルパターンのいくつかの例が、図６Ａ～図６Ｃに示されている。図６Ａ～図６Ｃに示されるグラフィカルパターンを用いたグローバル初期化技術を行うために、制御デバイス８は、（たとえば、表示デバイス４上の場所にユーザがウェアラブル６を配設したにもかかわらず、グラフィカルパターンの一部がウェアラブル６の位置になるように）表示デバイス４の全表示領域上のグラフィカルパターン６０２、６０４および６０６のうち１つ以上を点滅させる。

番号を付した以下の例は、本開示の１つまたは複数の態様を示し得る。
例１．１つまたは複数のプロセッサが、プレゼンスセンシティブでない表示デバイス上の、ユーザの手首に装着されるように構成されたウェアラブルコンピューティングデバイスの推定位置を判断することと、表示デバイスに、推定位置においてグラフィカルパターンを出力させることと、１つまたは複数のプロセッサがウェアラブルコンピューティングデバイスの光学センサによって生成された光学データに基づいて、ウェアラブルコンピューティングデバイスのリファインされた位置を判断することと、１つまたは複数のプロセッサが、表示デバイスを介してグラフィカルユーザインターフェースを出力するアプリケーションのために、ユーザ入力の位置としてウェアラブルコンピューティングデバイスのリファインされた位置を利用することとを備える。

例２．推定位置を判断することは、ウェアラブルコンピューティングデバイスの１つまたは複数の動きセンサによって生成された動きデータに基づいて、推定位置を判断することを含む、例１に記載の方法。

例３．グラフィカルパターンは、中心領域と中心領域の周囲に分散された複数の境界領域とを含む複数の領域を含み、複数の領域の各領域は異なる光学特徴を有し、リファインされた位置を判断することは、光学データに基づいて、複数の領域のうちいずれかが検出されているかどうかを判断することと、複数の境界領域のうち特定の境界領域が検出されているという判断に応じて、特定の境界領域に基づいて調整方向を判断することと、調整方向において、推定位置を調整してリファインされた位置を取得することとを含む、例１または２に記載の方法。

例４．リファインされた位置を判断することはさらに、複数の領域のうちいずれも検出されていないという判断に応じて、表示デバイスに、現在のサイズに対して拡大されたサイズでグラフィカルパターンを出力させることを含む、例２または３に記載の方法。

例５．リファインされた位置を判断することはさらに、複数の領域のうち中心領域が検出されているという判断に応じて、表示デバイスに、現在のサイズに対して縮小されたサイズでグラフィカルパターンを出力させることを含む、例２～４のいずれか１つに記載の方法。

例６．表示デバイスにグラフィカルパターンを出力させることは、表示デバイスに、所定のレートでグラフィカルパターンを点滅させることを含む、例１～５のいずれか１つに記載の方法。

例７．ウェアラブルコンピューティングデバイスの光学センサは、光電脈波センサを含む、例１～６のいずれか１つに記載の方法。

例８．１つまたは複数のプロセッサは表示デバイスに含まれている、例１～７のいずれか１つに記載の方法。

例９．１つまたは複数のプロセッサはウェアラブルコンピューティングデバイスに含まれている、例１～７のいずれか１つに記載の方法。

例１０．１つまたは複数のプロセッサは、ウェアラブルコンピューティングデバイスおよび表示デバイスとは異なる他のデバイスに含まれ、方法はさらに、他のデバイスがウェアラブルコンピューティングデバイスから、光学データを受信することと、表示デバイスに、グラフィカルユーザインターフェースを出力させることとを備える、例１～７のいずれか１つに記載の方法。

例１１．１つまたは複数のプロセッサと、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサに例１～１０のいずれか１つに記載の方法を実行させる命令を含むメモリとを備える、コンピューティングデバイス。

例１２．実行されると、１つまたは複数のプロセッサに例１～１０のいずれか１つに記載の方法を実行させる命令を格納する、コンピュータ可読記憶媒体。

例１３．例１～１０のいずれか１つに記載の方法を行う手段を備える、デバイス。
本開示で説明された技術は、少なくとも部分的に、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組合せで実現可能である。たとえば、説明された技術のさまざまな態様は、１つまたは複数のマイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または任意の他の同等の集積回路もしくは個別論理回路、およびこれらのコンポーネントの任意の組合せを含む１つまたは複数のプロセッサ内で実現可能である。「プロセッサ」または「処理回路」という用語は、単独でもしくは他の論理回路と組み合わせた前述の論理回路のいずれか、または他の同等の回路を表し得る。ハードウェアを含む制御ユニットも、本開示の技術のうち１つ以上を行い得る。

そのようなハードウェア、ソフトウェア、およびファームウェアは、本開示に説明されたさまざまな技術をサポートするために同じデバイス内または別のデバイス内で実現可能である。さらに、上述のユニット、モジュールまたはコンポーネントのいずれかは、共にまたは別個だが相互運用可能なロジックデバイスとして別に実現可能である。モジュールまたはユニットとしての異なる特徴の記述は、異なる機能態様を強調するように意図されており、そのようなモジュールまたはユニットが別のハードウェア、ファームウェア、またはソフトウェアコンポーネントによって実現しなければならないということを必ずしも含意しているわけではない。そうではなく、１つもしくは複数のモジュールまたはユニットと関連付けられた機能は、別のハードウェア、ファームウェア、またはソフトウェアコンポーネントによって実現可能である、または、共通のまたは別のハードウェア、ファームウェア、もしくはソフトウェアコンポーネント内で一体化可能である。

本開示で説明された技術は、命令で符号化されたコンピュータ可読記憶媒体を含む製品において具体化または符号化可能である。符号化されたコンピュータ可読記憶媒体を含む製品において埋込まれたまたは符号化された命令は、１つもしくは複数のプログラマブルプロセッサ、または他のプロセッサに、たとえばコンピュータ可読記憶媒体において含まれるまたは符号化された命令が１つまたは複数のプロセッサによって実行されると、本明細書で説明された技術のうち１つ以上を実現させ得る。コンピュータ可読記憶媒体は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、プログラマブルリードオンリーメモリ（ＰＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ）、電気的消去可能リードオンリーメモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、ハードディスク、コンパクトディスクＲＯＭ（ＣＤ‐ＲＯＭ）、フロッピー（登録商標）ディスク、カセット、磁気媒体、光学媒体、または他のコンピュータ可読媒体を含み得る。いくつかの例では、製品は、１つまたは複数のコンピュータ可読記憶媒体を含み得る。

いくつかの例では、コンピュータ可読記憶媒体は、非一時的媒体を含み得る。「非一時的」という用語は、記憶媒体が搬送波または伝播波において具体化されていないことを表し得る。特定の例では、非一時的記憶媒体は、（たとえば、ＲＡＭまたはキャッシュにおいて）時間と共に変化可能なデータを記憶し得る。

さまざまな例について説明した。これらおよびその他の例は、以下の請求項の範囲に含まれる。

Claims (12)

1. １つまたは複数のプロセッサが、プレゼンスセンシティブでない表示デバイス上の、ユーザの手首に装着されるように構成されたウェアラブルコンピューティングデバイスの推定位置を判断することと、
   前記表示デバイスに、前記推定位置においてグラフィカルパターンを出力させることと、
   前記１つまたは複数のプロセッサが前記ウェアラブルコンピューティングデバイスの光学センサによって生成された光学データに基づいて、前記ウェアラブルコンピューティングデバイスのリファインされた位置を判断することと、
   前記１つまたは複数のプロセッサが、前記表示デバイスを介してグラフィカルユーザインターフェースを出力するアプリケーションのために、ユーザ入力の位置として前記ウェアラブルコンピューティングデバイスのリファインされた前記位置を利用することとを備え、
   前記グラフィカルパターンは、中心領域と前記中心領域の周囲に分散された複数の境界領域とを含む複数の領域を含み、前記複数の領域の各領域は異なる光学特徴を有し、リファインされた前記位置を判断することは、
   前記光学データに基づいて、前記複数の領域のいずれかが検出されているかどうかを判断することと、
   前記複数の境界領域のうち特定の境界領域が検出されているという判断に応じて、前記特定の境界領域に基づいて調整方向を判断することと、
   前記調整方向において、前記推定位置を調整してリファインされた前記位置を取得することとを含む、方法。
2. リファインされた前記位置を判断することはさらに、前記複数の領域のうちいずれも検出されていないという判断に応じて、前記表示デバイスに、現在のサイズに対して拡大されたサイズで前記グラフィカルパターンを出力させることを含む、請求項１に記載の方法。
3. リファインされた前記位置を判断することはさらに、前記複数の領域のうち前記中心領域が検出されているという判断に応じて、前記表示デバイスに、現在のサイズに対して縮小されたサイズで前記グラフィカルパターンを出力させることを含む、請求項１または２に記載の方法。
4. １つまたは複数のプロセッサが、プレゼンスセンシティブでない表示デバイス上の、ユーザの手首に装着されるように構成されたウェアラブルコンピューティングデバイスの推定位置を判断することと、
   前記表示デバイスに、前記推定位置においてグラフィカルパターンを出力させることと、
   前記１つまたは複数のプロセッサが前記ウェアラブルコンピューティングデバイスの光学センサによって生成された光学データに基づいて、前記ウェアラブルコンピューティングデバイスのリファインされた位置を判断することと、
   前記１つまたは複数のプロセッサが、前記表示デバイスを介してグラフィカルユーザインターフェースを出力するアプリケーションのために、ユーザ入力の位置として前記ウェアラブルコンピューティングデバイスのリファインされた前記位置を利用することとを備え、
   前記表示デバイスに前記グラフィカルパターンを出力させることは、前記表示デバイスに、所定のレートで前記グラフィカルパターンを点滅させることを含む、方法。
5. １つまたは複数のプロセッサが、プレゼンスセンシティブでない表示デバイス上の、ユーザの手首に装着されるように構成されたウェアラブルコンピューティングデバイスの推定位置を判断することと、
   前記表示デバイスに、前記推定位置においてグラフィカルパターンを出力させることと、
   前記１つまたは複数のプロセッサが前記ウェアラブルコンピューティングデバイスの光学センサによって生成された光学データに基づいて、前記ウェアラブルコンピューティングデバイスのリファインされた位置を判断することと、
   前記１つまたは複数のプロセッサが、前記表示デバイスを介してグラフィカルユーザインターフェースを出力するアプリケーションのために、ユーザ入力の位置として前記ウェアラブルコンピューティングデバイスのリファインされた前記位置を利用することとを備え、
   前記ウェアラブルコンピューティングデバイスの前記光学センサは、光電脈波センサを含む、方法。
6. 前記１つまたは複数のプロセッサは前記表示デバイスに含まれている、請求項１～５のいずれか１項に記載の方法。
7. 前記１つまたは複数のプロセッサは前記ウェアラブルコンピューティングデバイスに含まれている、請求項１～５のいずれか１項に記載の方法。
8. 前記１つまたは複数のプロセッサは、前記ウェアラブルコンピューティングデバイスおよび前記表示デバイスとは異なる他のデバイスに含まれ、前記方法はさらに、
   前記他のデバイスが前記ウェアラブルコンピューティングデバイスから、前記光学データを受信することと、
   前記表示デバイスに、前記グラフィカルユーザインターフェースを出力させることとを備える、請求項１～５のいずれか１項に記載の方法。
9. １つまたは複数のプロセッサが、プレゼンスセンシティブでない表示デバイス上の、ユーザの手首に装着されるように構成されたウェアラブルコンピューティングデバイスの推定位置を判断することと、
   前記表示デバイスに、前記推定位置においてグラフィカルパターンを出力させることと、
   前記１つまたは複数のプロセッサが前記ウェアラブルコンピューティングデバイスの光学センサによって生成された光学データに基づいて、前記ウェアラブルコンピューティングデバイスのリファインされた位置を判断することと、
   前記１つまたは複数のプロセッサが、前記表示デバイスを介してグラフィカルユーザインターフェースを出力するアプリケーションのために、ユーザ入力の位置として前記ウェアラブルコンピューティングデバイスのリファインされた前記位置を利用することとを備え、
   前記光学データは、前記グラフィカルパターンが前記推定位置に出力された状態で、前記表示デバイスの表示領域の一部を前記光学センサがセンシングすることによって生成される、方法。
10. コンピューティングデバイスであって、
    １つまたは複数のプロセッサと、
    前記１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに請求項１～９のいずれか１項に記載の方法を実行させる命令を含むメモリとを備える、コンピューティングデバイス。
11. 請求項１～９のいずれか１項に記載の方法をコンピュータに実行させるためのプログラム。
12. 請求項１～９のいずれか１項に記載の方法を実行する手段を備える、デバイス。

Images