JP5977808B2 - 動作に関するバイオメトリックデータを使用して直近の既知のブラウジング位置の手がかりを提供すること - Google Patents

Description

本明細書で開示される主題は、動作に関するバイオメトリックデータの運動学解析に関し、より詳細には、動作に関するバイオメトリックデータの運動学解析に基づきユーザの意図をリアルタイムで特定する方法、システム、および装置に関する。

コンピュータインターフェイスを見ているユーザは、現在のブラウジング位置を表すカーソルを必ずしも有するわけではない。例えば、電子書籍を読んでいるユーザは、目を離した後でコンピュータインターフェイスに戻る時に、最後に読んだ語を捜し出さなければならない。

加えて、複数のウィンドウやディスプレイを使用する環境で作業を行う際に、ユーザは各ウィンドウまたはディスプレイのどこで作業をやめたのかを思い出すのに苦労する場合がある。ユーザがウィンドウまたはディスプレイの直近のブラウジング位置を特定する際に、この苦労によって生産性が失われる。異なるウィンドウやディスプレイ間の切り替えに伴うオーバーヘッド時間は数秒かかることがあり、このような調整時間は、結果的に１日の労働時間の間に累積していく可能性がある。

本発明は、上記に鑑みてなされたものであり、直近のブラウジング位置の視覚的な手がかりを提供することを目的とする。

動作に関するバイオメトリックデータを使用して直近の既知のブラウジング位置の手がかりを提供する装置が開示される。動作に関するバイオメトリックデータを使用して直近の既知のブラウジング位置の手がかりを提供する装置は、動作に関するバイオメトリックデータを受信するバイオメトリックデータモジュール、ユーザの注意の逸れを検出する判断モジュール、および直近の既知のブラウジング位置を表す視覚的な手がかりを提供する位置の手がかりモジュールを有する。また、方法およびコンピュータプログラムは、装置のこれらの機能を実行する。

添付図面に示した具体的な実施形態を参照しつつ、簡潔に上述した実施形態をより詳細に説明する。これらの図面はいくつかの実施形態を示すものに過ぎず、本発明の範囲を限定するものと解釈されるべきではないと理解すべきであり、添付図面を用いてさらに具体的かつ詳細に、本発明の実施形態を説明する。

図１は、動作に関するバイオメトリックデータの運動学解析に基づきユーザの意図をリアルタイムで検出するシステムの一実施形態を示す概略ブロック図である。 図２は、動作に関するバイオメトリックデータの運動学解析に基づきユーザの意図をリアルタイムで検出する装置の一実施形態を示す概略ブロック図である。 図３は、動作に関するバイオメトリックデータの運動学解析に基づきユーザの意図をリアルタイムで検出する装置の別の実施形態を示す概略ブロック図である。 図４−Ａは、動作に関するバイオメトリックデータの運動学解析に基づいたユーザの意図のリアルタイムでの検出の一実施形態を示す図である。 図４−Ｂは、動作に関するバイオメトリックデータの運動学解析に基づいたユーザの意図のリアルタイムでの検出の別の実施形態を示す図である。 図５は、動作に関するバイオメトリックデータの運動学解析に基づきユーザの意図をリアルタイムで検出する方法の一実施形態を示す概略フローチャート図である。 図６は、動作に関するバイオメトリックデータの運動学解析に基づきユーザの意図をリアルタイムで検出する方法の別の実施形態を示す概略フローチャート図である。 図７は、動作値に基づきユーザの意図を解釈する方法の一実施形態を示す概略フローチャート図である。 図８は、動作に関するバイオメトリックデータに基づきユーザの注意の逸れを特定する方法の一実施形態を示す概略フローチャート図である。 図９は、動作に関するバイオメトリックデータに基づき短距離の動きと長距離の動きを区別する方法の一実施形態を示す概略フローチャート図である。 図１０は、動作に関するバイオメトリックデータを使用して直近の既知のブラウジング位置の手がかりを提供する装置の一実施形態を示す概略ブロック図である。 図１１は、動作に関するバイオメトリックデータを使用して直近の既知のブラウジング位置の手がかりを提供する装置の別の実施形態を示す概略ブロック図である。 図１２−Ａは、動作に関するバイオメトリックデータを使用した直近の既知のブラウジング位置の手がかりの提供の一実施形態を示す図である。 図１２−Ｂは、図１２−Ａの実施形態に係る動作に関するバイオメトリックデータを使用した直近の既知のブラウジング位置の手がかりの提供の別の図を示す図である。 図１２−Ｃは、図１２−Ａの実施形態に係る動作に関するバイオメトリックデータを使用した直近の既知のブラウジング位置の手がかりの提供の別の図を示す図である。 図１２−Ｄは、図１２−Ａの実施形態に係る動作に関するバイオメトリックデータを使用した直近の既知のブラウジング位置の手がかりの提供の別の図を示す図である。 図１３は、動作に関するバイオメトリックデータを使用して直近の既知のブラウジング位置の手がかりを提供する方法の一実施形態を示す概略フローチャート図である。 図１４は、動作に関するバイオメトリックデータを使用して直近の既知のブラウジング位置の手がかりを提供する方法の別の実施形態を示す概略フローチャート図である。 図１５は、動作に関するバイオメトリックデータを使用して直近の既知のブラウジング位置の手がかりを提供する方法の別の実施形態を示す概略フローチャート図である。

実施の形態の態様は、システム、方法、またはプログラムとして実行できることは、当業者にとって理解できることである。従って、実施の形態は、全体として、ハードウェア、ソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）、または、ソフトウェアとハードウェアを組み合わせによって実行でき、これらはほとんどの場合、本明細書で「回路(circuit)」、「モジュール(module)」、または「システム(system)」と称する。さらに、実施の形態は、以下、コードと呼ばれる、マシン可読コード(machine readable code)、コンピュータ可読コード(computer readable code)、および／またはプログラムコード(program code)のうち少なくともいずれかを格納する、１つ以上のコンピュータ可読ストレージデバイスにおいて具体化させたプログラム製品の形を取ってもよい。ストレージデバイスは、有形(tangible)、非一時的(non-transitory)、および非送信型(non-transmission)のうち少なくともいずれかであってもよい。ストレージデバイスは、信号を具体化しなくてもよい。ある実施形態では、ストレージデバイスは、コードにアクセスするために信号を用いるのみである。

この明細書で説明される機能ユニットの多くはモジュールと名付けられており、そのことにより、それらの実装の独立性がよりいっそうはっきりとする。例えば、モジュールは、カスタムＶＬＳＩ回路またはゲートアレイ、ロジックチップやトランジスタ等の既製の半導体、または他のディスクリート（個別）部品を備えるハードウェア回路として実装されてもよい。モジュールはまた、フィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ）、プログラマブルアレイロジック、プログラマブルロジックデバイス等のプログラマブルハードウェアデバイスに実装されてもよい。

モジュールはまた、様々な種類のプロセッサによる実行のため、コードとソフトウェアのうち少なくとも一方に実装されてもよい。特定のコードモジュールは、例えば、実行可能なコードの１つ以上の物理ブロックまたは論理ブロックを備えてもよく、そのコードは、例えば、オブジェクト、プロシージャ、またはファンクションとして構成され得るものである。なお、特定のモジュールの実行ファイルは、物理的に一緒に位置づけされる必要はないが、異なる場所に格納された多種多様な命令を備えてもよく、それらの命令は、論理的に結合された時にモジュールを構成し、モジュールの定められた目的を達成するものである。

実際には、コードモジュールは、単一の命令または多数の命令であってもよく、いくつかの異なるコードセグメントにわたり、異なるプログラム間で、いくつかのメモリデバイスに分散されてもよい。同様に、オペレーショナルデータは、本明細書で、モジュールの範囲内で識別され、例示されてもよく、また、任意の適切な形で具体化され、任意の適切な種類のデータ構造内に構築されてもよい。オペレーショナルデータは、単一のデータセットとして収集されてもよく、または異なるコンピュータ可読ストレージデバイス全体を含む異なる場所全体にわたり分散されてもよい。モジュールまたはモジュールの部分がソフトウェアに実装される場合、ソフトウェア部分は、１つ以上のコンピュータ可読ストレージデバイスに格納される。

１つ以上のコンピュータ可読媒体の任意の組み合わせが利用されてもよい。コンピュータ可読媒体は、コンピュータ可読記憶媒体であってもよい。コンピュータ可読記憶媒体は、コードを格納するストレージデバイスであってもよい。ストレージデバイスは、例えば、電子的、磁気的、光学的、電磁気的、赤外線、ホログラフィック、マイクロメカニカル、もしくは半導体のシステム、装置、またはデバイス、あるいは前述のいずれかの適切な組み合わせであってもよいが、これらに限定されるわけではない。

ストレージデバイスのより具体的な例（包括的ではないリスト）には、１本以上の電線を有する電気接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（Random Access Memory：ＲＡＭ）、読み取り専用メモリ（Read-Only Memory：ＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）またはフラッシュメモリ）、可搬なＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）、光学ストレージデバイス、磁気ストレージデバイス、または前述のいずれかの適切な組み合わせが含まれるであろう。本明細書に照らして、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスにより、またはそれと関連して使用されるプログラムを含むまたは格納することのできる任意の有形媒体であってもよい。

実施形態のオペレーションを実行するコードは、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋等のオブジェクト指向プログラミング言語と、「Ｃ」プログラミング言語や類似するプログラミング言語のような従来の手続き型プログラミング言語とを含む、１つ以上のプログラミング言語の任意の組み合わせで書かれていてもよい。コードは、ユーザのコンピュータ上で完全に、ユーザのコンピュータ上で部分的に、独立型のソフトウェアパッケージとして、ユーザのコンピュータ上で部分的かつリモートコンピュータ上で部分的に、またはリモートコンピュータもしくはサーバ上で完全に、実行してもよい。後半のパターンの場合、リモートコンピュータは、ローカルエリアネットワーク（Local Area Network：ＬＡＮ）や広域ネットワーク（Wide Area Network：ＷＡＮ）を含む任意の種類のネットワークを通じてユーザのコンピュータに接続されていてもよく、または接続は、（例えば、インターネットサービスプロバイダを使用してインターネットを通じて）外部のコンピュータになされてもよい。

この明細書全体にわたる「一実施形態」、「実施形態」、または類似する言い回しへの言及は、実施の形態に関連して説明される特別な機能、構造、または特徴が少なくとも１つの実施の形態に含まれることを意味する。つまり、この明細書全体にわたる、表現「一実施の形態では」、「実施の形態では」、および類似する言い回しの出現は、必ずしもそうとは限らないが、全て同じ実施の形態を指してもよく、また、別途明記されない限り、「１つ以上だが全てではない実施の形態」を意味してもよい。用語「含む」、「備える」、「有する」、またはこれらの用語のバリエーションは、別途明記されない限り、「を含むが、これらに限定されるわけではない」ということを意味する。列挙される記載事項は、別途明記されない限り、任意の、または全ての事項が相互に排他的であることを意味するものではない。用語「１つの（”a”および”an”）」および「その（the）」もまた、別途明記されない限り、「１つ以上の」を指す。

さらに、実施の形態の説明される機能、構造、または特徴は、任意の適切な方法で組み合わされてもよい。以下の説明においては、実施の形態が完全に理解されるために、プログラミング、ソフトウェアモジュール、ユーザ選択、ネットワークトランザクション、データベースクエリ、データベース構造、ハードウェアモジュール、ハードウェア回路、ハードウェアチップ等の例といった具体的な詳細が多数提示される。当業者は、１つ以上のそれら具体的な詳細がなくても、または他の方法、構成要素、材料等を用いて、実施の形態を実施できるということを理解すべきである。その他の例では、実施の形態の態様を不明瞭にすることを避けるため、既知の構造、材料、およびオペレーションは図示や詳細な説明を省略する。

実施の形態の態様は、実施形態に係る方法、装置、システム、およびプログラム製品の概略フローチャート図および／または概略ブロック図を参照して以下に説明される。それら概略フローチャート図および／または概略ブロック図の各ブロック、ならびにそれら概略フローチャート図および／または概略ブロック図におけるブロックの組み合わせは、コードによって実行可能であるということを理解すべきである。汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のプロセッサを経由して実行する命令が、それら概略フローチャート図および／または概略ブロック図の１つまたは複数のブロックに明記された機能(function)／動作(act)を実行する方法をもたらすように、これらのコードは、マシンを製造するために、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサに提供されてもよい。

ストレージデバイスに格納された命令が、それら概略フローチャート図および／または概略ブロック図の１つまたは複数のブロックに明記された機能／動作を実行する命令を含む製品を生成するように、コードはまた、コンピュータ、他のプログラマブルデータ処理装置、または特有の方法で機能する他のデバイスに命令を出すことができるストレージデバイスに格納されてもよい。

コンピュータ、または他のプログラマブルデータ処理装置上で実行するコードが、これらフローチャートやブロック図の１つまたは複数のブロックに明記された機能／動作を実行するプロセスを提供するように、コードはまた、コンピュータ、他のプログラマブル装置、または他のデバイス上で実行される一連のオペレーションステップを生成し、コンピュータにより実施されるプロセスを実現するために、コンピュータ、他のプログラマブル装置、または他のデバイスにロードされてもよい。

図面の概略フローチャート図および／または概略ブロック図は、様々な実施の形態に係る装置、システム、方法、およびプログラム製品を実現する、考えられるアーキテクチャ、機能性、およびオペレーションを示す。この点において、概略フローチャート図や概略ブロック図における各ブロックは、特定の論理機能を実行するコードの１つ以上の実行可能な命令を備えるモジュール、セグメント、またはコード部分を表してもよい。

実行の選択肢によっては、ブロックに記入されている機能は、図面に記入された順序とは無関係に出てきてもよい、ということにも留意すべきである。例えば、連続して示される２つのブロックは、実際には、関係した機能性次第で、ほぼ同時に実行されてもよく、またはそれらのブロックは、逆の順序で実行されてもよい。他のステップおよび方法は、機能、論理、または、効果において、示された図面の１つ以上のブロックまたはブロック部分に相当すると考えられてもよい。

フローチャート図および／またはブロック図において、様々な種類の矢印および線が用いられてもよいが、それらは対応する実施の形態の範囲を限定しない、と理解される。実際に、いくつかの矢印または他の結合子は、示された実施の形態の論理の流れのみを表すために使用されてもよい。例えば、矢印は、示された実施の形態の列挙されたステップ間の、継続期間が不特定な待機またはモニタリングの期間を表してもよい。ブロック図および／またはフローチャート図の各ブロック、ならびにそれらブロック図および／またはフローチャート図におけるブロックの組み合わせが、特定の機能もしくは行為を実行する専用ハードウェアをベースとするシステムまたは専用ハードウェアとコードとの組み合わせにより実行可能であるということを留意すべきである。

各図面における要素の説明は、継続する図面の要素を参照してもよい。同じ要素の別の実施の形態を含め、全ての図面において同じ番号は同じ要素を参照する。

一般に、方法、システム、装置、およびコンピュータプログラム製品は、動作に関するバイオメトリックデータ(movement-oriented biometric data)の運動学解析(kinematic analysis)をリアルタイムで実施する。実施形態によっては、運動学解析はユーザの意図を解釈するために使用されてもよい。例えば、運動学解析は、ユーザの動きにより、短いエッジスワイプのような短距離の動きが意図されているのか、長いエッジスワイプのような長距離の動きが意図されているのかを解釈するために使用されてもよい。

実施の形態によっては、運動学解析は、ユーザがコンピュータインターフェイスに注意を向けているかどうか、またはコンピュータインターフェイスからユーザの注意が逸れたかどうかを解釈するために使用される。コンピュータインターフェイスは、ディスプレイ、ウィンドウ、またはディスプレイもしくはウィンドウの任意の下位要素であってもよい。コンピュータインターフェイスの特質は、電子デバイスの種類および電子デバイス上で実行されるアプリケーションの特質によって決まってもよい。例えば、コンピュータインターフェイスは、ラップトップコンピュータ、デスクトップコンピュータ、またはタブレットコンピュータのウィンドウブラウザであってもよい。別の例として、コンピュータインターフェイスは、読み取りアプリケーションを実行する電子リーダまたは携帯型デバイスのディスプレイ全体であってもよい。

実施の形態によっては、動作に関するバイオメトリックデータは、動作値と位置値の少なくとも一方を特定するために使用される。実施の形態によっては、動作値と位置値の少なくとも一方は、ユーザの意図を解釈するために、複数の閾値と比較されてもよい。例えば、加速度閾値を超え、ジャーク（または振動）閾値を超える場合、ユーザの動きは注意をそらす動きと解釈されてもよい。実施形態によっては、動作値と位置値の少なくとも一方は、ユーザの意図を解釈するために複数のプロファイルと比較されてもよい。例えば、速度値が鐘形曲線に一致した場合、ユーザの動きは短距離の動きと解釈されてもよい。実施形態によっては、動作値と位置値の少なくとも一方は、ユーザの意図を解釈するために閾値およびプロファイルと比較されてもよい。例えば、速度値が鐘形曲線に一致し、加速度値が閾値を超える場合、ユーザの動きは長距離の動きと解釈されてもよい。実施の形態によっては、ユーザの意図の特定に応じて、ユーザの意図に基づき選択されたアクションが実施される。

実施の形態によっては、運動学解析は、ユーザがコンピュータインターフェイスとの関連でどこを見ているかを特定するために使用される。例えば、バイオメトリックデータは、コンピュータインターフェイス上のブラウジング位置を特定するために分析されてもよい。さらに分析を行うことで、ユーザがコンピュータインターフェイスから注意をそらす時が、リアルタイムで特定されてもよい。ユーザの注意の逸れを特定した後、注意が逸れる動きに対応するブラウジング位置は、直近のブラウジング位置として格納されてもよい。ユーザが直近のブラウジング位置をすばやく識別しやすくするために、視覚的な手がかりが直近のブラウジング位置に提供されてもよい。例えば、コンピュータインターフェイス上の、直近のブラウジング位置に対応する語をハイライトすることで、コンピュータインターフェイス上でテキストを読んでいるユーザは、最後に読んだ語をすばやく識別し、再び読み始めることができる。

図１は、本開示の実施の形態に係る、動作に関するバイオメトリックデータ(movement-oriented biometric data)を取得して分析するシステム(system)１００を示す。システム１００は電子デバイス(electric device)１０１を備える。電子デバイス１０１は、プロセッサ(processor)１０２、ディスプレイ(display))１０４、ユーザの意図分析デバイス(user intention analysis device)１１０、ブラウジング位置の手がかりデバイス(browsing location cue device)１１２、およびメモリ(memory)１１４を備える。実施の形態によっては、電子デバイス１０１はまた、入力デバイス(input device)１０６および／またはバイオメトリックセンサ(biometric sensor)１０８を備える。電子デバイス１０１の構成要素は、コンピュータバスのような通信ファブリックにより相互接続していてもよい。実施の形態によっては、電子デバイス１０１は、バイオメトリックデータ取得デバイス(biometric data acquisition device)１２０と通信接続される。バイオメトリックデータ取得デバイス１２０は、バイオメトリックデータを取得する外部バイオメトリックセンサ(external biometric sensor)１２２を含む。

プロセッサ１０２は、コンピュータに読み込み可能な命令を実行する能力とバイオメトリックデータに対して論理演算を実行する能力の少なくとも一方を持つ任意の公知のコントローラを備えていてもよい。例えば、プロセッサ１０２は、マイクロコントローラ、マイクロプロセッサ、中央処理装置（Central Processing Unit：ＣＰＵ）、グラフィックス処理装置（Graphics Processing Unit：ＧＰＵ）、補助処理装置、ＦＰＧＡ、または類似するプログラマブルコントローラであってもよい。実施の形態によっては、本明細書で説明される方法および一連の動作を実施するために、プロセッサ１０２はメモリ１１４に格納された命令を実行する。

ディスプレイ１０４は、視覚的なデータをユーザに対して出力することのできる、任意の公知のディスプレイを備えていてもよい。例えば、ディスプレイ１０４は、画像、テキスト等をユーザに対して出力することのできる、ＬＣＤディスプレイ、ＬＥＤディスプレイ、ＯＬＥＤディスプレイ、プロジェクタ、または類似するディスプレイデバイスであってもよい。ディスプレイ１０４は、プロセッサ１０２、ユーザの意図分析デバイス１１０、および／またはブラウジング位置の手がかりデバイス１１２から表示用の画像データを受信してもよい。

入力デバイス１０６は、任意の公知のコンピュータ入力デバイス１０６を備えていてもよい。例えば、入力デバイス１０６は、タッチパネル、ボタン、キー等であってもよい。実施の形態によっては、入力デバイス１０６は、タッチスクリーンや類似するタッチセンサディスプレイのような、ディスプレイ１０４と一体化していてもよい。実施の形態によっては、動作に関するバイオメトリックデータは、入力デバイス１０６により生成されてもよい。例えば、指の位置に関連するバイオメトリックデータは、入力デバイス１０６から受信されてもよい。

バイオメトリックセンサ１０８は、動作に関するバイオメトリックデータを集めるセンサである。実施の形態によっては、バイオメトリックセンサ１０８は、ユーザのジェスチャー(gesture)を追跡することのできるカメラシステムである。実施の形態によっては、バイオメトリックセンサ１０８は、目の注視データ(eye gazing data)および／または目の追跡データ(eye tracking data)を集めることのできるカメラシステムである。目の注視データおよび目の追跡データはどちらも、ユーザの目がどこを見ているかを特定するために使用される,動作に関するバイオメトリックデータの例である。

本明細書で使用されているように、目の注視データは、コンピュータインターフェイスとの関連で顔特徴の向きを識別することにより、目の動きを追跡する動作に関するバイオメトリックデータを参照する。目の注視データは、身長、首の向き、鼻の向き、および他の顔特徴を使用することにより、大まかな向きの情報を提供する。しかし、目の注視データは、目が見ている正確な場所を提供しない。それに対して、目の追跡データは、瞳孔の場所や網膜の場所のような、目の特徴を識別することにより、目の動きを追跡する,動作に関するバイオメトリックデータを参照する。目の追跡データは、正確な目の向きの情報を提供し、ユーザがどこを見ているかをより正確に特定することができる。

ユーザの意図分析デバイス１１０は、動作に関するバイオメトリックデータに対して作動して、動きからユーザの意図を解釈する。ユーザの意図分析デバイス１１０には、コンピュータハードウェアとコンピュータソフトウェアのうち少なくとも一方が備えられていてもよい。例えば、ユーザの意図分析デバイス１１０は、動作に関するバイオメトリックデータを使用して、検出された動きのユーザの意図を解釈するように構成された回路またはプロセッサであってもよい。実施形態によっては、ユーザの意図分析デバイス１１０はソフトウェアコードを備え、そのソフトウェアコードによって、プロセッサ１０２は動作に関するバイオメトリックデータからユーザの意図を解釈することが可能となる。ユーザの意図分析デバイス１１０については、以下で図２および３を参照してさらに詳細に考察を行う。

ブラウジング位置の手がかりデバイス１１２は、動作に関するバイオメトリックデータに対して作動して、直近の既知のブラウジング位置の手がかりを提供する。ブラウジング位置の手がかりデバイス１１２には、コンピュータハードウェアとコンピュータソフトウェアのうち少なくとも一方が備えられていてもよい。例えば、ブラウジング位置の手がかりデバイス１１２は、動作に関するバイオメトリックデータから直近の既知のブラウジング位置の手がかりを提供するように構成された回路またはプロセッサであってもよい。別の例として、ブラウジング位置の手がかりデバイス１１２はソフトウェアコードを備えていてもよく、そのソフトウェアコードによって、プロセッサ１０２は動作に関するバイオメトリックデータから直近の既知のブラウジング位置の手がかりを提供することが可能となる。ブラウジング位置の手がかりデバイス１１２については、以下で図１０および１１を参照してさらに詳細に考察を行う。

メモリ１１４は、コンピュータ可読記憶媒体として実装されてもよい。図１に示された実施の形態では、メモリ１１４は、バイオメトリックデータ１１６およびユーザプロファイル１１８を格納する。バイオメトリックデータ１１６は、入力デバイス１０６により、バイオメトリックセンサ１０８により、またはバイオメトリックデータ取得デバイス１２０により取得されてもよい。実施の形態によっては、格納されるバイオメトリックデータ１１６は、所定の数に限定してもよい。例えば、格納されるバイオメトリックデータ１１６は、最新の２秒間の、動作に関するバイオメトリックデータとしてもよい。別の例として、格納されるバイオメトリックデータ１１６は、最新の５００ミリ秒の、動作に関するバイオメトリックデータとしてもよい。かかる実施の形態では、バイオメトリックデータ１１６は、バッファの容量に達するとすぐに最も古い値が最も新しい値により上書きされる、リングバッファ(ring buffer)、円形アレイ(circular allay) 、または、類似する構造(similar structure)に格納してもよい。

バイオメトリックデータ１１６は、時間値と、対応する位置値、対応する速度値、対応する加速度値、および対応するジャーク（または振動）値の１つ以上とを含んでいてもよい。バイオメトリックデータ１１６として格納される値の種類は、入力デバイス１０６、バイオメトリックセンサ１０８、および／またはバイオメトリックデータ取得デバイス１２０により集められたデータの種類によって決まってもよい。あるいは、入力デバイス１０６、バイオメトリックセンサ１０８、および／またはバイオメトリックデータ取得デバイス１２０により集められたデータは、分解(passed)または増大(augmented)して、バイオメトリックデータ１１６を形成してもよい。ユーザプロファイル１１８は、ユーザ固有のパラメータおよび好みを含むことにしてもよい。ユーザプロファイル１１８のユーザ固有のパラメータおよび好みは、ユーザにより、または自動プロセス、例えば校正の一連の動作により、定義されてもよい。実施の形態によっては、電子デバイス１０１の各ユーザの個別のプロファイルが格納される。

バイオメトリックデータ取得デバイス１２０は、電子デバイス１０１と通信可能に接続されており、動作に関するバイオメトリックデータを集める。バイオメトリックデータ取得デバイス１２０は、有線または無線インターフェイスを経由して電子デバイス１０１と動作に関するバイオメトリックデータをやり取りしてもよい。外部バイオメトリックセンサ１２２は、上述したバイオメトリックセンサ１０８と同様な構成としてもよい。実施の形態によっては、バイオメトリックデータ取得デバイス１２０は、電子デバイス１０１の外部にあるが物理的に接続されている。例えば、バイオメトリックデータ取得デバイス１２０は、電子デバイス１０１に取り付けられている、ケースやカバーを含む付属品であってもよい。

図２は、本開示の実施形態に係る、動作に関するバイオメトリックデータの運動学解析に基づきユーザの意図を解釈する装置(apparatus for interpreting user intention)２００を示す。装置２００は、上記で図１を参照して説明したユーザの意図分析デバイス１１０のようなユーザの意図分析デバイス(user intention analysis device)１１０を備える。ユーザの意図分析デバイス１１０は、バイオメトリックデータモジュール(biometric data module)２０２、動作モジュール(movement module)２０４、および評価モジュール(evaluation module)２０６を備える。バイオメトリックデータモジュール２０２は、例えば入力デバイス１０６、バイオメトリックセンサ１０８、および／またはメモリ１１４から動作に関するバイオメトリックデータを受信する。

実施の形態によっては、バイオメトリックデータモジュール２０２は、直近のバイオメトリックデータ、例えばバイオメトリックデータの直近のＮ個のサンプルを識別する（Ｎは正の整数である）。バイオメトリックデータモジュール２０２は、バイオメトリックデータ値の数を所定のウィンドウサイズ、つまりユーザの反応時間に対応するウィンドウサイズに限定してもよい。検出された動きが意識的な動き（すなわち反応）であり、音や無意識な動き等によるアーチファクト(artifact)または誤検出ではないということを保証することから、ユーザの反応時間を著しく上回るウィンドウサイズは信頼性を高めることができる。

動作モジュール２０４は、動作に関するバイオメトリックデータから動作値を特定する。実施の形態によっては、動作モジュール２０４は、動作に関するバイオメトリックデータから加速度値を特定する。例えば、バイオメトリックデータが位置値および時間値を含む場合、動作モジュール２０４は、時間値に対応する加速度値を導き出してもよい。実施の形態によっては、動作モジュール２０４は、バイオメトリックデータから位置値、速度値、および／またはジャーク値(jerk value)を特定する。動作モジュール２０４は、バイオメトリックデータから動作値を得るために、積分および／または微分を計算する回路を有していてもよい。例えば、動作モジュール２０４は、位置データの二次微分を計算する回路を有していてもよい。

評価モジュール２０６は、動作モジュール２０４により特定された動作値に基づき、動きについてのユーザの意図を解釈する。例えば、評価モジュール２０６は、ユーザが短距離のアクションまたは長距離のアクションをとろうと意図するかどうかを特定してもよい。実施の形態によっては、加速度値、速度値、位置値、および／またはジャーク値は、ユーザの意図を解釈するために、閾値および／またはプロファイルと比較されてもよい。例えば、加速度閾値を超えかつジャーク閾値を超える場合、評価モジュール２０６は、ユーザの意図を、注意が逸れる動き(distraction movement)をとることであると解釈してもよい。別の例として、速度値が鐘形曲線のプロファイル(bell curve profile)に一致した場合、評価モジュール２０６は、ユーザが短距離の動きをとろうと意図すると特定してもよい。実施の形態によっては、ユーザの意図を解釈するために、動作値（すなわち、加速度値、速度値、位置値、および／またはジャーク値）は閾値とプロファイルの組み合わせと比較されてもよい。例えば、速度値が鐘形曲線に一致し、かつ、加速度値が閾値を超える場合、ユーザの動きは長距離の動きとして解釈されてもよい。

評価モジュール２０６は、速度値がゼロ（またはほとんどゼロ）で、加速度値がコンピュータのインターフェイスの端（または境界）でマイナスである時、ユーザが短距離の（すなわち、インターフェイス内での）動きをとろうと意図すると特定してもよい。一方、評価モジュール２０６は、速度値がコンピュータインターフェイスの端（または境界）でゼロを上回る場合、または加速度値がコンピュータインターフェイスの端（または境界）でプラスである場合、ユーザが長距離の（すなわち、インターフェイスの外での）動きをとろうと意図すると特定してもよい。コンピュータインターフェイスは、ラップトップコンピュータ、デスクトップコンピュータ、またはタブレットコンピュータのウィンドウブラウザであってもよい。一例として、コンピュータインターフェイスは、読み取りアプリケーションを実行する電子リーダまたは携帯型デバイスのディスプレイ全体であってもよい。前者では、コンピュータインターフェイスの境界は当該ウィンドウの境界に相当し、一方後者では、コンピュータインタ-フェイスの境界はディスプレイ自体の境界に相当する。

速度値が読むスピードのプロファイルに一致する場合、評価モジュール２０６はユーザが読んでいる最中であると特定してもよい。一定の時間の間、速度値が読む速度のプロファイルを下回った時、評価モジュール２０６はユーザの注意が向いていないと特定してもよい。加えて、速度値が読むスピードを上回り、ジャーク値がジャーク閾値を超える場合、評価モジュール２０６はユーザの注意が逸れたと特定してもよい。加えて、またはあるいは、速度値が注意の逸れのプロファイルに一致する時、ユーザの注意が逸れたと特定されてもよい。ユーザ固有のプロファイルおよび閾値はユーザプロファイル１１８に格納されてもよい。

図３は、本開示の実施の形態に係る、動作に関するバイオメトリックデータの運動学解析に基づきユーザの意図を解釈する装置(apparatus for interpreting user intention)３００を示す。装置３００は、上記で図１および２を参照して説明したユーザの意図分析デバイス１１０のようなユーザの意図分析デバイス１１０を備える。ユーザの意図分析デバイス１１０は、上記で図２を参照して説明したように、バイオメトリックデータモジュール２０２、動作モジュール２０４、および評価モジュール２０６を含む。図３の実施の形態では、ユーザの意図分析デバイス(user intention analysis device)１１０はまた、位置モジュール(location module)３０２、速度モジュール(velocity module)３０４、ジャークモジュール(jerk module)３０６、適応モジュール(adaptation module)３０８、および／または校正モジュール(calibration)３１０を備える。

位置モジュール３０２は、動作に関するバイオメトリックデータから場所値(location values)または位置値(position values)を識別する。実施の形態によっては、位置モジュール３０２は、コンピュータインターフェイスに関連する１つ以上の位置閾値を格納してもよい。例えば、位置モジュール３０２は、コンピュータインターフェイスの境界に対応する位置閾値を格納してもよい。別の例として、位置モジュール３０２は、端、入力フィールド等のコンピュータインターフェイスの特定の領域に対応する位置閾値を格納してもよい。実施の形態によっては、格納された位置閾値は評価モジュール２０６により使用され、ユーザの意図を特定してもよい。実施の形態によっては、位置モジュール３０２自体が位置値を位置閾値と比較し、その結果を評価モジュール２０６に出力してもよい。

位置モジュール３０２は、独立モジュールであってもよく、または動作モジュール２０４および／または評価モジュール２０６のサブモジュールであってもよい。実施の形態によっては、位置モジュール３０２は、ユーザの動きを分類するために使用される１つ以上の位置プロファイルを格納してもよい。例えば、位置モジュール３０２は、コンピュータインターフェイス内での短距離の動きに対応する位置プロファイルを格納してもよい。

速度モジュール３０４は、動作に関するバイオメトリックデータから速度値、すなわちスピード値を識別する。実施形態によっては、速度モジュール３０４は、コンピュータインターフェイスに関連する１つ以上の速度閾値を格納してもよい。例えば、速度モジュール３０４は、コンピュータインターフェイスの境界に対応する速度閾値を格納してもよい。実施の形態によっては、速度閾値は一般的な閾値である。実施の形態によっては、格納された速度閾値は評価モジュール２０６により使用され、ユーザの意図を特定する。実施の形態によっては、速度モジュール３０４自体が速度値を速度閾値と比較し、その結果を評価モジュール２０６に出力する。

速度モジュール３０４は、独立モジュールであってもよく、または動作モジュール２０４および／または評価モジュール２０６のサブモジュールであってもよい。実施形態によっては、速度モジュール３０４は、ユーザの動きを分類するために使用される１つ以上の速度プロファイルを格納してもよい。例えば、速度モジュール３０４は、コンピュータインターフェイス内での短距離の動きに対応する速度プロファイルを格納してもよい。

ジャークモジュール３０６は、動作に関するバイオメトリックデータからジャーク値、すなわち振動値を識別する。実施形態によっては、ジャークモジュール３０６は、コンピュータインターフェイスに関連する１つ以上のジャーク閾値を格納してもよい。例えば、ジャークモジュール３０６は、境界、端等のコンピュータインターフェイスの特定の領域に対応するジャーク閾値を格納してもよい。実施の形態によっては、ジャーク閾値は一般的な閾値である。実施の形態によっては、格納されたジャーク閾値は評価モジュール２０６により使用され、ユーザの意図を特定する。実施の形態によっては、ジャークモジュール３０６自体がジャーク値をジャーク閾値と比較し、その結果を評価モジュール２０６に出力する。

ジャークモジュール３０６は、独立モジュールであってもよく、または動作モジュール２０４および／または評価モジュール２０６のサブモジュールであってもよい。実施の形態によっては、ジャークモジュール３０６は、ユーザの動きを分類するために使用される１つ以上のジャークプロファイルを格納してもよい。例えば、ジャークモジュール３０６は、コンピュータインターフェイス内での短距離の動きに対応するジャークプロファイルを格納してもよい。

適応モジュール３０８は、コンピュータインターフェイスの変化に応じてユーザの意図分析デバイス１１０により使用される閾値および／またはプロファイルを動的に調整する。適応モジュール３０８は、動作に関するバイオメトリックデータの位置値、速度値、加速度値、および／またはジャーク値に関連する閾値とプロファイルを変更してもよい。実施の形態によっては、適応モジュール３０８は、コンピュータインターフェイスの寸法の変化に応じて閾値および／またはプロファイルを調整してもよい。例えば、コンピュータインターフェイスがウィンドウに相当する場合、ウィンドウサイズを変化させることで、適応モジュール３０８がコンピュータインターフェイスの境界または端に関連する閾値および／またはプロファイルを調整するようにしてもよい。別の例として、ウィンドウサイズを変化させることで、適応モジュール３０８がまた、速度閾値、加速度閾値、および／またはジャーク閾値を調整し、ウィンドウの新たな寸法を構成するようにしてもよい。

実施の形態によっては、適応モジュール３０８は、ユーザとコンピュータインターフェイスの間の距離が変化した時、閾値とプロファイルのうち少なくとも一方を調整してもよい。例えば、電子デバイス１０１が携帯型電子デバイス（例えば、スマートフォンまたはタブレットコンピュータ）である場合、ユーザが携帯型電子デバイスをユーザの顔のより近くへと動かした時に、適応モジュール３０８は閾値および／またはプロファイルを調整してもよい。コンピュータインターフェイスの寸法自体はピクセル的には変化していないが、コンピュータインターフェイスの寸法はユーザには異なるように見えるため、調整には、ユーザとコンピュータインターフェイスの寸法の間の角度の変化が考慮されてもよい。

実施の形態によっては、校正モジュール３１０は、ユーザの動きの実績を測定し、評価モジュール２０６により使用される初期の閾値とプロファイルのうち少なくとも一方を設定するために使用され、動作に関するバイオメトリックデータを解釈する。校正は、ユーザの意図分析デバイス１１０が初期化される最初の時、ユーザの意図分析デバイス１１０が初期化されるたびに、行われてもよく、または、ユーザにより手動で選択されてもよい。校正は、ユーザに固有であってもよく、ユーザプロファイル１１８に格納されてもよい。比較はユーザの動きの正確なパターンに基づいていてもよいため、校正モジュール３１０は、動作に関するバイオメトリックデータのより正確な解釈を可能とする。実施形態によっては、ユーザの反応時間は、校正モジュール３１０により校正される。反応の動きおよび自発的な動きを無意識の動きと区別し、より正確にユーザの動きを解釈することができるように、ユーザの反応時間は十分に大きなサイズのサンプルを特定するために使用されてもよい。

図４−Ａおよび４−Ｂは、動作に関するバイオメトリックデータの運動学解析に基づきユーザの意図を解釈するシステム(system for interpreting user intention)４００および４１０の実施形態を示す。システム４００および４１０は、上記で図１を参照して説明した電子デバイス１０１のような電子デバイス１０１を有する。図４−Ａでは、電子デバイス１０１は、ユーザの指(user’s finger(s))４０２の位置および／または動きに関する、動作に関するバイオメトリックデータを受信する。指４０２は、電子デバイス１０１のディスプレイに触れていてもよく、または電子デバイス１０１のディスプレイの前面のエリアでジェスチャーをしていてもよい。ブラウジング位置(browsing location)４０４は、コンピュータインターフェイス(computer interface)４０８上にあり、ディスプレイ(display)４０６におけるウィンドウに対応してもよい。電子デバイス１０１は、動作に関するバイオメトリックデータから指４０２のブラウジング位置４０４を特定することができる。

実施の形態によっては、動作に関するバイオメトリックデータは、ユーザの指４０２による動きが短距離の動き、例えば短いエッジスワイプ、それとも長距離の動き、例えば長いエッジスワイプ、を開始するように意図されているかを特定するために使用されてもよい。上記で図２および３を参照して考察したように、電子デバイス１０１は、ブラウジング位置４０４を含め、動作に関するバイオメトリックデータを１つ以上の閾値とプロファイルのうち少なくとも一方と比較することによって、ユーザの意図を解釈してもよい。

図４−Ｂでは、電子デバイス１０１は、ユーザの目(user’s eye(s))４１２の場所と動きのうち少なくとも一方についての動作に関するバイオメトリックデータを受信する。電子デバイス１０１は、動作に関するバイオメトリックデータからユーザの目４１２の視点(viewing location)４１４を特定することができる。視点４１４は、コンピュータインターフェイス(computer interface)４１８上にあり、ディスプレイ全体に対応していてもよい。実施の形態によっては、動作に関するバイオメトリックデータは、ユーザの目４１２による動きが短距離の動き、例えば短いエッジスワイプ、それとも長距離の動き、例えば長いエッジスワイプ、を開始するように意図されているかを特定するために、電子デバイス１０１により使用されてもよい。実施の形態によっては、動作に関するバイオメトリックデータは、ユーザの目４１２による動きが、コンピュータインターフェイス４１８からユーザの注意が逸れていること、すなわちユーザがコンピュータインターフェイス４１８に注意を向けていないことを表すのかを特定するために使用されてもよい。上記図２および図３を参照して考察したように、電子デバイス１０１は、視点４１４を含め、動作に関するバイオメトリックデータを１つ以上の閾値と１つ以上のプロファイルのうち少なくとも一方と比較することによって、ユーザの意図を解釈してもよい。

図５は、本開示の実施の形態に係る、動作に関するバイオメトリックデータの運動学解析に基づきユーザの意図を解釈する方法５００を示す。一実施の形態では、方法５００は、電子デバイス１０１の動作に関するバイオメトリックデータを受信するステップ５０２から始まる。特定の実施の形態では、バイオメトリックデータモジュール２０２は、入力デバイス１０６、バイオメトリックセンサ１０８、およびバイオメトリックデータ１１６のうちの１つから動作に関するバイオメトリックデータを得る。動作に関するバイオメトリックデータを受信するステップ５０２は、バイオメトリックデータの直近のＮ個のサンプルのみを受信するステップを含んでもよく、ここでＮは、バイオメトリックデータの測定ウィンドウに対応する正の整数である。測定ウィンドウはユーザに固有であってもよく、またＮの値は、プロンプト(prompt)される、自動的に特定される、ユーザプロファイル１１８から検索される、および／またはコンピュータインターフェイスの特性に応じて調整されることにしてもよい。

方法５００は、動作に関するバイオメトリックデータから加速度値を識別するステップ５０４に進む。加速度値は、ユーザの意図分析デバイス１１０の動作モジュール２０４を経由して、識別されてもよい。実施の形態によっては、評価モジュール２０６は、加速度値に基づきユーザの意図を解釈する(ステップ５０６）。ユーザの意図は、短距離の動き、長距離の動き、および注意の逸れの動きのうち少なくともいずれかであってもよい。ユーザの意図は、加速度値を１つ以上の加速度閾値とプロファイルのうち少なくとも一方と比較することにより解釈されてもよい(ステップ５０６）。閾値および／またはプロファイルは、ユーザに、コンピュータインターフェイスに、および／または電子デバイス１０１に固有であってもよい。

図６は、本開示の実施形態に係る、動作に関するバイオメトリックデータの運動学解析に基づきユーザの意図を解釈する方法６００を示す。一実施の形態では、方法６００は、電子デバイス１０１の動作に関するバイオメトリックデータを受信するステップ６０２から始まる。方法６００は、現在のウィンドウとして直近のＮ個のデータポイントを格納するステップ６０４を含み、ここでＮはユーザの反応時間に対応する正の整数である。バイオメトリックデータは、現在のウィンドウにおける動作値を特定するステップ６０６において分析される。これらの動作値は、Ｎ個のデータポイントに対応するぴったりの瞬間に対する位置値、速度値、加速度値、およびジャーク値のうち少なくともいずれかであってもよい。動作値は、バイオメトリックデータの特質次第で、動作に関するバイオメトリックデータから解析または計算されてもよい。

特定された動作値は、現在のウィンドウにおいて１つ以上のトリガーが満たされたかどうかを特定するステップ６０８において検討されてもよい。トリガーは、位置、圧力、速度、および／または加速度に基づいていてもよく、解釈の必要がある動きが起こったことを、ユーザの意図分析デバイス１１０に知らせてもよい。加えて、ユーザの動きの意図を解釈するために、トリガーは、ユーザの意図分析デバイス１１０を使用する別のプログラムまたはモジュールから受信されてもよい。ステップ６０８で肯定的な結果を得るために、１つ以上のトリガーが満たされる必要があることにしてもよい。

トリガーが満たされるとすぐに、現在のウィンドウの動作値は解釈され（ステップ６１０）、ユーザの意図を特定する。動作値は、短距離の動きや、長距離の動きを表す場合がある。また、動作値は、注意が逸れるまたは注意を向けない動きを表す場合がある。他の動きおよび／またはジェスチャーは、当該技術分野において知られているものと同様に解釈してもよい。

実施の形態によっては、方法６００は、ユーザの意図に対応するアクションを実行するステップ６１２に続く。例えば、スワイプコマンドに対応するアクション（すなわち、クローズアクション、メニューアクション、スイッチングアクション）は、ユーザの意図を解釈した後でとられてもよい。実施の形態によっては、データ値は、ユーザの意図の解釈に応じて、呼び出しプログラムに戻されるかメモリに格納される。

図７は、本開示の実施の形態に係る、動作値に基づきユーザの意図を解釈する方法７００を示す。動きは、動作値を様々な閾値と比較することによって識別される。方法７００は、動作値を少なくとも１つの加速度閾値と比較するステップ７０２を含む。加速度閾値を超えない場合、方法７００は次に正常な動きを識別し（ステップ７０４）、その指標を返す。加速度閾値を超える場合、動作値は少なくとも１つの速度閾値と比較されてもよい（ステップ７０６）。

速度閾値を超えない場合、方法７００は短距離の動きを識別し（ステップ７０８）、その指標を返してもよい。そうでなければ、速度閾値を超える場合、方法７００はステップ７１０へと続き、ここで動作値は少なくとも１つのジャーク閾値と比較される。ジャーク閾値を超える場合、方法７００は、注意が逸れる動きとして動きを識別して（ステップ７１２）、その指標を返してもよく、そうでなければ、動きは長距離の動きとして識別されて（ステップ７１４）、その指標は返されてもよい。閾値は、バイオメトリックデータ（例えば、目の注視データまたは指の位置データ）の特質に応じて、また他の比較の結果に応じて選択されてもよい。加えて、または、あるいは、動作値は、方法７００の比較ステップ各々において、１つ以上のプロファイルと比較されてもよい。

図８は、本開示の実施の形態に係る、動作に関するバイオメトリックデータに基づきユーザの注意の逸れを特定する方法８００を示す。動作に関するバイオメトリックデータから得られた動作値は、例えば評価モジュール２０６を使用して、加速度閾値と比較されてもよい（ステップ８０２）。次に、動作値は、例えば評価モジュール２０６または速度モジュール３０４を使用して、速度閾値と比較されてもよい（ステップ８０４）。次に、動作値は、例えば評価モジュール２０６またはジャークモジュール３０６を使用して、ジャーク閾値と比較されてもよい（ステップ８０６）。動作値が全ての閾値を満たす場合、方法８００は、注意の逸れの動きを識別し、その指標を返してもよい（ステップ８０８）。

閾値のうちいずれかが満たされない場合、方法８００は、正常な（すなわち、注意を向ける）動きを特定し（ステップ８１０）、その指標を返してもよい。閾値はバイオメトリックデータ（例えば、目の注視データまたは指の位置データ）の特質に応じて選択されてもよい。加えて、または、あるいは、動作値は、方法８００の比較ステップ各々において、１つ以上のプロファイルと比較されてもよい。

図９は、本開示の実施の形態に係る、動作に関するバイオメトリックデータに基づき短距離の動きと長距離の動きとを区別する方法９００を示す。方法９００は、コンピュータインターフェイス内での動きが検出された時に開始してもよい。位置閾値が満たされるちょうどその瞬間を特定するために、ステップ９０２において、動作に関するバイオメトリックデータはモニタリングされる。実施形態によっては、位置閾値はコンピュータインターフェイスの境界に対応する。

ステップ９０４において、既定の瞬間に対応する加速度値は、加速度閾値と比較される、例えば、コンピュータインターフェイスの境界における加速度値は、加速度閾値と比較されてもよい。加速度閾値が満たされる場合、さらなる比較がなされ、そうでなければ動きは短距離の動きとして識別される（ステップ９１０）。実施の形態によっては、加速度閾値はほとんどゼロである。

ステップ９０６において、既定のちょうどその瞬間に対応する速度値は、速度閾値と比較される。例えば、コンピュータインターフェイスの境界における速度値は、速度閾値と比較されてもよい。速度閾値が満たされる場合、動きは長距離の動きとして識別される（ステップ９０８）。うでなければ動きは短距離の動きとして識別される（ステップ９１０）。

図１０は、本開示の実施形態に係る、動作に関するバイオメトリックデータを使用して直近の既知のブラウジング位置の手がかりを提供する装置(apparatus for providing a last known browsing location cue)１０００を示す。装置１０００は、上記で図１を参照して説明したブラウジング位置の手がかりデバイス１１２のようなブラウジング位置の手がかりデバイス１１２を備える。ブラウジング位置の手がかりデバイス１１２は、バイオメトリックデータモジュール(biometric data module)１００２、注意判断モジュール(attention judgment module)１００４、および位置の手がかりモジュール(location cue module)１００６を備える。

バイオメトリックデータモジュール１００２は、例えば入力デバイス１０６、バイオメトリックセンサ１０８、メモリ１１４、またはバイオメトリックデータ取得デバイス１２０から、動作に関するバイオメトリックデータを受信する。実施の形態によっては、バイオメトリックデータモジュール１００２は、直近のバイオメトリックデータ、例えばバイオメトリックデータの直近のＮ個のサンプルを識別し、ここでＮは正の整数である。バイオメトリックデータモジュール１００２は、バイオメトリックデータ値の数を所定のウィンドウサイズ、つまりユーザの反応時間に対応するウィンドウサイズに限定してもよい。ユーザの反応時間を著しく上回るウィンドウサイズは、検出された動きが意識的な動き（すなわち反応）であり、音や無意識な動き等によるアーチファクトまたは誤検出ではないということを保証するため、信頼性を高めることができる。バイオメトリックデータモジュール１００２は、図２を参照して考察したバイオメトリックデータモジュール２０２と類似していてもよい。

注意判断モジュール１００４は、バイオメトリックデータに基づきユーザの注意の逸れを検出する。実施の形態によっては、注意判断モジュール１００４は、バイオメトリックデータから動作値を特定する。例えば、注意判断モジュール１００４は、動作に関するバイオメトリックデータから、位置値、速度値、加速度値、ジャーク値、または動作関連の他の値を特定してもよい。注意判断モジュール１００４は、バイオメトリックデータから動作値を得るために、積分と微分のうち少なくとも一方を計算する回路を有していてもよい。例えば、注意判断モジュール１００４は、場所データの二次微分を計算する回路を有していてもよい。

実施の形態によっては、注意判断モジュール１００４は、別のデバイスまたはモジュールから動作値を受信する。例えば、注意判断モジュール１００４は、入力デバイス１０６、バイオメトリックセンサ１０８、ユーザの意図分析デバイス１１０、メモリ１１６、バイオメトリックデータ取得デバイス１２０、および動作モジュール２０４のうち少なくともいずれか１つ以上から動作値を受信してもよい。

実施の形態によっては、注意判断モジュール１００４は、ユーザの注意の逸れを検出するために、動作値を分析する。実施形態によっては、動作値（すなわち、加速度値、速度値、位置値、およびジャーク値のうち少なくとも１つ）は、ユーザの注意の逸れを検出するために、閾値および／またはプロファイルと比較されてもよい。例えば、加速度閾値を超え、ジャーク閾値を超える場合、注意判断モジュール１００４は、ユーザの意図が注意をそらす動きをとることであると解釈してもよい。実施の形態によっては、ユーザの意図を解釈するために、動作値は閾値とプロファイルの組み合わせと比較されてもよい。実施形態によっては、ユーザの注意の逸れを検出するために、コンピュータインターフェイスの端または境界における動作値は分析されてもよい。

コンピュータインターフェイスは、ラップトップコンピュータ、デスクトップコンピュータ、またはタブレットコンピュータのウィンドウブラウザであってもよい。一例として、コンピュータインターフェイスは、読み取りアプリケーションを実行する電子リーダまたは携帯型デバイスのディスプレイ全体であってもよい。実施形態によっては、注意判断モジュール１００４は、評価モジュール２０６のような別のモジュールまたはデバイスからユーザの注意が逸れたとの知らせを受信する。

実施の形態によっては、速度値が読むスピードのプロファイルに一致する時、注意判断モジュール１００４はユーザが読んでいる最中であると特定してもよい。速度値が読むスピードを上回り、ジャーク値がジャーク閾値を超える時、注意判断モジュール１００４はユーザの注意が逸れたと特定してもよい。加えて、またはあるいは、速度値が注意の逸れのプロファイルに一致する時、ユーザの注意が逸れたと特定されてもよい。ユーザ固有のプロファイルおよび閾値はユーザプロファイル１１８に格納されてもよい。

実施の形態によっては、注意判断モジュール１００４は、最初にユーザの注意が逸れたちょうどその瞬間を識別する。注意判断モジュール１００４は、この瞬間を表す値をメモリ１１４に格納してもよく、またはこの値を別のモジュールまたはデバイスに出力してもよい。

位置の手がかりモジュール１００６は、ユーザの注意が逸れたと特定する注意判断モジュール１００４に応じて、コンピュータインターフェイスにおいて視覚的な手がかりを提供する。視覚的な手がかりは、直近の既知のブラウジング位置を表すのに適した、例えば、ハイライト、下線、アイコン等の任意の指標であってもよい。実施形態によっては、直近の既知のブラウジング位置は、ユーザの注意が逸れた直前に見ていたコンピュータインターフェイス上の場所に相当する。実施形態によっては、位置の手がかりモジュール１００６は、バイオメトリックデータから直近の既知のブラウジング位置を特定する。他の実施形態では、位置の手がかりモジュール１００６は、別のモジュールまたはデバイスから直近の既知のブラウジング位置を受信する。

位置の手がかりモジュール１００６は、ユーザの注意が逸れているとの知らせを受信した直後に視覚的な手がかりを提供してもよく、または、タイマーの期限切れのような追加のトリガーの受信に応じて視覚的な手がかりを示してもよい。加えて、実施形態によっては、位置の手がかりモジュール１００６は、既定の時間後、または、ユーザが再びコンピュータインターフェイスに注意を向けているとの知らせのような別のトリガーの受信に応じて、視覚的な手がかりを削除してもよい。

図１１は、本開示の実施の形態に係る、動作に関するバイオメトリックデータを使用して直近の既知のブラウジング位置の手がかりを提供する装置(apparatus for providing a last known browsing location cue)１１００を示す。装置１１００は、上記で図１および１０を参照して説明したブラウジング位置の手がかりデバイス１１２のようなブラウジング位置の手がかりデバイス１１２を備える。ブラウジング位置の手がかりデバイス１１２は、上記で図１０を参照して説明したように、バイオメトリックデータモジュール１００２、判断モジュール１００４、および位置の手がかりモジュール１００６を備える。図１１の実施の形態では、ブラウジング位置の手がかりデバイス１１２はまた、ブラウジング位置モジュール(browsing location module)１１０２、直近の位置モジュール(last location module)１１０４、手がかりタイマーモジュール(cue timer module)１１０６、手がかり取り下げモジュール(cue dismissal module)１１０８、注意更新モジュール(attention renewal module)１１１０、動作閾値モジュール(movement threshold module)１１１２、および／または動作プロファイルモジュール(movement profile module)１１１４を備えている。

ブラウジング位置モジュール１１０２は、動作に関するバイオメトリックデータに基づきコンピュータインターフェイス上のブラウジング位置を識別する。また、実施の形態によっては、ブラウジング位置モジュール１１０２は、コンピュータインターフェイス上のユーザが見ている場所、つまりブラウジング位置を特定するために、動作に関するバイオメトリックデータから位置値を識別し、位置値を相互に関連付ける。実施の形態によっては、ブラウジング位置モジュール１１０２は、ブラウジング位置を特定するために、目の追跡または目の注視のアルゴリズムを使用する。

実施の形態によっては、ブラウジング位置モジュール１１０２は、入力デバイス１０６、バイオメトリックセンサ１０８、ユーザの意図分析デバイス１１０、メモリ１１６、バイオメトリックデータ取得デバイス１２０、動作モジュール２０４、注意判断モジュール１００４のような別のデバイスまたはモジュールから、動作に関するバイオメトリックデータから特定された位置値を受信し、位置値からブラウジング位置を付け加える。

実施の形態によっては、ブラウジング位置モジュール１１０２は、多数の最近のブラウジング位置を格納する。最近のブラウジング位置は、メモリ１１４またはブラウジング位置モジュール１１０２自体に格納されてもよい。多数の最近のブラウジング位置は、不変または可変であってもよい。実施形態によっては、ブラウジング位置モジュール１１０２は、バイオメトリックデータモジュール１００２により使用されるデータウィンドウサイズに対応する。実施の形態によっては、ブラウジング位置モジュール１１０２は、位置の手がかりモジュール１００６に最近のブラウジング位置を提供する。実施の形態によっては、ブラウジング位置モジュール１１０２は、注意をそらす瞬間に対応する直近の既知のブラウジング位置を特定し、位置の手がかりモジュール１００６に直近の既知のブラウジング位置を提供する。

直近の位置モジュール１１０４は、検出されたユーザの注意の逸れに対応する、注意を向けていない時間を識別する。実施の形態によっては、直近の位置モジュール１１０４は、注意判断モジュール１００４からユーザの注意が逸れたとの知らせを受信し、最初にユーザの注意が逸れたちょうどその瞬間を識別する。直近の位置モジュール１１０４は、この瞬間を表す値をメモリ１１４に格納してもよく、または、直近の既知のブラウジング位置の特定に用いるために、この値を位置の手がかりモジュール１００６やブラウジング位置モジュール１１０２のような別のモジュールまたはデバイスに出力してもよい。実施形態によっては、直近の位置モジュール１１０４は、直近の既知のブラウジング位置の提供に用いるために、注意を向けていない時間を位置の手がかりモジュール１００６に送信する。

手がかりタイマーモジュール１１０６は、ユーザの注意の逸れの検出に応じて表示タイマーを起動する。表示タイマーは、別のデバイスまたはモジュールに信号を送信する前に、既定の時間をカウントダウン（または実装によってはカウントアップ）する。実施の形態によっては、表示タイマーは調整可能であり、その時間はユーザに固有である。例えば、ユーザは、表示タイマー値を指定してもよい。別の例として、手がかりタイマーモジュール１１０６は、ユーザプロファイル１１８のデータに基づき表示タイマー値を自動的に特定してもよい。期限が切れると、手がかりタイマーモジュール１１０６は、位置の手がかりモジュール１００６に信号を送信して、視覚的な手がかりが表示されるべきであることを知らせる。

手がかり取り下げモジュール１１０８は、ユーザの注意の逸れの検出に応じて削除タイマーを起動する。削除タイマーは、別のデバイスまたはモジュールに信号を送信する前に、既定の時間をカウントダウン（または実装によってはカウントアップ）する。実施形態によっては、削除タイマーは調整可能であり、その時間はユーザに固有である。例えば、ユーザは、削除タイマー値を指定してもよい。別の例として、手がかり取り下げモジュール１１０８は、ユーザプロファイル１１８のデータに基づき削除タイマー値を自動的に特定してもよい。実施の形態によっては、手がかり取り下げモジュール１１０８は、削除タイマーの期限切れに応じて視覚的な手がかりを削除する。他の実施の形態では、手がかり取り下げモジュール１１０８は、削除タイマーの期限が切れると位置の手がかりモジュール１００６に信号を送信して、視覚的な手がかりが削除されるべきであることを知らせる。

注意更新モジュール１１１０は、ユーザの注意が逸れた後、ユーザの注意がコンピュータインターフェイスに戻されたかどうかを検出する。実施の形態によっては、注意更新モジュール１１１０は、動作に関するバイオメトリックデータに対して作動して、ユーザが再びコンピュータインターフェイスに注意を向けていることを特定する。実施の形態によっては、動作値（すなわち、加速度値、速度値、位置値、およびジャーク値のうち少なくとも１つ）は、ユーザの注意を検出するために、閾値とプロファイルのうち少なくとも一方と比較されてもよい。例えば、速度値が読むスピードのプロファイルに一致する時、注意更新モジュール１１１０はユーザがコンピュータインターフェイスに注意を向けていると特定してもよい。別の例として、注意更新モジュール１１１０は、ある時間にわたり加速度値が速度閾値を下回った時にユーザがコンピュータインターフェイスに注意を向けており、ブラウジング位置がコンピュータインターフェイス内の位置に相当する、と特定してもよい。

ユーザの注意がコンピュータインターフェイスに戻ったことが検出されると、注意更新モジュール１１１０は、位置の手がかりモジュール１００６に信号を送り、視覚的な手がかりが提供されるべきであることを知らせる。実施の形態によっては、注意更新モジュール１１１０は、評価モジュール２０６、動作閾値モジュール１１１２、動作プロファイルモジュール１１１４のような別のデバイスまたはモジュールからユーザが注意を向けているとの知らせを受信し、位置の手がかりモジュール１００６に、視覚的な手がかりが提供されるべきであるとの信号を送る。

動作閾値モジュール１１１２は、ユーザがコンピュータインターフェイスに注意を向けているかどうかを特定するために、動作に関するバイオメトリックデータを少なくとも１つの閾値と比較する。閾値は、位置閾値、速度閾値、加速度閾値、およびジャーク閾値のうち少なくとも一方であってもよい。例えば、動作閾値モジュール１１１２は、ある時間にわたり加速度値が速度閾値を下回った時にユーザがコンピュータインターフェイスに注意を向けており、ブラウジング位置がコンピュータインターフェイス内の場所に相当する、と特定してもよい。実施形態によっては、動作閾値モジュール１１１２は、ユーザの注意が逸れているかどうかを特定するために、判断モジュール１００４と連動して作動する。実施の形態によっては、動作閾値モジュール１１１２は、視覚的な手がかりをいつ提供すべきかを特定するために、位置の手がかりモジュール１００６と連動して作動する。

動作プロファイルモジュール１１１４は、ユーザがコンピュータインターフェイスに注意を向けているかどうかを特定するために、動作に関するバイオメトリックデータを少なくとも１つのプロファイルと比較する。プロファイルは、目のスピードプロファイル、目の加速度プロファイル、および目の振動プロファイルのうち少なくとも１つであってもよい。例えば、速度値が読むスピードのプロファイルに一致する時、動作プロファイルモジュール１１１４は、ユーザがコンピュータインターフェイスに注意を向けていると特定してもよい。実施の形態によっては、動作プロファイルモジュール１１１４は、ユーザの注意が逸れているかどうかを特定するために、判断モジュール１００４と連動して作動する。実施の形態によっては、動作プロファイルモジュール１１１４は、視覚的な手がかりをいつ提供すべきかを特定するために、位置の手がかりモジュール１００６と連動して作動する。

図１２−Ａ〜１２−Ｄは、本開示の実施の形態に係る、動作に関するバイオメトリックデータを使用して直近の既知のブラウジング位置の手がかりを提供するシステム１２００を示す。システム１２００は、ユーザ１２０２により見られている電子デバイス１０１を備える。電子デバイス１０１は、コンピュータインターフェイス１２０６を有する。実施形態によっては、コンピュータインターフェイス１２０６は、ディスプレイ、ウィンドウ、またはディスプレイもしくはウィンドウの任意の下位要素であってもよい。コンピュータインターフェイス１２０６の特質は、電子デバイス１０１の種類および電子デバイス１０１上で実行されるアプリケーションの特質によって決まってもよい。

図１２−Ａでは、ユーザ１２０２は、コンピュータインターフェイス１２０６を見ている。電子デバイス１０１は、ユーザの目１２０２の場所と動きのうち少なくとも一方に関する動作に関するバイオメトリックデータを受信する。電子デバイス１０１は、動作に関するバイオメトリックデータから目の視点１２０４を特定することができる。視点１２０４はコンピュータインターフェイス１２０６上にあり、ディスプレイ全体に相当するように示されている。

図１２−Ｂでは、ユーザ１２０２の注意が逸れ、もはやコンピュータインターフェイス１２０６を見ていない。電子デバイス１０１は、コンピュータインターフェイス１２０６から離れたユーザの目１２０２の動きに関する動作に関するバイオメトリックデータを受信する。図２、３および図５〜８を参照して上記で考察したように、電子デバイス１０１は、動作に関するバイオメトリックデータから動作値を識別し、動作値を閾値とプロファイルのうち少なくとも一方と比較することによって、ユーザ１２０２の注意の逸れを特定してもよい。実施の形態によっては、ユーザの意図分析デバイス１１０は、ユーザの注意の逸れを特定し、判断モジュール１００４に信号を送る。実施形態によっては、１１１２および１１１４のうちの１つは、ユーザの注意の逸れを特定し、判断モジュール１００４に信号を送る。実施の形態によっては、判断モジュール１００４はユーザの注意の逸れを特定する。ユーザの注意の逸れを特定すると、注意をそらす前の直近の視点１２０４が識別される。

図１２−Ｃでは、注意をそらす前の直近の視点１２０４が識別され、視覚的な手がかり１２０８がユーザ１２０２に示される。実施の形態によっては、視覚的な手がかりがタイマーの期限切れに応じて提供される。実施の形態によっては、ユーザがもう一度コンピュータインターフェイス１２０６を見ているとの検出に応じて、視覚的な手がかりが提供される。

視覚的な手がかり１２０８は、直近の既知のブラウジング位置を表すのに適した任意の指標であってもよい。例えば、視覚的な手がかり１２０８は、ハイライト（例えば、ハイライトされたテキスト）、下線、フォアグラウンドマーク、バックグラウンドマーク（例えば、透かし）、アイコン等であってもよい。実施の形態によっては、視覚的な手がかり１２０８は、動画を用いたテキストまたは色分けされたテキスト（すなわち、異なる色のテキスト）を備える。実施の形態によっては、視覚的な手がかり１２０８は、目を引く、はっきりした色または明るい色を備えてもよい。実施の形態によっては、視覚的な手がかりは、直近の既知のブラウジング位置を取り囲んだエリア以外のテキスト、画像、または他のディスプレイデータの色を薄くすることによって提供される。例えば、直近の既知のブラウジング位置にある語、および１つ以上の隣接する文脈語は、黒字で表示されてもよく、一方、コンピュータインターフェイスにおけるその他全ての語は、より薄い色合いのグレーで表示されてもよい。別の例として、直近の既知のブラウジング位置にある文章は黒字で表示されてもよく、一方、コンピュータインターフェイスにおけるその他全ての語は、より薄い色合いで表示されてもよい。

実施の形態によっては、現在の視点１２０４に対応する、コンピュータインターフェイス１２０６上の語または場所に下線を引いたりハイライトをしたり、時間と共にまたは推移と共に色を薄くして透明にするトレースが提供されてもよい（例えば、現在のブラウジング位置の語には透明度０％で下線が引かれ、一方、以前のＭ語には下線が引かれ、その透明度は高い）。ユーザの注意の逸れが検出されると、下線またはハイライトが直近の既知のブラウジング位置を表すように、トレースの色が薄くなるのが止まる。

図１２−Ｄでは、ユーザ１２０２は、視覚的な手がかり１２０８を視覚的に取得し、直近の既知のブラウジング位置を簡単に識別する。ユーザ１２０２は、コンピュータインターフェイス１２０６をすばやく再び見始める（例えば、読み始める）ことができる。視覚的な手がかり１２０８は、ユーザ１２０２がコンピュータインターフェイス１２０６に注意を向けていることを識別する電子デバイス１０１に応じて削除される。実施の形態によっては、視覚的な手がかり１２０８は、コンピュータインターフェイス１２０６に注意を向けているユーザ１２０２に応じて起動されたタイマーの期限切れに応じて削除される。実施の形態によっては、視覚的な手がかり１２０８は、ユーザ１２０２が正常な活動、例えば正常なスピードで読むことを再開したということを、動作に関するバイオメトリックデータから特定する電子デバイス１０１に応じて削除される。

図１３は、本開示の実施形態に係る、動作に関するバイオメトリックデータを使用して直近の既知のブラウジング位置の手がかりを提供する方法１３００を示す。方法１３００は、動作に関するバイオメトリックデータを受信するステップ１３０２を備える。特定の実施の形態では、バイオメトリックデータモジュール１００２は、例えば、入力デバイス１０６、バイオメトリックセンサ１０８、１２２、および格納されたバイオメトリックデータ１１６のうちの１つから動作に関するバイオメトリックデータを得る。

動作に関するバイオメトリックデータを受信するステップ１３０２は、バイオメトリックデータの直近のＮ個のサンプルのみを受信するステップを含んでもよく、ここでＮは、バイオメトリックデータの測定ウィンドウに対応する正の整数である。測定ウィンドウはユーザに固有であってもよく、またＮの値は、プロンプトされる、自動的に特定される、ユーザプロファイル１１８から引き出される、および／またはコンピュータインターフェイスの特性に応じて調整されることにしてもよい。実施の形態によっては、動作に関するバイオメトリックデータはリアルタイムで受信され、複数の視点位置値および複数のタイムスタンプを備え、各タイムスタンプは複数の視点位置のうちの１つに対応する。実施の形態によっては、動作に関するバイオメトリックデータは目の注視データである。実施の形態によっては、動作に関するバイオメトリックデータは視線追跡データである。

方法１３００は、動作に関するバイオメトリックデータに基づきコンピュータインターフェイスからのユーザの注意の逸れを検出するステップ１３０４に進む。実施の形態によっては、動作値は、ブラウジング位置の手がかりデバイス１１２の判断モジュール１００４を経由して識別される。動作値は、ユーザの注意が逸れたことを特定するために、様々な閾値とプロファイルのうち少なくとも一方と比較されてもよい。実施形態によっては、ステップ１３０４は、最初にユーザの注意が逸れたちょうどその瞬間を識別するステップを備える。

方法１３００は、コンピュータインターフェイスにおいて、直近の既知のブラウジング位置を表す視覚的な手がかりを提供するステップ１３０６に続く。視覚的な手がかりは、直近の既知のブラウジング位置を表すのに適した任意の指標であってもよい。直近の既知のブラウジング位置は、ユーザの注意が逸れた直前に見ていたコンピュータインターフェイス上の場所である。実施の形態によっては、直近の既知のブラウジング位置は、バイオメトリックデータから特定される。他の実施形態では、直近の既知のブラウジング位置は、別のモジュールまたはデバイスから受信される。視覚的な手がかりは、ユーザの注意が逸れていると検出した（ステップ１３０４）直後に示されてもよく、または、タイマーの期限切れのような、追加のトリガーの受信に応じて示されてもよい。加えて、実施の形態によっては、視覚的な手がかりは、既定の時間後、または、ユーザが再びコンピュータインターフェイスに注意を向けているとの知らせの受信に応じて、削除されてもよい。

図１４は、本開示の実施形態に係る、動作に関するバイオメトリックデータを使用して直近の既知のブラウジング位置の手がかりを提供する方法１４００を示す。方法１４００は、例えば、入力デバイス１０６、バイオメトリックセンサ１０８、バイオメトリックデータ取得デバイス１２０、および格納されたバイオメトリックデータ１１６のうち少なくとも１つから、動作に関するバイオメトリックデータを受信するステップ１４０２を備える。動作に関するバイオメトリックデータは、ブラウジング位置を識別する（ステップ１４０４）ために使用される。実施形態によっては、複数のブラウジング位置が、コンピュータインターフェイス上の、ユーザが見た一番最近の場所に対応して識別される。

実施の形態によっては、ステップ１４０２は、動作に関するバイオメトリックデータから位置値を識別するステップと、ユーザがどこを見ているかを特定するために、位置値をコンピュータインターフェイス上の位置に相互に関連付けるステップとを備える。実施の形態によっては、ステップ１４０２は、ブラウジング位置を特定するために、視線追跡または目の注視のアルゴリズムを使用するステップを備える。実施の形態によっては、ステップ１４０２は、入力デバイス１０６、バイオメトリックセンサ１０８、ユーザの意図分析デバイス１１０、格納されたバイオメトリックデータ１１６、バイオメトリックデータ取得デバイス１２０、動作モジュール２０４、注意判断モジュール１００４のような別のデバイスまたはモジュールから位置値を受信するステップと、位置値からブラウジング位置を付け加えるステップとを備える。

ステップ１４０６は、ユーザの注意の逸れが検出されたかどうかを特定するステップを含む。ユーザの注意の逸れは、上記で考察したように、バイオメトリックデータを閾値とプロファイルのうち少なくとも一方と比較することによって検出されてもよい。ユーザの注意の逸れが検出されなかった場合、方法１４００はループし、ステップ１４０６を繰り返す。ユーザの注意の逸れが検出された場合、注意を向けていない時間が、検出されたユーザの注意の逸れに対応して識別される（ステップ１４０８）。注意を向けていない時間は、ブラウジング位置を直近の既知のブラウジング位置として識別し、割り当てる（ステップ１４１０）ために使用される。

ステップ１４１２は、表示タイマーを起動するステップを含む。表示タイマーは、既定の時間をカウントダウンする。表示タイマーは調整可能であってもよく、ユーザに固有であってもよい。表示タイマーの期限が切れると、視覚的な手がかりが直近の既知のブラウジング位置に示される（ステップ１４１４）。

ステップ１４１６は、削除タイマーを起動するステップを含む。実施の形態によっては、削除タイマーは、ユーザが再びユーザインターフェイスに注意を向けていることが検出されると起動される。実施の形態によっては、削除タイマーは、視覚的な手がかりの提供に応じて起動される。削除タイマーの期限が切れると、視覚的な手がかりがコンピュータインターフェイスから削除される（ステップ１４１８）。

図１５は、本開示の実施の形態に係る、動作に関するバイオメトリックデータを使用して直近の既知のブラウジング位置の手がかりを提供する方法１５００を示す。方法１５００は、例えば、入力デバイス１０６、バイオメトリックセンサ１０８、バイオメトリックデータ取得デバイス１２０、および／またはバイオメトリックデータ１１６から、動作に関するバイオメトリックデータを受信するステップ１５０２を備える。動作に関するバイオメトリックデータは、ブラウジング位置を識別する（ステップ１５０４）ために使用される。実施の形態によっては、複数のブラウジング位置が、コンピュータインターフェイス上の、ユーザが見た一番最近の場所に対応して識別される。

実施の形態によっては、ステップ１５０２は、動作に関するバイオメトリックデータから位置値を識別するステップと、ユーザがどこを見ているかを特定するために、位置値をコンピュータインターフェイス上の位置に相互に関連付けるステップとを備える。実施の形態によっては、ステップ１５０２は、ブラウジング位置を特定するために、視線追跡または目の注視のアルゴリズムを使用するステップを備える。実施の形態によっては、ステップ１５０２は、入力デバイス１０６、バイオメトリックセンサ１０８、ユーザの意図分析デバイス１１０、格納されたバイオメトリックデータ１１６、バイオメトリックデータ取得デバイス１２０、動作モジュール２０４、注意判断モジュール１００４のような別のデバイスまたはモジュールから位置値を受信するステップと、位置値からブラウジング位置を付け加えるステップとを備える。

ステップ１５０６は、ユーザの注意の逸れが検出されたかどうかを特定するステップを含む。ユーザの注意の逸れは、上記で考察したように、バイオメトリックデータを閾値とプロファイルのうち少なくとも一方と比較することによって検出されてもよい。ユーザの注意の逸れが検出されなかった場合、方法１５００はループし、ステップ１５０６を繰り返す。ユーザの注意の逸れが検出された場合、注意を向けていない時間が、検出されたユーザの注意の逸れに対応して識別される（ステップ１５０８）。注意を向けていない時間は、ブラウジング位置を直近の既知のブラウジング位置として識別し、割り当てる（ステップ１５１０）ために使用される。

ステップ１５１２は、ユーザの注意を検出するステップを含む。動作に関するバイオメトリックデータは、ユーザが再びコンピュータディスプレイに注意を向けているということを検出するために分析されてもよい。実施の形態によっては、分析は、上記で考察したように、動作に関するバイオメトリックデータを閾値とプロファイルのうち少なくとも一方と比較するステップを含む。ユーザの注意が検出されると、視覚的な手がかりが直近の既知のブラウジング位置に示される（ステップ１５１４）。

ステップ１５１６は、削除タイマーを起動するステップを含む。実施の形態によっては、削除タイマーは、ユーザが再びユーザインターフェイスに注意を向けていることの検出に応じて起動される。実施の形態によっては、削除タイマーは、視覚的な手がかりの提供に応じて起動される。削除タイマーの期限が切れると、視覚的な手がかりがコンピュータインターフェイスから削除される（ステップ１５１８）。

実施の形態は他の具体的な態様で実施されてもよい。説明した実施の形態は、あらゆる点で単なる例示にすぎず、限定的に解釈してはならない。したがって、本発明の範囲は添付の特許請求の範囲によって示されており、明細書本文にはなんら拘束されない。特許請求と均等な意味および範囲にあるすべての変更は、本発明の範囲内のものである。

１０１ 電子デバイス
１０２ プロセッサ
１０４ ディスプレイ
１０６ 入力デバイス
１０８ バイオメトリックセンサ
１１０ ユーザの意図分析デバイス
１１２ ブラウジング位置の手がかりデバイス
１１４ メモリ
１１６ バイオメトリックデータ
１１８ ユーザプロファイル
１２０ バイオメトリックデータ取得デバイス
１２２ 外部バイオメトリックセンサ
２０２ バイオメトリックデータモジュール
２０４ 動作モジュール
２０６ 評価モジュール
３０２ 位置モジュール
３０４ 速度モジュール
３０６ ジャークモジュール
３０８ 適応モジュール
３１０ 校正モジュール
１００２ バイオメトリックデータモジュール
１００４ 注意判断モジュール
１００６ 位置の手がかりモジュール
１１０２ ブラウジング位置モジュール
１１０４ 直近の位置モジュール
１１０６ 手がかりタイマーモジュール
１１０８ 手がかり取り下げモジュール
１１１０ 注意更新モジュール
１１１２ 動作閾値モジュール
１１１４ 動作プロファイルモジュール

Claims (18)

1. プロセッサが動作に関するバイオメトリックデータを受信するステップと、
   前記動作に関するバイオメトリックデータに基づきコンピュータインターフェイスからのユーザの注意の逸れを検出するステップと、
   前記コンピュータインターフェイスにおいて、直近の既知のブラウジング位置を表す視覚的な手がかりを提供するステップと、
   前記視覚的な手がかりの提供に応じて削除タイマーを起動するステップと、
   前記削除タイマーの期限切れに応じて前記コンピュータインターフェイスから前記視覚的な手がかりを削除するステップと、
   を備えることを特徴とする方法。
2. 前記動作に関するバイオメトリックデータに基づき、前記コンピュータインターフェイス上の複数のブラウジング位置を識別するステップと、
   前記検出されたユーザの注意の逸れに対応する、注意を向けていない時間を識別するステップと、
   をさらに備え、
   前記コンピュータインターフェイスにおいて、前記視覚的な手がかりを提供するステップは、前記注意を向けていない時間に対応してブラウジング位置に前記視覚的な手がかりを表示するステップを備えることを特徴とする請求項１に記載の方法。
3. 前記ユーザの注意の逸れの検出に応じて表示タイマーを起動するステップをさらに備え、
   前記表示タイマーの期限切れに応じて、前記視覚的な手がかりを提供するステップが実行されることを特徴とする請求項１に記載の方法。
4. 前記ユーザの注意の逸れの後、ユーザの注意が前記コンピュータインターフェイスに戻されたかどうかを検出するステップと、
   前記ユーザの注意の検出に応じて前記視覚的な手がかりを提供するステップと、
   をさらに備えることを特徴とする請求項１に記載の方法。
5. 前記ユーザが前記コンピュータインターフェイスに注意を向けているかどうかを特定するために、前記動作に関するバイオメトリックデータを少なくとも１つの閾値と比較するステップをさらに備え、
   前記少なくとも１つの閾値は、位置閾値、速度閾値、加速度閾値、およびジャーク閾値からなる群から選択されることを特徴とする請求項１に記載の方法。
6. 前記ユーザが前記コンピュータインターフェイスに注意を向けているかどうかを特定するために、前記動作に関するバイオメトリックデータを少なくとも１つのプロファイルと比較するステップをさらに備え、
   前記少なくとも１つのプロファイルは、目の速度プロファイル、目の加速度プロファイル、および目の振動プロファイルからなる群から選択されることを特徴とする請求項１に記載の方法。
7. 前記動作に関するバイオメトリックデータはリアルタイムで受信され、複数の視点位置値および複数の視点タイムスタンプを備え、
   前記視点タイムスタンプのそれぞれが前記複数の視点位置値のうちの１つに対応することを特徴とする請求項１に記載の方法。
8. 前記動作に関するバイオメトリックデータは、目の注視データおよび視線追跡データからなる群から選択されることを特徴とする請求項１に記載の方法。
9. 前記視覚的な手がかりが、ハイライト、下線、トレース、マーカー、透かし、色分けされたテキスト、色の薄いテキスト、アニメのテキスト、およびアイコンからなる群から選択されることを特徴とする請求項１に記載の方法。
10. プロセッサと、
    前記プロセッサにより実行可能なコードを格納するメモリと
    を備え、
    前記コードは、
    動作に関するバイオメトリックデータを受信するコードと、
    前記動作に関するバイオメトリックデータに基づきユーザの注意の逸れを検出するコードと、
    コンピュータインターフェイスにおいて、直近の既知のブラウジング位置を表す視覚的な手がかりを提供するコードと、
    前記視覚的な手がかりの提供に応じて削除タイマーを起動するコードと、
    前記削除タイマーの期限切れに応じて前記コンピュータインターフェイスから前記視覚的な手がかりを削除するコードと、
    を備えることを特徴とする装置。
11. 前記動作に関するバイオメトリックデータに基づき、コンピュータインターフェイス上のブラウジング位置を識別するコードと、
    前記検出されたユーザの注意の逸れに対応する注意を向けていない時間を識別するコードと、をさらに備え、
    前記コードは、前記注意を向けていない時間に対応してブラウジング位置に前記視覚的な手がかりを表示する
    ことを特徴とする請求項１０に記載の装置。
12. 前記ユーザの注意の逸れの検出に応じて表示タイマーを起動するコードであって、前記表示タイマーの期限切れに応じて前記視覚的な手がかりを提供するコードと、
    削除タイマーの期限切れに応じて前記コンピュータインターフェイスから前記視覚的な手がかりを削除するコードと、
    をさらに備えることを特徴とする請求項１０に記載の装置。
13. 前記ユーザの注意の逸れの後、ユーザの注意が前記コンピュータインターフェイスに戻されたかどうかを検出するコードをさらに備え、
    前記コードは、ユーザの注意が前記コンピュータインターフェイスへ戻ったことに応じて前記視覚的な手がかりを提供することを特徴とする請求項１０に記載の装置。
14. 前記ユーザが前記コンピュータインターフェイスに注意を向けているかどうかを特定するために、前記動作に関するバイオメトリックデータを少なくとも１つの閾値と比較するコードをさらに備え、
    前記少なくとも１つの閾値は、位置閾値、速度閾値、加速度閾値、およびジャーク閾値からなる群から選択されることを特徴とする請求項１０に記載の装置。
15. 前記ユーザが前記コンピュータインターフェイスに注意を向けているかどうかを特定するために、前記動作に関するバイオメトリックデータを少なくとも１つのプロファイルと比較するコードをさらに備え、
    前記少なくとも１つのプロファイルは、目の速度プロファイル、目の加速度プロファイル、および目の振動プロファイルからなる群から選択される
    ことを特徴とする請求項１０に記載の装置。
16. 動作に関するバイオメトリックデータを受信する工程と、
    前記動作に関するバイオメトリックデータに基づいた、コンピュータインターフェイスからのユーザの注意の逸れを検出する工程と、
    前記コンピュータインターフェイスにおける、直近の既知のブラウジング位置を表す視覚的な手がかりを提供する工程と、
    前記視覚的な手がかりの提供に応じて削除タイマーを起動する工程と、
    前記削除タイマーの期限切れに応じて前記コンピュータインターフェイスから前記視覚的な手がかりを削除する工程と、
    をコンピュータに実行させることを特徴とするコンピュータが実行可能なプログラム。
17. さらに、
    前記ユーザの注意の逸れの後、ユーザの注意が前記コンピュータインターフェイスに戻されたかどうかを検出する工程と、
    前記ユーザの注意の検出に応じた前記視覚的な手がかりを提供する工程と、
    をコンピュータに実行させることを特徴とする請求項１６に記載のコンピュータが実行可能なプログラム。
18. さらに、
    前記ユーザの注意の逸れの検出に応じて表示タイマーを起動する工程と、
    前記表示タイマーの期限切れに応じて前記視覚的な手がかりを提供する工程と、
    をコンピュータに実行させることを特徴とする請求項１６に記載のコンピュータが実行可能なプログラム。

Images