JP6899655B2 - 乱れ抵抗性タッチスクリーン - Google Patents

Description

本開示は、広くは、データ処理システムに関し、特に、タッチスクリーンシステムを含むデータ処理システムに関する。

航空機のコックピット内で必要とされる空間の量を低減させる労力において、種々の電気システムが組み合わされて単一のシステムとなり又はディスプレイを共有し得る。例えば、幾つかの飛行計器及び制御装置が組み合わされて、単一のディスプレイ及びそのディスプレイのための制御システムとなり得る。このやり方において、航空機のコックピットの中のこれらのシステムのために、より少ない空間が必要とされ得る。

グラフィカルユーザインターフェース（ＧＵＩ）を使用して、種々の種類の情報が表示され得る。ＧＵＩと相互作用するために、ディスプレイは、ユーザがＧＵＩ内の相互作用要素を起動又は変更することを許容する、統合されたタッチスクリーンを含み得る。しかし、特定の動作状態の間、タッチスクリーンを使用するオペレータの技量は、困難なものとなり得る。例えば、強い加速が存在する中で、離陸及び着陸などの航空機の特定の操縦の間に、正しい相互作用ボタン又はスライダをタッチすることは困難であり得る。他の例では、天候などの状態も、タッチスクリーンの使用をより困難にし得る。

本明細書で説明される一態様は、タッチスクリーンにグラフィカルユーザインターフェース（ＧＵＩ）を表示すること、及びユーザの身体部分とタッチスクリーンに表示されたＧＵＩの少なくとも一部分との間の空間的な関係を特定することを含む、方法である。該方法は、タッチスクリーンと身体部分との間の相対的な動きに応じて、タッチスクリーン内でＧＵＩの一部分の位置を移動させ、身体部分とＧＵＩの一部分との間の空間的な関係を維持することを含む。

本明細書で説明される別の一態様は、ＧＵＩを表示するように設定されたタッチスクリーンと乱れ検出器とを含む、ディスプレイシステムである。乱れ検出器は、ユーザの身体部分とタッチスクリーンに表示されたＧＵＩの少なくとも一部分との間の空間的な関係を特定し、タッチスクリーンと身体部分との間の相対的な動きに応じて、タッチスクリーン内でＧＵＩの一部分の位置を移動させ、身体部分とＧＵＩの一部分との間の空間的な関係を維持するように設定されている。

本明細書で説明される別の一態様は、コンピュータ可読記憶媒体を用いて具現化されるコンピュータ可読プログラムを含む、コンピュータ可読記憶媒体である。１以上のコンピュータプロセッサによって実行可能なコンピュータ可読プログラムコードは、タッチスクリーンにＧＵＩを表示し、ユーザの身体部分とタッチスクリーンに表示されたＧＵＩの少なくとも一部分との間の空間的な関係を特定し、タッチスクリーンと身体部分との間の相対的な動きに応じて、タッチスクリーン内でＧＵＩの一部分の位置を移動させ、ユーザとＧＵＩの一部分との間の空間的な関係を維持する。

統合されたタッチスクリーン及びディスプレイスクリーンを有する、ディスプレイシステムのブロック図である。 乱れ運動に応じて、ＧＵＩを調整するためのフローチャートである。 タッチスクリーンに対する手の位置を追跡するためのシステムを示す。 タッチスクリーンに対する手の位置を追跡するためのシステムを示す。 乱れ運動に応じて、ＧＵＩの位置を調整するタッチスクリーンを示す。 乱れ運動に応じて、ＧＵＩの位置を調整するタッチスクリーンを示す。 乱れ運動に応じて、ＧＵＩの位置を調整するタッチスクリーンを示す。

理解を容易にするため、可能な場合には、複数の図に共通する同一の要素を指し示すために同一の参照番号を使用した。一態様に開示された要素は、特に列挙することなく、他の態様に有利に用いられ得る。

本明細書の態様は、輸送体（例えば、航空機、ボート、自動車、列車、宇宙船など）内の乱れ運動に応じて、表示されるグラフィカルユーザインターフェース（ＧＵＩ）の少なくとも一部分を移動させる、ディスプレイシステムを説明する。一態様において、ＧＵＩは、ユーザがＧＵＩ内の１以上の要素（例えば、ボタン、スライダ、相互作用物体など）と相互作用することを可能にする、統合されたタッチセンシング領域を含む、スクリーンに表示される。ユーザは、自分の指を使用して、ＧＵＩと相互作用するためにスクリーンにタッチする（又は覆い被さる）ことができる。しかし、乱れ運動は、ユーザが、ＧＵＩ内の相互作用要素をミスし又はＧＵＩ内の間違った要素を不注意にタッチする原因となる。

一態様では、ユーザがＧＵＩ内の望ましい相互作用要素をタッチすることを助けるために、ディスプレイシステムが、ユーザの手又は指の動きを追跡し、ＧＵＩを表示するスクリーンに対するその位置を判定して、乱れ運動の間に、スクリーンに対する手又は指の空間的な関係を維持する。一態様では、ユーザが、スクリーンに対する手の位置を判定するためのセンサを含む、手袋をはめる。代替的に、ディスプレイシステムは、ユーザの手の位置を追跡するための動作追跡アプリケーションを含み得る。乱れ運動が、スクリーンに対して望ましくない又は意図しないやり方で手が移動することをもたらすときに、ディスプレイシステムは、ユーザとＧＵＩとの間の空間的な関係が維持されるように、表示されているＧＵＩを調整する。一態様では、ディスプレイシステムが、ＧＵＩの少なくとも一部分がユーザの指と固定された空間的な関係を維持するように、スクリーン内でＧＵＩの位置をシフトする。したがって、ユーザが、乱れ運動のすぐ後でスクリーンにタッチするならば、ユーザは、スクリーンの意図しない位置ではなく、ＧＵＩの意図された位置にタッチすることになる。

図１は、コンピューティングシステム１０５と統合されたタッチ及びディスプレイ装置１４５とを有する、ディスプレイシステム１００のブロック図である。コンピューティングシステム１０５は、プロセッサ１１０、オペレーティングシステム１１５、乱れ検出器１３０、ディスプレイ調節器１３５、及びタッチ調節器１４０を含む。プロセッサ１１０は、複数の処理コアを含み得る、１以上の処理要素を表している。プロセッサ１１０は、オペレーティングシステム１１５から受信された指示命令を実行するための、汎用プロセッサ又は特定用途向け集積回路（ＡＳＩＣ）を含むことができる。オペレーティングシステム１１５は、本明細書で説明される機能を実行することができる、任意のオペレーティングシステムであり得る。オペレーティングシステム１１５は、タッチ／ディスプレイ装置１４５に表示されるためのＧＵＩ１２５を生成する、パイロットアプリケーション１２０を含む。

一態様では、パイロットアプリケーション１２０が、タッチ／ディスプレイ装置１４５を含む、多機能ディスプレイに表示されるためのＧＵＩ１２５を更新する。概して、ＧＵＩ１２５は、飛行機の高度、輸送体の傾き、速度、コントロールシステムの位置、ステータス、燃料レベルなどの情報を、ユーザに提供し得る。更に、ＧＵＩ１２５は、ユーザが、タッチ／ディスプレイ装置１４５を使用して、起動させ又は移動させることができる、相互作用要素を含む。例えば、ＧＵＩ１２５を表示するために使用されるスクリーン１５０は、装置１４５がユーザ入力を受信することを可能にする、センシング領域も画定する。ユーザがＧＵＩ１２５内の相互作用要素にタッチする（又は覆い被さる）ときに、タッチ／ディスプレイ装置１４５は、ユーザの指の位置を検出し、パイロットアプリケーション１２０に注意喚起することができる。それに応じて、パイロットアプリケーション１２０は、ＧＵＩ１２５を変更し、又は輸送体内の他のシステムに、輸送体のパラメータを変更する制御信号を送信することができる。

図１は、パイロットが航空機又はボートなどの輸送体を操縦するために有用な情報を出力するパイロットアプリケーション１２０を示しているが、運転手に指示を提供するための相互作用ＧＵＩを自動車内に表示するナビケーションアプリケーションなどの、他のアプリケーションが使用され得る。別の一実施例において、コンピューティングシステム１０５は、飛行機内の乗客が鑑賞する映画又はテレビ番組を選択するためのＧＵＩを表示する、メディアアプリケーションを含み得る。例えば、タッチ／ディスプレイ装置１４５は、座席の後部内に配置され得るか又は輸送体内のユーザによって把持されるタブレット若しくはスマートフォンであり得る。これらの非限定的な例の全ては、以下で説明される技術が使用されて、ユーザが、乱れ運動の間にスクリーンの望ましくない部分を偶発的にタッチしてしまうことを妨げることができる、アプリケーションである。

乱れ検出器１３０は、乱れ運動を検出し、それに応じて、ＧＵＩ１２５がタッチ／ディスプレイ装置１４５内に表示されるやり方を調整する。本明細書で使用される際に、「乱れ運動」又は「乱れ」は、ユーザとタッチ／ディスプレイ装置１４５との間の空間的な関係を変化させる、輸送体及び／又は輸送体内のユーザにかかる任意の力を含み得る。乱れ運動の例は、航空機内の乱れ、車輪輸送体が受ける窪みからの衝撃、加速又は減速（例えば、赤信号での停止、又は航空機の離陸若しくは着陸）、波を越えての移動などを含む。

乱れ検出器１３０は、パイロットアプリケーション１２０と通信可能に接続され、タッチ／ディスプレイ装置１４５にＧＵＩ１２５を表示する作業を行うディスプレイ調節器１３５と通信可能に接続され得る。乱れ検出器１３０は、乱れ運動を検出したことに応じて、ディスプレイ調節器１３５がＧＵＩ１２５を出力するやり方を変更する。例えば、乱れ運動の前に、ユーザの指は、ＧＵＩ１２５内で表示された特定のボタンを覆って配置され得る。しかし、乱れ運動は、指又は装置１４５の何れかが互いに対して移動することを強い、それによって、指がもはやボタンを覆って配置されていないという状態が生じ得る。乱れ運動が生じたときにユーザがボタンをタッチするプロセスにあったならば、本明細書で説明される技術がないとして、ユーザは、そのボタンを含まないＧＵＩ１２５の一部分に接触し得る。以下でより詳細に説明されるように、乱れ検出器１３０は、ＧＵＩ１２５がタッチ／ディスプレイ装置１４５に表示されるやり方を変更するように、ディスプレイ調節器１３５に指示命令し、それによって、乱れ運動が生じた後で、ユーザの指とＧＵＩ１２５内のボタンとの間の空間的な関係が維持される。

一態様では、乱れ検出器１３０が、乱れ運動を特定するために使用され得るデータを提供する、加速度計、ジャイロスコープ、動作追跡システムなどの、飛行機内に配置された１以上のセンサと通信可能に接続されている。これらのセンサは、乱れ検出器１３０が、手の動きがユーザによって意図されたものであるか又は乱れ運動を原因とするものであるかを判定することを可能にする。例えば、センサは、乱れ検出器１３０が、指がスクリーン１５０にタッチする前にユーザの指を追跡すること、及び、指の動きが乱れ運動によるものであるか否かを判定することを可能にし、乱れ運動によるものならば、ＧＵＩ１２５が装置１４５に表示されるやり方を調整する。

タッチ調節器１４０は、タッチ／ディスプレイ装置１４５に接続され、スクリーン１５０内のセンシング領域の近傍にあるときに、ユーザの指又は手（若しくは他の身体部分）の位置を検出する。例えば、タッチ調節器１４０は、抵抗性センシング又は容量性センシングを使用して、ユーザが現在接触している、スクリーン１５０内の位置を特定し得る。一態様では、タッチ調整器１４０が、この位置を、ユーザがＧＵＩ１２５内の相互作用要素のうちの１つにタッチしたか否かを判定する、乱れ検出器１３０又はパイロットアプリケーション１２０に報告する。言い換えると、乱れ検出器１３０は、ＧＵＩ１２５の相互作用要素が表示されている位置を知っており、これらの位置をタッチ調節器１４０によって提供される位置と相互に関連付け、相互作用要素のうちのどの１つにユーザが現在接触し又は覆い被さっているかを判定することができる。

乱れ検出器１３０を使用して、ＧＵＩ１２５が表示されるやり方を調整することの１つの利点は、パイロットアプリケーション１２０が、変更又は修正される必要がないということである。すなわち、（ハードウェア、ファームウェア、ソフトウェア、又はそれらの組み合わせであり得る）乱れ検出器１３０は、パイロットアプリケーション１２０とディスプレイ調節器１３５との間の媒介物として働くことができる。したがって、パイロットアプリケーション１２０は、乱れ運動を検出しＧＵＩ１２５を調整する必要がなく、むしろこれは、乱れ検出器１３０によって実行される。一態様では、複数の異なるアプリケーションが、タッチ／ディスプレイ装置１４５を使用してＧＵＩを表示するとしても、これらのアプリケーションは、本明細書で説明される技術を実行するために修正されない。代わりに、パイロットアプリケーション１２０は、ＧＵＩ１２５を乱れ検出器１３０に送信し、そこで、乱れ検出器１３０は、ＧＵＩ１２５が乱れ運動に応じて表示されるやり方を修正する。更に、乱れ検出器１３０がＧＵＩ１２５を修正するので、乱れ検出器１３０は、タッチ／ディスプレイ装置１４５のセンシング領域内のユーザ相互作用の位置を、ＧＵＩ１２５内の相互作用要素の位置にマッピングするための情報を含み、ユーザが要素のうちの１以上に接触したか否かを判定する。そうであるならば、乱れ検出器１３０は、相互作用要素がユーザに接触されたという情報を、パイロットアプリケーション１２０に知らせることができる。したがって、一態様では、パイロットアプリケーション１２０が、ＧＵＩ１２５が通常に表示されたか又は表示される前に乱れ検出器１３０によって変更されたか否かに関わらず、同じように機能する。

図２は、乱れ運動に応じて、ＧＵＩを調整するための方法２００のフローチャートである。該方法は、ブロック２０５で始まり、乱れ検出器がディスプレイシステムを乱れモードに設定する。一態様では、乱れ検出器が輸送体内のセンサをモニターし、ディスプレイシステムが乱れモードに設定されたか否かを判定する。例えば、乱れ検出器は、予め規定された期間内に、センサによって報告された加速度が閾値を超えたか又は加速度の特定の数値が測定されるまで待って、乱れモードを起動するかもしれない。一態様では、ユーザ（例えば、パイロット又は運転手）が、手動で乱れモードを起動し得る。一旦、乱れモードに設定されると、乱れ検出器は、以下で説明されるように、タッチスクリーンと相互作用するユーザの身体部分（例えば、指又は手）の位置のモニタリングを開始する。

乱れモードが起動されないならば、乱れ検出器は、ユーザの動きが乱れ運動によってもたらされたか否かを判定するためにユーザをモニターし得ない。ディスプレイシステムを乱れモードにすることは、乱れ検出器が誤って、乱れ運動によってもたらされたものではないユーザの動きを意図されない動きとして解釈する、誤検出の可能性を低減させ得る。しかし、他の態様では、乱れ検出器が、ディスプレイシステムが乱れモードにされるまで待たずに、乱れ運動によってもたらされたユーザの手又は指の動きを検出することを試みる。

ブロック２１０では、乱れ検出器が、ユーザの手又は指の動きを追跡する。一態様では、乱れ検出器が、ＧＵＩを表示するスクリーンに対する手の相対的な位置を判定する。一実施例において、乱れ検出器は、ＧＵＩのうちのどの部分が、スクリーンに垂直な方向に対して、ユーザに指によって覆われているかを判定する。そのやり方において、乱れ検出器は、ＧＵＩ内のどの相互作用要素を、ユーザが起動又は接触しようとしている可能性が高いかを特定し得る。したがって、乱れ運動が、ユーザの手が動くことをもたらすならば、乱れ検出器は、ユーザが接触しようと試み得る相互作用要素を既に特定している。

図３は、ＧＵＩ１２５を表示している、タッチスクリーン１５０に対する手の位置を追跡するためのシステム３００を示す。システム３００は、ユーザによってはめられている、センサ３１０及び３２０を含む手袋３０５を含む。センサ３１０及び３２０は、乱れ検出器によって使用され、方法２００のブロック２１０で説明されたように手の位置を追跡することができる、データを出力する。例えば、センサ３１０及び３２０は、加速度計、ジャイロスコープ、位置検出のために使用される高周波又は赤外線エミッタなどであり得る。手袋３０５は、センサ３１０及び３２０によって生成されたデータを、ユーザの手又は指の位置を追跡するためにそのデータを使用することができる、乱れ検出器に送信するための無線送信器を含み得る。

一態様では、乱れ検出器が、センサ３１０及び３２０からのデータを使用して、ＧＵＩ１２５に対する指３１５の位置を判定する。例えば、乱れ検出器は、指３１５が、ＧＵＩ１２５内のボタン３２５のうちの１つに覆い被さっているか否かを判定する。一態様では、乱れ検出器が、ボタン３２５の位置と比較され得る、３Ｄ空間内の指３１５の位置を判定する。言い換えると、ボタン３２５の位置が知られていると想定して、乱れ検出器は、センサ３１０及び３２０によって提供された情報を使用して、指３１５がどのボタン３１５に接近しているかを判定し得る。システム３００は、ユーザの手を追跡するための装着可能装置（ウエアラブルデバイス）として手袋３０５を使用することを示しているが、他の態様では、装着可能装置は、リング、ブレスレット、腕時計などであり得る。

図４は、タッチスクリーンに対する手４０５の位置を追跡するためのシステム４００を示す。ユーザが手を追跡するためのアクティブな装置を装着する図３のものとは異なり、システム４００は、動き追跡器４１５を使用して、スクリーン１５０に対する手の位置を特定する。すなわち、システム４００は、ユーザが、手４０５の位置を追跡するために任意の種類の装置を装着することを要求しない。代わりに、システム４００は、動き追跡器４１５に更新された画像を提供するコンピューティングシステム１０５に接続されたカメラ４１０を含む。一態様において、カメラ４１０は、その視野が、スクリーン１５０に接近する物体（例えば、手４０５）を捉えるように配置されている。

動き追跡器４１５は、カメラ４１０によって捉えられた画像を処理し、スクリーン１５０に対する手４０５の位置を特定する。その後、動き追跡器４１５は、手４０５の位置を乱れ検出器に送信する。このやり方において、システム４００は、手４０５が、ＧＵＩ１２５内のボタン３２５のうちの１つに接近しているか又は覆い被さっているか否かを判定し得る。更に、スクリーンに対する手４０５の位置を判定することにおいて助けとなるために、システム４００は、手４０５からカメラまでの距離を判定する深度カメラを含み得る。概して、本明細書で説明される技術は、ユーザとＧＵＩ１２５との間の空間的な関係を特定するために、手４０５の拡張された指によって重ねられたＧＵＩ１２５の一部分を特定するのに十分な解像度を提供する、任意の検出システムを使用することができる。

方法２００に戻ると、ブロック２１５において、乱れ検出器は、手（又は指）がスクリーンの閾値距離内にあるか否かを判定する。この実施例では、乱れ検出器が、手又は指とスクリーンとの間の距離を判定する。例えば、乱れ検出器は、ユーザの指がスクリーンから予め規定された距離内（例えば、１インチ以下）にあるまで、ＧＵＩの一部分をユーザの手と相互に関連付け得ない。言い換えると、乱れ検出器は、ユーザの手又は指がスクリーンから１インチ内にあるまで待って、ユーザがＧＵＩのどの部分に接触を試みているのかを特定し得る。例えば、ユーザの手がスクリーンから１インチを超えているならば、方法２００は、ブロック２２０へ進み、ＧＵＩがスクリーンに通常通りに表示される。

図３及び図４の両方は、スクリーン１５０とユーザとの間の距離Ｄ１及びＤ２を判定するように示している。これらの実施例では、ユーザが、拡張された指の先端である。一態様では、指がスクリーン１５０から１インチを超えて離れているならば、乱れ検出器は、指によって重ねられているＧＵＩ１２５の一部分を特定しない。すなわち、乱れ検出器は、指とＧＵＩ１２５との間の空間的な関係を特定しない。例えば、ユーザは、自分が３つのボタン３２５のうちのどれを押そうとしているか、未だ決めていないだろう。しかし、ユーザが、スクリーンから１インチ内に指を動かしたときに、乱れ検出器は、ユーザがどのボタン３２５を押そうとしているか決定したと想定する。それに応じて、乱れ検出器は、システム３００又はシステム４００を使用して、指によって重ねられているスクリーン１５０の位置を判定する。

一態様では、乱れ検出器が、システム３００又は４００を使用して、ユーザの手がスクリーンに接近する速度もモニターし得る。例えば、ユーザが、１秒当たり１インチ以上の速度でスクリーンに向かって自分の手を動かしているならば、乱れ検出器は、ユーザがどのボタンを押すか決定したと判定する。それに応じて、乱れ検出器は、ユーザが現在の動きを続けるならば、押すことになるボタンを特定する。すなわち、乱れ検出器は、システム３００又は４００によって提供されたセンサ情報を使用して、ユーザの手の現在の方向を判定し、したがって、ユーザの指がスクリーンのどこに接触するかを判定し得る。一態様では、閾値距離よりもむしろ、ユーザの手が移動する速度が、ブロック２１５での閾値として使用され得る。例えば、ユーザの手とスクリーンとの現在の分離に関わらず、乱れ検出器は、手がスクリーンに接近する速度が１秒当たり１インチよりも速ければ、ブロック２２５へ進むのみであり得る。したがって、指がスクリーンから０．５インチだけ離れているが静止しているならば、乱れ検出器は、ＧＵＩ内の任意の特定の相互作用要素を、指の位置と相互に関連付け得ない。言い換えると、ユーザは自分の手を動かしていないので、乱れ検出器は、ユーザが、どの相互作用要素を押すか未だ決定していないと想定し、したがって、乱れ運動が存在するとしても、ＧＵＩを通常通りに表示する。

別の一態様では、予め規定された距離の閾値とユーザが自分の手を動かしている速度が、ブロック２１５で組み合わせて使用され得る。例えば、ユーザの手の任意の部分がスクリーンから２インチ以内にあり、且つ、手が１秒当たり０．５インチの速度でスクリーンに向かう方向において移動している場合にのみ、乱れ検出器は、ブロック２２５へ進み得る。さもなければ、乱れ検出器は、ＧＵＩを通常通りに表示する。

ユーザの身体部分が、スクリーンから閾値距離内にあると想定するならば、方法２００は、ブロック２２５へ進み、乱れ検出器は、手の動きが乱れ運動によってもたらされたものであるか否かを判定する。ここで、乱れ検出器は、手の動きがユーザによって意図されたものか又は意図しないものであるかを予測する。そうするために、乱れ検出器は、輸送体内の１以上のセンサをモニターし、手又はタッチスクリーンの動きが、センサによって測定された加速度又は力に相当するものであるか否かを判定し得る。例えば、タッチスクリーン内に配置された加速度計が、自動車が窪みから受けた衝撃又は船が波から受けた衝撃によってもたらされた力を測定したならば、それと同時に、図３又は図４で示されたシステムのうちの１つが、タッチスクリーンに対する手の動きを検出し、乱れ検出器は、手の動きが、ユーザによって意図されたものであるよりはむしろ、乱れ運動の結果であると判定する。

別の一態様において、乱れ検出器は、手が動いた速度を判定し、その動きが乱れ運動からもたらされたものであるか否かを判定する。例えば、タッチスクリーン内のボタンを選択するときに、ユーザは、１秒当たり１インチよりも遅い速度で自分の手を動かし得る。しかし、突然の乱れ運動は、手が、タッチスクリーンに対して、１秒当たり２インチより速い速度で移動することをもたらし得る。したがって、乱れ検出器が、１秒当たり２インチよりも速い速度を検出したならば、検出器は、その動きが、意図的なものではなく、乱れ運動によってもたらされたものであると想定する。

図３を参照すると、一態様では、乱れ検出器が、センサ３１０の出力をセンサ３２０の出力と比較し、指３１５の動きが乱れ運動によってもたらされたか否かを判定する。例えば、センサ３２０の出力は、指３１５が加速している（すなわち、動いている）ことを示しているが、センサ３１０の出力が、手の残りの部分が静止していることを示しているならば、乱れ検出器は、指３１５の動きが、ユーザによって意図されたものであり、乱れ運動によってもたらされたものではないと判定し得る。しかし、センサ３１０及び３２０の両方が、同じ加速度を出力するならば、乱れ検出器は、指３１５の動きが乱れ運動によってもたらされたものであると判定し得る。さらに、類似の解析が、図４のシステム４００によって実行され得る。そこで、動き追跡器４１５は、手４０５の他の部分に対する指の動きを追跡し得る。拡張された指が手の他の部分とは異なって動くならば、乱れ検出器は、指の動きがユーザによって意図されたものであると判定し得る。

一態様では、乱れ検出器は、多数の要因を考慮して、手の動きが意図的なものではないか否かを判定し得る。例えば、乱れ検出器は、動きの速度と輸送体内に配置されたセンサによって提供されたデータの両方を考慮して、指の動きが意図的なものであったか否かを判定し得る。別の一実施例では、乱れ検出器が、輸送体に取り付けられたセンサによって提供されたデータと共に、追跡システム３００及び４００によって提供された情報を使用し得る。

乱れ検出器が、ブロック２２５において検出された動きが、乱れ運動によってもたらされたものではなかったと判定するならば、方法２００は、ブロック２２０へ進み、ＧＵＩが通常通りに表示される。しかし、動きが乱れによってもたらされたものであったならば、方法２００は、ブロック２３０へ進み、乱れ検出器は、スクリーン内のＧＵＩの少なくとも一部分を移動させ、手とＧＵＩの基本部分との間の空間的な関係を維持する。以下の図面と説明は、乱れ運動の間（又はその後）に、ユーザの手とＧＵＩの一部分との間の関係を維持する種々の実施例を提供する。

図５Ａ〜図５Ｃは、乱れ運動に応じて、ＧＵＩ１２５の位置を調整するタッチスクリーン１５０を示す。図５Ａで示されているように、ユーザの手５０５は、ＧＵＩ１２５内のボタン３２５Ｃに重なっている。ここで、手５０５は、スクリーン１５０に接触していないと想定する。例えば、ユーザは、ボタン３２５Ｃを選択するために、自分の手５０５をスクリーンに向けて（すなわち、ページの中への方向において）移動させるプロセスにあり得る。しかし、ユーザが、タッチ式のスクリーン１５０に接触し、ボタン３２５Ｃを選択することができる前に、乱れ運動が、手５０５（又はスクリーン１５０）が矢印５１０によって示されている方向において移動する原因となる力をもたらす。すなわち、手５０５は、上に動き、ボタン３２５Ｃから離れ、それはユーザによって意図されてない。

図５Ｂは、図５Ａで示されている手５０５とＧＵＩ１２５との間の空間的な関係に対する乱れ運動の結果を示している。多くの乱れ運動の乱暴で突然の性質のために、ユーザは、乱れ運動によって加えられた力を埋め合わせるために、手５０５の位置を調整する時間がないだろう。示されているように、乱れ運動は、手５０５の拡張された指が今やボタン３２５Ｂに覆い被さるまで、上に移動する（又はスクリーン１５０が下へ移動する）ことをもたらす。ユーザが、自分の手５０５をスクリーン１５０へ向けて動かし続けるならば、ユーザは、誤ってボタン３２５Ｂに接触することになる。すなわち、ユーザがＧＵＩ１２５内のボタン（例えば、ボタン３２５Ｃ）に接触しようとする間に、乱れ運動が生じるならば、この実施例において、その動きは、ユーザが誤ったボタン（例えば、ボタン３２５Ｂ）に接触することをもたらす。

図５Ｃは、乱れ検出器がＧＵＩ１２５を移動させて、図５Ａで示されたような乱れ運動が生じる前に、手５０５とボタン３２５Ｃとの間の空間的な関係を維持したことの結果を示している。すなわち、図５Ｂで示された望ましくない空間的な関係が、避けられる。図５Ｃでは、乱れ検出器が、ＧＵＩ１２５を上へシフトするようにディスプレイ調節器に指示命令し、それによって、手５０５の拡張された指が、ボタン３２５Ｃに重なったままである。一態様では、乱れ検出器が、手５０５の位置を連続的に追跡し、したがって、乱れ運動が生じる前に存在したＧＵＩ１２５と手５０５との間の空間的な関係を維持することができる。例えば、一旦、乱れ検出器が、乱れを原因とする矢印５１０で示されるスクリーン１５０に対する手５０５の動きを判定したならば、乱れ検出器は、ＧＵＩ１２５と手５０５との間の空間的な関係を維持する。言い換えると、乱れ検出器は、乱れ運動が、スクリーン１５０に対する手５０５の相対的な位置を変化させるのと同じやり方で、ＧＵＩ１２５を移動させる。したがって、乱れ運動の前に手５０５によって重ねられていたＧＵＩ１２５のどの部分であっても、乱れ運動の間及び後で、その手によって重ねられたままである。

本明細書で使用されるように、手５０５とＧＵＩ１２５との間の空間的な関係を維持することは、ＧＵＩ１２５に対する手５０５の位置が変化しないことを必ずしも意味するわけではない。例えば、図３及び図４で示された追跡システム内の精度の低さのために、図５Ａ及び図５Ｃで示される手５０５とＧＵＩ１２５との間の空間的な関係は、わずかに変化し得る。更に、手５０５は、乱れ検出器が動きを判定する前に幾らかの距離を移動し、その動きは乱れ運動によってもたらされたものであり得るので、手５０５とＧＵＩ１２５との間の空間的な関係は、その乱れ運動の結果として、わずかに変化し得る。それにもかかわらず、手５０５とＧＵＩ１２５との間の空間的な関係を維持することは、未だ、乱れ運動の前に手５０５によって重ねられた相互作用要素が、乱れ運動の間に又は後で、未だ、手５０５によって重ねられることをもたらす。

一態様では、一旦、（方法２００のブロック２１５で説明されたように）手がスクリーンから予め規定された距離内にあると、乱れ検出器は、手５０５とＧＵＩ１２５との間の空間的な関係を保存する。したがって、乱れ運動のために、この空間的な関係が変化したときに、乱れ検出器は、（一時的には失われてしまったかもしれない）保存された空間的な関係が維持されるように、スクリーン１５０内のＧＵＩ１２５を移動させることができる。したがって、空間的な関係を維持することは、乱れ運動の間に、手５０５が常にＧＵＩ１２５の望ましい部分（例えば、ボタン３２５Ｃ）に重なっていることを必要としない。例えば、その動きが激しい場合もあるので、乱れ検出器は、意図されたボタン３２５Ｃに重なるように手５０５を維持するのに十分速く、ＧＵＩ１２５を調整することができない。しかし、一旦、乱れ運動が収まり又は停止すると、乱れ検出器は、ＧＵＩ１２５を調整し、先に保存された、手５０５とＧＵＩ１２５との間の空間的な関係を維持することができる。

図５Ｃでは、ディスプレイ調節器が、図５ＡではＧＵＩ１２５によって以前に占められていた空間内に、ブランク部分５１５を表示する。すなわち、乱れ検出器が、ＧＵＩ１２５を移動させ、空間的な関係を維持するときに、ディスプレイ調節器は、以前はＧＵＩ１２５によって占められていたスクリーン１５０の一部分を埋め戻す（ｂａｃｋ ｆｉｌｌ）ことができる。ブランク部分５１５は、黒又は何らかの他のソリッドカラーの何れかであり得る。

図６Ａ及び図６Ｂは、乱れ運動に応じて、ＧＵＩ１２５の位置を調整するタッチスクリーン１５０を示す。図６Ａ及び図６Ｂは、スクリーン１５０に対する手の位置における上向きの変化をもたらす乱れ運動の代わりに、ここでは、乱れ運動が、手６０５（又はスクリーン１５０）が矢印６１０によって示されるように動くことをもたらすという点を除いて、図５Ａ及び図５Ｃと同様である。そのようにして、埋め合わせられなければ、乱れ運動は、ユーザが手６０５をスクリーン１５０に向けて動かす際に、手６０５がもはやボタン３２６Ｃに重ならないことをもたらし得る。

矢印６１０によって示されている動きが乱れによるものであることを判定したことに応じて、乱れ検出器は、図６Ｂで示されるようにＧＵＩ１２５を移動させ、手６０５とＧＵＩ１２５との間の空間的な関係を維持する。具体的には、ＧＵＩ１２５の移動が手６０５の移動を反映するように、ディスプレイ調節器が、ＧＵＩ１２５をスクリーン内の右へ動かす。結果として、ブランク部分６１５は、ＧＵＩ１２５によって占められるべく使用されていた、スクリーン１５０の左側に配置される。したがって、乱れ運動の存在があったとしても、乱れ検出器は、ＧＵＩ１２５の位置を更新し、手６０５とＧＵＩ１２５との間の空間的な関係を維持することができる。

図７Ａ及び図７Ｂは、乱れ運動に応じて、ＧＵＩ７００の位置を調整するタッチスクリーン１５０を示す。乱れ検出器がＧＵＩ１２５全体を移動させる図５Ｃ及び図６Ｂとは異なり、図７Ａ及び図７Ｂにおいて、乱れ検出器は、ＧＵＩ７００の一部分のみを移動させる。明瞭さのために、図７Ａ及び図７Ｂからユーザの手は省略されているが、ユーザの手は、点線によって示されているＧＵＩ７００の一部分７０５に重なることを想定する。例えば、ユーザは、自分の手を動かし、部分７０５内に含まれた下向きの矢印にタッチし得る。しかし、下向きの矢印を含むスクリーン１５０の部分７０５と接触する前に、乱れ運動が、スクリーン１５０に対するユーザの手の相対的な位置を変化させる原因となる。

図７Ｂは、乱れ運動に応じて、乱れ検出器が、ＧＵＩ７００の部分７０５を移動させることを示している。この場合には、乱れ運動が、手をスクリーン１５０に対して平行な方向において上へ移動させることをもたらす。それに応じて、乱れ検出器は、スクリーン１５０内のその以前の位置から部分７０５を除去し、ユーザの手の動きを反映するやり方で部分７０５を移動させる。したがって、ユーザがスクリーン１５０に接触するならば、自分は、部分７０５、すなわち、下向きの矢印に接触するだろう。この実施例では、乱れ検出器が、ＧＵＩ７００の一部分（すなわち、部分７０５）を特定し、乱れ運動が検出されたときに、ユーザの手とのその空間的な関係を維持するために、既に特定された部分７０５をスクリーン１５０内で移動させる。この場合では、部分７０５が、上向きの矢印の一部分と重なるように上にシフトされる。示されているように、部分７０５を移動させることは、以前に部分７０５によって占められていたスクリーン１５０内の空間内にブランク部分７１０を生成する。

図７Ａ及び図７Ｂで示されるようにＧＵＩ７００を調整することの１つの利点は、乱れ運動に応じて全体のＧＵＩがシフトされないということであり、それは、ユーザの注意力を削がないであろう。しかし、全体部分よりもむしろＧＵＩ７００の一部分のみを移動させることは、ＧＵＩを生成するアプリケーション（例えば、図１のパイロットアプリケーション１２０）が、乱れ運動に応じて修正されることを意味し得る。すなわち、図７Ｂで示されるように、ユーザの手に対応する部分７０５の周りで移動するために、アプリケーションは、異なるＧＵＩを生成し得る。対照的に、図５Ｃ及び図６Ｂで示されるように、全体のＧＵＩをシフトすることは、基本のアプリケーションが修正されないことを意味し得る。

一態様では、部分７０５を移動させることに加えて、乱れ検出器が、部分７０５のサイズを増加させもし得る。すなわち、図７Ａで示されている位置から図７Ｂで示されている位置へ、部分７０５を移動させるときに、乱れ検出器は、部分７０５の面積を拡大させ、それを大きくする。それは、ユーザが、望ましいボタン、例えば、下向きの矢印に接触する可能性を増加させる。

方法２００に戻ると、ブロック２３０では、乱れ検出器が、図５〜図７で示されている技術のうちの何れかを使用し、ＧＵＩの少なくとも一部分を移動させ、手とＧＵＩとの間の空間的な関係を維持することができる。乱れ運動が継続し、手を動かし、手がスクリーンの閾値距離内にある限り、乱れ検出器は、手の動きを反映するようにＧＵＩ（又はその一部分）を動かす。しかし、一態様では、一旦、ユーザが自分の手がもはやスクリーンの閾値距離内にないように自分の手を動かしたならば、乱れ検出器は、たとえユーザの手が乱れのせいで動かされたとしても、ＧＵＩを移動させることを停止し得る。一態様では、乱れ検出器が、ＧＵＩをその通常の（調整されていない）状態へ戻すように移動させる。例えば、乱れ検出器は、図５Ａ、図６Ａ、及び図７Ａで示されるように、ＧＵＩをその元々のデフォルト位置へ戻すように、ディスプレイ調節器に指示命令し得る。

前の段落において、本開示で提示される諸態様が参照される。しかし、本開示の範囲は、記載される具体的な諸態様に限定されない。代わりに、検討される諸態様の実装及び実施のため、種々の諸態様に関連しているかどうかに関わらず、以下の特徴及び要素の任意の組み合わせが検討される。更に、本明細書で開示される諸態様によって他の可能な解決法又は先行技術と比べた利点が達成可能であるかもしれないが、具体的な利点が所与の態様によって達成されるかどうかは、本開示の範囲を限定するものではない。したがって、先の態様、特徴、及び利点は単なる例示であり、添付の特許請求の範囲で明示されていない限り、特許請求の範囲の要素であると考えたり、又は特許請求の範囲を限定すると考えるべきではない。

諸態様は、専らハードウェアである態様、専らソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）である態様、又はソフトウェアとハードウェアの態様を組み合わせた態様の形式をとり得る。本書では、それらは全て「回路」、「モジュール」又は「システム」と広く称され得る。

諸態様とは、システム、方法、及び／又はコンピュータプログラム製品であり得る。コンピュータプログラム製品は、本書に記載の諸態様をハードウェア及びソフトウェアを含むプロセッサに実行させるコンピュータ可読プログラム命令を内に有する、コンピュータ可読記憶媒体（単数又は複数）を含み得る。

コンピュータ可読記憶媒体は、指令実行デバイスが使用するための指令を保持し、記憶することが可能な、有形デバイスであり得る。コンピュータ可読記憶媒体は、限定するわけではないが例としては、電子記憶デバイス、磁気記憶デバイス、光記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、又はこれらの任意の好適な組み合わせであり得る。コンピュータ可読記憶媒体のより具体的な非網羅的リストは、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読出し専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、パンチカード又は指令が記録されている溝内の隆起構造などの機械的にエンコードされたデバイス、及び、これらの任意の好適な組み合わせを、含む。コンピュータ可読記憶媒体とは、本書においては、それ自体が、電波又はその他の自由に伝播する電磁波、導波管又はその他の伝送媒体を通って伝播する電磁波（光ファイバケーブルを通過する光パルスなど）、或いは、ワイヤを通って伝送される電気信号といった、一時的信号であると、解釈されるべきではない。

本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からハードウェア及びソフトウェアを含む各コンピュータデバイス／処理デバイスに対して、又は、例えばインターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／若しくはワイヤレスネットワークといったネットワークを経由して外部のコンピュータ若しくは外部記憶装置に対して、ダウンロード可能である。ネットワークは、銅の伝送ケーブル、光伝送ファイバー、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、及び／又はエッジサーバを含み得る。各コンピュータデバイス／処理デバイスのネットワークアダプタカード又はネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、各コンピュータデバイス／処理デバイス内のコンピュータ可読記憶媒体内に保存するために、該コンピュータ可読プログラム命令を転送する。

様々な態様の動作を実行するコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は、スモールトーク、Ｃ^＋＋などといったオブジェクト指向プログラミング言語、及び、プログラミング言語「Ｃ」又は同様のプログラミング言語といった従来型の手続き型プログラミング言語を含む、１以上のプログラミング言語の任意の組み合わせによって書かれたソースコード若しくはオブジェクトコードであり得る。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で、スタンドアロンのソフトウェアパッケージとして部分的にユーザのコンピュータ上で、部分的にユーザのコンピュータ上且つ部分的にリモートコンピュータ上で、又は完全にリモートのコンピュータ若しくはサーバ上で、実行され得る。後者の場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）若しくはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続され得るか、又は、（例えば、インターネットサービスプロバイダを利用してインターネットを介して）外部のコンピュータへの接続がなされてもよい。いくつかの態様では、例えば、プログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はプログラマブル論理アレイ（ＰＬＡ）を含む電子回路は、本開示の諸態様を実行する目的で該電子回路をカスタマイズするために、コンピュータ可読プログラム命令の状態情報を利用することによってコンピュータ可読プログラム命令を実行してよい。

方法、装置（システム）、及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照して、本明細書で諸態様が記載される。フローチャート及び／又はブロック図の各ブロック、並びにフローチャート及び／又はブロック図のブロックの組み合わせが、コンピュータ可読プログラム命令によって実行可能であることは、理解されよう。

上記のコンピュータ可読プログラム指令は、機械を生産するために、汎用コンピュータ、又は特殊用途コンピュータのプロセッサ、或いはその他のプログラマブルデータ処理装置に提供されてよく、それにより、コンピュータのプロセッサ又はその他のプログラマブルデータ処理装置を介して実行を行うこれらの指令が、フローチャート及び／又はブロック図のブロック（複数可）内に特定されている機能／作用を実装するための手段を作り出す。これらのコンピュータ可読プログラム命令は、コンピュータに命令可能なコンピュータ可読記憶媒体内、プログラム可能なデータ処理装置内、及び／又は特有の方法で機能する他の装置内にもまた、記憶され得る。それによって、命令が記憶されているコンピュータ可読記憶媒体には、該フローチャート及び／又はブロック図の単数若しくは複数のブロックで特定されている機能／動作の態様を実装する命令を含む製品が、含まれる。

コンピュータ可読プログラム命令はまた、一連の動作ステップをコンピュータ上、他のプログラム可能な装置上、又はコンピュータに実装されるプロセスを生み出す他の装置上で実行させるために、コンピュータ、他のプログラム可能なデータ処理装置、又は他の装置にもロードされ得る。これによって、コンピュータ上、他のプログラム可能な装置上、又は他の装置上で実行される命令は、該フローチャート及び／又はブロック図の単数若しくは複数のブロックで特定されている機能／動作を実装する。

図面のフローチャート及びブロック図は、本明細書に開示された様々な態様によるシステム、方法及びコンピュータプログラム製品の可能な実装態様のアーキテクチャ、機能性、及び操作を示すものである。その際、フローチャート及びブロック図の各ブロックは、特定の一又は複数の論理機能を実装する一又は複数の実行可能な命令を含む命令のモジュール、セグメント、又は部分を表し得る。いくつかの代替的な実施態様では、ブロックに記載された機能は図面に記載された順序を逸脱して現われてよい。例えば、場合によっては、連続して示されている２つのブロックはほぼ同時に実行されてもよく、又は、含まれる機能によってはブロックは逆順に実行されてもよい。ブロック図及び／又はフローチャートの各ブロック、並びにブロック図及び／又はフローチャートのブロックの組み合わせは、特定機能又は動作を行う特殊用途のハードウェアベースのシステムによって実装可能であるか、又は特殊用途のハードウェア及びコンピュータ命令の組み合わせによって実行可能であることもまた、留意されるであろう。

更に、本開示には下記の条項による実施形態が含まれる。
条項１
タッチスクリーンにグラフィカルユーザインターフェース（ＧＵＩ）を表示すること、
ユーザの身体部分と前記タッチスクリーンに表示されている前記ＧＵＩの少なくとも一部分との間の空間的な関係を特定すること、及び
前記タッチスクリーンと前記身体部分との間の相対的な動きに応じて、前記タッチスクリーン内で前記ＧＵＩの前記一部分の位置を移動させ、前記身体部分と前記ＧＵＩの前記一部分との間の前記空間的な関係を維持することを含む、方法。
条項２
前記空間的な関係を特定するときに、及び、前記ＧＵＩの前記位置を移動させるときに、前記ユーザの前記身体部分が、前記タッチスクリーンに接触していない、条項１に記載の方法。
条項３
前記空間的な関係を特定することが、
前記ユーザが前記タッチスクリーンに接触する前に、前記タッチスクリーンに対する前記身体部分の位置を特定するために、前記ユーザの前記身体部分を追跡することを含む、条項１又は２に記載の方法。
条項４
前記ユーザの前記身体部分を追跡することが、
前記ユーザの前記身体部分に装着可能な装置から、前記身体部分の前記位置を特定するために処理されるセンサデータを受信することを含む、条項３に記載の方法。
条項５
前記身体部分が前記タッチスクリーンから閾値距離内にあるか否かを判定することを更に含み、前記身体部分が前記閾値距離内にあるときにのみ、前記ＧＵＩの前記一部分の前記位置を移動させ、前記空間的な関係を維持する、条項１から４のいずれか一項に記載の方法。
条項６
前記タッチスクリーンに対する前記身体部分の位置における変化を特定すること、及び
前記身体部分の位置における前記変化が、前記タッチスクリーンを含む輸送体の乱れ運動によってもたらされたか否かを判定することを更に含み、前記身体部分の位置における前記変化が、前記乱れ運動によってもたらされたときにのみ、前記ＧＵＩの前記一部分の前記位置を移動させ、前記空間的な関係を維持する、条項１から５のいずれか一項に記載の方法。
条項７
前記タッチスクリーン内で前記ＧＵＩの前記一部分の前記位置を移動させ、前記空間的な関係を維持することが、
前記タッチスクリーンに対する前記ユーザの前記身体部分の動きを反映するように、前記タッチスクリーン内で表示される前記ＧＵＩの全体部分をシフトすることを含む、条項１から６のいずれか一項に記載の方法。
条項８
ＧＵＩを表示するように設定されたタッチスクリーン、及び
乱れ検出器を備え、前記乱れ検出器が、
ユーザの身体部分と前記タッチスクリーンに表示された前記ＧＵＩの少なくとも一部分との間の空間的な関係を特定し、且つ
前記タッチスクリーンと前記身体部分との間の相対的な動きに応じて、前記タッチスクリーン内の前記ＧＵＩの前記一部分の位置を移動させ、前記身体部分と前記ＧＵＩの前記一部分との間の前記空間的な関係を維持するように設定されている、ディスプレイシステム。
条項９
前記空間的な関係を特定するときに、及び、前記ＧＵＩの前記位置を移動させるときに、前記ユーザの前記身体部分が、前記タッチスクリーンに接触していない、条項８に記載のディスプレイシステム。
条項１０
前記乱れ検出器が、
前記ユーザの前記身体部分を追跡し、前記ユーザが前記タッチスクリーンに接触する前に、前記タッチスクリーンに対する前記身体部分の位置を特定するように設定されている、条項８又は９に記載のディスプレイシステム。
条項１１
前記乱れ検出器が、
前記ユーザの前記身体部分に装着可能な装置からセンサデータを受信し、前記身体部分の前記位置を特定するように設定されている、条項１０に記載のディスプレイシステム。
条項１２
前記乱れ検出器が、
前記身体部分が前記タッチスクリーンから閾値距離内にあるか否かを判定するように設定され、前記身体部分が前記閾値距離内にあるときにのみ、前記ＧＵＩの前記一部分の前記位置を移動させ、前記空間的な関係を維持する、条項８から１１のいずれか一項に記載のディスプレイシステム。
条項１３
前記乱れ検出器が、
前記タッチスクリーンに対する前記身体部分の位置における変化を特定し、且つ
前記身体部分の位置における前記変化が、前記タッチスクリーンを含む輸送体の乱れ運動によってもたらされたか否かを判定するように設定され、前記身体部分の位置における前記変化が、前記乱れ運動によってもたらされたときにのみ、前記ＧＵＩの前記一部分の前記位置を移動させ、前記空間的な関係を維持する、条項８から１２のいずれか一項に記載のディスプレイシステム。
条項１４
前記乱れ検出器が、
前記タッチスクリーンに対する前記ユーザの前記身体部分の動きを反映して、前記タッチスクリーン内で表示される前記ＧＵＩの全体部分をシフトするように設定されている、条項８から１３のいずれか一項に記載のディスプレイシステム。
条項１５
コンピュータ可読記憶媒体を用いて具現化されるコンピュータ可読プログラムコードを備えた、コンピュータ可読記憶媒体であって、前記コンピュータ可読プログラムコードが、１以上のコンピュータプロセッサによって、
タッチスクリーンにＧＵＩを表示し、
ユーザの身体部分と前記タッチスクリーンに表示されている前記ＧＵＩの少なくとも一部分との間の空間的な関係を特定し、且つ
前記タッチスクリーンと前記身体部分との間の相対的な動きに応じて、前記タッチスクリーン内で前記ＧＵＩの前記一部分の位置を移動させ、前記ユーザと前記ＧＵＩの前記一部分との間の前記空間的な関係を維持するように実行可能である、コンピュータ可読記憶媒体。
条項１６
前記空間的な関係を特定するときに、且つ、前記ＧＵＩの前記位置を移動させるときに、前記ユーザの前記身体部分が、前記タッチスクリーンに接触していない、条項１５に記載のコンピュータ可読記憶媒体。
条項１７
前記空間的な関係を特定することが、
前記ユーザの前記身体部分を追跡し、前記ユーザが前記タッチスクリーンに接触する前に、前記タッチスクリーンに対する前記身体部分の位置を特定するように実行可能なコンピュータ可読プログラムコードを含む、条項１６に記載のコンピュータ可読記憶媒体。
条項１８
前記ユーザの前記身体部分を追跡することが、
前記ユーザの前記身体部分に装着可能な装置から、センサデータであって、前記身体部分の前記位置を特定するために処理される、センサデータを受信するように実行可能なコンピュータ可読プログラムコードを含む、条項１７に記載のコンピュータ可読記憶媒体。
条項１９
前記コンピュータ可読プログラムコードが、
前記身体部分が前記タッチスクリーンから閾値距離内にあるか否かを判定し、前記身体部分が前記閾値距離内にあるときにのみ、前記ＧＵＩの前記一部分の前記位置を移動させ、前記空間的な関係を維持するように更に実行可能である、条項１６から１８のいずれか一項に記載のコンピュータ可読記憶媒体。
条項２０
前記コンピュータ可読プログラムコードが、
前記タッチスクリーンに対する前記身体部分の位置における変化を特定し、且つ
前記身体部分の位置における前記変化が、前記タッチスクリーンを含む輸送体の乱れ運動によってもたらされたか否かを判定し、前記身体部分の位置における前記変化が、前記乱れ運動によってもたらされたときにのみ、前記ＧＵＩの前記一部分の前記位置を移動させ、前記空間的な関係を維持するように更に実行可能である、条項１６から１９のいずれか一項に記載のコンピュータ可読記憶媒体。

前記は本発明の諸態様を対象としているが、本発明の他の、及びさらなる態様は、その基本的な範囲及び以下の特許請求の範囲によって決定されるその範囲を逸脱することなく、考案され得る。

Claims (9)

1. タッチスクリーン（１５０）にグラフィカルユーザインターフェース（ＧＵＩ）（１２５）を表示すること、
   ユーザの身体部分と前記タッチスクリーン（１５０）に表示された前記ＧＵＩ（１２５）の少なくとも一部分との間の空間的な関係を特定すること、
   前記タッチスクリーン（１５０）に対する前記身体部分の位置における変化を特定すること、
   前記身体部分の位置における前記変化が、前記タッチスクリーン（１５０）を含む輸送体の乱れ運動によってもたらされたか否かを判定すること、ここで、当該判定することは、前記身体部分が前記タッチスクリーン（１５０）に接近する速度が閾値速度を超えているか否かを判定すること、及び／又は前記身体部分と第２の身体部分の動きが異なるか否かを判定することを含み、及び
   前記身体部分の位置における前記変化が前記乱れ運動によってもたらされたときにのみ、前記タッチスクリーン（１５０）と前記身体部分との間の相対的な動きに応じて、前記タッチスクリーン（１５０）内で前記ＧＵＩ（１２５）の前記一部分の位置を移動させ、前記身体部分と前記ＧＵＩ（１２５）の前記一部分との間の前記空間的な関係を維持することを含む、方法。
2. 前記空間的な関係を特定するときに、及び、前記ＧＵＩ（１２５）の前記位置を移動させるときに、前記ユーザの前記身体部分が、前記タッチスクリーン（１５０）に接触していない、請求項１に記載の方法。
3. 前記空間的な関係を特定することが、
   前記ユーザが前記タッチスクリーン（１５０）に接触する前に、前記タッチスクリーン（１５０）に対する前記身体部分の位置を特定するために、前記ユーザの前記身体部分を追跡することを含む、請求項１又は２に記載の方法。
4. 前記ユーザの前記身体部分を追跡することが、
   前記ユーザの前記身体部分に装着可能な装置（３０５）から、前記身体部分の前記位置を特定するために処理されるセンサデータを受信することを含む、請求項３に記載の方法。
5. 前記身体部分が前記タッチスクリーン（１５０）から閾値距離内にあるか否かを判定することを更に含み、前記身体部分が前記閾値距離内にあるときにのみ、前記ＧＵＩ（１２５）の前記一部分の前記位置を移動させ、前記空間的な関係を維持する、請求項１から４のいずれか一項に記載の方法。
6. 前記タッチスクリーン（１５０）内で前記ＧＵＩ（１２５）の前記一部分の前記位置を移動させ、前記空間的な関係を維持することが、
   前記タッチスクリーン（１５０）に対する前記ユーザの前記身体部分の動きを反映するように、前記タッチスクリーン（１５０）内で表示される前記ＧＵＩ（１２５）の全体部分をシフトすることを含む、請求項１から５のいずれか一項に記載の方法。
7. ＧＵＩ（１２５）を表示するように設定されたタッチスクリーン（１５０）、及び
   乱れ検出器（１３０）を備え、前記乱れ検出器（１３０）が、
   ユーザの身体部分と前記タッチスクリーン（１５０）に表示された前記ＧＵＩ（１２５）の少なくとも一部分との間の空間的な関係を特定し、
   前記タッチスクリーン（１５０）に対する前記身体部分の位置における変化を特定し、
   前記身体部分の位置における前記変化が、前記タッチスクリーン（１５０）を含む輸送体の乱れ運動によってもたらされたか否かを判定し、ここで、当該判定することは、前記身体部分が前記タッチスクリーン（１５０）に接近する速度が閾値速度を超えているか否かを判定すること、及び／又は前記身体部分と第２の身体部分の動きが異なるか否かを判定することを含み、且つ
   前記身体部分の位置における前記変化が前記乱れ運動によってもたらされたときにのみ、前記タッチスクリーン（１５０）と前記身体部分との間の相対的な動きに応じて、前記タッチスクリーン（１５０）内の前記ＧＵＩ（１２５）の前記一部分の位置を移動させ、前記身体部分と前記ＧＵＩ（１２５）の前記一部分との間の前記空間的な関係を維持する
   ように設定されている、ディスプレイシステム。
8. 前記空間的な関係を特定するときに、及び、前記ＧＵＩ（１２５）の前記位置を移動させるときに、前記ユーザの前記身体部分が、前記タッチスクリーン（１５０）に接触していない、請求項７に記載のディスプレイシステム。
9. コンピュータ可読記憶媒体を用いて具現化されるコンピュータ可読プログラムコードを備えた、コンピュータ可読記憶媒体であって、前記コンピュータ可読プログラムコードが、１以上のコンピュータプロセッサによって、
   タッチスクリーン（１５０）にＧＵＩ（１２５）を表示し、
   ユーザの身体部分と前記タッチスクリーン（１５０）に表示された前記ＧＵＩ（１２５）の少なくとも一部分との間の空間的な関係を特定し、
   前記タッチスクリーン（１５０）に対する前記身体部分の位置における変化を特定し、
   前記身体部分の位置における前記変化が、前記タッチスクリーン（１５０）を含む輸送体の乱れ運動によってもたらされたか否かを判定し、ここで、当該判定することは、前記身体部分が前記タッチスクリーン（１５０）に接近する速度が閾値速度を超えているか否かを判定すること、及び／又は前記身体部分と第２の身体部分の動きが異なるか否かを判定することを含み、且つ
   前記身体部分の位置における前記変化が前記乱れ運動によってもたらされたときにのみ、前記タッチスクリーン（１５０）と前記身体部分との間の相対的な動きに応じて、前記タッチスクリーン（１５０）内で前記ＧＵＩ（１２５）の前記一部分の位置を移動させ、前記ユーザと前記ＧＵＩ（１２５）の前記一部分との間の前記空間的な関係を維持する
   ように実行可能である、コンピュータ可読記憶媒体。

Images