JP5090161B2 - グラフィカルユーザインタフェースの多階層表示 - Google Patents

Description

本発明は表示装置に関し、更に詳細には、表示装置用のグラフィカルユーザインタフェース（ＧＵＩ）に関する。

ＧＵＩは、表示装置の表示画面にアイコンを表示し、適切なアイコンを選択することによってユーザが種々の機能を実行することを可能とする。

ＧＵＩは、表示装置の利用可能な画面空間に適合される必要がある。斯かる表示装置が小型になるにつれて、一般に利用可能なものより多くの空間が必要とされるようになる。このことは、マルチメディア（オーディオ、ビデオ、写真）プレイヤのような小型装置に特に当てはまる。斯かる装置における典型的なアプリケーションについては、表示されるべき３つの要素がある。即ち、コンテンツ（の概観）、ステータス情報及び機能（コピー、移動、閲覧、回転等）である。

例えばメニューバーのような機能を表示するための画面上の空間を確保するために、該メニューバーはしばしば隠される。メニューバーを隠すことは、メニューを（再び）画面上に呼び出すためのメカニズムをユーザに提供するということを意味する。タッチスクリーンを考えると、基本的にユーザにとって利用可能な３つの選択肢がある。即ち、画面の特定の部分（通常左上の角）に触れること、メニューが現れるまで画面に触れユーザの指又はスタイラスを画面上に保持すること、又は（ラベルを伴う）ハードウェアのボタンを備えること（ソフトウェアのボタンは画面の空間を必要とするため）である。

これらの選択肢のそれぞれは欠点を持つ。画面の特定の部分に触れることは、少しのミスにより時々メニューが出現するため、画面上の当該部分にあるオブジェクトをアクセスしずらくする。画面に触れ指又はスタイラスを保持することは、ユーザが該ユーザの指又はスタイラスを十分に素早く引き戻さない場合にメニューが現れるのを防ぐためには、タイムアウトを要する。該タイムアウトは、画面の応答性を悪くする。ハードウェアのボタンは、既に小型である装置上に空間を必要とし、ユーザがメニューを呼び出すために画面から離れる必要があり、その後にユーザが画面に戻ってメニューの選択をする必要がある。換言すれば、ユーザがメニューを呼び出す場所と異なる場所にメニューが出現する。

本発明の目的は、表示装置の表示画面にメニューの選択肢を選択的に表示する方法であって、前記方法は、前記表示画面からのユーザの指の距離を検出する検出ステップと、前記距離が所定の閾値距離内であるときに検出信号を生成するステップと、前記表示画面に対する前記ユーザの指の位置を決定するステップと、前記検出信号に応じて、前記決定された位置において前記表示画面上に前記メニューを表示するステップと、前記表示画面に平行な平面における前記ユーザの指の更なる動きを検出するステップと、前記検出された更なる動きを利用して前記メニューの選択肢からの選択を実行するステップと、を有する方法において達成される。

本目的は更に、表示装置の表示画面にメニューの選択肢を選択的に表示するための表示装置用のグラフィカルユーザインタフェース（ＧＵＩ）であって、前記グラフィカルユーザインタフェースは、前記表示画面からのユーザの指の距離を検出し、前記距離が所定の閾値距離内であるときに検出信号を生成する検出手段と、前記表示画面に対する前記ユーザの指の位置を決定する手段と、前記検出信号に応じて、前記決定された位置において前記表示画面上に前記メニューを表示する手段と、前記表示画面に平行な平面における前記ユーザの指の更なる動きを検出する手段と、前記検出された更なる動きを利用して前記メニューの選択肢からの選択を実行する手段と、を有するグラフィカルユーザインタフェースにおいて達成される。

例えば静電容量検知を利用して、ユーザの指が画面に対してどこにあるかをＸ、Ｙ及びＺ座標で測定することが可能な３次元（３Ｄ）仮想タッチスクリーンについては、上述の方法及びＧＵＩは、ユーザがメニューを（再び）画面に呼び出すことを可能とする。ユーザの指が画面から特定の距離にある場合に、メニューが出現する。次いで該ユーザの指をＸ及び／又はＹ方向に動かすことにより、該ユーザは表示されるメニュー選択肢から選択を為すことができる。本方法及びＧＵＩは、画面の特定の部分のアクセス性を悪くしない。その代わりに、メニューはユーザの動作に応じて即座に出現し、メニューはユーザ入力の位置において出現する。

特定の実施例においては、本方法及びＧＵＩは、前記ユーザの指が最初に前記所定の閾値距離内に達したときにのみ前記検出信号を生成することと、前記ユーザの指が前記表示画面から後退し始めたときに前記検出信号を生成することとを有する。このようにして、メニューをいつ表示するかを決定する際に、本方法及びＧＵＩは、ユーザの指の画面からの距離（範囲）と方向とを考慮に入れる。該指が画面に向かって動いている場合は、メニューは出現しない。その代わりに、該指が範囲内で動くと、該指が該画面から離れる方向に動く場合にのみメニューが出現する。このことは、ユーザが装置を利用し始める度にメニューが出現することを防ぐ。

更なる特定の実施例においては、本方法及びＧＵＩは、前記生成するステップが、前記検出ステップが前記検出された距離が少なくとも１つの更なる所定の閾値距離内であることを検出した場合に、少なくとも１つの更なる検出信号を生成し、前記表示するステップは、前記検出信号に応じて前記決定された位置において第１のメニューを表示し、前記少なくとも１つの更なる検出信号に応じて前記決定された位置において少なくとも１つの更なるメニューを表示することを特徴とする。このようにして、前記指が画面から特定の距離に到達したときに、本方法及びＧＵＩは、画面からの種々の距離において（前記指が画面からの種々の距離に到着したときに）、機能の群を含む幾つかの平面を表示する。とりわけ、最も良く利用される選択肢は、画面自体に最も近い平面において表示される。

以下、意図される上述の及び更なる目的及び利点が示されつつ、本発明が添付図面を参照しながら説明されるであろう。

本発明は、３次元（３−Ｄ）ディスプレイ、即ち、ディスプレイの表面に対するポインタ、スタイラス又はユーザの指の水平及び垂直位置と共に、前記ディスプレイの表面からのポインタ、スタイラス又はユーザの指の距離を検出することが可能なディスプレイを利用する。例えば赤外線検知、静電容量検知等を利用する、種々の既知のタイプの３−Ｄディスプレイがある。３−Ｄディスプレイの１つのタイプは、米国特許出願公開ＵＳ２００２／００００９７７Ａ１に開示されており、参照によって本明細書に組み込まれたものとする。

図１Ａに示されるように、表示画面１０は、導電性の透明な導線のグリッドを重畳され、水平の導線１２は、垂直な導線１４と電気的に絶縁される。接続ブロック１８．１及び１８．２に接続された電圧源１６は、水平及び垂直の導線１２及び１４の両端に電位差を印加する。この構成は、図１Ｂに示されるような、ディスプレイ１０の表面から離れて延在する検出場２０を生じる。ここで、水平及び垂直の導線１２及び１４は、キャパシタのプレートとして働く。

例えば、ユーザの指が検出場２０に進入すると、キャパシタンスが影響を受け、垂直の導線１４に接続されたＸ軸検出器２２及び水平の導線１２に接続されたＹ軸検出器２４により検出される。センサコントローラ２６は、Ｘ及びＹ検出器２２及び２４からの出力信号を受信し、Ｘ及びＹ座標信号及びＺ距離信号を生成する。前記Ｘ及びＹ座標信号はカーソル及び表示コントローラ２８に供給され、次いでカーソル及び表示コントローラ２８は制御信号を画面上表示コントローラ３０に供給する。

図２に示されるように、カーソル及び表示コントローラ２８は、表示画面１０の表面からＺ方向（両方向矢印３２）に延在する領域Ａを確立する。領域Ａは、ユーザの指３４が閾値距離３６を通過したときに、ユーザの指３４が検出され、第１の実施例においては、カーソル及び表示コントローラ２８が図３Ａに示されるようにメニューアイコン４０（例えば「Ａ」、「Ｂ」、「Ｃ」、「Ｄ」及び「Ｅ」）を伴うメニュー３８を表示する領域を示す。ユーザの指３４をＸ及び／又はＹ方向に動かすことにより、該ユーザはメニュー３８からアイコン４０の１つを選択することができる。図３Ｂにおいては、アイコン「Ｂ」の上に重なるユーザの指３４及び「太字」にされ拡大されたアイコン「Ｂ」により、アイコン「Ｂ」の選択が示されている。

本発明の第２の実施例においては、ユーザの指３４が検出領域Ａに入るとすぐにカーソル及び表示コントローラ２８がメニュー３８を表示する代わりに、カーソル及び表示コントローラ２８はユーザの指３４の動きを追跡する。最初に検出領域Ａに進入した後、カーソル及び表示コントローラ２８は、ユーザの指が表示画面１０から後退し始めたことを検出する。この時点において、カーソル及び表示コントローラ２８はメニュー３８を表示する。代替として、カーソル及び表示コントローラ２８は、ユーザの指３４が所定量だけ後退するまでメニュー３８の表示を中断し、メニュー３８を出現させることなくユーザによって例えば「ドラッグアンドドロップ」のような他の機能が実行されることを可能とする。

本発明の第３の実施例においては、図４に示されるように、カーソル及び表示コントローラ２８は、閾値距離３６に加えて、第２の及び第３の閾値距離４２及び４４を確立する。このとき、第１の実施例におけるように、ユーザの指３４が閾値距離３６を通過すると、ユーザの指３４が検出され、ユーザにより可能な選択のために、カーソル及び表示コントローラ２８がメニューアイコン４０’を伴うメニュー３８’を表示する（図５Ａを参照）。ユーザが該ユーザの指３４を表示画面１０に向けて進め続け、閾値距離４２が通過されると、カーソル及び表示コントローラ２８は、図５Ｂに示されるように、ユーザにより可能な選択のために、メニューアイコン４８を伴う異なるメニュー４６を表示する。更に、ユーザが該ユーザの指３４を表示画面１０に向けて進め続け、閾値距離４４が通過されると、カーソル及び表示コントローラ２８は、図５Ｃに示されるように、ユーザにより可能な選択のために、メニューアイコン５２を伴う更なる異なるメニュー５０を表示する。図５Ａ乃至５Ｃにおいて、ユーザが画面１０に向けてユーザの指３４を進めることは、次第に大きいサイズとなる指３４によって示されていることに留意されたい。

一般に、ユーザの指の存在がメニューを表示させない、画面の近隣における小さな空間が必要とされる（ユーザの指が当該小さな空間に進入する前にメニューが表示されているとしても）。さもなければ、例えば画面をクリックするといった、特殊な更なるユーザによる行為がなければ、メニューが消えない。この小さな空間は閾値距離４５として図４に示される。

本発明は特定の実施例を参照しながら説明されたが、添付された請求項に記載された本発明の精神及び範囲から逸脱することなく、多くの変更が為され得ることは認識されるであろう。本明細書及び図面は従って例示的なものであり、添付される請求の範囲を制限することを意図したものではない。

添付される請求項の解釈において、以下のことが理解されるべきである。
ａ）「有する（comprising）」なる語は、請求項に列記されたもの以外の要素又は処理の存在を除外するものではない。
ｂ）要素に先行する「１つの（a又はan）」なる語は、複数の斯かる要素の存在を除外するものではない。
ｃ）請求項におけるいずれの参照記号も当該請求項の範囲を限定するものではない。
ｄ）幾つかの「手段（means）」は、同一のハードウェアのアイテム又はソフトウェアを実装された構造若しくは機能により表され得る。
ｅ）いずれの開示される要素も、ハードウェア部分（例えば別個の及び組み込まれた電子回路を含む）、ソフトウェア部分（例えばコンピュータプログラム）及びこれらのいずれかの組み合わせを有しても良い。
ｆ）ハードウェア部分は、アナログ部分及びディジタル部分の一方又は両方を有しても良い。
ｇ）いずれの開示される要素又はその部分も、明示的に記されていない限り、組み合わせられても良く又は更なる部分に分離されても良い。
ｈ）明示的に示されていない限り、特定の処理のシーケンスが必要とされることは意図されない。

静電容量センサが内蔵された表示装置のブロック図である。 図１（Ａ）のセンサアレイの検出線を示す図である。 表示画面の表面から延在する検出領域を示す図である。 図２の検出領域にユーザの指が進入したときにメニューが出現する表示画面を示す。 メニューにおけるアイコンの選択を示す。 表示画面の表面からの種々の閾値距離を示す図である。 ユーザの指が図４に示された各閾値距離を通過したときに出現する種々のメニューの１つを示す。 ユーザの指が図４に示された各閾値距離を通過したときに出現する種々のメニューの１つを示す。 ユーザの指が図４に示された各閾値距離を通過したときに出現する種々のメニューの１つを示す。

Claims (10)

1. 表示画面にメニューの選択肢を選択的に表示するための装置であって、前記装置は、
   前記表示画面からのユーザの指の距離を検出し、前記距離が所定の閾値距離内であるときに検出信号を生成する検出手段と、
   前記表示画面に対する前記ユーザの指の位置を決定する手段と、
   前記検出信号に応じて、前記決定された位置において前記表示画面上に前記メニューを表示する手段と、
   前記表示画面に平行な平面における前記ユーザの指の更なる動きを検出する手段と、
   前記検出された更なる動きを利用して前記メニューの選択肢からの選択を実行する手段と、
   を有し、前記検出手段は、前記ユーザの指が最初に前記所定の閾値距離内に達したとき、及び前記ユーザの指が前記表示画面から後退し始めたときに、前記検出信号を生成する装置。
2. 前記検出手段は、前記ユーザの指が所定の量よりも大きく後退したときに前記検出信号を生成する、請求項１に記載の装置。
3. 前記検出手段は、前記検出された距離が少なくとも１つの更なる所定の閾値距離内である場合に、少なくとも１つの更なる検出信号を生成し、前記表示する手段は、前記検出信号に応じて前記決定された位置において前記メニューを表示し、前記少なくとも１つの更なる検出信号に応じて前記決定された位置において少なくとも１つの更なるメニューを表示する、請求項１に記載の装置。
4. 前記メニューは基本的な選択肢を含み、前記少なくとも１つの更なるメニューは、ユーザによって最も頻繁に利用されるメニュー選択肢を含む、請求項３に記載の装置。
5. 前記検出手段は、前記ユーザの指が、前記表示画面から更なる所定の閾値距離内にある場合に更なる検出信号を生成し、前記更なる所定の閾値距離は、前記所定の閾値距離よりも小さく、前記表示する手段は、前記更なる検出信号に応じて前記メニューの表示を停止する、請求項１に記載の装置。
6. 表示装置の表示画面にメニューの選択肢を選択的に表示する方法であって、前記方法は、
   前記表示画面からのユーザの指の距離を距離検出手段により検出する検出ステップと、
   前記距離が所定の閾値距離内であるときに検出信号を信号生成手段により生成するステップと、
   前記表示画面に対する前記ユーザの指の位置を位置決定手段により決定するステップと、
   前記検出信号に応じて、前記決定された位置において前記表示画面上に前記メニューを表示手段により表示するステップと、
   前記表示画面に平行な平面における前記ユーザの指の更なる動きを動き検出手段により検出するステップと、
   前記検出された更なる動きを利用して前記メニューの選択肢からの選択を選択実行手段により実行するステップと、
   を有し、前記生成するステップは、前記ユーザの指が最初に前記所定の閾値距離内に達したとき、及び前記ユーザの指が前記表示画面から後退し始めたときに、前記検出信号を生成する方法。
7. 前記生成するステップは、前記ユーザの指が所定の量よりも大きく後退したときに前記検出信号を生成する、請求項６に記載の方法。
8. 前記生成するステップは、前記検出ステップが前記検出された距離が少なくとも１つの更なる所定の閾値距離内であることを検出した場合に、少なくとも１つの更なる検出信号を生成し、前記表示するステップは、前記検出信号に応じて前記決定された位置において前記メニューを表示し、前記少なくとも１つの更なる検出信号に応じて前記決定された位置において少なくとも１つの更なるメニューを表示する、請求項６に記載の方法。
9. 前記メニューは基本的な選択肢を含み、前記少なくとも１つの更なるメニューは、ユーザによって最も頻繁に利用されるメニュー選択肢を含む、請求項８に記載の方法。
10. 前記検出ステップは、前記ユーザの指が、前記表示画面から更なる所定の閾値距離内にある場合に更なる検出信号を生成し、前記更なる所定の閾値距離は、前記所定の閾値距離よりも小さく、前記表示するステップは、前記更なる検出信号に応じて前記メニューの表示を停止する、請求項６に記載の方法。

Images