JP4721071B2 - 情報処理装置、情報処理方法 - Google Patents

Description

本発明は、情報処理装置、情報処理方法に関する。更に具体的には、本発明は、モバイル装置すなわちキーボードもマウスも備えていない装置に適したデータ入力手法およびインタフェース手法に関する。

新しい移動用および手持ち式のデバイスに伴う大きな問題は、そのデバイスとの効率的な相互作用が難しいことである。モバイル・デバイスの入力機能は、通常、ペン入力およびタッチ・スクリーン、ボタンおよびジョグダイアル式のコントローラに限定されている。

これらの入力手法に伴う問題は、画面を遮るタッチ・スクリーンは多くの場合ペンの使用を必要とするが、タッチ・センサの分解能が限られているためにペンの使用が困難なことが多いということである。また、タッチ・スクリーンとの相互作用では、ＧＵＩインタフェース・オブジェクトを直接に順次操作することに基づいた相互作用形式が促進される。例えば、地図を拡大するため、ユーザは順次、スクロール、位置付け、および拡大の動作を次々と繰り返さなければならない。

小型であるが使用の簡単なモバイル装置を生成するのに役立つ代替的なデバイスが提案されている。例えば、日本国特許出願ＪＰ１１−１４３６０６号およびＪＰ０７−６４７５４号に、デバイスの筐体に対するユーザの物理的な相互作用を受け入れるデバイスが開示されている。物理的な相互作用には、変形可能な部分の形状を変化させたり、デバイスを傾けたりすることが含まれる。

かかるデバイスが提案されているが、これらのデバイスを利用するグラフィカル・ユーザ・インタフェースを開発しようという試みはあまり成されていない。データのスクロール、ナビゲーション、ブラウジング等の基本的なインタフェースのタスクにおいて、かかるインタフェースがどのように有用であるかに関する研究は、ほとんど行われていない。

携帯デバイスのほとんどが現在用いている従来のデータ入力およびユーザ・インタフェース手法は、デスクトップのグラフィカル・ユーザ・インタフェースから複製されたか、またはそれらを拡張する試みから生まれたものである。従来のデータ入力およびインタフェース手法の一例が、日本国特許出願ＪＰ２０００−２０７０８８号に開示されている。これらの手法は、通常、ペンおよびマウスの使用に基づいており、一般に、移動または携帯装置等の小型の手持ち式デバイスには適さない。

例えば、デスクトップ・コンピュータおよびＰＤＡにおいて用いるもののようなＧＵＩインタフェースとの従来の相互作用は、カーソルまたはポインタの概念に基づいている。カーソルおよびポインタは、ディスプレイ画面上での現在の位置を図形で表すものである。例えば、異なる作用可能アイコンを選択するために、現在の位置を変化させるには、図１（Ａ）に示すように、ユーザは、マウスまたはキーボード等の入力デバイスを用いて、画面上のＧＵＩ要素の１つを直接指定しなければならない。本明細書では、かかるタスクをポインティングまたは選択と呼ぶ。

場合によっては、所望の要素が画面上に見えていないことがあり、ユーザがコンテンツをスクロールしてそれを見つける必要がある。かかるコンテンツのスクロールは、上述のポインティング（選択）とは別個のタスクである。スクロールは、通常、次のいずれかを必要とする。

ａ）スクロール・バー等の特別なユーザ・インタフェース要素、または ｂ）インタフェース・モードの切り替え。例えば、現在のＧＵＩでは、カーソルがコンテンツの可視領域の限界に達すると、コンテンツは下へスクロールを開始する。通例、従来のインタフェース方法では、図１（Ｂ）の番号１および２に示したように、ポインタの移動およびマウス・ボタンの押圧によって、これらの動作をトリガする。

これらのポインティング（選択）およびスクロール方法は、小型のディスプレイ画面を有するデバイスにおいては特に非効率的であり、使用が難しい。

モバイル装置に適した新しいタイプのインタフェースおよびデータ入力手法を研究する試みはいくつかある。しかしながら、これらの研究のほとんどは、３Ｄデータ制御（Balakrishnan,R.、Fitzmaurice,G.、Kurtenbach,G.、Sing,K.、「Exploring interactive curve and surface manipulation using a bend and twist sensitive input strip（曲げおよびねじり感応性入力ストリップを用いたインタラクティブな曲線および表面の操作の調査）」、Proceedings of Symposium on Interactive 3D graphics、１９９９年、ＡＣＭ．１１１〜１１８ページ）、またはデータ・スクロール（Rekimoto, J.、「Tilting operations for small screen interfaces（小型画面インタフェースの傾斜動作）」、Proceedings of UIST'96.１９９６年、ＡＣＭ．１６７〜１６８ページ）、またはその他（Fishkin, K.等、「Embodied user interfaces for really direct manipulation（真の直接操作のためのユーザ・インタフェースの具体化）」、Communications of the ACM、２０００年、４３（９）、７４〜８０ページ）等、単一のタスクに焦点を当てている。

更に、従来の移動デバイスまたは手持ち式デバイスを用いたテキスト入力は、以下の点でかなり問題がある。すなわち、移動デバイスの入力機能は、通常、ペン入力およびタッチ・スクリーン、ボタンおよびジョグダイアル式のコントローラに限定されている。テキスト入力のためには、現在、広く用いられている３つの手法がある。すなわち、キーボード（画面上、またはボタンの物理的な配列として）、移動電話の数値パッド入力、および、Palm ComputingのGraffiti（商品名）等のジェスチャーに基づくシステムである。これらの中で、数値パッドによるテキスト入力手法が、最も広く用いられているものであろう。しかしながら、かかる手法にはいくつかの欠点がある。なぜなら、これは、各文字の入力のため多数回ボタンを押さなければならないからである。

デバイスのサイズが小さくなるにつれて、上述の従来の手法は全て、使用が更に難しくなる。物理的なボタンが必要なので、携帯コンピューティング・デバイスの小型化は制限される。タッチ・スクリーンは、検知分解能が限られており、ユーザが入力動作中に画面を遮ってしまう恐れがあるので、小型デバイスでは問題が多い。

更に、マウスおよびペンのインタフェース等の既存のコンピュータ入力デバイスでは、例えばマウス上のボタン押圧やタブレット上のペン押圧等、様々な入力動作が可能である。しかしながら、外部の入力デバイスが必要であり、これは極めて小型のデバイスでは問題となる恐れがある。

本発明は、上述の従来のユーザ・インタフェースおよびデータ入力手法に鑑みて成されている。ユーザが装置の筐体を物理的に操作することによって装置と相互作用する装置のためのデータ入力およびインタフェース手段、および／または、視覚ディスプレイならびにかかるデータ入力およびインタフェース手段を含む装置を提供することが望ましい。

更に、ユーザが、ボタン、ペン、または他の任意の機械的コントローラを用いることなく幅広いタスクを実行することを可能とするグラフィック・ユーザ・インタフェース手段、および／または、視覚ディスプレイおよびかかるグラフィック・ユーザ・インタフェース手段を含む装置を提供することが望ましい。

更に、二次元位置センサおよび一次元アナログ・センサを含み、タスクの実行を装置に命令するユーザの動作を検出する装置のためのデータ入力および相互作用手段を提供することが望ましい。本明細書において、タスクとは、画面上に表示される画像のスクロール、表示された画像の一部の選択等、特定の動作モードを指す。

更に、二次元位置センサおよび一次元アナログ・センサを含み、テキストの入力またはメニュー／リストからの選択を行う装置のためのグラフィカル・ユーザ・インタフェース手段を提供することが望ましい。

本発明の情報処理装置は、画像を含む情報を表示するディスプレイと、筐体に加えられた複数の方向からの圧力を測定し、当該圧力に基づいて、前記筐体に加えられた前記ディスプレイの表面の法線方向における加圧の量を検出するアナログセンサと、前記ディスプレイに第１のビューを表示させている状態において筐体に圧力が加えられたことが前記アナログセンサにより検出されたとき、前記第１のビューの上に所定の透明度を有する第２のビューを表示させ、前記アナログセンサにより検出された加圧の量が増大することに応じて前記第２のビューの透明度を低くするとともに前記第２のビューを大きく表示させ、前記アナログセンサにより検出された加圧の量が所定の閾値以上になることに応じて前記第２のビューのみを表示させると同時に、前記アナログセンサにより検出された加圧の量が０になるまでの間、前記アナログセンサにより検出された加圧の量に対応させた変化を行わないように、前記ディスプレイに表示される画像の表示を制御する制御部とを有する。

本発明の情報処理方法は、画像を含む情報を表示するディスプレイと、筐体に加えられた複数の方向からの圧力を測定し、当該圧力に基づいて、前記筐体に加えられた前記ディスプレイの表面の法線方向における加圧の量を検出するアナログセンサとを備える情報処理装置の情報処理方法において、前記ディスプレイに第１のビューを表示させている状態において筐体に圧力が加えられたことが前記アナログセンサにより検出されたとき、前記第１のビューの上に所定の透明度を有する第２のビューを表示させ、前記アナログセンサにより検出された加圧の量が増大することに応じて前記第２のビューの透明度を低くするとともに前記第２のビューを大きく表示させ、前記アナログセンサにより検出された加圧の量が所定の閾値以上になることに応じて前記第２のビューのみを表示させと同時に、前記アナログセンサにより検出された加圧の量が０になるまでの間、前記アナログセンサにより検出された加圧の量に対応させた変化を行わないように、前記ディスプレイに表示される画像の表示を制御するステップを含む。

本発明においては、アナログセンサにより検出された加圧の量に応じて、ディスプレイに表示される画面上の画像の表示を変化させることが行われる。

本発明の一実施形態によれば、可撓性部分を有するユーザ・インタフェース装置が提供される。本ユーザ・インタフェース装置は、前記可撓性部分の変形を検知するためのアナログ・センサと、該アナログ・センサが検知した該変形の値に基づき、複数の第１のタイプの入力状態のうちの１つを検知して、タスクを実行させる手段とを備えるもので、該タスクは選択された第１のタイプの入力状態に関連している。本実施形態では、前記複数の第１のタイプの入力状態のうち少なくとも１つは、前記可撓性部分の動的および静的な正の変形のうち１つに関連しており、前記複数の第１のタイプの入力状態のうち少なくとも１つは、前記可撓性部分の動的および静的な負の変形のうち１つに関連しており、前記複数の第１のタイプの入力状態はそれぞれ、前記可撓性部分の異なる変形状態に関連している。

本実施形態では、前記複数の第１のタイプの入力状態のうち１つは、変形が検出されない前記可撓性部分のニュートラルな状態に関連付けることができる。前記タスクのうち少なくとも１つは、グラフィカル・ユーザ・インタフェース・オブジェクトを制御するためのものであることが好ましい。

本実施形態のユーザ・インタフェース装置は、更に、二次元平面内のユーザが触れた位置およびこのユーザが触れた位置の動きの方向のうち少なくとも１つを検知するための二次元位置センサと、二次元位置センサが検知したユーザが触れた位置に関連する第２のタイプの入力状態を検出して、タスクを実行する手段とを備え、該タスクは選択された第２のタイプの入力状態に関連している。更に、前記第１のタイプの入力状態のうち少なくとも１つは、グラフィカル・ユーザ・インタフェース・オブジェクトのアナログ制御を実行するタスクに対応する遷移状態であることが好ましい。

前記ユーザ・インタフェース装置は、前記可撓性部分としての可撓性ディスプレイ・パネルを含む単一筐体の電子デバイスとして構成され、前記二次元位置センサは、前記可撓性ディスプレイ・パネルの裏側に配置されていることが好ましい。また、前記第２のタイプの入力状態に関連したタスクのうち少なくとも１つは、グラフィカル・ユーザ・インタフェース・オブジェクトの動き方向および位置のうち少なくとも１つを制御するためのものであることが好ましい。あるいは、前記第２のタイプの入力状態に関連した前述のタスクが、拡大・縮小、回転、投影等、グラフィカル・ユーザ・インタフェース・オブジェクトまたはそれに関連した他の任意のグラフィカル・オブジェクトの形状の任意の幾何学的変換を制御するためのものとしても良い。

本発明の他の実施形態によれば、処理ユニットおよびディスプレイ・ユニットを含んで単一筐体を有するように構成された装置が提供される。本装置は、当該装置の筐体に与えられたユーザのアナログ入力を検出するための、該筐体上に配置されたアナログ・センサを備える。前記処理ユニットは、前記アナログ・センサの出力値に基づいて前記ディスプレイ・ユニット上に表示される画面ビューを変化させる。

本実施形態において、前記変化させるべき画面ビューは、すでに存在しているビュー上に重ねられた画像を含み、前記処理ユニットは、前記アナログ・センサの出力値に応じて重ねる画像の視覚特性のうち１つを変化させても良い。あるいは、前記変化させるべき画面ビューは、選択可能アイテムおよび選択されたアイテムが示されているという視覚的な印象をユーザに与えることができる画像を含み、前記処理ユニットは、前記アナログ・センサの出力値に応じて前記画像に含まれている選択可能アイテムおよび選択されたアイテムを変化させても良い。

さらに本実施形態において、本装置は、ユーザの入力に応じて画面ビューのスクロールを制御するためのスクロール手段を備えても良い。前記処理ユニットは、現在の画面ビューに表示された選択可能グラフィック・ユーザ・インタフェース要素のうち少なくとも１つの位置が、前記ディスプレイ・ユニットの画面中の所定の位置に達したか否かを検出することで、該グラフィック・ユーザ・インタフェース要素を選択し、該検出した要素の選択を確認するため、ユーザ入力を受け入れるように動作モードを切り替えても良い。

本発明の更に他の実施形態によれば、グラフィカル・ユーザ・インタフェースおよびデータ入力手法が提供される。本実施形態のインタフェースおよびデータ入力手法は、一次元アナログ入力と共に二次元位置入力を用いることに基づいた、移動用または手持ち式コンピューティング装置、ＰＤＡ、移動電話等の、ディスプレイを有する装置に適している。

これらのデータ入力は、２種類のセンサ、すなわち二次元（２Ｄ）位置センサおよび一次元（１Ｄ）アナログ・センサを用いることによって得られる。本インタフェース手法により、ユーザは、データ・ナビゲーション、メニュー選択等の一般的な共通タスクを命令することができる。二次元位置センサは、ディスプレイ画面の裏側またはディスプレイ画面を遮らない他の任意の位置に配置しても良い。二次元位置センサは、タッチ・パネル、または、ユーザが与えた二次元入力動作を検出することができる他の任意のデバイスを含んでも良い。

前記１Ｄアナログ・センサおよび前記２Ｄ位置センサは、装置自体に統合しても良い。本実施形態においてユーザは、別個の入力デバイスおよび制御を用いるのではなく、むしろ装置自体を操作することで本装置との相互作用を図り、さらにユーザは、ディスプレイの画面上で視覚出力を観察する。本実施形態による装置の典型的な例として、以下のようなものがある。
ａ）当該装置内に埋め込まれ、１つまたは多数の点で曲げを測定する単一または多数の曲げセンサを用いて、ユーザに情報を提示する可撓性視覚ディスプレイを含む装置。
ｂ）当該装置自体に取り付けられ、装置に加えられた複数の方向からのユーザの力を測定する圧力センサまたは力センサを用いて、ユーザに情報を提示するための非可撓性視覚ディスプレイを含む装置。
ｃ）装置ａ）またはｂ）において、当該装置に取り付けられた追加の可撓性（または非可撓性）の単一または多数点接感応型二次元位置センサを用いた装置。

本実施形態の重要な特徴の１つは、マウスおよびボタンに基づかず、曲げ、接触、摺動、位置決め等の装置本体への物理的な操作に基づいたインタフェースである。本実施形態は、簡単な相互作用手法を提供し、これによって、かかる相互作用パラダイムのための簡単であるが安定したインタフェースの設計が可能となる。

本発明の他の実施形態によれば、先の実施形態のインタフェースのためのデータ選択手法が提供される。本実施形態のデータ選択手法は、データ選択およびデータ・スクロール／ナビゲーションの機能を統合する。この手法によって、ユーザは、視覚ディスプレイ上のコンテンツ全体、すなわち画像および／またはテキストを、当該装置に取り付けられた２Ｄ位置センサを用いて一または二次元でスクロールすることによって、画面上に表示されたインタフェース要素を選択することができる。作用可能インタフェース要素は、特定のアルゴリズム（マッチングアルゴリズム）によって選択する。また、選択を実行した場合、適切な視覚、聴覚、および力覚的フィードバックを与えることができる。

本発明の更に他の実施形態によれば、上述の実施形態によるインタフェースのための選択確認手法が提供される。本実施形態では、以下の方法のうち１つを用いて選択および相互作用が実行された場合に、１Ｄアナログ・センサを用いて選択の確認を行うようにしても良い。

ａ）１Ｄアナログ・センサの出力値が閾値に達したか否かを検出することにより、この手法は、例えばグラフィックのボタンの押圧、またはリストからのコマンドの選択、またはウエブ・ブラウザ内のリンクの選択のような、任意のインタフェース・データ・アイテムの選択を、ユーザに行わせることができる。

ｂ）１Ｄアナログ・センサの２つの方向を別個に用いることで、１Ｄアナログ・センサからの出力値が正または負の閾値に達したか否かを検出する。例えば、これを用いて、例えばファイル構造、メニュー構造、またはハイパーリンク・コンテンツのような階層構造内を前後にナビゲートすることができる。これは、１Ｄアナログ・センサ上の負および正の入力方向を規定することによって実行することができる。例えば、ある方向での曲げを用いて階層内を下に移動し、逆方向での曲げを用いて階層内を上に移動することができる。

ｃ）方法ａ）および／またはｂ）による手法を用いるが、選択を確認する前にインタフェースのビュー間の円滑なアナログ遷移を生成する（例えば、次ページを示す、またはダイアログ・ウインドウを示す）。遷移は、１Ｄアナログ・センサからの出力値によって制御可能である。視覚遷移の間、現在および次のインタフェース・ビューの双方を同時に視認できることが好ましい。

あるいは、上述の実施形態のインタフェースおよびデータ入力手法を用いて、上述の実施形態の選択確認手法と共に１Ｄアナログ・センサを用いることで、ユーザ・インタフェース要素に添付された追加の情報をプレビューするようにしても良い。添付されたインタフェース要素は、例えばヘルプ・データとしても良い。上述の透過性および／またはズーム手法を１Ｄ入力センサと共に用いて、追加の情報を表示することができる。

更に、上述の実施形態によるユーザ・インタフェースおよびデータ入力手法を、視覚データに対する同時ズームおよび視点制御、または三次元ユーザ・インタフェースにおける三次元ナビゲーションのために用いることも可能である。上述の実施形態による装置には、力覚的フィードバックのための力覚的ディスプレイを備えていても良い。

上述の実施形態では、２Ｄ位置センサを用いて、２Ｄ位置入力を供給している。この代わりに、２Ｄ位置入力を画面ビューのスクロールのために用いる場合、２Ｄ位置センサを、スクロール制御が可能な他の任意のタイプのセンサで置換しても良い。例えば、加速度計を含む傾斜センサを用いて、当該装置の傾斜を検出し、ユーザが装置をある方向および量に傾斜させることによってスクロールの速度および方向を制御するようにしても良い。

本発明の更に他の実施形態によれば、グラフィカル・ユーザ・インタフェース制御手法が提供される。本実施形態のグラフィカル・ユーザ・インタフェース制御手法は、二次元位置入力およびアナログ入力を組み合わせて、視覚ディスプレイ上に表示された三次元アレイからの選択を可能とする。本グラフィカル・ユーザ・インタフェース制御手法は、テキスト入力およびメニュー／リスト方式に用いても良い。

本実施形態のグラフィカル・ユーザ・インタフェース制御手法は、移動用コンピューティング装置（例えばＰＤＡ、移動電話等）に適している。グラフィカル・ユーザ・インタフェースによって、アイテム群を選択し、その後、現在の選択された群から単一のアイテムを選択し、その後、現在の選択を確認または取り消すことができる。本選択は、同時またはディスクリートなアナログ入力および２Ｄ位置入力のいくつかの可能な組み合わせのうち１つを用いて行われる。

本発明の他の実施形態によれば、処理ユニットおよび表示ユニットを含む単一の筐体を有するように構成された装置が提供される。本装置は、当該装置の筐体に与えられたユーザのアナログ入力を検出するための、該筐体上に配置されたアナログ・センサを含む。前記処理ユニットは、前記ディスプレイ・ユニット上に表示される画面ビューを生成するための複数の動作モードを有する画像処理ユニットを含む。前記処理ユニットは、前記アナログ・センサの出力値に基づいて動作モードのうち少なくとも１つの機能性を制御する。例えば、前記画像処理ユニットは、動画の再生動作モードを含んでも良く、アナログ出力を用いて再生動作の速度を制御しても良い。

本発明の更に他の実施形態によれば、ユーザ・インタフェース・ユニットを含む装置が提供される。前記ユーザ・インタフェース・ユニットは、上述の実施形態のいずれか１つまたは組み合わせに応じたユーザ・インタフェース装置を含むか、または前記ユーザ・インタフェース手法を利用する。前記ユーザ・インタフェース・ユニットは、更に、１つ以上の追加の入力デバイスを含む。前記追加の入力デバイスは、キーボード／ボタン／スイッチ、ポインティング・デバイス、マウス、タッチ・スクリーン、音声コントローラ、リモート・コントローラ、ジョイスティック等を用いた入力デバイスとしても良い。

本発明によれば、ユーザが、装置の筐体を物理的に操作することによって装置と相互作用し、ボタン、ペン、または他の任意の機械的コントローラを用いることなく、広範囲のタスクを実行することができるようにするための装置へのデータ入力およびインタフェース手段が提供される。

［第１の実施形態］
（１）システム構成および構成要素
図２は、本実施形態のモバイル装置のブロック図である。本実施形態のモバイル装置は、一次元（１Ｄ）アナログ・センサ１０２、二次元（２Ｄ）位置センサ１０５、ディスプレイ１０６、アナログ信号取得ユニット１０７ａ、位置信号取得ユニット１０７ｂ、プロセッサ・ユニット１０８ａ、データ記憶装置１０８ｂ、および画像処理ユニット１０８ｃを含む。

本実施形態において、プロセッサ・ユニット１０８ａは、プロセッサ（ＣＰＵ）、メモリ、ならびに、情報処理、ディスプレイ１０６、およびセンサ１０２、１０５を制御するための必要なユニット全てを含んでいても良い。本モバイル装置は、更に、他の装置および／またはネットワーク接続と通信を行うための任意の有線または無線の通信ユニットを含んでいても良い。

ユーザは、１Ｄアナログ・センサおよび２Ｄ位置センサを用いてモバイル装置を制御しデータを入力する。これらのセンサは、ディスプレイ１０６の画面を遮ったり干渉したりしない限り、いかなる位置に配置しても良い。

また、複数の１Ｄアナログ・センサを設けて、異なる方向で本モバイル装置の物理的な操作を検出しても良い。例えば、1セットの１Ｄアナログ・センサを設けて、ｘ軸およびｙ軸の周りのユーザの曲げ入力をそれぞれ検出するようにしても良い。装置のディスプレイが縦長モードおよび横長モードの両方において使用可能な場合、かかる１Ｄアナログ・センサ・セットを有することが有利である。ユーザが双方のモードについて同一の曲げジェスチャーを行ったとしても、本装置は、どちらのモードで現在の曲げ入力が行われているかを検出することができる。

１Ｄアナログ・センサは、電圧または抵抗等、測定可能な出力信号の制御パラメータにおけるアナログ的な変化を生成する。すなわち、これらのパラメータ変化は、１Ｄアナログ・センサに加えられる力の変化に直接対応する。１Ｄアナログ・センサは、本装置に取り付けられた１つまたはそれ以上の検知デバイスを含む場合がある。検知デバイスは、加えられた力を検出する力検知デバイス、形状変化を検出する曲げ検知デバイス、加えられた圧力を検知する圧力検知デバイス、回転運動を検知する回転検知デバイス、および、１Ｄアナログ・センサに対して行われた物理的な操作に関連して発生した変化を検出する他の任意の検知デバイスを含んでいても良い。

本発明では、検知デバイスは、いずれかの特定の種類に限定されるわけではなく、適切なパラメータを検知可能であれば、静電型、電気機械型、磁気型、光学型、およびこれらの物理特性の組み合わせを利用した様々な種類の検知デバイスを用いることができる。

２Ｄ位置センサは、ディスプレイ１０６上に表示されたＧＵＩ要素の位置を特定するためのユーザの操作を受けて、位置または位置の変化を示す信号を出力する。２Ｄ位置センサ１０５は、２Ｄトラッキング・センサ、２Ｄタッチ・センサ、または２次元の変化を検出可能な他の任意のセンサもしくはセンサ群であっても良い。２Ｄ位置センサは、可撓性メッシュ・センサまたは静電容量型を含んでいても良い。

センサ１０２、１０５によって検出されたユーザの入力は、アナログ信号取得ユニット１０７ａおよび位置信号取得ユニット１０７ｂによってそれぞれ取得される。取得ユニット１０７ａおよび１０７ｂによって取得されたデータは、処理ユニット１０８ａ、データ記憶装置１０８ｂに格納された情報、および画像処理ユニット１０８ｃを用いて処理され、グラフィカル・ユーザ・インタフェース要素を更新するための画像データ等の対応するグラフィック画像データを生成する。本実施形態のユーザ入力は、従来のオブジェクト指向、イベント駆動プログラミング言語におけるイベントとして解釈することができる。すなわち、あるイベントが検出されると、検出されたイベントに応答してイベント・ハンドラ（プログラム）が起動して、所望のＧＵＩ動作を実行する。

データ記憶装置に格納された情報は、ディスプレイ１０６上に表示される画像に対応した様々な画像またはマップ・データ要素を含んでいても良い。以下に、様々なタスクにおいて実行される処理ステップの詳細を述べる。最後に、ディスプレイ１０６を用いて、更新されたグラフィカル・ユーザ・インタフェース要素の画像がユーザに提示される。

あるいは、視覚ディスプレイに加えて、力覚的ディスプレイおよび／または聴覚的ディスプレイ（オーディオ出力）をユーザに提示しても良い。ユーザ入力の力覚的および聴覚的のフィードバックのために力覚的ディスプレイおよび聴覚的ディスプレイを設けても良い。

図３（Ａ）〜（Ｄ）に、本実施形態のモバイル装置の例を示す。図３（Ａ）および３（Ｂ）は、埋め込まれた曲げセンサ１０２および裏側の可撓性２Ｄ位置検知パネル１０５を有する可撓性ディスプレイ１０６を含むモバイル装置の構成を表す。図３（Ａ）および３（Ｂ）は、それぞれ逆方向に力を加えた場合の本例におけるモバイル装置の２つの形状を示す。

本例では、可撓性ディスプレイ１０６、曲げセンサ１０２、および可撓性２Ｄ位置検知パネル１０５は、それぞれ、ディスプレイ１０６、１Ｄアナログ・センサ１０２、および２Ｄ位置センサ１０５として機能する。可撓性ディスプレイは、可撓性有機エレクトロルミネッセンスまたは任意の可撓性部材で構成されたディスプレイであっても良い。

本モバイル装置とのユーザの相互作用は、以下を含んでいてもよい。
ａ）装置全体を上下に曲げ、可撓性ディスプレイ１０６の画面上で、曲げセンサ１０２が検出した入力の結果を見る。
ｂ）装置全体を上下に曲げる一方で、裏側の２Ｄ位置検知パネル１０５を用いてインタフェース要素の位置を制御する。
ｃ）装置によって認識され、コマンドを発行するために使用することが可能なパターンで装置全体を上下に曲げる。
ｄ）装置をある程度曲げ、その量で装置を曲げ続けるもので、その曲げ量があるパラメータについて変化の速度を特定する。

図３（Ｃ）および３（Ｄ）は、前記構成の１つの代替的な実施を示すもので、この場合、装置自体を曲げることは不可能であるが、ユーザは、装置の一方側または両側に配置された圧力パッド１０３に力を加える。ユーザの相互作用は、図３（Ａ）および３（Ｂ）に示した例のものと同様であり、いずれの場合でも、ユーザは、データの入力および装置の制御をするために、同様の方法で装置に力を加える。

（２）定義と使用する用語
（２．１）１Ｄアナログ・センサからのデータの解釈
本明細書では、１Ｄアナログ・センサから受け取ったデータを参照するための総称的な方法を用いる。上述のように、１Ｄアナログ・センサは、センサに与えられたユーザ入力に比例した数値を戻す様々なセンサとすることができる。様々なセンサまたはセンサの組み合わせを使用可能であるが、以下の説明では、１Ｄアナログ・センサとして、多くの場合、力センサを用いる。

更に、本明細書では、１Ｄアナログ・センサを、アナログ・コントローラまたはアナログ入力デバイスと呼ぶこともある。

仮に、１Ｄアナログ・センサＮからのアナログ制御変数の測定値が、ある範囲内に分布しており、我々は、例えば−１００または＋１００とすることができるある閾値を設定するものとする。次いで、図４に示すように、センサからのデータを次のように解釈する。
０（例えばヌル）：装置の「ニュートラル」な状態（４０３）、すなわちユーザからの入力は与えられていない。
Ｎ＝１００：ユーザが入力を加えて、センサ値が閾値または目標値に達した。このイベントを「上方目標」と呼ぶ（４０１）。
Ｎ＝−１００：上と同じであるが、負の閾値に達する点が異なる。このイベントを「下方目標」と呼ぶ（４０５）。
Ｎは、０から１００まで変化する。ユーザは、アナログ・コントローラを動かして、ニュートラルと正の閾値との間で、例えば正の遷移スペースでその出力値を変化させる。このイベントを「上方遷移」（４０２）と呼ぶ。
Ｎは、０から−１００まで変化する。上と同じであるが、ユーザが負の遷移スペースでアナログ・コントローラを動かす点が異なる。このイベントを「下方遷移」（４０４）と呼ぶ。

なお、以下のことを注記しておく。ａ）一部のセンサは、正のスペース領域のみを有する場合がある。例えば、圧力センサは、一方向でのみデータを検知することができる。ｂ）センサの組み合わせを、単一のセンサとして扱うことができる。例えば、２つの圧力センサを組み合わせて、入力の正および負の方向を検出可能とする。ならびに、ｃ）ユーザが加えた力の量のみを検知する１つのセンサと、その力の方向を検出する１つのスイッチを組み合わせる。

（２．２）画面上のインタフェース要素およびそれらとの相互作用
本明細書では、選択可能または作用可能な画面上の要素を用いて、本発明の実施形態を説明する。これらは、ユーザとの相互作用が可能なグラフィカル・ユーザ・インタフェース要素である。ほとんどの場合、選択可能インタフェース要素との相互作用は、２つの段階から成る。

第１の段階：ユーザが相互作用を希望するインタフェース要素の選択。多くの場合、視覚画面上には同時に多くの選択可能インタフェース要素があり、従って、インタフェースは、ユーザが相互作用したいのはどの要素であるかを指定するツールをユーザに提供しなければならない。一度に制御されるインタフェース要素が１つのみである場合は、選択ページを省くことができる。

第２の段階：相互作用。ユーザがインタフェース要素を選択した後、ユーザは選択したインタフェース要素と相互作用することができる。相互作用の種類は様々に異なる可能性があり、インタフェース要素の種類に依存する。場合によっては、相互作用は、ボタンの押圧、リストからロードするファイル名またはウエブ・ページ上で追っていくためのリンクの選択等、適切なアクションを実行するための単なる選択の確認である。他のものは、画面上のグラフィック・インタフェース要素の移動等、より複雑である可能性もある。

（３）実施例
以下で、本発明の一態様によるモバイル装置において使用可能なユーザ・インタフェースおよび／またはデータ入力手法の例を説明する。以下の例では、モバイル装置は、図２に示すような構成に加えて、聴覚ディスプレイおよび力覚的ディスプレイを含むと想定されている。一般的なものとするために、以下の例において、１Ｄアナログ・センサは、いかなる特定の種類にも限定されず、その代わり、ユーザは、ディスプレイ１０６の視覚画面上で出力を観察しながら、２Ｄ位置決めおよび１Ｄアナログ入力を制御可能であると想定されている。１Ｄアナログ・センサの種類は想定されないが、１Ｄセンサは、モバイル装置に対して行われるユーザの曲げ入力の量および方向を検出する。

（３．１）統合選択およびデータ・ブラウジング相互作用方法
本例によれば、例えばテキストまたは画像のようなコンテンツの２Ｄまたは１Ｄブラウジングと選択とを単一のタスクに統合する相互作用方法が提供される。この相互作用方法では、ユーザは、２Ｄ位置センサ１０５を用いて（例えば装置の裏側のタッチ・スクリーンを用いて）、一次元または二次元でディスプレイ１０６の画面上のコンテンツをスクロールするだけである。選択可能インタフェース要素は、画面上のそれらの現在の位置に依存して自動的に選択され、画面上の位置とどの要素が選択されるかとの関係は、マッチングアルゴリズムによって規定される。マッチングアルゴリズムについては、以下で詳細に説明する。従って、画面上の選択可能インタフェース要素を選択するために、ユーザは、所望の要素が選択されるように単にコンテンツをスクロールするだけである。

図５は、コンテンツ・ブラウジングによってインタフェース要素を選択するための本例のプロセスを例示するフローチャートおよびスナップショットを示す。図５の右側に、このプロセスの基本ステップを示し、図５の左側に、アプリケーションおよび受信データの画面のスナップショットを示す。

ステップ５１：ユーザは、ディスプレイ１０６の画面上で地下鉄地図をブラウジングする。現在選択されている項目は、項目２０１である。

ステップ５２：２Ｄ位置センサ１０５を用いて、ユーザは地図を左へ、ＸおよびＹユニット分だけスクロールする。

ステップ５３：実際の左へのスクロール量は、アプリケーションおよび２Ｄ位置センサ１０５に依存し、通常、いくつかのマッピング機能を用いて変更される（例えば、感度を調整可能である）。従って、実際のスクロール量は、入力デバイス（２Ｄ位置センサ１０５）から受信したデータとコンテンツの実際のスクロール量との間のマッピングであるＦ（Ｘ）およびＧ（Ｙ）によって計算される。次いで、このコンテンツだけ地図がスクロールされる。

ステップ５４：次いで、プロセッサ・ユニット１０８ａは、マッチングアルゴリズムを用いて、画面上のコンテンツ位置に対して最も適切な選択可能インタフェース要素を検索する。

ステップ５５：選択可能インタフェース要素を見つけたら、プロセスはステップ５６に進む。見つけなかった場合は、ステップ５８に進む。

ステップ５６：２０２として示される新たに見つかった選択可能要素を選択する。

ステップ５７：以前の要素２０１についての視覚フィードバックを除去し、様々な視覚および力覚的フィードバックを用いて、新たな選択要素２０２をアクティブ要素として示す。

ステップ５８：現在選択されている要素がいまだ見えている場合、プロセスはステップ５１に進み、そうでない場合、プロセスはステップ５９に進む。

ステップ５９：現在選択されている要素の全ての指示を除去し、視覚インタフェースをヌル構成にリセットする。

マッチングアルゴリズムは、画面上の現在のコンテンツ位置に応じて、いくつかの視覚アイテムから、どの選択可能アイテムあるいは作用可能アイテムを選択すべきかを規定する。多種多様なアルゴリズムを用いることができる。例えば、
ａ）画面の中心に最も近いアイテムを選択する。このマッチングアルゴリズムのもとでアイテムを選択するためには、ユーザはコンテンツをスクロールして、所望のアイテムが画面の中央に来るようにする。

ｂ）ユーザのスクロール方向とは逆の方向にあるアイテムを選択する。このマッチングアルゴリズムのもとでアイテムを選択するためには、ユーザはスクロールとは逆の方向にコンテンツをスクロールする。例えば、選択するアイテムを引き寄せる。

ｃ）選択するアイテムは、上述のａ）およびｂ）で説明したマッチングアルゴリズムの組み合わせによって、または、ユーザ入力に従って選択すべき単一のアイテムの識別を可能にする他の任意のマッチングアルゴリズムによって識別される。

（３．２）アナログ選択入力手法
従来の手法では、マウスまたはキーボード等の物理的な入力デバイスに対してボタンの押圧動作を実行して、ユーザ・インタフェース要素の選択を確認する。かかるボタン押圧動作は、ディスクリートなイベントである。本例では、データの選択を確認し、モバイル装置上でデータと相互作用するいくつかの手法について説明する。モバイル装置は、手持ち式デバイスであって、この手持ち式デバイスに取り付けたアナログ・センサを含み、どんなボタンも用いないものとしてもよい。

これらの手法は、主として上述のモバイル装置のためのものであるが、これらの手法は、例えば２Ｄの位置入力および１Ｄの力入力の双方を同時に制御可能な、同様の特性を有する他のデバイスにも適用可能である。

（３．２．１）単純な確認
図６は、ウエブ・ページ・ナビゲーションのための本例の手法を用いた単純な選択の場合を表し、フローチャートおよびインタフェースの視認状態のスナップショットを含む。スナップショットの左側のバー３０１は、１Ｄアナログ・センサの出力値、例えばユーザの曲げ入力の量を示す。

ステップ６１：画面の現在のインタフェース・ビュー２０４上のインタフェースの作用可能アイテム（例えばアイテム２０３）が選択され、１Ｄアナログ・センサ１０２がその「ニュートラル」状態にある場合に、本例の手法が開始する。

ステップ６２：アナログ・コントローラの現在の値、例えば曲げの量を測定する。

ステップ６３：プロセッサ・ユニット１０８ａは、アナログ・コントローラが図４に示すような目標状態（例えば上方目標または下方目標）に達したか判定する。目標状態に達したら、プロセスはステップ６４に進む。そうでない場合、プロセスはステップ６２に戻って、１Ｄアナログ・センサ１０２からの出力の測定を繰り返す。

ステップ６４：選択を確認し、新しいビュー２０５のロード等の適切なアクションを実行する。本例では、次のウエブ・ページのロードを実行する。

ステップ６５：次のウエブ・ページのため視覚インタフェースを更新し、力覚、視覚、および音声のフィードバックを提供して、このアクションをサポートする。

ステップ６６：インタフェースがニュートラルな状態に戻るのを待って、ステップ６１から継続する。

（３．２．２．）選択の２方向確認
２方向確認は、節（３．２．１）で説明した単純な確認と同様に機能するが、「上方目標」および「下方目標」状態を区別し、これらを異なる目的に用いるという点が異なる。例えば、「下方目標」イベントを用いて選択を確認し、一方、「上方目標」を用いて以前の位置に戻ることができる。

（３．２．３）統合プレビューおよび選択起動
「上方遷移」および「下方遷移」状態を用いて、ユーザ・インタフェース・ビュー間の円滑な遷移を行うことができる。本インタフェースでは、次のインタフェース要素を選択すると、遷移が即座に行われるが、ニュートラルおよび「上方目標」状態またはニュートラルおよび「下方目標」状態の間の１Ｄアナログ・センサ１０２からのアナログ・コントローラの値を用いることによって、異なるユーザ・インタフェース・ビュー間で円滑な視覚的な遷移を設計することができる。本明細書では、この手法を「アナログ・リンク」と呼ぶ。

図７は、地図ナビゲーション（図５と同様）のための本手法を用いた選択の場合を表し、フローチャートおよびインタフェースの視認状態を含む。図７は、２つのビューをどのように重ねることができるかを示す。初期ビュー（現在のインタフェース・ビュー２０７）は地下鉄地図であり、一方、他のビュー（次のインタフェース・ビュー２０８）は対応する道路地図である。

ステップ７１：１Ｄアナログ・センサ１０２がその「ニュートラル」状態にあり、現在のインタフェース・ビュー２０７上でインタフェースの作用可能アイテム（例えばアイテム２０６）が選択された場合に、この手法が開始する。

ステップ７２：アナログ・コントローラの現在の出力値、例えば曲げ量を側定する。

ステップ７７：入力がない場合、プロセスはステップ７２に戻る。入力がある場合、プロセスはステップ７８に進む。

ステップ７８：現在のインタフェース・ビュー２０７の上に、次のインタフェース・ビュー２０８を重ねる。アナログ・コントローラの値が大きくなればなるほど、ユーザ・インタフェースの次のインタフェース・ビューが見えやすくなる。以下の方法のいずれか１つまたは組み合わせを用いて、ビューを重ねることができる。
（ａ）透過性：次のビューは現在のビューの上に重ねられ、次のビューの透過性が、アナログ・コントローラの値によって制御される。ユーザがアナログ・コントローラに加える入力が増大すると、次のビューの透過性が低くなる。
（ｂ）ズーム：次のビューのサイズは、アナログ・コントローラの値によって制御される。ユーザがアナログ・コントローラに加える入力が増大すると、次のビューが大きくなる。
（ｃ）ズームおよび透過性の組み合わせ。
（ｄ）ユーザが２つのビューを同時に見ることが可能でありながら、２つのビューを全体的または部分的に重ね合わせることができる他の任意の方法。

ステップ７３：アナログ・コントローラが目標状態（例えば上方目標または下方目標）に達したかチェックする。目標状態に達した場合、プロセスはステップ７４に進む。目標状態に達していない場合、ステップ７２に戻る。

ステップ７４：選択を確認し、適切なアクションを実行する。例えば、次のユーザ・インタフェース・ビュー２０８を完全にロードし、以前のビューは見えない。

ステップ７５：視覚インタフェースを更新し、力覚、視覚、および音声フィードバックを提供する。

ステップ７６：アナログ・コントローラがニュートラル状態に戻るのを待って、ステップ７１から継続する。

（３．３）相互作用による追加情報のプレビューの手法
「上方遷移」および「下方遷移」状態を用いて、作用可能アイテムに関連する情報をユーザに提供することができる。添付する情報の例は、リンク内のコンテンツのプレビュー、添付されたヘルプ情報、ユーザが添付した注記等とすることができる。ユーザがセンサに入力を加えると、「上方遷移」または「下方遷移」状態によって、リンク上の関連情報をユーザに提供する。追加情報の特性は、アナログ・リンクによって制御することができ、以下を含んでいても良い。
ａ）透過性。
ｂ）大きさ。
ｃ）詳細の情報レベル。例えば、ユーザがアナログ・コントローラに加える入力が増大すると、より多くの情報を提示する。
ｄ）上述の、または他の任意の適用可能な特性の組み合わせ。

図８は、本例の手法を用いて作用可能アイテムに添付された注記データをプレビューする場合の、本例によるプロセスのフローチャートおよびプロセスに関連するスナップショットを表す。

ステップ８１：１Ｄアナログ・センサがその「ニュートラル」状態にあり、画面上に表示された現在のインタフェース・ビュー上で、インタフェースの作用可能アイテム（例えばアイテム２０９）が選択された場合に、このプロセスが開始する。

ステップ８２：アナログ・コントローラの現在の出力値、例えば曲げ量を測定する。

ステップ８３：入力がない場合、プロセスはステップ８２に戻る。入力がある場合、ステップ８４に進む。

ステップ８４：何らかの視認可能データが添付されている場合、プロセスはステップ８５に進む。データがない場合、ステップ８２に戻る。

ステップ８５：添付データ２１０を現在のビューの上に重ねる。アナログ・コントローラの出力値が大きくなると、この添付データの視認性が高くなる。視認性の制御パラメータは、以下を含んでいてもよい。
ａ）透過性：データは現在のページの上に重ねられ、その透過性が、アナログ・コントローラの出力値によって制御される。ユーザが１Ｄアナログ・センサに加える入力が増大すると、追加データの透過性が低くなる。
ｂ）ズーム：サイズは、アナログ・コントローラの出力値によって制御される装置に添付された追加情報のものである。ユーザが１Ｄアナログ・センサに加える入力が増大すると、追加データのサイズが大きくなる。
ｃ）ズームおよび透過性の組み合わせ。
ｄ）ユーザが２つのビューを同時に見ることを可能にし、ユーザが２つのビューを重ね合わせることができる任意の他の方法。

（３．４）ズームおよび視点制御のための相互作用手法
本例において、ＧＵＩ相互作用方法は、画面上に提示された視覚情報の拡大および縮小を可能とすると同時に、視点位置を変化させることができる。画像は、「上方遷移」状態で拡大され、「下方遷移」状態で縮小される。アナログ・コントローラの出力値は、ズームの速度または量にマッピングされる。位置制御は、１Ｄアナログ・センサを介したアナログ入力とは独立して、２Ｄ位置センサの使用によって達成可能であるので、ユーザは、同じ単一のジェスチャーによって、同時にズームと視点位置の制御とをすることができる。

（３．５）三次元ナビゲーション手法
上述の例（３．４）において説明した手法は、画面における３Ｄナビゲーションに用いることができる。ズームインにより内側に飛ぶ結果となり、一方で、方向制御が飛行方向の制御を可能にする。

図９は、本実施形態によるモバイル装置を用いた３Ｄナビゲーションのためのインタフェース手法について、本例によるプロセスのフローチャートおよびプロセスの関連するスナップショットを表す。

ステップ９１：１Ｄアナログ・センサ１０２がニュートラル状態にあり、ディスプレイ１０６の画面上に３Ｄ環境が提示された場合に、このプロセスは開始する。

ステップ９２：２Ｄ位置センサ１０５の現在の出力値を測定する。

ステップ９７：入力がない場合、プロセスはステップ９２に進む。入力がある場合、ステップ９３に進む。

ステップ９３：２Ｄ位置センサから出力された二次元座標データを用いて、動き２１１の方向を規定するベクトルＶの３Ｄ方向を更新する。ベクトルは、ユーザに提示して視覚フィードバックをユーザに提供するか、または隠しても良い。

ステップ９４：アナログ・コントローラの現在の出力値を測定する。

ステップ９８：入力がない場合、プロセスはステップ９２に進む。入力がある場合、ステップ９５に進む。

ステップ９５：アナログ・コントローラの測定値を用いて、ベクトルＶに沿った平行移動Ｄの量を計算する。線形マッピング、非線形マッピング、および他のいずれか等、様々なマッピングを規定しても良い。

ステップ９６：量ＤだけベクトルＶの方向に視点を平行移動させ、ステップ９２から継続する。

視点位置およびコントローラのパラメータに応じて、様々な種類のアプリケーションで、この３Ｄナビゲーション・アルゴリズムの変形を実施することができる。

上述の例では、２Ｄ位置センサ１０５を用いて２Ｄ位置入力を提供している。あるいは、２Ｄ位置入力を用いて１Ｄまたは２Ｄ方向のいずれかで画面ビューをスクロールする場合には、２Ｄ位置センサ１０５を、ユーザの入力に従ってスクロールを制御可能とする任意の他の種類のデバイスで置換しても良い。例えば、加速度計を含む傾斜センサを用いて、装置の傾斜を検出し、ユーザが装置をある方向および量に傾斜させることによってスクロールの速度および方向を制御するようにすることも可能である。

（３．６）力覚的フィードバック
上述の例は、力覚的フィードバック装置を用いて当該装置の現在の状態をユーザに伝えるように拡張しても良い。例えば、力覚的フィードバックは、多層構成の圧電アクチュエータを利用することによって実現しても良い。

本実施形態によれば、ユーザは、マウス、タッチ・パネルおよび／またはキーボードを用いることなく、モバイル装置または小型の手持ち式デバイスと相互作用することができる。装置のディスプレイ画面の裏側にタッチ・パネルが配置されている場合、ユーザの装置との相互作用は、画面を遮ることがなく、これによって相互作用が容易になる。相互作用は簡単になり、より効果的になり、より直観的に、楽しいものとなる。

更に、本実施形態によれば、ＧＵＩ要素との相互作用手法によって、可撓性コンピュータおよび多くの新しい相互作用デバイスと共に使用可能なインタフェースの、簡単かつ基本的な設計方法を提供することができる。この手法によって、手持ち式コンピュータによる基本的な相互作用タスクのほとんどに対応することができる。

本実施形態による手法の利点は、この手法が、装置の簡単な物理的操作によって多くの相互作用タスクを実行する単一の統合された方法であることである。これによって、インタフェースはより簡単に、より直観的に用いられるようになる。ユーザはいくつかの簡単な動作の使用方法を覚えておかなければならないだけであり、これがタスクを行うために必要な全てである。

本実施形態では、タスクを実行したり、アプリケーション・プログラムと相互作用したりするために、画面上に追加のグラフィカル・ユーザ・インタフェース要素は必要ない。従って、これは、画面上のスペースを節約し、表示領域の効率的な使用を促進する。かかる特徴は、比較的小さい表示領域を有する手持ち式デバイスには特に重要である。

本実施形態による手法は、多くのタスクを自動化することができ、小型の手持ち式デバイスではマウスまたはペンまたは他のポインティング・デバイスによる正確な相互作用のためのポインティングが難しい従来の手法に比べて、モバイル状況での装置の使用が容易になる。

本実施形態による手法は、より自然であり、使用が容易であり、ペン等の追加の入力デバイスを必要としない。従って、この手法は、当然、ディスプレイの裏側にタッチ・パネルが配置されたデバイスに適している。

［第２の実施形態］
（１）システム構成および構成要素
以下に、本発明の第２の実施形態を詳細に説明する。第２の実施形態は、図２および図３に示すような第１の実施形態で説明したタイプの装置について、一般的なＧＵＩの状況でのテキスト入力および／または多次元メニュー方式のための手法に関する。本実施形態の以下の説明では、第１の実施形態と異なるシステム構成の部分のみを説明する。

第１の実施形態の図４に示すような１Ｄアナログ入力データの解釈について、同じ定義および用語を用いる。１Ｄアナログ・センサ１０２に必要である重要な特性の１つは、ユーザから何も入力が与えられていない場合、それ自身でニュートラルな状態に戻るということである。

本実施形態は、日本国特許出願（公開）Ｈ１０−１５４０３３号およびＨ１０−１５４１４４号に開示されたセンテンス入力装置等、様々な装置におけるテキスト入力に適用可能である。具体的には、本実施形態によるテキスト入力手法は、ディスプレイ画面上に表示された候補アイテム群からアイテムの１つを選択するのに有用であり得る。

本実施形態では、２Ｄ位置センサ１０５からのデータを以下のように解釈する。図１０（Ａ）〜（Ｃ）は、２Ｄ位置データをどのように用いて（カーソルを用いるように）位置でなく方向を測定することができるかの一例を表す。図１０（Ａ）は、選択のためのアイテム格子の一例を示し、図１０（Ｂ）は、方向区分の一例を示し、図１０（Ｃ）は、方向区分とアイテムとの間の関係の一例を示す。本例の実施態様では、選択が格子から行われる場合はいつでも、このアプローチが取られる。このアプローチの利点は、アクションが反復可能となることである。

図１０（Ａ）に示すアイテムの３×３格子では、デフォルトにより中央のアイテム（図中、数字５）が選択される。これが所望のアイテムである場合、ユーザはこのデフォルト選択を確認するだけで良い。中央の周りのアイテムのうち１つが所望である場合、上述の２Ｄ位置センサ１０５を用いた「方向移動」によって選択を行うことができる。次いで、（以下に与える例において４５度の）角度区分のアレイに関連付けた方向移動が測定される。例えば、左下への移動は、２Ｄ位置センサ上のユーザの指の位置とは無関係に、左下のアイテム（この例では数字７）を選択することになる。右上への動きは、この例では数字３を選択し、右への動きは数字６に関連する、等である。

（２）インタフェース手法の詳細
（２．１）相互作用フロー
本実施形態によるＧＵＩ制御手法は、上述の入力デバイス（１Ｄアナログ・センサおよび２Ｄ位置センサ）との組み合わせで動作する。以下で、ＧＵＩ制御手法の３つの変形について説明する。一例としてテキスト入力を用いる。しかしながら、本発明はこれらの変形に限定されるわけではなく、本実施形態は、アイテムがテキスト文字でなくメニュー・アイテムから成る他の変形にも同様に適用可能である。

図１１に、相互作用の基本フローを示す。ＧＵＩ制御手法の全ての変形は、以下の相互作用ステップを共有し、ここで、ステップ群ａ）およびｂ）は同時に行うことができる。
ａ）多次元アレイにおけるアイテム群の選択（ステップ１１２〜１１４）。
ｂ）選択した群内での１つのアイテムの選択（ステップ１１５〜１１６）。
ｃ）現在の群／アイテム選択の確認または取り消し（ステップ１１７／ステップ１１８）。

図１１に示す相互作用ステップは、電話のキーパッドの使用と比較することができる。キーパッドでは、ユーザは、最初に、文字群を表すボタンを選択し（すなわち「Ａ」、「Ｂ」、「Ｃ」等にアクセスするために「２」）、次いで、意図するアイテム（すなわち文字）に達するまでそのボタンを繰り返し押す。ＧＵＩ制御手法がこのテキスト入力と異なる点は、ボタンの代わりに２Ｄ位置検知と組み合わせた１Ｄアナログ入力を用いることである。

本例の実施態様は、ユーザがアイテム群を選択する方法が異なる。全ての例は、１Ｄアナログ入力および２Ｄ位置入力を組み合わせて用いることを利用している。

（２．２）循環層を用いた例示的な実施態様
図１２および１３（Ａ）〜（Ｄ）は、本例によるプロセスのフローチャート、および、このプロセスと関連してディスプレイ１０６の視覚画面上に表示されるスナップショットを示す。スナップショットの各々は、画面ビュー１３００を示し、ここでは、入力されたテキストを示すウインドウ１３０１および積み重ねた層１３０２が提示されている。

本例は、各々がアイテム群を示す視覚的な複数層のシステムを用いる。積み重ねの「最上部」に、現在選択されている層１３０２ｂがある。ユーザは、１Ｄアナログ入力デバイスとして機能する１Ｄアナログ・センサ１０２を操作することで、これらの層を循環させる。図１３（Ａ）は、ステップ１２０１における開始状態のスナップショットである。

・群選択（ステップ１２０２〜１２０９）
図１３（Ｂ）は、群選択中のスナップショットである。ステップ１２０２において、１Ｄアナログ入力を測定し、ステップ１２０３〜１２０５において、アナログ入力が「上」もしくは「下」方向、または「ニュートラル」状態にあるかについて、測定した入力を調べる。１Ｄアナログ入力が「下」状態にある場合、プロセスはステップ１２０９に進み、現在の群選択を更新する。「上」または「ニュートラル」状態にある場合、それぞれステップ１２０７またはステップ１２０８に進む。アナログ入力「下方遷移」データは、アプリケーションがこれらの層を循環する速度に対応付けられる。入力データが「目標下方」状態に近づくと、層循環の速度が増す。入力デバイスが「ニュートラル」状態になると、循環は停止する。

・アイテム選択（ステップ１２１１）
図１３（Ｃ）は、アイテム選択中のスナップショットである。この例では、図１３（Ｂ）に示すように、アイテムは３×３の格子に配列されている。新たな群が選択されるたびに、その中央のアイテムをデフォルトで選択する。他のアイテムは、２Ｄ位置センサを用いた方向入力により選択し（ステップ１２１１）、更新した現在のアイテム選択を提示する（ステップ１２１２）。

・選択の確認または取り消し（ステップ１２１０）
図１３（Ｄ）は、選択の確認中のスナップショットである。いったん所望の群およびアイテムを選択したなら（ステップ１２０７でイエス）、ユーザは「上方遷移」によって選択を確認する（ステップ１２１０）。選択を行わない場合には、「完了」層を選択して、選択モードから出なければならない。

（２．３）「ラチェット」層を用いた例示的な実施態様
図１４および１５（Ａ）〜（Ｆ）は、この例によるプロセスのフローチャート、および、このプロセスに関連してディスプレイ１０６の視覚画面上に表示されるスナップショットを示す。図１２および１３（Ａ）〜（Ｄ）の先の例におけると同様に、この例も、各々がアイテム群を表す視覚的な複数層のシステムを用いる。積み重ねの「最上部」に、現在選択されている層がある。ユーザは、１Ｄアナログ入力デバイスを操作することで層を選択する。図１５（Ａ）は、開始状態のスナップショットである（ステップ１４０１）。

・群の選択（ステップ１４０２〜１４０９）
図１５（Ｂ）は、群の選択中のスナップショットである。アナログ入力の「下方遷移」データを、積み重ねた層の深さにマッピングする。例えば、４層の群の積み重ねおよび０（「ニュートラル」）から−５（「下方目標」）の範囲に及ぶ入力データでは、「下方遷移」データは、以下のようにマッピングすることができる。
０から−０．５ 選択なし
−０．５から−１．５ 群１
−１．５から−２．５ 群２
−２．５から−３．５ 群３
−３．５から−４．５ 群４
−４．５から−５ 群選択の取り消し（ステップ１４１３）
１Ｄアナログ入力デバイスが「ニュートラル」位置に戻ると、群選択が「下方目標」によって取り消されるまで（ステップ１４１３）、または現在の選択が確認されるまで（ステップ１４１１）、「最も深い」群が選択されたままである。図１５（Ｃ）は、「ニュートラル」状態によってデフォルト選択が行われているステップ１４０８におけるスナップショットである。

・アイテム選択（ステップ１４１２〜１４１４）
図１５（Ｄ）および１５（Ｅ）は、アイテム選択中のスナップショットである。図に示すように、アイテムは３×３の格子に配列されている。新たな群が選択されるたびに、その中央のアイテムをデフォルトで選択する。他のアイテムは、上述のように、２Ｄ位置センサ１０５によって方向入力を用いて選択する。群の選択およびアイテムの選択は、同時に行うことも可能である。

・選択の確認または取り消し（ステップ１４０６、１４１１、１４１３）
図１５（Ｆ）は、選択の確認中のスナップショットである。いったん所望の群およびアイテムを選択したなら、ユーザは「上方遷移」状態によって選択を確認する。群の選択は、「下方目標」状態によって取り消すことができ、選択モードからは、「上方目標」状態によって出ることができる。

（２．４）ネスト化された格子を用いた例示的な実施態様
図１６および１７（Ａ）〜（Ｆ）は、本例によるプロセスのフローチャート、および、このプロセスに関連してディスプレイ１０６の視覚画面上に表示されるスナップショットを示す。先の例では、１Ｄアナログ入力データを、群選択の直接的な手段として用いる。本例では、１Ｄアナログ入力データを、群選択とアイテム選択との間のモード・スイッチとして用いる一方、２Ｄ位置センサを用いた方向入力を、群選択およびアイテム選択の双方に用いる。視覚的には、このシステムは３×３の格子の群として表され、各格子は、図１７（Ｂ）に示すように、９（３×３）までのアイテムを含む。図１７（Ａ）は、ニュートラルな状態を示し、ここからプロセスが開始する（ステップ１６０１）。

・群選択（ステップ１６０２〜１６１３）
図１７（Ｂ）および１７（Ｃ）は、群の選択中のスナップショットである。１Ｄアナログ入力デバイス１０２によって検出された１Ｄアナログ入力の「下方遷移」状態が、この群選択モードをトリガし、このモードで、ネスト化された格子１７０１から群の１つを選択することができる。デフォルトにより中央の群が選択される。１Ｄアナログ入力デバイス１０２が「下方遷移」状態である間に（ステプ１６０５）、２Ｄ位置センサ１０５が検出した方向入力を用いて群を選択する（ステップ１６１０、１６０９、１６１３）。群選択は、「下方目標」状態によって取り消すことができる（ステップ１６０４）。

・アイテム選択（ステップ１６１２、１６１５）
図１７（Ｄ）および１７（Ｅ）は、アイテム選択中のスナップショットである。１Ｄアナログ入力デバイスが「ニュートラル」位置にある間、方向入力を用いてアイテムを選択する（ステップ１６１２、１６１５）。デフォルトにより中央のアイテムが選択される。アイテム選択は、先の例におけるものと同じアルゴリズムを用いて実行することができる。

・選択の確認および取り消し（ステップ１６０６、１６１１、１６１４）
図１７（Ｆ）は、選択の確認および取り消し中のスナップショットである。群およびアイテムを選択すると、この選択は、１Ｄアナログ入力の「上方遷移」状態によって確認される（ステップ１６１１）。いかなる選択も、「下方目標」状態によって取り消され（ステップ１６１４）、選択モードからは、「上方目標」状態によって出る（ステップ１６０６）。

上述の本実施形態の例では、２Ｄ位置センサ１０５を用いて方向入力を入力し、選択された群のアイテムのうち１つまたは群の集合から群のうち１つを選択する。しかしながら、本発明はこれらの例に限定されるわけではなく、任意の他のデバイスが、画面上に表示される選択された群のアイテムのうち１つを選択するためのユーザ入力を検出可能であれば、２Ｄ位置センサ１０５の代わりに、かかるデバイスを用いることも可能である。例えば、傾斜センサおよびその視覚フィードバックを利用して、方向入力、すなわち、アイテム選択のための視覚画面の中央位置に対する方向に関するユーザ入力を判定しても良い。

上述の本実施形態によるＧＵＩ方法によって、ユーザは、マウス、タッチ・パネルおよび／またはキーボードを用いることなく、小型の手持ち式装置と相互作用することができる。２Ｄ位置センサは装置の裏側に配置されているので、装置とのユーザの相互作用は視覚画面を遮ることがなく、これによって、装置の動作中ずっと画面の最大の視認性を維持することが容易となる。

上述のＧＵＩ方法は、１Ｄアナログ・デバイスおよび２Ｄ位置検知入力デバイスの組み合わせに基づいた、より広いＧＵＩ環境の一部である。このより広い環境においてＧＵＩ方法を用い、以下の機能性を提供することができる。

ａ）テキスト入力
本実施形態によって、ボタンまたはペンを用いることなくテキスト入力が可能となる。本実施形態によれば、ＧＵＩ手段を装置に提供し、アナログ入力および方向入力を用いて、モバイル状況において、より簡便にテキストまたは文字を入力する。

ｂ）メニュー・スタイル
本実施形態によって、カーソルに基づいたポイント・アンド・クリックの相互作用を用いない環境でメニュー方式を提供することができる。本例がテキスト入力を用いて本実施形態によるＧＵＩ方法を実現する場合、文字オプションの変わりにメニュー・アイテムを想定することが容易である。これらのメニューは、デスクトップのＧＵＩメニューとほぼ同じように機能する。すなわち、それらは、コンテンツに関連したアイテム（ブックマーク、ＴＶチャネル等）と同様、システム機能に関連したアイテム（「保存」、「閉じる」等）を含んでいてもよい。

上述の第１および第２の実施形態を用いて、マウス、視覚スクリード上に配置されたタッチ・スクリーン、またはキーボードを用いることなく、小型の手持ち式デバイスまたは装置と相互作用することができる。

かかるデバイスおよび装置の例には、以下のものを含んでいても良い。
・ディスプレイ画面を有するリモート・コントロール。
・テレビ受像機のためのリモート・コントロール。
・ＰＤＡおよび個人情報ブラウザ／仕切り。
・移動電話。
・電子ブック。
・手持ち式ゲーム・デバイス。
・ＧＰＳを用いたパーソナル・ナビゲーション・デバイス。
・テレビ受像機の遠隔表示ユニット。

更に、本発明は、ビデオ画像のナビゲーションのための装置に適用することができる。例えば、「ニュートラル」状態のアナログ・センサによって、通常の速度でビデオを再生する。上および下に曲げることを組み入れて、ビデオ再生の速度を制御することができる。具体的には、アナログ・センサを上に曲げている場合はビデオ再生および／または巻き戻し動作を低速化させ、アナログ・センサを下に曲げている場合はビデオ再生および／または巻き戻し動作を高速化するように制御を構成することができる。あるいは、アナログ出力による制御は、音声の再生および／または巻き戻しを含むことも可能である。

本日本出願の最初の請求項または最初の説明には、日本特許法の第３７条のもとで発明の単一性の要件に従うように、本発明の様々な態様について、ユーザ・インタフェースのためのアナログ・センサとしての可撓性部分の利用に主に焦点を当てた適用に関して記載がされている。しかしながら、発明者は、本明細書に開示された主題には、全体としてまたは部分として、他にも発明的な特徴があると考える。このような発明的特徴に関して特許権を放棄することや、このような発明的特徴を様々な補正、分割、または継続出願等の請求項の主題として再取得する権利を放棄することは、本発明者の意図するところではない。

図１（Ａ）：画面上でＧＵＩ要素を選択するための従来のＧＵＩ制御手法を示す図である。図１（Ｂ）：情報をブラウジング／スクロールするための従来のＧＵＩ制御手法を示す図である。 本発明の一実施形態による装置のブロック図である。 図３（Ａ）：可撓性ディスプレイ・デバイス、曲げセンサ、および裏側の可撓性追跡面を有する、図２に示した装置の斜視図である。図３（Ｂ）：可撓性ディスプレイを有する、図２に示した装置の別の斜視図である。図３（Ｃ）：非可撓性モニタおよび一対の圧力センサを有する、図２に示した装置の斜視図である。図３（Ｄ）：非可撓性モニタを有する、図２に示した装置の別の斜視図である。 １Ｄアナログ・センサの状態およびその状態を説明するための対応する用語を示す図である。 コンテンツ・ブラウジングによってＧＵＩ要素を選択するためのアルゴリズムのフローチャート、および、このアルゴリズムのステップでの視覚画面のスナップショットを含む図である。 １Ｄアナログ・センサを用いてリンクを選択するためのアルゴリズムのフローチャート、および、例示的なウエブ・ブラウザのアプリケーションについてのアルゴリズムのステップでの視覚画面のスナップショットを含む図である。 アナログ・コントローラを用いたユーザ・インタフェース・ビュー間の円滑な遷移が行われるアナログ・リンクのためのアルゴリズムのフローチャート、および、このアルゴリズムのステップでの視覚画面のスナップショットを含む図である。 作用可能アイテムに添付されたデータをプレビューするためのアルゴリズムのフローチャート、および、このアルゴリズムのステップでの視覚画面のスナップショットを含む図である。 ３Ｄナビゲーション動作を実行するためのアルゴリズムのフローチャート、および、このアルゴリズムのステップでの視覚画面のスナップショットを含む図である。 図１０（Ａ）：選択のために２Ｄ位置センサによって検出された方向入力と共に用いる例示的なアイテム格子を示す図である。図１０（Ｂ）：方向入力を検出するために用いる例示的な方向区分を示す図である。図１０（Ｃ）：図１０（Ａ）および１０（Ｂ）に示す方向区分とアイテム格子との間の関係を示す図である。 本発明の第２の実施形態における基本的な相互作用フローのフローチャートである。 第２の実施形態による循環群を用いた例示的な実施態様のフローチャートである。 図１３（Ａ）：図１２の例のフローの開始状態における視覚画面のスナップショットを示す図である。図１３（Ｂ）：図１２の例のフローにおける群選択中の視覚画面の別のスナップショットを示す図である。図１３（Ｃ）：図１２の例のフローチャートにおけるアイテム選択中の視覚画面の別のスナップショットを示す図である。図１３（Ｄ）：図１２の例のフローにおけるアイテム確認中の視覚画面の別のスナップショットを示す図である。 第２の実施形態によるラチェット層を用いた例示的な実施態様のフローチャートである。 図１５（Ａ）：図１４の例のフローのニュートラル状態における視覚画面のスナップショットを示す図である。図１５（Ｂ）：図１４の例のフローにおける群選択中の視覚画面の別のスナップショットを示す図である。図１５（Ｃ）：図１４の例のフローにおけるデフォルト選択によるニュートラル状態での視覚画面の別のスナップショットを示す図である。図１５（Ｄ）：図１４の例のフローにおけるアイテム選択中の視覚画面の別のスナップショットを示す図である。図１５（Ｅ）：図１４の例のフローチャートにおけるアイテム選択中の視覚画面の別のスナップショットである。図１５（Ｆ）：図１４の例のフローチャートにおけるアイテム確認中の視覚画面の別のスナップショットである。 第２の実施形態によるネスト化された格子を用いた例示的な実施態様のフローチャートである。 図１７（Ａ）：図１６の例のフローのニュートラル状態における視覚画面のスナップショットを示す図である。図１７（Ｂ）：図１６の例のフローにおける群選択中（デフォルト選択）の視覚画面の別のスナップショットを示す図である。図１７（Ｃ）：図１６の例のフローにおける群選択中の視覚画面の別のスナップショットを示す図である。図１７（Ｄ）：図１６の例のフローにおけるアイテム選択中（デフォルト選択）の視覚画面の別のスナップショットを示す図である。図１７（Ｅ）：図１６の例のフローにおけるアイテム選択中の視覚画面の別のスナップショットである。図１７（Ｆ）：図１６の例のフローにおけるアイテム確認中の視覚画面の別のスナップショットである。

符号の説明

１０２：１Ｄアナログ・センサ、１０５：２Ｄ位置センサ、１０６：ディスプレイ、１０７ａ：アナログ信号取得ユニット、１０７ｂ：位置信号取得ユニット、１０８ａ：プロセッサ・ユニット、１０８ｂ：データ記憶装置、１０８ｃ：画像処理ユニット。

Claims (2)

1. 画像を含む情報を表示するディスプレイと、
   筐体に加えられた複数の方向からの圧力を測定し、当該圧力に基づいて、前記筐体に加えられた前記ディスプレイの表面の法線方向における加圧の量を検出するアナログセンサと、
   前記ディスプレイに第１のビューを表示させている状態において筐体に圧力が加えられたことが前記アナログセンサにより検出されたとき、前記第１のビューの上に所定の透明度を有する第２のビューを表示させ、前記アナログセンサにより検出された加圧の量が増大することに応じて前記第２のビューの透明度を低くするとともに前記第２のビューを大きく表示させ、前記アナログセンサにより検出された加圧の量が所定の閾値以上になることに応じて前記第２のビューのみを表示させると同時に、前記アナログセンサにより検出された加圧の量が０になるまでの間、前記アナログセンサにより検出された加圧の量に対応させた変化を行わないように、前記ディスプレイに表示される画像の表示を制御する制御部と
   を有する情報処理装置。
2. 画像を含む情報を表示するディスプレイと、
   筐体に加えられた複数の方向からの圧力を測定し、当該圧力に基づいて、前記筐体に加えられた前記ディスプレイの表面の法線方向における加圧の量を検出するアナログセンサと
   を備える情報処理装置の情報処理方法において、
   前記ディスプレイに第１のビューを表示させている状態において筐体に圧力が加えられたことが前記アナログセンサにより検出されたとき、前記第１のビューの上に所定の透明度を有する第２のビューを表示させ、前記アナログセンサにより検出された加圧の量が増大することに応じて前記第２のビューの透明度を低くするとともに前記第２のビューを大きく表示させ、前記アナログセンサにより検出された加圧の量が所定の閾値以上になることに応じて前記第２のビューのみを表示させると同時に、前記アナログセンサにより検出された加圧の量が０になるまでの間、前記アナログセンサにより検出された加圧の量に対応させた変化を行わないように、前記ディスプレイに表示される画像の表示を制御する
   ステップを含む情報処理方法。

Images