JPWO2008136064A1 - 操作デバイス、情報処理システム、表示装置及び情報処理方法 - Google Patents

Abstract

コンピュータに接続され、透明な操作面を備え、操作面にユーザの指が触れた場合にユーザの指が触れた位置座標を検知し、所定の案内状態において、操作面内のユーザによる操作対象となる位置をユーザに案内し、コンピュータにおいて実行されるアプリケーションプログラムに対して、所定の座標入力状態においては位置座標が操作データとして供給され、案内状態においては位置座標に代えて案内された操作対象となる位置にユーザが触れたか否かを示す情報が操作データとして供給される座標入力デバイスである。

Description

本発明は、接続されたコンピュータに対して座標入力を行うための座標入力デバイス、当該座標入力デバイスを備えた情報処理システム、表示装置及び情報処理方法に関する。

家庭用ゲーム機等のコンピュータに対してユーザによる様々な種類の操作入力を行うために、操作入力の種類ごとに適した操作デバイスが提案されている。例えば、方向や位置などの情報を入力する用途に対しては、タッチパネルなど、座標入力を行うことのできる座標入力デバイスがある。ユーザは、このような座標入力デバイスを用いて、接続された接続されたコンピュータに対して、位置や方向を指示する操作入力を行うことができる。

通常、コンピュータに対する操作入力としては、座標入力以外にも、例えば処理の実行開始やキャンセルを指示する指示入力など、複数種類のものが必要となる。このような用途に対しては、座標入力デバイスだけで操作入力を行うことができず、別に操作入力手段を設ける必要がある。

本発明は上記実情に鑑みてなされたものであって、その目的の一つは、座標入力を行うとともに、他の操作入力にも用いることのできる座標入力デバイス、当該座標入力デバイスを備えた情報処理システム、表示装置及び情報処理方法を提供することにある。

本発明に係る座標入力デバイスは、コンピュータに接続される座標入力デバイスであって、透明な操作面と、前記操作面にユーザの指が触れた場合に、当該ユーザの指が触れた位置座標を検知する座標検知手段と、所定の案内状態において、前記操作面内のユーザによる操作対象となる位置をユーザに案内する操作位置案内手段と、を含み、前記コンピュータにおいて実行されるアプリケーションプログラムに対して、所定の座標入力状態においては、前記検知された位置座標が操作データとして供給され、前記案内状態においては、前記検知された位置座標に代えて、前記案内された操作対象となる位置にユーザが触れたか否かを示す情報が前記操作データとして供給されることを特徴とする。

上記座標入力デバイスにおいて、前記操作位置案内手段は、複数の前記操作対象となる位置をユーザに案内し、前記アプリケーションプログラムに対して、前記案内状態において、複数の前記操作対象となる位置のうち、ユーザが触れた位置を特定する情報が前記操作データとして供給されることとしてもよい。

また、上記座標入力デバイスにおいて、前記操作位置案内手段は、前記案内状態において光を発する発光部と、前記発光部から発せられた光を受ける反射面と、前記発光部から発せられた光に対して、当該光と異なる波長の光を反射する蛍光材料により形成され、前記反射面内の所定位置に所定形状で配置された表示要素と、を含み、前記表示要素により反射された光が、前記操作面内の前記操作対象となる位置に応じた位置を透過することにより、前記操作対象となる位置をユーザに案内することとしてもよい。

さらに上記座標入力デバイスにおいて、前記操作位置案内手段は、複数の前記表示要素を備え、複数の前記表示要素のそれぞれにより反射された光により、複数の前記操作対象となる位置をユーザに案内することとしてもよい。

また、上記座標入力デバイスにおいて、前記発光部から発せられる光は非可視光であって、前記表示要素は、前記非可視光に対して可視光を反射する蛍光材料により形成されることとしてもよい。

また、上記座標入力デバイスにおいて、前記操作位置案内手段は、複数種類の前記案内状態のそれぞれにおいて、互いに異なる位置を前記操作対象となる位置としてユーザに案内し、前記アプリケーションプログラムに対して、前記複数種類の案内状態のそれぞれにおいて案内された前記操作対象となる位置に、ユーザが触れたか否かを示す情報が前記操作データとして供給されることとしてもよい。

また、本発明に係る表示装置は、光を発する発光部と、前記発光部から発せられた光を受ける反射面と、前記発光部から発せられた光に対して、当該光と異なる波長の光を反射する蛍光材料により形成され、前記反射面内の所定位置に所定形状で配置された表示要素と、を含み、前記表示要素により反射された光により、前記所定形状の画像を所定位置に表示することを特徴とする。

また、本発明に係る情報処理システムは、座標入力デバイスと、当該座標入力デバイスが接続されるコンピュータと、を含む情報処理システムであって、前記座標入力デバイスに設けられた透明な操作面と、前記操作面にユーザの指が触れた場合に、当該ユーザの指が触れた位置座標を検知する座標検知手段と、所定の案内状態において、前記操作面内のユーザによる操作対象となる位置をユーザに案内する操作位置案内手段と、前記コンピュータにおいて実行されるアプリケーションプログラムに対して、所定の座標入力状態においては、前記検知された位置座標を操作データとして供給し、前記案内状態においては、前記検知された位置座標に代えて、前記案内された操作対象となる位置にユーザが触れたか否かを示す情報を前記操作データとして供給する操作データ供給手段と、を含むことを特徴とする。

また、本発明に係る情報処理方法は、コンピュータと接続される座標入力デバイスに設けられた透明な操作面に、ユーザの指が触れた場合に、当該ユーザの指が触れた位置座標を検知するステップと、所定の案内状態において、前記操作面内のユーザによる操作対象となる位置をユーザに案内するステップと、前記コンピュータにおいて実行されるアプリケーションプログラムに対して、所定の座標入力状態においては、前記検知された位置座標を操作データとして供給し、前記案内状態においては、前記検知された位置座標に代えて、前記案内された操作対象となる位置にユーザが触れたか否かを示す情報を前記操作データとして供給するステップと、を含むことを特徴とする。

図１は、本発明の実施の形態に係る座標入力デバイスを含む情報処理システムの例を表す概略図である。 図２（ａ）、図２（ｂ）及び図２（ｃ）は、本発明の実施の形態に係る座標入力デバイスの例を表す概観図である。 図３は、本発明の実施の形態に係る座標入力デバイスの内部構造の例を表す断面図である。 図４は、本発明の実施の形態に係る座標入力デバイスが表示する案内画像の一例を表す図である。 図５は、本発明の実施の形態に係る座標入力デバイスの回路部の構成例を表す構成ブロック図である。 図６は、情報処理装置の構成例を表す構成ブロック図である。 図７は、仮想３次元空間の一例を示す説明図である。

以下、本発明の一実施形態について、図面を参照しながら説明する。

本実施形態に係る情報処理システム１は、図１に示すように、相互に通信可能に接続された操作デバイス２（座標入力デバイス）と、情報処理装置３（コンピュータ）と、を含んで構成される。本実施形態においては、操作デバイス２は情報処理装置３と無線にて通信を行うこととしているが、これに限らず有線にて接続されてもよい。

本実施形態に係る操作デバイス２は、ユーザが保持して使用するデバイスであって、図２（ａ）、図２（ｂ）及び図２（ｃ）に示されるように、略直方体の形状をしている。なお、図２（ａ）は操作デバイス２の正面図であり、図２（ｂ）は右側面図であり、図２（ｃ）は背面図である。また、以下の説明においては、図２（ａ）に示されるように、操作デバイス２の幅方向をＸ軸方向、長手方向をＹ軸方向、厚さ方向（図２（ａ）において紙面奥に向かう方向）をＺ軸方向とする。これらの各軸は、互いに直交している。

図２（ａ）に示すように、操作デバイス２の中心部には、座標入力に用いられるタッチパネル１１（操作面）が設けられている。このタッチパネル１１は透明であり、操作デバイス２の正面において、矩形の領域を占めている。さらに、操作デバイス２の筐体のうち、裏面側においてタッチパネル１１の反対側に位置する部分も透明になっている。そのため、操作デバイス２の正面及び裏面のいずれからでも、タッチパネル１１を透過して操作デバイス２の反対側が見える構造になっている。タッチパネル１１は、その表面にユーザの指が触れた場合に、当該ユーザの指が触れた位置を検知し、検知した位置の位置座標を示す信号を出力する。タッチパネル１１は、抵抗膜方式や、光学方式、静電方式など、各種の方式で指の接触を検知するものであってよい。

さらに、操作デバイス２の内部には、タッチパネル１１に対してかかる圧力を検知する圧力センサ等の圧力検知手段が設けられてもよい。これにより、ユーザがタッチパネル１１に指を押し当てる操作を行った場合、情報処理システム１は、ユーザの指の位置だけでなく、指を押し当てる圧力を検知し、検知した圧力に応じた処理を実行することができる。

また、タッチパネル１１の中心部には、センタ突起部１２ａが設けられている。また、タッチパネル１１の端部近傍の所定位置には、二つの突起部１２ｂ及び１２ｃがそれぞれ設けられている。これらの突起部は、ユーザがタッチパネル１１を見なくとも、指でタッチパネル１１の表面に触れるだけでその位置が分かるようになっている。

さらに、図２（ｂ）に示すように、操作デバイス２の右側面上方には、円弧状操作部材１３が設けられている。円弧状操作部材１３は、操作デバイス２の正面から見て円弧状に形成された静電センサ等のセンサである。円弧状操作部材１３は、その表面にユーザの指が触れた場合に、ユーザの指が触れた位置を示す信号をユーザの操作内容を示す情報として出力する。円弧状操作部材１３が出力する信号に基づいて、ユーザの指が円弧に沿って上方又は下方のいずれの方向に動いたかを特定することにより、情報処理システム１は、円弧状操作部材１３を指でなぞるユーザの操作に応じた処理を実現できる。また、円弧状操作部材１３は円の一部のような形状であるため、ユーザはあたかも指で当該部分を回転させるような指の動きで、操作指示を行うことができる。

また、図２（ｃ）に示すように、操作デバイス２の裏面には、ユーザの操作対象となる３つのスイッチ１４ａ、１４ｂ及び１４ｃが設けられている。これらのスイッチも、ユーザの指が接触したことを検知する静電センサ等のセンサによって構成されてもよい。

次に、操作デバイス２の内部構造について説明する。操作デバイス２の内部には、タッチパネル１１と平行に、情報表示部１９が配置されている。情報表示部１９は、所定の案内状態において、タッチパネル１１内のユーザによる操作対象となる位置をユーザに案内する案内情報（案内画像）を表示する。本実施形態における情報表示部１９は、以下に詳しく説明するように、中空部１５を形成する入射面１６ａ、反射面１６ｂ、及び出射面１６ｃと、発光部１７と、表示要素１８と、を含んで構成される。

図３は、操作デバイス２を、Ｘ軸及びＺ軸に平行、Ｙ軸に垂直で、かつタッチパネル１１を通る平面で切った断面図である。図３に示すように、操作デバイス２の内部には、略三角柱の形状をした中空部１５が存在する。中空部１５は、入射面１６ａ、反射面１６ｂ、及び出射面１６ｃの３つの側面によって形成されている。入射面１６ａは、Ｙ軸及びＺ軸に平行で、Ｘ軸に垂直な平面である。出射面１６ｃは、Ｘ軸及びＹ軸に平行で、Ｚ軸に垂直な平面であって、タッチパネル１１の裏面に面している。また、反射面１６ｂはＹ軸に平行な平面であって、Ｘ軸及びＺ軸のそれぞれに対して所定の角度だけ傾いている。なお、これらの面は、いずれも透明な部材によって形成される。

さらに、図２（ａ）及び図３に示されるように、操作デバイス２の内部には、入射面１６ａに面して、複数の発光部１７が配置されている。図２（ａ）の例においては、３つの発光部１７ａ、１７ｂ、及び１７ｃが、Ｙ軸方向に沿って並んだ状態で配置されている。

それぞれの発光部１７は、例えば紫外線発光ダイオード及び集光レンズを含んで構成される。この発光部１７は、発光ダイオードが発する光を集光レンズによって指向性のある光にして、Ｘ軸の負方向に向けて照射する。発光部１７から発せられた光は、入射面１６ａを通って中空部１５に入射する。なお、発光部１７が発する光は、紫外線発光ダイオードが発する紫外線光などの非可視光であってよい。

反射面１６ｂは、この発光部１７から発せられた光が照射される位置に配置されている。なお、反射面１６ｂは前述した通りＸ軸に対して傾いているため、Ｘ軸の負方向に向けられた発光部１７からの光は、反射面１６ｂに対して斜めに入射する。

反射面１６ｂ上の所定位置には、所定形状の表示要素１８が配置されている。表示要素１８は、所定の波長の光（励起光）を受けると、励起光の波長とは異なる波長の光（蛍光）を発する物質（蛍光材料）により形成されている。この表示要素１８によって、発光部１７から中空部１５に入射した光の一部は、波長の異なる光（例えば可視光）となって反射される。なお、本実施形態における表示要素１８は、通常の室内などにおける環境光の下では、無色透明の状態になっている。

表示要素１８によって反射された光は、出射面１６ｃを通って中空部１５の外部に出射し、タッチパネル１１を透過して操作デバイス２の外部に出射する。図３における破線の矢印は、発光部１７から発せられ、表示要素１８によって反射される光の光路の一例を示している。なお、出射面１６ｃとタッチパネル１１との間には、蛍光以外の散乱光や励起光などを遮断するためのフィルタ部が設けられてもよい。

以上説明した構成によれば、発光部１７から光が発せられると、操作デバイス２の外面のうちタッチパネル１１が占める領域内に、反射光による案内画像が表示される。この案内画像は、反射面１６ｂ上の表示要素１８の形状に応じた形状で、反射光の波長に応じた色になる。このように、発光部１７からの光を反射面１６ｂに配置された表示要素１８が異なる波長の光として反射することにより、操作デバイス２は、所定形状の画像を所定位置に表示する表示装置として動作する。なお、前述したように、タッチパネル１１及び操作デバイス２の筐体裏面側のタッチパネル１１の位置に対応する部分は、透明である。そのため、案内画像は、あたかも透明な操作デバイス２の内部に浮かび上がるように見える。

操作デバイス２は、発光部１７による発光のオン／オフを切り替えることによって、案内画像を表示させたり消したりすることができる。また、複数の発光部１７のうち、一部の発光部１７だけ発光させることにより、複数の案内画像のうち、一部の案内画像だけを表示させる制御を行ってもよい。この案内画像は、所定の状態の下で、タッチパネル１１上のユーザによる操作対象となる位置を、ユーザに案内するために用いられる。

図４は、操作デバイス２が表示する案内画像の一例を示す図である。ここで、案内画像Ｐ１は発光部１７ａからの光に応じて、案内画像Ｐ２及びＰ３は発光部１７ｂからの光に応じて、案内画像Ｐ４は発光部１７ｃからの光に応じて、それぞれタッチパネル１１上の所定の位置に表示される。

なお、これらの案内画像が表示される位置を、センタ突起部１２ａと一致する位置や、図４に例示するようにセンタ突起部１２ａの周囲（上下左右など）の所定の位置とすることにより、ユーザは操作デバイス２の案内画像を直接目で見て確認せずとも、センタ突起部１２ａの位置を指で探すことで、これらの案内画像が表示される位置を操作することができる。この場合、操作デバイス２の個体差により、案内画像が表示される位置とセンタ突起部１２ａとの間の位置関係にばらつきが生じないようにすることが望ましい。そこで、操作デバイス２の製造時に、表示要素１８が配置される位置とセンタ突起部１２ａとの位置関係が所定のものとなるよう、調整しながら組み立てることとしてもよい。

次に、操作デバイス２の内部に実装される回路部について、説明する。操作デバイス２の回路部は、機能的に、図５に示すように、信号処理部２１と、通信部２２と、傾き検知部２３と、バッテリ２４と、を含んで構成される。

信号処理部２１は、マイクロコンピュータ等であって、内蔵する記憶部に格納されたプログラムに従って動作する。この信号処理部２１は、タッチパネル１１や、円弧状操作部材１３、スイッチ１４ａ、１４ｂ及び１４ｃなどの操作部材に対するユーザの操作に応じた信号を、ユーザの操作内容を示す情報として出力する。また、後述する傾き検知部２３による検知結果に応じた信号を出力する。これらの信号は、通信部２２を介して情報処理装置３に送信される。通信部２２は、例えばBluetooth（登録商標）規格に基づく無線通信手段であり、信号処理部２１が出力する信号を情報処理装置３に対して送信する。また、信号処理部２１は、通信部２２を介して情報処理装置３から受信した制御信号に基づいて、発光部１７による発光のオン／オフを切り替えることにより、情報表示部１９による案内情報の表示／非表示を切り替える制御を実行する。

傾き検知部２３は、例えば加速度センサであって、操作デバイス２の傾きを検知し、検知した結果を示す信号を信号処理部２１に対して出力する。この場合の加速度センサは、例えば３つの基準軸（Ｘ軸、Ｙ軸、Ｚ軸）のそれぞれの方向に生じる加速度を検知する３軸加速度センサであってよい。３軸加速度センサは、各軸に対して生じる加速度に略比例する３つの電圧信号を出力する。

この傾き検知部２３による検知結果を用いることにより、情報処理システム１は、タッチパネル１１等の操作部材に対するユーザの操作だけでなく、操作デバイス２そのものの姿勢を変化させるユーザの操作に応じた処理を実行できる。例えば、操作デバイス２に設定された各基準軸に対して生じる重力加速度を傾き検知部２３が検知することによって、各基準軸が水平面に対してどの程度傾いているかを判定することが可能となる。また、ユーザが操作デバイス２を振った場合、短い時間内に重力加速度を超える加速度が生じる。そこで、情報処理システム１は、このような加速度の変化を検知することにより、ユーザが操作デバイス２を振る動作に応じて所定の処理を実行することができる。

バッテリ２４は、例えば充放電可能な二次電池であり、操作デバイス２の各部に電源を供給する。

一方、情報処理装置３は、例えば家庭用ゲーム機やパーソナルコンピュータ等であって、図６に示すように、制御部３１と、記憶部３２と、表示制御部３３と、インタフェース部３４と、を含んで構成される。

制御部３１は、ＣＰＵ等であって、記憶部３２に格納されたプログラムに従って動作する。本実施形態において、制御部３１は、インタフェース部３４を介して操作デバイス２から送信されるユーザの操作内容を示す信号に基づいて、例えばゲームなどの各種の処理を実行する。

記憶部３２は、例えばＲＡＭやＲＯＭ等の記憶素子、ハードディスクやＤＶＤ−ＲＯＭ等のディスクデバイスなど、コンピュータ読み取り可能な情報記憶媒体を含んで構成される。記憶部３２には、制御部３１によって実行されるプログラムが格納される。また、制御部３１のワークメモリとしても動作する。

表示制御部３３は、家庭用テレビ受像機等の表示装置に接続されている。表示制御部３３は、制御部３１の指示に従って画像を描画し、描画した画像を表示装置に出力し、表示させる。

インタフェース部３４は、通信部２２と同様の通信手段を備え、少なくとも一つの操作デバイス２と接続される。このインタフェース部３４は、操作デバイス２から受信したユーザの操作内容を示す信号を、制御部３１に出力する。また、インタフェース部３４は、制御部３１の指示に従って、操作デバイス２を制御する各種の信号等を出力することとしてもよい。

本実施形態において、情報処理装置３の制御部３１は、記憶部３２に記憶されたアプリケーションプログラムを実行することによって、ユーザの操作デバイス２に対する指示操作に応じた処理を実行する。この場合において、以下に説明するように、同じタッチパネル１１に対するユーザの操作に対して、情報処理システム１の動作状態に応じて異なる種類の情報が操作データとしてアプリケーションプログラムに供給される。

以下、複数の動作状態のそれぞれにおける、ユーザの操作内容とアプリケーションプログラムに供給される操作データとの対応関係について、説明する。なお、以下の説明においては、情報処理システム１は座標入力状態又は案内状態のいずれかの動作状態で動作するものとする。

まず、座標入力状態においては、操作デバイス２は座標入力用のデバイスとして機能し、アプリケーションプログラムに対してはユーザの指が触れた位置（以下、接触検知位置という）を示す位置座標が操作データとして供給される。具体例として、アプリケーションプログラムを実行する制御部３１は、供給される操作データに応じて仮想３次元空間内に配置された視点位置を移動させる処理を行うこととする。この場合、供給される操作データは方向を指示する操作入力として扱われる。図７は、アプリケーションプログラムによって実現される仮想３次元空間の一例を示す説明図である。図７の例においては、Ｘ′、Ｙ′、Ｚ′の３つの基準軸が設定された空間内に、視点位置Ｖが配置されている。また、視点位置Ｖには予め視線方向Ｄが定められている。制御部３１は、視点位置Ｖから視線方向Ｄに向かって仮想３次元空間を見た様子を示す空間画像を生成し、表示制御部３３を介して表示装置に生成した空間画像を表示する。

この例においては、タッチパネル１１の中心位置（センタ突起部１２ａが配置された位置）を基準位置とする。そして、接触検知位置の基準位置に対する方向により、視点位置Ｖの移動方向が決定される。また、接触検知位置の基準位置からの距離に応じて、視点位置Ｖの移動速度が決定される。例えば、タッチパネル１１上において基準位置に対してＸ軸の正方向の位置にユーザの指が触れている間、視点位置Ｖは仮想３次元空間内においてＸ′軸の正方向に移動する。この場合に、ユーザの指が基準位置に近い位置に触れている場合には、視点位置Ｖは比較的遅い速度で移動し、ユーザの指がタッチパネル１１の端部に近い位置に触れている場合には、視点位置Ｖは比較的速い速度で移動する。

この例のように基準位置からの方向により視点位置Ｖの移動方向が決定される場合、基準位置の近傍の所定範囲については、ユーザがいずれの方向を指示しているか判別し難くなるため、方向を指示する操作に用いないこととしてもよい。さらにこの場合、基準位置の近傍の所定範囲を、方向を指示する操作とは異なる操作に用いることとしてもよい。例えば、タッチパネル１１の表面は２次元であるため、Ｘ′軸及びＹ′軸といった２次元の方向を指示することはできるが、接触検知位置の基準位置に対する方向の情報だけでは、３次元の方向に対する指示操作を実現できない。そこで、この所定範囲をＺ′軸に対する方向の指示操作に用いることにより、ユーザは３次元空間内の任意の方向に対する指示操作を行うことができる。

この場合、単に所定範囲にユーザの指が触れたか否かだけでは、Ｚ′軸の正方向及び負方向のいずれの方向に対する指示がなされたか特定できない。そこで、制御部３１は、傾き検知部２３によって検知された操作デバイス２の傾きに関する情報と、接触検知位置の位置座標の情報と、を組み合わせて、方向の特定を行ってもよい。例えば、操作デバイス２のＹ軸が水平面に対して所定の基準角度（例えば６０度）以上傾いた状態で基準位置近傍の所定範囲にユーザの指が触れた場合には、視点位置Ｖを仮想３次元空間内においてＺ′軸の負方向に移動させる。一方、操作デバイス２のＹ軸の水平面に対する傾きが基準角度未満の状態で基準位置近傍の所定範囲にユーザの指が触れた場合には、視点位置Ｖを仮想３次元空間内においてＺ′軸の正方向に移動させる。こうすれば、ユーザはタッチパネル１１を触れる操作と操作デバイス２を傾ける操作を組み合わせて、視点位置Ｖを仮想３次元空間内において任意の方向に移動させることができる。

なお、この場合において、制御部３１は、操作デバイス２のＹ軸の水平面に対する角度と基準角度との差に応じて、視点位置ＶのＺ′軸正負方向に対する移動速度を決定してもよい。また、前述したようにタッチパネル１１をユーザが押す力を圧力センサ等により検知可能な場合、制御部３１は、基準位置近傍の所定範囲をユーザが押す力の強さに応じて、視点位置Ｖの移動速度を変化させてもよい。

また、この例においては操作デバイス２の傾きが基準角度以上か否かによってＺ′軸の正負方向を区別している。そのため、ユーザの意図に反して操作デバイス２の傾きが変化してしまい、指示方向が逆転してしまうことがあり得る。そこで、操作デバイス２は例えば振動モータ等を備え、操作デバイス２の傾きが基準角度に近づいた場合、又は基準角度を超えて変化する場合に、このような事象の発生を装置の振動によってユーザに提示してもよい。

また、基準位置から接触検知位置までの距離に応じて視点位置Ｖの移動速度が決定される場合、タッチパネル１１は矩形であるため、矩形領域の四隅にあたる位置も、方向を指示する操作に使われる可能性は少ないと考えられる。そこで、このようなタッチパネル１１の端部近傍の範囲についても、方向を指示する操作とは異なる特定の機能に割り当ててもよい。例えば、タッチパネル１１の端部近傍に設けられた突起部１２ｂ又は１２ｃの位置をユーザが指で触れた場合には、視線方向Ｄの鉛直角をそれぞれ上方向又は下方向に変化させるなどの処理を実行してもよい。

なお、センタ突起部１２ａ及び突起部１２ｂ、１２ｃの存在により、ユーザは、都度タッチパネル１１を目で見て確認せずとも、これらの突起部を指で探すことで、それぞれ特定の機能が割り当てられたタッチパネル１１上の所定の場所に触れることができる。

また、接触検知位置の基準位置からの距離が所定の値以上か否かに応じて、制御部３１は異なる種類の処理を実行してもよい。例えば、接触検知位置が基準位置から所定距離以内の場合には、これまでに説明した処理によって視点位置Ｖを移動させる。一方、接触検知位置が基準位置から所定距離以上離れている場合には、視点位置Ｖを移動させる代わりに、例えば画面上に表示されたカーソル画像など、その他のオブジェクトを移動させることとしてもよい。

また、このような３次元の方向を指示する入力に加えて、ユーザが円弧状操作部材１３を上方向又は下方向に指でなぞる操作により、さらに４次元的な方向を指示する操作入力が実現されてもよい。これにより、例えば仮想３次元空間内に配置されたオブジェクトの位置が時系列に従って変化する場合に、ユーザは、前述したタッチパネル１１に対する操作によって視点位置Ｖを変化させつつ、円弧状操作部材１３を操作することにより仮想３次元空間内の時間を進めたり、又は戻したりすることができる。

一方、情報処理システム１の状態が座標入力状態から案内状態に切り替わった場合、操作デバイス２は、タッチパネル１１内のユーザによる操作対象となる位置（以下、操作対象位置という）をユーザに案内する。そして、情報処理装置３の制御部３１は、座標入力状態におけるタッチパネル１１の位置座標の情報に代えて、この操作対象位置にユーザが触れたか否かを示す情報を操作データとしてアプリケーションプログラムに供給する。このような処理は、例えば記憶部３２に格納されたデバイスプログラムを制御部３１が実行することによって、実現される。

具体例として、操作デバイス２は、発光部１７を発光させて、前述した図４の例のような複数の案内画像を表示することにより、ユーザにタッチパネル１１内の複数の操作対象位置を案内する。この例においては、各案内画像が表示された位置が、それぞれ異なる操作の対象となる操作対象位置になっている。また、各操作対象位置は、それぞれ１つの案内画像を含む一定の範囲の領域であるものとする。

この場合、制御部３１は、操作デバイス２から送信された接触検知位置の位置座標の情報を取得する。そして、当該取得した位置座標が複数の操作対象位置のいずれかに含まれるか否かを判定する。接触検知位置がいずれかの操作対象位置に含まれる場合、制御部３１は、この接触検知位置が含まれる操作対象位置を特定する情報を、操作データとしてアプリケーションプログラムに供給する。一方、接触検知位置がいずれの操作対象位置にも含まれない場合には、操作対象位置以外のいずれかの位置にユーザの指が触れている場合であっても、ユーザの操作がなされていないことを示す情報を操作データとしてアプリケーションプログラムに供給する。

以上説明した処理によって、ユーザは、各案内画像が表示されたタッチパネル１１上の位置に触れることで、それぞれの案内画像に対応する機能をアプリケーションプログラムに実行させることができる。例えば図４に示す案内画像がタッチパネル１１上に表示されている場合、ユーザが案内画像Ｐ１の位置に触れることによって、情報処理装置３は、アプリケーションプログラムを実行してコンテンツの再生を行う。また、ユーザが案内画像Ｐ２、Ｐ３又はＰ４の位置に触れることによって、それぞれコンテンツ再生の早送り、巻き戻し、又は停止を実行する。

以上の例においては、アプリケーションプログラムによって実行される処理の内容に応じて、情報処理装置３の制御部３１が座標入力状態と案内状態とを切り替えることとしている。制御部３１は、アプリケーションプログラムの処理内容に応じて、操作デバイス２に対して座標入力状態と案内状態とを切り替える制御信号を出力する。操作デバイス２の信号処理部２１は、受信した制御信号に応じて発光部１７による発光のオン／オフを切り替える制御を行うことにより、状態に応じた案内画像の表示／非表示の切り替えを行う。

なお、座標入力状態と案内状態とは、ユーザの操作デバイス２に対する所定の操作に応じて切り替えられることとしてもよい。例えば操作デバイス２は、状態切り替え用のスイッチを備えてもよい。この場合、操作デバイス２のスイッチ操作によって切り替えられた状態に関する情報が情報処理装置３に対して出力され、情報処理装置３は出力された情報に基づいて操作データを生成し、アプリケーションプログラムに供給する。

以上説明したように、本実施形態によれば、ユーザは、座標入力状態においてはタッチパネル１１を座標入力に用いるとともに、案内状態においては操作デバイス２上に提示される案内に従ってタッチパネル１１内の所定の操作対象位置に対して操作を行うこととする。これにより、情報処理システム１は、同じタッチパネル１１に対するユーザの操作に対して、その状態に応じた操作データをアプリケーションプログラムに供給することができ、ユーザは状態に応じて様々な用途に座標入力デバイスを用いることができる。また、案内状態にない場合には案内画像が消去されることにより、座標入力などの他の用途に操作デバイス２を使用する場合に、不要な表示によりタッチパネル１１を操作し難くなることを防止できる。

なお、本発明は上記実施形態に限定されるものではなく、種々の変形実施が可能である。例えば、以上の説明において情報処理装置３の制御部３１が実行することとした処理の一部又は全部は、操作デバイス２内の信号処理部２１が実行することとしてもよい。具体例として、案内状態において、接触検知位置が操作対象位置内にあるか否かを信号処理部２１が判定し、判定結果を操作データとして情報処理装置３に送信することとしてもよい。

また、以上の説明においては１つの座標入力状態と１つの案内状態とが切り替えられることとしたが、座標入力状態及び案内状態はいずれもアプリケーションプログラムによって実行される処理などに応じて複数種類あってもよい。この場合、操作デバイス２は、複数種類の案内状態のそれぞれにおいて、互いに異なる位置を操作対象位置としてユーザに案内してもよい。また、複数種類の案内状態のそれぞれにおいて、ユーザに提示される案内画像は互いに異なってもよい。例えば操作デバイス２は、複数の発光部１７のうち案内状態の種類に応じて選択された一部の発光部１７を発光させることにより、状態ごとに異なる案内画像を表示させることができる。

あるいは、操作デバイス２は、複数の中空部１５を備えてもよい。この場合、複数の中空部１５は、例えば操作デバイス２内においてＺ軸方向に沿って重ねて配置される。そして、複数の中空部１５のそれぞれに対して、光を照射する１又は複数の発光部１７が配置される。また、各中空部１５を構成する反射面１６ｂのそれぞれは、対応する発光部１７からの光をタッチパネル１１が配置された方向に反射する角度で配置される。また、各反射面１６ｂには、互いに異なる位置及び／又は形状で表示要素１８が配置される。これにより、操作デバイス２は、案内状態の種類に応じて、複数の中空部１５のいずれかに対応する発光部１７を発光させることで、各中空部１５に配置された表示要素１８に応じた案内画像を選択的に表示させることができる。なお、このような構造によれば、２層の中空部１５による表示を交互に切り替えて、例えば液晶シャッタ方式などによる立体映像を表示することもできる。

また、操作デバイス２は、中空部１５を挟んで正面側だけでなく、裏面側にもタッチパネルを備えてもよい。操作デバイス２のタッチパネル１１が配置された部分は透明なので、操作デバイス２の裏面側の指の位置も正面側から見ることができる。そのため、ユーザは、裏面のタッチパネル上において、案内画像が表示された位置に対応する位置を指で触れる操作も容易に行うことができる。操作デバイス２がこのような裏面のタッチパネルに対する操作を検知することにより、ユーザは、状況に応じて正面又は裏面のどちらに対しても操作を行うことができる。また、ユーザが両面のタッチパネルに対してそれぞれ異なる操作を行うことにより、制御部３１は、複数のオブジェクトを同時にそれぞれ指示された方向に移動させるなどの処理を実行してもよい。

さらに、操作デバイス２は、例えば紙製のカードなどをタッチパネル１１に平行な向きで挿入又は嵌め込み可能に構成されてもよい。このカードには、操作対象位置をユーザに案内するための案内画像が形成されている。情報処理システム１は、操作デバイス２にこのようなカードが挿入されたことを検知することによって、カードが挿入されている間、カードに表された案内画像の位置に応じた操作対象位置に接触検知位置が含まれるか否かを示す情報を、操作データとしてアプリケーションプログラムに供給する。この場合において、情報処理システム１は、例えばカードに埋め込まれたＲＦＩＤタグなどによってカードの種類を識別することにより、識別したカードの種類に応じて予め定められた位置を操作対象位置として、操作データを生成してもよい。これにより、複数種類のカードを交換することで、一つの操作デバイス２を様々な操作方法で使用することができる。

さらに、上述したカードなどの対象物を操作デバイス２の内部に挿入するのではなく、例えば対象物を操作デバイス２のタッチパネル１１と反対側の面に重ねるなど、ユーザから見て操作デバイス２に対して奥側の位置に配置して使用してもよい。この場合において、情報表示部１９は、例えばカメラ等により撮像された画像や、センサの検知結果などを用いてこの対象物の位置を特定し、特定した位置に応じたタッチパネル１１上の位置に、案内情報を表示させてもよい。操作デバイス２のタッチパネル１１が配置された部分は透明になっているため、ユーザは、操作デバイス２を通して対象物を見ながら、タッチパネル１１に対する操作を行うことができる。

また、以上の説明においては発光部１７からの光を表示要素１８が反射することにより案内画像を表示することとしているが、情報表示部１９は、他の方法で案内情報を表示してもよい。例えば情報表示部１９は、半透過型液晶などを用いた表示装置により、各種の案内情報を所定位置に表示させてもよい。

Claims (9)

1. コンピュータに接続される座標入力デバイスであって、
   透明な操作面と、
   前記操作面にユーザの指が触れた場合に、当該ユーザの指が触れた位置座標を検知する座標検知手段と、
   所定の案内状態において、前記操作面内のユーザによる操作対象となる位置をユーザに案内する操作位置案内手段と、
   を含み、
   前記コンピュータにおいて実行されるアプリケーションプログラムに対して、所定の座標入力状態においては、前記検知された位置座標が操作データとして供給され、前記案内状態においては、前記検知された位置座標に代えて、前記案内された操作対象となる位置にユーザが触れたか否かを示す情報が前記操作データとして供給される
   ことを特徴とする座標入力デバイス。
2. 請求の範囲第１項に記載の座標入力デバイスにおいて、
   前記操作位置案内手段は、複数の前記操作対象となる位置をユーザに案内し、
   前記アプリケーションプログラムに対して、前記案内状態において、複数の前記操作対象となる位置のうち、ユーザが触れた位置を特定する情報が前記操作データとして供給される
   ことを特徴とする座標入力デバイス。
3. 請求の範囲第１項に記載の座標入力デバイスにおいて、
   前記操作位置案内手段は、
   前記案内状態において光を発する発光部と、
   前記発光部から発せられた光を受ける反射面と、
   前記発光部から発せられた光に対して、当該光と異なる波長の光を反射する蛍光材料により形成され、前記反射面内の所定位置に所定形状で配置された表示要素と、
   を含み、
   前記表示要素により反射された光が、前記操作面内の前記操作対象となる位置に応じた位置を透過することにより、前記操作対象となる位置をユーザに案内する
   ことを特徴とする座標入力デバイス。
4. 請求の範囲第３項に記載の座標入力デバイスにおいて、
   前記操作位置案内手段は、複数の前記表示要素を備え、複数の前記表示要素のそれぞれにより反射された光により、複数の前記操作対象となる位置をユーザに案内する
   ことを特徴とする座標入力デバイス。
5. 請求の範囲第３項に記載の座標入力デバイスにおいて、
   前記発光部から発せられる光は非可視光であって、
   前記表示要素は、前記非可視光に対して可視光を反射する蛍光材料により形成される
   ことを特徴とする座標入力デバイス。
6. 請求の範囲第１項に記載の座標入力デバイスにおいて、
   前記操作位置案内手段は、複数種類の前記案内状態のそれぞれにおいて、互いに異なる位置を前記操作対象となる位置としてユーザに案内し、
   前記アプリケーションプログラムに対して、前記複数種類の案内状態のそれぞれにおいて案内された前記操作対象となる位置に、ユーザが触れたか否かを示す情報が前記操作データとして供給される
   ことを特徴とする座標入力デバイス。
7. 光を発する発光部と、
   前記発光部から発せられた光を受ける反射面と、
   前記発光部から発せられた光に対して、当該光と異なる波長の光を反射する蛍光材料により形成され、前記反射面内の所定位置に所定形状で配置された表示要素と、
   を含み、
   前記表示要素により反射された光により、前記所定形状の画像を所定位置に表示することを特徴とする表示装置。
8. 座標入力デバイスと、当該座標入力デバイスが接続されるコンピュータと、を含む情報処理システムであって、
   前記座標入力デバイスに設けられた透明な操作面と、
   前記操作面にユーザの指が触れた場合に、当該ユーザの指が触れた位置座標を検知する座標検知手段と、
   所定の案内状態において、前記操作面内のユーザによる操作対象となる位置をユーザに案内する操作位置案内手段と、
   前記コンピュータにおいて実行されるアプリケーションプログラムに対して、所定の座標入力状態においては、前記検知された位置座標を操作データとして供給し、前記案内状態においては、前記検知された位置座標に代えて、前記案内された操作対象となる位置にユーザが触れたか否かを示す情報を前記操作データとして供給する操作データ供給手段と、
   を含むことを特徴とする情報処理システム。
9. コンピュータと接続される座標入力デバイスに設けられた透明な操作面に、ユーザの指が触れた場合に、当該ユーザの指が触れた位置座標を検知するステップと、
   所定の案内状態において、前記操作面内のユーザによる操作対象となる位置をユーザに案内するステップと、
   前記コンピュータにおいて実行されるアプリケーションプログラムに対して、所定の座標入力状態においては、前記検知された位置座標を操作データとして供給し、前記案内状態においては、前記検知された位置座標に代えて、前記案内された操作対象となる位置にユーザが触れたか否かを示す情報を前記操作データとして供給するステップと、
   を含むことを特徴とする情報処理方法。

Images