WO2003104967A1 - ３次元空間内の任意の点を指定する処理のための情報処理方法 - Google Patents

Abstract

２次元表示画面上に３次元空間を表示し、ユーザが指定した２次元表示画面内の点の座標値及び押圧値を検出し、座標値及び押圧値の大きさに従って３次元空間内の位置を特定する。これにより、ユーザは、２次元表示画面上の点を指定することにより３次元空間内の任意の点の位置を簡単に指定することができるようになり、現実世界における動作に近い自然な操作感で、３次元空間内の任意の点を容易、且つ、精度高く指定することが可能となる。

Description

明細書

3次元空間内の任意の点を指定する処理のための情報処理方法

技術分野

本発明は、 例えば 2次元表示画面上に表示されている 3 次元空 間内の任意の点を指定する処理に適用 して好適な、 情報処理方法 情報処理プロ グラムを記録した コ ン ピ ュータ読み取 り 可能な記 録媒体、 情報処理プロ グラム、 及ぴ情報処理装置に関する。 背景技術

従来、 液晶ディ スプレイ装置や C R T ( C atho de Ray Tub e ) 等 の 2 次元表示画面上に表示されている画像の中の任意の点を指 定する場合には、 ユーザは、 マウスポイ ンタ， タブレッ ト， タ ツ チパネル等の入力装置や指で所望の点をシス テ ム に対し指示 し ていた。

しかしなが ら、 一般に、 従来までのシステ ム は 2次元表示画面 の面内方向における点の位置しか指定する こ と ができ ない構成 と なっているために、 例えば 2次元表示画面上に表示されている 3次元空間内の任意の点を指定する こ とができない。 なお、 例え ば、 表示画面の面内方向における点の位置 （x，y)を指定する入力 装置に加えて、 表示画面に対し垂直方向 （z ) (奥行方向） の点の 位置を指定する別の入力装置を利用する方法や、 指定する点の 3 次元座標 （x，y, z ) を直接入力する方法を用いる こ とによ り 、 3次 元空間内の任意の点の位置を指定する こ と も考えられるが、 こ の 方法を用いた場合には、 ユーザの操作が非常に煩雑と な り 、 点を 簡単に指定する こ とができなく なって しま う。 また、 例えば 3次 元マ ウスボイ ンタ を利用 して 3 次元空間内の点の位置を指定す る方法も考えられるが、 一般的に、 3次元マウスポイ ンタは、 ュ 一ザが空中で操作する構成と なっているために、 点を指定する際 にはユーザは多く の労力が必要と なるばかり でなく、 システムに 対し点を正確に指定するこ とが難しい。

本発明は、 上記課題を解決するためになされたものであ り 、 そ の 目的は、 2次元表示画面に表示されている 3次元空間内の任意 の点を 自然な操作感で容易、 且つ、 精度高く 指定する こ と を可能 にする、 情報処理方法、 情報処理プロ グラムを記録したコ ンビュ ータ読み取り 可能な記録媒体、 情報処理プロ グラム、 及び情報処 理装置を提供する こ と にある。 発明の開示

本発明の第 1 の特徴は、 2次元表示画面上に 3次元空間を表示 し、 ユーザが指定した 2次元表示画面内の点の座標値及び奥行値 を検出 し、 座標値及ぴ奥行値の大き さに従って 3次元空間内の位 置を特定する こ と にある。 すなわち、 この発明においては、 ユー ザが指定した 2 次元表示画面上の点の位置とその点における奥 行値に基づいてユーザが指定する 3 次元空間内の位置を特定す る。 こ のよ う な構成によれば、 ユーザは、 現実世界における動作 に近い自然な操作感で、 3次元空間内の点を容易、 且つ、 精度高 く 指定するこ とができ る。

また、 本発明の第 2 の特徴は、 2次元表示画面上に少なく と も 一つのオブジェク トを表示し、 ユーザが指定した 2次元表示画面 上の点の座標値及ぴ奥行値を検出し、 座標値によ り指定されるォ ブジェ ク ト に対し奥行値の大き さ に応 じた処理を実行する こ と にある。 すなわち、 この発明においては、 奥行値の大き さに応じ てユーザが指定した点にあるオブジェ ク ト に対して所定の操作 を実行する。 このよ う な構成によれば、 装置の操作に不慣れなュ 一ザであっても 自然な操作感で簡単に 2 次元表示画面内に表示 されているオブジェク トを操作する こ とができ る。 図面の簡単な説明

図 1 は、 本発明の第 1 の実施の形態と なる情報処理装置の構成 を示すブロ ック図である。

図 2 は、 本発明の第 1 の実施の形態と なる操作入力部の構成を 示す模式図である。

図 3 は、 図 2 に示す操作入力部の応用例を示す模式図である。 図 4 は、 図 2 に示す感圧素子と電気配線の接続関係を示す模式 図である。

図 5 は、 本発明の実施の形態と なる 3次元座標値の指定方法を 示すフローチヤ一ト図である。

図 6 は、 図 5 に示す 3次元座標値の指定方法を説明するための 模式図である。

図 7 は、 図 6 に示す 3次元座標値の指定方法の応用例を説明す るための模式図である。

図 8 は、 図 5 に示す 3次元座標値の指定方法の利用例を説明す るための模式図である。

図 9 は、 図 5 に示す 3次元座標値の指定方法の利用例を説明す るための模式図である。

図 1 0 は、 図 5 に示す 3次元座標値の指定方法の利用例を説明 するための模式図である。 図 1 1 は、 図 5 に示す 3次元座標値の指定方法の利用例を説明 するための模式図である。

図 1 2 は、 図 5 に示す 3次元座標値の指定方法の利用例を説明 するための模式図である。

図 1 3は、 本発明の実施の形態となるアイ コ ンの操作方法を示 すフローチヤ一 ト図である。

図 1 4 は、 本発明の第 2 の実施の形態となる操作入力部の構成 を示す模式図である。

図 1 5 は、 図 1 4 に示す操作入力部の応用例を示す模式図であ る。

図 1 6 は、 図 1 4 に示す操作入力部の応用例を示す模式図であ る。

図 1 7 は、 図 1 4 に示す操作入力部の応用例を示す模式図であ る。

図 1 8 は、 本発明の第 2 の実施の形態となる情報処理装置の動 作を説明するためのフローチヤ一ト図である。

図 1 9 は、 本発明の実施の形態と なる操作入力部の応用例を示 す模式図である。

図 2 0 は、 本発明の実施の形態と なる操作入力部の応用例を示 す模式図である。

図 2 1 は、 本発明の実施の形態となる操作入力部の応用例を示 す模式図である。 発明を実施するための最良の形態

本発明に係る情報処理装置は、 2次元表示画面上に表示されて いる 3 次元空間内の任意の点を指定、 操作する こ とによ り 、 装置 に対し所定の処理を実行させる処理に適用する こ とができ る。 以 下、 本発明の第 1及び第 2の実施の形態と なる情報処理装置の構 成及び動作について詳しく説明する。

[第 1 の実施形態]

〔情報処理装置の構成〕

本発明の第 1 の実施形態と なる情報処理装置 1 は、 図 1 に示す よ う に、 C P U 2 、 R AM 3 、 R O M 4 、 表示部 5 、 及び操作入 力部 6 を主な構成要素と して備え、 これらの構成要素はバス配線 7 を介して互いに電気的に接続されている。

上記 C P U 2 は、 一般的なプロセ ッサ装置によ り構成され、 R O M 4 内に記憶されたコ ン ピ ュータプロ グラムに従って情報処 理装置の動作を制御する。

上記 R AM 3 は、 揮発性の半導体メモ リ によ り 構成され、 C P U 2 が実行する処理を実現する コ ンピュータプロ グラムや処理 用データを一時的に格納する ワークエリ アを提供する。

上記 R O M 4 は、 不揮発性の半導体メモ リ によ り構成され、 情 報処理装置の起動プログラム （図示せず） やイ ンタ フ ェイ スプロ グラム 8 (詳しく は後述する） 等のコ ン ピュータプロ グラムを格 納するプロ グラム部 9 と 、 コ ン ピュータプロ グラ ムの実行に必要 な処理用データ を格納する処理用データ部 1 0 と を備える。 なお コ ン ピュータプログラムや処理用データは、 その一部若しく は全 部を電子ネ ッ ト ワーク を介して受信する よ う にしても よい。

上記表示部 5 は、 液晶ディ スプレイや C R T等の表示出力装置 によ り構成され、 C P U 2 の指示に従って 3次元オブジェク ト等 の様々な情報を 2次元画面内に表示する。 なお、 その他の実施の 形態と して、 表示部 5 と してプラスチック フ ィ ルム等の柔軟な基 盤を用いたフ レキシブルディ ス プ レイ装置を利用 して も よい。 上記操作入力部 6 は、 ユーザが指や所定の入力装置によ り 押下 して指定した、 2次元画面上の任意の点における座標値 （x , y)及 ぴ押圧値 P を検出可能な装置によ り構成される。 こ の第 1 の実施 の形態においては、 操作入力部 6 は、 図 2 に示すよ う に、 表示部 5 に内蔵若しく は接着されたタ ツチパネル部 1 1 と、 タ ツチパネ ル部 1 1 の背面に設置された感圧素子 1 2 と、 感圧素子 1 2 を背 面から支持する裏板 1 4 を備える。

こ こで、 上記タ ツチパネル部 1 1 は、 赤外線式、 圧力式、 電磁 式等の既存の検出方式によ り ユーザが押下した 2次元画面上の 点の座標値 （x , y)を検出する。 また、 感圧素子 1 2 はユーザが押 下した 2次元画面上の点における押圧値 P を検出 し、 押圧値 Pの 大き さを示す圧力検知信号を C P U 2 に出力する。 また、 上記裏 板 1 4 は、 図 2や図 3 に示すよ う な形態で装置本体 1 3 に固定さ れている。

上記のよ う に、 こ の実施の形態となる操作入力部 6 は、 座標検 出機構 （タ ツチパネル部 1 1 ) と押圧値検知機構 （感圧素子 1 2 ) がそれぞれ表示部 5 の前面及ぴ背面に配置されているので、 座標 値検出機構と押圧値検知機構の両方の機能をま と めて表示部 5 の前面に配置した場合と比較して、 表示部 5部分の厚みを薄く す る こ とが可能と な り 、 この結果、 ユーザが表示部 5 を斜め方向か ら見て点を指定した際に表示点と押下点 と の間に生じるずれを 小さ く する こ とができ る。

また、 感圧素子 1 2 を表示部 5 の前面に配置する場合には、 通 常、 表示部 5部分の厚みを抑えるために、 厚みの小さい感圧素子 1 2 を利用するが、 上記操作入力部 6 では、 感圧素子 1 2 は表示 部 5 の背面に配置されているので、 例えば、 感圧素子 1 2 にある 程度の厚みを持たせて検出可能な押圧値 Pの範囲を広く する、 操 作入力部 6 にある程度の弾力性を持たせる等、 設計の自 由度が増 すこ とができ る。 また、 感圧素子 1 2 が透明である必要性がなく なるので、 安価な感圧素子を利用 して操作入力部の製造コス ト を 削減するこ とができ る。

また、 圧力検出機構を表示部 5 の前面に設置した場合には、 通 常、 表示部 5表面が軟らかく な り 、 ユーザが操作上違和感を感じ る こ とがあるが、 このよ う な構成によれば、 ¾示部 5表面は適度 な軟らかさ になるので、 ユーザが操作上違和感を感じる こ とがな レヽ

さ らに、 裏板 1 4 を装置本体 1 3 に接続し、 タ ツチパネル部 1 1 自体は装置本体 1 3 に固定しないよ う に構成しているので、 ュ 一ザが押下した点の押圧値 P を正確に検出する こ とができ る。

なお、 上記感圧素子 1 2 は、 例えば図 4 ( a ) に示すよ う に電 気配線 1 5 を介して直列に接続し、 タ ツチパネル部 1 1 全体につ いて押圧値 P を検出する よ う に して も よい。 また、 例えば図 4 ( b ) に示すよ う に、 感圧素子 1 2 を電気配線 1 5 を介して所望 のプロ ック毎に接続し、 プロ ック領域毎に押圧値 P を検出 しても よい。 また、 例えば図 4 ( c ) に示すよ う に、 各感圧素子 1 2 に 電気配線 1 5 を接続し、 各感圧素子 1 2 の押圧値 P を検出 しても よい。

また、 ユーザの押圧値 P と感圧素子 1 2の圧力検知信号の値と が異なる場合や、 2次元平面内の位置によって押圧値 Pの検出精 度が異なる場合には、 電子回路やソフ ト ウェア的な処理によ り 両 者の値が同 じになる よ う に補正する こ と が望ま しい。 また、 ソ フ ト ウエア的な捕正処理によれば、 経年変化に伴う補正値の変化や ユーザの個人差や年齢差に伴 う 平均押圧値の違いについても簡 単に対応するこ とができるので、 上記補正処理はソフ ト ウヱァ的 な処理によ り行う と よい。

このよ う に、 この第 1 の実施の形態においては、 情報処理装置

1 は、 タ ツチパネル部 1 1 と感圧素子 1 2 によ り ユーザが指定し た 2次元表示画面上の任意の点における座標値 （ x, y)及び押圧値 P をそれぞれ独立 して検出する こ と ができ る よ う に構成されて いる。

〔情報処理装置の動作〕

『 3次元位置の指定， 選択』

上記のよ う な構成を有する情報処理装置 1 によれば、 ユーザは 表示部 5 に表示されている 3 次元空間内の任意の 3 次元位置を 指定、 選択する こ とができ る。 以下、 図 5 に示すフローチャー ト を参照 して、 ユーザが 3次元空間内の任意の 3 次元位置を指定、 選択する際の情報処理装置 1 の動作について詳しく 説明する。

図 5 に示すフローチャー トは、 ユーザが、 タ ツチパネル部 1 1 を介して 2 次元表示画面に指や所定の入力装置で触れる こ と で 開始と な り 、 C P U 2 がイ ンタフヱイ スプロ グラム 8 に従って以 下の処理を実行する。

ステ ップ S 1 の処理では、 C P U 2 が、 タ ツチパネル部 1 1 を 介してユーザが指定した 2次元表示画面上の点 1 6 (以下、 指定 点 1 6 と表記する） の座標値 （x , y)を検出する。 これによ り 、 こ のステップ S 1 の処理は完了 し、 こ の指定処理はステップ S 1 の 処理からステップ S 2 の処理に進む。

ステ ップ S 2 の処理では、 C P U 2が、 表示部 5 を制御 して、 検出 した座標位置 （x,y)にカーソル 1 7 を表示出力する。 これに よ り 、 このステ ップ S 2 の処理は完了 し、 この指定処理はステツ プ S 2 の処理カゝらステップ S 3 の処理に進む。

ステ ップ S 3 の処理では、 C P U 2 が、 感圧素子 1 2 から出力 される圧力検知信号を参照して、 指定点 1 6 における押圧値 P を 検出する。 これによ り 、 このステ ップ S 3 の処理は完了し、 この 指定処理はステ ップ S 3 の処理力 らステ ップ S 4 の処理に進む。

ステ ップ S 4 の処理では、 C P U 2 が、 図 6 に示すよ う に、 ュ 一ザの視線 1 8 と平行な、 指定点 1 6 から 3次元空間を構成する 描画領域 2 0 の奥行き （z) 方向に伸びる直線 1 9 を規定する。 そ して、 C P U 2 は、 こ の直線 1 9 上に沿ってカーソル 1 7 を押 圧値 P の大き さ に対応する距離だけ描画領域 2 0 の奥行き （z) 方向に移動表示する。 その後、 C P U 2 は、 例えばカーソル 1 7 が停止した位置にあるオブジェク ト を選択状態にする等して、 力 一ソル 1 7 が停止 した位置をユーザが指定した描画領域 2 0 内 の 3次元位置と特定する。 これによ り 、 このステ ップ S 4 の処理 は完了 し、 一連の指定処理は終了する。

こ こで、 上記の処理では、 C P U 2 は、 ユーザの視線 1 8 と平 行な直線 1 9 を規定したが、 例えば図 7 に示すよ う に、 ユーザの 視線 1 8 と平行でない直線 2 1 を規定し、 この直線 2 1 に沿って カーソル 1 7 を移動表示しても よい。 このよ う な構成によれば、 視線 1 8 と平行な直線 1 9 を用いた場合と比べ、 ユーザはカーソ ル 1 7 が描画領域 2 0 の奥行き方向に移動する様子を把握する こ とがよ り容易と なる。 なお、 この時、 C P U 2 は、 表示部 5 を 制御して、 カーソル 1 7 と併せて直線 1 9 も表示する よ う にして カー ソル 1 7 の移動方向をユーザに認識させる よ う に しても よ レヽ ₀

また、 C P U 2 は、 例えば、 カ ー ソル 1 7 の大 き さ ， 色， 輝度 等をカーソル 1 7 の奥行き （z) 方向の位置に応じて変化させる、 描画領域 2 0 内の 3 次元空間内のオブジェ ク ト と カー ソル 1 7 が干渉する様子を表示する、 ダリ ッ ド線を表示する、 描画領域 2 0 を立体視によ り形成する等の描画処理を行う こ と によ り 、 カー ソル 1 7 が描画領域 2 0 の奥行き方向に移動する様子をユーザ が簡単に把握する こ とができ るよ う にする こ とが望ま しい。

なお、 上記のよ う な視覚的な処理以外にも、 例えば、 カー ソル 1 7 が描画領域 2 0 内のオブジェ ク ト と干渉するに応 じて表示 画面を振動させた り 、 音を発生する等の処理を実行するこ と によ り 、 カーソル 1 7 が描画領域 2 0 の奥行き方向に移動する様子を ユーザが簡単に把握する こ と ができ る よ う にしてもよい。

このよ う に、 上記情報処理装置 1 は、 ユーザが指定した 2次元 表示画面上の点における押圧値 P を感圧素子 1 2 によ り 検出 し、 その大き さ を描画領域 2 0 の奥行き方向の座標値 （z ) と して認 識する。 この よ う な情報処理装置 1 の処理動作によれば、 ユーザ はタ ツチパネル部 1 1 を介 して 2 次元表示画面上の点を指定す る こ と によ り 、 3次元空間を構成する描画領域 2 0 内の任意の点 の 3 次元位置を簡単に指定するこ とができる。 また、 この処理動 作は現実世界における実際の 3 次元位置指示動作に近いも ので あるので、 装置の操作に不慣れなユーザであっても教育や ト レー ニングを受ける こ と な く 簡単に描画領域 2 0 内の任意の 3 次元 位置を指定する こ とが可能と なる。

なお、 上記のよ う な 3次元位置の指定動作は、 具体的には以下 に示すよ う なオブジェク トの操作に対し適用 して好適である。 例 えば、 図 8 ( a ) に示すよ う な 5層のォブジェク ト要素が立体的 に配置された構成のォブジェク ト 2 2 が表示部 5 に表示され、 ュ 一ザは、オブジェク ト 中に指定点 2 3 を指定した後に（図 8 ( b ) ) この指定点 2 3 を移動する こ と によ り （図 8 ( c ) )、 図 9 に示す よ う にページをめ く る感覚で指定点 2 3 によ り 選択されたォブ ジェク ト要素を移動するこ とができ る場合、 ユーザは、 押圧値 P の大き さを調節する こ とによ り 、 図 1 0 に示すよ う に選択される オブジェク ト要素の数を直感的に変化させ、 所望のオブジェク ト 要素を簡単に移動させるこ とができる。

また、 例えば図 1 1 ( a ) 〜 （ c ) に示すよ う に、 タ ツチパネ ル部 1 1 上の 2つの点 2 3 a , 2 3 b を指定し、 この 2点を移動 する こ と によ り 、 テク スチャ 2 4上に配置されたオブジェク ト 2 5 を摘み取る操作を行 う際に、 押圧値 Pの大き さに従って図 1 1 ( d ) や図 1 2 に示すよ う にテク スチャ 2 4 を変形させる こ と に よ り 、 現実世界で実際にオブジェク ト 2 5 を摘み取っている よ う な感覚をユーザに与えるこ とができる。

『ダブルク リ ック無し操作』

上記のよ う な構成を有する情報処理装置 1 によれば、 ユーザは 一般的なコ ン ピュータ システムにおいて採用 されている シング ルク リ ック操作やダブルク リ ック操作を行う こ となく 、 表示部 5 に表示されている フォルダフ ァ イルやアプ リ ケーシ ョ ンプロ グ ラ ムを表すアイ コ ンを現実世界の操作に近い 自 然な操作感で操 作し、 各操作に対応する処理を装置に指示する こ とができ る。 以 下、 図 1 3 に示すフ ローチャー ト に従って、 ユーザがアイ コ ンを 操作する際の上記情報処理装置 1 の処理動作について詳 しく 説 明する。 図 1 3 に示すフローチャー トは、 C P U 2が、 ユーザが押下し ているタ ツチパネル部 1 1 上の指定点の座標値 （ x，y)及ぴ押圧値 P の変化を検出 （イベン ト検知） する こ とで開始と な り 、 C P U 2 はィ ンタ フェイ スプロ グラム 8 に従つ て以下の処理を実行す る。

なお、 以下の処理において、 C P U 2 は、 イ ンタフェイスプロ グラム 8 に従って、 イベン ト検知前の指定点の座標値 （ x，y)及ぴ 押圧値 Pに関する情報を R A M 3 内に記憶する。 また、 ユーザは、 C P U 2 がシングルク リ ッ ク操作及びダブルク リ ッ ク操作の ど ち らの操作が指示されたのかを判別する 際に使用する第 1 及び 第 2設定値 P 1 ， P 2 ( P 1 < P 2 ) を予め装置に入力 しておく 。 そ して、 第 1 及び第 2設定値 P I , P 2 の入力に応じて、 C P U

2 は、 入力 された値を R O M 4 内に格納する。

ステップ S 1 1， S 1 2 の処理では、 C P U 2 が、 検出 した押 圧値 P と R O M 4 内に格納されている第 1及び第 2設定値 P 1 ，

P 2 との大小関係を比較し、 その大小関係に応じて以下のよ う に 場合分けを して処理を実行する。

以下、 （i) 第 2設定値 P 2 <押圧値 Pである場合、 （ii) 第 1 設 定値 P l <押圧値 P <第 2設定値 P 2 である場合、 （ iii) 押圧値 P <第 1 設定値 P 1 である場合の 3 つの場合に分けて情報処理 装置の動作を説明する。

なお、 以下の処理では、 C P U 2 は、 例えばユーザが指定点を 指で押圧している状態なのか、 又は、 指定点から指を離そ う と し ている状態なのか等、 検出 したイベン ト の内容を認識可能なよ う に、 直前のイベン ト の状態を R AM 3 内に記憶し、 検出 したィべ ン ト と 直前のィ ベン トの状態と を比較して状態の変化を認識す る こ と によ り 、 検出 したィベン ト の内容を判定する。 具体的には、 C P U 2 は、 シングルク リ ック操作に相当する第 1設定値 P 1 を 指定点に与えた状態 （ P R E S S 1 状態）、 ダブルク リ ッ ク操作 に相当する第 2設定値 P 2 を指定点に与えた状態 （ P R E S S 2 状態）、 指定点から指が離れた状態 （以下、 R E L E A S E状態 と表記する） の 3つの状態をステータス と して R AM 3 内に格納 する。

(i) 第 2設定値 P 2 <押圧値 P の場合

第 2設定値 P 2 <押圧値 Pである場合、 C Pひ 2 は、 操作処理 をステ ップ S 1 1 , S 1 2 の処理力 らステップ S 1 3 の処理に進 め、 ステップ S 1 3 の処理と して、 R AM 3 内のデータ を参照し て、 ステータスが P R E S S 2状態であるか否かを判別する。

そ して、 ステ ップ S 1 3 の判別処理の結果、 ステータ スが P R E S S 2状態である場合には、 C P U 2 は次のィベン トが検知さ れるまで待機する。 一方、 判別の結果、 ステータスが P R E S S 2状態でない場合には、 C P U 2 はこの操作処理をステ ップ S 1 4 の処理に進める。

ステ ップ S 1 4 の処理では、 C P U 2 が、 ステータス を P R E S S 2状態に設定し、 R AM 3 内に記憶する。 これによ り 、 この ステップ S 1 4 の処理は完了 し、 この操作処理はステップ S 1 4 の処理からステ ップ S 1 5 の処理に進む。

ステップ S 1 5 の処理では、 C P U 2が、 例えばアイ コンが表 すアプリ ケーシ ョ ンプロ グラ ムを起動する等のダブルク リ ッ ク 操作に対応する処理を行う。 これによ り 、 検知したイベン トに対 する操作処理は完了 し、 C P U 2 は次のイベン トが検知されるま で待機する。 (ii) 第 1 設定値 P I <押圧値 P <第 2設定値 P 2 の場合 第 1 設定値 P 1 <押圧値 P <第 2設定値 P 2 である場合、 C P U 2 は、 操作処理をステ ップ S 1 1 ， S 1 2 の処理からステ ップ S 1 6 の処理に進め、 ステ ップ S 1 6 の処理と して、 R AM 3 内 のデータ を参照 して、 ステータスが P R E S S 2 状態であるか否 かを判別する。 そ して、 判別の結果、 ステータ スが P R E S S 2 状態である場合、 C P U 2 は次のィベン トが検知 される まで待機 する。 一方、 判別の結果、 ステータ スが P R E S S 2 状態でない 場合には、 C P U 2 はこの操作処理をステップ S 1 7 の処理に進 める。

ステ ップ S 1 7 の処理では、 C P U 2 が、 R AM 3 内のデ タ を参照 して、 ステータスが P R E S S 1 状態であるか否かを判別 する。 そ して、 判別の結果、 ステータスが P R E S S 1 状態でな い場合には、 C P U 2 は、 ステ ップ S 1 8 の処理においてステー タス を P R E S S 1 状態に設定した後、 ステ ップ S 1 9 の処理と して、 例えばアイ コ ンが表すアプリ ケーショ ンプロ グラムを選択 状態にする等のシングルク リ ッ ク操作に対応する処理を実行す る。 そ して、 ステ ップ S 1 9 の処理が完了する と 、 C P U 2 はこ の操作処理をステ ップ S 2 2 の処理に進める。

一方、 ステ ップ S 1 7 の判別処理の結果、 ステータスが P R E S S I 状態である場合には、 C P U 2 は、 ステ ップ S 2 0 の処理 と し て 、 指定点（x，y)が R A M 3 内 に 記憶 さ れ て い る 基準点 (χθ,γθ) 力 ら所定の距離以上 DX1,DX2 離れているか否かを判別 する。 そ して、 判別の結果、 指定点が基準点から所定の距離以上 離れていない場合、 C P U 2 は次のイベン トが検知 される まで待 機する。 一方、 指定点が基準点から所定の距離以上離れている場 合には、 C P U 2 は、 検知 したイベン ト はユーザがシングルタ リ ッ ク 操作によ り 指定 したアイ コ ンを移動する ドラ ッ グ操作であ る と判断し、 ステ ップ S 2 1 の処理と して、 ドラ ッ グ処理に対応 する処理動作を実行する。 これによ り 、 このステ ップ S 2 1 の処 理は完了 し、 こ の操作処理はステ ップ S 2 1 の処理からステ ップ S 2 2 の処理に進む。

ステ ップ S 2 2 の処理では、 C P U 2 が、 現在の指定点の座標 値 （x,y) を、 以後の処理に利用する基準点の座標値 (x0,yO) と して R AM 3 内に格納する。 これによ り 、 検知 したイベン ト に対 する操作処理は完了 し、 C P U 2 は次のイ ベン ト が検知 されるま で待機する。

(iii) 押圧値 P <第 1 設定値 P I の場合

押圧値 P <第 1 設定値 P 1 である場合、 C P U 2 は、 操作処理 をステ ップ S 1 1 の処理からステ ップ S 2 3 の処理に進め、 ステ ップ S 2 3 の処理と して、 R AM 3 内のデータ を参照 して、 ステ 一タ スが P R E S S 1 状態である否かを判別する。 そ して、 判別 の結果、 ステータ ス が P R E S S 1 状態である場合には、 C P U 2 は、 検知したイベン ト はユーザがアイ コ ンをシングルク リ ッ ク した後に指の圧力 を抜いてい く 段階の動作 （以下、 「シングルク リ ッ ク操作後の リ リ ース動作」 と表記する） である と判断し、 ス テ ツ プ S 2 4 の処理にぉレ、てステータ ス を R E L E A S E状態 に設定した後、 ステ ップ S 2 5 の処理と して、 例えばアイ コ ンが フォルダであればフォルダを開 く 等の 「シングルク リ ッ ク操作後 の リ リ ース動作」 に対応する処理を実行する。 そ して、 ステ ップ S 2 5 の処理が完了する と 、 C P U 2 はこの操作処理をステ ップ S 1 1 の処理に戻す。 一方、 ステ ップ S 2 3 の判別処理の結果、 ステータスが P R E S S I 状態でない場合には、 C P U 2 は、 ステ ップ S 2 6 の処理 と して、 R AM 3 内のデータ を参照 して、 ステータスが P R E S S 2状態であるか否かを判別する。 そ して、 判別の結果、 ステー タス力 S P R E S S 2 状態である場合、 C P U 2 は、 検知したィべ ン ト はユーザがアイ コ ンをダブルク リ ッ ク した後に指の圧力 を 抜いてい く 段階の動作 （以下、 「ダブルク リ ッ ク操作後の リ リ ー ス動作」 と表記する） である と判断し、 ステ ップ S 2 7 の処理に おいてステータス を R E L E A S E状態に設定した後、 ステ ップ S 2 8 の処理において、 「ダブルク リ ッ ク操作後の リ リ ース動作」 に対応する処理を実行する。 そ して、 ステ ップ S 2 8 の処理が完 了する と 、 C P U 2 は、 この操作処理を上述のステップ S 1 1 の 処理に戻す。 一方、 ステ ップ S 2 6 の処理において、 ステータス 力 S P R E S S 2 状態でないと判別された場合には、 C P U 2 はこ の操作処理をステ ッ プ S 2 6 の処理カゝ ら ステ ッ プ S 1 1 の処理 に戻す。

このよ う に、 この第 1 の実施の形態 と なる情報処理装置は、 ュ 一ザが指定 した 2 次元表示画面上の点におけ る押圧値の大き さ を参照 して シングルク リ ッ ク操作及びダブルク リ ッ ク操作の ど ち ら を指示 している のかを判別 し、 その判別結果に応 じて各操作 に対応する処理を実行する。 このよ う な処理によれば、 ユーザは、 タ ツチパネル部 1 1 か ら一旦指を離 して再度同 じ点を押すよ う な面倒な操作を行 う こ と な く 、 2 次元表示画面上に表示されてい る アイ コ ンを操作する こ と ができ る よ う になるので、 装置の操作 に不慣れなユーザであっ て も 自 然な操作感で簡単にアイ コ ンを 操作する こ と ができ る。 また、 ユーザはタ ツチパネル部 1 1 力、ら 一且指を離す必要がないために、 ダブルク リ ック操作よ り も速く アイ コンを操作する こ とが可能となる。

なお、 上記の説明においては、 操作処理対象をアイ コ ンと した が、 例えば表示部 5 に表示されているスライ ド式のボリ ュームコ ン ト ロール機能の操作についても上記処理を適用する こ と がで さ る。

[第 2 の実施形態]

本発明の第 2 の実施形態となる情報処理装置は、 操作入力部 6 の構成及ぴ動作が第 1 の実施形態のそれとは異なる。 そこで、 以 下では、 本発明の第 2 の実施形態となる情報処理装置における操 作入力部 6 の構成及び動作についてのみ詳しく 説明 し、 他の構成 要素についての説明は上記と 同様であるので省略する。

〔操作入力部の構成〕

本発明の第 2 の実施形態となる操作入力部 6 は、 第 1 の実施の 形態のそれと は異な り 、 図 1 4 に示すよ う に、 感圧素子 1 2 が接 続されていないタ ツチパネル部 1 1 表面に複数の振動素子 2 6 を備える。 こ の振動素子 2 6 は、 圧電素子やソ レノイ ドによ り 構 成され、 ユーザがタ ツチパネル部 1 1 を押下して操作した際に C P U 2 の制御に従って操作内容に対応する振動を発生する。

なお、 図 1 4 に示す振動素子 2 6 はタ ツチパネル部 1 1表面に 接続されているが、 例えば図 1 5 〜図 1 7 に示すよ う に、 裏板 1 4 の背面に振動素子 2 6 を接続する よ う に してもよい。 また、 C P U 2が複数の振動素子 2 6 を個別に制御する こ と によ り 、 複数 の異なる振動パター ンを発生する よ う にしても よい。

また、 機械的なボタ ンを押した際に発生するタ リ ック振動の振 動パターンを R O M 4 内に格納し、 ユーザが所定の処理を実行し た際にこの振動パターンを再生する こ と によ り 、 あたかも機械式 のボタ ンを押 したかのよ う なク リ ッ ク感をユーザに与える よ う に しても よい。

また、 押圧値 Pの変化に応じて生成する振動の大き さを変化さ せる よ う に しても よい。 さ らに、 こ の実施の形態においては、 振 動素子 2 6 を複数設ける こ と と したが、 ユーザはタ ツチパネル部 1 1 表面の 1 点しか触れない場合には、 1 つの振動素子で振動を 発生する よ う にしても よい。

このよ う に、 この第 2 の実施の形態においては、 操作入力部 6 は、 第 1 の実施の形態の操作入力部 6 に振動素子 2 6 を加える こ と によ り 、 ユーザがタ ツチパネル部 1 1 を押下して操作した際に C P U 2 の制御に従って操作内容に対応する振動を発生する こ とが可能なよ う に構成されている。

〔情報処理装置の動作〕

上記のよ う な構成の情報処理装置によれば、 例えば図 1 8 に示 すフローチヤ一 トの処理を実行する こ と によ り 、 ユーザが 2次元 表示画面に表示されているオブジェ ク ト を き 然な操作感で操作 する こ とが可能となる。

なお、 以下に示す例においては、 表示部 5 は、 情報処理装置に 対し所定の処理の実行を指示するボタ ンをオブジェク ト と して 2次元表示画面上に表示し、 ユーザは、 タ ツチパネル部 1 1 を介 して 2次元表示画面上に表示されているポタンを押下し、 ボタ ン をオン状態 （選択状態） に設定する こ と によ り 、 例えば別のウイ ン ドウ画面を開 く 等の各ボタ ンに割 り 当て られた処理を情 #処 理装置に対し指示する。

図 1 8 に示すフローチャー トは、 C P U 2が、 ユーザが押下し ている タ ツチパネル部 1 1 上の点の座標値 （ x,y)及ぴ押圧値 P の 変化を検出 （イベン ト検知） する こ と で開始と な り 、 C P U 2 が ィ ンタ フヱイ スプロ ダラ ム 8 に従って以下の処理を実行する。

ステ ップ S 3 1 の処理では、 C P U 2 が、 押圧値 Pが第 1 設定 値 P 1 以上であるか否かを判別する。 この判別処理は、 ユーザが タ ツ チパネル部 1 1 に触れてい る か否かを判別する ための処理 であ り 、 この判別の結果、 押圧値 P が第 1 設定値 P 1 以上でない 場合、 C P U 2 は、 ステ ッ プ S 3 2 の処理と して 2 次元表示画面 上に表示しているボタ ンがオン状態にあるか否かを判別する。 な お、 上記第 1 設定値 P 1 は、 ユーザがタ ツチパネル部 1 1 を指で 軽く 触れた時の押圧値に予め設定しておく もの とする。

そ して、 ステ ップ S 3 2 の判別処理の結果、 ボタ ンがオン状態 にある場合、 C P U 2 は、 検知 したイベン トは、 ユーザがボタ ン に対応する タ ツチパネル部 1 1 を押下した後、 指の圧力を抜いて い く 段階の動作であ る と判断し、 ステ ップ S 3 3 の処理と して、 振動素子 2 6 を制御 してボタ ン リ リ ース時の ク リ ッ ク 振動を発 生する。 その後、 C P U 2 は、 ステ ップ S 3 4 の処理と してユー ザが押下したボタ ンをオフ状態に設定した後、 次のィベン トが検 知 されるまで待機する。 一方、 ステ ップ S 3 2 の判別処理の結果、 ボタ ンがオン状態にない場合には、 検知 したイ ベン ト に対する処 理は完了 し、 C P U 2 は次のィベン ト が検知 されるまで待機する 一方、 ステ ップ S 3 1 の判別処理の結果、 押圧値 Pが第 1 の設 定値 P 1 以上である場合、 C P U 2 はこの操作処理をステ ップ S 3 1 の処理からステ ップ S 3 5 の処理に進める。 そ して、 ステ ツ プ S 3 5 の処理において、 C P U 2 は、 押圧値 P が第 2 設定値 P 2 (こ こでは P 1 < P 2 と する） 以上である か否かを判別する。 そ して、 ステップ S 3 5 の判別処理の結果、 押圧値 Pが第 2設定 値 P 2以上でない場合、 C P U 2 は、 ステ ップ S 3 6 の処理と し て、 移動した点が 2次元表示画面に表示しているボタ ンの境界線 に対応する位置を通ったか否かを判別する。 なお、 上記第 2設定 値 P 2 は、 ユーザがタ ツチパネル部 1 1 を指で押し込んだ時の押 圧値に予め設定しておく ものとする。

そして、 ステ ップ S 3 6 の判別処理の結果、 移動した点が境界 線に対応する位置を通った場合には、 C P U 2 は、 移動した点が 境界線に対応する位置を通った際に、 ステ ッ プ S 3 7 の処理と し て振動素子 2 6 を制御 してポタ ンが表示されている部分と表示 されていない部分の段差に対応する振動を発生し、 2次元表示画 面に表示されているボタ ンの形状をユーザに認識させる。 これに よ り 、 検知 したイ ベン トに対する処理は完了 し、 C P U 2 は次の イベン トが検知されるまで待機する。 一方、 ステ ップ S 3 6 の判 別処理の結果、 移動した点が境界線に対応する位置を通っていな い場合には、 検知したイ ベン ト に対する処理は完了 し、 C P U 2 は次のィ ベン トが検知されるまで待機する。

一方、 ステップ S 3 5 の判別処理の結果、 押圧値 Pが第 2設定 値 P 2以上である場合、 C P U 2 はこの操作処理をステップ S 3 5 の処理力 らステップ S 3 8 の処理に進める。 そ して、 ステップ S 3 8 の処理において、 C P U 2 は、 移動した点が 2次元表示画 面上に表示 しているボ タ ンの表示領域内に対応する位置にある か否かを判別する。 そ して、 ステ ップ S 3 8 の判別処理の結果、 移動した点がボタンの表示領域内に対応する位置にある場合、 C P U 2 は、 検知 したイベン トはユーザがボタ ンに対応するタ ツチ パネル部 1 1 を押下した動作である と判断し、 ステップ S 3 9 の 処理と して、 振動素子 2 6 を制御してボタンを押下した時に対応 する ク リ ッ ク振動を発生し、 ボタンが押されたこ と をユーザに認 識させる。 その後、 C P U 2 は、 ステップ S 4 0 の処理と してュ 一ザが押下したボタ ンをオン状態に設定した後、 次のィベン トが 検知されるまで待機する。 一方、 ステップ S 3 8 の判別処理の結 果、 移動したポタ ンが表示領域内に対応する位置にない場合には この検知したィベン トに対する処理は完了し、 C P U 2 は次のィ ベン トが検知されるまで待機する。

こ のよ う に、 この第 2 の実施の形態においては、 情報処理装置 は、 ユーザがタ ツチパネル部 1 1 を介して 2次元表示画面上に表 示されているオブジェク トを操作した際に、 オブジェク ト の位置 や形状の触感や押し込み強さに応じたク リ ック感等、 押下したタ ツチパネル部 1 1 の点の位置や圧力に応じた触感をユーザにフ イー ドバックするので、 ユーザは自然な操作感でオブジェク ト を 操作するこ とができ る と 同時に、 操作ミ スの発生頻度を低減する こ とが可能となる。

以上、 本発明者らによってなされた発明を適用 した実施の形態 について説明 したが、 こ の実施の形態による本発明の開示の一部 をなす論述及ぴ図面によ り本発明は限定されるこ とはない。

例えば、 上記の実施の形態の情報処理装置においては、 タ ツチ パネル部 1 1 が表示部 5 に内蔵若しく は接着されていたが、 図 1 9 に示すよ う に、 タ ツチパネル部 1 1 を利用せずに、 表示部 5 と してプラスチ ッ ク フ ィ ルム等の柔軟な基盤を利用 して形成され たフ レキシブルディ スプレイ 2 7 を利用 し、 このフ レキシブルデ イ スプレイ 2 7 の裏面に複数の感圧素子 1 2 を設ける よ う に し ても よい。 このよ う な構成によれば、 ユーザが押下するに応じて表示部 5 の形状が柔軟に変化するので、 表示部 5 と して液晶ディ スプレイ 装置や C R T装置等の固い基盤を利用 して形成された表示装置 を利用 した場合と比較して、 ユーザが押下した任意の点における 圧力値をよ り 正確に検出する こ とが可能と なる。

また、 上記のよ う な構成によれば、 ユーザが画面上の複数点を 同時に押下した場合も各点の圧力値を正確に検出する こ と が可 能と なる。 なお、 このと き、 例えば図 2 0 に示すよ う にフ レキシ ブルディ スプ レイ 2 7 の表面にタ ツチパネル部 1 1 を接着する 等して、 ユーザが指定した点の座標値はタ ツチパネル部 1 1 を利 用 して検出する こ と によ り 、 フ レキシブルディ スプレイ 2 7 の背 面に配置する感圧素子 1 2 の数を減らすよ う にしてもよい。 また 上述の実施の形態と 同様、 振動素子を設け、 ユーザがフ レキシブ ルディ ス プレイ 2 7 に触れた際に操作内容に対応する触感をュ 一ザにフ ィ ー ドノ ッ ク してもよレヽ。

さ らに、 上記のよ う な構成によれば、 2次元表示画面上の複数 点の押圧値をアナロ グ的に検出する こ とができ るので、 例えばピ ァノ等の電子楽器の操作画面に適用するこ と によ り 、 複数の音程 を入力し、 高度な演奏処理が可能な電子楽器を実現する こ と がで き る。 また、 例えば、 ゲームの操作画面に適用すれば、 両手を用 いた操作や、 複数の指によ る各種機能の同時動作等が可能なグー ム装置を実現する こ とができ る。

さ らに、 上記のよ う な構成によれば、 2次元表示画面に接触し ているユーザの指や手の形、 2次元表示画面への接触の仕方や動 作を検出する こ とができ るので、 例えば、 これらの情報を所定の 機能の呼出処理と 関連付けさせる こ と によ り 、 手や指の形状や動 作に基づいた、 今までにない新しい操作方法を実現するこ とがで ぎ る。

さ らに、 上記のよ う な構成によれば、 ユーザが操作した際の圧 力分布データ を認識するこ とができ るので、 例えば、 2次元表示 画面に接触している手や指の形状、 圧力分布、 動作特性等、 ユ ー ザ固有の特徴を抽出 し、 抽出した特徴に基づいて認証処理を行う こ とによ り 、 今までにない認証処理を実現する こ とができ る。

一方、 操作入力部 6 は例えば図 2 1 ( a ) に示すよ う にマウス ポイ ンタ 3 0 によ り構成しても よい。 図 2 1 ( a ) に示すマウス ポイ ンタ 3 0 は、 一般的なマウスポイ ンタによ り構成され、 ユ ー ザの操作に従ってオン /オ フ状態を切 り換えるボタ ン部 3 1 と 、 ユーザが指定した画面上の位置を検出する検出部 3 2 と、 ボタ ン 部 3 1 下部に配置された感圧素子 3 3 を備える。 上記感圧素子 3 3 は、 ユーザがボタ ン部 3 1 を操作した際の押圧値を検出 し、 押 圧値の大き さ を示す圧力検知信号を C P U 2 に出力する。 一般に マ ウスポイ ンタ 3 0 はボタ ン部 3 1 のオン /オフ状態 しか感知 するこ とができないが、 上記図 2 1 ( a ) に示す構成のマウスポ イ ンタ 3 0 によれば、 ユーザがボタ ン部 3 1 を操作した際の押圧 値の大き さ に応じて上記実施の形態で説明 した処理を実行する こ とができ る よ う になる。 また、 このマウスポイ ンタ 3 0 によれ ば、 ユーザがボタ ン部 3 1 を操作した際の押圧値をアナロ グ的に 検出する こ と によ り 、 スク ロール、 移動、 拡大縮小、 カーソル位 置の移動、 音量調整等の様々 な場面においてアナログ値を簡単に 入力する こ とができ る。 なお、 図 2 1 ( b ) に示すよ う に、 マウ スポイ ンタ 3 0 に振動素子 2 6 を設けても よ く 、 このよ う な構成 によれば、 操作内容に対応する触感をユーザにフ ィ ー ドバックす る こ と ができ る。

また、 3次元空間の奥行値の最大値及び最小値に対応する押圧 値 P m ax , P min を予め定義し、 この押圧値 P m ax , P min と指 定点における押圧値 P と を比較する こ と によ り 、 ユーザが指定し た 3次元空間の奥行値を算出しても よい。

また、 押圧値 P と 3次元空間の奥行値と の関係を予めテーブル ィ匕し、 こ のテーブル内を用いて指定点における押圧値 P を検索す る こ と によ り 、 ユーザが指定した 3次元空間の奥行値を算出 して も よい。 なお、 この場合、 3次元空間内に配置されるオブジェク ト の位置に応じて、 一つの奥行値 （例えば z= l ) に対応する押圧 値 P に適当な幅 （例えば、 押圧値 P = l〜3 ) を定義してテーブル を作成しても よい。 このよ う な構成によれば、 指定点における押 圧値 Pが定義された幅内にあれば、 その押圧値 P に対応する奥行 値が認識される ので、 奥行値ゃォブジェク ト の指定作業が容易に なる。

なお、 上記実施の形態では、 情報処理装置 1 は、 指定点の奥行 値と して指定点における押圧値 P の大き さを検出， 利用 したが、 静電作用を利用 して物体と入力装置との間の距離 （-奥行方向の 距離） を検出する非接触型の入力装置や、 表示装置の表示画面に 対し垂直 （奥行） 方向のユーザの動きをパターンマッチング処理 等の手法を利用 して検出するカメ ラ装置 （いわゆるステ レオカメ ラ） 等を利用 して検出した値を指定点の奥行値と して利用 しても よい。 また、 この場合、 情報処理装置 1 は、 検出 された値が変化 するのに合わせて、 指定点の奥行値も変化させる と よい。

こ のよ う に、 この実施の形態に基づいて当業者等によ り なされ る他の実施の形態、 実施例及び運用技術等は全て本発明の範疇に 含まれるこ とは勿論であるこ と を付け加えておく 。 産業上の利用の可能性

本発明は、 例えば 2次元表示画面上に表示されている 3次元空間 内の任意の点を指定する処理に適用する こ とができ る。

Claims

請求の範囲

1 . 2次元表示画面上に 3 次元空間を表示するステップと、 ユーザが指定 した上記 2次元表示画面内の点の座標値及び奥 行値を検出するステ ップと、

上記座標値及び上記奥行値の大き さ に従ってユーザが指定す る上記 3次元空間内の位置を認識するステップと

を有する情報処理方法。

2 . 請求の範囲 1 に記載の情報処理方法であって、

上記ユーザが指定した 2 次元表示画面の点にカーソルを表示 するステップと 、

上記奥行値の大き さの変化に従って上記 2 次元表示画面の奥 行方向に移動する上記カー ソルを表示するステ ップと

を有する こ と を特徴とする情報処理方法。

3 . 請求の範囲 2 に記載の情報処理方法であって、

上記カーソルが停止 した位置をユーザが指定する上記 3 次元 空間内の位置とするステップを有する こ と

を特徴とする情報処理方法。

4 . 請求の範囲 2 に記載の情報処理方法であって、

上記カーソルが移動するのに応じてカー ソルの大き さ、 色、 及 ぴ輝度の少なく と も一つを変化させるステップを有する こ と を特徴とする情報処理方法。

5 . 請求の範囲 2 に記載の情報処理方法であって、

上記カーソルが上記 3 次元空間内にあるオブジェク ト と接触 するのに応じて所定の処理を実行するステップを有するこ と

を特徴とする情報処理方法。

6 . 請求の範囲 5 に記載の情報処理方法であって、

上記所定の処理は振動及ぴ音声の少な く と も一方を生成する 処理である こ と

を特徴とする情報処理方法。

7 . 2次元表示画面上に少なく と も一つのォブジェク トを表示 するステ ップと、

ユーザが指定した上記 2 次元表示画面上の点の座標値及び奥 行値を検出するステップと、

上記座標値によ り 指定される上記オブジェ ク ト に対し上記奥 行値の大き さ に応じた処理を実行するステップと

を有する情報処理方法。

8 . 請求の範囲 7 に記載の情報処理方法であって、

上記奥行値が所定の閾値以上であるか否かを判別する こ と に よ り 上記実行する処理を選択するステップを有する こ と

を特徴とする情報処理方法。

9 . 請求の範囲 7 に記載の情報処理方法であって、

上記座標値及び上記奥行値の大き さ の変化に応じて振動及ぴ 音声の少なく と も一方を生成するステップを有するこ と を特徴とする情報処理方法。

1 0 . 2 次元表示画面上に 3次元空間を表示するステップと 、 ユーザが指定した上記 2次元表示画面内の点の座標値及ぴ奥 行値を検出するステップと、

上記座標値及び上記奥行値の大き さ に従ってユーザが指定す る上記 3次元空間内の位置を認識するステップと

をコ ン ピ ュータ に実行させる情報処理プロ グラムを記録した コン ピュ ータ読み取 り 可能な記録媒体。

1 1 . 請求の範囲 1 0 に記載の情報処理プロ グラムを記録した コ ン ピュータ読み取 り 可能な記録媒体であって、

上記ユーザが指定した 2 次元表示画面の点にカー ソ ルを表示 するステップと 、

上記奥行値の大き さの変化に従っ て上記 2 次元表示画面の奥 行方向に移動する上記カー ソルを表示するステップと

を コ ン ピ ュータ に実行させる こ と を特徴とする情報処理プロ グラムを記録したコ ン ピュータ読み取 り 可能な記録媒体。

1 2 . 請求の範囲 1 1 に記載の情報処理プロ グラムを記録した コ ン ピュータ読み取り 可能な記録媒体であって、

上記カー ソルが停止 した位置をユーザが指定する上記 3 次元 空間内の位置とするステップをコ ン ピュータに実行させる こ と を特徴と する情報処理プロ グラムを記録した コ ン ピ ュータ読 み取り 可能な記録媒体。

1 3 . 請求の範囲 1 1 に記載の情報処理プロ グラムを記録した コ ン ピュータ読み取り 可能な記録媒体であって、

上記カーソルが移動するのに応じてカーソルの大き さ、 色、 及 び輝度の少な く と も一つを変化させるステ ップをコ ン ピ ュータ に実行させる こ と

を特徴とする情報処理プロ グラムを記録したコ ン ピ ュータ読 み取り 可能な記録媒体。

1 4 . 請求の範囲 1 1 に記載の情報処理プロ グラムを記録した コ ン ピュータ読み取り 可能な記録媒体であって、

上記カー ソルが上記 3 次元空間内にあるオブジェク ト と接触 するのに応 じて所定の処理を実行するステ ップをコ ンピュータ に実行させる こ と

を特徴とする情報処理プロ グラ ムを記録したコ ンピュータ読 み取り 可能な記録媒体。

1 5 . 請求の範囲 1 4 に記載の情報処理プログラムを記録した コ ン ピュータ読み取り 可能な記録媒体であって、

上記所定の処理は振動及ぴ音声の少な く と も一方を生成する 処理である こ と

を特徴とする情報処理プロ グラ ムを記録したコ ン ピ ュータ読 み取り 可能な記録媒体。

1 6 . 2次元表示画面上に少な く と も一つのオブジェク トを表 示するステ ップと、

ユーザが指定した上記 2 次元表示画面上の点の座標値及ぴ奥 行値を検出するステップと、

上記座標値によ り 指定される上記オブジェ ク ト に対し上記奥 行値の大き さに応じた処理を実行するステップと

をコ ン ピ ュータ に実行させる情報処理プロ グラムを記録した コ ン ピュータ読み取り 可能な記録媒体。

1 7 . 請求の範囲 1 6 に記載の情報処理プロ グラムを記録した コ ン ピュータ読み取 り 可能な記録媒体であって、

上記奥行値が所定の閾値以上であるか否かを判別する こ と に よ り 上記実行する処理を選択するステ ップをコ ンピュータ に実 行させる こ と

を特徴とする情報処理プロ グラムを記録したコ ン ピ ュータ読 み取り 可能な記録媒体。

1 8 . 請求の範囲 1 6 に記載の情報処理プロ グラムを記録した コ ン ピュータ読み取り 可能な記録媒体であって、

上記座標値及び上記奥行値の大き さ の変化に応 じて振動及び 音声の少な く と も一方を生成するステ ップをコ ンピュータ に実 行させる こ と

を特徴とする情報処理プ ロ グ ラ ムを記録したコ ン ピ ュータ読 み取り 可能な記録媒体。

1 9 . 2 次元表示画面上に 3次元空間を表示するステ ップと 、 ユーザが指定した上記 2 次元表示画面内の点の座標値及び奥 行値を検出するステップと、

上記座標値及び上記奥行値の大き さ に従って上記 3 次元空間 内の位置を認識するステップと

をコ ン ピュータ に実行させる情報'処理プロ グラム。

2 0 . 2次元表示画面上に少なく と も一つのオブジェク トを表 示するステ ップと 、

ユーザが指定した上記 2次元表示画面上の点の座標値及ぴ奥 行値を検出するステ ップと、

上記座標値によ り 指定 される上記オブジェ ク ト に対し上記奥 行値の大き さに応じた処理を実行するステップと

をコ ン ピュータに実行させる情報処理プロ グラム。

2 1 . 2次元表示画面上に 3次元空間を表示する表示部と、 ユーザが指定した上記 2次元表示画面上の点の座標値を検出 する座標値検出部と

上記 2 次元表面上の点における奥行値を検出する奥行値検出 部と、

検出 した上記座標値及び上記奥行値に従ってユーザが指定す る上記 3次元空間内の位置を認識する制御部と

を有する情報処理装置。

2 2 . 請求の範囲 2 1 に記載の情報処理装置であって、

上記制御部は、 上記 2次元画面上の点にカー ソルを表示し、 上 記奥行値の大き さの変化に従って 2 次元表示画面の奥行方向に カー ソルを移動表示する こ と

を特徴とする情報処理装置。

2 3 . 請求の範囲 2 2 に記載の情報処理装置であって、 上記制御部は、 上記カーソルが停止した位置をユーザが指定す る上記 3次元空間内の位置とする こ と

を特徴とする情報処理装置。

2 4 . 請求の範囲 2 2 に記載の情報処理装置であって、

上記制御部は、 上記カー ソルが移動するに応じて、 カー ソルの 大き さ、 色、 及び輝度の少なく と も一つを変化させる こ と

を特徴とする情報処理装置。

2 5 . 請求の範囲 2 2 に記載の情報処理装置であって、

上記制御部は、 上記カ ー ソルが上記 3次元空間内にあるォブジ エタ ト と接触するのに応じて所定の処理を実行する こ と

を特徴とする情報処理装置。

2 6 . 請求の範囲 2 5 に記載の情報処理装置であって、

上記所定の処理は振動及ぴ音声の少な く と も一方を生成する 処理である こ と

を特徴とする情報処理装置。

2 7 . 請求の範囲 2 1 に記載の情報処理装置であって、

上記座標値検出部及び上記奥行値検出部はそれぞれタ ツチパ ネル及び感圧素子である こ と

を特徴とする情報処理装置。

2 8 . 2次元表示画面上に少なく と も一つのオブジェク トを表 示する表示部と、

ユーザが指定 した 2 次元表示画面上の点の座標値を検出する 座標値検出部と、

上記 2 次元表示画面上の点における奥行値を検出する奥行値 検出部と 、

上記座標値に よ り 指定される上記オブジェ ク ト に対し上記奥 行値の大き さ に応じた処理を実行する制御部と

を備える情報処理装置。

2 9 . 請求の範囲 2 8 に記載の情報処理装置であって、

上記制御部は、 上記奥行値が所定の閾値以上であるか否かを判 別するこ と によ り 実行する処理を選択する こ と

を特徴とする情報処理装置。

3 0 . 請求の範囲 2 8 に記載の情報処理装置であって、

上記制御部は、 上記座標値及び上記奥行値の大き さの変化に従 つて、 振動及び音声の少なく と も一方を生成する こ と

を特徴とする情報処理装置。

3 1 . 請求の範囲 2 8 に記載の情報処理装置であって、

上記座標値検出部及び上記奥行値検出部はそれぞれタ ツチパ ネル及び感圧素子である こ と

を特徴とする情報処理装置。