JP4907156B2 - ３次元ポインティング方法および３次元ポインティング装置ならびに３次元ポインティングプログラム - Google Patents

Description

本発明は、３次元ポインティング方法および３次元ポインティング装置ならびに３次元ポインティングプログラムに関し、特に、DFD(Depth-Fused 3-D)表示装置などの３次元立体像を呈示できる表示装置におけるポインティングに適用して有効な技術に関するものである。

従来、PC(Personal Computer)の演算性能の著しい向上や処理速度の高速化、グラフィック機能の強化等にともない、GUI(Graphical User Interface)は、その表示・機能・操作のどれもがこれまで以上に複雑化している。そのため、操作者が目的の動作を遂行するに当たって、それらが足枷となって効率的な操作を妨げていることがある。

そのような状態を改善するために、近年、３次元表示空間を用いて情報を呈示・操作することが提案されている（たとえば、非特許文献１を参照。）。これはしばしば３次元GUIと呼ばれ、３次元表示空間に３次元的にオブジェクトを配置し、所定の入力デバイスを用いて前記オブジェクトを操作するという仕組みである。なお、前記３次元GUIの他にも、たとえば、３次元表示空間内で設計などを行うCAD(Computer Aided(or Assisted) Design)やCG(Computer Graphics)などにおいても同様の仕組みを用いることがあるが、３次元的に配置されたオブジェクトを操作・ポインティングするという観点から、ここからは３次元GUIを例にとって話を進めることにする。

３次元GUIを用いると、これまで２次元上に並べて、もしくは重ねて配置していたオブジェクトを、操作者から見て３次元的に配置することが可能となり、作業スペースを効率的に扱うことができる。また、われわれを取り巻いている実世界は３次元空間であるがゆえに、GUIを３次元化することで２次元のGUIよりも直感的に扱うことができるGUIとなる。

しかしながら、３次元GUIを操作する過程において必要となってくる課題の一つに、様々な奥行き位置にあるオブジェクトのポインティングがある。これまでの技術では、２次元のGUIにおいて用いられてきたマウスやキーボード、ジョイスティック等での操作に、奥行き方向への移動に必要な新たな機能を付加することで、ポインタの３次元表示空間内の移動を実現している。また、ポインタの奥行き方向の位置は、たとえば、ポインタを拡大あるいは縮小させることで表現し、３次元表示空間の奥にあるオブジェクトのポインティングを行っていた（たとえば、非特許文献２を参照。）。つまり、３次元表示空間内でポインタが手前にあるときはポインタを大きく表示し、奥にあるときにはポインタを小さく表示する方法などが提案されていた。

ところが、これらの方法の多くは、３次元表示空間に表示されたポインタが空間内を奥行き方向に自由に動くことが可能なため、いくらポインタが表示装置上に表示され、２次元位置が分かりやすくても、一体ポインタがどの奥行き位置にあり、３次元空間のどこをポインティングしているか、操作者は明確に知覚しにくい。

この問題を解決する方法の一例として、たとえば、ポインタの近くに、奥行き位置の変わらないｘｙｚ軸などのリファレンスを表示して奥行き位置を知覚しやすくする方法がある（たとえば、特許文献１を参照。）。しかしながら、表示されるリファレンスは、一般に、ポインタの奥行き位置の手がかりとなる点を除けば、ポインタの形状とは何の関わりもない。そのため、不自然な上、表示面にリファレンスが現れることで操作者の視界をさえぎり、作業効率を下げてしまうこともある。

以上のことから、３次元GUIでのポインタを用いたポインティング作業において、ポインタがどの奥行き位置にあってどこをポインティングしているかを操作者がいち早く、しかも正確に知覚でき、さらに操作者の作業を妨げることなく、自然にポインティングを行えるポインティング方法が求められていた。
特開平8-248938号公報 G. Robertson, et al., "The Task Gallery: A 3D Window Manager," CHI Letters, Vol.2, pp.494-501, 2000. 渡邊 恵太，安村 通晃，"RUI: Realizable User Interface カーソルを用いた情報リアライゼーション，" ヒューマンインタフェース学会研究報告集，vol.6，No.2，pp.35-38，2004.

本発明が解決しようとする問題点の１つは、前記背景技術で説明したように、従来の３次元GUIでのポインタを用いたポインティング作業では、ポインタが３次元表示空間の、どの奥行き位置にあって、どこをポインティングしているかを、操作者が直感的に、かつ、正確に知覚することが難しいという点である。

また、他の問題点として、ポインタの形状との関連性が低い不自然なリファレンスを用いると、操作者の視界をさえぎってしまい、場合によっては作業効率を下げてしまうという点がある。

本発明の目的は、３次元GUIでのポインタを用いたポインティング作業において、ポインタがどの奥行き位置にあってどこをポインティングしているかを操作者がいち早く、しかも正確に知覚でき、さらに操作者の作業を妨げることのない自然な形状のポインタを用いてポインティングを行うことが可能なポインティング方法およびポインティング装置を提供することにある。

本発明の前述ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面によって明らかにする。

本発明の３次元ポインティング方法は、３次元表示が可能な表示装置に３次元GUIを表示させ、３次元GUI内の任意の奥行き位置に配置されたオブジェクトを、ポインタを用いてポインティングするときに、ポインタの少なくとも一つの部位で２次元座標のポインティングし、また、少なくとも一つの部位で奥行き位置のポインティングをすると同時に、少なくとも一つの部位の２次元平面内での位置を、ポインティングしている奥行き位置に応じて変化させることを特徴とする。これにより、操作者が、ポインティングしている２次元座標だけでなく、奥行き位置も知覚できるようにする。

また、ポインタが、ポインティング可能なオブジェクトに、２次元射影平面上で一定の距離以内に近づくと、ポインティング可能なオブジェクトの奥行き位置を、奥行き位置に応じて２次元平面内の位置が変化するポインタの少なくとも一箇所の部位の２次元射影平面上での位置が一致する位置に、前記奥行き位置に相当する２次元平面内での位置を示すオブジェクトを表示させる。これにより、操作者は３次元空間に配置されたオブジェクトの奥行き位置を迅速かつ正確に把握でき、それらのオブジェクトのポインティングを、迅速かつ直感的に行うことができるようになる。

またこのとき、ポインティング可能なオブジェクトの形状、色、大きさ、向き、動きなどを、前記奥行き位置に相当する２次元平面内での位置を示すオブジェクトに持たせる。これにより、操作者は、次元空間に配置されたオブジェクトの奥行き位置をより迅速かつ正確に把握できる。また、オブジェクトが３次元空間内で重なった場合などにおいても、操作者は迷うことなく目的のオブジェクトをポインティングすることができるようになる。

またさらに、本発明の３次元ポインティング方法では、ポインタ自体に、奥行き位置を知るためのリファレンスとなる部位を設ける。このリファレンスとなる部位は、ポインティングを行うに当たって奥行き位置が固定されており、ポインタの奥行きが変化する部位と比較することで、操作者に、ポインティングしている奥行き位置をより早く、分かりやすく呈示できる。

以上の点をふまえた本発明の３次元ポインティング方法および３次元ポインティング装置ならびに３次元ポインティングプログラムの概略を説明すれば、以下の通りである。

（１）外部表示装置に表現された３次元表示空間の任意の一点をポインティングする３次元ポインティング方法であって、外部入力装置からの入力情報に基づいて、前記３次元表示空間のポインティングする点の２次元平面座標および奥行き位置を算出するステップ１と、前記ポインティングする点の２次元平面座標を示す第１の部位と、前記ポインティングする点における奥行き位置を示す第２の部位と、該奥行き位置に応じて２次元平面内の位置が変化する第３の部位とを有するポインタを生成するステップ２と、前記生成したポインタを外部表示装置に表示させるステップ３とを有する３次元ポインティング方法である。

（２）前記（１）において、前記ステップ２は、前記ポインタと、ポインティング可能なオブジェクトとの、２次元射影平面上での距離が一定の距離以内に近づくと、前記ポインティング可能なオブジェクトの奥行き位置を、前記第３の部位が表示されるべき前記奥行き位置に相当する２次元平面内での位置を示すオブジェクトを生成する３次元ポインティング方法である。

（３）前記（２）において、前記ステップ１からステップ３の各ステップに加え、前記ポインティング可能なオブジェクトの奥行き位置を示すオブジェクトの形状、色、大きさ、向きおよび動きのうちの少なくとも一つを、前記ポインティング可能なオブジェクトの属性に対応して変化させるステップ４を有する３次元ポインティング方法である。

（４）前記（１）から（３）のいずれかにおいて、前記ステップ２は、３次元空間の任意の一点をポインティングする際、前記ポインタの大きさを変化させて表示する３次元ポインティング方法である。

（５）前記（１）から（４）のいずれかにおいて、前記ステップ２は、前記第１の部位から第３の部位の各部位に加え、奥行き方向の位置が固定されており、奥行き方向の位置が変化する他の部位と奥行き位置を比較することのできる第４の部位を生成する３次元ポインティング方法である。

（６）外部表示装置に表現された３次元表示空間の任意の一点をポインティングする３次元ポインティング装置であって、外部入力装置からの入力情報を取得する入力情報取得手段と、前記入力情報取得手段で取得した入力情報に基づいて、前記３次元表示空間のポインティングする点の２次元平面座標および奥行き位置を算出するポインティング位置算出手段と、前記ポインティング位置算出手段の算出結果に基づいて、前記ポインティングする点の２次元平面座標位置および奥行き位置を指し示すポインタを生成するポインタ生成手段と、前記ポインタ生成手段で生成したポインタを前記外部表示装置に表示させる表示制御手段とを備え、前記ポインタ生成手段は、前記ポインティングする点の２次元平面座標を示す第１の部位と、前記ポインティングする点における奥行き位置を示す第２の部位と、該奥行き位置に応じて２次元平面内の位置が変化する第３の部位とを有するポインタを生成する３次元ポインティング装置である。

（７）前記（６）において、前記ポインタ生成手段は、前記ポインタと、ポインティング可能なオブジェクトとの、２次元射影平面上での距離が一定の距離以内に近づくと、前記ポインティング可能なオブジェクトの奥行き位置を、前記第３の部位が表示されるべき前記奥行き位置に相当する２次元平面内での位置を示すオブジェクトを生成する手段を備える３次元ポインティング装置である。

（８）前記（７）において、前記各手段に加え、前記ポインティング可能なオブジェクトの奥行き位置を示すオブジェクトの形状、色、大きさ、向きおよび動きのうちの少なくとも一つを、前記ポインティング可能なオブジェクトの属性に対応して変化させるオブジェクト生成手段を備える３次元ポインティング装置である。

（９）前記（６）から（８）のいずれかにおいて、前記ポインタ生成手段は、前記ポインタの大きさを変化させる手段を備える３次元ポインティング装置である。

（１０）前記（６）から（９）のいずれかにおいて、前記ポインタ生成手段は、前記第１の部位から第３の部位の各部位に加え、奥行き方向の位置が固定されており、奥行き方向の位置が変化する他の部位と奥行き位置を比較することのできる第４の部位を生成する３次元ポインティング装置である。

（１１）前記（６）から（１０）のいずれかのポインティング装置における各手段の処理動作をコンピュータに実行させる３次元ポインティングプログラムである。

本発明の３次元ポインティング方法は、たとえば、前記手段（１）のように、ポインティングする点の２次元平面座標を示す第１の部位と、ポインティングする点における奥行き位置を示す第２の部位と、該奥行き位置に応じて２次元平面内の位置が変化する第３の部位の３つの部位を有するポインタを生成し、外部表示装置に表示させる。そのため、操作者は、第１の部位でポインティングしている２次元座標位置を知覚し、第２の部位および第３の部位で奥行き位置を知覚できる。このように、少なくとも一つの部位（第３の部位）の２次元平面内での位置が、ポインティングしている奥行き位置に応じて変化することで、操作者がポインティングしている２次元座標だけではなく、奥行き位置も分かりやすくポインティングできる。

また、たとえば、前記手段（２）のように、ポインタが、ポインティング可能なオブジェクトに、２次元射影平面上で一定の距離以内に近づいたときに、ポインティング可能なオブジェクトの奥行き位置を示すオブジェクトを表示して示すことで、操作者は３次元空間に配置されたオブジェクトの奥行き位置を迅速かつ正確に把握でき、それらのオブジェクトのポインティングを、迅速かつ直感的に行うことができる。

また、たとえば、前記手段（３）のように、ポインティング可能なオブジェクトの形状、色、大きさ、向き、動きなどを、前記奥行き位置に相当する２次元平面内での位置を示すオブジェクトに持たせることで、操作者は、３次元空間に配置されたオブジェクトの奥行き位置をより迅速かつ正確に把握できる。また、オブジェクトが３次元空間内で重なった場合などにおいても、操作者は迷うことなく目的のオブジェクトをポインティングすることができる。

また、たとえば、前記手段（４）のように、ポインタの大きさを変化させて表示することで、たとえば、ポインタよりも目的のオブジェクトが大きい場合などに、ポインタを拡大表示でき、ポインタがオブジェクトに隠れることなく、操作者は目的のオブジェクトの奥行き位置を正確、かつ、迅速に把握することができる。そのため、操作者は３次元空間に配置されたオブジェクトを容易にポインティングできるようになり、操作効率と操作性が向上する。

またさらに、たとえば、前記手段（５）のように、奥行き方向の位置が固定された第４の部位を有するポインタを生成すれば、前記第４の部位をリファレンスとして用いることができる。このリファレンスは、ポインティングを行うに当たって奥行き位置が固定されており、ポインタの奥行きが変化する部位と比較することで、操作者に、ポインティングしている奥行き位置をより早く、分かりやすく呈示することができる。

本発明による３次元ポインティング方法で生成するポインタは、ポインティングしている２次元の座標と奥行き位置を同時に表現可能な形状を持つと同時に、その形状に奥行き位置の手がかりとなるリファレンスをポインタ形状として自然な形で持つという点で、従来のポインティング方法とは異なる。また、ポインティング可能なオブジェクトの奥行き位置を、奥行き位置に応じて２次元平面内の位置が変化するポインタの少なくとも一箇所の部位の２次元射影平面上での位置が一致する位置に、前記奥行き位置に相当する２次元平面内での位置を示すオブジェクトを表示して示す点も、従来のポインティング方法とは異なる。さらに、前記奥行き位置に相当する２次元平面内での位置を示すオブジェクトに、ポインティング可能なオブジェクトの属性を持たせる点も、従来のポインティング方法とは異なる。

また、前記手段（１）から手段（５）のような３次元ポインティング方法を実現するには、たとえば、前記手段（６）から手段（１０）のような手段を備える３次元ポインティング装置を用いればよい。また、３次元ポインティング装置は、PCなどの汎用コンピュータを用いることもでき、その場合は、前記手段（１１）のように、３次元ポインティング装置の各手段が行う処理動作をコンピュータに実行させるプログラムを用意し、コンピュータに実行させればよい。

以下、本発明について、図面を参照して実施の形態（実施例）とともに詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは、同一符号を付け、その繰り返しの説明は省略する。

図１は、本発明の３次元ポインティング方法を実現するためのシステムの構成例を示す模式図である。
図１において、１はシステム制御装置、１０１は入力情報取得手段、１０２はポインティング位置算出手段、１０４はポインタ生成手段、１０５は表示制御手段、１０６はポインティング判定手段、１０７はオブジェクト生成手段、１０８は処理制御手段、１０９は記憶手段、１０３はポインティング可能点判定手段、２は入力装置、３は表示装置である。

本発明の３次元ポインティング方法は、たとえば、PC(Personal Computer)のようなシステム制御装置に接続されている外部表示装置に表現された３次元表示空間の任意の一点をポインティングする方法である。このとき、前記３次元表示空間内をポインティングするオブジェクト（ポインタ）は、前記システム制御装置に接続された外部入力装置を用いて３次元的に操作する。

このとき、システム制御装置１は、たとえば、図１に示すように、外部入力装置２から入力された入力情報を取得する入力情報取得手段１０１と、入力情報取得手段１０１で取得した入力情報がポインタの制御に関する情報である場合に、その入力情報に基づいてポインティングしている点の移動方向および移動量を算出するポインティング位置算出手段１０２と、ポインティング位置算出手段１０２の算出結果に基づいてポインティング可能な点、または、オブジェクトが存在するかを判定するポインティング可能点判定手段１０３、ポインティング可能点判定手段１０３の判定に基づいてポインタを生成するポインタ生成手段１０４と、ポインタ生成手段１０４で生成されたポインタを外部表示装置３に表示させる表示制御手段１０５とを備える。

また、システム制御装置１は、前記各手段１０１〜１０５に加え、たとえば、図１に示したように、ポインティング可能点判定手段１０３の判定に基づいて生成するポインタがポインティングしている点の座標にオブジェクトがあるか否かの判定をするポインティング判定手段１０６と、前記ポインティングされているオブジェクトがある場合に、たとえば、そのオブジェクトの色を変えるオブジェクト生成手段１０７とを備える。

また、システム制御装置１が、たとえば、前記PCのように、外部入力装置２からの入力情報に応じてソフトウェアの起動や操作をしたり、他の装置の制御を行ったりする装置である場合、図１に示したように、前記各手段１０１〜１０７の他に、たとえば、処理制御手段１０８や記憶手段１０９を備えている。そして、入力情報取得手段１０１で取得した情報が、ポインタの制御に関する情報とは異なる場合、入力情報取得手段１０１は、取得した入力情報を処理制御手段１０８に渡し、取得した入力情報に応じた処理を前記システム制御装置１に実行させる。

また、外部表示装置３は、３次元空間を表現できる表示装置であればよく、たとえば、CRTディスプレイや液晶ディスプレイのような３次元オブジェクトを２次元平面に射影した形で表示する２次元表示装置でも、DFD表示装置（たとえば、特許第3022558号明細書や特許第3460671号明細書を参照）のような３次元立体像を表示することが可能な３次元表示装置でもよい。

つまり、外部表示装置３は、操作者（観察者）が、表示されたポインタやオブジェクトを３次元的に知覚することが可能な表示装置であればどのような表示装置であってもよい。

図２−１および図２−２は、DFD表示装置の原理を説明するための模式図である。

DFD表示装置は、簡易な構成で３次元立体像を表示する可能な３次元表示装置であり、外部表示装置３として好ましい。

DFD表示装置は、たとえば、図２−１および図２−２に示すように、２枚あるいはそれ以上の複数枚の表示面を、観察者（操作者）の視点Ｐから見て重なるように配置した表示装置であり、表示方法により、通常、透過型と輝度変調型の２通りに分けられる。DFD表示装置の詳細な構成や動作原理については、たとえば、特許第3022558号明細書や特許第3460671号明細書等に記載されているので、詳細な説明は省略し、ここでは、DFD表示装置の簡単な動作原理のみを説明する。

ここでは、図２−１および図２−２に示すように、２枚の表示面３Ａ，３Ｂが重ね合わさっているとする。このとき、ポインタやオブジェクトなどの表示対象Ｏｂｊは、前記２枚の表示面３Ａ，３Ｂの間の３次元空間内に、奥行き位置を反映して表示される。

DFD表示装置に表示される前記表示対象Ｏｂｊは、たとえば、図２−１に示すように、操作者の視点Ｐから見て手前の表示面３Ａおよび奥の表示面３Ｂの両方に表示される。そしてこのとき、DFD表示装置が輝度変調型であれば、手前の表示面３Ａの表示対象ＯｂｊＡを輝度Ｌ_Ａ、奥の表示面３Ｂの表示対象ＯｂｊＢを輝度Ｌ_Ｂで表示すると、前記３次元空間内の、手前の表示面３Ａからの距離と奥の表示面３Ｂからの距離の比がＬ_Ｂ：Ｌ_Ａの奥行き位置に表示対象Ｏｂｊが表示されているように見える。

また、たとえば、図２−２に示すように、１つの表示対象Ｏｂｊの表示領域の中で輝度を連続的に変化させることで、１つの表示対象Ｏｂｊを奥行き方向に傾けて表示させることもできる。図２−２に示した例では、手前の表示面３Ａの表示対象ＯｂｊＡの輝度を紙面上から下に向かうにつれて大きくなるようにし、奥の表示面３Ｂの表示対象ＯｂｊＢの輝度を紙面下から上に向かうにつれて大きくなるようにしている。そのため、前記操作者は、紙面上方が奥、紙面下方が手前に傾いた立体的な表示対象Ｏｂｊを観察することができる。

また、詳細な説明は省略するが、DFD表示装置が透過型の場合、たとえば、手前の表示面３Ａの表示対象Ｏｂｊを表示している領域の各点（画素）の透過度を調節することで、前記輝度変調型のDFD表示装置と同様に、手前の表示面３Ａと奥の表示面３Ｂの間の任意の奥行き位置にポインタやオブジェクトなどの表示対象Ｏｂｊの立体像を表示することができる。

このように、DFD表示装置は、複数枚の表示面に表示されたオブジェクトやポインタの輝度の比あるいは透過度を変えることで、容易に３次元立体像を表示できる表示装置である。

なお、本発明において用いる外部表示装置３は、前述の通り、３次元空間を表現することが可能な表示装置であれば、どのようなものであっても構わない。しかしながら、DFD表示装置のような、あらかじめ３次元立体像が表現できる空間が制限されている３次元表示装置（ディスプレイ）を用いると、ポインタが指す奥行き位置を操作者により明確に呈示することができ、好ましい。また、一般的なCRTディスプレイや液晶ディスプレイのような２次元表示装置の場合、表現する前記３次元空間を２次元平面に射影して表示する処理が必要であるが、たとえば、DFD表示装置の場合、３次元表示空間の奥行き方向の位置に応じて各表示面上の点（画素）の輝度の比率を設定すればよいだけなので、システム制御装置１（ポインティング装置）にかかる負荷を低減できる。

また、一般的なCRTディスプレイや液晶ディスプレイのような２次元表示装置の場合、表示する３次元表示空間を２次元平面に射影して表示するので、操作者によっては、実空間と同じ奥行き感覚でポインティング操作をすることは難しい場合があるが、DFD表示装置のような３次元表示装置を用いることで、より実空間に近い感覚でポインティング操作をすることができる。これらのことから、DFD表示装置のような３次元表示装置を用いることで、前記操作者は、一般的な２次元ディスプレイを用いてポインティング操作をする場合に比べて、よりよい精度と速さで３次元の奥行きをポインティング可能となる。

また、外部入力装置２は、キーボードやマウスのように前記PCに一般的に接続されている入力デバイスの他、たとえば、ペンタブレットやジョイスティック（ジョイパッド）であってもよい。またさらに、外部入力装置２は、たとえば、タッチパネルやタブレットを外部表示装置３と一体化し、ペンや指先などで外部表示装置３の表示画面に触れることで情報を入力できるようにしてもよい。

図３乃至図５は、本発明による実施例１の３次元ポインティング方法を説明するための模式図であり、図３は本発明に用いるポインタの例を説明するための図、図４は原理を説明するための図、図５は奥行き方向にあるオブジェクトのポインティング方法を説明するための図である。

本実施例１の３次元ポインティング方法は、たとえば、図３に示すように、ポインティングを行うための部位４Ａ−１（４Ａ−２）と、奥行き方向の位置が固定された部位４Ｂ，４Ｃからなるポインタ４を外部表示装置３の３次元表示空間に表示する。

このとき、ポインティングを行うための部位４Ａ−１は、ポインティングしている位置を指し示す部位４Ｐを有する。この部位４Ａ−１は、外部入力装置２からの入力情報に応じて奥行き方向（ｚ＞０）に移動する部位であり、奥行き方向に移動する際には、軌跡４Ｄをたどる。すなわち、部位４Ａ−１は、部位４Ｐを中心にｚ座標を変化させながら360度回転し、４Ａ−２の位置に移動する。このとき、部位４Ｐのｘｙ座標は変化せず、外部入力装置２からの入力情報に基づいてｚ座標のみが変化する。

なお、部位４Ａ−１が奥行き方向に移動する際の軌跡４Ｄは、表示してもよいし、非表示でもよい。

また、奥行き方向の位置が固定された部位４Ｂ，４Ｃは、奥行き方向の位置が変化する他の部位と奥行き位置を比較することのできる、いわば、奥行き位置のリファレンスとなる部位である。このとき、部位４Ｂ，４Ｃは、たとえば、外部表示装置３で表現される３次元表示空間の最も手前の２次元平面と、最も後方の２次元平面に表示する。外部表示装置３が、たとえば、図４に示すように、２枚の表示面３Ａ，３Ｂを有するDFD表示装置であれば、たとえば、部位４Ｂを手前の表示面３Ａ（ｚ＝０）上に表示し、部位４Ｃを奥の表示面３Ｂ上に表示する。

また、本実施例１では、外部表示装置３をDFD表示装置とし、３次元表示空間の設定は、手前の表示面３Ａと奥の表示面３Ｂの間の空間とするが、特に限定する必要はなく、表示装置が表現可能な空間であれば、どの空間を対象にしてもよい。これ以後の実施例においても、外部表示装置３としてDFD表示装置を用いるが、一般的なCRTディスプレイや液晶ディスプレイのような２次元表示装置や、HMD(Head Mount Display)のような３次元立体表示装置を用いても構わないことはいうまでもない。

本実施例１の３次元ポインティング方法は、図４に示すように、外部入力装置２として、タブレット２０１と入力ペン２０２からなるペンタブレットを用いるとする。このとき、外部表示装置３の３次元表示空間に、図４に示したようなｘｙｚの３次元座標を取っているとし、操作者（観察者）は−ｚ方向から外部表示装置３を見ているとする。前記ペンタブレットを用いた場合、たとえば、タブレット２０１上で入力ペン２０２を滑らせたときの、入力ペン２０２のｘ軸方向の移動量およびｙ軸方向の移動量に応じて、ポインタ４を、外部表示装置３に表現された３次元表示空間上のｘｙ平面内で移動させる。また、前記ペンタブレットは、一般に、電磁誘導方式で入力ペン２０２の動きを感知しており、入力ペン２０２の位置や移動量の他、入力ペンを押す圧力（筆圧）を検知することができる（たとえば、特開平5-73208号公報を参照。）。そのため、たとえば、入力ペン２０２をタブレット２０１に押しつけたときの圧力の大きさに応じて、ポインタ４のポインティングを行うための部位４Ａ−１を制御し、ポインティングする奥行き位置（ｚ座標）を制御することができる。

また、前記ペンタブレットを用いる場合、たとえば、入力ペン２０２の圧力（筆圧）の大きさの代わりに、たとえば、入力ペン２０２でタブレット２０１を押した回数に応じて前記ポインタの奥行き位置を決定してもよい。

前記ペンタブレットなどの外部入力装置２を用いてポインタ４を操作して、奥行き方向にあるオブジェクトをポインティングする方法を、図５を用いて説明する。なお、図５において、（ａ），（ｂ），（ｃ）はそれぞれ、ポインティング前のポインタとオブジェクトの位置関係、ポインタを奥行き方向に移動させたときの位置関係、オブジェクトがポインティングされたときの位置関係を示す図である。また、図５において、（ａ），（ｂ），（ｃ）には上から順にそれぞれ、操作者の視点から見た図、斜め上方から見た図、右側面から見た図を示している。

奥行き方向のポインティングをする場合、操作者は、まず、入力ペン２０２のペン先の２次元位置によってポインタ４のｘｙ座標を決定し、外部表示装置３に表示されたポインタ４のポインティング部位４Ｐの位置によりポインティングしている２次元座標を知覚することができる。ここで、外部表示装置３上で、図５に示した（ａ）の状態のように、操作者の視点から見て、ポインティングを行うための部位４Ａ−１とオブジェクト５が重なっていても、奥行き位置が異なる場合、オブジェクト５はポインティングされていない。

このような状態で、たとえば、入力ペン２０２をタブレット２０１に押し付け、筆圧を加えると、図５に示した（ｂ）の状態のように、ポインティングを行うための部位４Ａ−１が、ｘｙ平面内でポインティング部４Ｐを中心に回転しながらオブジェクト５の方向（＋ｚ方向）に移動する。このとき、操作者には、ポインティングを行うための部位４Ａ−１のポインティング部４Ｐを中心とした角度が異なって見える。また、DFD表示装置のような立体表示装置を用いている場合は、ポインティングを行うための部位４Ａ−１の奥行きも併せて知覚することができる。そのため、操作者は、ポインティングを行うための部位４Ａ−１の回転角で知覚する奥行きから、ポインティングを行うための部位４Ａ−１が、操作前の位置よりも奥をポインティングしていることが知覚できる。

ここで、さらにもう一度、入力ペン２０２に筆圧を加えると、図５に示した（ｃ）の状態のように、ポインティングを行うための部位４Ａ−１の回転角と操作者が知覚する奥行きがさらに変化する。このとき、図５の（ｃ）の状態のように、ポインティングする部位４Ｐと前記オブジェクト５の任意の一点とのｘｙ方向の距離が所定の距離（たとえば、10ピクセル）以下であり、かつ、奥行き方向の距離が所定の距離以下になると、オブジェクト５は、ポインタ４によってポインティングされた状態になる。そこで、ポインティングされた状態であることを操作者に伝えるため、たとえば、オブジェクト５の色を変えて、ポインティングされている状態であることを表す。

なお、オブジェクト５がポインティングされたと判定されるポインティング部位４Ｐとのｘｙ方向の距離および奥行き方向の距離は、操作者が任意の距離に設定できるようにしてもよいし、あらかじめ、システム制御装置１であらかじめ定められた距離に設定するようにしてもよい。

このようにすれば、操作者は、ポインティングを行うための部位４Ａ−１の回転角からポインタ４がポインティングする奥行き位置を直観的、かつ、正確に知覚できる。また、ポインティングを行うための部位４Ａ−１によってポインティングされたときにオブジェクト５の色を変えることで、オブジェクト５と重なっているポインティングを行うための部位４Ａ−１が、オブジェクト５をポインティングしているか否かが直観的、かつ、正確に知覚できる。また、ここで外部表示装置３としてDFD表示装置を用いており、ポインタ４の部位４Ｂや４Ｃは奥行き位置の知覚の手がかりとなるリファレンスとして働く。そのため、部位４Ｂ，４Ｃとポインティングを行うための部位４Ａ−１の奥行き位置と比較することで、直感的、かつ、正確にポインティングを行えるという大きな効果がある。

図６−１は、ポインタの形状の第1の変形例を説明するための模式図である。また、図６−２は、ポインタの形状の第２の変形例を説明するための模式図である。

ここまでの説明では、ポインタ４のポインティングを行うための部位４Ａ−１の形状は、図３および図４などに示すような水滴形状を例として挙げたが、部位４Ａ−１の形状は、操作者がポインティングしている２次元座標と奥行き位置を一つのポインタで同時に知覚でき、かつ、３次元空間の任意の点をポインティング可能な形状であれば、どのような形状であってもよい。

すなわち、ポインティングを行うための形状４Ａ−１は、たとえば、図６−１に示すように、人差し指でオブジェクトを指し示している形状であってもよい。このとき、ポインティングしている部位４Ｐは、人差し指の先とする。またこのとき、部位４Ａ−１は、部位４Ｐ（人差し指の先）を中心にｚ座標を変化させながら回転し、４Ａ−２の位置に移動させる。

また、ポインティングを行うための部位４Ａ−１の形状は、たとえば、図６−２に示すように、三角形状であってもよい。このとき、ポインティングしている部位４Ｐは、１つの頂点とする。またこのとき、部位４Ａ−１は、部位４Ｐ（１つの頂点）を中心にｚ座標を変化させながら回転し、４Ａ−２の位置に移動させる。

また、本実施例１では、ポインティングを行うための部位４Ａ−１は、ポインティング部４Ｐを中心に360度回転できるような設定にしていたが、操作者にポインティングしている奥行き位置を呈示できるのであればこの限りではない。例えば、回転を１８０度にしても構わない。

また、オブジェクト５についても、図５ではフォルダ型のオブジェクトを示したが、ポインタ４によってポインティング可能なものであれば、どのような形状であってもよい。

また、本実施例１のポインティング方法において、前記ペンタブレットを用いる場合、たとえば、図４に示したような外付け型のペンタブレット２０１，２０２に限らず、たとえば、タブレット２０１が外部表示装置３と一体的に設けられていてもよい。タブレット２０１が外部表示装置３と一体的になっていれば、たとえば、外部表示装置３の表示画面上を入力ペン２０２で触れることでポインタ４を操作することができる。そのため、操作者は、より直感的に前記ポインタ４を操作することができる。また、本実施例１のポインティング方法は、前記ペンタブレットの代わりに、たとえば、タッチパネルのように、外部表示装置３と一体化可能な入力装置を用いてポインティングする場合にも適している。

前記タッチパネルの場合、たとえば、入力ペン２０２の代わりに操作者の指で前記外部表示装置３の画面に触れることでポインタ４を操作することができるので、入力ペン２０２を用いるペンタブレットよりも、より直感的に前記ポインタ４を操作することができる。さらに、マウス（マウスホイール）や、キーボード、タッチパネル、ジョイスティック等であらかじめ定められた操作をしたときに奥行きポインティングができるようにしてもよい。

図７は、本実施例１の３次元ポインティング方法のシステム制御装置における処理手順を説明するためのフロー図である。

以下、図１に示したような構成のシステム制御装置１を用いて、本実施例１の３次元ポインティング方法を説明する。このとき、システム制御装置１は、表示制御手段１０５により、まず、図７に示すように、外部表示装置３にオブジェクト５およびポインタ４を表示させる（ステップ６０１）。このとき、前記オブジェクト５は複数個表示されていてもよく、前記外部表示装置３で表現されている３次元空間上であれば、どの位置に表示されていてもよいとする。

次に、操作者が、たとえば、前記ペンタブレットのタブレット２０１および入力ペン２０２を用いて入力した情報を入力情報取得手段１０１で取得する（ステップ６０２）。このとき、入力情報取得手段１０１で取得する入力情報は、ポインタ４の操作に関する情報の他に、処理制御手段１０８に処理をさせる入力情報も取得するが、ここでは、ポインタ４の操作に関する情報を取得したとする。入力情報取得手段１０１は、ポインタ４の操作に関する入力情報を取得した場合、その入力情報を前記ポインティング位置算出手段１０２に渡す。

ポインティング位置算出手段１０２は、入力情報を受け取ると、まず、入力情報に基づいてポインタ４の移動方向、移動量等を算出する（ステップ６０３）。なお、ステップ６０３では、たとえば、図４に示したｘｙ平面内でのポインタ４の移動方向や移動量を算出する。

次に、ステップ６０３における算出結果に基づいて、外部表示装置３に表示されたポインタ４を移動させて表示する（ステップ６０４）。ステップ６０４は、たとえば、ポインタ４のｘｙ平面内での移動方向、移動量等に基づいてポインタ生成手段１０４で移動先のポインタ４を生成した後、表示制御手段１０５を利用して生成したポインタ４を外部表示装置３に表示させる。なお、入力情報中にポインタ４をｘｙ平面内で移動する情報が含まれていない場合、ステップ６０４の操作は省略され、次のステップ６０５の処理が行われる。

ポインティング位置算出手段１０２は、ステップ６０３の処理が終わると、次に、入力情報に基づいてポインティングする部位４Ａ−１の奥行き位置を算出する（ステップ６０５）。ステップ６０５において、奥行き位置は、たとえば、入力ペン２０２の筆圧情報から決定する。

次に、ステップ６０５における算出結果に基づいて、外部表示装置３に表示されたポインタ４の部位４Ａ−１を回転させて表示する（ステップ６０６）。ステップ６０６は、たとえば、部位４Ａ−１の奥行き位置の算出結果に基づいてポインタ生成手段１０４で部位４Ａ−１の奥行き位置を変えた後、表示制御手段１０５を利用して、図５に示したように部位４Ａ−１の奥行き位置を変えたポインタ４を外部表示装置３に表示させる。また、入力情報中にポインティングする部位４Ａ−１の奥行き位置を変える情報が含まれていない場合、ステップ６０６の操作は省略され、次のステップ６０７の処理が行われる。

ポインティング位置算出手段１０２は、ステップ６０３およびステップ６０６の処理を行うと、算出結果をポインタ生成手段１０４に渡すとともに、ポインティング判定手段１０６にも渡す。このとき、前記ポインティング判定手段１０６は、受け取った算出結果から、操作後の、ポインティングを行う部位４Ａ−１から所定の範囲内にオブジェクトが有るか否かの判定をする（ステップ４０７）。ステップ４０７は、具体的には、たとえば、ポインタ４の部位４Ｐが指し示す点と、オブジェクトの任意の一点との、ｘｙ方向の距離が所定の距離（たとえば、10ピクセル）以下であり、かつ、奥行き方向の距離が所定の距離以下であるか否かの判定をする。そして、ｘｙ方向の距離および奥行き方向の距離がともに所定の距離以下であるオブジェクトがある場合、そのオブジェクトはポインティングされていると判定する。このとき、ポインティングしているオブジェクトがなければ、ステップ６０２に戻り、次の入力情報を取得するまで待機する。

また、ポインティングしているオブジェクト５がある場合、オブジェクト生成手段１０７において、たとえば、ポインティングされているオブジェクトの色を変えたオブジェクトを生成し、外部表示装置３に表示させる（ステップ６０８）。そして、色を変えたオブジェクトを表示した後は、ステップ６０２に戻り、次の入力情報を取得するまで待機する。ここで、本実施例では、オブジェクトをポインティングしたときに色を変えることを挙げたが、ポインティング時に音を鳴らすなど、同様の効果が得られるのであればこの限りではない。

また、前述のような手順でポインティングする部位４Ａ−１の奥行き位置を変えて表示させた後、外部入力装置２からポインタ４の奥行き位置の操作に関する情報を取得し、たとえば、ｘｙ平面内で移動させる場合、ポインティングする部位４Ａ−１の奥行き位置を元に戻してから移動させてもよいし、ポインティングする部位４Ａ−１の奥行き位置を変えたまま移動させてもよい。

また、図示は省略するが、ステップ６０２において、ポインタ４の操作に関する情報以外の入力情報を取得した場合、入力情報取得手段１０１は、取得した入力情報を処理制御手段１０８に渡す。このとき、ポインタ４の操作に関する情報以外の入力情報としては、たとえば、ポインタ４でポインティングしたオブジェクトと関連づけられたソフトウェアの起動や、数値あるいは文字列の入力情報等が挙げられる。この場合、処理制御手段１０８は、入力情報に基づいて、オブジェクトと関連づけられたソフトウェアの起動等の処理を行い、表示制御手段１０５を用いて処理結果を外部表示装置３に表示させる。

以上説明したように、本実施例１の３次元ポインティング方法によれば、ポインタ４の一つの部位４Ａ−１の奥行き位置を変えて外部表示装置３に表示させることにより、ポインタ４を見た操作者が、ポインタ４がポインティングしている２次元座標および、奥行き位置を直観的、かつ、正確に知覚できる。

図８乃至図１０は、前記実施例１の第１の応用例を説明するための模式図であり、図８はポインタの形状の例を説明するための図、図９は奥行き方向にあるオブジェクトのポインティング方法を説明するための図、図１０は本応用例の変形例を説明するための図である。

前記実施例１では、たとえば、図５に示したように、奥行き方向の位置を固定した部位４Ｂを環状にし、その内側に見えるポインティングを行うための部位４Ａ−１が回転しながら奥行き方向に移動する形状のポインタ４を例に挙げた。しかしながら、ポインタ４の形状は、前記実施例１で挙げた形状のポインタと同等の効果が得られればどのような形状であってもよい。そこで、以下に、異なる形状のポインタの一例を挙げ、その動作などについて説明する。なお、以下に挙げるポインタ４を用いたポインティングと、前記実施例１で挙げたポインタ４を用いたポインティングとでは、ポインタ形状とポインティング位置の操作者への呈示法のみが異なる。よって、その他の入力方法や操作方法、入力情報の制御方法、表示方法、ポインティング時のフローなどは前述のポインタ４の場合と同様のため、説明は省略する。

形状が異なるポインタの一例としては、たとえば、図８に示すような形状のポインタ４が挙げられる。このポインタ４は、奥行き知覚の手がかりとなるリファレンス部位４Ｂとポインティングを行うとともに奥行き位置を表す部位４Ａ−１’からなる。また、このポインタ４は、リファレンス部位４Ｂの中心で２次元座標（ｘｙ座標）を表現する。また、奥行き位置を表す部位４Ａ−１’は、複数個の部位を奥行き方向に螺旋状に配置し、この部位４Ａ−１’の変化で奥行き位置を操作者に呈示する。なお、図８では、奥行き位置を表す部位４Ａ−１’は１３段階で図示しているが、奥行き位置を表す部位４Ａ−１’を増やし、より細かい奥行き位置を呈示することも可能である。

以下、図８に示したポインタ４によるポインティング方法を、図９を用いて説明する。なお、図９において、（ａ），（ｂ），（ｃ）はそれぞれ、ポインティング前のポインタとオブジェクトの位置関係、ポインタを奥行き方向に移動させたときの位置関係、オブジェクトがポインティングされたときの位置関係を示す図である。また、図９において、（ａ），（ｂ），（ｃ）には上から順にそれぞれ、操作者の視点から見た図、斜め上方から見た図、右側面から見た図を示している。

奥行き方向のポインティングをする場合、操作者は、まず、図９に示した（ａ）の状態のように、ポインタ４のリファレンス部位４Ｂの中心をポインティングしたいオブジェクト５と重なるように移動させる。このとき、操作者の視点から見て、リファレンス部位４Ｂの中心とオブジェクト５が重なっていても、奥行き位置が異なる場合、オブジェクト５はポインティングされていない。

このような状態で、たとえば、入力ペン２０２をタブレット２０１に押し付け、筆圧を加えるなどの、ポインタ４を奥行き方向に移動させる操作を行うと、たとえば、図９に示した（ｂ）の状態のように、ポインタ４の奥行き位置を表す部位４Ａ−１’が、操作者から見て手前の方（ｚ＜０）に配置されているものから順に消えていく。そのため、表示されている奥行き位置を表す部位４Ａ−１’の数によって、現在どの奥行き位置をポインティングしているかが分かる。

ここで、さらにもう一度、ポインタ４を奥行き方向に移動させる操作を行うと、たとえば、図９に示した（ｃ）の状態のように、ポインタ４の奥行き位置を表す部位４Ａ−１’のうち、オブジェクト５とほぼ同じ奥行き位置より奥にある部位だけが表示されるようになる。そして、表示されている部位４Ａ−１’のうち、最も手前にある部位の奥行き位置に相当する位置にオブジェクト５がある場合、そのオブジェクト５はポインティングされていると判定され、ポインティングされているオブジェクトの色を変えたオブジェクトを生成し、外部表示装置３に表示させる。

このとき、消えずに表示された奥行き位置を表す部位４Ａ−１’は、奥行き知覚の手がかりとなるリファレンスとなる。ゆえに、このポインタ４’は、ポインティングを行う部位自体がリファレンスとなり得る。そのため、表示を簡潔にすることができ、システム制御装置１（計算機）の表示にかかる負荷を減らすことができる。さらに、ポインタ４は、たとえば、図１０の（ａ），（ｂ），（ｃ）に示すように、奥行き位置を表す部位４Ａ−１’を消すことなく、奥行き位置を表す部位４Ａ−１’の色を変えるなどすることで奥行き位置を操作者に呈示することも可能である。なお、図１０において、（ａ），（ｂ），（ｃ）はそれぞれ、ポインティング前のポインタとオブジェクトの位置関係を操作者の視点から見た図である。

図１１は、前記実施例１の第２の応用例を説明するための模式図である。

前記実施例１および第１の応用例では、ポインタ４の、奥行き位置を表す部位４Ａ−１（４Ａ−１’）が回転しながら奥行き方向に変化しているが、これに限らず、２次元的な表現で奥行き位置を知覚させることもできる。その方法について、図１１を用いて説明する。なお、図１１において、上段の（ａ）が奥行き位置変化前、下段の（ｂ）が奥行き位置変化後を表す。また、図１１において、（ａ），（ｂ）には左から順にそれぞれ、斜め上方から見た図、操作者の視点から見た図、右側面から見た図を示している。

図１１に示すポインタ４は、２次元座標と奥行き位置をポインティングする部位４Ｐを有するポインティング部４Ａを持つ。また、奥行き位置をポインティングするときにポインティング部４Ａがたどる軌跡を表す部位４Ｄを持つ。この部位４Ｄは奥行き方向に傾いているため、その両端の部位の奥行き位置が異なる。ゆえに、奥行き知覚の手がかりとなるリファレンスとしても働く。さらに、ポインティングする部位４Ｐがポインティングしている奥行き位置を示す部位４Ｅを持つ。ここで、部位４Ｅは３次元空間内では奥行き方向に移動しても構わないし、ポインティングしている奥行き位置に対応した２次元平面内のみで移動しても構わない。また、部位４Ｅは、操作者がポインタ４を正面から見た場合、ｘｙ平面内で移動するため、奥行き位置を２次元的に知覚することができる。

図１２は、前記実施例１の第３の応用例を説明するための模式図である。

前記実施例１および第１の応用例では、ポインタ４の、奥行き位置を表す部位４Ａ−１（４Ａ−１’）が回転しながら奥行き方向に変化しているが、これに限らず、他の部位を回転させることで奥行き位置を知覚させることもできる。その方法について、図１２を用いて説明する。なお、図１２において、（ａ），（ｂ），（ｃ）はそれぞれ、ポインティング前のポインタとオブジェクトの位置関係、ポインタを奥行き方向に移動させたときの位置関係、オブジェクトがポインティングされたときの位置関係を示す図である。また、図１２において、（ａ），（ｂ），（ｃ）には上から順にそれぞれ、操作者の視点から見た図、斜め上方から見た図、右側面から見た図を示している。

図１２に示すポインタ４は、２次元座標と奥行き位置をポインティングする部位４Ｐを有するポインティング部４Ａを持つ。また、ポインティング部４Ａの奥行き位置を表す部位４Ｂを持つ。この部位４Ｂは、図１２に示すように、閉じていないリングで、その両端の奥行き位置が異なり、操作者が奥行き位置を変化させるにつれて部位４Ｂは回転する。操作者がポインタの奥行き位置を変化させるとポインティング部４Ａは、回転する部位４Ｂがある奥行き位置に沿って奥行き方向に移動する。ここで、操作者は、奥行き位置が変化するにつれて、部位４Ｂの閉じていない部分の２次元位置が回転する（位置が変わる）ことによって奥行き位置を知覚することができる．さらに、部位４Ｂの両端の奥行き位置は常に変化せず一定の奥行きにとどまっているため、操作者は、この両端を奥行き知覚の手がかりとなるリファレンスとして知覚することができる。

上記に示したポインタは、外部表示装置３としてDFD型表示装置を用いている場合、外部表示装置３に表示されるポインティングを行うための部位４Ａ−１’の位置や部位４Ｅの位置、部位４Ｂの閉じていない部分の２次元位置によって奥行きを認識できるだけでなく、実際に各オブジェクトの奥行きを知覚できるため、直感的、かつ、正確にポインタの奥行き位置が知覚できるという大きな効果がある。

本実施例２は前記実施例１の３次元ポインティング方法の別の応用例であり、ポインティングしている２次元座標（ｘｙ座標）において、ｚ座標にポインティング可能なオブジェクト（または点）が存在する場合、そのポインティング可能なオブジェクトの奥行き位置を表すオブジェクト４Ｆをポインタに呈示するポインティング方法である。なお、ポインティング可能なオブジェクトの奥行き位置を表すオブジェクト４Ｆが表示される以外は、前記実施例１と違いがないため、必要なシステムや操作法の説明は省略する。

図１３は、本実施例２の３次元ポインティング方法のシステム制御装置における処理手順を説明するためのフロー図である。

本実施例２の３次元ポインティング方法の場合も、システム制御装置１では、図１３に示すように、まず、外部表示装置３にオブジェクト５およびポインタ４を表示させる（ステップ６０１）。そして、操作者が、たとえば、前記ペンタブレットのタブレット２０１および入力ペン２０２を用いて入力した情報を入力情報取得手段１０１で取得する（ステップ６０２）。

次に、ステップ６０３においてポインタ４の移動方向、移動量等を算出した後、ポインタ４の奥行き方向にポインティング可能なオブジェクトが、その時点でポインタがポインティングしている点の２次元射影平面（ｘｙ座標）上で所定の距離（ここでは10ピクセルとする）以内に入っているかどうかを、ポインティング可能点判定手段１０３において判定する（ステップ６０９）。ポインティング可能なオブジェクトがある場合、ポインティング可能なオブジェクトの奥行き位置を表すオブジェクト４Ｆを表示し（ステップ６１０）、ポインティング可能なオブジェクトがない場合はステップ６１０を飛ばして、ステップ６０４の処理を行う。

なお、図１３に示したステップ６０４からステップ６０８までの処理は、図７に示したステップ６０４からステップ６０８までの処理と同じ処理でよいので、繰り返しの説明は省略する。

図１４は、本実施例２の概念を説明するための模式図である。

本実施例２の概念を、たとえば、図５に示したポインタ４およびオブジェクト５のポインティング操作に適用すると、図１４のようになる。なお、図１４において、（ａ），（ｂ），（ｃ）はそれぞれ、ポインティング前のポインタとオブジェクトの位置関係、ポインタを奥行き方向に移動させたときの位置関係、オブジェクトがポインティングされたときの位置関係を示す図である。

本実施例２のポインティング方法では、たとえば、図１４に示した（ａ）の状態のように、ポインタ４のポインティングを行う部位４Ａ−１（ポインティングしている部位４Ｐ）をオブジェクト５上に移動させると、図１３に示したステップ６０９により、ポインティング可能なオブジェクトがあると判定される。そのため、ステップ６１０により、ポインティング可能なオブジェクトの奥行き位置を表すオブジェクト４Ｆが生成され、図１４の（ａ）の状態のように、外部表示装置３にオブジェクト４Ｆが表示される。このことにより、操作者は、ポインタ４がどの奥行き位置にあっても、ポインタ４の奥行き位置とポインティング可能なオブジェクト５の奥行き位置の関係を知ることができ、より効率的なポインティングが可能となる。

この状態から、ポインティングを行う部位４Ａ−１を奥行き方向に移動させる操作をすると、図１４に示した（ｂ），（ｃ）の状態のように、ポインティングを行う部位４Ａ−１が回転しながら奥行き方向に移動する。そして、ポインティングを行う部位４Ａ−１が、オブジェクト４Ｆが表示されている位置まで回転すると、オブジェクト５がポインティングされた状態になり、たとえば、図１４の（ｃ）の状態のようにオブジェクト５の色が変化する。

なお、本実施例２において、ポインティング可能なオブジェクトの奥行き位置を表すオブジェクト４Ｆは小さな三角形状であるが、操作者にポインティング可能な奥行き位置を呈示可能であればこの限りではない。

また、本実施例２において、ポインティング可能なオブジェクトの奥行き位置を表すオブジェクト４Ｆを表示するための条件として、ポインタ４がポインティングしている点の２次元射影平面（ｘｙ座標）上で一定の距離を10ピクセル以内としたが、この距離は操作者や管理者などが事前に任意の値に設定しても構わないし、システム制御装置１が自動的に所定の値に設定しても構わないものとする。

図１５は、本発明による実施例３の３次元ポインティング方法を説明するための模式図である。

本実施例３は、オブジェクトが操作者から見て重なった奥行き位置に配置されている場合における一つのオブジェクトのポインティング方法である。以下、本実施例３の３次元ポインティング方法を、図１５を用いて説明する。なお、図１５において、（ａ），（ｂ），（ｃ），（ｄ）はそれぞれ、ポインティング前のポインタとオブジェクトの位置関係、ポインタを奥行き方向に移動させたときの位置関係、手前のオブジェクトがポインティングされたときの位置関係、奥のオブジェクトがポインティングされたときの位置関係を示す図である。また、図１５において、（ａ），（ｂ），（ｃ），（ｄ）には上から順にそれぞれ、操作者の視点から見た図、斜め上方から見た図、右側面から見た図を示している。

本実施例３では、説明を簡単にするために、たとえば、図１５に示した（ａ）の状態のように、２つのオブジェクト５Ａ，５Ｂが重なっている場合を例に挙げる。またこのとき、操作者は、後ろのオブジェクト５Ｂをポインティングして選択しようとしているものとする。

また、前記実施例１のポインティング方法を用い、操作者がポインティング部４Ａ−１の回転角と知覚される奥行き位置からポインタとオブジェクトの奥行き位置を認知し、複数のオブジェクトを個別にポインティングすることは可能であるが、ここでは、本ポインタの特徴をより生かすため、前記実施例２のポインティング方法を応用して用いることとする。本実施例３のように複数個のオブジェクトが重なっている場合、前記実施例２におけるポインティング可能なオブジェクトの奥行き位置を表すオブジェクト４Ｆをポインティング可能なオブジェクトの数だけ複数表示する。そのため、たとえば、図１５の（ａ）の状態のように、２つのオブジェクト５Ａ，５Ｂが重なっている場合、手前のオブジェクト５Ａの奥行き位置を表すオブジェクト４Ｆ−１と、奥のオブジェクト５Ｂの奥行き位置を表すオブジェクト４Ｆ−２が表示される。

本実施例３では、操作者がポインタをｘｙ座標上で移動させ、ポインタ４の奥行き方向にポインティング可能なオブジェクトが、その時点でポインタがポインティングしている点の２次元射影平面（ｘｙ座標）上で一定の距離（ここでは１０ピクセルとする）以内に入っていた場合、ポインティング可能なオブジェクトの奥行き位置を表すオブジェクト４Ｆ−１，４Ｆ−２が表示される。操作者は、表示された２つのポインティング可能なオブジェクトの奥行き位置を表すオブジェクト４Ｆ−１，４Ｆ−２から、ポインティングできるオブジェクトが２つ存在することを認識し、選択しようとしているオブジェクトの奥行き位置を他のオブジェクトの奥行き位置と混同することなく認知、さらにはポインティングすることができる。

このような状態で、たとえば、ポインタ４を奥行き方向に移動させる操作をすると、図１５に示した（ｂ）の状態のように、ポインティングを行うための部位４Ａ−１が、ｘｙ平面内でポインティング部４Ｐを中心に回転しながらオブジェクト５の方向（＋ｚ方向）に移動する。

ここで、さらにもう一度、ポインタ４を奥行き方向に移動させる操作をすると、図１５に示した（ｃ）の状態のように、ポインティングを行うための部位４Ａ−１が、ｘｙ平面内でポインティング部４Ｐを中心に回転しながらオブジェクト５の方向（＋ｚ方向）に移動する。そして、手前のオブジェクト５Ａの奥行き位置を表すオブジェクト４Ｆ−１が表示されている位置まで回転すると、手前のオブジェクト５Ａがポインティングされた状態となり、手前のオブジェクト５Ａの色が変化する。

その後、さらにもう一度、ポインタ４を奥行き方向に移動させる操作をすると、図１５に示した（ｄ）の状態のように、ポインティングを行うための部位４Ａ−１が、ｘｙ平面内でポインティング部４Ｐを中心に回転しながらオブジェクト５の方向（＋ｚ方向）に移動する。そして、奥のオブジェクト５Ｂの奥行き位置を表すオブジェクト４Ｆ−２が表示されている位置まで回転すると、奥のオブジェクト５Ｂがポインティングされた状態となり、奥のオブジェクト５Ｂの色が変化する。このとき、手前のオブジェクト５Ａは、ポインティングされていない状態の色に戻る。

なお、本実施例３において、ポインティング可能なオブジェクトの奥行き位置を表すオブジェクト４Ｆ−１、４Ｆ−２は小さな三角形のような形状を用いたが、操作者にポインティング可能な奥行き位置を呈示可能であればこの限りではない。また、ポインティング可能なオブジェクトの奥行き位置を表すオブジェクトが複数表示される以外は、実施例１および実施例２と違いがないため、必要なシステムや操作法の説明は省略する。

図１６は、本実施例３の応用例を説明するための模式図である。

図１５に示した例では、重なっている２つのオブジェクト５Ａ，５Ｂがともに、フォルダ型のオブジェクトであったが、実際の３次元GUIでは、フォルダ型に限らず、種々の形状のオブジェクトが表示される。そこで、ポインティング可能なオブジェクトの奥行き位置を表すオブジェクト４Ｆを表示するときに、該当するオブジェクトに割り当てられた属性に対応した形状のオブジェクトを表示することで、操作者は選択しようとしている目的のオブジェクトの奥行き位置を他のオブジェクトの奥行き位置と混同することなく認知し、ポインティングすることができるようになる。

ポインティング可能なオブジェクトの属性に対応した形状のオブジェクト４Ｆを表示する場合の一例として、図１６に示すように、２つのオブジェクト５Ａ，５Ｂが重なっており、手前のオブジェクト５Ａがフォルダ型オブジェクト、奥のオブジェクト５Ｂがメール型オブジェクトである場合を挙げる。このとき、手前のオブジェクト５Ａの奥行き位置を表すオブジェクト４Ｆ−１をフォルダ形状とし、奥のオブジェクト５Ｂの奥行き位置を表すオブジェクト４Ｆ−２をメール形状にする。このようにすれば、手前のオブジェクト５Ａを選択するときには、ポインティングを行う部位４Ａ−１がオブジェクト４Ｆ−１の位置まで回転するように外部入力装置２を操作すればよいことがわかる。

なお、本実施例３では、ポインティング対象となるオブジェクト５Ａ，５Ｂ、およびポインティング可能なオブジェクトの奥行き位置を表すオブジェクト４Ｆ−１，４Ｆ−２をそれぞれ、フォルダ型、メール型としたが、同様の効果が得られるのであればこの限りではない。特にポインティング可能なオブジェクトの奥行き位置を表すオブジェクトについては、ポインティングしようとしているオブジェクトの属性に応じて、形状、色、大きさ、向き、動きなどを変化させて表示してもよいものとする。また、指標が表示される位置は、ポインティング可能な奥行き位置に限定せず、ポインティング可能な奥行き位置を操作者に２次元位置で呈示できるのであれば、その奥行き位置は問わず、２次元射影平面内のどの位置でも構わないものとする。

図１７および図１８は、本発明による実施例４の３次元ポインティング方法を説明するための模式図であり、図１７は前記各実施例の問題点を説明する図、図１８は本実施例４の原理を説明する図である。

本発明の３次元ポインティング方法では、たとえば、図１７に示した（ａ）の状態のように、操作者が選択しようとしているオブジェクト５Ａ，５Ｂがポインタ４の大きさよりも大きい場合がある。このとき、ポインタ４を、たとえば、オブジェクト５Ａ上に移動させ、ポインティングを行う部位４Ａ−１を奥行き方向に移動させると、図１７に示した（ｂ）の状態のように、ポインティングを行う部位４Ａ−１が隠れてしまい、どこをポインティングしているのか分からなくなってしまうことがある。

そこで、本実施例では、ポインタよりも大きなオブジェクトをポインティングする際にも、ポインタが隠れることなく、また、操作者が他の実施例同様に奥行き位置を知覚してポインティングが行えるポインタについて説明する。

本実施例４では、たとえば、図１８に示した（ａ）の状態のように、オブジェクトがない位置にポインタ４がある場合、ポインタ４は、初期の大きさで表示されているとする。このとき、操作者が選択しようとしているオブジェクト５Ａ，５Ｂがポインタ４の大きさよりも大きい場合がある。

そして、たとえば、ポインタ４よりも大きいオブジェクト５Ｂをポインティングしたい場合は、図１８に示した（ｂ）の状態のように、オブジェクト５Ｂ上にポインタ４を移動させる。そして、ポインティングを行う部位４Ａ−１を奥行き方向に移動させる操作をする。

このとき、ポインタ４が初期の大きさであれば、ポインティングを行う部位４Ａ−１の奥行き位置が手前のオブジェクト５Ａの奥行き位置よりも奥になると、ポインティングを行う部位４Ａ−１は手前のオブジェクト５Ａに隠れてしまう。そこで、ポインティングを行う部位４Ａ−１より手前にあり、かつ、重なっているオブジェクト５Ａがある場合、図１８の（ｂ）の状態のように、ポインタ４のｘｙ平面内での大きさを、あらかじめ操作者が設定していた大きさ、または、ポインタがオブジェクトに隠れず見える大きさまで拡大して表示される。これにより、操作者はポインタのポインティングを行う部位の奥行き位置を認識することができるようになり、目的のオブジェクトをポインティングできる。

図１９は、本実施例４の３次元ポインティング方法のシステム制御装置における処理手順を説明するためのフロー図である。

本実施例４の３次元ポインティング方法の場合も、システム制御装置１では、図１９に示すように、まず、外部表示装置３にオブジェクト５およびポインタ４を表示させる（ステップ６０１）。そして、操作者が、たとえば、前記ペンタブレットのタブレット２０１および入力ペン２０２を用いて入力した情報を入力情報取得手段１０１で取得する（ステップ６０２）。

次に、ポインタ４の移動方向、移動量を算出し（ステップ６０３）、その算出結果に基づいた２次元座標位置にポインタ４を移動させ、外部表示装置３に表示させる（ステップ６０４）。その後、ポインティングを行う部位の奥行き座標を算出し（ステップ６０５）、ポインティングを行う部位を奥行き方向に移動させながら回転させ、外部表示装置３に表示させる（ステップ６０６）。

なお、図１９に示したステップ６０１からステップ６０６までの処理は、図７に示したステップ６０１からステップ６０６までの処理と同じ処理でよいので、詳細な説明は省略する。

本実施例４では、ステップ６０６の後、図１９に示すように、操作者から見えるポインタ４の面積が所定の大きさを下回るか否かを判定する（ステップ６１１）。ステップ６１１は、たとえば、ポインタ４よりも手前にオブジェクトがあるか否か、手前にオブジェクトがある場合、ポインタ４の全体が隠れるか否かで判定する。このとき、ポインタ４の全体が隠れるのであれば、ポインタ４のｘｙ平面内の大きさを、所定の大きさに拡大し、外部表示装置３に表示させる（ステップ６１２）。また、ポインタ４が隠れない場合は、大きさを変えず、そのまま次の処理（ステップ６０７）を行う。

なお、図１９に示したステップ６０７およびステップ６０８の処理は、図７に示したステップ６０７およびステップ６０８の処理と同じ処理でよいので、繰り返しの説明は省略する。

ただし、本実施例４では、ポインタ４の全体が隠れた場合にポインタを拡大するだけでなく、たとえば、ポインティングを行う部位４Ａ−１やリファレンス部位４Ｂなど、ポインタ４の一部分が隠れたときにポインタ全体をｘｙ平面内で拡大してもよい。また、ポインタ４を拡大するときには、ｘｙ平面内で拡大するだけでなく、ｘ方向またはｙ方向のいずれか一方向のみに拡大してもよい。また、ポインタの一部分のみを拡大するなど、同じ効果が得られるのであればこの限りではない。また、ポインタが隠れている面積によって拡大率を変えるなど、拡大率を動的に設定しても構わないものとする。

図２０は、ポインタの拡大率の設定方法の一例を示す模式図である。

ポインタの拡大率を動的に設定する場合、たとえば、図２０に示すように、操作者から見たポインタ４、またはポインティングを行うための部位４Ａ−１等の面積が、ポインタまたはポインティングを行うための部位４Ａ−１等の全体の面積に対してある一定の割合ｔを下回ると、ポインタまたはポインティングを行うための部位４Ａ−１等の面積を拡大し、操作者から見えるポインタの面積の割合がｔを保つようにする。この割合ｔは、事前にシステムが設定しておいてもかまわないし、操作者が任意に設定してもかまわない。また、拡大方法は、ポインタが完全に隠れた時点で面積を２倍にするなど、例の限りではない。

以上、本発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において、種々変更可能であることはもちろんである。

たとえば、前記実施例１から実施例４で説明したようなポインティング方法を、前記コンピュータに実行させるようなプログラムとして記述して前記コンピュータにインストールし、実行させることで、一般的なパーソナルコンピュータでも本発明のポインティング方法を実現することができる。またこのとき、前記プログラムは、たとえば、磁気的、電気的、もしくは光学的な記録媒体に記録して提供することもできるし、インターネット等のネットワークを介して提供することもできる。

本発明の３次元ポインティング方法を実現するためのシステムの構成例を示す模式図である。 DFD表示装置の原理を説明するための模式図である。 DFD表示装置の原理を説明するための模式図である。 本発明による実施例１の３次元ポインティング方法を説明するための模式図であり、本発明に用いるポインタの例を説明するための図である。 本発明による実施例１の３次元ポインティング方法を説明するための模式図であり、原理を説明するための図である。 本発明による実施例１の３次元ポインティング方法を説明するための模式図であり、奥行き方向にあるオブジェクトのポインティング方法を説明するための図である。 ポインタの形状の第1の変形例を説明するための模式図である。 ポインタの形状の第1の変形例を説明するための模式図である。 本実施例１の３次元ポインティング方法のシステム制御装置における処理手順を説明するためのフロー図である。 前記実施例１の第１の応用例を説明するための模式図であり、ポインタの形状の例を説明するための図である。 前記実施例１の第１の応用例を説明するための模式図であり、奥行き方向にあるオブジェクトのポインティング方法を説明するための図である。 前記実施例１の第１の応用例を説明するための模式図であり、本応用例の変形例を説明するための図である。 前記実施例１の第２の応用例を説明するための模式図である。 前記実施例１の第３の応用例を説明するための模式図である。 本実施例２の３次元ポインティング方法のシステム制御装置における処理手順を説明するためのフロー図である。 本実施例２の概念を説明するための模式図である。 本発明による実施例３の３次元ポインティング方法を説明するための模式図である。 本実施例３の応用例を説明するための模式図である。 本発明による実施例４の３次元ポインティング方法を説明するための模式図であり、前記各実施例の問題点を説明する図である。 本発明による実施例４の３次元ポインティング方法を説明するための模式図であり、本実施例４の原理を説明する図である。 本実施例４の３次元ポインティング方法のシステム制御装置における処理手順を説明するためのフロー図である。 ポインタの拡大率の設定方法の一例を示す模式図である。

符号の説明

１…システム制御装置
１０１…入力情報取得手段
１０２…ポインティング位置算出手段
１０３…ポインティング可能点判定手段
１０４…ポインタ生成手段
１０５…表示制御手段
１０６…ポインティング判定手段
１０７…オブジェクト生成手段
１０８…処理制御手段
１０９…記憶手段
２…外部入力装置
２０１…タブレット
２０２…入力ペン
３…外部表示装置
３Ａ…手前の表示面
３Ｂ…奥の表示面
４…ポインタ
４Ａ，４Ａ−１，４Ａ−１’…ポインティングを行うための部位
４Ｂ，４Ｃ…奥行き方向の位置が固定された部位（リファレンス部位）
４Ｐ…ポインティングしている位置を指し示す部位
４Ｄ…ポインティングを行う部位の軌跡
４Ｅ…リファレンス部位
４Ｆ，４Ｆ−１，４Ｆ−２…奥行き位置を表すオブジェクト
５，５Ａ，５Ｂ…オブジェクト

Claims (11)

1. ３次元空間を表現できる表示装置に表現された３次元表示空間の任意の一点を該３次元表示空間内のオブジェクトであるポインタでポインティングする３次元ポインティング方法であって、
   入力装置からの入力情報に基づいて、前記３次元表示空間のポインティングする点の２次元平面座標および奥行き位置を算出するステップ１と、
   前記ポインティングする点の２次元平面座標を示す第１の部位と、前記ポインティングする点における奥行き位置に応じて２次元平面内の前記第１の部位を中心とした角度または位置が変化する第２の部位とを有するポインタを生成するステップ２と、
   前記生成したポインタを表示装置に表示させるステップ３とを有することを特徴とする３次元ポインティング方法。
2. 前記ステップ２は、前記ポインタと、ポインティング可能なオブジェクトとの、２次元射影平面上での距離が一定の距離以内に近づくと、前記ポインティング可能なオブジェクトの奥行き位置を前記第２の部位が表示されるべき前記奥行き位置に相当する２次元平面内での前記第１の部位を中心とした角度または位置を示すオブジェクトを生成することを特徴とする請求項１に記載の３次元ポインティング方法。
3. 前記ステップ１からステップ３の各ステップに加え、前記ポインティング可能なオブジェクトの奥行き位置を前記第２の部位が表示されるべき前記奥行き位置に相当する２次元平面内での前記第１の部位を中心とした角度または位置を示すオブジェクトの形状、色、大きさ、向きおよび動きのうちの少なくとも一つを、前記ポインティング可能なオブジェクトの属性に対応して変化させるステップ４を有することを特徴とする請求項２に記載の３次元ポインティング方法。
4. 前記ステップ２は、３次元表示空間の任意の一点をポインティングする際、前記ポインタの大きさを変化させて表示することを特徴とする請求項１乃至請求項３のいずれか１項に記載の３次元ポインティング方法。
5. 前記ステップ２は、前記第１の部位および第２の部位の各部位に加え、奥行き方向の位置が固定されており、奥行き方向の位置が変化する部位と奥行き位置を比較することのできる第３の部位を生成することを特徴とする請求項１乃至請求項４のいずれか１項に記載の３次元ポインティング方法。
6. ３次元空間を表現できる表示装置に表現された３次元表示空間の任意の一点を該３次元表示空間内のオブジェクトであるポインタでポインティングする３次元ポインティング装置であって、
   入力装置からの入力情報を取得する入力情報取得手段と、
   前記入力情報取得手段で取得した入力情報に基づいて、前記３次元表示空間のポインティングする点の２次元平面座標および奥行き位置を算出するポインティング位置算出手段と、
   前記ポインティング位置算出手段の算出結果に基づいて、前記ポインティングする点の２次元平面座標位置および奥行き位置を指し示すポインタを生成するポインタ生成手段と、
   前記ポインタ生成手段で生成したポインタを前記表示装置に表示させる表示制御手段とを備え、
   前記ポインタ生成手段は、前記ポインティングする点の２次元平面座標を示す第１の部位と、前記ポインティングする点における奥行き位置に応じて２次元平面内の前記第１の部位を中心とした角度または位置が変化する第２の部位とを有するポインタを生成することを特徴とする３次元ポインティング装置。
7. 前記ポインタ生成手段は、前記ポインタと、ポインティング可能なオブジェクトとの、２次元射影平面上での距離が一定の距離以内に近づくと、前記ポインティング可能なオブジェクトの奥行き位置を前記第２の部位が表示されるべき前記奥行き位置に相当する２次元平面内での前記第１の部位を中心とした角度または位置を示すオブジェクトを生成する手段を備えることを特徴とする請求項６に記載の３次元ポインティング装置。
8. 前記各手段に加え、前記ポインティング可能なオブジェクトの奥行き位置を前記第２の部位が表示されるべき前記奥行き位置に相当する２次元平面内での前記第１の部位を中心とした角度または位置を示すオブジェクトの形状、色、大きさ、向きおよび動きのうちの少なくとも一つを、前記ポインティング可能なオブジェクトの属性に対応して変化させるオブジェクト生成手段を備えることを特徴とする請求項７に記載の３次元ポインティング装置。
9. 前記ポインタ生成手段は、前記ポインタの大きさを変化させる手段を備えることを特徴とする請求項６乃至請求項８のいずれか１項に記載の３次元ポインティング装置。
10. 前記ポインタ生成手段は、前記第１の部位および第２の部位の各部位に加え、奥行き方向の位置が固定されており、奥行き方向の位置が変化する部位と奥行き位置を比較することのできる第３の部位を生成することを特徴とする請求項６乃至請求項９のいずれか１項に記載の３次元ポインティング装置。
11. 請求項６乃至請求項１０に記載のポインティング装置における各手段の処理動作をコンピュータに実行させる３次元ポインティングプログラム。

Images