以下、本発明の第1〜第4の実施の形態を説明する。なお、特に断りのない限り、図面における符号は各実施の形態において独立に付されたものとする。
(第1の実施の形態)
まず、本発明の第1の実施の形態について説明する。第1の実施の形態は本発明の第1の目的に対応するものである。
本発明の第1の実施の形態の3次元ポインティング方法は、3次元表示が可能な表示装置に表現された3次元空間上のオブジェクトを、ペン形の入力装置を用いてポインティングしたり、前記ポインティングされたオブジェクトの操作をしたりする方法である。前記ペン形の入力装置は、たとえば、ペンタブレットのように、前記オブジェクトのポインティングや操作を行う操作者が持って操作をするペン形の操作手段(以下、入力ペンという)と、前記入力ペンのペン先の位置、筆圧、軸の向き等の情報を検出する検出手段からなる。そして、第1の実施の形態の3次元ポインティング方法では、前記検出手段で検出した情報に基づいて、ポインタの位置、形状、向き等を決定し、前記表示装置に表現された3次元空間上に前記ポインタを表示させる。このようにすることで、前記操作者は、前記検出手段の検出面上に前記入力ペンのペン先を接触させた状態で、前記表示装置に表現された3次元空間上の前記オブジェクトのポインティングや操作を行うことができ、長時間のポインティングやオブジェクト操作時の前記操作者の疲労を軽減できる。
また、第1の実施の形態の3次元ポインティング方法では、前記入力ペンの筆圧を、前記ポインタの奥行き方向の移動または変形と対応させることで、前記表示装置に表現された3次元空間内の一点をポインティングできるようにする。またこのとき、前記入力ペンの傾き、方位の情報を前記ポインタの傾き、方位に反映させることで、操作者は、前記表示装置に表現された3次元空間上に表示されたポインタがあたかも自身が持つ入力ペンのペン先の一部と感じることができ、3次元オブジェクトのポインティングを容易に、かつ直感的に行うことが可能となる。
また、第1の実施の形態の3次元ポインティング方法では、前記オブジェクトをポインティングした後、前記ポインティングされたオブジェクトを、2次元GUI的な編集、加工等の操作が可能な状態、言い換えると前記入力ペンの操作で前記2次元GUI上のオブジェクトを操作することが可能な状態にする。またこのとき、前記オブジェクト編集・加工といった操作が終了した後、前記オブジェクトを再度3次元オブジェクトとして扱い、操作者の望む3次元位置に移動できるようにする。このようにすることで、3次元オブジェクトの操作を、既存のペン形の入力装置を用いたこれまでの2次元GUIにおける操作と変わらない操作で実現でき、前記操作者は、オブジェクトの操作をするための、3次元的な入力ペンの操作を新たに習得しなくてもよい。
図1乃至図3は、第1の実施の形態の3次元ポインティング方法の概要を説明するための模式図であり、図1は第1の実施の形態の3次元ポインティング方法を実現するシステムの構成例を示す図、図2は第1の実施の形態の3次元ポインティング方法の原理を説明するための図、図3は第1の実施の形態の3次元ポインティング方法で用いる入力ペンの構成例を示す図である。
図1において、1はシステム制御装置、101は入力情報取得手段、102はポインタ位置/回転角度算出手段、103はポインタ生成手段、104はポインティング判定手段、105はオブジェクト生成手段、106は表示制御手段、107は処理制御手段、108は記憶手段、2は入力装置、3は表示装置である。また、図2において、201Pは入力ペンのペン先、201Xは入力ペンの筐体の軸である。また、図3において、201は入力ペン、201Aはコイル、201Bは回転角検出用のコイル、201Cは筆圧感知部である。
第1の実施の形態の3次元ポインティング方法は、たとえば、PC等のシステム制御装置に接続された前記ペン形の入力装置を用いて、前記システム制御装置に接続された表示装置に表現された3次元空間上にあるポインタやポインティングされたオブジェクトを3次元的に操作するときに適用して好ましいポインティング方法である。
システム制御装置1は、図1に示すように、前記入力装置2から入力された入力情報を取得する入力情報取得手段101と、前記入力情報取得手段101で取得した入力情報がポインタの制御に関する情報である場合に、前記入力情報に基づいてポインタの移動方向および移動量、回転方向および回転角度等を算出するポインタ位置/回転角度算出手段102と、前記ポインタ位置/回転角度算出手段102の算出結果に基づいたポインタを生成するポインタ生成手段103と、前記ポインタ生成手段103で生成するポインタにポインティングされているオブジェクトがあるか否かの判定をするポインティング判定手段104と、前記ポインティングされているオブジェクトがある場合に、たとえば、そのオブジェクトの色を変えたり、前記ポインタの移動や回転を追随させた位置や向きのオブジェクトを生成するオブジェクト生成手段105と、前記ポインタ生成手段103で生成されたポインタや、前記オブジェクト生成手段105で生成されたオブジェクトを前記表示装置3に表示させる表示制御手段106とを備える。
また、前記システム制御装置1は、たとえば、前記PCのように、前記入力装置2からの入力情報に応じてソフトウェアの起動や操作をしたり、他の装置の制御を行ったりする装置であり、図1に示したように、前記各手段の他に、たとえば、ソフトウェアの起動等の処理を制御する処理制御手段107や、前記処理制御手段107による処理で用いるデータ等が記憶された記憶手段108を備える。そして、前記入力情報取得手段101で取得した情報が、前記ポインタの制御に関する情報とは異なる場合、前記入力情報取得手段101は、前記取得した情報を前記処理制御手段107に渡し、取得した情報に応じた処理を前記システム制御装置1に実行させる。そのため、前記表示制御手段106は、前記ポインタや前記オブジェクトのほかに、前記システム制御装置1(処理制御手段107)で実行中の処理の内容や、処理の結果を前記表示手段3に表示させることもできる手段である。
また、前記入力装置2は、図示は省略するが、たとえば、前記ポインタやオブジェクトの操作を行う操作者が持つペン形の操作手段(入力ペン)と、前記入力ペンのペン先の位置、ペン先にかかる圧力(筆圧)、前記入力ペンの傾き、方位、回転角等の情報を検出する検出面を持つ検出手段からなる。
図2に示すように、前記検出手段の検出面上に、前記表示装置3に表現される3次元空間と対応するデカルト座標系XYZをとり、前記デカルト座標系XYZのXY平面が検出面とすると、前記検出手段は、前記検出面(XY平面)に前記入力ペンのペン先201Pが接触したときに、ペン先201Pの座標(x,y)、入力ペンの筐体の軸201Xの方位α(たとえば0度≦α<360度),傾きβ(たとえば0度≦β≦90度),軸周りの回転γ(たとえば0度≦γ<360度)の各角度、ペンの筆圧等の情報を検出する。
前記ペン先201Pの座標、前記入力ペンの筐体の軸201Xの方位α,傾きβ,軸周りの回転γ,筆圧等の情報を検出することが可能な入力装置2の構成は、たとえば、参照文献1(三谷 雄二, "タッチパネルの基礎と応用," テクノタイムズ社, 2001.)や参照文献2(株式会社WACOM製intuos2のカタログ)等に記載された内容から、当業者であれば容易に推測でき、容易に実現することが可能である。ただし、前記入力ペンの筐体の軸201Xの軸周りの回転γの角度については、前記参照文献1や参照文献2に記載された構造では取得できない。しかしながら、前記軸周りの回転γの角度を検出するためには、たとえば、図3に示すように、前記入力ペン201の内部の、前記参照文献1に記載されている座標指示器のコイル201Aと平行に、前記軸周りの回転γを検出するためのコイル201Bをもう一つ加え、筆圧感知部201Cにおいて両コイル201A,201Bの鎖交する磁束の変化をそれぞれ取得し、回転量を計算すればよいことは、当業者であれば容易に想到でき、実現することは可能である。ただし、本実施形態の3次元ポインティング方法で使用する前記入力ペン201は、図3に示したような、前記軸周りの回転γの角度を検出する機構を備えた構成でなくともよい。
また、前記入力装置2は、ペンタブレットや、タッチパネルとスタイラスペンの組み合わせのように、前記入力ペンと前記検出手段が分離した装置に限らず、たとえば、ペン形マウスのように、前記入力ペンの筐体の内部に前記検出手段が組み込まれている入力装置であってもよい。
また、前記表示装置3は、3次元空間を表現できる表示装置であればよく、たとえば、CRTディスプレイや液晶ディスプレイのように3次元オブジェクトを2次元平面に射影した形で表現して表示する2次元表示装置でもよく、HMD(Head Mount Display)やDFD(Depth Fused 3D)(DFDの詳細については後述する)のように3次元立体像を表現して表示することが可能な表示装置でもよい。つまり、前記表示装置3は、前記操作者が、表示されたポインタやオブジェクトを3次元的に知覚することが可能であればどのような表示装置でもよい。
また、前記入力装置2の検出手段と前記表示装置3は、一体型の形態を取ることも可能である(たとえば、特開平5-073208号公報を参照。)。前記入力装置2として、電磁誘導方式のペンタブレットを用いる場合、前記検出手段(デジタイザ)は、前記表示装置3の表示面と重ね合わせ、前記表示装置3と一体的にすることができる。また、同様の形態として、たとえば、タッチパネルとスタイラスペンを組み合わせた形態を適用することも可能である。このようにすれば、前記操作者は、液晶ディスプレイ等の前記表示装置3の表示面に前記入力ペンを接触させてポインティングすることが可能となり、前記検出手段と前記表示装置3が分離した状態で操作する場合に比べ、より直感的な操作が可能となる。ただし、本発明は、このような前記入力装置2の検出手段と前記表示装置3の構成を限定するものではなく、一般的なペンタブレットのように、前記検出手段と前記表示装置3が一体的になっていなくともよい。
[実施例1−1]
図4A乃至図7は、本発明による実施例1−1の3次元ポインティング方法を説明するための模式図であり、図4Aは表示装置に表現される3次元空間の一例を示す正面図および右側面図ならびに下面図、図4Bは表示装置に表現される3次元空間の一例を示す鳥瞰図、図5A,図5B,図5Cはそれぞれ入力ペンで操作したときの3次元空間内の様子を示す鳥瞰図、図6A,図6B,図6Cはそれぞれ入力ペンで操作したときの3次元空間内の様子を示す正面図および右側面図、図7は本実施例1−1の3次元ポインティング方法の処理手順を示すフロー図である。なお、図6A,図6B,図6Cはそれぞれ、図5A,図5B,図5Cと対応する図である。
本実施例1−1の3次元ポインティング方法は、前記入力ペン201の筆圧を変えることで3次元空間内の操作者からみて奥行き方向にあるオブジェクトをポインティングする方法である。
本実施例1−1では、前記入力装置2には電磁誘導方式のペンタブレット、前記3次元空間を表示できる表示装置3には液晶ディスプレイを用いることとする。また、前記入力装置2の検出手段(デジタイザ)は前記液晶ディスプレイ3の表示面と重ね合わせており、表示画面上で直接入力ペンを操作し、ポインティングが行えるものとする。また、前記入力装置2および前記表示装置3は、図1に示したような構成のシステム制御装置1に接続されているとする。
また、本実施例1−1では、図4Aおよび図4Bに示すように、前記液晶ディスプレイ3に表現された3次元空間301の中に、図2で示した座標系XYZと対応させた座標系XYZを設定し、オブジェクト302が3次元空間301内のz<0の位置に配置されているとする。また、前記入力装置2の入力ペン201を操作する操作者は、前記3次元空間301のXY平面を、z>0の方向から観察しているとする。
また、本実施例1−1では、前記3次元空間301のz=0のXY平面、すなわち前記操作者から見て一番近い面が前記液晶ディスプレイの表示面であると同時に、前記入力装置2の検出手段の検出面であるとする。
このとき、前記操作者が、図5Aおよび図6Aに示すように、前記入力ペン201のペン先201Pを前記液晶ディスプレイ3の表示面に接触させると、前記表示面に重ね合わされた前記検出手段が前記ペン先201Pの位置(座標)や筆圧等を検出する。このとき、前記システム制御装置1では、前記入力情報取得手段101により前記検出手段が検出した前記ペン先201Pの位置(座標)や筆圧等の情報を取得し、前記ポインタ位置/回転角度算出手段102および前記ポインタ生成手段103に、前記ペン先201Pが接触した位置に該当する前記3次元空間301上の位置(たとえば、入力ペンの軸の3次元空間における延長線上の位置)に表示させるポインタを生成させる。そして、前記ポインタが生成されると、前記表示制御手段106から前記表示装置3にポインタ表示用の信号が送られ、たとえば、図5Aおよび図6Aに示したように、前記表示装置3に表現された3次元空間301上に、前記ペン先201Pの位置および筆圧を反映したポインタ303が表示される。
また、前記操作者が、前記入力ペン201のペン先201Pを前記液晶ディスプレイ3の表示面に接触させた後、たとえば、図5Bおよび図6B、あるいは図5Cおよび図6Cに示すように、前記入力ペン201を前記液晶ディスプレイ3の表示面に押しつけるようにして筆圧を高くすると、前記システム制御装置1の前記ポインタ位置/回転角度算出手段102および前記ポインタ生成手段103では、前記筆圧の高さに応じた形状のポインタを生成させる。このとき、たとえば、前記筆圧の高さに応じて矢印形のポインタが長くなるようにしておけば、前記表示装置3に表現された3次元空間301上のポインタ303は、筆圧を高くすることにより、図5Bおよび図6Bに示したように、図5Aおよび図6Aに示したポインタよりも長くなる。また、さらに筆圧を高くすれば、図5Cおよび図6Cに示したように、前記ポインタ303がさらに長くなる。
このようなポインタ303の表示を、前記操作者が前記入力ペン201に筆圧を加える操作を行うのとほぼ同時に連続的に行われるようにすることで、前記操作者は、あたかも加えた筆圧によってポインタが3次元奥行き方向(z<0)に伸びていくように感じることが可能である。また、図示は省略するが、前記システム制御装置1のポインティング判定手段104により前記ポインタ303(ポインタの先)が目的のオブジェクト302をポインティングできたと判定されたときに、前記オブジェクト生成手段105でオブジェクト302の色を変え、前記3次元空間301上に表示されたオブジェクト302の表示を切り替える等の処理を行うことによって、前記操作者に、3次元奥行き方向(z<0)にあるオブジェクト302をポインティングできたことを知らせることが可能である。
また、たとえば、図5Bおよび図6B、あるいは図5Cおよび図6Cに示したように、一度筆圧を高くしてポインタ303を3次元奥行き方向(z<0)に傾けて表示させた後、筆圧を低くした場合、前記ポインタ303を、筆圧を反映させた奥行き位置まで戻してもよいし、低くする前の奥行き位置に固定させておいてもよい。
このような3次元ポインティング方法を実現させるためには、前記システム制御装置1において、図7に示したような、ステップ401からステップ406の処理を実行すればよい。前記システム制御装置1では、まず、前記表示制御手段106により、前記表示装置(液晶ディスプレイ)3に表現された3次元空間301上にポインタ303およびオブジェクト302を表示させておく(ステップ401)。またこのとき、前記ポインタ303は、任意の位置に表示させておく。また、前記入力情報取得手段101は、前記入力装置2の検出手段で検出された情報を取得できる状態にしておく。
そして、前記操作者が、前記入力ペン201のペン先201Pを検出手段の検出面に接触させると、前記検出手段が前記ペン先201Pの位置(座標)や筆圧等を検出するので、前記入力情報取得手段101は、前記検出された前記ペン先201Pの位置(座標)や筆圧等の情報を取得する(ステップ402)。本実施例1−1の3次元ポインティング方法では、前記ペン先201Pの位置(座標)と筆圧の情報が取得できればよいので、前記ステップ402では、前記ペン先201Pの位置(座標)と筆圧の情報のみを取得してもよいが、前記検出手段では、前記ペン先201Pの位置(座標)と筆圧のほかに、前記入力ペン201の方位α,傾きβ,軸周りの回転γ等も検出可能である。そのため、前記ペン先201Pの位置(座標)と筆圧の情報とともに、前記入力ペン201の方位α,傾きβ,軸周りの回転γの情報を取得してもよい。
前記入力情報取得手段101で前記検出手段からの情報を取得したら、次に、前記ポインタ位置/回転角度算出手段102において、前記取得した情報のうち、前記ペン先201Pの位置(座標)と筆圧の情報を用いて、これらの情報を反映するポインタの位置、向き、長さ等を算出する(ステップ403)。本実施例1−1の3次元ポインティング方法の場合、前記ステップ403では、前記ペン先201Pの位置(座標)と対応する前記表示装置3に表現された3次元空間のXY平面上の位置(座標)と、筆圧と比例する長さを算出する。
前記ステップ403の処理がすんだら、次に、前記ポインタ生成手段103において、前記ポインタ位置/回転角度算出手段102での算出結果に基づいた形状のポインタを生成し、前記表示制御手段106から生成したポインタに関する情報を前記表示装置3に送り、前記3次元空間301上に表示させる(ステップ404)。
また、前記ステップ404の処理と並行して、前記ポインティング判定手段104において、前記ポインタ位置/回転角度算出手段102で算出した3次元空間のXY平面上の位置(座標)および奥行き位置に該当する位置に、ポインティングしているオブジェクトがあるか否かの判定を行う(ステップ405)。このとき、ポインティングしているオブジェクトがなければ、前記ポインタ303の表示制御のみを行い、ステップ402に戻り、次の入力情報を取得するまで待機する。
一方、ポインティングしているオブジェクトがあれば、前記オブジェクト生成手段105において、たとえば、前記ポインティングしているオブジェクトの色を変えたオブジェクトを生成し、前記表示制御手段106から生成したオブジェクトに関する情報を前記表示装置3に送り、前記3次元空間301上に表示させる(ステップ406)。そしてその後、前記ステップ402に戻り、次の入力情報を取得するまで待機する。
前記システム制御装置1において、以上のような処理を行うことにより、図5A,図5B,図5Cに示したようなポインタの表示制御が可能となる。
以上説明したように、本実施例1−1の3次元ポインティング方法によれば、前記入力ペン201のペン先201Pの位置(座標)および筆圧に関する情報を取得し、前記ペン先201Pの位置(座標)と対応する前記表示装置3に表現された3次元空間のXY平面上の位置(座標)と、筆圧と対応する奥行き位置を算出し、算出した位置および奥行き位置を指し示すポインタを生成し、表示させることで、前記表示装置3に表現された3次元空間301上の任意の1点をポインティングすることができる。
また、前記入力装置2として、一般的なペンタブレットを用い、前記入力ペン201のペン先201Pを前記検出手段に接触させた状態で、前記ポインタ303の奥行き方向のポインティング位置を変えることができるので、操作者の疲労を軽減することができる。
また、本実施例1−1で説明したように、前記入力装置2の検出手段を、前記表示装置(液晶ディスプレイ)3の表示面と重ね合わせておけば、前記操作者は、前記表示面上で前記入力ペンの操作を行うことができる。このようにすると、前記ポインタ303が前記入力ペン201のペン先201の一部であるかのような視覚効果が得られ、前記オブジェクト302の正確なポインティングが容易になり、かつ直感的なポインティングが可能となる。
また、本実施例1−1では、前記入力ペン201の筆圧の高さに応じて長さが変わる前記ポインタ303を表示させたが、これに限らず、たとえば、長さではなく形状が3次元奥行き方向(z<0)に何らかの変化をするポインタや、3次元奥行き方向(z<0)の傾きが変化するポインタのように、3次元奥行き方向(z<0)をポインティングできるのであれば、どのような変化であってもよい。また、前記ポインタの長さを変化させる場合、筆圧の高さに比例させてもよいし、筆圧の高さの累乗あるいは累乗根に比例させてもよい。
なお、本実施例1−1では、前記入力装置2として電磁誘導方式のペンタブレットを用い、前記ペンタブレットの検出手段(デジタイザ)を、前記表示装置(液晶ディスプレイ)3の表示面と重ね合わせた場合を例に挙げたが、これに限らず、両者が別の位置にあるような構成であってもよい。また、本実施例1−1では、前記入力装置2と表示装置3の組み合わせとして、前記電磁誘導方式のペンタブレットと前記液晶ディスプレイを例に挙げて説明したが、これに限らず、たとえば、PDA等で用いられているタッチパネルとスタイラスペンの組み合わせであってもよい。
図8A〜Dは、本実施例1−1の3次元ポインティング方法の変形例を説明するための模式図であり、図8A,図8B,図8C,図8Dはそれぞれ表示するポインタの形状を示す図である。
本実施例1−1では、前記ポインタ303として、たとえば、図8Aに示すように、平板状の矢印型のポインタ303aを用いたが、前記ポインタ303の形状は、これに限らず、ポインティングしている位置が視覚的に明瞭である形状であれば、どのような形状であってもよい。そのようなポインタの形状としては、たとえば、図8Bに示すような円錐の底面に円柱が接続された立体的な矢印型のポインタ303b、図8Cに示すような円錐型のポインタ303c、図8Dに示すような人差し指でオブジェクトを指し示している人の手型のポインタ303d等が考えられる。また、図示は省略するが、図8Cに示した円錐型のポインタ303cに類似した多角錘型のポインタであってもよい。
また、本実施例1−1では、前記ポインタ303がポインティングしている点は矢印型ポインタの先(矢印の先端)としたが、これにかぎらず、前記ポインタのどの部分においてもポインティング可能とすることや、ポインタの先ではない他の一部とすることも可能である。
また、本実施例1−1では、前記オブジェクト302の例としてフォルダ型のオブジェクトを挙げたが、これに限らず、前記オブジェクト302はどのような形状であってもよい。
また、本実施例1−1では、前記表示装置3に表現される3次元空間の座標系を図4Aに示したように、表示面がz=0となるように設定したが、3次元が表現できるのであれば3次元の原点はどこにとってもよく、またデカルト座標系である必要もなく、たとえば円柱座標系や球座標系などでもよい。
また、本実施例1−1では、前記入力ペン201の筆圧に注目したが、これに後述する入力ペン201の傾きβと軸周りの回転γの要素も加え、ポインタの傾きや回転も操作できるようにしてもかまわない。
[実施例1−2]
図9A〜図10Cは、本発明による実施例1−2の3次元ポインティング方法を説明するための模式図であり、図9A,図9B,図9Cはそれぞれ入力ペンで操作したときの3次元空間内の様子を示す鳥瞰図、図10A,図10B,図10Cはそれぞれ入力ペンで操作したときの3次元空間内の様子を示す正面図および右側面図である。なお、図10A,図10B,図10Cはそれぞれ、図9A,図9B,図9Cと対応する図であるとする。
本実施例1−2の3次元ポインティング方法は、前記入力ペン201の向きを変えることで3次元空間内の操作者からみて奥行き方向にあるオブジェクトをさまざまな方向からポインティングする方法である。
本実施例1−2では、前記入力装置2および前記表示装置3はそれぞれ、前記実施例1−1と同様に、電磁誘導方式のペンタブレットおよび液晶ディスプレイを用いるとする。また、前記ペンタブレット2の検出手段(デジタイザ)は、前記液晶ディスプレイ3の表示面と重ね合わせてあるとする。
また、前記液晶ディスプレイ3に表現される3次元空間の座標系の取り方、前記ペンタブレット2の入力ペン201の操作方法等は、前記実施例1−1で説明したとおりであるとする。また、前記ペンタブレット2および表示装置3は、図1に示したような構成のシステム制御装置1に接続されているとする。
本実施例1−2の3次元ポインティング方法では、前記操作者が前記入力ペン201のペン先201Pを前記液晶ディスプレイ3に表現された3次元空間301のXY平面(z=0)の任意の1点におくと、前記システム制御装置1は、前記入力情報手段101により、前記検出手段(デジタイザ)が検出した前記入力ペン201のペン先201の位置(座標)、前記入力ペン201の方位α,傾きβ,軸周りの回転γ、筆圧等の情報を取得し、前記ポインタ位置/回転角度算出手段102および前記ポインタ生成手段103に、前記ペン先201Pが接触した位置に該当する前記3次元空間301上の位置(たとえば、入力ペンの軸の3次元空間における延長線上の位置)に表示させるポインタを生成させる。そして、前記ポインタが生成されると、前記表示制御手段106から前記表示装置3にポインタ表示用の信号が送られ、たとえば、図9Aおよび図10Bに示したようなポインタ303が表示される。
また、前記操作者が、前記入力ペン201の向きを、たとえば、前記筆圧をほぼ一定の状態で、図9Bおよび図10B、あるいは図10Cおよび図10Cに示したような向きに変えたとすると、前記ポインタ位置/回転角度算出手段102およびポインタ生成手段103では、前記入力ペン201の新たな方位α,傾きβ,軸周りの回転γから、新たなポインタの向きを算出し、算出結果に基づいたポインタを生成させる。そして、前記表示制御手段106から前記表示装置3に、新たに生成したポインタ表示用の信号を送ると、図9Bおよび図10B、あるいは図9Cおよび図10Cに示したようなポインタ303が表示される。
このようなポインタ303の表示を、前記操作者が入力ペン201の向きを変える操作を行うのとほぼ同時に連続的に行われるようにすることで、前記操作者は、あたかもペンを傾けた方向のペン先201Pの延長線上にポインタ303が傾いて表示されるように感じることが可能である。また、図示は省略するが、前記ポインティング判定手段104により前記ポインタ303(ポインタの先)が目的のオブジェクトをポインティングできたときに、前記オブジェクト生成手段105でそのオブジェクトの色を変え、前記3次元空間301上に表示されたオブジェクト302の表示を切り替える等の処理を行うことによって、前記操作者に、3次元奥行き方向(z<0)にあるオブジェクトをポインティングできたことを知らせることが可能である。
またさらに、図示は省略するが、前記操作者が、前記入力ペン201の向きを変えるとともに、筆圧を変えた場合は、前記ポインタ位置/回転角度算出手段102および前記ポインタ生成手段103において、たとえば、前記ポインタの向きに加え、前記実施例1−1で説明したような筆圧の高さに比例した長さを算出し、その算出結果を反映したポインタを生成することができる。
このような3次元ポインティング方法を実現させるためには、前記システム制御装置において、図7に示したような、ステップ401からステップ406の処理を実行すればよいので、詳細な説明は省略する。
ただし、本実施例1−2のように、前記入力ペン201の向きを前記ポインタに反映させる場合、前記ステップ402では、前記ペン先201Pの位置(座標)と筆圧のほかに、前記入力ペン201の方位α,傾きβ,軸周りの回転γの情報を取得する必要がある。
また、前記ステップ403では、前記ペン先201Pの位置(座標)と対応する前記表示装置3に表現された3次元空間のXY平面上の位置(座標)と、筆圧と比例する長さに加え、前記入力ペン201の方位α,傾きβ,軸周りの回転γと対応する前記3次元空間301上のポインタの方位,傾き,軸周りの回転の角度を算出する必要がある。
前記システム制御装置1において、以上のような処理を行うことにより、図9A,図9B,図9Cに示したようなポインタの表示制御が可能となる。
以上説明したように、本実施例1−2の3次元ポインティング方法によれば、前記入力ペン201のペン先201Pの位置(座標)および筆圧に加え、前記入力ペン201の方位α,傾きβ,軸周りの回転γに関する情報を取得し、前記ペン先201Pの位置(座標)と対応する前記表示装置3に表現された3次元空間のXY平面上の位置(座標)および筆圧と対応する奥行き位置、ならびに前記入力ペン201の方位α,傾きβ,軸周りの回転γと対応する前記3次元空間301上のポインタの方位,傾き,軸周りの回転の角度を算出し、算出した位置および奥行き位置を、算出した方向から指し示すポインタを生成し、表示させることで、前記表示装置3に表現された3次元空間301上の任意の1点をポインティングすることができる。
また、前記入力装置2として、一般的なペンタブレットを用い、前記入力ペン201のペン先201Pを前記検出手段に接触させた状態で、前記ポインタ303の奥行き方向のポインティング位置を変えることができるので、操作者の疲労を軽減することができる。
また、本実施例1−2で説明したように、前記入力装置2の検出手段を、前記表示装置(液晶ディスプレイ)3の表示面と重ね合わせておけば、前記操作者は、前記表示面上で前記入力ペンの操作を行うことができる。このようにすると、前記ポインタ303が前記入力ペン201のペン先201の一部であるかのような視覚効果が得られ、前記オブジェクト302の正確なポインティングが容易になり、かつ直感的なポインティングが可能となる。
また、本実施例1−2では、ポインタの傾き、方位、回転が前記入力ペン201の傾き、方位、回転にそれぞれ比例して変化する例を示したが、これに限らず、たとえば、回転角ではなく形状が3次元奥行き方向(z<0)に何らかの変化をしたり、ポインタの傾きが3次元奥行き方向(z<0)に変化したりすることで、3次元奥行き方向(z<0)をポインティングできるのであればどのような変化であってもよい。また、前記入力ペン201の傾き、方位、回転にそれぞれ比例してポインタの傾き、方位、回転を変化させる場合に限らず、たとえば、前記入力ペン201の傾き、方位、回転のいずれかが累乗あるいは累乗根に比例するようにしてもよい。
なお、本実施例1−2では、前記入力装置2として電磁誘導方式のペンタブレットを用い、前記ペンタブレットの検出手段(デジタイザ)を、前記表示装置(液晶ディスプレイ)3の表示面と重ね合わせた場合を例に挙げたが、これに限らず、両者が別の位置にあるような構成であってもよい。また、本実施例1−2では、前記入力装置2と表示装置3の組み合わせとして、前記電磁誘導方式のペンタブレットと前記液晶ディスプレイを例に挙げて説明したが、これに限らず、たとえば、PDA等で用いられているタッチパネルとスタイラスペンの組み合わせであってもよい。
また、前記ポインタの形状は、ポインティングしている位置が視覚的に明瞭である形状であれば、どのような形状でもよく、図8Aに示した平板状の矢印型のポインタ303aに限らず、たとえば、図8Bに示すような円錐の底面に円柱が接続された立体的な矢印型のポインタ303b、図8Cに示すような円錐型のポインタ303c、図8Dに示すような人差し指でオブジェクトを指し示している人の手型のポインタ303dであってもよい。
また、本実施例1−2では、前記ポインタ303がポインティングしている点は矢印型ポインタの先(矢印の先端)としたが、これにかぎらず、前記ポインタのどの部分においてもポインティング可能とすることや、ポインタの先ではない他の一部とすることも可能である。
また、本実施例1−2では、前記オブジェクト302の例としてフォルダ型のオブジェクトを挙げたが、これに限らず、前記オブジェクト302はどのような形状であってもよい。
また、本実施例1−2では、前記表示装置3に表現される3次元空間の座標系は、前記実施例1−1と同様、すなわち図4Aに示したように、表示面がz=0となるように設定したが、3次元が表現できるのであれば3次元の原点はどこにとってもよく、またデカルト座標系である必要もなく、たとえば円柱座標系や球座標系などでもよい。
また、本実施例1−2では、前記入力ペン201の方位α,傾きβ,軸周りの回転γに注目したが、これに実施例1−1で説明した入力ペン201の筆圧の要素を加えることで、より直感的なポインティングが可能となる。
[実施例1−3]
図11乃至図13は、本発明による実施例1−3の3次元ポインティング方法を説明するための模式図であり、図11は入力ペンで操作したときの3次元空間内の様子を示す鳥瞰図、図12は入力ペンで操作したときの3次元空間内の様子を示す正面図、図13は本実施例1−3の3次元ポインティング方法の処理手順を示すフロー図である。
前記実施例1−1および実施例1−2では、前記入力装置2の入力ペン201の操作にあわせて、前記表示装置3に表現された3次元空間301上のポインタの表示制御およびポインティングされたオブジェクトの表示制御に関するポインティング方法について説明した。
しかしながら、前記実施例1−1および実施例1−2のような方法で前記3次元空間301上のオブジェクトをポインティングした場合、ポインティング後に前記オブジェクトの移動、編集、加工といった操作が伴うことが多い。そこで、本実施例1−3では、前記3次元空間301上のオブジェクトをポインティングした後、前記入力ペン201を操作して前記ポインティングされたオブジェクトを移動させる方法について説明する。
実施例1−3では、前記入力装置2および前記表示装置3はそれぞれ、前記実施例1−1と同様に、電磁誘導方式のペンタブレットおよび液晶ディスプレイを用いるとする。また、前記ペンタブレット2の検出手段(デジタイザ)は、前記液晶ディスプレイ3の表示面と重ね合わせてあるとする。
また、前記液晶ディスプレイ3に表現される3次元空間の座標系の取り方、前記ペンタブレット2の入力ペン201の操作方法等は、前記実施例1−1で説明したとおりであるとする。また、前記ペンタブレット2および表示装置3は、図1に示したような構成のシステム制御装置1に接続されているとする。
また、本実施例1−3では、前記3次元空間301上のオブジェクトをポインティングする方法については、前記実施例1−1や実施例1−2で説明したような方法でよいので、説明は省略する。
このとき、たとえば、前記実施例1−1や実施例1−2と同様の方法によって、図11および図12に示したようにオブジェクト302をポインティングした後、前記オブジェクト302をポインティングしたことを確認した操作者は、たとえば、前記入力ペン201に設けられているボタン201Dを押す等の前記オブジェクト302をつかむ操作を行う。そして、前記入力ペン201のボタン201Dを押し、かつ、前記入力ペン201のペン先201Pを前記表示装置3の表示面(検出手段の検出面)に接触させた状態で前記入力ペン201を所望の位置に移動させた後、前記ボタン201Dを離す等の前記オブジェクト302を離す操作を行うと、図11および図12に示したように、前記入力ペン201の移動に追従して前記オブジェクト302が3次元空間301内を移動する。このようにするとオブジェクトを元の位置から3次元空間内の目的の位置にまで移動させることができる。このとき、前記システム制御装置1の前記入力情報取得手段101は、前記表示装置2の検出手段(デジタイザ)から、前記入力ペン201の位置(座標)、筆圧、入力ペン201の方位α、傾きβ、軸周りの回転γの検出情報とともに、ボタン201Dが押されていることを示す情報を取得する。そして、前記システム制御装置1は、前記ボタン201Dが押されていることから、前記操作者が、前記オブジェクト302を移動させる操作を行っていることを知ることができる。そのため、前記ポインティング判定手段104およびオブジェクト生成手段105に、前記入力ペン201の移動に追随するオブジェクトを生成させ、前記表示装置3に表示させれば、上述のようなオブジェクト302の移動操作が可能となる。
このような3次元ポインティング方法を実現させるためには、前記システム制御装置において、図13に示したような、ステップ401からステップ410の処理を実行すればよい。
なお、図13において、ステップ401からステップ406までの処理は、前記3次元空間301上のオブジェクト302をポインティングするまでの処理であり、図7に示した処理のステップ401からステップ406までの処理と同じである。このステップ401からステップ406までの処理は、前記実施例1−1または実施例1−2で説明した通りでよいので、詳細な説明は省略する。
本実施例の3次元ポインティング方法では、前記システム制御装置1は、前記ステップ406でポインティングしているオブジェクトの色を変えて表示させた後、前記ステップ402に戻らず、図13に示すように、オブジェクトがポインティングされた状態で前記入力ペン201のボタン201Dが押されているか否かの判定をする(ステップ407)。この判定は、たとえば、前記入力情報取得手段101において、前記ボタン201Dが押されていることを示す情報を取得したか否かで判定する。そして、前記ボタン201Dが押されていなければ、前記ステップ402に戻り、次の入力情報を取得するまで待機する。
一方、前記ボタン201Dが押されていれば、前記入力情報取得手段101において、ポインタに関する情報を取得する(ステップ408)。このとき取得する情報は、前記実施例1−1や実施例1−2で説明した、前記入力ペン201のペン先201Pの位置(座標)、筆圧、入力ペン201の方位α,傾きβ,軸周りの回転γの情報である。
前記ステップ408で前記ポインタに関する情報を取得したら、前記ポインタ位置/回転角度算出手段102において、取得した情報に基づくポインタの位置、向き、長さ等を算出するとともに、前記オブジェクトの位置、向きを算出する(ステップ409)。前記ポインタの位置、向き、長さ等の算出は、前記実施例1−1や実施例1−2で説明した通りであるので、詳細な説明は省略する。また、前記オブジェクトの位置、向きは、たとえば、前記ポインティングされたときのオブジェクトの基準位置と前記ポインタでポインティングしている位置の相対的な位置関係が、前記ステップ409で算出したポインタの位置でも保存されるような位置、向きを算出する。
そして、前記ステップ409でポインタの位置、向き、長さ等と前記オブジェクトの位置、向きを算出したら、前記ポインタ生成手段103で算出したポインタの位置、向き、長さに基づくポインタを生成するとともに、前記オブジェクト生成手段105で算出したオブジェクトの位置、向きに基づくオブジェクトを生成し、それらの表示信号を前記表示制御手段106から前記表示装置3に送り、ポインタおよびオブジェクトを表示させる(ステップ410)。
前記ステップ410でポインタおよびオブジェクトを表示させたら、前記ステップ407に戻り、前記入力ペン201のボタン201Dが押された状態が続いていれば、前記ステップ408からステップ410までの処理を繰り返す。そして、前記操作者が前記ボタン201Dを離した時点で、前記ポインタおよびオブジェクトの移動操作が終了する。
前記システム制御装置1において、以上のような処理を行うことにより、図11および図12に示したようなオブジェクトのポインティング操作および移動操作が可能となる。
以上説明したように、本実施例1−3の3次元ポインティング方法によれば、前記オブジェクトをポインティングした後、前記ポインティングされたオブジェクトを、前記入力ペンの移動にあわせて、平行移動させることができる。
また、前記入力装置2として、一般的なペンタブレットを用い、前記入力ペン201のペン先201Pを前記検出手段に接触させた状態で、オブジェクトをポインティングし、移動させることができるので、操作者の疲労を軽減することができる。
また、本実施例1−3で説明したように、前記入力装置2の検出手段を、前記表示装置(液晶ディスプレイ)3の表示面と重ね合わせておけば、前記操作者は、前記表示面上で前記入力ペンの操作を行うことができる。このようにすると、前記ポインタ303が前記入力ペン201のペン先201の一部であるかのような視覚効果が得られ、前記オブジェクト302の正確なポインティングが容易になり、かつ直感的なポインティングが可能となる。
なお、本実施例1−3では、前記入力装置2として電磁誘導方式のペンタブレットを用い、前記ペンタブレットの検出手段(デジタイザ)を、前記表示装置(液晶ディスプレイ)3の表示面と重ね合わせた場合を例に挙げたが、これに限らず、両者が別の位置にあるような構成であってもよい。また、本実施例では、前記入力装置2と表示装置3の組み合わせとして、前記電磁誘導方式のペンタブレットと前記液晶ディスプレイを例に挙げて説明したが、これに限らず、たとえば、PDA等で用いられているタッチパネルとスタイラスペンの組み合わせであってもよい。
また、前記ポインタの形状は、ポインティングしている位置が視覚的に明瞭である形状であれば、どのような形状でもよく、図8Aに示した平板状の矢印型のポインタ303aに限らず、たとえば、図8Bに示すような円錐の底面に円柱が接続された立体的な矢印型のポインタ303b、図8Cに示すような円錐型のポインタ303c、図8Dにしめすような人差し指でオブジェクトを指し示している人の手型のポインタ303dであってもよい。
また、本実施例1−3では、前記ポインタ303がポインティングしている点は矢印型ポインタの先(矢印の先端)としたが、これにかぎらず、前記ポインタのどの部分においてもポインティング可能とすることや、ポインタの先ではない他の一部とすることも可能である。
また、本実施例1−3では、前記オブジェクト302の例としてフォルダ型のオブジェクトを挙げたが、これに限らず、前記オブジェクト302はどのような形状であってもよい。
また、本実施例1−3では、前記表示装置3に表現される3次元空間の座標系は、前記実施例1−1と同様、すなわち図4Aに示したように、表示面がz=0となるように設定したが、3次元が表現できるのであれば3次元の原点はどこにとってもよく、またデカルト座標系である必要もなく、たとえば円柱座標系や球座標系などでもよい。
また、本実施例1−3では、前記入力ペン201のボタン201Dを押しながら前記入力ペン201を移動させて前記ポインティングしたオブジェクトを移動させたが、これに限らず、たとえば、キーボードの特定のキーや他のスイッチを押しながら入力ペン201を移動させるなどの方法で前記オブジェクトを移動させるようにしてもよい。その場合、図13に示したステップ407では、前記オブジェクトを移動させる操作に該当する入力情報を取得したか否かを判定すればよい。
[実施例1−4]
図14A〜図15Cは、本発明による実施例1−4の3次元ポインティング方法を説明するための模式図であり、図14A,図14B,図14Cはそれぞれ入力ペンで操作したときの3次元空間内の様子を示す鳥瞰図、図15A,図15B,図15Cはそれぞれ入力ペンで操作したときの3次元空間内の様子を示す正面図および右側面図である。なお、図15A,図15B,図15Cはそれぞれ、図14A,図14B,図14Cと対応する図であるとする。
前記実施例1−3では、前記表示装置3で表現された3次元空間301上のオブジェクト302をポインティングした後、前記ポインティングされたオブジェクト302を平行移動させることが可能な3次元ポインティング方法について説明した。
しかしながら、前記表示装置3で表現された3次元空間301上では、前記実施例1−3で説明したような単純なオブジェクトの平行移動だけでなく、3次元空間301を有効に利用し、たとえば、前記ポインティングされたオブジェクトを、前記3次元空間内で奥行き方向に傾けることも想定される。そこで、本実施例1−4では、オブジェクトをポインティングした後、続けて前記ポインティングされたオブジェクトを、前記3次元空間内で奥行き方向に傾けるようなポインティング方法について説明する。
本実施例1−4では、前記入力装置2および前記表示装置3はそれぞれ、前記実施例1−1と同様に、電磁誘導方式のペンタブレットおよび液晶ディスプレイを用いるとする。また、前記ペンタブレット2の検出手段(デジタイザ)は、前記液晶ディスプレイ3の表示面と重ね合わせてあるとする。
また、前記液晶ディスプレイ3に表現される3次元空間の座標系の取り方、前記ペンタブレット2の入力ペン201の操作方法等は、前記実施例1−1で説明したとおりであるとする。また、前記ペンタブレット2および表示装置3は、図1に示したような構成のシステム制御装置1に接続されているとする。
また、本実施例1−4では、前記3次元空間301上のオブジェクトをポインティングする方法については、前記実施例1−1や実施例1−2で説明したような方法でよいので、説明は省略する。
このとき、前記実施例1−1や実施例1−2と同様の方法によって、たとえば、図14Aおよび図15Aに示したようにオブジェクト302をポインティングした後、前記オブジェクト302をポインティングしたことを確認した操作者は、たとえば、前記入力ペン201に設けられているボタン201Dを押す等の前記オブジェクト302を掴む操作をする。そして、前記入力ペン201のボタン201Dを押し、かつ、前記入力ペン201のペン先201Pを前記表示装置3の表示面(検出手段の検出面)に接触させた状態で前記入力ペン201を所望の向きにすると、図14Bおよび図15B、あるいは図14Cおよび図15Cに示したように、前記入力ペン201の向きの変化に追従して前記オブジェクト302が3次元空間301内で奥行き方向に傾く。このようにするとオブジェクト302を前記3次元空間301上で任意の向きに傾けることができる。このとき、前記システム制御装置1の前記入力情報取得手段101は、前記表示装置2の検出手段(デジタイザ)から、前記入力ペン201の位置(座標)、筆圧、入力ペン201の方位α、傾きβ、軸周りの回転γの検出情報とともに、ボタン201Dが押されていることを示す情報を取得する。そして、前記システム制御装置1は、前記ボタン201Dが押されていることから、前記操作者が、前記オブジェクト302を移動させる操作を行っていることを知ることができる。そのため、前記ポインティング判定手段104およびオブジェクト生成手段105に、前記入力ペン201の向きの変化を追随するオブジェクトを生成させ、前記表示装置3に表示させれば、上述のようなオブジェクト302の移動操作が可能となる。
このような3次元ポインティング方法を実現させるためには、前記システム制御装置1において、たとえば、図13に示したような、ステップ401からステップ410の処理を実行すればよい。
ただし、前記ステップ409で前記オブジェクトの位置、向きを算出するときには、たとえば、前記ポインティングされたときのオブジェクトと前記ポインタの相対的な位置関係が全て保存されるような位置、向きを算出する。
前記システム制御装置1において、以上のような処理を行うことにより、図14A,図14B,図14Cに示したようなオブジェクトのポインティング操作および奥行き方向に傾ける操作が可能となる。
以上説明したように、本実施例1−4の3次元ポインティング方法によれば、前記オブジェクトをポインティングした後、前記ポインティングされたオブジェクトを、前記入力ペン201の向きの変化に合わせて、同一XY平面内で回転させたり、奥行き方向に傾けることができる。
また、前記入力装置2として、一般的なペンタブレットを用い、前記入力ペン201のペン先201Pを前記検出手段に接触させた状態で、オブジェクトをポインティングし、移動させることができるので、操作者の疲労を軽減することができる。
また、本実施例1−4で説明したように、前記入力装置2の検出手段を、前記表示装置(液晶ディスプレイ)3の表示面と重ね合わせておけば、前記操作者は、前記表示面上で前記入力ペンの操作を行うことができる。このようにすると、前記ポインタ303が前記入力ペン201のペン先201の一部であるかのような視覚効果が得られ、前記オブジェクト302の正確なポインティングが容易になり、かつ直感的なポインティングが可能となる。
なお、本実施例1−4では、前記入力装置2として電磁誘導方式のペンタブレットを用い、前記ペンタブレットの検出手段(デジタイザ)を、前記表示装置(液晶ディスプレイ)3の表示面と重ね合わせた場合を例に挙げたが、これに限らず、両者が別の位置にあるような構成であってもよい。また、本実施例1−4では、前記入力装置2と表示装置3の組み合わせとして、前記電磁誘導方式のペンタブレットと前記液晶ディスプレイを例に挙げて説明したが、これに限らず、たとえば、PDA等で用いられているタッチパネルとスタイラスペンの組み合わせであってもよい。
また、前記ポインタの形状は、ポインティングしている位置が視覚的に明瞭である形状であれば、どのような形状でもよく、図8Aに示した平板状の矢印型のポインタ303aに限らず、たとえば、図8Bに示すような円錐の底面に円柱が接続された立体的な矢印型のポインタ303b、図8Cに示すような円錐型のポインタ303c、図8Dにしめすような人差し指でオブジェクトを指し示している人の手型のポインタ303dであってもよい。
また、本実施例1−4では、前記ポインタ303がポインティングしている点は矢印型ポインタの先(矢印の先端)としたが、これにかぎらず、前記ポインタのどの部分においてもポインティング可能とすることや、ポインタの先ではない他の一部とすることも可能である。
また、本実施例1−4では、前記オブジェクト302の例としてフォルダ型のオブジェクトを挙げたが、これに限らず、前記オブジェクト302はどのような形状であってもよい。
また、本実施例1−4では、前記表示装置3に表現される3次元空間の座標系は、前記実施例1−1と同様、すなわち図4Aに示したように、表示面がz=0となるように設定したが、3次元が表現できるのであれば3次元の原点はどこにとってもよく、またデカルト座標系である必要もなく、たとえば円柱座標系や球座標系などでもよい。
また、本実施例1−4では、前記入力ペン201のボタン201Dを押しながら前記入力ペン201を移動させて前記ポインティングしたオブジェクトを移動させたが、これに限らず、たとえば、キーボードの特定のキーや他のスイッチを押しながら入力ペン201を移動させるなどの方法で前記オブジェクトを移動させるようにしてもよい。その場合、図13に示したステップ407では、前記オブジェクトを移動させる操作に該当する入力情報を取得したか否かを判定すればよい。
また、本実施例1−4では、前記ポインティングされたオブジェクト302を同一XY平面内で回転させたり、奥行き方向へ傾けさせたりする操作方法を説明したが、この操作方法に、前記実施例1−3で説明したような平行移動させる操作方法を加えることで、より多彩なオブジェクト操作を行うことが可能となる。
[実施例1−5]
図16A乃至図20は、本発明による実施例1−5の3次元ポインティング方法を説明するための模式図であり、図16A、Bは本実施例1−5で用いる表示装置(DFD)の原理を説明する図、図17Aは表示装置に表現される3次元空間の一例を示す正面図および右側面図ならびに下面図、図17Bは表示装置に表現される3次元空間の一例を示す鳥瞰図、図18A,図18B,図18C,図18Dはそれぞれ入力ペンで操作したときの3次元空間内の様子を示す鳥瞰図、図19A,図19B,図19C,図19Dはそれぞれ入力ペンで操作したときの3次元空間内の様子を示す正面図、図20は本実施例1−5の3次元ポインティング方法の処理手順を示すフロー図である。なお、図19A,図19B,図19C,図19Dはそれぞれ、図18A,図18B,図18C,図18Dと対応する図であるとする。
前記実施例1−3および実施例1−4では、前記実施例1−1や実施例1−2で説明した方法で前記表示装置3に表現された3次元空間301内にあるオブジェクト302をポインティングした後、前記ポインティングされたオブジェクト302をXY平面内で移動または回転させたり、奥行き方向に傾けさせたりするという操作を行うことが可能な3次元ポインティング方法について説明した。しかしながら、前記3次元空間301内にあるオブジェクト302をポインティング後、前記操作者が続けて行いたい操作には、前記オブジェクト302の移動や回転だけでなく、編集や変形等の、これまでの2次元GUI的な操作もある。前記2次元GUI的な操作を行う場合、前記実施例1−3および実施例1−4で説明した方法では、たとえば、前記操作者から見て前記3次元空間301の奥(遠方)にあるオブジェクトをポインティングし、操作したい場合、前記オブジェクトがポインティングされた状態を維持するために、前記操作者は、筆圧を高くした状態で前記入力ペン201を操作しなければならない。そこで、本実施例1−5では、前記オブジェクトをポインティングした後、前記ポインティングされたオブジェクトを2次元GUI的な操作が適用できる位置に自動的に移動させ、操作者が目的の編集、変形等を行った後に、また操作者の望む3次元位置に戻すような操作が可能な3次元ポインティング方法について説明する。
また、本実施例1−5では、前記入力装置2は前記各実施例と同様の電磁誘導方式のペンタブレットを用いるとし、前記3次元空間を表現可能な表示装置3としてDFDを用いた場合を例に挙げてポインティング方法およびそれに続くオブジェクトの操作方法について説明する。
前記DFDは、たとえば、図16A、Bに示すように、2枚あるいはそれ以上の複数枚の表示面を、観察者(操作者)から見て重なるように配置した表示装置であり、表示方法により、通常、透過型と輝度変調型の2通りに分けられる。前記DFDの詳細な構成や動作原理については、たとえば、特許第3022558号明細書や特許第3460671号明細書等に記載されているので、詳細な説明は省略し、ここでは、DFDの簡単な動作原理のみを説明する。
ここでは図16A,Bに示すように、2枚の表示面3A,3Bが重ね合わさっているとする。このとき、前記ポインタ302およびオブジェクト303は、前記2枚の表示面3A,3Bの間の3次元空間内に奥行き位置を反映して表示される。
前記DFDに表示される前記ポインタ302やオブジェクト303は、たとえば、図16Aに示すように、操作者から見て手前の表示面3Aおよび奥の表示面3Bの両方に表示される。そしてこのとき、前記DFDが輝度変調型であれば、前記手前の表示面3Aのオブジェクト303Aを輝度LA、前記奥の表示面3Bのオブジェクト303Bを輝度LBで表示すると、前記3次元空間内の、前記手前の表示面3Aからの距離と前記奥の表示面3Bからの距離の比がLB:LAの奥行き位置にオブジェクト303が表示されているように見える。
また、たとえば、図16Bに示すように、1つのオブジェクト303の表示領域の中で輝度を連続的に変化させることで、1つのオブジェクト303を奥行き方向に傾けて表示させることもできる。図16Bに示した例では、前記手前の表示面3Aのオブジェクト303Aの輝度を紙面上から下に向かうにつれて大きくなるようにし、前記奥の表示面3Bのオブジェクト303Bの輝度を紙面下から上に向かうにつれて大きくなるようにしている。そのため、前記操作者は、紙面上方が奥、紙面下方が手前に傾いた立体的なオブジェクト303を観察することができる。
また、詳細な説明は省略するが、前記DFDが透過型の場合、たとえば、手前の表示面3Aのオブジェクト303Aを表示している領域の各点(画素)の透過度を調節することで、前記輝度変調型のDFDと同様に、前記手前の表示面3Aと奥の表示面3Bの間の任意の奥行き位置に前記ポインタ302やオブジェクト303の立体像を表示することができる。
一般的なCRTディスプレイや液晶ディスプレイのような2次元表示装置の場合、前記表現する前記3次元空間を2次元平面に射影して表示する処理が必要であるが、前記DFDのような3次元表示装置の場合、前記3次元空間の奥行き方向の位置に応じて各表示面上の点(画素)の輝度の比率を設定すればよいだけなので、前記システム制御装置1にかかる負荷を低減できる。また、一般的なCRTディスプレイや液晶ディスプレイのような2次元表示装置の場合、前記表示する前記3次元空間を2次元平面に射影して表示するので、操作者によっては、実空間と同じ感覚でポインティング操作をすることは難しい場合があるが、前記DFDのような3次元表示装置を用いることで、より実空間に近い感覚でポインティング操作をすることができる。これらのことから、前記DFDのような3次元表示装置を用いることで、前記操作者は、一般的な2次元ディスプレイを用いてポインティング操作をする場合に比べて、よりよい精度と速さで3次元の奥行きをポインティング可能となる。
また、前記表示装置3として前記DFDを用いた場合も、前記各実施例で説明したように、前記入力手段(ペンタブレット)2の検出手段(デジタイザ)を、前記DFDの表示面と重ね合わせることが可能である。また、前記電磁誘導方式のペンタブレットの場合、前記検出手段の検出面上にΔzの検出可能範囲があるため、前記入力ペンのペン先が前記検出面に接触していなくても前記ペンの位置・傾き・方位などの情報を検出することができる。そのため、DFDのような表示面の間に空間がある場合でも、前記検出手段をDFD表示装置の裏側に配置しておけば前記ペンの位置・傾き・方位などの情報は取得可能であることは当業者であれば容易に推測でき、実現することが可能である。さらに、現在は前記検出手段を表示面の裏側に配置することが多いが、前記検出手段が透明電極であれば表示面の裏側でなく、表側に配置することも可能である。このように、前記検出手段をDFDの表示面と重ね合わせることで、前記DFDにおける手前側の表示面上で前記入力ペンを操作し、直接ポインティングが可能である。そこで、本実施例1−5でも電磁誘導方式のペンタブレット2の検出手段とDFDの表示面は重ね合わさっているとする。
また、本実施例1−5では、前記DFD3の表示面は2枚であるとし、図17Aおよび図17Bに示すように、前記DFD3に表現された3次元空間301の中に、図2で示した座標系XYZと対応させた座標系XYZを設定し、オブジェクト302を3次元空間301内のz<0の位置に配置されているとする。また、前記入力装置2の入力ペン201を操作する操作者は、前記3次元空間301のXY平面を、z>0の方向から観察しているとする。
また、本実施例1−5では、前記操作者から見て手前にある表示面をz=0とし、前記手前にある表示面が、前記入力装置2の検出手段の検出面であるとする。
前記操作者が、たとえば、前記実施例1−1や実施例1−2で説明した方法で、図18Aおよび図19Aに示すように、前記3次元空間301上に立体的に表示されたオブジェクト302をポインティングしたとする。そして、前記操作者が、前記オブジェクト302の色の変化等で前記オブジェクト302がポインティングされていることを確認し、たとえば、前記入力ペン201に設けられたボタン201Dを1回押下すると、前記ポインティングされたオブジェクト302は、たとえば、図18Bおよび図19Bに示すように、前記DFDの手前の表示面に2次元物体として表示され、ポインタ303が消える。図18Aでは、前記オブジェクト302がz方向に厚みのないオブジェクトとして表示されているが、これがz方向にも厚みを持つような立体オブジェクトであった場合も、この過程においてはDFDを用いた3次元立体表示は行わず、あくまで2次元としてDFDの手前の表示面に投影像として像を表示する。
ここで操作者は、前記オブジェクト302上で、たとえば文字を書く等の目的の操作を、2次元GUIの操作として行う。そして、2次元GUIの操作が終了した後、再度入力ペン201についたボタン201Dを押下すと、ポインタ303が再び現れ、前記実施例1−3や実施例1−4で説明したような手順で、たとえば、図18Cおよび図19C、あるいは図18Dおよび図19Dに示すように、操作者の望む3次元位置にオブジェクト302を移動したり、奥行き方向に傾けさせたりできるようになる。
このような3次元ポインティング方法を実現させるためには、前記システム制御装置1において、図20に示したような、ステップ401からステップ415の処理を実行すればよい。前記システム制御装置1では、まず、前記実施例1−1や実施例1−2で説明したステップ401からステップ406までの処理を行い、前記表示装置3に表現された3次元空間301上のオブジェクト302をポインティングする。そして、前記ステップ406でポインティングされたオブジェクト302の色を変えて表示させたら、次に、図20に示したように、前記操作者が、前記入力ペン201のボタン201Dを押すなどの、前記ポインティングされたオブジェクト302を2次元GUI的な操作・編集・加工を開始するための操作を行ったか判定する(ステップ411)。そして、前記2次元GUI的な操作・編集・加工を開始するための操作を行わなかった場合は、ステップ402に戻り、次の入力情報を取得するまで待機する。
一方、2次元GUI的な操作・編集・加工を開始するための操作が行われた場合、次に、たとえば、前記表示装置3に表現された3次元空間301上に表示されたポインタ303を非表示にし、前記ポインティングされたオブジェクト302の射影を操作者から見て一番近い表示面に表示する(ステップ412,ステップ413)。前記ステップ412およびステップ413の処理が実行されることで、前記オブジェクト302の2次元GUI的な操作・編集・加工が可能な状態になる。
2次元GUI的な操作・編集・加工が可能な状態になった後は、前記入力ペン201からの2次元GUI的な操作を受け付け、実行する(ステップ414)。また、前記ステップ414の処理の後は、前記操作者が、前記入力ペン201のボタン201Dを再び押すなどの、2次元GUI的な操作・編集・加工を終了するための操作を行ったか判定する(ステップ415)。このとき、2次元GUI的な操作・編集・加工を終了するための操作を行っていない場合は、前記ステップ414に戻り、他の2次元GUI的な操作・編集・加工を受け付け、実行する。
一方、2次元GUI的な操作・編集・加工を終了するための操作が行われた場合、2次元GUI的な操作を行うモードから、前記実施例1−1から実施例1−4で説明したような3次元的なポインティング操作を行うモードに戻る。そして、図20に示したように、最初に行われるステップ401からステップ406までの処理と同等のステップ401'からステップ406'までの処理を行い、目的のオブジェクトをポインティングする。
そして、前記ステップ406'でポインティングされたオブジェクトの色を変えて表示した後は、たとえば、前記入力ペン201のボタン201Dを押すなどの操作をして、前記実施例1−3や実施例1−4で説明したステップ407からステップ410の処理を行うことで、前記ポインティングされたオブジェクト302の3次元的な移動操作、回転操作、傾ける(変形させる)操作が可能となる。
前記システム制御装置1において、以上のような処理を行うことにより、図18A,図18B,図18C,図18Dのようなポインタの表示制御、オブジェクトの3次元的な移動等の操作、前記オブジェクトの2次元GUI的な操作が可能となる。
以上説明したように、本実施例1−5の3次元ポインティング方法によれば、前記入力ペン201の操作だけで、前記実施例1−1から実施例1−4で説明したようなポインタの3次元的な表示制御およびオブジェクトの3次元的な移動等の操作に加え、前記オブジェクトの2次元GUI的な操作・編集・加工を行うことが可能である。そのため、操作者は、オブジェクトの2次元GUI的な操作・編集・加工を行うための新たな3次元操作を習得する必要がない。
また、本実施例1−5の3次元ポインティング方法では、前記入力ペン201のボタン201Dを押すなどの特定の動作をすることで、3次元的なポインティング操作を行うモードからオブジェクトの2次元GUI的な操作・編集・加工を行うモードに切り替わる。このとき、前記システム制御装置1の前記入力情報取得手段101で取得した情報は、前記オブジェクトの2次元GUI的な操作・編集・加工を行うための情報として処理される。そのため、たとえば、操作者から見て奥にあるオブジェクトをポインティングして2次元GUI的な操作・編集・加工を行う場合に、前記入力ペン201の筆圧を高くした状態を維持しておく必要がない。その結果、前記操作者の疲労を軽減できる。
また、本実施例1−5では、前記入力装置2である電磁誘導方式のペンタブレットの検出手段(デジタイザ)を3次元空間を表示できる表示装置3であるDFDの表示面と重ね合わせている例を挙げて説明したが、これに限らず、両者が別の位置にあるような構成であってもよい。また、本実施例1−5では、前記表示装置3としてDFDを用いたが、これに限らず、前記実施例1−1から実施例1−4で説明したような液晶ディスプレイ等の表示装置を用いてもよい。
また、本実施例1−5では、目的のオブジェクト302の例として2次元的な4角形のオブジェクトを挙げていたが、これに限らず、前記オブジェクト302の形状はどのような形状であってもよい。
また、本実施例1−5では、前記表示装置3に表現される3次元空間の座標系は、前記実施例1−1と同様、すなわち図4Aに示したように、表示面がz=0となるように設定したが、3次元が表現できるのであれば3次元の原点はどこにとってもよく、またデカルト座標系である必要もなく、たとえば円柱座標系や球座標系などでもよい。
また、本実施例1−5では、前記入力ペン201のボタン201Dを押しながら前記入力ペン201を移動させて前記ポインティングしたオブジェクトを移動させたが、これに限らず、たとえば、キーボードの特定のキーや他のスイッチを押しながら入力ペン201を移動させるなどの方法で前記オブジェクトを移動させるようにしてもよい。その場合、図20に示したステップ407,ステップ411,ステップ415では、前記それぞれの操作に該当する入力情報を取得したか否かを判定すればよい。
また、本実施例1−5では、前記オブジェクト302に直接編集を行う例として、たとえば、図18Cに示したように「A」という文字を記入する場合を挙げたが、前記オブジェクト302がファイルを表すオブジェクトで、それをポインティング後、2次元GUI操作が行われる時に、前記ファイルが開いてその内容を操作者が2次元GUI上で編集し、ファイルを閉じた後に操作者の望む3次元位置に移動可能であるなどとしてもよい。
[実施例1−6]
図21A乃至図27は、本発明による実施例1−6の3次元ポインティング方法を説明するための模式図であり、図21Aは表示装置に表現される3次元空間の一例を示す正面図および右側面図ならびに下面図、図21Bは表示装置に表現される3次元空間の一例を示す鳥瞰図、図22A,図22B,図22C,図23A,図23B,図23Cはそれぞれ入力ペンで操作したときの3次元空間内の様子を示す鳥瞰図、図24A,図24B,図24C,図25A,図25B,図25Cはそれぞれ入力ペンで操作したときの3次元空間内の様子を示す正面図、図26は本実施例1−6の3次元ポインティング方法の処理手順を示すフロー図、図27は本実施例1−6の3次元ポインティング方法の処理手順の変形例を示すフロー図である。なお、図24A,図24B,図24Cはそれぞれ、図22A,図22B,図22Cと対応する図であり、図25A,図25B,図25Cはそれぞれ、図23A,図23B,図23Cと対応する図である。
本実施例1−6の3次元ポインティング方法は、前記実施例1−5で説明した3次元ポインティング方法の応用例の1つであり、3次元空間301内にあるオブジェクト302を前記実施例1−1や実施例1−2の方法でポインティングした後、前記ポインティングされたオブジェクト302を操作者が操作しやすい位置、すなわちこれまでの2次元GUI操作が適用できる位置に自動的に移動させ、操作者が目的の編集、加工等を行う。そして、目的の編集、加工が終了した後に、操作者が操作を行うと、前記オブジェクト302が操作者からみて3次元の奥行き方向に3次元奥行き方向にある他オブジェクトに干渉するまで移動し、他オブジェクトに干渉した後、前記他のオブジェクトの持つ属性によって移動してきたオブジェクトの状態を変化させるポインティング方法である。
本実施例1−6では、前記実施例1−5と同様に、前記入力装置2として電磁誘導式のペンタブレットを用い、前記表示装置3としてDFDを用いた場合を例に挙げて、ポインティング方法およびオブジェクトの操作方法について説明する。
また、前記入力装置(ペンタブレット)2の検出手段(デジタイザ)は、前記表示装置(DFD)3の表示面と重ね合わせ一体的に設けられているとする。
また、本実施例1−6の3次元ポインティング方法を説明するに当たって、たとえば、図21Aおよび図21Bに示すように、前記DFD3の2枚の表示面の間に表現された3次元空間301の中に、座標系XYZを設定し、オブジェクト302とウィンドウ304を3次元空間301内のz<0の位置に配置した場合を例に挙げる。
このとき、前記オブジェクト302の操作をしたい操作者は、まず、図22Aおよび図24Aに示すように、前記実施例1−1や実施例1−2で説明した方法で前記オブジェクト302をポインティングする。そして、前記オブジェクト302の色の変化等によりポインティングされたことを確認し、たとえば、前記入力ペン201に設けられたボタン201Dを1回押すと、図22Bおよび図24Bに示すように、前記ポインティングされたオブジェクト302が前記DFDの手前の表示面に2次元物体として表示され、ポインタ303が消える。本実施例1−6では、オブジェクト302がz方向に厚みのないオブジェクトであるが、これがz方向にも厚みを持つような立体オブジェクトであった場合も、この過程においてはDFDを用いた3次元立体表示は行わず、あくまで2次元としてDFDの前面の表示装置に投影像として3次元像を表示する。
このように前記オブジェクト302の表示方法が変わると、前記3次元空間301上で2次元GUIの操作を行うことが可能な状態になるので、前記操作者は、前記入力ペン201で、たとえば、図22Cおよび図24Cに示すように、前記オブジェクト302上に文字を書く等の目的の操作を2次元GUIの操作として行うことができる。そして、前記操作者が続けて、図23Aおよび図25Aに示すように、前記オブジェクト302を所望の位置まで2次元的な操作で移動させた後、たとえば、前記入力ペン201のボタン201を1回押すと、図23Bおよび図25Bに示すように、前記オブジェクト302は、前記操作者からみて3次元奥行き方向(z<0)に、ウィンドウ304と干渉するまで移動する。このとき、前記オブジェクト302の前記3次元奥行き方向のz座標が段階的に小さくなるようなアニメーションをつけると、前記操作者に移動の過程が伝わりやすい。そして、前記オブジェクト302が前記ウィンドウ304と干渉すると、前記オブジェクト302に対して、前記ウィンドウ304の持つ属性として、ウィンドウ上に移動する動作が実行される。
また、図23Bおよび図25Bに示したように、前記オブジェクト302を自動的に3次元奥行き方向(z<0)に移動させる代わりに、たとえば、前記実施例1−5で説明したように、前記入力ペン201のボタン201Dを押しながら前記入力ペン201を操作することで、前記オブジェクト302を3次元奥行き方向(z<0)に移動させ、前記ウィンドウ304と干渉位置まで移動させることも可能である。
このような3次元ポインティング方法を実現させるためには、前記システム制御装置1において、図26に示したような、ステップ401からステップ406,ステップ411からステップ419までの処理を実行すればよい。このとき、前記システム制御装置1では、まず、前記実施例1−1や実施例1−2で説明したステップ401からステップ406までの処理を行い、前記表示装置3に表現された3次元空間301上のオブジェクト302をポインティングする。そして、前記ステップ406でポインティングされたオブジェクト302の色を変えて表示させたら、次に、図26に示したように、前記操作者が、前記入力ペン201のボタン201Dを押すなどの、前記ポインティングされたオブジェクト302を2次元GUI的な操作・編集・加工を開始するための操作を行ったか判定する(ステップ411)。そして、前記2次元GUI的な操作・編集・加工を開始するための操作を行わなかった場合は、ステップ402に戻り、次の入力情報を取得するまで待機する。
一方、2次元GUI的な操作・編集・加工を開始するための操作が行われた場合、次に、たとえば、前記表示装置3に表現された3次元空間301上に表示されたポインタ303を非表示にし、前記ポインティングされたオブジェクト302の射影を操作者から見て一番近い表示面に表示する(ステップ412,ステップ413)。前記ステップ412およびステップ413の処理が実行されることで、前記オブジェクト302の2次元GUI的な操作・編集・加工が可能な状態になる。
2次元GUI的な操作・編集・加工が可能な状態になった後は、前記入力ペン201からの2次元GUI的な操作を受け付け、実行する(ステップ414)。また、前記ステップ414の処理の後は、前記操作者が、前記入力ペン201のボタン201Dを再び押すなどの、2次元GUI的な操作・編集・加工を終了するための操作を行ったか判定する(ステップ415)。このとき、2次元GUI的な操作・編集・加工を終了するための操作を行っていない場合は、前記ステップ414に戻り、他の2次元GUI的な操作・編集・加工を受け付け、実行する。
一方、2次元GUI的な操作・編集・加工を終了するための操作が行われた場合、2次元GUI的な操作を行うモードから、前記実施例1−1から実施例1−4で説明したような3次元的なポインティング操作を行うモードに戻る。そして、図26に示したように、前記オブジェクト302を3次元奥行き方向(z<0)に移動させていく(ステップ416)。
また、前記ステップ416により前記オブジェクト302を3次元奥行き方向に移動させている間、前記システム制御装置1では、たとえば、前記ウィンドウ304のような、前記オブジェクト302と干渉する他のオブジェクトがあるか否かの判定を行う(ステップ417)。そして、干渉するオブジェクトがある場合、干渉した時点で前記オブジェクト302の3次元奥行き方向への移動を止め、前記オブジェクト302に対して、前記干渉する他のオブジェクトの持つ属性を実行する(ステップ418)。
一方、前記オブジェクト302と干渉する他のオブジェクトがない場合は、前記オブジェクト302をあらかじめ定められた奥行き位置、たとえば、前記ステップ411以降の処理を行う前と同じ奥行き位置まで移動させて表示する(ステップ419)。
前記システム制御装置1において、図26に示したような手順の処理を行うことにより、図22A,図22B,図22C,図23A,図23Bのような一連のポインタの表示制御、オブジェクトの3次元的な移動等の操作、前記オブジェクトの2次元GUI的な操作が可能となる。
また、図26に示した処理手順では、前記ステップ415の後、すなわち前記2次元GUI操作が可能な状態から3次元的なポインティング操作が可能な状態に戻った後、ステップ416のように自動的に前記オブジェクト302を奥行き方向に移動させているが、これに限らず、前記操作者が、前記実施例1−3や実施例1−4で説明した方法で、前記入力ペン201を操作しながら前記オブジェクト302を奥行き方向に移動させるようにしてもよい。このようなポインティング方法の場合、前記システム制御装置1では、図27に示したように、前記ステップ401からステップ415,ステップ417,ステップ418,ステップ420,ステップ421の処理を実行すればよい。
前記DFD3に表現された3次元空間301上のオブジェクト302をポインティングし、2次元GUI的な操作を行うまでの処理(ステップ401からステップ406,ステップ411からステップ415)は、図26に示した処理手順の処理と同じ処理を行えばよいので説明は省略する。
そして、前記ステップ415で、たとえば、前記入力ペン201のボタン201Dを1回押すなどの2次元GUI操作が可能な状態から3次元ポインティング操作が可能な状態に戻る操作を確認した後は、前記実施例1−1や実施例1−2で説明したような手順(ステップ402'からステップ406')で前記オブジェクト302をポインティングさせる。
前記ステップ402'からステップ406'により目的のオブジェクト302をポインティングしたら、次に、前記入力ペン201のボタン201Dを押されているか否かを確認する(ステップ407)。そして、前記入力ペン201のボタン201Dが押されていることを確認したら、続けて、前記入力ペン201の操作に合わせ、前記実施例1−3や実施例1−4で説明したようなステップ408からステップ410の処理を行い、前記オブジェクト302を3次元的に移動させたり、回転あるいは変形させたりする。
また、前記システム制御装置1では、前記ステップ408からステップ410の処理を行い、前記オブジェクト302を3次元的に移動させたり、回転あるいは変形させている間、前記オブジェクト302と干渉する他のオブジェクトがあるか否かを調べる(ステップ417)。そして、干渉する他のオブジェクトがある場合、たとえば、前記干渉する他のオブジェクトの色を変えて表示する(ステップ420)。またこのとき、同時に、前記干渉する他のオブジェクトの色を変えて表示するとともに、前記入力ペン201のボタン201Dが押された状態であるか確認する。そして、前記ボタン201Dが押されている状態であれば、前記ステップ408からの処理を続け、前記オブジェクト302の3次元的な移動、回転あるいは変形を続ける。
一方、前記干渉する他のオブジェクトの色を変えて表示した時点で、前記ボタン201Dを離していれば、その時点で前記オブジェクト302の移動、回転あるいは変形を止め、前記オブジェクト302に対して、前記干渉する他のオブジェクトの持つ属性を実行する(ステップ418)。
前記システム制御装置1において、図27に示したような手順の処理を行うことにより、図22A,図22B,図22C,図23A,図23Cのような一連のポインタの表示制御、オブジェクトの3次元的な移動等の操作、前記オブジェクトの2次元GUI的な操作が可能となる。
以上説明したように、本実施例1−6の3次元ポインティング方法によれば、3次元空間301内にあるオブジェクト302をポインティングした後、前記ポインティングされたオブジェクト302を操作者が操作しやすい位置まで自動的に移動させ、これまでの2次元GUI操作により目的の編集、加工等を行うとともに、目的の編集、加工が終了した後に、前記オブジェクト302が操作者からみて3次元の奥行き方向に移動させるとともに、移動させたオブジェクト302と干渉する他のオブジェクトが存在する場合に、前記他のオブジェクトの持つ属性によって移動させた前記オブジェクト302の状態を変化させることができる。
また、本実施例1−6の3次元ポインティング方法では、前記入力ペン201のボタン201Dを押すなどの特定の動作をすることで、3次元的なポインティング操作を行うモードからオブジェクトの2次元GUI的な操作・編集・加工を行うモードに切り替わる。このとき、前記システム制御装置1の前記入力情報取得手段101で取得した情報は、前記オブジェクトの2次元GUI的な操作・編集・加工を行うための情報として処理される。そのため、たとえば、操作者から見て奥にあるオブジェクトをポインティングして2次元GUI的な操作・編集・加工を行う場合に、前記入力ペン201の筆圧を高くした状態を維持しておく必要がない。その結果、前記操作者の疲労を軽減できる。
また、本実施例1−6では、前記入力装置2である電磁誘導方式のペンタブレットの検出手段(デジタイザ)を3次元空間を表示できる表示装置3であるDFDの表示面と重ね合わせている例を挙げて説明したが、これに限らず、両者が別の位置にあるような構成であってもよい。また、本実施例1−6では、前記表示装置3としてDFDを用いたが、これに限らず、前記実施例1−1から実施例1−4で説明したような液晶ディスプレイ等の表示装置を用いてもよい。
また、本実施例1−6では、目的のオブジェクト302の例として2次元的な4角形のオブジェクトを挙げていたが、これに限らず、前記オブジェクト302の形状はどのような形状であってもよい。
また、本実施例1−6では、前記表示装置3に表現される3次元空間の座標系は、前記実施例1−1と同様、すなわち図4Aに示したように、表示面がz=0となるように設定したが、3次元が表現できるのであれば3次元の原点はどこにとってもよく、またデカルト座標系である必要もなく、たとえば円柱座標系や球座標系などでもよい。
また、本実施例1−6では、前記入力ペン201のボタン201Dを押しながら前記入力ペン201を移動させて前記ポインティングしたオブジェクトを移動させたが、これに限らず、たとえば、キーボードの特定のキーや他のスイッチを押しながら入力ペン201を移動させるなどの方法で前記オブジェクトを移動させるようにしてもよい。その場合、図20に示したステップ407,ステップ411,ステップ415では、前記それぞれの操作に該当する入力情報を取得したか否かを判定すればよい。
また、本実施例1−6では、前記オブジェクト302に直接編集を行う例として、たとえば、図22Cに示したように「B」という文字を記入する場合を挙げたが、前記オブジェクト302がファイルを表すオブジェクトで、それをポインティング後、2次元GUI操作が行われる時に、前記ファイルが開いてその内容を操作者が2次元GUI上で編集し、ファイルを閉じた後に操作者の望む3次元位置に移動可能であるなどとしてもよい。
また、本実施例1−6では、前記他のオブジェクトの例としてウィンドウ304を挙げ、前記ウィンドウ304と干渉したときにファイルを移動するという属性を実行する場合について説明したが、これに限らず、たとえば、他のアプリケーション実行用のアイコンと干渉したときにファイルを実行するという属性を実行させることも可能である。またその他にも、たとえば、ゴミ箱オブジェクトと干渉したときにファイルを削除するという属性を実行させることも可能である。
図28A乃至図32Cは、本実施例1−6の3次元ポインティング方法でオブジェクトを削除する方法を説明するための模式図であり、図28Aは表示装置に表現される3次元空間の一例を示す正面図および右側面図ならびに下面図、図28Bは表示装置に表現される3次元空間の一例を示す鳥瞰図、図29A,図29B,図30A,図30B,図30Cはそれぞれ入力ペンで操作したときの3次元空間内の様子を示す鳥瞰図、図31A,図31B,図32A,図32B,図32Cはそれぞれ入力ペンで操作したときの3次元空間内の様子を示す正面図である。なお、図31A,図31Bはそれぞれ、図29A,図29Bと対応する図であり、図32A,図32B,図32Cはそれぞれ、図30A,図30B,図30Cと対応する図であるとする。
本実施例1−6の3次元ポインティング方法では、前述のように、オブジェクト302をウィンドウ304に移動させるだけでなく、たとえば、オブジェクト302をゴミ箱オブジェクトに移動させ、削除することもできる。そこで、図28Aおよび図28Bに示すように、前記DFD3の2枚の表示面の間に表現された3次元空301間の中に、座標系XYZを設定し、オブジェクト302とゴミ箱305が3次元空間301内のz<0の位置に配置された場合を例に挙げ、前記オブジェクト302の削除手順について説明する。
前記オブジェクト302を削除したい操作者は、まず、図29Aおよび図31Aに示すように、前記入力ペン201を操作して削除したいオブジェクト302をポインティングする。そして、前記削除したいオブジェクト302をポインティングした状態で、たとえば、前記入力ペン201のボタン201Dを1回押すなどの特定の操作をすると、図29Bおよび図31Bに示すように、前記ポインティングされたオブジェクト302が、前記手前の表示面に移動し、2次元GUI操作が可能な状態に変わる。ここで、前記操作者が、たとえば、図30Aおよび図32Aに示したように、前記ポインティングしたオブジェクト302をゴミ箱305上まで移動させ、再び前記入力ペン201のボタン201Dを1回押すなどの特定の操作をすると、前記2次元GUI操作が可能な状態から、3次元ポインティングが可能な状態に戻る。そして、前記システム制御装置1で行われる処理が、図26に示したような手順である場合は、3次元ポインティングが可能な状態に戻った後、前記オブジェクト302が自動的に3次元奥行き方向(z<0)に移動し、前記ゴミ箱305と干渉した時点で、図30Bおよび図32Bに示すように、前記オブジェクト302の表示が消え、前記ゴミ箱305がゴミ(オブジェクト)が入っている状態の表示に切り替わる。
一方、前記システム制御装置1で行われる処理が、図27に示したような手順である場合は、前記3次元ポインティングが可能な状態に戻った後、前記操作者が前記入力ペン201を操作して前記オブジェクト302を前記3次元奥行き方向に移動させる。そして、前記オブジェクト302が前記ゴミ箱と干渉した時点で、図30Cおよび図32Cに示すように、前記オブジェクト302の表示が消え、前記ゴミ箱305がゴミ(オブジェクト)が入っている状態の表示に切り替わる。
このように、本実施例1−6の3次元ポインティング方法は、前記オブジェクト302と干渉したオブジェクトが、前記オブジェクト302に対して、属性を実行することが可能であれば、どのような属性を持つオブジェクトであってもよい。
[実施例1−7]
図33乃至図36Cは、本発明による実施例1−7の3次元ポインティング方法を説明するための模式図であり、図33および図34は本実施例1−7の3次元ポインティング方法で用いる入力ペンの構成例を示す図、図35A,図35B,図35Cはそれぞれ入力ペンで操作したときの3次元空間内の様子を示す鳥瞰図、図36A,図36B,図36Cはそれぞれ入力ペンで操作したときの3次元空間内の様子を示す正面図および右側面図である。なお、図36A,図36B,図36Cはそれぞれ、図35A,図35B,図35Cと対応する図であるとする。
本実施例1−7では、前記実施例1−1から実施例1−6で説明したような3次元ポインティング方法を実施するときに用いる入力ペンとして、ペン先201Pが筆圧の高さに応じて入力ペン201の筐体内に押し込まれる構造の入力ペンを用いた場合のポインティング方法について説明する。
本実施例1−7で用いる入力ペン201は、たとえば、図33に示すように、筐体の内部にバネ201Eが入っており、操作者が前記入力ペン201に筆圧を加えた場合に、圧力検知手段201Fが、前記バネ201Eの反発力から圧力を感知する構造を持っているとする。なお、前記入力ペン201の構成は、図33に示したような構成に限らず、たとえば、図34に示すように、空気圧式のピストン201Gを用い、空気圧感知部201Hにおいて、加えられた圧力を感知する構造であってもよい。図33または図34に示したような構造の入力ペン201で感知された圧力は、前記システム制御装置1で演算処理され、たとえば、操作者が加えた圧力に比例した長さのポインタ303が表示装置3に表示される。
本実施例1−7では、図33または図34に示したような構成の入力ペン201を用いて前記表示装置3に表現された3次元空間のポインティングを行う場合の例として、前記実施例1−1で説明したポインティング方法を実施する場合を挙げる。このとき、前記入力装置2および前記表示装置3はそれぞれ、前記実施例1−1と同様に電磁誘導方式のペンタブレットと液晶ディスプレイを用いるとする。また、前記入力装置2の検出手段(デジタイザ)は、前記液晶ディスプレイ3の表示面と重ね合わせているとする。
このとき、前記操作者が、前記入力ペン201のペン先201Pを前記液晶ディスプレイ3のXY平面(z=0)の任意の1点におくと、たとえば、図35Aおよび図36Aに示すように、前記液晶ディスプレイ3の3次元空間301上に、円錐型等の前記入力ペン201のペン先201Pの形状を反映した形状のポインタが表示される。
そして、前記操作者が、前記入力ペン201の筆圧を高くしていくと、たとえば、図35Bおよび図36B、あるいは図35Cおよび図36Dに示したように、前記入力ペン201の筆圧の高さに応じて表示される前記ポインタ303の大きさが変わる。この前記ポインタ303の大きさの制御は、前記実施例1−1で説明したような手順で行えばよいので、詳細な説明は省略する。
このとき、たとえば、図35Bおよび図36B、あるいは図35Cおよび図36Dに示したように、円錐型の前記ポインタ303の大きさを、前記入力ペン201のペン先201Pの筐体に押し込まれる長さと比例させることで、たとえば、前記実施例1−1で説明したような方法と比べて、前記ポインタ303が前記ペン先201Pの一部であるという視覚的効果がさらに高くなると考えられる。
また、本実施例1−7では、ペン先が凹む構造の入力ペン201の例として、図33および図34に示したように、バネと空気圧を用いた機構の入力ペンを挙げたが、同様の効果が得られるのであれば他の機構の入力ペンであってもよい。また、ペンの筐体の内部に圧力検知部201F、空気圧検知部201Hを設ける代わりに、たとえば、ペン先201Pが凹んだ移動量を測る機構を備えるなど、同様の効果が得られるのであれば、他の機構の入力ペンであってもよい。
また、本実施例1−7では、前記実施例1−1で説明した3次元ポインティング方法を実施する場合を例に挙げたが、これに限らず、前記実施例1−2から実施例1−6で説明したようなポインティング方法を実施する場合にも、図33および図34に示したような構成の入力ペン201を用いることができるのは言うまでもない。
[実施例1−8]
図37A乃至図40Cは、本発明による実施例1−8の3次元ポインティング方法を説明するための模式図であり、図37A,図37B,図37C,図38A,図38B,図38Cはそれぞれ入力ペンで操作したときの3次元空間内の様子を示す鳥瞰図、図39A,図39B,図39C,図40A,図40B,図40Cはそれぞれ入力ペンで操作したときの3次元空間内の様子を示す正面図である。なお、図39A,図39B,図39Cはそれぞれ、図37A,図37B,図37Cと対応する図であり、図40A,図40B,図40Cはそれぞれ、図38A,図38B,図38Cと対応する図であるとする。
本実施例1−8では、前記実施例1−1から実施例1−6で説明したような3次元ポインティング方法の具体的な利用シーンとして、3次元表示が可能な表示画面と、ペンタブレットの検出手段を内蔵している、音楽再生機能を操作するためのリモコンを例に挙げる。本実施例1−8では、前記入力ペン201を操作したときのリモコンの表示画面上のポインタおよびオブジェクトの表示制御の手順は、前記実施例1−1から実施例1−7で説明した手順と同じでよいため、詳細な説明は省略する。
このとき、前記操作者は、前記実施例1−7で説明したような、ペン先201Pが筐体内に押し込まれる入力ペン201を用い、たとえば、図37Aおよび図39Aに示したような、前記リモコンの3次元空間301に表示されたオブジェクトを操作する。まず、たとえば、図37Bおよび図39Bに示すように、前記操作者は、前記入力ペン201を操作して再生ボタン302aをポインティングすると、前記再生ボタン302aが押された状態の表示に切り替わり、音楽の生成が開始される。
また、たとえば、図37Cおよび図39Cに示すように、前記入力ペン201を操作してボリュームのつまみ302bをポインティングし、たとえば、前記入力ペン201のボタン201Dを押しながら前記つまみ302bを回転させるように前記入力ペンを移動させると、再生中の音楽のボリュームを上げたり下げたりすることができる。
また、ボリュームを上げたり下げたりする場合は、図37Cおよび図39Cに示したような操作に限らず、たとえば、図38Aおよび図40Aに示すように、前記つまみ302bの中心付近で前記つまみ302bをポインティングした後、前記入力ペン201を軸周りに回転させることで、前記つまみ302bを回転させ、ボリュームを上げたり下げたりすることもできる。
また、たとえば、図38Bおよび図40Bに示すように、再生中の音楽に関する情報が表示されている領域302cを前記入力ペン201でポインティングしたときに、図38Cおよび図40Cに示すように、前記領域302cが2次元的な表示に切り替わり、2次元GUI操作が可能な状態にできるようにしておけば、たとえば、手書き文字の認識機能等と組み合わせて、前記領域302cに再生したい音楽のトラック番号を入力し、目的のトラック番号にスキップさせることができる。
このように、前記実施例1−1から実施例1−6の3次元ポインティング方法を利用することで、3次元空間301の操作ボタン等のオブジェクトを容易に、かつ直感的に操作することができる。
また、本実施例1−8では、リモコンを用いた音楽機器の操作例を示したが、これに限らず、たとえば、PDAであったり、携帯電話、また、キオスク端末やATMなどの同様の形態が取れる機器の操作に適用することもでき、それぞれの機器をより直感的に操作することが可能となる。また、操作においても、本実施例では、音楽を再生し、ボリュームを上げて、トラックを変えるという操作を行ったが、これに限らず、前記入力ペン201における操作と関連づけられる操作であれば、どのような操作でも可能である。
また、本実施例においては、トラック番号の入力するのに手書き認識を用いるとしたが、2次元のGUIで実現可能なものであれば、どのような方法でもよく、たとえば、プルダウンメニューでトラック番号を表示し入力ペン201で選択するような入力方法でもよい。
また、前記3次元ポインティング装置は、前記3次元ポインティング方法の実現に特化した専用の装置である必要はなく、たとえば、図1に示したように、PC等のコンピュータ(システム制御装置)と、前記コンピュータに前記各実施例で説明したような3次元ポインティング方法を実行させる3次元ポインティングプログラムによって実現することもできる。この場合、前記3次元ポインティングプログラムは、前記コンピュータで読み取りが可能な状態で記録されていれば、磁気的,電気的,光学的のいずれの記録媒体に記録されていてもよい。また、前記3次元ポインティングプログラムは、たとえば、前記記録媒体に記録して提供するだけでなく、インターネット等のネットワークを通して提供することも可能である。
(第2の実施の形態)
次に、本発明の第2の実施の形態について説明する。第2の実施の形態は第1の実施の形態と同様に本発明の第1の目的に対応するものである。第1の実施の形態は、入力ペンの筆圧もしくは傾き等に応じてポインタを制御するものであるのに対し、第2の実施の形態は、入力ペンのペン先の接触時間もしくは入力ペンに取り付けられた操作手段の操作量等に応じてポインタを制御するものである。第1の実施の形態と第2の実施の形態とではポインタを制御するための入力ペンの操作内容が異なるが、実現しようとしていることは同一であるので、適宜第1の実施の形態の図面を参照して第2の実施の形態の説明を行う。
第2の実施の形態の3次元ポインティング方法は、3次元表示が可能な表示装置に表現された3次元空間上のオブジェクトを、ペン型の入力装置(手段)を用いてポインティングしたり、ポインティングされたオブジェクトの操作をしたりする方法である。前記ペン型の入力装置は、たとえば、ペンタブレットのように、前記オブジェクトのポインティングや操作を行う操作者が持って操作をする入力ペン(電子ペン)と、前記入力ペンのペン先の接触の有無、位置、軸の向き、前記入力ペンが備える操作手段の操作情報などの情報を検出する検出手段からなる。そして、本実施形態の3次元ポインティング方法では、前記検出手段で検出した情報に基づいて、ポインタの位置、形状、向きなどを決定し、前記表示装置に表現された3次元空間に前記ポインタを表示させる。このようにすることで、前記操作者は、前記検出手段の検出面上に前記入力ペンのペン先を接触させた状態で、前記表示装置に表現された3次元空間上の前記オブジェクトのポインティングや操作を行うことができ、長時間のポインティングやオブジェクト操作時の前記操作者の疲労を軽減できる。
また、本実施の形態の3次元ポインティング方法では、前記入力ペンのペン先で指し示し続けた時間、または前記入力ペンの操作手段の操作の状況を、前記ポインタの奥行き方向の移動または変形と対応させることで、前記表示装置に表現された3次元空間内の一点をポインティングできるようにする。また、前記入力ペンの傾き、方位の情報を前記ポインタの傾き、方位に反映させることで、前記操作者は、前記表示装置に表現された3次元空間上に表示されたポインタが、あたかも自身が持つ入力ペンのペン先の一部と感じることができ、3次元オブジェクトのポインティングを容易に、かつ直感的に行うことが可能となる。
また、本実施の形態の3次元ポインティング方法では、前記オブジェクトをポインティングした後、前記ポインティングされたオブジェクトを選択または掴む操作を行うことで、前記オブジェクトを2次元GUI的な編集、加工等の操作が可能な状態、言い換えると前記入力ペンの操作で前記2次元GUI上のオブジェクトを操作することが可能な状態にする。また、前記オブジェクトの編集、加工といった処理(操作)が終了した後、前記オブジェクトを再度3次元オブジェクトとして扱い、操作者の望む3次元位置に移動できるようにする。このようにすることで、3次元オブジェクトの操作を、既存のペン型の入力装置を用いたこれまでの2次元GUIにおける操作と変わらない操作で実現できる。そのため、前記操作者は、たとえば、前記オブジェクトを操作するための、前記3次元的な入力ペンの操作を新たに習得しなくてもよい。
図41は本実施の形態の3次元ポインティング方法を実現するシステムの構成例を示す図である。図41において、1はシステム制御装置、101は入力情報取得手段、102はポインタ位置/回転角度算出手段、103はポインタ生成手段、104はポインティング判定手段、105はオブジェクト生成手段、106は表示制御手段、107は処理制御手段、108は記憶手段、2は入力装置、3は表示装置である。また、図42は本実施の形態の3次元ポインティング方法で用いる入力ペンの構成例を示す図である。図42において、201は入力ペン、201Aはコイル、201Bは回転角検出用のコイル、201Dは操作手段(ボタン)、201D1,201D2はシーソー型ボタンまたはホイールあるいはスライド型のバー、201D3は押しボタンである。なお、以下の説明では、特に記述がない限り、201D1,201D2はシーソー型ボタン、201D3は押しボタンであるとする。また、当然ながら、前記入力ペン201は、同様の機能を果たすのであれば、前記の機構に限らない。
本実施の形態の3次元ポインティング方法は、たとえば、PCなどのシステム制御装置に接続された前記ペン型の入力装置を用いて、前記システム制御装置に接続された表示装置に表現された3次元空間上にあるポインタや、前記ポインタでポインティングされたオブジェクトを3次元的に操作するときに適用して好ましいポインティング方法である。
前記システム制御装置1は、たとえば、図41に示すように、前記入力装置2から入力された入力情報を取得する入力情報取得手段101と、前記入力情報取得手段101で取得した入力情報がポインタの制御に関する情報である場合に、前記入力情報に基づいて入力装置2で指し示し続けた時間や、前記入力装置2が備える操作手段の操作情報(ボタンが押されている時間や回数)を算出する入力情報処理手段109と、前記入力情報に基づいてポインタの移動方向および移動量、回転方向および回転角度などを算出するポインタ位置/回転角度算出手段102と、前記ポインタ位置/回転角度算出手段102の算出結果に基づいたポインタを生成するポインタ生成手段103と、前記ポインタ生成手段103で生成するポインタにポインティングされているオブジェクトがあるか否かの判定をするポインティング判定手段104と、前記ポインティングされているオブジェクトがある場合に、たとえば、そのオブジェクトの色を変えたり、前記ポインタの移動や回転を追随させた位置や向きのオブジェクトを生成したりするオブジェクト生成手段105と、前記ポインタ生成手段103で生成したポインタや、前記オブジェクト生成手段105で生成したオブジェクトを前記表示装置3に表示させる表示制御手段106とを備える。
また、前記システム制御装置1は、たとえば、前記PCのように、前記入力装置2からの入力情報に応じてソフトウェアの起動や操作をしたり、他の装置の制御を行ったりする装置であり、図41に示したように、前記各手段の他に、たとえば、ソフトウェアの起動等の処理を制御する処理制御手段107や、前記処理制御手段107による処理で用いるデータなどが記憶された記憶手段108を備える。そして、前記入力情報取得手段101で取得した情報が、前記ポインタの制御に関する情報とは異なる場合、前記入力情報取得手段101は、前記取得した情報を前記処理制御手段107に渡し、取得した情報に応じた処理を前記システム制御装置1に実行させる。そのため、前記表示制御手段106は、前記ポインタや前記オブジェクトの他に、前記システム制御装置1(処理制御手段107)で実行中の処理の内容や、処理の結果を前記表示装置3に表示させることもできる手段であるとする。
また、前記入力装置2は、図示は省略するが、たとえば、前記ポインタやオブジェクトの操作を行う操作者が持つ入力ペン(電子ペン)と、前記入力ペンのペン先の接触の有無、位置、前記入力ペンが備えるボタンなどの操作手段の状態、前記入力ペンの傾き、方位、回転角などの情報を検出する検出面をもつ検出手段からなるとする。
第1の実施の形態と同様に、前記検出手段の検出面上に図2に示すように、前記表示装置3に表現される3次元空間と対応するデカルト座標系XYZをとり、前記デカルト座標系XYZのXY平面が検出面とすると、前記検出手段は、前記検出面(XY平面)に前記入力ペンのペン先201Pが接触したときに、ペン先201Pの接触の有無、接触位置の座標(x,y)、入力ペンの筐体の軸201Xの方位α(たとえば0度≦α<360度),傾きβ(たとえば0度≦β≦90度),軸周りの回転γ(たとえば0度≦γ<360度)の各角度の情報を検出する。
第1の実施の形態と同様に、前記入力ペンのペン先201Pの接触の有無、接触位置の座標(x,y)、前記入力ペンの筐体の軸201の方位α,傾きβ,軸周りの回転γなどの情報を検出することが可能な入力装置2の構成は、たとえば、参照文献1(三谷 雄二, "タッチパネルの基礎と応用," テクノタイムズ社, 2001.)や参照文献2(株式会社WACOM製intuos2のカタログ)等に記載された内容から、当業者であれば容易に推測でき、容易に実現することが可能である。ただし、前記入力ペンの筐体の軸201Xの軸周りの回転γの角度については、前記参照文献1や参照文献2に記載された構造では取得できない。しかしながら、前記軸周りの回転γの角度を検出するためには、たとえば、図42に示すように、前記入力ペン201の内部の、前記参照文献1に記載されている座標指示器のコイル201Aと平行に、前記軸周りの回転γを検出するためのコイル201Bをもう一つ加え、両コイル201A,201Bの鎖交する磁束の変化をそれぞれ取得し、回転量を計算すればよいことは、当業者であれば容易に想像でき、実現することは可能である。ただし、本実施の形態の3次元ポインティング方法で使用する前記入力ペン201は、図42に示したような、前記軸周りの回転γの角度を検出する機構を備えた構成でなくともよい。
また、前記入力装置2は、たとえば、ペンタブレットや、タッチパネルとスタイラスペンの組み合わせのように、前記入力ペンと前記検出手段が分離した装置に限らず、たとえば、ペン形マウスのように、前記入力ペンの筐体の内部に前記検出手段が組み込まれている入力装置であってもよい。
また、前記表示装置3は、3次元空間を表現できる表示装置であればよく、たとえば、CRTディスプレイや液晶ディスプレイのように3次元オブジェクトを2次元平面に射影した形で表現して表示する2次元表示装置でもよく、HMD(Head Mount Display)やDFDのように3次元立体像を表現して表示することが可能な表示装置でもよい。つまり、前記表示装置3は、前記操作者が、表示されたポインタやオブジェクトを3次元的に知覚することが可能であればどのような表示装置でもよい。
また、前記入力装置2の検出手段と前記表示装置3は、一体型の形態を取ることも可能である(たとえば、特開平5-073208号公報を参照。)。前記入力装置2として、たとえば、電磁誘導方式のペンタブレットを用いる場合、前記検出手段(デジタイザ)は、前記表示装置3の表示面と重ね合わせ、前記表示装置3と一体的にすることができる。また、同様の形態として、たとえば、タッチパネルとスタイラスペンを組み合わせた形態を適用することも可能である。このようにすれば、前記操作者は、液晶ディスプレイ等の前記表示装置3の表示面に前記入力ペンを接触させてポインティングすることが可能となり、前記検出手段と前記表示装置3が分離した状態で操作する場合に比べ、より直感的な操作が可能となる。ただし、本発明は、このような前記入力装置2の検出手段と前記表示装置3の構成を限定するものではなく、一般的なペンタブレットのように、前記検出手段と前記表示装置3が一体的になっていなくともよい。
[実施例2−1]
次に、実施例2−1を説明する。実施例2−1は、実施例1−1と同様にオブジェクトを選択または掴む場合の実施例であり、実施例1−1の図4〜6を用いて説明する。また、図43を参照して実施例2−1の処理手順を説明する。なお、図5B、図6B、Cにおいて入力ペンに圧力を加える方向の矢印が記載されているが、本実施例2−1ではこの矢印はないものとする。
本実施例2−1の3次元ポインティング方法は、前記入力ペン201のペン先201Pを前記検出手段の検出面に接触させ、シーソー型ボタン201D1,201D2を用いて、3次元空間内の操作者から見て奥行き方向にあるオブジェクトをポインティングし、さらに押しボタン201D3を用いてオブジェクトを選択または掴む方法である。
本実施例2−1では、前記入力装置2には電磁誘導方式のペンタブレット、前記3次元空間を表示できる表示装置3には液晶ディスプレイを用いることとする。また、前記入力装置2の検出手段(デジタイザ)は前記液晶ディスプレイ3の表示面と重ね合わせており、表示画面上で直接入力ペンを操作してポインティング、さらに選択または掴む操作が行えるものとする。また、前記入力装置2および前記表示装置3は、図41に示したような構成のシステム制御装置1に接続されているとする。
また、本実施例2−1では、実施例1−1と同様に、図4Aおよび図4Bに示すように、前記液晶ディスプレイ3に表現された3次元空間301の中に、図2で示した座標系XYZと対応させた座標系XYZを設定し、オブジェクト302が3次元空間301内のz<0の位置に配置されているとする。またこのとき、前記入力装置2の入力ペン201を操作する操作者は、前記3次元空間301のXY平面を、z>0の方向から観察しているとする。
また、本実施例2−1では、前記3次元空間301のz=0のXY平面、すなわち前記操作者から見て一番近い面が前記液晶ディスプレイの表示面であると同時に、前記入力装置2の検出手段の検出面であるとする。
前記操作者が、たとえば、図5Aおよび図6Aに示すように、前記入力ペン201のペン先201Pを前記液晶ディスプレイ3の表示面に接触させると、前記表示面に重ね合わされた前記検出手段が前記ペン先201Pの位置(座標)を検出する。次に、前記システム制御装置1では、ペン先201Pが接触した状態でシーソー型ボタン201D1,201D2のいずれかが押されたことを判定し、さらに、前記入力情報取得手段101により前記検出手段が検出した前記ペン先201Pの位置(座標)などの情報を取得し、前記ポインタ位置/回転角度算出手段102および前記ポインタ生成手段103に、前記ペン先201Pが接触した位置に該当する前記3次元空間301上の位置に表示させるポインタを生成させる。そして、前記ポインタが生成されると、前記表示制御手段106から前記表示装置3にポインタ表示用の信号が送られ、たとえば、図5Aおよび図6Aに示したように、前記表示装置3に表現された3次元空間301上に、前記ペン先201Pが接触した状態で前記シーソー型ボタン201D1,201D2のいずれかが押された時間(または回数)を反映したポインタ303が表示される。
また、前記操作者が、前記入力ペン201のペン先201Pを前記液晶ディスプレイ3の表示面に接触させたままの状態で、さらに前記シーソー型ボタン201D1,201D2のいずれかを押すと、前記システム制御装置1の入力情報処理手段109および前記ポインタ位置/回転角度算出手段102、ならびに前記ポインタ生成手段103では、前記シーソー型ボタン201D1,201D2のいずれかを押していた時間(または回数)に応じた形状のポインタを生成させる。このとき、たとえば、前記シーソー型ボタン201D1が押されていた時間(または回数)に比例して矢印形のポインタが長くなるようにしておけば、前記シーソー型ボタン201D1を押す時間(または回数)を長く(または多く)することにより、図5Bおよび図6Bに示したように、前記ポインタ303が図5Aおよび図6Aに示したポインタよりも長くなる。また、前記シーソー型ボタン201D1をさらに長時間押し続ける(または多数回押す)と、図5Cおよび図6Cに示したように、前記ポインタ303がさらに長くなる。
一方、たとえば、前記シーソー型ボタン201D2が押された時間(または回数)に応じて前記矢印形のポインタが短くなるようにしておけば、前記シーソー型ボタン201D2を押す時間(または回数)を長く(または多く)することにより、図5Cおよび図6Cに示したような長いポインタが、図5Bおよび図6Bに示すように短くなる。また、前記シーソー型ボタン201D2をさらに長時間押し続ける(または多数回押す)と、図5Aおよび図6Aに示したように、前記ポインタ303がさらに短くなる。
このようなポインタ303の表示を、前記操作者が前記入力ペン201を接触させ、前記シーソー型ボタン201D1,201D2を押すのとほぼ同時に連続的(または所定の段階的)に行われるようにすることで、前記操作者は、前記シーソー型ボタン201D1,201D2を押した時間(または回数)によって前記ポインタ303が3次元奥行き方向(z<0)に伸びていくように感じることが可能である。なお、前記ポインタ303の長さの最大値と最小値は、操作者が設定できるようにしておいてもよいし、あらかじめシステムで設定しておいてもよい。また、図示は省略するが、前記ポインタ303の先が目的のオブジェクト302の近辺(たとえば10ピクセルの範囲内)をポインティングしたところで、前記オブジェクト生成手段105によりオブジェクト302の色を変えるなどの処理を行うことによって、操作者にオブジェクト302をポインティングしていることを伝える。このときに、操作者が、たとえば、前記入力ペン201の押しボタン201D3を押したとすると、前記システム制御装置1のポインティング判定手段104がオブジェクト302に対して選択または掴む操作がなされたと判定し、前記オブジェクトの色を変えた状態を維持する。また、前記入力ペン201のペン先201Pを前記検出面から離した(浮かせた)場合に、前記ペン先201Pを離した(浮かせた)時間に応じて、前記ポインタ303を、ペン先201Pを前記検出面から離す(浮かせる)直前の状態から一定の速度で短くしてもよいし、ペン先を前記検出面から離す(浮かせる)直前の状態に固定させておいてもよい。
このような3次元ポインティング方法を実現させるためには、前記システム制御装置1において、図43に示したような、ステップ401からステップ410の処理を実行すればよい。つまり、前記システム制御装置1では、まず、前記表示制御手段106により、前記表示装置(液晶ディスプレイ)3に表現された3次元空間301上にオブジェクト302を表示させておく(ステップ401)。またこのとき、前記入力情報取得手段101は、前記入力装置2の検出手段で検出された情報を取得できる状態にしておく。
そして、前記操作者が、前記入力ペン201のペン先201Pを検出手段の検出面に接触させると、前記検出手段が前記ペン先201Pの位置(座標)等を検出するので、前記入力情報取得手段101は、前記検出された前記ペン先201Pの位置(座標)等の、前記入力ペン201の状態を表す情報を取得する(ステップ402)。本実施例2−1の3次元ポインティング方法では、前記ペン先201Pの位置(座標)の情報が取得できればよいので、前記ステップ402では、前記ペン先201Pの位置(座標)の情報のみを取得してもよいが、前記検出手段では、前記ペン先201Pの位置(座標)のほかに、前記入力ペン201の方位α,傾きβ,軸周りの回転γ等も検出可能である。そのため、前記ペン先201Pの位置(座標)の情報とともに、前記入力ペン201の方位α,傾きβ,軸周りの回転γの情報を取得してもよい。
次に、前記入力情報処理手段109により、前記入力ペン201のシーソー型ボタン201D1,201D2のいずれかが押されているか否かを判定し、いずれかが押されているかの情報を出力する。この処理は、たとえば、図43に示したように、まず、前記ボタン201D1が押されているか否かを判定し(ステップ403a)、押されている場合はその情報を前記ポインタ位置/回転角度算出手段102に出力する(ステップ404a)。また、前記ボタン201D1が押されていない場合は、前記ボタン201D2が押されているか否かを判定し(ステップ403b)、押されている場合はその情報を前記ポインタ位置/回転角度算出手段102に出力する(ステップ404b)。
次に、前記ポインタ位置/回転角度算出手段102において、前記取得した情報のうち、前記ペン先201Pの位置(座標)と、前記シーソー型ボタン201D1,201D2のいずれかが押されているか否かの情報を用いて、これらの情報を反映するポインタの位置、向き、長さ等を算出する(ステップ405)。本実施例2−1の3次元ポインティング方法の場合、前記ステップ405では、前記ペン先201Pの位置(座標)と対応する、前記表示装置3に表現された3次元空間301のXY平面上の位置(座標)と、前記シーソー型ボタン201D1,201D2のいずれかが押されていた時間(または回数)に比例する長さを算出する。
なお、本実施例2−1のように、前記入力ペン201のペン先201Pの位置(座標)の情報のみを用い、前記入力ペン201の方位α,傾きβ,軸周りの回転γの情報を利用しない場合には、前記ポインタの向きは常に一定としてポインタの表示を行う。そのため、前記ステップ405において、前記ポインタの向きを算出する必要はない。
前記ステップ405の算出処理がすんだら、次に、前記ポインタ生成手段103において、前記ポインタ位置/回転角度算出手段102の算出結果に基づいた形状のポインタを生成し、前記表示制御手段106から前記生成したポインタに関する情報を前記表示装置3に送り、前記3次元空間301上に表示させる(ステップ406)。
また、前記システム制御装置1では、前記ステップ406の処理と並行して、前記ポインティング判定手段104において、前記ポインタ位置/回転角度算出手段102で算出した3次元空間のXY平面上の位置(座標)および奥行き位置に該当する位置に、ポインティングしているオブジェクトがあるか否かの判定を行う(ステップ407)。前記ステップ407の判定は、たとえば、図43に示すように、前記ポインタの先、言い換えると前記ポインタがポインティングしている位置から10ピクセル以内にオブジェクトがあるか否かで判定する。なお、図43では10ピクセル以内としているが、これに限らず、他の条件で判定してもよい。ポインティングしているオブジェクトがあるか否かの判定は、第1の実施の形態でもここで説明した方法で行うことが可能である。そして、ポインティングしているオブジェクトがなければ、前記ポインタ303の表示制御のみを行い、ステップ402に戻り、次の入力情報を取得する。
一方、ポインティングしているオブジェクトがあれば、前記オブジェクト生成手段105において、たとえば、前記ポインティングしているオブジェクトの色を変えたオブジェクトを生成し、前記表示制御手段106から前記生成したオブジェクトに関する情報を前記表示装置3に送り、前記3次元空間301上に表示させる(ステップ408)。またさらに、前記ポインティング判定手段104において、前記入力ペン201の押しボタン201D3が押されたかどうかの判定を行う(ステップ409)。そして、前記押しボタン201D3が押された場合には、前記ポインティングしているオブジェクト302を選択、または掴むことができる(ステップ410)。また、前記押しボタン201D3が押されていない場合は、前記ステップ402に戻り、次の入力情報を取得する。
前記システム制御装置1において、以上のような処理を行うことにより、図5A,図5B,図5Cに示したようなポインタ303の表示制御が可能となる。
なお、前記ステップ401からステップ406の処理がすでに行われた状態、すなわち前記ポインタが前記表示装置3に表示された状態で、前記ステップ405により前記ポインタの長さを算出する場合、たとえば、前記入力情報処理手段109から前記ボタン201D1が押されていることを示す情報が入力されたときには、前記ポインタ位置/回転角度算出手段102は、前記ポインタの長さを所定の長さだけ長くするようにする。また、前記入力情報処理手段109から前記ボタン201D2が押されていることを示す情報が入力されたときには、前記ポインタ位置/回転角度算出手段102は、前記ポインタの長さを所定の長さだけ短くするようにする。このような処理ループを繰り返し実行することによって、前記シーソー型ボタン201D1,201D2が押された時間(または回数)に対応する長さのポインタを表示することが可能となる。
以上説明したように、本実施例2−1の3次元ポインティング方法によれば、前記入力ペン201のペン先201Pの位置(座標)および検出手段の検出面に関する情報を取得し、前記ペン先201Pの位置(座標)と対応する前記表示装置3に表現された3次元空間のXY平面上の位置(座標)と、前記入力ペン201のシーソー型ボタン201D1,201D2が押された時間(または回数)と対応する奥行き位置を算出し、算出した位置および奥行き位置を指し示すポインタを生成し、表示させることで、前記表示装置3に表現された3次元空間301上の任意の1点をポインティングすることができる。またさらに、前記入力ペン201の押しボタン201D3が押されているか否かを判定することで、前記ポインタでポインティングしたオブジェクトを選択または掴むこともできる。
また、前記入力装置2として、一般的なペンタブレットを用い、前記入力ペン201のペン先201Pを前記検出手段に接触させた状態で、前記ポインタ303の奥行き方向のポインティング位置を変えることができるので、操作者の疲労を軽減することができる。
また、本実施例2−1で説明したように、前記入力装置2の検出手段を、前記表示装置(液晶ディスプレイ)3の表示面と重ね合わせておけば、前記操作者は、前記表示面上で前記入力ペン201の操作を行うことができる。このようにすると、前記ポインタ303が前記入力ペン201のペン先201Pの一部であるかのような視覚効果が得られ、前記オブジェクト302の正確なポインティングが容易になり、かつ直感的なポインティングが可能となる。
また、本実施例2−1では、前記入力ペン201のシーソー型ボタン201D1,201D2が押された時間(または回数)に応じて長さが変わるポインタ303を表示させたが、これに限らず、たとえば、長さではなく形状が3次元奥行き方向(z<0)に何らかの変化をするポインタや、3次元奥行き方向(z<0)の傾きが変化するポインタのように、3次元奥行き方向(z<0)をポインティングできるのであれば、どのような変化であってもよい。また、前記ポインタの長さを変化させる場合、シーソー型ボタン201D1,201D2が押された時間(または回数)に比例させてもよいし、押された時間(または回数)の累乗あるいは累乗根などに比例させてもよい。
なお、本実施例2−1では、前記入力装置2として電磁誘導方式のペンタブレットを用い、前記ペンタブレットの検出手段(デジタイザ)を、前記表示装置(液晶ディスプレイ)3の表示面と重ね合わせた場合を例に挙げたが、これに限らず、両者が別の位置にあるような構成であってもよい。また、本実施例2−1では、前記入力装置2と表示装置3の組み合わせとして、前記電磁誘導方式のペンタブレットと前記液晶ディスプレイを例に挙げて説明したが、これに限らず、たとえば、PDA等で用いられているタッチパネルとスタイラスペンの組み合わせであってもよい。
また、本実施例2−1では、前記ポインタ303の先が目的のオブジェクト302の近辺にあるかどうかの判定を、前記ポインタ303の先から10ピクセルの範囲内であるかどうかで判定したが、この範囲は、システムの管理者や操作者が任意に設定、変更することが可能である。
本実施例2−1においても、実施例1−1と同様に、ポインタの形状を図8A,図8B,図8C,図8Dに示すように様々な形状のポインタを採用することができる。
本実施例2−1では、前記ポインタ303として、たとえば、図8Aに示すように、平板状の矢印型のポインタ303aを生成し、表示させているが、前記ポインタ303の形状は、これに限らず、ポインティングしている位置が視覚的に明瞭である形状であれば、どのような形状であってもよい。そのようなポインタの形状としては、たとえば、図8Bに示すような円錐の底面に円柱が接続された立体的な矢印型のポインタ303b、図8Cに示すような円錐型のポインタ303c、図8Dにしめすような人差し指でオブジェクトを指し示している人の手型のポインタ303d等が考えられる。また、図示は省略するが、図8Cに示した円錐型のポインタ303cに類似した多角錘型のポインタであってもよい。
また、本実施例2−1では、前記ポインタ303がポインティングしている点は矢印型ポインタの先(矢印の先端)としたが、これに限らず、前記ポインタのどの部分においてもポインティング可能とすることや、ポインタの先ではない他の一部とすることも可能である。
また、本実施例2−1では、前記オブジェクト302の例としてフォルダ型のオブジェクトを挙げたが、これに限らず、前記オブジェクト302はどのような形状であってもよい。
また、本実施例2−1では、前記表示装置3に表現される3次元空間の座標系を、図4Aに示したように、表示面がz=0となるように設定したが、3次元空間が表現できるのであれば3次元の原点はどこにとってもよい。また、座標系もデカルト座標系である必要はなく、たとえば円柱座標系や球座標系などでもよい。
また、本実施例2−1では、前記入力ペン201のシーソー型ボタン201D1,201D2が押された時間(または回数)に注目したが、これに前記入力ペン201の方位α、傾きβ、軸周りの回転γの要素も加え、ポインタの方位や傾き、回転も操作できるようにしても構わない。
[実施例2−2]
次に、実施例2−2の3次元ポインティング方法を説明する。本実施例2−2では、実施例1−2と同様に、前記入力ペン201の向きを変えることで、3次元空間内の操作者からみて奥行き方向にあるオブジェクトを、さまざまな方向からポインティングする方法について、図9A〜図10Cを参照して説明する。また、本実施例の処理手順を図44を参照して説明する
本実施例2−2においても、前記入力装置2および前記表示装置3はそれぞれ、前記実施例2−1と同様に、電磁誘導方式のペンタブレットおよび液晶ディスプレイを用いるとする。また、前記ペンタブレット2の検出手段(デジタイザ)は、前記液晶ディスプレイ3の表示面と重ね合わせてあるとする。また、前記ペンタブレット2および表示装置3は、図41に示したような構成のシステム制御装置1に接続されているとする。
また、前記液晶ディスプレイ3に表現される3次元空間の座標系の取り方、前記ペンタブレット2の入力ペン201の操作方法等は、前記実施例2−1で説明したとおりであるとする。ただし、本実施例2−2では、入力方法の別の形態として、前記実施例2−1で用いた前記入力ペン201のシーソー型ボタン201D1,201D2や押しボタン201D3を利用せず、前記入力ペン201のペン先201Pを前記検出面から離したか否かの操作に基づき前記オブジェクトをポインティングし、さらにポインティングしたオブジェクトを選択または掴むことのできる入力方法を用いる。
本実施例2−2の3次元ポインティング方法では、前記操作者が前記入力ペン201のペン先201Pを前記液晶ディスプレイ3に表現された3次元空間301のXY平面(z=0)の任意の1点におくと、前記システム制御装置1は、前記入力情報取得手段101により、前記検出手段(デジタイザ)が検出した前記入力ペン201のペン先201Pの位置(座標)、前記入力ペン201の方位α,傾きβ,軸周りの回転γ等の情報を取得する。またこのとき、前記入力情報処理手段109が、前記入力ペン201のペン先201Pが前記検出面に接触している時間を算出する。またさらに、前記入力情報処理手段109および前記ポインタ位置/回転角度算出手段102、ならびに前記ポインタ生成手段103が、前記ペン先201Pが接触した位置に該当する前記3次元空間301上の位置に表示させるポインタを生成する。そして、前記ポインタが生成されると、前記表示制御手段106から前記表示装置3にポインタ表示用の信号が送られ、たとえば、図9Aおよび図10Bに示したようなポインタ303が表示される。
また、前記操作者が、前記入力ペン201の向きを、たとえば、図9Bおよび図10B、あるいは図9Cおよび図10Cに示したような向きに変えたとすると、前記ポインタ位置/回転角度算出手段102およびポインタ生成手段103では、前記入力ペン201の新たな方位α,傾きβ,軸周りの回転γから、新たなポインタの向きを算出し、算出結果に基づいたポインタを生成する。そして、前記表示制御手段106から前記表示装置3に、新たに生成したポインタ表示用の信号を送ると、図9Bおよび図10B、あるいは図9Cおよび図10Cに示したようなポインタ303が表示される。
このようなポインタ303の表示を、前記操作者が入力ペン201の向きを変える操作を行うのとほぼ同時に連続的に行われるようにすることで、前記操作者は、あたかもペンを傾けた方向のペン先201Pの延長線上にポインタ303が傾いて表示されるように感じることが可能である。
また、このようなポインタ303の表示方法では、たとえば、前記入力ペン201のペン先201Pと前記検出面との接触の有無と、接触時間によって、前記ポインタ303の長さを調節できる。たとえば、前記操作者が前記入力ペン201のペン先201Pを前記検出面に接触させ、操作者がある時間内(たとえば、0.5秒以内)にペン先201Pを前記検出面から離して再度接触させる操作(タップ操作)を行うと、前記ポインタ303の長さが伸び始める。そして、前記前記ポインタ303の長さが伸びている間にタップ操作を再び行うと、前記ポインタ303の伸びが止まり、その時点での長さのポインタとして操作者が扱うことができる。また、前記ポインタ303の長さが変化していないときに前記タップ操作を行うと、さらに前記ポインタ303を伸ばすことが可能となる。また、前記操作者が前記タップ操作を2回連続して行う操作(ダブルタップ操作)を行うと、前記ポインタ303の長さが縮み始める。そして、前記ポインタ303の長さが縮んでいる間にタップ操作を行うと、前記ポインタ303の縮みが止まり、その時点での長さのポインタとして操作者が扱うことができる。また、前記ポインタ303の長さが変化していないときに前記ダブルタップ操作を行うと、さらに前記ポインタ303を縮めることが可能となる。
この一連の前記ポインタ303の伸縮操作中に、前記ポインタ303(ポインタの先)がオブジェクト302の近辺(たとえば、10ピクセルの範囲内)に到達したときに、前記システム制御装置1のオブジェクト生成手段105で当該オブジェクトの色を変え、前記表示装置3に表示されたオブジェクト302の表示を切り替える等の処理を行うことによって、前記ポインタ303の長さが変化していない状態で、かつ、オブジェクト302を選択またはつかめる状態であることを、前記操作者に知らせることができる。そして、前記オブジェクト302の色が変化して選択または掴める状態が、たとえば、0.5秒以上続けば、前記操作者は、前記オブジェクト302を選択、または掴むことができる。
またさらに、図示は省略するが、前記操作者が、前記操作中に前記入力ペン201の向きを変えた場合は、前記入力情報処理手段109および前記ポインタ位置/回転角度算出手段102、ならびに前記ポインタ生成手段103において、たとえば、前記ポインタの向きに加え、前記入力ペン201の向きを変える直前のポインタの長さを反映したポインタを生成することができる。
このような3次元ポインティング方法を実現させるためには、前記システム制御装置1において、図44に示したような処理を実行すればよい。このとき、前記システム制御装置1では、まず、前記表示制御手段106により、前記表示装置(液晶ディスプレイ)3に表現された3次元空間301上にオブジェクト302を表示させるとともに、ポインタの状態を表す変数sをs=0に設定する(ステップ401)。前記ポインタの状態を表す変数sは、たとえば、s=0はポインタの長さが変化していない状態または表示されていない状態を表し、s=1はポインタの長さが伸びつつある状態を表し、s=−1はポインタの長さが縮みつつある状態を表すものとする。またこのとき、前記入力情報取得手段101は、前記入力装置2の検出手段で検出された情報を取得できる状態にしておく。
そして、前記操作者が、前記入力ペン201のペン先201Pを検出手段の検出面に接触させると、前記検出手段が前記ペン先201Pの位置(座標)等を検出するので、前記入力情報取得手段101は、前記検出された前記ペン先201Pの位置(座標)等の、前記入力ペン201の状態を表す情報を取得する(ステップ402)。なお、本実施例2−2の場合、前記ステップ2では、前記ペン先201Pの位置(座標)の情報とともに、前記入力ペン201の方位α,傾きβ,軸周りの回転γの情報などの前記入力ペンの向きを示す情報を取得する。
次に、前記入力情報処理手段109により、前記ポインタの状態を表す変数sおよび前記入力ペン201のペン先201Pと前記検出面との接触状況から、前記ポインタの長さを変化させるか否かを判定し、その情報を出力する。この処理は、たとえば、図44に示したように、まず、前記変数sがs=0であり、かつ、前記タップ操作が行われたか確認し(ステップ403c)、s=0で前記タップ操作が行われた場合は、前記変数sをs=1に設定し、その情報を前記ポインタ位置/回転角度算出手段に出力する(ステップ404c)。また、s≠0またはタップ操作を行っていない場合は、前記変数sがs=0であり、かつ、前記ダブルタップ操作が行われたか確認し(ステップ403d)、s=0で前記ダブルタップ操作が行われた場合は、前記変数sをs=−1に設定し、その情報を前記ポインタ位置/回転角度算出手段に出力する(ステップ404d)。また、s≠0またはダブルタップ操作を行っていない場合は、前記タップ操作が行われたか確認し(ステップ403e)、s≠0で前記タップ操作が行われた場合は、前記変数sをs=0に設定し、その情報を前記ポインタ位置/回転角度算出手段に出力する(ステップ404e)。
次に、前記ポインタ位置/回転角度算出手段102において、前記取得した情報のうち、前記ペン先201Pの位置(座標)と、前記ポインタの状態を表す変数sの値を用いて、これらの情報を反映するポインタの位置、向き、長さ等を算出し(ステップ405)、前記ポインタ生成手段103において、前記ポインタ位置/回転角度算出手段102の算出結果に基づいた形状のポインタを生成し、前記表示制御手段106から前記生成したポインタに関する情報を前記表示装置3に送り、前記3次元空間301上に表示させる(ステップ406)。本実施例2−2の場合、前記ステップ405では、前記ペン先201Pの位置(座標)と対応する、前記表示装置3に表現された3次元空間301のXY平面上の位置(座標)と、前記タップ操作またはダブルタップ操作を行った後の、前記ペン先201Pを前記検出面に接触させている時間に比例する長さを算出する。またこのとき、前記ポインタの長さは、たとえば、前記変数sがs=1に設定されている場合は、前記ペン先201Pを前記検出面に接触させている時間に比例して長くなるように算出し、前記変数sがs=−1に設定されている場合は、前記ペン先201Pを前記検出面に接触させている時間に比例して短くなるように算出する。また、前記変数sがs=0の場合は、前記タップ操作またはダブルタップ操作が行われる直前の長さとする。
またこのとき、前記システム制御装置1では、前記ステップ406の処理と並行して、前記実施例2−1で説明したステップ407およびステップ408の処理を行う。前記ステップ407は、たとえば、図44に示すように、前記ポインタの先、言い換えると前記ポインタがポインティングしている位置から10ピクセル以内にオブジェクトがあるか否かを判定する。なお、図44では10ピクセル以内としているが、これに限らず、他の条件で判定してもよい。そして、ポインティングしているオブジェクトがなければ、前記ポインタ303の表示制御のみを行い、ステップ402に戻り、次の入力情報を取得する。
一方、ポインティングしているオブジェクトがあれば、前記オブジェクト生成手段105において、たとえば、前記ポインティングしているオブジェクトの色を変えたオブジェクトを生成し、前記表示制御手段106から前記生成したオブジェクトに関する情報を前記表示装置3に送り、前記3次元空間301上に表示させる(ステップ408)。またさらに、前記ポインティング判定手段104において、たとえば、前記変数sがs=0であり、かつ、前記オブジェクトをポインティングしている状態が0.5秒以上続いたかどうかの判定を行う(ステップ409')。そして、s=0でポインティングしている状態が0.5秒以上続いている場合には、前記ポインティングしているオブジェクト302を選択、または掴むことができる(ステップ410)。また、前記s≠0またはポインティングしている時間が0.5秒未満の場合は、前記ステップ402に戻り、次の入力情報を取得する。なお、前記オブジェクトをポインティングしている状態の持続時間に関しては、0.5秒以上に限らず、他の時間であってもよい。
前記システム制御装置1において、以上のような処理を行うことにより、図9A,図9B,図9Cに示したようなポインタの表示制御が可能となる。
なお、図43、図44に示した処理手順は、第1の実施の形態における図7で示した処理手順に対応するものである。図43、図44では処理内容をより詳細に記載している。
以上説明したように、本実施例2−2の3次元ポインティング方法によれば、前記入力ペン201のペン先201Pの位置(座標)および前記検出面との接触の有無に加え、前記入力ペン201の方位α,傾きβ,軸周りの回転γに関する情報を取得し、前記ペン先201Pの位置(座標)と対応する前記表示装置3に表現された3次元空間のXY平面上の位置(座標)および前記入力ペン201のペン先と前記検出面の接触時間と対応する奥行き位置、ならびに前記入力ペン201の方位α,傾きβ,軸周りの回転γと対応する前記3次元空間301上のポインタの方位,傾き,軸周りの回転の角度を算出し、算出した位置および奥行き位置、ならびに算出した方向から指し示すポインタを生成し、表示させることで、前記表示装置3に表現された3次元空間301上の任意の1点をポインティングすることができ、さらにポインティングしたオブジェクトを選択、または掴むことが可能となる。
また、前記入力ペン201に、前記ポインタの奥行き位置を変える操作、あるいは指し示す方向を変える操作を行うためのボタン等の操作手段を設ける必要が無いため、前記入力装置2として、従来の一般的なペンタブレットと入力ペンを流用することが可能である。さらに、前記入力ペン201のペン先201Pを前記検出手段に接触させた状態で、前記ポインタ303の奥行き方向のポインティング位置を変えることができ、操作者の疲労を軽減することができる。
また、本実施例2−2で説明したように、前記入力装置2の検出手段を、前記表示装置(液晶ディスプレイ)3の表示面と重ね合わせておけば、前記操作者は、前記表示面上で前記入力ペンの操作を行うことができる。このようにすると、前記ポインタ303が前記入力ペン201のペン先201Pの一部であるかのような視覚効果が得られ、前記オブジェクト302の正確なポインティングが容易になり、かつ直感的なポインティングが可能となる。
また、本実施例2−2では、ポインタの方位、傾き、軸周りの回転が前記入力ペン201の方位α、傾きβ、軸周りの回転γにそれぞれ比例して変化する例を示したが、これに限らず、たとえば、回転角ではなく形状が3次元奥行き方向(z<0)に何らかの変化をしたり、ポインタの傾きが3次元奥行き方向(z<0)に変化したりすることで、3次元奥行き方向(z<0)をポインティングできるのであればどのような変化であってもよい。また、前記入力ペン201の傾き、方位、回転にそれぞれ比例してポインタの傾き、方位、回転を変化させる場合に限らず、たとえば、前記入力ペン201の傾き、方位、回転のいずれかが累乗あるいは累乗根等に比例するようにしてもよい。
なお、本実施例2−2では、前記入力装置2として電磁誘導方式のペンタブレットを用い、前記ペンタブレットの検出手段(デジタイザ)を、前記表示装置(液晶ディスプレイ)3の表示面と重ね合わせた場合を例に挙げたが、これに限らず、両者が別の位置にあるような構成であってもよい。また、本実施例2−2では、前記入力装置2と表示装置3の組み合わせとして、前記電磁誘導方式のペンタブレットと前記液晶ディスプレイを例に挙げて説明したが、これに限らず、たとえば、PDA等で用いられているタッチパネルとスタイラスペンの組み合わせであってもよい。
また、本実施例2−2では、前記入力ペン201の操作の一例として前記ペン先201Pと検出面の接触の有無を挙げたが、同様の効果が得られるのであればこの限りではない。たとえば、前記入力ペン201が備えるボタンが押された時間(または回数)、ホイールの回転量や回転方向、スライドバーの移動量や移動方向によって前記ポインタ303の長さを変化させてもよい。また、前記ポインタ303の長さの最大値と最小値は、操作者が設定できるようにしてもよいし、あらかじめシステム制御装置1で設定しておいてもよい。
また、本実施例2−2では、前記ポインタ303(ポインタの先)が目的のオブジェクト302の近辺にあるかどうかの判定を10ピクセルの範囲内であるかどうかで判定したが、この範囲は、システムの管理者や操作者が任意に設定、変更することが可能である。同様に、前記ステップ409'におけるポインティングしている時間の長さに関しても、システムの管理者や操作者が任意に設定、変更することが可能である。
また、前記ポインタの形状は、ポインティングしている位置が視覚的に明瞭である形状であれば、どのような形状でもよく、図8Aに示した平板状の矢印型のポインタ303aに限らず、たとえば、図8Bに示すような円錐の底面に円柱が接続された立体的な矢印型のポインタ303b、図8Cに示すような円錐型のポインタ303c、図8Dに示すような人差し指でオブジェクトを指し示している人の手型のポインタ303dであってもよい。
また、本実施例2−2では、前記ポインタ303がポインティングしている点は矢印型ポインタの先(矢印の先端)としたが、これにかぎらず、前記ポインタのどの部分においてもポインティング可能とすることや、ポインタの先ではない他の一部とすることも可能である。
また、本実施例2−2では、前記オブジェクト302の例としてフォルダ型のオブジェクトを挙げたが、これに限らず、前記オブジェクト302はどのような形状であってもよい。
また、本実施例2−2では、前記表示装置3に表現される3次元空間の座標系は、前記実施例2−1と同様、すなわち図4Aに示したように、表示面がz=0となるように設定したが、3次元が表現できるのであれば3次元の原点はどこにとってもよく、またデカルト座標系である必要もなく、たとえば円柱座標系や球座標系などでもよい。
また、本実施例2−2では、前記入力ペン201の方位α,傾きβ,軸周りの回転γに注目したが、前記実施例2−1と同様、必ずしもそれらの要素をすべて用いる必要はなく、たとえば、前記入力ペン201の方位α,傾きβ,軸周りの回転γは利用せず、単に奥行き位置を変えるだけであってもよいし、前記入力ペン201の方位αおよび傾きβだけを用いてもよい。
[実施例2−3]
次に、実施例2−3について説明する。
前記実施例2−1および実施例2−2では、前記入力装置2の入力ペン201の操作にあわせて、前記表示装置3に表現された3次元空間301上のポインタの表示制御およびポインティングされたオブジェクトの表示制御に関するポインティング方法について説明した。
しかしながら、前記実施例2−1および実施例2−2のような方法で前記3次元空間301上のオブジェクトをポインティングした場合、ポインティング後に前記オブジェクトの移動、編集、加工といった操作が伴うことが多い。そこで、本実施例2−3では、前記3次元空間301上のオブジェクトをポインティングした後、前記オブジェクトを選択または掴み、さらに、前記入力ペン201を操作して前記ポインティングされたオブジェクトを移動させる方法について説明する。ここでは、実施例1−3で用いた図11、12を参照して説明する。また、本実施例の処理手順を図45を参照して説明する。なお、図45に示す処理手順は、第1の実施の形態における図13に示す処理手順に対応するものである。
本実施例2−3では、前記入力装置2および前記表示装置3はそれぞれ、前記実施例2−1と同様に、電磁誘導方式のペンタブレットおよび液晶ディスプレイを用いるとする。また、前記ペンタブレット2の検出手段(デジタイザ)は、前記液晶ディスプレイ3の表示面と重ね合わせてあるとする。
また、前記液晶ディスプレイ3に表現される3次元空間の座標系の取り方、前記ペンタブレット2の入力ペン201の操作方法等は、前記実施例2−1で説明したとおりであるとする。また、前記ペンタブレット2および表示装置3は、図41に示したような構成のシステム制御装置1に接続されているとする。
また、本実施例2−3では、前記3次元空間301上のオブジェクトをポインティングした後、選択または掴む方法については、前記実施例2−1や実施例2−2で説明したような方法でよいので、説明は省略する。
前記実施例2−1や実施例2−2と同様の方法によって、たとえば、図11および図12に示したようにオブジェクト302をポインティングした後、前記オブジェクト302の色の変化などで前記オブジェクト302をポインティングしたことを確認した操作者は、たとえば、前記実施例2−1や実施例2−2の方法を用いて前記ポインティングしているオブジェクト302を選択、または掴む操作を行う。そして、前記オブジェクト302を選択または掴んだ状態であり、かつ、前記入力ペン201のペン先201Pを前記表示装置3の表示面(検出手段の検出面)に接触させた状態で、前記入力ペン201を所望の位置に移動させると、図11および図12に示すように、前記入力ペン201の移動に追従して前記オブジェクト302が3次元空間301内を移動する。そして、図示は省略するが、前記入力ペン201を所望の位置に移動させた後、たとえば、前記入力ペン201の押しボタン201D3を1回押すなどの所定の操作を行うと、前記オブジェクト302の位置が確定し、前記入力ペン201を移動させたりペン先201Pを検出面から離したりした後も、その位置にオブジェクト302が表示される。このようにすると、前記オブジェクト302を元の位置から3次元空間内の目的の位置にまで移動させることができる。
このとき、前記システム制御装置1の前記入力情報取得手段101は、前記表示装置2の検出手段(デジタイザ)から、前記実施例2−1や実施例2−2で説明した前記オブジェクトを選択または掴む操作に必要な情報とともに、たとえば、前記押しボタン201D3が押されているという情報を取得する。そして、前記システム制御装置1は、前記オブジェクトを選択または掴む操作が行われていることから、前記操作者が、前記オブジェクト302を移動させる操作を行っていることを知ることができる。そのため、前記ポインティング判定手段104およびオブジェクト生成手段105に、前記入力ペン201の移動に追随するオブジェクトを生成させ、前記表示装置3に表示させれば、上述のようなオブジェクト302の移動操作が可能となる。
このような3次元ポインティング方法を実現させるためには、前記システム制御装置1において、図45に示したような処理を実行すればよい。なお、図45における最初の処理(ステップ420)は、前記3次元空間301上のオブジェクト302を選択、または掴むまでの処理であり、前記実施例2−1または実施例2−2で説明したとおりでよいので、詳細な説明は省略する。
本実施例2−3の3次元ポインティング方法では、前記システム制御装置1は、前記実施例2−1または実施例2−2で説明した手順によりオブジェクト302を選択、または掴む処理(ステップ420)を行った後、前記入力情報取得手段101で前記ポインタに関する情報を取得する(ステップ421)。前記ステップ421で取得する情報は、前記入力ペン201のペン先201Pの位置(座標)、前記入力ペン201の方位α,傾きβ,軸周りの回転γなどの情報である。
前記ステップ421で前記入力ペン201の状態を表す情報を取得したら、次に、前記入力情報処理手段109および前記ポインタ位置/回転角度算出手段102において、取得した情報に基づくポインタ303の位置、向き、長さ等を算出するとともに、前記オブジェクト302の位置、向きを算出する(ステップ422)。前記ポインタの位置、向き、長さ等の算出は、前記実施例2−1や実施例2−2で説明したとおりであるので、詳細な説明は省略する。また、前記オブジェクトの位置、向きは、たとえば、前記ポインティングされたときのオブジェクトの基準位置と、前記ポインタでポインティングしている位置の相対的な位置関係が、前記ステップ422で算出したポインタの位置でも保存されるような位置、向きを算出する。
なお、前記実施例2−1のように、前記入力ペン201のペン先201Pの位置(座標)の情報のみを用い、前記入力ペン201の方位α,傾きβ,軸周りの回転γの情報を利用しない場合には、前記ポインタの向きは常に一定としてポインタの表示を行う。そのため、前記ステップ422において、前記ポインタの向きを算出する必要はない。また、本実施例2−3のように、前記オブジェクト302の移動が平行移動のみである場合、前記オブジェクトの向きは常に一定としてオブジェクトの表示を行うため、前記ステップ422において前記オブジェクトの向きを算出する必要はない。
そして、前記ステップ422で前記ポインタ303の位置、向き、長さ等と、前記オブジェクト302の位置、向きを算出したら、前記ポインタ生成手段103で前記算出したポインタの位置、向き、長さに基づくポインタを生成するとともに、前記オブジェクト生成手段105で前記算出したオブジェクトの位置、向きに基づくオブジェクトを生成し、それらの表示信号を前記表示制御手段106から前記表示装置3に送り、前記ポインタおよびオブジェクトを表示させる(ステップ423)。
前記ステップ423で前記ポインタおよびオブジェクトを表示させたら、たとえば、前記入力情報処理手段109において、前記入力ペン201の押しボタン201D3が押されたか否かを判定し(ステップ424)、押されていない場合は、再び前記入力ペンの状態を取得し(ステップ421)、前記ステップ422およびステップ423の処理を続行する。一方、前記押しボタン201D3が1回押された場合は、前記オブジェクトの選択または掴んだ状態を解除するとともに、前記オブジェクト302の表示状態を、前記押しボタン201D3が押される直前の位置、向きに固定する(ステップ425)。そして、前記ポインタおよびオブジェクトの移動操作を終了する。
前記システム制御装置1において、以上のような処理を行うことにより、図11および図12に示したようなオブジェクトのポインティング操作および移動操作が可能となる。
以上説明したように、本実施例2−3の3次元ポインティング方法によれば、前記オブジェクトをポインティングした後、前記ポインティングされたオブジェクトを選択または掴み、前記入力ペンの移動にあわせて、前記オブジェクトを平行移動させることができる。
また、前記入力装置2として、一般的なペンタブレットを用い、前記入力ペン201のペン先201Pを前記検出手段に接触させた状態で、オブジェクトをポインティングした後、選択または掴み、さらに移動させることができるので、操作者の疲労を軽減することができる。
また、本実施例2−3で説明したように、前記入力装置2の検出手段を、前記表示装置(液晶ディスプレイ)3の表示面と重ね合わせておけば、前記操作者は、前記表示面上で前記入力ペンの操作を行うことができる。このようにすると、前記ポインタ303が前記入力ペン201のペン先201Pの一部であるかのような視覚効果が得られ、前記オブジェクト302の正確なポインティングおよび移動が容易になり、かつ直感的なポインティングおよび移動が可能となる。
なお、本実施例2−3では、前記入力装置2として電磁誘導方式のペンタブレットを用い、前記ペンタブレットの検出手段(デジタイザ)を、前記表示装置(液晶ディスプレイ)3の表示面と重ね合わせた場合を例に挙げたが、これに限らず、両者が別の位置にあるような構成であってもよい。また、本実施例2−3では、前記入力装置2と表示装置3の組み合わせとして、前記電磁誘導方式のペンタブレットと前記液晶ディスプレイを例に挙げて説明したが、これに限らず、たとえば、PDA等で用いられているタッチパネルとスタイラスペンの組み合わせであってもよい。
また、前記ポインタの形状は、ポインティングしている位置が視覚的に明瞭である形状であれば、どのような形状でもよく、図8Aに示した平板状の矢印型のポインタ303aに限らず、たとえば、図8Bに示すような円錐の底面に円柱が接続された立体的な矢印型のポインタ303b、図8Cに示すような円錐型のポインタ303c、図8Dに示すような人差し指でオブジェクトを指し示している人の手型のポインタ303dであってもよい。
また、本実施例2−3では、前記ポインタ303がポインティングしている点は矢印型ポインタの先(矢印の先端)としたが、これに限らず、前記ポインタのどの部分においてもポインティング可能とすることや、ポインタの先ではない他の一部とすることも可能である。
また、本実施例2−3では、前記オブジェクト302の例としてフォルダ型のオブジェクトを挙げたが、これに限らず、前記オブジェクト302はどのような形状であってもよい。
また、本実施例2−3では、前記表示装置3に表現される3次元空間の座標系は、前記実施例2−1と同様、すなわち図4Aに示したように、表示面がz=0となるように設定したが、3次元が表現できるのであれば3次元の原点はどこにとってもよく、またデカルト座標系である必要もなく、たとえば円柱座標系や球座標系などでもよい。
また、本実施例2−3では、選択または掴んだオブジェクト302を、所望の位置まで移動させた後、前記入力ペン201の押しボタン201D3を1回押すことで、前記オブジェクトの移動操作を終了させたが、これに限らず、たとえば、前記押しボタン201D3の代わりにキーボードの特定のキーや他のスイッチを用いるなど、同様の効果が得られるのであれば、どのような方法で移動操作を終了させてもよい。
[実施例2−4]
次に、実施例2−4について説明する。
前記実施例2−3では、前記表示装置3で表現された3次元空間301上のオブジェクト302をポインティングした後、前記ポインティングされたオブジェクト302を選択、または掴み、前記オブジェクト302を平行移動させることが可能な3次元ポインティング方法について説明した。
しかしながら、前記表示装置3で表現された3次元空間301上では、前記実施例2−3で説明したような単純なオブジェクトの平行移動だけでなく、3次元空間301を有効に利用し、たとえば、前記ポインティングされたオブジェクトを、前記3次元空間内で奥行き方向に傾けることも想定される。そこで、本実施例2−4では、実施例1−4と同様に、オブジェクトをポインティングし、選択または掴んだ後、続けて前記ポインティングされたオブジェクトを、前記3次元空間内で奥行き方向に傾けるようなポインティング方法について説明する。ここでは、実施例1−4で用いた図14A〜15Cを参照して説明を行う。
本実施例2−4では、前記入力装置2および前記表示装置3はそれぞれ、前記実施例2−1と同様に、電磁誘導方式のペンタブレットおよび液晶ディスプレイを用いるとする。また、前記ペンタブレット2の検出手段(デジタイザ)は、前記液晶ディスプレイ3の表示面と重ね合わせてあるとする。
また、前記液晶ディスプレイ3に表現される3次元空間の座標系の取り方、前記ペンタブレット2の入力ペン201の操作方法等は、前記実施例2−2で説明したとおりであるとする。また、前記ペンタブレット2および表示装置3は、図41に示したような構成のシステム制御装置1に接続されているとする。
また、本実施例2−4では、前記3次元空間301上のオブジェクトをポインティングした後、選択または掴む方法については、前記実施例2−1や実施例2−2で説明したような方法でよいので、説明は省略する。
前記実施例2−1や実施例2−2と同様の方法によって、たとえば、図14Aおよび図15Aに示すように、オブジェクト302をポインティングした後、前記オブジェクト302を選択または掴む。そして、前記オブジェクト302を選択または掴んだ状態で前記入力ペン201を所望の向きにすると、図14Bおよび図15B、あるいは図14Cおよび図15Cに示したように、前記入力ペン201の向きの変化に追従して前記オブジェクト302が3次元空間301内で奥行き方向に傾く。このようにするとオブジェクト302を前記3次元空間301上で任意の向きに傾けることができる。このとき、前記システム制御装置1の前記入力情報取得手段101は、前記実施例2−1や実施例2−2におけるオブジェクトの選択または掴む操作に必要な情報を取得する。そして、前記システム制御装置1は、前記実施例2−1や実施例2−2におけるオブジェクトの選択または掴む操作が行われていることから、前記操作者が、前記オブジェクト302を移動させる操作を行っていることを知ることができる。そのため、前記ポインティング判定手段104およびオブジェクト生成手段105に、前記入力ペン201の向きの変化を追随するオブジェクトを生成させ、前記表示装置3に表示させれば、上述のようなオブジェクト302の移動操作が可能となる。
このような3次元ポインティング方法を実現させるためには、前記システム制御装置1において、たとえば、図45に示したような処理を実行すればよい。
ただし、本実施例2−4において、図14A〜Cに示したような操作を実行する場合、前記ステップ422で前記オブジェクトの位置、向きを算出するときには、たとえば、前記ポインティングされたときのオブジェクトと前記ポインタの相対的な位置関係が全て保存されるような位置、向きを算出する。
前記システム制御装置1において、以上のような処理を行うことにより、図14A,図14B,図14Cに示したようなオブジェクトのポインティング操作および奥行き方向に傾ける操作が可能となる。
以上説明したように、本実施例2−4の3次元ポインティング方法によれば、前記オブジェクトをポインティングし、選択または掴んだ後、前記オブジェクトを、前記入力ペン201の向きの変化に合わせて、3次元空間内で回転させたり、奥行き方向に傾けたりすることができる。
また、前記入力装置2として、一般的なペンタブレットを用い、前記入力ペン201のペン先201Pを前記検出手段に接触させた状態で、オブジェクトをポインティングし、移動させることができるので、操作者の疲労を軽減することができる。
また、本実施例2−4で説明したように、前記入力装置2の検出手段を、前記表示装置(液晶ディスプレイ)3の表示面と重ね合わせておけば、前記操作者は、前記表示面上で前記入力ペンの操作を行うことができる。このようにすると、前記ポインタ303が前記入力ペン201のペン先201Pの一部であるかのような視覚効果が得られ、前記オブジェクト302の正確なポインティングが容易になり、かつ直感的なポインティングが可能となる。
なお、本実施例2−4では、前記入力装置2として電磁誘導方式のペンタブレットを用い、前記ペンタブレットの検出手段(デジタイザ)を、前記表示装置(液晶ディスプレイ)3の表示面と重ね合わせた場合を例に挙げたが、これに限らず、両者が別の位置にあるような構成であってもよい。また、本実施例2−4では、前記入力装置2と表示装置3の組み合わせとして、前記電磁誘導方式のペンタブレットと前記液晶ディスプレイを例に挙げて説明したが、これに限らず、たとえば、PDA等で用いられているタッチパネルとスタイラスペンの組み合わせであってもよい。
また、前記ポインタの形状は、ポインティングしている位置が視覚的に明瞭である形状であれば、どのような形状でもよく、図8Aに示した平板状の矢印型のポインタ303aに限らず、たとえば、図8Bに示すような円錐の底面に円柱が接続された立体的な矢印型のポインタ303b、図8Cに示すような円錐型のポインタ303c、図8Dに示すような人差し指でオブジェクトを指し示している人の手型のポインタ303dであってもよい。
また、本実施例2−4では、前記ポインタ303がポインティングしている点は矢印型ポインタの先(矢印の先端)としたが、これに限らず、前記ポインタのどの部分においてもポインティング可能とすることや、ポインタの先ではない他の一部とすることも可能である。
また、本実施例2−4では、前記オブジェクト302の例としてフォルダ型のオブジェクトを挙げたが、これに限らず、前記オブジェクト302はどのような形状であってもよい。
また、本実施例2−4では、前記表示装置3に表現される3次元空間の座標系は、前記実施例2−1と同様、すなわち図4Aに示したように、表示面がz=0となるように設定したが、3次元が表現できるのであれば3次元の原点はどこにとってもよく、またデカルト座標系である必要もなく、たとえば円柱座標系や球座標系などでもよい。
また、本実施例2−4では、前記実施例2−1または実施例2−2の方法により前記オブジェクト302を選択または掴み、移動させた後、たとえば、実施例2−3で説明したように前記入力ペン201の押しボタン201D3を押すことで前記オブジェクト302の移動操作を終了させるが、これに限らず、たとえば、前記押しボタン201D3の代わりにキーボードの特定のキーや他のスイッチを用いるなど、同様の効果が得られるのであれば、どのような方法で移動操作を終了させてもよい。
また、本実施例2−4では、前記ポインティングされたオブジェクト302を3次元空間内で回転させたり、奥行き方向へ傾けさせたりする操作方法を説明したが、この操作方法に、前記実施例2−3で説明したような平行移動させる操作方法を加えることで、より多彩なオブジェクト操作を行うことが可能となる。
[実施例2−5]
次に、実施例2−5を説明する。
前記実施例2−3および実施例2−4では、前記実施例2−1や実施例2−2で説明した方法で前記表示装置3に表現された3次元空間301内にあるオブジェクト302をポインティングし、選択または掴んだ後、前記ポインティングされたオブジェクト302を平行移動または回転させたり、奥行き方向に傾けさせたりするという操作を行うことが可能な3次元ポインティング方法について説明した。しかしながら、前記3次元空間301内にあるオブジェクト302をポインティングし、選択または掴んだ後、前記操作者が続けて行いたい操作には、前記オブジェクト302の移動や回転だけでなく、編集や変形等の、これまでの2次元GUI的な操作もある。そこで、本実施例2−5では、実施例1−5と同様に、前記オブジェクトを選択または掴んだ後、前記オブジェクトを2次元GUI的な操作が適用できる位置に自動的に移動させ、操作者が目的の編集、変形等を行った後に、また操作者の望む3次元位置に戻すような操作が可能な3次元ポインティング方法について説明する。ここでは、実施例1−5で用いた図16A〜19Dを参照して説明を行う。また、図46を参照して本実施例2−5の処理手順を説明する。図46に示す処理手順は、第1の実施の形態における図20で示した処理手順に対応するものである。
また、本実施例2−5では、前記入力装置2は前記各実施例と同様の電磁誘導方式のペンタブレットを用いるとし、前記3次元空間を表現可能な表示装置3としてDFDを用いた場合を例に挙げてポインティング方法およびそれに続くオブジェクトの操作方法について説明する。
前記DFDの原理は、図16A、Bを参照して実施例1−5で説明した通りである。本実施例においても、前記表示装置3として前記DFDを用いた場合も、前記各実施例で説明したように、前記入力装置(ペンタブレット)2の検出手段(デジタイザ)を、前記DFDの表示面と重ね合わせることが可能である。また、前記電磁誘導方式のペンタブレットの場合、前記検出手段の検出面上にΔzの検出可能範囲があるため、前記入力ペンのペン先が前記検出面に接触していなくても前記入力ペンの位置、傾き、方位などの情報を検出することができる。そのため、DFDのような表示面の間に空間がある場合でも、前記検出手段をDFD表示装置の裏側に配置しておけば前記ペンの位置、傾き、方位などの情報は取得可能であることは当業者であれば容易に推測でき、実現することが可能である。さらに、現在は前記検出手段を表示面の裏側に配置することが多いが、前記検出手段が透明電極であれば表示面の裏側でなく、表側に配置することも可能である。このように、前記検出手段をDFDの表示面と重ね合わせることで、前記DFDにおける手前側の表示面上で前記入力ペンを操作し、直接ポインティングが可能である。そこで、本実施例2−5でも電磁誘導方式のペンタブレット2の検出手段とDFDの表示面は重ね合わさっているとする。
また、本実施例2−5では、前記DFD3の表示面は2枚であるとし、図17Aおよび図17Bに示すように、前記DFD3に表現された3次元空間301の中に、図2で示した座標系XYZと対応させた座標系XYZを設定し、オブジェクト302を3次元空間301内のz<0の位置に配置されているとする。またこのとき、前記入力装置2の入力ペン201を操作する操作者は、前記3次元空間301のXY平面を、z>0の方向から観察しているとする。
また、本実施例2−5では、前記操作者から見て手前にある表示面3Aをz=0とし、前記手前にある表示面3Aが、前記入力装置2の検出手段の検出面であるとする。
前記操作者が、たとえば、前記実施例2−1や実施例2−2で説明した方法で、図18Aおよび図19Aに示すように、前記3次元空間301上に立体的に表示されたオブジェクト302をポインティングしたとする。そして、前記オブジェクト302の色などが変化することにより前記オブジェクト302がポインティングされていることを確認した操作者は、たとえば、前記実施例2−1や実施例2−2の方法を用いて前記オブジェクト302を選択、または掴む操作を行う。これにより、前記ポインティングされたオブジェクト302は、たとえば、図18Bおよび図19Bに示すように、前記DFDの手前の表示面3Aに2次元物体として表示され、ポインタ303が消える。図18Aでは、前記オブジェクト302がz方向に厚みのないオブジェクトとして表示されているが、これがz方向にも厚みを持つような立体オブジェクトであった場合も、この過程においてはDFDを用いた3次元立体表示は行わず、あくまで2次元としてDFDの手前の表示面3Aに投影像として像を表示する。
ここで操作者は、前記オブジェクト302上で、たとえば文字を書く等の目的の操作を、2次元GUIの操作として行う。そして、2次元GUIの操作が終了した後、たとえば、前記入力ペン201の押しボタン201D3を押すと、ポインタ303が再び現れ、前記実施例2−3や実施例2−4で説明したような手順で、たとえば、図18Cおよび図19C、あるいは図18Dおよび図19Dに示すように、操作者の望む3次元位置にオブジェクト302を移動したり、奥行き方向に傾けさせたりできるようになる。
このような3次元ポインティング方法を実現させるためには、前記システム制御装置1において、図46に示したような処理を実行すればよい。なお、図46における最初の処理(ステップ420)は、前記3次元空間301上のオブジェクト302を選択、または掴むまでの処理であり、前記実施例2−1または実施例2−2で説明したとおりでよいので、詳細な説明は省略する。
本実施例2−5の3次元ポインティング方法では、前記実施例2−1または実施例2−2で説明した手順によりオブジェクト302を選択、または掴む処理(ステップ420)が行われると、前記システム制御装置1は、2次元GUI的な操作、編集、加工を開始するための操作が行われたと判定する。そのため、次に、たとえば、前記表示装置3に表示しているポインタ303を非表示にし(ステップ426)、前記選択または掴んだオブジェクト302の射影を前記操作者から見て一番近い表示面3Aに表示する(ステップ427)。これにより、前記オブジェクト302の2次元GUI的な操作、編集、加工が可能な状態になる。
前記オブジェクト302の2次元GUI的な操作、編集、加工が可能な状態になった後は、前記入力ペン201からの2次元GUI的な操作を受け付け、実行する(ステップ428)。また、前記操作者が、たとえば、前記入力ペン201の押しボタン201D3を1回押すなどの、2次元GUI的な操作、編集、加工を終了するための操作を行ったか否かを判定する(ステップ429)。このとき、前記2次元GUI的な操作、編集、加工を終了するための操作を行っていなければ、さらに他の2次元GUI的な操作、編集、加工を受け付け、実行する。一方、2次元GUI的な操作、編集、加工を終了するための操作を行った場合は、2次元GUI的な操作を行うモードから、前記実施例2−3または実施例2−4で説明したような処理を行うモードに戻り、前記実施例2−3または実施例2−4で説明したような手順で前記オブジェクトを平行移動、回転、傾けるといった操作を行うことができる(ステップ430)。前記ステップ430は、前記実施例2−3または実施例2−4で説明した手順で処理を行えばよいので、詳細な説明は省略する。
前記システム制御装置1において、以上のような処理を行うことにより、図18A,図18B,図18C,図18Dのようなポインタの表示制御、オブジェクトの3次元的な移動等の操作、前記オブジェクトの2次元GUI的な操作が可能となる。
以上説明したように、本実施例2−5の3次元ポインティング方法によれば、前記入力ペン201の操作だけで、前記実施例2−1から実施例2−4で説明したようなポインタの3次元的な表示制御およびオブジェクトの3次元的な移動等の操作に加え、前記オブジェクトの2次元GUI的な操作、編集、加工を行うことが可能である。そのため、操作者は、オブジェクトの2次元GUI的な操作、編集、加工を行うための新たな3次元操作を習得する必要がない。
また、本実施例2−5の3次元ポインティング方法では、前記実施例2−1または実施例2−2の方法により前記オブジェクトを選択、または掴むことで、3次元的なポインティングを行うモードから、前記オブジェクトの2次元GUI的な操作、編集、加工を行うモードに切り替え、前記システム制御装置1の前記入力情報取得手段101で取得した情報を、前記オブジェクトの2次元GUI的な操作、編集、加工を行うための情報として処理するようにしたが、前記オブジェクトをポインティングする操作の後に、キーボードの特定のキーや他のスイッチを操作することで前記オブジェクトの2次元GUI的な操作、編集、加工を行うモードに切り替えるようにしてもよい。
また、本実施例2−5では、前記入力装置2である電磁誘導方式のペンタブレットの検出手段(デジタイザ)を、3次元空間を表示できる表示装置3であるDFDの表示面と重ね合わせている例を挙げて説明したが、これに限らず、両者が別の位置にあるような構成であってもよい。また、本実施例2−5では、前記表示装置3としてDFDを用いたが、これに限らず、前記実施例2−1から実施例2−4で説明したような液晶ディスプレイ等の表示装置を用いてもよい。
また、本実施例2−5では、目的のオブジェクト302の例として2次元的な4角形のオブジェクトを挙げているが、これに限らず、前記オブジェクト302の形状はどのような形状であってもよい。
また、本実施例2−5では、前記表示装置3に表現される3次元空間の座標系は、前記実施例2−1と同様、すなわち図4Aに示したように、表示面がz=0となるように設定したが、3次元が表現できるのであれば3次元の原点はどこにとってもよく、またデカルト座標系である必要もなく、たとえば円柱座標系や球座標系などでもよい。
また、本実施例2−5では、前記入力ペン201の押しボタン201D3の操作で、前記2次元GUI的な操作、編集、加工を行うモードを終了させたが、これに限らず、たとえば、前記押しボタン201D3の代わりにキーボードの特定のキーや他のスイッチを用いるなど、同様の効果が得られるのであれば、どのような方法で終了させてもよい。
また、本実施例2−5では、前記オブジェクト302に2次元GUI的な編集を行う例として、たとえば、図18Cに示したように「A」という文字を記入する場合を挙げたが、前記オブジェクト302がファイルを表すオブジェクトで、それをポインティング後、2次元GUI操作が行われる時に、前記ファイルが開いてその内容を操作者が2次元GUI上で編集し、ファイルを閉じた後に操作者の望む3次元位置に移動可能であるなどとしてもよい。
[実施例2−6]
本実施例2−6の3次元ポインティング方法は、前記実施例2−5で説明した3次元ポインティング方法の応用例の1つであり、3次元空間301内にあるオブジェクト302を前記実施例2−1や実施例2−2の方法でポインティングし、選択または掴んだ後、前記オブジェクト302を操作者が操作しやすい位置、すなわちこれまでの2次元GUI操作が適用できる位置に自動的に移動させ、操作者が目的の編集、加工等を行う。そして、目的の編集、加工が終了した後に、操作者が諸操作を行うと、前記オブジェクト302が操作者からみて3次元奥行き方向にある他のオブジェクトに干渉するまで移動し、前記他のオブジェクトに干渉した後、前記他のオブジェクトの持つ属性によって移動してきたオブジェクトの状態を変化させるポインティング方法である。本実施例2−6では実施例1−6で用いた図21A〜25Cを参照して説明を行う。また、本実施例2−6の処理手順を図47を参照して説明する。図47に示す処理手順は、第1の実施の形態における図26で示した処理手順に対応するものである。
本実施例2−6では、前記実施例2−5と同様に、前記入力装置2として電磁誘導式のペンタブレットを用い、前記表示装置3としてDFDを用いた場合を例に挙げて、ポインティング方法およびオブジェクトの操作方法について説明する。
また、前記入力装置(ペンタブレット)2の検出手段(デジタイザ)は、前記表示装置(DFD)3の表示面と重ね合わせ一体的に設けられているとする。
また、本実施例2−6の3次元ポインティング方法を説明するにあたって、たとえば、図21Aおよび図21Bに示すように、前記DFD3の2枚の表示面3A,3Bの間に表現された3次元空間301の中に、座標系XYZを設定し、オブジェクト302とウィンドウ304を3次元空間301内のz<0の位置に配置した場合を例に挙げる。
前記オブジェクト302の操作をしたい操作者は、まず、図22Aおよび図24Aに示すように、前記実施例2−1や実施例2−2で説明した方法で前記オブジェクト302をポインティングし、選択または掴む操作を行う。これにより、前記選択または掴んだオブジェクト302は、前記DFDの手前の表示面3Aに2次元物体として表示され、前記ポインタ303が消える。本実施例2−6では、前記オブジェクト302がz方向に厚みのないオブジェクトであるが、これがz方向にも厚みを持つような立体オブジェクトであった場合も、この過程においてはDFDを用いた3次元立体表示は行わず、あくまで2次元としてDFDの前面の表示面3Aに投影像として表示する。
このように、前記オブジェクト302の表示方法が変わると、前記3次元空間301上で2次元GUIの操作を行うことが可能な状態になるので、前記操作者は、前記入力ペン201で、たとえば、図22Cおよび図24Cに示すように、前記オブジェクト302上に文字を書く等の目的の操作を2次元GUIの操作として行うことができる。そして、前記操作者が続けて、図23Aおよび図25Aに示すように、前記オブジェクト302を所望の位置まで2次元的な操作で移動させた後、たとえば、前記入力ペン201の押しボタン201D3を1回押すと、図23Bおよび図25Bに示すように、前記オブジェクト302は、前記操作者からみて3次元奥行き方向(z<0)に、ウィンドウ304と干渉するまで移動する。このとき、前記オブジェクト302の前記3次元奥行き方向のz座標が段階的に小さくなるようなアニメーションをつけると、前記操作者に移動の過程が伝わりやすい。そして、前記オブジェクト302が前記ウィンドウ304と干渉すると、前記オブジェクト302に対して、前記ウィンドウ304の持つ属性として、ウィンドウ上に移動する動作が実行される。
またこのとき、図23Bおよび図25Bに示したように、前記オブジェクト302を自動的に3次元奥行き方向(z<0)に移動させる代わりに、たとえば、前記実施例2−5で説明したように、前記入力ペン201の押しボタン201D3を押してから3次元的なオブジェクト操作モードに切り替えた上で、前記オブジェクト302を3次元奥行き方向(z<0)に移動させ、前記ウィンドウ304と干渉する位置まで移動させることも可能である。
このような3次元ポインティング方法を実現させるためには、前記システム制御装置1において、図47に示したような処理を実行すればよい。なお、図47における最初の処理(ステップ420)は、前記3次元空間301上のオブジェクト302を選択、または掴むまでの処理であり、前記実施例2−1または実施例2−2で説明したとおりでよいので、詳細な説明は省略する。
本実施例2−6の3次元ポインティング方法では、前記実施例2−1または実施例2−2で説明した手順によりオブジェクト302を選択、または掴む処理(ステップ420)が行われると、前記システム制御装置1は、2次元GUI的な操作、編集、加工を開始するための操作が行われたと判定する。そのため、次に、たとえば、前記表示装置3に表示しているポインタ303を非表示にし(ステップ426)、前記選択または掴んだオブジェクト302の射影を前記操作者から見て一番近い表示面3Aに表示する(ステップ427)。これにより、前記オブジェクト302の2次元GUI的な操作、編集、加工が可能な状態になる。
前記オブジェクト302の2次元GUI的な操作、編集、加工が可能な状態になった後は、前記入力ペン201からの2次元GUI的な操作を受け付け、実行する(ステップ428)。また、前記操作者が、たとえば、前記入力ペン201の押しボタン201D3を1回押すなどの、2次元GUI的な操作、編集、加工を終了するための操作を行ったか否かを判定する(ステップ429)。このとき、前記2次元GUI的な操作、編集、加工を終了するための操作を行っていなければ、さらに他の2次元GUI的な操作、編集、加工を受け付け、実行する。一方、2次元GUI的な操作、編集、加工を終了するための操作を行った場合は、2次元GUI的な操作を行うモードから、前記実施例2−1から実施例2−4で説明したような3次元的なポインティング操作を行うモードに戻る。これにより、前記システム制御装置1では、前記オブジェクト302の奥行き方向に、前記ウィンドウ304のような前記オブジェクト302と干渉する他のオブジェクトがあるか否かの判定を行う(ステップ431)。そして、干渉する他のオブジェクトがある場合は、たとえば、図23Bおよび図25Bに示したように、前記他のオブジェクト(ウィンドウ304)に干渉するまで、前記オブジェクト302を3次元奥行き方向(z<0)に移動させて表示する(ステップ432)。そして、前記他のオブジェクトと干渉した時点で前記オブジェクト302の3次元奥行き方向への移動を止め、前記オブジェクト302に対して、前記干渉する他のオブジェクトの持つ属性を実行する(ステップ433)。
一方、前記オブジェクト302と干渉する他のオブジェクトがない場合は、前記オブジェクト302をあらかじめ定められた奥行き位置、たとえば、前記ステップ426以降の処理を行う直前と同じ奥行き位置まで移動させて表示する(ステップ434)。
前記システム制御装置1において、図47に示したような手順の処理を行うことにより、図22A,図22B,図23C,図23A,図23B,図23Cのような一連のポインタの表示制御、オブジェクトの3次元的な移動等の操作、前記オブジェクトの2次元GUI的な操作が可能となる。
以上説明したように、本実施例2−6の3次元ポインティング方法によれば、3次元空間301内にあるオブジェクト302をポインティングし、選択または掴むことで、前記オブジェクト302を操作者が操作しやすい位置まで自動的に移動させ、これまでの2次元GUI操作により目的の操作、編集、加工等を行うとともに、前記目的の操作、編集、加工が終了した後に、前記オブジェクト302を操作者からみて3次元の奥行き方向に移動させるとともに、移動させたオブジェクト302と干渉する他のオブジェクトが存在する場合に、前記他のオブジェクトの持つ属性によって移動させた前記オブジェクト302の状態を変化させることができる。
また、本実施例2−6の3次元ポインティング方法では、前記オブジェクトを選択、または掴むことで、3次元的なポインティング操作を行うモードからオブジェクトの2次元GUI的な操作、編集、加工を行うモードに切り替え、前記システム制御装置1の前記入力情報取得手段101で取得した情報を、前記オブジェクトの2次元GUI的な操作、編集、加工を行うための情報として処理するようにしたが、前記オブジェクトをポインティングする操作の後に、キーボードの特定のキーや他のスイッチを操作することで前記オブジェクトの2次元GUI的な操作、編集、加工を行うモードに切り替えるようにしてもよい。
また、本実施例2−6では、前記入力装置2である電磁誘導方式のペンタブレットの検出手段(デジタイザ)を、3次元空間を表示できる表示装置3であるDFDの表示面と重ね合わせている例を挙げて説明したが、これに限らず、両者が別の位置にあるような構成であってもよい。また、本実施例2−6では、前記表示装置3としてDFDを用いたが、これに限らず、前記実施例2−1から実施例2−4で説明したような液晶ディスプレイ等の表示装置を用いてもよい。
また、本実施例2−6では、目的のオブジェクト302の例として2次元的な4角形のオブジェクトを挙げていたが、これに限らず、前記オブジェクト302の形状はどのような形状であってもよい。
また、本実施例2−6では、前記表示装置3に表現される3次元空間の座標系は、前記実施例2−1と同様、すなわち図4Aに示したように、表示面がz=0となるように設定したが、3次元が表現できるのであれば3次元の原点はどこにとってもよく、またデカルト座標系である必要もなく、たとえば円柱座標系や球座標系などでもよい。
また、本実施例2−6では、前記入力ペン201の押しボタン201D3の操作で、前記2次元GUI的な操作、編集、加工を行うモードを終了させたが、これに限らず、たとえば、前記押しボタン201D3の代わりにキーボードの特定のキーや他のスイッチを用いるなど、同様の効果が得られるのであれば、どのような方法で終了させてもよい。
また、本実施例2−6では、前記オブジェクト302に2次元GUI的な編集を行う例として、たとえば、図22Cに示したように「B」という文字を記入する場合を挙げたが、前記オブジェクト302がファイルを表すオブジェクトで、それをポインティング後、2次元GUI操作が行われる時に、前記ファイルが開いてその内容を操作者が2次元GUI上で編集し、ファイルを閉じた後に操作者の望む3次元位置に移動可能であるなどとしてもよい。
また、本実施例2−6では、前記他のオブジェクトの例としてウィンドウ304を挙げ、前記ウィンドウ304と干渉したときにファイルを移動するという属性を実行する場合について説明したが、これに限らず、たとえば、他のアプリケーション実行用のアイコンと干渉したときにファイルを実行するという属性を実行させることも可能である。またその他にも、実施例1−6と同様に、ゴミ箱オブジェクトと干渉したときにファイルを削除するという属性を実行させることも可能である。
以下、実施例1−6で用いた図28A〜図32Cを参照して本実施例2−6の3次元ポインティング方法でオブジェクトを削除する方法について説明する。
本実施例2−6の3次元ポインティング方法では、前述のように、オブジェクト302をウィンドウ304に移動させるだけでなく、たとえば、オブジェクト302をゴミ箱オブジェクトに移動させ、削除することもできる。そこで、図28Aおよび図28Bに示すように、前記DFD3の2枚の表示面の間に表現された3次元空301間の中に、座標系XYZを設定し、オブジェクト302とゴミ箱オブジェクト305が3次元空間301内のz<0の位置に配置されて場合を例に挙げ、前記オブジェクト302の削除手順について説明する。
このとき、前記オブジェクト302を削除したい操作者は、まず、図29Aおよび図31Aに示すように、前記入力ペン201を操作して削除したいオブジェクト302をポインティングし、選択または掴む操作を行う。これにより、図29Bおよび図31Bに示すように、前記ポインティングされたオブジェクト302が、前記手前の表示面3Aに移動し、2次元GUI操作が可能な状態に変わる。ここで、前記操作者が、たとえば、図30Aおよび図32Aに示したように、前記ポインティングしたオブジェクト302をゴミ箱オブジェクト305上まで移動させ、たとえば、前記入力ペン201のボタン201D3を1回押すなどの特定の操作をすると、前記2次元GUI操作が可能な状態から、3次元ポインティングが可能な状態に戻る。そして、前記システム制御装置1で行われる処理が、図47に示したような手順である場合は、3次元ポインティングが可能な状態に戻った後、前記オブジェクト302が自動的に3次元奥行き方向(z<0)に移動し、前記ゴミ箱オブジェクト305と干渉した時点で、図30Bおよび図32Bに示すように、前記オブジェクト302の表示が消え、前記ゴミ箱305がゴミ(オブジェクト)が入っている状態の表示に切り替わる。
このように、本実施例2−6の3次元ポインティング方法は、前記オブジェクト302と干渉したオブジェクトが、前記オブジェクト302に対して、属性を実行することが可能であれば、どのような属性を持つオブジェクトであってもよい。
[実施例2−7]
次に、実施例2−7について説明する。図48および図49は本実施例2−7の3次元ポインティング方法で用いる入力ペンの構成例を示す図である。
本実施例2−7では、前記実施例2−1から実施例2−6で説明したような3次元ポインティング方法を実施するときに用いる入力ペン201として、前記入力ペン201が備えるホイールの回転量、またはスライドバーの移動量に応じて、ペン先201Pが入力ペン201の筐体内に出入りする構造の入力ペンを用いた場合のポインティング方法について説明する。
本実施例2−7で用いる入力ペン201は、たとえば、図48に示すように、筐体201Eに付属したホイール201Dが、ペン先201Pの内部に設けられたギア(またはネジ)部201Fと直結しており、前記ホイール201Dを回転させると、前記ペン先201Pが筐体201E内に入り込むようになっている。また、図48に示したような構成に限らず、たとえば、図49に示すように、前記スライドバー201Dが、ペン先201Pの内部に設けられたギア(またはネジ)部201Fと内部ギア(またはネジ)を介してつながっており、前記スライドバー201Dを移動させると、前記ペン先201Pが筐体201E内に入り込むようになっていてもよい。なお、図48および図49は前記入力ペン201の構成例であり、図48および図49に示した入力ペンのように、前記ホイールまたはスライドバー201Dを回転または移動させることで、前記ペン先201Pが筐体201E内に入り込むような構成であれば、どのような構造であってもよい。
以下、本実施例2−7におけるポインティング方法を実施例1−7で用いた図35A〜図36Cを参照して説明する。
本実施例2−7では、図48または図49に示したような構成の入力ペン201を用いて前記表示装置3に表現された3次元空間のポインティングを行う場合の例として、前記実施例2−1で説明したポインティング方法を実施する場合を挙げる。このとき、前記入力装置2および前記表示装置3はそれぞれ、前記実施例2−1と同様に電磁誘導方式のペンタブレットと液晶ディスプレイを用いるとする。また、前記入力装置2の検出手段(デジタイザ)は、前記液晶ディスプレイ3の表示面と重ね合わせているとする。
このとき、前記操作者が、前記入力ペン201のペン先201Pを前記液晶ディスプレイ3のXY平面(z=0)の任意の1点におくと、たとえば、図35Aおよび図36Aに示すように、前記液晶ディスプレイ3の3次元空間301上に、円錐型等の前記入力ペン201のペン先201Pの形状を反映した形状のポインタ303が表示される。
そして、前記操作者が、前記入力ペン201のホイール201Dを回転させる(またはスライドバー201Dを移動させる)と、たとえば、図35Bおよび図36B、あるいは図35Cおよび図36Cに示したように、前記入力ペン201のホイール201Dの回転量(またはスライドバー201Dの移動量)に応じて、表示される前記ポインタ303の長さが変わる。
このとき、たとえば、図35Bおよび図36B、あるいは図35Cおよび図36Cに示したように、円錐型の前記ポインタ303の大きさを、前記入力ペン201のペン先201Pの筐体に押し込まれる量と比例させることで、たとえば、前記実施例2−1で説明したような方法と比べて、前記ポインタ303が前記ペン先201Pの一部であるという視覚的効果がさらに高くなる。
また、本実施例2−7では、前記実施例2−1で説明した3次元ポインティング方法を実施する場合を例に挙げたが、たとえば、ペン先201Pの検出面との接触の有無を検出し、電動機構によって、前記ペン先201Pの筐体201E内への出入りを制御する構成の入力ペンを用いれば、前記実施例2−2で説明したように、前記ペン先201Pの検出面との接触の有無によってポインティングを行うことも可能であることはもちろんである。
[実施例2−8]
次に、実施例2−8について説明する。実施例2−8では、実施例1−8と同様の具体的利用シーンについて説明する。ここでは、実施例1−8で用いた図37A〜図40Cを参照して説明を行う。
本実施例2−8では、前記実施例2−1から実施例2−7で説明したような3次元ポインティング方法の具体的な利用シーンとして、3次元表示が可能な表示画面と、ペンタブレットの検出手段とを内蔵している、音楽再生機能を操作するためのリモコンを例に挙げる。このとき、前記入力ペン201を操作したときのリモコンの表示画面上のポインタおよびオブジェクトの表示制御の手順は、前記実施例2−1から実施例2−7で説明した手順と同じでよいため、詳細な説明は省略する。
本実施例2−8では、前記操作者は、前記実施例2−7で説明したような、ペン先201Pが筐体内に押し込まれる入力ペン201を用い、たとえば、図37Aおよび図39Aに示したような、前記リモコンの3次元空間301に表示されたオブジェクトを操作する。まず、たとえば、図37Bおよび図39Bに示すように、前記操作者は、前記入力ペン201を操作して再生ボタン302aをポインティングすると、前記再生ボタン302aが押された状態の表示に切り替わり、音楽の再生が開始される。
また、たとえば、図37Cおよび図39Cに示すように、前記入力ペン201を操作してボリュームのつまみ302bをポインティングし、たとえば、前記入力ペン201のボタン201Dを押しながら前記つまみ302bを回転させるように前記入力ペンを移動させると、再生中の音楽のボリュームを上げたり下げたりすることができる。
また、ボリュームを上げたり下げたりする場合は、図37Cおよび図39Cに示したような操作に限らず、たとえば、図38Aおよび図40Aに示すように、前記つまみ302bの中心付近で前記つまみ302bをポインティングした後、前記入力ペン201を軸周りに回転させることで、前記つまみ302bを回転させ、ボリュームを上げたり下げたりすることもできる。
また、たとえば、図38Bおよび図40Bに示すように、再生中の音楽に関する情報が表示されている領域302cを前記入力ペン201でポインティングしたときに、図38Cおよび図40Cに示すように、前記領域302cが2次元的な表示に切り替わり、2次元GUI操作が可能な状態にできるようにしておけば、たとえば、手書き文字の認識機能等と組み合わせて、前記領域302cに再生したい音楽のトラック番号を入力し、目的のトラック番号にスキップさせることができる。
このように、前記実施例2−1から実施例2−7の3次元ポインティング方法を利用することで、3次元空間301の操作ボタン等のオブジェクトを容易に、かつ直感的に操作することができる。
また、本実施例2−8では、リモコンを用いた音楽機器の操作例を示したが、これに限らず、たとえば、PDAであったり、携帯電話、また、キオスク端末やATMなどの同様の形態が取れる機器の操作に適用することもでき、それぞれの機器をより直感的に操作することが可能となる。また、操作においても、本実施例では、音楽を再生し、ボリュームを上げて、トラックを変えるという操作を行ったが、これに限らず、前記入力ペン201における操作と関連づけられる操作であれば、どのような操作でも可能である。
また、本実施例2−8においては、トラック番号を入力するのに手書き認識を用いるとしたが、2次元のGUIで実現可能なものであれば、どのような方法でもよく、たとえば、プルダウンメニューでトラック番号を表示し入力ペン201で選択するような入力方法でもよい。
また、前記各実施例で説明した3次元ポインティングを実現する3次元ポインティング装置は、前記3次元ポインティング方法の実現に特化した専用の装置である必要はなく、たとえば、図41に示したように、PC等のコンピュータ(システム制御装置1)と、前記コンピュータに前記各実施例で説明したような3次元ポインティング方法を実行させる3次元ポインティングプログラムによって実現することもできる。この場合、前記3次元ポインティングプログラムは、前記コンピュータで読み取りが可能な状態で記録されていれば、磁気的,電気的,光学的のいずれの記録媒体に記録されていてもよい。また、前記3次元ポインティングプログラムは、たとえば、前記記録媒体に記録して提供するだけでなく、インターネット等のネットワークを通して提供することも可能である。
(第3の実施の形態)
次に、本発明の第3の実施の形態について説明する。第3の実施の形態は本発明の第2の目的に対応するものである。
第3の実施の形態の3次元ポインティング方法は、表示装置に表現された3次元空間内にポインタおよびオブジェクトを表示しておき、前記ポインタで3次元空間内の任意の一点をポインティングするために前記ポインタを奥行き方向に移動させる操作が行われた場合、前記ポインタの、ポインティングを行う部分とは異なる部分の奥行き位置、形状、サイズを一定に保った状態で、前記ポインティングを行う部分を奥行き方向に移動させる。そして、ポインティングを行う部分がポインティングしている3次元空間位置にオブジェクトがある場合、そのオブジェクトをポインティングされていることを示す状態に変えて表示させる。このようにすることで、前記ポインタの操作者が、ポインタの奥行き位置および前記ポインタがポインティングしている位置を容易に、かつ正確に認識できるようにした。
図50は、本発明の3次元ポインティング方法を実現するためのシステムの構成例を示す模式図である。
図50において、1はポインティング装置(システム制御装置)、101は入力情報取得手段、102はポインティング位置/変形量算出手段、103はポインタ生成手段、104は表示制御手段、105はポインティング判定手段、106はオブジェクト生成手段、107は処理制御手段、108は記憶手段、2は入力装置、3は表示装置である。
第3の実施の形態の3次元ポインティング方法は、たとえば、前記PCのようなシステム制御装置に接続された表示装置に表現された3次元空間上にあるポインタを、前記システム制御装置に接続された入力装置を用いて3次元的に操作し、前記3次元空間上の任意の位置をポインティングするときに適用して好ましい3次元ポインティング方法である。
前記システム制御装置1は、たとえば、図50に示すように、前記入力装置2から入力された入力情報を取得する入力情報取得手段101と、前記入力情報取得手段101で取得した入力情報がポインタの操作に関する情報(ポインタ操作情報)である場合に、前記入力情報に基づいてポインティングしている点の移動方向および移動量を算出した後ポインティング位置およびポインタの変形量を算出するポインティング位置/変形量算出手段102と、前記ポインティング位置/変形量算出手段102の算出結果に基づいてポインタを生成するポインタ生成手段103と、前記ポインタ生成手段103で生成されたポインタを前記表示装置3に表示させる表示制御手段104とを備える。また、前記システム制御装置1は、前記各手段に加え、たとえば、図50に示したように、前記ポインティング位置/変形量算出手段102の算出結果に基づいて生成するポインタにポインティングされているオブジェクトがあるか否か、すなわち、ポインタがポインティングしている点のxyz座標にオブジェクトがあるか否かの判定をするポインティング判定手段105と、前記ポインティングされているオブジェクトがある場合に、たとえば、そのオブジェクトの色を変えるオブジェクト生成手段106とを備える。
また、前記システム制御装置1は、たとえば、前記PCのように、前記入力装置2からの入力情報に応じてソフトウェアの起動や操作をしたり、他の装置の制御を行ったりする装置であり、図50に示したように、前記各手段の他に、たとえば、処理制御手段107や記憶手段108を備えている。そして、前記入力情報取得手段101で取得した情報が、前記ポインタ操作情報とは異なる場合、前記処理制御手段107は取得した情報に応じた処理を実行する。
つまり、本実施の形態の3次元ポインティング方法は、特殊な3次元ポインティング装置を用いる必要はなく、図50に示したような既存のシステム制御装置1を用いて実現することができる。
また、前記入力装置2は、たとえば、キーボードやマウスのように前記システム制御装置1(PC)に一般的に接続されている入力デバイスに限らず、ペンタブレットやジョイスティック(ジョイパッド)等の入力デバイスであってもよい。また、前記入力装置2で前記ポインタの操作をするときには、たとえば、マウス、あるいはキーボード等の1種類の入力デバイスで行ってもよいし、マウス操作とキーボード上の特定のキーの押下を組み合わせる等、2種類以上の入力デバイスで行ってもよい。またさらに、前記入力装置2は、たとえば、タッチパネルやペンタブレットのように前記表示装置3の表示面と一体化されていてもよい(たとえば、特開平5-73208号公報を参照。)。このような入力装置2の場合、ペンや指先などで前記表示装置3の表示画面に触れることで前記ポインタ操作情報を入力できる。
また、前記表示装置3は、3次元空間を表現できる表示装置であればよく、たとえば、CRTディスプレイや液晶ディスプレイのような3次元オブジェクトを2次元平面に射影した形で表示する2次元表示装置でも、DFD(たとえば、特許第3022558号明細書や特許第3460671号明細書を参照)のような3次元立体像を表示することが可能な表示装置でもよい。つまり、前記表示装置3は、操作者(観察者)が、表示されたポインタやオブジェクトの位置や形状を3次元的に認識(知覚)することが可能であれば、どのような表示装置であってもよい。
[実施例3−1]
図51乃至図55は、本発明による実施例3−1の3次元ポインティング方法を説明するための模式図であり、図51はポインタの操作方法を説明する図、図52はポインタよりも奥にあるオブジェクトをポインティングするときの3次元空間内の変化を示す正面図および右側面図、図53は図52の3次元空間内の変化の斜視図、図54はポインタよりも手前にあるオブジェクトをポインティングするときの3次元空間内の変化を示す正面図および右側面図、図55は本実施例3−1の3次元ポインティング方法をシステム制御装置(ポインティング装置)で実行するときの処理手順を説明するためのフロー図である。なお、図52は、上段、中段、下段に3次元空間の3通りの状態を示しており、各段の間に示したような操作を行うことで、3次元空間内の状態が上段から中段、中段から下段へと変化する様子を示している図である。また、図53も上段、中段、下段に3通りの状態を示しており、それぞれ、図52の上段、中段、下段の各状態の3次元空間内の様子を斜視図で示している。また、図54も同様に、上段、中段、下段に3次元空間の3通りの状態を示しており、各段の間に示したような操作を行うことで、3次元空間内の状態が上段から中段、中段から下段へと変化する様子を示している図である。
図51において、1はシステム制御装置、201はキーボード、202はマウス、3は表示装置(2次元表示装置)、301は表示面、4はポインタである。
本実施例3−1では、図51に示すように、前記入力装置2としてキーボード201とマウス202を用い、前記表示装置3として液晶ディスプレイ等の2次元表示装置を用いた場合を例に挙げ、3次元ポインティング方法を説明する。
また、前記表示装置3に表現される3次元空間上で、たとえば、図51に示すように、表示面301をZ=0とし、前記表示面301がXY平面となり、かつ、操作者から見て表示面301から奥に向かう方向をZ軸の正の方向とする3次元座標系XYZをとっているとする。このとき、前記3次元空間内に表示されたポインタ4をXY平面内での移動方向および移動距離は、前記マウス202本体を机上等の平面上で2次元的に動かしたときの移動方向および移動距離に基づいて算出(決定)する。
また、奥行き方向(Z方向)の移動方向および移動距離は、たとえば、図51に示したように、前記キーボード201のコントロールキー(Ctrlキー)等のあらかじめ定められたキー201Aを押しながら前記マウス202のホイール202Aを回転させたときの回転方向と回転角度に基づいて算出(決定)する。このとき、たとえば、図51に示したように、前記マウスのホイール202Aを+Z方向に回した場合は前記ポインタのポインティングを行う部分を3次元空間の+Z方向、すなわち操作者から見て奥に向かう方向に移動させる。そして、前記マウスのホイール202Aを−Z方向に回した場合は前記ポインタのポインティングを行う部分を3次元空間の−Z方向、すなわち操作者から見て手前に向かう方向に移動させる。
また、本実施例3−1の3次元ポインティング方法では、前記ポインタ4の形状は矢印形とし、矢の先端部分がポインティングしている点(xp,yp,zp)を表しているとする。そして、前記矢印形のポインタ4でポインティングを行う部分を奥行き方向に移動させるときには、前記矢の先端の反対側の端の奥行き位置を一定に保ちながら前記矢の部分を奥行き方向に移動させて、前記ポインタ4を傾ける。
このような3次元ポインティング方法の一例として、図52の上段および図53の上段に示すように、3次元空間内の異なる奥行き位置にポインタ4およびオブジェクト5が表示されている場合のポインティング方法を挙げる。このとき、−Z方向から前記3次元空間を見ている操作者の視点からは、前記オブジェクト5上に前記ポインタ4が重なって見えるが、前記ポインタ4がポインティングしている点(xp,yp,zp)と前記オブジェクト5は奥行き位置が異なるので、前記オブジェクト5はポインティングされていない。
この状態から、前記操作者が、たとえば、前記キーボードのコントロールキー(Ctrlキー)201Aを押しながら、前記マウスのホイール202Aを+Z方向に回したとする。このとき、前記ポインタ4は、たとえば、図52の中段および図53の中段に示すように、前記矢の先端の反対側の端の奥行き位置が一定に保たれた状態で、前記矢の先端部分が+Z方向に移動し、矢の部分が操作者から見て奥の方向に傾く。なお、図52の中段および図53の中段では、前記ポインタのポインティングしている点のXY座標(xp,yp)を一定に保ち、かつ、前記ポインタ4の形状、サイズも一定に保った状態で傾ける例を示している。そのため、前記矢の先端の反対側の端は、奥行き位置を一定に保つために、図52の中段および図53の中段に示したように、+X方向に移動している。
このように、前記キーボードのコントロールキー201Aを押しながら、前記マウスのホイール202Aを+Z方向に回すことにより、前記ポインタ4は、ポインティングしている点(矢印の矢の部分)側が操作者から見て遠くなるように傾く。またこのとき、前記ポインタ4の形状およびサイズを保ちながら回転させれば、前記ポインタ4の矢の部分の幅が狭く表示される。この結果、前記操作者は、ポインタ4が奥行き方向(+Z方向)に傾いたことを認識できると同時に、前記ポインタ4の形状から、前記ポインタ4が操作前の位置よりも奥をポインティングしていることも認識できる。
ただし、本実施例3−1の3次元ポインティング方法は、図52の中段および図53の中段に示したようなポインタ4の傾けかたを特定するものではなく、後述のように、前記矢の先端の反対側の端の奥行き位置が一定に保たれていれば、どのような傾けかたでもよい。
そして、図52の中段および図53の中段に示したような状態から、さらにもう一度、前記キーボードのコントロールキー201Aを押しながら、前記マウス202のホイール202Aを+Z方向に回したとする。このときも、前記ポインタ4は、たとえば、図52の下段および図53の下段に示すように、前記矢の先端の反対側の端の奥行き位置が一定に保たれた状態で、前記矢の先端部分が+Z方向に移動し、矢の部分が操作者から見てさらに奥の方向に傾く。またこのとき、前記ポインタの形状およびサイズを保ちながら回転させれば、前記ポインタの矢の部分の幅がさらに狭く表示される。この結果、前記操作者は、ポインタ4がさらに奥行き方向(+Z方向)に傾いたことを認識できると同時に、前記ポインタ4の形状から、前記ポインタ4が操作前の位置よりもさらに奥をポインティングしていることも認識できる。
またこのとき、前記キーボードのコントロールキー201Aを押しながら、前記マウスのホイール202Aを+Z方向に回すという操作を続けた結果、図52の下段および図53の下段に示したように、前記ポインタ4のポインティングしている点(xp,yp,zp)が前記オブジェクト5と同じ奥行き位置に到達し、前記ポインタ4の先端のxyz座標(xp,yp,zp)と前記オブジェクト5の表面上または内部の任意の点のxyz座標が一致すると、前記オブジェクト5は、前記ポインタ4によってポインティングされた状態になる。そのため、たとえば、図52の下段および図53の下段に示したように、前記オブジェクト5の色を変えて、ポインティングされている状態であることを表す。このようにすれば、前記操作者は、前記ポインタ4の形状からポインタ4の奥行き方向の位置、およびポインタ4がポインティングしている奥行き方向の位置を直観的、かつ、正確に認識できる。また、前記ポインタ4によってポインティングされたときにオブジェクト5の色を変えることで、前記オブジェクト5と重なっているポインタ4が前記オブジェクト5をポインティングしているか否かが直観的、かつ、正確に認識できる。
また、図52および図53では、前記操作者から見て、前記オブジェクト5の奥行き位置よりも手前に前記ポインタ4があり、前記ポインタ4を奥(+Z方向)に傾ける場合の操作を説明したが、本実施例3−1の3次元ポインティング方法では、前記ポインタ4を手前(−Z方向)に傾けることもできる。
前記ポインタ4を手前(−Z方向)に傾ける場合の一例として、図54の上段に示すように、前記オブジェクト5の奥行き位置よりも奥に前記ポインタ4がある場合を挙げる。このとき、−Z方向から前記3次元空間を見ている操作者の視点からは、前記ポインタの矢の先端部分が前記オブジェクトと重なって隠れているように見えるが、前記ポインタがポインティングしている点(xp,yp,zp)と前記オブジェクトは奥行き位置が異なるので、前記オブジェクトはポインティングされていない。
この状態から、前記操作者が、たとえば、前記キーボードのコントロールキー201Aを押しながら、前記マウスのホイール202Aを−Z方向に回したとする。このとき、前記ポインタ4は、たとえば、図54の中段に示すように、前記矢の先端の反対側の端の奥行き位置が一定に保たれた状態で、前記矢の先端部分が−Zの方向に移動し、矢の部分が操作者から見て手前の方向に傾く。なお、図54の中段では、前記ポインタ4のポインティングしている点のXY座標(xp,yp)を一定に保ち、かつ、前記ポインタ4の形状、サイズも一定に保った状態で傾ける例を示している。そのため、前記矢の先端の反対側の端は、奥行き位置を一定に保つために、図54の中段に示したように、+X方向に移動している。
このように、前記キーボードのコントロールキー201Aを押しながら、前記マウスのホイール202Aを−Z方向に回すことにより、前記ポインタ4は、ポインティングしている点(xp,yp,zp)が操作者から見て近くなるように傾く。またこのとき、前記ポインタの形状およびサイズを保ちながら回転させれば、前記ポインタの矢の部分の幅が広く表示される。この結果、前記操作者は、ポインタ4が奥行き方向(+Z方向)に傾いたことを認識できると同時に、前記ポインタ4の形状から、前記ポインタ4が操作前の位置よりも手前をポインティングしていることも認識できる。
そして、図54の中段に示したような状態から、さらにもう一度、前記キーボードのコントロールキー201Aを押しながら、前記マウスのホイール202Aを−Z方向に回したとする。このときも、前記ポインタ4は、たとえば、図54の下段に示すように、前記矢の先端の反対側の端の奥行き位置が一定に保たれた状態で、前記矢の先端部分が−Z方向に移動し、矢の部分が操作者から見てさらに手前の方向に傾く。またこのとき、前記ポインタの形状およびサイズを保ちながら回転させれば、前記ポインタの矢の部分の幅がさらに広く表示される。この結果、前記操作者は、ポインタ4がさらに奥行き方向(−Z方向)に傾いたことを認識できると同時に、前記ポインタ4の形状から、前記ポインタ4が操作前の位置よりもさらに手前をポインティングしていることも認識できる。
またこのとき、前記キーボードのコントロールキー201Aを押しながら、前記マウスのホイール202Aを−Z方向に回すという操作を続けた結果、図54の下段に示したように、前記ポインタのポインティングしている点(xp,yp,zp)が前記オブジェクトと同じ奥行き位置に到達し、前記ポインタ4の先端のxyz座標(xp,yp,zp)と前記オブジェクト5の表面上または内部の任意の点のxyz座標が一致すると、前記オブジェクト5は、前記ポインタ4によってポインティングされた状態になる。そのため、たとえば、図54の下段に示したように、前記オブジェクト5の色を変えて、ポインティングされている状態であることを表す。このようにすれば、前記操作者は、前記ポインタ4の形状からポインタ4の奥行き方向の位置、およびポインタ4がポインティングしている奥行き方向の位置を直観的、かつ、正確に認識できる。また、前記ポインタ4によってポインティングされたときにオブジェクト5の色を変えることで、前記オブジェクト5と重なっているポインタ4が前記オブジェクト5をポインティングしているか否かが直観的、かつ、正確に認識できる。
なお、前記マウスのホイール202Aの回転に合わせて前記ポインタ4を奥行き方向(+Z方向または−Z方向)に傾けて表示させるときには、たとえば、前記ホイール202Aのトータルの回転角度に合わせて、前記ポインタ4が連続的に傾くように表示させてもよいし、前記ホイール202Aの回転ステップと同期させて、前記ホイール202Aを1ステップ回転させる毎に前記ポインタ4をあらかじめ定めた角度ずつ段階的に傾くように表示させてもよい。
このような本実施例3−1の3次元ポインティング方法を、前記システム制御装置1(ポインティング装置)に実行させるときには、図55に示したような、ステップ601からステップ608の処理を実行させればよい。このとき、前記システム制御装置1では、図55に示すように、まず、前記表示制御手段104を用いて、前記表示装置3にオブジェクト5およびポインタ4を表示させる(ステップ601)。このとき、前記オブジェクト5は複数個表示されていてもよい。また、前記オブジェクト5およびポインタ4は、前記表示装置3で表現されている3次元空間内であれば、どの位置に表示されていてもよいとする。
次に、前記操作者が前記キーボード201やマウス202等の入力装置2を用いて入力した情報を前記入力情報取得手段101で取得する(ステップ602)。このとき、前記入力情報取得手段101で取得する入力情報は、前記ポインタ4の操作に関する情報(ポインタ操作情報)の他に、アプリケーション・ソフトの起動等の入力情報も取得するが、ここでは、前記ポインタ4の操作に関する情報を取得したとする。前記入力情報取得手段101で取得した入力情報は、前記ポインタ操作情報であるか否かの判定が行われ、前記入力情報が、たとえば、マウス202の移動情報(操作情報)や、ホイール202Aの回転操作情報等の前記ポインタ操作情報である場合、前記入力情報取得手段101は、前記入力情報(ポインタ操作情報)を前記ポインティング位置/変形量算出手段102に渡し、ポインティング位置およびポインタの変形量を算出させる。
このとき、前記ポインティング位置/変形量算出手段102では、たとえば、まず、図55に示したように、前記ポインタ操作情報に基づいて前記ポインタの移動方向、移動量等を算出する(ステップ603)。前記ステップ603では、たとえば、マウス本体の2次元的な移動方向や移動量の情報から、表示装置で表現する3次元空間のXY平面内での前記ポインタ4の移動方向や移動量、あるいは回転角度等を算出する。
前記ステップ603において前記ポインタ4の移動方向、移動量等を算出したら、次に、算出結果に基づいて前記表示装置3に表示されたポインタ4を移動させて表示させる(ステップ604)。前記ステップ604は、たとえば、前記ポインタ4のXY平面内での移動方向、移動量等に基づいて前記ポインタ生成手段103で移動先のポインタ4を生成した後、前記表示制御手段104を利用して前記生成したポインタ4を前記表示装置3に表示させる。なお、前記ポインタ操作情報のなかに前記ポインタ4をXY平面内で移動または回転させる情報が含まれていない場合、前記ステップ604の操作は省略され、次のステップ605の処理が行われる。
前記ポインティング位置/変形量算出手段102は、前記ステップ603の処理が終わると、前記ポインタ生成手段103および前記表示制御手段104に前記ステップ604の処理を行わせる一方で、前記ポインタ操作情報に基づいて前記ポインタ4の傾ける方向および傾ける量を算出する(ステップ605)。前記ステップ605において、前記傾ける方向は、たとえば、前記マウス202のホイール202Aの回転方向の情報から決定する。また、傾ける量は、たとえば、前記マウス202のホイール202Aの回転量から算出する。
前記ステップ605において前記ポインタ4の傾く方向および傾く量を算出したら、次に、算出結果に基づいて前記表示装置3に表示されたポインタ4を傾けて表示する(ステップ606)。前記ステップ606は、たとえば、前記ポインタ4の傾ける量に基づいて前記ポインタ生成手段103でポインタ4を傾けさせた後、前記表示制御手段104を利用して、たとえば、図52の中段および図53の中段等に示したように傾けたポインタ4を前記表示装置3に表示させる。また、前記ポインタ操作情報のなかに前記ポインタ4をZ軸方向に傾ける情報が含まれていない場合、前記ステップ606の操作は省略され、次のステップ607の処理が行われる。
また、前記ポインティング位置/変形量算出手段102は、前記ステップ603および前記ステップ606の処理を行った後、算出結果を前記ポインタ生成手段103に渡してポインタを生成させるとともに、前記ポインティング判定手段105にも算出結果を渡す。このとき、前記ポインティング判定手段105は、受け取った算出結果から、操作後のポインタ4がポインティングしているオブジェクトがあるか否か、すなわち、ポインタ4がポインティングしている点のxyz座標が、オブジェクトの表面上または内部の任意の点のxyz座標から予め定められた範囲内にあるか否かの判定をする(ステップ607)。このとき、ポインティングしているオブジェクトがなければ、ステップ602に戻り、次の入力情報(ポインタ操作情報)を取得するまで待機する。
また、ポインティングしているオブジェクトがある場合、前記ポインティング判定手段105は、前記オブジェクト生成手段106に、ポインティングされているオブジェクトの色を変えたオブジェクトを生成させ、前記表示制御手段104を利用して前記表示装置3に表示させる(ステップ608)。そして、色を変えたオブジェクトを表示させた後は、ステップ602に戻り、次の入力情報(ポインタ操作情報)を取得するまで待機する。
また、前述のような手順で前記ポインタ4を傾けて表示させた後、前記入力装置2から前記ポインタ4の操作に関する情報を取得し、たとえば、XY平面内で移動させる場合、前記ポインタ4の傾きを元に戻してから移動させてもよいし、前記ポインタ4を傾けたまま移動させてもよい。
また、図55では省略しているが、前記入力情報取得手段101で前記ポインタ操作情報以外の入力情報を取得した場合、前記処理制御手段107は、取得した入力情報に応じた処理を実行する。このとき、前記ポインタ操作情報以外の入力情報としては、たとえば、前記ポインタ4でポインティングしたオブジェクト5と関連づけられたソフトウェアの起動や、数値あるいは文字列の入力情報等が挙げられる。この場合、前記処理制御手段107は、前記入力情報に基づいて、前記オブジェクト5と関連づけられたソフトウェアの起動等の処理を行い、たとえば、前記オブジェクト生成手段105に、処理結果に関するオブジェクトを生成させ、前記表示制御手段104を用いて前記処理結果のオブジェクトを前記表示装置3に表示させる。
以上説明したように、本実施例3−1の3次元ポインティング方法によれば、前記ポインタ4の、ポインティングしている点(矢の先端)と反対側の端の奥行き位置を一定に保ちながら、前記ポインティングしている点を奥行き方向に傾けて前記表示装置3に表示させることにより、前記ポインタ4を見た操作者が前記ポインタ4の奥行き位置および前記ポインタ4がポインティングしている奥行き位置を直観的、かつ、正確に認識できる。
また、前記ポインタ4の矢の先端の反対側の端の奥行き位置を保つとともに、前記ポインタ4全体の長さを保った状態で前記ポインタ4を奥行き方向に傾けてオブジェクト5のポインティングを行う方法では、前記ポインタ4の3次元的な長さが変化しないため、操作者に対して、より実物体に近い、自然なオブジェクト表示を呈示できる。
また、本実施例3−1の3次元ポインティング方法では、前記キーボードのコントロールキー201Aとマウスのホイール202Aの回転操作を組み合わせることで、前記ポインタ4を奥行き方向に傾ける例を示したが、これに限らず、キーボード201の他のキーとホイール202Aの組み合わせであってもよいし、ホイール202Aの代わりにキーボード201のカーソルキー(方向キー)と組み合わせてもよい。また、その他にも、たとえば、ペンタブレットやタッチパネル、ジョイスティック等であらかじめ定められた操作をしたときに傾くようにしてもよい。
また、本実施例3−1の3次元ポインティング方法では、前記ポインタ4として、矢印形状のポインタを例に挙げたが、これに限らず、奥行き方向へ傾けて表示させたときの傾きの方向およびポインティングしている点(位置)が視覚的に認識できる形状であれば、どのような形状であってもよい。
図56A〜Dは、ポインタの形状の変形例を示す模式図であり、図56Aは三角形状のポインタを示す図、図56Bは人の手の形状のポインタを示す図、図56Cは雫形状のポインタを示す図、図56Dは十字形状のポインタを示す図である。
本実施例3−1のような3次元ポインティング方法では、前記ポインタを奥行き方向に傾けたときの視覚的な形状の変化から、前記ポインタがポインティングしている点の奥行き位置を認識する。そのため、図52の上段に示したような矢印形状のポインタ4に限らず、たとえば、図56Aに示すような三角形状のポインタ4Aであってもよい。前記三角形状のポインタの場合、前記ポインタ4Aの頂角をポインティングしている点(xp,yp,zp)とし、底辺の奥行き位置を一定に保った状態で奥行き方向に傾ければよい。
また、そのほかにも、たとえば、図56Bに示すような人差し指でオブジェクトを指し示している人の手の形状のポインタ4B、図56Cに示すような雫形状のポインタ、図56Dに示すような十字形状のポインタ4Dであってもよい。前記人の手の形状のポインタ4Bの場合、たとえば、人差し指の先端をポインティングしている点(xp,yp,zp)とし、反対側(手首)の奥行き位置を一定に保った状態で奥行き方向に傾ければよい。また、前記雫形状のポインタ4Cの場合、たとえば、頂角をポインティングしている点(xp,yp,zp)とし、反対側(円弧部)の奥行き位置を一定に保った状態で奥行き方向に傾ければよい。また、前記十字形状のポインタ4Dの場合、たとえば、交点をポインティングしている点(xp,yp,zp)とし、交点から延びる4本の軸の1つの軸の端の奥行き位置を一定に保った状態で奥行き方向に傾ければよい。
また、前記オブジェクトも、本実施例3−1では、図51等に示したようなフォルダアイコン型のオブジェクトを例に挙げたが、これに限らず、データファイルや実行ファイルのアイコン(ショートカット)やウィンドウ等、前記ポインタでポインティング可能な形状であれば、どのような形状のオブジェクトでもよい。
また、本実施例3−1のポインティング方法では、たとえば、前記ポインタ4の視覚的な形状の変化から前記ポインタ4の奥行き方向のポインティング位置を認識できるが、たとえば、前記3次元空間内に、前記ポインタ4がどれくらい傾いたかを操作者に認識させる指標となるリファレンスを前記表示装置3に表示させてもよい。
図57は、本実施例3−1の3次元ポインティング方法においてリファレンスを表示させる例を示す図である。
本実施例3−1のポインティング方法では、前記ポインタ4を奥行き方向に傾けたときの視覚的な形状の変化によって、前記ポインタ4の奥行き方向のポインティング位置を操作者に認識させる。しかしながら、同じ奥行き位置をポインティングした状態が長時間続くと、視覚的な形状の変化がないので、前記ポインタ4の奥行き方向のポインティング位置の認識が曖昧になる可能性がある。
そこで、たとえば、図57に示したように、前記表示装置3に表示された3次元空間内に、前記3次元空間に設定するXYZ座標系を反映したxyz座標軸(リファレンス)7を表示しておけば、前記ポインタ4の奥行き位置の変化がないときでも、前記xyz座標軸を参照することで前記ポインタ4の奥行き方向の傾きの認識が容易になる。このとき、前記リファレンス7は、前記3次元空間上の特定の位置に固定しておいてもよいし、ポインタ4の移動にともなって移動し、ポインタ4が傾くときはその場で固定されていてもよい。また、前記リファレンス7は、前記表示装置3に表現されている3次元空間内であればどの位置に配置してもよく、前記操作者が配置位置を設定することも可能である。また、図57では、リファレンス7としてxyz座標軸を表すような表示物を用いたが、これに限らず、前記操作者にポインタ4の傾きの度合いを認識させる指標となる表示物であればどのようなものであってもよく、たとえば、傾きが0(XY平面と平行)で、前記ポインタと相似形の半透明な表示物のようなものでもよい。
また、本実施例3−1の3次元ポインティング方法では、前記ポインタ4を奥行き方向に傾けるときに、たとえば、図52の中段および図53の中段に示したように、前記ポインタ4の矢の先端の反対側の端の奥行き位置を一定に保つとともに、前記ポインタ4の全体の長さ(形状、サイズ)を一定に保った状態で傾ける例を挙げたが、これに限らず、ポインタ全体の長さを変化させながら奥行き方向に傾けてオブジェクトのポインティングを行うようにすることも可能である。
図58は、本実施例3−1の3次元ポインティング方法の変形例を説明するための模式図であり、ポインタよりも奥にあるオブジェクトをポインティングするときの3次元空間内の変化を示す正面図および右側面図である。なお、図58は、上段、中段、下段に3次元空間の3通りの状態を示しており、各段の間に示したような操作を行うことで、3次元空間内の状態が上段から中段、中段から下段へと変化する様子を示している図である。
本実施例3−1の3次元ポインティング方法では、たとえば、図52の下段に示したように、前記ポインタ4の全体の長さ、形状等も一定に保った状態で奥行き方向に傾けて表示させている。そのため、ある奥行き位置にあるポインタ4でポインティングできるのは、前記ポインタ4の長さよりも奥行き方向の距離が近いオブジェクトに限られる。
本実施例3−1の3次元ポインティング方法は、たとえば、図52の下段に示したようなポインタの傾けかたを限定するものではなく、前記ポインタの一端(矢の先端の反対側の端)の奥行き位置とポインタの先(矢の先端)の奥行き位置を比較することで、操作者がポインタの傾きを認識し、ポインティング位置を認識できるようにする方法である。つまり、ポインティングする部分とは異なる部分の奥行き位置が一定に保たれていれば、どのような傾けかたでもよい。
本実施例3−1の3次元ポインティング方法において実現可能な、図52の下段に示したようなポインタの傾けかたとは異なる傾けかたの一例として、図58の上段に示すように、操作者の視点から見て、3次元空間内の異なる奥行き位置にポインタおよびオブジェクトが表示されている場合を挙げる。このとき、−Z方向から前記3次元空間を見ている操作者の視点からは、前記オブジェクト上に前記ポインタが重なって見えるが、前記ポインタがポインティングしている点と前記オブジェクトは奥行き位置が異なるので、前記オブジェクトはポインティングされていない。
この状態から、前記操作者が、たとえば、前記キーボードのコントロールキー(Ctrlキー)201Aを押しながら、前記マウスのホイール202Aを+Z方向に回したとする。このとき、前記ポインタ4は、たとえば、図58の中段および図58の下段に示したように、前記矢の先端の反対側の端の奥行き位置が一定に保たれた状態で、前記矢の先端部分が+Z方向に移動し、矢の部分が操作者から見て奥の方向に傾く。またこのとき、前記矢の先端の反対側の端は、図58の中段および図58の下段に示したように、操作前の矢の先端の反対側の端と同じ3次元空間位置に固定されている。そして、たとえば、前記ポインタ4のポインティングしている点を+Z方向に移動させるときに、XY座標(xp,yp)を一定に保ったまま移動させるとすれば、前記ポインタ4は、ポインタ全体の長さを変化させながら奥行き方向に傾くことになる。
このような3次元ポインティング方法でも、前記ポインタ4の傾きを認識することは可能であり、図52の下段に示したようなポインタの長さが変化しないポインティング方法の場合と同様の効果が得られる。またこの場合、ポインタ全体の長さが奥行き方向に傾くにつれて変化するため、前記ポインタとの奥行き方向の距離が大きいオブジェクトでもポインティングが可能である。なお、図58の中段および図58の下段に示したような場合、前記ポインタ4は、奥行き方向の傾きが変わるにつれて、長さ(サイズ)が変化するが、このような長さ(サイズ)の変更は、前記表示装置3に表現された3次元空間内にポインタ4を表示させる場合における、操作者に3次元的な立体感を提示するための心理的な描画手法として用いられるサイズの変更、すなわち操作者から見て奥にあるポインタを小さく表示したり、操作者から見て操作者に近い位置にあるポインタを大きく表示したりするような「表示上のサイズの変更」とは異なる。
また、本実施例3−1の3次元ポインティング方法では、図52および図53に示したように、前記ポインタ4を傾けて奥行き位置が異なるオブジェクトをポインティングする方法について説明したが、このとき、前記ポインタ4を傾けるだけでなく、図59に示すように、前記ポインタ4の形状を保ったまま奥行き方向に並進移動させる操作が加わっていてもよい。
図59は、本実施例3−1の3次元ポインティング方法の第1の応用例を説明するための模式図であり、ポインタよりも奥にあるオブジェクトをポインティングするときの3次元空間内の変化を示す正面図および右側面図である。なお、図59は、上段、中段、下段に3次元空間の3通りの状態を示しており、各段の間に示したような操作を行うことで、3次元空間内の状態が上段から中段、中段から下段へと変化する様子を示している図である。
本実施例3−1の3次元ポインティング方法の場合、たとえば、図58に示したような方法にすることで、ポインタ全体の長さが奥行き方向に傾くにつれて変化するため、前記ポインタとの奥行き方向の距離が大きいオブジェクトでもポインティングが可能である。しかしながら、図52の下段に示したようなポインタの傾けかたでも、たとえば、前記ポインタ4を、形状を保ったままZ軸方向に並進移動させることで、前記ポインタ4とオブジェクト5の奥行き方向の距離を、ポインタ全体の長さより近づければ、前記表示装置3に表現された3次元空間内の全てのオブジェクトをポインティングすることが可能である。このとき、前記ポインタ4のZ軸方向の並進移動は、前記キーボードのコントロールキー(Ctrlキー)201Aとは別のキー、たとえば、シフトキー(Shiftキー)を押しながら前記マウスのホイール202Aを+Z方向に回した場合は前記ポインタ4を3次元空間の+Z方向に並進移動させ、前記シフトキー(Shiftキー)を押しながら前記マウスのホイール202Aを−Z方向に回した場合は前記ポインタ4を3次元空間の−Z方向に並進移動させるようにすればよい。
このようなポインティング方法の一例として、図59の上段に示すように、操作者の視点から見て、3次元空間内の異なる奥行き位置にポインタ4およびオブジェクト5が表示されている場合を挙げる。このとき、−Z方向から前記3次元空間を見ている操作者の視点からは、前記オブジェクト5上に前記ポインタ4が重なって見えるが、前記ポインタ4がポインティングしている点(xp,yp,zp)と前記オブジェクト5は奥行き位置が異なるので、前記オブジェクト5はポインティングされていない。
この状態から、前記操作者が、たとえば、前記キーボード201のシフトキー(Shiftキー)を押しながら、前記マウスのホイール202Aを+Z方向に回したとする。このとき、前記ポインタ4は、たとえば、図59の中段に示すように、前記ポインタ4の形状、サイズを一定に保った状態で、+Z方向に並進移動し、前記ポインタ4とオブジェクト5の奥行き方向の距離が近くなる。
そして、図59の中段に示したような状態のときに、前記操作者が、たとえば、前記キーボード201のコントロールキー(Ctrlキー)201Aを押しながら、前記マウスのホイール202Aを+Z方向に回すと、前記ポインタ4は、たとえば、図59の下段に示すように、矢の先端の反対側の端の奥行き位置を一定に保った状態で前記矢の先端が奥に傾く。
このようにすれば、たとえば、前記表示装置3で表現されている3次元空間のZ軸方向、すなわち奥行きが大きく(広く)、前記ポインタ4を傾けるだけではポインティングできないオブジェクトがある場合でも、図59の中段に示したように、前記ポインタ4を奥行き方向に並進移動させることで、前記オブジェクト5をポインティングすることが可能になる。なお、図59では、操作者から見て奥(+Z方向)に並進移動させる例を示したが、手前(−Z方向)に並進移動させることもできることは言うまでもない。
なお、前記マウスのホイール202Aの回転に合わせて前記ポインタ4をZ軸方向に並進移動させるときには、たとえば、前記ホイール202Aのトータルの回転角度に合わせて、前記ポインタ4が連続的に移動するように表示させてもよいし、前記ホイール202Aの回転ステップと同期させて、前記ホイール202Aを1ステップ回転させる毎に前記ポインタ4をあらかじめ定めた距離ずつ段階的に移動するように表示させてもよい。
また、本実施例3−1の3次元ポインティング方法では、前記マウス202本体の2次元的な移動をXY平面内でのポインタ4の移動に反映させ、前記キーボード201のコントロールキー(Ctrlキー)201Aとマウス202のホイール202Aの回転操作の組み合わせを前記ポインタ4の奥行き方向の傾きに反映させている。また、図59に示したポインティング方法では、前記キーボード201のシフトキー(Shiftキー)とマウス202のホイール201Aの回転操作の組み合わせを前記ポインタ4の奥行き方向の並進移動に反映させている。このように、本実施例3−1の3次元ポインティング方法では、前記マウス202本体、およびキーボード201のキーとマウスのホイール202Aの回転操作の組み合わせで前記3次元空間内のあらゆる点をポインティングすることが可能である。またさらに、たとえば、前記キーボード201のコントロールキー(Ctrlキー)201Aやシフトキー(Shiftキー)以外のキーとマウスのホイール201Aの回転操作の組み合わせることで、前記ポインタ4をXY平面内で回転させることも可能である。このとき、前記ポインタ4のXY平面内での回転は、前記キーボード201のコントロールキー(Ctrlキー)やシフトキー(Shiftキー)とは別のキー、たとえば、オルトキー(Altキー)を押しながら前記マウスのホイール202Aを+Z方向に回した場合は前記ポインタ4を時計回りに回転させ、前記オルトキー(Altキー)を押しながら前記マウスのホイール202Aを−Z方向に回した場合は前記ポインタ4を反時計回りに回転させるようにすればよい。
図60は、本実施例3−1の3次元ポインティング方法の第2の応用例を説明するための模式図であり、ポインタよりも奥にあるオブジェクトをポインティングするときの3次元空間内の変化を示す正面図および右側面図である。なお、図60は、上段、中段、下段に3次元空間の3通りの状態を示しており、各段の間に示したような操作を行うことで、3次元空間内の状態が上段から中段、中段から下段へと変化する様子を示している図である。
前記ポインタをXY平面内で回転させるポインティング方法の一例として、図60の上段に示すように、操作者の視点から見て、3次元空間内の異なる奥行き位置にポインタ4およびオブジェクト5が表示されている場合を挙げる。
この状態から、前記操作者が、たとえば、前記キーボード201のオルトキー(Altキー)を押しながら、前記マウスのホイール202Aを+Z方向に回したとする。このとき、前記ポインタ4は、たとえば、図60の中段に示すように、前記ポインタ4の形状を保った状態で、時計回りに90度回転する。このとき、−Z方向から前記3次元空間を見ている操作者の視点からは、前記オブジェクト上に前記ポインタの矢の先端が重なって見えるが、前記ポインタがポインティングしている点と前記オブジェクトは奥行き位置が異なるので、前記オブジェクトはポインティングされていない。
そして、図60の中段に示したような状態のときに、前記操作者が、たとえば、前記キーボード201のコントロールキー(Ctrlキー)201Aを押しながら、前記マウスのホイール202Aを+Z方向に回すと、前記ポインタ4は、たとえば、図60の下段に示すように、矢の先端の反対側の端の奥行き位置を一定に保った状態で前記矢の先端が奥に傾く。また、図示は省略するが、図60の下段に示したような状態から、前記キーボードのコントロールキー(Ctrlキー)201Aを押しながら、前記マウスのホイール202Aを+Z方向に回すと、前記ポインタ4の傾きが大きくなり、前記ポインタ4の矢の先端(xp,yp,zp)が前記オブジェクト5と同じ奥行き位置に到達すると、前記オブジェクト5の色が変わり、ポインティングされていることが認識できる。
このように、前記ポインタ4のXY平面内での回転操作も加わることで、前記オブジェクトを、あらゆる方向からポインティングすることが可能となり、より実空間に近い操作感で前記ポインタ4を操作することができるようになる。
なお、前記マウスのホイール202Aの回転に合わせて前記ポインタ4をXY平面内で回転させて表示させるときには、たとえば、前記ホイール202Aのトータルの回転角度に合わせて、前記ポインタ4が連続的に回転するように表示させてもよいし、前記ホイール202Aの回転ステップと同期させて、前記ホイール202Aを1ステップ回転させる毎に前記ポインタ4をあらかじめ定めた角度ずつ段階的に回転ように表示させてもよい。
また、本実施例3−1では、図51に示したように、前記表示装置3として液晶ディスプレイ等の2次元表示装置を用いた場合を例に挙げたが、前記表示装置3としてDFDのような立体表示が可能な3次元表示装置を用いることで、より正確に、かつ直感的にポインタの奥行き位置を認識することが可能である。
図61および図62A、Bは、本実施例3−1の3次元ポインティング方法の第3の応用例を説明するための模式図であり、図61はシステムの構成例を示す図、図62Aおよび図62BはDFDの動作原理を説明する図である。
本実施例3−1の3次元ポインティング方法では、前記表示装置3は、3次元空間を表現することが可能であれば、どのような表示装置であっても構わないが、特に、DFDのような3次元表示装置(ディスプレイ)を用いることが好ましい。第1の実施の形態でも説明したように、前記DFDは、前記操作者(観察者)の視点から見て奥行き方向に重なる複数枚の表示面を備える表示装置である(たとえば特許第3022558号明細書や特許第3460671号明細書を参照)。
前記DFDの動作原理については第1の実施の形態で説明したとおりであるが、ここで再度説明する。説明を簡単にするために、図61に示すように、2枚の表示面301A,301Bが重ね合わさっているとする。このとき、前記ポインタ4およびオブジェクト5は、前記2枚の表示面301A,301Bの間の3次元空間内に奥行き位置を反映して表示される。
前記DFDに表示される前記ポインタ4やオブジェクト5は、たとえば、図62Aに示すように、操作者から見て手前の表示面301Aおよび奥の表示面301Bの両方に表示される。そしてこのとき、前記DFDが輝度変調型であれば、前記手前の表示面301Aのオブジェクト5Aを輝度LA、前記奥の表示面301Bのオブジェクト5Bを輝度LBで表示すると、前記3次元空間内の、前記手前の表示面301Aからの距離と前記奥の表示面301Bからの距離の比がLB:LAの奥行き位置にオブジェクト5が表示されているように見える。
また、たとえば、図62Bに示すように、1つのオブジェクト5の表示領域の中で輝度を連続的に変化させることで、1つのオブジェクト5を奥行き方向に傾けて表示させることもできる。図62Bに示した例では、前記手前の表示面301Aのオブジェクト5Aの輝度を紙面上から下に向かうにつれて大きくなるようにし、前記奥の表示面301Bのオブジェクト5Bの輝度を紙面下から上に向かうにつれて大きくなるようにしている。そのため、前記操作者は、紙面上方が奥、紙面下方が手前に傾いた立体的なオブジェクト5を観察することができる。
また、詳細な説明は省略するが、前記DFDが透過型の場合、たとえば、手前の表示面301Aのオブジェクト5Aを表示している領域の各点(画素)の透過度を調節することで、前記輝度変調型のDFDと同様に、前記手前の表示面301Aと奥の表示面301Bの間の任意の奥行き位置に前記ポインタ4やオブジェクト5の立体像を表示することができる。
表示装置としてDFDを用いている場合は、前記表示装置3に表示されるポインタ4の幅によって奥行きを認識するだけでなく、ポインタ4の奥行きが変わらない一端とポインタ4の先がある奥行き位置を比較することで、直感的、かつ、正確にポインタ4の奥行き位置が認識できる。また、DFDを用いる場合、DFDの手前の表示面、もしくは奥の表示面をポインタ4の奥行きが変わらない一端のある奥行き位置とすると、操作者は、より正確、かつ直感的にポインタ4の奥行き位置が認識できるという大きな効果がある。
また、一般的なCRTディスプレイや液晶ディスプレイのような2次元表示装置の場合、前記表現する前記3次元空間を2次元平面に射影して表示する処理が必要であるが、前記DFDのような3次元表示装置の場合、前記3次元空間の奥行き方向の位置に応じて各表示面上の点(画素)の輝度の比率を設定すればよいだけなので、前記ポインティング装置(システム制御装置1)にかかる負荷を低減できる。また、一般的なCRTディスプレイや液晶ディスプレイのような2次元表示装置の場合、前記表示する前記3次元空間を2次元平面に射影して表示するので、操作者によっては、実空間と同じ感覚でポインティング操作をすることは難しい場合があるが、前記DFDのような3次元表示装置を用いることで、より実空間に近い感覚でポインティング操作をすることができる。これらのことから、前記DFDのような3次元表示装置を用いることで、前記操作者は、一般的な2次元ディスプレイを用いてポインティング操作をする場合に比べて、よりよい精度と速さで3次元の奥行きをポインティング可能となる。
また、図61では、前記入力装置2としてキーボード201とペンタブレットを組み合わせて用いる場合を示しており、第1の実施の形態の技術を適用できる。すなわち、前記ペンタブレットは、検出手段(デジタイザ)203A上で入力ペン(電子ペン)203Bを操作することにより、前記入力ペン203Bのペン先の動き、筆圧等を検出する入力デバイスである。そのため、たとえば、前記入力ペン203Bのペン先の動きをXIYI平面内でのポインタ4の移動量、前記キーボード201のコントロールキー(Ctrlキー)を押しているときの筆圧の大きさを+Z方向の移動量、前記キーボード201のシフトキー(Shiftキー)を押しているときの筆圧の大きさを−Z方向の移動量に反映させれば、前記マウス202を用いたときと同様の操作感で前記ポインタ4によるポインティングが可能となる。
また、第2の実施の形態の技術を適用することもできる。この場合、前記入力ペン203Bの筆圧の大きさの代わりに、たとえば、前記入力ペン203bで前記検出手段203Aを押した回数に応じて前記ポインタ4の傾く量を決定する。
また、前記ペンタブレットの検出手段(デジタイザ)203Aを前記表示装置3(DFD)の表示面301A,301Bと重ね合わせれば、前記操作者は、前記表示面301A,301B上で前記入力ペン203Bを操作し、ポインティングをすることができるので、操作者は、さらに正確、かつ直感的にポインタ4の奥行き位置を認識できる。
また、本実施例3−1の3次元ポインティング方法は、前記ペンタブレットの代わりに、たとえば、タッチパネルのように、前記表示装置3と一体化可能な入力装置を用いてポインティングする場合にも適している。前記タッチパネルの場合、たとえば、前記入力ペン203Bの代わりに操作者の指で前記表示装置3の画面に触れることで前記ポインタ4を操作することもできるので、前記入力ペン203Bを用いるペンタブレットよりも、より直感的に前記ポインタ4を操作することができる。
また、本実施例3−1の3次元ポインティング方法では、たとえば、図52の下段等に示したように、前記ポインタ4を傾けるときに、ポインティングしている点のXY座標(xp,yp)を一定に保ち、前記ポインティングしている点が奥行き方向に延びる直線状の軌跡をたどる例を挙げて説明したが、これに限らず、前記ポインティングしている点が種々の軌跡をたどるように傾けてもよい。
図63A乃至図66Bは、本実施例3−1の3次元ポインティング方法の第4の応用例を説明するための模式図であり、図63A,図63B,図64A,図64Bはそれぞれ直線状の軌跡をたどる場合の応用例を示す図、図65A,図65B,図66A,図66Bはそれぞれ円弧状の軌跡をたどる場合の応用例を示す図である。
なお、図63A,図63B,図64A,図64B,図65A,図65B,図66A,図66Bの各図は、軌跡をわかりやすくするために、3次元空間をXZ平面側から見た図(右側面図)を示している。
前記ポインティングしている点(xp,yp,zp)を奥行き方向に移動させるときには、図52の下段等に示したようなXY座標(xp,yp)を一定に保った移動に限らず、たとえば、図63Aに示すように、前記ポインティングしている点が+Z方向への移動に比例して+X方向にも移動するような軌跡をたどるようにしてもよい。また逆に、図63Bに示すように、前記ポインティングしている点が+Z方向への移動に比例して−X方向に移動するような軌跡をたどるようにしてもよい。また、図63Aおよび図63Bでは、前記ポインタ全体の長さを保った状態で傾ける場合を示しているが、これに限らず、図64Aおよび図64Bに示すように、前記ポインタの一端の3次元的な位置を固定した状態で前記ポインティングしている点を奥行き方向に移動させ、ポインタ全体の長さを変化させながら奥行き方向に傾けることも可能である。
また、前記ポインティングしている点(xp,yp,zp)を奥行き方向に移動させるときの軌跡は、前記直線状の軌跡に限らず、たとえば、図65Aおよび図65Bに示すように、3次元空間上のある点(xp,yc,zc)からy=ypのXZ平面内に半径rで描かれる円弧状の軌跡をたどるようにしてもよい。また、図65Aおよび図65Bでは、前記ポインタ全体の長さを保った状態で傾ける場合を示しているが、これに限らず、図66Aおよび図66Bに示すように、前記ポインタの一端の3次元的な位置を固定した状態で前記ポインティングしている点を奥行き方向に移動させ、ポインタ全体の長さを変化させながら奥行き方向に傾けることも可能である。
また、前記ポインティングしている点(xp,yp,zp)を奥行き方向に移動させるときの軌跡は、前記各図で示したような軌跡に限らず、どのような軌跡であってもよい。
[実施例3−2]
図67乃至図69は、本発明による実施例3−2の3次元ポインティング方法を説明するための模式図であり、図67はポインタよりも奥にあるオブジェクトをポインティングするときの3次元空間内の変化を示す正面図および右側面図、図68Aは本実施例3−2の3次元ポインティング方法で問題となる点を説明する図、図68Bは図68Aに示した問題点を解決する方法の一例を説明する図、図69は図68Bに示した解決方法の変形例を説明する図である。なお、図67は、上段、中段、下段に3次元空間の3通りの状態を示しており、各段の間に示したような操作を行うことで、3次元空間内の状態が上段から中段、中段から下段へと変化する様子を示している図である。なお、図68A,図68B,図69の各図は、本実施例3−2の特徴をわかりやすくするために、3次元空間をXZ平面側から見た図(右側面図)のみを示している。
前記実施例3−1では、前記ポインタ4のポインティングしている点(xp,yp,zp)とは異なる部分の奥行き位置を一定に保った状態で、前記ポインティングしている点があらかじめ定められた軌跡をたどるように、前記ポインタ4を奥行き方向に傾ける3次元ポインティング方法について説明した。そこで、本実施例3−2では、前記実施例3−1とは異なる傾けかたの例として、前記ポインタ4を3次元空間上のある点(xc,yc,zc)を中心とし、かつ、前記ポインタ4上の各点と前記中心の距離を一定に保った状態で回転させることで、前記ポインタ4の傾きを認識させ、かつ、ポインティングしている位置を認識させる3次元ポインティング方法について説明する。
なお、本実施例3−2の場合も、3次元ポインティング方法を実現させるシステム構成において、前記入力装置2には、キーボードやマウス、ペンタブレット、タッチパネル、ジョイスティック等既存の種々の入力デバイスを用いることが可能であるが、図51に示したように、キーボード201とマウス202を用いているとする。また、前記表示装置3も同様に、CRTや液晶ディスプレイ等の2次元表示装置、DFD等の3次元表示装置等の表示装置を用いることが可能であるが、図51に示したように液晶ディスプレイ(2次元表示装置)を用いているとする。
また、前記表示装置3に表現される3次元空間上で、たとえば、図51に示すように、表示面301をZ=0とし、前記表示面301がXY平面となり、かつ、操作者から見て表示面から奥に向かう方向をZ軸の正の方向とする3次元座標系XYZをとっているとする。このとき、前記3次元空間内に表示されたポインタ4をXY平面内での移動方向および移動距離は、前記マウス202本体を机上等の平面上で2次元的に動かしたときの移動方向および移動距離に基づいて算出(決定)する。
また、奥行き方向(Z方向)の移動方向および移動距離は、たとえば、図51に示したように、前記キーボード201のコントロールキー(Ctrlキー)等のあらかじめ定められたキー201Aを押しながら前記マウス202のホイール202Aを回転させたときの回転方向と回転角度に基づいて算出(決定)する。このとき、たとえば、図51に示したように、前記マウスのホイール202Aを+Z方向に回した場合は前記ポインタのポインティングを行う部分を3次元空間の+Z方向、すなわち操作者から見て奥に向かう方向に移動させる。そして、前記マウスのホイール202Aを−Z方向に回した場合は前記ポインタのポインティングを行う部分を3次元空間の−Z方向、すなわち操作者から見て手前に向かう方向に移動させる。
また、本実施例3−2の3次元ポインティング方法では、前記ポインタの形状は矢印形とし、矢の先端部分がポインティングしている点(xp,yp,zp)を表しているとする。
本実施例3−2における3次元ポインティング方法の一例として、図67の上段に示すように、3次元空間内の異なる奥行き位置にポインタ4およびオブジェクト5が表示されている場合のポインティング方法を挙げる。このとき、−Z方向から前記3次元空間を見ている操作者の視点からは、前記オブジェクト5上に前記ポインタ4が重なって見えるが、前記ポインタ4がポインティングしている点(xp,yp,zp)と前記オブジェクト5は奥行き位置が異なるので、前記オブジェクト5はポインティングされていない。
この状態から、前記操作者が、たとえば、前記キーボードのコントロールキー(Ctrlキー)201Aを押しながら、前記マウスのホイール202Aを+Z方向に回したとする。このとき、前記ポインタ4は、たとえば、図67の中段に示したように、前記3次元空間内のある点(xc,yc,zc)を中心とする半径rの円周上を、前記ポインタ4の各点と前記点(xc,yc,zc)との距離を保った状態で、ポインティングしている点(xp,yp,zp)が奥(+Z方向)に移動するように回転する。
このように、前記キーボードのコントロールキー201Aを押しながら、前記マウスのホイール202Aを+Z方向に回すことにより、前記ポインタ4は、ポインティングしている点(矢印の矢の部分)側が操作者から見て遠くなるように傾く。またこのとき、前記ポインタの形状およびサイズを保ちながら回転させれば、前記ポインタの矢の部分の幅が狭く表示される。この結果、前記操作者は、ポインタ4が奥行き方向(+Z方向)に傾いたことを認識できると同時に、前記ポインタ4の形状から、前記ポインタ4が操作前の位置よりも奥をポインティングしていることも認識できる。
そして、図67の中段に示したような状態から、さらにもう一度、前記キーボードのコントロールキー201Aを押しながら、前記マウスのホイール202Aを+Z方向に回したとする。このときも、前記ポインタは、たとえば、図67の下段に示したように、前記3次元空間内のある点(xc,yc,zc)を中心とする半径rの円周上を、前記ポインタ4の各点と前記点(xc,yc,zc)との距離を保った状態で、ポインティングしている点(xp,yp,zp)が奥(+Z方向)に移動するように回転する。この結果、前記操作者は、ポインタ4がさらに奥行き方向(+Z方向)に傾いたことを認識できると同時に、前記ポインタ4の形状から、前記ポインタ4が操作前の位置よりもさらに奥をポインティングしていることも認識できる。
またこのとき、前記キーボードのコントロールキー201Aを押しながら、前記マウスのホイール202Aを+Z方向に回すという操作を続けた結果、図67の下段に示したように、前記ポインタ4のポインティングしている点(矢の先端)が前記オブジェクト5と同じ奥行き位置に到達し、前記ポインタ4の先端のxyz座標と前記オブジェクト5の表面上または内部の任意の点のxyz座標が一致すると、前記オブジェクト5は、前記ポインタ4によってポインティングされた状態になる。そのため、たとえば、図67の下段に示したように、前記オブジェクト5の色を変えて、ポインティングされている状態であることを表す。このようにすれば、前記操作者は、前記ポインタ4の形状からポインタの奥行き方向の位置、およびポインタ4がポインティングしている奥行き方向の位置を直観的、かつ、正確に認識できる。また、前記ポインタ4によってポインティングされたときにオブジェクト5の色を変えることで、前記オブジェクト5と重なっているポインタ4が前記オブジェクト5をポインティングしているか否かが直観的、かつ、正確に認識できる。
しかしながら、本実施例3−2の3次元ポインティング方法の場合、前記3次元空間内のある点(xc,yc,zc)を中心とする半径rの円周上を、前記ポインタ4の各点と前記点(xc,yc,zc)との距離を保った状態で、ポインティングしている点(xp,yp,zp)が奥(+Z方向)または手前(−Z方向)に移動するように前記ポインタ4を角度θだけ回転させている。そのため、図67の中段に示したように、前記ポインタ4を奥に傾けたときに、傾けた後のポインタ4の一部(矢の先端の反対側部分)の奥行き位置が、傾ける前の奥行き位置よりも手前になってしまう。このとき、前記ポインタの奥行き位置が十分に大きければ、傾けた後の前記ポインタの矢の先端の反対側の部分が前記表示装置3に表現された3次元空間内に存在し、表示させることができる。しかしながら、たとえば、図68Aに示すように、前記ポインタ4が表示面301上、言い換えると前記表示装置で表現されている3次元空間と前記操作者がいる実空間の境界面上またはその近傍に表示されていると、前記ポインタ4が回転して傾いたときに、前記ポインタ4の矢の先端の反対側の部分が前記表示装置3に表現された3次元空間の外側に出てしまい、表示することができない。そのため、前記ポインタ4の形状が、矢の先端の反対側の部分が欠けた形状になってしまうという問題がある。
そこで、本実施例3−2の3次元ポインティング方法では、前記ポインタ4を回転させて奥行き方向に傾けた結果、ポインティングを行わない一端が表示装置で表現できない空間にはみ出してしまう場合、図68Bに示すように、ポインタ4のはみ出した部分を前記3次元空間のXY平面に射影したポインタを生成し、表示させる。このようにすることで、前記3次元空間からはみ出した部分が欠けるのを防ぎ、ポインタの形状を保つことができる。
また、図68Bに示したようにポインタ4のはみ出した部分を前記3次元空間のXY平面に射影する代わりに、図69に示すように、前記ポインタ4上の前記3次元空間の境界面301上の点を支点として、前記はみ出した部分を、前記3次元空間の境界面(XY平面)に折り曲げたポインタを生成し、表示させてもよい。
また、本実施例3−2の3次元ポインティング方法を、前記システム制御装置1(ポインティング装置)に実行させるときには、図55に示したような、ステップ601からステップ608の処理を実行させればよい。ただし、本実施例3−2の3次元ポインティング方法の場合、前記ポインタを傾けて表示させるステップ606では、前記ステップ605の算出結果に基づいてポインタを傾けたときに、前記3次元空間からはみ出す部分があるか否かを判定し、はみ出す部分がある場合は、はみ出した部分をXY平面(境界面)に射影するか折り曲げるかの操作をしたポインタを生成し、前記表示装置3に表示させる。
また、図67では、前記操作者から見て、前記オブジェクト5の奥行き位置よりも手前に前記ポインタ4があり、前記ポインタ4を奥(+Z方向)に傾ける場合の操作を説明したが、本実施例3−2の3次元ポインティング方法では、前記ポインタ4を手前(−Z方向)に傾けることもできる。
以上説明したように、本実施例3−2の3次元ポインティング方法によれば、前記3次元空間内のある点(xc,yc,zc)を中心とする半径rの円周上を、前記ポインタ4の各点と前記点(xc,yc,zc)との距離を保った状態で、ポインティングしている点(xp,yp,zp)が奥(+Z方向)または手前(−Z方向)に移動するように前記ポインタ4を回転させて前記表示装置3に表示させることにより、前記ポインタ4を見た操作者が前記ポインタ4の奥行き位置および前記ポインタ4がポインティングしている奥行き位置を直観的、かつ、正確に認識できる。
また、このようなポインタの傾けかたの場合、前記ポインタ4の3次元的な長さが変化しないため、操作者に対して、より実物体に近い、自然なオブジェクト表示を呈示できる。
また、本実施例3−2の3次元ポインティング方法では、前記入力装置2としてキーボード201とマウス202を用い、前記キーボードのコントロールキー201Aとマウスのホイール202Aの回転操作を組み合わせることで、前記ポインタ4を奥行き方向に傾ける例を示したが、これに限らず、キーボード201の他のキーとホイール202Aの組み合わせであってもよいし、ホイール202Aの代わりにキーボード201のカーソルキー(方向キー)と組み合わせてもよい。また、その他にも、たとえば、ペンタブレットやタッチパネル、ジョイスティック等であらかじめ定められた操作をしたときに傾くようにしてもよい。また、前記表示装置3も、液晶ディスプレイ等の2次元表示装置に限らず、DFDのような3次元表示装置であっても構わない。
また、本実施例3−2の3次元ポインティング方法では、前記ポインタ4として、矢印形状のポインタを例に挙げたが、これに限らず、奥行き方向へ傾けて表示させたときの傾きの方向およびポインティングしている点(位置)が視覚的に認識できる形状であれば、どのような形状であってもよい。
また、前記オブジェクト5も、本実施例3−2では、図51等に示したようなフォルダアイコン型のオブジェクトを例に挙げたが、これに限らず、データファイルや実行ファイルのアイコン(ショートカット)やウィンドウ等、前記ポインタでポインティング可能な形状であれば、どのような形状のオブジェクトでもよい。
また、本実施例3−2のポインティング方法では、たとえば、前記ポインタ4の視覚的な形状の変化から前記ポインタ4の奥行き方向のポインティング位置を認識できるが、たとえば、前記3次元空間内に、前記ポインタ4がどれくらい傾いたかを操作者に認識させる指標となるリファレンスを前記表示装置3に表示させてもよい。
なお、本実施例において、回転の中心は本実施例に示した位置にあるとは限らず、表現されている3次元空間の内外であってもかまわないものとする。
また、本実施例3−2の3次元ポインティング方法の場合も、図67に示したように、前記ポインタ4を回転させて傾けるだけでなく、図59に示したように前記ポインタ4の形状を保ったまま奥行き方向に並進移動させる操作が加わっていてもよいし、図60に示したように前記ポインタ4をXY平面内で回転させる操作が加わっていてもよい。
また、本実施例3−2の3次元表示方法では、前記ポインタを回転させる前記3次元空間内のある点(xc,yc,zc)は、図67に示したような位置に限らず、任意の位置にとることができる。またこのとき、前記点(xc,yc,zc)の位置は、前記表示装置3に表現されている3次元空間内、あるいは3次元空間外のどちらであっても構わない。またさらに、前記点(xc,yc,zc)の位置は、固定しておく必要はなく、ポインタ4の回転に合わせて3次元空間内を移動させても構わない。
図70A、Bは、本実施例3−2の3次元ポインティング方法の応用例を説明するための模式図であり、図70Aは回転の中心となる点が3次元空間内で固定されている場合の例を示す図、図70Bは回転の中心となる点が3次元空間内で移動する場合の例を示す図である。
本実施例3−2の3次元ポインティング方法は、前記3次元空間内のある点(xc,yc,zc)を中心とする半径rの円周上を、前記ポインタ4の各点と前記点(xc,yc,zc)との距離を保った状態で、ポインティングしている点(xp,yp,zp)が奥(+Z方向)または手前(−Z方向)に移動するように前記ポインタ4を回転させることで、前記ポインタ4を奥または手前に傾けて表示する。そのため、前記ポインタ4が奥または手前に傾いていることや、ポインティングしている奥行き位置が認識できれば、どのような回転のさせかたでもよい。
最もシンプルな回転方法は、図70Aに示したように、ある奥行き位置に表示されたポインタを回転させるために、中心となる点(xc,yc,zc)を設定したときに、その位置を固定した状態で前記ポインタを回転させる方法である。
しかしながら、本実施例3−2の3次元ポインティング方法は、このようなポインタの回転方法に限定されるものではなく、たとえば、図70Bに示したように、ある奥行き位置に表示されたポインタ4を回転させるために、中心となる点(xc,yc,zc)を設定したときに、前記ポインタ4の回転にあわせて、前記点(xc,yc,zc)を+X方向にΔxずつ移動させてもよい。また、図示は省略するが、前記ポインタ4の回転にあわせて、前記点(xc,yc,zc)を−X方向に移動させてもよい。
[実施例3−3]
図71乃至図73は、本発明による実施例3−3の3次元ポインティング方法を説明するための模式図であり、図71はポインタよりも奥にあるオブジェクトをポインティングするときの3次元空間内の変化を示す正面図および右側面図、図72は図71の3次元空間内の変化の斜視図、図73は本実施例3−3の3次元ポインティング方法をシステム制御装置(ポインティング装置)で実行するときの処理手順を説明するためのフロー図である。なお、図71は、上段、中段、下段に3次元空間の3通りの状態を示しており、各段の間に示したような操作を行うことで、3次元空間内の状態が上段から中段、中段から下段へと変化する様子を示している図である。また、図72も上段、中段、下段に3通りの状態を示しており、それぞれ、図71の上段、中段、下段の各状態の3次元空間内の様子を斜視図で示している。
前記実施例3−1や実施例3−2では、前記ポインタ4を奥行き方向に傾けることで、前記ポインタ4の、ポインティングしている点がある部分と、前記ポインティングしている点と反対側の端部の奥行き位置を変え、ポインティングしている奥行き位置の認識を容易、かつ正確にしている。このとき、前記ポインタ4のポインティングしている点がある部分と、前記ポインティングしている点と反対側の端部の奥行き位置を変えることで、ポインティングしている奥行き位置を認識するという観点で考えれば、前記実施例3−1や実施例3−2で説明したように、前記ポインタの全体の長さや形状を一定に保った状態で奥行き方向に傾けるだけでなく、前記ポインティングしている点の周辺のみを奥行き方向(+Z方向または−Z方向)に移動させることでも、ポインティングしている奥行き位置の認識することは可能である。そこで、本実施例3−3ではポインティングしている点の周辺のみを奥行き方向(+Z方向または−Z方向)に移動させる3次元ポインティング方法について説明する。
なお、本実施例3−3の場合も、3次元ポインティング方法を実現させるシステム構成において、前記入力装置2には、キーボードやマウス、ペンタブレット、タッチパネル、ジョイスティック等既存の種々の入力デバイスを用いることが可能であるが、図51に示したように、キーボード201とマウス202を用いているとする。また、前記表示装置3も同様に、CRTや液晶ディスプレイ等の2次元表示装置、DFD等の3次元表示装置等の表示装置を用いることが可能であるが、図51に示したように液晶ディスプレイ(2次元表示装置)を用いているとする。
またこのとき、前記表示装置3に表現される3次元空間上で、たとえば、図51に示すように、表示面301をZ=0とし、前記表示面301がXY平面となり、かつ、操作者から見て表示面301から奥に向かう方向をZ軸の正の方向とする3次元座標系XYZをとっているとする。このとき、前記3次元空間内に表示されたポインタ4のXY平面内での移動方向および移動距離は、前記マウス202本体を机上等の平面上で2次元的に動かしたときの移動方向および移動距離に基づいて算出(決定)する。
また、奥行き方向(Z方向)の移動方向および移動距離は、たとえば、図51に示したように、前記キーボード201のコントロールキー(Ctrlキー)等のあらかじめ定められたキー201Aを押しながら前記マウス202のホイール202Aを回転させたときの回転方向と回転角度に基づいて算出(決定)する。このとき、たとえば、図51に示したように、前記マウスのホイール202Aを+Z方向に回した場合は前記ポインタのポインティングを行う部分を3次元空間の+Z方向、すなわち操作者から見て奥に向かう方向に移動させる。そして、前記マウスのホイール202Aを−Z方向に回した場合は前記ポインタのポインティングを行う部分を3次元空間の−Z方向、すなわち操作者から見て手前に向かう方向に移動させる。
また、本実施例3−3の3次元ポインティング方法では、前記ポインタ4の形状は矢印形とし、矢の先端部分がポインティングしている点(xp,yp,zp)を表しているとする。そして、奥行き方向のポインティングをするときには、前記矢の部分のみが奥行き方向(+Z方向または−Z方向)に移動し、矢の先端の反対側の部分は奥行き位置を変えないようにする。また、前記矢の部分が奥行き方向に移動した場合、前記矢の部分と矢の先端の反対側の部分を接続して一体化することで、1つのポインタとして認識できるようにする。
本実施例3−3における3次元ポインティング方法の一例として、図71の上段および図72の上段に示すように、3次元空間内の異なる奥行き位置にポインタ4およびオブジェクト5が表示されている場合のポインティング方法を挙げる。このとき、−Z方向から前記3次元空間を見ている操作者の視点からは、前記オブジェクト5上に前記ポインタ4が重なって見えるが、前記ポインタ4がポインティングしている点(xp,yp,zp)と前記オブジェクト5は奥行き位置が異なるので、前記オブジェクト5はポインティングされていない。
この状態から、前記操作者が、たとえば、前記キーボードのコントロールキー201Aを押しながら、前記マウスのホイール202Aを+Z方向に回したとする。このとき、前記ポインタ4は、たとえば、図71の中段および図72の中段、図71の下段および図72の下段に示すように、ポインティングしている点(xp,yp,zp)のある矢の部分のみが奥(+Z方向)に並進移動する。またこのとき、前記ポインタ4は、前記矢の部分と、奥行き位置が変わらない矢の先端の反対側の部分は、図71の中段および図72の中段に示したように接続されており、矢の部分と矢の先端の反対側の部分の間の軸部分が延びて折れ曲がったような形状になる。
このように、前記キーボードのコントロールキー201Aを押しながら、前記マウスのホイール202Aを+Z方向に回すことにより、前記ポインタ4は、ポインティングしている点(矢の部分)側が操作者から見て遠くなるように傾く。またこのとき、前記ポインタの形状およびサイズを保ちながら回転させれば、前記ポインタの矢の部分の幅が狭く表示される。この結果、前記操作者は、ポインタ4が奥行き方向(+Z方向)に傾いたことを認識できると同時に、前記ポインタ4の形状から、前記ポインタ4が操作前の位置よりも奥をポインティングしていることも認識できる。
また、前記キーボードのコントロールキー201Aを押しながら、前記マウスのホイール202Aを+Z方向に回すという操作を続けた結果、図71の下段および図72の下段に示すように、前記ポインタ4のポインティングしている点(xp,yp,zp)が前記オブジェクト5と同じ奥行き位置に到達し、前記ポインタ4の先端のxyz座標と前記オブジェクト5の表面上または内部の任意の点のxyz座標が一致すると、前記オブジェクト5は、前記ポインタ4によってポインティングされた状態になる。そのため、たとえば、図71の下段に示したように、前記オブジェクト5の色を変えて、ポインティングされている状態であることを表す。このようにすれば、前記操作者は、前記ポインタ4の形状からポインタの奥行き方向の位置、およびポインタ4がポインティングしている奥行き方向の位置を直観的、かつ、正確に認識できる。また、前記ポインタ4によってポインティングされたときにオブジェクト5の色を変えることで、前記オブジェクト5と重なっているポインタ4が前記オブジェクト5をポインティングしているか否かが直観的、かつ、正確に認識できる。
このような本実施例3−3の3次元ポインティング方法を、前記システム制御装置1(ポインティング装置)に実行させるときには、図73に示したような、ステップ601からステップ604、ステップ607からステップ608、ステップ609からステップ610の処理を実行させればよい。なお、図73に示したステップ601からステップ604、ステップ607からステップ608は、図55に示した処理のステップ601からステップ604、ステップ607からステップ608と同じ処理でよいので、詳細な説明は省略する。
また、図73に示したステップ609は、図55に示した処理のステップ605に相当する処理を行うステップであり、本実施例3−3の3次元ポインティング方法の場合、前記ポインタ4のポインティングを行う部分(ポインティング部)の奥行き方向の移動方向(+Z方向または−Z方向)、および移動量を算出する。
また、図73に示したステップ610は、図55に示した処理のステップ606に相当する処理を行うステップであり、本実施例3−3の3次元ポインティング方法の場合、前記ポインタ生成手段103には、前記ポインタ4をポインティングしている部分としていない部分に分割し、前記ポインティングしている部分のみ奥行き方向の位置を変え、ポインティングしている部分としていない部分を連結したポインタ4を生成させ、前記表示装置3に表示させる。
以上説明したように、本実施例3−3の3次元ポインティング方法によれば、前記ポインタをポインティングしている部分としていない部分に分割し、前記ポインティングしている部分のみ奥行き方向の位置を変え、ポインティングしている部分としていない部分を連結したポインタを表示させることで、前記ポインタの奥行き位置を正確に、かつ直感的に認識することができる。
また、本実施例3−3の3次元ポインティング方法を前記システム制御装置1(ポインティング装置)に実行させる場合、前記ポインタ生成手段103では、前記ポインタをポインティングしている部分としていない部分に分割する、前記ポインティングしている部分のみ奥行き方向の位置を変える、ポインティングしている部分としていない部分を連結して1つのポインタにするという、比較的単純な計算処理によりポインタを生成することができる。そのため、前記実施例3−1や実施例3−2のようにポインタ上の各点の座標を3次元的に変換するポインタの生成方法に比べ、ポインタ生成処理の負荷が低減し、高速かつなめらかに変化するポインタ表示が容易になる。
また、図71では、前記操作者から見て、前記オブジェクト5の奥行き位置よりも手前に前記ポインタ4があり、前記ポインタ4を奥(+Z方向)に傾ける場合の操作を説明したが、本実施例3−3の3次元ポインティング方法では、前記ポインタ4を手前(−Z方向)に傾けることもできる。
図74A〜Dは、本実施例3−3の3次元ポインティング方法におけるポインタの連結方法を説明するための模式図であり、図74A,図74B,図74C,図74DはそれぞれYZ平面側から見たポインタの連結方法を示す図である。
本実施例3−3の3次元ポインティング方法のように、奥行き位置が異なるポインティングしている部分としていない部分を連結して、1つのポインタ4にするときには、たとえば、図71の下段や図74Aに示したように、平面で連結すると、前記システム制御装置1におけるポインタ生成処理が楽になる。しかしながら、本実施例3−3の3次元ポインティング方法は、このようなポインタの連結方法を限定するものではなく、図74Bに示すように、連結部(折れ曲がり部)が曲面になっていてもよい。
また、ポインティングしている部分と連結部の接続のしかた、およびポインティングしていない部分と連結部の接続のしかたも、たとえば、図74Cに示すように、ポインティングしている部分と連結部の接続はなめらかな接続にし、ポインティングしていない部分と連結部の接続は折り曲げた接続にしてもよい。また逆に、図74Dに示すように、ポインティングしている部分と連結部の接続は折り曲げた接続にし、ポインティングしていない部分と連結部の接続はなめらかな接続にしてもよい。
また、本実施例3−3の3次元ポインティング方法では、前記ポインタ4をポインティングしている部分としていない部分に分割し、前記ポインティングしている部分のみ奥行き方向の位置を変え、ポインティングしている部分としていない部分を連結したポインタを生成し、表示させればよいので、前記各図に示したような連結方法に限らず、種々の連結方法を適用することが可能である。
図75乃至図78Bは、本実施例3−3の3次元ポインティング方法の応用例を説明するための模式図であり、図75,図76A,図76Bはそれぞれポインティングする部分の形状を保った状態で移動させる場合の応用例を示す図、図77A,図77B,図78A,図78Bはそれぞれポインティングする部分の形状を変化させる場合の応用例を示す図である。なお、図75,図76A,図76B,図77A,図77B,図78A,図78Bの各図は、軌跡をわかりやすくするために、3次元空間をXZ平面側から見た図(右側面図)を示している。
前記ポインティングしている部分を奥行き方向に移動させるときには、図71の下段等に示したような、前記ポインティングしている点(xp,yp,zp)が+Z方向への移動に比例して+X方向に移動するような軌跡をたどるように移動させる移動に限らず、たとえば、図75に示すように、前記ポインティングしている点(xp,yp,zp)が+Z方向への移動に比例して−X方向に移動するような軌跡をたどるように移動させてもよい。
また、前記ポインティングしている点(xp,yp,zp)を奥行き方向に移動させるときの軌跡は、直線状の軌跡に限らず、たとえば、図76Aおよび図76Bに示したように、前記ポインティングしている点(xp,yp,zp)を、前記3次元空間内のある点(xc,yc,zc)を中心とする半径rの円弧状の軌跡をたどるように移動させてもよい。
また、図71,図75,図76Aおよび図76Bでは、前記ポインティングしている部分を奥行き方向に移動させるときに、前記ポインティングしている部分の形状を一定に保ったまま移動させ、そのときのポインティングしている部分としていない部分の奥行き位置に応じて連結しているが、これに限らず、図77A,図77B,図78A,および図78Bに示すように、前記ポインティングしている部分としていない部分をYZ平面に平行な面で連結し、前記ポインティングしている点(xp,yp,zp)を移動させるときの軌跡に応じて、前記ポインティングしている部分を拡大あるいは縮小したり、長さを変えたりしてもよい。
また、前記ポインティングしている点(xp,yp,zp)を奥行き方向に移動させるときの軌跡は、前記各図で示したような軌跡に限らず、どのような軌跡であってもよい。
また、本実施例3−3の3次元ポインティング方法では、前記入力装置2としてキーボード201とマウス202を用い、前記キーボード201のコントロールキー201Aとマウス202のホイール202Aの回転操作を組み合わせることで、前記ポインタ4を奥行き方向に傾ける例を示したが、これに限らず、キーボード201の他のキーとホイール202Aの組み合わせであってもよいし、ホイール202Aの代わりにキーボード201のカーソルキー(方向キー)と組み合わせてもよい。また、その他にも、たとえば、ペンタブレットやタッチパネル、ジョイスティック等であらかじめ定められた操作をしたときに傾くようにしてもよい。また、前記表示装置3も、液晶ディスプレイ等の2次元表示装置に限らず、DFDのような3次元表示装置であっても構わない。
また、本実施例3−3の3次元ポインティング方法では、前記ポインタ4として、矢印形状のポインタを例に挙げたが、これに限らず、ポインティング部分を奥行き方向に移動させたときの移動方向およびポインティングしている点(位置)が視覚的に認識できる形状であれば、どのような形状であってもよい。
また、前記オブジェクトも、本実施例3−3では、図51等に示したようなフォルダアイコン型のオブジェクトを例に挙げたが、これに限らず、データファイル矢実行ファイルのアイコン(ショートカット)やウィンドウ等、前記ポインタでポインティング可能な形状であれば、どのような形状のオブジェクトでもよい。
また、本実施例3−3のポインティング方法では、たとえば、前記ポインタ4の視覚的な形状の変化から前記ポインタ4の奥行き方向のポインティング位置を認識できるが、たとえば、前記3次元空間内に、前記ポインタ4のポインティングを行う部分がどれくらい奥行き方向に移動したかを操作者に認識させる指標となるリファレンスを前記表示装置3に表示させてもよい。
また、本実施例3−3の3次元ポインティング方法の場合も、図71に示したように、前記ポインタ4のポインティングを行う部分のみを奥行き方向に並進移動させる操作の他に、図59に示したように前記ポインタ4の形状を保ったまま奥行き方向に並進移動させる操作が加わっていてもよいし、図60に示したように前記ポインタ4をXY平面内で回転させる操作が加わっていてもよい。
また、前記各実施例で説明した3次元ポインティング方法を実行するポインティング装置は、前述のように、特殊な装置である必要はなく、たとえば、コンピュータとプログラムによって実現することができる。このとき、前記プログラムは、前記各実施例で説明した処理をコンピュータに実行させる命令が記述されていればよく、磁気的または電気的、あるいは光学的のいずれの記録媒体に記録されていてもよい。また、前記プログラムは、各種記録媒体に記録して提供することも可能であるし、インターネット等のネットワークを通して提供することも可能である。
本第3の実施の形態で説明したポインティング技術と第1、第2の実施の形態における入力ペンを用いたポインタの制御技術とを組み合わせて実施することが可能である。図61にはその一例が示されている。
また、第1、第2の実施の形態において図5A〜図6Cを参照して説明した実施例では、ポインタの一部の奥行き位置を固定して奥行き方向にあるオブジェクトをポインティングするという本第3の実施の形態で説明したポインティング技術が適用されている。
第1、第2の実施の形態と第3の実施の形態とを組み合わせた更なる実施例を次に説明する。この実施例は、第1、第2の実施の形態において図5A〜図6Cを参照して説明した実施例1−1、2−1の技術に、第3の実施の形態において図52〜図60を参照して説明したポインティングを行う点のx、y座標を一定としてポインティングを行う技術を組み合わせた例である。
この例において、入力ペンを用いてポインタ操作を行う場合の3次元空間内のポインタの変化を示す正面図および右側面図を図79A〜Cに示す。図79A〜Cの座標のとり方、符号の付け方は第1、第2の実施の形態と同じである。また、使用する装置等の基本的な条件は実施例1−1、2−1と同じである。また、入力ペンの操作内容は第1、第2の実施の形態で説明した通りであり、入力ペンの筆圧、ペン先の接触時間、入力ペンに取り付けられた操作手段の操作量、入力ペンの傾き等によりポインタの制御が行われる。
ただし、本例では、第1、第2の実施の形態におけるポインタ位置/回転角度算出手段が、第3の実施の形態におけるポインティング位置/変形量算出手段での処理と同様にして、ポインティングを行う点のx、y座標を一定としてポインタの位置、回転角度等を算出する。次に、図79A〜Cを参照して本例でのポインティング動作を説明する。
操作者が入力ペン201のペン先201Pを表示面に接触させ、ポインタが表示された後、図79Aに示す状態から、操作者がたとえば入力ペン201の操作を行う(筆圧を高くする、傾きを変える、入力ペン201に取り付けられた操作手段を操作する等)。この操作により、図79B,図79Cに示すように、ポインタ303の矢の先端の反対側の端の奥行き位置が一定に保たれた状態で、矢の先端部分が−Z方向に移動し、矢の部分が操作者から見て奥の方向に傾く。ただし、矢の先端部分のXY座標はペン先201PのXY座標と同一であり一定である。
実施例1−1、2−1(図5A〜6C)では、ペン先201Pの延長にポインタ303が存在するが、この場合、ペン先201Pの位置が変わらない場合でも、入力ペンを傾けることにより、ポインティングする位置(矢の先端部分)のx、y座標が変更される。一方、第3の実施の形態を適用した図79A〜Cの例では、ポインティングする位置のx、y座標は常にペン先201Pのx、y座標と同じであり、奥行きだけが変化する。このとき、入力ペンの傾きに応じてポインタも回転するが、ポインティングする位置は変わらない。これにより、ポインティングする位置のx、y座標をペン先の位置で決定し、奥行き位置を入力ペンの操作で制御することが可能となる。
(第4の実施の形態)
次に、本発明の第4の実施の形態について説明する。第4の実施の形態は本発明の第3の目的に対応するものである。
第4の実施の形態の3次元表示制御方法では、表示装置上に表現された3次元空間内に表示されたポインタの位置を3次元的に変化させたときに、前記3次元空間の観察者から見て、前記ポインタの奥行き位置よりも手前に配置されたオブジェクトを透明化させて表示する。このようにすることで前記観察者から見て、前記ポインタがあるオブジェクトの裏側にあたる移動した場合でも、前記ポインタの位置を認識できるようにした。また、前記ポインタの奥行き位置よりも手前に配置されたオブジェクトを透明化することで、前記観察者から見て、あるオブジェクトの裏側に隠れている別のオブジェクトをポインティングするときに、手前のオブジェクトを移動させたり、非表示の状態にさせたりする操作をすることなしにポインティングできるようになり、前記観察者(前記ポインタの操作者)のポインティング操作が簡便になり、操作者の利便性が向上する。
また、第4の実施の形態の3次元表示制御方法では、前記観察者から見て、前記ポインタの奥行き位置よりも手前に配置されたオブジェクトを透明化させて表示するときに、前記観察者から見て前記ポインタのポインティング位置と重なる前記オブジェクト上の点を中心とするあらかじめ定められた領域のみを透明化することで、前記ポインタの奥行き位置よりも手前に配置されたオブジェクトの種類や状態を認識しながら、前記ポインタの位置を認識することができるようにした。
また、前記観察者から見て前記ポインタのポインティング位置と重なる前記オブジェクト上の点を中心とするあらかじめ定められた領域のみを透明化する代わりに、前記ポインタの操作に関する入力情報が一定時間入力されなかった場合に、透明化されたオブジェクトを透明化する前の不透明な状態の表示に戻すことで、前記ポインタの奥行き位置よりも手前に配置されたオブジェクトの種類や状態を認識しながら、前記ポインタの位置を認識することができるようにした。
またさらに、第4の実施の形態のの3次元表示方法では、移動等の操作を行うために選択されたオブジェクトに関しては、前記ポインタの奥行き位置よりも手前に配置されていても、透明化しないことで、前記オブジェクトが選択された状態であることを認識できるようにした。
図80乃至図84は、本発明の第4の実施の形態の3次元表示制御方法の概要を説明するための模式図であり、図80は第4の実施の形態の3次元表示制御方法が適用されるコンピュータシステムの概略構成を示す図、図81は3次元空間を表現できる表示装置(DFD)の動作原理を説明する図、図82は表示装置上に表現された3次元空間の一例を示す正面図および右側面図、図83は表示装置上に表現された3次元空間の一例を示す斜視図(鳥瞰図)、図84はポインタの操作方法の一例を示す図である。
図80において、1はシステム制御装置、101は入力情報取得手段、102はポインタ位置算出手段、103はポインタ生成手段、104はオブジェクト変更判定手段、105はオブジェクト生成/透明化手段、106は表示制御手段、107は処理制御手段、108は記憶手段、2は入力装置、3は表示装置である。また、図81において、301Aは観察者から見て手前の表示面、301Bは観察者から見て奥の表示面、4は観察者が認識するオブジェクト、4Aは手前の表示面に表示されるオブジェクト、4Bは奥の表示面に表示されるオブジェクト、Pは観察者の視点である。また、図82および図83において、401はポインタ、402aから402gはフォルダアイコン(オブジェクト)、403aから403cはウィンドウ(オブジェクト)である。また、図84において、201はマウス、201Aはマウスのホイールである。
第4の実施の形態の3次元表示制御方法は、たとえば、PC等のシステム制御装置に接続された表示装置上に表現された3次元空間内に表示されたポインタをマウス等の入力装置で操作し、前記3次元空間内に表示されたオブジェクトのポインティング(選択)、移動、加工等の処理を行う場合の、前記ポインタおよびオブジェクトの表示を制御する方法である。なお、前記ポインタも前記オブジェクトの1種と考えることができるが、本明細書では、前記3次元空間内の任意の一点を指し示すためのオブジェクトをポインタとし、その他の、たとえば、アイコン、ウィンドウ、プルダウンメニュー等のオブジェクトと区別する。
このとき、前記システム制御装置1は、たとえば、図80に示すように、前記入力装置2からの入力情報を取得する入力情報取得手段101と、前記入力情報取得手段101で取得した情報がポインタの操作に関する情報(ポインタ操作情報)である場合に、前記ポインタ操作情報に基づいてポインタの表示位置を算出するポインタ位置算出手段102と、前記ポインタ位置算出手段102で算出された位置に表示するポインタを生成するポインタ生成手段103と、前記ポインタ位置算出手段102で算出された位置に基づいてオブジェクトの表示方法を変更するか否かを判定するオブジェクト変更判定手段104と、新たなオブジェクトの生成、またはすでに生成されているオブジェクトの透明化もしくは不透明化を行うオブジェクト生成/透明化手段105と、前記ポインタ生成手段103で生成されたポインタや、前記オブジェクト生成/透明化手段105で生成、または透明化もしくは不透明化されたオブジェクトを前記表示装置3に表示させる表示制御手段106とを備える。
また、前記システム制御装置1では、前記ポインタの生成や、前記オブジェクトの生成、または透明化もしくは不透明化といった処理の他に、アプリケーションソフトの起動、操作といった処理も行うことができる。そのため、前記システム制御装置1には、図80に示したように、前記入力装置2からの入力情報等に基づいて各処理を制御する処理制御手段107を備える。またさらに、前記システム制御装置1には、図80に示したように、前記システム制御装置1の制御プログラム(OS)、前記アプリケーションソフトの実行プログラム、前記アプリケーションソフトを用いて処理をするデータ等を記憶保持する記憶手段108を備える。このとき、前記システム制御装置1では、前記入力情報取得手段101で取得した入力情報の内容を判別し、前記ポインタ操作情報である場合は、その情報を前記ポインタ位置算出手段103に渡し、ポインタの表示位置を算出する。一方、前記ポインタ操作情報以外の情報である場合はその情報を前記処理制御手段107に渡し、前記アプリケーションソフトの実行等の処理を行わせる。
また、前記表示装置3は、3次元空間を表現することが可能な表示装置(ディスプレイ)であれば、どのような装置でもよい。すなわち、前記表示装置は、たとえば、DFDのように立体映像を表示することが可能な3次元表示装置に限らず、一般的なCRTや液晶ディスプレイのような2次元表示装置でもよい。前記表示装置が前記DFDの場合、前記ポインタやオブジェクトを、それぞれの3次元位置に対応する奥行き位置に表示させることで前記ポインタやオブジェクトの配置を3次元的に知覚することができる。
前記DFDは、これまでにも説明したとおり、複数枚の表示面が、前記観察者の視点から見て奥行き方向に重なるように配置されている表示装置である。このとき、説明を簡単にするために、図81に示すように、2枚の表示面301A,301Bが重なっているとすると、前記ポインタやオブジェクトの像は、両方の表示面301A,301Bに、前記観察者の視点Pから見て重なるように表示される。またこのとき、前記DFDが、たとえば、輝度変調型であれば、前記観察者の視点Pから見て手前の表示面301Aに表示されているオブジェクト4Aの輝度をLA、奥の表示面301Bに表示されているオブジェクト4Bの輝度をLBとすると、前記観察者には、前記各表示面301A,301Bの間であり、かつ前記手前の表示面301Aからの距離と前記奥の表示面301Bからの距離の比がLB:LAとなるような奥行き位置に前記オブジェクト4が表示されているように見える。そのため、前記手前の表示面301Aに表示されているオブジェクト4Aの輝度LAと、奥の表示面301Bに表示されているオブジェクト4Bの輝度LBの比を変えることで、前記各表示面301A,301Bの間の任意の奥行き位置にオブジェクト4を表示させることができる。また、図示は省略するが、前記手前の表示面301Aに表示されているオブジェクト4Aの輝度を、たとえば、図81の紙面上方から紙面下方に向かうにつれて輝度が大きくなるように表示し、前記奥の表示面301Bに表示されているオブジェクト4Bの輝度を、たとえば、図81の紙面下方から紙面上方に向かうにつれて輝度が大きくなるように表示すれば、前記オブジェクト4の上方が奥に傾いているように見える。
また、図示は省略するが、前記DFDが透過型の場合は、たとえば、前記手前の表示面301Aで前記オブジェクト4Aを表示している各画素の透過度を大きくすれば、前記オブジェクト4が前記奥の表示面301Bの近傍に表示され、前記手前の表示面301Aで前記オブジェクト4Aを表示している各画素の透過度を小さくすれば、前記オブジェクト4が前記手前の表示面301Aの近傍に表示されているように見える。そのため、前記手前の表示面301Aで前記オブジェクト4Aを表示している各画素の透過度を変えることで、前記各表示面301A,301Bの間の任意の奥行き位置にオブジェクト4を表示させることができる。
また、前記表示装置3が前記液晶ディスプレイ等の2次元表示装置の場合は、たとえば、前記システム制御装置1内に設定された仮想3次元空間上で前記ポインタやオブジェクトを3次元的に配置した後、その状態を2次元の表示面に投影した画像を生成し、表示させることで、前記ポインタやオブジェクトの配置を3次元的に知覚することができる。
このような3次元空間を表現することが可能な表示装置3が接続されている前記システム制御装置1の場合、前記表示装置3上に、たとえば、図82および図83に示すように、ポインタ401や、フォルダアイコン402aから402g,ウィンドウ403aから403c等のオブジェクトを3次元的に配置(表示)した3次元デスクトップを表示することができる。このとき、前記観察者(操作者)は、前記3次元デスクトップをGUIとして、前記システム制御装置1で実行可能なアプリケーションソフトを利用することができる。
このとき、前記手前の表示面301Aと奥の表示面301Bの間の空間を3次元デスクトップ空間とし、たとえば、図82および図83に示したように、前記手前の表示面301Aの奥行き位置がz=0、表示面301A,301BがXY平面と平行であり、かつ、手前の表示面301Aから奥の表示面301Bに向かう方向をZ軸の正の方向とする3次元座標系XYZをとると、前記ポインタ401が指し示している位置は座標(xp,yp,zp)で特定される。そのため、前記入力装置2を用いて、前記ポインタ401が指し示している位置の座標(xp,yp,zp)を決定することで、前記ポインタ401を前記3次元デスクトップ空間内の任意の一点に移動させることができ、前記3次元デスクトップ空間内に配置されたフォルダアイコン402aから402g,ウィンドウ403aから403c等のオブジェクトをポインティングできる。
また、前記ポインタを3次元的に移動させるため入力装置2には、たとえば、ホイール機能付きマウス(以下、マウスという)等の既存の入力装置を用いることができる。前記マウスを用いて前記ポインタを3次元的に移動させる場合、図84に示すように、たとえば、机上等の平面上で前記マウス本体を動かしたときのXI軸方向の移動量(+xIまたは−xI)を前記ポインタ401のX軸方向の移動量に反映させ、YI軸方向の移動量(+yIまたは−yI)を前記ポインタ401のY軸方向の移動量に反映させれば、前記ポインタ401のXY座標(xp,yp)を決定することができる。そして、たとえば、前記マウス201のホイール201Aの回転方向(+zIまたは−zI)と回転量を前記ポインタ401のZ軸方向の移動量に反映させれば、前記ポインタ401の奥行き位置(Z座標)zpを決定することができる。
また、前記入力装置2は、前記マウスに限らず、たとえば、キーボードやペンタブレット等の入力装置を用いることも可能である。また、前記マウスとキーボードを組み合わせ、たとえば、前記キーボード上の特定のキーを押しながら前記ホイール201Aを回転させたときの回転方向と移動量を前記ポインタ401のZ軸方向の移動量に反映させてもよい。
なお、ポインタの3次元的位置に応じて他のオブジェクトの表示を制御するという本実施の形態は、第1〜第3の実施の形態にも適用できる。つまり、第1、第2の実施の形態であれば、入力ペンの操作によりポインタを移動させたときに、第4の実施の形態の技術を適用して他のオブジェクトの表示を制御する。また、第3の実施の形態であれば、ポインタで奥行き方向のポインティングを行う際に、ポインタの変形や移動に応じて他のオブジェクトの表示を制御する。
以下、前記入力装置として前記マウスを用い、前記表示装置としてDFDを用いた場合を例に挙げ、前記表示装置上に表現された3次元空間(3次元デスクトップ)内のポインタおよびオブジェクトの表示の制御方法について説明する。
[実施例4−1]
図85乃至図87は、実施例4−1の3次元表示制御方法を説明するための模式図であり、図85および図86は本実施例4−1の表示制御方法を適用した場合の3次元空間の変化の様子を示す図、図87は本実施例4−1の表示制御方法と比較するための従来の表示制御方法を説明する3次元空間の様子を示す図である。なお、図85および図86はそれぞれ、上段、中段、下段に3通りの状態を示しており、各状態は、図中に示した操作をすることで他の状態に変化する。また、各状態は、前記観察者から前記3次元空間を見たときの正面図と右側面図で示している。
本実施例4−1では、たとえば、図82および図83に示したような3次元デスクトップ空間内に表示されたポインタ401を、図84に示したような操作で3次元的に移動させ、前記3次元デスクトップ空間内の任意の一点をポインティングするときに、前記観察者(操作者)から見て、前記ポインタの奥行き位置よりも手前に配置されたオブジェクトを透明化する表示制御方法について説明する。
また、本実施例4−1では、説明を簡単にするために、たとえば、図85の上段に示したように、前記3次元デスクトップ空間にポインタ401と、フォルダアイコン402a,402bおよびウィンドウ403の3つのオブジェクトが表示されている場合を例に挙げて説明する。このとき、ポインタ401と、フォルダアイコン402a,402bおよびウィンドウ403の3つのオブジェクトの位置関係は、最初、図85の上段に示したような位置関係であり、前記ポインタ401は、前記観察者から見て前記ウィンドウ403の奥行き位置よりも手前に表示されているとする。またこのとき、前記フォルダアイコン402bは、前記観察者から見て前記ウィンドウ403の裏側にあたる位置に配置されており、前記観察者からは見えていないとする。
このとき、前記操作者が、前記マウスのホイールを、前記ポインタ401を+z(z>0)方向に移動させるように回転させると、図85の中段に示したように、前記ポインタ401が前記ウィンドウ403に近づく。そして、前記ウィンドウ403の奥行き位置からあらかじめ定められた範囲の奥行き位置に前記ポインタ401が到達すると、前記ウィンドウ403がポインティングされた状態になり、たとえば、図85の中段に示したように、前記ウィンドウ403の色を変える等、ポインティングされていることを示すような表示に変える。
そして、前記操作者が、この状態からさらに、前記マウスのホイールを、前記ポインタ401を+z(z>0)方向に移動させるように回転させると、図85の下段に示したように、前記ポインタ401が前記ウィンドウ403をすり抜け、前記奥の表示面301Bに向かって移動を続ける。このとき、前記ウィンドウ403をすり抜けたポインタ401が、前記ウィンドウ403の奥行き位置からあらかじめ定められた範囲の奥行き位置よりも離れると、前記ウィンドウはポインティングされた状態からもとのポインティングされていない状態に戻り、たとえば、ウィンドウの色がもとの色に戻る。
ただし、前記ポインタ401が前記ウィンドウ403をすり抜けると同時に、前記ポインタ401がすり抜けたウィンドウ403は、前記観察者から見て、前記ポインタ401の奥行き位置よりも手前に表示されることになる。そこで、前記システム制御装置1は、図85の下段に示したように、前記ポインタ401の奥行き位置よりも手前に表示されるようになったウィンドウ403を透明化して表示させる。この結果、前記観察者(操作者)は、前記ポインタ401がウィンドウ403の裏側にあたる位置に移動したときも、前記ポインタ401の位置を容易に認識することができる。また、前記ポインタ401を+z(z>0)方向に移動させるだけで、前記ウィンドウ403の裏側に別のオブジェクトが隠れているか否かや、隠れているフォルダアイコン402bの位置を認識することができる。
また、図85の下段に示したように、前記ポインタ401の奥行き位置よりも手前のウィンドウ403が透明化されている状態で、たとえば、前記マウスのホイールを逆方向に回転させると、前記ポインタ401が前記ウィンドウ403の奥行き位置からあらかじめ定められた範囲の奥行き位置に到達した時点で、図85の中段に示したように、前記ウィンドウ403の表示がポインティングされていることを示すような表示に変わる。そして、前記ポインタ401をさらに前記手前の表示面301A側に移動させ、前記ポインタ401が前記ウィンドウ403の奥行き位置からあらかじめ定められた範囲の奥行き位置よりも手前に離れると、図85の上段に示したように、前記ウィンドウ403の表示がもとの標準的な表示に戻る。この結果、前記観察者(操作者)は、前記ポインタ401を−z(z<0)方向に移動させるだけで、透明化されている前記ウィンドウ403をもとの不透明な表示に戻すことができる。
また、図85に示した例では、前記ポインタ401が前記ウィンドウ403と重なっており、前記ポインタ401が前記ウィンドウ403をすり抜け、前記ウィンドウ403の裏側にあたる位置に移動したときに前記ウィンドウ403が透明化されているが、これに限らず、たとえば、図86の上段に示すように、前記ウィンドウ403等のオブジェクトと重なっていない位置で前記ポインタ401の奥行き位置を変えたときにも、前記ウィンドウ403を透明化できるようにすることもできる。この場合、図86の上段に示したような状態で前記ポインタ401を奥の表示面301B側に移動させたときに、前記ポインタの奥行き位置zpと前記ウィンドウ403の奥行き位置zoの関係がzp>zoになったら、図86の中段に示すように、前記ウィンドウ403を透明化して表示させればよい。この結果、前記観察者(操作者)は、前記ポインタ401を+z(z>0)方向に移動させるだけで、前記ウィンドウ403の裏側に隠れているフォルダアイコン402bの位置を認識することができ、前記ポインタ401で前記フォルダアイコン402bを容易にポインティングすることができる。また、このようにすれば、たとえば、図86の中段に示したような状態からさらに、前記ポインタ401を奥の表示面301B側に移動させたときに、前記ポインタ401の奥行き位置zpと前記フォルダアイコン402aの奥行き位置zfの関係がzp>zfになった時点で、図86の下段に示すように、前記フォルダアイコン402aが透明化される。そして、図86の下段に示したような状態から、逆に、前記ポインタ401を手前の表示面301A側に移動させれば、図86の中段に示したような状態を経て、図86の上段に示したような、もとの不透明なフォルダアイコン402aおよびウィンドウ403が表示された状態に戻る。この結果、前記観察者(操作者)は、前記ポインタ401が前記ウィンドウ403の裏側にあたる位置に移動したときも前記ポインタ401の位置を認識することができる。また、前記ポインタ401を+z(z>0)方向に移動させるだけで、前記ウィンドウ403の裏側に別のオブジェクトが隠れているか否かや、隠れているフォルダアイコン402bの位置を認識することができる。
従来の3次元デスクトップ空間の表示制御方法では、たとえば、図87に示すように、前記ポインタ401が前記観察者から見て前記ウィンドウ403の裏側にあたる位置に移動させると、前記ポインタ401は前記ウィンドウ403に隠れてしまい、前記観察者は前記ポインタ401の位置を認識することができない。そのため、従来の表示制御方法で、たとえば、前記ウィンドウ403の裏側に別のオブジェクトが隠れているか否かや、隠れているオブジェクトの位置の認識、選択といった操作をするときには、前記ウィンドウ403を移動させる、または表示領域を小さくするあるいは非表示の状態にするといった操作を行わなければならなかった。そして、これらの操作を行った後、前記ウィンドウ403に表示されている内容を確認する場合は、前記ウィンドウ403をもとの位置に戻す、または表示領域を大きくするあるいは表示状態に戻すといった操作を行わなければならなかった。その結果、たとえば、図82および図83に示したような、フォルダアイコン402aから402g,ウィンドウ403aから403c等の多数のオブジェクトが表示されている3次元デスクトップ空間で、前記観察者から見て奥に表示されているオブジェクトを選択する場合などには操作が煩雑になり、前記観察者(操作者)の利便性が悪い。
一方、本実施例4−1の表示制御方法では、前記ポインタ401を前記観察者から見て奥に向かう方向に移動させるだけで、前記ポインタ401の奥行き位置よりも手前のオブジェクトが透明化される。そのため、前記ポインタ401が透明化されたオブジェクトの裏側にあたる位置に移動したときも前記ポインタ401の位置を容易に認識することができる。また、前記ポインタを前記観察者から見て奥に向かう方向に移動させるだけで、前記ポインタ401の奥行き位置よりも手前のオブジェクトが透明化され、オブジェクトの裏側の状態を認識することができる。そのため、前記あるオブジェクトの裏側に隠れている別のオブジェクトを容易にポインティングすることができる。そして、前記ポインタ401を前記観察者から見て手前に向かう方向に移動させるだけで、前記ポインタ401の奥行き位置よりも奥になったオブジェクトが不透明な状態に戻り、透明化されているオブジェクトの表示内容を認識することができる。
このような本実施例4−1の3次元表示制御方法を、図80に示した前記システム制御装置1等で実現するためには、前記システム制御装置1において、図88に示したステップ501からステップ510の処理を実行すればよい。
図88は、本実施例4−1の3次元表示制御方法を実現するための装置における処理手順を示すフロー図である。
図80に示したような構成の前記システム制御装置1において、図85または図86に示したようなポインタ401およびオブジェクト402a,402b,403の表示の制御をするときには、まず、図88に示したように、前記表示装置3にポインタ401とオブジェクトを表示させておく(ステップ501)。そして、前記観察者(操作者)が前記マウス等の入力装置2を操作すると、前記入力情報取得手段101が前記入力装置2からの入力情報(操作情報)を取得する(ステップ502)。このとき、前記入力情報取得手段101で入力情報を取得すると、たとえば、前記入力情報取得手段101において、前記入力情報がポインタの操作に関する情報(ポインタ操作情報)であるか否かを判別(ステップ503)され、前記ポインタ操作情報でない場合は、前記処理制御手段107において、前記入力情報に応じた別の処理を実行する(ステップ504)。
一方、前記入力情報が前記ポインタ操作情報である場合、前記入力情報取得手段101は、前記入力情報を前記ポインタ位置算出手段102に渡し、ポインタの移動量を算出させ、前記ポインタの新たな表示位置(xp,yp,zp)を算出させる(ステップ505)。
そして、前記ポインタ位置算出手段102は、前記ポインタの新たな表示位置(xp,yp,zp)を算出したら、まず、前記ポインタ生成手段103に、前記新たな表示位置に表示させるポインタを生成させ、前記表示制御手段106を介して前記表示装置3に表示させる(ステップ506)。
また、前記ポインタ位置算出手段102は、前記ポインタの新たな表示位置(xp,yp,zp)を算出したら、前記オブジェクト変更判定手段104に、ポインティングしているオブジェクトがあるか否か、すなわち、ポインタがポインティングしている点のxyz座標がオブジェクトの表面上または内部の任意の点のxyz座標から予め定められた範囲内にあるか否かと、ポインタの奥行き位置より手前にオブジェクトがあるか否か、すなわち、ポインタがポインティングしている点のz座標より小さいz座標の点を表面上または内部に含むオブジェクトがあるか否かとを判定させる(ステップ507,ステップ509)。そして、前記ポインティングしているオブジェクトがある場合は、前記オブジェクト生成/透明化手段105でそのオブジェクトをポインティングされている状態に変更させ、前記表示制御手段106を介して前記表示装置3に表示させる(ステップ508)。また、前記ポインタの奥行き位置より手前にオブジェクトがある場合は、前記オブジェクト生成/透明化手段105で前記手前のオブジェクトをあらかじめ定められた透明度αに変更させ、前記表示制御手段106を介して前記表示装置3に表示させる(ステップ510)。
なお、図88に示した例では、先にポインティングしているオブジェクトがあるか否かを判定しているが、これに限らず、先にポインタの奥行き位置より手前にオブジェクトがあるか否かを判定してもよい。
前記システム制御装置1において、このような処理を実行することで、図85または図87に示したようなポインタ401およびオブジェクト402a,402b,403の表示の制御が可能となる。
以上説明したように、本実施例4−1の3次元表示制御方法によれば、前記ポインタの奥行き位置よりも手前に配置(表示)されたオブジェクトを透明化することで、前記ポインタ401が、あるオブジェクトの裏側にあたる位置に移動したときでも、前記ポインタ401の位置を見失うことがなく、容易に認識することができる。
また、前記ポインタ401を、前記観察者から見て奥に向かう方向に移動させることで、前記オブジェクトを透明化させることができるので、あるオブジェクトの裏側に別のオブジェクトが隠れているか否か、あるいはあるオブジェクトの裏側に隠れている別のオブジェクトの位置の認識等をするための操作が従来に比べて容易である。また、前記ポインタ401を、前記観察者から見て手前に向かう方向に移動させることで、透明化されているオブジェクトをもとの不透明な表示に戻すことができるので、透明化されているオブジェクトの表示内容を認識するための操作が従来に比べて容易である。すなわち、本実施例4−1の3次元表示制御方法を適用することで、前記観察者(操作者)の利便性が向上する。
また、本実施例4−1の3次元表示制御方法では、たとえば、図86に示したように、前記観察者から見て前記ポインタと重なるか否かにかかわらず、前記ポインタの奥行き位置よりも手前に配置(表示)されるオブジェクトを透明化しているが、これに限らず、たとえば、前記観察者から見て前記ポインタの奥行き位置よりも手前であり、かつ、前記ポインタと重なるオブジェクトのみを透明化してもよい。
図89および図90は、本実施例4−1の3次元表示制御方法の応用例を説明するための模式図であり、図89は応用例を適用した場合の3次元空間の変化の様子を示す図、図90は応用例を実現するための装置における処理手順を示すフロー図である。なお、図89は、上段、中段、下段に3通りの状態を示しており、各状態は、図中に示した操作をすることで他の状態に変化する。また、各状態は、前記観察者から前記3次元空間を見たときの正面図と右側面図で示している。
前記観察者から見て前記ポインタの奥行き位置よりも手前であり、かつ、前記ポインタと重なるオブジェクトのみを透明化する場合を説明するにあたって、まず、前記3次元デスクトップの表示状態が、図89の上段に示すように、前記観察者から見て、前記ポインタ401が、前記ウィンドウ403の奥行き位置よりも手前にあるが、前記ウィンドウ403とは重なっていない状態になっているとする。この状態で、たとえば、前記ポインタ401を、前記観察者から見て奥の方向に移動させ、図89の中段に示すように、前記ウィンドウ403の奥行き位置が前記ポインタ401の奥行き位置よりも手前になったとする。このとき、本実施例4−1の3次元表示制御方法では、図86の中段に示したように、前記観察者から見て前記ポインタ401と前記ウィンドウ403が重なっているか否かにかかわらず、前記ウィンドウ403が透明化される。
しかしながら、図89の中段に示したような表示状態の場合、前記ウィンドウ403を透明化しなくても、前記観察者は前記ポインタ401の位置を認識することができるので、前記ウィンドウ403を透明化する必要はない。
ただし、図89の中段に示したような表示状態のときに、たとえば、前記ポインタ401を前記ウィンドウ403の裏側にあたる位置に移動させると、前記ウィンドウ403は通常の不透明な表示であるため、そのままでは、図87に示したように、前記ポインタ401が前記ウィンドウ403の裏に隠れた状態になり、前記ポインタ401の位置を認識できなくなる。
そこで、図89の下段に示したように、前記ポインタ401を移動させたときに、前記ポインタ401の奥行き位置よりも手前にあり、かつ、前記観察者から見て前記ポインタ401と重なるウィンドウ403がある場合は、そのウィンドウ403を透明化させる。このようにすることで、本実施例4−1の3次元表示制御方法と同様に、あるオブジェクトの裏側にあたる位置に移動したポインタを容易に認識できる。また、前記あるオブジェクトの裏側に別のオブジェクトが隠れているか否か、あるいは前記あるオブジェクトの裏側に隠れている別のオブジェクトの位置の認識等を容易にすることができる。
このような3次元表示制御方法を、図80に示した前記システム制御装置1等で実現するためには、図88に示した処理手順におけるステップ510で、図90に示したステップ510aからステップ510cの処理を行えばよい。
つまり、前記オブジェクト変更手段104における、図88に示したステップ509の判定で、前記ポインタ401の奥行き位置よりも手前にオブジェクトがあると判定された場合、前記オブジェクト生成/透明化手段105でオブジェクトを透明化させる前に、まず、前記手前にあるオブジェクトの表示領域を確認する(ステップ510a)。
そして次に、前記手前にあるオブジェクトの中に、前記観察者から見てポインタ401と重なるオブジェクトがあるか否かを判定する(ステップ510b)。前記ステップ510bは、たとえば、前記観察者から見て前記ポインタの表示位置(xp,yp)と重なる前記オブジェクトの奥行き位置でのXY位置に、オブジェクトの一部(一点)が表示されているか否かを調べればよい。そして、重なっているオブジェクトがあると判定された場合は、そのオブジェクトを透明度αで前記表示装置3に表示させる(ステップ510c)。
このようにすれば、前記ポインタ401の奥行き位置よりも手前にあっても、前記ポインタ401と重なっていないオブジェクトは通常の不透明な表示の状態を保つことができる。
本実施例4−1の3次元表示制御方法では、前記ポインタ401の奥行き位置よりも手前にあるオブジェクトは全て透明化されるので、透明化する必要がないオブジェクトも透明化されることがある。そして、透明化されているオブジェクトの表示内容を確認するときには、前記ポインタ401を観察者から見て手前の方向に移動させ、透明化されているオブジェクトを不透明な表示に戻さなければならない。
一方、図89に示したような3次元表示制御方法では、前記ポインタ401が前記オブジェクトの裏側にあたる位置に移動したときに、前記ポインタ401を隠しているオブジェクトのみを透明化する。そのため、前記ポインタ401をオブジェクトと重ならない位置に表示させておけば、全てのオブジェクトが通常の不透明な表示であり、透明化する必要のあるオブジェクトのみを透明化することができる。このようにすると、透明化されているオブジェクトを不透明な表示に戻すときの操作がXY平面内での2次元的な操作になり、本実施例4−1の3次元表示制御方法と比べ、操作の利便性が向上すると考えられる。
[実施例4−2]
図91乃至図93は、本発明による実施例4−2の3次元表示方法を説明するための模式図であり、図91は本実施例4−2の表示制御方法を適用した場合の3次元空間の変化の様子を示す図、図92は透明度の決定方法の一例を示す図、図93は本実施例4−2の3次元表示方法を実現するための装置における処理手順を示すフロー図である。なお、図91は、上段、中段、下段に3通りの状態を示しており、各状態は、図中に示した操作をすることで他の状態に変化する。また、各状態は、前記観察者から前記3次元空間を見たときの正面図と右側面図で示している。
本実施例4−2では、前記ポインタ401の奥行き位置よりも手前にあるオブジェクトを透明化するときに、前記ポインタからの距離に応じて透明度を変え、前記ポインタ401の奥行き位置や、前記ポインタ401の奥行き位置よりも手前であるが奥行き位置が近いオブジェクトの認識度を高くする表示制御方法について説明する。
また、本実施例4−2では、説明を簡単にするために、たとえば、図91の上段に示したように、前記3次元デスクトップ空間にポインタ401と、フォルダアイコン402a,402bおよびウィンドウ403の3つのオブジェクトが表示されている場合を例に挙げて説明する。このとき、ポインタ401と、フォルダアイコン402a,402bおよびウィンドウ403の3つのオブジェクトの位置関係は、最初、図91の上段に示したような位置関係であり、前記ポインタ401は、前記観察者から見て前記ウィンドウ403の奥行き位置よりも手前に表示されているとする。またこのとき、前記フォルダアイコン402bは、前記観察者から見て前記ウィンドウ403の裏側にあたる位置に配置されており、前記観察者からは見えていないとする。
このとき、前記操作者が、前記マウスのホイールを、前記ポインタ401を+z(z>0)方向に移動させるように回転させ、前記ポインタ401の奥行き位置が、図91の中段に示したように、前記観察者から見て前記ウィンドウ403の奥行き位置よりも奥になった場合、前記ウィンドウ403は透明化される。ただし、本実施例4−2の表示制御方法では、図91の中段に示したように、前記ポインタ401の奥行き位置と前記ウィンドウ403の奥行き位置の距離(差)が小さいときには、前記ウィンドウ403を完全に透明にするのではなく、前記ウィンドウ403の裏側の状態が認識できる程度の透明度で前記ウィンドウ403を表示させる。
そして、前記操作者が、この状態からさらに、前記マウスのホイールを、前記ポインタ401を+z(z>0)方向に移動させるように回転させ、図91の下段に示したように、前記ポインタ401の奥行き位置と前記ウィンドウ403の奥行き位置の距離(差)が大きくなると、徐々に前記ウィンドウ403の透明度が高くなり、最終的には前記ウィンドウが完全に透明化される。このとき、前記ポインタ401の移動に合わせ、たとえば、図91の下段に示したように、前記フォルダアイコン402aも透明化するが、このとき、前記ポインタ401の奥行き位置と前記フォルダアイコン402aの奥行き位置の距離は、前記ポインタ401の奥行き位置と前記ウィンドウ403の奥行き位置の距離に比べて小さいので、前記フォルダアイコン402aは、前記ウィンドウ403の透明度よりも小さい透明度で表示される。
この結果、前記観察者(操作者)は、前記ポインタ401がウィンドウ403の裏側にあたる位置に移動したときも、前記ポインタ401の位置を容易に認識することができる。また、前記ポインタ401を+z(z>0)方向に移動させるだけで、前記ウィンドウ403の裏側に別のオブジェクトが隠れているか否かや、隠れているフォルダアイコン402bの位置を認識することができる。またさらに、前記透明化されているオブジェクトの透明度から、前記ポインタ401の奥行き位置や、前記ポインタ401の奥行き位置よりも手前にあるが奥行き位置の近いオブジェクトを容易に認識することができる。
また、図91の下段に示したように、前記ポインタ401の奥行き位置よりも手前のウィンドウ403およびフォルダアイコン402aが透明化されている状態で、たとえば、前記マウスのホイールを逆方向に回転させると、前記ポインタ401が前記フォルダアイコン402aの奥行き位置に到達した時点で、図91の中段に示したように、前記フォルダアイコン402aの表示がもとの不透明な表示に変わる。このとき、前記ポインタ401と前記ウィンドウ403の奥行き方向の距離も小さくなるので、前記ウィンドウ403の透明度も小さくなる。そして、前記ポインタ401をさらに前記手前の表示面301A側に移動させ、前記ポインタ401が前記ウィンドウ403の奥行き位置に到達すると、図91の上段に示したように、前記ウィンドウ403の表示がもとの不透明な表示に戻る。この結果、前記観察者(操作者)は、前記ポインタ401を−z(z<0)方向に移動させるだけで、透明化されている前記ウィンドウ403をもとの不透明な表示に戻すことができる。
また、前記オブジェクトの透明度αに関して、α=0のとき完全に透明、α=1のとき完全に不透明とすると、前記ポインタ401の奥行き位置よりも手前にあるオブジェクトを透明化するときには、たとえば、図92に実線で示したように、前記ポインタ401と前記手前にあるオブジェクトの奥行き方向の距離に比例してαが1から0の間を連続的に変化し、距離が最大、すなわち前記オブジェクトがDFDの手前の表示面301Aに表示され、前記ポインタ401が奥の表示面301Bに表示されているような状態のときに完全に透明(α=0)になるようにすればよい。また、図92に波線で示したように、前記最大の距離よりも小さい距離Zcでα=0となるようにしておいてもよい。また、図示は省略するが、前記透明度αは、たとえば、距離の2乗に反比例して小さくなるようにしてもよい。
このような3次元表示制御方法を、図80に示したシステム制御装置1等で実現するためには、前記システム制御装置1において、図88に示したステップ501からステップ510の処理を実行すればよい。ただし、本実施例4−2の3次元表示制御方法の場合、図88に示した処理手順におけるステップ510では、図93に示したステップ510dからステップ510hの処理を行う。
つまり、本実施例4−2の3次元表示制御方法を実現するためには、前記オブジェクト変更判定手段104における、図88に示したステップ509の判定で、前記ポインタ401の奥行き位置よりも手前にオブジェクトがあると判定された場合、前記オブジェクト生成/透明化手段105でオブジェクトを透明化させる前に、まず、前記透明化するオブジェクトを1つ選択する(ステップ510d)。
次に、前記選択したオブジェクトと前記ポインタ401の奥行き方向の距離を算出する(ステップ510e)。そして、前記算出した奥行き方向の距離に基づいて前記選択したオブジェクトの透明度αを算出する(ステップ510f)。
前記ステップ510fで前記選択したオブジェクトの透明度αを算出したら、前記オブジェクト生成/透明化手段105で算出した透明度のオブジェクトを生成させ、前記表示制御手段106を介して前記表示装置3に表示させる(ステップ510g)。
こうして、選択したオブジェクトを距離に応じた透明度αで表示させたら、他に透明化するオブジェクトあるいは透明度を変えるオブジェクトがあるか否かを判定(ステップ510h)し、ある場合はステップ510dに戻ってステップ510dからステップ510gの処理を繰り返す。
前記システム制御装置1において、このような処理を実行することで、図91に示したようなポインタ401およびオブジェクト402a,402b,403の表示の制御が可能となる。
以上説明したように、本実施例4−2の3次元表示制御方法によれば、前記ポインタの奥行き位置よりも手前に配置(表示)されたオブジェクトを透明化することで、前記ポインタ401が、あるオブジェクトの裏側にあたる位置に移動したときでも、前記ポインタ401の位置を見失うことがなく、容易に認識することができる。
また、前記ポインタ401を、前記観察者から見て奥に向かう方向に移動させることで、前記オブジェクトを透明化させることができるので、あるオブジェクトの裏側に別のオブジェクトが隠れているか否か、あるいはあるオブジェクトの裏側に隠れている別のオブジェクトの位置の認識等をするための操作が従来に比べて容易である。また、前記ポインタ401を、前記観察者から見て手前に向かう方向に移動させることで、透明化されているオブジェクトをもとの不透明な表示に戻すことができるので、透明化されているオブジェクトの表示内容を認識するための操作が従来に比べて容易である。すなわち、本実施例の3次元表示制御方法を適用することで、前記観察者(操作者)の利便性が向上する。
また、本実施例4−2のように、前記ポインタ401の奥行き位置よりも手前にあるオブジェクトを透明化するときに、前記ポインタ401と前記手前にあるオブジェクトの奥行き方向の距離の大きさに応じて、前記手前にあるオブジェクトの透明度を変えることで、前記ポインタ401の奥行き位置、あるいは前記ポインタ401の奥行き位置と近い奥行き位置にあるオブジェクトの認識が容易になる。
[実施例4−3]
図94および図95A、Bは、本発明による実施例4−3の3次元表示制御方法を説明するための模式図であり、図94は本実施例4−3の表示制御方法を適用した場合の3次元空間の変化の様子を示す図、図95Aおよび図95Bは透明度の決定方法の一例を示す図である。なお、図94は、上段、中段、下段に3通りの状態を示しており、各状態は、図中に示した操作をすることで他の状態に変化する。また、各状態は、前記観察者から前記3次元空間を見たときの正面図と右側面図で示している。
本実施例4−3では、前記ポインタ401の奥行き位置よりも手前にあるオブジェクトを透明化するときに、前記観察者から見て前記ポインタ401のポインティング位置(xp,yp,zp)を中心としたある範囲の内側のみを透明化し、オブジェクトの透明化、不透明化による視覚的な煩わしさを低減する表示制御方法について説明する。
また、本実施例4−3では、説明を簡単にするために、たとえば、図94の上段に示したように、前記3次元デスクトップ空間にポインタ401と、フォルダアイコン402a,402bおよびウィンドウ403の3つのオブジェクトが表示されている場合を例に挙げて説明する。このとき、ポインタ401と、フォルダアイコン402a,402bおよびウィンドウ403の3つのオブジェクトの位置関係は、最初、図94の上段に示したような位置関係であり、前記ポインタ401は、前記観察者から見て前記ウィンドウ403の奥行き位置よりも手前に表示されているとする。またこのとき、前記フォルダアイコン402bは、前記観察者から見て前記ウィンドウ403の裏側にあたる位置に配置されており、前記観察者からは見えていないとする。
このとき、前記操作者が、前記マウスのホイールを、前記ポインタ401を+z(z>0)方向に移動させるように回転させると、図94の中段に示したように、前記ポインタ401が前記ウィンドウ403に近づく。そして、前記ウィンドウ403の奥行き位置からあらかじめ定められた範囲の奥行き位置に前記ポインタ401が到達すると、前記ウィンドウ403がポインティングされた状態になり、たとえば、図94の中段に示したように、前記ウィンドウ403の色を変える等、ポインティングされていることを示すような表示に変える。
そして、前記操作者が、この状態からさらに、前記マウスのホイールを、前記ポインタ401を+z(z>0)方向に移動させるように回転させると、図94の下段に示したように、前記ポインタ401が前記ウィンドウ403をすり抜け、前記奥の表示面301Bに向かって移動を続ける。このとき、前記ウィンドウ403をすり抜けたポインタ401が、前記ウィンドウ403の奥行き位置からあらかじめ定められた範囲の奥行き位置よりも離れると、前記ウィンドウはポインティングされた状態からもとのポインティングされていない状態に戻り、たとえば、ウィンドウの色がもとの色に戻る。
ただし、前記ポインタ401が前記ウィンドウ403をすり抜けると同時に、前記ポインタ401がすり抜けたウィンドウ403は、前記観察者から見て、前記ポインタ401の奥行き位置よりも手前に表示されることになる。そこで、前記システム制御装置1は、図94の下段に示したように、前記ポインタ401の奥行き位置よりも手前に表示されるようになったウィンドウ403を透明化して表示させる。またこのとき、前記ウィンドウ403は、前記実施例4−1で説明したように前記ウィンドウ403全体を透明化するのではなく、たとえば、図94の下段に示したように、前記ポインタ401のポインティング位置(たとえば矢印の先端)と重なる位置を中心とした半径aの円内のみを透明化する。この結果、前記観察者(操作者)は、前記ポインタ401がウィンドウ403の裏側にあたる位置に移動したときも、前記ポインタ401の位置を容易に認識することができる。また、前記ポインタ401を+z(z>0)方向に移動させるだけで、前記ウィンドウ403の裏側に別のオブジェクトが隠れているか否かや、隠れているフォルダアイコン402bの位置を認識することができる。また、図94の下段に示したように、前記ウィンドウ403のうち透明化、不透明化されるのは、前記ポインタ401と重なる領域の近傍のみである。そのため、たとえば、前記ポインタ401を奥行き方向に激しく移動させたときなどに、前記ウィンドウ403の一部だけが透明化、不透明化され、視覚的な煩わしさを低減することができる。
また、前記観察者から見て前記ポインタ401のポインティング位置(xp,yp,zp)と重なる点を中心とした半径aの円内のみを透明化する場合、たとえば、半径aの円内は透明度α=0(完全に透明)とし、半径aの円の外側は透明度α=1(完全に不透明)というようにデルタ関数的に透明度を変化させてもよいし、たとえば、図95Aに示すように、半径aの円内は透明度α=0(完全に透明)とし、半径aの円の外側は距離に比例して徐々に透明度α=1(完全に不透明)になるように変化させてもよい。また、そのほかにも、たとえば、図95Bに示すように、前記観察者から見て前記ポインタ401のポインティング位置(xp,yp,zp)と重なる点(中心)を透明度α=0(完全に透明)とし、中心からの距離の2乗に比例して透明度が透明度α=1(完全に不透明)になるように変化させてもよい。また、図示は省略するが、前記中心からの距離に応じてステップ関数的に透明度αが0から1になるように変化させてもよい。
また、前記半径aが、前記ポインタ401とオブジェクトの奥行き方向の距離の大きさに比例して大きくなるようにしてもよい。このようにすれば、前記オブジェクト上で透明化されている領域の大きさによって、前記ポインタ401とオブジェクトの奥行き方向の距離を容易に推測することができる。
またさらに、前記オブジェクト上で透明化する領域は、図94の下段に示したような半径aの円領域に限らず、楕円(長円)領域、あるいは多角形領域など、予め定められた任意の形状であってもよい。
このような3次元表示制御方法を、図80に示した前記システム制御装置1等で実現するためには、前記システム制御装置1において、図88に示したステップ501からステップ510の処理を実行すればよい。ただし、本実施例4−3の3次元表示制御方法の場合、図88に示した処理手順におけるステップ510では、図89に示したステップ510aから510cのような処理を行う。またさらに、図89に示した処理手順におけるステップ510cでは、前記ポインタ401の奥行き位置よりも手前にあり、かつ、前記ポインタ401と重なるオブジェクト全体を透明化する代わりに、前述のように、前記ポインタ401の指し示しているXY位置(xp,yp)と重なる点を中心とした円領域、または楕円領域、あるいは多角形領域など、前記予め定められた形状の領域のみを透明化する。
以上説明したように、本実施例4−3の3次元表示制御方法によれば、前記ポインタの奥行き位置よりも手前に配置(表示)されたオブジェクトを透明化することで、前記ポインタ401が、あるオブジェクトの裏側にあたる位置に移動したときでも、前記ポインタ401の位置を見失うことがなく、容易に認識することができる。
また、前記ポインタ401を、前記観察者から見て奥に向かう方向に移動させることで、前記オブジェクトを透明化させることができるので、あるオブジェクトの裏側に別のオブジェクトが隠れているか否か、あるいはあるオブジェクトの裏側に隠れている別のオブジェクトの位置の認識等をするための操作が従来に比べて容易である。また、前記ポインタ401を、前記観察者から見て手前に向かう方向に移動させることで、透明化されているオブジェクトをもとの不透明な表示に戻すことができるので、透明化されているオブジェクトの表示内容を認識するための操作が従来に比べて容易である。すなわち、本実施例の3次元表示制御方法を適用することで、前記観察者(操作者)の利便性が向上する。
また、本実施例4−3のように、前記ポインタ401の奥行き位置よりも手前にあるオブジェクトを透明化するときに、前記ポインタ401の指し示している位置と重なる点を中心として部分的にオブジェクトを透明化させるので、たとえば、オブジェクトの透明化、不透明化の連続的な変化による視覚的な煩わしさを低減することができる。
[実施例4−4]
図96および図97は、実施例4−4の3次元表示制御方法を説明するための模式図であり、図96は本実施例4−4の表示制御方法を適用した場合の3次元空間の変化の様子を示す図、図97は本実施例4−4の3次元表示方法を実現するための装置における処理手順を示すフロー図である。なお、図96は、上段、中段、下段に3通りの状態を示しており、各状態は、図中に示した操作をすることで下の段の状態に変化する。また、各状態は、前記観察者から前記3次元空間を見たときの正面図と右側面図で示している。
本実施例4−4では、前記ポインタ401の奥行き位置よりも手前にあるオブジェクトを透明化した後、ポインタが一定時間静止している場合は、透明化されたオブジェクトをもとの不透明な状態に戻し、透明化されたオブジェクトの表示内容を容易に認識することができるようにする表示制御方法について説明する。
また、本実施例4−4では、説明を簡単にするために、たとえば、図96の上段に示したように、前記3次元デスクトップ空間にポインタ401と、フォルダアイコン402a,402bおよびウィンドウ403の3つのオブジェクトが表示されている場合を例に挙げて説明する。このとき、ポインタ401と、フォルダアイコン402a,402bおよびウィンドウ403の3つのオブジェクトの位置関係は、最初、図96の上段に示したような位置関係であり、前記ポインタ401は、前記観察者から見て前記ウィンドウ403の奥行き位置よりも手前に表示されているとする。またこのとき、前記フォルダアイコン402bは、前記観察者から見て前記ウィンドウ403の裏側にあたる位置に配置されており、前記観察者からは見えていないとする。
このとき、前記操作者が、前記マウスのホイールを、前記ポインタ401を+z(z>0)方向に移動させるように回転させ、前記ポインタ401の奥行き位置が、図96の中段に示したように、前記観察者から見て前記ウィンドウ403の奥行き位置よりも奥になった場合、前記ウィンドウ403は透明化される。この結果、前記観察者(操作者)は、前記ポインタ401がウィンドウ403の裏側にあたる位置に移動したときも、前記ポインタ401の位置を容易に認識することができる。また、前記ポインタ401を+z(z>0)方向に移動させるだけで、前記ウィンドウ403の裏側に別のオブジェクトが隠れているか否かや、隠れているフォルダアイコン402bの位置を認識することができる。
そして、前記操作者が、この状態においてマウスの操作を中断し、前記マウス本体およびホイールを動かさない状態が、たとえば、1秒間続いたとすると、図96の下段に示すように、透明化されていた前記ウィンドウ403が、もとの不透明な状態の表示に戻る。この結果、前記観察者(操作者)は、たとえば、前記実施例4−1乃至実施例4−3で説明したように、前記ポインタ401を前記ウィンドウ403の奥行き位置よりも手前に移動させる操作をしなくても、前記ウィンドウ403の表示内容を認識することができるようになる。
また、図96の下段に示したような状態で、前記マウスの操作を再開すれば、前記ポインタ401の奥行き位置よりも手前にあるウィンドウ403は再度透明化され、図96の中段に示したように、前記ウィンドウ403の裏側に隠れていたポインタ401およびフォルダアイコン402bを認識できるようになる。
このような本実施例4−4の3次元表示制御方法を、図80に示した前記システム制御装置1等で実現するためには、前記システム制御装置1において、図97に示したステップ501からステップ513の処理を実行すればよい。
なお、図97に示した処理手順におけるステップ501からステップ510は、図88に示した処理手順のステップ501からステップ510の処理と同じ処理でよいので、詳細な説明は省略する。また、前記オブジェクトを透明化するときに、前記実施例4−2や実施例4−3で説明したような方法で透明化する場合は、前記ステップ510において、たとえば、図93に示したステップ510dからステップ510hの処理、あるいは図90に示した510aからステップ510cのような処理を行えばよいので、この説明も省略する。
図80に示したような構成の前記システム制御装置1において、本実施例4−4の3次元表示方法を実現するためには、図97に示したステップ510の処理、すなわち、前記ポインタ401の奥行き位置よりも手前にあるオブジェクトを透明化して表示させる処理がすんだ後、前記ポインタの操作に関する情報(ポインタ操作情報)の取得が継続しているか確認する(ステップ511)。そして、前記ポインタ操作情報の取得が継続している場合は、図97に示したように、前記ステップ505からステップ510の処理を繰り返し、ポインタの表示位置の移動、ポインティングされているオブジェクトの表示の変更、ポインタの奥行き位置よりも手前にあるオブジェクトの透明化を続ける。
一方、前記ステップ511において、前記ポインタ操作情報の取得が中断していると判定した場合は、前記ポインタ操作情報の取得を中断してから一定の時間が経過したか確認する(ステップ512)。このとき、一定の時間が経過していなければ、ステップ511に戻り、再度確認を行う。
そして、前記ステップ511およびステップ512で、前記ポインタ操作情報の取得が中断し、かつ、中断してから一定の時間が経過していると判定した場合、前記オブジェクト生成/透明化手段105は、現在透明化されているオブジェクトを、もとの不透明な状態に戻し、前記表示制御手段106を介して前記表示装置3に表示させる(ステップ513)。
前記システム制御装置1において、このような処理を実行することで、図96に示したようなポインタ401およびオブジェクト402a,402b,403の表示の制御が可能となる。
以上説明したように、本実施例4−4の3次元表示制御方法によれば、前記ポインタの奥行き位置よりも手前に配置(表示)されたオブジェクトを透明化することで、前記ポインタ401が、あるオブジェクトの裏側にあたる位置に移動したときでも、前記ポインタ401の位置を見失うことがなく、容易に認識することができる。
また、前記ポインタ401を、前記観察者から見て奥に向かう方向に移動させることで、前記オブジェクトを透明化させることができるので、あるオブジェクトの裏側に別のオブジェクトが隠れているか否か、あるいはあるオブジェクトの裏側に隠れている別のオブジェクトの位置の認識等をするための操作が従来に比べて容易である。また、前記ポインタ401を、前記観察者から見て手前に向かう方向に移動させることで、透明化されているオブジェクトをもとの不透明な表示に戻すことができるので、透明化されているオブジェクトの表示内容を認識するための操作が従来に比べて容易である。すなわち、本実施例の3次元表示制御方法を適用することで、前記観察者(操作者)の利便性が向上する。
また、本実施例4−4のように、前記ポインタ操作情報の取得が中断してから一定時間が経過した場合、透明化されているオブジェクトをもとの不透明な状態に戻して表示させることで、たとえば、実施例4−1乃至実施例4−3で説明したような、ポインタ401を観察者から見て手前の方向に移動させるという操作を行わなくても、前記ポインタ401より手前に表示されているオブジェクトの表示内容を認識することができる。
また、前記透明化されているオブジェクトの奥行き位置よりも奥に前記ポインタ401が表示されている状態のまま透明化されているオブジェクトを不透明化し、さらに、前記ポインタ操作情報の取得が再開した時点で前記不透明化されたオブジェクトを再度透明化するので、前記透明化されているオブジェクトの表示内容を確認するためにポインタを奥行き方向に移動させるという操作を省くことができ、前記観察者(操作者)の利便性がさらに向上する。
[実施例4−5]
図98〜図100は、実施例4−5の3次元表示制御方法を説明するための模式図であり、図98はオブジェクトの選択方法を示す図、図99は本実施例4−5の表示制御方法を適用した場合の3次元空間の変化の様子を示す図、図100は本実施例4−5の3次元表示方法を実現するための装置における処理手順を示すフロー図である。なお、図98および図99は、上段、中段、下段に3通りの状態を示しており、各状態は、図中に示した操作をすることで下の段の状態に変化する。また、各状態は、前記観察者から前記3次元空間を見たときの正面図と右側面図で示している。
本実施例4−5では、前記3次元空間内に表示されたオブジェクトを選択している状態で前記ポインタを移動させときに、前記ポインタの奥行き位置よりも手前にあるオブジェクトのうち、前記選択しているオブジェクトは透明化せず、選択されていることを認識できるようにする表示制御方法について説明する。
前記表示装置3上の3次元空間内でポインタ401を操作するときには、前記実施例4−1乃至実施例4−4で説明したように、前記ポインタ401を3次元空間内で移動させてオブジェクトをポインティングする操作の他に、たとえば、1つ以上のオブジェクトを選択し、前記選択したオブジェクトを前記3次元空間内で移動させるといった操作を行うこともできる。
そこで、本実施例4−5では、まず、たとえば、図98の上段に示したように、前記3次元デスクトップ空間にポインタ401と、フォルダアイコン402a,402bおよびウィンドウ403の3つのオブジェクトが表示されている場合を例に挙げて前記オブジェクトを3次元空間内で移動させる動作について説明する。このとき、ポインタ401と、フォルダアイコン402a,402bおよびウィンドウ403の3つのオブジェクトの位置関係は、最初、図98の上段に示したような位置関係であり、前記ポインタ401は、前記観察者から見て前記ウィンドウ403の奥行き位置よりも奥に表示されているとする。すなわち、前記ウィンドウ403は、前記ポインタ401の奥行き位置よりも手前にあるので、透明化されているとする。
このとき、前記操作者が、たとえば、前記マウスの左ボタンを押しながら、前記マウス本体およびホイールを操作すると、図98の中段に示したように、フォルダアイコン402a,402bを選択することができる。またこのとき、前記フォルダアイコン402a,402bは、通常の表示から、選択されていることを示す表示に切り替わる。そして、マウスの左ボタンを押すのをやめ、たとえば、前記ポインタ401で前記フォルダアイコン402aをポインティングした後、再び前記マウスの左ボタンを押しながらホイールを回転させると、図98の下段に示したように前記選択したフォルダアイコン402a,402bを、相対的な位置関係を保ちながら前記観察者から見て手前の方向に移動させることができる。
そして、前記操作者が、たとえば、図98の下段または図99の上段に示したように、前記フォルダアイコン402a,402bを移動させた後、前記選択した状態のまま、図99の中段に示すように、前記ポインタ401を前記フォルダアイコン402bの方向に移動させたとする。このとき、図99の中段に示したように、前記ポインタ401の奥行き位置が、前記フォルダアイコン402bよりも奥にあるとすると、前記実施例4−1乃至実施例4−4の表示制御方法では、前記フォルダアイコン402bは透明化されてしまう。しかしながら、前記フォルダアイコン402bが透明化されてしまうと、前記観察者は、前記フォルダアイコン402bが選択された状態であることを認識できなくなる。またさらに、図99の中段に示したように、2つの選択されたフォルダアイコン402a,402bの各奥行き位置の間に前記ポインタ401があると、前記フォルダアイコン402bが透明化され、前記フォルダアイコン402aが不透明な状態で表示されているため、前記フォルダアイコン402aのみが選択されているのか、他のオブジェクトも一緒に選択されているのかが認識できない。
そこで、本実施例4−5では、図99の中段に示したように、前記ポインタ401の奥行き位置よりも手前にあるオブジェクト(フォルダアイコン402b)であっても、選択された状態であれば、透明化せず、不透明な状態で表示する。この結果、前記観察者は、フォルダアイコン402a,402bが選択されている状態であることを容易に認識することができる。
そして、前記操作者が、たとえば、オブジェクトをポインティングしていない状態でマウスの左ボタンを押す等の操作をして、選択を解除すると、図99の下段に示したように、前記フォルダアイコン402a,402bは、選択されていることを示す表示から通常の表示に戻る。そして、前記ポインタ401の奥行き位置よりも手前にあるフォルダアイコン402bは通常の表示に戻ると同時に、透明化される。
このような本実施例4−5の3次元表示制御方法を、図80に示した前記システム制御装置1等で実現するためには、前記システム制御装置1において、図100に示したステップ501からステップ506,ステップ514からステップ517の処理を実行すればよい。
なお、図100に示した処理手順におけるステップ501からステップ506は、図88に示した処理手順のステップ501からステップ506の処理と同じ処理でよいので、詳細な説明は省略する。
図80に示したような構成の前記システム制御装置1において、本実施例4−5の3次元表示方法を実現するためには、図100に示したステップ506の処理、すなわち、前記ポインタ401を新たな表示位置に表示させる処理がすんだ後、前記ポインタ位置算出手段102は、前記オブジェクト変更判定手段104に前記ポインタ401の奥行き位置よりも手前に透明化候補のオブジェクトがあるか否かを判定させる(ステップ514)。このとき、透明化候補のオブジェクトがなければ、ステップ502に戻り、次の入力情報を取得するまで待機する。
一方、透明化候補のオブジェクトがある場合、前記オブジェクト変更判定手段104は、次に、前記透明化候補のオブジェクトの中に、選択されている状態のオブジェクトがあるか否かを判定する(ステップ515)。そして、選択されている状態のオブジェクトがなければ、前記オブジェクト生成/透明化手段105に、前記透明化候補となっている全てのオブジェクトを透明化させ、前記表示制御手段106を介して前記表示装置3に表示させる(ステップ516)。このとき、前記ステップ516では、前記実施例4−1乃至実施例4−3で説明したような透明化方法のいずれかを選択して前記オブジェクトを透明化する。
また、前記透明化候補となっているオブジェクトの中に、選択されている状態のオブジェクトがある場合は、前記オブジェクト生成/透明化手段105に、前記選択されているオブジェクトを除く、非選択状態のオブジェクトのみを透明化させ、前記表示制御手段106を介して前記表示装置3に表示させる(ステップ517)。このとき、前記ステップ517では、前記実施例4−1乃至実施例4−3で説明したような透明化方法のいずれかを選択して前記オブジェクトを透明化する。
前記システム制御装置1において、このような処理を実行することで、図100に示したようなポインタ401およびオブジェクト402a,402b,403の表示の制御が可能となる。
なお、図100に示した処理手順では、図88に示した処理手順のステップ507およびステップ508を省略しているが、これらの処理が組み込まれていてもよい。また、前記オブジェクトを透明化するときに、前記実施例4−2や実施例4−3で説明したような方法で透明化する場合は、前記ステップ510において、たとえば、図93に示したステップ510dからステップ510hの処理、あるいは図90に示した510aからステップ510cのような処理を行えばよい。
以上説明したように、本実施例4−5の3次元表示制御方法によれば、前記ポインタの奥行き位置よりも手前に配置(表示)されたオブジェクトを透明化することで、前記ポインタ401が、あるオブジェクトの裏側にあたる位置に移動したときでも、前記ポインタ401の位置を見失うことがなく、容易に認識することができる。
また、前記ポインタ401を、前記観察者から見て奥に向かう方向に移動させることで、前記オブジェクトを透明化させることができるので、あるオブジェクトの裏側に別のオブジェクトが隠れているか否か、あるいはあるオブジェクトの裏側に隠れている別のオブジェクトの位置の認識等をするための操作が従来に比べて容易である。また、前記ポインタ401を、前記観察者から見て手前に向かう方向に移動させることで、透明化されているオブジェクトをもとの不透明な表示に戻すことができるので、透明化されているオブジェクトの表示内容を認識するための操作が従来に比べて容易である。すなわち、本実施例の3次元表示制御方法を適用することで、前記観察者(操作者)の利便性が向上する。
また、前記オブジェクトを透明化するときに、透明化の候補であるオブジェクト、すなわち、前記ポインタの奥行き位置よりも手前にあるオブジェクトの中に、選択されている状態のオブジェクトがある場合、前記選択されているオブジェクトは透明化しないことで、前記オブジェクトが選択された状態であることを容易に認識することができる。
また、前記各実施例では、前記入力装置2としてホイール機能付きマウスを用い、前記表示装置3としてDFDを用いた場合を例に挙げて、前記ポインタおよびオブジェクトの表示の制御方法を説明したが、前記入力装置2および前記表示装置3は、既存の種々の装置を用いることができることは言うまでもない。このとき、前記入力装置2としては、たとえば、キーボードやペンタブレット、あるいはゲームパッド等の装置を用いることができる。また、前記入力装置2は1種類に限らず、たとえば、キーボードとマウスを組み合わせ、前記キーボードの特定のキーを押しながらマウスを操作することで、前記ポインタの3次元的な移動操作や選択操作等を行うこともできる。また、前記表示装置3も、前記DFDのようなオブジェクトの立体表示が可能な3次元ディスプレイに限らず、既存のCRTや液晶ディスプレイ、プラズマディスプレイ等の2次元ディスプレイを用いることも可能である。前記表示装置3として前記2次元ディスプレイを用いた場合は、前記システム制御装置1の表示制御手段106において、3次元仮想空間を設定して前記3次元空間内に前記ポインタやオブジェクトを配置した後、前記3次元空間を前記2次元ディスプレイの表示面に投影した画像を生成し、前記2次元ディスプレイに表示させればよい。
また、本発明の3次元表示制御方法は、特殊な入力装置、制御装置、表示装置を用いることなく、既存の入力装置、制御装置、表示装置を組み合わせることで容易に実現することができる。また、本発明の3次元表示制御方法を適用した制御装置は、コンピュータとプログラムによって実現することができる。このとき、前記プログラムは、たとえば、前記実施例4−1乃至実施例4−5で説明したような表示制御方法をコンピュータに実行させる命令が記述されていればよく、磁気的または電気的、あるいは光学的のいずれかの記録媒体に記録して提供することができる。また、前記記録媒体に記録して提供する代わりに、たとえば、インターネット等のネットワークを介して提供することもできる。
以上、本発明を、各実施の形態に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において、種々変更可能であることはもちろんである。