JPH075978A

JPH075978A - 入力装置

Info

Publication number: JPH075978A
Application number: JP14720193A
Authority: JP
Inventors: Masamichi Asukai; 正道飛鳥井
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1993-06-18
Filing date: 1993-06-18
Publication date: 1995-01-10

Abstract

(57)【要約】【目的】現実世界から遊離せずに、仮想世界に対して
所定の入力を行うことができるようにする。【構成】ディスプレイ１に電卓５２の３次元映像を表
示する。このとき、ディスプレイ１は、現実に存在する
机５１を透過して見ることができるようにする。ボタン
５２ａを操作したか否かを、指先の位置とボタン５２ａ
の位置とから計算して求める。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えば表示部に表示さ
れた映像に対して、実際に自分の指を使って所定の入力
を行う場合に用いて好適な入力装置に関する。

【０００２】

【従来の技術】最近、ＶＲ（virtual reality：仮想現
実）の分野においては、非透過型の頭部搭載型ディスプ
レイを用いて、計算機によって生成した仮想世界の映像
を表示し、この表示に対して、例えば手袋型入力装置や
ボディスーツ型入力装置などを用いて、仮想世界とイン
タラクションを行うことができるようになされている。
これにより、通常経験することができないような仮想世
界に、あたかも自分が存在するかのような雰囲気を楽し
むことが可能となる。

【０００３】

【発明が解決しようとする課題】しかしながら、このよ
うな手袋型入力装置やボディスーツ型入力装置は、大が
かりであるばかりでなく、装着した場合における拘束感
が強い課題があった。

【０００４】また、手袋型入力装置では、手の位置、方
位、および全ての指の角度などを計測することが可能で
あり、自由度があまりにも高すぎて、かえって操作性が
悪い課題があった。

【０００５】さらにまた、ＶＲにおいては、非透過型の
頭部搭載型ディスプレイが用いられるが、この非透過型
の頭部搭載型ディスプレイにおいては、自分の手ではな
く、計算機により生成された仮想的な手を用いて種々の
入力を行うようになされているため、仮想的な手の表示
の時間遅れにより、手の自然な動きが損なわれる課題が
あった。また、ディスプレイを通して見える映像中に、
現実世界の映像が一切存在しないため、孤立感を強く感
じたり、疲れやすい課題があった。さらに、仮想世界に
おける入力作業を一時的に中断し、別の作業をしたいよ
うな場合においては、頭部搭載型ディスプレイを一旦取
り外す必要があり、従って、例えば現実世界において、
歩きながら、あるいは他の作業をしながら、仮想現実の
世界において所定の入力を行うようなことができず、日
常生活に対する応用が困難である課題があった。

【０００６】本発明はこのような状況に鑑みてなされた
ものであり、現実世界における日常生活と同様なインタ
ラクションを自然に行うことが可能な装置を実現するも
のである。

【０００７】

【課題を解決するための手段】本発明の入力装置は、指
の位置を検出する指位置検出手段としての位置センサ２
ａと、表示する映像を生成する生成手段としての映像生
成部３３と、映像生成部３３により生成された映像を、
背景映像に重畳して表示する表示手段としてのディスプ
レイ１と、位置センサ２ａにより検出された指の位置
と、映像生成部３３により生成され、ディスプレイ１に
表示された映像との関係を演算する演算手段としての計
算機４とを備えることを特徴とする。

【０００８】映像生成部３３は、映像の一部を、背景映
像に対応して消去させるようにすることができる。ま
た、ディスプレイ１の位置を検出する表示位置検出手段
としての位置センサ１ａをさらに設けることができる。

【０００９】位置センサ２ａは、少なくとも２つのビデ
オカメラに替えることができる。また、ディスプレイ
は、左眼映像と右眼映像とを交互に表示するようにし、
左眼映像と右眼映像とに同期して切り替えられるシャッ
タを有する眼鏡としての液晶シャッタ眼鏡１１２をさら
に設けるようにすることができる。

【００１０】

【作用】上記構成の入力装置においては、位置センサ２
ａにより検出された指の位置と、映像生成部３３により
生成され、ディスプレイ１に表示された映像との関係が
計算機４により演算される。従って、実際の指を用い
て、表示された映像に対して所定の入力を行うことがで
きる。このとき、ディスプレイ１には、背景映像が表示
されるため、現実世界から遊離してしまうようなことが
抑制される。

【００１１】

【実施例】図１は、本発明の入力装置の一実施例の構成
を表している。ディスプレイ１は、透過型の頭部搭載型
ディスプレイであり、その上面に位置センサ１ａが取り
付けられている。使用者は、このディスプレイ１を眼鏡
をかけるようにして頭部に搭載する。

【００１２】図２は、ディスプレイ１のより詳細な構成
例を示している。この実施例においては、例えばＬＣ
Ｄ、ＣＲＴなどよりなる表示部１１の左表示部と右表示
部に、計算機４より出力される左眼映像または右眼映像
が、それぞれ表示される。レンズなどよりなる光学系１
２は、表示部１１に表示された映像をハーフミラー（ビ
ームスプリッタ）１３に入射させ、観察者の眼１４に向
けて反射させる。これにより、観察者は、ディスプレイ
１の向こう側の所定の位置に立体映像（虚像）を観察す
ることができる。

【００１３】このとき、ハーフミラー１３は、ディスプ
レイ１の向こう側に実際に存在する背景（背景映像）か
らの光を透過するため、観察者は背景も観察することが
できる。

【００１４】また、使用者は、その指に指輪２をはめ、
この指輪２に取り付けられている位置センサ２ａにより
指の位置（姿勢を含む）が検出されるようになされてい
る。ディスプレイ１の位置センサ１ａの出力と、指輪２
の位置センサ２ａの出力は、それぞれ３次元座標測定装
置３に供給されている。３次元座標測定装置３は、これ
らの入力から、ディスプレイ１と指の３次元（ｘ，ｙ，
ｚ軸）上の位置並びに姿勢（アジマス、エレベーショ
ン、ロール）を計算する。

【００１５】この３次元座標測定装置３としては、例え
ばＳｔｅｒｅｏＧｒａｐｈｉｃｓ社のＣｒｙｓｔａｌ
ＥＹＥＳ（商標）として商品化されている超音波を用
いた装置や、Ｐｏｌｈｅｍｕｓ社が３ＳＰＡＣＥ（商
標）として商品化している磁気を用いた装置を適用する
ことができる。

【００１６】図３は、磁気を用いて位置センサ１ａ（位
置センサ２ａにおける場合も同様）の位置を検出するた
めの３次元座標測定装置３の構成例を示している。同図
に示すように、３次元座標測定装置３は、ソース（直交
コイル）２４を有している。このソース２４は、ｘ軸方
向の磁界を発生するコイル２４ｘ、ｙ軸方向の磁界を発
生するコイル２４ｙ、およびｚ軸方向の磁界を発生する
コイル２４ｚにより構成されている。位置センサ１ａ
も、ｘ軸方向の磁界を検出するコイル１ａｘ、ｙ軸方向
の磁界を検出するコイル１ａｙ、およびｚ軸方向の磁界
を検出するコイル１ａｚを有している。

【００１７】３次元座標測定装置３の位置計算部２２
は、ドライブ回路２３を介してソース２４の３つのコイ
ルをそれぞれ時分割で駆動する。その結果、ｘ軸方向の
磁界、ｙ軸方向の磁界、またはｚ軸方向の磁界が順次発
生される。位置センサ１ａの各コイルは、これらの各方
向の磁界を検出し、その検出信号を検出回路２１に出力
する。検出回路２１は、その検出信号を位置計算部２２
に供給する。位置計算部２２は、検出回路２１より供給
された検出信号を演算し、位置センサ１ａ（ディスプレ
イ１）の３次元上の位置および姿勢を求める。位置計算
部２２により演算された位置データは、計算機４に供給
される。

【００１８】計算機４は、３次元座標測定装置３より供
給されるディスプレイ１の位置データと、指輪２の位置
データに対応して、ディスプレイ１に出力する映像を制
御する。

【００１９】例えば、いま図６に示すように、現実世界
に存在する机５１上に、あたかも実際に電卓５２が載置
されているように、ディスプレイ１に電卓５２を表示す
る。そして、電卓５２が有するボタン５２ａを実際の自
分の指で操作する処理を実行する場合における計算機４
の処理の機能ブロックを、図４に示す。

【００２０】視点位置計算部３１は、３次元座標測定装
置３より供給されるディスプレイ１の位置データ（位置
と姿勢を含む、以下同様）、並びにメモリ３２に予め記
憶されているディスプレイ１の形状データとから、観察
者の両眼の視点位置と姿勢を演算し、映像生成部３３に
出力する。映像生成部３３にはまた、物体モデル管理部
３７が、予め記憶している電卓の形状モデル（形と色か
ら構成される）のデータが供給されている。映像生成部
３３は、この電卓の形状モデルデータを透視変換するこ
とにより、電卓の右眼映像と左眼映像を生成する。この
右眼映像と左眼映像は、映像出力部３４を介してディス
プレイ１に出力、表示される。

【００２１】ディスプレイ１は、その左側と右側が独立
に表示動作を行うことができるように構成されており、
左眼映像は左側に、右眼映像は右側に、それぞれ表示さ
れる。

【００２２】一方、指位置計算部３５は、３次元座標測
定装置３より供給される指輪位置データ（位置と姿勢に
関するデータを含む、以下同様）が入力されており、指
位置計算部３５は、このデータから指の先端部の位置を
演算し、そのデータを指示物体計算部３６に出力する。

【００２３】指示物体計算部３６にはまた、物体モデル
管理部３７より電卓の形状モデルデータが供給されてい
る。指示物体計算部３６は、この指位置計算部３５より
供給される指の先端位置データと、物体モデル管理部３
７より供給される電卓の形状モデルデータとから、指が
電卓のどのボタンを押したかを、演算により求める。

【００２４】指が電卓のどのボタンを押したのかを判断
するために、電卓５２のボタン５２ａのそれぞれに対し
て、例えば図５に示すような電卓のボタン５２ａのモデ
ル座標系が用いられる。説明の便宜上、ここではボタン
５２ａの一辺が２ｄの正方形により構成されているもの
とする。指の位置がボタンの表側（ｙ軸の正方向）から
裏側（ｙ軸の負方向）に突き抜けたとき、ボタン５２ａ
が押圧されたものと判定する。

【００２５】この判定処理のため、指先の位置を、図５
に示したボタン５２ａのモデル座標系に変換する。この
ときの指先の座標をＰ（ｐｘ，ｐｙ，ｐｚ）とする。指
先の位置Ｐ₁（ｐｘ₁，ｐｙ₁，ｐｚ₁）が所定のボタン５
２ａの範囲内にあり、かつ、その表側にあるとき、次の
条件が満足される。 −ｄ＜ｐｘ₁＜ｄ −ｄ＜ｐｚ₁＜ｄ０＜ｐｙ₁

【００２６】一方、指先の位置Ｐ₂（ｐｘ₂，ｐｙ₂，ｐ
ｚ₂）がボタン５２ａの範囲内で裏側に位置するとき、
次の条件が満足される。 −ｄ＜ｐｘ₂＜ｄ −ｄ＜ｐｚ₂＜ｄｐｙ₂＜０

【００２７】即ち、上述した２つの条件が所定の時間内
に順次満足されたとき、所定のボタン５２ａが押圧され
たものと判定する。

【００２８】指示物体計算部３６は、所定のボタン５２
ａが操作されたと判定したとき、その操作されたボタン
に関するデータを、物体モデル管理部３７に供給する。
物体モデル管理部３７は、このデータに対応して、電卓
５２の次のタイミングにおける状態を演算し、電卓の内
部モデル（ボタンの上下の位置、ボタン操作の結果表示
されるべき数字など）と電卓の形状モデルを更新する。
これにより、押圧されたボタンに対応して表示が変化さ
れる。

【００２９】以上は図６に示したように、電卓５２のボ
タン５２ａを操作する場合の処理例であるが、この他、
例えば図７または図８に示すような入力処理を実行する
ことも可能である。

【００３０】図７は、図１において、計算機４に例えば
ＶＴＲ５が接続されているような場合において、このＶ
ＴＲ５をリモコンで動作させる場合の例を示している。
この場合、図４における物体モデル管理部３７は、ＶＴ
Ｒ５のリモコン６１の形状モデルと内部モデル、並びに
ＶＴＲ５からの再生画像６２を表示する画面の枠６３の
形状モデルを管理する。

【００３１】視点位置計算部３１により計算された両眼
の視点の位置と姿勢のデータ、物体モデル管理部３７の
リモコンの形状モデルデータを用いて、映像生成部３３
は、透視変換により右眼映像と左眼映像を生成する。ま
た、枠６３の内部には、ＶＴＲ５の再生画像６２をはめ
込む。

【００３２】さらに、指示物体計算部３６により計算さ
れたリモコン６１のどのボタンを押したかというデータ
から、物体モデル管理部３７はリモコン６１の内部モデ
ルと形状モデルを更新する。また、物体モデル管理部３
７に接続されているＶＴＲ５を、そのボタンに対応する
ように動作させる。

【００３３】図８には、実際に配置されている机５１上
に仮想的な紙７１を載置したように表示し、そこに手書
き入力する例を示している。この場合、指示物体計算部
３６は、付属するＯＣＲ（optical character recognit
ion）３６ａを用いて、指の軌跡データから手書き入力
された文字を認識する。物体モデル管理部３７は、紙の
形状モデル、指の軌跡データ、認識された文字データを
管理する。

【００３４】視点位置計算部３１により計算された両眼
の視点の位置と姿勢のデータ、物体モデル管理部３７の
紙の形状モデル（形と色から構成される）、指の軌跡デ
ータ、および認識された文字データから、映像生成部３
３は、透視変換により右眼映像と左眼映像を生成する。
これがディスプレイ１に出力、表示される。図８の例に
おいては、紙７１の下方に指の軌跡データが表示され、
その上方に認識された結果得られた文字データが表示さ
れている。

【００３５】図６（図７および図８も同様）の実施例に
おいては、現実の机５１の上に操作対象とされる電卓５
２（仮想的な物体）（リモコン６１、紙７１）を載置し
たので、そのボタン５２ａを押した感触や文字を書いた
感触が、実際の指で現実の机５１に触れることにより得
られるため、指に触覚や力覚のフィードバックを与える
ような特別の装置を設ける必要がなくなり、指の位置を
測定する装置だけで自然な入力を行うことが可能とな
る。

【００３６】また、例えば図６（図７および図８も同
様）の仮想的な電卓５２（リモコン６１、紙７１）を、
より本物らしく見せるには、電卓の形状モデルだけでな
く、電卓の表面の反射係数などの属性モデルと、部屋の
照明の位置や色などの照明モデルを物体モデル管理部３
７で管理して、例えばコンピュータグラフィックスにお
けるフォンシェーディングなどのレンダリング技術を用
いて、より本物らしい映像として映像生成部３３で生成
することができる。

【００３７】また、図６乃至図８においては、表示する
物体を世界座標系に固定したのであるが、図９乃至図１
１に示すように、表示する物体をディスプレイ座標系に
固定することも可能である。

【００３８】表示する物体を世界座標系に固定する場
合、３次元空間を全て入力に利用することが可能であ
る。これに対して、ディスプレイ座標系に固定する場
合、ディスプレイの大きさだけの２次元空間のみが入力
に利用可能となる。

【００３９】図９は、図６に対応して、仮想的な電卓５
２のボタンを操作する例を示し、図１０は、図７に対応
して、仮想的なリモコン６１を操作する例を表し、図１
１は、図８に対応して、仮想的な紙７１に手書き入力す
る例を示している。

【００４０】図６乃至図１１に示した例は、１本の指を
用いて所定の入力を行う例であるが、図１２乃至図１４
に示すように、複数の指を用いて入力を行うようにする
ことも可能である。

【００４１】図１２においては、２本の指を用いて文字
のコピー領域が指定されている。また、図１３において
は、２本の指を用いてリモコンのつまみ６２ａが操作さ
れる。さらに、図１４の例においては、両手の全ての指
を用いてキーボード９１が操作される。

【００４２】また、図１２乃至図１４に示すように、複
数の指を用いて入力を行う場合においては、図１５に示
すように、複数の指（位置を検出する必要がある指）に
対して指輪２がはめられ、各指の位置が、その位置セン
サ２ａにより検出される。

【００４３】図１２に示すように、２本の指を用いて文
字のコピー領域を指定する場合、２つの指輪の位置と姿
勢のデータから、２本の指の先端部の位置が、指位置計
算部３５により計算される。そして、この計算された２
本の指の先端部の位置データが決定する矩形領域中に存
在する文字を、物体モデル管理部３７の文字データの中
から指示物体計算部３６が計算する。

【００４４】指示物体計算部３６の計算により特定され
た文字は、物体モデル管理部３７により管理され、次に
指示物体計算部３６によりコピーされる場所が指定され
た場合、管理されている文字がその場所にコピーされ
る。

【００４５】図１３に示すように、２本の指を用いてリ
モコン６１のつまみ６２ａを操作する場合、物体モデル
管理部３７はＶＴＲ５のリモコン６１の形状モデル、内
部モデル、およびＶＴＲの画面の枠６３の形状モデルを
管理する。

【００４６】視点位置計算部３１により計算された両眼
の視点の位置と姿勢のデータ、物体モデル管理部３７の
リモコン６１の形状モデル、画面の枠６３の形状モデル
から、映像生成部３３が透視変換により右眼映像と左眼
映像を生成する。そして、この右眼映像と左眼映像の枠
６３の内部に、ＶＴＲ５より出力された再生画像６２が
はめ込まれる。

【００４７】また、３次元座標測定装置３により測定さ
れた２つの指輪２の位置と姿勢のデータから、２本の指
の先端部の位置が、指位置計算部３５により計算され
る。指位置計算部３５により計算された２本指の先端部
の位置のデータと、物体モデル管理部３７のリモコン６
１の形状モデルから、指がリモコン６１のつまみ６２ａ
を操作したかどうかを、あるいは、所定のボタンが操作
されたかどうかを、指示物体計算部３６が演算する。

【００４８】１本の指により、リモコン６１の所定のボ
タンが操作されたかどうかの判定は、上述した場合と同
様に行うことができる。

【００４９】これに対して、２本の指がリモコン６１の
つまみ６２ａを操作したかどうかの判定は、例えば図１
６に示すようなリモコン６１のつまみ６２ａのモデル座
標系を用いて行われる。説明を簡略化するため、ここで
は、つまみ６２ａの半径がｒの円であるとされ、２本の
指の位置がつまみ６２ａの円周上にあり、次に円周上を
移動したとき、つまみ６２ａを操作したと判定する。

【００５０】この場合、最初につまみ６２ａの形状モデ
ルを用いて２本の指先の位置を、図１６に示すモデル座
標系の２つの位置Ｐ１，Ｐ２（例えば、時間的に前の位
置）に変換する。

【００５１】Ｐ１＝（ｐ１ｘ，ｐ１ｙ，ｐ１ｚ）Ｐ２＝（ｐ２ｘ，ｐ２ｙ，ｐ２ｚ）

【００５２】２本の指先の位置が、つまみ６２ａの円周
上の近傍（ｄ）にあるとき、次式が成立する。（ｒ−ｄ）²＜ｐ１ｘ²＋ｐ１ｚ²＜（ｒ＋ｄ）² （ｒ−ｄ）²＜ｐ２ｘ²＋ｐ２ｚ²＜（ｒ＋ｄ）² −ｄ＜ｐ１ｙ＜ｄ −ｄ＜ｐ２ｙ＜ｄ

【００５３】次に、２つの指先がｐ１’，ｐ２’（時間
的に後の位置）に移動したとする。ｐ１’＝（ｐ１ｘ’，ｐ１ｙ’，ｐ１ｚ’）ｐ２’＝（ｐ２ｘ’，ｐ２ｙ’，ｐ２ｚ’）

【００５４】移動した２本の指先の位置が、再びつまみ
６２ａの円周上の近傍にあるとき、次式が成立する。（ｒ−ｄ）²＜ｐ１ｘ’²＋ｐ１ｚ’²＜（ｒ＋ｄ）² （ｒ−ｄ）²＜ｐ２ｘ’²＋ｐ２ｚ’²＜（ｒ＋ｄ）² −ｄ＜ｐ１ｙ’＜ｄ −ｄ＜ｐ２ｙ’＜ｄ

【００５５】この場合、２本の指先の位置を結ぶ単位ベ
クトルｖ，ｖ’は、次式で表される。ｖ＝ｎｏｒｍ（Ｐ２−Ｐ１）ｖ’＝ｎｏｒｍ（Ｐ２’−Ｐ１’）ここで、ｎｏｒｍは、単位ベクトルを計算する関数であ
る。

【００５６】また、これらのベクトルの外積ｗと内積の
逆余弦θは、次のようになる。ｗ＝（ｗｘ，ｗｙ，ｗｚ）＝ｖ×ｖ’ θ＝ａｃｏｓ（ｖ・ｖ’）

【００５７】また、εが比較的小さい所定の値とすると
き、ｗｙ＜−ε の場合には、つまみ６２ａが時計方向にθだけ回転した
ことになる。

【００５８】また、 ε＜ｗｙの場合には、つまみ６２ａが反時計方向にθだけ回転し
たことになる。さらに、次式が成立する場合には、殆ど
回転していないことになる。 −ε≦ｗｙ≦ε

【００５９】指示物体計算部３６により計算された指
が、リモコン６１のボタンを押したかどうか、あるい
は、つまみ６２ａを操作したかどうかというデータか
ら、物体モデル管理部３７は、リモコン６１の内部モデ
ルと形状モデルを更新するとともに、物体モデル管理部
３７に接続されているＶＴＲ５に対して所定の指令を出
力する。

【００６０】図１４に示す実施例のように、キーボード
９１を操作する場合、図１におけるＶＴＲに代えて、キ
ーボードが計算機４に接続されることになる。そして、
物体モデル管理部３７がキーボードの形状と内部モデル
を管理する。

【００６１】また、３次元座標測定装置３により測定さ
れた両手の全ての指輪２の位置と姿勢のデータから、両
手の全ての指の先端部の位置が、指位置計算部３５によ
り計算される。指位置計算部３５により計算された指の
先端部の位置のデータと、物体モデル管理部３７のキー
ボードの形状モデルから、指がキーボード９１のどのキ
ーを押したかを、指示物体計算部３６が計算する。

【００６２】指がキーを押したかどうかの判定は、上述
した場合と同様に実行することができる。指示物体計算
部３６により計算された、キーボード９１のどのキーが
押されたかというデータから、物体モデル管理部３７
は、キーボード９１の内部モデルと形状モデルを更新
し、また、物体モデル管理部３７に接続されているキー
ボードに対して操作されたキーに対応する信号を出力す
る。

【００６３】尚、以上の実施例において、ディスプレイ
１は、図２に示したように、光学透過型ディスプレイと
したが、図１７に示すように、ビデオ透過型ディスプレ
イとすることも可能である。即ち、この実施例の場合、
ディスプレイ１の反対側の背景映像が、観察者の眼１４
により直接観察されるのではなく、ビデオカメラ１５に
より観察される。そして、ビデオカメラ１５の出力がビ
デオ合成装置１６に供給され、計算機４より供給される
映像と合成される。そしてビデオ合成装置１６より出力
されたデータが、表示部１１に出力、表示され、その映
像が光学系１２、ミラー１７を介して、観察者の眼１４
に入射される。

【００６４】尚、このビデオ合成装置１６は、ディスプ
レイ１の内部ではなく、計算機４の内部に収納すること
も可能である。

【００６５】図１８は、本発明による入力装置の他の実
施例の構成を示している。この実施例においては、ディ
スプレイ１の正面に３つのマーク１ｂが設けられてい
る。そして指先には、指キャップ１０１が取り付けられ
ている。２台のビデオカメラ１０２Ｌと１０２Ｒは、デ
ィスプレイ１のマーク１ｂと指キャップ１０１を撮影
し、その映像出力を３次元座標測定装置３に供給してい
る。３次元座標測定装置３は、２台のビデオカメラ１０
２Ｌ，１０２Ｒの出力から、ディスプレイ１のマーク１
ｂの位置および指キャップ１０１の位置を演算する。

【００６６】即ち、この実施例においては、ディスプレ
イ１の位置センサ１ａと指輪２の位置センサ２ａによ
り、ディスプレイ１と指の位置を検出するのではなく、
マーク１ｂと指キャップ１０１を２台のビデオカメラ１
０２Ｌ，１０２Ｒで撮影し、その出力データから、ディ
スプレイ１と指の位置を演算して求めるようにするので
ある。換言すれば、２台のビデオカメラ１０２Ｌ，１０
２Ｒからの２枚の出力画像上の対応点の位置（２次元座
標）の相違から、３次元座標上の位置を演算により求め
るのである。その他の動作は、上述した場合と同様であ
る。

【００６７】そこで、次に２台のビデオカメラ１０２
Ｌ，１０２Ｒの出力から３次元座標を演算により求める
原理について、図１９を参照して説明する。

【００６８】ここでは、左右のカメラ１０２Ｌ，１０２
Ｒのそれぞれの中心位置（仮想的な視点位置）Ｐ_L，Ｐ_R
が、いずれもｘｚ平面上にあり、左右の２台のカメラ１
０２Ｌ，１０２Ｒの画面（例えば、ＣＣＤ等の撮像面）
が、いずれもｘｙ平面上にあるものとする。

【００６９】いま測定したい位置をＰ、左右のビデオカ
メラ１０２Ｌ，１０２Ｒの視点位置Ｐ_L，Ｐ_Rと、測定し
たい位置Ｐを結ぶ直線と画面との交点の位置（３次元座
標）をそれぞれＱ_L，Ｑ_R、この交点の画面上の２次元座
標を、それぞれ（ｘ_L，ｙ_L），（ｘ_R，ｙ_R）、左右のビ
デオカメラ１０２Ｌ，１０２Ｒの視点位置間の距離を２
ｗ、カメラの視点位置Ｐ_L，Ｐ_Rから画面までの距離をｄ
とする。

【００７０】また、ｘ軸方向の単位ベクトルをｉ、ｙ軸
方向の単位ベクトルをｊ、ｚ軸方向の単位ベクトルをｋ
とする。この場合、次式が成立する。Ｐ_L＝−ｗｉ−ｄｋＰ_R＝ｗｉ−ｄｋＱ_L＝（ｘ_L−ｗ）ｉ＋ｙ_LｊＱ_R＝（ｘ_R＋ｗ）ｉ＋ｙ_Rｊ

【００７１】Ｐ_LとＱ_Lを結ぶ直線と、Ｐ_RとＱ_Rを結ぶ直
線は、Ｐで交差するため、次式が成立する。Ｐ＝Ｐ_L＋ｍ（Ｑ_L−Ｐ_L）＝Ｐ_R＋ｎ（Ｑ_R−Ｐ_R）

【００７２】この式を未知数ｍ，ｎに関して解くと、次
式が得られる。ｍ＝ｎ＝２ｗ／（ｘ_L−ｘ_R）

【００７３】その結果、測定したい位置Ｐは、次式によ
り求めることができる。Ｐ＝（ｍｘ_L−ｗ）ｉ＋ｍｙ_Lｊ＋（ｍ−１）ｄｋ

【００７４】この図１８の実施例における計算機４の処
理内容を機能ブロックで表すと、図２０に示すようにな
る。この実施例においては、図４に示した場合と異な
り、３次元座標測定装置３が、指先に取り付けた指キャ
ップ１０１の位置を測定するため、図４における指位置
計算部３５が不要となる。そして、視点位置計算部３１
が、３次元座標測定装置３により測定されたディスプレ
イ１の３つのマーク１ｂの位置データから、ディスプレ
イ１の位置と姿勢を演算し、ディスプレイ１の形状に関
するデータを用いて、両眼の視点の位置と姿勢を演算す
る。その他の動作は、図４における場合と同様である。

【００７５】図２１は、さらに他の入力装置の実施例を
示している。この実施例においては、ディスプレイ１１
１が、例えばＬＣＤなどよりなる透過型ディスプレイに
より構成されている。このディスプレイ１１１は、計算
機４より供給された映像を表示することができるととも
に、反対側にある背景映像を透過するようになされてい
る。その結果、ディスプレイ１１１には、計算機４より
出力された映像と背景とが重畳して表示されることにな
る。

【００７６】また、この実施例においては、このディス
プレイ１１１が液晶シャッタ眼鏡１１２により観測され
るようになされている。位置センサ１１２ａは、液晶シ
ャッタ眼鏡１１２の位置を検出し、３次元座標測定装置
３に出力している。その他の構成は、図１における場合
と同様である。

【００７７】即ち、この実施例においては、計算機４よ
り出力された左眼映像と右眼映像が交互にディスプレイ
１１１に表示される。ディスプレイ１１１に左眼映像が
表示されているとき、液晶シャッタ眼鏡１１２の左眼鏡
１１２Ｌのみが解放され、右眼鏡１１２Ｒは閉じられる
ように、３次元座標測定装置３により制御される。ま
た、ディスプレイ１１１に右眼映像が表示されていると
き、左眼鏡１１２Ｌが閉じられ、右眼鏡１１２Ｒのみが
解放される。その結果、観察者は、ディスプレイ１１１
上の左眼映像を左眼により観察し、右眼映像を右眼によ
り観察することになる。その結果、合成された映像は立
体映像（虚像）となる。また、このとき、ディスプレイ
１１１に表示される映像は、液晶シャッタ眼鏡１１２に
取り付けられた位置センサ１１２ａにより検出された位
置に対応して補正されることは、上述した場合と同様で
ある。

【００７８】次に、計算機４より出力した映像と、背景
映像とを、ディスプレイ１または１１１により重畳して
表示する場合の動作について説明する。

【００７９】例えば図１８のディスプレイ１として、図
１７のビデオ透過型ディスプレイを用いて、計算機４に
より、図２２（ａ）に示すような電卓の映像を生成し、
これをディスプレイ１に出力し、表示させる場合、ディ
スプレイ１の反対側に、図２２（ｂ）に示すような自分
の手が存在するとき、その合成画像は図２２（ｃ）に示
すようになるのが通常である。この合成画像は、電卓と
手が、どちらが手前にあるのか不明瞭な画像となってい
る。実際には、電卓が机５１上に配置され、自分の手は
これを操作しようとしているのであるから、電卓より手
前に手が存在するように表示するのが正しい表示とな
る。

【００８０】このような表示を行わせるために、図１８
に示す計算機４は、例えば図２３に示すような処理を実
行する。

【００８１】即ち、ビデオ透過型ディスプレイのビデオ
カメラ１５により、図２４（ａ）に示すような自分の手
の映像をパターン認識部１３１に入力する。パターン認
識部１３１は、ディスプレイ１の反対側にある物体
（手）の映像から、そのエッジ検出（輪郭抽出）を行
い、図２４（ｂ）に示すような物体（手）の領域を抽出
する。この抽出データは、映像加工部１３２に供給され
る。

【００８２】視点位置計算部３１は、ディスプレイ１の
マーク１ｂの位置データから、ディスプレイ１の位置と
姿勢を演算し、ディスプレイ１の形状モデルに関するデ
ータを用いて、両眼の視点の位置と姿勢を演算し、映像
生成部３３に供給する。映像生成部３３は、視点位置計
算部３１により計算された両眼の視点位置と姿勢のデー
タ、物体モデル管理部３７が出力する電卓の形状モデル
から、透視変換により、図２４（ｃ）に示すような電卓
の右眼映像と左眼映像とを生成する。このとき、映像生
成部３３は、各ピクセル（ｉ，ｊ）毎の色データに加え
て、視点から物体（電卓）までの距離に相当するｚ値ｚ
ｃ（ｉ，ｊ）を演算する。これらのデータは、映像加工
部１３２に供給され、内蔵するフレームバッファに記憶
される。

【００８３】映像加工部１３２は、視点位置計算部３１
により計算された視点位置から、３次元座標測定装置３
により測定された物体位置（指キャップ位置）までの距
離に相当するｚ値ｚａを演算する。そして映像加工部１
３２のフレームバッファ上に記憶された映像のパターン
認識部１３１が抽出した物体領域内にある電卓のピクセ
ル（ｉ，ｊ）のｚ値ｚｃと比較する。

【００８４】ｚａ＜ｚｃ（ｉ，ｊ）である場合、電卓のそのピクセル（ｉ，ｊ）に関し、ビ
デオカメラ１５より入力される映像（指）（図２４
（ａ））の方が、図２４（ｃ）に示す映像（電卓）より
も手前に位置するので、後者が前者により隠されると映
像加工部１３２において判定する。このとき、フレーム
バッファの電卓のピクセル（ｉ，ｊ）の色を０（透明）
にして、ディスプレイ１の反対側に存在する指（背景）
の映像が見えるようにする。

【００８５】このようにして、背景に対応して、その一
部が除去された、図２４（ｄ）に示すような映像が生成
される。この電卓の映像（図２４（ｄ））が映像出力部
３４を介してディスプレイ１に出力され、表示される。
この図２４（ｄ）に示す映像が、ビデオカメラ１５によ
り撮影され、出力された図２４（ａ）に示す指の映像
と、ディスプレイ１の内部のビデオ合成装置１６（図１
７）において合成され、結局、ディスプレイ１には図２
４（ｅ）に示すような映像が表示される。この図を、図
２２（ｃ）の図と比較して明らかなように、自分の手が
電卓より手前に位置するように画像が正しく表示されて
いる。

【００８６】この実施例においては、図１８に示すよう
に、ディスプレイ１のマーク１ｂと指キャップ１０１
を、２台のビデオカメラ１０２Ｌ，１０２Ｒにより撮影
して、それぞれの位置を検出するようにしたが、例えば
図１や図１５に示すように、ディスプレイ１に取り付け
た位置センサ１ａや、各指に位置センサ２ａを有する指
輪２を取り付けて、それぞれの位置を検出するようにす
ることも可能である。

【００８７】図６に示したように、仮想的な電卓のボタ
ンを指を用いて操作する場合、入力装置を、例えば図１
５のディスプレイ１として図２の光学透過型ディスプレ
イを用いて、そこにおける計算機４を図２５に示すよう
に機能させることも可能である。この場合、３次元座標
測定装置３により測定された指輪２の位置および姿勢デ
ータと、物体モデル管理部３７が記憶している手の基本
形状から、物体形状生成部１４１は、図２６（ａ）に示
すような手の物体形状を生成し、映像加工部１３２に出
力する。

【００８８】３次元座標測定装置３により測定されたデ
ィスプレイ１の位置および姿勢データ、並びにメモリ３
２に記憶されているディスプレイ形状データとから、視
点位置計算部３１は、両眼の視点の位置および姿勢デー
タを演算する。映像生成部３３は、視点位置計算部３１
により計算された両眼の視点の位置および姿勢データ
と、物体モデル管理部３７の電卓の形状モデルから、透
視変換により、図２６（ｂ）に示すような電卓の右眼映
像と左眼映像とを生成する。また、電卓の各ピクセル
（ｉ，ｊ）毎の色に加えて、視点から物体（電卓）まで
の距離に相当するｚ値ｚｃ（ｉ，ｊ）が計算され、右眼
映像および左眼映像とともに、映像加工部１３２の内蔵
するフレームバッファ上に記憶される。

【００８９】映像加工部１３２は、コンピュータグラフ
ィックスにおける隠面消去のアルゴリズムであるｚバッ
ファアルゴリズムを応用して、正しい重なりの映像を、
次に示す方法で生成する。

【００９０】即ち、物体形状生成部１４１により生成さ
れた物体形状（図２６（ａ））のそれぞれの部分につい
て、視点位置計算部３１により計算された両眼の視点の
位置と姿勢のデータから、透視変換により、手の物体形
状の映像の各ピクセル（ｉ，ｊ）のｚ値ｚａ（ｉ，ｊ）
を求める。そして、映像加工部１３２のフレームバッフ
ァに記憶されている電卓の対応するピクセルのｚ値ｚｃ
（ｉ，ｊ）と比較する。

【００９１】そして、ｚａ（ｉ，ｊ）＜ｚｃ（ｉ，ｊ）であるならば、ピクセル（ｉ，ｊ）に関し、図２６
（ａ）の映像（手）の方が、図２６（ｂ）の映像（電
卓）よりも手前にあり、後者が前者により隠されるもの
と判定し、フレームバッファのピクセル（ｉ，ｊ）のｚ
値ｚｃ（ｉ，ｊ）を、ｚａ（ｉ，ｊ）に置き換えるとと
もに、ピクセルの色を０（透明）にする。これにより、
ディスプレイ１の向こう側の物体の映像が見えるように
なる。その結果、図２６（ｃ）に示すような映像が生成
される。

【００９２】この映像（図２６（ｃ））が映像出力部３
４を介してディスプレイ１に出力され、表示される。こ
のディスプレイ１には、図２６（ｄ）に示す実映像が、
図２に示すハーフミラー１３を介して入射される。この
ため、図２６（ｃ）の映像と図２６（ｄ）の映像とがハ
ーフミラー１３において合成され、図２６（ｅ）に示す
正しい重なりの映像が観察される。

【００９３】

【発明の効果】以上の如く本発明の入力装置によれば、
指位置検出手段により検出された指の位置と、生成手段
により生成され、表示手段に表示された映像との関係を
演算手段により演算するようにしたので、現実世界を基
礎とした状態において、仮想世界に対して所定の入力を
行うことが可能となる。その結果、単なるゲーム、娯楽
といった分野に留まらず、実用的な分野の装置への発展
的応用が可能となる。

【図面の簡単な説明】

【図１】本発明の入力装置の一実施例の構成を示す図で
ある。

【図２】図１のディスプレイ１のより詳細な構成を示す
図である。

【図３】図１の３次元座標測定装置３の構成例を示す図
である。

【図４】図１の実施例により図６に示す処理を実行させ
る場合における計算機４の機能を説明する図である。

【図５】電卓のボタンのモデル座標系を示す図である。

【図６】電卓を操作する場合の概念図である。

【図７】ＶＴＲのリモコンを操作する場合の概念図であ
る。

【図８】紙上に手書き入力する場合の概念図である。

【図９】電卓を操作する場合の他の概念図である。

【図１０】ＶＴＲのリモコンを操作する場合の他の概念
図である。

【図１１】紙上に手書き入力する場合の他の概念図であ
る。

【図１２】コピー領域を指定する場合の概念図である。

【図１３】ＶＴＲのリモコンのつまみを操作する場合の
概念図である。

【図１４】キーボードを操作する場合の概念図である。

【図１５】本発明の入力装置の他の構成例を示す図であ
る。

【図１６】ＶＴＲのリモコンのつまみのモデル座標系を
示す図である。

【図１７】図１のディスプレイ１の他の構成例を示す図
である。

【図１８】本発明の入力装置のさらに他の実施例の構成
を示す図である。

【図１９】図１８における２台のカメラを用いて３次元
座標を測定する場合の原理を説明する図である。

【図２０】図１８の計算機４の機能ブロックを説明する
図である。

【図２１】本発明の入力装置の他の実施例の構成を示す
図である。

【図２２】ディスプレイの表示画像の合成の原理を説明
する図である。

【図２３】映像を正しく合成させる場合における計算機
４の機能を説明する図である。

【図２４】図２３の各部において生成される映像を説明
する図である。

【図２５】映像を正しく合成する場合における計算機４
の他の機能ブロックを示す図である。

【図２６】図２５の各部において生成される映像を説明
する図である。

【符号の説明】

１ディスプレイ３３次元座標測定装置３ａ液晶コントローラ３ｂセンサコントローラ４計算機１１表示部１３ハーフミラー１５ビデオカメラ１６ビデオ合体装置１７ミラー２１検出回路２２位置計算部２３ドライブ回路２４ソース３１視点位置計算部３３映像生成部３４映像出力部３５指位置計算部３６指示物体計算部３７物体モデル管理部１１１ディスプレイ１１２液晶シャッタ眼鏡１１２ａ位置センサ

Claims

【特許請求の範囲】

【請求項１】指の位置を検出する指位置検出手段と、表示する映像を生成する生成手段と、前記生成手段により生成された映像を、背景映像に重畳
して表示する表示手段と、前記指位置検出手段により検出された前記指の位置と、
前記生成手段により生成され、前記表示手段に表示され
た映像との関係を演算する演算手段とを備えることを特
徴とする入力装置。
【請求項２】前記生成手段は、前記映像の一部を、前
記背景映像に対応して消去することを特徴とする請求項
１に記載の入力装置。
【請求項３】前記表示手段の位置を検出する表示位置
検出手段をさらに備えることを特徴とする請求項１また
は２に記載の入力装置。
【請求項４】前記指位置検出手段は、少なくとも２個
のビデオカメラを有することを特徴とする請求項１，２
または３に記載の入力装置。
【請求項５】前記表示手段は、左眼映像と右眼映像と
を交互に表示し、前記左眼映像と右眼映像とに同期して切り替えられるシ
ャッタを有する眼鏡をさらに備えることを特徴とする請
求項１乃至４のいずれかに記載の入力装置。