JPH07182100A - ３次元表示ポインティング装置 - Google Patents

Abstract

(57)【要約】 【目的】本発明の目的は、一人であるいは多人数で３次
元的なオペレータ操作を行うことができる３次元表示ポ
インティング装置を得ることである。 【構成】オペレータが立体視用ゴーグルを装着してディ
スプレイ画面上の操作対象を３次元的な仮想操作対象と
して認識する３次元表示装置と、オペレータの装着した
立体視用ゴーグルの現在位置を検出する現在位置検出セ
ンサと、仮想操作対象へのオペレータによる操作位置を
検出する操作位置検出センサと、オペレータの認識する
仮想操作対象位置を算出する仮想操作対象位置算出装置
と、オペレータによる操作位置が仮想操作対象位置算出
装置で算出された仮想操作対象位置範囲に一致したとき
はオペレータが操作対象を操作したと判定するオペレー
タ操作判定装置とを備えている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ディスプレイ画面上の
操作対象をオペレータが立体視用ゴーグルを装着して認
識した３次元的な仮想操作対象の操作を可能にした３次
元表示ポインティング装置に関する。

【０００２】

【従来の技術】たとえば、ディスプレイ装置に表示され
た平面的なディスプレイ画面上の操作対象を、オペレー
タが立体視用ゴーグルを装着して見ることにより、その
操作対象を３次元的な仮想操作対象として認識するよう
にした３次元表示装置がある。

【０００３】図７に、そのような左右視差を利用した３
次元表示装置を示す。オペレータが装着する立体視用ゴ
ーグル３は、左右視差切換装置６により左右視差が切り
替えられる。この左右視差の切換信号は表示制御装置７
にも入力され、ディスプレイ装置８におけるディスプレ
イ画面９上の画面上操作対象１０の表示の制御に用いら
れる。すなわち、オペレータが認識する３次元的な仮想
操作対象１１の基準位置の制御に用いられ、ディスプレ
イ画面９上での左目用画面操作対象および右目用操作対
象の表示位置の制御に用いられる。

【０００４】この様に、ディスプレイ画面９上での画面
操作対象を、左目用画面操作対象および右目用画面操作
対象として表示することにより、オペレータが立体視用
ゴーグル３を装着してディスプレイ画面９を見ると、そ
の操作対象が３次元的な立体の操作対象として認識でき
ることになる。この３次元表示装置は、数人で同時に一
つの大画面を立体的に見ることができるので、多人数で
のレビューを行う際に有効である。

【０００５】

【発明が解決しようとする課題】しかし、このような左
右視差を利用した３次元表示装置では、３次元的なオペ
レータ操作を行う手段が開発されていないので、レビュ
ーを行うことはできても３次元的なオペレータ操作を行
うことができなかった。

【０００６】そこで、本発明の目的は、一人であるいは
多人数で３次元的なオペレータ操作を行うことができる
３次元表示ポインティング装置を得ることである。ま
た、遠隔に存在する実際の操作対象を操作可能とした３
次元表示ポインティング装置を得ることである。

【０００７】

【課題を解決するための手段】本発明の３次元表示ポイ
ンティング装置は、ディスプレイ装置に表示されたディ
スプレイ画面上操作対象をオペレータが立体視用ゴーグ
ルを装着して見ることにより画面上操作対象を３次元的
な仮想操作対象として認識する３次元表示装置と、オペ
レータの装着した立体視用ゴーグルの現在位置を検出す
る現在位置検出センサと、仮想操作対象へのオペレータ
による操作位置を検出する操作位置検出センサと、ディ
スプレイ画面位置で定まる仮想操作対象の基準位置と立
体視用ゴーグルの現在位置とに基づいてオペレータの認
識する仮想操作対象位置を算出する仮想操作対象位置算
出装置と、操作位置検出センサ検出されたオペレータに
よる操作位置が仮想操作対象位置算出装置で算出された
仮想操作対象位置範囲に一致したときはオペレータが操
作対象を操作したと判定するオペレータ操作判定装置と
を備えている。

【０００８】また、現在位置検出センサ、操作位置検出
センサ、仮想操作対象位置算出装置、オペレータ操作判
定装置をそれぞれ複数個設け、多人数での操作を可能に
している。一方、オペレータ操作判定装置が、オペレー
タが操作対象を操作したと判定した時は実際の操作対象
を駆動するためのアクチュエータを備えている。

【０００９】

【作用】これにより、本発明の３次元表示ポインティン
グ装置は、オペレータの現在位置とディスプレイ画面と
の位置関係から空間上の仮想操作対象位置を算出し、そ
の位置とオペレータが操作した空間上の位置を比較し、
一定の誤差範囲内に入る場合にオペレータ操作を認識す
る。従って、オペレータは立体的に見えている操作対象
を操作する事が出来る。また、オペレータが多人数であ
るときには、各オペレータ毎に、オペレータの現在位値
とディスプレイ画面との位置関係から空間上の仮想操作
対象位置を算出し、その位置とオペレータが操作した空
間上の位置を比較し、一定の誤差範囲内に入る場合にオ
ペレータ操作を認識する。したがって、多人数でのオペ
レータ操作が安価に可能となる。

【００１０】一方、オペレータに対する仮想操作対象位
置とオペレータが操作した空間上の位置を比較し、一定
の誤差範囲内に入る場合に実際の操作対象に駆動指令を
出し駆動することにより、実際の操作対象の遠隔操作が
可能となる。

【００１１】

【実施例】以下本発明の第１の実施例を図１を参照して
説明する。この実施例の３次元表示ポインティング装置
は、図７に示した３次元表示装置に対し、オペレータの
装着した立体視用ゴーグル３の現在位置を検出する現在
位置検出センサ２及び現在位置検出センサユニット５と
仮想操作対象１１へのオペレータによる操作位置を検出
する操作位置検出センサ１及び操作位置検出ユニット４
と、オペレータの認識する仮想操作対象位置を算出する
仮想操作対象位置算出装置１７と、操作位置検出センサ
１で検出されたオペレータによる操作位置が仮想操作対
象位置算出装置１７で算出された仮想操作対象位置範囲
に一致したときはオペレータが操作対象を操作したと判
定するオペレータ操作判定装置１２とを追加して設けて
いる。

【００１２】オペレータは、左右視差切換装置６により
左右視差を自動的に切り替えられる立体視用ゴーグル３
を装着して、ディスプレイ装置８のディスプレイ画面９
を見る事で、画面上操作対象１０が立体的な仮想操作対
象１１として見ることになる。また、操作位置検出セン
サ１によりオペレータ操作位置を検出し操作位置検出セ
ンサユニット４を介してオペレータ操作判定装置１２に
取り込む。さらに、現在位置検出センサ２によりオペレ
ータ現在位置１８を検出し、現在位置検出センサユニッ
ト５を介して仮想操作対象位置算出装置１７に取り込
む。表示制御装置７はディスプレイ装置８のコントロー
ルを行うと同時に仮想操作対象位置算出装置１７に仮想
操作対象基準位置１５を送っている。仮想操作対象基準
位置信号１５とからオペレータが見ている仮想操作対象
空間上位置１９を算出してオペレータ操作１９の信号か
らオペレータ操作の有無を判定する。

【００１３】図２は、第１の実施例による本発明の３次
元表示ポインティグ装置の動作を示すフローチャートで
ある。立体視用ゴーグル３に取り付けられた現在位置検
出センサ２によりオペレータの現在位置１８が検出され
( １０１) 、現在位置検出センサユニット５を介して仮
想操作対象位置算出装置１７に取り込まれる。又、表示
制御装置７において、その都度算出されている仮想操作
対象基準位置１５が仮想操作対象位置算出装置１７に送
られる。そして、仮想操作対象位置算出装置１７で、検
出されたオペレータ現在位置１８とオペレータ基準位置
１６の距離に比例して、仮想操作対象基準位置１５をず
らす事によりオペレータに見えている立体的な仮想操作
対象空間上位置１９が一義的に算出される。( １０２)
。すなわち、図３に示すように、Ｓ，Ｐ，Ｘ１，Ｘ２
を以下のように定めると、この算出は( １) 式で示され
る。

【００１４】

【数１】 Ｓ：ディスプレイ画面９とオペレータ基準位置１６との
距離 Ｐ：ディスプレイ画面９と仮想操作対象基準位置１５と
の距離 Ｘ１：オペレータ基準位置１６とオペレータ現在位置１
８のＸ方向距離 Ｘ２：仮想操作対象基準位置１５と仮想操作対象空間上
位置１９とのＸ方向距離 なお、図３中、１３は左目用画面上操作対象、１４は右
目用画面上操作対象である。

【００１５】次に、オペレータが指先に装着した操作位
置検出センサ１により、オペレータが空間上で操作した
位置を検出して( １０３) 、操作位置検出センサユニッ
ト４を介してオペレータ操作判定装置１２に取り込まれ
る。そして、算出された仮想操作対象空間上位置１９
と、検出されたオペレータ操作位置とを比較する( １０
４) 。比較の結果、一定の誤差範囲内に入った場合に画
面上操作対象１０を操作したと判定し操作時処理を行う
( １０６) 。一定の誤差範囲内に入らない場合には操作
していないものと判定し処理は行わない。

【００１６】以上により３次元的なオペレータ操作が可
能となる。すなわち、左右視差を利用した３次元表示装
置において、３次元的なオペレータ操作が可能となり、
オペレータの操作性向上が図れる。

【００１７】次に、本発明の第２の実施例を図４を参照
して説明する。この実施例は、オペレータが多人数の場
合の実施例であり、具体的には、２人の場合を示してい
る。すなわち、各オペレータ毎に、操作位置検出センサ
１Ａ，１Ｂと、現在位置検出センサ２Ａ，２Ｂと立体視
用ゴーグル３Ａ，３Ｂと、操作位置検出センサユニット
４Ａ，４Ｂと、現在検出センサユニット５Ａ，５Ｂと、
オペレータ操作判定装置１２Ａ，１２Ｂと、仮想操作対
象位置算出装置１７Ａ，１７Ｂとをもつ。この実施例に
よれば、左右視差を利用した３次元表示装置において、
高価な表示装置は１台で、なおかつ多人数での３次元的
なオペレータ操作が可能となり、オペレータの操作性向
上が図れる。

【００１８】図５は、本発明の第３の実施例を示すもの
である。この第３の実施例はオペレータ操作判定装置１
２がオペレータが仮想操作対象１１を操作したと判定し
たときは、実際の操作対象５１を駆動するためのアクチ
ュエータ５４を備えたものである。

【００１９】実際の操作対象５１の画像は右目用カメラ
５２、左目用カメラ５３で表示制御装置７に入力され
る。そして、ディスプレイ装置８のディスプレイ画面９
に立体視用ゴーグル３と同期するように切り替えて表示
される。又、仮想操作対象基準位置１５と実際の操作対
象５１の空間上位置との対応表を予め操作対象位置記憶
装置５５に記憶しておき、仮想操作対象位置算出装置１
７そのデータを送る。そして、オペレータ操作判定装置
１２からの指示により操作対象実体５１アクチュエータ
を５４を駆動する。

【００２０】図６は、第３の実施例による本発明の３次
元表示ポインティング装置の動作を示すフローチャート
である。立体視用ゴーグル３に取り付けられた現在位置
検出センサ２によりオペレータの現在位置１８が検出さ
れ( ６０１) 、現在位置検出センサユニット５を介して
仮想操作対象位置算出装置１７に取り込まれる。又、予
め実際の操作対象５１と仮想操作対象基準位置１５の対
応表が算出されて操作対象位置記憶装置５５に記憶され
ており、仮想操作対象位置算出装置１７にデータとして
送られる。そして、仮想操作対象位置算出装置１７で、
検出されたオペレータ現在位置１８とオペレータ基準位
置との距離に比例して、仮想操作対象基準位置信号をず
らす事によりオペレータに見えている立体的な仮想操作
対象空間上位置１９が一義的に算出される( ６０２) 。
算出式としては、Ｘ方向を例に取ると式( １) により示
される。次に、オペレータが指先に装着した操作位置検
出センサ１によりオペレータが空間上で操作した位置を
検出して( ６０３) 、操作位置検出センサユニット４を
介してオペレータ操作判定装置１２に取り込む。そして
算出された仮想操作対象空間上位置１９と検出されたオ
ペレータ操作位置とを比較する( ６０４) 。比較の結
果、一定の誤差範囲内に入った場合には操作対象を操作
したと判定し、実際の操作対象５１への操作信号をアク
チュエータ５４に対し出力し( ６０６) 、アクチュエー
タ５４より実際の操作対象５１を駆動する( ６０７) 。
一定の誤差範囲内に入らない場合には操作していないも
のと判定し処理は行わない。

【００２１】以上により遠隔操作対象実体の３次元的な
オペレータ操作が可能となる。すなわち、左右視差を利
用した３次元表示装置において、実際の遠隔操作対象の
３次元的なオペレータ操作が可能となり、オペレータの
操作性向上が図れる。

【００２２】

【発明の効果】以上述べたように本発明によれば、左右
視差を利用した３次元表示装置における安価でかつ３次
元的なオペレータ操作が可能である３次元表示ポインテ
ィング装置を得ることができる。すなわち、一人または
多人数によるオペレータ操作が可能であり、また実際の
操作対象を駆動操作できるので、オペレータの操作を向
上させることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例を示すブロック構成図

【図２】本発明の第１の実施例における動作を示すフロ
ーチャート

【図３】本発明における仮想操作対象基準位置の算出の
説明図

【図４】本発明の第２の実施例を示すブロック構成図

【図５】本発明の第３の実施例を示すブロック構成図

【図６】本発明の第３の実施例における動作を示すフロ
ーチャート

【図７】従来の３次元表示のブロック構成図

【符号の説明】

１ 操作位置検出センサ ２ 現在位置検出センサ ３ 立体視用ゴーグル ４ 操作位置検出センサユニット ５ 現在位置値検出センサユニット ６ 左右視差切換装置 ７ 表示制御装置 ８ ディスプレイ装置 ９ ディスプレイ画面 １０ 画面上操作対象 １１ 仮想操作対象 １２ オペレータ操作判定装置 １３ 左目画面上操作対象 １４ 右目画面上操作対象 １５ 仮想操作対象基準位置 １６ オペレータ基準位置 １７ 仮想操作対象位置算出手段 １８ オペレータ現在位置 １９ 仮想操作対象空間上位置 ５１ 実際の操作対象 ５２ 右目カメラ ５３ 左目カメラ ５４ アクチュエータ ５５ 操作対象位置記憶装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者 繁田 正昭 東京都府中市東芝町１番地 株式会社東芝 府中工場内

Claims (3)

【特許請求の範囲】
1. 【請求項１】 ディスプレイ装置に表示されたディスプ
   レイ画面上の操作対象をオペレータが立体視用ゴーグル
   を装着して見ることにより前記画面上操作対象を３次元
   的な仮想操作対象として認識する３次元表示装置と、前
   記オペレータの装着した前記立体視用ゴーグルの現在位
   置を検出する現在位置検出センサと、前記仮想操作対象
   への前記オペレータによる操作位置を検出する操作位置
   検出センサと、前記ディスプレイ画面位置で定まる前記
   仮想操作対象の基準位置と前記立体視用ゴーグルの現在
   位置とに基づいて前記オペレータの認識する仮想操作対
   象位置を算出する仮想操作対象位置算出装置と、前記操
   作位置検出センサ検出された前記オペレータによる操作
   位置が前記仮想操作対象位置算出装置で算出された仮想
   操作対象位置範囲に一致したときは前記オペレータが前
   記操作対象を操作したと判定するオペレータ操作判定装
   置とからなる３次元表示ポインティング装置。
2. 【請求項２】 前記現在位置検出センサ、前記操作位置
   検出センサ、前記仮想操作対象位置算出装置、前記オペ
   レータ操作判定装置をそれぞれ複数個設けたことを特徴
   とする請求項１に記載の３次元表示ポインティング装
   置。
3. 【請求項３】 前記オペレータ操作判定装置が前記オペ
   レータが前記操作対象を操作したと判定したときは実際
   の操作対象を駆動するためのアクチュエータを備えたこ
   とを特徴とする請求項１に記載の３次元表示ポインティ
   ング装置。