JP2938805B2 - 仮想物体操作方法および仮想物体表示装置 - Google Patents

仮想物体操作方法および仮想物体表示装置

Info

Publication number
JP2938805B2
JP2938805B2 JP8147307A JP14730796A JP2938805B2 JP 2938805 B2 JP2938805 B2 JP 2938805B2 JP 8147307 A JP8147307 A JP 8147307A JP 14730796 A JP14730796 A JP 14730796A JP 2938805 B2 JP2938805 B2 JP 2938805B2
Authority
JP
Japan
Prior art keywords
collision
virtual
operator
virtual object
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP8147307A
Other languages
English (en)
Other versions
JPH09330016A (ja
Inventor
春生 野間
勉 宮里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ei Tei Aaru Tsushin Shisutemu Kenkyusho Kk
Original Assignee
Ei Tei Aaru Tsushin Shisutemu Kenkyusho Kk
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ei Tei Aaru Tsushin Shisutemu Kenkyusho Kk filed Critical Ei Tei Aaru Tsushin Shisutemu Kenkyusho Kk
Priority to JP8147307A priority Critical patent/JP2938805B2/ja
Publication of JPH09330016A publication Critical patent/JPH09330016A/ja
Application granted granted Critical
Publication of JP2938805B2 publication Critical patent/JP2938805B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は仮想物体操作方法
および仮想物体表示装置に関し、特に、立体表示されて
いる仮想環境内において、物体が他の物体に衝突したと
き、視覚的,力覚的にフィードバックを与えて視覚的,
力覚的に拘束を与えるような仮想物体操作方法および仮
想物体表示装置に関する。
【0002】
【従来の技術】仮想環境において物体の配置作業を行な
う場合に、重力や摩擦などの物理法則を完全に模擬した
仮想世界が実現することができれば、その作業は実世界
のものと同様な感覚で自然にかつ直感的に作業を遂行す
ることができる。しかし、一般には、計算量の増大や装
置の複雑化などの問題により、その一部のみを模擬し操
作者に提示することになる。その結果、実世界では簡単
な作業も、仮想環境では熟練を要する作業となる。
【0003】このような仮想空間での物体配置作業を、
限られた物理法則を利用することによって補助しようと
する研究例は従来からあるが、力覚や視覚など単一種の
フィードバックを用いたものが多い。力覚を利用した方
法では把持物体が他の物体に接触した際の衝突の操作反
力を模擬し、この接触面で操作者の手の動きの自由度を
制限することによって高精度の仮想物体操作を実現する
ことができる。
【0004】一方、視覚のフィードバックを利用した方
法では、物体の運動の表示上の自由度のみに制限を設け
ることにより、簡単な方法で仮想環境における物体の高
精度な配置操作を補助することができる。
【0005】
【発明が解決しようとする課題】上述の力覚のフィード
バックを利用した方法では、力覚ディスプレイを用いた
機構が必要となるが、並進と回転6自由度に対応する装
置は一般に複雑かつ大規模なものとなり、また操作中に
微小な反力を見逃してしまう可能性も指摘されている。
【0006】また、視覚のフィードバックを利用した方
法では、操作者の実際の手の位置と操作対象物体の表示
位置の間にずれが生じるため、手の動きが操作対象物体
の運動に1対1に対応せず、違和感を感じさせる原因と
なっていた。また、操作物体が他の物体の背後などの死
角に入ると、操作者は物体の拘束状態が確認できないと
いう問題点があった。
【0007】それゆえに、この発明の主たる目的は、力
覚と視覚のフィードバックに基づく操作補助を組合せて
利用することにより、一部の物理法則のみを模擬するだ
けで、操作者が仮想物体を自然な感覚で精度よく配置で
きるような仮想物体操作方法および仮想物体表示装置を
提供することである。
【0008】
【課題を解決するための手段】請求項1に係る発明は、
仮想環境で物体を視覚的に表示する視覚ディスプレイ
と、操作者が操作することによって仮想環境内で物体を
移動させる操作手段とを備え、物体が他の物体と衝突し
たことを検出し、視覚ディスプレイ内で物体の動きを拘
束するように視覚フィードバックを与えるとともに、操
作手段の動きを拘束するように力覚フィードバックを与
える。
【0009】請求項2に係る発明では、請求項1の発明
にさらに物体が他の物体に衝突したとき、衝突音を発生
して操作者に聴覚フィードバックを与える。
【0010】請求項3に係る発明は、仮想物体表示装置
であって、仮想環境で物体を立体的に表示するための立
体表示手段と、操作者が操作することによって仮想環境
内で物体を移動させる操作手段と、立体表示手段に表示
されている仮想環境内で物体が他の物体に衝突したこと
を検出する衝突検出手段と、衝突が検出されたことに応
じて立体表示手段に表示されている物体の動きを拘束す
るための表示制御手段と、衝突が検出されたことに応じ
て操作手段が衝突面方向に移動するのを拘束する操作制
御手段とを備えて構成される。
【0011】請求項4に係る発明では、請求項3の発明
に加えて、衝突が検出されたことに応じて衝突音を発音
する発音手段を含む。
【0012】
【発明の実施の形態】この発明は操作者の手の位置を制
限し、またそれによって操作される仮想物体の運動の視
覚的な位置も制限する。このためには、まず正確な衝突
検出の結果が必要であり、それらのアルゴリズムについ
て説明する。
【0013】図1は物体の配置操作における面間の拘束
を説明するための図である。互いに面が直交するような
物体の場合、図1に示す3種類の拘束状態を考える。ま
ず、(a)に示す1面拘束の場合、操作対象物体1は拘
束面2を1つ持つ。このとき、運動はA,B方向の並進
2自由度とその法線ベクトルまわりの回転1自由度の3
自由度に制限され、(b)に示す2面拘束の場合、操作
対象物体1は拘束面2と他の物体3との拘束面の2つ持
ち、この物体1の自由度は両拘束面に平行な方向の並進
のみの自由度が1となる。(c)に示す3面拘束の場合
は、操作対象物体1は拘束面2と他の物体3,4との拘
束面を3つ持ち、この物体1は過度に拘束されるため、
残された自由度は0となる。
【0014】図2はこの発明の一実施形態の全体の構成
を示すブロック図である。図2において、仮想環境を表
示するために、2台のディスプレイ11,12が設けら
れ、ディスプレイ11,12にはグラフィックスワーク
ステーション14で生成された両眼視差のある画像が表
示される。操作者は液晶シャッタ眼鏡13をかけてディ
スプレイ11,12を見ることによって仮想空間内にあ
る物体を立体像として見ることができる。なお、液晶シ
ャッタ眼鏡13には3次元位置センサが設けられてい
る。
【0015】グローブ15は6自由度を有しており、磁
気式位置・方向検出装置を付加していて、操作者がグロ
ーブ15をはめて操作することにより、ディスプレイ1
1,12に表示されている仮想物体を把持,運搬,回
転,解放などの直接操作をすることができる。液晶シャ
ッタ眼鏡13の3次元位置センサの出力とグローブ15
の磁気式位置・方向検出装置の検出出力は入力部16を
介してグラフィックスワークステーション14に入力さ
れる。
【0016】力覚デバイス17は超音波モータ18によ
って駆動され、操作者がグローブ15をはめたまま握る
ことによって、3軸の操作反力などを感じ取ることがで
きる。超音波モータ18はグラフィックスワークステー
ション14からコントローラ19を介して与えられる制
御信号によって駆動される。さらに、物体間の衝突音を
発生するために、音源回路20が設けられ、スピーカ2
1から衝突音が発生される。
【0017】図3はこの発明の一実施形態の動作を説明
するためのフローチャートであり、図4はこの発明の操
作補助における拘束状態の変化を示す図である。
【0018】まず、操作者が液晶シャッタ眼鏡13をか
けて、グローブ15を手にはめ、力覚デバイス17を握
り、ディスプレイ11,12に表示されている画像を見
ながら、グローブ15を上下左右に移動させる。たとえ
ば、図4(a)に示すように、把持物体の画像を下に落
下させると、図4(b)に示すように、その画像が拘束
面に衝突する。グラフィックスワークステーション14
は落下した物体が拘束面に衝突したことを検出し、ディ
スプレイ11,12に表示される物体を拘束面で停止さ
せる。同時に、グラフィックスワークステーション14
はコントローラ19を介して超音波モータ18を駆動
し、操作者の手先に触覚により直接的に拘束モードを提
示する。このとき、音源回路20からの音源信号によっ
てスピーカ21から衝突音が発音される。
【0019】また、図4(a)から図4(b)に示す状
態では、超音波モータ18のブレーキ機能により、力覚
デバイス17の各関節を短時間固定し、手先の運動を停
止させる。操作者は、手先の運動の拘束と画像情報の変
化により、拘束状態に移行したことを直ちに知覚でき
る。図4(c)に示す拘束状態では、視覚的操作補助に
より拘束面内の運動のみが操作物体に反映されるが、拘
束面に垂直な方向は、力覚デバイス17によるばね−バ
ンパー系のシミュレーションを用いて、拘束面内部に手
先が進入するのを妨げる反力(反発力)と、逆に拘束面
から離れるのを妨げる反力(吸引力)を生成することに
より制御する。これらの拘束面に垂直方向の操作反力
は、手先座標が拘束状態が開始した座標点にあるときに
均衡する。一方、拘束面と平行な方向には運動を妨げる
反力が生成されないため、操作者は手先位置と進路拘束
面の位置関係を触角により知覚できるとともに、力覚フ
ィードバックによって拘束面内に手先の運動が拘束され
ることになる。
【0020】操作者の手先位置と拘束面の距離が一定の
しきい値以上になった場合に、図4(d)に示すように
拘束が解除される。拘束面への吸引力しきい値付近で最
大となるように設定し、拘束が解除されると力覚デバイ
ス17は関節トルクを解放し、一切の力覚的拘束がなく
なる。したがって、拘束状態では吸引力により拘束面内
とその近傍に手先の運動が拘束されており、無意識に手
先が拘束面内から大きく離脱することはなく、また逆に
拘束を解除するには、意識的に吸引力に逆らって操作物
体を拘束面から引き離すような操作感覚を与えることが
できる。
【0021】
【発明の効果】以上のように、この発明によれば、視覚
ディスプレイに表示されている仮想環境内における物体
が他の物体と衝突したことを検出し、視覚ディスプレイ
内で物体の動きを拘束するように視覚フィードバックを
与えるとともに、仮想環境で物体を移動させる操作手段
の動きを拘束するように力覚フィードバックを与えるよ
うにしたので、一部の物理法則のみを模擬するだけで、
操作者が仮想物体を自然な感覚で精度よく配置すること
ができる。
【図面の簡単な説明】
【図1】物体の配置操作における面内の拘束を説明する
ための図である。
【図2】この発明の一実施形態の全体の構成を示すブロ
ック図である。
【図3】この発明の一実施形態の動作を説明するための
フローチャートである。
【図4】操作補助における拘束状態の変化を示す図であ
る。
【符号の説明】
11,12 ディスプレイ 13 液晶シャッタ眼鏡 14 グラフィックスワークステーション 15 グローブ 16 入力部 17 力覚デバイス 18 超音波モータ 19 コントローラ 20 音源回路 21 スピーカ
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 社団法人 テレビジョン学会(1995年 12月20日)「1995年テレビジョン学会映 像メディア部門冬季大会講演予稿集」 P.79 (58)調査した分野(Int.Cl.6,DB名) G09B 9/00 H04N 13/04 A63F 9/22

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】 仮想環境で物体を視覚的に表示する視覚
    ディスプレイと、操作者が操作することによって前記仮
    想環境内で物体を移動させる操作手段とを備え、 前記物体が他の物体と衝突したことを検出し、前記視覚
    ディスプレイ内で前記物体の動きを拘束するように視覚
    フィードバックを与えるとともに、前記操作手段の動き
    を拘束するように力覚フィードバックを与えることを特
    徴とする、仮想物体操作方法。
  2. 【請求項2】 さらに、前記物体が他の物体に衝突した
    とき、衝突音を発生して、前記操作者に聴覚フィードバ
    ックを与えることを特徴とする、請求項1の仮想物体操
    作方法。
  3. 【請求項3】 仮想環境で物体を立体的に表示するため
    の立体表示手段、 操作者が操作することによって前記仮想環境内で物体を
    移動させる操作手段、 前記立体表示手段に表示されている仮想環境内で前記物
    体が他の物体に衝突したことを検出する衝突検出手段、 前記衝突検出手段によって衝突が検出されたことに応じ
    て、前記立体表示手段に表示されている前記物体の動き
    を拘束するための表示制御手段、および前記衝突検出手
    段によって衝突が検出されたことに応じて、前記操作手
    段が衝突面方向に移動するのを拘束する操作制御手段を
    備えた、仮想物体表示装置。
  4. 【請求項4】 さらに、前記衝突検出手段によって衝突
    が検出されたことに応じて、衝突音を発音する発音手段
    を備えた、請求項3の仮想物体表示装置。
JP8147307A 1996-06-10 1996-06-10 仮想物体操作方法および仮想物体表示装置 Expired - Fee Related JP2938805B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP8147307A JP2938805B2 (ja) 1996-06-10 1996-06-10 仮想物体操作方法および仮想物体表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8147307A JP2938805B2 (ja) 1996-06-10 1996-06-10 仮想物体操作方法および仮想物体表示装置

Publications (2)

Publication Number Publication Date
JPH09330016A JPH09330016A (ja) 1997-12-22
JP2938805B2 true JP2938805B2 (ja) 1999-08-25

Family

ID=15427244

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8147307A Expired - Fee Related JP2938805B2 (ja) 1996-06-10 1996-06-10 仮想物体操作方法および仮想物体表示装置

Country Status (1)

Country Link
JP (1) JP2938805B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3713381B2 (ja) * 1998-03-19 2005-11-09 大日本印刷株式会社 物体の把持動作シミュレーション装置
AU2003218010A1 (en) 2002-03-06 2003-09-22 Z-Kat, Inc. System and method for using a haptic device in combination with a computer-assisted surgery system
US8010180B2 (en) 2002-03-06 2011-08-30 Mako Surgical Corp. Haptic guidance system and method
US11202676B2 (en) 2002-03-06 2021-12-21 Mako Surgical Corp. Neural monitor-based dynamic haptics
US8996169B2 (en) 2011-12-29 2015-03-31 Mako Surgical Corp. Neural monitor-based dynamic haptics
JP2009537231A (ja) 2006-05-19 2009-10-29 マコ サージカル コーポレーション 触覚デバイスを制御するための方法および装置
JP5237571B2 (ja) * 2007-03-26 2013-07-17 株式会社タイトー ゲーム機
JP5002818B2 (ja) * 2008-02-29 2012-08-15 独立行政法人情報通信研究機構 接触音のリアルタイム生成装置、方法、プログラムおよびプログラムを格納した記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
社団法人 テレビジョン学会(1995年12月20日)「1995年テレビジョン学会映像メディア部門冬季大会講演予稿集」P.79

Also Published As

Publication number Publication date
JPH09330016A (ja) 1997-12-22

Similar Documents

Publication Publication Date Title
CN105159450B (zh) 一种便携式可交互桌面级虚拟现实系统
Milgram et al. Applications of augmented reality for human-robot communication
US6714213B1 (en) System and method for providing interactive haptic collision detection
US20070048702A1 (en) Immersion-type live-line work training system and method
Boman International survey: Virtual-environment research
Petzold et al. A study on visual, auditory, and haptic feedback for assembly tasks
US8054289B2 (en) Methods, apparatus, and article for force feedback based on tension control and tracking through cables
Milgram et al. Merging real and virtual worlds
JP2938805B2 (ja) 仮想物体操作方法および仮想物体表示装置
JPH07253773A (ja) 立体型表示装置
JPH09138637A (ja) 模擬視界装置
Rastogi et al. Telerobotic control with stereoscopic augmented reality
JPH0869449A (ja) 3次元物体の体感シミュレーション装置
CN113129678A (zh) 基于虚拟现实的通用操作模拟训练系统
Asami et al. Teleoperation system with virtual 3D diorama for moving operation of a tracked rescue robot
Peruch et al. Between desktop and head immersion: Functional visual field during vehicle control and navigation in virtual environments
Lee et al. Effects of haptic feedback on telepresence and navigational performance
Talvas et al. Novel interactive techniques for bimanual manipulation of 3d objects with two 3dof haptic interfaces
Noma et al. Haptic and visual feedback for manipulation aid in a virtual environment
Talvas et al. 3D interaction techniques for bimanual haptics in virtual environments
Lécuyer et al. " a/sup 4/": a technique to improve perception of contacts with under-actuated haptic devices in virtual reality
JPH10254344A (ja) 協調物体操作装置
Seet et al. A unified pilot training and control system for underwater robotic vehicles (URV)
JP3140708B2 (ja) 手形状入力装置および仮想現実感生成装置
Smith et al. Image display visualization in teleoperation

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19990525

LAPS Cancellation because of no payment of annual fees