JPH10254344A - 協調物体操作装置 - Google Patents

Abstract

(57)【要約】 【課題】 力覚提示装置の構成に関係なく、同時に１物
体を把持しているすべての操作者が操作感を力覚によっ
て共有するために仮想的に拡張した物理法則を導入した
協調物体操作装置を提供する。 【解決手段】 スクリーンプロジェクタ４１，４２に仮
想物体を表示して仮想空間を構成し、複数の操作者が位
置入力装置付ステレオメガネ５１，５２を装着して仮想
空間を見ながら力覚提示装置５３，５４で仮想物体を操
作したときの操作反力を疑似的に決定して、各操作者の
操作入力の一部を拘束させる操作感覚を与えるようにグ
ラフィックスワークステーション３０によってプログラ
ム制御する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は協調物体操作装置
に関し、特に、同時に操作を行なう複数の操作者が映像
情報だけでなく、操作反力を共有することにより、協調
して物体を自然に操作できるような協調物体操作装置に
関する。

【０００２】

【従来の技術】実空間では複数人で協調して物体を操作
して物体の受渡し作業を行なったり、精度を要する配置
作業など普通に見られる作業方法がある。一方、仮想空
間において、手術などの協調作業のトレーニングを行な
う場合においても協調して物体を操作することは重要な
操作感覚である。ここで、仮想空間における協調物体操
作について説明する。

【０００３】図６は物体を回転させるための例を示す。
図６（ａ）に示すように、１人の操作者が手先１のみを
用いて物体２を回転させる場合、作用される点３は操作
の旋回軸として作用し、物体２の端部を精密に調整する
ことは困難である。

【０００４】これに対して、図６（ｂ）に示すように、
２つの手先１と４で物体２を操作する場合、一方の手先
１が点３を旋回軸として作用し、他方の手先４の点５が
作用点として働く。この結果、１つの手先の場合より
も、物体２の端部を容易に精密に操作することができ
る。物体２を移行させるための操作の場合には、一方の
手先は定規として作用し、他方の手先は回転と同様で作
用点として機能する。

【０００５】このように、２つの手先を用いると、２つ
の物体を同時に動かすことが可能で、仕事量は最大の２
倍に拡張される。また、各手先に把持，穿孔，切断，溶
断などのいくつかの異なる機能を取付けることによっ
て、作業能力を伸ばすことができる。

【０００６】図７は手先の自由度を示し、（ａ）は実空
間において物体を１つの手先のみで操作する例を示し、
（ｂ）は複数の手先で操作する例を示す。実空間におい
て、物体６を１つの手先１のみで操作する場合、手先１
の自由度はＡ，Ｂ，Ｃ方向およびそれぞれの方向におけ
る回転があるため６であり、物体６の自由度も６で等し
く、両者の関係は一意に決定される。

【０００７】また、図７（ｂ）に示すように、複数の手
先１，４が１つの物体６を操作する場合、操作する手先
の入力自由度は６ｎ（ｎは人数）となり、物体６の自由
度よりも多いが、物体６が剛体である条件によって物理
的な制約が働く。すなわち、２人の操作者が物体６を操
作すると、入力自由度は合計１２となるが、剛体条件に
よる拘束自由度は６となるため、出力自由度は６とな
り、物体６の位置姿勢が決定される。このとき、１人の
操作者の手先１が作用させる力は、この操作者へ反作用
として帰還されると同時に、他の操作者の手先４にも作
用する。すなわち、複数の操作者が物体６を把持してい
る限り、触覚に基づく感覚を共有しながら物体６をとも
に操作することができる。

【０００８】一方、立体表示装置とグローブ型手形状入
力装置や磁気位置センサなどから構成される典型的な視
覚情報中心の仮想空間では、仮想空間に対して操作の入
力は直感的に可能であるが、操作結果の提示は視覚情報
のみであり、手先への反力などの物理的な情報提示がで
きない。したがって、このような装置では、操作物体の
剛体の条件から得られる物理的な自由度の制約を提示で
きず、複数人で１物体を操作するような操作は非常に難
しい。このような問題点に対して、ロボットアームを転
用した力覚提示装置を用いて操作者の手先に物理的な拘
束条件を提示する方法が考えられている。

【０００９】図８はそのようなロボットアーム式力覚提
示装置を示す図である。図８に示すような２つのロボッ
トアーム７，８を有する力覚提示装置を用いれば、ある
操作者が把持中の物体に作用させる力が操作反力として
他の操作者に直感的に伝送され、それぞれが強調した物
体操作が可能となる。すなわち、ある操作者が物体を引
っ張るための操作をすると、他の操作者はロボットアー
ムによって引っ張られた感覚を感じることができるよう
になる。

【００１０】

【発明が解決しようとする課題】ところが、剛体の拘束
条件を実空間同様に完全に満たすためには、操作者の手
先の動きを十分に拘束できる剛性の高い力覚提示装置が
必要となる。そのような装置は、一般に非常に強大かつ
強力な機構と拘束の制御装置を必要とするため実現性が
低い。一方で、手先の運動を確実に制約するには剛性や
出力の低い装置の小型化が可能であり、装置の実現性は
高いが、手先の運動を確実に制約できないため剛体条件
が満足できない。このため、操作物体の位置を定めるこ
とができず、幾何学的に操作反力も正確に伝達できな
い。

【００１１】それゆえに、この発明の主たる目的は、力
覚提示装置の剛性に関係なく、同時に１物体を把持して
いるすべての操作者が操作感を力覚によって共有するた
めに、加速的に拡張した物理法則を導入した協調物体操
作装置を提供することである。

【００１２】

【課題を解決するための手段】請求項１に係る発明は、
仮想空間において複数の操作者が協調して仮想物体を操
作する協調物体操作装置であって、複数の操作者が個別
に仮想物体を操作するための操作部と、操作部による仮
想物体の把持状態を表示するための表示部と、複数の操
作者がそれぞれ個別的に協調して仮想物体を操作したと
きの操作反力を疑似的に決定して、各操作者の操作入力
の一部を拘束させる操作感覚を与える力覚提示部とを備
えて構成される。

【００１３】請求項２に係る発明では、請求項１の力覚
提示部は、ソフトウェアによるシミュレーション部と、
ハードウェアによる物理的な力覚提示部とを含む。

【００１４】

【発明の実施の形態】まず、本願発明を実現するため
に、剛体の仮想的な力学的平衡と限定的物体配置という
２つの仮想的に拡張された物理法則が導入される。

【００１５】図１は剛体の仮想的な力学的平衡を説明す
るための図であり、図２は視覚および触覚法での限定的
物体配置を説明するための図である。

【００１６】図１（ａ）において、一方の操作者１が物
体６をＸ１で把持し、他方の操作者４が物体６をＸ２で
とる場合、点Ｃはその物体６においてＸ１とＸ２との間
の中点として固定される。それとともに操作する間、図
１（ｂ）に示すように点Ｃは実空間において操作者の実
際の手先の位置Ｐ１およびＰ２によって決定される。２
人の操作者の場合、ＣはＰ１とＰ２の間の中点である。
しかしながら、仮想空間における操作者の手先のアイコ
ンはＸ１およびＸ２で引かれ、それらは物体上において
幾何学的関係を視覚的に満足するように固定される。こ
のとき、各操作者はｌを実空間における操作者の手先間
の実際の距離とし、Ｌを仮想空間におけるそれとして、
次の式から決定される反力（Ｆ１およびＦ２）を受取
る。

【００１７】Ｆ１＝−Ｆ２ …（１） ｜Ｆ１｜＝｜Ｆ２｜＝｜ｋ×（ｌ−Ｌ）｜ …（２） したがって、反力Ｆ１およびＦ２は、それらが最も図１
（ｂ）に示されるようにばね９，１０を用いて物体６を
把持しているかのように、反対の方向を有しかつＸ_i と
Ｐ_i （ｉ＝１，２）との間の距離の誤差に比例して同じ
大きさを有する。この構成において、一方の操作者が物
体６を引っ張ると、他方の操作者の手先のアイコンが視
覚的に引っ張られ、操作者はこの動きを見て感覚を伴っ
て同時に受取る。

【００１８】次に、図２を参照して、限定的物体配置に
ついて説明する。実空間でテーブルの上にカップを置く
場合、操作されるカップは決してテーブルとは重ならな
い。操作者はカップとテーブルとの衝突により生ずる適
切な反力を受取るので、カップをテーブルの上に特に注
意しなくても正確に置くことができる。仮想空間でこの
ような限定的な物体配置を実現するには、物体の複雑な
衝突を検出して、６自由度の反力を実時間で提示する必
要がある。前述のごとく、このことは時間のかかる計算
と理想的な力覚提示装置とを必要とする。

【００１９】仮想空間における限られた装置でこのよう
な自然な配置作業をサポートするために、物体操作にお
ける制約に基づく視覚的かつ触覚的フィードバックを導
入する。この方法では、図２に示すように、固定される
テーブル１１上で実際の手先１２で実際のカップ（物
体）１３に下方向に引きつける力を作用させると、表示
される物体１４と手先のアイコン１５はたとえ手先１２
がテーブル１１と完全に平行に移動しなくともテーブル
１１上にめり込むことなく矢印１６に示す軌跡で移動す
るように表示され、表示される手先のアイコン１５は矢
印１７で示される軌跡を描くように表示される。

【００２０】仮想物体の本来の自由度は６であり、その
自由度は物体１３がテーブル１１表面上に置かれる場合
に重なることを避けるように、視覚的な表示では自動的
に３に制限される。操作される物体１３および手先のア
イコン１５がテーブル１１の表面上に視覚的に制約され
る一方で、反力は操作者の手先１２をその制約される表
面に引きつける。一言でいうと、配置したい物体１３お
よび操作者の手先１２は、操作者がテーブル１１に垂直
方向の動きの制御を意識することなく、その面のまわり
に維持される。操作者がテーブル１１からカップ１３を
持ち上げたい場合には、操作者は意図的にカップ１３を
反力に反してテーブル１１から所定の反力にあらがって
引き剥がさなければならない。

【００２１】図３は２つの手先の場合の物体操作の遷移
図である。図３に示すステップ（図示ではＳＰと略称す
る）ＳＰ１における誰も物体を把持していない状態か
ら、ステップＳＰ２の「１つのユーザが１つの物体を把
持する」に移り、操作者が操作中の物体を別の固定され
る表面上に置くと、操作段階はステップＳＰ３の「一人
の操作者が１つの物体を置く」へ遷移する。この段階で
は、「限定的物体配置」法が適用され、したがって物体
の動きはその固定される表面２１上に拘束され、操作者
はその表面２１から引きつける反力２２を得る。

【００２２】ステップＳＰ４の「２人の操作者が１つの
物体をともに把持する」段階では、「仮想的な力学的均
衡」法により、操作者は物体操作において彼らの意図を
視覚および触覚チャネルを介して交換することにより協
調することができる。さらに、固定される表面２１に物
体をともに移動させると、ステップＳＰ５の「２人の操
作者が１つの物体をともに置く」に遷移する。ここで、
「限定的物体配置」法がとって代わり、したがって各操
作者は、他方の操作者からの伝達される作用と、固定さ
れた表面からの引きつける力とを同時に受取る。もちろ
ん物体を表面上にそのまま置くのに注意深くする必要は
ない。

【００２３】ステップＳＰ６の「２人の操作者が２つの
物体を別々に把持する」段階から、操作者はこれらの物
体を組合せ得る。ステップＳＰ７の「２人のユーザが２
つの物体をともに組合せる」段階では、「限定的物体配
置」法がこれら物体間の位置関係を修正してそれらが重
なるのを防ぐ。次いで、「仮想的な力学的平衡」法が、
その制約される面を介して伝えられ、操作者に対する反
力が決定される。

【００２４】いずれの段階においても、一方の操作者の
動きは操作される仮想物体を介して反力として他方の操
作者に伝えられる。さらに、仮想物体間の重なりが自動
的に回避され、したがって操作者は首尾よい操作感で仮
想物体を精密に操作することができる。

【００２５】図４はこの発明の一実施形態を示すブロッ
ク図である。図４において、すべての制御はグラフィッ
クスワークステーション３０によって行なわれる。さら
に、２つの７０インチスクリーンプロジェクタ４１，４
２を用いて仮想空間の立体画像が提示される。操作者は
位置入力装置付ステレオメガネ５１，５２を装着するこ
とによって、７０インチスクリーンプロジェクタ４１，
４２に表示された仮想空間の画像を見ることができる。
ステレオメガネ５１，５２の位置入力装置によって操作
者の頭部位置が検出されてワークステーション３０に与
えられる。

【００２６】また、操作者は力覚提示装置５３，５４に
よって物体を操作する。力覚提示装置５３，５４は２人
の操作者が手先でグリップを操作するか、あるいは１人
の操作者が両方の手先でグリップを操作することによっ
て、画面内のカーソルを自由に移動させる。対象物体の
決定や把持は、仮想空間内でカーソルを対象物体に重
ね、グリップに取付けられているスイッチ（図示せず）
を操作して行なわれる。

【００２７】ステレオメガネ５１，５２からの頭部位置
信号と力覚提示装置５３，５４のスイッチからの入力信
号は位置姿勢入力装置５５を介してグラフィックワーク
ステーション３０に与えられる。ワークステーション３
０は、スイッチからの信号に応じて、コントローラ５６
に命令を出力し、コントローラ５６はその命令に基づい
て超音波モータ５７を回転させる。超音波モータ５７は
力覚提示装置５３，５４のアームを駆動し、操作者に反
力を伝える。また、物体が衝突した際には、音源装置４
３から衝突音の信号が発生され、スピーカ４４から衝突
音が出力される。

【００２８】図５はこの発明の一実施形態の動作を説明
するためのフローチャートである。図４に示したグラフ
ィックスワークステーション３０は各プロセスから共有
されるデータベース３１を有している。そして、世界管
理および画像生成プロセスでは、操作者が力覚提示装置
５３，５４を操作して入力した操作情報をもとに仮想空
間の物体の動きのシミュレーションを行なうとともに、
前述の図３で説明したように物体間の干渉情報を参照し
て物体の動きを修正する。このシミュレーション結果に
ついて、実時間で各物体の衝突を判定した後、その結果
をコンピュータグラフィックス（ＣＧ）画像として作成
する。

【００２９】反力情報管理およびロボットコントロール
は、世界管理処理および画像生成プロセスによって管理
される各プロセスから共有される世界データベース３１
を参照しながら、操作者の手先に適切な操作反力を提示
するためのフィードバックを高速に処理する。このプロ
セスは、ロボットアームごとに存在し、世界データベー
スとデータの受渡しをしている。このプロセスでは、運
動の制約を受けている物体の情報と、利用者の手先情報
のみを参照しており、世界データベース全体の情報の変
更は行なわない。同時に、このプロセスは利用者の手先
の運動を世界管理処理および画像生成プロセスへ伝える
処理も行なっている。このデータの世界データベースを
介して受渡ししている。これらの処理は実時間で行なわ
れる。

【００３０】

【発明の効果】以上のように、この発明によれば、複数
の操作者がそれぞれ個別的に協調して仮想物体を操作し
たときの操作反力を疑似的に決定して各操作者の操作入
力の一部を拘束させる操作感覚を与えるようにしたの
で、同時に作業を行なう複数の操作者が映像情報だけで
なく操作反力も共有することができ、協調して物体を自
然に操作できる環境を実現できる。しかも、拡張した物
理法則を導入し、現実の物理的な拘束条件を完全に満足
できない小型の力覚提示装置であっても、実質的に操作
入力の一部が拘束されている操作感覚を実現することが
できる。

【図面の簡単な説明】

【図１】剛体の仮想的な力学的平衡を説明するための図
である。

【図２】視覚および触覚法の限定的物体配置を説明する
ための図である。

【図３】２つの手先の場合の物体操作の遷移図である。

【図４】この発明の一実施形態を示すブロック図であ
る。

【図５】この発明の一実施形態の動作を説明するための
フローチャートである。

【図６】物体を回転させるための例を示す図である。

【図７】手先の自由度を示す図である。

【図８】従来のロボットアーム式力覚提示装置を示す図
である。

【符号の説明】

１，２ 手先 ６ 物体 ３０ グラフィックスワークステーション ４１，４２ スクリーンプロジェクタ ４３ 音源装置 ４４ スピーカ ５１，５２ 位置入力装置付ステレオメガネ ５３，５４ 力覚提示装置 ５５ 位置姿勢入力装置 ５６ コントローラ ５７ 超音波モータ

Claims (2)

【特許請求の範囲】
1. 【請求項１】 仮想空間において複数の操作者が協調し
   て仮想物体を操作する協調物体操作装置であって、 前記複数の操作者が個別に前記仮想物体を操作するため
   の操作部、 前記操作部による前記仮想物体の把持状態を表示するた
   めの表示部、および前記複数の操作者がそれぞれ個別的
   に協調して前記仮想物体を操作したときの操作反力を疑
   似的に決定して、各操作者の操作入力の一部を拘束させ
   る操作感覚を与える力覚提示部を備えた、協調物体操作
   装置。
2. 【請求項２】 前記力覚提示部は、 ソフトウェアによるシミュレーション部と、 ハードウェアによる物理的な力覚提示部とを含む、請求
   項１の協調物体操作装置。