JP2739445B2 - 把持目標物体推測装置およびそれを具備する人工現実感装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、人間が物体を掴もう
とする場合に、手が対象物に届く前にその大きさや形、
機能に応じて手の形を準備する無意識的動作であるプリ
シェイピングに基づいて、人間が掴もうとしている物体
を推測する装置に関し、特にその推測結果に基づいて人
間が物体を掴む動作に対する人工現実感を形成する装置
に関する。

【０００２】

【従来の技術】近年、互いに異なる複数の場所にいる複
数の人々が、あたかも、一堂に会している感覚で会議を
行なうことができる臨場感通信会議システムの開発が進
められている（たとえば、社団法人、電子情報通信学会
発行、信学技報、ＨＣ９２−６１）。

【０００３】ここで、上記臨場感通信会議の目的は、生
成された仮想空間に異なる場所にいる会議参加者の像を
配置し、参加者全員が同じ空間を共有する感覚で、打合
せや協調作業を行なえる環境を提供することである。

【０００４】特に、協調作業を行なう場合は、上記仮想
空間内の物体を手で掴んで移動させる等の作業が行なえ
ることが必要である。その場合、真に有意義なコミュニ
ケーションを実現するには、リアルタイムで違和感のな
い表示が実現される必要がある。

【０００５】図５は、従来の人工現実感装置において、
人工現実感空間中で手が物体を掴んだかどうかを検出す
る装置の構成を示す概略ブロック図である。

【０００６】図６は、上記のように構成された人工現実
感装置において、人間が物体を掴む動作を行なう様子を
示す概念図である。

【０００７】以下、図５、および図６を参照して、従来
の人工現実感装置の動作について説明する。

【０００８】人間の手の位置およびその形状は手形状入
力装置４、たとえば、データグローブ（ポヒマス社製）
等を用いることで検出される。

【０００９】データグローブ４には、各指の関節を通る
光ファイバのループが取付けられており、ファイバが曲
がると中を通る光が漏れて減衰する性質を利用して、各
指の関節の曲がり角度が検出される。

【００１０】また、データグローブ４には直交コイルに
よる位置検出センサが取付けられており、予め空間内に
作られた磁界中に、このセンサが置かれると流れる電流
値から、手の空間中の位置および方向が計測される。

【００１１】手形状検知部５では、上記指の関節の曲が
り情報をもとに手の形状が再構成される。目標物体特定
部８は、その再構成された手形状の情報を受けて、手が
物を掴む動作を行なっているか判断し、掴む動作（以
下、把持動作と呼ぶ）を行なっている場合には、その時
点での手の位置と、物体管理部９に記憶されている各目
標物体の位置とを比較して、把持されている物体を特定
する。この特定された物体の情報が表示制御部１０に送
られる。

【００１２】表示制御部１０は、把持されている物体の
表示を、手の動きに合せて表示装置１１上で動かす制御
を行なう。

【００１３】

【発明が解決しようとする課題】従来の仮想現実感装置
における人間の把持動作に対する目標物体の表示の制御
は、以上のような構成で行なわれていたので、その表示
制御は、手が人工現実感空間中の目標物体の位置に到達
し、把持動作が完了した後に開始される。したがって、
表示されている仮想物体の動きには、必ず時間遅れが生
じる。しかも、より現実感を高めるために目標物体数が
増加したり、表示精度が向上した場合、システム側が制
御のために扱う情報量は飛躍的に増大し、その結果、操
作者（ユーザ）の動作に素早く対応できるユーザインタ
フェースの実現が困難になるという問題点があった。

【００１４】この場合、ユーザの手の動き等により事前
にユーザが把持しようとしている目標物体をシステム側
が検知できれば、情報処理時間に余裕が生じ、より自然
なインタフェースが実現可能となる。

【００１５】人間が何か物を掴もうとするときには、プ
リシェイピングと呼ばれる、手が対象物に届く前にその
大きさや形、機能に応じて手の形を準備する行動が存在
する（宇野他、電子情報通信学会誌、Ｖｏｌ．Ｊ７６、
Ｎｏ．１１、ｐｐ．１２２８−１２３３（Ｎｏｖ．１９
９３））。

【００１６】プリシェイピングの存在は、人間が対象物
の形を見たとき、実際にその物を掴む前に視覚情報から
掴むのに適した手の形を決定していることを示唆してい
る。これを逆に見ると、プリシェイピングによる手の形
状情報から、人間が何を掴む対象としているかがわかる
ことになる。

【００１７】なお、手振り等の意味を辞書化することに
より、手振りをコマンドとして使用できるようにしてい
る例が報告されている（高橋他、電子情報通信学会誌、
Ｖｏｌ．Ｊ７６、Ｎｏ．１２、ｐｐ．１９８５−１９９
２（Ｄｅｃ．１９９０））。

【００１８】しかし、手話や指文字の場合のように、辞
書化において対応付けが恣意的になるため、手振りによ
るコマンドを使用するには、形状の意味を学習・記憶す
るという認知的な負担が生じる、という問題がある。

【００１９】また、何かを掴もうとする場合、自分の意
図や対象物を手形状や音声で意識的・明示的に表現しな
ければならず、物を見て手を延ばすような直感的・反射
的な自然な動作には対応できない。

【００２０】このため、上記方法は、人工現実感空間に
おける人間の把持動作に対するインタフェースには適さ
ない。

【００２１】したがって、本発明の目的は、操作者の無
意識の動作からその動作の意味を解釈し、人間が何か物
を掴もうとするときに見られる無意識のプリシェイピン
グ動作から、手が対象物に届く前に目標物体を推測する
装置を提供することである。

【００２２】また本発明の他の目的は、操作者の無意識
の動作からその動作の意味を解釈し、操作者への認知的
な負担が少ない自然なユーザインタフェースが構築でき
る人工現実感装置を提供することである。

【００２３】たとえば、仮想空間内で手が届かない距離
に置かれている物体を掴もうとする際に、システム側で
物体を検知し、ユーザの次の動作に素早く対応できるユ
ーザインタフェースを可能とする人工現実感装置を提供
することである。

【００２４】

【課題を解決するための手段】請求項１記載の把持目標
物体推測装置は、手の位置および各関節の曲がり角度を
検出し、手形状情報として出力する手形状情報検出手段
と、手形状情報を受けて手形状を再構成する手形状検知
手段と、予め記憶された、各目標物体に対応する手形状
情報と上記再構成された手形状とを比較して、目標物体
の形状を推定する物体形状推定手段と、手の位置情報の
時間変化により、手の移動方向を検知する手の移動方向
検知手段と、各目標物体の位置情報を記憶する物体管理
手段と、手の移動方向上の所定の領域内に存在する物体
を物体管理手段からの位置情報をもとに候補物体として
抽出し、物体形状推定手段の推定結果をもとに候補物体
から特定の目標物体を推測する目標物体特定手段とを備
える。

【００２５】請求項２記載の把持目標物体推測装置は、
手の位置および各関節の曲がり角度を検出し、手形状情
報として出力する手形状情報検出手段と、手形状情報を
受けて手形状を再構成する手形状検知手段と、予め記憶
された、各目標物体に対応する手形状情報と上記再構成
された手形状とを比較して目標物体の形状を推定する物
体形状推定手段と、手の位置情報の時間変化により、手
の移動方向を検知する手の移動方向検知手段と、眼の視
線を検出し、視線情報として出力する視線検出手段と、
視線情報を受けて視線方向を決定する視線方向検知手段
と、視線方向をもとに眼が知覚している目標物体の存在
する立体角の範囲を推定する目標物体存在範囲推定部
と、各目標物体の位置情報を記憶する物体管理手段と、
手の移動方向上の所定の領域内および目標物体存在範囲
推定部の推定範囲の共通領域内に存在する物体を物体管
理手段からの位置情報をもとに候補物体として抽出し、
物体形状推定手段の推定結果をもとに候補物体から特定
の目標物体を推測する目標物体特定手段とを備える。

【００２６】請求項３記載の仮想現実感装置は、請求項
１または２記載の把持目標物体推測装置と、目標物体を
含む仮想現実空間を表示する表示装置と、把持目標物体
推測装置の推測結果に応じて、表示装置の画面上で推測
された目標物体が把持されるのに対応する表示を行なわ
せる信号を、前記表示装置に出力する表示制御手段とを
備える。

【００２７】

【作用】請求項１記載の把持目標物体想定装置において
は、手の移動方向上の所定領域内に存在する候補物体の
中から、手形状検出手段により検出された手形状情報
と、予め記憶されている各目標物体に対応する手形状情
報とを比較することにより把持が達成される以前に、把
持しようとしている目標物体が推測される。

【００２８】請求項２記載の把持目標物体推測装置にお
いては、手の移動方向上の所定領域および視線検出手段
により検出された視線方向の所定の立体角の範囲の共通
領域内に存在する候補物体の中から、手形状検出手段に
より検出された手形状情報と、予め記憶されている各目
標物体に対応する手形状情報とを比較することにより、
把持が達成される以前に、把持しようとしている目標物
体が推測される。

【００２９】請求項３記載の人工現実感装置において
は、請求項１または２記載の把持目標物体推測装置によ
り推定された把持目標物体の情報に基づいて、仮想現実
空間内の物体の表示が制御される。

【００３０】

【実施例】図１は本発明の実施例の把持目標物体推測装
置の構成を示す概略ブロック図である。

【００３１】視線検出装置１は、操作者の眼球の動きの
情報を入力するものであり、眼球の動き情報は視線検知
部２に送られて視線方向が求まる。視線方向は誤差を有
するため、目標物体存在範囲推定部３において、視線検
知部２で求めた視線方向を中心として立体角範囲を計算
し、円錐状の立体的範囲を求める。

【００３２】手形状入力装置４からは、手の位置の情報
と各指の曲がり角度の情報とが入力される。それらの情
報は、手形状検知部５に送られ、手の形状が再構成され
る。物体形状推定部６では、再構成された手の形状か
ら、予め各手の形状との対応がついている物体の形状の
複数の候補を求める。この場合、たとえば各対応付けに
は対応の強さが数値として備わっているものとする。

【００３３】手の移動方向検知部７では、手形状入力装
置４からある一定のサンプリング周期で入力される手の
位置情報から手の動き軌跡ベクトルを計算し、そのベク
トルを中心とした円錐状の立体的範囲を求める。

【００３４】目標物体特定部８では、物体管理部９に蓄
積されている各物体の位置情報を取出し、各物体が目標
物体存在範囲推定部３からの円錐状の立体的範囲と、手
の移動方向検知部７からの円錐状の立体的範囲との２つ
の範囲に含まれ、かつ物体形状推定部６で求まった物体
候補群に含まれているかを判断し、いずれにも含まれる
物体を目標物体として特定する。その際、目標物体が複
数になる場合には、物体形状推定部６から出力される、
手の形状と各物体の形状との対応の強さの最大値を有す
る物体を唯一の目標物体とする。

【００３５】特定された目標物体の情報は表示制御部
（図示せず）へ送られ、たとえば、その物体の色を変化
させたり振動させたりして操作者に特定された物体を知
らせたりするなどの処理が行なわれる。

【００３６】以後は、表示制御部（図示せず）は、人間
の手の動きに合せて、目標物体の表示を変化させること
になる。

【００３７】図２は、物体形状推定部６の動作を示すフ
ロー図である。この場合は、たとえば、目標物体の形状
として、球状物体、平板物体および棒状物体の３種類が
あるものとする。そして、球状物体としては半径の異な
る複数の物体が、平板物体としては厚さの異なる複数の
物体が、棒状物体としては長軸の方向の異なる複数の物
体が、それぞれ存在しているものとする。

【００３８】物体形状推定部６には、手形状検知部５か
ら再構成された手形状情報が入力される（ステップＳ６
０１）。

【００３９】手形状情報に基づいて、親指以外の４指が
同一平面内に揃っているかを判断する（ステップＳ６０
２）。

【００４０】４指が同一平面内に揃っていると判断され
ると、続いて、手の仮想把持線の算出が行なわれる（ス
テップＳ６０３）。

【００４１】ここで、仮想把持線とは、仮想的に手が円
筒物体を握ったとしたときの円筒の中心線を、５個の指
先点と掌の中心点および指の曲がり角度から算出したも
のである。

【００４２】続いて、親指と他の４指の間隔が特定の値
以下であるかが判断される（ステップＳ６０４）。

【００４３】特定の値以上であれば、目標物体は棒状物
体であると推定され（ステップＳ６０５）、その長軸方
向の値が算出され（ステップＳ６０６）、これらのデー
タが目標物体特定部８へ出力される。

【００４４】特定の値未満であると判断された場合は、
目標物体は平板物体であると推定され（ステップＳ６０
７）、その厚みの算出が行なわれ（ステップＳ６０
８）、これらのデータが目標物体特定部８へ出力され
る。

【００４５】一方、親指以外の４指が同一平面内に揃っ
ていないと判断された場合は、続いて、手の仮想把持重
心の算出が行なわれる（ステップＳ６０９）。

【００４６】ここで、仮想把持重心とは、仮想的に手が
球状物体を握ったとしたときの球の中心を、５個の指先
点と掌の中心点および指の曲がり角度から算出したもの
である。

【００４７】この場合は、目標物体は球状物体であると
推定され（ステップＳ６１０）、その球の半径の値が算
出され（ステップＳ６１１）、これらのデータが目標物
体特定部８へ出力される。

【００４８】図３は、実物体を掴む動作を対象として、
垂直方向の棒状物体を掴もうと意図した把持動作におけ
る、仮想把持線の方向と垂直棒および水平棒の長軸方向
との相関の、手から目標物質体までの距離に対する依存
性を実験的に求めたグラフである。

【００４９】このグラフにおいて、縦軸は、仮想把持線
の方向ベクトルと目標物体の長軸方向ベクトルとの内積
値を表わす。したがって、この値が１であることは、仮
想把持線と目標物体の長軸方向とが完全に平行であるこ
とを意味する。

【００５０】把持目標の物体には、長さが約１６ｃｍ、
直径２ｃｍの円筒を用い、スタンドに取付けて長軸の向
きを自由に変化させた。目標物体は各被験者の肩の高さ
で、距離は腕の最高到達位置に設定した。また、物体の
長軸の傾きおよび仮想把持線は、磁気センサを用いた３
次元位置センサにより手の位置、方向データを用いて算
出した。

【００５１】腕を体側線に沿って下ろした状態を初期状
態として、目標物体を掴むまでの仮想把持線の傾きの変
化を測定した。したがって、把持の完了時点での内積値
は１である。以上の手順を各々１０回ずつ測定した。被
検者数は６名である。

【００５２】図３から、把持が完了する直前には、把持
しようとしている目標物体（この場合、垂直棒）に対応
する内積値の方が大きくなるので、手の仮想把持線の傾
きに等しい長軸の傾きを有する物体を把持目標の物体と
して推測できる可能性があることがわかる。

【００５３】この実験においては、目標を精度よく推測
できるのは把持が達成される前の比較的近距離（５０ｃ
ｍ未満）となっている。しかし、仮想空間内で手が届か
ない距離にある物体を掴みたい場合を考えると、腕の最
高到達位置での仮想把持線と物体の長軸の間の方向の内
積値は最大になる傾向があるので、遠くのものを掴もう
とする操作者への補助機能の起動には有効であると考え
られる。

【００５４】図４は、目標物体特定部８の動作を示すフ
ロー図である。目標物体特定部８には、第１の入力とし
て、手の移動方向検知部７より手の移動方向情報が入力
され（ステップＳ８０１）、手の移動方向を中心とした
第１の円錐領域の算出（以下、一定の空間領域を算出す
る操作を空間の切り出しと呼ぶ）が行なわれる（ステッ
プＳ８０２）。

【００５５】一方、第２の入力として、目標物体存在範
囲推定部３より、視線方向情報が入力され（ステップＳ
８０３）、視線方向を中心とした第２の円錐領域の空間
の切り出しが行なわれる（ステップＳ８０４）。

【００５６】次に、第１および第２の円錐領域の空間の
重なり部分の切り出しが行なわれる（ステップＳ８０
５）。

【００５７】第３の入力として、物体管理部９より物体
の重心位置座標情報が入力され（ステップＳ８１０）、
そのうちのいずれかが上記空間の重なり部分に含まれて
いるか否かが判断される（ステップＳ８０６）。

【００５８】空間の重なり部分に物体が含まれていない
と判断された場合は、再びその時点での空間の重なりの
切り出しが行なわれる（ステップＳ８０５）。

【００５９】空間の重なり部分に物体が含まれていると
判断された場合は、物体管理部９からの物体の近似形状
情報、たとえば、物体が棒に近似しているか球に近似し
ているかという情報、および目標物体特定部８の第４の
入力として物体形状推定部６より入力された（ステップ
Ｓ８１１）物体形状推定情報に基づいて、上記空間の重
なり部分に含まれている物体の形状が、これら２つの形
状情報と一致するか否かが判断される（ステップＳ８０
７）。

【００６０】空間の重なり部分に含まれる物体の形状
が、物体の近似形状情報および物体形状推定情報と一致
しない場合は、その時点における空間の重なりの切り出
し過程（ステップＳ８０５）に再び処理が戻る。

【００６１】空間の重なり部分に含まれる物体の形状
が、物体の近似形状情報および物体形状推定情報に一致
すると判断された場合は、続いて候補物体が唯一である
か否かが判断される（ステップＳ８０８）。

【００６２】候補物体が唯一である場合は、この候補物
体の情報が表示制御部１０へ出力される（ステップＳ８
０９）。

【００６３】候補物体が唯一でない場合は、最も確から
しい目標物体の推定を行なうために、以下の過程が実行
される。

【００６４】すなわち第３の入力である物体管理部９か
らの手先位置における見かけの物体の大きさおよび方向
の情報と、第４の入力である物体形状推定部６からの物
体形状推定情報とに基づいて、各候補物体につき、それ
らの一致度が計算される（ステップＳ８１２）。

【００６５】上記一致度の計算結果をもとに、最も一致
度の高い物体が候補物体として選択され（ステップＳ８
１３）、表示制御部１０へ出力される（ステップＳ８０
９）。

【００６６】以上の構成により、人工現実感装置におい
て、人間が把持しようとする目標物体をシステム側が事
前に推測することが可能となり、より自然なユーザイン
タフェイスが構築できる。

【００６７】

【発明の効果】請求項１記載の把持目標物体推測装置に
おいては、手の移動方向情報および手形状情報から、把
持が達成される以前に目標物体を推測することが可能で
ある。

【００６８】請求項２記載の把持目標物体推測装置にお
いては、手の移動方向情報および手形状情報に加えて、
視線方向情報に基づいて、把持が達成される以前に目標
物体を推測するので、請求項１記載の把持目標物体推測
装置よりも高い精度で目標物体を推測することが可能で
ある。

【００６９】請求項３記載の人工現実感装置において
は、請求項１または２記載の把持目標物体推測装置によ
り、把持が達成される以前に目標物体を推測することが
可能であるので、仮想空間中での目標物体の表示制御に
時間的な余裕が生じ、より自然なユーザインタフェース
を実現することが可能である。

【図面の簡単な説明】

【図１】この発明の一実施例の概略ブロック図である。

【図２】手形状から物体形状を推定する動作を示すフロ
ー図である。

【図３】目標物体と手形状情報との相関を示す実験結果
図である。

【図４】目標物体を特定する動作を示すフロー図であ
る。

【図５】従来例を示す概略ブロック図である。

【図６】人工現実感装置を示す概念図である。

【符号の説明】

１ 視線検出装置 ２ 視線検知部 ３ 目標物体存在範囲推定部 ４ 手形状入力装置 ５ 手形状検知部 ６ 物体形状推定部 ７ 移動方向検知部 ８ 目標物体特定部 ９ 物体管理部 １０ 表示制御部 １１ 表示装置 １２ 仮想空間の目標物体

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 人間が目標物体を把持すべく行なう一連
   の動作において、把持が達成される以前の手の形状か
   ら、上記目標物体を推測する装置であって、 手の位置および各関節の曲がり角度を検出し、手形状情
   報として出力する手形状情報検出手段と、 前記手形状情報を受けて手形状を再構成する手形状検知
   手段と、 予め記憶された、各目標物体に対応する手形状情報と前
   記再構成された手形状とを比較して、目標物体の形状を
   推定する物体形状推定手段と、 前記手の位置情報の時間変化により、手の移動方向を検
   知する手の移動方向検知手段と、 前記各目標物体の位置情報を記憶する物体管理手段と、 前記手の移動方向上の所定の領域内に存在する物体を前
   記物体管理手段からの位置情報をもとに候補物体として
   抽出し、前記物体形状推定手段の推定結果をもとに前記
   候補物体から特定の目標物体を推測する目標物体特定手
   段とを備える、把持目標物体推測装置。
2. 【請求項２】 人間が目標物体を把持すべく行なう一連
   の動作において、把持が達成される以前の手の形状か
   ら、上記目標物体を推測する装置であって、 手の位置および各関節の曲がり角度を検出し、手形状情
   報として出力する手形状情報検出手段と、 前記手形状情報を受けて手形状を再構成する手形状検知
   手段と、 予め記憶された、各目標物体に対応する手形状情報と前
   記再構成された手形状とを比較して目標物体の形状を推
   定する物体形状推定手段と、 前記手の位置情報の時間変化により、手の移動方向を検
   知する手の移動方向検知手段と、 眼の視線を検出し、視線情報として出力する視線検出手
   段と、 前記視線情報を受けて視線方向を決定する視線方向検知
   手段と、 前記視線方向をもとに眼が知覚している目標物体の存在
   する立体角の範囲を推定する目標物体存在範囲推定部
   と、 前記各目標物体の位置情報を記憶する物体管理手段と、 前記手の移動方向上の所定の領域内および前記目標物体
   存在範囲推定部の推定範囲の共通領域内に存在する物体
   を前記物体管理手段からの位置情報をもとに候補物体と
   して抽出し、前記物体形状推定手段の推定結果をもとに
   前記候補物体から特定の目標物体を推測する目標物体特
   定手段とを備える、把持目標物体推測装置。
3. 【請求項３】 請求項１または２記載の把持目標物体推
   測装置と、 前記目標物体を含む仮想現実空間を表示する表示装置
   と、 前記把持目標物体推測装置の推測結果に応じて、前記表
   示装置の画面上で前記推測された目標物体が把持される
   のに対応する表示を行なわせる信号を、前記表示装置に
   出力する表示制御手段とを備える、人工現実感装置。