JP5341929B2 - 操作抵抗感制御装置及び操作抵抗感制御方法 - Google Patents

Description

本発明は、ロボットや機器等の視覚表示を伴う操作端末やテレビゲーム等の操作端末等で、操作抵抗感を増減させる操作抵抗感制御装置及び操作抵抗感制御方法に関する。

ロボットやゲーム、バーチャルリアリティ等の操作インタフェースにおいて、操作者の操作に関与する体の部位や操作対象の動きに対する操作抵抗感として、
（１）映像の遅延に伴って意図せずに引き起こされる操作抵抗感
（２）ロボットデバイス等により、作為的に引き起こされる操作抵抗感
がある。

（１）は、映像の伝送遅延により、遅延がない場合よりも操作が重たくなったように感じる（操作抵抗感が大きく感じる）ものであり、提示されている映像の内容や操作者の意図とは無関係に引き起こされてしまう現象である。このように遅延に伴って引き起こされる操作抵抗感を軽減する技術として、動きを予測して操作者に提示することにより遅延を補償する手段が、例えば、非特許文献１に開示されている。

（２）は、操作者の体の部位に装着したデバイスにより、映像に合わせた操作抵抗感を与えることで、映像上で物体に衝突した際に、操作者にも衝突したような振動を提示する技術であり、例えば、特許文献３に開示されている。また、視覚運動刺激を与えることにより、操作者が無意識のうちにその運動方向を変化させることができる技術が、例えば、特許文献１，２に開示されている。

特開２００４−３１７７８４号公報 特開２０１０−７２２２１号公報 特開２００２−１２３８４０号公報

Sheridan T (1993) Space teleoperation through time delay: review and prognosis. Robotics and Automation, IEEE Transactions on 9:592-606

しかしながら、上述した従来の技術においては下記のような問題点がある。

非特許文献１に開示された技術では、遅延の軽減を目的としており、それ以外の操作抵抗感の操作には利用することができない。また、予測できない操作者の動きには対応することができない。

また、特許文献１，２に開示された技術においては、操作者の肢運動を所望の方向（操作者の意図していない方向）に無意識のうちに誘導することを目的としたものであり、操作者の操作抵抗感を変化させるものではない。

また、特許文献３に開示された技術では、操作者に操作抵抗感を与えるための振動デバイス等、物理的なデバイスを用意しなければならない。

本発明は、上述したような技術が有する問題点に鑑みてなされたものであって、特殊な物理デバイスを用いることなく、視覚に提示する映像に伴って操作抵抗感を増減させることができる操作抵抗感制御装置及び操作抵抗感制御方法を提供することを目的とする。

上記目的を達成するために本発明は、
画像を見ながら操作を行う操作者の操作抵抗感を軽減する操作抵抗感制御装置であって、
前記操作者の操作に関与する体の部位の位置及び該部位の運動方向を検出する肢運動方向検出部と、
前記肢運動方向検出部にて検出された体の部位の位置を示すマーカ画像を生成する肢運動マーカ画像生成部と、
所定の大きさの視覚運動刺激エリア内部のパターンを、前記肢運動方向検出部にて検出された運動方向に、所定の空間周波数及び所定の時間周波数で動かす画像である視覚運動刺激画像を生成する視覚運動刺激生成部と、
前記肢運動マーカ画像生成部にて生成されたマーカ画像と、前記視覚運動刺激生成部にて生成された視覚運動刺激画像と、予め設定された背景画像とを合成する画像合成部と、
前記画像合成部にて合成された画像を表示する画像表示部とを有する。

また、操作者の操作に応じて動く操作対象を該操作対象の画像を見ながら遠隔操作する際に、前記操作対象の動きに応じて前記操作者の操作抵抗感を増加させる操作抵抗感制御装置であって、
前記操作者の操作に関与する体の部位の位置及び該部位の運動方向を検出する肢運動方向検出部と、
前記操作対象を含む画像を取得する撮影部と、
前記撮影部にて取得された画像に基づいて、前記操作対象が他の物体に衝突したことを検出した場合または衝突する可能性のあることを検出した場合、所定の大きさの視覚運動刺激エリア内部のパターンを、前記肢運動方向検出部にて検出された運動方向とは逆の方向に、所定の空間周波数及び所定の時間周波数で動かす画像である視覚運動刺激画像を生成する視覚運動刺激生成部と、
前記撮影部にて撮影された画像と、前記視覚運動刺激生成部にて生成された視覚運動刺激画像とを合成する画像合成部と、
前記画像合成部にて合成された画像を表示する画像表示部とを有する。

また、操作者の操作に応じて仮想物体が移動する仮想空間画像を見ながら操作を行う際の操作抵抗感を増減する操作抵抗感制御装置であって、
前記操作者の操作に関与する体の部位の位置及び該部位の運動方向を検出する肢運動方向検出部と、
前記仮想物体の大きさや重量情報を保持し、前記肢運動方向検出部にて検出された運動方向に前記仮想物体を移動させる仮想空間操作部と、
所定の大きさの視覚運動刺激エリア内部のパターンを、前記仮想空間操作部にて移動させる仮想物体の大きさや重量に応じて、前記肢運動方向検出部にて検出された運動方向、または該運動方向とは逆の方向に、所定の空間周波数及び所定の時間周波数で動かす画像である視覚運動刺激画像を生成する視覚運動刺激生成部と、
前記仮想空間画像と、前記視覚運動刺激生成部にて生成された視覚運動刺激画像とを合成する画像合成部と、
前記画像合成部にて合成された画像を表示する画像表示部とを有する。

本発明においては、特殊な物理デバイスを用いることなく、視覚に提示する映像に伴って操作者に様々な操作抵抗感を感じさせることできる。

例えば、遠隔地にて画像を見ながら操作を行う場合に、画像表示部に表示される画像が遅延していたとしても、操作の際に知覚する操作抵抗感を軽減させることができる。

また、操作者の操作に応じて動く操作対象を該操作対象の画像を見ながら遠隔操作する場合に、特殊な物理デバイスによって振動等を生じさせることなく、操作対象が他の物体に衝突したこと、あるいは衝突しそうであることを、操作抵抗感の増加により知らせることができる。

また、操作者の操作に応じて仮想物体が移動する仮想空間画像を見ながら操作を行う場合に、特殊なデバイスによって実際に抵抗を増減させることなく、仮想空間上での操作対象の大きさや重さを操作者に感じさせることができる。

本発明の操作抵抗感制御装置の第１の実施の形態を示すブロック図である。 図１に示した操作抵抗感制御装置による具体的構成例を示す図である。 図１及び図２に示した視覚運動刺激生成部にて生成される視覚運動刺激画像を構成するための画像の一例である。 図１及び図２に示した操作抵抗感制御装置による有効性を示す実験結果の一例を示す図である。 本発明の操作抵抗感制御装置の第２の実施の形態が適用される状況を示す図である。 本発明の操作抵抗感制御装置の第２の実施の形態を示すブロック図である。 本発明の操作抵抗感制御装置の第３の実施の形態を示すブロック図である。 図７に示した視覚運動刺激生成部にて生成される視覚運動刺激画像による効果を説明するための図である。 図１に示した操作抵抗感制御装置を用いた実験装置の他の例を示す図である。 図９に示したスクリーンに表示される情報を示す図である。 図９に示した実験装置を用いた実験方法を説明するための図である。 視覚運動刺激生成部で生成する模様を示す図である。 本実験における抵抗感の主観評価を示す図である。 本実験における書字時間を示す図である。 本実験におけるオーバーシュート量を示す図である。 本実験で使用した２文字についてのオーバーシュートの変化の様子を示す図である。

以下に、本発明の実施の形態について図面を参照して説明する。

（第１の実施の形態）
図１は、本発明の操作抵抗感制御装置の第１の実施の形態を示すブロック図である。

本形態は図１に示すように、肢運動方向検出部１と、肢運動マーカ画像生成部２と、視覚運動刺激生成部３と、画像合成部４と、画像表示部５とから構成されている。

肢運動方向検出部１は、画像表示部５によって表示される画像を見ながら操作を行う操作者１０の操作に関与する体の部位及びその部位の運動方向をカメラやセンサーによって検出する。

肢運動マーカ画像生成部２は、肢運動方向検出部１にて検出された体の部位の位置を示すマーカ画像を生成する。

視覚運動刺激生成部３は、所定の大きさの視覚運動刺激エリアを設定し、そのエリア内に表示される所定の空間周波数のパターンを、肢運動方向検出部１にて検出された運動方向に、所定の空間周波数及び時間周波数で動かす画像である視覚運動刺激画像を生成する。なお、視覚運動刺激エリアの大きさは、任意の大きさとすることができる。

画像合成部４は、肢運動マーカ画像生成部２にて生成されたマーカ画像と、視覚運動刺激生成部３にて生成された視覚運動刺激画像と、予め設定された背景画像とを合成する。このとき、マーカ画像と視覚運動刺激画像は、予め設定された背景画像と重ならないように、その周囲に表示されるよう合成しても良いし、予め設定された背景画像と重なる位置に表示しても良い。ただし、予め設定された背景画像と重ねて表示する場合には、背景画像全体が隠れてしまわないように、マーカ画像と視覚運動刺激画像（視覚運動刺激エリア）の大きさは背景画像よりも小さくしておく。

画像表示部５は、スクリーンやコンピュータディスプレイからなり、画像合成部４にて合成された画像を投影表示して操作者１０に提示する。

以下に、上記のように構成された操作抵抗感制御装置の動作について具体的構成例を挙げて説明する。

図２は、図１に示した操作抵抗感制御装置による具体的構成例を示す図である。

図２に示す構成においては、まず、肢運動方向検出部１は、操作者１０の腕の動きをカメラで撮影し、手の位置を計算して時々刻々求めることにより、手の位置とその運動方向を検出する。そして、その検出信号を肢運動マーカ画像生成部２に送る。

次に、肢運動マーカ画像生成部２は、肢運動方向検出部１にて検出された手の位置に対して、手の位置を示すマーカ画像を生成し、画像合成部４に送る。

また、視覚運動刺激生成部３は、白黒の縞模様を表示しておく。この際、肢運動方向検出部１にて検出された手の運動方向、すなわち、操作者１０の手の動きと同時に手の動きを示すマーカ画像と同じ方向に縞模様を動かし、手を止めたとき縞模様を消すあるいはその動きを止めるように制御した視覚運動刺激画像を生成し、画像合成部４へ送る。この視覚運動刺激画像は、操作抵抗感を改善するのに適した空間周波数、時間周波数、サイズを有するものとする。なお、図２においては、水平方向の運動を対象とした場合を例に挙げて示しているが、垂直方向の動きの検出、刺激画像の提示を組み合わせることにより、どの方向への手の動作であっても操作抵抗感を改善できる。

図３は、図１及び図２に示した視覚運動刺激生成部３にて生成される視覚運動刺激画像を構成するための画像の一例である。

図２においては、縦の細い縞模様を間欠的に縦に並べた例を示しているが、図３（ａ）に示すように中心付近にだけ視覚運動刺激画像を提示するパターンや、図３（ｂ）に示すように周辺付近にだけ視覚運動刺激画像を提示するパターンや、図３（ｃ）に示すように縦横の縞模様を提示するパターン等、様々なパターンを視覚運動刺激画像として用いることが可能である。なお、視覚運動刺激は、この図で言えば，白黒エリア（視覚運動刺激エリア）内の白黒パターンが動くことを示しており、エリア全体が移動することを意味するものではない。また、画像は縞模様だけでなく、ランダムドットやその他のパターンも用いることが可能である。なお、視覚運動刺激生成部３にて生成される視覚運動刺激画像は、画像表示部５によって表示される画像全体を覆うものではないため、図３中視覚運動刺激画像エリア以外のグレー色で示す部分には視覚運動刺激画像とは関係のない別の画像を提示することができる。

その後、画像合成部４が、肢運動マーカ画像生成部２にて生成されたマーカ画像と、視覚運動刺激生成部３にて生成された視覚運動刺激画像と、予め設定された背景画像とを合成し、合成された画像を画像表示部５に送る。

そして、画像表示部５が、画像合成部４にて合成された画像を投影表示して操作者１０に提示する。

以下に、上述した操作抵抗感制御装置による有効性について説明する。

（実験１）
図４は、図１及び図２に示した操作抵抗感制御装置による有効性を示す実験結果の一例を示す図である。

まず、実験１では、操作抵抗感の変化の検出には以下の実験方法を用いた。

画像表示部５によって画像が投影されるスクリーンには、始点・終点を示す印、並びに操作者１０の手の位置を示すマーカ画像が提示されている。手の位置は肢運動方向検出部１となるカメラで検出され、前額面での手の動きがマーカ画像としてスクリーンに投影される。

操作者１０には、始点にマーカ画像を移動した後、スクリーンに提示された終点を見ながら、ビープ音に合わせてマーカ画像を始点から終点に向けて動かしてもらう。２回連続して運動試行を行ってもらい、１回は基準刺激条件（追加遅延＝８３ｍｓ、縞模様の運動なし）、もう１回は変化刺激条件で、変化刺激はマーカ画像の表示時間遅れと背景の縞模様パターンの動きが設定値からランダムに選択される。基準刺激と比較刺激の順番はランダムに選択される。

そして、操作者１０に、２回の試行のうちどちらの操作抵抗感が悪かったかを答えてもらい、それを繰り返し行う。時間遅延は、遅れを追加しない条件を０ｍｓとし、０，５０，６７，８３，１００，１１７，１６７ｍｓの７条件で、背景の縞模様は、動かさなかった場合（静止）、手の動きと同じ方向に動かした場合（順方向）、手の動きと反対方向に動かした場合（逆方向）の、３つの条件で行った。縞模様の動きの速さは正負どちらの方向についても、１７６ｃｍ／ｓとした。このような２１（７×３）の刺激条件に対して、多数の回答を求めることにより「操作抵抗感」の強さを確率として求めた。

図４では、上述したような縞模様の動作が異なる３条件に対し、基準刺激に対する操作抵抗感が、設定した遅延時間でどのように変化するかを示している。なお、各プロットが実験で得られた値（確率値）であり、曲線は計測値を使って近似した精神測定関数（サイコメトリック関数）である。

まず、縞模様が静止の条件では、基準刺激条件に対して遅延時間が少ない場合は、比較する刺激を与えた場合に「操作抵抗感が大きい」と答える確率は低くなり、遅延時間が大きい場合には、「操作抵抗感が大きい」と答える確率が高い。また、縞模様を順方向に動かした場合は、曲線が右側にシフトしており、操作抵抗感は減少していることを示している。さらに、縞模様を反対方向に動かした場合は、曲線が左側にシフトしており、操作抵抗感がより大きくなっていることを示している。

すなわち、縞模様の運動を与えることにより、遅延に伴う操作抵抗感の改善や、操作抵抗感を変化させることが可能であることが示された。

このように、視覚運動刺激生成部３にて生成される視覚運動刺激画像を、肢運動方向検出部１にて検出された手の運動方向に縞模様が動くようなものとすることにより、遅延に伴う操作抵抗感の改善や、操作抵抗感を変化させることができる。
（実験２）
実験２では、ペンタブレットで文字を書く際における表示の遅延による抵抗感（重たさ感）が、本発明の視覚運動刺激画像の提示により軽減されるかについて、実験を行った。

図９は、図１に示した操作抵抗感制御装置を用いた実験装置の他の例を示す図である。

図９に示すように、実験２においては、画像表示部５としてスクリーンを用い、肢運動方向検出部１としてペンタブレットを用い、操作者１０の視点で見たときに、スクリーンの下にペンタブレットが配置されるようにする。また、音声を出力するためのスピーカや、情報を入力するためのキーボードもペンタブレットの周辺に配置する。

図１０は、図９に示したスクリーンに表示される情報を示す図である。

画像表示部５となるスクリーンには、プロジェクタから投影される画像が提示されることになるが、図１０に示すように、注視点を示す画像として画面中央に「＋」記号が提示されるとともに、操作者１０が持つペン軌跡や現在のペンの位置を示すマーカ画像及び視覚運動刺激画像が提示されている。ペンの位置はペンタブレットで検出され、ペンが動くに従って、その軌跡及びペンの位置を示すマーカ画像としてスクリーンに投影される。

また、遅延を伴う状況を作り出すため、遅延生成部（不図示）において、ペンタブレットにて検出されたペンの位置を示すマーカ画像及びその軌跡を、一定時間だけ遅らせてからスクリーンに表示する構成とした。

図１１は、図９に示した実験装置を用いた実験方法を説明するための図である。

上記のように構成された操作抵抗感制御装置において、操作者１０は、常に注視点を見た状態で、書字運動を行う。

まず、スクリーンに文字が提示される（図１１中ａ）。

一定時間が経過後、文字が消え（図１１中ｂ）、注視点と現在の操作者１０の手の位置（ペンの位置）を示すマーカ画像が提示された状態となる（図１１中ｃ）。この状態から、操作者１０は注視点を見ながら先ほど提示されていた文字と同じ文字を書く運動を行う。

この文字の提示と書字運動を１セットとし、最初に「練習」の設定で２セット連続して運動試行を行い、次に「基準刺激」と「比較刺激」の設定でそれぞれ１セットずつ前後の順序はランダムにして運動試行を行った後、操作者１０に基準刺激と比較刺激の試行を比較して、どちらの操作で抵抗感（重たさ感）が強かったかをキーボードを用いて回答してもらった。ただし、書字時間を一定に保つために、練習時にはスピーカから一定間隔（８３３ｍｓ周期）のビープ音を鳴らし、その音で指定する速さで文字を書くように指示した。

「練習」、「基準刺激」、「比較刺激」は、それぞれ視覚運動刺激生成部３と遅延生成部を以下の設定とした。

図１２は、視覚運動刺激生成部３で生成する模様を示す図である。

視覚運動刺激生成部３で生成する模様としては、図１２（ａ）に示すような斜め格子模様の他、図１２（ｂ）に示すような縦横格子模様や、図１２（ｃ）に示すような円形の縁を持つ縞模様のパターン等、様々な図柄を用いることが可能である。以下の例においては、図１２（ａ）に示すような斜め格子模様を用いた。

（１）練習時
遅延時間を０（遅延させない）とし、視覚運動刺激生成部３では図１２（ａ）に示す格子模様を動かさないで提示する（静止）。

（２）基準刺激提示時
遅延時間を１００ｍｓとし、視覚運動刺激生成部３では図１２（ａ）に示す格子模様を動かさないで提示する（静止）。

（３）比較刺激提示時
遅延時間を６６ｍｓ，１００ｍｓ，１３３ｍｓのいずれかに設定する（ランダムに選択する）。また、視覚運動刺激生成部３では、図１２（ａ）に示す格子模様を動かさないで提示する（静止）か、図１２（ａ）に示す格子模様を操作者１０の書字方向と同じ方向に動かす（順方向）か、のいずれかに設定する（ランダムに選択する）。縞模様の動きの速さは３３６ｃｍ／ｓとした。ここで、「模様を動かす」際、中心部の円形の模様の無い部分の位置や文字の位置は動かさない。

同様の試行を、１名の被験者について１４文字×２回の計２８回行い、これを男女４名ずつの計８名の被験者について行った。使用した１４文字はアルファベット（Ａ，Ｅ，Ｆ，Ｈ，Ｉ，Ｋ，Ｌ，Ｍ，Ｎ，Ｔ，Ｖ，Ｗ，Ｘ，Ｚ）である。実験の結果を図１３〜図１６に示す。

図１３は、本実験における抵抗感の主観評価を示す図であり、比較刺激の方が重いと選ばれた比率（％）を示したものである。

図１３に示すように、どの遅延条件においても、視覚運動刺激（順方向への刺激）の提示により操作抵抗感が減少していることがわかる。

図１４は、本実験における書字時間を示す図である。なお、書字時間とは、（比較刺激の試行において文字を書くためにペンがペンタブレットに触れていた時間）／（練習時にビープ音で指定した書字時間）（％）を示したものである。

図１４に示すように、遅延が増加すると文字を書くために要する時間が長くなり、視覚運動刺激画像を提示するとこの時間が短くなることがわかる。

図１５は、本実験におけるオーバーシュート量を示す図である。なお、オーバーシュート量とは、（書いた文字の軌跡の合計長さ）／（指定した形状と大きさで文字を書いた場合の文字の軌跡の合計長さ）（％）を示したものである。

図１５に示すように、遅延が増加すると文字を書いた際のオーバーシュート（行き過ぎ量）が増え、視覚運動刺激画像を提示すると、このオーバーシュートが小さくなることがわかる。

図１６は、本実験で使用した２文字についてのオーバーシュートの変化の様子を示す図である。

図１６に示すように、２文字とも、遅延の増加とともにオーバーシュートが出現するものの、刺激提示によりオーバーシュートが減少していることがわかる。

以上のように、本実験の結果から、視覚運動刺激生成部３で順方向の刺激を提示することにより、運動における操作抵抗感を軽減する効果に加え、書字時間及びストロークのオーバーシュートを減少させる効果が得られることが確認できた。

（第２の実施の形態）
図５は、本発明の操作抵抗感制御装置の第２の実施の形態が適用される状況を示す図である。

本形態においては、図５に示すように、視覚フィードバックのみを利用した操作対象となるロボットアームの遠隔操作を想定する。操作者の手先位置はカメラにより取得されており、ロボットアームはその手先と連動して動いている。すなわち、ロボットアームは、操作者の操作に応じて動くものであり、操作者は、ディスプレイによりロボットアームの姿勢をリアルタイムで確認することができる。このように、視覚フィードバックのみが提示される状況では、ロボットアームが周辺の物体と衝突しても操作者はそれに気付かない可能性があり、ロボットアームの可動範囲内の物体に継続的に力を加え、それを変形してしまうという危険性がある。

図６は、本発明の操作抵抗感制御装置の第２の実施の形態を示すブロック図である。

本形態は図６に示すように、肢運動方向検出部１と、撮影装置７と、視覚運動刺激生成部３と、画像合成部４と、画像表示部５と、操作入力部６とから構成されている。

肢運動方向検出部１は、画像表示部５によって表示されるロボットアーム２０の画像を見ながら操作を行う操作者１０の操作に関与する腕の動きをカメラで撮影し、手先の位置と運動方向を計算して時々刻々求めることにより、手先の位置とその運動方向を検出する。

撮影装置７は、遠隔地の操作対象となるロボットアーム２０及びその周辺の画像を撮影することによって取得する。

視覚運動刺激生成部３は、撮影装置７から取得した画像を解析し、この解析結果に基づいて、ロボットアーム２０が他の物体と衝突したことあるいは衝突の可能性があることを検出した場合、所定の視覚運動刺激エリア内に表示されるパターン（縞模様）が、肢運動方向検出部１にて検出された操作者１０の手先の運動と反対の方向に、第１の実施の形態にて示したものと同様の縞模様が動き、操作者が手を止めると縞模様の動きも止めるように制御した視覚運動刺激画像を生成する。

画像合成部４は、視覚運動刺激生成部３で生成された視覚運動刺激画像と、撮影装置７で取得したロボットアーム２０の映像とを合成し、画像表示部５へ送る。このとき、視覚運動刺激画像は、撮影装置７で取得したロボットアーム２０の映像と重ならないように、その周囲に表示されるよう合成しても良いし、ロボットアーム２０の映像と重なる位置に表示しても良い。ただし、ロボットアーム２０の映像と重ねて表示する場合には、ロボットアーム２０の映像全体が隠れてしまわないように、視覚運動刺激画像（視覚運動刺激エリア）の大きさはロボットアーム２０の映像よりも小さくしておく。

画像表示部５は、画像合成部４から取得した画像を操作者１０に表示する。

上記のように構成された操作抵抗感制御装置においては、視覚運動刺激生成部３において、ロボットアーム２０と他の物体との衝突あるいは衝突の可能性を検出した場合、操作者１０の手先の運動と反対の方向に、第１の実施の形態に示したものと同様に所定の視覚運動刺激エリア内を縞状の模様が動く視覚運動刺激画像を提示するものであり、この点が第１の実施の形態に示したものに対して異なる。

このように、操作者１０の動きと反対方向に所定のパターンが動く画像である視覚運動刺激画像を提示することにより、操作者１０は実際よりも大きな操作抵抗感を感じる。このような視覚運動刺激画像の提示とそれによって生じる運動の抵抗感により、操作者１０に、ロボットアーム２０が他の物体と衝突したこと、あるいは衝突しそうである状況であることに対する注意を喚起することができる。これにより、外部の他の物体を変形するといった事故を軽減することが可能となる。

なお、操作対象の大きさが大きいほど、視覚運動刺激画像を操作の方向と逆方向に動かす速度を早くすることにより、操作対象の大きさを考慮した操作抵抗感を操作者に与えることができる。

（第３の実施の形態）
図７は、本発明の操作抵抗感制御装置の第３の実施の形態を示すブロック図である。

本形態は図７に示すように、肢運動方向検出部１と、仮想空間操作部８と、視覚運動刺激生成部３と、画像合成部４と、画像表示部５とから構成されている。

肢運動方向検出部１は、画像表示部５によって表示される仮想物体の画像を見ながら操作を行う操作者１０の操作に関与する腕の動きをカメラで撮影し、手先の位置と運動方向を計算して時々刻々求めることにより、手先の位置とその運動方向を検出する。

仮想空間操作部８は、仮想物体の大きさや想定された重量情報を保持し、肢運動方向検出部１にて検出された操作者１０の手の位置及び動きに応じて、画像表示部５に投影された仮想空間中の仮想物体を移動させる指示を画像合成部４へ送る。

視覚運動刺激生成部３は、仮想空間操作部８から、移動対象となっている仮想物体の大きさや重量情報を取得し、仮想物体の大きさや重量に応じて、視覚運動刺激エリアに表示される所定の空間周波数を持つパターンを動かす量や大きさ、方向等を変化させた視覚運動刺激を生成する。例えば、仮想物体が大きな場合や想定された重量が重い場合には、肢運動方向検出部１にて検出された運動方向と反対方向にパターンを動かし、また、仮想物体が小さいあるいは軽いという想定の場合には運動方向と同じ方向にパターンを動かす。このとき、仮想物体の大きさや想定された重量に比例させて、パターンを動かす速度を増減させると、仮想物体の大きさの違いによる操作抵抗感をより細かく制御することができる。速度の増減は、時間周波数を変化させることにより制御できる。さらに、仮想物体の大きさや想定された重量に応じて、視覚運動刺激エリアの面積を増減させてもよく、面積が大きいほど、操作抵抗感の変化をより大きく実感することができる。

画像合成部４は、画像表示部５に表示されている現在の仮想空間の画像について、仮想空間操作部８から指定された仮想物体を動かした画像を生成する。そして、生成した画像と視覚運動刺激生成部３から取得した視覚運動刺激画像とを合成した画像を画像表示部５へ送る。なお、仮想物体の現在の位置は、画像合成部に記憶されているものとする。また、視覚運動刺激画像は、仮想空間の画像と重ならないように、その周囲に表示されるよう合成しても良いし、仮想空間の画像と重なる位置に表示しても良い。ただし、仮想空間の画像と重ねて表示する場合には、仮想空間の画像全体が隠れてしまわないように、視覚運動刺激画像（視覚運動刺激エリア）の大きさは仮想空間の画像よりも小さくしておく。

画像表示部５は、画像合成部４から取得した仮想空間と視覚運動刺激画像を操作者１０に表示する。

上記のように構成された操作抵抗感制御装置においては、仮想現実感を実現するような環境において、視覚的仮想物体の移動を実際の手の動きに合わせて表示する場合において、視覚運動刺激生成部３において、操作対象物となる仮想物体の大きさや想定された重量に応じて視覚運動刺激の速度を増加・減少させたり、視覚運動刺激の面積を増加・減少させたりすることにより、仮想空間上での操作対象の大きさや重さを操作者に感じさせることができ、この点が第１及び第２の実施の形態と異なるものである。

図８は、図７に示した視覚運動刺激生成部３にて生成される視覚運動刺激画像による効果を説明するための図である。

図８においては、図中Ａに示すなめらかなテクスチャの画像と、図中Ｂに示す荒いテクスチャの画像を指で横になぞる場合の摩擦による抵抗感の違いを、図中Ｃに示す縞模様の動きによって生成するための画像全体を示している。

指が図中Ａにある場合は指の動きの方向にＣのエリアの縞模様を動かし、指が図中Ｂにある場合は指の動きの方向と反対方向にＣのエリアの縞模様を動かす。これにより、図中Ａに示すなめらかなテクスチャの画像を指で横になぞる場合は操作抵抗感が小さくなり、また、図中Ｂに示す荒いテクスチャの画像を指で横になぞる場合は操作抵抗感が大きくなるようにできる。

なお、本例では横方向の抵抗感の操作しか想定していないが、縦方向や斜め方向の指の動きに対する抵抗感についても、図３に示した例のような縞模様を適切に設定することにより実現することができる。

このように、本形態においては、手の動きに対して順方向や反対方向に与える視覚運動刺激画像の量や大きさを変化させることで、実際に外部から力を与えることをまったく行わないで操作抵抗感の増加・減少を制御し、重さの感覚や質感の違いを擬似的に伝えることができる。

なお、本形態においても、第１の実施の形態に示したものと同様に、画像表示部７に表示された仮想空間における操作者の手の位置を示すマーカ画像を生成するために肢運動マーカ画像生成部を有する構成とすることも考えられる。

なお、本発明においては、操作抵抗感制御装置内の処理は上述の専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを操作抵抗感制御装置にて読取可能な記録媒体に記録し、この記録媒体に記録されたプログラムを操作抵抗感制御装置に読み込ませ、実行するものであっても良い。操作抵抗感制御装置にて読取可能な記録媒体とは、ＩＣカードやメモリカード、あるいは、フロッピーディスク（登録商標）、光磁気ディスク、ＤＶＤ、ＣＤなどの移設可能な記録媒体の他、操作抵抗感制御装置に内蔵されたＨＤＤ等を指す。この記録媒体に記録されたプログラムは、例えば、制御ブロックにて読み込まれ、制御ブロックの制御によって、上述したものと同様の処理が行われる。

１ 肢運動方向検出部
２ 肢運動マーカ画像生成部
３ 視覚運動刺激生成部
４ 画像合成部
５ 画像表示部
６ 操作入力部
７ 撮影装置
８ 仮想空間操作部
１０ 操作者

Claims (9)

1. 画像を見ながら操作を行う操作者の操作抵抗感を軽減する操作抵抗感制御装置であって、
   前記操作者の操作に関与する体の部位及び該部位の運動方向を検出する肢運動方向検出部と、
   前記肢運動方向検出部にて検出された体の部位の位置を示すマーカ画像を生成する肢運動マーカ画像生成部と、
   所定の大きさの視覚運動刺激エリア内部に表示するパターンを前記肢運動方向検出部にて検出された運動方向に、所定の空間周波数及び所定の時間周波数で動かす画像である視覚運動刺激画像を生成する視覚運動刺激生成部と、
   前記肢運動マーカ画像生成部にて生成されたマーカ画像と、前記視覚運動刺激生成部にて生成された視覚運動刺激画像と、予め設定された背景画像とを合成する画像合成部と、
   前記画像合成部にて合成された画像を表示する画像表示部とを有する操作抵抗感制御装置。
2. 操作者の操作に応じて動く操作対象を該操作対象の画像を見ながら遠隔操作する際に、前記操作対象の動きに応じて前記操作者の操作抵抗感を増加させる操作抵抗感制御装置であって、
   前記操作者の操作に関与する体の部位及び該部位の運動方向を検出する肢運動方向検出部と、
   前記操作対象を含む画像を取得する撮影部と、
   前記撮影部にて取得された画像に基づいて、前記操作対象が他の物体に衝突したことを検出した場合または衝突する可能性のあることを検出した場合、所定の大きさの視覚運動刺激エリア内部に表示するパターンを前記肢運動方向検出部にて検出された運動方向とは逆の方向に、所定の空間周波数及び所定の時間周波数で動かす画像である視覚運動刺激画像を生成する視覚運動刺激生成部と、
   前記撮影部にて撮影された画像と、前記視覚運動刺激生成部にて生成された視覚運動刺激画像とを合成する画像合成部と、
   前記画像合成部にて合成された画像を表示する画像表示部とを有する操作抵抗感制御装置。
3. 請求項２に記載の操作抵抗感制御装置において、
   前記視覚運動刺激生成部は、前記操作対象の大きさが大きいほど前記視覚運動刺激エリア内部に表示するパターンが逆方向に移動する速度を早くする操作抵抗感制御装置。
4. 操作者の操作に応じて仮想物体が移動する仮想空間画像を見ながら操作を行う際の操作抵抗感を増減する操作抵抗感制御装置であって、
   前記操作者の操作に関与する体の部位及び該部位の運動方向を検出する肢運動方向検出部と、
   前記仮想物体の大きさや重量情報を保持し、前記肢運動方向検出部にて検出された運動方向に前記仮想物体を移動させる仮想空間操作部と、
   所定の大きさの視覚運動刺激エリア内部のパターンを、前記仮想空間操作部にて移動させる仮想物体の大きさや重量に応じて、前記肢運動方向検出部にて検出された運動方向、または該運動方向とは逆の方向に、所定の空間周波数及び所定の時間周波数で動かす画像である視覚運動刺激画像を生成する視覚運動刺激生成部と、
   前記仮想空間画像と、前記視覚運動刺激生成部にて生成された視覚運動刺激画像とを合成する画像合成部と、
   前記画像合成部にて合成された画像を表示する画像表示部とを有する操作抵抗感制御装置。
5. 請求項１乃至４のいずれか１項に記載の操作抵抗感制御装置を動作させるためのプログラム。
6. 画像を見ながら操作を行う操作者の操作抵抗感を軽減する操作抵抗感制御方法であって、
   前記操作者の操作に関与する体の部位及び該部位の運動方向を検出する肢運動方向検出ステップと、
   前記肢運動方向検出ステップにて検出した体の部位の位置を示すマーカ画像を生成する肢運動マーカ画像生成ステップと、
   所定の大きさの視覚運動刺激エリア内部のパターンを、前記肢運動方向検出ステップにて検出した運動方向に、所定の空間周波数及び所定の時間周波数で動かす画像である視覚運動刺激画像を生成する視覚運動刺激生成ステップと、
   前記肢運動マーカ画像生成ステップにて生成したマーカ画像と、前記視覚運動刺激生成ステップにて生成した視覚運動刺激画像と、予め設定された背景画像とを合成する画像合成ステップと、
   前記画像合成ステップにて合成した画像を表示する画像表示ステップとを有する操作抵抗感制御方法。
7. 操作者の操作に応じて動く操作対象を該操作対象の画像を見ながら遠隔操作する際に、前記操作対象の動きに応じて前記操作者の操作抵抗感を増加させる操作抵抗感制御方法であって、
   前記操作者の操作に関与する体の部位及び該部位の運動方向を検出する肢運動方向検出ステップと、
   前記操作対象を含む画像を取得する撮影ステップと、
   前記肢運動方向検出ステップにて検出した体の部位及び該部位の運動方向と、前記撮影ステップにて取得した画像とに基づいて、前記操作対象が他の物体に衝突したことを検出した場合または衝突する可能性のあることを検出した場合、所定の大きさの視覚運動刺激エリア内部のパターンを、前記肢運動方向検出部にて検出した運動方向とは逆の方向に、所定の空間周波数及び所定の時間周波数で動かす画像である視覚運動刺激画像を生成する視覚運動刺激生成ステップと、
   前記撮影ステップにて撮影した画像と、前記視覚運動刺激生成部にて生成した視覚運動刺激画像とを合成する画像合成ステップと、
   前記画像合成ステップにて合成した画像を表示する画像表示ステップとを有する操作抵抗感制御方法。
8. 請求項７に記載の操作抵抗感制御方法において、
   前記視覚運動刺激生成ステップは、前記操作対象の大きさが大きいほど前記視覚運動刺激エリア内部に表示するパターンが逆方向に移動する速度を早くする操作抵抗感制御方法。
9. 操作者の操作に応じて仮想物体が移動する仮想空間画像を見ながら操作を行う際の操作抵抗感を増減する操作抵抗感制御方法であって、
   前記操作者の操作に関与する体の部位及び該部位の運動方向を検出する肢運動方向検出ステップと、
   前記肢運動方向検出ステップにて検出した運動方向に前記仮想物体を移動させる仮想空間操作ステップと、
   所定の大きさの視覚運動刺激エリア内部のパターンを、前記仮想空間操作ステップにて移動させる仮想物体の大きさや重量に応じて、前記肢運動方向検出ステップにて検出した運動方向、または該運動方向とは逆の方向に、所定の空間周波数及び所定の時間周波数で動かす画像である視覚運動刺激画像を生成する視覚運動刺激生成ステップと、
   前記仮想空間画像と、前記視覚運動刺激生成ステップにて生成した視覚運動刺激画像とを合成する画像合成ステップと、
   前記画像合成ステップにて合成した画像を表示する画像表示ステップとを有する操作抵抗感制御方法。