JP7536312B2 - 画像インタフェース装置、画像操作装置、操作対象物操作装置、操作対象物操作システム、操作対象物提示方法および操作対象物提示プログラム - Google Patents

Description

本発明は、画像インタフェース装置、画像操作装置、操作対象物操作装置、操作対象物操作システム、操作対象物提示方法および操作対象物提示プログラムに関する。

遠隔ロボットをあたかもユーザの手元にあるかのようなものとして制御する技術に、テレイグジスタンスがある（例えば、非特許文献１参照）。

"Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ、Ｔｅｌｅｉｍｍｅｒｓｉｏｎ ａｎｄ Ｔｅｌｅｘｉｓｔｅｎｃｅ ＩＩ" Ｓｕｓｕｍｕ Ｔａｃｈｉ、Ｏｈｍｓｈａ、ＩＯＳ Ｐｒｅｓｓ、ＩＳＢＮ ４－２７４－９０６３８－８（Ｏｈｍｓｈａ）ＩＳＢＮ １－５８６０３－５１９－３

テレイグジスタンスは、遠隔にあるロボットに設置したセンサ等から得た情報に基づいて、該ロボットを制御、操縦する技術である。テレイグジスタンスでは、ロボットの動作がユーザの身体動作にマッピングされるため、ユーザはロボットに「憑依」して操作しているような感覚を得る。これによりユーザは、遠隔地にあるものをあたかも身近にあるかのように感じながらロボットを操作することができる。

しかしながら従来のテレイグジスタンスでは、ロボットのサイズに対するユーザのサイズは、予め定められたものとして固定されている。このためロボットのサイズ、動作または位置などがロボットごとに変わったような場合、ユーザはこれに対応して違和感なくロボットを操作することができない。

本発明はこうした状況に鑑みてなされたものであり、その目的は、多様なサイズ、位置、動作または運動特性を持つロボット等の操作対象物を、違和感なく操作できる技術を提供することにある。

上記課題を解決するために、本発明のある態様の画像インタフェース装置は、ユーザが操作する操作対象物の画像を表示する画像表示部と、画像表示部にユーザの仮想的な代理身体を描画する代理身体描画部と、操作対象物に対するユーザからの操作信号が入力される操作信号入力部と、を備える。代理身体の大きさは、操作対象物の大きさに応じて可変である。画像表示部に表示される操作対象物の画像は、代理身体から見た主観画像である。

実施の形態の代理身体は複数の大きさを有し、これら複数の大きさは前記操作対象物に対して動的に切替可能であってよい。

実施の形態の代理身体は操作対象物に対する複数の位置を有し、これら複数の位置は動的に切替可能であってよい。

実施の形態の代理身体の位置は、操作対象物の位置に応じて可変であってよい。

実施の形態の代理身体は、操作対象物の画像に対してなされる操作とともに画像表示部上で運動してもよい。このとき代理身体の画像表示部上での運動速度は、操作対象物の運動速度に応じて可変であってもよい。

実施の形態の代理身体は、操作対象物に対する位置または向きが可変であってもよい。

実施の形態の操作対象物は大きさの異なる複数の操作対象物を含んでもよい。このとき、複数の操作対象物が連続的に切り替えて操作されるとき、代理身体の大きさは連続的に可変であってもよい。

実施の形態の代理身体は、２つの異なる大きさの代理身体を含んでもよい。このとき、画像表示部に表示される操作対象物の画像は、２つの異なる大きさの代理身体から見た操作対象物の画像成分を混合したものであってもよい。

実施の形態の操作対象物の画像は、操作対象物の近辺に設置されたカメラによって撮影された画像であってもよい。

本発明の別の態様は、画像操作装置である。この画像操作装置は、ユーザが操作する操作対象物の画像を表示する画像表示部と、画像表示部にユーザの仮想的な代理身体を描画する代理身体描画部と、操作対象物に対するユーザからの操作信号が入力される操作信号入力部と、ユーザが操作することにより操作信号を生成する操作部と、を備える。代理身体の大きさは、操作対象物の大きさに応じて可変である。画像表示部に表示される操作対象物の画像は、代理身体から見た主観画像である。

実施の形態の代理身体は複数の大きさを有し、これら複数の大きさは前記操作対象物に対して動的に切替可能であってよい。

実施の形態の代理身体は操作対象物に対する複数の位置を有し、これら複数の位置は動的に切替可能であってよい。

本発明のさらに別の態様は、操作対象物操作装置である。この操作対象物操作装置は、ユーザが操作する操作対象物の画像を表示する画像表示部と、画像表示部にユーザの仮想的な代理身体を描画する代理身体描画部と、操作対象物に対するユーザからの操作信号が入力される操作信号入力部と、ユーザが操作することにより操作信号を生成する操作部と、ユーザの操作信号を操作対象物に出力する操作信号出力部と、を備える。代理身体の大きさは、操作対象物の大きさに応じて可変である。画像表示部に表示される操作対象物の画像は、代理身体から見た主観画像である。

本発明のさらに別の態様は、操作対象物操作システムである。この操作対象物操作システムは、ユーザが操作する操作対象物の画像を表示する画像表示部と、画像表示部にユーザの仮想的な代理身体を描画する代理身体描画部と、操作対象物に対するユーザからの操作信号が入力される操作信号入力部と、ユーザが操作することにより操作信号を生成する操作部と、ユーザの操作信号を操作対象物に出力する操作信号出力部と、操作対象物を撮影するカメラと、を備える。代理身体の大きさは、操作対象物の大きさに応じて可変である。画像表示部に表示される操作対象物の画像は、代理身体から見た主観画像である。

実施の形態の代理身体は複数の大きさを有し、これら複数の大きさは前記操作対象物に対して動的に切替可能であってよい。

実施の形態の代理身体は操作対象物に対する複数の位置を有し、これら複数の位置は動的に切替可能であってよい。

実施の形態のカメラは、位置を変えるための移動機構を備えてもよい。

実施の形態のカメラは、撮影方向を変えるための回転機構を備えてもよい。

実施の形態のカメラの移動機構と回転機構は、ユーザの操作方向と反対方向にカメラを動かし、画像表示部に表示される画像は、カメラが撮影した画像の左右を反転させたものであってもよい。

実施の形態のカメラは、２つのカメラを備えたステレオカメラであってもよい。

実施の形態のステレオカメラの眼間距離は、代理身体の大きさに応じて可変であってもよい。

実施の形態のカメラは、操作対象物までの距離をリアルタイムに検知する深度カメラであってよい。

実施の形態のカメラは、それぞれ異なる視野を撮影する複数のカメラを備えてよい。

本発明のさらに別の態様は、操作対象物提示方法である。この方法は、操作対象物の大きさの情報を取得するステップと、ユーザの仮想的な代理身体を描画するステップと、操作対象物の画像を表示するステップと、を備える。代理身体の大きさは操作対象物の大きさに応じて可変である。操作対象物の画像は代理身体から見た主観画像である。

実施の形態の代理身体は複数の大きさを有し、これら複数の大きさは前記操作対象物に対して動的に切替可能であってよい。

実施の形態の代理身体は操作対象物に対する複数の位置を有し、これら複数の位置は動的に切替可能であってよい。

本発明のさらに別の態様は、操作対象物提示プログラムである。このプログラムは、操作対象物の大きさの情報を取得するステップと、ユーザの仮想的な代理身体を描画するステップと、操作対象物の画像を表示するステップと、をコンピュータに実行させる。代理身体の大きさは操作対象物の大きさに応じて可変である。操作対象物の画像は代理身体から見た主観画像である。

実施の形態の代理身体は複数の大きさを有し、これら複数の大きさは前記操作対象物に対して動的に切替可能であってよい。

実施の形態の代理身体は操作対象物に対する複数の位置を有し、これら複数の位置は動的に切替可能であってよい。

なお、以上の構成要素の任意の組合せ、本発明の表現を装置、方法、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、多様なサイズや運動特性を持つロボットなどの操作対象物を違和感なく操作可能な画像を画面上に提示することができる。

第１の実施の形態に係る画像インタフェース装置の機能ブロック図である。 第２の実施の形態に係る画像インタフェース装置の機能ブロック図である。 第３の実施の形態に係る画像操作装置の機能ブロック図である。 第４の実施の形態に係る操作対象物操作装置の機能ブロック図である。 第５の実施の形態に係る操作対象物操作システムの機能ブロック図である。 第６の実施の形態に係る操作対象物提示方法の処理手順を示すフローチャートである。

以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。実施の形態は、発明を限定するものではなく例示である。実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図に示す各部の縮尺や形状は、説明を容易にするために便宜的に設定されており、特に言及がない限り限定的に解釈されるものではない。また、本明細書または請求項の中で「第１」、「第２」等の用語が用いられる場合、特に言及がない限りこの用語はいかなる順序や重要度を表すものでもなく、ある構成と他の構成とを区別するだけのためのものである。また、各図面において実施の形態を説明する上で重要ではない部材の一部は省略して表示する。

［第１の実施の形態］
図１に、第１の実施の形態に係る画像インタフェース装置１の機能ブロック図を示す。画像インタフェース装置１は、画像表示部１１と、代理身体描画部１４と、操作信号入力部１５と、を備える。

画像表示部１１は、例えば液晶ディスプレイ、ビデオプロジェクタ、ヘッドマウントディスプレイといった動画像を表示するディスプレイである。画像表示部１１には、ユーザ１２が操作する操作対象物の画像１０が表示される。さらに画像表示部１１には、代理身体描画部１４によって、ユーザ１２の仮想的な代理身体１３が描画される。画像表示部１１に表示される操作対象物の画像１０は、代理身体１３から見た主観画像である。すなわち操作対象物の画像１０は、画像表示部１１に描画された代理身体１３の目から見た画像として表示される。操作対象物の画像１０は、カメラなどによって撮影された遠隔の操作対象物の実画像であってもよいし、シミュレータやゲームなどの仮想的な画像であってもよい。以下、主に建設機械などの産業用ロボットを操作対象物の例として説明する。しかしこれに限られず、操作対象物は、人型ロボット、乗り物、医療用器具など、ユーザの操作の対象になるものであれば何であってもよい。

代理身体描画部１４は、画像表示部１１にユーザ１２の仮想的な代理身体１３を描画する。

操作信号入力部１５には、操作対象物に対するユーザ１２からの操作信号が入力される。操作信号入力部１５に入力された操作信号は、画像表示部１１に送信される。画像表示部１１に表示された操作対象物の画像１０は、この操作信号によって操作される。

代理身体１３は、ユーザ１２の身体を仮想的に代理するものであり、前述のように代理身体描画部１４によって画像表示部１１に描画される。すなわち、画像インタフェース装置１を操作するユーザ１２から見たとき、代理身体１３は画像表示部１１上で自分の分身のように振る舞う。代理身体１３は、ユーザ１２の身体に類似した具象的な画像であってもよいし、シルエット、線画、半透明画像といった抽象的な画像であってもよい。

代理身体１３の大きさは、操作対象物の大きさに応じて可変である。典型的には代理身体１３は、操作対象物が大きければ大きいほど大きな身体として描画され、操作対象物が小さければ小さいほど小さな身体として描画される。例えば代理身体１３は、操作対象物の大きさと実質的に同じ大きさのものとして描画される。例えば操作対象物が重機である場合、代理身体１３は当該重機とほぼ同じ大きさの「巨人」として描画される。逆に操作対象物がマイクロマシンである場合、代理身体１３は当該マイクロマシンとほぼ同じ大きさの「小人」として描画される。前述のように、画像表示部１１に表示される操作対象物の画像１０は代理身体１３から見た主観画像である。これによりユーザは、操作対象物の大きさに応じた大きさを持つ代理身体１３の立場で、画像表示部１１に表示された操作対象物の画像１０を操作することができる。

一般にユーザが画面に表示された操作対象物を操作する場合、画面上の操作対象物と自分の大きさとが異なっていると、ユーザは操作に違和感を覚える。例えば画面上で重機のアームを手で動かす操作をしたとき、そのままでは重機に対する自分のサイズが小さすぎるため、アームの可動域と自分の腕の可動域とが大きく異なり、ユーザは思い通りの操作がしにくいと感じる。これに対し、画面上に重機と同じサイズの代理身体を配置し、この代理身体の立場で重機を操作することにより、アームの可動域と自分の腕の可動域とが一致するように感じられ、違和感のない操作が可能となる。逆に例えば画面上でマイクロマシンを手で操作したとき、そのままではマイクロマシンに対する自分のサイズが大きすぎるため、マイクロマシンの微細な動きと手の動きとが大きく異なり、ユーザは思い通りの操作がしにくいと感じる。これに対し、画面上にマイクロマシンと同じサイズの代理身体を配置し、この代理身体の立場でマイクロマシンを操作することにより、マイクロマシンの精細な動きと自分の手の動きとが一致するように感じられ、違和感のない操作が可能となる。

ある実施の形態では、代理身体１３は複数の大きさを有してもよい。このとき代理身体１３の大きさは、操作対象物に対して動的に切替可能であってよい。上記の説明では、代理身体１３の典型的な例として、操作対象物が大きければ大きいほど大きな身体として描画され、操作対象物が小さければ小さいほど小さな身体として描画されるものを示した。しかしこれに限られず、代理身体１３は、１つの操作対象物に対し、用途や状況に応じて様々な大きさを持つものであってもよい。例えば操作対象物高さ６ｍの重機である場合、代理身体１３は、身長１０ｍの「非常に大きな巨人」、当該重機とほぼ同じ大きさの「巨人」、身長４ｍの「小さめの巨人」、身長１ｍ台の「人間」といったように、４つの身長を持つものとして描画されてもよい。

上記の例で代理身体１３が「巨人」として描画された場合、代理身体１３と操作対象物とがほぼ同じスケールとなるので、ユーザは違和感を覚えることがない。その一方で、操作対象物は「巨人」によって操作される結果、操作の精度は粗いものとなる。次に代理身体１３が「小さめの巨人」として描画された場合、代理身体１３と操作対象物のスケールが大きく違わないため、一定程度違和感が改善されつつ、精度の低下も抑制された操作感が得られる。次に代理身体１３が「人間」として描画された場合、代理身体１３と操作対象物のスケールの違いによる違和感はあるものの、高い精度の操作感が得られる。最後に代理身体１３が「非常に大きな巨人」として描画された場合、代理身体１３が操作対象より大きいことによる違和感はあるものの、大きなスケールでの操作感が得られる。このように、代理身体１３に複数の大きさを持たせ、この複数の大きさを動的に切り替えることにより、ユーザは、操作の用途や目的、操作対象物の置かれた状況。自分の好みなどに応じて、代理身体１３の大きさを的確なものとすることができる。

代理身体１３が複数の大きさを有し、この大きさが操作対象物に対して動的に切替可能である場合、代理身体１３は、操作対象物に対する複数の位置を有してもよい。このとき代理身体１３の位置は、代理身体１３の大きさに応じて動的に切替可能であってよい。

一般に、操作対象物に対して代理身体１３をどこに位置付ければよいかは、代理身体１３の大きさによる。特に代理身体１３と操作対象物の大きさが異なるほど、代理身体１３の操作対象物に対する位置は重要となる。例えば上記の例で代理身体１３が「非常に大きな巨人」「巨人」「小さめの巨人」「人間」の大きさを有する場合、この代理身体１３は、それぞれのそれぞれの大きさにおいて、操作対象物の最上部から最下部までの範囲で複数の高さ位置を有してよい。ここで代理身体１３が「巨人」として描画された場合、代理身体１３と操作対象物はほぼ同じサイズであるため、代理身体１３の高さ位置は概ね操作対象物と一致していればよい。ここで代理身体１３の大きさが「人間」に切り替わった場合、代理身体１３の中心位置を操作対象物の操作位置（アームの先端や、ロボットのエンドエフェクタ等）に一致させることにより、より精度の高い操作を実現することができる。
このように、代理身体１３に操作対象物に対する複数の位置を持たせ、この複数の位置を動的に切り替えることにより、ユーザは、代理身体の大きさに応じて、代理身体１３を的確に位置付けることができる。

ある実施の形態では、代理身体１３の位置は、操作対象物の位置に応じて可変であってよい。一般にユーザが画面に表示された操作対象物を操作する場合、画面上の操作対象物に対して自分が適切でないところ位置すると違和感を覚える。例えば、操作対象物が壁際に位置するようなとき、ユーザは操作対象物と壁とに挟まれるような狭い場所からは操作しない。このような場合、操作対象物の位置に応じて、ユーザが操作しやすい位置に代理身体１３を位置づけることにより、ユーザにとって違和感のない操作が可能となる。

ある実施の形態では、代理身体１３は、操作対象物の画像１０に対してなされる操作とともに画像表示部上で運動してもよい。このとき代理身体１３の運動速度は、操作対象物の運動速度に応じて可変であってもよい。典型的には代理身体１３は、操作対象物が大きければ大きいほどゆっくり動くように描画され、操作対象物が小さければ小さいほど速く動くように描画される。前述と同様に画像表示部上で重機のアームを手で動かす操作をしたとき、ユーザはそのままでは、アームの運動速度に比べて自分の手の運動速度が速すぎると感じる。同様に、画像表示部上でマイクロマシンを手で動かす操作をしたとき、ユーザはそのままでは、マイクロマシンの運動速度に比べて自分の手の運動速度が遅すぎると感じる。これに対し、画像表示部上に描画された代理身体１３の手が、マイクロマシンの動きに対応して素早く動くようにすれば、ユーザは違和感なくマイクロマシンを操作することができる。

ある実施の形態では、代理身体１３は、操作対象物に対する位置や向きが可変であってもよい。例えば代理身体１３は、操作対象物の前、後、左、右、上または下に位置するように描画されてよい。この場合ユーザは、この操作対象物をそれぞれ前、後、左、右、上、下から操作するように感じる。例えばユーザが画像表示部上で重機のアームを手で動かす操作をするとき、重機の姿勢や運動方向に応じて、重機に対してどの位置からどの向きで操作すれば自然であるかが異なる。従って、重機に対する自分の位置や向きが固定的であると、操作が不自然だと感じられる場合がある。これに対し、重機に対する位置や向きが適当であるように代理身体１３が描画されれば、ユーザは違和感なく重機を操作することができる。

ある実施の形態では、大きさの異なる複数の操作対象物が存在し、ユーザがこれらを連続的に切り替えて操作するとき、代理身体１３はその大きさを連続的に変えてもよい。例えば、重機のような巨大な第１の操作対象物と、微細な電気配線を行うロボットのような小さな第２の操作対象物とがある場合を考える。ユーザは、第１の操作対象物を操作して自動車を持ち上げて移動した後、速やかに第２の操作対象物を操作して自動車のエンジンルーム内の電気配線作業を行うものとする。このとき、ユーザが第１の操作対象物を操作している間は代理身体１３は「巨人」であり、ユーザが第２の操作対象物の操作を開始すると代理身体１３は連続的に「小人」に変身する。これにより、大きさの異なる操作対象物を連続的に切り替えて操作するとき、ユーザはこれらの操作対象物の操作に最適なサイズの身体に連続的に乗り移ったかのように、自然に操作を行うことができる。

ある実施の形態では、操作対象物が複数の構成やパーツを有し、ユーザがこれらを連続的に切り替えて操作するとき、代理身体１３はその大きさを連続的に変えてもよい。例えば、サイズが大きく動作精度が粗い第１の腕と、サイズが小さく動作精度が精密な第２の腕とを持つロボットがある場合を考える。すなわちこのロボットは、大きさや動作精度が異なる２つのパーツを有する。ユーザは、このロボットの第１の腕を操作して精密機器を移動した後、速やかに第２の腕を操作してこの精密機器を修理するものとする。このとき、ユーザが第１の腕を操作している間は代理身体１３は「人間」であり、ユーザが第２の腕の操作を開始すると代理身体１３は連続的に「小人」に変身する。これにより、操作対象物が持つ大きさや動作精度が異なる複数のパーツを連続的に切り替えて操作するとき、ユーザはこれらのパーツの操作に最適なサイズの身体に連続的に乗り移ったかのように、自然に操作を行うことができる。

ある実施の形態では、画像表示部１１に表示される操作対象物の画像１０は、２つの異なる大きさの代理身体から見た操作対象物の画像成分を混合したものであってよい。例えば、大きな代理身体から見た大きな操作対象物の画像成分と、小さな代理身体から見た小さな操作対象物の画像成分とを混合したものであってよい。この実施の形態によれば、ユーザは、どちらの画像を見るかの意識を切り替えることによって、それぞれの画像を瞬時に切り替えて見ることができる。

以上述べたように、これらの実施の形態によれば、操作対象物の画像を画像表示部に表示することができる。このとき表示される画像は仮想身体から見た主観画像なので、ユーザはこれを違和感なく操作することができる。

［第２の実施の形態］
図２に、第２の実施の形態に係る画像インタフェース装置１の機能ブロック図を示す。画像インタフェース装置１は、ユーザ１２が操作する操作対象物１１０の画像１０を表示する画像表示部１１と、画像表示部１１にユーザ１２の仮想的な代理身体１３を描画する代理身体描画部１４と、操作対象物１１０に対するユーザ１２からの操作信号が入力される操作信号入力部１５と、を備える。操作対象物１１０の画像１０は、操作対象物１１０の近辺に設置されたカメラ１００によって撮影された画像である。すなわちこの実施の形態は、特に操作対象物１１０の画像がカメラ１００によって撮影された画像であるという点で、より一般的な第１の実施の形態と異なる。その他の構成と動作は、第１の実施の形態と共通である。

カメラ１００は、例えばビデオカメラである。カメラ１００は操作対象物１１０の近辺に配置される。カメラ１００が撮影した画像は、代理身体１３から見た景色とほぼ同じものである。この意味でカメラ１００は、代理身体１３と視点を共有する。カメラ１００は、撮影した画像を画像表示部１１に送信する。画像表示部１１は、カメラ１００から受信した画像を表示する。

この実施の形態によれば、現実の操作対象物を画像表示部に表示することができる。このとき表示される画像は仮想身体から見た主観画像なので、ユーザはこれを違和感なく操作することができる。

［第３の実施の形態］
図３に、第３の実施の形態に係る画像操作装置２の機能ブロック図を示す。画像操作装置２は、ユーザ１２が操作する操作対象物１１０の画像１０を表示する画像表示部１１と、画像表示部１１にユーザ１２の仮想的な代理身体１３を描画する代理身体描画部１４と、操作対象物１１０に対するユーザ１２からの操作信号が入力される操作信号入力部１５と、操作部２０と、を備える。すなわちこの実施の形態は、図１の画像インタフェース装置に操作部２０を追加したものである。

操作部２０は、ユーザ１２が操作することにより操作信号を生成する。操作部２０は、例えばユーザ１２の手に把持されるモーションコントローラである。これに限られず、操作部２０は、マウス、ジョイスティック、ゲームパッドなどの任意の好適なコントローラであってよい。

ユーザ１２は、画像表示部１１に表示された操作対象物の画像１０を見ながら、画像１０を操作するために、操作部２０を操作する。これにより操作部２０は、画像１０の動作を定める操作信号を生成する。操作部２０は、生成した操作信号を操作信号入力部１５に送信する。操作信号入力部１５は、操作信号を画像表示部１１に送信する。

操作対象物の画像１０は、カメラなどによって撮影された遠隔の操作対象物の画像であってもよいし、シミュレータやゲームなどの仮想的な画像であってもよい。

この実施の形態によれば、ユーザは、画像表示部に表示された操作対象物の画像を見ながら、この画像を画面上で違和感なく操作することができる。

［第４の実施の形態］
図４に、第４の実施の形態に係る操作対象物操作装置３の機能ブロック図を示す。操作対象物操作装置３は、ユーザ１２が操作する操作対象物１１０の画像１０を表示する画像表示部１１と、画像表示部１１にユーザ１２の仮想的な代理身体１３を描画する代理身体描画部１４と、操作対象物１１０に対するユーザ１２からの操作信号が入力される操作信号入力部１５と、操作部２０と、操作信号出力部３０と、を備える。すなわちこの実施の形態は、図３の画像操作装置２に操作信号出力部３０を追加したものである。

操作信号出力部３０は、ユーザ１２からの操作信号を画像表示部１１から受信する。
操作信号出力部３０は、この操作信号を操作対象物１１０に出力する。

ユーザ１２は、画像表示部１１に表示された操作対象物１１０の画像１０を見ながら、遠隔にある操作対象物１１０を操作するために、操作部２０を操作する。これにより操作部２０は、操作対象物１１０の動作を定める操作信号を生成する。操作部２０は、生成した操作信号を操作信号入力部１５に送信する。操作信号入力部１５は、操作信号を画像表示部１１に送信する。画像表示部１１は、操作信号を操作信号出力部３０に送信する。操作信号出力部３０は、操作信号を操作対象物１１０に出力する。

この実施の形態によれば、ユーザは、画像表示部に表示された操作対象物の画像を見ながら、操作対象物を遠隔から違和感なく操作することができる。

［第５の実施の形態］
図５に、第５の実施の形態に係る操作対象物操作システム４の機能ブロック図を示す。操作対象物操作システム４は、ユーザ１２が操作する操作対象物１１０の画像１０を表示する画像表示部１１と、画像表示部１１にユーザ１２の仮想的な代理身体１３を描画する代理身体描画部１４と、操作対象物１１０に対するユーザ１２からの操作信号が入力される操作信号入力部１５と、操作部２０と、操作信号出力部３０と、カメラ１００と、を備える。すなわちこの実施の形態は、図４の操作対象物操作装置３にカメラ１００を追加したものである。

カメラ１００は、例えばビデオカメラであり、操作対象物１１０の近辺に配置される。カメラ１００が撮影した画像は、代理身体１３から見た景色とほぼ同じものである。この意味でカメラ１００は、代理身体１３と視点を共有する。カメラ１００は、撮影した画像を画像表示部１１に送信する。画像表示部１１は、カメラ１００から受信した画像を表示する。

この実施の形態によれば、ユーザは、このシステムに備えられたカメラによって撮影された現実の操作対象物の画像を見ながら、操作対象物を遠隔から違和感なく操作することができる。

ある実施の形態では、カメラ１００は、位置を変えるための移動機構を備えてもよい。移動機構は、例えばモータで操作対象物１１０に対するカメラ１００の位置を移動する。これによりカメラ１００は、例えば前、後、左、右、上または下から操作対象物１１０を撮影することができる。従って代理身体１３から見た主観画像も、前、後、左、右、上または下から操作対象物１１０を見たものとなる。

ある実施の形態では、カメラ１００は、撮影方向を変えるための回転機構を備えてもよい。回転機構は、例えばモータでカメラ１００を所定の軸周りに回転させる。軸回りの回転は、例えばカメラのローリング、ピッチング、ヨーイングなどに相当する。これによりカメラ１００は、様々な角度から操作対象物１１０を撮影することができる。従って代理身体１３から見た主観画像も、様々な角度から操作対象物１１０を見たものとなる。

ある実施の形態では、カメラ１００の移動機構や回転機構は、ユーザの操作方向と反対方向にカメラを動かしてもよい。さらに画像表示部に表示される画像は、カメラ１００が撮影した画像の左右を反転させたものであってもよい。このときユーザは、画像表示部１１上で、代理身体から見た景色であって、実際とは左右が反転した景色を見る。さらにユーザは、自分のした操作の方向と反対方向に操作対象物を操作する。言い換えればユーザは、実際の世界とは左右の逆転した世界で操作対象物を操作しているかのような感覚を覚える。この実施の形態によれば、例えば右利きのユーザが、自分の身体感覚としては右手で右側からアプローチしたいが、操作対象物のおかれた環境によって左側からしかアプローチできないような場合、右手を使って違和感なく操作することができる。

ある実施の形態では、カメラ１００は、２つのカメラを備えたステレオカメラであってよい。この場合、カメラ１００が撮影した操作対象物１１０の画像は、ユーザにとって立体的で奥行き感のあるものとなる。

ある実施の形態では、ステレオカメラの眼間距離は、代理身体１３の大きさに応じて可変であってもよい。この場合、カメラ１００は、モータなどを用いて眼間距離を動的に調整するための眼間距離調整機構を備えてもよい。典型的にはステレオカメラの眼間距離は、代理身体１３が大きければ大きいほど長く調整され、代理身体１３が小さければ小さいほど短く調整される。この実施の形態では、ステレオカメラの眼間距離が代理身体１３の大きさに合わせて調整されるので、ユーザは、操作対象物１１０ごとにより自然な奥行き感を持つ画像を見ることができる。

ある実施の形態では、カメラ１００は、操作対象物１１０までの距離をリアルタイムに検知する深度カメラであってよい。この場合、カメラ１００が撮影した操作対象物１１０の画像は、ユーザにとってよりリアルな奥行き感と没入感が得られるものとなる。

ある実施の形態では、カメラ１００は、それぞれ異なる視野を撮影する複数のカメラを備えてよい。このとき、これら複数のカメラによって撮影された複数の視野の画像は、同時に表示されてもよいし、ユーザが切り替えて別々に表示されてもよい。この実施の形態では、ユーザは、代理身体１３の複数の視点から見た操作対象物１１０を見ることができる。

［第６の実施の形態］
図６は、第６の実施の形態に係る操作対象物提示方法の処理手順を示すフローチャートである。

ステップＳ１は、提示の目的となる操作対象物の大きさの情報を取得する処理である。大きさの情報は、カメラ等によりリアルタイムに取得したものであってもよいし、予めデータベース等に記憶されたデータから取得されたものであってもよい。操作対象物の大きさは任意であるが、例えば建設機械であれば数１０ｍ、マイクロマシンであれば数ｍｍである。操作対象物の大きさの情報が取得されると、処理はステップＳ２に移る。

ステップＳ２は、操作対象物の大きさに応じた代理身体を画像表示部に描画する処理である。この代理身体は、ユーザの身体を仮想的に代理するものである。これは、ユーザの身体に類似した具象的な画像であってもよいし、シルエット、線画、半透明画像といった抽象的な画像であってもよい。代理身体の大きさは、操作対象物の大きさに応じて可変である。典型的には代理身体は、操作対象物が大きければ大きいほど大きな身体として描画され、操作対象物が小さければ小さいほど小さな身体として描画される。例えば代理身体は、操作対象物の大きさと実質的に同じ大きさのものとして描画される。画像表示部に代理身体が描画されると、処理はステップＳ３に移る。

ステップＳ３は、操作対象物の画像を代理身体の主観画像として画像表示部に表示する処理である。すなわち操作対象物の画像は、画像表示部に描画された代理身体の目から見た画像として表示される。操作対象物の画像は、カメラなどによって撮影された遠隔の操作対象物の実画像であってもよいし、シミュレータやゲームなどの仮想的な画像であってもよい。

この実施の形態によれば、ユーザに対して操作対象物を提示することができる。このとき提示される画像は仮想身体から見た主観画像なので、ユーザはこれを違和感なく操作することができる。

［第７の実施の形態］
第７の実施の形態は、操作対象物提示プログラムである。このプログラムは、ユーザが操作する操作対象物の画像を画像表示部に表示するステップＳ１と、ユーザの仮想的な代理身体を画像表示部に描画するステップＳ２と、ユーザからの操作信号により操作対象物の画像を操作するステップＳ３と、をコンピュータに実行させる。各ステップの処理手順は前述の第６の実施形態で説明したものと共通するので、詳しい説明は省略する。

この実施の形態によれば、コンピュータを用いてユーザに対して操作対象物を提示することができる。このとき提示される画像は仮想身体から見た主観画像なので、ユーザはこれを違和感なく操作することができる。

（変形例）
以上、本発明を実施例を基に説明した。これらの実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

［変形例１］
実施の形態のカメラの移動機構や回転機構は、ヘッドマウントディスプレイを用いて操作されてもよい。このときヘッドマウントディスプレイは、カメラの移動機構や回転機構を操作するための信号を、移動機構や回転機構に送信する。この信号は、ユーザの頭部の動きに連動して、カメラの撮影位置や方向を動かすためのものである。
本変形例によれば、ユーザは、頭の動きによって操作対象物の撮影位置や方向を自在に操作することができる。

［変形例２］
実施の形態の操作対象物操作装置は、操作対象物の近辺にマイクロフォンを備えてもよい。マイクロフォンが集音した音は、代理身体が聞く音としてユーザに送信される。ユーザは、画像表示部に表示された画像を見るとともに、マイクロフォンが集音した音を聞きながら、操作対象物を操作する。
本変形例によれば、ユーザは、視点に加えて聴覚をも代理身体と共有することができる。
これによりユーザは、より自然な感覚で操作対象物を操作することができる。

各変形例は実施の形態と同様の作用・効果を奏する。

上述した各実施の形態と変形例の任意の組み合わせもまた本発明の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる各実施の形態および変形例それぞれの効果をあわせもつ。

本発明は、建設機械の遠隔操作、手術支援、人型ロボットの操縦、乗り物の操縦、シミュレータ、ゲームなど多岐にわたる。本発明による手法はこうした様々な用途に利用可能である。

１・・画像インタフェース装置
２・・画像操作装置
３・・操作対象物操作装置
４・・操作対象物操作システム
１０・・画像
１１・・画像表示部
１２・・ユーザ
１３・・代理身体
１４・・代理身体描画部
１５・・操作信号入力部
２０・・操作部
３０・・操作信号出力部
１００・・カメラ
１１０・・操作対象物
Ｓ１・・操作対象物の大きさの情報を取得するステップ
Ｓ２・・操作対象物の大きさに応じた代理身体を表示部に描画するステップ
Ｓ３・・操作対象物の画像を代理身体の主観画像として表示部に表示するステップ

Claims (19)

1. ユーザが操作する操作対象物の画像を表示する画像表示部と、
   前記画像表示部に前記ユーザの仮想的な代理身体を描画する代理身体描画部と、
   前記操作対象物に対する前記ユーザからの操作信号が入力される操作信号入力部と、を備え、
   前記代理身体の大きさは、前記操作対象物の大きさに応じて可変であり、
   前記画像表示部に表示される操作対象物の画像は、前記代理身体から見た主観画像であり、
   前記代理身体は複数の大きさを有し、前記複数の大きさは前記操作対象物に対して動的に切替可能であり、
   前記代理身体は前記操作対象物に対する複数の位置を有し、前記複数の位置は動的に切替可能であることを特徴とする画像インタフェース装置。
2. 前記代理身体の位置は、前記操作対象物の位置に応じて可変であることを特徴とする請求項１に記載の画像インタフェース装置。
3. 前記代理身体は、前記操作対象物の画像に対してなされる操作とともに画像表示部上で運動し、
   前記代理身体の画像表示部上での運動速度は、前記操作対象物の運動速度に応じて可変であることを特徴とする請求項１または２に記載の画像インタフェース装置。
4. 前記代理身体は、前記操作対象物に対する位置または向きが可変であることを特徴とする請求項１から３のいずれかに記載の画像インタフェース装置。
5. 前記操作対象物は大きさの異なる複数の操作対象物を含み、
   前記複数の操作対象物が連続的に切り替えて操作されるとき、前記代理身体の大きさは連続的に可変であることを特徴とする請求項１から４のいずれかに記載の画像インタフェース装置。
6. 前記代理身体は、２つの異なる大きさの代理身体を含み、
   前記画像表示部に表示される操作対象物の画像は、前記２つの異なる大きさの代理身体から見た操作対象物の画像成分を混合したものであることを特徴とする請求項１から５のいずれかに記載の画像インタフェース装置。
7. 前記操作対象物の画像は、前記操作対象物の近辺に設置されたカメラによって撮影された画像であることを特徴とする請求項１から６のいずれかに記載の画像インタフェース装置。
8. ユーザが操作する操作対象物の画像を表示する画像表示部と、
   前記画像表示部に前記ユーザの仮想的な代理身体を描画する代理身体描画部と、
   前記操作対象物に対する前記ユーザからの操作信号が入力される操作信号入力部と、
   前記ユーザが操作することにより操作信号を生成する操作部と、を備え、
   前記代理身体の大きさは、前記操作対象物の大きさに応じて可変であり、
   前記画像表示部に表示される操作対象物の画像は、前記代理身体から見た主観画像であり、
   前記代理身体は複数の大きさを有し、前記複数の大きさは前記操作対象物に対して動的に切替可能であり、
   前記代理身体は前記操作対象物に対する複数の位置を有し、前記複数の位置は動的に切替可能であることを特徴とする画像操作装置。
9. ユーザが操作する操作対象物の画像を表示する画像表示部と、
   前記画像表示部に前記ユーザの仮想的な代理身体を描画する代理身体描画部と、
   前記操作対象物に対する前記ユーザからの操作信号が入力される操作信号入力部と、
   前記ユーザが操作することにより操作信号を生成する操作部と、
   前記ユーザの操作信号を前記操作対象物に出力する操作信号出力部と、を備え、
   前記代理身体の大きさは、前記操作対象物の大きさに応じて可変であり、
   前記画像表示部に表示される操作対象物の画像は、前記代理身体から見た主観画像であり、
   前記代理身体は複数の大きさを有し、前記複数の大きさは前記操作対象物に対して動的に切替可能であり、
   前記代理身体は前記操作対象物に対する複数の位置を有し、前記複数の位置は動的に切替可能であることを特徴とする対象物操作装置。
10. ユーザが操作する操作対象物の画像を表示する画像表示部と、
    前記画像表示部に前記ユーザの仮想的な代理身体を描画する代理身体描画部と、
    前記操作対象物に対する前記ユーザからの操作信号が入力される操作信号入力部と、
    前記ユーザが操作することにより操作信号を生成する操作部と、
    前記ユーザの操作信号を前記操作対象物に出力する操作信号出力部と、
    前記操作対象物を撮影するカメラと、を備え、
    前記代理身体の大きさは、前記操作対象物の大きさに応じて可変であり、
    前記画像表示部に表示される操作対象物の画像は、前記代理身体から見た主観画像であり、
    前記代理身体は複数の大きさを有し、前記複数の大きさは前記操作対象物に対して動的に切替可能であり、
    前記代理身体は前記操作対象物に対する複数の位置を有し、前記複数の位置は動的に切替可能であることを特徴とする対象物操作システム。
11. 前記カメラは、位置を変えるための移動機構を備えることを特徴とする請求項１０に記載の対象物操作システム。
12. 前記カメラは、撮影方向を変えるための回転機構を備えることを特徴とする請求項１１に記載の対象物操作システム。
13. 前記移動機構と前記回転機構は、ユーザの操作方向と反対方向にカメラを動かし、
    画像表示部に表示される画像は、前記カメラが撮影した画像の左右を反転させたものであることを特徴とする請求項１２に記載の対象物操作システム。
14. 前記カメラは、２つのカメラを備えたステレオカメラであることを特徴とする請求項１０から１３のいずれかに記載の対象物操作システム。
15. 前記ステレオカメラの眼間距離は、前記代理身体の大きさに応じて可変であることを特徴とする請求項１４に記載の対象物操作システム。
16. 前記カメラは、前記操作対象物までの距離をリアルタイムに検知する深度カメラであることを特徴とする請求項１０に記載の対象物操作システム。
17. 前記カメラは、それぞれ異なる視野を撮影する複数のカメラを備えることを特徴とする請求項１０に記載の対象物操作システム。
18. 操作対象物の大きさの情報を取得するステップと、
    操作対象物の大きさに応じた代理身体を画像表示部に描画するステップと、
    操作対象物の画像を前記代理身体の主観画像として画像表示部に表示するステップと、を備え、
    前記代理身体の大きさは前記操作対象物の大きさに応じて可変であり、
    前記操作対象物の画像は、前記代理身体から見た主観画像であり、
    前記代理身体は複数の大きさを有し、前記複数の大きさは前記操作対象物に対して動的に切替可能であり、
    前記代理身体は前記操作対象物に対する複数の位置を有し、前記複数の位置は動的に切替可能であることを特徴とする操作対象物提示方法。
19. 操作対象物の大きさの情報を取得するステップと、
    操作対象物の大きさに応じた代理身体を画像表示部に描画するステップと、
    操作対象物の画像を前記代理身体の主観画像として画像表示部に表示するステップと、をコンピュータに実行させ、
    前記代理身体の大きさは前記操作対象物の大きさに応じて可変であり、
    前記操作対象物の画像は前記代理身体から見た主観画像であり、
    前記代理身体は複数の大きさを有し、前記複数の大きさは前記操作対象物に対して動的に切替可能であり、
    前記代理身体は前記操作対象物に対する複数の位置を有し、前記複数の位置は動的に切替可能であることを特徴とする操作対象物提示プログラム。

Images