JP7109699B1

JP7109699B1 - 遠隔操作システム

Info

Publication number: JP7109699B1
Application number: JP2022508872A
Authority: JP
Inventors: 正樹春名
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2021-07-07
Filing date: 2021-07-07
Publication date: 2022-07-29
Anticipated expiration: 2041-07-07
Also published as: CN117580689A; JPWO2023281648A1; WO2023281648A1; EP4368351A1

Abstract

遠隔操作システム（１）は、ターゲット（４０００）に接触するエッジ機器（２０００）と、エッジ機器（２０００）を操作するためのオペレータ操作（１０００ａ）を受け付けて運動伝達情報（１２００ａ）をエッジ機器（２０００）に出力する運動操作伝達装置（１２００）と、ターゲット（４０００）及びエッジ機器（２０００）の映像を表示する視覚提示装置（１１００）とを有する。エッジ機器（２０００）は、ターゲット（４０００）に対する力触覚を検知する力触覚検知装置（２３００）と、力触覚検知装置（２３００）によって検知された力触覚を光の強度を特定する光強度信号（２７００ａ）に変換する力触覚光変換器（２７００）と、光強度信号（２７００ａ）に対応する強度の光を発する光強度制御式発光器（２６００）とを有する。

Description

本開示は、エッジ機器から離れた場所にいる人がエッジ機器を操作するための遠隔操作システムに関する。

特許文献１は、多関節ロボットを遠隔操作するための操作者の指の動きを検出する動き検出装置を開示している。従来、オペレータがバイワイヤでエッジ機器を操作する遠隔操作システムが知られている。従来の遠隔操作システムは、エッジ機器の活動環境における力触覚情報をオペレータに伝達することでオペレータの操作性及び臨場感の向上に寄与する。

国際公開第２０１９／２２４９９４号

従来の遠隔操作システムは、エッジ機器の力触覚情報を物理的な力でオペレータにフィードバックする。そのため、従来の遠隔操作システムには、オペレータの操作インターフェースに駆動部が必要であり、操作装置が大型化及び複雑化するという課題がある。

本開示は、上記に鑑みてなされたものであって、操作装置が大型化及び複雑化することを回避する遠隔操作システムを得ることを目的とする。

上述した課題を解決し、目的を達成するために、本開示に係る遠隔操作システムは、ターゲットに接触するエッジ機器と、エッジ機器を操作するためのオペレータ操作を受け付けてオペレータ操作に対応する運動伝達情報をエッジ機器に出力する運動操作伝達装置と、ターゲット及びエッジ機器の映像を表示する視覚表示装置と、を有する。エッジ機器は、ターゲットに対する力触覚を検知する力触覚検知装置と、力触覚検知装置によって検知された力触覚を検知された力触覚の大きさに対応する光の強度を特定する信号に変換する力触覚光変換器と、力触覚光変換器によって得られた信号に対応する強度の光を発する光強度制御式発光器と、を有する。

本開示に係る遠隔操作システムは、操作装置が大型化及び複雑化することを回避することができるという効果を奏する。

実施の形態１に係る遠隔操作システムの構成を示す図実施の形態１におけるオペレータ、視覚提示装置及び運動操作伝達装置を示す図実施の形態１におけるエッジ機器、撮像装置及びターゲットを示す斜視図実施の形態１に係る遠隔操作システムのエッジ機器が有するエンドエフェクタがターゲットに接触していない状態で視覚提示装置に提供される撮像情報を示す図実施の形態１に係る遠隔操作システムのエッジ機器が有するエンドエフェクタがターゲットに接触している状態で視覚提示装置に提供される撮像情報を示す図実施の形態３に係る遠隔操作システムの構成を示す図実施の形態３に係る遠隔操作システムが有する視覚ベース感覚伝達装置の機能を示す図実施の形態３に係る遠隔操作システムのエッジ機器が有するエンドエフェクタがターゲットに接触していない状態での撮像装置の出力である撮像情報を示す図実施の形態３に係る遠隔操作システムのエッジ機器が有するエンドエフェクタがターゲットに接触している状態での撮像装置の出力である撮像情報を示す図実施の形態３に係る遠隔操作システムのエッジ機器が有するエンドエフェクタがターゲットに接触している状態での視覚ベース感覚伝達装置の出力である視覚ベース感覚伝達映像を示す図実施の形態５に係る遠隔操作システムが有する視覚ベース感覚伝達装置の機能を示す図実施の形態５に係る遠隔操作システムのエッジ機器が有するエンドエフェクタがターゲットに接触していない状態での撮像装置の出力である撮像情報を示す図実施の形態５に係る遠隔操作システムのエッジ機器が有するエンドエフェクタがターゲットに接触していない状態での視覚ベース感覚伝達装置の出力である視覚ベース感覚伝達映像を示す図実施の形態６に係る遠隔操作システムが有する視覚ベース感覚伝達装置の機能を示す図実施の形態６に係る遠隔操作システムのエッジ機器及び撮像装置と、エッジ機器の活動環境であるターゲットとを示す斜視図実施の形態６に係る遠隔操作システムのエッジ機器が有するエンドエフェクタがターゲットに接触しておらず、かつエンドエフェクタがターゲットで遮蔽されていない状態での撮像装置の出力である撮像情報を示す図実施の形態６に係る遠隔操作システムのエッジ機器が有するエンドエフェクタがターゲットに接触しておらず、かつエンドエフェクタがターゲットで遮蔽されていない状態での視覚ベース感覚伝達装置の出力である視覚ベース感覚伝達映像を示す図実施の形態６に係る遠隔操作システムのエッジ機器が有するエンドエフェクタがターゲットに接触しておらず、かつエンドエフェクタがターゲットで遮蔽されている状態での撮像装置の出力である撮像情報を示す図実施の形態６に係る遠隔操作システムのエッジ機器が有するエンドエフェクタがターゲットに接触しておらず、かつエンドエフェクタがターゲットで遮蔽されている状態での視覚ベース感覚伝達装置の出力である視覚ベース感覚伝達映像を示す図実施の形態６に係る遠隔操作システムのエッジ機器が有するエンドエフェクタがターゲットに接触していて、かつエンドエフェクタがターゲットで遮蔽されている状態での撮像装置の出力である撮像情報を示す図実施の形態６に係る遠隔操作システムのエッジ機器が有するエンドエフェクタがターゲットに接触していて、かつエンドエフェクタがターゲットで遮蔽されている状態での視覚ベース感覚伝達装置の出力である視覚ベース感覚伝達映像を示す図実施の形態７に係る遠隔操作システムが有する視覚ベース感覚伝達装置の機能を示す図実施の形態８に係る遠隔操作システムが有する視覚ベース感覚伝達装置の機能を示す図実施の形態９に係る遠隔操作システムの構成を示す図実施の形態９に係る遠隔操作システムのエッジ機器が有するエンドエフェクタがターゲットに接触していない状態での撮像装置の出力である撮像情報を示す図実施の形態９に係る遠隔操作システムのエッジ機器が有するエンドエフェクタがターゲットに接触していない状態での撮像装置の出力である撮像情報を示す図実施の形態９に係る遠隔操作システムのエッジ機器が有するエンドエフェクタがターゲットに接触していない状態での撮像装置の出力である撮像情報を示す図実施の形態９に係る遠隔操作システムのエッジ機器が有するエンドエフェクタがターゲットに接触していない状態での視覚ベース感覚伝達装置の出力である視覚ベース感覚伝達映像を示す図実施の形態９に係る遠隔操作システムのエッジ機器が有するエンドエフェクタがターゲットに接触していない状態での視覚ベース感覚伝達装置の出力である視覚ベース感覚伝達映像を示す図実施の形態９に係る遠隔操作システムのエッジ機器が有するエンドエフェクタがターゲットに接触していない状態での視覚ベース感覚伝達装置の出力である視覚ベース感覚伝達映像を示す図実施の形態９に係る遠隔操作システムのエッジ機器が有するエンドエフェクタがターゲットに接触している状態での視覚ベース感覚伝達装置の出力である視覚ベース感覚伝達映像を示す図実施の形態９に係る遠隔操作システムのエッジ機器が有するエンドエフェクタがターゲットに接触している状態での視覚ベース感覚伝達装置の出力である視覚ベース感覚伝達映像を示す図実施の形態９に係る遠隔操作システムのエッジ機器が有するエンドエフェクタがターゲットに接触している状態での視覚ベース感覚伝達装置の出力である視覚ベース感覚伝達映像を示す図実施の形態１０に係る遠隔操作システムの構成を示す図実施の形態１０に係る遠隔操作システムのエッジ機器が有するツールがターゲットに接触していない状態での撮像装置の出力である撮像情報を示す図実施の形態１０に係る遠隔操作システムのエッジ機器が有するツールがターゲットに接触している状態で視覚提示装置に提供される撮像情報を示す図実施の形態１１に係る遠隔操作システムの構成を示す図実施の形態１１に係る遠隔操作システムのエッジ機器が有するツールがターゲットに接触していない状態での撮像装置の出力である撮像情報を示す図実施の形態１１に係る遠隔操作システムのエッジ機器が有するツールがターゲットに接触している状態での撮像装置の出力である撮像情報を示す図実施の形態１１に係る遠隔操作システムのエッジ機器が有するツールがターゲットに接触していない状態での視覚ベース感覚伝達装置の出力である視覚ベース感覚伝達映像を示す図実施の形態１１に係る遠隔操作システムのエッジ機器が有するツールがターゲットに接触している状態での視覚ベース感覚伝達装置の出力である視覚ベース感覚伝達映像を示す図実施の形態１２に係る遠隔操作システムの構成を示す図実施の形態１２に係る遠隔操作システムのエッジ機器が有するツールがターゲットに接触していない状態での撮像装置の出力である撮像情報を示す図実施の形態１２に係る遠隔操作システムのエッジ機器が有するツールがターゲットに接触していない状態での撮像装置の出力である撮像情報を示す図実施の形態１２に係る遠隔操作システムのエッジ機器が有するツールがターゲットに接触していない状態での撮像装置の出力である撮像情報を示す図実施の形態１２に係る遠隔操作システムのエッジ機器が有するツールがターゲットに接触していない状態での視覚ベース感覚伝達装置の出力である視覚ベース感覚伝達映像を示す図実施の形態１２に係る遠隔操作システムのエッジ機器が有するツールがターゲットに接触していない状態での視覚ベース感覚伝達装置の出力である視覚ベース感覚伝達映像を示す図実施の形態１２に係る遠隔操作システムのエッジ機器が有するツールがターゲットに接触していない状態での視覚ベース感覚伝達装置の出力である視覚ベース感覚伝達映像を示す図実施の形態１２に係る遠隔操作システムのエッジ機器が有するツールがターゲットに接触している状態での視覚ベース感覚伝達装置の出力である視覚ベース感覚伝達映像を示す図実施の形態１２に係る遠隔操作システムのエッジ機器が有するツールがターゲットに接触している状態での視覚ベース感覚伝達装置の出力である視覚ベース感覚伝達映像を示す図実施の形態１２に係る遠隔操作システムのエッジ機器が有するツールがターゲットに接触している状態での視覚ベース感覚伝達装置の出力である視覚ベース感覚伝達映像を示す図実施の形態１３に係る遠隔操作システムの構成を示す図実施の形態１３に係る遠隔操作システムが有する視覚ベース感覚伝達装置の機能を示す図実施の形態１３に係る遠隔操作システムのエッジ機器が有するツールがターゲットに接触している状態での撮像装置の出力である撮像情報を示す図実施の形態１３に係る遠隔操作システムのエッジ機器が有するツールがターゲットに接触している状態での視覚ベース感覚伝達装置の出力である視覚ベース感覚伝達映像を示す図実施の形態１４に係る遠隔操作システムのエッジ機器が有するエンドエフェクタがターゲットに接触している状態での撮像装置の出力である撮像情報を示す図実施の形態１４に係る遠隔操作システムのエッジ機器が有するエンドエフェクタがターゲットに接触している状態での視覚ベース感覚伝達装置の出力である視覚ベース感覚伝達映像を示す図実施の形態１５に係る遠隔操作システムのエッジ機器が有するツールがターゲットに接触している状態での撮像装置の出力である撮像情報を示す図実施の形態１５に係る遠隔操作システムのエッジ機器が有するツールがターゲットに接触している状態での視覚ベース感覚伝達装置の出力である視覚ベース感覚伝達映像を示す図実施の形態１に係る遠隔操作システムが有する複数の構成要素のうちの一部がプロセッサによって実現される場合のプロセッサを示す図実施の形態１に係る遠隔操作システムが有する複数の構成要素のうちの一部が処理回路によって実現される場合の処理回路を示す図

以下に、実施の形態に係る遠隔操作システムを図面に基づいて詳細に説明する。

実施の形態１．
図１は、実施の形態１に係る遠隔操作システム１の構成を示す図である。遠隔操作システム１は、オペレータ１０００の運動操作であるオペレータ操作１０００ａを入力とする運動操作伝達装置１２００を有する。図１には、オペレータ１０００も示されている。運動操作伝達装置１２００は、オペレータ操作１０００ａに対応する運動伝達情報１２００ａを出力する。

遠隔操作システム１は、ターゲット４０００に接触するエッジ機器２０００を更に有する。オペレータ操作１０００ａは、エッジ機器２０００を操作するための指示である。図１には、ターゲット４０００も示されている。運動操作伝達装置１２００は、エッジ機器２０００を操作するためのオペレータ操作１０００ａを受け付けてオペレータ操作１０００ａに対応する運動伝達情報１２００ａをエッジ機器２０００に出力する。エッジ機器２０００は、運動操作伝達装置１２００から出力される運動伝達情報１２００ａで操作される。ターゲット４０００は、エッジ機器２０００が動作した場合にエッジ機器２０００との間で相互作用４０００ａを及ぼし合う。ターゲット４０００は、エッジ機器２０００の活動環境である。

遠隔操作システム１は、ターゲット４０００とエッジ機器２０００とを撮像する撮像装置３０００を更に有する。撮像装置３０００は、撮像の結果を示す撮像情報３０００ａを出力する。遠隔操作システム１は、撮像装置３０００から出力される撮像情報３０００ａを入力とし、撮像情報３０００ａに対応する映像情報１１００ａをオペレータ１０００に提供する視覚提示装置１１００を更に有する。つまり、視覚提示装置１１００は、ターゲット４０００及びエッジ機器２０００の映像を表示する。

エッジ機器２０００は、ターゲット４０００とのインタラクションを目的とするエンドエフェクタ２１００と、エンドエフェクタ２１００に取り付けられていてターゲット４０００に対する力触覚を検知する力触覚検知装置２３００とを有する。力触覚検知装置２３００は、検知した力触覚を示す力触覚情報２３００ａを出力する。

エッジ機器２０００は、力触覚検知装置２３００から出力される力触覚情報２３００ａを光強度信号２７００ａに変換する力触覚光変換器２７００を更に有する。力触覚光変換器２７００は、力触覚検知装置２３００によって検知された力触覚を検知された力触覚の大きさに対応する光の強度を特定する信号である光強度信号２７００ａに変換する。エッジ機器２０００は、エンドエフェクタ２１００に取り付けられていて力触覚光変換器２７００によって得られた光強度信号２７００ａに対応する強度の光を発する光強度制御式発光器２６００を更に有する。光強度制御式発光器２６００が発する光の強度は、光強度信号２７００ａによって制御される。

図２は、実施の形態１におけるオペレータ１０００、視覚提示装置１１００及び運動操作伝達装置１２００を示す図である。図３は、実施の形態１におけるエッジ機器２０００、撮像装置３０００及びターゲット４０００を示す斜視図である。

図４は、実施の形態１に係る遠隔操作システム１のエッジ機器２０００が有するエンドエフェクタ２１００がターゲット４０００に接触していない状態で視覚提示装置１１００に提供される撮像情報３０００ａを示す図である。光強度制御式発光器２６００は、点灯していない。

図５は、実施の形態１に係る遠隔操作システム１のエッジ機器２０００が有するエンドエフェクタ２１００がターゲット４０００に接触している状態で視覚提示装置１１００に提供される撮像情報３０００ａを示す図である。力触覚検知装置２３００が検知する接触の状態に対応して、光強度制御式発光器２６００は点灯している。遠隔操作システム１は、力触覚検知装置２３００と並列して配置される温度センサを更に有してもよい。遠隔操作システム１は、力触覚検知装置２３００の代わりに温度センサを有してもよい。

エンドエフェクタ２１００に取付けられている力触覚検知装置２３００がターゲット４０００と接触して力触覚を検知すると、力触覚検知装置２３００によって検知された力触覚の大きさに比例した電流がエンドエフェクタ２１００に取付けられている光強度制御式発光器２６００に供給される。電流が供給されることにより、光強度制御式発光器２６００は点灯する。

撮像装置３０００は、エンドエフェクタ２１００とターゲット４０００とを撮像し、撮像の結果を示す撮像情報３０００ａを視覚提示装置１１００に提供する。視覚提示装置１１００は、撮像情報３０００ａに対応する映像情報１１００ａを表示する。オペレータ１０００は、視覚提示装置１１００によって表示された映像情報１１００ａをもとにエンドエフェクタ２１００とターゲット４０００との接触を認識し、運動操作伝達装置１２００を操作する。

実施の形態１によれば、オペレータ１０００の操作インターフェースに駆動部が必要ないため、操作装置の大型化及び複雑化を回避することができる。力触覚情報２３００ａが映像で提示されるオペレータ１０００は、エッジ機器２０００に発生する力触覚が提示される映像と矛盾しないように力触覚を脳内で認知するため、違和感を覚えない操作を行うことができる。オペレータ１０００は、視覚提示装置１１００のコンタクトポイント領域を注視することで力触覚情報２３００ａを得ることができるため、集中した作業を行うことが可能である。

実施の形態１に係る遠隔操作システム１により、オペレータ１０００は、エンドエフェクタ２１００のターゲット４０００との相互作用４０００ａを視覚情報から検知することが可能となる。遠隔操作システム１が力触覚情報２３００ａを視覚的にオペレータ１０００に伝達することができるため、オペレータ１０００の操作インターフェースに駆動部は必要ない。そのため、遠隔操作システム１は、操作装置の大型化及び複雑化を回避することができる。オペレータ１０００は、視覚提示装置１１００に集中することで違和感を覚えない力触覚情報２３００ａを得ることができるため、比較的高い操作性を得ることができる。温度センサが配置された場合、オペレータ１０００は違和感を覚えない温度情報を得ることができる。

実施の形態２．
実施の形態２に係る遠隔操作システムの構成は、実施の形態１に係る遠隔操作システム１の構成と同じである。しかしながら、実施の形態２と実施の形態１とでは、光強度制御式発光器２６００の機能が異なる。実施の形態２では、光強度制御式発光器２６００は、光の強度を変えて発光するのではなく、力触覚検知装置２３００のターゲット４０００との接触の状態を色相及び点灯周波数の変化で表現して発光する。

実施の形態２に係る遠隔操作システムは、実施の形態１の機能と異なる機能を有する光強度制御式発光器２６００を有するので、力触覚検知装置２３００のターゲット４０００との接触の状態として温度及び触感の一方又は双方をオペレータ１０００に伝達することができる。

実施の形態３．
図６は、実施の形態３に係る遠隔操作システム３の構成を示す図である。遠隔操作システム３は、オペレータ１０００の運動操作であるオペレータ操作１０００ａを入力とする運動操作伝達装置１２００を有する。図６には、オペレータ１０００も示されている。運動操作伝達装置１２００は、オペレータ操作１０００ａに対応する運動伝達情報１２００ａを出力する。

遠隔操作システム３は、ターゲット４０００に接触するエッジ機器２０００を更に有する。オペレータ操作１０００ａは、エッジ機器２０００を操作するための指示である。図６には、ターゲット４０００も示されている。運動操作伝達装置１２００は、エッジ機器２０００を操作するためのオペレータ操作１０００ａを受け付けてオペレータ操作１０００ａに対応する運動伝達情報１２００ａをエッジ機器２０００に出力する。エッジ機器２０００は、運動操作伝達装置１２００から出力される運動伝達情報１２００ａで操作される。ターゲット４０００は、エッジ機器２０００が動作した場合にエッジ機器２０００との間で相互作用４０００ａを及ぼし合う。

遠隔操作システム３は、エッジ機器２０００とターゲット４０００とを撮像する撮像装置３０００を更に有する。撮像装置３０００は、撮像の結果を示す撮像情報３０００ａを出力する。遠隔操作システム３は、撮像装置３０００から出力される撮像情報３０００ａとエッジ機器２０００から出力されるマーカ情報３３００ａとエッジ機器２０００から出力される力触覚情報２３００ａとを入力として視覚ベース感覚伝達映像３２００ａを生成する視覚ベース感覚伝達装置３２００を更に有する。遠隔操作システム３は、視覚ベース感覚伝達映像３２００ａを入力とし、視覚ベース感覚伝達映像３２００ａに対応する映像情報１１００ａをオペレータ１０００に提供する視覚提示装置１１００を更に有する。マーカ情報３３００ａとは、例えばパッシブマーカ２５００を撮像情報３０００ａから画像抽出可能な色、形状、特徴点のいずれか、あるいは、２つ以上を組み合わせた情報である。パッシブマーカ２５００が赤色の円形である場合には、マーカ情報３３００ａは、赤色という色の情報と円形という形状の情報との組み合わせになる。

エッジ機器２０００は、ターゲット４０００とのインタラクションを目的とするエンドエフェクタ２１００と、エンドエフェクタ２１００に取り付けられていてターゲット４０００に対する力触覚を検知する力触覚検知装置２３００とを有する。力触覚検知装置２３００は、検知した力触覚を示す力触覚情報２３００ａを出力する。エッジ機器２０００は、撮像装置３０００で空間同定が可能なマーカを有するパッシブマーカ２５００を更に有する。パッシブマーカ２５００は、撮像装置３０００で撮像される撮像情報３０００ａから抽出が可能な、ＡＲ（Augmented Reality）マーカ、又は、特徴点を有する部材である。パッシブマーカ２５００は、マーカ情報３３００ａを出力する。

図７は、実施の形態３に係る遠隔操作システム３が有する視覚ベース感覚伝達装置３２００の機能を示す図である。視覚ベース感覚伝達装置３２００は、マーカ情報３３００ａを利用してパッシブマーカ２５００の位置を撮像情報３０００ａをもとに同定してマーカポイント同定情報３２５１ａを生成するマーカポイント同定機能３２５１を有する。視覚ベース感覚伝達装置３２００は、力触覚情報２３００ａをもとに視覚的力触覚映像情報３２５０ａを生成する視覚的力触覚映像生成機能３２５０を更に有する。視覚的力触覚映像生成機能３２５０は、力触覚検知装置２３００によって検知された力触覚を示す力触覚情報２３００ａに対応する映像を示す視覚的力触覚映像情報３２５０ａを生成する機能である。

視覚ベース感覚伝達装置３２００は、視覚的力触覚映像情報３２５０ａとマーカポイント同定情報３２５１ａとをもとに視覚ベース感覚伝達映像３２００ａを生成する重畳機能３２５２を更に有する。重畳機能３２５２は、マーカポイント同定機能３２５１によって得られたマーカポイント同定情報３２５１ａと、視覚的力触覚映像生成機能３２５０によって得られた視覚的力触覚映像情報３２５０ａと、撮像装置３０００によって得られた撮像情報３０００ａとを重畳する機能である。

図８は、実施の形態３に係る遠隔操作システム３のエッジ機器２０００が有するエンドエフェクタ２１００がターゲット４０００に接触していない状態での撮像装置３０００の出力である撮像情報３０００ａを示す図である。パッシブマーカ２５００が、マーカポイント同定情報３２５１ａとして検出されている。

図９は、実施の形態３に係る遠隔操作システム３のエッジ機器２０００が有するエンドエフェクタ２１００がターゲット４０００に接触している状態での撮像装置３０００の出力である撮像情報３０００ａを示す図である。パッシブマーカ２５００がマーカポイント同定情報３２５１ａとして検出されており、力触覚検知装置２３００が力触覚を検知している。

図１０は、実施の形態３に係る遠隔操作システム３のエッジ機器２０００が有するエンドエフェクタ２１００がターゲット４０００に接触している状態での視覚ベース感覚伝達装置３２００の出力である視覚ベース感覚伝達映像３２００ａを示す図である。図９でパッシブマーカ２５００がマーカポイント同定情報３２５１ａとして検出された位置に、力触覚情報２３００ａを映像で表現した重畳映像３２０１が表示されている。遠隔操作システム３は、力触覚検知装置２３００と並列に配列される温度センサを更に有してもよい。遠隔操作システム３は、力触覚検知装置２３００の代わりに温度センサを有してもよい。

なお、パッシブマーカ２５００は取り付けられなくてもよい。その場合、遠隔操作システム３は、エンドエフェクタ２１００の指先の形状を認識し、指先に重畳映像３２０１を表示してもよい。

実施の形態３に係る遠隔操作システム３により、オペレータ１０００は、エンドエフェクタ２１００のターゲット４０００との相互作用４０００ａを視覚情報から検知することが可能となる。遠隔操作システム３は、操作装置の大型化及び複雑化を回避することができる。オペレータ１０００は、視覚提示装置１１００に集中することで違和感を覚えない力触覚情報２３００ａを得ることができるため、比較的高い操作性を得ることができる。温度センサが配置された場合、オペレータ１０００は違和感を覚えない温度情報を得ることができる。遠隔操作システム３は、設計者が意図した視覚的力触覚映像をコンタクトポイントに重畳することができるので、オペレータ１０００又はシーンに合わせた映像を提供することができる。

実施の形態４．
実施の形態４に係る遠隔操作システムの構成は、実施の形態３に係る遠隔操作システム３の構成と同じである。しかしながら、実施の形態４と実施の形態３とでは、重畳映像３２０１が異なる。実施の形態３では、重畳映像３２０１は点灯映像の強度を示す。実施の形態４では、重畳映像３２０１は、点灯映像の強度を示すのではなく、力触覚検知装置２３００のターゲット４０００との接触の状態を色相及び点灯周波数の変化で表現する。

実施の形態４に係る遠隔操作システムは、ターゲット４０００との接触の状態として温度及び触感の一方又は双方をオペレータ１０００に伝達することができる。

実施の形態５．
実施の形態５に係る遠隔操作システムの構成は、実施の形態３に係る遠隔操作システム３の構成と同じである。しかしながら、実施の形態５の視覚ベース感覚伝達装置３２００が有する機能は、実施の形態３の視覚ベース感覚伝達装置３２００が有する機能と異なる。実施の形態５では、実施の形態３との相違点を主に説明する。

図１１は、実施の形態５に係る遠隔操作システムが有する視覚ベース感覚伝達装置３２００の機能を示す図である。視覚ベース感覚伝達装置３２００は、マーカ情報３３００ａを利用してパッシブマーカ２５００の位置を撮像情報３０００ａをもとに同定してマーカポイント同定情報３２５１ａを生成するマーカポイント同定機能３２５１を有する。視覚ベース感覚伝達装置３２００は、力触覚情報２３００ａをもとに視覚的力触覚映像情報３２５０ａを生成する視覚的力触覚映像生成機能３２５０を更に有する。

視覚ベース感覚伝達装置３２００は、検出されたパッシブマーカ２５００をフィルタリングするためのマーカフィルタ情報３２５３ａを生成するマーカフィルタ機能３２５３を更に有する。視覚ベース感覚伝達装置３２００は、視覚的力触覚映像情報３２５０ａとマーカポイント同定情報３２５１ａとマーカフィルタ情報３２５３ａとをもとに視覚ベース感覚伝達映像３２００ａを生成する重畳機能３２５２を更に有する。

エンドエフェクタ２１００の指先に力触覚検知センサ又はマーカがつくと、指先における視覚的な認知についての負荷が高くなる。実施の形態５に係る遠隔操作システムは、視覚的な負荷を低減するためにフィルタリングを行う。実施の形態５に係る遠隔操作システムは、条件によってはパッシブマーカ２５００を表示しない。

図１２は、実施の形態５に係る遠隔操作システムのエッジ機器２０００が有するエンドエフェクタ２１００がターゲット４０００に接触していない状態での撮像装置３０００の出力である撮像情報３０００ａを示す図である。パッシブマーカ２５００が、マーカポイント同定情報３２５１ａとして検出されている。

図１３は、実施の形態５に係る遠隔操作システムのエッジ機器２０００が有するエンドエフェクタ２１００がターゲット４０００に接触していない状態での視覚ベース感覚伝達装置３２００の出力である視覚ベース感覚伝達映像３２００ａを示す図である。視覚ベース感覚伝達映像３２００ａには、パッシブマーカ２５００がマーカポイント同定情報３２５１ａとして検出された位置にフィルタリング情報であるマーカフィルタ情報３２５３ａを映像で表現した重畳映像３２０１が表示されている。

実施の形態５に係る遠隔操作システムにより、オペレータ１０００は、エンドエフェクタ２１００のターゲット４０００との相互作用４０００ａを視覚情報から検知することが可能となる。実施の形態５に係る遠隔操作システムは、操作装置の大型化及び複雑化を回避することができる。オペレータ１０００は、視覚提示装置１１００に集中することで違和感を覚えない力触覚情報２３００ａを得ることができるため、比較的高い操作性を得ることができる。

実施の形態５では、エッジ機器２０００とターゲット４０００との力触覚を伴うコンタクトが発生していないシーンにおいて、パッシブマーカ２５００の映像を設計者が事前に設定した映像に置き換えることが可能となる。つまり、実施の形態５に係る遠隔操作システムは、オペレータ１０００の認知についての負荷を軽減することができる。

実施の形態６．
実施の形態６に係る遠隔操作システムの構成は、実施の形態３に係る遠隔操作システム３の構成と同じである。しかしながら、実施の形態６の視覚ベース感覚伝達装置３２００が有する機能は、実施の形態３の視覚ベース感覚伝達装置３２００が有する機能と異なる。実施の形態６では、実施の形態３との相違点を主に説明する。

図１４は、実施の形態６に係る遠隔操作システムが有する視覚ベース感覚伝達装置３２００の機能を示す図である。視覚ベース感覚伝達装置３２００は、マーカ情報３３００ａを利用してパッシブマーカ２５００の位置を撮像情報３０００ａをもとに同定してマーカポイント同定情報３２５１ａを生成するマーカポイント同定機能３２５１を有する。視覚ベース感覚伝達装置３２００は、力触覚情報２３００ａをもとに視覚的力触覚映像情報３２５０ａを生成する視覚的力触覚映像生成機能３２５０を更に有する。

視覚ベース感覚伝達装置３２００は、検出されたパッシブマーカ２５００をフィルタリングするためのマーカフィルタ情報３２５３ａを生成するマーカフィルタ機能３２５３を更に有する。

視覚ベース感覚伝達装置３２００は、撮像情報３０００ａとマーカポイント同定情報３２５１ａとをもとにマーカポイント推定情報３２５４ａを生成するマーカポイント推定機能３２５４を更に有する。マーカポイント推定機能３２５４は、エッジ機器２０００がパッシブマーカ２５００を複数有する場合であって、パッシブマーカ２５００のひとつがターゲット４０００により遮蔽されて撮像情報３０００ａから消失した場合に、他のパッシブマーカ２５００が撮像情報３０００ａに存在するとき、撮像情報３０００ａとマーカポイント同定情報３２５１ａとをもとに消失したマーカポイントを推定する機能である。

視覚ベース感覚伝達装置３２００は、視覚的力触覚映像情報３２５０ａとマーカポイント同定情報３２５１ａとマーカフィルタ情報３２５３ａとマーカポイント推定情報３２５４ａとをもとに視覚ベース感覚伝達映像３２００ａを生成する重畳機能３２５２を更に有する。

図１５は、実施の形態６に係る遠隔操作システムのエッジ機器２０００及び撮像装置３０００と、エッジ機器２０００の活動環境であるターゲット４０００とを示す斜視図である。

図１６は、実施の形態６に係る遠隔操作システムのエッジ機器２０００が有するエンドエフェクタ２１００がターゲット４０００に接触しておらず、かつエンドエフェクタ２１００がターゲット４０００で遮蔽されていない状態での撮像装置３０００の出力である撮像情報３０００ａを示す図である。パッシブマーカ２５００が、マーカポイント同定情報３２５１ａとして検出されている。

図１７は、実施の形態６に係る遠隔操作システムのエッジ機器２０００が有するエンドエフェクタ２１００がターゲット４０００に接触しておらず、かつエンドエフェクタ２１００がターゲット４０００で遮蔽されていない状態での視覚ベース感覚伝達装置３２００の出力である視覚ベース感覚伝達映像３２００ａを示す図である。視覚ベース感覚伝達映像３２００ａには、図１６でパッシブマーカ２５００がマーカポイント同定情報３２５１ａとして検出された位置に、フィルタリング情報であるマーカフィルタ情報３２５３ａを映像で表現した重畳映像３２０１が表示されている。

図１８は、実施の形態６に係る遠隔操作システムのエッジ機器２０００が有するエンドエフェクタ２１００がターゲット４０００に接触しておらず、かつエンドエフェクタ２１００がターゲット４０００で遮蔽されている状態での撮像装置３０００の出力である撮像情報３０００ａを示す図である。パッシブマーカ２５００が、マーカポイント同定情報３２５１ａ及びマーカポイント推定情報３２５４ａとして検出されている。

図１９は、実施の形態６に係る遠隔操作システムのエッジ機器２０００が有するエンドエフェクタ２１００がターゲット４０００に接触しておらず、かつエンドエフェクタ２１００がターゲット４０００で遮蔽されている状態での視覚ベース感覚伝達装置３２００の出力である視覚ベース感覚伝達映像３２００ａを示す図である。視覚ベース感覚伝達映像３２００ａには、図１８でパッシブマーカ２５００がマーカポイント同定情報３２５１ａ及びマーカポイント推定情報３２５４ａとして検出された位置に、フィルタリング情報であるマーカフィルタ情報３２５３ａを映像で表現した重畳映像３２０１が表示されている。

図２０は、実施の形態６に係る遠隔操作システムのエッジ機器２０００が有するエンドエフェクタ２１００がターゲット４０００に接触していて、かつエンドエフェクタ２１００がターゲット４０００で遮蔽されている状態での撮像装置３０００の出力である撮像情報３０００ａを示す図である。パッシブマーカ２５００が、マーカポイント同定情報３２５１ａ及びマーカポイント推定情報３２５４ａとして検出されている。

図２１は、実施の形態６に係る遠隔操作システムのエッジ機器２０００が有するエンドエフェクタ２１００がターゲット４０００に接触していて、かつエンドエフェクタ２１００がターゲット４０００で遮蔽されている状態での視覚ベース感覚伝達装置３２００の出力である視覚ベース感覚伝達映像３２００ａを示す図である。視覚ベース感覚伝達映像３２００ａには、図２０でパッシブマーカ２５００がマーカポイント同定情報３２５１ａ及びマーカポイント推定情報３２５４ａとして検出された位置に、力触覚情報２３００ａを映像で表現した重畳映像３２０１が表示されている。

パッシブマーカ２５００がターゲット４０００で遮蔽された場合、視覚ベース感覚伝達装置３２００は、マーカポイント推定機能３２５４により、パッシブマーカ２５００が遮蔽された時刻での遮蔽されたパッシブマーカ２５００の位置を記憶し、遮蔽された時刻から経過した時間で遮蔽されていない別のパッシブマーカ２５００のマーカポイント同定情報３２５１ａが移動したベクトルを記憶した遮蔽されたパッシブマーカ２５００の位置に足し合わせることでマーカポイント推定情報３２５４ａを導出する。

実施の形態６に係る遠隔操作システムにより、オペレータ１０００は、エンドエフェクタ２１００のターゲット４０００との相互作用４０００ａを視覚情報から検知することが可能となる。実施の形態６に係る遠隔操作システムは、操作装置の大型化及び複雑化を回避することができる。オペレータ１０００は、視覚提示装置１１００に集中することで違和感を覚えない力触覚情報２３００ａを得ることができるため、比較的高い操作性を得ることができる。

実施の形態６に係る遠隔操作システムにより、エッジ機器２０００とターゲット４０００との力触覚を伴うコンタクトが発生していないシーンにおいて、パッシブマーカ２５００の映像を設計者が事前に設定した映像に置き換えることが可能となる。つまり、実施の形態６に係る遠隔操作システムは、オペレータ１０００の認知についての負荷を軽減することができる。パッシブマーカ２５００が遮蔽物に隠れた場合にも隠れたパッシブマーカ２５００のポイントを推定することが可能となり、実施の形態６に係る遠隔操作システムはオペレータ１０００の操作性を向上させることができる。

実施の形態７．
実施の形態７に係る遠隔操作システムの構成は、実施の形態６に係る遠隔操作システムの構成と同じである。しかしながら、実施の形態７の視覚ベース感覚伝達装置３２００が有する機能は、実施の形態６の視覚ベース感覚伝達装置３２００が有する機能と異なる。実施の形態７では、実施の形態６との相違点を主に説明する。

図２２は、実施の形態７に係る遠隔操作システムが有する視覚ベース感覚伝達装置３２００の機能を示す図である。実施の形態７の視覚ベース感覚伝達装置３２００は、実施の形態６の視覚ベース感覚伝達装置３２００が有するすべての機能のうちのマーカフィルタ機能３２５３以外の機能を有する。

実施の形態７に係る遠隔操作システムにより、エッジ機器２０００とエッジ機器２０００の活動環境であるターゲット４０００との力触覚を伴うコンタクトが発生していないシーンにおいて、パッシブマーカ２５００の映像を設計者が事前に設定した映像に置き換えることが可能となる。実施の形態７では、オペレータ１０００の認知についての負荷を軽減する効果は得られないが、遠隔操作システムの構成を簡易にするための計算についての負荷を軽減する効果が得られる。

実施の形態８．
実施の形態８に係る遠隔操作システムの構成は、実施の形態３に係る遠隔操作システム３の構成と同じである。しかしながら、実施の形態８の視覚ベース感覚伝達装置３２００が有する機能は、実施の形態３の視覚ベース感覚伝達装置３２００が有する機能と異なる。実施の形態８では、実施の形態３との相違点を主に説明する。

図２３は、実施の形態８に係る遠隔操作システムが有する視覚ベース感覚伝達装置３２００の機能を示す図である。視覚ベース感覚伝達装置３２００は、マーカ情報３３００ａを利用してパッシブマーカ２５００の位置を撮像情報３０００ａをもとに同定してマーカポイント同定情報３２５１ａを生成するマーカポイント同定機能３２５１を有する。

視覚ベース感覚伝達装置３２００は、マーカ情報３３００ａと撮像情報３０００ａとをもとにマーカフィルタとして効果的な映像選定情報であるマーカフィルタ映像選定情報３２５５ｂと力触覚映像として効果的な映像パターン選定情報である力触覚映像パターン選定情報３２５５ａとを生成する画像分析機能３２５５を更に有する。更に言うと、画像分析機能３２５５は、撮像情報３０００ａをもとに、人が認知しやすい力触覚映像パターンを選定する力触覚映像パターン選定情報３２５５ａと、自然に馴染んだ映像を選定するマーカフィルタ映像選定情報３２５５ｂとを生成する機能である。

視覚ベース感覚伝達装置３２００は、力触覚情報２３００ａと力触覚映像パターン選定情報３２５５ａとをもとに視覚的力触覚映像情報３２５０ａを生成する視覚的力触覚映像生成機能３２５０を更に有する。視覚ベース感覚伝達装置３２００は、検出されたパッシブマーカ２５００をフィルタリングするためにマーカフィルタ映像選定情報３２５５ｂをもとにマーカフィルタ情報３２５３ａを生成するマーカフィルタ機能３２５３を更に有する。

視覚ベース感覚伝達装置３２００は、撮像情報３０００ａとマーカポイント同定情報３２５１ａとをもとにマーカポイント推定情報３２５４ａを生成するマーカポイント推定機能３２５４を更に有する。視覚ベース感覚伝達装置３２００は、視覚的力触覚映像情報３２５０ａとマーカポイント同定情報３２５１ａとマーカフィルタ情報３２５３ａとマーカポイント推定情報３２５４ａとをもとに視覚ベース感覚伝達映像３２００ａを生成する重畳機能３２５２を更に有する。

映像選定の基準は、例えば、フィルタ映像としてはエンドエフェクタと同系色とし、視覚的力触覚映像としては撮像情報のなかで目立つ色として設定する。フィルタ映像をエンドエフェクタと同系色とすることで、エンドエフェクタがターゲット４０００と接触していない場合には、オペレータはパッシブマーカ２５００の存在を意識することなく作業に集中することができる。

実施の形態８に係る遠隔操作システムにより、オペレータ１０００は、エンドエフェクタ２１００のターゲット４０００との相互作用４０００ａを視覚情報から検知することが可能となる。実施の形態８に係る遠隔操作システムは、操作装置の大型化及び複雑化を回避することができる。オペレータ１０００は、視覚提示装置１１００に集中することで違和感を覚えない力触覚情報を得ることができるため、比較的高い操作性を得ることができる。

実施の形態８に係る遠隔操作システムにより、エッジ機器２０００とエッジ機器２０００の活動環境であるターゲット４０００との力触覚を伴うコンタクトが発生していないシーンにおいて、パッシブマーカ２５００の映像を設計者が事前に設定した映像に置き換えることが可能となる。つまり、実施の形態８に係る遠隔操作システムは、オペレータ１０００の認知についての負荷を軽減することができる。

パッシブマーカ２５００が遮蔽物に隠れた場合にも隠れたパッシブマーカ２５００のポイントを推定することが可能となり、実施の形態８に係る遠隔操作システムはオペレータ１０００の操作性を向上させることができる。実施の形態８に係る遠隔操作システムは、力触覚を検知する場合、人が認知しやすい視覚的力触覚映像パターンを提示することが可能となり、力触覚を検知しない場合、マーカが自然に馴染んだ映像を提示することが可能となり、オペレータ１０００の操作性を向上させることができる。

実施の形態９．
図２４は、実施の形態９に係る遠隔操作システム９の構成を示す図である。遠隔操作システム９は、実施の形態３から実施の形態８までのいずれかに係る遠隔操作システムが有する運動操作伝達装置１２００、エッジ機器２０００、撮像装置３０００、視覚ベース感覚伝達装置３２００及び視覚提示装置１１００を有する。実施の形態９では、エッジ機器２０００が有するパッシブマーカ２５００は、アクティブマーカ２４００に変更されている。図２４には、オペレータ１０００及びターゲット４０００も示されている。

遠隔操作システム９は、撮像情報３０００ａを入力とし、撮像装置３０００で検出可能なアクティブマーカ制御信号３３００ｂと、マーカ情報３３００ａとを生成するアクティブマーカ制御装置３３００を更に有する。アクティブマーカ制御信号３３００ｂは、アクティブマーカ２４００に出力される。マーカ情報３３００ａは、視覚ベース感覚伝達装置３２００に出力される。

図２５、図２６及び図２７の各々は、実施の形態９に係る遠隔操作システム９のエッジ機器２０００が有するエンドエフェクタ２１００がターゲット４０００に接触していない状態での撮像装置３０００の出力である撮像情報３０００ａを示す図である。アクティブマーカ制御装置３３００は、撮像情報３０００ａを入力として撮像装置３０００から検出しやすい色、形状、又は、色及び形状を生成して、アクティブマーカ２４００にアクティブマーカ制御信号３３００ｂを出力する。

例えば、図２５では、撮像情報３０００ａに含まれない「青」色でアクティブマーカ２４００は点灯している。図２６では、撮像情報３０００ａに含まれない「黄」色でアクティブマーカ２４００は点灯している。図２７では、撮像情報３０００ａに含まれない「緑」色でアクティブマーカ２４００は点灯している。

図２８、図２９及び図３０の各々は、実施の形態９に係る遠隔操作システム９のエッジ機器２０００が有するエンドエフェクタ２１００がターゲット４０００に接触していない状態での視覚ベース感覚伝達装置３２００の出力である視覚ベース感覚伝達映像３２００ａを示す図である。図２８、図２９及び図３０の各々における視覚ベース感覚伝達映像３２００ａは、撮像情報３０００ａにより変化するアクティブマーカ２４００の位置に固定の重畳映像３２０１を重畳することで、撮像情報３０００ａでは映像は時々刻々と変化するが、オペレータ１０００に提示される視覚ベース感覚伝達映像３２００ａでは、アクティブマーカ２４００の変化の情報が遮断されることを示している。

図３１、図３２及び図３３の各々は、実施の形態９に係る遠隔操作システム９のエッジ機器２０００が有するエンドエフェクタ２１００がターゲット４０００に接触している状態での視覚ベース感覚伝達装置３２００の出力である視覚ベース感覚伝達映像３２００ａを示す図である。図３１、図３２及び図３３の各々における視覚ベース感覚伝達映像３２００ａにより、力触覚検知装置２３００のターゲット４０００との接触の状況に合致した重畳映像３２０１がオペレータ１０００に提示される。

実施の形態９に係る遠隔操作システム９により、実施の形態３から実施の形態８までのいずれかで得られる効果に加えて、アクティブマーカ２４００の位置を撮像情報３０００ａをもとに同定することが可能となるという効果が得られる。遠隔操作システム９は、アクティブマーカ２４００の検出安定性を向上させることができる。遠隔操作システム９は、撮像情報３０００ａをもとに同定したアクティブマーカ２４００の位置への固定映像の重畳により、オペレータ１０００にとって不要な映像の変化の情報がオペレータ１０００に伝わることを遮断することが可能となり、オペレータ１０００の操作性を阻害することなく、遠隔操作システム９の使用範囲を拡張することができる。

実施の形態１０．
図３４は、実施の形態１０に係る遠隔操作システム１０の構成を示す図である。遠隔操作システム１０は、実施の形態１に係る遠隔操作システム１が有するすべての構成要素を有する。遠隔操作システム１０のエッジ機器２０００は、エンドエフェクタ２１００に取り付けられたツール２２００を更に有する。実施の形態１０では、力触覚検知装置２３００及び光強度制御式発光器２６００は、ターゲット４０００に接触する先端部に取り付けられている。

図３５は、実施の形態１０に係る遠隔操作システム１０のエッジ機器２０００が有するツール２２００がターゲット４０００に接触していない状態での撮像装置３０００の出力である撮像情報３０００ａを示す図である。力触覚検知装置２３００及び光強度制御式発光器２６００は、ツール２２００のターゲット４０００との接触点に配置されている。光強度制御式発光器２６００は、点灯していない。

図３６は、実施の形態１０に係る遠隔操作システム１０のエッジ機器２０００が有するツール２２００がターゲット４０００に接触している状態で視覚提示装置１１００に提供される撮像情報３０００ａを示す図である。光強度制御式発光器２６００は、力触覚検知装置２３００とターゲット４０００との接触の状態に対応して点灯している。

実施の形態１０に係る遠隔操作システム１０により、オペレータ１０００は、ツール２２００のターゲット４０００との相互作用４０００ａを視覚情報から検知することが可能となる。遠隔操作システム１０は、操作装置の大型化及び複雑化を回避することができる。オペレータ１０００は、視覚提示装置１１００に集中することで違和感を覚えない力触覚情報２３００ａを得ることができるため、比較的高い操作性を得ることができる。

実施の形態１０では、光強度制御式発光器２６００は、光の強度を変えて発光するのではなく、力触覚検知装置２３００のターゲット４０００との接触の状態を色相及び点灯周波数の変化で表現して発光してもよい。

実施の形態１１．
図３７は、実施の形態１１に係る遠隔操作システム１１の構成を示す図である。遠隔操作システム１１は、実施の形態３から実施の形態８までのいずれかの遠隔操作システムが有するすべての構成要素を有する。遠隔操作システム１１のエッジ機器２０００は、エンドエフェクタ２１００に取り付けられたツール２２００を更に有する。実施の形態１１では、力触覚検知装置２３００及びパッシブマーカ２５００は、ターゲット４０００に接触する先端部に取り付けられている。

図３８は、実施の形態１１に係る遠隔操作システム１１のエッジ機器２０００が有するツール２２００がターゲット４０００に接触していない状態での撮像装置３０００の出力である撮像情報３０００ａを示す図である。パッシブマーカ２５００が、マーカポイント同定情報３２５１ａとして検出されている。

図３９は、実施の形態１１に係る遠隔操作システム１１のエッジ機器２０００が有するツール２２００がターゲット４０００に接触している状態での撮像装置３０００の出力である撮像情報３０００ａを示す図である。パッシブマーカ２５００がマーカポイント同定情報３２５１ａとして検出され、かつ、力触覚検知装置２３００が力触覚を検知している。

図４０は、実施の形態１１に係る遠隔操作システム１１のエッジ機器２０００が有するツール２２００がターゲット４０００に接触していない状態での視覚ベース感覚伝達装置３２００の出力である視覚ベース感覚伝達映像３２００ａを示す図である。図３８でパッシブマーカ２５００がマーカポイント同定情報３２５１ａとして検出された位置に、フィルタリング情報であるマーカフィルタ情報３２５３ａを映像で表現した重畳映像３２０１が表示されている。

図４１は、実施の形態１１に係る遠隔操作システム１１のエッジ機器２０００が有するツール２２００がターゲット４０００に接触している状態での視覚ベース感覚伝達装置３２００の出力である視覚ベース感覚伝達映像３２００ａを示す図である。図３９でパッシブマーカ２５００がマーカポイント同定情報３２５１ａとして検出された位置に、力触覚情報２３００ａを映像で表現した重畳映像３２０１が表示されている。

実施の形態１１に係る遠隔操作システム１１により、オペレータ１０００は、ツール２２００のターゲット４０００との相互作用４０００ａを視覚情報から検知することが可能となる。遠隔操作システム１１は、操作装置の大型化及び複雑化を回避することができる。オペレータ１０００は、視覚提示装置１１００に集中することで違和感を覚えない力触覚情報２３００ａを得ることができるため、比較的高い操作性を得ることができる。

実施の形態１２．
図４２は、実施の形態１２に係る遠隔操作システム１２の構成を示す図である。遠隔操作システム１２は、実施の形態１１に係る遠隔操作システム１１のパッシブマーカ２５００がアクティブマーカ２４００に変更されたシステムである。実施の形態１２では、力触覚検知装置２３００及びアクティブマーカ２４００は、ターゲット４０００に接触する先端部に取り付けられている。

遠隔操作システム１２は、撮像情報３０００ａを入力とし、撮像装置３０００で検出可能なアクティブマーカ制御信号３３００ｂと、マーカ情報３３００ａとを生成するアクティブマーカ制御装置３３００を更に有する。アクティブマーカ制御信号３３００ｂは、アクティブマーカ２４００に出力される。マーカ情報３３００ａは、視覚ベース感覚伝達装置３２００に出力される。

図４３、図４４及び図４５の各々は、実施の形態１２に係る遠隔操作システム１２のエッジ機器２０００が有するツール２２００がターゲット４０００に接触していない状態での撮像装置３０００の出力である撮像情報３０００ａを示す図である。アクティブマーカ制御装置３３００は、撮像情報３０００ａを入力とし、撮像装置３０００から検出しやすい色、形状、又は、色及び形状を生成し、アクティブマーカ２４００にアクティブマーカ制御信号３３００ｂを出力する。

例えば、図４３では、撮像情報３０００ａに含まれない「青」色でアクティブマーカ２４００は点灯している。図４４では、撮像情報３０００ａに含まれない「黄」色でアクティブマーカ２４００は点灯している。図４５では、撮像情報３０００ａに含まれない「緑」色でアクティブマーカ２４００は点灯している。

図４６、図４７及び図４８の各々は、実施の形態１２に係る遠隔操作システム１２のエッジ機器２０００が有するツール２２００がターゲット４０００に接触していない状態での視覚ベース感覚伝達装置３２００の出力である視覚ベース感覚伝達映像３２００ａを示す図である。撮像情報３０００ａをもとにする映像は、時々刻々と変化する。オペレータ１０００に結果的に提示される図４６、図４７及び図４８の各々の視覚ベース感覚伝達映像３２００ａでは、撮像情報３０００ａにより変化するアクティブマーカ２４００の位置に固定の重畳映像３２０１を重畳することで、アクティブマーカ２４００の変化の情報が遮断される。

図４９、図５０及び図５１の各々は、実施の形態１２に係る遠隔操作システム１２のエッジ機器２０００が有するツール２２００がターゲット４０００に接触している状態での視覚ベース感覚伝達装置３２００の出力である視覚ベース感覚伝達映像３２００ａを示す図である。図４９、図５０及び図５１の各々の視覚ベース感覚伝達映像３２００ａでは、力触覚検知装置２３００のターゲット４０００との接触の状況に合致した重畳映像３２０１がオペレータ１０００に提示される。

実施の形態１２に係る遠隔操作システム１２により、実施の形態１１に係る遠隔操作システム１１によって得られる効果に加えて、安定したアクティブマーカ２４００の位置を撮像情報３０００ａをもとに同定することが可能となるという効果が得られる。遠隔操作システム１２は、撮像情報３０００ａをもとに同定した位置への固定映像の重畳により、オペレータ１０００にとって不要な映像の変化の情報を遮断することが可能となり、オペレータ１０００の操作性を阻害することなく、遠隔操作システム１２の使用範囲を拡張することができる。

実施の形態１３．
図５２は、実施の形態１３に係る遠隔操作システム１３の構成を示す図である。遠隔操作システム１３は、実施の形態１２に係る遠隔操作システム１２が有する視覚ベース感覚伝達装置３２００に運動伝達情報１２００ａが入力されるシステムである。図５３は、実施の形態１３に係る遠隔操作システム１３が有する視覚ベース感覚伝達装置３２００の機能を示す図である。視覚ベース感覚伝達装置３２００は、エッジ機器２０００のモデル情報であるエッジ機器モデル情報３４００ａを記憶しているエッジ機器モデル記憶部３４００を有する。エッジ機器モデル記憶部３４００は、エッジ機器２０００がターゲット４０００とコンタクトするポイントの幾何学的な情報を記憶する。例えば、エッジ機器モデル記憶部３４００は半導体メモリによって実現される。

視覚ベース感覚伝達装置３２００は、重畳機能３２５２により、視覚的力触覚映像情報３２５０ａと、マーカポイント同定情報３２５１ａと、マーカフィルタ情報３２５３ａと、マーカポイント推定情報３２５４ａと、運動伝達情報１２００ａと、エッジ機器モデル記憶部３４００から出力されるエッジ機器モデル情報３４００ａとをもとに、視覚ベース感覚伝達映像３２００ａを生成する。

図５４は、実施の形態１３に係る遠隔操作システム１３のエッジ機器２０００が有するツール２２００がターゲット４０００に接触している状態での撮像装置３０００の出力である撮像情報３０００ａを示す図である。ツール２２００は、二つのアクティブマーカ２４００を有している。

図５５は、実施の形態１３に係る遠隔操作システム１３のエッジ機器２０００が有するツール２２００がターゲット４０００に接触している状態での視覚ベース感覚伝達装置３２００の出力である視覚ベース感覚伝達映像３２００ａを示す図である。視覚ベース感覚伝達映像３２００ａでは、二つのアクティブマーカ２４００の位置から算出される画像内でのベクトルと事前に記憶されているエッジ機器モデル情報３４００ａとをもとに算出されるツール２２００の先端の位置に、視覚的力触覚映像情報３２５０ａが重畳されている。

実施の形態１３に係る遠隔操作システム１３により、実施の形態１２に係る遠隔操作システム１２によって得られる効果に加えて、アクティブマーカ２４００が取り付けられている位置がターゲット４０００との接触点でない場合においてもターゲット４０００と接触する位置に力触覚情報２３００ａを提示することが可能となり、アクティブマーカ２４００のサイズ及び取り付け方法の選択の幅を拡張することができるという効果が得られる。

実施の形態１４．
実施の形態１３では、アクティブマーカ２４００はツール２２００に取り付けられている。実施の形態１４では、アクティブマーカ２４００は、ツール２２００ではなく、エンドエフェクタ２１００に取り付けられている。つまり、実施の形態１３と実施の形態１４とでは、アクティブマーカ２４００が取り付けられている構成要素が異なる。

図５６は、実施の形態１４に係る遠隔操作システムのエッジ機器２０００が有するエンドエフェクタ２１００がターゲット４０００に接触している状態での撮像装置３０００の出力である撮像情報３０００ａを示す図である。図５７は、実施の形態１４に係る遠隔操作システムのエッジ機器２０００が有するエンドエフェクタ２１００がターゲット４０００に接触している状態での視覚ベース感覚伝達装置３２００の出力である視覚ベース感覚伝達映像３２００ａを示す図である。図５６及び図５７に示されるように、実施の形態１４では、アクティブマーカ２４００は、ツール２２００ではなく、エンドエフェクタ２１００に取り付けられている。

実施の形態１４に係る遠隔操作システムにより、実施の形態１３に係る遠隔操作システム１３によって得られる効果に加えて、アクティブマーカ２４００が取り付けられている位置がターゲット４０００との接触点でない場合においてもターゲット４０００と接触する位置に力触覚情報２３００ａを提示することが可能となり、アクティブマーカ２４００のサイズ及び取り付け方法の選択の幅を更に拡張することができるという効果が得られる。

実施の形態１５．
実施の形態１３では、力触覚検知装置２３００はツール２２００に取り付けられている。実施の形態１５では、力触覚検知装置２３００は、ツール２２００ではなく、エンドエフェクタ２１００に取り付けられている。つまり、実施の形態１３と実施の形態１５とでは、力触覚検知装置２３００が取り付けられている構成要素が異なる。

図５８は、実施の形態１５に係る遠隔操作システムのエッジ機器２０００が有するツール２２００がターゲット４０００に接触している状態での撮像装置３０００の出力である撮像情報３０００ａを示す図である。図５９は、実施の形態１５に係る遠隔操作システムのエッジ機器２０００が有するツール２２００がターゲット４０００に接触している状態での視覚ベース感覚伝達装置３２００の出力である視覚ベース感覚伝達映像３２００ａを示す図である。図５８及び図５９に示されるように、実施の形態１５では、力触覚検知装置２３００は、ツール２２００ではなく、エンドエフェクタ２１００に取り付けられている。

実施の形態１５に係る遠隔操作システムにより、実施の形態１３に係る遠隔操作システム１３によって得られる効果に加えて、力触覚検知装置２３００が取り付けられている位置がターゲット４０００との接触点でない場合においてもターゲット４０００と接触する位置に力触覚情報２３００ａを提示することが可能となり、力触覚検知装置２３００のサイズ及び取り付け方法の選択の幅を更に拡張することができるという効果が得られる。

実施の形態１４においても、力触覚検知装置２３００は、ツール２２００ではなく、エンドエフェクタ２１００に取り付けられてもよい。力触覚検知装置２３００がエンドエフェクタ２１００に取り付けられる場合、実施の形態１４に係る遠隔操作システムによって得られる効果に加えて、力触覚検知装置２３００が取り付けられている位置がターゲット４０００との接触点でない場合においてもターゲット４０００と接触する位置に力触覚情報２３００ａを提示することが可能となり、力触覚検知装置２３００のサイズ及び取り付け方法の選択の幅を更に拡張することができるという効果が得られる。

実施の形態１６．
実施の形態１６では、図示されないが、実施の形態１３及び実施の形態１４に示されるようにアクティブマーカ２４００をターゲット４０００との接触点以外の場所に取り付けるという構成が、実施の形態３、４、５、６、７、８及び１１の構成に適用される。

実施の形態１６の構成により、実施の形態３、４、５、６、７、８及び１１で得られる効果に加えて、力触覚検知装置２３００が取り付けられる位置がターゲット４０００との接触点でない場合においてもターゲット４０００と接触する位置に力触覚情報２３００ａを提示することが可能となり、力触覚検知装置２３００のサイズ及び取り付け方法の選択の幅を更に拡張することができるという効果が得られる。

実施の形態１７．
実施の形態１７では、図示されないが、実施の形態１５に示されるように力触覚検知装置２３００をターゲット４０００との接触点以外の場所に取り付けるという構成が、実施の形態３、４、５、６、７、８、１１及び１６の構成に適用される。

実施の形態１７の構成により、実施の形態３、４、５、６、７、８、１１及び１６で得られる効果に加えて、力触覚検知装置２３００が取り付けられる位置がターゲット４０００との接触点でない場合においてもターゲット４０００と接触する位置に力触覚情報２３００ａを提示することが可能となり、力触覚検知装置２３００のサイズ及び取り付け方法の選択の幅を更に拡張することができるという効果が得られる。

実施の形態１８．
実施の形態１８では、図示されないが、実施の形態３、４、５、６、７、８、９、１１、１２、１３、１４、１５、１６及び１７のいずれかにおける力触覚検知装置２３００は、ターゲット４０００と接触する前から検知可能な機能を有する。

実施の形態１８の構成により、実施の形態３、４、５、６、７、８、９、１１、１２、１３、１４、１５、１６及び１７で得られる効果に加えて、エッジ機器２０００がターゲット４０００と接触しそうな状況をオペレータ１０００に視覚的に認知させることが可能となり、オペレータ１０００の操作性を向上させることができるという効果が得られる。

実施の形態１９.
実施の形態１９では、図示されないが、実施の形態１、２、３、４、５、６、７、８、９、１１、１２、１３、１４、１５、１６、１７及び１８のいずれかにおいて力触覚検知装置２３００が、ターゲット４０００を検知した場合に視覚的力触覚映像情報３２５０ａだけでなく、検知距離、検知力、検知触覚、あるいは、これら３つの組合せに応じた、音の大きな、音程、音色、あるいは、これら３つを組み合わせた聴覚情報を同時に伝達する機能を有する。

実施の形態１９の構成により、実施の形態１、２、３、４、５、６、７、８、９、１１、１２、１３、１４、１５、１６、１７及び１８で得られる効果に加えて、力触覚検知装置２３００が、ターゲット４０００を検知した場合に、オペレータ１０００に視覚的だけでなく聴覚的に同時に認知させることが可能となり、オペレータ１０００の操作性を向上させることができるという効果が得られる。

請求の範囲の「視覚表示装置」は、明細書及び図面の「視覚提示装置」に対応する。

図６０は、実施の形態１に係る遠隔操作システム１が有する複数の構成要素のうちの一部がプロセッサ５００によって実現される場合のプロセッサ５００を示す図である。つまり、遠隔操作システム１が有する複数の構成要素のうちの一部の機能は、メモリ６００に格納されるプログラムを実行するプロセッサ５００によって実現されてもよい。プロセッサ５００は、ＣＰＵ（Central Processing Unit）、処理装置、演算装置、マイクロプロセッサ、ＤＳＰ（Digital Signal Processor）、又はシステムＬＳＩ（Large Scale Integration）である。図６０には、メモリ６００も示されている。

遠隔操作システム１が有する複数の構成要素のうちの一部の機能がプロセッサ５００によって実現される場合、当該機能は、プロセッサ５００と、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせとによって実現される。ソフトウェア又はファームウェアは、プログラムとして記述され、メモリ６００に格納される。プロセッサ５００は、メモリ６００に記憶されたプログラムを読み出して実行することにより、遠隔操作システム１が有する複数の構成要素のうちの一部の機能を実現する。

遠隔操作システム１が有する複数の構成要素のうちの一部の機能がプロセッサ５００によって実現される場合、遠隔操作システム１は、遠隔操作システム１によって実行される複数のステップの一部が結果的に実行されることになるプログラムを格納するためのメモリ６００を有する。メモリ６００に格納されるプログラムは、遠隔操作システム１が有する複数の構成要素のうちの一部をコンピュータに実行させるものであるともいえる。

メモリ６００は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（登録商標）（Electrically Erasable Programmable Read-Only Memory）等の不揮発性若しくは揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク又はＤＶＤ（Digital Versatile Disk）等である。

例えば、メモリ６００は、障害物情報、対象形状情報及び形状変形情報も記憶する。メモリ６００は、プロセッサ５００が処理を実行する際の一時メモリにも使用されてもよい。

プロセッサ５００が実行するプログラムは、インストール可能な形式又は実行可能な形式のファイルで、コンピュータが読み取り可能な記憶媒体に記憶されてコンピュータプロダクトとして提供されてもよい。プロセッサ５００が実行するプログラムは、インターネット等の通信ネットワークを経由して遠隔操作システム１に提供されてもよい。

図６１は、実施の形態１に係る遠隔操作システム１が有する複数の構成要素のうちの一部が処理回路７００によって実現される場合の処理回路７００を示す図である。つまり、遠隔操作システム１が有する複数の構成要素のうちの一部は、処理回路７００によって実現されてもよい。

処理回路７００は、専用のハードウェアである。処理回路７００は、例えば、単一回路、複合回路、プログラム化されたプロセッサ、並列プログラム化されたプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、又はこれらを組み合わせたものである。遠隔操作システム１が有する複数の構成要素のうちの一部は、残部と別個の専用のハードウェアによって実現されてもよい。

遠隔操作システム１が有する複数の機能について、当該複数の機能の一部がソフトウェア又はファームウェアで実現され、当該複数の機能の残部が専用のハードウェアで実現されてもよい。このように、遠隔操作システム１が有する複数の機能は、ハードウェアによって、又は、ソフトウェア及びファームウェアの一方若しくは双方とハードウェアとの組み合わせによって、実現することができる。

実施の形態２から実施の形態１８までの各々の遠隔操作システムが有する複数の構成要素のうちの一部は、プロセッサによって実現されてもよい。当該プロセッサは、上述のプロセッサ５００と同様のプロセッサである。その場合、当該プロセッサは、メモリに格納されるプログラムを実行することによって、実施の形態２から実施の形態１８までの各々の遠隔操作システムが有する複数の構成要素のうちの一部の機能を実現する。上記のメモリは、メモリ６００と同様のメモリである。

実施の形態２から実施の形態１８までの各々の遠隔操作システムが有する複数の構成要素のうちの一部は、処理回路によって実現されてもよい。当該処理回路は、上述の処理回路７００と同様の処理回路である。

以上の実施の形態に示した構成は、一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、実施の形態同士を組み合わせることも可能であるし、要旨を逸脱しない範囲で、構成の一部を省略又は変更することも可能である。

１，３，９，１０，１１，１２，１３遠隔操作システム、５００プロセッサ、６００メモリ、７００処理回路、１０００オペレータ、１０００ａオペレータ操作、１１００視覚提示装置、１１００ａ映像情報、１２００運動操作伝達装置、１２００ａ運動伝達情報、２０００エッジ機器、２１００エンドエフェクタ、２２００ツール、２３００力触覚検知装置、２３００ａ力触覚情報、２４００アクティブマーカ、２５００パッシブマーカ、２６００光強度制御式発光器、２７００力触覚光変換器、２７００ａ光強度信号、３０００撮像装置、３０００ａ撮像情報、３２００視覚ベース感覚伝達装置、３２００ａ視覚ベース感覚伝達映像、３２０１重畳映像、３２５０視覚的力触覚映像生成機能、３２５０ａ視覚的力触覚映像情報、３２５１マーカポイント同定機能、３２５１ａマーカポイント同定情報、３２５２重畳機能、３２５３マーカフィルタ機能、３２５３ａマーカフィルタ情報、３２５４マーカポイント推定機能、３２５４ａマーカポイント推定情報、３２５５画像分析機能、３２５５ａ力触覚映像パターン選定情報、３２５５ｂマーカフィルタ映像選定情報、３３００アクティブマーカ制御装置、３３００ａマーカ情報、３３００ｂアクティブマーカ制御信号、３４００エッジ機器モデル記憶部、３４００ａエッジ機器モデル情報、４０００ターゲット、４０００ａ相互作用。

Claims

ターゲットに接触するエッジ機器と、
前記エッジ機器を操作するためのオペレータ操作を受け付けて前記オペレータ操作に対応する運動伝達情報を前記エッジ機器に出力する運動操作伝達装置と、
前記ターゲット及び前記エッジ機器の映像を表示する視覚表示装置と、を備え、
前記エッジ機器は、
前記ターゲットに対する力触覚を検知する力触覚検知装置と、
前記力触覚検知装置によって検知された力触覚を検知された前記力触覚の大きさに対応する光の強度を特定する信号に変換する力触覚光変換器と、
前記力触覚光変換器によって得られた信号に対応する強度の光を発する光強度制御式発光器と、
を有することを特徴とする遠隔操作システム。
ターゲットに接触するエッジ機器と、
前記エッジ機器を操作するためのオペレータ操作を受け付けて前記オペレータ操作に対応する運動伝達情報を前記エッジ機器に出力する運動操作伝達装置と、
前記ターゲット及び前記エッジ機器を撮像する撮像装置と、
前記ターゲット及び前記エッジ機器の映像を表示する視覚表示装置と、
視覚ベース感覚伝達装置と、を備え、
前記エッジ機器は、
前記ターゲットに対する力触覚を検知する力触覚検知装置と、
パッシブマーカと、を有し、
前記視覚ベース感覚伝達装置は、
前記パッシブマーカの位置を同定するマーカポイント同定機能と、
前記力触覚検知装置によって検知された力触覚を示す力触覚情報に対応する映像を示す視覚的力触覚映像情報を生成する視覚的力触覚映像生成機能と、
前記マーカポイント同定機能によって得られたマーカポイント同定情報と、前記視覚的力触覚映像生成機能によって得られた視覚的力触覚映像情報と、前記撮像装置によって得られた撮像情報とを重畳する重畳機能と、
を有することを特徴とする遠隔操作システム。
前記視覚ベース感覚伝達装置は、検出された前記パッシブマーカをフィルタリングするためのマーカフィルタ情報を生成するマーカフィルタ機能を更に有する
ことを特徴とする請求項２に記載の遠隔操作システム。
前記エッジ機器が前記パッシブマーカを複数有する場合であって、前記パッシブマーカのひとつが前記ターゲットにより遮蔽されて前記撮像情報から消失した場合に、
前記視覚ベース感覚伝達装置は、他の前記パッシブマーカが前記撮像情報に存在するとき、前記撮像情報と前記マーカポイント同定情報とをもとに消失したマーカポイントを推定するマーカポイント推定機能を更に有する
ことを特徴とする請求項２又は３に記載の遠隔操作システム。
前記視覚ベース感覚伝達装置は、前記撮像情報をもとに、人が認知しやすい力触覚映像パターンを選定する力触覚映像パターン選定情報と、自然に馴染んだ映像を選定するマーカフィルタ映像選定情報と、を生成する画像分析機能を更に有する
ことを特徴とする請求項２から４のいずれか１項に記載の遠隔操作システム。
ターゲットに接触するエッジ機器と、
前記エッジ機器を操作するためのオペレータ操作を受け付けて前記オペレータ操作に対応する運動伝達情報を前記エッジ機器に出力する運動操作伝達装置と、
前記ターゲット及び前記エッジ機器を撮像する撮像装置と、
前記ターゲット及び前記エッジ機器の映像を表示する視覚表示装置と、
視覚ベース感覚伝達装置と、
前記撮像装置によって得られた撮像情報をもとに検出可能なマーカを生成するためのアクティブマーカ制御信号とマーカ情報とを生成するアクティブマーカ制御装置と、を備え、
前記エッジ機器は、
前記ターゲットに対する力触覚を検知する力触覚検知装置と、
前記アクティブマーカ制御装置によって生成された前記アクティブマーカ制御信号によって制御されるアクティブマーカと、を有し、
前記視覚ベース感覚伝達装置は、
前記アクティブマーカの位置を同定するマーカポイント同定機能と、
前記力触覚検知装置によって検知された力触覚を示す力触覚情報に対応する映像を示す視覚的力触覚映像情報を生成する視覚的力触覚映像生成機能と、
前記マーカポイント同定機能によって得られたマーカポイント同定情報と、前記視覚的力触覚映像生成機能によって得られた視覚的力触覚映像情報と、前記撮像装置によって得られた撮像情報とを重畳する重畳機能と、
を有することを特徴とする遠隔操作システム。
前記エッジ機器に設けられた前記力触覚検知装置及び前記光強度制御式発光器は、前記ターゲットに接触する先端部に取り付けられている
ことを特徴とする請求項１に記載の遠隔操作システム。
前記エッジ機器に設けられた前記力触覚検知装置及び前記パッシブマーカは、前記ターゲットに接触する先端部に取り付けられている
ことを特徴とする請求項２から５のいずれか１項に記載の遠隔操作システム。
前記エッジ機器に設けられた前記力触覚検知装置及び前記アクティブマーカは、前記ターゲットに接触する先端部に取り付けられている
ことを特徴とする請求項６に記載の遠隔操作システム。
前記視覚ベース感覚伝達装置は、前記エッジ機器が前記ターゲットとコンタクトするポイントの幾何学的な情報を記憶するエッジ機器モデル記憶部を有する
ことを特徴とする請求項２から６、８及び９のいずれか１項に記載の遠隔操作システム。