JP7281924B2

JP7281924B2 - 情報伝達システム

Info

Publication number: JP7281924B2
Application number: JP2019039956A
Authority: JP
Inventors: 嘉之山海
Original assignee: Cyberdyne Inc
Current assignee: Cyberdyne Inc
Priority date: 2018-10-30
Filing date: 2019-03-05
Publication date: 2023-05-26
Anticipated expiration: 2039-03-05
Also published as: JP2020106783A

Description

本発明は、熟練者と協働者とがネットワークを介して相互に情報授受しながら、熟練者が特定の作業に関して自己の技能を協働者に対して指導する技術に関する。

現在、不整脈治療に対しては、不整脈を引き起こす異常な心臓内の局所にカテーテルを使用して焼灼を行い、正常なリズムを取り戻す治療（カテーテルアブレーション治療）が広く実施されている。特に中核病院では、カテーテルアブレーション治療を適切かつ頻繁に実施できる習熟した技量を有する熟練医師が中心となって、安心安全な治療が行われている。

このカテーテルアブレーション治療は、局所麻酔下で患者の足の付け根や首の静脈から直径２mm位の長い管であるカテーテルを血管をたどり心臓内に挿入して、カテーテル先端の電極を介して心電図を計測しながら不整脈の原因箇所を突き止めた後、治療部位へカテーテル先端から高周波電流を流して心臓組織を焼灼させるものである。

このようにカテーテルアブレーション治療は、外科的な手術に比べて患者への身体の負担が少ないが、スピーディかつ安全に行うためには、熟練医師により優れた技能を指導してもらいつつ、数多くの患者に対して治療を施すことにより自ら経験を積む必要がある。

しかし、習熟した技量を有する熟練医師がいない地域の病院も多々あり、熟練医師の不足は、地域で生きる患者にとって非常に深刻な問題となっている。

このような状況に鑑み、最近では、遠隔地と中核病院との間を専用回線でつなぎ、リアルタイムで画像を見ながら口頭で指示を与えるなど、熟練医師である指導医が遠隔から地域の病院で行われる手術に関与できる取り組みも始まっている。事例として、遠隔地との画像を介したカテーテルアブレーション治療の遠隔治療支援に関しては、茨城県では2017年度より取り組みが始まっている。

先行技術文献としては、熟練者がネットワークを介して遠隔地にいる協働者に作業を行わせるに当たって、コミュニケーション端末を用いて映像音声による指示を与えるための遠隔作業支援コミュニケーション装置が提案されている（特許文献１参照）。

この遠隔作業支援コミュニケーション装置では、熟練者が自分の見るべき方向にカメラを向けることにより、協働者や作業対象の様子を詳細に観察すると同時に、協働者に対して注目して欲しい作業対象に対してレーザポインタを向けて指示することができる。

また、訓練者による操作内容を力触覚情報として記憶しておき、その力触覚を活用して仮想の針体で仮想の経穴を刺激する鍼治療の訓練を行えるようにした鍼治療訓練システムが提案されている（特許文献２参照）。

この鍼治療訓練システムによれば、経穴に対して刺す針体の角度や速度、力度、深度が適切か否かを判断できるようにして鍼治療術を向上させることが可能となる。

さらに、本発明の発明者からも、オペレータの生体電位情報信号を用いてロボットアームのインピーダンスを動的に変化させることで、マニピュレーションシステムの操作性を向上させるマスタスレーブ型のマニピュレーションシステム（特許文献３参照）や、これに加えて視覚情報による操作アシストを行い操作性の向上したマスタスレーブ型のマニピュレーションシステム（特許文献４参照）が提案されている。

特開２０００－１２５０２４号公報特表２００５－２８７６５６号公報特開２０１４－４６５５号公報特開２０１４－４６５６号公報

ところで、カテーテルアブレーション治療手術のような迅速性かつ正確性が要求されるような状況では、熟練者から協働者に伝達する手技は非常に繊細なレベルのものが要求される一方、協働者がその手技をリアルタイムで繊細に力覚として感じ取る必要がある。

また、遠隔地にいる熟練者は、協働者の視線先のみならず周囲環境までも可能な限り知覚しなければ、協働者に対して間違った状況判断に応じた指導をしてしまうおそれもある。

例えば、患者の大腿部におけるカテーテルを穿刺する部位を的確に同定する場合に、大腿動脈は大腿骨頭の骨皮質下縁のレベルで分岐するとされるため、透視下に大腿骨頭の位置を確認して穿刺する必要がある。さらに穿刺手技については、血管後壁を貫通させない方法として、注射器で軽く吸引しつつ穿刺を押し進め、血液逆流のあった時点でガイドワイヤーを挿入して血管内を確保する場合もある。

このような繊細かつ高精度の手技を熟練者から協働者に伝達するためには、上述の特許文献１から４までに記載の技術内容を組み合わせるだけでは、手技の伝達精度を実用上十分に満足させることは非常に難しい。

すなわち、熟練者は、単に協働者の視線に合わせてリアルタイムで手技を指導するためには、協働者の現在の作業状態及びその周囲環境までをも高い精度で知覚しなければならない。これと同時に、協働者も熟練者の意図を直感的に正確に理解するためには、熟練者に対して現在の自分の作業状況を正確に把握してもらわなければならない。

このように、画像と音声による治療支援だけでも、遠隔治療支援に対する有用な方法として期待されるが、習熟した医師がどのようにカテーテルを扱い、どのように治療を進めていくかという技量の伝達・伝承については、未開拓の状況である。熟練医師や指導医が遠隔にいる医師・医療チームと協働し、治療手技などの技量を伝授しながら、適切な治療を実施できていないことは、大きな問題である。

本発明は以上の点を考慮してなされたもので、協働者は、自分の手作業による行為を行う際に、遠隔地にいる熟練者と臨場感を共有しながら、当該熟練者の暗黙知である手技を間接的にリアルタイムで指導を受けることができるインタラクティブ情報伝達システム及びインタラクティブ情報伝達方法を提案するものである。

また本発明は、協働側にて協働者の手先による操作を行うことなく、熟練者による指導側作業用電子器具の操作内容に関して暗黙知である技能を非常に高い精度で間接的にリアルタイムに再現可能な情報伝達システムを提案するものである。

かかる課題を解決するため本発明においては、熟練者と協働者とがネットワークを介して相互に情報授受しながら、熟練者が特定の作業に関して自己の技能を協働者に対して指導するインタラクティブ情報伝達システムにおいて、熟練者側に設けられた指導側情報処理装置は、協働者が扱う対象物を中心とする映像をネットワークを介して受信する指導側通信部と、指導側通信部にて受信した対象物の映像を表示する指導側映像表示部と、指導側映像表示部の表示範囲内における熟練者の視線延長先の位置を視線位置データとして検知する視線検知部と、熟練者の各指先をエンドポイントとして、それぞれ３次元方向の動きに応じた手先動作データを検知する動き検知ユニットと、を備え、指導側通信部は、視線位置データ及び手先動作データをリアルタイムでネットワークを介して送信し、協働者側に設けられた協働側情報処理装置は、指導側通信部から送信される視線位置データ及び手先動作データを受信する協働側通信部と、対象物を中心とする映像を撮像する対象物撮像部と、対象物撮像部により撮像される映像を表示すると同時に、表示範囲内において協働側通信部にて受信した視線位置データに基づく熟練者の視線延長先の位置をマーク表示する協働側映像表示部と、協働者の各指先にそれぞれ装着されるエンドエフェクタを有し、当該各エンドエフェクタについて協働側通信部にて受信した手先動作データに基づく３次元方向の動きを伝達しながら、当該各指に対して３次元的な動作を促すような力覚を与える力変位伝達ユニットとを備え、協働側通信部は、対象物撮像部により撮像される映像とともに、力変位伝達ユニットの伝達結果である各エンドエフェクタの物理フィードバック情報を、ネットワークを介して指導側情報処理装置における指導側通信部に送信するようにした。

このように熟練者は、協働者が扱う対象物を中心とする映像と同一の映像を目視しながら、自己の視線先の位置をリアルタイムで協働者に伝達すると同時に、自己の指先の３次元方向の動きをリアルタイムで協働者の各指に力覚として伝達させるように指導しながら、当該伝達結果を熟練者にフィードバックする。

この結果、協働者は、自分の作業を行う際に、遠隔地にいる熟練者と臨場感を共有しながら、当該熟練者の暗黙知である手技を間接的にリアルタイムで指導を受けることができる。さらに熟練者は協働者への力覚伝達結果をフィードバック的に感知することにより、自己の指導内容と協働者の応答内容とのギャップをリアルタイムで感知することができる。

さらに本発明においては、指導側情報処理装置における動き検知ユニットは、熟練者の各エンドポイントを異なる複数方向から撮像する立体撮像部と、立体撮像部による撮像結果から各エンドポイントに対して熟練者の正面の所定位置を中心とする３次元座標を演算することにより、熟練者の各指先の３次元方向の動きに応じた手先動作データを検知する動作演算部とを備えるようにした。この結果、熟練者の指先の動きを高精度で検知することができる。

さらに本発明においては、協働側情報処理装置における力変位伝達ユニットは、各エンドエフェクタをそれぞれ指の伸展又は屈曲方向、当該指の内転又は外転方向及び当該指の周回方向に誘導するように駆動する力覚伝達駆動部と、協働側通信部にて受信した手先動作データに基づいて、熟練者の各エンドポイントごとの３次元方向の動きを、当該エンドポイントの位置、速度、加速度、角速度、力、モーメントに分解して、それぞれ動作要素データに変換する信号変換部と、各エンドエフェクタの各方向における位置、速度、加速度、角速度、力、モーメントが信号変換部から得られた動作要素データに基づく状態となるように、力覚伝達駆動部を制御する力覚伝達制御部とを備えるようにした。

この結果、協働者の各指に装着するエンドエフェクタを、熟練者の各指先であるエンドポイントの３次元方向の動きに合わせて駆動することにより、協働者の各指に伸展又は屈曲方向、当該指の内転又は外転方向及び当該指の周回方向に誘導するような力覚を付与することができる。

さらに本発明においては、協働側情報処理装置における力変位伝達ユニットは、協働者による操作に応じて、各エンドエフェクタに対する手先動作データに基づく３次元方向の動きの伝達比を可変設定するための伝達比設定部を備え、信号処理部は、手先動作データを伝達比設定部により設定された伝達比に調整して動作要素データに変換するようにした。

この結果、協働者は自己の作業に支障が生じると判断した場合、自ら伝達比を調整することにより、熟練者の各指先の３次元方向の動きを伝達される度合いを高くしたり低くしたりすることが可能となる。すなわち、伝達比を変えることによって、熟練者優位か協働者優位かを調整することができることから、協働者は自己の習熟度に応じた作業を行うことが可能となる。

さらに本発明においては、各エンドエフェクタは、協働者の指先の背部に接触保持される指先背保持部と、当該指先背保持部の端部から上下及び左右からそれぞれ引き出された一対の第１及び第２線状部材とを有し、力覚伝達駆動部は、第１線状部材を押出又は引込方向に移動させて、指先を伸展又は屈曲方向に誘導するように駆動する伸屈駆動部と、第２線状部材を左右方向に移動させて、指先を内転又は外転方向に誘導するように駆動する内外転駆動部と、力覚伝達制御部は、伸屈駆動部及び内外転駆動部をそれぞれ動作要素データに基づく状態となるように制御するようにした。

この結果、協働者が各指に装着するエンドエフェクタについて、熟練者の作業による手先の動きを繊細なレベルで協働者に伝達することができる。また、協働者の各指に装着するエンドエフェクタを、当該指の腹部が遮られない構造にしたことにより、協働者は対象物を直接各指で触れながら自己の作業を行うことが可能となる。

さらに本発明においては、各エンドエフェクタは、指先から第１関節までの間、当該第１関節から第２関節までの間、当該第２関節から第３関節までの間のいずれか一箇所以上に当該指の背部を中心に、当該指との接触面が周回方向に回動自在に巻着された巻着回動部を有し、力覚伝達駆動部は、巻着回動部の指との接触面を電磁力又は圧電推力に応じて回動させて、指を周回方向に誘導するように駆動する回動駆動部を有し、力覚伝達制御部は、回動駆動部を動作要素データに基づく状態となるように制御するようにした。

この結果、協働者が各指に装着するエンドエフェクタについて、伸展又は屈曲方向と内外転方向とのみならず、指先を用いて捻る動作を行う場合に当該指を周回方向に誘導するようにも力覚を伝達することにより、さらに熟練者の作業による手先の動きを繊細なレベルで協働者に伝達することができる。また、協働者の各指に装着するエンドエフェクタを、当該指の腹部が遮られない構造にしたことにより、協働者は対象物を直接各指で触れながら自己の作業を行うことが可能となる。

さらに本発明においては、各エンドエフェクタは、協働者の指先の背部を中心に装着され、３次元方向に指向性を持たせて振動可能な単数又は複数の振動素子を有し、力覚伝達駆動部は、振動素子を指の伸展又は屈曲方向、当該指の内転又は外転方向及び当該指の周回方向にそれぞれ誘導するように駆動する振動駆動部を有し、力覚伝達制御部は、動作要素データに基づく状態となるように振動駆動部を制御するようにした。

さらに本発明においては、各エンドエフェクタは、協働者の指先の背部を中心に装着され、３次元方向に指向性を持たせて発光可能な単数又は複数の発光素子を有し、力覚伝達駆動部は、発光素子を指の伸展又は屈曲方向、当該指の内転又は外転方向及び当該指の周回方向にそれぞれ誘導するような発光状態で駆動する発光駆動部を有し、力覚伝達制御部は、動作要素データに基づく状態となるように発光駆動部を制御するようにした。

さらに本発明においては、熟練者の各指先にそれぞれ装着される各エンドエフェクタと同一構成からなるエンドエフェクタを有し、当該各エンドエフェクタについて指導側通信部にて受信した協働側の各エンドエフェクタの物理フィードバック情報に基づく３次元方向の動きを伝達しながら、当該各指に対して３次元的な動作を促すような力覚を与える力変位伝達ユニットを備えるようにした。

この結果、熟練者は、協働者と同一構成のエンドエフェクタを各指に装着した状態において、自分が伝達した手先の動きに対して協働者の作業内容を力覚伝達結果として力変位伝達ユニットを通じてフィードバック的に感知することができる。従って、熟練者は、自己の指導内容と協働者の応答内容とのギャップをリアルタイムで感知することができるのみならず、各エンドエフェクタが協働者と一体的に動作し、インタラクティブに指先の動作情報を伝達し合うことが可能となる。

さらに本発明においては、指導側情報処理装置において、熟練者が作業を行う際に自己の指先を用いて操作する指導側作業用電子器具と、指導側作業用電子器具の操作内容のうち定量化可能な操作による調整量を指導側調整データとして抽出する操作データ定量抽出部とを備え、指導側通信部は、指導側調整データをネットワークを介して協働側情報処理装置における協働側通信部に送信し、協働側情報処理装置において、指導側作業用電子器具と同一構成からなり、協働者が自己の指先を用いて操作する協働側作業用電子器具と、協働側通信部にて受信した指導側調整データに基づいて、該当する操作内容の調整量を協働者による操作よりも優先させて協働側作業用電子器具の操作内容に反映させる操作データ優先反映部とを備えるようにした。

この結果、熟練者と協働者が同一構成の作業用電子器具を用いて操作する場合、熟練者の操作内容の調整量を協働者による操作よりも優先させて、協働者による作業用電子器具の操作内容に反映させるようにしたことにより、作業における一連の動作に誤りが生じるのを未然に回避することができる。

さらに本発明においては、協働側作業用電子器具において、指導側調整データに基づく操作内容の調整量と、協働者による操作内容の調整量とのずれ量を検知する操作ずれ量検知部を備え、操作ずれ量検知部は、検知したずれ量が所定の閾値以上であれば操作ギャップデータとして、協働側通信部及びネットワークを介して指導側情報処理装置における指導側通信部に送信し、指導側作業用電子器具において、指導側通信部にて受信した操作ギャップデータに基づくずれ量に応じた振動を熟練者の指先に付与してフィードバック的に感知させる振動フィードバック付与部とを備えるようにした。

この結果、熟練者と協働者が同一構成の作業用電子器具を用いて操作する場合、熟練者の操作内容の調整量を協働者による操作よりも優先させて、協働者による作業用電子器具の操作内容に反映させるが、協働者の操作内容の調整量とのずれ量が所定レベル以上である場合は、熟練者にそのずれ量をフィードバックするようにしたことにより、熟練者が協働者との操作内容の相違部分をリアルタイムで感覚的に認識することができる。

さらに本発明においては、互いに同一構成からなる協働側作業用電子器具及び指導側作業用電子器具とそれぞれ別体に着脱自在に設けられ、複数の操作内容のうち定量化可能な操作手段による調整量を計測する調整量計測部と、当該複数の操作内容のうち操作手段以外の操作状態を定量化して計測する操作状態計測部と、調整量計測部及び操作状態計測部による計測結果に基づいて、当該計測結果を併せた同期データを生成する同期データ生成部とを含む器具用アタッチメントを備え、同期データ生成部は、ネットワークを介して協働側情報処理装置における協働側通信部と指導側情報処理装置における指導側通信部との間で、同期データを相互に送受信し、協働側及び指導側の器具用アタッチメントは、協働側及び指導側の間にて同期データのデータ比較結果に基づく操作内容の差異量を検知する差異量検知部と、差異量検知部により検知された差異量に応じた力覚を協働者及び熟練者の手先にそれぞれ付与してフィードバック的に感知させる力覚フィードバック付与部とをそれぞれ備えるようにした。

このように協働側及び指導側において作業用電子器具にそれぞれ同一構成の器具用アタッチメントを装着することにより、協働者も熟練者もお互いに相手側の操作手段による調整量及びそれ以外の操作状態を力覚として感知し合いながら、作業用電子器具を操作することができる。特に作業用電子器具の操作手段以外の操作状態である、手先の繊細な作業による手技や判断についても定量的な力覚として相互に伝達することが可能となる。

さらに本発明においては、協働側情報処理装置において、力変位伝達ユニットは、各エンドエフェクタの周辺温度を計測する周辺温度測定部をさらに備え、協働側通信部は、周辺温度計測部により計測された各エンドエフェクタの周辺温度を周辺温度データとして、指導側情報処理装置における指導側通信部に送信し、指導側情報処理装置において、熟練者の各指先に装着され、それぞれ熱電素子が搭載されたエンドサックと、各熱電素子について指導側通信部にて受信した周辺温度データに基づく周辺温度と同等の温度に調節する指先温度調節部とを備えるようにした。

この結果、熟練者が装着する各エンドサックを協働者の各指先で感じる温度と同等の温度に調整することにより、対象物を扱う際に臨場感を向上させることができる。

さらに本発明においては、協働側情報処理装置の協働側映像表示部の近傍に設けられ、対象物に関連する各種データを一覧表示する協働側データ表示部と、指導側情報処理装置の指導側映像表示部の近傍に設けられ、協働側データ表示部に表示されるデータ群と同一のデータ群を表示する指導側データ表示部と、を備え、視線検知部は、指導側データ表示部の表示範囲内における熟練者の視線延長先の位置を視線位置データとして指導側通信部に送出し、協働側データ表示部は、表示範囲内において協働側通信部にて受信した視線位置データに基づく熟練者の視線延長先の位置をマーク表示するようにした。

この結果、熟練者は協働者が扱う対象物を中心とする映像を共有しながら、視線延長先の位置を同一映像の表示範囲にマーク表示するのみならず、現在の作業に必要なデータ群の表示内容についても同様に視線教示することにより、熟練者の技能を視線の移動タイミングを交えてよりリアルに指導することができる。

さらに本発明においては、協働側映像表示部の表示範囲内における協働者の視線延長先の位置を視線位置データとして検知する視線検知部を備え、視線検知部は、視線位置データを協働側通信部に送出し、指導側映像表示部は、表示範囲内において指導側通信部にて受信した視線位置データに基づく協働者の視線延長先の位置をマーク表示するようにした。

この結果、熟練者は、自己の視線先の位置を協働側映像表示部の表示範囲内にマーク表示させると同時に、協働者の視線先の位置を指導側映像表示部の表示範囲内にマーク表示させることができ、協働者及び熟練者が相手側の視線位置を相互にリアルタイムで目視確認しながら作業することが可能となる。

さらに本発明においては、協働側情報処理装置に設けられ、対象物撮像部による撮像と同期して、協働者の周囲に発生する可聴音及び超音波を含む音波を集音する周囲音集音部と、指導側情報処理装置に設けられ、周囲音集音部から指導側通信部にて受信した可聴音及び超音波を再生する周囲音再生部とを備えるようにした。

この結果、熟練者は協働者の周囲環境について可聴音のみならず超音波も自己の環境下で聴覚にて感知することにより、協働者の周囲環境を視聴覚にて高い精度で共有することが可能となる。

さらに本発明においては、指導側情報処理装置において、熟練者の音声を集音するマイクロホンを備え、指導側通信部は、当該マイクロホンから得られた音声データをリアルタイムでネットワークを介して送信し、協働側情報処理装置において、協働側通信部にて受信した音声データに基づく音声をリアルタイムに再生するスピーカを備えるようにした。

この結果、熟練者は自己の手技を協働者に指導する際に、力覚による手先への伝達のみならず、音声による耳への伝達をも同時に行うことができ、より一層リアルタイムで正確な指導を行うことが可能となる。

さらに本発明においては、協働側情報処理装置における力変位伝達ユニットは、協働側通信部にて受信した音声データに基づく発話内容に応じて、協働者への力覚付与を即座に停止させ又は再開させるようにした。

この結果、熟練者が協働者に指導する際に手技の間接的な力覚による伝達よりも、言葉で直接伝えた方が伝わりやすい場合には、リアルタイムで口頭指導を優先させることが可能となる。

さらに本発明においては、指導側情報処理装置の指導側通信部及び協働側情報処理装置の協働側通信部にそれぞれネットワークを介して接続され、作業に関する熟練者及び協働者の一連の動作内容をそれぞれ指導側作業データ及び協働側作業データとして相互に対応付けて記憶する作業データ記憶部と、作業データ記憶部から得られた指導側作業データ及び協働側作業データに基づいて、各動作内容のうち有意な特徴点を時系列的に順次抽出する有意特徴抽出部と、有意特徴抽出部により抽出された各特徴点について、作業における優れた技能に相当するか否かを分析する技能分析部と、技能分析部により肯定的な分析結果として得られた各特徴点を含む動作内容を、熟練者による優れた技能を表す技能データとして記憶する技能データ記憶部とを備えるようにした。

この結果、熟練者及び協働者の作業内容（一連の動作内容）をデータ蓄積するとともに、当該蓄積データを解析して、技能向上に役立つ動作の提案や推定のための情報を提供することが可能となる。

さらに本発明においては、作業と同一の作業に関して、協働者が一連の動作内容を実行する際、当該各動作内容と関連性の高い技能データを技能データ記憶部から逐次読み出すデータ読出部と、協働者の各動作内容について、技能データに基づく優れた技能に相当する動作内容と合致する可能性が時系列的に高くなるか否かを逐次推定する動作内容推定部と、動作内容推定部による推定結果に基づいて、技能データに基づく優れた技能に相当する動作内容を、リアルタイムで協働者が実行する動作内容に反映させて協働者を指導する動作内容反映部とを備えるようにした。

この結果、熟練者による技能に関する情報を蓄積しておくことにより、同一の作業を協働者が実行する際に、熟練者が不在の場合でも技能承継を行うことが可能となる（仮想的に熟練者による指導を行い得る）。さらに技能に関する教育用の情報としても活用することが見込まれる。

さらに本発明においては、熟練者と協働者とがネットワークを介して相互に情報授受しながら、熟練者が特定の作業に関して自己の技能を協働者に対して指導するインタラクティブ情報伝達方法において、熟練者側では、協働者が扱う対象物の映像をネットワークを介して受信して表示しながら、当該映像の表示範囲内における熟練者の視線延長先の位置を視線位置データとして検知すると同時に、熟練者の各指先をエンドポイントとして、それぞれ３次元方向の動きに応じた手先動作データを検知した後、視線位置データ及び手先動作データをリアルタイムでネットワークを介して協働者側に送信し、協働者側では、対象物を中心とする映像を撮像しながら、当該映像の表示範囲内においてネットワークを介して熟練者側から受信した視線位置データに基づく熟練者の視線延長先の位置をマーク表示すると同時に、協働者の各指先にそれぞれ装着されるエンドエフェクタについて手先動作データに基づく３次元方向の動きを伝達しながら、当該各指に対して３次元的な動作を促すような力覚を与えた後、対象物を中心として撮像される映像とともに、３次元方向の動きの伝達結果である各エンドエフェクタの物理フィードバック情報を、ネットワークを介して熟練者側に送信するようにした。

さらに本発明においては、熟練者が特定の作業を行う際に自己の指先を用いて指導側作業用電子器具を操作しながら、当該作業に関して自己の技能をネットワークを介して協働側に伝達する情報伝達システムにおいて、指導側作業用電子器具の操作内容のうち定量化可能な操作による調整量を指導側調整データとして抽出する操作データ定量抽出部と、当該指導側調整データを送信する指導側通信部とを有する指導側情報処理装置と、指導側作業用電子器具と同一構成からなる協働側作業用電子器具に着脱自在に取り付けられ、指導側通信部からネットワークを介して送信される指導側調整データを受信する協働側通信部と、指導側調整データに基づいて、該当する操作内容の調整量を協働側作業用電子器具の操作内容に反映させる操作内容反映部とを有する協働側器具用アタッチメント式ロボットとを備えるようにした。

さらに本発明においては、協働側作業用電子器具における複数の操作内容のうち定量化可能な操作による調整量を計測する調整量計測部を備え、操作内容反映部は、調整量計測部からフィードバックされる調整量に基づいて、協働側作業用電子器具における当該操作内容の調整量をキャリブレーション補正するようにした。

さらに本発明においては、熟練者が特定の作業を行う際に自己の指先を用いて指導側作業用電子器具を操作しながら、当該作業に関して自己の技能をネットワークを介して協働側に伝達する情報伝達システムにおいて、指導側作業用電子器具に着脱自在に取り付けられ、複数の操作内容のうち定量化可能な操作手段による調整量を計測する調整量計測部と、当該複数の操作内容のうち操作手段以外の操作状態を定量化して計測する操作状態計測部と、調整量計測部及び操作状態計測部による計測結果に基づいて、当該計測結果を併せた同期データを生成する同期データ生成部と、同期データを送信する指導側通信部とを有する指導側器具用アタッチメントと、指導側作業用電子器具と同一構成からなる協働側作業用電子器具に着脱自在に取り付けられ、指導側通信部からネットワークを介して送信される同期データを受信する協働側通信部と、同期データに基づく各操作手段の調整量及び当該操作手段同士の操作タイミングを制御信号として生成する操作制御部と、当該操作制御部による制御信号に基づいて各操作手段を駆動する操作手段駆動部とを有する協働側器具用アタッチメント式ロボットとを備えるようにした。

さらに本発明においては、協働側作業用電子器具における複数の操作内容のうち定量化可能な操作手段による調整量を計測する調整量フィードバック計測部を備え、操作制御部は、調整量フィードバック計測部からフィードバックされる調整量に基づいて、操作手段の調整量をキャリブレーション補正するようにした。

さらに本発明においては、協働側作業用電子器具における複数の操作内容のうち操作手段以外の操作状態を定量化して計測する操作状態フィードバック計測部を備え、操作制御部は、同期データに基づく操作手段以外の操作状態の計測量を制御信号に含めて生成し、当該制御信号を協働側通信部を介して協働側作業用電子機器と連携動作する外部機器に送信し、操作制御部は、外部機器及び協働側作業用電子器具を介して操作状態フィードバック計測部からフィードバックされる操作状態の計測量と指導側の操作状態の計測量との比較結果を表すキャリブレーションデータを生成するようにした。

以上のように本発明によれば、遠隔地にいる熟練者がネットワークを介して協働者と臨場感を共有しながら、相互に情報授受すると同時に、特定の作業に関して暗黙知である自己の技能を非常に高い精度で間接的にリアルタイムで協働者に指導すること可能なインタラクティブ情報伝達システム及びインタラクティブ情報伝達方法を実現できる。

さらに本発明によれば、協働側にて協働者の手先による操作を行うことなく、熟練者による指導側作業用電子器具の操作内容に関して暗黙知である技能を非常に高い精度で間接的にリアルタイムに再現可能な情報伝達システムも実現することができる。

本実施の形態によるインタラクティブ情報伝達システムの全体構成を示す略線図である。図１に示すインタラクティブ情報伝達システムの回路構成を示すブロック図である。力変位伝達ユニットの内部構成を示すブロック図である。第１実施形態によるエンドエフェクタの外観構成を示す略線図である。図４のエンドエフェクタにおける指先背保持部の構成を示す略線図である。図５の指先背保持部の外観構成を示す平面図及び断面図である。図４のエンドエフェクタにおける駆動ユニットの構成を示す略線図である。第２実施形態によるエンドエフェクタの外観構成を示す略線図である。図８のエンドエフェクタの装着状態を示す略線図である。本実施の形態による電極カテーテルの構成を示す平面図である。図１０の電極カテーテルの可動状態を表す平面図である。本実施の形態による電極カテーテルの操作に関する熟練者側及び協働者側の情報伝達の説明に供するブロック図である。本実施の形態によるデータ管理装置の内部構成を示すブロック図である。本実施の形態によるインタラクティブ情報伝達処理の説明に供するフローチャートである。他の実施の形態によるインタラクティブ情報伝達システムの回路構成を示すブロック図である。他の実施の形態による協働側及び指導側の映像表示部における相互の視線位置表示の説明に供する略線図である。他の実施の形態による力変位伝達ユニットの構成を示す略線図である。他の実施の形態による協働側及び指導側の力変位伝達ユニットの装着状態における操作状態の説明に供する略線図である。他の実施の形態による電極カテーテルに対する器具用アタッチメントの装着状態を示す略線図である。図１９に示す電極カテーテル及び器具用アタッチメントの構成を示す正面図である。図１９に示す器具用アタッチメントのハンドル保持部の外観構成を示す略線図である。器具用アタッチメントの回路構成を示すブロック図である。他の実施の形態による協働側及び指導側の力変位伝達ユニットの装着状態における器具用アタッチメントを介して電極カテーテルの操作状態の説明に供する略線図である。他の実施の形態における器具用アタッチメントのシャフト把持部によるシャフトの可動状態の説明に供する略線図である。他の実施の形態における電極カテーテルの操作に関する熟練者側及び協働者側の情報伝達の説明に供するブロック図である。他の実施の形態による電極カテーテルに対する器具用アタッチメントの装着状態を示す略線図である。協働側器具用アタッチメント式ロボットの回路構成を示すブロック図である。

以下、図面について、本発明の一実施例を詳細する。

（１）本実施形態によるインタラクティブ情報伝達システムの構成
図１及び図２は全体として本実施の形態によるインタラクティブ情報伝達システム１を示し、熟練者側に設けられた指導側情報処理装置２と協働者側に設けられた協働側情報処理装置３との間をネットワーク４を介して通信接続しておき、熟練者と協働者とが相互に情報授受しながら、熟練者が特定の作業に関して自己の技能を協働者に対して指導するようになされている。

指導側情報処理装置２は、指導側制御部１０の統括制御下において、指導側通信部１１と指導側映像表示部１２と視線検知部１３と動き検知ユニット１４とを有する。指導側通信部１１は、動き検知ユニット１４から無線ＬＡＮや近距離無線通信等を介して得られた手先動作データＤ１をリアルタイムでネットワーク４を介して送信する。

指導側映像表示部１２は、映像用ディスプレイ及びスピーカを有し、指導側通信部１１にてネットワーク４を通じて無線ＬＡＮや近距離無線通信等を介して受信した映像を表示する。

視線検知部１３は、指導側映像表示部１２に表示されている映像の表示範囲内における熟練者の視線延長先の位置を視線位置データＤ２として検知する。すなわち、視線検知部１３は、協働者の眼球の動きを画像認識して当該協働者の視線を検知し、指導側映像表示部１２に表示されている映像の表示範囲内の視線の位置を算出する。視線検知部１３の構成及び方法については特に限定しないが、撮像方式の他には、赤外線差分画像を用いた方式や、ハーフミラー搭載の眼鏡状センサによる視線特定方式なども適用してもよい。

例えば、赤外線差分画像を用いた方式は、視線上に光源を置いた場合に目から強い反射像が得られることを利用したものであり、異なる波長を有する２つの赤外線を協働者の目に照射し、それぞれの反射画像の差分から虹彩部の反射像を抽出して、この反射像から協働者の視線を特定する方式である。

動き検知ユニット１４は、熟練者の手元を中心とする実技範囲内を３次元方向から撮影するための複数の撮像カメラ（立体撮像部）１５Ａ、１５Ｂ（本実施形態では２台であるが３台以上でも可）を有し、熟練者の手先に所定パターンの模様が形成されたグローブ１６を装着させた状態において、グローブ１６に対して複数方向から撮像して、指導側制御部（動作演算部）１０が協働者の視線の延長先を原点とする３次元座標を演算することにより、熟練者の各指先をエンドポイントとしてそれぞれ３次元方向の動きに応じた手先動作データD１を検知する。

この指導側情報処理装置２において、指導側通信部１１は、視線検知部１３から得られた視線位置データＤ２及び動き検知ユニット１４から得られた指先動作データＤ１をリアルタイムでネットワーク４を介して協働側情報処理装置３に送信する。

また協働側情報処理装置３は、協働側制御部２０の統括制御下において、協働側通信部２１と対象物撮像部２２と協働側映像表示部２３と力変位伝達ユニット２４とを有する。協働側通信部２１は、指導側送信部１１からネットワーク４を通じて送信される視線位置データＤ２及び手先動作データＤ１を無線ＬＡＮや近距離無線通信等を介して受信する。対象物撮像部２２は、撮像カメラからなり、協働者が作業を行う際の対象物を中心として撮像する。

協働側映像表示部２３は、対象物撮像部２２により撮像される映像を表示すると同時に、表示範囲内において協働側通信部２１にて受信した視線位置データＤ２に基づく熟練者の視線延長先の位置をマーク表示する。すなわち指導側映像表示部１２の表示範囲に２次元座標系を設定した場合に、視線位置データＤ２に基づく座標位置と一致する座標位置にて協働側映像表示部２３の表示範囲にリアルタイムで所定のマークＭ１を表示する。

力変位伝達ユニット２４は、協働者の各指先にそれぞれ装着されるエンドエフェクタ２５を有し、当該各エンドエフェクタ２５について協働側通信部２１にて受信した指先動作データＤ１に基づく３次元方向の動きを伝達しながら、当該各指に対して３次元的な動作を促すような力覚を与える。

協働側通信部２１は、対象物撮像部２２により撮像される映像とともに、力変位伝達ユニット２４の伝達結果である各エンドエフェクタ２５の物理フィードバック情報Ｄ３を、ネットワーク４を介して指導側情報処理装置２における指導側通信部１１に送信する。

このように発明によるインタラクティブ情報伝達システム１では、熟練者は、協働者が扱う対象物を中心とする映像と同一の映像を目視しながら、自己の視線先の位置をリアルタイムで協働者に伝達すると同時に、自己の指先の３次元方向の動きをリアルタイムで協働者の各指に力覚として伝達させるように指導しながら、当該伝達結果を熟練者にフィードバックする。

後述するが、本実施形態によるインタラクティブ情報伝達システム２は、指導側情報処理装置２及び協働側情報処理装置３における熟練者及び協働者の一連の動作内容を含む種々の情報がネットワーク４を介してデータ管理装置４０にサーバ記録されるようになされている。

なお、指導側情報処理装置２及び協働側情報処理装置３においては、後述する実施形態において、指導側制御部１０及び協働側制御部２０の制御下にて、周辺温度を共有するための協働者側の周辺温度計測部５０及び熟練者側の指先温度調整部５１と、種々のデータ群映像を共有するための協働者側の協働側データ表示部６０及び熟練者側の指導側データ表示部６１と、協働側の周囲音を共有するための協働者側の周囲音集音部７０及び熟練者側の周囲音再生部７１と、熟練者側から協働者側への音声指導のための協働者側のスピーカ８０及び熟練者側のマイクロホン８１とが設けられている。

（２）本実施の形態による力変位伝達ユニットの構成
協働側情報処理装置３における力変位伝達ユニット２４は、詳細構成は複数実施例として後述するが、図３に示すように、協働者の少なくとも母指、示指及び中指を含む各指先にそれぞれ装着されるエンドエフェクタ２５と力覚伝達駆動部３０と信号変換部３１と力覚伝達制御部３２とを有する。なお本実施形態では、信号変換部３１及び力覚伝達制御部３２は、協働側制御部２０の部分的機能として実行し得るようになされている。

力覚伝達駆動部３０は、各エンドエフェクタ２５をそれぞれ指の伸展又は屈曲方向、当該指の内転又は外転方向及び当該指の周回方向に誘導するように駆動する。

信号変換部３１は、協働側通信部２１にて受信した手先動作データＤ１に基づいて、熟練者の各エンドポイントごとの３次元方向の動きを、当該エンドポイントの位置、速度、加速度、角速度、力、モーメントに分解して、それぞれ動作要素データＤ４に変換する。

力覚伝達制御部３２は、各エンドエフェクタ２５の各方向における位置、速度、加速度、角速度、力、モーメントが信号変換部から得られた動作要素データＤ４に基づく状態となるように、力覚伝達駆動部３０を制御する。

この結果、協働者の各指に装着するエンドエフェクタ２５を、熟練者の各指先であるエンドポイントの３次元方向の動きに合わせて駆動することにより、協働者の各指に伸展又は屈曲方向、当該指の内転又は外転方向及び当該指の周回方向に誘導するような力覚を付与することができる。

さらに協働側情報処理装置３における力変位伝達ユニット２４は、外部操作に応じた設定内容を変更する伝達比設定部３３を有し、協働者による操作に応じて、各エンドエフェクタ２５に対する手先動作データＤ１に基づく３次元方向の動きの伝達比を可変設定する。信号処理部３１は、熟練者の各エンドポイントの動作内容である手先動作データＤ１を伝達比設定部３３により設定された伝達比に調整して、各エンドエフェクタ２５の３次元方向の動きである動作要素データＤ４に変換する。

この結果、協働者は自己の作業に支障が生じると判断した場合、自ら伝達比を調整することにより、熟練者の各指先の３次元方向の動きを伝達される度合いを高くしたり低くしたりすることが可能となる。

例えば、伝達比が１の場合には、熟練者の指先の動きに関連する情報（力、速度、変位）は、遠隔では熟練者自身が作業（カテーテルアブレーション治療手術）を行うことと等価となる。熟練者は、遠隔の動作（カテーテル操作）時の指先情報（力、速度、変位や、これらで構成される反力や粘性摩擦などの情報）を感じながら、当該作業（遠隔治療）を実施することができる。

これに対して、伝達比が０の場合には、遠隔の協働者の作業（施術）が妨げられることなく、協働者は自らの意思で当該作業における動作内容を実施することができる。このようにインタラクティブに手先動作データＤ１に基づく３次元方向の動きの伝達比を可変することにより、熟練者優位か協働者優位かを調整することが可能となる。

（３）本実施形態によるエンドエフェクタの構成
本実施形態においては、下記の第１実施形態に示すエンドエフェクタ２５を適用する場合について述べるが、本発明はこれに限らず、第２～第４実施形態に示すエンドエフェクタを適用してもよく、これら第１～第４実施形態のエンドエフェクタの全部又は一部を組み合わせて適用するようにしても良い。

（３－１）エンドエフェクタの第１実施形態
図４に示すように、協働者の各指先に装着するエンドエフェクタ１００は、指先の背部に接触保持される指先背保持部１０１と、当該指先背保持部１０１の端部１０１Ａから上下及び左右からそれぞれ対の状態で引き出された第１線状部材１０２及び第２線状部材１０３とを有する。図４においては、一対の第１線状部材１０２及び一対の第２線状部材１０３は、４本ともに線状カバー部１０５にて被覆され、指の関節間及び手の甲にそれぞれ装着された各ガイド部ＧＤを経て手首に巻回された駆動ユニット１０６まで引き出されている。

指先背保持部１０１は、図５に示すように、指先の爪の根元から第１関節までの背部分（以下、指先背部という。）に固着された樹脂材からなるチップ状部材であり、指の根元側の端面から指先との当接面にかけて内部に４つの貫通孔１０１ＨＡ～１０１ＨＤ（図６（Ａ）及び（Ｂ））が形成されている。図５において、矢印Ａ－Ａ’で示す指先背保持部１０１の断面図を図６（Ｃ）に示し、矢印Ｂ－Ｂ’で示す指先背保持部１０１の断面図を図６（Ｄ）に示す。

指先背保持部１０１に形成される各貫通孔１０１ＨＡ～１０１ＨＤは、端面の上下左右の所定位置から当接面の前後左右の所定位置まで所定径にて形成されている。

図５に示すように、指先背保持部１０１の当接面１０１Ｂの前後左右の所定位置には、それぞれ一対の第１線状部材１０２及び第２線状部材１０３の一端が固定され、各貫通孔１０１ＨＡ～１０１ＨＤを通じて端面１０１Ａの上下左右の所定位置から第１線状部材１０２及び第２線状部材１０３の各他端が引き出されて、駆動ユニット１０６における伸屈駆動部１０７及び内外転駆動部１０８とそれぞれ係合されている。

図７において、伸屈駆動部１０７は、直径約10mmのプーリ１０９が出力軸に係合されたサーボモータ１１０を有し、当該プーリ１０９に張架された第１線状部材１０２を介して指先背保持部１０１を保持しつつ、当該指先背保持部１０１を前後方向に付勢するようになされている。

第１線状部材１０２は、引張強度の高い金属製ワイヤからなり、指先背保持部１０１の当接面１０１Ｂの前後の所定位置に一端及び他端が固定されるとともに、プーリ１０９に固定接続されている。

伸屈駆動部１０７は、力覚伝達制御部３２の制御に応じた回転方向及び回転速度にてサーボモータ１１０の出力軸を回転させることにより、その回転力をプーリ１０９を介して第１線状部材１０２に直線運動として伝達させる。指先背保持部１０１は、プーリ１０９の現在の回転角度に基づいて、当接面１０１Ｂの前後方向のいずれかに指先背部に対して微小に押圧する。

内外転駆動部１０８は、直径約10mmのプーリ１１１が出力軸に係合されたサーボモータ１１２を有し、当該プーリ１１１に張架された第２線状部材１０３を介して指先背保持部１０１を保持しつつ、当該指先背保持部１０１を左右方向に付勢するようになされている。

第２線状部材１０３は、引張強度の高い金属製ワイヤからなり、指先背保持部１０１の当接面１０１Ｂの左右の所定位置に一端及び他端が固定されるとともに、プーリ１１１に固定接続されている。

内外転駆動部１０８は、力覚伝達制御部３２の制御に応じた回転方向及び回転速度にてサーボモータ１１２の出力軸を回転させることにより、その回転力をプーリ１１１を介して第２線状部材１０３に直線運動として伝達させる。指先背保持部１０１は、プーリ１１１の現在の回転角度に基づいて、当接面１０１Ｂの左右方向のいずれかに指先背部に対して微小に押圧する。

かくして力覚伝達制御部３２は、駆動ユニット１０６における伸屈駆動部１０７及び内外転駆動部１０８をそれぞれ動作要素データＤ４に基づく状態となるように制御することにより、第１線状部材１０２を押出又は引込方向に移動させて、指先背部に対して当該方向に応じた押圧力覚を与えて、指先を伸展又は屈曲方向に誘導するとともに、第２線状部材１０３を左右方向に移動させて、指先背部に対して当該方向に応じた押圧力覚を与えて、指先を内転又は外転方向に誘導する。

この結果、協働者が各指に装着するエンドエフェクタ１００について、熟練者の作業による手先の動きを繊細なレベルで協働者に伝達することができる。また、協働者の各指に装着するエンドエフェクタ１００を、当該指の腹部が遮られない構造にしたことにより、協働者は対象物を直接各指で触れながら自己の作業を行うことが可能となる。

（３－２）エンドエフェクタの第２実施形態
協働者の各指先に装着するエンドエフェクタ１２０は、図８（Ａ）及び（Ｂ）に示すように、指輪の一部が開口した略Ｃ字形状のリング部（巻着回動部）１２１を有する。リング部１２１は、フレームとしての外輪１２２に対して回動自在に取り付けられた内輪１２３がアクチュエータ（回転駆動部）１２４による駆動に応じて往復運動するように構成されている。

具体的にこのアクチュエータ１２４は、励磁コイルに電流を流して、固定子である外輪及び可動子である内輪１２３で構成される磁気回路を励磁して磁束を生成し、発生した電磁力によって内輪を往復運動させる。

なお、回転駆動部としてのアクチュエータ１２４は、電磁力以外にも圧電推力によって内輪を外輪に対して往復運動させるような構成にしても良い。例えば、圧電アクチュエータの変位によりその変位方向及び変位量を、外輪に対する内輪の往復変位方向及び往復変位量に変換する構成にしても良い。

図９において、手首に巻回された駆動ユニット１２５は、力覚伝達制御部３２による動作要素データＤ４に基づく状態となるように制御司令信号を受けると、近距離無線通信等の通信手段（図示せず）を介して各アクチュエータ１２４をそれぞれ駆動制御する。

このリング部１２１は、指先から第１関節までの間、当該第１関節から第２関節までの間、当該第２関節から第３関節までの間のいずれか一箇所以上に当該指の背部を中心に、当該指との接触面が周回方向に回動自在に巻着される。

かくして力覚伝達制御部３２は、アクチュエータ（回転駆動部）１２４を動作要素データＤ４に基づく状態となるように制御することにより、リング部１２１の指との接触面を電磁力又は圧電推力に応じて回動させて、指を周回方向に誘導する。

この結果、協働者が各指に装着するエンドエフェクタ１２０について、伸展又は屈曲方向と内外転方向とのみならず、指先を用いて捻る動作を行う場合に当該指を周回方向に誘導するようにも力覚を伝達することにより、さらに熟練者の作業による手先の動きを繊細なレベルで協働者に伝達することができる。また、協働者の各指に装着するエンドエフェクタ１２０を、当該指の腹部が遮られない構造にしたことにより、協働者は対象物を直接各指で触れながら自己の作業を行うことが可能となる。

（３－３）エンドエフェクタの第３実施形態
協働者の各指先に装着するエンドエフェクタ（図示せず）は、協働者の指先背部を中心に装着された単数又は複数の振動素子を駆動する振動アクチュエータ（振動駆動部）を有する。例えば超音波振動を利用する振動アクチュエータは、単数又は複数の圧電素子（振動素子）に交流電圧を印加して固定子の表面に楕円運動又は進行波を発生させて、固定子に可動子を加圧接触させることによりこれら両者間の摩擦力を介して可動子を３次元方向に指向性を持たせて運動させる。

かくして力覚伝達制御部３２は、振動駆動部を動作要素データＤ４に基づく状態となるように制御することにより、単数又は複数の振動素子を指の伸展又は屈曲方向、当該指の内転又は外転方向及び当該指の周回方向にそれぞれ誘導する。

（３－４）エンドエフェクタの第４実施形態
協働者の各指先に装着するエンドエフェクタ（図示せず）は、協働者の指先背部を中心に装着された単数又は複数の発光素子（例えば小型ＬＥＤ等）を駆動する発光駆動部を有する。発光駆動部は、単数又は複数の発光素子を３次元方向に指向性を持たせるような点灯パターン又は点滅パターンにて発光駆動させる。

かくして力覚伝達制御部３２は、発光駆動部を動作要素データＤ４に基づく状態となるような発光状態で駆動制御することにより、単数又は複数の発光素子を指の伸展又は屈曲方向、当該指の内転又は外転方向及び当該指の周回方向にそれぞれ誘導する。

（４）本実施形態による作業用電子器具の構成
本実施の形態によるインタラクティブ情報伝達システム１を、協働者の環境が医療機関の手術室内に適用した場合について説明する。例えば頻脈性不整脈を患う患者に対して、協働者がカテーテルアブレーション治療手術を施す場合について説明する。

本治療手術において、協働者は、先端が二方向へ屈曲するディフレクタブルな電極カテーテルを、局所麻酔下で患者の足の付け根や首の静脈から血管をたどり心臓内に挿入して、カテーテル先端の電極を介して心電図を計測しながら不整脈の原因箇所を突き止めた後、治療部位へカテーテル先端から高周波電流を流して心臓組織を焼灼させる。

なお、この電極カテーテルは、心筋灼熱術（アブレーション）の際には、専用の高周波出力発生装置（図示せず）と併用するとともに、Ｘ線投資と心腔内電位記録により留置部位が適切であることを確認しながら用いられる。

この電極カテーテル１３０は、図１０（Ａ）及び（Ｂ）に示すように、手で把持するハンドル部１３１と、当該ハンドル部１３１の端部に形成され、高周波出力発生装置と電気的に接続するためのコネクタ１３２と、当該ハンドル部１３１の先方に設けられたレバー１３３及びテンションノブ１３４と、先端にチップ電極１３５が取り付けられた微細管であるシャフト１３６とから構成されている。

協働者は、電極カテーテル１３０のハンドル部１３１を把持した状態で、別の手でレバー１３３を回転させることにより、シャフト１３６の先端部を所望の曲率で屈曲させることができる（図１１（Ａ）～（Ｃ））。シャフト１３６の屈曲の大きさはレバー１３３の回転の程度に比例するようになされている。また、レバー１３３の反対側に設けられたテンションノブ１３４を回転させることにより、屈曲機能における摩擦を増減させることができる。そしてチップ電極１３５が標的部位に安定して接触していることを認めた時点で、足元のペダル（図示せず）を踏んで高周波出力発生装置によりコネクタ１３２を介して高周波通電させる。

本実施形態においては、図１２に示すように、指導側情報処理装置２には、熟練者が作業を行う際に自己の指先を用いて操作する電極カテーテル（指導側作業用電子器具）１３０と、当該電極カテーテル１３０の操作内容のうち定量化可能な操作による調整量を抽出する操作データ定量抽出部１４０とが設けられている。

操作データ定量抽出部１４０は、電極カテーテル１３０のレバー１３３及びテンションノブ１３４の回転度合いをそれぞれ微小角度単位（例えば３６０度基準の１度単位）で調整量として抽出し、当該調整量を指導側調整データＤ１０としてネットワーク４（図１２には図示せず）を介して協働側情報処理装置３における協働側通信部２１に送信する。

協働側情報処理装置３には、指導側作業用電子器具である電極カテーテルと同一構成からなり、協働者が自己の指先を用いて操作する電極カテーテル（協働側作業用電子器具）１３０と、協働側通信部２１にて受信した指導側調整データＤ１０に基づいて、該当する操作内容の調整量を協働者による操作よりも優先させて電極カテーテル（協働側作業用電子器具）１３０の操作内容に反映させる操作データ優先反映部１４１とが設けられている。

この結果、熟練者と協働者が同一構成の電極カテーテル（作業用電子器具）１３０を用いて操作する場合、熟練者の操作内容の調整量を協働者による操作よりも優先させて、協働者による電極カテーテル１３０の操作内容に反映させるようにしたことにより、作業における一連の動作に誤りが生じるのを未然に回避することができる。すなわち、遠隔の協働者が自分の指先を電極カテーテル１３０のレバー１３３及びテンションノブ１３４に添えると、協働者は熟練者の手技を習い動作として感じることができる。

さらに協働側作業用電子器具である電極カテーテル１３０において、指導側調整データＤ１０に基づくレバー１３３やテンションノブ１３４の操作内容の調整量と、協働者によるレバー１３３やテンションノブ１３４の操作内容の調整量とのずれ量を検知する操作ずれ量検知部１４２が設けられている。

操作ずれ量検知部１４２は、検知したずれ量が所定の閾値以上であれば操作ギャップデータＤ１１として、協働側通信部２１及びネットワーク４を介して指導側情報処理装置２における指導側通信部１１に送信する。この閾値はレベル調整可能であり、協働者の技能レベルに応じて高くなるように調整するようにしてもよく、上述したようなインタラクティブに伝達比を可変することにより、熟練者優位か協働者優位かを調整するようにしても良い。

指導側作業用電子器具である電極カテーテル１３０において、指導側通信部１１にて受信した操作ギャップデータＤ１１に基づくずれ量に応じた振動を熟練者の指先に付与してフィードバック的に感知させる振動フィードバック付与部１４３が設けられている。

振動フィードバック付与部１４３は、例えば超音波振動を利用する振動アクチュエータを有し、操作ギャップデータＤ１１に基づくずれ量に応じた強度で圧電素子を駆動することにより、熟練者の指先に力覚をフィードバックさせて感知させる。

この結果、熟練者と協働者が同一構成の電子カテーテル（作業用電子器具）１３０を用いて操作する場合、熟練者の操作内容の調整量を協働者による操作よりも優先させて、協働者による電子カテーテル（作業用電子器具）１３０の操作内容に反映させるが、協働者の操作内容の調整量とのずれ量が所定レベル以上である場合は、熟練者にそのずれ量をフィードバックするようにしたことにより、熟練者が協働者との操作内容の相違部分をリアルタイムで感覚的に認識することができる。

（５）本実施形態による共有周辺環境に関する構成
（５－１）周辺温度を共有する場合
協働側情報処理装置３において、力変位伝達ユニット２４は、各エンドエフェクタ２５にそれぞれ放射温度計（物体から放射される赤外線や可視光線の強度を測定して、物体の温度を測定する温度計）である周辺温度計測部５０（図２）を設けており、各エンドエフェクタ２５の周囲温度をそれぞれ非接触で計測するようになされている。

協働側通信部２１は、周辺温度計測部５０により計測された各エンドエフェクタ２５の周辺温度を周辺温度データとして、指導側情報処理装置２における指導側通信部１１に送信する。指導側情報処理装置２において、熟練者の各指先にそれぞれ熱電素子が搭載されたエンドサックを装着しておき、指先温度調節部５１（図２）は、指導側通信部１１にて受信した周辺温度データに基づく温度と同等の温度に各熱電素子を調節する。

（５－２）複数の映像表示を共有する場合
インタラクティブ情報伝達システム１において、協働側情報処理装置３の協働側映像表示部２３の近傍に、対象物に関連する各種データを一覧表示する協働側データ表示部６０（図２）を設けるとともに、指導側情報処理装置２の指導側映像表示部１２の近傍に、協働側データ表示部６０に表示されるデータ群と同一のデータ群を表示する指導側データ表示部６１（図２）とを設けるようにした。

例えば協働者がカテーテルアブレーション治療手術を施す場合において、協働側映像表示部２３に患者の心臓内部等の対象物を中心とする映像（Ｘ線透過映像）を表示すると同時に、指導側映像表示部１２に同様の映像を表示する。これ以外にも別の表示モニタに心腔内電位記録データを表示する場合に、協働者側及び熟練者側に共通の表示モニタ（協働側データ表示部及び指導側データ表示部）６０、６１にそれぞれ同一のデータ内容を表示させる。

指導側情報処理装置２において、指導側通信部１１は、視線検知部１３から得られた視線位置データＤ２をリアルタイムでネットワーク４を介して協働側情報処理装置３に送信する。協働側データ表示部６０は、表示範囲内において協働側通信部２１にて受信した視線位置データＤ２に基づく熟練者の視線延長先の位置をマーク表示する。すなわち指導側データ表示部６１の表示範囲に２次元座標系を設定した場合に、視線位置データＤ２に基づく座標位置と一致する座標位置にて協働側データ表示部６０の表示範囲にリアルタイムで所定のマークを表示する。

（５－３）周囲音を共有する場合
インタラクティブ情報伝達システム１において、協働側情報処理装置３に設けられた周囲音集音部７０（図２）は、比較的高感度の広帯域マイクロホンからなり、対象物撮像部２２による撮像と同期して、協働者の周囲に発生する可聴音及び超音波を含む音波を集音する。

指導側情報処理装置２に設けられた周囲音再生部７１（図２）は、可聴周波数帯のみならず高周波帯域の音波を再生可能な超音波スピーカからなり、周囲音集音部７０から指導側通信部１１にて受信した可聴音及び超音波を再生する。

（５－４）熟練者側から協働者側への音声指導
インタラクティブ情報伝達システム１において、指導側情報処理装置２に設けられたマイクロホン８１（図２）は、熟練者の音声を集音して得られた音声データを指導側通信部１１及び続くネットワーク４を介してリアルタイムで送信する。協働側情報処理装置３に設けられたスピーカ８０（図２）は、協働側通信部２１にて受信した音声データに基づく音声をリアルタイムに再生する。

さらに協働側情報処理装置３における力変位伝達ユニット２４は、協働側通信部２１にて受信した音声データに基づく発話内容に応じて、協働者への力覚付与を即座に停止させ又は再開させる。この結果、熟練者が協働者に指導する際に手技の間接的な力覚による伝達よりも、言葉で直接伝えた方が伝わりやすい場合には、リアルタイムで口頭指導を優先させることが可能となる。

（６）蓄積データ管理及び活用方法
インタラクティブ情報伝達システム１において、指導側情報処理装置２の指導側通信部１１及び協働側情報処理装置３の協働側通信部２１にそれぞれネットワーク４を介してデータ管理装置４０が接続されている（図２）。このデータ管理装置４０は、図１３に示すように、サーバ構成の作業データ記憶部１５０を有し、作業に関する熟練者及び協働者の一連の動作内容をそれぞれ指導側作業データ及び協働側作業データとして相互に対応付けて当該作業データ記憶部１５０に記憶する。

データ管理装置４０は、管理制御部（有意特徴抽出部及び技能分析部）１５１を有し、作業データ記憶部１５０から読み出した指導側作業データ及び協働側作業データに基づいて、各動作内容のうち有意な特徴点（熟練者の手技のうち協働者との差異が比較的大きい動作）を時系列的に順次抽出した後、当該抽出した各特徴点について、作業における優れた技能に相当するか否かを分析する。

続いて管理制御部１５１は、肯定的な分析結果として得られた各特徴点を含む動作内容を、熟練者による優れた技能を表す技能データとしてサーバ構成の技能データ記憶部１５２に記憶する。本実施形態では作業データ記憶部１５０と技能データ記憶部１５２を別体のサーバ構成にした場合について述べたが、いずれか一方のサーバに統合させるようにしても良い。

この結果、熟練者及び協働者の作業内容（一連の動作内容）を作業データ記憶部１５０に蓄積するとともに、当該蓄積データを解析して、技能向上に役立つ動作の提案や推定のための情報を技能データ記憶部１５２に記憶しながら提供することが可能となる。

さらにデータ管理装置４０において、管理制御部（データ読出部及び動作内容推定部）１５１は、作業と同一の作業に関して、協働者が一連の動作内容を実行する際、当該各動作内容と関連性の高い技能データを技能データ記憶部１５２から逐次読み出した後、協働者の各動作内容について、技能データに基づく優れた技能に相当する動作内容と合致する可能性が時系列的に高くなるか否かを逐次推定する。

すなわち協働者が現在の作業である一連の動作内容を実行しながら、熟練者の技能である動作内容についてリアルタイムで指導を受けるには、その直前の動作内容から推定する必要がある。動作内容の前後での相関性の高さに基づいて、優れた技能に相当する動作内容をリアルタイムで推定することが望ましい。

続いて管理制御部（動作内容反映部）１５１は、当該推定結果に基づいて、技能データに基づく優れた技能に相当する動作内容を、リアルタイムで協働者が実行する動作内容に反映させて協働者を指導する。

（７）本実施形態の動作及び効果
以上の構成において、インタラクティブ情報伝達システム１では、熟練者と協働者とがネットワーク４を介して相互に情報授受しながら、熟練者が特定の作業に関して自己の技能を協働者に対して指導するに際して、図１４に示すインタラクティブ情報伝達処理手順ＲＴ１をステップＳＰ０から開始する。

まず熟練者側では、協働者が扱う対象物の映像をネットワーク４を介して受信して表示しながら、当該映像の表示範囲内における熟練者の視線延長先の位置を視線位置データとして検知する（ステップＳＰ１）。

これと同時に、熟練者の各指先をエンドポイントとして、それぞれ３次元方向の動きに応じた手先動作データを検知した後（ステップＳＰ２）、視線位置データ及び手先動作データをリアルタイムでネットワークを介して協働者側に送信する（ステップＳＰ３）。

続いて、協働者側では、対象物を中心とする映像を撮像しながら、当該映像の表示範囲内においてネットワークを介して熟練者側から受信した視線位置データに基づく熟練者の視線延長先の位置をマーク表示する（ステップＳＰ４）。

これと同時に、協働者の各指先にそれぞれ装着されるエンドエフェクタについて手先動作データに基づく３次元方向の動きを伝達しながら、当該各指に対して３次元的な動作を促すような力覚を与えた後（ステップＳＰ５）、対象物を中心として撮像される映像とともに、３次元方向の動きの伝達結果である各エンドエフェクタの物理フィードバック情報を、ネットワークを介して熟練者側に送信する（ステップＳＰ６）。この後、再度ステップＳＰ１に戻って上述と同様の処理を繰り返す。

以上の構成によれば、遠隔地にいる熟練者がネットワークを介して協働者と臨場感を共有しながら、相互に情報授受すると同時に、特定の作業に関して暗黙知である自己の技能を非常に高い精度で間接的にリアルタイムで協働者に指導すること可能なインタラクティブ情報伝達システムを実現できる。

（８）他の実施の形態
なお本実施の形態においては、熟練者と協働者とがネットワークを介して相互に情報授受しながら、熟練者がカテーテルアブレーション治療手術に関して自己の技能を協働者に対して指導するインタラクティブ情報伝達システム１について述べたが、本発明はこれに限らず、熟練者の手技を技能として協働者に指導する作業であれば、治療手術以外にも伝統工芸や料理などの職人技の技能承継につながる種々の作業に広く適用することができる。

また本実施の形態においては、指導側情報処理装置２における視線検知部１３を用いて、指導側映像表示部１２に表示されている映像の表示範囲内における熟練者の視線延長先の位置を検知し、協働側情報処置装置３における協働側映像表示部２３の表示範囲内にて当該検知結果である熟練者の視線延長先の位置をマーク表示するようにした場合について述べたが、本発明はこれに限らず、協働側映像表示部２３の表示範囲内における協働者の視線延長先の位置を検知して指導側映像表示部１２にマーク表示させるようにしても良い。

すなわち図２との対応部分に同一符号を付した図１５に示すように、インタラクティブ情報伝達システム２００における協働側情報処理装置２０１において、視線検知部２０２は、図２に示す視線検知部１３と同様の構成からなり、協働側映像表示部２３の表示範囲内における協働者の視線延長先の位置を視線位置データとして検知するようになされている。

視線検知部２０２は、視線位置データを協働側通信部２１に送出し、指導側映像表示部２３は、表示範囲内において指導側通信部１１にて受信した視線位置データに基づく協働者の視線延長先の位置をマーク表示する。

この結果、図１６に示すように、熟練者は、自己の視線先の位置を協働側映像表示部２３の表示範囲内にマーク表示（Ｍ１）させると同時に、協働者の視線先の位置を指導側映像表示部１２の表示範囲内にマーク表示（Ｍ２）させることができ、協働者及び熟練者が相手側の視線位置を相互にリアルタイムで目視確認しながら作業することが可能となる。

また本実施の形態においては、熟練者側が各指先の動作をエンドポイントとして動き検知すると同時に、協働者側が各指先にエンドエフェクタを装着して、熟練者の技能を協働者に指導する場合について述べたが、本発明はこれに限らず、熟練者が協働者と同一構成（同等の機能と構造）を有するエンドポイントを各指先に装着して、遠隔の協働者側のエンドエフェクタと熟練者側のエンドエフェクタが一体的に動作するようにしても良い。その際、インタラクティブに手先動作データＤ１に基づく３次元方向の動きの伝達比を可変することにより、熟練者優位か協働者優位かを調整することができる。

同一構成の力変位伝達ユニットを熟練者及び協働者の手先にそれぞれ装着する場合について説明する。この力変位伝達ユニット２０５は、図１７に示すような上下左右の自由度で駆動されるワイヤＷＲを３本の指（親指、人差し指、中指）に添わせて指先の動作をガイドできる構造のエンドエフェタ２０６を有する。このエンドエフェクタ２０６は、上述した図４に示す線状部材から構成されるエンドエフェクタ１０１と実質的に同一構造からなる。

手の甲に巻着されているガイド部ＧＤには、使用状況に応じて点灯又は点滅するリング状発光部２０７が取り付けられている。このリング状発光部２０７には、熟練者及び協業者のインタラクティブな動きの伝達比、または、相手側（熟練者にとっては協業者、協業者にとっては熟練者）の力、または変位の大きさにに応じた発光状態（発光色、点灯又は点滅パターン）で発光させることにより、熟練者優位か協働者優位かをそれぞれ本人が認識することができる。

熟練者は、各エンドエフェクタ２０６について指導側通信部１１にて受信した協働側の各エンドエフェクタ２０６の物理フィードバック情報に基づく３次元方向の動きを伝達しながら、当該各指に対して３次元的な動作を促すような力覚を感知することができる。すなわち、熟練者は、協働者と同一構成のエンドエフェクタ２０６を各指に装着した状態において、自分が伝達した手先の動きに対して協働者の作業内容を力覚伝達結果として力変位伝達ユニット２０５を通じてフィードバック的に感知することができる。

従って、熟練者は、自己の指導内容と協働者の応答内容とのギャップをリアルタイムで感知することができるのみならず、各エンドエフェクタ２０６が協働者と一体的に動作し、インタラクティブに指先の動作情報を伝達し合うことが可能となる。熟練者及び協働者が互いに指先の動かし具合を確認しながら同一の作業をすることが可能となる。

実際に熟練者及び協働者がそれぞれ両手に力変位伝達ユニット２０５（主としてエンドエフェクタ２０６）を装着した状態で、同一構成の電極カテーテル１３０を保持しながらカテーテルアブレーション治療を実施する場合を図１８（Ａ）及び（Ｂ）に示す。実際の治療現場にて治療にあたる遠隔の協働医師側（図１８（Ａ））に対して、指導医師側（図１８（Ｂ））が電極カテーテル１３０を操作して指導を行うことにより、熟練者の手を遠隔の協働者の手に添えているかのごとく、擬似的な二人羽織（熟練者が協働者とともに治療に参画）を実現することが可能となる。

さらに本実施の形態においては、熟練者と協働者が同一構成の電極カテーテル（作業用電子器具）１３０を用いて操作する場合、熟練者の操作内容の調整量を協働者による操作よりも優先させて電極カテーテル１３０の操作内容に反映させるようにした場合について述べたが、本発明はこれに限らず、作業用電子器具（電極カテーテル）に専用の器具用アタッチメントを取り付けることにより、当該器具用アタッチメントを介して作業用電子器具における複数の操作内容を定量的に計測するようにしてもよい。

すなわち図１９に示すように、電極カテーテル１３０に対して当該電極カテーテル１３０と別体に着脱自在に器具用アタッチメント２１０を取り付ける。この器具用アタッチメント２１０は、電極カテーテル１３０のハンドル部１３１を覆うハンドル保持部２１１と、電極カテーテル１３０のシャフト１３６を上下方向から挟み込んで把持するシャフト把持部２１２とを有する。

ハンドル保持部２１１は、図２０（Ｂ）に示すように、電極カテーテル１３０のハンドル部１３１を覆うシェル筐体部２２０と、電極カテーテル１３０のレバー１３３と一体となって可動自在に固定されるレバー保持部２２１と、当該レバー保持部２２１のレバー回転軸を挟んで両側から引き出された一対のワイヤ２２２と、当該各ワイヤ２２２のいずれか一方のみ押し出し又は引き込むように駆動するワイヤ駆動部２２３とを有する。

シャフト把持部２１２は、図１９及び図２０（Ｂ）に示すように、一対の湾曲当接部２３０の凸側同士をシャフト１３６の上下方向から挟み込んで当該シャフト１３６を把持するとともに、把持力調整部２３１により一対の湾曲当接部２３０の挟み込み力を調整するようになされている。

このように電極カテーテル１３０（図２０（Ａ））に対して器具用アタッチメント２１０（図２０（Ｂ））を取り付けることにより、図１９及び図２０（Ｃ）のように一体化した装置として、電極カテーテル１３０のレバー１３３を調整し、シャフト１３６を絡めた特定の操作を行い得る。

この器具用アタッチメント２１０におけるハンドル保持部２１１のシェル筐体部２２０の外側表面には、図２１（Ａ）及び（Ｂ）に示すように、全外周面にわたって力覚フィードバック付与部２３５が設けられており、当該ハンドル保持部２１１を把持する熟練者又は協働者の手のひらに対して物理的な力覚を感知させ得るようになされている。

図２２に器具用アタッチメント２１０の回路構成を示す。器具用アタッチメント２１０は、複数の操作内容のうち定量化可能な操作手段（レバー１３３やテンションノブ１３４、一対の湾曲当接部２３０）による調整量を計測する調整量計測部２４０と、当該複数の操作内容のうち操作手段以外の操作状態を定量化して計測する操作状態計測部２４１と、調整量計測部２４０及び操作状態計測部２４１による計測結果に基づいて、当該計測結果を併せた同期データを生成する同期データ生成部２４２とを有する。

操作状態計測部２４１は、加速度センサ及びジャイロセンサ（角速度センサ）を有し、器具用アタッチメント２１０の３次元姿勢を動的に計測するようになされている。なお、操作状態計測部２４１は、加速度センサ及びジャイロセンサのような慣性センサのみならず、必要に応じて種々のセンサ（光電センサ、超音波センサ、画像判別センサ、レーザセンサ、磁気センサ等の物理センサ）を搭載するようにしてもよい。

同期データ生成部２４２は、協働側情報処理装置３における協働側通信部２１と指導側情報処理装置２における指導側通信部１１との間で、協働側制御部２０及び指導側制御部１０の制御下において、ネットワーク４を介して同期データを相互に送受信する。

協働側及び指導側の器具用アタッチメント２１０は、協働側及び指導側の間にて同期データのデータ比較結果に基づく操作内容の差異量を検知する差異量検知部２４３と、差異量検知部により検知された差異量に応じた力覚を協働者及び熟練者の手先にそれぞれ付与してフィードバック的に感知させる力覚フィードバック付与部２３５（図２１）とをそれぞれ備える。

このように協働側及び指導側において作業用電子器具（電極カテーテル１３０）にそれぞれ同一構成の器具用アタッチメント２１０を装着することにより、図２３（Ａ）及び（Ｂ）に示すように、協働者も熟練者もお互いに相手側の操作手段による調整量及びそれ以外の操作状態を力覚として感知し合いながら、作業用電子器具を操作することができる。特に作業用電子器具の操作手段以外の操作状態である、手先の繊細な作業による手技や判断についても定量的な力覚として相互に伝達することが可能となる。

ここで、図２３（Ａ）及び（Ｂ）に示すように熟練者及び協働者が力変位伝達ユニット２０５をそれぞれ装着した左右の手で器具用アタッチメント２１０のハンドル保持部２１１及びシャフト把持部２１２を操作する場合について説明する。熟練者が右手で器具用アタッチメント２１０のハンドル保持部２１１を把持するとともに、左手で器具用アタッチメント２１０のシャフト把持部２１２を把持する。

熟練者は、右手でハンドル保持部２１１を把持しながら、レバー保持部２１２を介して電極カテーテル１３０のレバー１３３を操作すると同時に、左手で器具用アタッチメント２１０のシャフト保持部２１２の一対の湾曲当接部２３０を指先で上下方向から挟むようにつまみながら、当該各湾曲当接部２３０を介して電極カテーテル１３０のシャフト１３６を把持する。

熟練者が右手でハンドル保持部２１１をシャフト１３６の長手方向を回転中心としてねじると同時に長手方向又はこれとは逆方向に移動させながら、左手でシャフト把持部２１２の挟み込み力を調整することにより、シャフト１３６のひねり具合を微調整しながら先端部の屈曲状態を非常に細かいレベルまで調整することができる（図２４）。

このような手技は、力変位伝達ユニット２０５のエンドエフェクタ２０６のみからは伝達困難な技能であり、作業用電子器具（電極カテーテル１３０）の特有の器具用アタッチメント２１０を用いて操作内容を定量化させることが可能となる。

さらに本実施の形態においては、データ管理装置４０では、作業に関する熟練者及び協働者の一連の動作内容をそれぞれ指導側作業データ及び協働側作業データとして相互に対応付けて当該作業データ記憶部１５０に記憶するようにした場合について述べたが、本発明はこれに限らず、作業（カテーテルアブレーション治療手術）に伴う各種情報、すなわち、熟練者の手技や指示、作業（治療）時の対象者（患者）に関する種々の記録可能な情報（例えば、時間軸情報を伴う周囲や作業状態の動画像や、音、生理状態、治療状態、身体に関する情報など）、協働者の作業（治療実施）に伴う情報、温度や音響を含む環境情報などについても作業データ記憶部１５０に記憶するようにしても良い。

またデータ管理装置４０において、熟練者から得られる全ての情報は、人工知能による深層学習を促進させるための情報としても活用することが可能である。さらに協働者は、熟練者が不在の場合でも、データ管理装置４０に記録された種々の情報に基づいて、過去に実施した作業（治療）の結果を何度でも再現しながら、自己の作業（治療）の技量を高めるための反復練習を行うことにより、熟練者の養成が可能なシステムとして利用することも可能となる。

さらに本実施の形態においては、熟練者と協働者が同一構成の電極カテーテル（作業用電子器具）１３０に上述した器具用アタッチメントを介して作業用電子器具における複数の操作内容を定量的に計測するようにした場合について述べたが、本発明はこれに限らず、協働側器具用アタッチメント自体を協働者の操作と無関係に動作可能にロボット化して、指導側器具用アタッチメントの操作内容をそのまま協働側器具用アタッチメントの操作内容として伝達するようにしても良い。

Ａ．熟練者が作業用電子器具をそのまま操作する場合
図１２との対応部分に同一符号を付して示す図２５において、この情報伝達システム２５０では、熟練者が特定の作業を行う際に自己の指先を用いて指導側作業用電子器具１３０を操作しながら、当該作業に関して自己の技能をネットワーク４を介して協働側に伝達するようになされている。協働側は上述した器具用アタッチメント２１０と機構的にはほぼ同一の構成を有する協働側器具用アタッチメント式ロボット２６０を装着するが、当該器具用アタッチメント２１０とは信号処理系の回路構成が異なる。

指導側情報処理装置２は、指導側制御部１０の統括制御下、指導側作業用電子器具１３０の操作内容のうち定量化可能な操作による調整量を指導側調整データＤ１０として抽出する操作データ定量抽出部１４０と、当該指導側調整データＤ１０を送信する指導側通信部１１（図２５では省略）とを有する。

協働側器具用アタッチメント式ロボット２６０は、指導側作業用電子器具１３０と同一構成からなる協働側作業用電子器具１３０に着脱自在に取り付けられ、指導側通信部１１からネットワーク４を介して送信される指導側調整データＤ１０を受信する協働側通信部２１（図２５では省略）と、指導側調整データＤ１０に基づいて、該当する操作内容の調整量を協働側作業用電子器具１３０の操作内容に反映させる操作内容反映部２７０とを有する。

また協働側器具用アタッチメント式ロボット２６０は、協働側作業用電子器具１３０における複数の操作内容のうち定量化可能な操作による調整量を計測する調整量計測部２８０を備える。操作内容反映部２７０は、調整量計測部２８０からフィードバックされる調整量に基づいて、協働側作業用電子器具１３０における当該操作内容の調整量をキャリブレーション補正する。

このように情報伝達システム２５０では、協働側器具用アタッチメント式ロボット２６０は、熟練者による指導側作業用電子器具１３０の操作内容が伝達されるタイミングに同期して、当該操作内容と同一の操作内容を協働側作業用電子器具１３０に対してリアルタイムで動作実行することができる。

この結果、協働側にて協働者の手先による操作を行うことなく、協働側器具用アタッチメント式ロボット２６０が熟練者による指導側作業用電子器具１３０の操作内容に関して暗黙知である技能を非常に高い精度で間接的にリアルタイムに再現することができる。

Ｂ．熟練者が作業用電子器具を器具用アタッチメントを装着した状態で操作する場合

図１９との対応部分に同一符号を付して示す図２６において、協働側器具用アタッチメント式ロボット２９０は、上述した器具用アタッチメント２１０とは力覚フィードバック付与部２３５を除くとともに信号処理系の回路が異なる点を除いて、機構的にはほぼ同一の構成を有する。

この情報伝達システム３００（後述する図２７）では、熟練者が特定の作業を行う際に自己の指先を用いて指導側作業用電子器具１３０を操作しながら、当該作業に関して自己の技能をネットワーク４を介して協働側に伝達するようになされている。

協働側器具用アタッチメント式ロボット２９０は、上述した電極カテーテル（指導側作業用電子器具）１３０（図２０（Ａ））と別体に着脱自在に取り付け可能であり、電極カテーテル１３０のハンドル部１３１を覆うハンドル保持部２１１と、電極カテーテル１３０のシャフト１３６を上下方向から挟み込んで把持するシャフト把持部２１２とを有する。

ハンドル保持部２１１は、電極カテーテル１３０のハンドル部１３１を覆うシェル筐体部２２０と、電極カテーテル１３０のレバー１３３と一体となって可動自在に固定されるレバー保持部２２１と、当該レバー保持部２２１のレバー回転軸を挟んで両側から引き出された一対のワイヤ２２２と、当該各ワイヤ２２２のいずれか一方のみ押し出し又は引き込むように駆動するワイヤ駆動部２２３とを有する。

シャフト把持部２１２は、一対の湾曲当接部２３０の凸側同士をシャフト１３６の上下方向から挟み込んで当該シャフト１３６を把持するとともに、把持力調整部２３１により一対の湾曲当接部２３０の挟み込み力を調整するようになされている。

このように協働側器具用アタッチメント式ロボット２９０を電極カテーテル１３０に対して取り付けることにより、一体化した装置として、電極カテーテル１３０のレバー１３３を自動的に操作し、シャフト１３６を絡めた特定の操作を行い得る。

さらに協働側器具用アタッチメント式ロボット２９０においては、ハンドル保持部２１１及びシャフト把持部２１２に、それぞれ加速度センサ及びジャイロセンサ（角速度センサ）を含む種々の物理センサ（光電センサ、超音波センサ、画像判別センサ、レーザセンサ、磁気センサ等の物理センサ）を搭載するようにしてもよい。本実施の形態では、物理センサとして、例えば、３軸加速度センサ及び３軸角速度センサ（ジャイロセンサ）からなる６軸モーションセンサが搭載されている。

図２２との対応部分に同一符号を付して示す図２７において、指導側器具用アタッチメント２１０は、指導側作業用電子器具１３０に着脱自在に取り付けられ、複数の操作内容のうち定量化可能な操作手段による調整量を計測する調整量計測部２４０と、当該複数の操作内容のうち操作手段以外の操作状態を定量化して計測する操作状態計測部２４１と、調整量計測部２４０及び操作状態計測部２４１による計測結果に基づいて、当該計測結果を併せた同期データを生成する同期データ生成部２４２と、同期データを送信する指導側通信部１１とを有する。

協働側器具用アタッチメント式ロボット２９０は、指導側作業用電子器具１３０と同一構成からなる協働側作業用電子器具１３０に着脱自在に取り付けられ、指導側通信部１１からネットワーク４を介して送信される同期データを受信する協働側通信部２１と、同期データに基づく各操作手段の調整量及び当該操作手段同士の操作タイミングを制御信号として生成する操作制御部３１０と、当該操作制御部３１０による制御信号に基づいて各操作手段を駆動する操作手段駆動部３２０とを有する。

操作制御部３１０は、複数の操作内容のうち定量化可能な操作手段（レバー１３３やテンションノブ１３４、一対の湾曲当接部２３０）について、その調整量及び当該操作手段同士の操作タイミングを同期データから抽出し、制御信号として操作手段駆動部３２０に送出する。

操作手段駆動部３２０は、ハンドル保持部２１１のワイヤ駆動部２２３およびシャフト把持部２１２の把持力調整部２３１とからなり、操作制御部３１０からの制御信号に基づいて、対応する操作手段を駆動する。

また協働側器具用アタッチメント式ロボット２９０は、協働側作業用電子器具１３０における複数の操作内容のうち定量化可能な操作手段による調整量を計測する調整量フィードバック計測部３３０を備える。操作制御部３２０は、調整量フィードバック計測部３３０からフィードバックされる調整量に基づいて、操作手段の調整量をキャリブレーション補正する。

さらに協働側器具用アタッチメント式ロボット２９０は、協働側作業用電子器具１３０における複数の操作内容のうち操作手段以外の操作状態を定量化して計測する操作状態フィードバック計測部３４０を備える。

この協働側器具用アタッチメント式ロボット２９０にも、ハンドル保持部２１１及びシャフト把持部２１２に、それぞれ加速度センサ及びジャイロセンサ（角速度センサ）を含む種々の物理センサ（光電センサ、超音波センサ、画像判別センサ、レーザセンサ、磁気センサ等の物理センサ）が搭載されている。本実施の形態では、物理センサとして、例えば、３軸加速度センサ及び３軸角速度センサ（ジャイロセンサ）からなる６軸モーションセンサが搭載されている。

ここで複数の操作内容のうち操作手段以外の操作状態とは、上述した図２４に示すように、熟練者が右手でハンドル保持部２１１をシャフト１３６の長手方向を回転中心としてねじると同時に長手方向又はこれとは逆方向に移動させながら、左手でシャフト把持部２１２の挟み込み力を調整することにより、シャフト１３６のひねり具合を微調整しながら先端部の屈曲状態を非常に細かいレベルまで調整するような操作状態が挙げられる。

このように作業用電子器具の操作手段以外の操作状態である、手先の繊細な作業による手技や判断についても、操作手段同士の相互の動作状態をリアルタイムで関連付けながら物理センサの検出結果に基づいて定量化させる。

操作制御部３１０は、同期データに基づく操作手段以外の操作状態の計測量（物理センサの検出結果）を制御信号に含めて生成し、当該制御信号を協働側通信部２１を介して協働側作業用電子機器１３０と連携動作する外部機器（図示せず）に送信する。

操作制御部３２０は、外部機器及び協働側作業用電子器具１３０を介して操作状態フィードバック計測部３４０からフィードバックされる操作状態の計測量と指導側の操作状態の計測量との比較結果を表すキャリブレーションデータを生成する。

この外部機器は、ハンドル保持部２１１及びシャフト把持部２１２をそれぞれ保持するロボットアーム（図示せず）からなり、ハンドル保持部２１１のワイヤ駆動部２２３およびシャフト把持部２１２の把持力調整部２３１の相互の動作状態をリアルタイムで関連つけながら３次元姿勢状態を検出するようになされている。

この外部機器に対して、協働側器具用アタッチメント式ロボット２９０からキャリブレーションデータを送信することにより、外部機器にて操作手段同士の動作状態をキャリブレーション補正することが可能となる。

外部機器としては、ロボットアーム以外にも、協働側器具用アタッチメント式ロボット２９０における操作手段同士の相互の３次元動作状態をリアルタイムで正確かつ高精度に検出することができれば、ロボットアーム以外の構造のものを適用してもよい。

このように情報伝達システム３００では、協働側器具用アタッチメント式ロボット２９０は、熟練者による指導側作業用電子器具１３０の操作内容が器具用アタッチメント２１０を介して伝達されるタイミングに同期して、当該操作内容と同一の操作内容を協働側作業用電子器具１３０に対してリアルタイムで動作実行することができる。

その際、協働側器具用アタッチメント式ロボット２９０は、定量化可能な操作手段による操作状態のみならず、外部機器による当該操作手段以外の操作状態（操作手段同士の相互の３次元動作状態）をリアルタイムで正確かつ高精度に検出することができる。

この結果、協働側にて協働者の手先による操作を行うことなく、協働側器具用アタッチメント式ロボット２９０が熟練者による指導側作業用電子器具１３０の操作内容に関して暗黙知である技能を非常に高い精度で間接的にリアルタイムに再現することができる。さらに、熟練者から得られる操作内容に関する全ての情報は、人工知能の学習促進のための情報としても活用し、ロボット化次世代治療システムとしても展開することが可能となる。

１、２００…インタラクティブ情報伝達システム、２…指導側情報処理装置、３、２０１…協働側情報処理装置、４…ネットワーク、１０…指導側制御部、１１…指導側通信部、１２…指導側映像表示部、１３、２０２…視線検知部、１４…動き検知ユニット、２１…協働側通信部、２２…対象物撮像部、２３…協働側映像表示部、２４、２０５…力変位伝達ユニット、２５、１００、１２０、２０６…エンドエフェクタ、３０…力覚伝達駆動部、３１…信号変換部、３２…力覚伝達制御部、３３…伝達比設定部、４０…データ管理装置、５０…周辺温度計測部、５１…指先温度調節部、６０…協働側データ表示部、６１…指導側データ表示部、７０…周囲音集音部、７１…周囲音再生部、８０…スピーカ、８１…マイクロホン、１０１…指先背保持部、１０２…第１線状部材、１０３…第２線状部材、１０７…伸屈駆動部、１０８…内外転駆動部、１０６、１２５…駆動ユニット、１２１…リング部、１２２…内輪、１２３…外輪、１２４…アクチュエータ、１３０…電極カテーテル、１４０…操作データ定量抽出部、１４１…操作データ優先反映部、１４２…操作ずれ量検知部、１４３…操作フィードバック付与部、２０７…リング状発光部、２１０…器具用アタッチメント、２１１…ハンドル保持部、２１２…シャフト把持部、２２０…シェル筐体部、２２１…レバー保持部、２２２…ワイヤ、２２３…ワイヤ駆動部、２３０…湾曲当接部、２３１…把持力調整部、２３５…力覚フィードバック付与部、２４０、２８０…調整量計測部、２４１…操作状態計測部、２４２…同期データ生成部、２４３…差異量検知部、２５０、３００…情報伝達システム、２６０、２９０…協働側器具用アタッチメント式ロボット、２７０…操作内容反映部、３１０…操作制御部、３２０…操作手段駆動部、３３０…調整量フィードバック計測部、３４０…操作状態フィードバック計測部、ＲＴ…インタラクティブ情報伝達処理手順。

Claims

熟練者が特定の作業を行う際に自己の指先を用いて指導側作業用電子器具を操作しながら、当該作業に関して自己の技能をネットワークを介して協働側に伝達する情報伝達システムにおいて、
前記指導側作業用電子器具の操作内容のうち定量化可能な操作による調整量を指導側調整データとして抽出する操作データ定量抽出部と、当該指導側調整データを送信する指導側通信部とを有する指導側情報処理装置と、
前記指導側作業用電子器具と同一構成からなる協働側作業用電子器具に着脱自在に取り付けられ、前記指導側通信部から前記ネットワークを介して送信される前記指導側調整データを受信する協働側通信部と、前記指導側調整データに基づいて、該当する操作内容の調整量を前記協働側作業用電子器具の操作内容に反映させる操作内容反映部とを有する協働側器具用アタッチメント式ロボットと
を備えることを特徴とする情報伝達システム。
前記協働側作業用電子器具における複数の操作内容のうち定量化可能な操作による調整量を計測する調整量計測部を備え、
前記操作内容反映部は、前記調整量計測部からフィードバックされる調整量に基づいて、前記協働側作業用電子器具における当該操作内容の調整量をキャリブレーション補正する
ことを特徴とする請求項１に記載の情報伝達システム。
熟練者が特定の作業を行う際に自己の指先を用いて指導側作業用電子器具を操作しながら、当該作業に関して自己の技能をネットワークを介して協働側に伝達する情報伝達システムにおいて、
前記指導側作業用電子器具に着脱自在に取り付けられ、複数の操作内容のうち定量化可能な操作手段による調整量を計測する調整量計測部と、当該複数の操作内容のうち前記操作手段以外の操作状態を定量化して計測する操作状態計測部と、前記調整量計測部及び前記操作状態計測部による計測結果に基づいて、当該計測結果を併せた同期データを生成する同期データ生成部と、前記同期データを送信する指導側通信部とを有する指導側器具用アタッチメントと、
前記指導側作業用電子器具と同一構成からなる協働側作業用電子器具に着脱自在に取り付けられ、前記指導側通信部から前記ネットワークを介して送信される前記同期データを受信する協働側通信部と、前記同期データに基づく各前記操作手段の調整量及び当該操作手段同士の操作タイミングを制御信号として生成する操作制御部と、当該操作制御部による前記制御信号に基づいて前記各操作手段を駆動する操作手段駆動部とを有する協働側器具用アタッチメント式ロボットと
を備えることを特徴とする情報伝達システム。
前記協働側作業用電子器具における複数の操作内容のうち定量化可能な操作手段による調整量を計測する調整量フィードバック計測部を備え、
前記操作制御部は、前記調整量フィードバック計測部からフィードバックされる調整量に基づいて、前記操作手段の調整量をキャリブレーション補正する
ことを特徴とする請求項３に記載の情報伝達システム。
前記協働側作業用電子器具における複数の操作内容のうち前記操作手段以外の操作状態を定量化して計測する操作状態フィードバック計測部を備え、
前記操作制御部は、前記同期データに基づく前記操作手段以外の操作状態の計測量を前記制御信号に含めて生成し、当該制御信号を前記協働側通信部を介して前記協働側作業用電子機器と連携動作する外部機器に送信し、
前記操作制御部は、前記外部機器及び前記協働側作業用電子器具を介して前記操作状態フィードバック計測部からフィードバックされる操作状態の計測量と前記指導側作業用電子器具の操作状態の計測量との比較結果を表すキャリブレーションデータを生成する
ことを特徴とする請求項４に記載の情報伝達システム。