JP7451004B1

JP7451004B1 - 遠隔操作システム

Info

Publication number: JP7451004B1
Application number: JP2023571756A
Authority: JP
Inventors: 耕太郎只野
Original assignee: Riverfield Inc
Current assignee: Riverfield Inc
Priority date: 2022-04-28
Filing date: 2022-04-28
Publication date: 2024-03-18
Anticipated expiration: 2042-04-28
Also published as: WO2023209932A1; JPWO2023209932A1

Abstract

機器が触れる対象表面の状態を操作者に知覚させる新たな技術を提供するべく、遠隔操作システム(100)は、対象(O)へ作用する機器を遠隔で操作する操作装置(10)と、対象と機器との接触時の音を検出するマイクロフォン(54)と、操作装置(10)に設けられた、操作者に触覚を提示する触覚提示部(56)と、触覚提示部(56)が提示する触覚に対応する動作を算出する演算部(58)と、を備える、演算部(58)は、音に基づいて動作を算出するように構成した。

Description

本発明は、遠隔操作システムに関する。

現在の医療現場において、手術中の術者への負担を低減させることを目的とした手術ロボット（マニピュレータ）が普及してきている。例えば、術者が１つまたは複数のマスタ入力装置を制御することによって、対応する遠隔操作ツールの動きで患者に手術処置を施す低侵襲のコンピュータ支援遠隔操作手術システムが考案されている（特許文献１参照）。

一方，これらの手術ロボットを使用する際に、術者は視覚情報のみを頼りとして手術を行う必要がある。そのため、本来得られる手先の感覚がないことによる影響を受ける可能性がある。例えば、鉗子と臓器が衝突したことに気づかずに患者の臓器を圧迫してしまう可能性がある。そこで、使用に際しては十分な訓練を経た上でそれを踏まえた手術を行う必要があり、その解決策として力覚や触覚を術者へ提示する機能の開発が求められてきた。

例えば、特許文献２には、主操作装置の手動操作に倣った従操作装置の自動操作を制御し、従操作装置は空気圧駆動系による力制御を主とする操縦システムが開示されている。この操縦システムは、術者への力覚提示機能を有している。

特開２０２２－４８１７３号国際公開第０８／１０８２８９号

しかしながら、前述の操縦システムが術者に提示する力覚は、対象から受ける比較的大きな反力が必要であり、対象との微小な衝突や接触は反映されにくい。そのため、対象表面の硬さや表面状態を力覚として捉えることは困難である。

本発明はこうした状況に鑑みてなされたものであり、その例示的な目的の一つは、機器が触れる対象表面の状態を操作者に知覚させる新たな技術を提供することにある。

上記課題を解決するために、本発明のある態様の遠隔操作システムは、対象へ作用する機器を遠隔で操作する操作装置と、対象と機器との接触時の音を検出するマイクロフォンと、操作装置に設けられた、操作者に触覚を提示する触覚提示部と、触覚提示部が提示する触覚に対応する動作を算出する演算部と、を備える。演算部は、音に基づいて動作を算出する。

この態様によると、操作装置で操作する際に力覚では伝えきれない対象の情報を触覚として操作者に伝えることができる。ここで、触覚とは、例えば、対象に触れた際に対象表面の硬さや表面状態（凹凸等）の情報を伝えうる感覚である。また、対象とは、例えば、機器で把持したり切断したりする物体や、手術の際に術具を用いて処置する人体の一部である。

触覚提示部は、マイクロフォンが検出した音に基づいて駆動するアクチュエータを有してもよい。これにより、操作装置による遠隔操作によって機器が対象に触れた際の感覚を振動として間接的に操作者に伝達できる。

アクチュエータは、少なくとも２００～４００Ｈｚの範囲で振動可能なボイスコイルモータであってもよい。これにより、振動の周波数に応じて対象の硬さを操作者に知覚させることができる。

機器として手術に用いられる術具を更に備えてもよい。マイクロフォンは、対象と術具とが接触する位置の近傍に設けられていることを特徴としてもよい。これにより、対象と術具とが接触した際の音を精度良く検出できる。

マイクロフォンは、少なくとも５０Ｈｚ～１０００Ｈｚの範囲の音を集音できる。これにより、対象と機器との接触の際に発生しうる周波数の音を集音できる。

術具は、シャフトを有する鉗子であってもよい。マイクロフォンは、鉗子を着脱可能に保持する本体に設けられており、鉗子を伝わった音を検出していてもよい。

不潔領域にある本体と領域にある鉗子とを分離するセパレータを備えていてもよい。セパレータと鉗子との間に空気よりも音を伝搬しやすい伝搬部材が挟まれていてもよい。

術具は、シャフトを有する鉗子であってもよい。マイクロフォンをシャフトに対して固定する接着剤を備えていてもよい。また、マイクロフォンは、集音部が露出しないように接着剤で被覆されていてもよい。これにより、環境音を含む外部音が集音部で集音されにくくなり、シャフト自体を伝わってきた固体伝搬音を優先的に集音できる。

マイクロフォンとシャフトとの間にウレタンゴムが挟まれていてもよい。これにより、外部音を遮断しつつ固定伝搬音を精度良く集音できる。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、機器が触れる対象表面の状態を操作者に感じさせることができる。

本実施の形態に係る遠隔操作システムの概略構成を示す図である。マイクロフォンと鉗子との接合部近傍を拡大した模式図である。本実施の形態に係る操作装置の概略構成を示す側面図である。本実施の形態に係る操作装置の概略構成を示す上面図である。本実施の形態に係る操作装置が備えるジンバル部の概略構成を説明するための側面図である。本実施の形態に係る操作装置が備えるジンバル部の概略構成を説明するための上面図である。変形例に係るスレーブ機の概略構成を示す側面図である。変形例に係るスレーブ機のＥ領域（図７参照）の拡大断面図である。他の変形例に係るスレーブ機のＥ領域（図７参照）の拡大断面図である。

以下、本発明を実施の形態をもとに図面を参照しながら説明する。各図面に示される同一又は同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述される全ての特徴やその組合せは、必ずしも発明の本質的なものであるとは限らない。

本実施の形態に係る遠隔操作システムは、マスタスレーブ方式の手術支援ロボットにおけるマスタ側マニピュレータの操作に用いられる。手術支援ロボットとしては、例えば、内視鏡外科手術に用いられる鉗子の操作を行うものが挙げられる。なお、遠隔操作システムの用途は手術支援ロボットに限らない。例えば、物流工場や製造工場において用いられるロボットを遠隔操作する際のシステムとして用いてもよい。特に、繊細な作業を長時間行う必要のある工程をロボットを介して遠隔で実行する際の遠隔操作システムとして好適である。

なお、遠隔とは、操作者と操作対象との距離が物理的に遠隔である場合だけでなく、操作者が操作するマスタ機と操作対象であるスレーブ機とが機構的に分離されている場合も含まれる。この場合、マスタ機とスレーブ機とが近くに配置されていても遠隔操作であることに違いはない。

図１は、本実施の形態に係る遠隔操作システムの概略構成を示す図である。遠隔操作システム１００は、対象Ｏへ作用する機器を遠隔で操作するマスタ機としての操作装置１０と、操作装置１０の操作に応じて機器である鉗子５０の移動や駆動を行うための機構を備えるスレーブ機５２と、対象Ｏと術具である鉗子５０との接触時の音を検出するマイクロフォン５４と、操作装置１０に設けられた、操作者に触覚を提示する触覚提示部５６と、触覚提示部５６が提示する触覚に対応する動作を算出する演算部５８と、を備える。

演算部５８は、マイクロフォン５４で検出した音に基づいて前述の動作を算出する。マイクロフォン５４は、対象Ｏと鉗子５０とが接触する接触位置Ｑの近傍に設けられている。これにより、対象Ｏと鉗子５０とが接触した際の音を精度良く検出できる。

図２は、マイクロフォンと鉗子との接合部近傍を拡大した模式図である。図１に示すように、対象Ｏと鉗子５０とが接触（衝突）した際の音Ｓは、鉗子５０の外部にある空気を伝搬する空気伝搬音Ｓｏと、鉗子５０のシャフト５０ａ自体を伝搬する固体伝搬音Ｓｉとを含む。

本発明者は、環境音である空気伝搬音Ｓｏをなるべく除去し、衝突した対象Ｏの属性（硬さや表面状態）をより反映する固体伝搬音Ｓｉを選択的に集音できる好適な構成について鋭意検討した。図２に示すように、本実施の形態に係るマイクロフォン５４は、集音部であるセンサ部５４ａが空気伝搬音Ｓｏをなるべく拾わないように構成されており、鉗子５０のシャフト５０ａの根本部分の外周に固定されている。

センサ部５４ａが設けられている凹部は、空気伝搬音Ｓｏがセンサ部５４ａに直接到達しないように充填材料で充填されているとよい。本実施の形態では、充填材料として接着剤６６を用いている。また、シャフト５０ａ自体を伝搬してくる固体伝搬音Ｓｉをセンサ部５４ａに伝え易くするための伝搬部材６８がマイクロフォン５４とシャフト５０ａとの間に配置されている。伝搬部材６８とマイクロフォン５４とは接着剤６６で接着されており、伝搬部材６８とシャフト５０ａとは接着剤７０で接着されている。

本実施の形態に係るマイクロフォン５４は、細径の鉗子への搭載が可能なＭＥＭＳマイクロフォン（インベンセンス社製ICS-40180）を使用している。ＭＥＭＳマイクロフォン
の集音できる周波数帯は６０Ｈｚ～２０ｋＨｚであり、供給電圧は１．５～３．６Ｖである。接着剤６６や接着剤７０は、ホットメルト接着剤であり、厚みが０．５～１ｍｍ程度である。接着剤の他の材料としてエポキシ樹脂が挙げられる。伝搬部材６８は、硬度Ａ７０のウレタンゴムであり、厚みが５±２ｍｍ程度である。なお、伝搬部材６８は空気よりも音を伝搬しやすい材料であればよく、他の材料としてフッ素ゴムが挙げられる。また、接着剤とは、二つの部材同士を離れないようにできるものであれば材質や形態は特に限定されない。あるいは、接着剤の代わりにネジやバネを用いて二つの部材同士を押し付けて固定する方法であってもよい。

また、マイクロフォン５４は、鉗子先端部から十分離れたシャフト５０ａの根本部分に配置されている。この場所は、鉗子先端の操作部を動かすことによる内部ワイヤの駆動音の影響を受けにくい場所である。そのため、固体伝搬音Ｓｉを精度良く検出できる。

遠隔操作システム１００は、スレーブ機５２が備えるマニピュレータ各部の回転動作や屈曲動作を制御するスレーブ側制御部６０と、スレーブ側制御部６０と連動するマスタ側制御部６２と、を更に備える。マスタ側制御部６２は、前述の演算部５８における機能の他に、操作装置１０の各部の動きの情報に基づいてスレーブ機５２における動きを制御する。また、信号処理部６４は、マイクロフォン５４で検出した音の情報を後段の演算部５８で利用できるように変換する。具体的には、信号処理部６４は、バンドパスフィルタによるフィルタリングや不感帯によるノイズの減衰を行う。

信号処理部６４で処理された信号は、触覚に影響のある特定の波長が演算部５８にて強調され触覚提示部５６に供給される。触覚提示部５６は、マイクロフォン５４が検出した音Ｓに基づいて駆動するアクチュエータを有している。これにより、操作装置で操作する際に力覚では伝えきれない対象の情報を触覚として操作者に伝えることができる。ここで、触覚とは、例えば、対象Ｏに触れた際に対象表面の硬さや表面状態（凹凸等）の情報を伝えうる感覚である。また、対象Ｏとは、例えば、機器で把持したり切断したりする物体や、手術の際に術具を用いて処置する人体の一部である。

本実施の形態に係るアクチュエータは、少なくとも２００～４００Ｈｚの範囲で振動可能なボイスコイルモータである。周波数が２００～４００Ｈｚの範囲の振動刺激は、対象Ｏの硬さを操作者に知覚させることに適している。これにより、操作装置１０による遠隔操作によって鉗子５０が対象Ｏに触れた際の感覚を振動として間接的に操作者に伝達できる。また、振動の周波数に応じて対象の硬さを操作者に知覚させることができる。なお、アクチュエータとして圧電素子を用いてもよい。

本実施の形態に係るマイクロフォン５４は、少なくとも５０Ｈｚ～１０００Ｈｚの範囲の音を集音できる。これにより、対象Ｏと鉗子５０との接触の際に発生しうる硬さと相関のある周波数の音を集音できる。なお、マイクロフォン５４として好適な一例としてＭＥＭＳマイクが挙げられる。また、圧電振動センサや加速度センサを音の振動を検出する検出部として利用してもよい。また、マイクロフォンやセンサを複数組み合わせて検出部としてもよい。

本実施の形態に係る操作装置１０の機構は特に限定されないが、ハプティクスデバイスとして利用できる多自由度の関節を有するものが好ましい。同様に、スレーブ機５２の機構は、鉗子５０の位置や姿勢を変化させる多自由度のマニピュレータアームが好ましい。また、操作装置１０やスレーブ機５２の機構として、力覚の伝達が可能な空気圧駆動系を併用してもよい。

図３は、本実施の形態に係る操作装置の概略構成を示す側面図である。図４は、本実施の形態に係る操作装置の概略構成を示す上面図である。操作装置１０は、遠隔操作の際に用いられるものであり、主に操作者の手のひらで把持されるグリップ部１２と、主に操作者の指でつままれるピンチ部１４と、を備える。グリップ部１２は、操作者の手のひらが接触する領域に前述の触覚提示部５６としてのアクチュエータ（振動発生源）が設けられている。ピンチ部１４は、グリップ部１２に対して回動（矢印Ｒ１方向）するとともに、グリップ部１２に対してスライド（矢印Ｓ１方向）するように構成されている。なお、触覚提示部５６をピンチ部１４の一部に設けてもよい。

これにより、操作装置１０全体をパワーグリップ式として動かすだけでなく、手のひらでグリップ部１２を把持しながらピンチ部１４を回動したりスライドさせたりできる。そのため、パワーグリップ式とピンチグリップ式の両方の機能を兼ね備えることができ、操作者の操作の負担を低減するとともに、繊細な作業が可能となる。

グリップ部１２は、手のひらで直接保持される円筒状の第１の保持部１２ａと、第１の保持部１２ａに対して相対的に回転可能な回転部１２ｂと、を有している。回転部１２ｂは、第１の保持部１２ａは、中心に円柱状の穴が設けられており、その穴に円柱状の回転部１２ｂが回転可能に収納されている。ピンチ部１４は、指で直接保持される第２の保持部１４ａと、第２の保持部１４ａをグリップ部１２に対して離間又は接近するようにガイドするガイド部１４ｂと、を有している。

これにより、グリップ部１２の第１の保持部１２ａを手のひらで固定した状態で回転部１２ｂが回転できる。また、第２の保持部１４ａを指でつまみながらグリップ部１２に対して離間したり接近させたりできる。

回転部１２ｂは、第１の保持部１２ａの内部に設けられた回転軸である。ガイド部１４ｂは、回転部１２ｂである回転軸に結合し、固定されている。また、ガイド部１４ｂは、回転軸の軸Ａと交差する方向に延びている直線状のガイドレール１４ｃを有している。これにより、第２の保持部１４ａをグリップ部１２に対して所定の方向（矢印Ｓ１方向）に動かすことができる。なお、本実施の形態に係る操作装置１０においては、軸Ａとガイドレール１４ｃの延伸方向とが成す角は９０°として記載しているが、角度は９０°でなくてもよく、９０°±４５°の範囲で設定されていてもよく、９０°±３０°の範囲で設定されていてもよく、９０°±１５°の範囲で設定されていてもよい。

また、第２の保持部１４ａは、回転軸に対して基準点Ｐを中心に±５ｍｍ以上動くようにガイドレール１４ｃにガイドされている。換言すると、第２の保持部１４ａは、ガイドレール１４ｃに沿って少なくとも１０ｍｍの範囲で動くことができるように構成されている。

図５は、本実施の形態に係る操作装置が備えるジンバル部の概略構成を説明するための側面図である。図６は、本実施の形態に係る操作装置が備えるジンバル部の概略構成を説明するための上面図である。

操作装置１０の第２の保持部１４ａは、ジンバル部２０により移動可能に支持されている。ジンバル部２０は、互いに交差（直交）する３つの回転軸を中心として回動可能に構成されている。ジンバル部２０は、Ｘ軸Ａｘ、Ｙ軸Ａｙ、Ｚ軸Ａｚを中心として回動可能である。

具体的には、第２の保持部１４ａのＺ軸方向の端部がＺ軸部２２に連結されており、Ｚ軸部２２は、Ｌ字状の第１のアーム２４に対して回転可能に保持されている。また、第１のアーム２４は、Ｙ軸部２６を回転可能に保持しており、Ｙ軸部２６と連結している第２のアーム２８に対して回転可能に設けられている。第２のアーム２８は、Ｌ字状であり、Ｙ軸部２６を保持している端部と反対側の端部にＸ軸部３０を回転可能に保持している。Ｘ軸部３０は、３次元方向の移動を行うためのＸＹＺステージやＸＹＺリンク機構等の並進機構に連結されている。

これにより、操作装置１０の移動情報は、ジンバル部２０や並進機構を介して、スレーブ機のマニピュレータの位置や姿勢の制御に利用できる。例えば、鉗子の操作が可能な手術支援ロボットがスレーブ機の場合、操作者はグリップ部１２を把持しつつ操作装置１０全体を所望の方向へ移動させたり、所望の向きへ回転させたりする。操作装置１０の移動は、Ｚ軸部２２、Ｙ軸部２６及びＸ軸部３０の回転角度の情報（移動情報）を取得するセンサ（図示せず）によって検知される。センサにより検知された移動情報は、手術支援ロボットに伝達される。手術支援ロボットは、伝達された移動情報に基づいて鉗子の位置を移動させる制御を行う。

なお、第２の保持部１４ａは、ジンバル部２０の３つの軸（Ｘ軸Ａｘ、Ｙ軸Ａｙ、Ｚ軸Ａｚ）が交差する点（図５、図６に示すＣ）を基準にグリップ部１２に対してスライドするように構成されている。これにより、スレーブ機のマニピュレータの特定の位置の動きとグリップ部１２のスライドを対応させることができる。

図３乃至図６に示す操作装置１０を備える遠隔操作システム１００は、以下の効果を奏する。
（１）衝突（感）、対象表面の状態を操作者に知覚させることができる。
（２）力覚の大きさがほぼ０の（誤差に埋もれる）ような接触やその変化でも操作者に知覚させることができる。
（３）触覚伝達機構だけでなく力覚伝達機構と組み合わせることで、操作対象の質感や硬さに対する操作者の知覚の精度を増すことができる。
（４）操作や視覚を邪魔せずシステムのイベント情報（アラームや操作誘導）を触覚として提示できる。

（変形例）
上述の実施の形態では、シャフトに他の部材を介してマイクを取り付けた場合について説明したが、以下の変形例では、鉗子を着脱可能なスレーブ機の本体側にマイクを設けた構成について説明する。

図７は、変形例に係るスレーブ機の概略構成を示す側面図である。スレーブ機７２は、鉗子５０と、鉗子５０を着脱可能に保持する本体７４とを備える。本体７４と鉗子５０との間には、不潔領域ＤＡと清潔領域ＣＡとを分離するセパレータ７６が設けられている。また、セパレータ７６から本体７４側の不潔領域ＤＡを囲むように減菌ドレープ７８が設けられている。マイク８０は、本体７４の一部に設けられており、鉗子５０やセパレータ７６を介して伝搬してくる音を検出する。

図８は、変形例に係るスレーブ機のＥ領域（図７参照）の拡大断面図である。図８では、接触時の音が固体伝搬音Ｓｉとして鉗子５０を伝わってマイク８０で検出される場合を示している。固体伝搬音Ｓｉは、シャフト５０ａや筐体５０ｂの固体部分を伝搬しつつ、伝搬部材６８及びセパレータ７６を介してマイク８０に到達する。これにより、不潔領域ＤＡにあるマイク８０であっても、鉗子５０と対象Ｏとの接触音を検出できる。

図９は、他の変形例に係るスレーブ機のＥ領域（図７参照）の拡大断面図である。図９では、接触時の音が空気伝搬音Ｓｏとして鉗子５０を伝わってマイク８０で検出される場合を示している。空気伝搬音Ｓｏは、シャフト５０ａや筐体５０ｂの内部空間を伝搬しつつ、セパレータ７６内部の貫通経路８２を介してマイク８０に到達する。これにより、不潔領域ＤＡにあるマイク８０であっても、鉗子５０と対象Ｏとの接触音を検出できる。

以上、本発明を上述の実施の形態を参照して説明したが、本発明は上述の実施の形態に限定されるものではなく、実施の形態の構成を適宜組み合わせたものや置換したものについても本発明に含まれるものである。また、当業者の知識に基づいて実施の形態における組合せや処理の順番を適宜組み替えることや各種の設計変更等の変形を実施の形態に対して加えることも可能であり、そのような変形が加えられた実施の形態も本発明の範囲に含まれうる。

１０操作装置、１２グリップ部、１４ピンチ部、５０鉗子、５２スレーブ機、５４マイクロフォン、５６触覚提示部、５８演算部、６０スレーブ側制御部、６２マスタ側制御部、６４信号処理部、６６接着剤、６８伝搬部材、７０接着剤、１００遠隔操作システム。

本発明は、製品の組立てや仕分、手術等の遠隔操作システムに利用できる。

Claims

対象へ作用する術具と、
前期術具を着脱可能に保持する本体と、
前期術具を遠隔で操作する操作装置と、
前記対象と前記術具との接触時の音を検出するマイクロフォンと、
前記操作装置に設けられた、操作者に触覚を提示する触覚提示部と、
前記触覚提示部が提示する触覚に対応する動作を算出する演算部と、を備え、
前記演算部は、前記音に基づいて前記動作を算出し、
前記マイクロフォンは、前記本体に設けられていることを特徴とする遠隔操作システム。
前記触覚提示部は、前記マイクロフォンが検出した音に基づいて駆動するアクチュエータを有することを特徴とする請求項１に記載の遠隔操作システム。
前記アクチュエータは、少なくとも２００～４００Ｈｚの範囲で振動可能なボイスコイルモータであることを特徴とする請求項２に記載の遠隔操作システム。
前記マイクロフォンは、少なくとも５０Ｈｚ～１０００Ｈｚの範囲の音を集音できることを特徴とする請求項１に記載の遠隔操作システム。
前記術具は、シャフトを有する鉗子であり、
前記マイクロフォンは、前記鉗子を伝わった音を検出すること特徴とする請求項１乃至４のいずれか１項に記載の遠隔操作システム。
不潔領域にある前記本体と清潔領域にある前記鉗子とを分離するセパレータを更に備え、
前記セパレータと前記鉗子との間に空気よりも音を伝搬しやすい伝搬部材が挟まれていることを特徴とする請求項５に記載の遠隔操作システム。