WO2020040015A1 - ロボット支援装置及びロボット支援システム。 - Google Patents

ロボット支援装置及びロボット支援システム。 Download PDF

Info

Publication number
WO2020040015A1
WO2020040015A1 PCT/JP2019/031924 JP2019031924W WO2020040015A1 WO 2020040015 A1 WO2020040015 A1 WO 2020040015A1 JP 2019031924 W JP2019031924 W JP 2019031924W WO 2020040015 A1 WO2020040015 A1 WO 2020040015A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
target position
user
information
robot support
Prior art date
Application number
PCT/JP2019/031924
Other languages
English (en)
French (fr)
Inventor
守仁 黄
正俊 石川
雄司 山川
Original Assignee
国立大学法人 東京大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人 東京大学 filed Critical 国立大学法人 東京大学
Priority to EP19852389.6A priority Critical patent/EP3842188A4/en
Priority to US17/265,383 priority patent/US20210299870A1/en
Priority to JP2020538333A priority patent/JP7126276B2/ja
Publication of WO2020040015A1 publication Critical patent/WO2020040015A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/005Manipulators for mechanical processing tasks
    • B25J11/0055Cutting
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/02Hand grip control means
    • B25J13/025Hand grip control means comprising haptic means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0081Programme-controlled manipulators with master teach-in means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1689Teleoperation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Abstract

【課題】人間の認知及び安全性を完全に保ちながら、人間の動きの正確さを拡張することができるロボット支援装置及びロボット支援システムを提供すること。 【解決手段】本発明の一態様によれば、ロボット支援装置であって、互いに非電気的に接続された操作部と被操作箇所とを備え、ユーザが前記操作部を操作することによって、前記ユーザが自己認知を有しつつ前記被操作箇所によって規定される目標位置を変位可能に構成されるものであり、センサ部と、駆動部とを更に備え、前記センサ部は、前記駆動部上に設けられ、前記目標位置の変位についての所定軌道に関する特徴情報を取得可能に構成され、前記駆動部は、前記被操作箇所に設けられ、前記特徴情報に基づいて定まる制御信号に基づいて、前記目標位置の前記所定軌道からのずれを補正するように駆動される、装置が提供される。

Description

ロボット支援装置及びロボット支援システム。
 本発明は、ロボット支援装置及びロボット支援システムに関する。
 産業界や医療業界において、人間が自己の認知に基づいて手等を使って所定の動作を伴うタスクを実行する場面は多々存在する。しかしながら、人間の動きの正確さには、例えば手の振戦や身体の動作周波数等を原因として限界がある。一方で、特に人間の認知や経験を重視する場面においては、ロボットによる完全なオートメーション化はもちろんのこと、人間の認知を度外視したマスター・スレーブ形式のロボット(特許文献1)等も採用したくない事情が存在する。また、ロボットの暴走等により意図しない動作をすることや、場合によってはこのような意図しない動作によって操作しているユーザに物理的な危険が及ぶことも考えられる。
特許第5032716号
 本発明は、かかる事情を鑑みてなされたものであり、人間の認知及び安全性を完全に保ちながら、人間の動きの正確さを拡張することができるロボット支援装置及びロボット支援システムを提供することを目的とする。
 本発明によれば、ロボット支援装置であって、互いに非電気的に接続された操作部と被操作箇所とを備え、ユーザが前記操作部を操作することによって、前記ユーザが自己認知を有しつつ前記被操作箇所によって規定される目標位置を変位可能に構成されるものであり、センサ部と、駆動部とを更に備え、前記センサ部は、前記駆動部上に設けられ、前記目標位置の変位についての所定軌道に関する特徴情報を取得可能に構成され、前記駆動部は、前記被操作箇所に設けられ、前記特徴情報に基づいて定まる制御信号に基づいて、前記目標位置の前記所定軌道からのずれを補正するように駆動される、装置が提供される。
 本発明に係るロボット支援装置は、互いに非電気的に接続された操作部と被操作箇所とを備え、ユーザが操作部を操作することによって被操作箇所によって規定される目標位置を変位可能に構成されるものであり、且つ被操作箇所内においてセンサ部の相対位置を変化させることにより、目標位置の所定軌道からのずれを補正するように構成されることに留意されたい。つまり、おおよその位置決め制御をユーザが操作部を介して行い(低周波)、人間の正確さの限界を超える詳細な位置決め制御についてはロボットが行うこととなる(高周波)。このような構成を有するロボット支援装置により、人間の認知を完全に保ちながら、人間の動きの正確さを拡張することができるという第1の効果を奏する。また、操作部と被操作箇所とが非電気的に接続されていて(例えば物理的に一体化している)、且つ駆動部のストロークを、ずれを補正するのに十分な程度にまで小さくすることができるので、ユーザへの物理的接触が回避できる。換言すると、ユーザへの物理的な危険性を限りなく小さくすることができるという第2の効果も奏する。
第1~第4実施形態に係るロボット支援システムの構成概要図。 第1~第4実施形態に係るロボット支援システムの被操作箇所内において、駆動部によって撮像部の相対的位置を変化させる態様を示す図。 撮像部によって撮像される画像の概要図。 第1~第4実施形態に係るロボット支援システムの動作フロー。 第1実施形態に係るロボット支援システムの一例を示す写真。 第2実施形態に係るロボット支援システムの一例を示す写真。 第3実施形態に係るロボット支援システムの一例を示す概要図。 第4実施形態に係るロボット支援システムの一例を示す概念図。
 以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。特に、本明細書において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる(例えば、図2における画像処理部31及び制御信号生成部32等)。また、本実施形態においては様々な情報を取り扱うが、これら情報は、0又は1で構成される2進数のビット集合体として信号値の高低によって表され、広義の回路上で通信・演算が実行されうる。
 また、広義の回路とは、回路(Circuit)、回路類(Circuitry)、プロセッサ(Processor)、及びメモリ(Memory)等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CLPD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等を含むものである。
1.全体構成
 図1は、本実施形態(第1~第4実施形態)に係るロボット支援システム1の構成概要を示す図である。ロボット支援システム1は、人間の認知及び安全性を完全に保ちながら、人間の動きの正確さを拡張することができるロボット支援装置2と情報処理装置3とからなり、これらが電気的に接続されたシステムである。
1.1 ロボット支援装置2
 ロボット支援装置2は、操作部21と、被操作箇所22と、受動関節23(ここでは一例として受動関節23a~23c)と、不動部24とを有し、これらの構成要素が機構的且つ非電気的に接続されている。以下、各構成要素について更に説明する。
<操作部21>
 操作部21は、ユーザが被操作箇所22の位置を変位させるために用いられる。例えば、操作部21は、ユーザが手で握ることができるように構成される。或いは、グローブのようにユーザが操作部21を装着可能に構成されてもよい。特に操作部21は、被操作箇所22と機構的且つ非電気的に接続されており、ユーザの自己認知を保ったまま被操作箇所22の位置を変位させることができる点に留意されたい。なお、本実施形態において「自己認知を保つ」とは、ユーザが自身の手で被操作箇所22を動かしている感覚が保たれていることと考えてよい。
<被操作箇所22>
 被操作箇所22は、前述の通りユーザが操作部21を操作することでその位置が変位されるように構成される。後に更に詳述するが、ユーザは、ロボット支援装置2を使用するにあたり、操作部21を操作することによって被操作箇所22における目標位置T(図2A及び図2B参照)を所定軌道に沿うように変位させるタスクを実行するものとする。また、被操作箇所22の詳細については、第1.2節において説明する。
<受動関節23a~23c>
 受動関節23a~23cは、操作部21と不動部24との間に設けられ、不動部24(後述の通り固定されていて原則的に不動な部位)に対して操作部21に自由度を与えるための関節機構であり、モータによって能動的に駆動されるものではない。このような構成により、前述の通りユーザが手動で操作部21を操作することを可能にしている。なお、受動関節の個数についてはあくまでも例示でありこの限りではない。
<不動部24>
 不動部24は、ロボット支援装置2の一部であって設置場所に載置又は固定される部位である。固定にあたってその方法は特に限定されず、ねじ等で固定してもよいし磁石による引力を用いて固定してもよい。何れにしても、操作部21及び被操作箇所22は、不動部24に対して相対的に位置を変位させることができることに留意されたい。
1.2 被操作箇所22
 図2A及び図2Bは、ロボット支援システム1におけるロボット支援装置2の被操作箇所22内において、駆動部221によって撮像部222の相対的位置を変化させる態様を示している。かかる図を用いて、被操作箇所22の構成要素を詳述する。
<駆動部221>
 駆動部221は、被操作箇所22に設けられ、例えば平行移動可能な2軸のアクチュエータ機構である。図2A及び図2Bにおいては、駆動部221を左右方向に変位させた態様が示されているが、2軸であるためもちろん紙面に対する表裏方向に変位させることも可能である。更に不図示ではあるが、回転の自由度を与えてもよい。また、被操作箇所22によって規定される所定の位置、より正確には駆動部221の変位に伴って規定される所定の位置を「目標位置T」として定義することに留意されたい。図2A及び図2Bでは、撮像部222が駆動部221に設けられているが、例えばかかる撮像部222の視線(換言すると、撮像部222によって撮像される画像の中心)と規定面Pとの交点が目標位置Tとして定義されている。図2A及び図2Bに示されるように、駆動部221を変位させることで目標位置Tを変位させることができる。
<撮像部222>
 撮像部222(特許請求の範囲における「センサ部」の一例)は、外界の情報を画像として取得可能に構成される、いわゆるビジョンセンサ(カメラ)である。特に撮像部222によって取得される画像IMには、図3に示されるように、規定面P上に描かれたラインLが含まれることが好ましい。ラインLは前述の目標位置Tに係る所定軌道を可視化するためのものである。撮像部222は、いわゆる高速ビジョンと称する撮像レート(フレームレート)が高いものを採用する。フレームレートは、例えば、100fps以上であり、好ましくは、250fps以上であり、更に好ましくは500fps又は1000fpsである。具体的には例えば、100、200、300、400、500、600、700、800、900、1000、1100、1200、1300、1400、1500、1600、1700、1800、1900、2000fpsであり、ここで例示した数値の何れか2つの間の範囲内であってもよい。後に更に詳述することとなるが、予測を全く用いずにフィードバック制御だけで目標位置Tと前述の所定軌道とのずれ(誤差)を補正するためには、撮像部222の高いフレームレートが重要となる。なお、撮像部222は、センサ部の一例に過ぎず、他のセンサを用いてもよいことに留意されたい。しかしながら、本実施形態では撮像部222を前提として、他の構成要素(例えば、後述の画像処理部31等)を説明するものとする。
1.3 情報処理装置3
 情報処理装置3は、不図示の記憶部や制御部を備えている。記憶部は、例えばソリッドステートドライブ(Solid State Drive:SSD)等のストレージデバイスとして、或いは、プログラムの演算に係る一時的に必要な情報(引数、配列等)を記憶するランダムアクセスメモリ(Random Access Memory:RAM)等のメモリとして実施されうる。また、これらの組合せであってもよい。制御部は、例えば中央処理装置(Central Processing Unit:CPU)として実施されうる。制御部は、記憶部に記憶された所定のプログラムを読み出すことによって、ロボット支援システム1に関連する種々の機能を実現する。
 また、情報処理装置3は、USB、IEEE1394、Thunderbolt、有線LANネットワーク通信等といった有線型の通信手段又は、無線LANネットワーク通信、LTE/3G等のモバイル通信、Bluetooth(登録商標)通信等の無線通信手段を必要に応じて有することで、外部機器と接続可能に構成されるとよい。特に、前述のロボット支援装置2とは、専用通信規格(例えば撮像部222との間であれば、カメラリンク等)において通信可能に構成されることが好ましい。
 ここで、情報処理装置3における不図示の制御部は、機能的に考えると、図2A及び図2Bに示されるように画像処理部31と制御信号生成部32とを含むものである。以下、各構成要素について更に説明する。
<画像処理部31>
 画像処理部31は、ロボット支援装置2における撮像部222より受信した画像IMを画像処理して、ラインLと、ラインL以外の領域とを区別する。これは例えば、撮像された画像IMを、画像に関する所定のパラメータ(明度等)にしきい値を決めてバイナリ化することで実施される。そして、画像IMからラインLの重心位置(特許請求の範囲における「特徴情報」の一例)を算出することで目標位置Tの所定軌道(ラインL)からのずれを計測することができる。例えば、図2A及び図2Bに示されるように、目標位置Tが撮像部222の視線と規定面Pとの交点(画像中心CT)である場合は、画像IMにおけるラインLの重心位置と画像IMの中心とのずれを計測すればよい。なお、画像中心CTを目標位置Tとすることで、ずれを補正することで正確な軌道に沿って撮像を行うことができるので、例えば工場の部品検査等への応用が期待されうる。
 なお、図3に示されるように、画像IMの一部の所定領域ROIに対して前述の画像処理を行うように実施してもよい。特に、ずれの補正を高い制御レートにて行うため、ラインLは、画像IMの決まった位置(例えば画像中心CT)の近傍にあることとなり、この決まった位置の近傍領域を所定領域ROIとすることで、画像処理をするピクセル数を削減することができる。これにより、情報処理装置3における画像処理演算の負荷を小さくすることができ、高い制御レートでのずれ補正を維持又は実施することができる。
<制御信号生成部32>
 制御信号生成部32は、ロボット支援装置2における駆動部221を駆動させる(すなわち所望に変位させる)制御信号CSを生成し、かかる制御信号を不図示の通信インターフェースを介して駆動部221に送信する。ここで、かかる制御信号CSは、目標位置Tの所定軌道(ラインL)からのずれ(前述の画像処理部31において計測されたもの)に基づいて決定される。この場合の制御手法は特に限定されないが、例えば、P制御、PD制御、PID制御等が適宜採用されうる。制御に係る各係数は、必要に応じて好ましい値を設定すればよい。また制御信号CSの値は電圧で規定されるとよい。
 なお駆動部221を駆動させる駆動レート(制御信号生成部32の制御信号生成レート)は、撮像部222における撮像レート同様、高いことが好ましい。例えば、100ヘルツ以上であり、好ましくは、250ヘルツ以上であり、更に好ましくは500ヘルツ又は1000ヘルツである。具体的には例えば、100、200、300、400、500、600、700、800、900、1000、1100、1200、1300、1400、1500、1600、1700、1800、1900、2000ヘルツであり、ここで例示した数値の何れか2つの間の範囲内であってもよい。
 より詳細には、ロボット支援システム1全体としては、撮像部222の撮像レート及び駆動部221の駆動レートの低い方が、ずれの補正に係る制御レートとして働く。換言すると、撮像レート及び駆動レートを同程度に高くすることで、予測を全く用いずにフィードバック制御だけで目標位置Tと前述の所定軌道とのずれを補正することが可能となる。
2.ロボット支援システム1の動作フロー
 第2節では、前述のような構成を有するロボット支援システム1の動作フローを説明する。以下、図4におけるステップS1~S4に沿って説明する。
[開始]
(ステップS1)
 ユーザは、操作部21を掴み、自己認知を有しつつ被操作箇所22に係る目標位置Tが所定軌道(規定面Pに描かれたラインL)に沿うように、被操作箇所22を変位させる。つまり、手動という低周波な制御によってこのような動作が行われる(ステップS2へ続く)。
(ステップS2)
 人間であるユーザには正確さの限界があり、目標位置Tを所定軌道にほとんどずれ無く沿わせることは事実上不可能であり、目標位置Tと所定軌道との間にずれが生じる(ステップS3へ続く)。
(ステップS3)
 撮像部222がラインLを含むように規定面Pを撮像する。撮像された画像IMは、情報処理装置3に送信され、画像処理部31によって画像処理が実行される。これにより、目標位置Tと所定軌道とのずれが計測される(ステップS3へ続く)。
(ステップS4)
 ステップS3によって計測されたずれに基づいて、制御信号生成部32は、駆動部221を駆動させるための制御信号CSの値を決定する。これによってずれを補正するように駆動部221が変位される。より詳細には、ステップS3及びステップS4において、撮像部222を用いた高速ビジュアルフィードバックにより、ユーザが意識することのないごく短時間(例えば数百マイクロ秒~数十ミリ秒オーダの遅延)でずれが補正される。
[終了]
 ステップS1~S4が繰り返されることで、ユーザが自己認知を有しつつ、目標位置Tを所定軌道に沿わせるというタスクが正確に実施されうる。つまり、ユーザとしては、補正を意識せずにむしろ自身が正確なタスクを実施しているという感覚を有することとなる。また、操作部21と被操作箇所22とは非電気的に互いに接続されたものであるため、操作部21の操作に反して被操作箇所22が意図しない動作をすることや、場合によってはこのような意図しない動作によって操作しているユーザに物理的な危険が及ぶこともない。また、駆動部221のストロークを、ずれを補正するのに十分な程度にまで小さくすることができるので、こちらについてもユーザへの物理的接触が回避でき、安全性が担保されている。
 もちろん、画像IM(又はその一部である所定領域ROI)にラインLが含まれる程度に、手動による動作がなされる必要があること、及びずれを補正できる程度には駆動部221の変位のストロークが必要であることには留意されたい。
3.ユーザへの目標位置Tに係る情報提示
 ユーザが自己認知をより高く有しつつ目標位置Tを所定軌道に沿わせるタスクを実施するには、現在の目標位置Tに係る情報をユーザ自身が取得できるとよい。そこで、ロボット支援システム1は、以下のような構成要素を更に有することが好ましい。以下、第1~第4実施形態として詳述する。もちろん、各実施形態に係る構成要素を組み合わせて実施してもよい。
3.1 第1実施形態
 図5は、第1実施形態に係るロボット支援システム1の写真である。第1実施形態に係るロボット支援システム1では、図2A及び図2Bに示されるように、目標位置Tが撮像部222の視線と規定面Pとの交点(画像IMの中心)として実施される。そして、被操作箇所22にプロジェクタ223(特許請求の範囲における「誘導情報提示部」の一例)が設けられていることに留意されたい。
 ここで、プロジェクタ223と撮像部222との相対的位置は、設計の際に既知であるから、プロジェクタ223から目標位置Tに関する情報を含む投影光を照射することができる。好ましくは、ビームスプリッタ等を用いて撮像部222とプロジェクタ223とを同軸光学系として実施するとよい。何れにしても、ロボット支援システム1を使用するユーザが目標位置T(すなわち撮像部222の画像中心CT)の現在位置を把握できるように、プロジェクタ223から目標位置Tに関する情報を含む投影光が照射される。図5においては、プロジェクタ223によって規定面P上に矩形の枠223pが投影される。枠223pの略中心が目標位置Tとして表されるので、ユーザは、目標位置Tを所定軌道に沿って変位させるために操作部21をどのように動かすべきかを直感的に把握することができる。
3.2 第2実施形態
 図6は、第2実施形態に係るロボット支援システム1の写真である。第2実施形態に係るロボット支援システム1では、図2A及び図2Bに示されるように、目標位置Tが撮像部222の視線と規定面Pとの交点(画像IMの中心)として実施される。そして、操作部21をユーザが握る際に手の両側に空気圧を提供可能な圧力提供装置211a、211b(特許請求の範囲における「誘導情報提示部」の一例)が設けられていることに留意されたい。また、撮像部222によって撮像される範囲は、駆動部221の変位できるストロークよりも広いものとする。
 前述の通り、撮像部222によって撮像された画像IMから目標位置Tと所定軌道とのずれを計測し、そのずれを補正するように駆動部221を駆動させる。一方で、駆動部221のストロークを超えるほどにずれが生じることも考えられる。第2実施形態に係るロボット支援システム1では、このような場合に、ずれを補正する方向にユーザを誘導するように、圧力提供装置211a又は211bの何れかより空気圧がユーザの手に提供される。
 例えば、ユーザが操作部21を握った状態でその手を右方向に誘導したい場合は、ユーザの手の左側に位置する圧力提供装置211aから空気圧が提供される。一方、ユーザが操作部21を握った状態でその手を左方向に誘導したい場合は、ユーザの手の右側に位置する圧力提供装置211bから空気圧が提供される。このように、目標位置Tに関する情報(ずれを補正するための情報)として空気圧がユーザに提供されている。
3.3 第3実施形態
 図7は、第3実施形態に係るロボット支援システム1の概要図である。第3実施形態に係るロボット支援システム1では、図2A及び図2Bに示されるように、目標位置Tが撮像部222の視線と規定面Pとの交点(画像IMの中心)として実施される。第3実施形態に係るロボット支援システム1では、第2実施形態にロボット支援システム1のように、ずれを補正する方向にユーザを誘導(ずれを補正するための情報をユーザに提供)するように構成されるものである。具体的には、ユーザの腕に装着可能な電極4(特許請求の範囲における「誘導情報提示部」の一例)を更に備えるもので、電極4よりユーザの腕に直接電気信号を付与して筋肉を電気的に刺激することで、ずれを補正する方向にユーザを誘導可能に構成される(いわゆる筋電制御)。
3.4 第4実施形態
 図8は、第4実施形態に係るロボット支援システム1の概要図である。第4実施形態に係るロボット支援システム1では、図2A及び図2Bに示されるように、目標位置Tが撮像部222の視線と規定面Pとの交点(画像IMの中心)として実施される。第4実施形態に係るロボット支援システム1では、第2実施形態にロボット支援システム1のように、ずれを補正する方向にユーザを誘導(ずれを補正するための情報をユーザに提供)するように構成されるものである。具体的には、ユーザの指に装着可能な力覚提示デバイス81(特許請求の範囲における「誘導情報提示部」の一例)及び力覚提示デバイス82(特許請求の範囲における「誘導情報提示部」の一例)を更に備える。力覚提示デバイス81及び力覚提示デバイス82は、情報処理装置3と無線通信を行う。力覚提示デバイス81及び力覚提示デバイス82は、情報処理装置3よりずれを補正するための力覚値を受け取ると、力覚値に応じた力覚(例えば、振動)をユーザに対して与える。
 例えば、ユーザが操作部21を右手で持った場合、力覚提示デバイス81は右手の小指に装着され、力覚提示デバイス82は右手の親指に装着される。情報処理装置3は、ずれを補正する方向が左であった場合、力覚提示デバイス81を振動させ、ずれを補正する方向が右であった場合、力覚提示デバイス82を振動させる。
 なお、第4実施形態では、力覚提示デバイス81をユーザの指に装着する構成としたが、これに限定されるものではなく、ユーザに力覚を与えることができれば何処に装着されてもよい。また、第4実施形態では、力覚の一例として振動を例に説明したが、これに限定されるものではなく、ずれを補正するための力覚を与えられるものならどのようなものであってもよい。
4.変形例
 なお、次のような態様によって、第1~第4実施形態に係るロボット支援システム1を更に創意工夫してもよい。
 第一に、前述の実施形態では、目標位置Tを撮像部222の視線と規定面Pとの交点(画像IMの中心)として実施しているがあくまでも一例でありこの限りではない。例えば、被操作箇所22における駆動部221に切削具(例えばエンドミルや医療用メス)を取り付けて、かかる切削具の先端位置を目標位置Tに設定することができる。この際、撮像部222及び切削具の相対的位置は設計の際に既知である。このような変形例によれば、ユーザが自己認知を有しつつ、切削加工や医療施術を施すことができる。
 第二に、前述の実施形態では、目標位置Tを撮像部222の視線と規定面Pとの交点(画像IMの中心)として実施しているがあくまでも一例でありこの限りではない。例えば、被操作箇所22における駆動部221にレーザ射出部(加工用)を取り付けて、かかるレーザ射出部から射出されたレーザの照射位置(規定面P上)を目標位置Tに設定することができる。この際、撮像部222及びレーザ射出部の相対的位置は設計の際に既知である。このような変形例によれば、ユーザが自己認知を有しつつ、所望の物体が規定された形状となるようにレーザ加工を施すことができる。
 第三に、前述の実施形態では、目標位置Tを撮像部222の視線と規定面Pとの交点(画像IMの中心)として実施しているがあくまでも一例でありこの限りではない。例えば、被操作箇所22における駆動部221に塗料等を塗布可能に構成される塗布部を取り付けて、かかる塗布部の先端位置を目標位置Tに設定することができる。この際、撮像部222及び塗布具の相対的位置は設計の際に既知である。このような変形例によれば、ユーザが自己認知を有しつつ、塗布工程を実施することができる。
 第四に、既述の切削具、レーザ射出部、塗布具等も含めて、目標位置Tを決定する対象として様々なものが考えられ、これらを自由に取り付け取り外しができるように実施することができる。
 第五に、情報処理装置3に代えてロボット支援装置2が単独で制御部を有するように実施してもよい。すなわち、ロボット支援装置2における制御部が、前述の実施形態において説明した情報処理装置3における画像処理部31及び制御信号生成部32に相当する。このような変形例によれば、ロボット支援装置2単体であっても、人間の認知及び安全性を完全に保ちながら人間の動きの正確さを拡張するという効果を奏する。
 第六に、フィードバック制御に用いる撮像部222を異なるセンサにしてもよい。例えば、力覚センサが有効であると考えられる。力覚センサによって例えば接触力等の情報(特許請求の範囲における「特徴情報」の一例)を取得し、これに基づいて制御信号生成部32が制御信号CSを決定するように実施することでも、人間の認知及び安全性を完全に保ちながら人間の動きの正確さを拡張するという効果を奏する。
5.結言
 以上のように、本実施形態によれば、人間の認知及び安全性を完全に保ちながら、人間の動きの正確さを拡張することができるロボット支援装置2を実施することができる。
 かかるロボット支援装置2は、互いに非電気的に接続された操作部21と被操作箇所22とを備え、ユーザが操作部21を操作することによって、ユーザが自己認知を有しつつ被操作箇所22によって規定される目標位置Tを変位可能に構成されるものであり、センサ部(撮像部222等)と、駆動部221とを更に備え、センサ部は、駆動部221上に設けられ、目標位置Tの変位についての所定軌道(ラインL)に関する特徴情報を撮像により取得可能に構成され、駆動部221は、被操作箇所22に設けられ、特徴情報に基づいて定まる制御信号に基づいて、目標位置Tの所定軌道からのずれを補正するように駆動される。
 また、人間の認知及び安全性を完全に保ちながら、人間の動きの正確さを拡張することができるロボット支援システム1を実施することができる。
 かかるロボット支援システム1は、前述のロボット支援装置2と、情報処理装置3とを備え、情報処理装置3は、ロボット支援装置2における撮像部222及び駆動部221と電気的に接続され、撮像部222より取得された特徴情報に基づいて駆動部221に対する制御信号の値を決定し、この値に基づいて駆動部221を駆動可能に構成される。
 次に記載の各態様で提供されてもよい。
 前記装置において、誘導情報提示部を更に備え、前記誘導情報提示部は、前記目標位置に関する情報を前記ユーザに提示可能に構成される、装置。
 前記装置において、前記誘導情報提示部は、前記センサ部と同軸又は相対的位置が固定されたプロジェクタを含み、前記目標位置に関する情報を投影光として照射可能に構成される、装置。
 前記装置において、前記誘導情報提示部は、前記操作部に設けられた圧力提供装置を含み、前記目標位置に関する情報を圧力として前記ユーザに提示可能に構成される、装置。
 前記装置において、前記誘導情報提示部は、前記ユーザに装着可能に構成される電極を含み、前記ユーザの筋肉を電気的に刺激することで前記目標位置に関する情報を前記ユーザに提示可能に構成される、装置。
 前記装置において、前記誘導情報提示部は、前記目標位置に関する情報を力覚として前記ユーザに提示可能に構成される、装置。
 前記装置において、前記目標位置に関する情報は、前記目標位置の前記所定軌道からのずれを補正するための情報である、装置。
 前記装置において、不動部と、受動関節とを更に備え、前記不動部は、前記受動関節を介して前記操作部又は前記被操作箇所と接続され、これにより前記不動部を不動としたまま前記被操作箇所の位置を可変に構成される、装置。
 前記装置において、前記センサ部は、外界の情報を撮像可能に構成される撮像部である、装置。
 前記装置において、前記目標位置は、前記撮像部によって撮像される画像の中心である、装置。
 前記装置において、前記駆動部上に切削具、塗布具、又はレーザ射出部が設けられ、前記目標位置は、前記切削具若しくは前記塗布具の先端位置、又は前記レーザ射出部から照射されるレーザの照射位置である、装置。
 前記装置において、前記センサ部の取得レート及び前記駆動部の駆動レートは、250ヘルツ以上である、装置。
 前記装置において、制御部を更に備え、前記制御部は、前記センサ部より取得された前記特徴情報に基づいて前記駆動部に対する前記制御信号の値を決定し、この値に基づいて前記駆動部を駆動可能に構成される、装置。
 ロボット支援システムであって、前記ロボット支援装置と、情報処理装置とを備え、前記情報処理装置は、前記ロボット支援装置における前記センサ部及び前記駆動部と電気的に接続され、前記センサ部より取得された前記特徴情報に基づいて前記駆動部に対する前記制御信号の値を決定し、この値に基づいて前記駆動部を駆動可能に構成される、システム。
 もちろん、この限りではない。
 最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
 上述した実施形態及び変形例は、任意に組み合わせ可能である。
1    :ロボット支援システム
2    :ロボット支援装置
21   :操作部
211a :圧力提供装置
211b :圧力提供装置
22   :被操作箇所
221  :駆動部
222  :撮像部
223  :プロジェクタ
223p :枠
23   :受動関節
23a  :受動関節
23b  :受動関節
23c  :受動関節
24   :不動部
3    :情報処理装置
31   :画像処理部
32   :制御信号生成部
4    :電極
CS   :制御信号
IM   :画像
L    :ライン
P    :規定面
ROI  :所定領域
T    :目標位置

Claims (14)

  1. ロボット支援装置であって、
     互いに非電気的に接続された操作部と被操作箇所とを備え、ユーザが前記操作部を操作することによって、前記ユーザが自己認知を有しつつ前記被操作箇所によって規定される目標位置を変位可能に構成されるものであり、
     センサ部と、駆動部とを更に備え、
     前記センサ部は、
      前記駆動部上に設けられ、
      前記目標位置の変位についての所定軌道に関する特徴情報を取得可能に構成され、
     前記駆動部は、
      前記被操作箇所に設けられ、
      前記特徴情報に基づいて定まる制御信号に基づいて、前記目標位置の前記所定軌道からのずれを補正するように駆動される、
    装置。
  2. 請求項1に記載の装置において、
     誘導情報提示部を更に備え、
     前記誘導情報提示部は、前記目標位置に関する情報を前記ユーザに提示可能に構成される、
    装置。
  3. 請求項2に記載の装置において、
     前記誘導情報提示部は、前記センサ部と同軸又は相対的位置が固定されたプロジェクタを含み、前記目標位置に関する情報を投影光として照射可能に構成される、
    装置。
  4. 請求項2又は請求項3に記載の装置において、
     前記誘導情報提示部は、前記操作部に設けられた圧力提供装置を含み、前記目標位置に関する情報を圧力として前記ユーザに提示可能に構成される、
    装置。
  5. 請求項2~請求項4の何れか1つに記載の装置において、
     前記誘導情報提示部は、前記ユーザに装着可能に構成される電極を含み、前記ユーザの筋肉を電気的に刺激することで前記目標位置に関する情報を前記ユーザに提示可能に構成される、
    装置。
  6. 請求項2~請求項5の何れか1つに記載の装置において、
     前記誘導情報提示部は、前記目標位置に関する情報を力覚として前記ユーザに提示可能に構成される、
    装置。
  7. 請求項4~請求項6に記載の装置において、
     前記目標位置に関する情報は、前記目標位置の前記所定軌道からのずれを補正するための情報である、
    装置。
  8. 請求項1~請求項7の何れか1つに記載の装置において、
     不動部と、受動関節とを更に備え、
     前記不動部は、前記受動関節を介して前記操作部又は前記被操作箇所と接続され、これにより前記不動部を不動としたまま前記被操作箇所の位置を可変に構成される、
    装置。
  9. 請求項1~請求項8の何れか1つに記載の装置において、
     前記センサ部は、外界の情報を撮像可能に構成される撮像部である、
    装置。
  10. 請求項9に記載の装置において、
     前記目標位置は、前記撮像部によって撮像される画像の中心である、
    装置。
  11. 請求項1~請求項10の何れか1つに記載の装置において、
     前記駆動部上に切削具、塗布具、又はレーザ射出部が設けられ、
     前記目標位置は、前記切削具若しくは前記塗布具の先端位置、又は前記レーザ射出部から照射されるレーザの照射位置である、
    装置。
  12. 請求項1~請求項11の何れか1つに記載の装置において、
     前記センサ部の取得レート及び前記駆動部の駆動レートは、250ヘルツ以上である、
    装置。
  13. 請求項1~請求項12の何れか1つに記載の装置において、
     制御部を更に備え、
     前記制御部は、前記センサ部より取得された前記特徴情報に基づいて前記駆動部に対する前記制御信号の値を決定し、この値に基づいて前記駆動部を駆動可能に構成される、
    装置。
  14. ロボット支援システムであって、
     請求項1~請求項13の何れか1つに記載のロボット支援装置と、情報処理装置とを備え、
     前記情報処理装置は、
      前記ロボット支援装置における前記センサ部及び前記駆動部と電気的に接続され、
      前記センサ部より取得された前記特徴情報に基づいて前記駆動部に対する前記制御信号の値を決定し、この値に基づいて前記駆動部を駆動可能に構成される、
    システム。
PCT/JP2019/031924 2018-08-24 2019-08-14 ロボット支援装置及びロボット支援システム。 WO2020040015A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP19852389.6A EP3842188A4 (en) 2018-08-24 2019-08-14 ROBOT ASSISTANCE DEVICE AND ROBOT ASSISTANCE SYSTEM
US17/265,383 US20210299870A1 (en) 2018-08-24 2019-08-14 Robot assistance device and robot assistance system
JP2020538333A JP7126276B2 (ja) 2018-08-24 2019-08-14 ロボット支援装置及びロボット支援システム。

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018157616 2018-08-24
JP2018-157616 2018-08-24

Publications (1)

Publication Number Publication Date
WO2020040015A1 true WO2020040015A1 (ja) 2020-02-27

Family

ID=69591974

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/031924 WO2020040015A1 (ja) 2018-08-24 2019-08-14 ロボット支援装置及びロボット支援システム。

Country Status (4)

Country Link
US (1) US20210299870A1 (ja)
EP (1) EP3842188A4 (ja)
JP (1) JP7126276B2 (ja)
WO (1) WO2020040015A1 (ja)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5032716B1 (ja) 1968-09-23 1975-10-23
JPH02258167A (ja) * 1989-03-31 1990-10-18 Kurimoto Ltd 切断用ロボット
JPH0871780A (ja) * 1994-09-05 1996-03-19 Tdk Corp レーザ位置決め加工方法及び装置
JP2006136923A (ja) * 2004-11-12 2006-06-01 Hitachi Via Mechanics Ltd レーザ加工機及びレーザ加工方法
JP2007098507A (ja) * 2005-10-04 2007-04-19 Nagoya Institute Of Technology 作業補助装置
JP2008129120A (ja) * 2006-11-17 2008-06-05 Nikon Corp カメラ
JP2013134682A (ja) * 2011-12-27 2013-07-08 Nikon Corp 電子機器、および力覚提示装置
JP2014004656A (ja) * 2012-06-25 2014-01-16 Univ Of Tsukuba マニピュレーションシステム
US20140121574A1 (en) * 2012-10-30 2014-05-01 Noel Chladek Orthotic feedback system
JP2015035715A (ja) * 2013-08-08 2015-02-19 キヤノン株式会社 画像撮像方法及び画像撮像装置
JP2018099705A (ja) * 2016-12-20 2018-06-28 ダイハツ工業株式会社 穴明け装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3067299A1 (en) * 2011-09-02 2013-03-07 Stryker Corporation Surgical instrument including a cutting accessory extending from a housing and actuators that establish the position of the cutting accessory relative to the housing
US9884318B2 (en) * 2012-02-10 2018-02-06 Adam Perry Tow Multi-axis, multi-purpose robotics automation and quality adaptive additive manufacturing
KR102171873B1 (ko) * 2013-05-08 2020-10-29 삼성전자주식회사 햅틱 글로브 및 수술로봇 시스템
US9283674B2 (en) * 2014-01-07 2016-03-15 Irobot Corporation Remotely operating a mobile robot
US9849595B2 (en) * 2015-02-06 2017-12-26 Abb Schweiz Ag Contact force limiting with haptic feedback for a tele-operated robot
JP6520478B2 (ja) * 2015-06-30 2019-05-29 株式会社デンソーウェーブ ロボットアームの操作システム
KR102446102B1 (ko) * 2016-09-19 2022-09-22 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 원격으로 제어가능한 아암을 위한 위치결정 표시장치 시스템 및 관련 방법
US10449671B2 (en) * 2017-04-04 2019-10-22 Toyota Research Institute, Inc. Methods and systems for providing robotic operation constraints for remote controllable robots
CN109226967B (zh) * 2018-07-25 2021-03-09 同高先进制造科技(太仓)有限公司 一种用于激光-电弧复合焊的主动激光视觉稳健焊缝跟踪系统
US11475630B2 (en) * 2018-10-17 2022-10-18 Midea Group Co., Ltd. System and method for generating acupuncture points on reconstructed 3D human body model for physical therapy

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5032716B1 (ja) 1968-09-23 1975-10-23
JPH02258167A (ja) * 1989-03-31 1990-10-18 Kurimoto Ltd 切断用ロボット
JPH0871780A (ja) * 1994-09-05 1996-03-19 Tdk Corp レーザ位置決め加工方法及び装置
JP2006136923A (ja) * 2004-11-12 2006-06-01 Hitachi Via Mechanics Ltd レーザ加工機及びレーザ加工方法
JP2007098507A (ja) * 2005-10-04 2007-04-19 Nagoya Institute Of Technology 作業補助装置
JP2008129120A (ja) * 2006-11-17 2008-06-05 Nikon Corp カメラ
JP2013134682A (ja) * 2011-12-27 2013-07-08 Nikon Corp 電子機器、および力覚提示装置
JP2014004656A (ja) * 2012-06-25 2014-01-16 Univ Of Tsukuba マニピュレーションシステム
US20140121574A1 (en) * 2012-10-30 2014-05-01 Noel Chladek Orthotic feedback system
JP2015035715A (ja) * 2013-08-08 2015-02-19 キヤノン株式会社 画像撮像方法及び画像撮像装置
JP2018099705A (ja) * 2016-12-20 2018-06-28 ダイハツ工業株式会社 穴明け装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3842188A4

Also Published As

Publication number Publication date
US20210299870A1 (en) 2021-09-30
EP3842188A1 (en) 2021-06-30
EP3842188A4 (en) 2022-06-08
JPWO2020040015A1 (ja) 2021-08-10
JP7126276B2 (ja) 2022-08-26

Similar Documents

Publication Publication Date Title
US11672620B2 (en) Robotic system and method for removing a volume of material from a patient
US11471232B2 (en) Surgical system and method utilizing impulse modeling for controlling an instrument
AU2018202741B2 (en) A system and method for detecting a disturbance as an energy applicator of a surgical instrument traverses a cutting path
CN114174015B (zh) 控制装置、控制系统、机器人系统以及控制方法
KR101828452B1 (ko) 서보 제어 장치 및 그 제어 방법
WO2020040015A1 (ja) ロボット支援装置及びロボット支援システム。
WO2021241558A1 (ja) システム及び操作方法
WO2023069745A1 (en) Controlling a repositionable structure system based on a geometric relationship between an operator and a computer-assisted device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19852389

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020538333

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019852389

Country of ref document: EP

Effective date: 20210324