JPH07124165A - 視線検出によるマニピュレータ制御システム - Google Patents

視線検出によるマニピュレータ制御システム

Info

Publication number
JPH07124165A
JPH07124165A JP5274405A JP27440593A JPH07124165A JP H07124165 A JPH07124165 A JP H07124165A JP 5274405 A JP5274405 A JP 5274405A JP 27440593 A JP27440593 A JP 27440593A JP H07124165 A JPH07124165 A JP H07124165A
Authority
JP
Japan
Prior art keywords
manipulator
sight
action
stereoscopic
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5274405A
Other languages
English (en)
Other versions
JP3482228B2 (ja
Inventor
Hitoshi Mizuno
均 水野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Optical Co Ltd filed Critical Olympus Optical Co Ltd
Priority to JP27440593A priority Critical patent/JP3482228B2/ja
Publication of JPH07124165A publication Critical patent/JPH07124165A/ja
Priority to US08/940,613 priority patent/US5876325A/en
Application granted granted Critical
Publication of JP3482228B2 publication Critical patent/JP3482228B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Surgical Instruments (AREA)
  • Endoscopes (AREA)
  • Manipulator (AREA)

Abstract

(57)【要約】 【目的】 マニピュレータの遠隔制御において、操作者
の意図しない誤操作により、対象物またはスレーブマニ
ピュレータに無理な力が働くことを防止する視線検出に
よるマニピュレータの制御システムを提供すること。 【構成】 対象物位置算出15により、視線位置検知セ
ンサ13a,13bで検知した操作者の視線を基に観察
対象の位置を計算し、位置偏差算出回路16により、前
記観察対象の位置とマスターアーム9が指示するスレー
ブマニピュレータ1が取るべき作用点の位置とを比較し
位置的偏差を算出する。制御回路17により、位置偏差
算出回路16の算出した位置的偏差が規定値より小さい
場合にのみ、スレーブマニピュレータ1の作用点の位置
がマスターアーム9が指示する作用点の位置となるよう
に駆動制御する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、遠隔的にマニピュレー
タの操作を行う視線検出によるマニピュレータ制御シス
テムに関する。
【0002】
【従来の技術】従来のマニピュレータの遠隔操作手段に
は、マスタースレーブ方式を用いたものがある。すなわ
ち、実際の作業環境に設置されたスレーブマニピュレー
タを動作させるために、スレーブマニピュレータに類似
した構造を有するマスターマニピュレータを操作者が直
接手で持って操作する方式である。マスタースレーブ方
式においては、遠隔操作手段の問題となる臨場感の欠除
を補うために、スレーブマニピュレータに働く外部から
の作用力を、マスターマニピュレータが操作者に与える
力で伝えるいわゆるバイラテラル制御が用いられてい
る。さらに視覚的な臨場感を高めるために、対象物の立
体像をマスターマニピュレータの設置環境に写し出すこ
とも行われている。
【0003】
【発明が解決しようとする課題】しかしながら、前述し
たバイラテラル制御において、マスターマニピュレータ
側には対象物の実態がないため、不用意にマスターマニ
ピュレータを操作してしまい、その結果スレーブマニピ
ュレータが対象物に接触した場合に、対象物またはスレ
ーブマニピュレータが無理な力を受ける可能性がある。
つまり、少なくともいずれかに損傷を与える可能性があ
る。仮にこれを回避する動作をバイラテラル制御下の基
にあるマスターマニピュレータに加えたとしても、スレ
ーブマニピュレータに作用力が伝達されるには、信号伝
送や演算処理にかかる時間遅れのために間に合わない可
能性がある。
【0004】また、立体像による視覚的な臨場感を操作
者に与えることができても、立体像を見なくてもマスタ
ーマニピュレータが操作できる。万一、操作者が立体像
を見ないで不用意にマスターマニピュレータを操作して
しまい、スレーブマニピュレータが対象物に接触した場
合には、依然として、対象物またはスレーブマニピュレ
ータが無理な力を受ける可能性があった。
【0005】本発明は、前記の事情に鑑みてなされたも
ので、マニピュレータの遠隔制御において、操作者の意
図しない誤操作により、対象物またはスレーブマニピュ
レータに無理な力が働くことを防止する視線検出による
マニピュレータの制御システムを提供することを目的と
している。
【0006】
【課題を解決するための手段】本発明は、対象物を輻輳
角を有した左右の画像として撮像する立体視観察手段
と、前記立体視観察手段により得られた左右の画像を立
体観察可能に表示する立体視表示手段と、前記立体視表
示手段を観察する操作者の該立体視表示手段に対する視
線を検知する手段と、前記対象物に物理的作用を及ぼす
ための作用マニピュレータと、前記作用マニピュレータ
を遠隔操作するための指示を与える遠隔操作入力手段
と、前記検知する手段で検知した操作者の視線を基に前
記観察対象の位置を計算し、この観察対象の位置と前記
遠隔操作入力手段が指示する前記作用マニピュレータが
取るべき作用点の位置とを比較し位置的偏差を算出する
演算処理手段と、前記演算処理手段の算出した位置的偏
差が規定値より小さい場合にのみ、前記作用マニピュレ
ータの作用点の位置が前記遠隔操作入力手段が指示する
作用点の位置となるように駆動制御する制御手段とを備
えている。
【0007】
【作 用】本発明の構成では、演算処理手段により、検
知する手段で検知した操作者の視線を基に観察対象の位
置を計算し、この観察対象の位置と遠隔操作入力手段が
指示する作用マニピュレータが取るべき作用点の位置と
を比較し位置的偏差を算出し、制御手段により、前記演
算処理手段の算出した位置的偏差が規定値より小さい場
合にのみ、前記作用マニピュレータの作用点の位置が前
記遠隔操作入力手段が指示する作用点の位置となるよう
に駆動制御する。
【0008】従って、本発明の構成では、位置的偏差が
規定値より大きい場合、つまり操作者の視線が作用マニ
ピュレータの作用点から例えば大きく外れた際には、遠
隔操作入力手段からの指示があっても作用マニピュレー
タは動作しないので、誤操作による作用マニピュレータ
または対象物に働く無理な力がかかるのを防止できる。
【0009】
【実施例】図を参照して本発明の実施例について、以下
に説明する。図1ないし図7は本発明の第1実施例に係
り、図1はマニピュレータ制御システムの全体的な構成
図、図2はヘッド・マウント・ディスプレイ及び立体視
スコープの概略構成図、図3は視線検出手段の構成図、
図4はマスターアーム及び作用マニピュレータの先端構
成図、図5はマスターアームの操作説明図、図6は作用
マニピュレータの使用態様を示す説明図、図7は制御装
置の動作を示すフローチャートである。
【0010】図1に示すマニピュレータ制御システム3
0は、体腔内に挿入し対象物に物理的な作用を施す作用
マニピュレータとしてのスレーブマニピュレータ1を有
している。このマニピュレータ1は、図4(a)に示す
ように、複数の関節を有する多関節アーム2と、この多
関節アーム2の先端に設けられて臓器等を把持する作用
部としてのグリッパ3と、このグリッパ3に設けた触覚
センサ4とを有している。また、このマニピュレータ1
には、図1に示すように、前記多関節アーム2を駆動し
各関節の屈曲角度を変えるように駆動可能な駆動部5を
有している。さらにマニピュレータ1には、その先端
に、図5に示すように体腔内を立体観察可能とする立体
視観察手段としての立体視スコープ6が一体に設けられ
ている。
【0011】また、前記マニピュレータ制御システム3
0は、前記マニピュレータ1の動作を制御すると共に、
立体視スコープ6の撮像した左右画像の信号を処理する
制御装置7と、この制御装置7が処理した信号を左右画
像それぞれを表示するヘッド・マウント・ディスプレ8
(以下HMD)と、前記制御装置7にマニピュレータ1
を動作させる指示量を供給する遠隔操作入力手段として
のマスターアーム9とを有している。
【0012】図4(b)及び図5に示すマスターアーム
9は、前記マニピュレータ1の多関節アーム2に対応し
た数が用意されている。操作者10がマスターアーム9
を手で操作することにより、前記制御装置7の制御の基
で多関節アーム2の動作目標位置が決定されるようにな
っている。また、前記操作者10は図5に示すように、
自らの頭部に装着したHMD8に写し出された体腔内の
立体像を見ながら、マスターアーム9の操作を行うよう
になっている。
【0013】図1(b)に示すように立体視スコープ6
は、被写体となる対象物に対して輻輳角をもって配置さ
れた左右の対物光学系9a,9bと、この対物光学系9
a,9bにより結像された左右の光学像を撮像するCC
D10a,10bとを先端側に配置している。この立体
視スコープ6は、対物光学系9a,9bが結像した左右
の光学像をCCD10a,10bが光電変換し、変換さ
れた電気信号を前記制御装置7に出力するようになって
いる。尚、前記立体視スコープ6は、左右の対物光学系
9a,9bそれぞれに図示しない可変焦点光学系を含ん
だ構成となっている。この可変焦点光学系は、一つの光
軸を有し且つ前記左右の光学像を瞳分割によりCCD1
0a,10bに結像するレンズ系としても良い。前記可
変焦点光学系は、前記制御装置7の制御により、焦点調
節を行うようになっている。
【0014】前記制御装置7は、図1に示すように、前
記CCD10a,10bの各電気信号を入力する立体視
信号処理回路11を有しており、こ立体視信号処理回路
11は、前記各電気信号を標準的な映像信号に信号処理
している。前記HMD8は、図2(b)に示すように、
左右の表示部8a,8bを有しており、前記映像信号を
受けて左右の画像を表示部8a,8bに別々に表示させ
るようになっている。これによって、前記操作者10は
対象物32の立体像を認識できるようになっている。す
なわち、図2(b)のように対象物の実像32は、対物
光学系9a,9bにより視差をもって観察されるが、図
2(a)のようにHMD8においても、各々の像が2つ
の表示部8a,8bに別々に表示される。このため、対
象物32は観察者10の眼球12a,12bに対し、同
様の視差をもって観察され、対象物の虚像32′として
立体的に認識される。
【0015】前記HMD8には、図2(a)に示すよう
に、眼球12a,12bの視線方向を検出する視線検知
センサ13a,13bが設けられている。この視線検知
センサ13a,13bは、図1に示すように、前記制御
装置7の演算処理部14に接続されている。この演算処
理部14は、視線検知センサ13a,13bが検知した
信号を基に眼球12a,12bの各視線を求め、対象物
の位置を算出する対象物位置算出回路15と、この対象
物位置算出回路15で求めた対象物の位置と、前記マス
ターアーム9の指示値とを比較し、前記対象物の位置と
指示値が示すグリッパ3の作用点の位置との偏差を算出
する位置偏差算出回路16とから構成されている。前記
対象物位置算出回路15は、求めた対象物の位置を基
に、前記立体視スコープ6の前記可変焦点光学系を駆動
制御する、いわゆるオートフォーカス制御も行ってい
る。
【0016】さらに、前記制御装置7は、前記演算処理
部14の位置偏差算出回路16で求めた偏差に応じて、
前記スレーブマニピュレータ1の駆動部5を制御するこ
とにより、多関節アーム2を動かして、グリッパ3の作
用点をマスターアーム6の指示した作用点に至るように
制御する制御手段としての制御回路17を有している。
この制御回路17は、前記触覚センサ4により検知され
たグリッパ3と対象物との接触圧が、設定値以上の場合
に、マニピュレータ1の動作を停止させるようになって
いる。尚、前記制御は、より安全性を高めるため、把持
動作を止めグリッパ3を拡開させるようにしても良い。
【0017】前記視線検知センサ13a,13bの具体
例としては、図3(a)に示すようにCCDカメラ18
で眼球12a,12bを観察するものがあり、画像処理
により眼球の位置と、瞳孔の中心位置の相対関係から検
出する視線を検出する方式がある。また別の構成として
は、図3(b)に示すように、眼球12a,12bに対
し発光ダイオード19から赤外光を出射し、眼球12
a,12bで反射した光をPSD(ポジション・センシ
ング・デバイス)20で検出することにより、視線方向
を検出する方式が知られている。いずれの方式も公知で
あり、詳述することを省略するが、例えば、写真工業
(1993年1月号,P63〜P64,P104〜P105/写真工業社発
行)には、瞳孔と目の角膜で反射した赤外光による反射
像との位置関係をマイクロコンピュータで高速演算して
眼球の回転角を求め、どこを見ているかを算出する方式
が記載されている。
【0018】図2(b)において前記操作者10が対象
物を観察しているときに、左右の目の視線方向は対象物
の虚像32′上で交わるため、各々の視線方向を視線検
知センサ13a,13bで求めれば、対象物の虚像3
2′の3次元的な位置が求められる。さらに、前記HM
D8と立体視スコープ6との光学系の関係が既知である
ので、HMD8における対象物の虚像の3次元的な位置
から、立体視スコープ6に対する対象物の実像の3次元
的な位置が求められる。前記光学系の関係とは、例え
ば、HMD8における眼球12a,12bと表示部8
a,8bとの位置関係、及び立体視スコープ6における
対物光学系9a,9bとCCD10a,10bとの位置
関係、さらに各光学系の倍率等がある。理想的には、光
学系の関係が相似関係であれば、図中に示すθL=ψL、
θR=ψRが成立する。しかし、相似関係でなくても、前
記光学系の関係が既知であるので、容易に実像の3次元
的な位置を求めることができる。尚、ψL,ψRは対物光
学系9a,9bが対象物32に合焦した場合に、対物光
学系9a,9b及びCCD10a,10bの光軸に対す
る偏角である。また、θL,θRは左右の眼球12a,1
2bの角膜21a,21bの中心軸A,B、つまり左右
の視線の方向と、表示部8a,8bとのなす角度であ
る。
【0019】次に、図6の使用態様図、図7に示すフロ
ーチャート、図2及び図3を参照して、制御装置7の動
作について説明する。
【0020】さて、図7(a)は、視線検出による対象
物の3次元的位置を求めると共に、、この結果を用いて
立体視スコープ6のオートフォーカスを行うフローチャ
ートである。図7(b)は、視線検出により求めた対象
物の3次元的位置を目標点としてスレーブマニピュレー
タ1を動作させるフローチャ−トである。図7(c)
は、視線検出により求めた対象物の3次元的位置を使用
し、スレーブマニピュレータ1を遠隔操作する際の誤操
作防止を目的とした制御に関するフローチャ−トであ
る。このフローは、図7(b)の制御方式とは別の制御
方式であって、マスターアーム9からの動作指令と、観
察対象の位置とが規定範囲内のときにのみ、マスターア
ーム9の動きに習ってスレーブマニピュレータ1が動作
する。
【0021】図6は、本システムにおいて、遠隔操作に
より被検体31の体腔内の手術を行っている様子を示し
ている。スレーブマニピュレータ1は、被検体31を穿
切したトラカール22を介して、体腔内33に先端部が
挿入されている。
【0022】前記スレーブマニピュレータ1には、立体
視スコープ6が設置されており、この画像が制御装置7
によってHMD8に表示される。操作者10がHMD8
に表示された像を見ながらマスターアーム9を操作する
と、体腔内33に挿入されたスレーブマニピュレータ1
が、マスターアーム9の動きに倣って動作し、体腔内3
3にて手術を行うことができる。
【0023】前記HMD8には、図2(a)に示すよう
に視線方向を検出するセンサ13a,13bが設けられ
ており、操作者10が対象物である観察対象を認識する
ためには両眼12a,12bの視線が、観察対象に向け
られる必要がある(図7(a)のSS1,SS2を参
照)。このため、逆に両眼12a,12bの視線方向を
検出することにより観察対象の位置が検出される。すな
わち、前記対象物位置算出回路15では、左右の視線方
向θL,θRに対して、HMD8と立体視スコープ6との
間で生じる光学系の幾何的な相違を補正することによ
り、立体スコープ6から観察対象までの方位角ψL,ψR
が求められ、三角測量と同じ方法で観察対象の位置が検
出される(図7(a)のステップS3ないしS5参
照)。このとき、ステップS6に示すように、対象物位
置算出回路15は、注目している観察対象に常に合焦す
るようにオートフォーカス制御をしている。
【0024】尚、図2及び図7(a)では説明を容易に
するため平面における問題として扱っているが、空間に
おいても同様の原理で、観察対象の位置が検出できる。
【0025】前記制御装置7の制御方式としては、図7
(b)のフローに示すものがある。この制御において前
記制御回路17は、対象物位置算出回路15で求めた三
次元的(視線)位置を目標点として、スレーブマニピュ
レータ1の作用点が至るように、駆動部5を介して多関
節アーム2を駆動制御している。
【0026】一方、前記制御装置7の別の制御方式とし
ては、図7(c)のフローに示すものがある。
【0027】ここで、図4(a),(b)に示すよう
に、マスターアーム9が指示する作用点の位置をP、視
線検知によって求めた対象物の3次元的位置をQとし、
さらに多関節アーム2の動作によるグリッパ3の可動適
正範囲を示す規定値としての偏差量をRとする。尚、図
4(b)では、Q点はグリッパ3の作用点と一致してい
る。
【0028】前記制御回路17の制御のもとで、|P−
Q|<Rの条件でのみ多関節アーム2は、マスターアー
ム9が指示する作用点の位置Pに追従することが許され
る。すなわち、前記制御回路17は、操作者10が多関
節アーム2の作用点を中心とする半径Rの範囲を見てい
るときにのみ遠隔操作できるよう制限している。
【0029】図4(a),(b)において、スレーブマ
ニピュレータ1の作用点とマスターアーム9の指示点P
とが一致している状況を考える。仮に操作者10が、図
4(b)のQ1点に視点を移したときには、図7(c)
のステップS8において、対象物の位置と注視点との位
置的偏差である|P−Q|より設定値Rの方が小さいの
で、制御回路17は、ステップS9に至り動作の許可状
態となる。ここで、遠隔的操作の入力手段であるマスタ
ーアーム9の指示位置Pを移動させることにより、制御
回路17は、スレーブマニピュレータ1を位置Pに追従
するように制御する。
【0030】また、操作者10が、図4(b)のQ2点
に視点を移したときには、図7(c)のステップS8に
おいて、|P−Q|より設定値Rの方が大きいので、制
御回路17はステップS10に至り、多関節アーム2の
動作は禁止される。
【0031】本実施例では、観察者10がスレーブマニ
ピュレータ1の作用点の少なくとも近傍を観察していな
いと、具体的には設定値R以内の点を観察していない
と、マスターアーム9による動作指令があっても、スレ
ーブマニピュレータ1は動作しない。このため、本実施
例では、操作者の意図しない誤操作による対象物または
多関節アームを損傷させることを防止でき、安全性を高
めることができる。操作者がスレーブマニピュレータの
現在の作用点から他に視線を移した場合だけでなく、一
般に意識が他へ移り視線も作用点から移っている場合に
誤操作をしやすいケースが多いので、本実施例は、この
ような操作者の集中力がとぎれ意識がおろそかになった
状況下でも、マスターマニピュレータの誤操作による事
故を回避できる。
【0032】図8及び図9は本発明の第2実施例に係
り、図8はマニピュレータ制御システムの構成図、図9
は図8に示すシステムの動作説明図である。
【0033】本実施例のマニピュレータ制御システム
は、別体の作用マニピュレータと、観察用のマニピュレ
ータとを有し、別体のマスターマニピュレータにより作
用マニピュレータを遠隔操作する構成となっている。ま
た、本制御システムは、HMDの動きに合わせて立体観
察視観察手段を有する観察用のマニピュレータを遠隔操
作する構成になっている。その他、第1実施例と同様の
構成及び作用については、同じ符号を付して説明を省略
する。
【0034】図8に示す本実施例のシステム35は、被
検体に処置を施すために使用する処置用マニピュレータ
24a,24bの2台と、観察用マニピュレータ25と
を有している。本システム35は、これらマニピュレー
タを体腔内に挿入し、体腔内にて必要な手術を行うこと
ができるようになっている。前記観察用マニピュレータ
25の先端には図9(a)に示す立体視スコープ25a
が設けられている。
【0035】また、HMD8Aには、図1に示すHMD
8の構成に加えて、HMD8Aの位置及び傾きに関する
6自由度の情報が検知可能な3次元位置センサ26が設
けられている。このHMD8Aの3次元位置センサ26
は、例えば図9(b)に示す直行する3方向に巻かれた
3つの検知コイル26aと、一定の位置に固定された同
様構造の図示しない固定コイルとからなる。この固定コ
イルから出された磁場の強度を検知コイル26aにより
検知することにより、位置及び傾きに関する6自由度情
報が求められるようになっている。この3次元位置セン
サ26が検出したHMD8Aの変位量は、制御装置7の
制御回路27に供給されるようになっている。この制御
回路27は、前記3次元位置センサ26が検出した変位
量に応じて、立体視スコープ25aの視野方向を制御す
るようになっている。
【0036】また、マスターマニピュレータ28a,2
8bは、制御装置7の位置偏差算出回路16Aに接続さ
れている。前記制御回路27は、前記位置偏差算出回路
16Aがマスターマニピュレータ28a,28bの各指
示位置と、前記対象物位置検出回路位置5の観察対象と
の位置との各偏差に応じて、処置用マニピュレータ24
a,24bをそれぞれ制御するようになっている。
【0037】前記構成で、操作者は、HMD8Aを装着
した状態において、マスターマニピュレータ28a,2
8bを手で持つ動作をさせることにより、処置用マニピ
ュレータ24a,24bを操作する。
【0038】前記制御回路27は、3D位置センサ26
の検出磁界の強度により、HMD8の位置及び傾きに関
する6自由度の情報を求め、求めた情報に従って観察用
マニピュレータ25の動作位置を決定する。また、視線
検知センサ13a,13bから前述の第1の実施例の方
法で求めた3次元的位置と、処置用マニピュレータ24
a,24bの作用点とが規定値の範囲内にある場合にの
み、制御回路27は、マスターマニピュレータ28a,
28bの操作に従って処置用マニピュレータ24a,2
4bを動作させている。
【0039】本実施例によれば、立体像を見ると同時
に、手と目との位置関係が体腔内の処置用マニピュレー
タと観察用マニピュレータとの位置関係をそのまま保ち
ながら、操作可能となり、より高い臨場感が得られる。
さらに本実施例は、視線検知により第1の実施例と同様
に安全に操作が行える。
【0040】
【発明の効果】以上説明したように、本発明によれば、
マニピュレータの遠隔制御において、操作者の意図しな
い誤操作により、対象物または作用マニピュレータに無
理な力が働くことを防止でき、より安全な操作が可能と
なるという効果がある。
【図面の簡単な説明】
【図1】図1ないし図7は第1実施例に係り、図1はマ
ニピュレータ制御システムの全体的な構成図。
【図2】図2はヘッド・マウント・ディスプレイ及び立
体視スコープの概略構成図。
【図3】図3は視線検出手段の構成図。
【図4】図4はマスターアーム及び作用マニピュレータ
の先端構成図。
【図5】図5はマスターアームの操作説明図。
【図6】図6は作用マニピュレータの使用態様を示す説
明図。
【図7】図7は制御装置の動作を示すフローチャート。
【図8】図8及び図9は第2実施例に係り、図8はマニ
ピュレータ制御システムの構成図。
【図9】図9は図8に示すシステムの動作説明図であ
る。
【符号の説明】
30…マニピュレータ制御システム 1…スレーブマニピュレータ 2…多関節アーム 3…グリッパ 6…立体視スコープ 7…制御装置 8…HMD 9…マスターアーム 13a,13b…視線位置検知センサ 14…演算処理部 15…対象物位置算出回路 16…位置偏差算出回路 17…制御回路

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 対象物を輻輳角を有した左右の画像とし
    て撮像する立体視観察手段と、 前記立体視観察手段により得られた左右の画像を立体観
    察可能に表示する立体視表示手段と、 前記立体視表示手段を観察する操作者の該立体視表示手
    段に対する視線を検知する手段と、 前記対象物に物理的作用を及ぼすための作用マニピュレ
    ータと、 前記作用マニピュレータを遠隔操作するための指示を与
    える遠隔操作入力手段と、 前記検知する手段で検知した操作者の視線を基に前記観
    察対象の位置を計算し、この観察対象の位置と前記遠隔
    操作入力手段が指示する前記作用マニピュレータが取る
    べき作用点の位置とを比較し位置的偏差を算出する演算
    処理手段と、 前記演算処理手段の算出した位置的偏差が規定値より小
    さい場合にのみ、前記作用マニピュレータの作用点の位
    置が前記遠隔操作入力手段が指示する作用点の位置とな
    るように駆動制御する制御手段とを備えている、 ことを特徴とする視線検出によるマニピュレータ制御シ
    ステム
JP27440593A 1993-11-02 1993-11-02 視線検出によるマニピュレータ制御システム Expired - Fee Related JP3482228B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP27440593A JP3482228B2 (ja) 1993-11-02 1993-11-02 視線検出によるマニピュレータ制御システム
US08/940,613 US5876325A (en) 1993-11-02 1997-09-30 Surgical manipulation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP27440593A JP3482228B2 (ja) 1993-11-02 1993-11-02 視線検出によるマニピュレータ制御システム

Publications (2)

Publication Number Publication Date
JPH07124165A true JPH07124165A (ja) 1995-05-16
JP3482228B2 JP3482228B2 (ja) 2003-12-22

Family

ID=17541216

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27440593A Expired - Fee Related JP3482228B2 (ja) 1993-11-02 1993-11-02 視線検出によるマニピュレータ制御システム

Country Status (1)

Country Link
JP (1) JP3482228B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08313828A (ja) * 1995-05-16 1996-11-29 Olympus Optical Co Ltd 立体視内視鏡システム
JPH10127565A (ja) * 1996-10-29 1998-05-19 Olympus Optical Co Ltd 体腔内処置観察システム
US6496756B1 (en) 1998-11-16 2002-12-17 Technology Research Association Of Medical And Welfare Apparatus Master-slave manipulator apparatus and method therefor, further training apparatus for manipulator operation input and method therefor
JP2011237987A (ja) * 2010-05-10 2011-11-24 Olympus Corp 操作入力装置およびマニピュレータシステム
JP2012518504A (ja) * 2009-02-24 2012-08-16 クンツ,ライナー アイトラッカーを用いたナビゲーション式内視鏡装置
WO2013012018A1 (en) 2011-07-15 2013-01-24 Olympus Corporation Manipulator system
CN107569346A (zh) * 2017-10-16 2018-01-12 王疆卫 一种智能运动保健、中医按摩式护理床
JP2019005629A (ja) * 2011-07-11 2019-01-17 ボード オブ リージェンツ オブ ザ ユニバーシティ オブ ネブラスカ 手術ロボットデバイス及び手術ロボットシステム
JP2019064373A (ja) * 2017-09-29 2019-04-25 東芝情報システム株式会社 無人無索潜水機システム
JP2021151496A (ja) * 2014-03-19 2021-09-30 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 視線追跡を使用する医療装置、システム、及び方法
US11438572B2 (en) 2014-03-19 2022-09-06 Intuitive Surgical Operations, Inc. Medical devices, systems and methods using eye gaze tracking for stereo viewer

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2729084A4 (en) 2011-07-07 2015-03-04 Olympus Corp MEDICAL MASTER SLAVE MANIPULATOR

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08313828A (ja) * 1995-05-16 1996-11-29 Olympus Optical Co Ltd 立体視内視鏡システム
JPH10127565A (ja) * 1996-10-29 1998-05-19 Olympus Optical Co Ltd 体腔内処置観察システム
US6496756B1 (en) 1998-11-16 2002-12-17 Technology Research Association Of Medical And Welfare Apparatus Master-slave manipulator apparatus and method therefor, further training apparatus for manipulator operation input and method therefor
JP2012518504A (ja) * 2009-02-24 2012-08-16 クンツ,ライナー アイトラッカーを用いたナビゲーション式内視鏡装置
US9361818B2 (en) 2010-05-10 2016-06-07 Olympus Corporation Operation input device and manipulator system
JP2011237987A (ja) * 2010-05-10 2011-11-24 Olympus Corp 操作入力装置およびマニピュレータシステム
US11595242B2 (en) 2011-07-11 2023-02-28 Board Of Regents Of The University Of Nebraska Robotic surgical devices, systems and related methods
JP2019005629A (ja) * 2011-07-11 2019-01-17 ボード オブ リージェンツ オブ ザ ユニバーシティ オブ ネブラスカ 手術ロボットデバイス及び手術ロボットシステム
US9204934B2 (en) 2011-07-15 2015-12-08 Olympus Corporation Manipulator system
CN103608150A (zh) * 2011-07-15 2014-02-26 奥林巴斯株式会社 机械手系统
WO2013012018A1 (en) 2011-07-15 2013-01-24 Olympus Corporation Manipulator system
JP2021151496A (ja) * 2014-03-19 2021-09-30 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 視線追跡を使用する医療装置、システム、及び方法
US11438572B2 (en) 2014-03-19 2022-09-06 Intuitive Surgical Operations, Inc. Medical devices, systems and methods using eye gaze tracking for stereo viewer
US11792386B2 (en) 2014-03-19 2023-10-17 Intuitive Surgical Operations, Inc. Medical devices, systems, and methods using eye gaze tracking for stereo viewer
JP2023171641A (ja) * 2014-03-19 2023-12-01 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 視線追跡を使用する医療装置、システム、及び方法
US12364555B2 (en) 2014-03-19 2025-07-22 Intuitive Surgical Operations, Inc. Medical devices, systems, and methods using eye gaze tracking
JP2019064373A (ja) * 2017-09-29 2019-04-25 東芝情報システム株式会社 無人無索潜水機システム
CN107569346A (zh) * 2017-10-16 2018-01-12 王疆卫 一种智能运动保健、中医按摩式护理床

Also Published As

Publication number Publication date
JP3482228B2 (ja) 2003-12-22

Similar Documents

Publication Publication Date Title
US12544163B2 (en) Roboticized surgery system with improved control
US11284952B2 (en) Estimation of a position and orientation of a frame used in controlling movement of a tool
US8320623B2 (en) Systems and methods for 3-D target location
US12106502B2 (en) System and method for determining depth perception in vivo in a surgical robotic system
JP6939778B2 (ja) 制御装置、制御方法及び手術システム
JPH11202256A (ja) 頭部搭載型画像表示装置
WO2017115425A1 (ja) 医療用マニピュレータシステム
JP3482228B2 (ja) 視線検出によるマニピュレータ制御システム
US12382192B2 (en) System and method for autofocusing of a camera assembly of a surgical robotic system
Gras et al. Intention recognition for gaze controlled robotic minimally invasive laser ablation
JPH089423A (ja) 遠隔モニタ装置
JPH07328971A (ja) Tvカメラ付マニピュレータ
CN115192207B (zh) 手术机器人、主操作台及其控制方法、控制装置
JP2024097269A (ja) 情報処理装置および情報処理方法
CN117279576A (zh) 用于对外科机器人系统的相机组件进行自动聚焦的系统和方法
Plooy et al. Judging size, distance, and depth with an active telepresence system

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20030929

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071010

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081010

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091010

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101010

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees