JP5737796B2 - 内視鏡操作システムおよび内視鏡操作プログラム - Google Patents
内視鏡操作システムおよび内視鏡操作プログラム Download PDFInfo
- Publication number
- JP5737796B2 JP5737796B2 JP2015504448A JP2015504448A JP5737796B2 JP 5737796 B2 JP5737796 B2 JP 5737796B2 JP 2015504448 A JP2015504448 A JP 2015504448A JP 2015504448 A JP2015504448 A JP 2015504448A JP 5737796 B2 JP5737796 B2 JP 5737796B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- endoscope
- holding arm
- imaging
- angular velocity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 claims description 129
- 239000013598 vector Substances 0.000 claims description 83
- 239000011159 matrix material Substances 0.000 claims description 41
- 230000033001 locomotion Effects 0.000 claims description 35
- 238000004364 calculation method Methods 0.000 claims description 33
- 238000006243 chemical reaction Methods 0.000 claims description 32
- 230000007246 mechanism Effects 0.000 claims description 31
- 238000006073 displacement reaction Methods 0.000 claims description 27
- 238000013519 translation Methods 0.000 claims description 15
- 230000001133 acceleration Effects 0.000 claims description 9
- 238000005452 bending Methods 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 238000001839 endoscopy Methods 0.000 claims 1
- 210000003128 head Anatomy 0.000 description 56
- 238000003780 insertion Methods 0.000 description 12
- 230000037431 insertion Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000000034 method Methods 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- 210000003815 abdominal wall Anatomy 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000002674 endoscopic surgery Methods 0.000 description 2
- 210000001835 viscera Anatomy 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 206010052428 Wound Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002350 laparotomy Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003183 myoelectrical effect Effects 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00147—Holding or positioning arrangements
- A61B1/00149—Holding or positioning arrangements using articulated arms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00147—Holding or positioning arrangements
- A61B1/0016—Holding or positioning arrangements using motor drive units
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/005—Flexible endoscopes
- A61B1/0051—Flexible endoscopes with controlled bending of insertion part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Radiology & Medical Imaging (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Optics & Photonics (AREA)
- Signal Processing (AREA)
- Robotics (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Description
本発明は、内視鏡操作システムおよび内視鏡操作プログラムに関する。
外科手術において、術後の回復が速く、手術の際の傷口が小さい等の利点から開腹手術に代えて内視鏡手術が広く行われている。このような内視鏡手術においては、遠隔操作が可能なマスタスレーブ型の内視鏡操作システムが提案されている。このような内視鏡操作システムは、例えば、特許文献1にも示されるように、内視鏡のズームレンズの拡大率が、ヘッドマウントディスプレイ(以下、HMDともいう)内に設けられ、手術者(操作者)の頭の移動を検出する姿勢センサからの検出出力に基づいて制御されている。また、操作者の頭部の動きは、磁界を発生する磁気ソースに対する姿勢センサの変位として取り出される。これにより、例えば、操作者が患者に対し左を向けば、内視鏡の固体撮像素子を通じて得られた撮像データに基づく左の画像がHMD内の一対の液晶モニタに映され、操作者が患者に近づいた場合、ズームレンズにより拡大された視野が得られる。従って、操作者は、内視鏡が挿入された体腔内を立体的に観察することができる。
また、非特許文献1に開示されている内視鏡把持装置においては、5節リンク機構と、腹壁を貫通するトロッカーを腹壁部で保持するボールジョイント部と、リンク機構を駆動させる駆動部および操作部とにより内視鏡把持装置が構成されている。かかる構成においては、内視鏡の一種である腹腔鏡はズーム式で、画面の遠近を素早く切り替えることができ、また、コントローラスイッチにより、ズーム式の腹腔鏡が操作者の欲する位置に迅速に移動可能とされる。
医療用内視鏡把持装置「Naviot」、カタログ、日立ハイブリッドネットワーク(株)発行
図4に示すように、特許文献1および非特許文献1に記載されたいずれの装置も、内視鏡の撮像方向がこれを保持する保持アームユニット110と平行な方向(撮像角度θ=0°)である場合(所謂直視鏡の場合)は、操作者OPの頭部および上体のうちの少なくとも一方を前後に動かすと、内視鏡124もそれに倣って前後に動くため、内視鏡124によって撮像された像を画面に表示する表示部132にも、撮像対象に近づいた(ズームインした)像の撮像や撮像対象から遠ざかった(ズームアウトした)像の撮像が行われるため、内視鏡124の直感的な操作が可能であり、特に問題はない。
しかしながら、図5に示すように、内視鏡124の撮像方向を、内視鏡124を保持する保持アームユニット110と異ならせた方向(撮像角度θ≠0°)とした場合(所謂斜視鏡の場合)は、直視鏡のような直感的な操作ができないという問題があった。具体的には例えば、保持アームユニット110に設けられた関節部126により内視鏡124が鉛直方向下向きとなっている場合、ズームインした像やズームアウトした像を撮像しようとして前記と同様に操作者OPの頭部および上体のうちの少なくとも一方を前後に動かすと、下方向を撮像している内視鏡124が前後動することになる。従って、表示部132には、下方向を撮像した像が上下動(前後動)するだけであり、ズームインした像やズームアウトした像を得ることができない。
ちなみに、このように内視鏡124が下方向を撮像しているときにズームインした像やズームアウトした像を撮像しようとした場合、操作者OPは頭部および上体のうちの少なくとも一方を前後させるのではなく、頭部および上体のうちの少なくとも一方の傾きを変更させたり、屈伸運動を行ったりして、内視鏡124を上下動させたり、ズームイン/ズームアウトさせたりする必要がある。従って、斜視鏡の場合は前記したように直視鏡のような直感的な操作ができないという問題があった。
ちなみに、このように内視鏡124が下方向を撮像しているときにズームインした像やズームアウトした像を撮像しようとした場合、操作者OPは頭部および上体のうちの少なくとも一方を前後させるのではなく、頭部および上体のうちの少なくとも一方の傾きを変更させたり、屈伸運動を行ったりして、内視鏡124を上下動させたり、ズームイン/ズームアウトさせたりする必要がある。従って、斜視鏡の場合は前記したように直視鏡のような直感的な操作ができないという問題があった。
本発明は前記問題に鑑みてなされたものであり、内視鏡の撮像角度がどのような角度であっても直感的な操作が可能な内視鏡操作システムおよび内視鏡操作プログラムを提供することを課題とする。
〔1〕本発明に係る内視鏡操作システムは、操作者の頭部および上体のうちの少なくとも一方の動きを検出するセンサ部と、前記センサ部によって検出された動きに応じて1つまたは複数のアクチュエータを駆動させる制御部と、前記アクチュエータとこれに接続された1つ以上の変位機構によって往復動および自転可能に支持された保持アームユニットと、前記保持アームユニットの任意の一部に、前記アクチュエータによって撮像角度を自在に変更できる関節部を介して設けられた撮像部と、前記撮像部によって撮像された像を画面に表示する表示部と、を備え、前記制御部は、前記センサ部によって検出された動きから角速度および並進速度を算出する算出手段と、前記関節部による前記撮像部の撮像角度を加味して前記角速度および前記並進速度を前記保持アームユニットの目標角速度ベクトルおよび目標並進速度ベクトルに変換し、さらにこれらを用いて前記変位機構の速度目標値に変換し、当該速度目標値から位置目標値を求める変換手段と、前記位置目標値に従って前記アクチュエータを駆動させる駆動制御手段と、を有することを特徴としている。
本発明に係る内視鏡操作システムは、制御部が、関節部による撮像部の撮像角度を加味して操作者の動き、すなわち、頭部および上体のうちの少なくとも一方の角速度および並進速度を算出し、これらを保持アームユニットの目標角速度ベクトルおよび目標並進速度ベクトルに変換し、さらにこれらを用いて変位機構の速度目標値に変換し、当該速度目標値から位置目標値を求め、この位置目標値に従ってアクチュエータを駆動させるので、内視鏡の撮像角度がどのような角度であっても直感的な操作が可能となる。
〔2〕本発明に係る内視鏡操作システムは、前記操作者の頭部の角速度および並進速度を検出するセンサ部の空間座標は、前記操作者の首の中心軸をy軸、前記操作者の左右方向をx軸、前記操作者の前後方向をz軸とする空間座標であり、前記撮像部の空間座標は、前記撮像部の左右方向をx軸、上下方向をy軸、光軸方向をz軸とし、前記操作者の頭部の位置および加速度の変動に対応する前記撮像部の位置変動が、前記保持アームユニットおよび前記関節部の屈曲の状態によらず同一となるように制御を行うのが好ましい。
本発明に係る内視鏡操作システムは、操作者の空間座標と撮像部の空間座標とが一致し、操作者の頭部の位置および加速度の変動に対応して撮像部の位置変動が一致するため、内視鏡の撮像角度がどのような角度であっても直感的な操作が可能となる。
〔3〕また、本発明に係る内視鏡操作システムは、前記制御を行うにあたって、前記撮像部の撮像角度を行列として表現し、これを前記操作者の頭部の変動から前記保持アームユニットおよび前記関節部の位置変動への座標変換において用いるのが好ましい。
本発明に係る内視鏡操作システムは、撮像部の撮像角度を行列として表現し、これを操作者の頭部の動作から保持アームユニットの動作への座標変換に用いているので、より確実に操作者の空間座標と撮像部の空間座標とが一致し、操作者の頭部の位置および加速度の変動に対応する撮像部の位置変動が一致するようになる。そのため、内視鏡の撮像角度がどのような角度であっても直感的な操作が可能となる。
〔4〕本発明に係る内視鏡操作システムは、前記変換手段が、下記式(1)および(2)に基づいて前記角速度および前記並進速度を前記保持アームユニットの目標角速度ベクトルおよび目標並進速度ベクトルに変換するのが好ましい。
ωref=RhRcT・ω´cmd ・・・(1)
νref=RhRcT・ν´cmd ・・・(2)
なお、式(1)および(2)において、
ωrefは、前記保持アームユニットの目標角速度ベクトル、
νrefは、前記保持アームユニットの目標並進速度ベクトル、
Rhは、前記保持アームユニットの姿勢を表す行列であって、前記変位機構による変位から下記式(3)の順運動学演算によって得られるものであり、
Rcは、前記撮像部の撮像角度θを表す行列であって、下記式(4)で表されるものであり、
Tは、前記センサ部について設定された座標系から前記保持アームユニットについて設定された座標系への変換行列、
ω´cmdは、下記式(5)で表される前記保持アームユニットの角速度指令ベクトルωcmdを制限値によって制限したもの、
ν´cmdは、下記式(6)で表される前記保持アームユニットの並進速度指令ベクトルνcmdを制限値によって制限したものである。
νref=RhRcT・ν´cmd ・・・(2)
なお、式(1)および(2)において、
ωrefは、前記保持アームユニットの目標角速度ベクトル、
νrefは、前記保持アームユニットの目標並進速度ベクトル、
Rhは、前記保持アームユニットの姿勢を表す行列であって、前記変位機構による変位から下記式(3)の順運動学演算によって得られるものであり、
Rcは、前記撮像部の撮像角度θを表す行列であって、下記式(4)で表されるものであり、
Tは、前記センサ部について設定された座標系から前記保持アームユニットについて設定された座標系への変換行列、
ω´cmdは、下記式(5)で表される前記保持アームユニットの角速度指令ベクトルωcmdを制限値によって制限したもの、
ν´cmdは、下記式(6)で表される前記保持アームユニットの並進速度指令ベクトルνcmdを制限値によって制限したものである。
Rh=Eiq1Ejq2Ekq4 ・・・(3)
Rc=Ejθ ・・・(4)
ωcmd=Kr・ωs ・・・(5)
νcmd=(0,0,Kzνz)t ・・・(6)
なお、式(3)〜(6)において、
Eは、回転行列であり、
i、j、kは、それぞれx,y,z軸回りの回転を表し、
q1、q2、q4は、それぞれ変位機構による変位、
θは、前記撮像部の撮像角度、
Krは、速度ゲインを表す係数行列、
ωsは、前記センサ部によって検出された3次元角速度ベクトル、
Kzは、ユーザが設定したゲイン、
νzは、頭部前後方向の速度、
tは、転置行列であることを表す。
Rc=Ejθ ・・・(4)
ωcmd=Kr・ωs ・・・(5)
νcmd=(0,0,Kzνz)t ・・・(6)
なお、式(3)〜(6)において、
Eは、回転行列であり、
i、j、kは、それぞれx,y,z軸回りの回転を表し、
q1、q2、q4は、それぞれ変位機構による変位、
θは、前記撮像部の撮像角度、
Krは、速度ゲインを表す係数行列、
ωsは、前記センサ部によって検出された3次元角速度ベクトル、
Kzは、ユーザが設定したゲイン、
νzは、頭部前後方向の速度、
tは、転置行列であることを表す。
本発明に係る内視鏡操作システムは、変換手段が、頭部および上体のうちの少なくとも一方の動きから算出された角速度および並進速度を、関節部による撮像部の撮像角度を加味するため式(4)で表される行列Rcを導入して、式(1)および(2)によって保持アームユニットの目標角速度ベクトルおよび目標並進速度ベクトルに変換してからアクチュエータを駆動させるので、内視鏡の撮像角度がどのような角度であっても直感的な操作を確実に行うことができる。
〔5〕本発明に係る内視鏡操作プログラムは、前記〔1〕に記載の内視鏡操作システムを操作するための内視鏡操作プログラムであって、コンピュータを、前記センサ部によって検出された動きから角速度および並進速度を算出する算出手段、前記関節部による前記撮像部の撮像角度を加味して前記角速度および前記並進速度を前記保持アームユニットの目標角速度ベクトルおよび目標並進速度ベクトルに変換し、さらにこれらを用いて前記変位機構の速度目標値に変換し、当該速度目標値から位置目標値を求める変換手段、前記位置目標値に従って前記アクチュエータを駆動させる駆動制御手段、として機能させることを特徴としている。
本発明に係る内視鏡操作プログラムは、コンピュータを前記した算出手段、変換手段、駆動制御手段として機能させることができるので、内視鏡の撮像角度がどのような角度であっても直感的な操作が可能である。
本発明に係る内視鏡操作システムは、関節部による撮像部の撮像角度を加味して操作者の動きを保持アームユニットの目標角速度ベクトルおよび目標並進速度ベクトルに変換し、さらにこれらを用いて変位機構の速度目標値に変換し、当該速度目標値から位置目標値を求め、その位置目標値に従ってアクチュエータを駆動させるので、内視鏡の撮像角度がどのような角度であっても直感的な操作が可能である。
本発明に係る内視鏡操作プログラムは、コンピュータを、コンピュータを、関節部による撮像部の撮像角度を加味して操作者の動きを保持アームユニットの目標角速度ベクトルおよび目標並進速度ベクトルに変換し、さらにこれらを用いて変位機構の速度目標値に変換し、当該速度目標値から位置目標値を求め、その位置目標値に従ってアクチュエータを駆動させることができる。そのため、内視鏡の撮像角度がどのような角度であっても直感的な操作が可能となる。
本発明に係る内視鏡操作プログラムは、コンピュータを、コンピュータを、関節部による撮像部の撮像角度を加味して操作者の動きを保持アームユニットの目標角速度ベクトルおよび目標並進速度ベクトルに変換し、さらにこれらを用いて変位機構の速度目標値に変換し、当該速度目標値から位置目標値を求め、その位置目標値に従ってアクチュエータを駆動させることができる。そのため、内視鏡の撮像角度がどのような角度であっても直感的な操作が可能となる。
以下、適宜図面を参照して本発明に係る内視鏡操作システムおよび内視鏡操作プログラムを実施するための形態(実施形態)について詳細に説明する。
[内視鏡操作システム]
図1は、本実施形態に係る内視鏡操作システム1の一例の構成を、操作者(手術者)OPとともに示している。
図1において、内視鏡操作システム1は、センサ部3と、センサ部3と接続された制御部40と、制御部40と接続された保持アームユニット10と、保持アームユニット10によって保持される内視鏡24と、内視鏡24によって撮像された像を画面に表示する表示部32と、を備えている。
なお、内視鏡24は、保持アームユニット10の任意の一部に、アクチュエータによって撮像角度を自在に変更できる関節部26を介して設けられた撮像部25を備えている。内視鏡24はこの関節部26により、内視鏡24を斜視鏡および直視鏡として機能できるようになっている。
また、制御部40は、算出手段45と、変換手段46と、駆動制御手段47と、を有している。
表示部32は、操作者OPの頭部に着脱可能に装着されるヘッドマウントディスプレイ30(以下、HMD30ともいう)内に設けられている。
図1は、本実施形態に係る内視鏡操作システム1の一例の構成を、操作者(手術者)OPとともに示している。
図1において、内視鏡操作システム1は、センサ部3と、センサ部3と接続された制御部40と、制御部40と接続された保持アームユニット10と、保持アームユニット10によって保持される内視鏡24と、内視鏡24によって撮像された像を画面に表示する表示部32と、を備えている。
なお、内視鏡24は、保持アームユニット10の任意の一部に、アクチュエータによって撮像角度を自在に変更できる関節部26を介して設けられた撮像部25を備えている。内視鏡24はこの関節部26により、内視鏡24を斜視鏡および直視鏡として機能できるようになっている。
また、制御部40は、算出手段45と、変換手段46と、駆動制御手段47と、を有している。
表示部32は、操作者OPの頭部に着脱可能に装着されるヘッドマウントディスプレイ30(以下、HMD30ともいう)内に設けられている。
図1に示す本実施形態に係る内視鏡操作システム1は、日常動作と同様に頭部や上体(上半身)を前後方向に並進移動させることによって、撮像する像のズームインおよびズームアウトなどの視野の並進操作を直感的に行うようにするものである。多くの場合、頭部を前後移動させる際には上体ごと傾けることから、頭部の並進運動を直接検出するだけではなく、操作者OPの例えば頭部に取り付けられたジャイロセンサ36(ジャイロスコープなどとも呼ばれている。)や、胸部に取り付けられた上体ジャイロセンサ37、地磁気センサ34(図2参照)などのセンサ部3を取り付けることによって上体の傾斜角速度を検出し、この検出出力値を用いて視野の並進操作を実現している。
具体的には、内視鏡操作システム1では、操作者OPの頭部の角速度および並進速度を検出するセンサ部3の空間座標は、操作者OPの首の中心軸をy軸、操作者OPの左右方向をx軸、操作者OPの前後方向をz軸とする空間座標としている。そして、撮像部25の空間座標は、撮像部25の左右方向をx軸、上下方向をy軸、光軸方向をz軸とし、操作者OPの頭部の位置および加速度の変動に対応する撮像部25の位置変動が、保持アームユニット10および関節部26の屈曲の状態によらず同一となるように制御を行う。なお、かかる制御を行うため、撮像部25の撮像角度を行列として表現し、これを操作者OPの頭部の動作から保持アームユニット10および関節部26の動作への座標変換において用いるのが好ましい。このような構成を採用する内視鏡操作システム1とすれば、操作者OPの空間座標と撮像部25の空間座標とが一致し、操作者OPの頭部の位置および加速度の変動に対応して撮像部25の位置変動が一致するため、内視鏡24の撮像角度がどのような角度であっても直感的な操作を行うことができる。
例えば図1に示すように、ジャイロセンサ36、上体ジャイロセンサ37や地磁気センサ34などのセンサ部3を操作者OPの頭部や胸部に取り付け、これによって上体の傾斜角速度を検出する。そして、この検出した上体傾角速度から頭部の前後方向の並進速度を計算し、ズーム操作などの指令値として用いる。例えば、上体を前方に傾斜させた場合には視野をズームインさせ、上体を後方に傾斜させた場合には視野をズームアウトさせる。
なお、より簡易かつ直感的な内視鏡24の視野のズーム操作を行うため、人間が頭部を前後左右に自然に並進運動させる際には、首から上の動きだけではなく、上体から傾斜させる回転運動、つまり、腰付近を中心とする回転運動の速度(上体傾斜角速度)をセンサ部3(上体ジャイロセンサ37)によって検出するのが好ましい。この場合、上体傾斜角速度から頭部の前後方向における並進速度を算出することができ、ズーム操作などの指令値として用いることができる。さらに、後述するように、これとジャイロセンサ36、上体ジャイロセンサ37や地磁気センサ34などのセンサ部3の出力を組み合わせることによって、少なくとも頭部の5自由度の運動を検出することができる。
前記したように、内視鏡24は、保持アームユニット10の任意の一部に、アクチュエータによって撮像角度を自在に変更できる関節部を介して設けられた撮像部25を備えている。
また、内視鏡24は、撮像部25の光学系の制御を行う操作部62と(図2参照)、操作部62に接続され光源等を操作部62に接続する接続部(不図示)とを含んで構成されている。
また、内視鏡24は、撮像部25の光学系の制御を行う操作部62と(図2参照)、操作部62に接続され光源等を操作部62に接続する接続部(不図示)とを含んで構成されている。
撮像部25は、対物レンズ等からなる光学部(不図示)と、固体撮像素子(不図示)と、撮像部25により得られる画像を拡大または縮小すべく光学部のレンズを制御するアクチュエータ(不図示)を含むズーム機構部(不図示)とを含んで構成される。その撮像部25のズーム機構部は、後述する内視鏡制御ユニット64(図2参照)により制御される。撮像部25の対物レンズに隣接してライトガイド(不図示)が設けられている。ライトガイドは、上述の光源から導かれた光により体内を照らすものとされる。
なお、内視鏡24としては、硬性内視鏡および軟性内視鏡を採用することができる。
なお、内視鏡24としては、硬性内視鏡および軟性内視鏡を採用することができる。
HMD30は、図1に示されるように、操作者OPの頭部に装着されている。HMD30は、操作者OPの顔の正面に向き合って操作者OPの両眼に対応した位置にそれぞれ左右一対の表示部32を備えている。表示部32は、例えば、3D形式のカラー画像を表示するものとされる。なお、表示部32は、かかる例に限られることなく、例えば、2D形式の白黒画像を表示するものでもよい。
HMD30全体が、操作者OPの頭部の動きに追従することとなる。即ち、HMD30においては、図1において矢印で示されるように、操作者OP側から見た場合、首を中心軸線とした右向き(時計回り方向)の回転(右回旋)、首を中心軸線とした左向き(反時計回り方向)の回転(左回旋)、首に対し縦方向の回転(屈曲、伸展)、首に対し右方向への傾動(右側屈)、首に対し左方向への傾動(左側屈)の移動が可能とされる。
また、HMD30は、上述したHMD30の回旋、側屈、屈曲、および、伸展を検出するジャイロセンサ36や地磁気センサ34(図2参照)などのセンサ部3を備えている。ジャイロセンサ36および地磁気センサ34からの検出出力は、後述する制御部40に供給される。なお、地磁気センサ34に代えて、加速度センサでもよい。
保持アームユニット10は、操作者OPから離隔した手術台に隣接した架台(不図示)に後述するベーンモータユニット16のブラケット(不図示)を介して支持されている。保持アームユニット10は、図1に示されるように、内視鏡24を回動可能に支持するベーンモータ20を移動可能に支持するシャーシと、そのシャーシに固定され内視鏡24およびベーンモータ20を患者に対し近接または離間させる空気圧シリンダー18と、上述のシャーシに一端部が支持される平行リンク機構14を介して支持されるベーンモータユニット16と、ベーンモータユニット16の出力軸に連結されるタイミングベルトプーリおよびタイミングベルトを介して回動されることにより、上述のシャーシ全体を回動させる回転軸部と、平行リンク機構14を駆動させる空気圧シリンダー12を主な要素として含んで構成されている。
なお、ベーンモータユニット16、ベーンモータ20、空気圧シリンダー18、空気圧シリンダー12などはアクチュエータの一例であり、平行リンク機構14、タイミングベルトプーリおよびタイミングベルト、回転軸部などは、変位機構の一例である。
なお、ベーンモータユニット16、ベーンモータ20、空気圧シリンダー18、空気圧シリンダー12などはアクチュエータの一例であり、平行リンク機構14、タイミングベルトプーリおよびタイミングベルト、回転軸部などは、変位機構の一例である。
平行リンク機構14は、一部を構成するリンク部材の一端が回転軸部に連結され、他端部がシャーシに連結されている。これにより、例えば、平行リンク機構14に連結される空気圧シリンダー12のロッドが伸長状態のとき、図1においてシャーシが回転軸部の下端を中心として時計回り方向に回動される。一方、空気圧シリンダー12のロッドが縮小状態のとき、図1においてシャーシが回転軸部の下端の回転中心に対し反時計回り方向に回動される。即ち、後述するように、内視鏡24の撮像部25がHMD30における操作者OPの首に対し頭部の縦方向の回転(屈曲、伸展)に対応した方向に回転中心点GPを中心として移動可能とされる。回転中心点GPは、後述する回転軸部の回転軸線Gと共通の直線上にあって患者の体壁近傍に位置する。回転軸線Gは、保持アームユニット10においてとられる図1における直交座標系のLx座標軸に対し平行となるように設定されている。Lx座標軸は、患者の体壁に直交する方向に設定され、座標軸Lzは、Lx座標軸に対し直角となるように設定されている。
空気圧シリンダー18は、そのロッドが内視鏡24の中心軸線と略平行となるようにシャーシに支持されている。空気圧シリンダー18のロッドが伸長すると、図1において内視鏡24の撮像部25およびベーンモータ20が、これらを取り付けているシャーシごと、患者に対して離間する方向に移動する。一方、空気圧シリンダー18のロッドが縮退すると、図1において内視鏡24の撮像部25およびベーンモータ20が、これらを取り付けているシャーシごと、患者に対して近接する方向に移動させる。
ベーンモータユニット16に並設される回転軸部におけるその中心軸線に沿った所定の間隔をもって離間させた位置には、平行リンク機構14を構成するリンク部材の一端がそれぞれ連結されている。その回転軸部は、回転軸線Gの回りにベーンモータユニット16に回動可能に支持されている。これにより、ベーンモータユニット16が作動状態とされる場合、撮像部25およびベーンモータ20が回転軸線Gの回りに回動可能とされる。即ち、後述するように、撮像部25がHMD30における操作者OPの頭部の首回りの回旋に対応した方向に移動可能とされる。
また、内視鏡24における操作部近傍は、ベーンモータ20により回動可能に支持されている。これにより、内視鏡24の撮像部25がベーンモータ20の回転軸線G回りに所定の角度だけ自転(ロール)可能とされる。即ち、後述するように、内視鏡24の撮像部25がHMD30における操作者OPの側屈に対応した方向に移動せしめられる。
さらに、本実施形態に係る内視鏡操作システム1の一例においては、図1、2に示すように、保持アームユニット10の動作制御を行う制御部40および内視鏡制御システム60を備えている。
図2に示すように、内視鏡制御システム60は、操作部62からの指令信号群に基づいて内視鏡24のズーム機構部(不図示)と、光源の動作制御を行う内視鏡制御ユニット64と、内視鏡制御ユニット64を通じて内視鏡24の固体撮像素子から得られた撮像データDDに基づいて所定の画像処理を行う画像処理PC66と、を含んで構成されている。なお、ズーム機構部は撮像部25で撮像される像のズームイン、ズームアウトを行うことのできる一般的な手段により具現できる。
画像処理PC66は、撮像データDDに基づいて所定の画像処理を行い、画像データIDを形成し、それを制御部40およびHMD30に供給する。これにより、画像処理PC66からの画像データIDに基づく画像が、HMD30の表示部32に3D形式で表示される。
そして、図2に示すように、制御部40には、HMD30におけるジャイロセンサ36からの操作者OPの頭部の上述した各方向の角速度ベクトルを表す信号群GS、操作者OPの頭部の上述した各方向の各地磁気センサ34からの傾き角度を表す信号群EM、オンオフ切替用フットスイッチ50からの保持アームユニット10の動作停止命令を表す指令信号Cf、および、上体ジャイロセンサ37からの内視鏡24のズーム量を所定量、増大させる命令を表す指令信号Cz1または内視鏡24のズーム量を所定量、減少させる命令を表す指令信号Cz2が送信される。
制御部40は、ベーンモータユニット16、ベーンモータ20、空気圧シリンダー12および空気圧シリンダー18の空気圧制御についてのプログラムデータ、画像処理PC66からの画像データID、速度制御用演算部48の演算結果を表すデータ、地磁気センサ34からのからの傾き角度を表す信号群EM等を格納する記憶部40Mを備えている。
制御部40は、バルブユニットコントローラ56の通信部54と制御データCDについての送受信を双方向方式で行う通信部42を有している。バルブユニットコントローラ56は、上述の保持アームユニット10におけるベーンモータユニット16、ベーンモータ20、空気圧シリンダー12および空気圧シリンダー18を制御すべく、制御部40からの制御データCDに基づいて制御信号DM1、DM2、DC1およびDC2をそれぞれ形成し、それらをバルブユニット58に送信する。バルブユニット58は、制御信号DM1、DM2、DC1およびDC2に基づいて各バルブを制御し、空気供給源からの作動空気を保持アームユニット10におけるベーンモータユニット16、ベーンモータ20、空気圧シリンダー12および空気圧シリンダー18に供給する。
なお、上述の例においては、バルブユニットコントローラ56が設けられているが、かかる例に限られるものではない。例えば、バルブユニットコントローラ56を用いることなく、制御部40とバルブユニット58とが直接的に配線され、保持アームユニット10が制御部40により制御されてもよい。
なお、上述の例においては、バルブユニットコントローラ56が設けられているが、かかる例に限られるものではない。例えば、バルブユニットコントローラ56を用いることなく、制御部40とバルブユニット58とが直接的に配線され、保持アームユニット10が制御部40により制御されてもよい。
制御部40は、内視鏡24の挿入部における患者の体内への挿入量および速度制御を行うとともに、内視鏡24の撮像部25の姿勢制御を行うように、保持アームユニット10に動作を行わせる。
図1に示すように、制御部40における速度制御用演算部48は、算出手段45と、変換手段46と、駆動制御手段47と、を有している。
ここで、算出手段45は、センサ部3によって検出された動きから角速度および並進速度を算出する。
変換手段46は、関節部26による撮像部25の撮像角度θを加味して角速度および並進速度を保持アームユニット10の目標角速度ベクトルωrefおよび目標並進速度ベクトルνrefに変換し、さらにこれらを用いて変位機構の速度目標値Prefに変換し、位置目標値Qrefを求める。なお、速度目標値Prefは、目標角速度ベクトルωrefおよび目標並進速度ベクトルνrefから保持アームユニット10のヤコビ行列を用いるなどして求めることができ、位置目標値Qrefは、速度目標値Prefを積分演算した後、逆運動学演算することにより求めることができる。なお、速度目標値Prefを求める際の積分演算および逆運動学演算は、ロボット工学における一般的な演算手法で行うことができる。
駆動制御手段47は、位置目標値Qrefに従ってアクチュエータを駆動させ、保持アームユニット10の制御を行う。
これらの各手段による目標角速度ベクトルωrefおよび目標並進速度ベクトルνrefへの変換、さらには、これらを用いた速度目標値Prefへの変換と、位置目標値Qrefの算出等は、次のようにして行われる。
ここで、算出手段45は、センサ部3によって検出された動きから角速度および並進速度を算出する。
変換手段46は、関節部26による撮像部25の撮像角度θを加味して角速度および並進速度を保持アームユニット10の目標角速度ベクトルωrefおよび目標並進速度ベクトルνrefに変換し、さらにこれらを用いて変位機構の速度目標値Prefに変換し、位置目標値Qrefを求める。なお、速度目標値Prefは、目標角速度ベクトルωrefおよび目標並進速度ベクトルνrefから保持アームユニット10のヤコビ行列を用いるなどして求めることができ、位置目標値Qrefは、速度目標値Prefを積分演算した後、逆運動学演算することにより求めることができる。なお、速度目標値Prefを求める際の積分演算および逆運動学演算は、ロボット工学における一般的な演算手法で行うことができる。
駆動制御手段47は、位置目標値Qrefに従ってアクチュエータを駆動させ、保持アームユニット10の制御を行う。
これらの各手段による目標角速度ベクトルωrefおよび目標並進速度ベクトルνrefへの変換、さらには、これらを用いた速度目標値Prefへの変換と、位置目標値Qrefの算出等は、次のようにして行われる。
つまり、速度制御用演算部48は、これが備える前記各手段により、HMD30における上体ジャイロセンサ37からの内視鏡24の挿入部の体内への挿入量を所定量、増大させる命令を表す指令信号Cz1または内視鏡24の挿入部の挿入量を所定量、減少させる命令を表す指令信号Cz2と、HMD30におけるジャイロセンサ36からの操作者OPの頭部の上述した各方向の角速度ベクトルを表す信号群GSに基づいて内視鏡24の撮像部25の速度目標値Prefを設定し、さらに位置目標値Qrefを設定する。制御データ形成部44は、位置目標値Qrefに基づいて内視鏡24の撮像部25がその位置目標値に追従するように、保持アームユニット10の空気圧シリンダー12、18、および、ベーンモータ16に動作を行わせるべく、制御データCDを形成し、それを通信部42に送信する。
具体的には、速度制御用演算部48は、図3に示される各演算ステップに従い、後述する演算式により演算を行う。
先ず、速度制御用演算部48の有する算出手段45が、ジャイロセンサ36からの角速度を表す信号群GSに基づいて角速度指令ベクトルωcmdを式(7)により算出する。
ωcmd=Kr・ωs ・・・(7)
先ず、速度制御用演算部48の有する算出手段45が、ジャイロセンサ36からの角速度を表す信号群GSに基づいて角速度指令ベクトルωcmdを式(7)により算出する。
ωcmd=Kr・ωs ・・・(7)
ここで、Krは、後述する行列で表される速度ゲインを表し、ωsは、ジャイロセンサ36から得られた頭部の角速度ベクトルであり、式(8)で表される。ここで、座標系は、頭部について設定された座標系を用いる。図1に示す操作者OPの首の中心軸をy軸とし、操作者OPの左右方向をx軸とし、操作者OPの前後方向をz軸とする。
ωs=(ωsx,ωsy,ωsz)t ・・・(8)
なお、式(8)において、ωsx、ωsy、ωszはそれぞれ操作者OPの頭部について設定された座標系のx軸、y軸、z軸における座標を表す。また、tは転置行列であることを表している。
ωs=(ωsx,ωsy,ωsz)t ・・・(8)
なお、式(8)において、ωsx、ωsy、ωszはそれぞれ操作者OPの頭部について設定された座標系のx軸、y軸、z軸における座標を表す。また、tは転置行列であることを表している。
また、角速度に式(9)で表される定数Krをかけることで動きの感度をユーザの好みに合わせて設定することができる。この定数Krは、方向ごとに異なる値を設定することができる。なお、Krは、関数でもよい。
また、算出手段45は、式(7)で算出した角速度指令ベクトルωcmdをリミッタにより所定の制限値ωlimにより制限し、角速度指令ベクトルω´cmdに設定する。即ち、式(7)で算出した角速度指令ベクトルωcmdが制限値ωlimを超える場合、角速度指令ベクトルωcmdは制限値ωlimにより角速度指令ベクトルω´cmdに設定される。他方、式(7)で算出した角速度指令ベクトルωcmdが制限値ωlim以下の場合、その角速度指令ベクトルωcmdが角速度指令ベクトルω´cmdとして設定される。これは、保持アームユニット10の動作が過剰な速度で動作し、撮像部25により内臓を傷めないようにするためである。なお、角速度指令ベクトルω´cmdの値のデータは、記憶部40Mに格納される。後記する式(10)では、制限値ωlimにより制限された角速度指令ベクトルω´cmdを用いる。
続いて、速度制御用演算部48の有する変換手段46は、式(10)に従い、角速度指令ベクトルω´cmdを変換行列Tで保持アームのローカル座標(Lx,Ly,Lz)(図1参照)に変換するとともに、行列Rhを乗算して、内視鏡24の先端部における直交座標系(Cx,Cy,Cz)(図1参照)の角速度指令ベクトルωrefを求める(式(10))。直交座標系において座標軸Czは、内視鏡24の挿入部の中心軸線Gに沿って、即ち、内視鏡24の撮像部25の進行方向または後退方向に沿ってとられている。なお、変換行列Tは、センサ部3について設定された座標系から保持アームユニット10について設定された座標系への変換行列であり、常に一定である。なお、変換行列Tは式(11)で表される。式(11)におけるEは、回転行列を表し、k、jは、それぞれz軸回りの回転、y軸回りの回転を表す。従って、例えば、Ek -π/2は、z軸回りに−90°回転させる行列を意味する。
ωref=RhRcT・ω´cmd ・・・(10)
T=Ek -π/2Ej -π/2 ・・・(11)
ωref=RhRcT・ω´cmd ・・・(10)
T=Ek -π/2Ej -π/2 ・・・(11)
式(10)における行列Rhは、保持アームユニット10の姿勢を表す行列であって、変位機構による変位qから下記式(12)の順運動学演算によって得られる。なお、式(12)におけるEは、回転行列を表し、i、j、kは、それぞれx,y,z軸回りの回転を表し、q1、q2、q4は、それぞれ変位機構による変位を表す(図1参照)。
Rh=Eiq1Ejq2Ekq4 ・・・(12)
Rh=Eiq1Ejq2Ekq4 ・・・(12)
ここで、本実施形態に係る内視鏡操作システム1においては、内視鏡24の撮像角度θがどのような角度であっても直感的な操作を可能とすべく、式(10)に行列Rcを導入している。
Rcは、撮像部25の撮像方向を表す行列である。Rcは、例えば直視鏡の場合は単位行列となり、撮像角度が例えば下向きの場合はその角度をθとして式(13)で表される。例えば、30°斜視鏡の場合はθ=π/6などとして表すことができる。ここで、式(13)におけるjは前記と同義である。
Rc=Ejθ ・・・(13)
Rc=Ejθ ・・・(13)
本実施形態では、式(10)において行列Rcを導入したことにより、HMD30における表示部32の画面内の上下左右方向と操作者OPの頭部の上下左右が、撮像部25の撮像角度がどのような角度になっても、常に一致することとなる。即ち、HMD30における頭部に設定された座標系と、撮像部25の撮像方向に設定された座標系とが、常に一致することとなる。従って、撮像部25の撮像角度がどのような角度であっても、HMD30の表示部32に表示される画像が、操作者OPの頭部の動きに追従することとなり、常に直感的な操作が可能となる。
なお、上述の例においては、角速度指令ベクトルω´cmdを変換行列Tで保持アームユニット10のローカル座標(Lx,Ly,Lz)に変換し、さらに行列Rhと行列Rcを乗算して、内視鏡24の先端部における直交座標系(Cx,Cy,Cz)の角速度指令ベクトルωrefを求めていたが、かかる例に限られるものではない。保持アームユニット10のローカル座標(Lx,Ly,Lz)から、内視鏡24の先端部における直交座標系(Cx,Cy,Cz)への変換を省略することもできる。例えば、HMD30における表示部32に表示される画像を外部のCRT画像として見る場合などで、このCRT画像とCT画像との重ね合わせができるようにするために、保持アームユニット10のローカル座標(Lx,Ly,Lz)から、内視鏡24の先端部における直交座標系(Cx,Cy,Cz)への変換を省略することもできる。
続いて、変換手段46は、式(14)に従い、角速度指令ベクトルωrefを内視鏡24の先端(撮像部25)の目標並進速度ベクトルνxyに変換する。即ち、角速度指令ベクトルωrefは、保持アームユニット10の回転中心GPから内視鏡24の先端までのベクトルl3と外積をとることで直交座標系(Cx,Cy,Cz)における内視鏡24の先端の目標速度に関する上下、左右方向の成分を有する角速度指令ベクトルνxyに変換される。
νxy=ωref×l3 ・・・(14)
νxy=ωref×l3 ・・・(14)
さらに続けて変換手段46は、内視鏡24の撮像部25における体内への挿入量に応じて撮像部25の速度を変更可能とするように調節するために目標並進速度ベクトルνxyに対し演算を式(15)により行う。これにより、内視鏡24の撮像部25における体内への進行方向の挿入量が増大するとき、内視鏡24の撮像部25の目標並進速度ベクトルν´xyが大となる。一方、内視鏡24の撮像部25における挿入量が減少するとき、即ち、内視鏡24の撮像部25が体内から引き抜かれるとき、内視鏡24の撮像部25の目標並進速度ベクトルν´xyが小となる。
ν´xy=(1+rxyq3)νxy ・・・(15)
ν´xy=(1+rxyq3)νxy ・・・(15)
内視鏡24の先端の挿入量を表すq3(図1参照)に依存した係数rxyを式(15)のようにそれぞれのνxyの値に乗算することで、画面の移動量の挿入度に対する依存度が調節される。これにより、頭の回転による視界の移動量を調節できる。例えば、頭を回転させたときの注視対象物の画面上での移動量を、ズーム位置によらずほぼ一定にすることなどができる。そのため操作の直感性が向上する。
ここで、rxyは定数であり、νxyの値の正負が反転しない範囲で設定される。但し、q3は、中間位置から内視鏡24を挿入する方向を正、引き抜く方向を負とする。図1におけるq3の可動範囲の中央を中間位置とし、中間位置を0にとっている。なお、rxyは関数でもよい。
他方、速度制御用演算部48の有する算出手段45は、式(16)に従い、上体ジャイロセンサ37から得られる頭部の前後方向の速度νzに基づいて内視鏡24の撮像部25におけるCz座標軸(図1参照)に沿った並進速度(並進速度ベクトルνcmd)を算出する。
なお、式(16)において、Kzは、操作者OPなどのユーザが設定したゲインを表し、tは前記と同義である。
νcmd=(0,0,Kzνz)t ・・・(16)
なお、式(16)において、Kzは、操作者OPなどのユーザが設定したゲインを表し、tは前記と同義である。
νcmd=(0,0,Kzνz)t ・・・(16)
さらに、算出手段45では、式(16)で算出した目標速度指令ベクトルνcmdをリミッタにより所定の制限値νlimにより制限し、目標速度指令ベクトルν´cmdに設定する。即ち、式(16)で算出した目標速度指令ベクトルνcmdが制限値νlimを超える場合、目標速度指令ベクトルνcmdは制限値νlimにより目標速度指令ベクトルν´cmdに設定される。他方、式(16)で算出した目標速度指令ベクトルνcmdが制限値νlim以下の場合、その目標速度指令ベクトルνcmdが目標速度指令ベクトルν´cmdとして設定される。これは、保持アームユニット10の動作が過剰な速度で動作しないようにするためである。保持アームユニット10の動作が過剰な速度とならないように抑制することにより、内視鏡24が内臓にぶつかってこれを傷めないよう安全性を高めることができる。後記する式(17)では、制限値νlimにより制限された目標速度指令ベクトルν´cmdを用いる。
続いて、変換手段46は、得られた目標速度指令ベクトルν´cmdを式(17)に従い、内視鏡24の撮像部25の目標並進速度ベクトルνrefに変換する。これにより、頭の前後の動きと内視鏡24の前後の動きを一致させることができる。但し、行列Rh、行列Rcおよび変換行列Tは、前記したものと同義である。
νref=RhRcT・ν´cmd ・・・(17)
νref=RhRcT・ν´cmd ・・・(17)
式(17)も行列Rcを導入している。そのため、HMD30における表示部32の画面内の上下左右方向と操作者OPの頭部の上下左右が、撮像部25の撮像角度がどのような角度になっても、常に一致することとなる。即ち、HMD30における頭部に設定された座標系と、撮像部25の撮像方向に設定された座標系とが、常に一致することとなる。従って、撮像部25の撮像角度がどのような角度であっても、HMD30の表示部32に表示される画像が、操作者OPの頭部の動きに追従することとなり、常に直感的な操作が可能となる。
そして、さらに変換手段46は、内視鏡24の撮像部25における体内への挿入量に応じて撮像部25の速度を変更可能とするように調節するために、式(17)で求めた目標並進速度ベクトルνrefを用いて、式(18)により、目標並進速度ベクトルν´zを算出する。なお、式(18)において、rzは、定数であっても、関数であってもよい。また、q3は、前記したものと同義である。
ν´z=(1−rzq3)νref ・・・(18)
ν´z=(1−rzq3)νref ・・・(18)
上下左右の動作(保持アームユニット10の回転q1、q2の動き)(図1参照)については、ズームインした場合(深く挿入した場合)には拡大され、ズームアウトした場合は縮小される。前後の動き(保持アームユニット10の内視鏡24を挿入するときのq3の動き)は、その逆のふるまいとなる。これにより、ズームしたときの注視対象物の画面上での拡大量を、ズーム位置によらずほぼ一定にすることができる。また、深く挿入している時のズーム移動量が小さくなるので、内視鏡24と臓器の予期せぬ接触を避けることができる。
次いで、変換手段46は、式(15)で求められた目標並進速度ベクトルν´xyと、式(18)で求められた目標並進速度ベクトルν´zとを用い、式(19)に従って上下左右方向と前後方向の速度成分を加算し、最終的な内視鏡の先端(撮像部)の速度目標値Prefを求める。
Pref=ν´xy+ν´z ・・・(19)
Pref=ν´xy+ν´z ・・・(19)
変換手段46は、さらにこれに続けて、前記したようにこの速度目標値Prefを一般的な手法により積分演算し、逆運動学演算することで位置目標値Qrefを求める。
そして、駆動制御手段47は、このようにして求めた位置目標値Qrefに従って前記アクチュエータを駆動させる。
なお、前記した例においては、操作者OPの頭部の回転速度のうち、ロール成分(首を傾げる動作)は、前記した角速度指令ベクトルω´cmdのロール成分を、直接、内視鏡のロールq4の目標速度として与えられているが、かかる例に限られるものではない。また、この動作は無効にしてもよい。
また、前記した説明では、前後方向の指令はフットスイッチによって行ったが、この方法に限定されるものではない。この他の方法としては、加速度センサ、オプティカルフロー、眉間付近の皮膚変位または筋電位計測などによる前後方向指令値の生成がある。
オンオフ切替用フットスイッチ50を使用することにより発生する効果としては、次のようなものがある。内視鏡24を動作させたくないときにはスイッチをオフにしておけば、頭を自由に動かすことができる。また、例えば、スイッチをオンにして内視鏡24を右に動かす際、自分の頭が右の可動限界に達した場合でも、スイッチをオフにして頭を左に戻してからスイッチをオンにすることで、さらに内視鏡24を右に動かすことができる。また、スイッチをオンにしない限り内視鏡24が頭の動きに連動することはないので、予期せぬ動作を避けることができる。
以上に説明した本発明に係る内視鏡操作システム1は、関節部26による撮像部25の撮像角度θを加味して操作者OPの動きを保持アームユニット10の目標角速度ベクトルωrefおよび目標並進速度ベクトルνrefに変換し、さらにこれらを用いて変位機構の速度目標値Prefに変換した後、この速度目標値Prefから位置目標値Qrefを求め、その位置目標値Qrefに従ってアクチュエータを駆動させる。このとき前記したように、操作者OPの空間座標と撮像部25の空間座標とが一致し、操作者OPの頭部の位置および加速度の変動に対応して撮像部25の位置変動が一致するため、内視鏡24の撮像部25の撮像角度θがどのような角度であっても直感的な操作が可能である。
[内視鏡操作プログラム]
本実施形態に係る内視鏡操作プログラムは、前記した本実施形態に係る内視鏡操作システム1を操作するためのプログラムである。かかるプログラムは、内視鏡操作システム1を操作するため、コンピュータを算出手段、変換手段、駆動制御手段として機能させる。
このプログラムにおける算出手段、変換手段および駆動制御手段は、内視鏡操作システム1で説明した算出手段45、変換手段46および駆動制御手段47に対応するものである。従って、ここでの詳細な説明は省略する。
本実施形態に係る内視鏡操作プログラムは、前記した本実施形態に係る内視鏡操作システム1を操作するためのプログラムである。かかるプログラムは、内視鏡操作システム1を操作するため、コンピュータを算出手段、変換手段、駆動制御手段として機能させる。
このプログラムにおける算出手段、変換手段および駆動制御手段は、内視鏡操作システム1で説明した算出手段45、変換手段46および駆動制御手段47に対応するものである。従って、ここでの詳細な説明は省略する。
本発明に係る内視鏡操作プログラムは、CD−ROM、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体(不図示)に記録し、記録媒体駆動装置(不図示)によって、当該記録媒体から内視鏡操作プログラムを読み出して図示しない記憶手段にインストールして実行するようにしてもよい。
また、内視鏡操作システム1として機能するコンピュータ(クライアント)が通信ネットワークなどの通信手段を備えている場合、本発明に係る内視鏡操作プログラムが通信ネットワークを介して接続された他のコンピュータ(サーバ)に記憶され、当該コンピュータから通信ネットワークを介して内視鏡操作プログラムをダウンロードして実行させたり、サーバに記憶された本発明に係る内視鏡操作プログラムを実行させたりして、関節部26によって変更された撮像部25の撮像角度を加味して角速度および並進速度を保持アームユニット10の目標角速度ベクトルおよび目標並進速度ベクトルに変換し、さらにこれらを用いて変位機構の速度目標値に変換し、この速度目標値から位置目標値を求めてアクチュエータを駆動させるようにしてもよい。なお、この場合、数値解析した結果をサーバに備えられた記憶手段(不図示)に記憶することとしてもよい。
1 内視鏡操作システム
3 センサ部
10 保持アームユニット
25 撮像部
26 関節部
40 制御部
45 算出手段
46 変換手段
47 駆動制御手段
3 センサ部
10 保持アームユニット
25 撮像部
26 関節部
40 制御部
45 算出手段
46 変換手段
47 駆動制御手段
Claims (5)
- 操作者の頭部および上体のうちの少なくとも一方の動きを検出するセンサ部と、
前記センサ部によって検出された動きに応じて1つまたは複数のアクチュエータを駆動させる制御部と、
前記アクチュエータとこれに接続された1つ以上の変位機構によって往復動および自転可能に支持された保持アームユニットと、
前記保持アームユニットの任意の一部に、前記アクチュエータによって撮像角度を自在に変更できる関節部を介して設けられた撮像部と、
前記撮像部によって撮像された像を画面に表示する表示部と、を備え、
前記制御部は、
前記センサ部によって検出された動きから角速度および並進速度を算出する算出手段と、
前記関節部による前記撮像部の撮像角度を加味して前記角速度および前記並進速度を前記保持アームユニットの目標角速度ベクトルおよび目標並進速度ベクトルに変換し、さらにこれらを用いて前記変位機構の速度目標値に変換し、当該速度目標値から位置目標値を求める変換手段と、
前記位置目標値に従って前記アクチュエータを駆動させる駆動制御手段と、を有する
ことを特徴とする内視鏡操作システム。 - 前記操作者の頭部の角速度および並進速度を検出するセンサ部の空間座標は、前記操作者の首の中心軸をy軸、前記操作者の左右方向をx軸、前記操作者の前後方向をz軸とする空間座標であり、
前記撮像部の空間座標は、前記撮像部の左右方向をx軸、上下方向をy軸、光軸方向をz軸とし、
前記操作者の頭部の位置および加速度の変動に対応する前記撮像部の位置変動が、前記保持アームユニットおよび前記関節部の屈曲の状態によらず同一となるように制御を行うことを特徴とする請求項1に記載の内視鏡操作システム。 - 前記制御を行うにあたって、前記撮像部の撮像角度を行列として表現し、これを前記操作者の頭部の変動から前記保持アームユニットおよび前記関節部の位置変動への座標変換において用いることを特徴とする請求項2に記載の内視鏡操作システム。
- 前記変換手段が、下記式(1)および(2)に基づいて前記角速度および前記並進速度を前記保持アームユニットの目標角速度ベクトルおよび目標並進速度ベクトルに変換することを特徴とする請求項1から3のいずれかに記載の内視鏡操作システム。
ωref=RhRcT・ω´cmd ・・・(1)
νref=RhRcT・ν´cmd ・・・(2)
(なお、式(1)および(2)において、
ωrefは、前記保持アームユニットの目標角速度ベクトル、
νrefは、前記保持アームユニットの目標並進速度ベクトル、
Rhは、前記保持アームユニットの姿勢を表す行列であって、前記変位機構による変位から下記式(3)の順運動学演算によって得られるものであり、
Rcは、前記撮像部の撮像角度θを表す行列であって、下記式(4)で表されるものであり、
Tは、前記センサ部について設定された座標系から前記保持アームユニットについて設定された座標系への変換行列、
ω´cmdは、下記式(5)で表される前記保持アームユニットの角速度指令ベクトルωcmdを制限値によって制限したもの、
ν´cmdは、下記式(6)で表される前記保持アームユニットの並進速度指令ベクトルνcmdを制限値によって制限したものである。)
Rh=Eiq1Ejq2Ekq4 ・・・(3)
Rc=Ejθ ・・・(4)
ωcmd=Kr・ωs ・・・(5)
νcmd=(0,0,Kzνz)t ・・・(6)
(なお、式(3)〜(6)において、
Eは、回転行列であり、
i、j、kは、それぞれx,y,z軸回りの回転を表し、
q1、q2、q4は、それぞれ変位機構による変位、
θは、前記撮像部の撮像角度、
Krは、速度ゲインを表す係数行列、
ωsは、前記センサ部によって検出された3次元角速度ベクトル、
Kzは、ユーザが設定したゲイン、
νzは、頭部前後方向の速度、
tは、転置行列であることを表す。) - 請求項1に記載の内視鏡操作システムを操作するための内視鏡操作プログラムであって、
コンピュータを、
前記センサ部によって検出された動きから角速度および並進速度を算出する算出手段、
前記関節部による前記撮像部の撮像角度を加味して前記角速度および前記並進速度を前記保持アームユニットの目標角速度ベクトルおよび目標並進速度ベクトルに変換し、さらにこれらを用いて前記変位機構の速度目標値に変換し、当該速度目標値から位置目標値を求める変換手段、
前記位置目標値に従って前記アクチュエータを駆動させる駆動制御手段、
として機能させることを特徴とする内視鏡操作プログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2013/059725 WO2014155725A1 (ja) | 2013-03-29 | 2013-03-29 | 内視鏡操作システムおよび内視鏡操作プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5737796B2 true JP5737796B2 (ja) | 2015-06-17 |
JPWO2014155725A1 JPWO2014155725A1 (ja) | 2017-02-16 |
Family
ID=51622771
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015504448A Expired - Fee Related JP5737796B2 (ja) | 2013-03-29 | 2013-03-29 | 内視鏡操作システムおよび内視鏡操作プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20160037998A1 (ja) |
EP (1) | EP2979605A4 (ja) |
JP (1) | JP5737796B2 (ja) |
WO (1) | WO2014155725A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190043143A (ko) * | 2016-10-03 | 2019-04-25 | 버브 서지컬 인크. | 로봇 수술을 위한 몰입형 3차원 디스플레이 |
WO2020242158A3 (ko) * | 2019-05-27 | 2021-01-21 | 아주대학교산학협력단 | 내시경 제어 장치, 이를 이용하는 제어 방법, 및 제어 시스템 |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10165938B2 (en) * | 2012-11-13 | 2019-01-01 | Karl Storz Imaging, Inc. | Configurable medical video safety system |
US10165937B2 (en) | 2012-11-13 | 2019-01-01 | Karl Storz Imaging, Inc. | Configurable anesthesia safety system |
DE102013108228A1 (de) * | 2013-07-31 | 2015-02-05 | MAQUET GmbH | Assistenzeinrichtung zur bildgebenden Unterstützung eines Operateurs während eines chirurgischen Eingriffs |
US20160306420A1 (en) * | 2015-04-17 | 2016-10-20 | Charles Arthur Hill, III | Method for Controlling a Surgical Camera through Natural Head Movements |
AU2017275595B2 (en) | 2016-06-03 | 2021-04-29 | Covidien Lp | Control arm assemblies for robotic surgical systems |
EP3463161A4 (en) * | 2016-06-03 | 2020-05-20 | Covidien LP | SYSTEMS, METHODS, AND COMPUTER READABLE INFORMATION MEDIUM FOR CONTROLLING ASPECTS OF A ROBOTIC SURGICAL DEVICE AND STEREOSCOPIC DISPLAY ADAPTING TO THE OBSERVER |
WO2018013773A1 (en) * | 2016-07-13 | 2018-01-18 | Qatar Foundation For Education, Science And Community Development | System for camera control in robotic and laparoscopic surgery |
US11389360B2 (en) | 2016-09-16 | 2022-07-19 | Verb Surgical Inc. | Linkage mechanisms for mounting robotic arms to a surgical table |
CA3035245C (en) | 2016-09-16 | 2022-03-15 | Verb Surgical Inc. | Table adapters for mounting robotic arms to a surgical table |
EP3531953A1 (en) * | 2016-10-25 | 2019-09-04 | Novartis AG | Medical spatial orientation system |
US10312132B2 (en) * | 2017-01-25 | 2019-06-04 | International Business Machines Corporation | Forming sacrificial endpoint layer for deep STI recess |
EP3590406A4 (en) * | 2017-02-28 | 2020-04-01 | Sony Corporation | MEDICAL OBSERVATION SYSTEM, CONTROL DEVICE AND CONTROL METHOD |
WO2018165320A1 (en) | 2017-03-07 | 2018-09-13 | Intuitive Surgical Operations, Inc. | Systems and methods for controlling tool with articulatable distal portion |
JP2019000351A (ja) * | 2017-06-15 | 2019-01-10 | オリンパス株式会社 | 内視鏡制御装置、内視鏡システム及びプログラム |
JP7159579B2 (ja) | 2017-11-01 | 2022-10-25 | ソニーグループ株式会社 | 医療用保持装置、及び医療用アームシステム |
WO2019087934A1 (en) | 2017-11-01 | 2019-05-09 | Sony Corporation | Medical holding apparatus, medical arm system, and drape mounting mechanism |
US10719944B2 (en) | 2018-09-13 | 2020-07-21 | Seiko Epson Corporation | Dynamic object tracking |
US11694345B2 (en) | 2019-11-07 | 2023-07-04 | Seiko Epson Corporation | Moving object tracking using object and scene trackers |
IT201900023826A1 (it) * | 2019-12-12 | 2021-06-12 | Advanced Vision And Inspection Systems S R L Avais | Sistema di controllo per un dispositivo endoscopico, relativi metodo di controllo e dispositivo |
WO2022125699A1 (en) * | 2020-12-10 | 2022-06-16 | Intuitive Surgical Operations, Inc. | Imaging device control via multiple input modalities |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08117238A (ja) * | 1994-10-25 | 1996-05-14 | Olympus Optical Co Ltd | 手術用マニピュレータ |
JPH08196541A (ja) * | 1995-01-31 | 1996-08-06 | Olympus Optical Co Ltd | 手術用マニピュレータ |
JPH0966056A (ja) * | 1995-09-01 | 1997-03-11 | Olympus Optical Co Ltd | 医療用マニピュレータシステム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5876325A (en) * | 1993-11-02 | 1999-03-02 | Olympus Optical Co., Ltd. | Surgical manipulation system |
JP3618413B2 (ja) * | 1995-05-15 | 2005-02-09 | オリンパス株式会社 | 内視鏡装置 |
JPH10309258A (ja) | 1997-05-13 | 1998-11-24 | Olympus Optical Co Ltd | 体腔内観察装置 |
JPH11104064A (ja) * | 1997-10-01 | 1999-04-20 | Olympus Optical Co Ltd | 内視鏡の視野変換装置 |
WO2007005367A2 (en) * | 2005-06-30 | 2007-01-11 | Intuitive Surgical, Inc | Robotic image guided catheter-based surgical devices and techniques |
US9241767B2 (en) * | 2005-12-20 | 2016-01-26 | Intuitive Surgical Operations, Inc. | Method for handling an operator command exceeding a medical device state limitation in a medical robotic system |
JP5452813B2 (ja) * | 2008-05-28 | 2014-03-26 | 国立大学法人東京工業大学 | 力覚提示機能を有する操縦システム |
JP5766150B2 (ja) * | 2012-05-29 | 2015-08-19 | 国立大学法人東京工業大学 | 内視鏡操作システム |
JP5846385B2 (ja) * | 2012-11-07 | 2016-01-20 | 国立大学法人東京工業大学 | 内視鏡操作システム |
-
2013
- 2013-03-29 EP EP13879730.3A patent/EP2979605A4/en not_active Withdrawn
- 2013-03-29 WO PCT/JP2013/059725 patent/WO2014155725A1/ja active Application Filing
- 2013-03-29 JP JP2015504448A patent/JP5737796B2/ja not_active Expired - Fee Related
- 2013-03-29 US US14/780,674 patent/US20160037998A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08117238A (ja) * | 1994-10-25 | 1996-05-14 | Olympus Optical Co Ltd | 手術用マニピュレータ |
JPH08196541A (ja) * | 1995-01-31 | 1996-08-06 | Olympus Optical Co Ltd | 手術用マニピュレータ |
JPH0966056A (ja) * | 1995-09-01 | 1997-03-11 | Olympus Optical Co Ltd | 医療用マニピュレータシステム |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190043143A (ko) * | 2016-10-03 | 2019-04-25 | 버브 서지컬 인크. | 로봇 수술을 위한 몰입형 3차원 디스플레이 |
KR102265060B1 (ko) * | 2016-10-03 | 2021-06-16 | 버브 서지컬 인크. | 로봇 수술을 위한 몰입형 3차원 디스플레이 |
US11439478B2 (en) | 2016-10-03 | 2022-09-13 | Verb Surgical Inc. | Immersive three-dimensional display for robotic surgery |
US11813122B2 (en) | 2016-10-03 | 2023-11-14 | Verb Surgical Inc. | Immersive three-dimensional display for robotic surgery |
WO2020242158A3 (ko) * | 2019-05-27 | 2021-01-21 | 아주대학교산학협력단 | 내시경 제어 장치, 이를 이용하는 제어 방법, 및 제어 시스템 |
Also Published As
Publication number | Publication date |
---|---|
EP2979605A4 (en) | 2016-11-23 |
WO2014155725A1 (ja) | 2014-10-02 |
US20160037998A1 (en) | 2016-02-11 |
EP2979605A1 (en) | 2016-02-03 |
JPWO2014155725A1 (ja) | 2017-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5737796B2 (ja) | 内視鏡操作システムおよび内視鏡操作プログラム | |
JP7248554B2 (ja) | イメージング器具の向きの制御のためのシステム及び方法 | |
JP5846385B2 (ja) | 内視鏡操作システム | |
JP7003985B2 (ja) | 医療用支持アームシステムおよび制御装置 | |
JP5766150B2 (ja) | 内視鏡操作システム | |
JP7115493B2 (ja) | 手術アームシステム及び手術アーム制御システム | |
WO2018159328A1 (ja) | 医療用アームシステム、制御装置及び制御方法 | |
EP2822445B1 (en) | Overall endoscopic control system | |
JP7480477B2 (ja) | 医療用観察システム、制御装置及び制御方法 | |
WO2014073121A1 (ja) | 操作対象装置の操作システム、操作入力装置 | |
US20140354689A1 (en) | Display apparatuses and control methods thereof | |
CN113645919A (zh) | 医疗臂系统、控制装置和控制方法 | |
WO2020054566A1 (ja) | 医療用観察システム、医療用観察装置及び医療用観察方法 | |
WO2022002155A1 (zh) | 主从运动的控制方法、机器人系统、设备及存储介质 | |
JP2018075218A (ja) | 医療用支持アーム及び医療用システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150407 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150417 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5737796 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |