JP7026988B1 - 手術支援装置 - Google Patents

手術支援装置 Download PDF

Info

Publication number
JP7026988B1
JP7026988B1 JP2021558993A JP2021558993A JP7026988B1 JP 7026988 B1 JP7026988 B1 JP 7026988B1 JP 2021558993 A JP2021558993 A JP 2021558993A JP 2021558993 A JP2021558993 A JP 2021558993A JP 7026988 B1 JP7026988 B1 JP 7026988B1
Authority
JP
Japan
Prior art keywords
endoscope
image
eyeball
unit
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021558993A
Other languages
English (en)
Other versions
JPWO2022091209A1 (ja
Inventor
康平 園田
新太郎 中尾
耕太郎 只野
敦 森川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Riverfield Inc
Original Assignee
Riverfield Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Riverfield Inc filed Critical Riverfield Inc
Application granted granted Critical
Publication of JP7026988B1 publication Critical patent/JP7026988B1/ja
Publication of JPWO2022091209A1 publication Critical patent/JPWO2022091209A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/13Ophthalmic microscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • A61B1/00149Holding or positioning arrangements using articulated arms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • A61B1/00158Holding or positioning arrangements using magnetic field
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/007Methods or devices for eye surgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/007Methods or devices for eye surgery
    • A61F9/00736Instruments for removal of intra-ocular material or intra-ocular injection, e.g. cataract instruments
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/0012Surgical microscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/102Modelling of surgical devices, implants or prosthesis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2059Mechanical position encoders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/301Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/305Details of wrist mechanisms at distal ends of robotic arms
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/001Counterbalanced structures, e.g. surgical microscopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Robotics (AREA)
  • Vascular Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Gynecology & Obstetrics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)

Abstract

施術者が眼球と内視鏡の位置関係を把握できるような表示を行う。本発明に係る手術支援装置は、内視鏡を保持するためのホルダを有し、前記ホルダで前記内視鏡を保持した状態で前記内視鏡の位置を調節するアーム部と、前記ホルダに保持された前記内視鏡との相対位置関係が固定され、被術者の施術対象部位までの距離の計測に用いる計測部と、前記計測部からの情報に基づいて、被術者の前記施術対象部位と前記内視鏡先端部との位置関係を求める位置判定部と、前記位置判定部の判定結果を用いて、前記施術対象部位の三次元モデル上で前記内視鏡の位置を示すマップ画像を生成する画像生成部と、前記マップ画像の表示制御を行う表示制御部と、を備える。【選択図】図6

Description

本発明は、内視鏡を保持する機能を備える手術支援装置の技術分野に関する。
例えば黄班症や網膜剥離等の治療のために、眼球内部の硝子体を吸引除去することにより網膜を正常な状態に戻す硝子体手術が知られている。
通常の硝子体手術において、施術者(医師)は、手術顕微鏡等により被術者(患者)の瞳孔を通じて眼球内部を観察することになるが、瞳孔を通じて観察できる眼球内部の範囲には限界があり、観察できない部分を可視範囲に入れるためには眼球を外側から圧迫する必要がある。このような圧迫は、手術中の疼痛や手術後の炎症を引き起こすおそれがある。
そこで、特許文献1に示すような硝子体手術に内視鏡を用いる手法が提案されている。
内視鏡を被術者の眼球内部に挿入することで、眼球内部の映像がモニタ等の表示手段に表示される。施術者は、眼球内部で内視鏡を移動させることで、通常瞳孔からは視認できない部分を容易に観察することができる。
このような内視鏡を用いた硝子体手術においては、眼球内部の観察にあたり眼球を圧迫する必要がなくなるため、被術者の眼球に対する負担を軽減することができる。
特開2005-304633号公報
硝子体手術では、硝子体カッターや鉗子、灌流液等の注入器などの処置具を眼球に挿入することで手術が行われるが、手術するにあたり眼球に挿入されている内視鏡の位置は正確にはわからない。そのため、手術中に処置具が内視鏡に接触するなどして手術の円滑な進行が妨げられてしまうおそれがある。
また眼球に内視鏡を挿入するにあたり、眼球における内視鏡の位置が把握できていないと内視鏡が網膜に接触し、網膜を傷つけてしまうおそれもある。
そこで本発明では、施術者が眼球と内視鏡の位置関係を把握できるような表示を行うことを目的とする。
本発明に係る手術支援装置は、内視鏡を保持するためのホルダを有し、前記ホルダで前記内視鏡を保持した状態で前記内視鏡の位置を調節するアーム部と、前記ホルダに保持された前記内視鏡との相対位置関係が固定され、被術者の施術対象部位までの距離の計測に用いる計測部と、前記計測部からの情報に基づいて、被術者の前記施術対象部位と前記内視鏡先端部との位置関係を求める位置判定部と、前記位置判定部の判定結果を用いて、前記施術対象部位の三次元モデル上で前記内視鏡の位置を示すマップ画像を生成する画像生成部と、前記マップ画像の表示制御を行う表示制御部と、を備え、前記施術対象部位は眼球であり、前記計測部は、撮像部と照射部を有し、前記位置判定部は、前記被術者の眼球に映る前記照射部からの光の光点についての前記撮像部による撮像画像に基づいて、被術者の眼球と前記内視鏡の先端部との位置関係を判定するものである。
施術対象部位とは、施術者による手術対象となる被術者の部位のことであり、例えば硝子体手術における被術者の眼球である。
これにより、マップ画像がモニタ上に表示される。施術者は当該モニタを確認することで、例えば被術者の眼球内部における挿入された内視鏡の位置を把握することができる。
また、例えば撮像画像に基づいて撮像部から眼球までの距離を算出することができる。この距離に基づいて、眼球と内視鏡先端との位置関係を判定することができる。
上記した手術支援装置において、前記画像生成部は、前記内視鏡の眼球への挿入長に関する情報と、前記内視鏡先端部から前記被術者の網膜までの距離に関する情報とを有する提示画像を生成することが考えられる。
これにより、例えば内視鏡の眼球への挿入長の数値や被術者の網膜までの距離の数値がモニタ上に表示される。
上記した手術支援装置において、前記表示制御部は、前記マップ画像と前記内視鏡による撮像画像(内視鏡撮像画像)とを同一画面内に表示させることが考えられる。
マップ画像と内視鏡撮像画像が同一画面内に表示されることで、施術者が眼球内部の撮像画像を確認しながら手術を行う際に、並行して眼球における内視鏡の位置関係を把握しやすくなる。
上記した手術支援装置において、前記画像生成部は、前記内視鏡の位置の変位に応じて前記マップ画像を更新することが考えられる。
これにより、モニタ上に直近の眼球と内視鏡の位置関係を示すマップ画像が表示される。
本発明によれば、施術者は、被術者の施術対象部位に挿入された内視鏡の位置を把握しながら手術を行うことができる。
本発明の実施の形態における手術システムが有する構成の一例を模式的に示した図である。 本実施の形態における被術者の眼球の断面構成を模式的に示した図である。 本実施の形態における手術支援装置が有する構成の一例を模式的に示した図である。 本実施の形態における内視鏡保持装置のアーム先端部が有する構成の一例を模式的に示した図である。 本実施の形態におけるモニタ上に表示される表示画像の一例を示した図である。 本実施の形態における手術支援装置の構成の一例を示したブロック図である。 本実施の形態における手術支援装置の演算・制御部が実行する処理の一例を示すフローチャートである。 本実施の形態における眼球マップ画像を生成するための手順の概要を示した図である。
本発明の実施の形態について図1から図8を参照して説明する。図面は、説明にあたり必要と認められる要部及びその周辺の構成を抽出して示している。また図面は模式的なものであり、図面に記載された各構造の寸法、比率等は一例に過ぎない。従って、本発明の技術的思想を逸脱しない範囲であれば設計などに応じて種々な変更が可能である。また一度説明した構成は、以降同一の符号を付して説明を省略することがある。
以下、実施の形態を次の順序で説明する。
<1.手術システムの構成>
<2.演算・制御部の機能構成>
<3.実施の形態の処理例>
<4.まとめ>
<1.手術システムの構成>
眼球手術における手術システム100の構成について説明する。
図1は手術システム100が有する構成の一例を模式的に示している。
手術システム100は、手術台1と手術支援装置2を有して構成される。
手術台1と手術支援装置2は手術室に設置されている。
手術台1には、被術者(患者)3が仰向けの状態で横たえられている。施術者(医師)4は、被術者3の頭部側に位置し、各種の処置具5を用いて被術者3の眼球30(図2参照)内部の手術を行う。処置具5には、例えば硝子体カッターや鉗子、灌流液等の注入器などが用いられる。
図2は、眼球30の断面構成を模式的に示している。眼球30の表面は角膜31及び結膜32により覆われており、角膜31の奥には瞳孔33が形成された虹彩34が存在し、虹彩34の奥には水晶体35が存在する。また眼球30内部の眼底一面には網膜36が存在する。
施術者4は、例えば結膜32に処置具5を挿入して眼球30内部の手術を行う。
施術者4による眼球30の手術は、手術支援装置2により支援される。
図3は、手術支援装置2が有する構成の一例を模式的に示している。
手術支援装置2は、内視鏡保持装置11、内視鏡12、操作部13、演算・制御部14、及びモニタ15を有する。
内視鏡保持装置11は、基台部16及びアーム部17を有している。
基台部16は手術室の床等に載置され、アーム部17は基台部16に取り付けられている。アーム部17は基台部16により回動可能に軸支される。
アーム部17は、1又は複数の関節部や回動部を備え、アーム先端部20を任意の位置に移動させることのできる機構に形成されている。
ここでアーム先端部20の構成について説明する。
図4は、アーム先端部20が有する構成の一例を模式的に示している。
アーム先端部20は、内視鏡12を保持するためのホルダ21と被術者3の角膜31までの距離の計測に用いる計測部22と、を有している。
ホルダ21は、内視鏡12が着脱可能となる機構に形成され、内視鏡12を装着することでホルダ21に対して内視鏡12が固定される。内視鏡12がホルダ21に固定された状態でアーム部17を動作させることで、内視鏡12を任意の位置に自在に移動させることができる。
被術者3の眼球30に挿入された内視鏡12をホルダ21で保持することで、施術者4は、手で内視鏡12を保持する必要がなくなる。従って、施術者4は、両手で眼球30の手術を行うことができる。
計測部22は、照射部23及び撮像部24を有している。
照射部23は、例えばLED(Light Emitting Diode)であり、被術者3の眼球30を照射する光を出力する。
撮像部24は、いわゆるステレオ法による測距が可能となるように撮像部24L,24Rを有している。撮像部24L,24Rは、例えばホルダ21の上部付近において所定間隔を空けて配置されている。撮像部24L,24Rの光軸は平行とされ、焦点距離はそれぞれ同値とされる。また、フレーム周期は同期し、フレームレートも一致している。
撮像部24L,24Rの各撮像素子で得られた撮像画像信号はそれぞれA/D(Analog / Digital)変換され、画素単位で所定階調による輝度値を表すデジタル画像信号(撮像画像データ)とされる。
照射部23により眼球30が照射された状態において得られた撮像部24L,24Rの各撮像素子による撮像画像信号に基づいて、撮像部24L,24Rから被術者3の角膜31までの距離を計測することができる。被術者3の角膜31までの距離の計測手法及び計測した距離の活用手法の詳細については後述する。
計測部22において照射部23と撮像部24L,24Rの相対位置関係は固定されている。また撮像部24L,24Rと、上述したホルダ21の相対位置関係は固定されている。従って、ホルダ21に内視鏡12を固定することで、照射部23及び撮像部24L,24Rと内視鏡12との相対位置関係が固定されることになる。
図3に戻り、手術支援装置2の内視鏡12は、ホルダ21に固定された状態で眼球30の内部に挿入される(図2参照)。挿入された内視鏡12により眼球30内部の状態が撮像される。内視鏡12の撮像素子で得られた撮像画像信号はそれぞれA/D変換され、画素単位で所定階調による輝度値を表すデジタル画像信号(撮像画像データ)とされる。
内視鏡12からの撮像画像データに基づく撮像画像は、モニタ15の液晶に表示される。
操作部13は、アーム部17の操作やモニタ15上で表示された内視鏡12による撮像に基づく撮像画像の回転操作などを行う際に用いられる操作機器を包括的に示している。操作部13は、フットペダルであってもよいし、手動により操作する遠隔操作装置(リモートコントローラ)などであってもよい。図3では一例としてフットペダルを図示しているが、上記の通り操作部13はこれに限れられるものではない。
演算・制御部14は、アーム部17の動作制御や、モニタ15上に表示させる各種画像の生成処理、モニタ15への表示制御処理など、本実施の形態を実現するために必要な各種処理を実行する。
演算・制御部14は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等を有するマイクロコンピュータを備えて構成される。演算・制御部14は、1又は複数のマイクロコンピュータにより実現される。
演算・制御部14は、例えば内視鏡保持装置11の基台部16に内蔵されている。なお、演算・制御装置14は他の外部機器に内蔵されていてもよい。
モニタ15は、演算・制御部14からの表示制御に基づいて液晶に表示画像6を表示する。
図5は、モニタ15上に表示される表示画像6の一例を示している。
モニタ15上には、例えば内視鏡撮像画像61や、眼球マップ画像62、内視鏡視点マップ画像63、挿入長提示画像64などを有する表示画像6が表示される。表示画像6には他にも必要に応じて各種情報に関する画像が含まれる。
内視鏡撮像画像61は、内視鏡12からの撮像画像データに基づく撮像画像である。内視鏡撮像画像61として、例えば内視鏡12で撮像した眼球30の内部の状態が表示される。
眼球マップ画像62は眼球30と内視鏡12の位置関係を示している。
眼球マップ画像62には、眼球30が三次元眼球モデル30Aにより表示される。また眼球30に対する内視鏡12の位置が内視鏡モデル12Aにより表示される。
内視鏡視点マップ画像63には、内視鏡12の視点による被術者3の三次元モデル画像が表示される。
挿入長提示画像64には、眼球30に対する内視鏡12の挿入長の数値、及び内視鏡先端部120から網膜36までの距離の数値が表示される。
施術者4は、モニタ15上で表示された表示画像6を確認しながら眼球30の手術を行う。
<2.演算・制御部の機能構成>
手術支援装置2における演算・制御部14の機能構成について説明する。
図6は、手術支援装置2の構成の一例をブロック図として示している。
演算・制御部14は、駆動制御部141、画像処理部142、位置判定部143、画像生成部144、及び表示制御部145を有している。
駆動制御部141は、例えば操作部13からの入力された操作信号に基づいて、内視鏡保持装置11のアーム部17の関節部や回動部の動作制御を行う。駆動制御部141は、アーム部17の動作制御を行うことで、アーム先端部20のホルダ21に固定した内視鏡12の位置を移動させることができる。
また駆動制御部141は、照射部23の出力制御や、撮像部24の撮像制御を行う。
画像処理部142は、内視鏡12による撮像に基づく画像信号について、輝度信号処理、色処理、解像度変換処理、コーデック処理などの各種信号処理を施す。画像処理部142は、各種信号処理が施された画像信号を画像生成部144に出力する。
位置判定部143は、撮像部24から入力された撮像部24L,24Rの各撮像素子による眼球30の撮像画像信号に基づいて、撮像部24から角膜31までの距離情報を得る。
また位置判定部143は、当該距離情報に基づいて眼球30と内視鏡先端部120との相対位置関係を演算する。当該相対位置関係の演算手法の詳細については後述する。
位置判定部143は、判定結果(眼球30と内視鏡先端部120との相対位置関係)を画像生成部144に出力する。
画像生成部144は、画像処理部142や位置判定部143、操作部13などからの各種入力情報を用いて図5に示すような表示画像6を生成する。表示画像6を構成する各種画像の生成手法の詳細については後述する。
画像生成部144は、生成した表示画像6の画像信号を表示制御部145に出力する。
表示制御部145は、画像生成部144から入力された画像信号に基づいて、モニタ15上に表示画像6を表示させる制御を行う。
<3.実施の形態の処理例>
本実施の形態を実現するために手術支援装置2の演算・制御部14が実行する処理について説明する。
図7は、演算・制御部14が実行する処理の一例を示すフローチャートである。また図8は、眼球マップ画像62を生成するための手順の概要を示している。
ステップS101において、演算・制御部14は照射開始制御処理を行う。
照射開始制御処理において、演算・制御部14は、図8Aに示すように眼球30を照射するための光25を照射部23に出力させる。なお、図8Aでは照射部23から出力される光25を模式的に破線で示している。
その後、演算・制御部14は、画像の1フレームタイミング毎にステップS102以降の処理を繰り返し実行する。
ステップS102において、演算・制御部14は、撮像部24L,24Rが眼球30を撮像して得た撮像画像データとしての各フレーム画像データを内部メモリに格納する。
ステップS103において、演算・制御部14は、各フレームとしての2つの撮像画像データに基づき、眼球30や眼球30の角膜31に映る照射部23からの光25の光点を認識するなどの各種画像解析処理を行う。
ステップS104において、演算・制御部14は、撮像部24L,24Rにより得られた一対の撮像画像データ(ステレオ画像)に対し、図8Bに示すような角膜31に映る光点の位置のずれ量Lから三角測量の原理によって撮像部24から角膜31までの距離である撮像距離を演算する。
演算・制御部14は、演算した撮像距離に基づいて撮像部24と眼球30の位置関係を判定する。
このとき眼球30のサイズのデータとして、図8Cのような三次元眼球モデル30Aを示すデータ(眼球モデルデータ)が用いられる。
眼球モデルデータは、例えば一般的なヒトの眼球サイズを想定した三次元データである。ヒトの眼球サイズは、若干の個人差はあるものの大きく異なることがないため、標準的なヒトの眼球サイズを眼球モデルデータとしてあらかじめ設定しておく。
演算・制御部14は、撮像距離と眼球モデルデータを用いることで、撮像部24と眼球30の位置関係を演算(判定)することができる。
なお、手術にあたり、あらかじめ被術者3の眼球30の眼球サイズを測定しておき、当該測定結果を反映させて眼球モデルデータを設定することもできる。
続くステップS105において、演算・制御部14は、撮像部24と眼球30の位置関係に基づいて、内視鏡12と眼球30の位置関係を判定する。
内視鏡12は、アーム先端部20のホルダ21に固定されることで撮像部24との相対位置関係が固定される。そのため内視鏡12がホルダ21に固定された状態では、撮像部24の位置に応じておのずと内視鏡12の位置が規定される。
またホルダ21に固定された内視鏡12の軸方向における内視鏡先端部120までの形状は既知である。そのため、内視鏡12の形状に関する情報をあらかじめ設定しておくことで、演算・制御部14は、規定された内視鏡12の位置から内視鏡先端部120の位置を演算することができる。
従って、演算・制御部14は、眼球30と撮像部24の位置関係に基づいて、眼球30に対する内視鏡12(内視鏡先端部120)の位置関係を演算(判定)することができる。
続くステップS106において、演算・制御部14は、判定した眼球30と内視鏡12(内視鏡先端部120)の位置関係を三次元眼球モデル30Aと内視鏡モデル12Aの位置関係として示した眼球マップ画像62の画像データを生成する。
ステップS107において、演算・制御部14は、表示画像6の画像データを生成する。
演算・制御部14は、内視鏡撮像画像61、眼球マップ画像62、内視鏡視点マップ画像63、挿入長提示画像64、その他必要な画像を合成することで表示画像6の画像データを生成する。
ここで、上述した眼球マップ画像62以外の各種画像の画像データの生成手法の例について説明する。
・内視鏡撮像画像61
演算・制御部14は、内視鏡12により撮像された撮像画像データに基づいて内視鏡撮像画像61の画像データを生成する。
・内視鏡視点マップ画像63
演算・制御部14は、内視鏡12の視点による被術者3の三次元モデル画像を表示する内視鏡視点マップ画像63の画像データを生成する。
被術者3の三次元モデルには、あらかじめ設定されたヒトの頭部の三次元モデルデータが用いられる。内視鏡12に対する被術者3の頭部の角度を示す値が、被術者3が手術台1に仰向けで横たえられた状態であり、手術台1に対する内視鏡保持装置11の設置角度が規定されているという前提のもと、あらかじめ頭部角度データとして設定されている。
演算・制御部14は、三次元モデルデータと頭部角度データに基づいて、三次元眼球モデル画像を有する三次元モデル画像を生成する。
そして演算・制御部14は、眼球30と内視鏡12の位置関係に基づいて三次元モデル画像と内視鏡モデル画像を合成することで、内視鏡視点マップ画像63の画像データを生成する。
・挿入長提示画像64
演算・制御部14は、ステップS105で判定した眼球モデルデータに対する内視鏡12(内視鏡先端部120)の位置関係から、内視鏡12の眼球30への挿入長に関する情報と、内視鏡先端部120から被術者3の網膜36までの距離に関する情報とを演算する。
そして演算・制御部14は、それらの情報に基づいて挿入長提示画像64の画像データを生成する。
以上の手法により、表示画像6の画像データを生成するために必要な各種画像の画像データが生成される。
続くステップS108において、演算・制御部14は、表示画像6をモニタ15の液晶に表示させるための表示制御を行う。これにより、モニタ15の同一画面内に図5に示すような表示画像6が表示される。
なお、演算・制御部14は、表示画像6を構成する内視鏡撮像画像61、眼球マップ画像62、内視鏡視点マップ画像63、挿入長提示画像64、その他必要な画像の一部を他のモニタ15上に表示させてもよい。
演算・制御部14は、ステップS108の処理を完了すると、ステップS102に処理を戻し、以降同様の処理を実行する。演算・制御部14がステップS102からS108の処理を繰り返し実行することで、内視鏡12の位置が変位した場合に眼球マップ画像62を更新することができる。
<4.まとめ>
本発明の実施の形態における手術支援装置2は、内視鏡12を保持するためのホルダ21を有し、ホルダ21で内視鏡12を保持した状態で内視鏡12の位置を調節するアーム部17と、ホルダ21に保持された内視鏡12との相対位置関係が固定され、被術者3の施術対象部位までの距離(被術者3の角膜31までの距離)の計測に用いる計測部22と、計測部22からの情報に基づいて、被術者3の施術対象部位(眼球30)と内視鏡先端部120との位置関係を求める位置判定部143と、位置判定部143の判定結果を用いて、施術対象部位(眼球30)の三次元モデル(三次元眼球モデル30A)上で内視鏡12の位置(内視鏡モデル12A)を示すマップ画像(眼球マップ画像62)を生成する画像生成部144と、マップ画像(眼球マップ画像62)の表示制御を行う表示制御部145と、を備える(図6及び図7等参照)。
ここで施術対象部位とは、施術者4による手術対象となる被術者3の部位のことであり、本実施の形態の例によれば被術者3の眼球30である。
これにより、眼球マップ画像62がモニタ15上に表示される。施術者4はモニタ15を確認することで、被術者3の眼球30内部における挿入された内視鏡12の位置を把握することができる。
従って、施術者4は、被術者3の眼球30内部における挿入された内視鏡12の位置を把握しながら手術を行うことができる。よって、本発明によれば眼球30に対する手術を円滑に進行することができる。また、施術者4は、内視鏡先端部120の網膜36までの距離を意識しながら手術を行うことができるため、手術の安全性を向上させることができる。
本実施の形態における手術支援装置2において、計測部22は、照射部23と、内視鏡12との相対位置関係が固定された撮像部24と、を有し、位置判定部143は、被術者3の角膜31に映る照射部23からの光25の光点についての撮像部24による撮像画像に基づいて、被術者3の眼球30と内視鏡先端部120との位置関係を判定する(図7のS102からS105、図8等参照)。
例えば撮像画像に基づいて撮像部24から角膜31までの距離を算出することができる。この距離に基づいて、眼球30と内視鏡先端120との位置関係を判定することができる。
よって、被術者3の位置を反映させた眼球30と内視鏡先端部120との位置関係を判定することができる。従って、眼球30における内視鏡12の位置関係の判定精度を向上させ、施術者4が眼球30における内視鏡12の位置関係をより正確に把握することができる。
本実施の形態における手術支援装置2において、表示制御部145は、眼球マップ画像62と内視鏡12による撮像画像(内視鏡撮像画像61)とを同一画面内に表示させる(図7のS108等参照)。
眼球マップ画像62と内視鏡撮像画像61が同一画面内に表示されることで、施術者4が眼球30内部の撮像画像を確認しながら手術を行う際に、並行して眼球30における内視鏡12の位置関係を把握しやすくなる。従って、眼球30に対する手術をより円滑に進行することができる。
本実施の形態における手術支援装置2において、画像生成部144は、内視鏡12の位置の変位に応じて眼球マップ画像62を更新する(図7のS108及びS102等参照)。
これにより、モニタ15上に直近の眼球30と内視鏡12の位置関係を示す眼球マップ画像62が表示される。
従って、施術者4は最新の眼球30と内視鏡12の位置関係を把握しながら手術を行うことができるため、眼球30に対する手術をより円滑に進行することができる。
本実施の形態における手術支援装置2において、画像生成部144は、内視鏡12の眼球30への挿入長に関する情報と、内視鏡先端部120から被術者3の網膜36までの距離に関する情報とを有する表示画像6を生成する(図7のS107等参照)。
これにより、例えば内視鏡12の眼球30への挿入長の数値や被術者3の網膜36までの距離の数値がモニタ15上に表示される。
従って、施術者4は、眼球マップ画像62により眼球30と内視鏡12の位置関係を視覚的に把握することに加えて、具体的な数値によっても当該位置関係を把握することができるようになる。
なお、本実施の形態では、内視鏡12の一例として眼内内視鏡の例について説明したが、内視鏡12は眼内内視鏡に限られるものではない。例えば被術者3の肋骨の間を切開し挿入する胸腔鏡や、腹部を切開し挿入する腹腔鏡など、様々な内視鏡を適用することができる。
例えば胸腔鏡の場合、施術対象部は被術者3の胸部であり、測定部22から施術対象部までの距離は、測定部22から被術者3の肋骨部分の皮膚までの距離である。また腹腔鏡の場合、施術対象部は被術者3の肝臓等の各種臓器であり、測定部22から施術対象部までの距離は、測定部22から被術者3の腹部の皮膚までの距離である。
最後に、本開示に記載された実施の形態はあくまでも例示であり、本発明が上述の実施の形態に限定されることはない。また実施の形態で説明されている構成の組み合わせの全てが課題の解決に必須であるとは限らない。さらに本開示に記載された効果はあくまでも例示であり限定されるものではなく、他の効果を奏するものであってもよいし、本開示に記載された効果の一部を奏するものであってもよい。
2 手術支援装置
3 被術者
12 内視鏡
12A 内視鏡モデル
17 アーム部
21 ホルダ
22 計測部
23 照射部
24 撮像部
30 眼球
30A 三次元眼球モデル
31 角膜
36 網膜
61 内視鏡撮像画像
62 眼球マップ画像
120 内視鏡先端部
143 位置判定部
144 画像生成部
145 表示制御部

Claims (4)

  1. 内視鏡を保持するためのホルダを有し、前記ホルダで前記内視鏡を保持した状態で前記内視鏡の位置を調節するアーム部と、
    前記ホルダに保持された前記内視鏡との相対位置関係が固定され、被術者の施術対象部位までの距離の計測に用いる計測部と、
    前記計測部からの情報に基づいて、被術者の前記施術対象部位と前記内視鏡の先端部との位置関係を求める位置判定部と、
    前記位置判定部の判定結果を用いて、前記施術対象部位の三次元モデル上で前記内視鏡の位置を示すマップ画像を生成する画像生成部と、
    前記マップ画像の表示制御を行う表示制御部と、を備え、
    前記施術対象部位は眼球であり、
    前記計測部は、撮像部と照射部を有し、
    前記位置判定部は、前記被術者の眼球に映る前記照射部からの光の光点についての前記撮像部による撮像画像に基づいて、被術者の眼球と前記内視鏡の先端部との位置関係を判定する
    手術支援装置。
  2. 前記画像生成部は、前記内視鏡の眼球への挿入長に関する情報と、前記内視鏡の先端部から前記被術者の網膜までの距離に関する情報とを有する提示画像を生成する
    請求項1に記載の手術支援装置。
  3. 前記表示制御部は、前記マップ画像と前記内視鏡による撮像画像とを同一画面内に表示させる
    請求項1又は請求項2に記載の手術支援装置。
  4. 前記画像生成部は、前記内視鏡の位置の変位に応じて前記マップ画像を更新する
    請求項1から請求項3の何れかに記載の手術支援装置。
JP2021558993A 2020-10-27 2020-10-27 手術支援装置 Active JP7026988B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/040230 WO2022091209A1 (ja) 2020-10-27 2020-10-27 手術支援装置

Publications (2)

Publication Number Publication Date
JP7026988B1 true JP7026988B1 (ja) 2022-03-01
JPWO2022091209A1 JPWO2022091209A1 (ja) 2022-05-05

Family

ID=81183882

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021558993A Active JP7026988B1 (ja) 2020-10-27 2020-10-27 手術支援装置

Country Status (5)

Country Link
US (1) US20230310098A1 (ja)
EP (1) EP4205628A1 (ja)
JP (1) JP7026988B1 (ja)
CN (1) CN116133571A (ja)
WO (1) WO2022091209A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024049215A (ja) * 2022-09-28 2024-04-09 株式会社トプコン 眼科装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001204738A (ja) * 2000-01-26 2001-07-31 Olympus Optical Co Ltd 手術用ナビゲーションシステム
JP2004105539A (ja) * 2002-09-19 2004-04-08 Hitachi Ltd カメラを用いた手術システムにおける画像表示方法および手術支援装置
WO2017169823A1 (ja) * 2016-03-30 2017-10-05 ソニー株式会社 画像処理装置および方法、手術システム並びに手術用部材

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001204738A (ja) * 2000-01-26 2001-07-31 Olympus Optical Co Ltd 手術用ナビゲーションシステム
JP2004105539A (ja) * 2002-09-19 2004-04-08 Hitachi Ltd カメラを用いた手術システムにおける画像表示方法および手術支援装置
WO2017169823A1 (ja) * 2016-03-30 2017-10-05 ソニー株式会社 画像処理装置および方法、手術システム並びに手術用部材

Also Published As

Publication number Publication date
EP4205628A1 (en) 2023-07-05
US20230310098A1 (en) 2023-10-05
JPWO2022091209A1 (ja) 2022-05-05
WO2022091209A1 (ja) 2022-05-05
CN116133571A (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
JP6891244B2 (ja) 視線追跡を使用する医療装置、システム、及び方法
CN110200702B9 (zh) 集成眼球凝视跟踪用于立体观看器的医疗装置、系统和方法
WO2017169823A1 (ja) 画像処理装置および方法、手術システム並びに手術用部材
JP5677041B2 (ja) 眼科装置
JP6350517B2 (ja) 光断層像撮影装置および医療用観察装置
US20230310098A1 (en) Surgery assistance device
JP6819223B2 (ja) 眼科情報処理装置、眼科情報処理プログラム、および眼科手術システム
KR102169674B1 (ko) 혼합 현실 안저카메라
JP7029216B1 (ja) 手術支援装置
JP6993043B1 (ja) 手術支援装置
JP7377331B2 (ja) 眼科装置
JP7216562B2 (ja) 眼科装置
JP2023142781A (ja) 眼科システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211001

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20211001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220208

R150 Certificate of patent or registration of utility model

Ref document number: 7026988

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350