JP7029216B1 - 手術支援装置 - Google Patents

手術支援装置 Download PDF

Info

Publication number
JP7029216B1
JP7029216B1 JP2021558995A JP2021558995A JP7029216B1 JP 7029216 B1 JP7029216 B1 JP 7029216B1 JP 2021558995 A JP2021558995 A JP 2021558995A JP 2021558995 A JP2021558995 A JP 2021558995A JP 7029216 B1 JP7029216 B1 JP 7029216B1
Authority
JP
Japan
Prior art keywords
endoscope
image
eyeball
control unit
calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021558995A
Other languages
English (en)
Other versions
JPWO2022091211A1 (ja
Inventor
敦 森川
耕太郎 只野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Riverfield Inc
Original Assignee
Riverfield Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Riverfield Inc filed Critical Riverfield Inc
Application granted granted Critical
Publication of JP7029216B1 publication Critical patent/JP7029216B1/ja
Publication of JPWO2022091211A1 publication Critical patent/JPWO2022091211A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/007Methods or devices for eye surgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00039Operational features of endoscopes provided with input arrangements for the user
    • A61B1/0004Operational features of endoscopes provided with input arrangements for the user for electronic operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • A61B1/00149Holding or positioning arrangements using articulated arms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0075Apparatus for testing the eyes; Instruments for examining the eyes provided with adjusting devices, e.g. operated by control lever
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/007Methods or devices for eye surgery
    • A61F9/00736Instruments for removal of intra-ocular material or intra-ocular injection, e.g. cataract instruments
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00973Surgical instruments, devices or methods, e.g. tourniquets pedal-operated
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/309Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/371Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Ophthalmology & Optometry (AREA)
  • Vascular Medicine (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)

Abstract

施術者の意思を反映させた内視鏡撮像画像を表示させるために、本発明に係る手術支援装置は、内視鏡を保持するためのホルダを有し、前記ホルダで前記内視鏡を保持した状態で前記内視鏡の位置を調節するアーム部と、前記ホルダに保持された前記内視鏡により撮像した内視鏡撮像画像の表示制御を行う表示制御部と、前記内視鏡撮像画像を回転させるための操作部と、を備え、前記操作部の操作に応じて、前記内視鏡の位置変位を生じさせずに表示されている前記内視鏡撮像画像を回転させる。

Description

本発明は、内視鏡を保持する機能を備える手術支援装置の技術分野に関する。
例えば黄班症や網膜剥離等の治療のために、眼球内部の硝子体を吸引除去することにより網膜を正常な状態に戻す硝子体手術が知られている。
通常の硝子体手術において、施術者(医師)は、手術顕微鏡等により被術者(患者)の瞳孔を通じて眼球内部を観察することになるが、瞳孔を通じて観察できる眼球内部の範囲には限界があり、観察できない部分を可視範囲に入れるためには眼球を外側から圧迫する必要がある。このような圧迫は、手術中の疼痛や手術後の炎症を引き起こすおそれがある。
そこで、特許文献1に示すような硝子体手術に内視鏡を用いる手法が提案されている。
内視鏡を被術者の眼球内部に挿入することで、眼球内部の画像がモニタ等の表示手段に表示される。施術者は、眼球内部で内視鏡を移動させることで、通常瞳孔からは視認できない部分を容易に観察することができる。
このような内視鏡を用いた硝子体手術においては、眼球内部の観察にあたり眼球を圧迫する必要がなくなるため、被術者の眼球に対する負担を軽減することができる。
特開2005-304633号公報
硝子体手術では、硝子体カッターや鉗子、灌流液等の注入器などの処置具を眼球に挿入することで手術が行われる。施術者は内視鏡による撮像に基づく内視鏡撮像画像をモニタ上で確認しながら眼球内部の手術を行う。
ここで位置調節等のために内視鏡の撮像方向を変位させる際に、長手軸を中心とするひねりが内視鏡に生じることがある。このようなひねりが生じた状態で内視鏡による眼球内部の撮像が行われると、施術者が処置具により眼球内部の手術を行っている方向と上下左右が一致しない内視鏡撮像画像が液晶に表示されてしまう。
このような内視鏡撮像画像の表示は施術者に違和感を与え、手術の円滑な進行の妨げとなるおそれがある。
そこで本発明では、施術者の意思を反映させた内視鏡撮像画像を表示させることを目的とする。
本発明に係る手術支援装置は、内視鏡を保持するためのホルダを有し、前記ホルダで前記内視鏡を保持した状態で前記内視鏡の位置を調節するアーム部と、前記ホルダに保持された前記内視鏡により撮像した内視鏡撮像画像を取得する演算・制御部と、前記内視鏡撮像画像の回転方向及び回転角度を示す画像回転角データを操作に応じて前記演算・制御部に供給する操作部と、を備え、前記演算・制御部は、前記操作部から供給された前記画像回転角データに基づいて前記内視鏡撮像画像を回転させた画像データを生成し、前記生成した画像データに基づく表示制御を行うものである。
これにより、操作を行う施術者の意思を反映させた内視鏡撮像画像が表示される。
上記した手術支援装置において、前記ホルダに保持された前記内視鏡の撮像方向が変位した場合に、直前の回転状態を維持した前記内視鏡撮像画像が表示されることが考えられる。
これにより、変位した位置での内視鏡撮像画像は、位置変位前と同じ角度による回転処理が施されてモニタ上に表示される。
上記した手術支援装置において、前記内視鏡撮像画像は、被術者の眼球に挿入された内視鏡による前記眼球内部の撮像画像であり、前記表示制御部は、前記内視鏡撮像画像と三次元眼球モデル上で前記内視鏡の位置を示す眼球マップ画像とを同一画面内に表示させることが考えられる。
これにより、内視鏡撮像画像を視認しながら手術を行うにあたり、他のモニタに視線を移すことなく眼球マップ画像を確認することができる。
上記した手術支援装置において、前記操作部はフットペダルとすることが考えられる。
これにより、施術者は足により内視鏡撮像画像の回転操作を行うことができる。
本発明によれば、施術者の意思を反映させた内視鏡撮像画像を表示させることができる。
本発明の実施の形態における手術システムが有する構成の一例を模式的に示した図である。 本実施の形態における被術者の眼球の断面構成を模式的に示した図である。 本実施の形態における手術支援装置が有する構成の一例を模式的に示した図である。 本実施の形態における内視鏡保持装置のアーム先端部が有する構成の一例を模式的に示した図である。 本実施の形態におけるモニタ上に表示される表示画像の一例を示した図である。 本実施の形態における手術支援装置の構成の一例を示したブロック図である。 本実施の形態における手術支援装置の演算・制御部が実行する処理の一例を示すフローチャートである。 本実施の形態におけるモニタ上に表示される表示画像における内視鏡撮像画像の一例を示した図である。 本実施の形態におけるモニタ上に表示される表示画像における内視鏡撮像画像の一例を示した図である。
本発明の実施の形態について図1から図9を参照して説明する。図面は、説明にあたり必要と認められる要部及びその周辺の構成を抽出して示している。また図面は模式的なものであり、図面に記載された各構造の寸法、比率等は一例に過ぎない。従って、本発明の技術的思想を逸脱しない範囲であれば設計などに応じて種々な変更が可能である。また一度説明した構成は、以降同一の符号を付して説明を省略することがある。
以下、実施の形態を次の順序で説明する。
<1.手術システムの構成>
<2.演算・制御部の機能構成>
<3.実施の形態の処理例>
<4.まとめ>
<1.手術システムの構成>
眼球手術における手術システム100の構成について説明する。
図1は手術システム100が有する構成の一例を模式的に示している。
手術システム100は、手術台1と手術支援装置2を有して構成される。
手術台1と手術支援装置2は手術室に設置されている。
手術台1には、被術者(患者)3が仰向けの状態で横たえられている。施術者(医師)4は、被術者3の頭部側に位置し、各種の処置具5を用いて被術者3の眼球30(図2参照)内部の手術を行う。処置具5には、例えば硝子体カッターや鉗子、灌流液等の注入器などが用いられる。
図2は、眼球30の断面構成を模式的に示している。眼球30の表面は角膜31及び結膜32により覆われており、角膜31の奥には瞳孔33が形成された虹彩34が存在し、虹彩34の奥には水晶体35が存在する。また眼球30内部の眼底一面には網膜36が存在する。
施術者4は、例えば結膜32に処置具5を挿入して眼球30内部の手術を行う。
施術者4による眼球30の手術は、手術支援装置2により支援される。
図3は、手術支援装置2が有する構成の一例を模式的に示している。
手術支援装置2は、内視鏡保持装置11、内視鏡12、操作部13、演算・制御部14、及びモニタ15を有する。
内視鏡保持装置11は、基台部16及びアーム部17を有している。
基台部16は手術室の床等に載置され、アーム部17は基台部16に取り付けられている。アーム部17は基台部16により回動可能に軸支される。
アーム部17は、1又は複数の関節部や回動部を備え、アーム先端部20を任意の位置に移動させることのできる機構に形成されている。
ここでアーム先端部20の構成について説明する。
図4は、アーム先端部20が有する構成の一例を模式的に示している。
アーム先端部20は、内視鏡12を保持するためのホルダ21と被術者3の角膜31までの距離の計測に用いる計測部22と、を有している。
ホルダ21は、内視鏡12が着脱可能となる機構に形成され、内視鏡12を装着することでホルダ21に対して内視鏡12が固定される。内視鏡12がホルダ21に固定された状態でアーム部17を動作させることで、内視鏡12を任意の位置に自在に移動させることができる。
被術者3の眼球30に挿入された内視鏡12をホルダ21で保持することで、施術者4は、手で内視鏡12を保持する必要がなくなる。従って、施術者4は、両手で眼球30の手術を行うことができる。
計測部22は、照射部23及び撮像部24を有している。
照射部23は、例えばLED(Light Emitting Diode)であり、被術者3の眼球30を照射する光を出力する。
撮像部24は、いわゆるステレオ法による測距が可能となるように撮像部24L,24Rを有している。撮像部24L,24Rは、例えばホルダ21の上部付近において所定間隔を空けて配置されている。撮像部24L,24Rの光軸は平行とされ、焦点距離はそれぞれ同値とされる。また、フレーム周期は同期し、フレームレートも一致している。
撮像部24L,24Rの各撮像素子で得られた撮像画像信号はそれぞれA/D(Analog
/ Digital)変換され、画素単位で所定階調による輝度値を表すデジタル画像信号(撮像画像データ)とされる。
照射部23により眼球30が照射された状態において得られた撮像部24L,24Rの各撮像素子による撮像画像信号に基づいて、撮像部24L,24Rから被術者3の角膜31までの距離を計測することができる。
計測部22において照射部23と撮像部24L,24Rの相対位置関係は固定されている。また撮像部24L,24Rと、上述したホルダ21の相対位置関係は固定されている。従って、ホルダ21に内視鏡12を固定することで、照射部23及び撮像部24L,24Rと内視鏡12との相対位置関係が固定されることになる。
図3に戻り、手術支援装置2の内視鏡12は、ホルダ21に固定された状態で眼球30の内部に挿入される(図2参照)。挿入された内視鏡12により眼球30内部の状態が撮像される。内視鏡12の撮像素子で得られた撮像画像信号はそれぞれA/D変換され、画素単位で所定階調による輝度値を表すデジタル画像信号(撮像画像データ)とされる。
内視鏡12からの撮像画像データに基づく撮像画像は、モニタ15の液晶に表示される。
操作部13は、アーム部17の操作やモニタ15上で表示された内視鏡12による撮像に基づく撮像画像の回転操作などを行う際に用いられる操作機器を包括的に示している。操作部13は、フットペダルであってもよいし、手動により操作する遠隔操作装置(リモートコントローラ)などであってもよい。図3では一例としてフットペダルを図示しているが、上記の通り操作部13はこれに限れられるものではない。
内視鏡12による撮像に基づく撮像画像の回転操作手法の詳細については後述する。
演算・制御部14は、アーム部17の動作制御や、モニタ15上に表示させる各種画像の生成処理、モニタ15への表示制御処理など、本実施の形態を実現するために必要な各種処理を実行する。
演算・制御部14は、例えばCPU(Central Processing Unit)、ROM(Read Only
Memory)、RAM(Random Access Memory)等を有するマイクロコンピュータを備えて構成される。演算・制御部14は、1又は複数のマイクロコンピュータにより実現される。
演算・制御部14は、例えば内視鏡保持装置11の基台部16に内蔵されている。なお、演算・制御装置14は他の外部機器に内蔵されていてもよい。
モニタ15は、演算・制御部14からの表示制御に基づいて液晶に表示画像6を表示する。
図5は、モニタ15上に表示される表示画像6の一例を示している。
モニタ15上には、例えば内視鏡撮像画像61や、眼球マップ画像62、内視鏡視点マップ画像63、挿入長提示画像64などを有する表示画像6が表示される。表示画像6には他にも必要に応じて各種情報に関する画像が含まれる。
内視鏡撮像画像61は、内視鏡12からの撮像画像データに基づく撮像画像である。内視鏡撮像画像61として、例えば内視鏡12で撮像した眼球30の内部の状態が表示される。内視鏡撮像画像61は、操作部13による操作により回転させることができる。内視鏡撮像画像61の回転手法の詳細については後述する。
眼球マップ画像62は眼球30と内視鏡12の位置関係を示している。
眼球マップ画像62には、眼球30が三次元眼球モデル30Aにより表示される。また眼球30に対する内視鏡12の位置が内視鏡モデル12Aにより表示される。
内視鏡視点マップ画像63には、内視鏡12の視点による被術者3の三次元モデル画像が表示される。内視鏡視点マップ画像63は、内視鏡撮像画像61の回転に連動して回転する。
挿入長提示画像64には、眼球30に対する内視鏡12の挿入長の数値、及び内視鏡先端部120から網膜36までの距離の数値が表示される。
施術者4は、モニタ15上で表示された表示画像6を確認しながら眼球30の手術を行う。
<2.演算・制御部の機能構成>
手術支援装置2における演算・制御部14の機能構成について説明する。
図6は、手術支援装置2の構成の一例をブロック図として示している。
演算・制御部14は、駆動制御部141、画像処理部142、位置判定部143、画像生成部144、及び表示制御部145を有している。
駆動制御部141は、例えば操作部13からの入力された操作信号に基づいて、内視鏡保持装置11のアーム部17の関節部や回動部の動作制御を行う。駆動制御部141は、アーム部17の動作制御を行うことで、アーム先端部20のホルダ21に固定した内視鏡12の位置を移動させることができる。
また駆動制御部141は、照射部23の出力制御や、撮像部24の撮像制御を行う。
画像処理部142は、内視鏡12による撮像に基づく画像信号について、輝度信号処理、色処理、解像度変換処理、コーデック処理などの各種信号処理を施す。画像処理部142は、各種信号処理が施された画像信号を画像生成部144に出力する。
位置判定部143は、撮像部24から入力された撮像部24L,24Rの各撮像素子による眼球30の撮像画像信号に基づいて、撮像部24から角膜31までの距離情報を得る。
また位置判定部143は、当該距離情報に基づいて眼球30と内視鏡先端部120との相対位置関係を演算する。
位置判定部143は、判定結果(眼球30と内視鏡先端部120との相対位置関係)を画像生成部144に出力する。
画像生成部144は、画像処理部142や位置判定部143、操作部13などからの各種入力情報を用いて図5に示すような表示画像6を生成する。表示画像6を構成する各種画像の生成手法の詳細については後述する。
画像生成部144は、生成した表示画像6の画像信号を表示制御部145に出力する。
表示制御部145は、画像生成部144から入力された画像信号に基づいて、モニタ15上に表示画像6を表示させる制御を行う。
<3.実施の形態の処理例>
本実施の形態を実現するために手術支援装置2の演算・制御部14が実行する処理について説明する。ここでは一例として、施術者4が被術者3の頭部側に位置して手術を行っているものとする(図1参照)。
図7は、演算・制御部14が実行する処理の一例を示すフローチャートである。演算・制御部14は、画像の1フレームタイミング毎に図7の処理を繰り返し実行する。
ステップS101において、演算・制御部14は、内視鏡12から入力された撮像画像データを取得する。演算・制御部14は、内視鏡12が眼球30内部を撮像して得た撮像画像データとしての各フレーム画像データを内部メモリに格納する。
ステップS102において、演算・制御部14は画像回転角データを取得する。
画像回転角データは、内視鏡12からの撮像画像データの回転処理を行う際に用いられる当該撮像画像データの回転方向及び回転角度を示す情報である。
画像回転角データは、操作部13からの操作入力に応じて適宜更新される。ただし、アーム部17の動作に応じて内視鏡12の撮像方向が変位することによっては、画像回転角データは更新されない。
演算・制御部14が図7の処理を開始してから操作部13による操作入力を検知するまでの間(以下、初期状態とも表記する。)においては、画像回転角データは内視鏡撮像画像に対する回転処理の角度0°を指示する値とされる。
演算・制御部14は、操作部13からの操作入力を検知すると、その操作量に応じて画像回転角データを更新する。例えば更新された画像回転角データの角度の正負により回転方向が示される。画像回転角データの更新処理の詳細については後述する。
ステップS103において、演算・制御部14は、内視鏡12からの撮像画像データ及び画像回転角データに基づいて、内視鏡撮像画像61の画像データを生成する。
この場合少なくとも演算・制御部14は、内視鏡12からの撮像画像データを画像回転角データに基づいた方向及び角度で回転させた内視鏡撮像画像61の画像データを生成する。
また初期状態の場合は画像回転角データとして回転角度0°が指示されていることになるため、演算・制御部14は、内視鏡12からの撮像画像データを回転させずに内視鏡撮像画像61としての画像データを生成する。
ステップS104において、演算・制御部14は、表示画像6の画像データを生成する。
演算・制御部14は、内視鏡撮像画像61、眼球マップ画像62、内視鏡視点マップ画像63、挿入長提示画像64、その他必要な画像の画像データを合成することで表示画像6の画像データを生成する。
ここで、上述した内視鏡撮像画像61以外の各種画像における画像データの生成手法の例について説明する。
・眼球マップ画像62
演算・制御部14は、撮像部24L,24Rが眼球30を撮像して得た各フレームとしての一対の撮像画像データに基づき、眼球30や角膜31に映る照射部23からの光25の光点を認識するなどの各種画像解析処理を行う。
演算・制御部14は、一対の撮像画像データ(ステレオ画像)に対し、角膜31に映る光点の位置のずれ量から三角測量の原理によって撮像部24から角膜31までの距離である撮像距離を演算する。
演算・制御部14は、演算した撮像距離に基づいて撮像部24と眼球30の位置関係を判定し、撮像部24と相対位置関係が固定された内視鏡12(内視鏡先端部120)と眼球30の位置関係を判定する。
演算・制御部14は、判定した眼球30と内視鏡12(内視鏡先端部120)の位置関係を三次元眼球モデル30Aと内視鏡モデル12Aの位置関係として示した眼球マップ画像62の画像データを生成する。
・内視鏡視点マップ画像63
演算・制御部14は、内視鏡12の視点による被術者3の三次元モデル画像を表示する内視鏡視点マップ画像63の画像データを生成する。
被術者3の三次元モデルには、あらかじめ設定されたヒトの頭部の三次元モデルデータが用いられる。内視鏡12に対する被術者3の頭部の角度を示す値が、被術者3が手術台1に仰向けで横たえられた状態であり、手術台1に対する内視鏡保持装置11の設置角度が規定されているという前提のもと、あらかじめ頭部角度データとして設定されている。
演算・制御部14は、三次元モデルデータと頭部角度データに基づいて、三次元眼球モデル画像を有する三次元モデル画像を生成する。
そして演算・制御部14は、眼球30と内視鏡12の位置関係に基づいて三次元モデル画像と内視鏡モデル画像を合成することで、内視鏡視点マップ画像63の画像データを生成する。
・挿入長提示画像64
演算・制御部14は、判定した眼球30と内視鏡12(内視鏡先端部120)の位置関係から、内視鏡12の眼球30への挿入長に関する情報と、内視鏡先端部120から被術者3の網膜36までの距離に関する情報とを演算する。
そして演算・制御部14は、それらの情報に基づいて挿入長提示画像64の画像データを生成する。
以上の手法により、表示画像6の画像データを生成するために必要な各種画像の画像データが生成される。
続くステップS105において、演算・制御部14は、表示画像6をモニタ15の液晶に表示させるための表示制御を行う。これにより、モニタ15の同一画面内に図5に示すような表示画像6が表示される。
ところで、施術者4による眼球30の手術中においては、図8に示すように内視鏡撮像画像61に処置具5が映り込むことがある。この場合において内視鏡撮像画像61は、処置具5の表示位置から明らかなように、図1に示す施術者4が眼球30内部の手術を行う方向と上下左右が一致していない。
これは眼球30に挿入する内視鏡12の位置を調節するときに、内視鏡12に長手軸を中心とするひねりが生じたことに起因する。このようなひねりが生じた状態で内視鏡12による眼球30内部の撮像が行われると、施術者4が手術を行っている方向と上下左右が一致しない内視鏡撮像画像61がモニタ15上に表示されてしまう。
このような場合、施術者4は、手術を円滑に進行させるために操作部13の操作により内視鏡撮像画像61を見やすい位置(例えば図9に示す位置)まで回転させる必要がある。
そのため、演算・制御部14は、ステップS106,S107の処理を行うようにしている。
ステップS106において、演算・制御部14は、操作部13からの操作入力を検知したか否かを判定する。操作入力は、例えば施術者4がフットペダルを足で操作することにより行われる。
ステップS106において操作入力を検知しない場合、演算・制御部14はステップS101に処理を戻し、以降同様の処理を実行する。
即ち、初期状態においては、回転していない状態の内視鏡撮像画像61がモニタ15上に表示される。
一方、ステップS106において操作入力を検知した場合、演算・制御部14はステップS106からS107に処理を進める。
ステップS107において、演算・制御部14は、画像回転角データの更新処理を行う。
演算・制御部14は、操作部13からの操作入力に基づいて、画像回転角データとして回転方向及び回転角度を更新する。
ステップS107の処理を行った後、演算・制御部14はステップS101に処理を戻す。そして演算・制御部14は、ステップS101からS103の処理を行い、内視鏡12からの撮像画像データを更新された画像回転角データに基づいて回転させた内視鏡撮像画像61の画像データを生成する。
このような処理が実行されることで、操作部13の操作に応じて、眼球30内部での内視鏡12の位置変位を生じさせずに、モニタ15上に表示されている内視鏡撮像画像61を回転させ続けることができる。例えば内視鏡撮像画像61を、図8に示す位置から図9に示す位置まで回転させることができる。
続くステップS104において、演算・制御部14は、上記と同様に内視鏡撮像画像61を含む表示画像6の画像データを生成する。
ステップS105において、演算・制御部14は、表示画像6をモニタ15の液晶に表示させるための表示制御を行う。施術者4の操作部13の操作に応じて回転された内視鏡撮像画像61がモニタ15上に表示される。
施術者4が操作部13を操作し続けている間、ステップS101からS107までの処理が演算・制御部14により継続して実行される。
施術者4は、例えば内視鏡撮像画像61に映り込んだ処置具5が手術の行いやすい位置になるまで操作部13の操作を継続し、内視鏡撮像画像61を回転させる。
施術者4による操作部13の操作の終了により、演算・制御部14は、ステップS106で操作入力を検知しないと判定する。この場合、演算・制御部14は、ステップS106からS101に処理を戻し、以降、ステップS106で操作入力を検知するまで、ステップS101からS106の処理を繰り返し実行する。
このとき演算・制御部14は、最後に更新された画像回転角データに基づいて内視鏡撮像画像61の画像データを生成し、モニタ15への表示制御を行う。これにより、回転停止時点の回転角度が維持された状態で内視鏡撮像画像61がモニタ15上に表示される。
なお、内視鏡12の撮像方向を変位させるためにアーム部17の動作制御によりホルダ21に保持された内視鏡12を移動させたとしても、演算・制御部14により画像回転角データが更新されることはない。
従って、モニタ15上には、最後に更新された画像回転角データに基づく回転が維持された状態で、撮像方向のみが変位した内視鏡撮像画像61が表示される。
よって、施術者4は、内視鏡12の撮像方向を変位させた際に、操作部13の操作により再度内視鏡撮像画像61を回転させる必要がなくなる。
ステップS101からS106の処理を繰り返し実行するなかで、再度ステップS106で操作入力を検知すると、演算・制御部14はステップS107,S101の順に処理を進め、以降同様の処理を実行する。
<4.まとめ>
本発明の実施の形態における手術支援装置2は、内視鏡12を保持するためのホルダ21を有し、ホルダ21で内視鏡12を保持した状態で内視鏡12の位置を調節するアーム部17と、ホルダ21に保持された内視鏡12により撮像した内視鏡撮像画像61の表示制御を行う表示制御部145と、内視鏡撮像画像61を回転させるための操作部13と、を備え、操作部13の操作に応じて、内視鏡12の位置変位を生じさせずに表示されている内視鏡撮像画像61を回転させる(図6及び図7等参照)。
これにより、操作部13の操作を行う施術者4の意思を反映させた内視鏡撮像画像61が表示される。
従って、施術者4が眼球30内部の手術を行っている方向と上下左右が一致しない内視鏡撮像画像61がモニタ15上に表示された場合(図8参照)であっても、操作により内視鏡撮像画像61を施術者4が手術を行いやすい位置(図9参照)に調節することができる。よって、手術の円滑な進行を促進することができる。
本実施の形態における手術支援装置2においては、ホルダ21に保持された内視鏡12の撮像方向が変位した場合に、直前の回転状態を維持した内視鏡撮像画像61が表示される(図7のS103等参照)。
これにより、変位した位置での内視鏡撮像画像61は、位置変位前と同じ角度による回転処理が施されてモニタ15上に表示される。
従って、回転状態を維持するという施術者4の意思を反映させた内視鏡撮像画像61を表示させることができる。また、内視鏡12の位置が変位する度に施術者4が操作部13を操作する必要がなくなるため、手術の円滑な進行を促進することができる。
本実施の形態における手術支援装置2において、内視鏡撮像画像61は、被術者3の眼球30に挿入された内視鏡12による眼球30内部の撮像画像であり、表示制御部145は、内視鏡撮像画像61と三次元眼球モデル30A上で内視鏡12の位置を示す眼球マップ画像62とを同一画面内に表示させる(図7のS105等参照)。
これにより、内視鏡撮像画像61が表示されたモニタ15を視認することで、併せて被術者3の眼球30に挿入された内視鏡12の位置を把握することができる。
従って、施術者4は、眼球30内部の映像が表示された表示画面6から視点を動かすことなく、眼球30内部における挿入された内視鏡12の位置を確認することができる。よって、眼球30に対する手術をより円滑に進行することができる。
本実施の形態における手術支援装置2において、操作部13はフットペダルとされる(図3等参照)。
これにより、施術者4は足により内視鏡撮像画像61の回転操作を行うことができる。
従って、施術者4が手術中に両手が塞がっている場合であっても施術者4の意思を反映させた内視鏡撮像画像61を表示させることができる。換言すれば、施術者4は、内視鏡撮像画像61の回転操作を行っている間も両手を自由に使うことができる。よって、手術の円滑に進行させることができる。
なお、本実施の形態では、内視鏡12の一例として眼内内視鏡の例について説明したが、内視鏡12は眼内内視鏡に限られるものではない。例えば被術者3の肋骨の間を切開し挿入する胸腔鏡や、腹部を切開し挿入する腹腔鏡など、様々な内視鏡を適用することができる。
最後に、本開示に記載された実施の形態はあくまでも例示であり、本発明が上述の実施の形態に限定されることはない。また実施の形態で説明されている構成の組み合わせの全てが課題の解決に必須であるとは限らない。さらに本開示に記載された効果はあくまでも例示であり限定されるものではなく、他の効果を奏するものであってもよいし、本開示に記載された効果の一部を奏するものであってもよい。
2 手術支援装置
3 被術者
12 内視鏡
13 操作部
17 アーム部
21 ホルダ
30 眼球
30A 三次元眼球モデル
61 内視鏡撮像画像
62 眼球マップ画像
145 表示制御部

Claims (4)

  1. 内視鏡を保持するためのホルダを有し、前記ホルダで前記内視鏡を保持した状態で前記内視鏡の位置を調節するアーム部と、
    前記ホルダに保持された前記内視鏡により撮像した内視鏡撮像画像を取得する演算・制御部と、
    前記内視鏡撮像画像の回転方向及び回転角度を示す画像回転角データを操作に応じて前記演算・制御部に供給する操作部と、を備え、
    前記演算・制御部は、前記操作部から供給された前記画像回転角データに基づいて前記内視鏡撮像画像を回転させた画像データを生成し、前記生成した画像データに基づく表示制御を行う
    手術支援装置。
  2. 前記ホルダに保持された前記内視鏡の撮像方向が変位した場合に、直前の回転状態を維持した前記内視鏡撮像画像が表示される
    請求項1に記載の手術支援装置。
  3. 前記内視鏡撮像画像は、被術者の眼球に挿入された内視鏡による前記眼球内部の撮像画像であり、
    前記演算・制御部は、前記内視鏡撮像画像と、三次元眼球モデル上で前記内視鏡の位置を示す眼球マップ画像とを同一画面内に表示させる
    請求項1又は請求項2に記載の手術支援装置。
  4. 前記操作部はフットペダルとされる
    請求項1から請求項3の何れかに記載の手術支援装置。
JP2021558995A 2020-10-27 2020-10-27 手術支援装置 Active JP7029216B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/040232 WO2022091211A1 (ja) 2020-10-27 2020-10-27 手術支援装置

Publications (2)

Publication Number Publication Date
JP7029216B1 true JP7029216B1 (ja) 2022-03-03
JPWO2022091211A1 JPWO2022091211A1 (ja) 2022-05-05

Family

ID=81212303

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021558995A Active JP7029216B1 (ja) 2020-10-27 2020-10-27 手術支援装置

Country Status (5)

Country Link
US (1) US20230255820A1 (ja)
EP (1) EP4179955B1 (ja)
JP (1) JP7029216B1 (ja)
CN (1) CN115802925A (ja)
WO (1) WO2022091211A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004275203A (ja) * 2003-03-12 2004-10-07 Olympus Corp 内視鏡保持装置
WO2017169823A1 (ja) * 2016-03-30 2017-10-05 ソニー株式会社 画像処理装置および方法、手術システム並びに手術用部材
WO2019212018A1 (ja) * 2018-05-02 2019-11-07 国立大学法人東京工業大学 眼内手術用器具ホルダ

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110251047B (zh) * 2014-03-28 2022-01-18 直观外科手术操作公司 手术植入物的定量三维成像和打印

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004275203A (ja) * 2003-03-12 2004-10-07 Olympus Corp 内視鏡保持装置
WO2017169823A1 (ja) * 2016-03-30 2017-10-05 ソニー株式会社 画像処理装置および方法、手術システム並びに手術用部材
WO2019212018A1 (ja) * 2018-05-02 2019-11-07 国立大学法人東京工業大学 眼内手術用器具ホルダ

Also Published As

Publication number Publication date
EP4179955B1 (en) 2024-09-11
EP4179955A1 (en) 2023-05-17
CN115802925A (zh) 2023-03-14
EP4179955A4 (en) 2023-08-30
US20230255820A1 (en) 2023-08-17
WO2022091211A1 (ja) 2022-05-05
JPWO2022091211A1 (ja) 2022-05-05

Similar Documents

Publication Publication Date Title
JP6891244B2 (ja) 視線追跡を使用する医療装置、システム、及び方法
US20110213342A1 (en) Real-time Virtual Indicium Apparatus and Methods for Guiding an Implant into an Eye
WO2020045015A1 (ja) 医療システム、情報処理装置及び情報処理方法
JP7390793B2 (ja) 眼科装置
JPWO2018179681A1 (ja) 医療用観察装置及び観察視野補正方法
WO2017135278A1 (ja) 断層画像撮影装置
US20230255452A1 (en) Surgery assisting device
US20230310098A1 (en) Surgery assistance device
JP4455419B2 (ja) 手術用立体画像観察装置
JP7029216B1 (ja) 手術支援装置
TWI576649B (zh) 手術用影像擷取裝置及其影像擷取方法
KR102169674B1 (ko) 혼합 현실 안저카메라
US20240103260A1 (en) Control device, control system, and control method
US20230222740A1 (en) Medical image processing system, surgical image control device, and surgical image control method
US20230397811A1 (en) Ophthalmic observation apparatus, method of controlling the same, and recording medium
JP7377331B2 (ja) 眼科装置
WO2022163188A1 (ja) 画像処理装置、画像処理方法及び手術顕微鏡システム
WO2022163190A1 (ja) 画像処理装置、画像処理方法及び手術顕微鏡システム
RU72394U1 (ru) Мультимедийная офтальмоэндоскопическая система
JP7216562B2 (ja) 眼科装置
JP7166080B2 (ja) 眼科装置
KR100407676B1 (ko) 원격진료용 디지털 검안경 시스템
JP2023142781A (ja) 眼科システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211001

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20211001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220210

R150 Certificate of patent or registration of utility model

Ref document number: 7029216

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350