JP6930915B2 - 眼科処置における拡大とそれに関わる装置、システム、および方法 - Google Patents

眼科処置における拡大とそれに関わる装置、システム、および方法 Download PDF

Info

Publication number
JP6930915B2
JP6930915B2 JP2017534677A JP2017534677A JP6930915B2 JP 6930915 B2 JP6930915 B2 JP 6930915B2 JP 2017534677 A JP2017534677 A JP 2017534677A JP 2017534677 A JP2017534677 A JP 2017534677A JP 6930915 B2 JP6930915 B2 JP 6930915B2
Authority
JP
Japan
Prior art keywords
surgical
image
field
graphical overlay
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017534677A
Other languages
English (en)
Other versions
JP2018501881A (ja
Inventor
レン フガーン
レン フガーン
リーンフオン ユイ
リーンフオン ユイ
Original Assignee
アルコン インコーポレイティド
アルコン インコーポレイティド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アルコン インコーポレイティド, アルコン インコーポレイティド filed Critical アルコン インコーポレイティド
Publication of JP2018501881A publication Critical patent/JP2018501881A/ja
Application granted granted Critical
Publication of JP6930915B2 publication Critical patent/JP6930915B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/18Arrangements with more than one light path, e.g. for comparing two specimens
    • G02B21/20Binocular arrangements
    • G02B21/22Stereoscopic arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0041Operational features thereof characterised by display arrangements
    • A61B3/0058Operational features thereof characterised by display arrangements for multiple images
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/13Ophthalmic microscopes
    • A61B3/132Ophthalmic microscopes in binocular arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/0012Surgical microscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Microscoopes, Condenser (AREA)
  • Eye Examination Apparatus (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本明細書において開示される実施形態は、眼科手術システム内の視覚化に関する。より詳しくは、本明細書に記載されている実施形態は、外科医が光学的外科用顕微鏡、外部表示装置を備えるデジタル顕微鏡、および/またはその他の適当な表示装置を使って処置を見ている時に、眼内の外科的標的領域の拡大画像を表示することに関する。
眼科顕微鏡下処置には、眼内の微細な生体構造が関わる可能性がある。外科医は、外科用顕微鏡を使って生体構造と手術器具を観察しながら、顕微鏡下手術を行うことができる。外科医は、手術を視覚化する中で2つの相反する好みを持つことがある。第一に、外科医が生体組織の微細な構造的詳細部を視覚化するほか、手術器具を正確に制御するためには高い倍率が好ましい可能性がある。第二に、そしてそれと同時に、手術中のすべての操作が外科医にとって同じ視野内で行われることができるように、大きい実視野が好ましい可能性があり、また、それは手順中に器具の位置の全体像を提供するのに役立ちうる。
現在、外科医が見る画像の中の生体組織や手術器具等の物体の大きさは、外科用顕微鏡のズーム設定に基づいて変更できる。高い倍率では、物体の大きさを大きくできるが、実視野は小さい。低い倍率では、実視野を大きくできるが、物体の大きさは小さい。
したがって、外科医にとっては、外科用顕微鏡の中間的ズームを選択して、容認可能な実視野で容認可能な倍率を得るようにするか、または必要な時に毎回ズームを変化させることを繰り返して、高い倍率か大きい実視野を選択するかの何れかが可能である。前者の方法では、外科医はいくつかの微細な詳細を解像できないことで、視覚化に関して妥協する。後者の方法では、外科医は、手術器具を患者の眼内に安定に保持しながら、例えばフットペダルを物理的に踏むことによって顕微鏡のズームを頻繁に調整しなければならず、それによって処置はさらに複雑化し、患者に対するリスクも増大する可能性がある。
したがって、上述のニーズの1つまたは複数に対処することにより、外科医に高い倍率の画像を提供し、それと同時に大きい実視野を維持する能力を改善する改良型の装置、システム、および方法が依然として求められている。
提示されている解決策は、満たされていない医学的ニーズを、外科用顕微鏡を使って手術を見ながら高い倍率と大きい実視野を同時に提供する固有の解決策により満足させる。カメラ等の撮像装置は、外科医の関心対象領域、例えば手術器具の先端をリアルタイムで追跡することができる。外科医の関心対象領域を拡大し、外科用顕微鏡のもともとの実視野の一部に重畳することができる。外科医は、拡大された画像およびもともとの実視野を見ることができる。それゆえ、大きい実視野と高い倍率を同時に得られる。
いくつかの実施形態によれば、眼科視覚化システムは、術野の第一の画像を取得するように構成された第一の撮像装置と、第一の撮像装置と通信し、第一の画像に基づいて術野の中の関心対象領域を判断するように構成されたコンピューティングデバイスと、コンピューティングデバイスおよび、術野を画像化するように構成された外科用顕微鏡と通信する第一の表示装置と、を含み、第一の表示装置は、グラフィカルオーバレイを外科用顕微鏡の実視野の少なくとも一部の上に提供するように構成され、グラフィカルオーバレイは関心対象領域の拡大画像を含む。
いくつかの実施形態によれば、眼科処置を視覚化する方法は、第一の撮像装置により取得された術野の第一の画像を受け取るステップと、第一の画像に基づいて術野の中の関心対象領域を特定するステップと、関心対象領域の拡大画像を含むグラフィカルオーバレイを生成するステップと、術野を画像化するように構成された外科用顕微鏡と通信する表示装置にグラフィカルオーバレイを出力して、グラフィカルオーバレイが外科用顕微鏡の実視野の少なくとも一部の上に位置付けられるようにするステップと、を含む。
本開示のその他の態様、特徴、および利点は、以下の詳細な説明から明らかとなるであろう。
眼科視覚化システムの構造図である。 眼科視覚化システムを使用した術野のビューの概略図である。 眼科視覚化システムを使用した術野のビューの概略図である。 外科用顕微鏡の構造図である。 外科用顕微鏡を使用した術野のビューの概略図である。 眼科視覚化システムを使用した術野のビューの画像である。 眼科視覚化システムを使用した術野のビューの画像である。 眼科視覚化システムを使用した術野のビューの画像である。 眼科視覚化システムを使用した術野のビューの画像である。 眼科視覚化システムを使用した術野のビューの画像である。 眼科視覚化システムを使用した術野のビューの画像である。 眼科視覚化システムの構造図である。 眼科視覚化システムの構造図である。 眼科視覚化システムの構造図である。 眼科処置を視覚化する方法フロー図である。 眼科視覚化システムを用いた術野のビューの画像である。 眼科視覚化システムを用いた術野のビューの画像である。 眼科視覚化システムを用いた術野のビューの画像である。
図中、同じ参照符号を有する要素は同じ、または同様の機能を有する。
以下の説明の中で、特定の実施形態を説明するために具体的な詳細が記載されている。しかしながら、当業者にとっては、開示されている実施形態が、これらの具体的な詳細の一部または全部がなくても実施できることが明らかであろう。提示されている具体的な実施形態は、限定ではなく、例示のためである。当業者であれば、本明細書に具体的に示されていないが、本開示の範囲と主旨に含まれるその他の材料にも気付くであろう。
本開示は、外科医が外科顕微鏡を使って手術を見るときに、大きい実視野を視覚化し、関心対象領域内で高い倍率を提供することを同時に行う装置、システム、および方法を説明する。撮像装置は、術野のライブのリアルタイム画像を取得でき、これには標的の生体組織と、標的の生体組織上で操作される手術機器を含むことができる。コンピューティングデバイスは、その画像に基づいて術野の中の外科医にとっての関心対象領域を特定し、追跡できる。例えば、コンピューティグデバイスは、手術機器の先端を特定し、追跡できる。コンピューティングデバイスはまた、関心対象領域の拡大画像を含むグラフィカルオーバレイも生成できる。コンピューティングデバイスは、グラフィカルオーバレイを表示装置へと出力できる。表示装置は、外科用顕微鏡のもとの実視野の一部にグラフィカルオーバレイを提供できる。それゆえ、外科用顕微鏡を使用して、外科医は術野とグラフィカルオーバレイを同時に見ことができる。本明細書に記載されている視覚化システムは、それが非侵襲的処置において光学拡大鏡を手術器具または撮像コンポーネントに取り付けることなく関心対象領域を拡大できるという点で、デジタル拡大鏡と言うことができる。
本開示の装置、システム、および方法は、外科用顕微鏡のズームを常に変更する必要を排除することによる手術効率の改善および患者への傷害リスクの低減を含む多くの利点を提供する。本開示の利点にはまた、(1)大きい実視野と高い倍率を同時に可能にし、(2)グラフィカルオーバレイを透明にして、もとの実視野のうち、グラフィカルオーバレイが重ねられている部分が外科用顕微鏡を使って可視化されるようにすることによって、外科医にとっての作業条件を改善することも含まれる。本明細書に記載されている装置、システム、および方法はまた、(3)グラフィカルオーバレイを選択的に有効化/無効化できるようにし、(4)高い倍率を選択的に提供できるようにし、(5)物理的、光学的拡大鏡を手術器具に取り付けることができない非侵襲的手術における拡大を可能にすることによって、手術の作業の流れを改善する。本開示のその他の利点には、(6)異なる手術器具のための低コストのユニバーサル方式を提供し、(7)器具の大きさの増大を懸念せずに、現在の手術器具との使用を可能にし、(8)モジュール式または外科用顕微鏡内蔵方式で柔軟性を提供することによる実装効率の増大が含まれる。
図1は、眼科視覚化システム100を示す。眼科視覚化システム100は撮像装置152を含むことができ、これは術野122の画像を取得するように構成される。眼科視覚化システム100はコンピューティングデバイス160を含むことができ、これは撮像装置152と通信し、画像に基づいて術野122の中の関心対象領域を判断するように構成される。眼科視覚化システム100は表示装置172を含むことができ、これは、コンピューティングデバイス160および、術野122を画像化するように構成された外科用顕微鏡130と通信する。表示装置172は、グラフィカルオーバレイを外科用顕微鏡の実視野の少なくとも一部に提供するように構成できる。グラフィカルオーバレイは、関心対象の拡大画像を含むことができる。
外科医またはその他の医療従事者等の観察者110は、外科用顕微鏡130を使って術野122を視覚化することができる。外科中に、手術機器140を処置対象眼120に挿入できる。例えば、硝子体切除術において、手術機器140は、網様体扁平部の強角膜切開部から硝子体腔内に挿入できる。手術機器140は、切除ローブ、硝子体切除プローブ、レーザプローブ、焼灼プローブ、真空プローブ、フラッシングプローブ、ハサミ、鉗子、その他適当な眼科用機器、および/またはこれらの組合せとすることができる。他の各種の眼科器具、例えば、光源、潅流カニューレその他もまた、手術中に処置対象眼120に挿入できる。観察者110は、手術機器140を使って術野122の中で手術を施行できる。術野122は、眼内の各種の生体組織を含むことができ、例えば硝子体液、透明膜、網膜の一部、血管、および/または眼のその他の部分である。
コンタクトレンズ124を処置対象眼120に結合することができる。コンタクトレンズ124は、観察者110にとって術野122が見やすくなるように構成された1つまたは複数の光学コンポーネント、例えば1つまたは複数の適当なレンズを含むことができる。例えば、コンタクトレンズ124は、広視野角レンズとすることができる。他の例において、コンタクトレンズ124は、Alcon,Inc.から入手可能なGRIESHABER(登録商標)DSP Aspheric Macular Lensとすることができる。コンタクトレンズ124はまた、処置対象眼120を固定すること等によって、手術を容易にするように構成できる。例えば、コンタクトレンズ124は、Alcon,Inc.から入手可能なLenSx(登録商標)Laser SoftFit(商標)Patient Interfaceとすることができる。コンタクトレンズ124は、外科用顕微鏡130に連結し、および/またはそこから離間させることができる。コンタクトレンズ124は、コンタクトレンズ124を処置対象眼120に関して安定させるように構成された安定化機構に結合することができる。そのために、安定化機構は、トロッカ、カウンタウェイト、摩擦によるシステム、弾性システムのうちの1つまたは複数を含むことができる。いくつかの実施形態において、処置対象眼120から離間されているレンズが、処置対象眼120と外科用顕微鏡130との間の光軸内に提供される。例えば、BIOM(Binocular Indirect Ophthalmomicroscope)型または広視野角間接コンタクトレンズを使用できる。観察者110は、外科用顕微鏡130を使って、コンタクトレンズ124を通して術野122を見ることができる。
外科用顕微鏡130は、眼科処置中に使用するように構成された何れの適当な外科用顕微鏡とすることもできる。外科用顕微鏡は、光学顕微鏡および/またはデジタル顕微鏡とすることができる。その点において、外科用顕微鏡130は、1つまたは複数のレンズ132、例えば焦点レンズ、ズームレンズ、および対物レンズ134のほか、ミラー、フィルタ、回折格子、および/またはその他の光学コンポーネントを含むことができ、これらは光学トレインを含む。観察者110は、ズームレンズの相対位置を変えることによって、倍率および/または視野を調節できる。例えば、外科用顕微鏡130は、ズームを制御する外科用フットスイッチと通信できる。観察者110は手術開始時に、手術部位の広い視野を提供するもの等、好ましい倍率を決定できる。本明細書中に記載されているように、表示装置172によって提供される術野122内の関心対象領域の高倍率画像を、倍率を調節せずに外科用顕微鏡130を使って見ることができる。術野122から反射された光は、外科用顕微鏡130によって受け取られ、アイピース136を通じて術野122を見ている観察者110によって視覚化されることが可能である。眼科視覚化システム100と外科用顕微鏡130を使用した術野122の例示的なビューが図2、3、6a〜10b、および14〜16に示されている。外科用顕微鏡130が図1に示されている実施形態のように双眼実体顕微鏡である場合、2つの光路(例えば、観察者110の各眼について1つずつ)を提供できる。同様に、アイピース136は、観察者110の各眼のための別々の接眼レンズまたはその他の視覚コンポーネントを含むことができる。観察者110は、アイピース136を通じて外科用顕微鏡130の実視野および/またはおよびグラフィカルオーバレイを観察できる。
前述のように、眼科視覚化システム100は撮像装置152を含むことができる。撮像装置152は、デジタル撮像装置とすることができる。例えば、カメラまたはビデオカメラは、術野122の静止画像またはフレームの連続を取得するように構成でき、これらが全体でそのライブのリアルタイムビューを形成する。この点において、撮像装置152はイメージセンサ、例えば電荷結合素子(CCD)イメージセンサ、相補型金属酸化膜半導体(CMOS)センサ、および/またはその他の適当なイメージセンサを含むことができる。撮像装置152は、術野122から反射された光を受け取るように構成できる。外科用顕微鏡130はビームスプリッタ138を含むことができ、これは反射光の一部を撮像装置152に案内し、それと同時に反射光の別の部分はアイピース136を通過するように構成される。ビームスプリッタ138は、ガラスプリズム、金属被覆ミラー、ダイクロミックミラー、ダイクロミックミラープリズム、ノッチフィルタ、ホットミラー、および/またはコールドミラーを含むことができる。反射光のうち、撮像装置152へと案内される部分は、外科用顕微鏡130の中または外等、光路に沿った何れの適当な地点でも分割できる。例えば、ビームスプリッタ138は、図のようにアイピース136とズームレンズ132との間、またはズームレンズ132と対物レンズ134との間に位置付けることができる。撮像装置152はまた、イメージセンサで受け取った光を解釈して、そこに通信可能に結合されたコンピューティングデバイス160が使用するための画像データを生成するために、処理コンポーネント、メモリコンポーネント、および/またはその他の電気コンポーネントを含むことができる。撮像装置152は、画像データをコンピューティングデバイス160に送信できる。
コンピューティングデバイス160は、何れの適当な処理回路を含むこともでき、これは例えば、メモリに通信可能に連結されたプロセッサ等である。コンピューティングデバイス160は、本明細書に記載されている機能を実行するように構成できる。例えば、コンピューティングデバイス160は、撮像装置152により取得された画像を受け取り、処理することができる。コンピューティングデバイス160のメモリは、処理前および/または処理後の画像データを保存できる。コンピューティングデバイス160は、この画像に基づいて術野内の外科医にとっての関心対象領域を判断できる。外科医の関心対象領域は、様々な方法で判断できる。例えば、コンピューティングデバイス160は、術野122内に置かれた手術機器140の一部、例えば、マーカ、遠位部分、または先端を特定できる。器具追跡のための例示的な装置、システム、および方法は、2013年12月19日に出願された、“Marker−Based Tool Tracking”と題する米国特許出願公開第2015/0173644号明細書(代理人整理番号第PAT055780−US−NP)に記載されており、その全体を参照によって本願に援用する。術野122内の手術機器140を追跡する例は、図6b、7b、8b、9a〜9d、および14〜16に示されている。
他の例において、観察者110は、入力装置162を介してコンピューティングデバイス160に関する処置の種類または標的生体組織を特定できる。例えば、観察者110は黄斑手術を指定できる。コンピューティングデバイス160は、標的生体組織を自動的に特定するように構成でき、これは例えば、処置対象眼120内の各種の組織構造を検出し、これらを標的生体組織の既知の位置、輪郭、およびその他の解剖学的特徴と比較する画像認識ソフトウェアを実行することによる。黄斑手術の例において、コンピューティングデバイス160は、黄斑が関心対象領域であると決定し、撮像装置152から受け取った画像の中の、黄斑および/または黄斑周辺領域を特定できる。外科医の関心対象領域を判断するためのまた別の方法も想定される。
コンピューティングデバイス160は、グラフィカルオーバレイを表す表示データを生成できる。グラフィカルオーバレイは、関心対象領域の拡大画像を含むことができる。例えば、コンピューティングデバイス160は、撮像装置152により取得された画像にデジタルズームを実行して、関心対象領域の倍率を増大させることができる。コンピューティングデバイス160はまた、画像データを増強でき、これは例えば、コントラスト、色調、明るさ、および/またはその他の画像パラメータを調節することによる。グラフィカルオーバレイは、観察者110にとっての関心対象領域のより明瞭なビューを提供できる。コンピューティングデバイス160は、グラフィカルオーバレイを表す表示データを、それに通信可能に接続された表示装置172に送信できる。
グラフィカルオーバレイは、術野122のライブ画像以外の画像を含むことができる。例えば、コンピューティングデバイス160は、撮像装置152により取得された画像に基づいて判断された関心対象領域を、事前に取得してあった同じ生体構造の画像と一緒に記憶するように構成できる。事前に取得してあった画像は、光干渉断層撮影(OCT)画像、蛍光眼底血管造影画像、インドシアニングリーン眼底血管造影画像、眼底撮影画像、細隙灯生体顕微鏡画像、その他の適当な画像、および/またはそれらの組合せを含むことができる。コンピューティングデバイス160は、事前に取得してあった画像について、デジタルズームを実行できる。コンピューティングデバイス160はまた、事前に取得してあった画像データを増強することもでき、これは例えば、コントラスト、色調、明るさ、および/またはその他の画像パラメータを調節することによる。グラフィカルオーバレイは、判断された関心対象領域に対応する組織を示す、拡大された事前に取得してあった画像の拡大画像を含むことができる。コンピューティングデバイス160は表示データを、グラフィカルオーバレイの中の事前に取得してあった画像の部分がリアルタイムの関心対象領域の変化に応じて更新されるように生成できる。関心対象領域のライブビューと事前に取得してあった画像の両方を提供することによって、手術中の外科医にとって指針となる、外科医が処置によって生じた術野の変化を見ることができる、その他のことが可能となる。
表示装置172は、外科用顕微鏡130の光路の中にグラフィカルオーバレイを提供するように構成された何れの適当な表示装置とすることもできる。表示装置172は、投射装置、例えばDLP(登録商標)(digital light processing)装置、液晶(LCD)装置、発光ダイオード(LED)装置、LCoS(liquid crystal on silicon)装置、その他の適当な装置、および/またはそれらの組合せとすることができる。表示装置172は、外科用顕微鏡130と光学的に通信でき、それによって観察者110はグラフィカルオーバレイを見るのと同時に、外科用顕微鏡130を使って術野122を観察できる。外科用顕微鏡130はビームカプラ139を含むことができ、これは、表示装置172からの光を術野122からの反射光と結合して、結合された光がアイピース136で受け取られるように構成される。ビームカプラ139は、ガラスプリズム、金属被覆ミラー、ダイクロミックミラー、ダイクロミックミラープリズム、ノッチフィルタ、ホットラー、および/またはコールドミラーを含むことができる。表示装置172からの光は、光路に沿った何れの適当な地点でも反射光と結合でき、これは例えば外科用顕微鏡130の中または外である。ビームカプラ139は、図のように、アイピース136と対物レンズ134との間に位置付けることができる。
グラフィカルオーバレイは、図2、3、6b、7b、8b、9a〜10b、および17に示されているように、外科医の視野の一部の上に位置付けることができる。表示装置172は、図2、3、6b、7b、8b、および9a〜10bに示されているように、例えば大きさ、形状、位置、透明度その他のパラメータを変化させてグラフィカルオーバレイを提供するように構成できる。図1に示されている実施形態のように、双眼実体顕微鏡では、1つの表示装置172を2つの光路の各々について(例えば、観察者110の片眼につき1つずつ)設けることができ、または1つの表示装置172を各光路への出力に提供することもできる。
前述のように、眼科視覚化システム100はまた、入力装置162を含むことができる。入力装置162は、コンピューティングデバイス160と通信できる。入力装置162は、観察者110が眼科視覚化システム100を制御することができるように構成でき、これには、グラフィカルオーバレイを有効化/無効化すること、グラフィカルオーバレイを固定位置と可変位置の何れに提供するかを選択すること、グラフィカルオーバレイが透明か不透明かを選択すること、および/または本明細書に記載のその他特徴が含まれる。入力装置162は、各種のON/OFFスイッチ、ボタン、トグル、ホイール、デジタルコントローラ、タッチスクリーンコントローラ、またはその他のユーザインタフェースコンポーネントのうちの何れを含んでいてもよい。入力装置162は、外科用顕微鏡130および/または手術機器140上に一体に配置することができる。例えば、入力装置162は、手術機器130の取手部分に1つまたは複数のボタンを含み、手術中に観察者110がボタンを押すとグラフィカルオーバレイを選択的かつ瞬間的に提供できるようにすることが可能である。入力装置162は個別のコンポーネント、例えば、非限定的な例として、外科用フットスイッチ、遠隔制御装置、タッチスクリーン制御装置、および/または別のコンピューティングデバイス等とすることができる。眼科視覚化システム100は、複数の入力装置162を含むことができる。入力装置162は、受け取ったユーザ入力に基づいて、入力信号を生成し、送信できる。コンピューティングデバイス160は、入力信号を受け取り、処理できる。コンピューティングデバイス160は、ユーザ入力に応答して制御信号を生成し、撮像装置152および/または表示装置172に送信できる。コンピューティングデバイス160はまた、受け取ったユーザ入力に基づいてグラフィカルオーバレイを生成し、(例えば、固定位置、異なる位置に、透明状態で、または不透明状態で、その他)提供できる。
撮像装置152、表示装置172、コンピューティングデバイス160、および/または入力装置162は、外科用顕微鏡130に機械的に連結できる。例えば、撮像装置152、表示装置172、コンピューティングデバイス160、および/または入力装置162は、外科用顕微鏡130と一体化することも、またはその上/中に一体に配置することもできる。
他の例において、撮像装置152、表示装置172、コンピューティングデバイス160、および/または入力装置162は、外科用顕微鏡130に取り外し可能に連結できる。モジュール方式の一例を図1に示すことができる。この点に関して、撮像装置152を追跡および拡大モジュール150の一部とすることができ、表示装置172を投射モジュール170の一部とすることができる。追跡および拡大モジュール150と投射モジュール170は、外科用顕微鏡130に取り外し可能に連結できる。すなわち、ユーザ(例えば、観察者110、外科医、他の医師、看護師、技術者その他)は、モジュールのうちの1つまたは複数を選択的に追加または除去して、本明細書に記載されている機能を選択的に提供することができる。それゆえ、撮像装置152、表示装置172、および/または本明細書に記載されているその他のコンポーネントは、1つまたは複数のモジュールを追加することによって、既存の外科顕微鏡の中に実装できる。したがって、病院またはその他の眼科サービス提供者は、有利な点として、撮像装置152、表示装置172、その他を含む外科用顕微鏡全体の取得に伴う高額の投資を回避できる。
外科用顕微鏡130、追跡および拡大モジュール150、および投射モジュール170は、コンピューティングデバイス160、撮像装置152、表示装置172、および/または入力装置162間の電気的、光学的、および/またはデータ通信を容易にするための様々なコンポーネント(例えば、ワイヤ、コンタクト、インタフェース、レンズ132、その他)を含むことができる。コンポーネントの異なる組合せをあるモジュールに含めることができる。撮像装置(複数の場合もある)152、表示装置(複数の場合もある)172、入力装置(複数の場合もある)162、および/またはコンピューティングデバイス(複数の場合もある)160のうちの1つまたは複数は、同じまたは異なるモジュール内に配置できる。撮像装置(複数の場合もある)152、表示装置(複数の場合もある)172、入力装置(複数の場合もある)162、および/またはコンピューティングデバイス(複数の場合もある)160のうちの1つまたは複数は、外科用顕微鏡130と別のものとすることができ、その一方で、これらのコンポーネントのうちの1つまたは複数のその他のものは、外科用顕微鏡130に機械的に連結される。
図2、3、および6a〜10bは、眼科視覚化システム100を使用した術野122のビューを示す。術野122は、手術機器140、血管204、視神経乳頭206、黄斑208、および微細特徴物202を含むことができる。観察者110は、外科用顕微鏡130の倍率を、実視野が術野122の所望の投射画像を提供するように選択できる。図2、3、6b、7b、8b、および9a〜10bは、術野122の一部の上に位置付けられたグラフィカルオーバレイ210を示す。グラフィカルオーバレイ210は、関心対象領域の拡大画像を含むように示されており、これは、図の実施形態において、手術機器140の先端144の周辺領域とすることができる。例えば、図2および3に示されているように、グラフィカルオーバレイ210は、微細特徴物202と先端144を、より大きく、より鮮明にして示している。観察者110は、微細特徴物202をグラフィカルオーバレイ210により明瞭に視覚化しながら、同時に術野112の広い実視野を見ることができる。比較として、図5は、図4の外科用顕微鏡130を使用した術野122を、グラフィカルオーバレイ210を用いずに示している。図5では、図2および3と同じ生体構造が示されているが、グラフィカルオーバレイ210がない。図5においては広い実視野が提供されているが、微細特徴物202も、先端144に関する詳細な位置情報も外科医からは容易に見えない。
図6a、7a、および8aは眼科視覚化システム100を使用した術野122のビューを示し、図6b、7b、および8bはそれぞれ、同じ生体構造をグラフィカルオーバレイ210と共に示している。図6a、7a、および8aを図6b、7b、および8bと比較すると、眼科視覚化システム100を使用した観察者110のビューの、グラフィカルオーバレイ210が有効化された場合と無効化された場合との違いがわかる。手術機器140はマーカ142を含むことができ、コンピューティングデバイス160はこれを撮像装置152により取得された画像の中で特定し、追跡することができる。表示装置172は、術野122の広い実視野上でマーカ142の上にインディケータ146を提供するように構成できる。インディケータ146は、観察者110に対して、手術機器140の先端144が追跡されていることを知らせることができる。コンピューティングデバイス160は、関連する表示データを生成するように構成できる。
先端144の周囲領域等の関心対象領域の拡大画像をグラフィカルオーバレイ210の中で提供できる。それゆえ、血管204に関する詳細をより明瞭に視覚化できる。例えば、図7bおよび8bにおいて、観察者110は血管204の不連続部分をより明瞭に見ることができ、これは、赤血球を持たない血管セグメントを示している。このような微小な詳細部は、それぞれ図7aおよび8aに示されている、より広い実視野だけでは容易に視覚化されないかもしれない。
表示装置172は、グラフィカルオーバレイ210を外科用顕微鏡130の実視野の中で何れの適当な大きさでも提供するように構成できる。コンピューティングデバイス160は、関連する表示データを生成するように構成できる。例えば、グラフィカルオーバレイ210は、外科用顕微鏡130を使用した観察者110の視野に関して、約5%〜約50%の間、約5%〜約40%の間、約10%〜役30%の間、約15%〜約25%の間、および/またはその他の適当な割合を占めることができる。いくつかの実施形態において、観察者110は、入力装置162を用いたユーザ入力を介して、グラフィカルオーバレイ210の大きさを選択できる。観察者110は、手術中に大きさを変更できる。いくつかの実施形態において、コンピューティングデバイス160は、グラフィカルオーバレイ210の大きさを自動的に決定および/または変更できる。例えば、コンピューティングデバイス160は、手術操作が比較的小さい領域に集中して行われていると判断するように構成でき、これは例えば、マーカ142および/または先端144が限界時間内に限界距離にわたって移動していない場合等である。コンピューティングデバイス160は、実視野の中のより大きな割合を占めるグラフィカルオーバレイ210に関連する表示データを生成できる。表示装置172は、より大きなグラフィカルオーバレイ210を外科用顕微鏡130の光路の中に提供できる。コンピューティングデバイス160が、手術操作が実視野内のより長い距離にわたることを検出すると、グラフィカルオーバレイ210を小さくすることができる。
表示装置172は、外科用顕微鏡130の実視野の中に、グラフィカルオーバレイ210を何れの形状でも提供すように構成できる。コンピューティングデバイス160は、関連する表示データを生成するように構成できる。例えば、グラフィカルオーバレイ210は、正方形、長方形、多角形、円形、楕円形、その他の適当な形状、および/またはそれらの組合せとすることができる。図2、3、6b、7b、8b、9a〜10b、および17に示されている実施形態は、正方形のグラフィカルオーバレイ210を示している。いくつかの実施形態において、観察者110は、入力装置162を使ったユーザ入力を介してグラフィカルオーバレイ210の形状を選択できる。観察者110は、手術中に形状を変更できる。いくつかの実施形態において、コンピューティングデバイス160は、グラフィカルオーバレイ210の形状を自動的に決定および/または変更できる。グラフィカルオーバレイ210は、外科用顕微鏡130の元の実視野から拡大画像を区別するための境界線を含むことができる。観察者110は、入力装置162を介してユーザ入力を提供することにより、境界線を選択的に有効化および無効化し、および/または境界線の視覚的特徴を変更できる。コンピューティングデバイス160は、関連する表示テータを生成するように構成できる。
表示装置172は、外科用顕微鏡130を使用した外科医の視野の中の何れの位置にもグラフィカルオーバレイ210を提供するように構成できる。例えば、グラフィカルオーバレイ210は、何れかの隅に、周辺に沿って、隅部および/または周辺から離して、および/または視野に関する他の適当な位置に位置付けることができる。図2および3に示されている実施形態は、グラフィカルオーバレイ210を視野の周辺から離すことができることを示している。図6b、7b、8b、および10に示されている実施形態は、グラフィカルオーバレイ210を視野の隅に位置付けられることを示している。図9a〜10bに示されている実施形態は、グラフィカルオーバレイ210を視野の周辺に沿って位置付けられることを示している。図9a〜10bに示されている実施形態はまた、グラフィカルオーバレイ210を手術機器140の一部の上に位置付けられることを示している。
表示装置172は、グラフィカルオーバレイ210を固定位置に提供するように構成できる。例えば、観察者110は入力装置162を使用したユーザ入力を介して、固定位置、例えば左隅または他のあらゆる適当な位置を選択できる。コンピューティングデバイス160は、入力装置162から受け取った入力信号に基づいて関連する表示データを生成するように構成できる。
表示装置172は、外科用顕微鏡130を使用した外科医の視野に関して、異なる、または可変的な位置にグラフィカルオーバレイ210を提供するように構成できる。観察者110は、グラフィカルオーバレイ210の位置を、例えば入力装置162を使ったユーザ入力を介して手術の開始時に選択し、手術中に位置を変更できる。コンピューティングデバイス160は、入力装置162から受け取った入力信号に基づいて、関連する表示データを生成するように構成できる。
いくつかの実施形態において、コンピューティングデバイス160は、グラフィカルオーバレイ210の位置を、手術中に位置が変化するように自動的に決定および/または変更できる。コンピューティングデバイス160は、手術機器140が術野122中で移動するときに、撮像装置152により取得される画像の中の手術機器140のマーカ142および/または先端144を特定し、追跡するように構成できる。コンピューティングデバイス160は、判断されたマーカ142および/または先端144の位置に応答して、グラフィカルオーバレイ210の位置に関する表示データを生成できる。表示装置172は、グラフィカルオーバレイ210の移動がマーカ142および/または先端144の移動に対応するように、グラフィカルオーバレイ210を異なる位置に提供できる。例えば、図9a〜9dにおいて、グラフィカルオーバレイ210は、マーカ142および/または先端144の近くに、ただし離れて位置付けられている。グラフィカルオーバレイ210は、手術機器210と共に移動できる。このように位置付けることにより、グラフィカルオーバレイ210は手術機器140の一部を覆う可能性がある。これは典型的に手術の障害にならないが、それは、観察者110が処置を実行するために使用する先端144は、グラフィカルオーバレイ210によって妨害されないままとすることができるからである。グラフィカルオーバレイ210は、外科用顕微鏡130の実視野の中で、マーカ142および/または先端144に関して反対の位置に位置付けることができる。例えば、コンピューティングデバイス160が、マーカ142および/または先端144が視野の右下隅に位置付けられたと判断すると、グラフィカルオーバレイ210を左上隅に位置付けることができる。グラフィカルオーバレイ210は、先端144の移動に合わせて反対の位置に移動できる。観察者110は、入力装置162を使ったユーザ入力を介して、グラフィカルオーバレイ210のための固定位置と可変位置とを選択および/または切り換える。コンピューティングデバイス160は、入力装置162から受け取った入力信号に基づいて関連する表示データを生成するように構成できる。
表示装置172は、透明な状態でグラフィカルオーバレイ210を提供するように構成でき、それによってグラフィカルオーバレイ210を通して術野122を見ることができる。図10aおよび10bは、同じ生体構造を、視神経乳頭206の一部の上にグラフィカルオーバレイ210を位置付けた状態で示すことができる。図10aにおいて、グラフィカルオーバレイ210を不透明とすることができる。視神経乳頭206の一部は、領域220に示されているように、グラフィカルオーバレイ210によって見えない可能性がある。図10bでは、グラフィカルオーバレイ210を透明とすることができる。視神経乳頭206の一部は、領域220に示されているように、グラフィカルオーバレイ210を通して見える。このようにして、外科用顕微鏡を使って、術野122全体とグラフィカルオーバレイ210を同時に視覚化できる。観察者110は、入力装置162を使ったユーザ入力を介して、グラフィカルオーバレイ210を透明にすることを有効化/無効化できる。観察者110はまた、透明レベルを、例えば約1%〜約99%の間、約10%〜約90%の間、約20%〜80%の間、約30%〜約70%の間、および/または他の適当な数値に選択することもできる。コンピューティングデバイス160は、入力装置162から受け取った入力信号に基づいて関連する表示データを生成するように構成できる。表示装置172は、グラフィカルオーバレイ210をカラーで提供し、その一方で、背景の、より広い視野をグレイスケールで提供するように構成できる。このような構成では、グラフィカルオーバレイ210の中の関心対象領域の拡大画像と外科用顕微鏡130によるより広い実視野との間のコントラストを増大できる。コンピューティングデバイス160は、関連する表示データを生成するように構成できる。
図11は眼科視覚化システム100の構造図であり、これは2つの撮像装置152を含むことができる。撮像装置152はどちらも、術野の画像を取得し、この画像をコンピューティングデバイス160に送信するように構成できる。2つの撮像装置152により取得される画像の品質は違えることができる。例えば、撮像装置152のうちの一方を標準的解像度のカメラとすることができ、撮像装置152の他方を高解像度カメラとすることができる。標準的解像度のカメラは、術野122の比較的低解像度の画像を取得するように構成でき、その一方で、高解像度カメラは、比較的高解像度の画像を取得するように構成できる。他の例において、撮像装置152の両方を同じまたは同様のカメラとすることができ、一方は比較的低解像度の画像を取得するように構成され、他方は比較的高解像度の画像を取得するように構成される。コンピューティングデバイス160は、より低解像度の画像を使って関心対象領域、例えばマーカ142および/または手術機器140の先端144を特定することができる。より低解像度の画像の中で特定された関心対象領域に基づき、コンピューティングデバイス160は、より高解像度の画像の中でそれに対応する位置を特定するように構成できる。より高解像度の画像は、グラフィカルオーバレイ210を生成するために使用できる。例えば、コンピューティングデバイス160は、高解像度画像にデジタルズームを実行して、グラフィカルオーバレイ210のための関心対象領域の拡大画像を生成できる。
眼科視覚化システム100の効率は、関心対象領域の追跡をグラフィカルオーバレイ210の生成から分離することによって改善できる。例えば、撮像装置152の一方を追跡モジュール180の一部とすることができ、撮像装置152の他方を拡大モジュール190の一部とすることができる。撮像装置152は、より低解像度の画像をコンピューティングデバイス160に素早く送信でき、それがより低解像度の画像を素早く処理して、関心対象領域をリアルタイムで追跡するようにできる。さらに、より高解像度の画像のズームインを行うことによって、グラフィカルオーバレイ210には、ズームにより解像度が低下しても、関心対象領域のはるかに高品質の画像を含めることができる。
図12は、眼科視覚化システム100の概略図であり、この場合、撮像装置152の少なくとも1つが光学ズームコンポーネント154を含むことができる。光学ズームコンポーネント154は1つまたは複数のレンズを含むことができ、これらは、撮像装置152の倍率および/または視野を調節するために、相互に関して移動させることができる。撮像装置152と光学ズームコンポーネント154は、拡大モジュール190の一部とすることができる。拡大モジュール190はまた、本明細書に記載されている機能を容易にするために、その他の電気的、電気機械的、機械的、および/または光学的コンポーネントを含むことができる。例えば、拡大モジュール190は、撮像装置152の少なくとも一部に1つまたは複数の回転および/または並進自由度を提供するように構成された様々なコンポーネント(例えば、サスペンションシステム、機械的フレーム、突出アーム、円錐構造、磁気部材、弾性部材、およびプラスチック部材、その他)を含むことができる。それゆえ、コンピューティングデバイス160は、撮像装置152を移動させ、および/または光学ズームコンポーネント154を調節するコンポーネントに制御信号を供給することによって、撮像装置152の視野を能動的に制御できる。拡大モジュール190の撮像装置152の光学ズーム、位置、および/または方位は、撮像装置152が関心対象領域の画像を取得するように構成されるように変更できる。光学ズームコンポーネント154は、撮像装置152の両方に提供できる。
図12の眼科視覚化システム100の使用中に、追跡モジュール180の撮像装置152は、術野122の画像を取得できる。コンピューティングデバイス160は、取得した画像を使って、関心対象領域、例えば手術機器140のマーカ142および/または先端144等を特定できる。取得された画像の中の特定された関心対象領域に基づいて、コンピューティングデバイス160は拡大モジュール190の中のコンポーネントに制御信号を送り、拡大モジュール190の撮像装置152の光学ズーム、位置、および/または方位を調節して、(術野122全体ではなく)関心対象領域の画像を取得するように構成できる。拡大モジュール190の撮像装置152は移動可能であり、および/または光学ズームコンポーネント154は関心対象領域を、それが位置を変える間に、例えば手術機器140の先端144が移動する間に追跡するように調節可能である。その結果として得られる関心対象領域の画像は、グラフィカルオーバレイ210を生成するために使用できる。例えば、コンピューティングデバイス160は、デジタルズームを使用することなく、拡大モジュール190の撮像装置152からの画像をグラフィカルオーバレイ210のために使用でき、これは、取得された画像が関心対象領域で光学的に拡大され、および/または合焦されているからである。
眼科視覚化システム100のグラフィカルオーバレイ210の中で提供される画像の品質は、ズームコンポーネント154を含め、撮像装置152の位置および/または方位の能動的制御を可能にすることによって改善できる。関心対象領域の光学的にズームされた画像を取得することによって、画像は、より広い視野の画像の上でズームインする場合と比較して、より高い解像度でグラフィカルオーバレイ210のために使用できる。
図13は、外科用顕微鏡130がデジタル顕微鏡である、眼科視覚化システム10の構造図である。観察者110は、外科用顕微鏡130の実視野および/またはグラフィカルオーバレイ210を、表示装置172を使って観察できる。その点に関して、表示装置172は外部表示装置であってもよく、それによって、観察者110は術野122および/またはグラフィカルオーバレイ210を、アイピース136を通じて見ることに加えて、および/またはその代わりに、スリーンまたはその他の適当な表示領域上で見ることができる。表示装置172は、2次元画像を出力するように構成された2次元(2D)表示装置、例えば投射装置および/またはモニタ(例えば、フラットスクリーンまたはフラットパネルモニタ)等とすることができる。表示装置172は、外科用顕微鏡130と一体化でき、および/または独立コンポーネントとすることもできる。表示装置172は、3次元物体の3次元画像および/または2次元表現を出力するように構成された3次元(3D)表示装置とすることができる。例えば、民生用3Dモニタ、3Dテレビ、その他を表示装置172として実装できる。3D眼鏡を使用することにより、観察者110は光学顕微鏡のそれと同様の立体ビューを得ることができる。3Dプロジェクタを使って、術野122の映画のような3Dビューを提供できる。それに加えて、ホログラフ効果に基づく、眼鏡を用いない3Dディスプレイを実装できる。コンピューティングデバイス260は、術野122の2次元または3次元表示および/またはグラフィカルオーバレイ210を、光学ヘッドマウントディスプレイ、スマートグラスその他等のウェアラブルデバイスに提供できる。コンピューティングデバイス160は、撮像装置152(複数の場合もある)からのデータを受け取り、関心対象領域を判断し、その後、合成ビデオストリームを3Dディスプレイ/プロジェクタに出力し、その中には関心対象領域の元の視野と拡大ビューの両方が含まれる。アイピース136は、外科用顕微鏡130から取り外すことができる。3Dディスプレイ/プロジェクタは、観察者110の眼の前で外科用顕微鏡130に取り付けて、ヘッドアップディスプレイを実装できる。
図14は、眼科処置を視覚化する方法1400のフロー図である。方法1400は、図15〜17を参照するとよりよく理解できる。方法1400は、プロセッサ、例えばコンピューティングデバイス160のプロセッサによって実行可能なコンピュータ命令を含むことができる。図のように、方法1400は多数の列挙ステップを含むが、方法1400の実施形態は、列挙ステップの前、その後、およびそれらの間に追加のステップを含んでもよい。いくつかの実施形態において、列挙ステップの1つまた複数を組み合わせ、省き、または異なる順序で実行してもよい。
方法1400は、ステップ1410で、撮像装置152により取得された術野122の画像を受け取るステップを含むことができる。手術機器140と、血管204と視神経乳頭206等の各種の生体構造を含む術野122の例示的画像が図15に示されている。方法1400は、ステップ1420で、画像に基づいて術野122の中の関心対象領域を特定するステップを含むことができる。例えば、関心対象領域を特定するステップは、画像の中で、術野122の中に置かれた手術機器140の少なくとも一部を特定するステップを含むことができる。手術機器140の少なくとも一部は、手術機器140の少なくとも一部が術野122の中で移動する間に、画像中で特定できる。
図16に示されるように、コンピューティングデバイス160は、手術機器140のマーカ142および/または先端144を特定できる。関心対象領域310は、マーカ142および/または先端144の周辺領域とすることができる。領域は、マーカ142および/または先端144の周囲の大きさと形状により画定できる。関心対象領域310は、正方形、長方形、多角形、円形、楕円形、その他の適当な形状、および/またはそれらの組合せとすることができる。関心対象領域310の大きさは、外科用顕微鏡130を使った視野全体に関して、約1%〜約50%の間、約5%〜約40%の間、約10%〜約33%の間、約20〜約25%の間、および/またはその他の適当な割合とすることができる。関心対象領域310の形状および/または大きさは、例えば入力装置162を使って、観察者110により設定できる。関心対象領域310の境界線に関連する表示データを表示装置172に提供し、境界線が外科用顕微鏡130を使って見ることができるようにすることができる。関心対象領域310の境界線は、コンピューティングデバイス160により実行される処理ステップを表すことができ、それによって、外科用顕微鏡130を使って輪郭を見ることができない。コンピューティングデバイス160は、インディケータ146に関連する表示データを生成して、手術機器140が追跡されていることを観察者110に知らせるために提供できる。
方法1400は、ステップ1430で、グラフィカルオーバレイ210を生成するステップを含むことができる。グラフィカルオーバレイ210は、関心対象領域の拡大画像を含むことができる。方法1400は、ステップ1440で、グラフィカルオーバレイ210を表示装置172に出力するステップを含むことができる。表示装置172は、術野122を画像化するように構成された外科用顕微鏡130と通信することができる。グラフィカルオーバレイ210は、図17に示されているように、外科用顕微鏡130を使って見ることができる。グラフィカルオーバレイ210は、外科用顕微鏡130の視野の少なくとも一部の上に位置付けることができる。関心対象領域の拡大画像は、関心対象領域を特定する(ステップ1420)ために使用されたものと同じ撮像装置152から、または異なる撮像装置152からの画像データを使って生成できる。例えば、グラフィカルオーバレイ210を生成するステップは、撮像装置152、例えばと追跡および拡大モジュールの撮像装置152(図1)または追跡モジュール180の撮像装置152(図11および12)等により取得された画像に基づいて、グラフィカルオーバレイ210を生成するステップを含むことができる。
方法1400は、撮像装置152、例えば拡大モジュール190の撮像装置152により取得された術野122の画像を受け取るステップを含むことができる。グラフィカルオーバレイ210を生成するステップは、投射モジュール170の撮像装置152により取得された画像に基づいて、グラフィカルオーバレイ210を生成するステップを含むことができる。方法1400は、撮像装置152の少なくとも一部、例えば拡大モジュール190の撮像装置152を移動させる制御信号を提供するステップを含むことができる。拡大モジュール190の撮像装置152は、関心対象領域310の画像を取得可能とすることができる。方法1400は、拡大モジュール190の撮像装置152により取得された関心対象領域310の画像を受け取るステップを含むことができる。グラフィカルオーバレイ210を生成するステップは、拡大モジュール190の撮像装置152により取得された画像に基づいてグラフィカルオーバレイ210を生成するステップを含むことができる。
グラフィカルオーバレイ210を出力するステップは、外科用顕微鏡130を使って見た時に固定位置にグラフィカルオーバレイ210を出力するステップを含むことができる。グラフィカルオーバレイ210を出力するステップは、外科用顕微鏡を使って見た時に異なる位置にグラフィカルオーバレイ210を出力するステップを含むことができる。グラフィカルオーバレイを出力するステップは、グラフィカルオーバレイ210の動きが手術機器140の少なくとも一部、例えばマーカ142および/または先端144の動きに対応するようにグラフィカルオーバレイ210を出力するステップを含む。グラフィカルオーバレイ210を透明な状態で出力し、外科用顕微鏡130を使って、グラフィカルオーバレイ210を通して術野122を見ることができるようにするステップを含む、グラフィカルオーバレイ210を出力するステップ。
本明細書に記載されている実施形態は、関心対象領域の高倍率での拡大を容易にすると同時に、手術中に広い視野を可能にする装置、システム、および方法を提供できる。上述の例は例示のためにすぎず、限定的とするものではない。当業者であれば開示された実施形態に適合するその他のシステムを容易に着想でき、それらは本開示の範囲内とする。したがって、本願は以下の特許請求の範囲によってのみ限定される。

Claims (11)

  1. 眼科視覚化システムにおいて、
    術野の第一の画像を取得するように構成された第一の撮像装置と、
    前記第一の撮像装置と通信し、前記第一の画像に基づいて前記術野の中の手術機器の先端の位置を判断するように構成されたコンピューティングデバイスと、
    前記コンピューティングデバイスと通信する第二の撮像装置であって、光学ズームコンポーネントを含み、前記手術機器の先端の位置の画像を取得するように構成される、第二の撮像装置と、
    第一の表示装置であって、光路に沿った何れかの適当な地点において、前記第一の表示装置からの光が、前記術野からの反射光と結合されるように、前記コンピューティングデバイスおよび、前記術野を画像化するように構成された外科用顕微鏡と光学的に通信する第一の表示装置と、を含み、
    前記第一の表示装置は、前記第一の撮像装置及び/又は前記第二の撮像装置を用いて取得された画像に基づいて、グラフィカルオーバレイを前記外科用顕微鏡の実視野の少なくとも一部の上に提供するように構成され、前記グラフィカルオーバレイは前記手術機器の先端の位置周辺の領域の拡大画像を含み、
    前記第一の表示装置は、前記グラフィカルオーバレイが前記外科用顕微鏡の前記実視野に関して可変位置で見えるように提供すべく構成され、
    前記コンピューティングデバイスは、前記第一の画像の中の手術機器の少なくとも一部を、前記手術機器の前記少なくとも一部が前記術野内で移動する間に特定するように構成され、
    前記第一の表示装置は、前記グラフィカルオーバレイの移動が前記手術機器の前記少なくとも一部の部分の移動に対応するように前記グラフィカルオーバレイを提供すべく構成され、
    前記コンピューティングデバイスは、前記手術機器が前記術野の中で移動するときに、取得された画像が関心対象領域において光学的に拡大され、及び/又は、合焦されるように、前記第二の撮像装置、前記手術機器の先端の位置に焦点を操作するように更に構成される、眼科視覚化システム。
  2. 前記コンピューティングデバイスは、前記第一の画像の中で、前記術野内に置かれた手術機器の少なくとも一部を特定することによって前記手術機器の先端の位置を判断するように構成される、請求項1に記載のシステム。
  3. 眼科視覚化システムにおいて、
    術野の第一の画像を取得するように構成された第一の撮像装置と、
    前記第一の撮像装置と通信し、前記第一の画像に基づいて前記術野の中の手術機器の先端の位置を判断するように構成されたコンピューティングデバイスと、
    前記コンピューティングデバイスと通信する第二の撮像装置であって、光学ズームコンポーネントを含み、前記手術機器の先端の位置の画像を取得するように構成される、第二の撮像装置と、
    第一の表示装置であって、光路に沿った何れかの適当な地点において、前記第一の表示装置からの光が、前記術野からの反射光と結合されるように、前記コンピューティングデバイスおよび、前記術野を画像化するように構成された外科用顕微鏡と光学的に通信する第一の表示装置と、を含み、
    前記第一の表示装置は、前記第一の撮像装置及び/又は前記第二の撮像装置を用いて取得された画像に基づいて、グラフィカルオーバレイを前記外科用顕微鏡の実視野の少なくとも一部の上に提供するように構成され、前記グラフィカルオーバレイは前記手術機器の先端の位置周辺の領域の拡大画像を含み、
    前記第一の表示装置は、前記グラフィカルオーバレイが前記外科用顕微鏡の前記実視野に関して固定位置で見えるように提供すべく構成され、
    前記コンピューティングデバイスは、前記第一の画像の中の手術機器の少なくとも一部を、前記手術機器の前記少なくとも一部が前記術野内で移動する間に特定するように構成され、
    前記第一の表示装置は、前記グラフィカルオーバレイの移動が前記手術機器の前記少なくとも一部の部分の移動に対応するように前記グラフィカルオーバレイを提供すべく構成され、
    前記コンピューティングデバイスは、前記手術機器が前記術野の中で移動するときに、取得された画像が関心対象領域において光学的に拡大され、及び/又は、合焦されるように、前記第二の撮像装置が、前記手術機器の先端の位置に焦点を操作するように更に構成される、眼科視覚化システム。
  4. 前記第一の表示装置は前記外科用顕微鏡を使って、前記術野が前記グラフィカルオーバレイを通して見えるように、透明のレベルを選択することができる前記グラフィカルオーバレイを提供するように構成されている、請求項1に記載のシステム。
  5. 前記コンピューティングデバイスは、前記第一の画像に基づいて前記グラフィカルオーバレイを生成するように構成される、請求項1に記載のシステム。
  6. 前記コンピューティングデバイスは、
    前記第一の画像の中で、前記術野内に置かれた手術機器の少なくとも一部を特定することによって前記手術機器の先端の位置を判断し、
    前記第二の撮像装置により取得された前記手術機器の先端の位置の画像を受け取り、
    前記手術機器の先端の位置の前記画像に基づいて前記グラフィカルオーバレイを生成する
    ように構成される、請求項1に記載のシステム。
  7. 前記コンピューティングデバイスは、手術機器の少なくとも一部が前記術野内で移動する間に前記手術機器の先端を特定することによって、前記第一の画像の中の前記手術機器の先端の位置を判断するように構成され、
    前記第二の撮像装置、前記第二の撮像装置が前記手術機器の先端の位置の前記画像を、前記手術機器の前記少なくとも一部が前記術野内で移動する間に取得することができるように移動可能である、
    請求項1に記載のシステム。
  8. 第二の表示装置であって、光路に沿った何れかの適当な地点において、前記第二の表示装置からの光が、前記術野からの反射光と結合されるように、前記コンピューティングデバイスおよび前記外科用顕微鏡と光学的に通信する第二の表示装置をさらに含み、前記外科用顕微鏡は双眼実体顕微鏡を含み、前記第一の表示装置と前記第二の表示装置は、前記双眼実体顕微鏡の異なる光路に関連付けられる、請求項1に記載のシステム。
  9. 前記第一の撮像装置と前記第一の表示装置の少なくとも一方が、前記外科用顕微鏡に取り外し可能に連結される、請求項1に記載のシステム。
  10. 前記外科用顕微鏡は光学顕微鏡を含み、それによって前記外科用顕微鏡の前記実視野と前記グラフィカルオーバレイが前記光学顕微鏡のアイピースを通じて観察可能である、請求項1に記載のシステム。
  11. さらに、デジタル顕微鏡を含み、前記第一の表示装置は、2次元画像と3次元画像のうちの少なくとも一方を出力するように構成された外部表示装置を含み、前記デジタル顕微鏡の前記実視野と前記グラフィカルオーバレイが前記外部表示装置を使って観察可能である、請求項1に記載のシステム。
JP2017534677A 2014-12-29 2015-12-21 眼科処置における拡大とそれに関わる装置、システム、および方法 Active JP6930915B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/584,685 2014-12-29
US14/584,685 US9645379B2 (en) 2014-12-29 2014-12-29 Magnification in ophthalmic procedures and associated devices, systems, and methods
PCT/US2015/067031 WO2016109280A2 (en) 2014-12-29 2015-12-21 Magnification in ophthalmic procedures and associated devices, systems, and methods

Publications (2)

Publication Number Publication Date
JP2018501881A JP2018501881A (ja) 2018-01-25
JP6930915B2 true JP6930915B2 (ja) 2021-09-01

Family

ID=56162847

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017534677A Active JP6930915B2 (ja) 2014-12-29 2015-12-21 眼科処置における拡大とそれに関わる装置、システム、および方法

Country Status (8)

Country Link
US (1) US9645379B2 (ja)
EP (1) EP3241051B1 (ja)
JP (1) JP6930915B2 (ja)
CN (1) CN107111122B (ja)
AU (1) AU2015374450B2 (ja)
CA (1) CA2967470C (ja)
ES (1) ES2807208T3 (ja)
WO (1) WO2016109280A2 (ja)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US20160331584A1 (en) * 2015-05-14 2016-11-17 Novartis Ag Surgical tool tracking to control surgical system
DE102015115106B4 (de) * 2015-09-08 2017-04-20 Carl Zeiss Meditec Ag Operationsmikroskop
EP3455664A1 (en) 2016-05-12 2019-03-20 Life Technologies Corporation Systems, methods, and apparatuses for image capture and display
AU2017296252A1 (en) * 2016-07-12 2018-11-29 Novartis Ag Optical and digital visualization in a surgical microscope
US10460457B2 (en) * 2016-07-12 2019-10-29 Novartis Ag Adaptive adjustment of overlay image parameters
DE102016122004B4 (de) 2016-11-16 2024-03-21 Carl Zeiss Meditec Ag Verfahren zur Darstellung von Bildern eines digitalen Operationsmikroskops und digitales Operationsmikroskop-System
MX2019007116A (es) * 2016-12-15 2019-09-16 Novartis Ag Registro adaptativo de imágenes para cirugia oftalmica.
US10918445B2 (en) * 2016-12-19 2021-02-16 Ethicon Llc Surgical system with augmented reality display
IL250432A0 (en) * 2017-02-02 2017-06-29 Elbit Systems Ltd Magnified imaging with high resolution and traceability for medical use
US10449013B2 (en) * 2017-04-14 2019-10-22 Novartis Ag Anti-parallax correction of stereoscopic surgical images
DE102017108371B4 (de) * 2017-04-20 2020-08-27 Carl Zeiss Meditec Ag Medizinisch-optisches Darstellungssystem und Verfahren zum Betreiben desselben
DE102017110103A1 (de) * 2017-05-10 2018-11-15 Carl Zeiss Meditec Ag Visualisierungssystem zur Visualisierung eines dreidimensionalen Zielbereichs eines Objektes
CN110476101B (zh) 2017-06-13 2022-02-18 谷歌有限责任公司 用于病理学的增强现实显微镜
CN109743892B (zh) * 2017-07-04 2020-10-13 腾讯科技(深圳)有限公司 虚拟现实内容的显示方法和装置
DE102017121085B3 (de) * 2017-09-12 2019-01-31 Carl Zeiss Meditec Ag Augenchirurgie-Visualisierungssystem
US11517474B2 (en) 2017-12-19 2022-12-06 Alcon Inc. Methods and systems for eye illumination
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
EP3776458B1 (en) 2018-04-12 2022-05-04 Google LLC Augmented reality microscope for pathology with overlay of quantitative biomarker data
US20190361591A1 (en) * 2018-05-23 2019-11-28 Alcon Inc. System and method of utilizing surgical tooling equipment with graphical user interfaces
JP7417551B2 (ja) * 2018-06-20 2024-01-18 アルコン インコーポレイティド 補助術野視覚化システム
US20220075173A1 (en) 2019-01-08 2022-03-10 Google Llc Automated microscope objective detector
WO2020146037A1 (en) 2019-01-09 2020-07-16 Google Llc Augmented reality laser capture microdissection machine
US20220148165A1 (en) * 2019-03-07 2022-05-12 Sony Group Corporation Surgical microscope system, image processing method, program, and image processing device
TWI743473B (zh) * 2019-04-26 2021-10-21 財團法人國家實驗研究院 外科手術攝影系統
DE102019123742B4 (de) * 2019-09-04 2021-12-30 Carl Zeiss Meditec Ag Augenchirurgie-Operationssystem und computerimplementiertes Verfahren zum Bereitstellen der Lage wenigstens eines Trokarpunkts
DE102019219123A1 (de) * 2019-09-10 2021-03-11 Carl Zeiss Meditec Ag Beobachtungseinrichtung
US11992373B2 (en) 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
WO2021168449A1 (en) * 2020-02-21 2021-08-26 Raytrx, Llc All-digital multi-option 3d surgery visualization system and control
US11832883B2 (en) 2020-04-23 2023-12-05 Johnson & Johnson Surgical Vision, Inc. Using real-time images for augmented-reality visualization of an ophthalmology surgical tool
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
US12023106B2 (en) 2020-10-12 2024-07-02 Johnson & Johnson Surgical Vision, Inc. Virtual reality 3D eye-inspection by combining images from position-tracked optical visualization modalities
US12045957B2 (en) 2020-10-21 2024-07-23 Johnson & Johnson Surgical Vision, Inc. Visualizing an organ using multiple imaging modalities combined and displayed in virtual reality
EP4066729A1 (en) * 2021-03-31 2022-10-05 Leica Instruments (Singapore) Pte. Ltd. Image enhancement of anatomical features
US20240082056A1 (en) * 2022-09-12 2024-03-14 Alcon Inc. Automated image guidance for ophthalmic surgery

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6661571B1 (en) * 1999-09-21 2003-12-09 Olympus Optical Co., Ltd. Surgical microscopic system
JP4436495B2 (ja) * 1999-10-08 2010-03-24 オリンパス株式会社 手術用観察システム
JP2004337355A (ja) * 2003-05-15 2004-12-02 Olympus Corp 手術用顕微鏡システム
CN101170961A (zh) * 2005-03-11 2008-04-30 布拉科成像S.P.A.公司 利用显微镜的用于外科手术导航及可视化的方法及设备
US20060293557A1 (en) * 2005-03-11 2006-12-28 Bracco Imaging, S.P.A. Methods and apparati for surgical navigation and visualization with microscope ("Micro Dex-Ray")
JP5703609B2 (ja) * 2010-07-02 2015-04-22 ソニー株式会社 顕微鏡及び領域判定方法
JP5693101B2 (ja) * 2010-08-30 2015-04-01 キヤノン株式会社 画像処理装置及び画像処理方法
US8882662B2 (en) * 2012-06-27 2014-11-11 Camplex, Inc. Interface for viewing video from cameras on a surgical visualization system
EP2941178B1 (en) * 2013-01-04 2019-10-23 Quantel Medical System and apparatus for providing ophthalmic images for diagnosis and treatment
US9597009B2 (en) * 2013-12-19 2017-03-21 Novartis Ag Marker-based tool tracking

Also Published As

Publication number Publication date
US20160183779A1 (en) 2016-06-30
EP3241051B1 (en) 2020-06-24
ES2807208T3 (es) 2021-02-22
US9645379B2 (en) 2017-05-09
EP3241051A4 (en) 2018-06-20
CA2967470A1 (en) 2016-07-07
AU2015374450A1 (en) 2017-05-25
EP3241051A2 (en) 2017-11-08
CA2967470C (en) 2023-01-03
WO2016109280A3 (en) 2016-08-25
AU2015374450B2 (en) 2020-03-19
WO2016109280A2 (en) 2016-07-07
CN107111122A (zh) 2017-08-29
CN107111122B (zh) 2020-06-16
JP2018501881A (ja) 2018-01-25

Similar Documents

Publication Publication Date Title
JP6930915B2 (ja) 眼科処置における拡大とそれに関わる装置、システム、および方法
US10895742B2 (en) Microsurgery system for displaying in real time magnified digital image sequences of an operated area
TWI734106B (zh) 立體視覺化攝影機及整合機器人平台
CA3059237C (en) Stereoscopic visualization camera and platform
JP4398352B2 (ja) 医療用立体撮像装置
US20050117118A1 (en) Digital ophthalmic workstation
US20130088414A1 (en) Surgical heads-up display that is adjustable in a three-dimensional field of view
JP2006158452A5 (ja)
US11698535B2 (en) Systems and methods for superimposing virtual image on real-time image
JP2004320722A (ja) 立体観察システム
US12048485B2 (en) Surgery 3D visualization apparatus
JP2022116440A (ja) 医療用画像処理装置及び医療用観察システム
WO2023191838A1 (en) Surgery 3d visualization apparatus
JP2024025671A5 (ja)
JP2000083965A (ja) 手術用顕微鏡
JP2000033098A (ja) 角膜レ―ザ―手術装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180822

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190618

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190917

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191217

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20191227

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20200123

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200212

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200701

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200701

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200710

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200714

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20200807

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20200818

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200825

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20210216

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210514

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20210615

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210706

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20210713

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20210713

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210812

R150 Certificate of patent or registration of utility model

Ref document number: 6930915

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250