JP6940620B2 - 立体手術画像の視差防止補正 - Google Patents

立体手術画像の視差防止補正 Download PDF

Info

Publication number
JP6940620B2
JP6940620B2 JP2019555878A JP2019555878A JP6940620B2 JP 6940620 B2 JP6940620 B2 JP 6940620B2 JP 2019555878 A JP2019555878 A JP 2019555878A JP 2019555878 A JP2019555878 A JP 2019555878A JP 6940620 B2 JP6940620 B2 JP 6940620B2
Authority
JP
Japan
Prior art keywords
location
image
digital image
digital
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019555878A
Other languages
English (en)
Other versions
JP2020519922A (ja
Inventor
ジョチンセン マウリシオ
ジョチンセン マウリシオ
Original Assignee
アルコン インコーポレイティド
アルコン インコーポレイティド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アルコン インコーポレイティド, アルコン インコーポレイティド filed Critical アルコン インコーポレイティド
Publication of JP2020519922A publication Critical patent/JP2020519922A/ja
Application granted granted Critical
Publication of JP6940620B2 publication Critical patent/JP6940620B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/13Ophthalmic microscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0041Operational features thereof characterised by display arrangements
    • A61B3/0058Operational features thereof characterised by display arrangements for multiple images
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/13Ophthalmic microscopes
    • A61B3/132Ophthalmic microscopes in binocular arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20Surgical microscopes characterised by non-optical aspects
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/007Methods or devices for eye surgery
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/0012Surgical microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/18Arrangements with more than one light path, e.g. for comparing two specimens
    • G02B21/20Binocular arrangements
    • G02B21/22Stereoscopic arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/361Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/373Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A61B2090/3735Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20228Disparity calculation for image-based rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Ophthalmology & Optometry (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Vascular Medicine (AREA)
  • Gynecology & Obstetrics (AREA)
  • Microscoopes, Condenser (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Eye Examination Apparatus (AREA)
  • Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)
  • Dental Preparations (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本開示は、手術及び手術機器に関し、且つ、更に詳しくは、立体手術画像の視差防止補正に関する。
眼科においては、毎年、何万人もの患者の視力を保つと共に改善するべく、眼及び付属視覚構造に対して眼科手術が実行されている。但し、眼内のわずかな変化にも影響を受ける視力の感受性と、多くの眼の構造の微細であり且つデリケートな特性と、に鑑み、眼科手術は実行が困難であり、且つ、小さな又はまれな手術の誤りの低減又は手術技法の精度のわずかな改善であっても、患者の結果において、途方もない差を生成する可能性がある。
眼科手術は、眼及び付属視覚構造に対して実行される。眼科手術の際には、患者は、手術顕微鏡、光干渉断層撮影(OCT:Optical Coherence Tomography)スキャナ、及びデジタルカメラなどの、手術撮像機器の下方において、上を向いた状態で、支持部上において配置される。手術撮像機器が、手術を受けている眼の画像を生成する。
眼科手術を含む、多くのタイプの手術においては、手術顕微鏡は、手術の際の患者の生体構造の立体視(stereoscopic view)を可能にする立体オプティクスを含む。但し、手術顕微鏡下における立体視は、視野内の特定のオブジェクトの見かけの場所の幻影を生成しうる視差を導入する場合があり、これは、立体視を観察している外科医にとって望ましくない。
一態様においては、手術の際に画像を表示する方法が開示されている。方法は、左アナログ画像を手術顕微鏡の左接眼レンズ内において表示するステップと、右アナログ画像を手術顕微鏡の右接眼レンズ内において表示するステップと、を含むことができる。方法においては、左アナログ画像及び右アナログ画像は、手術顕微鏡の対物フィールド(objective field)のものであってよい。又、方法は、左デジタル画像及び右デジタル画像を生成するステップを含むこともできる。方法においては、左デジタル画像及び右デジタル画像は、それぞれ、左アナログ画像及び右アナログ画像との表示のためのオーバーレイコンテンツを含むことができる。方法は、オーバーレイコンテンツ内の場所依存性特徴の第1通知を受け取るステップと、第1通知に応答して、左デジタル画像及び右デジタル画像のうちの1つにおける場所依存性特徴を表示するステップと、を更に含むことができる。
開示されている方法の実施形態の任意のものにおいて、対物フィールドは、手術顕微鏡を使用した手術を受けている患者を観察するべく、使用することができる一方で、場所依存性特徴は、患者の生体構造と関連付けることができる。方法においては、生体構造は、患者の眼の一部分であってよい一方で、手術は、眼科手術であってよい。方法においては、場所依存性特徴に含まれている生体構造には、手術顕微鏡を使用して実行される光干渉断層撮影(OCT)スキャンを適用することができる。
開示されている実施形態の任意のものにおいて、方法は、場所依存性特徴を除去するべく左デジタル画像及び右デジタル画像のうちの1つを規定した第2通知を受け取るステップを更に含むことができる。
開示されている方法の実施形態の任意のものにおいて、場所依存性特徴を表示するステップは、左デジタル画像及び右デジタル画像のうちの1つに対してデジタル処理を実行するステップを更に含むことができる。デジタル処理は、場所依存性特徴に対応する領域を識別するステップと、識別された領域のコンテンツを変更するステップと、を更に含むことができる。
その他の開示されている態様は、手術の際に患者を観察するための対物レンズ、手術顕微鏡のユーザーの右眼による観察のための右接眼レンズ、ユーザーの右眼による観察のための左接眼レンズ、並びに、それぞれ、左接眼レンズ及び右接眼レンズ内における表示用の左デジタル画像及び右デジタル画像を生成することが可能であるコントローラと、を含む、手術の際に画像を表示する手術顕微鏡を含む。コントローラは、方法に対応した動作を実行することが、更に可能になりうる。更なる開示されている一態様は、コントローラである。
本開示及びその特徴及び利点についての更に十分な理解のために、以下、同一の参照符号によって同一の特徴を参照している、縮尺が正確ではない、以下の添付図面との関連において、以下の説明を参照されたい。
立体型ディスプレイを有する眼科手術顕微鏡システムの概略図である。 立体視の概略図である。 視差防止立体視の概略図である。 コントローラの概略図である。 立体手術顕微鏡における視差防止補正用の方法のフローチャートである。
以下の説明においては、開示されている主題の検討を促進するべく、一例として、詳細事項が記述されている。但し、当業者には、開示されている実施形態は、例示を目的としたものであり、且つ、すべての可能な実施形態を網羅するものではないことが明らかであろう。
本明細書において使用されているハイフンで連結された形態の参照符号は、要素の特定のインスタンスを参照しており、且つ、ハイフンで連結されていない形態の参照符号は、集合的な要素を参照している。従って、例えば、「装置12−1」は、装置「12」として集合的に参照されうると共にそのうちの任意の1つが装置「12」として総称的に参照されうる装置クラスの1つのインスタンスを参照している。
拡張現実システム及び仮想現実システムは、個々の画像をそれぞれの眼に投射することができる。これらの個々の画像は、両方の目によって知覚された際に、現実世界が通常知覚されるのとちょうど同じように、立体的な又は3次元(3D)の画像として認識プロセスによって解釈される。拡張現実システムにおいては、立体画像は、ユーザーの正常視(normal view)を拡張しており、且つ、透明又は半透明として知覚されうる。仮想現実システムにおいて、立体画像は、ユーザーの正常視のすべての又は選択された部分を置換している。
拡張現実システムと仮想現実システムの両方において、立体画像は、現実世界が知覚される方式の別の特徴である、視差をもたらす。視差は、観察位置の変化によって生じるオブジェクト又は画像の場所の見かけのシフトである。眼との関係において、視差は、一方の眼によって観察された際の、他方の目、又は両方の眼の使用、とは対照的な、オブジェクト又は画像の見かけの位置の変位又は差を表している。人間の目に伴う視差は、それぞれの眼が、通常は数インチだけ離隔した、異なる場所に位置しているという事実の結果である。
視差によって生じる場所の見かけのシフトは、例えば、観点、深さ、又は3次元性を追加することにより、拡張現実及び仮想現実画像のいくつかのコンポーネントを更に現実的なものにする際に、有用でありうる。但し、手術顕微鏡を使用した手術のケースにおいてそうでありうるように、画像内のコンポーネントの正確な場所が重要である際には、そのコンポーネントの視差は、手術の実行の容易性に対する、又は場合によっては手術の結果に対する、潜在的な悪影響を伴って、観察者(即ち、外科医)にとっては、心を乱し、混乱させ、或いは、まごつかせるものになりうる。
従って、本開示は、オーバーレイコンテンツ内において表示されるその他のオブジェクトの立体特性を任意選択によって保持しつつ、立体手術画像のオーバーレイコンテンツ内において出現する特定のオブジェクトの視差を回避するシステム及び方法を提供している。例えば、デジタル的に生成されたオーバーレイコンテンツが手術顕微鏡の対物レンズによってキャプチャされた対物フィールドのアナログ画像上において重畳されている、手術顕微鏡を使用して観察される拡張現実手術画像内において、視差を回避することができる。本明細書において記述されている様々な実装形態においては、手術は、眼科手術であってよい。
特定の実施形態においては、立体眼科手術画像内におけるオーバーレイコンテンツは、患者の眼に対して実行されるOCTスキャンに関係しうる。例えば、生体構造容積の視覚的認識の改善のために、生体構造容積のOCTスキャン画像が立体的に提示されてもよく、これは、望ましいものである。又、同時に、手術顕微鏡が、OCTスキャンのスキャン場所を制御するためにも使用されている際には、スキャン場所を通知するオーバーレイコンテンツ内のマーカーを左デジタル画像及び右デジタル画像のうちの1つから除去することができる。この結果、立体視内の見かけのマーカー場所の視差を回避することができることになり、その理由は、視差が、生体構造との関係において、マーカーによって指定されたOCTスキャンビームの正確な位置決めを妨害しうるからである。
本開示は、手術顕微鏡によって提供されるアナログ画像と重畳されるオーバーレイ画像を使用するためのシステム及び方法を提供している。手術顕微鏡は、それぞれ、対物レンズの対物フィールドから生成されたアナログ画像を左及び右接眼レンズ内に表示している。次いで、手術顕微鏡のユーザーに対してオーバーレイコンテンツを表示するべく、それぞれ、左及び右画像を左及び右アナログ画像上において重畳することができる。ユーザーが、オーバーレイコンテンツ内の場所依存性特徴を(例えば、選択によって)通知した際に、手術顕微鏡と関連するコントローラは、場所依存性特徴を観察する際の視差を回避するべく、左デジタル画像及び右デジタル画像のうちの1つから場所依存性特徴を除去することができる。場所依存性特徴は、眼の生体構造などの患者の特定の生体構造と関連付けることができる。ユーザーは、立体手術画像の視差防止補正の起動を選択することができると共に、更には、視差防止立体視を表示するべく、左又は右接眼レンズのうちの1つを選択することもできる。
図1は、手術を実行するための立体型ディスプレイを有する手術顕微鏡システム100の概略図である。図1は、様々な光学的及び電子的接続を示しており、且つ、縮尺及び観点が正確には描画されていない。手術顕微鏡システム100は、本明細書においては、患者の眼110に対する眼科手術を目的として記述されているが、手術顕微鏡システム100は、異なる実装形態においては、本明細書において開示されているように、手術の際の患者の様々な生体構造を観察するなどのために、その他のタイプの手術にも使用されうることを理解されたい。図1に示されているように、手術顕微鏡システム100は、手術顕微鏡120と、ディスプレイ122と、OCTスキャナ134と、コントローラ150と、を含む。
図示のように、手術顕微鏡120は、光学的機能を示すべく、概略的な形態において描かれている。手術顕微鏡120は、異なる実施形態においては、様々なその他の光学的、電子的、機械的コンポーネントを含みうることを理解されたい。例えば、接眼レンズ経路118に沿った様々なレンズ及び光学要素が、説明のわかりやすさを目的として、図1から省略されている。手術顕微鏡120は、光ビームが、それを通じて、視野内の検査対象の生体構造から反射される、少なくとも1つの対物レンズ124を含む。図示のように、視野内の検査対象の生体構造は、眼110であり、これは、観察されている眼110の内部部分と共に概略的に示されている。いくつかの実施形態においては、コンタクト又は非コンタクトレンズなどの、(図示されてはいない)第2レンズが、眼の内部部分を観察するべく、使用されうることに留意されたい。同時に、手術ツール116及び照明器114が、眼110の強膜を貫通した状態において示されており、これは、例えば、様々な種類の硝子体網膜手術用の通常の構成である。図1に示されている構成は、硝子体網膜手術を例示しているが、手術顕微鏡120は、異なる実装形態においては、角膜手術、白内障、又はその他の眼科手術などの、異なる種類の眼科手術にも使用されうることを理解されたい。
図1に示されているように、対物レンズ124は、望ましい倍率又は眼110の視野を提供するべく、選択可能である対物レンズを表しうる。対物レンズ124は、眼110から、手術顕微鏡120によって、或いは、様々な実施形態においては、照明器114などの、別の供給源によって、生成されうる、光を受け取ることができる。図1に示されているように、左接眼レンズビーム118−L及び右接眼レンズビーム118−Rは、その他の光源に加えて、対物レンズ124を通じて入射光を伝播している光源(図示されてはいない)から反射されて戻る光などの、眼110から出現する光から形成することができる。
図1においては、手術顕微鏡120は、左接眼レンズ126−L及び右接眼レンズ126−Rを有する双眼鏡126による観察を可能にする、2つの別個の、但し、実質的に等しい、光経路、即ち、左接眼レンズビーム118−L及び右接眼レンズビーム118−R、を有する双眼鏡構成を有するように、示されている。対物レンズ124から、左接眼レンズビーム118−Lは、部分的ミラー129に到達することができる。部分的ミラー129は、サンプルビーム131をOCTスキャナ134から眼110に伝播させるべく、且つ、眼110からOCTスキャナ134に反射されて戻る計測ビーム132を受け取るべく、使用することができる。OCTスキャナ134は、手術顕微鏡120を使用した手術の際に、サンプルビーム131を眼110の望ましい部分に導くなどのために、コントローラ150との関連において更に制御することができる。この結果、OCTスキャンの結果をコントローラ150によって受け取ることができると共に、ディスプレイ122によって出力される左及び右デジタル画像に対してオーバーレイコンテンツとして追加することができる。OCTスキャン又はOCTスキャンデータは、対物レンズ124の視野(即ち、対物フィールド)の画像と共に同時に表示されるオーバーレイコンテンツとして視覚化することができる。例えば、裸眼には非可視状態でありうるOCTスキャンビームは、OCTスキャンが適用される眼110の正確な場所において後から重畳されるマーカーとして表すことができる。次いで、部分的ミラー129から、左接眼レンズビーム118−Lは、ディスプレイ122−Lからの左デジタル画像を対物フィールドのアナログ画像上において重畳するべく使用される部分的ミラー130−Lに通過することができる。部分的ミラー130−Lから、左接眼レンズビーム118−Lは、左接眼レンズ126−Lに伝播することができる。左接眼レンズビーム118−L上におけるOCTスキャナ134及び部分的ミラー129の配置は、任意のものであり、且つ、いくつかの実施形態においては、右接眼レンズビーム118−R上において発生しうることに留意されたい。
対物レンズ124から、右接眼レンズビーム118−Rは、ディスプレイ122−Rからの右デジタル画像を対物フィールドのアナログ画像上において重畳するべく使用される部分的ミラー130−Rに到達することができる。部分的ミラー130−Rから、右接眼レンズビーム118−Rは、右接眼レンズ126−Rに伝播することができる。
ディスプレイ122は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)アレイ、デジタル光処理(DLP:Digital Light Processing)エンジン、又はLCoS(Liquis Crystal on Silicon)プロジェクタなどの、デジタル表示装置を表しうる。ディスプレイ122−Lは、左接眼レンズ126−L用のデジタル画像を生成しうる一方で、ディスプレイ122−Rは、右接眼レンズ126−R用のデジタル画像を生成することができる。いくつかの実施形態においては、ディスプレイ122は、ユーザーによる観察のために画像を双眼鏡126に出力すると共に、手術顕微鏡120の接眼レンズオプティクス内において統合された、小型の表示装置を含む。ディスプレイ122は、別個の左及び右表示領域を有する単一の装置であってもよく、且つ、図1においては、説明のわかりやすさを目的として、122−L及び122−Rとして示されている、ことに留意されたい。
図1においては、コントローラ150は、例えば、画像を示すデータを送信する、ディスプレイ122との間における電気的インターフェイスを有することができる。この結果、コントローラ150は、デジタル画像用のオーバーレイコンテンツを生成してもよく、本明細書において記述されているように、オーバーレイコンテンツを変更してもよく、且つ、オーバーレイコンテンツを有するデジタル画像を双眼鏡126において観察されるディスプレイ122に出力してもよい。コントローラ150は、手術顕微鏡120のユーザーが、レイテンシーをほとんど又はまったく伴うことなしに、実質的に即座の表示を経験しうるように、相対的に大きなフレームリフレッシュレートにより、リアルタイムで、デジタルデータに対する画像処理を実行することができる。ディスプレイ122は、ビデオグラフィクスアレイ(VGA:Video Graphics Array)、拡張グラフィクスアレイ(XGA:Extended Graphics Array)、デジタル視覚インターフェイス(DVI:Digital Visual Interface)、高精細マルチメディアインターフェイス(HDMI:High−Definition Multimedia Interface)などのような、対応するタイプのディスプレイ用の表示規格に準拠することができる。特定の実装形態においては、コントローラ150は、本明細書において開示されているように、立体画像内における視差防止補正を実行することができる。
又、図1においては、手術顕微鏡システムは、眼110内の生体構造(又は、その他の実施形態においては、患者のその他の生体構造)などの、患者の生体構造のOCTスキャンを実行するべく動作しうるOCTスキャナ134を含む状態において、示されている。図示のように、部分的ミラー129は、サンプルビーム131をOCTスキャナ134から眼110に伝播させるべく、且つ、眼110から反射されてOCTスキャナ134に戻る計測ビーム132を受け取るべく、使用することができる。OCTスキャナ134は、手術顕微鏡120を使用した手術においてサンプルビーム131を眼110の望ましい部分に導くなどのために、コントローラ150との関連において更に制御することができる。この結果、OCTスキャンの結果をコントローラ150によって受け取ることができると共に、ディスプレイ122によって出力されるディスプレイ画像に追加することができる。いくつかの実施形態においては、OCTスキャン又はOCTスキャンデータは、対物レンズ124の視野の画像と共に同時に表示されるオーバーレイコンテンツとして視覚化することができる。例えば、裸眼には非可視状態でありうるOCTスキャンビームは、OCTスキャンが適用されている眼110の正確な場所におけるオーバーレイコンテンツ内のマーカーとして表すことができる。
手術システム100の動作の際に、対物レンズ124からの左及び右アナログ画像を使用することにより、双眼鏡126を使用した手術顕微鏡120内における立体視を表示することができる。従って、左アナログ画像が、接眼レンズ126−L内に表示され、且つ、右アナログ画像が、接眼レンズ126−R内に表示される。ディスプレイ122が、オーバーレイコンテンツを重畳させるべく、使用されている際には、左デジタル画像を左アナログ画像上において重畳することができる一方で、右デジタル画像を右アナログ画像上において重畳することができる。
視差防止補正が、オーバーレイコンテンツ内の特定の場所依存性特徴について望ましい際には、場所依存性特徴を識別するためにユーザー入力を受け取ることが、コントローラ150には可能になりうる。例えば、コントローラ150は、オーバーレイコンテンツ内の特定の領域を識別するユーザー入力を受け取ることができる。又、コントローラ150は、ユーザーが、ユーザーの視野との、且つ、観察されている患者の生体構造の場所との、関係において、場所依存性を有する特定のオブジェクトを直接的に選択することを可能にするなどにより、オーバーレイコンテンツ内において表示された特定のオブジェクトを識別するユーザー入力を受け取ることが、可能になりうる。この結果、右接眼レンズ126−R又は左接眼レンズ126−Lについてのユーザーの好みに基づいて、コントローラ150は、右デジタル画像及び左デジタル画像のうちの1つから特定のオブジェクトを除去することができる。特定の実施形態においては、特定のオブジェクトの除去は、個々のデジタル画像が生成される際に、特定のオブジェクトを生成しないことにより、実行することができる。この結果、場所依存性を有する特定のオブジェクトが視差防止補正を伴って表示される一方で、オーバーレイコンテンツの残りの部分を立体的に観察することができる(図2をも参照されたい)。
その他の実施形態においては、場所依存性特徴を識別するべく、様々なタイプのユーザー入力が想定される。ユーザーは、異なる実施形態において、視差防止表示を起動するべく、且つ、視差防止表示用の特定のコンテンツを選択するべく、ジェスチャ、眼の運動、又はユーザー入力装置を使用することができる。これに加えて、ユーザーは、視差防止立体補正のために、左及び右デジタル画像のうちの1つを選択することもできる。例えば、ユーザーは、ユーザーの利き目に基づいて、左又は右を選択することができる。
図2Aは、光学的な概略図において、立体視200を示している。立体視200は、左眼110−L及び右眼110−Rが、ディスプレイ122−L及び122−Rの立体的な動作を使用することにより、知覚画像を結果的にもたらすことになる方式を示している。具体的には、オーバーレイコンテンツ(
Figure 0006940620
という3つのグラフィカル文字を使用して示されている)が、ディスプレイ122−L及び122−Rの両方において表示され、且つ、眼110−L及び110−Rによって観察された際に、観察者は、すべての3つの文字の画像が、画像プレーン206とは異なる立体プレーン204において出現するものとして知覚することになる。知覚された画像コンテンツの場所の差は、人間の視覚皮質による立体画像処理の結果である。但し、立体プレーン204という知覚された場所が、画像プレーン206とは一致しておらず、且つ、物理的な操作が画像プレーン206において実行された際に、望ましくない視差を生成しうる。硝子体網膜手術に使用される手術顕微鏡120においては、例えば、画像プレーン206は、網膜に対応しうると共に、湾曲しうることに留意されたい。
図2Bは、図2Aに示されているものと同一の構成を使用した視差防止立体視201を示している。視差防止立体視201においては、特定のオーバーレイコンテンツが、ディスプレイ122−Rではなく、ディスプレイ122−Lによって表示される一方で、その他のオーバーレイコンテンツは、両方のディスプレイにより、両方の眼に対して表示される。具体的には、「ψ」という文字は、ディスプレイ122−L内においてのみ、表示される一方で、
Figure 0006940620
という文字は、ディスプレイ122−L及び122−Rの両方において表示される。この結果、観察者は、立体プレーン204という知覚された場所において、ではなく、物理的場所に対応している画像プレーン206において、「ψ」という文字を知覚することになる。同時に、観察者は、立体プレーン204において、
Figure 0006940620
という文字を知覚することになる。従って、視差防止立体視201は、同一の画像フレーム内のその他のオーバーレイコンテンツについては、立体視を保持しつつ、選択されたオーバーレイコンテンツについては、視差が回避されうる方式を示している。特定の実施形態においては、1つのディスプレイ内においてのみ表示されるオーバーレイコンテンツ(例えば、ディスプレイ122−L内におけるΨという文字)は、例えば、画像プレーン206が網膜を表している際には、画像プレーン206の曲りについて補正するべく、方向付け又はシフトすることができる。
次に図3を参照すれば、図1との関係において上述したコントローラ150の一実施形態の選択された要素を示すブロック図が提示されている。図3において描かれている実施形態においては、コントローラ150は、共有されたバス302を介して、メモリ310として集合的に識別されたメモリ媒体に結合されたプロセッサ301を含む。
コントローラ150は、図3に示されているように、コントローラ150を、例えば、ディスプレイ122などの、様々な外部エンティティにインターフェイスすることができる通信インターフェイス320を更に含む。いくつかの実施形態においては、通信インターフェイス320は、コントローラ150が、ネットワーク(図3には示されていない)に接続可能になるように、動作可能である。立体手術画像の視差防止補正に適した実施形態においては、コントローラ150は、図3に示されているように、共有されたバス302又は別のバスを、ディスプレイ122又は外部ディスプレイ(図示されてはいない)などの、1つ又は複数のディスプレイ用の出力ポートと接続するディスプレイインターフェイス304を含むことができる。
図3においては、メモリ310は、永久的な且つ揮発性の媒体、固定された且つ着脱自在の媒体、並びに、磁気的且つ半導体の媒体を包含している。メモリ310は、命令、データ、又はこれらの両方を保存するべく、動作可能である。メモリ310は、図示のように、命令の組又はシーケンス、即ち、オペレーティングシステム312及び視差防止立体補正314、を含む。オペレーティングシステム312は、UNIX又はUNIX様のオペレーティングシステム、Windows(登録商標)ファミリーオペレーティングシステム、或いは、別の適切なオペレーティングシステムであってよい。視差防止立体補正314は、本明細書において記述されているように、立体手術画像の視差防止補正を実行することができる。
図4は、本明細書において記述されている立体手術画像の視差防止補正用の方法を示している。方法400は、上述のシステム及び装置との関連において使用することができる。方法400は、例えば、視差防止立体補正314(図3を参照されたい)を実行することにより、手術システム100(図1を参照されたい)を使用して立体手術画像の視差防止補正を実行するべく、使用することができる。方法400において記述されている特定の動作は、任意選択であってよく、或いは、本開示のシステム及び装置を使用する様々な手術において再構成することもできる。
ステップ402において、左アナログ画像が手術顕微鏡の左接眼レンズ内において表示され、且つ、右アナログ画像が手術顕微鏡の右接眼レンズ内において表示されており、この場合に、アナログ画像は、対物フィールドを示している。ステップ404において、左デジタル画像及び右デジタル画像が、それぞれ、左アナログ画像及び右アナログ画像との表示のためのオーバーレイコンテンツを含む状態において、生成されている。ステップ406において、オーバーレイコンテンツ内の場所依存性特徴の第1通知が受け取られている。ステップ408において、場所依存性特徴が、左デジタル画像及び右デジタル画像のうちの1つ内において表示されている。
本明細書において開示されている立体手術画像の視差防止補正用の方法及びシステムは、手術顕微鏡の対物視野からの個々の左及び右アナログ画像上においてオーバーレイされる左及び右デジタル画像としてオーバーレイコンテンツを生成するべく、立体手術顕微鏡を利用することができる。ユーザーは、オーバーレイコンテンツ内の場所依存性特徴を選択することができると共に、視差防止補正のために、左又は右を選択することができる。
上述の開示されている主題は、限定ではなく、例示を目的としたものと見なすことを要し、且つ、添付の請求項は、本開示の真の精神及び範囲に含まれる、すべてのこのような変更、改善、及びその他の実施形態をカバーするべく意図されている。例えば、任意の上述のシステムは、任意の上述の一時的ではないコンピュータ可読媒体を含むことができると共に、任意の上述の方法を実行することができる。又、任意の上述の一時的ではないコンピュータ可読媒体は、任意の上述の方法を実行することができる。従って、法によって許容される最大程度にまで、本開示の範囲は、添付の請求項及びその均等物の最も広い許容可能な解釈によって判定することを要し、且つ、上述の詳細な説明によって制限又は限定されないものとする。

Claims (17)

  1. 手術の際に画像を表示する方法であって、
    左アナログ画像を手術顕微鏡の左接眼レンズ内において表示するステップであって、前記左アナログ画像は、前記手術顕微鏡の対物フィールドのものである、ステップと、
    右アナログ画像を前記手術顕微鏡の右接眼レンズ内において表示するステップであって、前記右アナログ画像は、前記対物フィールドのものである、ステップと、
    左デジタル画像及び右デジタル画像を生成するステップであって、前記左デジタル画像及び右デジタル画像は、それぞれ、前記左アナログ画像及び前記右アナログ画像との表示のためのオーバーレイコンテンツを含む、ステップと、
    前記オーバーレイコンテンツ内の場所依存性特徴であって、前記左アナログ画像において該場所依存性特徴が前記右アナログ画像に対して変位させられる視差を見せる場所依存性特徴の第1通知を受け取るステップと、
    前記第1通知に応答して、前記視差を回避するために前記左デジタル画像及び右デジタル画像の他方においてではなく前記左デジタル画像及び前記右デジタル画像のうちのただ1つにおいて前記場所依存性特徴を表示するステップと、
    を有する方法。
  2. 前記対物フィールドは、前記手術顕微鏡を使用した手術を受けている患者を観察するべく、使用されており、且つ、前記場所依存性特徴は、前記患者の生体構造と関連付けられている請求項1に記載の方法。
  3. 前記生体構造は、前記患者の眼の一部分であり、且つ、前記手術は、眼科手術である請求項2に記載の方法。
  4. 前記場所依存性特徴と関連付けられた前記生体構造には、前記手術顕微鏡を使用して実行される光干渉断層撮影(OCT)スキャンが適用される請求項3に記載の方法。
  5. 前記場所依存性特徴を除去するべく、前記左デジタル画像及び前記右デジタル画像のうちの1つを規定する第2通知を受け取るステップ、
    を更に有する請求項1に記載の方法。
  6. 前記場所依存性特徴を表示するステップは、
    前記左デジタル画像及び前記右デジタル画像のうちの1つに対してデジタル処理を実行するステップ、
    を更に有し、
    前記デジタル処理は、
    前記場所依存性特徴に対応する領域を識別するステップと、
    前記識別された領域のコンテンツを変更するステップと、
    を更に有する請求項1に記載の方法。
  7. 手術の際に画像を表示する手術顕微鏡であって、
    手術の際に患者を観察する対物レンズであって、前記対物レンズの対物フィールドは、手術顕微鏡の左接眼レンズ内において、左アナログ画像として、且つ、前記手術顕微鏡の右接眼レンズ内において、右アナログ画像として、表示され、
    前記右接眼レンズは、前記手術顕微鏡のユーザーの右眼による観察のためのものであり、
    前記左接眼レンズは、前記ユーザーの左眼による観察のためのものである、対物レンズと、
    左デジタル画像及び右デジタル画像を生成し、前記左デジタル画像及び前記右デジタル画像は、それぞれ、前記左アナログ画像及び前記右アナログ画像との表示のためのオーバーレイコンテンツを含み、
    前記オーバーレイコンテンツ内の場所依存性特徴であって、前記左アナログ画像において該場所依存性特徴が前記右アナログ画像に対して変位させられる視差を見せる場所依存性特徴の第1通知を受け取り、且つ、
    前記第1通知に応答して、前記視差を回避するために前記左デジタル画像及び右デジタル画像の他方においてではなく前記左デジタル画像及び前記デジタル画像のうちのただ1つにおいて前記場所依存性特徴を除去することが、
    可能であるコントローラと、
    を有する手術顕微鏡。
  8. 前記対物フィールドは、前記手術顕微鏡を使用した手術を受けている患者を観察するべく使用され、且つ、前記場所依存性特徴は、前記患者の生体構造と関連付けられている請求項7に記載の手術顕微鏡。
  9. 前記生体構造は、前記患者の眼の一部分であり、且つ、前記手術は、眼科手術である請求項8に記載の手術顕微鏡。
  10. 前記場所依存性特徴内に含まれている前記生体構造には、前記手術顕微鏡を使用して実行される光干渉断層撮影(OCT)スキャンが適用される請求項9に記載の手術顕微鏡。
  11. 前記コントローラは、
    前記場所依存性特徴を除去するべく、前記左デジタル画像及び前記右デジタル画像のうちの1つを規定する第2通知を受け取ることが、
    更に可能である請求項に記載の手術顕微鏡。
  12. 前記場所依存性特徴を除去することが可能である前記コントローラは、
    前記左デジタル画像及び前記右デジタル画像のうちの1つに対してデジタル処理を実行することが可能である前記コントローラを更に含み、
    前記デジタル処理は、
    前記場所依存性特徴に対応する領域を識別するステップと、
    前記識別された領域のコンテンツを変更するステップと、
    を更に有する請求項8に記載の手術顕微鏡。
  13. 手術の際に画像を表示するコントローラであって、
    左デジタル画像及び右デジタル画像を生成し、前記左デジタル画像及び前記右デジタル画像は、それぞれ、手術顕微鏡の左接眼レンズ及び右接眼レンズ内において表示される左アナログ画像及び右アナログ画像との表示のためのオーバーレイコンテンツを含み、
    前記オーバーレイコンテンツ内の場所依存性特徴であって、前記左アナログ画像において該場所依存性特徴が前記右アナログ画像に対して変位させられる視差を見せる場所依存性特徴の第1通知を受け取り、且つ、
    前記第1通知に応答して、前記視差を回避するために前記左デジタル画像及び右デジタル画像の他方においてではなく前記左デジタル画像及び前記右デジタル画像のうちのただ1つの前記場所依存性特徴を除去する、
    ことが可能であるコントローラ。
  14. 前記手術顕微鏡の対物レンズの対物フィールドは、手術を受けている患者を観察するべく使用され、且つ、前記場所依存性特徴は、前記患者の生体構造と関連付けられている請求項13に記載のコントローラ。
  15. 前記生体構造は、前記患者の眼の一部分であり、且つ、前記手術は、眼科手術である請求項14に記載のコントローラ。
  16. 前記コントローラは、
    前記場所依存性特徴を除去するべく、前記左デジタル画像及び前記右デジタル画像のうちの1つを規定する第2通知を受け取ることが、
    更に可能である請求項13に記載のコントローラ。
  17. 前記場所依存性特徴を除去することが可能である前記コントローラは、
    前記左デジタル画像及び前記右デジタル画像のうちの1つに対してデジタル処理を実行することが可能である前記コントローラを更に含み、
    前記デジタル処理は、
    前記場所依存性特徴に対応する領域を識別するステップと、
    前記識別された領域のコンテンツを変更するステップと、
    を更に有する請求項13に記載のコントローラ。
JP2019555878A 2017-04-14 2018-04-05 立体手術画像の視差防止補正 Active JP6940620B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762485515P 2017-04-14 2017-04-14
US62/485,515 2017-04-14
PCT/IB2018/052383 WO2018189630A1 (en) 2017-04-14 2018-04-05 Anti-parallax correction of stereoscopic surgical images

Publications (2)

Publication Number Publication Date
JP2020519922A JP2020519922A (ja) 2020-07-02
JP6940620B2 true JP6940620B2 (ja) 2021-09-29

Family

ID=62067751

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019555878A Active JP6940620B2 (ja) 2017-04-14 2018-04-05 立体手術画像の視差防止補正

Country Status (8)

Country Link
US (1) US10449013B2 (ja)
EP (1) EP3609385B1 (ja)
JP (1) JP6940620B2 (ja)
CN (1) CN110520033A (ja)
AU (1) AU2018252275A1 (ja)
CA (1) CA3053728A1 (ja)
ES (1) ES2938389T3 (ja)
WO (1) WO2018189630A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11510750B2 (en) * 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11502037A (ja) * 1995-05-17 1999-02-16 ライカ ミクロスコピー ズュステーメ アーゲー 顕微鏡
JP3637133B2 (ja) * 1996-02-22 2005-04-13 株式会社東芝 X線診断装置
DE102011015149B4 (de) * 2011-03-25 2013-01-17 Carl Zeiss Meditec Ag Operationsmikroskopiesystem
KR20130121520A (ko) * 2012-04-27 2013-11-06 주식회사 고영테크놀러지 스테레오 현미경 시스템
JP2014175965A (ja) * 2013-03-12 2014-09-22 Panasonic Healthcare Co Ltd 手術用カメラ
US9645379B2 (en) * 2014-12-29 2017-05-09 Novartis Ag Magnification in ophthalmic procedures and associated devices, systems, and methods
EP3293972B1 (en) * 2015-06-24 2023-08-30 Sony Olympus Medical Solutions Inc. Three-dimensional observation device for medical use, three-dimensional observation method for medical use, and program
US20170035287A1 (en) * 2015-08-04 2017-02-09 Novartis Ag Dynamic surgical data overlay
US9826900B2 (en) * 2015-08-17 2017-11-28 Novartis Ag Surgical microscope with integrated optical coherence tomography and display systems

Also Published As

Publication number Publication date
CA3053728A1 (en) 2018-10-18
EP3609385B1 (en) 2022-12-28
WO2018189630A1 (en) 2018-10-18
US10449013B2 (en) 2019-10-22
ES2938389T3 (es) 2023-04-10
JP2020519922A (ja) 2020-07-02
US20180296301A1 (en) 2018-10-18
AU2018252275A1 (en) 2019-09-05
CN110520033A (zh) 2019-11-29
EP3609385A1 (en) 2020-02-19

Similar Documents

Publication Publication Date Title
US9645379B2 (en) Magnification in ophthalmic procedures and associated devices, systems, and methods
Shen et al. Novel microscope-integrated stereoscopic heads-up display for intrasurgical optical coherence tomography
CN107920918B (zh) 玻璃体视网膜手术期间扫描图像的控制
US10460457B2 (en) Adaptive adjustment of overlay image parameters
US10064549B2 (en) Binocular en face optical coherence tomography imaging
JP6974338B2 (ja) 網膜硝子体oct画像の解像度向上
JP7458343B2 (ja) 光学コヒーレンストモグラフィを使用した硝子体網膜特徴付け
US10398307B2 (en) Curvature of field transformation of OCT images during vitreoretinal surgery
EP3984016A1 (en) Systems and methods for superimposing virtual image on real-time image
CN109414168A (zh) 手术显微镜中的光学和数字可视化
JP6940620B2 (ja) 立体手術画像の視差防止補正
Shen et al. Novel microscope-integrated stereoscopic display for intrasurgical optical coherence tomography

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191011

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20191227

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20200128

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210902

R150 Certificate of patent or registration of utility model

Ref document number: 6940620

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250