JP7350103B2

JP7350103B2 - 光コヒーレンス断層拡張現実に基づく手術顕微鏡撮像システム及び方法

Info

Publication number: JP7350103B2
Application number: JP2021578120A
Authority: JP
Inventors: 国▲華▼ 史; 金宇樊; 益何; 利娜 ▲シィン▼; 峰高
Original assignee: Suzhou Institute of Biomedical Engineering and Technology of CAS
Current assignee: Suzhou Institute of Biomedical Engineering and Technology of CAS
Priority date: 2019-07-01
Filing date: 2019-10-28
Publication date: 2023-09-25
Anticipated expiration: 2039-10-28
Also published as: EP3984486A4; EP3984486A1; WO2021000466A1; CN110638527A; US20220117696A1; JP2022539784A; CN110638527B

Description

本発明は顕微鏡外科手術撮像及びグラフィック処理の技術分野に関し、特に光コヒーレンス断層拡張現実に基づく手術顕微鏡撮像システムに関する。

現代の外科手術は手術の標的部位を位置決めると同時に、患者への生理的創傷をできるだけ低下させ、低侵襲化手術を実現することがすでに求められている。画像ガイドの介入手術は手術の標的を高精度に位置決めすることができ、手術前に術前計画、術中のリアルタイム監視ナビゲーション、術後の術野の手術効果の評価などを行うことができる特徴があり、精度が高く、創傷が小さいなどの利点を有し、現代の外科手術の重要な方向である。

現在、光学顕微鏡を基礎とする顕微鏡外科手術、例えば眼科手術、神経外科手術などは、その撮像範囲が表面二次元撮像に限定されるものであり、その応用が深刻に制限されている。光コヒーレンス断層技術は、高解像度、高感度の非接触式三次元撮像方法であり、組織内部断層、手術器具を撮像することができ、特に細密な手術のナビゲーションに適用されることにより、顕微鏡で集積されたＯＣＴ手術ナビゲーションシステム（ｍｉｃｒｏｓｃｏｐｅｉｎｔｅｇｒａｔｅｄＯＣＴ、ＭＩＯＣＴ）が進められ、同時に高速スイープ光コヒーレンス断層撮像（ＳＳ－ＯＣＴ）技術の発展に伴い、術中において三次元ＯＣＴリアルタイム撮像を応用することが可能になる。特許ＷＯ２０１６／１７２４９５ＡｌはＭＩＯＣＴ撮像表示方法を提供し、ＯＣＴ情報と顕微鏡情報とを同時に一つの接眼レンズで表示する。しかし、該方法はＯＣＴ画像を顕微鏡画像のそばに表示するだけであり、両者の融合撮像に関連せず、術中に依然として医師が上記二種類の画像に対して主観的なマッチングを行う必要がある。上記問題を解決するために、手術撮像方法及び装置を改良し、より直感的な術中のナビゲーション情報を取得する必要がある。

拡張現実はカメラビデオの位置及び角度を用いて精算しかつ画像分析技術を加えることにより、表示装置の仮想世界が現実世界のシーンと融合することができる技術である。外科手術において、拡張現実技術はＣＴ等の３Ｄ映像を現実シーンに融合し、直感的な手術ガイドを実現することができる。拡張現実技術のキーは仮実レジストレーション、すなわち仮想画像と現実シーンの座標変換関係を確立することであり、同じ点の仮想、実座標系での位置を探すこと、すなわち基準点の設定と追跡に難点があった。人為的に配置された物体を基準点としてレジストレーションを行い、正確性が高いマッチング結果を得ることができるが、該方法は創傷性を有する可能性がある。体表の特徴を利用して基準点を設定することは追加の創傷を回避することができるが、特徴が明らかでない場合に識別効果が低く、該方法の応用が制限される。したがって、三次元ＯＣＴ画像を仮想画像として顕微鏡画像に融合するために、新たなレジストレーション、融合方法及び撮像システムを導入する必要がある。

本発明は上記従来の技術における不足に対して、光コヒーレンス断層拡張現実に基づく手術顕微鏡撮像システム及び方法を提供するという技術的問題を解決しようとする。

上記技術的問題を解決するために、本発明は、光コヒーレンス断層拡張現実に基づく手術顕微鏡撮像システムであって、
術野の二次元顕微鏡画像を収集するための手術顕微鏡手段と、
術野のＯＣＴ三次元画像を収集するための光コヒーレンス断層手段と、
術野の二次元顕微鏡画像、ＯＣＴ三次元画像、及び術野の二次元顕微鏡画像とＯＣＴ三次元画像とを融合した画像を取得するための処理制御手段と、
前記処理制御手段の結果を表示して出力し、手術中のナビゲーションを行うための表示手段と、を含む光コヒーレンス断層拡張現実に基づく手術顕微鏡撮像システムであって、
手術顕微鏡手段により捕捉可能であり、前記光コヒーレンス断層手段のＯＣＴ走査光源と同期したガイドスポットを術野に投射するためのガイド光源をさらに含む光コヒーレンス断層拡張現実に基づく手術顕微鏡撮像システムが採用される。

好ましくは、手術照明手段と、前記手術顕微鏡手段の撮像光路に沿って順次に設けられた対物レンズ、分光手段及び光学変倍手段をさらに含み、
前記手術照明手段は術野に照明光を提供するためのものであり、術野で反射された照明光は前記対物レンズ、前記分光手段、前記光学変倍手段を順次に経た後に前記手術顕微鏡手段に入り、術野の二次元顕微鏡撮像を実現し、
前記ガイド光源及び前記光コヒーレンス断層手段のＯＣＴ走査光源から発した光線は前記分光手段及び前記対物レンズを順次に経た後に術野に到達し、術野で反射されたＯＣＴ走査光は元の経路に沿って前記光コヒーレンス断層手段までに戻り、ＯＣＴ三次元撮像を実現し、術野で反射されたガイド光は前記分光手段を経た後に、一部が前記光コヒーレンス断層手段に入り、他の一部が前記手術顕微鏡手段に入る。

好ましくは、前記手術顕微鏡手段は左、右撮像レンズを含む撮像レンズと、左、右カメラを含むカメラとを含み、前記左撮像レンズ及び左カメラは対応して左顕微鏡撮像モジュールを構成し、前記右撮像レンズ及び右カメラは対応して右顕微鏡撮像モジュールを構成する。

好ましくは、前記分光手段は前記光コヒーレンス断層手段の光を全反射し、前記ガイド光源の光を半透過半反射し、前記手術照明手段の光を全透過するダイクロイックミラーである。

好ましくは、前記光コヒーレンス断層手段はＯＣＴ走査光源、第１のカプラ、波長分割マルチプレクサ、第１のコリメータ、二次元ガルバノスキャ、第２のコリメータレンズ、反射ミラー、第３のコリメータ、第２のカプラ及びバランス検波器を含み、
前記ＯＣＴ走査光源から発したＯＣＴ走査ビームは前記第１のカプラによってサンプル光と参照光との二股に分岐され、
前記ガイド光源から発したガイド光と前記サンプル光は前記波長分割マルチプレクサによって合流されてから、一緒に前記第１のコリメータを経た後に二次元ガルバノスキャに入射して偏向し、その後、前記ダイクロイックミラーで反射された後に前記対物レンズにより術野にピントが合うようになり、
術野で反射されたサンプル光及び一部のガイド光は前記ダイクロイックミラーで反射された後に元の経路に沿って戻り、前記第１のカプラを経た後に前記第２のカプラの一端に到達し、術野で反射された他方のガイド光は対物レンズを経た後に前記ダイクロイックミラーを透過し、さらに前記光学変倍手段を経た後に、それぞれ前記左撮像レンズ及び前記右撮像レンズを経てからそれぞれ前記左カメラ及び前記右カメラに入り、
前記第１のカプラを経た後に射出された参照光は順次に前記第２のコリメータレンズ、反射ミラー、第３のコリメータを経た後に前記第２のカプラの一端に到達し、該箇所に到達した術野で反射されたサンプル光及び他方のガイド光と共に前記第２のカプラに入り、干渉を行った後に前記バランス検波器によって受けられ、最後に前記処理制御手段に出力され、ＯＣＴ三次元撮像を実現し、
前記手術照明手段から発した照明ビームが術野に照射された後、術野で反射された照明光と一部のガイド光は前記ダイクロイックミラーを透過した後、さらに前記光学変倍手段を経た後に前記左顕微鏡撮像モジュール及び前記右顕微鏡撮像モジュールに入り、最後に前記処理制御手段に出力し、術野の二次元顕微鏡撮像を実現し、
前記処理制御手段は術野の二次元顕微鏡画像とＯＣＴ三次元画像に対してレジストレーション及び融合を行い、かつ前記表示手段によって表示して出力され、手術中のナビゲーションを行う。

好ましくは、前記表示手段は左顕微鏡撮像モジュールにおける二次元顕微鏡画像とＯＣＴ三次元画像とを融合した画像、及び右顕微鏡撮像モジュールにおける二次元顕微鏡画像とＯＣＴ三次元画像とを融合した画像をそれぞれ出力するための立体視覚効果を有する偏光表示パネルである。

上記に記載のシステムを用いて撮像を行う光コヒーレンス断層拡張現実に基づく手術顕微鏡撮像方法であって、
手術顕微鏡手段のカメラが術野及びガイドスポットを明瞭に観察し、術野の顕微鏡画像を収集できるように、手術照明手段とガイド光源の出力強度及び焦点位置を調整するステップ１と、
カメラによって収集された顕微鏡画像の二次元平面をｘ、ｙ軸とし、顕微鏡二次元直角座標系Ｏｘ₀ｙ₀を確立し、ガイドスポットの画像での位置に応じてガイドスポットの顕微鏡座標系での座標を取得し、これを基準点として、ＯＣＴ三次元走査領域内に、二次元ガルバノスキャの偏向角度を変更し、一連の異なる基準点の座標を取得し、｛Ａ₁、Ａ₂…Ａｎ｝と記すステップ２と、
複数の連続的な隣接位置のＯＣＴスライスデータを一つのボリュームデータとし、ＯＣＴ深さ走査方向をｚ軸とし、二次元ガルバノスキャの走査方向をｘ、ｙ軸とし、三次元直角座標系Ｏｘ₀ｙ₀ｚ₀を確立し、ＯＣＴ座標系と呼ばれ、撮像領域に対してＯＣＴ三次元走査を一回行い、ステップ２におけるガイド光投射位置に対応するガルバノミラーの偏向角度が既知であるため、ステップ２におけるガイドスポット位置に対応するＯＣＴ標準系におけるｘ₁、ｙ₁座標値が既知であり、この時にＯＣＴ断層構造に基づいてガイドスポットが位置する境界を見つけると、ステップ２におけるガイドスポットのＯＣＴ座標系におけるｚ₁座標値を取得することができ、最終的に顕微鏡二次元直角座標系Ｏｘ₀ｙ₀における基準点｛Ａ₁、Ａ₂…Ａｎ｝に対応するＯＣＴ座標系における座標｛Ｂ₁、Ｂ₂…Ｂｎ｝を得るステップ３と、
｛Ａ₁、Ａ₂…Ａｎ｝と｛Ｂ₁、Ｂ₂…Ｂｎ｝をフィッティングし、ＯＣＴ座標系から顕微鏡二次元直角座標系への変換関係、即ちその座標変換に対応するホモグラフィ行列を取得し、カメラを標定することによりその内部パラメータを得て、さらに行列演算によりカメラの外部パラメータを得るステップ４と、
手術照明手段の強度を調整すると同時に、術野に対してＯＣＴ三次元走査を開始するステップ５と、
ステップ４で得られた顕微鏡の外部パラメータに応じてＯＣＴの三次元再構成部分の仮想カメラパラメータを設定し、レジストレーション後のＯＣＴの三次元再構成画像を得て、最後に術野の顕微鏡画像と重畳して、仮実画像の融合表示を完了するステップ６と、
ＯＣＴ走査に伴って入力されたボリュームデータを絶えずに更新し、ステップ６を繰り返し、全ての二次元構造図を術野の三次元断層モデルに再構成し、かつ表示手段によって表示させ、術野の顕微鏡画像に対するリアルタイムな拡張を実現するステップ７と、
を含む。

好ましくは、左、右カメラに対応してそれぞれの顕微鏡座標系をそれぞれ確立する必要があり、さらにそれぞれＯＣＴ画像とレジストレーション及び融合する。

好ましくは、基準点の位置を設定する場合、二次元ガルバノスキャの偏向角度は走査範囲内の任意の値ではなく、ＯＣＴ三次元走査時の値である。

好ましくは、ステップ２）に必要な基準点の数がｎであり、ただし、ｎ≧６である。

本発明の効果は二次元顕微鏡画像とＯＣＴ三次元画像とを高精度にレジストレーション及び融合することができ、術野の顕微鏡画像のリアルタイムな拡張を実現し、手術の進行のために、より直感的なナビゲーション情報を提供することができ、直感的な手術ガイドを実現することにある。

図１は本発明の一実施例における撮像システムの構成の概略ブロック図である。図２は本発明の一実施例における撮像システムの構造の詳細図である。図３は本発明の一実施例における画像融合のフローチャートである。図４は本発明の一実施例における座標系確立、基準点設定及び探索の概略図である。図５は本発明の一実施例に示された指顕微鏡画像とＯＣＴ画像の融合過程及び結果である。図６は本発明の一実施例に示された各座標系の空間での関係の概略図である。

以下、実施例を組合わせて本発明をさらに詳細に説明することにより、当業者は明細書の文字を参照して実施することができる。

本明細書に使用される「有する」、「含む」及び「含んでいる」という用語は一つ又は複数の他の素子又はその組み合わせの存在又は追加を排除するものではないことが理解される。

図１～２に示すように、本実施例の光コヒーレンス断層拡張現実に基づく手術顕微鏡撮像システムであって、
術野１の二次元顕微鏡画像を収集するための手術顕微鏡手段７と、
術野１のＯＣＴ三次元画像を収集するための光コヒーレンス断層手段３と、
手術顕微鏡手段７により捕捉可能であり、光コヒーレンス断層手段３のＯＣＴ走査光源と同期したガイドスポットを術野１に投射するために使用され、それから発した光はＯＣＴ光に同軸であるガイド光源４と、
術野１の二次元顕微鏡画像、ＯＣＴ三次元画像、及び術野１の二次元顕微鏡画像とＯＣＴ三次元画像とを融合した画像を取得するための処理制御手段８と、
処理制御手段８の結果を表示して出力し、手術中のナビゲーションを行うための表示手段９と、
を含む。

ここで、手術顕微鏡撮像システムは手術照明手段１０と、手術顕微鏡手段７の撮像光路に沿って順次に設けられた対物レンズ２、分光手段５及び光学変倍手段６をさらに含み、
手術照明手段１０は術野１に照明光を提供するためのものであり、術野１で反射された照明光は対物レンズ２、分光手段５及び光学変倍手段６を順次に経た後に手術顕微鏡手段７に入り、術野１の二次元顕微鏡撮像を実現し、
ガイド光源４及び光コヒーレンス断層手段３のＯＣＴ走査光源から発した光線は分光手段５及び対物レンズ２を順次に経た後に術野１に到達し、術野１で反射されたＯＣＴ走査光は元の経路に沿って光コヒーレンス断層手段３までに戻り、ＯＣＴ三次元撮像を実現し、術野１で反射されたガイド光は分光手段５を経た後に、一部が光コヒーレンス断層手段３に入り、他の一部が手術顕微鏡手段７に入る。

ここで、手術顕微鏡手段７は対物レンズ２を介して術野１に二次元撮像を行うためのものであり、光コヒーレンス断層手段３は対物レンズ２を介して術野１に二次元走査を行いかつ光コヒーレンス断層の縦方向断層能力により術野１の三次元断層撮像を実現するものである。手術顕微鏡手段７、光コヒーレンス断層手段３は、対物レンズ２の軸上領域を介して同軸撮像するように配置されている。ガイド光源４はＯＣＴ走査と同軸のガイドスポット光源を術野１に投射するためのものであり、最終的に手術顕微鏡手段７のカメラにより捕捉可能である。分光手段５は顕微鏡手段、光コヒーレンス断層手段３及びガイド光源４から出力された光に対して分光及び協力を行い、異なる波長の光の結合及び分離を実現するためのものである。光学変倍手段６は手術顕微鏡手段７の光学を拡大し、異なる撮像解像度を実現するためのものである。処理制御手段８は各構成要素の作動を協調し、かつナビゲーション情報を取得するためのものであり、ナビゲーション情報は術野１の二次元顕微鏡画像（高解像度の術野１の表面顕微鏡結果）、ＯＣＴ三次元画像（手術器具と組織内部構造を含む光コヒーレンス断層三次元撮像結果）、及び上記両者を融合した撮像結果を含む。出力手段は立体偏光ディスプレイであり、術中の手術器具、術野１の組織に対して三次元リアルタイム監視を行うために、左、右の二重ナビゲーション情報を出力することができる。手術照明手段は、対物レンズ２を介して術野１を均一に照明する。

ここで、手術顕微鏡手段７は左、右撮像レンズ７０１、７０２を含む撮像レンズと、左、右カメラ７０３、７０４を含むカメラとを含み、左撮像レンズ７０１及び左カメラ７０３は対応して左顕微鏡撮像モジュールを構成し、右撮像レンズ７０２及び右カメラ７０４は対応して右顕微鏡撮像モジュールを構成する両眼手術顕微鏡手段７である。手術顕微鏡手段７は対物レンズ２を介して術野１を二次元撮像し、二つのカメラにより術野１を二次元撮像するためのものである。

本実施例において、手術顕微鏡手段７は手術が行われる領域に広視野の二次元撮像を行うように配置され、術野１をカメラによってデジタル画像に変換し、かつ表示手段９により表示することができる。例えば、手術照明手段１０の光は対物レンズ２の近軸を経た後に術野１に均一に照明され、照明光束は術野１で反射された後に対物レンズ２の主軸、分光手段５、光学変倍手段６を経て顕微手術顕微鏡手段７に入り、手術操作者は術野１の画像が融合した後の両眼立体視覚画像を表示手段９で直接観察することができる。

本実施例において、光コヒーレンス断層手段３は術野１に対して二次元走査を行い、光コヒーレンス断層技術の縦方向断層能力により術野１の三次元画像を得るように配置される。例えば、光コヒーレンス断層手段３の撮像ビームは対物レンズ２を介して術野１に到達し、撮像ビームは術野１で反射された後に対物レンズ２、分光手段５を経た後に光コヒーレンス断層手段３に戻る。光コヒーレンス断層手段３は検出されたコヒーレンス信号を電気信号に変換することができ、処理制御手段で三次元再構成を行い、それぞれ顕微鏡のデュアルビューとストレーションを行った後、左右眼のビューを取得して手術顕微鏡手段７によって取得された両眼画像と融合させる。処理された後に表示手段９にて双方向出力を行い、術者は表示手段９にて術野１が立体感効果を有する顕微鏡画像とＯＣＴ三次元断層画像を同期観察することができることにより、手術器具と組織内部構造の三次元空間における位置を位置決めする。

さらに好ましい実施例では、分光手段５は光コヒーレンス断層手段３の光を全反射し、ガイド光源４の光を半透過半反射し、手術照明手段１０の光を全透過するダイクロイックミラー５０１である。

光コヒーレンス断層手段３はＯＣＴ走査光源（本実施例において、具体的には、スイープレーザ３０１）、第１のカプラ３０２、波長分割マルチプレクサ３０３、第１のコリメータ３０４、二次元ガルバノスキャ３０５、第２のコリメータレンズ３０６、反射ミラー３０７、第３のコリメータ３０８、第２のカプラ３０９及びバランス検波器３１０を含み、
ＯＣＴ走査光源から発したＯＣＴ走査ビームは第１のカプラ３０２によってサンプル光と参照光との二股に分岐され、
ガイド光源４から発したガイド光とサンプル光は波長分割マルチプレクサ３０３によって合流されてから、一緒に第１のコリメータ３０４を経た後に二次元ガルバノスキャ３０５に入射して偏向し、その後、ダイクロイックミラー５０１で反射された後に対物レンズ２によって術野１にピントが合うようになり、
術野１で反射されたサンプル光及び一部のガイド光はダイクロイックミラー５０１で反射された後に元の経路に沿って戻り、第１のカプラ３０２を経た後に第２のカプラ３０９の一端に到達し、術野１で反射された他方のガイド光は対物レンズ２を経た後にダイクロイックミラー５０１を透過し、さらに光学変倍手段６を経た後に、それぞれ左撮像レンズ７０１及び右撮像レンズ７０２を経てからそれぞれ左カメラ７０３及び右カメラ７０４に入り、
第１のカプラ３０２を経た後に射出された参照光は順次に第２のコリメータレンズ３０６、反射ミラー３０７、第３のコリメータ３０８を経た後に第２のカプラ３０９の一端に到達し、該箇所に到達した術野１で反射されたサンプル光及び他方のガイド光と共に第２のカプラ３０９に入り、干渉を行った後にバランス検波器３１０によって受けられ、最後に処理制御手段８に出力され、ＯＣＴ三次元撮像を実現し、
手術照明手段１０から発した照明ビームが術野１に照射された後、術野１で反射された照明光と一部のガイド光はダイクロイックミラー５０１を透過した後、さらに光学変倍手段６を経た後に左顕微鏡撮像モジュール及び右顕微鏡撮像モジュールに入り、最後に処理制御手段８に出力し、術野１の二次元顕微鏡撮像を実現し、
処理制御手段８は術野１の二次元顕微鏡画像とＯＣＴ三次元画像に対してレジストレーション及び融合を行い、かつ表示手段９によって表示して出力され、手術中のナビゲーションを行う。

ここで、表示手段９は、それぞれ左、右両視路のそれぞれの融合画像（左顕微鏡撮像モジュールにおける二次元顕微鏡画像とＯＣＴ三次元画像とを融合した画像、及び右顕微鏡撮像モジュールにおける二次元顕微鏡画像とＯＣＴ三次元画像とを融合した画像）をそれぞれ出力するための立体視覚効果を有する偏光表示パネルである。

ガイド光源４及び照明光手段は処理制御手段によって制御されることができ、カメラが必要に応じて効果が最適な術野１の画像を取得することができるか、又は術野１及びガイドスポットの画像を同時に識別することができるように、光強度を制御する。

本発明は上記実施例に記載の光コヒーレンス断層拡張現実に基づく手術顕微鏡撮像システムを用いて撮像を行う光コヒーレンス断層拡張現実に基づく手術顕微鏡撮像方法をさらに開示する。

ここで、顕微鏡画像及びＯＣＴ三次元画像を収集して融合し、具体的な操作方法は以下のとおりである。
ＯＣＴ信号処理は、バランス検出器３１０から収集されたコヒーレンス信号は、復調されてから減平均、窓掛け、逆高速フーリエ変換、モジュロ値を一々含むと、コヒーレンス信号の深さ領域での強度情報を取得する。次に手術の需要に応じて術野１の組織の内部構造情報を抽出することができ、ここで構造図マッピングは、対数マッピング、輝度、コントラストマッピング、８ビットグレースケールマップマッピングを含む。構造図に基づいて、内部構造の表示に影響を与える無効情報、例えば不透明表層などをフィルタリングし、ＯＣＴ画像における有効手術情報、例えば組織下手術器具、目標組織などを保留し、取得された新たな画像は後の三次元再構成の入力に用いられる。

ＯＣＴ生データは上記した処理が行なわれた後、左カメラ７０３、右カメラ７０４によって収集された画像とそれぞれ融合する。ここで融合するＯＣＴ画像を事前にレジストレーションする必要があり、かつ手術ナビゲーションシステムの撮像に関連するパラメータ、例えばＯＣＴ走査方向、顕微鏡撮像倍率などを変更するたびに、再レジストレーションする必要がある。

図３を参照すると、本実施例の光コヒーレンス断層拡張現実に基づく手術顕微鏡撮像方法は、
手術顕微鏡手段７のカメラが術野１及びガイドスポットを明瞭に観察し、術野１の顕微鏡画像を収集できるように、手術照明手段１０とガイド光源４の出力強度及び焦点位置を調整するステップ１と、
カメラによって収集された顕微鏡画像の二次元平面をｘ、ｙ軸とし、顕微鏡二次元直角座標系Ｏｘ₀ｙ₀を確立し、ガイドスポットの画像での位置に応じてガイドスポットの顕微鏡座標系での座標を取得し、これを基準点として、ＯＣＴ三次元走査領域内に、二次元ガルバノスキャ３０５の偏向角度を変更し、一連の異なる基準点の座標を取得し、｛Ａ₁、Ａ₂…Ａ_n｝（図４の左に示されるように、図面において、Ａ₁、Ａ₂、Ａ₃しか示されていない）と記すステップ２と、
複数の連続的な隣接位置のＯＣＴスライスデータを一つのボリュームデータとし、ＯＣＴ深さ走査方向をｚ軸とし、二次元ガルバノスキャ３０５の走査方向をｘ、ｙ軸とし、三次元直角座標系Ｏｘ₀ｙ₀ｚ₀を確立し、ＯＣＴ座標系と呼ばれ、撮像領域に対してＯＣＴ三次元走査を一回行い、ステップ２におけるガイド光投射位置に対応するガルバノミラーの偏向角度が既知であるため、ステップ２におけるガイドスポット位置に対応するＯＣＴ標準系におけるｘ₁、ｙ₁座標値が既知であり、この時にＯＣＴ断層構造に基づいてガイドスポットが位置する境界を見つけると、ステップ２におけるガイドスポットのＯＣＴ座標系におけるｚ₁座標値を取得することができ、最終的に顕微鏡二次元直角座標系Ｏｘ₀ｙ₀における基準点｛Ａ₁、Ａ₂…Ａｎ｝に対応するＯＣＴ座標系における座標｛Ｂ₁、Ｂ₂…Ｂｎ｝（図４の右に示されるように、図面において、Ｂ₁、Ｂ₂、Ｂ₃しか示されていない）を得るステップ３と、
｛Ａ₁、Ａ₂…Ａｎ｝と｛Ｂ₁、Ｂ₂…Ｂｎ｝をフィッティングし、ＯＣＴ座標系から顕微鏡二次元直角座標系への変換関係、即ちその座標変換に対応するホモグラフィ行列を取得し、カメラを標定することによりその内部パラメータを得て、さらに行列演算によりカメラの外部パラメータを得るステップ４と、
手術照明手段１０の強度を一般的な手術顕微鏡撮像輝度まで調整すると同時に、術野１に対してＯＣＴ三次元走査を開始するステップ５と、
ステップ４で得られた顕微鏡の外部パラメータに応じてＯＣＴの三次元再構成部分の仮想カメラパラメータを設定し、レジストレーション後のＯＣＴの三次元再構成画像を得て、最後に術野１の顕微鏡画像と重畳して、仮実画像の融合表示を完了するステップ６と、
ＯＣＴ走査に伴って入力されたボリュームデータを絶えずに更新し、ステップ６を繰り返し、全ての二次元構造図を術野１の三次元断層モデルに再構成し、かつ表示手段９によって表示させ、術野１の顕微鏡画像に対するリアルタイムな拡張を実現するステップ７と、
を含む。

ここで、上記ステップを行う場合、左、右カメラ７０３、７０４に対応し、それぞれの顕微鏡座標系を確立する必要があり、さらにそれぞれＯＣＴ画像とレジストレーション及び融合を行い、両眼立体視覚効果を有する画像融合結果を取得する。

ここで、基準点位置を設定する時、二次元ガルバノスキャ３０５の偏向角度はＯＣＴ三次元走査時の値であり、走査範囲内の任意の値ではない。

ここで、システム撮像関連パラメータ（例えばＯＣＴ走査方向、顕微撮像倍率など）が変化する場合、上記ステップを改めて行う必要がある。

ここで、三次元再構成に関与するＯＣＴ二次元画像は組織下手術器具、目標組織等のような有効情報のみを含むべきであり、かつ上方の無効情報、例えば不透明組織表層等に遮られることはない。該画像はＯＣＴ二次元構造図から抽出される。

ここで、ステップ２）に必要な基準点の数がｎであり、ただし、ｎ≧６である。

図５は単一のカメラによって収集された指顕微鏡画像とＯＣＴ画像との融合のフローチャートを示し、顕微鏡画像を収集する過程において光をオンにするようにガイドし、ガルバノミラーが静止状態である。図の上部の左から右までＯＣＴ座標系での三次元ＯＣＴ画像を示し、顕微鏡座標系でカメラによって収集された画像であり、Ａｉはスポットをガイドする顕微鏡座標であり、ＢｉはスポットをガイドするＯＣＴ座標である。図の下部は顕微鏡画像とレジストレーションされた三次元ＯＣＴ画像との重畳過程を示し、かつ融合後の結果を示す。

上記ステップ４は拡張現実における仮実レジストレーション過程であり、一実施例において、それが採用する具体的な原理及び方法は以下のとおりである。

図４に示すように、Ｏｘ₁ｙ₁ｚ₁はＯＣＴ座標系であり、かつ世界座標系とし、即ち客観世界の絶対座標系とする。三次元直角座標系Ｏｘ_cｙ_cｚ_cはカメラ座標系であり、原点がカメラの光学中心に位置し、ｚ_cは光軸と重なる。Ｏｘ₀ｙ₀は顕微鏡座標系である。図６を参照することができ、Ｏｘ₁ｙ₁ｚ₁～Ｏｘ₀ｙ₀の撮像変換は以下のように記述することができる。

ＯＣＴ座標系からカメラ座標系への変換関係はＸ_cである。

ここで、Ｒは回転変換を記録した回転行列であり、ｔは三次元平行移動ベクトルである。Ｔ_wはカメラの世界座標系に対する位置及び方向を含むため、カメラ外部パラメータと呼ばれる。

カメラ座標系から顕微鏡座標系への変換関係はＺ₀である。

ｄｘ、ｄｙは顕微鏡画像画素点のｘ、ｙ軸での物理的距離、ｆは顕微鏡平面からカメラ焦点面までの距離、ａ、ｂはカメラ主点の顕微鏡座標系での座標、α_x、α_yは画素アスペクト比であり、かつα_x＝ｆ／ｄｘ、α_y＝ｆ／ｄｙである。Ｋはカメラ内部構造のみに関連するため、カメラ内部パラメータである。式（１）と式（２）によりＯＣＴ座標系から顕微鏡座標系への変換関係を得ることができる。

ステップ４における各対の点Ａ_i及びＢ_iに対して、
Ａ_i＝ＰＢ_i，Ｐ＝ＫＴ_w＝Ｋ［Ｒ｜ｔ］（４）
Ｐは３＊４行列であり、少なくとも６対のＡ_i及びＢ_iによりＰを求めることができる。Ｐは以下に記述することができる。
Ｐ＝ＫＴ_w＝Ｋ［Ｒ｜ｔ］＝［ＫＲ｜Ｋｔ］＝［Ｍ｜Ｋｔ］（５）
回転行列Ｒは直交行列であるため、
ＭＭ^T＝ＫＲＲ^TＫ^T＝ＫＫ^T（６）
ここで、上付き文字Ｔは行列転置であり、また、Ｋは上三角行列であるため、Ｋ、Ｒを求めることができる。ｔは以下の式で求めることができる。
ｔ＝Ｋ^-1（Ｐ₁₄Ｐ₂₄Ｐ₃₄）^T（７）
ここで、Ｐの添え字は行列の行及び列である。ここまで、カメラの外部パラメータＴ_wと内部パラメータＫが全て求められ、即ちＯＣＴ座標系から顕微鏡二次元直角座標系への変換関係が得られる。

上記三次元再構成操作フローは、複数の連続的な隣接位置のＯＣＴスライスデータを一つのボリュームデータとして三次元再構成部分に入力し、ボリュームレンダリングアルゴリズムに基づいて、全ての二次元構造図を術野１の三次元断層モデルに再構成する。双方向の画像融合結果は最終的に立体偏光ディスプレイにより出力される。

本発明の実施形態は以上のように開示されているが、明細書及び実施形態で列挙されたもののみに限定されるものではなく、本発明に適する種々な分野に完全に適用可能であり、当業者にとって、他の変更を容易に実現することができるため、特許請求の範囲及びその等価物に限定された一般的な概念を逸脱しない範囲で、本発明は特定の詳細に限定されない。

１術野、２対物レンズ、３光コヒーレンス断層分析手段、４ガイド光源、５分光手段、６光学変倍手段、７手術顕微鏡手段、８処理制御手段、９表示手段、１０手術照明手段、３０１スイープレーザ、３０２第１のカプラ、３０３波長分割マルチプレクサ、３０４第１のコリメータ、３０５二次元ガルバノスキャ、３０６第２のコリメータレンズ、３０７反射ミラー、３０８第３のコリメータ、３０９第２のカプラ、３１０バランス検波器、５０１ダイクロイックミラー、７０１左撮像レンズ、７０２右撮像レンズ、７０３左カメラ、７０４右カメラ

Claims

術野の二次元顕微鏡画像を収集するための手術顕微鏡手段と、
術野のＯＣＴ三次元画像を収集するための光コヒーレンス断層手段と、
術野の二次元顕微鏡画像、ＯＣＴ三次元画像、及び術野の二次元顕微鏡画像とＯＣＴ三次元画像とを融合した画像を取得するための処理制御手段と、
前記処理制御手段の結果を表示して出力し、手術中のナビゲーションを行うための表示手段と、を含む光コヒーレンス断層拡張現実に基づく手術顕微鏡撮像システムであって、
手術顕微鏡手段により捕捉可能であり、前記光コヒーレンス断層手段のＯＣＴ走査光源と同期したガイドスポットを術野に投射するためのガイド光源をさらに含み、
前記光コヒーレンス断層手段はＯＣＴ走査光源、第１のカプラ、波長分割マルチプレクサ、第１のコリメータ、二次元ガルバノスキャ、第２のコリメータレンズ、反射ミラー、第３のコリメータ、第２のカプラ及びバランス検波器を含み、
前記ＯＣＴ走査光源から発したＯＣＴ走査ビームは前記第１のカプラによってサンプル光と参照光との二股に分岐され、
前記ガイド光源から発したガイド光と前記サンプル光は前記波長分割マルチプレクサによって合流されてから、一緒に前記第１のコリメータを経た後に二次元ガルバノスキャに入射して偏向し、その後、ダイクロイックミラーで反射された後に対物レンズにより術野にピントが合うようになり、
術野で反射されたサンプル光及び一部のガイド光は前記ダイクロイックミラーで反射された後に元の経路に沿って戻り、前記第１のカプラを経た後に前記第２のカプラの一端に到達し、術野で反射された他方のガイド光は対物レンズを経た後に前記ダイクロイックミラーを透過し、さらに光学変倍手段を経た後に、それぞれ左撮像レンズ及び右撮像レンズを経てからそれぞれ左カメラ及び右カメラに入り、
前記第１のカプラを経た後に射出された参照光は順次に前記第２のコリメータレンズ、反射ミラー、第３のコリメータを経た後に前記第２のカプラの一端に到達し、該箇所に到達した術野で反射されたサンプル光及び他方のガイド光と共に前記第２のカプラに入り、コヒーレンスを行った後に前記バランス検波器によって受けられ、最後に前記処理制御手段に出力され、ＯＣＴ三次元撮像を実現し、
手術照明手段から発した照明ビームが術野に照射された後、術野で反射された照明光と一部のガイド光は前記ダイクロイックミラーを透過した後、さらに前記光学変倍手段を経た後に左顕微鏡撮像モジュール及び右顕微鏡撮像モジュールに入り、最後に前記処理制御手段に出力し、術野の二次元顕微鏡撮像を実現し、
前記処理制御手段は術野の二次元顕微鏡画像とＯＣＴ三次元画像に対してレジストレーション及び融合を行い、かつ前記表示手段によって表示して出力され、手術中のナビゲーションを行うことを特徴とする光コヒーレンス断層拡張現実に基づく手術顕微鏡撮像システム。
手術照明手段と、前記手術顕微鏡手段の撮像光路に沿って順次に設けられた対物レンズ、分光手段及び光学変倍手段をさらに含み、
前記手術照明手段は術野に照明光を提供するためのものであり、術野で反射された照明光は前記対物レンズ、前記分光手段、前記光学変倍手段を順次に経た後に前記手術顕微鏡手段に入り、術野の二次元顕微鏡撮像を実現し、
前記ガイド光源及び前記光コヒーレンス断層手段のＯＣＴ走査光源から発した光線は前記分光手段及び前記対物レンズを順次に経た後に術野に到達し、術野で反射されたＯＣＴ走査光は元の経路に沿って前記光コヒーレンス断層手段までに戻り、ＯＣＴ三次元撮像を実現し、術野で反射されたガイド光は前記分光手段を経た後に、一部が前記光コヒーレンス断層手段に入り、他の一部が前記手術顕微鏡手段に入ることを特徴とする請求項１に記載の光コヒーレンス断層拡張現実に基づく手術顕微鏡撮像システム。
前記手術顕微鏡手段は左、右撮像レンズを含む撮像レンズと、左、右カメラを含むカメラとを含み、前記左撮像レンズ及び左カメラは対応して左顕微鏡撮像モジュールを構成し、前記右撮像レンズ及び右カメラは対応して右顕微鏡撮像モジュールを構成することを特徴とする請求項２に記載の光コヒーレンス断層拡張現実に基づく手術顕微鏡撮像システム。
前記分光手段は前記光コヒーレンス断層手段の光を全反射し、前記ガイド光源の光を半透過半反射し、前記手術照明手段の光を全透過するダイクロイックミラーであることを特徴とする請求項３に記載の光コヒーレンス断層拡張現実に基づく手術顕微鏡撮像システム。
前記表示手段は左顕微鏡撮像モジュールにおける二次元顕微鏡画像とＯＣＴ三次元画像とを融合した画像、及び右顕微鏡撮像モジュールにおける二次元顕微鏡画像とＯＣＴ三次元画像とを融合した画像をそれぞれ出力するための立体視覚効果を有する偏光表示パネルであることを特徴とする請求項１に記載の光コヒーレンス断層拡張現実に基づく手術顕微鏡撮像システム。
請求項１－５のいずれか一項に記載のシステムを用いて撮像を行う光コヒーレンス断層拡張現実に基づく手術顕微鏡撮像方法であって、
手術顕微鏡手段のカメラが術野及びガイドスポットを明瞭に観察し、術野の顕微鏡画像を収集できるように、手術照明手段とガイド光源の出力強度及び焦点位置を調整するステップ１と、
カメラによって収集された顕微鏡画像の二次元平面をｘ、ｙ軸とし、顕微鏡画像の左上隅を原点とし、顕微鏡二次元直角座標系Ｏｘ₀ｙ₀を確立し、ガイドスポットの画像での位置に応じてガイドスポットの顕微鏡座標系での座標を取得し、これを基準点として、ＯＣＴ三次元走査領域内に、二次元ガルバノスキャの偏向角度を変更し、一連の異なる基準点の座標を取得し、｛Ａ₁、Ａ₂…Ａｎ｝と記すステップ２と、
複数の連続的な隣接位置のＯＣＴスライスデータを一つのボリュームデータとし、ＯＣＴ深さ走査方向をｚ軸とし、二次元ガルバノスキャの走査方向をｘ、ｙ軸とし、三次元直角座標系Ｏｘ₀ｙ₀ｚ₀を確立し、ＯＣＴ座標系と呼ばれ、撮像領域に対してＯＣＴ三次元走査を一回行い、ステップ２におけるガイド光投射位置に対応するガルバノミラーの偏向角度が既知であるため、ステップ２におけるガイドスポット位置に対応するＯＣＴ標準系におけるｘ₁、ｙ₁座標値が既知であり、この時にＯＣＴ断層構造に基づいてガイドスポットが位置する境界を見つけると、ステップ２におけるガイドスポットのＯＣＴ座標系におけるｚ₁座標値を取得することができ、最終的に顕微鏡二次元直角座標系Ｏｘ₀ｙ₀における基準点｛Ａ₁、Ａ₂…Ａ_n｝に対応するＯＣＴ座標系における座標｛Ｂ₁、Ｂ₂…Ｂ_n｝を得るステップ３と、
｛Ａ₁、Ａ₂…Ａ_n｝と｛Ｂ₁、Ｂ₂…Ｂ_n｝をフィッティングし、ＯＣＴ座標系から顕微鏡二次元直角座標系への変換関係、即ちその座標変換に対応するホモグラフィ行列を取得し、カメラを標定することによりその内部パラメータを得て、さらに行列演算によりカメラの外部パラメータを得るステップ４と、
手術照明手段の強度を調整すると同時に、術野に対してＯＣＴ三次元走査を開始するステップ５と、
ステップ４で得られた顕微鏡の外部パラメータに応じてＯＣＴの三次元再構成部分の仮想カメラパラメータを設定し、レジストレーション後のＯＣＴの三次元再構成画像を得て、最後に術野の顕微鏡画像と重畳して、仮実画像の融合表示を完了するステップ６と、
ＯＣＴ走査に伴って入力されたボリュームデータを絶えずに更新し、ステップ６を繰り返し、全ての二次元構造図を術野の三次元断層モデルに再構成し、かつ表示手段によって表示させ、術野の顕微鏡画像に対するリアルタイムな拡張を実現するステップ７と、
を含むことを特徴とする光コヒーレンス断層拡張現実に基づく手術顕微鏡撮像方法。
左、右カメラに対応してそれぞれの顕微鏡座標系をそれぞれ確立する必要があり、さらにそれぞれＯＣＴ画像とレジストレーション及び融合することを特徴とする請求項６に記載の光コヒーレンス断層拡張現実に基づく手術顕微鏡撮像方法。
基準点の位置を設定する場合、二次元ガルバノスキャの偏向角度は走査範囲内の任意の値ではなく、ＯＣＴ三次元走査時の値であることを特徴とする請求項６に記載の光コヒーレンス断層拡張現実に基づく手術顕微鏡撮像方法。
ステップ２）に必要な基準点の数がｎであり、ただし、ｎ≧６であることを特徴とする請求項６に記載の光コヒーレンス断層拡張現実に基づく手術顕微鏡撮像方法。