JP7297783B2

JP7297783B2 - デジタル顕微鏡のための自動ｘｙセンタリング

Info

Publication number: JP7297783B2
Application number: JP2020550604A
Authority: JP
Inventors: ティー．チャールズスティーブン
Original assignee: アルコンインコーポレイティド
Priority date: 2018-04-11
Filing date: 2019-04-04
Publication date: 2023-06-26
Anticipated expiration: 2039-04-04
Also published as: AU2019251316A1; US11219364B2; CA3091582A1; CN111936034A; US20190313902A1; EP3773148A2; WO2019197951A3; WO2019197951A2; JP2021518206A

Description

本開示は眼科手術に関し、具体的には、眼科手術中に高倍率下で患者の眼の視野をＸＹ面内で自動センタリングすることを可能にするように構成された方法及びシステムに関する。

眼科では、眼科手術は、毎年何万もの患者の視力を救い改善する。しかし、眼の小変化にすら対する視力の感度と多くの眼構造の繊細且つ微妙な性質を考えると、眼科手術は行うのが困難であり、些細な又はまれな手術誤りの低減又は外科技術の精度の僅かな改善ですら手術後の患者の視力に非常に大きな差を生じ得る。

眼科手術中、外科医は、手術されている患者の眼又は眼の一部分の視覚化したものを拡大するために顕微鏡を使用する。眼科手術中、外科医は顕微鏡により拡大されている眼又はその一部を視るために接眼レンズ（そうでなければ接眼鏡として知られる）を使用し得る。代替的に又は加えて、眼科手術中、顕微鏡により拡大される眼又はその一部分の画像は外科医及び手術室内の他の要員により見える画面上に表示され得る。しかし、眼科手術中の画面上の拡大画像の表示の制御の改善はチャレンジングなままである。

本開示は、眼科手術中に高倍率下で患者の眼の視野をＸＹ面内で自動的にセンタリングするように構成されたシステムを提供する。本システムは、プロセッサと；プロセッサにより実行可能な指示を含むプロセッサにアクセス可能な非一時的コンピュータ可読媒体とを含み、上記指示は、顕微鏡により高倍率下で患者の眼を含む視野を表すリアルタイムビデオ信号を光センサから取得するための指示であって、視野は正面向きＸＹ面を含む、指示と；リアルタイムビデオ信号に対応する視野内の少なくとも１つのビューをディスプレイ上に表示するための指示と；リアルタイムビデオ信号内の円状画像を検出するための指示であって、円状画像は視野内の標的画像を含む、指示と；視野のＸＹ面内の円状画像の中心の位置を判断するための指示と；ＸＹ面内の視野の中心の位置を判断するための指示と；円状画像の中心の位置と視野の中心の位置とを比較するための指示と；円状画像の中心の位置と視野の中心の位置との差を判断すると、ＸＹ面内の顕微鏡視野の位置を移動するように構成された電動顕微鏡支持体へ移動指示を送信するための指示であって、移動指示は視野の中心を円状画像の中心の位置に置くように顕微鏡視野の移動を指示し；これにより、眼科手術中に高倍率下で患者の眼の視野から取得されるリアルタイムビデオ信号内に検出された円状画像の中心へ視野の中心を自動的に移動する、指示である。

本開示はまた、眼科手術中に高倍率下で患者の眼の視野をＸＹ面内で自動的にセンタリングする方法を提供する。本方法は、顕微鏡により高倍率下で患者の眼を含む視野を表すリアルタイムビデオ信号を、非一時的コンピュータ可読媒体に含まれる指示を実行するプロセッサにより光センサから取得する工程であって、視野は正面向きＸＹ面を含む、工程と；非一時的コンピュータ可読媒体に含まれる指示を実行するプロセッサを介し、リアルタイムビデオ信号に対応する視野内の少なくとも１つのビューをディスプレイ上に表示する工程と；非一時的コンピュータ可読媒体に含まれる指示を実行するプロセッサによりリアルタイムビデオ信号内の円状画像を検出する工程であって、円状画像は視野内の標的画像を含む、工程と；視野のＸＹ面内の円状画像の中心の位置を、非一時的コンピュータ可読媒体に含まれる指示を実行するプロセッサにより判断する工程と；ＸＹ面内の視野の中心の位置を、非一時的コンピュータ可読媒体に含まれる指示を実行するプロセッサにより判断する工程と；円状画像の中心の位置と視野の中心の位置とを、非一時的コンピュータ可読媒体に含まれる指示を実行するプロセッサにより比較する工程と；円状画像の中心の位置と視野の中心の位置との差を判断すると、ＸＹ面内の顕微鏡視野の位置を移動するように構成された電動顕微鏡支持体へ移動指示を、非一時的コンピュータ可読メモリに含まれる指示を実行するプロセッサにより送信する工程であって、移動指示は視野の中心を円状画像の中心の位置に置くように顕微鏡視野の移動を指示し；これにより、眼科手術中に高倍率下で患者の眼の視野から取得されるリアルタイムビデオ信号内に検出された円状画像の中心へ視野の中心を自動的に移動する、工程と、を含む

開示される実施形態のうちの任意の実施形態において、本システム及び方法は以下の詳細をさらに含み得る：
ｉ）視野の中心はディスプレイ上の設定位置に対応し得る；
ｉｉ）ディスプレイ上の設定位置はディスプレイの中心であり得る；
ｉｉｉ）ディスプレイは長方形ディスプレイであり得、ディスプレイ上の設定位置は長方形ディスプレイの長辺間の中点における位置であり得る；
ｉｖ）円状画像は眼の瞳を通して見える患者の眼の内部の照射された部分に対応し得る；
ｖ）電動顕微鏡ヘッド支持体へ送信される移動指示は速度のパラメータを含み得、速度の値は視野の中心の位置と円状画像の中心との間の距離に応じて可変である；
ｖｉ）移動指示の速度の値は視野の中心の位置と円状画像の中心との間の距離の増加と共に増加し得る；
ｖｉｉ）移動指示の速度の値は直線的に増加し得る；
ｖｉｉｉ）移動指示の速度の値は非直線的に増加し得る；
ｉｘ）拡大はある値を有するズームを有し得；ディスプレイはあるエリアを有し得；本方法はさらに、非一時的コンピュータ可読媒体内に含まれる指示をプロセッサが実行することにより円状画像の径を検出する工程と；検出された円状画像の径がディスプレイの上記領域の最大部分に収まるように拡大のズームの値を調節する指示を、非一時的コンピュータ可読媒体内に含まれる指示をプロセッサが実行することにより送信する工程とを含み；ズームの値を調節する指示の送信は以下のことから選択される：（ａ）顕微鏡の視野の光学ズームを調節する指示を顕微鏡へ送信すること；及び（ｂ）リアルタイムビデオ信号の視野のデジタルズームを調節する指示をディスプレイへ送信すること；
ｘ）円状画像の検出のためにプロセッサにより実行される非一時的コンピュータ可読媒体に含まれる指示は円Ｈｏｕｇｈ変換アルゴリズムを含み得る；
ｘｉ）眼科手術は硝子体網膜手術を含み得る；
ｘｉｉ）リアルタイムビデオ信号は３Ｄビデオ信号であり得る；及び
ｘｉｉｉ）本システムはＮＧＥＮＵＩＴＹ（登録商標）３Ｄ可視化システムを含み得る。

本開示をより完全に理解するために添付図面と併せて以下の説明が次に参照される。

図１は、硝子体網膜外科的処置を受けている眼の側面図を示す例示的概略図である。図２は、例示的硝子体網膜外科的処置を受けている眼の正面図に対応する例示的トップダウン図を示す概略図である。図３は、眼科手術中にデジタル顕微鏡により眼の拡大像内に検出される円のＸＹ位置の自動センタリングのために構成された例示的システムの概略図である。図４Ａは、眼科手術中の拡大下で眼の画像内に検出された円上にオーバーレイされたＸＹ面の例示的概略図である。図４Ｂは、眼科手術中の拡大下で眼の画像内に検出された円上にオーバーレイされたＸＹ面の別の例示的概略図である。図４Ｃは、眼科手術中の拡大下で眼の画像内に検出された円上にオーバーレイされたＸＹ面のさらに別の例示的概略図である。図５は、例示的ディスプレイの垂直広がりの中心に位置する例示的な検出された円の概略図である。図６は、画像内の例示的円形を示す概略図である、図７は、円Ｈｏｕｇｈ変換に関係する例示的画像を示す概略図である。

以下の明細書では、詳細が開示主題の論述を容易にするために一例として説明される。しかし、開示される実施形態は例示的であり、すべての可能な実施形態を網羅しないということは当業者にとって明らかなはずである。

本開示は眼科手術に関し、具体的には、眼科手術中に高倍率下で患者の眼の視野をＸＹ面内で自動センタリングすることを可能にする方法と本方法を行うように構成されたシステムとに関する。

眼科手術は眼と補助的視覚構造とに対し行われる。例えば、硝子体網膜手術は、硝子体液及び網膜などの眼の内部部分に関わる様々な微妙な処置を包含する。網膜は、鮮明且つ詳細な視覚を提供する光感知細胞で作られる網膜黄斑を含む光感知領域である。眼の硝子体液は網膜と水晶体との間の空間を埋める透明ゲルである。網膜、網膜黄斑、及び硝子体はすべて、盲目又は失明に至り得る様々な病気及び条件に晒され得、硝子体網膜外科医の注意を必要とし得る。

様々な硝子体網膜外科的処置が、とりわけ網膜前膜、糖尿病性網膜症、硝子体出血、黄斑円孔、網膜剥離、及び白内障手術の複雑性を含む多くの眼疾患の治療において視覚性能を改善するために時折レーザと共に使用される。

眼科手術はしばしば眼組織の除去に関与する。例えば、白内障手術は一般的に水晶体の除去及び交換を必要とする。このとき、人工水晶体又は眼内水晶体インプラントが患者の視力を回復又は改善するために眼内に移植され得る。他の処置もまた水晶体組織及び／又は他のタイプの眼組織の除去に関与し得る。

眼組織の除去のために開発されてきた多くの処置及び装置がある。例えば、水晶体超音波乳化吸引術は、病気の又は破損された水晶体組織の除去のために広く使用される方法である。水晶体超音波乳化吸引術処理は通常、白内障手術において水晶体をばらばらにして除去するために小さな角膜切開部を通るプローブの挿入に関与する。

水晶体超音波乳化吸引術では、１つ又は複数の切開部が通常、外科手術器具の導入を可能にするために眼内に作られる。次に、外科医は眼の内部の水晶体を含む嚢の前面を除去する。先端が超音波周波数で振動する超音波ハンドピースが白内障を彫り乳化するために通常使用される。白内障の除去後、後部嚢は一般的には依然として手をつけられていなく、眼内水晶体インプラント（ＩＯＬ：ｉｎｔｒａｏｃｕｌａｒｌｅｎｓｉｍｐｌａｎｔ）は残る水晶体嚢内に置かれ得る。

眼科手術中、眼構造の小型及び微妙な性質のために、外科医は通常、手術されている患者の眼又は眼の一部分の視覚化したものを拡大するために顕微鏡を使用する。一般的に、過去には、眼科手術中、外科医は顕微鏡により拡大されている眼又はその一部分を視るために接眼レンズ（そうでなければ接眼鏡として知られる）を使用した。眼科手術中、両眼視のために両眼により同時に見える２つの接眼レンズを有する実体顕微鏡が通常使用される。いくつかの眼科手術処置は行うのに数時間かかり得、したがって以前は、眼科手術中、眼科医は何時間もぶっ通しで顕微鏡の双眼接眼レンズを通して見ることをしばしば要求されただろう。

最近、眼科手術中に接眼レンズを使用することの代案として又はそれに加えて、デジタル顕微鏡の発展は、顕微鏡により拡大される眼又はその一部分の画像が外科医及び手術室内の他の要員により見える画面上に表示さることを可能にした。ディスプレイ画面を使用する恩恵の中でも、顕微鏡接眼レンズを使用することではなく、眼科手術中に眼構造を見えるようにすることは外科医の疲労の低下及び快適性の増加を含む。加えて、顕微鏡接眼レンズとは異なり、ディスプレイは一度に２人以上の人により視られ得るので、ディスプレイの使用は、教えるのに役立ち、且つ、手術室内の要員間の外科的処置に関するコミュニケーションを改善する。

本明細書において説明される方法及びシステムへ適用可能なデジタル顕微鏡及びディスプレイ画面を利用する眼科手術視覚化プラットホームは通常、顕微鏡による拡大下で眼の複数の光学的ビューを受信及び取得することができるカメラ又は電荷結合素子（ＣＣＤ）などの少なくとも１つの高解像度光センサを含む。当業者は、通常の可視光の波長外の波長に加え可視波長内の光も受信することもまた本発明の範囲内であるということを理解するだろう。一般的に、このとき、高解像度光センサはその結果のリアルタイム高解像度ビデオ信号を送信する。このリアルタイム高解像度ビデオ信号は、非一時的コンピュータ可読媒体に含まれる指示を実行するプロセッサを介し少なくとも１つの高解像度ビデオディスプレイへ送信される。いくつかの構成では、送信されディスプレイ上に存在する複数の高解像度光学的ビューのおかげで、視覚化プラットホームの操作者、又は他の者は、標的物体又は組織のリアルタイム高精細度三次元視覚像を視ることができる。

本明細書において説明されるシステムを実現するとともに方法を実行するのに好適な例示的リアルタイム視覚化プラットホームは、そのすべてを参照により本明細書に援用する米国特許第９，１６８，１７３号明細書、米国特許第８，３３９，４４７号明細書及び米国特許第８，３５８，３３０号明細書に記載されるものを含む。

本明細書で使用される用語「ディスプレイ」は静止画像又はビデオ画像を表示することができる任意の装置を指す。好適には、本開示のディスプレイは、標準精細度（ＳＤ：ｓｔａｎｄａｒｄｄｅｆｉｎｉｔｉｏｎ）信号より高いレベルの詳細を外科医に提供する高精細度（ＨＤ：ｈｉｇｈｄｅｆｉｎｉｔｉｏｎ）静止画像及びビデオ画像又はビデオを表示する。より好適には、ディスプレイはこのようなＨＤ静止画像及び画像を三次元（３Ｄ）で提供する。例示的ディスプレイはＨＤモニタ、陰極線管、投射画面、液晶ディスプレイ、有機発光ダイオードディスプレイ、プラズマディスプレイパネル、発光ダイオード（ＬＥＤ）又は有機ＬＥＤ（ＯＬＥＤ）、これらの３Ｄ等価物、等々を含む。３ＤＨＤホログラフィック表示システムは本開示の範囲内であると考えられる。

本明細書において説明される視覚化プラットホームは少なくとも１つの高解像度光センサを含む。光センサは、光に応答して電気信号を生成する、すなわち光を電気信号へ変換する電磁センサであり、電気信号は信号処理又は他の操作のために受信器へ送信され最終的には計器又は観察者により読み出され得る。光センサは、電磁スペクトルを形成する光の波長のいくらか又はすべてに応答することができる又はそれを検出することができるかもしれない。代替的に、光センサは可視光の波長外の光の少なくとも１つの波長を含むより制限された範囲の波長に敏感であり得る。

本明細書において説明される視覚化プラットホームが含み得る光センサの例はカメラである。カメラは画像をスチール写真又は一連の動画（映画又はビデオ）のいずれかとして捕捉するために使用される装置である。カメラは通常、光が入射する一端に開口を有する閉ざされた空洞と、他端において光を捕捉するための記録面又は表示面とで構成される。記録面は化学的なもの（膜のように）又は電子的なものであり得る。カメラは、入力光を収集し記録面上の画像のすべて又は一部を合焦させるためにカメラの開口の前に位置するレンズを有し得る。開口の径はしばしば絞り機構により制御されるが、代替的に、適切な場合、カメラは固定サイズ開口を有する。

本開示による例示的電子的光センサは、限定しないが相補型金属酸化膜半導体（ＣＭＯＳ）センサ又は電荷結合素子（ＣＣＤ）センサを含む。両タイプのセンサは光を捕捉しこれを電気信号へ変換する機能を行う。ＣＣＤはアナログ装置である。ＣＣＤにぶつかると、光は小さな電荷として保持される。この電荷は、ＣＣＤから読み出されるときに一度に１画素ずつ電圧へ変換される。ＣＭＯＳチップは、ＣＭＯＳ半導体プロセスを使用して作られる一種の能動画素センサである。各光センサの隣に通常位置する電子回路系が受信された光エネルギーを電圧へ変換し、次に、追加の回路系がこの電圧を送信又は記録され得るデジタルデータへ変換する。

送信されるリアルタイム高解像度ビデオ信号は離散信号のデジタル表現であるデジタルビデオ信号であり得る。しばしば、デジタル信号はアナログ信号から導出される。当業者により理解されるであろうように、離散信号はアナログ信号のサンプリングされたバージョンであり、ここでは、データムの値が連続的にではなく一定間隔（例えば、マイクロ秒毎に）で表される。離散信号の個々の時間値が精密に測定される（無限数の桁を必要とするだろう）代わりに一定精度で近似される（したがって特定数の桁を必要とするだけ）場合、その結果のデータストリームは「デジタル」信号と称される。固定数の桁（又はビット）内の精密な値を近似する処理は量子化と呼ばれる。したがって、デジタル信号は量子化された離散信号であり、ひいてはサンプリングされたアナログ信号である。デジタル信号は２進数として表され得るので、量子化のそれらの精度はビットで測定される。

標的物体の複数のビューを光センサ上へ導く実体顕微鏡などの可視化装置へ光センサを取り付けることにより、本明細書において説明される可視化システムは、眼科手術中に拡大された眼などの標的物体の複数の光学的ビューを取得し、そして、この情報を、表示する及び視るために記録又は提示され得るリアルタイム高解像度ビデオ信号として送信し得るということが当業者には認識される。いくつかの実施形態では、送信されたデジタルビデオ信号は、少なくとも約１２８０ライン×７２０ラインの分解能を有する画像を生成することができる。この分解能は、当業者が高精細度である又はＨＤ信号であると考える典型的最低解像度に対応する。

本明細書で使用される「リアルタイム」は通常、データが受信されるのと同じ速度での情報の更新を指す。具体的には、本発明の文脈では、「リアルタイム」は、画像データが光センサから高い十分なデータ速度及び十分に低い遅延で取得され、処理され、そして送信されるということと、データが表示される時に物体がユーザ知覚可能ジャダー又は待ち時間無しにスムーズに移動するということとを意味する。通常、これは、新しい画像が少なくとも約３０フレーム／秒（ｆｐｓ）の速度で取得、処理、及び送信され、約６０ｆｐｓで表示されると、そしてビデオ信号の組み合せ処理が１／３０秒以下の遅延を有すると、発生する。

高解像度ビデオ信号が受信され、対応高解像度又はＨＤ能力を有するビデオディスプレイ上に提示されると、その結果の画像は、高い周囲可視光が無いと以前は達成不能な程度の明瞭性、詳細性及び制御を提供する。例示的画像ディスプレイは陰極線管、投射画面、液晶ディスプレイ、有機発光ダイオードディスプレイ、プラズマディスプレイパネル、及び発光ダイオードディスプレイを含む。

本明細書において説明されるリアルタイム高解像度ビデオ信号が標的物体又は組織の複数のビューを含む場合、ビデオディスプレイは被写界深度が眼科医へ提示されるように３次元（「３Ｄ」）にされ得る。例示的タイプの高解像度３Ｄビデオディスプレイは、ＴｒｕｅＶｉｓｉｏｎＳｙｓｔｅｍｓ，Ｉｎｃ．により開発されたものなど偏光メガネを使用する立体視３Ｄディスプレイを含む。代替的に、各眼へ異なる像を導くためにいかなる特殊眼鏡又は他のヘッドギアの使用も必要としない自動立体視３Ｄディスプレイが使用され得る。同様に、ホログラフィック３Ｄディスプレイも本開示の範囲内のものとして企図される。

眼科手術中の視覚化のためのディスプレイ画面を利用するデジタル顕微鏡検査のシステムの例は、ＡｌｃｏｎＬａｂｏｒａｔｏｒｉｅｓＮＧＥＮＵＩＴＹ（登録商標）３ＤＶｉｓｕａｌｉｚａｔｉｏｎＳｙｓｔｅｍ（Ａｌｃｏｎ，Ｉｎｃ．ＣｏｒｐｏｒａｔｉｏｎＳｗｉｔｚｅｒｌａｎｄ，ＨｕｎｅｎｂｅｒｇＳｗｉｔｚｅｒｌａｎｄ），ＤｉｇｉｔａｌｌｙＡｓｓｉｓｔｅｄＶｉｔｒｅｏｒｅｔｉｎａｌＳｕｒｇｅｒｙ（ＤＡＶＳ）のプラットホームを含む。特に、ＮＧＥＮＵＩＴＹ（登録商標）システムは、改善された外科医体験のために眼の後部の視覚化を強化するように設計される。ＮＧＥＮＵＩＴＹ（登録商標）システムはＴｒｕｅＶｉｓｉｏｎ（登録商標）３ＤＳｕｒｇｉｃａｌ（ＴｒｕｅＶｉｓｉｏｎＳｙｓｔｅｍｓ，Ｉｎｃ．ＧｏｌｅｔａＣａｌｉｆｏｒｎｉａ）と共同で開発されたシステムを指す。ＮＧＥＮＵＩＴＹ（登録商標）３Ｄ可視化システムは、網膜外科医が顕微鏡の接眼レンズを通して見るために自身の首を曲げる代わりに高精細度３Ｄ画面を見ながら手術することを可能にする。伝統的硝子体切除術手術は完了するのに３０分から３時間超までの長さの範囲に渡る。この顕微鏡接眼レンズ無し設計は外科医の姿勢を改善するために設計されており、疲労を低減し得る。

ＮＧＥＮＵＩＴＹ（登録商標）３Ｄ可視化システムは、高解像度、画像奥行き、明瞭性及び色コントラストを提供する高ダイナミックレンジ（ＨＤＲ：ＨｉｇｈＤｙｎａｍｉｃＲａｎｇｅ）カメラを含むいくつかの要素を含む。ＨＲＤは、超微細手術中に物体の拡大された立体鏡像を提供するように構成された３Ｄ立体視高解像度デジタルビデオカメラである。このビデオカメラは、手術中の外科用顕微鏡への追加として機能し、そして記録からリアルタイム画像又は画像群を表示するために使用され得る。特に、三次元ビューにより、外科医は標準テレビモニタ上に以前は利用可能でなかった奥行き知覚を有する。外科医はまた、各処置中に広視野を維持するだけでなくそれらのビューをカスタム化するためにデジタルフィルタを使用し、そして眼の後部を見えるようにするのに必須である眼構造及び組織層をハイライトする間倍率を増加し得る。患者の眼への光暴露を最小化することに特に焦点を合わせた技術的工夫により、ＮＧＥＮＵＩＴＹ（登録商標）３Ｄ可視化システムはより低い光レベルを使用して手術することを容易にする（ＥｃｋａｒｄｔＣａｎｄＰａｕｌｏＥＢ．Ｈｅａｄｓ－ｕｐｓｕｒｇｅｒｙｆｏｒｖｉｔｒｅｏｒｅｔｉｎａｌｐｒｏｃｅｄｕｒｅｓ：ＡｎＥｘｐｅｒｉｍｅｎｔａｌａｎｄＣｌｉｎｉｃａｌＳｔｕｄｙ．Ｒｅｔｉｎａ．２０１６Ｊａｎ；３６（１）：１３７－４７）。

眼科手術中に画面上に拡大画像を表示する本明細書において説明される利点にもかかわらず、眼科手術中の画面上の拡大画像の表示の制御の改善はチャレンジングなままである。

例えば、外科医から一定距離（例えば１２２～１８３センチメートル（４～６フィート））においてＮＧＥＮＵＩＴＹ（登録商標）５５インチＯＬＥＤディスプレイなどのディスプレイの全広がりを利用するためには高倍率が必要である。手術中、外科医が視ようとする眼又は眼の一部分の位置は、正面向き視野に対応するＸＹ面内の顕微鏡視野の位置に対して移動し得る。移動は、手術中の患者の移動又は手術中の眼組織の操作に関連する移動によるものである。したがって、外科医が視ようとする眼の一部を顕微鏡の視野内に維持するために、ＸＹ面内の顕微鏡の位置は、顕微鏡の視野が外科医が視ようとする眼の当該部分の位置と再アライメントされるように再配向されなければならない。特に、手術中に使用される高倍率は「手術中の小移動ですら顕微鏡の視野に対する外科医が視ようとする眼の一部分の移動とその結果のディスプレイ画面から外れるリアルタイムビデオ画像の移動とに対応し得る」ということを意味する。これは、外科医がディスプレイ画面上に視ようとする眼の一部分を効果的に見えるようにすることができないという結果を有し得る。

現在、画面上の拡大されたリアルタイムビデオ画像のセンタリングは通常、手動制御（顕微鏡支持アームと顕微鏡ヘッドとの間のボックス内でＸＹモータを駆動するためのフットスイッチジョイスティックの手動操作など）により行われる。特に、顕微鏡上のＸＹ位置の非常に頻繁な外科医制御が高倍率のために必要とされる。加えて、拡大された円状ビデオ画像の位置の手動制御は不精確であり且つ問題であり得る。例えば、手動制御は、画面上の画像の準最適センタリング、又はリアルタイムビデオ画像が画面外に位置することに至り得る。加えて、フットスイッチジョイスティックの使用などの手動制御は手術中に外科医の手の不慮の運動を引き起こし得る。

眼科手術中の微調整された制御のための必要性を所与として、外科技術に関するさらなる制御を提供するために眼科医により使用される機器の改善は患者の手術結果を改善すると期待される。

本開示は一般的には、眼科手術中に外科医により視られる画面上の患者の眼の拡大ビデオ画像の自動センタリングに関する。

本明細書において使用される用語「高倍率」は、当業者により識別可能である眼科手術（硝子体網膜手術など）中に通常使用され得る任意の値の又は範囲の倍率を指し得る。例えば、いくつかの実施形態では、例示的高倍率は、当業者により識別可能である範囲の中でも約２×～１００×、又は約１０×～４０×、又は約１０×～２０×の範囲内の倍率値を指し得る。いくつかの実施形態では、高倍率は約２０×の倍率値を指し得る。

本明細書において説明されるシステム及び方法と共に使用され得る例示的外科用顕微鏡は、当業者により識別可能であるものの中でもＺｅｉｓｓＯＰＭＩ（登録商標）ＬｕｍｅｒａＴ（ＣａｒｌＺｅｉｓｓＣｏｒｐｏｒａｔｉｏｎ，Ｇｅｒｍａｎｙ）を含む。当業者により理解されるであろうように、好適な顕微鏡は例えば２００ｍｍの作動距離において約３．５×～２１．０×の倍率範囲を特徴とし得、電動ズーム系は１：６ズーム比などの好適なズーム比、例えば約０．４～２．４の倍率係数γ、及び約５０ｍｍの合焦範囲を有する。

電動ズーム系の全体倍率は、当業者により識別可能な係数の中でも顕微鏡及び光センサの因子（焦点長、電動ズーム系のズーム部品に関し設定された倍率、及び光センサの倍率など）を考慮することにより当業者により計算され得る。

光学的及び／又はデジタル的ズーム能力を有する部品を含む方法及びシステムが本開示において企図される。

一般的に、用語「自動」は眼科医などのユーザによる手動制御又は操作を必要としない行為又は処理を指すということが理解される。

特に、患者の眼の高倍率画像に関連して本明細書において使用される用語「自動センタリング」は、本明細書に説明されるように、非一時的コンピュータ可読媒体内に含まれる指示を実行するコンピュータプロセッサにより行われる拡大された視野のセンタリングの制御を指し得る。

一般的に、本明細書において説明されるのは、眼科手術中に患者の眼のリアルタイムビデオ内の円又はほぼ円状画像を検出し、そして、それに応じて、ＸＹ位置の顕微鏡の視野の移動を駆動し、その結果、対応高倍率円状ビデオ画像がディスプレイ画面上にセンタリングされるビデオ解析ソフトウェアを利用する方法及びシステムである。

当業者により理解されるであろうように、眼科手術中の眼の拡大画像及び眼内の構造の拡大画像の検出に関して、本明細書で使用される用語「円」はほぼ円形を指し、そして楕円及びほぼ楕円形状を含み得る。

特に、本明細書において説明される自動ＸＹ画像センタリング方法及びシステムは硝子体網膜手術などの眼の外科的処置に有用である。

例えば、図１は硝子体網膜外科的処置を受けている眼の側面図を示す例示的概略図１００である。概略図内に指示されるのは、切開部を介し眼内へ挿入される様々なツール（眼の硝子体ジェルをゆっくり制御されたやり方で除去する硝子体切断装置１０１を含む）である。また示されるのは、眼内の流体と生理食塩水とを交換して適切な眼圧力を維持するために使用されるカニューレ１０２である。また示されるのは、眼の内部に照明を提供する光パイプ１０３である。図１の例示的概略図において示されるような硝子体網膜手術中、眼科医は、瞳１０５を通して眼の内部部分を視るように向けられた顕微鏡を使用することにより網膜１０４の照射された部分を見えるようにする。

図２は、図１の側面図に示される例示的処置と同様な例示的硝子体網膜外科的処置を受けている眼の例示的トップダウン図（正面図に対応する）を示す概略２００である。概略図に指示されるのは、切開部を介し眼内へ挿入される様々なツール（硝子体切断装置２０１、カニューレ２０２、及び眼の内部に照明を提供する光パイプ２０３を含む）である。図２の例示的概略図において示されるような硝子体網膜手術中、眼科医は、その外形が点線円２０５として示される瞳を通して眼の内部部分を視るように向けられた顕微鏡を使用することにより網膜２０４の照射された部分を見えるようにする。

硝子体網膜手術中、例えば、外科用顕微鏡の視野はしばしば網膜全体のうちの僅かな部分に制限される。通常、この僅かな部分は圧倒的に暗い背景上の網膜の小パッチとしてライブリアルタイムビデオ画像上に現われる。顕微鏡を介し眼科医により見えるパッチの形状は瞳の形状（通常は円盤又は楕円盤である）により決まる。例えば、画像は、網膜ビューが、上、下、左、又は右に回転される眼の楕円状瞳を通したものである場合は、楕円状であり得る。また、いくつかのケースでは、パッチの形状は、眼の虹彩の形状の変動に従って（例えば虹彩が無ければ、又は虹彩の構造の一部分が無ければ、又は例えば前の手術が虹彩の形状を変更していれば）円状画像からの変動を含み得る。眼の画像の照射された部分は、眼科医が外科的処置中にディスプレイ上で視ようとする「標的画像」と呼ばれ得る。手術中、照射されたパッチの位置は、正面向き視野に対応するＸＹ面内の顕微鏡視野の位置に対して移動し得る。ほぼ円状に照射されたパッチの移動は手術中の患者の移動又は手術中の眼組織の操作に伴う移動に起因し得る。したがって、顕微鏡の視野内のほぼ円状に照明されたパッチの画像を維持するために、ＸＹ面内の顕微鏡の位置は、顕微鏡の視野が眼内の照明されたパッチの位置により再アライメントされるように再配向されなければならない。特に、手術中に使用される高倍率は「手術中の小移動ですら顕微鏡の視野に対する眼の照明されたパッチの移動とその結果のディスプレイの中心に対するリアルタイムビデオ画像の移動とに対応し得る」ということを意味する。これは、外科医がディスプレイ画面上の眼の照明されたパッチを効果的に見えるようにすることができないという結果を有し得る。本明細書で述べるように、現在、これは、本明細書に説明されるような不利益を有する顕微鏡の視野の手作業の再位置決めを必要する。この問題を解決するために、本明細書において説明される方法及びシステムはディスプレイ画面上の拡大された眼の画像の自動センタリングを可能にする。当業者により理解されるであろうように、本開示のシステム及び方法は眼内照明（ｅｎｄｏｉｌｌｕｍｉｎａｔｉｏｎ）を使用する眼科手術処置に好適であり、本明細書で使用される用語「眼内照明」は本明細書で説明され図１、２の例示的概略図に示されるような眼の内部の照明を指す。眼内照明を使用する際、眼の外部の顕微鏡光源などの外部顕微鏡照明光源は、眼内照明された眼の瞳を通じて円形状又は楕円形状として見える眼の照明された内部が眼内照明された眼の圧倒的に暗い照明されない外部と対照的となるようにオフされる。例えば、硝子体網膜手術を行うための例示的ＮＧＥＮＵＩＴＹ（登録商標）３Ｄ可視化システムを使用する際、眼の内部は眼内照明により見えるようにされ、外部顕微鏡光源はオフされる。

本明細書において使用される用語「ＸＹ面」は、Ｘ軸及びＹ軸により定義される２次元空間を指し、Ｘ軸はＹ軸に対し垂直であり、Ｘ軸とＹ軸は原点と呼ばれる点において交差する。

特に、本明細書で使用されるように、ＸＹ面は、通常は地面（又は手術室の床）とほぼ平行である面を指し得る。特に、ＸＹ面は、患者が手術台上で仰向けに横たわる間、眼科手術中に眼の上のほぼ水平である面を形成し得る。したがって、例えば、本明細書において使用される用語Ｘ軸は眼科医の位置に対し左右に配向された水平軸を指し得、例えば、本明細書において使用される用語Ｙ軸は眼科医の位置に対し前－後方（又は遠－近方）に配向された水平軸を指し得る。顕微鏡と視野を表す対応リアルタイムビデオ画像とを介し見える眼の視野に関し、ＸＹ面はリアルタイムビデオ画像の正面向きビューの２次元空間に対応する。いくつかの実施形態では、リアルタイムビデオ信号は３Ｄビデオ信号であり、正面向きＸＹ面の２次元に加えて、ビデオ信号はまた、ＸＹ面に垂直であるＺ軸における視野の奥行きに対応するビデオデータを含む。

ＸＹ面が座標グリッドを形成し得るということが理解され、座標はＸ軸上の値とＹ軸上の値との交差部により定義されるＸＹ面内の位置を指し、これらの値は原点からの距離を指示し、原点は通常Ｘ＝０及びＹ＝０の座標により指示され得る。ＸＹ座標は一般的にはデカルト座標系（点の位置が、原点と呼ばれる点において交差する垂直線からのその距離を表す座標により与えられる系）に関係するということを当業者は理解するようになる。面内のデカルト座標系は、３つの軸（Ｘ軸、Ｙ軸及びＺ軸）を有する三次元空間内の２つの垂直線（Ｘ軸とＹ軸）を有する。

図３は、眼科手術中にデジタル顕微鏡により眼の拡大画像内の検出された円のＸＹ位置の自動センタリングのために構成された例示的システム３００の概略図である。図３に示す眼科手術中にデジタル顕微鏡により眼の拡大画像内の検出された円のＸＹ位置の自動センタリングのために構成されたシステム３００は例示的であり非限定的であるということと、本開示の範囲内で作動するシステム３００の他の構成が当業者により識別可能であるということとを理解すべきである。修正、追加又は省略は本開示の範囲から逸脱することなくシステム３００に対しなされ得る。本明細書に説明されたシステム３００の部品及び要素は特定アプリケーションに従って一体化されてもよいし分離されてもよい。システム３００はいくつかの実施形態ではより多い、より少ない、又は異なる部品を使用して実現され得る。

図３は瞳３０２を有する眼３０１を示す。顕微鏡３０３が示され、顕微鏡３０３の例示的視野３０４は点線により境界をつけられて示される。矢印３１７、３１８によりそれぞれ指示されるＸ軸、Ｙ軸により形成されるＸＹ面３０５が眼３０１の上にそして顕微鏡３０３の下に水平方向に示される。顕微鏡３０３は、顕微鏡３０３による眼の拡大画像がカメラ３０６により捕捉されることを可能にするように構成された電子的接続部３０７を介しカメラ３０６などの光センサと電子的に通信するように構成される。特に、カメラ３０６は高フレームレートで像を捕捉することができる高解像度ビデオカメラなどのビデオカメラである。カメラ３０６は、接続部３０９を介しプロセッサ３０８へ接続されそれと電子的に通信するように構成される。プロセッサ３０８は、カメラ３０６からデジタルリアルタイムビデオ画像データを受信しそれをディスプレイ３１１へ送信するために非一時的コンピュータ可読媒体３１０に含まれる指示を実行するように構成される。図３において、ディスプレイ３１１は、眼科手術中に眼の一部分の画像内に検出された円状拡大画像３１２を有して示される。例えば、ディスプレイ上に示される円状画像は、いくつか実施形態では、硝子体網膜手術中に眼３０１の瞳３０２を通じて顕微鏡視野に対して見える網膜の照明された部分の円状又は楕円状画像であり得る。プロセッサ３０８は接続部３１３を介し非一時的コンピュータ可読媒体３１０と電子的に通信し、プロセッサ３０８は接続部３１４を介しディスプレイ３１１と電子的に通信する。プロセッサ３０８は、カメラ３０６から受信されるデジタル画像データ内の円を検出するために非一時的コンピュータ可読媒体３１０に含まれる指示を実行するように構成される。電動顕微鏡ヘッド支持体３１５は、顕微鏡の視野をＸＹ面内で調節するためにＸＹ面３０５の座標に従って顕微鏡を水平方向に移動させるように構成される。電動顕微鏡ヘッド支持体３１５を介した顕微鏡の移動は非一時的コンピュータ可読媒体３１０からの指示を実行するプロセッサ３０８により制御される。特に、眼の拡大画像のデジタルリアルタイムビデオ画像データ内の円状画像を検出すると、非一時的コンピュータ可読媒体３１０に含まれる指示を実行するプロセッサ３０８は、円状画像の中心を顕微鏡３０３の視野３０４の中心に位置決めするために移動指示を電動顕微鏡ヘッド支持体３１５へ送信するように構成される。したがって、非一時的コンピュータ可読媒体３１０に含まれる指示を実行するプロセッサ３０８は、円状画像の中心をディスプレイ３１１の中心に位置決めするようにＸＹ面に従って移動指示を電動顕微鏡ヘッド支持体３１５へ送信する。電動顕微鏡ヘッド支持体３１５による顕微鏡３０３の移動は接続部３１６を介する。

図３に示す例示的システムは追加的に、ディスプレイ３１１へ送信される拡大ズーム、色、光度、コントラスト、輝度などなどの画像データの特徴を外科医が調節することを可能にするユーザ操作制御を有する制御パネル（図示せず）を含み得る。

図４Ａは、眼科手術中の拡大下で眼の画像内に検出された円４０１上にオーバーレイされたＸＹ面４０３の例示的概略図４００を示す。例えば、検出された円４０１は、図２において点線円２０５により描写されるような瞳の円形を通して見える眼の照明された内部部分であり得る。円４０１はベタ黒スポットとして描写される円中心４０２を有する。ＸＹ面４０３は、顕微鏡の視野の領域、具体的にはカメラにより捕捉された拡大像の視野の領域を指示する。Ｘ軸４０４及びＹ軸４０５により形成されるＸＹ面４０３はＸＹ座標のグリッドを有する。ＸＹ面は両軸に沿った点における交差線のグリッドとして描写されるが、ＸＹ面４０３はＸＹ座標がＸ及びＹ軸に沿った任意のＸ及びＹ値を有し得るように連続的水平面場を形成するということを理解すべきである。視野は円又は正方形などの任意の形状を有し得る。例示的実施形態では、顕微鏡及びＮＧＥＮＵＩＴＹ（登録商標）光学系視野絞りにより生成される視野は円状である。図４Ａに示す例示的概略図では、ＸＹ面４０３は、眼科手術中に拡大下で眼を見えるようにするために使用される顕微鏡の視野上へオーバーレイされる水平面を指示する。図４Ａでは、視野は小円により指示される視野中心４０６を有する。視野中心４０６の中心は線４０７と線４０８とにより交差されるＸＹ座標（Ｘ_０の座標値とＹ_０の座標値とをそれぞれ有する）に位置する。いくつかの実施形態では、視野中心４０６は視野の中心に位置する単一点であり得、一方、他の実施形態では、視野中心４０６は、円形エリアなどのエリアを有する領域であってもよいし、視野の中央領域を定義する任意の他の好適な形状を有する領域であってもよい。いくつかの実施形態では、視野中心４０６は、視野全体の１％、５％、１０％又は２０％など視野全体に対し設定されたサイズを有する領域であり得る。円中心はＸ_１の座標値とＹ_１の座標値とをそれぞれ有するＸＹ座標を有する。図４Ａでは、円中心４０２は視野中心４０６の中心と同じ位置に位置して示される。円中心４０２が視野中心４０６と同じ位置に位置すると、円中心４０２の座標と視野中心４０６の座標との差は無く、したがってＸ_１－Ｘ_０の絶対値＝０及びＹ_１－Ｙ_０の絶対値＝０である。

図４Ａと対照的に、図４Ｂでは、円中心４０２は視野４０６の中心に対して異なる位置に位置して示される。図４Ｂでは、視野中心４０６は線４０７と線４０８との交点により指示される座標Ｘ_０，Ｙ_０に位置して示される。図４Ｂでは、円中心４０２は点線４０９と点線４１０との交点により指示される座標Ｘ_１，Ｙ_１に位置して示される。円中心４０２が視野中心４０６として異なる位置に位置すると、円中心４０２の座標と視野中心４０６の座標とには差が有り、したがってＸ_１－Ｘ_０の絶対値＞０及び／又はＹ_１－Ｙ_０の絶対値＞０である。

プロセッサ３０８は、円中心４０２及び視野中心４０６を検出するために非一時的コンピュータ可読媒体３１０に含まれる指示を実行するように構成される。プロセッサ３０８はまた、円中心４０２及び視野中心４０６のそれぞれのＸＹ座標を計算するために、そして円中心４０２の座標と視野中心４０６の座標との差を検出するために、非一時的コンピュータ可読媒体３１０に含まれる指示を実行するように構成される。したがって、円中心４０２の座標と視野中心４０６の座標との差を検出すると、Ｘ_１－Ｘ_０の絶対値＞０及び／又はＹ_１－Ｙ_０の絶対値＞０の場合、非一時的コンピュータ可読媒体に含まれる指示を実行するプロセッサは、Ｘ_１－Ｘ_０の絶対値＝０及びＹ_１－Ｙ_０の絶対値＝０を生じるように視野中心４０６を円中心４０２と同じ位置に再位置決めするためにＸＹ面に従って移動指示を電動顕微鏡ヘッド支持体３１５へ送信する。例えば、図４Ｂに示すように、視野中心４０６とは異なる座標を有する円中心４０２の位置を検出すると、非一時的コンピュータ可読媒体に含まれる指示を実行するプロセッサは、矢印４１１、４１２として描写されるように視野中心４０６を再移転するために移動指示を電動顕微鏡ヘッド支持体３１５へ送信する。

視野中心４０６及び円中心４０２の座標は原点に対して計算される値であり得、原点はＸＹ面のＸ軸とＹ軸との交差の点である。これらの値は任意の好適な単位の距離（ｍｍ又はμｍなど）であり得る。プロセッサは原点に対する値などのＸＹ面内の座標の値を計算するために非一時的コンピュータ可読媒体に含まれる指示を実行するように構成される。したがって、Ｘ座標及びＹ座標の値は原点からの距離の増加と共に増加する。したがって、視野中心４０６及び円中心４０２の位置が計算され得、ＸＹ面内の視野中心４０６と円中心４０２との相対位置が原点に対して計算され得る。したがって、例えば、図４Ａと図４Ｂに示すように、原点が左側の近端方向に置かれる場合、Ｘの値は左から右へ増加し、Ｙの値は近端（後方）から遠端（前方）へ増加する。したがって、図４Ｂに示す例示的概略図では、円中心４０２の位置は視野中心４０６より右前方（より遠方）にあるとして検出され、したがってＸ_１－Ｘ_０＞０及びＹ_１－Ｙ_０＞０である。対照的に、円中心４０２が視野中心４０６より左近方（後方）に在れば、原点に対して計算される座標はＸ_１－Ｘ_０＜０及びＹ_１－Ｙ_０＜０を与えるだろう。いずれの場合も、円中心４０２が視野中心４０６と異なる位置に在ると、Ｘ_１－Ｘ_０の絶対値＞０及びＹ_１－Ｙ_０の絶対値＞０である。

代替的に、例えば、ＸＹ面の座標は、視野のＸＹ面４０３が線４０７、４０８により分割される４象限に分割されるように視野中心４０６に対して計算され得る。したがって、図４Ａと図４Ｂに示すように、左上象限は視野中心４０６に対しＹの正値とＸの負値とを有することになり、右上象限は視野中心４０６に対しＹの正値とＸの正値とを有することになり、左下象限は視野中心４０６に対しＹの負値とＸの負値とを有することになり、左下象限は視野中心４０６に対しＹの負値とＸの正値とを有することになる。したがって、いかなる象限内の位置に在る円中心４０２の座標も視野中心４０６に対して計算され得る。

本明細書において説明される実施形態では、視野中心４０６はディスプレイ３１１の中心に対応し得る。したがって、視野中心４０６を円中心４０２と同じ位置に位置決めすると、円中心はディスプレイ３１１の中心に位置決めされる。

電動顕微鏡ヘッド支持体３１５へ送信される移動指示は速度のパラメータ（例えばｍｍ／秒又はμｍ／秒などの任意の好適な単位で測定される）を有し得る。例えば、移動の速度は約１ｍｍ／秒であり得る。約１μｍ／秒～１ｃｍ／秒などの他の速度値が使用され得る。いくつかの実施形態では速度の値は固定され得、一方、他の実施形態では速度の値は可変であり得る。いくつかの実施形態では、速度の値は円中心４０２と視野中心４０６との相対位置に従って変化し得る。例えば、Ｘ_１－Ｘ_０の絶対値及び／又はＹ_１－Ｙ_０の絶対値が増加すると、速度は増加し得る。したがって、Ｘ_１－Ｘ_０の絶対値及び／又はＹ_１－Ｙ_０の絶対値が低下すると、速度は低下し得る。図４Ａと図４Ｂに描写するように、三角形４１３は、視野中心４０６からの円中心４０２の距離の増加と共に移動の速度が増加する関係を指示する。いくつかの実施形態では、視野中心４０６からの円中心４０２の距離の増加に伴う移動の速度の増加は線形であり得る（例えば、図４Ａと図４Ｂの三角形により描写されるように）。他の実施形態では、視野中心４０６からの円中心４０２の距離の増加に伴う移動の速度の増加は非線形であり得る。例えば、速度の増加は曲線関数に従い得、ここでは、速度は、円中心４０２と視野中心４０６との間の距離の増加に比例した増倍係数だけ増加する。

好適な実施形態では、移動速度は、円中心４０２と視野中心４０６との間の距離の増加と共に増加し、円中心４０２と視野中心４０６との間の距離の減少と共に低下する。したがって、好適には、本方法は、円中心４０２と視野中心４０６との間の距離のそれぞれの増加又は低下に伴う移動速度の緩やかなランプアップ及びランプダウンを生じ得るように実施され、そしてシステムはそのように構成される。

したがって、本発明の目的は、拡大された眼の画像内の検出された円の顕微鏡視野内の及びリンクされたディスプレイ内の自動コンピュータプロセッサ仲介型センタリング表示であり、センタリングは滑らかな移動を有する。特に、本発明の目的は、拡大された眼内の「中心外れ」円形像を検出することに対する自動制御応答であり、自動制御応答は円を視野の中心にスムーズに再位置決めする。センタリングは、眼科手術中に拡大された眼を捕捉しそのライブビデオを画像処理するとリアルタイムで発生する。いくつかの実施形態では、本システムは、センタリング移動の速度が利用者選好に従って設定され得るように構成される。

いくつかの実施形態では、Ｘ_１－Ｘ_０の絶対値及び／又はＹ_１－Ｙ_０の絶対値は、プロセッサ３０８が移動指示を電動顕微鏡ヘッド支持体３１５へ送信する前に、設定された最小値を有し得る。したがって、本明細書において説明されるシステムは、顕微鏡視野の再位置決めが実行される前に視野中心４０６に対する円中心４０２のある移動を可能にし得る。例えば、視野中心４０６の位置は、プロセッサ３０８が移動指示を電動顕微鏡ヘッド支持体３１５へ送信する前に、検出された円中心４０２から設定距離だけ又は視野又は検出された円の設定割合だけ変化し得る。例えば、いくつかの実施形態では、視野中心４０６の位置は、プロセッサ３０８が移動指示を電動顕微鏡ヘッド支持体３１５へ送信する前に、検出された円中心４０２から、視野又は検出された円の直径の約１０％だけ変化し得る。

いくつかの実施形態では、ディスプレイ上に提示される拡大画像のビューは、顕微鏡の視野及びリアルタイムビデオ画像の一部分又は部分集合であり得る。図４Ｃに示すように、点線ボックス４１４が、画面上に提示されるビューを指示し得、点線の位置はディスプレイ画面の縁に対応し得る。したがって、本発明の目的の１つは、ディスプレイ画面上の検出された円形の拡大画像のサイズを最大化することである。このようにして、眼の拡大画像を外科医へ表示するためにディスプレイ画面の最大エリアが利用され得る。いくつかの実施形態では、拡大のズームは、ディスプレイ画面上の検出された円形の拡大画像のサイズを最大化するために外科医などのユーザにより設定され得る。他の実施形態では、非一時的コンピュータ可読媒体に含まれる指示を実行するプロセッサは、検出された円状画像の径を検出し、そして、検出された円状画像の径がディスプレイ画面の縁内に収まるように視野のズームレベルを制御し得る。いくつかの実施形態では、ズームレベルは、顕微鏡の光学ズームをそれに従って変更するために、指示を顕微鏡へ送信するために、非一時的コンピュータ可読媒体に含まれる指示を実行するプロセッサにより調節され得る。他の実施形態では、ズームレベルは、それに従ってディスプレイへ送信される画像のデジタルズームを変更するために、非一時的コンピュータ可読媒体に含まれる指示を実行するプロセッサにより調節され得る。特に、ディスプレイが景色指向画面（例えばＮＧＥＮＵＩＴＹ（登録商標）システムと併せて通常使用される１６×９アスペクト比ＯＬＥＤ画面）などの長方形である場合、ズームレベルは、検出された円形の径がディスプレイ画面の垂直広がり内に収まるように設定され得る。したがって、いくつかの実施形態では、長方形画面上で、円状画像はディスプレイの中心に位置決めされてもよいし、追加情報（手術前像及び／又は電子カルテなど）のための長方形ディスプレイ（例示的１６×９ディスプレイなど）上の一方の側に空間を残してもよい。

図５は、例示的ディスプレイ５０２の垂直広がりの中心にその中心を有して位置決めされた例示的円５０１の概略５００を示す。本明細書において使用される用語「センタリング」はディスプレイ上の円の中心の位置決めを指し得、位置決めは、円の中心をディスプレイの画面空間の中央又はその近くの位置に又はそのユーザ定義された又は予め設定された領域内の位置に配向するのに効果的である。いくつかの実施形態では、用語「センタリング」は、図５に示す領域５０４により指示されるようにディスプレイの中心の設定距離内の円（ディスプレイの中心５０３の１０％以内など）の中心の位置決めを指し得る。いくつかの実施形態ではディスプレイは正方形であり得、一方、他の実施形態ではディスプレイは長方形であり得る。他のディスプレイ形状も可能である。正方形ディスプレイに関して、用語「ディスプレイの中心」は辺のそれぞれからほぼ等距離である位置を指し得る。長方形ディスプレイに関して、用語「ディスプレイの中心」は、図５に示す例示的概略長方形ディスプレイ内の位置５０２により示されるように、辺のそれぞれからほぼ等距離又は特に長方形の長辺５０５のそれぞれから等距離である位置を指し得る。いくつかの実施形態では、センタリングは、円全体がディスプレイ上に見えるように円の位置決めを好適に生じるように行われ得る。他の実施形態では、センタリングは、円の一部だけがディスプレイ上に見えるように円の位置決めを生じるように行われ得る。

本明細書において説明される様々な実施形態では、円状画像の検出は、画像内の円の検出のために当業者により識別可能な任意の好適なアルゴリズムを使用し得る。円を検出するために使用され得る標準アルゴリズムは、当業者により識別され得るものの中でもＨｏｕｇｈ変換及びランダムサンプルコンセンサス（ＲＡＮＳＡＣ：ｒａｎｄｏｍｓａｍｐｌｅｃｏｎｓｅｎｓｕｓ）を含む。

本明細書において使用される用語「Ｈｏｕｇｈ変換」は画像解析、コンピュータビジョン及びデジタル画像処理において使用される特徴抽出技術を指す。これら技術の目的は、投票手順（ｖｏｔｉｎｇｐｒｏｃｅｄｕｒｅ）と称される処理によりあるクラスの形状内の物体の不完全なインスタンスを発見することである。この投票手順はパラメータ空間内で行われ、ここから、物体候補は、Ｈｏｕｇｈ変換を計算するためのアルゴリズムにより明示的に構築される所謂アキュムレータ空間（ａｃｃｕｍｕｌａｔｏｒｓｐａｃｅ）内の極大値として取得される。

本明細書において使用される用語「円Ｈｏｕｇｈ変換：ｃｉｒｃｌｅＨｏｕｇｈＴｒａｎｓｆｏｒｍ」すなわち「ＣＨＴ」は、Ｈｏｕｇｈ変換の特化を指し、デジタル画像内の円形物体を検出するためのデジタル画像処理においてルーチン的に使用される基本技術である。円Ｈｏｕｇｈ変換（ＣＨＴ）は円を検出するための特徴抽出技術である。この技術の目的は不完全な画像入力内で円を発見することである。円候補は、Ｈｏｕｇｈパラメータ空間内で「投票する」ことにより生成され、次に、所謂アキュムレータマトリクス内の極大値を選択する。

当業者が理解するであろうように、２次元空間では、円は次のように記述され得る：
（ｘ－ａ）^２＋（ｙ－ｂ）^２＝ｒ^２式（１）
ここで、（ａ，ｂ）は円の中心であり、ｒは半径である。２Ｄ点（ｘ，ｙ）が固定されれば、パラメータは式（１）に従って発見され得る。パラメータ空間は３次元（ａ，ｂ，ｒ）になるだろう。そして（ｘ，ｙ）を満たすすべてのパラメータはその頂部が（ｘ，ｙ，０）である逆直錐体の表面上に在る。３Ｄ空間では、円パラメータは、２Ｄ円上の点により定義される多くの円錐面同士の交差により識別され得る。この処理は２つの段階に分割され得る。第１の段階は、半径を固定し、次に、２Ｄパラメータ空間内の円の最適中心を発見する。第２の段階は一次元パラメータ空間内の最適半径を発見することである。

いくつかの実施形態では、円の半径は固定され得る。半径が固定されれば、パラメータ空間は２Ｄ（円中心の位置）へ低下されるだろう。元の円上の点（ｘ，ｙ）毎に、パラメータ空間は式（１）に従って半径Ｒを有する（ｘ，ｙ）を中心とする円を定義し得る。パラメータ空間内のすべてのこのような円の交点は元の円の中心点に対応するだろう。

例えば、例示的円画像６００内の円６０１上の４つの点６０２が図６に示すように考慮され得る。例示的円Ｈｏｕｇｈ変換７００が図７に示される。原画像６００内の４つの点６０２の点（ｘ，ｙ）毎に、円Ｈｏｕｇｈ変換は、半径ｒを有して（ｘ，ｙ）を中心とするＨｏｕｇｈパラメータ空間内の円を定義し得る。アキュムレータマトリクスが交点を追跡するために使用される。パラメータ空間では、円が通過する点の投票数は１だけ増加されるだろう。次に、極大値点７０１（中心の点）が発見され得る。最大値７０１の位置（ａ，ｂ）は元の円６０１の中心になるだろう。

当業者により理解されるであろうように、実際上、アキュムレータマトリクスはパラメータ空間内の交点を発見するために導入される。第１に、パラメータ空間は、グリッドに従ってアキュムレータマトリクスを生成するためにグリッドを使用して「バケット」に分割される。アキュムレータマトリクス内の要素は、パラメータ空間内の対応グリッドセルを通過するパラメータ空間内の「円」の数を表す。この数は「投票数」とも呼ばれる。当初、マトリクス内のあらゆる要素は零である。次に、元の空間内の「エッジ」点毎に、円は、パラメータ空間内で定式化され得、円が通過するグリッドセルの投票数を増加する。この処理は「投票」呼ばれる。

投票後、極大値がアキュムレータマトリクス内に発見され得る。極大値の位置は元の空間内の円中心に対応する。

未知の半径を有する円に関し、パラメータ空間は３Ｄであるので、アキュムレータマトリクスもまた３Ｄになるだろう。可能な半径が全体を通し繰り返され得；半径毎に、前の技術が使用される。最後に、極大値が３Ｄアキュムレータマトリクス内で発見される。アキュムレータアレイは３Ｄ空間内のＡ［ｘ，ｙ，ｒ］であるべきである。投票は画素、半径及びシータ毎であるべきでありＡ［ｘ，ｙ，ｒ］＋＝１。

当業者により理解されるであろうように、例示的アルゴリズムは以下のとおりである：（１）Ａ［ａ，ｂ，ｒ］＝０毎に；（２）画像に対しフィルタリングアルゴリズムを適用する（ＧａｕｓｓｉａｎＢｌｕｒｒｉｎｇ）、画像をグレイスケールへ変換する（ｇｒａｙＳｃａｌｉｎｇ）、Ｃａｎｎｙ演算子を作る、Ｃａｎｎｙ演算子は画像上の縁を与える。（３）アキュムレータ内のすべての可能な円を投票する。（４）アキュムレータＡの極大投票された（ｌｏｃａｌｍａｘｉｍｕｍｖｏｔｅｄ）円が円Ｈｏｕｇｈ空間を与える。（５）アキュムレータの最大投票された（ｍａｘｉｍｕｍｖｏｔｅｄ）円が円を与える。

当業者により理解されるであろうように、円Ｈｏｕｇｈ変換投票処理のための例示的コードは以下のとおりである：
Ｆｏｒｅａｃｈｐｉｘｅｌ（ｘ，ｙ）
Ｆｏｒｅａｃｈｒａｄｉｕｓｒ＝１φ ｔｏｒ＝６φ／／可能な半径
Ｆｏｒｅａｃｈｔｈｅｔａｔ＝φ ｔｏ３６φ／／可能なシータφ～３６φ
ａ＝ｘ－ｒ＝ｃｏｓ（ｔ＊π／１８０）；／／中心の極座標
ｂ＝ｙ－ｒ＝ｓｉｎ（ｔ＊π／１８０）；／／中心の極座標
Ａ［ａ，ｂ，ｒ］＋＝１；／／投票
ｅｎｄ
ｅｎｄ
ｅｎｄ

ＭＡＴＬＡＢ及びｐｙｔｈｏｎ内で使用されるものなどの他の例示的実施コードが当業者により識別可能である。

いくつかの実施形態では、当業者により識別可能なＯｐｅｎＣＶライブラリからＨｏｕｇｈアルゴリズムＣｖＨｏｕｇｈＣｉｒｃｌｅｓを使用するＨｏｕｇｈ円検出プログラムが画像内の円を検出するために使用され得る。Ｈｏｕｇｈ円検出プログラムでは、当業者により識別可能な最小半径、最大半径、及び様々な適用可能閾値及びフィルタなどのパラメータが定義され得る。

いくつかの実施形態では、ＯｐｅｎＣＶにより行われるような画像内の円の検出は当業者により識別可能なＨｏｕｇｈＧｒａｄｉｅｎｔ方法（”ｃｖ２．ＨｏｕｇｈＣｉｒｃｌｅｓ（）”と呼ばれるＯｐｅｎＣＶ内の関数など）を使用し得る。

本明細書において説明される方法及びシステムの利点は、ディスプレイ上の高倍率ビデオ画像の急速且つ精密な自動センタリングを含み、外科医によりビデオ画像を（例えばフットペタルジョイスティック制御を介し）センタリングする手動制御（フットペタルジョイスティック活性化により引き起こされる画面表示外れ又は不慮の手運動に至り得る）の必要性を無くす一方で高倍率の連続使用を可能にする。

上記開示された主題は例示的であって限定的ではないと考えるべきであり、添付の特許請求の範囲は、本開示の精神及び範囲に入るこのような修正、拡張及び他の実施形態をすべてカバーするように意図されている。したがって、法律により許される最大限の範囲において、本開示の範囲は、以下の特許請求の範囲及びそれらの同等物の最も広い許容可能解釈により判断されるべきであり、これまでの詳細説明により制約又は制限されないものとする。

本明細書と添付特許請求範囲において使用されるように、単数形式の冠詞及び不定詞は、その内容が明らかに規定しない限り、複数の参照物を含む。用語「複数」はその内容が別途明確に規定しない限り２つ以上の参照を含む。特記しない限り、本明細書で使用されるすべて技術及び科学用語は、本開示が関連する技術分野の当業者により一般的に理解される意味と同じ意味を有する。

Claims

眼科手術中に高倍率下で患者の眼の視野をＸＹ面内で自動的にセンタリングするように構成されたシステムであって、
プロセッサと；
前記プロセッサにより実行可能な指示を含む前記プロセッサにアクセス可能な非一時的コンピュータ可読媒体と、を含むシステムにおいて、前記指示は、
顕微鏡により高倍率下で前記患者の眼を含む視野を表すリアルタイムビデオ信号を光センサから取得するための指示であって、前記視野は正面向きＸＹ面を含む、指示と；
前記リアルタイムビデオ信号に対応する前記視野内の少なくとも１つのビューをディスプレイ上に表示するための指示と；
前記リアルタイムビデオ信号内の円状画像を検出するための指示であって、前記円状画像は前記視野内の標的画像を含む、指示と；
前記視野の前記ＸＹ面内の円形の中心の位置を判断するための指示と；
前記ＸＹ面内の前記視野の中心の前記位置を判断するための指示と；
前記円状画像の中心の前記位置と前記視野の中心の前記位置とを比較するための指示と；
前記円状画像の中心の前記位置と前記視野の中心の前記位置との差を判断すると、前記ＸＹ面内の前記顕微鏡視野の前記位置を移動するように構成された電動顕微鏡支持体へ移動指示を送信するための指示であって、前記移動指示は前記視野の中心を前記円状画像の中心の前記位置に置くように前記顕微鏡視野の移動を指示し；これにより、眼科手術中に高倍率下で前記患者の眼の前記視野から取得される前記リアルタイムビデオ信号内に検出された前記円状画像の中心へ前記視野の中心を自動的に移動する、指示であり、
拡大は一定値を有するズームを有し、前記ディスプレイは一定エリアを有し、前記システムはさらに、
前記非一時的コンピュータ可読媒体内に含まれる指示を前記プロセッサが実行することにより前記円状画像の径を検出することと；
前記検出された前記円状画像の径が前記ディスプレイの領域の最大部分に収まるように前記拡大の前記ズームの値を調節する指示を、前記非一時的コンピュータ可読媒体内に含まれる指示を前記プロセッサが実行することにより送信することとを含み；
前記ズームの値を調節する前記指示の前記送信することは、（ａ）前記顕微鏡の前記視野の光学ズームを調節するために指示を前記顕微鏡へ送信すること；及び（ｂ）前記リアルタイムビデオ信号の前記視野のデジタルズームを調節するために指示を前記ディスプレイへ送信することから選択される、システム。
前記視野の中心は前記ディスプレイ上の設定位置に対応する、請求項１に記載のシステム。
前記ディスプレイ上の前記設定位置は前記ディスプレイの中心である、請求項２に記載のシステム。
前記ディスプレイは長方形ディスプレイであり、前記ディスプレイ上の前記設定位置は前記長方形ディスプレイの長辺間の中点における位置である、請求項２に記載のシステム。
前記円状画像は前記眼の瞳を通じて見える前記患者の眼の内部の照明された部分に対応する、請求項１に記載のシステム。
電動顕微鏡ヘッド支持体へ送信される前記移動指示は速度のパラメータを含み、前記速度の値は前記視野の中心の前記位置と前記円状画像の中心との間の距離に応じて可変である、請求項１に記載のシステム。
前記移動指示の前記速度の値は前記視野の中心の前記位置と前記円状画像の中心との間の距離の増加と共に増加する、請求項６に記載のシステム。
前記移動指示の前記速度の値は直線的に増加する、請求項７に記載のシステム。
前記移動指示の前記速度の値は非直線的に増加する、請求項７に記載のシステム。
前記円状画像の前記検出のために前記プロセッサにより実行される前記非一時的コンピュータ可読媒体に含まれる前記指示は円Ｈｏｕｇｈ変換アルゴリズムを含む、請求項１に記載のシステム。
前記眼科手術は硝子体網膜手術を含む、請求項１に記載のシステム。
前記リアルタイムビデオ信号は３Ｄビデオ信号である、請求項１に記載のシステム。
ＮＧＥＮＵＩＴＹ（登録商標）３Ｄ可視化システムを含む、請求項１に記載のシステム。
請求項１から請求項１３の何れか１項に記載のシステムによって、眼科手術中に高倍率下で患者の眼の視野をＸＹ面内で自動的にセンタリングする方法であって、
顕微鏡により高倍率下で前記患者の眼を含む視野を表すリアルタイムビデオ信号を、非一時的コンピュータ可読媒体に含まれる指示を実行するプロセッサにより光センサから取得する工程であって、前記視野は正面向きＸＹ面を含む、工程と；
前記非一時的コンピュータ可読媒体に含まれる指示を実行する前記プロセッサを介し、前記リアルタイムビデオ信号に対応する前記視野内の少なくとも１つのビューをディスプレイ上に表示する工程と；
前記非一時的コンピュータ可読媒体に含まれる指示を実行する前記プロセッサにより前記リアルタイムビデオ信号内の円状画像を検出する工程であって、前記円状画像は前記視野内の標的画像を含む、工程と；
前記視野の前記ＸＹ面内の前記円状画像の中心の前記位置を、前記非一時的コンピュータ可読媒体に含まれる指示を実行する前記プロセッサにより判断する工程と；
前記ＸＹ面内の前記視野の中心の前記位置を、前記非一時的コンピュータ可読媒体に含まれる指示を実行する前記プロセッサにより判断する工程と；
前記円状画像の中心の前記位置と前記視野の中心の前記位置とを前記非一時的コンピュータ可読媒体に含まれる指示を実行する前記プロセッサにより比較する工程と；
前記円状画像の中心の前記位置と前記視野の中心の前記位置との差を判断すると、前記ＸＹ面内の前記顕微鏡視野の位置を移動するように構成された電動顕微鏡支持体へ移動指示を、非一時的コンピュータ可読メモリに含まれる指示を実行する前記プロセッサにより送信する工程であって、前記移動指示は前記視野の中心を前記円状画像の中心の前記位置に置くように前記顕微鏡視野の移動を指示し；これにより、眼科手術中に高倍率下の前記患者の眼の前記視野から取得される前記リアルタイムビデオ信号内に検出された前記円状画像の中心へ前記視野の中心を自動的に移動する、工程と、を含む方法。