JP6819223B2 - 眼科情報処理装置、眼科情報処理プログラム、および眼科手術システム - Google Patents

Description

本開示は、眼科手術中に各種情報をユーザに表示するための眼科情報処理装置、眼科情報処理プログラム、および眼科手術システムに関する。

眼科手術中に各種情報をユーザ（例えば術者等）に表示するための技術が知られている。例えば、特許文献１には、光断層干渉計（Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ：ＯＣＴ）を用いたＯＣＴ装置と、患者眼の内部を拡大表示する手術顕微鏡を、手術中に同時に使用する技術が開示されている。

特開２０１４−２０７９７６号公報

手術顕微鏡では、組織表面（例えば、角膜表面、強膜表面、または網膜表面等）を適切に立体視することができるが、組織表面よりも深部の情報を適切にユーザに把握させることが困難な場合がある。

本開示の典型的な目的は、手術顕微鏡を用いて手術が行われる際に、組織表面よりも深部の情報を適切にユーザに把握させることが可能な眼科情報処理装置、眼科情報処理プログラム、および眼科手術システムを提供することである。

本開示における典型的な実施形態が提供する眼科情報処理装置は、眼科手術中に各種情報をユーザに表示するための眼科手術システムにおいて、情報の表示を制御する眼科情報処理装置であって、前記眼科手術システムは、患者眼からの観察光束を撮影素子に導光する観察光学系を有し、手術中に前記患者眼をユーザに観察させる手術顕微鏡と、前記患者眼の生体組織のうち、前記手術顕微鏡によって観察可能な組織表面よりも深部の情報を取得する深部情報取得部と、を備え、前記手術顕微鏡は、前記ユーザの右眼用の観察光束を前記患者眼から前記撮影素子に導光すると共に、前記ユーザの左眼用の観察光束を前記患者眼から前記撮影素子に導光し、前記ユーザの右眼で観察される観察画像と、前記ユーザの左眼で観察される観察画像をディスプレイに表示させることで、前記患者眼を前記ユーザに立体視させ、前記眼科情報処理装置の制御部は、前記手術顕微鏡によって前記ユーザが観察する顕微鏡画像に、前記深部情報取得部によって取得された前記深部の情報に基づく付加情報を重畳表示させる。

本開示における典型的な実施形態が提供する眼科情報処理プログラムは、眼科手術中に各種情報をユーザに表示するための眼科手術システムにおける眼科情報処理装置によって実行される眼科情報処理プログラムであって、前記眼科手術システムは、患者眼からの観察光束を撮影素子に導光する観察光学系を有し、手術中に前記患者眼をユーザに観察させる手術顕微鏡と、前記患者眼の生体組織のうち、前記手術顕微鏡によって観察可能な組織表面よりも深部の情報を取得する深部情報取得部と、を備え、前記手術顕微鏡は、前記ユーザの右眼用の観察光束を前記患者眼から前記撮影素子に導光すると共に、前記ユーザの左眼用の観察光束を前記患者眼から前記撮影素子に導光し、前記ユーザの右眼で観察される観察画像と、前記ユーザの左眼で観察される観察画像をディスプレイに表示させることで、前記患者眼を前記ユーザに立体視させ、前記眼科情報処理装置の制御部によって前記眼科情報処理プログラムが実行されることで、前記手術顕微鏡によって前記ユーザが観察する顕微鏡画像に、前記深部情報取得部によって取得された前記深部の情報に基づく付加情報を重畳表示させる付加情報表示ステップを前記眼科情報処理装置に実行させる。

本開示に係る眼科情報処理装置、眼科情報処理プログラム、および眼科手術システムによると、手術顕微鏡を用いて手術が行われる際に、組織表面よりも深部の情報を適切にユーザに把握させることができる。

眼科手術システム１００の概略構成を示す図である。 ガイダンス情報表示処理の一例を示すフローチャートである。 正面観察画像６０の一例を示す図である。 二次元断層画像７０の一例を示す図である。 断層画像を解析することで得られるマッピングデータを図式化したマッピング画像の一例を示す図である。 顕微鏡画像８０が表示されたディスプレイ５７の表示領域の一例を示す図である。 顕微鏡画像９０に断層画像９２が重畳表示された状態の一例を示す図である。

＜概要＞
本開示で例示する医療情報処理装置（一例として、以下の実施形態では眼科情報処理装置）は、手術中に各種情報をユーザに表示するための手術システムにおいて、情報の表示を制御する。手術システムは、手術顕微鏡と深部情報取得部を備える。手術顕微鏡は、生体からの観察光束を導光する観察光学系を有し、手術中に生体をユーザに観察させる。深部情報取得部は、生体組織のうち、手術顕微鏡によって観察可能な組織表面よりも深部の情報を取得する。情報処理装置の制御部は、手術顕微鏡によってユーザが観察する顕微鏡画像に、深部情報取得部によって取得された深部の情報に基づく付加情報を重畳表示させる。従って、ユーザは、付加情報が重畳表示された顕微鏡画像を見ることで、組織表面よりも深部の情報を適切に手術中に把握することができる。

手術システムは、手術顕微鏡と深部情報取得部が一体となった１つのデバイスであってもよいし、手術顕微鏡と、手術顕微鏡とは別のデバイスである深部情報取得装置とを備えたシステムであってもよい。また、情報の表示を制御する制御部は、手術顕微鏡に設けられた制御部であってもよいし、深部情報取得装置に設けられた制御部であってもよい。この場合、手術顕微鏡または深部情報取得装置が、上記の医療情報処理装置として機能する。また、手術顕微鏡と深部情報取得装置の各々に接続されたパーソナルコンピュータ等の制御部が、情報の表示を制御してもよい。複数のデバイス（例えば、手術顕微鏡と深部情報取得装置）の各々に設けられた制御部が、共同して情報の表示を制御してもよい。

なお、深部の情報および付加情報は、手術前に予め取得および生成されていてもよい。この場合、手術前に取得された深部の情報に基づく付加情報が、手術中に適切に表示される。また、深部の情報および付加情報は、手術中にリアルタイムに、または手術中の複数のタイミングで（例えば一定の時間間隔で）取得および生成されてもよい。この場合、手術中における深部の情報に基づく付加情報が適切に更新される。また、「深部の情報に基づく付加情報」は、深部の情報そのものであってもよいことは言うまでもない。

制御部は、深部情報取得部によって深部の情報が取得された生体組織の位置に基づいて、顕微鏡画像に写る生体組織に対して付加情報を重畳表示させる位置を決定してもよい。この場合、深部の情報に基づく付加情報が、顕微鏡画像上の適切な位置に重畳表示される。よって、ユーザは、顕微鏡画像と付加情報をより適切に比較することができる。

手術顕微鏡は撮影素子を備えていてもよい。撮影素子は、観察光学系によって導光された観察光束を受光することで、患者眼の顕微鏡画像を撮影する。制御部は、深部の情報が取得された際に撮影された生体組織の画像（以下、「観察画像」という）と、手術顕微鏡の撮影素子によって撮影された生体組織の顕微鏡画像とに基づいて、付加情報を重畳表示させる位置を決定してもよい。この場合、顕微鏡画像の適切な位置に付加情報が重畳表示される。

なお、付加情報を重畳表示させる位置を画像によって決定するための具体的な方法は、適宜選択できる。例えば、制御部は、観察画像と顕微鏡画像の各々に対して画像処理を行い、画像に含まれる特徴部位（例えば、眼底の場合には、視神経乳頭、黄斑、および眼底血管等の少なくともいずれか）の位置を検出してもよい。制御部は、深部情報が取得された位置と特徴部位の観察画像上の位置関係と、付加情報の重畳位置と特徴部位の顕微鏡画像上の位置関係とが一致するように、付加情報を重畳表示させる位置を決定してもよい。制御部は、観察画像および顕微鏡画像の各々に座標を設定し、それぞれの座標を用いて付加情報を重畳表示させる位置を決定してもよい。

制御部は、顕微鏡画像から生体組織の動きを検出し、検出した動きに基づいて、付加情報を重畳表示させる位置および方向の少なくともいずれかを追従させてもよい。この場合、顕微鏡画像に写っている生体組織が動いても、付加情報が重畳される位置が適切な位置に維持される。

深部情報取得部は、生体組織の断層画像を撮影することで深部の情報を取得する断層画像撮影部であってもよい。この場合、ユーザは、断層画像によって得られる深部情報を、顕微鏡画像を見ながら容易且つ適切に把握することができる。

なお、断層画像撮影部の構成には種々の構成を適用できる。例えば、光コヒーレンストモグラフィ（ＯＣＴ）の原理を用いて断層画像を撮影する光干渉断層計、シャインプルークの原理を用いて断層画像を撮影するシャインプルークカメラ、電波によって生体組織の水分に作用することで断層画像を撮影する磁気共鳴画像（ＭＲＩ）撮影装置、Ｘ線によって断層画像を取得するコンピュータ断層画像（ＣＴ）撮影装置等の少なくともいずれかを、断層画像撮影部として適用してもよい。

制御部は、断層画像撮影部によって撮影された断層画像から生体組織の層を検出し、特定の層の有無、特定の層間距離、および特定の層の厚みの少なくともいずれかに基づいて付加情報を生成してもよい。この場合、顕微鏡画像だけでは把握し難い層の状態が、顕微鏡画像に重畳される付加情報によって容易に把握される。

なお、制御部は、検出した層の情報に基づいて自動的に付加情報を生成してもよい。また、制御部は、断層画像、および層の情報の少なくともいずれかを表示手段に表示させると共に、付加情報の重畳位置を選択するためのユーザからの操作指示の入力を受け付けることで、ユーザによって指示された位置に付加情報を重畳表示させてもよい。

制御部は、生体組織のうち特定の層が欠損または存在している位置、および、特定の層間距離または特定の層の厚みが閾値以上または閾値未満である位置の少なくともいずれかを示す付加情報を生成してもよい。この場合、ユーザは、特定の層の有無、層間距離、および層の厚みの少なくともいずれかを、生体組織のそれぞれの位置についてより正確に把握したうえで手術を行うことができる。なお、この「位置」が点の位置だけでなく領域の位置も含むことは言うまでもない。

制御部は、手術顕微鏡によってユーザが立体視する顕微鏡画像に、断層画像撮影部によって撮影された二次元または三次元の断層画像を付加情報として重畳表示させてもよい。この場合、ユーザは、顕微鏡画像だけでは把握し難い断層画像情報を適切に把握しつつ手術を行うことができる。

制御部は、断層画像撮影部によって撮影された生体組織の三次元画像データから、深部の情報を含む正面データを取得してもよい。正面データは、生体組織の深さ方向に交差する二次元の方向に展開されるデータである。制御部は、正面データを付加情報として顕微鏡画像に重畳表示させてもよい。この場合、ユーザは、断層画像撮影部によって得られる深部の情報の二次元分布を、顕微鏡画像上で適切に把握することができる。

なお、生体組織の三次元画像データは、前述したように、光干渉断層計（ＯＣＴ）等によって取得されてもよい。また、三次元画像データから正面データを生成する方法も適宜選択できる。例えば、三次元画像データにおける複数の層の情報に対して、積算処理およびヒストグラム演算等の少なくともいずれかの処理が行われることで、複数の層の情報を含む正面データが生成されてもよい。また、三次元画像データが処理されることで、１つまたは複数の特定の層についての正面データが生成されてもよい。この場合、三次元画像データに対するセグメンテーション処理が行われることで、層毎に三次元データが分離されてもよい。

深部情報取得部は、光コヒーレンストモグラフィの原理を用いてＯＣＴ信号を取得するＯＣＴ部であってもよい。制御部は、モーションコントラストデータおよびＰＳ−ＯＣＴデータの少なくともいずれかを深部の情報として取得し、モーションコントラストデータおよびＰＳ−ＯＣＴデータの少なくともいずれかに基づく付加情報を顕微鏡画像に重畳表示させてもよい。この場合、ユーザは、生体組織の動き、および生体組織の偏光に関する情報の少なくともいずれかを、顕微鏡画像上で適切に把握することができる。

なお、モーションコントラストデータとは、同一位置から異なる時間に取得された複数のＯＣＴ信号を処理することで得られるデータであり、生体組織の動きを示す。モーションコントラストデータは、生体組織における血管の位置を示すデータ（アンジオグラフィーデータ）であってもよい。また、ＰＳ−ＯＣＴデータとは、偏光感受ＯＣＴ（ｐｏｌａｒｉｚａｔｉｏｎ ｓｅｎｓｉｔｉｖｅ ＯＣＴ）によって得られるデータであり、偏光方向が異なる複数の干渉光（例えば、水平偏光成分を持つ干渉光と、垂直偏光成分を持つ干渉光）を同一位置に照射することで得られるデータである。

前記深部情報取得部はレーザ走査型検眼部（ＳＬＯ）であってもよい。レーザ走査型検眼部は、測定光を生体組織上で走査させると共に、生体組織の検査部位と略共役位置に配置された共焦点開口を介して検査部位からの反射光を受光することで、深部の情報を取得する。この場合、ユーザは、レーザ走査型検眼部によって取得される深部の情報を適切に把握しながら、手術顕微鏡を用いた手術を実行することができる。

なお、レーザ走査型検眼部は、波面センサを用いて波面収差を検出し、検出結果に基づいて波面補償デバイスを制御することで画像を撮影する波面補償付レーザ走査型検眼部（ＡＯＳＬＯ）であってもよい。この場合、細胞レベルで把握された深部の情報に基づく付加情報が、顕微鏡画像に適切に重畳表示される。

＜第１実施形態＞
以下、本開示における典型的な実施形態の１つについて、図面を参照して説明する。以下の実施形態では、眼科手術において使用される眼科手術システム１００を例示する。しかし、本実施形態で例示する技術の少なくとも一部は、眼科以外の用途に用いられるシステムおよび装置にも適用できる。図１に示すように、本実施形態で例示する眼科手術システム１００は、手術顕微鏡１、深部情報取得部４０、および制御部５０を備える。

手術顕微鏡１について説明する。本実施形態の手術顕微鏡１は、ベース部２、アーム部４、移動部６、観察装置１０、および操作部４８を備える。

ベース部２は、手術顕微鏡１の土台となる部分である。本実施形態では、後述する制御部５０がベース部２内に内蔵されている。アーム部４は、少なくとも１つの関節部を有し、観察装置１０を可動可能に支持する。本実施形態では、アーム部４の基部はベース部２に接続されており、アーム部４の先端部は移動部６に接続されている。ユーザは、アーム部４の関節部を可動させることで、観察装置１０の位置を手動で移動させることもできる。

移動部６は、観察光学系３０を備えた観察装置１０の位置を移動させる。一例として、本実施形態の観察光学系移動部６は、ＸＹ移動部７およびＺ移動部８を備える。ＸＹ移動部７は、アーム部４およびＺ移動部８に接続されている。さらに、Ｚ移動部８には観察装置１０が接続されている。ＸＹ移動部７が駆動されると、Ｚ移動部および観察装置１０が、観察光束ＲＳ，ＬＳに交差する方向（ＸＹ方向）に移動する。また、Ｚ移動部８が駆動されると、観察装置１０が観察光束ＲＳ，ＬＳの光軸に沿う方向（Ｚ方向）に移動する。なお、移動部６の構成を変更することも可能である。例えば、ＸＹ移動部に回転機構を利用してもよい。

観察装置１０は、照明光学系２０、ビームスプリッタ２５、および観察光学系３０を備える。照明光学系１０は、観察対象である生体（本実施形態では患者眼Ｅ）を照明する照明光を出射する。照明光学系１０は、観察光学系３０における右眼用の観察光束ＲＳの光軸と同軸とされる照明光と、観察光学系３０における左眼用の観察光束ＬＳの光軸と同軸とされる照明光を出射することが可能である。ただし、照明光は、観察光束ＲＳ，ＬＳの光軸とは異なる角度から観察対象に向けて照射される照明光であってもよい。なお、本実施形態における観察光束ＲＳ，ＬＳとは、観察対象からの光束（例えば、観察対象によって反射された照明光の光束）のうち、ユーザＵによって観察される光を生成するために観察光学系３０によって導光される光束を言う。

ビームスプリッタ２５は、照明光学系１０が出射する照明光の光軸と、観察光学系３０における観察光束ＲＳ，ＬＳの光軸を同軸とする。図１に例示するビームスプリッタ２５は、照明光学系１０から出射された照明光の少なくとも一部を反射させると共に、観察対象からの観察光束ＲＳ，ＬＳの少なくとも一部を透過させることで、照明光の光軸と観察光束ＲＳ，ＬＳの光軸を同軸とする。

観察光学系３０は、観察対象をユーザに観察（本実施形態では立体視）させるために、観察対象である患者眼からの観察光束を導光する。本実施形態の手術顕微鏡１は、ユーザＵの右眼で観察される観察画像と、ユーザＵの左眼で観察される観察画像をディスプレイ（本実施形態では立体画像表示装置）５７に表示させることで、観察対象をユーザＵに立体視させる。従って、観察光学系３０は、観察対象からの右眼用の観察光束ＲＳを右眼用撮影素子３６Ｒに導光すると共に、左眼用の観察光束ＬＳを左眼用撮影素子３６Ｌに導光する。制御部４０は、２つの撮影素子３６Ｒ，３６Ｌによる撮影信号に基づいて、ディスプレイ４７の画像表示を制御する。なお、観察対象を立体視させるためのディスプレイには、例えば、３Ｄディスプレイ、ステレオビューア、またはヘッドマウントディスプレイ等の各種デバイスを採用できる。また、右眼用の観察光束ＲＳが導光される右眼用撮影素子３６Ｒと、左眼用の観察光束ＬＳが導光される左眼用撮影素子３６Ｌが別々に設けられている必要は無い。例えば、１つの撮影素子の撮影エリア内に、右眼用の観察光束ＲＳが導光されるエリアと、左眼用の観察光束ＬＳが導光されるエリアがそれぞれ設けられていてもよい。

観察光学系３０は、対物レンズ３１、レンズ群３３、および、前述した撮影素子３６Ｒ，３６Ｌを備える。対物レンズ３１およびレンズ群３３は、対物レンズ３１から出射された観察光束ＲＳ，ＬＳを、撮影素子３６Ｒ，３６Ｌに導光する。本実施形態では、レンズ群３３におけるレンズの少なくとも一部が、観察光束ＲＳ，ＬＳの光軸方向に移動される。その結果、ディスプレイ４０に表示される観察画像の倍率が変更される。

また、観察光学系３０は、ユーザＵに接眼レンズを覗かせて観察対象を立体視させるための構成を備えていてもよい。この場合、観察光学系３０は、右眼用の観察光束ＲＳをユーザＵの右眼用の接眼レンズに導光すると共に、左眼用の観察光束ＬＳをユーザＵの左眼用の接眼レンズに導光すればよい。また、硝子体手術を行う場合等には、患者眼Ｅの眼底をより広い角度でユーザに観察させるための広角観察ユニットが、対物レンズ３１と患者眼Ｅの間の光路上に付加的に設けられてもよい。

操作部５８は、ユーザＵが各種操作指示を眼科手術システム１００に入力するために、ユーザによって操作される。本実施形態では、操作部５８として、ユーザＵの足で操作されるフットスイッチが少なくとも設けられている。従って、ユーザＵは、手術器具等を手で扱いながら、各種操作指示をフットスイッチから入力することができる。ただし、フットスイッチと共に、またはフットスイッチの代わりに、他のデバイス（例えば、各種ボタンおよびタッチパネル等）が操作部５８として用いられてもよい。

深部情報取得部４０について説明する。深部情報取得部４０は、手術顕微鏡１によって観察可能な組織表面よりも深部の情報（以下、「深部情報」という）を取得することができる。一例として、本実施形態の深部情報取得部４０は、作動位置と退避位置に移動することができる。作動位置とは、深部情報取得部４０の少なくとも一部が観察光学系３０と患者眼Ｅの間にある位置である。退避位置とは、作動位置から離れた位置である。深部情報取得部４０が作動位置にある場合、眼科手術システム１００は、手術顕微鏡１による患者眼Ｅの観察と、深部情報取得部４０による深部情報の取得とを並行して実行することも可能である。ただし、深部情報は、手術顕微鏡１による患者眼Ｅの観察が行われてない間（例えば、手術前等）に深部情報取得部４０によって取得されてもよい。

第１実施形態における深部情報取得部４０には、生体組織（本実施形態では患者眼Ｅ）の断層画像（二次元断層画像および三次元断層画像の少なくともいずれか）を撮影することで深部情報を取得する断層画像撮影部が用いられている。

一例として、第１実施形態では、光コヒーレンストモグラフィ（ＯＣＴ）の原理を用いて断層画像を撮影する光干渉断層計が、断層画像撮影部として用いられる。光干渉断層計は、ＯＣＴ光源、カップラー、測定光学系、参照光学系、検出器、および正面観察光学系を備える。ＯＣＴ光源は、ＯＣＴ信号を取得するための光を出射する。カップラーは、ＯＣＴ光源から出射された光を測定光と参照光に分割する。また、本実施形態のカップラーは、生体組織によって反射された測定光と、参照光学系によって生成された参照光とを合成し、合成された干渉光を検出器に受光させる。測定光学系は、カップラーによって分割された測定光を生体組織に導くと共に、生体組織によって反射された測定光をカップラーに戻す。また、測定光学系には、測定光を走査させる走査部が設けられている。参照光学系は、カップラーによって分割された参照光をカップラーに戻す。検出器は、測定光と参照光の干渉信号を検出する。一例として、本実施形態ではフーリエドメインＯＣＴの原理が採用されている。フーリエドメインＯＣＴでは、干渉光のスペクトル強度（スペクトル干渉信号）が検出器によって検出され、スペクトル強度データに対するフーリエ変換によって複素ＯＣＴ信号が取得される。複素ＯＣＴ信号から断層画像が取得される。正面観察光学系は、生体組織の正面観察画像（測定光の光軸に略一致する正面方向から生体組織を観察した画像）を得る。なお、正面観察光学系による正面観察画像の代わりに、ＯＣＴ信号を用いて生体組織を正面方向から二次元的に表現する画像（所謂ｅｎ−ｆａｃｅ画像）が用いられてもよい。

なお、断層画像撮影部の構成として、光干渉断層計以外の構成が用いられてもよい。例えば、シャインプルークカメラ、磁気共鳴画像（ＭＲＩ）撮影装置、コンピュータ断層画像（ＣＴ）撮影装置等の少なくともいずれかの構成が、断層画像撮影部の構成として採用されてもよい。また、光干渉断層計によって取得されるＯＣＴ信号から、モーションコントラストデータおよびＰＳ−ＯＣＴデータの少なくともいずれかが深部情報として取得されてもよい。モーションコントラストデータとは、同一位置から異なる時間に取得された複数のＯＣＴ信号を処理することで得られるデータであり、生体組織の動きを示す。また、ＰＳ−ＯＣＴデータとは、偏光感受ＯＣＴ（ｐｏｌａｒｉｚａｔｉｏｎ ｓｅｎｓｉｔｉｖｅ ＯＣＴ）によって得られるデータであり、偏光方向が異なる複数の干渉光（例えば、水平偏光成分を持つ干渉光と、垂直偏光成分を持つ干渉光）を同一位置に照射することで得られるデータである。

制御部５０について説明する。制御部５０は、眼科手術システム１００の各種制御を司る。一例として、本実施形態の制御部５０は、ディスプレイ５７における情報の表示の制御等を行う。制御部５０は、ＣＰＵ５１、ＲＡＭ５２、ＲＯＭ５３、および不揮発性メモリ（ＮＶＭ）５４を備える。ＣＰＵ５１は各種制御を行うコントローラである。ＲＡＭ５２は各種情報を一時的に記憶する。ＲＯＭ５３には、ＣＰＵ５１が実行するプログラム、および各種初期値等が記憶されている。不揮発性メモリ５４は、電源の供給が遮断されても記憶内容を保持できる非一過性の記憶媒体である。後述する各種処理を実行するための眼科情報処理プログラムは、不揮発性メモリ５４に記憶されていてもよい。

なお、本実施形態では、一例として、手術顕微鏡１に設けられた制御部５０が、眼科手術システム１００の制御を司る制御部として機能する場合を例示する。しかし、眼科手術システム１００の制御を司る制御部（つまり、眼科情報処理プログラムを実行する制御部）の構成は、適宜変更できる。例えば、深部情報取得装置に設けられた制御部が、眼科手術システム１００の制御を司ってもよい。手術顕微鏡１および深部情報取得装置に接続されたパーソナルコンピュータ（図示せず）の制御部が、眼科手術システム１００を制御してもよい。また、複数の装置の各々に設けられた制御部（例えば、手術顕微鏡１の制御部５０と、深部情報取得装置の制御部）が協同して、眼科手術システム１００を制御してもよい。

図２〜図６を参照して、第１実施形態における眼科手術システム１００の制御部５０が実行するガイダンス情報表示処理について説明する。制御部５０のＣＰＵ５１は、ＮＶＭ５４に記憶された眼科情報処理プログラムに従って、図２に示すガイダンス情報表示処理を実行する。

第１実施形態で例示するガイダンス情報表示処理では、制御部５０は、患者眼Ｅの眼底における特定の２つの層の間の距離（層間距離）が閾値以上である位置を示すガイダンス情報を、顕微鏡画像に付加情報として重畳表示する。例えば、黄斑円孔や黄斑上膜等の手術（内境界膜剥離術）において内境界膜（ＩＬＭ）を剥離する場合に、内境界膜と網膜の癒着が強い部分を無理に牽引すると網膜剥離が生じ得る。従って、内境界膜剥離術では、ユーザは、網膜との癒着が極力弱い部位から内境界膜の剥離を開始することを望む場合がある。従って、第１実施形態では、制御部５０は、内境界膜の層と、内境界膜の直下の神経繊維層との間の距離が閾値以上である位置（領域でもよい）を、内境界膜の癒着が弱い可能性が高い位置として、ガイダンス情報によってユーザに提示する。

まず、ＣＰＵ５１は、深部情報取得部４０によって取得される深部情報である断層画像と、深部情報が取得された際に撮影された生体組織の画像である正面観察画像を得る（Ｓ１）。本実施形態では、深部情報取得部４０によって手術前に取得された断層画像および正面観察画像が用いられる。しかし、手術中に取得された断層画像および正面観察画像が用いられてもよい。なお、手術中に取得された断層画像および正面観察画像が用いられる場合、「深部情報が取得された際に撮影された正面観察画像」は、深部情報取得時に手術顕微鏡１によって撮影された顕微鏡画像であってもよい。

図３は、正面観察画像６０の一例を示す。図３で例示する正面観察画像６０には、患者眼Ｅの眼底の視神経乳頭６１、黄斑６２、および眼底血管６３が写り込んでいる。また、図３に示す例では、正面観察画像６０に写り込んでいる眼底上の走査領域６５内でＯＣＴ測定光が複数回走査（例えば、ラスタースキャン）されることで、走査領域６５における眼底の三次元断層画像が取得される。

図４は、走査領域６５内における１つの走査位置６６（図３参照）における二次元断層画像７０を示す。図４で例示する断層画像７０では、網膜の最も表面側に位置する内境界膜７１の層と、内境界膜７１の直下（１つだけ深い側）に位置する神経繊維層７２とを含む複数の層が写っている。また、図４に示す眼底では、内境界膜７１が神経繊維層７２から剥がれて空間７３が生じている。空間７３では、深部情報取得部４０によって得られるＯＣＴ信号が弱くなる。さらに、図４に示す眼底では、内境界膜７１が欠損している部位７４が存在する。

次いで、ＣＰＵ５１は、Ｓ１で取得した正面観察画像６０に対して座標を設定する（Ｓ２）。一例として、本実施形態では、ＣＰＵ５１は、正面観察画像６０に対して画像処理を行うことで、画像に含まれる特徴部位（例えば、視神経乳頭６１、黄斑６２、および眼底血管６３の少なくともいずれか）を検出する。ＣＰＵ５１は、検出した特徴部位の位置および方向を基準として、正面観察画像６０に対して二次元方向（正面観察画像６０の撮影光の光軸に交差するＸＹ方向）の座標を設定する。

次いで、ＣＰＵ５１は、深部情報である断層画像に基づいて、ガイダンス情報の位置を決定する（Ｓ３）。詳細には、ＣＰＵ５１は、深部情報取得部４０によって深部情報（本実施形態では断層画像）が取得された生体組織の位置に基づいて、顕微鏡画像に対してガイダンス情報を重畳表示させる位置を決定する。ガイダンス情報とは、ユーザによる手術を補助するために深部情報に基づいて生成される付加情報である。一例として、本実施形態のＣＰＵ５１は、特定の層間距離（内境界膜７１の層と神経繊維層７２の間の距離Ｄ）が閾値以上である眼底上の領域（図４における領域Ｅ１）が、ガイダンス情報によって示される。

詳細には、ＣＰＵ５１は、Ｓ１で取得した断層画像を解析することで、層間距離Ｄの分布を二次元的に示すマッピングデータを生成する。図５は、マッピングデータを図式化したマッピング画像７６の一例を示す。図５で例示するマッピング画像７６では、層間距離Ｄが等しい位置を示す等高線によって、層間距離Ｄの分布が示されている。なお、層間距離Ｄの分布を示す方法を適宜選択できることは言うまでもない。例えば、層間距離Ｄが等しい位置を同一の色とし、層間距離Ｄの変化に応じて色を変化させることで、層間距離Ｄの二次元的な分布を示してもよい。ＣＰＵ５１は、層間距離Ｄが閾値以上である層離間領域の、正面観察画像６０における座標上の位置を、マッピングデータに基づいて特定する。ＣＰＵ５１は、特定した層離間領域の位置を、顕微鏡画像にガイダンス情報を重畳表示させる位置として決定する。一例として、図５では、領域の外周を囲う枠７７によって層離間領域が示されている。

なお、本実施形態では、ＣＰＵ５１は、ユーザが操作部５８を操作することで入力された指示に基づいて、層間距離Ｅの閾値が設定される。従って、ユーザが所望する適切なガイダンス情報が表示される。しかし、閾値の設定方法を変更することも可能である。例えば、閾値は予め定められた固定値であってもよい。

次いで、ＣＰＵ５１は、深部情報取得部４０によって深部情報（本実施形態では断層画像）が取得された生体組織の位置に基づいて、顕微鏡画像に対してガイダンス情報を重畳表示させる位置を決定する（Ｓ４，Ｓ５）。

一例として、ＣＰＵ５１は、手術顕微鏡１の撮影素子３６Ｒ，３６Ｌによって撮影された顕微鏡画像を正面観察画像６０と比較することで、両方の画像における座標の相関関係を設定する（Ｓ４）。詳細には、ＣＰＵ５１は、手術顕微鏡１によってリアルタイムに撮影されている顕微鏡画像に対して画像処理を行うことで、Ｓ２と同様に、顕微鏡画像に対して座標を設定する。ＣＰＵ５１は、顕微鏡画像の座標と正面観察画像６０の座標を比較することで、２つの座標の相関関係（例えば、座標の位置ずれおよび角度ずれ等）を設定することができる。

次いで、ＣＰＵ５１は、Ｓ４で設定した座標の相関関係に基づいて、顕微鏡画像のうちＳ３で決定した座標上の位置に、ガイダンス情報を重畳表示させる（Ｓ５）。図６は、顕微鏡画像８０が表示された状態のディスプレイ５７の表示領域の一例を示す。図６に示す例では、リアルタイムに撮影されている顕微鏡画像８０上に、層離間領域の外周の位置を示すガイダンス情報８１が重畳表示されている。従って、ユーザは、層離間領域の位置を手術中に適切に把握することができる。詳細には、本実施形態では、ユーザは、内境界膜７１と神経繊維層７２が離間した領域の位置（つまり、内境界膜７１と神経繊維層７２の癒着が弱い可能性が高い位置）を、ガイダンス情報８１によって容易に把握することができる。なお、ガイダンス情報の具体的な表示方法を適宜選択できることは言うまでもない。例えば、ＣＰＵ５１は、層離間領域８０の内側の色と外側の色を変化させることで、層離間領域の位置を表示してもよい。また、ＣＰＵ５１は、層離間領域内の１つの点（例えば中心点）の位置を示すことで、層離間領域の位置を示してもよい。

なお、図６に示すように、本実施形態のＣＰＵ５１は、ガイダンス情報８１が重畳された顕微鏡画像８０と共に、断層画像撮影時の正面観察画像６０、マッピング画像７７、および断層画像７０をディスプレイ５７に並べて表示させる。従って、ユーザは、深部情報（本実施形態では断層画像）によって得られる情報を、より適切に手術中に把握することができる。なお、ＣＰＵ５１は、正面観察画像６０、マッピング画像７７、および断層画像８０のうちの１つまたは２つのみを並べて表示させてもよいし、これらの表示を省略してもよい。また、ＣＰＵ５１は、三次元断層画像を顕微鏡画像８０と並べて表示させてもよい。ＣＰＵ５１は、付加情報（図６ではガイダンス情報８１）の重畳表示を行うか否かを、ユーザによる操作指示に応じて切り換えてもよい。この場合、ユーザは、付加情報の重畳表示を所望の場合にのみ実行させることができる。

次いで、ＣＰＵ５１は、ガイダンス情報８１の表示位置のトラッキングを開始する（Ｓ６）。つまり、ＣＰＵ５１は、顕微鏡画像８０から生体組織（本実施形態では眼底）の動きを検出し、検出した動きに基づいて、ガイダンス情報８１を重畳させる位置および方向の少なくともいずれかを追従させる。一例として、本実施形態では、リアルタイムで撮影されている顕微鏡画像８０に対する画像処理を継続して実行し、顕微鏡画像８０に含まれる特徴部位の位置を逐次検出することで、顕微鏡画像８０に写っている生体組織の動きを検出する。ＣＰＵ５１は、生体組織の動きに関わらず、Ｓ３で決定した座標上の位置にガイダンス情報８１を常に表示させるように、ガイダンス情報８１の表示位置のトラッキングを実行する。

なお、図２に示した処理を変更することも可能である。例えば、前述したＳ３の処理では、層間距離Ｄが閾値以上である層離間領域の位置が、ガイダンス情報を重畳表示させる位置として決定される。しかし、ＣＰＵ５１は、特定の層間距離が閾値未満である位置を、ガイダンス情報（付加情報）を重畳表示させる位置として決定してもよい。内境界膜７１と神経繊維層７２の層間距離でなく、他の層間距離に基づいて付加情報が生成されてもよい。また、ＣＰＵ５１は、ガイダンス情報を重畳表示させる位置を、層間距離以外の情報に基づいて決定してもよい。例えば、図４に示す例では、内境界膜７１が欠損している領域Ｅ２が存在する。内境界膜７１が欠損している部位から剥離を開始することで、網膜剥離の発生が抑制される可能性がある。従って、ＣＰＵ５１は、特定の層（本実施形態では内境界膜７１の層）が欠損または存在している位置を、ガイダンス情報を重畳表示させる位置として決定してもよい。また、ＣＰＵ５１は、内境界膜７１以外の層の有無に基づいて付加情報を生成してもよい。ＣＰＵ５１は、特定の層の厚みが閾値以上または閾値未満である位置を、付加情報を重畳表示させる位置として決定してもよい。

ＣＰＵ５１は、層の検出結果以外の情報を断層画像から検出して付加情報を生成してもよい。例えば、生体組織に空間（例えば、図４に示す空間７３）が生じている場合、空間７３では周囲に比べてＯＣＴ信号が弱くなる。従って、ＣＰＵ５１は、ＯＣＴ信号の強度が閾値以上または閾値未満である領域を検出することで付加情報を生成してもよい。また、
ＣＰＵ５１は、眼底表面の陥没量等を検出し、検出した結果に基づいて付加情報を生成してもよい。

また、ＣＰＵ５１は、生体組織の三次元画像データ（本実施形態では、光干渉断層計によって撮影される三次元断層画像データ）から、深部の情報を含む正面データを取得してもよい。正面データは、深部の情報を含むデータをＸＹ方向（深さ方向に交差する方向）に二次元的に展開し、深部の情報を含むデータの分布を患者眼Ｅの正面方向から把握させるものである。ＣＰＵ５１は、正面データを付加情報として顕微鏡画像に重畳表示させてもよい。正面データは、例えば、複数の層に対して積算処理およびヒストグラム演算等が行われることで生成されてもよい。また、正面画像データは、生体組織における特定の層についてのデータであってもよい。

また、ＣＰＵ５１は、前述したモーションコントラストデータおよびＰＳ−ＯＣＴデータの少なくともいずれかを深部情報として取得し、取得したデータに基づいて付加情報を生成してもよい。付加情報は、モーションコントラスト画像またはＰＳ−ＯＣＴ画像そのものであってもよいし、データを処理することで得られる他の情報であってもよい。

また、図２〜図６では、硝子体手術中において眼底の顕微鏡画像に付加情報を重畳表示させる場合を例示した。しかし、図２〜図６で例示した技術の少なくとも一部を他の場面で適用することも可能である。例えば、眼科手術においては、白内障手術、緑内障手術（インプラント挿入術等）、角膜移植手術、人工網膜設置手術等が行われる際に、顕微鏡画像に付加情報を重畳表示させてもよい。

＜第２実施形態＞
図７を参照して、本開示における第２実施形態について説明する。第２実施形態における眼科手術システムの構成には、第１実施形態における眼科手術システム１００と同様の構成を採用できる。従って、システムの構成の説明は省略する。第２実施形態では、制御部５０のＣＰＵ５１は、手術顕微鏡１によってユーザが立体視する顕微鏡画像に、深部情報取得部４０（断層画像撮影部）によって撮影された断層画像を付加情報として立体的に重畳表示させる。

図７に示す例では、ＣＰＵ５１は、患者眼Ｅの前眼部を立体視する顕微鏡画像９０に、二次元の断層画像９２を立体的に重畳表示させている。ＣＰＵ５１は、深部情報取得部４０によって断層画像９２が取得された生体組織上の位置および方向と、顕微鏡画像９０に写る生体組織において断層画像９２を重畳表示させる位置および方向とを一致させる。その結果、顕微鏡画像９０上の適切な位置に、適切な方向で断層画像９２が重畳表示される。なお、断層画像９２を重畳表示させる位置および方向を決定する方法は、適宜選択できる。例えば、ＣＰＵ５１は、深部情報取得部４０によって取得される生体組織の三次元データを、手術顕微鏡１によって撮影された生体組織と比較することで、断層画像９２を重畳表示させる位置および方向を決定してもよい。また、ジャイロセンサ、三角測量等を利用することも可能である。

また、ＣＰＵ５１は、手術顕微鏡１によってリアルタイムに撮影されている顕微鏡画像９０から生体組織の動きを検出し、検出した動きに基づいて、断層画像９２を重畳表示させる位置および方向を追従させる。従って、生体組織が動いた場合でも、断層画像９２が重畳表示される位置が適切な位置に維持される。

なお、図７で例示された顕微鏡画像９０で観察可能な生体組織の表面は、角膜表面および強膜表面等である。これに対し、図７で例示された断層画像９２の撮影範囲には、顕微鏡画像９０では観察することが困難な患者眼Ｅの隅角が含まれている。従って、ユーザは、例えば緑内障インプラント挿入手術等において、手術顕微鏡１だけでは観察することが困難な隅角の形状を、手術中に適切に把握することが可能である。しかし、第２実施形態で例示した技術の少なくとも一部を他の場面で適用することも可能である。例えば、白内障手術において、顕微鏡画像９１に患者眼Ｅの前眼部（例えば水晶体等を含む部位）の断層画像９２を重畳表示させてもよい。この場合、ユーザは、例えば前房深度、水晶体の後嚢の位置等を把握することが容易になる。また、図７に示す例では、顕微鏡画像９０に二次元の断層画像９２が重畳表示されている。しかし、ＣＰＵ５１は、顕微鏡画像９０に三次元の断層画像を重畳表示させてもよい。

＜第３実施形態＞
本開示における第３実施形態について説明する。以下では、第１実施形態および第２実施形態と異なる構成および処理について説明を行う。第３実施形態における眼科手術システム１００の深部情報取得部４０（図１参照）には、断層画像撮影部の代わりに、レーザ走査型検眼部（ＳＬＯ）が用いられる。レーザ走査型検眼部は、測定光であるレーザ光を生体組織上で走査させると共に、生体組織の検査部位と略共役位置に配置された共焦点開口を介して検査部位からの反射光を受光することで、検査部位の画像を撮影する。レーザ走査型検眼部は、波面補償付レーザ走査型検眼部（ＡＯＳＬＯ）であってもよい。波面補償付レーザ走査型検眼部は、波面センサを用いて波面収差を検出し、検出結果に基づいて波面補償デバイスを制御することで、細胞レベルで生体組織の画像を撮影することもできる。

一例として、第３実施形態の眼科手術システム１００は、レーザ走査型検眼部によって患者眼Ｅの眼底を撮影することで、眼底の網膜よりも深部（例えば、脈絡膜および視細胞等の少なくともいずれか）の情報を取得することができる。第３実施形態では、制御部５０は、断層画像に基づくガイダンス情報（第１実施形態参照）の代わりに、レーザ走査型検眼部によって取得された深部情報に基づく付加情報（例えば、脈絡膜または視細胞の状態を示す付加情報）を、顕微鏡画像上の適切な位置に表示させる。その結果、ユーザは、顕微鏡画像を観察しながら網膜の深部を処理する場合に、網膜の深部の状態を把握しながら適切に処置を行うことができる。

上記第１〜第３実施形態で開示された技術は一例に過ぎない。従って、上記実施形態で例示された技術を変更することも可能である。例えば、上記実施形態の眼科手術システム１００は、ディスプレイ５７に表示される顕微鏡画像に、深部情報に基づく付加情報を表示させる。しかし、接眼レンズを介して生体組織をユーザに立体視させる手術顕微鏡が用いられる場合にも、上記実施形態で例示した技術の少なくとも一部を適用できる。この場合、制御部は、例えば接眼レンズを介して付加情報をユーザの眼に投影することで、顕微鏡画像に付加情報を重畳表示させてもよい。また、図２で例示した処理の順序を変更することも可能である。

１ 手術顕微鏡
３０ 観察光学系
３６Ｒ，３６Ｌ 撮影素子
４０ 深部情報取得部
５０ 制御部
５１ ＣＰＵ
５７ ディスプレイ
６０ 正面観察画像
７０ 断層画像
７６ マッピング画像
８０ 顕微鏡画像
８１ ガイダンス情報
９０ 顕微鏡画像
９２ 断層画像
１００ 眼科手術システム

Claims (3)

1. 眼科手術中に各種情報をユーザに表示するための眼科手術システムにおいて、情報の表示を制御する眼科情報処理装置であって、
   前記眼科手術システムは、
   患者眼からの観察光束を撮影素子に導光する観察光学系を有し、手術中に前記患者眼をユーザに観察させる手術顕微鏡と、
   前記患者眼の生体組織のうち、前記手術顕微鏡によって観察可能な組織表面よりも深部の情報を取得する深部情報取得部と、
   を備え、
   前記手術顕微鏡は、
   前記ユーザの右眼用の観察光束を前記患者眼から前記撮影素子に導光すると共に、前記ユーザの左眼用の観察光束を前記患者眼から前記撮影素子に導光し、前記ユーザの右眼で観察される観察画像と、前記ユーザの左眼で観察される観察画像をディスプレイに表示させることで、前記患者眼を前記ユーザに立体視させ、
   前記眼科情報処理装置の制御部は、
   前記手術顕微鏡によって前記ユーザが観察する顕微鏡画像に、前記深部情報取得部によって取得された前記深部の情報に基づく付加情報を重畳表示させることを特徴とする眼科情報処理装置。
2. 請求項１に記載の眼科情報処理装置であって、
   前記深部情報取得部は、前記生体組織の断層画像を撮影することで前記深部の情報を取得する断層画像撮影部であり、
   前記制御部は、
   前記手術顕微鏡によって前記ユーザが立体視する顕微鏡画像に、前記断層画像撮影部によって撮影された二次元または三次元の断層画像を付加情報として重畳表示させると共に、
   前記断層画像撮影部によって前記断層画像が撮影された生体組織上の位置および方向と、前記顕微鏡画像に写る生体組織において前記断層画像を重畳表示させる位置および方向とを一致させることを特徴とする眼科情報処理装置。
3. 眼科手術中に各種情報をユーザに表示するための眼科手術システムにおける眼科情報処理装置によって実行される眼科情報処理プログラムであって、
   前記眼科手術システムは、
   患者眼からの観察光束を撮影素子に導光する観察光学系を有し、手術中に前記患者眼をユーザに観察させる手術顕微鏡と、
   前記患者眼の生体組織のうち、前記手術顕微鏡によって観察可能な組織表面よりも深部の情報を取得する深部情報取得部と、
   を備え、
   前記手術顕微鏡は、
   前記ユーザの右眼用の観察光束を前記患者眼から前記撮影素子に導光すると共に、前記ユーザの左眼用の観察光束を前記患者眼から前記撮影素子に導光し、前記ユーザの右眼で観察される観察画像と、前記ユーザの左眼で観察される観察画像をディスプレイに表示させることで、前記患者眼を前記ユーザに立体視させ、
   前記眼科情報処理装置の制御部によって前記眼科情報処理プログラムが実行されることで、
   前記手術顕微鏡によって前記ユーザが観察する顕微鏡画像に、前記深部情報取得部によって取得された前記深部の情報に基づく付加情報を重畳表示させる付加情報表示ステップを前記眼科情報処理装置に実行させることを特徴とする眼科情報処理プログラム。
   

Images