JPWO2018105411A1 - 画像処理装置および方法、並びに手術顕微鏡システム - Google Patents

Abstract

本技術は、より快適に手術を行うことができるようにする画像処理装置および方法、並びに手術顕微鏡システムに関する。画像処理装置は、手術対象の眼に対して同軸照明を行うことで得られる同軸照明画像と、眼に対して斜照明を行うことで得られる斜照明画像を取得する画像取得部と、同軸照明画像および斜照明画像に基づいて眼の術野画像を生成するか、または同軸照明画像および斜照明画像の少なくとも何れか一方に基づいて特定領域を検出する画像処理部とを備える。本技術は顕微鏡システムに適用することができる。

Description

本技術は画像処理装置および方法、並びに手術顕微鏡システムに関し、特に、より快適に手術を行うことができるようにした画像処理装置および方法、並びに手術顕微鏡システムに関する。

従来、眼科用の顕微鏡が知られている。例えば眼科用の顕微鏡に関する技術として、施術対象の眼について術中に取得された画像に対して画像認識を行い、その認識結果に基づいて施術対象の眼の断層面を決定することで、適切な断層画像を得ることができるようにしたものが提案されている（例えば、特許文献１参照）。

特開２０１６−７３４０９号公報

ところで、眼科用の顕微鏡においては、観察対象となる眼に対して顕微鏡の観察光学系の光軸方向から照明光を照射する同軸照明と、観察光学系の光軸方向とは異なる方向から照明光を照射する斜照明とを同時に行って、手術対象の眼を観察することが一般的である。

これは、同軸照明を行うことで徹照を得て、水晶体の前嚢や後嚢を良好なコントラストで観察することができ、斜照明を行うことで良好なシャドーコントラストを得て術野を立体的に観察することができるからである。

しかしながら、同軸照明と斜照明を行って手術対象の眼を観察する場合、手術の工程ごと、つまり手技ごとに同軸照明と斜照明の最適な照明強度は異なる。そのため、良好な術野を得るためには、眼の手術中に工程ごとに同軸照明と斜照明の照明強度の調整を行わなければならず、手間が発生してしまう。そうすると、術者等が快適に手術を行うことができなくなってしまう。

本技術は、このような状況に鑑みてなされたものであり、より快適に手術を行うことができるようにするものである。

本技術の第１の側面の画像処理装置は、手術対象の眼に対して同軸照明を行うことで得られる同軸照明画像と、前記眼に対して斜照明を行うことで得られる斜照明画像を取得する画像取得部と、前記同軸照明画像および前記斜照明画像に基づいて前記眼の術野画像を生成するか、または前記同軸照明画像および前記斜照明画像の少なくとも何れか一方に基づいて特定領域を検出する画像処理部とを備える。

前記同軸照明の同軸照明光と、前記斜照明の斜照明光とを互いに異なる波長の光とし、画像処理装置には前記同軸照明と前記斜照明が同時に行われるように制御する制御部をさらに設けることができる。

前記画像取得部には、前記同軸照明光と前記斜照明光とを光学的に分離させて、前記同軸照明画像および前記斜照明画像を取得させることができる。

前記画像取得部には、前記同軸照明光と前記斜照明光を受光して得られたデータから、前記同軸照明画像および前記斜照明画像を取得させることができる。

画像処理装置には、前記同軸照明と前記斜照明が交互に行われるように制御する制御部をさらに設け、前記画像取得部には、前記同軸照明画像と前記斜照明画像とを時分割で取得させることができる。

前記画像処理部には、前記同軸照明画像と前記斜照明画像とを所定の混合比率で混合させて前記術野画像を生成させることができる。

前記画像処理部には、領域ごとに前記混合比率を決定させることができる。

前記画像処理部には、前記同軸照明画像および前記斜照明画像の少なくとも何れか一方に基づいて、術具の領域または前記眼の特定部位の領域を検出させ、その検出結果に基づいて領域ごとに前記混合比率を決定させることができる。

前記画像処理部には、前記術野画像の用途および前記眼の手術の工程の少なくとも何れか一方に基づいて前記混合比率を決定させることができる。

前記画像処理部には、前記同軸照明画像および前記斜照明画像の少なくとも何れか一方に対して強調処理を行わせてから前記術野画像を生成させることができる。

前記画像処理部には、前記同軸照明画像および前記斜照明画像のそれぞれについて、前記術野画像の用途および前記眼の手術の工程の少なくとも何れか一方に基づいて前記強調処理を行うかを決定させることができる。

前記画像処理部には、前記同軸照明画像および前記斜照明画像に基づいて鏡面反射領域を検出させ、その検出結果に基づいて鏡面反射成分が低減された前記術野画像を生成させることができる。

前記画像処理部には、前記特定領域として前記眼の特定部位の領域を検出させることができる。

前記画像処理部には、前記同軸照明画像と前記斜照明画像とを比較させて、前記眼の瞳孔領域を検出させることができる。

画像処理装置には、前記特定部位の領域の検出結果に基づいて、前記同軸照明画像および前記斜照明画像の撮影制御を行う制御部をさらに設けることができる。

前記制御部には、前記撮影制御として露出制御または撮影位置の制御を行わせることができる。

前記画像処理部には、前記眼の前記特定部位の領域の検出結果に基づいて、前記眼の手術の補助のためのガイド情報を生成させることができる。

本技術の第１の側面の画像処理方法は、手術対象の眼に対して同軸照明を行うことで得られる同軸照明画像と、前記眼に対して斜照明を行うことで得られる斜照明画像を取得し、前記同軸照明画像および前記斜照明画像に基づいて前記眼の術野画像を生成するか、または前記同軸照明画像および前記斜照明画像の少なくとも何れか一方に基づいて特定領域を検出するステップを含む。

本技術の第１の側面においては、手術対象の眼に対して同軸照明を行うことで得られる同軸照明画像と、前記眼に対して斜照明を行うことで得られる斜照明画像が取得され、前記同軸照明画像および前記斜照明画像に基づいて前記眼の術野画像が生成されるか、または前記同軸照明画像および前記斜照明画像の少なくとも何れか一方に基づいて特定領域が検出される。

本技術の第２の側面の手術顕微鏡システムは、手術対象の眼に対して同軸照明光を照射し、同軸照明を行う同軸照明光源と、前記眼に対して斜照明光を照射し、斜照明を行う斜照明光源と、前記同軸照明を行うことで得られる同軸照明画像と、前記斜照明を行うことで得られる斜照明画像を取得する画像取得部と、前記同軸照明画像および前記斜照明画像に基づいて前記眼の術野画像を生成するか、または前記同軸照明画像および前記斜照明画像の少なくとも何れか一方に基づいて特定領域を検出する画像処理部とを備える。

本技術の第２の側面においては、手術対象の眼に対して同軸照明光が照射されて同軸照明が行われ、前記眼に対して斜照明光が照射されて斜照明が行われ、前記同軸照明を行うことで得られる同軸照明画像と、前記斜照明を行うことで得られる斜照明画像が取得され、前記同軸照明画像および前記斜照明画像に基づいて前記眼の術野画像が生成されるか、または前記同軸照明画像および前記斜照明画像の少なくとも何れか一方に基づいて特定領域が検出される。

本技術の第１の側面および第２の側面によれば、より快適に手術を行うことができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。

一般的な眼科用の顕微鏡について説明する図である。 斜照明により観察される術野について説明する図である。 同軸照明により観察される術野について説明する図である。 同軸照明により観察される術野での影の視認性について説明する図である。 同軸照明と斜照明により観察される術野での影の視認性について説明する図である。 顕微鏡システムの構成例を示す図である。 画像取得部の構成例を示す図である。 撮影部の構成例を示す図である。 撮影部の他の構成例を示す図である。 撮影部の他の構成例を示す図である。 撮影部の他の構成例を示す図である。 画像取得部の他の構成例を示す図である。 術野画像生成処理を説明するフローチャートである。 同軸照明画像での鏡面反射領域について説明する図である。 斜照明画像での鏡面反射領域について説明する図である。 術野画像での鏡面反射領域について説明する図である。 鏡面反射成分除去処理を説明するフローチャートである。 瞳孔領域検出処理を説明するフローチャートである。 コンピュータの構成例を示す図である。

以下、図面を参照して、本技術を適用した実施の形態について説明する。

〈第１の実施の形態〉
〈本技術について〉
本技術は、同軸照明により手術対象の眼を照明した状態で撮影された同軸照明画像と、斜照明により手術対象の眼を照明した状態で撮影された斜照明画像とを取得することで、同軸照明による映像と斜照明による映像を分離取得することができるようにするものである。これにより、例えば、より簡単に良好な術野を得ることができ、術者等はより快適に手術を行うことができるようになる。

例えば、一般的な眼科用の顕微鏡においては、図１に示すように光軸と完全に同一の方向から被写体を照明する同軸照明と、光軸に対して４度乃至６度だけずれた方向から被写体を照明する斜照明とが存在する。

図１は、一般的な眼科用の顕微鏡の光学系部分を示している。この例では、顕微鏡には接眼レンズの光学系である光学系１１−１および光学系１１−２とともに、斜照明用の光源１２が設けられている。なお、以下、光学系１１−１および光学系１１−２を特に区別する必要のない場合、単に光学系１１とも称する。

光学系１１−１および光学系１１−２は、手術対象の眼を観察するための観察光学系となっており、被写体である眼の観察時にはこれらの光学系１１の一部を介して眼に照明光が照射される。このような観察光学系の光軸方向と同じ方向からの被写体の照明は同軸照明と呼ばれている。

これに対して、眼科用の顕微鏡には光学系１１とずれた位置に光源１２が設けられており、手術対象の眼の観察時には光源１２によっても被写体である眼に対して照明光が照射される。光源１２による照明は、観察光学系である光学系１１の光軸方向とは４度乃至６度だけずれた方向からの照明となり、このような照明は斜照明と呼ばれている。

照明として斜照明のみを行った場合、徹照を得ることができないため、つまり網膜からの反射光を受光することができないため、例えば図２に示すように斜照明を行った状態で観察される術野では十分な視認性を得ることができない。

図２は、斜照明を行った状態で観察される手術対象の眼の部分を示している。

この例では、術野内では手術対象の眼に術具４１が挿入された状態となっているが、照明として斜照明のみを行った状態であるため、眼の後嚢部分などが暗く、十分な視認性が得られていない。

これに対して、同軸照明では徹照を得ることで、例えば図３に示すように透明な水晶体の前嚢や後嚢の観察によいコントラストを得ることができる。しかし、その一方で同軸照明であるため十分なシャドーコントラストを得ることができない。なお、図３において図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図３は、同軸照明を行った状態で観察される手術対象の眼の部分を示している。この例では、術野内では手術対象の眼に術具４１が挿入された状態となっている。

図３に示す術野の例では、矢印Ｑ１１に示す部分は眼の前嚢の縁の部分となっており、同軸照明であるため後嚢など眼の各部が明るく、高い視認性が得られている。例えば矢印Ｑ１２に示す部分では、術具４１の挿入により生じた角膜表面の皺も確認することができる。

しかし、この術野は同軸照明のみの照明となっているため、術野内では術具４１等の影は観察されず、十分なシャドーコントラストを得ることができない。

そのため、眼の手術時には、同軸照明と斜照明とを組み合わせて斜照明によりシャドーコントラストを得ることができるようにすることが一般的である。

例えば図４に示すように、白内障手術における超音波水晶体乳化吸引時に同軸照明のみを行った状態での術野では、高い視認性を得ることができるが術具７１等の影は観察されない。

この例では、矢印Ｑ２１に示す部分は眼の前嚢の縁の部分となっており、同軸照明であるため後嚢など眼の各部で明るく高い視認性が得られている。しかし、術具７１の影や、術具７１の挿入によってできた溝の影などは観察されず、十分なシャドーコントラストが得られていない。

これに対して、例えば図５に示すように、白内障手術における超音波水晶体乳化吸引時に同軸照明と斜照明を同時に行った状態での術野では、高い視認性を得ることができ、かつ十分なシャドーコントラストも得ることができる。なお、図５において図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図５に示す術野内では、術具７１の挿入によってできた溝を観察することができ、さらにその溝の部分に影が見える状態となっている。つまり、十分なシャドーコントラストが得られている。術野を観察する術者等は、このような溝部分の影等の視覚情報から立体感を感じることができる。

さて、例えば白内障手術においては、前嚢切開のようなコントラストが重要な手技と、超音波水晶体乳化吸引時の溝堀時のように立体感の情報もある程度必要な手技とが存在する。

そのため、同軸照明の照明強度と、斜照明の照明強度とのベストなバランスは手技によって異なっており、手術時に良好な術野、つまり視野を得るためには手技ごとに、つまり手術の工程ごとに同軸照明と斜照明の照明強度を適宜調整する手間が発生する。換言すれば、簡単に良好な術野を得ることは困難であった。

また、最近の眼科手術においては、光学顕微鏡の接眼部をカメラに置き換え、ディスプレイに表示された映像を見ながら手術をするヘッズアップサージェリ（Heads up Surgery）が存在する。ヘッズアップサージェリでは、画像処理を用いることがメリットとして挙げられており、例えば照明の光量を減らしたとしても、デジタルゲインにより明るい術野を得ることができる。

しかし、ヘッズアップサージェリにおいても、接眼レンズでの目視による観察時と同様に同軸照明と斜照明の照明強度のバランス制御が必要となり、手間が発生してしまう。

また、同軸照明の照明光と、斜照明の照明光とが混ざった映像しか得ることができないため、例えば画像処理により視認性を向上させるために、前嚢や後嚢のコントラストだけを上げたり、シャドーコントラストだけを上げたりすることは困難である。

そこで、本技術では、同軸照明により手術対象の眼を照明した状態で撮影された同軸照明画像と、斜照明により手術対象の眼を照明した状態で撮影された斜照明画像とを取得することで、より簡単に良好な術野を得ることができるようにした。これにより、手術時の手間が少なくなり、術者等はより快適に手術を行うことができるようになる。

〈顕微鏡システムの構成例〉
それでは、以下、本技術を適用した具体的な実施の形態について説明する。

図６は、本技術を適用した顕微鏡システムの一実施の形態の構成例を示す図である。

図６に示す顕微鏡システム１０１は、眼科ビデオ顕微鏡１１１、表示部１１２−１、および表示部１１２−２を有している。

この顕微鏡システム１０１は、眼科ビデオ顕微鏡１１１において照明と連動した撮影および画像処理を行うことで、これまでの照明の下では得られなかった画像処理を可能にし、その結果、術者に対して良好な術野や、手術をサポートする情報を提供するものである。

顕微鏡システム１０１においては、眼科ビデオ顕微鏡１１１に対して２つの表示部１１２−１および表示部１１２−２が接続されている。

眼科ビデオ顕微鏡１１１は、手術対象、すなわち施術対象となる患者の眼を被写体として撮影を行い、患者の眼を被写体とする術野の画像を術野画像として生成する。また、眼科ビデオ顕微鏡１１１は、得られた術野画像を表示部１１２−１や表示部１１２−２に供給して表示させる。

表示部１１２−１および表示部１１２−２は、例えば液晶ディスプレイなどからなり、眼科ビデオ顕微鏡１１１から供給された術野画像を表示する。以下では、表示部１１２−１および表示部１１２−２を特に区別する必要のない場合、単に表示部１１２とも称することとする。

また、これらの表示部１１２は、用途が異なるディスプレイとされてもよい。例えば表示部１１２−１は、眼の手術を行う術者に対して術野を観察するための術野画像を提示するためのものとされ、表示部１１２−２は手術を観察したり監督したりするための観察者等に対して術野画像を提示するためのものとされてもよい。

したがって、眼科ビデオ顕微鏡１１１では、表示部１１２ごとに異なる術野画像を生成して、得られた複数の術野画像のそれぞれを、複数の表示部１１２のそれぞれに供給することができる。

なお、眼科ビデオ顕微鏡１１１に接続される表示部１１２の数は２つに限らず、いくつであってもよい。すなわち、眼科ビデオ顕微鏡１１１に１つの表示部１１２が接続されるようにしてもよいし、３以上の表示部１１２が接続されるようにしてもよい。

また、眼科ビデオ顕微鏡１１１は、画像取得部１２１、画像記録部１２２、画像処理部１２３、および顕微鏡制御部１２４を有している。

画像取得部１２１は、顕微鏡制御部１２４の制御に従って手術対象となる眼に照明光を照射し、眼を被写体とする画像を取得する。具体的には、画像取得部１２１は、同軸照明を行って得られる同軸照明画像と、斜照明を行って得られる斜照明画像とを取得して、画像記録部１２２および画像処理部１２３に供給する。

ここで、同軸照明により手術対象の眼に対して照射される照明光を同軸照明光と称することとすると、同軸照明画像は、同軸照明光を被写体となる眼に照射し、その眼で反射された同軸照明光を受光して光電変換することにより得られる画像である。

換言すれば、同軸照明画像は、斜照明を行わずに同軸照明のみを行った状態で撮影された手術対象の眼の画像であるともいうことができる。

また、斜照明により手術対象の眼に対して照射される照明光を斜照明光と称することとすると、斜照明画像は、斜照明光を被写体となる眼に照射し、その眼で反射された斜照明光を受光して光電変換することにより得られる画像である。

換言すれば、斜照明画像は、同軸照明を行わずに斜照明のみを行った状態で撮影された手術対象の眼の画像であるともいうことができる。

なお、画像取得部１２１により取得された同軸照明画像および斜照明画像は、画像記録部１２２および画像処理部１２３のうちの何れか一方のみに供給されるようにしてもよい。例えば、同軸照明画像および斜照明画像が画像記録部１２２のみに供給される場合には、画像処理部１２３は、画像記録部１２２から同軸照明画像および斜照明画像を読み出して、画像処理等を行う。

以下では、同軸照明画像および斜照明画像が少なくとも画像処理部１２３に供給されるものとして説明を続ける。

画像記録部１２２は、画像取得部１２１から供給された同軸照明画像および斜照明画像を記録するとともに、必要に応じて記録している同軸照明画像および斜照明画像を画像処理部１２３に供給する。

画像処理部１２３は、画像取得部１２１または画像記録部１２２から供給された同軸照明画像や斜照明画像に基づいて各種の画像処理を行う。

例えば画像処理部１２３は、同軸照明画像および斜照明画像に基づいて術野画像を生成し、得られた術野画像を表示部１１２に供給して表示させる。なお、画像処理部１２３で得られた術野画像が画像記録部１２２に供給されて記録されるようにしてもよい。

また、例えば画像処理部１２３は、同軸照明画像および斜照明画像の少なくとも何れか一方に基づいて、術具の領域や眼の特定部位の領域等の特定の領域を検出する処理を画像処理として行う。

具体的には、例えば画像処理部１２３は、同軸照明画像および斜照明画像に基づいて術野画像上における手術対象の眼の所望部位の領域を特定（検出）し、さらにその特定結果に基づいて表示部１１２を制御して、手術の補助のためのガイド情報等を術野画像に重畳表示させることができる。

さらに、例えば画像処理部１２３は、同軸照明画像および斜照明画像を用いた画像処理の結果、すなわち例えば術野画像上の特定部位の領域の特定結果（検出結果）を顕微鏡制御部１２４に供給する。

顕微鏡制御部１２４は、画像処理部１２３から供給された画像処理の結果等に基づいて画像取得部１２１を制御する。

例えば顕微鏡制御部１２４は、画像処理の結果等に基づいて、画像取得部１２１による同軸照明や斜照明などの照明を制御したり、画像取得部１２１による同軸照明画像や斜照明画像の取得（撮影）を制御したりする。

具体的には、例えば照明制御として、照明を行うタイミングや照明強度の調整などを制御することができる。また、例えば画像の取得の制御として、同軸照明画像や斜照明画像の撮影のタイミングの制御や露出制御（露光制御）、撮影位置の制御などを行うことができる。

〈画像取得部の構成例１〉
続いて、図６に示した画像取得部１２１の具体的な構成例について説明する。

例えば眼科ビデオ顕微鏡１１１の構成を、互いに異なる波長の照明光による照明と連動した撮影および画像処理を行う構成とすることができる。

そのような場合、同軸照明光と斜照明光とを互いに異なる波長の光として、同軸照明画像および斜照明画像の撮影を同時に行うことができる。

ここでは、例えば同軸照明光は可視光、すなわち、より詳細には赤外光成分が除去（カット）された可視光成分の光とされ、斜照明光は赤外光とされるものとする。

このように同軸照明光と斜照明光とを互いに異なる波長帯域の光とすれば、例えばプリズム等により分光を行って、完全に同一時刻の眼の状態を同軸照明画像および斜照明画像として取得することができる。すなわち、同一時刻の同軸照明画像と斜照明画像とを分離して取得することができる。

具体的には、同軸照明光と斜照明光とを互いに異なる波長の光とする場合、画像取得部１２１は、例えば図７に示す構成とすることができる。なお、図７において図６における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図７に示す例では、画像取得部１２１は、赤外光源１５１、可視光源１５２、赤外カットフィルム１５３、ハーフミラー１５４、および撮影部１５５を有している。

赤外光源１５１は、斜照明光として赤外光を手術対象の眼Ｅ１１に対して照射し、斜照明を行う斜照明光源である。なお、画像取得部１２１における赤外光源１５１と眼Ｅ１１との間には、斜照明光を眼Ｅ１１へと導く光学系が設けられていてもよい。

眼Ｅ１１に照射された斜照明光は、例えば眼Ｅ１１の前嚢や後嚢などにおいて反射され、ハーフミラー１５４を介して撮影部１５５に入射する。

可視光源１５２は、同軸照明光として可視光を手術対象の眼Ｅ１１に対して照射し、同軸照明を行う同軸照明光源である。すなわち、可視光源１５２から出力された同軸照明光は、赤外カットフィルム１５３を介してハーフミラー１５４に入射するとともに、ハーフミラー１５４で反射され、眼Ｅ１１へと入射する。

このとき、より詳細には同軸照明光に含まれる赤外光成分は、赤外カットフィルム１５３で除去（カット）される。すなわち、同軸照明光のうちの可視光成分のみが赤外カットフィルム１５３を透過する。

また、より詳細には、画像取得部１２１における可視光源１５２と眼Ｅ１１との間には、ハーフミラー１５４や他の光学素子からなる、同軸照明光を眼Ｅ１１へと導く同軸照明光学系が設けられている。この同軸照明光学系の一部は、撮影部１５５により眼Ｅ１１を観察するための観察光学系（撮影光学系）の一部と共通の光学系となっており、これにより同軸照明が実現されている。

眼Ｅ１１に照射された同軸照明光は、例えば眼Ｅ１１の前嚢や後嚢、網膜などにおいて反射され、ハーフミラー１５４を介して撮影部１５５に入射する。

赤外カットフィルム１５３は、赤外光成分をカットし、可視光成分のみを透過させるフィルタであり、可視光源１５２から入射した同軸照明光のうちの可視光成分のみを透過させてハーフミラー１５４へと入射させる。

ハーフミラー１５４は、赤外カットフィルム１５３を介して可視光源１５２から入射した同軸照明光のうちの半分を反射して眼Ｅ１１に入射させるとともに、入射した同軸照明光の残りの半分を透過させる。

同様に、ハーフミラー１５４は、眼Ｅ１１から入射した斜照明光および同軸照明光のうちの半分を透過させて撮影部１５５へと入射させるとともに、斜照明光および同軸照明光の残りの半分を反射させる。

撮影部１５５は、ハーフミラー１５４を介して眼Ｅ１１から入射した斜照明光および同軸照明光を受光して光電変換することで、斜照明画像および同軸照明画像を取得する。すなわち、撮影部１５５は、斜照明画像を撮影する赤外カメラとして機能するとともに、同軸照明画像を撮影する可視光カメラとしても機能する。

撮影部１５５は、撮影により得られた同軸照明画像および斜照明画像を画像処理部１２３へと出力する。

〈撮影部の構成例１〉
ここで、図７に示した撮影部１５５のより詳細な構成例について説明する。

例えば撮影部１５５は、図８に示すような画素配列のイメージセンサ、すなわち撮像素子１８１を有するカメラとすることができる。

図８に示す撮像素子１８１は、画素受光部の表面に、画素ごとにカラーフィルタが設けられたＷ画素導入センサとされている。ここでは、１つの四角形は１つの画素を表しており、それらの画素内の文字は、それらの画素に設けられたカラーフィルタを示している。

すなわち、文字「Ｒ」が記された画素は、Ｒ成分の光、つまり赤色の光を透過させるカラーフィルタが設けられ、Ｒ成分の光を受光する画素（以下、Ｒ画素とも称する）である。

また、文字「Ｇ」が記された画素は、Ｇ成分の光、つまり緑色の光を透過させるカラーフィルタが設けられ、Ｇ成分の光を受光する画素（以下、Ｇ画素とも称する）である。文字「Ｂ」が記された画素は、Ｂ成分の光、つまり青色の光を透過させるカラーフィルタが設けられ、Ｂ成分の光を受光する画素（以下、Ｂ画素とも称する）である。

さらに、文字「Ｗ」が記された画素は、Ｗ成分の光、すなわち全波長帯域の光（白色光）を透過させるカラーフィルタが設けられ、Ｗ成分の光を受光する画素（以下、Ｗ画素とも称する）である。

図８では、撮像素子１８１においてはＲ画素、Ｇ画素、Ｂ画素、およびＷ画素の各画素の配列はベイヤー配列の一部、より詳細にはベイヤー配列におけるＧ画素の一部をＷ画素に置き換えた配列とされている。

画像取得時には、可視光である同軸照明光と、赤外光である斜照明光とが同時に撮像素子１８１に入射してくるので、撮像素子１８１はカラーフィルタを介して画素内に入射した光を受光して光電変換することで画像を撮影する。

以上のような構成とすることで、Ｒ画素、Ｇ画素、およびＢ画素での光電変換で得られた３原色のデータと、Ｗ画素での光電変換で得られたデータとから、赤外光成分が除去されたＲＧＢの各色成分からなる可視光の画像と、赤外光成分のみからなる赤外光の画像とを得ることができる。そして、このようにして得られた可視光の画像が同軸照明画像とされ、赤外光の画像が斜照明画像とされる。

以上のように図８に示す撮像素子１８１からなるカメラを撮影部１５５とすれば、撮像素子１８１という単一のセンサで同軸照明画像と斜照明画像を分離して取得することができる。

〈撮影部の構成例２〉
また、撮影部１５５を、例えば図９に示すようにセンサ部分を２層構造としたカメラとするようにしてもよい。

図９に示す例では、撮影部１５５は互いに重ねられて配置されたイメージセンサである撮像素子２１１および撮像素子２１２を有している。特に、ここでは撮像素子２１１が撮影部１５５におけるハーフミラー１５４側、つまり光の入射側に配置されている。

上層の撮像素子２１１は、画素受光部の表面に、画素ごとにカラーフィルタが設けられたイメージセンサとされている。ここでは、１つの四角形は１つの画素を表しており、それらの画素内の文字は、それらの画素に設けられたカラーフィルタを示している。

すなわち、文字「Ｒ」が記された画素は、Ｒ成分の光を透過させるカラーフィルタが設けられたＲ画素を示しており、文字「Ｇ」が記された画素は、Ｇ成分の光を透過させるカラーフィルタが設けられたＧ画素を示している。また、文字「Ｂ」が記された画素は、Ｂ成分の光を透過させるカラーフィルタが設けられたＢ画素を示している。

撮像素子２１１では、これらのＲ画素、Ｇ画素、およびＢ画素がベイヤー配列で配置されている。

また、撮像素子２１１の図中、下側に配置された下層の撮像素子２１２は、撮像素子２１１の各画素と同じ大きさの画素を有するイメージセンサとなっている。なお、撮像素子２１２において、１つの四角形は１つの画素を表しており、それらの画素内の文字「ＩＲ」は、画素が受光する光の成分である赤外光成分を示している。

撮像素子２１１の各画素に可視光と赤外光が入射すると、それらの可視光と赤外光の一部は撮像素子２１１の画素により受光され、それの入射した光の残りの一部が撮像素子２１１の画素を透過して撮像素子２１２の画素に入射する。

特に、撮像素子２１１の各画素を透過する成分は主に赤外光成分となっており、撮像素子２１２の各画素では赤外光成分が受光される。

画像取得時には、可視光である同軸照明光と、赤外光である斜照明光とが同時に撮像素子２１１に入射してくるので、撮像素子２１１は入射した光を受光して光電変換することで画像を撮影する。同時に、撮像素子２１２も撮像素子２１１を透過してきた光を受光して光電変換することで画像を撮影する。

以上のような構成とすることで、撮像素子２１１の各画素での光電変換で得られたデータと、撮像素子２１２の各画素での光電変換で得られたデータとから、赤外光成分が除去されたＲＧＢの各色成分からなる可視光の画像を得ることができる。また、例えば撮像素子２１２の各画素での光電変換で得られたデータから、赤外光成分のみからなる赤外光の画像を得ることができる。そして、このようにして得られた可視光の画像が同軸照明画像とされ、赤外光の画像が斜照明画像とされる。

〈撮影部の構成例３〉
さらに、撮影部１５５は同軸照明光と斜照明光とを受光前、つまり撮影前に光学的に分離させる構成を有するカメラとされてもよい。すなわち、例えばダイクロイック膜と反射を組み合わせたプリズムで赤外光と可視光とを分離してもよい。

そのような場合、撮影部１５５は、例えば図１０に示すように構成される。

図１０に示す撮影部１５５は、プリズム２４１、撮像素子２４２、および撮像素子２４３を有している。

この例では、プリズム２４１の入射面２５１がハーフミラー１５４側、つまり光の入射側に位置するようにプリズム２４１が配置されており、プリズム２４１における入射面２５１と対向する面の部分にダイクロイック膜２５２が設けられている。

例えばダイクロイック膜２５２は、入射した光のうちの赤外光の波長よりも長い波長の光を反射させ、入射した光のうちの赤外光の波長よりも短い波長の光を透過させる。

したがって、撮影部１５５では、プリズム２４１において可視光である同軸照明光と、赤外光である斜照明光とを光学的に分離させることができる。

すなわち、同軸照明光と斜照明光とがプリズム２４１の入射面２５１を透過して、それらの光がダイクロイック膜２５２に入射すると、赤外光である斜照明光はダイクロイック膜２５２で反射され、可視光である同軸照明光はダイクロイック膜２５２を透過する。

そして、ダイクロイック膜２５２で反射された斜照明光は、さらに入射面２５１で反射され、イメージセンサである撮像素子２４２に入射する。撮像素子２４２は、入射した斜照明光を受光して光電変換することにより、斜照明光の成分のみからなる斜照明画像を取得する。すなわち、撮像素子２４２によって斜照明画像が撮影される。

これに対して、ダイクロイック膜２５２を透過した同軸照明光は、イメージセンサである撮像素子２４３に入射する。撮像素子２４３は、入射した同軸照明光を受光して光電変換することにより、同軸照明光の成分のみからなる同軸照明画像を取得する。すなわち、撮像素子２４３によって同軸照明画像が撮影される。

なお、ここではダイクロイック膜２５２において赤外光が反射される構成としたが、ダイクロイック膜２５２において可視光が反射されるようにしてもよい。

そのような場合、プリズム２４１に入射した同軸照明光は、ダイクロイック膜２５２において反射された後、さらに入射面２５１で反射され、撮像素子２４２に入射する。また、プリズム２４１に入射した斜照明光は、ダイクロイック膜２５２を透過して撮像素子２４３に入射する。したがって、この場合には、撮像素子２４２により同軸照明画像が撮影され、撮像素子２４３により斜照明画像が撮影されることになる。

〈撮影部の構成例４〉
さらに、撮影部１５５において同軸照明光と斜照明光を撮影前に光学的に分離させる場合、撮影部１５５を図１１に示す構成とすることもできる。なお、図１１において図１０における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図１１に示す撮影部１５５は、プリズム２４１、ハーフミラー２８１、フィルタ２８２、フィルタ２８３、撮像素子２４２、および撮像素子２４３を有している。

図１１に示す撮影部１５５の構成は、図１０に示した撮影部１５５のダイクロイック膜２５２に代えてハーフミラー２８１を配置し、さらにフィルタ２８２およびフィルタ２８３を設けた構成とされている。

特に、図１１に示す撮影部１５５では、ハーフミラー２８１と撮像素子２４３との間にフィルタ２８２が配置されており、入射面２５１と撮像素子２４２との間にフィルタ２８３が配置されている。

ここで、フィルタ２８２は特定の波長帯域、例えば赤外光の波長帯域の光のみを透過させるバンドパスフィルタなどからなる。また、フィルタ２８３は、例えば赤外カットフィルタなどとされ、入射した光のうちの赤外光成分を除去（カット）し、それ以外の成分を透過させる。

したがって、この例では同軸照明光と斜照明光とがプリズム２４１の入射面２５１を透過して、それらの光がハーフミラー２８１に入射すると、同軸照明光と斜照明光の半分はハーフミラー２８１を透過してフィルタ２８２へと入射する。一方、ハーフミラー２８１に入射した同軸照明光と斜照明光の残りの半分はハーフミラー２８１で反射し、さらに入射面２５１でも反射してフィルタ２８３へと入射する。

そして、フィルタ２８２へと入射した同軸照明光と斜照明光のうちの同軸照明光はフィル２８２でカットされ、斜照明光のみがフィルタ２８２を透過して撮像素子２４３へと入射する。また、フィルタ２８３へと入射した同軸照明光と斜照明光のうちの斜照明光はフィル２８３でカットされ、同軸照明光のみがフィルタ２８３を透過して撮像素子２４２へと入射する。

これにより、撮像素子２４３では斜照明画像が撮影され、撮像素子２４２では同軸照明画像が撮影されることになる。

なお、ここでは撮像素子２４３で斜照明画像が撮影される例について説明したが、撮像素子２４２で斜照明画像が撮影され、撮像素子２４３で同軸照明画像が撮影されるようにしてもよい。そのような場合、フィルタ２８２は可視光の波長帯域を通過させるバンドパスフィルタとされ、フィルタ２８３は可視光カットフィルタとされる。

〈画像取得部の構成例２〉
また、図６に示した画像取得部１２１の構成は、図７に示した構成に限らず、同軸照明画像と斜照明画像とを取得することができれば、他のどのような構成とされてもよい。

例えば眼科ビデオ顕微鏡１１１の構成を、高速でオン、オフできる照明光源による照明と連動した撮影および画像処理を行う構成とすることができる。

そのような場合、光の照射を高速にオン、オフできる照明光源を同軸照明光や斜照明光の光源として用いて、手術対象の眼に対して同軸照明光と斜照明光を異なるタイミングで照射し、時分割で同軸照明画像と斜照明画像を取得することができる。

この場合、光源のオン、オフと同期して、１つのカメラにより高速なフレームレートで撮影を行うことで、同軸照明画像と斜照明画像を時分割で分離させて取得することができる。このとき、例えば撮影で得られる映像（動画像）の偶数フレームを斜照明画像とし、奇数フレームを同軸照明画像とするなどすればよい。

このように同軸照明画像と斜照明画像を時分割で取得する場合、画像取得部１２１を図７に示した構成とする場合とは異なり、取得される同軸照明画像と斜照明画像とは、厳密には完全に同一時刻の映像とはならない。しかし、十分に高速なフレームレートで撮影を行うことで、同軸照明画像と斜照明画像の撮影時刻の差の影響を、例えば術者等の眼には気にならないレベルまで十分に小さくすることができる。また、この場合には、同軸照明画像と斜照明画像の両方の画像を可視光の画像とすることが可能である。

同軸照明画像と斜照明画像を時分割で取得する場合、画像取得部１２１は、例えば図１２に示すように構成される。なお、図１２において図７における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図１２に示す例では、画像取得部１２１は、可視光源３１１、可視光源１５２、ハーフミラー１５４、および撮影部３１２を有している。

この例では、可視光源３１１は斜照明光として可視光を射出し、可視光源１５２は同軸照明光として可視光を射出する。

図１２に示す画像取得部１２１では、図７に示した赤外光源１５１に代えて可視光源３１１が設けられている。可視光源３１１は、斜照明光として可視光を手術対象の眼Ｅ１１に対して照射し、斜照明を行う斜照明光源である。眼Ｅ１１に照射された斜照明光は、例えば眼Ｅ１１の前嚢や後嚢などにおいて反射され、ハーフミラー１５４を介して撮影部３１２に入射する。

また、撮影部３１２は、可視光の動画像を高フレームレートで撮影可能なカメラなどとされ、撮影された動画像から同軸照明画像と斜照明画像とを抽出して画像処理部１２３に供給する。

同軸照明画像と斜照明画像の撮影時には、顕微鏡制御部１２４は、可視光源３１１と可視光源１５２を高速で交互にオン、オフさせる。

すなわち、顕微鏡制御部１２４は、可視光源３１１から斜照明光が出力され、かつ可視光源１５２からは同軸照明光が出力されない斜照明出力状態と、可視光源３１１からは斜照明光が出力されず、かつ可視光源１５２からは同軸照明光が出力される同軸照明出力状態とが高速で交互に切り替わるように、可視光源３１１と可視光源１５２を制御する。

同時に、顕微鏡制御部１２４は斜照明出力状態と同軸照明出力状態の切り替えに同期させて、撮影部３１２に動画像を撮影させる。すなわち、斜照明出力状態の期間が動画像の１フレーム分の期間となり、同軸照明出力状態の期間が他の１フレーム分の期間となるように、撮影部３１２による動画像の撮影が制御される。

これにより、撮影部３１２で得られた動画像における、例えば奇数フレームが同軸照明画像となり、偶数フレームが斜照明画像となる。撮影部３１２は、撮影された動画像の奇数フレームと偶数フレームとを分離させることで、同軸照明画像と斜照明画像を取得し、後段の画像処理部１２３へと出力する。

なお、ここでは同軸照明画像と斜照明画像が１フレームずつ交互に取得される例について説明するが、例えば同軸照明画像が２フレーム分取得された後、斜照明画像が１フレーム分だけ取得されるなどしてもよい。

また、ここでは同軸照明光と斜照明光とが同じ波長の光である例について説明したが、同軸照明光と斜照明光は互いに異なる波長の光であってもよい。

以上のように画像取得部１２１を図７に示した構成としても、図１２に示した構成としても、同軸照明画像と斜照明画像とを分離して取得することができる。

同軸照明画像と斜照明画像の取得後、リアルタイムで画像処理を行う場合には、得られた同軸照明画像と斜照明画像が画像処理部１２３へと供給され、画像処理部１２３で各種の画像処理が行われる。例えば画像処理として、術野画像を生成する処理などが行われる。

そして、画像処理部１２３での処理結果として得られた術野画像等が表示部１１２に供給されて表示されたり、画像処理部１２３での処理結果に基づいて、顕微鏡制御部１２４により画像取得部１２１の動作が制御されたりする。

一方、例えばリアルタイムでの画像処理が行われない場合には、同軸照明画像と斜照明画像が個別に画像記録部１２２に供給され、記録される。そして、例えば手術等を見直す際などに、画像記録部１２２に記録された同軸照明画像と斜照明画像に基づいて画像処理部１２３で画像処理が行われ、その結果得られた術野画像等が表示部１１２に供給されて表示される。

このようにして同軸照明画像と斜照明画像とを分離して取得することで、画像処理部１２３において、これらの同軸照明画像と斜照明画像とから、画像処理によって手技ごとに視認性の高い術野画像等を生成することができる。これにより、より簡単に良好な術野を得ることができ、その結果、術者等はより快適に手術を行うことができる。

また、例えば同軸照明画像と斜照明画像とから画像処理によって手術対象の眼の特定の部位を検出することができる。この検出結果を用いれば、眼の手術に有用なガイドとなるガイド情報を提示したり、眼の特定部位に合わせた露出制御等の撮影制御を行ったりすることができ、術者等がより快適に手術を行うことができるようにすることができる。

〈術野画像生成処理の説明〉
それでは、以下、顕微鏡システム１０１により実現される機能の例について、具体的に説明する。

まず、顕微鏡システム１０１において、同軸照明画像と斜照明画像とから術野画像を生成する処理について説明する。

顕微鏡システム１０１では、同軸照明により前嚢や後嚢について良好なコントラストが得られる同軸照明画像と、斜照明により十分なシャドーコントラストが得られる斜照明画像とを、手技ごとや観察者ごとに自由な混合比で混合（合成）し、視認性の高い、つまり良好な術野の術野画像を生成することが可能である。

具体的には、同軸照明を行うと、徹照により術野内の透明体である前嚢や後嚢、角膜のコントラストが上がり、切開縁や後嚢の安定性などを確認することができる。一方で、斜照明を行うと、斜照明により得られるシャドーコントラストによって、術野内の術具の影や超音波水晶体乳化吸引時の溝の深さなどの立体感の情報を得ることができる。

しかし、これらの透明体のコントラストや、術具等のシャドーコントラストは、何れも周囲に対し暗く見えることで得られる情報である。そのため、場合によっては、例えばシャドーコントラストが後嚢の視認性を低下させるといったことが発生する。

そのため、一般的には、同軸照明と斜照明とを同時に行うとともに、それらの照明における照明強度のバランスの調整が行われていた。

これに対して、顕微鏡システム１０１では、同軸照明画像と斜照明画像とが個別に取得されるため、それらの同軸照明画像と斜照明画像とを画像処理によって任意の割り合いで、つまり任意の混合比率で混合し、術野画像とすることができる。

換言すれば、顕微鏡システム１０１では同軸照明の強度と斜照明の強度とのバランス調整を画像処理によっても行うことができる。

具体的には、例えば画像取得部１２１が図１２に示した構成とされる場合には、同軸照明画像と斜照明画像の両方の画像を可視光画像とすることができる。

したがって、この場合、任意の混合比率で同軸照明画像と斜照明画像の同じ位置関係の画素の画素値を混合、すなわち重み付き加算することで術野画像を得ることができる。つまり、これから得ようとする術野画像の注目する画素を注目画素とすると、注目画素と同じ位置関係にある同軸照明画像の画素の画素値と、注目画素と同じ位置関係にある斜照明画像の画素の画素値とを混合比率により定まる重みで重み付き加算することで、注目画素の画素値を得ることができる。

これに対して、例えば画像取得部１２１が図７に示した構成とされる場合には、同軸照明画像は可視光画像となるが斜照明画像は赤外光画像、つまりモノクロ画像となる。

しかし、このような場合においても同軸照明画像を構成する輝度の画像と斜照明画像とを混合することで、色付きの、つまりカラーの術野画像を得ることができる。

すなわち、まず可視光画像であるカラーの同軸照明画像に対し、必要に応じて画像変換処理が行われ、Ｙ画像、Ｃｂ画像、およびＣｒ画像からなる同軸照明画像とされる。ここで、Ｙ画像はＹ成分（輝度成分）からなる輝度の画像であり、Ｃｂ画像はＣｂ成分（青の色差成分）からなる色差の画像であり、Ｃｒ画像はＣｒ成分（赤の色差成分）からなる色差の画像である。

その後、モノクロ画像である斜照明画像と、同軸照明画像を構成するＹ画像との同じ位置関係の画素の画素値が任意の混合比率で混合され、混合輝度画像とされる。そして、このようにして得られた混合輝度画像、Ｃｂ画像、およびＣｒ画像からなるカラーの画像が術野画像とされる。

なお、以下では、可視光画像である同軸照明画像と斜照明画像から術野画像を生成する処理、および可視光画像である同軸照明画像と、赤外光画像である斜照明画像とから術野画像を生成する処理を特に区別せずに混合処理とも称することとする。すなわち、モノクロ画像である斜照明画像と、可視光画像である同軸照明画像とから術野画像を生成する場合においても、単に斜照明画像と同軸照明画像を混合するとも称することとする。

また、画像処理として混合処理を行って術野画像を生成する場合、領域ごとに異なる混合比率で同軸照明画像と斜照明画像とを混合することも可能である。

例えば術者が操作している術具については３次元的な位置の把握が重要となる。そこで、術具の周囲の領域については、混合処理時において術野画像に対する斜照明画像の寄与率、つまり斜照明画像の混合比率を増加させることによって、立体感の把握をしやすい術野画像を得ることができるようにしてもよい。

このとき、同軸照明画像や斜照明画像における術具の領域の特定方法としては、例えば同軸照明画像や斜照明画像に対する物体認識（画像認識）などを行うようにすればよい。

その他、術具に対して特定の色や形状のマーカを付加しておき、同軸照明画像や斜照明画像からマーカを検出することで術具の領域を特定するようにしてもよいし、観察者等が術具の領域を入力により指定するようにしてもよい。

また、例えば図１８のフローチャートを参照して後述するように同軸照明画像と斜照明画像とを比較して瞳孔領域を特定するなどして、眼の特定部位の領域を特定（検出）し、その特定結果に応じて各領域の混合比率を決定するようにしてもよい。

このように、領域ごとに混合比率を決定する場合には、同軸照明画像および斜照明画像の少なくとも何れか一方が用いられて術具や眼の特定部位の領域が検出され、その検出結果に基づいて各領域の混合比率が決定されるようにすればよい。

さらに、同軸照明画像と斜照明画像の少なくとも何れか一方に対して画像処理としてエッジ強調処理を施してから、術野画像を生成するようにしてもよい。

例えば影のない同軸照明画像に対してエッジ強調処理を施してから、エッジ強調処理が施された同軸照明画像と、エッジ強調処理が施されていない斜照明画像とを混合することで、斜照明による影のエッジ成分を強調せずに透明体の視認性を強調した術野画像を得ることも可能となる。このように、用途に応じて同軸照明画像や斜照明画像に対して、適宜、エッジ強調処理を施すことで、より視認性の高い術野画像を得ることができる。

なお、ここでは、画像処理の例としてエッジ強調処理が行われる場合について説明するが、その他、例えばコントラスト強調処理など、他の表示強調処理が行われるようにしてもよい。

以上において説明した混合処理における領域ごとまたは画像全体の混合比率、エッジ強調処理の有無などは、術野画像を提示する術者や観察者などの提示先、つまり術野画像の用途に応じて変更することができる。換言すれば、どの表示部１１２に供給する術野画像であるかに応じて異なる混合比率での混合処理を行ったり、エッジ強調処理を行うか否かを選択的に切り替えたりすることができる。

例えば、指導医や助手などの術具を操作しない観察者に対して提示する術野画像を生成する場合や、後から手術時の映像を見て、つまり後から手術を振り返って勉強等するための術野画像を生成する場合などが考えられる。そのような場合には、例えば合併症である破嚢の発生に注意するために斜照明の影響は排除してシャドーコントラストは強調せずに、前嚢、後嚢、および角膜の視認性を向上させることなどが考えられる。

以下では、混合処理等を行って術野画像を生成するときの合成モードとして、施術モードおよび観察モードを含む複数のモードがあるものとする。

ここで、施術モードは実際に手術を行う術者に対して提示する術野画像を生成するモードであり、観察モードは手術中または手術後に手術を観察する指導医や助手、学習者などに対して提示する術野画像を生成するモードである。

さらに、より詳細には、例えば術野画像の用途、つまり術野画像の提示先が同じであっても手術の工程（手技）によって合成モードが異なるようになされている。

術野画像の用途が同じであっても手術の工程（手技）ごとに合成モードが異なれば、それらの工程ごとに異なる混合処理やエッジ強調処理などを行うことができる。具体的には、例えば白内障手術では、前嚢の切開や超音波水晶体乳化吸引、眼内レンズ挿入などの工程ごとに混合比率、エッジ強調処理の強度や有無が変更されるようにしてもよい。

なお、以下では、術野画像の提示先（用途）と手術の工程との組み合わせごとに合成モードが定められている例について説明するが、術野画像の提示先と手術の工程の少なくとも何れか一方のみに対して合成モードが定められているようにしてもよい。

ここで、図１３のフローチャートを参照して、術野画像を生成するときに顕微鏡システム１０１により行われる術野画像生成処理について説明する。

ステップＳ１１において、画像取得部１２１は、顕微鏡制御部１２４の制御に従って同軸照明画像および斜照明画像を取得して画像処理部１２３に供給する。

例えば画像取得部１２１が図７に示した構成とされる場合、顕微鏡制御部１２４は赤外光源１５１および可視光源１５２を制御し、手術対象の眼に対して斜照明光と同軸照明光を同時に照射させる。すなわち、同軸照明と斜照明とが同時に行われるように制御される。

そして、撮影部１５５は、手術対象の眼から入射してきた斜照明光と同軸照明光を光学的に分離させて、または同時に受光して光電変換することで、斜照明画像と同軸照明画像を得る。

また、例えば画像取得部１２１が図１２に示した構成とされる場合、顕微鏡制御部１２４は可視光源３１１および可視光源１５２を制御し、手術対象の眼に対して斜照明光と同軸照明光を交互に照射させる。すなわち、同軸照明と斜照明とが交互に行われるように制御される。

そして、撮影部３１２は、手術対象の眼から入射してきた斜照明光または同軸照明光を受光して光電変換することで、斜照明画像と同軸照明画像を時分割で得る。

ステップＳ１２において、画像処理部１２３は合成モードを選択する。例えば画像処理部１２３は、術者等の入力操作に応じて図示せぬ入力操作部から供給された信号に基づいて合成モードを選択する。

その他、例えば画像処理部１２３が接続されている表示部１１２のなかの電源がオンされている表示部１１２を特定し、その特定結果に基づいて術野画像の提示先を特定するようにしてもよい。この場合、例えば電源がオンされている表示部１１２に対して予め定められた術野画像の提示先と、何らかの方法により特定された手術の工程とに基づいて、合成モードが選択される。

例えば手術の工程は、画像処理部１２３が画像取得部１２１から供給された同軸照明画像や斜照明画像に対する画像認識等を行うことにより特定されるようにしてもよいし、術者等による操作入力に基づいて特定されるようにしてもよい。

なお、合成モードは１つのみ選択されるようにしてもよいし、複数選択されるようにしてもよい。以下では合成モードが１つだけ選択されるものとして説明を行うが、合成モードが複数選択された場合には、以下において説明するステップＳ１３乃至ステップＳ１５の処理は合成モードごとに処理が行われる。

ステップＳ１３において、画像処理部１２３は、ステップＳ１２において選択した合成モードに基づいて、必要に応じて画像取得部１２１から供給された同軸照明画像や斜照明画像に対してエッジ強調処理を行う。

ここでは、例えば同軸照明画像と斜照明画像のそれぞれについて、エッジ強調処理を行うかが合成モードに基づいて決定される。具体的には、例えば合成モードとして観察モードが選択された場合には、同軸照明画像に対してエッジ強調処理が行われ、斜照明画像に対してはエッジ強調処理は行われないようにされる。

なお、エッジ強調処理を行うにあたっては、例えば同軸照明画像や斜照明画像に対する物体認識等が行われて術具や眼の特定部位などが検出され、その検出結果に応じて領域ごとにエッジ強調処理が行われるようにしてもよい。すなわち、画像の特定領域のみに対してエッジ強調処理が行われるようにしてもよいし、画像の領域ごとにエッジ強調処理の強調度合いが決定されるようにしてもよい。

ステップＳ１４において、画像処理部１２３はステップＳ１２において選択した合成モードに基づいて、同軸照明画像および斜照明画像の混合比率を決定する。

例えば画像処理部１２３は、合成モードに対して予め定められた混合比率を、混合処理時の混合比率として決定する。

また、例えば画像処理部１２３が物体認識等を行って同軸照明画像や斜照明画像から術具や眼の特定部位を検出し、その検出結果に応じて領域ごとに混合比率を決定するようにしてもよい。例えば合成モードとして、手術の工程が超音波水晶体乳化吸引である施術モードが選択されているとする。この場合、例えば画像処理部１２３は、同軸照明画像よりも斜照明画像の混合比率が高くなるようにし、特に斜照明画像における術具が含まれる領域が他の領域よりも混合比率がより高くなるように混合比率を決定する。

なお、ステップＳ１３とステップＳ１４の処理は同時に行われるようにしてもよい。

ステップＳ１５において、画像処理部１２３は、ステップＳ１３において、必要に応じてエッジ強調処理が施された同軸照明画像および斜照明画像を、ステップＳ１４で決定された混合比率で混合し、術野画像を生成する。なお、斜照明画像が赤外光画像である場合には、上述したように斜照明画像と、同軸照明画像のＹ画像とが混合（合成）されて術野画像が生成される。

術野画像が得られると、画像処理部１２３は、得られた術野画像を表示部１１２に供給して表示させたり、画像記録部１２２に供給して記録させたりして術野画像生成処理は終了する。

以上のようにして顕微鏡システム１０１は、同軸照明画像と斜照明画像を取得して術野画像を生成する。このようにすることで、術者等が照明強度の調整等の面倒な操作を行うことなく、簡単に合成モードごとに適切な術野画像、すなわち用途に応じた視認性の高い術野画像を得ることができる。したがって、術者は良好な術野で快適に手術を行うことができる。

〈鏡面反射成分除去処理の説明〉
また、画像処理部１２３における画像処理として、術野画像における鏡面反射成分を除去する処理を行うこともできる。

一般的に眼科顕微鏡では、同軸照明を用いていることもあり、鏡面反射成分が術野の中央部に存在する。これは、眼科光学顕微鏡でも術野の視認性低下につながっていたが、眼科ビデオ顕微鏡の場合でも白飛びの発生により術野の情報が消えることが生じ得る。

顕微鏡システム１０１では、同軸照明画像においては、例えば図１４に示すように同軸照明光の鏡面反射のみが存在し、斜照明画像においては、例えば図１５に示すように斜照明光の鏡面反射のみが存在する。また、術野画像には、例えば図１６に示すように同軸照明光と斜照明光の鏡面反射が存在する。なお、図１４乃至図１６において、図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

例えば図１４は同軸照明画像を示している。この例では同軸照明画像の略中央における矢印Ｑ５１に示す部分に、同軸照明光の角膜表面等での鏡面反射により白飛びまたは白飛びに近い輝度の領域があり、その領域における視認性が低下している。以下、鏡面反射によって白飛びが生じているか、または白飛びに近い輝度となっている領域を、特に鏡面反射領域とも称することとする。

同様に、図１５は斜照明画像を示しており、この例では斜照明画像の略中央における矢印Ｑ６１に示す部分に、斜照明光の角膜表面等での鏡面反射により白飛びまたは白飛びに近い輝度の鏡面反射領域があり、その鏡面反射領域における視認性が低下している。

したがって、単純にこれらの同軸照明画像と斜照明画像を混合して術野画像を生成しても、例えば図１６に示すように同軸照明光や斜照明光の鏡面反射の影響、つまり鏡面反射成分は残ったままとなる。図１６は術野画像を示しており、この例では術野画像の略中央における矢印Ｑ７１に示す部分に、同軸照明光および斜照明光の角膜表面等での鏡面反射による鏡面反射領域があり、それらの鏡面反射領域における視認性が低下している。

しかし、同軸照明画像においては同軸照明光の鏡面反射領域のみが存在し、斜照明光の鏡面反射領域は存在しない。同様に、斜照明画像においては斜照明光の鏡面反射領域のみが存在し、同軸照明光の鏡面反射領域は存在しない。

したがって、画像処理部１２３では、同軸照明画像の画像情報を用いれば、斜照明画像の鏡面反射領域における鏡面反射の影響を除去することができる。逆に、斜照明画像の画像情報を用いれば、同軸照明画像の鏡面反射領域における鏡面反射の影響を除去することができる。これらのことから、画像処理部１２３では、鏡面反射の影響を低減させた、つまり鏡面反射の成分を除去した術野画像を得ることができる。

具体的には、例えば同軸照明画像と斜照明画像のうち、一方の画像のみで白飛びの輝度値、または白飛びに近い輝度値となっている領域、すなわち輝度値が閾値以上である領域が鏡面反射領域とされる。

同軸照明画像と斜照明画像から鏡面反射領域が検出されると、その後、鏡面反射領域の検出結果に応じて領域ごとに混合比率が決定され、混合処理により術野画像が生成される。

例えば同軸照明画像と斜照明画像がともに可視光画像であるとする。

この場合、例えば同軸照明画像に鏡面反射領域がある部分については、同軸照明画像の混合比率は略０とされ、実質的に斜照明画像のみが用いられて術野画像が生成される。同様に、例えば斜照明画像に鏡面反射領域がある部分については、斜照明画像の混合比率は略０とされ、実質的に同軸照明画像のみが用いられて術野画像が生成される。これにより、鏡面反射領域のない術野画像を得ることができる。

また、例えば同軸照明画像が可視光画像であり、斜照明画像が赤外光画像であるとする。

この場合、例えば同軸照明画像に鏡面反射領域がある部分については、同軸照明画像のＹ画像の混合比率は略０とされ、実質的に斜照明画像のみが用いられて混合輝度画像が生成される。同様に、例えば斜照明画像に鏡面反射領域がある部分については、斜照明画像の混合比率は略０とされ、実質的に同軸照明画像のＹ画像のみが用いられて混合輝度画像が生成される。そして、得られた混合輝度画像と、同軸照明画像のＣｂ画像およびＣｒ画像とから術野画像が生成される。これにより、鏡面反射領域のない術野画像を得ることができる。

また、鏡面反射領域が検出された場合、鏡面反射領域のみデジタルゲインを下げることにより、白飛び自体を発生しにくくする画像処理も可能である。

例えば画像処理部１２３において、同軸照明画像および斜照明画像に対して、デジタルゲインを乗算してゲイン調整を行った後、混合処理等が行われる場合には、同軸照明画像や斜照明画像の鏡面反射領域のデジタルゲインを減少させることで白飛びの発生を抑制することができる。

さらに、例えば顕微鏡制御部１２４が画像処理部１２３による鏡面反射領域の検出結果に基づいて、鏡面反射領域に対応する画素列（ライン）の露光時間を短くするなどの露出制御を行うようにしてもよい。

ここで、図１７のフローチャートを参照して、鏡面反射成分、すなわち白飛びを低減させた術野画像を生成するときに顕微鏡システム１０１により行われる鏡面反射成分除去処理について説明する。なお、ステップＳ４１の処理は図１３のステップＳ１１の処理と同様であるので、その説明は省略する。

ステップＳ４２において、画像処理部１２３は、画像取得部１２１から供給された同軸照明画像および斜照明画像に基づいて、同軸照明画像から鏡面反射領域を検出する。

すなわち、画像処理部１２３は、同軸照明画像と斜照明画像とを画素ごとに比較して、同軸照明画像における画素の輝度値が閾値以上であるが、その画素と同じ位置関係にある斜照明画像の画素の輝度値が閾値未満である画素の領域を鏡面反射領域として検出する。

ステップＳ４３において、画像処理部１２３は、画像取得部１２１から供給された同軸照明画像および斜照明画像に基づいて、斜照明画像から鏡面反射領域を検出する。

すなわち、画像処理部１２３は、同軸照明画像と斜照明画像とを画素ごとに比較して、斜照明画像における画素の輝度値が閾値以上であるが、その画素と同じ位置関係にある同軸照明画像の画素の輝度値が閾値未満である画素の領域を鏡面反射領域として検出する。

なお、より詳細にはステップＳ４２とステップＳ４３の処理は同時に行われる。また、同軸照明画像と斜照明画像の同じ位置関係の画素の輝度値の差分値が閾値以上となる領域を鏡面反射領域とするなど、鏡面反射領域の検出方法はどのような方法であってもよい。

ステップＳ４４において、画像処理部１２３は、同軸照明画像および斜照明画像の鏡面反射領域の検出結果に基づいて、鏡面反射成分を低減させた術野画像を生成する。

すなわち、例えば上述したように、画像処理部１２３は同軸照明画像で鏡面反射領域となっている領域についてはほぼ斜照明画像のみが用いられ、斜照明画像で鏡面反射領域となっている領域についてはほぼ同軸照明画像のみが用いられるように、領域ごとに混合比率を決定する。そして、画像処理部１２３は、決定した混合比率に基づいて同軸照明画像と斜照明画像とを混合し、鏡面反射成分が低減（除去）された術野画像を生成する。

なお、混合処理では、図１３を参照して説明したように合成モードや物体認識結果なども考慮されて術野画像が生成されるようにしてもよい。また、同軸照明画像や斜照明画像に対して適宜、エッジ強調処理が行われるようにしてもよい。

術野画像が得られると、画像処理部１２３は、得られた術野画像を表示部１１２に供給して表示させたり、画像記録部１２２に供給して記録させたりして鏡面反射成分除去処理は終了する。

以上のようにして顕微鏡システム１０１は、同軸照明画像と斜照明画像を取得して鏡面反射領域を検出し、その検出結果に基づいて術野画像を生成する。このようにすることで、鏡面反射が少なく視認性の高い術野画像を得ることができ、その結果、術者は良好な術野で快適に手術を行うことができる。

〈瞳孔領域検出処理の説明〉
さらに、画像処理部１２３では、同軸照明と斜照明という互いに異なる照明方法で得られた同軸照明画像と斜照明画像とを用いて高精度に眼の部位を検出することができる。以下では、眼の特定の部位として瞳孔領域を検出する例について説明する。

例えば、図３に示した例のように、徹照を得られる同軸照明では瞳孔内が明るく観察されるのに対して、例えば図２に示した例のように、徹照を得られない斜照明では瞳孔内が周囲に対して暗く観察される。しがって、同軸照明画像上では瞳孔の領域は明るくなっており、斜照明画像上では瞳孔の領域は暗くなっている。

画像処理部１２３では、このような特性を利用することで、同軸照明画像と斜照明画像とを比較して簡単かつ高精度に瞳孔領域を検出することができる。

具体的には、例えば２次元のｘｙ座標系により表される位置を（ｘ，ｙ）としたときに、同軸照明画像上の位置（ｘ，ｙ）にある画素の輝度値をＹＰ（ｘ，ｙ）と記し、斜照明画像上の位置（ｘ，ｙ）にある画素の輝度値をＹＳ（ｘ，ｙ）と記すこととする。

また、同軸照明画像の感度の差を補正する係数をαとし、斜照明画像の感度の差を補正する係数をβとする。さらに、位置（ｘ，ｙ）における同軸照明画像と斜照明画像との輝度差をＩ（ｘ，ｙ）とすると、この輝度差Ｉ（ｘ，ｙ）は、次式（１）により求めることができる。

Ｉ（ｘ，ｙ）＝α×ＹＰ（ｘ，ｙ）−β×ＹＳ（ｘ，ｙ） ・・・（１）

上述したように同軸照明画像上では瞳孔領域は明るくなっており、斜照明画像上では瞳孔領域は暗くなっているため、瞳孔領域では瞳孔外の領域と比較すると輝度差Ｉ（ｘ，ｙ）が十分に大きな値となるはずである。そこで、例えば輝度差Ｉ（ｘ，ｙ）を閾値処理することで、簡単に瞳孔領域を検出することができる。この場合、輝度差Ｉ（ｘ，ｙ）が予め定められた閾値以上となる領域が瞳孔領域とされる。

例えば白内障の手術では、瞳孔内の領域は術野の中心となる領域であり、その術野の明るさも手術の進行（工程）によって変化する。

そこで、例えば白内障手術時においては、画像処理部１２３で瞳孔領域が検出されると、検出された瞳孔領域の部分に合わせた露出制御を行ったり、常に瞳孔領域が術野画像の中心となるように撮影位置を制御したりするなどの撮影制御を行うことができる。このようにすることで、術者は、適切な明るさの術野を得ることができたり、画像中心に瞳孔領域が位置する術野画像を観察したりすることができ、快適に手術を行うことができる。

また、その他、例えば白内障手術時の眼内レンズ挿入の工程では、術野画像の瞳孔領域に重畳させて瞳孔領域の縁とともにレンズ方向等を示すガイド情報を表示させたり、眼球に対するレンズ方向を特定するためのトラッキング処理等に瞳孔領域の検出結果を用いたりするようにしてもよい。

ここで、図１８のフローチャートを参照して、瞳孔領域を検出するときに顕微鏡システム１０１により行われる瞳孔領域検出処理について説明する。なお、ステップＳ７１の処理は図１３のステップＳ１１の処理と同様であるので、その説明は省略する。

ステップＳ７２において、画像処理部１２３は、画像取得部１２１から供給された同軸照明画像および斜照明画像に基づいて瞳孔領域の検出処理を行う。

すなわち、画像処理部１２３は、上述した式（１）を計算するとともに、その結果得られた輝度差Ｉ（ｘ，ｙ）と閾値とを比較することで瞳孔領域を検出する。

ステップＳ７３において、画像処理部１２３は、ステップＳ７２における検出処理の結果、瞳孔領域が検出されたか否かを判定する。

ステップＳ７３において検出されなかったと判定された場合、その後、処理はステップＳ７１に戻り、上述した処理が繰り返し行われる。

これに対して、ステップＳ７３において瞳孔領域が検出されたと判定された場合、画像処理部１２３は瞳孔領域の検出結果を顕微鏡制御部１２４に供給し、処理はステップＳ７４へと進む。

ステップＳ７４において、顕微鏡制御部１２４は、画像処理部１２３から供給された瞳孔領域の検出結果に応じた制御を行う。

例えば顕微鏡制御部１２４は、同軸照明画像や斜照明画像における瞳孔領域が適切な明るさとなるように、画像取得部１２１による同軸照明画像および斜照明画像の撮影時の露出制御を行う。すなわち、撮影時における露光時間などの制御が行われる。

また、例えば顕微鏡制御部１２４は、同軸照明画像や斜照明画像における画像中心の位置に瞳孔領域が位置するように、物理的に光学系を傾けたり平行移動させたりするなどして画像取得部１２１による撮影位置（撮影方向）を制御する。

その他、例えば顕微鏡制御部１２４が画像取得部１２１を制御して、同軸照明画像や斜照明画像における画像中心の位置に瞳孔領域が位置するように、撮影された画像のトリミングを行わせて同軸照明画像や斜照明画像を生成させるようにしてもよい。

さらに、画像処理部１２３が瞳孔領域の検出結果に応じて、瞳孔領域の縁部分（境界部分）を示す画像や、瞳孔領域位置における眼内レンズの方向を示す画像をガイド情報として生成し、そのガイド情報を術野画像に重畳させる画像処理を行うようにしてもよい。この場合、画像処理部１２３は、ガイド情報が重畳された術野画像を表示部１１２に供給して表示させる。その他、画像処理部１２３が瞳孔領域の検出結果に基づいて、瞳孔領域等の眼の特定部位のトラッキング処理を行うようにしてもよい。

ステップＳ７５において、画像処理部１２３は、処理を終了するか否かを判定する。ステップＳ７５において、まだ処理を終了しないと判定された場合、処理はステップＳ７１に戻り、上述した処理が繰り返し行われる。

これに対してステップＳ７５において、処理を終了すると判定された場合、瞳孔領域検出処理は終了する。

以上のようにして顕微鏡システム１０１は、同軸照明画像と斜照明画像を取得して瞳孔領域を検出し、その検出結果に基づいて撮影制御等の制御を行う。このようにすることで、例えば適切な明るさの術野画像を得ることができたり、術野の中心で瞳孔を観察することができたりして、術者は良好な術野で快適に手術を行うことができる。

なお、ここでは、眼の特定部位として瞳孔領域を検出する例について説明したが、同軸照明画像と斜照明画像から他のどのような部位を検出するようにしてもよい。

〈波長の特性を活かした情報取得と情報提示について〉
さらに、例えば画像取得部１２１が図７に示した構成とされる場合には、赤外光画像から得られる情報を利用した画像処理を行うこともできる。

すなわち、例えば赤外光などの可視光とは異なる波長の光で画像を撮影すると、撮影された画像から、可視光画像からは得られない情報を得ることができるので、そのようにして得られた情報を画像処理に利用することができる。

具体的には、例えば「第27回日本緑内障学会 抄録集 赤外線画像を用いてニードリングによる濾過胞再建術の術前に、強膜弁の位置決めを行った4例」によると、赤外光で撮影すると白目上にある緑内障のトラベクレクトミー手術で作成した、房水の流出路の視認性が向上するという報告がなされている。

顕微鏡システム１０１では、画像取得部１２１を例えば図７に示した構成とすれば、赤外光画像である斜照明画像を得ることができる。そのため、この斜照明画像と同軸照明画像とを混合して術野画像を生成すれば、房水の流出路が設けられた強膜弁部分の視認性を向上させることができ、より良好な術野を得ることができる。したがって、術者はこのような術野画像を見ながら手術を行うことで、より快適に手術を行うことができる。

なお、この場合、画像処理部１２３において、例えば斜照明画像から強膜弁部分や房水の流出路部分を検出し、強膜弁部分や房水の流出路部分の領域において斜照明画像の混合比率がより高くなるように、領域ごとに混合比率を決定するようにしてもよい。

また、画像処理部１２３において、赤外光画像である斜照明画像から強膜弁の縁を検出し、検出された縁部分を示す情報を同軸照明画像に重畳するなどして、ガイド情報が重畳された術野画像とする画像処理を行うこともできる。これにより、患者の眼球を染色することなく適切なガイド情報を提示することができ、術者はより快適に手術を行うことができる。

以上のように、顕微鏡システム１０１によれば、同軸照明画像と斜照明画像とをそれぞれ分離して取得することで、その後の画像処理によって簡単に良好な術野を得たり、より適切な撮影制御を行ったりすることができ、術者が快適に手術を行うことができるようになる。例えば顕微鏡システム１０１によれば、以下の（１）乃至（４）等の利点を得ることができる。

利点（１）：鏡面反射成分の除去
例えば図１７を参照して説明した鏡面反射成分除去処理を行えば、術野の中心で邪魔となる鏡面反射がなくなるため、視認性が向上し、執刀に集中できるようになる。

利点（２）：領域ごとに照明の影響度合いを変えた術野画像の生成
例えば図１３を参照して説明した術野画像生成処理を行えば、シャドーコントラストによる立体感と徹照によるコントラストが両立した術野画像を得ることができ、執刀がしやすくなる。また、混合処理での混合比率を適切に決定することで、観察者ごとに重要な情報を強調した術野画像を得ることができるようになる。

利点（３）：瞳孔領域の検出
例えば図１８を参照して説明した瞳孔領域検出処理を行えば、容易に瞳孔領域を検出することができ、また、その検出結果を用いて露出制御や撮影位置の制御などを行うことで、良好な術野を得ることができる。

利点（４）：特定波長成分による情報取得
例えば上述した房水の流出路の視認性向上の例のように、赤外光などの可視光とは異なる波長の画像を撮影することで、可視光画像からは得られない、手術に有用な情報を得ることができる。このようにして得られた情報を適宜、術野画像に重畳表示することで、術者はより快適に手術を行うことができるようになる。

〈コンピュータの構成例〉
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどが含まれる。

図１９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、ＣＰＵ（Central Processing Unit）５０１，ＲＯＭ（Read Only Memory）５０２，ＲＡＭ（Random Access Memory）５０３は、バス５０４により相互に接続されている。

バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。

入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。

以上のように構成されるコンピュータでは、ＣＰＵ５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、ＲＡＭ５０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（ＣＰＵ５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ＲＯＭ５０２や記録部５０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

さらに、本技術は、以下の構成とすることも可能である。

（１）
手術対象の眼に対して同軸照明を行うことで得られる同軸照明画像と、前記眼に対して斜照明を行うことで得られる斜照明画像を取得する画像取得部と、
前記同軸照明画像および前記斜照明画像に基づいて前記眼の術野画像を生成するか、または前記同軸照明画像および前記斜照明画像の少なくとも何れか一方に基づいて特定領域を検出する画像処理部と
を備える画像処理装置。
（２）
前記同軸照明の同軸照明光と、前記斜照明の斜照明光とは互いに異なる波長の光であり、
前記同軸照明と前記斜照明が同時に行われるように制御する制御部をさらに備える
（１）に記載の画像処理装置。
（３）
前記画像取得部は、前記同軸照明光と前記斜照明光とを光学的に分離させて、前記同軸照明画像および前記斜照明画像を取得する
（２）に記載の画像処理装置。
（４）
前記画像取得部は、前記同軸照明光と前記斜照明光を受光して得られたデータから、前記同軸照明画像および前記斜照明画像を取得する
（２）に記載の画像処理装置。
（５）
前記同軸照明と前記斜照明が交互に行われるように制御する制御部をさらに備え、
前記画像取得部は、前記同軸照明画像と前記斜照明画像とを時分割で取得する
（１）に記載の画像処理装置。
（６）
前記画像処理部は、前記同軸照明画像と前記斜照明画像とを所定の混合比率で混合して前記術野画像を生成する
（１）乃至（５）の何れか一項に記載の画像処理装置。
（７）
前記画像処理部は、領域ごとに前記混合比率を決定する
（６）に記載の画像処理装置。
（８）
前記画像処理部は、前記同軸照明画像および前記斜照明画像の少なくとも何れか一方に基づいて、術具の領域または前記眼の特定部位の領域を検出し、その検出結果に基づいて領域ごとに前記混合比率を決定する
（７）に記載の画像処理装置。
（９）
前記画像処理部は、前記術野画像の用途および前記眼の手術の工程の少なくとも何れか一方に基づいて前記混合比率を決定する
（６）乃至（８）の何れか一項に記載の画像処理装置。
（１０）
前記画像処理部は、前記同軸照明画像および前記斜照明画像の少なくとも何れか一方に対して強調処理を行ってから前記術野画像を生成する
（６）乃至（９）の何れか一項に記載の画像処理装置。
（１１）
前記画像処理部は、前記同軸照明画像および前記斜照明画像のそれぞれについて、前記術野画像の用途および前記眼の手術の工程の少なくとも何れか一方に基づいて前記強調処理を行うかを決定する
（１０）に記載の画像処理装置。
（１２）
前記画像処理部は、前記同軸照明画像および前記斜照明画像に基づいて鏡面反射領域を検出し、その検出結果に基づいて鏡面反射成分が低減された前記術野画像を生成する
（１）乃至（１１）の何れか一項に記載の画像処理装置。
（１３）
前記画像処理部は、前記特定領域として前記眼の特定部位の領域を検出する
（１）乃至（１２）の何れか一項に記載の画像処理装置。
（１４）
前記画像処理部は、前記同軸照明画像と前記斜照明画像とを比較して、前記眼の瞳孔領域を検出する
（１３）に記載の画像処理装置。
（１５）
前記特定部位の領域の検出結果に基づいて、前記同軸照明画像および前記斜照明画像の撮影制御を行う制御部をさらに備える
（１３）または（１４）に記載の画像処理装置。
（１６）
前記制御部は、前記撮影制御として露出制御または撮影位置の制御を行う
（１５）に記載の画像処理装置。
（１７）
前記画像処理部は、前記眼の前記特定部位の領域の検出結果に基づいて、前記眼の手術の補助のためのガイド情報を生成する
（１３）乃至（１６）の何れか一項に記載の画像処理装置。
（１８）
手術対象の眼に対して同軸照明を行うことで得られる同軸照明画像と、前記眼に対して斜照明を行うことで得られる斜照明画像を取得し、
前記同軸照明画像および前記斜照明画像に基づいて前記眼の術野画像を生成するか、または前記同軸照明画像および前記斜照明画像の少なくとも何れか一方に基づいて特定領域を検出する
ステップを含む画像処理方法。
（１９）
手術対象の眼に対して同軸照明光を照射し、同軸照明を行う同軸照明光源と、
前記眼に対して斜照明光を照射し、斜照明を行う斜照明光源と、
前記同軸照明を行うことで得られる同軸照明画像と、前記斜照明を行うことで得られる斜照明画像を取得する画像取得部と、
前記同軸照明画像および前記斜照明画像に基づいて前記眼の術野画像を生成するか、または前記同軸照明画像および前記斜照明画像の少なくとも何れか一方に基づいて特定領域を検出する画像処理部と
を備える手術顕微鏡システム。

１０１ 顕微鏡システム， １１１ 眼科ビデオ顕微鏡， １２１ 画像取得部， １２２ 画像記録部， １２３ 画像処理部， １２４ 顕微鏡制御部

Claims (19)

1. 手術対象の眼に対して同軸照明を行うことで得られる同軸照明画像と、前記眼に対して斜照明を行うことで得られる斜照明画像を取得する画像取得部と、
   前記同軸照明画像および前記斜照明画像に基づいて前記眼の術野画像を生成するか、または前記同軸照明画像および前記斜照明画像の少なくとも何れか一方に基づいて特定領域を検出する画像処理部と
   を備える画像処理装置。
2. 前記同軸照明の同軸照明光と、前記斜照明の斜照明光とは互いに異なる波長の光であり、
   前記同軸照明と前記斜照明が同時に行われるように制御する制御部をさらに備える
   請求項１に記載の画像処理装置。
3. 前記画像取得部は、前記同軸照明光と前記斜照明光とを光学的に分離させて、前記同軸照明画像および前記斜照明画像を取得する
   請求項２に記載の画像処理装置。
4. 前記画像取得部は、前記同軸照明光と前記斜照明光を受光して得られたデータから、前記同軸照明画像および前記斜照明画像を取得する
   請求項２に記載の画像処理装置。
5. 前記同軸照明と前記斜照明が交互に行われるように制御する制御部をさらに備え、
   前記画像取得部は、前記同軸照明画像と前記斜照明画像とを時分割で取得する
   請求項１に記載の画像処理装置。
6. 前記画像処理部は、前記同軸照明画像と前記斜照明画像とを所定の混合比率で混合して前記術野画像を生成する
   請求項１に記載の画像処理装置。
7. 前記画像処理部は、領域ごとに前記混合比率を決定する
   請求項６に記載の画像処理装置。
8. 前記画像処理部は、前記同軸照明画像および前記斜照明画像の少なくとも何れか一方に基づいて、術具の領域または前記眼の特定部位の領域を検出し、その検出結果に基づいて領域ごとに前記混合比率を決定する
   請求項７に記載の画像処理装置。
9. 前記画像処理部は、前記術野画像の用途および前記眼の手術の工程の少なくとも何れか一方に基づいて前記混合比率を決定する
   請求項６に記載の画像処理装置。
10. 前記画像処理部は、前記同軸照明画像および前記斜照明画像の少なくとも何れか一方に対して強調処理を行ってから前記術野画像を生成する
    請求項６に記載の画像処理装置。
11. 前記画像処理部は、前記同軸照明画像および前記斜照明画像のそれぞれについて、前記術野画像の用途および前記眼の手術の工程の少なくとも何れか一方に基づいて前記強調処理を行うかを決定する
    請求項１０に記載の画像処理装置。
12. 前記画像処理部は、前記同軸照明画像および前記斜照明画像に基づいて鏡面反射領域を検出し、その検出結果に基づいて鏡面反射成分が低減された前記術野画像を生成する
    請求項１に記載の画像処理装置。
13. 前記画像処理部は、前記特定領域として前記眼の特定部位の領域を検出する
    請求項１に記載の画像処理装置。
14. 前記画像処理部は、前記同軸照明画像と前記斜照明画像とを比較して、前記眼の瞳孔領域を検出する
    請求項１３に記載の画像処理装置。
15. 前記特定部位の領域の検出結果に基づいて、前記同軸照明画像および前記斜照明画像の撮影制御を行う制御部をさらに備える
    請求項１３に記載の画像処理装置。
16. 前記制御部は、前記撮影制御として露出制御または撮影位置の制御を行う
    請求項１５に記載の画像処理装置。
17. 前記画像処理部は、前記眼の前記特定部位の領域の検出結果に基づいて、前記眼の手術の補助のためのガイド情報を生成する
    請求項１３に記載の画像処理装置。
18. 手術対象の眼に対して同軸照明を行うことで得られる同軸照明画像と、前記眼に対して斜照明を行うことで得られる斜照明画像を取得し、
    前記同軸照明画像および前記斜照明画像に基づいて前記眼の術野画像を生成するか、または前記同軸照明画像および前記斜照明画像の少なくとも何れか一方に基づいて特定領域を検出する
    ステップを含む画像処理方法。
19. 手術対象の眼に対して同軸照明光を照射し、同軸照明を行う同軸照明光源と、
    前記眼に対して斜照明光を照射し、斜照明を行う斜照明光源と、
    前記同軸照明を行うことで得られる同軸照明画像と、前記斜照明を行うことで得られる斜照明画像を取得する画像取得部と、
    前記同軸照明画像および前記斜照明画像に基づいて前記眼の術野画像を生成するか、または前記同軸照明画像および前記斜照明画像の少なくとも何れか一方に基づいて特定領域を検出する画像処理部と
    を備える手術顕微鏡システム。

Images