JPWO2019012881A1 - 画像処理装置、眼科用観察装置及び眼科用観察システム - Google Patents

Abstract

【課題】眼の観察に適した画像処理装置、眼科用観察装置及び眼科用観察システムを提供すること。【解決手段】本技術に係る画像処理装置は、画像生成部を具備する。上記画像生成部は、眼に装着された前置レンズを介して撮像された撮像画像において、上記前置レンズによって像が反転している画像領域である反転領域を反転させ、表示画像を生成する。【選択図】図１

Description

本技術は、眼科手術に利用される画像処理装置、眼科用観察装置及び眼科用観察システムに関する。

眼科の診断や手術治療において眼球の正面側からの観察というのは広く行われている。特に緑内障疾患においては、虹彩の根本と角膜の根本にある前房隅角の観察は診断においても重要視されてきた。

近年では、ＭＩＧＳ（minimally invasive glaucoma surgery）といわれる超低侵襲な緑内障手術でも治療時にこの隅角を直接観察しながら手術するということが行われている。しかしながら、前房隅角からの光は角膜により全反射されるため、そのままでは観察が困難である。

このため、隅角鏡と呼ばれるコンタクトレンズと手術顕微鏡やスリットランプを組み合わせて観察することが一般的である。だが、大半の隅角鏡は視野が狭いため、観察したい位置を見るためには隅角鏡と顕微鏡の双方を観察対象に合わせて適切に位置合わせする必要がある。この問題に対応するため、特許文献１では凹レンズを用いた隅角全周を確認できる隅角鏡が提案されている。

特表２０００−５０４２５１号公報

しかしながら、特許文献１に記載の隅角鏡では、凹レンズを用いることによって術野の反転が発生し、術者にとって混乱が引き起こされる。これを防ぐためにはさらにレンズやミラーを複数組み合わせることが必要となり、減衰などのロスが生じやすくなってしまう。

また、レンズを用いて作られた像を観察するため、任意の位置を拡大する場合には光学顕微鏡を適切に操作する手間が生じる。特に術野が反転している場合には、操作の方向と術野が食い違うため混乱も生じやすくなる。

以上のような事情に鑑み、本技術の目的は、眼の観察に適した画像処理装置、眼科用観察装置及び眼科用観察システムを提供することにある。

上記目的を達成するため、本技術の一形態に係る画像処理装置は、画像生成部を具備する。
上記画像生成部は、眼に装着された前置レンズを介して撮像された撮像画像において、上記前置レンズによって像が反転している画像領域である反転領域を反転させ、表示画像を生成する。

この構成によれば、前置レンズによる像の反転が画像処理によって解消するため、前置レンズを利用することによる施術者の混乱を防止することが可能となる。

上記画像処理装置は、上記撮像画像において上記反転領域を検出する領域検出部をさらに具備してもよい。

上記画像生成部は、上記反転領域の中心を中心点として上記反転領域を反転させてもよい。

上記画像生成部は、上記反転領域を反転させ、上記撮像画像において上記前置レンズによって像が反転していない画像領域である非反転領域と合成することによって上記表示画像を生成してもよい。

上記前置レンズは、角膜に当接する凹レンズと、上記凹レンズから出射された光を眼の正面方向に向けて屈折させる凸レンズとを備える直視型前置レンズであり、上記反転領域は円形であり、上記非反転領域は上記反転領域の周囲を囲んでもよい。

上記画像生成部は、上記反転領域を反転させ、反転させた上記反転領域の外周と上記非反転領域の内周を一致させることによって上記反転領域と上記非反転領域とを合成してもよい。

上記前置レンズは、角膜に当接する凸レンズと、上記凸レンズの周囲に円周状に配置され、上記凸レンズから出射された光を眼の正面方向に向けて反射させるミラーとを備える反射型前置レンズであり、上記反転領域は円周状領域であり、上記非反転領域は上記反転領域に囲まれた中央領域と上記反転領域を囲む外周領域とを含んでもよい。

上記画像生成部は、上記反転領域において上記中央領域の像を含む領域を不要領域として検出し、上記不要領域を削除して上記反転領域に反転させ、反転させた上記反転領域の内周と上記中央領域の外周を一致させ、反転させた上記反転領域の外周と上記外周領域の内周を一致させることによって上記反転領域、上記中央領域及び上記外周領域を合成してもよい。

上記撮像画像に上記前置レンズが含まれていることを検出して上記前置レンズによる像の反転を補正する補正モードを選択し、上記領域検出部及び上記画像生成部に通知するモード決定部をさらに具備し、上記領域検出部は、上記モード決定部によって上記補正モードが選択された場合に上記反転領域を検出してもよい。

上記モード決定部は、上記撮像画像に対する物体認識処理によって上記前置レンズを検出してもよい。

上記モード決定部は、上記撮像画像において上記前置レンズに付されたマーカーを検出することによって上記前置レンズを検出してもよい。

上記領域検出部は、上記撮像画像に対する物体認識処理によって上記反転領域を検出してもよい。

上記領域検出部は、上記撮像画像における眼の構造によるテクスチャの違いを利用して上記反転領域を検出してもよい。

上記領域検出部は、上記撮像画像に対するエッジ検出処理によって上記反転領域を検出してもよい。

上記領域検出部は、上記撮像画像と上記前置レンズが装着されていない状態で撮像された眼の画像の差分に基づいて上記反転領域を検出してもよい。

上記領域検出部は、上記撮像画像から得られる視差情報から抽出されるデプス情報を利用して上記反転領域を検出してもよい。

上記撮像画像は、所定の撮像範囲毎に撮像された複数の画像から構成され、
上記画像生成部は、上記複数の画像の位置及び向きを反転させて上記表示画像を生成してもよい。

上記目的を達成するため、本技術の一形態に係る眼科用観察装置は、前置レンズと、画像処理装置とを具備する。
上記前置レンズは、眼に装着され、像を反転させる。
上記画像処理装置は、上記前置レンズを介して撮像された撮像画像において、上記前置レンズによって像が反転している画像領域である反転領域を反転させ、表示画像を生成する画像生成部を備える。

上記前置レンズは隅角鏡であってもよい。

上記目的を達成するため、本技術の一形態に係る眼科用観察システムは、前置レンズと、顕微鏡と、顕微鏡制御入力部と、撮像装置と、画像処理装置と、顕微鏡制御部とを具備する。
上記前置レンズは、眼に装着され、像を反転させる。
上記顕微鏡は、上記前置レンズの出射光を拡大する。
上記顕微鏡制御入力部は、ユーザによる操作入力を受け付けて入力信号を生成する。
上記撮像装置は、上記顕微鏡に接続され、上記前置レンズ及び上記顕微鏡を介して撮像画像を撮像する。
上記画像処理装置は、上記撮像画像において、上記前置レンズによって像が反転している画像領域である反転領域を反転させ、表示画像を生成する画像生成部を備える。
上記顕微鏡制御部は、上記画像生成部が上記反転領域を反転させると、上記入力信号を反転させて上記顕微鏡を制御する。

以上のように、本技術によれば、眼の観察に適した画像処理装置、眼科用観察装置及び眼科用観察システムを提供することが可能である。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術の第１の実施形態に係る画眼科用観察システムの構成を示すブロック図である。 同観察システムの観察対象である眼の構造を示す模式図である。 同観察システムの観察対象である眼の構造を示す模式図である。 同観察システムが備える直視型前置レンズの模式図である。 同観察システムが備える反射型前置レンズの模式図である。 同観察システムが備える直視型前置レンズにおける光の経路を示す模式図である。 同観察システムが備える直視型前置レンズによって形成される眼の像を示す模式図である。 同観察システムが備える直視型前置レンズによって形成される眼の像の反転領域を示す模式図である。 同観察システムが備える反射型前置レンズのミラーの配置を示す模式図である。 同観察システムが備える反射型前置レンズにおける光の経路を示す模式図である。 同観察システムが備える反射型前置レンズによって形成される眼の像を示す模式図である。 同観察システムが備える反射型前置レンズによって形成される眼の像の反転領域を示す模式図である。 同観察システムが備える反射型前置レンズによって形成される眼の像と眼の部位の位置関係を示す模式図である。 同観察システムが備える画像処理装置によって生成される表示画像を示す模式図である。 同観察システムが備える画像処理装置の機能的構成を示すブロック図である。 同観察システムが備える画像処理装置の領域検出部によって検出される反転領域を示す模式図である。 同観察システムが備える画像処理装置の画像生成部による表示画像の生成を示す模式図である。 同観察システムが備える画像処理装置の領域検出部によって検出される反転領域を示す模式図である。 同観察システムが備える画像処理装置の領域検出部によって検出される不要領域を示す模式図である。 同観察システムが備える画像処理装置の画像生成部による表示画像の生成を示す模式図である。 同観察システムが備える画像処理装置の画像生成部による表示画像の生成を示す模式図である。 同観察システムが備える画像処理装置の動作を示すフローチャートである。 同観察システムが備える画像処理装置のハードウェア構成を示すブロック図である。 本技術の第２の実施形態に係る画眼科用観察システムの構成を示すブロック図である。 同観察システムが備える前置レンズ及び撮像装置の構成を示す模式図である。 同観察システムが備える前置レンズ及び撮像装置の構成を示す模式図である。 同用観察システムが備える前置レンズ及び撮像装置の構成を示す模式図である。 同観察システムが備える撮像装置の小型カメラの配置を示す模式図である。 観察システムが備える撮像装置によって撮像される撮像画像の撮像範囲を示す模式図である。 同観察システムが備える画像処理装置の機能的構成を示すブロック図である。 同観察システムが備える画像処理装置による表示画像の生成を示す模式図である。 同観察システムが備える画像処理装置によって生成される表示画像の模式図である。 同観察システムが備える画像処理装置の動作を示すフローチャートである。

（第１の実施形態）
本技術の第１の実施形態に係る眼科用観察システムについて説明する。

［眼科用観察システムの構成］
図１は本実施形態に係る眼科用観察システム１００の構成を示すブロック図である。同図に示すように眼科用観察システム１００は、前置レンズ１０１、顕微鏡１０２、撮像装置１０３、画像処理装置１０４、表示装置１０５、顕微鏡制御入力部１０６、顕微鏡制御部１０７及びユーザ入力部１０８を備える。

図２及び図３は眼科用観察システム１００の観察対象である眼３００の構造を示す模式図であり、図２は断面図、図３は眼の正面方向からみた平面図である。これらの図に示すように、眼３００は角膜３０１、虹彩３０２及び水晶体３０３等の組織で構成されている。水晶体３０３の表面において虹彩３０２の間が瞳孔３０４であり、角膜３０１の周縁には隅角３０５が位置する。また、図２及び図３には眼の手術に用いられる術具Ｔを示す。

前置レンズ１０１は、眼に装着されるレンズである。図４及び図５は、前置レンズ１０１を示す模式図である。前置レンズ１０１は図４に示す直視型の前置レンズ（以下、直視型前置レンズ１０１Ａ）であってもよく、図５に示す反射型の前置レンズ（以下、反射型前置レンズ１０１Ｂ）であってもよい。

図４に示すように、直視型前置レンズ１０１Ａは角膜３０１上に載置され、支持部材１１１、凹レンズ１１２及び凸レンズ１１３から構成されている。凹レンズ１１２は角膜３０１に当接し、凸レンズ１１３は凹レンズ１１２から離間して設けられている。

図６は、直視型前置レンズ１０１Ａにおける光の経路を示す模式図である。同図に示すように、隅角３０５等の虹彩３０２の周縁部から出射された光（図中、Ｌ１）は凹レンズ１１２及び凸レンズ１１３によって反転し、眼の正面方向に向かって出射する。また、瞳孔３０４等の虹彩３０２の中央部から出射された光（図中、Ｌ２）もまた、凹レンズ１１２及び凸レンズ１１３によって反転し、眼の正面方向に向かって出射する。

図７は、直視型前置レンズ１０１Ａを介してみた眼の像を示す模式図である。同図に示すように、虹彩３０２の周囲には、直視型前置レンズ１０１Ａによって現された隅角３０５の像が映ると共に、直視型前置レンズ１０１Ａの周縁Ｓより内側の領域では像が反転する。また、直視型前置レンズ１０１Ａによって像は一定程度拡大される。図７において像が反転する領域を反転領域Ｒ１とし、像が反転しない領域を非反転領域Ｒ２として示す。図８は反転領域Ｒ１のみを示す模式図である。

図５に示すように反射型前置レンズ１０１Ｂは、角膜３０１上に載置され、支持部材１２１、凸レンズ１２２及びミラー１２３から構成されている。凸レンズ１２２は角膜３０１に当接するように配置される。図９は、ミラー１２３の配置を示す模式図であり、眼の正面方向からみた図である。同図に示すようにミラー１２３は、凸レンズ１２２の周囲において円周状に配置されている。

図１０は、反射型前置レンズ１０１Ｂにおける光の経路を示す模式図である。同図に示すように、隅角３０５等の虹彩３０２の周縁部から出射された光（図中、Ｌ１）は凸レンズ１２２によって屈折し、ミラー１２３によって眼の正面方向に向かって反射され、反転して出射する。また、瞳孔３０４等の虹彩３０２の中央部から出射された光（図中、Ｌ２）はミラー１２３によって反射されず、反転せずに出射する。

図１１は、反射型前置レンズ１０１Ｂを介してみた眼の像を示す模式図である。同図に示すように、虹彩３０２の周囲には、反射型前置レンズ１０１Ｂによって現された隅角３０５の像が映る。また、反射型前置レンズ１０１Ｂの周縁Ｓより内側の一定範囲の領域では上記光Ｌ１で示すように像が反転する。以下、この像が反転する領域を反転領域Ｒ１とし、像が反転しない領域を非反転領域Ｒ２とする。

図１２は反転領域Ｒ１のみを示す模式図である。ミラー１２３が円周状に配置されているため、同図に示すように反転領域Ｒ１も円周状の領域となる。また、術具Ｔの像に示すように、反転領域Ｒ１の内周側から外周側にかけて像が次第に拡大される。

また図１１に示すように非反転領域Ｒ２は、反転領域Ｒ１の内側の中央領域Ｒ２Ａと反転領域Ｒ１の外側の外周領域Ｒ２Ｂを含む。中央領域Ｒ２Ａは上記光Ｌ２で示すようにミラー１２３によって反射されていない領域であり、周縁領域２Ｂは反射型前置レンズ１０１Ｂの外側の領域である。

図１３は、眼の構造と反射型前置レンズ１０１Ｂによって生じる像の関係を示す模式図である。同図に示すように、反転領域Ｒ１には、ミラー１２３によって反射された隅角３０５、虹彩３０２及び瞳孔３０４の像が含まれる。このため、虹彩３０２及び瞳孔３０４は中央領域Ｒ２Ａと反転領域Ｒ１の両方に映ることになる。

前置レンズ１０１は以上のような構成を有する。前置レンズ１０１は直接的または間接的に眼との位置関係を固定され、像の一部を反転させるものであればよく、典型的には隅角３０５を観察するための隅角鏡である。また、前置レンズ１０１は網膜観察のためのワイドビューシステムに利用されるワイドビューレンズであってもよい。

顕微鏡１０２は、前置レンズ１０１から出射された光を拡大し、撮像装置１０３に入射させる。顕微鏡１０２は一般的構成を有する光学顕微鏡とすることができる。また、顕微鏡１０２は、左右両眼用に二つの鏡筒が設けられたものであってもよい。顕微鏡１０２は視野をＸ−Ｙ方向に移動可能なものが好適である。顕微鏡１０２は、顕微鏡制御部１０７によって拡大倍率や視野範囲等の制御を受ける。

撮像装置１０３は、顕微鏡１０２にマウントされ、前置レンズ１０１及び顕微鏡１０２を介して眼の画像を撮像する。撮像装置１０３が撮像する画像（以下、撮像画像）は、前置レンズ１０１が眼に装着されていない場合には図３に示すような画像となり、前置レンズ１０１が眼に装着されている場合には図７又は図１１に示すような画像となる。撮像装置１０３は撮像画像を画像処理装置１０４に出力する。

画像処理装置１０４は、撮像装置１０３から出力された撮像画像に画像処理を施し、表示画像を生成する。図１４は表示画像を示す模式図である。画像処理装置１０４は撮像画像に前置レンズ１０１が含まれる場合、撮像画像に含まれる反転領域Ｒ１を反転させ、図１４に示すように正しい向きに補正する。この詳細については後述する。画像処理装置１０４は生成した表示画像を表示装置１０５に出力し、表示させる。また、画像処理装置１０４は、反転の有無や反転領域の範囲等といった反転に関する情報を顕微鏡制御部１０７に出力する。

表示装置１０５は、画像処理装置１０４から出力された表示画像を表示する。表示装置１０５は一般的なディスプレイやヘッドマウントディスプレイである。また、表示装置１０５は複数のディスプレイであってもよく、例えば執刀医用のディスプレイと補助者用のディスプレイとすることができる。

顕微鏡制御入力部１０６は、ユーザによる顕微鏡１０２への操作入力を受け付ける。ユーザは顕微鏡制御入力部１０６を用いて顕微鏡１０２の視野をＸ−Ｙ方向において移動させる（以下、Ｘ−Ｙ操作）等の操作入力を行うことができる。顕微鏡制御入力部１０６は例えばフットスイッチである。顕微鏡制御入力部１０６は、ユーザの操作に基づいて入力信号を生成し、入力信号を顕微鏡制御部１０７に供給する。

顕微鏡制御部１０７は、顕微鏡制御入力部１０６から供給された入力信号に基づいて顕微鏡１０２を制御する。顕微鏡制御部１０７は、入力信号に応じて顕微鏡１０２の鏡筒位置等を調整し、顕微鏡１０２の視野を移動させることができる。

ここで、顕微鏡制御部１０７は、画像処理装置１０４から反転に関する情報を取得し、反転が実施されている場合、反転領域Ｒ１において顕微鏡制御入力部１０６から供給された入力信号を反転させる。

上記のように画像処理装置１０４において反転領域Ｒ１の反転が実施されている場合においてユーザが視野を移動させる際、表示画像には反転した眼の像が含まれているため、そのままではユーザが見たい方向に視野を移動させようとすると、視野が反対方向に移動する。これにより、ユーザに混乱を引き起こす。

これに対して顕微鏡制御部１０７がＸ−Ｙ操作の入力信号を反転させることにより、ユーザの意図するＸ−Ｙ操作にしたがって顕微鏡１０２の視野が移動し、ユーザの混乱が解消される。

ユーザ入力部１０８は、上述した顕微鏡制御部１０７による入力信号の反転処理を実施するかどうかをユーザの指示に従って設定する。

［画像処理装置の機能的構成］
図１５は画像処理装置１０４の機能的構成を示すブロック図である。同図に示すように画像処理装置１０４は、画像取得部１４１、モード決定部１４２、領域検出部１４３、画像生成部１４４及び画像出力部１４５を備える。

＜１．直視型前置レンズの場合＞
前置レンズ１０１として直視型前置レンズ１０１Ａ（図４参照）が用いられる場合の画像処理装置１０４の機能的構成について説明する。

画像取得部１４１は、撮像装置１０３から撮像画像を取得する。直視型前置レンズ１０１Ａが用いられている場合の撮像画像は、図７に示すような画像となる。上述のように撮像画像には反転領域Ｒ１及び非反転領域Ｒ２が含まれている。画像取得部１４１は、取得した撮像画像をモード決定部１４２に供給する。

モード決定部１４２は、画像処理装置１０４の動作モードを決定する。具体的には、モード決定部１４２は前置レンズ１０１による影響を補正するためのモード（以下、補正モード）と通常のモード（以下、通常モード）のいずれかのモードを選択する。

モード決定部１４２は、撮像画像に含まれている前置レンズ１０１の検出結果を利用してモードを決定することができる。

モード決定部１４２は、予めデータベースに保存されている前置レンズ１０１の像の特徴を撮像画像において検出する物体認識技術によって前置レンズ１０１を検出することができる。また、モード決定部１４２は、前置レンズ１０１に付されたマーカーを検出することによって前置レンズ１０１を検出してもよい。

モード決定部１４２は、撮像画像に前置レンズ１０１が含まれている場合には補正モードを選択し、前置レンズ１０１が含まれていない場合には通常モードを選択することができる。

また、モード決定部１４２は、ユーザ入力部１０８を用いて入力されたユーザの指示に応じて、モードを決定してもよい。モード決定部１４２は、決定したモードを領域検出部１４３及び画像生成部１４４に通知する。

領域検出部１４３は、撮像画像において反転領域Ｒ１を検出する。図１６は直視型前置レンズ１０１Ａが眼に装着されている場合に撮像される撮像画像Ｇにおける反転領域Ｒ１の範囲を示す模式図である。

領域検出部１４３は、上述した物体認識を利用して反転領域Ｒ１を検出することができる。また、領域検出部１４３は、前置レンズ１０１の外側は白目の領域である一方、前置レンズ１０１の内側は隅角、虹彩及び瞳孔のように白目とは色やテクスチャの様子が異なることを利用して反転領域Ｒ１を検出することもできる。

また、撮像画像において前置レンズ１０１の周縁Ｓには明確エッジが存在するため、領域検出部１４３はエッジ検出処理を行い、検出されたエッジの内側の領域を反転領域Ｒ１として検出ことも可能である。

以上の検出方法は１つの撮像画像から反転領域Ｒ１を検出するものであるが、領域検出部１４３は複数の撮像画像を利用して反転領域Ｒ１を検出することもできる。具体的には領域検出部１４３は、前置レンズ１０１が装着されていない手術開始時の撮像画像を保持しておき、その撮像画像と前置レンズ１０１が含まれる撮像画像を比較し、差分が大きい領域を反転領域Ｒ１として検出してもよい。

また、顕微鏡１０２に撮像装置１０３を搭載する場合、左目用と右目用の両方の撮像画像を得ることができる。領域検出部１４３は、この二つの撮像画像の視差情報からデプス（Depth）情報を抽出し、前置レンズ１０１は眼の手前にあることを利用して反転領域Ｒ１を検出することもできる。

なお、領域検出部１４３は、一度反転領域Ｒ１の検出に成功した場合には、検出した前置レンズ１０１をトラッキングすることで反転領域Ｒ１を検出してもよい。領域検出部１４３は以上のようにして反転領域Ｒ１を検出する。領域検出部１４３は、検出した反転領域Ｒ１の範囲を画像生成部１４４に供給する。

画像生成部１４４は、撮像画像に補正処理を行い、表示画像を生成する。図１７は画像生成部１４４による補正処理の態様を示す模式図である。まず、画像生成部１４４は、図１７（ａ）に示すように撮像画像Ｇにおける反転領域Ｒ１を抽出する。図中、Ｒ、Ｌ、Ｕ及びＤは反転領域Ｒ１における位置を示す記号である。

続いて、画像生成部１４４は図１７（ｂ）に示すように、反転領域Ｒ１の中心を中心点として点対称となるように反転領域Ｒ１を反転させる。さらに、画像生成部１４４は、図１７（ｃ）に示すように、反転させた反転領域Ｒ１の外周と非反転領域Ｒ２の内周を一致させることによって反転領域Ｒ１と非反転領域Ｒ２とを合成する。

これにより、画像生成部１４４は、図１４に示すように、反転が解消された表示画像を生成することができる。画像生成部１４４は、生成した表示画像を画像出力部１４５に供給する。

画像出力部１４５は、表示画像を表示装置１０５に出力し、表示装置１０５に表示させる。ここで、眼科の手術では、執刀医と助手がいる場合、執刀医と助手が直交した位置関係となることが多い。この場合、画像出力部１４５は、あるディスプレイには執刀医の位置から見た表示画像を、別のディスプレイには助手の位置に合わせて回転させた表示画像を表示させることができる。これにより、執刀医と助手の両方に混乱が生じにくい表示画像を提供することができる。

＜２．反射型前置レンズの場合＞
前置レンズ１０１として反射型前置レンズ１０１Ｂ（図５参照）が用いられる場合の画像処理装置１０４の機能的構成について説明する。

画像取得部１４１は、撮像装置１０３から撮像画像を取得する。反射型前置レンズ１０１Ｂが用いられている場合の撮像画像は、図１１に示すような画像となる。上述のように撮像画像には反転領域Ｒ１及び非反転領域Ｒ２が含まれている。画像取得部１４１は、取得した撮像画像をモード決定部１４２に供給する。

モード決定部１４２は、画像処理装置１０４の動作モードを決定する。モード決定部１４２は、直視型前置レンズ１０１Ａの場合と同様に撮像画像に含まれている前置レンズ１０１の検出結果やユーザによる指示に応じて動作モードを決定することができる。モード決定部１４２は、決定したモードを領域検出部１４３及び画像生成部１４４に通知する。

領域検出部１４３は、撮像画像において各領域を検出する。図１８は、反射型前置レンズ１０１Ｂが眼に装着されている場合に撮像される撮像画像Ｇにおける反転領域Ｒ１、中央領域Ｒ２Ａ及び外周領域Ｒ２Ｂを示す模式図である。

まず、領域検出部１４３は、反転領域Ｒ１及び中央領域Ｒ２Ａを検出する。領域検出部１４３は、直視型前置レンズ１０１Ａの場合と同様に、物体認識やエッジ検出、撮像画像の差分等を利用して反転領域Ｒ１を検出することができる。また、領域検出部１４３は、検出した反転領域Ｒ１の内側の領域を中央領域Ｒ２Ａとして検出することができる。

さらに、領域検出部１４３は、不要領域を検出する。図１９は不要領域Ｒ３（図中、斜線部）を示す模式図である。同図に示すように、不要領域Ｒ３は、反転領域Ｒ１のうち、中央領域Ｒ２Ａにも映っている領域であり、反転領域Ｒ１における虹彩３０２及び瞳孔３０４に相当する領域である。

領域検出部１４３は、隅角３０５と虹彩３０２の色やテクスチャの違いを利用して不要領域Ｒ３を検出することができる。また、領域検出部１４３は、予め取得したミラー１２３の傾斜角度から不要領域Ｒ３となる範囲を推定し、不要領域Ｒ３を検出することもできる。

さらに、領域検出部１４３は、中央領域Ｒ２Ａの周縁に隅角３０５が移っている場合には、隅角３０５の領域も不要領域Ｒ３に含めることが可能である。領域検出部１４３は、検出した反転領域Ｒ１、中央領域Ｒ２Ａ及び不要領域Ｒ３の範囲を画像生成部１４４に供給する。

画像生成部１４４は、撮像画像に補正処理を行い、表示画像を生成する。図２０及び図２１は画像生成部１４４による補正処理の態様を示す模式図である。まず、画像生成部１４４は、図２０（ａ）に示すように撮像画像Ｇにおける反転領域Ｒ１を抽出する。図中、Ｒ０、Ｒ１、Ｌ０、Ｌ１、Ｕ０、Ｕ１、Ｄ０及びＤ１は反転領域Ｒ１における位置を示す記号である。

続いて、画像生成部１４４は、図２０（ｂ）に示すように、反転領域Ｒ１において不要領域Ｒ３を削除する。以下、不要領域Ｒ３を削除した反転領域Ｒ１を反転領域Ｒ４とする。同図において反転領域Ｒ４の内周を内周Ｅ１として示し、反転領域Ｒ４の外周を外周Ｅ２として示す。

さらに画像生成部１４４は図２１（ａ）に示すように反転領域Ｒ４を、反転領域Ｒ４の中心を中心点として点対称となるように反転させる。同図において反転領域Ｒ４の内周Ｅ３は反転前の外周Ｅ２に相当し、反転領域Ｒ４の外周Ｅ４は反転前の内周Ｅ１に相当する。即ち、画像生成部１４４は、内周Ｅ１の長さが外周Ｅ４に一致し、外周Ｅ２の長さが内周Ｅ３に一致するように、台形補正を施して反転領域Ｒ４を反転させる。また、画像生成部１４４は、中央領域Ｒ２Ａに不要領域Ｒ３の一部が存在する場合、この部分を削除する。

さらに、画像生成部１４４は、図２１（ｂ）に示すように、反転させた反転領域Ｒ４を非反転領域Ｒ２（中央領域Ｒ２Ａ及び外周領域Ｒ２Ｂ）と合成する。この際、画像生成部１４４は、反転領域Ｒ４の内周Ｅ３が中央領域Ｒ２Ａの外周に一致するように反転領域Ｒ４を拡大させ、又は中央領域Ｒ２Ａを拡大させる。また、画像生成部１４４は、反転領域Ｒ４の外周Ｅ４を外周領域の内周に一致させる。

このようにして、画像生成部１４４は、図１４に示すように、反転が解消された表示画像を生成することができる。画像生成部１４４は、生成した表示画像を画像出力部１４５に供給する。

画像出力部１４５は、表示画像を表示装置１０５に出力し、表示装置１０５に表示させる。画像出力部１４５は上記のように、執刀医と助手の位置関係に応じて表示画像を回転させ、ディスプレイに表示させることが可能である。

［画像処理装置の動作］
図２２は、画像処理装置１０４の動作を示すフローチャートである。同図に示すように、まず、画像取得部１４１が撮像画像を取得する（Ｓｔ１０１）。

続いて、モード決定部１４２が、補正モードと通常モードのいずれかを決定する（Ｓｔ１０２）。モード決定部１４２は、上記のように撮像画像において前置レンズ１０１を検出し、又はユーザの指示を受けて補正モードを選択し、それ以外の場合は通常モードを選択することができる。

モード決定部１４２が補正モードを選択した場合（Ｓｔ１０３：Ｙｅｓ）、領域検出部１４３は反転領域Ｒ１を検出する（Ｓｔ１０４）。また、反射型前置レンズ１０１Ｂが眼に装着されている場合、領域検出部１４３は、反転領域Ｒ１に加え、中央領域Ｒ２Ａ及び不要領域Ｒ３を検出する。

続いて、画像生成部１４４は、補正及び合成処理を行い、表示画像を生成する（Ｓｔ１０５）。画像生成部１４４は、直視型前置レンズ１０１Ａの場合には反転領域Ｒ１を反転させ、非反転領域Ｒ２と合成させる。また、画像生成部１４４は、反射型前置レンズ１０１Ｂの場合には不要領域Ｒ３を削除した上で反転領域Ｒ４を反転させ、非反転領域Ｒ２と合成させる。

また、モード決定部１４２が通常モードを選択した場合（Ｓｔ１０３：Ｎｏ）、画像生成部１４４は、撮像画像をそのまま表示画像とする。

続いて画像出力部１４５は、画像生成部１４４によって生成された表示画像を表示装置１０５に出力し（Ｓｔ１０６）、表示装置１０５に表示させる。画像出力部１４５は、執刀医と助手の位置関係に応じて表示画像を回転させることができる。

画像処理装置１０４は以上のような動作を行う。画像処理装置１０４によって前置レンズ１０１による像の反転が解消されるため、ユーザは混乱を生じることなく手術を行うことが可能となる。

［眼科用観察システムの動作］
画像処理装置１０４によって、前置レンズ１０１による像の反転が解消された表示画像が表示装置１０５に表示させる。その表示画像を見ながら術者は処置を行うが、細かな作業を行う場合、拡大して観察したいということがある。デジタルズームで十分な場合は、それで対応するが、より拡大したい場合には顕微鏡１０２を適切な位置に、Ｘ−Ｙ方向において平行移動させたうえで光学的に拡大することも必要になる。

表示画像は補正された画像であるため、たとえば表示装置１０５上の左上を拡大して見たい場合には、顕微鏡１０２自体は右下に動かす必要があり、齟齬が生じる。そこで、顕微鏡制御部１０７は補正モードで動作している場合には、顕微鏡制御入力部１０６等から得られるＸ−Ｙ操作信号を反転させて顕微鏡１０２の動きに反映させることで、術者の混乱を防止することが可能である。

［眼科用観察システムによる効果］
従来、隅角等の眼の正面からの視認が困難な部位を、前置レンズ及び顕微鏡によって観察することが一般的であった。眼科用観察システム１００では、前置レンズ１０１及び顕微鏡１０２に加えて画像処理装置１０４による画像処理を行うことにより術者の混乱のもとになる像の反転を解消することが可能である。

また、眼科用観察システム１００の光学系（前置レンズ１０１及び顕微鏡１０２）は簡易な光学系であるため、光の減衰を減らすことができ、低光量にも対応することができる。さらに、像の反転の解消に合わせて顕微鏡１０２の操作信号を反転させることにより、術者は違和感なく顕微鏡１０２の視野を移動させることが可能である。

［ハードウェア構成］
図２３は、画像処理装置１０４のハードウェア構成を示す模式図である。同図に示すように画像処理装置１０４はハードウェア構成として、ＣＰＵ１００１、ＧＰＵ１００２、メモリ１００３、ストレージ１００４及び入出力部（Ｉ／Ｏ）１００５を有する。これらはバス１００６によって互いに接続されている。

ＣＰＵ（Central Processing Unit）１００１は、メモリ００３に格納されたプログラムに従って他の構成を制御すると共に、プログラムに従ってデータ処理を行い、処理結果をメモリ１００３に格納する。ＣＰＵ１００１はマイクロプロセッサとすることができる。

ＧＰＵ（Graphic Processing Unit）１００２は、ＣＰＵ１００１による制御を受けて、画像処理を実行する。ＧＰＵ１００２はマイクロプロセッサとすることができる。

メモリ１００３はＣＰＵ１００１によって実行されるプログラム及びデータを格納する。メモリ１００３はＲＡＭ（Random Access Memory）とすることができる。

ストレージ１００４は、プログラムやデータを格納する。ストレージ１００４はＨＤＤ（hard disk drive）又はＳＳＤ（solid state drive）とすることができる。

入出力部１００５は画像処理装置１０４に対する入力を受け付け、また画像処理装置１０４の出力を外部に供給する。入出力部１００５は、キーボードやマウス等の入力機器やディスプレイ等の出力機器、ネットワーク等の接続インターフェースを含む。

画像処理装置１０４のハードウェア構成はここに示すものに限られず、画像処理装置１０４の機能的構成を実現できるものであればよい。また、上記ハードウェア構成の一部又は全部はネットワーク上に存在していてもよい。

（第２の実施形態）
本技術の第２の実施形態に係る眼科用観察システムについて説明する。

［眼科用観察システムの構成］
図２４は本実施形態に係る眼科用観察システム２００の構成を示すブロック図である。同図に示すように眼科用観察システム２００は、前置レンズ２０１、撮像装置２０２、画像処理装置２０３、表示装置２０４及び制御入力部２０５を備える。なお、眼の構造については、第１の実施形態（図２及び図３）と同一の符号を用いる。

前置レンズ２０１は、眼に装着されるレンズである。本実施形態においては、前置レンズ２０１に撮像装置２０２が組み込まれている。図２５乃至図２８は、前置レンズ２０１及び撮像装置２０２の構成を示す模式図である。

前置レンズ２０１は、第１の実施形態と同様に反射型前置レンズ又は直視型前置レンズとすることができる。本実施形態では、前置レンズ２０１として前置レンズの一部の構成について示す。図２５乃至図２８に示すように、前置レンズ２０１は眼３００に装着され、支持部材２１１及び凸レンズ２１２を備える。

図２５に示すように、撮像装置２０２は、複数の小型カメラ２１３が配列されたカメラアレイとすることができる。図２８は小型カメラ２１３の配列を示す模式図であり、眼の正面方向からみた図である。同図に示すように小型カメラ２１３は同心円状の配列とすることができる。また、小型カメラ２１３の配列はこのような配列に限られず、小型カメラ２１３のアレイによって凸レンズ２１２の全周を撮像可能なものであればよい。

図２５に示すように、眼から出射された光Ｌは凸レンズ２１２を通過し、それぞれの小型カメラ２１３に入射して撮像される。

また、図２６に示すように撮像装置２０２は、複数の集光部２１４と、集光部２１４にそれぞれ接続された光ファイバ２１５と、各光ファイバ２１５が接続された一つのカメラ２１６によって構成されたものであってもよい。集光部２１４はレンズ等の任意の光学系を備え、入射光を光ファイバ２１５に集光する。集光部２１４の配列は、図２８に示す小型カメラ２１３の配列と同様とすることができるが、凸レンズ２１２の全周を撮像可能なものであればよい。

図２６に示すように、眼から出射された光Ｌは凸レンズ２１２を通過し、それぞれの集光部２１４に入射する。それぞれの集光部２１４に入射した光は光ファイバ２１５によってカメラ２１６に導かれ、カメラ２１６によって撮像される。

また、図２７に示すように撮像装置２０２は、複数の集光部２１７と、集光部２１７にそれぞれ接続された光ファイバ２１８と、光ファイバ２１８がそれぞれ接続された複数の小型カメラ２１９によって構成されたものであってもよい。集光部２１７はレンズ等の任意の光学系を備え、入射光を光ファイバ２１８に集光する。集光部２１７の配列は、図２８に示す小型カメラ２１３の配列と同様とすることができるが、凸レンズ２１２の全周を撮像可能なものであればよい。

図２７に示すように、眼から出射された光Ｌは凸レンズ２１２を通過し、それぞれの集光部２１７に入射する。それぞれの集光部２１７に入射した光は光ファイバ２１８によってそれぞれの小型カメラ２１９に導かれ、小型カメラ２１９によって撮像される。

図２９は、小型カメラ２１３によって撮像される眼の像を示す模式図である。同図において、小型カメラ２１３のそれぞれの撮像範囲を撮像範囲Ｈとして示す。同図に示すように、小型カメラ２１３の撮像範囲Ｈを結合することによって眼の全体の像が得られる。

図２９に示すように、虹彩３０２の周囲には、前置レンズ２０１によって現された隅角３０５の像が映ると共に、前置レンズ２０１の周縁Ｓより内側の領域では像が反転する。また、前置レンズ２０１によって像は一定程度拡大される。図２９において像が反転する領域を反転領域Ｒ１とし、像が反転しない領域を非反転領域Ｒ２として示す。

なお、小型カメラ２１９（図２７参照）によって撮像される眼の像も小型カメラ２１３と同様の像となる。また、カメラ２１６（図２６参照）の場合、図２９に示すような一つの画像が撮像され、個々の集光部２１４に入射する光は個々の撮像範囲Ｈに相当する範囲の光となる。

前置レンズ２０１及び撮像装置２０２は以上のような構成を有する。前置レンズ２０１は眼に装着され、像の一部を反転させるものであればよく、典型的には隅角３０５を観察するための隅角鏡である。また、前置レンズ２０１は網膜観察のためのワイドビューシステムに利用されるワイドビューレンズであってもよい。

画像処理装置２０３は、撮像装置２０２から出力された撮像画像に画像処理を施し、表示画像を生成する。画像処理装置２０３は、撮像画像に含まれる反転領域Ｒ１を反転させて正しい向きに補正する。この詳細については後述する。画像処理装置２０３は生成した表示画像を表示装置２０４に出力し、表示させる。

表示装置２０４は、画像処理装置２０３から出力された表示画像を表示する。表示装置２０４は一般的なディスプレイやヘッドマウントディスプレイである。また、表示装置２０４は複数のディスプレイであってもよく、例えば手術者用のディスプレイと補助者用のディスプレイとすることができる。

制御入力部２０５は、ユーザによる画像処理装置２０３への操作入力を受け付ける。ユーザは、制御入力部２０５を用いて表示モードの指定等の操作入力を行うことができる。制御入力部２０５は例えばフットスイッチである。

［画像処理装置の機能的構成］
図３０は画像処理装置２０３の機能的構成を示すブロック図である。同図に示すように画像処理装置２０３は、モード受付部２３１、画像取得部２３２、画像生成部２３３、画像出力部２３４を備える。

モード受付部２３１は、ユーザによる表示モードの入力を受け付ける。表示モードには、拡大率、立体感及びＸ−Ｙ方向の位置の情報（以下、Ｘ−Ｙ位置情報）が含まれている。モード受付部２３１は、表示モードを受け付けると、表示モードを画像取得部２３２に指示する。

画像取得部２３２は、撮像装置２０２から図２９に示すような撮像画像を取得する。画像取得部２３２は、取得した撮像画像を画像生成部２３３に供給する。

画像生成部２３３は、撮像画像に補正処理を行い、表示画像を生成する。画像生成部２３３は、表示モードにおいて規定されている拡大率及びＸ−Ｙ位置情報にしたがって定まる術野範囲を計算し、その術野範囲が映る撮像範囲Ｈの撮像画像を抽出する。

画像生成部２３３は、抽出した撮像画像の位置及び向きを変更しパノラマ合成を行う。図３１は、画像生成部２３３による撮像画像の位置及び向きの変更を示す模式図であり、撮像範囲Ｈ１の撮像画像を範囲Ｈ２に反転させている。同図に示すように画像生成部２３３は、反転領域Ｒ１の反転が解消されるように撮像画像の位置及び向きを変更する。

図３２は、画像生成部２３３が生成する表示画像の模式図である。画像生成部２３３は、表示モードによって眼の全体の画像を指示された場合には、図３２（ａ）に示すように全ての撮像範囲Ｈの撮像画像を利用して表示画像を生成する。

また、画像生成部２３３は、表示モードによって眼の一部を拡大した画像を指示された場合には、図３２（ｂ）に示すように一部の撮像範囲Ｈの撮像画像を利用して表示画像を生成する。

このようにして画像生成部２３３は、反転領域Ｒ１の反転が解消された表示画像を生成することができる。また、画像生成部２３３は、輻輳を変更するように撮像範囲Ｈを選択する、即ち、互いに離間する撮像範囲Ｈから表示画像を生成することによって視差を変更することも可能である。画像生成部２３３は、生成した表示画像を画像出力部２３４に供給する。

画像出力部２３４は、表示画像を表示装置２０４に出力し、表示装置２０４に表示させる。画像出力部２３４は、第１の実施形態と同様に、あるディスプレイには執刀医の位置から見た表示画像を、別のディスプレイには助手の位置に合わせて回転させた表示画像を表示させることができる。

［画像処理装置の動作］
図３３は、画像処理装置２０３の動作を示すフローチャートである。同図に示すように、まず、モード受付部２３１が表示モードの入力を受け付ける（Ｓｔ２０１）。表示モードの変更がある場合（Ｓｔ２０１：Ｎｏ）、表示モードが変更される（Ｓｔ２０２）。表示モードが変更された後、又は表示モードに変更がない場合（Ｓｔ２０１：Ｙｅｓ）、画像取得部２３２は表示モードにしたがって撮像画像を取得する（Ｓｔ２０３）。

続いて、画像生成部２３３は、表示モードにしたがって撮像範囲Ｈ毎に撮像画像の向き及び位置を変更して合成し、表示画像を生成する（Ｓｔ２０５）。画像出力部２３４は表示画像を表示装置２０４に出力し、表示させる（Ｓｔ２０６）。

画像処理装置２０３は、撮像画像の撮像に光学的なズームを用いないため、拡大した表示画像と眼の全体の表示画像を同時に提示することができ、執刀医が拡大している部位の位置を見失うことが防止されている。

また、微細な手技が実施される差異には術野の拡大が必要となるが、こういった場合、単純に拡大画像だけではなく、視差による立体感が重要になることも多い。本技術では、
二つの撮像範囲を輻輳を変更するように選ぶことで視差を変えることが容易に行えるため、ユーザによって指定された立体感の設定パラメタに瞬時に応じることができる。

また、本実施形態では光学的なズームを用いずに画像処理によって術野の画像を提供しているため、執刀医には拡大像を、助手は全体像を見るといったような使い方も可能である。

［眼科用観察システムによる効果］
眼科用観察システム２００では、前置レンズ２０１に加えて画像処理装置２０３による画像処理を行うことにより術者の混乱のもとになる像の反転を解消することが可能である。

また、眼科用観察システム２００の光学系（前置レンズ２０１）は簡易な光学系であるため、光の減衰を減らすことができ、低光量にも対応することができる。

また、眼科用観察システム２００では眼の全体像と拡大図を同時に提示すること、術野の変更を瞬時に行うことが可能である。さらに眼科用観察システム２００では、視差の変更が容易に行え、立体感を制御することが可能であり、執刀医と助手にそれぞれ適した表示画像を提示することも可能である。

［ハードウェア構成］
画像処理装置２０３は、第１の実施形態に係る画像処理装置１０４と同様のハードウェア構成によって実現することが可能である。

なお、本技術は以下のような構成もとることができる。

（１）
眼に装着された前置レンズを介して撮像された撮像画像において、上記前置レンズによって像が反転している画像領域である反転領域を反転させ、表示画像を生成する画像生成部
を具備する画像処理装置。

（２）
上記（１）に記載の画像処理装置であって、
上記撮像画像において上記反転領域を検出する領域検出部
をさらに具備する画像処理装置

（３）
上記（１）又は（２）に記載の画像処理装置であって、
上記画像生成部は、上記反転領域の中心を中心点として上記反転領域を反転させる
画像処理装置。

（４）
上記（１）から（３）のいずれか一つに記載の画像処理装置であって、
上記画像生成部は、上記反転領域を反転させ、上記撮像画像において上記前置レンズによって像が反転していない画像領域である非反転領域と合成することによって上記表示画像を生成する
画像処理装置。

（５）
上記（４）に記載の画像処理装置であって、
上記前置レンズは、角膜に当接する凹レンズと、上記凹レンズから出射された光を眼の正面方向に向けて屈折させる凸レンズとを備える直視型前置レンズであり、
上記反転領域は円形であり、上記非反転領域は上記反転領域の周囲を囲む
画像処理装置。

（６）
上記（５）に記載の画像処理装置であって、
上記画像生成部は、上記反転領域を反転させ、反転させた上記反転領域の外周と上記非反転領域の内周を一致させることによって上記反転領域と上記非反転領域とを合成する
画像処理装置。

（７）
上記（４）に記載の画像処理装置であって、
上記前置レンズは、角膜に当接する凸レンズと、上記凸レンズの周囲に円周状に配置され、上記凸レンズから出射された光を眼の正面方向に向けて反射させるミラーとを備える反射型前置レンズであり、
上記反転領域は円周状領域であり、上記非反転領域は上記反転領域に囲まれた中央領域と上記反転領域を囲む外周領域とを含む
画像処理装置。

（８）
上記（７）に記載の画像処理装置であって
上記画像生成部は、上記反転領域において上記中央領域の像を含む領域を不要領域として検出し、上記不要領域を削除して上記反転領域に反転させ、反転させた上記反転領域の内周と上記中央領域の外周を一致させ、反転させた上記反転領域の外周と上記外周領域の内周を一致させることによって上記反転領域、上記中央領域及び上記外周領域を合成する
画像処理装置。

（９）
上記（２）から（８）のいずれか一つに記載の画像処理装置であって、
上記撮像画像に上記前置レンズが含まれていることを検出して上記前置レンズによる像の反転を補正する補正モードを選択し、上記領域検出部及び上記画像生成部に通知するモード決定部をさらに具備し、
上記領域検出部は、上記モード決定部によって上記補正モードが選択された場合に上記反転領域を検出する
画像処理装置。

（１０）
上記（９）に記載の画像処理装置であって
上記モード決定部は、上記撮像画像に対する物体認識処理によって上記前置レンズを検出する
画像処理装置。

（１１）
上記（９）に記載の画像処理装置であって
上記モード決定部は、上記撮像画像において上記前置レンズに付されたマーカーを検出することによって上記前置レンズを検出する
画像処理装置。

（１２）
上記（２）から（１１）のいずれか一つに記載の画像処理装置であって、
上記領域検出部は、上記撮像画像に対する物体認識処理によって上記反転領域を検出する
画像処理装置。

（１３）
上記（２）から（１２）のいずれか一つに記載の画像処理装置であって、
上記領域検出部は、上記撮像画像における眼の構造によるテクスチャの違いを利用して上記反転領域を検出する
画像処理装置。

（１４）
上記（２）から（１２）のいずれか一つに記載の画像処理装置であって、
上記領域検出部は、上記撮像画像に対するエッジ検出処理によって上記反転領域を検出する
画像処理装置。

（１５）
上記（２）から（１２）のいずれか一つに記載の画像処理装置であって、
上記領域検出部は、上記撮像画像と上記前置レンズが装着されていない状態で撮像された眼の画像の差分に基づいて上記反転領域を検出する
画像処理装置。

（１６）
上記（２）から（１２）のいずれか一つに記載の画像処理装置であって、
上記領域検出部は、上記撮像画像から得られる視差情報から抽出されるデプス情報を利用して上記反転領域を検出する
画像処理装置。

（１７）
上記（１）から（１６）のいずれか一つに記載の画像処理装置であって、
上記撮像画像は、所定の撮像範囲毎に撮像された複数の画像から構成され、
上記画像生成部は、上記複数の画像の位置及び向きを反転させて上記表示画像を生成する
画像処理装置。

（１８）
眼に装着され、像を反転させる前置レンズと、
上記前置レンズを介して撮像された撮像画像において、上記前置レンズによって像が反転している画像領域である反転領域を反転させ、表示画像を生成する画像生成部を備える画像処理装置と
を具備する眼科用観察装置。

（１９）
上記（１８）に記載の眼科用観察装置であって、
上記前置レンズは隅角鏡である
眼科用観察装置。

（２０）
眼に装着され、像を反転させる前置レンズと、
上記前置レンズの出射光を拡大する顕微鏡と、
ユーザによる操作入力を受け付けて入力信号を生成する顕微鏡制御入力部と、
上記顕微鏡に接続され、上記前置レンズ及び上記顕微鏡を介して撮像画像を撮像する撮像装置と、
上記撮像画像において、上記前置レンズによって像が反転している画像領域である反転領域を反転させ、表示画像を生成する画像生成部を備える画像処理装置と
上記画像生成部が上記反転領域を反転させると、上記入力信号を反転させて上記顕微鏡を制御する顕微鏡制御部と
を具備する眼科用観察システム。

１００、２００…眼科用観察システム
１０１、２０１…前置レンズ
１０２…顕微鏡
１０３、２０２…撮像装置
１０４、２０３…画像処理装置
１０５、２０４…表示装置
１０６…顕微鏡制御入力部
１０７…顕微鏡制御部
１０８…ユーザ入力部
１４１、２３２…画像取得部
１４２…モード決定部
１４３…領域検出部
１４４、２３３…画像生成部
１４５、２３４…画像出力部
２０５…制御入力部
２３１…モード受付部

Claims (20)

1. 眼に装着された前置レンズを介して撮像された撮像画像において、前記前置レンズによって像が反転している画像領域である反転領域を反転させ、表示画像を生成する画像生成部
   を具備する画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記撮像画像において前記反転領域を検出する領域検出部
   をさらに具備する画像処理装置
3. 請求項１に記載の画像処理装置であって、
   前記画像生成部は、前記反転領域の中心を中心点として前記反転領域を反転させる
   画像処理装置。
4. 請求項３に記載の画像処理装置であって、
   前記画像生成部は、前記反転領域を反転させ、前記撮像画像において前記前置レンズによって像が反転していない画像領域である非反転領域と合成することによって前記表示画像を生成する
   画像処理装置。
5. 請求項４に記載の画像処理装置であって、
   前記前置レンズは、角膜に当接する凹レンズと、前記凹レンズから出射された光を眼の正面方向に向けて屈折させる凸レンズとを備える直視型前置レンズであり、
   前記反転領域は円形であり、前記非反転領域は前記反転領域の周囲を囲む
   画像処理装置。
6. 請求項５に記載の画像処理装置であって、
   前記画像生成部は、前記反転領域を反転させ、反転させた前記反転領域の外周と前記非反転領域の内周を一致させることによって前記反転領域と前記非反転領域とを合成する
   画像処理装置。
7. 請求項４に記載の画像処理装置であって、
   前記前置レンズは、角膜に当接する凸レンズと、前記凸レンズの周囲に円周状に配置され、前記凸レンズから出射された光を眼の正面方向に向けて反射させるミラーとを備える反射型前置レンズであり、
   前記反転領域は円周状領域であり、前記非反転領域は前記反転領域に囲まれた中央領域と前記反転領域を囲む外周領域とを含む
   画像処理装置。
8. 請求項７に記載の画像処理装置であって、
   前記画像生成部は、前記反転領域において前記中央領域の像を含む領域を不要領域として検出し、前記不要領域を削除して前記反転領域に反転させ、反転させた前記反転領域の内周と前記中央領域の外周を一致させ、反転させた前記反転領域の外周と前記外周領域の内周を一致させることによって前記反転領域、前記中央領域及び前記外周領域を合成する
   画像処理装置。
9. 請求項２に記載の画像処理装置であって、
   前記撮像画像に前記前置レンズが含まれていることを検出して前記前置レンズによる像の反転を補正する補正モードを選択し、前記領域検出部及び前記画像生成部に通知するモード決定部をさらに具備し、
   前記領域検出部は、前記モード決定部によって前記補正モードが選択された場合に前記反転領域を検出する
   画像処理装置。
10. 請求項９に記載の画像処理装置であって、
    前記モード決定部は、前記撮像画像に対する物体認識処理によって前記前置レンズを検出する
    画像処理装置。
11. 請求項９に記載の画像処理装置であって、
    前記モード決定部は、前記撮像画像において前記前置レンズに付されたマーカーを検出することによって前記前置レンズを検出する
    画像処理装置。
12. 請求項２に記載の画像処理装置であって、
    前記領域検出部は、前記撮像画像に対する物体認識処理によって前記反転領域を検出する
    画像処理装置。
13. 請求項２に記載の画像処理装置であって、
    前記領域検出部は、前記撮像画像における眼の構造によるテクスチャの違いを利用して前記反転領域を検出する
    画像処理装置。
14. 請求項２に記載の画像処理装置であって、
    前記領域検出部は、前記撮像画像に対するエッジ検出処理によって前記反転領域を検出する
    画像処理装置。
15. 請求項２に記載の画像処理装置であって、
    前記領域検出部は、前記撮像画像と前記前置レンズが装着されていない状態で撮像された眼の画像の差分に基づいて前記反転領域を検出する
    画像処理装置。
16. 請求項２に記載の画像処理装置であって、
    前記領域検出部は、前記撮像画像から得られる視差情報から抽出されるデプス情報を利用して前記反転領域を検出する
    画像処理装置。
17. 請求項１に記載の画像処理装置であって、
    前記撮像画像は、所定の撮像範囲毎に撮像された複数の画像から構成され、
    前記画像生成部は、前記複数の画像の位置及び向きを反転させて前記表示画像を生成する
    画像処理装置。
18. 眼に装着され、像を反転させる前置レンズと、
    前記前置レンズを介して撮像された撮像画像において、前記前置レンズによって像が反転している画像領域である反転領域を反転させ、表示画像を生成する画像生成部を備える画像処理装置と
    を具備する眼科用観察装置。
19. 請求項１８に記載の眼科用観察装置であって、
    前記前置レンズは隅角鏡である
    眼科用観察装置。
20. 眼に装着され、像を反転させる前置レンズと、
    前記前置レンズの出射光を拡大する顕微鏡と、
    ユーザによる操作入力を受け付けて入力信号を生成する顕微鏡制御入力部と、
    前記顕微鏡に接続され、前記前置レンズ及び前記顕微鏡を介して撮像画像を撮像する撮像装置と、
    前記撮像画像において、前記前置レンズによって像が反転している画像領域である反転領域を反転させ、表示画像を生成する画像生成部を備える画像処理装置と
    前記画像生成部が前記反転領域を反転させると、前記入力信号を反転させて前記顕微鏡を制御する顕微鏡制御部と
    を具備する眼科用観察システム。

Images