JP7123606B2

JP7123606B2 - 画像処理装置、画像処理方法およびプログラム

Info

Publication number: JP7123606B2
Application number: JP2018074081A
Authority: JP
Inventors: 理宇眞 ▲高▼橋
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-04-06
Filing date: 2018-04-06
Publication date: 2022-08-23
Anticipated expiration: 2038-04-06
Also published as: JP2019180693A

Description

本明細書の開示は、画像処理装置、画像処理方法およびプログラムに関する。

測定対象の断層像を非侵襲で取得できる光干渉断層撮影法（ＯｐｔｉｃａｌＣｏｈｅｒｅｎｃｅＴｏｍｏｇｒａｐｈｙ、以下、ＯＣＴという。）を用いた装置（以下、ＯＣＴ装置という。）が知られている。ＯＣＴ装置を用いて測定対象を広範囲に測観察する場合、ＯＣＴにより取得された複数の３次元画像を位置合わせして、その位置合わせされた３次元画像から２次元パノラマ画像を取得する方法が知られている（特許文献１）。

特開２０１７－４７１１３号公報

しかしながら、複数の３次元画像の位置合わせは計算負荷が高いため、所望の２次元パノラマ画像を生成するまでの時間が長くなるという問題があった。

本明細書の開示は、複数の３次元画像から２次元パノラマ画像を効率的に生成することができる画像処理装置、画像処理方法及びプログラムを提供することを目的の一つとする。

なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本明細書の開示の他の目的の１つとして位置付けることができる。

本明細書の開示に係る画像処理装置は、３次元断層画像に基づくボリュームデータを複数取得する取得手段と、複数の前記ボリュームデータそれぞれの膜厚方向に共通して設定された第１基準範囲および前記第１基準範囲とは異なる第２基準範囲それぞれにおける複数のＥｎ－Ｆａｃｅ画像を、前記複数のボリュームデータそれぞれから生成するＥｎ－Ｆａｃｅ画像生成手段と、前記第Ｉ基準範囲における前記複数のＥｎ－Ｆａｃｅ画像を位置合わせすることにより第Ｉパノラマ画像を生成し、前記第２基準範囲における前記複数のＥｎ－Ｆａｃｅ画像を位置合わせすることにより第２のパノラマ画像を生成するパノラマ画像生成手段と、前記位置合わせの結果を記憶する記憶手段とを備え、前記パノラマ画像生成手段は、前記第１基準範囲における前記複数のＥｎ－Ｆａｃｅ画像の位置合わせの結果が前記記憶手段に記憶されている場合は、前記第２基準範囲における前記複数のＥｎ－Ｆａｃｅ画像を前記第１基準範囲における前記複数のＥｎ－Ｆａｃｅ画像の位置合わせの結果を用いて位置合わせする。

本明細書の開示によれば、複数の３次元画像から効率的に２次元のパノラマ画像を生成することができる。

実施例１に係る画像処理装置の全体構成の一例を概略的に示す。実施例１に係る撮影光学系及びベースの構成の一例を概略的に示す。実施例１に係る制御部の構成の一例を概略的に示す。実施例１に係る３次元画像とＥｎ－Ｆａｃｅ画像の取得方法の一例を概略的に示す。実施例１に係るパノラマ撮影の一例を示す。実施例１に係る画像処理装置の表示画面の一例を示す。実施例１、２に係る画像合成処理の動作のフローチャートの一例を示す。実施例１に係る合成処理のフローチャートの一例を示す。実施例１に係る複合画像の生成及び分離処理の一例を示す。実施例２、３に係る画像処理装置の操作のフローチャートの一例を示す。実施例２、３に係る画像処理装置の表示画面の一例を示す。実施例３に係る画像合成処理の動作のフローチャートの一例を示す。実施例４に係る画像合成処理の動作のフローチャートの一例を示す。

以下、実施例を図面を参照して詳細に説明する。ただし、以下の実施例で説明する波長等の数値及び構成要素の相対的な位置等は任意であり、装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。また、各図面において説明上重要ではない構成要素、部材、処理の一部は省略して表示する場合がある。

（実施例１）
図１乃至図９を参照して、実施例１による画像処理装置について説明する。本実施例に係る画像処理装置は、２次元パノラマ画像を生成するために必要な深さ範囲のＥｎ－Ｆａｃｅ画像を用いて位置合わせを行うため、複数の３次元画像から効率的に２次元パノラマ画像を生成することができる。なお、以下において、被検査物として被検眼を例として説明する。

（本体構成）
図１は、本実施例による画像処理装置の概略的な全体構成を示す。画像処理装置には、撮影光学系１００、制御部１０１、入力部１０２、表示部１０３及び記憶部１０４が設けられている。

撮影光学系（撮影装置）１００は、被検眼の前眼部像やＳＬＯ（ＳｃａｎｎｉｎｇＬａｓｅｒＯｐｈｏｔｈａｌｍｏｓｃｏｐｅ：走査型検眼鏡）眼底像、断層像に関するデータを取得する。具体的には撮影装置１００はＯＣＴ装置を含んでおいる。すなわち、撮影装置１００は光干渉断層計を含む。撮影光学系１００は、電動ステージ等によってベース部分より上部がＸＹＺ方向に移動可能である。

制御部（情報処理装置）１０１は、撮影光学系１００、入力部１０２、表示部１０３及び記憶部１０４に接続される。制御部１０１は、撮影光学系１００の撮影制御、取得した前眼部像やＳＬＯ眼底像、断層像に関するデータの解析・再構成、並びに前眼部画像、ＳＬＯ画像、断層画像及びＯＣＴＡ画像などの生成を行う。制御部１０１は、汎用のコンピュータを用いて構成されることができるが、ＯＣＴ装置の専用コンピュータとして構成されてもよい。入力部１０２は、制御部１０１への指示を行うための入力装置であり、例えば、キーボードやマウス等から構成される。表示部１０３は、制御部１０１から送られる各種情報や各種画像、入力部１０２の操作に従ったマウスカーソル等を表示する。表示部１０３は任意のモニタを用いて構成されることができる。記憶部１０４は、断層画像の撮像用のプログラム、画像処理方法に関するプログラム、患者情報、撮像データ、及び正常データベースの統計情報などを記憶する。記憶部１０４は、例えば、ハードディスクなどの任意の記憶装置やＲＡＭやＲＯＭ等によって構成されることができる。なお、本実施例においては、撮影光学系１００、制御部１０１、入力部１０２、表示部１０３及び記憶部１０４はそれぞれ別個に構成されているが、これらは一部又は全体が一体として構成されてもよい。

（撮影光学系及びベースの構成）
次に、図２を参照して撮影光学系１００の構成について説明する。図２は、撮影光学系１００の概略的な構成を示す。

まず、撮影光学系１００の内部について説明する。被検眼２００に対向して対物レンズ２０１が設置されている。対物レンズ２０１の光軸上には、第１ダイクロイックミラー２０２及び第２ダイクロイックミラー２０３が設けられている。対物レンズ２０１からの光路は、第１及び第２ダイクロイックミラー２０２，２０３によって、ＯＣＴ光学系の光路２５０、ＳＬＯ光学系と固視灯用の光路２５１、及び前眼観察用の光路２５２が光路を通る光の波長帯域ごとに分岐される。

本実施例では、第１ダイクロイックミラー２０２の透過方向にＯＣＴ光学系の光路２５０並びにＳＬＯ光学系と固視灯用の光路２５１が配置され、反射方向に前眼部観察用の光路２５２が配置される。また、第２ダイクロイックミラー２０３の透過方向にＳＬＯ光学系と固視灯用の光路２５１が配置され、反射方向にＯＣＴ光学系の光路２５０が配置される。しかしながら、これらの光路の配置は当該配置に限られず、第１ダイクロイックミラー２０２及び第２ダイクロイックミラー２０３の透過方向並びに反射方向にそれぞれ逆の配置となるように各光路が配置されてもよい。

ＳＬＯ光学系と固視灯用の光路２５１は、ＳＬＯ眼底像の取得と被検眼２００の固視の用途に用いられる。光路２５１には、ＳＬＯ走査手段２０４、レンズ２０５，２０６、ミラー２０７、第３ダイクロイックミラー２０８、フォトダイオード２０９、ＳＬＯ光源２１０、及び固視灯２１１が設けられている。なお、光路２５１上の固視灯２１１以外の構成要素はＳＬＯ光学系を構成する。

ＳＬＯ走査手段２０４は、ＳＬＯ光源２１０と固視灯２１１から発せられた光を被検眼２００上で走査する。ＳＬＯ走査手段２０４は、Ｘ方向に走査するＸスキャナ、Ｙ方向に走査するＹスキャナから構成されている。本実施例では、Ｘスキャナはポリゴンミラーによって、Ｙスキャナはガルバノミラーによって構成されている。しかしながら、Ｘスキャナ及びＹスキャナはこれに限られず、所望の構成に応じて任意の偏光手段を用いて構成することができる。

レンズ２０５は合焦レンズであり、ＳＬＯ光学系及び固視灯の焦点合わせのため、制御部１０１によって制御される不図示のモータにより、図中矢印で示される光軸方向に沿って駆動される。

ミラー２０７は、穴あきミラーや中空のミラーが蒸着されたプリズムであり、ＳＬＯ光源２１０による照明光及び固視灯２１１からの光と、被検眼２００からの戻り光とを分離する。具体的には、ミラー２０７は、ＳＬＯ光源２１０からの照明光及び固視灯からの光を通過させ、被検眼２００からの戻り光を反射してフォトダイオード２０９に導く。なお、ミラー２０７の通過方向にフォトダイオード２０９が設けられ、反射方向に第３ダイクロイックミラー２０８、ＳＬＯ光源２１０及び固視灯２１１が設けられてもよい。

第３ダイクロイックミラー２０８は、光路２５１をＳＬＯ光源２１０への光路と固視灯２１１への光路とに光路２５１を通る光の波長帯域ごとに分岐する。具体的には、第３ダイクロイックミラー２０８の透過方向に固視灯２１１が設けられ、反射方向にＳＬＯ光源２１０が設けられている。なお、第３ダイクロイックミラー２０８の透過方向にＳＬＯ光源２１０が配置され、反射方向に固視灯２１１が設けられてもよい。

フォトダイオード２０９は、被検眼２００からの戻り光を検出し、戻り光に対応する信号を生成する。制御部１０１は、フォトダイオード２０９によって生成された信号（ＳＬＯ信号）に基づいて被検眼２００の眼底の正面画像（ＳＬＯ画像）を得ることができる。

ＳＬＯ光源２１０は例えば７８０ｎｍ付近の波長の光を発生する。ＳＬＯ光源２１０から発せられた光は、第３ダイクロイックミラー２０８で反射され、ミラー２０７を通過し、レンズ２０６，２０５を通り、ＳＬＯ走査手段２０４によって、被検眼２００上で走査される。被検眼２００からの戻り光は、照明光と同じ経路を戻った後、ミラー２０７によって反射され、フォトダイオード２０９へと導かれる。フォトダイオード２０９の出力信号を制御部１０１によって処理することで、被検眼２００のＥｎ－Ｆａｃｅ画像を得ることができる。

なお、本明細書において、Ｅｎ－Ｆａｃｅ画像とは、ＯＣＴ装置で取得された３次元データ（３次元ボリュームデータ）に対して、所望の深さ範囲（膜厚方向の範囲）を設定し、その範囲内のボクセルのデータ値から生成される２次元正面画像をいう。例えば、制御部１０１は、深さ方向におけるデータ値の最大値、最小値、平均値または中央値を求めることで２次元正面画像を生成する。ここで、データ値とは、３次元データから生成された３次元画像の画素値であってよく、例えば、輝度値や、偏光を用いて取得することができるリターデーション等の偏光パラメータの値であってよい。また、データ値は、干渉光の干渉スペクトルに含まれる被検体の断層に関する情報であってもよい。Ｅｎ－Ｆａｃｅの技術を用いて取得できる画像には、輝度値を画素値としたＥｎ－Ｆａｃｅ輝度画像や、ＯＣＴを用いた血管造影法（ＯＣＴＡｎｇｉｏｇｒａｐｈｙ：ＯＣＴＡ）によって得られるＯＣＴＡ画像などが含まれる。

固視灯２１１は、可視光を発生して被検者の固視を促すことができる。固視灯２１１から発せられた光は、第３ダイクロイックミラー２０８を透過し、ミラー２０７、及びレンズ２０６，２０５を通り、ＳＬＯ走査手段２０４によって、被検眼２００上で走査される。この時、制御部１０１によって、ＳＬＯ走査手段２０４の動きに合わせて固視灯２１１を点滅させることで、被検眼２００上の任意の位置に任意の形状をつくり、被検者の固視を促すことができる。

なお、本実施例では、眼底を観察するための眼底観察系としてＳＬＯを用いているが、眼底観察系の構成はこれに限られない。例えば、眼底を撮影する眼底カメラ等の既知の観察系を用いて眼底観察系を構成してもよい。

次に、前眼部観察用の光路２５２には、レンズ２１２，２１３、スプリットプリズム２１４、及び赤外光を検知する前眼部観察用のＣＣＤ２１５が設けられている。なお、前眼部観察用の光路２５２に配置されるこれらの構成要素は、前眼部観察光学系を構成する。

光路２５２では、不図示の前眼部観察用光源から９７０ｎｍ付近の波長を有する光が被検眼２００の前眼部に対して照射される。被検眼２００の前眼部からの反射光は対物レンズ２０１、第１ダイクロイックミラー２０２、及びレンズ２１２を介してスプリットプリズム２１４に入射する。

スプリットプリズム２１４は、被検眼２００の瞳孔と共役な位置に配置されている。スプリットプリズム２１４から出射された光はレンズ２１３を介してＣＣＤ２１５に入射する。

ＣＣＤ２１５は、不図示の前眼部観察用光源からの照射光の波長、具体的には９７０ｎｍ付近に感度を持つ。ＣＣＤ２１５は、前眼部からの反射光を検出し、前眼部からの反射光に対応する信号を生成する。制御部３００は、ＣＣＤ２１５によって生成された信号に基づいて、被検眼２００の前眼部画像を生成することができる。この際、制御部１０１は、ＣＣＤ２１５によってスプリットプリズム２１４を通った反射光を検出することで、前眼部のスプリット像から被検眼２００に対する撮影光学系１００のＺ方向（深さ方向）の距離を検出することができる。生成される前眼部画像は、撮影光学系１００と被検眼２００とのアライメント時などに用いられることができる。

次に、ＯＣＴ光学系の光路２５０について説明する。光路２５０は、前述の通りＯＣＴ光学系用の光路を成しており、被検眼２００の断層画像を形成するための干渉信号の取得に用いられる。光路２５０には、ＸＹスキャナ２１６、及びレンズ２１７，２１８が設けられている。

ＸＹスキャナ２１６は、測定光を被検眼２００上で走査するためのＯＣＴ走査手段を構成する。ＸＹスキャナ２１６は１枚のミラーとして図示されているが、Ｘ軸及びＹ軸方向の走査をそれぞれ行う２枚のガルバノミラーで構成されている。なお、ＸＹスキャナ２１６の構成はこれに限られず、任意の偏光手段を用いて構成されることができる。また、ＸＹスキャナ２１６は、ＭＥＭＳミラー等の１枚で２次元方向に光を偏向させられる偏向ミラーによって構成されてもよい。

レンズ２１７は、光カプラー２１９に接続されている光ファイバー２２４から出射する測定光を被検眼２００に焦点合わせするために用いられる合焦レンズである。レンズ２１７は、制御部１０１によって制御される不図示のモータにより、図中矢印で示される測定光の光軸方向に駆動される。この焦点合わせによって、被検眼２００からの測定光の戻り光は同時に光ファイバー２２４の先端に、スポット状に結像されて入射される。なお、光ファイバー２２４、光路２５０に配置される各光学部材、第１及び第２ダイクロイックミラー２０２，２０３、並びに対物レンズ２０１等は、ＯＣＴ光学系において測定光が伝播するＯＣＴ測定光学系を構成する。

次に、ＯＣＴ光源２２０からの光路と参照光学系、分光器２３０の構成について説明する。光ファイバー２２４は、光カプラー２１９に接続されている。光カプラー２１９には、ＯＣＴ測定光学系の光ファイバー２２４、ＯＣＴ光源２２０に接続された光ファイバー２２５、ＯＣＴ参照光学系の光ファイバー２２６、及び分光器２３０に接続された光ファイバー２２７が接続されている。光カプラー２１９は、ＯＣＴ光源２２０からの光を測定光と参照光に分割する分割器、及び被検眼２００からの測定光の戻り光と参照光とを干渉させ、干渉光を発生させる干渉部として機能する。本実施例において、光ファイバー２２４～２２７は、光カプラー２１９に接続されて一体化しているシングルモードの光ファイバーである。

ＯＣＴ光源２２０は、代表的な低コヒーレント光源であるＳＬＤ（ＳｕｐｅｒＬｕｍｉｎｅｓｃｅｎｔＤｉｏｄｅ）である。本実施例では、ＯＣＴ光源２２０として、中心波長が８５５ｎｍ、波長バンド幅が約１００ｎｍのものを用いている。ここで、バンド幅は、得られる断層画像の光軸方向の分解能に影響するため、重要なパラメータである。

なお、本実施例ではＯＣＴ光源２２０としてＳＬＤを用いたが、ＯＣＴ光源２２０としては、低コヒーレント光が出射できればよく、ＡＳＥ（ＡｍｐｌｉｆｉｅｄＳｐｏｎｔａｎｅｏｕｓＥｍｉｓｓｉｏｎ）等を用いることもできる。また、眼を測定することを鑑みて中心波長が近赤外光のものを用いることができる。また、中心波長は得られる断層画像の横方向の分解能に影響し、なるべく中心波長が短波長のものを用いてもよい。本実施例では、上記双方の理由から中心波長８５５ｎｍの光源を用いている。

ＯＣＴ光源２２０から出射された光は、光ファイバー２２５を通じ、光カプラー２１９を介して、光ファイバー２２４等のＯＣＴ測定光学系を伝播する測定光と、光ファイバー２２６等のＯＣＴ参照光学系を伝播する参照光とに分割される。測定光は、偏光調整部２２８、前述のＯＣＴ光学系の光路２５０を通じ、観察対象である被検眼２００に照射され、被検眼２００による反射や散乱により、戻り光として同じ光路を通じて光カプラー２１９に到達する。

一方、参照光は光ファイバー２２６、偏光調整部２２９、レンズ２２３、及び測定光と参照光の分散を合わせるために挿入された分散補償ガラス２２２を介して参照ミラー２２１に到達し反射される。そして、同じ光路を戻り、光カプラー２１９に到達する。ここで、光ファイバー２２６、偏光調整部２２９、レンズ２２３、分散補償ガラス２２２、及び参照ミラー２２１はＯＣＴ参照光学系を構成する。偏光調整部２２８は、光ファイバー２２４中に設けられた測定光側の偏光調整部である。偏光調整部２２９は、光ファイバー２２６中に設けられた参照光側の偏光調整部である。偏光調整部２２８，２２９は光ファイバーをループ状にひきまわした部分を幾つか有する。偏光調整部２２８，２２９では、このループ状の部分をファイバーの長手方向を中心として回動させることでファイバーに捩じりを加え、測定光と参照光の偏光状態を各々調整して合わせることができる。

被検眼２００からの測定光の戻り光と参照光は、光カプラー２１９によって合波され干渉光となる。ここで、測定光の光路長と参照光の光路長がほぼ等しい状態となったときに、測定光の戻り光と参照光は互いに干渉し、干渉光となる。参照ミラー２２１は、制御部３００によって制御される不図示のモータ及び駆動機構により、図中矢印で示される参照光の光軸方向に調整可能に保持され、被検眼２００の被測定部によって変わる測定光の光路長に参照光の光路長を合わせることが可能である。干渉光は、光ファイバー２２７を介して分光器２３０に導かれる。

分光器２３０には、レンズ２３２，２３４、回折格子２３３、及びラインセンサ２３１が設けられている。光ファイバー２２７から出射された干渉光は、レンズ２３４を介して略平行光となった後、回折格子２３３で分光され、レンズ２３２によってラインセンサ２３１に結像される。なお、ラインセンサ２３１は、干渉光を受光して、干渉光に応じた出力信号を出力する受光素子の一例として示される。制御部３００は、ラインセンサ２３１によって生成された信号に基づいて、被検眼２００の断層に関する情報を取得し、断層画像を生成することができる。

本実施例では、上記構成のように、干渉系としてマイケルソン干渉系を用いたが、マッハツェンダー干渉系を用いてもよい。例えば、測定光と参照光との光量差に応じて、光量差が大きい場合にはマッハツェンダー干渉系を、光量差が比較的小さい場合にはマイケルソン干渉系を用いることができる。

画像処理装置では、以上のような構成により、被検眼２００の断層画像を取得することができ、且つ、近赤外光であってもコントラストの高い被検眼２００のＳＬＯ画像等を取得することができる。

また、撮像光学系１００の構成は、上記の構成に限られず、撮像光学系１００に含まれる構成の一部を撮像光学系１００と別体の構成としてもよい。

（制御部の構成）
図３を参照して、制御部１０１の構成について説明する。図３は、制御部１０１の構成を概略的に示す。制御部１０１には、取得部３０１、３次元画像生成部３０２、選択部３０３、Ｅｎ－Ｆａｃｅ画像生成部３０４、パノラマ画像生成部３０５が設けられている。

取得部３０１は撮影光学系１００のラインセンサ２３１の出力信号から被検眼の断層画像を取得する。例えば、取得部３０１は、取得した被検眼２００のある一点における深さ方向（Ｚ方向）の断層データを輝度或いは濃度情報に変換し、当該一点における深さ方向の断層画像を取得する。すなわち、眼底の３次元断層画像を取得する。なお、被検査物の一点における深さ方向の干渉信号を取得するためのスキャン方式をＡスキャンと呼び、得られる断層画像をＡスキャン画像と呼ぶ。なお、断層画像の生成方法は公知の手法により実現可能であるため詳細な説明は省略する。ＸＹスキャナ２１６によって測定光を被検査物の所定の横断方向に走査しながら、このようなＡスキャンを繰り返し行うことにより、複数のＡスキャン画像を取得することができる。例えば、測定光をＸＹスキャナ２１６によってＸ方向に走査すればＸＺ面における断層画像が得られ、Ｙ方向に走査すればＹＺ面における断層画像が得られる。このように被検査物を所定の横断方向に走査する方式をＢスキャンと呼び、得られる断層画像をＢスキャン画像と呼ぶ。

３次元画像生成部３０２は、取得部３０１で取得した複数の断層画像に基づいて３次元画像を生成する。例えば、図４のように撮影光学系１００で被検眼２００の特定の部位の断層画像４０－１～４０－ｎを連続的に取得して座標系に並べることで、３次元画像４００を生成することができる。また、取得部３０１は、各部位の断層画像からモーションコントラスト画像を生成し、生成した各部位のモーションコントラスト画像を座標系に配置することで３次元モーションコントラスト画像を生成することができる。例えば、取得部３０１は、略同一位置における複数回のＢスキャンにより取得された複数の断層像間の脱相関をモーションコントラスト値とするモーションコントラスト画像を取得する。なお、モーションコントラスト画像の生成方法としては公知の種々の手法を用いることが可能である。また、本明細書では３次元画像（３次元輝度画像）およびモーションコントラスト画像をボリュームデータと総称する。

すなわち、３次元画像生成部３０２は、３次元断層画像に基づくボリュームデータを複数取得する取得手段の一例に相当する。以降の実施例においては３次元画像を用いた説明を行うが、３次元画像を３次元モーションコントラスト画像に置き換えることも可能である。これは、本明細書の他の実施例においても同様である。

本実施例において、取得部３０１と３次元画像生成部３０２は同一被検眼上の異なる部位の断層画像群４０－１～４０－ｎおよび３次元画像４００を取得する。

ここで、図５を参照してパノラマ撮影による３次元画像の取得方法を説明する。撮影光学系１００は、制御部１０１が有する同一被検眼の異なる部位の断層画像を複数取得するためのモードである、パノラマ撮影モードに応じて動作する。本モードでは、例えば被検眼の部分領域５０１の撮影が終了すると、内部固視灯が移動して被検眼の視線を異なる方向へ誘導する。この状態で撮影することで、部分領域５０１とは異なる、部分領域５０２の断層画像を取得することができる。同様の処理を連続して行うことで、部分領域５０３、５０４などの断層画像を取得部３０１が取得し、３次元画像生成部３０２で異なる部位それぞれの３次元画像４００を生成する。パノラマ撮影モードで撮影された複数の３次元画像には、例えばパノラマ撮影モードで撮影されたことを示す情報が付加される。従って、選択部３０３は、この付加された情報に基づいてパノラマ撮影モードで撮影された複数の３次元画像を選択することが可能となる。

なお、パノラマ撮影モードで撮影した断層画像に基づく広角のパノラマ画像を生成する場合、部分領域５０１と部分領域５０２の少なくとも一部の領域が重なるように内部固視灯を移動することが望ましい。例えば、部分領域５０１と部分領域５０２の面積の各２５％の領域が重なるように内部固視灯を移動する。なお、各部分領域の重なる領域の割合はこれに限定されない。このように、複数のボリュームデータは、隣接するボリュームデータ間で少なくとも１部重なる領域を有する。

また、部分領域同士が接するように内部固視灯が移動してもよい。また、本実施例では固視灯を移動することにより、４つの部分領域を取得したが、部分領域の数はこれに限定されない。

なお、上記取得部３０１と３次元画像生成部３０２で得られた３次元画像４００は、撮影光学系１００から取得したデータに基づいて生成されたものであるが、既に取得された不図示のデータベースから取得した断層画像や３次元画像でもよい。

選択部３０３は、２次元のパノラマ画像を生成するための合成対象を選択する。合成対象は、自動で選択してもよいし、操作者からの指示を受付ける構成にしてもよい。例えば、上記パノラマ撮影モードを使用して撮影された複数の３次元画像４００を合成対象として自動的に選択し、操作者によって合成対象に追加したり合成対象から外したりできるようにしてもよい。ここで、合成対象は例えばボリュームデータである。すなわち、選択部３０３は、パノラマ画像を生成するための複数のボリュームデータを選択する選択手段の一例に相当する。

Ｅｎ－Ｆａｃｅ画像生成部３０４は選択部３０３で選択した合成対象のＥｎ－Ｆａｃｅ画像を、３次元画像生成部３０２で生成した３次元画像４００から生成する。図４の符号４１０は、画像処理装置により生成されたＥｎ－Ｆａｃｅ画像の一例である。Ｅｎ－Ｆａｃｅ画像４１０は、３次元画像４００の３次元画像４００の網膜の深さ方向（膜厚方向）の任意の範囲である基準範囲をＺ方向に投影した画像である。具体的には、Ｅｎ－Ｆａｃｅ画像生成部３０４は、複数の断層画像４０－１～４０－ｎで構成される３次元画像４００における特定の深さの範囲のみ情報を抽出し、ＸＹ平面に投影することで、Ｅｎ－Ｆａｃｅ画像４１０を生成する。より具体的には、ＸＹ軸方向の各画素位置において、３次元データ４００の深さ方向の所定の範囲におけるデータ（画素値）を積算した値を当該画素位置の画素値として決定し、Ｅｎ－Ｆａｃｅ画像４１０を生成する。

なお、３次元画像４００からＥｎ－Ｆａｃｅ画像４１０を生成する場合には、深さ方向の所定の範囲における画像を積算する以外に、当該画像を可算平均して各画素位置の画素値を決定してもよい。また、深さ方向の所定の範囲における画像から代表値を決め、当該代表値を各画素位置の画素値として決定してもよい。代表値の決め方としては、深さ方向の所定の範囲における画像を画素値に応じて昇順又は降順に並べて中央の値を代表値としてもよいし、深さ方向の所定の範囲における画像のうちの一番高い値若しくは一番低い値、又は平均値を代表値としてもよい。なお、３次元画像を構成する断層画像の枚数ｎは所望の構成に応じて任意の数であってよい。また、ここでは、３次元画像４００を断層画像４０－１～４０－ｎから構成される画像としているが、３次元画像４００は断層画像４０－１～４０－ｎに対応する２次元データ（ＯＣＴ干渉信号）によって構成される画像であってもよい。

パノラマ画像生成部３０５は、Ｅｎ－Ｆａｃｅ画像生成部３０４で生成したＥｎ－Ｆａｃｅ画像を位置合わせして合成し、パノラマ画像を生成する。なお、位置合わせを行うＥｎ－Ｆａｃｅ画像同士は一部領域が重なるように位置合わせを行い合成してもよいし、Ｅｎ－Ｆａｃｅ画像同士が接するように位置合わせを行い合成してもよい。生成されたパノラマ画像は表示部１０３に表示される。また、パノラマ画像生成部３０５は、３次元画像の異なる深さ範囲から生成された複数のＥｎ－Ｆａｃｅ画像を複合した複合画像を生成する。そして、パノラマ画像生成部３０５は、複数の３次元画像から生成された複数の複合画像を位置合わせすることで１枚の複合パノラマ画像を生成する。すなわち、パノラマ画像生成部３０５は、複数のボリュームデータそれぞれに設定された、第１基準範囲から生成されるＥｎ－Ｆａｃｅ画像と第２基準範囲から生成されるＥｎ－Ｆａｃｅ画像とを複合した複合画像を複数生成する複合画像生成手段の一例に相当する。また、パノラマ画像生成部３０５は、複数の複合画像を位置合わせすることにより１つの複合パノラマ画像を生成する複合パノラマ画像生成手段の一例に相当する。

（ユーザーインターフェースの構成）
図６を参照して、本実施例に係るパノラマ画像生成のためのユーザーインターフェースの構成について、説明する。図６は、制御部１０１が表示部１０３に表示させるインターフェースの一例であり、パノラマ画像を生成する際に表示されるユーザーインターフェースの一例である。

表示部１０３は、撮影光学系１００による撮影の終了後、画面上にパノラマ画像を生成するためのユーザーインターフェースを表示部１０３に表示する。表示部１０３には、画像選択領域６１０、眼底画像表示領域６２０、断層画像表示領域６３０、Ｅｎ－Ｆａｃｅ画像表示領域６４０、合成指示ボタン６５０、合成対象選択画面６６０、パノラマ画像表示領域６７０が設けられている。

画像選択領域６１０には被検眼２００で撮影された３次元画像又は３次元画像を含む検査データのセットがリストとして表示される。本実施例では３つの検査が候補として表示されている。なお、表示される検査データの数はこれに限定されない。画像選択領域６１０では、操作者が操作部１０２を使用してパノラマ合成を行うための調整を行う代表３次元画像６１１を選択できる。画像選択領域内６１０は候補を選択しやすいように、本実施例では３つの選択候補に対応して、それぞれの眼底画像と断層画像を表示している。また、リストで表示される画像は不図示のデータベースに保存されている被検眼２００のデータを表示してもよい。さらに、リストは撮影日時や左右眼、撮影モードなどで検索や並べ替えがされていてもよい。

眼底画像表示領域６２０には、現在選択されている代表３次元画像６１１に対応した眼底画像６２１が表示されている。眼底画像６２１は、例えば代表３次元画像６１１と略同時に撮影された画像である。眼底画像６２１は撮影光学系１００で撮影されたＳＬＯや別途撮影された眼底カメラの画像をインポートして３次元画像と紐づけたものでもよい。眼底画像６２１上には選択された代表３次元画像６１１を撮影した領域を示す撮影領域アノテーション６２２が表示され、撮影領域アノテーション６２２内には断層画像表示部６３０に表示する断層画像６３１の位置を示す断層画像位置アノテーション６２３が表示される。

断層画像表示領域６３０には、眼底画像表示領域６２０上の断層画像位置アノテーション６２３の位置にあたる断層画像６３１を表示する。断層画像位置アノテーション６２３は操作者によるマウスドラッグやキーボードの矢印キーによって動かすことができ、断層画像６３０は断層画像位置アノテーション６２３の位置変更に応じて、表示する断層画像６３１を変更する。制御部１０１は、断層画像６３１に、Ｅｎ－Ｆａｃｅ画像表示領域６４０に表示するＥｎ－Ｆａｃｅ画像並びにパノラマ画像生成部３０５でパノラマ画像を生成する対象となるＥｎ－Ｆａｃｅ画像を生成する基準範囲の上端６３２および下端６３３を重畳して表示部１０３に表示させる。なお、上端６３２および下端６３３のデフォルトの表示位置は任意の位置に設定することが可能である。さらに、選択した代表３次元画像６１１が３次元モーションコントラストデータを持つ場合は、モーションコントラストのＸＺ断面画像を表示したり、断層画像上にモーションコントラスト情報を重ねて表示したりしてもよい。

Ｅｎ－Ｆａｃｅ画像表示部６４０には、断層画像表示領域６３０上で設定した基準範囲の上端６３２および下端６３３を基にＥｎ－Ｆａｃｅ画像生成部３０４で生成したＥｎ－Ｆａｃｅ画像６４１を表示する。選択された代表３次元画像６１１が３次元モーションコントラストデータを持つ場合は、３次元モーションコントラストデータから生成したＥｎ－Ｆａｃｅ画像（ＯＣＴＡ画像）６４１を表示してもよい。基準範囲の上端６３２および下端６３３は、マウス等を介した操作者の操作により位置を変更することが可能である。なお、基準範囲の上端６３２および下端６３３の変更に応じて、Ｅｎ－Ｆａｃｅ画像表示部６４０に表示されるＥｎ－Ｆａｃｅ画像６４１はＥｎ－Ｆａｃｅ画像生成部３０４で再度生成し直され、新しいＥｎ－Ｆａｃｅ画像６４１として更新される。

合成指示ボタン６５０は、パノラマ画像の生成プロセスを開始するボタンである。操作者が合成指示ボタンを選択すると、合成対象選択画面６６０が表示部１０３上に表示される。

合成対象選択画面６６０は、パノラマ画像を生成する基となる３次元画像の候補のリストを表示する。なお、例えば、代表３次元画像６１１としてパノラマ撮影モードで撮影された画像が選択された場合には、合成対象選択画面６６０には同じパノラマ撮影モードで撮影された他の画像が候補として表示される。

操作者は、操作部１０２を用いて合成する複数の合成対象３次元画像６６１を合成対象選択画面６６０上で選択する。合成対象３次元画像６６１を選択後、操作者は合成実施の判断を、合成指示ボタン６６２を使って行う。なお、代表３次元画像６１１は必ず合成対象となるものとして、合成対象選択画面６６０のリストには含まれなくてもよい。合成指示ボタン６６２が選択されるとパノラマ画像生成部３０５はパノラマ画像を生成する。

パノラマ画像表示領域６７０は、画像選択領域６１０及び合成対象選択画面６６０で選択された複数の３次元画像と断層画像表示領域６３０で指定した基準範囲とからパノラマ画像生成部３０５によって生成されたパノラマ画像７３１を表示する。

（本実施例に係るパノラマ画像生成フロー）
次に、図７および図８を参照して本実施例に係るパノラマ画像生成処理のフローについて説明する。図７は本実施例に係るパノラマ画像生成処理の操作のフローチャート、図８は本実施例に係るパノラマ画像生成処理の動作のフローチャートを示す。

パノラマ撮影モードを使用して取得された複数の３次元断層画像それぞれから、特定の基準範囲のＥｎ－Ｆａｃｅ画像を生成し、それらを合成（位置合わせ）する際、基準範囲によってはＥｎ－Ｆａｃｅ画像間の情報量が乏しく、合成の精度や成功率が下がる。そこで、本実施例に係るパノラマ画像生成処理では、Ｅｎ－Ｆａｃｅ画像生成部３０４は、図６に示すインターフェースにより設定された深さ範囲（第２基準範囲）のＥｎ－Ｆａｃｅ画像に追加して、予めユーザ若しくは制御部１０１によりセットされた合成の精度や成功率の高い基準範囲（第１基準範囲）のＥｎ－Ｆａｃｅ画像を生成する。第１基準範囲は例えば表層である。ここで、表層とは例えば内境界膜から内顆粒層の上端までの層の少なくとも一部を含む層であり、明瞭な血管が他の層に比べて多いことから位置合わせに好適な層である。本実施例では、この表層のＥｎ－Ｆａｃｅ画像を位置合わせに利用することでＥｎ－Ｆａｃｅ画像の位置合わせの精度や成功率を向上させる。なお、図６に示すインターフェースを介してユーザが表層を指定した場合には、追加のＥｎ－Ｆａｃｅ画像を生成する必要はない。

具体的には、ステップＳ７００で操作者は例えば図６に示したユーザーインターフェースを介して、合成対象となる３次元断層画像の中から、パノラマ画像の生成条件（深さ範囲等の条件）を設定するための、代表３次元画像６１１を選択する。代表３次元画像６１１の選択によって、制御部１０１は、表示部１０３上の眼底画像表示領域６２０、断層画像表示領域６３０に、眼底画像６２１、断層画像６３１を表示する。すなわち、制御部１０１は、ボリュームデータに含まれる断層画像を表示手段に表示させる表示制御手段の一例に相当する。

ステップＳ７１０で、操作者は合成するＥｎ－Ｆａｃｅ画像の生成条件を設定する。まず、ステップＳ７００で選択した代表３次元画像６１１からＥｎ－Ｆａｃｅ画像の生成条件となる基準範囲を決めるための断層画像６３１の位置を眼底画像６２１上の断層画像位置アノテーション６２３を動かして設定する。なお、断層画像位置アノテーション６２３のデフォルト位置から必ず動かす必要はない。

次に、操作者は、断層画像表示領域６３０に表示された断層画像６３１６３１上で、Ｅｎ－Ｆａｃｅ画像の生成条件となる基準範囲を上端６３２および下端６３３を動かして設定する。Ｅｎ－Ｆａｃｅ画像生成部３０４は、基準範囲の上端６３２および下端６３３の変更を受付ける。すなわち、Ｅｎ－Ｆａｃｅ画像生成部３０４は、第２基準範囲のユーザによる指定を受付ける受付手段の一例に相当する。なお、基準範囲の上端６３２と下端６３３は予め定義された位置をプルダウンで指定することにより設定されてもよい。例えば、プルダウンで「表層血管」という項目を指定した場合、神経線維層の上端（または内境界膜）と内網状層の下端（内顆粒層の上端）の位置に上端６３２と下端６３３がそれぞれ設定される。また、本実施例では一例として上端６３２と下端６３３を点線で表したが、実線でもよい。さらに、上端６３２と下端６３３で線の態様は同じでも異なっていてもよい。

なお、プルダウンで基準範囲を設定した後に操作者がマウスドラッグやキーボードの矢印キーにより微調整を行ってもよい。また、操作者が基準範囲の微調整を行った場合、Ｅｎ－Ｆａｃｅ画像生成部３０４は、その情報を記憶部１０４に記憶させておき、次にプルダウンでその項目が指定されたときは微調整を行った後の基準範囲が指定されるように上端６３２と下端６３３の定義された位置を更新してもよい。

基準範囲は、予め記憶部１０４に断層画像を解析した層境界や層境界からの一定距離などを記憶しておき設定することができる。また、基準範囲の上端６３２および下端６３３は断層画像上の任意の直線でもよいが、その場合は断層画像間の深さ方向の位置合わせを行った上で設定される。なお、設定した基準範囲に対して、Ｅｎ－Ｆａｃｅ画像生成部３０４により代表３次元画像６１１のＥｎ－Ｆａｃｅ画像６４１がＥｎ－Ｆａｃｅ画像表示領域６４０上に表示されるので、操作者はＥｎ－Ｆａｃｅ画像を確認しながら基準範囲を調整することができる。

なお、断層画像に重畳される基準範囲の上端６３２および下端６３３は、第２基準範囲のものに限定されるものではなく、制御部１０１は、第１基準範囲の上端および下端を第２基準範囲の上端および下端と同時または切り替え可能に表示部１０３に表示させてもよい。すなわち、表示制御手段の一例である制御部１０１は、断層画像上に第１基準範囲および第２基準範囲の少なくとも一方を示す線を重畳して表示手段に表示させる。また、第１基準範囲の上端および下端を第２基準範囲の上端および下端と同時に表示部１０３に表示させる場合、制御部１０１は第１基準範囲の上端および下端の表示形態と第２基準範囲の上端および下端の表示形態とを異なる形態で表示部１０３に表示させることとしてもよい。すなわち、表示制御手段の一例である制御部１０１は、第１基準範囲および第２基準範囲それぞれを示す線を表示手段に表示させる場合、第１基準範囲を示す線の表示態様と第２基準範囲を示す線との表示態様を異なる態様で表示手段に表示させる。ステップＳ７２０で、選択部３０３は、操作者からの指示に応じて合成する３次元断層画像の対象を選択する。まず、合成ボタン６５０が操作者により押下げられると、表示部１０３は合成対象選択画面６６０を表示する。合成対象選択画面６６０には、代表３次元画像６１１と合成する候補となる３次元画像が表示される。合成対象選択画面６６０を表示部１０３に表示させる制御部１０１は、例えば、候補として患者と左右眼と撮影モードが同じものを選定する。さらに撮影の画角や解像度、撮影日時を選定条件としてもよい。そして、操作者は表示されている候補の３次元画像から合成対象の３次元画像を選択する。この時、眼底画像を表示し、眼底画像上に選択した３次元画像の撮影位置を表示すると、合成対象が正しいかどうかを操作者が確認できるのでさらに良い。また、初期選択状態として、代表３次元画像６１１が撮影されたパノラマ撮影モード内で撮影された３次元画像が選択されていると、操作者の選択操作が短縮できる。

ステップＳ７３０で、操作者は選択した合成対象となる３次元画像の合成を制御部１０１（Ｅｎ－Ｆａｃｅ画像生成部３０４およびパノラマ画像生成部３０５）に指示し、合成を開始する。合成対象選択画面６６０上にある合成開始ボタンを押下することで複数の３次元画像の合成の開始を制御部１０１に指示できる。

ここから、ステップＳ７３０の合成開始指示後の制御部１０１の動作について図８を参照して説明する。

まず、ステップＳ８００で、Ｅｎ－Ｆａｃｅ画像生成部３０４が、選択された全ての合成対象の３次元画像に対し、ステップＳ７１０で操作者が指定した基準範囲を生成条件としてＥｎ－Ｆａｃｅ画像を生成する。

具体的には、画像選択領域６１０において代表３次元画像６１１および合成対象の３次元画像が選択されている状態で合成ボタン６５０が押下された場合、Ｅｎ－Ｆａｃｅ画像生成部３０４は、合成対象として選択された３次元画像から代表３次元画像６１１に設定された基準範囲を生成条件としてＥｎ－Ｆａｃｅ画像を生成する。

次に、ステップＳ８１０でＥｎ－Ｆａｃｅ画像生成部３０４は、操作者が図６に示すユーザーインターフェースを介して指定した基準範囲（第２基準範囲）ではない、予め記憶部１０４に記憶してある基準範囲（第１基準範囲）を生成条件として設定しＥｎ－Ｆａｃｅ画像を生成する。Ｅｎ－Ｆａｃｅ画像生成部３０４は、選択された全ての合成対象の３次元画像それぞれから予め記憶部１０４に記憶してある基準範囲のＥｎ－Ｆａｃｅ画像を生成する。この予め記憶部１０４に記憶してある基準範囲は、例えばパノラマ画像生成時に、画像を合成する精度や成功率が高い基準範囲（例えば表層）である。第１基準範囲である表層は例えば内境界膜から内顆粒層上端までの範囲の少なくとも一部の層である。すなわち、第１基準範囲は第２基準範囲より硝子体側に位置する網膜の深さ範囲である。特にＥｎ－Ｆａｃｅ画像内の特徴量などを用いてモーションコントラストデータから得られたＥｎ－Ｆａｃｅ画像の合成を行う場合、網膜の深層は表層に比べ特徴量が乏しく合成精度や成功率が低くなるため、網膜表層を示す基準範囲を記憶しておくことが望ましい。ここで、深層とは例えば内顆粒層を含む深さ範囲である。なお、予め記憶部１０４に記憶してある基準範囲は表層に限定されない。なお、ステップＳ８００とＳ８１０の実行順序は逆であってもよいし、同時に行うこととしてもよい。

上記のように、ステップＳ８００とステップＳ８１０において、Ｅｎ－Ｆａｃｅ画像生成部３０４は３次元画像に設定された複数の基準範囲から複数のＥｎ－Ｆａｃｅ画像を生成する。すなわち、Ｅｎ－Ｆａｃｅ画像生成部３０４は、複数のボリュームデータそれぞれの膜厚方向に共通して設定された第１基準範囲および前記第１基準範囲とは異なる第２基準範囲それぞれにおける複数のＥｎ－Ｆａｃｅ画像を、複数のボリュームデータそれぞれから生成するＥｎ－Ｆａｃｅ画像生成手段の一例に相当する。また、３次元輝度画像それぞれの膜厚方向に共通して設定された複数の基準範囲における複数のＥｎ－Ｆａｃｅ画像を、複数の３次元輝度画像それぞれから生成する第１Ｅｎ－Ｆａｃｅ画像生成手段の一例に相当する。

また、ボリュームデータが３次元モーションコントラスト画像である場合には、Ｅｎ－Ｆａｃｅ画像生成部３０４は、３次元モーションコントラスト画像それぞれの膜厚方向に共通して設定された複数の基準範囲における複数のＥｎ－Ｆａｃｅ画像を、複数の３次元モーションコントラスト画像それぞれから生成する第２Ｅｎ－Ｆａｃｅ画像生成手段の一例に相当する。

ステップＳ８２０では、パノラマ画像生成部３０５は、ステップＳ８００およびステップ８１０で生成された異なる複数の基準範囲のＥｎ－Ｆａｃｅ画像を重畳し、複合画像として生成する。複合画像生成方法の一例を、図９を参照して説明する。パノラマ画像生成部３０５はＥｎ－Ｆａｃｅ画像生成部３０４が生成した２つのＥｎ－Ｆａｃｅ画像の内、操作者が指定した基準範囲から生成したＥｎ－Ｆａｃｅ画像９０１を青色が強調された画像に変換する。さらに、予め記憶部１０４に記憶してある基準範囲から生成したＥｎ－Ｆａｃｅ画像９０２を赤色・緑色が強調された画像として変換する。すなわち、パノラマ画像生成部３０５は、Ｅｎ－Ｆａｃｅ画像に色を付加する。なお、パノラマ画像生成部３０５が付加する色は、異なる基準範囲のＥｎ－Ｆａｃｅ画像間で異なる色であればよく上記の例に限定されるものではない。すなわち、パノラマ画像生成部３０５は、第１基準範囲から生成されるＥｎ－Ｆａｃｅ画像と第２基準範囲から生成されるＥｎ－Ｆａｃｅ画像とに異なる色を付加する。なお、図９においてＥｎ－Ｆａｃｅ画像９０２に含まれる血管を点線で示しているが、Ｅｎ－Ｆａｃｅ画像９０１との識別のためであり、実際の画像において点線となっているわけではない。

そして、パノラマ画像生成部３０５は、変換した２つのＥｎ－Ｆａｃｅ画像を複合する。パノラマ画像生成部３０５は、具体的には複数のＥｎ－Ｆａｃｅ画像を基準範囲毎に識別可能に変換し複合する。すなわち、パノラマ画像生成部３０５は、第１基準範囲から生成されるＥｎ－Ｆａｃｅ画像と第２基準範囲から生成されるＥｎ－Ｆａｃｅ画像とを識別可能に複合することにより複合画像を生成する複合画像生成手段の一例に相当する。また、パノラマ画像生成部３０５は、例えば上述のように、第１基準範囲から生成されるＥｎ－Ｆａｃｅ画像は第２基準範囲から生成されるＥｎ－Ｆａｃｅ画像よりも赤色を強くし、第２基準範囲から生成されるＥｎ－Ｆａｃｅ画像は第１基準範囲から生成されるＥｎ－Ｆａｃｅ画像よりも青色を強くして複合画像を生成する。すなわち、パノラマ画像生成部３０５は、第１基準範囲から生成されるＥｎ－Ｆａｃｅ画像と第２基準範囲から生成されるＥｎ－Ｆａｃｅ画像とに異なる色を付加することで第１基準範囲から生成されるＥｎ－Ｆａｃｅ画像と第２基準範囲から生成されるＥｎ－Ｆａｃｅ画像とを識別可能に複合することにより複合画像を生成する。

例えば、パノラマ画像生成部３０５は、８ビットのグレースケールのＥｎ－Ｆａｃｅ画像を、ＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ、以下Ｒ、Ｇ、Ｂ）の各色チャネルが８ビットのカラースケールで表されるＥｎ－Ｆａｃｅ画像に変換する。すなわち、パノラマ画像生成部３０５はＥｎ－Ｆａｃｅ画像に色を付加する。なおビット数はこれに限定されない。そしてカラー画像に変換されたＥｎ－Ｆａｃｅ画像９０１において、Ｒ、Ｇの画素値を０もしくは０に近い値にする。また、カラー画像に変換されたＥｎ－Ｆａｃｅ画像９０２において、ＧおよびＢの画素値を０もしくは０に近い値にする。

具体的には、グレースケールのＥｎ－Ｆａｃｅ画像９０１において１００という画素値をもった画素があった場合には、ＲＧＢのカラー画像上では（Ｒ，Ｇ，Ｂ）＝（０，０，１００）という画素値の画素に変換する。なお、上記の例ではＲ、Ｇを０としたが０に近い値であればよい。また、強調する色の組み合わせは上記に限定されない。

なお、本実施例では、パノラマ画像生成部３０５が２つのＥｎ－Ｆａｃｅ画像を複合する場合について述べたが、複合するＥｎ－Ｆａｃｅ画像が３つある場合には、それぞれ赤色、緑色、青色のみの画像に変換する。なお、この場合も、必ずしも強調したい色以外の色の画素値を０に変換しなくてもよい。さらに、割り当てる色は表層側のＥｎ－Ｆａｃｅ画像から順に赤色、緑色、青色が望ましいがこれに限定されない。

また、複数のＥｎ－Ｆａｃｅ画像を識別可能にする際に利用する情報は色に限定されるものではない。例えば、複数のＥｎ－Ｆａｃｅ画像において割り当てるグレースケールのビットの値を変えて画像変換をしてもよい。例えば、Ｅｎ－Ｆａｃｅ画像９０１と９０２は８ビットのグレースケールで表されるとし、Ｅｎ－Ｆａｃｅ画像９０２には上位４ビットを割り当て、Ｅｎ－Ｆａｃｅ画像９０１には下位４ビットを割り当てる。具体的には、Ｅｎ－Ｆａｃｅ画像９０２の画素値は上位４ビットの値のみ残し、下位４ビットの値は重みづけをしてビット値を０にしたＥｎ－Ｆａｃｅ画像に変換する。また、Ｅｎ－Ｆａｃｅ画像９０１の画素値は下位４ビットの値のみを残し、上位４ビットの値は重みづけをしてビット値を０にしたＥｎ－Ｆａｃｅ画像に変換する。なお、各Ｅｎ－Ｆａｃｅ画像において重みづけをするビット数は上記に限定されない。さらに、本実施例では、２つのＥｎ－Ｆａｃｅ画像を複合する場合について述べたが、複合するＥｎ－Ｆａｃｅ画像が３つ以上ある場合にも、割り当てるビットをＥｎ－Ｆａｃｅ画像毎に変え、画像変換を行う。

上記のように、Ｅｎ－Ｆａｃｅ画像の画像変換や、網膜表層を示す基準範囲の画素への重みづけをすることで後述の合成（位置合わせ）の際に、特徴量が大きい基準範囲をもとに合成が行われるため合成の精度が向上する。

これら複合画像９０３を３次元画像毎に生成することで、合成用の複数の複合画像が作られる。

ステップＳ８３０で、パノラマ画像生成部３０５は、ステップＳ８２０で生成した複数の複合画像を合成し、複合パノラマ画像を生成する。合成方法としては、合成対象の画像それぞれに対して特徴点を抽出し、各画像の特徴点と特徴点の位置から、画像間の位置関係を解析し、その結果をもとに画像を合成する手段などがある。パノラマ画像生成部３０５は、例えば、青色が付加されたＥｎ－Ｆａｃｅ画像９０１より赤色が付加されたＥｎ－Ｆａｃｅ画像９０２を重視して複数の複合画像を位置合わせして複合パノラマ画像を生成する。パノラマ画像生成部３０５は、例えばＥｎ－Ｆａｃｅ画像９０２の特徴に基づいて複数の複合画像の位置合わせを行う。また、ビットにより各基準範囲のＥｎ－Ｆａｃｅ画像を識別可能としている場合には、パノラマ画像生成部３０５は、例えば、より上位ビットで表されるＥｎ－Ｆａｃｅ画像を下位ビットで表されるＥｎ－Ｆａｃｅ画像より重視して複数の複合画像の位置合わせを行う。例えば、位置合わせの対象がモーションコントラスト画像に基づく複合画像であれば、パノラマ画像生成部３０５は位置合わせが容易な表層における血管を他の血管よりも重視して複数の複合画像の位置合わせを行うことができる。複合パノラマ画像生成手段の一例であるパノラマ画像生成部３０５は、複合画像のうち第２基準範囲の画像より複合画像のうち第１基準範囲の画像を重視して複数の複合画像の位置合わせを行う。この結果、表層以外のＥｎ－Ｆａｃｅ画像同士での位置合わせよりも位置合わせ精度を向上させることが可能となる。

最後にステップＳ８４０で、パノラマ画像生成部３０５は、生成された複合パノラマ画像から、操作者が指定した基準範囲のパノラマ画像を分離することで、所望のパノラマ画像を生成する。すなわち、パノラマ画像生成部３０５は、複合パノラマ画像から第２基準範囲の画像を分離することにより第２基準範囲のパノラマ画像を生成するパノラマ画像生成手段の一例に相当する。

具体的には、パノラマ画像生成部３０５は、図９にある複合パノラマ画像９１１にあるように、複合パノラマ画像９１１を色成分で分離して画像を抽出してもよい。図９において符号９１２は、青色が付加されたＥｎ－Ｆａｃｅ画像であり、符号９１３は赤色・緑色が付加されたＥｎ－Ｆａｃｅ画像である。例えば、操作者が指定した基準範囲から得られるパノラマ画像は青色を強調して生成されているため、パノラマ画像生成部３０５は、複合パノラマ画像の青色の部分のみを取り出す。そして、パノラマ画像生成部３０５は、複合パノラマ画像から取り出した青色の部分をグレースケール画像にすることで、所望のパノラマ画像を生成する。すなわち、パノラマ画像生成手段の一例であるパノラマ画像生成部３０５は、色に基づいて複合パノラマ画像から第２基準範囲の画像を分離することにより第２基準範囲のパノラマ画像を生成する。なお、パノラマ画像生成部３０５は、複合パノラマ画像の赤色・緑色部分のみを別途取り出してグレースケール画像にすることで第１基準範囲のパノラマ画像も生成してもよい。

また、パノラマ画像生成部３０５は、複合パノラマ画像９１１をビット値で分離して画像を抽出してもよい。例えば、８ビットで表されるパノラマ画像において、パノラマ画像生成部３０５は、操作者が指定した基準範囲から得られるパノラマ画像には下位４ビットを割り当てて複合する。この場合、パノラマ画像生成部３０５は、複合パノラマ画像の下位４ビットの画素のみを分離し、グレースケール画像にすることで、所望のパノラマ画像を生成する。

なお、本実施例では、操作者が１つの基準範囲を指定して生成したが、複数を指定する場合も可能である。例えば、操作者が２つの基準範囲を指定して、予め記憶部１０４に記憶してある基準範囲を赤色のみの画像、操作者が指定した基準範囲をそれぞれ青色と緑色の画像で複合画像を生成することで一度に２つの基準範囲での合成が可能となる。また、複数の基準範囲を指定する場合、全ての基準範囲を予め記憶部１０４に記憶してある範囲に設定してもよい。

本実施例では画面上で操作者が基準範囲を合成直前に指定したが、操作者が指定する合成範囲も前もって指定しておき、画面上では合成対象の選択のみで合成を行ってもよい。さらに、本実施例では、操作者が合成対象を選択して合成を行ったが、制御部１０１がパノラマ撮影モードで撮影されたものを自動的に選択することで、合成対象の選択を省略してもよい。さらに、本実施例ではパノラマ撮影モードで撮影された撮影部位の異なる３次元画像からパノラマ画像を生成したが、略同一部位を撮影した３次元データを用いて合成を行ってもよい。

上述した本実施例によれば、操作者が指定した基準範囲のＥｎ－Ｆａｃｅ画像のパノラマ画像を、位置合わせの精度の低下を抑制しながら、効率的に得ることが可能となる。

また、本実施例によれば、３次元画像のうち一部の範囲（第１基準範囲および第２基準範囲の和で表される範囲）の３次元画像のみを用いるため、効率的に２次元パノラマ画像を生成することができる。また、指定した基準範囲の２次元Ｅｎ－Ｆａｃｅ画像を複数生成して、パノラマ画像を生成することで、合成にかかる時間を短縮できるとともに、３次元のパノラマ画像を保持する必要がないためストレージの容量を抑えることができる。

（実施例２）
本実施例では、ステップＳ７１０で、操作者がＥｎ－Ｆａｃｅ画像の生成条件に複数の基準範囲を選択する場合の例について説明する。複数の３次元画像から２次元画像を生成する際、例えば病眼において操作者がモーションコントラストデータの表層と深層といった組み合わせの複数のＥｎ－Ｆａｃｅ画像のパノラマ画像の各基準範囲をその病眼に合わせて指定し、パノラマ画像を表示させる場合がある。そのため、ステップＳ７１０において、複数のＥｎ－Ｆａｃｅ画像生成条件となる基準範囲を指定できることが望ましい。

図１１はステップＳ７１０で予め記憶部１０４に記憶してある基準範囲を含む複数の生成条件を操作者が設定する場合の表示画面の一例である。表示部１０３は画像選択領域１１１０、眼底画像表示領域１１２０、１つ目の断層画像表示領域１１３０、２つ目の断層画像表示領域１１５０、１つ目のＥｎ－Ｆａｃｅ画像表示領域１１４０、２つ目のＥｎ－Ｆａｃｅ画像表示領域１１６０、合成指示ボタン１１７０、合成対象選択画面１１８０、１つ目のパノラマ画像表示領域１１９０、２つ目のパノラマ画像領域１１９２を持つ。画面には２つのパノラマ画像の生成条件となる基準範囲を決定するための断層画像表示領域１１３０、１１５０およびＥｎ－Ｆａｃｅ画像表示領域１１４０、１１６０が操作でき、それぞれのパノラマ画像を表示するパノラマ画像表示領域１１９０、１１９２が表示される。なお、各表示領域の操作については、実施例１と同様のため、説明を省略する。なお、実施例１における図６と図１１との機能の対応を示す。符号６１０，６１１と符号１１１０と１１１１とが対応し、符号６２０－６２３と符号１１２０－１２３とが対応している。さらに、符号６３０－６３３は符号１１５０－１１５３と対応し、符号６４０，６４１は符号１１６０，１１６１と対応している。また、符号６５０は符号１１７０に対応し、符号６７０，６７１は富豪１１９２，１１９３に対応している。すなわち、図６に示したインターフェースに断層画像表示領域１１３０、断層画像１１３１、第１基準範囲の上端１１３２、下端１１３３、Ｅｎ－Ｆａｃｅ画像表示領域１１４０、Ｅｎ－Ｆａｃｅ画像１１４１、パノラマ画像表示領域１１９０およびパノラマ画像１１９１が追加されている。ここで、断層画像１１３１は断層画像位置アノテーション１１２３の位置における断層画像である。すなわち、断層画像１１３１と断層画像１１５１とは同一の断層画像である。また、Ｅｎ－Ｆａｃｅ画像１１４１は、上端１１３２と下端１１３３とにより規定される深さ範囲のＥｎ－Ｆａｃｅ画像である。また、パノラマ画像１１９１は第１基準範囲におけるパノラマ画像である。なお、パノラマ画像１１９３は第２基準領域におけるパノラマ画像である。なお、図１１示した例では上端１１３２、下端１１３３と上端１１５２、下端１１５３とがそれぞれ同一位置であるため、Ｅｎ－Ｆａｃｅ画像１１４１，１１６１とパノラマ画像１１９１，１１９３は同一のものとなっている。なお、例えば、デフォルト状態では、上端１１３２、下端１１３３は予め記憶部１０４に記憶してある基準範囲として表層を示す位置に表示されることとしてもよい。

なお、図１６に示したユーザーインターフェースは、制御部１０１が表示部１０３に表示させる。また、上端１１３２と下端１１３３とは第１基準範囲を示す線の一例であり、上端１１５２と下端１１５３とは第２基準範囲を示す線の一例である。すなわち、表示制御手段の一例に相当する制御部１０１は、複数の断層画像を表示手段に表示させるとともに、第１基準範囲を示す線と第２基準範囲を示す線とを異なる断層画像に重畳して表示手段に表示させる。上端１１３２、下端１１３３と上端１１５２、下端１１５３と識別可能なように異なる表示態様で表示されることとしてもよい。

図１０は本実施例において、ステップＳ７３０で、合成開始ボタン１１８２を押下後のパノラマ画像生成処理の動作の一例を示すフローチャートである。

ステップＳ１０００では、Ｅｎ－Ｆａｃｅ画像生成部３０４が、操作者が１つ目の断層画像表示領域１１３０で指定した基準範囲（第１基準範囲）を生成条件として、合成対象の複数のボリュームデータから複数のＥｎ－Ｆａｃｅ画像を生成する。

ステップＳ１０１０では、Ｅｎ－Ｆａｃｅ画像生成部３０４が、操作者が２つ目の断層画像表示領域１１５０で指定した基準範囲（第２基準範囲）を生成条件として、合成対象の複数のボリュームデータから複数のＥｎ－Ｆａｃｅ画像を生成する。

ステップＳ１０２０およびステップＳ１０３０では、実施例１と同様の方法を用いて、ステップＳ１０００とステップＳ１０１０で生成したＥｎ－Ｆａｃｅ画像を用いてパノラマ画像生成部３０５が複合画像を複数生成する。そして、画像生成部３０５は、生成された複数の複合画像を合成して複合パノラマ画像を実施例１と同様の方法を用いて生成する。

ステップＳ１０４０では、画像生成部３０５は、生成された複合パノラマ画像から、例えば断層画像表示領域１１３０で指定した基準範囲のパノラマ画像と断層画像表示領域１１５０で指定した基準範囲とを分離し基準範囲毎にパノラマ画像１１９１、１１９３を生成する。そして、制御部１０１は、それぞれを画面上のパノラマ画像表示領域１１９０、１１９２に表示させる。ここでは、基準範囲毎にパノラマ画像を生成し表示しているが、２つの基準範囲のうち一方のパノラマ画像のみを生成・表示することとしてもよい。なお、複合パノラマ画像から複数のパノラマ画像に分離する場合、操作者が基準範囲を指定しなくても、予め記憶部１０４に記憶してある基準範囲のパノラマ画像に自動で分離するようにしてもよい。

上述の実施例によれば、病眼のモーションコントラストデータのパノラマ画像を生成する場合、操作者が複合画像に組み合わせる全ての基準範囲を指定することにより、より確実にパノラマ画像を生成することができる。

上記方法により、事前に精度や成功率の高い生成範囲を指定しづらい場合においても、複数の３次元画像から２次元のパノラマ画像を、より高い精度と成功率で正確に、かつ効率よく生成することができる。なお、断層画像上で指定できる基準範囲の数は２つに限定されるものではく、３以上であってもよく、指定可能とする基準範囲の数に応じた数の断層画像を表示することとすればよい。また、上端１１３２と下端１１３３とのデフォルト位置を表層を示す位置、上端１１５２と下端１１５３とのデフォルト位置を深層を示す位置とすることとしてもよい。すなわち、第１基準範囲および第２基準範囲のデフォルト位置は異なる位置であることとしてもよい。この場合、図１１に示したユーザーインターフェースで各基準範囲を確認し、ユーザは基準位置の変更を行うことなくパノラマ画像の生成を装置に指示することとしてもよい。なお、第１基準範囲および第２基準範囲のデフォルト位置は同じであってもよい。

（実施例３）
本実施例ではステップＳ７３０の合成開始指示後に、合成の精度や成功率の高い生成条件となる基準範囲での位置合わせ情報を用いて、操作者が指定した基準範囲のパノラマ画像を生成する例について説明する。脈絡膜の血管構造はメッシュ状となっており、例えば脈絡膜血管部分のＥｎ－Ｆａｃｅ画像を合成する場合、特徴点が多く抽出されることによって、間違った位置合わせ結果を算出してしまう場合がある。そのため、合成の精度や成功率が高い生成条件の基準範囲を参照することで、参照した基準範囲と同じ精度と成功率で合成することができる。なお、本実施例は、脈絡膜のＥｎ－Ｆａｃｅ画像の位置合わせに限定されるものではない。本実施例では、所定の基準範囲よりも合成の精度が高い基準範囲のＥｎ－Ｆａｃｅ画像の位置合わせ結果を、所定の基準範囲のＥｎ－Ｆａｃｅ画像の位置合わせに用いることができる。

本実施例のステップＳ７３０で合成開始指示した後の動作の一例を、図１２を参照して説明する。なお、各生成条件の指定や合成対象の選択については、実施例１、２と同様の方法を用いるものとし、説明を省略する。

ステップＳ１２００では、Ｅｎ－Ｆａｃｅ画像生成部３０４は、合成（位置合わせ）に必要な合成の精度や成功率の高い基準範囲を含む複数の基準範囲（第１基準範囲）のＥｎ－Ｆａｃｅ画像を合成対象となる複数の３次元画像から生成する。

ステップＳ１２１０では、パノラマ画像生成部３０５は、１つ目の基準範囲の複数のＥｎ－Ｆａｃｅ画像からパノラマ画像を生成する。この際に合成時に算出した位置合わせ情報を記憶部１０４に保持しておく。すなわち、記憶部１０４は、位置合わせの結果を記憶する記憶手段の一例に相当する。また、パノラマ画像生成部３０５は、複数の基準範囲のうち少なくとも１つの基準範囲における前記複数のＥｎ－Ｆａｃｅ画像の位置合わせを行う位置合わせ手段の一例に相当する。パノラマ画像生成部３０５は、例えば、表層を１つ目の基準範囲とする。

ステップＳ１２２０では、パノラマ画像生成部３０５は、ステップＳ１２１０で算出した位置合わせ情報を記憶部１０４から参照して、操作者が指定した２つ目の基準範囲（第２基準範囲）のＥｎ－Ｆａｃｅ画像からパノラマ画像を生成する。例えば、２つ目の基準範囲は１つ目の基準範囲とは異なる層であり、脈絡膜層を含む深さ範囲または内顆粒層を含む深さ範囲（深層）である。また１つ目の基準範囲は第２基準範囲よりも硝子体側に位置する例えば表層である。上記のように本実施形態では、パノラマ画像生成部３０５は基準範囲毎にＥｎ－Ｆａｃｅ画像の位置合わせを行っている。すなわち、パノラマ画像生成部３０５は、複数のＥｎ－Ｆａｃｅ画像を第１基準範囲および第２基準範囲毎に位置合わせすることにより複数のパノラマ画像を生成するパノラマ画像生成手段の一例に相当する。

また、ステップＳ１２２０のように、パノラマ画像生成手段の一例に相当するパノラマ画像生成部３０５は、第１基準範囲における複数のＥｎ－Ｆａｃｅ画像を位置合わせすることにより第１パノラマ画像を生成し、第２基準範囲における複数のＥｎ－Ｆａｃｅ画像を第１基準範囲における複数のＥｎ－Ｆａｃｅ画像の位置合わせの結果を用いて位置合わせする。このとき、パノラマ画像生成手段の一例に相当するパノラマ画像生成部３０５は、第１基準範囲における複数のＥｎ－Ｆａｃｅ画像の位置合わせの結果が記憶手段に記憶されている場合は、第２基準範囲における複数のＥｎ－Ｆａｃｅ画像を第１基準範囲における複数のＥｎ－Ｆａｃｅ画像の位置合わせの結果を用いて位置合わせする。なお、第１基準範囲のＥｎ－Ｆａｃｅ画像の位置合わせに失敗により記憶部１０４に位置合わせのパラメータが記録されていない場合には、第２基準範囲のＥｎ－Ｆａｃｅ画像の位置合わせは独立して行うこととしてもよい。

上述の実施例によれば、パノラマ画像生成のための複数の画像の位置合わせを基準範囲毎に行うため、３次元画像の位置合わせに比べて処理負荷が低くなる。従って、効率てきにパノラマ画像を生成することが可能となる。また、本実施例によれば、例えば脈絡膜の合成など、合成の精度が悪い場合においても、合成精度と成功率の高い基準範囲（例えば表層）の位置合わせ情報を参照することにより、より確実にパノラマ画像を生成することができる。なお、本実施例では、合成の精度や成功率の高い１つ目の基準範囲での合成を実施後に、２つ目の基準範囲の合成を行ったが、事前に制御部１０１が記憶部１０４から１つ目の基準範囲の位置合わせ情報を取得しておき、合成実施時に記憶部１０４に記憶しておいた該位置合わせ情報の参照のみを行ってもよい。

上記方法により、単独の基準範囲では間違った位置合わせを行ってしまう基準範囲においても、複数の３次元画像から２次元のパノラマ画像を効率的に生成することができる。

なお、本実施例は実施例１および実施例２と組み合わせることが可能である。また、第１基準範囲のＥｎ－Ｆａｃｅ画像の位置合わせ結果を使って、第２基準範囲のＥｎ－Ｆａｃｅ画像の位置合わせを行っているが、それぞれの基準範囲で独立してＥｎ－Ｆａｃｅ画像の位置合わせを行うこととしてもよい。この場合でも、三次元画像同士の位置合わせよりも位置合わせに要する処理負荷を低減することが可能となる。

（実施例４）
本実施例では、３次元画像生成部３０２で生成した３次元輝度画像の位置合わせの情報を用いて３次元モーションコントラスト画像の位置合わせを行い、パノラマ画像を生成する例について説明する。

本実施例の、ステップＳ７３０で合成開始指示後の動作の一例を、図１３を参照して説明する。なお、各生成条件の指定や合成対象の選択については、実施例１、２と同様の方法を用いるものとし、説明を省略する。

ステップＳ１３１０では、Ｅｎ－Ｆａｃｅ画像生成部３０４は、３次元画像生成部３０２で生成した３次元輝度画像において設定された少なくとも１つの基準範囲のＥｎ－Ｆａｃｅ画像を合成対象となる複数の３次元輝度画像から生成する。

ステップＳ１３２０では、パノラマ画像生成部３０５は、ステップＳ１３１０においてＥｎ－Ｆａｃｅ画像生成部３０４が生成した１つの基準範囲の複数のＥｎ－Ｆａｃｅ画像からパノラマ画像を生成する。このとき、合成時に算出した位置合わせ情報（位置合わせのパラメータ）を記憶部１０４に保持しておく。

ステップＳ１３３０では、パノラマ画像生成部３０５は、３次元モーションコントラスト画像において合成対象となる複数の基準範囲のＥｎ－Ｆａｃｅ画像を基準範囲毎に複数の３次元モーションコントラスト画像から複数取得する。なお、３次元モーションコントラスト画像に設定される基準範囲は３次元輝度画像に設定された基準範囲と共通であってもよいし、異なっていても良い。また、３次元モーションコントラスト画像に設定される基準範囲は１つであってもよい。

ステップＳ１３４０では、パノラマ画像生成部３０５は、ステップＳ１３２０で算出した位置合わせ情報を用いて、３次元モーションコントラスト画像において取得した複数のＥｎ－Ｆａｃｅ画像を基準範囲毎に合成しパノラマ画像を生成する。すなわち、パノラマ画像生成部３０５は、３次元輝度画像から生成されるＥｎ－Ｆａｃｅ画像の位置合わせ結果を用いて、３次元モーションコントラスト画像から生成されるＥｎ－Ｆａｃｅ画像の位置合わせを行う。なお、３次元輝度画像に対して設定された１つの基準範囲において得られた位置合わせパラメータを、３次元モーションコントラスト画像に設定された複数の基準範囲におけるＥｎ－Ｆａｃｅ画像の位置合わせに共通して用いることとしてもよい。

上記方法により、モーションコントラスト画像に比べ、どの層においても比較的位置合わせ精度の高い３次元輝度画像の位置合わせ情報を用いてモーションコントラスト画像の位置合わせを行うことで２次元のパノラマ画像をより高精度に生成することができる。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、実施例を参照して本発明について説明したが、本発明は上記実施例に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の各実施例及び変形例は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。

１０１制御部
１０４記憶部
３０１取得部
３０２３次元画像生成部
３０３選択部
３０４Ｅｎ－Ｆａｃｅ画像生成部
３０５パノラマ画像生成部

Claims

３次元断層画像に基づくボリュームデータを複数取得する取得手段と、
複数の前記ボリュームデータそれぞれの膜厚方向に共通して設定された第１基準範囲および前記第１基準範囲とは異なる第２基準範囲それぞれにおける複数のＥｎ－Ｆａｃｅ画像を、前記複数のボリュームデータそれぞれから生成するＥｎ－Ｆａｃｅ画像生成手段と、
前記第Ｉ基準範囲における前記複数のＥｎ－Ｆａｃｅ画像を位置合わせすることにより第Ｉパノラマ画像を生成し、前記第２基準範囲における前記複数のＥｎ－Ｆａｃｅ画像を位置合わせすることにより第２のパノラマ画像を生成するパノラマ画像生成手段と、
前記位置合わせの結果を記憶する記憶手段とを備え、
前記パノラマ画像生成手段は、前記第１基準範囲における前記複数のＥｎ－Ｆａｃｅ画像の位置合わせの結果が前記記憶手段に記憶されている場合は、前記第２基準範囲における前記複数のＥｎ－Ｆａｃｅ画像を前記第１基準範囲における前記複数のＥｎ－Ｆａｃｅ画像の位置合わせの結果を用いて位置合わせすることを特徴とする画像処理装置。
前記３次元断層画像は眼底の３次元断層画像であり、
前記第１基準範囲は前記第２基準範囲より硝子体側に位置する網膜の深さ範囲であることを特徴とする請求項１に記載の画像処理装置。
前記第１基準範囲は、内境界膜から内顆粒層の上端までの少なくとも一部を含む範囲であることを特徴とする請求項２に記載の画像処理装置。
３次元断層画像に基づくボリュームデータを複数取得する取得手段と
複数の前記ボリュームデータそれぞれの膜厚方向に共通して設定された第１基準範囲および前記第１基準範囲とは異なる第２基準範囲それぞれにおける複数のＥｎ－Ｆａｃｅ画像を、前記複数のボリュームデータそれぞれから生成するＥｎ－Ｆａｃｅ画像生成手段と、
前記複数のボリュームデータそれぞれに設定された、前記第１基準範囲から生成されるＥｎ－Ｆａｃｅ画像と前記第２基準範囲から生成されるＥｎ－Ｆａｃｅ画像とを複合した複合画像を複数生成する複合画像生成手段と、
複数の前記複合画像を位置合わせすることにより１つの複合パノラマ画像を生成する複合パノラマ画像生成手段と、
前記複合パノラマ画像から前記第２基準範囲の画像を分離することにより前記第２基準範囲のパノラマ画像を生成するパノラマ画像生成手段と、
を備えることを特徴とする画像処理装置。
前記３次元断層画像は眼底の３次元断層画像であり、
前記第１基準範囲は前記第２基準範囲より硝子体側に位置する網膜の深さ範囲であり、
複合パノラマ画像生成手段は、前記複合画像のうち前記第２基準範囲の画像より前記複合画像のうち前記第１基準範囲の画像を重視して前記複数の複合画像の位置合わせを行うことを特徴とする請求項４に記載の画像処理装置。
前記複合画像生成手段は、前記第１基準範囲から生成されるＥｎ－Ｆａｃｅ画像と前記第２基準範囲から生成されるＥｎ－Ｆａｃｅ画像とを識別可能に複合することにより前記複合画像を生成することを特徴とする請求項４または５に記載の画像処理装置。
前記複合画像生成手段は、前記第１基準範囲から生成されるＥｎ－Ｆａｃｅ画像と前記第２基準範囲から生成されるＥｎ－Ｆａｃｅ画像とに異なる色を付加することで前記第１基準範囲から生成されるＥｎ－Ｆａｃｅ画像と前記第２基準範囲から生成されるＥｎ－Ｆａｃｅ画像とを識別可能に複合することにより前記複合画像を生成し、
前記パノラマ画像生成手段は、前記色に基づいて前記複合パノラマ画像から前記第２基準範囲の画像を分離することにより前記第２基準範囲のパノラマ画像を生成することを特徴とする請求項４乃至６のいずれか１項に記載の画像処理装置。
前記複合画像生成手段は、前記第１基準範囲から生成されるＥｎ－Ｆａｃｅ画像は前記第２基準範囲から生成されるＥｎ－Ｆａｃｅ画像よりも赤色を強くし、第２基準範囲から生成されるＥｎ－Ｆａｃｅ画像は前記第１基準範囲から生成されるＥｎ－Ｆａｃｅ画像よりも青色を強くして前記複合画像を生成することを特徴とする請求項７に記載の画像処理装置。
前記パノラマ画像を生成するための複数のボリュームデータを選択する選択手段をさらに有することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
前記ボリュームデータは、３次元断層画像に基づいて生成した３次元モーションコントラストデータであることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
前記複数のボリュームデータは、隣接するボリュームデータ間で少なくとも１部重なる領域を有することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
前記第２基準範囲のユーザによる指定を受付ける受付手段を更に備え、
前記第１基準範囲は、前記第２基準範囲の前記ユーザによる指定より前に予め決定された範囲であることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
前記ボリュームデータに含まれる断層画像を表示手段に表示させる表示制御手段をさらに備え、
前記表示制御手段は、前記断層画像上に前記第１基準範囲および前記第２基準範囲の少なくとも一方を示す線を重畳して前記表示手段に表示させることを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
前記ボリュームデータに含まれる断層画像を表示手段に表示させる表示制御手段をさらに備え、
前記表示制御手段は、複数の前記断層画像を前記表示手段に表示させるとともに、前記第１基準範囲を示す線と前記第２基準範囲を示す線とを異なる断層画像に重畳して前記表示手段に表示させることを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
前記表示制御手段は、前記第１基準範囲および前記第２基準範囲それぞれを示す線を前記表示手段に表示させる場合、前記第１基準範囲を示す線の表示態様と前記第２基準範囲を示す線との表示態様を異なる態様で前記表示手段に表示させることを特徴とする請求項１３または請求項１４に記載の画像処理装置。
光干渉断層計を使用して取得した３次元断層画像に基づいて複数の３次元輝度画像と複数の３次元モーションコントラスト画像とを取得する取得手段と、
前記３次元輝度画像それぞれの膜厚方向に共通して設定された複数の基準範囲における複数の第ＩＥｎ－Ｆａｃｅ画像を、前記複数の３次元輝度画像それぞれから生成する第１Ｅｎ－Ｆａｃｅ画像生成手段と、
前記複数の基準範囲のうち少なくとも１つの基準範囲における前記複数の第ＩＥｎ－Ｆａｃｅ画像の位置合わせを行う位置合わせ手段と、
前記位置合わせの結果を記憶する記憶手段と、
前記３次元モーションコントラスト画像それぞれの膜厚方向に共通して設定された複数の基準範囲における複数の第２Ｅｎ－Ｆａｃｅ画像を、前記複数の３次元モーションコントラスト画像それぞれから生成する第２Ｅｎ－Ｆａｃｅ画像生成手段と、
前記記憶手段に記憶された位置合わせの結果を用いて、第２Ｅｎ－Ｆａｃｅ画像生成手段により生成された前記複数の基準範囲における前記複数の第２Ｅｎ－Ｆａｃｅ画像を位置合わせすることによりパノラマ画像を生成するパノラマ画像生成手段と、
を備えることを特徴とする画像処理装置。
３次元断層画像に基づくボリュームデータを複数取得する取得工程と
複数の前記ボリュームデータそれぞれの膜厚方向に共通して設定された第１基準範囲および前記第１基準範囲とは異なる第２基準範囲それぞれにおける複数のＥｎ－Ｆａｃｅ画像を、前記複数のボリュームデータそれぞれから生成するＥｎ－Ｆａｃｅ画像生成工程と、
前記第１基準範囲における前記複数のＥｎ－Ｆａｃｅ画像を位置合わせすることにより第Ｉパノラマ画像を生成し、前記第２基準範囲における前記複数のＥｎ－Ｆａｃｅ画像を位置合わせすることにより第２のパノラマ画像を生成するパノラマ画像生成工程と、
前記位置合わせの結果を記憶手段に記憶する記憶工程とを備え、
前記パノラマ画像生成工程において、前記第１基準範囲における前記複数のＥｎ－Ｆａｃｅ画像の位置合わせの結果が前記記憶手段に記憶されている場合は、前記第２基準範囲における前記複数のＥｎ－Ｆａｃｅ画像を前記第１基準範囲における前記複数のＥｎ－Ｆａｃｅ画像の位置合わせの結果を用いて位置合わせすることを特徴とする画像処理装置。
を備えることを特徴とする画像処理方法。
請求項１乃至１６のいずれか１項に記載の画像処理装置の各手段をコンピュータに実行させることを特徴とするプログラム。