JP7158860B2

JP7158860B2 - 画像処理装置、画像処理方法及びプログラム

Info

Publication number: JP7158860B2
Application number: JP2018010522A
Authority: JP
Inventors: 好彦岩瀬
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-01-25
Filing date: 2018-01-25
Publication date: 2022-10-24
Anticipated expiration: 2038-01-25
Also published as: JP2019126572A

Description

本明細書の開示は、画像処理装置、画像処理方法及びプログラムに関する。

ＯｐｔｉｃａｌＣｏｈｅｒｅｎｃｅＴｏｍｏｇｒａｐｈｙ造影剤を用いない血管造影法としてＯＣＴ（ＯｐｔｉｃａｌＣｏｈｅｒｅｎｃｅＴｏｍｏｇｒａｐｈｙ：ＯＣＴ）を用いた血管造影法（ＯＣＴＡｎｇｉｏｇｒａｐｈｙ：ＯＣＴＡ）が知られている（特許文献１）。測定対象の同一断面をＯＣＴで繰り返し撮影し、その撮影間における測定対象の時間的な変化をモーションコントラストデータとして検出する。

特開２０１７－７７４１４号公報

断層構造とモーションコントラストデータとの関係が明確ではない場合があった。

本明細書の開示は、断層構造とモーションコントラストデータとの関係が明確な画像を提供することを目的の一つとする。

なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本件の他の目的の１つとして位置付けることができる。

被検眼の撮影範囲の三次元の断層画像を複数取得する第１取得手段と、
前記被検眼の前記撮影範囲の三次元のモーションコントラストデータを複数取得する第２取得手段と、
前記複数の三次元のモーションコントラストデータを合成した合成三次元のモーションコントラストデータを生成する合成手段と、
前記三次元の断層画像から加算平均処理された二次元の断層画像に、当該二次元の断層画像と対応する位置の前記合成三次元のモーションコントラストデータを重畳した画像を表示部に表示させる表示制御手段と、
を備える。

本明細書に開示の技術によれば、断層構造とモーションコントラストデータとの関係が明確な画像を提供することが可能となる。

画像処理システムの構成の一例を示す図。眼部の構造、断層画像および眼底画像の一例を説明するための図。画像処理システムにおける処理の一例を示すフローチャート。第一の位置合わせ処理の一例を示すフローチャート。第三の位置合わせ処理の一例を示すフローチャート。第四の位置合わせ処理の一例を示すフローチャート。モーションコントラストデータ生成の一例を説明するための図。アーティファクト除去の一例を説明するための図。第一の位置合わせの一例を説明するための図。第二の位置合わせの一例を説明するための図。第三の位置合わせの一例を説明するための図。第三の位置合わせ結果の一例を説明するための図。三次元でのデータ変形結果の一例を説明するための図。第四の位置合わせの一例を説明するための図。第四の位置合わせの一例を説明するための図。モーションコントラストデータと断層画像の加算平均前後の一例を説明するための図。モーションコントラストデータと断層画像の加算平均前後の一例を説明するための図。モーションコントラストデータの加算平均前後の一例を説明するための図。画像を表示する画面の一例を説明するための図。モーションコントラストデータと断層画像の加算平均前後の一例を説明するための図。画像を表示する画面の一例を説明するための図。モーションコントラストデータと断層画像の対応の一例を説明するための図。画像を表示する画面の一例を説明するための図。モーションコントラストデータの表示形態の一例を説明するための図。

〔実施例１〕
以下、図面を参照しながら、第１の実施形態について説明する。なお、本実施形態に係る画像処理装置は、アーティファクトを低減した三次元のモーションコントラストデータを生成するにあたり、複数のモーションコントラストデータの位置合わせをすると共に、加算平均を行うために位置合わせの基準となるモーションコントラストデータを選択する。

本実施形態によれば、固視微動などにより、モーションコントラストデータにアーティファクトが存在する場合においても高画質な三次元のモーションコントラストデータを取得することが可能となる。ここで、高画質とは一度の撮影と比較してＳ／Ｎ比が向上している画像をいう。または、診断に必要な情報量が増えている画像のことをいう。なお、本実施形態において、三次元データは、輝度値からなる三次元の断層像データ（三次元断層画像）と、脱相関値からなる三次元のモーションコントラストデータのことを指す。

以下、本実施形態に係る画像処理装置を備える画像処理システムについて、詳細を説明する。

図１は、本実施形態に係る画像処理装置３００を備える画像処理システム１００の構成を示す図である。図１に示すように、画像処理システム１００は、画像処理装置３００が、インタフェースを介して断層画像撮影装置（ＯＣＴとも言う）２００、眼底画像撮影装置４００、外部記憶部５００、表示部６００、入力部７００と接続されることにより構成されている。

断層画像撮影装置２００は、眼部の断層画像を撮影する装置である。断層画像撮影装置に用いる装置は、例えばＳＤ－ＯＣＴやＳＳ－ＯＣＴからなる。なお、断層画像撮影装置２００は既知の装置であるため詳細な説明は省略し、ここでは、画像処理装置３００からの指示により行われる断層画像の撮影について説明を行う。

図１において、ガルバノミラー２０１は、測定光の眼底における走査を行うためのものであり、ＯＣＴによる眼底の撮影範囲を規定する。また、駆動制御部２０２は、ガルバノミラー２０１の駆動範囲および速度を制御することで、眼底における平面方向の撮影範囲及び走査線数（平面方向の走査速度）を規定する。ここでは、簡単のためガルバノミラーは一つのユニットとして示したが、実際にはＸスキャン用のミラーとＹスキャン用の２枚のミラーで構成され、眼底上で所望の範囲を測定光で走査できる。

フォーカス２０３は被検体である眼の前眼部を介し、眼底の網膜層にフォーカスするためのものである。測定光は、不図示のフォーカスレンズにより、被検体である眼の前眼部を介し、眼底の網膜層にフォーカスされる。眼底を照射した測定光は各網膜層で反射・散乱して戻る。

内部固視灯２０４は、表示部２４１、レンズ２４２で構成される。表示部２４１として複数の発光ダイオード（ＬＤ）がマトリックス状に配置されたものを用いる。発光ダイオードの点灯位置は、駆動制御部２０２の制御により撮影したい部位に合わせて変更される。表示部２４１からの光は、レンズ２４２を介し、被検眼に導かれる。表示部２４１から出射される光は例えば５２０ｎｍで、駆動制御部２０２により所望のパターンが表示される。

コヒーレンスゲートステージ２０５は、被検眼の眼軸長の相違等に対応するため、駆動制御部２０２により制御されている。コヒーレンスゲートとは、ＯＣＴにおける測定光と参照光の光学距離が等しい位置を表す。さらには、撮影方法としてコヒーレンスゲートの位置を制御することにより、網膜層側か、あるいは網膜層より深部側とする撮影を行うことを制御する。ここで、画像処理システムで取得する眼の構造と画像について図２を用いて説明する。

図２（ａ）に眼球の模式図を示す。図２（ａ）において、Ｃは角膜、ＣＬは水晶体、Ｖは硝子体、Ｍは黄斑部（黄斑の中心部は中心窩を表す）、Ｄは視神経乳頭部を表す。本実施形態に係る断層画像撮影装置２００は、主に、硝子体、黄斑部、視神経乳頭部を含む網膜の後極部を撮影する場合について説明を行う。なお、本実施例では説明をしないが、断層画像撮影装置２００は、角膜、水晶体の前眼部を撮影することも可能である。

図２（ｂ）に断層画像撮影装置２００が取得する網膜を撮影した場合の断層画像の例を示す。図２（ｂ）において、ＡＳはＡスキャンというＯＣＴ断層画像における画像取得の単位を表す。このＡスキャンが複数集まって一つのＢスキャンを構成する。そしてこのＢスキャンのことを断層画像（あるいは断層像）と呼ぶ。図２（ｂ）において、Ｖｅは血管、Ｖは硝子体、Ｍは黄斑部、Ｄは視神経乳頭部を表す。また、Ｌ１は内境界膜（ＩＬＭ）と神経線維層（ＮＦＬ）との境界、Ｌ２は神経線維層と神経節細胞層（ＧＣＬ）との境界、Ｌ３は視細胞内節外節接合部（ＩＳＯＳ）、Ｌ４は網膜色素上皮層（ＲＰＥ）、Ｌ５はブルッフ膜（ＢＭ）、Ｌ６は脈絡膜を表す。断層画像において、横軸（ＯＣＴの主走査方向）をｘ軸、縦軸（深さ方向）をｚ軸とする。

図２（ｃ）に眼底画像撮影装置４００が取得する眼底画像の例を示す。眼底画像撮影装置４００は、眼部の眼底画像を撮影する装置であり、当該装置としては、例えば、眼底カメラやＳＬＯ（ＳｃａｎｎｉｎｇＬａｓｅｒＯｐｈｏｔｈａｌｍｏｓｃｏｐｅ）等が挙げられる。図２（ｃ）において、Ｍは黄斑部、Ｄは視神経乳頭部を表し、太い曲線は網膜の血管を表す。眼底画像において、横軸（ＯＣＴの主走査方向）をｘ軸、縦軸（ＯＣＴの副走査方向）をｙ軸とする。なお、断層画像撮影装置２００と眼底画像撮影装置４００の装置構成は、一体型でもよいし別体型でもよい。

画像処理装置３００は、画像取得部３０１、記憶部３０２、画像処理部３０３、指示部３０４、表示制御部３０５を備える。画像処理装置３００は、例えば、不図示の１以上のプロセッサと１以上のメモリを備え、１以上のプロセッサが１以上のメモリに記憶されたプログラムを実行することで、１以上のプロセッサは画像取得部３０１、画像処理部３０３、指示部３０４、表示制御部３０５として機能する。プロセッサは例えばＣＰＵまたはＧＰＵ等のハードウエアである。画像取得部３０１は、断層画像生成部３１１、モーションコントラストデータ生成部３１２からなり、断層画像撮影装置２００により撮影された断層画像の信号データを取得し、信号処理を行うことで断層画像の生成、ならびにモーションコントラストデータの生成を行う。また、眼底画像撮影装置４００により撮影された眼底画像データを取得する。そして、生成した断層画像と眼底画像を記憶部３０２に格納する。画像処理部３０３は、前処理部３３１、画像生成部３３２、検出部３３３、第一の位置合わせ部３３４、選択部３３５、第二の位置合わせ部３３６、第三の位置合わせ部３３７、第四の位置合わせ部３３８、画像合成部３３９からなる。

前処理部３３１は、モーションコントラストデータからアーティファクトを除去する処理を行う。画像生成部３３２は、三次元のモーションコントラストデータから二次元のモーションコントラスト正面画像（ＯＣＴＡ画像とも言う）を生成する。検出部３３３は、網膜から各層の境界線を検出する。第一の位置合わせ部３３４は、二次元の正面画像の位置合わせを行う。選択部３３５は、第一の位置合わせ部３３４の結果から基準とするデータを選択する。第二の位置合わせ部３３６は、ＯＣＴＡ画像を用いて網膜の横方向（ｘ軸）の位置合わせを行う。第三の位置合わせ部３３７は、網膜の深さ方向（ｚ軸）の位置合わせを行う。第四の位置合わせ部３３８は、断層画像内部の特徴がある部分に位置合わせのための領域を複数設定し、その領域単位で網膜の深さ方向（ｚ軸）の位置合わせを行う。画像合成部３３９は、第一から第四の位置合わせ部によって位置合わせされた三次元データを加算平均する。なお、画像処理装置３００は、断層画像撮影装置２００と別体であってもよいし一体であってもよい。

外部記憶部５００は、被検眼に関する情報（患者の氏名、年齢、性別など）と、撮影した画像データ、撮影パラメータ、画像解析パラメータ、操作者によって設定されたパラメータをそれぞれ関連付けて保持している。

入力部７００は、例えば、マウス、キーボード、タッチ操作画面などであり、操作者は、入力部７００を介して、画像処理装置３００や断層画像撮影装置２００、眼底画像撮影装置４００へ指示を行う。

次に、図３を参照して本実施形態の画像処理装置３００の処理手順を示す。図３（ａ）は、本実施形態における本システム全体の動作処理、図３（ｂ）は、本実施形態における高画質画像生成処理の流れを示すフローチャートである。

＜ステップＳ３０１＞
ステップＳ３０１では、不図示の被検眼情報取得部は、被検眼を同定する情報として被検者識別番号を外部から取得する。そして、被検者識別番号に基づいて、外部記憶部５００が保持している当該被検眼に関する情報を取得して記憶部３０２に記憶する。

＜ステップＳ３０２＞
ステップＳ３０２では被検眼をスキャンして撮影を行う。被検眼のスキャンは、操作者が不図示のスキャン開始を選択すると、断層画像撮影装置２００は、駆動制御部２０２を制御し、ガルバノミラー２０１を動作させて断層画像のスキャンを行う。ガルバノミラー２０１は、水平方向用のＸスキャナと垂直方向用のＹスキャナで構成される。そのため、これらのスキャナの向きをそれぞれ変更すると、装置座標系における水平方向（Ｘ）、垂直方向（Ｙ）それぞれの方向に走査することが出来る。そして、これらのスキャナの向きを同時に変更させることで、水平方向と垂直方向とを合成した方向に走査することが出来るため、眼底平面上の任意の方向に走査することが可能となる。

撮影を行うにあたり各種撮影パラメータの調整を行う。具体的には、内部固視灯の位置、スキャン範囲、スキャンパターン、コヒーレンスゲート位置、フォーカスを少なくとも設定する。駆動制御部２０２は、表示部２４１の発光ダイオードを制御して、黄斑部中心や視神経乳頭に撮影を行うように内部固視灯２０４の位置を制御する。スキャンパターンは、三次元ボリュームを撮影するラスタスキャンや放射状スキャン、クロススキャンなどのスキャンパターンを設定する。これら撮影パラメータの調整終了後、操作者が不図示の撮影開始を選択することで撮影を行う。

本実施形態においては、スキャンパターンはラスタスキャンによる三次元ボリュームで、高画質データ生成のために三次元ボリュームをＮ回（Ｎは２以上）撮影する。Ｎ回繰り返し撮影するデータは、同じ撮影範囲を同じスキャンパターンで撮影する。例えば、３ｍｍ×３ｍｍの範囲を３００×３００（主走査×副走査）の間隔で繰り返し撮影を行う。三次元ボリュームにおいては、モーションコントラストを計算するために同一のライン箇所をＭ回（Ｍは２以上）繰り返し撮影する。すなわち、Ｍが２回だとする場合、実際には３００×６００のデータを撮影し、そこから３００×３００の三次元モーションコントラストデータを生成する。なお、本明細書における同一とは完全に同一な場合およびトラッキングの不完全さに起因する誤差があり完全に同一とならない場合の両者を含む概念である。

本実施例においては詳細な説明を省略するが、断層画像撮影装置２００は、加算平均用に同じ場所を撮影するために、被検眼のトラッキングを行うことで、固視微動の影響を少なくして被検眼のスキャンを行う。さらに、まばたきなどの画像を生成するにあたりアーティファクトとなる動きを検出した場合には、アーティファクトが発生した場所で再スキャンを自動的に行う。

＜ステップＳ３０３＞
ステップＳ３０３では、断層画像生成部３１１が断層画像の生成を行う。断層画像生成部３１１は、それぞれの干渉信号に対して、一般的な再構成処理を行うことで、断層画像を生成する。

まず、断層画像生成部３１１は、干渉信号から固定パターンノイズ除去を行う。固定パターンノイズ除去は検出した複数のＡスキャン信号を平均することで固定パターンノイズを抽出し、これを入力した干渉信号から減算することで行われる。次に、断層画像生成部３１１は、有限区間でフーリエ変換した場合にトレードオフの関係となる深さ分解能とダイナミックレンジを最適化するために、所望の窓関数処理を行う。次に、ＦＦＴ処理を行う事によって断層信号を生成する。

＜ステップＳ３０４＞
ステップＳ３０４では、モーションコントラストデータ生成部３１２がモーションコントラストデータの生成を行う。このデータ生成について図７を用いて説明を行う。ＭＣは三次元のモーションコントラストデータを示し、ＬＭＣは三次元のモーションコントラストデータを構成する二次元のモーションコントラストデータを示している。ここでは、このＬＭＣを生成する方法について説明をする。

モーションコントラストデータ生成部３１２は、まず被検眼の同一範囲で撮影された複数の断層像間の位置ずれを補正する。位置ずれの補正方法は任意の方法であってよい。例えば、モーションコントラストデータ生成部３１２は、同一範囲をＭ回撮影し、同一箇所に相当する断層像データ（断層画像）同士について、眼底形状等の特徴等を利用して位置合わせを行う。具体的には、Ｍ個の断層像データのうちの１つをテンプレートとして選択し、テンプレートの位置と角度を変えながらその他の断層像データとの類似度を求め、テンプレートとの位置ずれ量を求める。その後、モーションコントラストデータ生成部３１２は、求めた位置ずれ量に基づいて、各断層像データを補正する。

次にモーションコントラストデータ生成部３１２は、各断層像データに関する撮影時間が互いに連続する、２つの断層像データ間で数１により脱相関値Ｍ（ｘ，ｚ）を求める。

ここで、Ａ（ｘ，ｚ）は断層像データＡの位置（ｘ、ｚ）における輝度、Ｂ（ｘ，ｚ）は断層像データＢの同一位置（ｘ、ｚ）における輝度を示している。

脱相関値Ｍ（ｘ，ｚ）は０～１の値となり、２つの輝度の差が大きいほどＭ（ｘ，ｚ）の値は大きくなる。モーションコントラストデータ生成部３１２は、同一位置で繰り返し取得したＭが３以上の場合には、同一位置（ｘ、ｚ）において複数の脱相関値Ｍ（ｘ，ｚ）を求めることができる。モーションコントラストデータ生成部３１２は、求めた複数の脱相関値Ｍ（ｘ，ｚ）の最大値演算や平均演算などの統計的な処理を行うことで、最終的なモーションコントラストデータを生成することができる。なお、繰り返し回数Ｍが２の場合、最大値演算や平均演算などの統計的な処理は行わず、隣接する二つの断層画像ＡとＢの脱相関値Ｍ（ｘ，ｚ）が、位置（ｘ、ｚ）におけるモーションコントラスト値となる。

数１に示したモーションコントラストの計算式はノイズの影響を受けやすい傾向がある。例えば、複数の断層像データの無信号部分にノイズがあり、互いに値が異なる場合には、脱相関値が高くなり、モーションコントラスト画像にもノイズが重畳してしまう。これを避けるために、モーションコントラストデータ生成部３１２は、前処理として、断層像データにおいて所定の閾値を下回る輝度値の部分はノイズとみなして、脱相関値（モーションコントラスト値）をゼロに置き換えることができる。これにより、画像生成部３３２は、生成されたモーションコントラストデータに基づいて、ノイズの影響を低減したモーションコントラスト画像を生成することができる。

上述したステップＳ３０２からステップＳ３０４の処理を所定回数繰り返す。それにより、複数の三次元断層画像と複数の三次元モーションコントラストデータを取得することができる。これら取得した複数のデータを用いて、ステップＳ３０５では、画像処理部３０３が高画質データ生成を行う。高画質データを生成するためのデータ選択と実行の表示形態に関しては後述（ステップＳ３０６）する。ここでは、画像処理部３０３の処理について、図３（ｂ）、図４～図６のフローチャートと、図７～図１５を用いて説明をする。

＜ステップＳ３５１＞
ステップＳ３５１では、検出部３３３は、断層画像撮影装置２００が撮影した複数の断層画像において網膜層の境界線を検出する。検出部３３３は、図２（ｂ）の断層画像においてＬ１～Ｌ６の各境界、あるいは不図示のＧＣＬ／ＩＰＬ、ＩＰＬ／ＩＮＬ、ＩＮＬ／ＯＰＬ、ＯＰＬ／ＯＮＬ境界のいずれかを検出する。処理の対象とする断層画像に対して、メディアンフィルタとＳｏｂｅｌフィルタをそれぞれ適用して画像を作成する（以下、メディアン画像、Ｓｏｂｅｌ画像とする）。次に、作成したメディアン画像とＳｏｂｅｌ画像から、Ａスキャン毎にプロファイルを作成する。メディアン画像では輝度値のプロファイル、Ｓｏｂｅｌ画像では勾配のプロファイルとなる。そして、Ｓｏｂｅｌ画像から作成したプロファイル内のピークを検出する。検出したピークの前後やピーク間に対応するメディアン画像のプロファイルを参照することで、網膜層の各領域の境界を検出する。

＜ステップＳ３５２＞
ステップＳ３５２では、画像生成部３３２が、三次元のモーションコントラストデータに対して指定された生成範囲上端と生成範囲下端との範囲に対応するモーションコントラストデータを二次元平面上に投影し、ＯＣＴＡ画像を生成する。具体的には、画像生成部３３２が、全体のモーションコントラストデータのうち生成範囲上端と生成範囲下端の間の範囲に対応するモーションコントラストデータに基づいて、その範囲内のモーションコントラストデータを平均値投影（ＡＩＰ）、あるいは最大値投影（ＭＩＰ）などの処理を行うことで、モーションコントラスト画像の正面画像であるＯＣＴＡ画像を生成する。なお、ＯＣＴＡ画像の生成方法は平均値や最大値に限らない。最小値、中央値、分散、標準偏差、総和などの値で生成しても良い。

本実施形態においては、生成範囲上端をＩＬＭ／ＮＦＬ境界線とし、生成範囲下端をＧＣＬ／ＩＰＬから深度方向に５０μｍ下端の境界線とする。そして、平均値投影法でＯＣＴＡ画像を生成する。

なお、モーションコントラストデータ生成部３１２が、生成範囲上端と生成範囲下端との間の範囲の断層像データを用いてモーションコントラストデータを生成する構成としてもよい。この場合、画像生成部３３２は、生成されたモーションコントラストデータに基づいてＯＣＴＡ画像を生成することで、指定された深度範囲の断層像データに基づくＯＣＴＡ画像を生成することができる。

＜ステップＳ３５３＞
ステップＳ３５３では、Ｎ枚のＯＣＴＡ画像において、画像の横方向（ｘ軸）と縦方向（ｙ軸）、ｘｙ面内の回転位置合わせをそれぞれ行う。これについて、図４のフローチャートを用いて説明をする。

＜ステップＳ３５３１＞
ステップＳ３５３１では、前処理部３３１は、画像生成部３３２が生成したＯＣＴＡ画像から黒帯や白線のようなアーティファクトを検出し、除去する。これについて図８を用いて説明をする。図８において、ＯＣＴＡ画像の黒い領域は脱相関値が高い場所、すなわち血液の流れが検出された場所（血管に相当する）を表し、白い領域は、脱相関値が低い場所を表す。図８（ａ）のＢＢは黒帯の例で、図８（ｂ）のＷＬは白線の例を示している。黒帯は、撮影中の動きにより、網膜の位置が感度の高い位置から遠ざかることで網膜断層像の輝度値が低下し脱相関の値が低くなったり、まばたき等により画像全体が暗くなることで脱相関の値が低くなったりすることで発生する。白線は、脱相関の計算においてＭ個の断層像を位置合わせして計算をするが、位置合わせがうまくいかなかったり、位置合わせで位置を補正しきれなかったりする場合に、画像全体の脱相関値が高くなることで発生する。これらのアーティファクトは脱相関の計算において発生するため、主走査方向の１ライン単位で発生する。そのため、前処理部３３１は、１ライン単位でアーティファクトを検出する。

例えば、黒帯検出は、１ラインでの脱相関の平均値が閾値ＴＨ_{ＡＶＧ＿Ｂ}以下の場合、黒帯とする。白線検出は、１ラインでの脱相関値の平均値が閾値ＴＨ_{ＡＶＧ＿Ｗ}以上で、かつ、標準偏差（あるいは分散値）がＴＨ_ＳＤ＿Ｗ以下である場合、白線とする。白線の場合、平均値だけで判定を行うと大血管などで脱相関値が高く出る場合があり、これらのような脱相関値の高い血管が含まれる領域を白線と誤検出してしまう事がある。そのため、標準偏差や分散のような値のバラつきを評価する指標と組み合わせて判断する。すなわち、脱相関値の高い血管が含まれる１ラインは、平均値が高くて標準偏差も高くなる。一方、白線の１ラインは、平均値は高いが値のバラつきは小さいため標準偏差は低くなる。なお、ＯＣＴＡ画像は健常眼や患眼、患眼などでも病気の種類に応じて脱相関値の値が変動する。そのため、閾値は画像毎に設定することが望ましく、Ｐ－ｔｉｌｅや判別分析のような動的閾値法を用いて、ＯＣＴＡ画像の明るさに応じて設定することが望ましい。なお、動的閾値法を用いる場合、上限閾値と下限閾値は事前に設定しておき、その値を上回るか下回る場合には、それらの上限閾値、あるいは下限閾値を閾値として設定する。

前処理部３３１は、上記で求めたアーティファクト領域を、ＯＣＴＡ画像に対応するＭａｓｋ画像に記憶しておく。図のＭａｓｋ画像において、白い領域は１、黒い領域は０の値を設定した例を示す。

＜ステップＳ３５３２＞
ステップＳ３５３２では、第一の位置合わせ部３３４は、各ＯＣＴＡ画像をそれぞれ位置合わせした場合の位置合わせパラメータを保存するための二次元行列を初期化する。各行列の要素には、位置合わせ時の変形パラメータや画像類似度などの画像高画質化に必要な情報をまとめて保存する。

＜ステップＳ３５３３＞
ステップＳ３５３３では、第一の位置合わせ部３３４は、位置合わせ対象を選択する。本実施形態においては、全てのＯＣＴＡ画像を基準画像に設定して残りのＯＣＴＡ画像と位置合わせを行う。そのため、ステップＳ３５３３においては、Ｄａｔａ０のＯＣＴＡ画像を基準とする場合に、Ｄａｔａ１～Ｄａｔａ（Ｎ－１）とそれぞれ位置合わせを行う。次に、Ｄａｔａ１のＯＣＴＡ画像を基準とする場合には、Ｄａｔａ２～Ｄａｔａ（Ｎ－１）とそれぞれ位置合わせを行う。次に、Ｄａｔａ２のＯＣＴＡ画像を基準とする場合には、Ｄａｔａ３～Ｄａｔａ（Ｎ－１）とそれぞれ位置合わせを行う。これらの処理を繰り返す。この例を図９（ａ）に示す。図９では簡単のため、Ｄａｔａ０～Ｄａｔａ２を示しているが、三次元ボリュームをＮ回撮影している場合には、Ｎ個のＯＣＴＡ画像間での位置合わせを行う。

なお、ここで示したように基準画像のＤａｔａを１つずつ繰り上げた場合に、位置合わせの対象とする画像のスタートＤａｔａも１つずつ大きくする。これについてＤａｔａ２のＯＣＴＡ画像を基準とする場合について説明をする。Ｄａｔａ２を基準とする場合に、Ｄａｔａ０とＤａｔａ１、Ｄａｔａ０とＤａｔａ２、Ｄａｔａ１とＤａｔａ２の位置合わせは、それまでの処理により既に位置合わせ済みである。そのため、Ｄａｔａ２のＯＣＴＡ画像を基準とする場合には、Ｄａｔａ３から位置合わせをすればよい。これにより、全部のＯＣＴＡ画像同士の位置合わせとはいえ、半分の組み合わせを計算すればよいことになる。

＜ステップＳ３５３４＞
ステップＳ３５３４では、第一の位置合わせ部３３４は、複数のＯＣＴＡ画像間において画像の横方向（ｘ軸）と縦方向（ｙ軸）、ｘｙ面内の回転位置合わせを行う。ＯＣＴＡ画像間の位置合わせでは、ｘｙ面内においてサブピクセル位置合わせを行うために、ＯＣＴＡ画像のサイズを拡大して位置合わせを行う。サブピクセル位置合わせとすることで、ピクセル位置合わせよりも位置合わせの精度が向上することが期待される。例えば、ＯＣＴＡ画像の撮影サイズを３００×３００とした場合、６００×６００に拡大をする。拡大する際にはＢｉｃｕｂｉｃやＬａｎｃｚｏｓ（ｎ）法のような補間方法を用いる。そして、画像同士の位置合わせ処理としては、例えば、２つのＯＣＴＡ画像の類似度を表す評価関数を事前に定義しておき、ＯＣＴＡ画像位置をずらしたり、回転させたりしながら評価値を計算し、評価値が最もよくなる場所を位置合わせ結果とする。評価関数としては、画素値で評価する方法が挙げられる（例えば、相関係数を用いて評価を行う方法が挙げられる）。

類似度を表す評価関数として相関係数を用いた場合の式を数２に示す。

数２において、Ｄａｔａ０のＯＣＴＡ画像の領域をｆ（ｘ，ｙ）、Ｄａｔａ１のＯＣＴＡ画像の領域をｇ（ｘ，ｙ）とする。

は、それぞれ領域ｆ（ｘ，ｙ）と領域ｇ（ｘ，ｙ）の平均を表す。なお、ここで領域とは位置合わせに用いるための画像領域であり、通常ＯＣＴＡ画像のサイズ以下の領域が設定され、上述したＲＯＩサイズが設定される。

また、評価関数としては、これに限らずＳＳＤ（ＳｕｍｏｆＳｑｕａｒｅｄＤｉｆｆｅｒｅｎｃｅ）や、ＳＡＤ（ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ）でもよく、画像の類似度あるいは相違度を評価出来ればよい。あるいは、ＰＯＣ（ＰｈａｓｅＯｎｌｙＣｏｒｒｅｌａｔｉｏｎ）のような方法で、位置合わせを行っても良い。この処理により、ＸＹ面内の大局的な位置合わせが行われる。

なお、ここではＯＣＴＡ画像のサイズを拡大して位置合わせを行う例について示したが、これに限らない。また、入力のＯＣＴＡ画像サイズが９００×９００のような高密度スキャンの場合には、必ずしも拡大をする必要はない。また、位置合わせを高速で行うため、ピラミッド構造データを生成して位置合わせをしてもよい。

＜ステップＳ３５３５＞
ステップＳ３５３５では、第一の位置合わせ部３３４は、ＯＣＴＡ画像の画像評価値を計算する。画像評価値は、ステップＳ３５３４での二次元位置合わせ済みのＯＣＴＡ画像において、位置合わせにより発生する無効領域を含まない画像の共通領域を用いて計算する。例えば、画像評価値Ｑは数４で求めることが出来る。

数４において、Ｄａｔａ０のＯＣＴＡ画像の領域をｆ（ｘ，ｙ）、Ｄａｔａ１のＯＣＴＡ画像の領域をｇ（ｘ，ｙ）とする。最初の項は相関係数を表し、数２で示した式と同様である。そのため、式の中のσ_ｆ、σ_ｇはそれぞれ、数２で示したものと対応する。２番目の項は明るさを評価する項であり、

は、それぞれ領域ｆ（ｘ，ｙ）と領域ｇ（ｘ，ｙ）の平均を表す。３番目の項はコントラストを評価する項である。それぞれの項は、最小値０で、最大値は１となる。例えば、Ｄａｔａ０とＤａｔａ１が同じ画像である場合には評価値は１となる。そのため、Ｎ個のＯＣＴＡ画像の中で平均的な画像を基準とした場合に評価値は高く、他のＯＣＴＡ画像と異なるようなＯＣＴＡ画像を基準とした場合には評価値は低くなる。ここで、他のＯＣＴＡ画像と異なるとは、撮影位置が異なる、画像がひずんでいる、全体的に暗いあるいは明るすぎる、白線や黒帯などのアーティファクトが含まれているような場合である。なお、画像評価値は必ずしもここで示した式である必要はなく、それぞれの項を単独で評価しても良いし、組み合わせを変えても良い。

＜ステップＳ３５３６＞
ステップＳ３５３６では、第一の位置合わせ部３３４は、ステップＳ３５３２で初期化した位置合わせや画像類似度などの画像高画質化に必要なパラメータを保存するための二次元行列に対して値を保存する。例えば、基準画像をＤａｔａ０、対象画像をＤａｔａ１とする場合、二次元行列の要素（０、１）に横方向の位置合わせパラメータＸ、縦方向の位置合わせパラメータＹ、ＸＹ面内の回転パラメータα、画像評価値、画像類似度を保存する。これらの情報の他に、図８で示したＭａｓｋ画像をＯＣＴＡ画像と関連付けて保存しておく。さらに、本実施形態では説明をしないが、倍率補正を行う場合には、倍率を保存しても良い。

＜ステップＳ３５３７＞
ステップＳ３５３７では、第一の位置合わせ部３３４は、全ての画像を基準画像として残りの対象画像と位置合わせを行ったか否かを判定する。全ての画像を基準として処理をしていない場合には、ステップＳ３５３３に戻る。そして、全ての画像を基準として処理をした場合には、ステップＳ３５３８に進む。

＜ステップＳ３５３８＞
ステップＳ３５３８では、第一の位置合わせ部３３４は、二次元行列の残りの要素を更新する。上記処理は、ステップＳ３５３３で説明したように、半分の組み合わせしか計算をしていない。そのため、計算をしていない要素にこれらの値をコピーする。例えば、二次元行列の要素（０、１）のパラメータは（１、０）の要素にコピーされる。すなわち、要素（ｉ、ｊ）を要素（ｊ、ｉ）にコピーする。この際、位置合わせパラメータＸ、Ｙと回転パラメータαは逆になるため、負の値を掛けてコピーをする。なお、画像類似度などは逆にならないため、同じ値をそのままコピーする。これらの処理によりＯＣＴＡ画像位置合わせが行われる。次に、図３（ｂ）の処理フローに戻って説明を行う。

＜ステップＳ３５４＞
ステップＳ３５４では、選択部３３５が基準画像の選択を行う。ステップＳ３５３で行った位置合わせの結果に基づいて基準画像選択を行う。ステップＳ３５３において、二次元行列を作成しており、行列の各要素に高画質化画像生成に必要な情報が保存されている。そのため、その情報を用いることで基準画像選択を行う。基準画像選択において、画像評価値、位置合わせパラメータ評価値、アーティファクト領域評価値を用いて選択を行う。画像評価値は、ステップＳ３５３５で求めた値を用いる。位置合わせパラメータは、ステップＳ３５３４で求めた位置合わせ結果のＸとＹを用いて、例えば、数６を用いて評価値とする。数６では、移動量が大きいほど大きな値となる。

アーティファクト領域評価値は、ステップＳ３５３１で求めたＭａｓｋ画像を用いて、例えば、数７を用いて評価値とする。数７では、Ｔ（ｘ，ｙ）はＭａｓｋ画像でのアーティファクトではない領域のピクセルを表し、Ａ（ｘ，ｙ）はＭａｓｋ画像の全ピクセルを表す。そのため、アーティファクトが存在しない場合、最大値は１となる。

画像評価値とアーティファクト領域評価値は数値が大きい方が良く、位置合わせパラメータ評価値は数値が小さい方が良い。また、画像評価値と位置合わせパラメータ評価値は、ある画像を基準とした時に、その他の画像との関係で求める値であるため、Ｎ－１個の合計値となる。これらの評価値は評価尺度が異なるため、それぞれの値でソートを行い、ソートしたインデックスの合計値により基準画像を選択する。例えば、画像評価値とアーティファクト領域評価値は数値が大きいほど、ソート後のインデックスが小さくなるようにソートを行い、位置合わせパラメータ評価値は数値が小さいほど、ソート後のインデックスが小さくなるようにソートを行う。これらのソート後のインデックス値が最も小さくなる画像を基準画像として選択する。

なお、基準画像選択の方法について、ソート値を合計することで基準画像を選択する例について述べたがこれに限らない。それぞれの評価値のソート後のインデックスに重みをつけて評価値を計算するようにしても良い。

あるいは、ソート値ではなく、それぞれの評価値が１になるように正規化をして計算するようにしても良い。例えば、画像評価値は１に正規化しているが、本実施形態においてはＮ－１個の合計値であるため、平均値を用いるようにすればよい。

位置合わせパラメータ評価値は、数８のように定義すれば１に正規化でき、この場合、評価値が１に近い方が良い評価値となる。

数８において、ＳＶ_ｎは数６で求めた値のＮ－１個の合計値で、添え字のｎはＤａｔａ番号に対応する。そのため、Ｄａｔａ０の場合は、ＳＶ_０である。ＳＶ_ｍａｘは、Ｄａｔａ０～Ｄａｔａ（Ｎ－１）の間で最大の位置合わせパラメータ評価値である。αは重みであり、ＳＶ_ｎとＳＶ_ｍａｘが同じ数値の時に、ＮＳＶ_ｎの値をいくつに設定するかを調整するパラメータである。なお、最大値ＳＶ_ｍａｘは上述したように実際のデータから決めても良いし、閾値として事前に定義しておいても良い。

アーティファクト領域評価値は０～１に正規化してあるので、そのまま用いればよい。

このように、全ての評価値を１に正規化した場合には、評価値の合計値が最も大きくなるものを基準画像として選択する。

ここで説明したように、基準画像は、Ｎ個の画像の中で平均的な画像であり、他の画像を位置合わせする際に移動量が少なく、アーティファクトが少ないという条件を最も満たす画像が選択される。この例により選択される基準画像の例を図９（ｂ）に示す。この例では、基準画像にＤａｔａ１を選択している。そして、Ｄａｔａ０とＤａｔａ２は、第一の位置合わせ部３３４で求めた位置合わせパラメータに基づき、それぞれ移動している。

＜ステップＳ３５５＞
ステップＳ３５５では、第二の位置合わせ部３３６がＯＣＴＡ画像を用いて網膜の横方向（ｘ軸）の位置合わせを行う。これについて図１０を用いて説明をする。図１０（ａ）は、基準画像がＤａｔａ１で、位置合わせ対象がＤａｔａ２との横方向位置合わせを行う例を示している。また、Ｍａｓｋは、Ｄａｔａ２に含まれるアーティファクト（図では横方向の黒いライン）と、Ｄａｔａ１との位置合わせの結果Ｄａｔａ２が移動することにより生じる無効領域（図では縦方向の黒いライン）に０を設定してある。基準画像と位置合わせ対象画像は、それぞれのラインで横方向に位置合わせを行い、ライン単位での類似度を計算する。類似度の計算には、例えば数２を用いる。そして、類似度が最大となる位置にラインを移動させる。また、ライン単位で基準画像に対しての類似度を計算し、類似度に応じてＭａｓｋに重みを設定する。なお、Ｍａｓｋに対する重み付けは必須の処理ではなく、実施しないこととしてもよい。

第二の位置合わせ部３３６による位置合わせ結果の例を図１０（ｂ）に示す。図１０（ｂ）では、画像上端と画像中心付近では、基準画像と似ていないと判断し、重ね合わせに使用しないラインとしてＭａｓｋ画像に横方向の黒ラインを設定した例を示している。また、画像中心付近と画像下端では、ライン単位の位置合わせの結果として、中心付近では左側にずらし、画像下端では右側にずらした例を示している。画像をずらす事で無効領域が生じるため、Ｍａｓｋには無効領域に０を設定する。この処理により、ＸＹ面内の局所的な位置合わせが行われる。

なお、第一の位置合わせで求めた回転パラメータαに関して、第二の位置合わせを行う前にそれぞれの画像に対して適用しても良いし、第二の位置合わせを行った後に適用するようにしても良い。

＜ステップＳ３５６＞
ステップＳ３５６では、第三の位置合わせ部３３５は、基準の三次元データとその他の三次元データとの深さ方向（Ｚ方向）における位置合わせを行う。この処理に関して、図５のフローチャートを用いて説明をする。

＜ステップＳ３５６１＞
ステップＳ３５６１では、第三の位置合わせ部３３５は、基準となる三次元モーションコントラストデータと基準となる三次元の断層像データをそれぞれ記憶しておく。例えば、本実施形態ではＤａｔａ１の三次元モーションコントラストデータと三次元の断層像データを記憶する。

＜ステップＳ３５６２＞
ステップＳ３５６２では、第三の位置合わせ部３３５は、ステップＳ３５１で検出した境界線情報を取得する。なお、本実施形態において深さ方向位置合わせに用いる境界線はＬ１とする。

＜ステップＳ３５６３＞
ステップＳ３５６３では、第三の位置合わせ部３３５は、それぞれの三次元データ毎に深さ方向の位置と傾きを合わせる。三次元の断層像を撮影する際に眼は動いている。ＸＹ面内の移動に関しては、リアルタイムにトラッキングを行いながら撮影を行うため、撮影時にほとんど位置合わせが出来ている。しかし、深さ方向に関してはリアルタイムトラッキングをしていないため、データ内部でも位置合わせを行う必要がある。すなわち、ここでの説明は一つの三次元データ内の位置合わせに関する。これについて、図１１を用いて説明をする。図１１（ａ）は、位置合わせに用いる境界線の例を示している。本実施形態においては、境界線Ｌ１（ＩＬＭ）を用いる場合について説明をする。なお、本実施形態においては境界線Ｌ１を使用する例について説明を行うが、境界線の種類はこれに限らない。他の境界線でも良いし、複数の境界線を組み合わせても良い。

図１１（ａ）において、基準データをＩｎｄｅｘｃ、対象データをＩｎｄｅｘｃ－１としている。なお、最初の基準データは三次元データの中心、対象データは基準データに対して副走査方向において隣の境界線とする。

図１１（ｂ）に、説明のために基準データの境界線Ｌ１と位置合わせ対象の境界線Ｌ１’とを同時に表示する。図１１（ｂ）において、境界線を縦方向に１２分割している。本実施例では分割数を１２として説明をする。それぞれの領域はＡｒｅａ０～Ａｒｅａ１１とする。なお、図１１（ｂ）において、画像中心部に分割領域を描画していないが、実際には画像全体を領域分割している。そして、上下矢印Ｄｉｆｆｅｒｅｎｃｅ１は、Ｌ１とＬ１’との差を表す。これらの差は、それぞれの領域Ａｒｅａ０～Ａｒｅａ１１それぞれで求める。これらの分割数は横方向の画像サイズに応じて変更しても良い。あるいは、共通して検出した境界線の横幅のサイズに応じて変更しても良い。本実施例では簡単のため、横方向の境界線サイズを同じで表示しているが、実際には、網膜層が画像の上方向にずれ（Ｚ軸で０の方向）、網膜層の一部領域が画像から欠損する場合がある。その場合には、画像全体で境界線が検出出来ない。そのため、境界線同士の位置合わせにおいては、基準データの境界線Ｌ１と位置合わせ対象の境界線Ｌ１’との境界線が検出出来ている範囲を分割して位置合わせをすることが望ましい。

図１１（ｂ）において各領域のＤｉｆｆｅｒｅｎｃｅ１の平均をそれぞれＤ_０～Ｄ_１１とする。すなわち、ＩＬＭの差の平均をその領域の差分の代表値とする。次に各領域で求めた代表値Ｄ_０～Ｄ_１１を小さい順にソートする。そして、ソートした代表値を小さい順から８個用いて、平均と分散を計算する。なお、本実施形態では選択数は８個とする。しかし、数はこれに限定されない。選択する数は分割数よりも小さければよい。平均と分散の計算は、ソートした代表値を一つずつずらして計算する。すなわち、本実施形態では１２個に分割した領域のうち８個の代表値を用いて計算をするため、全部で５種類の平均値と分散値が求まる。次に、求めた５種類の分散値の中で最小となる分散値を算出した際の８個の差分の代表値を用いて深さ方向のシフト値と傾きを求める。これについて、図１１（ｃ）と数９を用いて説明をする。図１１（ｃ）は、横軸に分割領域の中心ｘ座標、縦軸に差分の代表値としたグラフである。図１１（ｃ）において、黒丸は分散値が最小となった組み合わせの差分の代表値の例であり、黒三角は選択されなかった差分の代表値の例を示している。数９は、分散値が最小となった組み合わせの差分の代表値（図１１（ｃ）における黒丸）を用いて計算をする。

数９においてＤが深さ方向のシフト値であり、ｘはｘ座標、すなわちＡスキャン位置である。数９におけるａとｂに関して、数１０と数１１に示す。数１０、数１１において、ｘ_ｉは選択された分割領域の中心ｘ座標、Ｄ_ｉは選択された差分の代表値であり、ｎは選択した代表値の数なので、本実施例においてｎは８となる。数７により、各Ａスキャンの深さ方向のシフト値が求まる。

ここで示すように境界線位置合わせ時に領域を分割し、分割した領域の差分値の組み合わせにおいて最もバラつきが小さくなる値を用いることで、境界線検出に誤りがあったとしても、それらの領域の値は使用しない。そのため、安定して深さ方向のシフト値を計算することが出来る。なお、各領域の深さ方向の代表値として平均値としたが中央値でも良く、代表的な値を用いることが出来ればよい。さらに、バラつきの値として分散値としたが標準偏差でもよく、値のバラつきを評価出来る指標であればよい。

この処理に関して、基準データと対象データを変えながら全てのデータに関して位置合わせを行う。すなわち、最初の基準データは三次元データの中心境界線、対象データは基準データの隣の境界線データとした。この位置合わせが終了したら、その次には、先ほど対象データとしたデータを基準データとして、さらにその隣のデータを対象データとして位置合わせを行う。この処理が画像の端まで完了したら、再度、基準データを中心境界線として、最初の位置合わせとは反対側の隣の境界線データを対象データとして位置合わせをする。反対側においてもこの処理を画像の端まで行う。万が一、層検出出来ていないデータがある場合には、一つ前の位置合わせパラメータを用いて補正を行い、次のデータに進む。

この処理を適用した例を図１２（ａ）に示す。図１２は、境界線Ｌ１のＺ座標を輝度値として表現したＤｅｐｔｈＭａｐである。すなわち、ＤｅｐｔｈＭａｐが明るい場合はＺ座標の値が大きく、ＤｅｐｔｈＭａｐが暗い場合はＺ座標の値が小さいことを表している。図１２（ａ）にはＤａｔａ０～Ｄａｔａ２を示し、上側のＤｅｐｔｈＭａｐは位置合わせ前で、下側のＤｅｐｔｈＭａｐは位置合わせ後である。位置合わせ前のＤｅｐｔｈＭａｐには、全てのＤａｔａにおいて、横方向の色むらがある。これは、撮影時にＺ方向に網膜が動いていることを表している。一方、位置合わせ後のＤｅｐｔｈＭａｐには、横方向の色むらが無く、隣接するデータ間でＺ方向の位置が合っていることを表している。なお、深さ方向位置合わせにおいて、データの片側を位置合わせした後に、反対側の位置合わせをする例について示したが、それに限らない。最初の基準データを同じにして、両側の処理を並列に実行しても良い。

なお、第三の位置合わせ部３３５は、基準データ（本実施形態ではＤａｔａ１）の各Ａスキャンの深度方向への移動量を記憶しておく。

＜ステップＳ３５６４＞
ステップＳ３５６４では、第三の位置合わせ部３３５は、複数の三次元データ間での深さ方向の位置と傾きを合わせる。ここでは、ステップＳ３５６３で三次元データ内での深さ方向の位置合わせをしたデータを用いて、三次元データ間での位置合わせを行う。ここでも、先ほどと同様に境界線Ｌ１を用いて位置合わせをする。計算方法は、ステップＳ３５６３と同様であるが、計算する対象は、データ内ではなくデータ間となる。そのため、基準データと対象データとの位置合わせを行う。これについて、図１２（ｂ）を用いて説明をする。本実施形態において、基準データはＤａｔａ１で、位置合わせの対象データはＤａｔａ０とＤａｔａ２とする。そのため、ＤｅｐｔｈＭａｐに対して、第一の位置合わせ、第二の位置合わせで求めたパラメータを適用して、Ｄａｔａ０とＤａｔａ２のＤｅｐｔｈＭａｐをそれぞれ変形させる。そして、Ｄａｔａ０とＤａｔａ２共に、Ｄａｔａ１に対して、各Ｂスキャンに相当する境界線Ｌ１の深さ方向位置合わせを実行する。これらの計算式は数９と同様の方法で行う。

図１２（ｂ）では、Ｄａｔａ０～Ｄａｔａ２を示し、上側のＤｅｐｔｈＭａｐはデータ内での位置合わせ後で、下側のＤｅｐｔｈＭａｐはデータ間での位置合わせ後である。データ内での位置合わせ後のＤｅｐｔｈＭａｐでは、Ｄａｔａ０～Ｄａｔａ２において網膜のＺ位置が異なるため、ＤｅｐｔｈＭａｐの明るさが異なっている。一方、データ間での位置合わせ後のＤｅｐｔｈＭａｐでは、Ｄａｔａ０～Ｄａｔａ２において網膜のＺ位置が揃っているため、ＤｅｐｔｈＭａｐの明るさも揃っていることを表している。

これらの処理により、Ｚ方向の大局的な位置合わせが行われる。

＜ステップＳ３５６５＞
ステップＳ３５６５では、第三の位置合わせ部３３５は、第一の位置合わせ、第二の位置合わせ、第三の位置合わせで求めたＸ、Ｙ、Ｒｏｔａｔｉｏｎ、Ｚに関する変形パラメータを適用して三次元データを変形する。第三の位置合わせ部３３５は、例えば、三次元データに含まれる断層像データおよびモーションコントラストデータの両方とも変形をする。なお、ステップＳ３５３４においてｘｙ面内において画像を拡大して位置合わせを行っている場合、三次元データ変形時に元のサイズに相当する変形パラメータに戻す。すなわち、２倍に拡大した画像でのｘｙ面内位置合わせパラメータの数値が１であった場合、ここでは、０．５であるとする。そして、元のサイズで三次元データの形状変形を行う。

三次元データを変換する際に、Ｘ、Ｙ、Ｒｏｔａｔｉｏｎ、Ｚに関する変形パラメータがサブピクセルあるいはサブボクセルでの移動量である場合、三次元データを補間処理で変形させる。ここで、サブピクセルあるいはサブボクセルであるとは、移動量が０．５のような実数値の場合や、Ｒｏｔａｔｉｏｎパラメータが０ではなく、データを回転させる場合などの事である。形状データの補間には、ＢｉｃｕｂｉｃやＬａｎｃｚｏｓ（ｎ）法などを用いる。

図１３は、Ｄａｔａ０～Ｄａｔａ２の三次元断層画像を示しており、上側の三次元断層画像は、位置合わせを行う前の三次元断層画像であり、下側の三次元断層画像は、第一の位置合わせ、第二の位置合わせ、第三の位置合わせを行った後に画像変形した三次元断層画像である。ここで示すように、データ内かつデータ間での位置合わせ後の三次元断層画像は、Ｄａｔａ０～Ｄａｔａ２において網膜のＸＹＺに関する位置合わせが成されたことを表している。

＜ステップＳ３５６６＞
ステップＳ３５６６では、第三の位置合わせ部３３５は、データ間でのＺ位置合わせを行ったＤｅｐｔｈＭａｐにおいて、基準データと対象データとの差分検出を行う。そして、差分の絶対値が閾値以上の場所（ｘ、ｙ）においては、位置合わせの精度が低いと判断し重ね合わせに使用しない。そのため、対象データのＭａｓｋ画像に無効領域として０を設定する。

＜ステップＳ３５７＞
ステップＳ３５７では、第四の位置合わせ部３３８は、基準データと対象データ間において、断層画像内部の特徴がある部分に位置合わせのための領域を複数設定し、その領域単位で網膜の横方向（ｘ軸）と深さ方向（ｚ軸）の位置合わせを行う。なお、ここでの位置合わせはＺ方向の局所位置合わせとして説明をする。第四の位置合わせ部３３８が行う局所位置合わせについて、図６のフローチャートを用いて説明をする。

＜ステップＳ３５７１＞
ステップＳ３５７１では、第四の位置合わせ部３３８は、ステップＳ３５１で検出した境界線情報を取得する。なお、本実施形態において深さ方向位置合わせに用いる境界線はＬ１とＬ３とする。

＜ステップＳ３５７２＞
ステップＳ３５７２では、第四の位置合わせ部３３８は、対象画像の特徴領域を含むように位置合わせ用の領域を設定する。これについて、図１４を用いて説明をする。

図１４には基準データの三次元断層画像の中の断層画像と、位置合わせ対象となる三次元断層画像の中の断層画像を示している。位置合わせ対象となる対象画像１には、基準断層画像の境界線情報Ｌ１とＬ３を基にして設定する複数の位置合わせ用の領域（ＲＯＩ：ＲｅｇｉｏｎｏｆＩｎｔｅｒｅｓｔｉｎｇ）の例を示す。ＲＯＩの深さ方向サイズは、Ｌ１とＬ３を基準として、それよりもそれぞれ数１０ピクセル程度、上方向と下方向に広く設定する。なお、上下方向に数１０ピクセル程度パラメータを設定する場合において、大局位置合わせの結果を用いてパラメータを補正することがある。これは、図１４の対象画像１に示すように大局位置合わせにおいて、画像全体を下方向にシフトさせている場合、画像の上端部に無効領域が存在する。この場合、ＲＯＩを設定する範囲とその探索領域が無効領域を含まないように初期のＲＯＩサイズを補正する必要がある。ＲＯＩの横方向サイズは、画像を分割したサイズから設定する。分割数は、画像のサイズ（Ａスキャン本数）や画像の撮影サイズ（３ｍｍ）など、撮影パラメータに合わせて設定をする。例えば、本実施形態において、Ａスキャン本数を３００、撮影サイズを３ｍｍとした場合、分割数は１０とする。なお、横方向のサイズとＲＯＩの設定値においても大局位置合わせの結果を用いて補正を行う。上下方向のパラメータ同様に横方向においても無効領域が存在することがあるため、ＲＯＩを設定する範囲とその探索領域が無効領域を含まないように設定する必要がある。

そして、局所位置合わせ用のＲＯＩは、それぞれ重畳するように設定する。これは、ＲＯＩを重複させずに、ＲＯＩのサイズを小さくする場合、ＲＯＩの中に特徴的な部位を含まない場所が存在することがあるためである。例えば、網膜を狭画角で撮影した場合、画像内に平坦な組織が広い範囲において写る場合がある。また一方、ＲＯＩを重複させずに、特徴を含むようにＲＯＩの範囲を広く設定すると、局所位置合わせのためのサンプリング数が少なくなり、粗い位置合わせとなってしまうためである。そのため、これらの問題を解決するために、ＲＯＩのＸ方向のサイズを広くして、かつそれぞれのＲＯＩ同士を重畳させて設定する。なお、図１４において、画像中心部にＲＯＩを描画していないが、実際には画像の左端から右端まで網膜上にＲＯＩを設定する。さらに、ＲＯＩを設定する間隔は、ＲＯＩ位置合わせ時の探索範囲を考慮するのが望ましい。具体的には、ＲＯＩ位置合わせ時の横方向探索範囲をＸＲとする場合、隣接するＲＯＩの中心座標の間隔が２ＸＲ以上となるように設定をする。これは、中心座標の間隔を２ＸＲ未満とする場合、隣接するＲＯＩ同士の中心位置が入れ替わる可能性があるためである。

＜ステップＳ３５７３＞
ステップＳ３５７３では、第四の位置合わせ部３３８は、ＲＯＩを使って領域位置合わせを行う。領域位置合わせは断層画像で行う。そのため、ステップＳ３５３４で示したＯＣＴＡ画像位置合わせと同様に数１を用いて画像類似度に応じた位置合わせを行う。ただし、類似度の評価値はこれに限らず、ＳＳＤ（ＳｕｍｏｆＳｑｕａｒｅｄＤｉｆｆｅｒｅｎｃｅ）や、ＳＡＤ（ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ）などでも良い。あるいは、ＰＯＣ（ＰｈａｓｅＯｎｌｙＣｏｒｒｅｌａｔｉｏｎ）のような方法で、位置合わせを行っても良い。

画像位置合わせは、対象画像に設定したＲＯＩが基準となる断層画像ではどこにあるかを探索する。この際、第一～第三の位置合わせにより、三次元の断層像データの変形を行っているので、基準画像と対象画像とのおおよその位置は合っている。そのため、基準画像での位置合わせの探索範囲は、ＲＯＩの初期位置から上下左右数～数１０ピクセルを探索すればよく、最も類似する場所を位置合わせ結果とする。なお、探索領域は固定でも良いし、撮影画角、撮影部位、画像の場所（端や中心）に応じて変更しても良い。撮影画角が狭くスキャンスピードが速い場合には、１枚の画像を撮影している間の眼の移動量は小さいが、撮影画角が広くなると眼の移動量も大きくなる。そのため、撮影画角が大きい場合には探索範囲を広くしても良い。また、眼が回転する中心部分と周辺部とでは、移動量は周辺部の方が大きくなるため、周辺部の方を探索範囲を広くしてもよい。

＜ステップＳ３５７４＞
ステップＳ３５７４では、第四の位置合わせ部３３８は、ステップＳ３５７３で求めた位置合わせパラメータを補間することで各Ａスキャンの移動量を算出する。これについて、図１５を用いて説明をする。図１５（ａ）は、初期設定した領域のＲＯＩ１～ＲＯＩ３を表している。Ｃ１～Ｃ３の下三角はＲＯＩ１～ＲＯＩ３の中心位置を表している。また、図１５（ｂ）は、ステップＳ３５７３での位置合わせ後のＲＯＩの移動例を示している。図１５（ｂ）においては、ＲＯＩ１とＲＯＩ３がそれぞれ右側に移動し、ＲＯＩ２が移動しない場合の例である。そのため、ＲＯＩの中心Ｃ１とＣ３がそれぞれＣ１’とＣ３’に移動している。各ＲＯＩの移動量からＡスキャンの移動量を算出するためには、隣接するＲＯＩとＲＯＩの中心位置の移動量に基づいて算出をする。例えば、ＲＯＩ１の中心位置はＣ１からＣ１’に移動しており、ＲＯＩ２の中心位置はＣ２のままである。ここで、変形前のＣ１からＣ２の間にある各ＡスキャンのＸ方向移動量を求める式を数１２～１４に示す。

数１２～１４において、Ｘ１、Ｘ２は各ＲＯＩの初期中心座標、ΔＸ１、ΔＸ２は各ＲＯＩの中心座標のＸ方向移動量、Ａ＿ｂｅｆｏｒｅは変形前のＡスキャンインデックスの値、Ａ＿ａｆｔｅｒはＡ＿ｂｅｆｏｒｅが参照する、変形前のＡスキャンインデックスの値となる。例えば、Ａ＿ｂｅｆｏｒｅが５５、計算の結果でＡ＿ａｆｔｅｒが５６とする場合、Ａスキャンインデックス５５には、Ａスキャンインデックス５６のＡスキャンデータが入る。なお、Ｚ方向の移動量も数１２～１４と同様の考え方に基づき、各ＲＯＩの中心位置の移動量から求めることが出来、上下方向に数ピクセルデータを移動する。なお、Ａ＿ａｆｔｅｒの値は実数でも整数でも良い。実数の場合は、複数のＡスキャンデータから補間方法（ＢｉｌｉｎｅａｒやＢｉｃｕｂｉｃ等）により新しいＡスキャンデータを作成する。整数の場合は、対応するＡスキャンインデックスのデータをそのまま参照する。なお、ここでは、Ｘ方向とＺ方向の両方を局所的に位置合わせする例を示したがこれに限らない。例えば、Ｘ方向だけ、Ｚ方向だけのどちらか一方のみを局所的に変形させるようにしても良い。なお、Ｘ方向はトラッキングで撮影時に位置合わせを行っているため、処理負荷を軽減するために、Ｚ方向のみ局所的な位置合わせをするようにしても良い。

＜ステップＳ３５７５＞
ステップＳ３５７５では、第四の位置合わせ部３３８は、ステップＳ３５７４で求めたＡスキャン移動量を基に、Ａスキャン毎にＸ方向とＺ方向に移動させる。それにより、Ａスキャン単位で変形した断層画像を生成することが出来る。なお、第四の位置合わせ部３３８は、断層像データおよびモーションコントラストデータの両方を変形をする。

＜ステップＳ３５７６＞
ステップＳ３５７６では、第四の位置合わせ部３３８は基準となる三次元データの全ての断層画像に対して、位置合わせの対象となるデータの全てを局所位置合わせ行ったか否かを判定する。全てのデータを処理していない場合には、ステップＳ３５６１に戻る。そして、全てのデータを局所位置合わせした場合には、局所位置合わせの処理が終了する。

これらの処理により局所位置合わせが行われる。次に、図３（ｂ）の処理フローに戻って説明を行う。

＜ステップＳ３５８＞
ステップＳ３５８では、画像合成部３３９は、選択部３３５が選択した基準となる三次元モーションコントラストデータと、複数の三次元モーションコントラストデータ同士を加算平均（合成）する。加算平均処理では、ボクセル毎に、複数のモーションコントラストデータとＭａｓｋ画像の値を掛け算した値の合計値ＳＵＭ＿Ａと、複数のＭａｓｋ画像の値の合計値ＳＵＭ＿Ｂをそれぞれ保持しておく。Ｍａｓｋ画像にはアーティファクトとして除去した無効領域や、位置合わせによりデータが存在しない無効領域が０として保存されているため、Ｍａｓｋ画像の合計値ＳＵＭ＿Ｂにはボクセル毎に異なる値が保持されている。通常、位置合わせにおいてＸＹＺ毎、数１０ボクセルの移動が想定されるため、重ね合わせに用いたデータ数がＮ個である場合、画像中心付近のＳＵＭ＿Ｂのボクセル値はＮであり、画像端部のＳＵＭ＿Ｂのボクセル値はＮよりも少ない値になる。そして、加算平均処理では、ＳＵＭ＿ＡをＳＵＭ＿Ｂで割ることにより加算平均を計算したモーションコントラストデータを求めることが出来る。

これらの加算平均処理を行う前後のモーションコントラストデータを図１６～図１８に示す。図１６はＸＺ面、図１７はＸＹ面、図１８は三次元モーションコントラストデータをボリュームレンダリングして表示する例である。

図１６（ａ）の左側は加算平均前の三次元モーションコントラストデータの１断面を示し、図１６（ａ）の右側が加算平均後の三次元モーションコントラストデータの１断面を示す。図１７（ａ）の左側は加算平均前の三次元モーションコントラストデータから生成する網膜表層のＯＣＴＡ画像、図１７（ａ）の右側が加算平均後の三次元モーションコントラストデータから生成する網膜表層のＯＣＴＡ画像を示す。図１８（ａ）は加算平均前の三次元モーションコントラストデータのボリュームレンダリングデータ、図１８（ｂ）は加算平均後の三次元モーションコントラストデータのボリュームレンダリングデータの例である。図１６～図１８に示すように加算平均処理により、コントラストが向上した三次元モーションコントラストデータを得ることが出来る。図１８のようにモーションコントラストデータのボリュームレンダリングを行うと、二次元のＯＣＴＡ画像では認識しにくい血管の深さ方向における上下関係なども把握しやすくなる。

三次元モーションコントラストデータと同様に、複数の三次元断層画像データに関しても加算平均処理を行う。なお、モーションコントラストデータと同様に加算平均処理を行う前後の三次元断層画像の１断面を図１６（ｂ）に示す。図１６（ｂ）の左側が加算平均前の三次元断層画像を示し、図１６（ｂ）の右側が加算平均後の三次元断層画像の１断面を示す。図１６（ｂ）に示すように、加算平均前の画像ではノイズが多く血管とノイズの差や、層の境界が不明瞭である。しかし、加算平均後の画像ではノイズが少なく血管や網膜層の構造を認識することが出来る。図１７（ｂ）には、三次元断層画像から生成する正面画像を示す。図１７（ｂ）の左側は加算平均前の三次元断層画像から生成する正面画像、図１７（ｂ）の右側が加算平均後の三次元断層画像から生成する正面画像を示す。なお、加算平均された三次元断層画像は、１つの三次元モーションコントラストデータを取得する際に得られる複数の三次元断層画像を加算平均することで取得してもよいし、複数の三次元モーションコントラストデータを取得する際に得られる複数の三次元断層画像を加算平均することで取得してもよい。また、必ずしも三次元断層画像を加算平均する必要はなく、後述するモーションコントラストデータ（モーションコントラスト画像）を重畳する二次元断層画像に関して加算平均画像が取得されればよい。なお、加算平均される三次元断層画像の数は、モーションコントラストデータを算出するために用いられる三次元断層画像の数と異なっていても良いし、同じであってもよい。

＜ステップＳ３５９＞
ステップＳ３５９では、第三の位置合わせ部３３７は、ステップＳ３５６１で記憶している入力の三次元モーションコントラストデータと三次元の断層像データと、ステップＳ３５６３で記憶している各Ａスキャンの深度方向移動量に基づいて、基準データ（本実施形態ではＤａｔａ１）の網膜位置を入力時の深度位置の状態に戻す。具体的には、ステップＳ３５８で加算平均後の三次元モーションコントラストデータと三次元の断層像データを、ステップＳ３５６３で記憶している各Ａスキャンの深度方向移動量を用いて元の状態に戻す。例えば、あるＡスキャンにおいて下方向に５移動させている場合、ここでは上方向に５移動させる。さらに、上方向に５移動させることで、データ下部に無効領域が発生してしまう。そのため、その無効領域には、ステップＳ３５６１で記憶している入力の三次元モーションコントラストデータと三次元の断層像データにおいて、同じ座標位置のデータをそれぞれコピーする。

なお、加算平均後データの無効領域に対して入力のデータをコピーする例を示したが、これに限らない。第三の位置合わせ部３３７で記憶した入力の三次元データに対して、加算平均後の三次元データから元々の座標位置に対応する範囲のデータを切り出してコピーするようにしても良い。それにより、上述ではデータ移動後に無効領域へのコピーという２ステップでの処理であったが、ここでは、コピーのみの１ステップとなるため、処理負荷を減らすことが出来る。なお、この場合、第三の位置合わせ部３３７で記憶している入力の三次元データに対してコピーをしているため、最終的な出力データは第三の位置合わせ部３３７で記憶しているデータとなる。

これらの処理を行った後、図３（ａ）のフローチャートに処理が戻る。

＜ステップＳ３０６＞
ステップＳ３０６では、加算平均して作成した高画質な三次元モーションコントラストデータと高画質な三次元断層画像を対応可能な状態で表示する。

ここで、表示制御部３０５による制御に基づいて表示部６００に表示される画面の例を図１９に示す。１９００は画面全体、１９０１は患者タブ、１９０２は撮影タブ、１９０３はレポートタブ、１９０４は設定タブを表し、１９０３のレポートタブにおける斜線は、レポート画面のアクティブ状態を表している。本実施形態においては、レポート画面を表示する例について説明をする。１９０５は患者情報表示部、１９０６は検査ソートタブ、１９０７は検査リスト、１９０８の黒枠は検査リストの選択を表し、選択されている検査データを画面に表示する。図１９の検査リスト１９０７には、ＳＬＯと断層画像のサムネイルを表示している。しかし、ＯＣＴＡ撮影の場合には、図示はしないがＯＣＴＡのサムネイルを表示しても良い。サムネイル表示の例としては、ＳＬＯとＯＣＴＡのサムネイル、ＯＣＴＡのサムネイルだけ、断層画像とＯＣＴＡのサムネイルとしても良い。本実施形態においては、撮影で取得した検査データと高画質化処理により生成した検査データとを検査リスト１９０７に一覧で表示している。高画質化処理により生成した検査データにおいては、サムネイルに表示する画像も高画質化処理済みのデータから生成したものを表示するようにしても良い。

１９３０、１９３１はビューモードのタブを表す。１９３０のタブでは、三次元のモーションコントラストデータから生成した二次元のＯＣＴＡ画像を表示し、１９３１のタブでは、図１８に示したような三次元モーションコントラストデータを表示する。

１９２９はモーションコントラストの高画質生成を実行するボタンを表す。なお、本実施形態においては、１９２９の高画質生成を実行するボタンを押下することで、ステップＳ３０５に示した高画質データ生成処理を実行する。例えば高画質化に用いるデータ候補を表示するためにはこのボタンを押下すると表示制御部３０５は現在表示しているＯＣＴＡ画像（選択データ）と同じ撮影条件で繰り返し撮影した検査データをデータ候補として表示部６００に一覧表示させる。データ候補のうちユーザにより選択された検査データに基づいて画像処理部３０３はステップＳ３０５に示した高画質データ生成処理を実行する。なお、選択データと同じ撮影条件で繰り返し撮影したデータを自動的に選択する場合には、データ候補を表示せずに高画質データ生成を実行するようにしてもよい。生成した高画質データは検査リスト１９０７に表示することでレポート表示として選択することが可能となる。なお、本実施形態においては、既に高画質化処理は完了しており、図１９では、その高画質化処理済みのデータを選択して表示している。そのため、以降の説明では、高画質化処理（加算平均）済みのデータに関して説明を行う。

１９０９はＳＬＯ画像、１９１０は第一のＯＣＴＡ画像（ＯＣＴＡのＥｎＦａｃｅ画像）、１９１１は第一の断層画像、１９１２は三次元の断層画像から生成した正面画像（輝度のＥｎＦａｃｅ画像）、１９１３は第二のＯＣＴＡ画像（ＯＣＴＡのＥｎＦａｃｅ画像）、１９１４は第二の断層画像を表す。なお、本実施形態において１９１０～１９１４に示す画像は、図１６と図１７に示したように加算平均処理済みの画像を表示しているものとする。例えば、第一の断層画像１９１１および第二の断層画像１９１４は、上述のステップＳ３５８で加算平均された三次元断層画像データから、任意の位置（例えば矢印１９４５、１９４６で指定された位置）の断層画像（二次元断層画像）を切り出したものであり、この断層画像の切り出しの処理は例えば表示制御部３０５により行われる。すなわち、表示制御部３０５は、被検眼の複数の断層画像が合成された画像である合成画像を取得する第１取得手段の一例に相当する。ここで、合成画像とは例えば加算平均された断層画像（加算平均画像）である。

第一のＯＣＴＡ画像１９１０および第二のＯＣＴＡ画像１９１３は、上述のステップＳ３５８で加算平均された三次元モーションコントラストデータにおける所定の深さ方向の領域のモーションコントラストデータから生成されたＯＣＴＡ画像である。このＯＣＴＡ画像の生成は例えば画像生成部３３２により実行される。なお、第一のＯＣＴＡ画像１９１０および第二のＯＣＴＡ画像１９１３は、加算平均されたモーションコントラストデータから生成することに限定されるものではなく、加算平均前の複数のモーションコントラストデータから生成された複数のＯＣＴＡ画像を加算平均することで生成されてもよい。

１９１５は１９０９のＳＬＯ画像に重畳されている画像、１９１６は１９１５の画像の種類を切り替えるタブを表す。１９１７は第一のＯＣＴＡ画像として表示するＯＣＴＡ画像の種類を表す。ＯＣＴＡの種類としては、表層、深層、脈絡膜等や任意の範囲で作成したＯＣＴＡ画像がある。なお、１９１８、１９２５は第一のＯＣＴＡ画像１９１０の深さ方向の作成範囲の上端を示し、１９１９，１９２６は第一のＯＣＴＡ画像１９１０の深さ方向の作成範囲の下端を示している。１９１８は上端の境界線の種類とそのオフセット値を示し、１９２５は第一の断層画像１９１１に重畳表示された上端の境界線を示している。１９１９は下端の境界線の種類とそのオフセット値を示し、１９２６は第一断層画像１９１１に重畳表示された下端の境界線を示している。第二のＯＣＴＡ画像１９１３も第一のＯＣＴＡ画像１９１０と同様で、第二のＯＣＴＡ画像１９１３の深さ方向における上端（１９２３、１９２７）と下端（１９２４、１９２８）が表示される。なお、１９２３は上端の境界線の種類とそのオフセット値を示し、１９２７は第二断層画像１９１４に重畳表示された上端の境界線を示している。１９２４は下端の境界線の種類とそのオフセット値を示し、１９２８は第二断層画像１９１４に重畳表示された下端の境界線を示している。

図１９は、加算平均処理を行ったモーションコントラストデータにおいて、閾値以上のモーションコントラストデータ１９４０を加算平均処理した断層画像（第一の断層画像１９１１、第二の断層画像１９１４）に重畳表示をしている例を示している。表示制御部３０５は、モーションコントラストデータを加算平均された断層画像に重畳した状態でモーションコントラストデータと加算平均された断層画像とを表示部６００に表示させている。なお、第一のＯＣＴＡ画像１９１０における血管に相当するデータと、血管に相当するモーションコントラストデータ１９４０の一部（境界線１９２５と１９２６との間のモーションコントラストデータ）が対応している。

ここでモーションコントラストデータ１９４０は加算平均処理されたモーションコントラストデータである。なお、モーションコントラストデータの加算平均処理と、断層画像の加算平均処理とは上述したステップＳ３５８において実行されている。モーションコントラストデータ１９４０は、加算平均された三次元モーションコントラストデータから、任意の位置（例えば矢印１９４５、１９４６で指定された位置）のモーションコントラストデータを切り出したものであり、このモーションコントラストデータの切り出しの処理は例えば表示制御部３０５により行われる。すなわち、表示制御部３０５は、被検眼のモーションコントラストデータを取得する第２取得手段の一例に相当する。また、第一の断層画像１９１１にモーションコントラストデータ１９４０が重畳されていることから明らかなように、表示制御部３０５は、合成画像に合成画像と対応する位置のモーションコントラストデータを重畳した状態で合成画像とモーションコントラストデータとを表示部に表示させる表示制御手段の一例に相当する。

なお、本明細書における表示制御部３０５による加算平均処理された断層画像へのモーションコントラストデータの重畳とは、加算平均処理された断層画像とモーションコントラストデータとを別々のレイヤーとして重畳表示する場合および加算平均処理された断層画像にモーションコントラストデータを合成して１つのレイヤーとして重畳表示する場合を含む。

図１９の第一のＯＣＴＡ画像は、境界線１９２５と１９２６の間（所定深さ範囲）のモーションコントラストデータ１９４０の値に基づいて作成されている。なお、表示制御部３０５は、表示部６００にモーションコントラストデータを断層画像に重畳表示させる際、モーションコントラストデータ１９４０を、モーションコントラストデータの値に応じた色で表示させることとしてもよい。表示制御部３０５は、例えば、モーションコントラストの値の大きさに応じて連続的に色を変化させてもよい。一例として、モーションコントラスト値が高いほど赤色に近づき、モーションコントラスト値が低いほど黄色に近づくようにしてもよい。し、段階的に変化させることとしてもよい。色はここで示したものに限らず、断層画像で表示している網膜と差が付く色で表現する方がよい。例えば、断層画像は、輝度値の明るさで表示をするが、輝度値の大きさに応じた疑似カラーで網膜を表現することも可能である。その場合、表示制御部３０５は、第一断層画像１９１１に重畳表示をするモーションコントラスト１９４０の色を、網膜の疑似カラーと異なる色で表示部６００に表示させる。なお、矢印１９４５は、第一の断層画像１９１１のＸＹ面内における位置を示し、矢印１９４６は、第二の断層画像１９１４のＸＹ面内における位置を示している。なお、矢印１９４５の位置と矢印１９４６の位置とはユーザからの指示に応じて独立して変更可能である。また、矢印１９４５の位置と矢印１９４６の位置とが連動して移動することとしてもよい。

正面画像１９１２は、例えばステップＳ３５８得られた加算平均後の三次元断層画像データにおけるＯＣＴＡ画像１９１０と同一の深さ範囲から生成されたＥｎＦａｃｅ画像である。なお、加算平均前の三次元断層画像データから正面画像１９１２が生成されてもよい。また、１９２０は同一深さ範囲とするＯＣＴＡ画像を選択可能なタブであり図１９に示す例においてはＯＣＴＡ画像１９１０が選択されている。タブ１９２０に対するユーザの指示に基づいて、表示制御部３０５は正面画像１９１２の深さ範囲をＯＣＴＡ画像１９１３と同一にするように変更可能である。

次に、図２０に第一のＯＣＴＡ画像１９１０と第一の断層画像１９１１の加算平均処理を行う前後の画像の例を示す。図２０（ａ）は、加算平均前のモーションコントラストデータから生成したＯＣＴＡ画像１９１０’と、加算平均前の断層画像に、加算平均前のモーションコントラストデータを重畳表示した断層画像１９１１’を示す。図２０（ｂ）は、加算平均後のモーションコントラストデータから生成したＯＣＴＡ画像１９１０と、加算平均後の断層画像に、加算平均後のモーションコントラストデータを重畳表示した断層画像１９１１を示す。それぞれの図において断層画像に重畳されるモーションコントラストデータはグレーで示している。図２０（ｂ）に示すように、加算平均後のモーションコントラストデータを加算平均後の断層画像に重畳表示することで、モーションコントラストデータから算出した血管に相当する領域と網膜断層の構造部との関係が明確になり観察しやすくなる。

＜ステップＳ３０７＞
ステップＳ３０７において、不図示の指示取得部は、画像処理システム１００による断層画像の撮影を終了するか否かの指示を外部から取得する。この指示は、入力部７００を用いて、操作者によって入力される。処理を終了する指示を取得した場合には、画像処理システム１００はその処理を終了する。一方、処理を終了せずに、撮影を続ける場合には、ステップＳ３０２に処理を戻して撮影を続行する。以上によって、画像処理システム１００の処理が行われる。

以上で述べた構成によれば、複数の三次元断層画像を位置合わせ・加算平均処理を行うことで得られた断層構造が明瞭な断層画像にモーションコントラストデータを重畳しているため、断層構造とモーションコントラストデータとの関係が明確になる。また、本実施形態では、複数の三次元断層画像と複数の三次元モーションコントラストデータを取得し、それぞれのデータにおいて位置合わせと加算平均処理を行う。それにより断層画像のＳ／Ｎ比が向上し、網膜断層の構造が把握しやすくなるとともに、モーションコントラストデータもノイズが低減された高画質なデータを生成することができる。それにより、本来の血管に相当する部分を断層画像上に表示することが出来る。また、三次元断層画像に基づいて三次元モーションコントラストデータは生成されるため、三次元断層画像と三次元モーションコントラストデータとの位置関係の対応はついている。そのため、ＯＣＴＡ画像で観測される注目部位に関して断層画像において血管や網膜の構造を容易に確認することが出来る。

〔実施例２〕
実施例１においては、加算平均後の断層画像に、加算平均後のモーションコントラストデータにおいて、閾値以上の値のデータを全て重畳表示する例について示した。本実施形態においては、ＯＣＴＡ画像を表示するために選択している層の内外において、重畳表示するモーションコントラストデータの表示形態を変更することを特徴とする。

上記第一の実施形態と同様の機能を有するものに関しては、ここでは説明を省略する。本実施形態の処理について図２１と図２２を用いて説明を行う。

図２１は、本実施形態における表示部６００に表示する画面の例である。図２１において、モーションコントラストデータ２１４０は、加算平均処理を行ったモーションコントラストデータで閾値以上のモーションコントラストデータであり且つ第一のＯＣＴＡ画像１９１０の深さ範囲のモーションコントラストデータである。図２１は、このモーションコントラストデータ２１４０が、加算平均処理した断層画像に重畳表示されている例を示している。すなわち、第一のＯＣＴＡ画像１９１０で示す血管に相当するデータと、領域２１４０に示す血管に相当するデータとが対応している。表示制御部３０５は、断層画像にモーションコントラストデータを重畳表示する際には、閾値以上の値を表示部６００に表示させるが、本実施形態においては、値だけではなく、モーションコントラストデータの深さ方向の情報を用いて断層画像に重畳するモーションコントラストデータを決定している。例えば、図２１において、表示制御部３０５は、断層画像１９１１には閾値以上のモーションコントラストデータのうち境界線１９２５と１９２６との間のモーションコントラストデータ２１４０だけを重畳表示させる。表示制御部３０５による断層画像に重畳して表示するモーションコントラストデータの判定には、モーションコントラストデータの値と、境界線１９２５および１９２６の座標値とが用いられる。ユーザの指示に応じて境界線を切り替えたり、境界線のオフセット値を変更したりすることで、表示制御部３０５は第一のＯＣＴＡ画像１９１０として表示する深さ方向の領域を変更する。この変更と同時に、表示制御部３０５はモーションコントラストデータ２１４０として表示するピクセルの判断を行う。断層画像１９１４では、境界線１９２７と１９２８との座標値に基づいてモーションコントラストデータ２１４０を重畳表示する例を示している。具体的には、表示制御部３０５は、例えば境界線１９２７と境界線１９２８との間にある座標値を有するモーションコントラストデータを断層画像に重畳して表示部６００に表示させると判断する。

なお、深さ方向の情報を用いて表示内容を変更する例はこれに限らない。他の例について図２２を用いて説明をする。

図２２（ａ）は、断層画像１９１１、境界線１９２５と１９２６、モーションコントラストデータ２２４０を示している。図２２（ａ）では、図２１の表示例とは逆に、選択している２つの境界線で挟まれている領域の外部（所定深さ範囲外）にあるモーションコントラストデータ２２４０を表示するようにしても良い。

図２２（ｂ）では、断層画像１９１１、境界線１９２５と１９２６、モーションコントラストデータ２２４０、モーションコントラストデータ２２４１を示している。図２２（ｂ）で示すように選択している境界線１９２５と境界線１９２６とで挟まれる領域内のモーションコントラストデータ２２４１の色を境界線１９２５と境界線１９２６とで挟まれる領域外のモーションコントラストデータ２２４０とは異なる色にするようにしても良い。モーションコントラストデータ２２４０とモーションコントラストデータ２２４１はモーションコントラストの値に基づいてカラー表示をしているが、領域２２４０と領域２２４１では、それぞれ異なる色となるようにそれぞれ異なるルックアップテーブルに基づいてカラー表示を行うようにしても良い。さらに、図示しないが、カラー表示は同じとして、表示制御部３０５は、境界線１９２５と境界線１９２６とに挟まれる領域の内と外でモーションコントラストデータ２２４０とモーションコントラストデータ２２４１とに設定する透明度αを異なる値にしても良い。例えば、表示制御部３０５は、モーションコントラストデータ２２４０の透明度αを０．０、モーションコントラストデータ２２４１の透明度αは０．５としてもよい。さらに、これらを組み合わせて、カラー表示を変えると同時に透明度も変えるようにしても良い。なお、境界線内外のカラーと透明度の設定を逆にすることも可能である。

以上で述べた構成によれば、本実施形態では、モーションコントラストデータを断層画像に重畳表示する際に、深さ方向の位置情報を用いて表示内容を変更する。それにより、ＯＣＴＡ画像として表示している血管情報を強調するように断層画像に重畳表示することが出来る。したがって、ＯＣＴＡ画像で観測される注目部位に関して、断層画像において血管や網膜の構造を容易に確認することが出来る。

〔実施例３〕
実施例２においては、加算平均後の断層画像に、加算平均後のモーションコントラストデータを重畳表示する際に、深さ方向の位置情報を用いて重畳表示領域の色や透明度を変更する例を示した。本実施形態においては、加算平均後のモーションコントラストデータを重畳表示する際に、領域の輪郭に相当する情報を重畳表示する例について説明をする。上記第一、第二の実施形態と同様の機能を有するものに関しては、ここでは説明を省略する。本実施形態の処理について図２３と図２４を用いて説明を行う。

図２３は、本実施形態における表示部６００に表示する画面の例である。図２３において、領域２３４０は、加算平均処理を行ったモーションコントラストデータで閾値以上のデータを、加算平均処理した断層画像に重畳表示している例を示している。なお、断層画像に重畳表示する際のモーションコントラストデータの表示形態は、モーションコントラストデータにおいて求めた領域の輪郭を表示する。この例について図２４に例を示す。

図２４（ａ）は実施例１で示したモーションコントラストデータ１９４０の表示形態である。そして、注目領域２４１１は、モーションコントラストデータ１９４０を拡大表示している例を示している。実施形態１では、モーションコントラストデータ１９４０はルックアップテーブルに基づいたカラーで断層画像に重畳表示している。本実施形態においては、図２４（ｂ）に示すモーションコントラストデータ２３４０のように、表示制御部３０５は、モーションコントラストデータ１９４０の輪郭だけを表示して輪郭内部は塗りつぶさない。あるいは、領域内部の透明度を領域の輪郭部分の透明度よりも高く設定して、断層画像における構造を直接確認出来るようにする。したがって、位置に関する情報としてモーションコントラストデータ２３４０を重畳表示するとともに、モーションコントラストデータ２３４０の内部は断層画像が視認可能となるため、構造自体も確認することが出来る。なお、モーションコントラストデータ２３４０は、検出したモーションコントラストデータに基づいて表示しているため、ピクセル毎に凹凸のある形状をしている。そのため、他の表示例として、図２４（ｃ）に示すモーションコントラストデータ２４４０のように、モーションコントラストデータ２３４０を囲む楕円や円、直方体の図形で近似して表示するようにしても良い。すなわち、表示制御部３０５は、閾値以上のモーションコントラストデータを囲む線を断層画像に重畳して表示部６００に表示させてもよい。なお、表示される線で囲まれる領域の内部は線が重畳された断層画像が視認可能なように透明または当該線の透明度より透明度が高くなっている。

なお、表示制御部３０５は、例えばモーションコントラストデータが閾値以上の画素が連続する部分（または閾値以上の画素が所定の距離未満に存在する部分）を１つの塊として捉え、その塊の輪郭をモーションコントラストデータ２３４０として表示してもよいし、当該塊を囲む線をモーションコントラストデータ２４４０として表示してもよい。

本実施形態においても、実施形態２で示したように、深さ方向の情報を用いて、ＯＣＴＡ画像として出力している領域のみを輪郭として重畳表示するようにしても良いし、逆に、ＯＣＴＡ画像として出力している領域以外を輪郭として重畳表示するようにしても良い。実施形態１や２で示した表示形態と本実施形態で示した実施形態とは切り替えて表示出来るようにしても良いし、組み合わせて表示できるようにしても良い。切り替え表示の場合には、不図示の設定画面において表示形態を選択出来るようにしても良いし、レポート画面上で、表示形態を選択出来るメニューを表示して切り替えが出来るようにしても良い。組み合わせて表示する例としては、ＯＣＴＡ画像として出力している領域のみを輪郭として重畳表示し、ＯＣＴＡ画像として出力している領域以外を実施形態１のように塗りつぶして重畳表示するようにしても良い。

以上で述べた構成によれば、本実施形態では、モーションコントラストデータを断層画像に重畳表示する際に、モーションコントラストデータの輪郭や近似した形状の図形で重畳表示を行う。それにより、ＯＣＴＡ画像として表示している血管情報の位置が把握できるとともに、断層画像における構造も同時に確認することが出来る。したがって、ＯＣＴＡ画像で観測される注目部位に関して、断層画像において血管や網膜の構造を容易に確認することが出来る。

なお、上記の実施例１－３を適宜組み合わせて実施することも可能である。例えば、実施例２，３を組み合わせて、表示制御部３０５は、モーションコントラストデータのうち２つの境界線で挟まれた領域内のモーションコントラストデータの輪郭のみを断層画像に重畳して表示部６００に表示させることとしてもよい。また、実施例２，３を組み合わせて表示制御部３０５は、モーションコントラストデータのうち２つの境界線で挟まれた領域外のモーションコントラストデータの輪郭のみを断層画像に重畳して表示部６００に表示させることとしてもよい。さらに、実施例２，３を組み合わせて表示制御部３０５は、モーションコントラストデータのうち２つの境界線で挟まれた領域内のモーションコントラストデータの輪郭の色と２つの境界線で挟まれた領域外のモーションコントラストデータの輪郭の色とを異なる色として表示部６００に表示させることとしてもよい。また、実施例２，３を組み合わせて表示制御部３０５は、モーションコントラストデータのうち２つの境界線で挟まれた領域内のモーションコントラストデータの輪郭または輪郭の内部の透明度と２つの境界線で挟まれた領域外のモーションコントラストデータの輪郭または輪郭の内部透明度とを異なる値として表示部６００に表示させることとしてもよい。

以下、上記の実施例１－３に関する変形例を説明する。各変形例のうち１の変形例または複数の変形例の組み合わせを上記の実施例１－３のそれぞれまたは実施例１－３のうち任意の組み合わせに適用することとしてもよい。

（変形例１）
本実施形態では、加算平均後の断層画像に加算平均後のモーションコントラストデータを重畳表示する例を示したが、これに限らない。重畳表示するモーションコントラストデータの表示と非表示は切り替えられるものとしても良い。例えば、断層画像上において右クリックを行うことにより、表示制御部３０５は表示部６００にメニューを表示させる。そして表示制御部３０５は、表示メニューの一部の選択を受け付けることで、重畳しているモーションコントラストデータの表示と非表示を切り替えるよう表示部６００を制御することとしても良い。なお、表示と非表示の選択方法はこれに限らない。例えばチェックボックスの選択により表示と非表示を切り替えても良いし、タブレットのようなデバイスで画像を表示している際には、ジェスチャー入力によって表示と非表示を切り替えても良い。同じ断層画像上において、注目部位の表示と非表示を切り替えることで、ＸＹ面における注目部位の場所とＸＺ面における注目部位との対応関係を把握しやすくするとともに、構造自体の観察も行いやすくすることが出来る。

（変形例２）
本実施形態では、加算平均時のモーションコントラストデータと、断層画像データとは、それぞれ同じ重みを用いて加算平均処理を行う例を示したが、これに限らない。例えば、断層画像における重みとモーションコントラストデータにおける重みとを別々にしてもよい。なお、重みとは重ね合わせに用いる画像の枚数とも言い換えられる。すなわち、画像ＡとＢに対する重みを１．０とした場合、加算平均画像は画像ＡとＢの平均となる。画像Ａの重みを１．０、画像Ｂの重みを０．０とした場合、加算平均画像は画像Ａと等しくなる。なお、重みの値は整数値ではなく実数値である。そのため、画像の枚数と言い換えた場合においても、枚数は整数値ではなく１．５のような実数値である。

断層画像とモーションコントラスト画像との加算平均枚数の違いについて説明をする。例えば、ＯＣＴＡ画像に発生する白線はアーティファクト領域として除外する例を示したが、断層画像加算においては必ずしも除外する必要はない。モーションコントラストの値は、脱相関値を計算することで求められるため、少しの位置ずれにより脱相関値が高く検出されて白線のようになってしまうが、断層画像だけを評価すると撮影出来ている。一方、黒帯のようなアーティファクトは、まばたきや網膜のＺ方向ずれにより発生するため、モーションコントラスト、断層画像ともにアーティファクトとして除外した方がよい。すなわち、白線によるアーティファクト領域は、モーションコントラストの加算平均においては除外をするが、断層画像における加算平均では除外をしなくても良い。そのため、加算平均処理に用いている重みＭａｓｋは、モーションコントラストデータ用と断層画像用と別々に用意し、それぞれのＭａｓｋに重みを設定する。重みの例としては、モーションコントラストデータ用には０．０とし、断層画像用には０．５とする。従って、モーションコントラストデータと断層画像とでは、Ａｓｃａｎ単位で加算平均する枚数が異なることになる。それにより、モーションコントラストデータと断層画像とそれぞれのデータにおいて、適切な重みによる加算平均処理を行うことが出来る。

（変形例３）
本実施形態では、撮影した断層画像を用いて境界線検出を行う例を示したが、これに限らない。上述の加算平均処理を行った断層画像を用いて境界線検出を行っても良い。例えば、高画質データ生成に境界線情報を用いるため、撮影した断層画像に対してステップＳ３５１で境界線検出をしている。この処理を、ステップＳ３０５における高画質データ生成処理の後に、再度実行する。それにより、境界線検出のための断層画像は、撮影時の断層画像と比較してノイズの低減した断層画像であるため、境界線検出の精度が向上することが見込まれる。

（変形例４）
本実施形態では、繰り返しＮ回撮影するデータは、同じ撮影範囲を同じスキャンパターンで撮影する例を説明したが、これに限らない。例えば、３ｍｍ×３ｍｍの範囲を３００×３００（主走査×副走査）で撮影したデータと、３ｍｍ×３ｍｍの範囲を６００×６００で撮影したデータとを位置合わせするようにしても良い。この時の深度方向のサイズはどちらのデータにおいても共通で、例えば１０００とする。その場合には、１ボクセルあたりの物理サイズを揃えるデータ変換処理を行った後に、上述した位置合わせ処理を実行する。なお、この例では、３００×３００のデータを補間処理によって６００×６００に拡大してから処理をするようにしても良いし、６００×６００のデータを補間処理によって３００×３００に縮小してから処理をするようにしても良い。また、３ｍｍ×３ｍｍの範囲を３００×３００で撮影したデータと、６ｍｍ×６ｍｍの範囲を６００×６００で撮影したデータとを位置合わせする場合には、１ボクセルあたりの物理サイズは同じであるため、このままのサイズ同士で位置合わせを行う。これにより、異なる撮影範囲や異なるスキャン密度で撮影したデータ同士も加算平均することが出来る。

（変形例５）
本実施形態では、基準画像選択において、画像評価値、位置合わせパラメータ評価値、アーティファクト領域評価値を用いて選択を行う例を説明したが、これに限らない。例えば、さらに層検出の評価値を用いて基準画像選択をしても良い。

層検出の評価値は、検出部３３３が層検出する際に算出する。層検出時にＡスキャン毎に断層像の輝度値を参照するが、検出時の断層像の輝度値の情報を基に、Ａスキャン毎に検出精度の信頼度を設定して判定するようにしても良い。例えば、断層像の輝度値が低い場合などは、まばたき等があり、正しく網膜を検出できていない可能性があるため、検出の信頼度が低くなるように定義する。あるいは、輝度値だけではなく境界線の位置に基づいて定義しても良い。例えば、境界線の位置がＺ方向において上端や下端に接している場合には、正しく層を検出できない可能性があるため検出の信頼度が低くなる。

上記のような層検出の信頼度を用いて、閾値以上の層検出領域を評価する。層検出領域の評価値は、数７のアーティファクト領域評価値と同様の方法で評価することが出来る。例えば、数７において、Ｔ（ｘ，ｙ）のアーティファクトではない領域を、閾値以上の層検出領域と置き換えればよい。これにより、断層像データの深さ情報も用いるため、基準画像として、より確からしいデータを選択することが出来る。

（変形例６）
本実施形態では、データ内でのＺ方向位置合わせにおいて、最初の基準データをデータの中心としたがこれに限らない。例えば、画像中心付近において境界線Ｌ１の層検出の信頼度が高い場所を基準として始めるようにしてもよい。層検出の信頼度は、変形例２で示したように、画像の明るさや検出した層境界のＺ方向位置によって定義される。これにより、信頼度の高い箇所を基にして位置合わせを開始するため、位置合わせのエラーを低減することが期待できる。

（変形例７）
本実施形態において、三次元のモーションコントラストデータと三次元の断層像の両方を三次元的に形状変形し、加算平均する例を示したが、これに限らない。断層像だけを変形させても良い。その場合、画像合成部３３９による加算平均処理は三次元の断層像のみ行う。三次元の断層像のみを高画質にすれば良い場合は、三次元の断層像のみを形状変形させるため、処理負荷を軽減することが出来る。

（変形例８）
本実施形態において、ステップＳ３５３４においてＯＣＴＡ画像をｘｙ面内で拡大して位置合わせを行い、ステップＳ３５６５において、ｘｙ面内の移動パラメータを元のサイズに相当する移動パラメータに変換した。そして、元のサイズで三次元データの形状変形を行う例を示したが、これに限らない。例えば、三次元データそのものを拡大して位置合わせを行い、そのままの状態で出力をするようにしても良い。具体的には、三次元データのサイズが３００×３００×１０００（主走査×副走査×深度）のような数値だとする。これを６００×６００×１０００に拡大して位置合わせと加算平均を行い、そのままのサイズでデータ出力を行っても良い。あるいは、６００×６００×１０００に拡大して位置合わせと加算平均を行った後、最後に３００×３００×１０００のサイズに戻して出力するようにしても良い。これにより、出力される三次元の加算平均後のデータは、より高画質になることが期待される。

（変形例９）
本実施形態において、第三の位置合わせ部３３７は、Ｚ方向に移動させたデータをステップＳ３５９において、入力時のＺ位置に戻す処理を行ったが、これに限らない。例えば、入力時のＺ位置に戻さずに第三の位置合わせ部３３７で行ったＺ位置合わせの結果のまま出力するようにしても良い。これにより、Ｚ方向に関する深さと傾きの位置合わせが済んだデータを表示することが出来る。なお、この場合には、ステップＳ３５６１の基準データ記憶の処理を行う必要がない。その代わり、Ｚ方向にデータ全体を変形させているため、検出部３３３が検出した層境界のＺ方向位置をステップＳ３５６３で記憶している移動量に基づいて補正する。

（変形例１０）
本実施形態において、撮影から表示までを一連の流れで示したがこれに限らない。例えば、既に撮影が済んでいるデータを用いて高画質画像生成処理を行ってもよい。その場合、撮影に関する処理をスキップし、その代わりに撮影済みの複数の三次元のモーションコントラストデータと三次元の断層像を取得する。そして、ステップＳ３０５で高画質画像生成処理を行う。これにより、複数回撮影を行ったデータに関して、撮影時に処理をしなくても、必要な時に高画質化処理を実行することが出来る。そのため、撮影時には撮影だけに集中することが出来る。

（変形例１１）
上記の例において閾値以上のモーションコントラストデータを断層画像に重畳することとしているが、当該閾値は可変であってもよい。例えば、表示制御部３０５は、表示部６００に閾値の変更を受け付けるＧＵＩを表示させることとしてもよい。例えば、ＧＵＩを介して変更された閾値に基づいて表示制御部３０５は、断層画像に重畳させるモーションコントラストデータを変更することができる。

また、断層画像に重畳するモーションコントラストデータを決定するための閾値を設けないこととしてもよい。

（変形例１２）
上記の例において断層画像に重畳するモーションコントラストデータは、ステップＳ３５８において加算平均処理が施されたモーションコントラストデータであったが、加算平均処理されていないモーションコントラストデータであってもよい。この場合であっても、モーションコントラストデータが重畳される二次元断層画像が加算平均されたものであるため、断層構造とモーションコントラストデータとの関係は明確なものになっている。

（変形例１３）
三次元の断層画像データおよび三次元のモーションコントラストデータの位置合わせ方法は上述の例に限定されるものではなく、公知の種々の手法を用いることとしてもよい。

（その他の実施形態）
上記のそれぞれの実施形態は、本発明を画像処理装置として実現したものである。しかしながら、本発明の実施形態は画像処理装置のみに限定されるものではない。本発明をコンピュータ上で動作するソフトウェアとして実現することも可能である。画像処理装置のＣＰＵは、ＲＡＭやＲＯＭに格納されたコンピュータプログラムやデータを用いてコンピュータ全体の制御を行う。また、画像処理装置の各部に対応するソフトウェアの実行を制御して、各部の機能を実現する。また、ボタンなどのユーザーインターフェイスや表示のレイアウトは上記で示したものに限定されるものではない。

１００画像処理システム
２００断層画像撮影装置
３００画像処理装置
３０１画像取得部
３０３画像処理部
３０５表示制御部
３１１断層画像生成部
３１２モーションコントラストデータ生成部
３３１前処理部
３３２画像生成部
３３３検出部
３３４第一の位置合わせ部
３３５表示制御部
３３６第二の位置合わせ部
３３７第三の位置合わせ部
３３８第四の位置合わせ部
３３９画像合成部
４００眼底画像撮影装置
５００外部記憶部
６００表示部
７００入力部

Claims

被検眼の撮影範囲の三次元の断層画像を複数取得する第１取得手段と、
前記被検眼の前記撮影範囲の三次元のモーションコントラストデータを複数取得する第２取得手段と、
前記複数の三次元のモーションコントラストデータを合成した合成三次元のモーションコントラストデータを生成する合成手段と、
前記三次元の断層画像から加算平均処理された二次元の断層画像に、当該二次元の断層画像と対応する位置の前記合成三次元のモーションコントラストデータを重畳した画像を表示部に表示させる表示制御手段と、
を備えることを特徴とする画像処理装置。
前記合成三次元のモーションコントラストデータは、前記複数の三次元のモーションコントラストデータが加算平均処理されたデータであることを特徴とする請求項１記載の画像処理装置。
前記複数の三次元の断層画像は、前記複数の三次元のモーションコントラストデータの生成に用いられる断層画像と共通していることを特徴とする請求項１または請求項２に記載の画像処理装置。
前記複数の三次元の断層画像の数は、前記合成三次元のモーションコントラストデータの生成に用いられる断層画像の数と異なることを特徴とする請求項１または請求項２に記載の画像処理装置。
前記合成三次元のモーションコントラストデータを重畳した画像は、前記被検眼の深さ方向を含む二次元の断層画像であることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
前記表示制御手段は、前記表示部に前記被検眼の所定深さ範囲のＥｎＦａｃｅ画像を表示させ、
前記表示制御手段は、前記合成三次元のモーションコントラストデータのうち前記所定深さ範囲に基づいて決定される一部のモーションコントラストデータのみを前記ＥｎＦａｃｅ画像に重畳した状態で、前記表示部に表示させることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
前記表示制御手段は、前記合成三次元のモーションコントラストデータのうち前記所定深さ範囲に含まれるモーションコントラストデータのみを前記ＥｎＦａｃｅ画像に重畳した状態で、前記合成三次元のモーションコントラストデータと共に前記表示部に表示させることを特徴とする請求項６記載の画像処理装置。
前記表示制御手段は、前記合成三次元のモーションコントラストデータのうち前記所定深さ範囲に含まれないモーションコントラストデータのみを前記合成三次元の画像に重畳した状態で、前記合成三次元のモーションコントラストデータと共に前記表示部に表示させることを特徴とする請求項６記載の画像処理装置。
前記表示制御手段は、前記表示部に前記被検眼の所定深さ範囲のＥｎＦａｃｅ画像を表示させ、
前記表示制御手段は、前記所定深さ範囲に含まれる前記合成三次元のモーションコントラストデータと前記所定深さ範囲外の前記合成三次元のモーションコントラストデータとを異なる表示形態で前記表示部に表示させることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
前記表示形態は、色および透明度の少なくとも１つを含むことを特徴とする請求項９記載の画像処理装置。
前記表示制御手段は、前記所定深さ範囲に含まれる前記合成三次元のモーションコントラストデータにおけるモーションコントラスト値が閾値以上の部分の輪郭部分で囲まれた内部の領域の透明度を前記輪郭部分の透明度よりも高くして前記表示部に表示させ、前記所定深さ範囲外の前記合成三次元のモーションコントラストデータにおけるモーションコントラスト値が閾値以上の部分の輪郭部分の内部の領域の透明度を前記輪郭部分の透明度と同じにして前記表示部に表示させることを特徴とする請求項９記載の画像処理装置。
前記表示制御手段は、前記所定深さ範囲に含まれる前記合成三次元のモーションコントラストデータのうち前記合成三次元のモーションコントラストデータにおけるモーションコントラスト値が閾値以上の部分では、当該部分の輪郭部分のみを前記表示部に表示させることを特徴とする請求項９記載の画像処理装置。
前記表示制御手段は、前記合成三次元のモーションコントラストデータにおけるモーションコントラスト値が閾値以上の部分の輪郭部分で囲まれた内部の領域の透明度を前記輪郭部分の透明度よりも高くして前記表示部に表示させることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
前記表示制御手段は、前記合成三次元のモーションコントラストデータのうち前記モーションコントラストデータにおけるモーションコントラスト値が閾値以上の部分では、当該部分の輪郭部分のみを前記表示部に表示させることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
前記表示制御手段は、前記所定深さ範囲に含まれる前記合成三次元のモーションコントラストデータのうち前記モーションコントラストデータにおけるモーションコントラスト値が閾値以上の部分では、当該部分を囲む線からなる図形を前記モーションコントラストデータとして前記表示部に表示させることを特徴とする請求項９記載の画像処理装置。
前記表示制御手段は、前記合成三次元のモーションコントラストデータのうち前記モーションコントラストデータにおけるモーションコントラスト値が閾値以上の部分では、当該部分を囲む線からなる図形を前記モーションコントラストデータとして前記表示部に表示させることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
前記ＥｎＦａｃｅ画像は、前記複数の三次元のモーションコントラストデータが合成された合成三次元のモーションコントラストデータから生成されたＥｎＦａｃｅ画像または前記複数の三次元のモーションコントラストデータそれぞれから生成されたＥｎＦａｃｅ画像を合成することで得られたＥｎＦａｃｅ画像であることを特徴とする請求項６乃至１２のいずれか１項に記載の画像処理装置。
被検眼の撮影範囲の三次元の断層画像を複数取得する第１取得工程と、
前記被検眼の前記撮影範囲の三次元のモーションコントラストデータを複数取得する第２取得工程と、
前記複数の三次元のモーションコントラストデータを合成した合成三次元のモーションコントラストデータを生成する合成工程と、
前記三次元の断層画像から加算平均処理された二次元の断層画像に、当該二次元の断層画像と対応する位置の前記合成三次元のモーションコントラストデータを重畳した画像を表示部に表示させる表示制御工程と、
を備えることを特徴とする画像処理方法。
請求項１８記載の画像処理方法の各工程をコンピュータに実行させることを特徴とするプログラム。