以下、添付の図面を参照して、本実施形態に係る撮像装置を説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は以下の実施形態に限定されるものではない。なお、本実施形態で被検体を人眼(眼底)としているがこれに限るものではなく、例えば皮膚等に用いることとしてもよい。また、本実施形態において撮像対象は眼の眼底としているが、前眼を撮影対象とすることとしてもよい。
〔第1の実施形態〕
[画像形成装置全体の構成]
図1は、本実施形態における光干渉断層法を用いた画像形成装置(眼科装置)の構成例を示す図である。図1に示す装置は、光干渉断層信号を取得する光干渉断層取得部100と制御部143を備える。制御部143は、信号処理部144、信号取得制御部145、表示部146および表示制御部149を備えて構成される。信号処理部144は、さらに画像生成部147と検出部148とを備える。ここで、制御部143は例えばコンピュータであり、コンピュータに備えられたCPUが不図示の記憶装置に記憶されたプログラムを実行することで信号処理部144、信号取得制御部145、画像生成部147、検出部148および表示制御部149としてとして機能する。
なお、制御部143が備えるCPUおよび記憶装置は1つであってもよいし複数であってもよい。すなわち、少なくとも1以上の処理装置(CPU)と少なくとも1つの記憶置(RAMおよびROM)とが接続されており、少なくとも1以上の処理装置が少なくとも1以上の記憶装置に記憶されたプログラムを実行した場合に制御部143は上記の各手段として機能する。なお、処理装置はCPUに限定されるものではなく、FPGA等であってもよい。
まず光干渉断層取得部100の構成について説明する。図1は、本実施形態における光干渉断層取得部の例としてOCT装置の構成例を示す図である。OCT装置は、例えば、SD−OCTまたはSS−OCTである。本実施形態ではOCT装置がSS−OCTである場合の構成を示す。
<OCT装置100の構成>
OCT装置100の構成について説明する。
光源101は波長掃引型(Swept Source:以下SS)光源であり、例えば、掃引中心波長1050nm、掃引幅100nmで掃引しながら光を出射する。ここで、波長や掃引幅については例示であり、本発明は上記の値に限定されるものではない。以下の実施形態についても同様に、記載された数値は例示であり、本発明は記載された数値に限定されるものではない。
光源101から出射された光は光ファイバ102を介して、ビームスプリッタ110に導かれ、測定光(OCT測定光とも言う)と参照光(OCT測定光に対応する参照光とも言う)に分岐される。ビームスプリッタ110の分岐比は例えば、90(参照光):10(測定光)である。分岐された測定光は、光ファイバ111を介して出射され、コリメータ112によって平行光とされる。平行光となった測定光は、被検眼118の眼底Erにおいて測定光を走査するガルバノスキャナ114、スキャンレンズ115、フォーカスレンズ116を介して被検眼118に入射する。ここで、ガルバノスキャナ114は単一のミラーとして記載したが、実際は被検眼118の眼底Erをラスタースキャンするように不図示の2枚のガルバノスキャナ、X軸スキャナー114aとY軸スキャナー114b、によって構成している。また、フォーカスレンズ116はステージ117上に固定されており、光軸方向に動くことで、フォーカス調整することが出来る。ガルバノスキャナ114とステージ117は信号取得制御部145によって制御され、被検眼118の眼底Erの所望の範囲(断層画像の取得範囲、断層画像の取得位置または測定光の照射位置とも言う)で測定光を走査することが出来る。
なお、本実施形態では詳細な説明はしていないが、眼底Erの動きを検出し、ガルバノスキャナ114のミラーを眼底Erの動きに追従させて走査させるトラッキング機能が付与されていることとしてもよい。トラッキング方法については一般的な技術を用いて行うことが可能であり、リアルタイムで行うことも、ポストプロセッシングで行うことも可能である。例えば、走査型レーザ検眼鏡(Scanning Laser Ophthalmoscope:SLO)を用いる方法がある。これは眼底Erについて、SLOを用いて光軸に対して垂直な面内の2次元画像(眼底表面画像)を経時的に取得し、画像中の血管分岐などの特徴箇所を抽出する。取得する2次元画像中の特徴箇所がどのように動いたかを眼底Erの移動量として算出し、算出した移動量をガルバノスキャナ114にフィードバックすることでリアルタイムトラッキングを行うことが出来る。
測定光は、ステージ117上に乗ったフォーカスレンズ116により、被検眼118に入射し、眼底Erにフォーカスされる。眼底Erを照射した測定光は各網膜層で反射・散乱し、上述の光学経路をビームスプリッタ110に戻る。ビームスプリッタ110に入射した測定光の戻り光は光ファイバ126を経由し、ビームスプリッタ128に入射する。
一方、ビームスプリッタ106で分岐された参照光は、光ファイバ119a、偏光制御器150、光ファイバ119b、を介して出射され、コリメータ120によって平行光とされる。偏光制御器150には参照光の偏光を所望の偏光状態へ変化させることが出来る。参照光は分散補償ガラス122、NDフィルタ123、コリメータ124を介し、光ファイバ127に入射する。コリメータレンズ124と光ファイバ127の一端はコヒーレンスゲートステージ125の上に固定されており、被検者の眼軸長の相違等に対応して光軸方向に駆動するように、信号取得制御部145で制御される。なお本実施形態では参照光の光路長を変更しているが、測定光の光路と参照光の光路との光路長差を変更出来ればよく、測定光の光路長を変更するようにしてもよい。
光ファイバ127を通過した参照光はビームスプリッタ128に入射する。ビームスプリッタ128では参照光の戻り光と参照光が合波されて干渉光とされた上で二つに分割される。分割される干渉光は互いに反転した位相の干渉光(以下、正の成分および負の成分と表現する)となっている。分割された干渉光の正の成分は光ファイバ129を経由してディテクタ141の一方の入力ポートに入射する。一方、干渉光の負の成分は光ファイバ130を経由してディテクタ141の他方に入射する。ディテクタ141は差動検出器となっており、位相が180°反転した二つの干渉光が入力されると、直流成分を除去し、干渉成分のみの干渉信号を出力する。
ディテクタ141で検出された干渉光は光の強度に応じた電気信号(干渉信号)として出力され、断層画像生成部の一例である信号処理部144に入力される。
<制御部143>
本装置全体を制御するための制御部143について説明する。
制御部143は信号処理部144、信号取得制御部145、表示部146、表示制御部149によって構成される。また、信号処理部144はさらに、画像生成部147と検出部148を持つ構成となっている。画像生成部147はディテクタ141から送られる電気信号(干渉信号)から輝度画像およびモーションコントラスト画像(血流部位を示す画像または血管を示す画像)を生成する機能を有する。また、検出部148は輝度画像から網膜の層境界を検出することで層情報(網膜のセグメンテーション)を生成する機能を有する。
信号取得制御部145は上述の通りに各部を制御する。信号処理部144はディテクタ141から出力される干渉信号に基づき、画像の生成、生成された画像の解析、解析結果の可視情報の生成を行う。
信号処理部144で生成された画像および解析結果は表示制御部149に送られ、表示制御部149は表示部146の表示画面に画像および解析結果を表示させる。ここで、表示部146は、例えば液晶等のディスプレイである。なお、信号処理部144で生成された画像データは表示制御部149に送られた後、表示部146に有線で送信されても良いし、無線で送信されても良い。また、本実施形態において表示部146等は制御部143に含まれているが、本発明はこれに限らず、制御部143とは別に設けられても良く、例えばユーザが持ち運び可能な装置の一例であるタブレットでも良い。この場合、表示部にタッチパネル機能を搭載させ、タッチパネル上で画像の表示位置の移動、拡大縮小、表示される画像の変更等を操作可能に構成することが好ましい。
以上が、被検体118のある1点における断層に関する情報の取得のプロセスの説明である。このように被検体118の奥行き方向の断層に関する情報を取得することをA−scanと呼ぶ。また、A−scanと直交する方向で被検体の断層に関する情報、すなわち2次元画像を取得するための走査方向をB−scan、更にB−scanにより得られた断層像に直交する方向に走査することをC−scanと呼ぶ。これは、3次元断層像を取得する際に眼底面内に2次元ラスター走査する場合、高速な走査方向がB−scan、B−scanをその直交方向に並べて走査する低速な走査方向をC−scanと呼ぶ。A−scan及びB−scanを行うことで2次元の断層像が得られ、A−scan、B−scan及びC−scanを行うことで、3次元の断層像を得ることができる。B−scan、C−scanは、上述したガルバノスキャナ114により行われる。
なお、不図示のX軸スキャナー114a、Y軸スキャナー114bは、それぞれ回転軸が互いに直交するよう配置された偏向ミラーで構成されている。X軸スキャナー114aは、X軸方向の走査を行い、Y軸スキャナー114bは、Y軸方向の走査を行う。X軸方向、Y軸方向の各方向は、眼球の眼軸方向に対して垂直な方向で、互いに垂直な方向である。また、B−scan、C−scanのようなライン走査方向と、X軸方向またはY軸方向とは、一致していなくてもよい。このため、B−scan、C−scanのライン走査方向は、撮像したい2次元の断層像あるいは3次元の断層像に応じて、適宜決めることができる。
[スキャンパターン]
次に、図2を用いて本実施形態のスキャンパターンの一例を説明する。
OCTアンギオグラフィーでは血流によるOCT干渉信号の時間変化を計測するため、同じ場所(または略同じ場所)で複数回の計測が必要となる。本実施形態ではOCT装置は同じ場所でのBスキャンをm回繰り返しつつ、n箇所のyポジションに移動するスキャンを行う。
具体的なスキャンパターンを図2に示す。眼底平面上でy1〜ynのn箇所のyポジションについて、それぞれBスキャンを繰り返しm回づつ実施する。
mが大きいと同じ場所での計測回数が増えるため、血流の検出精度が向上する。その一方でスキャン時間が長くなり、スキャン中の眼の動き(固視微動)により画像にモーションアーチファクトが発生する問題と被検者の負担が増える問題が生じる。本実施形態では両者のバランスを考慮してm=4として実施した。なお、OCT装置のAスキャン速度、被検体118の眼底表面画像の運動解析に応じて、制御部143はmを変更してもよい。すなわち、mの値は4に限定されるものではなく他の値であってもよい。
図2においてpは1つのBスキャンにおけるAスキャンのサンプリング数を示している。すなわち、p×nにより平面画像サイズが決定される。p×nが大きいと、同じ計測ピッチであれば広範囲がスキャンできるが、スキャン時間が長くなり、上述のモーションアーチファクトおよび患者負担の問題が生じる。本実施形態では両者のバランスを考慮してn=p=300として実施した。なお、上記n,pは適宜自由に変更が可能である。
また、図2におけるΔxは隣り合うxポジションの間隔(xピッチ)であり、Δyは隣り合うyポジションの間隔(yピッチ)である。本実施形態ではxピッチ、yピッチは眼底における照射光のビームスポット径の1/2として決定し、10μmとする。xピッチ、yピッチを眼底上ビームスポット径の1/2とすることで 生成する画像を高精細に形成することができる。xピッチ、yピッチを眼底ビームスポット径の1/2より小さくしても 生成する画像の精細度をそれ以上高くする効果は小さい。
逆にxピッチ、yピッチを眼底ビームスポット径の1/2より大きくすると精細度は悪化するが、小さなデータ容量で広い範囲の画像を取得することができる。臨床上の要求に応じてxピッチ、yピッチを自由に変更してもよい。
本実施形態のスキャン範囲は、x方向がp×Δx=3mm、y方向がn×Δy=3mmである。なお、スキャン範囲の値は上記の値に限定されるものではない。
次に、図3を用いて本実施形態の画像形成方法の処理手順の一例を説明する。ステップS101において、信号取得制御部145は光干渉断層像取得部100を制御し、光干渉断層信号を取得する。処理の詳細説明は後述する。ステップS102において、制御部143は表示情報を生成する。処理の詳細説明を、後述する。以上のステップを実施して、本実施形態の画像形成方法の処理の手順を終了する。
[干渉信号取得手順]
図4を用いて本実施形態のステップS101の干渉信号取得の具体的な処理手順の一例を説明する。ステップS109において、信号取得制御部145は図2のポジションyiのインデックスiを1に設定する。ステップS110において、OCT装置はスキャン位置をyiに移動する。ステップS119において、信号取得制御部145は繰り返しBスキャンのインデックスjを1に設定する。ステップS120において、OCT装置はBスキャンを実施する。
ステップS130においてディテクタ141はAスキャン毎に干渉信号を検出し、不図示のA/D変換器を介して上記干渉信号が信号処理部144に記憶される。信号処理部144はAスキャンの干渉信号をpサンプル取得することで、1Bスキャン分の干渉信号とする。
ステップS139において、信号取得制御部145は繰り返しBスキャンのインデックスjをインクリメントする。
ステップS140において信号取得制御部145はjが所定回数(m)より大きいか判断する。すなわち、ポジションyiでのBスキャンがm回繰り返されたかを判断する。繰り返されてない場合はS120に戻り、同一位置のBスキャン計測を繰り返す。所定回数繰り返された場合は、S149に進む。ステップS149において、信号取得制御部145はポジションyiのインデックスiをインクリメントする。ステップS150において信号取得制御部145はiが所定のY位置の計測回数(n)より大きいか、すなわちn箇所の全てのyポジションでBスキャンを実施したかを判断する。所定のY位置の計測回数に満たない(no)の場合はS110に戻り、次の計測ポジションで計測することを繰り返す。所定のY位置の計測回数を終了した(yes)場合は、次ステップS160へ進む。このように、上記のステップを実行することで信号処理部144は3次元の断層像データを取得することができる。
ステップS160においてOCT装置はバックグラウンドデータを取得する。OCT装置はシャッター85を閉じた状態で100回Aスキャンを計測し、信号取得制御部145は100回のAスキャンを平均化して記憶する。なお、バックグラウンドの測定回数は100回に限るものではない。
以上のステップを実施して、本実施形態における干渉信号取得手順を終了することになる。
[信号処理手順]
次に、図5を用いて本実施形態のステップS102の3次元血流部位情報生成の具体的な処理手順の一例を説明する。
本実施形態では、3次元血流部位情報を生成するために、モーションコントラストを計算する必要がある。
ここで、被験体組織のうち流れのある組織(例えば血液)と流れのない組織とを区別するための特徴量を単にモーションコントラスト(或いはモーションコントラスト特徴量、モーションコントラスト値)と定義する。モーションコントラストの算出方法については後述する。
ステップS210において、画像生成部147はポジションyiのインデックスiを1に設定する。ステップS220において、信号処理部144はポジションyiにおける繰り返しBスキャン干渉信号(m回分)を図4に示したフローで取得した干渉信号から抜き出す。ステップS230において、画像生成部147は繰り返しBスキャンのインデックスjを1に設定する。ステップS240において、信号処理部144はj番目のBスキャン干渉信号を抜き出す。
ステップS250において、画像生成部147はステップS240のBスキャン干渉信号に対して、一般的な再構成処理を行うことで断層像の輝度画像を生成する。具体的には、まず、画像生成部147は、干渉信号からバックグラウンドデータからなる固定パターンノイズ除去を行う。固定パターンノイズ除去は検出した複数のバックグラウンドデータのAスキャン信号を平均することで固定パターンノイズを抽出し、これを干渉信号から減算することでノイズ除去が行われる。次に、画像生成部147は、有限区間でフーリエ変換した場合にトレードオフの関係となる、深さ分解能とダイナミックレンジとを最適化するために、所望の窓関数処理を行う。その後、FFT処理を行う事によって断層像の輝度画像を生成する。ステップS250の処理を図4に示したフローで取得した3次元断層像データに対して行うことでさ3次元の断層像を取得することができる。
ステップS260において、画像生成部147はインデックスjをインクリメントする。そして、ステップS270において画像生成部147がインデックスjがmより大きいか否かを判断する。すなわち、ポジションyiでのBスキャンの輝度画像の生成がm回繰り返されたか否かを判断する。ステップS270における判断がnoの場合はステップS240に戻り、画像生成部147が同一Y位置での繰り返しBスキャンの輝度画像の生成を繰り返す。すなわち、画像生成部147は、それぞれ被検体の略同一箇所における断層を示す被検体の複数の断層像を取得する。
一方、ステップS270でyesと判断された場合は、ステップS280へ進む。ステップS280において画像生成部147はあるyiポジションにおける繰り返しBスキャンのmフレームの輝度画像を位置合わせする。具体的には、まず画像生成部147はmフレームのうち、任意の1枚の断層像をテンプレートとして選択する。テンプレートとして選択するフレームは、互いに全ての組み合わせで相関を計算し、フレーム別に相関係数の和を求め、その和が最大となるフレームを選択してもよい。次に、画像生成部147はテンプレートでフレーム毎に照合し位置ずれ量(δX、δY、δθ)を求める。具体的には、画像生成部147はテンプレート画像の位置と角度を変えながら類似度を表す指標であるNormalized Cross−Correlation(NCC)を計算し、この値が最大となるときの画像位置の差を位置ずれ量として求める。
なお、本発明では、類似度を表す指標は、テンプレートとフレーム内の画像の特徴の類似性を表す尺度であれば種々変更が可能である。例えばSum of Abusolute Difference(SAD)、Sum of Squared Difference(SSD)、Zero−means Normalized Cross−Correlation(ZNCC)を用いてもよい。また、Phase Only Correlation(POC)、Rotation Invariant Phase Only Correlation(RIPOC)等を用いてもよい。
次に画像生成部147は位置ずれ量(δX、δY、δθ)に応じて位置補正をテンプレート以外のm−1フレームに適用し、mフレームの位置合わせを行う。
ステップS290において画像生成部147はステップS280で計算した位置合わせされた輝度画像を平均化し、輝度平均化画像を生成する。
ステップS300において検出部148は、画像生成部147がステップS290で生成した輝度平均化画像に対して、網膜のセグメンテーション(部位情報取得)を行う工程である。例えば、検出部148は輝度平均化画像から網膜の複数の層境界を検出し、層境界の座標などを示すデータを生成する。なお、検出部148は平均化前の輝度画像から複数の層境界を検出することとしてもよい。
ステップS310において画像生成部147はモーションコントラストを計算する。本実施例ではステップS300にて画像生成部147が出力したmフレームの断層像の輝度画像から同じ位置のピクセルごとに信号強度(輝度)の分散値を計算し、その分散値をモーションコントラストとする。すなわち、画像生成部147は算出された複数の断層像データ間の対応する画素データを用いてモーションコントラストを算出する。なお、分散値以外に、標準偏差、差分値、非相関値および相関値の何れを用いることとしてもよい。また、信号強度ではなく位相を用いることとしてもよい。
なお、モーションコントラストの求め方は種々あり、本発明においてモーションコントラストの特徴量の種類は同一Y位置での複数Bスキャン像の各ピクセルの輝度値の変化を表す指標であれば適用が可能である。
ステップS320において画像生成部147は、モーションコントラストの第一の閾値処理を行う。第一閾値の値は、画像生成部147がステップS311で出力した輝度平均化画像から、ノイズフロアでランダムノイズのみが表示されているエリアを抽出し、標準偏差σを計算し、ノイズフロアの平均輝度+2σと設定することができる。画像生成部147は、各輝度が、上記閾値以下の領域に対応したモーションコントラストの値を例えば0に設定する。
ステップS320の第一閾値処理により、ランダムノイズによる輝度変化に由来するモーションコントラストを除去することでノイズを軽減することができる。
なお、第一閾値の値は、小さいほどモーションコントラストの検出感度は上がる一方、ノイズ成分も増す。また、大きいほどノイズは減るがモーションコントラスト検出の感度は下がる。
本実施形態では閾値をノイズフロアの平均輝度+2σとして設定したが、閾値はこれに限るものではない。
ステップS330において画像生成部147は、ポジションyiのインデックスiをインクリメントする。
ステップS340において画像生成部147は、iがnより大きいか否かを判断する。すなわち、画像生成部147は、n箇所の全てのyポジションで位置合わせ、輝度画像平均化計算、モーションコントラストの計算、及び閾値処理が完了したかを判断する。ステップS340においてnoと判断された場合はステップS220に戻る。yesと判断された場合は、ステップS350へ進む。
ステップS340を終了した時点で、すべてのY位置でのBスキャン像(Z深さvs X方向データ)の各ピクセルの輝度平均画像とモーションコントラストの3次元データが取得されたこととなる。なお、複数のY位置でのBスキャン像は3次元の断層像に相当する。
ステップS350において画像生成部147は、モーションコントラストの3次元データを用いて3次元モーションコントラスト画像を生成する。また、画像生成部147は、3次元モーションコントラスト画像の任意の網膜方向の深さ範囲において投影または積算した2次元モーションコントラスト画像(モーションコントラストのEn−Face画像)を生成することもできる。すなわち、画像生成部147は、被検体の深さ方向における所定範囲のモーションコントラストを前記深さ方向に積算してEn−Face画像を生成する。なお、任意の網膜方向の深さ範囲をステップS300において得られた層境界の情報を用いて選択できるようにしてもよい。
なお、画像生成部147は、被検体の深さ方向における所定範囲のモーションコントラストの平均値、中央値、最大値などの代表値を抽出して前記深さ方向に投影することでEn−Face画像を生成することとしてもよい。
ここで、モーションコントラストを得るために用いた断層像とセグメンテーションを行った断層像とは共通の断層像であるためセグメンテーション結果は3次元モーションコントラスト画像に対応付けることが可能である。また、モーションコントラストを得るために用いた断層像とセグメンテーションを行った断層像とが共通でなくとも、セグメンテーション結果は3次元モーションコントラスト画像に対応付けることが可能である。例えば、モーションコントラストを得るために用いた断層像とセグメンテーションを行った断層像との位置合わせを行うことでセグメンテーション結果は3次元モーションコントラスト画像に対応付けることが可能である。
なお、画像生成部147は上記のフローで取得した3次元の断層像の任意の網膜方向の深さ範囲において投影または積算した2次元画像(輝度のEn−Face画像)を生成することも可能である。なお、任意の網膜方向の深さ範囲をステップS300において得られた層境界の情報を用いて選択できるようにしてもよい。なお、画像生成部147は、被検体の深さ方向における所定範囲の輝度の平均値、中央値、最大値などの代表値を用いてEn−Face画像を生成することとしてもよい。
また、En−Face画像が既知の種々の手法により生成されることとしてもよい。
図6は、ステップS350の詳細を示したものである。
ステップS351において画像生成部147は、ステップS310,320の処理により得られたモーションコントラストの3次元データを取得する。
ステップS352において画像生成部147は、血流部位情報は残しつつノイズを除去するために、モーションコントラスト3次元データに対して平滑化処理を施す。
モーションコントラストの性質によって最適な平滑化処理は異なるが、例えば以下のようなものが考えられる。
注目画素の近傍nx×ny×nz個のボクセルからモーションコントラストの最大値を出力する平滑化方法。あるいは、注目画素の近傍nx×ny×nz個のボクセルのモーションコントラストの平均値を出力する平滑化方法。あるいは、注目画素の近傍nx×ny×nz個のボクセルのモーションコントラストの中央値を出力する平滑化方法。あるいは、注目画素の近傍nx×ny×nz個のボクセルのモーションコントラストに対して、距離による重みをつける平滑化方法。あるいは、注目画素の近傍nx×ny×nz個のボクセルのモーションコントラストに対して、距離による重みと注目画素との画素値の差に応じて重みをつける平滑化方法。あるいは、注目画素のまわりの小領域のモーションコントラストパターンと、周辺画素のまわりの小領域のモーションコントラストのパターンの類似度に応じた重みを用いた値を出力する平滑化方法。なお、その他の血流部位情報を残しつつ平滑化をおこなう手法を用いてもよい。
ステップS353において画像生成部147は、表示制御部149より、ステップS353にて表示する画素を決定する閾値(表示閾値)及び表示する深さ方向の範囲の初期値を得る。表示範囲の初期値としては通例深さ方向の1/4程度としほぼ網膜表層の範囲が含まれる位置とされる。ここで表示範囲の初期値として深さ方向全範囲としないのは、表層部における主要血管・毛細血管網をまずは見やすく表示したいからである。すなわち、主要血管・毛細血管網を含む表層部と血管を有さずノイズの大きいRPE層とを同時に表示すると、表層部における主要血管・毛細血管網の判別に支障をきたすのである。
次にステップS354にて画像生成部147は、表示閾値の初期値を用い平滑化処理された3次元データに対してこれを超える画素を表示する表示閾値処理を施す。本処理によるモーションコントラスト(モーションコントラスト画素値)から表示用画素値への変換例を図7に示す。図7(a)では表示閾値以下の画素値をゼロ、閾値上の画素値から最大強度までの画素に比例する表示画素値を割り振る例であり、図7(b)では表示閾値以下の画素値に対し0をかけ、それ以上の画素値は1をかけた表示値を割り振った例となる。いずれにしろモーションコントラストが表示閾値以下のものはモーションコントラストが無効化され、表示される連結を持つモーションコントラストを持つ領域が分離した形で表示されることになる。すなわち、モーションコントラストと閾値との比較結果に応じてモーションコントラストの値が制御される。
ステップS355では、図7に示した表示閾値処理されたモーションコントラスト画像を表示制御部149が表示部146に表示させる。例えば表示工程ステップS355において、表示制御部149が図8(b)に示すGUI及び3次元モーションコントラスト画像を表示部146に表示するよう設計されている。図8(b)において、400は表示部146に用意された領域であり、算出された3次元モーションコントラスト画像を表示するための表示領域枠である。その側方には表示する3次元モーションコントラスト画像を表示する深さ方向の範囲を調整するスライダ407が表示される。検者はスライダ407の操作部端である401、402を例えばマウスでドラッグすることにより、表示部149に表示する3次元モーションコントラスト画像の深さ方向の範囲を指定することが出来る。また、スライダ407の操作部の例えば中央部をドラッグすることにより、表示する深さ範囲の幅を変えることなく表示される深さ位置を変えることが出来る。図8(a)には対応する深さの説明のために、3次元モーションコントラスト画像中の一断層像(モーションコントラストの断層像)を併記した。断層像上の輝線403,404はスライダ端401,402に対応する断層像上の位置である。表示工程は両輝線間にはさまれた領域405のモーションコントラスト画像のみを表示領域枠401に表示する。例えば、表示制御部149は表示部149に図8(a)、(b)に示した全ての画像を表示させることとしてもよいし、図8(b)に示した画像のみを表示させることとしてよい。
また、この表示領域枠400の下方にはもうひとつのスライダ406が、表示する画素を決定する閾値を調整するために設けられている。検者がこのスライダを例えばマウスでドラッグすると、図6のステップS356では表示閾値を変更し、ステップS354へ処理を戻し表示する3次元モーションコントラスト画像を更新することになる。
この時、閾値の調整は初期値に対する相対値で変更できるよう設定しておくと、異なる被検眼・部位等対象の異なるデータに対しても等価な効果が得られる。以上の構成により検者は表示する深さ範囲を随意に変更することが可能となり、かつその選択された深さ範囲に最適な表示閾値を設定することが可能となる。また同様に検者が深さ方向の表示範囲を変更するためにスライダ操作部端である401、402をマウスでドラッグすると、ステップS357では3次元モーションコントラスト画像の表示する範囲を変更する。そして、ステップS354へ処理を戻し表示する3次元モーションコントラスト画像を更新することになる。すなわち、表示範囲の変更に応じて表示されるモーションコントラスト画像が更新される。
以上の説明では、図8(a)に示した断層像は説明のためにのみ用いたが、表示工程でこの断層像を同時に表示すれば、検者が表示する深さ範囲の設定を容易に行えるようになり、より好適である。さらに断層像は深さ方向を明示するために表示領域枠400の側方に設けることが望ましい。また、表示する断層像に対応する位置を3次元モーションコントラスト画像に重ねて表示することが望ましい。例えば、表表示制御部149は3次元モーションコントラスト画像上に断層像に対応するラインを重ねて表示させることとしてもよい。
なお、表示部146に表示されるGUIは図8に示す形態に限定されるものではない。例えば、表示制御部149は図10に示すGUIを表示部146に表示させることとしてもよい。図10に示される各要素について図9(a)を用いて説明する。
スライダ3001は、輝度のEn−Face画像3005およびモーションコントラストのEn−Face画像を生成するための網膜の深さ方向における範囲の上端(硝子体側の端部)の指定を受け付ける。すなわち、スライダ3001は、深さ方向の領域の上端の位置を決定するための第1スライダの一例に相当する。なお、表示制御部149はスライダ3001がスライダ3002よりも下側に移動しないように制御することとしてもよい。このようにスライダ3001を制御すればスライダ3001により指定される境界がスライダ3002により指定される境界よりも深い位置となることを防ぐことが可能となる。
スライダ3002は、輝度のEn−Face画像3005およびモーションコントラストのEn−Face画像を生成するための網膜の深さ方向における範囲の下端(脈絡膜側の端部)の指定を受け付ける。すなわち、スライダ3002は、深さ方向の領域の下端の位置を決定するための第2スライダの一例に相当する。検者はスライダ3001,3002をマウスでドラッグすることで、深さ方向における範囲を変更する。スライダはマウス以外のポインティングデバイスにより移動させることも可能である。例えば、タッチパネルであればマウスは不要である。また、ドラッグ以外の操作によってもスライダが移動可能であることは言うまでもない。
例えば、画像生成部147はスライダ3001,3002の位置および移動量を取得する。スライダ3001,3002の表示領域に並ぶ領域には被検眼の眼底に含まれる複数の層の名称が深さ方向順に表示されている。すなわち、表示制御部149は、被検眼に含まれる複数の層の名称を深さ方向順に並べて表示部に表示させるとともに、表示部において複数の層の名称が並べられた領域に並列する領域に複数の層の名称が並べられた方向に沿って移動可能なスライダを表示させる。より具体的にはスライダは、表示部において複数の層の名称が並べられた領域に隣接する領域に表示される。なお、表示される層の名称は図9の例に限定されるものではなく、他の名称を表示させることとしてもよい。
また、表示制御部149は、層境界を示すとともに前記複数の層の名称が表示された領域を各層の名称毎に等間隔に区画する複数の線を表示部146に表示させる。この線は図15に示すようにセグメンテーションの結果得られた層境界と対応付けられており、複数の線における線同士の間隔は等しくなっている。すなわち、各層の名称を区画する線は断層像の層境界の位置に対応付けられている。例えばスライダ3001を図9(a)のようにVitreousとRNFLとの間の線に合わせている場合、画像生成部147はVitreousとRNFLとの境界が選択されていると判断する。また、スライダ3002を図9(a)のようにINLとOPLとの間の線に合わせている場合、画像生成部147はINLとOPLとの境界が選択されていると判断する。この場合、すなわち、画像生成部147は、複数の線のうちいずれかの線にスライダが合っている場合、層の名称に対応する層境界が選択されたものとして、En−Face画像を生成する。
なお、図9(b)のようにVitreousとRNFLとの間の線とRNFLとGCLとの間の線との間にスライダ3001が位置する場合には画像生成部147はRNFL内の任意の位置が選択されていると判断する。すなわち、スライダ3001,3002を用いているため、セグメンテーションの結果に基づいた層境界だけでなく層境界と層境界との間、すなわち層内においても任意の位置を連続的に選択することが可能である。図9(b)は図9(a)とは異なる深さ範囲をスライダを用いて選択した場合のGUIの例である。なお、符号3001−3006は符号3001´−3006´に対応している。
また、図9(a)において、「Synchronize」との文字およびチェックボックスがスライダ3001の上部に表示されている。このチェックボックスがクリック等により選択された場合にはスライダ3001とスライダ3002との移動が同期される。すなわち、スライダ3001とスライダ3002との距離が保たれたままスライダ3001とスライダ3002とが移動する。なお、このチェックボックスの上部に設けられたスライダは輝度の断層像3003、モーションコントラストの断層像3004の表示を切換えるためのスライダである。図9(a)においては287枚目の断層像が表示されていることを示している。
輝度の断層像3003は、3次元断層像に含まれる任意の位置の断層像である。輝度の断層像3003は、例えば、輝度のEn−Face画像3005上のラインAにおける断層像である。輝度の断層像3003上にはスライダ3001,3002により指定された境界が重畳して表示されている。スライダ3001,3002が層境界を指定している場合にはセグメンテーション結果が輝度の断層像3003上に表示される。すなわち、表示制御部149は、被検眼の断層像と深さ方向の領域を規定する深さ方向の境界とを断層像に境界を重畳した状態で表示部146に表示させる。
モーションコントラストの断層像3004は、3次元モーションコントラスト画像に含まれる任意の位置の断層像である。モーションコントラストの断層像3004は、例えば、モーションコントラストのEn−Face画像3006上のラインA´における断層像である。スライダ3001,3002が層境界を指定している場合にはセグメンテーション結果が輝度の断層像3003上に表示される。すなわち、表示制御部149は、被検眼の断層像と深さ方向の領域を規定する深さ方向の境界とを断層像に境界を重畳した状態で表示部146に表示させる。
輝度の断層像3003およびモーションコントラストの断層像3004上に表示された境界は、スライダ3001,3002が連続的に移動することに応じて連続的に移動する。すなわち、スライダ3001,3002は、表示された境界を深さ方向に移動させる指示を受け付ける。なお、境界の移動の態様については後述する。
輝度のEn−Face画像3005は、3次元断層像におけるスライダ3001,3002により指定された深さ方向の範囲から得られたEn−Face画像である。輝度のEn−Face画像3005は画像生成部147により生成される。すなわち、画像生成部147は、スライダの位置に応じて決定された深さ方向の領域に基づいてEn−Face画像を生成する。なお、検出部148により得られたセグメンテーション結果を用いることで画像生成部147は任意の層のEn−Face画像を生成することが可能である。
モーションコントラストのEn−Face画像3006は、3次元モーションコントラスト画像におけるスライダ3001,3002により指定された深さ方向の範囲から得られたEn−Face画像である。モーションコントラストのEn−Face画像3005は画像生成部147により生成される。すなわち、画像生成部147は、スライダの位置に応じて決定された深さ方向の領域に基づいてEn−Face画像を生成する。本実施形態においては複数のモーションコントラストのEn−Face画像を並べることで輝度のEn−Face画像3005と同じ大きさの画像としている。複数のモーションコントラストのEn−Face画像を並べる方法としては例えば血管(血流部位)の連続性を判断すること方法が考えられる。
なお、画像生成部147および表示制御部149により、スライダ3001,3002が動かされる度に輝度のEn−Face画像3005およびモーションコントラストのEn−Face画像3006は更新される。すなわち、スライダ3001,3002を移動させると図6におけるステップS357でYesと判定されステップS355において画像生成部147が指定された深さ範囲におけるEn−Face画像を新たに生成する。そして、表示制御部149は画像生成部147で生成されたEn−Face画像を表示部146に表示させる。なお、図10に示すGUIを用いる際にはステップS356の処理を省略することとしてもよい。
なお、輝度のEn−Face画像3005とモーションコントラストのEn−Face画像3006とは眼底において略同一の位置のEn−Face画像である。また、輝度の断層像3003とモーションコントラストの断層像3004とは眼底における略同一の位置の断層像である。
上記のようなGUIを用いた場合の動作について説明する。スライダ3001により任意の層境界を指定し、スライダ3002により任意の層内の任意の位置を指定した場合について図16を用いて説明する。
図16において、深さ方向における範囲の上端を選択するスライダ2111と下端を選択するスライダ2112とは図9(a)におけるスライダ3001,3002にそれぞれ相当する。2121、2122、2123のそれぞれはセグメンテーションの結果に基づいた層境界を示している。境界2121と境界2122との間の層を層SA、境界2122と境界2123との間の層を層SBとすると、スライダ2111,2112によって選択された層は層SAと層SBになる。しかし、スライダ2112により選択された深さ方向における範囲の下端は層SB内に位置する。このようにスライダが層内に位置する時は、スライダにより層SB内のどの位置を指定しているかを画像生成部147は判定する。層SBの全体の幅を幅2103とすると、指定された位置と層境界2122との幅は幅2101となる。例えば、幅2103を10とし、幅2101が3であるとすると、層境界2122から層SB全体の3割にあたる位置が深さ方向の範囲の下端となる。従って図16で選択している深さ方向の範囲は、層SAの全体の幅である幅2110と、層SBの3割の幅である幅2101となる。
図17は、図16で選択した深さ方向の範囲を断層像上に示したものである。すなわち、図16のようにスライダを設定した場合に輝度またはモーションコントラストの断層像上に表示される境界を示すものである。スライダ2112に対応する境界が点線で示されている。層境界2122から層SB全体の3割にあたる位置がスライダ2112で指定されているため、境界を示す点線から層SAとSBとの層境界までの距離と、境界を示す点線と層SBの下端の層境界との距離との比は深さ方向に直交する方向の全ての位置で3:7となっている。例えば、スライダ2112を下方に移動させ層境界2122から層SB全体の4割にあたる位置が指定された指定した場合には、上記の比は4:6となる。従って、スライダの移動量が同じであっても点線が位置する層の層厚が大きい程、図17における点線の移動量は大きくなる。表示制御部149は、スライダの移動量に対して層厚が大きいほど表示部146に表示された境界の移動量を大きくする。すなわち、点線上の異なる位置において層厚が異なれば、スライダの移動量が同じあっても点線の移動量は異なる。つまり、スライダの移動量に対する境界の移動量は層厚に応じて異なる。すなわち、スライダが境界を移動させる指示を受け付けた場合、表示制御部149は、境界の移動量を表示部146に表示された境界が位置する層の層厚に応じて異なる移動量とする。より具体的にはスライダが境界を移動させる指示を受け付けた場合、表示制御部149は、深さ方向に直交する方向の各位置における層厚の違いに応じて表示部146に表示された境界の深さ方向に直交する方向の各点を異なる移動量で移動させる。
このように境界を示す表示を移動させるため、スライダ2112が層境界2122に位置する際には層SAと層SBとの層境界を示す形状であった境界を示す表示の形状は、徐々に変化し、層SBの下端に到達する際には層SBの下端に沿った形状となる。従って、境界を示す表示をスムースに変化させることが可能となる。
図10(a)−(c)は、スライダ3001とスライダ3002との移動を同期させてスライダ3001、3002を移動させた場合のEn−Face画像の変化および断層像に重畳された境界の変化の一例を示す図である。
図10(a)−(c)からわかるように、スライダ3001、3002によりEn−Face画像を生成するための深さ範囲を変更することで、輝度のEn−Face画像3005およびモーションコントラストのEn−Face画像3006が変化している。また、スライダ3001、3002の移動により断層像に重畳された境界が変化する。この境界の変化を図14を用いて説明する。図14(a)−(c)は、図10(a)−(c)におけるスライダと断層像を示したものである。スライダU1は深さ範囲の上端の選択、スライダU2は下端の選択をするためのGUIである。スライダU1,U2はスライダ3001,3002にそれぞれ対応する。スライダU1,U2の位置に応じて、この2つの選択に応じてEn−Face画像を生成するための深さ範囲は決まる。スライダU1,U2の位置に対応する境界を断層上にマーカで示したものが境界L1,L2である。境界L1はEn−Face画像を生成するための深さ範囲の上端、境界L2はEn−Face画像を生成するための深さ範囲の下端を示す。上述したように、スライダの移動量に対する境界の移動量は層厚に応じて異なるため境界L1,L2の垂直方向への幅は図上の矢印1902、1903、1904が示すように、網膜の位置によって幅は一定ではない。
図14(a)の状態からスライダをマウスドラッグで移動した場合の表示が、図14(b)である。スライダU3とU4の幅は図14(a)のスライダU1とU2の幅と同じである。しかし、スライダの移動に伴い図14(b)の状態に至るまで2つの境界が通過する層(層厚)が異なるため境界L3とL4との幅は図14(a)における境界L1とL2との幅と異なっている。
さらに、図14(b)の状態からスライダをマウスドラッグで移動した場合の表示を図14(c)に示す。こちらもスライダU5とU6の幅は図14(b)のスライダU3とU4の幅と同じである。しかし、スライダの移動に伴い図14(c)の状態に至るまで2つの境界が通過する層(層厚)が異なるため境界L4とL5との幅は図14(b)における境界L5とL6との幅と異なっている。同様の理由で、境界L4とL5との幅は図14(b)における境界L1とL2との幅と異なっている。
なお、セグメンテーションの結果の最上層である硝視体、最下層である脈絡膜は、セグメンテーションの結果における層の境界情報が正しくない場合は、スライダにより選択できないようにしてもよい。スライダの移動範囲を絶対値で指定することで硝子体および脈絡膜を選択できないようにしてもよい。この際、最上層や最下層までスライダが到達した場合は、マウスドラッグによる移動を止め、深さ方向の表示範囲を変更しないことが望ましい。
上記の実施形態によれば、層など深さ方向の領域を容易に指定することが可能となる。また、従来は層を指定することが基本であったが、本GUIを用いることで層境界のみならず層内の任意の位置を容易に指定することが可能である。
また、上記の実施形態によれば、スライダの近傍に層の名称が表示されているため、現在表示されているEn−Face画像がどの深さ位置の範囲のEn−Face画像であるか容易に把握することが可能である。
さらに、断層像上に表示された境界は所定の層境界の形状のまま移動するのではなく層厚に基づいて移動するためスムースに他の層境界の形状に合致するようになり、連続的に境界を動かす場合において操作しやすい。
また、スライダの移動に応じてEn−Face画像が逐次更新されるため操作者はEn−Face画像を見ながらスライダを適切な位置に移動させることが可能である。
なお、上記の実施形態ではスライダを範囲の上端および下端を指定するために2つ設けることとしたが、スライダを一つにし、スライダのつまみの形状を変形させるようにしてもよい。例えば、つまみの形状は可変であり、つまみの上部をドラッグすることで範囲の上端を指定し、つまみの下部をドラッグすることで範囲の下端を指定できるようにしてもよい。
また、スライダと層の名称が表示される位置は左右逆であってもよい。さらに、スライダの表示されている領域と層の名称が表示されている領域とは隣接している必要はなく並列に表示されていればよい。
[第2の実施形態]
層境界を指定したい場合、スライダでの指定では正確に層境界を示す線に合わせるのは煩わしい場合がある。そこで、スライダの右側に表示されている網膜層の名称がクリックされたことを表示制御部149が検知すると、表示制御部149は名称に対応する層境界が選択されたものと判断するようにしてもよい。
例えば、図14(a)に示す例において「RNFL」がクリックされると、表示制御部149は境界L1をRNFLとGCLとの境界に移動させる。さらに、表示制御部149はスライダU1をRNFLとGCLとの間の線の位置に移動させる。なお、「RNFL」がクリックされた場合、表示制御部149は境界L1をVitreousとRNFLとの境界に移動させることとしてもよい。すなわち、層の名称が指定された場合に、指定された層の上側の層境界が指定されたこととするか下側の層境界が選択されたこととするかは設定により変更可能であることとしてもよい。
また、図13に示すような層の境界の選択が可能なプルダウンを断層像3003等の上部に表示させることとし、選択肢の中より層の境界を選択させることとしてもよい。この場合も、例えば「RNFL」が選択されると、表示制御部149は境界L1をRNFLとGCLとの境界に移動させる。さらに、表示制御部149はスライダU1をRNFLとGCLとの間の線の位置に移動させる。
上記の実施形態によれば、スライダを用いて深さ方向の位置を指定する場合であっても層境界を容易に指定することが可能である。
[第3の実施形態]
検査結果を表示するレポート画面の例を図11に示す。なお、図11に示すレポート画面は表示制御部149の制御により表示部146に表示される。レポート画面上には、検査のサムネイル1600、検査の患者情報1603、および検査画像1601、1602が表示される。検査画像として、左からモーションコントラストのEn−Face画像、輝度のEn−Face画像、輝度の断層像が表示される。検査画像1601と検査画像1602とは、同一検査であってEn−Face画像の深さ方向の範囲が異なっている。例えば検査画像1601の深さ方向の範囲をNFL,検査画像1602の深さ方向の表示範囲をRPEとしている。すなわち、表示制御部149は異なる深さ方向の範囲のEn−Face画像を表示部146に同時に表示させることができる。あるいは、同一患者における過去検査との比較のため、表示制御部149は異なる時間に得られた同一の深さ方向の範囲のEn−Face画像を表示部146に表示させることとしてもよい。
この際、2つの検査画像ごとに深さ方向の表示範囲を選択するのは、煩わしい場合が生じる。そのような場合、選択範囲を簡単に呼び出せれば便利である。例えば、検査ごとに表示したい深さ方向の表示範囲が決まっている場合、その深さ方向の表示範囲を容易に呼び出すために、事前に深さ方向の表示範囲の設定を保存しておき、呼び出せるようにする。
例えば、深さ方向の表示範囲の設定し、設定ごとに名前を付けて記憶領域に保存し、プルダウンなどで設定を呼び出せる操作が考えられる。
図11(a)におけるサムネイル1600の詳細画面を図11(b)に示す。1601はSLO画像のサムネイル、1602は断層像のサムネイル、1603は検査情報を示す。検査情報1603には、モーションコントラストのEn−Face画像が検査に含まれることを示す撮影モード名「Angiography」が表示される。従って、操作者は検査にモーションコントラストを用いた画像が含まれることを容易に把握することができる。
なお、図11(b)では、1602は断層像のサムネイルであるが、断層像のサムネイルの代わりにモーションコントラストの断層像を表示しても良いし、SLO画像、断層像、モーションコントラストの断層像をサムネイル上に表示してもよい。あるいは、モーションコントラストの断層像とモーションコントラストのEn−Face画像を表示してもよい。また、表示制御部149は、モーションコントラストのEn−Face画像が検査に含まれる場合にはSLO画像のサムネイルを表示部146に表示させる。一方、モーションコントラストのEn−Face画像が検査に含まれる場合にはSLO画像のサムネイルに代えてモーションコントラストのEn−Face画像のサムネイルを表示部146に表示させることとしてもよい。
<その他の実施形態>
以上、実施形態例を詳述したが、開示の技術は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション等)から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード(コンピュータプログラム)を記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。