JP5669885B2 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP5669885B2
JP5669885B2 JP2013120095A JP2013120095A JP5669885B2 JP 5669885 B2 JP5669885 B2 JP 5669885B2 JP 2013120095 A JP2013120095 A JP 2013120095A JP 2013120095 A JP2013120095 A JP 2013120095A JP 5669885 B2 JP5669885 B2 JP 5669885B2
Authority
JP
Japan
Prior art keywords
tomographic image
image
tomographic
subject
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013120095A
Other languages
English (en)
Other versions
JP2013166072A (ja
Inventor
坂川 幸雄
幸雄 坂川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013120095A priority Critical patent/JP5669885B2/ja
Publication of JP2013166072A publication Critical patent/JP2013166072A/ja
Application granted granted Critical
Publication of JP5669885B2 publication Critical patent/JP5669885B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、被写体の断層画像の位置を補正する画像処理装置及び画像処理方法、眼科装置及びその制御方法、前記画像処理装置の各手段及び前記眼科装置の各手段としてコンピュータを機能させることを特徴とするプログラム、並びに、当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体に関する。
生活習慣病や失明原因の上位を占める各種疾病の早期診断を目的として、従来、被写体として眼部の撮像による検査が広く行われている。検診等においては、眼部全体における疾病を見つけることが求められるため、眼部の広い範囲にわたる画像(以下、「眼底広域画像」と称する)を用いた検査が必須となる。この眼底広域画像は、例えば、眼底カメラや走査型レーザー検眼鏡(Scanning Laser Ophthalmoscope:以下、「SLO」と称する)を用いて撮像される。
一方、下記の非特許文献1に原理紹介されている光干渉断層計(Optical Coherence Tomography:以下「OCT」と称する)などを用いた眼部の断層画像取得装置は、眼部の網膜層内部の状態を3次元的に観察することが可能である。このため、この断層画像取得装置は、疾病の診断をより的確に行うために有用であると期待されている。
しかしながら、例えば人間の眼は、固定された点を注視していても無意識に絶えず固視微動という微小な運動を行う。そして、例えばOCTを用いて眼部の撮影を行う場合、撮影開始から終了までに多少の時間がかかるため、この間に被写体である眼部(被検眼)が不意に動いてしまった場合、撮影画像にずれや歪みが生じてしまうことがある。
図24は、断層画像取得装置の視点から見た断層画像の撮影位置及び被検眼の網膜上での断層画像の撮影位置の一例を示す模式図である。
具体的に、図24(a)には、断層画像取得装置の視点から見た断層画像の撮影位置2410の一例が示されており、撮影位置2410の各ラインは、OCTによる断層画像に対応している。しかしながら、実際には、固視微動により眼球が動くため、図24(b)に示すように、被検眼の網膜上での断層画像の撮影位置2420の走査ラインは、図24(a)に対して異なるものとなってしまう。
そこで、従来、断層画像間の位置ずれを補正することによって、3次元形状データの歪みを軽減する試みがなされている。例えば、下記の特許文献1には、参照画像(2以上の断層画像と直交する1枚の断層画像、或いは眼底画像)を用いて2以上の断層画像間の位置ずれ補正を行う技術が示されている。
また、その他の関連技術として、下記の非特許文献2と下記の非特許文献3には、画像処理方法を用いて眼底画像から血管を検出する技術が示されており、また、下記の非特許文献4には、画像処理方法を用いて眼底画像から白斑を検出する技術が示されている。
特開2007−130403号公報
A.F.Fercher、C.K.Hitzenberger、G.Kamp、S.Y.Elzaiat、(Optics Communication)Vol.117,pp.43-48(1995) Elisa Ricci, Renzo Perfetti, "Retinal Blood Vessel Segmentation Using Line Operators and Support Vector Classification ", IEEE Transactions on Medical Imaging, Vol.26, No.10, pp.1357-1365, 2007 M.E. Martinez-Perez et al, "Segmentation of blood vessels from red-free and fluorescent retinal images", Medical Image Analysis, pp.47-61, 2007 M. Niemeijer et al, "Automated Detection and Differentiation of Drusen, Exudates, and Cotton-Wool Spots in Digital Color Fundus Photographs for Diabetic Retinopathy Diagnosis", Investigative Ophthalmology & Visual Science, Vol. 48, No. 5, pp.2260-2267, 2007
しかしながら、上述した特許文献1では、単にスキャナの走査位置を原点に戻す過程で参照画像を得ているものである。この際、例えば被検眼の網膜は基本的に層構造を有しており、この場合、上述した特許文献1の技術で得られた参照画像内には位置ずれ補正を行うのに十分な特徴が含まれている保証はないため、位置補正の精度の確保は困難である。また、特許文献1では、眼底画像を用いて断層画像の位置補正を行うことも示されているが、この場合、網膜に対して直交する深度方向の位置合わせは困難である。
本発明は、このような問題点に鑑みてなされたものであり、被写体の断層画像における位置ずれ補正を高精度で行える仕組みを提供することを目的とする。
本発明の画像処理装置は、被写体の断層画像の位置を補正する画像処理装置であって、前記被写体の第1の断層画像の解析結果に基づいて撮影された前記被写体の第2の断層画像を取得する第2の断層画像取得手段と、前記第2の断層画像を用いて前記第1の断層画像の位置ずれを補正する補正手段とを有する。
本発明の画像処理装置における他の態様は、眼科装置で得られた断層画像を処理する画像処理装置であって、被写体の第1の断層画像及び前記被写体の第2の断層画像を取得する取得手段と、前記被写体の網膜に沿った方向に前記第1の断層画像及び前記第2の断層画像に積算した第1の積算画像と、前記第2の断層画像を第2の方向に積算した第2の積算画像とを得る積算手段と、前記第1の積算画像及び前記第2の積算画像に基づいて、前記第1の断層画像の位置ずれを補正する補正手段とを有する。
また、本発明の画像処理装置におけるその他の態様は、眼科装置で得られた断層画像を処理する画像処理装置であって、被写体の断層画像を取得する取得手段と、前記被写体の網膜に沿った方向に前記断層画像を積算した積算画像を得る積算手段とを有する。
本発明の眼科装置は、被写体の第1の断層画像及び前記被写体の第2の断層画像を取得する取得手段と、前記被写体の網膜に沿った方向に前記第1の断層画像及び前記第2の断層画像に積算した第1の積算画像と、前記第2の断層画像を第2の方向に積算した第2の積算画像とを得る積算手段と、前記第1の積算画像及び前記第2の積算画像に基づいて、前記第1の断層画像の位置ずれを補正する補正手段とを有する。
また、本発明は、上述した画像処理装置による画像処理方法、上述した眼科装置の制御方法、上述した画像処理装置の各手段及び上述した眼科装置の各手段としてコンピュータを機能させることを特徴とするプログラム、並びに、当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体を含む。
本発明によれば、被写体の断層画像における位置ずれ補正を高精度で行うことができる。
本発明の第1の実施形態に係る撮影装置を含む撮影システムの概略構成の一例を示す模式図である。 本発明の第1の実施形態に係る撮影装置のハードウェア構成の一例を示す模式図である。 本発明の第1の実施形態に係る撮影装置の機能構成の一例を示す模式図である。 図3に示す断層画像取得部の内部構成の一例を示す模式図である。 図4に示す断層画像取得部(画像再構成部)において取得される断層画像を説明するための模式図である。 本発明の第1の実施形態に係る撮影装置の制御方法における処理手順の一例を示すフローチャートである。 本発明の第1の実施形態を示し、図6のステップS630における参照断層画像撮影パラメータの設定処理の詳細な処理手順の一例を示すフローチャートである。 本発明の第1の実施形態を示し、注目3次元断層画像と、その特徴量の抽出結果から求められる参照断層画像との位置関係の一例を示す模式図である。 本発明の第1の実施形態を示し、図6のステップS650における注目断層画像の位置ずれ補正処理の詳細な処理手順の一例を示すフローチャートである。 本発明の第1の実施形態を示し、図6のステップS650の処理結果の一例を示す模式図である。 本発明の第2の実施形態を示し、注目3次元断層画像と参照断層画像との位置関係の一例を示す模式図である。 本発明の第2の実施形態を示し、図6のステップS650における注目断層画像の位置ずれ補正処理の詳細な処理手順の一例を示すフローチャートである。 本発明の第2の実施形態を示し、図6のステップS650の処理結果の一例を示す模式図である。 本発明の第3の実施形態を示し、断層画像における血管像(特徴)の一例を示す模式図である。 本発明の第3の実施形態に係る撮影装置の機能構成の一例を示す模式図である。 本発明の第3の実施形態を示し、図6のステップS630における参照断層画像撮影パラメータの設定処理の詳細な処理手順の一例を示すフローチャートである。 本発明の第3の実施形態を示し、注目断層画像と積算画像の一例を示す模式図である。 本発明の第4の実施形態を示し、図6のステップS650における参照断層画像撮影パラメータの設定処理の詳細な処理手順の一例を示すフローチャートである。 本発明の第4の実施形態を示し、図6のステップS650の処理結果の一例を示す模式図である。 本発明の第5の実施形態を示し、断層画像における白斑像(特徴)の一例を示す模式図である。 本発明の第5の実施形態に係る撮影装置の機能構成の一例を示す模式図である。 本発明の第5の実施形態に係る撮影装置の制御方法における処理手順の一例を示すフローチャートである。 本発明の第5の実施形態を示し、図22のステップS2220における参照断層画像撮影パラメータの設定処理の詳細な処理手順の一例を示すフローチャートである。 断層画像取得装置の視点から見た断層画像の撮影位置及び被検眼の網膜上での断層画像の撮影位置の一例を示す模式図である。
以下に、図面を参照しながら、本発明を実施するための形態(実施形態)について説明する。
(第1の実施形態)
まず、本発明の第1の実施形態について説明する。
図1は、本発明の第1の実施形態に係る撮影装置を含む撮影システムの概略構成の一例を示す模式図である。
図1に示すように、撮影システム10は、撮影装置100と、データサーバ200と、ローカル・エリア・ネットワーク(LAN)300を有して構成されている。即ち、図1に示す撮影システム10は、撮影装置100が、イーサネット(登録商標)等によるLAN300を介して、データサーバ200に接続される構成となっている。
なお、図1に示す例では、撮影装置100と、データサーバ200との接続をLAN300により行う形態について示しているが、本実施形態においては、これに限定されるものではない。例えば、LAN300に換えて、USBやIEEE1394等のインターフェイスを用いる形態であっても、また、インターネット等の外部ネットワークを用いる形態であってもよい。
本実施形態に係る撮影装置100は、被写体として、例えば眼部(即ち被検眼)の断層画像等を撮影するものである。なお、本実施形態では、被写体の一例として、被検眼を適用する例を示すが、本発明においては、これに限定されるものではなく、断層画像として撮像対象になるものであれば適用可能である。
具体的に、本実施形態に係る撮影装置100は、撮影した注目断層画像(注目3次元断層画像)を画像解析して、解析結果に基づいて当該注目断層画像の位置ずれ補正に用いるための参照断層画像の最適な撮影パラメータを設定する。そして、撮影装置100は、設定した撮影パラメータを用いて参照断層画像の撮影を行って、撮影した参照断層画像を用いて前記注目断層画像の位置ずれ補正を行う。この際、撮影パラメータは、例えば、参照断層画像の取得部位や位置、断層画像の空間的範囲、スキャンライン間隔などの詳細度、走査順や走査方向、走査速度といった走査法を指示するパラメータである。
データサーバ200は、撮影装置100が出力する被検眼の断層画像やその解析結果の情報、更には、参照断層画像を撮影する際の撮影パラメータの情報等を保持するサーバである。また、データサーバ200は、撮影装置100からの要求に応じて、被検眼に関する過去のデータを撮影装置100へ送信する。
次に、図1に示す撮影装置100のハードウェア構成について説明する。
図2は、本発明の第1の実施形態に係る撮影装置100のハードウェア構成の一例を示す模式図である。
図2に示すように、撮影装置100は、CPU101、RAM102、ROM103、外部記憶装置104、撮影部105、モニタ106、キーボード107、マウス108、通信インターフェイス109、バスの各ハードウェア構成を有して構成されている。
CPU101は、ROM103或いは外部記憶装置104に格納されたプログラムやデータを用いて、当該撮影装置100全体の制御を行う。
RAM102は、外部記憶装置104(或いはROM103)からロードされたプログラムやデータを一時的に記憶するエリアを備えると共に、CPU101が各種の処理を行うために必要とするワークエリアを備える。
ROM103には、一般に、コンピュータのBIOSや設定データなどが格納されている。
外部記憶装置104は、ハードディスクドライブなどの大容量情報記憶装置として機能する装置であり、例えば、オペレーティングシステムやCPU101が実行するプログラム等を保存する。また、本実施形態の説明において既知の各種の情報やデータは、外部記憶装置104に保存されており、必要に応じて、RAM102にロードされる。なお、本例では、CPU101が実行するプログラムは、外部記憶装置104に記憶されているものとするが、例えば、ROM103に記憶されている形態であってもよい。
撮影部105は、CPU101の制御に基づいて、被写体(本例では被検眼)の断層画像等の各種の被写体画像の撮影を行う。
モニタ106は、例えば、液晶ディスプレイなどにより構成されている。
キーボード107及びマウス108は、入力デバイスを構成するものであり、操作者は、これらの入力デバイスを用いて、各種の指示を撮影装置100に与えることができる。
通信インターフェイス109は、撮影装置100が外部装置(データサーバ200等)との間で各種のデータの通信を行うためのものであり、例えば、IEEE1394やUSB、イーサネットポート等によって構成されている。通信インターフェイス109を介して取得されたデータは、外部記憶装置104に取り込まれ、その後、必要に応じて、RAM102にロードされる。
図2に示すバスは、撮影装置100の内部の各構成要素(101〜109)を相互に通信可能に接続するものである。
次に、第1の実施形態に係る撮影装置100の機能構成について説明する。
図3は、本発明の第1の実施形態に係る撮影装置100の機能構成の一例を示す模式図である。なお、以下の説明においては、図3に示す第1の実施形態に係る撮影装置100を「撮影装置100−1」として説明を行う。
図3に示すように、撮影装置100−1は、指示取得部110、断層画像取得部120、断層画像解析部130、断層画像撮影パラメータ設定部140、記憶部150、断層画像位置補正部160、及び、表示部170の各機能構成を有して構成されている。さらに、断層画像位置補正部160は、断層画像主走査方向位置補正部161、及び、断層画像副走査方向位置補正部162を有して構成されている。
ここで、本実施形態においては、例えば、図2に示すCPU101及び外部記憶装置104に記憶されているプログラム、並びに、キーボード107及びマウス108の入力デバイスから、図3に示す指示取得部110が構成される。また、例えば、図2に示すCPU101及び外部記憶装置104に記憶されているプログラム、並びに、撮影部105から、図3に示す断層画像取得部120が構成される。また、例えば、図2に示すCPU101及び外部記憶装置104に記憶されているプログラムから、図3に示す断層画像解析部130及び断層画像撮影パラメータ設定部140が構成される。また、例えば、図2に示すRAM102、ROM103或いは外部記憶装置104から、図3に示す記憶部150が構成される。また、例えば、図2に示すCPU101及び外部記憶装置104に記憶されているプログラム、外部記憶装置104等、並びに、通信インターフェイス109から、図3に示す断層画像位置補正部160が構成される。また、例えば、図2に示すCPU101及び外部記憶装置104に記憶されているプログラム、並びに、モニタ106から、図3に示す表示部170が構成される。
なお、図3に示す撮影装置100−1の各機能構成における機能の説明については、後述する図6、図7及び図9のフローチャートの説明と併せて行う。
ここで、図3に示す断層画像取得部120の内部構成について説明する。
図4は、図3に示す断層画像取得部120の内部構成の一例を示す模式図である。本実施形態の断層画像取得部120は、例えば、フーリエドメイン方式のOCTを具備して構成されている。
断層画像取得部120は、ガルバノミラー駆動機構121、ガルバノミラー122、低コヒーレンス光源123、ハーフミラー124、対物レンズ125、参照ミラー126、回折格子127、1次元光センサアレイ128及び画像再構成部129を有している。
断層画像取得部120では、指示取得部110で取得された撮影指示の情報や断層画像撮影パラメータ設定部140で設定された撮影パラメータに従って、ガルバノミラー駆動機構121を制御し、ガルバノミラー122を駆動する。そして、断層画像取得部120では、低コヒーレンス光源123からの光ビームをハーフミラー124により、対物レンズ125を経由して被検眼20に向かう信号光と固定配置された参照ミラー126に向かう参照光とに分割する。続いて、断層画像取得部120では、被検眼20及び参照ミラー126からそれぞれ反射した信号光及び参照光を重畳して干渉光を生成する。
続いて、断層画像取得部120では、この生成した干渉光を回折格子127によって波長λ1〜λnの波長成分に分光して、各波長成分を1次元光センサアレイ128によって検出する。そして、1次元光センサアレイ128を構成する各1次元光センサは、検出した波長成分の光強度の検出信号を画像再構成部129に出力する。そして、画像再構成部129は、1次元光センサアレイ128から出力された干渉光の各波長成分の検出信号に基づいて、この干渉光についての波長−光強度の関係、即ち干渉光の光強度分布(波長スペクトル)を求める。そして、画像再構成部129は、求めた干渉光の波長スペクトルをフーリエ変換して、被検眼20の網膜における断層画像を再構成して、これを記憶部150や断層画像解析部130に出力する。
次に、断層画像取得部120(画像再構成部129)において再構成される断層画像について説明する。
図5は、図4に示す断層画像取得部120(画像再構成部129)において取得される断層画像を説明するための模式図である。
図5において、画像510は、被検眼20の網膜画像であり、画像520は、断層画像取得部120により取得された被検眼20の網膜の断層画像である。断層画像520は、網膜に対する奥行き方向とそれに直交する方向との2次元の断面、即ち図5において示すX軸511及びZ軸513で規定される平面に相当する画像である。この断層画像520は、被検眼20の網膜に対して奥行き方向を複数スキャンするスキャンライン(以下、「A−スキャン521」と称する)により構成される。そして、被検眼20の網膜に対して奥行き方向の2次元断層画像を構成する断層画像520は、B−スキャン画像(B−スキャン断層画像)と呼ばれる。また、位置514は、断層画像520の位置を示している。
1枚のB−スキャン画像を構成するために網膜上でスキャンラインを走査させる。この走査を主走査(或いはトランスバーサルスキャン)と呼ぶ。X軸511及び511aは、この主走査の方向を示している。
さらに、連続的に断層画像を撮影するときの撮影走査の方向は、Y軸512及び512aで示されている。ここで、この撮影走査を副走査と呼ぶ。また、A−スキャンの奥行き方向は、Z軸513で示している。
このように、本例では、主走査方向、副走査方向、奥行き方向は、それぞれ、X軸511の方向、Y軸512の方向、Z軸513の方向となっている。そして、副走査方向(Y軸512の方向)にB−スキャン画像の撮像位置をずらしながら撮影を行うと、3次元断層画像530が得られる。
図5に示す断層画像を再構成するため、断層画像取得部120は、図4に示すガルバノミラー122を主走査方向に移動しながらA−スキャン521を1本ずつ再構成して1枚のB−スキャン画像を構成する。このようにして取得された断層画像(3次元断層画像)530は、注目断層画像として断層画像取得部120から記憶部150に出力され、この記憶部150に一次記憶される。
本実施形態では、3次元断層画像530の中から1枚のB−スキャン画像を基準として、その他のB−スキャン画像の相対位置を(x,y,z)として表す。3次元断層画像530を撮影する際に、被検眼20である眼球が動くとB−スキャン画像の撮影位置は狙ったところと異なるため、実際に撮影したB−スキャン画像同士の相対位置(x,y,z)の補正が必要になる。
次に、図1に示す撮影装置100の制御方法における処理手順について説明する。
図6は、本発明の第1の実施形態に係る撮影装置100の制御方法における処理手順の一例を示すフローチャートである。
<ステップS610>
まず、ステップS610において、指示取得部110は、操作者が入力した、被験者の眼底を被写体(被検眼)とする注目断層画像の撮影指示の情報を取得する。ここで、撮影指示の情報としては、例えば、断層画像の取得対象における眼底上の部位や位置、撮影範囲などの撮影パラメータ等の指示を取得する。この撮影指示は、指示取得部110におけるキーボード107やマウス108を介して、操作者によって入力される。そして、指示取得部110は、取得した指示情報を断層画像取得部120へ送信する。
<ステップS620>
続いて、ステップS620において、断層画像取得部120は、指示取得部110が取得した断層画像の撮影指示(撮影パラメータ等)に基づいて、被検眼の網膜の断層画像を3次元的に撮影して、注目断層画像(注目3次元断層画像)を取得する処理を行う。ここで、ステップS620で取得される注目断層画像(注目3次元断層画像)は、第1の断層画像を構成し、また、ステップS620の処理を行う断層画像取得部120は、第1の断層画像取得手段を構成する。そして、断層画像取得部120は、取得した注目断層画像を記憶部150や断層画像解析部130に出力する。
<ステップS630>
続いて、ステップS630において、まず、断層画像位置補正部160及び断層画像解析部130において所定の処理が行われる。その後、断層画像撮影パラメータ設定部140は、ステップS620で取得された注目断層画像の位置ずれ補正に用いる最適な参照断層画像を撮影するための参照断層画像撮影パラメータを設定する処理を行う。
このステップS630における処理の詳細については、図7を用いて後述するが、ここで、当該処理の概略について説明する。
まず、断層画像位置補正部160(断層画像主走査方向位置補正部161)は、断層画像取得部120で撮影し取得された注目断層画像(注目3次元断層画像)のB−スキャン画像同士のX方向、Z方向の位置ずれ補正を行う。そして、断層画像解析部130は、断層画像位置補正部160において各B−スキャン画像間のXZ方向の位置ずれ補正がなされた注目断層画像(注目3次元断層画像)のY方向の位置ずれ補正の基準となる特徴量を抽出する。その後、断層画像撮影パラメータ設定部140は、断層画像解析部130で抽出された特徴量を多く含む参照断層画像を撮影するための撮影パラメータを参照断層画像撮影パラメータとして設定し、これを断層画像取得部120に送信する。
<ステップS640>
続いて、ステップS640において、断層画像取得部120は、ステップS630において設定した参照断層画像撮影パラメータに基づいて、参照断層画像を撮影して取得する処理を行う。ここで、ステップS640で取得される参照断層画像は、第2の断層画像を構成し、また、ステップS640の処理を行う断層画像取得部120は、第2の断層画像取得手段を構成する。そして、断層画像取得部120は、取得した参照断層画像を記憶部150に出力する。
<ステップS650>
続いて、ステップS650において、断層画像位置補正部160は、ステップS640で取得された参照断層画像を用いて、注目断層画像の位置ずれ補正を行う。具体的に、断層画像位置補正部160は、参照断層画像と注目断層画像(注目3次元断層画像)との位置関係を特定し、当該注目断層画像のY方向の位置ずれ補正を行う。そして、断層画像位置補正部160は、X,Y,Z方向の位置ずれ補正がされた注目断層画像(注目3次元断層画像)を記憶部150や外部装置へ送信する。なお、本実施形態のステップS650における処理の詳細については、図9を用いて後述する。
<ステップS660>
続いて、ステップS660において、表示部170は、ステップS650において位置ずれ補正がされた注目断層画像(注目3次元断層画像)を記憶部150から入力して、これをモニタ106に表示する。例えば、表示部170は、注目断層画像(注目3次元断層画像)を3次元表示する際に、各注目B−スキャン画像の(x,y,z)の位置ずれ補正情報に基づいて、3次元表示空間に各注目B−スキャン画像を配置して表示する。或いは、表示部170は、3次元表示空間に各注目B−スキャン画像を配置した後に注目B−スキャン画像間での補間を行って、表示を行うようにしてもよい。
<ステップS670>
続いて、ステップS670において、例えば指示取得部110は、外部から取得した注目断層画像の処理を終了するか否かの指示情報に基づいて、注目断層画像の処理を終了するか否かの判断を行う。この指示は、ステップS610の説明と同様に、指示取得部110におけるキーボード107やマウス108を介して、操作者によって入力される。
ステップS670の判断の結果、注目断層画像の処理を終了しない(処理を継続する)場合には、ステップS610に戻り、次の被検眼に対する処理(或いは、同一被検眼に対する再処理)を実行する。
一方、ステップS670の判断の結果、注目断層画像の処理を終了する場合には、図6に示すフローチャートにおける処理を終了する。
次に、図6のステップS630における処理の詳細な処理手順について説明する。
図7は、本発明の第1の実施形態を示し、図6のステップS630における参照断層画像撮影パラメータの設定処理の詳細な処理手順の一例を示すフローチャートである。
<ステップS631>
まず、図7のステップS631において、断層画像主走査方向位置補正部161は、断層画像取得部120で撮影し取得された注目断層画像(注目3次元断層画像)のB−スキャン画像同士のX方向、Z方向の位置ずれ補正を行う。そして、断層画像主走査方向位置補正部161は、主走査方向の位置ずれ補正がなされた注目断層画像(注目3次元断層画像)を断層画像解析部130及び記憶部150へ出力する。
以下、ステップS631における注目3次元断層画像の主走査方向の位置ずれ補正を行う具体的な処理の方法について説明する。
具体的に、本実施形態では、主走査方向の補正は、B−スキャン画像面方向、または、X,Z方向での補正とも呼ぶ。本実施形態では、処理対象である注目3次元断層画像をB−スキャン画像の集合と考え、それぞれのB−スキャン画像に対して以下の2次元画像処理を実行する。
まず、断層画像主走査方向位置補正部161は、隣接するB−スキャン画像間の位置ずれ量を計算するために注目領域(以降、「ROI」と称する)を決定し、パターンマッチング法を用いて、隣接するB−スキャン画像の同じパターンを探す処理を行う。本実施形態では、パターンマッチング法における類似度として、以下の(1)式に示すSSD(Sum of Squares Difference)を用いる。
Figure 0005669885
ただし、(1)式においてAとBは隣接するB−スキャン画像の注目領域の画素値を示し、i,jは注目領域内での画素の位置を示し、Nは注目領域内の総画素数を示している。
そして、断層画像主走査方向位置補正部161は、ROI(注目領域)を隣接する断層画像に対して、断層画像面内に平行移動、即ちx(画像の横方向)とz(画像の縦方向)の画素を移動しながらSSDが最小になる位置を探索する。そして、断層画像主走査方向位置補正部161は、SSDが最小となる位置を隣接するB−スキャン画像の位置ずれ量とする。
ここで、ROI(注目領域)のサイズは、撮影対象となる範囲や被写体の大きさ等を考慮して予め決定されているものとする。例えば、128画素×128画素としてもよいし、この値に限ることはなく、例えばB−スキャン画像全体の中心の3分の2としてもよい。
なお、本実施形態では、SSDを用いて説明したがこれに限らず、例えば、相互情報量法や相互相関係数法など、その他の公知の技術によってB−スキャン画像の位置ずれ量の計算を行ってもよい。
そして、断層画像主走査方向位置補正部161は、算出した位置ずれ量に基づいて、B−スキャン画像間(XZ方向)の位置ずれを補正して、位置ずれ補正後の注目断層画像(注目3次元断層画像)を得る。そして、断層画像主走査方向位置補正部161は、位置ずれ補正後の注目断層画像(注目3次元断層画像)と、それぞれのB−スキャン画像の(x、z)位置情報とを記憶部150へ送信する。以降、このステップ631で得られたXZ方向の位置補正がされた注目断層画像(注目3次元断層画像)を、XZ補正された注目3次元断層画像と呼ぶ。
<ステップS632>
続いて、ステップS632において、断層画像解析部130は、XZ補正された注目3次元断層画像を記憶部150から読み出し、その特徴量を抽出する処理を行う。ここで、本例では、特徴量として、コントラストの変化量を抽出するものとする。
具体的に、断層画像解析部130は、下記の(2)式に基づき、XZ補正された注目3次元断層画像の各B−スキャン画像に対してコントラストの変化量g(i,j,k)を計算により抽出する。
Figure 0005669885
(2)式においてf(i,j,k)は、注目3次元断層画像の位置(i,j,k)における画素値を示す。また、Lxは図5において3次元断層画像530を注目3次元断層画像とした場合のX軸511の方向、LzはZ軸513の方向、LyはY軸512の方向の画素数を示す。
そして、断層画像解析部130は、XZ補正された注目3次元断層画像から抽出した特徴量を断層画像撮影パラメータ設定部140へ送信する。
本実施形態では、抽出する特徴量としてコントラストの変化量を用いたが、画像内で空間的にその周辺と差異を有し、それにより画像位置を特定可能なものであればこれに限らない。例えば、画像中のエッジ強度を特徴量として用いる場合には、ラプラシアンフィルタ、Sobelフィルタ、Cannyフィルタなどを適用してもよい。さらに、上述した例では、特徴量を抽出するのに当たって、2次元画像としての説明を行ったが3次元的に画像処理を行ってもよい。
<ステップS633>
続いて、ステップS633において、断層画像撮影パラメータ設定部140は、ステップS632で抽出された特徴量に基づいて、参照断層画像の撮影パラメータを設定する。即ち、本実施形態では、断層画像撮影パラメータ設定部140は、ステップS632で抽出されたコントラストの変化量g(i,j,k)を用いて、できるだけコントラストの変化の多い領域を通る参照断層画像を撮影するためのパラメータを設定する。
図8は、本発明の第1の実施形態を示し、注目3次元断層画像810と、その特徴量の抽出結果から求められる参照断層画像820との位置関係の一例を示す模式図である。
断層画像撮影パラメータ設定部140は、図8(a)に示す参照断層画像820が、図8(a)に示す注目3次元断層画像810においてできるだけ特徴量の多い部分と交差するように、当該参照断層画像820の撮影パラメータを設定する。
以下に、本実施形態における撮影パラメータの具体例について説明する。
まず、断層画像撮影パラメータ設定部140は、注目3次元断層画像810のk番目のB−スキャン画像において、ステップS632で算出されたコントラストの変化量gをZ方向に積算した値が最大となる位置P(k)を、以下の(3)式により計算する。
Figure 0005669885
ただし、位置P(k)は、0≦P(k)≦Lxであり、コントラストの変化量g(i,j,k)の積算値が最大となるX方向の位置を表す。
続いて、断層画像撮影パラメータ設定部140は、図8(b)に示すように、各P(k)に対して誤差が最小となるような軌跡Qを求める。ここで、軌跡Qを求める際には、例えば、B−スキャン画像の位置kに対してP(k)を従属変数として最小二乗法などの公知の方法を用いればよい。
そして、断層画像撮影パラメータ設定部140は、このようにして求めた軌跡Qを通る面を求める参照断層画像820として取得可能な撮影パラメータを設定する。即ち、断層画像撮影パラメータ設定部140は、断層画像取得部120のガルバノミラー駆動機構121による光ビームの走査が軌跡Qを通るような撮影パラメータを設定し、断層画像取得部120に対して送信する。
なお、参照2次元断層画像候補は、直線ではなく、図8(c)に示すように、注目3次元断層画像830の中で、曲線としてもよい。この曲線を計算する際には、例えばBスプライン曲線を用いる。ただし、上述したように、断層画像取得部120がB−スキャン画像を撮影する際にはガルバノミラー122の動きによって主走査が行われるので、ガルバノミラー122の制御可能な曲線の範囲内にする必要がある。
以上のようにして、ステップS633の処理が行われ、ステップS633の処理が終了すると、図7のフローチャートの処理(即ち、図6のステップS630の処理)が終了する。
なお、本実施形態においては、ステップS631において、注目3次元断層画像のB−スキャン画像面方向の位置ずれを補正してから、その後に特徴量の抽出を行っている。しかしながら、この位置ずれ補正処理を行わずに参照断層画像の撮影パラメータを設定する形態であってもよい。
次に、図6のステップS650における処理の詳細な処理手順について説明する。
図9は、本発明の第1の実施形態を示し、図6のステップS650における注目断層画像の位置ずれ補正処理の詳細な処理手順の一例を示すフローチャートである。このステップS650において、断層画像副走査方向位置補正部162は、XZ補正された注目3次元断層画像に対して、Y方向の位置ずれを補正する処理を行う。
<ステップS651>
まず、図9のステップS651において、断層画像副走査方向位置補正部162は、図8に示す注目3次元断層画像810を記憶部150から取り出し、そのうちの1枚目の注目B−スキャン画像b(k)を取得する。以下のステップにおいて、取得した注目B−スキャン画像と参照断層画像との位置あわせ処理を行う。
<ステップS652>
続いて、ステップS652において、断層画像副走査方向位置補正部162は、現在処理対象の注目B−スキャン画像を構成する各A−スキャンの中で、参照断層画像820(参照B−スキャン画像)中で最も類似度の高いA−スキャンの位置R(k)を特定する。ここで、類似度の評価は、本実施形態では、(1)式で表されるSSDを注目B−スキャン画像内の各A−スキャンと、参照断層画像内の各A−スキャンに対して計算することで行う。
図8(d)は、上述のようにして特定した位置R(k)を図示したものである。特定された位置R(k)は、注目3次元断層画像810内のk番目のB−スキャン画像に対して最も類似性の高い参照断層画像内の位置であり、例えば断層画像副走査方向位置補正部162内のメモリ(不図示)に記憶される。
<ステップS653>
続いて、ステップS653において、断層画像副走査方向位置補正部162は、ステップS652で得られたA−スキャンの位置R(k)に基づいて、現在の処理対象の注目B−スキャン画像の位置(Y方向位置)を決定して補正する。即ち、断層画像副走査方向位置補正部162は、図8(d)に示すように、k番目のB−スキャン画像の参照断層画像に基づく位置を位置R(k)に対応する、破線で示す位置にあるものとして補正を行う。ここで、位置R(k)がk番目のB−スキャン画像のY方向の位置情報(y)とする。さらに、そのY方向の位置情報を、ステップS631で得られた注目B−スキャン画像のX及びZ方向の位置情報と1つの組(x、y、z)として、その注目B−スキャン画像とともに記憶部150へ送信する。
<ステップS654>
続いて、ステップS654において、断層画像副走査方向位置補正部162は、注目3次元断層画像の次の処理すべき注目B−スキャン画像(即ち、Y方向の位置ずれ補正処理を行っていない注目B−スキャン画像)があるか否かを判断する。
ステップS654の判断の結果、次の処理すべき注目B−スキャン画像がある場合には、ステップS655に進む。ステップS655に進むと、断層画像副走査方向位置補正部162は、当該次の処理すべき注目B−スキャン画像を記憶部150から取得する。その後、ステップS652に戻って、ステップS655で取得した次の処理すべき注目B−スキャン画像を処理対象の注目B−スキャン画像として、ステップS652以降の処理を行う。
一方、ステップS654の判断の結果、次の処理すべき注目B−スキャン画像がない場合には、図9に示すフローチャートの処理を終了する。以上の図9に示す処理を経ることにより、本実施形態における図6のステップS650の処理がなされる。
図10は、本発明の第1の実施形態を示し、図6のステップS650の処理結果の一例を示す模式図である。
図10において、注目3次元断層画像1010は、ステップS631でXZ補正された注目3次元断層画像であり、参照断層画像1020は、ステップS640で撮影された参照断層画像である。B−スキャン画像1030及び1040は、注目3次元断層画像1010のB−スキャン画像である。
上述したステップS650の処理によって、補正された注目3次元断層画像1010を構成する各B−スキャン画像のY方向の位置が、参照断層画像1020との対応により決定されることになる。即ち、図10において、注目3次元断層画像1010のあるB−スキャン画像1030では、その内部のA−スキャン1031と参照断層画像1020内のA−スキャン1021が最も類似している。また、注目3次元断層画像1010の他のB−スキャン画像1040では、その内部のA−スキャン1041と参照断層画像1020内のA−スキャン1022が最も類似している。
したがって、Y方向におけるB−スキャン画像1030の位置は、参照断層画像1020内のA−スキャン1021の位置に対応し、この方向の位置ずれが補正される。また、Y方向におけるB−スキャン画像1040の位置は、参照断層画像1020内のA−スキャン1022の位置に対応し、この方向の位置ずれが補正される。
なお、本実施形態では、補正後の位置(x,y,z)をそれぞれの注目B−スキャン画像とともに保存するようにしていたが、この形態に限定されるものではない。例えば、注目B−スキャン画像面内(XZ面)の各画素を動かして(x,z)での画素の位置補正を行い、B−スキャン画像のY方向位置(y)のみをそのB−スキャン画像とともに保存するようにしてもよい。
以上説明したように、第1の実施形態では、注目断層画像の解析結果に基づいて断層画像の位置合わせに有効な特徴量を含む参照断層画像を撮影し、この参照断層画像を用いて注目断層画像の位置ずれを補正するようにしている。かかる構成によれば、被写体の断層画像における位置ずれ補正を高精度で行うことができる。
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。
第1の実施形態に係る撮影装置100では、断層画像撮影パラメータ設定部140は、参照断層画像を1枚のB−スキャン画像に設定したものであった。しかしながら、断層画像の位置ずれ補正の精度を向上させるために、複数のB−スキャン画像で構成された参照断層画像を用いることも考えられ、第2の実施形態では、複数のB−スキャン画像で構成された参照断層画像を用いる。
図11は、本発明の第2の実施形態を示し、注目3次元断層画像と参照断層画像との位置関係の一例を示す模式図である。
図11に示すように、点線で示されている注目3次元断層画像1110の中に、参照断層画像の撮影範囲1120がある。注目3次元断層画像1110は、B−スキャン画像面方向の位置ずれを補正した後の注目3次元断層画像である。また、図11のA、B及びCは、参照断層画像のサイズを表している。具体的に、Aは注目3次元断層画像1110の主走査方向におけるサイズを示し、Bは注目B−スキャン画像を交差する方向におけるサイズを示し、Cは注目B−スキャン画像の奥行き方向におけるサイズを示している。
本実施形態に係る撮影装置では、複数のB−スキャン画像で構成される参照断層画像の撮影パラメータの設定を行い、その撮影パラメータで撮影された参照断層画像を用いて注目3次元断層画像の位置ずれ補正を行う。
第2の実施形態に係る撮影システムの概略構成は、図1に示す第1の実施形態に係る撮影システム10の概略構成と同様である。また、第2の実施形態に係る撮影装置のハードウェア構成は、図2に示す第1の実施形態に係る撮影装置100のハードウェア構成と同様である。また、第2の実施形態に係る撮影装置の機能構成は、図3に示す第1の実施形態に係る撮影装置100−1と同様である。
さらに、第2の実施形態に係る撮影装置100の制御方法における処理手順は、基本的には、図6及び図7に示す処理手順と同様である。ただし、第2の実施形態では、図7のステップS633の処理内容、及び、図6のステップS650の処理の詳細な処理内容が第1の実施形態と異なるため、この点について以下に説明を行う。
<ステップS633>
図7のステップS633において、断層画像撮影パラメータ設定部140は、ステップS632で抽出された特徴量に基づいて、参照断層画像の撮影パラメータを設定する。本実施形態のステップS633の具体的な処理について以下に説明する。
まず、断層画像撮影パラメータ設定部140は、参照断層画像における撮影時間を設定する。ここでは、撮影時間が長くなると被検眼20における固視微動での移動量が大きくなるため、なるべく短い時間を設定する。ただし、撮影時間が短すぎた場合には、十分なサンプリングA−スキャンが得られないので、サンプリングA−スキャンの数またはサンプリング密度と撮影時間のバランスによって決定する。もちろん、参照断層画像の撮影時間は、注目3次元断層画像の撮像時間よりも長くなると、注目3次元断層画像以上に参照断層画像に被検眼20における固視微動の影響を受けるので、注目3次元断層画像の撮像時間よりも短くする(例えば1/3や1/4の時間)。なお、本実施形態では、参照断層画像における撮影時間を0.5秒のように固定値に決定するが、この値に限定されるものではない。
次に、断層画像撮影パラメータ設定部140は、参照断層画像における撮影範囲を設定する。ここで、参照断層画像の撮像範囲としては、図11に示す参照断層画像の撮影範囲1120を決定する。ここで、フーリエドメイン方式の断層画像取得部120の場合には、被検眼20の網膜の奥行き方向のサイズCは装置に依存するので固定である場合が多い。そこで、本実施形態では、参照断層画像の撮影範囲1120として、奥行き方向のサイズCを固定値とし、サイズA及びBを決定する。
参照断層画像の撮影範囲1120は、注目3次元断層画像を構成する2次元断層画像をすべて交差する必要があるので、被検眼20の網膜上で参照断層画像の撮影範囲1120のサイズBを注目3次元断層画像のY方向のサイズと同じにする。
また、参照断層画像は、注目3次元断層画像と同じように被検眼20の固視微動の影響を受ける。そのため、参照断層画像の撮影範囲1120のサイズAを注目3次元断層画像のB−スキャン画像面方向の位置ずれ量を考慮して、例えばその位置ずれ量の2倍にする。なお、サイズAは、本実施形態の説明のように2倍に限定されるものではなく、位置ずれ量以上にするのであればよい。
なお、サイズA及びBで決まる撮影範囲1120は、矩形である必要はなく、撮影対象となる網膜領域に応じて、より多くの特徴を含む可能性のある領域であれば、どんな形状にしてもよい。
次に、断層画像撮影パラメータ設定部140は、注目3次元断層画像の主走査方向における参照断層画像のA−スキャン数を設定する。本実施形態では、後述のパターンマッチングを行うために、例えば、参照断層画像のA−スキャン数として64を設定する。なお、本実施形態では、説明の都合上、参照断層画像のA−スキャン数として64を設定しているが、この値に限らず、例えば128や32など、注目3次元断層画像の位置ずれ補正に十分なA−スキャン数であれば適用可能である。
ここで、参照断層画像における撮影時間を0.5秒として撮影をする場合であって、且つ、断層画像取得部120のサンプリングA−スキャンの最大レートを60,000のA−スキャン/秒とすると、0.5秒間に30,000のA−スキャンが得られる。そうすると、注目3次元断層画像のY方向でのサンプリングA−スキャン数は、以下の(4)式のようになる。
30,000/64=468 ・・・ (4)
また、被検眼20の網膜上での参照断層画像の撮影範囲1120は、注目3次元断層画像領域の中で、最も多くの特徴量を含む領域にする。そして、領域候補として、注目3次元断層画像領域の中に上記設定した領域サイズで作れる領域になる。すなわち、注目3次元断層画像領域にN個の参照断層画像の撮影領域候補がある場合には、最も多く特徴量の総和M( )を持つ参照断層画像の撮像領域uは、以下の(5)式により算出される。
Figure 0005669885
ただし、(5)式において、uとnはN個中の1つの領域候補であり、(i,j,k)は領域候補n内のすべての画素の位置であり、g(i,j,k)は(2)式で示される特徴量である。そして、領域候補uが1番多くの特徴量を含む領域である。この場合、その領域候補uが、参照断層画像の撮影範囲1120になる。
次に、断層画像撮影パラメータ設定部140は、参照断層画像の撮影時の主走査方向を設定する。この際、参照断層画像の撮影時の主走査方向は、注目3次元断層画像の主走査方向と同じにするか、または、注目3次元断層画像を構成するB−スキャン画像を交差する方向にする。参照断層画像の撮影における主走査方向は、注目3次元断層画像の位置ずれ補正方法によって設定したり、または、固視微動の影響を少なく受ける方向によって設定したりする。また、上述したように、3次元断層画像のB−スキャン画像面方向での位置ずれは補正は容易であるが、B−スキャン画像間での位置ずれの補正は困難であるので、B−スキャン画像間の位置ずれを少なく影響受ける方が望ましい。ここでは、説明を容易するため、本実施形態では、参照断層画像の撮影時の主走査方向は、注目3次元断層画像の主走査方向と同じにするが、その他の設定方法も適用可能である。
また、上述したサンプリングレートの場合、本実施形態では、参照断層画像は、468枚のB−スキャン画像(B−スキャン2次元断層画像)で構成され、1枚のB−スキャン断層画像は64本のA−スキャンで構成される。
次に、図6のステップS650における処理の詳細な処理手順について説明する。
図12は、本発明の第2の実施形態を示し、図6のステップS650における注目断層画像の位置ずれ補正処理の詳細な処理手順の一例を示すフローチャートである。
<ステップS1201>
まず、図12のステップS1201において、断層画像主走査方向位置補正部161は、参照断層画像(参照3次元断層画像)のB−スキャン画像面方向の位置ずれを補正する。ここで、この参照断層画像のB−スキャン画像面方向の位置ずれ補正の具体的方法については、図7のステップS631における処理と同様であるため、説明は省略する。
<ステップS1202>
続いて、ステップS1202において、断層画像副走査方向位置補正部162は、図11の注目3次元断層画像1110で示される、XZ補正された注目3次元断層画像を記憶部150から取り出し、そのうちの1枚目の注目B−スキャン画像b(k)を取得する。以下のステップにおいて、取得した注目B−スキャン画像と参照断層画像との位置あわせ処理を行う。
<ステップS1203>
続いて、ステップS1203において、例えば断層画像副走査方向位置補正部162は、現在処理対象の注目B−スキャン画像からROIを決定し、参照断層画像中で最も類似度の高い注目領域を有する参照B−スキャン画像のY方向の位置R(k)を特定する。ここで、類似度の評価は、本実施形態では、(1)式で表されるSSDを注目B−スキャン画像内のROIと、参照断層画像内のROIに対して計算することで行う。
図13は、本発明の第2の実施形態を示し、図6のステップS650の処理結果の一例を示す模式図である。
ステップS1203で特定された位置R(k)は、注目3次元断層画像1110のk番目のB−スキャン画像1320内のROI1321に対して参照断層画像1310中で最も類似度の高い参照B−スキャン画像1311の位置である。この位置R(k)の情報は、例えば断層画像副走査方向位置補正部162内のメモリ(不図示)に記憶される。
なお、現在処理対象の注目B−スキャン画像からROIを決定する際に、参照B−スキャン画像のサイズと同じにする。また、被検眼20の眼球運動の影響を考慮して、注目ROIのサイズを変更してもよい。
<ステップS1204>
続いて、ステップS1204において、断層画像副走査方向位置補正部162は、ステップS1203で得られた参照断層画像の位置R(k)に基づいて、現在の処理対象の注目B−スキャン画像の位置(Y方向位置)を決定して補正する。即ち、断層画像副走査方向位置補正部162は、位置R(k)をk番目の注目3次元断層画像のY方向位置とし、ステップS631で得られたX及びZ方向の位置情報と併せて記憶部150に送信する。
<ステップS1205>
続いて、ステップS1205において、断層画像副走査方向位置補正部162は、注目3次元断層画像の次の処理すべき注目B−スキャン画像(即ち、Y方向の位置ずれ補正処理を行っていない注目B−スキャン画像)があるか否かを判断する。
ステップS1205の判断の結果、次の処理すべき注目B−スキャン画像がある場合には、ステップS1206に進む。
ステップS1206に進むと、断層画像副走査方向位置補正部162は、当該次の処理すべき注目B−スキャン画像を記憶部150から取得する。その後、ステップS1203に戻って、ステップS1206で取得した次の処理すべき注目B−スキャン画像を処理対象の注目B−スキャン画像として、ステップS1203以降の処理を行う。
一方、ステップS1205の判断の結果、次の処理すべき注目B−スキャン画像がない場合には、図12に示すフローチャートの処理を終了する。
以上の図12に示す処理を経ることにより、本実施形態における図6のステップS650の処理がなされる。
なお、本実施形態では、断層画像のコントラスト変化量に係る画像特徴量を用いて注目3次元断層画像中の特徴量の多い領域の抽出を行うものであるが、本発明はこれに限定されるものではない。例えば、この際、画像特徴量として、空間周波数やエッジなども特徴量として用いてもよい。
以上説明したように、第2の実施形態では、注目断層画像の解析結果に基づいて、断層画像の位置合わせに有効な特徴量を含む複数のB−スキャン画像からなる参照断層画像を撮影し、この参照断層画像を用いて注目断層画像の位置ずれを補正するようにしている。
かかる構成によれば、被写体の断層画像における位置ずれ補正を高精度で行うことができる。
(第3の実施形態)
次に、本発明の第3の実施形態について説明する。
上述した第1及び第2の実施形態に係る撮影装置100は、断層画像のコントラスト変化量に係る画像特徴量を用いて注目3次元断層画像中の特徴量の多い領域の抽出を行ったが、本発明の趣旨は、この画像特徴量に限定されるものではない。第3の実施形態に係る撮影装置100では、断層画像内に存在する血管像を特徴とし、注目3次元断層画像に血管像が多く存在する位置の領域の抽出を行う。
図14は、本発明の第3の実施形態を示し、断層画像における血管像(特徴)の一例を示す模式図である。
図14(a)には、2次元断層画像Tiと、血管像がない位置におけるA−スキャンに沿った2次元断層画像Tiの輝度値の一例が示されている。また、図14(b)には、2次元断層画像Tjと、血管像がある位置におけるA−スキャンに沿った2次元断層画像Tjの輝度値の一例が示されている。
2次元断層画像Ti及びTjには、内境界膜1401、神経線維層境界1402、網膜色素上皮層1403、視細胞内節外節接合部1404、視細胞層1405が示されている。さらに、2次元断層画像Tjには、血管領域1406及び血管下の領域1407が示されている。
図14(b)に示すように、血管の影のように血管下の領域1407は、全体的に輝度値が低くなってその周辺領域の輝度値とのコントラストが上がるため、注目3次元断層画像と参照断層画像の同じ位置の特定に用いることが好適である。
即ち、本実施形態では、注目3次元断層画像を参照断層画像との位置合わせに血管下の領域1407とその付近(周辺領域)とのコントラストの変化を用いるので、そのために血管が多く存在する位置の参照断層画像を撮影するための撮影パラメータを設定する。
第3の実施形態に係る撮影システムの概略構成は、図1に示す第1の実施形態に係る撮影システム10の概略構成と同様である。また、第2の実施形態に係る撮影装置のハードウェア構成は、図2に示す第1の実施形態に係る撮影装置100のハードウェア構成と同様である。
次に、第3の実施形態に係る撮影装置100の機能構成について説明する。
図15は、本発明の第3の実施形態に係る撮影装置100の機能構成の一例を示す模式図である。なお、以下の説明においては、図15に示す第3の実施形態に係る撮影装置100を「撮影装置100−3」として説明を行い、また、図15に示す機能構成において図3に示す機能構成と同様のものについては同じ符号を付し、その説明は省略する。
具体的に、図15に示す第3の実施形態に係る撮影装置100−3の機能構成は、図3に示す第1の実施形態に係る撮影装置100−1の機能構成に対して、積算画像作成部1510が追加されて構成されたものである。
ここで、本実施形態においては、例えば、図2に示すCPU101及び外部記憶装置104に記憶されているプログラムから、図15に示す積算画像作成部1510が構成される。
なお、図15に示す撮影装置100−3の積算画像作成部1510等における機能の説明については、後述する図16のフローチャートの説明と併せて行う。
また、第3の実施形態に係る撮影装置100の制御方法における処理手順は、基本的には、図6に示す処理手順と同様である。ただし、第3の実施形態では、図6のステップS630の処理の詳細な処理内容が第1の実施形態と異なるため、この点について以下に説明を行う。
図16は、本発明の第3の実施形態を示し、図6のステップS630における参照断層画像撮影パラメータの設定処理の詳細な処理手順の一例を示すフローチャートである。
<ステップS1601>
まず、ステップS1601において、断層画像主走査方向位置補正部161は、図7のステップS631と同様に、断層画像取得部120で撮影し取得された注目断層画像(注目3次元断層画像)のB−スキャン画像同士のX方向、Z方向の位置ずれ補正を行う。そして、断層画像主走査方向位置補正部161は、主走査方向の位置ずれ補正がなされた注目断層画像(注目3次元断層画像)を断層画像解析部130及び記憶部150へ出力する。
<ステップS1602>
続いて、ステップS1602において、積算画像作成部1510は、ステップS620で断層画像取得部120によって撮影された注目断層画像のn個のB−スキャン画像のそれぞれについてZ方向(第1の方向)に積算した積算画像を作成する処理を行う。
図17は、本発明の第3の実施形態を示し、注目断層画像と積算画像の一例を示す模式図である。ここで、図17(a)は、被検眼20の黄斑部の注目断層画像T1〜Tnを示し、図17(b)は、注目断層画像T1〜Tnから作成された積算画像Pを示している。ここで、深度方向は、図17(a)に示すZ方向であり、深度方向に積算するとは、図17(a)のZ方向の各深度位置における輝度値を足し合わせる処理である。
なお、図17(b)示す積算画像Pは、各深度位置における輝度値を単純加算した値でもよいし、加算値を加算数で割った平均値でもよい。さらに、この積算画像Pは、深度方向に全画素の輝度値を加算する必要はなく、任意の範囲のみ加算するようにしてもよい。例えば、事前に被検眼20の網膜層全体を検出しておいて当該網膜層内のみを加算してもよいし、また、当該網膜層内の任意の層のみを加算してもよい。
積算画像作成部1510は、断層画像取得部120によって撮影された注目断層画像のn個の断層画像T1〜Tnのそれぞれについて深度方向(Z方向)に積算する処理を行って、積算画像Pを作成する処理を行う。図17(b)に示す積算画像Pは、積算値が大きいほど輝度値が明るく、積算値が小さいほど輝度値が暗くなるように示している。また、図17(b)の積算画像Pにおいて、曲線Vは血管像を示しており、また、画像中心の円Mは、被検眼20の黄斑部を示している。
また、断層画像取得部120は、図6のステップS620において、低コヒーレンス光源123から照射した光の反射光を、受光素子(1次元光センサアレイ128)で受光することにより被検眼20の注目断層画像T1〜Tnを撮影し取得する。ここで、血管がある場所は、当該血管より深部の位置における光の反射光強度が弱くなりやすく、Z方向に積算した値は、血管がない場所に比べて小さくなる。そのため、積算画像Pを作成することで、血管とそれ以外の部位でコントラストのある画像を得ることができる。
<ステップS1603>
ここで、再び、図16の説明に戻る。
ステップS1602の処理が終了すると、ステップS1603に進む。
ステップS1603に進むと、断層画像解析部130は、ステップS1602で作成された積算画像から特徴量である血管を含む領域を抽出する処理を行う。ここで、血管の抽出方法としては、例えば、非特許文献2や非特許文献3に示すような画像処理方法を用いて行うことができる。なお、血管の抽出方法としては、この2手法に限定する必要はなく、複数の手法を組み合わせてもよい。
<ステップS1604>
続いて、ステップS1604において、断層画像撮影パラメータ設定部140は、ステップS1603の特徴量である血管を含む領域の抽出結果に基づいて、参照断層画像の撮影パラメータを設定する。ここでは、図7のステップS633と同様に、参照断層画像候補の中から、1番多くの血管像を含む断層画像を用いて参照断層画像の撮影パラメータを設定する。
このステップS1604が終了すると、図16のフローチャートの処理(即ち、図6のステップS630の処理)が終了する。
以上説明したように、第3の実施形態によれば、注目断層画像として撮影されている血管の影を特徴量として利用することが可能になり、血管を多く撮影する参照断層画像の撮像パラメータを設定をすることで、コントラストの高い参照断層画像が撮影できる。そして、この参照断層画像を用いて注目断層画像の位置ずれを補正するようにしているため、被写体の断層画像における位置ずれ補正を高精度で行うことができる。
(第4の実施形態)
次に、本発明の第4の実施形態について説明する。
上述した第2の実施形態では、断層画像副走査方向位置補正部162において、複数のB−スキャン画像で構成されている参照断層画像を用いて注目3次元断層画像の位置ずれ補正を行うようにしている(図12の処理)。ただし、この場合、参照断層画像の撮像時に被検眼20の固視微動が起きると、参照B−スキャン画像間の相対位置ずれが起きることが懸念される。そこで、第4の実施形態では、注目断層画像(注目3次元断層画像)の位置ずれ補正のための、参照断層画像を構成する複数のB−スキャン画像間の相対位置ずれの影響を軽減することを目的とした形態である。
第4の実施形態に係る撮影システムの概略構成は、図1に示す第1の実施形態に係る撮影システム10の概略構成と同様である。また、第4の実施形態に係る撮影装置のハードウェア構成は、図2に示す第1の実施形態に係る撮影装置100のハードウェア構成と同様である。また、第4の実施形態に係る撮影装置の機能構成は、図15に示す第3の実施形態に係る撮影装置100−3と同様である。
さらに、第4の実施形態に係る撮影装置100の制御方法における処理手順は、基本的には、図6に示す処理手順と同様である。ただし、第4の実施形態では、図6のステップS650の処理の詳細な処理内容が第1の実施形態等と異なるため、この点について以下に説明を行う。
図18は、本発明の第4の実施形態を示し、図6のステップS650における参照断層画像撮影パラメータの設定処理の詳細な処理手順の一例を示すフローチャートである。
<ステップS1801>
まず、ステップS1801において、断層画像主走査方向位置補正部161は、図7のステップS631と同様に、参照断層画像のB−スキャン画像面方向(XZ方向)の位置ずれ補正を行う。
<ステップS1802>
続いて、ステップS1802において、積算画像作成部1510は、ステップS640で断層画像取得部120によって撮影された参照断層画像の積算画像を作成する処理を行う。このステップS1802では、ステップS1602のように断層画像の深度方向(第1の方向)に積算した積算画像を作成するのではなく、注目3次元断層画像のX方向(第2の方向)と同じ方向に参照断層画像を積算した積算画像(第2の積算画像)を作成する。
図19は、本発明の第4の実施形態を示し、図6のステップS650の処理結果の一例を示す模式図である。
この図19には、参照断層画像1910と、注目3次元断層画像1110のX方向に積算された積算画像1920が示されている。
<ステップS1803>
続いて、ステップS1803において、積算画像作成部1510は、参照断層画像と同じ領域の注目3次元断層画像の積算画像を作成する処理を行う。このステップS1803では、ステップS1802と同様に、断層画像の深度方向(第1の方向)に積算をするのではなく、注目B−スキャン画像のX方向(第2の方向)に積算して、注目3次元断層画像の積算画像(第1の積算画像)を作成する。ここで積算される注目B−スキャン画像の領域は、参照断層画像が撮影されたと想定される領域である。
図19を参照して説明すると、注目3次元断層画像1110は、XZ補正された注目3次元断層画像であり、領域1930は参照断層画像1910の撮影領域を示している。領域1931及び1932は、それぞれ異なる注目B−スキャン画像の、参照断層画像1910と共通になる領域である。そして、ステップS1803では、その共通の領域を、B−スキャン画像のX方向で積算する。積算画像1920の位置1921及び1922は、それぞれ、注目B−スキャン画像の領域1931及び1932の積算1次元ベクトルであって、参照断層画像における積算画像1920を構成する1次元ベクトルの一番類似する位置を示す。この処理は、注目3次元断層画像のすべてのB−スキャン画像に対して行う。B−スキャン画像をX方向で積算をすると、A−スキャンのようにZ方向の1次元ベクトルが得られる。
<ステップS1804>
続いて、ステップS1804において、断層画像位置補正部160は、まず、ステップS1803で作成された注目B−スキャンの積算画像とステップS1802で作成された参照断層画像の積算画像を比較して、積算画像同士のパターンマッチングを行う。具体的に、注目B−スキャン画像の積算画像はZ方向の1次元ベクトルであるので、参照断層画像の積算画像を構成するZ方向の1次元ベクトルと比較をして、参照断層画像の積算画像の一番類似する1次元ベクトルを検索する。この際、類似度を算出するために既存の技術を用いることができる。この場合、注目B−スキャン画像の積算画像の1次元ベクトルと一番類似する参照断層画像の積算画像の1次元ベクトルのY方向の位置が、当該注目B−スキャン画像のY方向位置になる。そして、断層画像位置補正部160(断層画像副走査方向位置補正部162)は、上述した処理を注目3次元断層画像のすべてのB−スキャン画像に対して行って、注目3次元断層画像のB−スキャン画像(注目B−スキャン画像)間の位置補正を行う。そして、断層画像位置補正部160は、位置ずれ補正がされた注目断層画像(注目3次元断層画像)を記憶部150や外部装置へ送信する。
以上の図18に示す処理を経ることにより、本実施形態における図6のステップS650の処理がなされる。
第4の実施形態によれば、参照断層画像を構成する複数の参照B−スキャン画像が注目B−スキャン画像を交差する方向で撮影されている場合、参照B−スキャン画像の積算画像を用いることによって注目B−スキャン画像間の相対位置ずれ補正ができる。これにより、注目3次元断層画像の位置ずれ補正に際して、参照B−スキャン画像間の位置ずれの影響を軽減することが可能になり、被写体の断層画像における位置ずれ補正を高精度で行うことができる。
(第5の実施形態)
次に、本発明の第5の実施形態について説明する。
上述した各実施形態では、注目3次元断層画像中の特徴量の多い領域の抽出する際に、注目3次元断層画像内のコントラストの変化量(血管像等)を抽出するようにしていた。しかしながら、断層画像に血管等がもたらすコントラストの変化などの画像特徴量よりも、例えば、白斑などの病変がもたらす画像特徴量の方が注目3次元断層画像の位置補正により効果的である。ただし、この場合、血管等とは違って、一般的に白斑は断層画像の深度方向の積算画像に現れにくい。そのため、第5の実施形態では、白斑などの病変の検出によく使われる眼底広域画像を用いて白斑などの病変の位置を特定し、その結果を用いて注目3次元断層画像中の特徴量の多い領域の抽出を行う。
ここでは、病変として白斑を例にして説明を行う。
図20は、本発明の第5の実施形態を示し、断層画像における白斑像(特徴)の一例を示す模式図である。
図20には、左側にB−スキャン画像(2次元断層画像)Tjが示され、右側に白斑像がある位置におけるA−スキャンに沿ったB−スキャン画像Tjの輝度値の一例が示されている。即ち、図20の右側には、B−スキャン画像TjのA−スキャンとして示されている線上の座標と輝度値との関係が示されている。
B−スキャン画像Tjには、内境界膜1401、神経線維層境界1402、網膜色素上皮層1403、白斑領域2001、白斑下の領域2002が示されている。図20に示すように、B−スキャン画像(2次元断層画像)Tjに白斑が撮影されている場合、一般に白斑は、周辺領域に比べて高輝度であり且つ塊状構造を成すといった画像特徴を有している。
第5の実施形態に係る撮影システムの概略構成は、図1に示す第1の実施形態に係る撮影システム10の概略構成と同様である。また、第5の実施形態に係る撮影装置のハードウェア構成は、図2に示す第1の実施形態に係る撮影装置100のハードウェア構成と同様である。
次に、第5の実施形態に係る撮影装置100の機能構成について説明する。
図21は、本発明の第5の実施形態に係る撮影装置100の機能構成の一例を示す模式図である。なお、以下の説明においては、図21に示す第5の実施形態に係る撮影装置100を「撮影装置100−5」として説明を行い、また、図21に示す機能構成において図15に示す機能構成と同様のものについては同じ符号を付し、その説明は省略する。
具体的に、図21に示す第5の実施形態に係る撮影装置100−5の機能構成は、図15に示す第3の実施形態に係る撮影装置100−3の機能構成に対して、広域画像取得部2110及び広域画像解析部2120が追加されて構成されたものである。
ここで、本実施形態においては、例えば、図2に示すCPU101及び外部記憶装置104に記憶されているプログラム、並びに、撮影部105から、図21に示す広域画像取得部2110が構成される。また、例えば、図2に示すCPU101及び外部記憶装置104に記憶されているプログラムから、図21に示す広域画像解析部2120が構成される。
なお、図21に示す撮影装置100−5の広域画像取得部2110及び広域画像解析部2120等における機能の説明については、後述する図22のフローチャートの説明と併せて行う。
次に、本実施形態における撮影装置100(撮影装置100−5)の制御方法における処理手順について説明する。
図22は、本発明の第5の実施形態に係る撮影装置100の制御方法における処理手順の一例を示すフローチャートである。なお、図22に示すフローチャートの各ステップにおいて、図6に示すフローチャートのステップと同様の処理を行うものについては、同じステップ番号を付している。
まず、図22に示す処理では、まず、ステップS610において、指示取得部110は、操作者が入力した、被験者の眼底を被写体(被検眼)とする注目断層画像の撮影指示の情報を取得する。
続いて、ステップS620において、断層画像取得部120は、指示取得部110が取得した断層画像の撮影指示(撮影パラメータ等)に基づいて、被検眼の網膜の断層画像を3次元的に撮影して、注目断層画像(注目3次元断層画像)を取得する処理を行う。そして、断層画像取得部120は、取得した注目断層画像を記憶部150や断層画像解析部130に出力する。
<ステップS2210>
続いて、ステップS2210において、広域画像取得部2110は、指示取得部110が取得した広域画像の撮影指示(撮影パラメータ等)に基づいて、被検眼の眼底画像を2次元的に撮影して、これを広域画像として取得する処理を行う。そして、広域画像取得部2110は、取得した広域画像を記憶部150等に出力する。広域画像取得部2110は、眼底の広域画像を撮影する撮影部を備えて構成されており、例えば、眼底カメラやSLOを備えて構成されている。
<ステップS2220>
続いて、ステップS2220において、まず、広域画像解析部2120、断層画像位置補正部160及び断層画像解析部130等において所定の処理が行われる。その後、断層画像撮影パラメータ設定部140は、ステップS620で取得された注目断層画像の位置ずれ補正に用いる最適な参照断層画像を撮影するための参照断層画像撮影パラメータを設定する処理を行う。このステップS2220における処理の詳細については、図23を用いて後述する。
その後、図6の処理と同様に、ステップS640〜S670の処理を経て、図22に示すフローチャートにおける処理を終了する。
次に、図22のステップS2220における処理の詳細な処理手順について説明する。
図23は、本発明の第5の実施形態を示し、図22のステップS2220における参照断層画像撮影パラメータの設定処理の詳細な処理手順の一例を示すフローチャートである。
<ステップS2221>
まず、ステップS2221において、断層画像主走査方向位置補正部161は、図7のステップS631と同様に、断層画像取得部120で撮影し取得された注目断層画像(注目3次元断層画像)のB−スキャン画像同士のX方向、Z方向の位置ずれ補正を行う。そして、断層画像主走査方向位置補正部161は、主走査方向の位置ずれ補正がなされた注目断層画像(注目3次元断層画像)を断層画像解析部130及び記憶部150へ出力する。
<ステップS2222>
続いて、ステップS2222において、広域画像解析部2120は、まず、記憶部150からステップS2210で取得された眼底の広域画像を読み出して、当該広域画像に対して解析処理を行う。そして、広域画像解析部2120は、広域画像の解析結果に基づいて、広域画像の特徴量を抽出する処理を行う。ここで、本例では、白斑など、広域画像に現れる病変(病変の存在位置)を特徴量として抽出する。なお、白斑の抽出方法としては、例えば、非特許文献4に示すような画像処理方法を用いて抽出処理を行う。
<ステップS2223>
続いて、ステップS2223において、断層画像解析部130(或いは断層画像位置補正部160)は、ステップS2222で抽出された広域画像の特徴量(白斑)の、注目断層画像上での位置を特定するために、広域画像と注目断層画像との位置合わせを行う。そして、例えば断層画像解析部130は、注目断層画像を深度方向に積算した積算画像と、広域画像との双方から同一の白斑領域を特徴量として抽出し、これらの白斑領域に基づいて、広域画像の白斑に相当する注目断層画像の断面領域の位置を特定する。この際、同一の白斑領域を算出するため、パターンマッチングの処理が用いられる。
<ステップS2224>
続いて、ステップS2224において、断層画像撮影パラメータ設定部140は、ステップS2223で得られた注目断層画像上での白斑の位置情報に基づいて、参照断層画像の撮影パラメータを設定する。ここでは、第2の実施形態におけるステップS633の処理と同様に、参照断層画像候補の中から、1番多くの特徴量(白斑像)を含む断層画像を撮影するための撮影パラメータ情報を用いて、参照断層画像の撮影パラメータを設定する。
そして、ステップS2224の処理が終了すると、図23のフローチャートの処理(即ち、図22のステップS2220の処理)が終了する。
第5の実施形態によれば、広域画像の解析結果に基づいて注目断層画像の位置ずれを補正するための参照断層画像の撮影パラメータを設定することにより、注目断層画像の位置合わせに有効な特徴量を含む参照断層画像が得られる。そそして、この参照断層画像を用いて注目断層画像の位置ずれを補正するようにしているため、被写体の断層画像における位置ずれ補正を高精度で行うことができる。
(本発明の他の実施形態)
上述した各実施形態の撮影装置100では、断層画像や眼底広域画像の解析を行って、その解析結果から得られる特徴量を用いて注目3次元断層画像中の特徴量の多い領域の抽出し、その抽出結果に基づいて参照断層画像の撮影パラメータを設定するものであった。しかしながら、本発明の趣旨は、これに限定されるものではない。
また、断層画像撮影パラメータ設定部140は、不図示の被検眼情報取得部から得られた、被検眼の過去の情報や過去に撮影された領域情報、被検眼の現状の病変などの情報等に基づいて、撮影の位置などの参照断層画像撮影パラメータを設定してもよい。
また、断層画像撮影パラメータ設定部140は、指示取得部110を介して操作者が入力指示した参照断層画像撮影パラメータに基づいて、参照断層画像撮影パラメータを設定してもよい。さらに、注目3次元断層画像の解析結果に基づいて断層画像撮影パラメータ設定部140が設定した参照断層画像撮影パラメータを参照断層画像の撮影を行う前に表示部170に表示し、操作者の入力指示に応じて当該撮影パラメータを修正する形態であってもよい。
かかる構成によれば、操作者の入力指示によって、注目3次元断層画像の位置ずれ補正を行うための参照断層画像撮影パラメータの設定を行うことが可能である。そして、注目3次元断層画像の位置合わせに有効な特徴を含む参照断層画像の撮影が可能になり、高い精度で3次元断層画像の位置ずれを補正することが可能になる。
また、断層画像解析部130において注目断層画像から特徴量を抽出する際には、注目断層画像における、空間周波数、コントラストの変化量、エッジ強度、血管の存在、及び、病変の存在のうちの少なくとも1つを含む特徴量を抽出することが適用可能である。また、断層画像撮影パラメータ設定部140で撮影パラメータを設定する際には、参照断層画像の撮影範囲、当該撮影に係る走査の速度とその方向、及び、当該撮影に係るサンプリング密度のうちの少なくともいずれか1つを設定することが適用可能である。
また、上述した各実施形態に係る撮影装置100の制御方法を示す図6、7、9、12、16、18、22及び23の各ステップは、コンピュータのCPU(101)が記憶媒体(104等)に記憶されているプログラムを実行することによって実現できる。このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
また、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、1つの機器からなる装置に適用してもよい。
なお、本発明は、上述した各実施形態の機能を実現するソフトウェアのプログラム(実施形態では図6、7、9、12、16、18、22及び23に示すフローチャートに対応したプログラム)を、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RWなどがある。また、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などもある。
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
また、コンピュータが、読み出したプログラムを実行することによって、上述した各実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部又は全部を行い、その処理によっても上述した各実施形態の機能が実現され得る。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部又は全部を行い、その処理によっても上述した各実施形態の機能が実現される。
なお、上述した各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
100−1:撮影装置、110:指示取得部、120:断層画像取得部、130:断層画像解析部、140:断層画像撮影パラメータ設定部、150:記憶部、160:断層画像位置補正部、161:断層画像主走査方向位置補正部、162:断層画像副走査方向位置補正部、170:表示部

Claims (18)

  1. 被写体の断層画像の位置を補正する画像処理装置であって、
    前記被写体の第1の断層画像の解析結果に基づいて撮影された前記被写体の第2の断層画像を取得する第2の断層画像取得手段と、
    前記第2の断層画像を用いて前記第1の断層画像の位置ずれを補正する補正手段と
    を有することを特徴とする画像処理装置。
  2. 前記第1の断層画像と前記第2の断層画像は、同一の断層画像取得手段で取得されることを特徴とする請求項1に記載の画像処理装置。
  3. 前記第1の断層画像を解析してその特徴量を抽出する断層画像解析手段と、前記断層画像解析手段の解析結果に基づいて、前記被写体の前記第2の断層画像を撮影する際の撮影パラメータを設定する撮影パラメータ設定手段とを備える撮影装置で設定された前記撮影パラメータを用いて前記第2の断層画像は取得されたことを特徴とする請求項1又は2に記載の画像処理装置。
  4. 被写体の第1の断層画像及び前記被写体の第2の断層画像を取得する取得手段と、
    前記被写体の網膜に沿った方向に前記第1の断層画像及び前記第2の断層画像に積算した第1の積算画像と、前記第2の断層画像を第2の方向に積算した第2の積算画像とを得る積算手段と、
    前記第1の積算画像及び前記第2の積算画像に基づいて、前記第1の断層画像の位置ずれを補正する補正手段と
    を有することを特徴とする眼科装置。
  5. 前記第2の断層画像は、前記第1の断層画像の解析結果に基づいて撮影されたことを特徴とする請求項4に記載の眼科装置。
  6. 前記被写体の第1の断層画像を取得する第1の断層画像取得手段と、
    前記第1の断層画像を解析する断層画像解析手段と、
    前記断層画像解析手段の解析結果に基づいて、前記被写体の第2の断層画像を撮影する際の撮影パラメータを設定する撮影パラメータ設定手段と、
    前記撮影パラメータ設定手段で設定された撮影パラメータに基づき撮影された前記第2の断層画像を取得する第2の断層画像取得手段と、
    を更に有することを特徴とする請求項4又は5に記載の眼科装置。
  7. 前記撮影パラメータ設定手段で設定された撮影パラメータを表示する表示手段と、
    操作者の入力指示を取得する指示取得手段と
    を更に有し、
    前記指示取得手段で取得した入力指示に応じて前記撮影パラメータを修正することを特徴とする請求項6に記載の眼科装置。
  8. 前記積算の方向は、前記第1の断層画像及び前記第2の断層画像を取得した撮影装置の副走査方向であることを特徴とする請求項4乃至6のいずれか1項に記載の眼科装置。
  9. 前記補正手段は、前記第2の断層画像を用いて前記第1の断層画像の撮影に係る副走査方向の位置ずれを補正する副走査方向位置補正手段とともに、前記第1の断層画像の撮影に係る主走査方向の位置ずれを補正する主走査方向位置補正手段を含み構成されていることを特徴とする請求項4乃至8のいずれか1項に記載の眼科装置。
  10. 眼科装置で得られた断層画像を処理する画像処理装置であって、
    被写体の第1の断層画像及び前記被写体の第2の断層画像を取得する取得手段と、
    前記被写体の網膜に沿った方向に前記第1の断層画像及び前記第2の断層画像に積算した第1の積算画像と、前記第2の断層画像を第2の方向に積算した第2の積算画像とを得る積算手段と、
    前記第1の積算画像及び前記第2の積算画像に基づいて、前記第1の断層画像の位置ずれを補正する補正手段と
    を有することを特徴とする画像処理装置。
  11. 眼科装置で得られた断層画像を処理する画像処理装置であって、
    被写体の断層画像を取得する取得手段と、
    前記被写体の網膜に沿った方向に前記断層画像を積算した積算画像を得る積算手段と
    を有することを特徴とする画像処理装置。
  12. 被写体の断層画像の位置を補正する画像処理方法であって、
    前記被写体の第1の断層画像の解析結果に基づいて撮影された前記被写体の第2の断層画像を取得する第2の断層画像取得ステップと、
    前記第2の断層画像を用いて前記第1の断層画像の位置ずれを補正する補正ステップと
    を有することを特徴とする画像処理方法。
  13. 被写体の第1の断層画像及び前記被写体の第2の断層画像を取得する取得ステップと、
    前記被写体の網膜に沿った方向に前記第1の断層画像及び前記第2の断層画像に積算した第1の積算画像と、前記第2の断層画像を第2の方向に積算した第2の積算画像とを得る積算ステップと、
    前記第1の積算画像及び前記第2の積算画像に基づいて、前記第1の断層画像の位置ずれを補正する補正ステップと
    を有することを特徴とする眼科装置の制御方法。
  14. 眼科装置で得られた断層画像を処理する画像処理方法であって、
    被写体の第1の断層画像及び前記被写体の第2の断層画像を取得する取得ステップと、
    前記被写体の網膜に沿った方向に前記第1の断層画像及び前記第2の断層画像に積算した第1の積算画像と、前記第2の断層画像を第2の方向に積算した第2の積算画像とを得る積算ステップと、
    前記第1の積算画像及び前記第2の積算画像に基づいて、前記第1の断層画像の位置ずれを補正する補正ステップと
    を有することを特徴とする画像処理方法。
  15. 眼科装置で得られた断層画像を処理する画像処理方法であって、
    被写体の断層画像を取得する取得ステップと、
    前記被写体の網膜に沿った方向に前記断層画像を積算した積算画像を得る積算ステップと
    を有することを特徴とする画像処理方法。
  16. 請求項1、2、3、10及び11のいずれか1項に記載の画像処理装置の各手段としてコンピュータを機能させることを特徴とするプログラム。
  17. 請求項4乃至9のいずれか1項に記載の眼科装置の各手段としてコンピュータを機能させることを特徴とするプログラム。
  18. 請求項16又は17に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
JP2013120095A 2013-06-06 2013-06-06 画像処理装置及び画像処理方法 Active JP5669885B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013120095A JP5669885B2 (ja) 2013-06-06 2013-06-06 画像処理装置及び画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013120095A JP5669885B2 (ja) 2013-06-06 2013-06-06 画像処理装置及び画像処理方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2009162964A Division JP5289219B2 (ja) 2009-07-09 2009-07-09 撮影装置及びその制御方法

Publications (2)

Publication Number Publication Date
JP2013166072A JP2013166072A (ja) 2013-08-29
JP5669885B2 true JP5669885B2 (ja) 2015-02-18

Family

ID=49176963

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013120095A Active JP5669885B2 (ja) 2013-06-06 2013-06-06 画像処理装置及び画像処理方法

Country Status (1)

Country Link
JP (1) JP5669885B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3021071B1 (de) * 2014-11-12 2020-09-23 Haag-Streit Ag Vermessungsverfahren in der Ophthalmologie
JP7298993B2 (ja) * 2018-04-09 2023-06-27 浜松ホトニクス株式会社 試料観察装置及び試料観察方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6016A (en) * 1849-01-09 Improvement in corn-planters
US7365856B2 (en) * 2005-01-21 2008-04-29 Carl Zeiss Meditec, Inc. Method of motion correction in optical coherence tomography imaging
JP4850495B2 (ja) * 2005-10-12 2012-01-11 株式会社トプコン 眼底観察装置及び眼底観察プログラム
JP4461258B2 (ja) * 2005-10-31 2010-05-12 国立大学法人 筑波大学 光断層画像化法における補正方法
JP4884777B2 (ja) * 2006-01-11 2012-02-29 株式会社トプコン 眼底観察装置
JP5089940B2 (ja) * 2006-08-29 2012-12-05 株式会社トプコン 眼球運動測定装置、眼球運動測定方法及び眼球運動測定プログラム
JP5339828B2 (ja) * 2007-10-04 2013-11-13 キヤノン株式会社 光干渉断層撮像装置及び光干渉断層撮像方法

Also Published As

Publication number Publication date
JP2013166072A (ja) 2013-08-29

Similar Documents

Publication Publication Date Title
JP5289219B2 (ja) 撮影装置及びその制御方法
JP7250653B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5192250B2 (ja) 眼底観察装置
EP2420181B1 (en) Eyeground observation device
JP4940069B2 (ja) 眼底観察装置、眼底画像処理装置及びプログラム
JP6367563B2 (ja) 眼科装置
US10165939B2 (en) Ophthalmologic apparatus and ophthalmologic apparatus control method
US9918625B2 (en) Image processing apparatus and control method of image processing apparatus
JP7368568B2 (ja) 眼科装置
JP2019209136A (ja) 情報処理装置、情報処理方法及びプログラム
JP7220509B2 (ja) 眼科装置及び眼科画像処理方法
JP2021122559A (ja) 画像処理装置、画像処理方法及びプログラム
JP2018051391A (ja) 眼科装置
JP2020163100A (ja) 画像処理装置および画像処理方法
JP5669885B2 (ja) 画像処理装置及び画像処理方法
JP5975650B2 (ja) 画像形成方法及び装置
WO2020075719A1 (ja) 画像処理装置、画像処理方法及びプログラム
WO2019230643A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2020054812A (ja) 画像処理装置、画像処理方法及びプログラム
JP6866167B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2022189963A (ja) 眼科装置
JP6882242B2 (ja) 眼科装置およびその制御方法
JP7246862B2 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
JP6503040B2 (ja) 眼科観察装置
JP6486427B2 (ja) 光干渉断層撮像装置およびその制御方法

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130708

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130708

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140501

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141216

R151 Written notification of patent or utility model registration

Ref document number: 5669885

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151