JP6527970B2 - 眼科装置 - Google Patents
眼科装置 Download PDFInfo
- Publication number
- JP6527970B2 JP6527970B2 JP2018003365A JP2018003365A JP6527970B2 JP 6527970 B2 JP6527970 B2 JP 6527970B2 JP 2018003365 A JP2018003365 A JP 2018003365A JP 2018003365 A JP2018003365 A JP 2018003365A JP 6527970 B2 JP6527970 B2 JP 6527970B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- processing
- movement amount
- phase
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 claims description 343
- 230000003287 optical effect Effects 0.000 claims description 122
- 238000004364 calculation method Methods 0.000 claims description 110
- 238000006243 chemical reaction Methods 0.000 claims description 102
- 238000005314 correlation function Methods 0.000 claims description 45
- 230000009466 transformation Effects 0.000 claims description 25
- 230000015572 biosynthetic process Effects 0.000 claims description 15
- 238000003786 synthesis reaction Methods 0.000 claims description 14
- 238000006073 displacement reaction Methods 0.000 claims description 12
- 238000000034 method Methods 0.000 description 92
- 230000008569 process Effects 0.000 description 77
- 238000012014 optical coherence tomography Methods 0.000 description 49
- 230000006870 function Effects 0.000 description 46
- 210000004220 fundus oculi Anatomy 0.000 description 29
- 238000005286 illumination Methods 0.000 description 20
- 238000003384 imaging method Methods 0.000 description 17
- 238000005259 measurement Methods 0.000 description 16
- 238000012546 transfer Methods 0.000 description 13
- 230000003595 spectral effect Effects 0.000 description 11
- 239000013307 optical fiber Substances 0.000 description 10
- 230000010287 polarization Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 239000000203 mixture Substances 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 239000000835 fiber Substances 0.000 description 6
- 238000013519 translation Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 210000004087 cornea Anatomy 0.000 description 4
- 230000004424 eye movement Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000002073 fluorescence micrograph Methods 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 206010025421 Macule Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000004323 axial length Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- GNBHRKFJIUUOQI-UHFFFAOYSA-N fluorescein Chemical compound O1C(=O)C2=CC=CC=C2C21C1=CC=C(O)C=C1OC1=CC(O)=CC=C21 GNBHRKFJIUUOQI-UHFFFAOYSA-N 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 101150013335 img1 gene Proteins 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 1
- 229960004657 indocyanine green Drugs 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Description
また、請求項2に記載の発明は、請求項1に記載の眼科装置であって、前記光学系を移動させる駆動部と、前記平行移動量算出部により算出された前記平行移動量に基づいて、前記駆動部を制御する制御部と、を含む。
また、請求項3に記載の発明は、請求項1又は請求項2に記載の眼科装置であって、前記平行移動量算出部は、前記第1画像及び前記第2画像のうち前記第2画像に対し離散フーリエ変換を施す第3変換処理部と、前記第1画像について予め求められた第3データと、前記第2画像についての前記第3変換処理部による演算結果に基づく第4データとを合成する位相限定合成処理を行う第2位相限定合成部と、前記第2位相限定合成部による演算結果に対し逆離散フーリエ変換を施す第2逆変換処理部とを含み、前記第2逆変換処理部による演算結果に基づいて前記平行移動量を算出する。
また、請求項4に記載の発明は、請求項3に記載の眼科装置であって、前記第3変換処理部は、前記第1画像及び前記第2画像のうち前記第1画像に対し離散フーリエ変換を施すことにより、前記第3データを生成する。
また、請求項5に記載の発明は、請求項1〜請求項4のいずれか一項に記載の眼科装置であって、各演算処理部が、前記第1画像と前記第2画像とに基づく第1位相限定相関関数の第1パラメータを互いに異ならせて前記第1位相限定相関関数の第1相関値をそれぞれ算出する複数の演算処理部を含み、前記平行移動量算出部は、前記複数の演算処理部により算出された複数の第1相関値のうち選択された第1相関値に対応した位置ずれ量を前記平行移動量として求める。
[構成]
図1及び図2に示すように、眼科装置1は、眼底カメラユニット2、OCTユニット100及び演算制御ユニット200を含んで構成される。眼底カメラユニット2は、従来の眼底カメラとほぼ同様の光学系を有する。OCTユニット100には、眼底のOCT画像を取得するための光学系が設けられている。演算制御ユニット200は、各種の演算処理や制御処理等を実行するコンピュータを具備している。
図1に示す眼底カメラユニット2には、被検眼Eの眼底Efの表面形態を表す2次元画像(眼底像)を取得するための光学系が設けられている。眼底像には、観察画像や撮影画像などが含まれる。観察画像は、たとえば、近赤外光を用いて所定のフレームレートで形成されるモノクロの動画像である。撮影画像は、たとえば、可視光をフラッシュ発光して得られるカラー画像、又は近赤外光若しくは可視光を照明光として用いたモノクロの静止画像であってもよい。眼底カメラユニット2は、これら以外の画像、たとえばフルオレセイン蛍光画像やインドシアニングリーン蛍光画像や自発蛍光画像などを取得可能に構成されていてもよい。なお、観察画像は、「動画像」の一例に相当する。
図2を参照しつつOCTユニット100の構成の一例を説明する。OCTユニット100には、眼底EfのOCT画像を取得するための光学系が設けられている。この光学系は、従来のスペクトラルドメインタイプのOCT装置と同様の構成を有する。すなわち、この光学系は、低コヒーレンス光を参照光と信号光に分割し、眼底Efを経由した信号光と参照光路を経由した参照光とを干渉させて干渉光を生成し、この干渉光のスペクトル成分を検出するように構成されている。この検出結果(検出信号)は演算制御ユニット200に送られる。
演算制御ユニット200の構成について説明する。演算制御ユニット200は、CCDイメージセンサ115から入力される検出信号を解析して眼底EfのOCT画像を形成する。そのための演算処理は、従来のスペクトラルドメインタイプのOCT装置と同様である。
眼科装置1の制御系の構成について図3を参照しつつ説明する。
眼科装置1の制御系は、制御部210を中心に構成される。制御部210は、たとえば、前述のマイクロプロセッサ、RAM、ROM、ハードディスクドライブ、通信インターフェイス等を含んで構成される。制御部210には、主制御部211と記憶部212が設けられている。
主制御部211は前述の各種制御を行う。特に、主制御部211は、眼底カメラユニット2の合焦駆動部31A、光路長変更部41、ガルバノスキャナ42及び光学系駆動部90、更にOCTユニット100の光源ユニット101、光減衰器105及び偏波調整器106を制御する。
記憶部212は、各種のデータを記憶する。記憶部212に記憶されるデータとしては、たとえば、OCT画像の画像データ、眼底像の画像データ、被検眼情報などがある。被検眼情報は、患者IDや氏名などの被検者に関する情報や、左眼/右眼の識別情報などの被検眼に関する情報を含む。また、記憶部212には、眼科装置1を動作させるための各種プログラムやデータが記憶されている。
画像形成部220は、CCDイメージセンサ115からの検出信号に基づいて、眼底Efの断層像の画像データを形成する。この処理には、従来のスペクトラルドメインタイプの光コヒーレンストモグラフィと同様に、ノイズ除去(ノイズ低減)、フィルタ処理、分散補償、FFT(Fast Fourier Transform:以下、FFT)などの処理が含まれている。他のタイプのOCT装置の場合、画像形成部220は、そのタイプに応じた公知の処理を実行する。
画像処理部230は、画像形成部220により形成された画像に対して各種の画像処理や解析処理を施す。たとえば、画像処理部230は、画像の輝度補正等の各種補正処理を実行する。また、画像処理部230は、眼底カメラユニット2により得られた画像(眼底像、前眼部像等)に対して各種の画像処理や解析処理を施す。
この実施形態における位相限定相関処理では、たとえば、公知の位相限定相関関数が用いられる。この実施形態では、非特許文献1に開示された位相限定相関関数が用いられるものとする。
回転移動量算出部231は、ベース画像とターゲット画像との間の回転移動量を算出する。具体的には、回転移動量算出部231は、ベース画像とターゲット画像とに対し位相限定相関処理を施すことにより、ベース画像とターゲット画像との間の回転移動量を算出する。このような回転移動量算出部231は、第1変換処理部301と、対数変換部302と、極座標変換部303と、第2変換処理部304と、第1位相限定合成部305と、第1逆変換処理部306とを備えている。
位置合わせ部232は、回転移動量算出部231により算出された回転移動量に基づいてベース画像とターゲット画像との間の回転方向の位置合わせを行う。具体的には、位置合わせ部232は、回転移動量算出部231により算出された回転移動量に基づいて、ベース画像を基準に、回転移動量が零となるようにターゲット画像に対し回転方向の位置合わせを行う。なお、位置合わせ部232は、回転移動量算出部231により算出された回転移動量に基づいて、ターゲット画像を基準に、ベース画像に対し回転方向の位置合わせを行うようにしてもよい。位置合わせ部232は、「位置合わせ部」の一例に相当する。
平行移動量算出部233は、位置合わせ部232による位置合わせがなされたベース画像とターゲット画像との間の平行移動量を算出する。具体的には、平行移動量算出部233は、位置合わせ部232による位置合わせがなされたベース画像とターゲット画像とに対し位相限定相関処理を施すことにより、ベース画像とターゲット画像との間の平行移動量を算出する。このような平行移動量算出部233は、第3変換処理部311と、第2位相限定合成部312と、第2逆変換処理部313とを備えている。
ユーザインターフェイス240には、表示部240Aと操作部240Bとが含まれる。表示部240Aは、前述した演算制御ユニット200の表示デバイスや表示装置3を含んで構成される。操作部240Bは、前述した演算制御ユニット200の操作デバイスを含んで構成される。操作部240Bには、眼科装置1の筐体や外部に設けられた各種のボタンやキーが含まれていてもよい。たとえば眼底カメラユニット2が従来の眼底カメラと同様の筺体を有する場合、操作部240Bは、この筺体に設けられたジョイスティックや操作パネル等を含んでいてもよい。また、表示部240Aは、眼底カメラユニット2の筺体に設けられたタッチパネルなどの各種表示デバイスを含んでいてもよい。
ここで、信号光LSの走査及びOCT画像について説明しておく。
眼科装置1の動作について説明する。
まず、観察光源11からの照明光(可視カットフィルタ14により近赤外光となる)で眼底Efを連続照明することにより、眼底Efの近赤外動画像の取得を開始する。この近赤外動画像は、連続照明が終了するまでリアルタイムで得られる。この動画像を構成する各フレームの画像は、フレームメモリ(記憶部212)に一時記憶され、画像処理部230に逐次送られる。
画像処理部230は、光学系によって被検眼Eを動画撮影することにより得られるフレームを逐次に解析して、アライメント視標の位置を求め、光学系の移動量を算出する。制御部210は、画像処理部230により算出された光学系の移動量に基づいて光学系駆動部90を制御することにより、オートアライメントを行う。
画像処理部230は、光学系によって被検眼Eを動画撮影することにより得られるフレームを逐次に解析して、スプリット視標の位置を求め、合焦レンズ31の移動量を算出する。制御部210は、画像処理部230により算出された合焦レンズ31の移動量に基づいて合焦駆動部31Aを制御することにより、オートフォーカスを行う。
続いて、制御部210は、オートトラッキングを開始する。具体的には、画像処理部230は、光学系によって被検眼Eを動画撮影することにより逐次に得られるフレームをリアルタイムで解析して、被検眼Eの動き(位置の変化)を監視する。制御部210は、逐次に取得される被検眼Eの位置に合わせて光学系を移動させるように光学系駆動部90を制御する。それにより、被検眼Eの動きに対して光学系をリアルタイムで追従させることができ、アライメントとピントが合った好適な位置関係を維持することが可能となる。このような画像処理部230は、ベース画像とターゲット画像との間のサブピクセルレベルの位置ずれ量を逐次に算出し、制御部210は、1又は複数のフレーム毎に、画像処理部230において算出された位置ずれ量を補正するように光学系を移動させる。
制御部210は、近赤外動画像を表示部240Aにリアルタイムで表示させる。ユーザは、操作部240Bを用いることにより、この近赤外動画像上に走査領域を設定する。設定される走査領域は1次元領域でも2次元領域でもよい。
制御部210は、光源ユニット101や光路長変更部41を制御するとともに、ステップS5で設定された走査領域に基づいてガルバノスキャナ42を制御することにより、眼底EfのOCT計測を行う。画像形成部220は、得られた検出信号に基づいて眼底Efの断層像を形成する。走査態様が3次元スキャンである場合、画像処理部230は、画像形成部220により形成された複数の断層像に基づいて眼底Efの3次元画像を形成する。以上で、この動作例は終了となる(エンド)。
眼科装置1は、実施形態に係る眼科装置の一例である。以下、実施形態に係る眼科装置の効果について説明する。
この実施形態では、並列処理によりサブピクセルレベルでの位置ずれ量の算出が高速化された眼科装置について説明する。
この実施形態に係る眼科装置は、制御部210及び画像処理部230を除き、第1の実施形態と同様の構成を有する(図1、図2を参照)。この実施形態では、制御部210及び画像処理部230の機能が、たとえば演算処理ユニット400によって実現される。
演算処理ユニット400は、中央演算処理装置(Central Processing Unit:以下、CPU)401と、第1メモリ402と、グラフィカルプロセッシングユニット(Graphical Processing Unit:以下、GPU)410とを備えている。
この実施形態に係る眼科装置の動作について説明する。この実施形態に係る眼科装置の動作は、回転移動量及び平行移動量の算出処理の詳細を除いて、第1の実施形態と同様である。以下では、この実施形態に係る演算処理ユニット400を用いた回転移動量及び平行移動量の算出処理について具体的に説明する。
まず、CPU401は、GPU410を制御するための定数やライブラリの設定、処理を行うための記憶領域の確保、第1メモリ402及び第2メモリ413の確保、GPU410のスレッドの設定(たとえば32×32×1)やブロックの設定(たとえば11×11×1)を行う。複数の演算処理部4121〜412Qのそれぞれは1スレッドの処理を行う。CPU401は、GPU410に対し、各スレッドが1ピクセル分の処理(たとえば式(1)〜式(7)の各式の演算)を行うように指定する。
ユーザによりトラッキングの開始が指示されると、CPU401は、ベース画像に対し位相限定相関処理を施すためのベース画像処理を行う。CPU401は、ベース画像を第1メモリ402から第2メモリ413に転送する制御を行うとともに、ベース画像に対する位相限定相関処理においてGPU410に実行させる処理内容を指定し、当該処理の実行を指示する。ベース画像処理の詳細については、後述する。
CPU401は、逐次に入力されるターゲット画像に対し位相限定相関処理を施すためのターゲット画像処理を行う。CPU401は、ターゲット画像に対する位相限定相関処理においてGPU410に実行させる処理の内容を指定し、当該処理の実行を指示するとともに、処理結果を第2メモリ413から第1メモリ402に転送する制御を行う。ターゲット画像処理の詳細については、後述する。
撮影対象の被検眼が変わると、ステップS12において行われたベース画像処理の結果が不要になる。そこで、CPU401は、トラッキングの対象である被検眼Eの撮影が終了したか否かを判別する。CPU401は、たとえば操作部240Bを介したユーザの操作内容に基づき、被検眼Eの撮影が終了したか否かを判別することができる。被検眼Eの撮影が終了しないと判別されたとき(S14:NO)、CPU401は、ステップS13へ移行する。一方、被検眼Eの撮影が終了したと判別されたとき(S14:YES)、CPU401は、次のフレームのターゲット画像に対する処理を行うためにステップS15へ移行する。
続いて、別の被検眼に対して撮影を行う場合には、ベース画像処理を再実行する必要がある。そこで、CPU401は、次の被検眼の撮影の有無を判別する。次の撮影を行わないと判別されたとき(S15:NO)、CPU401は、一連の処理を終了する(エンド)。一方、次の撮影を行うと判別されたとき(S15:YES)、CPU401は、ステップS12へ移行する。
次に、図8〜図13Bを参照しつつステップS12のベース画像処理の詳細について説明する。図8は、処理フローを表し、図9〜図13Bは、図8の処理フローの各ステップの説明図を表す。
まず、CPU401は、観察画像のうちトラッキングの開始が指示された最初のフレームの画像を、第1メモリ402においてベース画像用に確保された記憶領域にロードする。第1メモリ402がフレームメモリとして用いられている場合、CPU401は、たとえばベース画像用に確保された記憶領域に当該最初のフレームの画像を転送する。
続いて、CPU401は、第1メモリ402にロードされたベース画像(図9のIMG1を参照)を、その中央部を含む352×352のサイズの領域にクリッピングする(図9のIMG10を参照)。「352」は、1ワープのスレッド数(この実施形態では「32」)の整数倍である。なお、「352」は、1ワープのスレッド数の任意の整数倍とすることが可能である。クリッピングされた画像は、第1メモリ402に保存される。以下では、クリッピングされた画像をベース画像と呼ぶことがある。そして、CPU401は、第1メモリ402に記憶されたクリッピング後の画像(ベース画像)を第2メモリ413に転送する。これにより、GPU410は、指定された処理をベース画像に対して施すことができるようになる。
GPU410は、CPU401により起動されたカーネル関数により、第2メモリ413に記憶されたベース画像に対しアポダイゼーション処理を施す。アポダイゼーション処理は、アポダイゼーション関数を掛け合わせることにより、メインローブの振幅の低下をある程度抑えつつサイドローブの振幅を低下させて、ダイナミックレンジを高める処理である。アポダイゼーション関数としては、公知のハニング窓やガウス窓や矩形窓などの窓関数がある。図9に示すベース画像IMG10に対するアポダイゼーション処理の処理結果のうち実数成分を図10Aに表し、虚数成分を「128」によりバイアスした状態で図10Bに表す。なお、第1の実施形態において、アポダイゼーション処理は、たとえば、第1変換処理部301、又は回転移動量算出部231における図示しないアポダイゼーション処理部により行われる。
GPU410は、カーネル関数により、ベース画像に対するアポダイゼーション処理の結果(図10A、図10B)に対し2次元DFTを施す。この2次元DFTは、第1の実施形態においてベース画像について第1変換処理部301により行われる処理と同様である。
次に、GPU410は、カーネル関数により、2次元DFTの処理結果に対し対数変換を施す(図11を参照)。具体的には、対数変換は、2次元DFTの処理結果の実数成分をRe、虚数成分をIm、対数変換結果をAmとすると、式(8)のように表される。これにより、自然画像において空間周波数の低周波数領域に集中する傾向がある振幅スペクトルを圧縮させる。この対数変換は、第1の実施形態においてベース画像について対数変換部302により行われる処理と同様である。
次に、GPU410は、カーネル関数により、対数変換の処理結果に対しLog−Polar変換を施す。これにより、動径方向がx方向、偏角方向がy方向に変換される。Log−Polar変換の実数成分を図12Aに表し、虚数成分を「128」によりバイアスした状態で図12Bに表す。このLog−Polar変換は、第1の実施形態においてベース画像について極座標変換部303により行われる処理と同様である。
次に、GPU410は、カーネル関数により、Log−Polar変換の処理結果に対し2次元DFTを施す。2次元DFTの処理結果の実数成分を図13Aに表し、虚数成分を図13Bに表す。この2次元DFTは、第1の実施形態においてベース画像について第2変換処理部304により行われる処理と同様である。
次に、GPU410は、2次元DFTの処理結果に基づいて振幅成分で正規化し、2次元DFTの処理結果に基づくベースPOCデータとして第2メモリ413に保存する。ここで第2メモリ413に保存されたベースPOCデータは、第1データとして回転移動量を算出するための位相限定相関関数の相関値の算出に供される。
続いて、GPU410は、ベース画像に対し、平行移動を算出するための位相限定相関関数の相関値の算出に供されるベースPOCデータを生成する。そこで、GPU410は、CPU401により起動されたカーネル関数により、第2メモリ413に記憶されたベース画像に対しアポダイゼーション処理を施す。このアポダイゼーション処理は、ステップS23と同様の処理である。ステップS23の処理結果が第2メモリ413に保存された場合、ステップS29の処理を不要にすることができる。
GPU410は、カーネル関数により、ベース画像に対するアポダイゼーション処理の結果の実数成分に対し2次元DFTを施す。この2次元DFTは、第1の実施形態においてベース画像について第3変換処理部311により行われる処理と同様である。
次に、GPU410は、2次元DFTの処理結果に基づいて振幅成分で正規化し、2次元DFTの処理結果に基づくベースPOCデータとして第2メモリ413に保存する。ここで第2メモリ413に保存されたベースPOCデータは、第3データとして平行移動量を算出するための位相限定相関関数の相関値の算出に供される。以上で、ベース画像処理の一連の処理は終了する(エンド)。
次に、図14〜図21を参照しつつステップS13のターゲット画像処理の詳細について説明する。図14〜図16は、処理フローを表し、図17〜図21は、図14〜図16の処理フローの各ステップの説明図を表す。
まず、CPU401は、逐次に入力される各フレームの画像を、第1メモリ402においてターゲット画像用に確保された記憶領域にロードする。第1メモリ402がフレームメモリとして用いられている場合、CPU401は、たとえばターゲット画像用に確保された記憶領域に逐次に入力される各フレームの画像を転送する。
続いて、CPU401は、第1メモリ402に記憶されたターゲット画像を、その中央部を含む416×416のサイズの領域にクリッピングする。「416」は、1ワープのスレッド数の整数倍であり、「416」は回転を考慮したサイズである。すなわち、ターゲット画像を回転方向に回転させた後でもベース画像と同じ画像サイズを確保するために設定されたサイズである。実際の処理は、ベース画像処理と同様に352×352のサイズで行われる。クリッピングするサイズは、「352」より大きく、スレッド数の整数倍であればよい。クリッピングされた画像は、第1メモリ402に保存される。以下では、クリッピングされた画像をターゲット画像と呼ぶことがある。そして、CPU401は、第1メモリ402に記憶されたクリッピング後の画像(ターゲット画像)を第2メモリ413に転送する。これにより、GPU410は、指定された処理をターゲット画像に対して施すことができるようになる。
GPU410は、CPU401により起動されたカーネル関数により、第2メモリ413に記憶されたターゲット画像に対しアポダイゼーション処理を施す。この処理は、ステップS23と同様であり、第1の実施形態において第1変換処理部301、又は回転移動量算出部231における図示しないアポダイゼーション処理部により行われる。
GPU410は、カーネル関数により、ターゲット画像に対するアポダイゼーション処理の結果に対し2次元DFTを施す。この2次元DFTは、第1の実施形態においてターゲット画像について第1変換処理部301により行われる処理と同様である。
次に、GPU410は、カーネル関数により、2次元DFTの処理結果に対し対数変換を施す。この対数変換は、ステップS25と同様であり、第1の実施形態においてターゲット画像について対数変換部302により行われる処理と同様である。
次に、GPU410は、カーネル関数により、対数変換の処理結果に対しLog−Polar変換を施す。このLog−Polar変換は、ステップS26と同様であり、第1の実施形態においてターゲット画像について極座標変換部303により行われる処理と同様である。
次に、GPU410は、カーネル関数により、Log−Polar変換の処理結果に対し2次元DFTを施す。この2次元DFTは、第1の実施形態においてターゲット画像について第2変換処理部304により行われる処理と同様である。
次に、GPU410は、カーネル関数により、ステップS28において第2メモリ413に保存されたベースPOCデータと、ステップS47における2次元DFTの処理結果を振幅成分で正規化したターゲットPOCデータとを用いて、式(3)に示す式に従って位相限定合成処理を行う。この処理は、第1の実施形態において第1位相限定合成部305により行われる処理と同様である。
次に、GPU410は、カーネル関数により、式(4)に示す式に従って位相限定合成処理の処理結果に対し2次元IDFTを施す。2次元IDFTの処理結果の実数成分を図17に表す。この処理は、第1の実施形態において第1逆変換処理部306により行われる処理と同様である。
図17に示すステップS49の処理結果からピーク位置を特定することにより、相関値の高い動径(x方向の座標)と偏角(y方向の座標)とがピクセルレベルで特定される。そこで、GPU410は、カーネル関数により、ステップS49の処理結果のピーク値を求め、当該ピーク値に対応したピーク位置のアドレスを取得し、第2メモリ413に保存する。
次に、CPU401は、第2メモリ413に保存されたピーク位置のアドレスを第1メモリ402に転送する。これにより、CPU401は、第1メモリ402に記憶されたピーク位置のアドレスに基づいて、サブピクセルレベルで回転移動量(Δθ)の算出を行うことができるようになる。
CPU401は、第1メモリ402に記憶されたピーク位置のアドレスに基づき、偏角に対応した回転角が第1の閾値TH1以下であるか否かを判別する。当該回転角が第1の閾値TH1以下ではないと判別されたとき(S52:NO)、CPU401は、エラーと判断し、一連の処理を終了する(エンド)。一方、当該回転角が第1の閾値TH1以下であると判別されたとき(S52:YES)、CPU401は、ステップS53に移行する。
当該回転角が第1の閾値TH1以下であると判別されると、GPU410は、カーネル関数により、式(7)に従ってサブピクセルレベルで位相限定相関関数の相関値の算出を行う。具体的には、GPU410は、式(7)の位相限定相関関数において、ピーク位置に対応した画素を中心にnj(jは1又は2)を+3〜−3の範囲で、δjを+1〜−1の範囲でそれぞれ0.05ステップずつ変化させた複数の相関値を算出する。すなわち、ピーク位置に対応した画素を中心にn1方向(ここではx方向、動径方向)及びn2方向(ここではy方向、偏角方向)に3画素分の範囲で、サブピクセルレベルで複数の相関値を算出する。
δ1=(−1+Δt1/2) =−0.997159
δ1=(−1+3Δt1/2)=−0.991477
・・・
δ1=−Δt1/2 =−0.002841
δ1=Δt1/2 =+0.002841
・・・
δ1=(1−3Δt1/2) =+0.991477
δ1=(1−Δt1/2) =+0.997159
δ2についても、δ1と同様である。
次に、CPU401は、サブピクセルレベルで特定されたピーク位置に対応した回転移動量Δθを算出する。
Δθ=Δθ1+Δθs
回転移動量Δθが算出されると、GPU410は、CPU401により起動されたカーネル関数により、第2メモリ413に記憶された416×416サイズのターゲット画像を−Δθだけ回転させる。
続いて、GPU410は、平行移動量の算出を行う。すなわち、GPU410は、カーネル関数により、ステップS55において位置合わせが行われたターゲット画像に対しアポダイゼーション処理を施す。この処理は、第1の実施形態において第3変換処理部311、又は平行移動量算出部233における図示しないアポダイゼーション処理部により行われる。
GPU410は、カーネル関数により、ターゲット画像に対するアポダイゼーション処理の結果に対し2次元DFTを施す。この2次元DFTは、第1の実施形態においてターゲット画像について第3変換処理部311により行われる処理と同様である。
次に、GPU410は、カーネル関数により、ステップS31において第2メモリ413に保存されたベースPOCデータと、ステップS57における2次元DFTの処理結果を振幅成分で正規化したターゲットPOCデータとを用いて、式(3)に示す式に従って位相限定合成処理を行う。この処理は、第1の実施形態において第2位相限定合成部312により行われる処理と同様である。
次に、GPU410は、カーネル関数により、式(4)に示す式に従って位相限定合成処理の処理結果に対し2次元IDFTを施す。2次元IDFTの処理結果の実数成分を図20に表す。この処理は、第1の実施形態において第2逆変換処理部313により行われる処理と同様である。
図20に示すステップS59の処理結果からピーク位置を特定することにより、相関値のx方向の座標とy方向の座標とが特定される。GPU410は、カーネル関数により、ステップS59の処理結果のピーク値を求め、当該ピーク値に対応したピーク位置のアドレスを取得し、第2メモリ413に保存する。
次に、CPU401は、第2メモリ413に保存されたピーク位置のアドレスを第1メモリ402に転送する制御を行う。これにより、CPU401は、第1メモリ402に記憶されたピーク位置のアドレスに基づいて、サブピクセルレベルで平行移動量(Δx、Δy)の算出を行うことができるようになる。
CPU401は、第1メモリ402に記憶されたピーク位置のアドレスに基づき、たとえばx方向の移動量及びy方向の移動量が第2の閾値TH2以下であるか否かを判別する。x方向の移動量及びy方向の移動量が第2の閾値TH2以下ではないと判別されたとき(S62:NO)、CPU401は、エラーと判断し、一連の処理を終了する(エンド)。一方、x方向の移動量及びy方向の移動量が第2の閾値TH2以下であると判別されたとき(S62:YES)、CPU401は、ステップS63に移行する。
x方向の移動量及びy方向の移動量が第2の閾値TH2以下であると判別されると、GPU410は、カーネル関数により、式(7)に従ってサブピクセルレベルで位相限定相関関数の相関値の算出を行う。具体的には、GPU410は、式(7)の位相限定相関関数において、ピーク位置に対応した画素を中心にnj(jは1又は2)を+3〜−3の範囲で、δjを+1〜−1の範囲でそれぞれ0.05ステップずつ変化させた複数の相関値を算出する。すなわち、ピーク位置に対応した画素を中心にn1方向(ここではx方向)及びn2(ここではy方向)方向に3画素分の範囲で、サブピクセルレベルで複数の相関値を算出する。
次に、CPU401は、サブピクセルレベルで特定されたピーク位置に対応した平行移動量Δx、Δyを算出する。
Δx=Δx1+Δxs
Δy=Δy1+Δys
この実施形態に係る眼科装置は、第1の実施形態の効果に加えて、次のような効果を有する。
以上に説明した構成は、この発明を好適に実施するための一例に過ぎない。よって、この発明の要旨の範囲内における任意の変形(省略、置換、付加等)を適宜に施すことが可能である。
2 眼底カメラユニット
10 照明光学系
30 撮影光学系
31 合焦レンズ
31A 合焦駆動部
41 光路長変更部
42 ガルバノスキャナ
50 アライメント光学系
60 フォーカス光学系
90 光学系駆動部
100 OCTユニット
101 光源ユニット
105 光減衰器
106 偏波調整器
115 CCDイメージセンサ
200 演算制御ユニット
210 制御部
211 主制御部
212 記憶部
220 画像形成部
230 画像処理部
231 回転移動量算出部
232 位置合わせ部
233 平行移動量算出部
240A 表示部
240B 操作部
301 第1変換処理部
302 対数変換部
303 極座標変換部
304 第2変換処理部
305 第1位相限定合成部
306 第1逆変換処理部
311 第3変換処理部
312 第2位相限定合成部
313 第2逆変換処理部
400 演算処理ユニット
401 CPU
402 第1メモリ
410 GPU
411 並列処理制御部
4121〜412Q 演算処理部
413 第2メモリ
E 被検眼
Ef 眼底
LS 信号光
LR 参照光
LC 干渉光
Claims (5)
- 被検眼を動画撮影するための光学系と、
前記光学系により取得された動画像を解析して、トラッキング開始後の最初のフレームの第1画像について位相限定相関処理に用いられる第1データを算出する第1データ算出部と、
前記動画像を解析して逐次に得られる前記最初のフレーム以降の第2画像について位相限定相関処理に用いられる第2データを算出する第2データ算出部と、
前記第1データと前記第2データ算出部により逐次に算出された前記第2データとに基づいて位相限定相関処理を実行することにより、前記第1画像と前記第2画像との間の平行移動量を逐次に算出する平行移動量算出部と、
を含み、
前記第1画像に対して設定された領域に対応する動画像中から前記第2画像が特定される、眼科装置。 - 前記光学系を移動させる駆動部と、
前記平行移動量算出部により算出された前記平行移動量に基づいて、前記駆動部を制御する制御部と、
を含む
ことを特徴とする請求項1に記載の眼科装置。 - 前記平行移動量算出部は、
前記第1画像及び前記第2画像のうち前記第2画像に対し離散フーリエ変換を施す第3変換処理部と、
前記第1画像について予め算出された第3データと、前記第2画像についての前記第3変換処理部による演算結果に基づく第4データとを合成する位相限定合成処理を行う第2位相限定合成部と、
前記第2位相限定合成部による演算結果に対し逆離散フーリエ変換を施す第2逆変換処理部とを含み、
前記第2逆変換処理部による演算結果に基づいて前記平行移動量を算出することを特徴とする請求項1又は請求項2に記載の眼科装置。 - 前記第3変換処理部は、
前記第1画像及び前記第2画像のうち前記第1画像に対し離散フーリエ変換を施すことにより、前記第3データを生成することを特徴とする請求項3に記載の眼科装置。 - 各演算処理部が、前記第1画像と前記第2画像とに基づく第1位相限定相関関数の第1パラメータを互いに異ならせて前記第1位相限定相関関数の第1相関値をそれぞれ算出する複数の演算処理部を含み、
前記平行移動量算出部は、
前記複数の演算処理部により算出された複数の第1相関値のうち選択された第1相関値に対応した位置ずれ量を前記平行移動量として求めることを特徴とする請求項1〜請求項4のいずれか一項に記載の眼科装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018003365A JP6527970B2 (ja) | 2018-01-12 | 2018-01-12 | 眼科装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018003365A JP6527970B2 (ja) | 2018-01-12 | 2018-01-12 | 眼科装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013177388A Division JP6276943B2 (ja) | 2013-08-28 | 2013-08-28 | 眼科装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018075443A JP2018075443A (ja) | 2018-05-17 |
JP6527970B2 true JP6527970B2 (ja) | 2019-06-12 |
Family
ID=62149536
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018003365A Active JP6527970B2 (ja) | 2018-01-12 | 2018-01-12 | 眼科装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6527970B2 (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5586927B2 (ja) * | 2009-11-27 | 2014-09-10 | 株式会社ニデック | 眼底撮影装置 |
JP6115007B2 (ja) * | 2012-01-31 | 2017-04-19 | 株式会社ニデック | 眼科画像処理装置及びプログラム |
JP6007519B2 (ja) * | 2012-03-02 | 2016-10-12 | 株式会社ニデック | 眼科撮影装置 |
-
2018
- 2018-01-12 JP JP2018003365A patent/JP6527970B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018075443A (ja) | 2018-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5912358B2 (ja) | 眼底観察装置 | |
JP6276943B2 (ja) | 眼科装置 | |
JP5867719B2 (ja) | 光画像計測装置 | |
JP6426974B2 (ja) | データ処理方法及びoct装置 | |
JP6045895B2 (ja) | 眼科観察装置 | |
JP5916110B2 (ja) | 画像表示装置、画像表示方法、及びプログラム | |
JP5941761B2 (ja) | 眼科撮影装置及び眼科画像処理装置 | |
JP5543171B2 (ja) | 光画像計測装置 | |
US10058242B2 (en) | Ophthalmologic imaging apparatus and ophthalmologic image display apparatus | |
JP6923392B2 (ja) | 眼科装置 | |
JP6923393B2 (ja) | 眼科装置、及びその制御方法 | |
JP6159454B2 (ja) | 眼科観察装置 | |
WO2017069019A1 (ja) | 血流計測装置 | |
JP6564076B2 (ja) | 眼科装置 | |
JP6099782B2 (ja) | 眼科撮影装置 | |
JP2022044838A (ja) | 眼科装置及びデータ収集方法 | |
US10905323B2 (en) | Blood flow measurement apparatus | |
JP6527970B2 (ja) | 眼科装置 | |
JP6503040B2 (ja) | 眼科観察装置 | |
JP6021289B2 (ja) | 血流情報生成装置、血流情報生成方法、及びプログラム | |
JP6254729B2 (ja) | 眼科撮影装置 | |
JP6106299B2 (ja) | 眼科撮影装置及び眼科画像処理装置 | |
JP6106300B2 (ja) | 眼科撮影装置 | |
JP2019054990A (ja) | 眼科撮影装置、その制御方法、プログラム、及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180919 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181023 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190513 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6527970 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |