JP6587430B2

JP6587430B2 - 画像生成装置及び画像生成方法

Info

Publication number: JP6587430B2
Application number: JP2015125887A
Authority: JP
Inventors: 賢恩田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-06-23
Filing date: 2015-06-23
Publication date: 2019-10-09
Anticipated expiration: 2035-06-23
Also published as: JP2017006426A; US20160377849A1; US9971137B2

Description

本発明は、被検眼の所定領域の画像を生成する画像生成装置及び画像生成方法、当該画像生成装置の各手段としてコンピュータを機能させるためのプログラム、並びに、当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体に関する。

生活習慣病や失明原因の上位を占める疾病の早期診断を目的として、被検眼の眼底部の検査が広く行われている。共焦点レーザー顕微鏡の原理を利用した眼科装置として、走査型レーザー検眼鏡（ＳＬＯ：ＳｃａｎｎｉｎｇＬａｓｅｒＯｐｈｔｈａｌｍｏｓｃｏｐｅ）がある。このＳＬＯ装置は、測定光であるレーザーを被検眼の眼底部に対してラスタースキャンを行い、その戻り光の強度から平面画像である眼底画像を高分解能かつ高速に得る装置である。

近年、被検眼の収差を波面センサでリアルタイムに測定し、被検眼において発生する測定光やその戻り光の収差を波面補正デバイスで補正する補償光学系を有する補償光学ＳＬＯ（ＡＯ−ＳＬＯ：ａｄａｐｔｉｖｅＯｐｔｉｃｓＳＬＯ）装置が開発されている。この補償光学ＳＬＯ装置では、高横分解能な平面画像（以下、「ＡＯ−ＳＬＯ画像」という場合がある）の取得を可能にしている。

さらに近年では、受光部の手前にあるピンホールの径や形状、位置を変えることにより、散乱光を取得して得られた非共焦点画像を観察する方法が用いられるようになってきている（非特許文献１参照）。この非共焦点画像では、これまで補償光学ＳＬＯ装置では解像できていない領域で、被検眼の眼底部の構造物を表すような撮影画像が報告されている（非特許文献２参照）。このように、近年では、共焦点画像及び非共焦点画像の同時撮影を行う装置が非常に注目されてきている。

共焦点及び非共焦点に係る眼底画像をともに得る装置は、共振スキャナやガルバノスキャナを用いて測定光を２次元走査している。また、例えば、そのスキャナの制御回路は、光検出器による検出信号を画像表示するためにスキャナの走査に同期して画像生成用の同期信号を発生させるようにしている。そして、このスキャナの走査位置を示す同期信号と光検出による電気的サンプリング位置を合わせることで、眼底画像を形成している。

しかしながら、スキャナの駆動信号と画像生成用の同期信号を同じタイミングで出力すると、実際には共振スキャナの周波数や電気回路系の時間遅れ等があるので、同期信号から得られる光学的走査位置と電気的サンプリング位置とが必ずしも一致しないことがある。さらに、補償光学ＳＬＯ装置は高分解能であるため、そのスキャナ位置の誤差の影響を強く受け、同期信号に基づいてサンプリングされた画像間に位置ずれが目立ってしまい、画像の歪み等の画質劣化が発生する可能性がある。

このような課題を解決するために、特許文献１では、専用のハードウェア構成を用いてスキャナがスキャンしている正確な位置を取得し、または制御する手法を開示している。また、特許文献２では、撮影前に画像補正用のチャート画像を撮影し、撮影画像から画像の歪みを予め取得して、画像処理によって歪み補正を行うという手法を開示している。

特開２０００−３９５６０号公報特開２０１４−６８７０３号公報

Sulai, Dubra et al.;"Visualization of retinal vascular structure and perfusion with a nonconfocal adaptive optics scanning light ophthalmoscope", J. Opt. Soc. Am. A, Vol.31, No.3, pp.569-579, 2014. Scoles, Dubra et al.; "In vivo Imaging of Human Cone Photoreceptor Inner Segments", IOVS, Vol.55, No.7, pp.4244-4251, 2014.

ＡＯ−ＳＬＯ画像を、高精細、かつ、広画角、高フレームレートにすればするほど、光学的走査位置と電気的サンプリング位置とのずれが非常に小さくても、画像間の位置ずれが目立ってしまう。このような場合、上述した特許文献１のように、スキャナ位置を検出するハードウェア構成を用いても、非常に小さい光学的走査位置と電気的サンプリング位置とのずれを正確かつ高い応答性で検出することは非常に困難である。

また、上述した光学的走査位置と電気的サンプリング位置とのずれは、装置本体内の温度や電源の不安定性等の影響も受けるため、撮影ごとにずれ方が変化する可能性がある。そのため、上述した特許文献２のように、撮影前に画像補正用のチャート画像を撮影することで、画像歪みを予め取得して画像処理によって歪み補正をしたとしても、再度撮影画像内に歪みが生じてしまい、画質劣化が発生してしまう。特に、眼科装置の場合、同一の共振スキャナからの測定光によって画像補正用のチャート画像と眼底画像とを同時に撮影することは装置の構成上難しいため、上述した特許文献２の手法では画像内の歪みをすべて補正することは困難である。

即ち、従来の技術では、特別なハードウェア構成や画像補正用のチャート画像等を用いずに、スキャナの特性による画像歪みが補正された画像を取得することが困難であった。

本発明は、このような問題点に鑑みてなされたものであり、特別なハードウェア構成や画像補正用のチャート画像等を用いずに、スキャナの特性による画像歪みが補正された画像を取得することが可能な仕組みを提供することを目的とする。

本発明の画像生成装置は、スキャナにより被検眼の所定領域を往復走査した測定光による戻り光を受光して電気信号に変換する光電変換手段を含む撮影手段が複数設けられた眼科装置と通信可能に接続された画像生成装置であって、前記スキャナが１往復走査する間の前記スキャナの基準信号を抽出する抽出手段と、前記基準信号をサンプリング基準位置として、前記複数の撮影手段における各撮影手段ごとに、前記電気信号に基づき往復走査のサンプリングデータ配列を生成するデータ配列生成手段と、前記各撮影手段ごとに、前記往復走査のサンプリングデータ配列のうちの往路走査によるサンプリングデータ配列と復路走査によるサンプリングデータ配列とを比較してこれらの相関を評価する第１の評価手段と、前記第１の評価手段における評価の結果得られた前記各撮影手段ごとの第１の評価結果を比較して確からしさを評価する第２の評価手段と、前記第１の評価結果および前記第２の評価手段における評価の結果得られた第２の評価結果に基づいて、前記サンプリング基準位置を補正する基準位置補正手段と、前記基準位置補正手段により補正されたサンプリング基準位置に基づいて、前記各撮影手段ごとに、前記往復走査のサンプリングデータ配列に基づく画像データを構成する画像構成手段とを有する。
また、本発明は、上述した画像生成装置による画像生成方法、上述した画像生成装置の各手段としてコンピュータを機能させるためのプログラム、並びに、当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体を含む。

本発明によれば、特別なハードウェア構成や画像補正用のチャート画像等を用いずに、スキャナの特性による画像歪みが補正された画像を取得することが可能となる。

本発明の実施形態に係る画像生成装置を含む画像生成システムの概略構成の一例を示すブロック図である。図１に示す補償光学ＳＬＯ装置の概略構成の一例を示すブロック図である。本発明の実施形態に係る画像生成装置による画像生成方法における処理手順の一例を示すフローチャートである。図３のステップＳ３３０におけるスキャナ位置候補算出処理の詳細な処理手順の一例を示すフローチャートである。本発明の実施形態を示し、ガルバノスキャナのトリガ信号のタイムチャート、共振スキャナのトリガ信号のタイムチャート、及び、反射信号のタイムチャートを示す図である。図４のステップＳ４５０における逆ＦＦＴ処理で得られた逆ＦＦＴデータ配列の一例を示すグラフ図である。図３のステップＳ３５０における画像構成処理の際に行われるｓｉｎｅ補正を説明するための図である。

以下に、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。

本発明の実施形態では、補償光学ＳＬＯ装置により被検眼の所定領域として網膜（眼底部）を撮影した画像を取得する際に、共振スキャナとガルバノスキャナとの組み合わせによって取得したシグナル値に基づき画像を構成する場合について説明する。

具体的に、本実施形態では、複数の撮影手段を用いて共焦点画像及び非共焦点画像の双方を同時に撮影し、撮影により得られたサンプリングデータ配列を用いて画像処理により画像歪みを補正する。共焦点画像及び非共焦点画像は、同じスキャナ走査位置ではサンプリング位置ずれ量も同じはずであるが、それぞれの画像の特徴が異なるため、異なる補正結果になる場合がある。そして、本実施形態では、補正による確からしさを比較することにより、歪み補正の誤検出を低減することが可能である。そして、本実施形態では、補正したサンプリング基準位置を用いて画像データを生成することにより、特別なハードウェア構成や画像補正用のチャート画像等を用いずに、スキャナ（本例では共振スキャナ）の特性による画像歪みが補正された網膜の画像（眼底画像）を取得することが可能となる。

（画像生成装置の概略構成）
図１は、本発明の実施形態に係る画像生成装置１００を含む画像生成システム１０の概略構成の一例を示すブロック図である。
画像生成システム１０は、図１に示すように、画像生成装置１００、補償光学ＳＬＯ装置２００、及び、外部装置３００を有して構成されている。

画像生成装置１００は、スキャナにより被検眼の所定領域を往復走査した測定光による戻り光を受光して電気信号に変換する光電変換手段を含む撮影手段が複数設けられた補償光学ＳＬＯ装置２００（眼科装置）と通信可能に接続された装置である。この画像生成装置１００は、図１に示すように、信号情報取得部１１０、制御部１２０、記憶部１３０、画像生成部１４０、及び、出力部１５０を有して構成されている。

信号情報取得部１１０は、補償光学ＳＬＯ装置２００から、共振スキャナ及びガルバノスキャナのそれぞれのトリガ信号と、被検眼の網膜からの反射信号等の信号情報を取得する。ここで、トリガ信号とは、共振スキャナ及びガルバノスキャナが特定の位置（基準位置）にあることを示す基準信号である。信号情報取得部１１０で取得された信号情報は、制御部１２０を通じて記憶部１３０に記憶される。

制御部１２０は、画像生成装置１００の動作を統括的に制御する。

記憶部１３０は、信号情報取得部１１０で取得された信号情報や、画像生成装置１００の処理に必要な各種の情報、及び、画像生成装置１００の処理で得られた各種の情報（各種の画像データを含む）等を記憶する。

画像生成部１４０は、各種の画像データの生成を行うものであり、図１に示すように、パラメータ演算処理部１４１、及び、画像構成部１４２を含み構成されている。

パラメータ演算処理部１４１は、信号情報取得部１１０で取得した信号情報に基づいてガルバノスキャナ及び共振スキャナのトリガ信号（基準信号）を抽出する。具体的に、本実施形態においては、上述のスキャナが１往復走査する間に出力された当該スキャナの基準信号を抽出する。この基準信号の抽出を行うパラメータ演算処理部１４１は、抽出手段を構成する。次いで、パラメータ演算処理部１４１は、抽出したトリガ信号（基準信号）をサンプリング基準位置として、補償光学ＳＬＯ装置２００内の複数の撮影手段における各撮影手段ごとに、反射信号（補償光学ＳＬＯ装置２００の光電変換手段で得られた電気信号）に基づき往復走査におけるサンプリング配列を生成する。このサンプリングデータ配列を生成するパラメータ演算処理部１４１は、データ配列生成手段を構成する。次いで、パラメータ演算処理部１４１は、各撮影手段ごとに、生成した往復走査のサンプリングデータ配列のうちの往路走査によるサンプリングデータ配列と復路走査によるサンプリングデータ配列とを比較してこれらの相関を評価する。この相関を評価するパラメータ演算処理部１４１は、第１の評価手段を構成する。次いで、パラメータ演算処理部１４１は、上述した相関の評価の結果得られた各撮影手段ごとの第１の評価結果を比較して確からしさを評価する。この確からしさを評価するパラメータ演算処理部１４１は、第２の評価手段を構成する。次いで、パラメータ演算処理部１４１は、上述した第１の評価結果及び上述した確からしさの評価の結果得られた第２の評価結果に基づいて、上述したサンプリング基準位置を補正する。このサンプリング基準位置を補正するパラメータ演算処理部１４１は、基準位置補正手段を構成する。

画像構成部１４２は、パラメータ演算処理部１４１により補正されたサンプリング基準位置に基づいて、各撮影手段ごとに、上述した往復走査のサンプリングデータ配列に基づく被検眼の網膜における画像データを構成する。

出力部１５０は、画像生成部１４０で生成された画像データや、記憶部１３０に記憶されている各種の情報等を、外部装置３００に出力する。

補償光学ＳＬＯ装置２００は、上述のスキャナにより被検眼の所定領域を往復走査した測定光による戻り光を受光して電気信号に変換する光電変換手段を含む撮影手段が複数設けられた眼科装置である。また、補償光学ＳＬＯ装置２００は、被検眼において発生する測定光またはその戻り光の収差を補正するための補償光学系を更に含み構成されている。

外部装置３００は、画像生成装置１００と通信可能に接続された装置であり、例えば、表示装置等の出力装置である。

（補償光学ＳＬＯ装置の概略構成）
次に、図１に示す補償光学ＳＬＯ装置２００の概略構成について説明する。
図２は、図１に示す補償光学ＳＬＯ装置２００の概略構成の一例を示すブロック図である。なお、この図２には、図１に示す補償光学ＳＬＯ装置２００の概略構成に加えて、図１に示す画像生成装置１００及び外部装置３００も図示している。

補償光学ＳＬＯ装置２００は、図２に示すように、ＳＬＤ（ＳｕｐｅｒＬｕｍｉｎｅｓｃｅｎｔＤｉｏｄｅ）２０１、ビームスプリッタ２０２及び２０３、補償光学系２０４、Ｘ−Ｙ走査ミラー２０５、シャックハルトマン波面センサ２０６、フォーカスレンズ２０９及び２１１、Ａｎｎｕｌａｒミラー２１０、並びに、光センサ２１２及び２１３を有して構成されている。

光源であるＳＬＤ２０１から照射された光は被検眼Ｅの眼底部Ｅｒで反射され、その一部がビームスプリッタ２０３を経由してシャックハルトマン波面センサ２０６へ導かれ、それ以外はビームスプリッタ２０２を経由して光センサ２１２，２１３へ導かれる。

シャックハルトマン波面センサ２０６は、被検眼Ｅの収差を測定するためのデバイスであり、レンズアレイ２０７にＣＣＤ２０８が接続されて構成されている。このシャックハルトマン波面センサ２０６において、入射光がレンズアレイ２０７を透過すると、ＣＣＤ２０８に輝点群が投影され、当該投影された輝点の位置ずれに基づき波面収差が測定される。

補償光学系２０４は、シャックハルトマン波面センサ２０６で測定された波面収差に基づき、収差補正デバイス（可変形状ミラーもしくは空間光位相変調器）を駆動して収差を補正する。当該収差補正された光は、ビームスプリッタ２０３及び２０２、フォーカスレンズ２０９及びＡｎｎｕｌａｒミラー２１０を経由し、共焦点側の光は光電変換手段である光センサ２１３に導かれ、非共焦点側の光はフォーカスレンズ２１１を経由して光電変換手段である光センサ２１２に導かれる。そして、各光センサ２１２及び光センサ２１３に導かれた光は、それぞれ、各光センサ２１２及び光センサ２１３において電気信号に変換される。

ここで、図２に示す例では、例えば、２０１〜２０６、２０９、２１０及び２１３の構成から共焦点画像撮影手段が構成され、２０１〜２０６、２０９〜２１２の構成から非共焦点画像撮影手段が構成されている。

ここで、Ａｎｎｕｌａｒミラー２１０には、共焦点の直系の光を反射し、非共焦点の光を透過するというようなマスクが施されている。ここで、例えば、非特許文献１に記載のように、さらに非共焦点の光を任意の方向に分割し、追加して光センサ（２１２）を設けることで、分割された方向ごとの非共焦点の光を受光することも可能である。本実施形態では、説明の簡略化のために、非共焦点の光を受光する１つの光センサ２１２を示しているが、本発明においてはこれに限定されるものではなく、複数の光センサ２１２を設ける形態も適用可能である。即ち、これらの形態を一般化して説明すると、補償光学ＳＬＯ装置２００内に複数設けられる撮影手段としては、共焦点の光を検出する共焦点画像撮影手段と、少なくとも１つ以上の非共焦点の光を検出する少なくとも１つ以上の非共焦点画像撮影手段が構成される。

Ｘ−Ｙ走査ミラー２０５を動かすことにより、被検眼Ｅの眼底部Ｅｒ上の走査位置を制御することができ、検者が予め指定した撮影対象領域、時間（フレーム数／フレームレート）の情報を取得することができる。このＸ−Ｙ走査ミラー２０５は、主走査であるＸ方
向には共振スキャナが設けられ、副走査であるＹ方向にはガルバノスキャナが設けられている。Ｘ−Ｙ走査ミラー２０５に係る信号情報は、画像生成装置１００へ送信され、画像生成装置１００において画像データ（動画像データもしくは静止画像データ）を生成する際に用いられる。本実施形態では、フレームレートの高速化のために、主走査である共振スキャナの往路走査及び復路走査の双方で信号情報を取得するものとするが、これに限定されない。

被検眼Ｅの眼底部Ｅｒ上の特定の深さ位置にフォーカスを合わせるためには、補償光学系２０４内の収差補正デバイスを用いた調整か、或いは、光学系内に不図示のフォーカス調整用レンズを設置し、当該フォーカス調整用レンズを移動することによる調整か、の少なくともいずれかを用いることができる。

また、被検眼Ｅの固視微動と呼ばれる不随意的な眼球運動や固視不良による眼球運動或いは顔の動きに伴う被検眼Ｅの動きの影響を軽減するために、被検眼Ｅの動きを追尾（トラッキング）する場合がある。この際、眼底部Ｅｒの動きの計測は、例えば、画像生成装置１００において、生成した眼底画像を用いて、特徴を持った小領域の画像であるテンプレート画像を抽出し、テンプレート画像と最も似た部位を探すパターンマッチングによって行う方法等がある。この場合、例えば、画像生成装置１００の制御部１２０は、被検眼Ｅの動きを追尾して撮像位置を補正する制御を行う。この撮像位置を補正する制御を行う制御部１２０は、補正制御手段を構成する。そして、補償光学ＳＬＯ装置２００は、画像生成装置１００の制御部１２０による当該補正制御に基づいて、被検眼Ｅの動きを追尾した撮像位置の補正を行う。具体的に、例えば、補償光学ＳＬＯ装置２００の光学系内に不図示のスキャナを設置して、照射光の位置を当該スキャナによって計測した眼底部Ｅｒの動きに追従させる。

（画像生成装置の処理手順）
次に、本発明の実施形態に係る画像生成装置１００による画像生成方法における処理手順について説明する。
図３は、本発明の実施形態に係る画像生成装置１００による画像生成方法における処理手順の一例を示すフローチャートである。

＜ステップＳ３１０＞
まず、ステップＳ３１０において、信号情報取得部１１０は、補償光学ＳＬＯ装置２００で取得された少なくとも画像１枚分の信号情報を取得する。ここで取得される信号情報は、被検眼Ｅの網膜の撮影に用いられるガルバノスキャナのトリガ信号、共振スキャナのトリガ信号、並びに、撮影によって取得された被検眼Ｅの網膜からの共焦点及び非共焦点それぞれの反射信号の４種類である。そして、ステップＳ３１０で取得された信号情報は、制御部１２０を通じて記憶部１３０に記憶されて保存される。また、この際、取得された信号情報に付随するハードウェアの制御情報を取得し、制御部１２０を通じて記憶部１３０に記憶する。ここで、制御情報とは、被検眼Ｅの網膜の反射信号を取得する際にサンプリング周波数やガルバノスキャナの周波数に相当するフレームレート等の情報である。これらの制御情報は、信号情報に付加している撮影情報ファイルに記載されている場合もあれば、信号情報のタグ情報として含まれている場合もある。

＜ステップＳ３２０＞
続いて、ステップＳ３２０において、パラメータ演算処理部１４１は、記憶部１３０に保存されている信号情報から、ガルバノスキャナ及び共振スキャナのトリガ信号（基準信号）を抽出して、トリガ位置を取得する。ここで、トリガ位置とは、反射信号をサンプリングしてピクセル値を得るための基準となる位置（サンプリング基準位置）である。そして、パラメータ演算処理部１４１は、取得したトリガ位置情報を、制御部１２０を通じて記憶部１３０に保存する。

図５は、本発明の実施形態を示し、ガルバノスキャナのトリガ信号のタイムチャート、共振スキャナのトリガ信号のタイムチャート、及び、反射信号のタイムチャートを示す図である。具体的に、図５（ａ）にガルバノスキャナのトリガ信号のタイムチャートを示し、図５（ｂ）に共振スキャナのトリガ信号のタイムチャートを示し、図５（ｃ）に反射信号のタイムチャートを示す。

ガルバノスキャナのトリガ信号及び共振スキャナのトリガ信号は、それぞれ、図５（ａ）及び図５（ｂ）に示すような信号であるため、パラメータ演算処理部１４１は、トリガ信号の抽出を閾値処理によって行う。具体的には、パラメータ演算処理部１４１は、信号強度の変化が或る閾値以上となる場合に、トリガ信号として検出し抽出する。

ガルバノスキャナは、画像の水平方向にレーザビームを走査していて、１つのトリガ信号が検出される間に、水平方向の走査が１回行われ、この間に画像１枚が撮影される。共振スキャナは、１つのトリガ信号が検出される間に、画像の垂直方向２ライン分の走査（往路走査と復路走査）が行われ、この間に画像１枚分の中の画像縦方向の往復２列分が撮影される。そこで、パラメータ演算処理部１４１は、トリガ信号検出開始のタイミングを、トリガ位置、つまりサンプリング基準位置として抽出する。

また図５（ｃ）に示す反射信号は、被検眼Ｅの眼底部Ｅｒからの反射光の強度を、図２に示す光センサ２１２または光センサ２１３で検出した値である。図５（ｂ）に示すように、共振スキャナのトリガ信号が検出されている間のみサンプリングして、この間の信号情報を画像生成に用いる。

本実施形態においては、共振スキャナが走査されているときに連続的にサンプリングされていてもよく、また、これに限定されるものではない。また、トリガ位置の取得方法としては様々な方法が考えられ、ここで用いた方法に限定されるものではない。

＜ステップＳ３３０＞
続いて、ステップＳ３３０において、パラメータ演算処理部１４１は、ステップＳ３２０で取得されたトリガ位置に基づいて、複数の撮影手段（共焦点画像撮影手段及び非共焦点画像撮影手段）における各撮影手段ごとに、反射信号に基づき往復走査におけるサンプリングデータ配列を生成する。そして、パラメータ演算処理部１４１は、各撮影手段ごとに、生成したサンプリングデータ配列を用いてトリガ信号発信時のスキャナ位置（サンプリング基準位置）の候補を算出する。そして、パラメータ演算処理部１４１は、算出したスキャナ位置候補情報を、制御部１２０を通じて記憶部１３０に保存する。

図４は、図３のステップＳ３３０におけるスキャナ位置候補算出処理の詳細な処理手順の一例を示すフローチャートである。ここで、以下の説明では、スキャナ位置候補算出処理は、共焦点画像撮影手段及び非共焦点画像撮影手段のそれぞれにおいて連続的に撮影された複数枚画像の１枚１枚における共振スキャナの１往復走査ごとに行われ、それを１枚の画像の中の往復走査分を繰り返し、複数枚画像に対しても同様に行う。

本実施形態におけるスキャナ位置候補算出処理では、各撮影手段ごとに、往復走査のサンプリングデータ配列のうちの往路走査によるサンプリングデータ配列と復路走査によるサンプリングデータ配列とのそれぞれの空間周波数領域を用いて、往路走査によるサンプリングデータ配列と復路走査によるサンプリングデータ配列とを比較してこれらの相関を評価する。この際、本実施形態では、例えば、ＣｒｏｓｓＣｏｒｒｅｌａｔｉｏｎ法という画素の空間周波数領域を用いたパターンマッチングにより、往路走査によるサンプリングデータ配列と復路走査によるサンプリングデータ配列とを比較してこれらの相関を評価する。具体的な評価としては、往路走査によるサンプリングデータ配列と復路走査によるサンプリングデータ配列との間の相関が最も高い位置を計算する処理を行う。なお、上述した例では、ＣｒｏｓｓＣｏｒｒｅｌａｔｉｏｎ法を用いて評価を行う態様を示したが、本実施形態はこの態様に限定されず、例えば、位相空間のみを用いたＰｈａｓｅＯｎｌｙＣｏｒｒｅｌａｔｉｏｎ法を用いて評価を行う態様も適用できる。また、以下の図４に示す処理ステップでは、共焦点及び非共焦点の双方ともに同様の計算を行う。

≪ステップＳ４１０≫
まず、ステップＳ４１０において、パラメータ演算処理部１４１は、ステップＳ３１０で取得された制御情報に基づいて、トリガ信号の発信時の共振スキャナの位置を、サンプリング基準開始位置の初期位置ｘ₀として設定する。ここで、初期位置ｘ₀の設定方法にはいくつかの方法があり、例えば、本実施形態においては、トリガ位置よりトリガーディレイ分を考慮した位置といった形で設定される。また、この他にも、連続して数枚の画像を撮影する場合、その撮影画像より前に撮影した画像の各往復走査ごとの平均的なスキャナ推定位置を初期位置として設定することで、推定位置の探索範囲を狭めるといった方法等も用いることができる。

≪ステップＳ４２０≫
続いて、ステップＳ４２０において、パラメータ演算処理部１４１は、ステップＳ４１０で設定したサンプリング基準開始位置の初期位置ｘ₀に基づいて、共振スキャナの１往復走査分の１次元サンプリングデータ配列２ライン分を、共焦点及び非共焦点の双方ともに生成する。

≪ステップＳ４３０≫
続いて、ステップＳ４３０において、パラメータ演算処理部１４１は、ステップＳ４２０で生成した各往復２ラインごとのサンプリングデータ配列に対して、それぞれ、１次元フーリエ変換を行うことで、１次元の空間周波数領域データ配列を、共焦点及び非共焦点の双方ともに算出して生成する。ここで、空間周波数領域データ配列の算出方法としては、例えば、離散フーリエ変換を用いて算出する方法が適用できるが、より好適には、演算高速化のため高速フーリエ変換（以下、「ＦＦＴ」と称する）を用いて算出する方法がある。以下の説明においては、空間周波数領域データ配列の算出方法として、ＦＦＴを用いて算出する方法を適用し、一般的な窓関数であるハン窓を使用する。

また、ＦＦＴを行う領域としては、何らかの構造物等の輝度勾配のある領域が含まれていることが好適であるため、できる限り広い領域で、かつ、スキャン中心の共振スキャナの速度が速い領域を含めるものとする。即ち、スキャン中心の共振スキャナの速度が速い領域を含めることは、共振スキャナの走査による画像歪みの影響が他の範囲よりも小さい範囲の往復走査のサンプリングデータ配列を用いて、上述した評価を行うことに相当する。

但し、更なる計算の高速化のために、サンプリングデータ配列から輝度勾配の大きな領域を含むより狭い領域のみを用いることや、固定小数点によるＦＦＴやビットシフト等により演算量の削減を行うことも可能である。このように、空間周波数領域の算出に関しては上述した方法に限定されるものではない。また、本実施形態においては、隣接する、往路走査によるサンプリングデータ配列と復路走査によるサンプリングデータ配列のうち、少なくとも輝度勾配の変化の大きい範囲について、上述した評価を行う態様も適用可能である。

≪ステップＳ４４０≫
続いて、ステップＳ４４０において、パラメータ演算処理部１４１は、ステップＳ４３０で生成された往路走査によるサンプリングデータ配列の空間周波数領域データ配列Ａと復路走査によるサンプリングデータ配列の空間周波数領域データ配列Ｂとを、共焦点及び非共焦点の双方ともに合成する。ここでの合成方法としては、ＣｒｏｓｓＣｏｒｒｅｌａｔｉｏｎ法での演算に用いる一般的な方法を用いて、Ａに対してＢの共役を掛け算することで得られる。

≪ステップＳ４５０≫
続いて、ステップＳ４５０において、パラメータ演算処理部１４１は、ステップＳ４４０で得られた往復走査のサンプリングデータ配列の空間周波数領域データ配列の合成画像に対して、共焦点及び非共焦点の双方ともに逆フーリエ変換を行う。ここでも、逆フーリエ変換は、逆ＦＦＴを用いる。

≪ステップＳ４６０≫
続いて、ステップＳ４６０において、パラメータ演算処理部１４１は、ステップＳ４５０で得られた共焦点及び非共焦点の双方の逆ＦＦＴデータ配列のうち、最大値を持つデータポイントの位置をそれぞれ探索する。

図６は、図４のステップＳ４５０における逆ＦＦＴ処理で得られた逆ＦＦＴデータ配列の一例を示すグラフ図である。この図６のグラフにおいて、縦軸はＣｏｒｒｅｌａｔｉｏｎＰｅａｋ（Ｃｏｒｒｅｌａｔｉｏｎピーク）の大きさ、横軸は往復走査のサンプリング配列の走査方向のＯｆｆｓｅｔ値である。図６のグラフを見ると、Ｏｆｆｓｅｔ値が０の時が最大値を示している。ここで、最大値を持つデータポイントの探索方法としては、共振スキャナの周波数や電気回路の遅れ等の物理的に起こりうるズレの範囲内のみを探索する等してもよく、その方法は限定されない。

本実施形態では、上述した評価を行う際に、ＣｒｏｓｓＣｏｒｒｅｌａｔｉｏｎ法を用いるため、この場合、例えば、Ｃｏｒｒｅｌａｔｉｏｎピークの最大値の探索を行う態様を採ることができる。また、上述した評価を行う際に、ＰｈａｓｅＯｎｌｙＣｏｒｒｅｌａｔｉｏｎ法を用いる形態の場合も、例えば、Ｃｏｒｒｅｌａｔｉｏｎピークの最大値の探索を行う態様を採ることができる。

≪ステップＳ４７０≫
続いて、ステップＳ４７０において、パラメータ演算処理部１４１は、ステップＳ４６０で得られた共焦点及び非共焦点の双方のデータポイントの位置近傍のデータを用いてそれぞれフィッティングを行い、逆ＦＦＴデータにおける最大ピーク値とその時のＯｆｆｓｅｔ値をそれぞれ計算する。

本実施形態では、上述した評価を行う際に、ＣｒｏｓｓＣｏｒｒｅｌａｔｉｏｎ法を用いるため、この場合、Ｃｏｒｒｅｌａｔｉｏｎピークの最大値近傍での任意のフィッティングにより、Ｃｏｒｒｅｌａｔｉｏｎピークの位置を決定する態様を採ることができる。また、上述した評価を行う際に、ＰｈａｓｅＯｎｌｙＣｏｒｒｅｌａｔｉｏｎ法を用いる形態の場合も、例えば、Ｃｏｒｒｅｌａｔｉｏｎピークの最大値近傍での任意のフィッティングにより、Ｃｏｒｒｅｌａｔｉｏｎピークの位置を決定する態様を採ることができる。

このようにフィッティングを行うことで、サブサンプリング単位で基準位置を求めることができる。このフィッティングには、任意の最小二乗法等の方法を用いることができるが、本実施形態では計算が容易なパラボラフィッティングを用いる。図６において、例えば、Ｏｆｆｓｅｔ値が−１，０，１の３点のデータを用いてパラボラフィッティングを行うことで、往復走査のサンプリングデータ配列同士の最も相関の高くなる時のＯｆｆｓｅｔ値がサブサンプリング単位で算出できる。このように計算したＯｆｆｓｅｔ値に対して共振スキャナの軌道を考慮することで、サンプリング基準開始位置からのシフト量Δｘを算出し、ｘ₀＋Δｘをトリガ信号の発信時の実際の共振スキャナ位置である補正されたサンプリング基準位置とみなすことができる。この補正されたサンプリング基準位置情報は、パラメータ演算処理部１４１から、制御部１２０を通じて記憶部１３０に保存される。

以上の図４のステップＳ４１０〜ステップＳ４７０の処理を経ることにより、図３のステップＳ３３０におけるスキャナ位置候補算出処理が行われる。ここで、再び、図３の説明に戻る。

＜ステップＳ３４０＞
図３のステップＳ３３０の処理が終了すると、ステップＳ３４０に進む。
ステップＳ３４０に進むと、パラメータ演算処理部１４１は、ステップＳ３３０で算出された各往復走査ごとのスキャナ位置（サンプリング基準位置）の候補の中から、補正するスキャナ位置をそれぞれ１つ決定する。この際、本実施形態では、パラメータ演算処理部１４１は、ステップＳ３３０における評価の結果得られた各撮影手段ごとの第１の評価結果を比較して確からしさを評価する。

具体的に、例えば、スキャナ位置（サンプリング基準位置）の候補の中から１つのスキャナ位置を決定する方法としては、単純に、ステップＳ３３０で算出した各撮影手段ごとのＣｏｒｒｅｌａｔｉｏｎピークの最大値を、共焦点及び非共焦点の双方で比較して、ピーク値の高さを位置ずれ補正時の相関の高さ（確からしさ）とみなして決定してもよい。他の例として、ステップＳ３３０で算出した各撮影手段ごとの、Ｃｏｒｒｅｌａｔｉｏｎピークの最大値と２番目に大きい値との比を比較して、その大きさから確からしさを決定してもよい。また、その他の例として、Ｃｏｒｒｅｌａｔｉｏｎピークの位置のうち、共振スキャナを含むハードウェア構成により推定されるサンプリング基準位置のずれ量の範囲（例えば最大ずれ量を考慮した範囲）よりも大きいＣｏｒｒｅｌａｔｉｏｎピークの位置を除外するエラー処理を行って、確からしさを決定してもよい。この相関の確からしさを比較する方法としては、様々な方法が考えられ、ここで用いた手法に限定されるものではない。本ステップで決定されたスキャナ位置（サンプリング基準位置）に係る情報は、パラメータ演算処理部１４１から、制御部１２０を通じて記憶部１３０に保存される。

＜ステップＳ３５０＞
続いて、ステップＳ３５０において、画像構成部１４２は、ステップＳ３４０で決定されたサンプリング基準位置に基づいて、各撮影手段ごとに、上述した往復走査のサンプリングデータ配列に基づく被検眼の網膜における画像データを構成する。具体的に、共振スキャナの１往復走査分の画像２ライン分のｓｉｎｅ補正を行って、共焦点及び非共焦点の双方について画像データを構成する。これは、共振スキャナが同一速度で走査していないため、縦軸方向の位置に均一にデータを分割すると、共振スキャナの速度によって画像に歪みが生じてしまうので、共振スキャナの走査軌道をｓｉｎｅ波に近似して、各画素に対しサンプリング数に重みづけを行うことで画像歪みを解消することを目的としている。そして、画像構成部１４２は、構成した画像データを、制御部１２０を通じて記憶部１３０に記憶して保存する。

図７は、図３のステップＳ３５０における画像構成処理の際に行われるｓｉｎｅ補正を説明するための図である。図７において、横軸は時間ｔを示し、また、縦軸は、位置ｘとし、共振スキャナの走査軌道をステップＳ３１０で取得された周波数のｓｉｎｅ波であると仮定して示し、振幅を１．０としたものである。この図７に示すｓｉｎｅ波の縦軸を仮に１０等分して、分割された区間をそれぞれ時間０．０からｎ＝０，１，２，…，９と名付ける。また、縦軸を分割した直線とｓｉｎｅ波との交点の時間をそれぞれｔ（０），ｔ（１），…と名付ける。この縦軸を分割した区間を共振スキャナが走査している間にサンプリングしたデータを、この位置の画素に割り当てる。そうすると、サンプリングは数十ＭＨｚで時間的に等間隔に行われるが、対応する共振スキャナの１区間を走査している、つまりサンプリングしている時間は、画素により異なっていることがわかる。よって、取得される反射信号の輝度値を、対応する位置のピクセル値に対応付け、１つの画素に複数の信号が対応する場合には、画素値を複数の信号の平均値として取得する。本実施形態では、共振スキャナの走査軌道をｓｉｎｅ波に近似しているが、近似方法はこれに限定されない。

ここで、画像構成は、連続的に撮影された複数画像の１枚１枚に対して行う。つまり、ステップＳ３２０で取得されたガルバノスキャナのトリガ信号の１つ１つに相当する画像１枚分に対して上述した処理を行い、それを枚数分繰り返す。そうして、すべての画像に対して画像構成を行った後、それらを統合した画像群を構成し、これを記憶部１３０に記憶して保存する。

＜ステップＳ３６０＞
続いて、ステップＳ３６０において、出力部１５０は、ステップＳ３５０において得られた網膜の画像データを外部装置３００に出力する。これにより、外部装置３００において、例えば、出力部１５０から出力された画像データに基づく画像が表示され、例えば検者等に提示される。さらに、出力部１５０は、ステップＳ３１０〜ステップＳ３４０において記憶部１３０に記憶されたスキャナの往復走査ごとのサンプリング基準位置等の画像構成に係る情報を外部装置３００（例えばデータベース）に出力する。

ステップＳ３６０の処理が終了すると、図３に示すフローチャートの処理が終了する。

なお、本実施形態においては、上述した図３のステップＳ３３０における評価を、隣接する往路走査と復路走査に対応する１次元サンプリングデータ配列ごとに行う態様や、複数の往復走査に対応する２次元サンプリングデータ配列ごとに行う態様を適用することが可能である。

本実施形態によれば、特別なハードウェア構成や画像補正用のチャート画像等を用いずに、スキャナの特性による画像歪みが補正された画像を取得することが可能となる。

［その他の実施形態］
上述した本発明の実施形態では、共振スキャナの往復走査分の画像２ライン分ごとに、トリガ信号の発信時の共振スキャナ位置を推定している。これは、補償光学ＳＬＯ装置２００は、高横分解能であるため、そのスキャナ周波数や電気回路系の時間遅れがスキャナ位置に及ぼすわずかな誤差が、１往復走査ごとに不均一な画像歪みとして影響を及ぼすためである。これは、共振スキャナの走査に係るばらつきが、補償光学ＳＬＯ装置２００本体内の温度や電源の不安定性等の影響も受けるため、スキャナ位置の誤差自体のばらつきも大きいことが原因である。補償光学ＳＬＯ装置２００のスキャナ設定や取得画像の撮影条件、もしくは、共振スキャナ以外のスキャナの使用（ポリゴンミラー等）によっては、この画像歪みがある一定の周期ごとに現れる場合もある。この場合には、画像歪みの現れる周期に相当する数の往復走査ごとにスキャナ位置の推定を行うことで推定ステップの回数を減らすことも可能である。

他には、スキャナ位置の推定を往復走査１ラインで行うのではなく、複数の往復走査ラインで同時に計算することも可能である。具体的には、複数の往路走査ライン及び復路走査ラインを、それぞれ二次元の画像として扱い、２次元ＦＦＴによる空間周波数領域の比較により、スキャナ走査方向の位置ずれを計算するという方法である。この方法を採れば、一括で、均一のサンプリング基準位置を計算することができる。

また、上述した本発明の実施形態では、図３のステップＳ３４０においてサンプリング基準位置（スキャナ位置）の候補の中から自動でサンプリング基準位置を決定する例を示したが、本発明はこれに限定されるものではない。例えば、まず、それぞれのサンプリング基準位置の候補のサンプリング基準位置を用いた画像データを画像構成部１４２で構成し、出力部１５０を通して外部装置３００である表示装置に表示する。そして、ステップＳ３４０において、パラメータ演算処理部１４１は、外部装置３００である表示装置に表示された画像のうち、ユーザによって選択された画像に基づいて、上述した評価を行ってサンプリング基準位置（スキャナ位置）を決定する形態も適用可能である。この形態の場合には、例えばＣｏｒｒｅｌａｔｉｏｎピークの最大値の大きさ等の参考となるパラメータを画像と同時に表示してもよく、確からしさがある閾値以下のスキャナ位置のみをユーザに選択させるようにしてもよい。

さらには、歪みが補正された画像を用いることで、表示する画像の画質向上や画像演算の精度向上が期待されるため、上述した実施形態の画像歪み補正を撮影後すぐに実行するための高速化をハードウェア構成と演算の並列化により実施する方法もある。例えば、任意のＦＰＧＡやＧＰＵ等のマルチコア演算器等を追加して、画像生成部１４０で行う演算を複数の往復走査について並列化によるパイプライン処理で行うことも可能である。

また、上述の本発明の実施形態では、スキャナで往復走査する被検眼Ｅの所定領域として、被検眼Ｅの網膜（眼底部Ｅｒ）を適用した例について説明を行ったが、本発明においてはこれに限定されるものではなく、被検眼Ｅの他の部分を適用することも可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体は、本発明に含まれる。

なお、上述した本発明の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０画像生成システム、１００画像生成装置、１１０信号情報取得部、１２０制御部、１３０記憶部、１４０画像生成部、１４１パラメータ演算処理部、１４２画像構成部、１５０出力部、２００補償光学ＳＬＯ装置、３００外部装置

Claims

スキャナにより被検眼の所定領域を往復走査した測定光による戻り光を受光して電気信号に変換する光電変換手段を含む撮影手段が複数設けられた眼科装置と通信可能に接続された画像生成装置であって、
前記スキャナが１往復走査する間の前記スキャナの基準信号を抽出する抽出手段と、
前記基準信号をサンプリング基準位置として、前記複数の撮影手段における各撮影手段ごとに、前記電気信号に基づき往復走査のサンプリングデータ配列を生成するデータ配列生成手段と、
前記各撮影手段ごとに、前記往復走査のサンプリングデータ配列のうちの往路走査によるサンプリングデータ配列と復路走査によるサンプリングデータ配列とを比較してこれらの相関を評価する第１の評価手段と、
前記第１の評価手段における評価の結果得られた前記各撮影手段ごとの第１の評価結果を比較して確からしさを評価する第２の評価手段と、
前記第１の評価結果および前記第２の評価手段における評価の結果得られた第２の評価結果に基づいて、前記サンプリング基準位置を補正する基準位置補正手段と、
前記基準位置補正手段により補正されたサンプリング基準位置に基づいて、前記各撮影手段ごとに、前記往復走査のサンプリングデータ配列に基づく画像データを構成する画像構成手段と
を有することを特徴とする画像生成装置。
前記眼科装置は、前記被検眼において発生する測定光またはその戻り光の収差を補正するための補償光学系を更に含むことを特徴とする請求項１に記載の画像生成装置。
前記第１の評価手段は、隣接する、前記往路走査によるサンプリングデータ配列と前記復路走査によるサンプリングデータ配列のうち、少なくとも輝度勾配の変化の大きい範囲について、前記評価を行うことを特徴とする請求項１または２に記載の画像生成装置。
前記第１の評価手段は、前記各撮影手段ごとに、前記往路走査によるサンプリングデータ配列と前記復路走査によるサンプリングデータ配列とのそれぞれの空間周波数領域を用いて、前記評価を行うものであり、
前記空間周波数領域は、離散フーリエ変換または高速フーリエ変換を用いて算出されることを特徴とする請求項１乃至３のいずれか１項に記載の画像生成装置。
前記第１の評価手段は、隣接する前記往路走査と前記復路走査に対応する１次元サンプリングデータ配列ごとに、または、複数の前記往復走査に対応する２次元サンプリングデータ配列ごとに、前記評価を行うことを特徴とする請求項１乃至４のいずれか１項に記載の画像生成装置。
前記第１の評価手段は、ＣｒｏｓｓＣｏｒｒｅｌａｔｉｏｎ法、または、ＰｈａｓｅＯｎｌｙＣｏｒｒｅｌａｔｉｏｎ法を用いて、前記評価を行うことを特徴とする請求項１乃至５のいずれか１項に記載の画像生成装置。
前記第１の評価手段は、パターンマッチングを行って、前記評価を行うことを特徴とする請求項１乃至６のいずれか１項に記載の画像生成装置。
前記第１の評価手段は、前記ＣｒｏｓｓＣｏｒｒｅｌａｔｉｏｎ法、または、前記ＰｈａｓｅＯｎｌｙＣｏｒｒｅｌａｔｉｏｎ法を用いる際に、Ｃｏｒｒｅｌａｔｉｏｎピークの最大値の探索を行うことを特徴とする請求項６に記載の画像生成装置。
前記第２の評価手段は、前記各撮影手段ごとの前記Ｃｏｒｒｅｌａｔｉｏｎピークの最大値を比較して、前記評価を行うことを特徴とする請求項８に記載の画像生成装置。
前記第２の評価手段は、前記各撮影手段ごとの、前記Ｃｏｒｒｅｌａｔｉｏｎピークの最大値と２番目に大きい値との比を比較して、前記評価を行うことを特徴とする請求項８に記載の画像生成装置。
前記第２の評価手段は、前記Ｃｏｒｒｅｌａｔｉｏｎピークの位置のうち、前記スキャナを含むハードウェア構成により推定される前記サンプリング基準位置のずれ量の範囲よりも大きいＣｏｒｒｅｌａｔｉｏｎピークの位置を除外するエラー処理を行うことを特徴とする請求項８に記載の画像生成装置。
前記画像構成手段は、前記スキャナの走査軌道をｓｉｎｅ波に近似して、前記画像データを構成することを特徴とする請求項１乃至１１のいずれか１項に記載の画像生成装置。
前記複数の撮影手段は、共焦点の光および少なくとも１つ以上の非共焦点の光を検出することを特徴とする請求項１乃至１２のいずれか１項に記載の画像生成装置。
スキャナにより被検眼の所定領域を往復走査した測定光による戻り光を受光して電気信号に変換する光電変換手段を含む撮影手段が複数設けられた眼科装置と通信可能に接続された画像生成装置による画像生成方法であって、
前記スキャナが１往復走査する間の前記スキャナの基準信号を抽出する抽出ステップと、
前記基準信号をサンプリング基準位置として、前記複数の撮影手段における各撮影手段ごとに、前記電気信号に基づき往復走査のサンプリングデータ配列を生成するデータ配列生成ステップと、
前記各撮影手段ごとに、前記往復走査のサンプリングデータ配列のうちの往路走査によるサンプリングデータ配列と復路走査によるサンプリングデータ配列とを比較してこれらの相関を評価する第１の評価ステップと、
前記第１の評価ステップにおける評価の結果得られた前記各撮影手段ごとの第１の評価結果を比較して確からしさを評価する第２の評価ステップと、
前記第１の評価結果および前記第２の評価ステップにおける評価の結果得られた第２の評価結果に基づいて、前記サンプリング基準位置を補正する基準位置補正ステップと、
前記基準位置補正ステップにより補正されたサンプリング基準位置に基づいて、前記各撮影手段ごとに、前記往復走査のサンプリングデータ配列に基づく画像データを構成する画像構成ステップと
を有することを特徴とする画像生成方法。
請求項１乃至１３のいずれか１項に記載の画像生成装置の各手段としてコンピュータを機能させるプログラム。
請求項１５に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。