JP5629270B2 - 画像処理方法および装置 - Google Patents

Description

開示の背景
開示の分野
この開示は、一般的に、複数の光ファイバから構成されるガイド手段によって取得された画像を処理する方法に関する。

関連技術の説明
ファイババンドル画像ガイドを用いて画像を取得するためのシステムの殆どは、一般的に、光源、電荷結合素子（「ＣＣＤ」）検出器、および、場合によっては取得画像を処理するための処理装置を含む。別のシステムは、ファイババンドルの近位端を走査するための走査装置と、受信機と、取得画像を処理するための処理装置とを含む。画像ガイドは、ＣＣＤまたは走査装置、光源および受信機を観察される対象から十分に離すことを可能にする。たとえば、共焦点像が得られるレーザ走査システムにおいて、画像ガイドは、入口（一般的には近位端と呼ばれる）と出口（一般的には遠位末端と呼ばれる）とにおいて、空間的配置が一致する数千の光ファイバの集合である。

光ファイバ間の隙間に起因する情報の損失のため、取得画像の処理、および特に画像復元が特に重要である。実際、取得画像上に現れる光ファイバの模様の存在によって表示が妨げられる。本出願人による特許出願ＵＳ２００５／０２０７６６８は、この模様を消去し、光ファイバに関連付けられた取得画像の各区域を個別に処理することによる寄生作用を考慮に入れた処理について記載する。寄生作用は異なる原因から生じ、たとえばラマン拡散、システム内の寄生反射、不均一なファイバ伝達、または蛍光画像の場合においてファイバの自己蛍光から、寄生作用が生じる。寄生作用を考慮するため、特許出願ＵＳ２００５／０２０７６６８は、特定の媒体においていくつかの参照画像を取得し処理することを通じて実現される較正処理を提案する。この処理は、特に、各ファイバに特有の特性に関連するファイバ毎の較正係数を決定することを目的とする。

バンドルの近位端の走査は、遠位末端において、観察される対象の走査を転置した結果となる。その結果として、観察された対象は、ファイバを介して検出器に伝達される、走査からの光を発する。所定の条件下、たとえば低いクロストークかつ特定のインジェクション設定の条件下において、各ファイバの情報内容は近傍のファイバには依存せず、干渉対象の空間的コヒーレンスのみに依存する。取得画像の各画素は、定められたファイバを介して伝達される観察対象から生じる光に対応する。したがって、ファイバに関連付けられた画素の画像グループを特定することが可能である。

参照画像から較正係数をファイバ毎に決定するためには、参照画像の画素をバンドルのファイバに関連付けることが必要である。この段階は、たとえば、特定の媒体において参照画像を取得し、各光ファイバに対応する画像区域を分離することによって実行され得る。ファイバのこの幾何学的検出は、バンドルのどのファイバが取得画像の画素に関連付けられるかを詳細に検出することが特に可能になる。

較正は、特定の媒体において取得された画像に対するファイバ応答毎にファイバを分析することに依存し、したがって、較正はファイバの幾何学的検出に依存する。較正は、特に、画像化された対象の特性とは関係のない欠陥を補償することを目的とする。たとえば、蛍光画像の場合において、ファイバの自己蛍光に起因する背景蛍光から生じる欠陥を補償することが可能である。光学システムにおける寄生反射に起因するバックグラウンドノイズを考慮に入れることも可能である。較正は、特に、ファイバの物理的特徴の不均一性を補償すること、とりわけ、ファイバ毎のインジェクションレートおよびコレクションレートを決定することを可能にすることも目的とする。

あるアプリケーションにおいて、バンドルにおける光ファイバの正確な検出を可能にするために要求される精度はマイクロメータよりも劣る。したがって、バンドルと走査装置との間のコネクタの取換えなどの如何なる変更、ショックによるコネクタの、如何なる望まれざる移動、または、較正されるシステムにおける設定に関する如何なる変更は、ファイバの幾何学的検出を新たにすることを必要とし、煩わしいものとなり得る。較正処理のために画像の取得回数を増やすことは専門医に対する負担となり得る。したがって、本開示は、前述の技術的制限を克服する、ガイドを介して取得された画像の処理についての新しい方法および関連する装置を提供する。

特許請求の範囲に記載の主題の概要
ある局面によると、光ファイバガイドを介して取得された画像を処理する方法に関する、ここで説明される実施例は、光ファイバガイドを介して再較正画像を取得するステップと、再較正画像を、準備段階において光ファイバガイドを介して取得された第１の画像から導かれた第１の参照画像と一致させる幾何学的変換を決定するステップと、幾何学的変換と、準備段階において取得された第２の較正画像上の光ファイバガイドの各ファイバを空間的に特定する記憶された第１の検出マップとから、再較正画像上の光ファイバガイドの各ファイバを空間的に特定する新しい検出マップを導くステップと、新しい検出マップを用いて、光ファイバガイドの各ファイバに対応する取得画像の区域を個別に処理するステップとを含む。

別の局面において、画像取得装置に関する、ここで開示される実施例は、少なくとも１つの光ファイバを含むガイドと、光源と、光源にガイドの近位端を走査させる走査装置と、ガイドを介して取得された画像を検出する検出ユニットと、画像を取得および処理し、データを記憶する記憶ユニットを含む処理装置とを含み、処理装置は、ガイドを介して取得された再較正画像を、準備段階において取得された第１の画像から導かれた第１の参照画像に一致させる幾何学的変換を決定し、変換と、準備段階において取得された第２の較正画像上でガイドの各ファイバを空間的に特定する、記憶された第１の検出マップとから、再較正画像上でガイドの各ファイバを空間的に特定する新しい検出マップを導き、新しい検出マップを用いて、各光ファイバに対応する取得画像の区域を個別に処理するように適合される。

別の局面において、画像取得装置に関する、ここで開示される実施例は、複数の光ファイバから構成されるガイドと、発光する光源と、光源の焦点をガイドの近位端に合わせるダイレクト画像化装置と、ガイドを介して取得された画像を検出する検出ユニットと、画像を取得および処理し、データを記憶する記憶ユニットを含む処理装置とを含み、処理装置は、ガイドを介して取得された再較正画像を、準備段階において取得された第１の画像から導かれた第１の参照画像に一致させる幾何学的変換を決定し、変換と、準備段階において取得された第２の較正画像上でガイドの各ファイバを空間的に特定する、記憶された第１の検出マップとから、再較正画像上でガイドの各ファイバを空間的に特定する新しい検出マップを導き、新しい検出マップを用いて、各光ファイバに対応する取得画像の区域を個別に処理するように適合される。

別の局面において、光ファイバガイドを介して取得された画像を処理する方法に関する、ここで開示される実施例は、光ファイバガイドを介して第１の参照画像を取得するステップと、光ファイバガイドを介して第２の較正画像を取得するステップと、第１の検出マップにおいて、第２の較正画像の光ファイバガイドの各ファイバを空間的に特定するステップと、光ファイバガイドを介して再較正画像を取得するステップと、再較正画像を第１の参照画像に一致させる幾何学的変換を決定するステップと、再較正画像の光ファイバガイドの各ファイバを空間的に特定する新しい検出マップを、幾何学的変換および第１の検出マップを用いて導くステップと、新しい検出マップを用いて、光ファイバガイドの各ファイバに対応する取得画像の区域を個別に処理するステップとを含む。

図面の簡単な説明
本開示の特徴は、添付の図面を併用して以下の説明からより明らかになるであろう。

先行技術に従う方法の全体図である。 本開示の実施例に従う方法の全体図である。 本開示の実施例に従う再較正を含む方法の概略的ないくつかの段階を表わす。 本開示の実施例において用いられる画像レジストレーション方法の概略的ないくつかの段階を表わす。 本開示の実施例に従う、複数の光ファイバから構成されるガイドを介して取得された画像を処理するための方法の一般図である。 本開示の実施例に従う、バンドルの高解像度画像を取得するための方法の全体図である。 本開示の実施例に従う、バンドル画像の高解像度復元のための部分画像の一例である。 本開示の実施例に従う、ホワイトフィールド画像およびブラックフィールド画像の部分取得の組である。 本開示の実施例に従う、バーティカル復元段階後の、部分取得の以前の組を示す。 本開示の実施例に従う、取得画像上の歪み領域を示す。 本開示の実施例に従う、部分取得の以前の組上での境界検出の結果である。 本開示の実施例に従う、剛体レジストレーションにおける自動修正最大検索を示す。 本開示の実施例に従う、剛体レジストレーション後の、部分取得の以前の組から復元された画像を示す。 本開示の実施例に従う、いくつかの部分画像の共通部分間での変位領域を示す。 本開示の実施例に従う、３つの部分画像を登録する方法を概略的に示す。 本開示の実施例に従う、ブロックマッチング方法後のバンドルの画像である。 本開示の実施例に従う装置の画像である。

詳細な説明
本開示の詳細な実施例が添付の図面を参照して、詳細に説明される。複数の図面における同様の要素は一貫性のために同様の参照番号が付される。

図１は、先行技術に従う、複数の光ファイバから構成されるガイドを介して取得された画像を処理するための方法の全体図を示す。較正段階１およびオペレーショナル段階２の２つの段階が含まれる。較正段階１において、幾何学的較正１０が最初に実行される。幾何学的較正は、較正画像の画素とバンドルのファイバとの間の対応を決定することができるように、較正画像上のバンドルのファイバを検出することを含む。幾何学的較正は、画像上で光ファイバの模様が識別できるような媒体において取得された画像を処理することによって取得され得る。たとえば、蛍光画像において、そのような媒体は蛍光色素分子ソリューションであり得る。そして、ラジオメトリック較正１２が実行され得る。ラジオメトリック較正１２は、一般的に、ファイバの物理的特性における差異を補償するために、ファイバ毎にインジェクションレートを決定することを目的とする。ラジオメトリック較正は、一般的に、ホワイトフィールド画像とブラックフィールド画像との２つの画像を取得することが必要である。たとえば、蛍光画像の場合において、ホワイトフィールド画像は蛍光色素分子均質ソリューションにおいて取得され得、ブラックフィールド画像は、空気または水などの、蛍光を反射したり蛍光を発したりしない媒体において取得され得る。たとえば、後方散乱画像において、ホワイトフィールド画像は鏡の画像を取得することによって取得され得る。オペレーショナル段階２において、ステップ２０およびステップ２２にて画像が取得され、光ファイバに関連付けられた画素の各グループは、ファイバ毎のホワイトフィールド値およびブラックフィールド値などの、対応する特定の特性を考慮することによって個別に処理される。

図２は、ここで開示される実施例に従う再較正段階を含む、画像を処理するための方法の全体図を表わす。方法は、準備較正段階３、再較正段階４、オペレーショナル段階５を含む。

ガイドを介して取得された画像は、ガイドにおけるファイバの模様を明らかにする。準備段階において、たとえば画像ガイド製造工場において、ガイドにおけるファイバの第１の検出マップが、所与の条件、たとえば所定の媒体、既知の光源およびガイドと光源との間の定められた接続に対して定められ得る。この第１の検出マップは、準備段階において取得された画像の画素とガイドの各ファイバとを関連付けることを可能にし得る。オペレーショナル段階において、再較正画像を取得し、再較正画像上のファイバの模様を、準備段階条件下において取得された第１の画像から導かれた第１の参照画像の模様と一致させる幾何学的変換を決定することによって、たとえば、ガイド中のファイバの空間的配置における変換を検出することができる。第１の参照画像は第１の画像であり得る。代替的に、第１の参照画像は、第１の画像から導かれ得る。たとえば、第１の参照画像は、ファイバ中心座標および／またはファイバ物理特性などの、第１の画像に関連する記憶されたデータから復元され得る。オペレーショナル段階は、特に、ガイドの各ファイバを再較正画像の画素に関連付ける新しい検出マップを決定することを可能にする。また、この新しい検出マップは、オペレーショナル段階条件下において取得された画像を処理するために用いられ得る。

準備段階３は、精密幾何学的較正ステップ３０と精密ラジオメトリック較正ステップ３２との２つのステップを含む。ステップ３０と３２とは、先行技術のステップ１０と１２とに類似している。所定の実施例において、ステップ３０と３２とは、バンドルの高解像度画像上において実行され得る。高解像度画像を用いることによって、ファイバの検出を向上することができ、別の処理（たとえばレジストレーション）を容易にすることができる。そのような画像は、スーパー解像度画像を復元するためにバンドル全体を覆う複数の標準解像度画像を記録することによって得られ得る。

精密幾何学的較正３０は、ファイバを空間的に特定し、画像の画素とバンドルのファイバとの間の対応を決定することができるようにバンドルにおけるファイバを検出することを目的とする。この対応は、光ファイバの模様がより簡単に識別できるような媒体において取得された第２の較正画像を処理することによって得られ得る。たとえば、蛍光画像の場合において、そのような媒体は、均質蛍光色素分子ソリューションであり得る。

精密ラジオメトリック較正３２は、特に、ファイバの物理的特性における差異を補償するために、インジェクションレートのような、ファイバ毎の較正係数を決定することを目的とする。インジェクションレートは、ホワイトフィールド値から導かれ得る。精密ラジオメトリック較正３２は、一般的に、ファイバ毎のバックグラウンド信号較正を決定するための第３のブラックフィールド参照画像と、ファイバの不均質な特性を決定するための第４のホワイトフィールド参照画像との２つの参照画像を取得することを必要とする。ファイバ毎のバックグラウンド信号は、ブラックフィールド値から導かれ得る。蛍光画像の場合において、ホワイトフィールド画像は、均質蛍光色素分子ソリューションのような均質媒体において画像を取得することにより取得され得、ブラックフィールド画像は、空気などの吸収性の媒体において画像を取得することによって取得され得る。たとえば、後方散乱画像において、ホワイトフィールド画像は、鏡の画像を取得することによって取得され得る。蛍光画像の場合において、ブラックフィールド信号は、特に、ファイバの自己蛍光によって生じ得る。代替的に、第２の較正画像がホワイトフィールド画像である場合、ステップ３２において第２の較正画像を用いることが可能であり得る。高精度の幾何学的較正およびラジオメトリック較正を読出すことができるデータが記憶され得る。インジェクションレートは、ホワイトフィールド値およびブラックフィールド値から導かれ得る。より詳細には、ファイバ毎のインジェクションレートは、所与のファイバに関連付けられたホワイトフィールド値およびブラックフィールド値を減算することによって決定され得る。

再較正段階４は、変換算出ステップ４０と、新較正ステップ４２とを含む。変換算出ステップ４０は、バンドル中のファイバの位置が準備段階３に対して変更されたかどうかを判断することを目的とする。ステップ４０は、準備段階１において取得された参照画像、第１の参照画像と、再較正段階４において取得された再較正画像との間の変換を推定することによって実行され得る。ある実施例において、再較正画像はブラックフィールド画像である。ある実施例において、第１の参照画像は、第２の較正画像、第３のブラックフィールド参照画像、第４のホワイトフィールド参照画像のうちの１つから導かれる。前述したように、ある実施例において、第１の参照画像は較正画像である。別の実施例において、第１の参照画像は、第２の較正画像から導かれた第１の検出マップから復元される。これは、特に、記憶されるデータの量を小さくすることを可能にする。蛍光画像の場合において、再較正画像は、空気中で取得された画像であり得る。別の実施例において、再較正画像は、ファイバが識別可能な任意の不飽和の画像であり得る。新較正段階４２は、以前に決定された変換と精密幾何学的較正ステップ３０とから、画像の画素とバンドルのファイバとの間の新しい対応を導き出す。さらなる詳細について以下に説明する。

オペレーショナル段階５において、ステップ５０にて画像が取得される。ステップ５２にて、画素とファイバとの間の新しい対応に従って、光ファイバに関連付けられた画素の各グループが、各ファイバの特定の特性、すなわち、精密ラジオメトリック較正ステップ３２において決定された較正係数を考慮して個別に処理される。

図３は、前述した準備段階３および較正段階４を詳細に説明する。ステップ３０において、ファイバ検出３００が第２較正画像３０１上で実行される。第２較正画像３０１は、光ファイバの模様が識別されるように取得される。第２較正画像３０１は、バンドルの複数のホワイトフィールド画像、バンドルの複数の部分ホワイトフィールド画像から復元されたファイバの高解像度ホワイトフィールド画像であり得る。ファイバ検出は、較正画像３０１上でガイドの各ファイバを空間的に特定する第１の検出マップ３０２をもたらす。第１の検出マップ３０２は、較正画像３０１の画素とバンドルのファイバとの間の対応であり得る。第１の検出マップ３０２は、対応を読出すことができる、ファイバの中心位置のリストであり得る。

ファイバの模様は、局地的に、六角形のファイバ配置を有し得る。ある実施例において、ファイバ検出を目的とする幾何学的較正は、特定の処理を適用することによって改善され得る。実際、コア間距離ｃを有する理想的な六角形のファイバ配置の２次元スペクトルは、周波数ｆ＝２／（ｃ×３^-2）を中心とするコロナの回りに集まり、その結果として、ノイズの多いファイバ画像が強化され、ｆを中心としたバンドパスフィルタを適用することにより、ノイズが除去される。これは、有利にも、検出ステップをより容易にし、より強固にする。

ステップ３２にて、ガイドの第３のブラックフィールド参照画像３２２、第４のホワイトフィールド参照画像３２１、第１の検出マップ３０２は、ファイバ毎に較正係数を決定するために、ファイバ毎の較正ステップ３２０にて、処理される。較正係数は、ファイバ毎のホワイトフィールド値とブラックフィールド値とを含み得る。第３のブラックフィールド参照画像３２２と検出マップ３０２とを処理することによって、ファイバ毎のブラックフィールド値を決定することができる。これは、取得システムのオプティクス上の反射、取得システムのデジタル化チェーンに起因するオフセットおよび／または電子ノイズなどの、ファイバ毎の寄生作用を考慮することもできる。蛍光画像において、ファイバ毎のブラックフィールド値は、ファイバの自己蛍光を含み得る。第４のホワイトフィールド参照画像３２１と検出マップ３０２との処理は、ファイバの不均質な特性を決定することを可能にする。この処理は、ファイバ毎のホワイトフィールド値を決定することを含む。ある実施例において、第４のホワイトフィールド参照画像３２１と、第２の較正画像３０１とは同じであり得る。ある実施例において、第２の較正画像、第３のブラックフィールド画像、第４のホワイトフィールド参照画像のうちの少なくとも１つは高解像度画像であり得、バンドル全体を覆ういくつかの部分高解像度画像を記録することによって取得され得る。これは、特に、スーパー解像度画像を取得することを可能にし、準備段階において、正確な較正および／または第１の検出マップを有することを可能にする。ファイバ毎の較正ステップ３２０は、較正マップ３２３をもたらす。較正マップ３２３は、バンドルのファイバと較正係数との間の対応であり得る。較正係数は、寄生作用および／またはファイバの不均質な特性を補償するために取得画像のフラックスを調整するために用いられ得る、ファイバ毎の標準フラックスレベルを決定することを可能にする。較正係数は別個のメモリに記憶され得る。そのようなメモリは、ファイバ毎に数バイトであり得る。ある実施例によれば、較正係数は、ファイバの空間座標、各々４バイトの浮動精度数でコード化されるブラックフィールド値およびホワイトフィールド値を含み、結果的にファイバ毎のコード化が１６バイトとなる。ファイバ毎の較正係数は、ファイバ毎のインジェクションレートを含み得る。ファイバ毎のインジェクションレートは、ファイバ毎のホワイトフィールド値とブラックフィールド値との減算から得られ得る。

ステップ４０にて、再較正画像４０１が取得される。再較正画像４０１はブラックフィールド画像であり得る。蛍光画像において、そのような画像は、たとえば水または空気のような吸収性媒体において取得され得る。これは、画像ガイドが空気と接触する方法で設置されるため、再較正画像を容易に取得可能にする。そして、再較正画像は、別の操作をせずともシステムの起動のときに自動的に取得され得る。再較正画像４０１は、たとえばショックの後またはプローブが取換えられた後において、バンドルと走査装置との間の接続が変更されたことをシステムが検出した場合、ユーザが再較正処理を始めたときにも自動的に取得され得る。そのような場合において、再較正画像は、ファイバが識別可能であるように取得された任意の画像であり得る。再較正画像４０１は、ユーザが走査装置の設定を変更した場合、たとえば走査装置の視野を変更した場合にも自動的に取得され得る。ステップ４００にて、準備段階において取得された第１の参照画像と再較正画像４０１とが記録され、これらの画像を一致させる幾何学的変換４０２が決定される。特に、図３において説明される実施例において、第２の較正画像３０１が第１の参照画像の代わりに用いられる。第１の参照画像は、処理装置の記憶ユニットに記憶され得る検出マップ３０２から復元され得る。ある実施例において、第１の参照画像は高解像度画像であり得、バンドル全体を覆ういくつかの部分高解像度画像を記録することによって取得され得る。

蛍光画像において、主にファイバの自己蛍光を反射するブラックフィールド値、ファイバのブラックフィールド値は、レーザ照射に晒されたときに一時的に低下し得る。準備段階３または／および再較正段階４においてラジオメトリック較正の質を低下させる自己蛍光の作用を和らげるために、ファイバの自己蛍光が安定するまで、光ガイドが事前に照らされ得る。ある実施例において、画像取得装置にタイマが含まれ得る。第３のブラックフィールド参照画像、第４のホワイトフィールド参照画像、再較正画像は、ファイバの走査の開始から予め定められた時間が経過した後でのみ取得され得る。予め定められた時間は、予め定められた時間の後にファイバの自己蛍光が安定していると考えられることができるように選択される。

ステップ４２０にて、変換４０２を第１の検出マップ３０２に適用することによって新しい検出マップ４２１が取得される。新しい検出マップ４２１は、再較正画像４０１の画素とバンドルのファイバとの間の対応である。新しい検出マップ４２１は、対応を導くことができるファイバの中央位置のリストであり得る。

図４は、変換４０２の算出のステップ４００を詳細に説明する。ステップ４１０にて、第１の参照画像の空間座標系において再較正画像４０１が再度サンプリングされ、第１の参照画像上で再較正画像４０１を中心に置く座標が初期化される。

ステップ４１１にて、第１の参照画像および再較正画像４０１上で剛体レジストレーションが実行される。剛体レジストレーションの本質は、両方の画像を一致させる回転を見つけ出すことにある。２つの画像の間の相互相関を最大にするものが最もよい回転である。相互相関の局所的な最大を選択しないようにするため、すべての回転ならびに予期される変換に近い変換パラメータを用いて徹底的な検索が実行され得る。予期される変換は、システム構造、光学的アライメント精度および走査精度知識から導くことができる。ある実施例において、画像４０１の中心は、回転させずに、第１の参照画像の中心に置かれる。

ステップ４１２にて、ステップ４１０において再サンプリングされた再較正画像４０１上での第１の参照画像のブロックマッチングによって、非剛体レジストレーションが実行される。変換４０２は、補間方法によって変換４０２から推定される。ブロックマッチングは、前の非剛体レジストレーションを完成させることができる。ブロックマッチングの考えは、ある区域におけるピクセルの組が、移動と見なすことができ得る局所的なズレを有するということを検討することである。ブロックマッチング方法は、局所マッチング技術によって２つの画像の間のズレ領域を算出することを目的とする。画像は、いくつかのブロックに分けられ、ブロックは相互相関によって別のブロックと画像同士で比較される。相互相関が最大となる場所は、別のブロックに対するあるブロックのズレの値を与える。そして、画像空間全体に亘る変換を取得するため、ズレ領域が補間され推定され得る。

ステップ４２にて、再較正画像４０１からファイバに画素を一致させた新しい検出マップ４２１を生成するため、検出マップ３０２に、変換４０２の逆変換が適用される。

図５は、本開示の実施例に適用された、複数の光ファイバから構成されるガイドを介して取得された画像を処理するための方法の一般的な図である。画像の処理は、特に、取得された画像からバックグラウンドノイズを取り除き各ファイバの不均一性を補償することを可能にする。取得された画像５００から、新しい検出マップ４２１を用いて、段階５２０にて、各ファイバによって見られる光子束が算出される。ステップ５２１にて、各ファイバによって見られる光子束がまた、新しい検出マップ４２１を用いてブラックフィールド画像５３０に対して決定され、したがって、新しいブラックフィールド値がもたらされる。ある実施例において、ブラックフィールド画像５３０は、再較正画像である。ステージ５２２にて、各ファイバに対する新しいブラックフィールド値の減算が実行される。減算の結果は、所与の光ファイバに対応する各区域に対する利用可能な光子束を表わす画像５２３である。画像５２３上において、任意のバイアス修正段階が実行され得る。調整ステップ５２４は、較正オペレーションを実行することができるように一方で修正された画像５２３を受取り、一方で較正マップ３２３を受取り、その結果、各ファイバに対して、監視対象の修正されたフラックスを対応するファイバ毎の標準フラックスで除算する。対応する標準フラックスは、新しい検出マップ４２１に従ってファイバが対応するファイバの標準フラックスである。ファイバの標準フラックスは、以前に、ファイバ毎のインジェクションレートとも呼ばれた。ステップ５２４は、調整された画像５２５をもたらす。

光ファイバガイドを照らす光源の出力パワーは変更され得る。これは、たとえば、観察される対象の強い発光によって引き起こされるシステムの飽和を補償することができる。前述したように、再較正段階において、興味のある取得画像上のバックグラウンドノイズを正確に補償するために、新しいブラックフィールド値が再較正画像から決定され得る。再較正ステップの後に光源の出力パワーの変更があった場合、各ファイバの新しいブラックフィールド値は光源のパワーに比例するということを考慮することによって、新しいブラックフィールド値は動的に適合され得る。ステップ５２１において決定される、各ファイバによって見られる光子束は、したがって、光源パワーに応じて計測される。ある実施例において、準備段階の間に決定されたホワイトフィールド値も動的に適合される。

１つの実施例において、バンドルの所与のファイバに対応する、調整された画像の画素の信号は、
Ｉ_adjusted＝（Ｉ_x−Ｉ₂）／（Ｉ₁−Ｉ₃） （方程式１）
によって与えられ得る。

ここで、
Ｉ_xは、取得画像上で計測された画素信号であり、
Ｉ_lは、第２のホワイトフィールド画像から導かれた、対応するファイバホワイトフィールド信号であり、
Ｉ₂は、再較正画像がブラックフィールド画像である場合に再較正画像から導かれた、画素の新しいブラックフィールド信号であり、
Ｉ₃は、第３のブラックフィールド参照画像から導かれた、対応するファイバブラックフィールド信号である。

図６は、複数の高解像度部分画像からバンドルの高解像度画像を取得するためのいくつかのステップを記載する。これらのステップは、特に、第２の較正画像、第３のブラックフィールド参照画像および第４のホワイトフィールド参照画像を高解像度で取得するために実行され得る。ある実施例において、システムによって高解像度画像が直接的に取得される。これらのステップは、第１の参照画像を取得するためにも実行され得る。

ステップ６０にて、バンドルの複数の部分画像が取得される。いくつかの部分においてバンドルのスライスが取得され得る。それらの部分画像は、バンドルの近位端の走査を変更することによって取得され得る。実際、画像化装置が走査領域を減らした場合、よりよい解像度が得られる。したがって、バンドルの全体画像よりもよい解像度の部分画像が取得され、レジストレーション方法を介して全体的なバンドルの高い解像度の画像が得られることを可能にする。図７は、バンドル全体の高解像度画像を復元するために取得され得る、バンドルの３つのスライスの例を示す。バンドル全体を覆うために、３つの方向において３つのスライスが取得される。説明される実施例において、３つの方向は０度、１２０度、２４０度、であり、以下、対応するスライスはスライス１、スライス２、スライス３と記載され、図７上で参照符号７１、７２、７３で表わされる。図８は、バンドルの３つのスライスを示し、各スライスは、ブラックフィールド画像およびホワイトフィールド画像の両方に対して、縦方向に５つの部分において取得される。図８上の参照符号８１、８２、８３、は、ホワイトフィールド画像およびブラックフィールド画像の両方に対するスライス１、スライス２、スライス３に対応する。

ステップ６１は、バンドルのスライスの縦方向の復元である。図９は、スライスの縦方向の部分の縦方向の復元の結果を示す。縦方向の復元は、相関する一連の縦方向のスライスの部分によって行なわれる。図９上の参照符号９１、９２、９３は、縦方向の復元の後におけるホワイトフィールド画像およびブラックフィールド画像の両方に対するスライス１、スライス２、スライス３に対応する。

ステップ６２の本質は歪みの修正にある。図１０は、バンドルを用いて取得された画像上の典型的な歪み領域を表わす。走査装置は、取得画像上で歪みを生じさせ得る。これらの歪みを補償するため、歪みのモデルに対して相対的に、画像の再サンプリングが行なわれ得る。走査装置が正弦波発振ミラーを用いている場合において、モデルは、較正された正弦波モデルであり得る。

ステップ６３の本質は、各スライスの、バンドルの境界および中心を検出することにある。ステップ６３にて、バンドルは円形であると見なされ得る。各スライスに対して、中心を見つけることによって中心が合せられた画像を取得することが可能となり、さらなる剛体レジストレーションのための変換中心としてバンドルの中心を用いることが可能になる。バンドルの中心を見つけるため、ハフアルゴリズムが用いられ得る。そのようにするため、キャニーフィルタを用いるとともに、ブラックフィールド値が０と等しく、円内の値が１と等しいバイナリ画像へスライスをチューニングすることによって、境界の検出が最初に行なわれる。このステップは、欠陥を取り除くためのモーフォロジッククリーニングオペレーションを含み得る。図１１は、ステップ６３の結果の一例を表わす。参照符号１１１、１１２、１１３は、境界を検出した後における図１１上のスライス１、２、３に対応する。

ステップ６４の本質は、スライスの剛体レジストレーションにある。説明される実施例において、剛体レジストレーションは、ホワイトフィールド画像およびブラックフィールド画像の両方に対して、画像の３つのスライスを登録することを目的とする。２つのスライスに対し、剛体レジストレーションの本質は、２つのスライスを一致させる回転および変位を見つけることにある。２つのスライスの間の相関関係を最大にするものが最もよい回転および変位である。局所的に最大となる相関関係を選ばないようにするため、徹底した検索が実行され得る。図１２は、２つのスライス間での異なる回転に対する相関関係値を示す。最もよい回転が特定された後、２つのスライスを一致させる変位が決定される。図１３は、剛体レジストレーションの後におけるバンドルの画像を示す。図３上のぼやけた部分は、その段階においてレジストレーションが完全には満たされていないことを強調する。

ステップ６５の本質は、ブロックマッチングによるスライスの非剛体レジストレーションにある。図１４は、スライス２上でのスライス１のブロックマッチングにおいて取得されたズレ領域ならびにスライス１上でのスライス３のブロックマッチングにおいて取得されたズレ領域を示す。参照符号１４１、１４２、１４３は、ブロックマッチングの後における図１４上のスライス１、２、３に代替的に対応する。結果をよくするため、マルチスケールブロックマッチングも用いられ得る。マルチスケールブロックマッチングの本質は、ブロックマッチングを反復し徐々にブロックのサイズを削減することにある。

ズレ領域の補間は、薄板スプライン補間技術を用いて実行され得る。薄板スプライン補間は、少なくとも３対の中心ならびにズレが与えられた画像の各点に対して変換を算出することを可能にする。ブロックマッチングは、中心ならびにズレの座標を与える。そして、反転方法は、各中心のスプライン係数を決定することを可能にする。ある実施例において、実行時間を低減するため、Ｂ−スプライン補間が用いられ得る。そのようにするため、薄板スプライン変換が通常のグリッドに対して適用され、三次スプライン変換が、それから取得された新しいズレ領域から導かれ得る。三次スプライン補間は、画像を復元するために用いられ得る。

３つのスライスからバンドルの全体が復元されるため、スライス１に対するスライス２のレジストレーションおよびスライス１に対するスライス３のレジストレーションは、満足な結果を与えないかも知れない。スライス３に対するスライス２のレジストレーションも必要とされ得る。

図１５は、本開示の実施例において、３つのスライスを用いたフルレジストレーションを実行するための方法を示す。図１５を参照して、Ｔ₂₁、Ｔ₃₁、Ｔ₂₃、Ｔ₃₂は、スライス１に対するスライス２のブラックマッチングの結果、スライス１に対するスライス３のブラックマッチングの結果、スライス３に対するスライス２のブラックマッチングの結果、スライス２に対するスライス３のブラックマッチングの結果を代替的に補間することによって取得された変換である。変換中心の組およびブロックマッチングの各ブロックについての変換後の中心は、夫々、ｘ₂₁、ｘ₃₁、ｘ₂₃、ｘ₃₂ならびにｙ₂₁、ｙ₃₁、ｙ₂₃、ｙ₃₂として表される。スライス１に対してスライス２を正確にレジストレーションし、スライス１に対してスライス３を正確にレジストレーションする最終変換Ｔ₂およびＴ₃は、以下を確証すべきである。

Ｔ₂＝Ｔ₂₁：直接変換であるが、画像Ｉ２からＩ３、ならびに画像Ｉ３からＩ１への２つの別のブロックマッチングを構成する場合、Ｔ₂＝Ｔ₂₃ｏＴ₃でもある。また、Ｔ₃＝Ｔ₃₁であり、Ｔ₃＝Ｔ₃₂ｏＴ₂である。

変換Ｔ₂およびＴ₃は、夫々、中心の組、ｘ₂₁Ｕｘ₂₃ならびにｘ₃₁Ｕｘ₃₂から定義され得る。対応するズレは、各変換に対して規定されたオーバラップに依存する以下の関係と一致し得る。

変換Ｔ₂およびＴ₃は連結され、変換Ｔ₂およびＴ₃の計算は、数回反復した後に収束する。図１６は、ステップ６６にて取得された前述の方法に従って、３つのスライスからレジストレーションされたバンドルの画像を示す。

ある実施例において、ホワイトフィールド画像およびブラックフィールド画像の両方からいくつかのスライスを取得するとき、ホワイトフィールド画像上で変換が算出され、ブラックフィールド画像上に適用され得る。別の実施例において、潜在的な欠陥を修正するため、ブラックフィールド画像がホワイトフィールド画像に対して事前にレジストレーションされる。

ある実施例において、剛体レジストレーションの前にバンドル画像の強度がなまされる。バンドル画像はなましバージョンによって除算され、強度値の中央値によって乗算される。異なるスライスに対して同じ強度値の中央値を用いることにより、スライスと別のスライスとの強度差を修正することができる。

ある実施例において、システムはいくつかの波長を用いるように適合される。システムは、いくつかの多重波長を含む光源を含むように、含み得る。すべての光源が多重化された場合、同じ光軸を共有し、すべてのチャネルが同じ光学収差および歪みを有する場合、幾何学的較正に対して同じ較正画像が用いられ得る。各波長は各々のホワイトフィールドおよびブラックフィールドを生み出すが、それらはすべて、各ファイバの位置を示す、較正画像の同じ形状を共有する。

蛍光画像において、波長が異なるいくつかの光源を用いることにより、観察対象におけるいくつかの蛍光色素分子を刺激することができる。蛍光色素分子は、有機体において所定の種類の組織と結び付けられているというような特定の特性を有し得る。蛍光色素分子は一般的に広がった発光スペクトルを有するため、異なるスペクトルのサブバンドに対応する別個の収集チャネルが、各蛍光色素分子によって発せられた光を近似的に分離するために導入され得る。したがって、各収集チャネルは、特定の蛍光色素分子によって発せられた光に関連するスペクトルサブバンド画像をもたらし得る。スペクトルサブバンド画像は、複数の収集チャネル上の観察物体から発せられた光を集めることによって取得され得る。取得された複数のスペクトルサブバンド画像は、観察される対象の特性をよりよく視覚化することができるようにし得る。

本開示のある実施例において、処理されるべき取得画像は、複数の収集チャネル上の観察対象から発せられた光を集めることによって取得された複数のスペクトルサブバンド画像を含み得る。複数の収集チャネルは、複数のスペクトルサブバンドに対応する。

ある実施例において、すべてのチャネルは、同じ光軸、同じ光学収差および歪みを共有する。したがって、光ファイバガイドの各ファイバに対応する部分スペクトル画像の区域が、上述した新しい検出マップを用いることによって決定され得るように、複数の部分スペクトル画像に対して単一の幾何学的較正が実行され得る。

ファイバに入射される光の波長毎にファイバの特性が異なり得るため、各収集チャネルに対応する各スペクトルサブバンドに対して、ラジオメトリック較正が適合され、ホワイトフィールド値およびブラックフィールド値が決定され得る。より詳細には、スペクトルサブバンドに対して、スペクトルサブバンド上のファイバのインジェクションレートを取得するため、スペクトルサブバンドに対して、ファイバのホワイトフィールド値およびブラックフィールド値が決定され得る。そのようにするため、第３のブラックフィールド参照画像は、複数のスペクトルサブバンドブラックフィールド画像を含み、第４のホワイトフィールド参照画像は、複数の収集チャネル上で取得された複数のスペクトルサブバンドホワイトフィールド画像を含み得る。各スペクトルサブバンドに対し、所与のスペクトルサブバンド上のスペクトルサブバンドホワイトフィールド画像のホワイトフィールド値から、スペクトルサブバンドブラックフィールド画像のブラックフィールド値を減算することによって、ファイバのインジェクションレートが取得され得る。

処理される各スペクトルサブバンド画像においてバックグラウンドノイズを正確に相殺するため、較正画像も、複数のスペクトルサブバンド再較正画像を含み得る。スペクトルサブバンド上のインジェクションレートならびに複数のスペクトルサブバンド再較正画像を検討するため、図５を参照して説明された処理は、各スペクトルサブバンド画像に対して個別に実現され得る。

別の実施例において、ファイバを照らす光源は、複数の二次光源を含み得る。光源はいくつかのチャネルに影響を及ぼし得るため、すべての二次光源をオンにした状態で、各収集チャネルに対して、準備段階が個別に実行され得る。処理方法に関するとともに図５を参照して、ブラックフィールド画像５３０、または、再較正画像がブラックフィールド画像である場合には再較正画像は、すべての光源をオンにした状態で取得され得るか、または、１つの光源がオンにされた状態で各々取得された二次ブラックフィールド画像の組から再演算され得る。後者のソリューションについて、１つの光源のパワー出力が変更された場合、パワーが変更された光源に対応する二次ブラックフィールド画像のフラックスは、光源のパワー出力に応じて計測され、チャネルに対する変更されたブラックフィールド画像５３０は、パワー出力が変更されていない二次光源に対応する二次ブラックフィールド画像のフラックスと、調整された二次ブラックフィールド画像のフラックスとを合計することによって計算される。

限られた数の実施例について開示されたが、この開示の恩恵を受ける当業者であれば、本開示を逸脱しない範囲で考え出された別の実施例を理解するであろう。特に、ファイババンドルは、対象から発せられた光を分析する異なるシステムにおいて用いられ得る。発せられた光は、オブジェクトによって特に、後方散乱されるか、または蛍光から生じ得る。したがって、発明の範囲は添付の特許請求の範囲によってのみ限定されるべきである。

Claims (21)

1. 光ファイバガイドを介して取得された画像を処理する方法であって、
   前記光ファイバガイドを介して再較正画像を取得するステップと、
   前記再較正画像を、準備段階において前記光ファイバガイドを介して取得された第１の画像から導かれた第１の参照画像と一致させる幾何学的変換を決定するステップと、
   前記幾何学的変換と、前記準備段階において取得された第２の較正画像上の前記光ファイバガイドの各ファイバを空間的に特定する記憶された第１の検出マップとから、前記再較正画像上の前記光ファイバガイドの各ファイバを空間的に特定する新しい検出マップを導くステップと、
   前記新しい検出マップを用いて、前記光ファイバガイドの各ファイバに対応する取得画像の区域を個別に処理するステップとを含む、方法。
2. 前記第１の参照画像は、前記光ファイバガイドを介して取得された前記第１の画像であって、前記第１の画像は前記準備段階において記憶される、請求項１に記載の方法。
3. 前記第１の画像は、前記第２の較正画像である、請求項１または２に記載の方法。
4. 前記第１の参照画像は、前記第１の検出マップから復元される、請求項３に記載の方法。
5. 前記準備段階において、前記光ファイバガイドの各ファイバを較正係数に関連付ける較正マップが記憶され、各光ファイバに対応する前記取得画像の前記区域は、前記較正係数を用いて個別に処理される、請求項１〜３のいずれかに記載の方法。
6. 前記較正係数は、ファイバ毎のホワイトフィールド値および／またはファイバ毎のブラックフィールド値であり、第３のブラックフィールド参照画像と、第４のホワイトフィールド参照画像と、前記第１の検出マップとから導かれる、請求項５に記載の方法。
7. 前記光ファイバガイドを介して画像を取得するステップは、少なくとも１つの光源を用いて前記ファイバを照らすステップを含み、前記照らすステップの開始と、前記第３のブラックフィールド参照画像、前記第４のホワイトフィールド参照画像および前記再較正画像のうちの少なくとも１つを取得するステップとの間で、予め定められた時間が経過する、請求項６に記載の方法。
8. 前記再較正画像は、ブラックフィールド画像であり、画素に対応する取得画像のフラックスから、前記再較正画像画素のフラックスを減算することにより、ピクセル毎の有効なフラックスが算出され、
   ファイバ毎の前記ホワイトフィールド値および前記ブラックフィールド値は、ファイバ毎の標準フラックスを決定することが可能であり、
   前記処理するステップは、前記取得画像の画素の前記有効なフラックスを、前記新しい検出マップに従って画素が対応する前記ファイバの前記標準フラックスで除算するステップを含む、請求項６に記載の方法。
9. 前記光ファイバガイドを介して画像を取得するステップは、光源を用いて前記ファイバを照らすステップを含み、前記再較正画像を取得するステップの後における前記光源の出力パワーの変更は、前記再較正画像画素の前記フラックスを計測することにより補償される、請求項８に記載の方法。
10. 前記第２の較正画像はホワイトフィールド画像であり、前記第４のホワイトフィールド参照画像の代わりに用いられる、請求項６に記載の方法。
11. 前記再較正画像は空気中で取得される、請求項１に記載の方法。
12. 前記第１の参照画像の解像度は、前記再較正画像の解像度よりも高い、請求項１に記載の方法。
13. 前記第１の参照画像、前記第２の較正画像、前記第３のブラックフィールド参照画像、前記第４のホワイトフィールド画像のうちの少なくとも１つは、複数の部分高解像度画像を一致させることにより得られた高解像度画像である、請求項６に記載の方法。
14. 前記第１の参照画像と前記再較正画像とを一致させる変換の決定は、
    前記再較正画像の歪みの修正と、
    前記第１の参照画像上での前記再較正画像の再サンプリングと、
    前記第１の参照画像と前記再較正画像との剛体レジストレーションと、
    前記第１の参照画像と前記再較正画像との非剛体レジストレーションとを含む、請求項１に記載の方法。
15. 前記複数の部分高解像度画像が集められ、前記光ファイバガイドの全体を覆い、前記光ファイバガイドの前記複数の部分高解像度画像を一致させることは、
    前記部分高解像度画像における歪みの修正と、
    前記部分高解像度画像における前記光ファイバガイドの中心を検出することと、
    参照画像に対する前記部分高解像度画像の剛体レジストレーションと、
    参照画像に対する前記部分高解像度画像の非剛体レジストレーションとを含む、請求項１３に記載の方法。
16. 少なくとも１つの光ファイバを含むガイドと、
    光源と、
    前記光源に前記ガイドの近位端を走査させる走査装置と、
    前記ガイドを介して取得された画像を検出する検出ユニットと、
    画像を取得および処理し、データを記憶する記憶ユニットを含む処理装置とを含み、
    前記処理装置は、
    前記ガイドを介して取得された再較正画像を、準備段階において取得された第１の画像から導かれた第１の参照画像に一致させる幾何学的変換を決定し、
    前記変換と、前記準備段階において取得された第２の較正画像上で前記ガイドの各ファイバを空間的に特定する、記憶された第１の検出マップとから、前記再較正画像上で前記ガイドの各ファイバを空間的に特定する新しい検出マップを導き、
    前記新しい検出マップを用いて、各光ファイバに対応する前記取得された第１の画像の区域を個別に処理するように適合される、画像取得装置。
17. 複数の光ファイバから構成されるガイドと、
    発光する光源と、
    前記光源の焦点を前記ガイドの近位端に合わせるダイレクト画像化装置と、
    前記ガイドを介して取得された画像を検出する検出ユニットと、
    画像を取得および処理し、データを記憶する記憶ユニットを含む処理装置とを含み、
    前記処理装置は、
    前記ガイドを介して取得された再較正画像を、準備段階において取得された第１の画像から導かれた第１の参照画像に一致させる幾何学的変換を決定し、
    前記変換と、前記準備段階において取得された第２の較正画像上で前記ガイドの各ファイバを空間的に特定する、記憶された第１の検出マップとから、前記再較正画像上で前記ガイドの各ファイバを空間的に特定する新しい検出マップを導き、
    前記新しい検出マップを用いて、各光ファイバに対応する前記取得された第１の画像の区域を個別に処理するように適合される、画像取得装置。
18. 前記再較正画像は、前記画像取得装置が起動されたときに自動的に取得される、請求項１６または１７に記載の画像取得装置。
19. 光ファイバガイドを介して取得された画像を処理する方法であって、
    前記光ファイバガイドを介して第１の参照画像を取得するステップと、
    前記光ファイバガイドを介して第２の較正画像を取得するステップと、
    第１の検出マップにおける、前記第２の較正画像の前記光ファイバガイドの各ファイバを空間的に特定するステップと、
    前記光ファイバガイドを介して再較正画像を取得するステップと、
    前記再較正画像を前記第１の参照画像に一致させる幾何学的変換を決定するステップと、
    前記再較正画像の前記光ファイバガイドの各ファイバを空間的に特定する新しい検出マップを、前記幾何学的変換および前記第１の検出マップを用いて導くステップと、
    前記新しい検出マップを用いて、前記光ファイバガイドの各ファイバに対応する取得画像の区域を個別に処理するステップとを含む、方法。
20. 前記取得画像は、複数の収集チャネル上の観察対象から発せられた光を集めることによって得られた複数のスペクトルサブバンド画像を含み、前記収集チャネルはスペクトルサブバンドに対応し、
    前記処理するステップは、前記複数のスペクトルサブバンド画像上で実行される、請求項１に記載の方法。
21. 前記光ファイバガイドを介して画像を取得するステップは、複数の第２の光源を用いて前記ファイバを照らすステップを含み、
    前記再較正画像は、第２のブラックフィールド画像の前記フラックスを合計することにより取得され、前記第２のブラックフィールド画像は、単一の第２の光源を用いて前記光ファイバガイドを照らすことにより取得され、
    前記再較正画像の取得後における所与の第２の光源の出力パワーの変更は、前記第２のブラックフィールド画像の前記フラックスの前記合計における、前記対応する所与の第２のブラックフィールド画像の前記フラックスを計測することによって補われる、請求項８に記載の方法。