JP6991267B2 - 再構成されたスペクトルを用いた２次元多層厚測定 - Google Patents

Description

（関連出願の相互参照）
この出願は、２０１９年４月２４日に出願された「２Ｄ ＭＵＬＴＩ－ＬＡＹＥＲ ＴＨＩＣＫＮＥＳＳ ＭＥＡＳＵＲＥＭＥＮＴ ＷＩＴＨ ＲＥＣＯＮＳＴＲＵＣＴＥＤ ＳＰＥＣＴＲＵＭ（再構成されたスペクトルを用いた２次元多層厚測定）」と題する米国仮特許出願第６２／８３７，７８５号に基づく優先権を主張するものであり、その全体を参照により本明細書に援用する。

ドライアイは、眼科医の診察における最も一般的な原因の１つになっている。ドライアイは、涙液層に関連する眼表面の多因子性疾患である。ドライアイ診断の１つの方法は、涙液層の厚さを測定することによって涙液量を評価することである。図１に示すように、涙液層１００は、厚さが約５０ナノメートルの油層１０２を含む眼の外層と、合わせた厚さが約１．５マイクロメートルのムチン－水層（液層）１０４とを有する（ムチン－水層１０４は、ムチン及び／又は水層とも呼ばれる）。眼は、ムチン－水層に隣接して、厚さが約０．５ミリメートルの角膜１０６を更に含む。現状、例えばドライアイ診断を客観的に支援するために、涙液層１００における層を正確且つ効率的に画像化及び解析する技術（例えば、層厚を求める技術）はほとんど無い。

現在利用可能な非侵襲測定として干渉計測法がある。これらのうちの１つのアプローチは、量的又は質的にも、画像の色と油層厚との間の相互関係に依拠している。理論的には、２次元（２Ｄ）画像に基づいて解析が行われるが、通常は、かなり広い範囲における平均厚を提供するに過ぎない。しかしながら、このアプローチは、油層厚の相対的評価に限定されるのが通常であり、絶対的な厚さ測定を行う場合には、位相の曖昧性（ａｍｂｉｇｕｉｔｙ）及び不確定性（ｕｎｃｅｒｔａｉｎｔｙ）の影響を受けやすいことがある。

本開示の第１の例によれば、構造（構造体、組織）の層厚を測定する方法は以下を含む：前記構造のマルチスペクトル干渉パターンを取得する；前記マルチスペクトル干渉パターンに対してハイパースペクトル再構成を実行することにより、再構成フルスペクトル干渉パターン又は再構成ハイパースペクトル干渉パターンを生成する；前記再構成フルスペクトル干渉パターン又は前記再構成ハイパースペクトル干渉パターンに基づいて前記層厚を推定する。

本開示の他の例によれば、構造（構造体、組織）の層厚を測定する方法は以下を含む：ハイパースペクトルカメラを用いて前記構造のフルスペクトル干渉パターン又はハイパースペクトル干渉パターンを取得する；前記ハイパースペクトル干渉パターンに基づいて前記層厚を推定する。

上記の例の様々な実施形態は以下のいずれかを含む：前記構造は、眼の涙液層である；ＲＧＢカメラを用いて前記構造からの反射光を取り込むことによって前記マルチスペクトル干渉パターンを取得する；デュアルカラーカメラを用いて前記構造からの反射光を取り込むことによって前記マルチスペクトル干渉パターンを取得する；狭帯域マルチスペクトルカメラを用いて前記構造からの反射光を取り込むことによって前記マルチスペクトル干渉パターンを取得する；マルチスペクトル干渉パターンの入力に基づいて前記フルスペクトル干渉パターン又は前記再構成ハイパースペクトル干渉パターンを出力するように訓練された機械学習システムによって、前記マルチスペクトル干渉パターンに対する前記ハイパースペクトル再構成を実行する；前記フルスペクトル干渉パターン又は前記再構成ハイパースペクトル干渉パターンをルックアップテーブルと比較することによって、前記層厚を推定する；前記フルスペクトル干渉パターン又は前記再構成ハイパースペクトル干渉パターンに対してカーブフィッティングを実行することによって、前記層厚を推定する；前記フルスペクトル干渉パターン又は前記再構成ハイパースペクトル干渉パターンの入力に基づいて層厚を出力するように訓練された機械学習システムに、前記フルスペクトル干渉パターン又は前記再構成ハイパースペクトル干渉パターンを供給することによって、前記層厚を推定する；前記方法は、更に、前記推定された層厚を表示する；前記取得されたマルチスペクトル干渉パターンは非合焦であり、前記方法は、更に、前記ハイパースペクトル再構成よりも前に、前記非合焦のマルチスペクトル干渉パターンのフォーカス調整を実行する；非合焦のマルチスペクトル干渉パターンの入力に基づいて合焦したマルチスペクトル干渉パターンを出力するように訓練された機械学習システムによって、前記フォーカス調整を実行する。

図１は、涙液層及び角膜を模式的に表す。

図２は、マルチスペクトル帯域画像（マルチバンド画像）のハイパースペクトル再構成を用いる本開示の層厚推定法の例を表す。

図３は、図２の方法を図解的に表す。

図４は、マルチスペクトル干渉パターンを再び合焦するための前処理を表す。

図５は、本開示の方法を実行するためのシステムの例を表す。

本明細書に提示するように、マルチスペクトル帯域を利用して対象を撮影することによってこの対象の層厚を測定する方法に干渉計測法を用いることができる。例えば、幾つかの実施形態において、２Ｄ層厚測定に十分な強さの信号を提供するために複数のスペクトル帯域（特に、従来のＲＧＢイメージングよりも狭いスペクトル帯域を有する「狭帯域」）を用いることができる。更に、とりわけムチン－水層厚測定において、イメージングのコントラスト向上を促進するために狭いスペクトル帯域幅を用いることができる。幾つかの実施形態において、これらのマルチスペクトル帯域は、ＲＧＢカメラで得られたオーバーラップの無い（非重複の）複数の帯域又はオーバーラップの有る（重複した）複数の帯域であってよい。その場合、画像化されたスペクトルパターンから再構成されたフルスペクトル干渉パターン又はハイパースペクトル干渉パターンに基づき、ルックアップテーブル、カーブフィッティング、又は機械学習を用いて、画像化された各位置における涙液層厚を推定することができる。

スペクトル帯域の個数が、そのようなイメージングの正確性や応用に影響を与えることがある。比較的多数のスペクトル帯域を用いることによって正確性を向上させることができるが、時間が掛かるため、涙液層のような動的な対象の測定能力が制限される可能性がある。逆に、比較的少数のスペクトル帯域を用いる場合には、即時的な測定（ｌｉｖｅ－ｓｐｅｅｄ ｍｅａｓｕｒｅｍｅｎｔ）が可能である一方で、カーブフィッティングを正確に行うために十分な情報を提供できない可能性がある。複数のスペクトル帯域のハイパースペクトル再構成によれば、制限されたスペクトル帯域測定からフルスペクトル干渉パターン反応又はハイパースペクトル干渉パターン反応を再構成することによって、少ない数のスペクトル帯域で正確性を向上させることができる。換言すると、ハイパースペクトル再構成は、マルチスペクトルイメージングの効果を維持しつつ、フルスペクトルカメラで取得されたものと同等の干渉パターン（よって、厚さ推定の正確性を向上させる付加的なデータ点の付属的効果を有する）を生成するものである。

本明細書で使用されるように、用語「フルスペクトル（ｆｕｌｌ Ｓｐｅｃｔｒｕｍ）」は連続スペクトル分布を示し、「ハイパースペクトル（ｈｙｐｅｒ－ｓｐｅｃｔｒａｌ）」は典型的には少なくとも１００個の離散的スペクトル帯域を示し、「マルチスペクトル（ｍｕｌｔｉ－ｓｐｅｃｔｒａｌ）」は典型的には約２０個の離散的スペクトル帯域を示すものとして認識されるべきである。多くの例において、接頭辞「フル（ｆｕｌｌ）」及び「ハイパー（hyper）」は、多くの周波数及び多くのバンド幅にわたるスペクトル再構成を一般的に示すためにほぼ同じ意味で使用される。なお、ハイパースペクトル信号がマルチスペクトル信号よりも多数の離散的スペクトル帯域を有する限りにおいて、マルチスペクトル信号は２０よりも多い又は少ない離散的スペクトル帯域を有していてもよく、また、ハイパースペクトル信号は１００よりも多い又は少ない離散的スペクトル帯域を有していてもよい。

機械学習を利用したハイパースペクトル再構成が幾つか試みられてはきたが、これらの試みは、（例えば、家庭用品の）反射率を求めるものであり、（例えば、涙液のような）多層構造（多層構造体、多層組織）の干渉パターンに関するものではない。更に、ほとんどの試みは、一連の狭帯域スペクトル帯域を取得するカメラではなく、ＲＧＢカメラからの画像の再構成に焦点を当てたものである。

図２は、前述したマルチスペクトル帯域イメージングのハイパースペクトル再構成に関する、本明細書にて説明される方法の概要を表す。同図から分かるように、まず、（例えば画像を形成するために使用可能な）マルチスペクトル帯域干渉パターンが、層厚測定の対象となる構造（構造体、組織）（例えば、眼の涙液層）の関心領域内の各位置について取得される（２００）。この干渉パターンの取得は、引き続き実行される層厚測定処理の直前に近くの場所で行われてもよいし、或いは、より早い時点において遠隔地で行われてもよい。事前に取得する場合、干渉パターンは保存され、後段の処理のために記憶装置から取得される。イメージングに利用されるスペクトル帯域は、２色スペクトル（ｄｕａｌ ｃｏｌｏｒ ｓｐｅｃｔｒｕｍ）、ＲＧＢスペクトル、複数の狭いスペクトル帯域、又はユーザが選択した複数のスペクトル帯域であってよい。取得される特定の帯域を決定するために、望ましい画像化対象又は結果に応じた最適なスペクトル帯域を決定するように訓練された機械学習システムを用いてもよい。

次に、取得されたマルチスペクトル干渉パターンのハイパースペクトル再構成２０２が、再構成されたフルスペクトル干渉パターン又は再構成されたハイパースペクトル干渉パターン２０８を生成するために実行される。ハイパースペクトル再構成２０２は、圧縮センシングなどの手法によって実行可能である。圧縮センシングを用いる場合、下記の条件の下、一連の最適化を通じて信号を再構成することが可能である：１）或る空間において信号がスパース（疎）に分布している；２）無作為抽出（ランダムサンプリング）する。以下の理由により本開示はこれらの条件をそれぞれ満たしている：１）未知の厚さは２つだけである；２）マルチスペクトル帯域はランダムに選択可能であり、一様に分布していない。

ハイパースペクトル再構成２０２についても、機械学習システムによって実行可能である。そのような実施形態において、ハイパースペクトル再構成機械学習システムは、同じ対象のマルチスペクトル画像及びハイパースペクトル画像のペアを用いた教師あり学習であってよい。訓練において、機械学習システム内のパラメータを調整することによって、機械学習システムからの再構成ハイパースペクトル画像とハイパースペクトル画像との間の差分が低減される。それにより、機械学習システムは、与えられたマルチスペクトルの入力からハイパースペクトル画像２０８を適切に構築するパラメータを学習する。

学習プロセスの一部としての、マルチスペクトル帯域の最適なセットを特定するために参照可能なフィードバックループ２０４によって、ハイパースペクトル再構成２０２を補助してもよい。例えば、ハイパースペクトル再構成２０２の品質をフィードバックすることによって、取得されたマルチスペクトル干渉パターンのうちのどのスペクトル帯域が、涙液層厚干渉パターン再構成２０２の正確性を最大化するかを特定することができる。望ましい再構成法の開発（発展）の間に、従来のハイパースペクトル再構成法又は機械学習ベースのハイパースペクトル再構成法のいずれかをフィードバック２０４に適用することができる。

更に他の実施形態において、前述したようなマルチスペクトル干渉パターンからの再構成を要することなくフルスペクトル干渉パターン又はハイパースペクトル干渉パターン２０８を直接に取得する（２０６）ために、ハイパースペクトルカメラを使用してよい。

次に、フルスペクトル干渉パターン又はハイパースペクトル干渉パターン（いずれも再構成されたもの又は直接に取得されたもの）２０８に対して厚さ推定法２１０が実行される。この厚さ推定法は、多層の対象のうちのいずれかの層又は全ての層についてのものであってよく、及び／又は、対象の総厚についてのものであってもよい。前述したように、この厚さ推定は、次のいずれかを用いて実行されてよい：ルックアップテーブル（例えば、特定のスペクトル帯域波長における検出信号強度を、既知の対応する厚さと比較する）；カーブフィッティング技術；機械学習技術；フーリエ変換技術；これらに類する技術。このフーリエ変換技術を用いる方法は、２０２０年３月２５日に出願された「ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＭＥＡＳＵＲＩＮＧ ＴＥＡＲ ＦＩＬＭ ＴＨＩＣＫＮＥＳＳ ＵＳＩＮＧ ＯＰＴＩＣＡＬ ＩＮＴＥＲＦＥＲＥＮＣＥ（光干渉を用いて涙液層厚を測定する方法及び装置）」と題する米国特許出願第１６／８２９，６７３号（その全体を参照により本明細書に援用する）に記載されたものであってよい。また、「２Ｄ ＭＵＬＴＩ－ＬＡＹＥＲ ＴＨＩＣＫＮＥＳＳ ＭＥＡＳＵＲＥＭＥＮＴ（２次元多層厚測定）」と題する、２０１９年１月２１日に出願された米国特許出願第１６／２５２，８１８号及び２０１９年８月１日に公開された米国特許出願公開第２０１９／０２３１１８７号（その全体を参照により本明細書に援用する）に記載された手法など、他の手法でもよい。

例えば、干渉パターンが既知の値｛ｘ｝を有し、且つ、目標となる未知の層厚をｙとした場合、厚さ推定法は、値｛ｘ｝と層厚ｙとを関連付けることができる。ルックアップテーブルを用いる場合、異なる厚さの組み合わせのスペクトル干渉パターンについてシミュレーションが行われ（例えば、涙液層の物理モデルを用いる）、テーブルに保存される。厚さ推定では、最も適合する干渉パターンをテーブル内から特定するためにテーブルを探索するためのキーとして、干渉パターンの値｛ｘ｝を用いることができる。テーブル内においてこれに対応する厚さが、測定された干渉パターンについての涙液層の目的の厚さとみなされる。

カーブフィッティング技術を利用する場合、干渉パターンの値｛ｘ｝が、（未知の層厚に対応する）２つの未知の値を有する涙液層の物理モデル（又は、類似のモデル）のフィッティングに直接に使用される。モデルに最もよく適合する干渉パターンの値｛ｘ｝について変数の値を決定することによって、フィッティングされたモデルは涙液層の層厚をもたらす。

機械学習を利用する場合、干渉パターンの値｛ｘ｝の入力から厚さを推定するために、訓練前の機械学習システムが使用される。教師あり学習においては、干渉パターンとそれに対応する涙液層の層厚とのペアがシステムに提供される。この訓練データは、シミュレーション（例えば、涙液層の物理モデル）で生成されてもよいし、実際に取得されたサンプルから生成されてもよい。訓練を実行しつつ、機械学習システムは、入力された干渉パターンに基づき涙液層厚を正しく推測するための学習を行う。

最後に、求められた層厚を、後の解析のために保存してもよいし、又は、そのまま若しくは厚さマップとして表示してもよい（２１２）。この厚さマップは、画像化された対象の２次元画像であってよく、その各ピクセルは、画像化された位置に対応しており、その位置について得られた厚さに対応する強度、色、又は明るさなどを有する。他の実施形態において、厚さマップは、各２次元位置における厚さを第３の次元を用いて表現した３次元マップであってよい。

図３は、図２の方法を図解的に表している。同図から分かるように、干渉データのマルチスペクトル帯域を取得することによって、ハイパースペクトル干渉パターン３０６が形成される。１つの例３００において、複数のスペクトルは、それぞれ約４０ナノメートルの幅を有し、４００、５００、６００、７００及び８００ナノメートルの波長を中心とする５つの狭いスペクトル帯域を含んでいてよい。他の例において、複数の帯域は、例えば次の範囲に含まれていてよい：４２５～４７５ナノメートル、５００～５５０ナノメートル、６５０～７００ナノメートル、７５０～８００ナノメートル、及び、９５０～１０００ナノメートル。更に他の例３０２では、複数のスペクトル帯域は、ＲＧＢカメラ又はデュアルカラーカメラの赤帯域、緑帯域、及び青帯域に対応してもよい。しかしながら、前述したように、異なる帯域幅の任意個数の帯域を用いてもよいし、任意個数の手法でそれらの帯域を選択してもよい。例えば、前述したように、ハイパースペクトル再構成の訓練（フィードバック２０４を用いる）の間に又は機械学習によって、好適な帯域を特定してもよい。

フルスペクトル又はハイパースペクトルの再構成を機械学習システム３０４を用いて行う場合、マルチスペクトル干渉パターン３００、３０２の入力に基づき再構成フルスペクトル又は再構成ハイパースペクトル３０６を出力するように訓練された機械学習システムに、取得されたマルチスペクトル干渉パターン３００、３０２が入力される。前述したおうに、この再構成は、他の手法で実行されてもよく、図３の例に示す機械学習に限定されない。フルスペクトル又はハイパースペクトルを再構成することにより、多数の周波数サンプリング点を後段の涙液層厚推定に利用することが可能になる。

次に、再構成されたスペクトル３０６を層厚推定技術３０８を用いて解析することにより、フルスペクトル又はハイパースペクトル３０６に対応する位置における涙液層厚３１０を求める。この解析は、スペクトルを厚さに対応付けたルックアップテーブルとスペクトルとを比較する手法、カーブフィッティング、スペクトルの入力に基づき厚さを出力するように訓練された機械学習システムに再構成スペクトルを入力する手法、又は、フーリエ変換の手法によって、実行されてよい。

以上に加え、フルスペクトル再構成又はハイパースペクトル再構成をマルチスペクトル干渉パターンに適用するよりも前に、マルチスペクトル干渉パターンに前処理を施してもよい。この前処理としては、例えば、ノイズ除去、パターンの再フォーカス調整などがある。このような前処理は、再構成から独立していてよい。図４は、フォーカス（ピント）が合った（合焦した）マルチスペクトル干渉パターン４０４を再構成するためにフォーカス修復の手法４０２に入力される、フォーカスの合っていない（非合焦の）マルチスペクトル干渉パターン４００の例を示す。フォーカス修復の手法４０２は、非合焦のパターンと適切に合焦したパターンとを関連付けるように訓練された機械学習システムであってよい。このようなシステム４０２は、機械学習システム４０２に入力された非合焦のパターンから、合焦したパターンを出力することが可能である。機械学習システム４０２は、異なるイメージングモダリティ（例えば、ＲＧＢカメラ、又は、タイムオブフライトシステム（ｔｉｍｅ－ｏｆ－ｆｌｉｇｈｔ ｓｙｓｔｅｍ））から取得されたフォーカス関連情報を生成し、カメラと角膜との間の距離を測定することも可能である。この情報によれば、更に、機械学習システムによる非合焦の度合の特定及び非合焦の干渉パターン５００の調整を促進し、合焦したパターン４０４を生成することが可能である。

以上に説明した方法を実行するためのシステムも本開示の範囲内にあることを意図しており、それを図５に示す。そのようなシステム５００は、コンピュータを含んでいてよく、このコンピュータは、本方法を実行するための１つ以上のプロセッサ（例えば、集積回路、ディスクリート回路などの形式のプロセッサ）５０４、記憶装置５０６（例えば、ハードディスク、メモリ、ＲＡＭなど）、及び、入出力インターフェイス（例えば、ディスプレイ、キーボード、マウスなど）５０８を有していてよい。前述した方法は、プロセッサ５０４により実行されるソフトウェアを用いて、又は、ハードウェア（例えば、回路構成、光学フィルタなど）を用いて実装されてよい。記憶装置５０６は、コンピュータの近くに配置されてもよいし（５０６ａ）、又は、例えば集中化されたデータベースとして遠隔的に配置されてもよい（５０６ｂ）。様々な上記の機械学習システムは、コンピュータ５０２内に（１つ以上のプロセッサ５０４上に）まとめて実装されてもよいし、独立のシステムとして別々に実装されてもよい。

システム５００は、対象から干渉パターンを取得するために使用されるイメージングシステムハードウェア５１０と一体化されていてもよいし、イメージングシステムハードウェア５１０から分離されていてもよい。例えば、コンピュータ５０２は、光コヒーレンストモグラフィシステムを制御するために使用されるコンピュータと同一であってよい。一体化されている場合、システム５００は、前述したスペクトル干渉パターンを取得するためのイメージングシステムハードウェア５１０を含んでいてもよい。このようなハードウェア５１０は、例えば、以下の要素を含む：厚さ測定の対象に向けて光を発するように構成された光源５１２；例えば、ＲＧＢカメラ、デュアルカラーカメラ、マルチスペクトル光検出器／カメラ（その狭帯域版を含む）、フルスペクトル光検出器／カメラ（その狭帯域版を含む）、ハイパースペクトル光検出器／カメラ（その狭帯域版を含む）のような、対象により反射された光源５１２からの光を検出するカメラ／検出器；光源からの光を対象に提供し、且つ、対象からの反射光をカメラ及び／又は光検出器５１４に提供するように構成された光学要素（例えば、レンズ、フィルタなど）。

様々な特徴を以上に提示したが、これらの特徴は単独で（別々に）又は組み合わせて使用してよいと理解されるべきである。更に、特許請求の範囲に記載された例に関する分野の当業者にとって、変化、変更、変形を行ってもよいと理解されるべきである。同様に、以上の開示は、主に眼の涙液層のイメージングに関するものであるが、他の任意の多層構造（多層構造体、多層組織）のイメージング及び層厚決定に対してこの開示を適用してもよい。

Claims (1)

1. 構造の層厚を測定する方法であって、
   ＲＧＢカメラ、デュアルカラーカメラ及び狭帯域マルチスペクトルカメラのいずれかを用いて前記構造からの反射光を取り込むことによって前記構造のマルチスペクトル干渉パターンを取得し、
   前記マルチスペクトル干渉パターンに対してハイパースペクトル再構成を実行することにより、再構成フルスペクトル干渉パターン又は再構成ハイパースペクトル干渉パターンを生成し、
   前記再構成フルスペクトル干渉パターン又は前記再構成ハイパースペクトル干渉パターンに基づいて前記層厚を推定する、
   方法。
   

Images