JP6885564B2 - 腫瘍および／または健常組織の非侵襲的検出方法およびハイパースペクトルイメージング装置 - Google Patents

Description

本発明は、ハイパースペクトルイメージングを用いた腫瘍および／または健常組織の非侵襲的検出方法に関し、またハイパースペクトルイメージング装置に関する。

遠隔探査、食品品質検査、薬物分析、防衛および安全保障、ならびに医療用途などのいくつかの技術分野に対するハイパースペクトルイメージングの使用が知られている。
ハイパースペクトルイメージングは異なる医療用途において、特に、器官間の区別および、例えば健常か悪性かなどの組織の同定のために使用される。最も見込みのある実装例の１つは脳腫瘍の同定に関するものである。

脳腫瘍は疾患の最も重要な形態の１つであり、欧州を通して深刻な経済的および社会的負担となっている。最も一般的な形態は高悪性度の悪性神経膠腫であり、これは原発性脳腫瘍の約３０〜５０％を占め、多形性膠芽腫がこれらの症例の８５％を構成する。これらのタイプの神経膠腫は急激に成長する侵襲性を特徴とし、これは局所的に非常に攻撃的であり、ほとんどの場合一中心（ｕｎｉｃｅｎｔｒｉｃ）であって転移することはほとんどない。

手術、放射線療法および化学療法を組み合わせた新しい積極的治療の導入にもかかわらず、持続性または局所的再発性腫瘍（すなわち、原発性腫瘍位置または２〜３ｃｍ以内の近接組織での再発）の形態での治療の失敗が続いている。未分化星状細胞腫の生存期間中央値および５年生存率はそれぞれ僅か３６か月および１８％であり、一方多形性膠芽腫では、これらはそれぞれ１０か月および５％未満である。

低悪性度の腫瘍に対する完全切除の妥当性および重要性は、特に小児科の症例ではよく知られている。しかし、内部腫瘍の伝統的な診断は切除生検その後の組織学および細胞学に基づくものである。この標準的な手順の主な弱点は２つある：第１は、これは悪性および健常組織の両方を外科的切除することによる副作用および合併症を伴う可能性のある攻撃的および侵襲的な診断であること、第２は、診断情報はリアルタイムで入手できず、組織を実験室で処理する必要があることである。

磁気共鳴イメージング（ＭＲＩ）、コンピュータ断層撮影（ＣＴ）、超音波検査、ドップラー走査および核医学を含む、外科用顕微鏡を通しての従来の光学的可視化にはいくつかの代替案がある。これらのアプローチとは異なり、ハイパースペクトルイメージングは、非侵襲的および非イオン化のやり方で外科手術中にリアルタイムで悪性組織のエッジの正確な検出の見込みを提供する。

特許文献１は蛍光イメージングに基づくイメージングシステムを開示している。本システムは刺激光の下で撮られたハイパースペクトル画像を蛍光画像として表示し、組織の光学特性に対して補正を行って蛍光色素分子濃度の定量マップを提供する。ハイパースペクトル画像からのスペクトル情報を処理して、組織表面より下の蛍光色素分子の深さが提供される。深さでの蛍光の定量画像もまた作成される。本システムは、正確な腫瘍位置特定または正常組織としての画像の異なる（様々な）成分を表示する定性マップは提供しない。

特許文献２は、ハイパースペクトルイメージングを、侵襲性ポートベースの外科手術中に照射された脳組織に適用するシステム、方法および装置に関する。本システムは脳腫瘍の検出に焦点を当てておらず、また手術中に見つかる異なる材料を同定するために類別を行うことはない。

特許文献３は、光学表面プローブからのハイパースペクトルデータが供給されるアルゴリズムを用いて標的構造物を同定する医療用ハイパースペクトルイメージングシステムを開示している。本システムは、信頼できる出力を提供するために患者の以前のプローブ測定データを必要とする。出力は同じ患者のみに有効である。本システムは異なる患者の試料と取り組むには十分に一般的ではない。

国際公開第２０１５／０２３９９０（Ａ１）号 国際公開第２０１４／１３９０２０（Ａ１）号 国際公開第２０１４／１１８６７４（Ａ２）号

第１の局面では、ハイパースペクトルイメージングを用いた腫瘍および／または健常組織の非侵襲的検出方法が開示される。本方法は、

少なくとも１つの画素のハイパースペクトルデータが供給される機械学習アプローチを実現することによって、標的組織から得られるハイパースペクトル画像の画素毎の類別（分類）を決定することと、

各画素のハイパースペクトルデータに基づいて画素を少なくとも１つのクラスタにグループ分けすることによってハイパースペクトル画像の分割を行うことと、

同じ類別を同じクラスタに属するすべての画素に割り当て、これにより各クラスタをある一定の類別と関連付けることと、を包含してもよい。

本方法は、当業者に、異なる標的組織、材料および物質の高精度の位置特定および境界を与えることができる。標的組織、材料および物質は、悪性および健常組織両方を外科的切除することによる副作用および合併症を伴う可能性のある攻撃的および侵襲的診断を避けて（薬剤、物質または放射線を加えることも侵襲性ポートも必要なく）同定され、また診断情報はリアルタイムで入手可能であり、組織を実験室で処理する必要はない。

本方法はまた、最先端の実装例がそうであるように、完全切除を確実にし、悪性組織が偶発的に残るのを防ぎ、「脳質量シフト」による合併症を防ぎ、磁気共鳴イメージング（ＭＲＩ）と実際の脳位置との間のずれを防ぐ助けとなり得る。

画素毎の類別とハイパースペクトル画像の分割との組み合わせがいくつかの効果を提供し得ることが分かった。一方では、得られる分割により、ハイパースペクトルキューブから均質なデータ構造（例えばクラスタ）およびそれらの境界を見つけるのに良好な能力が示され、他方では、画素毎の類別により、クラスタに割り当てられ得る組織、材料および物質に関する堅牢な情報が提供され得る。このような組み合わせにより、良性腫瘍と悪性腫瘍、これらは極端に近似のスペクトルを有し得るが、これらの間の正確で有用な区別が可能である。

用語「クラスタ」は、領域の同義語、または定義された画素群またはエリアであるとして理解されたい。

いくつかの例では、本方法はさらに、
同じクラスタに属するすべての画素に対して同じ類別を割り当てる前に、画素毎の類別の空間的均質化を行うことを包含してもよい。画素毎の類別の均質化を行うことにより、本方法の出力は標的組織のさらにより正確な位置特定および拡張を持ち得ることがわかった。

別の例では、本方法はさらに、
機械学習アプローチをグラウンドトルース標識データセットにより仕込むことを包含してもよい。本方法は、信頼できる出力を提供するために患者の以前のプローブ測定データを必要としなくてもよい。出力は１人より多い患者（異なる人々）および１タイプの組織にとって有効であるとよい。

本方法の例では、グラウンドトルース標識データセットは、
標識（分類）すべきハイパースペクトル画像内の少なくとも１つの参照画素を選択することと、
各画素の参照画素に対するスペクトル角度を計算することと、
参照画素に関連する所定のスペクトル角度閾値を考慮に入れ得るスペクトル角度マップ（またはいかなる他の視覚表現）を生成することと、
所定のスペクトル角度閾値内のスペクトル角度を持つ画素を備え得るハイパースペクトル画像のある領域（またはゾーン）に標識を割り当てることと、
標識領域を備え得るグラウンドトルースマップ（またはいかなる他の視覚表現）を生成することと、によって得られ、
ここで標識（分類）は病理学的状態を備えてもよい。

上記の特徴により、異なる（様々な）標的組織、物質などの一般的且つ確認された特徴を考慮に入れて標識が割り当てられ得るため、堅牢で効率的なグラウンドトルースが生成される。
別の局面では、ハイパースペクトルイメージング装置が開示される。本装置は、
標的組織の可視画像を表示するように構成された光学装置と、
標的組織のハイパースペクトル画像を得るように構成されたカメラと、
カメラおよび光学装置とデータ通信を行う処理プラットホームと、を備え、
光学装置はまた、処理されたハイパースペクトル画像から得られる（マップなどの）情報を表示するように構成され、
処理プラットホームは、ここで開示した方法の例のいずれかによる方法を実装するように構成されてもよい。

別の局面では、コンピュータプログラム製品が開示される。コンピュータプログラム製品は、計算システムに、ここで開示したいくつかの例によるハイパースペクトルイメージングを用いて腫瘍および／または健常組織の非侵襲的検出方法を行わせるためのプログラム命令を備えるとよい。

コンピュータプログラム製品は記憶媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤ、ＵＳＢドライブ、コンピュータのメモリ、または読み出し専用メモリ）で具体化されても、またはキャリア信号（例えば、電気または光キャリア信号）に搬送されてもよい。

コンピュータプログラムは、ソースコード、オブジェクトコード、部分的にコンパイルされた形態などのコード中間ソースおよびオブジェクトコードの形態、またはプロセスの実装で使用するのに適したいかなる他の形態であってもよい。キャリアはコンピュータプログラムを搬送可能ないかなるエンティティまたは装置であってもよい。

例えば、キャリアは、ＲＯＭ、例えばＣＤ−ＲＯＭまたは半導体ＲＯＭ、または磁気記録媒体、例えばハードディスクなどの記憶媒体を備えてもよい。さらに、キャリアは、電気または光ケーブルを介してもしくは無線または他の手段によって搬送され得る、電気信号または光信号などの伝送可能キャリアであってもよい。

コンピュータプログラムをケーブルまたは他の装置または手段によって直接伝達し得る信号で具体化する場合、キャリアはこのようなケーブルまたは他の装置または手段によって構成されるとよい。

もしくは、キャリアは、コンピュータプログラムが組み込まれる集積回路であってもよく、集積回路は、関連する方法を行うように、またはその履行で使用されるように合わせられる。

別の局面では、計算装置が開示される。計算装置はメモリおよびプロセッサを備え、メモリに記憶されプロセッサによって実行可能な命令を具体化し、これら命令は、ここで開示したいくつかの例によるハイパースペクトルイメージングを用いた腫瘍および／または健常組織の非侵襲的検出方法を実行する機能性を備えているとよい。

本開示の非制限の例を、添付の図面を参照して以下に示す。

ある例によるハイパースペクトルイメージングを用いた腫瘍および／または健常組織の非侵襲的検出方法のフローチャートである。 ある例によるハイパースペクトルイメージング装置を概略的に示す。

図１は、可能な例によるハイパースペクトルイメージングを用いた腫瘍および／または健常組織の非侵襲的検出方法１００のフローチャートである。図１は特定の順序を示しているが、本開示の範囲から逸脱することなく他の順序に従ってもよいことは理解されたい。本方法は、画像の少なくとも１つの画素のハイパースペクトルデータが供給される機械学習アプローチを実装することによって標的組織５から得られるハイパースペクトル画像の画素毎の類別（分類）を決定すること１０２を包含してもよい。このような機械学習アプローチは教師あり類別アルゴリズム（教師あり学習の類別アルゴリズム）を備えてもよい。本方法はさらに、画素毎の類別を決定した後、ハイパースペクトル画像の画素毎の類別マップ（またはいかなる他の視覚表現）を生成することを包含してもよい。

いくつかの例によれば、類別は以下のクラス、腫瘍組織、健常組織、血管過多組織、血管、背景要素、原発性腫瘍組織および転移性腫瘍組織の少なくとも１つを備えてもよい。この類別群は必要であれば拡張してもよい。

教師あり類別アルゴリズムは、例えば、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ（ＳＶＭ）、Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ（ＡＮＮ）、Ｒａｎｄｏｍ Ｆｏｒｅｓｔ（ＲＦ）またはＡｄａｂｏｏｓｔであればよい。しかし、当業者であれば必要に応じて別のアルゴリズムを選ぶことができよう。

本方法はまた、各画素のハイパースペクトルデータに基づいて画素を少なくとも１つのクラスタへとグループ分けすることによってハイパースペクトル画像の分割を行うこと１０４を包含してもよい。ハイパースペクトル画像の分割を行った後、ハイパースペクトル画像の分割マップを生成してもよい。このようなハイパースペクトル画像の分割は、教師なしクラスタリングアルゴリズム（教師なし学習のクラスタリングアルゴリズム）を通して行ってもよい。

教師なしクラスタリングアルゴリズムは、例えば、Ｈｉｅｒａｒｃｈｉｃａｌ ｒａｎｋ−２ＮＭＦ（Ｈ２ＮＭＦ）、Ｈｉｅｒａｒｃｈｉｃａｌ Ｋ−ｍｅａｎｓ（ＨＫＭ）またはＨｉｅｒａｒｃｈｉｃａｌ Ｓｐｈｅｒｉｃａｌ Ｋ−ｍｅａｎｓ（ＨＳＫＭ）であればよい。しかし同業者であれば必要に応じて別のアルゴリズムを選ぶことができよう。

本方法はまた、同じクラスタに属するすべての画素に同じ類別を割り当て１０５、それにより各クラスタを少なくとも１つのある一定の類別と関連付けることを包含してもよい。いくつかの例によれば、類別は各クラスタにおいて最も頻繁な画素類別に対応してクラスタに割り当てるとよい。同じクラスタに属するすべての画素に同じ類別を割り当てた後、本方法はさらにハイパースペクトル画像のクラスタ毎の類別マップを生成することを包含してもよい。

いくつかの例によれば、本方法はさらに、クラスタ毎の類別マップにおいて異なる色特性を互いに異なる類別を持つクラスタに割り当てることを包含してもよい。いくつかの所定の色特性は、例えば以下のように各類別に関連させるとよい。
緑＝通常組織
赤＝腫瘍組織
青＝血管および血管過多組織
黒＝背景要素および他の組織、材料または物質

いくつかの他の例では、本方法はさらに、割り当てられた類別の確率に依存してクラスタの色特性を退化させることを包含してもよい。次にクラスタ毎に得られる最大確率結果のみを考慮に入れて退化密度マップを生成してもよい。各クラスの色は確率のパーセンテージを用いて退化させるとよい。例えば、あるクラスタに対する腫瘍クラスの確率が８０％である場合、クラスタの色は２０％退化させるとよい（クラスタＲＧＢ色は赤＝０．８、緑＝０、青＝０となる）。

いくつかの例によれば、本方法はさらに、同じクラスタ内の異なる類別に関連する異なる色特性を混合させることを包含してもよい。クラスタ内の異なる類別の確率パーセンテージを考慮に入れてもよい。次に、クラスタ毎に３つの最大確率値を考慮に入れた混合密度マップを生成してもよい。各クラスの色はこれら３つの最大値の確率パーセンテージを用いて混合させるとよい。例えば、ある一定のクラスタに対する腫瘍クラスの確率が７０％、通常組織の確率が５％そして血管の確率が２５％である場合、クラスタＲＧＢ色は赤＝０．７、緑＝０．０５そして青＝０．２５である。

各クラスタに対する確率パーセンテージは、後述の多数決などのプロセスを通して得るとよい。

同じクラスタに属するすべての画素に対して同じ類別を割り当てる前に、本方法は画素毎の類別の空間的均質化を行うこと１０３を包含してもよい。空間的均質化により、画素毎の類別結果の空間的コヒーレンスのさらなる向上の助けとなり、次にクラスタ毎の類別結果を著しく向上させ得ることが分かった。

さらなる例によれば、本方法は、画素毎の類別の空間的均質化を行った後に、ハイパースペクトル画像の空間的に均質化された画素毎の類別マップを生成することを包含してもよい。画素毎の類別の空間的均質化は、
各画素のハイパースペクトルデータの次元縮退を行うことと、
画素毎の類別データおよび次元縮退ハイパースペクトルデータが供給されるフィルタリングアプローチを実装することと、を包含してもよく、ここでフィルタリングアプローチは画素にその画素近隣のうちで最も一般的な（共通する）類別を割り当ててもよい。

次元縮退ハイパースペクトルデータは、Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ（ＰＣＡ）アルゴリズムなどの帯域圧縮アルゴリズムの実装から得てもよい。当業者であれば必要に応じて別の帯域圧縮アルゴリズムを用いることもできよう。

いくつかの例によれば、本方法は、ハイパースペクトルデータの前処理を行うこと１０１を包含してもよく、これは、画素毎の類別を決定すること１０２、分割を行うこと１０４、および同じ類別を割り当てること１０５のうちの少なくとも１つに先立って実行してもよい。ハイパースペクトルデータの前処理は以下のこと、画像較正、ノイズフィルタリングおよびノイズ除去、帯域平均化および正規化のうちの少なくとも１つを備えてもよい。

さらなる例によれば、上述の前処理プロセスのすべてまたは一部を備える一連の前処理を提供してもよい。

画像較正は、標的組織５の表面にわたる非均一の照射によって生じ得る各画素のスペクトルシグネチャ（スペクトルの特徴）でのバラツキを訂正することを包含してもよい。獲得した原画像を同じ照射条件下で以前に得られた白黒参照画像を用いて較正するとよい。ハイパースペクトル較正画像は、獲得した原画像を以前の白黒参照画像と比較することによって計算するとよい。

ノイズフィルタリングおよびノイズ除去は、ハイパースペクトル画像のスペクトルノイズの少なくとも一部を減らすことを包含してもよい。このノイズはハイパースペクトルカメラ（例えばＶＮＩＲ）のＣＣＤセンサおよび分散素子によって生成され得る。例えば、０から５５および７５０から８２６の帯域は過剰のノイズを含み得るため除去してもよい。帯域は８２６帯域から、組織についての、特に腫瘍組織と健常組織との間の判別に対する有用な情報を含み得ることが分かっている６９５帯域へと圧縮してもよい。
極端な帯域を避ける別の可能な理由としては、ハイパースペクトルカメラは再現性インデックスが劣るということであり得る。

当業者であればケース毎にこれら帯域範囲を変更させることができよう。
画像のスペクトル分解能が極端に高いため、連続した帯域が相互に関連し、除去してもよい冗長情報が提供され得る。帯域平均化は、ハイパースペクトル画像の少なくとも１つの帯域を除去することを包含してもよく、除去された帯域は別の連続した帯域と相互に関連し得る。

正規化は、各画素の大きさ（ａｍｐｌｉｔｕｄｅ）をそのスペクトルシグネチャの形状を修正することなく均質化することを包含してもよい。この正規化は異なる（様々な）高さでの、従って異なる放射強度での捕捉による画像の各画素の異なる輝度を補正してもよい。

前処理を実装することによって、例えば静脈、正常組織および／または腫瘍組織間の判別を行うために高レベルのコントラストを得てもよい。前処理はハイパースペクトルデータを単純化、縮小および浄化してもよい。

いくつかの他の例によれば、本方法は、グラウンドトルース標識データセットにより機械学習アプローチを仕込むことを包含してもよい。グラウンドトルース標識データセットを得るためには以下のようなプロセス、
標識すべき（ラベルを付すべき）ハイパー画像の少なくとも１つの参照画素を選択することと、
各画素の参照画素に対するスペクトル角度を計算することと、
参照画素に関連する所定のスペクトル角度閾値を考慮に入れてスペクトル角度マップを生成することと、
標識を、所定のスペクトル角度閾値内のスペクトル角度を持つ画素を備え得るハイパースペクトル画像のある領域に割り当てることと、
標識領域を備え得るグラウンドトルースマップを生成することと、を提供してもよく、
ここで標識は病理学的状態を備えてもよい。

上述のようなグラウンドトルース標識データセットを得ることによって、画素毎のアルゴリズムによって得られる結果を、標識データセットの堅牢性により、向上させるとよい。

仕込まれたら、機械学習アプローチを有効化するとよい。この操作のために特定の有効化標識データセットを用いてもよい。本方法はまた、機械学習アプローチによって実装され得る数学的分類子モデルを生成することを包含してもよい。この数学的分類子モデルはここに開示するように仕込まれそして有効化されてもよい。

グラウンドトルース標識データセットを得ることを可能にするいくつかの例によれば、画素は外観に基づいて標識されるＲＧＢ画像から当業者によって選択してもよい。ＲＧＢ画像はある人物または他の人物の標的組織５の画像であるとよい。参照画素が選択されると、画素を一定程度の確実性で一定の類別に割り当てることが困難であるため、選択された画素とハイパースペクトルキューブ内の他の画素との間のスペクトル角度（ＳＡ）を計算するとよい。所定の閾値を適用することによって、バイナリーマスクを得るとよい。この閾値をダイナミックに調整することによって、参照画素に対するスペクトル角度が閾値より低い画素のみを含む新しいＲＧＢ画像を生成するとよい。次に、興味のある領域が選択され、この領域内の画素に標識（ラベル）を割り当てるとよい。閾値は、表示エリアが予想した組織タイプと一致するまで調整するとよい。

この標識化のための枠組みは少なくとも２つの効果を提供し得る。一方では、参照画素が当業者によって選択されると、その参照画素に対して低いＳＡを持つ画素を調べることによって画素が一定の類別に属することを確証することができる。他方では、各類別に対するハイパースペクトルキューブからの多数の画素を手動で選択するプロセスは時間のかかる仕事となるため、このプロセスでは当業者が所与の類別からより少ない労力でいくつかの画素を集めることができる。当業者は、必要であれば標識化のための枠組みと相互作用させ、またグラウンドトルース標識データセットを適宜に変更させるとよい。例えば新しい画像を有する場合、またはさらなる類別を定義することが必要とされる場合には容易な修正例を想定してもよい。

いくつかの例によれば、本方法は、標的組織５のハイパースペクトル画像を得るために
処理プラットホーム／装置４からハイパースペクトルカメラなどのカメラ３へと制御信号を送ることおよび／または標的組織５のハイパースペクトル画像を受け取ることを包含してもよい。制御信号およびハイパースペクトル画像は通信ネットワークを通して送るとよい。

図２はある例によるハイパースペクトルイメージング装置１を概略的に示す。ハイパースペクトルイメージング装置１は、
標的組織５の視覚画像を表示するように構成され得る光学装置２と、
標的組織５のハイパースペクトル画像を得るように構成され得るカメラ３であって、いくつかの例では、この装置は２つのハイパースペクトルカメラ、ＮＩＲおよびＶＮＩＲを備えてもよい、カメラ３と、
カメラ３および光学装置２とデータ通信する処理プラットホーム４と、を備えてもよく、
光学装置２はまた、処理されたハイパースペクトル画像から得られる少なくともマップまたはいかなる他の視覚表現などの情報を表示するように構成されてもよく、
処理プラットホーム４はここに開示した例のいずれかによる方法を実装するように構成されてもよい。

光学装置２は外科用顕微鏡を備えてもよく、外科用顕微鏡は、標的組織５の視覚画像を表示するように構成される１つの接眼レンズ２１と、処理されたハイパースペクトル画像から得られる少なくともマップまたはいかなる他の視覚表現などの情報を表示するように構成される別の接眼レンズ２２とを備えてもよい。

カメラ３および処理プラットホーム４は同じまたは異なる場所、例えば、手術室（図示せず）に配置するとよい。従って、装置１の可能な実装例は、手術室にカメラ３および光学装置２をそして離れた位置に処理プラットホーム４を配備してもよい。他の例では、処理プラットホーム４はカメラ３および光学装置２と同じ場所に配備してもよい。

ここに開示する方法の可能な実装例は、標的組織５（脳からの組織など）からのハイパースペクトル画像を例えばカメラ３を通して獲得することを包含してもよい。当業者は標的組織５の興味のあるエリアを例えば光学装置２を通して選択してもよい。獲得したハイパースペクトル画像を例えば処理プラットホーム４を通して上述のように前処理してもよい。次元縮退にとって、カメラ３のセンサによって捕捉される利用可能なすべての情報を使用することがよりよいため、次元縮退アプローチは、帯域平均化を適用することなく画像の各画素からの前処理ハイパースペクトルキューブを入力として使用するとよい。他方で、教師あり画素毎の類別および教師なしクラスタリングはここで述べる一連の前処理全体と共にハイパースペクトルキューブを採用するとよいが、部分的に前処理された、すなわち前処理プロセスまたは一連の前処理すべてを受けてはいないハイパースペクトル画像を用いた教師あり画素毎の類別および／または教師なしクラスタリングを想定することができる。ＮＩＲハイパースペクトルキューブはそれほどの冗長情報を持たないため、帯域平均化はＶＮＩＲハイパースペクトルキューブに適用するとよいことが指摘される。なおこのＮＩＲスペクトル範囲内で得られる帯域数は例えば１７２である。

先に述べたように捕捉されたハイパースペクトル画像の次元を縮退させるためにアルゴリズムを用いてもよい。この次元縮退アルゴリズムは、教師あり画素毎の類別結果を空間的に均質化することを目指してもよい。次元縮退アルゴリズムの入力は帯域平均化を適用しない前処理したハイパースペクトルキューブであればよい。次元縮退アルゴリズムの１帯域表現を得てもよく、それは空間スペクトル類別アルゴリズムなどのさらなるフィルタリングアルゴリズムの入力の１つであってもよい。

教師あり画素毎の類別は、例えばマップとして生成してもよい。教師あり類別器アルゴリズムは、良好な定量的および定性的結果を提供するよう上述のように仕込まれるとよい。この教師あり類別器アルゴリズムの予測部の実装は処理プラットホーム４上で行うとよい。

画素毎の類別アルゴリズムおよび次元縮退アルゴリズムによって提供される類別結果は、（画素毎の類別の空間的均質化１０３のための）空間スペクトル類別アルゴリズムの入力として用いるとよい。次に空間スペクトル教師あり類別マップなどを生成するとよい。

空間スペクトル類別アルゴリズムは、例えば、Ｋ−Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｕｒｓ（ＫＮＮ）フィルタリングプロセスまたは非局所近隣のマッチングおよび平均化に基づくフィルタリングに適したいかなる他のアルゴリズムであってもよい。

空間スペクトル類別アルゴリズムは、画素毎の類別表現などの入力ベースおよび、次元縮退アルゴリズムによって生成されるハイパースペクトルキューブの１帯域表現などのガイドを含んでもよい。空間スペクトル類別アルゴリズムは、画素値（類別）および空間座標（縮退次元マップ）の両方を含み得る特徴空間において最も近い近隣を計算するとよい。

教師なし分割マップは、クラスタリングアルゴリズムによって生成するとよい。教師なしアルゴリズムの入力は、完全前処理を適用したハイパースペクトルキューブであり、出力は、例えば２４個の異なるクラスタを備える分割マップであるとよい。分割マップでは、各画素は、それらのスペクトル類似性（所定のスペクトル特徴）に基づいて均質領域へとグループ分けするとよい。

ハイパースペクトル画像のクラスタ毎の類別マップは、空間スペクトル教師あり類別マップと教師なし分割マップとを統合することによって生成するとよい。他の例では、統合は、教師あり類別器アルゴリズムからの類別マップと教師なし分割マップとを融合させてもよい。

クラスタ毎の類別マップは、多数決技法を適用することによって生成するとよい。クラスタリングアルゴリズムによって見つけられる各クラスタに対しては、すべての画素は画素毎の類別マップの各クラスタで最も頻繁な類別に割り当てるとよい。

ここで述べる各アルゴリズムの出力データは、このような出力データのマップまたはいかなる他の視覚化として表現するとよい。光学装置２は先に述べたように生成されるいかなる出力データの視覚化も表示するように構成される。

多数の例をここに開示しているが、それらの他の変形例、修正例、使用および／または等価物もまた可能である。さらに、上記の例のすべての可能な組み合わせもまた包含される。従って、本開示の範囲は特定の例によって制限されるべきではなく、以下の請求の範囲を公正に解釈することによってのみ決定されるべきである。図面に関連する参照符号が請求の範囲において括弧内に示される場合は、これらは単に請求の範囲の理解度を上げるためのものであって、請求の範囲を限定するものとして解釈してはならない。

さらに、図面を参照して述べた例は、計算装置／システムおよび計算装置／システムで行われるプロセスを含むが、本発明はまたコンピュータプログラム、特にシステムを実行するのに適したキャリア上またはキャリア内のコンピュータプログラムにも及ぶ。

Claims (18)

1. ハイパースペクトルイメージングを用いた腫瘍および／または健常組織の非侵襲的検出方法であって、
   少なくとも１つの画素のハイパースペクトルデータが供給される機械学習アプローチを実装することによって、標的組織から得られるハイパースペクトル画像の画素毎の類別を決定することと、
   各画素のハイパースペクトルデータに基づいて画素を少なくとも１つのクラスタにグループ分けすることによって、前記ハイパースペクトル画像の分割を行うことと、
   同じクラスタに属するすべての画素に同じ類別を割り当て、これにより各クラスタを一定の類別と関連付けることと、
   前記同じクラスタに属するすべての画素に対して同じ類別を割り当てることの前に、画素毎の類別の空間的均質化を行うことと、を包含する方法。
2. 前記画素毎の類別を決定すること、前記分割を行うこと、および前記同じ類別を割り当てることのうちの少なくとも１つの前に、前記ハイパースペクトルデータの前処理を行うことをさらに包含する、請求項１に記載の方法。
3. 前記同じクラスタに属するすべての画素に同じ類別を割り当てることの後に、前記ハイパースペクトル画像のクラスタ毎の類別マップを生成することをさらに包含する、請求項１又は２に記載の方法。
4. 前記クラスタ毎の類別マップにおいて、互いに異なる類別を持つクラスタに異なる色特性を割り当てることであって、所定の色特性は各類別に関連していることをさらに包含する、請求項３に記載の方法。
5. 割り当てられた類別の確率に依存してクラスタの色特性を低下させることをさらに包含する、請求項４に記載の方法。
6. クラスタ内の異なる類別の確率のパーセンテージを考慮に入れて、同じクラスタ内の異なる類別に関連する異なる色特性を混合させることをさらに包含する、請求項４に記載の方法。
7. 前記画素毎の類別の空間的均質化を行うことの後に、前記ハイパースペクトル画像の空間的に均質化された画素毎の類別マップを生成することをさらに包含する、請求項１に記載の方法。
8. 前記類別は以下のクラス：腫瘍組織、健常組織、血管過多組織、血管、背景要素、原発性腫瘍組織および転移性腫瘍組織のうちの少なくとも１つを備える、請求項１〜７のいずれかに記載の方法。
9. 類別は各クラスタにおける最も頻繁な画素類別に対応して前記クラスタに割り当てられる、請求項１〜８のいずれかに記載の方法。
10. 前記画素毎の類別の空間的均質化は、
    各画素のハイパースペクトルデータの次元縮退を行うことと、
    画素毎の類別データおよび次元縮退したハイパースペクトルデータが供給されるフィルタリングアプローチを実装することであって、前記フィルタリングアプローチは画素にその画素近隣のうちで最も共通する類別を割り当てるものであることと、を包含する、請求項１〜９のいずれかに記載の方法。
11. 前記ハイパースペクトルデータの前処理は、画像較正、ノイズフィルタリングおよびノイズ除去、帯域平均化および正規化のうちの少なくとも１つを包含する、請求項２に記載の方法。
12. 前記画像較正は、前記標的組織の表面にわたる非均一の照射によって生じる各画素のスペクトルシグネチャのバラツキを訂正することを包含する、請求項１１に記載の方法。
13. 前記帯域平均化は、前記ハイパースペクトル画像の少なくとも１つの帯域を除去することを包含し、除去された帯域は別の連続した帯域と相互に関連する、請求項１１又は１２に記載の方法。
14. 前記正規化は、各画素の大きさをそのスペクトルシグネチャの形状を修正することなく均質化することを包含する、請求項１１〜１３のいずれかに記載の方法。
15. 標的組織の可視画像を表示するように構成された光学装置と、
    前記標的組織のハイパースペクトル画像を得るように構成されたカメラと、
    前記カメラおよび前記光学装置とデータ通信を行う処理プラットホームと、を備え、
    前記光学装置はまた、処理されたハイパースペクトル画像から得られる情報を表示するように構成され、
    前記処理プラットホームは、請求項１〜１４のいずれかに記載の方法を実装するように構成される、ハイパースペクトルイメージング装置。
16. 前記光学装置は外科用顕微鏡を備え、前記外科用顕微鏡は、前記標的組織の視覚画像を表示するように構成された１つの接眼レンズと、処理されたハイパースペクトル画像から得られる前記情報を表示するように構成された別の接眼レンズとを備えている、請求項１５に記載のハイパースペクトルイメージング装置。
17. 計算システムに請求項１〜１４のいずれかに記載の方法を行わせるためのプログラム命令を備えている、コンピュータプログラム製品。
18. メモリおよびプロセッサを備え、前記メモリに記憶され前記プロセッサによって実行可能な命令を具体化する計算装置であって、前記命令は、請求項１〜１４のいずれかに記載のハイパースペクトルイメージングを用いた腫瘍および／または健常組織の非侵襲的検出方法を実行する機能性を備えている、計算装置。

Images