JP7308848B2 - デジタル病理画像の変換 - Google Patents

Description

本発明は、画像解析の分野に関し、より詳細には、デジタル病理学の分野に関する。

細胞および他の組織成分の生化学的構成に関する追加情報を用いて診断プロセスを支援するために使用することができる、いくつかの画像解析方法が知られている。一般に、コンピュータ化された組織病理学画像解析は、カメラによって捕捉されたシングルチャネル画像またはマルチチャネル画像をその入力として受け取り、人手による解析をエミュレートし、かつ／または診断に役立つ追加の定量的情報を提供することを試みる。

デジタル病理学における主な欠点の１つは、関連する生物学的情報を明らかにするために、たとえば、細胞境界、細胞型、組織型、または一定のバイオマーカーの量または分布を明らかにするために、通常、組織を染色する必要があることである。染色は間違いが発生しやすく、時間がかかり、費用のかかるプロセスである。組織自体は希少かつ高価であり、組織試料を調製し染色するために必要な時間および材料も同様である。疾患をよりよく理解するために各標本で複数の染色を分析することは有益であるとしても、しばしば、利用可能な組織および予算に関する制限により、試料に対して実行される検査数が減少する。

たとえば、組織試料画像の画像解析に基づいて特定の腫瘍の病期を決定するために、複数のバイオマーカー特異的染料で試料を染色することが必要になることがある。組織試料のバイオマーカー特異的染色は、通常、対象のバイオマーカーに選択的に結合する一次抗体の使用を伴う。具体的には、これらの一次抗体だけでなく、染色プロトコールの他の成分も高価であることがあり、したがって多くの適用シナリオ、特にハイスループットスクリーニングにおけるコスト上の理由から、利用可能な画像解析技法を使用できない場合がある。

一般的に、組織試料は、大型の組織形態および細胞と核の境界を明らかにするために、バックグラウンド染料、たとえばヘマトキシリン・エオシン染料（「Ｈ＆Ｅ」または「ＨＤ」染料）を用いて染色される。バックグラウンド染料に加えて、答えを出さなければならない生物医学的問題、たとえば腫瘍の分類およびステージ分類、組織内の一定の細胞型の量および相対的分布の検出などに応じて、複数のバイオマーカー特異的染料が適用されることがある。

本発明の目的は、独立請求項に明記されているように、組織試料中のバイオマーカーを同定する改良された方法および対応する画像解析システムを提供することである。本発明の実施形態は、従属請求項に記載されている。本発明の実施形態は、相互に排他的でない限り、互いに自由に組み合わせることができる。

一態様では、本発明は、組織試料中のバイオマーカーを同定する方法に関する。方法は、取得画像を画像解析システムによって受け取ることを含む。取得画像は、画像取得システムによって取得された画像である。取得画像は、以下のタイプ、すなわち
－ ピクセル強度値が組織試料の自己蛍光シグナルもしくはＸ線誘起シグナルの強度と相関する組織試料のデジタル画像、または
－ ピクセル強度値が非バイオマーカー特異的染料（たとえば、ヘマトキシリン、Ｈ＆Ｅなど）の量と相関する組織試料のデジタル画像、または
－ ピクセル強度値が第１のバイオマーカー特異的染料の量と相関し、第１のバイオマーカー特異的染料が、組織試料中に含まれる第１のバイオマーカーを選択的に染色するように適合された、組織試料のデジタル画像、または
－ 一部のピクセルのピクセル強度値が非バイオマーカー特異的染料（たとえば、ヘマトキシリンまたはＨ＆Ｅなど）の強度と相関し、他のピクセルのピクセル強度値が１つまたは複数の第１のバイオマーカー特異的染料（たとえば、Ｋｉ６７特異的染料）の強度と相関する組織試料のデジタル画像、のうちの１つである。

方法は、訓練済みの機械学習ロジック－ＭＬＬを提供することをさらに含む。ＭＬＬは、第２のバイオマーカーを含むと予測される組織領域を（明示的または暗黙的に）同定するように訓練された機械学習ロジックである。方法は、受け取った取得画像をＭＬＬに入力することと、ＭＬＬによって、取得画像を出力画像に自動的に変換することとをさらに含む。出力画像は、第２のバイオマーカーを含むと予測される組織領域を強調表示する。たとえば、ＭＬＬは、携帯型または非携帯型のデータ記憶デバイス上、たとえばＤＶＤもしくはＵＳＢスティックまたはハードディスクドライブに格納されたソフトウェア製品として提供されてもよく、あるいはネットワーク、たとえばインターネットまたは検査室のイントラネット経由でダウンロードされてもよい。同様に、ＭＬＬは、未訓練のバージョンのＭＬＬを訓練することによって提供されてもよい。

典型的には、ＭＬＬは、取得画像に描写される組織試料と同じまたは類似のタイプを有する組織試料を描写する訓練画像で訓練されている。典型的には、訓練画像に描写される組織試料は、取得画像に描写される組織試料と同じ染料、および取得画像に描写される組織試料と同じまたは類似の染色プロトコールを用いて染色されている。

第１のバイオマーカー特異的染料によって選択的に染色された、取得画像に描写された組織試料の第１のバイオマーカーは、このバイオマーカーの存在が第１のバイオマーカー特異的染料によって実際に経験的に示されたので、「経験的バイオマーカー」または「観察されたバイオマーカー」とも呼ばれ得る。第２のバイオマーカーは、好ましくは第１のバイオマーカー特異的染料により染色されないバイオマーカーである。第２のバイオマーカーは、「対象のバイオマーカー」または「ＭＬＬバイオマーカー」呼ばれることもあり、その理由は、ＭＬＬが、いくつかの訓練画像に基づいてこの「第２のバイオマーカー／対象のバイオマーカー／ＭＬＬバイオマーカーの存在を予測するように訓練された機械学習ロジックであるからである。

入力として使用される取得画像は、まったく染色されなかった試料、または１つもしくは複数のそれぞれの第１のバイオマーカーを選択的に染色するように適合された１つもしくは複数の第１のバイオマーカーによって染色されたが第２のマーカーによっては染色されなかった試料を描写するが、この方法は、第２のバイオマーカーの存在を強調表示する出力画像を生成することができるので、有利であり得る。したがって、取得画像中に暗黙的に含まれている情報について訓練されたＭＬＬを提供することによって、第２のバイオマーカーを選択的に染色するように適合されている染料を用いて組織試料を染色する必要がなく、組織中の第２のバイオマーカーの存在に関する明確な情報を取得することができる。したがって、貴重な時間、および第２のバイオマーカーを選択的に染色するための染料にかかる費用を節約することができる。出願人は、驚くべきことに、たとえば自己蛍光画像、Ｘ線顕微鏡から得られた画像、非バイオマーカー特異的染料を用いて染色された試料の画像（たとえば、Ｈ＆Ｅ ＩＨＣ画像）、および（第２のバイオマーカーを含まない）１つまたは複数のそれぞれの第１のバイオマーカーを選択的に染色する１つまたは複数の染料を用いて染色された試料の画像に含まれる視覚情報が、このような画像で訓練されたＭＬＬが第２のバイオマーカーの位置を予測できるようにするのに十分であることを観察した。理論に束縛されるものではないが、出願人は、組織の固有の特徴（たとえば、特定の自己蛍光シグナルを生成する特徴）によって提供される視覚情報、または非特異的もしくは第１のバイオマーカー特異的染料によって提供される視覚情報が、組織試料がそれぞれの第２のバイオマーカー特異的染料を用いて染色されていない場合でも、多くの場合、第２のバイオマーカーの存在の信頼できる暗黙的または明示的な予測を生成するのに十分であると考える。前記視覚情報は、人間がこの予測を実行できるようにするのに十分ではない場合がある。たとえば、特定のバイオマーカーの存在が、細胞もしくは細胞小器官のコントラスト、細胞膜の形状、またはヒトの目では認識できない可能性がある、かつ／もしくはヒトの脳では解釈できない可能性がある、細胞の他の形態学的特徴を修飾する場合があり、その理由は、様々な視覚的特徴と特定のバイオマーカーの存在との相互関係が複雑すぎて、人間が理解できないからである。しかしながら、出願人は、単に自己蛍光のようないくつかの組織固有の特徴を示す、かつ／または１つもしくは複数の他の（第１の）バイオマーカーの存在および分布を示す、かつ／または免疫組織化学（ＩＨＣ）の文脈で今日広く使用されている非バイオマーカー特異的染料によって明らかにできる組織の特徴を示す組織のデジタル画像に基づいて、ＭＬＬが前記組織中の第２のバイオマーカーの存在を予測できるように、未訓練のＭＬＬを訓練することが可能であることを観察した。

実施形態によれば、ＭＬＬは、取得画像中に第２のバイオマーカーを含むと予測される組織領域を（明示的または暗黙的に）同定するように訓練された機械学習ロジックである。

実施形態によれば、画像変換によって生成された画像は、入力画像を取得するために使用されるものと同じタイプの画像取得システムによって生成された画像のように見える。たとえば、取得された自己蛍光画像から生成された出力画像は、元の自己蛍光画像のように見える場合があり、さらに、第２のバイオマーカーを示す強調表示された領域を含む。取得されたＸ線／明視野顕微鏡／蛍光画像から生成された出力画像は、元のＸ線／明視野顕微鏡／蛍光画像のように見える場合があり、さらに、第２のバイオマーカーを示す強調表示された領域を含む。

他の実施形態によれば、画像変換によって生成された画像は、入力画像を取得するために使用されるものと異なるタイプの画像取得システムによって生成された画像のように見える。たとえば、取得画像は、蛍光顕微鏡によって取得された画像（「蛍光画像」）とすることができ、出力画像は、１つまたは複数の第２のバイオマーカーを強調表示する仮想Ｈ＆Ｅ画像であり得る。

「自己蛍光」または「Ｘ線吸収」または「Ｘ線透過」または「Ｘ線誘起蛍光」のような組織試料の特徴は、組織試料の「固有の性質」または「本来の特性」とも呼ばれ得る。

いくつかの実施形態では、第２のバイオマーカーを含むと予測される組織試料の領域が明示的に同定されるように、ＭＬＬが訓練されてよい。これは、ＭＬＬによってこれらの領域の座標が計算されてもよく、その座標がユーザへの出力として提供される場合、または提供されない場合があることを意味する。いくつかの例によれば、出力画像は基本的に取得画像と同一または類似であり、第２のバイオマーカーを含むと予測される組織試料領域を描写する画像領域が強調表示される点のみが異なる。好ましくは、強調表示は、強調表示された組織領域が、第２のバイオマーカーを選択的に染色するように適合された従来のバイオマーカー特異的染料を用いて染色された組織領域のように見えるように実行される。第２のバイオマーカーがない他のすべての画像領域は、基本的に変更されないままになる可能性がある。

他のいくつかの実施形態によれば、第２のバイオマーカーを含むと予測される組織試料の領域が暗黙的にのみ同定されるように、ＭＬＬが訓練されてよい。これは、ＭＬＬによってこれらの領域の座標が明示的に計算されない可能性があり、したがって座標がユーザへの出力として提供されないことを意味する。いくつかの例によれば、出力画像は、第２のバイオマーカーを含むと予測される組織試料領域を描写する画像領域における取得画像とも、他のすべての領域における取得画像とも異なる仮想染色画像である。たとえば、第２のバイオマーカーを含むと予測される組織試料領域は、強調表示されることが可能であり、他の画像領域を取得画像とは異なる背景色および／またはコントラストを有してもよい。好ましくは、画像変換は、外観の画像が、第２のバイオマーカーを選択的に染色するように適合された従来のバイオマーカー特異的染料を用いて染色された組織試料の典型的な画像のように見えるように実行される。したがって、ＭＬＬは、完全な取得画像をそれぞれの「仮想的に染色された」出力画像に変換するように訓練されてもよく、それによってすべての画像領域が修正される。

たとえば、取得画像は、対比染色された組織試料画像、たとえばＨ＆Ｅ（ヘマトキシリン＆エオシン）染色された組織試料画像またはヘマトキシリン染色された組織試料画像（すべての核を青色で対比染色）であり得る。その場合、対比染色された組織画像で２つの第２のバイオマーカー（Ｋｉ６７およびＣＤ３）を検出するように訓練されたＭＬＬが取得画像に適用され、出力画像として仮想染色画像が生成される。仮想染色画像は、第２のバイオマーカー、たとえばＫｉ６７およびＣＤ３バイオマーカーを含むことが予測される画像中の領域を描写し、出力画像中のそれぞれのピクセルの色および強度値を、それらがＣＤ３またはＫｉ６７特異的染料によって生成されたシグナルを表すように見えるように設定することになる。さらに、出力画像が、Ｈ＆Ｅ染料を用いて染色されておらずＣＤ３およびＫｉ６７特異的染料を用いて染色された組織試料の画像を表す場合があるので、画像中の他のすべてのピクセルの色および強度値も修正される。出力画像にはエオシン染料が存在しないので、出力画像の背景領域内の画像ピクセルは、エオシン染色組織の典型的な色を有しないことになる。したがって、取得画像から出力画像への変換は、少なくとも第２のバイオマーカーに対応するピクセルの変換を含むが、典型的には／好ましくは、さらに、出力画像が、対象の１つまたは複数の第２のバイオマーカーを染色するように適合された染色プロトコールを用いて染色された組織の画像のように見えるように、その他のピクセルも変換することを含む。

実施形態によれば、組織試料は、第２のバイオマーカーを選択的に染色するように適合された染料を用いて染色されていない試料である。したがって、取得画像は、第２のバイオマーカーを選択的に染色する染料によって生成されるいかなるシグナルも含まない。

実施形態によれば、取得されたデジタル画像は、ピクセル強度値が２つ以上の第１のバイオマーカー特異的染料の量と相関する組織試料の画像であり、それぞれの第１のバイオマーカー特異的染料は、組織試料に含まれるそれぞれの第１のバイオマーカーを選択的に染色するように適合され、第１のバイオマーカーはいずれも第２のバイオマーカーではない。追加として、または代替として、取得されたデジタル画像は、ピクセル強度値が組織の自己蛍光シグナルと相関する組織試料の画像である。さらに代替として、取得されたデジタル画像は、Ｘ線顕微鏡によって生成された組織試料の画像である。

実施形態によれば、ＭＬＬは、２つ以上の第２のバイオマーカーを含むと予測される組織領域を（明示的または暗黙的に）同定するように訓練された機械学習ロジックである。出力画像は、２つ以上の第２のバイオマーカーのうちのいずれかを含むと予測される組織領域を強調表示し、優先的には、たとえば２つ以上の第２のバイオマーカーを選択的に染色するために典型的に使用されるまたは使用され得る染料およびそれらのそれぞれの色をシミュレートすることによって、２つ以上の第２のバイオマーカーはそれぞれ、異なる方法で強調表示される。

実施形態によれば、出力画像は仮想染色画像である。変換は、第２のバイオマーカーを含むと予測される画像領域のピクセル強度値を、それらが第２のバイオマーカー特異的染料の存在を光学的にシミュレートするように設定することを含む。第２のバイオマーカー特異的染料は、第２のバイオマーカーを選択的に染色するように適合された染料である。

実施形態によれば、取得画像は、ピクセル強度値が第１のバイオマーカー特異的染料の量と相関する組織試料のデジタル画像である。第１のバイオマーカー特異的染料は、第１のバイオマーカーを選択的に染色するように適合された染料である。第１のバイオマーカーは、特定の細胞型に選択的に含まれる。第２のバイオマーカーは、この細胞型の複数の知られている亜型のうちの１つに選択的に含まれる。

一実施形態によれば、取得画像は、Ｈ＆Ｅ染料を用いて染色された組織試料を描写する明視野顕微鏡画像である。出力画像は、バイオマーカーＦＡＰ（線維芽細胞活性化タンパク質α）を含むと予測される領域、および／またはｐａｎＣＫ抗体結合フルオロフォアを介して視覚化されたサイトケラチンを含むと予測される領域を強調表示する、シミュレートされた（「仮想」）蛍光画像である。訓練済みのＭＬＬが取得画像をＦＡＰおよび／またはサイトケラチンを含む領域を正しく強調表示する画像に変換できるようにＭＬＬを訓練するためには、取得されたＨ＆Ｅ画像に含まれる情報で十分であることが観察された。

別の実施形態によれば、取得画像は、バイオマーカーＫｉ６７に選択的に結合する第１の蛍光染料を用いて、およびバイオマーカーＣＤ８を選択的に結合するさらなる第１の蛍光染料を用いて染色された組織試料を示す蛍光顕微鏡画像である。出力画像は、バイオマーカーＦＡＰを含むと予測される領域、および／またはｐａｎＣＫ抗体結合フルオロフォアを介して視覚化されたサイトケラチンを含むと予測される領域を強調表示する、シミュレートされた（「仮想」）蛍光画像である。訓練済みのＭＬＬが取得画像をＦＡＰおよび／またはサイトケラチンを含む領域を正しく強調表示する画像に変換できるようにＭＬＬを訓練するためには、ＣＤ８およびＫｉ６７を強調表示する取得画像に含まれる情報で十分であることが観察された。

この方法は、小分類を実行するために通常必要であると考えられるすべてのバイオマーカー特異的染料を用いて試料を染色する必要がなく、細胞型を小分類することを可能にできるので、有利であり得る。たとえば、Ｈ＆Ｅ染色されたＢＦ画像により、病理学者は組織中のＴ細胞を同定することはできるが、病理学者はＴ細胞のサブクラス、たとえばキラー細胞、ヘルパー細胞、マクロファージなどを同定することはできない。より詳細なデジタル画像解析を可能にするためには、試料はさらにバイオマーカー特異的染料、たとえばＣＤ４、ＣＤ３、ＣＤ３、および他のタンパク質のようなバイオマーカーに選択的に結合する染料を用いて染色されなければならない。したがって、デジタル病理学における細胞分類のための最先端の手法に基づいて、１つまたは複数の追加の染色手順を実行する必要がある。これは、デジタル病理画像からより詳細な情報を抽出するために追加の時間および労力が必要であることを意味する。それとは反対に、出願人は、訓練済みのＭＬＬをＨ＆Ｅ染色された組織試料画像に適用することによって、上述の細胞型、キラー細胞、ヘルパー細胞、マクロファージを容易に同定できることを観察した。

さらなる実施形態によれば、第２のバイオマーカーは、複数の知られている免疫細胞亜型のうちの１つに選択的に含まれることが知られているバイオマーカーである。具体的には、第２のバイオマーカーは、ＣＤ４（すなわち、存在が、このバイオマーカーを含む細胞がＴヘルパー細胞であることを示すバイオマーカー）、またはＣＤ８（すなわち、存在が、このバイオマーカーを含む細胞が細胞傷害性Ｔ細胞であることを示すバイオマーカー）、またはＣＤ３（すべてのＴ細胞のマーカー）、またはＦｏｘｐ３（すなわち、存在が、このバイオマーカーを含む細胞が調節性Ｔ細胞であることを示すバイオマーカー）のうちの１つであり得る。ＭＬＬは、Ｈ＆Ｅ染色された取得画像に基づいて、以下の第２のバイオメーカー、ＣＤ４、ＣＤ８、ＣＤ３、Ｆｏｘｐ３のうちのいずれか１つを含むと予測される組織領域を同定するように訓練される。

さらなる実施形態によれば、ＭＬＬは、Ｈ＆Ｅ染色された取得画像に基づいて、以下の第２のバイオマーカー、ＣＤ４、ＣＤ３、およびＣＤ８のうちのいずれか１つを含むと予測される組織領域を同定するように訓練され、出力画像は、ＣＤ３、ＣＤ４またはＣＤ８バイオマーカーを含むと予測される領域のいずれかを強調表示する。

別の例によれば、ＭＬＬは、Ｈ＆Ｅ染色された取得画像に基づいて、ＦＡＰバイオマーカーを含むと予測される組織領域および１つまたは複数の腫瘍特異的サイトケラチンを含むと予測される組織領域を同定するように訓練され、出力画像は、ＦＡＰバイオマーカーを含むと予測される領域を強調表示し（したがって、ＦＡＰタンパク質を選択的に発現する間質細胞を強調表示し）、サイトカインを含むと予測される領域を１つまたは複数の異なる色で強調表示する（したがって、前記サイトケラチンを発現する腫瘍細胞を強調表示する）。

実施形態によれば、取得画像は、ピクセル強度値が第１のバイオマーカー特異的染料の量と相関する組織試料のデジタル画像である。第１のバイオマーカー特異的染料は、第１のバイオマーカーを選択的に染色するように適合される。第１のバイオマーカーは、特定の第１の細胞型に選択的に含まれる。第２のバイオマーカーは、この第１の細胞型の複数の知られている亜型のうちの１つに選択的に含まれることが知られているバイオマーカーであるか、または第１の細胞型とは異なる第２の細胞型に選択的に含まれることが知られているバイオマーカーである。

別の実施形態によれば、取得画像は非染色組織試料の蛍光画像（すなわち自己蛍光画像）であり、出力画像は、ＦＡＰのようなバイオマーカーを含むと予測される領域が強調表示される、仮想的に生成されたＨ＆Ｅ染色画像である。

別の実施形態によれば、取得画像は、複数の特定のバイオマーカー染色、たとえばＣＤ３、ＣＤ８、ＣＤ４、ｐａｎ－ＣＫ抗体標識サイトケラチン、Ｋｉ６７、および／またはＤＡＰＩによって染色された組織試料のマルチスペクトル蛍光画像であり、出力画像は、ＦＡＰまたはサイトケラチン（「ＣＫ」または「ｐａｎＣＫ」）のようなバイオマーカーを含むと予測される領域が強調表示される、仮想的に生成されたＨ＆Ｅ染色画像である。

別の実施形態によれば、取得画像は、複数の特定のバイオマーカー染色、たとえばＣＤ３、ＣＤ４、Ｋｉ６７、ＦＡＰ、ＰＤ１、および／またはＤＡＰＩで染色された組織試料のマルチスペクトル蛍光画像であり、出力画像は、ＣＤ８および／またはｐａｎＣＫおよび／またはＦｏｘｐ３および／またはＣＤ１６８および／またはＣＤ６８および／または血管マーカー（たとえばＣＤ３１）を選択的に強調表示する、仮想的に生成された蛍光組織画像である。

実施形態によれば、取得画像は、ピクセル強度値が非バイオマーカー特異的染料の量と相関する組織試料のデジタル画像である。非バイオマーカー特異的染料は、Ｈ＆Ｅ染料、ヘマトキシリン、エオシン、ゲンタ、マッソントリクローム、ゴモリトリクローム、アルシアンブルー、チールネールゼン染料、パールズプルシアン、ブルーアイアン、過ヨウ素酸シッフ（ＰＡＳ）、修飾されたＧＭＳ銀染料、カルミン、硝酸銀、グラム染料、カルカデ、ヘンナ、ウィングフルーツ抽出物、チャイナローズ抽出物、テンサイ抽出物、レッドローズ抽出物、トリクローム染料、ゴルジ染料、トルイジンブルー、蛍光染料または酵素染料を有する免疫学的標識、クリューバーバレラ染料、マロリーＣＴ染料、および前記染料のうちの２つ以上の組合せを含む群から選択される。

上述の染料はデジタル病理学で広く使用されており、比較的安価であるので、前記特徴は有利であり得る。染色組織試料を生成するには、上述の染料のいくつかを用いて組織試料を染色するための十分に確立された染色プロトコール、さらには半自動化または全自動化されたシステムも存在する。

実施形態によれば、取得画像は、ピクセル強度値が第１のバイオマーカー特異的染料の量と相関する組織試料のデジタル画像であり、第１のバイオマーカー特異的染料は蛍光染料である。

たとえば、第１のバイオマーカー特異的染料は、ヒドロキシクマリン、アミノクマリン、メトキシクマリン、ＮＢＤ、Ｒ－フィコエリトリン（ＰＥ）、ＰＥ－Ｃｙ５コンジュゲート、ＰＥ－Ｃｙ７コンジュゲート、Ｒｅｄ６１３、ＰｅｒＣＰ、ＴｒｕＲｅｄ、ＦｌｕｏｒＸ、フルオレセイン、Ｘ－ローダミン、リサミンローダミンＢ、Ａｌｅｘａ Ｆｌｕｏｒ色素、量子ドット、または任意の他の蛍光染料のうちのいずれか１つであり得る。

異なる励起スペクトルおよび発光スペクトルを有する多種多様な蛍光染料が存在するので、１つまたは複数の他の蛍光ベースのバイオマーカー特異的染料を用いて染色された組織試料の画像に基づいて第２のバイオマーカーを同定するように訓練されたＭＬＬを使用することは、有利であり得る。これらの蛍光染料はしばしば、一定のバイオマーカーを選択的に染色するために任意のタイプの一次抗体と自由に組み合わせることができ、そのためデジタル病理学において広く使用されている。染色組織試料を生成するには、上述の染料のいくつかを用いて組織試料を染色するための十分に確立された染色プロトコール、さらには半自動化または全自動化されたシステムも存在する。

たとえばがんの疑いを診断するための医療診断において、組織試料および生検の蛍光および明視野顕微鏡法撮像が広く使用されているので、非バイオマーカー特異的明視野染料を用いて、および／または１つまたは複数の蛍光染料を用いて染色された試料から生成された捕捉画像を使用することは、有利であり得る。したがって、組織切片は、これらの技法のいずれかで染色される可能性が高く、（現在は一部の染色ステップが廃止され得ることを除いて）染色プロトコールの大幅な変更なしで、病理学者が、訓練済みのＭＬＬの助けを借りて腫瘍細胞、リンパ球細胞、間質細胞、および他の型の細胞をより効率的に同定することを可能にする。

本発明の実施形態は、新薬および医学技術の研究開発において、たとえば薬物開発においては、薬物の作用様式および患者の反応を理解するために、組織試料中の様々な細胞またはコンパートメントの局在化および定量化に使用することができる。

実施形態によれば、方法は、画像取得システムによって、取得画像を取得することをさらに含む。画像取得システムは、たとえば、明視野顕微鏡、蛍光顕微鏡またはＸ線顕微鏡であり得る。明視野顕微鏡は、たとえば、１つまたは複数の明視野染料を用いて染色された組織試料、たとえばＨ＆Ｅ染色試料の画像を取得するために使用され得る。蛍光顕微鏡は、特に、たとえばフルオロフォアに直接または間接的に結合している抗体からなる１つもしくは複数のバイオマーカー特異的染料を用いて染色された組織試料の画像を取得するため、または自己蛍光画像を生成するため、または非バイオマーカー特異的蛍光染料の画像を生成するために使用され得る。

Ｘ線顕微鏡、特に透過軟Ｘ線顕微鏡もまた、組織試料のデジタル画像を取得するために使用され得る。たとえば、組織の薄切片は、包埋剤、たとえばグリコールメタクリレートポリマーに埋め込まれることが可能であり、様々な放射線量、通常は最大１０グレイの線量でＸ線を照射されることが可能である（たとえば、Ｌｏｏ ＢＷ Ｊｒら、「Ａ ｎｅｗ ｓａｍｐｌｅ ｐｒｅｐａｒａｔｉｏｎ ｍｅｔｈｏｄ ｆｏｒ ｂｉｏｌｏｇｉｃａｌ ｓｏｆｔ Ｘ－ｒａｙ ｍｉｃｒｏｓｃｏｐｙ：ｎｉｔｒｏｇｅｎ－ｂａｓｅｄ ｃｏｎｔｒａｓｔ ａｎｄ ｒａｄｉａｔｉｏｎ ｔｏｌｅｒａｎｃｅ ｐｒｏｐｅｒｔｉｅｓ ｏｆ ｇｌｙｃｏｌ ｍｅｔｈａｃｒｙｌａｔｅ－ｅｍｂｅｄｄｅｄ ａｎｄ ｓｅｃｔｉｏｎｅｄ ｔｉｓｓｕｅ」、２００１年１０月、２０４（Ｐｔ １）：６９～８６を参照のこと）。Ｘ線顕微鏡は、可視光を使用する顕微鏡よりも高い光学分解能を達成することができる。Ｘ線の波長は可視光の波長よりもはるかに短く、そのためＸ線顕微鏡の（回折によって引き起こされる）光学分解能の限界は、可視光を使用する顕微鏡の回折限界をはるかに下回る。この技法で得られた画像のコントラストは、主に組織の窒素含有量に基づく。測定値は、窒素エッジ付近のタンパク質の吸収スペクトルを得ることによって較正され得る。Ｘ線顕微鏡によって生成された、プラスチックが埋め込まれた軟組織の切片の画像は、いくつかの訓練済みのＭＬＬによって仮想的に染色された画像に変換され得る。他の実施形態によれば、取得されたＸ線画像は、「水のバンド」のＸ線画像、すなわち、主なコントラストが水分子（窒素ではない）に由来するＸ線画像である。たとえば、Ｐｆａｎｎｋｕｃｈ Ｆ．、Ｈｏｄｅｒ Ｄ．、Ｂａｕｍｇａｒｔｅｌ Ｈ．（１９８４）：「Ｐｏｓｓｉｂｌｅ Ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ Ｘ－Ｒａｙ Ｍｉｃｒｏｓｃｏｐｙ ｉｎ Ｐａｔｈｏｌｏｇｙ」ｉｎ：Ｓｃｈｍａｈｌ Ｇ．、Ｒｕｄｏｌｐｈ Ｄ．（ｅｄｓ）Ｘ－Ｒａｙ Ｍｉｃｒｏｓｃｏｐｙ．Ｓｐｒｉｎｇｅｒ Ｓｅｒｉｅｓ ｉｎ Ｏｐｔｉｃａｌ Ｓｃｉｅｎｃｅｓ、ｖｏｌ ４３．Ｓｐｒｉｎｇｅｒ、Ｂｅｒｌｉｎ、Ｈｅｉｄｅｌｂｅｒｇ、Ｐｒｉｎｔ ＩＳＢＮ ９７８－３－６６２－１３５４７－１を参照のこと。

さらに他の実施形態によれば、取得されたＸ線画像は、ゾーンプレートＸ線マイクロコープ（Ｇ．Ｓｃｈｍａｈｌ、Ｄ．Ｒｕｄｏｌｐｈ、Ｂ．Ｎｉｅｍａｎｎ、Ｏ．Ｃｈｒｉｓｔ：Ｘ－ｒａｙ ｍｉｃｒｏｓｃｏｐｙ ｏｆ ｂｉｏｌｏｇｉｃａｌ ｓｐｅｃｉｍｅｎｓ ｗｉｔｈ ａ ｚｏｎｅ ｐｌａｔｅ ｍｉｃｒｏｓｃｏｐｅ．Ａｎｎ．ＮＹ．Ａｃａｄ．Ｓｃｉ．３４２、３６８～３８６（１９８０））、または走査型ｘ線顕微鏡法（Ｂ．Ｎｉｅｍａｎｎ、Ｄ．Ｒｕｄｏｌｐｈ、Ｇ．Ｓｃｈｍａｈｌ：Ｔｈｅ Ｇｏｔｔｉｎｇｅｎ ｘ－ｒａｙ ｍｉｃｒｏｓｃｏｐｅｓ．Ｎｕｃｌｅａｒ Ｉｎｓｔｒｕｍｅｎｔｓ ａｎｄ Ｍｅｔｈｏｄｓ ２０８、３６７～３７１（１９８３））によって取得されたＸ線画像である。Ｘ線顕微鏡法は現在、たとえば、異常な状況下での細胞運動、食作用、飲作用、細胞内輸送、排出などの機能に特に注意を払いながら、生存細胞を観察するため、および細胞培養単層を観察するために使用される（たとえば、病理学的食作用阻害、リソソーム酵素の排出の欠如が病理学的顆粒球を形成する、など）。

機械学習手法Ａ（「教師あり学習」）
以下では、「教師あり学習」手法と呼ばれ得る、訓練プロセスにおいてＭＬＬを生成するための第１の手法について説明する。ただし、「教師あり」と「教師なし」の区別は流動的または段階的であると見なされる場合があるので、「教師あり」および「教師なし」という用語は、以下の場合、教師なし手法が、教師あり学習手法よりも訓練データセット内で必要となるデータが少ないことを単に意味するものとする。

実施形態によれば、方法は、訓練済みのＭＬＬを生成することをさらに含む。生成は、画像取得システムによって、複数の第１の訓練画像を取得することを含む。各第１の訓練画像は、それぞれの訓練組織試料を描写し、以下のタイプ、すなわち
－ デジタル画像のピクセル強度値が、訓練組織試料の自己蛍光シグナルもしくはＸ線誘起シグナルの強度と相関し、かつその強度を示す、訓練組織試料の前記デジタル画像、または
－ デジタル画像のピクセル強度値が、訓練組織試料中の非バイオマーカー特異的染料の強度と相関し、かつその強度を示す、訓練組織試料の前記デジタル画像、または
－ デジタル画像のピクセル強度値が、第１のバイオマーカー特異的染料の量の強度と相関し、その強度を示し、第１のバイオマーカー特異的染料が、訓練組織試料中に含まれる第１のバイオマーカーを選択的に染色するように適合された、訓練組織試料の前記デジタル画像、または
－ 一部のピクセルのピクセル強度値が非バイオマーカー特異的染料（たとえば、Ｈ＆Ｅまたはヘマトキシリン）の強度と相関し、他のピクセルのピクセル強度値が１つまたは複数の第１のバイオマーカー特異的染料（たとえば、Ｋｉ６７特異的染料）の強度と相関する、訓練組織試料の前記デジタル画像、のうちの１つである。

第１の訓練画像のピクセル強度が、ピクセル強度が非バイオマーカー特異的染料または第１のバイオマーカー特異的染料を示す画像タイプのものである場合、ＭＬＬの生成は、非バイオマーカー特異的染料または第１のバイオマーカー特異的染料を除去するために訓練組織試料を洗浄することをさらに含み得る。

訓練画像に描写された訓練組織試料中の第１のバイオマーカーは、このバイオマーカーの存在が訓練組織試料中の第１のバイオマーカー特異的染料によって実際に経験的に示されたので、「経験的訓練バイオマーカー」または「観測された訓練バイオマーカー」とも呼ばれ得る。この「経験的訓練バイオマーカー」である訓練画像でＭＬＬを訓練することによって、ＭＬＬは、この「経験的訓練バイオマーカー」の存在を、訓練済みのＭＬＬによって特定の入力画像におけるその存在が予測される「第２のバイオマーカー／対象のバイオマーカー／ＭＬＬバイオマーカー」として予測できるようになる。

ＭＬＬの生成は、訓練組織試料を第２のバイオマーカー特異的染料を用いて染色することをさらに含む。第２のバイオマーカー特異的染料は、訓練組織試料中の第２のバイオマーカーを選択的に染色するように適合される。ＭＬＬの生成は、画像取得システムによって、複数の第２の訓練画像を取得することをさらに含む。各第２の訓練画像は、第２のバイオマーカー特異的染料を用いて染色された訓練組織試料のうちのそれぞれ１つを描写する。ＭＬＬの生成は、第１の訓練画像と第２の訓練画像を対ごとに、未訓練のバージョンのＭＬＬに入力することをさらに含む。訓練画像の各対は、同じ訓練組織試料を描写し、互いにピクセルごとに位置合せされている。ＭＬＬの生成は、第２のバイオマーカーを含むと予測される訓練組織試料中の組織領域を描写する第２の訓練画像中の領域を明示的または暗黙的に同定することをＭＬＬが学習するように、ＭＬＬを訓練することをさらに含み、ＭＬＬは、予測のために、同じ訓練組織試料を描写する第１の訓練画像に含まれる強度情報を使用する。

第１の訓練画像と第２の訓練画像を対ごとに、未訓練のＭＬＬに入力することにより、第１のデジタル訓練画像の試料と同じ方法で染色された任意の入力画像を、第２の訓練画像を生成するために使用された試料のように染色された試料の画像に変換することが可能なＭＬＬを互いに生成および訓練できるように各対の画像のピクセルがピクセルごとに位置合せされるので、前記特徴は有利であり得る。ＭＬＬは、「変換された」画像のそれぞれのピクセルがどのように見える必要があるかを、第１の訓練画像の個々のピクセルごとに学習することができるので、訓練中に大量の訓練情報がＭＬＬに提供される。画像の対はピクセルごとに位置合せされるので、人間のユーザが、第２の訓練画像で第２のバイオマーカーが検出される個々の領域ごとに手動で注釈を付ける必要はない。むしろ、それぞれのシグナルが第２の訓練画像で観察される場合、このシグナルは、試料を第２のバイオマーカー特異的染料を用いて染色した後にカメラから取得された測定シグナルであるので、信頼できる正しいシグナルと見なされ得る。したがって、同じ試料から経験的に取得されたが、異なる染色プロトコールでの処理された後の２つの画像を対ごとに位置合せすることによって、訓練中に情報豊富な訓練データセットをＭＬＬに提供することが可能になる。

いくつかの実施形態では、第１の訓練画像は、複数のバイオマーカー特異的な第１の染料を用いて染色された試料を描写する画像であり、各第１の染料は、第２のバイオマーカーとは異なる第１のバイオマーカーを選択的に染色するように適合される。第２の訓練画像は、第２のバイオマーカーを選択的に結合するようにそれぞれ適合されている２つ以上の異なる第２の染料を用いて染色された訓練組織試料を描写する画像であり得る。

実施形態によれば、訓練データセットの生成は、１つまたは複数の第１の染料を用いて訓練組織試料を染色することと、第１の染料を用いて染色された試料から１つまたは複数の第１の訓練画像を取得することと、訓練試料を洗浄することと、第２のバイオマーカーを選択的に染色するように適合された１つまたは複数の第２の染料を用いて訓練試料を染色することと、１つまたは複数の第２のバイオマーカー特異的染料を用いて染色された訓練試料から第２の訓練画像を取得することとを含み得る。同じ組織試料を描写する第１の訓練画像および第２の訓練画像は、訓練中にＭＬＬに送られる画像対として使用される。好ましくは、第１の画像および第２の画像は、たとえば、試料に対するカメラの位置、分解能などに関して同一または類似の条件下で撮られる。これは、２つの画像のピクセルごとの位置合せが、試料の同じ領域を描写する画像の領域を互いに位置合せすることを保証し得る。追加として、または代替として、同じ組織領域を描写するピクセルが互いに位置合せされることを保証するために、ＭＬＬに送られた画像対の自動または手動の画像登録が実行される。

したがって、いくつかの例示的な実施形態では、訓練データセットの生成は、第１の訓練画像が取得される前に、訓練組織試料を非バイオマーカー特異的染料または第１のバイオマーカー特異的染料を用いて染色することをさらに含む。

実施形態によれば、ＭＬＬの訓練は、画像変換ルーチンを学習するようにＭＬＬを訓練することをさらに含む。画像変換ルーチンは、第１の訓練画像のそれぞれを、同じ訓練組織試料について得られた第２の訓練画像のうちの１つと同一または類似の仮想染色画像に変換するように適合される。たとえば、画像変換ルーチンは、純粋にＨ＆Ｅ染色された試料の画像を、特定のタンパク質、たとえばＦＡＰが、Ａｌｅｘａ Ｆｌｕｏｒ ４８８で染色された仮想染色画像に変換するルーチンであってもよい。別の例によれば、画像変換ルーチンは、さらに第１のバイオマーカーＣＤ３およびＣＤ８が染色されたＤＡＰＩ染色試料の画像を、Ｆｏｘｐ３タンパク質のみが、Ａｌｅｘａ Ｆｌｕｏｒ ５９４に対応する色で強調表示された仮想染色画像に変換するルーチンであってもよい。したがって、対応する訓練データセットを生成し、未訓練のＭＬＬを前記訓練データセットで訓練することによって、多数の異なる画像変換ルーチンを容易に生成することができる。

実施形態によれば、ＭＬＬは、ニューラルネットワークである。

実施形態によれば、ニューラルネットワークは、全層畳み込みネットワーク、たとえばＵ－ｎｅｔアーキテクチャを有するネットワークである。

たとえば、ネットワークは、入力がフルオロ画像または明視野画像であり、出力画像が少なくとも１つの追加のバイオマーカーを含むと予測される組織領域が強調表示されている画像である、全層畳み込みネットワークであり得る。

適切な全層畳み込みネットワークアーキテクチャの例は、Ｏｌａｆ Ｒｏｎｎｅｂｅｒｇｅｒ、Ｐｈｉｌｉｐｐ Ｆｉｓｃｈｅｒ、およびＴｈｏｍａｓ Ｂｒｏｘによる「Ｕ－Ｎｅｔ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ」、 Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ Ｄｅｐａｒｔｍｅｎｔ ａｎｄ ＢＩＯＳＳ Ｃｅｎｔｒｅ ｆｏｒ Ｂｉｏｌｏｇｉｃａｌ Ｓｉｇｎａｌｌｉｎｇ Ｓｔｕｄｉｅｓ、Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｆｒｅｉｂｕｒｇ、Ｇｅｒｍａｎｙ（ａｒＸｉｖ：１５０５．０４５９７ｖ１ ２０１５年５月１８日）で説明されている。本文書は、コーネル大学図書館ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１５０５．０４５９７からダウンロード可能である。

実施形態によれば、ニューラルネットワークは、敵対的生成ネットワーク、たとえば条件付きＧＡＮアーキテクチャを有するネットワークである。

適切な条件付きＧＡＮアーキテクチャの例は、Ｐｈｉｌｌｉｐ Ｉｓｏｌａ、Ｊｕｎ－Ｙａｎ Ｚｈｕ、Ｔｉｎｇｈｕｉ Ｚｈｏｕ、Ａｌｅｘｅｉ Ａ．Ｅｆｒｏｓによって記述された、「Ｉｍａｇｅ－ｔｏ－Ｉｍａｇｅ Ｔｒａｎｓｌａｔｉｏｎ ｗｉｔｈ Ｃｏｎｄｉｔｉｏｎａｌ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ」、Ｂｅｒｋｅｌｅｙ ＡＩ Ｒｅｓｅａｒｃｈ （ＢＡＩＲ） Ｌａｂｏｒａｔｏｒｙ、ＵＣ Ｂｅｒｋｅｌｅｙ、ａｒＸｉｖ：１６１１．０７００４ｖ２、２０１７年１１月２２日である。本文書は、コーネル大学図書館ｈｔｔｐｓ：／／ｐｈｉｌｌｉｐｉ．ｇｉｔｈｕｂ．ｉｏ／ｐｉｘ２ｐｉｘ．％２０からダウンロード可能である。

機械学習手法Ｂ（「教師なし学習」）
代替の実施形態によれば、方法は、訓練済みのＭＬＬを生成することをさらに含む。ＭＬＬの生成は、画像取得システムによって、複数の第１の訓練画像を取得することを含む。各第１の訓練画像は、それぞれの訓練組織試料を描写し、以下のタイプ、すなわち
－ デジタル画像のピクセル強度値が、訓練組織試料の自己蛍光シグナルもしくはＸ線誘起シグナルの強度と相関し、かつその強度を示す、訓練組織試料の前記デジタル画像、または
－ デジタル画像のピクセル強度値が、訓練組織試料中の非バイオマーカー特異的染料の強度と相関し、かつその強度を示す、訓練組織試料の前記デジタル画像、または
－ デジタル画像のピクセル強度値が、第１のバイオマーカー特異的染料の量の強度と相関し、その強度を示し、第１のバイオマーカー特異的染料が、訓練組織試料中に含まれる第１のバイオマーカーを選択的に染色するように適合された、訓練組織試料の前記デジタル画像、のうちの１つである。

ＭＬＬの生成は、第１の訓練画像を取得するために使用された非染色または脱染色バージョンの訓練組織試料を、第２のバイオマーカー特異的染料を用いて染色することをさらに含む。追加として、または代替として、ＭＬＬの生成は、非染色のさらなる訓練組織試料を第２のバイオマーカー特異的染料を用いて染色することを含む。第２のバイオマーカー特異的染料は、訓練組織試料中の第２のバイオマーカーを選択的に染色するように適合された染色である。

ＭＬＬの生成は、画像取得システムによって、複数の第２の訓練画像を取得することをさらに含む。各第２の訓練画像は、第２のバイオマーカー特異的染料を用いて染色された訓練組織試料のうちのそれぞれ１つを描写する。

ＭＬＬの生成は、第１の訓練画像および第２の訓練画像を、未訓練のバージョンのＭＬＬに入力することをさらに含む。同じ訓練組織試料がある場合、その同じ訓練組織試料を描写する第１の訓練画像および第２の訓練画像は、互いに割り当ても位置合せもされない。ＭＬＬの生成は、ＭＬＬが第２のバイオマーカーを含むと予測される訓練組織試料中の組織領域を描写する第２の訓練画像中の領域を明示的または暗黙的に同定することをＭＬＬが学習するように、ＭＬＬを訓練することを含む。これに関して、ＭＬＬは、第２のバイオマーカーを含む領域を予測するために、同じ訓練組織試料を描写する第１の訓練画像に含まれる強度情報を使用する。

第１の訓練画像および第２の訓練画像は、同じ試料を描写する画像対の形式で未訓練のＭＬＬに提供されず、画像は、未訓練のＭＬＬへの入力として提供されるためにピクセルごとに位置合せされる必要がないので、前記特徴は有利であり得る。したがって、訓練データセットの生成は、機械学習手法「Ａ」のための訓練データセットの生成よりも、必要とされる手作業がさらに少ない場合がある。したがって、第１の訓練画像および第２の訓練画像が同じ組織試料を描写する必要はないので、第１の画像および第２の画像は、異なる組織試料、たとえば同じ患者の異なる試料、または異なる患者の試料などを描写することが可能である。これにより、訓練データセットの生成が容易になる場合がある。さらに、第２のバイオマーカー特異的染料を用いて再染色できるようにするために、すでに染色された試料を脱染色する必要がない場合がある。むしろ、単に、１つまたは複数の第２のバイオマーカーで染色された他の試料を描写する他の画像を第２の訓練画像として使用することが可能である。したがって、ＭＬＬを生成および訓練するのに十分な大量の訓練データセットを生成するために必要な時間および労力を削減することができる。

実施形態によれば、手法「Ａ」についてすでに説明したように、第１の訓練画像は２つ以上の第１の染料を用いてそれぞれ染色された組織試料を描写し、かつ／または第２の訓練画像は２つ以上の第２の染料を用いてそれぞれ染色された組織試料を描写する。

実施形態によれば、第１の訓練画像に描写される訓練組織試料は、第２の訓練画像に描写されるさらなる訓練組織試料とは異なる組織ブロックまたは異なる患者に由来する。

第１の訓練画像のピクセル強度が、ピクセル強度が非バイオマーカー特異的染料または第１のバイオマーカー特異的染料を示す画像タイプのものである場合、訓練データセットの生成は、非バイオマーカー特異的染料または第１のバイオマーカー特異的染料を除去するために、訓練組織試料を洗浄することを含み得る。訓練データセットの生成は、第１の訓練画像が取得される前に、訓練組織試料を非バイオマーカー特異的染料または第１のバイオマーカー特異的染料を用いて染色することをさらに含み得る。第１の訓練画像のピクセル強度が、ピクセル強度が非バイオマーカー特異的染料または第１のバイオマーカー特異的染料を示す画像タイプのものである場合、非バイオマーカー特異的染料または第１のバイオマーカー特異的染料を除去するために、訓練組織試料を洗浄すること。したがって、機械学習手法Ａについて説明したように、試料を染色、洗浄、および再染色することが可能である。しかしながら、１つまたは複数のバイオマーカー特異的染料を用いて染色された他の試料の画像を第２の訓練画像として使用することも可能であるので、ここでは洗浄ステップは任意選択である。

実施形態によれば、ＭＬＬは、敵対的生成ネットワーク（「ＧＡＮ」）、具体的にはサイクル敵対的生成ネットワーク（「サイクルＧＡＮ」）またはＤＩＳＣＯ－ＧＡＮアーキテクチャである。

適切なサイクルＧＡＮネットワークアーキテクチャの例は、Ｊｕｎ－Ｙａｎ Ｚｈｕ、Ｔａｅｓｕｎｇ Ｐａｒｋ、Ｐｈｉｌｌｉｐ Ｉｓｏｌａ、およびＡｌｅｘｅｉ Ａ．Ｅｆｒｏｓによる「Ｕｎｐａｉｒｅｄ Ｉｍａｇｅ－ｔｏ－Ｉｍａｇｅ Ｔｒａｎｓｌａｔｉｏｎ ｕｓｉｎｇ Ｃｙｃｌｅ－Ｃｏｎｓｉｓｔｅｎｔ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ」、（２０１７年１１月２４日）で説明されている。本文書は、コーネル大学図書館ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１７０３．１０５９３からダウンロード可能である。

「ＤＩＳＣＯ ＧＡＮアーキテクチャ」は、異なるドメイン（オブジェクトタイプ）間の関係を発見することを学習するように適合された敵対的生成ネットワークのアーキテクチャである。適切なＤＩＳＣＯ－ＧＡＮネットワークアーキテクチャの例は、Ｔａｅｋｓｏｏ Ｋｉｍ、Ｍｏｏｎｓｕ Ｃｈａ、Ｈｙｕｎｓｏｏ Ｋｉｍ、Ｊｕｎｇ Ｋｗｏｎ Ｌｅｅ、Ｊｉｗｏｎ Ｋｉｍ：「Ｌｅａｒｎｉｎｇ ｔｏ Ｄｉｓｃｏｖｅｒ Ｃｒｏｓｓ－Ｄｏｍａｉｎ Ｒｅｌａｔｉｏｎｓ ｗｉｔｈ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ」、ａｒＸｉｖ：１７０３．０５１９２ｖ２、２０１７年５月１５日によって説明されている。本文書は、コーネル大学図書館ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１７０３．０５１９２からダウンロード可能である。

実施形態によれば、ＭＬＬの訓練は、画像変換ルーチンを学習するようにＭＬＬを訓練することをさらに含む。画像変換ルーチンは、第１の訓練画像のそれぞれを、同じ訓練組織試料について得られた第２の訓練画像のうちの１つと同一または類似の仮想染色画像に変換するように適合される。

実施形態によれば、訓練済みのＭＬＬは、画像間翻訳を実行するように適合される。画像間翻訳は、入力画像（たとえば、１つまたは複数の第１の訓練画像）が出力画像（たとえば、１つまたは複数の第２の訓練画像）に変換される画像処理動作である。変換は、位置合せされた画像または位置合せされていない画像の訓練セットで訓練されたＭＬＬによって実行される。

訓練データセットが対の画像を含まない場合、ＭＬＬは、対の例がないときに、画像をソースドメインＸからターゲットドメインＹに変換するように学習する。訓練済みのＭＬＬは、非対の画像間変換を実行するように適合される。訓練データセットに対の画像がないとき、マッピング（または画像変換）Ｇ：Ｘ→Ｙは、Ｇ（Ｘ）からの画像の分布がターゲットドメインの取得画像Ｙの分布と区別できないように学習される。言い換えると、学習プロセス中、ＭＬＬは、シミュレートされた画像Ｇ（Ｘ）とターゲットドメインの取得画像Ｙとの間のピクセル強度分布の差異が最小化されるように、出力画像Ｇ（Ｘ）を計算により生成（「シミュレート」）することを学習する。ソースドメインの画像Ｘは、「第１の訓練画像」とも呼ばれ、ターゲットドメインの取得された画像Ｙは、「第２の訓練画像」とも呼ばれ得る。このマッピングは、対ごとの画像位置合せがないときに拘束が非常に不十分であるので、実施形態は、このマッピングの学習を逆変換（または「逆マッピング」）Ｆ：Ｙ→Ｘの学習に結合し、サイクル一貫性損失を導入してＦ（Ｇ（Ｘ））≒Ｘ（およびその逆）を強制する。

ＭＬＬがサイクルＧＡＮネットワークアーキテクチャを含む実施形態のいくつかによれば、サイクルＧＡＮは、４つの機能ユニット（「ブロック」）、すなわち２つの「生成器」ＧＦ、ＧＧ、および２つの「識別器」ＤＦ／ＤＧを含む。生成器ＧＧは、上述の出力画像Ｇ（Ｘ）を生成するように適合された画像変換関数Ｇを実装および「学習」する。生成器ＧＦは、ターゲットドメインの画像からソースドメインの画像への逆変換Ｆ：Ｙ→Ｘを実装および「学習」する。識別器ＤＦは、画像が生成器ＧＧによって生成されたかどうか、またはターゲットドメインの取得された「実際の」画像であるかどうかを判定するように実装および「学習」する。識別器ＤＧは、画像が逆生成器ＦＧによって生成されたかどうか、またはソースドメインの取得された「実際の」画像であるかどうかを判定するように実装および「学習」する。これらの４つのブロックはすべて学習プロセスに参加し、学習を実行するために損失を評価および使用する。

「生成器」は、それぞれのドメインで識別器によって「取得」画像と識別される「仮想染色画像」を生成するために最適化される。

たとえば、ＭＬＬが、画像２０２、２０４に描写するような取得されたＨ＆Ｅ染色組織試料の明視野画像を、画像２０６、２０８に描写するようなヘマトキシリン（Ｈ）、Ｋｉ６７およびＣＤ３で仮想的に染色された組織試料の画像に変換するように訓練される場合、生成器ＧＧは、ヘマトキシリンを含み、バイオマーカー特異的染料を用いてそれぞれ染色されたバイオマーカーＫｉ６７およびＣＤ３を含む組織領域を強調表示する「仮想的に染色された」画像を生成するように学習する。Ｈ＆Ｅで実際に染色された組織試料の取得されたＨ＆Ｅ画像は、ソースドメインの画像を表す。Ｈ特異的染料ならびにＫｉ６７およびＣＤ３特異的染料で実際に染色された組織試料の取得画像は、ターゲットドメインの画像を表す。

訓練では、ＧＦは、Ｈ＆Ｋｉ６７およびＣＤ３染色試料の取得画像からソースドメインを表す画像を生成するように学習する。ＤＦは、生成器ＧＦによって提供された画像が、取得されたＨ＆Ｅ組織画像であるか、またはシミュレートされたＨ＆Ｅ組織画像であるかを判定するように学習する。ＤＧは、生成器ＧＧによって提供された画像がＨ＆Ｋｉ６７およびＣＤ３染色組織試料の取得画像であるか、またはＨ特異的染料ならびにＫｉ６７およびＣＤ３特異的染料で仮想的に染色されただけの組織試料を描写するシミュレートされた画像であるかを判定するように学習する。

この最適化プロセスは、識別器ＤＧ、ＤＦが、生成器ＧＧ、ＧＦによって生成された画像を「取得」画像ではなく「偽の」／「シミュレートされた」画像として正しく識別するときにイベント数を最小限に抑えるプロセスとして実装され得る。学習プロセスは、生成器ＧＧによって、ソースドメインの画像をターゲットドメインに変換し、生成器ＧＦによって、ＧＧによって提供された画像をソースドメインの画像に逆変換するという複数のサイクルを含み得る。

たとえば、第１のサイクルでは、ソースドメイン画像ＳＤＩはＧＧによってターゲットドメインの画像ＴＤＩに変換され、ＴＤＩはＧＦによって画像ＳＤＩ’に逆変換される。

第２のサイクルでは、ソースドメイン画像ＳＤＩ’はＧＧによってターゲットドメインの画像ＴＤＩ’に変換され、ＴＤＩ’はＧＦによって画像ＳＤＩ’’に逆変換される。第３のサイクルでは、ソースドメイン画像ＳＤＩ’’はＧＧによってターゲットドメインの画像ＴＤＩ’’に変換され、ＴＤＩ’’はＧＦによって画像ＳＤＩ’’’に逆変換される。終了基準に達するまで以下同様である。

生成器の各画像変換動作時に、敵対的損失が決定され、各サイクルの終わりに、サイクル損失が決定される。各生成器ＧＧ、ＧＦの損失（「生成器損失」）は、それぞれの生成器によって生成された画像を確認する識別器の「敵対的損失」（または「識別器損失」）と「サイクル損失」すなわちＧｅｎｅｒａｔｏｒ＿ｌｏｓｓ＝ａｄｖｅｒｓａｒｉａｌ＿ｌｏｓｓ＋ｗ×ｃｙｃｌｅ＿ｌｏｓｓとの加重和で構成され、ここでｗは整数である。好ましくは、ｗは、画像内の情報が変換中に失われないことを意味するサイクルの正確さの重要性を示すために、１０以上の整数である。敵対的損失は、識別器が作成する平均誤差であり、誤差は、実際の取得画像を偽の／シミュレートされた画像とする分類、または偽の画像を実際の取得画像とする分類である。「敵対的損失」は、生成器が、関連する識別器がその画像がそれぞれのドメインで経験的に取得されたかまたはシミュレートされたかを正確に予測できないように画像を「偽造する」（仮想的に生成／シミュレートする）することに失敗する尺度である。「サイクル損失」は、生成器によって１サイクルで生成された画像の差異（非類似性）の尺度、たとえば画像ＳＤＩと画像ＳＤＩ’の非類似性または画像ＳＤＩ’とＳＤＩ’’の非類似性などを表す尺度である。ＭＬＬの訓練は、両方の生成器ＧＧ、ＧＦの生成器損失を最小化することを含む。

サイクルＧＡＮベースのＭＬＬを使用することは、ＭＬＬが対の入出力例なしでドメイン間の翻訳を学習できるという利点があり得る。第１の訓練画像（または第１のカテゴリのデジタル病理画像）と第２の訓練画像（または第２のカテゴリのデジタル病理画像）との間には基礎となる一定の関係、たとえば基礎となる同じシーンに２つの異なるレンダリングがあるという関係があると想定され、その関係を学習しようとする。訓練には対の訓練画像の形式での教師はないが、ＭＬＬは、ドメインＸにおける第１の画像のセット（第１の訓練画像、または第１のカテゴリのデジタル病理画像）、およびドメインＹにおける異なるセット（第２の訓練画像、または第２のカテゴリのデジタル病理画像）というセットのレベルで、教師を活用することができる。訓練中、ＭＬＬは、

をｙと区別して分類するように訓練された敵によって、出力

、ｘ∈Ｘが画像ｙ∈Ｙと区別されないように、マッピングＧ：Ｘ→Ｙを学習する。理論的には、この目的は、経験的分布ｐ_ｄａｔａ（ｙ）に一致する

に対する出力分布を帰納することができる（一般に、そのためにはＧが確率的である必要がある）。これにより最適なＧは、ドメインＸを、Ｙと同じように分布するドメイン

に翻訳する。しかしながら、このような翻訳は、個々の入力ｘと出力ｙが有意義な方法で対になっていることを保証するものではなく、

に対する同じ分布を帰納することになるマッピングＧは無限に多数ある。さらに、実際には、敵対的目的を単独で最適化することは困難であることが判明しており、標準的な手順はしばしば、よく知られているモード崩壊の問題を招き、すべての入力画像が同じ出力画像にマッピングされ、最適化が進行しない。

したがって、本発明の実施形態によるＭＬＬの訓練は、特定の入力画像たとえばＨ＆Ｅ染色画像が、たとえばヘマトキシリン染色試料を描写する画像のように見える第２の画像に翻訳され、この場合、ＣＤ８バイオマーカーおよびＫｉ６７バイオマーカーがそれぞれのバイオマーカー特異的染料を用いて選択的に染色されており、次いで第２の画像が「仮想の」Ｈ＆Ｅ染色された第１の画像に戻るように翻訳される場合には、この「仮想の」第１の画像は、元の第１の画像と同一または非常に類似していると予想されるという意味で、翻訳が「サイクルとして一貫している」べきである、という特性を活用することを含む。数学的には、翻訳器Ｇ：Ｘ→Ｙおよび別の翻訳器Ｆ：Ｙ→Ｘが与えられた場合、ＧとＦは互いに逆関数であるべきであり、両方のマッピングは全単射であるべきである。この構造的仮定は、ＭＬＬの訓練中にマッピングＧとマッピングＦの両方を同時に訓練し、Ｆ（Ｇ（ｘ））≒ｘおよびＧ（Ｆ（ｙ））≒ｙを促進するサイクル一貫性損失を追加することによって適用される。この損失をドメインＸおよびドメインＹの敵対的損失と結合すると、非対の画像間翻訳の完全な目的関数が得られる。

さらなる態様では、本発明は、１つまたは複数のプロセッサと、揮発性または不揮発性の記憶媒体とを備える画像解析システムに関する。記憶媒体は、取得画像を含む。取得画像は、画像取得システムによって取得された画像である。取得画像は、以下のタイプ、すなわち
－ ピクセル強度値が組織試料の自己蛍光シグナルもしくはＸ線誘起シグナルの強度と相関する組織試料のデジタル画像、または
－ ピクセル強度値が非バイオマーカー特異的染料の量と相関する組織試料のデジタル画像、または
－ ピクセル強度値が、組織試料中に含まれる第１のバイオマーカーを選択的に染色するように適合された第１のバイオマーカー特異的染料の量と相関する組織試料のデジタル画像、のうちの１つである。

記憶媒体はさらに、訓練済みの機械学習ロジック（ＭＬＬ）ＭＬＬを含み、ＭＬＬは、第２のバイオマーカーを含むと予測される組織領域を明示的または暗黙的に同定するように訓練されている。好ましい実施形態によれば、ＭＬＬは、受け取った取得画像（たとえば、自己蛍光画像、Ｘ線誘起シグナルを伴う画像、非バイオマーカー特異的染料のシグナルを伴う画像、またはそれぞれ特定の第１のバイオマーカーを示し、第１のバイオマーカーがいずれも第２のマーカーではない、１つもしくは複数の第１のバイオマーカー特異的染料のシグナルを伴う画像）と同じタイプの取得画像中に第２のバイオマーカーを含むと予測される組織領域を明示的または暗示的に同定するように訓練されている。

記憶媒体は、１つまたは複数のプロセッサによって実行可能であり、かつ受け取った取得画像をＭＬＬに入力するように構成されたプログラムロジックをさらに含む。

ＭＬＬは、取得画像を出力画像に自動的に変換するように構成される。出力画像は、第２のバイオマーカーを含むと予測される組織領域を強調表示する。

さらなる態様では、本発明は、画像間翻訳方法に関する。方法は、画像解析システムによって、第１のカテゴリのデジタル病理画像を受け取ることと、訓練済みのＧＡＮネットワークである訓練された機械学習ロジック（ＭＬＬ）によって、第１のカテゴリのデジタル病理画像を第２のカテゴリのデジタル病理画像に自動的に変換することとを含む。ＧＡＮネットワークは、サイクル敵対的生成ネットワーク、または条件付きＧＡＮアーキテクチャを有するネットワーク、またはＤＩＳＣＯ－ＧＡＮアーキテクチャを有するネットワークである。

画像間翻訳方法の実施形態によれば、第１のカテゴリのデジタル病理画像は、組織試料の第１の領域を強調表示する取得画像であり、第１の領域は、自己蛍光領域、Ｘ線またはＸ線誘起シグナルを放出する領域、非バイオマーカー特異的な第１の染料を用いて染色された領域、または１つもしくは複数の特異的に染色された第１のバイオマーカーを含む領域である。第２のカテゴリのデジタル病理画像は、仮想染色画像である。仮想染色画像は、組織試料の第２の領域を強調表示し、第２の領域は、第２のバイオマーカーを含むと予測される組織試料の領域である。

いくつかの実施形態によれば、仮想染色画像は、第２のバイオマーカーを含むと予測される組織試料の領域を強調表示し、さらに特定のタイプの分子、たとえば核酸、脂質、タンパク質、または酸性分子もしくは塩基性分子を含むと予測された組織の領域を強調表示し、これにより、核に選択的に結合するヘマトキシリン、または細胞内タンパク質、ミトコンドリア、平滑面小胞体、コラーゲン、ケラチンなどの好酸球構造に選択的に結合するエオシンなどのいくつかの一般的な染料をシミュレートする。

さらに他の実施形態によれば、仮想染色画像は、第２のバイオマーカーを含むと予測される組織試料の第２の領域を強調表示せず、特定のタイプの分子を含むと予測される組織の領域を強調表示する。本明細書で使用される「組織試料」は、本発明の方法によって分析され得る細胞の３Ｄアセンブリである。３Ｄアセンブリは、生体外細胞ブロックたとえば組織試料、または生体内標本（特にＸ線画像またはＸ線誘起画像の場合）のアセンブリであり得る。たとえば、試料は、患者、動物、真菌、または植物から収集された組織から調製されてもよい。代替として、試料は、骨髄試料などの細胞含有生物学的試料、または複数の細胞から製造された細胞株もしくは細胞ブロックであってもよい。試料は、組織全体または顕微鏡スライド上のＴＭＡ切片であってもよい。特に組織マイクロアレイ（ＴＭＡ）を使用する場合、試料はスライド上に「スポット」または「ヒストスポット」として配置され得、各ヒストポットは特定の試料に対応する。スライド搭載組織試料を調製するためのこのような方法は、当技術分野でよく知られており、本発明での使用に適している。

組織試料は、特定のバイオマーカーまたは様々な型の細胞もしくは細胞区画と直接反応する色素もしくは染料、組織化学物質、または免疫組織化学物質などの、任意の試薬またはバイオマーカー指標を使用して染色されてもよい。すべての染料／試薬が適合するわけではない。したがって、使用される染料のタイプおよびそれらの適用順序は十分に考慮されるべきであるが、当業者であれば容易に決定することができる。このような組織化学物質は、透過型顕微鏡法によって検出可能な発色団、または蛍光顕微鏡法によって検出可能なフルオロフォアであってもよい。一般に、細胞含有試料は、標的の化学基と直接反応するかまたは結合する少なくとも１つの組織化学物質を含む溶液とインキュベートされてもよい。いくつかの組織化学物質は、染色を可能にするために媒染剤または金属と共インキュベートされなければならない。細胞含有試料は、対象の成分を染色する少なくとも１つの組織化学物質と、対比染料として機能し、対象の成分の外側の領域を結合する別の組織化学物質との混合物と共にインキュベートされてもよい。代替として、染色に複数のプローブの混合物を使用して、特定のプローブの位置を特定する方法を提供してもよい。細胞含有試料を染色するための手順は、当技術分野でよく知られている。Ｘ線顕微鏡に適合した染料の例には、酵素ペルオキシダーゼ（ＨＲＰまたはＡＰＥＸなど）、光増感タンパク質（ｍｉｎｉＳＯＧなど）、およびタンパク質または短鎖ペプチドに関連するＲｅＡＳＨなどの感光性色素が含まれる。

本明細書で使用される「画像解析システム」は、ユーザが画像を評価または解釈するのを支援するために、かつ／または画像中に暗黙的に含まれる生物医学的情報を抽出するために、デジタル画像、特に組織試料の画像を評価および処理するように適合されたシステム、たとえばコンピュータシステムである。たとえば、コンピュータシステムは、標準のデスクトップコンピュータシステム、または分散コンピュータシステム、たとえばクラウドシステムであり得る。

本明細書で使用される「第２のバイオマーカーを含むと予測される組織領域を明示的に同定する」という表現は、同定を実行するアルゴリズムが、第２のバイオマーカーを含むと予測された画像においてピクセルの位置を決定し、したがって同定された領域の位置を座標形式で出力することが可能であるか、または実際に出力することを意味する。それとは反対に、「暗黙的な同定」は、変換を実行するアルゴリズムが、同定された領域のピクセルを異なる領域のピクセルとは異なる方法で選択的に修正し得るが、画像中の前記領域の座標を出力することはできないことを意味する。暗黙的な同定は、取得画像の一部またはすべてのピクセルを修正できるだけであり、それにより一部の領域が強調表示された出力画像が生成され、強調表示された領域は、第２のバイオマーカーを含むと予測される領域を表す。

「Ｘ線顕微鏡」は、軟Ｘ線帯域の電磁放射を使用して物体の拡大画像を作成するように適合された顕微鏡である。Ｘ線はほとんどの物体を透過するので、Ｘ線顕微鏡観察用に物体を特別に調製する必要はない。可視光線とは異なり、Ｘ線は反射または屈折しにくく、人間の目では見えない。したがって、Ｘ線顕微鏡はフィルムを露光するか、または電荷結合素子（ＣＣＤ）検出器を使用して、検体を通過するＸ線を検出する。Ｘ線顕微鏡は、炭素原子（生細胞を構成する主成分）と酸素原子（水の主成分）による水の窓領域（波長：２．３４～４．４ｎｍ、エネルギー：２８０～５３０ｅＶ）における軟Ｘ線の吸収の違いを使用したコントラストイメージング技術である。

本明細書で使用される「デジタル病理学」という用語は、デジタルスライドから生成されたデータの情報管理のために設計されたＩＴ環境である。したがって、「デジタル病理画像」は、デジタル画像、典型的にはデジタル病理ＩＴ環境内で生成、分析、および／または修飾される、組織試料を描写する画像である。したがって、「デジタル病理学」という用語は広く解釈されるべきである。デジタル病理画像は、疾患の診断および治療に限定されず、たとえば研究目的で健康な生物体から採取された組織試料のデジタル画像も包含する。スライド全体のイメージングの出現により、デジタル病理学の分野は爆発的に拡大しており、現在、がんおよび他の重要な疾患の、さらに優れた、より迅速で、より安価な診断、予後、および予測を実現するための診断医学の最も有望な手段の１つとされている。デジタル病理学は、薬物の作用様式および腫瘍の微小環境で見られる効果を明らかにするのに役立つ可能性があるため、薬物の研究開発においても広く使用されている。画像取得システムによって取得された、または計算手段によって仮想的に生成されたデジタル画像は、たとえば、シングルチャネル画像またはマルチチャネル画像であり得る。いくつかの実施形態では、デジタル画像はｒｇｂ画像である。

本明細書で使用される「仮想染色画像」または「仮想的に染色された画像」は、組織試料、たとえば、特定の染色プロトコールに従って染色されたが、画像取得システムによって取得されていない組織試料を描写する画像のように見えるデジタル画像である。正確に言えば、「仮想的に染色された画像」は、最初から、または取得された組織試料画像に基づいて計算により生成されている。

本明細書で使用される「訓練組織試料」は、１つまたは複数の訓練画像が取得される組織試料であり、訓練画像は、ＭＬＬを訓練するために使用される訓練データセットを提供するために使用される。訓練済みのＭＬＬが、取得画像を出力画像に変換するために使用される前に、ＭＬＬは、状況の特殊性に応じて、数時間、数日、数週間、さらには数か月訓練される。したがって、訓練組織試料は、必ずしもではないが、しばしば別の供給源、たとえば取得画像に描写された組織試料と同じ種の別の生物体に由来する。

本明細書で使用される「訓練画像」は、訓練組織試料から取得された画像である。訓練画像は、バイオマーカーを選択的に染色するのに適した染料を用いて組織試料が染色されなかったが、取得された組織画像を、前記特定のバイオマーカーを強調表示する出力画像に変換するように適合された訓練済みのＭＬＬを生成するように、未訓練のバージョンのＭＬＬを訓練するために使用される。

「仮想染色画像」は、画像取得システムによって捕捉されるものではなく、計算により新規に、または組織試料の取得画像を新しい画像に変換することによって生成される画像である。仮想染色画像がある場合にその仮想染色画像が導出された取得画像に描写された組織試料はプロトコールに従って染色されなかったが、新しい画像は、前記特定のプロトコールに従って染色された組織試料の画像のように見える。したがって、ピクセルの強度値および色値が、前記特定の染色プロトコールの効果を「シミュレート」する。

本明細書で使用される第２のバイオマーカーを含むと予測される組織領域を「強調表示する」画像は、前記領域内のピクセルの強度値および／または色が、前記領域が画像内の最も明るいもしくは最も暗い領域であるか、または特定の色を有する領域であるように設定されることを意味する。好ましくは、前記領域および第２のバイオマーカーを含まないと予測される他の画像領域におけるピクセル強度および／または色値は、出力画像が、知られている組織染色プロトコールに従って１つまたは複数の知られている第２の染料を用いて染色された実際の組織試料の画像のように見えるように設定され、それぞれの第２の染料は、１つまたは複数のバイオマーカーのうちのそれぞれ１つを選択的に染色するよう適合される。「染色」という単語が示すように、第２の染料を用いて染色された領域が、著しく暗くもしくは著しく明るくなるか、または第２のバイオマーカーを含まない他の組織領域とは著しく異なる色を有することになるので、「実際の」第２の染料によって生成される色値および強度値は、人間の注意を引くのに適している。したがって、第２の染料は、特定の第２のバイオマーカーを含む組織領域を染色および「強調表示」するように適合され、ＭＬＬは、第２のバイオマーカーを含むと予測される組織試料領域を描写する画像の領域内に第２の染料のシミュレートされた染色効果を含む出力画像を生成するように訓練される。出力画像における第２の染料のこのシミュレートされた染色効果は、本明細書では、出力画像の領域の「強調表示」と呼ばれる。

本明細書で使用される「強度情報」または「ピクセル強度」という用語は、デジタル画像のピクセル上に捕捉されるか、またはデジタル画像のピクセルによって表される電磁放射（「光」）の量の尺度である。本明細書で使用される「強度情報」という用語は、追加の関連情報、たとえば特定のカラーチャネルの強度を含み得る。ＭＬＬはこの情報を使用して、デジタル画像に含まれる勾配またはテクスチャなどの派生情報を計算により抽出し、派生情報は、訓練中および／または訓練済みのＭＬＬの画像変換中にデジタル画像から暗黙的または明示的に抽出され得る。たとえば、「デジタル画像のピクセル強度値は１つまたは複数の特定の染料の強度と相関する」という表現は、色情報を含む強度情報がＭＬＬを可能にし、またユーザが前記２つ以上の染料のうちの特定の１つを用いて染色された組織試料中の領域を同定することを可能にし得るということを意味する場合がある。たとえば、ヘマトキシリンで染色された試料の領域を描写するピクセルは、青のチャネルで高いピクセル強度を有する可能性があり、ｆａｓｔＲｅｄで染色された試料の領域を描写するピクセルは、赤のチャネルで高いピクセル強度を有する可能性がある。

本明細書で使用される「敵対的生成ネットワーク」（ＧＡＮ）は、機械学習、特に教師なし機械学習で使用されるニューラルネットワークアーキテクチャの一種である。ＧＡＮは、ゼロサムゲームフレームワークで互いに競合する２つのニューラルネットワークのシステムである。ＧＡＮは、２０１４年にＩａｎ Ｇｏｏｄｆｅｌｌｏｗらによって導入された（Ｇｏｏｄｆｅｌｌｏｗ，Ｉａｎ；Ｐｏｕｇｅｔ－Ａｂａｄｉｅ，Ｊｅａｎ；Ｍｉｒｚａ，Ｍｅｈｄｉ；Ｘｕ，Ｂｉｎｇ；Ｗａｒｄｅ－Ｆａｒｌｅｙ，Ｄａｖｉｄ；Ｏｚａｉｒ，Ｓｈｅｒｊｉｌ；Ｃｏｕｒｖｉｌｌｅ，Ａａｒｏｎ；Ｂｅｎｇｉｏ，Ｊｏｓｈｕａ：「Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ」ａ．ｒＸｉｖ：１４０６．２６６１ ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１４０６．２６６１）。本発明の実施形態は、ＧＡＮタイプのＭＬＬを使用して、取得画像から、仮想的に染色された出力画像を計算により生成し、それにより仮想染色画像が典型的には人間の観察者にとって本物に見えるようになる。

本明細書で使用される「サイクルＧＡＮ」は、サイクル一貫性を満たすＧＡＮである。サイクル一貫性は、逆方向変換によって生成された入力データが基本的に元の入力データと同一または非常に類似するように、第１の変換ロジックに基づく入力データから出力データへの変換が、出力データを入力データに変換するように適合された逆方向変換ロジックによって逆転され得ることを要求する基準である。入力データは画像データであってもよい。サイクルＧＡＮは、順方向と逆方向の一貫性を必要とし、推移性を使用する方法としてサイクル一貫性損失を使用して、サイクルＧＡＮに含まれるニューラルネットワークの訓練を監督する。サイクルＧＡＮとして実装されたＭＬＬは、入力と出力の訓練画像の明確な対がないときでも、入力画像を出力画像に変換することを学習するように適合されている。２つの異なるカテゴリの訓練画像、すなわち１組の入力画像および１組の出力画像が、未訓練のＭＬＬに提供されれば十分である。訓練中、サイクルＧＡＮは、すでに上で説明したように、対の例がないときに画像をソースドメインＸからターゲットドメインＹに変換するように学習する。訓練済みのＭＬＬは、非対の画像間変換を実行するように適合されることになる。訓練データセット内に対の画像がないとき、マッピングＧ：Ｘ→Ｙは、Ｇ（Ｘ）からの画像の分布が敵対的損失を使用して分布Ｙと区別されないように学習される。ソースドメインの画像Ｘは、「第１の訓練画像」と呼ばれることもあり、ターゲットドメインの画像Ｙは、「第２の訓練画像」と呼ばれることもある。このマッピングは、対ごとの画像位置合せがないときに拘束が非常に不十分であるので、サイクルＧＡＮは、このマッピングの学習を逆マッピングＦ：Ｙ→Ｘの学習に結合し、サイクル一貫性損失を導入してＦ（Ｇ（Ｘ））≒Ｘ（およびその逆）を強制する。訓練中、ＭＬＬは、

をｙと区別して分類するように訓練された敵によって、出力

、ｘ∈Ｘが画像ｙ∈Ｙと区別されないように、マッピングＧ：Ｘ→Ｙを学習する。したがって、本発明の実施形態によるＭＬＬの訓練は、翻訳が「サイクルとして一貫している」べきであるという特性を活用することを含む。

本明細書で使用される「全層畳み込みニューラルネットワーク」は、通常はネットワークの最後にある全結合層または多層パーセプトロン（ＭＬＰ）のない畳み込み層で構成されるニューラルネットワークである。全層畳み込みネットは、すべての層においてフィルタを学習している。ネットワークの最後にある意思決定層さえも、フィルタを学習する。全層畳み込みネットは、表現を学習し、局所的な空間入力に基づいて決定を試みる。

実施形態によれば、全層畳み込みネットワークは、その活性化関数が、以下の特性を満たす特定の層内の位置（Ｉ，ｊ）で出力データベクトルｙ_ｉｊを生成する形式の層のみを有する畳み込みネットワークである。

式中、ｘ_ｉｊは特定の層内の位置（ｉ；ｊ）でのデータベクトルであり、ｙ_ｉｊは次の層内の前記位置でのデータベクトルであり、式中、ｙ_ｉｊはネットワークの活性化関数によって生成される出力で、ｋはカーネルサイズと呼ばれ、ｓはストライドまたはサブサンプリング係数であり、ｆ_ｋｓは、層タイプ、すなわち畳み込みまたは平均プーリングのための行列乗算、最大プーリングのための空間最大値、または活性化関数のための要素ごとの非線形性を決定し、他のタイプの層についても同様である。この関数形式はコンポジションの下で維持され、カーネルサイズおよびストライドは、変換規則、すなわち

に従う。

一般的なディープネットは一般的な非線形関数を計算するが、この形式の層のみを有するネットは非線形フィルタを計算し、これをディープフィルタまたは全層畳み込みネットワークと呼ぶ。ＦＣＮは本来、任意のサイズの入力で動作し、対応する（場合によってはリサンプリングされた）空間次元の出力を作成する。いくつかの全層畳み込みネットワークの特性のより詳細な説明については、Ｊｏｎａｔｈａｎ Ｌｏｎｇ、Ｅｖａｎ Ｓｈｅｌｈａｍｅｒ、およびＴｒｅｖｏｒ Ｄａｒｒｅｌｌ：「Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ」、ＣＶＰＲ ２０１５を参照のこと。

本明細書で使用される「機械学習ロジック（ＭＬＬ）」は、プログラムロジック、たとえば、訓練プロセスにおいて訓練され、訓練プロセス中に、提供された訓練データに基づいていくつかの予測タスクおよび／またはデータ処理タスクを実行するように学習した、訓練済みのニューラルネットワークまたはサポートベクターマシンなどのような１つのソフトウェアである。したがって、ＭＬＬは、プログラマによって少なくとも部分的に明示的に指定されないが、試料入力から１つまたは複数の暗黙的または明示的なモデルを構築するデータ駆動型学習プロセスにおいて暗黙的に学習および変更されるプログラムコードであり得る。機械学習は、教師あり学習または教師なし学習を採用してもよい。パターンを見出すのが難しく、しばしば十分な訓練データが利用できないので、効果的な機械学習はしばしば困難である。

本明細書で使用される「バイオマーカー」という用語は、組織型、正常または病原性のプロセス、または治療介入に対する反応の指標として、生物学的試料において測定され得る分子である。特定の実施形態では、バイオマーカーは、タンパク質、ペプチド、核酸、脂質および炭水化物からなる群から選択される。より具体的には、バイオマーカーはタンパク質であり得る。あるマーカーは特定の細胞に特有であるが、他のマーカーは特定の疾患または状態に関連するものとして識別されている。

本発明の実施形態による、第１または第２のバイオマーカーとして使用できる、知られている予後マーカーの例には、たとえばガラクトシルトランスフェラーゼＩＩ、ニューロン特異的エノラーゼ、プロトンＡＴＰａｓｅ－２、および酸性ホスファターゼなどの酵素マーカーが含まれる。ホルモンまたはホルモン受容体マーカーには、ヒト絨毛性ゴナドトロピン（ＨＣＧ）、副腎皮質刺激ホルモン、がん胎児性抗原（ＣＥＡ）、前立腺特異抗原（ＰＳＡ）、エストロゲン受容体、プロゲステロン受容体、アンドロゲン受容体、ｇＣ１ｑ－Ｒ／ｐ３３補体受容体、ＩＬ－２受容体、ｐ７５ニューロトロフィン受容体、ＰＴＨ受容体、甲状腺ホルモン受容体、およびインスリン受容体が含まれる。他のバイオマーカーには、ＦＡＰタンパク質または表面抗原分類（ＣＤ）マーカー、たとえばＤ１ａ、ＣＤ１ｂ、ＣＤ１ｃ、ＣＤ１ｄ、ＣＤ１ｅ、ＣＤ２、ＣＤ３デルタ、ＣＤ３イプシロン、ＣＤ３ガンマ、ＣＤ４、ＣＤ５、ＣＤ６、ＣＤ７、ＣＤ８アルファ、ＣＤ８ベータ、ＣＤ９、ＣＤ１０、ＣＤ１１ａ、ＣＤ１１ｂ、ＣＤ１１ｃ、ＣＤｗ１２、ＣＤ１３、ＣＤ１４、ＣＤ１５、ＣＤ１５ｓ、ＣＤ１６ａ、ＣＤ１６ｂなどが含まれ得る。他のバイオマーカーには、リンパ系マーカー、たとえばアルファ－１－アンチキモトリプシン、アルファ－１－アンチトリプシン、Ｂ細胞マーカー、ｂｃｌ－２、ｂｃｌ－６、Ｂリンパ球抗原３６ｋＤ、ＢＭ１（骨髄マーカー）、ＢＭ２（骨髄マーカー）、ガレクチン－３、グランザイムＢ、ＨＬＡクラスＩ抗原、ＨＬＡクラスＩＩ（ＤＰ）抗原、ＨＬＡクラスＩＩ（ＤＱ）抗原、ＨＬＡクラスＩＩ（ＤＲ）抗原、ヒト好中球ディフェンシン、免疫グロブリンＡ、免疫グロブリンＤ、免疫グロブリンＧ、免疫グロブリンＭ、カッパ軽鎖などが含まれ得る。他のバイオマーカーには、腫瘍マーカー、たとえば、アルファフェトプロテイン、アポリポプロテインＤ、ＢＡＧ－１（ＲＡＰ４６プロテイン）、ＣＡ１９－９（シアリルルイスａ）、ＣＡ５０（カルシノーマ関連ムチン抗原）、ＣＡ１２５（卵巣がん抗原）、ＣＡ２４２（腫瘍関連ムチン抗原）、クロモグラニンＡ、クラスタリン（アポリポプロテインＪ）、上皮膜抗原、上皮関連抗原、上皮特異抗原、上皮増殖因子受容体、エストロゲン受容体（ＥＲ）、総嚢胞性疾患流体タンパク質－１５、肝細胞特異抗原、ＨＥＲ２、ヘレグリン、ヒト胃ムチン、ヒト乳脂肪球、ＭＡＧＥ－１、マトリックスメタロプロテイナーゼ、チロシナーゼ、チロシナーゼ関連タンパク質－１、ビリン、フォンヴィレブランド因子、ＣＤ３４、ＣＤ３４、クラスＩＩ、ＣＤ５１ Ａｂ－１、ＣＤ６３、ＣＤ６９、Ｃｈｋ１、Ｃｈｋ２、クラスピンＣ－ｍｅｔ、ＣＯＸ６Ｃ、ＣＲＥＢ、サイクリンＤ１、サイトケラチン、サイトケラチン８、ＤＡＰＩ、デスミン、ＤＨＰ（１－６ジフェニル－１，３，５－ヘキサトリエン）などが含まれ得る。他のバイオマーカーには、細胞周期関連マーカー、たとえば、アポトーシスプロテアーゼ活性化因子－１、ｂｃｌ－ｗ、ｂｃｌ－ｘ、ブロモデオキシウリジン、ＣＡＫ（ｃｄｋ－活性化キナーゼ）、細胞アポトーシス感受性タンパク質（ＣＡＳ）、カスパーゼ２などが含まれ得る。他のバイオマーカーには、神経組織および腫瘍マーカー、たとえば、アルファＢクリスタリン、アルファ－インターネキシン、アルファシヌクレイン、アミロイド前駆体タンパク質、ベータアミロイド、カルビンジン、コリンアセチルトランスフェラーゼ、興奮性アミノ酸トランスポーター１、ＧＡＰ４３、グリア線維酸性タンパク質、グルタメート受容体２、ミエリン塩基性タンパク質、神経成長因子受容体（ｇｐ７５）、神経芽細胞腫マーカーなどが含まれ得る。他の細胞マーカーには、セントロメアプロテイン－Ｆ（ＣＥＮＰ－Ｆ）、ジアンチン、インボルクリン、ラミンＡ＆Ｃ［ＸＢ１０］、ＬＡＰ－７０、ムチン、核膜孔複合体タンパク質、ｐ１８０ラメラ体タンパク質、ｒａｎ、ｒ、カテプシンＤ、Ｐｓ２タンパク質、Ｈｅｒ２－ｎｅｕ、Ｐ５３、Ｓ１００、上皮マーカー抗原（ＥＭＡ）、ＴｄＴ、ＭＢ２、ＭＢ３、ＰＣＮＡ、およびＫｉ６７が含まれる。

本発明の実施形態によれば、「バイオマーカー特異的染料」は、特定のバイオマーカーに対して特定の親和性を有する染料である。たとえば、バイオマーカー特異的染料は、たとえば染料を抗体などの特定の検出系に結合することによって特定のバイオマーカーを同定するために、組織学および微量化学において一般的に使用される染料であり得る。それとは反対に、「非バイオマーカー特異的染料」は、たとえば、特定の範囲内の特定の物理的または化学的パラメータを有する、たとえば特定の極性またはｐＨ値を有する物質に対して、特定の親和性を有する染料であり得る。たとえば、エオシンは酸性色素であり、すなわち負に帯電しており、塩基性（または好酸性）構造体を赤色またはピンク色に染色する。

以下の本発明の実施形態について、図面を参照して、単なる例としてより詳細に説明する。

本発明の一実施形態による方法のフローチャートである。 取得された入力画像とそれから生成された仮想染色画像との複数の対を示す図である。 本発明の実施形態による画像解析システムのブロック図である。

図１は、本発明の実施形態による、組織試料中のバイオマーカーを同定する方法１００のフローチャートを示す。対象のバイオマーカーは、以下において「第２のバイオマーカー」とも呼ばれる。簡単にするために、本明細書に記載のほとんどの実施形態は単一の第２のバイオマーカーのみについて言及したが、本発明は同様に、対象の２つ以上の異なるバイオマーカーを含む組織試料中の領域を同定するように適合されたＭＬＬを生成および使用するために使用することができる。

第１のステップ１０２において、画像解析システムは、組織試料の取得画像を受け取る。たとえば、画像解析システムは、図３に示すようなシステム３００であり得る。以下で、図３の要素についても参照する。

組織試料３２４は、任意の組織および任意の生物体からの組織試料であり得る。具体的には、組織試料は、ヒトまたは非ヒト動物からの生検に由来する薄い組織スライスである場合があり、その薄い組織スライスは、パラフィン包埋細胞ブロックなどのスライスである場合がある。画像は、クラウドストレージサーバまたは任意の他のソースからネットワークインターフェースを介して、たとえばインターフェースまたはイントラネットを介して受け取られ得る。画像はまた、１つの記憶媒体から読み取られるか、または任意選択で画像解析システム３００に結合され得る画像取得システム３２０から直接受け取られ得る。

受け取った取得画像に描写された組織試料は、たとえば、ピクセル強度値が組織試料の自己蛍光シグナルまたはＸ線誘起シグナルの強度と相関する組織試料のデジタル画像であり得る。この場合、組織試料は完全に未染色の試料であり得るか、または非バイオマーカー特異的染料によって染色され得る。受け取った取得画像に描写された組織試料は、第１のバイオマーカーを選択的に染色する１つまたは複数の第１バイオマーカー特異的染料を用いて染色されるが、存在および局在化が経験的ではなく計算的に（「仮想的染色」）決定される第２のバイオマーカーを用いては染色されないことも可能である。取得画像に描写された組織試料が染色されているかどうかに関係なく、画像は、組織の自己蛍光シグナルが画像取得システムによって捕捉された最も顕著なシグナルである条件下で取得された。したがって、取得画像は自己蛍光シグナルといくつかの染色シグナルの混合を示す可能性があるが、これにより、最も顕著なシグナルは自己蛍光に由来すると仮定される。組織試料の自己蛍光画像は、蛍光顕微鏡によって捕捉された画像の例である。ただし、自己蛍光画像は、本発明の実施形態に使用できる唯一の可能なタイプの取得画像ではない。

たとえば、受け取った取得画像は、Ｘ線顕微鏡の画像である場合があり、取得画像のピクセル強度は、Ｘ線によって直接的または間接的に誘起されたシグナルに対応し得る。たとえば、使用される特定のタイプのＸ線顕微鏡に応じて、取得画像によって捕捉されたシグナルは、散乱Ｘ線もしくは透過Ｘ線に対応し得るか、またはＸ線が試料中の分子と相互作用することよって誘起された蛍光シグナルに対応し得る。この場合も、組織試料は、未染色試料、または１つもしくは複数の染料（ただし、対象の第２のバイオマーカーに結合するように適合されたバイオマーカー特異的染料ではない）によって染色された試料であり得る。

さらに代替として、取得画像に描写される組織試料は、ピクセル強度値が非バイオマーカー特異的染料、たとえばＨ＆Ｅ染料、ギムザ染料などの量と相関する組織試料のデジタル画像であり得る。

さらに代替として、取得画像に描写される組織試料は、１つまたは複数の第１のバイオマーカー特異的染料を用いて染色された組織試料であり得る。たとえば、組織試料は、ＣＤ３バイオマーカーに選択的に結合する第１の蛍光プローブを用いて、およびＣＤ８バイオマーカーに選択的に結合する第１の蛍光プローブを用いて染色されていてもよい。任意選択で、組織試料はＨ＆Ｅのようなバックグラウンド染料を用いて染色されていてもよい。しかしながら、バイオマーカーＦｏｘｐ３の染色を儀式的にシミュレートすることが、方法のタスクである場合、組織試料は、対象のバイオマーカー、ここではＦｏｘｐ３に選択的に結合するように適合されている染料では染色されていない。

次に、ステップ１０４において、方法は、訓練済みの機械学習ロジック－ＭＬＬ３０８を提供することを含む。ＭＬＬは、たとえば、第２のバイオマーカー、たとえばＦｏｘｐ３を含むと予測される組織領域を同定するように複数の訓練画像で訓練されたニューラルネットワークであり得る。

次に、ステップ１０６において、受け取った取得画像がＭＬＬに入力される。本発明の様々な実施形態において多くの異なるタイプの取得画像が使用され得るが、使用される取得画像のタイプが、ＭＬＬの訓練段階中に使用される画像のタイプと同一または非常に類似していることが重要である。たとえば、取得画像が自己蛍光画像である場合、ＭＬＬは、Ｘ線画像ではなく組織試料の自己蛍光画像でも訓練されている必要がある。また、受け取った取得画像が３つのマーカー特異的な第１の染料Ａ、Ｂ、およびＣを用いて染色された組織試料を描写する場合、ＭＬＬは、マーカー特異的な第１の染料ＤまたはＥではなく、Ａ、Ｂ、Ｃを用いて染色された組織試料の画像でも訓練されている必要がある。

次に、ステップ１０８において、ＭＬＬは、取得画像を出力画像に自動的に変換する。出力画像は、第２のバイオマーカーを含むと予測される組織領域を強調表示する。出力画像は、ディスプレイ３０４、たとえばＬＣＤディスプレイ上でユーザに表示されることが可能であり、またはさらなる分析のために任意の他の手段によってユーザに提供されたすべてがプリントアウトされ得る。

図２Ａは、Ｈ＆Ｅ染料を用いて染色されたヒト肝組織試料を示す取得された明視野顕微鏡入力画像２０２を示し、画像変換動作でＭＬＬによって取得画像から生成された対応する出力画像２０６を示す。

Ｈ＆Ｅ染色された組織試料画像では、核は青色／紫色、好塩基球は紫がかった赤色、細胞質は赤色、筋細胞がある場合は暗赤色、赤血球がある場合はチェリーレッド色、コラーゲンおよびミトコンドリアは淡いピンク色で染色される。

出力画像２０６は、ヘマトキシリン（Ｈ）と、ＤＡＢを含むＫｉ６７特異的茶色染料と、ｆａｓｔＲｅｄを含むＣＤ３特異的赤色染料とで染色された組織試料の明視野画像と同一にまたは紛らわしいほど類似して見える仮想染色画像である。画像２０２および画像２０６の比較によって推測され得るように、仮想染色画像では、様々な領域が取得画像よりも（特に暗い色で）強調表示される。これは、仮想染色画像では、第２のバイオマーカーＫｉ６７を含むと予測される組織領域が茶色で強調表示され、第２のバイオマーカーＣＤ３を含むと予測される組織領域が赤色で強調表示されるからである。しかながら、画像のバイオマーカー特異的領域が画像変換中にその強度を変更しただけでなく、第２のバイオマーカーを含むと予測されない組織領域に対応する背景ピクセルのピクセル強度も、変換中に変更され、出力画像２０６では取得画像２０２よりも大幅に明るくなっている。したがって、入力画像も出力画像も、実際のまたは予測されたヘマトキシリン含有核領域を青色で強調表示するが、このヘマトキシリンの青色の明るさは、両方の画像で異なる。

図２Ｂは、Ｈ＆Ｅ染料を用いて染色されたさらなるヒト肝組織試料を描写するさらなる取得された入力画像２０４を示し、画像変換動作でＭＬＬによって取得画像から生成された対応する出力画像２０８を示す。仮想染色画像２０６、２０８の両方が病理学者に提供されたが、病理学者は出力画像２０６、２０８が画像取得システムによって取得されたものではなく計算によって生成されたことを認識できなかったことに留意されたい。

図２Ｃは、Ｈ＆Ｅ染料を用いて染色された複数のヒト肝組織試料を示す取得された入力画像２１０を示し、画像変換動作でＭＬＬによって取得画像２１０から生成された対応する出力画像２１２を示す。出力画像は、Ｈと、ＦＡＰ特異的染料（紫色）と、ｐａｎＣＫ抗体に結合されたさらなる染料（黄色）とで染色された複数のヒト肝組織試料のように見え（「シミュレートし」）、ｐａｎＣＫ抗体は、ヒト表皮サイトケラチンに選択的に結合するように適合された抗体である。図２１２から導き出されるように、ＭＬＬは、人間の目には見えない入力画像２１０の画像特徴に基づいて、取得画像２１０に描写された一部の組織試料がサイトケラチンの強い発現を示すのに対して、他の試料組織は強い発現を示さないことを予測することが可能である。サイトケラチンの発現が高いこれらの組織試料および組織領域は、画像２１２に描写されるように、対象のバイオマーカーを染色するためのＭＬＬの訓練中に使用される特定の色、たとえば黄色で仮想的に染色される。

図２Ｄは、図２Ｃの入力画像２１０の（拡大後の）サブ領域である取得された入力画像２１８を示し、図２Ｃの出力画像２１２の（拡大後の）サブ領域である出力画像２１６を示す。

図２Ｅは、ヘマトキシリン（Ｈ）と、ＦＡＰ特異的紫色染料と、ｐａｎＣＫ抗体に結合された黄色染料で実際に染色された組織スライスの取得された明視野画像２１８を示す。この組織スライスは、Ｈ＆Ｅ画像２１０が取得されたのと同じ組織試料に由来する。画像２２０は、取得画像２１８の（拡大後の）サブ領域である。したがって、取得画像２１８と仮想的に染色された画像２１２との比較、および拡大後の取得画像２２０と拡大後の仮想的に染色された画像２１６との比較により、仮想的に染色された画像が、実際にそれぞれの染料を用いて染色された組織試料の画像と区別できないことが分かる。

ＦＡＰタンパク質は、ＶｅｎｔａｎａのＤＩＳＣＯＶＥＲＹ Ｐｕｒｐｌｅ Ｋｉｔで標識されたＦＡＰ特異的抗体で染色された。サイトケラチンは、ＶｅｎｔａｎａのＤＩＳＣＯＶＥＲＹ Ｙｅｌｌｏｗ Ｋｉｔで標識されたｐａｎＣＫ抗体で染色された。同様に、訓練画像を生成するために対象のバイオマーカーを染色するために、他の染料を使用することができる。

図２Ｆは、ヘマトキシリンと、ｐａｎＣＫ抗体に結合された黄色染料と、ＦＡＰ特異的抗体に結合された紫色染料とで染色されたヒト肝組織試料を描写する取得された明視野顕微鏡入力画像２２２を示す。ＦＡＰ領域は紫色の線として表示され、ヘマトキシリンで染色された細胞核は青色で表示され、ｐａｎＣＫ染色された領域は組織の間質細胞の黄色がかった環境として表示される。

図２Ｇは、ＭＬＬによって取得画像から生成された仮想的に染色された画像２２４を示し、前記取得画像は、ＤＡＢを含むＫｉ６７特異的茶色染料と、ｆａｓｔＲｅｄ（図示せず）を含むＣＤ８特異的赤色染料とで染色されたヒト肝試料を示す。仮想的に染色された画像２４４は、ヘマトキシリンと、ＦＡＰ特異的紫色染料と、ｐａｎＣＫ抗体に結合された黄色染料で実際に染色された組織試料の明視野画像と非常に似ている。

図３は、本発明の実施形態による画像解析システム３００のブロック図を示す。

画像解析システム３００は、１つまたは複数のプロセッサ３０２と、揮発性または不揮発性の記憶媒体３０６とを含む。たとえば、記憶媒体３０６は、ハードディスクドライブ、たとえば電磁ドライブまたはフラッシュドライブであり得る。記憶媒体は、磁気、半導体ベースのまたは光学式のデータストレージであり得る。記憶媒体は、一時的にのみデータを含む揮発性媒体、たとえばメインメモリであり得る。

記憶媒体は、１つまたは複数の取得画像２０２、２０４、３１６を含む。取得画像は、画像取得システムにより取得された画像である。取得画像は、たとえばコントラストを改善するため、または一部のアーティファクトを削除するために計算上修正されている場合があるが、コンピュータによって完全に生成／シミュレートされるのではなく、画像取得動作によって生成される。したがって、取得画像は「経験的画像」であり、画像変換プロセスによって生成された出力画像３１８は、基本的に計算ベースの（「仮想」）画像である。

いくつかの例示的な実施形態では、画像解析システムは、画像取得システム３２０、たとえば明視野顕微鏡、蛍光顕微鏡、またはＸ線顕微鏡に結合され、取得画像を画像取得システムから直接受け取ることができる。代替として、取得画像は、ネットワークを介して受け取られ得るか、または記憶媒体３０６から、もしくは別の記憶媒体、たとえばネットワークドライブもしくはクラウドストレージから読み取られ得る。上述の実施形態についてすでに説明したように、取得画像は、複数の異なる画像タイプ、たとえば組織試料の自己蛍光画像、またはＸ線顕微鏡もしくは明視野顕微鏡によって生成された組織試料画像のうちの１つであり得る。取得画像に描写された組織試料は、非染色であり得るか、または１つもしくは複数の非バイオマーカー特異的染料を用いて染色され得るか、または１つもしくは複数の第１のバイオマーカー特異的染料を用いて染色され得る。いずれの場合でも、受け取った取得画像に描写された組織試料は、対象の１つまたは複数の第２のバイオマーカーに選択的に結合するように適合されたバイオマーカー特異的染料を用いては染色されていない。

プログラムロジック３１０、たとえばＪａｖａ、Ｐｙｔｈｏｎ、Ｃ＃、または任意の他の適切なプログラミング言語で書かれたソフトウェアの１つは、取得画像３１６を受け取るように適合され、画像解析システム３００でインスタンス化されたＭＬＬ３０８への入力として提供される。ＭＬＬは、受け取った取得画像のタイプと同じタイプの訓練画像に基づいて、第２のバイオマーカーを含むと予測される組織領域を同定するように訓練されている。いくつかの実施形態では、画像解析システムの記憶媒体３０６は、異なるタイプ（たとえば、自己蛍光顕微鏡、明視野顕微鏡、Ｘ線顕微鏡、非バイオマーカー特異的染料および／または第１のバイオマーカー特異的染料の様々な組合せ）の訓練画像でそれぞれ訓練された複数の異なるＭＬＬ３０８を含む。したがって、多くの異なるタイプの取得画像が、画像変換の基礎として、また仮想的に染色された出力画像を生成するための基礎として使用され得る。

プログラムロジック３１０は、ＭＬＬをトリガして、入力として提供された取得画像３１６を出力画像２０６、２０８、３１８に自動的に変換する。出力画像は、具体的には、たとえば図２に描写するような仮想染色画像２０６、２０８であり得る。出力画像は、第２のバイオマーカーを含むと予測される組織領域を強調表示する。

いくつかの実施形態では、複数の異なる第１の染料が、それぞれの数の第１のバイオマーカーを特異的に染色するために使用され、それぞれの区別可能な蛍光標識で標識される。異なる第１の染料の色の違いは、特定の第１のバイオマーカーの位置を特定する方法を提供する。特定のタンパク質に選択的に結合するように適合されたフルオロフォアと抗体のコンジュゲートを調製するための複数のプロトコールは、文献に広く記載されており、ここでは例証を必要としない。様々な疾患の研究および診断に使用される１２万を超える市販の抗体が存在し、それらの抗体には、たとえば抗エストロゲン受容体抗体（乳がん）、抗プロゲステロン受容体抗体（乳がん）、抗ｐ５３抗体（複数のがん）、抗Ｈｅｒ－２／ｎｅｕ抗体（複数のがん）、抗ＥＧＦＲ抗体（上皮増殖因子、複数のがん）、抗カテプシンＤ抗体（乳がん、および他のがん）、抗Ｂｃｌ－２抗体（アポトーシス細胞）、抗Ｅ－カドヘリン抗体、および他多数が含まれる。

第１の染料または第２の染料が提供されるように一次抗体にコンジュゲートされ得るフルオロフォアには、フルオレセイン、ローダミン、テキサスレッド、Ｃｙ２、Ｃｙ３、Ｃｙ５、ＶＥＣＴＯＲレッド、ＥＬＦ（商標）（酵素標識蛍光）、Ｃｙ０、Ｃｙ０．５、Ｃｙ１、Ｃｙ１．５、Ｃｙ３、Ｃｙ３．５、Ｃｙ５、Ｃｙ７、ＦｌｕｏｒＸ、カルセイン、カルセイン－ＡＭ、ＣＲＹＰＴＯＦＬＵＯＲ（商標）、オレンジ（４２ｋＤａ）、タンジェリン（３５ｋＤａ）、ゴールド（３１ｋＤａ）、レッド（４２ｋＤａ）、クリムソン（４０ｋＤａ）、ＢＨＭＰ、ＢＨＤＭＡＰ、Ｂｒ－オレゴン、ルシファーイエロー、アレクサ色素ファミリー、Ｎ－［６－（７－ニトロベンズ－２－オキサ－１，３－ジアゾール－４－イル）－アミノ］カプロイル］（ＮＢＤ）、ＢＯＤＩＰＹ（商標）、ニフッ化ホウ素ジピロメテン、オレゴングリーン、ＭＩＴＯＴＲＡＣＫＥＲ（商標）レッド、ＤｉＯＣ７（３）、ＤｉＩＣ１８、フィコエリトリン、フィコビリタンパク質ＢＰＥ（２４０ｋＤａ）ＲＰＥ（２４０ｋＤａ）ＣＰＣ（２６４ｋＤａ）ＡＰＣ（１０４ｋＤａ）、スペクトルブルー、スペクトルアクア、スペクトルグリーン、スペクトルゴールド、スペクトルオレンジ、スペクトルレッド、ＮＡＤＨ、ＮＡＤＰＨ、ＦＡＤ、赤外（ＩＲ）色素、環状ＧＤＰリボース（ｃＧＤＰＲ）、カルコフロールホワイト、リサミン、ウンベリフェロン、チロシン、およびトリプトファンが含まれるが、これらに限定されない。多種多様な他の蛍光プローブが、Ｍｏｌｅｃｕｌａｒ Ｐｒｏｂｅｓ、Ｅｕｇｅｎｅ、Ｏｒｅｇ．ならびに他の多くの製造業者から入手可能であり、かつ／またはＭｏｌｅｃｕｌａｒ Ｐｒｏｂｅｓから入手可能なＨａｎｄｂｏｏｋ ｏｆ Ｆｌｕｏｒｅｓｃｅｎｔ Ｐｒｏｂｅｓ ａｎｄ Ｒｅｓｅａｒｃｈ Ｐｒｏｄｕｃｔｓ第８版（２００１）に広く記載されている。

たとえば、スライドに搭載された組織試料は、上記の一般的な免疫組織化学技法を利用して一次抗体の希釈系列のうちの１つを用いて染色される。得られた染色標本はそれぞれ、検出可能なシグナルを観察し、かつ染色のデジタル画像などの取得画像３１６を取得するための画像取得システム３２０を使用して画像化される。次いで、このようにして得られた画像は、以前に試料にバイオマーカー特異的染料が適用されなかった対象の第２のバイオマーカーをそれぞれ強調表示するそれぞれの出力画像３１８を生成するための、本発明の方法によって使用される。取得画像およびそれぞれの出力画像は、表示画面３０４上でユーザに表示され得る。

たとえば、画像取得システム３２０は、たとえば正立光学顕微鏡または倒立光学顕微鏡、走査型共焦点顕微鏡、カメラ、走査型またはトンネル型電子顕微鏡、走査型プローブ顕微鏡、およびイメージング赤外線検出器などの任意の光学式または非光学式画像取得システムであり得る。

一実施形態では、イメージングデバイスは、キャリアスライド３２６上に配置された組織試料３２４を照明するように構成された１つまたは複数の照明源３２８を含む顕微鏡システムである。システム３２０は、照明されたターゲット試料の拡大画像を作成するように構成された光学部品類と、拡大画像のデジタル画像を捕捉するように構成されたデジタルカメラなどの検出器３２２とをさらに含み得る。組織試料または組織マイクロアレイは、ユーザによって試料ステージ上に置かれ得る。ユーザは、対象の第１の領域が視野の中心にあり、ＣＣＤカメラによって焦点が合うように試料ステージを調整する。対物レンズは、適切な分解能に調整されるべきである。次いで、画像取得システムは、組織試料もしくはマイクロアレイ全体の画像を取得するか、または試料の一部（タイル）の画像を取得する。次いで、コンピュータは、市販のソフトウェアを使用して、組織試料またはマイクロアレイ全体の合成画像を生成することができる。

ＭＬＬ３０８は、たとえば、ゼロサムゲームフレームワークで互いに競合する２つのニューラルネットワーク３１２、３１４を含むサイクルＧＡＮとして実装され得る。訓練中、第１のネットワーク３１２は、出力画像が、第２のカテゴリの取得された訓練画像、すなわち対象の１つもしくは複数の第２のバイオマーカーを選択的に染色する１つもしくは複数の第２の染料を用いて染色された実際の訓練組織試料の取得画像であるのか、または第１のニューラルネットワーク３１２によって計算により生成された仮想染色画像であるのかを第２のネットワーク３１４が判定できないように、取得訓練画像を、対象の１つまたは複数の第２のバイオマーカーを含む組織領域を強調表示する出力訓練画像にどのように変換するかを「学習」する。それにより、第２のネットワーク３１４は、第１のニューラルネットワーク３１２によって生成された仮想染色画像を、第２のカテゴリの「実際の」取得画像とどのように区別するかを「学習」する。いくつかの実施形態では、第１のニューラルネットワークは、訓練段階中、Ｇ（Ｘ）からの（「画像変換」とも呼ばれ得る）マッピングによって生成された仮想染色画像の分布が敵対的損失を使用して分布Ｙと区別されないようにマッピングＧ：Ｘ→Ｙを学習する。第１のカテゴリの訓練画像Ｘは、「第１の訓練画像」と呼ばれることもあり、第２のカテゴリの画像Ｙは、「第２の訓練画像」と呼ばれることもある。さらに、第１のニューラルネットワークは、逆マッピング（逆画像変換と呼ばれることもある）Ｆ：Ｙ→Ｘを学習し、サイクル一貫性損失が最小化または低減されるように変換Ｇおよび逆変換Ｆを修正するためにサイクル一貫性損失の量を評価する。サイクル一貫性は、Ｆ（Ｇ（Ｘ））≒Ｘ（およびその逆）という要件である。訓練中、ＭＬＬ、具体的には第１のニューラルネットワーク３１２は、

をｙと区別して分類するように訓練された敵によって、出力

、ｘ∈Ｘが画像ｙ∈Ｙと区別されないように、マッピングＧ：Ｘ→Ｙを学習する。したがって、本発明の実施形態によるＭＬＬの訓練は、翻訳が「サイクルとして一貫している」べきであるという特性を活用することを含み、２つの相補的なニューラルネットワーク３１２、３１４の学習効果を利用する。

Claims (18)

1. 組織試料中のバイオマーカーを同定する方法（１００）であって、
   － 画像解析システム（３００）によって取得画像（２０２、２０４、３１６、２１０、２１４）を受け取ること（１０２）であって、取得画像が、画像取得システム（３２０）によって取得された画像であり、取得画像が、以下のタイプ、すなわち
   ・ピクセル強度値が組織試料の自己蛍光シグナルもしくはＸ線誘起シグナルの強度と相関する組織試料のデジタル画像、または
   ・ピクセル強度値が非バイオマーカー特異的染料の量と相関する組織試料のデジタル画像、または
   ・ピクセル強度値が第１のバイオマーカー特異的染料の量と相関し、第１のバイオマーカー特異的染料が、組織試料中に含まれる第１のバイオマーカーを選択的に染色するように適合された、組織試料のデジタル画像、
   ・一部のピクセルのピクセル強度値が非バイオマーカー特異的染料の強度と相関し、他のピクセルのピクセル強度値が１つまたは複数の第１のバイオマーカー特異的染料の強度と相関する、組織試料のデジタル画像
   のうちの１つである、取得画像を受け取ることと、
   － 訓練済みの機械学習ロジック－ＭＬＬ（３０８）を提供すること（１０４）であって、ＭＬＬが、第２のバイオマーカーを含むと予測される組織領域を同定するように訓練された、訓練済みのＭＬＬを提供することと、
   － 受け取った取得画像をＭＬＬに入力すること（１０６）と、
   － ＭＬＬによって、取得画像を出力画像（２０６、２０８、３１８、２１２、２１６）に自動的に変換すること（１０８）であって、出力画像が、第２のバイオマーカーを含むと予測される組織領域を強調表示する、取得画像を出力画像に自動的に変換することと
   を含む、方法。
2. 出力画像が仮想染色画像であり、変換が
   － 第２のバイオマーカーを含むと予測される画像領域のピクセル強度値を、それらが第２のバイオマーカー特異的染料の存在を光学的にシミュレートするように設定することであって、第２のバイオマーカー特異的染料が、第２のバイオマーカーを選択的に染色するように適合された、ピクセル強度値を設定することを含む、請求項１に記載の方法。
3. 取得画像が、ピクセル強度値が第１のバイオマーカー特異的染料の量と相関する組織試料のデジタル画像であり、第１のバイオマーカー特異的染料が、第１のバイオマーカーを選択的に染色するように適合された染料であり、
   第１のバイオマーカーが、特定の細胞型に選択的に含まれ、
   第２のバイオマーカーが、この細胞型の複数の知られている亜型のうちの１つに選択的に含まれる、請求項１または２に記載の方法。
4. 取得画像が、ピクセル強度値が第１のバイオマーカー特異的染料の量と相関する組織試料のデジタル画像であり、第１のバイオマーカー特異的染料が、第１のバイオマーカーを選択的に染色するように適合され、
   第１のバイオマーカーが、特定の第１の細胞型に選択的に含まれ、
   第２のバイオマーカーが、この第１の細胞型の複数の知られている亜型のうちの１つに選択的に含まれることが知られているバイオマーカーであるか、または第１の細胞型とは異なる第２の細胞型に選択的に含まれることが知られているバイオマーカーである、請求項１から３のいずれか一項に記載の方法。
5. 第２のバイオマーカーが、複数の知られている免疫細胞亜型のうちの１つに選択的に含まれることが知られているバイオマーカーであり、第２のバイオマーカーが、具体的にはＣＤ４またはＣＤ８またはＣＤ３またはＦＡＰまたはＦｏｘｐ３のうちの１つである、請求項１から４のいずれか一項に記載の方法。
6. 取得画像が、ピクセル強度値が非バイオマーカー特異的染料の量と相関する組織試料のデジタル画像であり、非バイオマーカー特異的染料が、アルシアンブルー、ブルーアイアン、カルカデ、カルミン、チャイナローズ抽出物、エオシン、ゲンタ、ゴルジ染料、ゴモリトリクローム、グラム染料、ヘマトキシリン、ヘンナ、Ｈ＆Ｅ染料、クリューバーバレラ染料、マロリーＣＴ染料、マッソントリクローム、修飾されたＧＭＳ銀染料、過ヨウ素酸シッフ（ＰＡＳ）、パールズプルシアン、レッドローズ抽出物、硝酸銀、テンサイ抽出物、トルイジンブルー、トリクローム染料、ウィングフルーツ抽出物、チールネールゼン染料、蛍光染料または酵素染料を有する免疫学的標識、およびそれらの組合せを含む群から選択される、請求項１から５のいずれか一項に記載の方法。
7. 取得画像が、ピクセル強度値が第１のバイオマーカー特異的染料の量と相関する組織試料のデジタル画像であり、第１のバイオマーカー特異的染料が蛍光染料である、請求項１から６のいずれか一項に記載の方法。
8. － 画像取得システムによって取得画像を取得することであって、画像取得システムが、明視野顕微鏡、蛍光顕微鏡、およびＸ線顕微鏡を含む群から選択される、取得画像を取得すること
   をさらに含む、請求項１から７のいずれか一項に記載の方法。
9. 訓練済みのＭＬＬを生成することをさらに含み、生成が、
   － 画像取得システムによって、複数の第１の訓練画像を取得することであって、各第１の訓練画像が、それぞれの訓練組織試料を描写し、以下のタイプ、すなわち
   ・デジタル画像のピクセル強度値が、訓練組織試料の自己蛍光シグナルもしくはＸ線誘起シグナルの強度と相関し、かつその強度を示す、訓練組織試料の前記デジタル画像、または
   ・デジタル画像のピクセル強度値が、訓練組織試料中の非バイオマーカー特異的染料の強度と相関し、かつその強度を示す、訓練組織試料の前記デジタル画像、または
   ・デジタル画像のピクセル強度値が、第１のバイオマーカー特異的染料の量の強度と相関し、その強度を示し、第１のバイオマーカー特異的染料が、訓練組織試料中に含まれる第１のバイオマーカーを選択的に染色するように適合された、訓練組織試料の前記デジタル画像、
   ・一部のピクセルのピクセル強度値が非バイオマーカー特異的染料の強度と相関し、他のピクセルのピクセル強度値が１つまたは複数の第１のバイオマーカー特異的染料の強度と相関する、訓練組織試料の前記デジタル画像
   のうちの１つである、複数の第１の訓練画像を取得することと、
   － 第１の訓練画像のピクセル強度が、ピクセル強度が非バイオマーカー特異的染料または第１のバイオマーカー特異的染料を示す画像タイプのものである場合、非バイオマーカー特異的染料または第１のバイオマーカー特異的染料を除去するために訓練組織試料を洗浄することと、
   － 訓練組織試料を第２のバイオマーカー特異的染料を用いて染色することであって、第２のバイオマーカー特異的染料が、訓練組織試料中の第２のバイオマーカーを選択的に染色するように適合される、訓練組織試料を染色することと、
   － 画像取得システムによって、複数の第２の訓練画像を取得することであって、各第２の訓練画像が、第２のバイオマーカー特異的染料を用いて染色された訓練組織試料のうちのそれぞれ１つを描写する、複数の第２の訓練画像を取得することと、
   － 第１の訓練画像と第２の訓練画像を対ごとに、未訓練のバージョンのＭＬＬに入力することであって、訓練画像の各対が、同じ訓練組織試料を描写し、互いにピクセルごとに位置合せされる、訓練画像を対ごとに入力することと、同じ訓練組織試料を描写する第１の訓練画像に含まれた強度情報を使用して、第２のバイオマーカーを含むと予測される訓練組織試料中の組織領域を描写する第２の訓練画像中の領域を同定することをＭＬＬが学習するように、ＭＬＬを訓練することと
   をさらに含む、請求項１から８のいずれか一項に記載の方法。
10. ＭＬＬの訓練が、画像変換ルーチンを学習するようにＭＬＬを訓練することをさらに含み、画像変換ルーチンが、第１の訓練画像のそれぞれを、同じ訓練組織試料について得られた第２の訓練画像のうちの１つと同一または類似の仮想染色画像に変換するように適合される、請求項９に記載の方法。
11. ＭＬＬが、ニューラルネットワーク、具体的には全層畳み込みネットワーク、または条件付きＧＡＮアーキテクチャを有するネットワークである、請求項１から１０のいずれか一項に記載の方法。
12. 訓練済みのＭＬＬを生成することをさらに含み、生成が、
    － 画像取得システムによって、複数の第１の訓練画像を取得することであって、各第１の訓練画像が、それぞれの訓練組織試料を描写し、以下のタイプ、すなわち
    ・デジタル画像のピクセル強度値が、訓練組織試料の自己蛍光シグナルもしくはＸ線誘起シグナルの強度と相関し、かつその強度を示す、訓練組織試料の前記デジタル画像、または
    ・デジタル画像のピクセル強度値が、訓練組織試料中の非バイオマーカー特異的染料の強度と相関し、かつその強度を示す、訓練組織試料の前記デジタル画像、または
    ・デジタル画像のピクセル強度値が、第１のバイオマーカー特異的染料の量の強度と相関し、その強度を示し、第１のバイオマーカー特異的染料が、訓練組織試料中に含まれる第１のバイオマーカーを選択的に染色するように適合された、訓練組織試料の前記デジタル画像
    のうちの１つである、複数の第１の訓練画像を取得することと、
    － 第１の訓練画像を取得するために使用された非染色または脱染色バージョンの訓練組織試料を、第２のバイオマーカー特異的染料を用いて染色すること、または非染色のさらなる訓練組織試料を第２のバイオマーカー特異的染料を用いて染色することであって、第２のバイオマーカー特異的染料が、訓練組織試料中の第２のバイオマーカーを選択的に染色するように適合される、訓練組織試料を染色することと、
    － 画像取得システムによって、複数の第２の訓練画像を取得することであって、各第２の訓練画像が、第２のバイオマーカー特異的染料を用いて染色された訓練組織試料のうちのそれぞれ１つを描写する、複数の第２の訓練画像を取得することと、
    － 第１の訓練画像および第２の訓練画像を、未訓練のバージョンのＭＬＬに入力することであって、同じ訓練組織試料がある場合、その同じ訓練組織試料を描写する第１の訓練画像および第２の訓練画像が互いに割り当ても位置合せもされない、訓練画像をＭＬＬに入力することと、同じ訓練組織試料を描写する第１の訓練画像に含まれる強度情報を使用して、ＭＬＬが第２のバイオマーカーを含むと予測される訓練組織試料中の組織領域を描写する第２の訓練画像中の領域を同定することをＭＬＬが学習するように、ＭＬＬを訓練することと
    を含む、請求項１から８のいずれか一項に記載の方法。
13. 第１の訓練画像に描写される訓練組織試料が、第２の訓練画像に描写されるさらなる訓練組織試料とは異なる組織ブロックまたは異なる患者に由来する、請求項１２に記載の方法。
14. ＭＬＬが、敵対的生成ネットワーク、具体的にはサイクル敵対的生成ネットワーク、またはＤＩＳＣＯ－ＧＡＮアーキテクチャを有するネットワークである、請求項１から８、１２から１３のいずれか一項に記載の方法。
15. ＭＬＬの訓練が、画像変換ルーチンを学習するようにＭＬＬを訓練することをさらに含み、画像変換ルーチンが、第１の訓練画像のそれぞれを、同じ訓練組織試料について得られた第２の訓練画像のうちの１つと同一または類似の仮想染色画像に変換するように適合される、請求項１２から１４のいずれか一項に記載の方法。
16. － １つまたは複数のプロセッサ（３０２）と、
    － 揮発性または不揮発性の記憶媒体（３０６）であって、記憶媒体が取得画像（２０２、２０４、３１６、２１０、２１４）を含み、取得画像が画像取得システムによって取得され、取得画像が、以下のタイプ、すなわち、
    ・ピクセル強度値が組織試料の自己蛍光シグナルもしくはＸ線誘起シグナルの強度と相関する組織試料のデジタル画像、または
    ・ピクセル強度値が非バイオマーカー特異的染料の量と相関する組織試料のデジタル画像、または
    ・ピクセル強度値が、組織試料中に含まれる第１のバイオマーカーを選択的に染色するように適合された第１のバイオマーカー特異的染料の量と相関する組織試料のデジタル画像
    のうちの１つであり、
    記憶媒体が、訓練済みの機械学習ロジック－ＭＬＬ（３０８）をさらに含み、ＭＬＬが、第２のバイオマーカーを含むと予測される組織領域を同定するように訓練された、揮発性または不揮発性の記憶媒体と、
    － １つまたは複数のプロセッサによって実行可能であり、受け取った取得画像をＭＬＬに入力する（１０４）ように構成された、プログラムロジック（３１０）であって、
    ・ＭＬＬが、取得画像を出力画像（２０６、２０８、３１８、２１２、２１６）に自動的に変換するように構成され、出力画像が、第２のバイオマーカーを含むと予測される組織領域を強調表示する、プログラムロジックと
    を含む、画像解析システム（３００）。
17. － 画像解析システム（３００）によって、第１のカテゴリのデジタル病理画像（２０２、２０４、３１６、２１０、２１４）を受け取ることと、
    － 訓練済みのＧＡＮネットワークである機械学習ロジックＭＬＬによって、第１のカテゴリのデジタル病理画像を、第２のカテゴリのデジタル病理画像（２０６、２０８、３１８、２１２、２１６）に自動的に変換することであって、ＧＡＮネットワークが、サイクル敵対的生成ネットワーク、または条件付きＧＡＮアーキテクチャを有するネットワーク、またはＤＩＳＣＯ－ＧＡＮアーキテクチャを有するネットワークである、第１のカテゴリのデジタル病理画像を自動的に変換することと
    を含む、画像間翻訳方法。
18. － 第１のカテゴリのデジタル病理画像が、組織試料の第１の領域を強調表示する取得画像であり、第１の領域が、自己蛍光領域、Ｘ線またはＸ線誘起シグナルを放出する領域、非バイオマーカー特異的な第１の染料を用いて染色された領域、または特異的に染色された第１のバイオマーカーを含む領域であり、
    － 第２のカテゴリのデジタル病理画像が仮想染色画像であり、仮想染色画像が組織試料の第２の領域を強調表示し、第２の領域が、第２のバイオマーカーを含むと予測される組織試料の領域である
    請求項１７に記載の画像間翻訳方法。
    

Images