JP7647751B2 - 情報処理装置、情報処理方法、プログラム、顕微鏡システム及び解析システム - Google Patents

Description

本開示は、情報処理装置、情報処理方法、プログラム、顕微鏡システム及び解析システムに関する。

近年、がん免疫療法などの発展から多数のサブセットに分類される免疫細胞に対し、それらの表現型である分子を複数種のマーカを用いて検出し、評価するニーズが高まっている。蛍光色素をマーカとしたマルチカラーイメージング解析方法は、それらの局在と機能との関連性を導く上で有効な手段であるとされている。

米国特許第８２０００１３号明細書

一般に、蛍光色素抗体を用いて染色された染色組織切片を蛍光観察する際、自家蛍光などが原因で抗体量を反映した蛍光強度の測定の正確性が影響されることがある。スペクトルを用いた色分離によって染色組織切片の撮像画像から自家蛍光成分を除去した場合においても、この色分離により得られた染色蛍光画像に残存する自家蛍光成分を完全になくすことは不可能であった。

このように、染色蛍光画像に自家蛍光成分が残存すると、染色蛍光画像中の解析対象領域に分布する色素抗体量の定量化に支障をきたすなどの不具合が生じ、蛍光観察における解析精度向上の妨げとなっていた。

そこで本開示は、上記事情に鑑みてなされたものであり、蛍光観察における解析精度を向上することを可能にする情報処理装置、情報処理方法、プログラム、顕微鏡システム及び解析システムを提案する。

本開示の実施形態に係る情報処理装置は、１以上の蛍光色素で標識された標本より観測された蛍光画像を１以上の蛍光成分を含む蛍光成分画像と１以上の自家蛍光成分を含む自家蛍光成分画像とに分離する分離部と、前記標本に含まれる１以上の自家蛍光物質それぞれの参照スペクトルと前記自家蛍光成分画像とを用いて自家蛍光成分補正画像を生成する生成部と、前記自家蛍光成分補正画像に基づいて前記蛍光成分画像を処理する処理部とを備える。

第１の実施形態に係る情報処理システムの構成例を示すブロック図である。 蛍光信号取得部によって取得された蛍光スペクトルの具体例を示す図である。 非負値行列因子分解の概要を説明する図である。 クラスタリングの概要を説明する図である。 第１の実施形態に係る情報処理システムが顕微鏡システムとして実現される場合における顕微鏡システムの構成例を示すブロック図である。 第１の実施形態に係る情報処理システムの基本動作例を示すフローチャートである。 第１の実施形態に係る疑似自家蛍光成分画像を生成する際の動作例を示すフローチャートである。 図６のステップＳ１０３で生成される自家蛍光成分画像の一例を示す図である。 図６のステップＳ１０２で取得される標本情報に含まれる自家蛍光参照スペクトルの一例を示す図である。 図７のステップＳ１１２を説明するための図である。 図７のステップＳ１１４を説明するための図である。 第１の実施形態の比較例に係る解析対象領域の抽出処理及びその解析を説明するためのフローチャートである。 図１２に示す比較例に係る解析対象領域の抽出処理及びその解析を説明するための模式図である。 第１の実施形態に係る解析対象領域の抽出処理及びその解析を説明するためのフローチャートである。 図１４に示す本実施形態に係る解析対象領域の抽出処理及びその解析を説明するための模式図である。 第２の実施形態に係る解析対象領域の抽出処理及びその解析を説明するためのフローチャートである。 図１６に示す本実施形態に係る解析対象領域の抽出処理及びその解析を説明するための模式図である。 第３の実施形態に係るスペクトル強度比画像の生成処理及びその解析を説明するためのフローチャートである。 第３の実施形態に係る第１の生成手法を説明するための図である。 第３の実施形態に係る第２の生成手法を説明するための図である。 第４の実施形態に係る機械学習を用いた蛍光成分画像の生成処理を説明するためのフローチャートである。 図２１に示す本実施形態に係る機械学習を用いた蛍光成分画像の生成処理を説明するための模式図である。 実施形態に係る情報処理システムの測定系の一例を示す図である。 実施形態に係る１画素における蛍光分子数（又は抗体数）を算出する方法を説明するための図である。 各実施形態及び変形例に係る情報処理装置のハードウェア構成例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
０．はじめに
１．第１の実施形態
１．１．構成例
１．２．顕微鏡システムへの応用例
１．３．最小二乗法について
１．４．非負値行列因子分解（ＮＭＦ）について
１．５．第１実施形態の特徴的な構成
１．５．１．基本動作例
１．５．２．自家蛍光成分補正画像生成フロー例
１．６．解析対象領域の抽出及び解析
１．７．作用・効果
２．第２実施形態
２．１．解析対象領域の抽出及びその解析
２．２．作用・効果
３．第３実施形態
３．１．スペクトル強度比画像の生成及びその解析
３．２．スペクトル強度画像の生成手法
３．２．１ 第１の生成手法
３．２．２ 第２の生成手法
３．３．作用・効果
４．第４実施形態
４．１．機械学習を用いた蛍光成分画像の生成
４．２．作用・効果
５．測定系の構成例
６．蛍光分子数（又は抗体数）の算出方法
７．ハードウェア構成例

＜０．はじめに＞
近年、がん免疫療法などの発展から多数のサブセットに分類される免疫細胞に対し、それらの表現型である分子を複数種のマーカを用いて検出し、評価するニーズが高まっている。蛍光色素をマーカとしたマルチカラーイメージング解析方法は、それらの局在と機能との関連性を導く上で有効な手段であるとされており、以下の実施形態においても採用されている。

以下の実施形態は、免疫組織化学的に染色した病理標本切片を複数波長の励起光で励起し、蛍光分離するイメージング装置にて撮像して得られたマルチチャネル画像（画素数×波長チャネル（ＣＨ））に対して色分離処理を行った後の画像処理に関するものである。

なお、本開示におけるマルチチャネル画像には、後述する染色標本画像、蛍光成分画像、蛍光成分補正画像、自家蛍光成分画像、自家蛍光成分補正画像など、複数の波長チャネル（ただし、単一の波長チャネルを除外するものではない）の画像データから構成されるデータキューブ構造の種々の画像が含まれ得る。したがって、蛍光成分画像、蛍光成分補正画像、自家蛍光成分画像、及び、自家蛍光成分補正画像は、それぞれ単一の波長チャネルの蛍光成分又は自家蛍光成分の画像データに限られず、複数の波長チャネルの蛍光成分又は自家蛍光成分で構成されたスペクトル画像であってもよい。また、本説明における蛍光成分及び自家蛍光成分とは、イメージング装置にて撮像して得られたマルチチャネル画像における蛍光又は自家蛍光の波長成分を意味している。

上述したように、蛍光色素抗体を用いて染色された染色組織切片を蛍光観察する際、自家蛍光などが原因で抗体量を反映した蛍光強度の測定の正確性が影響されることがある。また、染色組織切片（以下、染色切片ともいう）の撮像画像（以下、染色標本画像という）からスペクトルを用いた色分離によって自家蛍光物質由来のスペクトル情報（以下、自家蛍光成分又は自家蛍光スペクトルという）を除去する処理（以下、色分離処理という）を実行した場合においても、色分離処理後の染色標本画像（蛍光成分画像という）に含まれる自家蛍光成分を完全になくすことは不可能であり、染色標本画像中の解析対象領域に分布する色素抗体量の定量化に支障をきたすなどの不具合を生じさせる要因となっていた。

そこで以下の実施形態では、これらの課題を解決するため、染色切片の色分離画像（各蛍光成分及び／又は各自家蛍光成分のスペクトル画像。すなわち、蛍光成分画像及び／又は自家蛍光成分画像）から擬似的な自家蛍光成分画像（自家蛍光成分補正画像）を生成し、これを用いる画像処理に関して、以下の特徴を有する方法を提案する。

第１の特徴として、以下の実施形態では、色分離処理によって染色標本画像から抽出された自家蛍光成分と、色分離処理により得られる蛍光物質由来のスペクトル情報（蛍光成分。蛍光スペクトルともいう）より構成される蛍光成分画像（抗体数画像ともいう）から、自家蛍光のスペクトル強度を算出した画像（自家蛍光成分補正画像）を生成する。このような自家蛍光成分補正画像を用いることで、非染色切片を撮像することで取得した自家蛍光成分画像を別途取得する手間の削減や、位置情報に紐づけられたスペクトル情報を用いることによる定量性の向上などの効果を奏することが可能となる。

第２の特徴として、染色標本画像から生成した自家蛍光成分補正画像を用いて、染色標本画像の輝度閾値処理を行う。これにより、自家蛍光とは区別される蛍光物質（染色蛍光色素ともいう）の特異的なシグナルを有する領域を抽出することが可能となる。

第３の特徴として、蛍光物質についても同様に、色分離処理により得られる蛍光物質由来の蛍光成分と蛍光成分画像とから、蛍光のスペクトル強度を算出した画像（蛍光成分補正画像）を生成し、蛍光物質由来のスペクトル強度と自家蛍光物質由来のスペクトル強度との相対比を算出する。これにより、色分離精度や設計した蛍光色素抗体パネルを評価することも可能となる。

なお、上述した特許文献１には、ピクセル輝度値の差分をもとに閾値を設定し対象を抽出する手法が提案されているが、輝度値の差分と分子の発現の有無との間に相関があるとはいえないため、このような手法による対象の抽出は適切でない可能性がある。これに対し、以下の実施形態では、輝度値の差分と分子の発現の有無との間に相関が認められる自家蛍光成分補正画像を用いて対象領域を抽出するため、適切に対象領域を抽出することが可能となる。

また、in silico labeling技術（Eric M． Christiansen et al., “In Silico Labeling: Predicting Fluorescent Labels in Unlabeled Images”, Cell, １７３, ７９２－８０３, April １９, ２０１８）では、深層学習を活用して透過画像（自家蛍光成分画像）から対象となる細胞領域を予測し、高精度な蛍光ラベル画像を再現することが可能である。しかし、本技術では、学習データとして実際に蛍光ラベルした画像も入力画像として一緒に用意する必要があるが、２つの入力画像（自家蛍光成分画像と蛍光ラベル画像）として同一視野のものを用意することはできず、連続切片のものを用いることになるため、両入力画像間に空間的な差異が生じてしまう。これに対し、以下の実施形態では染色切片を撮像することで取得した染色標本画像から擬似的な自家蛍光成分画像を生成するため、同一の母集団のデータを用いて定量性を議論することができる。

さらに、同一組織ブロックの連続切片を用いて領域指定を行うことも考えられるが、連続切片を用いた場合でも光軸方向に数μｍ程度ずれた領域を撮影した画像を用いることになるため、非染色切片と染色切片との間で細胞や自家蛍光物質の分布形態や信号強度などの点で空間的な差異による影響を受ける可能性がある。これに対し、以下の実施形態では、染色切片そのものから抽出される自家蛍光物質のスペクトル情報をもとに自家蛍光成分補正画像を生成するため、自家蛍光物質などのばらつきが空間的に同一な条件で染色標本画像を定量化することが可能となる。

＜１．第１の実施形態＞
まず、本開示に係る第１の実施形態について説明する。

（１．１．構成例）
図１を参照して、本実施形態に係る情報処理システムの構成例について説明する。図１に示すように、本実施形態に係る情報処理システムは、情報処理装置１００と、データベース２００と、を備え、情報処理システムへの入力として、蛍光試薬１０、標本２０と、蛍光染色標本３０と、が存在する。

（蛍光試薬１０）
蛍光試薬１０は、標本２０の染色に使用される薬品である。蛍光試薬１０は、例えば、蛍光抗体（直接標識に使用される一次抗体、または間接標識に使用される二次抗体が含まれる）、蛍光プローブ、または核染色試薬等であるが、蛍光試薬１０の種類はこれらに限定されない。また、蛍光試薬１０は、蛍光試薬１０（または蛍光試薬１０の製造ロット）を識別可能な識別情報（以降「試薬識別情報１１」と呼称する）を付されて管理される。試薬識別情報１１は、例えばバーコード情報等（一次元バーコード情報や二次元バーコード情報等）であるが、これに限定されない。蛍光試薬１０は、同一の製品であっても、製造方法や抗体が取得された細胞の状態等に応じて製造ロット毎にその性質が異なる。例えば、蛍光試薬１０において、製造ロット毎に蛍光の波長スペクトル（蛍光スペクトル）、量子収率、または蛍光標識率等が異なる。そこで、本実施形態に係る情報処理システムにおいて、蛍光試薬１０は、試薬識別情報１１を付されることによって製造ロット毎に管理される。これによって、情報処理装置１００は、製造ロット毎に現れる僅かな性質の違いも考慮した上で蛍光分離を行うことができる。

（標本２０）
標本２０は、人体から採取された検体または組織サンプルから病理診断などを目的に作製されたものである。標本２０は、組織切片や細胞や微粒子でもよく、標本２０について、使用される組織（例えば臓器等）の種類、対象となる疾病の種類、対象者の属性（例えば、年齢、性別、血液型、または人種等）、または対象者の生活習慣（例えば、食生活、運動習慣、または喫煙習慣等）は特に限定されない。なお、組織切片には、例えば、染色される組織切片（以下、単に切片ともいう）の染色前の切片、染色された切片に隣接する切片、同一ブロック（染色切片と同一の場所からサンプリングされたもの）における染色切片と異なる切片、又は同一組織における異なるブロック（染色切片と異なる場所からサンプリングされたもの）における切片、異なる患者から採取した切片などが含まれ得る。また、標本２０は、各標本２０を識別可能な識別情報（以降、「標本識別情報２１」と呼称する）を付されて管理される。標本識別情報２１は、試薬識別情報１１と同様に、例えばバーコード情報等（一次元バーコード情報や二次元バーコード情報等）であるが、これに限定されない。標本２０は、使用される組織の種類、対象となる疾病の種類、対象者の属性、または対象者の生活習慣等に応じてその性質が異なる。例えば、標本２０において、使用される組織の種類等に応じて計測チャネルまたは自家蛍光の波長スペクトル（自家蛍光スペクトル）等が異なる。そこで、本実施形態に係る情報処理システムにおいて、標本２０は、標本識別情報２１を付されることによって個々に管理される。これによって、情報処理装置１００は、標本２０毎に現れる僅かな性質の違いも考慮した上で蛍光分離を行うことができる。

（蛍光染色標本３０）
蛍光染色標本３０は、標本２０が蛍光試薬１０により染色されることで作成されたものである。本実施形態において、蛍光染色標本３０は、標本２０が１以上の蛍光試薬１０によって染色されることを想定しているところ、染色に用いられる蛍光試薬１０の数は特に限定されない。また、染色方法は、標本２０および蛍光試薬１０それぞれの組み合わせ等によって決まり、特に限定されるものではない。

（情報処理装置１００）
情報処理装置１００は、図１に示すように、取得部１１０と、保存部１２０と、処理部１３０と、表示部１４０と、制御部１５０と、操作部１６０と、を備える。情報処理装置１００は、例えば蛍光顕微鏡等であり得るところ、必ずしもこれに限定されず種々の装置を含んでもよい。例えば、情報処理装置１００は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等であってもよい。

（取得部１１０）
取得部１１０は、情報処理装置１００の各種処理に使用される情報を取得する構成である。図１に示すように、取得部１１０は、情報取得部１１１と、蛍光信号取得部１１２と、を備える。

（情報取得部１１１）
情報取得部１１１は、蛍光試薬１０に関する情報（以降、「試薬情報」と呼称する）や、標本２０に関する情報（以降、「標本情報」と呼称する）を取得する構成である。より具体的には、情報取得部１１１は、蛍光染色標本３０の生成に使用された蛍光試薬１０に付された試薬識別情報１１、および標本２０に付された標本識別情報２１を取得する。例えば、情報取得部１１１は、バーコードリーダー等を用いて試薬識別情報１１および標本識別情報２１を取得する。そして、情報取得部１１１は、試薬識別情報１１に基づいて試薬情報を、標本識別情報２１に基づいて標本情報をそれぞれデータベース２００から取得する。情報取得部１１１は、取得したこれらの情報を後述する情報保存部１２１に保存する。

ここで、本実施形態において、標本情報には、標本２０における１以上の自家蛍光物質の自家蛍光スペクトル（以下、自家蛍光参照スペクトルともいう）に関する情報が含まれ、試薬情報には、蛍光染色標本３０における蛍光物質の蛍光スペクトル（以下、蛍光参照スペクトルともいう）に関する情報が含まれるとする。なお、自家蛍光参照スペクトルと蛍光参照スペクトルとをそれぞれ若しくはまとめて「参照スペクトル」とも呼称する。

（蛍光信号取得部１１２）
蛍光信号取得部１１２は、蛍光染色標本３０（標本２０が蛍光試薬１０により染色されることで作成されたもの）に対して、波長が互いに異なる複数の励起光が照射されたときの、複数の励起光それぞれに対応する複数の蛍光信号を取得する構成である。より具体的には、蛍光信号取得部１１２は、光を受光し、その受光量に応じた検出信号を出力することで、当該検出信号に基づいて蛍光染色標本３０の蛍光スペクトルで構成されたデータキューブ（以下、染色標本画像という）を取得する。ここで、励起光の内容（励起波長や強度等を含む）は試薬情報等（換言すると、蛍光試薬１０に関する情報等）に基づいて決定される。なお、ここでいう蛍光信号は蛍光に由来する信号であれば特に限定されず、蛍光スペクトルはその単なる一例である。本説明では、蛍光信号が蛍光スペクトルである場合を例示する。

図２のＡ～Ｄは、蛍光信号取得部１１２によって取得される蛍光スペクトルの具体例である。図２のＡ～Ｄでは蛍光染色標本３０に、ＤＡＰＩ、ＣＫ／ＡＦ４８８、ＰｇＲ／ＡＦ５９４、およびＥＲ／ＡＦ６４７という４種の蛍光物質が含まれ、それぞれの励起波長として３９２［ｎｍ］（図２のＡ）、４７０［ｎｍ］（図２のＢ）、５４９［ｎｍ］（図２のＣ）、６２８［ｎｍ］（図２のＤ）を有する励起光が照射された場合に取得された蛍光スペクトルの具体例が示されている。なお、蛍光発光のためにエネルギーが放出されることにより、蛍光波長は励起波長よりも長波長側にシフトしている点に留意されたい（ストークスシフト）。また、蛍光染色標本３０に含まれる蛍光物質、及び照射される励起光の励起波長は上記に限定されない。蛍光信号取得部１１２は、取得した蛍光スペクトルよりなる染色標本画像を後述する蛍光信号保存部１２２に保存する。

（保存部１２０）
保存部１２０は、情報処理装置１００の各種処理に使用される情報、または各種処理によって出力された情報を保存する構成である。図１に示すように、保存部１２０は、情報保存部１２１と、蛍光信号保存部１２２と、を備える。

（情報保存部１２１）
情報保存部１２１は、情報取得部１１１によって取得された試薬情報および標本情報を保存する構成である。

（蛍光信号保存部１２２）
蛍光信号保存部１２２は、蛍光信号取得部１１２によって取得された蛍光染色標本３０の蛍光信号を保存する構成である。

（処理部１３０）
処理部１３０は、色分離処理を含む各種処理を行う構成である。図１に示すように、処理部１３０は、分離処理部１３２と、画像生成部１３３と、を備える。

（分離処理部１３２）
分離処理部１３２は、染色標本画像を蛍光物質毎の蛍光スペクトルに分離する構成であり、後述するように、入力された染色標本画像から自家蛍光スペクトルを抽出し、抽出した自家蛍光スペクトルを用いて自家蛍光成分補正画像を生成する（生成部）。そして、分離処理部１３２は、生成した自家蛍光成分補正画像を用いて染色標本画像の色分離処理を実行する（分離部）。この分離処理部１３２は、請求の範囲における生成部、分離部、補正部、画像生成部としての機能を果たし得る。

色分離処理には、例えば、最小二乗法（ＬＳＭ）や重み付き最小二乗法（ＷＬＳＭ）等が用いられてもよい。また、自家蛍光スペクトル及び／又は蛍光スペクトルの抽出には、例えば、非負値行列因子分解（ＮＭＦ）や特異値分解（ＳＶＤ）や主成分分析（ＰＣＡ）等が用いられてもよい。

（操作部１６０）
操作部１６０は、実施者からの操作入力を受ける構成である。より具体的には、操作部１６０は、キーボード、マウス、ボタン、タッチパネル、またはマイクロフォン等の各種入力手段を備えており、実施者はこれらの入力手段を操作することで情報処理装置１００に対して様々な入力を行うことができる。操作部１６０を介して行われた操作入力に関する情報は制御部１５０へ提供される。

（データベース２００）
データベース２００は、試薬情報および標本情報等を管理する装置である。より具体的に説明すると、データベース２００は、試薬識別情報１１と試薬情報、標本識別情報２１と標本情報をそれぞれ紐づけて管理する。これによって、情報取得部１１１は、蛍光試薬１０の試薬識別情報１１に基づいて試薬情報を、標本２０の標本識別情報２１に基づいて標本情報をデータベース２００から取得することができる。

データベース２００が管理する試薬情報は、蛍光試薬１０が有する蛍光物質固有の計測チャネルおよび蛍光参照スペクトルを含む情報であることを想定している（必ずしもこれらに限定されない）。「計測チャネル」とは、蛍光試薬１０に含まれる蛍光物質を示す概念である。蛍光物質の数は蛍光試薬１０によって様々であるため、計測チャネルは、試薬情報として各蛍光試薬１０に紐づけられて管理されている。また、試薬情報に含まれる蛍光参照スペクトルとは、上記のとおり、計測チャネルに含まれる蛍光物質それぞれの蛍光スペクトルある。

また、データベース２００が管理する標本情報は、標本２０が有する自家蛍光物質固有の計測チャネルおよび自家蛍光参照スペクトルを含む情報であることを想定している（必ずしもこれらに限定されない）。「計測チャネル」とは、標本２０に含まれる自家蛍光物質を示す概念であり、図８の例では、Ｈｅｍｏｇｌｏｂｉｎ、ＡｒｃｈｉｄｏｎｉｃＡｃｉｄ、Ｃａｔａｌａｓｅ、Ｃｏｌｌａｇｅｎ、ＦＡＤ、ＮＡＤＰＨ、およびＰｒｏＬｏｎｇＤｉａｍｏｎｄを指す概念である。自家蛍光物質の数は標本２０によって様々であるため、計測チャネルは、標本情報として各標本２０に紐づけられて管理されている。また、標本情報に含まれる自家蛍光参照スペクトルとは、上記のとおり、計測チャネルに含まれる自家蛍光物質それぞれの自家蛍光スペクトルである。なお、データベース２００で管理される情報は必ずしも上記に限定されない。

以上、本実施形態に係る情報処理システムの構成例について説明した。なお、図１を参照して説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理システムの構成は係る例に限定されない。例えば、情報処理装置１００は、図１に示す構成の全てを必ずしも備えなくてもよいし、図１に示されていない構成を備えてもよい。

ここで、本実施形態に係る情報処理システムは、蛍光スペクトルを取得する撮像装置（例えば、スキャナ等を含む）と、蛍光スペクトルを用いて処理を行う情報処理装置と、を備えていてもよい。この場合、図１に示した蛍光信号取得部１１２は撮像装置によって実現され得、その他の構成は情報処理装置によって実現され得る。また、本実施形態に係る情報処理システムは、蛍光スペクトルを取得する撮像装置と、蛍光スペクトルを用いる処理に使われるソフトウェアと、を備えていてもよい。換言すると、当該ソフトウェアを記憶したり実行したりする物理構成（例えば、メモリやプロセッサ等）が情報処理システムに備えられていなくてもよい。この場合、図１に示した蛍光信号取得部１１２は撮像装置によって実現され得、その他の構成は当該ソフトウェアが実行される情報処理装置によって実現され得る。そして、ソフトウェアは、ネットワークを介して（例えば、ウェブサイトやクラウドサーバ等から）情報処理装置に提供されたり、任意の記憶媒体（例えば、ディスク等）を介して情報処理装置に提供されたりする。また、当該ソフトウェアが実行される情報処理装置は、各種サーバ（例えば、クラウドサーバ等）、汎用コンピュータ、ＰＣ、またはタブレットＰＣ等であり得る。なお、ソフトウェアが情報処理装置に提供される方法、および情報処理装置の種類は上記に限定されない。また、本実施形態に係る情報処理システムの構成は必ずしも上記に限定されず、使用時の技術水準に基づいて、いわゆる当業者が想到可能な構成が適用され得る点に留意されたい。

（１．２．顕微鏡システムへの応用例）
上記で説明してきた情報処理システムは、例えば顕微鏡システムとして実現されてもよい。そこで、続いて図５を参照して、本実施形態に係る情報処理システムが顕微鏡システムとして実現される場合における顕微鏡システムの構成例について説明する。

図５に示すように、本実施形態に係る顕微鏡システムは、顕微鏡１０１と、データ処理部１０７と、を備える。

顕微鏡１０１は、ステージ１０２と、光学系１０３と、光源１０４と、ステージ駆動部１０５と、光源駆動部１０６と、蛍光信号取得部１１２と、を備える。

ステージ１０２は、蛍光染色標本３０を載置可能な載置面を有し、ステージ駆動部１０５の駆動により当該載置面に対して平行方向（ｘ－ｙ平面方向）及び垂直方向（ｚ軸方向）へ移動可能とされている。蛍光染色標本３０は、Ｚ方向に例えば数μｍから数十μｍの厚さを有し、スライドガラスＳＧ及びカバーガラス（図示無し）に挟まれて所定の固定手法により固定されている。

ステージ１０２の上方には光学系１０３が配置される。光学系１０３は、対物レンズ１０３Ａと、結像レンズ１０３Ｂと、ダイクロイックミラー１０３Ｃと、エミッションフィルタ１０３Ｄと、励起フィルタ１０３Ｅと、を備える。光源１０４は、例えば水銀ランプ等の電球やＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等であり、光源駆動部１０６の駆動により蛍光染色標本３０に付された蛍光標識に対する励起光を照射するものである。

励起フィルタ１０３Ｅは、蛍光染色標本３０の蛍光像を得る場合に、光源１０４から出射された光のうち蛍光色素を励起する励起波長の光のみを透過させることで励起光を生成する。ダイクロイックミラー１０３Ｃは、当該励起フィルタで透過されて入射する励起光を反射させて対物レンズ１０３Ａへ導く。対物レンズ１０３Ａは、当該励起光を蛍光染色標本３０へ集光する。そして対物レンズ１０３Ａ及び結像レンズ１０３Ｂは、蛍光染色標本３０の像を所定の倍率に拡大し、当該拡大像を蛍光信号取得部１１２の撮像面に結像させる。

蛍光染色標本３０に励起光が照射されると、蛍光染色標本３０の各組織に結合している染色剤が蛍光を発する。この蛍光は、対物レンズ１０３Ａを介してダイクロイックミラー１０３Ｃを透過し、エミッションフィルタ１０３Ｄを介して結像レンズ１０３Ｂへ到達する。エミッションフィルタ１０３Ｄは、上記対物レンズ１０３Ａによって拡大された、励起フィルタ１０３Ｅを透過した光を吸収し発色光の一部のみを透過する。当該外光が喪失された発色光の像は、上述のとおり、結像レンズ１０３Ｂにより拡大され、蛍光信号取得部１１２上に結像される。

データ処理部１０７は、光源１０４を駆動させ、蛍光信号取得部１１２を用いて蛍光染色標本３０の蛍光像を取得し、これを用いて各種処理を行う構成である。より具体的には、データ処理部１０７は、図１を参照して説明した、情報処理装置１００の情報取得部１１１、保存部１２０、処理部１３０、表示部１４０、制御部１５０、操作部１６０、又はデータベース２００の一部又は全部の構成として機能し得る。例えば、データ処理部１０７は、情報処理装置１００の制御部１５０として機能することで、ステージ駆動部１０５及び光源駆動部１０６の駆動を制御したり、蛍光信号取得部１１２によるスペクトルの取得を制御したりする。また、データ処理部１０７は、情報処理装置１００の処理部１３０として機能することで、蛍光スペクトルを生成したり、蛍光スペクトルを蛍光物質毎に分離したり、分離結果に基づいて画像情報を生成したりする。

以上、本実施形態に係る情報処理システムが顕微鏡システムとして実現される場合における顕微鏡システムの構成例について説明した。なお、図５を参照して説明した上記の構成はあくまで一例であり、本実施形態に係る顕微鏡システムの構成は係る例に限定されない。例えば、顕微鏡システムは、図５に示す構成の全てを必ずしも備えなくてもよいし、図５に示されていない構成を備えてもよい。

（１．３．最小二乗法について）
ここで、分離処理部１３２による色分離処理において用いられる最小二乗法について説明する。最小二乗法は、入力された染色標本画像における各画素の画素値である蛍光スペクトルに参照スペクトルをフィッティングすることで、混色率を算出するものである。なお、混色率は、各物質が混ざり合う度合を示す指標である。以下の式（１）は、蛍光スペクトル（Ｓｉｇｎａｌ）から、参照スペクトル（Ｓｔ）。蛍光参照スペクトル及び自家蛍光参照スペクトルが混色率ａで混色されたものを減算して得られる残差を表す式である。なお、式（１）における「Ｓｉｇｎａｌ（１×チャンネル数）」とは、蛍光スペクトル（Ｓｉｇｎａｌ）が波長のチャンネル数だけ存在することを示している。例えば、Ｓｉｇｎａｌは、１以上の蛍光スペクトルを表す行列である。また、「Ｓｔ（物質数×チャンネル数）」とは、参照スペクトルが、それぞれの物質（蛍光物質及び自家蛍光物質）について波長のチャンネル数だけ存在することを示している。例えば、Ｓｔは、１以上の参照スペクトルを表す行列である。また、「ａ（１×物質数）」とは、混色率ａが各物質（蛍光物質及び自家蛍光物質）について設けられることを示している。例えば、ａは、蛍光スペクトルにおける参照スペクトルそれぞれの混色率を表す行列である。

そして、分離処理部１３２は、残差式（１）の２乗和が最小となる各物質の混色率ａを算出する。残差の２乗和が最小となるのは、残差を表す式（１）について、混色率ａに関する偏微分の結果が０である場合であるため、分離処理部１３２は、以下の式（２）を解くことで残差の２乗和が最小となる各物質の混色率ａを算出する。なお、式（２）における「Ｓｔ´」は、参照スペクトルＳｔの転置行列を示している。また、「ｉｎｖ（Ｓｔ＊Ｓｔ´）」は、Ｓｔ＊Ｓｔ´の逆行列を示している。

ここで、上記式（１）の各値の具体例を以下の式（３）～式（５）に示す。式（３）～式（５）の例では、蛍光スペクトル（Ｓｉｇｎａｌ）において、３種の物質（物質数が３）の参照スペクトル（Ｓｔ）がそれぞれ異なる混色率ａで混色される場合が示されている。

そして、式（３）および式（５）の各値による上記式（２）の計算結果の具体例を以下の式（６）に示す。式（６）のとおり、計算結果として正しく「ａ＝（３ ２ １）」（すなわち上記式（４）と同一の値）が算出されることがわかる。

なお、分離処理部１３２は、上述したように、最小二乗法ではなく重み付き最小二乗法（Ｗｅｉｇｈｔｅｄ Ｌｅａｓｔ Ｓｑｕａｒｅ Ｍｅｔｈｏｄ）に関する計算を行うことにより、蛍光スペクトルから蛍光物質ごとのスペクトルを抽出してもよい。重み付き最小二乗法においては、測定値である蛍光スペクトル（Ｓｉｇｎａｌ）のノイズがポアソン分布になることを利用して、低いシグナルレベルの誤差を重視するように重みが付けられる。ただし、重み付き最小二乗法で加重が行われない上限値をＯｆｆｓｅｔ値とする。Ｏｆｆｓｅｔ値は測定に使用されるセンサの特性によって決まり、センサとして撮像素子が使用される場合には別途最適化が必要である。重み付き最小二乗法が行われる場合には、上記の式（１）及び式（２）における参照スペクトルＳｔが以下の式（７）で表されるＳｔ＿に置換される。なお、以下の式（７）は、行列で表されるＳｔの各要素（各成分）を、同じく行列で表される「Ｓｉｇｎａｌ＋Ｏｆｆｓｅｔ値」においてそれぞれ対応する各要素（各成分）で除算（換言すると、要素除算）することでＳｔ＿を算出することを意味する。

ここで、Ｏｆｆｓｅｔ値が１であり、参照スペクトルＳｔおよび蛍光スペクトルＳｉｇｎａｌの値がそれぞれ上記の式（３）および式（５）で表される場合の、上記式（７）で表されるＳｔ＿の具体例を以下の式（８）に示す。

そして、この場合の混色率ａの計算結果の具体例を以下の式（９）に示す。式（９）のとおり、計算結果として正しく「ａ＝（３ ２ １）」が算出されることがわかる。

（１．４．非負値行列因子分解（ＮＭＦ）について）
つづいて、分離処理部１３２が自家蛍光スペクトル及び／又は蛍光スペクトルの抽出に用いる非負値行列因子分解（ＮＭＦ）について説明する。ただし、非負値行列因子分解（ＮＭＦ）に限定されず、特異値分解（ＳＶＤ）や主成分分析（ＰＣＡ）等が用いられてもよい。

図３は、ＮＭＦの概要を説明する図である。図３に示すように、ＮＭＦは、非負のＮ行Ｍ列（Ｎ×Ｍ）の行列Ａを、非負のＮ行ｋ列（Ｎ×ｋ）の行列Ｗ、及び非負のｋ行Ｍ列（ｋ×Ｍ）の行列Ｈに分解する。行列Ａと、行列Ｗ及び行列Ｈの積（Ｗ＊Ｈ）間の平均平方二乗残差Ｄが最小となるように行列Ｗ及び行列Ｈが決定される。本実施形態においては、行列Ａが、自家蛍光参照スペクトルが抽出される前のスペクトル（Ｎが画素数であり、Ｍが波長チャネル数である）に相当し、行列Ｈが、抽出された自家蛍光参照スペクトル（ｋが自家蛍光参照スペクトルの数（換言すると、自家蛍光物質の数）であり、Ｍが波長チャネル数である）に相当する。ここで、平均平方二乗残差Ｄは、以下の式（１０）で表される。なお、「ｎｏｒｍ（Ｄ，‘ｆｒｏ’）」とは、平均平方二乗残差Ｄのフロベニウスノルムを指す。

ＮＭＦにおける因子分解は、行列Ｗ及び行列Ｈに対する無作為な初期値で始まる反復法が用いられる。ＮＭＦにおいてｋの値（自家蛍光参照スペクトルの数）は必須であるが、行列Ｗ及び行列Ｈの初期値は必須ではなくオプションとして設定され得、行列Ｗ及び行列Ｈの初期値が設定されると解が一定となる。一方で、行列Ｗ及び行列Ｈの初期値が設定されない場合、これらの初期値は無作為に設定され、解が一定とならない。

標本２０は、使用される組織の種類、対象となる疾病の種類、対象者の属性、または対象者の生活習慣等に応じてその性質が異なり、自家蛍光スペクトルも異なる。そのため、第２の実施形態に係る情報処理装置１００が、上記のように、標本２０毎に自家蛍光参照スペクトルを実測することで、より精度の高い色分離処理を実現することができる。

なお、ＮＭＦの入力である行列Ａは、上述したように、染色標本画像の画素数Ｎ（＝Ｈｐｉｘ×Ｖｐｉｘ）と同数の行と、波長チャネル数Ｍと同数の列とからなる行列である。そのため、染色標本画像の画素数が大きい場合や波長チャネル数Ｍが大きい場合には、行列Ａが非常に大きな行列となり、ＮＭＦの計算コストが増大して処理時間が長くなる。

そのような場合には、例えば、図４に示すように、染色画像の画素数Ｎ（＝Ｈｐｉｘ×Ｖｐｉｘ）を指定しておいたクラス数Ｎ（＜Ｈｐｉｘ×Ｖｐｉｘ）にクラスタリングすることで、行列Ａの巨大化による処理時間の冗長化を抑制することができる。

クラスタリングでは、例えば、染色画像のうち、波長方向や強度方向において類似したスペクトル同士が同じクラスに分類される。これにより、染色画像よりも画素数の小さい画像が生成されるため、この画像を入力とした行列Ａ’の規模を縮小することが可能となる。

（画像生成部１３３）
画像生成部１３３は、分離処理部１３２による蛍光スペクトルの分離結果に基づいて画像情報を生成する構成である。例えば、画像生成部１３３は、１つ又は複数の蛍光物質に対応する蛍光スペクトルを用いて画像情報を生成したり、１つ又は複数の自家蛍光物質に対応する自家蛍光スペクトルを用いて画像情報を生成したりすることができる。なお、画像生成部１３３が画像情報の生成に用いる蛍光物質（分子）又は自家蛍光物質（分子）の数や組合せは特に限定されない。また、分離後の蛍光スペクトル又は自家蛍光スペクトルを用いた各種処理（例えば、セグメンテーション、またはＳ／Ｎ値の算出等）が行われた場合、画像生成部１３３は、それらの処理の結果を示す画像情報を生成してもよい。

（表示部１４０）
表示部１４０は、画像生成部１３３によって生成された画像情報をディスプレイに表示することで実施者へ提示する構成である。なお、表示部１４０として用いられるディスプレイの種類は特に限定されない。また、本実施形態では詳細に説明しないが、画像生成部１３３によって生成された画像情報がプロジェクターによって投影されたり、プリンタによってプリントされたりすることで実施者へ提示されてもよい（換言すると、画像情報の出力方法は特に限定されない）。

（制御部１５０）
制御部１５０は、情報処理装置１００が行う処理全般を統括的に制御する機能構成である。例えば、制御部１５０は、操作部１６０を介して行われる実施者による操作入力に基づいて、上記で説明したような各種処理（例えば、蛍光染色標本３０の載置位置の調整処理、蛍光染色標本３０に対する励起光の照射処理、スペクトルの取得処理、自家蛍光成分補正画像の生成処理、色分離処理、画像情報の生成処理、および画像情報の表示処理等）の開始や終了等を制御する。なお、制御部１５０の制御内容は特に限定されない。例えば、制御部１５０は、汎用コンピュータ、ＰＣ、タブレットＰＣ等において一般的に行われる処理（例えば、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）に関する処理）を制御してもよい。

（１．５．第１実施形態の特徴的な構成）
上記では、本実施形態に係る情報処理システムの構成例及び応用例について説明した。続いて、本実施形態の特徴的な構成について、以下に図面を参照して詳細に説明する。

上述したように、本実施形態では、組織サンプルを撮影した際に問題とされる自家蛍光物質由来の蛍光信号を解析対象である蛍光物質由来の蛍光信号と区別するため、染色標本画像を色分離処理する際に得られる自家蛍光物質由来のスペクトル情報（自家蛍光成分（スペクトル））を用いて擬似的な自家蛍光成分画像（自家蛍光成分補正画像）を生成し、これを用いて染色標本画像の定量的な解析を可能にする。

より具体的には、本実施形態では、染色標本画像から抽出された自家蛍光成分に基づき、それに対応する自家蛍光参照スペクトルを用いて自家蛍光成分補正画像を生成し、その自家蛍光成分補正画像を用いて染色標本画像を加工することで、より高い精度で色分離された蛍光成分画像を生成する。なお、生成された蛍光成分画像は、表示部１４０において表示されてもよいし、処理部１３０やその他の構成（例えば、ネットワークを介して接続された解析装置等）で所定の処理（解析処理等）が実行されてもよい。なお、所定の処理とは、例えば、特定の細胞の検出などの処理であってよい。

（１．５．１．基本動作例）
図６は、本実施形態に係る情報処理システムの基本動作例を示すフローチャートである。なお、以下の動作は、例えば、制御部１５０による制御下で各部が動作することで実行される。

図６に示すように、本実施形態に係る基本動作では、まず、取得部１１０の情報取得部１１１が蛍光染色標本３０を撮像することで、染色標本画像を取得する（ステップＳ１０１）。これにより取得された染色標本画像は、例えば、保存部１２０における情報保存部１２１に格納される。

また、情報取得部１１１は、ネットワークを介して接続されたデータベース２００から試薬情報及び標本情報を取得する（ステップＳ１０２）。上述したように、ここで、標本情報には、標本２０における１以上の自家蛍光物質の自家蛍光参照スペクトルに関する情報が含まれ、試薬情報には、蛍光染色標本３０における蛍光物質の蛍光参照スペクトルに関する情報が含まれている。取得した試薬情報及び標本情報は、例えば、保存部１２０における情報保存部１２１に格納される。

次に、分離処理部１３２が、情報保存部１２１に格納されている染色標本画像と試薬情報及び標本情報とを取得し、取得した染色標本画像に対して例えば最小二乗法を用いた自家蛍光参照スペクトルのフィッティングを行うことで、染色標本画像の色分離処理を実行する（ステップＳ１０３）。この色分離処理により、蛍光成分画像及び自家蛍光成分画像が生成される。

次に、分離処理部１３２は、ステップＳ１０３で生成した自家蛍光成分画像と、ステップＳ１０２で取得した標本情報に含まれる自家蛍光参照スペクトルとを用いて、自家蛍光成分補正画像を生成する（ステップＳ１０４）。なお、自家蛍光成分補正画像の生成については、後述においてより詳細に説明する。

次に、分離処理部１３２は、自家蛍光成分補正画像を用いて染色標本画像を加工することで、蛍光成分画像を生成する（ステップＳ１０５）。このように、自家蛍光参照スペクトルを用いた生成した自家蛍光成分補正画像を用いて染色標本画像に含まれる自家蛍光成分を除去することで、より色分離精度が向上した、すなわち、より自家蛍光成分の残存量が低減した蛍光成分画像を生成することが可能である（補正部）。

そして、分離処理部１３２は、生成された蛍光成分画像を画像生成部１３３や外部のサーバ等へ送信する（ステップＳ１０６）。その後、本動作は終了する。

（１．５．２．自家蛍光成分補正画像生成フロー例）
続いて、図６のステップＳ１０４で説明した自家蛍光成分画像を生成する際の動作例を説明する。図７は、本実施形態に係る疑似自家蛍光成分画像を生成する際の動作例を示すフローチャートである。また、図８は、図６のステップＳ１０３で生成される自家蛍光成分画像の一例を示す図であり、図９は、図６のステップＳ１０２で取得される標本情報に含まれる自家蛍光参照スペクトルの一例を示す図である。さらに、図１０は、図７のステップＳ１１２を説明するための図であり、図１１は、図７のステップＳ１１４を説明するための図である。

図７に示すように、自家蛍光成分補正画像生成フローでは、分離処理部１３２は、まず、図６のステップＳ１０３で生成された自家蛍光成分画像（図８参照）のうち、未選択の１つ（これを自家蛍光チャネルＣＨｎ（ｎは自然数）の自家蛍光成分画像とする）を選択する（ステップＳ１１１）。なお、自家蛍光チャネルとは、自家蛍光ごとに付与された識別情報であってよい。

次に、分離処理部１３２は、図１０に示すように、ステップＳ１１１で選択した自家蛍光チャネルＣＨｎの自家蛍光成分画像と、図６のステップＳ１０２で取得した標本情報に含まれる自家蛍光参照スペクトル（図９参照）のうちの自家蛍光チャネルＣＨｎの自家蛍光参照スペクトルとから自家蛍光チャネルＣＨｎに関するスペクトル画像を生成する（ステップＳ１１２）。このスペクトル画像の生成には、上述したＮＭＦを用いることができる。

次に、分離処理部１３２は、ステップＳ１１１において全ての自家蛍光成分画像を選択済みであるか否かを判定し（ステップＳ１１３）、選択済みでない場合（ステップＳ１１３のＮＯ）、ステップＳ１１１へ戻り、未選択の自家蛍光成分画像を選択して以降の動作を実行する。

一方、ステップＳ１１１で全ての自家蛍光成分画像を選択済みである場合（ステップＳ１１３のＹＥＳ）、分離処理部１３２は、図１１に示すように、繰り返されたステップＳ１１２で生成された自家蛍光チャネルＣＨそれぞれのスペクトル画像を加算する（ステップＳ１１４）。これにより、自家蛍光成分補正画像が生成される。その後、分離処理部１３２は、図７に示す動作を終了する。

（１．６．解析対象領域の抽出及び解析）
次に、本実施形態に係る蛍光成分画像からの解析対象領域の抽出処理及びその解析について、比較例を用いつつ説明する。図１２は、比較例に係る解析対象領域の抽出処理及びその解析を説明するためのフローチャートであり、図１３は、図１２に示す比較例に係る解析対象領域の抽出処理及びその解析を説明するための模式図である。また、図１４は、本実施形態に係る解析対象領域の抽出処理及びその解析を説明するためのフローチャートであり、図１５は、図１４に示す本実施形態に係る解析対象領域の抽出処理及びその解析を説明するための模式図である。

（比較例）
図１２及び図１３に示すように、比較例では、まず、染色切片を撮像すること染色標本画像を取得するとともに、染色切片と隣接又は近接する未染色の組織切片（以下、非染色組織切片又は非染色切片ともいう）を撮像することで未染色切片の撮像画像（以下、非染色標本画像という）を取得する（ステップＳ９０１）。続いて、取得した染色標本画像と非染色標本画像とを用いた色分離処理を実行することで、蛍光成分画像と自家蛍光成分画像とを生成する（ステップＳ９０２）。

次に、自家蛍光成分画像に基づいて、解析対象とする領域（解析対象領域）の候補となる領域（抽出対象領域）を抽出するための抗体数の閾値を設定する（ステップＳ９０３）。なお、抗体数の閾値は、例えば、蛍光成分画像における各画素の画素値に対する閾値などであってよい。また、抽出対象領域は、図１３のステップＳ９０３においてドットでハッチングされた領域であってよい。

次に、染色標本画像における各画素の画素値と閾値とを比較し、その比較結果に基づくことで、解析対象領域を抽出するためのマスク画像を生成する（ステップＳ９０４）。これにより、例えば、画素値が閾値以上であれば‘１’、閾値未満であれば‘０’とする二値マスクがマスク画像として生成される。なお、‘１’が付与された画素又は領域は、解析対象の候補となる画素又は領域であり、‘０’が付与された画素又は領域は、解析対象から除外された画素又は領域であってよい。

次に、ステップＳ９０４で生成されたマスク画像の各画素と蛍光成分画像の各画素との論理積演算を実行することで、蛍光成分画像から解析対象領域を抽出する（ステップＳ９０５）。これにより、自家蛍光成分画像から抽出した値を閾値として、蛍光色素抗体によって標識された領域（解析対象の形態的情報）が抽出された抽出画像が得られる。

その後、例えば、解析対象領域が外部サーバなどの解析装置へ送られて、定量的に評価される（ステップＳ９０６）。

（本実施形態）
一方、図１４及び図１５に示すように、本実施形態では、まず、染色切片を撮像することで染色標本画像を取得する（ステップＳ１）。すなわち、本実施形態では、非染色切片を撮像して未染色標本画像を取得する必要がない。

次に、本実施形態では、染色標本画像に対する色分離処理を実行することで、蛍光成分画像を生成する（ステップＳ２）。また、本実施形態では、色分離処理により生成された自家蛍光成分画像と、取得した標本情報に含まれる自家蛍光参照スペクトルとを用いて、自家蛍光成分補正画像を生成する（ステップＳ３）。

次に、自家蛍光成分補正画像に基づいて、解析対象領域の候補となる抽出対象領域を抽出するための抗体数の閾値を設定する（ステップＳ４）。なお、図１２及び図１３を用いた説明と同様に、抗体数の閾値は、例えば、蛍光成分画像における各画素の画素値に対する閾値などであってよく、また、抽出対象領域は、図１５のステップＳ４においてドットでハッチングされた領域であってよい。

その後、図１２及び図１３のステップＳ９０４～Ｓ９０６と同様に、染色標本画像における各画素の画素値と閾値とを比較してマスク画像を生成し（ステップＳ５）、続いて、ステップＳ５で生成されたマスク画像と蛍光成分画像との論理積演算を実行することで、蛍光成分画像から解析対象領域を抽出する（ステップＳ６）。これにより、自家蛍光成分補正画像から抽出した値を閾値として、蛍光色素抗体によって標識された領域（解析対象の形態的情報）が抽出された抽出画像が得られる。そして、抽出された解析対象領域が例えば外部サーバなどの解析装置へ送られて、定量的に評価される（ステップＳ７）。

（１．７．作用・効果）
以上のように、本実施形態によれば、解析対象領域の抽出処理において、ユーザが自家蛍光成分補正画像から定義した値あるいは客観性を持つ数値を閾値として設定し、染色標本画像中の画素値と閾値との大小関係に基づいて生成されたマスク画像（二値マスク）を用いて解析対象領域が抽出される。

このように、閾値の設定に自家蛍光成分補正画像を用いることで、別途非染色切片を撮像して非染色標本画像を取得する手間や、自家蛍光成分画像を生成する手間等を省略することができることのほかに、染色標本画像中の空間的な情報（自家蛍光成分やノイズ由来などの信号分布が同一である）を保持している、言い換えれば、染色標本画像や蛍光成分画像との相関を持った自家蛍光成分補正画像に基づいて閾値が設定できるため、染色標本画像や蛍光成分画像との相関を持った閾値を設定することができるという効果を奏することが可能となる。

＜２．第２実施形態＞
次に、第２の実施形態について説明する。上述した第１の実施形態では、生成した自家蛍光成分補正画像から染色標本画像の全画素に対する閾値を一意的に設定していた。これに対し、第２の実施形態では、画素ごとに異なる閾値を設定することで、必ずしも同じでない閾値が空間的に分布する閾値分布画像を生成する。なお、本実施形態において、情報処理システムの構成及び基本動作は、第１の実施形態に係る情報処理システムの構成及び基本動作と同様であってよいため、ここでは詳細な説明を省略する。

（２．１．解析対象領域の抽出及びその解析）
図１６は、本実施形態に係る解析対象領域の抽出処理及びその解析を説明するためのフローチャートであり、図１７は、図１６に示す本実施形態に係る解析対象領域の抽出処理及びその解析を説明するための模式図である。

図１６及び図１７に示すように、本実施形態では、まず、第１の実施形態において図１４及び図１５のステップＳ１～Ｓ３を用いて説明した動作と同様に、染色切片を撮像することで染色標本画像を取得し（ステップＳ２１）、染色標本画像に対する色分離処理を実行することで蛍光成分画像を生成し（ステップＳ２２）、色分離処理により生成された自家蛍光成分画像と、取得した標本情報に含まれる自家蛍光参照スペクトルとを用いて、自家蛍光成分補正画像を生成する（ステップＳ２３）。

次に、本実施形態では、自家蛍光成分補正画像に基づいて、画素ごとに異なる抗体数の閾値が設定された閾値分布画像を生成する（ステップＳ２４）。画素ごとに閾値が異なる閾値分布画像の生成方法としては、例えば、自家蛍光成分補正画像の各画素の画素値に対して予め設定しておいた係数を乗算する方法などを採用することができる。ここで、係数は、例えば、妥当と考えられる数値範囲内で決定されてよい。具体例としては、自家蛍光成分補正画像における画素値の最大値や平均値に基づく値が係数として用いられてもよい。

次に、本実施形態では、染色標本画像における各画素の画素値と、閾値分布画像における対応する画素の閾値とを比較し、その比較結果に基づくことで、解析対象領域を抽出するためのマスク画像を生成する（ステップＳ２５）。これにより、例えば、画素値が閾値以上であれば‘１’、閾値未満であれば‘０’とする二値マスクがマスク画像として生成される。なお、第１の実施形態と同様に、‘１’が付与された画素又は領域は、解析対象の候補となる画素又は領域であり、‘０’が付与された画素又は領域は、解析対象から除外された画素又は領域であってよい。また、図１７のステップＳ２５に示す画素ごとの比較結果において、ドットでハッチングされた画素は、例えば、画素値が対応する閾値以上であった画素であってよい。

その後、図１４及び図１５のステップＳ６～Ｓ７と同様に、Ｓ２５で生成されたマスク画像と蛍光成分画像との論理積演算を実行することで、蛍光成分画像から解析対象領域を抽出する（ステップＳ２６）。これにより、自家蛍光成分補正画像から抽出した値を閾値として、蛍光色素抗体によって標識された領域（解析対象の形態的情報）が抽出された抽出画像が得られる。そして、抽出された解析対象領域が例えば外部サーバなどの解析装置へ送られて、定量的に評価される（ステップＳ２７）。

（２．２．作用・効果）
以上のように、本実施形態では、染色標本画像から目的の領域のみを抽出するための二値マスクを生成する上で、第１の実施形態のように、自家蛍光成分補正画像から閾値を一意的に設定するのではなく、異なる閾値を空間的に分布させることができる閾値分布画像を生成する。それにより、染色標本画像と対応する自家蛍光成分補正画像の画素値を用いて閾値を設定することが可能となるため、組織領域ごとの自家蛍光成分の分布やハードウェアの影響など、システム上生じ得るノイズの空間的な情報を保持する閾値分布画像を用いて解析対象領域を抽出することが可能となる。その結果、蛍光観察における解析精度をより向上させることが可能となる。

なお、その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。

＜３．第３実施形態＞
次に、第３の実施形態について説明する。上述した実施形態では、染色標本画像から自家蛍光成分補正画像を生成する場合を例示した。これに対し、本実施形態では、自家蛍光成分補正画像に加え、擬似的な蛍光成分画像（以下、蛍光成分補正画像という）も生成し、それらのスペクトル強度比を算出することで、自家蛍光に対する蛍光色素強度の割合を情報として取得する。なお、本実施形態において、情報処理システムの構成及び基本動作は、上述した実施形態に係る情報処理システムの構成及び基本動作と同様であってよいため、ここでは詳細な説明を省略する。

（３．１．スペクトル強度比画像の生成及びその解析）
本実施形態において、スペクトル強度比は、例えば、空間的に分布する情報、すなわち画像データ（スペクトル強度比画像）として生成される。図１８は、本実施形態に係るスペクトル強度比画像の生成処理及びその解析を説明するためのフローチャートである。

図１８に示すように、本実施形態では、まず、第１の実施形態において図６のステップＳ１０１～Ｓ１０４と同様の動作を実行することで、自家蛍光成分補正画像を生成する（ステップＳ１０４）。

次に、本実施形態では、例えば、自家蛍光成分補正画像を生成する際の同様の動作を適用することで、蛍光成分補正画像を生成する（ステップＳ３０１）。なお、蛍光成分補正画像生成フローは、第１の実施形態において図７を用いて説明した動作における自家蛍光成分画像を蛍光成分画像に置き換え、自家蛍光参照スペクトルを蛍光参照スペクトルに置き換えることで実施可能であるため、ここでは詳細な説明を省略する。

次に、分離処理部１３２は、蛍光成分補正画像と自家蛍光成分補正画像とにおける対応する画素同士の比（スペクトル強度比）を算出することで、スペクトル強度比画像を生成する（ステップＳ３０２）。

その後、例えば、スペクトル強度比画像が外部サーバなどの解析装置へ送られて、定量的に評価される（ステップＳ３０３）。

（３．２．スペクトル強度画像の生成手法）
本実施形態において、スペクトル強度比画像は、例えば、蛍光成分補正画像の各画素のスペクトル強度を示すスペクトル強度画像と、自家蛍光成分補正画像の各画素のスペクトル強度を示すスペクトル強度画像とをそれぞれ生成し、対応する画素同士のスペクトル強度の比を算出することで生成されてもよい。

ここで、蛍光成分補正画像及び自家蛍光成分補正画像それぞれのスペクトル強度画像を生成する手法は、特に限定されるものではない。そこで以下に、２つの生成手法を例示する。

（３．２．１ 第１の生成手法）
図１９は、第１の生成手法を説明するための図である。図１９に示すように、第１の生成手法では、データキューブ構造の蛍光成分補正画像／自家蛍光成分補正画像の波長チャネルごとの画素値を波長方向で合算することで（ステップＳ３１）、スペクトル強度画像を生成する。

（３．２．２ 第２の生成手法）
図２０は、第２の生成手法を説明するための図である。図２０に示すように、第２の生成手法では、データキューブ構造の蛍光成分補正画像／自家蛍光成分補正画像の波長チャネルごとの画素値のうち、波長方向において最大値の画素値を抽出することで（ステップＳ３２）、スペクトル強度画像を生成する。

（３．３．作用・効果）
以上のように、本実施形態では、蛍光成分においても、蛍光成分画像の画素ごとに色分離処理によって抽出された蛍光参照スペクトルを掛け合わせることで蛍光成分補正画像を生成し、蛍光成分補正画像及び自家蛍光成分補正画像それぞれのスペクトル強度画像を得る。そして、蛍光成分補正画像の各画素と自家蛍光成分補正画像の各画素とのスペクトル強度比から、自家蛍光に対する蛍光色素強度の割合を空間的に示す情報であるスペクトル強度比画像が生成される。このようにして生成されたスペクトル強度比画像は、情報処理システムにおける測定系（取得部１１０に相当）の性能評価や処理部１３０における色分離精度評価、さらには蛍光試薬パネルの設計／評価等に活用することが可能である。

また、本実施形態によれば、例えば、以上のように生成したスペクトル強度比画像を、染色標本画像を取得部１１０が取得した際の撮影条件や標本２０に対する蛍光試薬１０の標識条件（染色条件）等の画像取得条件と紐づけて保存部１２０等に記録しておき、同一の取得部１１０を用いて染色標本画像を取得する際の参考情報として活用するなども可能となる。また、スペクトル強度比画像及び画像取得条件をネットワーク上のサーバに保管しておき、他の情報処理システム又は情報処理装置１００と共有することで、他の情報処理システムにおける同機種の取得部１１０を用いて染色標本画像を取得する際の参考情報として活用するなども可能となる。具体的には、例えば、同機種の取得部１１０を用いる場合の機器間ベースライン補正や検量線補正などに、保存部１２０、サーバ等に蓄積されているスペクトル強度比画像及び画像取得条件が利用されてもよい。

なお、その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。

＜４．第４実施形態＞
次に、第４の実施形態について説明する。上述した実施形態では、自家蛍光スペクトル及び／又は蛍光スペクトルの抽出に例えばＮＭＦやＳＶＤやＰＣＡ等が用いられていた。これに対し、本実施形態では、これらに代えて、機械学習を用いて自家蛍光スペクトル及び／又は蛍光スペクトルを抽出する場合について説明する。なお、本実施形態において、情報処理システムの構成及び基本動作は、上述した実施形態に係る情報処理システムの構成及び基本動作と同様であってよいため、ここでは詳細な説明を省略する。

（４．１．機械学習を用いた蛍光成分画像の生成）
図２１は、本実施形態に係る機械学習を用いた蛍光成分画像の生成処理を説明するためのフローチャートであり、図２２は、図２１に示す本実施形態に係る機械学習を用いた蛍光成分画像の生成処理を説明するための模式図である。

図２１及び図２２に示すように、本実施形態では、まず、第２の実施形態において図１４のステップＳ１～Ｓ３と同様の動作を実行することで、自家蛍光成分補正画像を生成する（ステップＳ４０１～Ｓ４０３）。

次に、本実施形態では、ステップＳ４０１の色分離処理により生成された蛍光成分画像とステップＳ４０３で生成された疑似自家蛍光成分画像とを機械学習部４０１に入力し、機械学習部４０１において蛍光成分画像と疑似自家蛍光成分画像とを入力画像とした教師なし学習のディープラーニングを実行することで、染色標本画像から自家蛍光成分由来の信号強度や分布などの特徴量（例えば、自家蛍光スペクトル）を抽出する（ステップＳ４０４）。なお、ディープラーニングとしては、ＤＮＮ（Deep Neural Network）やＣＮＮ（Convolutional Neural Network）やＲＮＮ（Recurrent Neural Network）など、種々の機械学習を適用することができる。また、機械学習部４０１は、例えば、情報処理装置１００における処理部１３０等に実装されてもよいし、情報処理装置１００と所定のネットワークを介して接続されたクラウドサーバ等に実装されてもよい。

そして、本実施形態では、ステップＳ４０４で抽出した特徴量を用いて、自家蛍光成分の残存量がより低減されたさらに精度の高い蛍光成分画像を生成し（ステップＳ４０５）、本動作を終了する。

（４．２．作用・効果）
以上のように、本実施形態では、染色標本画像に対する色分離処理により生成された蛍光成分画像と、それより生成した自家蛍光成分補正画像とを入力画像とし、教師なし学習の機械学習を適用することで、染色標本画像から自家蛍光成分由来の信号強度や分布などの特徴量を抽出し、これらの抽出した特徴量をもとにさらに精度の高い蛍光成分画像を生成する。このように、染色標本画像を由来とする、言い換えれば、染色標本画像から生成された自家蛍光成分補正画像を入力とする機械学習を実行することで、機械学習の入力画像と出力画像との紐づけが容易となるため、学習効果を高めやすいという効果を奏することが可能となる。

なお、その他の構成、動作及び効果は、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。

＜５．測定系の構成例＞
次に、上述した実施形態（以下、単に実施形態という）に係る情報処理装置１００における測定系の構成例について説明する。図２３は、実施形態に係る情報処理システムの測定系の一例を示す図である。なお、図２３には、ＷＳＩ（Whole Slide Imaging）など、蛍光染色標本３０（又は無染色標本である標本２０）の広視野を撮影する際の測定系の一例が示されている。ただし、実施形態に係る測定系は、図２３に例示する測定系に限定されず、撮影領域全体又はこのうちの必要な領域（関心領域ともいう）を一度に撮影する測定系や、ラインスキャンにより撮影領域全体又は関心領域の画像を取得する測定系など、撮影領域全体又は関心領域の十分な解像度の画像データ（以下、広視野画像データという）を取得することが可能な測定系であれば、種々変形されてよい。

図２３に示すように、実施形態に係る測定系は、例えば、情報処理装置１００と、ＸＹステージ５０１と、励起光源５１０と、ビームスプリッタ５１１と、対物レンズ５１２と、分光器５１３と、光検出器５１４とを備える。

ＸＹステージ５０１は、解析対象の蛍光染色標本３０（又は標本２０）が載置されるステージであって、例えば、蛍光染色標本３０（又は標本２０）の載置面と平行な平面（ＸＹ平面）において移動可能なステージであってよい。

励起光源５１０は、蛍光染色標本３０（又は標本２０）を励起させるための光源であり、例えば、波長が互いに異なる複数の励起光を所定の光軸に沿って出射する。

ビームスプリッタ５１１は、例えば、ダイクロイックミラー等で構成され、励起光源５１０からの励起光を反射し、蛍光染色標本３０（又は標本２０）からの蛍光を透過する。

対物レンズ５１２は、ビームスプリッタ５１１で反射した励起光をＸＹステージ５０１上の蛍光染色標本３０（又は標本２０）に照射する。

分光器５１３は、１以上のプリズムやレンズ等を用いて構成され、蛍光染色標本３０（又は標本２０）から放射し、対物レンズ５１２及びビームスプリッタ５１１を透過した蛍光を所定方向に分光する。

光検出器５１４は、分光器５１３で分光された蛍光の波長ごとの光強度を検出し、これにより得られた蛍光信号（蛍光スペクトル及び／又は自家蛍光スペクトル）を情報処理装置１００の蛍光信号取得部１１２に入力する。

以上のような構成において、ＷＳＩのような、撮影領域全体が１回で撮影できる領域（以下、視野という）を超える場合、１回の撮影ごとにＸＹステージ５０１を動かして視野を移動させることで、各視野の撮影が順次行われる。そして、各視野の撮影により得られた画像データ（以下、視野画像データという）をタイリングすることで、撮影領域全体の広視野画像データが生成される。生成された広視野画像データは、例えば、蛍光信号保存部１２２に保存される。なお、視野画像データのタイリングは、情報処理装置１００の取得部１１０において実行されてもよいし、保存部１２０において実行されてもよいし、処理部１３０において実行されてもよい。

そして、実施形態に係る処理部１３０は、得られた広視野画像データに対して上述した処理を実行することで、係数Ｃ、すなわち、蛍光分子ごとの蛍光分離画像（又は自家蛍光分子ごとの自家蛍光分離画像）を取得する。

＜６．蛍光分子数（又は抗体数）の算出方法＞
次に、上述した実施形態における１画素中の蛍光分子数（または抗体数）を算出する方法について説明する。図２４は、実施形態における１画素中の蛍光分子数（または抗体数）を算出する方法を説明するための模式図である。図２４に示す例では、撮像素子とサンプルが対物レンズを介して配置された場合において、撮像素子1［pixel］に対応するサンプルの底面のサイズが、仮に、１３／２０（μｍ）×１３／２０（μｍ）であるとする。そして、サンプルの厚みが、仮に、１０（μｍ）であるとする。その場合、この直方体の体積（ｍ^３）は、１３／２０（μｍ）×１３／２０（μｍ）×１０（μｍ）で表される。なお、体積（リットル）は、１３／２０（μｍ）×１３／２０（μｍ）×１０（μｍ）×１０^３で表される。

そして、サンプルに含まれる抗体数（蛍光分子数であってもよい）の濃度が均一であり、３００（ｎＭ）であるとすると、１画素あたりの抗体数は、以下の式（１１）によって表される。

このように、蛍光染色標本３０における蛍光分子数または抗体数が、蛍光分離処理の結果として算出されることで、実施者は、複数の蛍光物質間で蛍光分子数を比較したり、異なる条件で撮像されたデータを比較したりすることができる。また、輝度（または蛍光強度）が連続値である一方で、蛍光分子数または抗体数は離散値であるため、変形例に係る情報処理装置１００は、蛍光分子数または抗体数に基づいて画像情報を出力することでデータ量を削減することができる。

＜７．ハードウェア構成例＞
上記では、本開示の実施形態及びその変形例について説明した。続いて、図２５を参照して、各実施形態及び変形例に係る情報処理装置１００のハードウェア構成例について説明する。図２５は、情報処理装置１００のハードウェア構成例を示すブロック図である。情報処理装置１００による各種処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。

図２５に示すように、情報処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置１００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、通信装置９１３、及びセンサ９１５を備える。情報処理装置１００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣなどの処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、情報処理装置１００の少なくとも処理部１３０及び制御部１５０を具現し得る。

ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バス等の外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、実施者によって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置１００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いて実施者により入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。実施者は、この入力装置９０６を操作することにより、情報処理装置１００に対して各種のデータを入力したり処理動作を指示したりすることができる。入力装置９０６は、例えば、情報処理装置１００の少なくとも操作部１６０を具現し得る。

出力装置９０７は、取得した情報を実施者に対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音響出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置１００の少なくとも表示部１４０を具現し得る。

ストレージ装置９０８は、データ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、情報処理装置１００の少なくとも保存部１２０を具現し得る。

ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置１００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。

接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。

通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。

センサ９１５は、本実施形態においては、スペクトルを取得可能なセンサ（例えば、撮像素子等）を含むところ、他のセンサ（例えば、加速度センサ、ジャイロセンサ、地磁気センサ、感圧センサ、音センサ、または測距センサ等）を含んでもよい。センサ９１５は、例えば、情報処理装置１００の少なくとも蛍光信号取得部１１２を具現し得る。

なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

以上、情報処理装置１００の機能を実現可能なハードウェア構成例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本開示を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。

なお、上記のような情報処理装置１００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等を含む。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
１以上の蛍光色素で標識された標本より観測された蛍光画像を１以上の蛍光成分を含む蛍光成分画像と１以上の自家蛍光成分を含む自家蛍光成分画像とに分離する分離部と、
前記標本に含まれる１以上の自家蛍光物質それぞれの参照スペクトルと前記自家蛍光成分画像とを用いて自家蛍光成分補正画像を生成する生成部と、
前記自家蛍光成分補正画像に基づいて前記蛍光成分画像を処理する処理部と、
を備える情報処理装置。
（２）
前記処理部は、前記自家蛍光成分補正画像を用いて前記蛍光成分画像を補正した蛍光成分補正画像を生成する前記（１）に記載の情報処理装置。
（３）
前記生成部は、前記自家蛍光物質ごとに前記自家蛍光成分画像と前記参照スペクトルとを掛け合わせた結果を加算することで、前記自家蛍光成分補正画像を生成する前記（１）又は（２）に記載の情報処理装置。
（４）
前記処理部は、前記自家蛍光成分補正画像から前記蛍光色素によって標識された領域を示す領域情報を生成し、生成された前記領域情報を用いて前記蛍光成分画像を処理する前記（１）～（３）の何れか一つに記載の情報処理装置。
（５）
前記領域情報は、前記蛍光色素によって標識された領域を示す二値マスクである前記（４）に記載の情報処理装置。
（６）
前記処理部は、前記自家蛍光成分補正画像に基づき設定された閾値と前記蛍光画像における各画素の画素値との大小関係に基づいて前記二値マスクを生成する前記（５）に記載の情報処理装置。
（７）
前記処理部は、前記自家蛍光成分補正画像における各画素の画素値に基づいて前記画素ごとの閾値を設定し、前記画素ごとの閾値と前記蛍光画像における各画素の画素値との大小関係に基づいて前記二値マスクを生成する前記（５）に記載の情報処理装置。
（８）
前記生成部は、前記１以上の蛍光色素それぞれの参照スペクトルと前記蛍光成分画像とを用いて蛍光成分補正画像をさらに生成する前記（１）～（７）の何れか一つに記載の情報処理装置。
（９）
前記蛍光成分補正画像と前記自家蛍光成分補正画像とに基づいて、前記蛍光画像を取得する測定系の測定精度、前記分離部による蛍光成分画像と自家蛍光成分画像との分離性能、及び、前記１以上の蛍光色素で構成された蛍光試薬パネルの染色性能のうちの少なくとも１つを評価する評価部をさらに備える前記（８）に記載の情報処理装置。
（１０）
前記蛍光成分補正画像における各画素のスペクトル強度と前記自家蛍光成分補正画像における各画素のスペクトル強度との比を表すスペクトル強度比画像を生成する画像生成部と、
前記標本を撮像して前記蛍光画像を取得した際の撮像条件と、前記スペクトル強度比画像とを紐づけて記憶する保存部と、
をさらに備える前記（８）又は（９）に記載の情報処理装置。
（１１）
前記蛍光画像と前記蛍光成分画像と前記自家蛍光成分補正画像とに基づいて前記蛍光成分画像を補正する補正部をさらに備え、
前記処理部は、補正後の前記蛍光成分画像を前記自家蛍光成分補正画像に基づいて処理する、
前記（１）～（１０）の何れか一つに記載の情報処理装置。
（１２）
前記補正部は、前記蛍光成分画像と前記自家蛍光成分補正画像とから前記蛍光画像における前記自家蛍光物質の特徴量を推定し、推定された前記特徴量に基づいて前記蛍光成分画像を補正する前記（１１）に記載の情報処理装置。
（１３）
前記補正部は、前記蛍光成分画像と前記自家蛍光成分補正画像とを入力とする学習済みモデルを用いることで前記特徴量を推定する前記（１２）に記載の情報処理装置。
（１４）
前記学習済みモデルは、教師なし学習によりトレーニングされたモデルである前記（１３）に記載の情報処理装置。
（１５）
前記標本を撮像することで前記蛍光画像を取得する取得部をさらに備える前記（１）～（１４）の何れか一つに記載の情報処理装置。
（１６）
前記処理部は、処理後の前記蛍光成分画像に基づいて前記蛍光画像に含まれる特定の細胞を検出する前記（１）～（１５）の何れか一つに記載の情報処理装置。
（１７）
１以上の蛍光色素で標識された標本より観測された蛍光画像を１以上の蛍光成分を含む蛍光成分画像と１以上の自家蛍光成分を含む自家蛍光成分画像とに分離し、
前記標本に含まれる１以上の自家蛍光物質それぞれの参照スペクトルと前記自家蛍光成分画像とを用いて自家蛍光成分補正画像を生成し、
前記自家蛍光成分補正画像に基づいて前記蛍光成分画像を処理する、
ことを含む情報処理方法。
（１８）
１以上の蛍光色素で標識された標本より観測された蛍光画像を１以上の蛍光成分を含む蛍光成分画像と１以上の自家蛍光成分を含む自家蛍光成分画像とに分離する処理と、
前記標本に含まれる１以上の自家蛍光物質それぞれの参照スペクトルと前記自家蛍光成分画像とを用いて自家蛍光成分補正画像を生成する処理と、
前記自家蛍光成分補正画像に基づいて前記蛍光成分画像を処理する処理と、
をコンピュータに実行させるためのプログラム。
（１９）
１以上の蛍光色素で標識された標本に対して光を照射する光源と、前記光が照射された前記標本から放射した蛍光を観測する撮像装置と、前記撮像装置により取得された蛍光画像に対する処理を実行するためのプログラムとを備える顕微鏡システムであって、
前記プログラムは、コンピュータにおいて実行されることで、
前記蛍光画像を１以上の蛍光成分を含む蛍光成分画像と１以上の自家蛍光成分を含む自家蛍光成分画像とに分離する処理と、
前記標本に含まれる１以上の自家蛍光物質それぞれの参照スペクトルと前記自家蛍光成分画像とを用いて自家蛍光成分補正画像を生成する処理と、
前記自家蛍光成分補正画像に基づいて前記蛍光成分画像を処理する処理と、
を前記コンピュータに実行させる、
顕微鏡システム。
（２０）
前記（１）に記載の情報処理装置と、
前記情報処理装置と所定のネットワークを介して接続され、前記情報処理装置により処理された前記蛍光成分画像を解析する解析装置と、
を備える解析システム。

１０ 蛍光試薬
１１ 試薬識別情報
２０ 標本
２１ 標本識別情報
３０ 蛍光染色標本
１００ 情報処理装置
１１０ 取得部
１１１ 情報取得部
１１２ 蛍光信号取得部
１２０ 保存部
１２１ 情報保存部
１２２ 蛍光信号保存部
１３０ 処理部
１３２ 分離処理部
１３３ 画像生成部
１４０ 表示部
１５０ 制御部
１６０ 操作部
２００ データベース
４０１ 機械学習部

Claims (20)

1. １以上の蛍光色素で標識された標本より観測された蛍光画像を１以上の蛍光成分を含む蛍光成分画像と１以上の自家蛍光成分を含む自家蛍光成分画像とに分離する分離部と、
   前記標本に含まれる１以上の自家蛍光物質それぞれの参照スペクトルと前記自家蛍光成分画像とを用いて自家蛍光成分補正画像を生成する生成部と、
   前記自家蛍光成分補正画像に基づいて前記蛍光成分画像を処理する処理部と、
   を備える情報処理装置。
2. 前記処理部は、前記自家蛍光成分補正画像を用いて前記蛍光成分画像を補正した蛍光成分補正画像を生成する請求項１に記載の情報処理装置。
3. 前記生成部は、前記自家蛍光物質ごとに前記自家蛍光成分画像と前記参照スペクトルとを掛け合わせた結果を加算することで、前記自家蛍光成分補正画像を生成する請求項１に記載の情報処理装置。
4. 前記処理部は、前記自家蛍光成分補正画像から前記蛍光色素によって標識された領域を示す領域情報を生成し、生成された前記領域情報を用いて前記蛍光成分画像を処理する請求項１に記載の情報処理装置。
5. 前記領域情報は、前記蛍光色素によって標識された領域を示す二値マスクである請求項４に記載の情報処理装置。
6. 前記処理部は、前記自家蛍光成分補正画像に基づき設定された閾値と前記蛍光画像における各画素の画素値との大小関係に基づいて前記二値マスクを生成する請求項５に記載の情報処理装置。
7. 前記処理部は、前記自家蛍光成分補正画像における各画素の画素値に基づいて前記画素ごとの閾値を設定し、前記画素ごとの閾値と前記蛍光画像における各画素の画素値との大小関係に基づいて前記二値マスクを生成する請求項５に記載の情報処理装置。
8. 前記生成部は、前記１以上の蛍光色素それぞれの参照スペクトルと前記蛍光成分画像とを用いて蛍光成分補正画像をさらに生成する請求項１に記載の情報処理装置。
9. 前記蛍光成分補正画像と前記自家蛍光成分補正画像とに基づいて、前記蛍光画像を取得する測定系の測定精度、前記分離部による蛍光成分画像と自家蛍光成分画像との分離性能、及び、前記１以上の蛍光色素で構成された蛍光試薬パネルの染色性能のうちの少なくとも１つを評価する評価部をさらに備える請求項８に記載の情報処理装置。
10. 前記蛍光成分補正画像における各画素のスペクトル強度と前記自家蛍光成分補正画像における各画素のスペクトル強度との比を表すスペクトル強度比画像を生成する画像生成部と、
    前記標本を撮像して前記蛍光画像を取得した際の撮像条件と、前記スペクトル強度比画像とを紐づけて記憶する保存部と、
    をさらに備える請求項８に記載の情報処理装置。
11. 前記蛍光画像と前記蛍光成分画像と前記自家蛍光成分補正画像とに基づいて前記蛍光成分画像を補正する補正部をさらに備え、
    前記処理部は、補正後の前記蛍光成分画像を前記自家蛍光成分補正画像に基づいて処理する、
    請求項１に記載の情報処理装置。
12. 前記補正部は、前記蛍光成分画像と前記自家蛍光成分補正画像とから前記蛍光画像における前記自家蛍光物質の特徴量を推定し、推定された前記特徴量に基づいて前記蛍光成分画像を補正する請求項１１に記載の情報処理装置。
13. 前記補正部は、前記蛍光成分画像と前記自家蛍光成分補正画像とを入力とする学習済みモデルを用いることで前記特徴量を推定する請求項１２に記載の情報処理装置。
14. 前記学習済みモデルは、教師なし学習によりトレーニングされたモデルである請求項１３に記載の情報処理装置。
15. 前記標本を撮像することで前記蛍光画像を取得する取得部をさらに備える請求項１に記載の情報処理装置。
16. 前記処理部は、処理後の前記蛍光成分画像に基づいて前記蛍光画像に含まれる特定の細胞を検出する請求項１に記載の情報処理装置。
17. １以上の蛍光色素で標識された標本より観測された蛍光画像を１以上の蛍光成分を含む蛍光成分画像と１以上の自家蛍光成分を含む自家蛍光成分画像とに分離し、
    前記標本に含まれる１以上の自家蛍光物質それぞれの参照スペクトルと前記自家蛍光成分画像とを用いて自家蛍光成分補正画像を生成し、
    前記自家蛍光成分補正画像に基づいて前記蛍光成分画像を処理する、
    ことを含む情報処理方法。
18. １以上の蛍光色素で標識された標本より観測された蛍光画像を１以上の蛍光成分を含む蛍光成分画像と１以上の自家蛍光成分を含む自家蛍光成分画像とに分離する処理と、
    前記標本に含まれる１以上の自家蛍光物質それぞれの参照スペクトルと前記自家蛍光成分画像とを用いて自家蛍光成分補正画像を生成する処理と、
    前記自家蛍光成分補正画像に基づいて前記蛍光成分画像を処理する処理と、
    をコンピュータに実行させるためのプログラム。
19. １以上の蛍光色素で標識された標本に対して光を照射する光源と、前記光が照射された前記標本から放射した蛍光を観測する撮像装置と、前記撮像装置により取得された蛍光画像に対する処理を実行するためのプログラムとを備える顕微鏡システムであって、
    前記プログラムは、コンピュータにおいて実行されることで、
    前記蛍光画像を１以上の蛍光成分を含む蛍光成分画像と１以上の自家蛍光成分を含む自家蛍光成分画像とに分離する処理と、
    前記標本に含まれる１以上の自家蛍光物質それぞれの参照スペクトルと前記自家蛍光成分画像とを用いて自家蛍光成分補正画像を生成する処理と、
    前記自家蛍光成分補正画像に基づいて前記蛍光成分画像を処理する処理と、
    を前記コンピュータに実行させる、
    顕微鏡システム。
20. 請求項１に記載の情報処理装置と、
    前記情報処理装置と所定のネットワークを介して接続され、前記情報処理装置により処理された前記蛍光成分画像を解析する解析装置と、
    を備える解析システム。

Images