WO2023157755A1 - 情報処理装置、生体試料解析システム及び生体試料解析方法 - Google Patents

情報処理装置、生体試料解析システム及び生体試料解析方法 Download PDF

Info

Publication number
WO2023157755A1
WO2023157755A1 PCT/JP2023/004378 JP2023004378W WO2023157755A1 WO 2023157755 A1 WO2023157755 A1 WO 2023157755A1 JP 2023004378 W JP2023004378 W JP 2023004378W WO 2023157755 A1 WO2023157755 A1 WO 2023157755A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
biomarkers
unit
biological sample
information processing
Prior art date
Application number
PCT/JP2023/004378
Other languages
English (en)
French (fr)
Inventor
乃愛 金子
憲治 池田
哲朗 桑山
和博 中川
友彦 中村
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023157755A1 publication Critical patent/WO2023157755A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/52Use of compounds or compositions for colorimetric, spectrophotometric or fluorometric investigation, e.g. use of reagent paper and including single- and multilayer analytical elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/53Immunoassay; Biospecific binding assay; Materials therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts

Abstract

本開示の一形態に係る情報処理装置は、生体試料を含むサンプルから、前記生体試料由来の蛍光スペクトルと前記生体試料の位置情報を取得する取得部と、前記蛍光スペクトルから、前記生体試料の位置情報に紐づけられた前記生体試料の異なる複数のバイオマーカに関する情報を特定する特定部(133b)と、前記複数のバイオマーカに関する情報に対し、前記複数のバイオマーカの組み合わせに対応する行列分解処理を行い、前記複数のバイオマーカに関する情報の相関関係を出力する相関解析部(133d)と、を備える。

Description

情報処理装置、生体試料解析システム及び生体試料解析方法
 本開示は、情報処理装置、生体試料解析システム及び生体試料解析方法に関する。
 現在、がん免疫サイクルの過程で示されるように、細胞間の相互作用(例えば、細胞同士の接触)ががんの進行や駆逐のきっかけになると考えられている。ところが、それらの関係をアルゴリズム化することは困難であり、例えば、バイオロジカルな側面を満たしたアルゴリズムを得ることは難しい。上記の細胞間の相互作用を把握するため、バイオマーカ間の相関解析を実施することが重要であるが、複数のバイオマーカをクラスタリングする従来のクラスタリング手法(例えば、階層的クラスタリングやソフトクラスタリングなど)では、細胞の位置情報を含んでおらず、多色のバイオマーカ染色の情報が活かしきれていない。例えば、非特許文献1には、病理診断画像において、ある細胞とフェノタイプの細胞間の距離を測り、細胞数や密度を測定するような手法が提案されている。
SNEHA BERRY、外7名、Analysis of multispectral imaging with the AstroPath platform informs efficacy of PD-1 blockade、(online)、Science、11 Jun 2021、Vol 372、Issue 6547、(令和3年11月22日検索)、インターネット<URL:https://www.science.org/doi/10.1126/science.aba2609>
 しかしながら、非特許文献1では、ある細胞とフェノタイプの細胞との関係は一対一の関係であって、あくまでもフェノタイプの細胞種類は1つであり、非特許文献1の手法は複数の細胞種類の相関関係を求める手法ではない。このため、複数の細胞種類の相関関係、すなわち、複数のバイオマーカの相関関係を求める手法が求められている。
 そこで、本開示では、複数のバイオマーカの相関関係を求めることが可能な情報処理装置、生体試料解析システム及び生体試料解析方法を提案する。
 本開示の一形態に係る情報処理装置は、生体試料を含むサンプルから、前記生体試料由来の蛍光スペクトルと前記生体試料の位置情報を取得する取得部と、前記蛍光スペクトルから、前記生体試料の位置情報に紐づけられた前記生体試料の異なる複数のバイオマーカに関する情報を特定する特定部と、前記複数のバイオマーカに関する情報に対し、前記複数のバイオマーカの組み合わせに対応する行列分解処理を行い、前記複数のバイオマーカに関する情報の相関関係を出力する相関解析部と、を備える。
 本開示の一形態に係る生体試料解析システムは、生体試料を含むサンプルである標本画像を取得する撮像装置と、前記標本画像を処理する情報処理装置と、を備え、前記情報処理装置は、前記標本画像から、前記生体試料由来の蛍光スペクトルと前記生体試料の位置情報を取得する取得部と、前記蛍光スペクトルから、前記生体試料の位置情報に紐づけられた前記生体試料の異なる複数のバイオマーカに関する情報を特定する特定部と、前記複数のバイオマーカに関する情報に対し、前記複数のバイオマーカの組み合わせに対応する行列分解処理を行い、前記複数のバイオマーカに関する情報の相関関係を出力する相関解析部と、を有する。
 本開示の一形態に係る生体試料解析方法は、生体試料を含むサンプルから、前記生体試料由来の蛍光スペクトルと前記生体試料の位置情報を取得することと、前記蛍光スペクトルから、前記生体試料の位置情報に紐づけられた前記生体試料の異なる複数のバイオマーカに関する情報を特定することと、前記複数のバイオマーカに関する情報に対し、前記複数のバイオマーカの組み合わせに対応する行列分解処理を行い、前記複数のバイオマーカに関する情報の相関関係を出力することと、を含む。
第1の実施形態に係る情報処理システムの概略構成の一例を示す図である。 第1の実施形態に係る情報処理装置による全体の処理の流れの一例を示すフローチャートである。 第1の実施形態に係る空間解析部の概略構成の一例を示す図である。 第1の実施形態に係る多バイオマーカの相関解析の処理の流れの一例を示すフローチャートである。 第1の実施形態に係るサンプルの実施例1を説明するための図である。 第1の実施形態に係るAF488_CD7のブロックごとの陽性細胞率の一例を示す図である。 第1の実施形態に係るAF555_CD3のブロックごとの陽性細胞率の一例を示す図である。 第1の実施形態に係るAF488_CD7のソート後のブロックごとの陽性細胞率の一例を示す図である。 第1の実施形態に係るAF647_CD5のソート後のブロックごとの陽性細胞率の一例を示す図である。 第1の実施形態に係るJNMF(Joint Non-negative Matrix Factorization)の実施例1を説明するための図である。 第1の実施形態に係るWのクラス分け結果と実際の画像との比較を説明するための図である。 第1の実施形態に係るサンプルの実施例2を説明するための図である。 第1の実施形態に係るJNMFの実施例2を説明するための図である。 第1の実施形態に係るJNMFの実施例3を説明するための図である。 第1の実施形態に係るJNMFの実施例4を説明するための図である。 第1の実施形態に係るJNMFの実施例5を説明するための図である。 第1の実施形態に係るクラスタ数の決定を説明するための図である。 第2の実施形態に係るJNMFを複数回実施した結果Wを示す図である。 第2の実施形態に係るクラスタリングのイメージを説明するための図である。 第2の実施形態に係る初期値算出の処理の流れの一例を示すフローチャートである。 第2の実施形態に係るがん微小環境(TME)の種類を説明するための図である。 第2の実施形態に係るシミュレーションデータセットを説明するための図である。 第2の実施形態に係るサンプル1~8に対してJNMFを実施した結果を説明するための図である。 第2の実施形態に係る既存のサンプル1~8に新規のサンプル9を追加したシミュレーションデータセットに対してJNMFを実施することを説明するための図である。 第2の実施形態に係る初期値の概要を説明するための第1の図である。 第2の実施形態に係る初期値の概要を説明するための第2の図である。 第2の実施形態に係るLSM(最小二乗法)を説明するための図である。 第2の実施形態に係る第1の算出方法を説明するための図である。 第2の実施形態に係る第1の算出方法により算出された初期値を用いたJNMFの結果を説明するための図である。 第2の実施形態に係る第2の算出方法を説明するための図である。 第2の実施形態に係る第2の算出方法により算出された初期値を用いたJNMFの結果を説明するための図である。 第2の実施形態に係る第3の算出方法を説明するための図である。 第2の実施形態に係る第3の算出方法により算出された初期値を用いたJNMFの結果を説明するための図である。 第2の実施形態に係る第4の算出方法を説明するための図である。 第2の実施形態に係る第4の算出方法により算出された初期値を用いたJNMFの結果を説明するための図である。 第2の実施形態に係る第5の算出方法を説明するための図である。 第2の実施形態に係る第5の算出方法により算出された初期値を用いたJNMFの結果を説明するための図である。 蛍光観察装置の概略構成の一例を示す図である。 観察ユニットの概略構成の一例を示す図である。 サンプルの一例を示す図である。 サンプルにライン照明が照射される領域を拡大して示す図である。 顕微鏡システムの全体構成を概略的に示す図である。 撮像方式の例を示す図である。 撮像方式の例を示す図である。 情報処理装置のハードウェアの概略構成の一例を示す図である。
 以下に、本開示の実施形態(実施例、変形例を含む)について図面に基づいて詳細に説明する。なお、この実施形態により本開示に係る装置、システム及び方法等が限定されるものではない。また、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、基本的に同一の符号を付することにより重複説明を省略する。
 以下に説明される1又は複数の実施形態(実施例、変形例を含む)は、各々が独立に実施されることが可能である。一方で、以下に説明される複数の実施形態は少なくとも一部が他の実施形態の少なくとも一部と適宜組み合わせて実施されてもよい。これら複数の実施形態は、互いに異なる新規な特徴を含み得る。したがって、これら複数の実施形態は、互いに異なる目的又は課題を解決することに寄与し得、互いに異なる効果を奏し得る。
 以下に示す項目順序に従って本開示を説明する。
 1.第1の実施形態
 1-1.情報処理システムの構成例
 1-2.情報処理装置の処理例
 1-3.多バイオマーカの相関解析の処理例
 1-4.多バイオマーカの相関解析の具体例
 1-5.作用・効果
 2.第2の実施形態
 2-1.第2の実施形態の要旨
 2-2.初期値算出の処理例
 2-3.初期値算出の実施例
 2-3-1.シミュレーションデータセット
 2-3-2.初期値の算出方法
 2-4.作用・効果
 3.他の実施形態
 4.適用例
 5.応用例
 6.ハードウェアの構成例
 7.付記
 <1.第1の実施形態>
 <1-1.情報処理システムの構成例>
 本実施形態に係る情報処理システムの構成例について図1を参照して説明する。図1は、本実施形態に係る情報処理システムの概略構成の一例を示す図である。情報処理システムは、生体試料解析システムの一例である。
 図1に示すように、本実施形態に係る情報処理システムは、情報処理装置100と、データベース200とを備える。この情報処理システムへの入力として、蛍光試薬10Aと、標本20Aと、蛍光染色標本30Aとが存在する。
 (蛍光試薬10A)
 蛍光試薬10Aは、標本20Aの染色に使用される薬品である。蛍光試薬10Aは、例えば、蛍光抗体(直接標識に使用される一次抗体、または間接標識に使用される二次抗体が含まれる)、蛍光プローブ、または核染色試薬などであるが、蛍光試薬10Aの種類はこれらに特に限定されない。また、蛍光試薬10Aは、蛍光試薬10A(および蛍光試薬10Aの製造ロット)を識別可能な識別情報(以降「試薬識別情報11A」と呼称する)を付されて管理される。試薬識別情報11Aは、例えばバーコード情報など(一次元バーコード情報や二次元バーコード情報など)であるが、これに限定されない。蛍光試薬10Aは、同一(同種類)の製品であっても、製造方法や抗体が取得された細胞の状態などに応じて製造ロット毎にその性質が異なる。例えば、蛍光試薬10Aにおいて、製造ロット毎にスペクトル情報、量子収率、または蛍光標識率(「F/P値:Fluorescein/Protein」とも呼称される。抗体を標識する蛍光分子数を指す)などが異なる。そこで、本実施形態に係る情報処理システムにおいて、蛍光試薬10Aは、試薬識別情報11Aを付されることによって製造ロット毎に管理される(換言すると、各蛍光試薬10Aの試薬情報は製造ロット毎に管理される)。これによって、情報処理装置100は、製造ロット毎に現れる僅かな性質の違いも考慮した上で蛍光シグナルと自家蛍光シグナルとを分離することができる。なお、蛍光試薬10Aが製造ロット単位で管理されることはあくまで一例であり、蛍光試薬10Aは製造ロットよりも細かい単位で管理されてもよい。
 (標本20A)
 標本20Aは、人体から採取された検体または組織サンプルから病理診断または臨床検査などを目的に作製されたものである。標本20Aについて、使用される組織(例えば臓器または細胞など)の種類、対象となる疾病の種類、対象者の属性(例えば、年齢、性別、血液型、または人種など)、または対象者の生活習慣(例えば、食生活、運動習慣、または喫煙習慣など)は特に限定されない。また、標本20Aは、各標本20Aを識別可能な識別情報(以降、「標本識別情報21A」と呼称する)を付されて管理される。標本識別情報21Aは、試薬識別情報11Aと同様に、例えばバーコード情報など(一次元バーコード情報や二次元バーコード情報など)であるが、これに限定されない。標本20Aは、使用される組織の種類、対象となる疾病の種類、対象者の属性、または対象者の生活習慣などに応じてその性質が異なる。例えば、標本20Aにおいて、使用される組織の種類などに応じて計測チャネルまたはスペクトル情報などが異なる。そこで、本実施形態に係る情報処理システムにおいて、標本20Aは、標本識別情報21Aを付されることによって個々に管理される。これによって、情報処理装置100は、標本20A毎に現れる僅かな性質の違いも考慮した上で蛍光シグナルと自家蛍光シグナルとを分離することができる。
 (蛍光染色標本30A)
 蛍光染色標本30Aは、標本20Aが蛍光試薬10Aによって染色されることで作成されたものである。本実施形態において、蛍光染色標本30Aは、標本20Aが少なくとも1つ以上の蛍光試薬10Aによって染色されることを想定しているところ、染色に用いられる蛍光試薬10Aの数は特に限定されない。また、染色方法は、標本20Aおよび蛍光試薬10Aそれぞれの組み合わせなどによって決まり、特に限定されるものではない。蛍光染色標本30Aは、情報処理装置100に対して入力され、撮像される。
 (情報処理装置100)
 情報処理装置100は、図1に示すように、取得部110と、保存部120と、処理部130と、表示部140と、制御部150と、操作部160と、を備える。
 (取得部110)
 取得部110は、情報処理装置100の各種処理に使用される情報を取得する構成である。図1に示すように、取得部110は、情報取得部111と、画像取得部112と、を備える。
 (情報取得部111)
 情報取得部111は、試薬情報および標本情報などの各種情報を取得する構成である。より具体的には、情報取得部111は、蛍光染色標本30Aの生成に使用された蛍光試薬10Aに付された試薬識別情報11A、および標本20Aに付された標本識別情報21Aを取得する。例えば、情報取得部111は、バーコードリーダーなどを用いて試薬識別情報11Aおよび標本識別情報21Aを取得する。そして、情報取得部111は、試薬識別情報11Aに基づいて試薬情報を、標本識別情報21Aに基づいて標本情報をそれぞれデータベース200から取得する。情報取得部111は、取得したこれらの情報を後述する情報保存部121に保存する。
 (画像取得部112)
 画像取得部112は、蛍光染色標本30A(少なくとも1つの蛍光試薬10Aで染色された標本20A)の画像情報を取得する構成である。より具体的には、画像取得部112は、任意の撮像素子(例えば、CCDやCMOSなど)を備えており、当該撮像素子を用いて蛍光染色標本30Aを撮像することで画像情報を取得する。ここで、「画像情報」は、蛍光染色標本30Aの画像自体だけでなく、像として視覚化されていない測定値なども含む概念であることに留意されたい。例えば、画像情報には、蛍光染色標本30Aから放射した蛍光の波長スペクトル(以下、蛍光スペクトルという)に関する情報が含まれていてもよい。画像取得部112は、画像情報を後述する画像情報保存部122に保存する。
 (保存部120)
 保存部120は、情報処理装置100の各種処理に使用される情報、または各種処理によって出力された情報を保存(記憶)する構成である。図1に示すように、保存部120は、情報保存部121と、画像情報保存部122と、解析結果保存部123と、を備える。
 (情報保存部121)
 情報保存部121は、情報取得部111によって取得された試薬情報および標本情報などの各種情報を保存する構成である。なお、後述する解析部131による解析処理および画像生成部132による画像情報の生成処理(画像情報の再構築処理)が終了した後には、情報保存部121は、処理に用いられた試薬情報および標本情報を削除することで空き容量を増やしてもよい。
 (画像情報保存部122)
 画像情報保存部122は、画像取得部112によって取得された蛍光染色標本30Aの画像情報を保存する構成である。なお、情報保存部121と同様に、解析部131による解析処理および画像生成部132による画像情報の生成処理(画像情報の再構築処理)が終了した後には、画像情報保存部122は、処理に用いられた画像情報を削除することで空き容量を増やしてもよい。
 (解析結果保存部123)
 解析結果保存部123は、後述する解析部131や空間解析部133によって行われた解析処理の結果を保存する構成である。例えば、解析結果保存部123は、解析部131によって分離された、蛍光試薬10Aの蛍光シグナルまたは標本20Aの自家蛍光シグナル、また、空間解析部133により得られた相関解析結果や効果予測結果(効果推定結果)などを保存する。また、解析結果保存部123は、別途、機械学習などによって解析精度を向上させるために、解析処理の結果をデータベース200へ提供する。なお、解析結果保存部123は、解析処理の結果をデータベース200へ提供した後には、自らが保存している解析処理の結果を適宜削除することで空き容量を増やしてもよい。
 (処理部130)
 処理部130は、画像情報、試薬情報、および標本情報を用いて各種処理を行う機能構成である。図1に示すように、処理部130は、解析部131と、画像生成部132と、空間解析部133と、を備える。
 (解析部131)
 解析部131は、画像情報、標本情報、および試薬情報を用いて各種解析処理を行う構成である。例えば、解析部131は、標本情報および試薬情報に基づいて画像情報から標本20Aの自家蛍光シグナルと蛍光試薬10Aの蛍光シグナルとを分離する処理(色分離処理)を行う。
 具体的には、解析部131は、標本情報に含まれる計測チャネルに基づいて自家蛍光シグナルを構成する1以上の要素を認識する。例えば、解析部131は、自家蛍光シグナルを構成する1以上の自家蛍光成分を認識する。そして、解析部131は、標本情報に含まれる、これらの自家蛍光成分のスペクトル情報を用いて画像情報に含まれる自家蛍光シグナルを予想する。そして、解析部131は、試薬情報に含まれる、蛍光試薬10Aの蛍光成分のスペクトル情報、および予想した自家蛍光シグナルに基づいて画像情報から自家蛍光シグナルと蛍光シグナルとを分離する。
 ここで、標本20Aが2以上の蛍光試薬10Aで染色されている場合、解析部131は、標本情報および試薬情報に基づいて画像情報(または、自家蛍光シグナルと分離された後の蛍光シグナル)からこれら2以上の蛍光試薬10Aそれぞれの蛍光シグナルを分離する。例えば、解析部131は、試薬情報に含まれる、各蛍光試薬10Aの蛍光成分のスペクトル情報を用いて、自家蛍光シグナルと分離された後の蛍光シグナル全体から各蛍光試薬10Aそれぞれの蛍光シグナルを分離する。
 また、自家蛍光シグナルが2以上の自家蛍光成分によって構成されている場合、解析部131は、標本情報および試薬情報に基づいて画像情報(または、蛍光シグナルと分離された後の自家蛍光シグナル)から各自家蛍光成分それぞれの自家蛍光シグナルを分離する。例えば、解析部131は、標本情報に含まれる各自家蛍光成分のスペクトル情報を用いて、蛍光シグナルと分離された後の自家蛍光シグナル全体から各自家蛍光成分それぞれの自家蛍光シグナルを分離する。
 蛍光シグナルおよび自家蛍光シグナルを分離した解析部131は、これらのシグナルを用いて各種処理を行う。例えば、解析部131は、分離後の自家蛍光シグナルを用いて、他の標本20Aの画像情報に対して減算処理(「バックグラウンド減算処理」とも呼称する)を行うことで当該他の標本20Aの画像情報から蛍光シグナルを抽出してもよい。標本20Aに使用される組織、対象となる疾病の種類、対象者の属性、および対象者の生活習慣などの観点で同一または類似の標本20Aが複数存在する場合、これらの標本20Aの自家蛍光シグナルは類似している可能性が高い。ここでいう類似の標本20Aとは、例えば染色される組織切片(以下切片)の染色前の組織切片、染色された切片に隣接する切片、同一ブロック(染色切片と同一の場所からサンプリングされたもの)における染色切片と異なる切片、又は同一組織における異なるブロック(染色切片と異なる場所からサンプリングされたもの)における切片等)、異なる患者から採取した切片などが含まれる。そこで、解析部131は、ある標本20Aから自家蛍光シグナルを抽出できた場合、他の標本20Aの画像情報から当該自家蛍光シグナルを除去することで、当該他の標本20Aの画像情報から蛍光シグナルを抽出してもよい。また、解析部131は、他の標本20Aの画像情報を用いてS/N値を算出する際に、自家蛍光シグナルを除去した後のバックグラウンドを用いることでS/N値を改善することができる。
 また、解析部131は、バックグラウンド減算処理以外にも分離後の蛍光シグナルまたは自家蛍光シグナルを用いて様々な処理を行うことができる。例えば、解析部131は、これらのシグナルを用いて標本20Aの固定化状態の解析を行ったり、画像情報に含まれる物体(例えば、細胞、細胞内構造(細胞質、細胞膜、核、など)、または組織(腫瘍部、非腫瘍部、結合組織、血管、血管壁、リンパ管、繊維化構造、壊死、など))の領域を認識するセグメンテーション(または領域分割)を行ったりすることができる。
 (画像生成部132)
 画像生成部132は、解析部131によって得られた解析結果に基づいて画像情報を生成する構成である。また、画像生成部132は、解析部131によって分離された蛍光シグナルまたは自家蛍光シグナルに基づいて画像情報を生成(再構成)する。例えば、画像生成部132は、蛍光シグナルのみが含まれる画像情報や自家蛍光シグナルのみが含まれる画像情報を生成することができる。その際、蛍光シグナルが複数の蛍光成分によって構成されていたり、自家蛍光シグナルが複数の自家蛍光成分によって構成されたりしている場合、画像生成部132は、それぞれの成分単位で画像情報を生成することができる。さらに、解析部131が分離後の蛍光シグナルまたは自家蛍光シグナルを用いた各種処理(例えば、標本20Aの固定化状態の解析、セグメンテーション、またはS/N値の算出など)を行った場合、画像生成部132は、それらの処理の結果を示す画像情報を生成してもよい。本構成によれば、標的分子等に標識された蛍光試薬10Aの分布情報、つまり蛍光の二次元的な広がりや強度、波長、及びそれぞれの位置関係が可視化され、特に標的物質の情報が複雑な組織画像解析領域においてユーザである医師や研究者の視認性を向上させることができる。
 また、画像生成部132は、解析部131によって分離された蛍光シグナルまたは自家蛍光シグナルに基づいて自家蛍光シグナルに対する蛍光シグナルを区別するよう制御し、画像情報を生成しても良い。具体的には、標的分子等に標識された蛍光試薬10Aの蛍光スペクトルの輝度を向上させる、標識された蛍光試薬10Aの蛍光スペクトルのみを抽出し変色させる、2以上の蛍光試薬10Aによって標識された標本20Aから2以上の蛍光試薬10Aの蛍光スペクトルを抽出しそれぞれを別の色に変色する、標本20Aの自家蛍光スペクトルのみを抽出し除算または減算する、ダイナミックレンジを向上させる、等を制御し画像情報を生成してもよい。これによりユーザは目的となる標的物質に結合した蛍光試薬由来の色情報を明確に区別することが可能となり、ユーザの視認性を向上させることができる。
 (空間解析部133)
 空間解析部133は、色分離後の画像情報から複数のバイオマーカ間(例えば、組織間)の相関関係を解析する処理や、相関関係の解析結果である相関解析結果に基づいて薬剤効果を予測する処理を行う。例えば、空間解析部133は、複数のバイオマーカで染色した標本画像を空間情報、すなわち位置情報を維持したままクラスタリング解析を行うことで、各バイオマーカ間の相関関係を解析する。このような多バイオマーカの相関解析処理や薬剤効果予測処理については後段で詳しく説明する。なお、空間解析部133は、例えば、処理により得られた相関解析結果や効果予測結果(効果推定結果)などを含む画像情報を生成することができる。この空間解析部133は、画像生成部としても機能する。
 (表示部140)
 表示部140は、画像生成部132や空間解析部133などによって生成された画像情報をディスプレイに表示することでユーザへ提示する構成である。なお、表示部140として用いられるディスプレイの種類は特に限定されない。また、本実施形態では詳細に説明しないが、画像生成部132や空間解析部133などによって生成された画像情報がプロジェクターによって投影されたり、プリンタによってプリントされたりすることでユーザへ提示されてもよい(換言すると、画像情報の出力方法は特に限定されない)。
 (制御部150)
 制御部150は、情報処理装置100が行う処理全般を統括的に制御する機能構成である。例えば、制御部150は、操作部160を介して行われるユーザによる操作入力に基づいて、上記で説明したような各種処理(例えば、蛍光染色標本30Aの撮像処理、解析処理、画像情報の生成処理(画像情報の再構築処理)、および画像情報の表示処理など)の開始や終了などを制御する。なお、制御部150の制御内容は特に限定されない。例えば、制御部150は、汎用コンピュータ、PC、タブレットPCなどにおいて一般的に行われる処理(例えば、OS(Operating System)に関する処理)を制御してもよい。
 (操作部160)
 操作部160は、ユーザからの操作入力を受ける構成である。より具体的には、操作部160は、キーボード、マウス、ボタン、タッチパネル、またはマイクロフォンなどの各種入力手段を備えており、ユーザはこれらの入力手段を操作することで情報処理装置100に対して様々な入力を行うことができる。操作部160を介して行われた操作入力に関する情報は制御部150へ提供される。
 (データベース200)
 データベース200は、標本情報、試薬情報、および解析処理の結果を管理する装置である。より具体的に説明すると、データベース200は、標本識別情報21Aと標本情報、試薬識別情報11Aと試薬情報をそれぞれ紐づけて管理する。これによって、情報取得部111は、計測対象である標本20Aの標本識別情報21Aに基づいて標本情報を、蛍光試薬10Aの試薬識別情報11Aに基づいて試薬情報をデータベース200から取得することができる。
 データベース200が管理する標本情報は、上記のとおり、標本20Aに含まれる自家蛍光成分固有の計測チャネルおよびスペクトル情報を含む情報である。しかし、これら以外にも、標本情報には、各標本20Aについての対象情報、具体的には、使用される組織(例えば臓器、細胞、血液、体液、腹水、胸水など)の種類、対象となる疾病の種類、対象者の属性(例えば、年齢、性別、血液型、または人種など)、または対象者の生活習慣(例えば、食生活、運動習慣、または喫煙習慣など)に関する情報が含まれてもよく、標本20Aに含まれる自家蛍光成分固有の計測チャネルおよびスペクトル情報を含む情報及び対象情報は標本20Aごとに紐づけられてもよい。これにより、対象情報から標本20Aに含まれる自家蛍光成分固有の計測チャネルおよびスペクトル情報を含む情報を容易にたどることができ、例えば複数の標本20Aにおける対象情報の類似性から解析部131に過去に行われた類似の分離処理を実行させ、測定時間を短縮することが可能となる。なお、「使用される組織」は対象から採取された組織には特に限定されず、ヒトや動物等の生体内組織や細胞株、測定の対象物に含まれる溶液、溶剤、溶質、材料も含めてもよい。
 また、データベース200が管理する試薬情報は、上記のとおり、蛍光試薬10Aのスペクトル情報を含む情報であり、しかし、これ以外にも、試薬情報には、製造ロット、蛍光成分、抗体、クローン、蛍光標識率、量子収率、褪色係数(蛍光試薬10Aの蛍光強度の低減し易さを示す情報)、および吸収断面積(またはモル吸光係数)などの蛍光試薬10Aに関する情報が含まれてもよい。さらに、データベース200が管理する標本情報および試薬情報は異なる構成で管理されていてもよく、特に試薬に関する情報はユーザに最適な試薬の組み合わせを提示する試薬データベースであってもよい。
 ここで、標本情報および試薬情報は、製造者(メーカー)などから提供されるか、本開示に係る情報処理システム内で独自に計測されることを想定している。例えば、蛍光試薬10Aの製造者は、製造ロット毎にスペクトル情報や蛍光標識率などを計測し提供することなどをしない場合が多い。したがって、本開示に係る情報処理システム内で独自にこれらの情報を計測し、管理することで蛍光シグナルと自家蛍光シグナルの分離精度が向上され得る。また、管理の簡略化のために、データベース200は、製造者(メーカー)などによって公開されているカタログ値、または各種文献に記載されている文献値などを標本情報および試薬情報(特に試薬情報)として用いてもよい。しかし、一般的に、実際の標本情報および試薬情報はカタログ値や文献値とは異なる場合が多いため、上記のように標本情報および試薬情報が本開示に係る情報処理システム内で独自に計測され管理される方がより好ましい。
 また、データベース200にて管理されている標本情報、試薬情報、および解析処理の結果を用いる機械学習技術などによって、解析処理(例えば、蛍光シグナルと自家蛍光シグナルとの分離処理、多バイオマーカの相関解析処理、薬剤効果の予測処理など)の精度が向上され得る。機械学習技術などを用いて学習を行う主体は特に限定されない。例えば、解析部131は、ニューラルネットワークを用いて学習データによって機械学習された分類器または推定器を生成する。そして、対応する各種情報が新たに取得された場合、解析部131は、それらの情報を分類器または推定器に入力することで、蛍光シグナルと自家蛍光シグナルとの分離処理、多バイオマーカの相関解析処理、薬剤効果の予測処理を行う。
 また、予測される結果よりも精度の高い、過去に行われた類似の処理を求め、それらの処理における処理の内容(処理に用いられる情報やパラメータなど)を統計的または回帰的に分析し、分析結果に基づいて蛍光シグナルと自家蛍光シグナルの分離処理、多バイオマーカの相関解析処理、薬剤効果の予測処理を改善する方法が出力されてもよい。なお、機械学習の方法は上記に限定されず、公知の機械学習技術が用いられ得る。また、人工知能によって蛍光シグナルと自家蛍光シグナルの分離処理、多バイオマーカの相関解析処理、薬剤効果の予測処理が行われてもよい。また、他の各種処理(例えば、標本20Aの固定化状態の解析、またはセグメンテーションなど)が機械学習技術などによって改善されてもよい。
 以上、本実施形態に係る情報処理システムの構成例について説明した。なお、図1を参照して説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理システムの構成は係る例に限定されない。例えば、情報処理装置100は、図1に示す機能構成の全てを必ずしも備えなくてもよい。また、情報処理装置100は、データベース200を内部に備えていてもよい。情報処理装置100の機能構成は、仕様や運用に応じて柔軟に変形可能である。
 また、情報処理装置100は、上記で説明してきた処理以外の処理を行ってもよい。例えば、蛍光試薬10Aに関する量子収率、蛍光標識率、および吸収断面積(もしくはモル吸光係数)などの情報が試薬情報に含まれることによって、情報処理装置100は、自家蛍光シグナルが除去された画像情報、および試薬情報を用いて画像情報における蛍光分子数や、蛍光分子と結合している抗体数などを算出してもよい。
 <1-2.情報処理装置の処理例>
 本実施形態に係る情報処理装置100の処理例(全体フロー)について図2を参照して説明する。図2は、本実施形態に係る情報処理装置100の全体の処理の流れの一例を示すフローチャートである。
 図2に示すように、ステップS11では、ユーザが解析に用いる蛍光試薬10Aおよび標本20Aを決定する。例えば、ユーザは、病理スライド(薄切)を作成する。ステップS12では、ユーザが蛍光試薬10Aを用いて標本20Aを染色することで蛍光染色標本30Aを作成する。
 ステップS13では、情報処理装置100の画像取得部112が蛍光染色標本30Aを撮像することで画像情報を取得する。ステップS14では、解析部131が標本情報および試薬情報に基づいて画像情報から標本20Aの自家蛍光シグナルと蛍光試薬10Aの蛍光シグナルとを分離し、画像生成部132が、分離された蛍光シグナルを用いて画像情報を生成する。例えば、画像生成部132は、画像情報から自家蛍光シグナルが除去された画像情報を生成したり、蛍光シグナルを蛍光色素ごとに示す画像情報を生成したりする。なお、情報取得部111が蛍光染色標本30Aの生成に使用された蛍光試薬10Aに付された試薬識別情報11A、および標本20Aに付された標本識別情報21Aに基づいて試薬情報および標本情報をデータベース200から取得する。
 ステップS15では、空間解析部133が色分離後の画像情報からバイオマーカの解析を行う。例えば、空間解析部133は細胞のフェノタイプを決定する。ステップS16では、空間解析部133が多バイオマーカの位置情報を持つ次元圧縮(クラスタリング)を行う。例えば、空間解析部133は、多バイオマーカの位置情報を持つ次元圧縮を行い、バイオマーカ間の相関解析を実行する。ステップS17では、空間解析部133がバイオマーカ間の相関関係から特徴量を抽出する。ステップS18では、空間解析部133が特徴量と患者情報を用いて薬物(薬剤)の効果予測を実行する。例えば、空間解析部133は、特徴量と患者情報を用いて最適な薬物選択や薬物効果予測などを行う。患者情報は、例えば、患者識別情報や患者に対する投与薬剤候補などの情報を含んでもよい。このようなステップS15からS18の処理について、また、その処理に関する空間解析部133の構成について詳しくは後述する。
 なお、空間解析部133は、ステップS16により得られた解析結果を含む画像情報、また、ステップS17により得られた特徴量を含む画像情報、ステップS18により得られた最適な薬物選択や薬物効果予測を含む画像情報などを生成してもよい。これらの画像情報は、表示部140によって表示される。これにより、ユーザは、表示部140により表示された各種情報を見て把握することができる。
 また、図2に示すフローチャートにおける各ステップは、必ずしも記載された順序に沿って時系列に処理される必要はない。すなわち、フローチャートにおける各ステップは、記載された順序と異なる順序で処理されても、並列的に処理されてもよい。また、情報処理装置100は、図2には示されていない処理を併せて実行してもよい。
 <1-3.多バイオマーカの相関解析の処理例>
 本実施形態に係る多バイオマーカの相関解析の処理例について図3及び図4を参照して説明する。図3は、本実施形態に係る空間解析部133の概略構成の一例を示す図である。図4は、本実施形態に係る多バイオマーカの相関解析の処理の流れの一例を示すフローチャートである。
 図3に示すように、空間解析部133は、選定部133aと、特定部133bと、ソート部133cと、相関解析部133dと、推定部133eと、を備える。
 選定部133aは、サンプル(例えば、標本画像)の所定領域(例えば、関心領域)を決定する。特定部133bは、所定領域(例えば、所定視野)の生体試料由来の蛍光スペクトルから、所定領域の生体試料の位置情報に紐づけられた生体試料の異なる複数のバイオマーカに関する情報(例えば、陽性細胞量)を抽出して特定する。ソート部133cは、複数のバイオマーカに関する情報のうち一つのバイオマーカに関する情報に含まれる複数の単位情報(例えば、ブロック)の並び順に基づいて、その他のバイオマーカに関する情報に含まれる複数の単位情報(例えば、ブロック)の並び順を変える。相関解析部133dは、各単位情報の並び順が変えられた複数のバイオマーカに関する情報をクラスタリング処理し、複数のバイオマーカに関する情報の相関関係を出力する。推定部133eは、複数のバイオマーカに関する情報の相関関係及び患者への投与薬剤候補から、投与薬剤候補の患者への奏功性を推定する。
 ここで、取得部110(図1参照)は、生体試料を含むサンプルから、生体試料由来の蛍光スペクトルと生体試料の位置情報を取得する。保存部120は、その生体試料由来の蛍光スペクトルと生体試料の位置情報を保存する。この生体試料由来の蛍光スペクトルと生体試料の位置情報が選定部133aにより用いられる。また、取得部110(図1参照)、すなわち情報取得部111は、生体試料に関する患者への投与薬剤候補を取得する。保存部120は、その生体試料に関する患者への投与薬剤候補を保存する。この生体試料に関する患者への投与薬剤候補の情報が推定部133eにより用いられる。
 図4に示すように、ステップS21では、選定部133aが色分離後の標本画像に対して視野選定(所定領域の決定)を実行するか否かを判断する。ステップS22では、選定部133aが視野選定を実行する。ステップS23では、特定部133bが色分離後の標本画像又はその標本画像の選定視野においてバイオマーカの陽性細胞を数える。例えば、特定部133bは、色分離後の標本画像又はその標本画像の選定視野を行列状のブロック領域に分け、そのブロック領域ごとに陽性細胞率、陽性細胞数又は輝度値を求める。これにより、陽性細胞率、陽性細胞数又は輝度値の行列が求められる。行列情報には、位置情報も含まれる。なお、陽性細胞率とは単位面積当たりに存在する細胞数に対する陽性細胞数である。陽性細胞数とは単位面積当たりの細胞数、すなわち陽性細胞密度と同義である。
 ステップS24では、ソート部133cが、あるバイオマーカの陽性細胞率、陽性細胞数又は輝度値に基づいて、他のバイオマーカの陽性細胞率、陽性細胞数又は輝度値の行列に対してソート処理を行う。ステップS25では、相関解析部133dが行列の正規化を実行するか否かを判断する。ステップS26では、相関解析部133dが行列の正規化を実行する。ステップS27では、相関解析部133dが行列のデータの非負値化を実行する。ステップS28では、相関解析部133dが最適なクラスタ数を決定する。例えば、最適なクラスタ数は、相関解析部133dにより自動的に決定されてもよく、あるいは、操作部160に対するユーザの入力操作に応じて設定されてもよい。
 ステップS29では、相関解析部133dが行列のデータに対して行列分解処理を実行する。例えば、相関解析部133dは、JNMF(Joint Non-negative Matrix Factorization:jNMF)により、多バイオマーカの位置情報を持った次元圧縮(複数行列の同時分解)を実行する。ステップS30では、相関解析部133dが次元圧縮の結果からクラスタリングを実行する。ステップS31では、相関解析部133dが共通モジュールのメンバーシップを決定する。ステップS32では、相関解析部133dが多バイオマーカ間の相関解析を行う。例えば、相関解析部133dは特徴量を抽出する。ステップS33では、推定部133eが、特徴量を抽出したデータを読み込む。ステップS34では、推定部133eが大量のデータがあるか否かを判断する。ステップS35では、推定部133eがAI/機械学習を実行する。ステップS36では、推定部133eが効果予測を実行する。
 ここで、ステップS26では、サンプル間やバイオマーカ間で値の大きさが大きく異なる場合、各行列の二乗和が同じになるように行列の大きさが正規化される。また、ステップS35では、推定部133eは、抽出された特徴量を読み込み、細胞のフェノタイプを決定することが可能である。この推定部133eは、患者情報と合わせて患者のがんのフェノタイプを想定し、最適な薬物(薬剤)選択や薬物効果予測を実行したり、あるいは、治験などの患者選別に使用したりする。推定部133eは、AI/機械学習により予測器として機能する。なお、効果予測を行う際には、抽出された特徴量からAIなどによる予測を実行してもよい。
 なお、図4に示すフローチャートにおける各ステップは、必ずしも記載された順序に沿って時系列に処理される必要はない。すなわち、フローチャートにおける各ステップは、記載された順序と異なる順序で処理されても、並列的に処理されてもよい。また、情報処理装置100は、図4には示されていない処理を併せて実行してもよい。
 <1-4.多バイオマーカの相関解析の具体例>
 本実施形態に係る標本画像に対する多バイオマーカの相関解析の具体例について図5から図17を参照して説明する。
 図5は、本実施形態に係るサンプルの実施例1を説明するための図である。図5に示すように、連続切片3枚(切片番号#8、#10、#12)が用いられる。これらの連続切片(標本画像)は、扁桃のサンプルである。具体的には、AF488_CD7、AF555_CD3、AF647_CD5、DAPI(4',6-Diamidino-2-phenylindole,dihydrochloride)で染色された扁桃のサンプルが用いられ、そのサンプルが連続切片3枚分用いられる。
 (視野選定処理)
 選定部133aは、連続切片(切片番号#8、#10、#12)ごとに異なる3視野分(F1、F2、F3)をそれぞれ3帯×4ブロック(計12ブロック、1ブロック610×610pixel)の領域に分割し、総計108ブロック分をデータとして使用する。この領域は所定領域(関心領域)であり、所定領域はあらかじめ設定されている。所定領域は、操作部160に対するユーザの入力操作によって設定可能であってもよい。なお、1つの切片内の各領域の位置情報は二次元情報(平面内の位置情報)であり、連続切片内の各領域の位置情報は三次元情報(空間情報)となる。例えば、位置情報は、画素に基づくXY座標やZ座標などを含む。
 (陽性細胞量算出処理)
 特定部133bは、領域(ブロック)ごとに各バイオマーカの陽性細胞率を求める。例えば、特定部133bは、領域ごとに各バイオマーカの陽性細胞率(%)を求める。これにより、例えば、AF488_CD7、AF555_CD3、AF647_CD5の個々の陽性細胞率が求められる。なお、特定部133bは、陽性細胞率以外の数値を求めてもよく、例えば、領域内の平均輝度値や陽性細胞数などを求めてもよい。
 図6は、本実施形態に係るAF488_CD7のブロックごとの陽性細胞率の一例を示す図である。図7は、本実施形態に係るAF555_CD3のブロックごとの陽性細胞率の一例を示す図である。これらの図6及び図7の例では、サンプル名は「視野_連続切片番号」で示されており(以降の図でも同様)、また、分かりやすくするために視野(F1、F2、F3)ごとに塗り潰しパターンが変えられている。この塗り潰しパターンは、図5の塗り潰しパターンに対応している。
 (ソート処理)
 ソート部133cは、特定のバイオマーカの陽性細胞率を基に、他のバイオマーカのブロック(空間)をサンプルごとにソートする。例えば、ソート部133cは、特定のバイオマーカの陽性細胞率に基づいて、他のバイオマーカのブロックをサンプルごとに行方向にソートする。具体的には、ソート部133cは、AF555_CD3の陽性細胞率が降順となるブロックの並び順に合わせてAF488_CD7のブロックを並び替える。また、ソート部133cは、AF555_CD3の陽性細胞率が降順となるブロックの並び順に合わせてAF647_CD5のブロックを並び替える。
 上記の並び替え時、ソート部133cは、ブロック名(例えば、1帯の1、1帯の2、1帯の3、・・・)に基づいてブロックを並び替えることになる。並び替え後には、AF555_CD3及びAF647_CD7において、同じ順番でブロック名(ブロック)が並ぶことになる。これは、AF555_CD3及びAF647_CD5においても同様であり、並び替え後には、同じ順番でブロック名(ブロック)が並ぶことになる。
 図8は、本実施形態に係るAF488_CD7のソート後のブロックごとの陽性細胞率の一例を示す図である。図9は、本実施形態に係るAF647_CD5のソート後のブロックごとの陽性細胞率の一例を示す図である。図8に示すように、AF488_CD7のブロックは、AF555_CD3の陽性細胞率が降順となるブロックの並び順に並んでいる。また、図9に示すように、AF647_CD5のブロックも、AF555_CD3の陽性細胞率が降順となるブロックの並び順に並んでいる。
 (位置情報を保持した行列分解処理)
 相関解析部133dは、ソートして並び替えた行列のデータに対して行列分解処理、例えば、上述したような複数のバイオマーカの組み合わせに対応する行列分解処理を実施する。ここでは、すべての値が陽性細胞率であるため、行列の正規化は行われず、また、すべてが正の値のため非負値処理もスキップされる。例えば、相関解析部133dは、JNMFで2つの行列を処理し、行列分解(次元圧縮)を行う。このとき、相関解析部133dは、位置情報(空間情報)を保持したまま、複数行列の同時分解を実施する。なお、相関解析部133dは、入力データとして、各バイオマーカに関する情報やクラスタ数kなどの情報を取得する。
 図10は、本実施形態に係るJNMFの実施例1を説明するための図である。図10の例では、クラスタ数kは、例えば、視野が三視野であるため、k=3に設定されている。なお、クラスタ数kは、適宜設定されているが、エルボー法などによって求められてもよい。このエルボー法によるクラスタ数kの算出について詳しくは後述する。なお、図10の例では、CD3はAF555_CD3であり、CD5はAF647_CD5であり、CD7がAF488_CD7である。以下では、AF555_CD3をCD3と、AF647_CD5をCD5と、AF488_CD7をCD7ということがある。
 ここで、JNMF(Joint NMF)は、NMF(Non-negative Matrix Factorization:非負行列因子分解)を拡張したものである。このJNMFは、複数行列を対象にすることができ、マルチオミクスデータの統合解析を可能とする。NMFは、ある1つの行列を2つの小さな行列に分解することである。ここで、ある行列をN×Mの行列Xとし、行列Xが行列W及びHの積として表せるものである。詳しくは、NMFは、非負のN行M列(N×M)の行列Xを非負のN行k列(N×k)の行列Wと非負のk行M列(k×M)の行列Hとに分解する(X=WH)。例えば、行列Xと、行列W及び行列Hの積(W*H)間の平均平方二乗残差Dが最小となるように行列W及び行列Hが決定される。kはクラスタ数である。なお、NMFは、明示的なクラスタリングではなく潜在的な要素の分解により行列要素間の関連性を際立たせることができ、さらには、変異や過剰発現等の外れ値を捉えることに適した手法である。
 なお、行列分解処理の手法としては、上記のJNMF以外にも、INMF(Infinite NMF)、MCCA(Multiple Canonical Correlation Analysis)、MB-PLS(Multi-Block Partial Least-Squares)、JIVE(Joint and Individual Variation Explained)などを用いることが可能である。
 ここで、図10の例では、クラス(クラスタ)が3つ、CL1、CL2、CL3となる。CL1は、Wの1列目、H1及びH2の1行目である。CL2は、Wの2列目、H1及びH2の2行目である。CL3は、Wの3列目、H1及びH2の3行目である。ここでは、データは共通基底ベクトルWと特徴ベクトルH1及びH2に分けられる。
 (クラスタリング処理)
 相関解析部133dは、サンプルを共通基底ベクトルWの値に基づいて各クラスタに分類し、メンバーシップを決定する(クラスタリング)。クラスタごとのメンバーシップの決定では、値が閾値以上である領域をクラスタのメンバーシップとして決定してもよく、あるいは、Zスコアからクラスタのメンバーシップを求めてもよい。
 (共通モジュールの抽出)
 相関解析部133dは、クラスタごとに特徴ベクトルの値が高かった領域(ブロック)を共通モジュールのメンバーシップとして抽出する。例えば、相関解析部133dは、各バイオマーカの相関関係、すなわち、クラスタごとの共通モジュールのメンバーシップに基づいて、共通モジュールごとの細胞の特徴量(例えば、陽性率)を抽出する。共通モジュールは、クラスタリング結果に係るメンバーシップとして抽出された領域である。このメンバーシップは、クラスタリング結果に係る共通特徴量として抽出された構成要素であり、例えば、共通特徴量として抽出された構成領域(例えば、領域又はブロックなど)である。
 共通モジュールのメンバーシップの決定では、値が閾値以上である領域を共通モジュールのメンバーシップとして決定してもよく、あるいは、Zスコアから共通モジュールのメンバーシップを求めてもよい。なお、Zスコアから共通モジュールのメンバーシップを求める方法について詳しくは後述する。
 図10の例では、CL1は、視野F2が主な領域で視野F3も含んでいるが、CL1の共通モジュールのメンバーシップとしては、視野F2の領域でCD3が高くCD7も高い且つCD3が高くCD5が高い領域が抽出される。また、CL2は、視野F1が分類され、共通モジュールのメンバーシップとして視野F1の領域でCD3が高くCD7も高い且つCD3が高くCD5が高い領域が抽出される。また、CL3としては、視野F3の領域が分類される。このようなクラスタごとのサンプルの分類に基づいて、共通モジュールごとの細胞の特徴量(例えば、陽性率)が抽出される。
 上記の結果のように、わずかな陽性細胞率の違いから、視野(F1、F2、F3)ごとにクラスタを分けることができる。また、CD3が高くCD7も高い且つCD3が高くCD5が高い領域を相関関係があるとして抽出することができる。なお、CD3、CD5、CD7はT細胞のマーカのため、予想していた結果と同様の結果を得ることができた。
 ここで、図11は、本実施形態に係るWのクラス分け結果と実際の画像との比較を説明するための図である。なお、図11の例では、CD3はAF555_CD3である。
 図11に示すように、JNMFのWのCL毎に値が高かった領域と、実際の画像の目視評価との比較を行った。実際の画像は領域ごとにCD3降順でソートしたときの1番目に値が高かったブロック、6番目に値が高かったブロック(中央値)、12番目に値が高かったブロック(最低値)と比較した。CD7とCD5の傾向は似ているため、今回はCD7の画像のみを示している。
 視野毎に画像とそれぞれのバイオマーカの陽性細胞率、JNMFの結果と比較した。視野F1(視野1)はCL2として主に割り当てられるが、CD3でソートしたときの値が一番高かった領域でF1_8のみがCD5の陽性率が73.5%だったのに対し、F1_10とF1_12はどちらも90%を上回っていた。これは、WのCL2の値がF1_8のみ低い結果に反映されている。また、視野F2(視野2)はCL1として主に割り当てられるが、CD3でソートしたときの値が一番高かった領域でF2_12のみがCD5、7ともに70%代だったのに対し、F2_8とF2_10はどちらも95%を上回っていた。これは、WのCL1の値がF2_12のみ低い結果に反映されている。また、視野3(F3)はCL3に割り当てられるが、F3_8、F3_10、F3_12ともにCD5とCD7で似た傾向を示した。これは、WのCL3の値がF3_8、F3_10、F3_12の全てで高かった結果に反映されている。これらのことから、JNMFは、細かな特徴量を反映させてクラスタリングを実行することができることがわかる。
 このような一連の多バイオマーカの相関解析によれば、複数のバイオマーカで染色した標本画像を、位置情報を保持したままクラスタリング処理することで、位置情報と多バイオマーカの陽性細胞の相互作用を解析することができる。つまり、異なるバイオマーカの陽性率と位置情報から、異なるバイオマーカの相関関係を解析して取得することができる。
 なお、前述の説明では、一つの標本から三視野を指定したが、これに限定されるものではなく、より広い領域で複数視野を指定することで、同じ標本でも視野毎の細胞の特徴量を抽出することができる。また、これ以外にも標本のホールスライドを使用して標本ごとに比較を行うことも可能であり、その比較結果を患者選別に応用することができる。また、異なる標本をサンプルとして用いることで(例えば、扁桃、リンパ、大腸、骨髄、皮膚など)、異なるガン細胞の共通特徴量や多マーカの相関を調べることが可能であり、その結果をがんの種類の薬剤予測等に応用することができる。
 図12は、本実施形態に係るサンプルの実施例2(標本ごとに視野を選定した場合)を説明するための図である。図13は、本実施形態に係るJNMFの実施例2を説明するための図である。図12に示すように、例えば、標本(例えば、Sample1~m)ごとに視野を設定し、その視野を1~n個のブロックに分割する。なお、ブロック数は、操作部160に対するユーザの入力操作によって設定可能であってもよい。
 次いで、図13に示すように、空間解析部133は、標本(例えば、Sample1~7)ごとに、標本の視野に対するソート処理などの必要な処理を実行する。例えば、ソート部133cは、バイオマーカ(1)に基づいてバイオマーカ(2)、バイオマーカ(3)及びバイオマーカ(4)に対するソート処理を実行する。このように、標本ごとにソートを実行して相関解析を行うことも可能である。
 図14は、本実施形態に係るJNMFの実施例3を説明するための図である。図14に示すように、空間解析部133は、標本の患者(例えば、患者A~G)ごとに、患者の標本に対するソート処理などの必要な処理を実行する。例えば、ソート部133cは、図13の実施例2と同様、バイオマーカ(1)に基づいてバイオマーカ(2)、バイオマーカ(3)及びバイオマーカ(4)に対するソート処理を実行する。このように、標本の患者ごとにソートを実行して相関解析を行うことも可能である。
 図15は、本実施形態に係るJNMFの実施例4を説明するための図である。図15に示すように、空間解析部133は、標本の患者の部位(例えば、扁桃、リンパ、大腸、骨髄、皮膚など)ごとに、患者の部位の標本に対するソート処理などの必要な処理を実行する。例えば、ソート部133cは、図13の実施例2と同様、バイオマーカ(1)に基づいてバイオマーカ(2)、バイオマーカ(3)及びバイオマーカ(4)に対するソート処理を実行する。このように、標本の患者の部位ごとにソートを実行して相関解析を行うことも可能である。
 図16は、本実施形態に係るJNMFの実施例5を説明するための図である。図16に示すように、空間解析部133は、図14の実施例3と同様、標本の患者(例えば、患者A~G)ごとに、患者の標本に対するソート処理やクラスタリング処理などの必要な処理を実行する。ただし、ソート部133cは、バイオマーカ(1)に基づいてバイオマーカ(2)及びバイオマーカ(3)に対するソート処理を実行し、バイオマーカ(2)に基づいてバイオマーカ(4)に対するソート処理を実行する。このように、ソートに用いるバイオマーカを一つではなく、複数種類のマーカを用いてソートを実行して相関解析を行うことも可能である。
 (クラスタ数の決定)
 相関解析部133dは、例えば、残差の誤差傾向からクラスタ数kを決定することができる。相関解析部133dは、クラスタ数kを変えながらJNMFの残差平方和(SSE)を求め、その残差平方和の変化傾向から最適なクラスタ数kを求めることが可能である。なお、最適なクラスタ数kを求めるときに変化傾向が分かりにくい場合には、さらにエルボー法などの手法によって最適なクラスタ数kを求めることができる。エルボー法は、SSEとクラスタ数kがともになるべく小さい組み合わせをみつける手法である。なお、例えば、残差やユークリッド距離が最小になるクラスタ数kを設定してもよく、あるいは、ユーザの設定したいクラスタ数で設定してもよい。つまり、クラスタ数kは、操作部160に対するユーザの入力操作によって設定可能であってもよい。
 ここで、図17は、本実施形態に係るクラスタ数kの決定を説明するための図である。図17の例では、縦軸がSSEであり、横軸がクラスタ数kである。図17に示すように、相関解析部133dは、クラスタ数kを変えながら、行列X1に対するJNMFのSSEと、行列X2に対するJNMFのSSEとを求め、それらの全体(X1、X2)の平均を求める。クラスタ数kとSSEとの関係情報から、SSEとクラスタ数kがともになるべく小さい組み合わせとして、例えば、SSEが約4000でクラスタ数kが3である組み合わせを選択する。これにより、クラスタ数kが3と決定される。
 (クラスタのメンバーシップと共通モジュールのメンバーシップの決定)
 相関解析部133dは、サンプルや空間ごとに必ずサンプルを一つのクラスタに属させたい場合には、最大値からクラスタを設定することが可能である。ところが、サンプルによっては、サンプルが複数のクラスタに属する、あるいは、すべてのクラスタに属さない場合も考えられるため、クラスタのメンバーシップをZスコアから求めることが可能である。
 例えば、相関解析部133dは、Zij=(Xij-U)/σの関係式を用いて、Wの各列、Hの各行の各要素のZスコア(Zij)を算出する。ここで、Uは、Hi(i=1、2、3、・・・)における各バイオマーカの陽性細胞率、陽性細胞数又は輝度値などの平均あるいは中央値である。σは、標準偏差あるいは中央絶対偏差である。
 相関解析部133dは、Zijが閾値Tよりも大きければ、そのZijを共通モジュールのメンバーシップとして割り当てる。閾値Tはあらかじめ設定されている。閾値Tは、統計学的優位性から2以上の値に設定されてもよいし、クラスタのメンバーシップの傾向からユーザにより適した値に設定されてもよい。閾値Tは、操作部160に対するユーザの入力操作によって設定可能であってもよい。
 なお、Zスコア以外の特徴量抽出の式としては、特徴量=Xij-U(平均との差分)、あるいは、特徴量=Xij-U/U(標準偏差で割るのではなく、平均値で割る)を用いることも可能である。
 (クラスタのメンバーシップ割り当ての相関の確認)
 相関解析部133dは、クラスタリングの安定性を評価するため、各クラスタリング処理の処理結果の特徴が相関しているかを確認するために、ピアソンの相関係数やペアワイズ相関分析などを用いた相関解析を行ってもよい。
 (クラウド連携)
 各種データをクラウドと連携し、クラウド側で各種処理の実施を行うことで、クラウド側のソフトにより、多バイオマーカの相関解析処理や薬剤効果の予測処理などの各種処理(例えば、視野選定処理、陽性細胞量算出処理、ソート処理、クラスタリング処理など)を実行することも可能である。
 なお、上述した実施形態では、三種類や四種類のバイオマーカを使用するが、これに限定されるものではなく、二種類又は五種類以上のバイオマーカを使用してもよい。また、ソートに用いるバイオマーカは、例えば、免疫細胞マーカであっても、腫瘍マーカであってもよい。なお、バイオマーカとしては、例えば、分子バイオマーカや細胞バイオマーカなどが含まれる。
 <1-5.作用・効果>
 以上説明したように、本実施形態によれば、情報処理装置100は、生体試料を含むサンプルから、生体試料由来の蛍光スペクトルと生体試料の位置情報を取得する取得部110と、蛍光スペクトルから、生体試料の位置情報に紐づけられた生体試料の異なる複数のバイオマーカに関する情報を特定する特定部133bと、複数のバイオマーカに関する情報に対し、前記複数のバイオマーカの組み合わせに対応する行列分解処理(例えば、多バイオマーカの位置情報を持った次元圧縮)を行い、複数のバイオマーカに関する情報の相関関係を出力する相関解析部133dと、を備える。これにより、複数のバイオマーカに関する情報の相関関係を取得することが可能になるので、複数のバイオマーカの相関関係を求めることができる。
 また、相関解析部133dは、複数のバイオマーカに関する情報に対し、JNMFにより行列分解処理を実行してから、クラスタリング処理を実行してもよい。これにより、複数のバイオマーカの相関関係を確実に求めることができる。
 また、相関解析部133dは、クラスタリング処理のクラスタ数kを変えながら、JNMFの残差平方和(SSE)を求め、残差平方和の変化傾向からクラスタ数kを決定してもよい。これにより、適切なクラスタ数kを求めることができる。
 また、クラスタリング処理のクラスタ数kは、ユーザにより設定されていてもよい。これにより、ユーザが希望するクラスタ数kを設定することができる。
 また、情報処理装置100は、サンプルの所定領域(例えば、視野F1、視野F2、視野F3)を決定する選定部133aをさらに備え、特定部133bは、所定領域の蛍光スペクトルから、所定領域の生体試料の位置情報に紐づけられた複数のバイオマーカに関する情報を特定してもよい。これにより、サンプルの所定領域(例えば、関心領域)における各バイオマーカの相関関係を求めることができる。
 また、選定部133aは、複数の所定領域(例えば、視野F1、視野F2、視野F3)を決定してもよい。これにより、サンプルの複数の所定領域における各バイオマーカの相関関係を求めることができる。
 また、クラスタリング処理のクラスタ数kは、所定領域の数に応じて設定されていてもよい。これにより、サンプルの複数の所定領域における各バイオマーカの相関関係を確実に求めることができる。
 また、所定領域は、ユーザにより設定されていてもよい。これにより、ユーザが希望する所定領域を設定することが可能になるので、ユーザの希望に応じた所定領域における各バイオマーカの相関関係を求めることができる。
 また、選定部133aは、複数のサンプルの共通位置の所定領域(例えば、視野F1、視野F2、視野F3)を決定し、取得部110は、所定領域ごとに蛍光スペクトルと生体試料の位置情報を取得し、特定部133bは、所定領域ごとの蛍光スペクトルから、所定領域ごとの生体試料の位置情報に紐づけられた所定領域ごとの複数のバイオマーカに関する情報を特定し、相関解析部133dは、所定領域ごとの複数のバイオマーカに関する情報に対して行列分解処理を行い、所定領域ごとの複数のバイオマーカに関する情報の相関関係を出力してもよい。これにより、複数のサンプルの共通位置の所定領域における各バイオマーカの相関関係を求めることができる。
 また、選定部133aは、複数のサンプルの相違位置の所定領域(例えば、視野F1、視野F2、視野F3)を決定し、取得部110は、所定領域ごとに蛍光スペクトルと生体試料の位置情報を取得し、特定部133bは、所定領域ごとの蛍光スペクトルから、所定領域ごとの生体試料の位置情報に紐づけられた所定領域ごとの複数のバイオマーカに関する情報を特定し、相関解析部133dは、所定領域ごとの複数のバイオマーカに関する情報に対して行列分解処理を行い、所定領域ごとの複数のバイオマーカに関する情報の相関関係を出力してもよい。これにより、複数のサンプルの相違位置の所定領域における各バイオマーカの相関関係を求めることができる。
 また、複数のサンプルは、異なる複数の標本であってもよい。これにより、異なる複数の標本における各バイオマーカの相関関係を求めることができる。
 また、複数の標本は、患者ごとの標本であってもよい。これにより、患者ごとの標本における各バイオマーカの相関関係を求めることができる。
 また、複数の標本は、患者の部位ごとの標本であってもよい。これにより、患者の部位ごとの標本における各バイオマーカの相関関係を求めることができる。
 また、情報処理装置100は、前記複数のバイオマーカに関する情報のうち一つのバイオマーカに関する情報に含まれる複数の単位情報(例えば、ブロック)の並び順に基づいて、その他のバイオマーカに関する情報に含まれる複数の単位情報(例えば、ブロック)の並び順を変えるソート部133cをさらに備え、相関解析部133dは、並び順が変えられた複数のバイオマーカに関する情報に対して行列分解処理を行い、複数のバイオマーカに関する情報の相関関係を出力してもよい。これにより、複数のバイオマーカの相関関係を確実に求めることができる。
 また、情報処理装置100は、生体試料に関する患者への投与薬剤候補を取得する情報取得部111と、複数のバイオマーカに関する情報の相関関係及び患者への投与薬剤候補から、投与薬剤候補の患者への奏功性を推定する推定部133eと、をさらに備えてもよい。これにより、投与薬剤候補の患者への奏功性を推定することができる。
 また、推定部133eは、複数のバイオマーカに関する情報の相関関係から、共通モジュールのメンバーシップを抽出し、共通モジュールのメンバーシップ及び患者への投与薬剤候補から、投与薬剤候補の前記患者への奏功性を推定してもよい。これにより、投与薬剤候補の患者への奏功性を確実に推定することができる。
 また、バイオマーカに関する情報は、陽性細胞の程度(例えば、陽性細胞量)であってもよい。これにより、複数のバイオマーカの相関関係を確実に求めることができる。
 また、バイオマーカに関する情報は、陽性細胞の程度を示す陽性細胞率、陽性細胞数又は輝度値であってもよい。これにより、複数のバイオマーカの相関関係を確実に求めることができる。
 <2.第2の実施形態>
 <2-1.第2の実施形態の要旨>
 本実施形態に係る第2の実施形態の要旨について図18を参照して説明する。図18は、本実施形態に係るJNMF(jNMF)を複数回実施した結果Wを示す図である。
 前述の第1の実施形態に係るステップS29では、JNMFの計算の最初に、W、H1、H2、・・・、Hnに対して初期値を与えて計算している。デフォルトでは、例えば、W、H1、H2、・・・、Hnの初期値に乱数を与えている。初期値に乱数を与えることで初期値がランダムになるため、結果がばらつく可能性がある。特に、クラスタ数が大きくなるにつれ、結果がばらつく可能性は高くなる。
 図18には、クラスタ数k=6の場合にJNMFを複数回実施した結果Wが示されている。具体的には、18サンプルのシミュレーションデータセットを用いてクラスタ数k=6でJNMFを複数回実施した結果Wが示されている。実施回数は、3回である(1回目、2回目、3回目)。図18に示すように、実施回数ごとに初期値が異なるため、実施回数ごとの結果Wが異なっている。このように結果Wがばらつくことがある。
 そこで、第2の実施形態では、初期値に乱数ではなく、適切な所定の初期値(例えば、最適な所定の初期値)を与える。所定の初期値は、例えば、既定の固定値である。これにより、結果が安定する。また、既存のJNMFクラスタリング結果に基づいてクラスタリングできる。さらに、初期値に適切な所定の初期値を与えることで、乱数を利用した場合に比べて計算時間が大幅に短縮できる。計算結果が早くに収束するため、JNMFのloop数やiteration数などが、乱数を利用した場合に比べて少なくなる。
 <2-2.初期値算出の処理例>
 本実施形態に係る初期値算出の処理例について図19及び図20を参照して説明する。図19は、本実施形態に係るクラスタリングのイメージを説明するための図である。図20は、本実施形態に係る初期値算出の処理の流れの一例を示すフローチャートである。
 図19に示すように、JNMFを実施したシミュレーションデータセット(例えば、サンプル#1~サンプル#n)が既にある。このデータセットに新たに1個以上のサンプル(例えば、サンプル#x)を加えてJNMFを実施し、クラスタリング結果を得る。このような状況において、所定の初期値を用いるJNMFを実現するためには、その所定の初期値をあらかじめ求めておく必要がある。この所定の初期値を求める初期値算出の処理例について以下で説明する。
 図20に示すように、ステップS41では、相関解析部133dが、領域の貢献度・特徴量を表示するか否かを判断する。ステップS42では、相関解析部133dが、既存のデータセットで算出したHのデータを使用してLSMを行う。ステップS43では、相関解析部133dが、JNMFの初期値を与えるか否かを判断する。ステップS44では、相関解析部133dが、W及びHすべての値に乱数を使用する(デフォルト)。
 ステップS45では、マーカ毎のX及びHをそれぞれ連結し、それぞれ連結したマーカ毎のX及びHでLSMを実施してWを取得し、取得したWを所定の初期値として採用する(第1の算出方法)。ステップS46では、マーカ毎のX及びHでLSMを実施してマーカ毎のWを取得し、取得したマーカ毎のWから、残差が一番小さいWを所定の初期値として採用する(第2の算出方法)。ステップS47では、マーカ毎のX及びHでLSMを実施してマーカ毎のWを取得し、取得したマーカ毎のWの平均値を所定の初期値として採用する(第3の算出方法)。ステップS48では、新規追加したサンプルのみ乱数を所定の初期値として採用する(第4の算出方法)。ステップS49では、CL毎のWの平均値を所定の初期値として採用する(第5の算出方法)。前述のステップS45~S49に係る第1から第5の算出方法について詳しくは後述する。
 なお、図20に示すフローチャートにおける各ステップは、必ずしも記載された順序に沿って時系列に処理される必要はない。すなわち、フローチャートにおける各ステップは、記載された順序と異なる順序で処理されても、並列的に処理されてもよい。また、情報処理装置100は、図20には示されていない処理を併せて実行してもよい。
 <2-3.初期値算出の実施例>
 <2-3-1.シミュレーションデータセット>
 本実施形態に係るシミュレーションデータセットについて図21から図23を参照して説明する。図21は、本実施形態に係るがん微小環境(TME)の種類を説明するための図である。図22は、本実施形態に係るシミュレーションデータセットを説明するための図である。図23は、本実施形態に係るサンプル1~8に対してJNMFを実施した結果を説明するための図である。
 図21に示すように、がん微小環境(TME)の4種類(腫瘍にT細胞の浸潤有無/PD-L1有無)が想定される。想定マーカとしては、腫瘍細胞マーカ(CK)、リンパ球マーカ(CD3)及び阻害剤マーカ(PD-L1)である。腫瘍領域と間質領域がある。
 TME1+間質細胞とは、CKあり(高)・PD-L1あり(発現あり)・CD3あり(発現あり)+間質のがん微小環境である。TME2+間質細胞とは、CKあり(高)・PD-L1あり(発現あり)・CD3なし(発現なし)+間質のがん微小環境である。TME3+間質細胞とは、CKあり(高)・PD-L1なし(発現なし)・CD3あり(発現あり)+間質のがん微小環境である。TME4+間質細胞とは、CKあり(高)・PD-L1なし(発現なし)・CD3なし(発現なし)+間質のがん微小環境である。
 このようながん微小環境の4種類を模したシミュレーションデータを作成した。具体的には、4種類のがん微小環境の領域をROI(関心領域)として選択したときを想定してシミュレーションデータを作成した。なお、ROIで領域を区切ることを想定すると、腫瘍細胞マーカはほぼ100%である。また、各マーカに関して陽性細胞数がカウントされ、ソートはCK(陽性数)のマーカで行われる。例えば、降順ソートが行われる。
 図22に示すように、まず、前述の4種類のTMEについて2サンプルずつ作成を行い、合計8サンプルのシミュレーションデータセットを作成した(サンプル1~8)。なお、図22の例では、基準マーカであるマーカAはCK、マーカBはPD-L1、マーカCはCD3である。それぞれ陽性細胞数をカウントすることが想定されている。
 サンプル1~2はTME1+間質細胞、サンプル3~4はTME2+間質細胞、サンプル5~6はTME3+間質細胞、サンプル7~8はTME4+間質細胞であり、これらのサンプル1~8のシミュレーションデータセットを作成した。なお、一つのサンプルの全領域は、全部で50小領域に想定されており、上皮組織+上皮組織がない領域(間質細胞がいる領域)が想定されており、TMEが80%(小領域40個分)、間質細胞が20%(小領域10個分)として想定されている。
 次に、前述の既存のサンプル1~8に新規のサンプル9を追加し、合計9サンプルのシミュレーションデータセットを作成した。図22の例では、サンプル1~8が既存のシミュレーションデータセットであってJNMFを実施済みのものであり、新たに解析したい標本としてサンプル9が追加された場合を想定している。また、サンプル9はTME1+間質細胞である場合を想定している。
 (既存のサンプル1~8に対するJNMFの実施)
 既存のサンプル1~8のシミュレーションデータセットに対してJNMFを実施した結果が図23である。図23の例では、初期値はデフォルトの乱数でクラスタ数k=3でJNMFを実施した。結果としては、図23に示すように、CL1はPD-L1の発現ありなしの特徴でクラスタリングされており、CL2はCD3の浸潤ありなしの特徴でクラスタリングされており、CL3は間質細胞の特徴でクラスタリングされている。
 <2-3-2.初期値の算出方法>
 本実施形態に係る初期値の算出方法について図24から図37を参照して説明する。図24は、本実施形態に係る既存のサンプル1~8に新規のサンプル9を追加したシミュレーションデータセットに対してJNMFを実施することを説明するための図である。図25及び図26は、本実施形態に係る初期値の概要を説明するための図である。図27は、本実施形態に係るLSMを説明するための図である。
 図24に示すように、既存のサンプル1~8に新規のサンプル9を追加したシミュレーションデータセットに対してJNMFを実施する。このJNMFで用いるWの初期値の算出方法について説明する。
 図25及び図26に示すように、既存のサンプル1~8のWの初期値として、JNMFの結果に基づき0か1で二値化した値を使用し、サンプル9のWの初期値x、y、zを算出する。このサンプル9のWのx、y、zの算出方法としては、例えば、以下の5種類(第1から第5の算出方法)がある。なお、二値化部分に関しては、デフォルトで乱数が用いられも良く、また、以下の5種類で算出された出力結果の値をそのまま使用しても良い。どちらの場合でも、サンプル1~9のWの初期値は固定値として予め求められる。
 なお、図26の例では、Wのサンプル1~2の個々の初期値は、CL1~CL3の順に「111」であり、Wのサンプル3~4の個々の初期値は、CL1~CL3の順に「101」であり、Wのサンプル5~6の個々の初期値は、CL1~CL3の順に「011」であり、Wのサンプル7~8の個々の初期値は、CL1~CL3の順に「001」であり、Wのサンプル9の初期値は、CL1~CL3の順に「xyz」である。
 また、H1のCL1の初期値は、「111・・・(40個)000・・・(10個)」であり、H1のCL2の初期値は、「000・・・(40個)000・・・(10個)」であり、H1のCL3の初期値は、「000・・・(40個)000・・・(10個)」である。H2のCL1の初期値は、「000・・・(40個)111・・・(10個)」であり、H2のCL2の初期値は、「111・・・(40個)000・・・(10個)」であり、H2のCL3の初期値は、「000・・・(40個)111・・・(10個)」である。
 (LSM)
 ここで、初期値の算出には、LSM(最小二乗法)を用いる。図27に示すように、LSM関数では、標準スペクトルHに測定データaをフィッティングして混色率セットxを求める。図27の式の2乗和が最小になるxを求める、つまり、混色率xに関する偏微分が0のとき最小になる。求めたい混色率セット(分離画像)はx=a*H′*inv(H*H′)の関係式から求められる。
 (第1の算出方法)
 本実施形態に係る第1の算出方法について図28及び図29を参照して説明する。図28は、本実施形態に係る第1の算出方法を説明するための図である。図29は、本実施形態に係る第1の算出方法により算出された初期値を用いたJNMFの結果を説明するための図である。
 図28に示すように、相関解析部133dは、マーカ毎のX及びH(マーカBのX1及びH1、マーカCのX2及びH2)をそれぞれ連結し、それぞれ連結したマーカ毎のX及びHでLSMを実施してWを取得し、取得したWを所定の初期値として採用する。例えば、相関解析部133dは、既存のサンプル1~8のデータセットのみのH1、H2のJNMF算出結果を使用し、X1+X2及びH1+H2でLSMを実施し、(X1+X2)/(H1+H2)=Wの初期値を算出する。図28の例では、相関解析部133dは、マーカBのX1とマーカCのX2を連結し、マーカBのH1とマーカCのH2を連結する。
 詳しくは、相関解析部133dは、新規のサンプル9も含まれているX1とX2を連結し、さらに、既存のサンプル1~8のデータセットのみでJNMFを実施することにより算出されたH1とH2を連結し、LSMを実施することで、新規のサンプル9も含まれているWの値を算出する。このWの値は、新規のサンプル9のxyzの値を含む。
 その後、相関解析部133dは、算出した初期値をJNMFに与え、既存のサンプル1~8に新規のサンプル9を追加したシミュレーションデータセットに対してJNMFを実施する。これにより、図29に示すように、サンプル1~9はクラスタに分けられる。JNMFに与えたサンプル9の初期値は1、1、1にかなり近く、新規のサンプル9(TME1+間質細胞)は想定通りのクラスタに分かれた。なお、複数のシミュレーション結果から、第1の算出手法の精度が安定的に高いことが分かっている。
 なお、X1+X2及びH1+H2でLSMを実施する場合、x=a*H′*inv(H*H′)の関係式(図27参照)から、Wが求められる。図27の例では、kはクラスタ数に相当し、xがH1+H2に相当し、aがX1+X2に相当し、H′がwに相当する。
 (第2の算出方法)
 本実施形態に係る第2の算出方法について図30及び図31を参照して説明する。図30は、本実施形態に係る第2の算出方法を説明するための図である。図31は、本実施形態に係る第2の算出方法により算出された初期値を用いたJNMFの結果を説明するための図である。
 図30に示すように、相関解析部133dは、マーカ毎のX、H(マーカBのX1及びH1、マーカCのX2及びH2)でLSMを実施してマーカ毎のWを取得し、取得したマーカ毎のWから、残差が一番小さいWを所定の初期値として採用する。例えば、相関解析部133dは、既存のサンプル1~8のデータセットのみのH1、H2のJNMF算出結果を使用し、X1/H1=W1の初期値及びX2/H2=W2の初期値から、残差が少ない方を初期値として採用する。
 詳しくは、相関解析部133dは、新規のサンプル9も含まれているX1と、既存のサンプル1~8のデータセットのみでJNMFを実施することにより算出されたH1とでLSMを実施し、新規のサンプル9も含まれているW1の値を算出する。また、相関解析部133dは、新規のサンプル9も含まれているX2と、既存のサンプル1~8のデータセットのみでJNMFを実施することにより算出されたH2とでLSMを実施し、新規のサンプル9も含まれているW2の値を算出する。相関解析部133dは、それぞれの値W1、W2を初期値としてJNMFに与え、残差が少ない方を所定の初期値として採用する。このW1又はW2の値は、新規のサンプル9のxyzの値を含む。
 その後、相関解析部133dは、算出した初期値をJNMFに与え、既存のサンプル1~8に新規のサンプル9を追加したシミュレーションデータセットに対してJNMFを実施する。これにより、図31に示すように、サンプル1~9はクラスタに分けられる。新規のサンプル9(TME1+間質細胞)は想定通りのクラスタに分かれた。
 なお、X1及びH1でLSMを実施する場合、x=a*H′*inv(H*H′)の関係式(図27参照)から、Wが求められる。図27の例では、kはクラスタ数に相当し、xがH1に相当し、aがX1に相当し、H′がwに相当する。X2及びH2でLSMを実施する場合も、X1及びH1でLSMを実施する場合と同様にWが求められる。
 (第3の算出方法)
 本実施形態に係る第3の算出方法について図32及び図33を参照して説明する。図32は、本実施形態に係る第3の算出方法を説明するための図である。図33は、本実施形態に係る第3の算出方法により算出された初期値を用いたJNMFの結果を説明するための図である。
 図32に示すように、相関解析部133dは、マーカ毎のX、H(マーカBのX1及びH1、マーカCのX2及びH2)でLSMを実施してマーカ毎のWを取得し、取得したマーカ毎のW(W1、W2)の平均値を所定の初期値として採用する。例えば、相関解析部133dは、既存のサンプル1~8のデータセットのみのH1、H2のJNMF算出結果を使用し、X1/H1=W1の初期値及びX2/H2=W2の初期値の平均値を所定の初期値として採用する。
 詳しくは、相関解析部133dは、新規のサンプル9も含まれているX1と、既存のサンプル1~8のデータセットのみでJNMFを実施することにより算出されたH1とでLSMを実施し、新規のサンプル9も含まれているW1の値を算出する。また、相関解析部133dは、新規のサンプル9も含まれているX2と、既存のサンプル1~8のデータセットのみでJNMFを実施することにより算出されたH1とでLSMを実施し、新規のサンプル9も含まれているW2の値を算出する。相関解析部133dは、それぞれのW1の値とW2の値との平均値を算出し、算出した平均値を所定の初期値として採用する。このW1の値とW2の値との平均値は、新規のサンプル9のxyzの値を含む。
 その後、相関解析部133dは、算出した初期値をJNMFに与え、既存のサンプル1~8に新規のサンプル9を追加したシミュレーションデータセットに対してJNMFを実施する。これにより、図33に示すように、サンプル1~9はクラスタに分けられる。今回のシミュレーションデータでは、新規のサンプル9(TME1+間質細胞)は想定通りのクラスタに分かれなかった。ただし、他のシミュレーションデータによっては、新規のサンプルが想定通りのクラスタに分かれることが分かっている。
 (第4の算出方法)
 本実施形態に係る第4の算出方法について図34及び図35を参照して説明する。図34は、本実施形態に係る第4の算出方法を説明するための図である。図35は、本実施形態に係る第4の算出方法により算出された初期値を用いたJNMFの結果を説明するための図である。
 図34に示すように、相関解析部133dは、追加した新規のサンプルのみ乱数を所定の初期値として採用する。例えば、相関解析部133dは、既存のサンプル1~8のデータセットの部分に対して、二値化した値を所定の初期値として使用し、新規のサンプル9のみ0~1の間の乱数を所定の初期値(新規のサンプル9のxyzの値)として使用する。つまり、新規のサンプル9の所定の初期値はランダムとなる。
 その後、相関解析部133dは、算出した初期値をJNMFに与え、既存のサンプル1~8に新規のサンプル9を追加したシミュレーションデータセットに対してJNMFを実施する。これにより、図35に示すように、実施回数ごとにサンプル1~9はクラスタに分けられる。ランダム1回目、ランダム2回目及びランダム3回目ともに、新規のサンプル9(TME1+間質細胞)は想定通りのクラスタに分かれた。なお、図35の例では、実施回数は3回であるが、Wの初期値は0~1の間になる。
 (第5の算出方法)
 本実施形態に係る第5の算出方法について図36及び図37を参照して説明する。図36は、本実施形態に係る第5の算出方法を説明するための図である。図37は、本実施形態に係る第5の算出方法により算出された初期値を用いたJNMFの結果を説明するための図である。
 図36に示すように、相関解析部133dは、クラスタ毎のWの平均値を所定の初期値として採用する。例えば、相関解析部133dは、既存のサンプル1~8のデータセットでJNMFを実施した結果のWを使用し、クラスタ毎のWの平均値を新規のサンプル9の初期値(新規のサンプル9のxyzの値)として使用する。
 その後、相関解析部133dは、算出した初期値をJNMFに与え、既存のサンプル1~8に新規のサンプル9を追加したシミュレーションデータセットに対してJNMFを実施する。これにより、図37に示すように、サンプル1~9はクラスタに分けられる。新規のサンプル9(TME1+間質細胞)は想定通りのクラスタに分かれた。
 (クラスタリングのみ)
 なお、新規サンプルを追加してクラスリングのみしたい場合には、第1の算出方法で行ったように、既存のサンプル1~8のデータセットでJNMFを実施したH1、H2、・・・、Hnを連結した行列と、新規のサンプル9も含まれるX1、X2、・・・、Xnを連結させた行列でLSMを実施し、その算出されたWの値をもとにクラスタリングすることが可能である。
 (データの利活用)
 元の行列X1、X2、・・・、XnとJNMFを実施した結果(H及びW)の値が公開されると、サンプル数が十分にない機関やレファレンスデータがない機関でも、JNMFを実施してクラスタリングしたり、特徴領域を抽出したりすることが可能である。また、他の期間のサンプルとの特徴も比較することが可能である。また、クラスタリングのみだと、WSI(Whole Slide Imaging)画像いらず数値のみでデータを共有できるため、データサイズの圧縮を実現することができる。
 <2-4.作用・効果>
 以上説明したように、本実施形態によれば、第1の実施形態と同様の効果を得ることができる。また、本実施形態によれば、相関解析部133dは、JNMFに所定の初期値を与える。これにより、JNMFの結果が安定するので、複数のバイオマーカの相関関係を精度よく求めることができる。
 また、相関解析部133dは、バイオマーカ毎の行列X及び行列Hをそれぞれ連結し、それぞれ連結したバイオマーカ毎の行列X及び行列Hで最小二乗法を実施して行列Wを取得し、取得した行列Wを所定の初期値として採用してもよい。これにより、JNMFの結果を安定化することができる。
 また、相関解析部133dは、バイオマーカ毎の行列X及び行列Hで最小二乗法を実施してバイオマーカ毎の行列Wを取得し、取得したバイオマーカ毎の行列Wから、残差が一番小さい行列Wを所定の初期値として採用してもよい。これにより、JNMFの結果を安定化することができる。
 また、相関解析部133dは、バイオマーカ毎の行列X及び行列Hで最小二乗法を実施してバイオマーカ毎の行列Wを取得し、取得したバイオマーカ毎の行列Wの平均値を所定の初期値として採用してもよい。これにより、JNMFの結果を安定化することができる。
 また、所定の初期値(例えば、Wの初期値)は、追加する新規サンプルに関する初期値(例えば、新規のサンプル9のWのxyzの値)を含み、相関解析部133dは、新規サンプルに関する初期値にのみ乱数を採用してもよい。これにより、JNMFの結果を安定化することができる。
 また、所定の初期値(例えば、Wの初期値)は、追加する新規サンプルに関する初期値(例えば、新規のサンプル9のWのxyzの値)を含み、相関解析部133dは、クラスタリング処理のクラスタ毎のWの平均値を新規サンプルに関する初期値として採用してもよい。これにより、JNMFの結果を安定化することができる。
 <3.他の実施形態>
 上述した実施形態(実施例、変形例を含む)に係る処理は、上記実施形態以外にも種々の異なる形態にて実施されてよい。例えば、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
 また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
 また、上述した実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
 <4.適用例>
 本開示に係る技術は、例えば、蛍光観察装置500(顕微鏡システムの一例)等に適用され得る。以下、図38及び図39を参照して、適用され得る蛍光観察装置500の構成例について説明する。図38は、本実施形態に係る蛍光観察装置500の概略構成の一例を示す図である。図39は、本実施形態に係る観察ユニット1の概略構成の一例を示す図である。
 図38に示すように、蛍光観察装置500は、観察ユニット1と、処理ユニット2と、表示部3とを有する。
 観察ユニット1は、励起部(照射部)10と、ステージ20と、分光イメージング部30と、観察光学系40と、走査機構50と、フォーカス機構60と、非蛍光観察部70とを含む。
 励起部10は、波長が異なる複数の照射光を観察対象物に照射する。励起部10は、例えば、異軸平行に配置された波長の異なる複数のライン照明を観察対象物である病理標本(病理サンプル)に照射する。ステージ20は、病理標本を支持する台であって、走査機構50により、ライン照明によるライン光の方向に対して垂直方向に移動可能に構成されている。分光イメージング部30は、分光器を含み、ライン照明によりライン状に励起された病理標本の蛍光スペクトル(分光データ)を取得する。
 すなわち、観察ユニット1は、ライン照明に応じた分光データを取得するライン分光器として機能する。また、観察ユニット1は、複数の蛍光波長それぞれについて撮像対象(病理標本)により生成された複数の蛍光画像をライン毎に撮像し、撮像した複数の蛍光画像のデータをラインの並び順で取得する撮像装置としても機能する。
 ここで、異軸平行とは、複数のライン照明が異軸かつ平行であることをいう。異軸とは、同軸上に無いことをいい、軸間の距離は特に限定されない。平行とは、厳密な意味での平行に限られず、ほぼ平行である状態も含む。例えば、レンズ等の光学系由来のディストーションや製造公差による平行状態からの逸脱があってもよく、この場合も平行とみなす。
 励起部10と分光イメージング部30は、ステージ20に対し、観察光学系40を介して接続されている。観察光学系40は、フォーカス機構60によって最適な焦点に追従する機能を有している。観察光学系40には、暗視野観察、明視野観察などを行うための非蛍光観察部70が接続されてもよい。また、観察ユニット1には、励起部10、分光イメージング部30、走査機構50、フォーカス機構60、非蛍光観察部70などを制御する制御部80が接続されてもよい。
 処理ユニット2は、記憶部21と、データ校正部22と、画像形成部23とを含む。この処理ユニット2は、観察ユニット1によって取得された病理標本(以下、サンプルSともいう。)の蛍光スペクトルに基づいて、典型的には、病理標本の画像を形成し、あるいは蛍光スペクトルの分布を出力する。ここでいう画像とは、そのスペクトルを構成する色素やサンプル由来の自家蛍光などの構成比率、波形からRGB(赤緑青)カラーに変換されたものや、特定の波長帯の輝度分布などをいう。
 記憶部21は、例えばハードディスクドライブやフラッシュメモリといった不揮発性の記憶媒体と、当該記憶媒体に対するデータの書き込みおよび読み出しを制御する記憶制御部と、を含む。記憶部21は、励起部10が含む複数のライン照明それぞれにより射出される光の各波長と、分光イメージング部30のカメラで受光された蛍光との相関を示す分光データが記憶される。また、記憶部21には、観察対象となるサンプル(病理標本)に関する自家蛍光の標準スペクトルを示す情報や、サンプルを染色する色素単体の標準スペクトルを示す情報が予め記憶される。
 データ校正部22は、分光イメージング部30のカメラで撮像された撮像画像に基づき記憶部21に記憶された分光データの構成を行う。画像形成部23は、分光データと、励起部10により照射された複数のライン照明の間隔Δyとに基づき、サンプルの蛍光画像を形成する。例えば、データ校正部22や画像形成部23等を含む処理ユニット2は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等のコンピュータに用いられるハードウェア要素および必要なプログラム(ソフトウェア)により実現される。CPUに代えて、またはこれに加えて、FPGA(Field Programmable Gate Array)等のPLD(Programmable Logic Device)、あるいは、DSP(Digital Signal Processor)、その他ASIC(Application Specific Integrated Circuit)等が用いられてもよい。
 表示部3は、例えば、画像形成部23で形成された蛍光画像に基づく画像等の各種情報を表示する。この表示部3は、例えば、処理ユニット2に一体的に取り付けられたモニタで構成されてもよいし、処理ユニット2に接続された表示装置であってもよい。表示部3は、例えば、液晶デバイスあるいは有機ELデバイス等の表示素子と、タッチセンサとを備え、撮影条件の入力設定や撮影画像等を表示するUI(User Interface)として構成される。
 次に、観察ユニット1の詳細について図39を参照して説明する。ここでは、励起部10がそれぞれ2波長の発光を行う2つのライン照明Ex1およびEx2を含むものとして説明する。例えば、ライン照明Ex1が波長405nmの光と波長561nmの光とを発光し、ライン照明Ex2が波長488nmの光と波長645nmの光とを発光する。
 図39に示すように、励起部10は、複数(本例では4つ)の励起光源L1、L2、L3、L4を有する。各励起光源L1~L4は、波長がそれぞれ405nm、488nm、561nm及び645nmのレーザ光を出力するレーザ光源で構成される。例えば、各励起光源L1~L4は、発光ダイオード(LED)やレーザダイオード(LD)などで構成される。
 さらに、励起部10は、各励起光源L1~L4に対応するよう、複数のコリメータレンズ11、複数のレーザラインフィルタ12、複数のダイクロイックミラー13a、13b、13cと、ホモジナイザ14と、コンデンサレンズ15と、入射スリット16とを有する。
 励起光源L1から出射されるレーザ光と励起光源L3から出射されるレーザ光は、それぞれコリメータレンズ11によって平行光になった後、各々の波長帯域の裾野をカットするためのレーザラインフィルタ12を透過し、ダイクロイックミラー13aによって同軸にされる。同軸化された2つのレーザ光は、さらに、ライン照明Ex1となるべくフライアイレンズなどのホモジナイザ14とコンデンサレンズ15によってビーム成形される。
 励起光源L2から出射されるレーザ光と励起光源L4から出射されるレーザ光も同様に各ダイクロイックミラー13b、13cによって同軸化され、ライン照明Ex1とは異軸のライン照明Ex2となるようにライン照明化される。ライン照明Ex1およびEx2は、各々が通過可能な複数のスリット部を有する入射スリット16(スリット共役)において距離Δyだけ離れた異軸ライン照明(1次像)を形成する。
 なお、本実施形態では、4つのレーザを2つの同軸、2つの異軸とした例について説明するが、このほかに、2つのレーザを2つの異軸構成にしたり、4つのレーザを4つの異軸構成にしたりしてもよい。
 1次像は、観察光学系40を介してステージ20上のサンプルSに照射される。観察光学系40は、コンデンサレンズ41と、ダイクロイックミラー42,43と、対物レンズ44と、バンドパスフィルタ45と、コンデンサレンズ(結像レンズの一例)46とを有する。ライン照明Ex1、Ex2は、対物レンズ44と対になったコンデンサレンズ41で平行光にされ、ダイクロイックミラー42、43により反射されて対物レンズ44を透過し、ステージ20上のサンプルSに照射される。
 ここで、図40は、本実施形態に係るサンプルSの一例を示す図である。図40では、サンプルSを励起光であるライン照明Ex1およびEx2の照射方向から見た様子が示されている。サンプルSは、典型的には、図40に示すような組織切片等の観察対象物Saを含むスライドで構成されるが、勿論それ以外であってもよい。観察対象物Saは、例えば、核酸、細胞、タンパク、菌、ウイルスなどの生体試料である。サンプルS(観察対象物Sa)は、複数の蛍光色素によって染色されている。観察ユニット1は、サンプルSを所望の倍率に拡大して観察する。
 図41は、本実施形態に係るサンプルSにライン照明Ex1およびEx2が照射される領域Aを拡大して示す図である。図41の例では、領域Aに2つのライン照明Ex1およびEx2が配置されており、それぞれのライン照明Ex1およびEx2に重なるように、分光イメージング部30の撮影エリアR1およびR2が配置される。2つのライン照明Ex1およびEx2は、それぞれZ軸方向に平行であり、Y軸方向に所定の距離Δyだけ離れて配置される。
 サンプルSの表面において、図41に示したようにライン照明Ex1およびEx2が形成される。これらのライン照明Ex1およびEx2によってサンプルSにおいて励起された蛍光は、図39に示すように、対物レンズ44によって集光され、ダイクロイックミラー43に反射され、ダイクロイックミラー42と、励起光をカットするバンドパスフィルタ45とを透過し、コンデンサレンズ46で再び集光されて、分光イメージング部30に入射する。
 分光イメージング部30は、図39に示すように、観測スリット(開口部)31と、撮像素子32と、第1プリズム33と、ミラー34と、回折格子35(波長分散素子)と、第2プリズム36とを有する。
 図39の例では、撮像素子32は、2つの撮像素子32a、32bを含んで構成されている。この撮像素子32は、回折格子35によって波長分散された複数の光(蛍光等)を撮像(受光)する。撮像素子32には、例えば、CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)などの2次元イメージャが採用される。
 観測スリット31は、コンデンサレンズ46の集光点に配置され、励起ライン数と同じ数(この例では2本)のスリット部を有する。観測スリット31を通過した2つの励起ライン由来の蛍光スペクトルは、第1プリズム33で分離され、それぞれミラー34を介して回折格子35の格子面で反射することにより、励起波長各々の蛍光スペクトルにさらに分離される。分離された4つの蛍光スペクトルは、ミラー34および第2プリズム36を介して撮像素子32aおよび32bに入射され、分光データとして、ライン方向の位置xと、波長λにより表現される分光データ(x,λ)に展開される。分光データ(x,λ)は、撮像素子32に含まれる画素のうち、行方向において位置x、列方向において波長λの位置の画素の画素値である。なお、分光データ(x,λ)は、単に分光データとして記述されることがある。
 なお、撮像素子32aおよび32bの画素サイズ(nm/Pixel)は特に限定されず、例えば、2(nm/Pixel)以上20(nm/Pixel)以下に設定される。この分散値は、回折格子35のピッチや光学的に実現しても良いし、撮像素子32aおよび32bのハードウェアビニングを使って実現しても良い。また、光路の途中にダイクロイックミラー42やバンドパスフィルタ45が挿入され、励起光(ライン照明Ex1およびEx2)が撮像素子32に到達しないようにされている。
 各ライン照明Ex1およびEx2は、それぞれ単一の波長で構成される場合に限られず、それぞれが複数の波長で構成されてもよい。ライン照明Ex1およびEx2がそれぞれ複数の波長で構成される場合、これらで励起される蛍光もそれぞれ複数のスペクトルを含む。この場合、分光イメージング部30は、当該蛍光を励起波長に由来するスペクトルに分離するための波長分散素子を有する。波長分散素子は、回折格子やプリズムなどで構成され、典型的には、観測スリット31と撮像素子32との間の光路上に配置される。
 なお、ステージ20および走査機構50は、X-Yステージを構成し、サンプルSの蛍光画像を取得するため、サンプルSをX軸方向およびY軸方向へ移動させる。WSI(Whole slide imaging)では、Y軸方向にサンプルSをスキャンし、その後、X軸方向に移動し、さらにY軸方向へのスキャンを行うといった動作が繰り返される。走査機構50を用いることで、サンプルS(観察対象物Sa)上において空間的に距離Δyだけ離れた、それぞれ異なる励起波長で励起された色素スペクトル(蛍光スペクトル)を、Y軸方向に連続的に取得することができる。
 走査機構50は、サンプルSにおける照射光の照射される位置を経時的に変化させる。例えば、走査機構50は、ステージ20をY軸方向に走査する。この走査機構50によって、ステージ20に対して複数のライン照明Ex1,Ex2をY軸方向、つまり、各ライン照明Ex1,Ex2の配列方向に走査させることができる。これは、この例に限定されず、光学系の途中に配置されたガルバノミラーによって複数のライン照明Ex1およびEx2がY軸方向に走査されてもよい。各ライン照明Ex1およびEx2由来のデータ(例えば、2次元データ又は3次元データ)は、Y軸について距離Δyだけ座標がシフトしたデータになるので、予め記憶された距離Δy、または、撮像素子32の出力から計算される距離Δyの値に基づいて、補正され出力される。
 図39に示すように、非蛍光観察部70は、光源71、ダイクロイックミラー43、対物レンズ44、コンデンサレンズ72、撮像素子73などにより構成される。非蛍光観察部70においては、図39の例では、暗視野照明による観察系を示している。
 光源71は、ステージ20に対して対物レンズ44と対向する側に配置され、ステージ20上のサンプルSに対して、ライン照明Ex1、Ex2とは反対側から照明光を照射する。暗視野照明の場合、光源71は、対物レンズ44のNA(開口数)の外側から照明し、サンプルSで回折した光(暗視野像)を対物レンズ44、ダイクロイックミラー43およびコンデンサレンズ72を介して撮像素子73で撮影する。暗視野照明を用いることで、蛍光染色サンプルのような一見透明なサンプルであってもコントラストを付けて観察することができる。
 なお、この暗視野像を蛍光と同時に観察して、リアルタイムのフォーカスに使ってもよい。この場合、照明波長は、蛍光観察に影響のない波長を選択すればよい。非蛍光観察部70は、暗視野画像を取得する観察系に限られず、明視野画像、位相差画像、位相像、インラインホログラム(In-line hologram)画像などの非蛍光画像を取得可能な観察系で構成されてもよい。例えば、非蛍光画像の取得方法として、シュリーレン法、位相差コントラスト法、偏光観察法、落射照明法などの種々の観察法が採用可能である。照明用光源の位置もステージ20の下方に限られず、ステージ20の上方や対物レンズ44の周りにあってもよい。また、リアルタイムでフォーカス制御を行う方式だけでなく、予めフォーカス座標(Z座標)を記録しておくプレフォーカスマップ方式等の他の方式が採用されてもよい。
 なお、上述では、励起光としてのライン照明は、ライン照明Ex1およびEx2の2本で構成されたが、これに限定されず、3本、4本あるいは5本以上であってもよい。またそれぞれのライン照明は、色分離性能がなるべく劣化しないように選択された複数の励起波長を含んでもよい。また、ライン照明が1本であっても、複数の励起波長から構成される励起光源で、かつそれぞれの励起波長と、撮像素子32で所得されるデータとを紐づけて記録すれば、異軸平行ほどの分離能は得られないが、多色スペクトルを得ることができる。
 以上、本開示に係る技術を蛍光観察装置500に適用した適用例について説明した。なお、図38及び図39を参照して説明した上記の構成はあくまで一例であり、本実施形態に係る蛍光観察装置500の構成は係る例に限定されない。例えば、蛍光観察装置500は、図38及び図39に示す構成の全てを必ずしも備えなくてもよいし、図38及び図39に示されていない構成を備えてもよい。
 <5.応用例>
 本開示に係る技術は、例えば、顕微鏡システム等に応用されることができる。以下、図42から図44を参照して、応用され得る顕微鏡システム5000の構成例について説明する。顕微鏡システム5000の一部である顕微鏡装置5100は、撮像装置として機能する。
 本開示の顕微鏡システムの構成例を図42に示す。図42に示される顕微鏡システム5000は、顕微鏡装置5100、制御部5110、及び情報処理部5120を含む。顕微鏡装置5100は、光照射部5101、光学部5102、及び信号取得部5103を備えている。顕微鏡装置5100はさらに、生体由来試料Sが配置される試料載置部5104を備えていてよい。なお、顕微鏡装置5100の構成は図42に示されるものに限定されず、例えば、光照射部5101は、顕微鏡装置5100の外部に存在してもよく、例えば顕微鏡装置5100に含まれない光源が光照射部5101として利用されてもよい。また、光照射部5101は、光照射部5101と光学部5102とによって試料載置部5104が挟まれるように配置されていてよく、例えば、光学部5102が存在する側に配置されてもよい。顕微鏡装置5100は、明視野観察、位相差観察、微分干渉観察、偏光観察、蛍光観察、及び暗視野観察のうちの1又は2以上を実行することができるように構成されてよい。
 顕微鏡システム5000は、いわゆるWSI(Whole Slide Imaging)システム又はデジタルパソロジーイメージングシステムとして構成されてよく、病理診断のために用いられうる。また、顕微鏡システム5000は、蛍光イメージングシステム、特には多重蛍光イメージングシステムとして構成されてもよい。
 例えば、顕微鏡システム5000は、術中病理診断又は遠隔病理診断を行うために用いられてよい。当該術中病理診断では、手術が行われている間に、顕微鏡装置5100が、当該手術の対象者から取得された生体由来試料Sのデータを取得し、そして、当該データを情報処理部5120へと送信しうる。当該遠隔病理診断では、顕微鏡装置5100は、取得した生体由来試料Sのデータを、顕微鏡装置5100とは離れた場所(別の部屋又は建物など)に存在する情報処理部5120へと送信しうる。そして、これらの診断において、情報処理部5120は、当該データを受信し、出力する。出力されたデータに基づき、情報処理部5120のユーザが、病理診断を行いうる。
 (生体由来試料)
 生体由来試料Sは、生体成分を含む試料であってよい。前記生体成分は、生体の組織、細胞、生体の液状成分(血液や尿等)、培養物、又は生細胞(心筋細胞、神経細胞、及び受精卵など)であってよい。前記生体由来試料は、固形物であってよく、パラフィンなどの固定試薬によって固定された標本又は凍結により形成された固形物であってよい。前記生体由来試料は、当該固形物の切片でありうる。前記生体由来試料の具体的な例として、生検試料の切片を挙げることができる。
 前記生体由来試料は、染色又は標識などの処理が施されたものであってよい。当該処理は、生体成分の形態を示すための又は生体成分が有する物質(表面抗原など)を示すための染色であってよく、HE(Hematoxylin-Eosin)染色、免疫組織化学(Immunohistochemistry)染色を挙げることができる。前記生体由来試料は、1又は2以上の試薬により前記処理が施されたものであってよく、当該試薬は、蛍光色素、発色試薬、蛍光タンパク質、又は蛍光標識抗体でありうる。
 前記標本は、組織サンプルから病理診断または臨床検査などを目的に作製されたものであってよい。また、前記標本は、人体に限らず、動物、植物、又は他の材料に由来するものであってもよい。前記標本は、使用される組織(例えば臓器または細胞など)の種類、対象となる疾病の種類、対象者の属性(例えば、年齢、性別、血液型、または人種など)、または対象者の生活習慣(例えば、食生活、運動習慣、または喫煙習慣など)などにより性質が異なる。前記標本は、各標本それぞれ識別可能な識別情報(バーコード又はQRコード(登録商標)等)を付されて管理されてよい。
 (光照射部)
 光照射部5101は、生体由来試料Sを照明するための光源、および光源から照射された光を標本に導く光学部である。光源は、可視光、紫外光、若しくは赤外光、又はこれらの組合せを生体由来試料に照射しうる。光源は、ハロゲン光源、レーザ光源、LED光源、水銀光源、及びキセノン光源のうちの1又は2以上であってよい。蛍光観察における光源の種類及び/又は波長は、複数でもよく、当業者により適宜選択されてよい。光照射部5101は、透過型、反射型又は落射型(同軸落射型若しくは側射型)の構成を有しうる。
 (光学部)
 光学部5102は、生体由来試料Sからの光を信号取得部5103へと導くように構成される。光学部5102は、顕微鏡装置5100が生体由来試料Sを観察又は撮像することを可能とするように構成されうる。光学部5102は、対物レンズを含みうる。対物レンズの種類は、観察方式に応じて当業者により適宜選択されてよい。また、光学部5102は、対物レンズによって拡大された像を信号取得部5103に中継するためのリレーレンズを含んでもよい。光学部5102は、前記対物レンズ及び前記リレーレンズ以外の光学部品、接眼レンズ、位相板、及びコンデンサレンズなど、をさらに含みうる。また、光学部5102は、生体由来試料Sからの光のうちから所定の波長を有する光を分離するように構成された波長分離部をさらに含んでよい。波長分離部は、所定の波長又は波長範囲の光を選択的に信号取得部5103に到達させるように構成されうる。波長分離部は、例えば、光を選択的に透過させるフィルタ、偏光板、プリズム(ウォラストンプリズム)、及び回折格子のうちの1又は2以上を含んでよい。波長分離部に含まれる光学部品は、例えば対物レンズから信号取得部5103までの光路上に配置されてよい。波長分離部は、蛍光観察が行われる場合、特に励起光照射部を含む場合に、顕微鏡装置5100内に備えられる。波長分離部は、蛍光同士を互いに分離し又は白色光と蛍光とを分離するように構成されうる。
 (信号取得部)
 信号取得部5103は、生体由来試料Sからの光を受光し、当該光を電気信号、特にはデジタル電気信号へと変換することができるように構成されうる。信号取得部5103は、当該電気信号に基づき、生体由来試料Sに関するデータを取得することができるように構成されてよい。信号取得部5103は、生体由来試料Sの像(画像、特には静止画像、タイムラプス画像、又は動画像)のデータを取得することができるように構成されてよく、特に光学部5102によって拡大された画像のデータを取得するように構成されうる。信号取得部5103は、1次元又は2次元に並んで配列された複数の画素を備えている1つ又は複数の撮像素子、CMOS又はCCDなど、を含む。信号取得部5103は、低解像度画像取得用の撮像素子と高解像度画像取得用の撮像素子とを含んでよく、又は、AFなどのためのセンシング用撮像素子と観察などのための画像出力用撮像素子とを含んでもよい。撮像素子は、前記複数の画素に加え、各画素からの画素信号を用いた信号処理を行う信号処理部(CPU、DSP、及びメモリのうちの1つ、2以上を含む)、及び、画素信号から生成された画像データ及び信号処理部により生成された処理データの出力の制御を行う出力制御部を含みうる。前記複数の画素、前記信号処理部、及び前記出力制御部を含む撮像素子は、好ましくは1チップの半導体装置として構成されうる。なお、顕微鏡システム5000は、イベント検出センサをさらに具備してもよい。当該イベント検出センサは、入射光を光電変換する画素を含み、当該画素の輝度変化が所定の閾値を超えたことをイベントとして検出するように構成されうる。当該イベント検出センサは、特には非同期型でありうる。
 (制御部)
 制御部5110は、顕微鏡装置5100による撮像を制御する。制御部5110は、撮像制御のために、光学部5102及び/又は試料載置部5104の移動を駆動して、光学部5102と試料載置部5104との間の位置関係を調節しうる。制御部5110は、光学部5102及び/又は試料載置部5104を、互いに近づく又は離れる方向(例えば対物レンズの光軸方向)に移動させうる。また、制御部5110は、光学部5102及び/又は試料載置部5104を、前記光軸方向と垂直な面におけるいずれかの方向に移動させてもよい。制御部5110は、撮像制御のために、光照射部5101及び/又は信号取得部5103を制御してもよい。
 (試料載置部)
 試料載置部5104は、生体由来試料の試料載置部5104上における位置が固定できるように構成されてよく、いわゆるステージであってよい。試料載置部5104は、生体由来試料の位置を、対物レンズの光軸方向及び/又は当該光軸方向と垂直な方向に移動させることができるように構成されうる。
 (情報処理部)
 情報処理部5120は、顕微鏡装置5100が取得したデータ(撮像データなど)を、顕微鏡装置5100から取得しうる。情報処理部5120は、撮像データに対する画像処理を実行しうる。当該画像処理は、アンミキシング処理、特にはスペクトラルアンミキシング処理を含んでよい。当該アンミキシング処理は、撮像データから所定の波長又は波長範囲の光成分のデータを抽出して画像データを生成する処理、又は、撮像データから所定の波長又は波長範囲の光成分のデータを除去する処理などを含みうる。また、当該画像処理は、組織切片の自家蛍光成分と色素成分を分離する自家蛍光分離処理や互いに蛍光波長が異なる色素間の波長を分離する蛍光分離処理を含みうる。前記自家蛍光分離処理では、同一ないし性質が類似する前記複数の標本のうち、一方から抽出された自家蛍光シグナルを用いて他方の標本の画像情報から自家蛍光成分を除去する処理を行ってもよい。情報処理部5120は、制御部5110に撮像制御のためのデータを送信してよく、当該データを受信した制御部5110が、当該データに従い顕微鏡装置5100による撮像を制御してもよい。
 情報処理部5120は、汎用のコンピュータなどの情報処理装置として構成されてよく、CPU、RAM、及びROMを備えていてよい。情報処理部5120は、顕微鏡装置5100の筐体内に含まれていてよく、又は、当該筐体の外にあってもよい。また、情報処理部5120による各種処理又は機能は、ネットワークを介して接続されたサーバコンピュータ又はクラウドにより実現されてもよい。
 顕微鏡装置5100による生体由来試料Sの撮像の方式は、生体由来試料の種類及び撮像の目的などに応じて、当業者により適宜選択されてよい。当該撮像方式の例を以下に説明する。
 撮像方式の一つの例は以下のとおりである。顕微鏡装置5100は、まず、撮像対象領域を特定しうる。当該撮像対象領域は、生体由来試料が存在する領域全体をカバーするように特定されてよく、又は、生体由来試料のうちの目的部分(目的組織切片、目的細胞、又は目的病変部が存在する部分)をカバーするように特定されてもよい。次に、顕微鏡装置5100は、当該撮像対象領域を、所定サイズの複数の分割領域へと分割し、顕微鏡装置5100は各分割領域を順次撮像する。これにより、各分割領域の画像が取得される。
 図43に示されるように、顕微鏡装置5100は、生体由来試料S全体をカバーする撮像対象領域Rを特定する。そして、顕微鏡装置5100は、撮像対象領域Rを16の分割領域へと分割する。そして、顕微鏡装置5100は分割領域R1の撮像を行い、そして次に、その分割領域R1に隣接する領域など、撮像対象領域Rに含まれる領域の内いずれか領域を撮像しうる。そして、未撮像の分割領域がなくなるまで、分割領域の撮像が行われる。なお、撮像対象領域R以外の領域についても、分割領域の撮像画像情報に基づき、撮像しても良い。或る分割領域を撮像した後に次の分割領域を撮像するために、顕微鏡装置5100と試料載置部5104との位置関係が調整される。当該調整は、顕微鏡装置5100の移動、試料載置部5104の移動、又は、これらの両方の移動により行われてよい。この例において、各分割領域の撮像を行う撮像装置は、2次元撮像素子(エリアセンサ)又は1次元撮像素子(ラインセンサ)であってよい。信号取得部5103は、光学部5102を介して各分割領域を撮像してよい。また、各分割領域の撮像は、顕微鏡装置5100及び/又は試料載置部5104を移動させながら連続的に行われてよく、又は、各分割領域の撮像に際して顕微鏡装置5100及び/又は試料載置部5104の移動が停止されてもよい。各分割領域の一部が重なり合うように、前記撮像対象領域の分割が行われてよく、又は、重なり合わないように前記撮像対象領域の分割が行われてもよい。各分割領域は、焦点距離及び/又は露光時間などの撮像条件を変えて複数回撮像されてもよい。また、情報処理装置は、隣り合う複数の分割領域をスティッチングして、より広い領域の画像データを生成しうる。当該スティッチング処理を、撮像対象領域全体にわたって行うことで、撮像対象領域について、より広い領域の画像を取得することができる。また、分割領域の画像、またはスティッチング処理を行った画像から、より解像度の低い画像データを生成しうる。
 撮像方式の他の例は以下のとおりである。顕微鏡装置5100は、まず、撮像対象領域を特定しうる。当該撮像対象領域は、生体由来試料が存在する領域全体をカバーするように特定されてよく、又は、生体由来試料のうちの目的部分(目的組織切片又は目的細胞が存在する部分)をカバーするように特定されてもよい。次に、顕微鏡装置5100は、撮像対象領域の一部の領域(「分割スキャン領域」ともいう)を、光軸と垂直な面内における一つの方向(「スキャン方向」ともいう)へスキャンして撮像する。当該分割スキャン領域のスキャンが完了したら、次に、前記スキャン領域の隣の分割スキャン領域を、スキャンする。これらのスキャン動作が、撮像対象領域全体が撮像されるまで繰り返される。図44に示されるように、顕微鏡装置5100は、生体由来試料Sのうち、組織切片が存在する領域(グレーの部分)を撮像対象領域Saとして特定する。そして、顕微鏡装置5100は、撮像対象領域Saのうち、分割スキャン領域Rsを、Y軸方向へスキャンする。顕微鏡装置5100は、分割スキャン領域Rsのスキャンが完了したら、次に、X軸方向における隣の分割スキャン領域をスキャンする。撮像対象領域Saの全てについてスキャンが完了するまで、この動作が繰り返しされる。各分割スキャン領域のスキャンのために、及び、或る分割スキャン領域を撮像した後に次の分割スキャン領域を撮像するために、顕微鏡装置5100と試料載置部5104との位置関係が調整される。当該調整は、顕微鏡装置5100の移動、試料載置部5104の移動、又は、これらの両方の移動により行われてよい。この例において、各分割スキャン領域の撮像を行う撮像装置は、1次元撮像素子(ラインセンサ)又は2次元撮像素子(エリアセンサ)であってよい。信号取得部5103は、拡大光学系を介して各分割領域を撮像してよい。また、各分割スキャン領域の撮像は、顕微鏡装置5100及び/又は試料載置部5104を移動させながら連続的に行われてよい。各分割スキャン領域の一部が重なり合うように、前記撮像対象領域の分割が行われてよく、又は、重なり合わないように前記撮像対象領域の分割が行われてもよい。各分割スキャン領域は、焦点距離及び/又は露光時間などの撮像条件を変えて複数回撮像されてもよい。また、情報処理装置は、隣り合う複数の分割スキャン領域をスティッチングして、より広い領域の画像データを生成しうる。当該スティッチング処理を、撮像対象領域全体にわたって行うことで、撮像対象領域について、より広い領域の画像を取得することができる。また、分割スキャン領域の画像、またはスティッチング処理を行った画像から、より解像度の低い画像データを生成しうる。
 <6.ハードウェアの構成例>
 各実施形態(又は各変形例)に係る情報処理装置100のハードウェアの構成例について図45を参照して説明する。図45は、情報処理装置100のハードウェアの概略構成の一例を示すブロック図である。情報処理装置100による各種処理は、例えば、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
 図45に示すように、情報処理装置100は、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM(Random Access Memory)903及びホストバス904aを備える。また、情報処理装置100は、ブリッジ904、外部バス904b、インタフェース905、入力装置906、出力装置907、ストレージ装置908、ドライブ909、接続ポート911、通信装置913及びセンサ915を備える。情報処理装置100は、CPU901に代えて、又はこれとともに、DSP若しくはASICなどの処理回路を有してもよい。
 CPU901は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置100内の動作全般を制御する。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。CPU901は、例えば、情報処理装置100の少なくとも処理部130及び制御部150を具現し得る。
 CPU901、ROM902及びRAM903は、CPUバスなどを含むホストバス904aにより相互に接続されている。ホストバス904aは、ブリッジ904を介して、PCI(Peripheral Component Interconnect/Interface)バス等の外部バス904bに接続されている。なお、必ずしもホストバス904a、ブリッジ904および外部バス904bを分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
 入力装置906は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、実施者によって情報が入力される装置によって実現される。また、入力装置906は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置100の操作に対応した携帯電話やPDA等の外部接続機器であってもよい。さらに、入力装置906は、例えば、上記の入力手段を用いて実施者により入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などを含んでいてもよい。実施者は、この入力装置906を操作することにより、情報処理装置100に対して各種のデータを入力したり処理動作を指示したりすることができる。入力装置906は、例えば、情報処理装置100の少なくとも操作部160を具現し得る。
 出力装置907は、取得した情報を実施者に対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音響出力装置や、プリンタ装置等がある。出力装置907は、例えば、情報処理装置100の少なくとも表示部140を具現し得る。
 ストレージ装置908は、データ格納用の装置である。ストレージ装置908は、例えば、HDD等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置908は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置908は、CPU901が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置908は、例えば、情報処理装置100の少なくとも保存部120を具現し得る。
 ドライブ909は、記憶媒体用リーダライタであり、情報処理装置100に内蔵、あるいは外付けされる。ドライブ909は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、RAM903に出力する。また、ドライブ909は、リムーバブル記憶媒体に情報を書き込むこともできる。
 接続ポート911は、外部機器と接続されるインタフェースであって、例えばUSB(Universal Serial Bus)などによりデータ伝送可能な外部機器との接続口である。
 通信装置913は、例えば、ネットワーク920に接続するための通信デバイス等で形成された通信インタフェースである。通信装置913は、例えば、有線若しくは無線LAN(Local Area Network)、LTE(Long Term Evolution)、Bluetooth(登録商標)又はWUSB(Wireless USB)用の通信カード等である。また、通信装置913は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ又は各種通信用のモデム等であってもよい。この通信装置913は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。
 センサ915は、本実施形態においては、スペクトルを取得可能なセンサ(例えば、撮像素子等)を含むところ、他のセンサ(例えば、加速度センサ、ジャイロセンサ、地磁気センサ、感圧センサ、音センサ、または測距センサ等)を含んでもよい。センサ915は、例えば、情報処理装置100の少なくとも画像取得部112を具現し得る。
 なお、ネットワーク920は、ネットワーク920に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク920は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク920は、IP-VPN(Internet Protocol-Virtual Private Network)などの専用回線網を含んでもよい。
 以上、情報処理装置100の機能を実現可能なハードウェア構成例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本開示を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
 なお、上記のような情報処理装置100の各機能を実現するためのコンピュータプログラムを作製し、PC等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等を含む。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
 <7.付記>
 なお、本技術は以下のような構成も取ることができる。
(1)
 生体試料を含むサンプルから、前記生体試料由来の蛍光スペクトルと前記生体試料の位置情報を取得する取得部と、
 前記蛍光スペクトルから、前記生体試料の位置情報に紐づけられた前記生体試料の異なる複数のバイオマーカに関する情報を特定する特定部と、
 前記複数のバイオマーカに関する情報に対し、前記複数のバイオマーカの組み合わせに対応する行列分解処理を行い、前記複数のバイオマーカに関する情報の相関関係を出力する相関解析部と、
を備える情報処理装置。
(2)
 前記相関解析部は、前記複数のバイオマーカに関する情報に対し、JNMF(Joint Non-negative Matrix Factorization)により前記行列分解処理を実行してから、クラスタリング処理を実行する、
 上記(1)に記載の情報処理装置。
(3)
 前記相関解析部は、前記クラスタリング処理のクラスタ数を変えながら、前記JNMFの残差平方和を求め、前記残差平方和の変化傾向からクラスタ数を決定する、
 上記(2)に記載の情報処理装置。
(4)
 前記クラスタリング処理のクラスタ数は、ユーザにより設定されている、
 上記(2)に記載の情報処理装置。
(5)
 前記サンプルの所定領域を決定する選定部をさらに備え、
 前記特定部は、前記所定領域の前記蛍光スペクトルから、前記所定領域の前記生体試料の位置情報に紐づけられた前記複数のバイオマーカに関する情報を特定する、
 上記(1)から(4)のいずれか一つに記載の情報処理装置。
(6)
 前記選定部は、複数の前記所定領域を決定する、
 上記(5)に記載の情報処理装置。
(7)
 前記相関解析部は、前記複数のバイオマーカに関する情報に対し、JNMF(Joint Non-negative Matrix Factorization)により前記行列分解処理を実行してから、クラスタリング処理を実行し、
 前記クラスタリング処理のクラスタ数は、前記所定領域の数に応じて設定されている、
 上記(6)に記載の情報処理装置。
(8)
 前記所定領域は、ユーザにより設定されている、
 上記(5)から(7)のいずれか一つに記載の情報処理装置。
(9)
 前記選定部は、複数の前記サンプルの共通位置の前記所定領域を決定し、
 前記取得部は、前記所定領域ごとに前記蛍光スペクトルと前記生体試料の位置情報を取得し、
 前記特定部は、前記所定領域ごとの前記蛍光スペクトルから、前記所定領域ごとの前記生体試料の位置情報に紐づけられた前記所定領域ごとの前記複数のバイオマーカに関する情報を特定し、
 前記相関解析部は、前記所定領域ごとの前記複数のバイオマーカに関する情報に対して前記行列分解処理を行い、前記所定領域ごとの前記複数のバイオマーカに関する情報の相関関係を出力する、
 上記(5)から(8)のいずれか一つに記載の情報処理装置。
(10)
 前記選定部は、複数の前記サンプルの相違位置の前記所定領域を決定し、
 前記取得部は、前記所定領域ごとに前記蛍光スペクトルと前記生体試料の位置情報を取得し、
 前記特定部は、前記所定領域ごとの前記蛍光スペクトルから、前記所定領域ごとの前記生体試料の位置情報に紐づけられた前記所定領域ごとの前記複数のバイオマーカに関する情報を特定し、
 前記相関解析部は、前記所定領域ごとの前記複数のバイオマーカに関する情報に対して前記行列分解処理を行い、前記所定領域ごとの前記複数のバイオマーカに関する情報の相関関係を出力する、
 上記(5)から(8)のいずれか一つに記載の情報処理装置。
(11)
 前記複数のサンプルは、異なる複数の標本である、
 上記(10)に記載の情報処理装置。
(12)
 前記複数の標本は、患者ごとの標本である、
 上記(11)に記載の情報処理装置。
(13)
 前記複数の標本は、患者の部位ごとの標本である、
 上記(11)に記載の情報処理装置。
(14)
 前記複数のバイオマーカに関する情報のうち一つのバイオマーカに関する情報に含まれる複数の単位情報の並び順に基づいて、その他のバイオマーカに関する情報に含まれる複数の単位情報の並び順を変えるソート部をさらに備え、
 前記相関解析部は、前記並び順が変えられた前記複数のバイオマーカに関する情報に対して前記行列分解処理を行い、前記複数のバイオマーカに関する情報の相関関係を出力する、
 上記(1)から(13)のいずれか一つに記載の情報処理装置。
(15)
 前記生体試料に関する患者への投与薬剤候補を取得する情報取得部と、
 前記複数のバイオマーカに関する情報の相関関係及び前記患者への投与薬剤候補から、前記投与薬剤候補の前記患者への奏功性を推定する推定部と、
をさらに備える、
 上記(1)から(14)のいずれか一つに記載の情報処理装置。
(16)
 前記推定部は、前記複数のバイオマーカに関する情報の相関関係から、共通モジュールのメンバーシップを抽出し、前記共通モジュールのメンバーシップ及び前記患者への投与薬剤候補から、前記投与薬剤候補の前記患者への奏功性を推定する、
 上記(15)に記載の情報処理装置。
(17)
 前記バイオマーカに関する情報は、陽性細胞の程度であり、
 上記(1)から(16)のいずれか一つに記載の情報処理装置。
(18)
 前記バイオマーカに関する情報は、前記陽性細胞の程度を示す陽性細胞率、陽性細胞数又は輝度値である、
 上記(17)に記載の情報処理装置。
(19)
 前記相関解析部は、前記JNMFに所定の初期値を与える、
 上記(2)に記載の情報処理装置。
(20)
 前記相関解析部は、前記バイオマーカ毎の行列X及び行列Hをそれぞれ連結し、それぞれ連結した前記バイオマーカ毎の行列X及び行列Hで最小二乗法を実施して行列Wを取得し、取得した行列Wを前記所定の初期値として採用する、
 上記(19)に記載の情報処理装置。
(21)
 前記相関解析部は、前記バイオマーカ毎の行列X及び行列Hで最小二乗法を実施して前記バイオマーカ毎の行列Wを取得し、取得した前記バイオマーカ毎の行列Wから、残差が一番小さい行列Wを前記所定の初期値として採用する、
 上記(19)に記載の情報処理装置。
(22)
 前記相関解析部は、前記バイオマーカ毎の行列X及び行列Hで最小二乗法を実施して前記バイオマーカ毎の行列Wを取得し、取得した前記バイオマーカ毎の行列Wの平均値を前記所定の初期値として採用する、
 上記(19)に記載の情報処理装置。
(23)
 前記所定の初期値は、追加する新規サンプルに関する初期値を含み、
 前記相関解析部は、前記新規サンプルに関する初期値にのみ乱数を採用する、
 上記(19)に記載の情報処理装置。
(24)
 前記所定の初期値は、追加する新規サンプルに関する初期値を含み、
 前記相関解析部は、前記クラスタリング処理のクラスタ毎のWの平均値を前記新規サンプルに関する初期値として採用する、
 上記(19)に記載の情報処理装置。
(25)
 生体試料を含むサンプルの標本画像を取得する撮像装置と、
 前記標本画像を処理する情報処理装置と、
を備え、
 前記情報処理装置は、
 前記標本画像から、前記生体試料由来の蛍光スペクトルと前記生体試料の位置情報を取得する取得部と、
 前記蛍光スペクトルから、前記生体試料の位置情報に紐づけられた前記生体試料の異なる複数のバイオマーカに関する情報を抽出する特定部と、
 前記複数のバイオマーカに関する情報に対し、前記複数のバイオマーカの組み合わせに対応する行列分解処理を行い、前記複数のバイオマーカに関する情報の相関関係を出力する相関解析部と、
を有する生体試料解析システム。
(26)
 生体試料を含むサンプルから、前記生体試料由来の蛍光スペクトルと前記生体試料の位置情報を取得することと、
 前記蛍光スペクトルから、前記生体試料の位置情報に紐づけられた前記生体試料の異なる複数のバイオマーカに関する情報を特定することと、
 前記複数のバイオマーカに関する情報に対し、前記複数のバイオマーカの組み合わせに対応する行列分解処理を行い、前記複数のバイオマーカに関する情報の相関関係を出力することと、
を含む生体試料解析方法。
(27)
 上記(1)から(24)のいずれか一つに記載の情報処理装置を備える生体試料解析システム。
(28)
 上記(1)から(24)のいずれか一つに記載の情報処理装置により解析を行う生体試料解析方法。
 1    観察ユニット
 2    処理ユニット
 3    表示部
 10   励起部
 10A  蛍光試薬
 11A  試薬識別情報
 20   ステージ
 20A  標本
 21   記憶部
 21A  標本識別情報
 22   データ校正部
 23   画像形成部
 30   分光イメージング部
 30A  蛍光染色標本
 40   観察光学系
 50   走査機構
 60   フォーカス機構
 70   非蛍光観察部
 80   制御部
 100  情報処理装置
 110  取得部
 111  情報取得部
 112  画像取得部
 120  保存部
 121  情報保存部
 122  画像情報保存部
 123  解析結果保存部
 130  処理部
 131  解析部
 132  画像生成部
 133  空間解析部
 133a 選定部
 133b 特定部
 133c ソート部
 133d 相関解析部
 133e 推定部
 140  表示部
 150  制御部
 160  操作部
 200  データベース
 500  蛍光観察装置
 5000 顕微鏡システム
 5100 顕微鏡装置
 5101 光照射部
 5102 光学部
 5103 信号取得部
 5104 試料載置部
 5110 制御部
 5120 情報処理部

Claims (26)

  1.  生体試料を含むサンプルから、前記生体試料由来の蛍光スペクトルと前記生体試料の位置情報を取得する取得部と、
     前記蛍光スペクトルから、前記生体試料の位置情報に紐づけられた前記生体試料の異なる複数のバイオマーカに関する情報を特定する特定部と、
     前記複数のバイオマーカに関する情報に対し、前記複数のバイオマーカの組み合わせに対応する行列分解処理を行い、前記複数のバイオマーカに関する情報の相関関係を出力する相関解析部と、
    を備える情報処理装置。
  2.  前記相関解析部は、前記複数のバイオマーカに関する情報に対し、JNMF(Joint Non-negative Matrix Factorization)により前記行列分解処理を実行してから、クラスタリング処理を実行する、
     請求項1に記載の情報処理装置。
  3.  前記相関解析部は、前記クラスタリング処理のクラスタ数を変えながら、前記JNMFの残差平方和を求め、前記残差平方和の変化傾向からクラスタ数を決定する、
     請求項2に記載の情報処理装置。
  4.  前記クラスタリング処理のクラスタ数は、ユーザにより設定されている、
     請求項2に記載の情報処理装置。
  5.  前記サンプルの所定領域を決定する選定部をさらに備え、
     前記特定部は、前記所定領域の前記蛍光スペクトルから、前記所定領域の前記生体試料の位置情報に紐づけられた前記複数のバイオマーカに関する情報を特定する、
     請求項1に記載の情報処理装置。
  6.  前記選定部は、複数の前記所定領域を決定する、
     請求項5に記載の情報処理装置。
  7.  前記相関解析部は、前記複数のバイオマーカに関する情報に対し、JNMF(Joint Non-negative Matrix Factorization)により前記行列分解処理を実行してから、クラスタリング処理を実行し、
     前記クラスタリング処理のクラスタ数は、前記所定領域の数に応じて設定されている、
     請求項6に記載の情報処理装置。
  8.  前記所定領域は、ユーザにより設定されている、
     請求項5に記載の情報処理装置。
  9.  前記選定部は、複数の前記サンプルの共通位置の前記所定領域を決定し、
     前記取得部は、前記所定領域ごとに前記蛍光スペクトルと前記生体試料の位置情報を取得し、
     前記特定部は、前記所定領域ごとの前記蛍光スペクトルから、前記所定領域ごとの前記生体試料の位置情報に紐づけられた前記所定領域ごとの前記複数のバイオマーカに関する情報を特定し、
     前記相関解析部は、前記所定領域ごとの前記複数のバイオマーカに関する情報に対して前記行列分解処理を行い、前記所定領域ごとの前記複数のバイオマーカに関する情報の相関関係を出力する、
     請求項5に記載の情報処理装置。
  10.  前記選定部は、複数の前記サンプルの相違位置の前記所定領域を決定し、
     前記取得部は、前記所定領域ごとに前記蛍光スペクトルと前記生体試料の位置情報を取得し、
     前記特定部は、前記所定領域ごとの前記蛍光スペクトルから、前記所定領域ごとの前記生体試料の位置情報に紐づけられた前記所定領域ごとの前記複数のバイオマーカに関する情報を特定し、
     前記相関解析部は、前記所定領域ごとの前記複数のバイオマーカに関する情報に対して前記行列分解処理を行い、前記所定領域ごとの前記複数のバイオマーカに関する情報の相関関係を出力する、
     請求項5に記載の情報処理装置。
  11.  前記複数のサンプルは、異なる複数の標本である、
     請求項10に記載の情報処理装置。
  12.  前記複数の標本は、患者ごとの標本である、
     請求項11に記載の情報処理装置。
  13.  前記複数の標本は、患者の部位ごとの標本である、
     請求項11に記載の情報処理装置。
  14.  前記複数のバイオマーカに関する情報のうち一つのバイオマーカに関する情報に含まれる複数の単位情報の並び順に基づいて、その他のバイオマーカに関する情報に含まれる複数の単位情報の並び順を変えるソート部をさらに備え、
     前記相関解析部は、前記並び順が変えられた前記複数のバイオマーカに関する情報に対して前記行列分解処理を行い、前記複数のバイオマーカに関する情報の相関関係を出力する、
     請求項1に記載の情報処理装置。
  15.  前記生体試料に関する患者への投与薬剤候補を取得する情報取得部と、
     前記複数のバイオマーカに関する情報の相関関係及び前記患者への投与薬剤候補から、前記投与薬剤候補の前記患者への奏功性を推定する推定部と、
    をさらに備える、
     請求項1に記載の情報処理装置。
  16.  前記推定部は、前記複数のバイオマーカに関する情報の相関関係から、共通モジュールのメンバーシップを抽出し、前記共通モジュールのメンバーシップ及び前記患者への投与薬剤候補から、前記投与薬剤候補の前記患者への奏功性を推定する、
     請求項15に記載の情報処理装置。
  17.  前記バイオマーカに関する情報は、陽性細胞の程度であり、
     請求項1に記載の情報処理装置。
  18.  前記バイオマーカに関する情報は、前記陽性細胞の程度を示す陽性細胞率、陽性細胞数又は輝度値である、
     請求項17に記載の情報処理装置。
  19.  前記相関解析部は、前記JNMFに所定の初期値を与える、
     請求項2に記載の情報処理装置。
  20.  前記相関解析部は、前記バイオマーカ毎の行列X及び行列Hをそれぞれ連結し、それぞれ連結した前記バイオマーカ毎の行列X及び行列Hで最小二乗法を実施して行列Wを取得し、取得した行列Wを前記所定の初期値として採用する、
     請求項19に記載の情報処理装置。
  21.  前記相関解析部は、前記バイオマーカ毎の行列X及び行列Hで最小二乗法を実施して前記バイオマーカ毎の行列Wを取得し、取得した前記バイオマーカ毎の行列Wから、残差が一番小さい行列Wを前記所定の初期値として採用する、
     請求項19に記載の情報処理装置。
  22.  前記相関解析部は、前記バイオマーカ毎の行列X及び行列Hで最小二乗法を実施して前記バイオマーカ毎の行列Wを取得し、取得した前記バイオマーカ毎の行列Wの平均値を前記所定の初期値として採用する、
     請求項19に記載の情報処理装置。
  23.  前記所定の初期値は、追加する新規サンプルに関する初期値を含み、
     前記相関解析部は、前記新規サンプルに関する初期値にのみ乱数を採用する、
     請求項19に記載の情報処理装置。
  24.  前記所定の初期値は、追加する新規サンプルに関する初期値を含み、
     前記相関解析部は、前記クラスタリング処理のクラスタ毎のWの平均値を前記新規サンプルに関する初期値として採用する、
     請求項19に記載の情報処理装置。
  25.  生体試料を含むサンプルの標本画像を取得する撮像装置と、
     前記標本画像を処理する情報処理装置と、
    を備え、
     前記情報処理装置は、
     前記標本画像から、前記生体試料由来の蛍光スペクトルと前記生体試料の位置情報を取得する取得部と、
     前記蛍光スペクトルから、前記生体試料の位置情報に紐づけられた前記生体試料の異なる複数のバイオマーカに関する情報を特定する特定部と、
     前記複数のバイオマーカに関する情報に対し、前記複数のバイオマーカの組み合わせに対応する行列分解処理を行い、前記複数のバイオマーカに関する情報の相関関係を出力する相関解析部と、
    を有する生体試料解析システム。
  26.  生体試料を含むサンプルから、前記生体試料由来の蛍光スペクトルと前記生体試料の位置情報を取得することと、
     前記蛍光スペクトルから、前記生体試料の位置情報に紐づけられた前記生体試料の異なる複数のバイオマーカに関する情報を特定することと、
     前記複数のバイオマーカに関する情報に対し、前記複数のバイオマーカの組み合わせに対応する行列分解処理を行い、前記複数のバイオマーカに関する情報の相関関係を出力することと、
    を含む生体試料解析方法。
PCT/JP2023/004378 2022-02-16 2023-02-09 情報処理装置、生体試料解析システム及び生体試料解析方法 WO2023157755A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022022096 2022-02-16
JP2022-022096 2022-02-16

Publications (1)

Publication Number Publication Date
WO2023157755A1 true WO2023157755A1 (ja) 2023-08-24

Family

ID=87578117

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/004378 WO2023157755A1 (ja) 2022-02-16 2023-02-09 情報処理装置、生体試料解析システム及び生体試料解析方法

Country Status (2)

Country Link
JP (1) JP2023119581A (ja)
WO (1) WO2023157755A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016161417A (ja) * 2015-03-02 2016-09-05 キヤノン株式会社 画像処理装置、画像処理方法、イメージングシステム
JP2020020791A (ja) * 2018-07-24 2020-02-06 ソニー株式会社 情報処理装置、情報処理方法、情報処理システム、およびプログラム
WO2020179586A1 (ja) * 2019-03-04 2020-09-10 ソニー株式会社 情報処理装置、及び顕微鏡システム
JP2021032674A (ja) * 2019-08-23 2021-03-01 ソニー株式会社 情報処理装置、表示方法、プログラム及び情報処理システム
WO2022004500A1 (ja) * 2020-06-30 2022-01-06 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、顕微鏡システム及び解析システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016161417A (ja) * 2015-03-02 2016-09-05 キヤノン株式会社 画像処理装置、画像処理方法、イメージングシステム
JP2020020791A (ja) * 2018-07-24 2020-02-06 ソニー株式会社 情報処理装置、情報処理方法、情報処理システム、およびプログラム
WO2020179586A1 (ja) * 2019-03-04 2020-09-10 ソニー株式会社 情報処理装置、及び顕微鏡システム
JP2021032674A (ja) * 2019-08-23 2021-03-01 ソニー株式会社 情報処理装置、表示方法、プログラム及び情報処理システム
WO2022004500A1 (ja) * 2020-06-30 2022-01-06 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、顕微鏡システム及び解析システム

Also Published As

Publication number Publication date
JP2023119581A (ja) 2023-08-28

Similar Documents

Publication Publication Date Title
US20210325308A1 (en) Artificial flourescent image systems and methods
Ojaghi et al. Label-free hematology analysis using deep-ultraviolet microscopy
US7755757B2 (en) Distinguishing between renal oncocytoma and chromophobe renal cell carcinoma using raman molecular imaging
US8849006B2 (en) Darkfield imaging system and methods for automated screening of cells
JP2022534156A (ja) デジタルパソロジーのための人工知能処理システムおよび自動化された事前診断ワークフロー
US7956996B2 (en) Distinguishing between invasive ductal carcinoma and invasive lobular carcinoma using raman molecular imaging
US11668653B2 (en) Raman-based immunoassay systems and methods
US20220383986A1 (en) Complex System for Contextual Spectrum Mask Generation Based on Quantitative Imaging
O’Dwyer et al. Automated Raman micro-spectroscopy of epithelial cell nuclei for high-throughput classification
WO2022176396A1 (ja) 情報処理装置及び情報処理方法、コンピュータプログラム、並びに医療診断システム
WO2022004500A1 (ja) 情報処理装置、情報処理方法、プログラム、顕微鏡システム及び解析システム
Ma et al. Hyperspectral microscopic imaging for the detection of head and neck squamous cell carcinoma on histologic slides
Habibalahi et al. Pterygium and ocular surface squamous neoplasia: optical biopsy using a novel autofluorescence multispectral imaging technique
WO2023157755A1 (ja) 情報処理装置、生体試料解析システム及び生体試料解析方法
WO2023157756A1 (ja) 情報処理装置、生体試料解析システム及び生体試料解析方法
Ellingsen et al. Spectral correlation analysis of amyloid β plaque inhomogeneity from double staining experiments
WO2023107844A1 (en) Label-free virtual immunohistochemical staining of tissue using deep learning
Ohn et al. High‐speed multicolor microscopy of repeating dynamic processes
WO2023149296A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
WO2022201992A1 (ja) 医療用画像解析装置、医療用画像解析方法及び医療用画像解析システム
WO2023276219A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
JP2022535798A (ja) ハイパースペクトル定量的イメージング・サイトメトリ・システム
WO2022249583A1 (ja) 情報処理装置、生体試料観察システム及び画像生成方法
EP4316414A1 (en) Medical image analysis device, medical image analysis method, and medical image analysis system
WO2022259648A1 (ja) 情報処理プログラム、情報処理装置、情報処理方法、及び顕微鏡システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23756281

Country of ref document: EP

Kind code of ref document: A1