JPWO2019073666A1 - 判定装置、判定方法、および判定プログラム - Google Patents

判定装置、判定方法、および判定プログラム Download PDF

Info

Publication number
JPWO2019073666A1
JPWO2019073666A1 JP2019547924A JP2019547924A JPWO2019073666A1 JP WO2019073666 A1 JPWO2019073666 A1 JP WO2019073666A1 JP 2019547924 A JP2019547924 A JP 2019547924A JP 2019547924 A JP2019547924 A JP 2019547924A JP WO2019073666 A1 JPWO2019073666 A1 JP WO2019073666A1
Authority
JP
Japan
Prior art keywords
spectrum
biological sample
measured
spectral spectrum
determination device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019547924A
Other languages
English (en)
Inventor
宗彰 匹田
宗彰 匹田
牧子 田窪
牧子 田窪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JPWO2019073666A1 publication Critical patent/JPWO2019073666A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • G01N33/4833Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00Apparatus for enzymology or microbiology
    • C12M1/34Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12QMEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/02Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
    • C12Q1/04Determining presence or kind of microorganism; Use of selective media for testing antibiotics or bacteriocides; Compositions containing a chemical indicator therefor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/65Raman scattering
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/12Circuits of general importance; Signal processing
    • G01N2201/126Microprocessor processing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/12Circuits of general importance; Signal processing
    • G01N2201/129Using chemometrical methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/12Circuits of general importance; Signal processing
    • G01N2201/129Using chemometrical methods
    • G01N2201/1296Using chemometrical methods using neural networks

Abstract

判定装置であって、未知の生体試料の分光スペクトルを測定する測定部と、既知のがん組織から測定した分光スペクトルを含む教師データを学習して生成された学習済みモデルを参照し、測定部が測定した生体試料の分光スペクトルに基づく入力データから、生体試料に含まれるがん組織を判定する判定部とを備える。上記判定装置において、教師データは、がん組織の原発巣に関する情報を含んでもよい。また、上記判定装置において、教師データは、正常組織から測定した分光スペクトルを含んでもよい。

Description

本発明は、判定装置、判定方法、および判定プログラムに関する。
転移がんの標本から原発巣を特定することが望まれており、標本から胃がん由来であることを判定する方法が提案されている(例えば、特許文献1参照)。
特許文献1 特開2004−321102号公報
既知の判定方法は、胃がん由来のものであるか否かを調べる方法であって、複数の原発巣の候補から標本の原発巣を特定することはできない。
本発明の第1の態様においては、未知の生体試料の分光スペクトルを測定する測定部と、既知のがん組織から測定した分光スペクトルを含む教師データを学習して生成された学習済みモデルを参照し、測定部が測定した生体試料の分光スペクトルに基づく入力データから、生体試料に含まれるがん組織を判定する判定部とを備える判定装置が提供される。
本発明の第2の態様においては、未知の生体試料の分光スペクトルを測定する工程と、既知のがん組織から測定した分光スペクトルを含む教師データを学習して生成した学習済みモデルを参照し、生体試料から測定した分光スペクトルに基づく入力データから、生体試料に含まれるがん組織を判定する工程とを含む判定方法が提供される。
本発明の第3の態様においては、既知のがん組織から測定した分光スペクトルを含む教師データを学習して生成した学習済みモデルを参照しつつ、生体試料から測定した分光スペクトルに対応する入力データに基づいて生体試料に含まれるがん組織を判定するステップを電子計算機に実行させる判定プログラムが提供される。
上記の発明の概要は、本発明の特徴の全てを列挙したものではない。これらの特徴群のサブコンビネーションも発明となり得る。
判定装置100の構造を示す模式図である。 学習済みモデルを生成する手順を示す流れ図である。 関心領域310を示す模式図である。 ニューラルネットワークのモデルを例示する図である。 生体試料を判定する手順を示す流れ図である。 判定部210の構造を示す模式図である。 生体試料から測定した分光スペクトルを例示する図である。 測定分光スペクトルを学習する場合に次元を削減した状態を示す図である。 自家蛍光の光強度の積算値を示すグラフである。 生体試料から測定した分光スペクトルの積算値を示すグラフである。 他の生体試料について、自家蛍光の光強度の積算値を示すグラフである。 関心領域310を示す模式図である。 分光スペクトルのクラスタリングの過程を示す図である。 分光スペクトルをクラスタリングした結果を示すヒストグラムである。
以下、発明の実施の形態を通じて本発明を説明する。以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、判定装置100の構造を示す模式図である。判定装置100は、ステージ110、対物光学系120、光源装置130、照射光学系140、前部検出部150、後部検出部160、制御部170、および格納部180を備える。なお、以降の記載においては、「分光スペクトル」を、単に「スペクトル」と記載する。
判定装置100において、ステージ110、対物光学系120、光源装置130、照射光学系140、前部検出部150、および後部検出部160は、サンプル101のスペクトルを測定する測定部を形成する。格納部180は後述する学習済みモデルを格納する。制御部170の処理装置171は、格納部180と共に、がん組織の原発巣を判定する判定部を形成する。また、処理装置171は、学習済みモデルを生成するための機械学習も実行する。
なお、図示の例では、格納部180を判定装置100に付属して設けた。しかしながら、格納部180に格納された学習済みモデルを処理装置171が参照することができるならば、格納部180は、例えば、通信回線を通じて他の場所に配したオンラインストレージあるいはクラウドストレージであってもよい。
判定装置100のステージ110は、判定装置100の判定対象となるサンプル101を支持する。サンプル101は、容器または支持体と生体試料とを含む。サンプル101における容器または支持体は、励起光およびラマン散乱光に対して透明なガラス等の材料で形成された容器、板材等である。生体試料は、ヒト又は動物から採取された臓器、組織または細胞を含む小片である試料を意味する。
ステージ110は、容器を周縁部で支持する。また、ステージ110は、容器を支持していない部分に開口を有して、ステージ110側にも容器を露出させている。これにより、ステージ110に置かれたサンプル101に対してステージ110側からも励起光を照射することができ、且つ、サンプル101で発生した散乱光をステージ110側からも観察できる。
また、ステージ110は、ステージスキャナ111を有する。ステージスキャナ111は、図中に矢印x−y−zで示すように、サンプル101が置かれた面と平行なx−y方向および垂直なz方向に、サンプル101を駆動する。これにより、判定装置100においては、光学系の光軸および励起光の光路を固定したまま、サンプル101における立体的な領域を観察または判定の対象領域にすることができる。なお、以降の説明においては、サンプル101で判定装置100による観察または判定の対象となる領域を関心領域と記載する。
対物光学系120は、ステージ110に対して互いに反対側に配された前側対物レンズ121および後側対物レンズ122を有する。前側対物レンズ121は、サンプル101に対して照射される励起光および照明光等を集光する役割を担う。
光源装置130は、複数の光源131、132と、コンバイナ139とを有する。光源131、132は、互いに異なる照射光を発生する。コンバイナ139は、光源131、132が発生した光を合波する。よって、光源131、132から射出された照射光は、コンバイナ139により単一の光路を通過するビームとなり、サンプル101の同じ位置に照射される。
光源131は、サンプル101のラマン分光を測定する場合に使用する励起光、例えば、波長532nmのレーザ光を発生する。また、光源132は、サンプル101の顕微像を観察する場合に使用する可視光帯域の照明光を発生してもよい。更に、光源131、132をポンプ光とストークス光の光源にして、CARS過程によりラマン散乱光を発生させてもよい。なお、サンプル101に照射する照射光は、励起光であっても、照明光であっても、生体細胞を侵襲しにくい長めの波長を有することが好ましい。
照射光学系140は、ガルバノスキャナ141およびスキャンレンズ142を有する。ガルバノスキャナ141は、互いに平行ではない2つの揺動軸の周りを揺動する一対の反射鏡を備える。これにより、ガルバノスキャナ141に入射した光の光路は、光軸と交差する方向に二次元的に変位する。
スキャンレンズ142は、ガルバノスキャナ141から射出された励起光を、予め定められた一次像面143に合焦させる。更に、励起光の光路を曲げる反射鏡144を挟んで配されたコリメートレンズ145によりコリメートされた励起光は、前側対物レンズ121によりサンプル101に集光される。こうして、光源装置130から射出された励起光は、サンプル101に設定された任意の関心領域に照射される。
前部検出部150は、ダイクロイックミラー151、リレーレンズ152、153、帯域通過フィルタ154、および分光器155を有する。ダイクロイックミラー151は、コリメートレンズ145からサンプル101に向かって照射した励起光を高効率に透過させる。また、ダイクロイックミラー151は、サンプル101から発生した散乱光を高効率に反射する。
ダイクロイックミラー151は、励起光を照射されたサンプル101において発生したラマン散乱光を反射してリレーレンズ152、153に導く。帯域通過フィルタ154は、励起光およびレイリー散乱光を吸収または反射しつつ、サンプル101から発生したラマン散乱光を透過させて分光器155に入射させる。これにより、分光器155は、サンプル101から反射方向に発生したラマン散乱光を効率よく検出して分光像を出力する。
分光器155としては、ポリクロメータ等を用いることができる。なお、前部検出部150において、分光器155に換えてイメージセンサを配することにより、判定装置100を顕微鏡として使用することもできる。
後部検出部160は、反射鏡161、リレーレンズ162、163、帯域通過フィルタ164、および分光器165を有する。反射鏡161は、サンプル101において発生したラマン散乱光を反射して、リレーレンズ162、163、帯域通過フィルタ164、および分光器165に導く。なお、反射鏡161に換えて、ラマン散乱光の波長を選択的に反射するダイクロイックミラーを設けてもよい。
帯域通過フィルタ164は、レイリー散乱光および励起光を吸収または反射しつつ、サンプル101から発生したラマン散乱光を透過させて分光器165に入射させる。これにより、分光器165は、サンプル101の透過光によるラマン分光を効率よく検出する。
分光器165としては、ポリクロメータ等を用いることができる。なお、後部検出部160において、分光器165に換えて、可視光帯域の光を検出するイメージセンサを配することにより、判定装置100を顕微鏡として使用することもできる。
判定装置100において、サンプル101に対して照射光学系140と同じ側に配置された前部検出部150により検出されるラマン散乱光は、サンプル101により反射された後方ラマン散乱光である。一方、サンプル101に対して照射光学系140と反対側に配置された後部検出部160により検出されるラマン散乱光は、恰もサンプル101を透過した前方ラマン散乱光である。
制御部170は、処理装置171、マウス172、キーボード173、おび表示部174を有する。マウス172およびキーボード173は、処理装置171に接続され、処理装置171にユーザの指示を入力する場合に操作される。
表示部174は、マウス172およびキーボード173によるユーザの操作に対してフィードバックを返すと共に、処理装置171が生成した画像または文字列をユーザに向かって表示する。更に、判定装置100において、表示部174は、サンプル101を光学的に観察した観察像、判定結果を表す文字または画像等も表示する。
格納部180は、判定装置100が判定動作を実行する場合に参照する学習済みモデル190(図6参照)を格納する。学習済みモデル190としては、判定装置100自体の機械学習により生成された学習済みモデル190であってもよいし、通信回線または記憶媒体を通じて取得した学習済みモデル190であってもよい。
図2は、判定装置100の格納部180に格納する学習済みモデルを作成する手順を示す流れ図である。学習済みモデルを作成する場合は、まず、判定すべき属性が既知の生体試料を用意する(ステップS101)。
判定すべき属性が既知の生体試料の例としては、既知のがん組織が用いられる。既知のがん組織の例として、原発巣が判明している転移がん組織や、がん組織を含むことが判明している組織が挙げられる。すなわち、判定装置100により判定する属性が、未知の転移がんの生体試料の原発巣の種類である場合は、原発巣が既知であるがん組織の生体試料を用意する。また、判定装置100による判定の属性が、がん組織が存在するか否かである場合は、がん組織を含むことが既知である生体試料と、がん組織を含まないことが既知である生体試料とを用意する。
次に、判定装置100でスペクトルを測定できるように、ステップS101で用意した生体試料のサンプル101を調製する(ステップS102)。サンプル101は、病理組織検査の生体試料を調製する公知の各種方法で調製できる。
例えば、内視鏡等で採取した生検組織をホルマリンで固定し、パラフィンで包埋した後、ミクロトームで薄切する。更に、得られた切片をスライドグラス(支持体)に置いて、キシレンで脱パラフィンした後乾燥させると、サンプル101が完成する。脱パラフィンした後、カバーガラスを置いてプレパラートにしてもよい。
次に、調製したサンプル101の各々について、判定装置100を用いて全スペクトルを測定する(ステップS103)。すなわち、判定装置100において、ステージ110に置いたサンプル101に励起光を照射して、発生したラマン散乱光から、分光器155、165の少なくとも一方により全スペクトルを測定する。こうして、既知のがん組織から分光スペクトルが測定される。
ここで、全スペクトルとは、サンプル101における関心領域の全域に対応したスペクトルを意味する。ここでいう関心領域は、判定を目的として生体試料からラマンスペクトルを測定する対象となる領域であり、判定装置100のユーザにより設定される。
判定装置100による判定の対象が生体試料のがん組織である場合、細胞の大きさのレベルで生体試料を識別する必要がある。このため、判定の対象となる関心領域は、がん細胞の大きさと同等の大きさ、例えば、5μm以上且つ30μm以下、または、10μm以上且つ20μm以下を包含することが望ましい。また、関心領域は、がん組織が含まれる可能性の高い生体試料上の領域に設定される。
図3は、サンプル101の関心領域310における全スペクトルの測定方法の一例を示す図である。関心領域310は、更に小さな領域である複数の単位領域320に分割され、単位領域320毎に励起光を照射してラマン散乱光の光強度が測定される。
ここでは、単位領域320は、生体試料に含まれる細胞300、または、生体試料に含まれていた細胞300の細胞核301よりは広い領域に設定されている。より具体的には、例えば、10μm×10μmの関心領域310を、ひとつひとつが4μm以下の単位領域320に分割して、複数の単位領域320の各々について少なくとも1回ずつ励起光を照射してラマンスペクトルを測定する。これにより、最終的に、関心領域310全体のスペクトル、すなわち全スペクトルが測定される。
また、例えば、1μmの矩形の関心領域を設定し、各辺を10本の分割線で分割して形成した格子状の121点に、波長532nmの励起光を照射し、121本のスペクトルを測定する。このようにしても、関心領域310の全スペクトルが測定される。
なお、ある生体試料ががん細胞を含むことが既に判っている場合であってどの臓器のがんであるか判定する場合、すなわち生体試料の原発巣が存在する臓器を判定する場合や、転移がん細胞を含むことがわかっている場合であって原発巣を判定する場合は、組織・臓器レベルで識別できればよい。よって、ひとつの関心領域をより広い領域に設定してもよい。
また、ラマンスペクトルを測定する場合に、フォトブリーチにより自家蛍光を減少させた後に、ラマンスペクトル測定用の励起光を照射してもよい。これにより、生体試料の自家蛍光が大幅に低下して、測定されるスペクトルのS/N比を向上できる。更に、関心領域の形状は矩形に限られず、円形、楕円形等の幾何図形の他、細胞膜等の輪郭に沿った不定形の形状であってもよい。
再び図2を参照すると、次に、上記のようにして測定されたスペクトルに対応する情報を含む教師データが生成される(スペクトル104)。判定装置100による判定の対象を、生体試料に含まれるがん組織の原発巣にする場合は、測定したスペクトルとがん組織の原発巣に関する情報とを含む教師データを生成する。また、判定装置100による判定の対象を生体試料におけるがん組織の有無とする場合は、測定したスペクトルとがん組織の有無に関する情報とを含む教師データを生成する。次に、判定装置100の処理装置171は、生成された教師データを学習して、学習済みモデル190を生成する(ステップS105)。
図4は、格納部180に格納する学習済みモデル190を生成する場合に使用できるニューラルネットワーク200の一例を示す図である。人の脳神経回路を模したニューラルネットワーク200は、例えば、処理装置171内に形成され、入力層201、隠れ層202、および出力層203を有する。
入力層201は、隠れ層202に入力信号を受け渡す場合に、活性化関数による重みづけを調整する。次いで、隠れ層202の層数に応じて、重みづけの調整を繰り返した後、最終的な出力層203に受け渡された信号が出力される。出力層203は、例えば、予め用意された選択肢のいずれに入力信号が該当するかの確率を出力する。
出力された確率は検証され、妥当な出力信号が出力されるまで重みづけの調整が繰り返さる。こうして、最終的に調整された重みづけされた活性化関数を具備した学習済みモデル190が生成される。こうして生成された学習済みモデル190は、判定装置100の格納部180に格納される(ステップS106)。また、学習済みモデル190は、格納部180に格納されたことにより、処理装置171から参照できる状態になる。よって、判定装置100は、学習済みモデルを参照して判定処理を実行できる状態になる。
なお、学習済みモデルの生成には、ニューラルネットワークの他、サポートベクターマシン、決定木、ベイジアンネットワーク、線形回帰、多変量解析、ロジスティック回帰分析、及び判定分析からなる群より選択された少なくとも一つの機械学習の手法を実行してもよい。また、隠れ層202の層数にも特に制限はない。
更に、学習済みモデルを生成する場合に使用する教師データは、全スペクトルから、機械学習に適した状態に加工した代表スペクトル用いてもよい。代表スペクトルは、個々の関心領域を代表する単一のスペクトルであり、例えば、サンプル101における関心領域の全スペクトルの和、または、当該和をスペクトル数で除して算出した相加平均であってもよい。
また更に、上記の例では、教師データの生成に判定装置100自体を使用したが、教師データの生成に他の装置を用いてもよい。また、複数の判定装置100が存在する場合に、1台の判定装置100で生成した教師データを、他の判定装置100で使用してもよい。また更に、格納部180に格納する学習済みモデル190も、一代の判定装置100で生成した学習済みモデル190を、他の複数の判定装置で使用してもよい。
図5は、判定装置100による生体試料の判定手順を示す流れ図である。判定装置100により未知の生体試料を判定する場合は、まず、判定対象となる生体試料を用意する(ステップS201)。次に、図2に示した学習済みモデル190を生成する過程のステップS102と同様に、用意した生体試料をサンプル101に加工した上で(ステップS202)、上記過程と同様に、生体試料のスペクトルを測定する(ステップS203)。
こうして生体試料からスペクトルを測定して、サンプル101のスペクトルに基づく入力データを生成した判定装置100は、学習済みモデル190を参照して、未知の生体試料について判定を下す判定処理を実行する(ステップS204)。ここで判定装置100が下す判定は、例えば、教師データを学習した学習済みモデル190により判定された、生体試料にがん組織が含まれるか否かである。または、判定装置100が下す判定は、例えば、教師データを学習した学習済みモデル190が学習により判定された、生体試料に含まれるがん組織の原発巣の種類である。
図6は、判定装置100内に形成されて判定処理を実行する判定部210の構成を示すブロック図である。判定部210は、前部検出部150および後部検出部160の少なくとも一方を含む測定部から入力データを取得する処理装置171と、学習済みモデル190を格納した格納部180を含んで形成される。
前部検出部150および後部検出部160の少なくとも一方は、測定部として、サンプル101としてステージ110に置かれた生体試料からスペクトルを測定する。処理装置171は、測定されたスペクトルデータに、ノイズ成分の除去、信号の規格化等の処理をしたデータを入力データとして判定処理を実行する。
格納部180に格納された学習済みモデル190は、判定部210としての処理装置171が判定処理を実行する場合に参照される。格納部180は、処理装置171に内蔵してもよいし、処理装置171に接続された記憶媒体であってもよい。あるいは、格納部180は、処理装置171が通信回線を通じて参照する外部に配置された記憶媒体であってもよい。
判定部210において、学習済みモデル190は、処理装置171を通じて生体試料から測定された入力データが入力された場合に、当該情報に対応する確率が高い判定結果を処理装置171に返す。学習済みモデル190による判定処理の結果は、入力データに対するがん組織の判定結果として、処理装置171を通じてユーザに出力される。
次に、教師データを生成する場合に、また、未知の生体試料に基づく入力データ判定する場合に、前部検出部150および後部検出部160の少なくとも一方において測定されたスペクトルに対して実行する処理について説明する。
図7は、サンプル101から計測されたスペクトルの一例を示す図である。図示のスペクトルを代表スペクトルとして学習する場合は756次元になる。しかしながら、このデータを機械学習および学習済みモデルによる判定に用いる場合は、次元を削減することが望ましい。
換言すれば、上記の代表スペクトルから不必要なデータ、生体試料のスペクトルを反映していない成分等を除いた上で、判定処理に附すスペクトルデータの次元を削減して、機械学習等の処理に適した状態にすることにより、最終的な判定精度を向上できる。これらの処理を実行する場合には、代表スペクトルの積分値(スペクトルと横軸に囲まれる領域の面積)が所定値(例えば1)になるような規格化処理を予め実行してもよい。
代表スペクトルに対する処理のひとつとして、サンプル101に含まれる生体試料以外のものに由来するスペクトルを除去してもよい。この場合、生体試料以外のものとは、例えば、サンプル101を調製する場合に使用した薬品等のスペクトル、サンプル101において生体試料を支持する容器を形成するガラスのスペクトル、生体試料において発生する自家蛍光のスペクトル等を含む。
上記の例では、代表スペクトルのうち、測定領域の両端の代表スペクトルを除去しても判定に影響がないと考えられる。そこで、例えば、500〜600cm−1、又は1750〜1798cm−1の領域を除くことにより、スペクトルデータの次元を削減できる。このように、学習済みモデル190は、波長1750cm−1以上、且つ、600cm−1以下の帯域のスペクトルを機械学習して生成してもよい。同様に、判定装置100が判定の対象とするスペクトルも、波長1750cm−1以上、且つ、600cm−1以下に限ってもよい。
明らかに生体試料のものではないスペクトルの一例として、生体試料の調製過程でパラフィンのスペクトルがあげられる。代表スペクトルからパラフィンのピーク領域を除く処理によりスペクトルデータのS/N比を向上できると共に、学習する場合の次元を削減できる。
図7に示したスペクトルを例にあげると、スペクトルの両端に位置する87本のスペクトルと、サンプル101の調製に使用したパラフィンのピーク領域に相当する下記の28本のスペクトルとを除去することにより、当初756次元あったスペクトルデータを641次元まで削減できる。
888cm−1として、 886〜 891cm−1に位置する4本
1061cm−1として、1057〜1064cm−1に位置する5本
1131cm−1として、1128〜1135cm−1に位置する5本
1293cm−1として、1287〜1301cm−1に位置する9本
1366cm−1として、1363〜1370cm−1に位置する5本
このように、生体試料以外のスペクトルを除去することにより、最終的な判定精度を向上できる。また、判定の対象となるスペクトルデータの次元を削減することにより、判定に対する処理装置171の処理負荷を軽減すると共に、処理速度を向上できる。
図8は、図7に示した代表スペクトルを波数方向に10本ずつ平均化することにより、次元を10分の1にした例を示す。図示のように、上記の段階で641次元まで削減されたスペクトルは、更に64次元まで削減される。
更に、上記のようにして得られた代表スペクトルには、判定するには不適切なデータが含まれる場合がある。不適切なスペクトルの例としては、自家蛍光強度のスペクトルが大きすぎるデータがあげられる。また、不適切なスペクトルの他の例として、生体試料由来のスペクトルが小さすぎるデータもあげられる。
図9は、自家発光強度のスペクトルが大きすぎる場合の例を示す図である。図示の例では、乳がん、肺がん1、肺がん2、結腸がん1、結腸がん2の5種類の生体試料について125本のスペクトルを測定した。500〜1800cm−1の領域について自家蛍光のスペクトルの積分値を求め、点線Aで示すように、積分値180000を境界として、それ以上となる代表スペクトルを除去した。
図10は、生体試料から発生したラマン散乱光のスペクトルが小さすぎる場合の例を示す図である。図示の例では、乳がん、肺がん1、肺がん2、結腸がん1、結腸がん2の5種類の生体試料について125本のスペクトルを測定した。500〜1800cm−1の領域について、生体試料由来のスペクトルの積分値を求め、点線Bで示すように、積分値10000を境界として、それ以下になる代表スペクトルを除去した。この処理により、代表スペクトルデータの次元は333まで削減された。
上記の処理により、生体試料由来のスペクトルとノイズとの分離が難しく、判定精度の向上に寄与しない測定データが削除される。なお、削除したスペクトルに替えて、他の関心領域を設定して全スペクトルを測定し直してもよい。
上記のような測定スペクトルに対する処理は、学習済みモデルを生成する場合に使用する教師データを作成する場合にも、生体試料を含むサンプル101を判定する場合にも、同様に実行される。よって、がんであることが既知のがん組織、あるいは、原発巣が既知であるがん組織を用いて学習済みモデルを生成して、判定装置100の格納部180に格納しておくことにより、生体試料を含むサンプル101が判定に供された場合に、判定装置100は、当該サンプル101に含まれる生体試料ががんであるか否か、あるいは、当該がん組織の原発巣は何かを判定する。
[実験例1]
図8に示したように、10本ずつ平均化することにより次元を削減したスペクトルデータと、次元を削減する前のスペクトルデータとを用いて、結腸がんを原発巣とする生体試料の判定結果を2つの生体試料について比較した。下記の通り、次元の削減による判定率の変化は僅かであることが判った。なお、判定率は、全判定件数に対して判定結果が正しかった割合を示す。
生体試料1;
平均化前:84.5%
(Peaks:1665cm−1、1406cm−1、1581cm−1、1004cm−1
平均化後:85.5%
(Peaks:1350cm−1、1614cm−1、1367cm−1、1598cm−1
生体試料2;
平均化前:94%
(Peaks:1036cm−1、1282cm−1、1430cm−1、878cm−1
平均化後:95%
(Peaks:1450cm−1、1266cm−1、721cm−1、1434cm−1
なお、上記の「Peaks」は、各スペクトルの位置における強度の値を示す。上記の例では、1665cm−1、1406cm−1、1581cm−1、1004cm−1の4つのスペクトルの強度を使用して2つの強度比を作り、2次元の散布図を作成して線形判別分析を行った。
[実験例2]
乳がん、肺がん1、肺がん2、結腸がん1、結腸がん2の5種類の生体試料を含むことが既知であるサンプル101について、関心領域の代表スペクトルを合計125本取得した。個々の関心領域は10μm×10μmとし、関心領域内を1μm間隔で121点のスポットに励起光を5秒ずつ照射して、関心領域ごとに121のスペクトルを得た。更に、各関心領域について、スペクトルの和を121で除して、当該関心領域の代表スペクトルとした。こうして、図9、10に示したように、125本の代表スペクトルを得た。
更に、各代表スペクトルの積分値が1になるように規格化した後、先に説明した通り、スペクトルの両端に位置する500〜600cm−1、および、1750〜1798cm−1の領域と、パラフィンのピーク領域とを除いて、スペクトルデータの次元を756次元から641次元まで次元を削減した。更に、データを10本ずつ平均化することにより、次元を64次元まで削減した。
続いて、図9に示したように、125本の代表スペクトルのそれぞれについて、自家蛍光のスペクトルの500〜1800cm−1の領域について積分値を求め、180000以上となる代表スペクトルを除去した。更に、図10に示したように、生体試料由来のスペクトルの500〜1800cm−1の領域について積分値を求め、10000以下となる代表スペクトルを除去した。これらの処理により、代表スペクトルは333本まで削減された。
これら333本の代表スペクトルのうちの283本を、原発巣に関する情報を含む教師データとして、図4に示したニューラルネットワークに学習させ、学習済みモデル190を生成した。生成した学習済みモデル190を格納部180に格納して、残りの50本の代表スペクトルに対する判定を、判定装置100に実行させた。その結果、原発巣の判定率は、92%であった。
[実験例3]
結腸がんを含む生体試料と、当該生体試料の作成にために切り出した切片のうち、がん細胞が含まれた領域に隣接した正常組織の生体試料とを使用して、実験例2と同様の手順で訓練用データとテスト用データを準備した。図11は、図9に示した場合と同様に、500本の代表スペクトルのそれぞれについて、自家蛍光のスペクトルの500〜1800cm−1の領域について積分値を求めた結果を示す図である。図示のデータから、積分値が180000以上となる代表スペクトルを除去した。更に、図10に示した場合と同様に、生体試料由来のスペクトルの500〜1800cm−1の領域について積分値を求め、10000以下となる代表スペクトルを除去した。
こうして削減したデータから50本をテスト用データとして判定したところ、判定率は90.2%であった。このように、判定装置100は、生体試料にがん組織が含まれるか否かも判定できる。
図12は、サンプル101から全スペクトルを測定する他の方法を例示する図である。この方法では、関心領域全域に対して強度が均一な励起光を照射してラマンスペクトルを測定する方法である。「照射領域が均一に分散する」とは、照射領域が実質的に偏りなく分布することを意味し、均一に分散しているか否かは、分散の均一性を評価する公知の方法で確認できる。
例えば、関心領域を、面積の等しいn個の領域(nは2以上の任意の整数)に分割したとき、分割された各領域に含まれる照射領域の数又は面積が実質的に等しい状態をいう。全スペクトルは、関心領域の面積にもよるが、例えば、関心領域あたり50本以上、60本以上、70本以上、80本以上、90本以上、又は100本以上取得してもよい。また、測定結果は、関心領域内のすべての測定結果を合計してもよいし、更に、それを照射本数で除した平均スペクトルを用いてもよい。
また、スペクトルデータの次元を削減する方法としては、クラスタリング等の公知の他の方法を用いることもできる。図13および図14は、クラスタリングによる代表スペクトルデータの次元の削減を示す。図13には、代表スペクトルにおける756本のピークが示される。これを、50個のクラスタに分類して、各クラスタを1のピークに置き換えることにより、図14に示すように、スペクトルを50次元まで削減できた。クラスタリングは、同じ性質のピークをクラスタとして平均化するので、単純な平均化よりも、生体試料の特性を反映しつつスペクトルを削減できる。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
100 判定装置、101 サンプル、110 ステージ、111 ステージスキャナ、120 対物光学系、121 前側対物レンズ、122 後側対物レンズ、130 光源装置、131、132 光源、139 コンバイナ、140 照射光学系、141 ガルバノスキャナ、142 スキャンレンズ、143 一次像面、144 反射鏡、145 コリメートレンズ、150 前部検出部、151 ダイクロイックミラー、152、153、162、163 リレーレンズ、154、164 帯域通過フィルタ、155、165 分光器、160 後部検出部、161 反射鏡、170 制御部、171 処理装置、172 マウス、173 キーボード、174 表示部、180 格納部、190 学習済みモデル、200 ニューラルネットワーク、201 入力層、202 隠れ層、203 出力層、210 判定部、300 細胞、301 細胞核、310 関心領域、320 単位領域

Claims (16)

  1. 未知の生体試料の分光スペクトルを測定する測定部と、
    既知のがん組織から測定した分光スペクトルを含む教師データを学習して生成された学習済みモデルを参照し、前記測定部が測定した生体試料の分光スペクトルに基づく入力データから、前記生体試料に含まれるがん組織を判定する判定部と、
    を備える判定装置。
  2. 前記教師データは、前記がん組織の原発巣に関する情報を含む請求項1に記載の判定装置。
  3. 前記教師データは、正常組織から測定した分光スペクトルを更に含む請求項1または2に記載の判定装置。
  4. 前記学習済みモデルは、波長1750cm−1以上、且つ、600cm−1以下の帯域の分光スペクトルを機械学習して生成される請求項1から3のいずれか一項に記載の判定装置。
  5. 前記学習済みモデルは、分光スペクトルを測定する対象である関心領域の一部である複数の単位領域毎に励起光を少なくとも1回照射して測定された分光スペクトルの、前記関心領域における総和に対応する情報を含む請求項1から4のいずれか一項に記載の判定装置。
  6. 前記学習済みモデルは、分光スペクトルを測定する対象である関心領域の一部である複数の単位領域毎に励起光を少なくとも1回照射して測定された分光スペクトルの、前記関心領域における相加平均に対応する情報を含む請求項1から4のいずれか一項に記載の判定装置。
  7. 前記学習済みモデルは、分光スペクトルを測定する対象である関心領域全体に均一に分散して照射した励起光により得られる全スペクトルの和に対応する情報を含む請求項1から4のいずれか一項に記載の判定装置。
  8. 前記学習済みモデルは、分光スペクトルを測定する対象である関心領域全体に均一に分散して照射した励起光により得られる全スペクトルの和を、分光スペクトルの数で除した平均スペクトルに対応する情報を含む請求項1から4のいずれか一項に記載の判定装置。
  9. 前記学習済みモデルは、前記既知のがん組織から測定した分光スペクトルから、前記がん組織を収容した容器の分光スペクトルおよび前記がん組織の自家蛍光スペクトルを除去した分光スペクトルから機械学習して生成される請求項1から8のいずれか一項に記載の判定装置。
  10. 前記教師データは、フォトブリーチにより自家蛍光を減少させた後に測定した分光スペクトルから機械学習して生成される請求項9に記載の判定装置。
  11. 前記教師データおよび前記入力データは、分光スペクトルの積分値が予め定めた値になるように規格化されている請求項1から10のいずれか一項に記載の判定装置。
  12. 前記学習済みモデルは、次元を削減した前記分光スペクトルのデータから機械学習して生成される請求項1から11のいずれか一項に記載の判定装置。
  13. 前記学習済みモデルは、ニューラルネットワーク、サポートベクターマシン、決定木、ベイジアンネットワーク、線形回帰、多変量解析、ロジスティック回帰分析、および判定分析の少なくとも一つの手法により機械学習して生成される請求項1から12のいずれか一項に記載の判定装置。
  14. 前記判定部は、自家蛍光スペクトルの積分値が予め定めた上限値よりも高い分光スペクトル、および、自家蛍光スペクトルの積分値が予め定めた下限値よりも低い分光スペクトルを除いた分光スペクトルを前記学習済みモデルとして参照する請求項1から13のいずれか一項に記載の判定装置。
  15. 未知の生体試料の分光スペクトルを測定する工程と、
    既知のがん組織から測定した分光スペクトルを含む教師データを学習して生成した学習済みモデルを参照し、前記生体試料から測定した分光スペクトルに基づく入力データから、前記生体試料に含まれるがん組織を判定する工程と、
    を含む判定方法。
  16. 既知のがん組織から測定した分光スペクトルを含む教師データを学習して生成した学習済みモデルを参照しつつ、未知の生体試料から測定した分光スペクトルに対応する入力データに基づいて前記生体試料に含まれるがん組織を判定するステップを電子計算機に実行させる判定プログラム。
JP2019547924A 2017-10-11 2018-07-31 判定装置、判定方法、および判定プログラム Pending JPWO2019073666A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762570716P 2017-10-11 2017-10-11
US62/570,716 2017-10-11
PCT/JP2018/028753 WO2019073666A1 (ja) 2017-10-11 2018-07-31 判定装置、判定方法、および判定プログラム

Publications (1)

Publication Number Publication Date
JPWO2019073666A1 true JPWO2019073666A1 (ja) 2020-12-03

Family

ID=66101330

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019547924A Pending JPWO2019073666A1 (ja) 2017-10-11 2018-07-31 判定装置、判定方法、および判定プログラム

Country Status (3)

Country Link
US (1) US20200300768A1 (ja)
JP (1) JPWO2019073666A1 (ja)
WO (1) WO2019073666A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3995996A4 (en) * 2019-07-03 2022-10-05 FUJIFILM Corporation TEACHING DEVICE, TEACHING DEVICE OPERATING METHOD, TEACHING DEVICE OPERATING PROGRAM, AND OPERATING DEVICE
EP3995997A4 (en) * 2019-07-03 2022-11-16 FUJIFILM Corporation LEARNING DEVICE, METHOD FOR OPERATING LEARNING DEVICE, OPERATING PROGRAM FOR LEARNING DEVICE, AND OPERATING DEVICE
JP7130267B2 (ja) * 2020-09-03 2022-09-05 株式会社リガク 全反射蛍光x線分析装置及び推定方法
US20220283083A1 (en) * 2021-03-05 2022-09-08 Sysmex Corporation Method for analyzing test substance, analyzer, training method, analyzer system, and analysis program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001505113A (ja) * 1996-12-02 2001-04-17 ザ ユニバーシティー オブ テキサス システム 動径基底関数ネットワークを用いた子宮前癌の分光検出
JP2012176096A (ja) * 2011-02-25 2012-09-13 Sumitomo Electric Ind Ltd 生体検査装置および生体検査方法
JP2013514520A (ja) * 2009-12-17 2013-04-25 ブリティッシュ コロンビア キャンサー エージェンシー ブランチ ラマン分光法によるインビボでの組織の特徴付けのための装置および方法
JP2013535014A (ja) * 2010-06-25 2013-09-09 セルマーク セラノスティクス,リミテッド ライアビリティー カンパニー 生物学的試片をスペクトル画像により分析する方法
US20140286561A1 (en) * 2012-10-05 2014-09-25 Cireca Theranostics, Llc Method and system for analyzing biological specimens by spectral imaging
JP2016137217A (ja) * 2015-01-29 2016-08-04 国立大学法人島根大学 共鳴ラマン分光法を利用した生体組織内好酸球の検出方法、組織内好酸球浸潤性疾患の検査方法、及び生体組織内好酸球の検出装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001505113A (ja) * 1996-12-02 2001-04-17 ザ ユニバーシティー オブ テキサス システム 動径基底関数ネットワークを用いた子宮前癌の分光検出
JP2013514520A (ja) * 2009-12-17 2013-04-25 ブリティッシュ コロンビア キャンサー エージェンシー ブランチ ラマン分光法によるインビボでの組織の特徴付けのための装置および方法
JP2013535014A (ja) * 2010-06-25 2013-09-09 セルマーク セラノスティクス,リミテッド ライアビリティー カンパニー 生物学的試片をスペクトル画像により分析する方法
JP2012176096A (ja) * 2011-02-25 2012-09-13 Sumitomo Electric Ind Ltd 生体検査装置および生体検査方法
US20140286561A1 (en) * 2012-10-05 2014-09-25 Cireca Theranostics, Llc Method and system for analyzing biological specimens by spectral imaging
JP2016137217A (ja) * 2015-01-29 2016-08-04 国立大学法人島根大学 共鳴ラマン分光法を利用した生体組織内好酸球の検出方法、組織内好酸球浸潤性疾患の検査方法、及び生体組織内好酸球の検出装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PROC. SPIE, 2005, VOL.6007, 60070H-1〜60070H-8, JPN7018003233, ISSN: 0004982664 *

Also Published As

Publication number Publication date
WO2019073666A1 (ja) 2019-04-18
US20200300768A1 (en) 2020-09-24

Similar Documents

Publication Publication Date Title
JPWO2019073666A1 (ja) 判定装置、判定方法、および判定プログラム
EP2976001B1 (en) Measurement of tissue structures
US10552956B2 (en) Reconstruction method of biological tissue image, apparatus therefor, and image display apparatus using the biological tissue image
US20060281068A1 (en) Cytological methods for detecting a disease condition such as malignancy by Raman spectroscopic imaging
Walsh et al. Label-free biomedical imaging with mid-IR spectroscopy
Pilling et al. Infrared spectral histopathology using haematoxylin and eosin (H&E) stained glass slides: a major step forward towards clinical translation
US20100034743A1 (en) Raman Characterization of Transplant Tissue
US20070178067A1 (en) System and method for cytological analysis by raman spectroscopic imaging
US20060253261A1 (en) Digitizing biology
US11125692B2 (en) Determination method, determination apparatus, and recording medium
JP6896906B2 (ja) 分光画像データ処理装置および2次元分光装置
CN101198847A (zh) 增强来自生物对象的光学信号并将其成像的方法和应用
US20120200850A1 (en) Cytological methods for detecting a condition such as transplant efficiency by raman spectroscopic imaging
Gavgiotaki et al. Third Harmonic Generation microscopy distinguishes malignant cell grade in human breast tissue biopsies
JP2015172570A (ja) 測定装置、および測定方法
US11959835B2 (en) Preliminary diagnoses of cut tissue sections
WO2009035946A1 (en) Distinguishing between invasive ductal carcinoma and invasive lobular carcinoma using raman molecular imaging
JP2019207239A (ja) 品質評価方法及び品質評価装置
JP2020106370A (ja) 計測制御装置、分光計測装置、及び計測制御方法
WO2022144457A1 (en) A spectral imaging system arranged for identifying benign tissue samples, and a method of using said system
JP2024505149A (ja) 合成画像集合を生成する為の装置とシステムと方法
WO2007011571A2 (en) Digitizing biology
JP7099324B2 (ja) がんの検査方法、がんの検査装置、検査プログラムおよびがんの検査システム
WO2022269637A1 (en) Device for detection of breast cancer margin and a system thereof
van Doorn et al. Raman spectroscopy for guidance of vulvar cancer surgery: a pilot study

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200406

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220802

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230207