JP7473223B2 - 推定器学習装置、推定器学習方法、及び、推定器学習プログラム - Google Patents
推定器学習装置、推定器学習方法、及び、推定器学習プログラム Download PDFInfo
- Publication number
- JP7473223B2 JP7473223B2 JP2021534079A JP2021534079A JP7473223B2 JP 7473223 B2 JP7473223 B2 JP 7473223B2 JP 2021534079 A JP2021534079 A JP 2021534079A JP 2021534079 A JP2021534079 A JP 2021534079A JP 7473223 B2 JP7473223 B2 JP 7473223B2
- Authority
- JP
- Japan
- Prior art keywords
- absorbance
- cell nucleus
- estimator
- wavelength band
- biological material
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 11
- 210000003855 cell nucleus Anatomy 0.000 claims description 149
- 238000002835 absorbance Methods 0.000 claims description 133
- 239000012192 staining solution Substances 0.000 claims description 37
- 239000012620 biological material Substances 0.000 claims description 29
- 238000010521 absorption reaction Methods 0.000 claims description 22
- 230000003595 spectral effect Effects 0.000 claims description 19
- 239000000284 extract Substances 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 5
- 206010028980 Neoplasm Diseases 0.000 description 109
- 201000011510 cancer Diseases 0.000 description 109
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 62
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 35
- 238000002834 transmittance Methods 0.000 description 34
- 230000010365 information processing Effects 0.000 description 18
- 210000001519 tissue Anatomy 0.000 description 17
- 210000004027 cell Anatomy 0.000 description 16
- 238000004891 communication Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 13
- 238000010186 staining Methods 0.000 description 12
- 230000035945 sensitivity Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 102100022183 E3 ubiquitin-protein ligase MIB1 Human genes 0.000 description 5
- 101000973503 Homo sapiens E3 ubiquitin-protein ligase MIB1 Proteins 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000000049 pigment Substances 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 239000000243 solution Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000010827 pathological analysis Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 208000003174 Brain Neoplasms Diseases 0.000 description 1
- 101000945496 Homo sapiens Proliferation marker protein Ki-67 Proteins 0.000 description 1
- 102100034836 Proliferation marker protein Ki-67 Human genes 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000012744 immunostaining Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000004940 nucleus Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002062 proliferating effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N2021/1765—Method using an image detector and processing of image signal
- G01N2021/177—Detector of the video camera type
- G01N2021/1776—Colour camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Analysis (AREA)
Description
本発明は、推定器学習装置、推定器学習方法、及び、推定器学習プログラムに関する。
病理診断は、がんのグレード診断や診療方針の決定など確定診断法として臨床で行われている。これに対して、新たな病理診断の情報提供法として病理標本へのハイパースペクトル（ＨＳ）カメラの応用が検討されている。
Detecting brain tumor in pathological slides using hyperspectral imaging, Samuel Ortega, Himar Febelo, Rafael Camacho, Maria de la Luz Plaza, Gustavo M. Callico, Reberto Samiento, Biomedical Opt Express. 2018 Feb 1; 9(2): 818-831.
病理診断等で使用される細胞や組織の標本は、無色透明であることが多いため観察しにくいことがある。そこで、顕微鏡での観察を容易にするために、あらかじめ細胞や組織を染色してから、観察することが行われている。
染色された細胞をハイパースペクトルカメラで撮影することにより、複数のバンドの染色画像が得られる。複数のバンドの染色画像を用いて、がんか否かを推定することが望まれている。
本発明は、染色画像における細胞核が所定の状態であるか否かを推定できる技術を提供することを目的とする。
上記課題を解決するために、以下の手段を採用する。
即ち、第１の態様は、
所定の染色液で染色した生体物質試料を複数の波長帯でそれぞれ撮影した染色画像を取得する画像取得部と、
それぞれの前記染色画像における前記生体物質試料に含まれる細胞核の領域を抽出する細胞核抽出部と、
それぞれの前記染色画像から、前記細胞核の領域における各波長帯の吸光度を算出する色情報取得部と、
前記各波長帯の吸光度と、前記生体物質試料に対応付けられる前記生体物質試料に含まれる前記細胞核が所定状態であるか否かの情報との関係とに基づいて、前記各波長帯の吸光度から前記細胞核が所定状態であるか否かを推定する推定器を学習する推定器学習部と、
を備える、
推定器学習装置である。
所定の染色液で染色した生体物質試料を複数の波長帯でそれぞれ撮影した染色画像を取得する画像取得部と、
それぞれの前記染色画像における前記生体物質試料に含まれる細胞核の領域を抽出する細胞核抽出部と、
それぞれの前記染色画像から、前記細胞核の領域における各波長帯の吸光度を算出する色情報取得部と、
前記各波長帯の吸光度と、前記生体物質試料に対応付けられる前記生体物質試料に含まれる前記細胞核が所定状態であるか否かの情報との関係とに基づいて、前記各波長帯の吸光度から前記細胞核が所定状態であるか否かを推定する推定器を学習する推定器学習部と、
を備える、
推定器学習装置である。
開示の態様は、プログラムが情報処理装置によって実行されることによって実現されてもよい。即ち、開示の構成は、上記した態様における各手段が実行する処理を、情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録したコンピュータ読み取り可能な記録媒体として特定することができる。また、開示の構成は、上記した各手段が実行する処理を情報処理装置が実行する方法をもって特定されてもよい。開示の構成は、上記した各手段が実行する処理を行う情報処理装置を含むシステムとして特定されてもよい。
本発明によれば、染色画像における細胞核が所定の状態であるか否かを推定できる技術を提供することができる。
以下、図面を参照して実施形態について説明する。実施形態の構成は例示であり、発明の構成は、開示の実施形態の具体的構成に限定されない。発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。
〔実施形態１〕
（構成例１）
図１は、本実施形態の推定器学習のシステムの構成例を示す図である。本実施形態の推定器学習のシステム１０は、推定器学習装置１００、ハイパースペクトルカメラ２００を含む。推定器学習装置１００は、画像取得部１０２、細胞核抽出部１０４、色情報取得部１０６、色素量算出部１０８、吸光度推定部１１０、推定器学習部１１２を含む。推定器学習装置１００と、ハイパースペクトルカメラ２００とは、直接、又は、ネットワーク等を介して、通信可能に接続されている。
（構成例１）
図１は、本実施形態の推定器学習のシステムの構成例を示す図である。本実施形態の推定器学習のシステム１０は、推定器学習装置１００、ハイパースペクトルカメラ２００を含む。推定器学習装置１００は、画像取得部１０２、細胞核抽出部１０４、色情報取得部１０６、色素量算出部１０８、吸光度推定部１１０、推定器学習部１１２を含む。推定器学習装置１００と、ハイパースペクトルカメラ２００とは、直接、又は、ネットワーク等を介して、通信可能に接続されている。
推定器学習装置１００は、ハイパースペクトルカメラ２００からバンドごとの試料の染色画像を取得する。推定器学習装置１００は、染色画像から、細胞核の領域を抽出し、細胞核の吸光度を求め、色素量を推定する。推定器学習装置１００は、推定された色素量と、分光吸収係数から、吸光度を推定する。推定器学習装置１００は、染色画像に基づく吸光度及び推定した色素量と、細胞核ががんであるか非がんであるかの情報に基づいて、がん推定器を生成する。試料は、例えば、細胞や組織などの生体物質試料である。がんの細胞核以外の細胞核は、非がんの細胞核である。推定器学習装置１００で使用される、プログラム、データ及びテーブル等は、推定器学習装置１００の記憶手段に格納される。
画像取得部１０２は、ハイパースペクトルカメラ２００から試料の染色画像を取得する。
細胞核抽出部１０４は、画像取得部１０２で取得された試料の染色画像において、細胞核の領域を、利用者等に選択させることにより、染色画像における細胞核の領域を抽出する。細胞核抽出部１０４は、画像認識により、染色画像から細胞核の領域を抽出してもよい。
色情報取得部１０６は、試料の染色画像の細胞核の領域から、色情報（各バンドの吸光度）を算出する。
色素量算出部１０８は、取得されたマルチバンドの染色画像の細胞核の領域の色情報から、色素量を算出する。
吸光度推定部１１０は、分光吸収係数と色素量算出部１０８で算出された色素量とに基づいて、吸光度を推定する。
推定器学習部１１２は、染色画像の細胞核の吸光度及び吸光度推定部１１０で推定された吸光度と、細胞核ががんであるか非がんであるかの情報とに基づいて、がん推定器を学習する。推定器学習部１１２は、学習したがん推定器を記憶手段に格納する。がん推定器は、推定器の一例である。細胞核ががんであるか非がんであるかは、細胞核が所定状態であるか否かの一例である。所定状態であるか否かは、例えば、何らかの病気であるか否かなどである。
ハイパースペクトルカメラ２００は、撮影対象を複数に分けられたバンド（周波数帯、波長帯）毎に撮影することができるカメラである。ハイパースペクトルカメラ２００は、染色された試料をバンドごとに撮影する。ハイパースペクトルカメラ２００における撮影対象の周波数（波長）は、例えば、赤外線領域から紫外線領域である。ハイパースペクトルカメラ２００は、例えば、１０以上の波長帯（バンド）で撮影することができる。ハイパースペクトルカメラ２００は、ＲＧＢカメラよりも多い波長帯で撮影することができる。ハイパースペクトルカメラ２００が撮影する波長帯（バンド）数は、１７以上であることが好ましい。ハイパースペクトルカメラ２００が撮影する波長帯（バンド）数は、５１以上であることがより好ましい。
図２は、本実施形態のがん推定のシステムの構成例を示す図である。本実施形態のがん推定のシステム２０は、ハイパースペクトルカメラ２００、推定装置３００を含む。推定装置３００は、画像取得部３０２、細胞核抽出部３０４、色情報取得部３０６、色素量算出部３０８、吸光度推定部３１０、推定部３１２、推定器３１４を含む。ハイパースペクトルカメラ２００は、図１のハイパースペクトルカメラ２００と同様である。推定装置３００と、ハイパースペクトルカメラ２００とは、直接、又は、ネットワーク等を介して、通信可能に接続されている。
推定装置３００は、ハイパースペクトルカメラ２００からバンドごとの試料の染色画像を取得する。推定装置３００は、染色画像から、細胞核の領域を抽出し、細胞核の吸光度を求め、色素量を推定する。推定装置３００は、推定された色素量と、分光吸収係数から、吸光度を推定する。推定装置３００は、染色画像に基づく吸光度及び推定した色素量と、推定器学習装置１００で学習された推定器を用いて、染色画像内の細胞核ががんであるか否か（非がんであるか）の推定を行なう。試料は、例えば、細胞や組織などの生体物質である。推定装置３００で使用される、プログラム、データ及びテーブル等は、推定装置３００の記憶手段に格納される。
画像取得部３０２は、画像取得部３０２、細胞核抽出部３０４、色情報取得部３０６、色素量算出部３０８、吸光度推定部３１０は、図１の画像取得部１０２、細胞核抽出部１０４、色情報取得部１０６、色素量算出部１０８、吸光度推定部１１０と同様である。
推定部３１２は、染色画像の吸光度等に基づいて、推定器学習装置１００によって学習されたがん推定器３１４を用いて、染色画像内の細胞核ががんであるか否かの推定を行なう。
がん推定器３１４は、それぞれ、推定器学習装置１００で構築された、がん推定器である。
がん推定器の学習を行う推定器学習装置１００とがん推定を行う推定装置３００とは、一体化して１つの装置として動作してもよい。
図３は、情報処理装置のハードウェア構成例を示す図である。図３に示す情報処理装置９０は、一般的なコンピュータの構成を有している。推定器学習装置１００は、図３に示すような情報処理装置９０を用いることによって、実現される。図３の情報処理装置９０は、プロセッサ９１、メモリ９２、記憶部９３、入力部９４、出力部９５、通信制御部９６を有する。これらは、互いにバスによって接続される。メモリ９２及び記憶部９３は、コンピュータ読み取り可能な記録媒体である。情報処理装置のハードウェア構成は、図３に示される例に限らず、適宜構成要素の省略、置換、追加が行われてもよい。
情報処理装置９０は、プロセッサ９１が記録媒体に記憶されたプログラムをメモリ９２の作業領域にロードして実行し、プログラムの実行を通じて各構成部等が制御されることによって、所定の目的に合致した機能を実現することができる。
プロセッサ９１は、例えば、ＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）である。
メモリ９２は、例えば、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）を含む。メモリ９２は、主記憶装置とも呼ばれる。
記憶部９３は、例えば、ＥＰＲＯＭ（Erasable Programmable ROM）、ハードディスクドライブ（ＨＤＤ、Hard Disk Drive）である。また、記憶部９３は、リムーバブルメディア、即ち可搬記録媒体を含むことができる。リムーバブルメディアは、例えば、ＵＳＢ（Universal Serial Bus）メモリ、あるいは、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）のようなディスク記録媒体である。記憶部９３は、二次記憶装置とも呼ばれる。
記憶部９３は、情報処理装置９０で使用される、各種のプログラム、各種のデータ及び各種のテーブルを読み書き自在に記録媒体に格納する。記憶部９３には、オペレーティングシステム（Operating System :ＯＳ）、各種プログラム、各種テーブル等が格納される。記憶部９３に格納される情報は、メモリ９２に格納されてもよい。また、メモリ９２に格納される情報は、記憶部９３に格納されてもよい。
オペレーティングシステムは、ソフトウェアとハードウェアとの仲介、メモリ空間の管理、ファイル管理、プロセスやタスクの管理等を行うソフトウェアである。オペレーティングシステムは、通信インタフェースを含む。通信インタフェースは、通信制御部９６を介して接続される他の外部装置等とデータのやり取りを行うプログラムである。外部装置等には、例えば、他の情報処理装置、外部記憶装置等が含まれる。
入力部９４は、キーボード、ポインティングデバイス、ワイヤレスリモコン、タッチパネル等を含む。また、入力部９４は、カメラのような映像や画像の入力装置や、マイクロフォンのような音声の入力装置を含むことができる。
出力部９５は、ＬＣＤ（Liquid Crystal Display）、ＥＬ（Electroluminescence）パネル、ＣＲＴ（Cathode Ray Tube）ディスプレイ、ＰＤＰ（Plasma Display Panel）等の表示装置、プリンタ等の出力装置を含む。また、出力部９５は、スピーカのような音声の出力装置を含むことができる。
通信制御部９６は、他の装置と接続し、情報処理装置９０と他の装置との間の通信を制御する。通信制御部９６は、例えば、ＬＡＮ（Local Area Network）インタフェースボード、無線通信のための無線通信回路、有線通信のための通信回路である。ＬＡＮインタフェースボードや無線通信回路は、インターネット等のネットワークに接続される。
情報処理装置９０は、プロセッサが補助記憶部に記憶されたプログラムを主記憶部の作業領域に実行可能に展開し、プログラムの実行を通じて周辺機器等の制御を行う。これにより、情報処理装置は、所定の目的に合致した機能を実現することができる。主記憶部及び補助記憶部は、情報処理装置が読み取り可能な記録媒体である。
（動作例）
〈がん推定器学習〉
図４は、推定器学習装置におけるがん推定器の学習の際の動作フローの例を示す図である。
〈がん推定器学習〉
図４は、推定器学習装置におけるがん推定器の学習の際の動作フローの例を示す図である。
Ｓ１０１では、画像取得部１０２は、ハイパースペクトルカメラ２００で撮影された染色された試料の染色画像をハイパースペクトルカメラ２００から取得する。画像取得部１０２は、取得した染色画像を、記憶手段に格納する。試料は、例えば、細胞や組織等の生体物質の切片標本である。染色画像は、所定の染色液で試料を染色して撮影されたものである。試料に所定の染色液を添加することで、所定の部分が発色する。発色する部分、色は、染色液に依存する。ハイパースペクトルカメラ２００では、複数のバンド（周波数帯）で染色画像が撮影される。染色液は、例えば、ヘマトキシリン（Hematoxylin）、エオジン（Eosin）である。染色液として、複数の染色液が使用されてもよい。ハイパースペクトルカメラ２００を使用することで、試料を透過した透過光のより詳細な情報を得ることができる。ハイパースペクトルカメラ２００で撮影された染色画像に含まれる細胞について、がんであるか非がんであるかは、既知である。各染色画像は、がんであるか、非がんであるかを対応付けられて、記憶手段に格納されている。
Ｓ１０２では、細胞核抽出部１０４は、Ｓ１０１で取得された試料の染色画像において、細胞核の領域を、利用者等に選択させることにより、染色画像における細胞核の領域を抽出する。細胞核抽出部１０４は、ディスプレイ等の表示手段に染色画像を表示して、利用者等にポインティングデバイス等の入力手段により染色画像における細胞核の領域を入力させる（選択させる）ことにより、染色画像における細胞核の領域を抽出する。細胞核抽出部１０４は、画像認識技術等により、染色画像から細胞核の領域を抽出してもよい。細胞核抽出部１０４は、細胞核の領域を染色画像とともに記憶手段に格納する。
図５は、染色画像において選択された細胞核の例を示す図である。図５（Ａ）は、細胞や組織等の生体物質の切片標本を染色液で染色した染色画像の例である。図５（Ｂ）は、選択された細胞核の領域を含む染色画像の例である。図５（Ｂ）は、図５（Ａ）の染色画像から細胞核の領域を選択されている。図５（Ｂ）において、各矢印で示される灰色領域が、細胞核の領域として選択された領域である。
Ｓ１０３では、色情報取得部１０６は、各バンドの染色画像の抽出された細胞核の領域から、各バンドの染色画像内の細胞核における各画素（位置）の吸光度を求める。ここで使用する細胞核における画素は、Ｓ１０２で抽出された細胞核の領域に含まれるすべての画素でなく、所定数の画素でもよい。吸光度は、光が媒質を通った際に光の強度がどの程度弱まるかを示す量である。各画素の吸光度は、各画素の明るさに依存する。色情報取得部１０６は、バンド毎に、染色画像における各画素の明るさから各画素の吸光度を求める。各バンドの吸光度は、試料に取り込まれた染色液の色素量及び染色液の分光吸収係数等に依存する。
Ｓ１０４では、色素量算出部１０８は、Ｓ１０３で求めた吸光度、既知である染色液の分光吸収係数に基づいて、画素毎に、試料に取り込まれた染色液の色素量を算出する。分光吸収係数は、光が媒質に入射したときに媒質がどの程度光を吸収するかを示す量である。染色液の分光吸収係数は、入射する光の波長に依存する。吸光度ベクトルをａ、分光吸収係数行列をＸ、色素量をＣ、差分ベクトルをｅとすると、ランバートベールの法則により、次のように表される。吸光度ベクトルａは、バンド毎の吸光度をベクトル表示したものである。分光吸収係数行列Ｘは、染色液毎、バンド毎の吸収係数を行列表示したものである。分光吸収係数行列Ｘは、あらかじめ、記憶手段に格納される。差分ベクトルｅは、分光吸収係数Ｘと色素量Ｃとの組み合わせで吸光度ベクトルａを表せないベクトル（残差成分）である。色素量算出部１０８は、差分ベクトルｅが最小となる推定色素量Ｃ′を最小二乗推定により算出する。
色素量算出部１０８は、次のように、推定行列Ｘ＋を吸光度ベクトルａに乗算することによって、試料に取り込まれた染色液毎の画素毎（位置毎）の推定色素量Ｃ′を求めることができる。ＸＴは、Ｘの転置行列である。
色素量算出部１０８は、次のように、推定行列Ｘ＋を吸光度ベクトルａに乗算することによって、試料に取り込まれた染色液毎の画素毎（位置毎）の推定色素量Ｃ′を求めることができる。ＸＴは、Ｘの転置行列である。
Ｓ１０５では、吸光度推定部１１０は、次のように、吸収分光係数ＸにＳ１０４で求めた推定色素量Ｃ′を乗算することで、推定された吸光度ベクトルａ′を求めることができる。吸光度ベクトルａ′は、染色液の分光吸収係数Ｘと試料に取り込まれた染色液の推定色素量Ｃ′とによって推定される吸光度ベクトル（推定吸光度）である。
差分ベクトルｅは、Ｓ１０３で算出された吸光度ベクトルａとここで推定された吸光度ベクトルａ′とに基づいて、次のように表される。
差分ベクトルｅは、Ｓ１０３で算出された吸光度ベクトルａとここで推定された吸光度ベクトルａ′とに基づいて、次のように表される。
Ｓ１０６では、推定器学習部１１２は、Ｓ１０３で算出した染色画像の細胞核の吸光度ベクトルａと、Ｓ１０５で推定した染色画像の細胞核の吸光度ベクトルａ′（差分ベクトルｅ）と、当該染色画像に含まれる細胞核ががんであるか非がんであるかの情報との関係を、機械学習等により分析する。分析には、ニューラルネットワークによるディープラーニング、Regression SVM、Regression Random Forest、多重回帰分析、Look Up Table等の学習空間を利用する手法等が使用され得る。また、分析には他の深層学習が利用されてもよい。推定器学習部１１２は、例えば、染色画像の吸光度ベクトルａ及び差分ベクトルｅを入力データとし、染色画像における細胞核のがんまたは非がんの情報を出力データとする。推定器学習部１１２は、吸光度ベクトルａ及び差分ベクトルｅを入力データとする際、それぞれ、正規化してもよい。推定器学習部１１２は、吸光度ベクトルを、例えば、エオジンのビーク波長である５４０ｎｍの吸光度で割ることにより、正規化することができる。推定器学習部１１２は、当該入力データと当該出力データとが紐付けられた教師あり学習により、がん推定器を学習する。がん推定器は、より多くの吸光度ベクトルａ及び差分ベクトルｅと細胞核のがんまたは非がんの情報との組を用いることで最適化される。また、がん推定器は、染色液毎に学習することができる。推定器学習部１１２は、吸光度ベクトルａ、吸光度ベクトルａ′、及び、差分ベクトルｅのうちいずれか１つと、細胞核ががんであるか非がんであるかの情報とを用いて、がん推定器を学習してもよい。がん推定器は、記憶手段に格納される。ベクトルの正規化は、例えば、ベクトルの成分のうち絶対値が最も大きい値で、当該ベクトルを割ったものを、新たなベクトル（正規化されたベクトル）とすることで実現できる。
また、推定器学習装置１００は、試料を様々な染色液で染色した染色画像を用いて、がん推定器を学習することで、様々な染色液のがん推定器を学習することができる。
〈がん推定器学習の変形例〉
染色画像における細胞核には、色の濃い画素（透過率が低い、吸光度が高い）、色の薄い画素（透過率が高い、吸光度が低い）が存在する。また、色の濃い／薄い画素には、エオジンによる染色の色の濃い／薄い画素、及び、ヘマトキシリンによる染色の色の濃い／薄い画素がある。上記の例では、細胞核における透過率が高い部分と低い部分（吸光度の高い部分と低い部分）とを区別せずに、がん推定器を学習している。細胞核における透過率が高い部分と低い部分（吸光度が高い部分と低い部分）とでは、性質が異なると考えられるため、ここでは区別して学習する。なお、吸光度は、透過率の逆数の対数である（吸光度＝－ｌｏｇ（透過率））。透過率が増加すると、吸光度は単調減少する。吸光度の代わりに透過率が使用されてもよい。
染色画像における細胞核には、色の濃い画素（透過率が低い、吸光度が高い）、色の薄い画素（透過率が高い、吸光度が低い）が存在する。また、色の濃い／薄い画素には、エオジンによる染色の色の濃い／薄い画素、及び、ヘマトキシリンによる染色の色の濃い／薄い画素がある。上記の例では、細胞核における透過率が高い部分と低い部分（吸光度の高い部分と低い部分）とを区別せずに、がん推定器を学習している。細胞核における透過率が高い部分と低い部分（吸光度が高い部分と低い部分）とでは、性質が異なると考えられるため、ここでは区別して学習する。なお、吸光度は、透過率の逆数の対数である（吸光度＝－ｌｏｇ（透過率））。透過率が増加すると、吸光度は単調減少する。吸光度の代わりに透過率が使用されてもよい。
推定器学習部１１２は、染色画像の細胞核の領域において、エオジンによる染色の色の波長である５１５ｎｍ－５６５ｎｍの吸光度の最大値が閾値以上（透過率の最小値が閾値以下）である画素について、エオジンの濃い画素として抽出する。また、推定器学習部１１２は、染色画像の細胞核の領域において、エオジンによる染色の色の波長である５１５ｎｍ－５６５ｎｍの吸光度の最大値が閾値未満（透過率の最小値が閾値超）である画素について、エオジンの薄い画素として抽出する。推定器学習部１１２は、染色画像の細胞核の領域を、エオジンの濃い画素、エオジンの薄い画素に分類して、それぞれについて、がん推定器を学習する。
推定器学習部１１２は、エオジンの濃い画素及び薄い画素を分ける、波長５１５ｎｍ－５６５ｎｍの透過率の最大値の閾値を、例えば、０．１５から０．４０までの０．０５刻みで変更して、それぞれについてがん推定器を学習する。推定器学習部１１２は、それぞれの閾値によるがん推定器について、精度を算出する。推定器学習部１１２は、精度が最も高くなる閾値を、エオジンの濃い画素及び薄い画素を分ける、波長５１５ｎｍ－５６５ｎｍの吸光度の最大値の閾値とする。
また、推定器学習部１１２は、ヘマトキシリンによる吸光度（透過率）の違いで分類してもよい。この場合、推定器学習部１１２は、染色画像の細胞核の領域において、ヘマトキシリンによる染色の色の波長である５８５ｎｍ－６３５ｎｍの吸光度の最大値が閾値以上（透過率の最小値が閾値以下）である画素について、ヘマトキシリンの濃い画素として抽出する。また、推定器学習部１１２は、染色画像の細胞核の領域において、ヘマトキシリンによる染色の色の波長である５８５ｎｍ－６３５ｎｍの吸光度の最大値が閾値未満（透過率の最小値が閾値超）である画素について、ヘマトキシリンの薄い画素として抽出する。なお、推定器学習部１１２は、染色画像の細胞核の領域を、ヘマトキシリンの濃い画素、ヘマトキシリンの薄い画素に分類して、それぞれについて、がん推定器を学習する。
推定器学習部１１２は、ヘマトキシリンの濃い画素及び薄い画素を分ける、波長５８５ｎｍ－６３５ｎｍの透過率の最大値の閾値を、例えば、０．３０から０．７０までの０．０５刻みで変更して、それぞれについてがん推定器を学習する。推定器学習部１１２は、それぞれの閾値によるがん推定器について、精度を算出する。推定器学習部１１２は、精度が最も高くなる閾値を、ヘマトキシリンの濃い画素及び薄い画素を分ける、波長５８５ｎｍ－６３５ｎｍの吸光度の最大値の閾値とする。
図６は、染色画像の細胞核の領域における、透過率の波長依存性のグラフの例を示す図である。図６のグラフの横軸は光の波長であり、縦軸は光の透過率である。図６のグラフでは、エオジンによる染色の色の波長である５１５ｎｍ－５６５ｎｍの領域において、透過率は５４０ｎｍで最小値となる。また、図６のグラフでは、ヘマトキシリンによる染色の色の波長である５１５ｎｍ－５６５ｎｍの領域において、透過率は５８５ｎｍで最小値となる。
また、推定器学習部１１２は、エオジンの吸光度とヘマトキシリンの吸光度との比で分類してもよい。ここでは、エオジンによる染色の色の濃さに対するヘマトキシリンによる染色の色の濃さで分類する。すなわち、エオジンによる染色の色に対して相対的にヘマトキシリンによる染色の色が濃いか薄いかで分類する。この場合、推定器学習部１１２は、染色画像の細胞核の領域において、吸光度を、エオジンのピーク波長である５４０ｎｍの吸光度で割った値（REH: Ratio of Eosin to Hematoxylin）のうち、ヘマトキシリンによる染色の色の波長である５８５ｎｍ－６３５ｎｍの最大値が閾値以上であるである画素について、相対的にヘマトキシリンの濃い画素として抽出する。また、推定器学習部１１２は、染色画像の細胞核の領域において、ヘマトキシリンによる染色の色の波長である５８５ｎｍ－６３５ｎｍにおけるＲＥＨの最大値が閾値未満である画素について、相対的にヘマトキシリンの薄い画素として抽出する。推定器学習部１１２は、染色画像の細胞核の領域を、相対的にヘマトキシリンの濃い画素、相対的にヘマトキシリンの濃い画素に分類して、それぞれについて、がん推定器を学習する。吸光度を、エオジンのピーク波長である５４０ｎｍの吸光度で割ることは、吸光度の正規化の一例である。
図７は、染色画像の細胞核の領域における、ＲＥＨの波長依存性のグラフの例を示す図である。図７のグラフの横軸は波長であり、縦軸はＲＥＨである。ＲＥＨは、吸光度をエオジンのピーク波長である５４０ｎｍの吸光度で割ることで算出される。よって、ＲＥＨは、波長５４０ｎｍで１となる。また、図７のグラフにおいて、ヘマトキシリンによる染色の色の波長である５８５ｎｍ－６３５ｎｍのＲＥＨの最大値は、波長５８５ｎｍで０．５０である。
推定器学習部１１２は、ヘマトキシリンによる染色の色がエオジンによる染色の色に対して相対的に濃い画素及び薄い画素を分ける、波長５８５ｎｍ－６３５ｎｍのＲＥＨの最大値の閾値を、例えば、０．４０から０．７０までの０．０５刻みで変更して、それぞれについてがん推定器を学習する。推定器学習部１１２は、それぞれの閾値によるがん推定器について、精度を算出する。推定器学習部１１２は、精度が最も高くなる閾値を、ヘマトキシリンの濃い画素及び薄い画素を分ける、波長５８５ｎｍ－６３５ｎｍの吸光度の最大値の閾値とする。
さらに、推定器学習部１１２は、エオジンの透過率による分類、ヘマトキシリンの透過率による分類、エオジンとヘマトキシリンとの吸光度の比（ＲＥＨ）による分類によるがん推定器のうち、最も精度が高くなるがん推定器を、がん推定器として採用する。
染色画像を細胞核のエオジンやヘマトキシリンの透過率（吸光度）、ＲＥＨの違いで分類することにより、がん推定器の性能をより向上させることができる。ここでは、がん推定器としているが、がん以外の病気や事象などであってもよい。がん推定器は、推定器の一例である。
〈がん推定〉
図８は、推定装置におけるがん推定の際の動作フローの例を示す図である。ここでは、推定装置３００は、がん推定対象の細胞を染色した染色画像と、上記のがん推定器とを用いて、がん推定を行なう。
図８は、推定装置におけるがん推定の際の動作フローの例を示す図である。ここでは、推定装置３００は、がん推定対象の細胞を染色した染色画像と、上記のがん推定器とを用いて、がん推定を行なう。
Ｓ２０１では、画像取得部３０２は、ハイパースペクトルカメラ２００で撮影された染色された試料の染色画像をハイパースペクトルカメラ２００から取得する。画像取得部３０２は、取得した染色画像を、記憶手段に格納する。試料は、がん推定の対象となる細胞や組織等の生体物質の切片標本である。染色画像は、所定の染色液で試料を染色して撮影されたものである。試料に所定の染色液を添加することで、所定の部分が発色する。発色する部分、色は、染色液に依存する。ハイパースペクトルカメラ２００では、複数のバンド（周波数帯）で染色画像が撮影される。染色液は、例えば、ヘマトキシリン（Hematoxylin）、エオジン（Eosin）である。染色液として、複数の染色液が使用されてもよい。ハイパースペクトルカメラ２００を使用することで、試料を透過した透過光のより詳細な情報を得ることができる。
Ｓ２０２からＳ２０５までは、図４のＳ１０２からＳ１０５までと同様である。
Ｓ２０６では、推定部３１２は、Ｓ２０３で算出した染色画像の細胞核の吸光度ベクトルａと、Ｓ２０５で推定した染色画像の細胞核の吸光度ベクトルａ′（差分ベクトルｅ）等を入力データとして、がん推定器３１４を用いて、がんか非がんかを推定する。ここでは、推定部３１２は、推定器学習装置１００で学習されたがん推定器３１４を用いることで、がんか否かを推定する。推定部３１２は、がんか否かの推定結果を記憶装置などの記憶手段に格納したり、ディスプレイなどの表示手段に出力したりする。入力データの項目（吸光度ベクトル、差分ベクトル等）は、がん推定器３１４を学習した際の入力データの項目と同じとする。
これにより、推定装置３００は、がん推定の対象となる細胞核を含む染色画像と、推定器学習装置１００で学習されたがん推定器３１４を用いて、がん推定を行うことができる。
（がん推定器によるがん推定の性能）
ここでは、非がん組織の切片の染色画像とがん組織の切片の染色画像を用いて、推定器学習装置１００により学習したがん推定器の性能を示す。各組織の切片は、あらかじめ、病理医によってがんか非がんかが判定されている。比較対象として、ハイパースペクトルカメラ２００の代わりにＲＧＢカメラで撮影された染色画像を用いて、推定器学習装置１００と同様に、学習したがん推定器の性能についても示す。ＲＧＢカメラでは、赤色を含むバンドの染色画像、緑色を含むバンドの染色画像、青色を含むバンドの染色画像が得られる。ＲＧＢカメラで撮影された染色画像を用いた場合、がん推定器の精度は７９．８％、感度は８２．８％、特異度は７４．２％であった。感度は、がんの細胞をがんと推定した確率である。特異度は、非がんの細胞を非がんと推定した確率である。精度は、がんと判定したもののうち、がんの細胞である確率である。
ここでは、非がん組織の切片の染色画像とがん組織の切片の染色画像を用いて、推定器学習装置１００により学習したがん推定器の性能を示す。各組織の切片は、あらかじめ、病理医によってがんか非がんかが判定されている。比較対象として、ハイパースペクトルカメラ２００の代わりにＲＧＢカメラで撮影された染色画像を用いて、推定器学習装置１００と同様に、学習したがん推定器の性能についても示す。ＲＧＢカメラでは、赤色を含むバンドの染色画像、緑色を含むバンドの染色画像、青色を含むバンドの染色画像が得られる。ＲＧＢカメラで撮影された染色画像を用いた場合、がん推定器の精度は７９．８％、感度は８２．８％、特異度は７４．２％であった。感度は、がんの細胞をがんと推定した確率である。特異度は、非がんの細胞を非がんと推定した確率である。精度は、がんと判定したもののうち、がんの細胞である確率である。
推定器学習装置１００において、正規化されていない吸光度ベクトルａを用いて、がん推定器を学習した場合、がん推定器の精度は８３．３％、感度は８８．４％、特異度は７４．０％であった。ここでは、ハイパースペクトルカメラ２００で撮影された染色画像を用いている。ハイパースペクトルカメラ２００を用いることで、ＲＧＢカメラを用いた場合より、概ね、がん推定器の性能が向上している。
推定器学習装置１００において、正規化された吸光度ベクトルａ及び正規化された差分ベクトルｅを用いて、がん推定器を学習した場合、がん推定器の精度は８９．９％、感度は９０．２％、特異度は８９．２％であった。正規化された吸光度ベクトルａ及び正規化された差分ベクトルｅを用いることで、正規化されていない吸光度ベクトルａを用いた場合より、がん推定器の性能が向上している。
推定器学習装置１００において、正規化された吸光度ベクトルａ及び正規化された差分ベクトルｅを用いて、かつ、エオジンの透過率による閾値を０．１５から０．４０までの０．０５刻みで変更して分類して、がん推定器を学習した。このとき、濃い場合及び薄い場合を含めた全体のがん推定器の精度は、閾値が０．２０のとき、９１％で最も高くなった。また、推定器学習装置１００において、正規化された吸光度ベクトルａ及び正規化された差分ベクトルｅを用いて、かつ、ヘマトキシリンの透過率による閾値を０．３０から０．７０までの０．０５刻みで変更して分類して、がん推定器を学習した。このとき、濃い場合及び薄い場合を含めた全体のがん推定器の精度は、閾値が０．４５のとき、９０％で最も高くなった。さらに、推定器学習装置１００において、正規化された吸光度ベクトルａ及び正規化された差分ベクトルｅを用いて、かつ、ＲＥＨによる閾値を０．４０から０．７０までの０．０５刻みで変更して分類して、がん推定器を学習した。このとき、濃い場合及び薄い場合を含めた全体のがん推定器の精度は、閾値が０．７０のとき、８８％で最も高くなった。よって、推定器学習装置１００において、正規化された吸光度ベクトルａ及び正規化された差分ベクトルｅを用いて、かつ、エオジンの透過率による閾値０．２０を用いて分類して、がん推定器を学習した場合に、精度が９１％で最も高い結果となった。
推定器学習装置１００において、正規化された吸光度ベクトルａ及び正規化された差分ベクトルｅを用いて、かつ、エオジンの透過率による閾値を用いて分類して、がん推定器を学習した。エオジンの透過率による閾値は、０．２０（２０％）とした。エオジンの透過率が閾値以下である場合（濃い場合）、がん推定器の精度は９２．１％、感度は９１．７％、特異度は９２．５％であった。また、エオジンの透過率が閾値超である場合（薄い場合）、がん推定器の精度は９０．０％、感度は９１．２％、特異度は８６．４％であった。また、閾値以下の場合及び閾値超の場合を含めた全体のがん推定器の精度は９０．９％、感度は９１．４％、特異度は８９．９％であった。エオジンの透過率による閾値を用いて分類することで、濃い場合であっても、薄い場合であっても、分類しない場合より、がん推定器の性能が向上している。
（その他）
上記では、非がん組織の切片の染色画像とがん組織の切片の染色画像を用いて、推定器学習装置１００により学習したがん推定器の性能を示した。非がん組織の切片とがん組織の切片とは、異なる被験者より採取した切片である。そのため、被験者Ａの非がん組織の切片と被験者Ｂのがん組織の切片とでは、被験者の違いの影響で、色合いが異なる可能性がある。ここでは、同一切片の同一組織における陽性細胞核（増殖している細胞核）と陰性細胞核（正常な細胞核、陽性細胞核以外の細胞核）を用いて、推定器学習装置１００により学習したがん推定器の性能を示す。ここでは、ＨＥ染色画像と、ＭＩＢ１染色画像とが使用される。ＨＥ染色画像は、切片を、ヘマトキシリン（Hematoxylin）、エオジン（Eosin）の染色液で染色して撮影した画像である。ここでは、ハイパースペクトルカメラ２００で５１バンドで撮影されたＨＥ染色画像を用いている。ＭＩＢ１染色画像は、切片を、さらに、免疫染色においてＫｉ－６７をＭＩＢ－１抗体で染色して、茶色に染まる細胞核を陽性細胞核とし青色に染まる細胞核を陰性細胞核とした染色画像である。ここでは、陽性細胞核（Ｋｉ－６７陽性核）を仮にがん細胞とみなす。推定器学習装置１００は、５１バンドで撮影したＨＥ染色画像の各細胞核の吸光度ベクトルａ及び差分ベクトルｅと、ＭＩＢ１染色画像の各細胞核の陽性細胞核または陰性細胞核の情報との組を用いて、がん推定器を学習する。ここでは、Support Vector Machineを用いてForward step wise法で特徴選択を行った。このとき、がん推定器の陽性細胞核推定の精度は、６５％であった。陽性細胞核推定の精度は、陽性細胞核と推定した細胞核のうち、陽性細胞核である確率である。
上記では、非がん組織の切片の染色画像とがん組織の切片の染色画像を用いて、推定器学習装置１００により学習したがん推定器の性能を示した。非がん組織の切片とがん組織の切片とは、異なる被験者より採取した切片である。そのため、被験者Ａの非がん組織の切片と被験者Ｂのがん組織の切片とでは、被験者の違いの影響で、色合いが異なる可能性がある。ここでは、同一切片の同一組織における陽性細胞核（増殖している細胞核）と陰性細胞核（正常な細胞核、陽性細胞核以外の細胞核）を用いて、推定器学習装置１００により学習したがん推定器の性能を示す。ここでは、ＨＥ染色画像と、ＭＩＢ１染色画像とが使用される。ＨＥ染色画像は、切片を、ヘマトキシリン（Hematoxylin）、エオジン（Eosin）の染色液で染色して撮影した画像である。ここでは、ハイパースペクトルカメラ２００で５１バンドで撮影されたＨＥ染色画像を用いている。ＭＩＢ１染色画像は、切片を、さらに、免疫染色においてＫｉ－６７をＭＩＢ－１抗体で染色して、茶色に染まる細胞核を陽性細胞核とし青色に染まる細胞核を陰性細胞核とした染色画像である。ここでは、陽性細胞核（Ｋｉ－６７陽性核）を仮にがん細胞とみなす。推定器学習装置１００は、５１バンドで撮影したＨＥ染色画像の各細胞核の吸光度ベクトルａ及び差分ベクトルｅと、ＭＩＢ１染色画像の各細胞核の陽性細胞核または陰性細胞核の情報との組を用いて、がん推定器を学習する。ここでは、Support Vector Machineを用いてForward step wise法で特徴選択を行った。このとき、がん推定器の陽性細胞核推定の精度は、６５％であった。陽性細胞核推定の精度は、陽性細胞核と推定した細胞核のうち、陽性細胞核である確率である。
比較対象として、５１バンドで撮影したＨＥ染色画像の細胞核の吸光度ベクトルａと、ＭＩＢ１染色画像の各細胞核の陽性細胞核または陰性細胞核の情報との組を用いて、がん推定器を学習した場合、がん推定器の陽性細胞核推定の精度は６３％であった。さらに、１７バンドで撮影したＨＥ染色画像の細胞核の吸光度ベクトルａと、ＭＩＢ１染色画像の各細胞核の陽性細胞核または陰性細胞核の情報との組を用いて、がん推定器を学習した場合、がん推定器の陽性細胞核推定の精度は６１％であった。よって、差分ベクトルｅを用いてがん推定器を学習することで、推定の精度が向上することが分かる。
（実施形態の作用、効果）
推定器学習装置１００は、ハイパースペクトルカメラ２００でバンド毎に撮影された染色液で染色された細胞核を含む染色画像を取得する。ハイパースペクトルカメラ２００を用いることで、多くのバンドの染色画像を得ることができる。推定器学習装置１００は、取得された試料の染色画像において、細胞核の領域を、利用者等に選択させること等により、染色画像における細胞核の領域を抽出する。推定器学習装置１００は、各バンドの染色画像の抽出された細胞核の領域から、染色画像内の細胞核における各画素（位置）の吸光度を求める。推定器学習装置１００は、吸光度、既知である染色液の分光吸収係数に基づいて、画素毎に、試料に取り込まれた染色液の色素量を算出する。また、推定器学習装置１００は、算出された色素量と染色液の分光吸収係数Ｘに基づいて、吸光度ベクトルを推定する。推定器学習装置１００は、染色画像から求めた吸光度ベクトルと、推定された吸光度ベクトルとの差分である、差分ベクトルを算出する。推定器学習装置１００は、染色画像の細胞核の吸光度ベクトルａ及び推定した染色画像の細胞核の吸光度ベクトルａ′と吸光度ベクトルとの差分である差分ベクトルｅと、当該染色画像に含まれる細胞核ががんであるか非がんであるかの情報との関係を、機械学習等により分析し、がん推定器を学習する。がん推定器は、染色画像の細胞核の吸光度ベクトル等に基づいて、当該細胞核ががんであるか非がんであるかを推定することができる。推定器学習装置１００は、より多くのバンドの染色画像を用いることで、より性能の高い、がん推定器を構築することができる。推定器学習装置１００は、ランバートベールの法則に基づいて、差分ベクトルｅを算出することができる。推定器学習装置１００は、差分ベクトルｅを用いて、がん推定器を学習することで、より性能の高い、がん推定器を構築することができる。
推定器学習装置１００は、ハイパースペクトルカメラ２００でバンド毎に撮影された染色液で染色された細胞核を含む染色画像を取得する。ハイパースペクトルカメラ２００を用いることで、多くのバンドの染色画像を得ることができる。推定器学習装置１００は、取得された試料の染色画像において、細胞核の領域を、利用者等に選択させること等により、染色画像における細胞核の領域を抽出する。推定器学習装置１００は、各バンドの染色画像の抽出された細胞核の領域から、染色画像内の細胞核における各画素（位置）の吸光度を求める。推定器学習装置１００は、吸光度、既知である染色液の分光吸収係数に基づいて、画素毎に、試料に取り込まれた染色液の色素量を算出する。また、推定器学習装置１００は、算出された色素量と染色液の分光吸収係数Ｘに基づいて、吸光度ベクトルを推定する。推定器学習装置１００は、染色画像から求めた吸光度ベクトルと、推定された吸光度ベクトルとの差分である、差分ベクトルを算出する。推定器学習装置１００は、染色画像の細胞核の吸光度ベクトルａ及び推定した染色画像の細胞核の吸光度ベクトルａ′と吸光度ベクトルとの差分である差分ベクトルｅと、当該染色画像に含まれる細胞核ががんであるか非がんであるかの情報との関係を、機械学習等により分析し、がん推定器を学習する。がん推定器は、染色画像の細胞核の吸光度ベクトル等に基づいて、当該細胞核ががんであるか非がんであるかを推定することができる。推定器学習装置１００は、より多くのバンドの染色画像を用いることで、より性能の高い、がん推定器を構築することができる。推定器学習装置１００は、ランバートベールの法則に基づいて、差分ベクトルｅを算出することができる。推定器学習装置１００は、差分ベクトルｅを用いて、がん推定器を学習することで、より性能の高い、がん推定器を構築することができる。
推定装置３００は、ハイパースペクトルカメラ２００でバンド毎に撮影された染色液で染色された細胞核を含む染色画像と、推定器学習装置１００で学習されたがん推定器３１４とに基づいて、染色画像内の細胞核ががんであるか非がんであるかを推定する。
〈コンピュータ読み取り可能な記録媒体〉
コンピュータその他の機械、装置（以下、コンピュータ等）に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。
コンピュータその他の機械、装置（以下、コンピュータ等）に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。
ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体内には、ＣＰＵ、メモリ等のコンピュータを構成する要素を設け、そのＣＰＵにプログラムを実行させてもよい。
また、このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ／Ｗ、ＤＶＤ、ＤＡＴ、８mmテープ、メモリカード等がある。
また、コンピュータ等に固定された記録媒体としてハードディスクやＲＯＭ等がある。
（その他）
以上、本発明の実施形態を説明したが、これらはあくまで例示にすぎず、本発明はこれらに限定されるものではなく、特許請求の範囲の趣旨を逸脱しない限りにおいて、各構成の組み合わせなど、当業者の知識に基づく種々の変更が可能である。
以上、本発明の実施形態を説明したが、これらはあくまで例示にすぎず、本発明はこれらに限定されるものではなく、特許請求の範囲の趣旨を逸脱しない限りにおいて、各構成の組み合わせなど、当業者の知識に基づく種々の変更が可能である。
１０ ：システム
１００ ：推定器学習装置
１０２ ：画像取得部
１０４ ：細胞核抽出部
１０６ ：色情報取得部
１０８ ：色素量算出部
１１０ ：吸光度推定部
１１２ ：推定器学習部
２００ ：ハイパースペクトルカメラ
３００ ：推定装置
３０２ ：画像取得部
３０４ ：細胞核抽出部
３０６ ：色情報取得部
３０８ ：色素量算出部
３１０ ：吸光度推定部
３１２ ：推定部
３１４ ：がん推定器
９０ ：情報処理装置
９１ ：プロセッサ
９２ ：メモリ
９３ ：記憶部
９４ ：入力部
９５ ：出力部
９６ ：通信制御部
１００ ：推定器学習装置
１０２ ：画像取得部
１０４ ：細胞核抽出部
１０６ ：色情報取得部
１０８ ：色素量算出部
１１０ ：吸光度推定部
１１２ ：推定器学習部
２００ ：ハイパースペクトルカメラ
３００ ：推定装置
３０２ ：画像取得部
３０４ ：細胞核抽出部
３０６ ：色情報取得部
３０８ ：色素量算出部
３１０ ：吸光度推定部
３１２ ：推定部
３１４ ：がん推定器
９０ ：情報処理装置
９１ ：プロセッサ
９２ ：メモリ
９３ ：記憶部
９４ ：入力部
９５ ：出力部
９６ ：通信制御部
Claims (7)
- （削除）
- 所定の染色液で染色した生体物質試料を複数の波長帯でそれぞれ撮影した染色画像を取得する画像取得部と、
それぞれの前記染色画像における前記生体物質試料に含まれる細胞核の領域を抽出する細胞核抽出部と、
それぞれの前記染色画像から、前記細胞核の領域における各波長帯の吸光度を算出する色情報取得部と、
前記各波長帯の吸光度と、前記生体物質試料に対応付けられる前記生体物質試料に含まれる前記細胞核が所定状態であるか否かの情報との関係とに基づいて、前記各波長帯の吸光度から前記細胞核が所定状態であるか否かを推定する推定器を学習する推定器学習部と、
前記色情報取得部で算出された前記細胞核の領域の前記各波長帯の吸光度と、前記染色液の分光吸収係数に基づいて、前記細胞核の領域に取り込まれた前記染色液の色素量を推定する色素量算出部と、
前記色素量と前記分光吸収係数とに基づいて、前記細胞核の領域における各波長帯の推定の吸光度である各波長帯の推定吸光度を推定する吸光度推定部と、を備え、
前記推定器学習部は、前記各波長帯の吸光度及び前記各波長帯の吸光度と前記各波長帯の推定吸光度との差分と、前記生体物質試料に対応付けられる前記生体物質試料に含まれる前記細胞核が所定状態であるか否かの情報との関係とに基づいて、前記各波長帯の吸光度及び前記差分から前記細胞核が所定状態であるか否かを推定する前記推定器を学習する、
推定器学習装置。 - 前記各波長帯の吸光度及び前記差分は、それぞれ、正規化されている、
請求項２に記載の推定器学習装置。 - 前記推定器学習部は、所定の波長帯における前記吸光度が所定値以上であるもの及び前記所定値未満であるものうちいずれか一方を使用して、前記推定器を学習する、
請求項２または３に記載の推定器学習装置。 - 前記細胞核が前記所定状態であるか否かは、前記細胞核ががんであるか非がんであるかである、
請求項２から４のいずれか１項に記載の推定器学習装置。 - 推定器学習装置が、
所定の染色液で染色した生体物質試料を複数の波長帯でそれぞれ撮影した染色画像を取得し、
それぞれの前記染色画像における前記生体物質試料に含まれる細胞核の領域を抽出し、
それぞれの前記染色画像から、前記細胞核の領域における各波長帯の吸光度を算出し、
前記各波長帯の吸光度と、前記生体物質試料に対応付けられる前記生体物質試料に含まれる前記細胞核が所定状態であるか否かの情報との関係とに基づいて、前記各波長帯の吸光度から前記細胞核が所定状態であるか否かを推定する推定器を学習し、
算出された前記細胞核の領域の前記各波長帯の吸光度と、前記染色液の分光吸収係数に基づいて、前記細胞核の領域に取り込まれた前記染色液の色素量を推定し、
前記色素量と前記分光吸収係数とに基づいて、前記細胞核の領域における各波長帯の推定の吸光度である各波長帯の推定吸光度を推定し、
前記各波長帯の吸光度及び前記各波長帯の吸光度と前記各波長帯の推定吸光度との差分と、前記生体物質試料に対応付けられる前記生体物質試料に含まれる前記細胞核が所定状態であるか否かの情報との関係とに基づいて、前記各波長帯の吸光度及び前記差分から前記細胞核が所定状態であるか否かを推定する前記推定器を学習する、
ことを実行する推定器学習方法。 - 推定器学習装置が、
所定の染色液で染色した生体物質試料を複数の波長帯でそれぞれ撮影した染色画像を取得し、
それぞれの前記染色画像における前記生体物質試料に含まれる細胞核の領域を抽出し、
それぞれの前記染色画像から、前記細胞核の領域における各波長帯の吸光度を算出し、
前記各波長帯の吸光度と、前記生体物質試料に対応付けられる前記生体物質試料に含まれる前記細胞核が所定状態であるか否かの情報との関係とに基づいて、前記各波長帯の吸光度から前記細胞核が所定状態であるか否かを推定する推定器を学習し、
算出された前記細胞核の領域の前記各波長帯の吸光度と、前記染色液の分光吸収係数に基づいて、前記細胞核の領域に取り込まれた前記染色液の色素量を推定し、
前記色素量と前記分光吸収係数とに基づいて、前記細胞核の領域における各波長帯の推定の吸光度である各波長帯の推定吸光度を推定し、
前記各波長帯の吸光度及び前記各波長帯の吸光度と前記各波長帯の推定吸光度との差分と、前記生体物質試料に対応付けられる前記生体物質試料に含まれる前記細胞核が所定状態であるか否かの情報との関係とに基づいて、前記各波長帯の吸光度及び前記差分から前記細胞核が所定状態であるか否かを推定する前記推定器を学習する、
ことを実行するための推定器学習プログラム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019136420 | 2019-07-24 | ||
| JP2019136420 | 2019-07-24 | ||
| PCT/JP2020/028497 WO2021015249A1 (ja) | 2019-07-24 | 2020-07-22 | 推定器学習装置、推定器学習方法、及び、推定器学習プログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JPWO2021015249A1 JPWO2021015249A1 (ja) | 2021-01-28 |
| JPWO2021015249A5 JPWO2021015249A5 (ja) | 2022-06-08 |
| JP7473223B2 true JP7473223B2 (ja) | 2024-04-23 |
Family
ID=74194240
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021534079A Active JP7473223B2 (ja) | 2019-07-24 | 2020-07-22 | 推定器学習装置、推定器学習方法、及び、推定器学習プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20220270245A1 (ja) |
| JP (1) | JP7473223B2 (ja) |
| WO (1) | WO2021015249A1 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114488358B (zh) * | 2022-03-08 | 2023-03-17 | 中国科学院上海微系统与信息技术研究所 | 一种光子晶体滤波器及其制备方法 |
| US12111306B2 (en) * | 2022-10-03 | 2024-10-08 | Saudi Arabian Oil Company | Methods of geologic sample analysis |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011181015A (ja) | 2010-03-03 | 2011-09-15 | Olympus Corp | 診断情報配信装置および病理診断システム |
| JP2012154628A (ja) | 2011-01-21 | 2012-08-16 | Olympus Corp | 顕微鏡システム、情報処理装置、及び情報処理プログラム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5117274B2 (ja) * | 2008-05-02 | 2013-01-16 | オリンパス株式会社 | 画像処理装置および画像処理プログラム |
| WO2011163624A1 (en) * | 2010-06-25 | 2011-12-29 | Cellmark Theranostics, Llc | Method for analyzing biological specimens by spectral imaging |
| US9495753B2 (en) * | 2013-05-30 | 2016-11-15 | Canon Kabushiki Kaisha | Spectral image data processing apparatus and two-dimensional spectral apparatus |
| JP2017203637A (ja) * | 2016-05-09 | 2017-11-16 | 住友電気工業株式会社 | 腫瘍細胞検出方法及び腫瘍細胞検出装置 |
-
2020
- 2020-07-22 JP JP2021534079A patent/JP7473223B2/ja active Active
- 2020-07-22 WO PCT/JP2020/028497 patent/WO2021015249A1/ja active Application Filing
- 2020-07-22 US US17/629,570 patent/US20220270245A1/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011181015A (ja) | 2010-03-03 | 2011-09-15 | Olympus Corp | 診断情報配信装置および病理診断システム |
| JP2012154628A (ja) | 2011-01-21 | 2012-08-16 | Olympus Corp | 顕微鏡システム、情報処理装置、及び情報処理プログラム |
Non-Patent Citations (3)
| Title |
|---|
| 小林 直樹，ディジタル画像を用いた病理診断への展望，The Journal of the Institute of Image Electronics Engineers of Japan，2019年，Vol. 48 No.2，Pages 315-318 |
| 山口 雅浩，定量的病理診断に向けた病理画像解析技術，電子情報通信学会論文誌 Ｄ，2013年，Vol. J96-D No.4，pp.782-790 |
| 橋本 典明，マルチスペクトル画像を用いたＨ単染色標本からのディジタルＨ＆Ｅ染色とその応用，電子情報通信学会論文誌 Ｄ，2013年，Vol. J96-D No.4，pp.844-852 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220270245A1 (en) | 2022-08-25 |
| JPWO2021015249A1 (ja) | 2021-01-28 |
| WO2021015249A1 (ja) | 2021-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7559134B2 (ja) | 画像処理のための自動アッセイ評価および正規化 | |
| Iqbal et al. | Recent trends and advances in fundus image analysis: A review | |
| US10032287B2 (en) | System and method for assessing wound | |
| JP6552613B2 (ja) | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム | |
| US9779503B2 (en) | Methods for measuring the efficacy of a stain/tissue combination for histological tissue image data | |
| Kudva et al. | Detection of specular reflection and segmentation of cervix region in uterine cervix images for cervical cancer screening | |
| US11062168B2 (en) | Systems and methods of unmixing images with varying acquisition properties | |
| CN110889312A (zh) | 活体检测方法和装置、电子设备、计算机可读存储介质 | |
| Li et al. | Red blood cell count automation using microscopic hyperspectral imaging technology | |
| JP7473223B2 (ja) | 推定器学習装置、推定器学習方法、及び、推定器学習プログラム | |
| JP6392476B1 (ja) | 生体組織解析装置および生体組織解析プログラム | |
| JP2013108926A (ja) | 病理診断支援装置、病理診断支援方法、及び病理診断支援プログラム | |
| Alaguselvi et al. | Performance analysis of automated lesion detection of diabetic retinopathy using morphological operation | |
| Ma et al. | Hyperspectral microscopic imaging for the detection of head and neck squamous cell carcinoma on histologic slides | |
| Asiedu et al. | Image processing and machine learning techniques to automate diagnosis of Lugol's iodine cervigrams for a low-cost point-of-care digital colposcope | |
| US20230096719A1 (en) | Scalable and high precision context-guided segmentation of histological structures including ducts/glands and lumen, cluster of ducts/glands, and individual nuclei in whole slide images of tissue samples from spatial multi-parameter cellular and sub-cellular imaging platforms | |
| Liu et al. | Signal to noise ratio quantifies the contribution of spectral channels to classification of human head and neck tissues ex vivo using deep learning and multispectral imaging | |
| Li et al. | Methyl green and nitrotetrazolium blue chloride co-expression in colon tissue: A hyperspectral microscopic imaging analysis | |
| JP7470339B2 (ja) | 染色画像推定器学習装置、画像処理装置、染色画像推定器学習方法、画像処理方法、染色画像推定器学習プログラム、及び、画像処理プログラム | |
| Bautista et al. | Localization of Eosinophilic Esophagitis from H&E stained images using multispectral imaging | |
| US20220366619A1 (en) | Systems and methods to process electronic images to adjust attributes of the electronic images | |
| Barın et al. | An improved hair removal algorithm for dermoscopy images | |
| EP4338124A1 (en) | Systems and methods to process electronic images to adjust stains in electronic images | |
| Wang et al. | Customization and testing of a mobile reader app for an open-access SARS-CoV-2 antigen lateral flow assay | |
| Queen et al. | Towards the development of reliable and economical mHealth solutions: A methodology for accurate detection of Buruli ulcer for hard-to-reach communities |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A529 | Written submission of copy of amendment under article 34 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A5211 Effective date: 20211224 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220121 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230724 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20230724 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230731 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230731 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240305 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240404 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7473223 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |