JP7261414B2 - 分析方法 - Google Patents

分析方法 Download PDF

Info

Publication number
JP7261414B2
JP7261414B2 JP2021159163A JP2021159163A JP7261414B2 JP 7261414 B2 JP7261414 B2 JP 7261414B2 JP 2021159163 A JP2021159163 A JP 2021159163A JP 2021159163 A JP2021159163 A JP 2021159163A JP 7261414 B2 JP7261414 B2 JP 7261414B2
Authority
JP
Japan
Prior art keywords
light
time
signal
observation
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021159163A
Other languages
English (en)
Other versions
JP2022008632A (ja
Inventor
禎生 太田
一誠 佐藤
克仁 藤生
聡子 山口
嘉代 脇
踊子 板橋
遼一 堀▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Osaka University NUC
University of Tokyo NUC
Original Assignee
Osaka University NUC
University of Tokyo NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Osaka University NUC, University of Tokyo NUC filed Critical Osaka University NUC
Publication of JP2022008632A publication Critical patent/JP2022008632A/ja
Priority to JP2023055489A priority Critical patent/JP2023098911A/ja
Application granted granted Critical
Publication of JP7261414B2 publication Critical patent/JP7261414B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00Apparatus for enzymology or microbiology
    • C12M1/34Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1404Handling flow, e.g. hydrodynamic focusing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429Signal processing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434Optical arrangements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1456Optical investigation techniques, e.g. flow cytometry without spatial resolution of the texture or inner structure of the particle, e.g. processing of pulse signals
    • G01N15/1459Optical investigation techniques, e.g. flow cytometry without spatial resolution of the texture or inner structure of the particle, e.g. processing of pulse signals the analysis being performed on a sample stream
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1468Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle
    • G01N15/147Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle the analysis being performed on a sample stream
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/65Raman scattering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/28Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N2015/1006Investigating individual particles for cytology
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1404Handling flow, e.g. hydrodynamic focusing
    • G01N2015/1413Hydrodynamic focussing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1404Handling flow, e.g. hydrodynamic focusing
    • G01N2015/1415Control of particle position
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434Optical arrangements
    • G01N2015/1447Spatial selection
    • G01N2015/145Spatial selection by pattern of light, e.g. fringe pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Theoretical Computer Science (AREA)
  • Dispersion Chemistry (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biotechnology (AREA)
  • Zoology (AREA)
  • Organic Chemistry (AREA)
  • Wood Science & Technology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Signal Processing (AREA)
  • Genetics & Genomics (AREA)
  • Sustainable Development (AREA)
  • Microbiology (AREA)
  • Medicinal Chemistry (AREA)
  • Molecular Biology (AREA)

Description

本発明は、分析方法に関する。
本願は,2015年10月28日に,日本に出願された特願2015-212356号及び,2016年8月9日に,米国に仮出願された米国特許出願第62/372,321号に基づき優先権を主張し,その内容をここに援用する。
例えば,特許第5534214号公報(特許文献1)には,フローサイトメータ及びそのフローサイトメータを用いたフローサイトメトリー方法が開示されている。
次世代フローサイトメトリー技術は,先端イメージングや分子スペクトロスコピー技術とフローサイトメトリーを融合する分析技術であり,著しく進展している。従来は,細胞の特徴を,蛍光輝度総量といった限定的な情報でしか評価できなかった。次世代フローサイトメトリー技術は,蛍光細胞画像を含む空間情報や分子スペクトルで評価し,1細胞解析の質を向上すると同時に,従来フローサイトメトリーのスループットを維持することで,1細胞解析の情報量を飛躍的に向上する。しかし従来手法では,例えば1細胞画像サイトメトリーが生み出す膨大な情報量を有効活用できないという問題がある。具体的には,(1)多様で複雑な細胞群から次世代サイトメトリーによって生成される多次元で爆発的量のビッグデータを,ヒトの限られた知識・能力では有効に認識・処理・活用できない,(2)高速細胞ソーティングに際して,「画像」再構成処理を経る判別と細胞分取は,時間・コストが大き過ぎる,(3)光撮影法を対象や測定目的ごとに最適化できていないため,無駄な情報を発生・処理することになっており,サイトメトリー全体の高速・高感度・高精度化を制限している,点である。
特許第5534214号公報
フローサイトメトリー等の分析装置において,観測対象を迅速かつ精度よく分析し,判別することが求められる。しかし次世代フローサイトメトリー実用化において,(1)多様で複雑な細胞群から次世代サイトメトリーによって生成される多次元で爆発的量のビッグデータを,ヒトの限られた知識・能力では有効に認識・処理・活用できない,(2)高速細胞ソーティングに際して,「画像再構成」や「フーリエ変換による周波数空間上分子スペクトル表示」処理を経る判別と細胞分取は,時間・コストが大き過ぎる,(3)光撮影法を対象や測定目的ごとに最適化できていないため,無駄な情報を発生・処理することになっており,サイトメトリー全体の高速・高感度・高精度化を制限している,という課題がある。
そこで,本発明は,光学系を維持した上で分析・判別の精度・速度を向上する分析装置や,光照射領域などの光学系又は検出系を迅速に最適化することで分析・判別の精度・速度を向上する分析装置を提供することを目的とする。
本発明は,基本的には,観測対象からの光・電磁波等の信号に基づいて画像化を行わずに分析し,光源系又は検出系を機械学習により最適化するほか,観測対象の分析や判別する手法についても機械学習を用いて最適化することで,迅速かつ精度よく観測対象を分析及び判別できる分析装置を提供できるという知見に基づく。
機械学習に1細胞フローサイトメトリーの各要所を委ねる事により,細胞情報のビッグデータを賢く計測し,賢く分析・判別することを可能とする。人知バイアスに縛られない細胞分類法(1),細胞「画像」を撮らない高速の細胞空間情報撮影・分析法(2),対象に応じて自動的に最適化する光撮影法,を実現し(3),前記課題を解決する。
まず細胞分類に際し(1),細胞形態・核形態・分子局在・分子情報を含む大量の細胞情報を機械学習によりフェノタイピングする事により,人知バイアスの無い最適分類を行う。一方で,機械の分類結果をヒトや生物・遺伝学見地から解釈し,機械に教育するなど,インタラクティブに評価することもできる。機械に教育を行うことにより,特定の標的細胞への感度を向上することも可能である。
空間情報撮影・解析に際し(2),1画素検出素子を用いた高速撮影技術過程で得られる時間波形信号には,(ヒトの目では認識できないが)撮影対象の空間情報が圧縮され含まれている。この一次元の時間波形データを機械に学習させる事は,二次元画像を学習させるのと同等であり,情報の質を落とさずに処理速度を飛躍的に向上する。特に発明者らは動的ゴーストイメージング(GMI:Ghost Motion Imaging)と名付けられた光構造と撮影対象の相対的な動きを利用し,1画素検出素子を用いて高速高感度(蛍光)イメージング技術を開発しているが,GMIの生み出す時間波形は正に空間情報を時間波形に圧縮する撮影機構を有しており,この時間波形に直接機械学習を行うことで,細胞空間情報を「画像」として再構成することなく,再構成画像を分析するのと同等な高精度・感度での細胞分析ができ,分析や判別の著しい高速化が可能となる。この手法におけるGMI時間波形の機械学習による細胞分類は,GMI再構成画像に対する機械学習による細胞分類と同等の結果が得られるため,(1)の解決手段ともなる。
対象に応じた光撮影法の最適化においては(3),例えばGMI画像と従来カメラ画像との間で機械学習を行うことにより,例えばGMIの用いられる光構造をダイナミックに修正することにより,画像サイトメトリーの高速・高感度・高精度化を実現することができる。また,サイトメトリー結果や評価を光撮影法にフィードバックさせることで,サイトメトリー目標の高感度化を行うこともできる。
本発明の第1の側面は,下記の分析装置を用いた分析方法に関する。この分析装置は,
光源1と,
光源1からの光が照射される光照射領域3と,
光照射領域3に存在する観測対象物5からの散乱光(ラマン散乱を含む),透過光,蛍光,又は電磁波を受け取り,電気信号に変換する受光部7と,
受光部7から電気信号を受け取って記録する記憶部9と,
記憶部9が記録した,散乱光,透過光,蛍光,又は電磁波に関する電気信号を分析して,分析結果を記録する分析部11と,
分析結果に基づいて,光源1又は光照射領域3を最適化する光学系制御部13と,
を有する。
この分析装置は,好ましくは,分析部11の判別アルゴリズムを機械学習により最適化するものである。
この分析装置は,好ましくは,分析部11が,散乱光,透過光,蛍光,又は電磁波に関する電気信号を観測対象の像を再構築することなく,観測対象を分析するものである。
この分析装置は,好ましくは,光学系制御部13が,機械学習により光源1を最適化するものである。
この分析装置は,好ましくは,光源1からの光は,複数の光領域21を有し,光学系制御部13は,複数の光領域21の光構造を制御するものである。
この分析装置は,好ましくは,光学系制御部13が,電気信号に基づいて観測対象物3の存在領域を分析し,光照射領域3を限定するように制御するものである。
この分析装置は,好ましくは,光学系制御部13が,電気信号に基づいて観測対象物5の粗密を分析して観測対象の粗密情報を得て,粗密情報に基づいて,光源1又は光照射領域3を制御するものである。
この分析装置は,好ましくは,受光部7から電気信号を受け取り,受光部7へ光が照射される領域である受光領域25を最適化する受光系制御部27を更に有するものである。この分析装置は,好ましくは,受光系制御部27は,機械学習により受光領域25を最適化する。
この分析装置の好ましい利用態様は,上記したいずれかの分析装置を有するフローサイトメータである。このフローサイトメータは,光照射領域3を含むフローセル31を有する。
このフローサイトメータは,好ましくは,分析部11の分析結果に基づいて,観測対象を判別し,観測対象物5を分別する分別部33を有する。
本発明によれば,光学系を維持した上で分析・判別の精度・速度を向上できる分析方法を提供できる。また,本発明によれば,光照射領域などの光学系又は検出系を迅速に最適化することで分析・判別の精度・速度を向上する分析方法を提供することができる。
図1は,本発明の分析装置の概要を示す概念図である。 図2は,機械学習により,1細胞画像より生成したGMI時系列1細胞信号を分類した結果を示す図面に替わる写真である。 図3は,機械学習により,1細胞画像より生成したGMI時系列1細胞信号を分類した結果を示す図面に替わる写真である。 図4は,観測対象物のGMI画像と通常カメラ画像を比較することで,判別精度や画像精度を維持しながら光構造の最適化を進める例を示す図である。 図5は,観測対象物が,パターン化された照明を通過することを示す概念図である。 図6は,図5に示される観測対象物が発した蛍光の様子を示す概念図である。 図7は,図5に示される観測対象物が発した蛍光を検出した際の時系列検出信号を示す概念図である。 図8は,検出信号の強度から求めた蛍光分子の位置及び蛍光強度,つまり蛍光画像を示す概念図である。 図9は,像再現原理を説明するための図である。 図10は,画像再現工程の例を説明するための図である。 図11は,照明パターンを最適化する工程例を示す概念図である。 図12は,実際に様々な観測対象物について,照明パターンを最適化した例を示す図面に替わる写真である。 図13は,照明パターンを最適化する工程例を示す概念図である。 図14は,照明パターンを最適化する工程例を示す概念図である。 図15は,照明パターンを最適化する工程例を示す概念図である。 図16は,実施例における学習用の対象サンプルを示す図である。 図17は,実施例における光構造を示す図である。 図18は,実施例における光構造を示す図である。 図19は,実施例における大量の一細胞画像群サンプルを示す図である。 図20は,実施例における光構造を示す図である。 図21は,実施例における仮想フローサイトメトリー細胞時間波形群を示す図である。 図22は,実施例において分類された細胞群(右下)と,その細胞群が発生する時系列信号の平均信号(上)と,平均信号を元に再生した細胞画像を示す図である。 図23は,実施例において分類された細胞群(右下)と,その細胞群が発生する時系列信号の平均信号(上)と,平均信号を元に再生した細胞画像を示す図である。 図24は,実施例における,最適化前後の光構造と,最適化が判別精度へ及ぼす効果を示す図である。 分析システムの一例を示す一例である。 分析部の判別式計算回路の一例を示す図である。 従来のサイトメトリーについて示す図である。 GMI法の観察対象物を観察する処理方法の一例を示す図である。 GMI法の概念を示す図である。 具体的に用いた細胞3種を例示する図である。 判別器の形成方法の一例を示す図である。 異なる細胞種を判別した結果の一例を示す図である。 フローサイトメトリー実装における流体系の一例を示す図である。 理想的な流体実験系における判別精度の一例を示す図である。 ロバストな判別方法における判別精度の一例を示す図である。
以下,図面を用いて本発明を実施するための形態について説明する。本発明は,以下に説明する形態に限定されるものではなく,以下の形態から当業者が自明な範囲で適宜修正したものも含む。
図1に,本発明の第1の側面に関する分析装置を示す。図1に示されるように,この分析装置は,光源1と,光源1からの光が照射される光照射領域3と,光照射領域3に存在する観測対象物5からの散乱光(ラマン散乱を含む),透過光,蛍光,又は電磁波を受け取り,電気信号に変換する受光部7と,受光部7から電気信号を受け取って記録する記憶部9と,記憶部9が記録した,散乱光,透過光,蛍光,又は電磁波に関する電気信号を分析して,分析結果を記録する分析部11と,分析結果に基づいて,光照射領域3を機械学習などにより最適化する光学系制御部13と,を有する。
この分析装置は,好ましくは,受光部7から電気信号を受け取り,受光部7へ光が照射される領域である受光領域25を最適化する受光系制御部27を更に有するものである。この分析装置は,好ましくは,受光系制御部27は,機械学習により受光領域25を最適化する。なお,分析装置は,光学系制御部13が存在せず,受光系制御部27のみを有するものも,迅速かつ精度よい分析を行なうことができる。そのような分析装置は,光源1と,光源1からの光が照射される光照射領域3と,光照射領域3に存在する観測対象物5からの散乱光,透過光,蛍光,又は電磁波を受け取り,電気信号に変換する受光部7と,受光部7から電気信号を受け取って記録する記憶部9と,記憶部9が記録した,散乱光,透過光,蛍光,又は電磁波に関する電気信号を分析して,分析結果を記録する分析部11と,受光部7から電気信号を受け取り,受光部7へ光が照射される領域である受光領域25を最適化する受光系制御部27と,を有する分析装置である。
以下,本発明の概要について説明する。
人知バイアスから解放された高精度・高感度な細胞分類法
先端光技術が生み出す細胞形態・核形態・分子局在・分子情報を含む大量の細胞情報を機械学習によりフェノタイピングする事により,人知バイアスの極力入らない客観的で正確な最適細胞分類を行う。一方で,機械の分類結果をヒトや生物・遺伝学見地から解釈し,機械に教育するなど,インタラクティブに評価することもできる。機械に教育を行うことにより,特定の標的細胞への感度を向上することも可能である。
図2は,機械学習により,1細胞画像より生成したGMI時系列1細胞信号を分類した結果である。例えば,複雑で大量なサンプル(例えば血液)内の1細胞群が生成するGMI時系列細胞信号群に対して,まず教師無し機械学習により分類(同類分類された細胞画像群,図2左))を行い,各グループの典型的代表例(テンプレート画像,図2右)をヒトに提示する。そしてそのテンプレートを基に,ヒトが目的に沿った細胞を選択する(機械への教育)。その結果に基づき,機械が判断基準を修正し,目標細胞をより高感度に高速に分類することができるようになる。
図3は,機械学習により1細胞画像より生成したGMI時系列1細胞信号を分類した結果である。ランダムに撮影した画像のため,必ずしも単一細胞でない場合も含まれる。それぞれのグループにおいて,左図が同一分類に属するGMI時系列1細胞信号の元の細胞画像,右図が同一分類に属するGMI時系列1細胞信号の平均信号からGMI再構成処理により生成した,同一分類に代表的なテンプレート細胞画像である。1細胞か,複数細胞かどうかも判別する事ができており,フローサイトメトリー応用を考慮した際には,偽陽性率を低減する上で効果的なアプローチである。例えば,蛍光分子総量を計測して細胞を判別している現在のフローサイトメトリーにおいて,1細胞か複数細胞か,混入した異物か,などが主な偽陽性結果である。本発明は,既存のフローサイトメトリーの情報に追加の空間情報を与えうるものであり,偽陽性率を低減する。また,同一分類に代表的なテンプレート画像の生成は,機械学習による分類が使用者の意図に従っているかどうかを確認できるため,実用に有用である。
上記機械学習の導入は,フローサイトメトリー技術とGMI等の高速イメージング技術の融合のみならず,フローサイトメトリー技術と非線形分子スペクトロスコピー技術(ラマンスペクトロスコピー,誘導ラマン散乱スペクトロスコピー,コヒーレントアンチストークスラマン散乱スペクトロスコピー)の融合を含む。この場合,画像や時間波形ではなく,散乱スペクトルの時系列信号を機械学習し,フーリエ変換を経ずに分析時間を大きく短縮し,人知バイアスの入らない分類を行う。またインタラクティブなシステムも構築できる。例えば,教師無し機械学習により細胞分類を行い,テンプレートスペクトルを生成し,このテンプレートを見てヒトが教育し,教師有り機械学習に基づいてより精度の高く目的に沿った細胞分類を行うことができる。
細胞「画像」を撮らずに細胞空間情報を得る高速の撮影・解析法
例えばGMI法において1画素検出素子を用いた高速撮影技術過程で得られる時間波形信号には,(ヒトの目では認識できないが)撮影対象の空間情報が効果的に圧縮され含まれている。この一次元の時間波形データを機械に学習させる事は,二次元画像を学習させるのと同等である。そのため,画像再構成プロセスを経ない事により処理速度を飛躍的に向上できる一方で,情報や判別精度が落ちることはない。細胞空間情報を,「画像」を再構成することなく迅速・高精度・高感度処理することが可能となる。例えば,図2や図3に示される教師無し細胞分類も,圧縮時間波形信号を用いたものである。人知バイアスから解放された高精度・高感度な細胞分類においても,画像再構成プロセスを経ることなく圧縮時系列信号を直接用いることができる。
対象に応じて自動的に最適化する光撮影法
例えばGMI画像と従来カメラ画像との間で機械学習を行うことにより,GMIの用いられる光構造をダイナミックに修正する。また,サイトメトリー結果(観察対象の特異的な情報が欲しい,等のヒトの判断を含む)を光撮影法に反映することもできる。
光撮影プロセスに自動機械学習を導入
図4のように,目的や研究者によって,観察対象の特徴は大きく異なる(細菌や血液など)。光撮影プロセスに自動機械学習を導入することにより,必要な光構造を光空間変調器などを用いて自動最適化する。光構造は,全体の形状(長方形か,菱形か,楕円か),大きさ,ランダムパターンの明部の密度,各明部パターンの大きさ等のパラメータが存在する。機械学習により,光撮影や情報処理を高速化する一方で,精度を向上するように,本パラメータ群を最適化する。
多次元大量の情報を生み出す次世代フローサイトメトリーの観察対象に対して機械学習を導入することで,a.大量・多次元のデータを処理できる,b.高速な解析・判別処理,c.高精度化,d.ヒト個人差やヒトの疲れ等が介入しない,e.ヒトの限られた知識や知覚では認識することができなかった細胞の特徴を正確に捉える事ができる,という効果が得られる。蛍光イメージングなどにより細胞の空間情報を撮影する際だけでなく,分子スペクトロスコピーにおいても,ヒトの目では見分けられないスペクトルデータから,精度の高い解析・判断を高速に実行することが可能になる。
細胞の画像という二次元情報ではなく,細胞空間情報を光撮影法の中で効果的に圧縮した時間波形信号を処理することにより,情報の質を落とさずに,処理の高速化が可能となる。
観察対象に応じて光撮影法が最適化されることにより,対象情報を効果的に圧縮しながら正確に収集することができるようになり,サイトメトリー精度を落とさずに,光撮影の高速化,情報処理の高速化することができる。また,サイトメトリー結果(観察対象の特異的な情報が欲しい,等のヒトの判断を含む)を光撮影法に反映することで,目的にあった修正を行い,サイトメトリーの高感度化も可能である。
以下,本発明の分析装置における各要素について説明する。
光学系
光源1と,光源1からの光が照射される光照射領域3とは,観測対象物に光を照射するための光学系を形成する。光学系は,図示しないミラーやレンズ,空間光変調器,フィルタを含む光学素子を適宜有していてもよい。光学系は,光特性が異なる複数の領域を有する構造化された照明パターンを有する光学系(システム)であってもよい。光学系の例は,光源と,光源からの光を受けて,構造化された照明パターンを形成するためのフィルタとを有する光学素子群であってもよい。光学系の別の例は,照明パターンを構成する複数の光源を有する光源群(又は光源群と光学素子を含む光学素子群)である。
光源からの光は,例えば,光特性のパターンを有するフィルタを通すことで,測定対象物に光のパターンをもって照射される。光源は,連続光であってもパルス光であってもよいが,連続光が好ましい。光源は,単一の光源からなっていてもよいし,複数の光源が規則正しく配置された複数の光源を含むもの(例えば,縦方向及び横方向に等間隔で配置された複数の光源を含むもの)であってもよい。この場合,複数の光源の強度及び波長のいずれか又は両方を制御できるものであることが好ましい。
光源は,白色光であっても,単色光であってもよい。光特性の例は,光強度,光波長,及び偏光のいずれか1つ以上に関する特性(例えば透過率)であるが,これらに限定されない。光特性が異なる複数の領域を有する構造化された照明パターンの例は,第1の光強度を有する複数の領域と,第2の光強度を有する複数の領域とを有するものである。光特性が異なる複数の領域の例は,一定領域内にランダムに散らばった光特性の異なる部位を有するものである。また,光特性が異なる複数の領域の別の例は,格子状に区分された複数の領域が存在し,その複数の領域が,少なくとも第1の光強度を有する領域と,第2の光強度を有する領域とを有するものである。この光特性が異なる複数の領域を有する構造化された照明パターンは,例えば,複数の光源に含まれるそれぞれの光源の強度や周波数を調整することにより達成できるし,また透明フィルム上にパターンを印刷したものに,光源からの光を照射することにより得ることができる。好ましくは,この構造化された照明パターンが,観測対象物に照射されることとなる。
観測対象物5が,例えば,特定のステージに搭載されているか,特定のステージ上を移動する場合,そのステージのうち光源からの光が照射される領域が光照射領域3である。通常,観測対象物5は,光照射領域3に存在するか,光照射領域3を通過する。
観測対象物5は,用途に応じて各種のものを観測対象物とすることができる。観測対象物の例は,細胞,体液,及び眼球(動く眼球であってもよい)であるが,これらに限定されるものではない。
受光部(撮影部)
受光部7は,光照射領域3に存在する観測対象物5からの散乱光(ラマン散乱を含む),透過光,蛍光,又は電磁波(以下単に「光信号」ともよぶ)を受け取り,電気信号に変換する検出要素である。電磁波を受け取る場合は,各種分光技術に基づく解析を行うことができる。受光部7は,例えば,光空間変調器などの光学素子を含んでもよく,観測対象物5からの光信号を適宜調整できるものであってもよい。光照射領域3に存在する観測対象5からの光信号のうち,受光部7に届く領域を光受光領域とすれば,これらの光学素子により光受光領域が制御されてもよい。
言い換えると,受光部7は,光特性が異なる複数の領域を有する構造化された検出系であってもよい。受光部7は,光学素子として,光空間変調器や,アルミニウム,銀又は鉛などの透過性を変化させる物質を部分的に塗布又は描画したフィルムを用いたものを含んで構成されてもよい。つまり、受光部7は、一様な照明が照射される観測対象物5と、受光部7との間に上述した光学素子を配置するなどして構成されてもよい。光照射領域3に存在する観測対象5からの光信号のうち,受光部7に届く領域を光受光領域とすれば,これらの光学素子により光受光領域が制御されてもよい。
受光部7は,受光装置(撮影装置)を有しており,一又は少数画素検出素子を有することが好ましい。一又は少数画素検出素子の例は,光電子倍増管や,マルチチャネルプレート光電子倍増管であるが,これらに限定されない。少数画素検出素子は,コンパクトであり,各素子を並列に高速作動できるので,本発明に好ましく用いることができる。一画素検出素子の例は,特許4679507及び特許3444509に開示される。受光装置の例は,PMT(photomultiplier tube;光電子倍増管),ライン型PMT素子,APD (Avalanche Photo-diode,アバランシェフォトダイオード),Photo-detector(PD:光検出器)などの単一または少数受光素子,またはCCDカメラ,CMOSセンサである。
受光部7は,複数種類の検出装置を有していても良い。最適化に画像の再構成を必要とする場合,例えば,一方の検出装置がGMIに基づく検出系であり,もう一方の検出装置は通常のカメラであってもよい。この場合,図4に示されるようにGMI由来の画像と,カメラ由来の画像とが比較されて,GMI由来の再構成された画像が,カメラ由来の画像との差が少なくなるように,光学系や検出系が調整されればよい。
記憶部
記憶部は,受光部等の要素と情報の授受を行うことができるように接続され情報を記録する要素である。受光部がメモリやハードディスクなどの記憶装置を有する場合は,それらが記憶部として機能する。また受光部がコンピュータと接続される場合,そのコンピュータの記憶装置(メモリやハードディスク等)の他,コンピュータと接続されたサーバ等が記憶部として機能する。記憶部は,受光部7から電気信号を受け取って記録する。
分析部は,記憶部9が記録した,散乱光,透過光,蛍光,又は電磁波に関する電気信号を判別・分類してこの結果を記録するものである。分析に機械学習を用いることにより,人の目には読み取れないGMI圧縮時系列信号のような細胞データを判別や分類できる。すなわち分析部は,機械学習を行うためのプログラムを格納し,与えられた情報に対して,機械学習を行うことができるようにされていることが好ましい。判別や分類の具体的な詳細は実施例に示すが,分析部は,例えば,観測対象がどのようなクラスに所属するものであるかを判別する。例えばk-means法を用いた判別では,事前に得られている各クラスのテンプレートとなる電気信号パターンと新たに得られた電気信号パターンの距離が最小になるクラスをこの新たに得られた電気信号パターンのクラスとする。ほかには,観測される電気信号を蓄積し,蓄積された電気信号のパターン群を分類する。この分類には,各クラスの電気信号平均パターンからの各電気信号パターンが最小になるように分類を行う。また,この蓄積データや分類データにもとづき,新たな電気信号パターンを判別する。さらに必要に応じて新たな電気信号パターンにもとづきこの蓄積データや分類データを更新する。分類データの更新は各クラスの平均データや中間値データの算出に新たな電気信号パターンを用いることを指す。分類データの更新は,例えば,これまで電気信号パターンaとbの平均値で(a+b)/2だったものを,新しい電気信号パターンcを加え,(a+b+c)/3とするものを意味する。
分析部は,例えば,光信号を一定期間受信し,光信号の時系列信号情報を取得する時系列信号情報取得部と,時系列信号情報から観測対象の部分領域における部分時系列信号情報を分離する部分信号分離部を有するものであってもよい。例えば,観測対象物が細胞ではない混入物などの場合の時系列信号情報を蓄積しておき,ある観測部分の部分時系列信号情報が細胞ではない混入物などの部分時系列信号情報に分類されるパターンに分類される場合,その観測部分には細胞が存在しないと把握できる。すると画像を再構築せずに細胞が存在しない領域を把握できるため,処理が迅速となるし,後述するようにこの部分に光を照射しないか,この部分からの時系列信号情報をそれ以降採用しないように制御することで,情報量を軽減し,エラーを低減し,処理を迅速化できることとなる。分析部は,用途によっては,さらに,得られた観測対象の部分時系列信号情報から,観測対象の各部分の像(発光強度など)に関する情報を抽出又は再構築する部分像再構築部を有するものであってもよい。なお,分析部は,部分像再構築部が再構築した観測対象の各部分の像を用いて,観測対象に関する画像を再構成する画像再構築部を有してもよい。この場合は,ヒトが検証作業を行うことができるため好ましいものの,観測対象物の像が一度再構築されるため,分析及び判定に時間がかかることとなる。
検出信号は,時間変化ごとの検出強度の情報を含む。時系列信号情報取得部は,光信号の時系列信号情報を取得する。時系列信号情報取得部の例は,一又は少数画素検出素子などの受光部が一定時間受信し,検出及び記憶した検出信号を時系列信号情報として受け取るものである。時系列信号情報取得部が取得した時系列信号情報は,記憶部に適宜記憶されてもよい。また,時系列信号情報取得部が取得した時系列信号情報は,部分信号分離部による演算処理に用いられるために,部分信号分離部へと送られてもよい。
部分信号分離部は,時系列信号情報から観測対象の部分領域における部分時系列信号情報を分離するための要素である。時系列信号情報は,観測対象物の各部分に由来する検出信号が含まれている。このため,部分信号分離部は,時系列信号情報から観測対象の各部分領域における時系列信号情報である部分時系列信号情報を分離する。この際,部分信号分離部は,記憶されていた照明パターンに関する情報Hを読み出し,読み出した照明パターンに関する情報Hと,時系列信号情報とを用いて部分時系列信号情報を分離する。つまり,時系列信号情報は,照明パターンに関する情報Hに対応した変動が存在しているため,照明パターンに関する情報Hを用いることで,時系列信号情報を部分時系列信号情報に分離できる。時系列信号情報から観測対象の各部分領域における時系列信号情報である部分時系列信号情報は,適宜記憶部に記憶されてもよい。また,部分時系列信号情報は,用途によっては,部分像再構築部による演算処理のために,部分像再構築部へ送られてもよい。
部分像再構築部は,部分時系列信号情報から,観測対象の各部分の像(発光強度など)に関する情報を抽出又は再構築するための要素である。部分時系列信号情報は,各部分領域における時系列信号情報であるから,各領域における光強度に関する情報fを求めることができる。観測対象の各部分の像(発光強度など)に関する情報は,適宜記憶部に記憶されてもよい。また,観測対象の各部分の像(発光強度など)に関する情報は,画像再構築部による演算処理のために,画像再構築部へ送られてもよい。この場合,例えば,画像を再構築する前に観測対象を分析することができるため,迅速に光源系や検出系を最適化できると共に,観測対象の画像をも得ることができることとなる。
画像再構築部は,部分像再構築部が再構築した観測対象の各部分の像を用いて,観測対象に関する画像を再構成する要素である。観測対象の各部分の像は,観測対象物のそれぞれの領域の像であるから,この像を合わせることで,観測対象に関する画像を再構成できる。
この分析装置は,好ましくは,分析部11の判別アルゴリズムを機械学習により最適化するものである。つまり分析部11は,各種分析を行うための判別アルゴリズムを備えており,この判別アルゴリズムは,機械学習により最適化される。判別アルゴリズムは,上記した観測対象の分類や,観測対象が存在しない場合の信号の分類を用いて判別するアルゴリズムを含む。分析の例は,観測対象に特徴的な光信号成分を把握することや,判別作業に用いられる閾値の設定,光学系及び検出系の最適化条件である。
機械学習は,例えば,特許5574407号公報,特許5464244号公報,及び特許第5418386号公報に開示されるとおり,公知である。機械学習の例は,Ada Boostingのアルゴリズムを用いた学習である。機械学習は,例えば,観測対象物のうち複数の対象物についての光信号を得て,得られた光信号から観測対象物の特徴を学習するものである。機械学習を行うことで,特定の細胞の有無といった検出を極めて効率的且つ迅速に行うことができるようになる。機械学習の対象は画像に限らず,例えば,ラマン分光を用いた場合のように画像化されない振動を検出して,その検出した信号を分析対象に用いればよい。例えば,分析部により,複数の観測対象の光信号を機械学習により分析し,観測対象の光信号の分類・判別といった分析をすることができる。
この分析装置は,好ましくは,分析部11が,散乱光,透過光,蛍光,又は電磁波に関する電気信号を観測対象の像を再構築することなく,観測対象を分析するものである。分析部11は,例えば,上記した時系列信号情報,部分時系列信号情報,又はGMIを用いて,観測対象を分析する。この例では,複数の対象について,機械学習によりパターン等を認識しておき,時系列信号情報,部分時系列信号情報,又はGMIとパターン等を照合することで,観測対象が特定の対象であるか否かを分析できるほか,観測対象の大きさや位置を含めた観測対象に関する情報を分析することができる。
光学系制御部
光学系制御部13は,分析結果に基づいて,光源1又は光照射領域3を最適化するための要素である。
受光部7,光源1又は光学系を構成する光学素子を制御するための制御信号(制御命令)は,先に説明した分析部において求められても良いし,光学系制御部13において求められも良い。分析部において,制御命令が求められる場合,光学系制御部13は,分析部3が求めた制御信号(制御命令)に従って,光源1又は光学系を構成する光学素子を制御することで,光源系を最適化することができる。
光学系制御部13の例は,受光部7,光源1又は光学系を構成する光学素子を制御する制御装置と情報の授受を行うことができるように接続されたコンピュータである。そして,このコンピュータは,特定の演算処理や入出力を行うことができるようにプログラムがインストールされている。このプログラムの例は,機械学習を行うためのプログラムである。
GMIのような画像撮影機構において光学系制御部13は,受光部7から電気信号に基づいて,観測対象の像を再構成することなく,時間波形電気信号(GMI)のまま処理を行うものが好ましい。用途によっては観測対象物の像を再構成する機能を有していてもよく,その場合,画像クオリティを検証することができる。
ラマン分光測定のようなスペクトル時間波形記録機構において光学系制御部13は,受光部7から電気信号に基づいて,スペクトルをフーリエ変換して分子スペトルを周波数空間で解析することなく,時間波形電気信号のまま処理を行うものが好ましい。しかし用途によっては,光学系制御部13は,電磁波スペクトルをフーリエ変換することで,周波数空間上で分子スペクトルを解析するものであってもよい。
この分析装置は,好ましくは,光学系制御部13が,機械学習により光源1又は光照射領域3を最適化するものである。光源1の最適化の例は,光源1の光強度を調整するものである。この分析装置は,好ましくは,光源1からの光は,複数の光領域21を有し,光学系制御部13は,複数の光領域21の光構造を制御するものである。この分析装置は,好ましくは,光学系制御部13が,電気信号に基づいて観測対象物5の存在領域を分析し,光照射領域3を限定するように制御するものである。
この分析装置は,好ましくは,光学系制御部13が,電気信号に基づいて観測対象物5の粗密を分析して観測対象の粗密情報を得て,粗密情報に基づいて,光源1又は光照射領域3を制御するものである。
受光系制御部
この分析装置は,好ましくは,受光部7から電気信号を受け取り,受光部7へ光が照射される領域である受光領域25を最適化する受光系制御部27を更に有するものである。受光系制御部27は,先に説明した分析部が受光系の分析を行っても良い。つまり,分析部は,例えば,機械学習用のプログラムを採用しており,受光部のうち有益な情報が得られていない部分の受光信号を分類しておく。そして,受光部のうちある部分の受光信号がこの分類に分類される場合は,例えば,この部分からの情報を解析に用いないように処理を行う。このようにすることで,分析の処理量を軽減することができ,処理を迅速に行うことができることとなる。この分析装置は,好ましくは,受光系制御部27が,機械学習により受光領域25を最適化する。この好ましい態様では,光学系制御部13による光学系の最適化と同様の手法を用いて,光源1又は受光領域25を最適化するものであってもよい。受光系制御部25の例は,受光部7,光源1又は受光系や受光領域25を構成する光学素子を制御する制御装置と情報の授受を行うことができるように接続されたコンピュータである。つまり,本明細書は,光学系を最適化するほか,受光系も最適化するもののみならず,受光系のみを最適化するものをも開示する。
分析装置は,公知の分析装置における各種の要素を含んでも良い。そのような要素の例は,相対位置制御機構である。
次に,本発明のイメージング装置の動作例を説明する。
図5は,観測対象物が,パターン化された照明を通過することを示す概念図である。図5に示されるとおり,観測対象物5は,相対位置制御機構により移動させられ,光学系のうちパターン化された照明を通過することとなる。このパターン化された照明光構造はこれをH(x,y)の行列でその強度分布が示される。この観測対象物5は,光学的な空間情報,例えばF1~F4で示される蛍光分子を有している。そして,これらの蛍光分子は,受けた光の強度により蛍光を発しないか,発する蛍光の強度が異なる。すなわち,この例では,F2で示される蛍光分子がはじめに蛍光を発し,その発光強度は,通過するパターン化された照明の影響を受けることとなる。観測対象物5からの光は適宜レンズなどにより集光されてもよい。そして,観測対象物5からの光は一又は少数画素検出素子へと伝わることなる。図5の例では,観測対象物の進行方向をx軸とし,x軸と同一平面状にあるx軸と垂直な方向にy軸を設けている。この例では,F1及びF2は,同じy座標であるy1上の蛍光(これをH(x,y1)と表記する。)として観測される。また.F3及びF4は,同じy座標であるy2上の蛍光(これをH(x,y2)と表記する。)として観測される。
図6は,図5に示される観測対象物が発した蛍光の様子を示す概念図である。図6に示されるように,各蛍光分子から蛍光が発せされるが,例えば,F1及びF2は,同じ照明パターンを経験するため,類似した時間応答パターン又は出力パターンを有すると考えられる。一方,発光強度は,F1及びF2では,異なることが考えられる。このため,F1及びF2の発光強度は,それぞれの発光分子に特異的な係数であるF1及びF2と座標y1に共通の時間応答パターンであるH(x,y1)の積であると近似できる。F3及びF4についても同様である。
図7は,図5に示される観測対象物が発した蛍光を検出した際の検出信号を示す概念図である。この検出信号は,図6で示される蛍光信号の和信号として観測されたものである。すると,この信号は,複数の強度の時間変化パターンH(x,yn)を含んでいることとなる。すると,この検出信号の強度(G(t))とH(x,yn)から,各座標及び各座標における蛍光係数(蛍光強度)を求めることができる。
図8は,検出信号の強度から求めた蛍光分子の位置及び蛍光強度を示す概念図である。図8に示されるように,検出信号G(t)から,蛍光係数(蛍光強度)F1~F4を求めることができる。
上記の原理をより詳細に説明する。図9は,像再現原理を説明するための図である。たとえば,対象内座標としてF(1)及びF(2)が存在したとする。そして,時間1では,F(1)に第1のパターンの光が照射され,F(2)には照射されない。時間2では,F(1)に第2のパターンの光が照射され,F(2)には第1のパターンの光が照射される。時間3では,F(1)には光が照射されず,F(2)には,第2のパターンの光が照射される。すると,検出信号G(t)は,以下のようになる。G(1)=F(1)H(1),G(2)=F(1)H(2)+F(2)H(1),G(3)=F(2)H(2)。これを解けば,F(1)及びF(2)を解析できる。この原理を用いれば,対象内座標が増えても同様にして解析をすることで,F(1)~F(n)を求めることができる。
次に,対象が2次元である場合は,観測対象物の内部座標をF(x,y)とする。一方,パターン照明も同様に座標を有しているとする。観測対象物の内部座標をx軸方向にn,y軸方向にnとると,F(x,y)の未知数はn×n個である。上記と同様に信号を測定し,得られた信号G(t)を解析することで,F(x,y)(0≦x≦n,0≦y≦n)を再構成できる。
図10は,画像再現工程の例を説明するための図である。この例では,像をf(対象位置情報ベクトル)として,行列式で表現する。そして,パターン化された照明をH(X,y)のように表現し,Xは時間より変化する変数で表す。また,検出した信号強度をg(計測信号ベクトル)として表現する。すると,これらは,g=Hfとして表現できる。図10に示したとおり,fを求めるためには,Hの逆行列H-1を左からかければよい。一方,Hが大きすぎてHの逆行列H-1を容易に求められない場合がある。その場合,例えば,Hの転置行列Htを逆行列の変わりに用いればよい。この関係を用いて,fの初期推定値fintを求めることができる。その後,fの初期推定値fintを用いて,fを最適化することで,観測対象の像を再現できる。
言い換えると,図10は,画像再現工程の例を説明するための図である。この例では,像をf(対象位置情報ベクトル)として,行列式で表現する。そして,パターン化された照明をH(X,y)のように表現し,Xは時間より変化する変数で表す。また,検出した信号強度をg(計測信号ベクトル)として表現する。すると,これらは,g=Hfとして表現できる。図10に示したとおり,fを求めるためには,Hの逆行列H-1を左からかければよい。一方,Hが大きすぎてHの逆行列H-1を容易に求められない場合がある。その場合,例えば,Hの転置行列HTとgとの乗算結果としてfの初期推定値finitを求めることができる。その後,fの初期推定値finitを用いて,fを最適化することで,観測対象の像を再現できる。
観察対象の形状に合わせた光構造の形状
細胞など,サイトメトリーにおける観察対象は球形であることが多い。この際,光構造の全体の形が長方形である必要はない。例えば,クオリティの落ちない範囲で,光構造の四隅の明部を暗部に変え,暗部を増やす。そしてクオリティが落ちたら,新しく数点を四隅に足す,というサイクルを繰り返せばよい。
細胞イメージングの際,細胞質や核などの密な構造と,細胞膜や局在分子,特異的染色体ラベル(FISH法等)などの疎な構造が存在する。GMIにおいては,基本的に,密な対象構造には疎な光構造が望ましく,疎な対象構造には密な光構造をデザインすることが望ましい。まずGMI電気信号を元に,対象物の疎密を判断する。例えば,対象信号の時間積分値の,対象信号の最大値と対象信号の時間幅の積に対する比(対象信号の時間積分値/対象信号の最大値と対象信号の時間幅の積)が一定値以上の時には対象は密であり,一定値以下の際には対象は疎である。この値はサンプルや対象構造によって,調整される。
この判断を元に,より疎または密な光構造をデザインする。例えば,構造全体に対するランダムな明部の占有率を増加または減少させ,新しいランダムパターンを作成する(現在のGMI光構造はDMD・光マスクを用いており,構造は単純にランダムである。そのため,明暗の二値であり,明部を全体の何%と指定し,ランダムに散らばらせる)。最終的に,前記比(対象信号の時間積分値の,対象信号の最大値と対象信号の時間幅の積に対する比)が,ある一定の範囲内(対象に依る)に入るまで上記サイクルを繰り返す。
対象シグナルS/Nの強度
対象によっては非常に光信号強度が微弱で,S/N比が悪い事があり,これが悪化すると高精度な細胞情報処理およびサイトメトリーはできなくなる。
GMIにおいてS/N比を高める手法の一つは,空間光変調器のピクセルを複数ビニングし,GMI光構造の単位ピクセルとすることである。これにより,GMI光構造の単位ピクセルの光量が増加し,S/Nを向上することができる。
またラマン分光法において,S/N比を高める手法の一つは,対象物の通らない部分への光照射を減らすことである。これによりノイズ光量を下げることでき,S/Nを向上することができる。
最も単純なビニング手法は2*2,3*3など,縦横方向同じ数ずつをビニングする方法である。しかし,これにより空間変調器の構造サイズ(サンプル上におけるGMI光構造実サイズに対応)が大きくなり,スループット及び情報量及びクオリティが悪化する。
ビニングを横長の四角形,例えば縦1*横2で行う。すると,GMIにおける空間解像度は縦ピクセルのサイズにより決定されるため,空間解像度は悪化しない。しかし,空間変調器の横ピクセル数(サンプル上におけるGMI光構造実横幅に対応)が大きくなり,スループットは犠牲になる。
ビニングを縦長の四角形,縦2*横1で行う。すると,GMIにおける空間解像度は縦ピクセルのサイズにより決定されるため,空間解像度は悪化する。しかし,空間変調器の横ピクセル数(サンプル上におけるGMI光構造実横幅に対応)は変わらず,スループットは悪化しない。
細胞イメージングの際,細胞骨格構造や,ウィルス感染経路,細胞シグナルネットワークなどの複雑な構造を有する。このような複雑な構造体に対して,最適な光構造をデザインすることは難しい。この際,GMI電気信号を元に,機械学習により,例えば再構成画像のクオリティを向上させる目的で,光構造を自動的に最適化することができる。なお機械学習による光構造の最適化は,目的関数を,例えば,撮影スループットの向上,電気信号の計算量・画像情報量軽減,画像クオリティの向上,目標特徴量への感度向上(核/細胞質比,細胞サイズ,染色体凝集像,染色体数等),シグナルS/N向上,判別精度向上などに設定することで,上記例を含む最適化を達成する。
例えばGMIによる細胞イメージングの際,光構造を公知の機械学習・最適化アルゴリズムで,最適化できる。公知の機械学習・最適化アルゴリズムは,進化的アルゴリズムやシミュレーテッドアニーリングを含む。例えば,照明領域の面積の最小化,画質クオリティや判別精度の最大化,S/Nの最大化,などを最適化アルゴリズムの目的関数に設定することにより,上記目的を達成して,機械学習により光構造を最適化することができる。
図11は,照明パターンを最適化する工程例を示す概念図である。この例では,先に説明したイメージング装置を用いて,光信号(GMI信号,ゴーストモーションイメージング信号,g)を得て,観測対象物5を再構成した像(F)を得る。一方,撮像部が同じ観測対象物5を撮影し,観測対象物の撮影像(C)を得る。そして,光学系制御部は,再構成した像(F)と撮影像(C)とを比較する。この比較は,例えば,再構成した像(F)と撮影像(C)とが同じ大きさとなるように調整した後,各画素に含まれる色彩又は強度のコントラストの差を合計し(又は,差の絶対値,差の2乗を合計し),得られた値を比較値(ε)とすればよい。そして,光学系制御部は,適宜,照明パターンを変化させ,先の観測対象物5と同じ観測対象物であるか,同じ種類の観測対象物を用いて,改めて比較値を得る。このようにして,照明パターンと比較値との組合せを複数得た後に,照明パターンが有する情報量をも考慮して,最適な照明パターンを決定すればよい。
また,再構成した像(F)に基づいて,観測対象物の大きさを把握し,把握した大きさに応じた照明パターンとなるように照明パターンを制御しても良い。これは,例えば,1又は複数の観測対象物について再構成した像を得て,これらから必要な照射領域の大きさを分析し,その大きさとなるように照明パターンを制御すればよい。この場合,光学系制御部は,照明パターンが求めた最適化された照明パターンとなるように光学系を制御する。光源系は,光学系制御部からの制御信号に従って,照明パターンを調整する。このようにして,最適化された照明パターンを得ることが得きることとなる。
図12は,実際に様々な観測対象物について,照明パターンを最適化した例を示す図面に替わる写真である。この例では,まず,像の再構成を複数回行い,観測対象物の大きさの範囲を把握した。これは,再構成された像が存在する領域を分析することで,容易に実装できる。その上で,観測対象物を撮像するために必要な領域をカバーできる照明パターンの大きさを求め,その大きさに含まれる照明パターンを様々に変化させ,比較値(ε)を得て,各照明パターンの比較値(ε)から最適な照明パターンを見出した。この最適化した照明パターンを用いることで,情報量を著しく軽減することができ,それ以降の像を再構成するために要する処理量が著しく軽減され,高速なイメージングを行うことができるようになった。
このイメージング装置の好ましい例は,まずは上記の方法に基づいて観測対象物の大きさを把握し,照射パターンの大きさを調整する。その後,調整された大きさ(領域)にわたる照明パターン内のパターン自体を変化させ,複数のパターンにおける比較値(ε)を得る。その上で,比較値(ε)を比較することで,最適な照明パターンを得ればよい。比較値(ε)は,各画素の差分値の2乗値の合計であっても良い。
図13は,照明パターンを最適化する工程例を示す概念図である。この例では,像を再構成せずに,光信号(GMIイメージ)に基づいて,照明パターンを最適化するものである。この例は,観測対象物5を撮像する検出系と,検出系が撮像した観測対象物の撮影像に基づいて一又は少数画素検出素子が検出した光信号を推定した推定信号gCを求める推定信号算定部と,一又は少数画素検出素子が検出した光信号gと,推定信号算定部が推定した推定信号gCを比較しつつ,照明パターンを変化させる演算部と,を更に有するものである。
この例は,例えば,検出系が観測対象物を撮影し,撮影像を得る。そして,撮影像を画像解析し,各部位の組成や組織を把握する。そして,光照射がなされた場合における各組成や組織から出射等される光(例えば蛍光)に関する情報を記憶したテーブルから,各組成や組織に対応した光情報を得る。このようにして,観測対象に光が照射された際に,どのような光応答がなされるかを把握する。すると,撮影像に基づいて,光信号gを推定することができる。これが,推定信号算定部が推定した推定信号gCである。光信号gは,たとえば図7に示されるようなスペクトルである。すると,第2の照明パターン制御部107は,推定信号gCと光信号gとの相対強度が同程度のなるように調整し,さらにスペクトルの形状のオートマッチング(重複する量が最大になるように調整する)ことにより,推定信号gCと光信号gの対応する位置関係が正しくなるように調整した後に,推定信号gCと光信号gとの評価値(ε)を求めればよい。εは,例えば,単位時間ごとの推定信号gCと光信号gの相対強度の差(又は差の絶対値,又は差の2乗)の合計であってもよい。あるいは例えば,推定信号gCと光信号gを新しい座標空間に変換し,その空間内における相対強度などの差を図っても良い。様々な照明パターンに基づいて評価値(ε)を求め,評価値(ε)を用いて照明パターンを最適化すればよい。
図14は,照明パターンを最適化する工程例を示す概念図である。この例は,例えば,観測対象物に関する情報(例えば,像再構成部が観測対象物を再構築して得られる像のパターン)をすでに記憶している場合に用いられる。すなわち,この例は,像再構成部が再構築した観測対象物の像(F)を用いて照明パターンを変化させる制御部と,を更に有するものである。この例では,例えば,制御部が,再構築した観測対象物の像(F)とあらかじめ記憶した像のパターンとパターン認証を行う。パターン認証技術は公知なので,公知のパターン認証用のプログラムをコンピュータにインストールすることで,パターン認証を実装することができる。この例は,例えば,対象物(合格品又は不合格品)を選定したり,対象物の存在の有無を検査する際に効果的に用いることができる。また,この例は,特定領域に含まれる細胞数を自動的に計測するといった用途に用いることができる。すなわち,イメージング装置の好ましい例は,像再構成部が再構築した観測対象物の像を用いて,観測対象物を判別する観測対象物判定部を更に有するものである。
図15は,照明パターンを最適化する工程例を示す概念図である。この例は,例えば,観測対象物に関する情報(例えば,光信号gのパターン)をすでに記憶している場合に用いられる。この例は,一又は少数画素検出素子が検出した光信号gを用いて照明パターンを変化させる制御部と,を更に有するものである。この例では,例えば,制御部が,一又は少数画素検出素子が検出した光信号gとあらかじめ記憶した光信号gのパターンとパターン認証を行う。パターン認証技術は公知なので,公知のパターン認証用のプログラムをコンピュータにインストールすることで,パターン認証を実装することができる。あるいは例えば,両信号gを新しい座標空間に変換し,その空間内における相対強度などの差を図っても良い。また
イメージング装置の好ましい例は,像再構成部が再構築した観測対象物の像を複数用いて,観測対象の再構築像を分類する再構築像分類部を更に有するものである。この再構築像分類部が分類した像(F)は,制御部や判定部によって用いることとなる。
この分析装置の好ましい利用態様は,上記したいずれかの分析装置を有するフローサイトメータである。このフローサイトメータは,光照射領域3を含むフローセルを有する。
このフローサイトメータは,好ましくは,分析部11の分析結果に基づいて,観測対象を判別し,観測対象物5を分別する分別部を有する。具体的に説明すると,観測対象物5が目的物である場合と,目的物ではない場合とで,分別部を経過した後の経路を異ならせることで,目的物を分別することができる。
フローサイトメータでは,あらかじめ目的物を分析し,記憶部に目的物を示す情報(閾値等)が記憶されていても良い。また,目的物を多く含む対象を観察し,判別部に観測対象物として,判別させ,目的物に関する判別情報を機械学習させても良い。この判別情報は,例えば,各種スペクトルに含まれる特徴的なピークである。
観測対象物が,フローセルを移動し,光照射領域に到達すると,光源からの光が観測対象物に照射される。そして,観測対象物からの光信号を受光部が受光する。分析部は,光信号を解析する。その際,分析部は,記憶部に記憶される目的物の判別情報を読み出し,光信号と比較することで,観測した観測対象物が目的物かどうか判断する。分析部が,観測した観測対象物が目的物であると判断した場合,分析部は,判別部に対して,観測対象物が目的物であったことに対応する制御信号を送る。制御信号を受け取った判別部は,経路を調整し,観測対象物を,目的物の経路へと導く。このようにして,目的物と目的物以外のものとを判別し,分別することができる。
この際,複数の観測対象物を測定し,分析部は,光学系又は検出系の最適化を適宜行えばよい。すると,判別を適切な精度で,迅速に行うことができることとなる。
以下,実施例を用いて本発明を具体的に説明する。
<実施例1-1>(教師有り機械学習,光構造を用いて画像を時系列信号に非圧縮変換,判別器形成および判別)
本実施例に用いた計算機はプロセッサ: 2.8GHz Intel Core i7, メモリ: 16GBである。
まず学習用の対象サンプルとして,縦19画素,横19画素の顔画像群及び非顔画像群を,1000枚を学習用に,100枚を判別精度測定用に,それぞれ計1100枚を用意した(図16,画像のソース:Center for Biological and Computational Learning at MIT)。
計算機内で,上記画像群にノイズ(S/N=30dB)を与え,光構造に通す前記GMIプロセスを仮想的に実行し,時間列信号を発生させた。光構造は,実験系におけるパターン化された照明光構造または検出光構造であって,ここにおいて用いた光構造は横19画素,縦343画素(図17)であって,時系列信号が1x192画素分生成された(元画像と同じ)。全ての波形信号に顔または非顔のラベルを付け,線形分類型のサポートベクターマシン手法を用いて,学習用の1000波形を学習させることにより,判別器を形成した。そして判別精度測定用のサンプルとして,100枚の新たな顔及び非顔画像を元に,同様の光構造を用いて時系列信号を用意した。このサンプルからラベルを外し,形成した判別器に自動判別させ,ラベル(顔または非顔)の正答率を測定した。
一方,同じ画像サンプルにノイズ(S/N=30dB)を与え,顔または非顔のラベルを付け,サポートベクターマシン手法を用いて,学習用の1000画像を学習させることにより,判別器を形成した。そして,判別精度測定用のサンプルとして,100枚の新たな顔及び非顔画像を同様に用意した。このサンプルからラベルを外し,形成した判別器に自動判別させ,ラベル(顔または非顔)の正答率を測定した。
その結果,時系列信号サンプルの学習を行った判別器による,顔または非顔の時系列信号の判別精度(顔と非顔の正解数/全体数×100)は87%であり,画像サンプルの学習を行った判別器による,画像の顔または非顔の判別精度は82%であった。この結果により画像を光構造に通すことにより生成する時系列信号を学習・判別しても,元画像を学習・判別するのと同等以上の判別結果が得られることがわかった。
また1000枚のサンプルの学習,100枚のサンプルの判別に掛かった時間は,画像の場合においても,時系列信号においても,変化はなかった。
<実施例1-2>(教師有り機械学習,光構造を用いて画像を時系列信号に圧縮変換,判別器形成および判別)
本実施例に用いた計算機はプロセッサ: 2.8GHz Intel Core i7, メモリ: 16GBである。まず学習用の対象サンプルとして,縦19画素,横19画素の顔画像群及び非顔画像群を,1000枚を学習用に,100枚を判別精度測定用に,それぞれ計1100枚を用意した(図16)。
計算機内で,上記画像群にノイズ(S/N=30dB)を与え,光構造に通す前記GMIプロセスを仮想的に実行し,時間波形信号(例えばGMI波形)を発生させた。光構造は,実験系におけるパターン化された照明光構造または検出光構造であって,ここにおいて用いた光構造は横19画素,縦50画素(図18)であり,時系列信号が68画素生成されることになり,元画像総画素数より81%圧縮されている。全ての圧縮時系列信号に顔または非顔のラベルを付け,サポートベクターマシン手法を用い,学習用の1000波形を学習させることにより,判別器を形成した。そして判別精度測定用のサンプルとして,100枚の新たな顔及び非顔画像を元に,同様の光構造を用いて圧縮時系列信号を用意した。このサンプルからラベルを外し,形成した判別器に自動判別させ,ラベル(顔または非顔)の正答率を測定した。
一方で,同じ画像サンプルにノイズ(S/N=30dB)を与え,顔または非顔のラベルを付け,線形分類型のサポートベクターマシン手法を用いて,学習用の1000画像を学習させることにより,判別器を形成した。そして,判別精度測定用のサンプルとして,100枚の新たな顔及び非顔画像を同様に用意した。このサンプルからラベルを外し,形成した判別器に自動判別させ,ラベル(顔または非顔)の正答率を測定した。
その結果,圧縮時間波形信号サンプルの学習を行った判別器による,顔または非顔の圧縮時間波形信号の判別精度(顔と非顔の正解数/全体数×100)は75%であり,画像サンプルの学習を行った判別器による,画像の顔または非顔の判別精度は82%であった。この結果により,光構造を通した光学的画像圧縮を通しても,機械学習による判別精度は,同等の精度を維持できることが分かった。
また1000枚の時間波形サンプルを学習するのにかかった時間は399秒であり,1000枚の画像サンプルを学習するのにかかった時間は475秒であった。この結果より,同じサンプルの学習において,圧縮時間信号の場合は元の画像に比べて,16%の時間短縮が可能となることがわかった。
さらに100の圧縮時系列サンプルを判別するのにかかった時間は0.0065秒であり,100枚の画像サンプルを判別するのにかかった時間は0.0147秒であった。この結果より,同じサンプルの判別において,圧縮時間信号判別の場合は元画像判別に比べて,56%の短縮が可能となることがわかった。
実施例2(教師無し機械学習による細胞分類)
本実施例に用いた計算機はプロセッサ: 2.8GHz Intel Core i7, メモリ: 16GBである。
サンプルとして,マウス脾臓を分散させることにより生成した一細胞群にたいして,calceinAMを用いて生細胞染色を行った。上記のように蛍光標識された一細胞溶液をスライドガラス上に広げ,蛍光顕微鏡を用いて,一細胞群の蛍光画像を,sCMOS camera(浜松ホトニクス社製 Flash 4.0)により,大量に撮影した。この画像データを計算機内で読み取り,ソフトウェア(imagej)により一細胞の位置を特定し,一細胞周辺を,縦横70画素で分画し切り出すことにより,大量の一細胞画像群サンプル2165枚を用意した(図19)。この一細胞画像群は,大小異なる一細胞を含む他,複数細胞や細胞以外の物体が含まれている画像を含んでいる。
計算機内で,上記画像群にノイズ(S/N=30dB)を与え,光構造に通す前記GMIプロセスを仮想的に実行し,時間波形信号(例えばGMI波形)を発生させ,仮想フローサイトメトリー細胞時間波形群を用意した(図20)。ここにおいて用いた光構造は縦70画素,横400画素であり,時系列信号が470画素になる(図21)。(一方で,同じ画像サンプルにノイズ(S/N=30dB)を与え,仮想フローサイトメトリー細胞画像を用意した。)
上記のように用意した一細胞時間波形サンプルを,ソフトウェア(matlab)を用いて,教師無し機械学習分類を行った。具体的には,k-means手法を用い,20種の細胞群に分類した。それぞれの同じ分類群に入った細胞時間波形群から,それぞれ代表(平均)的な時系列信号を生成し,この時系列信号を元に細胞画像を生成した(図22及び図23)。その結果,一細胞か複数細胞か,ゴミか,細胞サイズ,などが正しく分類されていることがわかる。これらは従来サイトメトリーの最も大きなエラー源の一つであり,光構造を通した圧縮時間波形信号を用いた教師無し機械学習においても正しく判別されることが示された。
実施例3(教師有り機械学習による光構造の最適化)
本実施例においては,実施例1に用いたサンプルと同様のサンプルを用いた。
初期光構造として,縦80画素,横20画素で,ランダム構造を用意し,実施例1の画像サンプルを通して,時間波形信号群サンプルを用意した。実施例1と同様に線形分類型のサポートベクターマシン手法を用いて学習し,判別精度(顔と非顔の正解数/全体数×100)を求めた。この判別精度を,目的関数とし,目的関数を最大化するために,光構造を機械学習により最適化した(図24)。具体的には,遺伝的アルゴリズムを用いた。個体数を200,世代数を16000,選択にはルーレット選択,交叉には一様交叉を用いた。その結果,実施例1と同様に,最適化に用いない画像サンプルを用いて評価を行ったところ,初期ランダム光構造では判別精度は65%であり,最適化後の光構造では判別精度が75%となり,10%の判別精度の向上が示された。
次に,図25を参照して,分析部11の一例について説明する。
図25は,分析システム200の一例を示す一例である。
分析システム200は,フローサイトメータ300と,分析部11と,コンピュータ400とを備える。フローサイトメータ300は,観測対象物5を観測及び分別する。フローサイトメータ300は,観測した観測対象物5に関する光信号を,分析部11に対して出力する。分析部11は,フローサイトメータ300から観測対象物5に関する光信号に基づいて,観測対象物5を判別する。コンピュータ400は,フローサイトメータ300が観測した観測対象物5に関する光信号を機械学習する。コンピュータ400は,機械学習した結果に基づいて,判別部101の判別アルゴリズムを変更する。
フローサイトメータ300は,受光部7と,分別部33とを備える。
受光部7は,観測対象物5からの光信号を受け取り,電気信号ESへ変換する。受光部7は,変換した電気信号ESを,信号入力部100に対して出力する。
分別部33は,分析部11が電気信号ESを分析した結果を示す信号判別結果Rに基づいて,観測対象物5を分別する。
コンピュータ400は,記憶部9と,機械学習部401とを備える。
記憶部9には,入力信号SSが記憶される。機械学習部401は,記憶部9に記憶される光信号を機械学習する。
この一例において,分析部11は,信号入力部100と,判別部101とを備える。判別部101は,論理回路構成を変更可能な論理回路を備える。論理回路は,FPGA(field-programmable gate array)などのプログラマブルロジックデバイスや,ASIC(application specific integrated circuit)などであってもよい。
機械学習部401は,機械学習した結果に基づいて,分析部11が備える判別部101の判別アルゴリズムを変更する。この一例では,機械学習部401は,機械学習した結果に基づいて,判別部101の論理回路構成を変更する。具体的には,機械学習部401は,機械学習した結果に基づいて,観測対象物5に適した判別アルゴリズムの論理回路構成である判別ロジックLPを構成し,論理回路を変更する。
信号入力部100は,受光部7から電気信号ESを取得する。信号入力部100は,受光部7から取得した電気信号ESを入力信号SSとして,記憶部9及び判別部101に対して出力する。
信号入力部100は,電気信号ESにフィルタをかけることにより,電気信号ESのノイズを除去してもよい。ノイズは,一例としては,高周波ノイズ,ショットノイズなどである。信号入力部100は,電気信号ESのノイズを除去することにより,電気信号ESを入力信号SSとして取得し始めるトリガー位置を安定させることができる。信号入力部100は,トリガー位置を安定させることにより,機械学習に用いるのに適した信号を入力信号SSとして出力することができる。
また,信号入力部100は,観測対象物5が一細胞か複数細胞か,観測対象物5がゴミか,観測対象物5の細胞サイズなどで区別し,入力信号SSとして出力するか否かを決定してもよい。
上述したフィルタは,観測対象物5に併せて変更される。フィルタは,電気信号ESをなだらかな波形にすることにより,ノイズを除去する。具体的には,フィルタには,電気信号ESの閾値と比較するフィルタ,電気信号ESを移動平均した後に閾値と比較するフィルタ,電気信号ESを移動平均した値を微分した後に閾値と比較するフィルタなどがある。
判別部101は,信号入力部100から入力信号SSを取得する。判別部101は,信号入力部100から取得した入力信号SSに基づいてフローサイトメータ300が観測した観測対象物5を判別する。
判別部101は,論理回路によって入力信号SSを判別することにより,観測対象物5を判別する。判別部101は,論理回路によって観測対象物5を判別することで,汎用コンピュータよりも高速に観測対象物5を判別することができる。
以上説明したように,受光部7は,光源からの光が照射される光照射領域に存在する観測対象物からの散乱光,透過光,蛍光,又は電磁波を受け取り,電気信号に変換する。分析部11は,受光部7から出力される電気信号ESの時間軸に基づいて抽出される信号に基づいて観測対象物5を分析する。
また,分析部11は,信号入力部100を備える。信号入力部100は,フローサイトメータ300が出力する電気信号ESにフィルタをかける。信号入力部100は,電気信号ESにフィルタをかけることにより,ノイズを低減した信号を入力信号SSとして,判別部101及び記憶部9に出力する。機械学習部401は,ノイズが低減された入力信号SSに基づいて機械学習を行うことができ,観測対象物5の判別の精度を高めることができる。なお,信号入力部100は,論理回路によって構成されてもよい。信号入力部100が論理回路によって構成される場合には機械学習結果に基づいて,フィルタ構成を変更してもよい。
また,分析部11は,判別部101を備える。判別部101は,論理回路を備える為,汎用コンピュータによる演算よりも短い時間で,観測対象物5を判別することができる。
次に,図26を参照して,上述した分析部11の判別アルゴリズムの一例である,サポートベクターマシン手法について説明する。
図26は,分析部11の判別式計算回路の一例を示す図である。
サポートベクターマシン手法の判別式は,式(1)によって表すことができる。判別は,式(1)の結果の正負に基づいて行われる。
Figure 0007261414000001
式(1)に含まれるbは,定数である。ここで,式(1)に含まれるbを変化させることにより,サポートベクターマシン手法の判別の条件を調節することができる。例えば,式(1)に含まれるbを,判別の条件が厳しくなるよう変化させる場合には,偽陽性率を低く抑えることができる。式(1)に含まれるα及びYは,機械学習により得られる値である。
ここで,式(1)に含まれるXの上部に^(ハット記号)が付されたものは,X(ハット)と記載する。式(1)に含まれるX(ハット)は,式(2)によって表すことができる。
Figure 0007261414000002
式(2)に含まれるXは,機械学習によって得られる行列である。式(2)に含まれるX(ハット)jkは,機械学習によって得られる行列Xを正規化した値である。
Figure 0007261414000003
式(3)に含まれるxは,分析部11に入力されるデータである。分析部11に入力されるデータとは,この一例では,受光部7から出力される電気信号の時間軸に基づいて抽出される信号である。式(3)に含まれるxの上部に^(ハット記号)が付されたものは,x(ハット)と記載する。式(3)に含まれるx(ハット)kは,xを正規化した値である。
ここで,上述した式(1)を論理回路として実装する場合に,論理回路規模が膨大となり,FPGAやPLDの論理回路規模に収まらない場合がある。そこで,判別部101に実装される論理回路には,式(4)に基づく論理回路を実装した。
Figure 0007261414000004
式(4)に含まれるKの上部に~(チルダ記号)が付されたものは,K(チルダ)と記載する。式(4)に含まれるXの上部に~(チルダ記号)が付されたものは,X(チルダ)と記載する。式(4)に含まれるσの上部に~(チルダ記号)が付されたものは,σ(チルダ)と記載する。
式(4)に含まれるβj,K(チルダ),X(チルダ)jk及びσ(チルダ)kは,式(5)によって表すことができる。式(5)は,予めコンピュータ400が備える機械学習部401が算出される。算出された結果は,分析部11が備える論理回路に組み込まれる。式(4)に含まれるb及びK(チルダ)は定数,βj及びσ(チルダ)kはベクトル,X(チルダ)jkは行列である。
Figure 0007261414000005
図26(a)は,上述した式(4)の判別式計算回路である。式(4)に含まれるkの加算を並列して算出することにより,演算時間を短縮している。分析部11は,演算時間を短縮することにより,観測対象物5の判別にかかる時間を短縮することができる。
図26(b)は,上述した式(4)を,より高速に演算する判別式計算回路である。図26(b)に示す判別式計算回路では,上述したkの加算を並列する構成に加えて,式(4)に含まれるjの加算を並列して演算する。これにより,分析部11は,図26(a)に示す判別式計算回路よりも高速に観測対象物5を判別することができる。
以上,サポートベクターマシン手法を判別式計算回路によって実装する方法について説明したが,判別部101の判別アルゴリズムはこれに限られない。
次に,フローサイトメトリーで観察する観測対象物5を,分析装置が機械学習する際の,一例について説明する。
図27は,従来のサイトメトリーについて示す図である。従来のサイトメトリーでは,高速に観察対象物を観察し,かつ測定目的ごとに測定方法を変えることが難しいという課題があった。
図28は,上述した課題を解決するGMI法の観察対象物を観察する処理方法の一例を示す図である。GMI法は,流路を移動する細胞などの観察対象物に対して,パターン照明を照射する。パターン照明を照射された観察対象物は,電磁波を放出する。観察対象物から放出された電磁波を検出する。なお,細胞に照射されるパターン照明は均一な光を照射する照明であってもよい。観察対象物に均一な光を照射する場合には,GMI法は,観察対象物から放出される電磁波を,電磁波の透過特性が異なる複数の領域を有するパターン構造を透過させる。GMI法は,パターン構造を透過させた電磁波を検出する。
図29はその概念を示す。時間波形信号に直接機械学習を適用することにより,画像再構成および画像からの特徴量抽出及び解析にかかる時間を短縮し,圧縮された小さいデータのままに解析する事により,処理速度を飛躍的に短縮する。
図30以降は細胞分類におけるその具体的な実装例を示す。
図30は具体的に用いた細胞3種を例示する。Miapaca,MCf7は同様な大きさと似たような特徴を有し,k562は一回り小さい。全て死細胞染色(LIVE/DEAD Fixable Green Dead Cell Stain Kit, for 488 nm excitaion, ThermoFisher scientific)により緑に染められており機械学習により判別を受ける。MCF7のみ青色で核染色(DAPI)されており,これは後に判別精度検証のために用いられる。
図30は判別器の形成方法を示す。Miapaca,MCF7,k562を別々に流路に流し,GMI法撮影時に発生する時間波形信号を生成する。発生した信号に閾値処理を行い,それぞれの細胞種ラベルをつける。この細胞種ラベルつきの波形信号群を計算機内で混合し,これを分類する判別器を形成する。判別器形成方法の一つとして,Support Vecter Machine法を適用した。
次に,図31に示す異なる細胞種(ここではMCF7とMiapaca)を実験的に混合し,GMIによる発生する時間波形信号に対し,先に用意した判別器を用いて細胞判別(分類)を行い,判別結果の検証をDAPI信号強度総量により行った。
図32はその結果である。混合液中のMCF7濃度を変化させた際の,DAPI(青色,正解)判別によるMCF7濃度に対する,緑色蛍光信号の時間波形に対する機械学習判別によるMCF7濃度を図示しており,高い精度(>87%)で正解を示している。緑色蛍光画像でMCF7とMiapacaを比較した際に,ヒトの目での判別は困難であり,機械学習の有用性は明白である。高速・高精度な細胞分類実現が実証されている。
さらに,図33から図35ではフローサイトメトリー実装における流体系の工夫実装例を示している。ここでは流体実験系を変化させた際の上記細胞分類精度を検証しているが,DAPI信号強度により正解付けはなされておらず,細胞種ラベルつきの時間波形群を計算機内で混合し,これを(正解は機械には教えずに)判別し,精度検証している。図8に示すように,一般にマイクロ流体工学(フローフォーカシング法)を用いる事により,細胞を同一流線上に一定の幅(ブレ)で整列する事ができることが知られている。
図34及び図35では,流体系を変化させた際に,学習に用いる時間波形数に対して,判別精度がどれだけ向上するかをプロットしている。なお,学習する細胞時間波形はそれぞれの細胞をランダムに混ぜ合わせたものを用いている。理想的な流体実験系において,細胞は同一の流線を流れており,非常に均一なGMI時間波形を生成する。この際,図34(a)に示すように,判別精度は急激に上昇し,98%程度に達する。一方で図34(b)に示すように,フローフォーカスを緩めて流線に幅を与えると,精度の上昇はやや緩やかになり,達成精度も若干低下するが,それでも95%を超える精度を達成できる。しかし現実の流体実験使用においては,流路の振動や光学系の不安定さなどが存在し,ロバストな判別方法が必要とされる。この際,フローフォーカスを緩めた際の波形信号で学習し,フォローフォーカスを強めた波形信号を判別すると,図35(a)に示すようにロバストに90%程度の判別精度を得ることができ,精度も安定している。一方で,図35(b)に示すようにフローフォーカスを強めた際の波形信号で学習し,フローフォーカスを緩めた波形信号を判別すると,判別精度は90%に達さず,精度も不安定となる。このことから,より幅のあるデータで学習することにより,機械学習の汎化を実現することができ,実用性を向上できることを示した。また,上述した図7に示す実験では,学習にフローフォーカスを強めたデータと緩めたデータとを混合して用いている。
つまり,フローフォーカスを緩めて学習して得た教師情報に基づき,フローフォーカスを強めてテストすると,最もロバストな判別精度が得られる。一方,フローフォーカスを強めて学習して得た教師情報に基づき,フローフォーカスを強めてテストすると,条件が均一ならば最も正確な判別精度を得られる。
また,フローフォーカスを緩めて学習したデータと,フローフォーカスを強めて学習したデータとを組み合わせた教師情報に基づいて,テストすると,ロバストかつ正確な判別精度が得られる。
言い換えると,分析装置は,フローサイトメータ300が備える流路幅調整部によって調節される流線幅に応じて観測対象物5を機械学習する。なお,以下の説明では,流線幅を流路幅とも記載する。分析装置は,観測対象物5を,流線幅を観測対象物5の径よりも広い状態で機械学習したデータと流線幅を観測対象物5の径に応じた流線幅の状態で機械学習したデータとを組み合わせた教師情報に基づいて,観測対象物5を分析することにより,より精度が高い判別を行うことができる。
本実施形態の分析装置は,観察対象物が移動可能な流路と,流路の光照射領域に照射される光を出射する光出射部と,光の透過特性が異なる複数の領域を有するパターン構造部と,流路を移動する観察対象物の移動可能な流路幅を可変に制御する流路幅制御部と,光照射領域の観察対象物に光が照射されることにより,光が照射された観察対象物から放出される電磁波を,領域と,光と観察対象物との流路内の相対的な移動とに基づいて検出する検出部と,検出部が検出する電磁波の強さの時間変化を,観察対象物に光が照射された観察対象物の状態を示す観察結果信号として取得する取得部と,取得部が取得する観察結果信号と,当該観察結果信号が取得された際の流路幅とに基づいて,観察対象物の状態を判別する基準を示す教師情報を機械学習によって生成する教師情報生成部と,取得部が取得する観察結果信号と教師情報生成部が生成する教師情報とに基づいて,流路を移動する観察対象物の状態を推定する推定部と,を備える。
また,分析装置は,分析装置が備える流路幅制御部は,観察対象物の径に応じた幅である第1の流路幅に流路幅を制御し,教師情報生成部は,流路幅制御部が制御した第1の流路幅において検出部が検出する第1の観察結果信号に基づく第1の教師情報を教師情報として生成し,推定部は,教師情報生成部が生成する第1の教師情報と,取得部が取得する観察結果信号とに基づいて,流路を移動する観察対象物の状態を推定してもよい。
また,分析装置は,分析装置が備える流路幅制御部は,観察対象物の径に基づく幅であり,かつ,第1の流路幅よりも幅が広い第2の流路幅に流路幅を制御し,教師情報生成部は更に,流路幅制御部が制御した第2の流路幅において検出部が検出する第2の観察結果信号に基づく第2の教師情報を教師情報として生成し,推定部は,教師情報生成部が生成する第1の教師情報と,教師情報生成部が生成する第2の教師情報と,取得部が取得する観察結果信号とに基づいて,流路を移動する観察対象物の状態を推定してもよい。
また,分析装置は,分析装置が備える流路幅制御部は,観察対象物の径に基づく幅であり,かつ,第2の流路幅よりも幅が狭い第1の流路幅に流路幅を制御し,教師情報生成部は更に,流路幅制御部が制御した第1の流路幅において検出部が検出する第1の観察結果信号に基づく第1の教師情報を教師情報として生成し,推定部は,教師情報生成部が生成する第1の教師情報と,教師情報生成部が生成する第2の教師情報と,取得部が取得する観察結果信号とに基づいて,流路を移動する観察対象物の状態を推定してもよい。
1 光源
3 光照射領域
5 観測対象物
7 受光部
9 記憶部
11 分析部
13 光学系制御部
21 複数の光領域
25 受光領域
31 フローセル
33 分別部
200 分析システム
300 フローサイトメータ
400 コンピュータ
401 機械学習部

Claims (14)

  1. 光源からの光を、光特性が異なる複数の領域により構成される時間変化しない照明パターンに形成し、光照射領域に存在する観測対象物に前記照明パターンを有する照明光を照射する光照射ステップと、
    前記照明パターンを有する照明光により照射される前記観測対象物からの光信号を、受光部により受け取る受光ステップと、
    前記受光ステップによって取得された前記光信号に基づいて時系列に抽出される時系列信号に基づいて前記観測対象物を判別する分析ステップと、
    を有し、
    前記光照射ステップでは、前記照明パターンと前記観測対象物の相対位置を変動させながら、光特性が異なる複数の領域を有する前記照明パターンが前記光照射領域に存在する前記観測対象物に照射され、
    前記受光ステップによって受け取られる前記光信号には、前記光照射ステップにおいて前記照明パターンと前記観測対象物の相対位置を変動させながら前記照明パターンが前記観測対象物に照射されることによって、前記観測対象物の二次元画像に再構築可能な空間情報が一次元データとして圧縮されて含まれ、
    前記分析ステップは、前記観測対象物に関する前記時系列信号を用いて機械学習を行った結果に基づいて、前記時系列信号から前記観測対象物が特定の対象であるか否かが、前記観測対象物の画像を再構成することなく判別される
    分析方法。
  2. 前記照明パターンが、第1の光特性を有する複数の領域と,第2の光特性を有する複数の領域が一定領域内にランダムに散らばった光特性の異なる部位を有するもの、格子状に区分された複数の領域が存在し,その複数の領域が,少なくとも第1の光特性を有する領域と,第2の光特性を有する領域とを有するもの、のいずれかから選択される照明パターンである
    請求項1に記載の分析方法。
  3. 光源からの光を、光照射領域に存在する観測対象物に照射する光照射ステップと、
    前記光照射領域に存在する前記観測対象物からの光信号を、ある領域が区分された複数の領域であって時間変化しない光特性が異なる複数の領域を有する構造化された光学素子を介して、受光部により受け取る受光ステップと、
    前記受光ステップによって取得された前記光信号に基づいて時系列に抽出される時系列信号に基づいて前記観測対象物を判別する分析ステップと、
    を有し、
    前記受光ステップでは、前記光学素子と前記観測対象物の相対位置を変動させながら、前記光照射領域に存在する前記観測対象物からの前記光信号が前記光学素子を介して前記受光部により受け取られ、
    前記受光ステップによって受け取られる前記光信号には、前記受光ステップにおいて前記光学素子と前記観測対象物の相対位置を変動させながら前記光照射領域に存在する前記観測対象物からの前記光信号が前記光学素子を介して前記受光部により受け取られることによって、前記観測対象物の二次元画像に再構築可能な空間情報が一次元データとして圧縮されて含まれ、
    前記分析ステップは、前記観測対象物に関する前記時系列信号を用いて機械学習を行った結果に基づいて、前記時系列信号から前記観測対象物が特定の対象であるか否かが、前記観測対象物の画像を再構成することなく判別される
    分析方法。
  4. 前記機械学習では、前記観測対象物のうち複数について得られた前記光信号から前記観測対象物の特徴が学習される
    請求項1から請求項3のいずれか一項に記載の分析方法。
  5. 前記分析ステップでは、前記時系列信号から前記観測対象物を判別する判別アルゴリズムに基づいて前記観測対象物が判別され、
    前記判別アルゴリズムは前記機械学習によって最適化される
    請求項1から請求項4のいずれか一項に記載の分析方法。
  6. 前記分析ステップでは、さらに、前記観測対象物の大きさ、または前記観測対象物の位置のうちいずれか1以上が判別される
    請求項1から請求項のいずれか一項に記載の分析方法。
  7. 前記分析ステップでは、さらに、前記観測対象物が1つであるか、複数であるかが判別される
    請求項1から請求項のいずれか一項に記載の分析方法。
  8. 前記分析ステップでは、さらに、前記観測対象物が属するクラスが判別される
    請求項1から請求項のいずれか一項に記載の分析方法。
  9. 前記分析ステップは、前記時系列信号から前記観測対象物の部分領域に対応する時系列信号である部分時系列信号を分離し、
    分離した前記部分時系列信号から,前記観測対象物の部分領域に関する情報を分析する
    請求項1から請求項のいずれか一項に記載の分析方法。
  10. 前記分析ステップは、前記観測対象物が存在しない場合の前記部分時系列信号を用いて機械学習を行った結果に基づいて、画像を再構成することなく前記時系列信号から前記観測対象物が存在しない領域を判別する
    請求項に記載の分析方法。
  11. 前記時系列信号に基づいて前記観測対象物を分析した結果に基づいて、前記光源と前記光照射領域とを含む光学系を制御できるように接続されたコンピュータにより前記光学系に含まれる前記光源あるいは前記光照射領域の少なくとも1つを最適化する光学系制御ステップをさらに有する
    請求項1から請求項10のいずれか一項に記載の分析方法。
  12. 前記光学系制御ステップが、前記時系列信号に基づいて前記観測対象物が存在する領域を分析し,前記観測対象物が存在する領域に前記光照射領域を限定するものである
    請求項11に記載の分析方法。
  13. 前記光学系制御ステップが、前記時系列信号に基づいて前記観測対象物の粗密を分析して前記観測対象物の粗密情報を得て、前記粗密情報に基づいて前記光源又は前記光照射領域を制御すものである
    請求項11に記載の分析方法。
  14. 前記時系列信号に基づいて前記観測対象物を分析した結果に基づいて、前記受光部を制御できるように接続されたコンピュータにより前記受光部を最適化する受光部制御ステップをさらに有する
    請求項1から請求項13のいずれか一項に記載の分析方法。
JP2021159163A 2015-10-28 2021-09-29 分析方法 Active JP7261414B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023055489A JP2023098911A (ja) 2015-10-28 2023-03-30 分析システム

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2015212356 2015-10-28
JP2015212356 2015-10-28
US201662372321P 2016-08-09 2016-08-09
US62/372,321 2016-08-09
JP2017547891A JP6959614B2 (ja) 2015-10-28 2016-10-28 分析装置,及びフローサイトメータ

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017547891A Division JP6959614B2 (ja) 2015-10-28 2016-10-28 分析装置,及びフローサイトメータ

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023055489A Division JP2023098911A (ja) 2015-10-28 2023-03-30 分析システム

Publications (2)

Publication Number Publication Date
JP2022008632A JP2022008632A (ja) 2022-01-13
JP7261414B2 true JP7261414B2 (ja) 2023-04-20

Family

ID=58631565

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2017547891A Active JP6959614B2 (ja) 2015-10-28 2016-10-28 分析装置,及びフローサイトメータ
JP2021159163A Active JP7261414B2 (ja) 2015-10-28 2021-09-29 分析方法
JP2023055489A Pending JP2023098911A (ja) 2015-10-28 2023-03-30 分析システム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017547891A Active JP6959614B2 (ja) 2015-10-28 2016-10-28 分析装置,及びフローサイトメータ

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023055489A Pending JP2023098911A (ja) 2015-10-28 2023-03-30 分析システム

Country Status (5)

Country Link
US (4) US11098275B2 (ja)
EP (1) EP3372985A4 (ja)
JP (3) JP6959614B2 (ja)
CN (2) CN114062231B (ja)
WO (1) WO2017073737A1 (ja)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5924077B2 (ja) 2012-03-30 2016-05-25 ソニー株式会社 微小粒子分取装置及び微小粒子分取装置における軌道方向判定方法
WO2014115409A1 (ja) 2013-01-28 2014-07-31 ソニー株式会社 微小粒子分取装置、微小粒子分取方法及びプログラム
JP6465036B2 (ja) 2014-02-13 2019-02-06 ソニー株式会社 粒子分取装置、粒子分取方法、プログラム及び粒子分取システム
US10761011B2 (en) 2015-02-24 2020-09-01 The University Of Tokyo Dynamic high-speed high-sensitivity imaging device and imaging method
EP3343200B1 (en) * 2015-10-19 2021-12-15 Sony Group Corporation Image processing device, microparticle separation device, and image processing method
US11098275B2 (en) 2015-10-28 2021-08-24 The University Of Tokyo Analysis device
EP4160319A1 (en) 2016-08-15 2023-04-05 Osaka University Electromagnetic wave phase/amplitude generation device, electromagnetic wave phase/amplitude generation method, and electromagnetic wave phase/amplitude generation program
US10838922B2 (en) 2017-03-31 2020-11-17 International Business Machines Corporation Data compression by using cognitive created dictionaries
WO2018203568A1 (ja) * 2017-05-02 2018-11-08 シンクサイト株式会社 細胞評価システム及び方法、細胞評価プログラム
GB201707239D0 (en) * 2017-05-05 2017-06-21 Univ Edinburgh Optical system and method
WO2018207524A1 (ja) * 2017-05-07 2018-11-15 国立大学法人大阪大学 識別方法、分類分析方法、識別装置、分類分析装置および記憶媒体
EP3709005A1 (en) 2017-12-13 2020-09-16 HORIBA, Ltd. Distinguishing method, learning method, distinguishing device and computer program
DE102018208118A1 (de) * 2018-05-23 2019-11-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Authentifizieren einer über einen Bus übertragenen Nachricht
CN112638529B (zh) * 2018-06-13 2023-05-30 新克赛特株式会社 细胞计数的方法和系统
WO2020012528A1 (ja) * 2018-07-09 2020-01-16 オリンパス株式会社 光分析装置、光分析方法および学習済みモデル
US11227672B2 (en) 2018-10-17 2022-01-18 Becton, Dickinson And Company Adaptive sorting for particle analyzers
CN113227838B (zh) * 2018-12-27 2024-07-12 株式会社小糸制作所 车辆用灯具及车辆
JP7352365B2 (ja) * 2019-03-22 2023-09-28 シスメックス株式会社 細胞の分析方法、深層学習アルゴリズムの訓練方法、細胞分析装置、深層学習アルゴリズムの訓練装置、細胞の分析プログラム及び深層学習アルゴリズムの訓練プログラム
JP7466563B2 (ja) 2019-03-29 2024-04-15 ベクトン・ディキンソン・アンド・カンパニー 粒子の区別に使用するためのパラメータ
JP7288345B2 (ja) * 2019-05-23 2023-06-07 株式会社堀場製作所 粒子径分布測定装置、粒子径分布測定方法、及び、粒子径分布測定装置用プログラム
JP7367343B2 (ja) 2019-05-28 2023-10-24 ソニーグループ株式会社 分取システム、及び分取方法
US10802066B1 (en) * 2019-12-17 2020-10-13 Quantum Valley Ideas Laboratories Single-pixel imaging of electromagnetic fields
US11823378B2 (en) * 2019-12-20 2023-11-21 PAIGE.AI, Inc. Systems and methods for processing electronic images to detect contamination in specimen preparations
EP4083603A4 (en) * 2019-12-27 2024-04-03 ThinkCyte, Inc. FLOW CYTOMETER PERFORMANCE EVALUATION METHODS AND STANDARD PARTICLE SUSPENSION
WO2021141138A1 (ja) 2020-01-10 2021-07-15 シンクサイト株式会社 新規細胞表現型スクリーニング方法
CN111257558B (zh) * 2020-01-19 2021-08-24 江苏省人民医院(南京医科大学第一附属医院) 基于机器学习的慢性淋巴细胞白血病肿瘤细胞识别方法
WO2021172274A1 (ja) * 2020-02-28 2021-09-02 キヤノン株式会社 識別装置
JPWO2021200911A1 (ja) 2020-04-01 2021-10-07
US20230213431A1 (en) * 2020-06-02 2023-07-06 Nippon Telegraph And Telephone Corporation Particle Separation Device, Method, and Program, Structure of Particle Separation Data, and Leaned Model Generation Method
JP7566302B2 (ja) * 2020-07-06 2024-10-15 シンクサイト株式会社 フローサイトメータ、観測対象物判別方法、及びプログラム
JP7130267B2 (ja) * 2020-09-03 2022-09-05 株式会社リガク 全反射蛍光x線分析装置及び推定方法
JP7414678B2 (ja) * 2020-09-15 2024-01-16 株式会社東芝 情報処理装置、情報処理方法、およびプログラム
JP7524119B2 (ja) * 2021-03-22 2024-07-29 株式会社東芝 光学装置、光学検査方法及び光学検査プログラム
US20240230507A1 (en) 2021-05-11 2024-07-11 Thinkcyte, Inc. Feature value calculation device, feature value calculation method, and program
CN113408545B (zh) * 2021-06-17 2024-03-01 浙江光仑科技有限公司 一种基于微光学器件的端到端光电检测系统及方法
JPWO2023282026A1 (ja) * 2021-07-09 2023-01-12
WO2023042647A1 (ja) * 2021-09-17 2023-03-23 シンクサイト株式会社 分類モデル生成方法、粒子分類方法、コンピュータプログラム、及び情報処理装置
WO2023053679A1 (ja) * 2021-09-30 2023-04-06 シンクサイト株式会社 フローサイトメータ
WO2023062830A1 (ja) * 2021-10-15 2023-04-20 シンクサイト株式会社 フローサイトメータ、イメージング装置、位置検出方法、及びプログラム
WO2023062831A1 (ja) * 2021-10-15 2023-04-20 シンクサイト株式会社 フローサイトメータ、位置算出方法、及びプログラム
WO2024157903A1 (ja) * 2023-01-25 2024-08-02 シンクサイト株式会社 フローサイトメータ
JP7490161B1 (ja) 2023-11-09 2024-05-24 三菱電機株式会社 画像取得装置、及び、画像取得方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009180724A (ja) 2008-01-30 2009-08-13 Palo Alto Research Center Inc 時間変化を示す検知結果の取得
US20150276387A1 (en) 2014-02-14 2015-10-01 Palo Alto Research Center Incorporated Spatial modulation of light to determine object position

Family Cites Families (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1076101A (en) 1912-05-06 1913-10-21 Gen Electric Governing mechanism for prime movers.
JPS54126604A (en) 1978-03-24 1979-10-02 Sumitomo Metal Ind Ltd Iron ore pellet
US4537861A (en) 1983-02-03 1985-08-27 Elings Virgil B Apparatus and method for homogeneous immunoassay
JPS613032A (ja) * 1984-06-18 1986-01-09 Hitachi Ltd 水中懸濁物質監視装置
JPH068784B2 (ja) * 1985-10-01 1994-02-02 株式会社日立製作所 フロツク監視装置
JPH01118747A (ja) 1987-10-31 1989-05-11 Canon Inc 粒子解析装置
US5483469A (en) 1993-08-02 1996-01-09 The Regents Of The University Of California Multiple sort flow cytometer
JPH07270314A (ja) * 1994-03-29 1995-10-20 Kubota Corp 濁度検知方法及びその装置
JP3444509B2 (ja) 1994-04-20 2003-09-08 株式会社リコー 画像読取装置
JP2827901B2 (ja) 1994-05-31 1998-11-25 株式会社島津製作所 粒度分布測定方法
JPH09311102A (ja) 1996-05-24 1997-12-02 Hitachi Ltd フロー式粒子画像解析方法および装置
JP2941228B2 (ja) 1997-04-15 1999-08-25 日本カノマックス株式会社 粒子測定装置及びその校正方法
US7217573B1 (en) 1999-10-05 2007-05-15 Hitachi, Ltd. Method of inspecting a DNA chip
JP3822785B2 (ja) 2000-10-11 2006-09-20 株式会社堀場製作所 散乱式粒子径分布測定装置
CN1200111C (zh) * 2001-06-20 2005-05-04 朱纪军 一种基于微流控技术的流式细胞仪
US7385694B2 (en) * 2002-06-04 2008-06-10 Lockheed Martin Corporation Tribological debris analysis system
FR2852700B1 (fr) 2003-03-19 2005-09-23 Centre Nat Rech Scient Procede et installation d'imagerie acousto-optique.
US7422693B2 (en) * 2003-07-02 2008-09-09 Caridianbct, Inc. Monitoring and control system for blood processing
US7812303B2 (en) 2007-12-06 2010-10-12 The United States Of America As Represented By The Secretary Of The Army Method and system for creating an image using quantum properties of light based upon spatial information from a second light beam which does not illuminate the subject
US7847234B2 (en) 2003-08-06 2010-12-07 The United States Of America As Represented By The Secretary Of The Army Method and system for observing a subject at a first location based upon quantum properties measured at a second location
WO2005019811A2 (en) 2003-08-26 2005-03-03 Blueshift Biotechnologies, Inc. Time dependent fluorescence measurements
NZ537147A (en) * 2004-12-13 2007-06-29 Australo Ltd Method and apparatus for particle analysis
EP1865303A1 (en) 2005-03-29 2007-12-12 Sysmex Corporation Method of discriminating cancer and atypical cells and cell analyzer
EP1889111A2 (en) 2005-05-25 2008-02-20 Massachusetts Institute of Technology Multifocal imaging systems and methods
US7561274B2 (en) 2005-10-20 2009-07-14 Duke University Optical spectroscopy utilizing planar spectral filters
WO2007067999A2 (en) 2005-12-09 2007-06-14 Amnis Corporation Extended depth of field imaging for high speed object analysis
WO2008098179A1 (en) * 2007-02-08 2008-08-14 Massachusetts Institute Of Technology In vitro microfluidic model of microcirculatory diseases, and methods of use thereof
US8165663B2 (en) * 2007-10-03 2012-04-24 The Invention Science Fund I, Llc Vasculature and lymphatic system imaging and ablation
JP2009115672A (ja) * 2007-11-08 2009-05-28 Sony Corp 微小粒子の光学的測定方法及び分取方法、並びに前記光学的測定方法及び分取方法に用いる流路、光学的測定装置及びフローサイトメータ
JP5478501B2 (ja) 2007-12-04 2014-04-23 パーティクル・メージャーリング・システムズ・インコーポレーテッド 粒子検出用の2次元光学画像化方法及びシステム
JP4556996B2 (ja) 2007-12-13 2010-10-06 ソニー株式会社 光学的検出方法
US7817254B2 (en) 2008-01-30 2010-10-19 Palo Alto Research Center Incorporated Obtaining information from time variation of sensing results
KR101163197B1 (ko) * 2008-02-07 2012-07-06 미쯔이 죠센 가부시키가이샤 형광 검출 장치 및 형광 검출 방법
JP5321145B2 (ja) 2009-03-04 2013-10-23 日本電気株式会社 画像診断支援装置、画像診断支援方法、画像診断支援プログラム、及びその記憶媒体
US8599383B2 (en) 2009-05-06 2013-12-03 The Regents Of The University Of California Optical cytometry
JP5534214B2 (ja) 2009-10-05 2014-06-25 ベイバイオサイエンス株式会社 フローサイトメータおよびフローサイトメトリ方法
EP3136079B1 (en) 2009-10-20 2020-02-12 The Regents of The University of California Incoherent lensfree cell holography and microscopy on a chip
US20140152801A1 (en) * 2009-10-28 2014-06-05 Alentic Microscience Inc. Detecting and Using Light Representative of a Sample
JP5574407B2 (ja) 2010-01-14 2014-08-20 国立大学法人 筑波大学 顔面動作推定装置及び顔面動作推定方法
JP4805417B1 (ja) * 2010-03-31 2011-11-02 古河電気工業株式会社 光情報解析装置及び光情報解析方法
JP5418386B2 (ja) 2010-04-19 2014-02-19 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US8913121B2 (en) * 2010-07-11 2014-12-16 Spynsite, LLC System for image rendering or spectral recognition
EP2602612A4 (en) 2010-09-10 2018-05-16 Olympus Corporation Optical analysis method using optical measurement in multiple wavelength bands
JP5671623B2 (ja) * 2010-10-25 2015-02-18 アキュリ サイトメーターズ, インコーポレイテッドAccuri Cytometers, Inc. フローサイトメータのデータセットを収集するシステム及びユーザインターフェース
SG10201912164UA (en) 2010-11-16 2020-02-27 1087 Systems Inc System for identifying and sorting living cells
US8941062B2 (en) 2010-11-16 2015-01-27 1087 Systems, Inc. System for identifying and sorting living cells
US9066657B2 (en) 2010-11-23 2015-06-30 General Electric Company Methods and systems of optical imaging for target detection in a scattering medium
JP2012132742A (ja) 2010-12-21 2012-07-12 Fujifilm Corp 時間分解蛍光測定装置、及び方法
WO2012083438A1 (en) 2010-12-24 2012-06-28 Huron Technologies International Inc. Pathology slide scanner
NL2006600C2 (nl) 2011-02-11 2012-08-14 Dutch Water Technologies B V Inrichting en werkwijze voor het detecteren van sporen.
EP2510958B2 (en) 2011-04-11 2023-02-15 Fresenius Medical Care Deutschland GmbH Method and apparatus for monitoring a treatment of a patient, preferably for monitoring hemodialysis, hemodiafiltration and/or peritoneal dialysis
US9485393B2 (en) 2011-04-25 2016-11-01 Hamamatsu Photonics K.K. Imaging device including detection unit having a light receiving plane
CN103582809A (zh) * 2011-06-03 2014-02-12 株式会社日立高新技术 生物聚合物的光学解析装置及方法
JP2013015357A (ja) 2011-07-01 2013-01-24 Shimadzu Corp フローサイトメータ
CN102331411A (zh) * 2011-07-08 2012-01-25 无锡荣兴科技有限公司 一种具有蓝色半导体激光器的血液细胞分析仪
JP2013024629A (ja) 2011-07-19 2013-02-04 Sysmex Corp フローサイトメータ
US8475739B2 (en) 2011-09-25 2013-07-02 Theranos, Inc. Systems and methods for fluid handling
WO2013059835A1 (en) * 2011-10-21 2013-04-25 Acea Biosciences, Inc. System and method for detecting multiple-excitation-induced light in a flow channel
WO2013067536A1 (en) * 2011-11-04 2013-05-10 Massachusetts Institute Of Technology Multi-parameter thrombotic assay apparatus, systems, and methods
WO2013069504A1 (ja) 2011-11-10 2013-05-16 オリンパス株式会社 単一発光粒子検出を用いた光分析装置、光分析方法及び光分析用コンピュータプログラム
CN102495467A (zh) 2011-11-11 2012-06-13 上海电机学院 一种利用混沌激光的时间关联特性进行成像的方法及装置
EP2602608B1 (en) 2011-12-07 2016-09-14 Imec Analysis and sorting of biological cells in flow
JP6144915B2 (ja) * 2012-01-30 2017-06-07 キヤノン株式会社 生体組織画像の再構成方法、取得方法及び装置
US9360660B2 (en) 2012-05-24 2016-06-07 Northwestern University Methods and apparatus for laser scanning structured illumination microscopy and tomography
JP5464244B2 (ja) 2012-08-24 2014-04-09 富士ゼロックス株式会社 画像処理装置、プログラム及び画像処理システム
US8723104B2 (en) 2012-09-13 2014-05-13 City University Of Hong Kong Methods and means for manipulating particles
CN110579435B (zh) 2012-10-15 2023-09-26 纳诺赛莱克特生物医药股份有限公司 颗粒分选的系统、设备和方法
WO2014087746A1 (ja) 2012-12-03 2014-06-12 富士電機株式会社 粒子線成形装置
US9921156B2 (en) * 2013-02-04 2018-03-20 The General Hospital Corporation System and method for fluorescence detection
JP6196787B2 (ja) 2013-03-08 2017-09-13 キヤノン株式会社 画像形成装置、及びイメージングシステム
WO2014143235A1 (en) * 2013-03-14 2014-09-18 Integrated Plasmonics Corporation Ambient light assisted spectroscopy
US9857361B2 (en) 2013-03-15 2018-01-02 Iris International, Inc. Flowcell, sheath fluid, and autofocus systems and methods for particle analysis in urine samples
DK3004838T3 (da) 2013-05-28 2022-06-20 Chemometec As Billeddannende cytometer
DK3013984T3 (da) 2013-06-25 2023-06-06 Prognosys Biosciences Inc Metode til bestemmelse af spatiale mønstre i biologiske targets i en prøve
WO2015021332A1 (en) 2013-08-07 2015-02-12 The Regents Of The University Of California Real-time label-free high-throughput cell screening in flow
CN103604737B (zh) 2013-12-10 2015-11-25 山东大学 一种自动化血细胞识别装置及工作方法
US20150198584A1 (en) * 2014-01-14 2015-07-16 Asedasciences Ag Identification of functional cell states
CN103837461B (zh) 2014-01-16 2016-08-24 麦克奥迪实业集团有限公司 一种灰度摄像头及具有高效率照明的细胞综合分析装置
US10061111B2 (en) 2014-01-17 2018-08-28 The Trustees Of Columbia University In The City Of New York Systems and methods for three dimensional imaging
WO2015168026A2 (en) 2014-04-28 2015-11-05 The Broad Institute, Inc. Method for label-free image cytometry
CN104154878B (zh) 2014-07-29 2016-09-28 暨南大学 一种使用单像素探测器的光学成像方法
US20180224552A1 (en) 2014-09-30 2018-08-09 Washington University Compressed-sensing ultrafast photography (cup)
ES2827022T3 (es) 2014-09-30 2021-05-19 Univ California Citómetro de flujo de formación de imágenes mediante transformación espacio-temporal
US9645377B2 (en) * 2015-02-06 2017-05-09 The Johns Hopkins University Compressive imaging systems and methods
US10761011B2 (en) 2015-02-24 2020-09-01 The University Of Tokyo Dynamic high-speed high-sensitivity imaging device and imaging method
WO2017046988A1 (en) 2015-09-18 2017-03-23 Sony Corporation Information processing apparatus, information processing method, and information processing system
US11098275B2 (en) * 2015-10-28 2021-08-24 The University Of Tokyo Analysis device
CN105651656B (zh) 2016-04-01 2018-09-11 黄恺 基于激光全息成像法分析颗粒形状的装置及其工作方法
US10337975B2 (en) * 2016-05-06 2019-07-02 Deutsches Rheuma-Forschungszentrum Berlin Method and system for characterizing particles using a flow cytometer
US11225689B2 (en) 2016-08-17 2022-01-18 The Broad Institute, Inc. Method for determination and identification of cell signatures and cell markers
CN112638529B (zh) 2018-06-13 2023-05-30 新克赛特株式会社 细胞计数的方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009180724A (ja) 2008-01-30 2009-08-13 Palo Alto Research Center Inc 時間変化を示す検知結果の取得
US20150276387A1 (en) 2014-02-14 2015-10-01 Palo Alto Research Center Incorporated Spatial modulation of light to determine object position

Also Published As

Publication number Publication date
US20220041963A1 (en) 2022-02-10
WO2017073737A1 (ja) 2017-05-04
US11098275B2 (en) 2021-08-24
JP2023098911A (ja) 2023-07-11
US20180327699A1 (en) 2018-11-15
CN114062231A (zh) 2022-02-18
CN108351289B (zh) 2021-11-26
CN108351289A (zh) 2018-07-31
US11542461B2 (en) 2023-01-03
EP3372985A4 (en) 2019-09-18
US20230237789A1 (en) 2023-07-27
EP3372985A1 (en) 2018-09-12
US20240303980A1 (en) 2024-09-12
JP2022008632A (ja) 2022-01-13
US11861889B2 (en) 2024-01-02
CN114062231B (zh) 2024-09-10
JP6959614B2 (ja) 2021-11-02
JPWO2017073737A1 (ja) 2018-09-27

Similar Documents

Publication Publication Date Title
JP7261414B2 (ja) 分析方法
CN109863384B (zh) 基于图像的细胞分选系统和方法
TWI756365B (zh) 圖像分析系統及相關方法
US8280140B2 (en) Classifying image features
EP2936116B1 (en) System and method for classification of particles in a fluid sample
TW201710949A (zh) 圖像分析系統及相關方法
KR102122068B1 (ko) 이미지 분석 시스템 및 분석 방법
Raghavendra et al. A new perspective—Face recognition with light-field camera
CN116612472B (zh) 基于图像的单分子免疫阵列分析仪及其方法
CN110914833A (zh) 细胞识别
US10664978B2 (en) Methods, systems, and computer readable media for using synthetically trained deep neural networks for automated tracking of particles in diverse video microscopy data sets
KR102436336B1 (ko) 인공지능 기반의 미세조류 검출장치 및 그 방법
Luo Machine Learning on High-Throughput Bioparticles Image Recognition and Sizing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211028

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230330

R150 Certificate of patent or registration of utility model

Ref document number: 7261414

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150