JP7173494B2 - 学習結果出力装置及び学習結果出力プログラム - Google Patents

学習結果出力装置及び学習結果出力プログラム Download PDF

Info

Publication number
JP7173494B2
JP7173494B2 JP2019509964A JP2019509964A JP7173494B2 JP 7173494 B2 JP7173494 B2 JP 7173494B2 JP 2019509964 A JP2019509964 A JP 2019509964A JP 2019509964 A JP2019509964 A JP 2019509964A JP 7173494 B2 JP7173494 B2 JP 7173494B2
Authority
JP
Japan
Prior art keywords
learning
result output
unit
machine learning
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019509964A
Other languages
English (en)
Other versions
JPWO2018181458A1 (ja
Inventor
諒亮 亀澤
禎生 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thinkcyte Inc.
University of Tokyo NUC
Original Assignee
Thinkcyte Inc.
University of Tokyo NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thinkcyte Inc., University of Tokyo NUC filed Critical Thinkcyte Inc.
Publication of JPWO2018181458A1 publication Critical patent/JPWO2018181458A1/ja
Priority to JP2022170844A priority Critical patent/JP7428994B2/ja
Application granted granted Critical
Publication of JP7173494B2 publication Critical patent/JP7173494B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/10Machine learning using kernel methods, e.g. support vector machines [SVM]
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1456Optical investigation techniques, e.g. flow cytometry without spatial resolution of the texture or inner structure of the particle, e.g. processing of pulse signals
    • G01N15/1459Optical investigation techniques, e.g. flow cytometry without spatial resolution of the texture or inner structure of the particle, e.g. processing of pulse signals the analysis being performed on a sample stream
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/20Ensemble learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/01Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/149Optical investigation techniques, e.g. flow cytometry specially adapted for sorting particles, e.g. by their size or optical properties
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N2015/1006Investigating individual particles for cytology
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1402Data analysis by thresholding or gating operations performed on the acquired signals or stored data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Immunology (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Molecular Biology (AREA)
  • Dispersion Chemistry (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Hematology (AREA)
  • Urology & Nephrology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Description

本発明は、学習結果出力装置及び学習結果出力プログラムに関する。本願は、2017年3月29日に、日本に出願された特願2017-064387号に基づき優先権を主張し、その内容をここに援用する。
従来、測定対象を蛍光染色し、この蛍光輝度の総量によって測定対象の特徴を評価するフローサイトメトリー法や、このフローサイトメトリー法を用いたフローサイトメーターが知られている(例えば、特許文献1)。また、測定対象となる細胞・細菌等の微粒子を画像によって評価する蛍光顕微鏡やイメージングサイトメーターが知られている。加えて、フローサイトメーターと同等のスループットで微粒子の形態情報を高速に撮影するイメージングフローサイトメーターが知られている(例えば、特許文献2)。
特許第5534214号公報 米国特許第6249341号明細書
従来の技術では、蛍光輝度や散乱光の総量などの予め定められた評価軸によって測定対象の特徴を示す。この予め定められた評価軸は、測定対象を測定する測定者によって決定される。しかし、測定対象の特徴には、蛍光輝度や散乱光の総量だけではなく、細胞の形態情報や分子局在等の二次元空間上の特徴などの従来から利用されているヒストグラムや散布図等のグラフでは表現できない特徴や測定者が気付いていない特徴も含まれる。この特徴には、従来のグラフ表示法では表示ができない特徴や測定者が気付いていない特徴が含まれるため、従来の予め定められた評価軸やグラフ表示法では測定対象の特徴を表現しきれず、それらの特徴を備えた測定対象の粒子群を選択的に可視化(ゲーティング)し、それらを分取(ソーティング)できないという問題があった。
本発明の課題は、粒子群を測定対象の形態情報に基づいて分類する学習結果出力装置及び学習結果出力プログラムを提供することにある。
本発明の一態様は、測定対象の形態情報に基づいて、前記測定対象の属性のうちの少なくとも一つの属性について機械学習により学習モデルを作成する機械学習部と、前記機械学習部が作成した前記学習モデルを用いて前記機械学習部が前記測定対象を前記形態情報に基づいて判定した判定結果について、前記判定の際における前記属性の程度を示す値である前記機械学習のスコアを少なくとも1つの評価軸としてグラフ情報を生成するグラフ情報生成部とを備える学習結果出力装置である。
また、本発明の一態様は、上記の学習結果出力装置において、前記評価軸を選択する操作を検出する操作検出部を更に備え、前記グラフ情報生成部は、前記操作検出部が検出した操作によって選択された評価軸を軸にして前記グラフ情報を生成する。
また、本発明の一態様は、上記の学習結果出力装置において、前記操作検出部は、更に、前記グラフ情報生成部が生成する前記グラフ情報に基づいて、前記測定対象から選択測定対象をゲーティングする操作であるゲーティング操作を検出する。
また、本発明の一態様は、上記の学習結果出力装置において、前記操作検出部が検出する前記ゲーティング操作に基づいて、前記測定対象ソーティングに用いる制御信号を生成する制御信号生成部を更に備える。
また、本発明の一態様は、上記の学習結果出力装置において、前記形態情報、構造化された照明パターンを有する光学系又は光特性が互いに異なる複数の領域を有する構造化された検出系のいずれか又は両方を用い、前記測定対象と、前記光学系と、前記検出系とのうちのいずれかの間の相対位置を変化させつつ、一又は少数画素検出素子によって検出された前記測定対象を示す光信号の時系列信号である。
また、本発明の一態様は、コンピュータに測定対象の形態情報に基づいて、前記測定対象の属性のうちの少なくとも一つの属性について機械学習を行ない学習モデルを作成する機械学習ステップと、前記機械学習ステップによって作成された学習モデルにより前記測定対象を前記形態情報に基づいて判定する判定ステップと、前期判定ステップによる判定の判定結果について前記属性の程度を示す値である前記機械学習のスコアを少なくとも1つの評価軸にして、グラフ情報を生成するグラフ情報生成ステップと、を実行させるための学習結果出力プログラムである。
本発明によれば、粒子群を測定対象の形態情報に基づいて分類する学習結果出力装置及び学習結果出力プログラムを提供することができる。
細胞測定システムの外観構成を示す図である。 学習結果出力装置の機能構成の一例を示す図である。 機械学習部がある信号情報を判定した判定結果の一例を示す図である。 表示データ生成部が生成するグラフ情報の一例を示す図である。 従来のフローサイトメーターが表示するグラフと、表示データ生成部が生成するグラフ情報の一例を示す図である。 表示データ生成部が生成するグラフ情報の一例を示す図である。 学習結果出力装置の動作の一例を示す流れ図である。 2つの軸をそれぞれ学習結果に基づく評価軸を軸にしたグラフの一例である。
[実施形態]
以下、図面を参照して学習結果出力装置の実施形態について説明する。
図1は、細胞測定システム1の外観構成を示す図である。
細胞測定システム1は、フローサイトメーター20と、学習結果出力装置10と、表示部11と、操作部12とを備える。学習結果出力装置10は、フローサイトメーター20が測定した測定対象の情報が含まれる信号を機械学習する。学習結果出力装置10は、この機械学習によって測定対象の特徴を解析する。
[フローサイトメーターについて]
フローサイトメーター20は、細胞などの測定対象の光信号を検出する。測定対象とは、学習対象物の一例である。具体的には、測定対象とは、細胞である。以下の説明では、測定対象のことを、微粒子群とも記載する。フローサイトメーター20は、不図示の流路を備える。フローサイトメーター20は、この流路を流される測定対象の光信号の時系列信号を生成する。
[光信号について]
光信号は、構造化された照明パターンを有する光学系又は光特性が互いに異なる複数の領域を有する構造化された検出系のいずれか又は両方を用い、測定対象と、光学系と、検出系とのうちのいずれかの間の相対位置を変化させつつ、一又は少数画素検出素子によって検出された測定対象を示す光信号の時系列信号である。
具体的には、光信号とは、フローサイトメーター20が備える不図示のセンサが検出した光の強度を示す情報である。センサとは、一又は少数画素検出素子の一例である。一又は少数画素検出素子とは、具体的には、PMT(photomultiplier tube;光電子倍増管)、ライン型PMT素子、APD(Avalanche Photo-diode、アバランシェフォトダイオード)、Photo-detector(PD:光検出器)などの単一受光素子及び少数受光素子、CCDカメラ及び、CMOSセンサなどである。センサが検出する光とは、フローサイトメーター20が備える不図示の照射部から、測定対象と、不図示の光空間変調器とによって変調された光である。ここで、光空間変調器とは、構造化された照明パターンの一例である。
フローサイトメーター20は、測定対象と、光学系と、検出系とのうちのいずれかの間の相対位置を変化させつつ、一又は少数画素検出素子によって光信号を検出する。この一例では、測定対象が流路を流されることにより、光学系と検出系との相対位置が変化する。
[光学系と検出系とについて]
ここで、光学系について説明する。光学系が照射部と光空間変調器とを備える場合には、検出系は上述したセンサを備える。この構成のことを、構造化照明の構成とも記載する。
光学系が照射部を備える場合には、検出系は光空間変調器とセンサとを備える。この構成のことを、構造化検出の構成とも記載する。
フローサイトメーター20は、構造化照明の構成と、構造化検出の構成とのいずれの構成であってもよい。
[光信号の時系列信号について]
光信号の時系列信号とは、複数の光信号が取得された時刻と、光の強度の情報とがそれぞれ対応付けられた信号である。
フローサイトメーター20は、この時系列信号から測定対象の像を再構成することができる。この時系列信号には、測定対象の属性の情報が含まれる。属性とは、具体的には、測定対象の形状や、測定対象を構成する構成要素などが含まれる。測定対象が蛍光染色されている場合には、測定対象からの蛍光の輝度の程度などの情報が含まれる。なお、学習結果出力装置10は、測定対象の像を再構成することなく、測定対象の特徴を解析する。
[学習結果出力装置10について]
学習結果出力装置10は、フローサイトメーター20が検出した光信号の時系列信号を取得する。学習結果出力装置10は、フローサイトメーター20から取得した時系列信号を機械学習する。学習結果出力装置10は、この機械学習により測定対象の属性を解析する。
表示部11は、学習結果出力装置10が解析した結果を表示する。
操作部12は、学習結果出力装置10を操作する操作者からの入力を受け付ける。操作部12とは、具体的には、キーボード、マウス、タッチパネルなどである。
ここで、図2を参照して、学習結果出力装置10の機能構成について説明する。
図2は、学習結果出力装置10の機能構成の一例を示す図である。
学習結果出力装置10は、信号取得部101と、機械学習部102と、記憶部STと、操作検出部103と、表示データ生成部104と、表示部11と、制御信号生成部105とを備える。ここで、表示データ生成部104とは、グラフ情報生成部の一例である。
信号取得部101は、上述したフローサイトメーター20から、時系列信号を示す信号情報を取得する。ここで、信号情報とは、学習対象物の形状を示す形態情報の一例である。信号取得部101は、フローサイトメーター20から取得した信号情報を、機械学習部102に対して供給する。
機械学習部102は、学習対象物の属性のうちの少なくとも一つの属性について、この属性の程度を評価軸にして機械学習する。具体的には、機械学習部102は、信号取得部101から信号情報を取得する。機械学習部102は、信号取得部101から取得した信号情報を機械学習することにより判定器を形成する。ここで、機械学習部102は、サポートベクターマシン等の機械学習アルゴリズムによって判定器が形成される。この判定器は、FPGA(field-programmable gate array)の論理回路によって構成される。なお、判定器は、などのプログラマブルロジックデバイス(programmable logic device;PLD)や、ASIC(application specific integrated circuit)などによって構成されてもよい。判定器とは、学習モデルの一例である。
また、本実施形態では、機械学習部102は、予め教師ありの機械学習によって判定器が形成される。
機械学習部102は、取得した信号情報を判定器によって判定する。
機械学習部102は、この信号情報を判定した判定結果を、表示データ生成部104に対して供給する。この判定結果には、測定対象の属性のうちの少なくとも一つの属性について、この属性の程度を評価軸にする情報が含まれる。
操作検出部103は、判定器の判定結果に基づく評価軸を選択する操作を検出する。具体的には、操作検出部103は、操作者が複数の属性の程度の評価軸のうちから、評価軸を選択する操作を検出する。操作検出部103は、検出した操作に基づいて、操作者が選択した評価軸を示す情報を表示データ生成部104に対して供給する。また、操作検出部103は、更に、表示データ生成部104が生成するグラフ情報に基づく測定対象の可視化の操作を検出する。具体的には、操作検出部103は、後述する表示データ生成部104が生成するグラフ情報に基づいて、ユーザーが測定対象をゲーティングする操作を検出する。ゲーティングについては、後述する。
表示データ生成部104は、機械学習部102が信号情報を判定器によって判定した判定結果に基づいて、評価軸を軸にして判定結果を表すグラフを示すグラフ情報を生成する。具体的には、表示データ生成部104は、機械学習部102から判定結果を取得する。
表示データ生成部104は、操作検出部103から操作者が選択した評価軸を示す情報を取得する。
[判定結果について]
ここで、図3を参照して、判定結果LIについて説明する。
図3は、機械学習部102がある信号情報を判定した判定結果の一例を示す図である。
判定結果LIとは、測定対象の属性を示す評価軸と、その属性の程度を示す値とが対応付けられた情報である。具体的には、判定結果LIには、評価軸の情報として“SVM-based Scores1”と、属性の程度を示す値として“VAL1”とが対応付けられた状態で含まれる。また、判定結果LIには、評価軸の情報として“SVM-based Scores2”と、属性の程度を示す値として“VAL2”とが対応付けられた状態で含まれる。
図2に戻り、表示データ生成部104は、操作者が選択した評価軸を軸とするグラフ情報を生成する。グラフ情報とは、測定対象の判定結果を表すグラフを示す情報である。具体的には、グラフ情報とは、少なくとも1軸に判定結果LIの評価軸を軸にした情報を含む情報である。
表示データ生成部104は、生成したグラフ情報を、表示部11に供給する。表示部11は、グラフ情報を表示画像として表示させる。
表示データ生成部104は、操作検出部103から、ユーザーがゲーティングした操作を示すゲーティング操作を取得する。表示データ生成部104は、このゲーティング操作によって選択された測定対象を示す情報を、制御信号生成部105に対して供給する。以下の説明では、ゲーティング操作によって選択された測定対象のことを、選択測定対象とも記載する。具体的には、選択測定対象は、学習結果出力装置10を操作するユーザーが関心のある測定対象をゲーティングすることにより決定される。以下の説明では、ゲーティングすることを、選択的に可視化するとも記載する。このゲーティングにより、学習結果出力装置10は、測定対象の中に含まれるゴミや、目的の細胞以外の粒子を除いた解析を行うことができる。
より具体的には、ソーティングとは、学習結果出力装置10を操作するユーザーによってゲーティングされた微粒子群を、フローサイトメーター20が振り分けることである。
ゲーティングは、学習結果出力装置10を操作するユーザーによって行われる。ユーザーは、表示データ生成部104によって生成されたグラフ情報に基づいて、ゲーティングする操作を行う。操作検出部103は、このユーザーの操作を検出する。
制御信号生成部105は可視化の操作に基づいて、学習対象物の振分に用いる制御信号を生成する。制御信号生成部105は、表示データ生成部104から、選択測定対象を示す情報を取得する。制御信号生成部105は、表示データ生成部104から取得した選択測定対象を示す情報に基づいて、ソーティングに用いる制御信号を生成する。ソーティングとは、測定対象を選択的に分取することである。分取とは、この一例では、評価軸に応じて選択的に振り分けることである。ソーティングは、振分の一例である。制御信号とは、フローサイトメーター20が備えるソーティング部21を制御する信号である。制御信号生成部105は、生成した制御信号をソーティング部21に対して供給する。
ソーティング部21は、制御信号生成部105から制御信号を取得する。ソーティング部21は、制御信号生成部105から取得した制御信号に基づいて、流路を流される測定対象のうちから、選択測定対象をソーティングする。
[グラフ情報]
ここで、図4から図6を参照して、表示データ生成部104が生成するグラフ情報について説明する。
図4は、表示データ生成部104が生成するグラフ情報の一例を示す図である。
図4に示すグラフは、判定結果LIに基づいて生成されるグラフである。このグラフは、評価軸に示す属性の程度毎に、該当する測定対象の数を示す。
図4に示すグラフの横軸は、評価軸“SVM-based Scores of Green Waveforms”である。上述したように、この評価軸は、機械学習部102によって機械学習された結果である判定結果LIに含まれる軸である。このグラフの縦軸は、測定対象の数である。
図5は、従来のフローサイトメーターが表示するグラフと、表示データ生成部104が生成するグラフ情報の一例を示す図である。図5に示す測定対象は、DAPI(4’,6-diamidino-2-phenylindole)と、FG(fixable green)とによって蛍光染色された、複数の細胞である。機械学習部102は、細胞毎に信号情報を機械学習する。DAPIとは、青色蛍光の染色剤である。FGとは、緑色蛍光の染色剤である。
図5(a)は、従来のフローサイトメーターが生成するグラフである。図5(a)の横軸は、予め定められた軸である“Total Intensity of FG”である。図5(a)の縦軸は、測定対象の数である。
図5(b)は、本実施形態の表示データ生成部104が生成するグラフである。図5(b)の横軸は、判定結果LIに含まれる評価軸である“Total Intensity of DAPI”である。この評価軸“Total Intensity of DAPI”とは、2種類の細胞のDAPIによる青色の蛍光輝度の強さの程度の評価軸である。図5(b)の縦軸は、測定対象の数である。ここで、このグラフ中に示す、“MIA PaCa-2”と、“MCF-7”とは、上述した測定対象である。機械学習部102は、この2種類の細胞からの青色の蛍光輝度の強さの程度が含まれる判定結果LIを生成する。表示データ生成部104は、2種類の細胞の青色の蛍光輝度の強さの程度が含まれるグラフを生成する。
図5(c)は、本実施形態の表示データ生成部104が生成するグラフである。図5(c)の横軸は、判定結果LIに含まれる評価軸である“SVM-based scores of FG”である。この評価軸“SVM-based scores of FG”とは、判定器によって判定されたFGで染色した細胞の形態情報を元にしたスコアを軸とする評価軸である。図5(c)の縦軸は、測定対象の数である。測定対象の形態の情報が含まれる“SVM-based scores of FG”を軸とすることにより、従来のFGの蛍光輝度の総量のヒストグラムでは表現することができなかった”MIA PaCa-2”と”MCF-7”との2つのピークを表現することができる。
図6は、表示データ生成部104が生成するグラフ情報の一例を示す図である。
図6に示すグラフの点PT1は、上述した図5(b)及び図5(c)に示す判定結果LIを表す。このグラフは、複数の測定対象の数の比を示すグラフである。このグラフの横軸は、600個の細胞から“MCF-7”のみをDAPIによって染色し、この“MCF-7”が600個の細胞中に含まれる率を示す。
このグラフの縦軸は、600個の細胞から“MCF-7”と”MIA PaCa-2”との細胞質全体をFGによって染色したものであり、Blueの点はFGの蛍光輝度の総量に基づいて、600個の細胞の中から“MCF-7”の含まれる割合を判別した場合を示し、Redの点はFGによって染色された細胞質の形態情報をもとに、機械学習によって“MCF-7”が含まれると判定した率を示す。すなわち、このBlueの点は、横軸に正解データ、縦軸に細胞の形態情報を元に判別した結果をプロットしたものである。このように、学習結果出力装置10は、Blueの点が示すように従来の蛍光輝度の総量のみで判別する手法では正しく判別することができなかった細胞群に対し、Redの点が示すように、細胞形態に対して機械学習を用いることによって、より正確に細胞群を判別できることを示している。
[学習結果出力装置10の動作の概要]
次に、図7を参照して学習結果出力装置10の動作の概要について説明する。
図7は、学習結果出力装置10の動作の一例を示す流れ図である。
信号取得部101は、フローサイトメーター20から信号情報を取得する(ステップS10)。信号取得部101は、フローサイトメーター20から取得した信号情報を機械学習部102に対して供給する。
機械学習部102は、信号取得部101から信号情報を取得する。機械学習部102は、信号取得部101から取得した信号情報を機械学習する(ステップS20)。機械学習部102は、機械学習した結果である判定結果LIを、表示データ生成部104に対して供給する。機械学習部102は、判定結果LIを、制御信号生成部105に対して供給する。
表示データ生成部104は、機械学習部102から判定結果LIを取得する。表示データ生成部104は、機械学習部102から取得した判定結果LIを、表示部11に表示させる。操作者は、表示部11に表示された判定結果LIに含まれる評価軸を選択する(ステップS30)。操作検出部103は、この操作者の操作を検出する。操作検出部103は、操作者が選択した評価軸を示す情報を、表示データ生成部104に対して供給する。
表示データ生成部104は、操作検出部103から、操作者が選択した評価軸を示す情報を取得する。表示データ生成部104は、操作検出部103から取得した操作者が選択した評価軸を軸にするグラフ情報を生成する(ステップS40)。表示データ生成部104は、生成したグラフ情報を表示部11に対して供給する。
表示部11は、表示データ生成部104からグラフ情報を取得する。表示部11は、グラフ情報に基づいて、表示画像を生成する(ステップS50)。表示部11は、生成した表示画像を表示する(ステップS60)。
学習結果出力装置10を操作するユーザーは、表示画像に基づいて、ゲーティングする。操作検出部103は、このゲーティングの操作を、ゲーティング操作として検出する(ステップS70)。操作検出部103は、検出したゲーティング操作を、表示データ生成部104に対して供給する。表示データ生成部104は、操作検出部103からゲーティング操作を取得する。表示データ生成部104は、操作検出部103から取得したゲーティング操作に基づいて、ゲーティングされた細胞群のグラフ情報を生成する(ステップS80)。
表示データ生成部104は、制御信号生成部105に対して、ゲーティング操作によって選択された選択測定対象を示す選択測定対象情報を供給する。制御信号生成部105は、表示データ生成部104から選択測定対象情報を取得する。制御信号生成部105は、表示データ生成部104から取得した選択測定対象情報に基づいて、この選択測定対象のソーティングに用いる信号を示す制御信号を生成する(ステップS90)。
制御信号生成部105は、生成した制御信号を、ソーティング部21に対して供給する(ステップS95)。
ソーティング部21は、制御信号生成部105から制御信号を取得する。ソーティング部21は、この制御信号に基づいて、流路を流される測定対象のうちから選択測定対象を、ソーティングする。
ここで、図8を参照して、操作検出部103が検出するゲーティングの操作の一例について説明する。
図8は、2つの軸をそれぞれ判定結果LIに基づく評価軸を軸にしたグラフの一例である。
図8に示すグラフは、横軸に“SVM-based Scores1”、縦軸に“SVM-based Scores2”を軸にした測定信号の判定結果を示すグラフである。
領域AR1に含まれる点は、“SVM-based Scores1”が示す属性と、“SVM-based Scores2”が示す属性とを両方もつ測定対象を示す点である。領域AR2に含まれる点は、“SVM-based Scores1”が示す属性のみをもつ測定対象を示す点である。領域AR3に含まれる点は、“SVM-based Scores2”が示す属性のみをもつ測定対象を示す点である。領域AR4に含まれる点は、“SVM-based Scores1”が示す属性と、“SVM-based Scores2”が示す属性とを両方もたない測定対象を示す点である。
学習結果出力装置10を操作するユーザーは、測定対象を示す点のうちから、目的の細胞群の点だと思われるエリアを選択して、境界GLを設定する。この境界GLを設定することが、ゲーティングすることである。なお、ユーザーは、過去のデータ等から散乱光又は蛍光の総量の強さ、形態情報を推測して、目的の細胞群だと思われるエリアを囲い込むことにより、境界を設定する。
操作検出部103は、このゲーティング操作を検出する。操作検出部103は、検出したゲーティング操作を、表示データ生成部104に対して供給する。表示データ生成部104は、ゲーティング操作に基づいて、境界GLを描画する。
また、表示データ生成部104は、この境界GLに含まれる細胞群のグラフ情報を生成してもよい。この境界GLに含まれる細胞群のグラフ情報とは、例えば、上述した図5及び図6に示すヒストグラムや散布図などのグラフである。
[まとめ]
以上説明したように、学習結果出力装置10は、信号取得部101と、機械学習部102と、表示データ生成部104とを備える。信号取得部101は、フローサイトメーター20から信号情報を取得する。この信号情報には、測定対象の様々な情報が含まれる。機械学習部102は、この信号情報に基づいて判定する。機械学習部102は、判定結果LIを生成する。機械学習部102が生成する判定結果LIには、測定対象の属性を軸とする評価軸が含まれる。表示データ生成部104は、機械学習部102が機械学習した判定結果LIに基づいて、属性の程度の評価軸を軸にして判定結果LIを表すグラフ情報を生成する。これにより、学習結果出力装置10は、判定結果LIに含まれる評価軸を軸にもつグラフを生成することができる。また、学習結果出力装置10は、判定結果LIに含まれる評価軸を組み合わせたグラフを生成することができる。これにより、学習結果出力装置10は、測定対象の様々な属性の程度を軸にした情報を生成することができる。学習結果出力装置10は、この情報に基づいて、粒子群を測定対象の形態情報に基づいて分類することができる。
なお、上述した説明では、信号取得部101は、フローサイトメーター20から信号情報を取得する構成について説明したが、これに限られない。信号取得部101は、信号情報を他の装置から取得してもよい。
なお、上述した説明では、学習結果出力装置10が操作検出部103を備える構成について説明したが、必須ではない。学習結果出力装置10は、評価軸を軸にした機械学習結果を表すグラフ情報を生成すればよい。学習結果出力装置10は、操作検出部103を備えることにより、操作者の選択を検出することができる。学習結果出力装置10を操作する操作者は、判定結果LIに含まれる評価軸を選択することにより、気付いていない特徴を知ることができる。また、学習結果出力装置10は、操作者が気付いていない特徴に基づくグラフを生成することができるため、測定対象をより詳しく解析することができる。
また、学習結果出力装置10は、従来は分類することができなかった細胞の形態情報に基づく特徴量を、機械学習部102によって分類する。これにより、学習結果出力装置10は、従来は表示させることができなかった測定対象の特徴量を表示させることができる。
また、学習結果出力装置10は、操作検出部103を備えることにより、上述したゲーティング操作を検出することができる。
学習結果出力装置10は、制御信号生成部105を備える。制御信号生成部105は、操作検出部103が検出するゲーティング操作に基づいて、制御信号を生成する。このゲーティング操作により選択される細胞群は、学習結果LIに基づく評価軸のグラフに基づくものである。この評価軸が細胞の形態を示す形態情報の評価軸である場合には、細胞の形態に基づいて、ユーザーは、目的の細胞をゲーティングすることができる。制御信号生成部105によって生成される制御信号に基づいて、フローサイトメーター20は、目的の細胞をソーティングすることができる。
つまり、学習結果出力装置10は、従来の細胞群からの散乱光又は蛍光強度だけではなく、学習結果LIに含まれる評価軸を軸にしたグラフに基づく、ゲーティング操作を検出することができる。また、学習結果出力装置10は、このゲーティング操作を検出することにより、選択された細胞群を分取する制御信号を生成することができる。
また、機械学習部102は、論理回路によって構成される判定器を備える。これにより、機械学習部102は、短い時間で測定対象を機械学習することができる。つまり、学習結果出力装置10は、短い時間で測定対象の様々な属性が含まれる判定結果LIを生成することができる。
なお、上述した説明では、機械学習部102は、サポートベクターマシンによって機械学習する構成について説明したが、これに限られない。機械学習部102は、機械学習結果として測定対象の属性の程度を表示データ生成部104に対して供給する構成であればよい。例えば、機械学習部102は、ランダムフォレストやニューラルネットワークなどによって機械学習する構成が挙げられる。また、機械学習部102は、対象に関する属性を出力する機械学習モデルであれば教師なしでも構わない。対象に関する属性を出力する機械学習モデルとは、例えば、主成分分析やオートエンコーダーなどが挙げられる。
なお、上述した説明では、学習結果出力装置10は、制御信号生成部105を備える構成について説明したが、制御信号生成部105は必須では無い。学習結果出力装置10は、制御信号生成部105を備えることにより、判定結果LIに含まれる評価軸に基づいて、フローサイトメーター20に対してソーティングの制御をすることができる。
なお、上述したフローサイトメーター20は、測定対象が光学系又は検出系に対して相対位置が変化する構成について説明したが、これに限られない。静止した測定対象に対して光学系又は検出系を移動させてもよい。
また、上述したフローサイトメーター20は、光信号の時系列信号を取得する構成について説明したが、これに限られない。フローサイトメーター20は、イメージングフローサイトメーターであってもよい。この場合には、イメージングフローサイトメーターとは、測定対象の像を、CCD(Charge Coupled Device)やCMOS(Complementary MOS;相補型MOS)、PMT(photomultiplier tube;光電子増倍管)などの撮像素子によって撮像するフローサイトメーターである。イメージングフローサイトメーターは、撮像した像を示す撮像画像を生成する。フローサイトメーター20は、この撮像画像を、学習結果出力装置10に対して信号情報として供給する。学習結果出力装置10は、この撮像画像に含まれる測定対象の像を機械学習部102が備える判定器によって判定することにより、判定結果LIを生成する。
なお、上述した図8に示すグラフの表現は一例であって、これに限られない。表示データ生成部104は、2つの軸をそれぞれ判定結果LIに基づく評価軸を軸にしたグラフ情報を生成すればよい。
以上、本発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。
なお、上述の学習結果出力装置10は内部にコンピュータを有している。そして、上述した装置の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD-ROM、DVD-ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
1…細胞測定システム、10…学習結果出力装置、20…フローサイトメーター、21…ソーティング部、11…表示部、12…操作部、101…信号取得部、102…機械学習部、103…操作検出部、104…表示データ生成部、105…制御信号生成部

Claims (6)

  1. 測定対象の形態情報に基づいて、前記測定対象の属性のうちの少なくとも一つの属性について機械学習により学習モデルを作成する機械学習部と、
    前記機械学習部が作成した前記学習モデルを用いて前記機械学習部が前記測定対象を前記形態情報に基づいて判定した判定結果について、前記判定の際における前記属性の程度を示す値である前記機械学習のスコアを少なくとも1つの評価軸としてグラフ情報を生成するグラフ情報生成部と
    を備える学習結果出力装置。
  2. 前記評価軸を選択する操作を検出する操作検出部を更に備え、
    前記グラフ情報生成部は、
    前記操作検出部が検出した操作によって選択された評価軸を軸にして前記グラフ情報を生成する
    請求項1に記載の学習結果出力装置。
  3. 前記操作検出部は、更に、
    前記グラフ情報生成部が生成する前記グラフ情報に基づいて、前記測定対象から選択測定対象をゲーティングする操作であるゲーティング操作を検出する
    請求項2に記載の学習結果出力装置。
  4. 前記操作検出部が検出する前記ゲーティング操作に基づいて、前記測定対象のソーティングに用いる制御信号を生成する制御信号生成部を更に備える
    請求項3に記載の学習結果出力装置。
  5. 前記形態情報が、構造化された照明パターンを有する光学系又は光特性が互いに異なる複数の領域を有する構造化された検出系のいずれか又は両方を用い、前記測定対象と、前記光学系と、前記検出系とのうちのいずれかの間の相対位置を変化させつつ、一又は少数画素検出素子によって検出された前記測定対象を示す光信号の時系列信号である
    請求項1から請求項4のいずれか一項に記載の学習結果出力装置。
  6. コンピュータに
    測定対象の形態情報に基づいて、前記測定対象の属性のうちの少なくとも一つの属性について機械学習を行ない学習モデルを作成する機械学習ステップと、
    前記機械学習ステップによって作成された学習モデルにより前記測定対象を前記形態情報に基づいて判定する判定ステップと、
    前期判定ステップによる判定の判定結果について前記属性の程度を示す値である前記機械学習のスコアを少なくとも1つの評価軸にして、グラフ情報を生成するグラフ情報生成ステップと、
    を実行させるための学習結果出力プログラム。
JP2019509964A 2017-03-29 2018-03-28 学習結果出力装置及び学習結果出力プログラム Active JP7173494B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022170844A JP7428994B2 (ja) 2017-03-29 2022-10-25 測定システム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017064387 2017-03-29
JP2017064387 2017-03-29
PCT/JP2018/012708 WO2018181458A1 (ja) 2017-03-29 2018-03-28 学習結果出力装置及び学習結果出力プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022170844A Division JP7428994B2 (ja) 2017-03-29 2022-10-25 測定システム

Publications (2)

Publication Number Publication Date
JPWO2018181458A1 JPWO2018181458A1 (ja) 2020-02-06
JP7173494B2 true JP7173494B2 (ja) 2022-11-16

Family

ID=63676280

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019509964A Active JP7173494B2 (ja) 2017-03-29 2018-03-28 学習結果出力装置及び学習結果出力プログラム
JP2022170844A Active JP7428994B2 (ja) 2017-03-29 2022-10-25 測定システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022170844A Active JP7428994B2 (ja) 2017-03-29 2022-10-25 測定システム

Country Status (5)

Country Link
US (1) US20200027020A1 (ja)
EP (1) EP3605406A4 (ja)
JP (2) JP7173494B2 (ja)
CN (1) CN110520876B (ja)
WO (1) WO2018181458A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6781987B2 (ja) 2017-02-17 2020-11-11 国立大学法人大阪大学 電磁波検出装置、フローサイトメーター、電磁波検出方法及び電磁波検出プログラム
US11307863B1 (en) 2018-10-08 2022-04-19 Nvidia Corporation Graphics processing unit systems for performing data analytics operations in data science
EP4027131A4 (en) * 2019-09-02 2023-10-04 H.U. Group Research Institute G.K. GRID REGION ESTIMATION PROGRAM, GRID REGION ESTIMATION DEVICE, AND LEARNING MODEL GENERATION METHOD
CN114761577A (zh) 2020-01-10 2022-07-15 新克赛特株式会社 新型细胞表型筛选方法
CN115335681A (zh) * 2020-03-25 2022-11-11 合同会社予幸集团中央研究所 门区推定程序、门区推定方法和门区推定装置
WO2021245779A1 (ja) * 2020-06-02 2021-12-09 日本電信電話株式会社 粒子選別装置、方法、プログラム、粒子選別データのデータ構造および学習済みモデル生成方法
JP7473185B2 (ja) 2020-07-06 2024-04-23 シンクサイト株式会社 フローサイトメータ、イメージング装置、位置検出方法、及びプログラム
US20230268032A1 (en) * 2020-07-31 2023-08-24 Hitachi High-Tech Corporation Method for generating trained model, method for determining base sequence of biomolecule, and biomolecule measurement device
US20230296492A1 (en) * 2020-08-13 2023-09-21 Sony Group Corporation Information processing apparatus, flow cytometer system, sorting system, and information processing method
KR102589666B1 (ko) * 2020-12-17 2023-10-13 가톨릭대학교 산학협력단 Dapi 염색 기반 세포 영상 분류를 위한 머신러닝 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006080314A1 (ja) 2005-01-26 2006-08-03 Osaka University 白血病浸潤精巣に由来する細胞集団から白血病細胞を除去する方法、及びそれに用いられる試薬キット
US20160169786A1 (en) 2014-12-10 2016-06-16 Neogenomics Laboratories, Inc. Automated flow cytometry analysis method and system
WO2016136801A1 (ja) 2015-02-24 2016-09-01 国立大学法人東京大学 動的高速高感度イメージング装置及びイメージング方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS54126604A (en) 1978-03-24 1979-10-02 Sumitomo Metal Ind Ltd Iron ore pellet
US6249341B1 (en) 1999-01-25 2001-06-19 Amnis Corporation Imaging and analyzing parameters of small moving objects such as cells
JP2007048172A (ja) * 2005-08-12 2007-02-22 Fuji Xerox Co Ltd 情報分類装置
JP4427074B2 (ja) * 2007-06-07 2010-03-03 株式会社日立製作所 プラントの制御装置
JP4985480B2 (ja) * 2008-03-05 2012-07-25 国立大学法人山口大学 がん細胞を分類する方法、がん細胞を分類するための装置及びがん細胞を分類するためのプログラム
JP2010092199A (ja) * 2008-10-07 2010-04-22 Sony Corp 情報処理装置および方法、プログラム、並びに記録媒体
US20160069919A1 (en) * 2011-09-25 2016-03-10 Theranos, Inc. Systems and methods for multi-analysis
US20150170053A1 (en) * 2013-12-13 2015-06-18 Microsoft Corporation Personalized machine learning models
CN103942415B (zh) * 2014-03-31 2017-10-31 中国人民解放军军事医学科学院卫生装备研究所 一种流式细胞仪数据自动分析方法
CN104200114B (zh) * 2014-09-10 2017-08-04 中国人民解放军军事医学科学院卫生装备研究所 流式细胞仪数据快速分析方法
JP6090286B2 (ja) * 2014-10-31 2017-03-08 カシオ計算機株式会社 機械学習装置、機械学習方法、分類装置、分類方法、プログラム
JP6321529B2 (ja) 2014-11-19 2018-05-09 日本電信電話株式会社 情報信憑性判定システム、情報信憑性判定方法、情報信憑性判定プログラム
JP6492880B2 (ja) * 2015-03-31 2019-04-03 日本電気株式会社 機械学習装置、機械学習方法、および機械学習プログラム
CN106295251A (zh) * 2015-05-25 2017-01-04 中国科学院青岛生物能源与过程研究所 基于单细胞表现型数据库的表型数据分析处理方法
CN106267241B (zh) * 2015-06-26 2019-10-22 重庆医科大学 一种多功能多模态肿瘤特异性靶向相变型纳米微球光声造影剂及其应用
CN106560827B (zh) 2015-09-30 2021-11-26 松下知识产权经营株式会社 控制方法
CN105181649B (zh) * 2015-10-09 2018-03-30 山东大学 一种新型免标记模式识别细胞仪方法
CN106097437B (zh) * 2016-06-14 2019-03-15 中国科学院自动化研究所 基于纯光学系统的生物自发光三维成像方法
CN106520535B (zh) * 2016-10-12 2019-01-01 山东大学 一种基于光片照明的免标记细胞检测装置及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006080314A1 (ja) 2005-01-26 2006-08-03 Osaka University 白血病浸潤精巣に由来する細胞集団から白血病細胞を除去する方法、及びそれに用いられる試薬キット
US20160169786A1 (en) 2014-12-10 2016-06-16 Neogenomics Laboratories, Inc. Automated flow cytometry analysis method and system
WO2016136801A1 (ja) 2015-02-24 2016-09-01 国立大学法人東京大学 動的高速高感度イメージング装置及びイメージング方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RAJWA, Bartek et al.,Automated Classification of Bacterial Particles in Flow by Multiangle Scatter Measurement and Suppor,Cytometry Part A,Vol.73A,2007年12月28日,pp.369-379

Also Published As

Publication number Publication date
WO2018181458A1 (ja) 2018-10-04
US20200027020A1 (en) 2020-01-23
JPWO2018181458A1 (ja) 2020-02-06
JP7428994B2 (ja) 2024-02-07
CN110520876A (zh) 2019-11-29
EP3605406A4 (en) 2021-01-20
EP3605406A1 (en) 2020-02-05
CN110520876B (zh) 2024-05-14
JP2023001164A (ja) 2023-01-04

Similar Documents

Publication Publication Date Title
JP7173494B2 (ja) 学習結果出力装置及び学習結果出力プログラム
US11861889B2 (en) Analysis device
CN104854620B (zh) 图像处理装置、图像处理系统和程序
CN108012553B (zh) 信息处理设备、信息处理方法和信息处理系统
US20150169082A1 (en) Method and Device for Filter-Processing Imaging Information of Emission Light Source
JP5986246B2 (ja) 光分布を利用する粒子画像生成デバイスにおける測定精度を向上するためのシステム及び方法
JP3581149B2 (ja) 境界ピクセル・パラメータの規則正しいシーケンスを用いた物体を識別するための方法及び装置
CN108350410A (zh) 分类器构成方法、以及用其进行的判定细胞生死的方法
WO2019229912A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム、及び顕微鏡
US20140126804A1 (en) Edge measurement video tool and interface including automatic parameter set alternatives
US10192306B2 (en) Cell recognition device, method, and program
US11321585B2 (en) Imaging device and morphological feature data display method
CN108447081A (zh) 视觉系统中对彩色图像中色彩候选姿态评分的系统和方法
JP2021002354A (ja) 表示制御装置、表示制御方法及び表示制御プログラム
JP5300516B2 (ja) 噴霧粒子撮像解析システムおよび解析方法
JP5780791B2 (ja) 細胞の追跡処理方法
US20220317020A1 (en) Flow cytometer performance evaluation method and standard particle suspension
JP2014224686A (ja) 微粒子検出装置および微粒子検出方法
JP2021021709A (ja) イメージングフローサイトメーター、ソート方法、及び、キャリブレーション方法
JP2018523967A (ja) 物体の時間的挙動を決定するための方法および装置
TWI767229B (zh) 外觀檢查管理系統、外觀檢查管理裝置、外觀檢查管理方法以及程式
JP7256125B2 (ja) 細胞分析方法及び装置
WO2023282026A1 (ja) データ生成方法、学習済みモデル生成方法、学習済みモデル、粒子分類方法、コンピュータプログラム及び情報処理装置
WO2023008526A1 (ja) 細胞画像解析方法
WO2023062831A1 (ja) フローサイトメータ、位置算出方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210217

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220325

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221026

R150 Certificate of patent or registration of utility model

Ref document number: 7173494

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150