JP6654271B2 - イメージングフローサイトメーター(ifc)から取得された画像を使用した、細胞画像のセグメンテーションおよび形態分析のための明視野と蛍光チャンネルの統合方法 - Google Patents
イメージングフローサイトメーター(ifc)から取得された画像を使用した、細胞画像のセグメンテーションおよび形態分析のための明視野と蛍光チャンネルの統合方法 Download PDFInfo
- Publication number
- JP6654271B2 JP6654271B2 JP2019516906A JP2019516906A JP6654271B2 JP 6654271 B2 JP6654271 B2 JP 6654271B2 JP 2019516906 A JP2019516906 A JP 2019516906A JP 2019516906 A JP2019516906 A JP 2019516906A JP 6654271 B2 JP6654271 B2 JP 6654271B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- cell
- images
- cells
- sperm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 44
- 238000000034 method Methods 0.000 title claims description 33
- 230000000877 morphologic effect Effects 0.000 title description 9
- 238000004458 analytical method Methods 0.000 title description 5
- 238000003709 image segmentation Methods 0.000 title description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 19
- 238000012958 reprocessing Methods 0.000 claims description 15
- 230000011218 segmentation Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 13
- 230000001086 cytosolic effect Effects 0.000 claims description 12
- 230000036512 infertility Effects 0.000 claims description 11
- 231100000535 infertility Toxicity 0.000 claims description 11
- 208000000509 infertility Diseases 0.000 claims description 11
- 230000036541 health Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 206010028980 Neoplasm Diseases 0.000 claims description 8
- 201000011510 cancer Diseases 0.000 claims description 8
- 230000001413 cellular effect Effects 0.000 claims description 8
- 239000003550 marker Substances 0.000 claims description 8
- 230000011514 reflex Effects 0.000 claims description 8
- 201000010099 disease Diseases 0.000 claims description 7
- 238000001228 spectrum Methods 0.000 claims description 7
- 238000002405 diagnostic procedure Methods 0.000 claims description 5
- 238000009877 rendering Methods 0.000 claims description 5
- 238000002073 fluorescence micrograph Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 2
- 210000004027 cell Anatomy 0.000 description 191
- 239000000523 sample Substances 0.000 description 27
- 230000000875 corresponding effect Effects 0.000 description 9
- 238000001514 detection method Methods 0.000 description 9
- 230000000644 propagated effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- XJMOSONTPMZWPB-UHFFFAOYSA-M propidium iodide Chemical compound [I-].[I-].C12=CC(N)=CC=C2C2=CC=C(N)C=C2[N+](CCC[N+](C)(CC)CC)=C1C1=CC=CC=C1 XJMOSONTPMZWPB-UHFFFAOYSA-M 0.000 description 8
- 238000000684 flow cytometry Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 230000005856 abnormality Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 230000003834 intracellular effect Effects 0.000 description 5
- 231100000527 sperm abnormality Toxicity 0.000 description 5
- 238000004163 cytometry Methods 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 230000008722 morphological abnormality Effects 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 241000282887 Suidae Species 0.000 description 3
- 241000282898 Sus scrofa Species 0.000 description 3
- 238000000701 chemical imaging Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 239000007850 fluorescent dye Substances 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000010186 staining Methods 0.000 description 3
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 2
- WSFSSNUMVMOOMR-UHFFFAOYSA-N Formaldehyde Chemical compound O=C WSFSSNUMVMOOMR-UHFFFAOYSA-N 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 210000003850 cellular structure Anatomy 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000035558 fertility Effects 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 102000004169 proteins and genes Human genes 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 241000206761 Bacillariophyta Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 210000000601 blood cell Anatomy 0.000 description 1
- 238000009534 blood test Methods 0.000 description 1
- 210000001124 body fluid Anatomy 0.000 description 1
- 238000000339 bright-field microscopy Methods 0.000 description 1
- 230000018486 cell cycle phase Effects 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 238000003776 cleavage reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 210000000805 cytoplasm Anatomy 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000013020 embryo development Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 231100000502 fertility decrease Toxicity 0.000 description 1
- 230000004720 fertilization Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 201000005787 hematologic cancer Diseases 0.000 description 1
- 208000024200 hematopoietic and lymphoid system neoplasm Diseases 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 244000144972 livestock Species 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004899 motility Effects 0.000 description 1
- 238000011527 multiparameter analysis Methods 0.000 description 1
- 229910052757 nitrogen Inorganic materials 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000007017 scission Effects 0.000 description 1
- 210000000582 semen Anatomy 0.000 description 1
- 230000021595 spermatogenesis Effects 0.000 description 1
- 238000007447 staining method Methods 0.000 description 1
- 239000010902 straw Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1429—Signal processing
- G01N15/1433—Signal processing using image recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Quality & Reliability (AREA)
- Chemical & Material Sciences (AREA)
- Immunology (AREA)
- Dispersion Chemistry (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Signal Processing (AREA)
- Pathology (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
- Image Analysis (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Description
(A)取得された複数画像のうちの1つを、コンポーネントへとセグメント化する。当該1つの画像が、サンプル細胞の形態を提供し、およびコンポーネントは、サンプル細胞の部分を提示する画像サブコンポーネントから形成される、
(B)(i)取得された複数画像のうちのその他の画像を、当該1つの画像からセグメント化されたコンポーネントに対応するコンポーネントへとセグメント化する。当該その他の画像は、当該1つの画像とは異なる、および互いに異なるイメージングモードの画像である。当該その他の画像からセグメント化されたコンポーネントは、当該1つの画像の画像サブコンポーネントのマスクとしての機能を果たす。(ii)当該セグメント化されたその他の画像により生成されたサブコンポーネントマスクを、当該1つの画像に空間的に関連づける。および当該1つの画像に対し、各細胞部分の最前面オブジェクトマーカーとして当該サブコンポーネントマスクを使用する。ならびに(iii)グラフィックカットセグメンテーションを、細胞部分の位置の正確性が増した当該1つの画像の改善画像データが生成されるように、当該1つの画像に適用させる、ことにより当該1つの画像における細胞部分の位置の正確性を改善する、および、
(C)(B)から得られ、相対的な位置でのコンポーネントマスクを含んで生成された改善画像データを有する当該1つの画像を再処理する。当該再処理は、当該1つの画像から細胞の形態を特定し、それにより、当該サンプル細胞の細胞型を分類する。出力ユニットは、分類エンジンから特定された細胞形態および/または細胞型分類の指標を表示させる。出力ユニットは、コンピュータディスプレイモニター、診断検査インジケーター、またはその他のデジタルレンダリングのうちのいずれかであってもよい。
(A)受け取った画像のうちの1つを、コンポーネントにセグメント化する。当該1つの画像が、サンプル細胞の形態を提供し、該コンポーネントは、サンプル細胞の部分を提示する画像サブコンポーネントから形成される、
(B)(i)受け取った画像のうちのその他のものを、当該1つの画像からセグメント化されたコンポーネントに対応するコンポーネントへとセグメント化する。当該その他の受け取った画像は、当該1つの画像とは異なる、互いに異なるイメージングモードの画像である。当該その他の受け取った画像からセグメント化されたコンポーネントは、当該1つの画像の画像サブコンポーネントのマスクとしての機能を果たす。(ii)当該セグメント化されたその他の受け取った画像により生成されたサブコンポーネントマスクを、当該1つの画像に空間的に関連づける。そして、当該1つの画像に対し、各細胞部分の最前面オブジェクトマーカーとして、当該サブコンポーネントマスクを使用する。ならびに(iii)グラフィックカットセグメンテーションを、細胞部分の位置の正確性が増した当該1つの画像の改善画像データが生成されるように、当該1つの画像に適用させることにより、当該1つの画像において、細胞部分の位置の正確性を改善する、および、
(C)(B)から得られ、相対的な位置でコンポーネントマスクを含んで生成された改善画像データを有する当該1つの画像を再処理する。
図4は、本発明を実装し得る、コンピュータネットワークまたは類似のデジタル処理環境を図示する。
((精子の採取および処理))
イノシシ(8〜26月齢)を本研究に使用した。精子サンプルを採取し、1%ホルマリンで固定した。生細胞の分析のために、液体窒素中で保存された凍結ストローを30秒間、37℃で溶解させ、10分間、PIでラベル付した。
精子サンプルを、Amnis(登録商標) ImageStreamX MkIIイメージングフローサイトメーターに流した。約5,000〜10,000個の明視野、側方散乱、ヨウ化プロピジウム(PI)の事象が、1秒当たりおよそ400オブジェクト、60xの倍率で取得された。
画像解析は、出願人の上述のシステムおよび分類エンジン107を含む方法の実施形態である、IDEAS(登録商標)(Amnis社)画像解析ソフトウェア中の新規の画像系アルゴリズムを使用して実行された。
((生細胞の特定))
PI染色を使用して精子の膜の完全性を評価し、生細胞と死細胞の割合を定量して、最も優れた受精能を有するオス親を選択した。
イノシシ精子における最も普遍的な異常のうちの1つは、細胞質小滴の存在である。この存在は、未成熟な精子の証拠であるか、または精子産生と、イノシシからの精子採取の間の同期性の欠落を示し得る。ヒトにおいては、近位小滴が、低張液における水侵入の主要部位である場合、および調節容量低下(RVD:regulatory volume decrease)の間の容量調節が発生できない場合、そのサイズは、メス生殖管への侵入に影響を与え得る。そのため、小滴の存在の特定は、不妊の診断に重要であり得る。
中片部および尾部の異常は概して、精子形成における欠陥で生じる。遠位中片部反射(DMR)または折れ曲がった尾部の発生は、精子において非運動性または異常な運動性を生じさせ得る。結果として、そのような異常の存在は多くの場合、低受胎と関連する。
精子頭部形態の異常は、受精率およびその後の胚発生の両方を損なう場合があり、卵割の失敗となり得る。
((統計))
表1は上記に詳述される本出願の分類エンジン107の実施形態による改善画像データにおいて、イノシシ精子の前述の形態特性が検出可能となったことを要約する。特に、出願人のシステム100の改善画像データは、画像中の細胞部分の位置の正確性を高め、例えば表1に示されるように当該画像中の複雑な細胞形態の検出を可能とした。
本研究は、精子の形態と精子の健常性の間の直接的な相関の存在を示した。現在、形態の完全解析は顕微鏡で行われているが、時間がかかり、熟練したスタッフが必要となる場合がある。Amnis(登録商標)ImageStreamX MkIIイメージングフローサイトメーターの能力を使用して、高い解像度および速度で画像を取得し、IDEASソフトウェア(分類エンジン107)において形態パラメーターを取得することで、蛍光染色の使用を最小限としながら、イノシシ精子において最も普遍的にみられる異常性の特定において高い特異性と感度を示すことに成功した。
なお、本発明は、実施の態様として以下の内容を含む。
〔態様1〕
コンピュータにより自動化された細胞分類システムであって、
サンプル細胞の多重スペクトルの複数の画像を取得するイメージングフローサイトメーターであって、前記複数の画像が、複数のイメージングモードで同時に取得され、これら複数の画像の各々が、互いに空間的に揃って並べられる、イメージングフローサイトメーターと、
コンピュータプロセッサにより実行され、取得された前記多重スペクトルの複数の画像を受け取るように接続された分類エンジンであって、
(A)取得された前記複数画像のうちの1つを、コンポーネントにセグメント化することであって、当該1つの画像が、前記サンプル細胞の形態を提供し、前記コンポーネントは、前記サンプル細胞の要素を提示する画像サブコンポーネントから形成される、セグメント化すること、
(B)(i)取得された前記複数画像のうちのその他の画像を、前記1つの画像からセグメント化されたコンポーネントに対応するコンポーネントにセグメント化することであって、前記その他の画像は、前記1つの画像とは異なり、かつ互いに異なるイメージングモードの画像であり、前記その他の画像からセグメント化された前記コンポーネントは、前記1つの画像の画像サブコンポーネントのマスクとしての機能を果たす、セグメント化することにより、かつ、(ii)セグメント化された前記その他の画像により生成された前記サブコンポーネントマスクを、前記1つの画像に空間的に関連づけ、かつ、前記1つの画像に対して、細胞要素ごとの最前面オブジェクトマーカーとして前記サブコンポーネントマスクを使用することにより、かつ、(iii)グラフィックカットセグメンテーションを、細胞要素の位置の正確性が増した前記1つの画像の改善画像データが生成されるように、前記1つの画像に適用させることにより、前記1つの画像において細胞要素の位置の正確性を改善すること、および、
(C)前記(B)から得られ、かつ、相対的な位置でのコンポーネントマスクを含んで生成された前記改善画像データを有する前記1つの画像を再処理することであって、前記1つの画像から細胞形態を特定し、これにより、前記サンプル細胞の細胞型を分類する再処理することを実行する分類エンジンと、
前記分類エンジンから、特定された前記細胞形態および/または前記細胞型の分類の指標を提供する出力ユニットとを備える、細胞分類システム。
〔態様2〕
前記1つの画像が明視野画像であり、前記その他の画像が、互いに異なる蛍光チャンネルの蛍光画像である、態様1に記載の細胞分類システム。
〔態様3〕
前記明視野画像における細胞要素の位置の正確性の改善の前記工程(B)が、前記互いに異なる蛍光画像の各々に対して、前記(i)〜(iii)を反復して適用する、態様2に記載の細胞分類システム。
〔態様4〕
前記分類エンジンが、疾患または健康上の障害の指標となる細胞であって、障害を有する精子細胞、鎌状細胞、および癌細胞を含む細胞のいずれか1種以上を含む細胞型を分類する、態様1に記載の細胞分類システム。
〔態様5〕
前記出力ユニットが、コンピュータディスプレイモニターおよび診断検査インジケーターを含む任意のデジタルレンダリングである、態様1に記載の細胞分類システム。
〔態様6〕
前記分類エンジンが、正常に機能しない精子細胞を分類し、前記出力ユニットが、不妊の指標を提供する診断インジケーターである、態様1に記載の細胞分類システム。
〔態様7〕
前記分類エンジンが、細胞質小滴の存在、遠位中片部反射(DMR)の発生、および精子頭部の形状のうちの1種以上を自動的に特定することにより、正常に機能しない精子細胞を分類する、態様6に記載の細胞分類システム。
〔態様8〕
細胞の形態を特定し、かつ、細胞型を分類する、コンピュータに基づいた診断ツールであって、
サンプル細胞の複数の多重スペクトル画像のソースへのアクセスを提供する入力アセンブリであって、前記複数の多重スペクトル画像は、イメージングフローサイトメーターにより同時に取得され、前記複数の画像は互いに空間的に揃って並べられている、入力アセンブリ、および、
前記入力アセンブリに通信可能に接続され、かつ、前記複数の多重スペクトル画像を受け取る分類エンジンであって、前記分類エンジンはコンピュータプロセッサにより実行され、かつ、
(A)受け取った前記画像のうちの1つを、コンポーネントにセグメント化することであって、当該1つの画像が、前記サンプル細胞の形態を提供し、前記コンポーネントは、前記サンプル細胞の要素を提示する画像サブコンポーネントから形成される、セグメント化すること、
(B)(i)受け取った前記画像のうちのその他の画像を、前記1つの画像からセグメント化されたコンポーネントに対応するコンポーネントへとセグメント化することであって、受け取った前記その他の画像は、前記1つの画像とは異なり、かつ互いに異なるイメージングモードの画像であり、受け取った前記その他の画像からセグメント化された前記コンポーネントは、前記1つの画像の画像サブコンポーネントのマスクとしての機能を果たす、セグメント化することにより、かつ、(ii)セグメント化された前記受け取ったその他の画像により生成された前記サブコンポーネントマスクを、前記1つの画像に空間的に関連づけ、かつ、前記1つの画像に対して、細胞要素ごとの最前面オブジェクトマーカーとして前記サブコンポーネントマスクを使用することにより、かつ、(iii)グラフィックカットセグメンテーションを、細胞要素の位置の正確性が増した前記1つの画像の改善画像データが生成されるように、前記1つの画像に適用させることにより、前記1つの画像において細胞要素の位置の正確性を改善すること、および、
(C)前記(B)から得られ、かつ、相対的な位置でのコンポーネントマスクを含んで生成された前記改善画像データを有する前記1つの画像を再処理することであって、前記1つの画像から細胞形態を特定し、これにより、前記サンプル細胞の細胞型を分類する再処理することにより、前記受け取った画像を処理する分類エンジンとを備え、
前記分類エンジンが、特定された前記細胞形態および/または前記細胞型の分類の出力指標を提供する、診断ツール。
〔態様9〕
前記1つの画像が明視野画像であり、受け取った前記その他の画像が、互いに異なる蛍光チャンネルの蛍光画像である、態様8に記載の診断ツール。
〔態様10〕
前記明視野画像における細胞要素の位置の正確性の改善の前記工程(B)が、前記互いに異なる蛍光画像に対して、前記(i)〜(iii)を反復して適用する、態様9に記載の診断ツール。
〔態様11〕
前記分類エンジンは、正常に機能しない精子細胞を分類し、不妊の出力指標を提供する、態様8に記載の診断ツール。
〔態様12〕
前記分類エンジンが、細胞質小滴の存在、遠位中片部反射(DMR)の発生、および精子頭部の形状のうちの1種以上の自動的な特定を可能にすることにより、正常に機能しない精子細胞を分類する、態様11に記載の診断ツール。
〔態様13〕
細胞の形態を特定し、かつ、細胞型を分類する、コンピュータに実装された方法であって、
イメージングフローサイトメーターを使用して、サンプル細胞の多重スペクトルの複数の画像を取得する過程であって、前記複数の画像が、複数のイメージングモードで同時に取得され、これら複数の画像の各々が、互いに空間的に揃って並べられる、取得する過程と、
デジタルプロセッサにおいて、
(A)取得された前記複数画像のうちの1つを、コンポーネントにセグメント化することであって、前記1つの画像が、前記サンプル細胞の形態を提供し、前記コンポーネントは、前記サンプル細胞の要素を提示する画像サブコンポーネントから形成される、セグメント化すること、
(B)(i)取得された前記複数画像のうちのその他の画像を、前記1つの画像からセグメント化されたコンポーネントに対応するコンポーネントにセグメント化することであって、前記その他の画像は、前記1つの画像とは異なり、かつ互いに異なるイメージングモードの画像であり、前記その他の画像からセグメント化された前記コンポーネントは、前記1つの画像の画像サブコンポーネントのマスクとしての機能を果たす、セグメント化することにより、かつ、(ii)セグメント化された前記その他の画像により生成された前記サブコンポーネントマスクを、前記1つの画像に空間的に関連づけ、かつ、前記1つの画像に対して、細胞要素ごとの最前面オブジェクトマーカーとして前記サブコンポーネントマスクを使用することにより、かつ、(iii)グラフィックカットセグメンテーションを、細胞要素の位置の正確性が増した前記1つの画像の改善画像データが生成されるように、前記1つの画像に適用させることにより、前記1つの画像において細胞要素の位置の正確性を改善すること、および、
(C)前記(B)から得られ、かつ、相対的な位置でのコンポーネントマスクを含んで生成された前記改善画像データを有する前記1つの画像を再処理することであって、前記1つの画像から細胞形態を特定し、これにより、前記サンプル細胞の細胞型を分類する再処理することにより、前記取得された多重スペクトルの複数画像を応答的に処理する過程と、
特定された前記細胞形態および/または前記細胞型の分類の指標を出力する過程とを含む、方法。
〔態様14〕
前記1つの画像が明視野画像であり、前記その他の画像が、互いに異なる蛍光チャンネルの蛍光画像である、態様13に記載の方法。
〔態様15〕
前記明視野画像における細胞要素の位置の正確性の改善の前記工程(B)が、前記互いに異なる蛍光画像の各々に対して、前記(i)〜(iii)を反復して適用する、態様14に記載の方法。
〔態様16〕
前記再処理することが、疾患または健康上の障害の指標となる細胞であって、障害を有する精子細胞、鎌状細胞、および癌細胞を含む細胞のいずれか1種以上を含む細胞型を分類する、態様13に記載の方法。
〔態様17〕
前記出力指標が、診断検査結果のインジケーターを含む任意のデジタルレンダリングである、態様13に記載の方法。
〔態様18〕
前記応答的に処理する過程が、正常に機能しない精子細胞を分類することを含み、
前記出力する過程が、不妊の指標を提供する、態様13に記載の方法。
〔態様19〕
前記正常に機能しない精子細胞を分類することが、細胞質小滴の存在、遠位中片部反射(DMR)の発生、および精子頭部の形状のうちの1種以上の前記デジタルプロセッサによる自動的特定を含む、態様18に記載の方法。
Claims (19)
- コンピュータにより自動化された細胞分類システムであって、
サンプル細胞の多重スペクトルの複数の画像を取得するイメージングフローサイトメーターであって、前記複数の画像が、複数のイメージングモードで同時に取得され、これら複数の画像の各々が、互いに空間的に揃って並べられる、イメージングフローサイトメーターと、
コンピュータプロセッサにより実行され、取得された前記多重スペクトルの複数の画像を受け取るように接続された分類エンジンであって、
(A)取得された前記複数画像のうちの1つを、コンポーネントにセグメント化することであって、当該1つの画像が、前記サンプル細胞の形態を提供し、前記コンポーネントは、前記サンプル細胞の要素を提示する画像サブコンポーネントから形成される、セグメント化すること、
(B)(i)取得された前記複数画像のうちのその他の画像を、前記1つの画像からセグメント化されたコンポーネントに対応するコンポーネントにセグメント化することであって、前記その他の画像は、前記1つの画像とは異なり、かつ互いに異なるイメージングモードの画像であり、前記その他の画像からセグメント化された前記コンポーネントは、前記1つの画像の画像サブコンポーネントのマスクとしての機能を果たす、セグメント化することにより、かつ、(ii)セグメント化された前記その他の画像により生成された前記サブコンポーネントマスクを、前記1つの画像に空間的に関連づけ、かつ、前記1つの画像に対して、細胞要素ごとの最前面オブジェクトマーカーとして前記サブコンポーネントマスクを使用することにより、かつ、(iii)グラフィックカットセグメンテーションを、細胞要素の位置の正確性が増した前記1つの画像の改善画像データが生成されるように、前記1つの画像に適用させることにより、前記1つの画像において細胞要素の位置の正確性を改善すること、および、
(C)前記(B)から得られ、かつ、相対的な位置でのコンポーネントマスクを含んで生成された前記改善画像データを有する前記1つの画像を再処理することであって、前記1つの画像から細胞形態を特定し、これにより、前記サンプル細胞の細胞型を分類する再処理することを実行する分類エンジンと、
前記分類エンジンから、特定された前記細胞形態および/または前記細胞型の分類の指標を提供する出力ユニットとを備える、細胞分類システム。 - 前記1つの画像が明視野画像であり、前記その他の画像が、互いに異なる蛍光チャンネルの蛍光画像である、請求項1に記載の細胞分類システム。
- 前記明視野画像における細胞要素の位置の正確性の改善の前記工程(B)が、前記互いに異なる蛍光画像の各々に対して、前記(i)〜(iii)を反復して適用する、請求項2に記載の細胞分類システム。
- 前記分類エンジンが、疾患または健康上の障害の指標となる細胞であって、障害を有する精子細胞、鎌状細胞、および癌細胞を含む細胞のいずれか1種以上を含む細胞型を分類する、請求項1に記載の細胞分類システム。
- 前記出力ユニットが、コンピュータディスプレイモニターおよび診断検査インジケーターを含む任意のデジタルレンダリングである、請求項1に記載の細胞分類システム。
- 前記分類エンジンが、正常に機能しない精子細胞を分類し、前記出力ユニットが、不妊の指標を提供する診断インジケーターである、請求項1に記載の細胞分類システム。
- 前記分類エンジンが、細胞質小滴の存在、遠位中片部反射(DMR)の発生、および精子頭部の形状のうちの1種以上を自動的に特定することにより、正常に機能しない精子細胞を分類する、請求項6に記載の細胞分類システム。
- 細胞の形態を特定し、かつ、細胞型を分類する、コンピュータに基づいた診断ツールであって、
サンプル細胞の複数の多重スペクトル画像のソースへのアクセスを提供する入力アセンブリであって、前記複数の多重スペクトル画像は、イメージングフローサイトメーターにより同時に取得され、前記複数の画像は互いに空間的に揃って並べられている、入力アセンブリ、および、
前記入力アセンブリに通信可能に接続され、かつ、前記複数の多重スペクトル画像を受け取る分類エンジンであって、前記分類エンジンはコンピュータプロセッサにより実行され、かつ、
(A)受け取った前記画像のうちの1つを、コンポーネントにセグメント化することであって、当該1つの画像が、前記サンプル細胞の形態を提供し、前記コンポーネントは、前記サンプル細胞の要素を提示する画像サブコンポーネントから形成される、セグメント化すること、
(B)(i)受け取った前記画像のうちのその他の画像を、前記1つの画像からセグメント化されたコンポーネントに対応するコンポーネントへとセグメント化することであって、受け取った前記その他の画像は、前記1つの画像とは異なり、かつ互いに異なるイメージングモードの画像であり、受け取った前記その他の画像からセグメント化された前記コンポーネントは、前記1つの画像の画像サブコンポーネントのマスクとしての機能を果たす、セグメント化することにより、かつ、(ii)セグメント化された前記受け取ったその他の画像により生成された前記サブコンポーネントマスクを、前記1つの画像に空間的に関連づけ、かつ、前記1つの画像に対して、細胞要素ごとの最前面オブジェクトマーカーとして前記サブコンポーネントマスクを使用することにより、かつ、(iii)グラフィックカットセグメンテーションを、細胞要素の位置の正確性が増した前記1つの画像の改善画像データが生成されるように、前記1つの画像に適用させることにより、前記1つの画像において細胞要素の位置の正確性を改善すること、および、
(C)前記(B)から得られ、かつ、相対的な位置でのコンポーネントマスクを含んで生成された前記改善画像データを有する前記1つの画像を再処理することであって、前記1つの画像から細胞形態を特定し、これにより、前記サンプル細胞の細胞型を分類する再処理することにより、前記受け取った画像を処理する分類エンジンとを備え、
前記分類エンジンが、特定された前記細胞形態および/または前記細胞型の分類の出力指標を提供する、診断ツール。 - 前記1つの画像が明視野画像であり、受け取った前記その他の画像が、互いに異なる蛍光チャンネルの蛍光画像である、請求項8に記載の診断ツール。
- 前記明視野画像における細胞要素の位置の正確性の改善の前記工程(B)が、前記互いに異なる蛍光画像に対して、前記(i)〜(iii)を反復して適用する、請求項9に記載の診断ツール。
- 前記分類エンジンは、正常に機能しない精子細胞を分類し、不妊の出力指標を提供する、請求項8に記載の診断ツール。
- 前記分類エンジンが、細胞質小滴の存在、遠位中片部反射(DMR)の発生、および精子頭部の形状のうちの1種以上の自動的な特定を可能にすることにより、正常に機能しない精子細胞を分類する、請求項11に記載の診断ツール。
- 細胞の形態を特定し、かつ、細胞型を分類する、コンピュータに実装された方法であって、
イメージングフローサイトメーターを使用して、サンプル細胞の多重スペクトルの複数の画像を取得する過程であって、前記複数の画像が、複数のイメージングモードで同時に取得され、これら複数の画像の各々が、互いに空間的に揃って並べられる、取得する過程と、
デジタルプロセッサにおいて、
(A)取得された前記複数画像のうちの1つを、コンポーネントにセグメント化することであって、前記1つの画像が、前記サンプル細胞の形態を提供し、前記コンポーネントは、前記サンプル細胞の要素を提示する画像サブコンポーネントから形成される、セグメント化すること、
(B)(i)取得された前記複数画像のうちのその他の画像を、前記1つの画像からセグメント化されたコンポーネントに対応するコンポーネントにセグメント化することであって、前記その他の画像は、前記1つの画像とは異なり、かつ互いに異なるイメージングモードの画像であり、前記その他の画像からセグメント化された前記コンポーネントは、前記1つの画像の画像サブコンポーネントのマスクとしての機能を果たす、セグメント化することにより、かつ、(ii)セグメント化された前記その他の画像により生成された前記サブコンポーネントマスクを、前記1つの画像に空間的に関連づけ、かつ、前記1つの画像に対して、細胞要素ごとの最前面オブジェクトマーカーとして前記サブコンポーネントマスクを使用することにより、かつ、(iii)グラフィックカットセグメンテーションを、細胞要素の位置の正確性が増した前記1つの画像の改善画像データが生成されるように、前記1つの画像に適用させることにより、前記1つの画像において細胞要素の位置の正確性を改善すること、および、
(C)前記(B)から得られ、かつ、相対的な位置でのコンポーネントマスクを含んで生成された前記改善画像データを有する前記1つの画像を再処理することであって、前記1つの画像から細胞形態を特定し、これにより、前記サンプル細胞の細胞型を分類する再処理することにより、前記取得された多重スペクトルの複数画像を応答的に処理する過程と、
特定された前記細胞形態および/または前記細胞型の分類の指標を出力する過程とを含む、方法。 - 前記1つの画像が明視野画像であり、前記その他の画像が、互いに異なる蛍光チャンネルの蛍光画像である、請求項13に記載の方法。
- 前記明視野画像における細胞要素の位置の正確性の改善の前記工程(B)が、前記互いに異なる蛍光画像の各々に対して、前記(i)〜(iii)を反復して適用する、請求項14に記載の方法。
- 前記再処理することが、疾患または健康上の障害の指標となる細胞であって、障害を有する精子細胞、鎌状細胞、および癌細胞を含む細胞のいずれか1種以上を含む細胞型を分類する、請求項13に記載の方法。
- 前記出力指標が、診断検査結果のインジケーターを含む任意のデジタルレンダリングである、請求項13に記載の方法。
- 前記応答的に処理する過程が、正常に機能しない精子細胞を分類することを含み、
前記出力する過程が、不妊の指標を提供する、請求項13に記載の方法。 - 前記正常に機能しない精子細胞を分類することが、細胞質小滴の存在、遠位中片部反射(DMR)の発生、および精子頭部の形状のうちの1種以上の前記デジタルプロセッサによる自動的特定を含む、請求項18に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662348356P | 2016-06-10 | 2016-06-10 | |
US62/348,356 | 2016-06-10 | ||
PCT/US2017/035922 WO2017214023A1 (en) | 2016-06-10 | 2017-06-05 | A method to combine brightfield and fluorescent channels for cell image segmentation and morphological analysis using images obtained from imaging flow cytometer (ifc) |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019525199A JP2019525199A (ja) | 2019-09-05 |
JP6654271B2 true JP6654271B2 (ja) | 2020-02-26 |
Family
ID=59054326
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019516906A Active JP6654271B2 (ja) | 2016-06-10 | 2017-06-05 | イメージングフローサイトメーター(ifc)から取得された画像を使用した、細胞画像のセグメンテーションおよび形態分析のための明視野と蛍光チャンネルの統合方法 |
Country Status (4)
Country | Link |
---|---|
US (2) | US10846509B2 (ja) |
EP (1) | EP3455789A1 (ja) |
JP (1) | JP6654271B2 (ja) |
WO (1) | WO2017214023A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017214023A1 (en) * | 2016-06-10 | 2017-12-14 | Amnis Corporation | A method to combine brightfield and fluorescent channels for cell image segmentation and morphological analysis using images obtained from imaging flow cytometer (ifc) |
DE102017107348B4 (de) | 2017-04-05 | 2019-03-14 | Olympus Soft Imaging Solutions Gmbh | Verfahren zur zytometrischen Analyse von Zellproben |
JP7125936B2 (ja) | 2017-07-11 | 2022-08-25 | 浜松ホトニクス株式会社 | 試料観察装置及び試料観察方法 |
US11926809B2 (en) | 2018-09-28 | 2024-03-12 | Brigham And Women's Hospital, Inc. | Automated evaluation of sperm morphology |
CN109493343A (zh) * | 2018-12-29 | 2019-03-19 | 上海鹰瞳医疗科技有限公司 | 医疗图像异常区域分割方法及设备 |
US20220074844A1 (en) * | 2019-05-30 | 2022-03-10 | Hewlett-Packard Development Company, L.P. | Particle imaging |
CN115004260A (zh) * | 2019-11-18 | 2022-09-02 | 10X基因组学有限公司 | 用于组织分类的系统和方法 |
JP2021083431A (ja) * | 2019-11-29 | 2021-06-03 | シスメックス株式会社 | 細胞解析方法、細胞解析装置、細胞解析システム、及び細胞解析プログラム |
CN111104894B (zh) * | 2019-12-17 | 2021-01-12 | 推想医疗科技股份有限公司 | 一种精子标注方法、装置、电子设备及存储介质 |
CN113222969B (zh) * | 2021-05-28 | 2024-05-14 | 大连海事大学 | 一种基于双向背景差分法的成像流式细胞粘连计数与活性检测方法、装置 |
CN215737362U (zh) * | 2021-09-23 | 2022-02-08 | 广东鸿源电器科技有限公司 | 一种电夹板 |
FR3144286A1 (fr) * | 2022-12-27 | 2024-06-28 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Dispositif et procédé d’observation d’une fluorescence ou d’une luminescence d’une particule mobile |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6259807B1 (en) * | 1997-05-14 | 2001-07-10 | Applied Imaging Corp. | Identification of objects of interest using multiple illumination schemes and finding overlap of features in corresponding multiple images |
US7450229B2 (en) * | 1999-01-25 | 2008-11-11 | Amnis Corporation | Methods for analyzing inter-cellular phenomena |
US8406498B2 (en) * | 1999-01-25 | 2013-03-26 | Amnis Corporation | Blood and cell analysis using an imaging flow cytometer |
EP1844426A4 (en) * | 2005-02-01 | 2016-09-07 | Amnis Corp | BLOOD ANALYSIS BY MEANS OF FLOW IMAGING CYTOMETER |
US8189884B2 (en) * | 2008-03-26 | 2012-05-29 | General Electric Company | Methods for assessing molecular expression of subcellular molecules |
US8744164B2 (en) * | 2010-04-06 | 2014-06-03 | Institute For Systems Biology | Automated analysis of images using bright field microscopy |
ES2711196T3 (es) * | 2010-07-30 | 2019-04-30 | Fund D Anna Sommer Champalimaud E Dr Carlos Montez Champalimaud | Sistemas y procedimientos para la segmentación y el procesamiento de imágenes de tejidos y extracción de características de estos para tratar, diagnosticar o predecir afecciones médicas |
CA2867359A1 (en) | 2012-03-30 | 2013-10-03 | Clarient Diagnostic Services, Inc. | Methods for generating an image of a biological sample |
US9135694B2 (en) | 2012-12-04 | 2015-09-15 | General Electric Company | Systems and methods for using an immunostaining mask to selectively refine ISH analysis results |
WO2014117108A1 (en) * | 2013-01-25 | 2014-07-31 | Duke University | Segmentation and identification of closed-contour features in images using graph theory and quasi-polar transform |
CA2920492C (en) | 2013-09-30 | 2019-08-13 | Ventana Medical Systems, Inc. | Systems and methods for adaptive histopathology image unmixing |
US9858469B2 (en) | 2013-12-30 | 2018-01-02 | Ge Healthcare Bio-Sciences Corp. | Modular image analysis system and method |
CA2935473C (en) * | 2014-02-21 | 2022-10-11 | Ventana Medical Systems, Inc. | Medical image analysis for identifying biomarker-positive tumor cells |
CN104266955A (zh) * | 2014-09-02 | 2015-01-07 | 上海凯度机电科技有限公司 | 高内涵图像流式生物显微分析系统 |
WO2016172612A1 (en) | 2015-04-23 | 2016-10-27 | Cedars-Sinai Medical Center | Automated delineation of nuclei for three dimensional (3-d) high content screening |
WO2017214023A1 (en) * | 2016-06-10 | 2017-12-14 | Amnis Corporation | A method to combine brightfield and fluorescent channels for cell image segmentation and morphological analysis using images obtained from imaging flow cytometer (ifc) |
-
2017
- 2017-06-05 WO PCT/US2017/035922 patent/WO2017214023A1/en unknown
- 2017-06-05 EP EP17729729.8A patent/EP3455789A1/en active Pending
- 2017-06-05 US US16/097,568 patent/US10846509B2/en active Active
- 2017-06-05 JP JP2019516906A patent/JP6654271B2/ja active Active
-
2020
- 2020-10-21 US US17/076,008 patent/US11972620B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10846509B2 (en) | 2020-11-24 |
US20210034839A1 (en) | 2021-02-04 |
WO2017214023A1 (en) | 2017-12-14 |
JP2019525199A (ja) | 2019-09-05 |
US20190163956A1 (en) | 2019-05-30 |
US11972620B2 (en) | 2024-04-30 |
EP3455789A1 (en) | 2019-03-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6654271B2 (ja) | イメージングフローサイトメーター(ifc)から取得された画像を使用した、細胞画像のセグメンテーションおよび形態分析のための明視野と蛍光チャンネルの統合方法 | |
US20210303818A1 (en) | Systems And Methods For Applying Machine Learning to Analyze Microcopy Images in High-Throughput Systems | |
Tomari et al. | Computer aided system for red blood cell classification in blood smear image | |
JP5425814B2 (ja) | サポートベクタマシンを用いてフローサイトメトリーデータを分析するための方法及びシステム | |
US20090081775A1 (en) | Microscope system and screening method for drugs, physical therapies and biohazards | |
US20220351379A1 (en) | Non-tumor segmentation to support tumor detection and analysis | |
JP2018505392A (ja) | 自動化されたフローサイトメトリ分析方法及びシステム | |
WO2005080944A1 (en) | Analysis of cell morphology and motility | |
JP2007020449A (ja) | スクリーニング方法およびスクリーニング装置 | |
US20240079116A1 (en) | Automated segmentation of artifacts in histopathology images | |
JP2022547722A (ja) | 細胞検出およびセグメンテーションのための弱教師ありマルチタスク学習 | |
US20180040120A1 (en) | Methods for quantitative assessment of mononuclear cells in muscle tissue sections | |
EP3757872A1 (en) | Scanning/pre-scanning quality control of slides | |
EP3244191A1 (en) | Method and system for characterizing particles using a flow cytometer | |
Zhao et al. | A survey of semen quality evaluation in microscopic videos using computer assisted sperm analysis | |
Şavkay et al. | Sperm motility analysis system implemented on a hybrid architecture to produce an intelligent analyzer | |
Hasikin et al. | A new region-based adaptive thresholding for sperm motility segmentation | |
Ganapathy | Cancer detection using deep neural network differentiation of squamous carcinoma cells in oral pathology | |
Del Bimbo et al. | Accurate evaluation of HER-2 amplification in FISH images | |
Sergeev et al. | Development of automated computer vision methods for cell counting and endometrial gland detection for medical images processing | |
Malviya et al. | Computer assisted cervical cytological nucleus localization | |
CN116912155A (zh) | 一种准确测量活精子形态的方法 | |
EP4238072A1 (en) | A method for automated determination of platelet count based on microscopic images of peripheral blood smears | |
JP2021162323A (ja) | 疾患鑑別支援方法、疾患鑑別支援装置、及び疾患鑑別支援コンピュータプログラム | |
CN114445680A (zh) | 用于胸腹水细胞分类模型的训练方法和乳腺癌预测的系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181221 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181221 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20190830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20190830 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200129 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6654271 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |