JP7449420B2 - 循環異常細胞を検出する方法及び装置 - Google Patents

循環異常細胞を検出する方法及び装置 Download PDF

Info

Publication number
JP7449420B2
JP7449420B2 JP2022580447A JP2022580447A JP7449420B2 JP 7449420 B2 JP7449420 B2 JP 7449420B2 JP 2022580447 A JP2022580447 A JP 2022580447A JP 2022580447 A JP2022580447 A JP 2022580447A JP 7449420 B2 JP7449420 B2 JP 7449420B2
Authority
JP
Japan
Prior art keywords
image
labeled
cell
feature image
cell nucleus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022580447A
Other languages
English (en)
Other versions
JP2023532483A (ja
Inventor
シェンチュン ファン
シンチエ ラン
シェン イェ
イー チャン
コンシャン リー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Hengqin Sanmed Aitech Inc
Zhuhai Sanmed Biotech Ltd
Original Assignee
Zhuhai Hengqin Sanmed Aitech Inc
Zhuhai Sanmed Biotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Hengqin Sanmed Aitech Inc, Zhuhai Sanmed Biotech Ltd filed Critical Zhuhai Hengqin Sanmed Aitech Inc
Publication of JP2023532483A publication Critical patent/JP2023532483A/ja
Application granted granted Critical
Publication of JP7449420B2 publication Critical patent/JP7449420B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/68—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving nucleic acids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Image Analysis (AREA)

Description

関連出願の相互参照
本開示は、２０２０年６月２３日に中国特許庁に出願された、出願番号が２０２０１０５８５１４５．８で、発明の名称が「循環異常細胞を検出する方法及び装置」である中国特許出願の優先権を主張し、その内容全体は援用により本開示に組み込まれる。
本開示は、細胞検出の技術分野に関し、具体的には、循環異常細胞（Ｃｉｒｃｕｌａｔｉｎｇ Ａｂｎｏｒｍａｌ Ｃｅｌｌｓ、ＣＡＣｓ）を検出する方法及び装置に関する。
循環腫瘍細胞（Ｃｉｒｃｕｌａｔｉｎｇ Ｔｕｍｏｒ Ｃｅｌｌｓ、ＣＴＣｓ）は、腫瘍転移中に原発腫瘍から脱落し、離れた臓器部位で二次腫瘍を形成する細胞である。多くの研究によると、血液中のＣＴＣｓの数により、疾患の進行を予測し、化学療法薬物に対する腫瘍の反応を表すことができる。このため、一定量の末梢血を採取し、末梢血からＣＴＣｓを検出し、血液中のＣＴＣｓの含有量の変化を監視することにより、腫瘍の発病過程を解析し、患者の予後を評価し、患者が治療を受けた後の臨床状態の改善状況及び薬剤耐性状況等を把握することができる。
近年、非小細胞肺癌（Ｎｏｎ Ｓｍａｌｌ Ｃｅｌｌ Ｌｕｎｇ Ｃａｎｃｅｒ、ＮＳＣＬＣ）患者の末梢血中に循環遺伝子異常細胞（Ｃｉｒｃｕｌａｔｉｎｇ ｇｅｎｅｔｉｃａｌｌｙ ａｂｎｏｒｍａｌ ｃｅｌｌｓ、ＣＡＣｓ）が検出されたことが報告されている。これは、肺癌の発生、進行および転移に関与すると考えられている細胞であり、腫瘍から脱落して末梢血循環系に入るＣＴＣｓを含む。末梢血中のＣＡＣｓを検出することで、腫瘍の存在をより早期に予測することができる。この方法は、広い応用の将来性があることは間違いない。
現在、ＣＡＣｓを検出する方法では、末梢血の暗視野（Ｄａｒｋ Ｆｉｅｌｄ、ＤＦ）顕微鏡画像を収集し、ＣＡＣｓの形態学的情報、例えば形状及び／又は大きさに基づいて、人間の関与により、ＤＦ顕微鏡画像におけるＣＡＣｓに対してラベリングを行い、ラベリングされたＣＡＣｓをカウントし、カウント結果に基づいて血液におけるＣＡＣｓの含有量を特定する。しかし、このＣＡＣｓを検出する方法では、ＣＡＣｓの形態学的情報に基づいて、人間の関与により、ＣＡＣｓの検出、確認及びカウントを行い、検出の主観性が強く且つ信頼性が高くなく、しかも人間の関与を必要とするため、検出効率が低く且つ検出コストが高い。
以上に鑑みて、本開示は、循環異常細胞の検出の信頼性を向上させるために、循環異常細胞を検出する方法及び装置を提供することを目的とする。
第１態様によれば、本開示の実施例は、
画像処理アルゴリズム及び形態学的アルゴリズムを用いて、複数のプローブチャンネルの暗視野顕微鏡画像に含まれる細胞核に対してそれぞれ分割及びラベリングを行うことと、
細胞核がラベリングされた複数のプローブチャンネルの暗視野顕微鏡画像を予め構築された循環異常細胞検出モデルに入力して、各プローブチャンネルの暗視野顕微鏡画像における各ラベリングされた細胞核に含まれる染色信号数を得ることと、
ラベリングされた細胞核毎に、得られた各プローブチャンネルの暗視野顕微鏡画像における当該ラベリングされた細胞核に含まれる染色信号数に基づいて、当該ラベリングされた細胞核が循環異常細胞に属するか否かを特定することと、を含む循環異常細胞を検出する方法を提供する。
第１態様に加えて、本開示の実施例は、第１態様の第１の可能な実施形態を提供する。ここで、前記循環異常細胞検出モデルを構築することは、
画像処理アルゴリズム及び形態学的アルゴリズムを用いて、複数のプローブチャンネルの暗視野顕微鏡サンプル画像に含まれる細胞核に対してそれぞれ分割及びラベリングを行い、細胞核がラベリングされたプローブチャンネルの暗視野顕微鏡サンプル画像を分割して、複数の細胞核サンプル画像を得ることと、
細胞核サンプル画像毎に、当該細胞核サンプル画像に対して複数回の畳み込み処理を行い、それぞれ第１特徴画像、第２特徴画像、第３特徴画像及び第４特徴画像を得ることと、
第４特徴画像に対して畳み込み処理を行い、第５特徴画像を得て、第５特徴画像に対してアップサンプリングを行い、第６特徴画像を得ることと、
第３特徴画像と第６特徴画像に対して畳み込み処理を行い、第７特徴画像を得て、第７特徴画像に対してアップサンプリングを行い、第８特徴画像を得ることと、
第２特徴画像と第８特徴画像に対して畳み込み処理を行い、第９特徴画像を得て、第９特徴画像に対してアップサンプリングを行い、第１０特徴画像を得ることと、
第１特徴画像と第１０特徴画像に対して畳み込み処理を行い、第１１特徴画像を得ることと、
各細胞核サンプル画像をディープラーニングネットワークの入力とし、第７特徴画像、第９特徴画像及び第１１特徴画像をディープラーニングネットワークの出力の３つのスケールの予測結果として融合し、最終的に細胞核サンプル画像におけるラベリングされた細胞核に含まれる染色信号数をディープラーニングネットワークの出力として、ディープラーニングネットワークに対してトレーニング及びテストを行い、循環異常細胞検出モデルを得ることと、を含む。
第１態様の第１の可能な実施形態に加えて、本開示の実施例は、第１態様の第２の可能な実施形態を提供する。ここで、前記した、当該細胞核サンプル画像に対して複数回の畳み込み処理を行い、それぞれ第１特徴画像、第２特徴画像、第３特徴画像及び第４特徴画像を得ることは、
細胞核サンプル画像に対して第１畳み込み層、第２畳み込み層、第３畳み込み層及び第４畳み込み層による畳み込み処理を順次行い、第１特徴画像を得ることと、
第１特徴画像に対して第５畳み込み層及び第６畳み込み層による畳み込み処理を行い、第２特徴画像を得ることと、
第２特徴画像に対して第７畳み込み層及び第８畳み込み層による畳み込み処理を行い、第３特徴画像を得ることと、
第３特徴画像に対して第９畳み込み層及び第１０畳み込み層による畳み込み処理を行い、第４特徴画像を得ることと、を含む。
第１態様の第２の可能な実施形態に加えて、本開示の実施例は、第１態様の第３の可能な実施形態を提供する。ここで、前記した、細胞核サンプル画像に対して第１畳み込み層、第２畳み込み層、第３畳み込み層及び第４畳み込み層による畳み込み処理を順次行い、第１特徴画像を得ることは、
前記細胞核サンプル画像サイズは３２０＊３２０であり、第１畳み込み層は、畳み込みカーネル数が３２、畳み込みカーネルサイズが３＊３、ストライドが１、出力される特徴画像のサイズが３２０＊３２０であることと、
第２畳み込み層は、第１サブ畳み込み層及び第２サブ畳み込み層を含み、第１サブ畳み込み層は、畳み込みカーネル数が３２、畳み込みカーネルサイズが３＊３、ストライドが２、出力される特徴画像のサイズが１６０＊１６０であり、第２サブ畳み込み層は、畳み込みカーネル数が６４、畳み込みカーネルサイズが１＊１、ストライドが１、出力される特徴画像のサイズが１６０＊１６０であることと、
第３畳み込み層は、第３サブ畳み込み層及び第４サブ畳み込み層を含み、第３サブ畳み込み層は、畳み込みカーネル数が６４、畳み込みカーネルサイズが３＊３、ストライドが１、出力される特徴画像のサイズが１６０＊１６０であり、第４サブ畳み込み層は、畳み込みカーネル数が１２８、畳み込みカーネルサイズが１＊１、ストライドが２、出力される特徴画像のサイズが８０＊８０であることと、
第４畳み込み層は、第５サブ畳み込み層及び第６サブ畳み込み層を含み、第５サブ畳み込み層は、畳み込みカーネル数が１２８、畳み込みカーネルサイズが３＊３、ストライドが１、出力される特徴画像のサイズが８０＊８０であり、第６サブ畳み込み層は、畳み込みカーネル数が１２８、畳み込みカーネルサイズが１＊１、ストライドが１、出力される特徴画像のサイズが８０＊８０であり、第６サブ畳み込み層から出力される特徴画像が第１特徴画像であることと、を含む。
第１態様及び第１態様の第１～第３の可能な実施形態のいずれか１つの可能な実施形態に加えて、本開示の実施例は、第１態様の第４の可能な実施形態を提供する。ここで、前記した、画像処理アルゴリズム及び形態学的アルゴリズムを用いて、複数のプローブチャンネルの暗視野顕微鏡画像に含まれる細胞核に対してそれぞれ分割及びラベリングを行うことは、
プローブチャンネルの暗視野顕微鏡画像毎に、当該暗視野顕微鏡画像に対してガウスカーネルによるフィルタリングを行い、ノイズ除去画像を得ることと、
ノイズ除去画像に対して連結領域ラベリングを行い、ラベリングされた連結領域を取得することと、
形態学的アルゴリズムを用いて、取得された連結領域を分割し、且つ分割して得られた領域に対してラベリングを行い、ラベリングされた細胞核を得ることと、を含む。
第１態様及び第１態様の第１～第３の可能な実施形態のいずれか１つの可能な実施形態に加えて、本開示の実施例は、第１態様の第５の可能な実施形態を提供する。ここで、前記した、細胞核がラベリングされた複数のプローブチャンネルの暗視野顕微鏡画像を予め構築された循環異常細胞検出モデルに入力して、各プローブチャンネルの暗視野顕微鏡画像における各ラベリングされた細胞核に含まれる染色信号数を得ることは、
細胞核がラベリングされた第１プローブチャンネルの暗視野顕微鏡画像を循環異常細胞検出モデルに入力して、当該細胞核がラベリングされた第１プローブチャンネルの暗視野顕微鏡画像における各ラベリングされた細胞核に含まれる染色信号の第１カウントを得ることと、
細胞核がラベリングされた第２プローブチャンネルの暗視野顕微鏡画像を循環異常細胞検出モデルに入力して、当該細胞核がラベリングされた第２プローブチャンネルの暗視野顕微鏡画像における各ラベリングされた細胞核に含まれる染色信号の第２カウントを得ることと、
細胞核がラベリングされた第３プローブチャンネルの暗視野顕微鏡画像を循環異常細胞検出モデルに入力して、当該細胞核がラベリングされた第３プローブチャンネルの暗視野顕微鏡画像における各ラベリングされた細胞核に含まれる染色信号の第３カウントを得ることと、
細胞核がラベリングされた第４プローブチャンネルの暗視野顕微鏡画像を循環異常細胞検出モデルに入力して、当該細胞核がラベリングされた第４プローブチャンネルの暗視野顕微鏡画像における各ラベリングされた細胞核に含まれる染色信号の第４カウントを得ることと、を含む。
第１態様の第５の可能な実施形態に加えて、本開示の実施例は、第１態様の第６の可能な実施形態を提供する。ここで、前記した、ラベリングされた細胞核毎に、得られた各プローブチャンネルの暗視野顕微鏡画像における当該ラベリングされた細胞核に含まれる染色信号数に基づいて、当該ラベリングされた細胞核が循環異常細胞に属するか否かを特定することは、
細胞核がラベリングされた第１プローブチャンネルの暗視野顕微鏡画像におけるラベリングされた第１細胞核に含まれる染色信号の第１カウントを取得することと、
細胞核がラベリングされた第２プローブチャンネルの暗視野顕微鏡画像における前記ラベリングされた第１細胞核に含まれる染色信号の第２カウントを取得することと、
細胞核がラベリングされた第３プローブチャンネルの暗視野顕微鏡画像における前記ラベリングされた第１細胞核に含まれる染色信号の第３カウントを取得することと、
細胞核がラベリングされた第４プローブチャンネルの暗視野顕微鏡画像における前記ラベリングされた第１細胞核に含まれる染色信号の第４カウントを取得することと、
前記染色信号の第１カウント、染色信号の第２カウント、染色信号の第３カウント及び染色信号の第４カウントに基づいて、前記ラベリングされた第１細胞核が循環異常細胞に属するか否かを特定することと、を含む。
第２態様によれば、本開示の実施例は、画像処理アルゴリズム及び形態学的アルゴリズムを用いて、複数のプローブチャンネルの暗視野顕微鏡画像に含まれる細胞核に対してそれぞれ分割及びラベリングを行うように構成された細胞核ラベリングモジュールと、
細胞核がラベリングされた複数のプローブチャンネルの暗視野顕微鏡画像を予め構築された循環異常細胞検出モデルに入力して、各プローブチャンネルの暗視野顕微鏡画像における各ラベリングされた細胞核に含まれる染色信号数を得るように構成された染色信号数取得モジュールと、
ラベリングされた細胞核毎に、得られた各プローブチャンネルの暗視野顕微鏡画像における当該ラベリングされた細胞核に含まれる染色信号数に基づいて、当該ラベリングされた細胞核が循環異常細胞に属するか否かを特定するように構成された細胞種類判定モジュールと、を含む循環異常細胞を検出する装置をさらに提供する。
第３態様によれば、本開示の実施例は、メモリと、プロセッサと、前記メモリに記憶され、前記プロセッサで実行可能なコンピュータプログラムとを含み、前記プロセッサが前記コンピュータプログラムを実行すると、上述した方法のステップを実現させるコンピュータ装置を提供する。
第４態様によれば、本開示の実施例は、コンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムがプロセッサにより実行されると、上述した方法のステップを実行させるコンピュータ読み取り可能な記憶媒体を提供する。
本開示の実施例による循環異常細胞を検出する方法及び装置では、画像処理アルゴリズム及び形態学的アルゴリズムを用いて、複数のプローブチャンネルの暗視野顕微鏡画像に含まれる細胞核に対してそれぞれ分割及びラベリングを行い、細胞核がラベリングされた複数のプローブチャンネルの暗視野顕微鏡画像を予め構築された循環異常細胞検出モデルに入力して、各プローブチャンネルの暗視野顕微鏡画像における各ラベリングされた細胞核に含まれる染色信号数を得て、ラベリングされた細胞核毎に、得られた各プローブチャンネルの暗視野顕微鏡画像における当該ラベリングされた細胞核に含まれる染色信号数に基づいて、当該ラベリングされた細胞核が循環異常細胞に属するか否かを特定する。このように、画像処理アルゴリズム及び形態学的アルゴリズムを用いて細胞核に対してラベリングを行うので、小さいサイズの細胞核に対するラベリングを実現することができ、主観的な影響を回避することができ、循環異常細胞検出モデルを利用して、ラベリングされた細胞核に含まれる染色信号を検出するので、染色信号の検出信頼性及び検出精度が高く、これにより、ＣＴＣｓの識別の信頼性及び精度を効果的に向上させることができる。
本開示の上記目的、特徴及び利点をより分かりやすくするために、以下、図面を参照しながら、好適な実施例を挙げて詳しく説明する。
本開示の実施例の技術的手段をより明確に説明するために、以下、実施例において使用する必要がある図面について簡単に説明する。以下の図面は、本開示のいくつかの実施例のみを示しているので、範囲を限定するものと見なされるべきではなく、当業者にとって、創意工夫を加えずに、さらにこれらの図面に基づいて他の関連図面を得ることができることは理解されるべきである。
本開示の実施例による循環異常細胞を検出する方法のフローの模式図を示す。 本開示の実施例における循環異常細胞検出モデルを構築する畳み込み処理の模式図を示す。 本開示の実施例における循環異常細胞検出モデルを構築する方法のフローの模式図を示す。 本開示の実施例による循環異常細胞を検出する装置の構成の模式図を示す。 本開示の実施例によるコンピュータ装置５００の構成の模式図を示す。
本開示の実施例の目的、技術的手段及び利点をより明確にするために、以下、本開示の実施例における技術方案を、本開示の実施例における図面と併せて、明確かつ完全に説明するが、明らかに、説明された実施例は、本開示の一部の実施例にすぎず、全ての実施例ではない。一般に、ここで図面に示されている本開示の実施例のコンポーネントは、様々な異なる構成で配置され、設計されてもよい。したがって、図面に示されている本開示の実施例に関する詳細な説明は、特許を請求する本開示の範囲を限定するものではなく、本開示において選択された実施例を示すものにすぎない。本開示の実施例に基づいて、当業者が創意工夫を加えずに得られる他の全ての実施例は、本開示の保護範囲内にある。
循環異常細胞を検出する従来の方法では、末梢血細胞のＤＦ顕微鏡画像を収集した後、ＣＡＣｓの形態学的情報に基づいて、人間の関与により、ＣＡＣｓを識別し、且つ血液中の識別されたＣＡＣｓに基づいてカウントを行い、カウント結果に基づいて血液中のＣＡＣｓの含有量を特定して後の診断及び治療の参照とする。ＣＡＣｓの形態学的情報に基づいて、人間の関与により、ＣＡＣｓを識別してカウントするため、ＣＡＣｓの検出（識別）の信頼性が高くなく、検出効率が低い。本開示の実施例では、蛍光原位置ハイブリダイゼーション（Ｆｌｕｏｒｅｓｃｅｎｃｅ ｉｎ Ｓｉｔｕ Ｈｙｂｒｉｄｉｚａｔｉｏｎ、ＦＩＳＨ）技術を利用して得られたＤＦ顕微鏡画像から細胞核を自動的に分割し、予め設定されたＣＡＣｓ検出モデルを用いて、細胞核内の染色（蛍光）信号をカウントし、定量的判定ルール及びカウントに基づいてＣＡＣｓを検出し識別する。
本開示の実施例は、循環異常細胞を検出する方法及び装置を提供する。以下、実施例によって本開示を説明する。
図１は、本開示の実施例による循環異常細胞を検出する方法のフローの模式図を示す。図１に示すように、この方法は、以下のステップを含む。
ステップ１０１において、画像処理アルゴリズム及び形態学的アルゴリズムを用いて、複数のプローブチャンネルのＤＦ顕微鏡画像に含まれる細胞核に対してそれぞれ分割及びラベリングを行う。
本開示の実施例において、選択可能な一実施例として、ＤＦ顕微鏡画像は、例えば正常細胞、循環異常細胞、及び／又は単一増幅細胞などの様々な細胞を含む画像であってもよく、解像度が２４４８＊２０４８ピクセルである。１枚のＤＦ顕微鏡画像は、数百の異なる種類の細胞を含みうる。
本開示の実施例において、マルチプローブチャンネルの画像撮影が行われる。選択可能な一実施例として、プローブチャンネルは、第１プローブチャンネル、第２プローブチャンネル、第３プローブチャンネル及び第４プローブチャンネルを含み、これに対応して、複数のプローブチャンネルのＤＦ顕微鏡画像は、第１プローブチャンネルのＤＦ顕微鏡画像、第２プローブチャンネルのＤＦ顕微鏡画像、第３プローブチャンネルのＤＦ顕微鏡画像及び第４プローブチャンネルのＤＦ顕微鏡画像を含み、４つのプローブチャンネルのＤＦ顕微鏡画像からそれぞれ細胞核毎の各プローブチャンネルの染色画像を分割する。
本開示の実施例において、選択可能な一実施例として、画像処理アルゴリズム及び形態学的アルゴリズムを用いて、複数のプローブチャンネルのＤＦ顕微鏡画像に含まれる細胞核に対してそれぞれ分割及びラベリングを行うことは、以下のステップを含む。
ステップＡ１１において、プローブチャンネルの暗視野顕微鏡画像毎に、当該暗視野顕微鏡画像に対してガウスカーネルによるフィルタリングを行い、ノイズ除去画像を得る。
本開示の実施例において、暗視野顕微鏡画像に対してガウスカーネルによるフィルタリングを行うことにより、暗視野顕微鏡画像におけるノイズを除去して、ノイズ除去画像を得ることができる。ここで、選択可能な一実施例として、ガウスカーネルによるフィルタリングは、ガウスカーネル関数、適応ガウスフィルタ、ガンマ変換及びトップハット変換を含むが、これらに限らない。
本開示の実施例において、選択可能な一実施例として、当該暗視野顕微鏡画像に対してガウスカーネルによるフィルタリングを行う前又は後に（ここで、当該暗視野顕微鏡画像に対してガウスカーネルによるフィルタリングを行う前を例とする）、この方法は、さらに、
当該暗視野顕微鏡画像を分割することを含んでもよい。
本開示の実施例において、暗視野顕微鏡画像を１２８＊１２８ブロックのサブ画像に分割し、各サブ画像の解像度は１９＊１６である。
ステップＡ１２において、ノイズ除去画像に対して連結領域ラベリングを行い、ラベリングされた連結領域を取得する。
本開示の実施例において、連結領域生成器アルゴリズムを用いて、ノイズ除去画像に対して連結領域ラベリングを行う。
ステップＡ１３において、形態学的アルゴリズムを用いて、取得された連結領域を分割し、且つ分割して得られた領域に対してラベリングを行い、ラベリングされた細胞核を得る。
本開示の実施例において、形態学的アルゴリズムは、ハフ（Ｈｏｕｇｈ）円検出アルゴリズム、閉演算及び／又は開演算を含むが、これらに限らない。例えば、分割して得られた連結領域における重畳細胞又は癒着細胞について、ハフ（Ｈｏｕｇｈ）円検出アルゴリズムを用いて、重畳細胞又は癒着細胞のうちの各細胞の中心を算出することにより、重畳細胞又は癒着細胞を複数の単一細胞に分割する。また例えば、連結領域に対して、閉演算を行い、さらに開演算を行う。このように、形態学的演算により、隣接する細胞核を分離することができ、互いに独立した細胞核を得てラベリングを行うことにより、ＤＦ顕微鏡画像に含まれる各細胞核に対してすべてラベリングを行うことができ、ＣＡＣｓの形態学的情報に基づいてラベリングを行うことによる細胞核の漏れを回避する。
本開示の実施例において、前述したように、複数のプローブチャンネルのＤＦ顕微鏡画像が４つのプローブチャンネルのＤＦ顕微鏡画像を含むことを例とするので、１つの細胞は、４つのプローブチャンネルのＤＦ顕微鏡画像における細胞核にそれぞれ対応し、４つのプローブチャンネルのＤＦ顕微鏡画像の間は互いに関連している。
本開示の実施例において、選択可能な一実施例として、ノイズ除去画像を得た後であって、ノイズ除去画像に対して連結領域ラベリングを行う前に、この方法は、さらに、
二値分割アルゴリズムに基づいてノイズ除去画像を分割して、二値画像を得て、二値画像に基づいて連結領域ラベリングを行うことを含む。
本開示の実施例において、二値分割アルゴリズムは、大津法（Ｏｔｓｕ）適応閾値分割アルゴリズムを含むが、これらに限らない。ノイズ除去画像に対して二値分割を行うことにより、前景色と背景色を含む二値画像が得られる。
ステップ１０２において、細胞核がラベリングされた複数のプローブチャンネルの暗視野顕微鏡画像を予め構築された循環異常細胞検出モデルに入力して、各プローブチャンネルの暗視野顕微鏡画像における各ラベリングされた細胞核に含まれる染色信号数を得る。
本開示の実施例において、ラベリングツールを用いて、細胞核がラベリングされた複数のプローブチャンネルの暗視野顕微鏡画像に対して人間による細胞種類のラベリングを行う。細胞種類がラベリングされた画像をトレーニングセットとし、ディープラーニングＹＯＬＯ－ｖ３－ＭｏｂｉｌｅＮｅｔアルゴリズムを用いて教師ありトレーニングを行い、さらに、トレーニング済みのモデルを用いてテストライブラリで染色（蛍光）信号検出テストを行い、最終的な循環異常細胞検出モデルを得る。
本開示の実施例において、複数のプローブチャンネルのＤＦ顕微鏡画像が第１プローブチャンネルのＤＦ顕微鏡画像、第２プローブチャンネルのＤＦ顕微鏡画像、第３プローブチャンネルのＤＦ顕微鏡画像及び第４プローブチャンネルのＤＦ顕微鏡画像を含む場合、選択可能な一実施例として、細胞核がラベリングされた複数のプローブチャンネルの暗視野顕微鏡画像を予め構築された循環異常細胞検出モデルに入力して、各プローブチャンネルの暗視野顕微鏡画像における各ラベリングされた細胞核に含まれる染色信号数を得ることは、
細胞核がラベリングされた第１プローブチャンネルのＤＦ顕微鏡画像を循環異常細胞検出モデルに入力して、当該細胞核がラベリングされた第１プローブチャンネルのＤＦ顕微鏡画像における各ラベリングされた細胞核に含まれる染色信号の第１カウントを得ることと、
細胞核がラベリングされた第２プローブチャンネルのＤＦ顕微鏡画像を循環異常細胞検出モデルに入力して、当該細胞核がラベリングされた第２プローブチャンネルのＤＦ顕微鏡画像における各ラベリングされた細胞核に含まれる染色信号の第２カウントを得ることと、
細胞核がラベリングされた第３プローブチャンネルのＤＦ顕微鏡画像を循環異常細胞検出モデルに入力して、当該細胞核がラベリングされた第３プローブチャンネルのＤＦ顕微鏡画像における各ラベリングされた細胞核に含まれる染色信号の第３カウントを得ることと、
細胞核がラベリングされた第４プローブチャンネルのＤＦ顕微鏡画像を循環異常細胞検出モデルに入力して、当該細胞核がラベリングされた第４プローブチャンネルのＤＦ顕微鏡画像における各ラベリングされた細胞核に含まれる染色信号の第４カウントを得ることと、を含む。
本開示の実施例において、循環異常細胞検出モデルは、４つのプローブチャンネルのＤＦ顕微鏡画像における各細胞核に含まれる染色信号を検出し、染色信号の数をカウントする（染色信号数）。
ステップ１０３において、ラベリングされた細胞核毎に、得られた各プローブチャンネルの暗視野顕微鏡画像における当該ラベリングされた細胞核に含まれる染色信号数に基づいて、当該ラベリングされた細胞核が循環異常細胞に属するか否かを特定する。
本開示の実施例において、選択可能な一実施例として、ラベリングされた細胞核毎に、得られた各プローブチャンネルの暗視野顕微鏡画像における当該ラベリングされた細胞核に含まれる染色信号数に基づいて、当該ラベリングされた細胞核が循環異常細胞に属するか否かを特定することは、
細胞核がラベリングされた第１プローブチャンネルの暗視野顕微鏡画像におけるラベリングされた第１細胞核に含まれる染色信号の第１カウントを取得することと、
細胞核がラベリングされた第２プローブチャンネルの暗視野顕微鏡画像における前記ラベリングされた第１細胞核に含まれる染色信号の第２カウントを取得することと、
細胞核がラベリングされた第３プローブチャンネルの暗視野顕微鏡画像における前記ラベリングされた第１細胞核に含まれる染色信号の第３カウントを取得することと、
細胞核がラベリングされた第４プローブチャンネルの暗視野顕微鏡画像における前記ラベリングされた第１細胞核に含まれる染色信号の第４カウントを取得することと、
前記染色信号の第１カウント、染色信号の第２カウント、染色信号の第３カウント及び染色信号の第４カウントに基づいて、前記ラベリングされた第１細胞核が循環異常細胞に属するか否かを特定することと、を含む。
本開示の実施例において、選択可能な一実施例として、前記染色信号の第１カウント、染色信号の第２カウント、染色信号の第３カウント及び染色信号の第４カウントに基づいて、前記ラベリングされた第１細胞核が循環異常細胞に属するか否かを特定することは、
前記染色信号の第１カウント、染色信号の第２カウント、染色信号の第３カウント及び染色信号の第４カウントのうち、カウント数が２以上のものが２より多い場合、前記ラベリングされた第１細胞核が循環異常細胞に属すると特定することを含む。
本開示の実施例において、別の選択可能な一実施例として、この方法は、さらに、
前記染色信号の第１カウント、染色信号の第２カウント、染色信号の第３カウント及び染色信号の第４カウントについて、いずれかのカウント数が２未満である場合、前記ラベリングされた第１細胞核が欠失細胞に属すると特定し、カウント数が２より大きいものが一つしかない場合、前記ラベリングされた第１細胞核が単一増幅細胞に属すると特定し、染色信号がペアで現れる場合、前記ラベリングされた第１細胞核が正常な細胞に属すると特定することを含む。
本開示の実施例において、循環異常細胞、欠失細胞、単一増幅細胞、又は正常細胞として特定できない細胞については、その他の細胞又は未知細胞であると特定する。
本開示の実施例による循環異常細胞を検出する方法では、画像処理アルゴリズム及び形態学的アルゴリズムを用いて、複数のプローブチャンネルの暗視野顕微鏡画像に含まれる細胞核に対してそれぞれ分割及びラベリングを行い、細胞核がラベリングされた複数のプローブチャンネルの暗視野顕微鏡画像を予め構築された循環異常細胞検出モデルに入力して、各プローブチャンネルの暗視野顕微鏡画像における各ラベリングされた細胞核に含まれる染色信号数を得て、ラベリングされた細胞核毎に、得られた各プローブチャンネルの暗視野顕微鏡画像における当該ラベリングされた細胞核に含まれる染色信号数に基づいて、当該ラベリングされた細胞核が循環異常細胞に属するか否かを特定する。このように、画像処理アルゴリズム及び形態学的アルゴリズムを用いて細胞核に対してラベリングを行うので、小さいサイズの細胞核に対するラベリングを実現することができ、主観的な影響を回避することができ、循環異常細胞検出モデルを利用して、ラベリングされた細胞核に含まれる染色信号を検出するので、染色信号の検出信頼性及び検出精度が高く、これにより、定量的判定ルール及びカウントに基づくＣＴＣｓの識別の信頼性及び精度を効果的に向上させることができる。
図２は、本開示の実施例における循環異常細胞検出モデルを構築する畳み込み処理の模式図を示す。
図３は、本開示の実施例における循環異常細胞検出モデルを構築する方法のフローの模式図を示す。
図２及び図３に示すように、この方法は、以下のステップを含む。
ステップ３０１において、画像処理アルゴリズム及び形態学的アルゴリズムを用いて、複数のプローブチャンネルの暗視野顕微鏡サンプル画像に含まれる細胞核に対してそれぞれ分割及びラベリングを行い、細胞核がラベリングされたプローブチャンネルの暗視野顕微鏡サンプル画像を分割して、複数の細胞核サンプル画像を得る。
本開示の実施例において、細胞核がラベリングされたプローブチャンネルの暗視野顕微鏡サンプル画像を分割して、複数の細胞核サンプル画像を得る。選択可能な一実施例として、細胞核サンプル画像は３２０＊３２０である。
本開示の実施例において、分割して得られた細胞核サンプル画像には、正常細胞、単一増幅細胞、欠失細胞、循環異常細胞及び他の細胞が含まれる。
ステップ３０２において、細胞核サンプル画像毎に、当該細胞核サンプル画像に対して複数回の畳み込み処理を行い、それぞれ第１特徴画像、第２特徴画像、第３特徴画像及び第４特徴画像を得る。
本開示の実施例において、選択可能な一実施例として、３２０＊３２０の細胞核サンプル画像毎に、細胞核サンプル画像を畳み込み層で畳み込み処理して細胞核サンプル画像に含まれる特徴を抽出し、畳み込み処理後に出力される画像を次の畳み込み層の入力とする。
本開示の実施例において、選択可能な一実施例として、細胞核サンプル画像サイズが３２０＊３２０であれば、それぞれ８０＊８０、４０＊４０、２０＊２０及び１０＊１０の４つのスケールの特徴画像を出力し、すなわち、第１特徴画像サイズが８０＊８０、第２特徴画像サイズが４０＊４０、第３特徴画像サイズが２０＊２０、第４特徴画像サイズが１０＊１０である。このように、出力される特徴画像は、高レベルのセマンティック特徴だけでなく、識別に用いられる染色信号の詳細特徴を含むこともできる。
本開示の実施例において、選択可能な一実施例として、当該細胞核サンプル画像に対して複数回の畳み込み処理を行い、それぞれ第１特徴画像、第２特徴画像、第３特徴画像及び第４特徴画像を得ることは、以下のステップを含む。
ステップＡ２１において、細胞核サンプル画像に対して第１畳み込み層、第２畳み込み層、第３畳み込み層及び第４畳み込み層による畳み込み処理を順次行い、第１特徴画像を得る。
本開示の実施例において、選択可能な一実施例として、細胞核サンプル画像に対して第１畳み込み層、第２畳み込み層、第３畳み込み層及び第４畳み込み層による畳み込み処理を順次行い、第１特徴画像を得ることは、
前記細胞核サンプル画像サイズは３２０＊３２０であり、第１畳み込み層は、畳み込みカーネル数（Ｆｉｌｔｅｒｓ）が３２、畳み込みカーネルサイズ（Ｓｉｚｅ）が３＊３、ストライドが１、出力される（Ｏｕｔｐｕｔ）特徴画像のサイズが３２０＊３２０であることと、
第２畳み込み層は、第１サブ畳み込み層及び第２サブ畳み込み層を含み、第１サブ畳み込み層は、深さ方向分離可能畳み込み（Ｃｏｎｖｄｗ）を採用し、畳み込みカーネル数が３２、畳み込みカーネルサイズが３＊３、ストライドが２、出力される特徴画像のサイズが１６０＊１６０であり、第２サブ畳み込み層は、畳み込みカーネル数が６４、畳み込みカーネルサイズが１＊１、ストライドが１、出力される特徴画像のサイズが１６０＊１６０であることと、
第３畳み込み層は、第３サブ畳み込み層及び第４サブ畳み込み層を含み、第３サブ畳み込み層は、深さ方向分離可能畳み込みを採用し、畳み込みカーネル数が６４、畳み込みカーネルサイズが３＊３、ストライドが１、出力される特徴画像のサイズが１６０＊１６０であり、第４サブ畳み込み層は、畳み込みカーネル数が１２８、畳み込みカーネルサイズが１＊１、ストライドが２、出力される特徴画像のサイズが８０＊８０であることと、
第４畳み込み層は、第５サブ畳み込み層及び第６サブ畳み込み層を含み、第５サブ畳み込み層は、深さ方向分離可能畳み込みを採用し、畳み込みカーネル数が１２８、畳み込みカーネルサイズが３＊３、ストライドが１、出力される特徴画像のサイズが８０＊８０であり、第６サブ畳み込み層は、畳み込みカーネル数が１２８、畳み込みカーネルサイズが１＊１、ストライドが１、出力される特徴画像のサイズが８０＊８０であり、第６サブ畳み込み層から出力される特徴画像が第１特徴画像であることと、を含む。
本開示の実施例において、ストライドが１である畳み込み層で処理した後、当該畳み込み層から出力される画像のサイズは、入力画像サイズと同一である。ストライドが２である畳み込み層で処理した後、当該畳み込み層から出力される画像のサイズは、入力画像サイズの半分である。
ステップＡ２２において、第１特徴画像に対して第５畳み込み層及び第６畳み込み層による畳み込み処理を行い、第２特徴画像を得る。
本開示の実施例において、第５畳み込み層は、第７サブ畳み込み層及び第８サブ畳み込み層を含み、第７サブ畳み込み層は、空間畳み込みを採用し、畳み込みカーネル数が１２８、畳み込みカーネルサイズが３＊３、ストライドが１、出力される特徴画像のサイズが８０＊８０であり、第８サブ畳み込み層は、畳み込みカーネル数が２５６、畳み込みカーネルサイズが１＊１、ストライドが２、出力される特徴画像のサイズが４０＊４０であり、
第６畳み込み層は、第９サブ畳み込み層及び第１０サブ畳み込み層を含み、第９サブ畳み込み層は、空間畳み込みを採用し、畳み込みカーネル数が２５６、畳み込みカーネルサイズが３＊３、ストライドが１、出力される特徴画像のサイズが４０＊４０であり、第１０サブ畳み込み層は、畳み込みカーネル数が２５６、畳み込みカーネルサイズが１＊１、ストライドが１、出力される特徴画像のサイズが４０＊４０であり、第１０サブ畳み込み層から出力される特徴画像が第２特徴画像である。
ステップＡ２３において、第２特徴画像に対して第７畳み込み層及び第８畳み込み層による畳み込み処理を行い、第３特徴画像を得る。
本開示の実施例において、第７畳み込み層は、第１１サブ畳み込み層及び第１２サブ畳み込み層を含み、第１１サブ畳み込み層は、深さ方向分離可能畳み込みを採用し、畳み込みカーネル数が２５６、畳み込みカーネルサイズが３＊３、ストライドが１、出力される特徴画像のサイズが４０＊４０であり、第１２サブ畳み込み層は、畳み込みカーネル数が５１２、畳み込みカーネルサイズが１＊１、ストライドが２、出力される特徴画像のサイズが２０＊２０であり、
第８畳み込み層は、第１３サブ畳み込み層及び第１４サブ畳み込み層を含み、第１３サブ畳み込み層は、深さ方向分離可能畳み込みを採用し、畳み込みカーネル数が５１２、畳み込みカーネルサイズが３＊３、ストライドが１、出力される特徴画像のサイズが２０＊２０であり、第１４サブ畳み込み層は、畳み込みカーネル数が５１２、畳み込みカーネルサイズが１＊１、ストライドが１、出力される特徴画像のサイズが２０＊２０であり、第１４サブ畳み込み層から出力される特徴画像が第３特徴画像である。
ステップＡ２４において、第３特徴画像に対して第９畳み込み層及び第１０畳み込み層による畳み込み処理を行い、第４特徴画像を得る。
本開示の実施例において、第９畳み込み層は、第１５サブ畳み込み層及び第１６サブ畳み込み層を含み、第１５サブ畳み込み層は、深さ方向分離可能畳み込みを採用し、畳み込みカーネル数が５１２、畳み込みカーネルサイズが３＊３、ストライドが１、出力される特徴画像のサイズが２０＊２０であり、第１６サブ畳み込み層は、畳み込みカーネル数が１０２４、畳み込みカーネルサイズが１＊１、ストライドが２、出力される特徴画像のサイズが１０＊１０であり、
第１０畳み込み層は、第１７サブ畳み込み層及び第１８サブ畳み込み層を含み、第１７サブ畳み込み層は、深さ方向分離可能畳み込みを採用し、畳み込みカーネル数が１０２４、畳み込みカーネルサイズが３＊３、ストライドが１、出力される特徴画像のサイズが１０＊１０であり、第１８サブ畳み込み層は、畳み込みカーネル数が１０２４、畳み込みカーネルサイズが１＊１、ストライドが１、出力される特徴画像のサイズが１０＊１０であり、第１８サブ畳み込み層から出力される特徴画像が第４特徴画像である。
ステップ３０３において、第４特徴画像に対して畳み込み処理を行い、第５特徴画像を得て、第５特徴画像に対してアップサンプリングを行い、第６特徴画像を得る。
ステップ３０４において、第３特徴画像と第６特徴画像に対して畳み込み処理を行い、第７特徴画像を得て、第７特徴画像に対してアップサンプリングを行い、第８特徴画像を得る。
ステップ３０５において、第２特徴画像と第８特徴画像に対して畳み込み処理を行い、第９特徴画像を得て、第９特徴画像に対してアップサンプリングを行い、第１０特徴画像を得る。
ステップ３０６において、第１特徴画像と第１０特徴画像に対して畳み込み処理を行い、第１１特徴画像を得る。
ステップ３０７において、各細胞核サンプル画像をディープラーニングネットワークの入力とし、第７特徴画像、第９特徴画像及び第１１特徴画像をディープラーニングネットワークの出力の３つのスケールの予測結果として融合し、最終的に細胞核サンプル画像におけるラベリングされた細胞核に含まれる染色信号数をディープラーニングネットワークの出力として、ディープラーニングネットワークに対してトレーニング及びテストを行い、循環異常細胞検出モデルを得る。
本開示の実施例において、選択可能な一実施例として、細胞核サンプル画像を、トレーニングセットとテストセットにランダムに分ける。ここで、選択可能な一実施例として、トレーニングセットは、細胞核サンプル画像総数の９０％を占め、テストセットは、細胞核サンプル画像総数の１０％を占める。
本開示の実施例において、選択可能な一実施例として、トレーニングセットに対して、５分割交差検証法により、複数種類の機械学習アルゴリズムを用いるディープラーニングネットワークをそれぞれトレーニングし、その中からトレーニング精度が最も高いディープラーニングネットワークを最終的な循環異常細胞検出モデルとして選択する。
本開示の実施例において、細胞核サンプル画像におけるラベリングされた細胞核毎に、その対応する細胞種類はすでに予めラベリングされる。例えば、当該細胞核が正常細胞、循環異常細胞、単一増幅細胞、又は欠失細胞であるか、および４つのプローブチャンネルに対応する細胞核サンプル画像において各種類の細胞核に含まれる染色信号数も予めラベリングされる。例えば、第１プローブチャンネル細胞核サンプル画像におけるラベリングされた第１細胞核は、欠失細胞としてラベリングされ、含まれる染色信号数が１であり、これに対応して、第２プローブチャンネル細胞核サンプル画像におけるラベリングされた当該第１細胞核は、それに含まれる染色信号数が２であり、第３プローブチャンネル細胞核サンプル画像におけるラベリングされた当該第１細胞核は、それに含まれる染色信号数が１であり、第４プローブチャンネル細胞核サンプル画像におけるラベリングされた当該第１細胞核は、それに含まれる染色信号数が３である。このように、第１細胞核を例とし、第１プローブチャンネル細胞核サンプル画像における第１細胞核画像をディープラーニングネットワークの入力とし、当該第１細胞核に含まれる染色信号数が１であることをディープラーニングネットワークの出力とし、第２プローブチャンネル細胞核サンプル画像における第１細胞核画像をディープラーニングネットワークの入力とし、当該第１細胞核に含まれる染色信号数が２であることをディープラーニングネットワークの出力とし、第３プローブチャンネル細胞核サンプル画像における第１細胞核画像をディープラーニングネットワークの入力とし、当該第１細胞核に含まれる染色信号数が１であることをディープラーニングネットワークの出力とし、及び、第４プローブ通路細胞核サンプル画像における第１細胞核画像をディープラーニングネットワークの入力とし、当該第１細胞核に含まれる染色信号数が３であることをディープラーニングネットワークの出力として、ディープラーニングネットワークに対してトレーニングを行う。
本開示の実施例において、選択可能な一実施例として、Ｌａｂｅｌｍｅなどのラベリングツールを用いて、１０万個以上のマルチプローブチャンネル細胞核画像に対して、人間による精確なラベリングを行うことができ、各細胞核と染色信号点の境界形態が明瞭で正確であることを確保して、細胞核サンプル画像を得る。そして、ラベリングされた細胞核サンプル画像をトレーニングセット及びテストセットとして教師ありトレーニングを行う。
本開示の実施例において、ディープラーニングネットワークは、予め設定されたルールに従い、入力された細胞核画像を識別し、第７特徴画像、第９特徴画像及び第１１特徴画像を融合したマルチスケール特徴マップに対して細胞核識別を行い、識別された細胞核に対応する染色信号数を当該ディープラーニングネットワークの出力として、このディープラーニングネットワークをトレーニングして、最後に循環異常細胞検出モデルを得る。この循環異常細胞検出モデルは、入力が細胞核サンプル画像であり、出力が当該細胞核サンプル画像における各細胞核にそれぞれ含まれる染色信号数である。
本開示の実施例において、出力される１０＊１０の特徴画像（第４特徴画像）および２０＊２０の特徴画像（第３特徴画像）に対してそれぞれアップサンプリング処理を行うことにより、それらのサイズを２倍に拡大し、さらに、第８畳み込み層から出力される２０＊２０の特徴画像と第６畳み込み層から出力される４０＊４０の特徴画像とそれぞれ融合し、これにより、出力される特徴画像の多様性を増加させることができる。
本開示の実施例において、染色信号画像は、ＤＦ顕微鏡画像におけるサイズが比較的に小さいため、形態学に基づく従来の検出アルゴリズムでは、小さい目標染色信号画像の検出漏れが発生しやすい場合がある。したがって、本開示の実施例において、染色信号画像の特徴に対して、８０＊８０の特徴画像を追加して最適化することにより、この特徴画像は、より多くのテクスチャ及び輪郭情報を豊かにすることができ、小さい目標染色信号画像を検出することができる。
本開示の実施例において、ディープラーニングアルゴリズムは、ディープラーニングＹＯＬＯ－ｖ３アルゴリズムに基づいて改良されたディープラーニングＹＯＬＯ－ｖ３－ＭｏｂｉｌｅＮｅｔアルゴリズムであり、ディープラーニングＹＯＬＯ－ｖ３アルゴリズムフレームワークから出力される３つのスケールのスケール特徴（特徴画像）に対して、１つの大スケールのスケール特徴を追加し、且つ最小スケール特徴の出力を除去して、大スケール特徴の出力を増加させることにより、３つの出力スケール特徴を一定に保持する。また、最小スケール特徴は、アップサンプリングによって他のスケール特徴と融合し、最終的な検出結果は、３つの出力スケール特徴結果の融合であり、高レベルのセマンティック特徴と低レベルの詳細特徴を両立させる。
本開示の実施例の循環異常細胞検出モデルは、１００００個以上のテストセットで比較試験を行い、９５．３％の正確検出率が得られ、ディープラーニングＹＯＬＯ－ｖ３アルゴリズムの９０．６％の正確検出率と比べて顕著に向上し、より高い感度と特異性を有する。
図４は、本開示の実施例による循環異常細胞を検出する装置の構成の模式図を示す。図４に示すように、この装置は、
画像処理アルゴリズム及び形態学的アルゴリズムを用いて、複数のプローブチャンネルの暗視野顕微鏡画像に含まれる細胞核に対してそれぞれ分割及びラベリングを行うように構成された細胞核ラベリングモジュール４０１を含む。
本開示の実施例において、ＤＦ顕微鏡画像は、ＦＩＳＨ技術を利用して得られた、ＤＡＰＩで染色された細胞画像である。プローブチャンネルは、第１プローブチャンネル、第２プローブチャンネル、第３プローブチャンネル及び第４プローブチャンネルを含み、これに対応して、複数のプローブチャンネルのＤＦ顕微鏡画像は、第１プローブチャンネルのＤＦ顕微鏡画像、第２プローブチャンネルのＤＦ顕微鏡画像、第３プローブチャンネルのＤＦ顕微鏡画像及び第４プローブチャンネルのＤＦ顕微鏡画像を含み、４つのプローブチャンネルのＤＦ顕微鏡画像からそれぞれ細胞核毎の画像を分割する。
本開示の実施例において、選択可能な一実施例として、細胞核ラベリングモジュール４０１は、
プローブチャンネルの暗視野顕微鏡画像毎に、当該暗視野顕微鏡画像に対してガウスカーネルによるフィルタリングを行い、ノイズ除去画像を得るように構成されたフィルタユニット（図示せず）と、
ノイズ除去画像に対して連結領域ラベリングを行い、ラベリングされた連結領域を取得するように構成された連結ラベリングユニットと、
形態学的アルゴリズムを用いて、取得された連結領域を分割し、且つ分割して得られた領域に対してラベリングを行い、ラベリングされた細胞核を得るように構成された細胞核ラベリングユニットと、を含む。
この装置は、細胞核がラベリングされた複数のプローブチャンネルの暗視野顕微鏡画像を予め構築された循環異常細胞検出モデルに入力して、各プローブチャンネルの暗視野顕微鏡画像における各ラベリングされた細胞核に含まれる染色信号数を得るように構成された染色信号数取得モジュール４０２をさらに含む。
本開示の実施例において、選択可能な一実施例として、染色信号数取得モジュール４０２は、
細胞核がラベリングされた第１プローブチャンネルの暗視野顕微鏡画像を循環異常細胞検出モデルに入力して、当該細胞核がラベリングされた第１プローブチャンネルの暗視野顕微鏡画像における各ラベリングされた細胞核に含まれる染色信号の第１カウントを得るように構成された第１カウント取得ユニット（図示せず）と、
細胞核がラベリングされた第２プローブチャンネルの暗視野顕微鏡画像を循環異常細胞検出モデルに入力して、当該細胞核がラベリングされた第２プローブチャンネルの暗視野顕微鏡画像における各ラベリングされた細胞核に含まれる染色信号の第２カウントを得るように構成された第２カウント取得ユニットと、
細胞核がラベリングされた第３プローブチャンネルの暗視野顕微鏡画像を循環異常細胞検出モデルに入力して、当該細胞核がラベリングされた第３プローブチャンネルの暗視野顕微鏡画像における各ラベリングされた細胞核に含まれる染色信号の第３カウントを得るように構成された第３カウント取得ユニットと、
細胞核がラベリングされた第４プローブチャンネルの暗視野顕微鏡画像を循環異常細胞検出モデルに入力して、当該細胞核がラベリングされた第４プローブチャンネルの暗視野顕微鏡画像における各ラベリングされた細胞核に含まれる染色信号の第４カウントを得るように構成された第４カウント取得ユニットと、を含む。
この装置は、ラベリングされた細胞核毎に、得られた各プローブチャンネルの暗視野顕微鏡画像における当該ラベリングされた細胞核に含まれる染色信号数に基づいて、当該ラベリングされた細胞核が循環異常細胞に属するか否かを特定するように構成された細胞種類判定モジュール４０３をさらに含む。
本開示の実施例において、選択可能な一実施例として、細胞種類判定モジュール４０３は、
細胞核がラベリングされた第１プローブチャンネルの暗視野顕微鏡画像におけるラベリングされた第１細胞核に含まれる染色信号の第１カウントを取得するように構成された第１プローブチャンネルカウントユニット（図示せず）と、
細胞核がラベリングされた第２プローブチャンネルの暗視野顕微鏡画像における前記ラベリングされた第１細胞核に含まれる染色信号の第２カウントを取得するように構成された第２プローブチャンネルカウントユニットと、
細胞核がラベリングされた第３プローブチャンネルの暗視野顕微鏡画像における前記ラベリングされた第１細胞核に含まれる染色信号の第３カウントを取得するように構成された第３プローブチャンネルカウントユニットと、
細胞核がラベリングされた第４プローブチャンネルの暗視野顕微鏡画像における前記ラベリングされた第１細胞核に含まれる染色信号の第４カウントを取得するように構成された第４プローブチャンネルカウントユニットと、
前記染色信号の第１カウント、染色信号の第２カウント、染色信号の第３カウント及び染色信号の第４カウントに基づいて、前記ラベリングされた第１細胞核が循環異常細胞に属するか否かを特定するように構成された判定ユニットと、を含む。
本開示の実施例において、選択可能な一実施例として、判定ユニットは、具体的に、
前記染色信号の第１カウント、染色信号の第２カウント、染色信号の第３カウント及び染色信号の第４カウントのうち、カウント数が２以上のものが２より多い場合、前記ラベリングされた第１細胞核が循環異常細胞に属すると特定するように構成された。
本開示の実施例において、選択可能な一実施例として、判定ユニットは、さらに具体的に、
前記染色信号の第１カウント、染色信号の第２カウント、染色信号の第３カウント及び染色信号の第４カウントについて、いずれかのカウント数が２未満である場合、前記ラベリングされた第１細胞核が欠失細胞に属すると特定し、カウント数が２より大きいものが一つしかない場合、前記ラベリングされた第１細胞核が単一増幅細胞に属すると特定し、染色信号がペアで現れる場合、前記ラベリングされた第１細胞核が正常な細胞に属すると特定するように構成された。
本開示の実施例において、選択可能な一実施例として、この装置は、
画像処理アルゴリズム及び形態学的アルゴリズムを用いて、複数のプローブチャンネルの暗視野顕微鏡サンプル画像に含まれる細胞核に対してそれぞれ分割及びラベリングを行い、細胞核がラベリングされたプローブチャンネルの暗視野顕微鏡サンプル画像を分割して、複数の細胞核サンプル画像を得て、
細胞核サンプル画像毎に、当該細胞核サンプル画像に対して複数回の畳み込み処理を行い、それぞれ第１特徴画像、第２特徴画像、第３特徴画像及び第４特徴画像を得て、
第４特徴画像に対して畳み込み処理を行い、第５特徴画像を得て、第５特徴画像に対してアップサンプリングを行い、第６特徴画像を得て、
第３特徴画像と第６特徴画像に対して畳み込み処理を行い、第７特徴画像を得て、第７特徴画像に対してアップサンプリングを行い、第８特徴画像を得て、
第２特徴画像と第８特徴画像に対して畳み込み処理を行い、第９特徴画像を得て、第９特徴画像に対してアップサンプリングを行い、第１０特徴画像を得て、
第１特徴画像と第１０特徴画像に対して畳み込み処理を行い、第１１特徴画像を得て、
各細胞核サンプル画像をネットワークの入力とし、第７特徴画像、第９特徴画像及び第１１特徴画像をディープラーニングネットワークの出力の３つのスケールの予測結果として融合し、最終的に細胞核サンプル画像におけるラベリングされた細胞核に含まれる染色信号数をディープラーニングネットワークの出力として、ディープラーニングネットワークに対してトレーニング及びテストを行い、循環異常細胞検出モデルを得るように構成された検出モデル構築モジュール（図示せず）をさらに含む。
本開示の実施例において、選択可能な一実施例として、前記した、当該細胞核サンプル画像に対して複数回の畳み込み処理を行い、それぞれ第１特徴画像、第２特徴画像、第３特徴画像及び第４特徴画像を得ることは、
細胞核サンプル画像に対して第１畳み込み層、第２畳み込み層、第３畳み込み層及び第４畳み込み層による畳み込み処理を順次行い、第１特徴画像を得ることと、
第１特徴画像に対して第５畳み込み層及び第６畳み込み層による畳み込み処理を行い、第２特徴画像を得ることと、
第２特徴画像に対して第７畳み込み層及び第８畳み込み層による畳み込み処理を行い、第３特徴画像を得ることと、
第３特徴画像に対して第９畳み込み層及び第１０畳み込み層による畳み込み処理を行い、第４特徴画像を得ることと、を含む。
本開示の実施例において、選択可能な一実施例として、前記した、細胞核サンプル画像に対して第１畳み込み層、第２畳み込み層、第３畳み込み層及び第４畳み込み層による畳み込み処理を順次行い、第１特徴画像を得ることは、
前記細胞核サンプル画像サイズは３２０＊３２０であり、第１畳み込み層は、畳み込みカーネル数が３２、畳み込みカーネルサイズが３＊３、ストライドが１、出力される特徴画像のサイズが３２０＊３２０であることと、
第２畳み込み層は、第１サブ畳み込み層及び第２サブ畳み込み層を含み、第１サブ畳み込み層は、深さ方向分離可能畳み込みを採用し、畳み込みカーネル数が３２、畳み込みカーネルサイズが３＊３、ストライドが２、出力される特徴画像のサイズが１６０＊１６０であり、第２サブ畳み込み層は、畳み込みカーネル数が６４、畳み込みカーネルサイズが１＊１、ストライドが１、出力される特徴画像のサイズが１６０＊１６０であることと、
第３畳み込み層は、第３サブ畳み込み層及び第４サブ畳み込み層を含み、第３サブ畳み込み層は、深さ方向分離可能畳み込みを採用し、畳み込みカーネル数が６４、畳み込みカーネルサイズが３＊３、ストライドが１、出力される特徴画像のサイズが１６０＊１６０であり、第４サブ畳み込み層は、畳み込みカーネル数が１２８、畳み込みカーネルサイズが１＊１、ストライドが２、出力される特徴画像のサイズが８０＊８０であることと、
第４畳み込み層は、第５サブ畳み込み層及び第６サブ畳み込み層を含み、第５サブ畳み込み層は、深さ方向分離可能畳み込みを採用し、畳み込みカーネル数が１２８、畳み込みカーネルサイズが３＊３、ストライドが１、出力される特徴画像のサイズが８０＊８０であり、第６サブ畳み込み層は、畳み込みカーネル数が１２８、畳み込みカーネルサイズが１＊１、ストライドが１、出力される特徴画像のサイズが８０＊８０であり、第６サブ畳み込み層から出力される特徴画像が第１特徴画像であることと、を含む。
図５に示すように、本開示の一実施例は、図１の循環異常細胞を検出する方法を実行するように構成されたコンピュータ装置５００を提供する。この装置は、メモリ５０１と、プロセッサ５０２と、当該メモリ５０１に記憶され、当該プロセッサ５０２で実行可能なコンピュータプログラムとを含み、前記プロセッサ５０２が前記コンピュータプログラムを実行すると、上述した循環異常細胞を検出する方法のステップを実現させる。
具体的に、上記メモリ５０１及びプロセッサ５０２は、汎用のメモリ及びプロセッサであってよく、ここで特に限定されず、プロセッサ５０２がメモリ５０１に記憶されたコンピュータプログラムを実行すると、上述した循環異常細胞を検出する方法を実行させることができる。
図１の循環異常細胞を検出する方法に対応して、本開示の実施例は、コンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体であって、当該コンピュータプログラムがプロセッサにより実行されると、上述した循環異常細胞を検出する方法のステップを実行させるコンピュータ読み取り可能な記憶媒体をさらに提供する。
具体的に、この記憶媒体は、汎用の記憶媒体であってもよく、例えばリムーバブル磁気ディスク及び／又はハードディスク等であり、この記憶媒体におけるコンピュータプログラムが実行されると、上述した循環異常細胞を検出する方法を実行させることができる。
本開示に開示された実施例において、開示されたシステム及び方法は他の方式で実装可能であることは理解されるべきである。上記説明したシステムの実施例は例示的なものに過ぎず、例えば、前記ユニットの区画は、論理機能による区画であり、実際に実装される場合には、別の区画方式があってもよい。また例えば、複数のユニット又はコンポーネントを組み合わせたり別のシステムに集積したりするようにしてもよく、又は、一部の構成を削除するまたは実行しないようにしてもよい。また、表示または説明されている相互間の結合、直接結合、又は通信接続は、一部の通信インタフェース、システム又はユニット間の間接結合又は通信接続であってもよく、電気的、機械的又は他の形式であってもよい。
個別の部材として記述されているユニットは、物理的に分離されていてもよく、分離されなくてもよい。ユニットとして表示される部材は、物理ユニットであってもよく、物理ユニットでなくてもよく、すなわち、一箇所に配置されてもよく、又は複数のネットワークユニットに分散されてもよい。実際の必要に応じてそのうちの一部又は全部のユニットを選択して本実施例の技術案の目的を達成することができる。
また、本開示による各実施例における各機能ユニットは、１つの処理ユニットに集積されてもよく、各ユニットが物理的に単独で存在してもよく、２つ又は２つ以上のユニットが１つのユニットに集積されていてもよい。
前記機能は、ソフトウェア機能ユニットの形式で実装され且つ独立した製品として販売又は使用される場合、コンピュータ読み取り可能な記憶媒体に記憶することができる。このような理解に基づいて、本開示の技術案は、実質的に、又は従来技術に寄与する部分、又は当該技術案の一部はソフトウェア製品の形式で具現化されることが可能である。当該コンピュータソフトウェア製品は、１つの記憶媒体に記憶され、コンピュータ装置（パーソナルコンピュータ、サーバ、又はネットワーク装置などであってもよい）が本開示の各実施例に記載の方法の全て又は一部のステップを実行するための複数の命令を含む。上述した記憶媒体は、Ｕディスク、リムーバブルハードディスク、読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスク又は光ディスクなどの、プログラムコードを記憶可能な様々な媒体を含む。
なお、類似する符号及びアルファベットは、以下の図面において類似する項目を表すため、ある項目が１つの図面において定義されると、後の図面においてそれをさらに定義及び解釈する必要がない。また、「第１」、「第２」及び「第３」などの用語は、区別して説明するためにのみ用いられ、相対的な重要性を指示又は暗示するものと理解すべきではない。
なお、以上の実施例は、本開示の具体的な実施形態に過ぎず、本開示の技術案を説明するためのものであり、それを限定するものではなく、本開示の保護範囲はこれに限定されるものではない。上述した実施例を参照して本開示を詳細に説明したが、当業者であれば、本技術分野に精通している任意の当業者が、本開示に開示された技術範囲内において、依然として上述した実施例に記載された技術案に対して、修正又は容易に想到し得る変更を行うか、又はそのうちの一部の構成を同等置換することができることは理解すべきである。これらの修正、変更又は置換は、かかる技術案の本質を本開示の実施例の技術案の精神及び範囲から逸脱させるものではなく、いずれも本開示の保護範囲内に含まれるべきである。したがって、本開示の保護範囲は請求項の保護範囲を基準とすべきである。

Claims (10)

  1. 画像処理アルゴリズム及び形態学的アルゴリズムを用いて、複数のプローブチャンネルの暗視野顕微鏡画像に含まれる細胞核に対してそれぞれ分割及びラベリングを行い、前記形態学的アルゴリズムはハフ円検出アルゴリズム、閉演算及び／又は開演算を含むことと、
    細胞核がラベリングされた複数のプローブチャンネルの暗視野顕微鏡画像を予め構築された循環異常細胞検出モデルに入力して、各プローブチャンネルの暗視野顕微鏡画像における各ラベリングされた細胞核に含まれる染色信号数を得ることと、
    ラベリングされた細胞核毎に、得られた各プローブチャンネルの暗視野顕微鏡画像における前記ラベリングされた細胞核に含まれる染色信号数に基づいて、前記ラベリングされた細胞核が循環異常細胞に属するか否かを特定することと、を含み、
    分割して得られた細胞核サンプル画像に対して複数回の畳み込み処理を行い、それぞれのスケールがより小さい複数の異なるスケールの特徴画像を取得し、前記スケールがより小さい特徴画像に対して畳み込み処理およびアップサンプリング処理を行って得られた複数のスケールの特徴画像を融合することにより、前記循環異常細胞検出モデルを予め構築する、ことを特徴とする循環異常細胞を検出する方法。
  2. 前記循環異常細胞検出モデルを構築することは、
    画像処理アルゴリズム及び形態学的アルゴリズムを用いて、複数のプローブチャンネルの暗視野顕微鏡サンプル画像に含まれる細胞核に対してそれぞれ分割及びラベリングを行い、細胞核がラベリングされたプローブチャンネルの暗視野顕微鏡サンプル画像を分割して、複数の細胞核サンプル画像を得ることと、
    細胞核サンプル画像毎に、前記細胞核サンプル画像に対して複数回の畳み込み処理を行い、それぞれ第１特徴画像、第２特徴画像、第３特徴画像及び第４特徴画像を得ることと、
    第４特徴画像に対して畳み込み処理を行い、第５特徴画像を得て、第５特徴画像に対してアップサンプリングを行い、第６特徴画像を得ることと、
    第３特徴画像と第６特徴画像に対して畳み込み処理を行い、第７特徴画像を得て、第７特徴画像に対してアップサンプリングを行い、第８特徴画像を得ることと、
    第２特徴画像と第８特徴画像に対して畳み込み処理を行い、第９特徴画像を得て、第９特徴画像に対してアップサンプリングを行い、第１０特徴画像を得ることと、
    第１特徴画像と第１０特徴画像に対して畳み込み処理を行い、第１１特徴画像を得ることと、
    各細胞核サンプル画像をディープラーニングネットワークの入力とし、第７特徴画像、第９特徴画像及び第１１特徴画像をディープラーニングネットワークの出力の３つのスケールの予測結果として融合し、最終的に細胞核サンプル画像におけるラベリングされた細胞核に含まれる染色信号数をディープラーニングネットワークの出力として、ディープラーニングネットワークに対してトレーニング及びテストを行い、循環異常細胞検出モデルを得ることと、を含むことを特徴とする請求項１に記載の循環異常細胞を検出する方法。
  3. 前記した、前記細胞核サンプル画像に対して複数回の畳み込み処理を行い、それぞれ第１特徴画像、第２特徴画像、第３特徴画像及び第４特徴画像を得ることは、
    細胞核サンプル画像に対して第１畳み込み層、第２畳み込み層、第３畳み込み層及び第４畳み込み層による畳み込み処理を順次行い、第１特徴画像を得ることと、
    第１特徴画像に対して第５畳み込み層及び第６畳み込み層による畳み込み処理を行い、第２特徴画像を得ることと、
    第２特徴画像に対して第７畳み込み層及び第８畳み込み層による畳み込み処理を行い、第３特徴画像を得ることと、
    第３特徴画像に対して第９畳み込み層及び第１０畳み込み層による畳み込み処理を行い、第４特徴画像を得ることと、を含むことを特徴とする請求項２に記載の循環異常細胞を検出する方法。
  4. 前記した、細胞核サンプル画像に対して第１畳み込み層、第２畳み込み層、第３畳み込み層及び第４畳み込み層による畳み込み処理を順次行い、第１特徴画像を得ることは、
    前記細胞核サンプル画像サイズは３２０＊３２０であり、第１畳み込み層は、畳み込みカーネル数が３２、畳み込みカーネルサイズが３＊３、ストライドが１、出力される特徴画像のサイズが３２０＊３２０であることと、
    第２畳み込み層は、第１サブ畳み込み層及び第２サブ畳み込み層を含み、第１サブ畳み込み層は、畳み込みカーネル数が３２、畳み込みカーネルサイズが３＊３、ストライドが２、出力される特徴画像のサイズが１６０＊１６０であり、第２サブ畳み込み層は、畳み込みカーネル数が６４、畳み込みカーネルサイズが１＊１、ストライドが１、出力される特徴画像のサイズが１６０＊１６０であることと、
    第３畳み込み層は、第３サブ畳み込み層及び第４サブ畳み込み層を含み、第３サブ畳み込み層は、畳み込みカーネル数が６４、畳み込みカーネルサイズが３＊３、ストライドが１、出力される特徴画像のサイズが１６０＊１６０であり、第４サブ畳み込み層は、畳み込みカーネル数が１２８、畳み込みカーネルサイズが１＊１、ストライドが２、出力される特徴画像のサイズが８０＊８０であることと、
    第４畳み込み層は、第５サブ畳み込み層及び第６サブ畳み込み層を含み、第５サブ畳み込み層は、畳み込みカーネル数が１２８、畳み込みカーネルサイズが３＊３、ストライドが１、出力される特徴画像のサイズが８０＊８０であり、第６サブ畳み込み層は、畳み込みカーネル数が１２８、畳み込みカーネルサイズが１＊１、ストライドが１、出力される特徴画像のサイズが８０＊８０であり、第６サブ畳み込み層から出力される特徴画像が第１特徴画像であることと、を含むことを特徴とする請求項３に記載の循環異常細胞を検出する方法。
  5. 前記した、画像処理アルゴリズム及び形態学的アルゴリズムを用いて、複数のプローブチャンネルの暗視野顕微鏡画像に含まれる細胞核に対してそれぞれ分割及びラベリングを行うことは、
    プローブチャンネルの暗視野顕微鏡画像毎に、前記暗視野顕微鏡画像に対してガウスカーネルによるフィルタリングを行い、ノイズ除去画像を得ることと、
    ノイズ除去画像に対して連結領域ラベリングを行い、ラベリングされた連結領域を取得することと、
    形態学的アルゴリズムを用いて、取得された連結領域を分割し、且つ分割して得られた領域に対してラベリングを行い、ラベリングされた細胞核を得ることと、を含むことを特徴とする請求項１～４のいずれか１項に記載の循環異常細胞を検出する方法。
  6. 前記した、細胞核がラベリングされた複数のプローブチャンネルの暗視野顕微鏡画像を予め構築された循環異常細胞検出モデルに入力して、各プローブチャンネルの暗視野顕微鏡画像における各ラベリングされた細胞核に含まれる染色信号数を得ることは、
    細胞核がラベリングされた第１プローブチャンネルの暗視野顕微鏡画像を循環異常細胞検出モデルに入力して、前記細胞核がラベリングされた第１プローブチャンネルの暗視野顕微鏡画像における各ラベリングされた細胞核に含まれる染色信号の第１カウントを得ることと、
    細胞核がラベリングされた第２プローブチャンネルの暗視野顕微鏡画像を循環異常細胞検出モデルに入力して、前記細胞核がラベリングされた第２プローブチャンネルの暗視野顕微鏡画像における各ラベリングされた細胞核に含まれる染色信号の第２カウントを得ることと、
    細胞核がラベリングされた第３プローブチャンネルの暗視野顕微鏡画像を循環異常細胞検出モデルに入力して、前記細胞核がラベリングされた第３プローブチャンネルの暗視野顕微鏡画像における各ラベリングされた細胞核に含まれる染色信号の第３カウントを得ることと、
    細胞核がラベリングされた第４プローブチャンネルの暗視野顕微鏡画像を循環異常細胞検出モデルに入力して、前記細胞核がラベリングされた第４プローブチャンネルの暗視野顕微鏡画像における各ラベリングされた細胞核に含まれる染色信号の第４カウントを得ることと、を含むことを特徴とする請求項１～４のいずれか１項に記載の循環異常細胞を検出する方法。
  7. 前記した、ラベリングされた細胞核毎に、得られた各プローブチャンネルの暗視野顕微鏡画像における前記ラベリングされた細胞核に含まれる染色信号数に基づいて、前記ラベリングされた細胞核が循環異常細胞に属するか否かを特定することは、
    細胞核がラベリングされた第１プローブチャンネルの暗視野顕微鏡画像におけるラベリングされた第１細胞核に含まれる染色信号の第１カウントを取得することと、
    細胞核がラベリングされた第２プローブチャンネルの暗視野顕微鏡画像における前記ラベリングされた第１細胞核に含まれる染色信号の第２カウントを取得することと、
    細胞核がラベリングされた第３プローブチャンネルの暗視野顕微鏡画像における前記ラベリングされた第１細胞核に含まれる染色信号の第３カウントを取得することと、
    細胞核がラベリングされた第４プローブチャンネルの暗視野顕微鏡画像における前記ラベリングされた第１細胞核に含まれる染色信号の第４カウントを取得することと、
    前記染色信号の第１カウント、染色信号の第２カウント、染色信号の第３カウント及び染色信号の第４カウントに基づいて、前記ラベリングされた第１細胞核が循環異常細胞に属するか否かを特定することと、を含むとを特徴とする請求項６に記載の循環異常細胞を検出する方法。
  8. 画像処理アルゴリズム及び形態学的アルゴリズムを用いて、複数のプローブチャンネルの暗視野顕微鏡画像に含まれる細胞核に対してそれぞれ分割及びラベリングを行い、前記形態学的アルゴリズムはハフ円検出アルゴリズム、閉演算及び／又は開演算を含むように構成された細胞核ラベリングモジュールと、
    細胞核がラベリングされた複数のプローブチャンネルの暗視野顕微鏡画像を予め構築された循環異常細胞検出モデルに入力して、各プローブチャンネルの暗視野顕微鏡画像における各ラベリングされた細胞核に含まれる染色信号数を得るように構成された染色信号数取得モジュールと、
    ラベリングされた細胞核毎に、得られた各プローブチャンネルの暗視野顕微鏡画像における前記ラベリングされた細胞核に含まれる染色信号数に基づいて、前記ラベリングされた細胞核が循環異常細胞に属するか否かを特定するように構成された細胞種類判定モジュールと、を含み、
    分割して得られた細胞核サンプル画像に対して複数回の畳み込み処理を行い、それぞれのスケールがより小さい複数の異なるスケールの特徴画像を取得し、前記スケールがより小さい特徴画像に対して畳み込み処理およびアップサンプリング処理を行って得られた複数のスケールの特徴画像を融合することにより、前記循環異常細胞検出モデルを予め構築する、ことを特徴とする循環異常細胞を検出する装置。
  9. 電子機器であって、
    プロセッサと、
    前記プロセッサにより実行可能な機械可読命令が記憶されたメモリと、
    バスと、を含み、
    電子機器が動作すると、前記プロセッサと前記メモリとはバスを介して通信し、前記機械可読命令が前記プロセッサにより実行されると、請求項１～７のいずれか１項に記載の循環異常細胞を検出する方法のステップを実行させることを特徴とする電子機器。
  10. コンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムがプロセッサにより実行されると、請求項１～７のいずれか１項に記載の循環異常細胞を検出する方法のステップを実行させることを特徴とするコンピュータ読み取り可能な記憶媒体。
JP2022580447A 2020-06-23 2020-12-04 循環異常細胞を検出する方法及び装置 Active JP7449420B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010585145.8A CN111739010B (zh) 2020-06-23 2020-06-23 一种检测循环异常细胞的方法及装置
CN202010585145.8 2020-06-23
PCT/CN2020/133954 WO2021258651A1 (zh) 2020-06-23 2020-12-04 一种检测循环异常细胞的方法及装置

Publications (2)

Publication Number Publication Date
JP2023532483A JP2023532483A (ja) 2023-07-28
JP7449420B2 true JP7449420B2 (ja) 2024-03-13

Family

ID=72650824

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022580447A Active JP7449420B2 (ja) 2020-06-23 2020-12-04 循環異常細胞を検出する方法及び装置

Country Status (5)

Country Link
US (1) US11880974B2 (ja)
EP (1) EP4170583A4 (ja)
JP (1) JP7449420B2 (ja)
CN (1) CN111739010B (ja)
WO (1) WO2021258651A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111739010B (zh) * 2020-06-23 2022-06-24 珠海圣美生物诊断技术有限公司 一种检测循环异常细胞的方法及装置
CN114066818B (zh) * 2021-10-23 2023-04-07 广州市艾贝泰生物科技有限公司 细胞检测分析方法、装置、计算机设备和存储介质
CN114049330A (zh) * 2021-11-16 2022-02-15 长春理工大学 一种荧光原位杂交图像中荧光特征融合方法及系统
CN114085911B (zh) * 2022-01-19 2022-05-17 珠海圣美生物诊断技术有限公司 一种检测肿瘤细胞或肿瘤细胞碎片的方法
CN114739970B (zh) * 2022-06-09 2022-09-16 珠海横琴圣澳云智科技有限公司 荧光信号点断裂判定方法和装置
CN115035518B (zh) * 2022-08-11 2022-11-01 珠海横琴圣澳云智科技有限公司 细胞核图像中荧光染色信号点的识别方法和装置
CN115100648B (zh) * 2022-08-25 2022-11-29 珠海横琴圣澳云智科技有限公司 细胞显微图像中多通道荧光杂质的滤除方法和装置
CN115201092B (zh) * 2022-09-08 2022-11-29 珠海圣美生物诊断技术有限公司 细胞扫描图像的获取方法和装置
CN116188463A (zh) * 2023-04-24 2023-05-30 中国科学院长春光学精密机械与物理研究所 Fish图像信号自动检测分析方法、装置、设备以及介质
CN116309543B (zh) * 2023-05-10 2023-08-11 北京航空航天大学杭州创新研究院 基于图像的循环肿瘤细胞检测设备
CN117496512B (zh) * 2024-01-02 2024-03-22 广州锟元方青医疗科技有限公司 宫颈tct切片的多类型细胞核标注及多任务处理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019513228A (ja) 2016-03-07 2019-05-23 エックス−ゼル インコーポレイテッド 希少細胞を同定する組成物及び方法
CN111175267A (zh) 2020-01-18 2020-05-19 珠海圣美生物诊断技术有限公司 基于fish技术的细胞判读方法和系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100317002A1 (en) * 2007-10-11 2010-12-16 Bioview Ltd. Methods and kits for diagnosing lung cancer
CN102270307B (zh) * 2011-06-24 2013-06-05 福州大学 肿瘤癌变细胞fish基因状态自动检测方法
CN102682305B (zh) * 2012-04-25 2014-07-02 深圳市迈科龙医疗设备有限公司 宫颈液基细胞学自动筛查方法和系统
CN106296635B (zh) * 2015-05-29 2019-11-22 厦门鹭佳生物科技有限公司 一种荧光原位杂交(fish)图像并行处理与分析方法
JP7198577B2 (ja) * 2017-11-17 2023-01-04 シスメックス株式会社 画像解析方法、装置、プログラムおよび学習済み深層学習アルゴリズムの製造方法
CN109523520B (zh) * 2018-10-25 2020-12-18 北京大学第三医院 一种基于深度学习的染色体自动计数方法
CN109991205A (zh) * 2019-05-05 2019-07-09 中国科学院重庆绿色智能技术研究院 一种循环肿瘤细胞的计数算法及应用
CN110501278B (zh) 2019-07-10 2021-04-30 同济大学 一种基于YOLOv3和密度估计的细胞计数方法
CN111126162A (zh) * 2019-11-28 2020-05-08 东软集团股份有限公司 一种识别图像中炎症细胞的方法、装置及存储介质
EP4081979A1 (en) * 2019-12-23 2022-11-02 Lunglife Ai, Inc. Systems and methods for designing accurate fluorescence in-situ hybridization probe detection on microscopic blood cell images using machine learning
CN111739010B (zh) 2020-06-23 2022-06-24 珠海圣美生物诊断技术有限公司 一种检测循环异常细胞的方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019513228A (ja) 2016-03-07 2019-05-23 エックス−ゼル インコーポレイテッド 希少細胞を同定する組成物及び方法
CN111175267A (zh) 2020-01-18 2020-05-19 珠海圣美生物诊断技术有限公司 基于fish技术的细胞判读方法和系统

Also Published As

Publication number Publication date
EP4170583A1 (en) 2023-04-26
CN111739010A (zh) 2020-10-02
EP4170583A4 (en) 2023-12-27
CN111739010B (zh) 2022-06-24
US20230306588A1 (en) 2023-09-28
WO2021258651A1 (zh) 2021-12-30
JP2023532483A (ja) 2023-07-28
US11880974B2 (en) 2024-01-23

Similar Documents

Publication Publication Date Title
JP7449420B2 (ja) 循環異常細胞を検出する方法及び装置
Moshavash et al. An automatic and robust decision support system for accurate acute leukemia diagnosis from blood microscopic images
Kumar et al. Automated detection of acute leukemia using k-mean clustering algorithm
JP6503382B2 (ja) 血液学用デジタルホログラフィ顕微鏡検査データ分析
JP5315411B2 (ja) 有糸分裂像検出装置および計数システム、および有糸分裂像を検出して計数する方法
Roy et al. Segmentation of leukocyte by semantic segmentation model: A deep learning approach
Ahirwar et al. Advanced image analysis based system for automatic detection and classification of malarial parasite in blood images
Xu et al. Using transfer learning on whole slide images to predict tumor mutational burden in bladder cancer patients
Ganapathy et al. CometQ: An automated tool for the detection and quantification of DNA damage using comet assay image analysis
US20230041229A1 (en) Systems and methods for designing accurate fluorescence in-situ hybridization probe detection on microscopic blood cell images using machine learning
EP3895122A1 (en) Systems and methods for automated cell segmentation and labeling in immunofluorescence microscopy
Sulaiman et al. Improvement of features extraction process and classification of cervical cancer for the neuralpap system
Safca et al. Image processing techniques to identify red blood cells
Depto et al. Automatic segmentation of blood cells from microscopic slides: a comparative analysis
Mayrose et al. Intelligent algorithm for detection of dengue using mobilenetv2‐based deep features with lymphocyte nucleus
Tsaku et al. Texture-based deep learning for effective histopathological cancer image classification
Sunny et al. Oral epithelial cell segmentation from fluorescent multichannel cytology images using deep learning
CN112703531A (zh) 生成组织图像的注释数据
Hortinela IV et al. Development of abnormal red blood cells classifier using image processing techniques with support vector machine
US10902256B2 (en) Predicting response to immunotherapy using computer extracted features relating to spatial arrangement of tumor infiltrating lymphocytes in non-small cell lung cancer
US11461891B2 (en) Phenotyping tumor infiltrating lymphocytes on hematoxylin and eosin (HandE) stained tissue images to predict recurrence in lung cancer
Fakhouri et al. A hybrid methodology for automation the diagnosis of leukemia based on quantitative and morphological feature analysis
Guo et al. A novel 2D ground-glass opacity detection method through local-to-global multilevel thresholding for segmentation and minimum bayes risk learning for classification
Nugroho et al. A combination of optimized threshold and deep learning-based approach to improve malaria detection and segmentation on PlasmoID dataset
Abinaya et al. A systematic review: Intellectual detection and prediction of cancer using dl techniques

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240301

R150 Certificate of patent or registration of utility model

Ref document number: 7449420

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150