JP7072049B2 - コンボリューショナル・ニューラルを用いた、ホログラフィック顕微鏡で取得した細胞画像の品質の識別方法 - Google Patents
コンボリューショナル・ニューラルを用いた、ホログラフィック顕微鏡で取得した細胞画像の品質の識別方法 Download PDFInfo
- Publication number
- JP7072049B2 JP7072049B2 JP2020508555A JP2020508555A JP7072049B2 JP 7072049 B2 JP7072049 B2 JP 7072049B2 JP 2020508555 A JP2020508555 A JP 2020508555A JP 2020508555 A JP2020508555 A JP 2020508555A JP 7072049 B2 JP7072049 B2 JP 7072049B2
- Authority
- JP
- Japan
- Prior art keywords
- pixels
- images
- microscope
- image
- focus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001537 neural effect Effects 0.000 title description 2
- 238000000034 method Methods 0.000 claims description 56
- 238000013527 convolutional neural network Methods 0.000 claims description 32
- 238000001000 micrograph Methods 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 18
- 238000010801 machine learning Methods 0.000 claims description 13
- 230000003044 adaptive effect Effects 0.000 claims description 10
- 230000007717 exclusion Effects 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 6
- 230000001413 cellular effect Effects 0.000 claims description 6
- 239000002131 composite material Substances 0.000 claims 2
- 210000004027 cell Anatomy 0.000 description 56
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000000605 extraction Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 210000000265 leukocyte Anatomy 0.000 description 3
- 238000000386 microscopy Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 238000013467 fragmentation Methods 0.000 description 2
- 238000006062 fragmentation reaction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241001272996 Polyphylla fullo Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000000601 blood cell Anatomy 0.000 description 1
- 238000004820 blood count Methods 0.000 description 1
- 238000010365 cell imaging technique Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
- G03H1/0866—Digital holographic imaging, i.e. synthesizing holobjects from holograms
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/241—Devices for focusing
- G02B21/244—Devices for focusing using image analysis techniques
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/993—Evaluation of the quality of the acquired pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
- G03H2001/005—Adaptation of holography to specific applications in microscopy, e.g. digital holographic microscope [DHM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20216—Image averaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Optics & Photonics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Image Analysis (AREA)
- Microscoopes, Condenser (AREA)
Description
本出願は、米国特許法第371条に基づき、2018年7月6日付けで出願された国際特許出願番号PCT/EP2018/068345号の国内段階の移行に関し、上記国際特許出願の開示を参照により本明細書に援用する。
本出願は、2017年8月15日に出願された米国仮出願第62/545,517号に基づく優先権を主張するものであり、上記仮特許出願の開示を参照により本明細書に援用する。
したがって、品質の良い細胞画像を識別できることが重要である。
本発明の上記態様及び他の態様については、添付図面を参照して、以下の詳細な説明から最良に理解できる。本発明を例示するために、図面には現在好適な実施形態が示されているが、本発明は開示された特定の手段に限定されないことを理解されたい。図面には以下の図が含まれている。
310 顕微鏡画像
320 ピクセルの組(ピクセルのセット)
325 画像品質ラベル(画質ラベル)
330 コンボリューショナル・ニューラル・ネットワーク(CNN)
335 重み付け(ウエイト)
340 多層構造(マルチ・レイヤ・アーキテクチャ)
833 マシーン・ラーニング・モデル(機械学習モデル)
835 焦点距離調整
845 実行可能命令
910 ホログラフィック顕微鏡(DHM)
Claims (19)
- 焦点の合っていない顕微鏡画像を検出するためにコンピュータを用いて行われる方法であって、
細胞を描出する複数の顕微鏡画像を取得するステップと、
前記複数の顕微鏡画像から1つまたは複数のピクセルの組を抽出するステップであって、この際、前記ピクセルの組のそれぞれが独立した細胞に対応するステップと、
前記独立した細胞の焦点が合っている度合いを示す、複数の画像品質ラベルのうちの1つを、前記ピクセルの組のそれぞれに割り当てるステップと、
前記ピクセルの組を前記複数の画像品質ラベルに分類するために分類器を訓練するステップであって、この際、前記分類器は多層構造に従って構成され、前記訓練の結果として前記多層構造中の層を接続するための複数の重み付けを決定するステップと、
前記多層構造、前記複数の重み付け、および前記複数の画像品質ラベルに基づいて、前記分類器の配備を作成するステップ、とを有する方法であって、
前記複数の顕微鏡画像ら前記1つまたは複数のピクセルの組を抽出する際、
前記複数の顕微鏡画像を平均化して、平均画像を生成し、
前記複数の顕微鏡画像から前記平均画像を差し引いて、複数の変換された顕微鏡画像を生成し、
前記複数の変換された顕微鏡画像に対して適応性のある閾値設定を適用して、複数の閾値設定された顕微鏡画像を生成し、
前記複数の閾値設定された顕微鏡画像に対して1つまたは複数の除外基準を適用して、非細胞成分に対応する前記複数の閾値設定された顕微鏡画像から1つまたは複数のピクセルの組を除外し、
前記除外基準の適用後、前記複数の閾値設定された顕微鏡画像に対して接続成分の分析を適用して、独立した細胞に対応する前記1つまたは複数のピクセルの組を識別し、
前記複数の閾値設定された顕微鏡画像から前記1つまたは複数のピクセルの組を切り取る、
各ステップを用いる、方法。 - 前記分類器が、コンボリューショナル・ニューラル・ネットワークである、請求項1に記載の方法。
- 前記顕微鏡画像が、合成画像であって、
ディープ・コンボリューショナル敵対的生成ネットワーク(DCGAN)を使用して、前記画像の組の訓練に基づいて複数の異なる焦点で前記合成画像を生成する、請求項1に記載の方法。 - 前記除外基準が、前記複数の閾値設定された顕微鏡画像中の非細胞成分の、幅、高さ、アスペクト比、および円形度の内の1つまたは複数を含む、請求項1から3のいずれか1項に記載の方法。
- 前記複数の顕微鏡画像から前記1つまたは複数のピクセルの組を抽出する際、
前記複数の顕微鏡画像中の前記ピクセルの組を識別するために1つまたは複数のマシーン・ラーニング・モデルを適用し、
前記複数の顕微鏡画像から前記1つまたは複数のピクセルの組を切り取る、
各ステップを用いる、請求項1から4のいずれか1項に記載の方法。 - 前記マシーン・ラーニング・モデルが、確率的ブースティング・ツリー・モデルおよびディープ・コンボリューショナル・ニューラル・ネットワークの1つまたは複数を含む、請求項5に記載の方法。
- 分類器の配備は、(i)多層構造、(ii)複数の重み付け、(iii)複数の画像品質ラベルを記述する1つまたは複数のファイルを含む、請求項1から6のいずれか1項に記載の方法。
- 前記複数の顕微鏡画像が、ホログラフィック顕微鏡(DHM)画像である、請求項1から7のいずれか1項に記載の方法。
- 複数の画像品質ラベルが、焦点の合っている画像または焦点の合っていない画像をそれぞれ示す2つの値から構成される、請求項1から8のいずれか1項に記載の方法。
- 前記複数の画像品質ラベルが、最も悪い画像の品質を示す最小値と最も良い画像の品質を示す最大値との間で2つ以上の値からなる範囲を含む、請求項1から9のいずれか1項に記載の方法。
- 顕微鏡装置の適応性のある焦点合わせをコンピュータを用いて行う方法であって、
顕微鏡装置を用いて細胞を描出する複数の顕微鏡画像の取得するステップと、
前記複数の顕微鏡画像から1つまたは複数のピクセルの組を抽出するステップであって、この際、前記ピクセルの組のそれぞれが独立した細胞に対応するステップと、
訓練された分類器を用いて、独立した細胞の焦点が合っている程度を示す、複数の画像品質ラベルのうちの1つを、前記ピクセルの組のそれぞれに割り当てるステップと、
前記ピクセルの組に対応する前記画像品質ラベルが、細胞の焦点が合っていないことを示す場合、訓練されたマシーン・ラーニング・モデルを用いて、前記顕微鏡装置の焦点を調整するために焦点距離調整を決定するステップと、
前記焦点距離調整を行うために、前記顕微鏡装置に実行可能命令を送るステップ、とを有する方法であって、
前記複数の顕微鏡画像ら前記1つまたは複数のピクセルの組を抽出する際、
前記複数の顕微鏡画像を平均化して、平均画像を生成し、
前記複数の顕微鏡画像から前記平均画像を差し引いて、複数の変換された顕微鏡画像を生成し、
前記複数の変換された顕微鏡画像に対して適応性のある閾値設定を適用して、複数の閾値設定された顕微鏡画像を生成し、
前記複数の閾値設定された顕微鏡画像に対して1つまたは複数の除外基準を適用して、非細胞成分に対応する前記複数の閾値設定された顕微鏡画像から1つまたは複数のピクセルの組を除外し、
前記除外基準の適用後、前記複数の閾値設定された顕微鏡画像に対して接続成分の分析を適用して、独立した細胞に対応する前記1つまたは複数のピクセルの組を識別し、
前記複数の閾値設定された顕微鏡画像から前記1つまたは複数のピクセルの組を切り取る、
各ステップを用いる、方法。 - (i)訓練画像の組、(ii)焦点の品質のラベル、および(iii)各訓練画像の取得に用いられる焦点距離の指標を用いて、前記マシーン・ラーニング・モデルが訓練される、請求項11に記載の方法。
- 前記訓練された分類器が、コンボリューショナル・ニューラル・ネットワークである、請求項11に記載の方法。
- 前記顕微鏡装置が、ホログラフィック顕微鏡(DHM)である、請求項11に記載の方法。
- 前記複数の画像品質ラベルが、焦点の合っている画像または焦点の合っていない画像をそれぞれ示す2つの値から構成される、請求項11から14のいずれか1項に記載の方法。
- 複数の画像の品質ラベルが、最も悪い画像の品質を示す最小値と、最も良い画像の品質を示す最大値との間で2つ以上の値からなる範囲を含む、請求項11から15のいずれか1項に記載の方法。
- 顕微鏡装置の適応性のある焦点合わせを行うシステムであって、
細胞を描出する複数の顕微鏡画像を取得するように構成された顕微鏡装置と、
命令を実行する1つまたは複数のプロセッサとを含み、この際、前記命令によって行われる方法は、
前記複数の顕微鏡画像から1つまたは複数のピクセルの組を抽出するステップであって、この際、前記ピクセルの組のそれぞれは独立した細胞に対応するステップと、
訓練された分類器を用いて、独立した細胞の焦点が合っている度合いを示す、複数の画像品質ラベルのうちの1つを、前記ピクセルの組のそれぞれに割り当てるステップと、
前記ピクセルの組に対応する前記画像品質ラベルが、細胞の焦点が合っていないことを示す場合、訓練されたマシーン・ラーニング・モデルを用いて、前記顕微鏡装置の焦点を調整するための焦点距離調整を決定するステップと、
前記焦点距離調整を行うために前記顕微鏡装置に実行可能命令を送るステップと、を含む、システムであって、
前記複数の顕微鏡画像ら前記1つまたは複数のピクセルの組を抽出する際、
前記複数の顕微鏡画像を平均化して、平均画像を生成し、
前記複数の顕微鏡画像から前記平均画像を差し引いて、複数の変換された顕微鏡画像を生成し、
前記複数の変換された顕微鏡画像に対して適応性のある閾値設定を適用して、複数の閾値設定された顕微鏡画像を生成し、
前記複数の閾値設定された顕微鏡画像に対して1つまたは複数の除外基準を適用して、非細胞成分に対応する前記複数の閾値設定された顕微鏡画像から1つまたは複数のピクセルの組を除外し、
前記除外基準の適用後、前記複数の閾値設定された顕微鏡画像に対して接続成分の分析を適用して、独立した細胞に対応する前記1つまたは複数のピクセルの組を識別し、
前記複数の閾値設定された顕微鏡画像から前記1つまたは複数のピクセルの組を切り取る、
各ステップを用いる、システム。 - 前記1つまたは複数のプロセッサが、前記訓練された分類器の使用に関し動作を並行化する並列処理プラットフォームに含まれる、請求項17に記載のシステム。
- 前記1つまたは複数のプロセッサが、前記複数のピクセルの組に対して並列に前記訓練された分類器を適用する、請求項18に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762545517P | 2017-08-15 | 2017-08-15 | |
US62/545,517 | 2017-08-15 | ||
PCT/EP2018/068345 WO2019034328A1 (en) | 2017-08-15 | 2018-07-06 | IDENTIFYING THE QUALITY OF CELLULAR IMAGES ACQUIRED USING DIGITAL HOLOGRAPHIC MICROSCOPY USING CONVOLUTIONAL NEURAL NETWORKS |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020531971A JP2020531971A (ja) | 2020-11-05 |
JP2020531971A5 JP2020531971A5 (ja) | 2020-12-24 |
JP7072049B2 true JP7072049B2 (ja) | 2022-05-19 |
Family
ID=63077840
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020508555A Active JP7072049B2 (ja) | 2017-08-15 | 2018-07-06 | コンボリューショナル・ニューラルを用いた、ホログラフィック顕微鏡で取得した細胞画像の品質の識別方法 |
Country Status (5)
Country | Link |
---|---|
US (2) | US11227386B2 (ja) |
EP (1) | EP3669227B8 (ja) |
JP (1) | JP7072049B2 (ja) |
CN (1) | CN111051955B (ja) |
WO (1) | WO2019034328A1 (ja) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11222415B2 (en) * | 2018-04-26 | 2022-01-11 | The Regents Of The University Of California | Systems and methods for deep learning microscopy |
US10706328B2 (en) | 2018-05-07 | 2020-07-07 | Google Llc | Focus-weighted, machine learning disease classifier error prediction for microscope slide images |
EP3644228A1 (en) * | 2018-10-23 | 2020-04-29 | The Chinese University Of Hong Kong | Method and apparatus for segmenting cellular image |
DE102018133188A1 (de) * | 2018-12-20 | 2020-06-25 | Carl Zeiss Microscopy Gmbh | Abstandbestimmung einer probenebene in einem mikroskopsystem |
US11405547B2 (en) * | 2019-02-01 | 2022-08-02 | Electronics And Telecommunications Research Institute | Method and apparatus for generating all-in-focus image using multi-focus image |
AU2020262090A1 (en) * | 2019-04-22 | 2021-11-11 | The Regents Of The University Of California | System and method for deep learning-based color holographic microscopy |
EP3757648B1 (en) * | 2019-06-28 | 2023-08-30 | Associação Fraunhofer Portugal | Optical system attachable to a mobile device for scanning biological sample slides and operating method thereof |
CN110516561B (zh) * | 2019-08-05 | 2022-12-06 | 西安电子科技大学 | 基于dcgan和cnn的sar图像目标识别方法 |
CN110736747B (zh) * | 2019-09-03 | 2022-08-19 | 深思考人工智能机器人科技(北京)有限公司 | 一种细胞液基涂片镜下定位的方法及系统 |
CN111091539B (zh) * | 2019-12-09 | 2024-03-26 | 上海联影智能医疗科技有限公司 | 网络模型训练、医学图像处理方法、装置、介质及设备 |
GB2595873B (en) * | 2020-06-09 | 2023-01-25 | Ffei Ltd | A method for analysing scanning efficacy |
WO2022004318A1 (ja) * | 2020-07-02 | 2022-01-06 | 富士フイルム株式会社 | 情報処理装置、情報処理方法、及びプログラム |
GB2596864A (en) * | 2020-07-10 | 2022-01-12 | Graphcore Ltd | Machine learning computer |
CN111709390A (zh) * | 2020-08-11 | 2020-09-25 | 山东省食品药品检验研究院 | 基于显微图像的草酸钙晶体智能鉴别方法和系统 |
WO2022113366A1 (ja) * | 2020-11-30 | 2022-06-02 | 株式会社ニコン | 学習済みモデルを生成する方法、画像処理方法、画像変換装置、プログラム |
KR102449858B1 (ko) * | 2021-07-08 | 2022-09-30 | 가톨릭대학교 산학협력단 | 암 세포 판정을 위한 핵이미지 선별 장치 및 핵이미지 선별 방법 |
CN117597430A (zh) * | 2021-07-29 | 2024-02-23 | 株式会社岛津制作所 | 细胞图像分析方法 |
TWI828009B (zh) * | 2021-11-19 | 2024-01-01 | 財團法人工業技術研究院 | 免標記式細胞活性檢測的方法及訓練人工智慧執行免標記式細胞活性檢測的方法 |
US11906433B2 (en) * | 2021-12-14 | 2024-02-20 | Instituto Potosino de Investigación Científica y Tecnológica A.C. | System and method for three-dimensional imaging of unstained samples using bright field microscopy |
WO2023114204A1 (en) * | 2021-12-17 | 2023-06-22 | Beckman Coulter, Inc. | Focus quality determination through multi-layer processing |
KR102436267B1 (ko) * | 2021-12-24 | 2022-08-26 | (주)힉스컴퍼니 | 병렬 처리 방법 및 이를 이용한 고속 프로세싱 시스템 |
CN116563735A (zh) * | 2023-05-15 | 2023-08-08 | 国网电力空间技术有限公司 | 一种基于深度人工智能的输电杆塔巡检图像对焦判断方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017516992A (ja) | 2014-05-23 | 2017-06-22 | ベンタナ メディカル システムズ, インコーポレイテッド | 画像内の生物学的構造及び/又はパターンの検出のためのシステム及び方法 |
Family Cites Families (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4998284A (en) * | 1987-11-17 | 1991-03-05 | Cell Analysis Systems, Inc. | Dual color camera microscope and methodology for cell staining and analysis |
US5655028A (en) * | 1991-12-30 | 1997-08-05 | University Of Iowa Research Foundation | Dynamic image analysis system |
AU3371395A (en) * | 1994-09-20 | 1996-04-19 | Neopath, Inc. | Biological specimen analysis system processing integrity checking apparatus |
JPH09311102A (ja) | 1996-05-24 | 1997-12-02 | Hitachi Ltd | フロー式粒子画像解析方法および装置 |
US7034883B1 (en) | 1999-08-10 | 2006-04-25 | Cellavision Ab | Automatic focusing |
DE60045076D1 (de) * | 1999-08-10 | 2010-11-18 | Cellavision Ab | Verfahren und Vorrichtungen in einem optischen System |
US20030143524A1 (en) * | 2002-01-31 | 2003-07-31 | Boaz Lerner | Method and system for determining the amount, distribution and conformation of genetic material in a cell |
US7760927B2 (en) * | 2003-09-10 | 2010-07-20 | Bioimagene, Inc. | Method and system for digital image based tissue independent simultaneous nucleus cytoplasm and membrane quantitation |
US20060178833A1 (en) * | 2005-02-04 | 2006-08-10 | Bauer Kenneth D | System for and method of providing diagnostic information through microscopic imaging |
SE530750C2 (sv) * | 2006-07-19 | 2008-09-02 | Hemocue Ab | En mätapparat, en metod och ett datorprogram |
US8143600B2 (en) | 2008-02-18 | 2012-03-27 | Visiongate, Inc. | 3D imaging of live cells with ultraviolet radiation |
US8326029B1 (en) * | 2008-03-21 | 2012-12-04 | Hewlett-Packard Development Company, L.P. | Background color driven content retrieval |
US7761250B2 (en) * | 2008-06-18 | 2010-07-20 | Tokyo Electron Limited | Optical metrology system optimized with design goals |
JP5476879B2 (ja) * | 2008-09-29 | 2014-04-23 | ソニー株式会社 | 画像処理装置および係数学習装置。 |
US8049811B2 (en) * | 2009-01-28 | 2011-11-01 | Board Of Regents, The University Of Texas System | Automatic focusing apparatus and method for digital images using automatic filter switching |
ES2399711T3 (es) * | 2009-08-22 | 2013-04-02 | The Board Of Trustees Of The University Of The Leland Stanford Junior University | Obtención de imágenes y evaluación de embriones, ovocitos y células madre |
WO2011031803A1 (en) | 2009-09-08 | 2011-03-17 | Nodality, Inc. | Analysis of cell networks |
WO2011052036A1 (ja) * | 2009-10-27 | 2011-05-05 | 富士通株式会社 | 生体情報処理装置、生体情報処理方法及び生体情報処理用コンピュータプログラム |
US8744164B2 (en) * | 2010-04-06 | 2014-06-03 | Institute For Systems Biology | Automated analysis of images using bright field microscopy |
CN102411715A (zh) | 2010-09-21 | 2012-04-11 | 张云超 | 有监督学习功能的细胞图像自动分类方法和系统 |
US8503801B2 (en) * | 2010-09-21 | 2013-08-06 | Adobe Systems Incorporated | System and method for classifying the blur state of digital image pixels |
US9562861B2 (en) * | 2011-04-05 | 2017-02-07 | Nalco Company | Method of monitoring macrostickies in a recycling and paper or tissue making process involving recycled pulp |
US20140192178A1 (en) * | 2011-08-12 | 2014-07-10 | Agency For Science, Technology And Research | Method and system for tracking motion of microscopic objects within a three-dimensional volume |
US8885941B2 (en) * | 2011-09-16 | 2014-11-11 | Adobe Systems Incorporated | System and method for estimating spatially varying defocus blur in a digital image |
US8902328B2 (en) * | 2013-03-14 | 2014-12-02 | Konica Minolta Laboratory U.S.A., Inc. | Method of selecting a subset from an image set for generating high dynamic range image |
WO2015195609A1 (en) | 2014-06-16 | 2015-12-23 | Siemens Healthcare Diagnostics Inc. | Analyzing digital holographic microscopy data for hematology applications |
US9927604B2 (en) * | 2014-09-12 | 2018-03-27 | Research Foundation Of The City University Of New York | Biologically inspired algorithm based method for near real-time tracking of moving objects in three dimensional environment |
US9524450B2 (en) * | 2015-03-04 | 2016-12-20 | Accenture Global Services Limited | Digital image processing using convolutional neural networks |
US9836839B2 (en) * | 2015-05-28 | 2017-12-05 | Tokitae Llc | Image analysis systems and related methods |
US10957042B2 (en) | 2015-09-22 | 2021-03-23 | Siemens Healthcare Gmbh | Auto-referencing in digital holographic microscopy reconstruction |
US10460231B2 (en) | 2015-12-29 | 2019-10-29 | Samsung Electronics Co., Ltd. | Method and apparatus of neural network based image signal processor |
ES2944957T3 (es) | 2016-03-16 | 2023-06-27 | Siemens Healthcare Gmbh | Diferencial de 5 partes de alta exactitud con microscopía holográfica digital y leucocitos intactos de sangre periférica |
US20180018757A1 (en) * | 2016-07-13 | 2018-01-18 | Kenji Suzuki | Transforming projection data in tomography by means of machine learning |
US10573003B2 (en) * | 2017-02-13 | 2020-02-25 | Amit Sethi | Systems and methods for computational pathology using points-of-interest |
US11416714B2 (en) * | 2017-03-24 | 2022-08-16 | Revealit Corporation | Method, system, and apparatus for identifying and revealing selected objects from video |
-
2018
- 2018-07-06 JP JP2020508555A patent/JP7072049B2/ja active Active
- 2018-07-06 EP EP18748860.6A patent/EP3669227B8/en active Active
- 2018-07-06 CN CN201880052840.9A patent/CN111051955B/zh active Active
- 2018-07-06 US US16/617,162 patent/US11227386B2/en active Active
- 2018-07-06 WO PCT/EP2018/068345 patent/WO2019034328A1/en unknown
-
2021
- 2021-12-06 US US17/457,716 patent/US11580640B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017516992A (ja) | 2014-05-23 | 2017-06-22 | ベンタナ メディカル システムズ, インコーポレイテッド | 画像内の生物学的構造及び/又はパターンの検出のためのシステム及び方法 |
Non-Patent Citations (3)
Title |
---|
M Zeder, E Kohler, J Pernthaler,Automated quality assessment of autonomously acquired microscopic images of fluorescently stained bacteria,Cytometry. PART A,vol.77, no.1,2010年01月01日,p76-85 |
Tomi Pitkaho, Aki Manninen, and Thomas J. Naughton,Performance of autofocus capability of deep convolutional neural networks in digital holographic microscopy,Digital Holography and Three-Dimensional Imaging 2017,W2A,Optical Society of America,2017年05月29日,W2A.5 |
河野曜平,川本一彦,GANを用いたデータ拡張,情報処理学会 研究報告 コンピュータビジョンとイメージメディア(CVIM) [online] ,日本,情報処理学会,2017年05月03日,2017-CVIM-207 ,p1-5 |
Also Published As
Publication number | Publication date |
---|---|
EP3669227A1 (en) | 2020-06-24 |
EP3669227B8 (en) | 2024-02-28 |
JP2020531971A (ja) | 2020-11-05 |
CN111051955A (zh) | 2020-04-21 |
US20200184637A1 (en) | 2020-06-11 |
EP3669227B1 (en) | 2023-12-20 |
CN111051955B (zh) | 2022-04-15 |
US20220092773A1 (en) | 2022-03-24 |
US11227386B2 (en) | 2022-01-18 |
EP3669227C0 (en) | 2023-12-20 |
WO2019034328A1 (en) | 2019-02-21 |
US11580640B2 (en) | 2023-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7072049B2 (ja) | コンボリューショナル・ニューラルを用いた、ホログラフィック顕微鏡で取得した細胞画像の品質の識別方法 | |
Tabernik et al. | Segmentation-based deep-learning approach for surface-defect detection | |
US10614287B2 (en) | Virtual staining of cells in digital holographic microscopy images using general adversarial networks | |
JP2018119969A (ja) | 血液学用デジタルホログラフィ顕微鏡検査データ分析 | |
CN113592845A (zh) | 一种电池涂布的缺陷检测方法及装置、存储介质 | |
CN111837157A (zh) | 细胞图像解析方法、细胞图像解析装置、及学习模型创建方法 | |
JP7439165B2 (ja) | 敵対的生成ネットワークを用いたホログラフィック顕微鏡画像中の細胞の仮想染色 | |
WO2013080164A1 (en) | Hologram processing method and system | |
JP2023544492A (ja) | 機械学習モデルを使用した生物学的画像転換 | |
Nguyen et al. | DRPnet: automated particle picking in cryo-electron micrographs using deep regression | |
Kromp et al. | Deep Learning architectures for generalized immunofluorescence based nuclear image segmentation | |
Luo et al. | A lightweight detector based on attention mechanism for fabric defect detection | |
Morovati et al. | Reduced deep convolutional activation features (r-decaf) in histopathology images to improve the classification performance for breast cancer diagnosis | |
Muyama et al. | Automated detection of tuberculosis from sputum smear microscopic images using transfer learning techniques | |
WO2013025173A1 (en) | A method and system for tracking motion of microscopic objects within a three-dimensional volume | |
Hung et al. | Phase fourier reconstruction for anomaly detection on metal surface using salient irregularity | |
Ghosh et al. | Bird species detection and classification based on HOG feature using convolutional neural network | |
Ramarolahy et al. | Classification and generation of microscopy images with plasmodium falciparum via artificial neural networks using low cost settings | |
Yi et al. | Extraction of target specimens from bioholographic images using interactive graph cuts | |
Cacace et al. | HMPD: A Novel Dataset for Microplastics Classification with Digital Holography | |
Bartschat et al. | Fuzzy tissue detection for real-time focal control in corneal confocal microscopy | |
Rahman et al. | Detection of DeepFake Videos Using Computer Vision and Deep Learning | |
Cao et al. | Mitigating Distribution Shifts in Pollen Classification from Microscopic Images Using Geometric Data Augmentations | |
Wiers | Label-efficient segmentation of organoid culture data using diffusion models | |
Sanches et al. | Automatic generation of difficulty maps for datasets using neural network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201116 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211020 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211102 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220126 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20220126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220412 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220509 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7072049 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |