JP2023546190A - 試料中の粒子を含む入力画像の分類方法 - Google Patents
試料中の粒子を含む入力画像の分類方法 Download PDFInfo
- Publication number
- JP2023546190A JP2023546190A JP2023524071A JP2023524071A JP2023546190A JP 2023546190 A JP2023546190 A JP 2023546190A JP 2023524071 A JP2023524071 A JP 2023524071A JP 2023524071 A JP2023524071 A JP 2023524071A JP 2023546190 A JP2023546190 A JP 2023546190A
- Authority
- JP
- Japan
- Prior art keywords
- sample
- image
- particles
- input image
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000002245 particle Substances 0.000 title claims abstract description 122
- 238000000034 method Methods 0.000 claims abstract description 74
- 239000013598 vector Substances 0.000 claims abstract description 48
- 238000012549 training Methods 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 16
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012706 support-vector machine Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 5
- 241000894006 Bacteria Species 0.000 description 22
- 239000003242 anti bacterial agent Substances 0.000 description 21
- 229940088710 antibiotic agent Drugs 0.000 description 20
- 230000003287 optical effect Effects 0.000 description 14
- 230000003115 biocidal effect Effects 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 9
- 230000001580 bacterial effect Effects 0.000 description 7
- 238000009647 digital holographic microscopy Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 239000002609 medium Substances 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- WYUSVOMTXWRGEK-HBWVYFAYSA-N cefpodoxime Chemical compound N([C@H]1[C@@H]2N(C1=O)C(=C(CS2)COC)C(O)=O)C(=O)C(=N/OC)\C1=CSC(N)=N1 WYUSVOMTXWRGEK-HBWVYFAYSA-N 0.000 description 4
- 229960005090 cefpodoxime Drugs 0.000 description 4
- 230000001427 coherent effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000011534 incubation Methods 0.000 description 4
- 244000005700 microbiome Species 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 241000588724 Escherichia coli Species 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 241000233866 Fungi Species 0.000 description 2
- 240000004808 Saccharomyces cerevisiae Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000032823 cell division Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000001066 destructive effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 239000003344 environmental pollutant Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004992 fission Effects 0.000 description 2
- 239000001963 growth medium Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000000386 microscopy Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000004660 morphological change Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 231100000719 pollutant Toxicity 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 238000007794 visualization technique Methods 0.000 description 2
- 229920001817 Agar Polymers 0.000 description 1
- CEAZRRDELHUEMR-URQXQFDESA-N Gentamicin Chemical compound O1[C@H](C(C)NC)CC[C@@H](N)[C@H]1O[C@H]1[C@H](O)[C@@H](O[C@@H]2[C@@H]([C@@H](NC)[C@@](C)(O)CO2)O)[C@H](N)C[C@@H]1N CEAZRRDELHUEMR-URQXQFDESA-N 0.000 description 1
- 229930182566 Gentamicin Natural products 0.000 description 1
- 244000068988 Glycine max Species 0.000 description 1
- 241000191967 Staphylococcus aureus Species 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 239000008272 agar Substances 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- WZOZEZRFJCJXNZ-ZBFHGGJFSA-N cefoxitin Chemical compound N([C@]1(OC)C(N2C(=C(COC(N)=O)CS[C@@H]21)C(O)=O)=O)C(=O)CC1=CC=CS1 WZOZEZRFJCJXNZ-ZBFHGGJFSA-N 0.000 description 1
- 229960002682 cefoxitin Drugs 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000012258 culturing Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 231100000433 cytotoxic Toxicity 0.000 description 1
- 230000001472 cytotoxic effect Effects 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 229960002518 gentamicin Drugs 0.000 description 1
- 238000001093 holography Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000003446 ligand Substances 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000000399 optical microscopy Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 229920000729 poly(L-lysine) polymer Polymers 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000003566 sealing material Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19173—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
Abstract
本発明は、試料(12)中の標的粒子(11a~11f)を含む少なくとも1つの入力画像を分類するための方法に関し、本方法は、クライアント(2)のデータ処理手段(20)を介して、(b)上記標的粒子(11a~11f)の特性のベクトルを抽出するステップであって、上記特性は、それぞれが基準粒子を表す基本画像のセットのうちの1つの基本画像にそれぞれ関連付けられた数値係数であり、上記係数によって重み付けされた上記基本画像の線形結合が、入力画像内の上記標的粒子(11a~11f)の表現を近似する、ステップと、(c)上記抽出された特性のベクトルに応じて上記入力画像を分類するステップを実施することを含むことを特徴とする。
Description
本発明は、生物学的粒子の光学的取得の分野に関する。生物学的粒子は、例えば、細菌、真菌、または酵母などの微生物であってもよい。それはまた、細胞、多細胞生物、または汚染物質もしくは粉塵などの任意の他のタイプの粒子の問題であってもよい。
本発明は、例えば、抗生物質の適用後の細菌の代謝状態を決定する目的とした生物学的粒子の状態の分析に特に有利に適用可能である。本発明により、例えば、細菌についてのアンチバイオグラムを実施することができる。
アンチバイオグラムは、1つまたは複数の抗生物質に対する細菌株の表現型を試験することを目的とした実験技法である。従来、アンチバイオグラムは、細菌と抗生物質とを含む試料を培養することにより実施される。
欧州特許出願第2 603 601号には、抗生物質の存在下でのインキュベーション期間後の細菌の状態を可視化することを含む、アンチバイオグラムを実施するための方法が記載されている。細菌を可視化するために、細菌を蛍光マーカーで標識して、それらの構造を明らかにする。次いで、マーカーの蛍光を測定することで、抗生物質が細菌に対して効果的に作用したかどうかを決定することができる。
所与の細菌株に対して有効な抗生物質を決定するための従来のプロセスは、当該株を含む試料を(例えば、患者、動物、食品バッチなどから)採取し、次いで試料を分析センターに送ることにある。分析センターは、試料を受け取ると、まず、細菌株の少なくとも1つのコロニーを得るために細菌株を培養するが、これには24時間~72時間かかる。次いで、このコロニーから、異なる抗生物質および/または異なる濃度の抗生物質を含むいくつかの試料を調製し、再び試料をインキュベートする。同じく24~72時間を要する新たな培養期間の後、各試料を手作業で分析して、抗生物質が有効に作用したかどうかを決定する。そして、その結果は、プラクティショナ(practitioner)が最も有効な抗生物質および/または抗生物質濃度を適用することができるように、プラクティショナに返される。
しかしながら、標識プロセスは、実施するのに特に長く複雑であり、これらの化学マーカーは、細菌に対して細胞毒性効果を有する。したがって、この可視化方法では、培養中に細菌を何度も観察することができず、その結果、測定の信頼性を保証するためには、24~72時間程度の十分に長い時間、細菌を培養する必要がある。生物学的粒子を可視化する他の方法では、試料の非破壊測定を可能にする顕微鏡を使用する。
デジタルホログラフィック顕微鏡法すなわちDHMは、従来の光学顕微鏡法の被写界深度の制約を克服することができる撮像技法である。概略的には、これは、観察される物体によって回折された光波と空間的にコヒーレントな参照波との間の干渉によって形成されるホログラムを記録することにある。この技法は、SPIE Reviews Vol. 1, No. 1, January 2010で発表されたMyung K. Kimによる「Principles and techniques of digital holography microscopy」と題する総説に記載されている。
近年では、デジタルホログラフィック顕微鏡法を使用して、自動化された方法で微生物を同定することが提案されている。したがって、国際出願WO2017/207184には、粒子を取得するための方法が記載されており、この方法は、取得時間を制限しながら生物学的粒子を観察することを可能にするために、単純なデフォーカス取得をデジタル焦点再構成と関連付ける。
典型的には、このソリューションにより、数日かかり得る上述の従来のプロセスとは異なり、わずか10分程度のインキュベーション後に抗生物質の存在下での細菌に対する構造修飾を検出し、2時間後にその感度を検出すること(分裂の有無または分裂を示すパターンの検出)が可能になる。具体的には、測定は非破壊的であるので、試料を破壊するリスク、したがって分析時間を延長するリスクを冒すことなく、培養プロセスの非常に早い段階で分析を実施することが可能である。
粒子の挙動、例えば、その移動速度またはその細胞分裂プロセスを可視化するために、経時的な粒子の進行を表すフィルムを形成するように、複数の連続画像にわたって粒子を追跡することさえ可能である(粒子は最初の分析後に損なわれないので)。
したがって、この可視化方法は優れた結果をもたらすことが理解されよう。例えば、試料中に存在する抗生物質に対する細菌の感受性に関する結論に達することが望まれる場合、これらの画像またはこのフィルムをそれ自体で解釈することは困難である。
単に経時的に細菌を計数することから、画像分析を介して特定の「構成」を検出することを目的とするいわゆる形態学的分析まで、様々な技法が提案されている。例えば、細菌が分裂する準備をしている場合、分裂自体のかなり前に2つの極が分布に現れ、その結果、分布が2つの異なるセグメントに分かれる。
これらの2つの技法を組み合わせて抗生物質の有効性を評価することが、Choiら(2014)による論文において提案されている。しかしながら、著者らが強調しているように、彼らのアプローチは、抗生物質によって引き起こされる形態学的変化の性質に強く依存する、ある特定の数の閾値の非常に微細な較正を必要とする。
より最近では、Yuら(2018)による論文に、深層学習に基づくアプローチが記載されている。著者らは、畳み込みニューラルネットワーク(CNN)を使用して形態学的特徴および細菌の動きに関連する特徴を抽出することを提案している。しかしながら、このソリューションは、コンピューティングリソースに関して非常に集中的であることが判明しており、CNNをトレーニングするためにトレーニング画像の膨大なデータベースを必要とする。
したがって、本発明の目的とする技術的課題は、より効果的であるとともに資源集約的でない、生物学的粒子の画像を分類するためのソリューションを提供することを可能にすることである。
第1の態様によれば、本発明は、試料中の標的粒子を表す少なくとも1つの入力画像を分類するための方法に関し、この方法は、クライアントのデータ処理手段によって、以下のステップの実施を含むことを特徴とする:
(b)上記標的粒子の特徴の特徴ベクトルを抽出するステップであって、上記特徴は、それぞれが基準粒子を表す基本画像のセットのうちの1つの基本画像にそれぞれ関連付けられた数値係数であり、上記係数によって重み付けされた上記基本画像の線形結合が入力画像内の上記標的粒子の表現を近似するようになっている、ステップ;
(c)上記抽出された特徴ベクトルに応じて上記入力画像を分類するステップ。
(b)上記標的粒子の特徴の特徴ベクトルを抽出するステップであって、上記特徴は、それぞれが基準粒子を表す基本画像のセットのうちの1つの基本画像にそれぞれ関連付けられた数値係数であり、上記係数によって重み付けされた上記基本画像の線形結合が入力画像内の上記標的粒子の表現を近似するようになっている、ステップ;
(c)上記抽出された特徴ベクトルに応じて上記入力画像を分類するステップ。
有利であるが非限定的な特徴によれば:
粒子は、入力画像および各基本画像において一様な方法で表され、特に、中心に配置され、所定の方向に位置合わせされる。
本方法は、上記標的粒子を上記一様な方法で表すために、試料の全体画像から上記入力画像を抽出するステップ(a)を含む。
ステップ(a)は、試料中の上記標的粒子を検出するように上記全体画像をセグメント化し、次いで、上記検出された標的粒子に入力画像をクロッピングすることを含む。
ステップ(a)は、試料の強度画像から上記全体画像を取得することを含み、上記画像は観察装置によって取得される。
本方法は、上記試料中の粒子のトレーニング画像のデータベースを使用して、基本画像の教師なし学習を行うステップ(b0)を含む。
学習された基準画像は、上記基本画像の線形結合によってトレーニング画像内の粒子の表現の最良近似を可能にする画像である。
ステップ(c)は、分類器によって実施され、本方法は、サーバのデータ処理手段によって、試料中の粒子のすでに分類された特徴ベクトル/行列のトレーニングデータベースを使用して、上記分類器のパラメータをトレーニングするステップ(a0)を含む。
上記分類器は、サポートベクターマシン、k最近傍アルゴリズム、または畳み込みニューラルネットワークから選択される。
ステップ(c)は、t-SNEアルゴリズムによって、特徴ベクトルの変数の数を減らすことを含む。
本方法は、試料中の上記標的粒子を表す入力画像のシーケンスを経時的に分類するための方法であり、ステップ(b)は、上記シーケンスの各入力画像の抽出された特徴ベクトルを連結することによって上記標的粒子の特徴行列を取得することを含む。
第2の態様によれば、データ処理手段を備える少なくとも1つのクライアントを備える、試料中の標的粒子を表す少なくとも1つの入力画像を分類するためのシステムが提供され、上記データ処理手段が、以下を実施するように構成されることを特徴とする:
- 上記標的粒子の特徴の特徴ベクトルを抽出することであって、上記特徴は、それぞれが基準粒子を表す基本画像のセットのうちの1つの基本画像にそれぞれ関連付けられた数値係数であり、上記係数によって重み付けされた上記基本画像の線形結合が入力画像内の上記標的粒子の表現を近似するようになっている、抽出すること;
- 上記抽出された特徴ベクトルに応じて上記入力画像を分類すること。
- 上記標的粒子の特徴の特徴ベクトルを抽出することであって、上記特徴は、それぞれが基準粒子を表す基本画像のセットのうちの1つの基本画像にそれぞれ関連付けられた数値係数であり、上記係数によって重み付けされた上記基本画像の線形結合が入力画像内の上記標的粒子の表現を近似するようになっている、抽出すること;
- 上記抽出された特徴ベクトルに応じて上記入力画像を分類すること。
有利であるが非限定的な特徴によれば、システムは、試料中の上記標的粒子を観察するための装置をさらに備える。
第3および第4の態様によれば、試料中の標的粒子を表す少なくとも1つの入力画像を分類するための第1の態様による方法を実行するためのコード命令を含むコンピュータプログラム製品と、コンピュータプログラム製品が、試料中の標的粒子を表す少なくとも1つの入力画像を分類するための第1の態様による方法を実行するためのコード命令を含む、コンピュータ機器によって読み取り可能な記憶媒体とが提供される。
本発明の他の特徴および利点は、好ましい実施形態の以下の説明を読めば明らかになるであろう。この説明は、添付の図面を参照して与えられるであろう。
本発明による方法を実施するためのアーキテクチャの概略図である。
本発明による方法の好ましい一実施形態において使用される、試料中の粒子を観察するための装置の一例を示す。
本発明による方法の一実施形態における入力画像の取得を示す。
本発明による方法の好ましい実施形態における入力画像の取得を示す。
本発明による方法の好ましい実施形態のステップを示す。
本発明による方法の好ましい実施形態において使用される基本画像の辞書の一例を示す。
本発明による方法の好ましい実施形態における特徴ベクトルおよび行列の抽出の一例を示す。
本発明による方法の好ましい実施形態において使用されるt-SNE埋め込みの一例を表す。
アーキテクチャ
本発明は、標的粒子と呼ばれる、試料12中に存在する粒子11a~11fを表す少なくとも1つの入力画像を分類するための方法に関する。この方法は、試料12中に存在する粒子11a~11fのすべてまたはいくつかに対して並行して実施され得、それぞれが順番に標的粒子と考えられることに留意されたい。
本発明は、標的粒子と呼ばれる、試料12中に存在する粒子11a~11fを表す少なくとも1つの入力画像を分類するための方法に関する。この方法は、試料12中に存在する粒子11a~11fのすべてまたはいくつかに対して並行して実施され得、それぞれが順番に標的粒子と考えられることに留意されたい。
理解されるように、この方法は、1つまたは複数の機械学習コンポーネント、特に、畳み込みニューラルネットワーク(CNN)を含む1つまたは複数の分類器を含み得る。
入力またはトレーニングデータは、画像タイプのものであり、試料12中の標的粒子11a~11fを表す(言い換えれば、これらは、標的粒子を視認できる試料の画像である)。理解されるように、同じ標的粒子11a~11fの画像のシーケンス(または、必要に応じて、複数の粒子が考慮される場合には、試料12の粒子11a~11fの画像の複数のシーケンス)が入力として提供され得る。
試料12は、観察されるべき粒子11a~11fが位置している、水、緩衝液、培地、または反応性媒体(抗生物質を含む場合も含まない場合もある)などの液体から構成される。
変形形態として、試料12は、粒子11a~11fが位置している、好ましくは半透明の、寒天などの固体媒体の形態をとり得る。試料12は、ガス状媒体であってもよい。粒子11a~11fは、媒体の内部または試料12の表面に位置してもよい。
粒子11a~11fは、細菌、真菌、または酵母などの微生物であってもよい。それはまた、細胞、多細胞生物、または汚染物質もしくは粉塵などの任意の他のタイプの粒子の問題であってもよい。残りの説明では、粒子が細菌である(そして、理解されるように、試料12が抗生物質を組み込んでいる)好ましい例について考える。観察された粒子11a~11fのサイズは、500nmから数百μm、さらには数ミリメートルの間で変化する。
入力画像(または入力画像のシーケンス)の「分類」は、画像を記述する可能なクラスのセットの中から少なくとも1つのクラスを決定することにある。例えば、細菌タイプの粒子の場合、バイナリ分類が採用され得、すなわち、抗生物質に対する耐性の有無をそれぞれ証明する「分裂あり」または「分裂なし」を示す2つの可能なクラスが採用され得る。上記標的粒子11a~11fに対する抗生物質の効果のバイナリ分類の例が主に説明されるが、本発明は、任意の1つの特定の種類の分類に限定されるものではない。
本方法は、サーバ1およびクライアント2によって、図1に示されるようなアーキテクチャ内で実施される。サーバ1は、トレーニングされる(トレーニング方法を実施する)機器であり、クライアント2は、(分類方法を実施する)ユーザ機器、例えば、医者または病院の端末である。
2つの機器1、2を組み合わせることは十分に可能であるが、好ましくは、サーバ1はリモートの機器であり、クライアント2は大量市場の機器、特に、デスクトップコンピュータ、ラップトップコンピュータなどである。クライアント機器2は、典型的には直ちに処理する目的で、有利には、上記入力画像(または、以下から分かるように、試料12の全体画像などの「生の」取得データ、さらには電磁マトリックス)を直接取得することができるように、観察装置10に接続される。代替的に、入力画像は、クライアント機器2にロードされる。
いずれにしても、各機器1、2は、典型的には、データを交換する目的でローカルネットワークまたはインターネットなどのワイドエリアネットワークに接続されたリモートのコンピュータ機器である。各々は、プロセッサタイプのデータ処理手段3、20と、コンピュータメモリ、例えば、フラッシュメモリまたはハードディスクなどのデータ記憶手段4、21とを備える。クライアント2は、典型的には、対話を可能にする画面などのユーザインターフェース22を備える。
サーバ1は、有利には、トレーニングデータベース、すなわち、様々な条件(以下を参照)における粒子11a~11fの画像のセットおよび/またはすでに分類された特徴ベクトル/行列のセット(例えば、抗生物質に対する感受性または耐性を示す「分裂あり」または「分裂なし」という標識に関連付けられている)を記憶する。トレーニングデータは、場合によっては、例えば、細菌の培養に関して、「株」、「抗生物質条件」、「時間」などを示す、試験条件を定義する標識に関連付けられることに留意されたい。
取得
以上のように、本方法は、任意の方法で得られた標的粒子11a~11fの任意の画像を入力として直接取り込むことができる。しかしながら、本方法は、好ましくは、観察装置10によって提供されるデータから入力画像を取得するステップ(a)から開始する。
以上のように、本方法は、任意の方法で得られた標的粒子11a~11fの任意の画像を入力として直接取り込むことができる。しかしながら、本方法は、好ましくは、観察装置10によって提供されるデータから入力画像を取得するステップ(a)から開始する。
既知の方法で、当業者は、特に、国際出願WO2017/207184に記載されているようなDHM技法(DHMはデジタルホログラフィック顕微鏡法(digital holographic microscopy)を表す)を使用することができる。特に、標的粒子に焦点が合っていない(画像は「ピンぼけ(out of focus)」していると考えられる)が、データ処理手段(これは、例えば、装置10またはクライアント2の装置20のいずれかに統合されている、以下を参照)によって処理することができる試料12の強度画像が取得され得、そのような画像はホログラムと呼ばれる。ホログラムは、試料中のすべての粒子11a~11fを特定の方法で「表す」ことが理解されよう。
図2は、試料12中に存在する粒子11a~11fを観察するための装置10の一例を示す。試料12は、空間的および時間的にコヒーレントである光源15(例えば、レーザ)または擬似コヒーレントである光源15(例えば、発光ダイオード、レーザダイオード)と、光源のスペクトル領域において感度を有するデジタルセンサ16との間に配置される。好ましくは、光源15は、狭いスペクトル幅、例えば、200nmよりも狭い、100nmよりも狭い、さらには25nmよりも狭いスペクトル幅を有する。以下では、例えば、可視領域にある光源の中心発光波長に言及する。光源15は、試料の第1の面13に向かってコヒーレント信号Snを放出し、信号は、例えば、光ファイバなどの導波路によって伝達される。
試料12(典型的には培地として説明される)は、下部スライドおよび上部スライド、例えば、従来の顕微鏡スライドによって垂直方向に境される分析チャンバ内に収容される。分析チャンバは、接着剤または任意の他の密封材料によって横方向に境される。下部スライドおよび上部スライドは、光源15の波長に対して透明であり、試料およびチャンバは、例えば、光源の波長の50%超が、下部スライドへの垂直入射下で通過することを可能にする。
好ましくは、粒子11a~11fは、上部スライドに隣接した試料12中に位置する。この目的のために、上部スライドの底面は、粒子の付着を可能にするリガンド、例えば、微生物の文脈ではポリカチオン(例えば、ポリ-L-リジン)を含む。これにより、光学システムの被写界深度に等しいかまたは近い厚さ、すなわち、1mmより小さい厚さ(例えば、チューブレンズ)、好ましくは100μmより小さい厚さ(例えば、顕微鏡対物レンズ)で粒子を含むことができる。それにもかかわらず、粒子11a~11fは、試料12内を移動し得る。
好ましくは、装置は、例えば、顕微鏡対物レンズおよびチューブレンズから構成され、空気中に、試料から一定の距離に配置された光学システム23を備える。光学システム23は、任意に、対物レンズの前または対物レンズとチューブレンズとの間に位置し得るフィルタを備える。光学システム23は、その光軸と、対物レンズからある距離にあるその物体平面(焦点面(plane of focus)とも呼ばれる)と、光学システムによって物体平面と共役になるその像平面とによって特徴付けられる。言い換えれば、物体平面に位置する物体には、焦平面(focal plane)とも呼ばれる像平面におけるこの物体の鮮明な像が対応する。システム23の光学特性は固定されている(例えば、固定焦点距離光学系)。物体平面および像平面は、光軸に直交している。
画像センサ16は、試料の第2の面14に面して、焦平面に、または焦平面に近接して位置する。センサ、例えば、CCDまたはCMOSセンサは、基本感知部位の周期的な2次元アレイと、それ自体既知の方法で露光時間を調整し部位をゼロにする関連電子機器とを備える。基本部位から出力される信号は、露光時間中に当該部位に入射するスペクトル領域の放射の量に依存する。その後、この信号は、例えば、関連電子機器によって、デジタル画像の画像点、すなわち「画素」に変換される。したがって、センサは、C列およびL行の行列の形態をとるデジタル画像を生成する。行列の座標(c,l)のこの行列の各画素は、それ自体既知の方法で、光学システム23の焦平面内のデカルト座標(x(c,l),y(c,l))の位置、例えば、矩形形状の基本感知部位の中心の位置に対応する。
周期的アレイのピッチおよびフィルファクタは、観察される粒子のサイズに関してナイキスト基準を満たすように選択され、それにより、粒子ごとに少なくとも2つの画素が定義される。したがって、画像センサ16は、光源のスペクトル領域における試料の透過画像を取得する。
画像センサ16によって取得される画像は、粒子11a~11fによって回折された波と、試料と相互作用することなく試料を通過した参照波との間の干渉から生じる限り、ホログラフィック情報を含む。上述したように、CMOSまたはCCDセンサの文脈では、取得されたデジタル画像は強度画像であり、したがってここでは位相情報がこの強度画像に符号化されることは明らかである。
代替的に、光源15によって生成されたコヒーレント信号Snを、例えば、半透明板によって2つの成分に分割することが可能である。そして、第1の成分が参照波として働き、第2の成分が試料12によって回折され、光学システム23の像平面内の像が回折波と参照波との間の干渉から生じる。
図3aを参照すると、ステップ(a)において、ホログラムから試料12の少なくとも1つの全体画像を再構成し、次いで、試料の全体画像から上記入力画像を抽出することが可能である。
具体的には、標的粒子11a~11fは、入力画像において一様な方法で表され、特に、中心に配置され、所定の方向(例えば、水平方向)に位置合わせされる必要があることが理解されよう。入力画像はさらに、標準化されたサイズを有している必要がある(入力画像内に標的粒子11a~11fのみが見えることも望ましい)。したがって、入力画像は「サムネイル」と呼ばれ、そのサイズは、例えば、250×250画素となるように定義され得る。入力画像のシーケンスの場合、例えば、120分の時間間隔の間に1分ごとに1つの画像が撮影され、したがって、シーケンスは、250×250×120サイズの3D「スタック」を形成する。
全体画像は、説明したように、装置10のデータ処理手段またはクライアント2のデータ処理手段20によって再構成される。
典型的には、「電磁マトリックス」と呼ばれる一連の複素行列が(所与の取得時間ごとに)構成され、これらの行列は、試料12の強度画像(ホログラム)に基づいて、光学システム23の焦点面に対する複数の偏差、特に、試料内に位置する偏差について、光軸に沿って伝播する光波の波面をモデル化する。
これらの行列は、様々な焦点距離における全体画像のスタックを形成するために、(例えば、エルミートノルム(Hermitian norm)を介して)実空間に投影され得る。
そこから、平均焦点距離を決定すること(および対応する全体画像を選択すること、またはホログラムからそれを再計算すること)、または、標的粒子に対する最適な焦点距離を決定すること(および再び対応する全体画像を選択すること、またはホログラムからそれを再計算すること)さえ可能である。
いずれの場合も、図3bを参照すると、ステップ(a)は、有利には、試料中の上記標的粒子を検出するために上記1つまたは複数の全体画像をセグメント化し、次いでクロッピングすることを含む。特に、上記入力画像は、上記一様な方法で上記標的粒子を表すように、試料の全体画像から抽出され得る。
一般に、セグメント化は、1つまたは複数の全体画像を改善するためにフィラメントまたはマイクロコロニーなどのアーチファクトを除去しながら、関心のあるすべての粒子を検出することを可能にし、次いで、検出された粒子のうちの1つが標的粒子として選択され、対応するサムネイルが抽出される。説明したように、これは、すべての検出された粒子に対して行われ得る。
セグメント化は、任意の既知の方法で実施され得る。図3bの例では、まず細かいセグメント化を実行してアーチファクトを除去した後に、粗いセグメント化を実行して粒子11a~11fを検出する。当業者に知られている任意のセグメント化技法が使用され得る。
標的粒子11a~11fについての入力画像のシーケンスを取得することが望まれる場合、追跡技法を使用して、ある全体画像から次の全体画像への粒子の任意の移動を追跡し得る。
図3aの右側に見られるように、所与の試料について(試料12の複数の粒子、さらにはすべての粒子について)経時的に得られたすべての入力画像がプールされて、試料12を記述するコーパス(言い換えれば、実験を記述するコーパス)が形成され得、このコーパスは、特に、クライアント2の記憶手段21にコピーされることに留意されたい。これは、「粒子」レベルとは対照的な「フィールド」レベルである。例えば、粒子11a~11fが細菌であり、試料12が抗生物質を含む(または含まない)場合、この記述コーパスは、取得の全フィールドにわたるこれらの細菌の成長、形態、内部構造、および光学特性に関するすべての情報を含む。理解されるように、この記述コーパスは、上記トレーニングデータベースへの統合のためにサーバ1に送信され得る。
特徴抽出
図4を参照すると、本方法は、入力画像を直接分類しようとするのではなく、入力画像から特徴ベクトルを抽出するステップ(b)が、上記特徴ベクトルに応じて入力画像を分類するステップ(c)とは別に実施されるという点で特に注目に値する。理解されるように、各ステップは、独立した機械学習機構を含み得、したがって、サーバ1の上記トレーニングデータベースは、必ずしもすでに分類されていない粒子画像および特徴ベクトルを含み得る。
図4を参照すると、本方法は、入力画像を直接分類しようとするのではなく、入力画像から特徴ベクトルを抽出するステップ(b)が、上記特徴ベクトルに応じて入力画像を分類するステップ(c)とは別に実施されるという点で特に注目に値する。理解されるように、各ステップは、独立した機械学習機構を含み得、したがって、サーバ1の上記トレーニングデータベースは、必ずしもすでに分類されていない粒子画像および特徴ベクトルを含み得る。
したがって、主ステップ(b)は、クライアント2のデータ処理手段20によって、上記標的粒子の特徴ベクトルを抽出するステップ、すなわち、標的粒子を「コーディング」するステップである。
本明細書の残りの部分では、幾何学的な意味での特徴ベクトル/行列の「次元」の数、すなわち、これらのマップが延びる独立した方向の数(例えば、ベクトルは次元1のオブジェクトであり、行列は次元2、有利には次元3のオブジェクトである)と、これらの特徴ベクトル/行列の「変数」の数、すなわち、各次元におけるサイズ、すなわち、独立した自由度の数(これは、実際には、ベクトル空間における次元の概念に対応するものであり、より正確には、所与の数の変数を有する特徴ベクトル/行列のセットが、この変数の数に等しい次元のベクトル空間を形成する)との間で区別がなされる。
そこで、ステップ(b)の終わりに抽出された特徴行列が、60×25サイズ、したがって1500個の変数を有する2次元オブジェクト(すなわち、次元2のオブジェクト)である例について以下で説明する。
この場合、本コーディングの特異性は、上記特徴が、それぞれが基準粒子を表す基本画像のセットのうちの1つの基本画像にそれぞれ関連付けられた数値係数であり、上記係数によって重み付けされた上記基本画像の線形結合が、入力画像内の上記粒子の表現を近似するという事実にある。
これは「スパースコーディング」と呼ばれる。上記基本画像は「アトム」と呼ばれ、アトムのセットは「辞書」と呼ばれる。スパースコーディングの背後にある考え方は、辞書の単語から類推して、任意の入力画像を上記アトムの線形結合として表現することである。より正確には、
サイズpの辞書Dについて、同じくサイズpの特徴ベクトルをαとすると、
入力画像xの最良近似Dαが求められる。言い換えれば、最適ベクトル(入力画像xのスパースコード)をα*とすると、ステップ(b)は、λを正則化パラメータとする関数の最小化問題を解くことにある(これは、近似の品質とベクトルのスパース性との間の妥協を行うこと、すなわち、可能な限り少ないアトムを含むことを可能にする)。例えば、制約付き最小化問題は、以下のように記述され得る:
サイズpの辞書Dについて、同じくサイズpの特徴ベクトルをαとすると、
入力画像xの最良近似Dαが求められる。言い換えれば、最適ベクトル(入力画像xのスパースコード)をα*とすると、ステップ(b)は、λを正則化パラメータとする関数の最小化問題を解くことにある(これは、近似の品質とベクトルのスパース性との間の妥協を行うこと、すなわち、可能な限り少ないアトムを含むことを可能にする)。例えば、制約付き最小化問題は、以下のように記述され得る:
上記係数は、有利には、区間[0,1]内の値を有し(これは、Rの場合よりも単純である)、一般に、コーディングの「スパース」特性のために、係数の大部分は0の値を有することが理解されよう。非ゼロ係数に関連付けられたアトムは、活性化アトムと呼ばれる。
当然ながら、基本画像は、入力画像に匹敵するサムネイルであり、すなわち、基準粒子は、入力画像と同じ一様な方法でその中に表され、特に、中心に配置され、上記所定の方向に位置合わせされ、基本画像は、有利には、入力画像と同じサイズ(例えば、250×250)を有する。
したがって、図5aは、36個の基本画像の辞書の一例を示す(抗生物質のセフポドキシムと細菌の大腸菌の場合)。
入力画像のシーケンスが供給される場合、ステップ(b)は、有利には、入力画像ごとに1つの特徴ベクトルを抽出することを含み、その特徴マップは、標的粒子の「プロファイル」と呼ばれる特徴行列に組み合わされ得る。より正確には、ベクトルはすべて、同じサイズ(アトムの数)を有し、ベクトルのシーケンスを形成しているので、(時空間情報、したがって2次元をコーディングする)スパースな2次元コードを取得するためには入力画像の順序でそれらを並置すれば十分である。
代替的または追加的に、試料12の複数の粒子11a~11fに関連付けられた複数の入力画像に対応する特徴ベクトル/行列が合計されてもよい。
したがって、本技法では、大量の計算能力も注釈付きデータベースも必要とすることなく、高いセマンティックレベルの特徴ベクトルを得ることができる。
図5bは、特徴ベクトルを抽出する別の例を示しており、今度は25個のアトムの辞書を用いている。所与の時間T1で得られた全体画像の全体と、(検出された粒子に対応する)様々な抽出された入力画像とが示されている。これにより、第2の標的粒子を表す画像は、0.33×アトム13+0.21×アトム2+0.16×アトム9(すなわち、ベクトル(0;0.21;0;0;0;0;0;0;0.16;0;0;0;0.33;0;0;0;0;0;0;0;0;0;0;0;0)として近似され得る。
「累積ヒストグラム」と呼ばれる合計されたベクトルが中央に示されている。有利には、係数は、それらの合計が1に等しくなるように正規化される。「活性化プロファイル」と呼ばれる、合計された行列(60分間の合計)が右側に示されており、60×25のサイズを有することが分かる。
この活性化プロファイルは、試料12を(経時的に)表す大まかな(high-level)特徴マップであることが理解されよう。
アトムの学習
基準画像(アトム)は予め定義され得る。しかしながら、好ましくは、本方法は、トレーニングデータベースから学習するステップ(b0)を含み、このステップでは、基準画像(すなわち、辞書の画像)が、特にサーバ1のデータ処理手段3によって学習され、その結果、本方法は、いかなる時点においても人間の介入を必要としない。
基準画像(アトム)は予め定義され得る。しかしながら、好ましくは、本方法は、トレーニングデータベースから学習するステップ(b0)を含み、このステップでは、基準画像(すなわち、辞書の画像)が、特にサーバ1のデータ処理手段3によって学習され、その結果、本方法は、いかなる時点においても人間の介入を必要としない。
この学習方法は、辞書を学習することを含むので「辞書学習」と呼ばれ、トレーニングデータベースの画像が注釈付けされることを必要としない限り教師なしであり、したがって、実装するのが極めて簡単である。具体的には、手作業で何千もの画像に注釈を付けることは、非常に時間がかかり、非常に高価であることが理解されよう。
この考えは、単に、トレーニングデータベースにおいて、様々な条件で粒子11a~11fを表すサムネイルを提供し、それに基づいて、任意のサムネイルを可能な限り容易に表されることを可能にするアトムを見つけることである。
好ましくは、粒子11a~11fのタイプごとおよび/または試料12のタイプごとに異なる辞書が存在し得る。特に、粒子11a~11fが細菌である実施形態では、細菌のタイプごとおよび抗生物質ごとに1つの辞書がある。様々な条件は、特に、様々な濃度の抗生物質を使用して得られる。しかしながら、複数の抗生物質に対して同じトレーニングデータベースを採用することなどが想定され得る。
ステップ(b0)は、非常に上流で実施されてもよいし、結果を精緻化するためにステップ(a)の結果(進行中の実験を表すデータベース)を待ってもよいことに留意されたい。
いずれの場合も、学習は、当業者に知られている任意の方法で行われ得、特に、ここでも最適化問題に対応し得る。トレーニングデータベースの画像がxi(i≦N)と示される場合、問題は、例えば、以下のようになる:
具体的には、その目的は、各トレーニング画像xiの最良近似Dαiを可能にする辞書Dを見つけることである。
例えば、場合によっては、SPAMSツールボックスを使用して学習を行う(SPAMSはスパースモデリングソフトウェア(SPArse Modeling Software)を表す)。
このように、最大4つの異なる濃度のセフポドキシムがある場合(+抗生物質が存在しない場合)における、6株(2つの非耐性株および4つの耐性株)の大腸菌の培養物から61分かけて取得された数万の入力画像のデータベースを使用して図5aの36個のアトムを学習した。正則化パラメータλを、0.2に設定して36個のアトムを得た。アトム5、16、19、32は、(正常な)分裂の過程にある細菌に対応し、アトム9、11、12、26、27、33は、セフポドキシムによって誘導される形態学的変化を示す。
黄色ブドウ球菌のような他の細菌および/またはセフォキシチン、ゲンタマイシンなどの他の抗生物質について、他の辞書が継続的に学習されている。
分類
ステップ(c)において、上記入力画像は、上記抽出された特徴ベクトルに応じて分類される。
ステップ(c)において、上記入力画像は、上記抽出された特徴ベクトルに応じて分類される。
1つまたは複数の特徴ベクトル/行列の記述的分析を可能にする任意の技法、特に、上記トレーニングデータベースに対してトレーニングされた分類器(いくつかの例が以下に与えられる)が潜在的に使用されることが理解されよう。この点に関して、ステップ(b0)と同様に、本方法は、サーバ1のデータ処理手段3によって、トレーニングデータベースを使用して、分類器をトレーニングするステップ(a0)を含み得る。具体的には、このステップは、典型的には、非常に上流で、特にリモートサーバ1によって実施される。説明したように、トレーニングデータベースは、トレーニング画像の特徴ベクトル/行列、すなわち、それらのスパースコードを特定の数含み得、これは、ほとんど空間を取らない。
ステップ(b)で得られたスパースコード(特に行列の場合)は、非常に多数の変数を有し得るので、分析結果の可視化および解釈が複雑になり得、削減技法を使用することが好ましい。
したがって、データ可視化のための変数の数の削減を達成する非線形方法であるt-SNEアルゴリズム(t-SNEは、t分布型確率的近傍埋め込み法(t-distributed stochastic neighbor embedding)を表す)を使用することで、高次元空間の点のセットを2次元または3次元の空間で表すことができ(スパースコード/活性化プロファイルの値空間)、散布図を用いてデータを可視化することが可能である。t-SNEアルゴリズムは、情報理論基準にしたがって、点の近接性に関して最適な構成(t-SNE埋め込みと呼ばれる)を見つけようとする。
元の空間で近くにある(それぞれ遠く離れている)2つの点は、低次元空間では近くにあるはずである(それぞれ遠く離れているはずである)。
元の空間で近くにある(それぞれ遠く離れている)2つの点は、低次元空間では近くにあるはずである(それぞれ遠く離れているはずである)。
t-SNEアルゴリズムは、粒子レベル(トレーニングデータベースにおいてベクトルが利用可能である個々の粒子に関する標的粒子11a~11f)とフィールドレベル(試料12全体について-複数の粒子11a~11fを表す複数の入力画像の場合)の両方で、特に特徴行列ではなく単一ベクトルの場合に実装され得る。
t-SNE埋め込みは、特に、例えば、パイソンでの実装により効率的に達成され得、したがってリアルタイムで実施することができることに留意されたい。また、計算の速度を上げ、メモリフットプリントを低減するために、最初に、次元の線形低減(例えば、PCA-主成分分析(Principal Component Analysis))のステップを経てから、トレーニングデータベースおよび問題の入力画像のt-SNE埋め込みを計算することも可能である。この場合、トレーニングデータベースのPCA埋め込みがメモリに記憶され得、その後には、問題の入力画像のスパースコードを用いて埋め込みを完了することだけが残る。
実際の分類器については、特に、t-SNEアルゴリズムの結果(得られた埋め込み)に対して、k-NN法(k-NNは、k近傍方(k-nearest neighbors)を表す)を使用することが可能である。
この考えは、問題の1つまたは複数の入力画像の特徴ベクトルに対応する点の近傍点を見て、それらの分類を見るというものである。例えば、近傍点が「分裂なし」に分類される場合、問題の入力画像は「分裂なし」に分類されるはずであると仮定することができる。考慮される近傍は、例えば、株、抗生物質などに応じて、制限される可能性があることに留意されたい。図6は、様々な濃度のセフポドキシムに対する大腸菌株について得られたt-SNE埋め込みの2つの例を示す。上の例では、2つのブロックがはっきりと確認でき、超えた場合に形態ひいては細胞分裂が影響を受ける最小阻害濃度(MIC)が存在することが視覚的に示されている。上部に近いベクトルは「分裂あり」に分類され、下部に近いベクトルは「分裂なし」に分類される。下の例では、最高濃度のみが際立っている(したがって、抗生物質効果を有するように見える)ことが分かる。
第2の実施形態によれば、サポートベクターマシン(SVM)が分類器として使用され、同じくバイナリ分類(例えば、この場合も同様に「分裂あり」または「分裂なし」)を得る。この単純な方法は、単一の入力画像(特徴ベクトルにSVMが適用されたもの)に対して特に有効である。SVMのハイパーパラメータCは、グリッドサーチおよびいわゆるk分割交差検証(特にk=5で、元のデータベースがk個の試料に分割され、次いでk個の試料のうちの1つが検証セットとして選択され、k-1個の他の試料がトレーニングセットを形成する)を使用して最適化され得る。
第3の実施形態によれば、入力画像のシーケンス(3Dスタック)、したがって特徴行列の場合、畳み込みニューラルネットワーク(CNN)が分類器として使用される。
このCNNは、比較的単純なアーキテクチャ、例えば、1つの畳み込み層、1つの活性化層(例えば、ReLU関数)、および1つのプーリング層(例えば、最大プーリング層)の一連のブロックから構成されるアーキテクチャを有し得る。そのようなブロックが2つあれば、効果的なバイナリ分類を達成するのに十分である。さらに、入力を(特に「時間」次元において)ダウンサンプリングして、そのメモリフットプリントをさらに減少させることが可能である。
CNNは、従来の方法でトレーニングされ得る。トレーニングコスト関数は、従来のコスト関数(例えば、クロスエントロピー)と、全変動正則化とから構成され得る。
すべての実施形態において、トレーニングされた分類器は、必要に応じて、分類のためにクライアント2のデータ記憶手段21に記憶され得る。同じ分類器が多くのクライアント2にインストールしても、必要なトレーニング段階は1つだけであり得ることに留意されたい。
コンピュータプログラム製品
第2および第3の態様によれば、本発明は、試料12中の標的粒子11a~11fを表す少なくとも1つの入力画像を分類するための方法を(特にサーバ1および/またはクライアント2のデータ処理手段3、20上で)実行するためのコード命令を含むコンピュータプログラム製品、ならびにこのコンピュータプログラム製品が記憶されたコンピュータ機器(サーバ1および/またはクライアント2のメモリ4、21)によって読み取り可能な記憶手段に関する。
第2および第3の態様によれば、本発明は、試料12中の標的粒子11a~11fを表す少なくとも1つの入力画像を分類するための方法を(特にサーバ1および/またはクライアント2のデータ処理手段3、20上で)実行するためのコード命令を含むコンピュータプログラム製品、ならびにこのコンピュータプログラム製品が記憶されたコンピュータ機器(サーバ1および/またはクライアント2のメモリ4、21)によって読み取り可能な記憶手段に関する。
Claims (15)
- 試料中の標的粒子を表す少なくとも1つの入力画像を分類するための方法であって、クライアントのデータ処理手段によって、
(b)前記標的粒子の特徴の特徴ベクトルを抽出するステップであって、前記特徴は、それぞれが基準粒子を表す基本画像のセットのうちの1つの基本画像にそれぞれ関連付けられた数値係数であり、前記係数によって重み付けされた前記基本画像の線形結合が前記入力画像内の前記標的粒子の表現を近似するようになっている、ステップと、
(c)前記抽出された特徴ベクトルに応じて前記入力画像を分類するステップ
の実施を含むことを特徴とする、方法。 - 前記粒子は、前記入力画像および各基本画像において一様な方法で表され、特に、中心に配置され、所定の方向に位置合わせされる、請求項1に記載の方法。
- 前記標的粒子を前記一様な方法で表すために、前記試料の全体画像から前記入力画像を抽出するステップ(a)を含む、請求項2に記載の方法。
- ステップ(a)は、前記試料中の前記標的粒子を検出するように前記全体画像をセグメント化し、次いで、前記検出された標的粒子に前記入力画像をクロッピングすることを含む、請求項3に記載の方法。
- ステップ(a)は、前記試料の強度画像から前記全体画像を取得することを含み、前記画像は観察装置によって取得される、請求項3または4に記載の方法。
- 前記試料中の粒子のトレーニング画像のデータベースを使用して、前記基本画像の教師なし学習を行うステップ(b0)を含む、請求項1から5のいずれか一項に記載の方法。
- 前記学習された基準画像は、前記基本画像の線形結合によって前記トレーニング画像内の前記粒子の前記表現の最良近似を可能にする画像である、請求項6に記載の方法。
- ステップ(c)は、分類器によって実施され、前記方法は、サーバのデータ処理手段によって、試料中の粒子のすでに分類された特徴ベクトル/行列のトレーニングデータベースを使用して、前記分類器のパラメータをトレーニングするステップ(a0)を含む、請求項1から7のいずれか一項に記載の方法。
- 前記分類器は、サポートベクターマシン、k最近傍アルゴリズム、または畳み込みニューラルネットワークから選択される、請求項8に記載の方法。
- ステップ(c)は、t-SNEアルゴリズムによって、前記特徴ベクトルの変数の数を減らすことを含む、請求項1から9のいずれか一項に記載の方法。
- 試料中の前記標的粒子を表す入力画像のシーケンスを経時的に分類するための方法であって、ステップ(b)は、前記シーケンスの各入力画像の前記抽出された特徴ベクトルを連結することによって前記標的粒子の特徴行列を取得することを含む、請求項1から10のいずれか一項に記載の方法。
- データ処理手段を備える少なくとも1つのクライアントを備える、試料中の標的粒子を表す少なくとも1つの入力画像を分類するためのシステムであって、前記データ処理手段が、
- 前記標的粒子の特徴の特徴ベクトルを抽出することであって、前記特徴は、それぞれが基準粒子を表す基本画像のセットのうちの1つの基本画像にそれぞれ関連付けられた数値係数であり、前記係数によって重み付けされた前記基本画像の線形結合が前記入力画像内の前記標的粒子の表現を近似するようになっている、抽出することと、
- 前記抽出された特徴ベクトルに応じて前記入力画像を分類することと
を実施するように構成されることを特徴とする、システム。 - 前記試料中の前記標的粒子を観察するための装置をさらに備える、請求項12に記載のシステム。
- コンピュータプログラム製品であって、前記プログラムがコンピュータ上で実行されると、試料中の標的粒子を表す少なくとも1つの入力画像を分類するための請求項1から11のいずれか一項に記載の方法を実行するためのコード命令を含むコンピュータプログラム製品。
- コンピュータ機器によって読み取り可能な記憶媒体であって、コンピュータプログラム製品が、試料中の標的粒子を表す少なくとも1つの入力画像を分類するための請求項1から11のいずれか一項に記載の方法を実行するためのコード命令を含む、記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR2010740 | 2020-10-20 | ||
FR2010740A FR3115378A1 (fr) | 2020-10-20 | 2020-10-20 | Procédé de classification d’une image d’entrée représentant une particule dans un échantillon |
PCT/FR2021/051818 WO2022084617A1 (fr) | 2020-10-20 | 2021-10-19 | Procédé de classification d'une image d'entrée représentant une particule dans un échantillon |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023546190A true JP2023546190A (ja) | 2023-11-01 |
Family
ID=74871463
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023524071A Pending JP2023546190A (ja) | 2020-10-20 | 2021-10-19 | 試料中の粒子を含む入力画像の分類方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230386232A1 (ja) |
EP (1) | EP4233018A1 (ja) |
JP (1) | JP2023546190A (ja) |
CN (1) | CN116888643A (ja) |
FR (1) | FR3115378A1 (ja) |
WO (1) | WO2022084617A1 (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012021802A2 (en) | 2010-08-12 | 2012-02-16 | The Regents Of The University Of California | Method for identifying antimicrobial compounds and determining antibiotic sensitivity |
EP3252455A1 (fr) * | 2016-05-30 | 2017-12-06 | Biomérieux | Dispositif et procede d'acquisition d'une particule presente dans un echantillon |
CN110458137A (zh) * | 2019-08-19 | 2019-11-15 | 重庆大学 | 一种基于两级多任务学习的合成孔径雷达图像识别方法 |
-
2020
- 2020-10-20 FR FR2010740A patent/FR3115378A1/fr active Pending
-
2021
- 2021-10-19 CN CN202180072000.0A patent/CN116888643A/zh active Pending
- 2021-10-19 US US18/031,729 patent/US20230386232A1/en active Pending
- 2021-10-19 JP JP2023524071A patent/JP2023546190A/ja active Pending
- 2021-10-19 WO PCT/FR2021/051818 patent/WO2022084617A1/fr active Application Filing
- 2021-10-19 EP EP21807184.3A patent/EP4233018A1/fr active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4233018A1 (fr) | 2023-08-30 |
CN116888643A (zh) | 2023-10-13 |
US20230386232A1 (en) | 2023-11-30 |
WO2022084617A1 (fr) | 2022-04-28 |
FR3115378A1 (fr) | 2022-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Bayraktar et al. | Feature extraction from light-scatter patterns of Listeria colonies for identification and classification | |
CN109154563B (zh) | 用于获取样本中所存在的粒子的装置和方法 | |
El Mallahi et al. | Automated three-dimensional detection and classification of living organisms using digital holographic microscopy with partial spatial coherent source: application to the monitoring of drinking water resources | |
CN109564617A (zh) | 表征和成像微观物体的方法 | |
US12001940B2 (en) | Identifying microorganisms using three-dimensional quantitative phase imaging | |
Walcutt et al. | Assessment of holographic microscopy for quantifying marine particle size and concentration | |
Shaw et al. | Three-dimensional behavioural phenotyping of freely moving C. elegans using quantitative light field microscopy | |
Kumar et al. | 3D holographic observatory for long-term monitoring of complex behaviors in drosophila | |
JP2023546192A (ja) | 試料中の粒子を表す入力画像の分類方法 | |
US20240020949A1 (en) | Method for classifying an input image representing a particle in a sample | |
JP2023546193A (ja) | 経時的に試料中の粒子を表す入力画像のシーケンスを分類する方法 | |
JP2023546190A (ja) | 試料中の粒子を含む入力画像の分類方法 | |
Ronen et al. | Plankton reconstruction through robust statistical optical tomography | |
Strbkova et al. | Automated interpretation of time-lapse quantitative phase image by machine learning to study cellular dynamics during epithelial–mesenchymal transition | |
Zhang et al. | DSeg: A dynamic image segmentation program to extract backbone patterns for filamentous bacteria and hyphae structures | |
Trolinger et al. | A new digital holographic microscope for the study of biological systems | |
Zelenka et al. | Single image plankton 3D reconstruction from extended depth of field shadowgraph | |
Zhang et al. | Quantification of Myxococcus xanthus Aggregation and Rippling Behaviors: Deep-Learning Transformation of Phase-Contrast into Fluorescence Microscopy Images | |
Grüning et al. | Direct Inference of Cell Positions using Lens-Free Microscopy and Deep Learning | |
Grant-Jacob et al. | Single-frame 3D lensless microscopic imaging via deep learning | |
Ruttanasirawit et al. | Digital holography with deep learning for algae identification and classification | |
Peng | Fast and Long: Characterizing Biofilm Growth Dynamics with Holographic Microscopy | |
CN117788369A (zh) | 用于基于深度学习无监督识别单细胞形态图谱分析的方法 | |
EP4374342A1 (en) | Computer-implemented method and corresponding apparatus for identifying subcellular structures in the non-chemical staining mode from phase contrast tomography reconstructions in flow cytometry | |
Dong | High-Throughput Image Analysis of Zebrafish Models of Parkinson’s Disease |