JP2023546192A - 試料中の粒子を表す入力画像の分類方法 - Google Patents
試料中の粒子を表す入力画像の分類方法 Download PDFInfo
- Publication number
- JP2023546192A JP2023546192A JP2023524073A JP2023524073A JP2023546192A JP 2023546192 A JP2023546192 A JP 2023546192A JP 2023524073 A JP2023524073 A JP 2023524073A JP 2023524073 A JP2023524073 A JP 2023524073A JP 2023546192 A JP2023546192 A JP 2023546192A
- Authority
- JP
- Japan
- Prior art keywords
- image
- sample
- feature map
- input image
- particles
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000002245 particle Substances 0.000 title claims abstract description 115
- 238000000034 method Methods 0.000 claims abstract description 67
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 18
- 238000013527 convolutional neural network Methods 0.000 claims description 32
- 238000012549 training Methods 0.000 claims description 23
- 239000013598 vector Substances 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 5
- 241000894006 Bacteria Species 0.000 description 18
- 239000003242 anti bacterial agent Substances 0.000 description 17
- 229940088710 antibiotic agent Drugs 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 14
- 230000003115 biocidal effect Effects 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 8
- 230000001580 bacterial effect Effects 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 238000009647 digital holographic microscopy Methods 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 239000002609 medium Substances 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000001427 coherent effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000011534 incubation Methods 0.000 description 4
- 244000005700 microbiome Species 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 241000588724 Escherichia coli Species 0.000 description 2
- 241000233866 Fungi Species 0.000 description 2
- 240000004808 Saccharomyces cerevisiae Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- WYUSVOMTXWRGEK-HBWVYFAYSA-N cefpodoxime Chemical compound N([C@H]1[C@@H]2N(C1=O)C(=C(CS2)COC)C(O)=O)C(=O)C(=N/OC)\C1=CSC(N)=N1 WYUSVOMTXWRGEK-HBWVYFAYSA-N 0.000 description 2
- 229960005090 cefpodoxime Drugs 0.000 description 2
- 230000032823 cell division Effects 0.000 description 2
- 230000001066 destructive effect Effects 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 239000003344 environmental pollutant Substances 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000004992 fission Effects 0.000 description 2
- 239000001963 growth medium Substances 0.000 description 2
- 238000000386 microscopy Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 231100000719 pollutant Toxicity 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000007794 visualization technique Methods 0.000 description 2
- 229920001817 Agar Polymers 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 239000008272 agar Substances 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012258 culturing Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 231100000433 cytotoxic Toxicity 0.000 description 1
- 230000001472 cytotoxic effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000001093 holography Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000003446 ligand Substances 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000000399 optical microscopy Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 229920000729 poly(L-lysine) polymer Polymers 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000003566 sealing material Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Image Analysis (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
Abstract
本発明は、試料(12)中の標的粒子(11a~11f)を表す少なくとも1つの入力画像を分類するための方法に関し、本方法は、クライアント(2)のデータ処理手段(20)によって、(B)入力画像から標的粒子(11a~11f)の特性マップを抽出するステップと、(c)t-SNEアルゴリズムを使用して、抽出された特性マップ内の変数の数を減らすステップと、(d)減らされた数の変数を有する特性マップに基づいて、入力画像を教師なしで分類するステップとを実施することを含むことを特徴とする。
Description
本発明は、生物学的粒子の光学的取得の分野に関する。生物学的粒子は、例えば、細菌、真菌、または酵母などの微生物であってもよい。それはまた、細胞、多細胞生物、または汚染物質もしくは粉塵などの任意の他のタイプの粒子の問題であってもよい。
本発明は、例えば、抗生物質の適用後の細菌の代謝状態を決定する目的とした生物学的粒子の状態の分析に特に有利に適用可能である。本発明により、例えば、細菌についてのアンチバイオグラムを実施することができる。
アンチバイオグラムは、1つまたは複数の抗生物質に対する細菌株の表現型を試験することを目的とした実験技法である。従来、アンチバイオグラムは、細菌と抗生物質とを含む試料を培養することにより実施される。
欧州特許出願第2 603 601号には、抗生物質の存在下でのインキュベーション期間後の細菌の状態を可視化することを含む、アンチバイオグラムを実施するための方法が記載されている。細菌を可視化するために、細菌を蛍光マーカーで標識して、それらの構造を明らかにする。次いで、マーカーの蛍光を測定することで、抗生物質が細菌に対して効果的に作用したかどうかを決定することができる。
所与の細菌株に対して有効な抗生物質を決定するための従来のプロセスは、当該株を含む試料を(例えば、患者、動物、食品バッチなどから)採取し、次いで試料を分析センターに送ることにある。分析センターは、試料を受け取ると、まず、細菌株の少なくとも1つのコロニーを得るために細菌株を培養するが、これには24時間~72時間かかる。次いで、このコロニーから、異なる抗生物質および/または異なる濃度の抗生物質を含むいくつかの試料を調製し、再び試料をインキュベートする。同じく24~72時間を要する新たな培養期間の後、各試料を手作業で分析して、抗生物質が有効に作用したかどうかを決定する。そして、その結果は、プラクティショナ(practitioner)が最も有効な抗生物質および/または抗生物質濃度を適用することができるように、プラクティショナに返される。
しかしながら、標識プロセスは、実施するのに特に長く複雑であり、これらの化学マーカーは、細菌に対して細胞毒性効果を有する。したがって、この可視化方法では、培養中に細菌を何度も観察することができず、その結果、測定の信頼性を保証するためには、24~72時間程度の十分に長い時間、細菌を培養する必要がある。生物学的粒子を可視化する他の方法では、試料の非破壊測定を可能にする顕微鏡を使用する。
デジタルホログラフィック顕微鏡法すなわちDHMは、従来の光学顕微鏡法の被写界深度の制約を克服することができる撮像技法である。概略的には、これは、観察される物体によって回折された光波と空間的にコヒーレントな参照波との間の干渉によって形成されるホログラムを記録することにある。この技法は、SPIE Reviews Vol. 1, No. 1, January 2010で発表されたMyung K. Kimによる「Principles and techniques of digital holography microscopy」と題する総説に記載されている。
近年では、デジタルホログラフィック顕微鏡法を使用して、自動化された方法で微生物を同定することが提案されている。したがって、国際出願WO2017/207184には、粒子を取得するための方法が記載されており、この方法は、取得時間を制限しながら生物学的粒子を観察することを可能にするために、単純なデフォーカス取得をデジタル焦点再構成と関連付ける。
典型的には、このソリューションにより、数日かかり得る上述の従来のプロセスとは異なり、わずか10分程度のインキュベーション後に抗生物質の存在下での細菌に対する構造修飾を検出し、2時間後にその感度を検出すること(分裂の有無または分裂を示すパターンの検出)が可能になる。具体的には、測定は非破壊的であるので、試料を破壊するリスク、したがって分析時間を延長するリスクを冒すことなく、培養プロセスの非常に早い段階で分析を実施することが可能である。
粒子の挙動、例えば、その移動速度またはその細胞分裂プロセスを可視化するために、経時的な粒子の進行を表すフィルムを形成するように、複数の連続画像にわたって粒子を追跡することさえ可能である(粒子は最初の分析後に損なわれないので)。
したがって、この可視化方法は優れた結果をもたらすことが理解されよう。例えば、試料中に存在する抗生物質に対する細菌の感受性に関する結論に達することが望まれる場合、これらの画像またはこのフィルムをそれ自体で解釈することは困難である。
単に経時的に細菌を計数することから、画像分析を介して特定の「構成」を検出することを目的とするいわゆる形態学的分析まで、様々な技法が提案されている。例えば、細菌が分裂する準備をしている場合、分裂自体のかなり前に2つの極が分布に現れ、その結果、分布が2つの異なるセグメントに分かれる。
これらの2つの技法を組み合わせて抗生物質の有効性を評価することが、論文[Choiら、2014]において提案されている。しかしながら、著者らが強調しているように、彼らのアプローチは、抗生物質によって引き起こされる形態学的変化の性質に強く依存する、ある特定の数の閾値の非常に微細な較正を必要とする。
より最近では、論文[Yuら、2018]に、深層学習に基づくアプローチが記載されている。著者らは、畳み込みニューラルネットワーク(CNN)を使用して形態学的特徴および細菌の動きに関連する特徴を抽出することを提案している。しかしながら、このソリューションは、コンピューティングリソースに関して非常に集中的であることが判明しており、CNNをトレーニングするためにトレーニング画像の膨大なデータベースを必要とする。
したがって、本発明の目的とする技術的課題は、より効果的であるとともに資源集約的でない、生物学的粒子の画像を分類するためのソリューションを提供することを可能にすることである。
第1の態様によれば、本発明は、試料中の標的粒子を表す少なくとも1つの入力画像を分類するための方法に関し、この方法は、クライアントのデータ処理手段によって、以下のステップの実施を含むことを特徴とする:
(b)入力画像から上記標的粒子の特徴マップを抽出するステップ;
(c)t-SNEアルゴリズムによって、抽出された特徴マップの変数の数を減らすステップ;
(d)減らされた数の変数を有する上記特徴マップに応じて上記入力画像の教師なし分類を行うステップ。
(b)入力画像から上記標的粒子の特徴マップを抽出するステップ;
(c)t-SNEアルゴリズムによって、抽出された特徴マップの変数の数を減らすステップ;
(d)減らされた数の変数を有する上記特徴マップに応じて上記入力画像の教師なし分類を行うステップ。
有利であるが非限定的な特徴によれば:
粒子は、入力画像および各基本画像において一様な方法で表され、特に、中心に配置され、所定の方向に位置合わせされる。
本方法は、上記標的粒子を上記一様な方法で表すために、試料の全体画像から上記入力画像を抽出するステップ(a)を含む。
ステップ(a)は、試料中の上記標的粒子を検出するように上記全体画像をセグメント化し、次いで、上記検出された標的粒子に入力画像をクロッピングすることを含む。
ステップ(a)は、試料の強度画像から上記全体画像を取得することを含み、上記画像は観察装置によって取得される。
上記特徴マップは、それぞれが基準粒子を表す基本画像のセットのうちの1つの基本画像にそれぞれ関連付けられた数値係数のベクトルであり、ステップ(a)は、上記係数によって重み付けされた上記基本画像の線形結合が入力画像内の上記標的粒子の表現を近似するように数値係数を決定することを含む。
上記標的粒子の上記特徴マップは、公開画像データベースに対して事前トレーニングされた畳み込みニューラルネットワークによって、ステップ(b)において抽出される。
ステップ(c)は、上記t-SNEアルゴリズムによって、試料中の粒子のすでに分類された特徴マップのトレーニングデータベースの各特徴マップについて、および抽出された特徴マップについて、埋め込み空間を定義することを含み、上記特徴マップは、抽出された特徴マップを上記埋め込み空間に埋め込んだ結果である減らされた数の変数を有する。
ステップ(c)は、上記埋め込み空間におけるk最近傍アルゴリズムの実施を含む。
本方法は、試料中の上記標的粒子を表す入力画像のシーケンスを経時的に分類するための方法であり、ステップ(b)は、上記シーケンスの各入力画像の抽出された特徴マップを連結することを含む。
第2の態様によれば、データ処理手段を備える少なくとも1つのクライアントを備える、試料中の標的粒子を表す少なくとも1つの入力画像を分類するためのシステムが提供され、上記データ処理手段が、以下を実施するように構成されることを特徴とする:
- 少なくとも1つの入力画像の分析を介して上記標的粒子の特徴マップを抽出すること;
- t-SNEアルゴリズムによって、特徴マップの変数の数を減らすこと;
- 減らされた数の変数を有する上記特徴マップに応じて上記入力画像の教師なし分類を行うこと。
- 少なくとも1つの入力画像の分析を介して上記標的粒子の特徴マップを抽出すること;
- t-SNEアルゴリズムによって、特徴マップの変数の数を減らすこと;
- 減らされた数の変数を有する上記特徴マップに応じて上記入力画像の教師なし分類を行うこと。
有利であるが非限定的な特徴によれば、システムは、試料中の上記標的粒子を観察するための装置をさらに備える。
第3および第4の態様によれば、試料中の標的粒子を表す少なくとも1つの入力画像を分類するための第1の態様による方法を実行するためのコード命令を含むコンピュータプログラム製品と、コンピュータプログラム製品が、試料中の標的粒子を表す少なくとも1つの入力画像を分類するための第1の態様による方法を実行するためのコード命令を含む、コンピュータ機器によって読み取り可能な記憶媒体とが提供される。
本発明の他の特徴および利点は、好ましい実施形態の以下の説明を読めば明らかになるであろう。この説明は、添付の図面を参照して与えられるであろう。
本発明による方法を実施するためのアーキテクチャの概略図である。
本発明による方法の好ましい一実施形態において使用される、試料中の粒子を観察するための装置の一例を示す。
本発明による方法の一実施形態における入力画像の取得を示す。
本発明による方法の好ましい実施形態における入力画像の取得を示す。
本発明による方法の好ましい実施形態のステップを示す。
本発明による方法の好ましい実施形態において使用される基本画像の辞書の一例を示す。
本発明による方法の好ましい実施形態における特徴ベクトルおよび行列の抽出の一例を示す。
本発明による方法の好ましい実施形態において使用される畳み込みニューラルネットワークアーキテクチャの一例を示す。
本発明による方法の好ましい実施形態において使用されるt-SNE埋め込みの一例を表す。
アーキテクチャ
本発明は、標的粒子と呼ばれる、試料12中に存在する粒子11a~11fを表す少なくとも1つの入力画像を分類するための方法に関する。この方法は、試料12中に存在する粒子11a~11fのすべてまたはいくつかに対して並行して実施され得、それぞれが順番に標的粒子と考えられることに留意されたい。
本発明は、標的粒子と呼ばれる、試料12中に存在する粒子11a~11fを表す少なくとも1つの入力画像を分類するための方法に関する。この方法は、試料12中に存在する粒子11a~11fのすべてまたはいくつかに対して並行して実施され得、それぞれが順番に標的粒子と考えられることに留意されたい。
理解されるように、この方法は、1つまたは複数の機械学習コンポーネント、特に、畳み込みニューラルネットワーク(CNN)を含む1つまたは複数の分類器を含み得る。
入力またはトレーニングデータは、画像タイプのものであり、試料12中の標的粒子11a~11fを表す(言い換えれば、これらは、標的粒子を視認できる試料の画像である)。理解されるように、同じ標的粒子11a~11fの画像のシーケンス(または、必要に応じて、複数の粒子が考慮される場合には、試料12の粒子11a~11fの画像の複数のシーケンス)が入力として提供され得る。
試料12は、観察されるべき粒子11a~11fが位置している、水、緩衝液、培地、または反応性媒体(抗生物質を含むかは問わない)などの液体から構成される。
変形形態として、試料12は、粒子11a~11fが位置している、好ましくは半透明の、寒天などの固体媒体の形態をとり得る。試料12は、ガス状媒体であってもよい。粒子11a~11fは、媒体の内部または試料12の表面に位置してもよい。
粒子11a~11fは、細菌、真菌、または酵母などの微生物であってもよい。それはまた、細胞、多細胞生物、または汚染物質もしくは粉塵などの任意の他のタイプの粒子の問題であってもよい。残りの説明では、粒子が細菌である(そして、理解されるように、試料12が抗生物質を組み込んでいる)好ましい例について考える。観察された粒子11a~11fのサイズは、500nmから数百μm、さらには数ミリメートルの間で変化する。
入力画像(または入力画像のシーケンス)の「分類」は、画像を記述する可能なクラスのセットの中から少なくとも1つのクラスを決定することにある。例えば、細菌タイプの粒子の場合、バイナリ分類が採用され得、すなわち、抗生物質に対する耐性の有無をそれぞれ証明する「分裂あり」または「分裂なし」を示す2つの可能なクラスが採用され得る。上記標的粒子11a~11fに対する抗生物質の効果のバイナリ分類の例が主に説明されるが、本発明は、任意の1つの特定の種類の分類に限定されるものではない。
本方法は、サーバ1およびクライアント2によって、図1に示されるようなアーキテクチャ内で実施される。サーバ1は、トレーニングされる(トレーニング方法を実施する)機器であり、クライアント2は、(分類方法を実施する)ユーザ機器、例えば、医者または病院の端末である。
2つの機器1、2を組み合わせることは十分に可能であるが、好ましくは、サーバ1はリモートの機器であり、クライアント2は大量市場の機器、特に、デスクトップコンピュータ、ラップトップコンピュータなどである。クライアント機器2は、有利には、典型的には直ちに処理する目的で、上記入力画像(または、以下から分かるように、試料12の全体画像などの「生の」取得データ、さらには電磁マトリックス)を直接取得することができるように、観察装置10に接続される。代替的に、入力画像は、クライアント機器2にロードされる。
いずれにしても、各機器1、2は、典型的には、データを交換する目的でローカルネットワークまたはインターネットなどのワイドエリアネットワークに接続されたリモートのコンピュータ機器である。各々は、プロセッサタイプのデータ処理手段3、20と、コンピュータメモリ、例えば、フラッシュメモリまたはハードディスクなどのデータ記憶手段4、21とを備える。クライアント2は、典型的には、対話を可能にする画面などのユーザインターフェース22を備える。
サーバ1は、有利には、トレーニングデータベース、すなわち、様々な条件(以下を参照)における粒子11a~11fの画像のセットおよび/またはすでに分類された特徴マップのセット(例えば、抗生物質に対する感受性または耐性を示す「分裂あり」または「分裂なし」という標識に関連付けられている)を記憶する。トレーニングデータは、場合によっては、例えば、細菌の培養に関して、「株」、「抗生物質条件」、「時間」などを示す、試験条件を定義する標識に関連付けられることに留意されたい。
取得
以上のように、本方法は、任意の方法で得られた標的粒子11a~11fの任意の画像を入力として直接取り込むことができる。しかしながら、本方法は、好ましくは、観察装置10によって提供されるデータから入力画像を取得するステップ(a)から開始する。
以上のように、本方法は、任意の方法で得られた標的粒子11a~11fの任意の画像を入力として直接取り込むことができる。しかしながら、本方法は、好ましくは、観察装置10によって提供されるデータから入力画像を取得するステップ(a)から開始する。
既知の方法で、当業者は、特に、国際出願WO2017/207184に記載されているようなDHM技法(DHMはデジタルホログラフィック顕微鏡法(digital holographic microscopy)を表す)を使用することができる。特に、標的粒子に焦点が合っていない(画像は「ピンぼけ(out of focus)」していると考えられる)が、データ処理手段(これは、例えば、装置10またはクライアント2の装置20のいずれかに統合されている、以下を参照)によって処理することができる試料12の強度画像が取得され得、そのような画像はホログラムと呼ばれる。ホログラムは、試料中のすべての粒子11a~11fを特定の方法で「表す」ことが理解されよう。
図2は、試料12中に存在する粒子11a~11fを観察するための装置10の一例を示す。試料12は、空間的および時間的にコヒーレントである光源15(例えば、レーザ)または擬似コヒーレントである光源15(例えば、発光ダイオード、レーザダイオード)と、光源のスペクトル領域において感度を有するデジタルセンサ16との間に配置される。好ましくは、光源15は、狭いスペクトル幅、例えば、200nmよりも狭い、100nmよりも狭い、さらには25nmよりも狭いスペクトル幅を有する。以下では、例えば、可視領域にある光源の中心発光波長に言及する。光源15は、試料の第1の面13に向かってコヒーレント信号Snを放出し、信号は、例えば、光ファイバなどの導波路によって伝達される。
試料12(典型的には培地として説明される)は、下部スライドおよび上部スライド、例えば、従来の顕微鏡スライドによって垂直方向に境される分析チャンバ内に収容される。分析チャンバは、接着剤または任意の他の密封材料によって横方向に境される。下部スライドおよび上部スライドは、光源15の波長に対して透明であり、試料およびチャンバは、例えば、光源の波長の50%超が、下部スライドへの垂直入射下で通過することを可能にする。
好ましくは、粒子11a~11fは、上部スライドに隣接した試料12中に位置する。この目的のために、上部スライドの底面は、粒子の付着を可能にするリガンド、例えば、微生物の文脈ではポリカチオン(例えば、ポリ-L-リジン)を含む。これにより、光学システムの被写界深度に等しいかまたは近い厚さ、すなわち、1mmより小さい厚さ(例えば、チューブレンズ)、好ましくは100μmより小さい厚さ(例えば、顕微鏡対物レンズ)で粒子を含むことができる。それにもかかわらず、粒子11a~11fは、試料12内を移動し得る。
好ましくは、装置は、例えば、顕微鏡対物レンズおよびチューブレンズから構成され、空気中に、試料から一定の距離に配置された光学システム23を備える。光学システム23は、任意に、対物レンズの前または対物レンズとチューブレンズとの間に位置し得るフィルタを備える。光学システム23は、その光軸と、対物レンズからある距離にあるその物体平面(焦点面(plane of focus)とも呼ばれる)と、光学システムによって物体平面と共役になるその像平面とによって特徴付けられる。言い換えれば、物体平面に位置する物体には、焦平面(focal plane)とも呼ばれる像平面におけるこの物体の鮮明な像が対応する。システム23の光学特性は固定されている(例えば、固定焦点距離光学系)。物体平面および像平面は、光軸に直交している。
画像センサ16は、試料の第2の面14に面して、焦平面に、または焦平面に近接して位置する。センサ、例えば、CCDまたはCMOSセンサは、基本感知部位の周期的な2次元アレイと、それ自体既知の方法で露光時間を調整し部位をゼロにする関連電子機器とを備える。基本部位から出力される信号は、露光時間中に当該部位に入射するスペクトル領域の放射の量に依存する。その後、この信号は、例えば、関連電子機器によって、デジタル画像の画像点、すなわち「画素」に変換される。したがって、センサは、C列およびL行の行列の形態をとるデジタル画像を生成する。行列の座標(c,l)のこの行列の各画素は、それ自体既知の方法で、光学システム23の焦平面内のデカルト座標(x(c,l),y(c,l))の位置、例えば、矩形形状の基本感知部位の中心の位置に対応する。
周期的アレイのピッチおよびフィルファクタは、観察される粒子のサイズに関してナイキスト基準を満たすように選択され、それにより、粒子ごとに少なくとも2つの画素が定義される。したがって、画像センサ16は、光源のスペクトル領域における試料の透過画像を取得する。
画像センサ16によって取得される画像は、粒子11a~11fによって回折された波と、試料と相互作用することなく試料を通過した参照波との間の干渉から生じる限り、ホログラフィック情報を含む。上述したように、CMOSまたはCCDセンサの文脈では、取得されたデジタル画像は強度画像であり、したがってここでは位相情報がこの強度画像に符号化されることは明らかである。
代替的に、光源15によって生成されたコヒーレント信号Snを、例えば、半透明板によって2つの成分に分割することが可能である。そして、第1の成分が参照波として働き、第2の成分が試料12によって回折され、光学システム23の像平面内の像が回折波と参照波との間の干渉から生じる。
図3aを参照すると、ステップ(a)において、ホログラムから試料12の少なくとも1つの全体画像を再構成し、次いで、試料の全体画像から上記入力画像を抽出することが可能である。
具体的には、標的粒子11a~11fは、入力画像において一様な方法で表され、特に、中心に配置され、所定の方向(例えば、水平方向)に位置合わせされる必要があることが理解されよう。入力画像はさらに、標準化されたサイズを有している必要がある(入力画像内に標的粒子11a~11fのみが見えることも望ましい)。したがって、入力画像は「サムネイル」と呼ばれ、そのサイズは、例えば、250×250画素となるように定義され得る。入力画像のシーケンスの場合、例えば、120分の時間間隔の間に1分ごとに1つの画像が撮影され、したがって、シーケンスは、250×250×120サイズの3D「スタック」を形成する。
全体画像は、説明したように、装置10のデータ処理手段またはクライアント2のデータ処理手段20によって再構成される。
典型的には、「電磁マトリックス」と呼ばれる一連の複素行列が(所与の取得時間ごとに)構成され、これらの行列は、試料12の強度画像(ホログラム)に基づいて、光学システム23の焦点面に対する複数の偏差、特に、試料内に位置する偏差について、光軸に沿って伝播する光波の波面をモデル化する。
これらの行列は、様々な焦点距離における全体画像のスタックを形成するために、(例えば、エルミートノルム(Hermitian norm)を介して)実空間に投影され得る。
そこから、平均焦点距離を決定すること(および対応する全体画像を選択すること、またはホログラムからそれを再計算すること)、または、標的粒子に対する最適な焦点距離を決定すること(および再び対応する全体画像を選択すること、またはホログラムからそれを再計算すること)さえ可能である。
いずれの場合も、図3bを参照すると、ステップ(a)は、有利には、試料中の上記標的粒子を検出するために上記1つまたは複数の全体画像をセグメント化し、次いでクロッピングすることを含む。特に、上記入力画像は、上記一様な方法で上記標的粒子を表すように、試料の全体画像から抽出され得る。
一般に、セグメント化は、1つまたは複数の全体画像を改善するためにフィラメントまたはマイクロコロニーなどのアーチファクトを除去しながら、関心のあるすべての粒子を検出することを可能にし、次いで、検出された粒子のうちの1つが標的粒子として選択され、対応するサムネイルが抽出される。説明したように、これは、すべての検出された粒子に対して行われ得る。
セグメント化は、任意の既知の方法で実施され得る。図3bの例では、まず細かいセグメント化を実行してアーチファクトを除去した後に、粗いセグメント化を実行して粒子11a~11fを検出する。当業者に知られている任意のセグメント化技法が使用され得る。
標的粒子11a~11fについての入力画像のシーケンスを取得することが望まれる場合、追跡技法を使用して、ある全体画像から次の全体画像への粒子の任意の移動を追跡し得る。
図3aの右側に見られるように、所与の試料について(試料12の複数の粒子、さらにはすべての粒子について)経時的に得られたすべての入力画像がプールされて、試料12を記述するコーパス(言い換えれば、実験を記述するコーパス)が形成され得、このコーパスは、特に、クライアント2の記憶手段21にコピーされることに留意されたい。これは、「粒子」レベルとは対照的な「フィールド」レベルである。例えば、粒子11a~11fが細菌であり、試料12が抗生物質を含む(または含まない)場合、この記述コーパスは、取得の全フィールドにわたるこれらの細菌の成長、形態、内部構造、および光学特性に関するすべての情報を含む。理解されるように、この記述コーパスは、上記トレーニングデータベースへの統合のためにサーバ1に送信され得る。
特徴抽出
図4を参照すると、本方法は、入力画像を直接分類しようとするのではなく、入力画像から特徴マップを抽出するステップ(b)が、上記特徴マップに応じて入力画像を分類するステップ(d)とは別に実施され、これら2つのステップの間に、t-SNEアルゴリズムによって特徴マップの変数の数を減らすステップ(c)が存在するという点で特に注目に値する。より正確には、ステップ(c)において、「t-SNE埋め込み」と呼ばれる特徴マップの埋め込みが構成され、この構成された埋め込みは、抽出された特徴マップの変数の数よりも少ない数の変数、有利には2つまたは3つのみの変数を有する。
図4を参照すると、本方法は、入力画像を直接分類しようとするのではなく、入力画像から特徴マップを抽出するステップ(b)が、上記特徴マップに応じて入力画像を分類するステップ(d)とは別に実施され、これら2つのステップの間に、t-SNEアルゴリズムによって特徴マップの変数の数を減らすステップ(c)が存在するという点で特に注目に値する。より正確には、ステップ(c)において、「t-SNE埋め込み」と呼ばれる特徴マップの埋め込みが構成され、この構成された埋め込みは、抽出された特徴マップの変数の数よりも少ない数の変数、有利には2つまたは3つのみの変数を有する。
本明細書の残りの部分では、幾何学的な意味での特徴マップの「次元」の数、すなわち、これらのマップが延びる独立した方向の数(例えば、ベクトルは次元1のオブジェクトであり、本特徴マップは少なくとも次元2、有利には次元3、時には次元4である)と、これらの特徴マップの「変数」の数、すなわち、各次元におけるサイズ、すなわち、独立した自由度の数(これは、実際には、ベクトル空間における次元の概念に対応するものであり、より正確には、所与の数の変数を有する特徴マップのセットが、この変数の数に等しい次元のベクトル空間を形成し、t-SNE埋め込みのセットについても同様である)との間で区別がなされる。したがって、ステップ(c)は、第1の高次元ベクトル空間(特徴マップ空間)が第2の低次元ベクトル空間(2Dまたは3D空間)にマッピングされる限り、「次元削減」ステップと呼ばれることがあるが、実際には、減らされるのは変数の数である。
そこで、ステップ(b)の終わりに抽出される特徴マップがそれぞれ、60×25サイズ、したがって1500個の変数を有する2次元オブジェクト(すなわち、次元2のオブジェクト-行列)と、7×7×512サイズ、したがって25088個の変数を有する3次元オブジェクト(すなわち、次元3のオブジェクト)である2つの例について以下で説明する。これらの2つの例では、変数の数は、2または3に減らされる。
理解されるように、各ステップは、(必ずしもそうではないが)自動的であり得る独立した学習機構を含み得、したがって、サーバ1の上記トレーニングデータベースは、必ずしもすでに分類されていない粒子画像および特徴マップを含み得る。
したがって、主ステップ(b)は、クライアント2のデータ処理手段20によって、上記標的粒子の特徴マップを抽出するステップ、すなわち標的粒子を「コーディング」するステップである。
当業者は、ここで、ステップ(c)のt-SNEアルゴリズムにより、巧みに、特徴マップの「簡略化された」バージョンを得ることができ、それは、取り扱うことが非常に容易であるので、高い次元数(3つ、さらには4つ)を伴う大量の特徴マップを生成することが可能な技法を含む、特徴マップを抽出するための任意の技法を使用してもよい。
次に、特に、大量の計算能力も注釈付きデータベースも必要とすることなく、高いセマンティックレベルの特徴マップを得ることができる複数の技法について説明する。
したがって、入力画像のシーケンスが供給される場合、ステップ(b)は、有利には、入力画像ごとに1つの特徴マップを抽出することを含み、その特徴マップは、標的粒子の「プロファイル」と呼ばれる単一の特徴マップに組み合わされ得る。より正確には、マップはすべて、同じサイズを有し、マップのシーケンスを形成するので、「高深度」特徴マップを取得するためには、入力画像の順序でそれらを連結すれば十分である。そのような場合、t-SNEごとの変数の数の削減は、さらに有利である。
代替的または追加的に、試料12の複数の粒子11a~11fに関連付けられた複数の入力画像に対応する特徴マップが合計されてもよい。
ステップ(b)の第1の実施形態によれば、特徴マップは単に特徴ベクトルであり、上記特徴は、それぞれが基準粒子を表す基本画像のセットのうちの1つの基本画像にそれぞれ関連付けられた数値係数であり、上記係数によって重み付けされた上記基本画像の線形結合が、入力画像内の上記粒子の表現を近似するようになっている。
これは「スパースコーディング」と呼ばれる。上記基本画像は「アトム」と呼ばれ、アトムのセットは「辞書」と呼ばれる。スパースコーディングの背後にある考え方は、辞書の単語から類推して、任意の入力画像を上記アトムの線形結合として表現することである。より正確には、サイズpの辞書Dについて、同じくサイズpの特徴ベクトルをαとすると、入力画像xの最良近似Dαが求められる。言い換えれば、最適ベクトル(入力画像xのスパースコード)をα*とすると、ステップ(b)は、λを正則化パラメータとする関数の最小化問題を解くことにある(これは、近似の品質とベクトルのスパース性との間の妥協を行うこと、すなわち、可能な限り少ないアトムを含むことを可能にする)。例えば、制約付き最小化問題は、以下のように記述され得る:
上記係数は、有利には、区間[0,1]内の値を有し(これは、Rの場合よりも単純である)、一般に、コーディングの「スパース」特性のために、係数の大部分は0の値を有することが理解されよう。非ゼロ係数に関連付けられたアトムは、活性化アトムと呼ばれる。
当然ながら、基本画像は、入力画像に匹敵するサムネイルであり、すなわち、基準粒子は、入力画像と同じ一様な方法でその中に表され、特に、中心に配置され、上記所定の方向に位置合わせされ、基本画像は、有利には、入力画像と同じサイズ(例えば、250×250)を有する。
したがって、図5aは、36個の基本画像の辞書の一例を示す(抗生物質のセフポドキシムと細菌の大腸菌の場合)。
基準画像(アトム)は予め定義され得る。しかしながら、好ましくは、本方法は、トレーニングデータベースから学習するステップ(b0)を含み、このステップでは、基準画像(すなわち、辞書の画像)が、特にサーバ1のデータ処理手段3によって学習され、その結果、本方法は、いかなる時点においても人間の介入を必要としない。
この学習方法は、辞書を学習することを含むので「辞書学習」と呼ばれ、トレーニングデータベースの画像が注釈付けされることを必要としない限り教師なしであり、したがって、実装するのが極めて簡単である。具体的には、手作業で何千もの画像に注釈を付けることは、非常に時間がかかり、非常に高価であることが理解されよう。
この考えは、単に、トレーニングデータベースにおいて、様々な条件で粒子11a~11fを表すサムネイルを提供し、それに基づいて、任意のサムネイルを可能な限り容易に表されることを可能にするアトムを見つけることである。
入力画像のシーケンスが供給される場合、ステップ(b)は、有利には、説明したように、入力画像ごとに1つの特徴ベクトルを抽出することを含み、その特徴マップは、標的粒子の「プロファイル」と呼ばれる特徴行列に組み合わされ得る。より正確には、ベクトルはすべて、同じサイズ(アトムの数)を有し、ベクトルのシーケンスを形成しているので、(時空間情報、したがって2次元をコーディングする)スパースな2次元コードを取得するためには入力画像の順序でそれらを並置すれば十分である。
図5bは、特徴ベクトルを抽出する別の例を示しており、今度は25個のアトムの辞書を用いている。所与の時間T1で得られた全体画像の全体と、(検出された粒子に対応する)様々な抽出された入力画像とが示されている。これにより、第2の標的粒子を表す画像は、0.33×アトム13+0.21×アトム2+0.16×アトム9(すなわち、ベクトル(0;0.21;0;0;0;0;0;0;0.16;0;0;0;0.33;0;0;0;0;0;0;0;0;0;0;0;0)として近似され得る。
「累積ヒストグラム」と呼ばれる合計されたベクトルが中央に示されている。有利には、係数は、それらの合計が1に等しくなるように正規化される。「活性化プロファイル」と呼ばれる、合計された行列(60分間の合計)が右側に示されており、60×25のサイズを有することが分かる。
この活性化プロファイルは、試料12を(経時的に)表す大まかな(high-level)特徴マップであることが理解されよう。ステップ(b)の第2の実施形態によれば、畳み込みニューラルネットワーク(CNN)が、特徴マップを抽出するために使用される。CNNは特に視覚関連タスクに適していることが想起されよう。一般に、CNNは、入力画像を直接分類する(すなわち、ステップ(b)および(d)を同時に行う)ことができる。
ここで、ステップ(b)とステップ(d)とを分離することにより、CNNの使用を特徴抽出に限定することができ、このステップ(b)では、公開画像データベースに対して事前トレーニングされたCNN、すなわち、すでに独立してトレーニングされているCNNを単独で使用することができる。これを「転移学習」と呼ぶ。
言い換えれば、粒子11a~11fの画像のトレーニングデータベースに対してCNNをトレーニングまたは再トレーニングする必要はなく、したがって、注釈付けされなくてもよい。具体的には、手作業で何千もの画像に注釈を付けることは、非常に時間がかかり、非常に高価であることが理解されよう。
具体的には、特徴抽出のタスクを実行するためには、CNNが、現在の入力画像とは何ら関係のない公開画像データベースを含む画像間の差異を区別すること、すなわち、識別することができれば十分である。有利には、上記CNNは、そのようなネットワークが、画像クラスに関して特に区別できる特徴マップを操作することが知られている限り、画像分類ネットワークであり、したがって、CNNが元々トレーニングされたタスクではない場合であっても、分類されるべき粒子11a~11fの現在の文脈において特に適している。画像検出、認識、またはセグメンテーションネットワークでさえ、実際には(画像全体または画像内のオブジェクトの)分類のタスクに加えて別のタスク(検出ネットワークの場合には分類されたオブジェクトの境界ボックスの座標を決定すること、またはセグメンテーションネットワークの場合にはセグメンテーションマスクを生成することなど)を実行するので、分類ネットワークの特定のケースであることが理解されよう。
公開トレーニング画像データベースに関しては、例えば、周知の公開データベースImageNetが潜在的に使用され、このデータベースは、150万を超える注釈付き画像を含んでおり、(分類、認識などのタスクのための)ほとんどすべての画像処理CNNの教師あり学習を達成するために使用可能である。
したがって、有利には、トレーニングの必要さえない「既製の」CNNを使用することが可能である。ImageNetデータベースに対して事前トレーニングされた(すなわち、ImageNetに対するトレーニングの結果として正しい値に初期化されたそれらのパラメータを用いて取得され得る)様々な分類CNNが知られており、例えば、VGGモデル(VGGは、Visual Geometry Groupを表す)、例えば、VGG-16モデル、AlexNet、Inception、またさらにはResNetである。図6は、VGG-16アーキテクチャ(16層を有する)を表す。
一般に、CNNは、次の2つの部分から構成される:
- 特徴抽出第1サブネットワーク、これは、ほとんどの場合、特徴マップの深さを増加させるために、畳み込み層および(例えば、ReLU関数を採用する)活性化層から構成される一連のブロックを含み、これらのブロックは、特徴マップのサイズを低減することを可能にするプーリング層によって終端される(入力次元数の低減-一般的に2分の1)。したがって、図6の例では、VGG-16は、説明したように、5つのブロックに分割された16個の層を有する。入力として(画像のRGB特性に対応する3つのチャネルを有する、224×224空間サイズの)入力画像を受け取る第1のブロックは、深度を64に増加させる2つの畳み込み+ReLuシーケンス(1つの畳み込み層および1つのReLu関数活性化層)と、次いで、最大プーリング層(グローバル平均プーリングも使用され得る)とを含み、出力は、112×112×64サイズの特徴マップである(最初の2つの次元は空間次元であり、第3の次元は深度であり、したがって、各空間次元は、2で除算される)。第2のブロックは、第1のブロックと同一のアーキテクチャを有し、最後の畳み込み+ReLUシーケンスの出力において、112×112×128サイズ(深度2倍)の特徴マップを生成し、最大プーリング層の出力として、56×56×128サイズの特徴マップを生成する。第3のブロックは、今度は3つの畳み込み+ReLUシーケンスを有し、最後の畳み込み+ReLUシーケンスから、56×56×256サイズ(深度2倍)の特徴マップを生成し、最大プーリング層からの出力として、28×28×256サイズの特徴マップを生成する。第4および第5のブロックは、第3のブロックと同一のアーキテクチャを有し、14×14×512および7×7×512サイズ(深度はもはや増加しない)の特徴マップを出力として連続的に生成する。この特徴マップは、「最終」マップである。いずれのレベルにおいてもマップサイズに関して制限はなく、上述のサイズは単なる例であることが理解されよう。
- 特徴処理第2サブネットワーク、特に、CNNが分類ネットワークである場合には分類器。このサブネットワークは、第1サブネットワークによって生成された最終特徴マップを入力として受け取り、期待される結果、例えば、CNNが分類を実行する場合には入力画像のクラスを返す。この第2サブネットワークは、典型的には、1つまたは複数の全結合(FC)層と、例えば、ソフトマックス関数(VGG-16の場合)を採用する最終活性化層とを含む。両方のサブネットワークは、一般に、教師あり方式で同時にトレーニングされる。
- 特徴抽出第1サブネットワーク、これは、ほとんどの場合、特徴マップの深さを増加させるために、畳み込み層および(例えば、ReLU関数を採用する)活性化層から構成される一連のブロックを含み、これらのブロックは、特徴マップのサイズを低減することを可能にするプーリング層によって終端される(入力次元数の低減-一般的に2分の1)。したがって、図6の例では、VGG-16は、説明したように、5つのブロックに分割された16個の層を有する。入力として(画像のRGB特性に対応する3つのチャネルを有する、224×224空間サイズの)入力画像を受け取る第1のブロックは、深度を64に増加させる2つの畳み込み+ReLuシーケンス(1つの畳み込み層および1つのReLu関数活性化層)と、次いで、最大プーリング層(グローバル平均プーリングも使用され得る)とを含み、出力は、112×112×64サイズの特徴マップである(最初の2つの次元は空間次元であり、第3の次元は深度であり、したがって、各空間次元は、2で除算される)。第2のブロックは、第1のブロックと同一のアーキテクチャを有し、最後の畳み込み+ReLUシーケンスの出力において、112×112×128サイズ(深度2倍)の特徴マップを生成し、最大プーリング層の出力として、56×56×128サイズの特徴マップを生成する。第3のブロックは、今度は3つの畳み込み+ReLUシーケンスを有し、最後の畳み込み+ReLUシーケンスから、56×56×256サイズ(深度2倍)の特徴マップを生成し、最大プーリング層からの出力として、28×28×256サイズの特徴マップを生成する。第4および第5のブロックは、第3のブロックと同一のアーキテクチャを有し、14×14×512および7×7×512サイズ(深度はもはや増加しない)の特徴マップを出力として連続的に生成する。この特徴マップは、「最終」マップである。いずれのレベルにおいてもマップサイズに関して制限はなく、上述のサイズは単なる例であることが理解されよう。
- 特徴処理第2サブネットワーク、特に、CNNが分類ネットワークである場合には分類器。このサブネットワークは、第1サブネットワークによって生成された最終特徴マップを入力として受け取り、期待される結果、例えば、CNNが分類を実行する場合には入力画像のクラスを返す。この第2サブネットワークは、典型的には、1つまたは複数の全結合(FC)層と、例えば、ソフトマックス関数(VGG-16の場合)を採用する最終活性化層とを含む。両方のサブネットワークは、一般に、教師あり方式で同時にトレーニングされる。
したがって、この第2の実施形態では、ステップ(b)は、好ましくは、上記事前トレーニングされた畳み込みニューラルネットワークの特徴抽出サブネットワーク、すなわち、VGG-16の例について図6において強調されているような第1の部分によって実施される。
より正確には、上記事前トレーニングされたCNN(VGG-16など)は、いかなる特徴マップも送達することを意図されておらず、これらは単に内部使用のためのものである。事前トレーニングされたCNNを「切り捨てる」ことによって、すなわち、第1サブネットワークの層のみを使用することによって、「最も深い」情報を含む最終特徴マップが出力として得られる。
特徴抽出サブネットワークとして、最終特徴マップが生成される層の前で終了する部分を採用すること、例えば、ブロック1~5の代わりにブロック1~3のみを採用することも完全に可能であることが理解されよう。情報は、より広範囲であるが、それほど深くない。
入力画像のシーケンスが供給される場合、入力画像ごとに1つの特徴マップを抽出する代わりに、(「高深度」特徴マップを得るように、入力画像の順序でマップを連結することによって)マップを単一の特徴マップに組み合わせることが可能であることに留意されたい。そのため、入力画像のシーケンス全体が供給され得る、いわゆる3D CNNを直接使用することが可能であり、この場合、画像ごとに作業する必要はない。
これを行うために、ステップ(b)は、シーケンスの上記入力画像を3次元または3Dスタックに事前に連結してから、3D CNNによって3次元スタックから上記標的粒子11a~11fの特徴マップを直接抽出することを含む。
3次元スタックは、3D CNNによって、単一の1チャネル3次元オブジェクト(例えば、入力画像が250×250のサイズであり、1分ごとに1つの画像が120分間取得される場合、250×250×120のサイズのものである-最初の2つの次元は、従来、空間次元(すなわち、入力画像のサイズ)であり、第3の次元は、「時間」次元(取得の時間)である)として処理され、マルチチャネル2次元オブジェクト(例えば、RGB画像とともに使用されるような)として処理されるのではないので、出力特徴マップは、4次元である。
本3D CNNは、様々な入力画像の時空間依存性をモデル化する少なくとも1つの3D畳み込み層を使用する。
3D畳み込み層とは、4次元フィルタを適用し、したがってすでに3次元のスタックの複数のチャネル、すなわち4次元の特徴マップに作用することができる畳み込み層を意味する。言い換えれば、3D畳み込み層は、4次元フィルタを4次元入力特徴マップに適用して、4次元出力特徴マップを生成する。第4の最終次元は、任意の特徴マップと同様に、セマンティック深度である。
これらの層は、2次元オブジェクト(画像)の複数のチャネルを表す3次元特徴マップに対してのみ作用することができる従来の畳み込み層とは異なる。
3D畳み込みの概念は、直感に反するように見えるかもしれないが、単に、入力チャネルの数(すなわち、入力特徴マップの深さ)に等しい深さの複数の「フィルタ」が、(画像の2Dにおける)入力のすべての次元にわたってそれらをスキャンすることによって適用されることに規定を定める畳み込み層の概念を一般化したものであり、フィルタの数は出力深さを定義する。
したがって、本発明の3D畳み込みは、3次元入力スタックのチャネル数に等しい深さの4次元フィルタを適用し、これらのフィルタを3次元スタックのボリューム全体にわたって、したがって2つの空間次元だけでなく時間次元にもわたって、すなわち3次元にわたって(そのため、3D畳み込みと呼ばれる)スキャンする。したがって、実際には、フィルタごとに1つの3次元スタック、すなわち、4次元特徴マップが得られる。従来の畳み込み層では、多数のフィルタを使用することで出力のセマンティック深度(チャネルの数)を確実に増加させるが、出力は、常に、3次元特徴マップとなるであろう。
変数の数の削減
ステップ(b)で得られる特徴マップ(特に、画像シーケンスが入力される場合)は、非常に多数(数千または数万)の変数を有し得るので、直接的な分類は複雑になる。
ステップ(b)で得られる特徴マップ(特に、画像シーケンスが入力される場合)は、非常に多数(数千または数万)の変数を有し得るので、直接的な分類は複雑になる。
このように、ステップ(c)において、t-SNEアルゴリズムの使用は、以下の2つの重要な利点を有する:
- 低次元の空間(埋め込み空間と呼ばれるか、または可視化空間と呼ばれることもある)、有利には2次元の空間を使用することにより、特徴マップの元の空間よりもはるかに簡単かつ直感的にデータを可視化して操作することができる。
- とりわけ、ステップ(c)において入力画像の教師なし分類が可能であり、すなわち、分類器をトレーニングする必要がない。
- 低次元の空間(埋め込み空間と呼ばれるか、または可視化空間と呼ばれることもある)、有利には2次元の空間を使用することにより、特徴マップの元の空間よりもはるかに簡単かつ直感的にデータを可視化して操作することができる。
- とりわけ、ステップ(c)において入力画像の教師なし分類が可能であり、すなわち、分類器をトレーニングする必要がない。
秘訣は、トレーニングデータベース全体のt-SNE埋め込みを構成すること、すなわち、トレーニングデータベースに応じて埋め込み空間を定義することが可能であることである。
さらに言い換えれば、t-SNEアルゴリズムのおかげで、入力画像の特徴マップおよびトレーニングデータベースの各特徴マップを、同じ埋め込み空間において2変数または3変数埋め込みによって表すことが可能であり、その結果、元の空間において近くにある(遠く離れている)2つの特徴マップは、それぞれ、埋め込み空間において近くにある(遠く離れている)。
具体的には、t-SNEアルゴリズム(t-SNEは、t分布型確率的近傍埋め込み法(t-distributed stochastic neighbor embedding)を表す)は、データ可視化のための次元低減を達成する非線形方法であり、これにより、高次元空間の点のセットを2次元または3次元の空間で表すことができ、散布図を用いてデータを可視化することができる。t-SNEアルゴリズムは、情報理論基準にしたがって、点の近接性に関して最適な構成(上述のt-SNE埋め込み)を見つけようとする。
t-SNEアルゴリズムは、近接性の確率的解釈に基づく。元の空間内の点の対について、確率分布は、互いに近い点が高い確率で選択され、遠く離れた点が低い確率で選択されるように定義される。埋め込み空間についても同様に確率分布が定義される。t-SNEアルゴリズムは、マップ上の点の位置に関して2つの分布間のカルバックライブラーダイバージェンスを最小化することによって、2つの確率密度を一致させることにある。
t-SNEアルゴリズムは、粒子レベル(トレーニングデータベースにおいてマップが利用可能である個々の粒子に関する標的粒子11a~11f)とフィールドレベル(試料12全体について-複数の粒子11a~11fを表す複数の入力画像の場合)の両方で、特に、スタックではなく単一の画像の場合に実装され得る。
t-SNE埋め込みは、特に、例えば、パイソンでの実装により効率的に達成され得、したがってリアルタイムで実施することができることに留意されたい。また、計算の速度を上げ、メモリフットプリントを低減するために、最初に、次元の線形低減(例えば、PCA-主成分分析(Principal Component Analysis))のステップを経てから、トレーニングデータベースおよび問題の入力画像のt-SNE埋め込みを計算することも可能である。この場合、トレーニングデータベースのPCA埋め込みがメモリに記憶され得、その後には、問題の入力画像の特徴マップを用いて埋め込みを完了することだけが残る。
分類
ステップ(c)において、上記入力画像は、減らされた数の変数を有する特徴マップ、すなわち、そのt-SNE埋め込みに応じて、教師なし方式で分類される。
ステップ(c)において、上記入力画像は、減らされた数の変数を有する特徴マップ、すなわち、そのt-SNE埋め込みに応じて、教師なし方式で分類される。
t-SNE埋め込み空間の記述的分析を可能にする任意の技法が使用され得ることが理解されよう。具体的には、トレーニングデータベースのすべての情報はすでにその中に含まれており、したがって、分類に関する結論に達するには、この埋め込み空間の空間構成を見るだけで十分である。
k-NN法(k-NNは、k最近傍(k-nearest neighbors)を表す)を使用することが最も簡単である。
この考えは、問題の1つまたは複数の入力画像の特徴マップに対応する点の近傍点を見て、それらの分類を見るというものである。例えば、近傍点が「分裂なし」に分類される場合、問題の入力画像は「分裂なし」に分類されるはずであると仮定することができる。考慮される近傍は、例えば、株、抗生物質などに応じて、制限される可能性があることに留意されたい。図7は、様々な濃度のセフポドキシムに対する大腸菌株について得られたt-SNE埋め込みの2つの例を示す。上の例では、2つのブロックがはっきりと確認でき、超えた場合に形態ひいては細胞分裂が影響を受ける最小阻害濃度(MIC)が存在することが視覚的に示されている。上部に近いベクトルは「分裂あり」に分類され、下部に近いベクトルは「分裂なし」に分類される。下の例では、最高濃度のみが際立っている(したがって、抗生物質効果を有するように見える)ことが分かる。
コンピュータプログラム製品
第2および第3の態様によれば、本発明は、試料12中の標的粒子11a~11fを表す少なくとも1つの入力画像を分類するための方法を(特にサーバ1および/またはクライアント2のデータ処理手段3、20上で)実行するためのコード命令を含むコンピュータプログラム製品、ならびにこのコンピュータプログラム製品が記憶されたコンピュータ機器(サーバ1および/またはクライアント2のメモリ4、21)によって読み取り可能な記憶手段に関する。
第2および第3の態様によれば、本発明は、試料12中の標的粒子11a~11fを表す少なくとも1つの入力画像を分類するための方法を(特にサーバ1および/またはクライアント2のデータ処理手段3、20上で)実行するためのコード命令を含むコンピュータプログラム製品、ならびにこのコンピュータプログラム製品が記憶されたコンピュータ機器(サーバ1および/またはクライアント2のメモリ4、21)によって読み取り可能な記憶手段に関する。
Claims (14)
- 試料中の標的粒子を表す少なくとも1つの入力画像を分類するための方法であって、クライアントのデータ処理手段によって、
(b)前記入力画像から前記標的粒子の特徴マップを抽出するステップと、
(c)前記t-SNEアルゴリズムによって、前記抽出された特徴マップの変数の数を減らすステップと、
(d)減らされた数の変数を有する前記特徴マップに応じて前記入力画像の教師なし分類を行うステップと
の実施を含むことを特徴とする、方法。 - 前記粒子は、前記入力画像および各基本画像において一様な方法で表され、特に、中心に配置され、所定の方向に位置合わせされる、請求項1に記載の方法。
- 前記標的粒子を前記一様な方法で表すために、前記試料の全体画像から前記入力画像を抽出するステップ(a)を含む、請求項2に記載の方法。
- ステップ(a)は、前記試料中の前記標的粒子を検出するように前記全体画像をセグメント化し、次いで、前記検出された標的粒子に前記入力画像をクロッピングすることを含む、請求項3に記載の方法。
- ステップ(a)は、前記試料の強度画像から前記全体画像を取得することを含み、前記画像は観察装置によって取得される、請求項3または4に記載の方法。
- 前記特徴マップは、それぞれが基準粒子を表す基本画像のセットのうちの1つの基本画像にそれぞれ関連付けられた数値係数のベクトルであり、ステップ(a)は、前記係数によって重み付けされた前記基本画像の線形結合が前記入力画像内の前記標的粒子の表現を近似するように数値係数を決定することを含む、請求項1から5のいずれか一項に記載の方法。
- 前記標的粒子の前記特徴マップは、公開画像データベースに対して事前トレーニングされた畳み込みニューラルネットワークによって、ステップ(b)において抽出される、請求項1から5のいずれか一項に記載の方法。
- ステップ(c)は、前記t-SNEアルゴリズムによって、試料中の粒子のすでに分類された特徴マップのトレーニングデータベースの各特徴マップについて、および前記抽出された特徴マップについて、埋め込み空間を定義することを含み、前記特徴マップは、前記抽出された特徴マップを前記埋め込み空間に埋め込んだ結果である減らされた数の変数を有する、請求項1から7のいずれか一項に記載の方法。
- ステップ(d)は、前記埋め込み空間におけるk最近傍アルゴリズムの実施を含む、請求項8に記載の方法。
- 試料中の前記標的粒子を表す入力画像のシーケンスを経時的に分類するための方法であって、ステップ(b)は、前記シーケンスの各入力画像の前記抽出された特徴マップを連結することを含む、請求項1から9のいずれか一項に記載の方法。
- データ処理手段を備える少なくとも1つのクライアントを備える、試料中の標的粒子を表す少なくとも1つの入力画像を分類するためのシステムであって、前記データ処理手段が、
- 前記少なくとも1つの入力画像の分析を介して前記標的粒子の特徴マップを抽出すること;
- t-SNEアルゴリズムによって、前記特徴マップの変数の数を減らすこと;
- 減らされた数の変数を有する前記特徴マップに応じて前記入力画像の教師なし分類を行うこと
を実施するように構成されることを特徴とする、システム。 - 前記試料中の前記標的粒子を観察するための装置をさらに備える、請求項11に記載のシステム。
- コンピュータプログラム製品であって、前記プログラムがコンピュータ上で実行されると、試料中の標的粒子を表す少なくとも1つの入力画像を分類するための請求項1から10のいずれか一項に記載の方法を実行するためのコード命令を含むコンピュータプログラム製品。
- コンピュータ機器によって読み取り可能な記憶媒体であって、コンピュータプログラム製品が、試料中の標的粒子を表す少なくとも1つの入力画像を分類するための請求項1から10のいずれか一項に記載の方法を実行するためのコード命令を含む、記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR2010743A FR3115387A1 (fr) | 2020-10-20 | 2020-10-20 | Procédé de classification d’une image d’entrée représentant une particule dans un échantillon |
FR2010743 | 2020-10-20 | ||
PCT/FR2021/051821 WO2022084620A1 (fr) | 2020-10-20 | 2021-10-19 | Procédé de classification d'une image d'entrée représentant une particule dans un échantillon |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023546192A true JP2023546192A (ja) | 2023-11-01 |
Family
ID=74183332
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023524073A Pending JP2023546192A (ja) | 2020-10-20 | 2021-10-19 | 試料中の粒子を表す入力画像の分類方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230386176A1 (ja) |
EP (1) | EP4232948A1 (ja) |
JP (1) | JP2023546192A (ja) |
CN (1) | CN116888592A (ja) |
FR (1) | FR3115387A1 (ja) |
WO (1) | WO2022084620A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116485887B (zh) * | 2023-01-16 | 2024-02-02 | 湖北普罗格科技股份有限公司 | 一种无监督3d纸箱检测方法及系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2841940A1 (en) | 2010-08-12 | 2012-02-16 | The Regents Of The University Of California | Method for identifying antimicrobial compounds and determining antibiotic sensitivity |
EP3252455A1 (fr) | 2016-05-30 | 2017-12-06 | Biomérieux | Dispositif et procede d'acquisition d'une particule presente dans un echantillon |
-
2020
- 2020-10-20 FR FR2010743A patent/FR3115387A1/fr active Pending
-
2021
- 2021-10-19 JP JP2023524073A patent/JP2023546192A/ja active Pending
- 2021-10-19 EP EP21807187.6A patent/EP4232948A1/fr active Pending
- 2021-10-19 CN CN202180071991.0A patent/CN116888592A/zh active Pending
- 2021-10-19 WO PCT/FR2021/051821 patent/WO2022084620A1/fr active Application Filing
- 2021-10-19 US US18/031,972 patent/US20230386176A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
FR3115387A1 (fr) | 2022-04-22 |
EP4232948A1 (fr) | 2023-08-30 |
WO2022084620A1 (fr) | 2022-04-28 |
CN116888592A (zh) | 2023-10-13 |
US20230386176A1 (en) | 2023-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ma et al. | A state-of-the-art survey of object detection techniques in microorganism image analysis: from classical methods to deep learning approaches | |
Bayraktar et al. | Feature extraction from light-scatter patterns of Listeria colonies for identification and classification | |
JP6949875B2 (ja) | 試料中に存在する粒子を取得するためのデバイスおよび方法 | |
JP5984559B2 (ja) | 壊死細胞領域検出装置及びその方法、壊死細胞領域検出プログラム | |
CN109564617A (zh) | 表征和成像微观物体的方法 | |
Shaw et al. | Three-dimensional behavioural phenotyping of freely moving C. elegans using quantitative light field microscopy | |
JP2023546192A (ja) | 試料中の粒子を表す入力画像の分類方法 | |
US20240020949A1 (en) | Method for classifying an input image representing a particle in a sample | |
US20230386233A1 (en) | Method for classifying a sequence of input images representing a particle in a sample over time | |
JP2023546190A (ja) | 試料中の粒子を含む入力画像の分類方法 | |
Kirubakaran et al. | A Hybrid Application of Quantum Computing Methodologies to AI Techniques for Paddy Crop Leaf Disease Identification | |
Trolinger et al. | A new digital holographic microscope for the study of biological systems | |
TERZI | Do different weight initialization strategies have an impact on transfer learning for plant disease detection? | |
Grüning et al. | Direct Inference of Cell Positions using Lens-Free Microscopy and Deep Learning | |
Zhang et al. | Quantification of Myxococcus xanthus Aggregation and Rippling Behaviors: Deep-Learning Transformation of Phase-Contrast into Fluorescence Microscopy Images | |
Scherrer et al. | Automatic Plankton Detection and Classification on Raw Hologram with a Single Deep Learning Architecture | |
WO2023002355A1 (en) | Computer-implemented method and corresponding apparatus for identifying subcellular structures in the non-chemical staining mode from phase contrast tomography reconstructions in flow cytometry | |
Zhang et al. | Automated zooplankton size measurement using deep learning: Overcoming the limitations of traditional methods | |
CN117788369A (zh) | 用于基于深度学习无监督识别单细胞形态图谱分析的方法 | |
Mikeštíková | Analysis of meiotic spindle microscopy images captured with light-sheet microscope | |
Weller | The semi-automated classification of sedimentary organic matter and dinoflagellate cysts in palynological preparations | |
Ruttanasirawit et al. | Digital holography with deep learning for algae identification and classification | |
Kathirvelu | Object Detection on Three Dimensional Reconstructions of Coral Reefs | |
Dong | High-Throughput Image Analysis of Zebrafish Models of Parkinson’s Disease | |
Peng | Fast and Long: Characterizing Biofilm Growth Dynamics with Holographic Microscopy |