JP2023546193A - 経時的に試料中の粒子を表す入力画像のシーケンスを分類する方法 - Google Patents

Abstract

本発明は、経時的に試料（１２）中の標的粒子（１１ａ～１１ｆ）を表す入力画像のシーケンスを分類するための方法に関し、本方法は、クライアント（２）のデータ処理手段（２０）によって実行される以下のステップ、すなわち、（ｂ）シーケンス内の入力画像を３次元スタックとして連結するステップと、（ｃ）畳み込みニューラルネットワーク（ＣＮＮ）を使用して３次元スタックを直接分類するステップとを含むことを特徴とする。

Description

本発明は、生物学的粒子の光学的取得の分野に関する。生物学的粒子は、例えば、細菌、真菌、または酵母などの微生物とすることができる。これはまた、細胞、多細胞生物、または粉塵を含む汚染粒子タイプの任意の他の粒子を含むことができる。

本発明は、例えば、抗生物質の適用後の細菌の代謝状態を知るために生物学的粒子の状態を分析するのに特に有利に適用可能である。本発明により、例えば、細菌のアンチバイオグラムを作成することができる。

アンチバイオグラムは、１つまたは複数の抗生物質（複数可）に対する細菌株の表現型を試験することを目的とした実験技法である。従来、アンチバイオグラムは、細菌と抗生物質とを含む試料を培養することにより作成される。

欧州特許出願第２６０３６０１号には、抗生物質の存在下でのインキュベーション期間後の細菌の状態を可視化することによってアンチバイオグラムを作成する方法が記載されている。細菌を可視化するために、細菌は、それらの構造を明らかにすることができる蛍光マーカーによってマークされる。次いで、マーカーの蛍光を測定することで、抗生物質が細菌に対して効果的に作用したかどうかを決定することができる。

細菌株に対して有効な抗生物質を決定するための従来のプロセスは、当該株を含む試料を（例えば、患者、動物、食品バッチなどから）採取し、次いで試料を分析センターに送ることを含む。分析センターは、試料を受け取ると、まず、細菌株の少なくとも１つのコロニーを得るために細菌株の培養を始め、培養は２４時間～７２時間の範囲である。次いで、このコロニーから、様々な抗生物質および／または様々な濃度の抗生物質を含むいくつかの試料を調製し、もう一度試料をインキュベートする。同じく２４～７２時間の範囲の新たな培養期間の後、各試料を手作業で分析して、抗生物質が有効に作用したかどうかを決定する。そして、その結果は、抗生物質および／または最も有効な抗生物質濃度を適用するために、プラクティショナ（practitioner）に返される。

しかしながら、マーキングプロセスは、実施するのに特に長く複雑であり、これらの化学マーカーは、細菌に対して細胞毒性効果を有する。その結果として、この可視化モードでは、細菌の培養のいくつかの瞬間に細菌を観察することができず、したがって、測定の信頼性を保証するためには、２４～７２時間程度の十分に長い培養時間を使用する必要がある。生物学的粒子を可視化するための他の方法では、試料の非破壊測定を可能にする顕微鏡を使用する。

デジタルホログラフィック顕微鏡法（ＤＨＭ）は、従来の光学顕微鏡法の被写界深度の制約を克服することができる撮像技法である。概略的には、これは、観察される物体によって回折された光波と空間的コヒーレンスを有する参照波との間の干渉によって形成されるホログラムを記録することを含む。この技法は、SPIE Reviews, Vol. 1, No. 1, January 2010で発表されたMyung K. Kimによる「Principles and techniques of digital holographic microscopy」と題する総説に記載されている。

近年では、自動化された方法で微生物を同定するためにデジタルホログラフィック顕微鏡法の使用が提案されている。したがって、国際出願ＷＯ２０１７／２０７１８４には、焦点合わせのデジタル再構成に関連付けられた焦点合わせなしの単純な取得を統合する、粒子を取得するための方法が記載されており、取得時間を制限しながら生物学的粒子を観察することを可能にする。

典型的には、このソリューションにより、数日かかる可能性がある上述の従来のプロセスとは異なり、わずか１０分程度のインキュベーション後に抗生物質の存在下での細菌に対する構造修飾を検出し、２時間の終わりにその感度を検出すること（分裂の有無または分裂を示すパターンの検出）ができる。実際、測定は非破壊的であるので、試料を破壊するリスク、したがって分析時間を延長するリスクを冒すことなく、培養プロセスの非常に早い段階で分析を実施することが可能である。

粒子の挙動、例えば、その移動速度またはその細胞分裂プロセスを可視化するために、経時的な粒子の進化を表すフィルムを形成するように、複数の連続画像で粒子を追跡することさえ可能である（粒子は最初の分析後に変化しないので）。

したがって、この可視化方法は優れた結果をもたらすことが理解される。例えば、試料中に存在する抗生物質に対する細菌の感受性に関する結論に、特に自動的に、達することが意図される場合、これらの画像またはこのフィルムをそれ自体で解釈することは困難である。

単に経時的に細菌を計数することから、画像分析によって特定の「構成」を検出することを目的とした「形態学的」分析まで、様々な技法が提案されている。例えば、細菌が分裂の準備をしているとき、分裂自体のかなり前に２つの極が分布に現れ、その結果、分布の２つの別個の部分が生じる。

Choi J., Yoo J., Lee M.ら（２０１４年）による論文「A rapid antimicrobial susceptibility test based on single cell morphological analysis」、Science Translational Medicine, 6(267), https://doi.org/10.1126/scitranslmed.3009650は、２つの技法を組み合わせて抗生物質の有効性を評価することを提案している。しかしながら、著者らが強調しているように、彼らのアプローチは、抗生物質によって引き起こされる形態学的変化の性質に強く依存する、ある特定の数の閾値の非常に正確な較正を必要とする。

より最近では、Yu H., Jing W., Iriya R.ら（２０１８）による論文「Phenotypic Antimicrobial Susceptibility Testing with Deep Learning Video Microscopy」、Analytical Chemistry, 90(10), 6314-6322, https://doi.org/10.1021/acs.analchem.8b01128に、深層学習に基づくアプローチが記載されている。著者らは、畳み込みニューラルネットワーク（ＣＮＮ）によって、形態学的特徴および細菌の動きに関連する特徴を抽出することを提案している。しかしながら、このソリューションは、一方では、コンピューティングリソースに関して非常に集中的であることが判明しており、他方では、ＣＮＮをトレーニングするために学習画像の大規模なベースを必要とする。

したがって、本発明の目的とする技術的課題は、生物学的粒子の画像を分類するための、より効率的であるとともにそれほど集中的ではないソリューションを提供できるようにすることである。

第１の態様によれば、本発明は、試料中の標的粒子を表す入力画像のシーケンスを分類するための方法に関し、この方法は、クライアントのデータ処理手段によって、以下のステップを実施することを含むことを特徴とする：
（ｂ）シーケンスの上記入力画像を３次元スタックの形態で連結するステップ；
（ｃ）畳み込みニューラルネットワーク（ＣＮＮ）によって上記３次元スタックを直接分類するステップであって、上記ＣＮＮは、４次元出力特徴マップを生成するために４次元入力特徴マップに４次元フィルタを適用する「３Ｄ」畳み込み層と、活性化層および３Ｄプーリング層、次いで平坦化層、最後に１つまたは複数の全結合層（複数可）から構成される一連の畳み込みブロックから構成される、ステップ。

有利かつ非限定的な特徴によれば：

粒子は、各入力画像において均一な方法で示され、特に中心に配置され、所定の方向に位置合わせされる。

本方法は、上記標的粒子を上記均一な方法で示すように、各入力画像から試料の全体画像を抽出するステップ（ａ）を含む。

ステップ（ａ）は、各入力画像について、試料中の上記標的粒子を検出するように上記全体画像をセグメント化し、次いで、上記検出された標的粒子上で入力画像をクロッピングすることを含む。

ステップ（ａ）は、観察装置によって取得された試料（１２）の強度画像から上記全体画像を取得することを含む。

上記３次元スタックは、２つの空間次元および時間次元を有し、上記フィルタおよび特徴マップは、３つの第１の次元として上記空間次元および時間次元を有し、第４の次元としてセマンティック深度を有する。

上記３Ｄ畳み込み層のフィルタは、入力特徴マップの深さに等しい深さを有し、出力特徴マップは、３Ｄ畳み込み層のフィルタの数に等しい深さを有する。

上記ＣＮＮは、２つの畳み込みブロックのみを含む。

本方法は、サーバのデータ処理手段によって、上記試料中の粒子の画像の以前に分類されたシーケンスの学習ベースから上記分類器のパラメータを学習するステップ（ａ０）を含む。

第２の態様によれば、データ処理手段を備える少なくとも１つのクライアントを備える、試料中の標的粒子を経時的に表す入力画像のシーケンスを分類するためのシステムが提案され、上記データ処理手段が、以下を実施するように構成されることを特徴とする：
－ シーケンスの上記入力画像を３次元スタックの形態で連結すること；
－ 畳み込みニューラルネットワーク（ＣＮＮ）によって上記３次元スタックを直接分類することであって、上記ＣＮＮは、４次元出力特徴マップを生成するために４次元入力特徴マップに４次元フィルタを適用する「３Ｄ」畳み込み層と、活性化層および３Ｄプーリング層、次いで平坦化層、最後に１つまたは複数の全結合層（複数可）から構成される一連の畳み込みブロックから構成される、分類すること。

有利かつ非限定的な特徴によれば、システムは、試料中の上記標的粒子を観察するための装置をさらに備える。

第３および第４の態様によれば、試料中の標的粒子を表す入力画像のシーケンスを分類するための第１の態様による方法を実行するためのコード命令を含むコンピュータプログラム製品が提案され、コンピュータプログラム製品が、試料中の標的粒子を表す入力画像のシーケンスを分類するための第１の態様による方法を実行するためのコード命令を含むコンピュータ機器のアイテムによって読み取ることができる記憶手段が提案される。

本発明のさらなる特徴および利点は、好ましい実施形態の以下の説明を読めば明らかになるであろう。この説明は、添付の図面を参照して提供されるであろう。
本発明による方法を実施するためのアーキテクチャの図である。 本発明による方法の好ましい実施形態で使用される、試料中の粒子を観察するための装置の一例を示す。 本発明による方法の一実施形態における入力画像の取得を示す。 本発明による方法の好ましい実施形態における入力画像の取得を示す。 本発明による方法の好ましい実施形態のステップを示す。 本発明による方法の好ましい実施形態において使用される畳み込みニューラルネットワークアーキテクチャの一例を示す。

アーキテクチャ
本発明は、標的粒子と呼ばれる、試料１２中に存在する粒子１１ａ～１１ｆを表す入力画像のシーケンスを分類するための方法に関する。この方法は、試料１２中に存在する粒子１１ａ～１１ｆのすべてまたはいくつかに対して同時に実施することができ、それぞれが順番に標的粒子と考えられることに留意されたい。

理解されるように、この方法は、機械学習コンポーネント、特に畳み込みニューラルネットワーク（ＣＮＮ）を含む。

入力または学習データは、画像タイプのものであり、試料１２中の標的粒子１１ａ～１１ｆを表す（言い換えれば、それは、標的粒子を視認できる試料の画像を含む）。上記シーケンスは、同じ標的粒子１１ａ～１１ｆの経時的な複数の入力画像から構成される。理解されるように、必要に応じて、いくつかの粒子が考慮される場合には、試料１２の粒子１１ａ～１１ｆの画像の複数のシーケンスを入力として有することが可能である。

試料１２は、観察されるべき粒子１１ａ～１１ｆが位置している、水、緩衝液、培地、または反応性媒体（抗生物質を含む場合も含まない場合もある）などの液体から構成される。

代替的な実施形態として、試料１２は、粒子１１ａ～１１ｆが位置している、好ましくは半透明の、寒天などの固体媒体の形態であり得る。試料１２はまた、ガス状媒体とすることができる。粒子１１ａ～１１ｆは、媒体の内部または試料１２の表面上に位置することができる。

粒子１１ａ～１１ｆは、細菌、真菌または酵母などの微生物であってもよい。これはまた、細胞、多細胞生物、または粉塵を含む汚染粒子タイプの任意の他の粒子を含むことができる。説明の残りの部分を通して、粒子が細菌である（そして、理解されるように、試料１２が抗生物質を含む）好ましい例が使用される。観察された粒子１１ａ～１１ｆのサイズは、５００ｎｍから数百μｍ、さらには数ミリメートルの間で変化する。

入力画像のシーケンスの「分類」は、画像の可能な記述クラスのセットの中から少なくとも１つのクラスを決定することを含む。例えば、細菌タイプの粒子の場合、バイナリ分類、すなわち、抗生物質に対して耐性があることまたは抗生物質に対して耐性がないことをそれぞれ示す「分裂あり」または「分裂なし」という効果の２つの可能なクラスを有することが可能である。本発明は、上記標的粒子１１ａ～１１ｆに対する抗生物質の効果のバイナリ分類の例が主に説明されるとしても、任意の種類の特定の分類に限定されるものではない。

本方法は、サーバ１およびクライアント２によって、図１に示すようなアーキテクチャ内で実施される。サーバ１は、（学習方法を実施する）学習機器であり、クライアント２は、（分類方法を実施する）操作機器のアイテム、例えば、医者または病院の端末である。

２つの機器１、２のアイテムを組み合わせることは十分に可能であるが、好ましくは、サーバ１はリモート装置であり、クライアント２は消費者装置、特に、デスクトップコンピュータ、ポータブル装置などである。クライアント装置２は、典型的には直接処理するために、有利には、上記入力画像（または、以下から分かるように、試料１２の全体画像などの「生の」取得データ、さらには電磁マトリックス）を直接取得することができるように、観察装置１０に接続され、代替的に、入力画像は、クライアント装置２にロードされる。

いずれにしても、機器１、２の各アイテムは、典型的には、データを交換するために、ローカルネットワークまたはインターネットなどのワイドエリアネットワークにリンクされたリモートコンピューティング機器である。各々は、プロセッサタイプのデータ処理手段３、２０と、コンピュータメモリ、例えば、フラッシュメモリまたはハードディスクなどのデータ記憶手段４、２１とを備える。クライアント２は、典型的には、対話するためのスクリーンなどのユーザインターフェース２２を備える。

サーバ１は、有利には、学習データベース、すなわち、様々な条件（以下を参照）下ですでに分類された粒子１１ａ～１１ｆの画像のシーケンスのセット（例えば、抗生物質に対する感受性または耐性を示す「分裂あり」または「分裂なし」を示す標識に関連付けられている）を記憶する。学習データは、例えば、細菌の培養物について、「株」、「抗生物質の条件」、「時間」などを示す、試験条件を定義する標識に関連付けられ得ることに留意されたい。

取得
説明したように、本方法が、任意の方法で得られた標的粒子１１ａ～１１ｆの任意の画像を入力として直接取り込むことができる場合であっても、本方法は、好ましくは、観察装置１０によって供給されたデータから入力画像を取得するステップ（ａ）から開始する。

既知の方法で、当業者は、特に、国際出願ＷＯ２０１７／２０７１８４に記載されているようなデジタルホログラフィック顕微鏡法（ＤＨＭ）技法を使用することができる。特に、ホログラムと呼ばれる、試料１２の強度画像を取得することができ、この画像は、標的粒子に焦点が合っておらず（「ピンぼけ（out of focus）」画像としてみなされ）、データ処理手段（これは、例えば、装置１０またはクライアント２の装置２０に統合されている、以下を参照）によって処理することができる。ホログラムは、特定の方法で、試料中のすべての粒子１１ａ～１１ｆを「表す」ことが理解される。

図２は、試料１２中に存在する粒子１１ａ～１１ｆを観察するための装置１０の一例を示す。試料１２は、空間的および時間的にコヒーレントである光源１５（例えば、レーザ）または擬似コヒーレントである光源１５（例えば、発光ダイオード、レーザダイオード）と、光源のスペクトル領域において感度を有するデジタルセンサ１６との間に配置される。好ましくは、光源１５は、低いスペクトル幅、例えば、２００ｎｍ未満、１００ｎｍ未満、さらには２５ｎｍ未満のスペクトル幅を有する。説明の残りの部分を通して、例えば、可視領域にある光源の中心発光波長に言及する。光源１５は、試料の第１の面１３に配向され、例えば、光ファイバなどの導波路によって伝達されるコヒーレント信号Ｓｎを放出する。

試料１２（説明したように、典型的には培養培地）は、下部スライドおよび上部スライド、例えば、従来の顕微鏡スライドによって垂直方向に区切られた分析チャンバ内に収容される。分析チャンバは、接着剤または任意の他の密封材料によって横方向に区切られる。下部スライドおよび上部スライドは、光源１５の波長に対して透明であり、試料およびチャンバは、例えば、光源の波長の５０％超が、下部スライドへの垂直入射下で通過することを可能にする。

好ましくは、粒子１１ａ～１１ｆは、上部スライド上の試料１２中に配置される。この目的のために、上部スライドの下面は、粒子を付着させるためのリガンド、例えば、微生物の文脈内ではポリカチオン（例えば、ポリ－Ｌ－リジン）を含む。これにより、光学システムの被写界深度に等しいかまたは近い厚さ、すなわち、１ｍｍ未満の厚さ（例えば、チューブレンズ）、好ましくは１００μｍ未満の厚さ（例えば、顕微鏡対物レンズ）で粒子を含むことができる。それにもかかわらず、粒子１１ａ～１１ｆは、試料１２内を移動し得る。

好ましくは、装置は、例えば、顕微鏡対物レンズおよびチューブレンズによって形成され、空気中に、試料から一定の距離に配置された光学システム２３を備える。光学システム２３は、任意に、対物レンズの前または対物レンズとチューブレンズとの間に位置することができるフィルタを備える。光学システム２３は、その光軸と、対物レンズからある距離にあるその物体平面（焦点面（focusing plane）とも呼ばれる）と、光学システムによって物体平面と共役になるその像平面とによって特徴付けられる。言い換えれば、物体平面に位置する物体には、焦平面（focal plane）とも呼ばれる像平面におけるこの物体の対応する鮮明な像を有する。システム２３の光学特性は固定されている（例えば、固定焦点光学系）。物体平面および像平面は、光軸に直交している。

画像センサ１６は、試料の第２の面１４に面して、焦平面に、または焦平面に近接して位置する。センサ、例えば、ＣＣＤまたはＣＭＯＳセンサは、感知基本部位の周期的な２次元アレイと、それ自体既知の方法で露光時間および部位のリセットを調整する近接電子機器とを備える。基本部位の出力信号は、露光時間中に当該部位に入射するスペクトル領域の放射の量に依存する。その後、この信号は、例えば、近接電子機器によって、デジタル画像の画像点、すなわち「画素」に変換される。したがって、センサは、Ｃ列およびＬ行を有する行列の形態のデジタル画像を生成する。行列の座標（ｃ，ｌ）のこの行列の各画素は、それ自体既知の方法で、光学システム２３の焦平面内のデカルト座標（ｘ（ｃ，Ｉ），ｙ（ｃ，Ｉ））の位置、例えば、矩形の感知基本部位の中心の位置に対応する。

周期的アレイのピッチおよびフィルファクタは、観察される粒子のサイズに関してナイキスト－シャノン基準に適合するように選択され、それにより、粒子ごとに少なくとも２つの画素が定義される。したがって、画像センサ１６は、光源のスペクトル領域における試料の透過画像を取得する。

画像センサ１６によって取得される画像は、粒子１１ａ～１１ｆによって回折された波と、試料と相互作用することなく上記試料を通過した参照波との間の干渉から生じる限り、ホログラフィック情報を含む。明らかに、上述したように、ＣＭＯＳまたはＣＣＤセンサの文脈内では、取得されたデジタル画像は、強度画像であり、したがって、この場合、位相情報は、この強度画像にコード化されることが理解される。

代替的に、光源１５から発生するコヒーレント信号Ｓｎを、例えば、半透明のスライドによって２つの成分に分割することが可能である。そして、第１の成分が参照波として働き、第２の成分が試料１２によって回折され、光学システム２３の像平面内の像が回折波と参照波との間の干渉から生じる。

図３ａを参照すると、ステップ（ａ）において、ホログラムから試料１２の複数の全体画像を再構成し、次いで、試料の全体画像から各入力画像を抽出することが可能である。

実際に、標的粒子１１ａ～１１ｆは、各入力画像において均一な方法で表され、特に、中心に配置され、所定の方向（例えば、水平方向）に位置合わせされる必要があることが理解されよう。入力画像はまた、標準化されたサイズを有している必要がある（入力画像内に標的粒子１１ａ～１１ｆのみが見えることも望ましい）。したがって、入力画像は「サムネイル」と呼ばれ、例えば、２５０×２５０画素のサイズを定義することができる。入力画像のシーケンスが所望される限り、例えば、１２０分の時間間隔にわたって、１分ごとに１つの画像が撮影され、したがって、１２０枚の入力画像のシーケンスが得られる。

各全体画像の再構成は、説明したように、装置１０のデータ処理手段またはクライアント２のデータ処理手段２０によって実施される。

典型的には、「電磁マトリックス」と呼ばれる一連の複素行列が（取得の瞬間について）構成され、試料１２（ホログラム）の強度画像に基づいて、光学システム２３の焦点面に対する複数の偏差、特に、試料内に位置する偏差について、光軸に沿って伝播する光波面をモデル化する。

これらの行列は、様々な焦点距離における全体画像のスタックを形成するために、（例えば、エルミート標準を介して）実空間に投影することができる。

上記から、平均焦点距離を決定すること（および対応する全体画像を選択すること、またはホログラムからそれを再計算すること）、または標的粒子に対する最適な焦点距離を決定すること（および対応する全体画像を再び選択すること、またはホログラムからそれを再計算すること）が可能である。

いずれにしても、図３ｂを参照すると、ステップ（ａ）は、有利には、試料中の上記標的粒子を検出するために上記全体画像をセグメント化することを含み、次いでクロッピングすることを含む。特に、各入力画像は、上記均一な方法で上記標的粒子を表すように、試料の全体画像のうちの１つから抽出することができる。

一般に、セグメント化は、１つまたは複数の全体画像を改善するために、フィラメントまたはマイクロコロニーなどの任意のアーチファクトを除去することで、関心のあるすべての粒子を検出することを可能にし、次いで、検出された粒子のうちの１つが標的粒子であるとして選択され、対応するサムネイルが抽出される。説明したように、この作業は、すべての検出された粒子に対して行うことができる。

セグメント化は、任意の既知の方法で実施することができる。図３ｂの例では、細かいセグメント化を実行してアーチファクトを除去した後に、粗いセグメント化を実行して、この場合、粒子１１ａ～１１ｆを検出する。当業者は、任意の既知のセグメント化技法を使用することができる。

標的粒子１１ａ～１１ｆについての入力画像のシーケンスを取得するために、追跡技法を実施して、ある全体画像から次の全体画像への粒子の任意の移動を追跡することができる。

図３ａの右側に見られるように、試料について（試料１２のいくつかの、さらにはすべての粒子について、経時的に行う）取得されたすべての入力画像がプールされ、試料１２の記述ベース（言い換えれば、実験の記述ベース）を形成することができ、特に、クライアント２の記憶手段２１にコピーされることに留意されたい。「粒子」レベルとは対照的に、「フィールド」レベルが参照される。例えば、粒子１１ａ～１１ｆが細菌であり、試料１２が抗生物質を含むか、または含まない場合、この記述ベースは、取得の全フィールドにわたるこれらの細菌の成長、形態、内部構造、および光学特性に関するすべての情報を含む。理解されるように、この記述ベースは、上記学習ベースに含めるためにサーバ１に送信することができる。

積層
理解されるように、本方法は、画像ごとに要求または作業することも、中間的な方法で特徴マップを抽出することもなく、入力画像のシーケンスに対して直接作用することができるという点で異なる。さらに、非常に単純で軽量なＣＮＮは、信頼性が高く効率的な分類を実行するのに十分であることが分かる。

図４を参照すると、本方法は、シーケンスの上記入力画像を３次元スタック、言い換えれば３Ｄ「スタック」の形態で連結するステップ（ｂ）を含む。より具体的には、入力画像はすべて、同じサイズを有し、行列のシーケンスを形成しているので、３次元スタックを取得するためには入力画像の順序でそれらを積み重ねる必要があるだけである。

したがって、以下に見られるように、ＲＧＢ画像が３つのチャネルを有する２次元オブジェクトであるのと同じように、本方法が、このスタックを、単一のチャネルを有する単一の３次元オブジェクト（例えば、サイズ２５０×２５０の入力画像があり、１分ごとに１つの画像が１２０分間にわたって取得される場合、２５０×２５０×１２０のサイズを有する）として非常にオリジナルな方法で処理する場合であっても、この３次元スタックは、取得の瞬間と同じ数のチャネルを有する画像とみなすことができる。最初の２つの次元は、従来、空間次元（すなわち、入力画像のサイズ）であり、第３の次元は、「時間」次元（取得の瞬間）である。

好ましくは、ステップ（ｂ）は、上記３次元スタックをダウンサンプリングすること、すなわち、入力のサイズを低減することを含む。

上記ダウンサンプリングは、スタックの時間次元および／またはその空間次元、好ましくは両方に対して実施することができる。

特に：
－ 時間次元に関しては、取得期間をｎ個の間隔に切ることによって、およびこれらの間隔の終わりに対応するシーケンスのｎ＋１枚の画像を選択することによって、例えば、１２０枚の画像のシーケンスから５枚の画像のみを保持すること、要するに、１２０／４＝３０分ごとに１つの画像（特に、１、３０、６０、９０、および１２０分の終わりに取得された画像）を撮影することによって、低減させることができる。しかしながら、（例えば、取得期間の終了時よりも開始時により多くの画像を選択することによって）不均一な方法で画像を選択することが依然として可能である。
－ 空間次元に関しては、それらは、（比率を維持するために各軸で）所与のサンプリング係数、例えば、２の係数を用いて、任意の画像ダウンサンプリング技法を使用して低減させることができる。

前述の２つのダウンサンプリングを併せて実装することで、サイズ２５０×２５０×１２０のスタックからサイズ１２５×１２５×５のスタックに移行する（スタックのサイズは、ほぼ１００分の１に低減される）。

このダウンサンプリングは、実際には、（入力画像を選択して修正することによって）スタックを生成する前に行われ得ることに留意されたい。

分類

ステップ（ｃ）において、上記３次元スタックは、スタックである３次元オブジェクトを処理する能力により、「３Ｄ ＣＮＮ」と呼ばれる適切な畳み込みニューラルネットワークによって直接分類される。実際、上述したように、３次元スタックが、（例えば、ＲＧＢ画像の場合のように）いくつかのチャネルを有する２次元オブジェクトとしてではなく、単一の３次元オブジェクトとして（すなわち、単一のチャネルを有する）ＣＮＮによって処理されることを理解することが重要である。

直接分類または「エンドツーエンド」という用語は、上記標的粒子１１ａ～１１ｆの少なくとも１つの特徴マップの別個の抽出を伴わないことを意味すると理解され、ＣＮＮは、当然、特徴マップの形態の内部状態を有するが、これらは決してＣＮＮの外部に送られず、上記ＣＮＮは、分類の結果を唯一の出力として有することが理解される。

リマインダとして、一般に、ＣＮＮは、視覚タスク、より具体的には、画像分類に特に適している。一般に、ＣＮＮは、複数の畳み込み層を使用し、本３Ｄ ＣＮＮは、様々な入力画像間の時空間依存性をモデル化する少なくとも１つの３Ｄ畳み込み層を使用する。

「３Ｄ畳み込み層」は、４次元フィルタを適用する畳み込み層を意味すると理解され、したがって、すでに３次元であるスタックの複数のチャネル、言い換えれば、４次元特徴マップに対して作用することができる。言い換えれば、３Ｄ畳み込み層は、４次元フィルタを４次元入力特徴マップに適用して、４次元出力特徴マップを生成する。第４および最後の次元は、任意の特徴マップと同様に、セマンティック深度である。

これは、２次元オブジェクト（画像）のいくつかのチャネルを表す３次元特徴マップにしか作用することができない従来の畳み込み層とは区別されるべきである。

３Ｄ畳み込みのこの概念は、直感に反するように見えることがあるが、入力のチャネルの数（すなわち、入力特徴マップの深さ）に等しい深さを有する複数の「フィルタ」が、（画像の２Ｄにおける）入力のすべての次元にわたってそれらをスキャンすることによって適用されることのみを予想する畳み込み層の概念を一般化したものであり、フィルタの数は出力深さを定義する。

したがって、本明細書で言及される３Ｄ畳み込みは、入力における３次元スタックのチャネルの数に等しい深さを有する４次元フィルタを適用し、３次元スタックのボリューム全体にわたって、したがって２つの空間次元だけでなく時間次元にもわたって、すなわち３Ｄで（そのため、３Ｄ畳み込みの名称）、これらのフィルタをスキャンする。したがって、フィルタごとに１つの３次元スタック、すなわち４次元特徴マップが取得される。従来の畳み込み層では、多数のフィルタを使用することで出力におけるセマンティック深度（チャネル数）を確実に増加させることができるが、常に、３次元特徴マップが存在するであろう。

３Ｄ畳み込み層は、より重いままであり、より大きな計算能力を必要とするが、説明したように、非常に単純なアーキテクチャ（および、ＶＧＧ６１６など、既知のＣＮＮよりもはるかに単純）で十分であることが理解される。図５は、本３Ｄ ＣＮＮの実施形態のアーキテクチャを示す。

従来、このアーキテクチャは、有利には、３Ｄ畳み込み層、特徴マップの深さを増加させるための活性化層（例えば、ＲｅＬＵ関数）、および特徴マップのサイズが（一般に２分の１に）低減されることを可能にする３Ｄプーリング層から構成される一連の「畳み込み」ブロックを含む。２つの畳み込みブロックで十分であり、そのため、非常に好ましくは、本３Ｄ ＣＮＮは２つの畳み込みブロックのみを含むことは注目に値する。

「３Ｄプーリング層」は、３Ｄ畳み込みに関して、すでに３次元であるスタックの１つまたは複数のチャネルを有する、４次元特徴マップに作用することが可能な層を意味するものと理解される。言い換えれば、サイズ低減は、３次元スタックのすべての次元、すなわち、４次元特徴マップの最初の３つの次元にわたって行われる。

本明細書の残りの部分を通して、幾何学的方向における特徴マップの「次元」の数、すなわち、これらのカードが延びる独立した方向の数（例えば、ベクトルは１次元オブジェクトであり、画像は２次元であり、本特徴マップは４次元である）と、これらの特徴マップの「変数」の数、言い換えれば、各次元におけるサイズ、すなわち、独立した自由度の数（これは、実際には、ベクトル空間における次元の概念に対応するものであり、より具体的には、所与の数の変数を有する特徴マップのセットが、この変数の数に等しい次元を有するベクトル空間を構成する）との間で明確に区別がなされる。

したがって、図５の例では、３Ｄ ＣＮＮは、説明したように、２つのブロックに分散された６つの層から始まる。第１のブロックは、入力として単一のチャネルを有する３次元スタックを取り（したがって、上記で提案したように有利にダウンサンプリングされたときにサイズ１２５×１２５×５×１のオブジェクトを形成する）、深度を３０に増加させる畳み込み＋ＲｅＬｕシーケンス（第１の３Ｄ畳み込み層およびＲｅＬＵ関数を有する活性化層）と、次いで、出力として６２×６２×２×３０の特徴マップを有する最大プーリング層（全体平均プーリングを使用することも可能である）とを含む（３Ｄプーリング層は、２つの空間次元だけでなく３つの次元に対して説明したように作用し、したがって、時間次元を含む２による除算を伴う）。

図示の例では、第１の３Ｄ畳み込み層は、３×３×３×１の次元を有する３０個のフィルタを使用し、したがって、（（３＊３＊３＊１）＋１）＊３０＝５７０個のパラメータを必要とする。

第２のブロックは、第１のブロックと同一のアーキテクチャを有し、新しい畳み込み＋ＲｅＬＵセット（第２の３Ｄ畳み込み層およびＲｅＬＵ関数を有する活性化層）からの出力として、６２×６２×２×６０（深さ２倍）の特徴マップを生成し、最大プーリング層からの出力として、１２×１２×１×６０の特徴マップを生成する（この場合の空間サイズの低減は５分の１であるが、時間サイズの低減は常に２分の１であることに留意されたい）。

この場合、第２の３Ｄ畳み込み層は、３×３×３×３０の次元を有する６０個のフィルタを使用し、したがって、（（３＊３＊３＊３０）＋１）＊６０＝３２，４６０個のパラメータを必要とする。

最後の畳み込みブロック（この場合、第２）の出力において、３Ｄ ＣＮＮは、有利には、このブロックの出力における「最終」特徴マップ（「最も深い」情報を含む）をベクトル（１次元オブジェクト）に変換する「平坦化」層を含む。したがって、例えば、１２×１２×１×６０の特徴マップは、１２＊１２＊１＊６０＝８，６４０サイズのベクトルに遷移する。いずれのレベルにおいても任意のマップ／フィルタサイズに制限はなく、上述のサイズは単なる例であることが理解されよう。

最後に、従来の方法では、完了時に、１つまたは複数の全結合層（複数可）（ＦＣ、または図５に示されるような「密」層）、および任意選択で最終活性化層、例えばｓｏｆｔｍａｘが存在する。図示の例では、第１の層ＦＣは、サイズ８，６４０のベクトルをサイズ１００のより小さいベクトルに変換し（これは、（８，６４０＋１）＊１００＝８６４，１００個のパラメータを必要とする）、第２の層ＦＣは、サイズ８，６４０のベクトルをサイズ２の最終ベクトルに変換する（これは、（１００＋１）＊２＝２０２個のパラメータを必要とする）。

好ましくは、３Ｄ ＣＮＮは、畳み込みブロック、次いで平坦化層、最後に１つまたは複数の全結合層（複数可）のシーケンスから構成される（すなわち、それらを厳密に含む）。

３Ｄ ＣＮＮのこの最後の部分は、期待される結果、この場合、入力画像シーケンスのクラスを返す（サイズ２のベクトルはバイナリ結果に対応する）。

したがって、パラメータの総数は９００，０００未満であり、これは、特に、入力データがすでに大きい画像のシーケンスであるという事実を考慮すると、ＣＮＮ（一般に数千万のパラメータ）には著しく低いことが分かる。したがって、本３Ｄ ＣＮＮは、適度なコンピューティングリソースを有するものを含む複数のクライアント２によって使用することができる。

好ましくは、本方法は、サーバ１のデータ処理手段３によって、学習ベースから３Ｄ ＣＮＮのパラメータを学習するステップ（ａ０）を含むことができる。実際、このステップは、典型的には、かなり上流で、特にリモートサーバ１によって実施される。説明したように、学習ベースは、ある量の学習データ、特に、それらのクラス（例えば、バイナリ分類のための「分裂あり」または「分裂なし」）に関連付けられた画像のシーケンスを含むことができる。

３Ｄ ＣＮＮのトレーニングは、従来の方法で実行することができる。学習コスト関数は、勾配降下アルゴリズムを介して最小化される従来の「クロスエントロピー」データへのアタッチメントで構成することができる。

すべての実施形態において、ＣＮＮの学習されたパラメータは、必要に応じて、分類に使用するためにクライアント２のデータ記憶手段２１に記憶することができる。同じＣＮＮを複数のクライアント２に埋め込むことができ、必要な学習段階は１つだけであることに留意されたい。

コンピュータプログラム製品
第２および第３の態様によれば、本発明は、試料１２中の標的粒子１１ａ～１１ｆを表す入力画像シーケンスを分類するための方法を（特にサーバ１および／またはクライアント２のデータ処理手段３、２０上で）実行するためのコード命令を含むコンピュータプログラム製品、ならびにこのコンピュータプログラム製品が見出されるコンピュータ機器のアイテム（サーバ１および／またはクライアント２のメモリ４、２１）によって読み取り可能な記憶手段に関する。

Claims (13)

1. 試料内の標的粒子を経時的に表す入力画像のシーケンスを分類するための方法であって、クライアントのデータ処理手段によって、
   （ｂ）前記シーケンスの前記入力画像を３次元スタックの形態で連結するステップと、
   （ｃ）畳み込みニューラルネットワーク（ＣＮＮ）によって前記３次元スタックを直接分類するステップであって、前記ＣＮＮは、４次元出力特徴マップを生成するために４次元入力特徴マップに４次元フィルタを適用する「３Ｄ」畳み込み層と、活性化層および３Ｄプーリング層、次いで平坦化層、最後に１つまたは複数の全結合層（複数可）から構成される一連の畳み込みブロックから構成される、ステップと
   を実施することを含むことを特徴とする方法。
2. 前記粒子は、各入力画像において均一な方法で示され、特に中心に配置され、所定の方向に位置合わせされる、請求項１に記載の方法。
3. 前記標的粒子を前記均一な方法で示すように、各入力画像から前記試料の全体画像を抽出するステップ（ａ）を含む、請求項２に記載の方法。
4. 前記抽出するステップ（ａ）は、各入力画像について、前記試料中の前記標的粒子を検出するように前記全体画像をセグメント化し、次いで、前記検出された標的粒子上で前記入力画像をクロッピングすることを含む、請求項３に記載の方法。
5. ステップ（ａ）は、観察装置によって取得された前記試料の強度画像から前記全体画像を取得することを含む、請求項３または４に記載の方法。
6. 前記３次元スタックは、２つの空間次元および前記時間次元を有し、前記フィルタおよび特徴マップは、３つの第１の次元として前記空間次元および時間次元を有し、第４の次元としてセマンティック深度を有する、請求項１から５のいずれか一項に記載の方法。
7. 前記３Ｄ畳み込み層のフィルタは、前記入力特徴マップの深さに等しい深さを有し、前記出力特徴マップは、前記３Ｄ畳み込み層のフィルタの数に等しい深さを有する、請求項６に記載の方法。
8. 前記ＣＮＮは、２つの畳み込みブロックのみを含む、請求項１から７のいずれか一項に記載の方法。
9. サーバのデータ処理手段によって、前記試料中の粒子の画像の以前に分類されたシーケンスの学習ベースから前記ＣＮＮのパラメータを学習するステップ（ａ０）を含む、請求項１から８のいずれか一項に記載の方法。
10. データ処理手段を備える少なくとも１つのクライアントを備える、試料中の標的粒子を経時的に表す入力画像のシーケンスを分類するためのシステムであって、前記データ処理手段が、
    － 前記シーケンスの前記入力画像を３次元スタックの形態で連結することと、
    － 畳み込みニューラルネットワーク（ＣＮＮ）によって前記３次元スタックを直接分類することであって、前記ＣＮＮは、４次元出力特徴マップを生成するために４次元入力特徴マップに４次元フィルタを適用する「３Ｄ」畳み込み層と、活性化層および３Ｄプーリング層、次いで平坦化層、最後に１つまたは複数の全結合層（複数可）から構成される一連の畳み込みブロックから構成される、分類することと
    を実施するように構成されることを特徴とする、システム。
11. 前記試料中の前記標的粒子を観察するための装置をさらに備える、請求項１０に記載のシステム。
12. コンピュータプログラム製品であって、前記プログラムがコンピュータ上で実行されると、経時的に試料中の標的粒子を表す入力画像のシーケンスを分類するための請求項１から９のいずれか一項に記載の方法を実行するためのコード命令を含むコンピュータプログラム製品。
13. コンピュータプログラム製品が、経時的に試料中の標的粒子を表す入力画像のシーケンスを分類するための請求項１から９のいずれか一項に記載の方法を実行するためのコード命令を含むコンピュータ機器のアイテムによって読み取ることができる記憶手段。
    

Images