JP7250090B2

JP7250090B2 - 試料管を移送するように構成された移送インターフェースの少なくとも１つのキャビティの少なくとも１つの状態を判定する方法

Info

Publication number: JP7250090B2
Application number: JP2021159600A
Authority: JP
Inventors: ロシャンメータクマール
Original assignee: エフホフマン－ラロッシュアクチェンゲゼルシャフト
Priority date: 2020-10-02
Filing date: 2021-09-29
Publication date: 2023-03-31
Anticipated expiration: 2041-09-29
Also published as: JP2022060172A; EP3979131A1; CN114298963A; US20220107331A1

Description

本発明は、試料管を移送するように構成された移送インターフェースの少なくとも１つのキャビティの少なくとも１つの状態を判定する方法に関する。本発明は、さらに、移送インターフェース用の検査装置に関する。本方法および装置は、具体的には、医療または化学検査室の分野において使用されることができる。しかしながら、本発明の他の応用分野が可能である。

医療または化学検査室の分野では、検査室自動化システムの検査ステーション間、例えば機器間で試料管を分配するために試料移送システムが使用される。管は、血液、血清または血漿、尿または化学物質などの多種多様な試料を含むことができ、管はまた、異なる形状、直径、色、高さなどを有するいくつかのタイプのものとすることができる。検査室自動化システムは、移送システムとそれぞれの検査室ステーションとの間のインターフェースを提供する移送インターフェースを含むことができる。移送インターフェースは、試料管をそれぞれの検査室ステーションに送達するために試料管を受け入れるための複数のキャビティを含むことができる。完全な自動化のために、管が存在するかどうか、またはキャビティが空のキャビティであるかどうかなど、キャビティの状態を判定することが必要な場合がある。

米国特許第１０，１４０，７０５号明細書は、訓練および較正されることができるドロワビジョンシステムを含む、検査室環境における試料管の特性を検出する方法およびシステムを記載している。少なくとも１つのカメラによってキャプチャされた管トレイの画像は、管スロットが占有されているかどうか、管がキャップを有するかどうか、および管が管トップカップを有するかどうかをプロセッサが自動的に判定することを可能にする画像パッチを抽出するために分析される。プロセッサは、ランダムフォレスト技術および複数の訓練画像パッチを使用して訓練されることができる。カメラは、ドロワに挿入されることができる三次元較正ターゲットを使用して較正されることができる。

国際公開第２０１９０８４４６８号パンフレットは、ラックに運ばれる様々な試料容器を認識するためのシステムおよび方法を記載している。システムおよび方法は、ラック内の試料容器を識別し、容器および／またはラックに関連する様々な特性を検出するために実行され、特性は、ラック内の容器の有効性および／またはタイプを判定するために評価される。

米国特許出願公開第２０１８／０１６４３３５号明細書は、自動化トラックと、自動化トラックに沿って複数の試料容器を運ぶように構成された複数のキャリアと、複数の光学デバイスを含む特徴付けステーションとを含むインビトロ診断設定で使用するためのシステムおよび方法を記載している。特徴付けステーションと通信するプロセッサは、各キャリアおよび／または試料容器に関連する物理的属性を自動的に特徴付けるために画像を分析するように構成されることができる。

国際公開第２０１９／０１８３１３号パンフレットは、迷光補償を含む検体および／または検体容器を特徴付けるための品質チェックモジュールを記載している。品質チェックモジュールは、検体を収容する検体容器を受け入れるように構成された品質チェックモジュール内の撮像位置と、１つまたは複数の視点から撮像位置の画像をキャプチャするように構成された１つまたは複数の画像キャプチャデバイスと、１つまたは複数の画像キャプチャデバイスにバックライトを提供するように構成された１つまたは複数の光源と、画像に影響する迷光が補償されて迷光補償画像を提供することを可能にする１つまたは複数の光源からの迷光を受光する領域に配置された１つまたは複数の迷光パッチとを含む。

国際公開第２０１８／０２２２８０号パンフレットは、容器キャップを識別するために検体容器キャップの特性を判定するモデルベースの方法を開示している。この方法は、容器キャップを含む検体容器を提供することと、異なる露光長で、複数の異なる公称波長を使用して撮像された容器キャップのバックライト画像をキャプチャすることと、各公称波長で異なる露光長の画像から最適に露光された画素を選択して、各公称波長の最適に露光された画像データを生成することと、最適に露光された画素を、少なくとも管、ラベル、またはキャップの１つとして分類することと、キャップとして分類された最適に露光された画素と各公称波長の画像データに基づいて、容器キャップの形状を識別することと、を含む。

特開２０１９０２７９２７号公報は、容器内の分析対象の試料の状態を判定する装置を記載している。装置は、試料の画像を取得し、その画像を用いて、試料の画像に設定された検出範囲に対する検出対象の位置および大きさを分析し、分析結果に基づいて試料の状態を判定する。

独国特許出願公開第１０２０１４２２４５１９号明細書は、複数の容器レセプタクルが容器位置合わせのために配置される移送カルーセルを有する容器をラベリングするためのラベリング装置を記載している。ラベリング容器は、第１の位置合わせ機構による容器位置合わせに基づいてラベルを貼付するために移送カルーセル上に配置された少なくとも１つの第１のラベリングユニットを有する、容器上の第１の位置合わせ機構のための第１の検出ユニットを有する。ラベリング装置は、容器クロージャ上の第２の位置合わせ機構用の第２の検出ユニットを含む。第２の位置合わせ機構による容器位置合わせに基づいてラベルを貼付するための少なくとも１つの第２の標識ユニットは、移送カルーセル上に配置される。

公知の方法および装置によって達成される利点にもかかわらず、いくつかの技術的課題が残っている。異なるカテゴリへのキャビティ状態の分類および検出は、照明および／またはライティング状態が異なるおよび／または変化する場合、ならびにキャビティからの視点間の距離が異なる場合に問題となることがある。これらの要因を考慮した較正は、時間がかかることがあり、したがって、コストがかかることがある。

したがって、同様の種類の既知の方法および装置の上述した技術的課題に少なくとも部分的に対処する方法および装置を提供することが望ましい。具体的には、照明および／またはライティング状態が異なるおよび／または変化する場合、および／または照明および／または雷の状態が変化する場合、および／またはキャビティからの視点間の距離が変化する場合であっても、単純且つ費用効果の高い方法で、キャビティ状態を異なるカテゴリに分類および検出することを可能にする方法および装置が提案されるべきである。

この課題は、独立請求項の特徴を有する試料管および検査装置を移送するように構成された移送インターフェースの少なくとも１つのキャビティの少なくとも１つの状態を判定する方法によって対処される。単独で、または任意の組み合わせで実現され得る有利な実施形態は、従属請求項ならびに明細書全体に記載されている。

以下において使用されるように、用語「有する」、「備える」もしくは「含む」またはそれらの任意の文法上の変形は、非排他的な方法で使用される。したがって、これらの用語は、これらの用語によって導入される特徴に加えて、この文脈で説明されているエンティティにさらなる特徴が存在しない状況と、１つまたは複数の追加の特徴が存在する状況との双方を指す場合がある。例として、「ＡはＢを有する」、「ＡはＢを備える」および「ＡはＢを含む」という表現は、双方とも、Ｂ以外に、他の要素がＡに存在しない状況（すなわち、Ａが単独で且つ排他的にＢからなる状況）、および、Ｂ以外に、要素Ｃ、要素ＣおよびＤ、さらにはさらなる要素など、１つまたは複数のさらなる要素がエンティティＡに存在する状況を指す場合がある。

さらに、特徴または要素が１回または複数回存在することができることを示す「少なくとも１つ」、「１つまたは複数」という用語または同様の表現は、通常、それぞれの特徴または要素を導入するときに一度だけ使用されることに留意されたい。以下では、ほとんどの場合、それぞれの特徴または要素を指すとき、それぞれの特徴または要素が１回または１回を超えて存在することができるという事実にもかかわらず、「少なくとも１つ」または「１つまたは複数」という表現は繰り返されない。

さらに、以下において使用されるように、用語「好ましくは」、「より好ましくは」、「特に」、「より特に」、「具体的に」、「より具体的に」または同様の用語は、代替の可能性を制限することなく、任意の特徴と併せて使用される。したがって、これらの用語によって導入される特徴は、任意の特徴であり、決して特許請求の範囲を制限することを意図したものではない。本発明は、当業者が認識するように、代替の特徴を使用することによって実施されることができる。同様に、「本発明の実施形態において」または同様の表現によって導入される特徴は、本発明の代替の実施形態に関する制限がなく、本発明の範囲に関する制限がなく、およびそのような方法で導入された特徴を、本発明の他の任意または非任意の特徴と組み合わせる可能性に関する制限がない任意の特徴であることを意図する。

本発明の第１の態様では、試料管を移送するように構成された移送インターフェースの少なくとも１つのキャビティの少なくとも１つの状態を判定する方法が開示される。

本明細書で使用される「試料」という用語は、広義の用語であり、当業者にその通常の慣習的な意味を与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、化学的または生物学的化合物などの物質のアリコートを指すことができる。具体的には、試料は、血液、血清、血漿、尿、唾液のうちの１つまたは複数などの少なくとも１つの生体検体とすることができるか、またはそれらを含むことができる。追加的または代替的に、試料は、化学物質または化合物および／または試薬とすることができるか、またはそれらを含むことができる。

本明細書で使用される「試料管」という用語は、広義の用語であり、当業者にその通常の慣習的な意味を与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、試料の収容、保管、および／または移送のうちの１つまたは複数のために構成された容器を指すことができる。試料管は、ガラスまたは透明プラスチック管とすることができる。試料管は、円筒状管、例えば、円形および／または多角形の断面を有する円筒状管とすることができる。他のタイプまたは形態の試料管も可能である。試料管は、管底部と、管本体と、キャップの封止を含むキャップとを含むことができる。管底部は、試料管の下端に試料管を閉じ込めるように構成されることができる。管本体は、試料管の形状を形成するように構成されることができる。キャップは、特定の封止タイプの機構を使用することによって試料管の上端において試料管を可逆的に密閉するように構成されることができる。例えば、試料管のキャップ封止は、スクリュー型、ゴム型、ｈｅｍｏｇａｒｄ型、またはプッシュ型のうちの１つまたは複数を含むことができる。試料管の上端および下端は、試料管の使用方法によって画定されることができる。

移送インターフェースは、特に大規模検査室用の検査室自動化システム（ＬＡＳ）の一部とすることができる。本明細書で使用される「検査室自動化システム」という用語は、広義の用語であり、当業者にその通常の慣習的な意味を与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、試料管を自動的に取り扱うように構成されたシステムを指すことができる。具体的には、ＬＡＳは、試料管およびそれらに囲まれた試料を自律的におよび／または完全にまたは部分的に自動的に処理するように構成されることができる。ＬＡＳが使用される検査室は、例えば、臨床検査室、法医学検査室または血液バンクとすることができる。例として、ＬＡＳは、複数の試料管を例えば順次または並行して取り扱うように構成されるなど、少なくとも１つの試料管を取り扱うように構成された、アクチュエータなどの少なくとも１つの移送モジュールを含むことができる。例として、移送モジュールは、システム内の複数の取り扱いステーションなどを介して、少なくとも１つの試料管を自動的に移動させるように構成されることができる。例として、移送モジュールは、ロボットアーム、搬送システムまたはカルーセルのうちの１つまたは複数とすることができるか、またはそれらを含むことができる。他の移送モジュールが知られており、使用されてもよい。ＬＡＳは、少なくとも１つの試料管に含まれる１つまたは複数の試料を取り扱うおよび／または処理するための１つまたは複数の取り扱いステーションをさらに含むことができる。例として、試料に成分を添加するための１つまたは複数のステーション、試料を加熱するための１つまたは複数のステーション、または遠心分離などによる試料分離のための１つまたは複数のステーションが設けられることができる。ＬＡＳは、試料分析のための少なくとも１つの分析システムを含むことができる。ＬＡＳは、具体的には後続の試料分析のために１つまたは複数の試料を調製するための少なくとも１つの前分析システムを含むことができる。

本明細書で使用される「移送インターフェース」という用語は、広義な用語であり、当業者にその通常の慣習的な意味を与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、移送モジュールと接続された装置、特に取り扱いステーションとの間で少なくとも１つの試料管を移送するまたは移送を提供するように構成された物理的境界を形成する装置を指すことができる。

移送インターフェースは、それぞれが少なくとも１つの試料管を受け入れおよび／または保持するように構成された複数のキャビティを含むことができる。本明細書で使用される「キャビティ」という用語は、広義の用語であり、当業者にその通常の慣習的な意味を与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、少なくとも１つの試料管を受け入れおよび／または保持するように構成された受け入れ領域および／または保持領域を指すことができる。キャビティは、少なくとも１つのホルダを含むことができる。例えば、ホルダは、正確に１つの試料管を受け入れて保持するように構成された単一のホルダとすることができる。ホルダは、試料管を受け入れて保持するために試料管と直接接触するように構成されることができる。例えば、ホルダは、試料管の挿入を可能にするために、片側、特に上面または前面側で開放されることができる。

移送インターフェースは、少なくとも１つのカルーセルを含むことができ、キャビティは、カルーセルの円周にわたって分散され、特に均等に分散される。カルーセルは、回転可能とすることができる。移送インターフェースは、少なくとも１つの入力位置、特に最小１つの入力位置で移送モジュールに面することができる。入力位置において、ホルダおよび／またはホルダおよび試料管は、特に自動的にそれぞれのキャビティに装填されることができる。移送インターフェースは、出力位置として示される少なくとも１つのさらなる位置、特に最小１つのさらなる位置で、移送モジュールおよび／またはさらなる移送モジュールに面することができる。出力位置において、ホルダおよび／またはホルダおよび試料管は、移送インターフェースから移送モジュールおよび／またはさらなる移送モジュールに移送されることができる。移送インターフェースは、キャビティを移動させるように、特にキャビティを回転させるように構成された少なくとも１つのロータを含むことができる。移送インターフェースは、少なくとも１つのハンドオーバ位置を含むことができ、ハンドオーバ位置において、試料管は、移送インターフェースから接続装置に、および／または接続装置から移送インターフェースに移送されることができる。

本明細書で使用される「少なくとも１つのキャビティの状態」という用語は、広義な用語であり、当業者にその通常の慣習的な意味を与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、空のキャビティ、キャビティ内のホルダの存在、キャビティ内の密閉試料管、キャビティ内の開放ホルダなどのカテゴリにキャビティを特徴付ける任意の情報を指すことができる。空のキャビティは、試料管およびホルダのないキャビティとすることができる。ホルダのカテゴリの存在は、試料管を有するまたは有しないホルダにさらに分けられることができる。カテゴリ密閉試料管は、キャビティ内にホルダおよび試料管を有する状況を指すことができ、試料管は、試料管のキャップによって密閉される。カテゴリ開放試料管は、キャビティ内にホルダおよび試料管を有する状況を指すことができ、試料管は、試料管のキャップによって密閉されない。

方法は、具体的には所与の順序で実行されることができる以下のステップを含む。しかしながら、異なる順序も可能であることに留意するものとする。さらに、１つまたは複数の方法ステップを１回または繰り返し実行することも可能である。さらに、２つ以上の方法ステップを同時にまたは適時に重複して実行することが可能である。方法は、記載されていないさらなる方法ステップを含むことができる。

方法は、
ｉ）少なくとも１つのカメラを使用することによって移送インターフェースの少なくとも一部の少なくとも１つの画像をキャプチャすることと、
ｉｉ）少なくとも１つの処理ユニットを使用することによって画像に対して少なくとも１つの訓練済モデルを適用することによって、キャビティの状態を少なくとも１つのカテゴリにカテゴリ化することであって、訓練済モデルが、移送インターフェースの画像データについて訓練されており、画像データが、異なる状態のキャビティを有する移送インターフェースの複数の画像を含む、カテゴリ化することと、
ｉｉｉ）少なくとも１つの通信インターフェースを介して少なくとも１つのキャビティの判定されたカテゴリを提供することと、を含む。

本明細書で使用される「カメラ」という用語は広義の用語であり、当業者にその通常の慣習的な意味を与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、空間的に分解された１次元、２次元、さらには３次元の光学データまたは情報を記録またはキャプチャするように構成された少なくとも１つの撮像素子を有するデバイスを指すことができる。カメラは、画素のマトリックスを含む画素化カメラとすることができる。例として、カメラは、画像を記録するように構成された少なくとも１つのＣＣＤチップおよび／または少なくとも１つのＣＭＯＳチップなどの、少なくとも１つのカメラチップを含むことができる。カメラは、移送インターフェースの要素またはユニットとすることができる。

カメラは、少なくとも１つのカメラチップまたは撮像チップに加えて、１つまたは複数の光学素子、例えば、１つまたは複数のレンズなどのさらなる素子を含むことができる。例として、カメラは、少なくとも１つの様々なズームレンズなど、自動または手動で調整されることができる１つまたは複数の可変レンズを含むことができる。あるいは、しかしながら、カメラは、カメラに対して固定的に調整される少なくとも１つのレンズを有する固定焦点カメラとすることができる。

カメラは、具体的にはカラーカメラとすることができる。したがって、各画素などについて、３色の色値などの色情報が提供または生成されることができる。各画素に４色値など、より多くの色値も可能である。カラーカメラは、当業者に一般に知られている。したがって、例として、カメラチップは、それぞれ３つ以上の異なるカラーセンサ、例えば、赤（Ｒ）用の１画素、緑（Ｇ）用の１画素、および青（Ｂ）用の１画素のようなカラー記録画素から構成されることができる。Ｒ、Ｇ、Ｂなどの各画素について、それぞれの色の強度に応じて、値は、０から２５５の範囲のデジタル値などの画素によって記録されることができる。例として、Ｒ、Ｇ、Ｂなどの色の三つ組を使用する代わりに、四つ組が使用されることができる。画素の色感度は、カラーフィルタによって、またはカメラ画素において使用されるセンサ素子の適切な固有感度によって生成されることができる。これらの技術は、当業者に一般に知られている。

本明細書で使用される「画像」という用語は、広義の用語であり、当業者にその通常の慣習的な意味を与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、カメラチップの画素などのカメラからの複数の電子読み取りなどのカメラを使用することによって記録されたデータを指すことができる。したがって、画像は、グレースケール値および／または色情報値の配列などの少なくとも１つの情報値の配列とすることができるか、またはそれを含むことができる。画像は、単色画像であってもよいし、多色または有色の画像であってもよい。

本明細書で使用される「少なくとも１つの画像をキャプチャすること」という用語は、広義の用語であり、当業者にその通常の慣習的な意味を与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、撮像、画像記録、画像取得、画像キャプチャのうちの１つまたは複数を指すことができる。少なくとも１つの画像をキャプチャすることは、単一の画像および／または一連の画像などの複数の画像をキャプチャすることを含むことができる。例えば、画像をキャプチャすることは、ビデオストリームまたは動画などの一連の画像を連続的に記録することを含むことができる。ステップｉ）の画像は、カメラを使用することによってキャプチャされた少なくとも１つのビデオストリームのフレームとすることができる。

本明細書で使用される「移送インターフェースの少なくとも一部の少なくとも１つの画像をキャプチャすること」という用語は、広義の用語であり、当業者にその通常の慣習的な意味を与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、関心領域を含む少なくとも１つの画像をキャプチャすることを指すことができる。具体的には、画像をキャプチャすることは、移送インターフェース全体の少なくとも１つの画像がキャプチャされる実施形態、および移送インターフェースのキャビティなどのエリアまたは領域などの関心領域の少なくとも１つの画像がキャプチャされる実施形態を指すことができる。

移送インターフェースの少なくとも一部の少なくとも１つの画像は、上面視からキャプチャされることができる。上面視は、移送インターフェースが配置される平面に本質的に平行な平面内のカメラの位置によって特徴付けられることができる。「本質的に平行」という用語は、カメラが、移送インターフェースが配置される平面と平行である実施形態を指すことができ、平行配置から２０％未満、好ましくは１０％、より好ましくは５％の偏差が可能である。

画像をキャプチャすることは、移送インターフェースの動きに同期させることができる。追加的または代替的に、画像をキャプチャすることは、例えば、繰り返し間隔での撮像、または視野内および／またはカメラの視野の所定のセクタ内の少なくとも１つの物体の存在が自動的に検出されると、自動的に開始されることができる。画像をキャプチャすることは、例として、カメラによって画像のストリームを取得することを含むことができ、画像のうちの１つまたは複数は、自動的にまたはユーザ相互作用によって取得される。画像をキャプチャすることは、移送インターフェースなどのプロセッサによって実行および／またはサポートされることができる。キャプチャ画像は、移送インターフェースなどの少なくとも１つのデータ記憶装置に記憶されることができる。

本明細書で使用される「処理ユニット」という用語は、広義の用語であり、当業者にその通常の慣習的な意味を与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、コンピュータまたはシステムの基本的な動作を実行するように構成された任意の論理回路、および／または一般に、計算または論理動作を実行するように構成された装置を指すことができる。特に、処理ユニットは、コンピュータまたはシステムを駆動する基本的な命令を処理するように構成されることができる。例として、処理ユニットは、少なくとも１つの算術論理演算装置（ＡＬＵ）、数値演算コプロセッサまたは数値コプロセッサなどの少なくとも１つの浮動小数点ユニット（ＦＰＵ）、複数のレジスタ、具体的にはＡＬＵにオペランドを供給し、演算結果を格納するように構成されたレジスタ、Ｌ１およびＬ２キャッシュメモリなどのメモリを含むことができる。特に、処理ユニットは、マルチコアプロセッサとすることができる。具体的には、処理ユニットは、中央処理装置（ＣＰＵ）とすることができるか、またはそれを含むことができる。追加的または代替的に、処理ユニットは、マイクロプロセッサとすることができるか、またはそれを含むことができ、したがって、具体的には、プロセッサの要素は、１つの単一集積回路（ＩＣ）チップに含まれることができる。追加的または代替的に、処理ユニットは、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）および／または１つまたは複数のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などとすることができるか、またはそれらを含むことができる。処理ユニットは、移送インターフェースの処理ユニットとすることができる。

方法、特にステップｉ）は、画像をスケーリングすることと、画像を整形することと、背景減算と、ガウシアンフィルタ、サビツキーゴーレイ平滑化、メディアンフィルタおよび／またはバイラテラルフィルタリングなどの少なくとも１つのフィルタを適用することを含む少なくとも１つの平滑化ステップとのうちの１つまたは複数を含む前処理ステップを含むことができる。前処理は、処理ユニットによって実行されることができる。例えば、方法は、処理ユニットを使用することによってキャプチャ画像の関心領域を判定することを含むことができる。関心領域を判定するプロセスは、少なくとも１つのコンピュータビジョンプロセスを使用することによって実装されることができる。そのような技術は、当業者に一般に知られている。ホルダおよび管の有無にかかわらず、キャビティは、多かれ少なかれ形状が円形であるため、基本的なコンピュータビジョン方法、例えばハフサークル変換が使用されて、キャビティの位置を見つけて関心領域全体を判定することができる。追加的または代替的に、他の前処理ステップまたはプロセスが使用されてもよい。

本明細書で使用される「訓練済モデル」という用語は、広義の用語であり、当業者にその通常の慣習的な意味を与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、機械学習、深層学習、ニューラルネットワーク、または他の形態の人工知能のうちの１つまたは複数を使用して少なくとも１つの訓練データセットについて訓練された数学的モデルを指すことができる。本明細書で使用される「訓練」という用語は、広義の用語であり、当業者にその通常の慣習的な意味を与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、訓練済モデルを構築するプロセス、特にモデルのパラメータ、特にモデルの重みを判定するプロセスを指すことができる。

訓練済モデルは、畳み込みニューラルネットワーク（ＣＮＮ）モデルとすることができる。ＣＮＮモデルは、物体分類、検出、および位置特定のために構成されたＣＮＮアーキテクチャに基づくことができる。最先端のＣＮＮアーキテクチャは、カスタムデータについての再利用および訓練が可能なビルディングブロックのように機能し、この場合、ＣＮＮベースのモデルが所与の入力画像に基づいてカスタム重みを得ることができるように、異なる状態を有するインターフェースキャビティ画像を転送する。具体的には、畳み込みニューラルネットワークモデルは、ＹＯＬＯＶ３タイニー深層学習アーキテクチャに基づいている。ＹＯＬＯＶ３タイニー深層学習アーキテクチャに関しては、ＪｏｓｅｐｈＲｅｄｍｏｎおよびＡｌｉＦａｒｈａｄｉ，「ＹＯＬＯｖ３：ＡｎＩｎｃｒｅｍｅｎｔａｌＩｍｐｒｏｖｅｍｅｎｔ」２０１８ａｒＸｉｖ：１８０４．０２７６７に記載されており、その内容は参照により本明細書に含まれる。ＹＯＬＯＶ３タイニー深層学習アーキテクチャは、同様のまたはより良い予測精度で、領域ベース畳み込みニューラルネットワーク（Ｒ－ＣＮＮ）よりも１０００倍高速であり、高速Ｒ－ＣＮＮよりも１００倍高速とすることができる。分類のための迅速な推論時間は、ＣＮＮアーキテクチャを選択するための重要な考慮事項とすることができる。

方法は、モデルを事前訓練することと、モデルを再訓練することとを含むことができる。事前訓練済モデルは、転移技術を使用して移送インターフェースの画像データについて訓練されることができる。画像データは、異なる状態のキャビティを有する移送インターフェースの複数の画像を含む。複数の画像は、様々なライティング条件および／または視点とキャビティとの間の距離を有する異なる状態のキャビティを有する移送インターフェースの画像を含むことができる。具体的には、方法は、特にステップｉ）の前に、少なくとも１つの訓練ステップを含むことができる。訓練ステップは、少なくとも１つの訓練データセットを生成することを含むことができる。訓練データセットは、ラベル付けされた試料データのセットとすることができる。訓練データセットは、移送インターフェースの少なくとも一部の複数の画像のセットをキャプチャすることによって生成されることができ、複数の画像について、キャビティは、例えば、空のキャビティ、キャビティ内のホルダの有無、キャビティ内の密閉試料管、またはキャビティ内の開放試料管などの異なる状態にある。さらに、照明およびライティング条件は、複数の画像のセットに対して変化させることができる。さらに、カメラとキャビティとの間の距離は、複数の画像のセットに対して変化させることができる。キャプチャされた複数の画像のセットは、手動で注釈付けされてもよく、境界ボックスなどの関心領域は、カテゴリのうちの１つによってラベル付けされてもよい。

モデルの訓練は、転移学習技術を使用することを含むことができる。具体的には、モデル、特にＹＯＬＯｖ３タイニーモデルは、例えば、Ｊ．Ｄｅｎｇ，Ｗ．Ｄｏｎｇ，Ｒ．Ｓｏｃｈｅｒ，Ｌ．Ｌｉ，ＫａｉＬｉおよびＬｉＦｅｉ－Ｆｅｉ，「ＩｍａｇｅＮｅｔ：Ａｌａｒｇｅ－ｓｃａｌｅｈｉｅｒａｒｃｈｉｃａｌｉｍａｇｅｄａｔａｂａｓｅ」，２００９ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ，Ｍｉａｍｉ，ＦＬ，２００９年，ｐｐ．２４８－２５５，ｄｏｉ：１０．１１０９／ＣＶＰＲ．２００９．５２０６８４８に記載されているようなイメージネットデータセットなどの画像データについて事前訓練された畳み込み重みを使用することができる。転移学習技術を使用する背後にある利点は、以下のように説明されることができる：車の運転の仕方を知っている人は、トラックの運転の仕方を迅速且つ効率的に学習することができる。同様に、人間、車、自転車などの一般的な物体を検出するように既に訓練されているモデルは、線、エッジ、点などの小さな特徴を識別する方法を既に知っているＣＮＮモデルの下位畳み込み層としてキャビティの状態を判定する方法を迅速に学習することができる。

キャビティの状態を判定することができるようにモデルを訓練するために、訓練データセットは、訓練セットとテストセットとに、例えば４：：１の比率に分割されることができる。標準的なＹＯＬＯＶ３タイニーモデルの設定は、さらに調整されることができ、キャビティ状態を分類することができ、訓練済モデルの追加の訓練、特に再訓練を可能にするようにハイパーパラメータが調整されることができる。モデルのパラメータ、特にＹＯＬＯＶ３タイニーモデルの畳み込み重みは、訓練セットについて訓練され、テストセットによってテストされることができる。訓練セットについて訓練され、テストセットによってテストされたモデルは、本明細書では候補モデルとして示されることができる。

方法は、最終訓練済モデルを生成することをさらに含むことができる。具体的には、方法は、少なくとも１つの、例えば履歴のカスタム準備されたデータセットなどの、見えない入力データに基づいて候補モデルを再訓練することを含むことができる。これは、訓練済モデルのパラメータ、特に重みをさらに調整すること、および／またはカスタム条件を考慮することを可能にすることができる。調整された重みを有する最終訓練済モデルは、ＣＮＮモデル、具体的にはＹＯＬＯＶ３タイニーモデルの平均損失関数値が１よりもはるかに小さくなるまで訓練することによって生成されることができる。

訓練済モデルは、キャビティの状態を少なくとも１つのカテゴリにカテゴリ化するように構成される。ステップｉｉ）におけるカテゴリ化は、キャビティの状態のカテゴリを判定することを含むことができる。カテゴリの判定は、カテゴリの予測として示されることができる。カテゴリは、空のキャビティ、キャビティ内のホルダの存在、キャビティ内の密閉試料管、キャビティ内の開放試料管からなる群から選択されることができる。訓練済モデルは、カルーセル内に試料管および／またはホルダを配置するため、および／または試料管を識別するために構成されることができる。したがって、訓練済モデルは、移送インターフェース自体、特にカルーセルの全てのキャビティを特徴付けるように構成されることができる。

訓練済モデルは、異なる画像領域を異なるカテゴリに分類するように構成されることができる。例えば、画像が２つ以上のキャビティを含む場合、訓練済モデルは、画像の各キャビティの状態を判定するように構成される。したがって、訓練済モデルは、一度に複数のキャリアを特徴付けるように構成されることができる。

方法は、新たなタイプの試料管がインターフェースにおいて使用され、キャビティ状態が判定される必要がある場合に、以前の訓練済モデルを再訓練することを含むことができる。新たな試料管画像による１回の再訓練のみが必要とされることができる。

本明細書で使用される「通信インターフェース」という用語は、広義の用語であり、当業者にその通常の慣習的な意味を与えられるべきであり、特別なまたはカスタマイズされた意味に限定されるべきではない。この用語は、具体的には、限定されるものではないが、情報を転送するように構成された境界を形成するアイテムまたは要素を指すことができる。特に、通信インターフェースは、例えば別の装置に情報を送信または出力するなどのために、例えばコンピュータなどの計算装置から情報を転送するように構成されることができる。追加的または代替的に、通信インターフェースは、情報を受信するなどのために、計算装置、例えばコンピュータに情報を転送するように構成されてもよい。通信インターフェースは、具体的には、情報を転送または交換するための手段を提供することができる。特に、通信インターフェースは、例えば、ブルートゥース、ＮＦＣ、誘導結合などのデータ転送接続を提供することができる。例として、通信インターフェースは、ネットワークまたはインターネットポート、ＵＳＢポート、およびディスクドライブのうちの１つまたは複数を含む少なくとも１つのポートとすることができるか、またはそれらを含むことができる。通信インターフェースは、少なくとも１つの表示装置をさらに含むことができる。

方法は、特に処理ユニットを使用することによって、判定されたおよび／または提供されたカテゴリに基づいて、移送インターフェースがクリアランスのために何回回転しなければならないか、および／または接続装置による動作を特に直ちに開始することが可能かどうかを判定することを含むことができる。方法は、カルーセルの少なくとも１つの画像をキャプチャすることを含むことができる。ステップｉｉ）において、キャビティのそれぞれの状態がカテゴリ化されることができる。ステップｉｉｉ）において、少なくとも１つのキャビティの状態が提供される。例えば、カルーセルは、５つのキャビティを含むことができる。方法は、キャビティのうちの２つが試料管を含み、他の３つが空であることを返すことができる。さらに、カルーセル内のそれぞれのキャビティの位置または相対位置に関する情報は、訓練済モデルによって提供されることができる。したがって、キャビティの状態およびそれらの位置から、移送インターフェースがクリアランスのために何回回転する必要があり得るか、および／またはいかなるクリアランスも必要とせずに接続装置との間の管の移送を直ちに開始することが可能であるかどうかを判定することが可能である。

本発明のさらなる態様では、試料管を移送するように構成された移送インターフェースの少なくとも１つのキャビティの少なくとも１つの状態を判定するコンピュータプログラムであって、コンピュータまたはコンピュータネットワーク上で実行されると、コンピュータまたはコンピュータネットワークに本発明にかかる方法を完全にまたは部分的に実行させるように構成されたコンピュータプログラムが開示される。コンピュータプログラムは、試料管を移送するように構成された移送インターフェースの少なくとも１つのキャビティの少なくとも１つの状態を判定する方法のステップｉｉ）からｉｉｉ）のうちの少なくとも１つを実行するように構成される。コンピュータプログラムは、ステップｉ）において、例えば上面視から少なくとも１つの画像をキャプチャするための命令をさらに含むことができる。

具体的には、コンピュータプログラムは、コンピュータ可読データキャリアおよび／またはコンピュータ可読記憶媒体に記憶されることができる。本明細書で使用される場合、「コンピュータ可読データキャリア」および「コンピュータ可読記憶媒体」という用語は、具体的には、コンピュータ実行可能命令が記憶されたハードウェア記憶媒体などの非一時的データ記憶手段を指すことができる。コンピュータ可読データキャリアまたは記憶媒体は、具体的には、ランダムアクセスメモリ（ＲＡＭ）および／または読み出し専用メモリ（ＲＯＭ）などの記憶媒体とすることができるか、またはそれを含むことができる。

プログラムがコンピュータまたはコンピュータネットワーク上で実行されると、本明細書に含まれる１つまたは複数の実施形態において、本開示にかかる方法を実行するために、プログラムコードを有するコンピュータプログラム製品が本明細書にさらに開示および提案される。具体的には、プログラムコード手段は、コンピュータ可読データキャリアおよび／またはコンピュータ可読記憶媒体に記憶されることができる。

データ構造が記憶されたデータキャリアであって、コンピュータまたはコンピュータネットワークのワーキングメモリまたはメインメモリなどのコンピュータまたはコンピュータネットワークにロードした後、本明細書に開示される１つまたは複数の実施形態における本発明かかる方法を実行することができる、データキャリアが本明細書にさらに開示および提案される。

プログラムがコンピュータまたはコンピュータネットワーク上で実行されるときに、本明細書に開示される本発明の１つまたは複数の実施形態にかかる方法を実行するために、マシン可読キャリアに格納されたプログラムコード手段を有するコンピュータプログラム製品が本明細書にさらに開示および提案される。本明細書で使用される場合、コンピュータプログラム製品は、取引可能な製品としてのプログラムを指す。製品は、一般に、紙のフォーマットなどの任意のフォーマットで、またはコンピュータ可読データキャリア上に存在する。具体的には、コンピュータプログラム製品は、データネットワークを介して配布されることができる。
本発明のさらなる態様では、試料管を移送するように構成された移送インターフェースの少なくとも１つのキャビティの少なくとも１つの状態を判定する検査装置が開示される。検査装置は、
移送インターフェースの少なくとも一部の少なくとも１つの画像をキャプチャするように構成された少なくとも１つのカメラと、
画像に対して少なくとも１つの訓練済モデルを適用することによってキャビティの状態を少なくとも１つのカテゴリにカテゴリ化するように構成された少なくとも１つの処理ユニットであって、訓練済モデルが、移送インターフェースの画像データについて訓練されており、画像データが、異なる状態のキャビティを有する移送インターフェースの複数の画像を含む、少なくとも１つの処理ユニットと、
少なくとも１つのキャビティの判定されたカテゴリを提供するように構成された少なくとも１つの通信インターフェースと、を含む。

検査装置は、上記開示された実施形態のいずれか１つ、および／または以下にさらに詳細に開示される実施形態のいずれか１つにかかるものなど、本発明にかかる方法を実行するように構成されることができる。

本発明にかかる方法および装置は、当該技術分野において公知の同様の方法および装置に勝る多くの利点を提供することができる特に、移送インターフェースが起動すると、そのカメラユニットを使用してスナップショットなどの画像を撮像し、キャビティ状態を判定することができる。次に、クリアランスのために何回回転する必要があるか、または接続装置によって直ちに動作を開始することができるかどうかを判定することができる。さらに、本発明にかかる解決策は、物体分類、検出、および位置特定の最先端のＣＮＮアーキテクチャを使用する。ＣＮＮアーキテクチャは、時間によって更新および／または置換されることができる。ＣＮＮベースのモデルは、物体分類のための手動の幾何学的特徴抽出の負担を軽減することができる。本発明による解決策は、画像取得のために既製のカメラを使用することができ、特殊なカメラのマイクロコントローラではなく強力な処理ユニットを有する接続されたコンピュータにおいて画像処理が行われることができるため、特殊な高価なカメラを使用する必要性を排除することができる。さらに、本発明は、方法が新たな試料画像によって１回の再訓練しか必要としないため、任意の新たな試料管を容易に含めることを可能にすることができる。さらに、同様の設定で別のカテゴリに対してこの解決策を拡張することがはるかに容易であるため、同じ訓練済モデルが多くの装置におけるキャビティ状態の検出に使用されることができる。

要約すると、さらに可能な実施形態を除外することなく、以下の実施形態が想定されることができる：
実施形態１．試料管を移送するように構成された移送インターフェースの少なくとも１つのキャビティの少なくとも１つの状態を判定する方法であって、
ｉ）少なくとも１つのカメラを使用することによって移送インターフェースの少なくとも一部の少なくとも１つの画像をキャプチャすることと、
ｉｉ）少なくとも１つの処理ユニットを使用することによって画像に対して少なくとも１つの訓練済モデルを適用することによって、キャビティの状態を少なくとも１つのカテゴリにカテゴリ化することであって、訓練済モデルが、移送インターフェースの画像データについて訓練されており、画像データが、異なる状態のキャビティを有する移送インターフェースの複数の画像を含む、カテゴリ化することと、
ｉｉｉ）少なくとも１つの通信インターフェースを介して少なくとも１つのキャビティの結果カテゴリを提供することと、を含む。

実施形態２．訓練済モデルが畳み込みニューラルネットワークモデルである、先行する実施形態に記載の方法。

実施形態３．畳み込みニューラルネットワークモデルが、ＹＯＬＯＶ３タイニー深層学習アーキテクチャに基づいている、先行する実施形態に記載の方法。

実施形態４．訓練済モデルが、異なる画像領域を異なるカテゴリに分類するように構成される、先行する実施形態のいずれか１つに記載の方法。

実施形態５．ステップｉ）の画像が、カメラを使用することによってキャプチャされた少なくとも１つのビデオストリームのフレームである、先行する実施形態のいずれか１つに記載の方法。

実施形態６．方法が、画像をスケーリングすることと、画像を整形することと、背景減算と、ガウシアンフィルタ、サビツキーゴーレイ平滑化、メディアンフィルタおよび／またはバイラテラルフィルタリングなどの少なくとも１つのフィルタを適用することを含む少なくとも１つの平滑化ステップと、のうちの１つまたは複数を含む前処理ステップを含む、先行する実施形態のいずれか１つに記載の方法。

実施形態７．カテゴリが、空のキャビティ、キャビティ内のホルダの存在、キャビティ内の密閉試料管、キャビティ内の開放試料管からなる群から選択される、先行する実施形態のいずれか１つに記載の方法。

実施形態８．方法が、少なくとも１つの訓練ステップを含み、訓練ステップが、少なくとも１つの訓練データセットを生成することを含み、訓練データセットが、移送インターフェースの少なくとも一部の複数の画像のセットをキャプチャすることによって生成され、複数の画像について、キャビティが異なる状態にある、先行する実施形態のいずれか１つに記載の方法。

実施形態９．訓練ステップが、転移学習技術を使用することを含む、先行する実施形態にかかる方法。

実施形態１０．訓練ステップが、少なくとも１つのカスタム準備されたデータセットに基づいて訓練済モデルを再訓練することを含む、先行する２つの実施形態のいずれか１つに記載の方法。

実施形態１１．方法が、判定されたおよび／または提供されたカテゴリに基づいて、移送インターフェースがクリアランスのために何回回転しなければならないか、および／または接続装置によって動作を特に直ちに開始することが可能かどうかを判定することを含む、先行する実施形態のいずれか１つに記載の方法。

実施形態１２．試料管を移送するように構成された移送インターフェースの少なくとも１つのキャビティの少なくとも１つの状態を判定するコンピュータプログラムであって、コンピュータプログラムが、プログラムが少なくとも１つのプロセッサによって実行されると、プロセッサに、先行する実施形態のいずれか１つに記載の方法、特にステップｉｉ）からｉｉｉ）を実行させる命令を含む、コンピュータプログラム。

実施形態１３．少なくとも１つのプロセッサによって実行されると、プロセッサに、方法に関する先行する実施形態のいずれか１つに記載の方法を実行させる命令を含むコンピュータ可読記憶媒体。

実施形態１４．試料管を移送するように構成された移送インターフェースの少なくとも１つのキャビティの少なくとも１つの状態を判定する検査装置であって、
移送インターフェースの少なくとも一部の少なくとも１つの画像をキャプチャするように構成された少なくとも１つのカメラと、
画像に対して少なくとも１つの訓練済モデルを適用することによってキャビティの状態を少なくとも１つのカテゴリにカテゴリ化するように構成された少なくとも１つの処理ユニットであって、訓練済モデルが、移送インターフェースの画像データについて訓練されており、画像データが、異なる状態のキャビティを有する移送インターフェースの複数の画像を含む、少なくとも１つの処理ユニットと、
少なくとも１つのキャビティの判定されたカテゴリを提供するように構成された少なくとも１つの通信インターフェースと、を含む、検査装置。

実施形態１５．検査装置が、方法に関する先行する実施形態のいずれか１つに記載の方法を実行するように構成される、先行する実施形態に記載の検査装置。

さらなる任意の特徴および実施形態は、好ましくは従属請求項と併せて、実施形態の後続の説明においてより詳細に開示される。その中で、それぞれの任意の特徴は、当業者が理解するように、独立した方法で、ならびに任意の実行可能な組み合わせで実現されることができる。本発明の範囲は、好ましい実施形態によって制限されない。実施形態は、図に概略的に示されている。その中で、これらの図の同一の参照符号は、同一または機能的に匹敵する要素を指す。
図では以下のとおりである：

本発明にかかる試料管を移送するように構成された移送インターフェースの少なくとも１つのキャビティの少なくとも１つの状態を判定する検査装置を備える検査室自動化システムの詳細を示している。本発明にかかる方法のフローチャートを示している。本発明にかかる訓練ステップを示している。実験結果を示している。実験結果を示している。

図１は、本発明にかかる試料管１１８を移送するように構成された移送インターフェース１１６の少なくとも１つのキャビティ１１４の少なくとも１つの状態を判定する検査装置１１２を備える検査室自動化システム（ＬＡＳ）１１０の詳細を非常に概略的に示している。

試料管１１８は、試料を収容する、保存する、または移送することのうちの１つまたは複数のために構成されることができる。試料管１１８は、ガラスまたは透明プラスチック管とすることができる。試料管１１８は、円筒状管、例えば、円形および／または多角形の断面を有する円筒状管とすることができる。他のタイプまたは形態の試料管も可能である。試料管１１８は、管底部と、管本体と、キャップの封止を含むキャップとを含むことができる。管底部は、試料管１１８の下端に試料管を閉じ込めるように構成されることができる。管本体は、試料管１１８の形状を形成するように構成されることができる。キャップは、特定の封止タイプの機構を使用することによって試料管の上端において試料管を可逆的に密閉するように構成されることができる。例えば、試料管のキャップ封止は、スクリュー型、ゴム型、ｈｅｍｏｇａｒｄ型、またはプッシュ型のうちの１つまたは複数を含むことができる。試料管１１８の上端および下端は、試料管１１８の使用方法によって画定されることができる。

試料は、化学的または生物学的化合物などの物質のアリコートとすることができる。具体的には、試料は、血液、血清、血漿、尿、唾液のうちの１つまたは複数などの少なくとも１つの生体検体とすることができるか、またはそれらを含むことができる。追加的または代替的に、試料は、化学物質または化合物および／または試薬とすることができるか、またはそれらを含むことができる。

検査室自動化システム１１０は、試料管１１８を自動的に取り扱うように構成されたシステムとすることができる。具体的には、ＬＡＳ１１０は、試料管１１８およびそれらに囲まれた試料を自律的におよび／または完全にまたは部分的に自動的に処理するように構成されることができる。ＬＡＳ１１０が使用される検査室は、例えば、臨床検査室、法医学検査室または血液バンクとすることができる。例として、ＬＡＳ１１０は、複数の試料管１１８を例えば順次または並行して取り扱うように構成されるなど、少なくとも１つの試料管１１８を取り扱うように構成された、アクチュエータなどの少なくとも１つの移送モジュール１２０を含むことができる。例として、移送モジュール１２０は、システム内の複数の取り扱いステーションなどを介して、少なくとも１つの試料管１１８を自動的に移動させるように構成されることができる。例として、移送モジュール１２０は、ロボットアーム、搬送システムまたはカルーセルのうちの１つまたは複数とすることができるか、またはそれらを含むことができる。他の移送モジュール１２０が知られており、使用されてもよい。ＬＡＳ１１０は、少なくとも１つの試料管に含まれる１つまたは複数の試料を取り扱うおよび／または処理するための１つまたは複数の取り扱いステーションをさらに含むことができる。例として、試料に成分を添加するための１つまたは複数のステーション、試料を加熱するための１つまたは複数のステーション、または遠心分離などによる試料分離のための１つまたは複数のステーションが設けられることができる。ＬＡＳ１１０は、試料分析のための少なくとも１つの分析システムを含むことができる。ＬＡＳ１１０は、具体的には後続の試料分析のために１つまたは複数の試料を調製するための少なくとも１つの前分析システムを含むことができる。

移送インターフェース１１６は、移送モジュール１２０と接続装置１２２、特に取り扱いステーションとの間で少なくとも１つの試料管１１８を移送するまたは移送を提供するように構成されることができる。

移送インターフェース１１６は、それぞれが少なくとも１つの試料管１１８を受け入れおよび／または保持するように構成された複数のキャビティ１１４を含むことができる。キャビティ１１４は、少なくとも１つの試料管１１８を受け入れおよび／または保持するように構成された受け入れ領域および／または保持領域とすることができるか、またはそれを含むことができる。キャビティ１１４は、少なくとも１つのホルダ１２４を含むことができる。例えば、ホルダ１２４は、正確に１つの試料管１１８を受け入れて保持するように構成された単一のホルダとすることができる。ホルダ１２４は、試料管１１８を受け入れて保持するために試料管１１８と直接接触するように構成されることができる。例えば、ホルダ１２４は、試料管１１８の挿入を可能にするために、片側、特に上面または前面側で開放されることができる。

移送インターフェース１１６は、少なくとも１つのカルーセル１２６を含むことができ、キャビティ１１４は、カルーセル１２６の円周にわたって分散され、特に均等に分散される。キャビティ１１４は、位置決めスターなどの位置決め要素を使用することによって位置決めされることができる。カルーセル１２６は、特に少なくとも１つのロータ１２８を使用することによって回転可能とすることができる。移送インターフェース１１６は、少なくとも１つの入力位置１３０、特に最小１つの入力位置１３０で移送モジュール１２０に面することができる。入力位置１３０において、ホルダ１２４および／またはホルダ１２４および試料管１１８は、特に自動的にそれぞれのキャビティ１１４に装填されることができる。移送インターフェース１１６は、出力位置１３２として示される少なくとも１つのさらなる位置、特に最小１つのさらなる位置で、移送モジュールおよび／またはさらなる移送モジュール１２０に面することができる。出力位置１３２において、ホルダ１２４および／またはホルダ１２４および試料管１１８は、移送インターフェース１１６から移送モジュール１２０および／またはさらなる移送モジュールに移送されることができる。移送インターフェース１１６は、少なくとも１つのハンドオーバ位置１３４を含むことができ、ハンドオーバ位置１３４において、試料管１１８は、移送インターフェース１１６から接続装置１２２に、および／または接続装置１２２から移送インターフェース１１６に移送されることができる。ハンドオーバ位置１３４において、任意に、試料管１１８は、参照符号１３５によって示される中心とすることができる。

少なくとも１つのキャビティ１１４の状態は、空のキャビティ、キャビティ１１４内のホルダ１２４の存在、キャビティ１１４内の密閉試料管１１８、キャビティ１１４内の開放ホルダ１２４などのカテゴリにキャビティ１１４を特徴付ける任意の情報とすることができる。空のキャビティ１１４は、試料管１１８およびホルダ１２４のないキャビティ１１４とすることができる。ホルダ１２４のカテゴリの存在は、試料管１１８を有するまたは有しないホルダ１２４にさらに分けられることができる。カテゴリ密閉試料管１１８は、キャビティ１１４内にホルダ１２４および試料管１１８を有する状況を指すことができ、試料管１１８は、試料管のキャップによって密閉される。カテゴリ開放試料管１１８は、キャビティ１１４内にホルダ１２４および試料管１１８を有する状況を指すことができ、試料管１１８は、試料管のキャップによって密閉されない。

検査装置１１２は、移送インターフェース１１６の少なくとも一部の少なくとも１つの画像をキャプチャするように構成された少なくとも１つのカメラ１３６を含む。カメラ１３６は、画素のマトリックスを含む画素化カメラとすることができる。例として、カメラ１３６は、画像を記録するように構成された少なくとも１つのＣＣＤチップおよび／または少なくとも１つのＣＭＯＳチップなどの、少なくとも１つのカメラチップを含むことができる。カメラ１３６は、移送インターフェース１１６の要素またはユニットとすることができる。

カメラ１３６は、少なくとも１つのカメラチップまたは撮像チップに加えて、１つまたは複数の光学素子、例えば、１つまたは複数のレンズなどのさらなる素子を含むことができる。例として、カメラ１３６は、少なくとも１つの様々なズームレンズなど、自動または手動で調整されることができる１つまたは複数の可変レンズを含むことができる。あるいは、しかしながら、カメラ１３６は、カメラ１３６に対して固定的に調整される少なくとも１つのレンズを有する固定焦点カメラとすることができる。

カメラ１３６は、具体的にはカラーカメラとすることができる。したがって、各画素などについて、３色の色値などの色情報が提供または生成されることができる。各画素に４色値など、より多くの色値も可能である。カラーカメラは、当業者に一般に知られている。したがって、例として、カメラチップは、それぞれ３つ以上の異なるカラーセンサ、例えば、赤（Ｒ）用の１画素、緑（Ｇ）用の１画素、および青（Ｂ）用の１画素のようなカラー記録画素から構成されることができる。Ｒ、Ｇ、Ｂなどの各画素について、それぞれの色の強度に応じて、値は、０から２５５の範囲のデジタル値などの画素によって記録されることができる。例として、Ｒ、Ｇ、Ｂなどの色の三つ組を使用する代わりに、四つ組が使用されることができる。画素の色感度は、カラーフィルタによって、またはカメラ画素において使用されるセンサ素子の適切な固有感度によって生成されることができる。これらの技術は、当業者に一般に知られている。

少なくとも１つの画像をキャプチャすることは、撮像、画像記録、画像取得、画像キャプチャのうちの１つまたは複数を含むことができる。少なくとも１つの画像をキャプチャすることは、単一の画像および／または一連の画像などの複数の画像をキャプチャすることを含むことができる。例えば、画像をキャプチャすることは、ビデオストリームまたは動画などの一連の画像を連続的に記録することを含むことができる。ステップｉ）の画像は、カメラ１３６を使用することによってキャプチャされた少なくとも１つのビデオストリームのフレームとすることができる。

カメラ１３６は、関心領域を含む少なくとも１つの画像をキャプチャするように構成されることができる。具体的には、画像をキャプチャすることは、移送インターフェース１１６全体の少なくとも１つの画像がキャプチャされる実施形態、および移送インターフェース１１６のキャビティ１１４などのエリアまたは領域などの関心領域の少なくとも１つの画像がキャプチャされる実施形態を指すことができる。

画像をキャプチャすることは、移送インターフェース１１６の動きに同期させることができる。追加的または代替的に、画像をキャプチャすることは、例えば、繰り返し間隔での撮像、または視野内および／またはカメラ１３６の視野の所定のセクタ内の少なくとも１つの物体の存在が自動的に検出されると、自動的に開始されることができる。画像をキャプチャすることは、例として、カメラ１３６によって画像のストリームを取得することを含むことができ、画像のうちの１つまたは複数は、自動的にまたはユーザ相互作用によって取得される。画像をキャプチャすることは、移送インターフェース１１６などのプロセッサによって実行および／またはサポートされることができる。キャプチャ画像は、移送インターフェース１１６などの少なくとも１つのデータ記憶装置に記憶されることができる。

カメラ１３６は、少なくとも１つのバーコードを読み取ること、試料管１１８の存在を認識すること、試料のキャップを検出することなどによって試料管１１８を識別することのうちの１つまたは複数のために構成された識別ユニット１３８の一部とすることができる。

検査装置１１２は、画像に対して少なくとも１つの訓練済モデルを適用することによってキャビティ１１４の状態を少なくとも１つのカテゴリにカテゴリ化するように構成された少なくとも１つの処理ユニット１４０を含み、訓練済モデルは、移送インターフェース１１６の画像データについて訓練されており、画像データが、異なる状態のキャビティ１１４を有する移送インターフェース１１６の複数の画像を含む。複数の画像は、様々なライティング条件および／または視点とキャビティ１１４との間の距離を有する異なる状態のキャビティ１１４を有する移送インターフェース１１６の画像を含むことができる。処理ユニット１４０は、コンピュータまたはシステムの基本的な動作を実行するように構成された任意の論理回路、および／または一般に、計算または論理動作を実行するように構成された装置とすることができるか、またはそれを含むことができる。特に、処理ユニット１４０は、コンピュータまたはシステムを駆動する基本的な命令を処理するように構成されることができる。例として、処理ユニット１４０は、少なくとも１つの算術論理演算装置（ＡＬＵ）、数値演算コプロセッサまたは数値コプロセッサなどの少なくとも１つの浮動小数点ユニット（ＦＰＵ）、複数のレジスタ、具体的にはＡＬＵにオペランドを供給し、演算結果を格納するように構成されたレジスタ、Ｌ１およびＬ２キャッシュメモリなどのメモリを含むことができる。特に、処理ユニット１４０は、マルチコアプロセッサとすることができる。具体的には、処理ユニット１４０は、中央処理装置（ＣＰＵ）とすることができるか、またはそれを含むことができる。追加的または代替的に、処理ユニット１４０は、マイクロプロセッサとすることができるか、またはそれを含むことができ、したがって、具体的には、プロセッサの要素は、１つの単一集積回路（ＩＣ）チップに含まれることができる。追加的または代替的に、処理ユニット１４０は、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）および／または１つまたは複数のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などとすることができるか、またはそれらを含むことができる。処理ユニット１４０は、移送インターフェース１１６の処理ユニットとすることができる。

処理ユニット１４０は、画像をスケーリングすることと、画像を整形することと、背景減算と、ガウシアンフィルタ、サビツキーゴーレイ平滑化、メディアンフィルタおよび／またはバイラテラルフィルタリングなどの少なくとも１つのフィルタを適用することを含む少なくとも１つの平滑化ステップとのうちの１つまたは複数を含む少なくとも１つの前処理ステップを実行するように構成されることができる。例えば、処理ユニット１４０は、キャプチャ画像の関心領域を判定するように構成されることができる。例えば、入力画像とも呼ばれる画像は、処理ユニット１４０によって読み取られ、再成形されることができる。次に、入力画像は、平均減算およびスケーリングを実行する画像関数に渡されることができる。この画像関数は、入力画像における照明変動を低減することを可能にすることができ、正規化のためにスケーリングが使用されることができる。関心領域を判定するプロセスは、少なくとも１つのコンピュータビジョンプロセスを使用することによって実装されることができる。そのような技術は、当業者に一般に知られている。したがって、例として、キャビティ１１４などを検出するためにパターン認識技術が使用されることができる。追加的または代替的に、他の前処理ステップまたはプロセスが使用されてもよい。

訓練済モデルは、機械学習、深層学習、ニューラルネットワーク、または他の形態の人工知能のうちの１つまたは複数を使用して少なくとも１つの訓練データセットについて訓練された数学的モデルとすることができる。訓練済モデルは、畳み込みニューラルネットワーク（ＣＮＮ）モデルとすることができる。ＣＮＮモデルは、物体の分類、検出、および／または位置特定のために構成されたＣＮＮアーキテクチャに基づくことができる。最先端のＣＮＮアーキテクチャは、カスタムデータについての再利用および訓練が可能なビルディングブロックのように機能し、この場合、ＣＮＮベースのモデルが所与の入力画像に基づいてカスタム重みを得ることができるように、異なる状態を有するインターフェースキャビティ画像を転送する。具体的には、畳み込みニューラルネットワークモデルは、ＹＯＬＯＶ３タイニー深層学習アーキテクチャに基づいている。ＹＯＬＯＶ３タイニー深層学習アーキテクチャに関しては、ＪｏｓｅｐｈＲｅｄｍｏｎおよびＡｌｉＦａｒｈａｄｉ，「ＹＯＬＯｖ３：ＡｎＩｎｃｒｅｍｅｎｔａｌＩｍｐｒｏｖｅｍｅｎｔ」２０１８ａｒＸｉｖ：１８０４．０２７６７に記載されており、その内容は参照により本明細書に含まれる。

ＹＯＬＯＶ３タイニー深層学習アーキテクチャは、同様のまたはより良い予測精度で、領域ベース畳み込みニューラルネットワーク（Ｒ－ＣＮＮ）よりも１０００倍高速であり、高速Ｒ－ＣＮＮよりも１００倍高速とすることができる。分類のための迅速な推論時間は、ＣＮＮアーキテクチャを選択するための重要な考慮事項とすることができる。

訓練済モデルは、転移技術を使用して移送インターフェース１１６の画像データについて訓練されている。画像データは、異なる状態のキャビティ１１４を有する移送インターフェース１１６の複数の画像を含む。複数の画像は、様々なライティング条件および／または視点とキャビティ１１４との間の距離を有する異なる状態のキャビティ１１４を有する移送インターフェース１１６の画像を含むことができる。モデルの訓練の実施形態が図３に示されている。訓練は、参照符号１４２によって示される少なくとも１つの訓練データセットを生成することを含むことができる。訓練データセットは、ラベル付けされた試料データのセットとすることができる。訓練データセットは、移送インターフェース１１６の少なくとも一部の複数の画像のセットをキャプチャすることによって生成されることができ、複数の画像について、キャビティ１１４は、例えば、空のキャビティ１１４、キャビティ１１４内のホルダ１２４の有無、キャビティ１１４内の密閉試料管１１８、またはキャビティ１１４内の開放試料管１１８などの異なる状態にある。さらに、照明およびライティング条件は、複数の画像のセットに対して変化させることができる。さらに、カメラ１３６とキャビティ１１４との間の距離は、複数の画像のセットに対して変化させることができる。キャプチャされた複数の画像のセットは、参照符号１４４によって示されるように前処理されることができる。上述したように、前処理は、処理ユニット１４０、特に少なくとも１つのデータ前処理モジュール１４６によって実行されることができる。キャプチャされた画像は、例えば、少なくとも１つの表示装置１４８を使用することによって可視化されることができる。キャプチャされた複数の画像のセットは、手動で注釈付けされてもよく、境界ボックスなどの関心領域は、参照符号１５０によって示されるカテゴリのうちの１つによってラベル付けされてもよい。この処理は、全ての画像データが処理されるまで繰り返されてもよい。

キャビティ１１４の状態を判定することができるようにモデルを訓練するために、訓練データセットは、訓練セット１５２とテストセット１５４とに、例えば４：：１の比率に分割されることができる。

モデルの訓練は、転移学習技術を使用することを含むことができる。具体的には、モデル、特に図３において参照符号１５６によって示されるＹＯＬＯｖ３タイニーモデルは、例えば、Ｊ．Ｄｅｎｇ，Ｗ．Ｄｏｎｇ，Ｒ．Ｓｏｃｈｅｒ，Ｌ．Ｌｉ，ＫａｉＬｉおよびＬｉＦｅｉ－Ｆｅｉ，「ＩｍａｇｅＮｅｔ：Ａｌａｒｇｅ－ｓｃａｌｅｈｉｅｒａｒｃｈｉｃａｌｉｍａｇｅｄａｔａｂａｓｅ」，２００９ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ，Ｍｉａｍｉ，ＦＬ，２００９年，ｐｐ．２４８－２５５，ｄｏｉ：１０．１１０９／ＣＶＰＲ．２００９．５２０６８４８に記載されているようなイメージネットデータセットの画像などの画像データについて事前訓練された畳み込み重みを使用することができる。転移学習技術を使用する背後にある利点は、以下のように説明されることができる：車の運転の仕方を知っている人は、トラックの運転の仕方を迅速且つ効率的に学習することができる。同様に、人間、車、自転車などの一般的な物体を検出するように既に訓練されているモデルは、線、エッジ、点などの小さな特徴を識別する方法を既に知っているＣＮＮモデルの下位畳み込み層としてキャビティの状態を判定する方法を迅速に学習することができる。

標準的なＹＯＬＯＶ３タイニーモデル１５６の設定は、さらに調整されることができ、キャビティ状態１１４を分類することができ、訓練済モデルの追加の訓練、特に再訓練を可能にするようにハイパーパラメータが調整されることができる。モデルのパラメータ、特にＹＯＬＯＶ３タイニーモデル１５６の畳み込み重みは、訓練セット１５２について訓練され、テストセット１５４によってテストされることができる。訓練セット１５２について訓練され、テストセット１５４によってテストされたモデルは、本明細書では候補モデル１５８として示されることができる。候補モデル１５８は、平均損失が１よりも小さくなるまで訓練によって生成されることができる。

図３に示すように、訓練は、最終訓練済モデル１６０を生成することをさらに含むことができる。具体的には、方法は、少なくとも１つの、例えば履歴のカスタム準備されたデータセットなどの、見えない入力データ１６２に基づいて候補モデル１５８を再訓練することを含むことができる。これは、訓練済モデルのパラメータ、特に重みをさらに調整すること、および／またはカスタム条件を考慮することを可能にすることができる。更新された重みを有する最終訓練済モデル１６０は、ＣＮＮモデル、具体的にはＹＯＬＯＶ３タイニーモデルの平均損失関数値が１よりもはるかに小さくなるまで訓練することによって生成されることができる。

図３においてさらに視覚化されるように、訓練済モデルは、キャビティ１１４の状態を少なくとも１つのカテゴリにカテゴリ化するように構成される。カテゴリは、空のキャビティ、キャビティ内のホルダの存在、キャビティ内の密閉試料管、キャビティ内の開放試料管からなる群から選択されることができる。例示的に４つのカテゴリＣ１からＣ４が図３に示されている。訓練済モデルは、カルーセル１２６内に試料管１１８および／またはホルダ１２４を配置するため、および／または試料管１１８を識別するために構成されることができる。したがって、訓練済モデルは、移送インターフェース１１６自体、特にカルーセル１２６の全てのキャビティ１１４を特徴付けるように構成されることができる。

訓練済モデルは、異なる画像領域を異なるカテゴリに分類するように構成されることができる。例えば、画像が２つ以上のキャビティ１１４を含む場合、訓練済モデルは、画像の各キャビティ１１４の状態を判定するように構成される。したがって、訓練済モデルは、一度に複数のキャビティ１１４を特徴付けるように構成されることができる。

新たなタイプの試料管１１８が移送インターフェース１１６において使用され、キャビティ状態が判定される必要がある場合、訓練済モデルは再訓練されることができる。新たな試料管画像による１回の再訓練のみが必要とされることができる。

検査装置は、少なくとも１つのキャビティ１１４の判定されたカテゴリを提供するように構成された少なくとも１つの通信インターフェース１６４をさらに含む。図１の実施形態では、通信インターフェース１６４は、処理ユニット１４０の一部である。通信インターフェース１６４は、例えば別の装置に情報を送信または出力するなどのために、例えばコンピュータなどの計算装置から情報を転送するように構成されることができる。追加的または代替的に、通信インターフェース１６４は、情報を受信するなどのために、計算装置、例えばコンピュータに情報を転送するように構成されてもよい。通信インターフェース１６４は、具体的には、情報を転送または交換するための手段を提供することができる。特に、通信インターフェース１６４は、例えば、ブルートゥース、ＮＦＣ、誘導結合などのデータ転送接続を提供することができる。例として、通信インターフェース１６４は、ネットワークまたはインターネットポート、ＵＳＢポート、およびディスクドライブのうちの１つまたは複数を含む少なくとも１つのポートとすることができるか、またはそれらを含むことができる。通信インターフェース１６４は、少なくとも１つの表示装置をさらに含むことができる。

処理ユニット１４０は、判定されたおよび／または提供されたカテゴリに基づいて、移送インターフェース１１６がクリアランスのために何回回転しなければならないか、および／または接続装置による動作を特に直ちに開始することが可能かどうかを判定するように構成されることができる。カメラ１３６は、カルーセル１２６の少なくとも１つの画像をキャプチャすることができる。処理ユニット１４０は、キャビティ１１４のそれぞれの状態をカテゴリ化することができる。例えば、カルーセル１２６は、５つのキャビティを含むことができる。処理ユニット１４０は、キャビティのうちの２つが試料管を含み、他の３つが空であると判定することができる。さらに、カルーセル１２６内のそれぞれのキャビティ１１４の位置または相対位置に関する情報は、訓練済モデルによって提供されることができる。したがって、キャビティ１１４の状態およびそれらの位置から、移送インターフェース１１６がクリアランスのために何回回転する必要があり得るか、および／またはいかなるクリアランスも必要とせずに管から接続装置１２２に対する移送を直ちに開始することが可能であるかどうかを判定することが可能である。

図２は、本発明にかかる方法のフローチャートを示している。方法は、具体的には所与の順序で実行されることができる以下のステップを含む。しかしながら、異なる順序も可能であることに留意するものとする。さらに、１つまたは複数の方法ステップを１回または繰り返し実行することも可能である。さらに、２つ以上の方法ステップを同時にまたは適時に重複して実行することが可能である。方法は、記載されていないさらなる方法ステップを含むことができる。方法は、
ｉ）（参照符号１６６によって示される）カメラ１３６を使用することによって移送インターフェース１１６の少なくとも一部の少なくとも１つの画像をキャプチャすることと、
ｉｉ）（参照符号１６８によって示される）処理ユニット１４０を使用することによって画像に対して訓練済モデルを適用することによって、キャビティ１１４の状態を少なくとも１つのカテゴリにカテゴリ化することであって、訓練済モデルが、移送インターフェース１１６の画像データについて訓練されており、画像データが、異なる状態のキャビティを有する移送インターフェース１１６の複数の画像を含む、カテゴリ化することと、
ｉｉｉ）（参照符号１７０によって示される）少なくとも１つの通信インターフェース１６４を介して少なくとも１つのキャビティ１１４の判定されたカテゴリを提供することと、を含む。

図４ＡからＢは、本発明にかかる方法を使用した実験結果を示している。図４Ａから図４Ｂでは、識別されてカテゴリ化されたキャビティ１１４を有する画像が示されている。キャビティのカテゴリ化は、カメラからの画角が少量変化した場合であっても信頼できることに留意することが重要である。図４Ａから図４Ｂでは、信頼性レベルが５０パーセントを超える場合にのみ分類を有する正しい境界ボックスを得るために、０．４の非最大抑制閾値によって予測信頼性閾値が０．５に設定された。これらの値は構成可能であり、必要に応じて更新されることができる。

具体的には、図４Ａでは、１１個のキャビティ１１４が識別された。８つのキャビティ１１４は、参照符号１７２によって示される空のキャビティとしてカテゴリ化された。１つのキャビティ１１４は、参照符号１７４によって示されるキャビティ１１４内のホルダ１２４としてカテゴリ化された。１つのキャビティ１１４は、参照符号１７６によって示されるキャビティ１１４内の開放試料管１１８としてカテゴリ化された。１つのキャビティ１１４は、参照符号１７８によって示されるキャビティ１１４内の密閉試料管１１８としてカテゴリ化された。

図４Ｂでは、１２個のキャビティ１１４が識別された。９つのキャビティ１１４は、参照符号１７２によって示される空のキャビティとしてカテゴリ化された。１つのキャビティ１１４は、参照符号１７４によって示されるキャビティ１１４内のホルダ１２４としてカテゴリ化された。１つのキャビティ１１４は、参照符号１７６によって示されるキャビティ１１４内の開放試料管１１８としてカテゴリ化された。１つのキャビティ１１４は、参照符号１７８によって示されるキャビティ１１４内の密閉試料管１１８としてカテゴリ化された。

１１０検査室自動化システム
１１２検査装置
１１４キャビティ
１１６移送インターフェース
１１８試料管
１２０移送モジュール
１２２接続装置
１２４ホルダ
１２６カルーセル
１２８ロータ
１３０入力位置
１３２出力位置
１３４ハンドオーバ位置
１３５センタリング
１３６カメラ
１３８識別ユニット
１４０処理ユニット
１４２少なくとも１つの訓練データセットの生成
１４４前処理
１４６データ前処理モジュール
１４８表示装置
１５０手動で注釈付け
１５２訓練セット
１５４テストセット
１５６ＹＯＬＯｖ３タイニーモデル
１５８候補モデル
１６０最終訓練済モデル
１６２見えない入力データ
１６４通信インターフェース
１６６キャプチャ
１６８カテゴリ化
１７０提供
１７２空のキャビティ
１７４キャビティ内のホルダ
１７６開放試料管
１７８密閉試料管

Claims

試料管（１１８）を移送するように構成された移送インターフェース（１１６）の少なくとも１つのキャビティ（１１４）の少なくとも１つの状態を判定する方法であって、
ｉ）少なくとも１つのカメラ（１３６）を使用することによって前記移送インターフェース（１１６）の少なくとも一部の少なくとも１つの画像をキャプチャすること（１６６）と、
ｉｉ）少なくとも１つの処理ユニット（１４０）を使用することによって前記画像に対して少なくとも１つの訓練済モデルを適用することによって、前記キャビティ（１１４）の状態を少なくとも１つのカテゴリにカテゴリ化すること（１６８）であって、前記訓練済モデルが、前記移送インターフェース（１１６）の画像データについて訓練されており、前記画像データが、異なる状態のキャビティ（１１４）を有する前記移送インターフェース（１１６）の複数の画像を含む、カテゴリ化すること（１６８）と、
ｉｉｉ）少なくとも１つの通信インターフェース（１６４）を介して少なくとも１つのキャビティの判定された前記カテゴリを提供すること（１７０）と、を含み、
前記少なくとも１つのキャビティ（１１４）の少なくとも１つの状態は、前記キャビティ（１１４）が空である状態、前記キャビティ（１１４）に前記試料管（１１８）を保持するためのホルダ（１２４）が存在し、前記試料管（１１８）が存在していない状態、前記キャビティ（１１４）に前記ホルダ（１２４）および密閉された試料管（１１８）が存在している状態、前記キャビティ（１１４）に前記ホルダ（１２４）および開放された試料管（１１８）が存在している状態のうちの少なくとも１つを含み、
前記移送インターフェース（１１６）は、移送モジュール（１２０）と接続デバイス（１２２）との間で前記試料管（１１８）を移送する、または前記試料管（１１８）の移送を提供するように構成された物理的境界を形成する装置である、方法。
前記訓練済モデルが畳み込みニューラルネットワークモデルである、請求項１に記載の方法。
前記畳み込みニューラルネットワークモデルが、ＹＯＬＯｖ３タイニー深層学習アーキテクチャに基づいている、請求項２に記載の方法。
前記訓練済モデルが、異なる画像領域を異なるカテゴリに分類するように構成される、請求項１～３のいずれか一項に記載の方法。
ステップｉ）の前記画像が、前記カメラ（１３６）を使用することによってキャプチャされた少なくとも１つのビデオストリームのフレームである、請求項１～４のいずれか一項に記載の方法。
前記方法が、前記画像をスケーリングすることと、前記画像を整形することと、背景減算と、ガウシアンフィルタ、サビツキーゴーレイ平滑化、メディアンフィルタおよび／またはバイラテラルフィルタリングなどの少なくとも１つのフィルタを適用することを含む少なくとも１つの平滑化ステップと、のうちの１つまたは複数を含む前処理ステップを含む、請求項１～５のいずれか一項に記載の方法。
前記カテゴリが、空のキャビティ（１１４）、前記キャビティ（１１４）内のホルダ（１２４）の存在、前記キャビティ（１１４）内の密閉試料管（１１８）、前記キャビティ（１１４）内の開放試料管（１１８）からなる群から選択される、請求項１～６のいずれか一項に記載の方法。
前記方法が、少なくとも１つの訓練ステップを含み、前記訓練ステップが、少なくとも１つの訓練データセットを生成することを含み、前記訓練データセットが、前記移送インターフェース（１１６）の少なくとも一部の複数の画像のセットをキャプチャすることによって生成され、前記複数の画像について、前記キャビティ（１１４）が異なる状態にある、請求項１～７のいずれか一項に記載の方法。
前記訓練ステップが、転移学習技術を使用することを含む、請求項８に記載の方法。
前記訓練ステップが、少なくとも１つのカスタム準備されたデータセットに基づいて前記訓練済モデルを再訓練することを含む、請求項８または９に記載の方法。
前記方法が、判定されたおよび／または提供された前記カテゴリに基づいて、前記移送インターフェース（１１６）がクリアランスのために何回回転しなければならないか、および／または接続装置（１２２）によって動作を開始することが可能かどうかを判定することを含む、請求項１～１０のいずれか一項に記載の方法。
試料管（１１８）を移送するように構成された移送インターフェース（１１６）の少なくとも１つのキャビティ（１１４）の少なくとも１つの状態を判定するコンピュータプログラムであって、前記コンピュータプログラムが、前記コンピュータプログラムが少なくとも１つのプロセッサによって実行されると、前記プロセッサに、請求項１～１１のいずれか一項に記載の方法を実行させる命令を含む、コンピュータプログラム。
少なくとも１つのプロセッサによって実行されると、前記プロセッサに、方法に関する請求項１～１１のいずれか一項に記載の方法を実行させる命令を含む、コンピュータ可読記憶媒体。
試料管（１１８）を移送するように構成された移送インターフェース（１１６）の少なくとも１つのキャビティ（１１４）の少なくとも１つの状態を判定する検査装置（１１２）であって、
前記移送インターフェース（１１６）の少なくとも一部の少なくとも１つの画像をキャプチャするように構成された少なくとも１つのカメラ（１３６）と、
前記画像に対して少なくとも１つの訓練済モデルを適用することによって、前記キャビティ（１１４）の状態を少なくとも１つのカテゴリにカテゴリ化するように構成された少なくとも１つの処理ユニット（１４０）であって、前記訓練済モデルが、前記移送インターフェース（１１６）の画像データについて訓練されており、前記画像データが、異なる状態のキャビティ（１１４）を有する前記移送インターフェース（１１６）の複数の画像を含む、少なくとも１つの処理ユニットと、
少なくとも１つのキャビティ（１１４）の判定された前記カテゴリを提供するように構成された少なくとも１つの通信インターフェース（１６４）と、を含み、
前記少なくとも１つのキャビティ（１１４）の少なくとも１つの状態は、前記キャビティ（１１４）が空である状態、前記キャビティ（１１４）に前記試料管（１１８）を保持するためのホルダ（１２４）が存在し、前記試料管（１１８）が存在していない状態、前記キャビティ（１１４）に前記ホルダ（１２４）および密閉された試料管（１１８）が存在している状態、前記キャビティ（１１４）に前記ホルダ（１２４）および開放された試料管（１１８）が存在している状態のうちの少なくとも１つを含み、
前記移送インターフェース（１１６）は、移送モジュール（１２０）と接続デバイス（１２２）との間で前記試料管（１１８）を移送する、または前記試料管（１１８）の移送を提供するように構成された物理的境界を形成する装置である、検査装置（１１２）。
前記検査装置（１１２）が、方法に関する請求項１～１１のいずれか一項に記載の方法を実行するように構成されている、請求項１４に記載の検査装置（１１２）。