JP7405915B2 - 製品を分析する方法及び装置、訓練方法、システム、コンピュータプログラム、並びにコンピュータ読み取り可能記憶媒体 - Google Patents

Description

本発明は、医薬品を分析する方法及び装置に関する。本発明はさらに、医薬品を分析するための装置を訓練する方法に関する。本発明はさらに、上記の装置及び検査装置を含むシステムに関する。本発明はさらに、対応するコンピュータプログラム及び対応するコンピュータ読み取り可能記憶媒体に関する。

液剤、錠剤、若しくはアンプル等の医薬品、又は、液体ワクチン若しくは医薬において一般的に使用される他の薬剤若しくは物質等、液体を有するか又は液体用の他のバイアルは、生産時に高い品質が要求される。とりわけ、そのような医薬品が生産後にいかなる機械的欠陥も有していないこと、又は、汚染されていないこと、若しくはそのような製品を無効にするか又は健康リスクをもたらし得る任意の他の目に見える障害を有していないことを確実にすることが非常に重要である。これは、薬物自体及びそのパッケージの両方に適用される。同じように、これは、他の製品にも適用され得る。

これらの品質要件を保証するために、労働者が生産現場で雇用されて、薬剤、医薬品、アンプル、及びバイアル、又は他のパッケージ若しくは製品を検査している。これは、高い集中力を必要とするが、ヒューマンエラーを受けやすい。

従って、本発明の目的は、そのような医薬品又は他の製品の生産において品質管理を改善することである。

上記の目的は、独立請求項に記載の方法及び装置で達成される。さらなる実施形態が、従属請求項だけでなく、図及び付随の説明においても開示される。

本発明の第１の態様によると、製品を分析する方法が、以下の：
－ 製品の画像を受信するステップ；
－ インペインティングオートエンコーダを使用して、受信した画像に対して異常検知を行うステップであり、インペインティングオートエンコーダは、第１の訓練画像のセットに基づき訓練された少なくとも１つの第１のニューラルネットワークを含み、第１の訓練画像のセットは複数の訓練画像を含み、複数の訓練画像の各々が、対応する欠陥のない製品を示している、ステップ；
－ 二項分類器を使用して、異常検知の結果に基づき、欠陥が存在しているかどうかを決定するステップ；
－ 欠陥検出器を使用して、受信した画像に対して欠陥検出を行うステップであり、欠陥検出器は、少なくとも１つの第３の訓練画像のセットに基づき訓練された少なくとも１つの第３のニューラルネットワークを含み、少なくとも１つの第３の訓練画像のセットは複数の訓練画像を含み、複数の訓練画像の各々が、対応する欠陥のある製品を示している、ステップ；
－ 異常検知、欠陥検出、及び二項分類器の結果の重み付けに基づき、受信した画像の分析結果を評価するステップ；
を含む。

有利に、この方法は、安全で信頼できる製品の自動検査を可能にする。これは、そのような製品の生産における過酷な検査作業に代わる又はそれを支援することができる。加えて、異常検知が、これまで分からなかった異常として欠陥も特定するため、非常に高いレベルの品質保証が達成される。

ここでの製品の画像は、例えば、薬剤（液体若しくは固体）の画像、又は、アンプル、バイアル、若しくはブリスターパッケージ等のパッケージに入ったそのような薬剤の画像等、例えば医薬品の画像であり得る。代替的に、画像は、任意の他の製品の画像であってもよい。特に、画像は、製品自体、製品のパッケージ、又はその両方の組み合わせを示してもよい。以下において、本発明は、主に医薬品に関して記載されるが、任意の他のタイプの製品にも同じことが適用され得るということを容易に導き出すことができる。

異常検知は、欠陥のない製品からの、受信した画像において示されている医薬品の任意の目に見える逸脱があるかどうかを決定することを含む。そのような異常は、例えば、パッケージ上若しくはパッケージ内の医薬品上の欠陥、又は、反射若しくは影等の光学的逸脱等であってもよい。異常検知は、そのような不一致が、画像化された医薬品と異常のない医薬品との間に存在するということを決定する。

この場合、インペインティングオートエンコーダは、インペインティングの画像処理方法を使用し、これによって、少なくとも１つの第１のニューラルネットワークを使用して、画像部分を再構成することができる。少なくとも１つの第１のニューラルネットワークは、複数の訓練画像を含む第１の訓練データのセットを使用して訓練され、複数の訓練画像の各々が、欠陥のない医薬品を示し、すなわち、複数の訓練画像の各々が、異常が認識可能ではない医薬品を示しているため、インペインティングオートエンコーダは、医薬品を、異常のない状態に見えるべきであるように、受信した画像において描かれているように再構成することができる。

ここでの利点は、受信した画像において医薬品がどの位置又は向きで描かれているかは無関係であるということである。インペインティングオートエンコーダは、医薬品の位置又は向きにかかわらず、同じ位置又は向きで、受信した画像の異常のない等価物を再構成する。このようにして、受信した画像と比較することができる異常のない等価物が生成される。

二項分類器を使用することの利点は、受信した画像内の医薬品と、インペインティングオートエンコーダで再構成された受信した画像に対する異常のない等価物との不一致が異常検知の間に検出された場合に、検出された異常は、欠陥と見なされることになるかどうかを決定することができるということである。これに関連して、医薬品の品質に悪影響を与え得る異常、例えば、パッケージの損傷若しくは不完全な密封、薬剤の汚染、低すぎるか又は高すぎる充填レベル等を、欠陥とみなすことができる。例えば、欠陥ではない異常は、受信した画像内の反射又は影等、医薬品の品質に悪影響を与えない異常であり得る。

二項分類器は、例えば、以下に記載されるように第２のニューラルネットワークに基づいてもよく、又は、インペインティングオートエンコーダを使用して作成された差分画像を解釈する他の方法に基づいてもよい。例えば、ルールベースの方法を二項分類器に使用して、異常が欠陥として認識されることになるかどうかを決定することもできる。

このようにして、異常検知及び続く二項分類器を使用して、異常が存在するかどうか、及び、それを欠陥と見なすことになるかどうかを決定することが可能である。さらなる利点は、いかなる欠陥も示さない訓練画像を用いて、少なくとも１つの第１のニューラルネットワークを訓練することができるが、単なる欠陥のない画像、又は欠陥と見なされることのない異常を有する画像を用いて訓練することができるということである。医薬品の生産はすでに非常に高い品質基準に基づいているため、欠陥のある訓練画像は、医薬品の生産では非常にまれである。しかし、欠陥のない訓練画像を大量に集めることができる。従って、ここでは、欠陥のない訓練画像に基づき少なくとも１つの第１のニューラルネットワークを訓練することが有利である。例えば、少なくとも１つの第１のニューラルネットワークは、排他的に、欠陥のない訓練画像に基づき訓練される。

例えば、欠陥検出器は、医薬品の受信した画像上の欠陥のタイプ及び／又は欠陥の位置及び／又は欠陥確率を認識するように構成される。この目的のために、少なくとも１つの第３のニューラルネットワークが、対応する欠陥のある医薬品を示す訓練画像に基づき訓練される。従って、欠陥検出器は訓練データから既知の欠陥を認識することが可能である。この目的のために、ｙｏｕ－ｏｎｌｙ－ｌｏｏｋ－ｏｎｃｅモデル（ＹＯＬＯモデル）等の物体認識方法が使用される。

例えば、異常検知、二項分類器、及び欠陥検出の結果の割合重み（ｐｅｒｃｅｎｔａｇｅ ｗｅｉｇｈｔｓ）を使用して、受信した画像の分析結果が評価される。言い換えると、分析ステップの各々に重み付けが与えられ、それによって、実際の欠陥であるという特定の確率が、分析の最終結果に組み込まれる。これらの分析ステップの組み合わせ及び重み付けで、様々なニューラルネットワークの訓練目的のために、欠陥を示さない訓練データと比較して、非常に少ない数の、実際に欠陥があり且つ選別が必要な医薬品を示す訓練データのみが利用可能であったとしても、医薬品の機械品質管理において信頼でき且つ正確な結果を達成することが可能である。

少なくとも１つの実施形態によると、異常検知を行うために、受信した画像は、少なくとも２つのサブ画像に分割される。異常検知が、個々のサブ画像に対して行われ、二項分類器が、個々のサブ画像の異常検知の結果に対して適用される。

有利に、異常検知及び二項分類器の適用に対する処理時間を、可能な並列化によって短縮することができる。これは、例えば高い分析率が達成されることになる場合等、リアルタイムでの適用に対するより安価で実用的な分析を可能にする。例えば、毎分１００以上の医薬品を分析することができ、これは、現代の生産ラインにおいて有利である。

少なくとも１つの実施形態によると、二項分類器によって、異常検知の結果に基づき、欠陥が存在しているかどうかを決定する場合、インペインティングオートエンコーダによって再構成された受信した画像のバージョンの再構成誤差に基づき、受信した画像に表されている医薬品が、欠陥のある又は欠陥のないものとして評価されることになるかどうかを、二項分類器が評価する。

これは、二項分類器の容易な作成を可能にするだけでなく、二項分類器に対する処理時間及び必要とされる計算能力を低く抑えることができるということも可能にする。さらに、二項分類器は、有利に、受信した画像内の欠陥を決定するためのインペインティングオートエンコーダを使用した評価を支持する。

少なくとも１つの実施形態によると、二項分類器は、第２の訓練画像のセットに基づき訓練された少なくとも１つの第２のニューラルネットワークを含む。第２の訓練画像のセットは、インペインティングオートエンコーダの結果を含む。

この実施形態において、二項分類器は、少なくとも１つの第２のニューラルネットワークを含み、少なくとも１つの第２のニューラルネットワークは、少なくとも１つの第１のニューラルネットワークと比較して、より小さいニューラルネットワークである。少なくとも１つの第２のニューラルネットワークは、少なくとも１つの第１のニューラルネットワークよりも実質的に小さい訓練データのセットに基づき訓練される。

二項分類器の少なくとも１つの第２のニューラルネットワークは、この目的のために、インペインティングオートエンコーダの結果を含む訓練画像に基づき訓練される。言い換えると、少なくとも１つの第２のニューラルネットワークは、再構成誤差を示す、すなわち、元の画像と再構成された対応物との不一致を示す訓練画像に基づき訓練される。追加的又は代替的に、少なくとも１つの第２のニューラルネットワークを訓練するために、ラベルされた欠陥のある医薬品及び欠陥のない医薬品を示す訓練画像から得られたインペインティングオートエンコーダの結果のみを使用してもよい。

少なくとも１つの実施形態によると、二項分類器を適用するときに、少なくとも１つの第２のニューラルネットワークのアテンションマップがさらに生成される。

ここでの利点は、アテンションマップによって、すなわち、受信した画像のどのポイントで、少なくとも１つの第２のニューラルネットワークの活動が高いかを考慮することによって、検出された異常の局在化が可能であるということである。従って、検出された異常の局在性に応じて、欠陥であるかどうかの決定に影響を与えることもさらに可能である。例えば、バイアル内の瓶の首の領域等、反射がより頻繁に発生する医薬品の領域における異常を、反射がめったに発生しない領域において発生する異常とは異なって評価することができる。

本発明の第２の態様によると、製品を分析するための装置を訓練する方法が：
－ 第１の訓練画像のセットを作成するステップであり、第１の訓練画像のセットは複数の訓練画像を含み、複数の訓練画像の各々が、欠陥のない製品を示している、ステップ；
－ 第１の訓練画像のセットに基づき、インペインティングオートエンコーダの少なくとも１つの第１のニューラルネットワークを訓練するステップ；
－ インペインティングオートエンコーダを使用した異常検知の結果に基づき、欠陥が存在しているかどうかを特定するように構成された二項分類器を作成するステップ；
－ 少なくとも１つの第３の訓練画像のセットを作成するステップであり、少なくとも１つの第３の訓練画像のセットは複数の訓練画像を含み、複数の訓練画像の各々が、欠陥のある製品を示しており、さらに、少なくとも１つの欠陥が、第３の訓練画像のセットの各訓練画像においてマークされる、ステップ；
－ 少なくとも１つの第３の訓練画像のセットに基づき、欠陥検出器の少なくとも１つの第３のニューラルネットワークを訓練するステップ；
－ 重み付けを決定するステップであり、重み付けに従って、インペインティングオートエンコーダを使用した異常検知、欠陥検出器を使用した欠陥検出、及び二項分類器の適用の結果が評価されることになる、ステップ；
を含む。

製品は、医薬品であってもよい。

有利に、この訓練方法では、上記のように欠陥のない医薬品を示す画像に基づく訓練データを使用して、少なくとも１つの第１のニューラルネットワークを訓練することができる。これは、生産時に高い品質基準がすでに維持されているために、欠陥のある製品が比較的ごく少数しか存在しない場合に特に有利である。少なくとも１つの第３の訓練画像のセットに対してのみ、欠陥のある医薬品を示す訓練画像がここで使用される。しかし、この訓練データは少数でしか入手可能ではないため、そのような訓練されたシステムで分析する場合、少なくとも１つの第３のニューラルネットワークは、医薬品が欠陥のあるものであるかどうかを決定する際に、少なくとも１つの第１のニューラルネットワーク及び二項分類器によって支援される。このようにして、この様式で訓練された装置は、高い精度と信頼性で欠陥のある医薬品を検出することができる。

少なくとも１つの実施形態によると、二項分類器を作成するステップは：
－ インペインティングオートエンコーダの結果を含む第２の訓練画像のセットを作成すること；
－ 第２の訓練画像のセットに基づき、二項分類器の少なくとも１つの第２のニューラルネットワークを訓練すること；
を含む。

第２の訓練画像のセットは、欠陥のない及び／又は欠陥のあるラベルされた医薬品の画像に基づき生成されたインペインティングオートエンコーダの結果を含む。少なくとも１つの第２のニューラルネットワークは、少なくとも１つの第１のニューラルネットワークよりも実質的に小さいため、少なくとも１つの第２のニューラルネットワークを訓練するには、より少ない数の訓練画像で十分であり、そこには、欠陥のない及び欠陥のあるラベルされた医薬品の両方の画像が存在し得る。

少なくとも１つの実施形態によると、訓練する方法は：
－ さらなる第３の訓練画像のセットを作成するステップをさらに含み、さらなる第３の訓練画像のセットは、欠陥のある医薬品を各々が示す複数の訓練画像と、欠陥のない医薬品を各々が示す複数の訓練画像の両方を含み、少なくとも１つの第３のニューラルネットワークの訓練は、さらなる第３の訓練画像のセットに基づき追加で行われる。

ここでの利点は、このようにして、欠陥検出器による欠陥検出が、より信頼でき且つより正確になるということである。

少なくとも１つの実施形態によると、訓練する方法は：
－ さらに別の第３の訓練画像のセットを作成するステップをさらに含み、さらに別の第３の訓練画像のセットは複数の訓練画像を含み、複数の訓練画像の各々が、以前に訓練された少なくとも１つの第３のニューラルネットワークによって欠陥があると検出された欠陥のない医薬品を示し、少なくとも１つの第３のニューラルネットワークの訓練は、さらに別の第３の訓練画像のセットに基づき追加で行われる。

ここでの利点は、このようにして、欠陥検出器による欠陥検出が、さらにより信頼でき且つ正確になるということである。

少なくとも１つの実施形態によると、第１の訓練画像のセットに基づき、インペインティングオートエンコーダの少なくとも１つの第１のニューラルネットワークを訓練するステップは：
－ 第１の訓練画像のセットの訓練画像をパッチごとに再構成すること；
－ 複数の再構成されたパッチに対して、元の訓練画像の対応する部分からエッジ領域を加えること；及び
－ 加えられたエッジ領域を考慮に入れて、再構成されたパッチの訓練画像を使用して、インペインティングオートエンコーダの少なくとも１つの第１のニューラルネットワークを訓練すること；
をさらに含む。

これは、このようにして、それぞれのパッチのエッジにおいてパッチごとの再構成において再構成によって引き起こされる可能性があり、且つ異常検知結果のさらなる処理において有害となる可能性があるアーチファクトを減らす又は回避することができるため、有利である。特に、そのようなアーチファクトは、そのようなパッチのエッジで発生する可能性があり、これによって、再構成された画像において不要な市松模様が生じる可能性がある。

再構成されたパッチにエッジ領域を加えることによって、少なくとも１つの第１のニューラルネットワークは、訓練されるときに、元の画像に可能な限り類似するようにエッジ領域においてパッチを再構成するように訓練され、それによって、不要な市松模様を減らすか又は回避している。エッジ領域、例えば数ピクセルの幅における各パッチの周囲のフレームが、元の画像から取得され、それに応じて各再構成されたパッチに加えられる。言い換えると、少なくとも１つのニューラルネットワークは、訓練中にそれぞれのパッチのエッジ領域において固定される。

加えられたエッジ領域を考慮に入れて、このようにして少なくとも１つの第１のニューラルネットワークを訓練することによって、その後の再構成の間に、受信した画像の分析中に、インペインティングオートエンコーダはパッチのエッジ領域を可能な限り元のものに近づけるように再構成するため、そのような市松模様が回避されるか又は少なくとも減らされるということを確実にすることができる。パッチごとに再構成すること及びエッジ領域を加えることは、第１の訓練画像のセットのうち複数又は全ての訓練画像に対して行うことができる。元の画像のエッジ領域が加えられる複数の再構成されたパッチは、パッチごとの再構成における複数又は全ての再構成されたパッチであってもよい。代替的又は追加的に、パッチ間の均一な遷移を作成するために、重複するパッチが再構成において使用されてもよい。

第１及び第２の態様による方法は、コンピュータ実装方法である。

本発明の第３の態様によると、製品を分析するための装置は、第１及び／又は第２の態様による方法を行うように適応する。製品は、医薬品又は任意の他の製品であってもよい。

少なくとも１つの有利な実施形態によると、当該装置は、医薬品の画像をキャプチャするための撮像装置をさらに含む。

少なくとも１つの実施形態によると、当該装置は、欠陥のあるものとして検出された医薬品を選別させるように適応した制御装置をさらに含む。

ここでの利点は、欠陥の検出を機械によって行うことができるだけでなく、欠陥のあるものとして検出された製品の選別も機械によってトリガすることができるということである。

少なくとも１つの実施形態によると、当該装置は、半自動検査装置に後付け（ｒｅｔｒｏｆｉｔｔｅｄ）されるように適応する。

そのような半自動検査装置は、例えば、人が検査装置において座って、通過する医薬品に欠陥がないか検査するように設計されている。欠陥のある製品が人によって検出された場合は、その人は、例えばフットスイッチ又はジェスチャ認識を介して、欠陥のある製品の選別をトリガすることができる。

医薬品を分析するための装置の後付け可能という解決策の利点は、追加的又は代替的に、そのような半自動検査装置に機械的な欠陥検出を装備し、そのような半自動検査装置を機械的な欠陥検出で動作させることができるということである。これによって、医薬品を分析するための、費用対効果が高く且つ柔軟な解決策が提供される。

本発明の第４の態様によると、製品を分析するためのシステムは、第３の態様による装置及び検査装置を含む。製品は、医薬品又は任意の他の製品であってもよい。

本発明の第５の態様によると、コンピュータプログラムが命令を含み、命令は、コンピュータプログラムがコンピュータによって実行されると、第１及び／又は第２の態様による方法をコンピュータプログラムに実行させる。

本発明の第６の態様によると、コンピュータ読み取り可能記憶媒体が、第５の態様によるコンピュータプログラムを含む。

上述の本発明の態様の少なくとも１つに関して言及された実施形態並びに利点は、当然ながら、他の態様に関しても同じように使用する又は発生することができる。本願において医薬品に関して記載されている全ての実施形態は、いかなる他のタイプの製品の分析にも等しく適用され得る。

本発明のさらなる有利な実施形態が、添付の特許請求の範囲に開示されるとともに、以下の図において記載される。

本発明の一実施形態による医薬品を分析する方法の流れ図である。 医薬品を分析するための装置を訓練する方法の流れ図である。 検査装置と、医薬品を分析するための装置とを含むシステムを示した図である。 本発明の一実施形態による医薬品の分析の様々な段階を示した図である。

図１は、本発明の一実施形態による医薬品を分析する方法の流れ図を示している。以下においては、液体薬剤のバイアルの分析に関する実施形態が記載される。しかし、代替的に、本明細書において記載される実施形態の例は、当然ながら、いかなる他の医薬品にも使用することができる。本願において、医薬品は、薬剤自体、並びに薬剤のためのパッケージの両方だけでなく、対応するパッケージにおける薬剤の組み合わせも意味する。さらに、代替的に、画像は、生産プロセスにおいて生産された製品のいかなる他の画像であってもよい。特に、画像は、製品自体、製品のパッケージ、又はその両方の組み合わせを示すことができる。以下における医薬品の分析に関して記載される同じ特徴が、いかなる他のタイプの製品に適用されてもよいということを容易に導き出すことができる。

ステップ１０１では、液体薬剤で満たされたバイアルの画像がキャプチャされる。本実施形態において、これは、バイアルのＲＧＢ写真である。代替的又は追加的に、赤外線画像、Ｘ線画像、白黒画像等、他の画像又はさらなる画像も、当然ながらキャプチャすることができる。

ステップ１０２において、キャプチャされた画像は、医薬品を分析するための装置によって受信される。

ステップ１０３では、分析されることになる物体が、受信した画像内で検出される。例えば、受信した画像が、カメラの前を複数の分析されることになる医薬品が通過する組み立てライン等の生産環境におけるそのような医薬品を示している場合、このステップは、画像のどこに、分析されることになる医薬品が正確に位置しているかを検出する。

代替的又は追加的に、特に医薬品の特定の領域が分析されることになる場合には、この領域を検出することも可能である。例えば、バイアルの密封のみが調べられることになる場合、受信した画像のどこに対応する領域が位置しているかを決定することが可能である。

しかし、代替的に、分析されることになるバイアル又は分析されることになる領域を画像が排他的に示すように、ステップ１０１における画像は既に取得されていることがあるため、このステップにおける物体検出を省略することができる。

例えば、画像処理において一般的に使用されている物体検出方法が、本明細書において記載される物体検出に使用されてもよい。

ステップ１０４において、受信した画像は前処理される。例えば、特にステップ１０３で特定の領域のみが関連していると認識された場合に、画像に対してクロップが行われる。例えば、画像にガンマ補正又は他の画像処理対策を行うことも可能である。しかし、代替的に、画像が前処理されることなく、適した画像セクション及び適した画質の両方を有する画像がステップ１０２において既に受信されていることもある。

ステップ１０５では、インペインティングオートエンコーダを用いた異常検知が、受信した且つ任意的に前処理された画像に対して行われる。インペインティングオートエンコーダは、パッチごとに画像を再構成するように構成される。この目的のために、インペインティングオートエンコーダは少なくとも１つの第１のニューラルネットワークを含み、少なくとも１つの第１のニューラルネットワークは、対応するエラーのないバイアルを各々が示す訓練データに基づき訓練される。これは、図２を参照して以下においてより詳細に記載される。従って、インペインティングオートエンコーダは、パッチに対応するバイアルのエラーのない且つ異常のない部分を示すように、画像のパッチごとの部分を再構成するように訓練される。

この目的のために、一度に１つのパッチが、受信した画像において連続的に黒化され、次に、インペインティングオートエンコーダを使用して再構成される。個々のパッチの再構成は互いに依存しないため、個々のパッチの再構成を並行して行うことも可能である。再構成されたパッチは、次に、再構成された全体画像を形成するために再び組み立てることができる。従って、例えば合計４８のパッチが順次に又は並行して再構成される。例えば、パッチごとに再構成されることになる受信した画像は、高さ及び幅の両方において２５６ピクセル以下である。

受信した画像の再構成を複数回行って、より良い再構成された画像を得ることもできる。

インペインティングオートエンコーダを使用した再構成の後で、再構成された画像は、受信した、任意的に前処理された画像と比較される。ここで、いわゆる再構成誤差が決定される。受信した、任意的に前処理された画像が異常のないバイアルを既に示している場合、すなわち、傷、不正確な充填レベル、又は類似のもの等の欠陥も、反射又は影等の光学的アーチファクトもない場合、受信した、任意的に前処理された画像及び再構成された画像は本質的に同じである。この場合、画像間の比較は、いかなる重大な異常も明らかにすることはない。しかし、そのような異常が、受信した、任意的に前処理された画像において存在する場合、再構成された画像ではそれらは除去され、画像の比較によって、異常検知の間に異常として検出される違いが示される。

異常検知の結果には、異常値（又は異常スコア）が含まれる。異常スコアが高いほど、実際の異常がボトルに存在する可能性は高くなる。

加えて、受信した画像の部分画像に対して、別々にステップ１０５において異常検知を行うことも可能である。例えば、受信したバイアルの画像は、３つの部分：バイアルの密封を示す第１の部分、バイアルの首を示す第２の部分（この領域には、例えば、最適な充填レベルでのバイアル内の薬剤の上縁もある）、及び、バイアルの下部領域がある第３の部分に分割される。一方で、これは、異常検知の処理時間を短縮することができ、特に高速で多くのバイアルが分析されなければならない生産ラインにおいて、この方法のリアルタイムでの適用性を改善する。さらに、より高い解像度を検査される画像において利用することができ、より正確な異常検知結果につながる。加えて、異常検知の間にバイアルの異なる領域を異なる方法で評価することが可能である。例えば、バイアルの首の領域において反射が頻繁に発生することがわかっているが、これらの反射は欠陥として評価されるのではなく、単に不干渉の異常として評価される場合、例えば、この領域では、より高い異常値が許容され得る。

ステップ１０６では、二項分類器が、異常検知の結果、すなわち、再構成された画像と受信した画像とのマッチングに対して適用される。この実施形態において、二項分類器は、非摂動の異常を検出するように訓練された比較的小さな第２のニューラルネットワークを少なくとも含む。例えば、二項分類器は反射又は影を検出するが、これらの反射又は影は、医薬品の品質には影響しない。少なくとも１つの第２のニューラルネットワークは、例えば、少なくとも１つの畳み込みニューラルネットワーク（ＣＮＮ）である。

従って、二項分類器によって、検出された異常、すなわち検出された再構成誤差が実際の欠陥であるかどうかを決定することができる。従って、二項分類器を使用して、画像化されたバイアルが良好なバイアルであるか、廃棄されることになるバイアルであるかどうかを決めることができる。本明細書において、既知の異常、すなわち無害な反射又は影であるかどうかについての確率が決定される。二項分類器がその異常を知らない場合、有害な異常である確率は高い。この目的のために、例えば、異常が無害であるとみなされる時点又は有害であるとみなされる時点での決定された確率に関して、閾値が設定される。

ステップ１０７では、二項分類器のアテンションマップ、すなわち少なくとも１つの第２のニューラルネットワークのアテンションマップが生成される。このようにして、再構成誤差の表現のどの部分が、例えばバイアルが「不良である」と決定されたことにつながったのかを決定することができ、従って、異常又は欠陥の位置を決定することができる。例えば、Ｇｒａｄｉｅｎｔ Ｂａｓｅｄ Ｃｌａｓｓ Ａｃｔｉｖａｔｉｏｎ Ｍａｐ（Ｇｒａｄ－ＣＡＭ）技術をこの目的のために使用することができる。特に、これには、例えばニューラルネットワークの畳み込みの最後のステップを分析して、欠陥が存在するかどうかを決定するために、最後の層の勾配が最も大きい場所を決定することが含まれる。

ステップ１０８では、欠陥検出が、受信した且つ任意的に前処理された画像に対して行われる。欠陥検出は、少なくとも１つの第３のニューラルネットワークに基づき、少なくとも１つの第３のニューラルネットワークは、ここで示されている例では、合計３つの訓練データのセットに基づき訓練される。これは、図２を参照してより詳細に記載される。

欠陥検出では、少なくとも１つの第３のニューラルネットワークに知られている欠陥が検出され、受信した画像において局在化される。バウンディングボックスが、検出された欠陥の周りに描かれ、少なくとも１つの第３のニューラルネットワークによっても決定される欠陥のタイプが、対応するバウンディングボックスに割り当てられる。ここで、物体の検出及び局在化のためのネットワークアーキテクチャ、例えば、Ｙｏｕ－Ｏｎｌｙ－Ｌｏｏｋ－Ｏｎｃｅモデル（ＹＯＬＯモデル）を使用することができる。特に、ＹＯＬＯｖ４モデルをここで使用することができる。欠陥検出は、検出された欠陥に関する確率も決定し、それが欠陥であることを少なくとも１つの第３のニューラルネットワークがどのくらい確信しているかを示す。

ここで示されている例において、欠陥検出は、受信した、任意的に前処理された画像全体に適用される。しかし、代替的に、異常検知と同じように、いくつかの部分に画像を分割することも当然ながら可能である。

ステップ１０９では、バイアルの分析の評価が行われる。ここで、異常検知、二項分類器、及び欠陥検出によって決定されたそれぞれの確率は、互いに重み付けされる。これらの重みを、分析において可能な限り最良で適切な結果を達成するために、その適用に応じて選ぶことができる。

例えば、異常検知の間に決定された再構成誤差は、第一に、二項分類器からの結果に対して重み付けされて、欠陥又はその他の無害な異常が存在するかどうか、及びどこに存在するかが決定される。その後、ここで示されている実施形態の例において、この結果は、欠陥検出の結果に対して重み付けされる。その後、個々の重み付けに対する閾値がどのように分布されるかに応じて、キャプチャされた画像に描かれたバイアルが選別されることになるかどうかを決定することができる。異常検知のために画像が複数の画像部分に分割される場合は、この評価を部分ごとに行うことができ、次に、例えば、３つの画像部分のうち１つが不良であると評価された場合にバイアルを選別するべきであると決定することができる。

図２は、医薬品を分析するための装置を訓練する方法の流れ図を示している。図２は、液体薬剤製品のバイアルの分析に関しても記載されている。しかし、ここで示されている方法は、いかなる他の医薬品に対しても使用することができる。

ステップ２０１では、第１の訓練画像のセットが作成される。この第１の訓練画像のセットは、欠陥及び異常のないバイアルを示す画像を含む。従って、これらのバイアルは、分析中に選別すべきではないバイアルである。

ステップ２０２では、インペインティングオートエンコーダの少なくとも１つの第１のニューラルネットワークが、第１の訓練画像のセットで訓練される。インペインティングオートエンコーダは、欠陥のない且つ異常のない状態に見えるように、バイアルの画像を再構成するように訓練される。

この訓練では、再構成に関して上述したように、各訓練画像が、パッチごとに再構成される。再構成されたパッチを組み立てる際には、訓練中及び後の分析中の両方で、個々のパッチが独立して再構成されるため、個々のパッチから隣接するパッチへのエッジにおける遷移が見えるようになることがある。これを減らすか又は回避するために、ここに示されている実施形態の例では、少なくとも１つの第１のニューラルネットワークを訓練するときに、再構成されたパッチは、各々が、元の画像からのそれぞれのパッチの、例えば数ピクセルの幅の対応するフレームで補完される。

このようにして、元の画像に可能な限り近くそれぞれのエッジ領域においてパッチを再構成するように、少なくとも１つの第１のニューラルネットワークが訓練される。これの原因は、少なくとも１つの第１のニューラルネットワークを訓練するときに元の画像からフレームを加えることによって、再構成された画像と元の画像との構造的類似性が比較されるため、損失メトリクスを計算するときに可視のエッジ遷移が否定的に評価されることである。否定的な評価のために、再構成の評価はこれらの可視のエッジ遷移を不利にし、それによって、少なくとも１つの第１のニューラルネットワークは、パッチのエッジ領域を元の画像により近づけるように再構成することによって、これらの可視のエッジ遷移を減らすように訓練される。このようにして、より良好な異常検知の結果を達成することができる。

例えば、インペインティングオートエンコーダは、以下の損失関数：

に基づき訓練され、ここで、

は、スケーリングハイパーパラメータであり、

は、いかなるノルム、例えばＬ_１－又はＬ_２－ノルムであってもよく、さらに、ＳＳＩＭ（ｘ，ｙ）は、２つの画像ｘ及びｙ間の構造的類似性の尺度である。Ｘ_１，．．．，Ｘ_ｎは、ｎの画像を有する訓練画像のセットを表している。ここで、例えば、グレースケール画像Ｘ_ｉは、間隔［０，１］の値を有するｍ×ｍの行列と見なされ、ここで、ｍは、画像の辺の長さを表している（非正方形画像に対しても類似のことが可能である）。

各画像Ｘ_ｉに対して、Ｐ_ｉを、黒化及び再構成されることになるパッチを表す正方形の部分行列とする。従って、各画像Ｘ_ｉに対して、Ｘ_ｉ，Ｐは、Ｐ_ｉが黒化された対応する画像を表している。訓練画像Ｘ_ｉ，Ｐは、少なくとも１つの第１のニューラルネットワークに供給され、後者は、再構成されたパッチ

を有する再構成された画像

を計算する。

さらに、

（それぞれＰ_{ｉ，ｐａｄ}）を、再構成された（それぞれ元の）パッチとし、それに対して、数ピクセルのフレームが、元の画像から加えられる。

ステップ２０３では、第２の訓練画像のセットが作成される。この第２の訓練画像のセットは、以前に訓練されたインペインティングオートエンコーダからの結果を含む。言い換えると、第２の訓練画像のセットは、インペインティングオートエンコーダによって再構成欠陥が可視化されたそのような画像を含む。これらは、実際には、欠陥であってもよく、又は、欠陥と見なされることはないその他の異常（例えば、反射等）であってもよい。

ステップ２０４では、異常が、第２の訓練画像のセットにおいてラベルされる。この目的のために、目に見える異常は専門家によって分類され、特に欠陥が存在するかどうか、及びどこに存在するか、又は、欠陥と見なされることはない異常が存在するかどうか、及びどこに存在するかについて分類される。

ステップ２０５では、二項分類器の少なくとも１つの第２のニューラルネットワークが、ラベルされた第２の訓練画像のセットを用いて訓練される。このようにして、二項分類器は、インペインティングオートエンコーダを使用して可視化された再構成欠陥において、既知の欠陥、欠陥ではない既知の異常、又は未知の異常が存在するかどうかを区別するように訓練される。

代替的又は追加的に、二項分類器は、インペインティングオートエンコーダを使用して作成された差分画像を解釈する他の方法に基づいてもよい。例えば、二項分類器は、異常が欠陥であるかどうかを決定するために、ルールベースの方法を使用することもできる。

ステップ２０６では、１番目の第３の訓練画像のセットが作成される。この１番目の第３の訓練画像のセットは、欠陥を有するバイアルを示す画像を含む。これらは、不正確な充填レベル、傷、不適切に装着されたキャップ、汚染物質、液体内に形成された気泡等を有するバイアルであってもよい。１番目の第３の訓練画像のセットにおける欠陥は、専門家によってラベルされる。

ステップ２０７では、少なくとも１つの第３のニューラルネットワークが、１番目の第３の訓練画像のセットを使用して、欠陥検出のために訓練される。少なくとも１つの第３のニューラルネットワークは、１番目の第３の訓練画像のセットから既知のバイアル上の欠陥を検出するように訓練される。

ステップ２０８では、２番目の第３の訓練画像のセット及び３番目の第３の訓練画像のセットが生成される。２番目の第３の訓練画像のセットは、欠陥のないバイアルを示す訓練画像及び欠陥のあるバイアルを示す訓練画像の両方を含む。例えば、良好な結果を達成するために、２番目の第３の訓練画像のセットでは、欠陥のあるバイアルを有する訓練画像の数、及び欠陥のないバイアルを有する訓練画像の数は、等しくあってもよい。

３番目の第３の訓練画像のセットは、欠陥のないバイアルを示すが、少なくとも１つの第３のニューラルネットワークによって欠陥があると不正確に検出されたそのような訓練画像を含む。

ステップ２０９では、少なくとも１つの第３のニューラルネットワークが、欠陥検出器を形成する重み付きアンサンブルを生成するために、２番目及び３番目の第３の訓練画像のセットに基づき追加で訓練される。これは、「ネガティブサンプリング」及び「ハードネガティブサンプリング」と呼ばれる。このようにして、欠陥検出は、欠陥検出器を用いて改善される。

ステップ２１０では、重みが決定され、この重みを用いて、異常検知、二項分類器、及び欠陥検出の結果が、互いに対して重み付けされることになる。重み付けは、十分に高い品質保証を達成するように選ぶことができるが、好ましくは、欠陥のないバイアルを欠陥があるとして決定しないように選ぶことができる。

図３は、検査装置２及び医薬品を分析するための装置３を含むシステム１を示している。検査装置２は、例えば、そのような目的のために市販されている検査装置２であってもよく、ここで示されている実施形態の例では、半自動検査装置２である。ここで、労働者４が、分析されることになるバイアル６が運ばれて通過するコンベヤーベルト５において座っている。バイアル６を、労働者４によって検査し、欠陥のあるバイアルである場合に選別機７において選別することができる。欠陥のあるバイアル６は「Ｘ」でマークされ、欠陥のないバイアル６は「Ｏ」でマークされる。欠陥のないバイアル６は、選別機７によって選別されず、生産においてさらに処理することができる。

バイアルを分析するための装置３は、分析されることになるバイアル６に向けられたカメラ８を含む。分析されることになるバイアル６の画像は、カメラ８によってキャプチャされ、装置３のコンピュータ９に送信される。画像は、複数のバイアル６を示すこともあり、その場合、コンピュータ９は、画像内の個々のバイアル６を認識して、各々を個々に評価することができる。代替的に、複数のカメラが提供されてもよい。代替的に、カメラ８は、各バイアル６の複数の画像を、例えば回転させながらキャプチャして、バイアル６の複数の視点をキャプチャすることもでき、従って、分析においてより良い結果を提供することができる。

装置３は、例えば図１を参照して説明した実施形態において等、本願において記載するような医薬品を分析する方法を行うように適応する。

ここで示されている実施形態において、装置３は、検査装置２に接続される後付け可能な装置である。特に、ここで示されている装置３は、いかなるツールも使用することなく、検査装置２に取り付けることが可能である。このようにして、装置３は、労働者４を支援するか又は労働者４に代わることができる。

例えば、装置３は、オプトカプラを介して検査装置２の回路システムに接続されて、検査装置２からの信号を検出する。特に、これは、コンベヤーベルト５上のバイアル６を追跡するのに適しているため、その後、バイアル６が、欠陥があるとして装置３によって特定された場合に、このバイアル６を選別することができるように、対応する信号を送信することができる。例えば、特定のバイアル６に割り当てることができるタイムスタンプがこの目的のために使用される。検査装置２内のバイアル６の移動時間はわかっているため、装置３は、従って、その画像が特定の時点でカメラ８によって撮影されたバイアル６が選別機７にいつ到着したかを正確に決定して、このバイアル６を選別することができる。

この目的のために、コンピュータ９は、例えばここでもオプトカプラを介して、選別機７にも接続される。従って、コンピュータ９は、バイアル６が選別されることになる際に選別機７に信号を与えることができる。

しかし、代替的に、ここで記載される医薬品の分析は、当然ながら、全自動検査装置において使用することもできる。

図４は、本発明の一実施形態による医薬品（この場合はバイアル）の分析の様々な段階を示している。例えば、図３を参照して記載される装置を使用して、ここで示されているバイアルを分析した。

第１のセクション４０は、バイアルの下部領域において９９％の確率で欠陥を検出した欠陥検出器の結果を示しており、ここで「欠陥（９９％）」と注記されたバウンディングボックスをそれに提供している。従って、このバイアルを、欠陥検出器によって「不良である」とマークした。

第２のセクション４１は、上記の装置によって受信されたもの等、受信したバイアルの画像を示している。

第３のセクション４２は、インペインティングオートエンコーダを用いて再構成されたバイアルの画像を示している。

第４のセクション４３は、異常検知の結果、すなわち再構成誤差を示している。特に、ここでは、下部領域だけでなく、バイアルの中間領域においても異常が検出されたことがわかる。これらは、とりわけ、セクション４１において液体の上に見える気泡である。これらの気泡は、再構成欠陥としてわかるように、インペインティングオートエンコーダを使用して除去した。例えば、これらの気泡は、欠陥検出器によって欠陥として検出されず、バウンディングボックスは与えられなかった。同様に異常として検出されたのは、ボトルの首の領域における反射、並びに下部領域における欠陥であった。

第５のセクション４４は、セクション４３に適用された二項分類器のアテンションマップを示している。

第６のセクション４５は、アテンションマップに基づき重み付けされた再構成の差を示している。この重み付けされた再構成の差は、バイアルのどの部分が異常検知又は二項分類器において「不良である」とみなされることになるかを決定するために使用される。このケースの場合、これは、下部領域及び中間領域に対して行われている。

参照番号のリスト
１ システム
２ 検査装置
３ 医薬品を分析するための装置
４ 労働者
５ コンベヤーベルト
６ バイアル
７ 選別機
８ カメラ
９ コンピュータ

４０～４５ セクション
１０１～１０９ 方法のステップ
２０１～２１０ 方法のステップ

Claims (15)

1. 製品を分析する方法であって、
   － 前記製品の画像を受信するステップと、
   － インペインティングオートエンコーダを使用して、受信した前記画像に対して異常検知を行うステップであり、前記インペインティングオートエンコーダは、第１の訓練画像のセットに基づき訓練された少なくとも１つの第１のニューラルネットワークを含み、前記第１の訓練画像のセットは複数の訓練画像を含み、前記複数の訓練画像の各々が、対応する欠陥のない製品を示している、ステップと、
   － 二項分類器を使用して、前記異常検知の結果に基づき、欠陥が存在しているかどうかを決定するステップと、
   － 欠陥検出器を使用して、受信した前記画像に対して欠陥検出を行うステップであり、前記欠陥検出器は、少なくとも１つの第３の訓練画像のセットに基づき訓練された少なくとも１つの第３のニューラルネットワークを含み、前記少なくとも１つの第３の訓練画像のセットは複数の訓練画像を含み、前記複数の訓練画像の各々が、対応する欠陥のある製品を示している、ステップと、
   － 前記異常検知、前記欠陥検出、及び前記二項分類器の結果の重み付けに基づき、受信した前記画像の分析結果を評価するステップと、
   を含む方法。
2. 前記異常検知を行うために、受信した前記画像は、少なくとも２つのサブ画像に分割され、前記異常検知が、個々の前記サブ画像に対して行われ、前記二項分類器が、前記個々のサブ画像の異常検知の結果に対して適用される、請求項１に記載の方法。
3. 前記欠陥検出は、受信した前記画像内の検出された欠陥の位置及び／又は検出された欠陥のタイプ及び／又は欠陥確率を決定することをさらに含む、請求項１に記載の方法。
4. 前記二項分類器を使用して、前記異常検知の結果に基づき、欠陥が存在しているかどうかを決定するステップにおいて、前記インペインティングオートエンコーダによって再構成された受信した前記画像のバージョンの再構成誤差に基づき、受信した前記画像に表されている前記製品が、欠陥のある又は欠陥のないものとして評価されることになるかどうかを、前記二項分類器が評価する、請求項１に記載の方法。
5. 前記二項分類器は、第２の訓練画像のセットに基づき訓練された少なくとも１つの第２のニューラルネットワークを含み、前記第２の訓練画像のセットは、前記インペインティングオートエンコーダの結果を含み、
   当該方法は、前記二項分類器を適用するときに、前記少なくとも１つの第２のニューラルネットワークのアテンションマップを生成するステップをさらに含む、請求項１に記載の方法。
6. 製品を分析するための装置を訓練する方法であって、
   － 第１の訓練画像のセットを作成するステップであり、前記第１の訓練画像のセットは複数の訓練画像を含み、前記複数の訓練画像の各々が、欠陥のない製品を示している、ステップと、
   － 前記第１の訓練画像のセットに基づき、インペインティングオートエンコーダの少なくとも１つの第１のニューラルネットワークを訓練するステップと、
   － 前記インペインティングオートエンコーダを使用した異常検知の結果に基づき、欠陥が存在しているかどうかを特定するように構成された二項分類器を作成するステップと、
   － 少なくとも１つの第３の訓練画像のセットを作成するステップであり、前記少なくとも１つの第３の訓練画像のセットは複数の訓練画像を含み、前記複数の訓練画像の各々が、欠陥のある製品を示しており、さらに、少なくとも１つの欠陥が、前記第３の訓練画像のセットの各訓練画像においてマークされる、ステップと、
   － 前記少なくとも１つの第３の訓練画像のセットに基づき、欠陥検出器の少なくとも１つの第３のニューラルネットワークを訓練するステップと、
   － 重み付けを決定するステップであり、前記重み付けによって、前記インペインティングオートエンコーダによる異常検知、前記欠陥検出器による欠陥検出、及び前記二項分類器の適用の結果を評価する、ステップと、
   を含む、訓練する方法。
7. 前記二項分類器を作成するステップが、
   － 前記インペインティングオートエンコーダの結果を含む第２の訓練画像のセットを作成すること、
   － 前記第２の訓練画像のセットに基づき、前記二項分類器の少なくとも１つの第２のニューラルネットワークを訓練すること、
   を含む、請求項６に記載の訓練する方法。
8. － さらなる第３の訓練画像のセットを作成するステップをさらに含み、前記さらなる第３の訓練画像のセットは、欠陥のある製品を各々が示す複数の訓練画像と、欠陥のない製品を各々が示す複数の訓練画像の両方を含み、前記少なくとも１つの第３のニューラルネットワークを訓練するステップは、前記さらなる第３の訓練画像のセットに基づき追加で行われる、請求項６に記載の訓練する方法。
9. － さらに別の第３の訓練画像のセットを作成するステップをさらに含み、前記さらに別の第３の訓練画像のセットは複数の訓練画像を含み、前記複数の訓練画像の各々が、以前に訓練された少なくとも１つの第３のニューラルネットワークによって欠陥があると検出された欠陥のない製品を示し、前記少なくとも１つの第３のニューラルネットワークの訓練は、前記さらに別の第３の訓練画像のセットに基づき追加で行われる、請求項６に記載の訓練する方法。
10. 前記第１の訓練画像のセットに基づき、インペインティングオートエンコーダの少なくとも１つの第１のニューラルネットワークを訓練するステップは、
    － 前記第１の訓練画像のセットの訓練画像をパッチごとに再構成すること、
    － 複数の再構成されたパッチに対して、元の訓練画像の対応する部分からエッジ領域を加えること、及び
    － 加えられた前記エッジ領域を考慮に入れて、前記再構成されたパッチの訓練画像を使用して、前記インペインティングオートエンコーダの少なくとも１つの第１のニューラルネットワークを訓練すること、
    をさらに含む、請求項６に記載の訓練する方法。
11. 前記製品は医薬品である、請求項１に記載の方法。
12. 前記製品は医薬品である、請求項６に記載の方法。
13. 請求項１に記載の方法を行うように適応した、製品を分析するための装置。
14. 前記製品の画像をキャプチャするための撮像装置をさらに含む、及び／又は、欠陥があるとして検出された製品を選別させるように適応した制御装置をさらに含む、請求項１３に記載の装置。
15. 半自動検査装置に後付けされるように適応した、請求項１３に記載の装置。

Images