JP7359297B2 - 検査システム - Google Patents

Description

本発明は、容器に封入された液体中の異物の有無を検査する検査システム、検査方法、および記録媒体に関する。

透明または半透明な容器に封入された液体中の異物の有無を検査する検査システムが提案されている。

例えば、特許文献１では、透明容器に封入された液体を撮像した画像に記録された浮遊物の陰影から、気泡の陰影を画像処理により除外し、なおも画像中に存在する浮遊物の陰影を異物として検出している。上記画像処理では、先ず、個々の浮遊物に対応する画像（陰影）の微分画像である個別の浮遊物微分画像の集合Ａが抽出される。次に、気泡の静的な性質（画像の特徴量）を用いて、気泡候補の集合Ｂが選定される。次に、気泡の動的な性質（浮力による運動など）を用いて、気泡候補の集合Ｂの中から本来の気泡の集合Ｃが決定される。最後に、個別の浮遊物微分画像の集合Ａから、本来の気泡の集合Ｃを引き去った残りとして異物が検出される。

特開２００４－３５４１００号公報

上述したように、透明な容器に封入された液体中の異物の有無を検査する検査システムでは、気泡の動的な性質を用いて気泡と異物とを区別して判定している。しかしながら、判定結果と共に判定の根拠を保存するようには構成されていなかった。そのため、検査の行われた個々の容器について、検査後の任意の時点で判定結果と共に判定の根拠を確認するのは困難であった。

本発明の目的は、上記課題を解決する検査システムを提供することにある。

本発明の一形態に係る検査システムは、
容器に封入された液体中の異物の有無を検査する検査システムであって、
前記容器内の液体をカメラによって連続して撮像して得られた時系列の画像の中で、液体中に存在する浮遊物を検出して追跡する浮遊物検出・追跡手段と、
前記追跡された浮遊物の移動軌跡に基づいて、前記浮遊物が異物であるか気泡であるかを判定し、前記判定の結果と判定の根拠となった前記浮遊物の移動軌跡の情報とを含む検査結果情報を前記容器の識別情報に関連付けて記憶手段に記憶する判定・記憶制御手段と、
前記検査結果情報に含まれる前記判定の結果と判定の根拠とした前記浮遊物の移動軌跡の情報を表示手段に表示させる表示制御手段と、
を備えるように構成されている。

また、本発明の他の形態に係る検査方法は、
容器に封入された液体中の異物の有無を検査する検査方法であって、
前記容器内の液体をカメラによって連続して撮像して得られた時系列の画像の中で、液体中に存在する浮遊物を検出して追跡し、
前記追跡された浮遊物の移動軌跡に基づいて、前記浮遊物が異物であるか気泡であるかを判定し、
前記判定の結果と判定の根拠となった前記浮遊物の移動軌跡の情報とを含む検査結果情報を前記容器の識別情報に関連付けて記憶手段に記憶し、
前記検査結果情報に含まれる前記判定の結果と判定の根拠とした前記浮遊物の移動軌跡の情報を表示手段に表示させる、
ように構成されている。

また、本発明の他の形態に係るコンピュータ読み取り可能な記録媒体は、
容器に封入された液体中の異物の有無を検査するコンピュータに、
前記容器内の液体をカメラによって連続して撮像して得られた時系列の画像の中で、液体中に存在する浮遊物を検出して追跡する処理と、
前記追跡された浮遊物の移動軌跡に基づいて、前記浮遊物が異物であるか気泡であるかを判定する処理と、
前記判定の結果と判定の根拠となった前記浮遊物の移動軌跡の情報とを含む検査結果情報を前記容器の識別情報に関連付けて記憶手段に記憶する処理と、
前記検査結果情報に含まれる前記判定の結果と判定の根拠とした前記浮遊物の移動軌跡の情報を表示手段に表示させる処理と、
を行わせるためのプログラムを記録するように構成されている。

本発明は、上述したような構成を有することにより、検査の行われた個々の容器について、検査後の任意の時点で判定結果と共に判定の根拠を容易に確認することができる。

本発明の第１の実施形態に係る検査システムのブロック図である。 本発明の第１の実施形態における検査装置の一例を示すブロック図である。 本発明の第１の実施形態における画像情報の構成例を示す図である。 本発明の第１の実施形態における追跡情報の構成例を示す図である。 本発明の第１の実施形態における検査結果情報の構成例を示す図である。 本発明の第１の実施形態における異物の移動軌跡情報を可視化した画像の例を示す模式図である。 本発明の第１の実施形態における気泡の移動軌跡情報を可視化した画像の例を示す模式図である。 本発明の第１の実施形態において検査の一環として表示装置に表示される検査結果表示画面の例を示す図である。 本発明の第１の実施形態において検査後の任意の時点でユーザからの要求に従って表示装置に表示される検査結果表示画面の例を示す図である。 本発明の第１の実施形態において１つの容器に対する検査開始から検査終了までに検査システムが行う動作の一例を示すフローチャートである。 本発明の第１の実施形態における検査後表示動作の一例を示すフローチャートである。 本発明の第２の実施形態に係る検査システムのブロック図である。

次に、本発明の第１の実施形態について、図面を参照して詳細に説明する。

図１は、本発明の第１の実施形態に係る検査システム１００のブロック図である。図１を参照すると、検査システム１００は、容器４００に封入された液体中の異物の有無を検査するシステムである。検査システム１００は、主な構成要素として、把持装置１１０と、照明装置１２０と、カメラ装置１３０と、検査装置２００と、表示装置３００と、を備えている。

容器４００は、ガラス瓶やペットボトルなどの透明または半透明な容器である。容器４００の内部には、薬剤や水などの液体が封入・充填されている。また、容器４００に封入された液体中には、異物が混入している可能性がある。異物としては、例えば、ガラス片、プラスチック片、ゴム片、髪の毛、繊維片、煤、などが想定される。

把持装置１１０は、容器４００を所定の姿勢で把持するように構成されている。所定の姿勢は任意である。例えば、容器４００が正立しているときの姿勢を所定の姿勢としてよい。あるいは、容器４００が正立した姿勢から所定の角度で傾いた姿勢を所定の姿勢としてよい。以下では、容器４００が正立した姿勢を所定の姿勢として説明する。容器４００を正立した姿勢で把持する機構は、任意である。例えば、把持する機構は、容器４００を正立した姿勢で載置する台座と、台座上に載置された容器４００の頭頂部であるキャップ４０１の上面部を押圧する部材などを含んで構成されていてよい。

また、把持装置１１０は、容器４００を把持した状態で、容器４００を正立した姿勢から所定方向に傾斜させ、または揺動させ、または回転させるように構成されている。容器４００を傾斜・揺動・回転させる機構は、任意である。例えば、傾斜・揺動・回転させる機構は、把持機構全体を、容器４００を把持した状態で傾斜・揺動・回転させるモータを含んで構成されていてよい。

また、把持装置１１０は、有線または無線により検査装置２００と接続されている。把持装置１１０は、検査装置２００からの指示により起動されると、容器４００を把持した状態で、容器４００を正立した姿勢から所定方向に傾斜・揺動・回転させる。また、把持装置１１０は、検査装置２００からの指示により停止されると、容器４００を傾斜・揺動・回転させる動作を停止し、容器４００を正立した姿勢で把持する状態に復帰する。

上記のように容器４００を傾斜・揺動・回転させ、その後に静止させると、静止した容器４００内で液体が流動している状態が得られる。液体が流動していると、液体に混入された異物が浮遊している状態が得られる。また、液体が流動すると、容器４００の内側壁面などに付着していた気泡や液体の流動の過程で混ざり込んだ気泡が液体中を浮遊する可能性がある。そのため、浮遊物が異物であるか、気泡であるかを識別する必要がある。

照明装置１２０は、容器４００に封入された液体に対して照明光を照射するように構成されている。照明装置１２０は、例えば、容器４００の大きさに応じたサイズの面光源である。照明装置１２０は、容器４００からみてカメラ装置１３０が設置される側とは反対側に設置されている。すなわち、照明装置１２０による照明は、透過照明である。

カメラ装置１３０は、容器４００からみて照明装置１２０が設置される側とは反対側の所定位置から、容器４００内の液体を、所定のフレームレートで連続して撮像する撮像装置である。カメラ装置１３０は、例えば、数百万画素程度の画素容量を有するＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）イメージセンサを備えたカラーカメラを含んで構成されていてよい。カメラ装置１３０は、有線または無線により、検査装置２００と接続されている。カメラ装置１３０は、撮像して得られた時系列の画像を、撮像時刻を示す情報などと共に、検査装置２００に対して送信するように構成されている。

表示装置３００は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶ディスプレイ）などの表示装置である。表示装置３００は、検査装置２００と有線または無線により接続されている。表示装置３００は、検査装置２００で行われた容器４００の検査結果などを表示するように構成されている。

検査装置２００は、カメラ装置１３０によって撮像して得られた時系列の画像に対して画像処理を行って、容器４００に封入された液体中の異物の有無を検査する情報処理装置である。検査装置２００は、把持装置１１０、カメラ装置１３０、および表示装置３００と有線または無線により接続されている。

図２は、検査装置２００の一例を示すブロック図である。図２を参照すると、検査装置２００は、通信Ｉ／Ｆ部２１０と操作入力部２２０と記憶部２３０と演算処理部２４０とを備えている。

通信Ｉ／Ｆ部２１０は、データ通信回路から構成され、有線または無線により把持装置１１０、カメラ装置１３０、表示装置３００、および図示しない他の外部装置との間でデータ通信を行うように構成されている。操作入力部２２０は、キーボードやマウスなどの操作入力装置から構成され、オペレータの操作を検出して演算処理部２４０に出力するように構成されている。

記憶部２３０は、ハードディスクやメモリなどの１種類あるいは多種類の１以上の記憶装置から構成され、演算処理部２４０における各種処理に必要な処理情報およびプログラム２３１を記憶するように構成されている。プログラム２３１は、演算処理部２４０に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信Ｉ／Ｆ部２１０などのデータ入出力機能を介して図示しない外部装置や記録媒体から予め読み込まれて記憶部２３０に保存される。記憶部２３０に記憶される主な処理情報には、画像情報２３２、追跡情報２３３、および、検査結果情報２３４がある。このうち、少なくとも検査結果情報２３４は、情報処理装置の電源が遮断されても記憶情報が消失しない記憶装置に保存されるように構成されている。

画像情報２３２は、容器４００内の液体をカメラ装置１３０によって連続して撮像して得られた時系列の画像を含んでいる。図３は、画像情報２３２の構成例を示す。この例の画像情報２３２は、容器ＩＤ２３２１と撮像時刻２３２２とフレーム画像２３２３との組からなるエントリから構成されている。容器ＩＤ２３２１の項目には、検査対象とした容器４００を一意に識別するＩＤが設定される。容器ＩＤ２３２１としては、容器４００に振られた通し番号、容器４００に貼付されたバーコード、容器４００のキャップ４０１などから採取された物体指紋情報などが考えられる。撮像時刻２３２２およびフレーム画像２３２３の各項目には、撮像時刻およびフレーム画像が設定される。撮像時刻２３２２は、同じ容器ＩＤの他のフレーム画像と区別して識別できるような精度（例えばミリ秒単位）に設定されている。図３の例では、フレーム画像２３２３毎に容器ＩＤ２３２１を関連付けているが、複数のフレーム画像２３２３のグループ毎に容器ＩＤ２３２１を関連付けるようにしてもよい。

追跡情報２３３は、容器４００内の液体中に存在する浮遊物を検出して追跡した結果に応じた情報を含んでいる。図４は、追跡情報２３３の構成例を示す。この例の追跡情報２３３は、容器ＩＤ２３３１、追跡ＩＤ２３３２とポインタ２３３３との組、の各エントリから構成されている。容器ＩＤ２３３１のエントリには、容器４００を一意に識別するＩＤが設定される。追跡ＩＤ２３３２とポインタ２３３３との組からなるエントリは、追跡対象の浮遊物毎に設けられる。追跡ＩＤ２３３２の項目には、追跡対象の浮遊物を同じ容器４００内の他の浮遊物と識別するためのＩＤが設定される。ポインタ２３３３の項目には、追跡対象とする浮遊物の移動軌跡情報２３３４へのポインタが設定される。

移動軌跡情報２３３４は、時刻２３３４１と位置情報２３３４２との組からなるエントリから構成されている。時刻２３３４１と位置情報２３３４２との項目には、撮像時刻とその撮像時刻における追跡対象の浮遊物の位置を示す座標値とが設定される。座標値は、例えば、予め定められた座標系における座標値であってよい。また、予め定められた座標系は、カメラを中心としてみたカメラ座標系であってもよいし、空間中のある位置を中心として考えたワールド座標系であってもよい。移動軌跡情報２３３４のエントリは、時刻２３３４１の順に並べられている。先頭のエントリの時刻２３３４１は、追跡開始時刻である。最後尾のエントリの時刻２３３４１は、追跡終了時刻である。先頭および最後尾以外のエントリの時刻２３３４１は、追跡中間時刻である。

検査結果情報２３４は、容器４００の検査の結果に応じた情報を含んでいる。図５は、検査結果情報２３４の構成例を示す。この例の検査結果情報２３４は、容器ＩＤ２３４１、検査結果２３４２、異物検出数２３４３、気泡検出数２３４４、検出異物ＩＤ２３４５とポインタ２３４６との組、検出気泡ＩＤ２３４７とポインタ２３４８との組、の各エントリから構成されている。容器ＩＤ２３４１のエントリには、検査対象の容器４００を一意に識別するＩＤが設定される。検査結果２３４２のエントリには、ＯＫ（検査合格）またはＮＧ（検査不合格）の何れかの検査結果が設定される。異物検出数２３４３のエントリには、検出された異物の総数が設定される。気泡検出数２３４４のエントリには、検出された気泡の総数が設定される。

検出異物ＩＤ２３４５とポインタ２３４６との組のエントリは、検出された異物毎に設けられる。検出異物ＩＤ２３４５の項目には、検出された異物を同じ容器４００内の他の異物と識別するためのＩＤが設定される。ポインタ２３４６の項目には、検出された異物の検出異物情報２３４９へのポインタが設定される。

検出気泡ＩＤ２３４７とポインタ２３４８との組のエントリは、検出された気泡毎に設けられる。検出気泡ＩＤ２３４７の項目には、検出された気泡を同じ容器４００内の他の気泡と識別するためのＩＤが設定される。ポインタ２３４８の項目には、検出された気泡の検出気泡情報２３５０へのポインタが設定される。

検出異物情報２３４９は、追跡ＩＤ２３４９１とポインタ２３４９２との組、判定結果２３４９３、可視化画像２３４９４、の各エントリから構成されている。追跡ＩＤ２３４９１の項目には、検出された異物の追跡ＩＤ２３３２が設定される。ポインタ２３４９２の項目には、検出された異物の移動軌跡情報２３４９５へのポインタが設定される。移動軌跡情報２３４９５は、検出された異物の追跡時の移動軌跡情報２３３４のコピーである。即ち、移動軌跡情報２３４９５は、時刻２３３４１と位置情報２３３４２との組からなるエントリに対応する、時刻２３４９５１と位置情報２３４９５２との組からなるエントリから構成されている。判定結果２３４９３のエントリには、判定結果が「異物」である旨のテキストが設定される。判定結果２３４９３のエントリには、判定結果の確率がさらに設定されていてよい。判定結果の確率は、判定結果の確からしさを表す指標である。

可視化画像２３４９４のエントリには、検出された異物の移動軌跡情報２３４９５を可視化した画像が少なくとも１枚設定される。即ち、可視化画像２３４９４の枚数は、１枚以上であれば任意である。図６は、検出された異物の移動軌跡情報２３４９５を可視化した画像の例を示す模式図である。この例の可視化画像２３４９４は、背景画像に使用するカメラ画像と異物の移動軌跡を表す線の画像２３４９４１とを重ね合わせている。図６において、線の画像２３４９４１以外の画像部分が、背景に使用したカメラ画像に相当する。背景に使用するカメラ画像は、例えば、検出された異物が写っている特定のフレーム画像を使用してよい。特定のフレーム画像としては、検出された異物の追跡期間中の任意の時点のフレーム画像、例えば追跡開始時、あるいは追跡中間時、あるいは追跡終了時のフレーム画像を使用してよい。また、カメラ画像に写っている異物の位置２３４９４２を目立たせるために強調表示するようにしてもよい。強調表示する方法としては、エッジ強調、色付け、矩形表示などが考えられる。また、図６においては、可視化画像が、異物または気泡の何れのクラスの可視化画像であるかを、文字で描画している。但し、クラス情報は文字で描画する以外に、強調表示する矩形の色をクラスに応じて変えることなどで描画してもよい。また、異物の移動軌跡を表す線の画像２３４９４１には、異物の移動方向を表す矢印が付加されている。但し、異物の移動方向を表す態様は矢印に限定されない。例えば、異物の移動軌跡を表す線の線種、幅などを移動時間の経過に応じて変化させるようにしてもよい。

検出気泡情報２３５０は、追跡ＩＤ２３５０１とポインタ２３５０２との組、判定結果２３５０３、可視化画像２３５０４、の各エントリから構成されている。追跡ＩＤ２３５０１の項目には、検出された気泡の追跡ＩＤ２３３２が設定される。ポインタ２３５０２の項目には、検出された気泡の移動軌跡情報２３５０５へのポインタが設定される。移動軌跡情報２３５０５は、検出された気泡の追跡時の移動軌跡情報２３３４のコピーである。即ち、移動軌跡情報２３５０５は、移動軌跡情報２３３４の時刻２３３４１と位置情報２３３３４２との組からなるエントリに対応する、時刻２３５０５１と位置情報２３５０５２との組からなるエントリから構成されている。判定結果２３５０３のエントリには、判定結果が「気泡」である旨のテキストが設定される。判定結果２３５０３のエントリには、判定結果の確率がさらに設定されていてよい。

可視化画像２３５０４のエントリには、検出された気泡の移動軌跡情報２３５０５を可視化した画像が設定される。可視化画像２３５０４の枚数は、１枚以上であれば任意である。図７は、検出された気泡の移動軌跡情報２３５０５を可視化した画像の例を示す模式図である。この例の可視化画像２３５０４は、背景画像に使用するカメラ画像と気泡の移動軌跡を表す線の画像２３５０４１とを重ね合わせている。図７において、線の画像２３５０４１以外の画像部分が、背景に使用したカメラ画像に相当する。背景に使用するカメラ画像は、例えば、検出された気泡が写っている特定のフレーム画像を使用してよい。特定のフレーム画像としては、検出された気泡の追跡期間中の任意の時点のフレーム画像、例えば追跡開始時、あるいは追跡中間時、あるいは追跡終了時のフレーム画像を使用してよい。また、カメラ画像に写っている気泡の位置２３５０４２を目立たせるために強調表示するようにしてもよい。強調表示する方法としては、エッジ強調、色付け、矩形表示などが考えられる。また、図７においては、可視化画像が、異物または気泡の何れのクラスの可視化画像であるかを、文字で描画している。但し、クラス情報は文字で描画する以外に、強調表示する矩形の色をクラスに応じて変えることで描画してもよい。また、気泡の移動軌跡を表す線の画像２３５０４１には、気泡の移動方向を表す矢印が付加されている。但し、気泡の移動方向を表す態様は矢印に限定されない。例えば、気泡の移動軌跡を表す線の線種、幅などを移動時間の経過に応じて変化させるようにしてもよい。

再び図２を参照すると、演算処理部２４０は、ＭＰＵなどのマイクロプロセッサとその周辺回路を有し、記憶部２３０からプログラム２３１を読み込んで実行することにより、上記ハードウェアとプログラム２３１とを協働させて各種処理部を実現するように構成されている。演算処理部２４０で実現される主な処理部には、取得部２４１、検出部２４２、追跡部２４３、判定部２４４、記憶制御部２４５、および表示制御部２４６がある。

取得部２４１は、操作入力部２２０または通信Ｉ／Ｆ部２１０を通じて外部装置から、検査対象とする容器４００の容器ＩＤを含む検査開始指示が与えられると、動作を開始する。取得部２４１は、動作を開始すると、先ず、検査対象の容器４００を正立した姿勢で把持している把持装置１１０を起動することにより、検査対象の容器４００を傾斜・揺動・回転させる。次に、取得部２４１は、起動後、一定時間が経過すると、把持装置１１０を停止させることにより、容器４００を所定の姿勢で静止させる。このように容器４００を一定時間にわたって傾斜・揺動・回転させた後に静止させることにより、静止した容器４００内で液体が流動する状態が得られる。次に、取得部２４１は、照明装置１２０による透過照明の下で、検査対象の容器４００内で流動している液体をカメラ装置１３０によって所定のフレームレートで連続して撮像する動作を開始する。即ち、取得部２４１は、容器４００が傾斜・揺動・回転された後に静止した時刻を時刻Ｔｓとすると、時刻Ｔｓから上記撮像動作を開始する。

取得部２４１は、上記所定のフレームレートを、例えば、１５０～２００ｆｐｓとすることができるが、上記例示した以外のフレームレートとしてもよい。また、取得部２４１は、上記所定のフレームレートを、容器４００内で検出したい異物と容器内の液体との比重の差（以下、単に比重の差と記す）で決められるフレームレートとしてもよい。例えば、取得部２４１は、比重の差とフレームレートとの対応表を有する。そして、取得部２４１は、例えば操作入力部２２０を通じてユーザから比重の差を入力し、この入力された比重の差に対応するフレームレートを対応表から取得し、この取得したフレームレートをカメラ装置１３０に設定する。対応表の構成は任意である。例えば、対応表は、比重の差の絶対値が０．２未満に対して１００ｆｐｓ、比重の差の絶対値が０．２以上、０．５未満に対して１２５ｆｐｓ、比重の差の絶対値が０．５以上、１．０未満に対して１５０ｆｐｓ、比重の差の絶対値が１．０以上、２．０未満に対して２００ｆｐｓ、比重の差の絶対値が２．０以上に対して３００ｆｐｓ、などの対応関係を保持していてよい。但し、対応表は、上記例示した以外の比重の差とフレームレートとの対応関係を保持していてもよいし、比重の差の段階数は５段階である必要はない。

また、取得部２４１は、時刻Ｔｓから所定時間Ｔｗが経過する時刻Ｔｅまで、容器４００内の液体をカメラ装置１３０によって連続して撮像し続ける。上記所定時間Ｔｗは、例えば、液体中を浮遊する浮遊物が全て気泡であると仮定した場合に、全ての気泡が容器４００の上方に向かって移動し、もはや下方に移動するとは考えられないような移動軌跡が得られるのに必要な時間（以下、最小撮像時間長と記す）以上に設定されていてよい。最小撮像時間長は、予め実験などによって決定され、取得部２４１に固定的に設定されていてよい。なお、取得部２４１は、時刻Ｔｅに達したときに、カメラ装置１３０による撮像を直ちに停止してもよいし、なおもカメラ装置１３０による撮像を続けてもよい。

また、取得部２４１は、カメラ装置１３０から取得した時系列のフレーム画像のそれぞれに、撮像時刻および容器ＩＤを付加し、画像情報２３２として記憶部２３０に保存するように構成されている。

検出部２４２は、取得部２４１によって所定時間長分の時系列のフレーム画像が取得されると、それらのフレーム画像のそれぞれから、容器４００内の液体中の浮遊物の陰影を検出するように構成されている。例えば、検出部２４２は、以下に記載するような方法によって液体中の浮遊物の陰影を検出する。但し、検出部２４２は、以下に記載した以外の方法によって液体中の浮遊物の陰影を検出してよい。

先ず、検出部２４２は、フレーム画像のそれぞれに対して２値化処理を行って、２値化フレーム画像を作成する。次に、検出部２４２は、２値化フレーム画像のそれぞれから、以下のようにして浮遊物の陰影を検出する。

検出部２４２は、先ず、浮遊物の陰影を検出する対象とする２値化フレーム画像を注目中２値化フレーム画像とする。次に、注目中２値化フレーム画像と、撮像時刻がΔｔだけ後の２値化フレーム画像との差分画像を生成する。ここで、Δｔは、２つの画像において同じ浮遊物が一部分で重なるか、重ならない場合でもごく近接した位置に現れる程度の時間に設定される。そのため、時間差Δｔは、液体および異物の性質や流動状態などに応じて定められる。上記差分画像では、２つの２値化フレーム画像で一致する画像部分は消去され、相違する画像部分だけが残される。このため、２つの２値化フレーム画像の同じ位置に現れる容器４００の輪郭や傷などは消去され、浮遊物の陰影だけが現れる。検出部２４２は、差分画像で陰影が現れた箇所に対応する注目中２値化フレーム画像の陰影を、注目中２値化フレーム画像中の存在する浮遊物の陰影として検出する。検出部２４２が検出した２値化フレーム画像毎の浮遊物の検出結果は、追跡部２４３へ伝達される。

追跡部２４３は、検出部２４２によって検出された浮遊物を時系列の画像の中で追跡し、追跡の結果に応じて追跡情報２３３を作成する。先ず、追跡部２４３は、追跡情報２３３を初期化する。この初期化では、図４の容器ＩＤ２３３１のエントリに検査対象の容器４００の容器ＩＤが設定される。次に、追跡部２４３は、以下に記載するような方法によって、時系列の画像の中で、浮遊物を追跡し、その追跡結果に応じて、浮遊物毎に、図４の追跡ＩＤ２３３２とポインタ２３３３の組のエントリ、移動軌跡情報２３３４を作成する。

先ず、追跡部２４３は、検出部２４２が作成した２値化フレーム画像の時系列のうち、撮像時刻が最も過去の２値化フレーム画像に注目する。次に、追跡部２４３は、注目中２値化フレーム画像において検出された浮遊物それぞれに、一意となる追跡ＩＤを付与する。次に、追跡部２４３は、検出された浮遊物毎に、注目中２値化フレーム画像において検出された浮遊物に付与した追跡ＩＤを、図４の追跡ＩＤ２３３２の項目に設定し、対応するポインタ２３３３で指示される移動軌跡情報２３３４の先頭エントリの時刻２３３４１の項目に注目中２値化フレーム画像の撮像時刻を設定し、位置情報２３３４２の項目に注目中２値化フレーム画像における浮遊物の座標値を設定する。

次に、追跡部２４３は、注目中２値化フレーム画像より１フレームだけ後の２値化フレーム画像（以下、後続２値化フレーム画像と記す）において検出された浮遊物の位置と、注目中２値化フレーム画像において検出された浮遊物の位置とを比較する。次に、追跡部２４３は、浮遊物間の距離が予め定められた閾値以下である浮遊物が存在する場合、距離が閾値以下である、注目中２値化フレーム画像において検出された浮遊物と後続２値化フレーム画像において検出された浮遊物とは同一の浮遊物であると判定する。この場合、追跡部２４３は、後続２値化フレーム画像において検出された浮遊物に、同一の浮遊物と判定した浮遊物に対して付与されている追跡ＩＤを付与する。そして、追跡部２４３は、付与した追跡ＩＤ２３３２が設定されている追跡情報２３３のエントリのポインタ２３３３が指し示す移動軌跡情報２３３４に新たなエントリを確保し、その確保したエントリの時刻２３３４１と位置情報２３３４２に、後続２値化フレーム画像の撮像時刻と後続２値化フレーム画像における浮遊物の座標値とを設定する。

一方、追跡部２４３は、注目中２値化フレーム画像において、後続２値化フレーム画像において検出された浮遊物との間の距離が予め定められた閾値以下となる浮遊物が存在しない場合、後続２値化フレーム画像において検出された浮遊物は新規な浮遊物と判定し、新たな追跡ＩＤを付与する。次に、追跡部２４３は、検出された新たな浮遊物毎に、後続２値化フレーム画像において検出された浮遊物に付与した追跡ＩＤを、新たに確保したエントリの図４の追跡ＩＤ２３３２の項目に設定し、対応するポインタ２３３３で指示される移動軌跡情報２３３４の先頭エントリの時刻２３３４１の項目に後続２値化フレーム画像の撮像時刻を設定し、位置情報２３３４２の項目に後続２値化フレーム画像における浮遊物の座標値を設定する。

追跡部２４３は、後続２値化フレーム画像において検出された全ての浮遊物に対して追跡ＩＤを付与し終えると、後続２値化フレーム画像に注目を移し、注目を移した後続２値化フレーム画像を新たな注目中２値化フレーム画像として扱って、上述した処理と同様の処理を繰り返す。そして、追跡部２４３は、画像情報２３２における最後のフレーム画像まで注目し終えると、追跡処理を終了する。

以上の説明では、追跡部２４３は、隣接する２つのフレーム画像における浮遊物間の距離に基づいて追跡を行った。しかし、追跡部２４３は、ｎフレーム（ｎは１以上の正の整数）を挟んで隣接する２つのフレーム画像における浮遊物間の距離に基づいて追跡を行うようにしてもよい。また、追跡部２４３は、ｍフレーム（ｍは０以上の正の整数）を挟んで隣接する２つのフレーム画像における浮遊物間の距離に基づいて追跡を行った追跡結果と、ｍ＋ｊフレーム（ｊは１以上の正の整数）を挟んで隣接する２つのフレーム画像における浮遊物間の距離に基づいて追跡を行った追跡結果とを総合的に判断して追跡を行うようにしてもよい。

判定部２４４は、記憶部２３０から追跡情報２３３を読み出し、追跡情報２３３に含まれる浮遊物の移動軌跡情報２３３４に基づいて、浮遊物が異物であるか気泡であるかを判定する。例えば、判定部２４４は、先ず、追跡情報２３３の先頭のエントリに注目する。次に、注目中エントリの追跡ＩＤ２３３２を注目中追跡ＩＤとし、注目中エントリのポインタ２３３３が指し示す移動軌跡情報２３３４を注目中移動軌跡情報とする。次に、判定部２４４は、注目中移動軌跡情報２３３４に記録されている時刻２３３４１と位置情報２３３４２の組によって特定される浮遊物の移動軌跡に基づいて、当該浮遊物が異物であるか、気泡であるか否かを判定する。そして、判定部２４４は、注目中追跡ＩＤに対応付けて、判定結果を内部に蓄積する。

浮遊物の移動軌跡に基づいて、浮遊物が異物であるか、気泡であるかを判定することができるのは、液体中の異物の移動軌跡の特徴と気泡の移動軌跡の特徴とが相違するためである。即ち、液体に比べて圧倒的に比重が小さな気泡は、液体中を反重力方向に移動する傾向が強く表れる。これに対して、気泡に対して比重の大きな異物は、液体中を反重力方向に移動する傾向は強くない。特に、比重が液体より大きい異物は、液体中を重力方向に移動する傾向が強い。このようなことから、液体中を反重力方向に移動する軌跡を描く浮遊物は気泡と判定でき、そのような軌跡を描かない浮遊物は異物と判定することができる。

判定部２４４が浮遊物の移動軌跡に基づいて、浮遊物が気泡であるか否かを判定する具体的な方法は、各種考えられる。例えば、判定部２４４は、浮遊物の移動軌跡から浮遊物が気泡、異物の何れであるかを推定するための機械学習を行った学習済みの学習モデルに浮遊物の移動軌跡（位置の時系列データ）を入力する。そして、判定部２４４は、当該浮遊物の移動軌跡が気泡の移動軌跡である推定確率を当該学習モデルから取得する。次に、判定部２４４は、推定確率を、予め定められた上限閾値ＴＨＨおよび下限閾値ＴＨＬと比較する。次に、判定部２４４は、推定確率が上限確率ＴＨＨより大きな確率であったとき、当該浮遊物を気泡であると判定する。また、判定部２４４は、推定確率が下限確率ＴＨＬより小さな確率であったとき、当該浮遊物を高い確率で異物であると判定する。また、判定部２４４は、推定確率が上限閾値ＴＨＨ以下、下限閾値ＴＨＬ以上であったとき、安全性を優先して当該浮遊物を低い確率で異物であると判定する。学習モデルは、例えば、容器４００内の様々な気泡および異物の移動軌跡を教師データとしてニューラルネットワークなどの機械学習アルゴリズムを用いた機械学習によって、事前に生成することができる。但し、浮遊物の移動軌跡から浮遊物が異物であるか、気泡であるかを判定する方法は上記に限定されず、パターンマッチングなどの方法によって浮遊物の移動軌跡のパターンを予め定義した気泡および異物の移動軌跡のパターンと照合した結果に応じて判定してもよい。

判定部２４４は、注目中追跡ＩＤの浮遊物が異物であるか、気泡であるかの判定を終えると、追跡情報２３３の次の１つのエントリの追跡ＩＤの浮遊物に注目を移し、上述した処理と同様の処理を繰り返す。そして、判定部２４４は、追跡情報２３３の最後のエントリの追跡ＩＤまで注目し終えると、内部に蓄積した追跡ＩＤ毎の判定結果を記憶制御部２４５に伝達する。

記憶制御部２４５は、判定部２４４から伝達された追跡ＩＤ毎の判定結果に応じた検査結果情報２３４を作成し、記憶部２３０に保存する。例えば、記憶制御部２４５は、先ず、初期化された検査結果情報２３４を記憶部２３０に作成し、その検査結果情報２３４の容器ＩＤ２３４１のエントリに、追跡情報２３３の容器ＩＤ２３３１を設定する。次に、記憶制御部２４５は、判定部２４４の判定結果において、異物と判定された浮遊物の総数を計数し、その計数値が０であれば、検査結果情報２３４の検査結果２３４２のエントリにＯＫ（検査合格）を設定し、異物検出数２３４３のエントリに値０を設定する。また、記憶制御部２４５は、異物と判定された浮遊物の総数が１以上であれば、検査結果情報２３４の検査結果２３４２のエントリにＮＧ（検査不合格）を設定し、異物検出数２３４３のエントリに異物と判定された浮遊物の総数を設定する。次に、記憶制御部２４５は、判定部２４４の判定結果において、気泡であると判定された浮遊物の総数を計数し、その計数値を検査結果情報２３４の気泡検出数２３４４のエントリに設定する。

次に、記憶制御部２４５は、異物であると判定された浮遊物毎に、検出異物ＩＤ２３４５とポインタ２３４６の組のエントリと、そのポインタ２３４６で指示される検出異物情報２３４９とを検査結果情報２３４に作成する。また、記憶制御部２４５は、検出異物ＩＤ２３４５の項目には、容器ＩＤ２３４１で識別される検査対象の容器４００から検出された異物を他の異物と区別するための通し番号などのＩＤを設定する。また、記憶制御部２４５は、検出異物情報２３４９における追跡ＩＤ２３４９１の項目には、異物であると判定された浮遊物に対して追跡情報２３３で付与された追跡ＩＤ２３３２を設定する。また、記憶制御部２４５は、ポインタ２３４９２の項目には、移動軌跡情報２３４９５へのポインタを設定する。また、記憶制御部２４５は、移動軌跡情報２３４９５には、異物であると判定された浮遊物に対して追跡情報２３３で作成された移動軌跡情報２３３４のコピーを設定する。また、記憶制御部２４５は、判定結果２３４９３のエントリには、高確率で異物と判定された場合にはその旨を示すテキスト（例えば、「異物！」の文字列）を、低確率で異物と判定された場合にはその旨を示すテキスト（例えば、「異物？」の文字列）をそれぞれ設定する。

また、記憶制御部２４５は、可視化画像２３４９４のエントリには、移動軌跡情報２３４９５に設定された時刻２３４９５１のうちの追跡開始時刻、または追跡中間時刻、または追跡終了時刻と容器ＩＤ２３４１との組を検索キーとして画像情報２３２から検索した特定のフレーム画像を背景画像とし、移動軌跡情報２３４９５の位置情報２３４９５２の時系列で特定される移動軌跡の画像を背景画像に重ね合わせて作成した可視化画像を設定する。例えば、記憶制御部２４５は、図６に示したような、異物の移動軌跡をカメラ画像に重ね合わせた可視化画像２３４９４を作成して保存する。

次に、記憶制御部２４５は、気泡であると判定された浮遊物毎に、検出気泡ＩＤ２３４７とポインタ２３４８の組のエントリと、そのポインタ２３４８で指示される検出気泡情報２３５０とを検査結果情報２３４に作成する。また、記憶制御部２４５は、検出気泡ＩＤ２３４７の項目には、容器ＩＤ２３４１で識別される検査対象の容器４００から検出された気泡を他の気泡と区別するための通し番号などのＩＤを設定する。また、記憶制御部２４５は、検出気泡情報２３５０における追跡ＩＤ２３５０１の項目には、気泡であると判定された浮遊物に対して追跡情報２３３で付与された追跡ＩＤ２３３２を設定する。また、記憶制御部２４５は、ポインタ２３５０２の項目には、移動軌跡情報２３５０５へのポインタを設定する。また、記憶制御部２４５は、移動軌跡情報２３５０５には、気泡であると判定された浮遊物に対して追跡情報２３３で作成された移動軌跡情報２３３４のコピーを設定する。また、記憶制御部２４５は、判定結果（気泡）２３５０３のエントリには、気泡である旨のテキスト（例えば、「気泡！」の文字列）を設定する。

また、記憶制御部２４５は、可視化画像２３５０４のエントリには、移動軌跡情報２３５０５に設定された時刻２３５０５１のうちの追跡開始時刻、または追跡中間時刻、または追跡終了時刻と容器ＩＤ２３４１との組を検索キーとして画像情報２３２から検索した特定のフレーム画像を背景画像とし、移動軌跡情報２３５０５の位置情報２３５０５２の時系列で特定される移動軌跡の画像を重ね合わせて作成した可視化画像が設定される。例えば、記憶制御部２４５は、図７に示したような、気泡の移動軌跡をカメラ画像に重ね合わせた可視化画像２３５０４を作成して保存する。

表示制御部２４６は、検査結果情報２３４を表示装置３００に表示する制御を行う。表示制御部２４６は、容器４００の検査の一環として、容器４００の検査結果が出るタイミングで、検査結果情報２３４を表示装置３００に表示する。また、表示制御部２４６は、容器４００の検査とは非同期に、外部からの指示に応じて、容器４００の検査結果情報２３４を表示装置３００に表示する。前者の表示形態を検査中表示、後者の表示形態を検査後表示と呼んで区別する。

＜検査中表示＞
表示制御部２４６は、記憶制御部２４５によって検査対象の容器４００に対する検査結果情報２３４が作成され次第、検査中表示を自動的に開始する。先ず、表示制御部２４６は、検査結果情報２３４を記憶部２３０から読み出す。次に、表示制御部２４６は、読み出した検査結果情報２３４に基づいて、検査結果表示画面を作成する。次に、表示制御部２４６は、作成した検査結果表示画面を表示装置３００に表示させる。

図８は、検査中表示によって表示装置３００に表示される検査結果表示画面の例を示す。この例では、表示制御部２４６は、検査結果表示画面上に、容器ＩＤ２３４１に設定された容器ＩＤ、検査結果２３４２に設定された検査結果（図示例では異物ありを示す）、異物検出数２３４３に設定された異物の総数、気泡検出数２３４４に設定された気泡の総数を、それぞれ表示している。また、図８の例では、表示制御部２４６は、検出異物ＩＤ２３４５に設定された異物ＩＤを、その判定結果２３４９３に設定された判定確率に応じて、高確率で異物であると判定されたＡ判定と低確率で異物であると判定されたＢ判定のグループに分類して、検査結果表示画面に表示している。また、表示制御部２４６は、両グループとも、推定確率の昇順または降順に異物ＩＤをソートして表示している。

また、図８の例では、表示制御部２４６は、検出気泡ＩＤ２３４７に設定された気泡ＩＤを、推定確率の昇順または降順にソートして検査結果表示画面に表示している。また、図８の例では、表示制御部２４６は、異物のＡ判定のグループの中から、例えば異物であった確率が最も高い異物ＩＤの可視化画像２３４９４を、検査結果表示画面に表示している。また、表示制御部２４６は、検査結果表示画面上に表示された何れかの異物ＩＤあるいは気泡ＩＤに対してダブルクリックなどの所定の操作が行われたことを検出すると、所定の操作が行われた異物ＩＤあるいは気泡ＩＤの可視化画像２３４９４を検査結果情報２３４から取り出して、検査結果表示画面に現在表示されている可視化画像の代わりに、検査結果表示画面に表示する。また、検査結果表示画面には、終了ボタンが表示されている。表示制御部２４６は、終了ボタンに対してダブルクリックなどの所定の操作が行われたことを検出すると、検査中表示を終了する。

＜検査後表示＞
表示制御部２４６は、容器４００の検査後の任意の時点、例えば、液体が封入された状態の容器４００を製品として出荷する前や出荷後などの時点で検査結果を確認しなければならなくなったときなどに、操作入力部２２０または通信Ｉ／Ｆ部２１０経由で外部装置から入力される指示を契機に検査後表示の制御を開始する。先ず、表示制御部２４６は、指示と共にあるいは別途に、表示対象とする容器ＩＤを操作入力部２２０などから入力する。次に、表示制御部２４６は、入力された容器ＩＤを検索キーとして、検索キーの容器ＩＤと一致する容器ＩＤ２３４１を有する検索結果情報２３４を検索し、記憶部２３０から読み出す。

次に、表示制御部２４６は、読み出した検査結果情報２３４に基づいて、検査結果表示画面を作成する。表示制御部２４６が検査結果情報２３４から検査結果表示画面を作成し、表示装置３００に表示する動作は、検査中表示と同じである。

図９は、検査後表示によって表示装置３００に表示された検査結果表示画面の例を示す。この例では、表示制御部２４６は、検査結果表示画面上に、容器ＩＤ２３４１に設定された容器ＩＤ、検査結果２３４２に設定された検査結果（図示例では異物なしを示す）、異物検出数２３４３に設定された異物の総数（図示例では０個）、気泡検出数２３４４に設定された気泡の総数を表示している。また、図９の例では、表示制御部２４６は、検出気泡ＩＤ２３４７に設定された気泡ＩＤを、推定確率の昇順または降順にソートして検査結果表示画面に表示している。また、図９の例では、表示制御部２４６は、表示した気泡ＩＤの中から、例えば気泡であった推定確率が最も低かった気泡ＩＤの可視化画像２３５０４を、検査結果表示画面に表示している。また、表示制御部２４６は、検査結果表示画面上に表示された何れかの気泡ＩＤに対してダブルクリックなどの所定の操作が行われたことを検出すると、所定の操作が行われた気泡ＩＤの可視化画像２３５０４を検査結果情報２３４から取り出して、検査結果表示画面に現在表示されている可視化画像の代わりに、検査結果表示画面に表示する。また、検査結果表示画面には、終了ボタンが表示されている。表示制御部２４６は、終了ボタンに対してダブルクリックなどの所定の操作が行われたことを検出すると、検査後表示を終了する。

以上の説明では、表示制御部２４６は、容器４００の検査結果に関係なく、常に検査の一環として検査中表示を行った。しかし、表示制御部２４６は、容器４００の検査結果に応じて、検査中表示を行うか否かを決定してもよい。例えば、表示制御部２４６は、検査結果がＮＧ、すなわち異物ありと判定された容器４００に限定して、検査中表示を行うようにしてもよい。この場合、異物なしの判定が出された容器４００では検査の一環として検査中表示は行われないことになる。あるいは、表示制御部２４６は、検査結果がＮＧであり、かつ、異物の判定結果２３４９３に低確率で異物である旨のテキストが設定されている容器４００に限定して、検査中表示を行うようにしてもよい。この場合、異物なしの判定が出された容器４００、および検査結果がＮＧであり、かつ、異物の判定結果２３４９３に高確率で異物である旨のテキストが設定されている容器４００では、検査の一環として検査中表示は行われないことになる。

また、検査中表示および検査後表示では、さらに以下に記載するような様々な表示を表示装置３００上に行うようにしてもよい。
・容器４００の検査で検出された全ての浮遊物（異物および気泡）の移動軌跡を表示する。
・容器４００の検査で検出された全ての浮遊物（異物および気泡）のうち、ユーザが指定したクラス（異物あるいは気泡）に属する全ての浮遊物の移動軌跡を表示する。
・容器４００の検査で検出された全ての浮遊物（異物および気泡）のうち、ユーザが指定したクラス（異物あるいは気泡）に属する全ての浮遊物の中から、ユーザが指定した浮遊物の移動軌跡だけを表示する。
・上記浮遊物の移動軌跡の表示では、表示する移動軌跡の区間をユーザが指定できるようにする。移動軌跡の区間の指定は、例えば、追跡開始時点から追跡終了時点までを指定、撮像時刻の範囲を指定などが考えられる。
・上記浮遊物の移動軌跡の表示では、動画再生の中で移動軌跡を表示する。その際、再生／停止の指定、再生スピードの変更、再生方向（順／逆）の指定、コマ送りの指定、追跡開始時点／追跡終了時点へのスキップなどをユーザが指定できるようにする。
・上記浮遊物の移動軌跡の表示では、浮遊物のクラス情報（異物あるいは気泡）を浮遊物の陰影付近に文字で表示し、あるいは陰影の色で表示し、あるいは軌跡の線種で表示する。
・上記浮遊物の移動軌跡の表示では、背景画像に特定のフレーム画像を使用せずに例えば黒色の背景とし、浮遊物の移動軌跡のみ白色などで表示する。

次に、本実施形態に係る検査システム１００の全体的な動作を説明する。

図１０は、１つの容器４００に対する検査開始から検査終了までの検査システム１００の動作の一例を示すフローチャートである。検査システム１００は、検査対象の容器４００が複数存在する場合、図１０に示す処理を容器４００毎に繰り返し実行する。検査システム１００は、把持装置１１０が検査対象の容器４００を正立した姿勢で把持している状態で検査を開始する。

先ず、取得部２４１は、容器４００内の液体の流動を誘発させる（ステップＳ１）。具体的には、取得部２４１は、把持装置１１０により容器４００を傾斜・揺動・回転させた後に正立した姿勢で静止させる。次に、取得部２４１は、照明装置１２０による透過照明の下で、カメラ装置１３０により容器４００内の液体を連続して撮像することにより、所定のフレームレートで所定の時間長にわたった撮像された時系列の画像を取得する（ステップＳ２）。取得部２４１によりカメラ装置１３０から取得された時系列の画像は、画像情報２３２として、記憶部２３０に保存される。図３に例示したように、画像情報２３２は、容器ＩＤ２３２１と撮像時刻２３２２とフレーム画像２３２３との組からなるエントリから構成されている。

次に、検出部２４２は、画像情報２３２に含まれる時系列の画像の中で、液体中に存在する浮遊物を検出する（ステップＳ３）。次に、追跡部２４３は、画像情報２３２に含まれる時系列の画像の中で、検出部２４２が検出した浮遊物を追跡する（ステップＳ４）。追跡部２４３により追跡された浮遊物それぞれの追跡結果は、追跡情報２３３として、記憶部２３０に保存される。図４に例示したように、追跡情報２３３は、追跡対象とする浮遊物毎の移動軌跡情報２３３４を含んでいる。

次に、判定部２４４は、追跡情報２３３に含まれる追跡ＩＤ２３３２で特定される浮遊物毎に、浮遊物の移動軌跡情報２３３４に基づいて、浮遊物が異物であるか気泡であるかを判定する（ステップＳ５）。次に、記憶制御部２４５は、判定部２４４により判定された浮遊物それぞれの判定結果を、検査結果情報２３４として、記憶部２３０に保存する（ステップＳ６）。検査結果情報２３４は、図５に例示したように、容器ＩＤ２３４１、検査結果２３４２、異物検出数２３４３、気泡検出数２３４４、検出された異物毎の検出異物情報２３４９および判定の根拠となった移動軌跡情報２３４９５、検出された気泡毎の検出気泡情報２３５０および判定の根拠となった移動軌跡情報２３５０５を含んでいる。

次に、表示制御部２４６は、容器４００の検査結果情報２３４を、容器４００の検査の一環として、表示装置３００に表示する（ステップＳ７）。図８に例示した検査結果表示画面では、容器ＩＤ、異物ありを文字で示す検査結果、検出された異物の総数、そのうち高確率で異物であると判定されたＡ判定の異物ＩＤ、低確率で異物であると判定されたＢ判定の異物ＩＤ、検出された気泡の総数と個々の気泡ＩＤ、代表的な異物に関して異物判定の根拠となった移動軌跡情報を可視化した可視化画像とが表示されている。表示制御部２４６は、ユーザによって何れかの異物ＩＤに対してダブルクリックなどの所定の操作が行われると、当該操作が行われた異物ＩＤに対応する検出異物情報２３４９から可視化画像２３４９４を読み出し、検査結果表示画面に現在表示している可視化画像に代えて、上記読み出した可視化画像２３４９４を表示する。このようにして、ユーザは全ての異物について、その判定根拠である移動軌跡の可視化画像を検査結果表示画面上で確認することができる。また、表示制御部２４６は、ユーザによって何れかの気泡ＩＤに対してダブルクリックなどの所定の操作が行われると、当該操作が行われた気泡ＩＤに対応する検出気泡情報２３５０から可視化画像２３５０４を読み出し、検査結果表示画面に現在表示している可視化画像に代えて、上記読み出した可視化画像２３５０４を表示する。このようにして、ユーザは全ての気泡について、その判定根拠である移動軌跡の可視化画像を検査結果表示画面上で確認することができる。

図１１は、検査システム１００の検査後表示動作の一例を示すフローチャートである。検査システム１００は、操作入力部２２０または通信Ｉ／Ｆ部２１０経由で外部装置から入力される検査後表示指示を契機に図１１に示される処理を開始する。先ず、表示制御部２４６は、表示対象とする容器ＩＤを操作入力部２２０などから入力する（ステップＳ１１）。次に、表示制御部２４６は、入力された容器ＩＤを検索キーとして、検索キーの容器ＩＤと一致する容器ＩＤ２３４１を有する検索結果情報２３４を記憶部２３０から検索する（ステップＳ１２）。

次に、表示制御部２４６は、検索して得られた検索結果情報２３４に基づいて、検査結果表示画面を作成し、表示装置３００に表示する（ステップＳ１３）。図９に例示した検査結果表示画面では、容器ＩＤ、異物なしを文字で表示する検査結果、検出された異物の総数が０個である表示、検出された気泡の総数が４個であり、それぞれの気泡ＩＤがＩＤ１１、ＩＤ１２、ＩＤ１３、ＩＤ１４である表示、代表的な気泡に関して気泡判定の根拠となった移動軌跡情報を可視化した可視化画像が表示されている。表示制御部２４６は、ユーザによって何れかの気泡ＩＤに対してダブルクリックなどの所定の操作が行われると、当該操作が行われた気泡ＩＤに対応する検出気泡情報２３５０から可視化画像２３５０４を読み出し、検査結果表示画面に現在表示している可視化画像に代えて、上記読み出した可視化画像２３５０４を表示する。このようにして、ユーザは全ての気泡について、その判定根拠である移動軌跡の可視化画像を検査結果表示画面上で確認することができる。

以上説明したように、本実施形態によれば、検査の行われた個々の容器について、検査後の任意の時点において、判定結果と共に判定の根拠を容易に確認することができる。その理由は、検査システム１００は、検査の行われた容器４００の容器ＩＤに関連付けて、当該容器４００に封入された液体中に存在する浮遊物が異物であるか気泡であるかの判定結果とその判定の根拠となった浮遊物の移動軌跡の情報とを含む検査結果情報２３４を記憶部２３０に記憶させているためである。また、検査システム１００は、検査後の任意の時点で、記憶部２３０に記憶された当該容器４００の判定結果と判定の根拠とした浮遊物の移動軌跡の情報とを表示装置３００に表示させるためである。

［第２の実施の形態］
次に、本発明の第２の実施形態について図１２を参照して説明する。本実施形態では、本発明の検査システムの概略を説明する。

図１２を参照すると、第２の実施形態に係る検査システム１０は、容器に封入された液体中の異物の有無を検査する検査システムであって、浮遊物検出・追跡手段１１と、判定・記憶制御手段１２と、表示制御手段１３とを含んで構成されている。

浮遊物検出・追跡手段１１は、容器内の液体をカメラによって連続して撮像して得られた時系列の画像の中で、液体中に存在する浮遊物を検出して追跡するように構成されている。浮遊物検出・追跡手段１１は、例えば、図２の取得部２４１と検出部２４２と追跡部２４３とから構成することができるが、それに限定されない。

判定・記憶制御手段１２は、浮遊物検出・追跡手段１１によって追跡された浮遊物の移動軌跡に基づいて、浮遊物が異物であるか気泡であるかを判定し、判定の結果と判定の根拠となった浮遊物の移動軌跡の情報とを含む検査結果情報を、容器の識別情報に関連付けて記憶手段に記憶するように構成されている。判定・記憶制御手段１２は、例えば、図２の判定部２４４と記憶制御部２４５とから構成することができるが、それに限定されない。

表示制御手段１３は、上記検査結果情報に含まれる判定の結果と判定の根拠とした浮遊物の移動軌跡の情報を表示手段に表示させるように構成されている。表示制御手段１３は、例えば、図２の表示制御部２４６から構成することができるが、それに限定されない。

このように構成された検査システム１０は、以下のように動作する。即ち、先ず、浮遊物検出・追跡手段１１は、容器内の液体をカメラによって連続して撮像して得られた時系列の画像の中で、液体中に存在する浮遊物を検出して追跡する。次に、判定・記憶制御手段１２は、浮遊物検出・追跡手段１１によって追跡された浮遊物の移動軌跡に基づいて、浮遊物が異物であるか気泡であるかを判定し、判定の結果と判定の根拠となった浮遊物の移動軌跡の情報とを含む検査結果情報を、容器の識別情報に関連付けて記憶手段に記憶する。次に、表示制御手段１３は、上記検査結果情報に含まれる判定の結果と判定の根拠とした浮遊物の移動軌跡の情報を表示手段に表示させる。

以上説明したように、本実施形態によれば、検査の行われた個々の容器について、検査後の任意の時点において、判定結果と共に判定の根拠を容易に確認することができる。その理由は、判定・記憶制御手段１２は、浮遊物検出・追跡手段１１によって追跡された浮遊物の移動軌跡に基づいて、浮遊物が異物であるか気泡であるかを判定し、判定の結果と判定の根拠となった浮遊物の移動軌跡の情報とを含む検査結果情報を、容器の識別情報に関連付けて記憶手段に記憶するためである。また、表示制御手段１３は、上記検査結果情報に含まれる判定の結果と判定の根拠とした浮遊物の移動軌跡の情報を表示手段に表示させるためである。

以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。例えば、以下のような構成も本発明に含まれる。

例えば、検査システムは、浮遊物の移動軌跡に加えて、浮遊物の画像特徴、サイズや平均輝度値などの静的な情報に基づいて浮遊物が異物であるか気泡であるかを判定してもよい。移動軌跡などの動き情報に加えて上記のような静的な情報も併せて判断することによって、異物や気泡の特徴を総合的に判断できるため、高い判定精度が得られる。この場合、判断に使用した上記静的な情報も浮遊物の移動軌跡の情報に含めて検査結果情報に保存しておいてもよい。

検査システムは、検査対象の容器を傾斜・揺動・回転させた後に静止した状態から初めて液体中の浮遊物の追跡を開始するのではなく、傾斜・揺動・回転している最中から液体中の浮遊物の追跡を開始するようにしてもよい。この場合、傾斜・揺動・回転する容器をカメラで連続して撮像するフレームレートは、傾斜・揺動・回転によって移動する容器の速度に応じた分だけ、静止した姿勢の容器中の異物を撮像するときのフレームレートより十分に高くすることが望ましい。傾斜・揺動・回転中の容器の姿勢は、モータに取り付けたエンコーダなどから取得してもよいし、容器が動く際に連動して動くマーカをカメラ視野に含め、フレーム画像中のマーカの位置から容器の姿勢を検出してもよい。さらに、容器の傷や汚れなどは、容器の傾斜・揺動・回転に完全に連動して動くため、フレーム画像中でマーカと完全に連動して動く陰影を容器の傷や汚れなどとして検出してもよい。

検査結果情報には、検査が行われた日時の情報、検査担当者名などの情報がさらに含まれていてもよい。

本発明は、透明または半透明な容器に封入された薬剤や水などの液体中の異物を検出する分野に利用できる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
［付記１］
容器に封入された液体中の異物の有無を検査する検査システムであって、
前記容器内の液体をカメラによって連続して撮像して得られた時系列の画像の中で、液体中に存在する浮遊物を検出して追跡する浮遊物検出・追跡手段と、
前記追跡された浮遊物の移動軌跡に基づいて、前記浮遊物が異物であるか気泡であるかを判定し、前記判定の結果と判定の根拠となった前記浮遊物の移動軌跡の情報とを含む検査結果情報を前記容器の識別情報に関連付けて記憶手段に記憶する判定・記憶制御手段と、
前記検査結果情報に含まれる前記判定の結果と判定の根拠とした前記浮遊物の移動軌跡の情報を表示手段に表示させる表示制御手段と、
を備える検査システム。
［付記２］
前記表示制御手段は、前記浮遊物の移動軌跡の情報を可視化した可視化画像を前記表示手段に表示させるように構成されている、
付記１に記載の検査システム。
［付記３］
前記時系列の画像間の時間間隔は、前記容器内で検出する異物と前記容器内の液体との比重の差に応じて決定されている、
付記１または２に記載の検査システム。
［付記４］
前記時系列の画像は、傾斜・揺動・回転させられた後に所定の姿勢で静止した状態の前記容器内で流動する液体を連続して撮像した時系列の画像を含む、
付記１乃至３の何れかに記載の検査システム。
［付記５］
前記表示制御手段は、前記容器の検査終了後の任意の時点において、前記容器の識別情報が入力されると、前記入力された前記容器の識別情報に関連付けられた前記検査結果情報を前記記憶手段から取得し、該取得した前記検査結果情報に含まれる前記判定の結果と判定の根拠とした前記浮遊物の移動軌跡の情報を表示手段に表示させるように構成されている、
付記１乃至４の何れかに記載の検査システム。
［付記６］
前記表示制御手段は、前記容器の検査の一環として、前記検査結果情報が記憶されると可及的速やかに、前記記憶された検査結果情報に含まれる前記判定の結果と判定の根拠とした前記浮遊物の移動軌跡の情報を前記表示手段に表示させるように構成されている、
付記１乃至５の何れかに記載の検査システム。
［付記７］
容器に封入された液体中の異物の有無を検査する検査方法であって、
前記容器内の液体をカメラによって連続して撮像して得られた時系列の画像の中で、液体中に存在する浮遊物を検出して追跡し、
前記追跡された浮遊物の移動軌跡に基づいて、前記浮遊物が異物であるか気泡であるかを判定し、
前記判定の結果と判定の根拠となった前記浮遊物の移動軌跡の情報とを含む検査結果情報を前記容器の識別情報に関連付けて記憶手段に記憶し、
前記検査結果情報に含まれる前記判定の結果と判定の根拠とした前記浮遊物の移動軌跡の情報を表示手段に表示させる、
検査方法。
［付記８］
前記表示では、前記浮遊物の移動軌跡の情報を可視化した可視化画像を前記表示手段に表示させる、
付記７に記載の検査方法。
［付記９］
前記時系列の画像間の時間間隔は、前記容器内で検出する異物と前記容器内の液体との比重の差に応じて決定されている、
付記７または８に記載の検査方法。
［付記１０］
前記時系列の画像は、傾斜・揺動・回転させられた後に所定の姿勢で静止した状態の前記容器内で流動する液体を連続して撮像した時系列の画像を含む、
付記７乃至９の何れかに記載の検査方法。
［付記１１］
前記表示では、前記容器の検査終了後の任意の時点において、前記容器の識別情報が入力されると、前記入力された前記容器の識別情報に関連付けられた前記検査結果情報を前記記憶手段から検索して取得し、該取得した前記検査結果情報に含まれる前記判定の結果と判定の根拠とした前記浮遊物の移動軌跡の情報を表示手段に表示させる、
付記７乃至１０の何れかに記載の検査方法。
［付記１２］
前記表示では、前記容器の検査の一環として、前記検査結果情報が記憶されると可及的速やかに、前記記憶された検査結果情報に含まれる前記判定の結果と判定の根拠とした前記浮遊物の移動軌跡の情報を前記表示手段に表示させる、
付記７乃至１１の何れかに記載の検査方法。
［付記１３］
容器に封入された液体中の異物の有無を検査するコンピュータに、
前記容器内の液体をカメラによって連続して撮像して得られた時系列の画像の中で、液体中に存在する浮遊物を検出して追跡する処理と、
前記追跡された浮遊物の移動軌跡に基づいて、前記浮遊物が異物であるか気泡であるかを判定する処理と、
前記判定の結果と判定の根拠となった前記浮遊物の移動軌跡の情報とを含む検査結果情報を前記容器の識別情報に関連付けて記憶手段に記憶する処理と、
前記検査結果情報に含まれる前記判定の結果と判定の根拠とした前記浮遊物の移動軌跡の情報を表示手段に表示させる処理と、
を行わせるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

１００ 検査システム
１１０ 把持装置
１２０ 照明装置
１３０ カメラ装置
２００ 検査装置
３００ 表示装置
４００ 容器

Claims (9)

1. 容器に封入された液体中の異物の有無を検査する検査システムであって、
   前記容器内の液体をカメラによって連続して撮像して得られた時系列の画像の中で、液体中に存在する浮遊物を検出して追跡する浮遊物検出・追跡手段と、
   前記追跡された浮遊物の移動軌跡に基づいて、前記浮遊物が異物であるか気泡であるかを判定し、前記判定の結果と判定の根拠となった前記浮遊物の移動軌跡の情報とを含む検査結果情報を前記容器の識別情報に関連付けて記憶手段に記憶する判定・記憶制御手段と、
   前記検査結果情報に含まれる前記判定の結果と判定の根拠とした前記浮遊物の移動軌跡の情報を出力する制御手段と、
   を備える検査システム。
2. 前記制御手段は、前記浮遊物の移動軌跡の情報を可視化した可視化画像を出力するように構成されている、
   請求項１に記載の検査システム。
3. 前記時系列の画像間の時間間隔は、前記容器内で検出する異物と前記容器内の液体との比重の差に応じて決定されている、
   請求項１または２に記載の検査システム。
4. 前記時系列の画像は、傾斜・揺動・回転させられた後に所定の姿勢で静止した状態の前記容器内で流動する液体を連続して撮像した時系列の画像を含む、
   請求項１乃至３の何れかに記載の検査システム。
5. 前記制御手段は、前記容器の検査終了後の任意の時点において、前記容器の識別情報が入力されると、前記入力された前記容器の識別情報に関連付けられた前記検査結果情報を前記記憶手段から取得し、該取得した前記検査結果情報に含まれる前記判定の結果と判定の根拠とした前記浮遊物の移動軌跡の情報を出力するように構成されている、
   請求項１乃至４の何れかに記載の検査システム。
6. 前記制御手段は、前記容器の検査の一環として、前記検査結果情報が記憶されると可及的速やかに、前記記憶された検査結果情報に含まれる前記判定の結果と判定の根拠とした前記浮遊物の移動軌跡の情報を出力するように構成されている、
   請求項１乃至５の何れかに記載の検査システム。
7. 容器に封入された液体中の異物の有無を検査する検査方法であって、
   前記容器内の液体をカメラによって連続して撮像して得られた時系列の画像の中で、液体中に存在する浮遊物を検出して追跡し、
   前記追跡された浮遊物の移動軌跡に基づいて、前記浮遊物が異物であるか気泡であるかを判定し、
   前記判定の結果と判定の根拠となった前記浮遊物の移動軌跡の情報とを含む検査結果情報を前記容器の識別情報に関連付けて記憶手段に記憶し、
   前記検査結果情報に含まれる前記判定の結果と判定の根拠とした前記浮遊物の移動軌跡の情報を出力する、
   検査方法。
8. 前記出力では、前記浮遊物の移動軌跡の情報を可視化した可視化画像を出力する、
   請求項７に記載の検査方法。
9. 容器に封入された液体中の異物の有無を検査するコンピュータに、
   前記容器内の液体をカメラによって連続して撮像して得られた時系列の画像の中で、液体中に存在する浮遊物を検出して追跡する処理と、
   前記追跡された浮遊物の移動軌跡に基づいて、前記浮遊物が異物であるか気泡であるかを判定する処理と、
   前記判定の結果と判定の根拠となった前記浮遊物の移動軌跡の情報とを含む検査結果情報を前記容器の識別情報に関連付けて記憶手段に記憶する処理と、
   前記検査結果情報に含まれる前記判定の結果と判定の根拠とした前記浮遊物の移動軌跡の情報を出力させる処理と、
   を行わせるためのプログラム。

Images