JP7234502B2 - 方法、装置、及びプログラム - Google Patents

Description

本発明は、方法、装置、及びプログラムに関する。

光源によって容器を背面から照明し、容器に封入された液体中に含まれる物体（異物、気泡）を目視で分別することが行われている。また、光の反射特性が異物と気泡とで異なることを利用して、異物と気泡とを分別する方法が提案されている（例えば、特許文献１参照）。

特開２００１－１１６７０３号公報

しかしながら、目視による方法では、注目する領域や照明条件、また、検査者の疲労などにより、異物を見逃したり、気泡を異物と見間違えるおそれがある。また、異物と気泡との間の光の反射特性の違いを利用する場合、容器の形状によっては、例えば、容器表面からの反射光が気泡からの反射光と重畳され、異物の識別性能が低下するおそれがある。

１つの側面では、本発明は、異物の検出精度を向上できる方法、装置、及びプログラムを提供することを目的とする。

一つの態様では、方法は、容器に封入された第１の液体を所定時間間隔で撮像した複数の第１画像を用い、前記第１の液体中に含まれる第１の物体の第１の動き方及び第１の比重を学習する処理と、容器に封入された第２の液体を所定時間間隔で撮像した複数の第２画像を用い、前記第２の液体中に含まれる第２の物体の第２の動き方及び第２の比重を取得する処理と、前記第１の動き方及び前記第１の比重と、前記第２の動き方及び前記第２の比重と、をそれぞれ比較する処理と、をコンピュータが実行する。

異物の検出精度を向上できる。

図１は、実施例１に係る検査システムを概略的に示す図である。 図２は、情報処理装置のハードウェア構成の一例を示す図である。 図３は、情報処理装置の機能ブロック図である。 図４は、識別データ作成時に行われる処理のフローチャートである。 図５は、情報処理装置が実行する学習処理のフローチャートである。 図６（Ａ）～図６（Ｃ）は、学習データＤＢの一例を示す図である。 図７（Ａ）は、所定時間間隔で撮像された複数の画像の一例であり、図７（Ｂ）は、液体中に存在する物体の重心位置について説明する図であり、図７（Ｃ）は、物体の方向ベクトルの算出について説明する図であり、図７（Ｄ）は、物体の移動軌跡について説明する図である。 図８（Ａ）及び図８（Ｂ）は、物体の分類を入力する画面を示す図である。 図９は、各特徴量に対する物体の分布状態を示す図である。 図１０は、検査時の処理を示すフローチャートである。 図１１は、情報処理装置が実行する検査処理のフローチャートである。 図１２は、検査システムにおける処理の別例を示すフローチャートである。

以下、実施例１に係る検査システムについて、図１～図１１に基づいて詳細に説明する。検査システムは、容器内に封入された液体中に異物が存在するか否かを検査するシステムである。

図１には、実施例１に係る検査システム１００の構成が概略的に示されている。図１に示すように、検査システム１００は、光源１０と、光源制御装置１１と、ステージ２０と、ステージ制御装置２１と、撮像装置３０と、撮像制御装置３１と、情報処理装置５０と、を備える。

光源１０は、光源制御装置１１の制御の下、検査対象となる液体封入容器Ｃ１（以下、容器Ｃ１と記載する）を照明する。

光源制御装置１１は、情報処理装置５０からの指示に従って、光源１０の明るさ等を制御する。

ステージ２０は、検査対象の容器Ｃ１を固定する。また、ステージ２０は、ステージ制御装置２１の制御の下、容器Ｃ１内の液体に外乱を与えるように駆動する。

ステージ制御装置２１は、情報処理装置５０からの指示に従って、ステージ２０を駆動させる。

撮像装置３０は、撮像制御装置３１の制御の下、ステージ２０に固定された容器Ｃ１を連続して撮像する。

撮像制御装置３１は、情報処理装置５０からの指示に従って、撮像装置３０の撮像タイミング、露光時間等を制御する。

情報処理装置５０は、検査システム１００を全体的に制御する。また、情報処理装置５０は、撮像装置３０が撮像した時系列で連続する複数の画像を用いて、容器Ｃ１内の液体中に異物が存在するか否かを検査する。

情報処理装置５０は、図２に示すようなハードウェア構成を有する。具体的には、情報処理装置５０は、図２に示すように、Central Processing Unit（ＣＰＵ）５１１、Read Only Memory（ＲＯＭ)５１２、Random Access Memory（ＲＡＭ)５１３、記憶装置（Hard Disk Drive：ＨＤＤ）５１４、ネットワークインタフェース５１５、及び可搬型記憶媒体５１６に記憶されたデータを読み取り可能な可搬型記憶媒体用ドライブ５１７、入力装置５１８、及び表示装置５１９等を備えている。これら情報処理装置５０の構成各部は、バス５２０に接続されている。入力装置５１８は、例えば、キーボード、マウス、及びタッチパネル等であるが、これらに限定されるものではない。ＣＰＵ５１１は、ＲＯＭ５１２あるいはＨＤＤ５１４に格納されているプログラム、或いは可搬型記憶媒体用ドライブ５１７が可搬型記憶媒体５１６から読み取ったプログラムを実行することで、情報処理装置５０を図３の各部として機能させる。

具体的には、図３に示すように、ＣＰＵ５１１がプログラムを実行することにより、情報処理装置５０は、受付部５１、学習部５２、取得部及び検査部としての検査部５３、調整部としての撮像制御部５７、及び駆動部５８として機能する。

受付部５１は、撮像装置３０が所定時間間隔で撮像した複数の画像を、撮像制御装置３１を介して撮像装置３０から受け付け、学習部５２又は検査部５３に出力する。また、受付部５１は、例えば入力装置５１８を介し、ユーザから、容器Ｃ１に封入された液体に関する情報（例えば、液体の種類及び比重等）の入力を受け付ける。また、受付部５１は、入力装置５１８を介し、ユーザから、撮像装置３０が撮像した画像において容器Ｃ１に封入された液体中に存在する各物体の分類の入力を受け付ける。

学習部５２は、受付部５１を介して取得した、所定時間間隔で撮像された複数の画像を用いた学習処理を行い、容器Ｃ１に封入された液体内の物体を識別するためのデータ（識別データ）を作成する。

検査部５３は、受付部５１を介して取得した、所定時間間隔で撮像された複数の画像と、学習部５２が作成した識別データとを用いて、容器Ｃ１に封入された液体中に異物が存在するか否かを検査する検査処理を行う。検査部５３は、検査結果を、例えば、製造ラインの制御装置に出力する。

撮像制御部５７は、撮像制御装置３１を介して、撮像装置３０を制御する。より具体的には、撮像制御部５７は、撮像装置３０側に配置された照度計（不図示）による容器Ｃ１を透過した透過光の検出結果に基づき、撮像装置３０の露光時間を調整する。また、撮像制御部５７は、撮像装置３０の撮像タイミングを制御する。

駆動部５８は、容器Ｃ１に封入された液体中に存在する異物を浮遊させるために、ステージ制御装置２１を介してステージ２０を駆動し、容器Ｃ１内の液体に外乱を与える。

（識別データの作成）
次に、検査システム１００における、容器Ｃ１に封入された液体内の物体を識別するためのデータ（識別データ）の作成について説明する。図４は、識別データ作成時の処理を示すフローチャートである。図４の処理は、容器Ｃ１がステージ２０上に配置されると開始される。

まず、撮像制御部５７が、撮像装置３０の露光時間を調整する（ステップＳ１０３）。例えば、撮像制御部５７は、撮像装置３０側に配置された照度計（不図示）による容器Ｃ１を透過した透過光の検出結果に基づき、撮像装置３０の露光時間を調整する。なお、撮像制御部５７は、照度計の検出結果に基づき、光源１０の明るさを調整してもよい。

次に、駆動部５８が、容器Ｃ１に封入された液体中に存在する異物を浮遊させるために、ステージ制御装置２１を介してステージ２０を駆動し、容器Ｃ１内の液体に外乱を与える（ステップＳ１０５）。後述する学習処理において、異物の動き方、より詳しくは、異物の動き方に関する特徴量を学習するためである。例えば、駆動部５８は、容器Ｃ１を反転させるようにステージ２０を駆動する。駆動部５８は、容器Ｃ１を反転させた後に、容器Ｃ１を元の姿勢に戻すようにステージ２０を駆動させてもよい。なお、容器Ｃ１に封入された液体中に存在する異物を浮遊させることができれば、反転ではなく、他の態様でステージ２０を駆動させてもよい。

次に、撮像制御部５７は、撮像装置３０によって、ステージ２０に固定された容器Ｃ１内の液体を所定時間間隔で撮像する（ステップＳ１０７）。これにより、容器Ｃ１内の液体を所定時間間隔で撮像した複数の画像が得られる。

次に、情報処理装置５０は、学習処理を実行する（ステップＳ１０８）。

（学習処理）
ここで、学習処理（ステップＳ１０８）の詳細について、図５のフローチャート及びその他図面を適宜参照して説明する。

図５の処理では、まず、受付部５１が、入力装置５１８を介して、容器Ｃ１に封入された液体に関するデータ（液体の種類及び比重）の入力をユーザから受け付け、ＨＤＤ５１４等に記憶されている学習データＤＢ５４（図３参照）に格納する（ステップＳ１１）。

学習データＤＢ５４は、例えば、図６（Ａ）に示すように、液体種類、液体比重、物体形状、物体面積、物体比重、移動軌跡、及び分類結果のフィールドを備える。受付部５１は、ステップＳ１１において入力を受け付けた、容器Ｃ１に封入された液体の種類及び比重を、図６（Ａ）に示すように、学習データＤＢ５４の液体種類及び液体比重のフィールドに格納する。

図５に戻り、続いて、学習部５２は、撮像装置３０により所定時間間隔で容器Ｃ１を撮像した複数の画像（図４のステップＳ１０７で撮像した画像）を受付部５１を介して撮像装置３０から取得する（ステップＳ１３）。

続いて、学習部５２は、各画像において、容器Ｃ１に封入された液体中の物体を抽出する（ステップＳ１５）。例えば、図７（Ａ）に示す、所定時間間隔で撮像された４つの画像が取得されている場合、学習部５２は、物体ＯＢ１、ＯＢ２、及びＯＢ３を各画像において抽出する。

次に、学習部５２は、抽出した各物体の特徴量を算出し、学習データＤＢ５４を更新する（ステップＳ１７）。本実施形態においては、学習部５２は、物体の動き方に関する特徴量（例えば、移動方向及び移動速度の情報を含む移動軌跡）を算出し、学習データＤＢ５４を更新する。さらに、学習部５２は、物体の形状、面積、比重を特徴量として算出し学習データＤＢ５４を更新する。

ここで、移動軌跡の算出方法について説明する。まず、学習部５２は、図７（Ｂ）に示すように、ステップＳ１５において抽出した各物体ＯＢ１～ＯＢ３の重心位置ＰＣＧ１～ＰＣＧ３を求める。そして、学習部５２は、図７（Ｃ）に示すように、隣接する画像間における各物体ＯＢ１～ＯＢ３の方向ベクトル（オプティカルフロー）ＯＦ１～ＯＦ３を算出する。なお、図７（Ｃ）及び図７（Ｄ）において、ＯＢ１（ｎ）は、ｎフレーム目の画像における物体ＯＢ１を示し、ＯＢ１（ｎ＋１）は、ｎ＋１フレーム目の画像における物体ＯＢ１を示す。また、ＯＢ１（ｎ＋２）は、ｎ＋２フレーム目の画像における物体ＯＢ１を示し、ＯＢ１（ｎ＋３）は、ｎ＋３フレーム目の画像における物体ＯＢ１を示す。他の物体ＯＢ２及びＯＢ３についても同様である。また、学習部５２は、オプティカルフローＯＦ１～ＯＦ３から、各物体ＯＢ１～ＯＢ３について、図７（Ｄ）において矢印で示す、例えば、移動方向及び移動速度の情報を含む移動軌跡を算出する。なお、オプティカルフローは、重心位置の代わりに、各物体を囲む矩形領域の中心位置、あるいは各物体が含まれる同一領域のフレーム毎の明るさの変化に基づいて算出してもよい。

なお、物体の比重については、学習部５２は、ステップＳ１１で入力を受け付けた容器Ｃ１に封入された液体の比重と、オプティカルフローＯＦ１～ＯＦ３から算出された物体ＯＢ１～ＯＢ３の鉛直方向の移動速度とに基づいて、物体ＯＢ１～ＯＢ３の比重を算出する。

また、物体の形状及び面積については、学習部５２は、各画像に対し画像認識処理を行い、ステップＳ１５において抽出した各物体ＯＢ１～ＯＢ３の形状及び面積を取得し、その平均値を算出する。

学習部５２は、各物体について算出した物体の形状、面積、比重、及び移動軌跡を、図６（Ｂ）に示すように、学習データＤＢ５４の物体形状、物体面積、物体比重、及び移動軌跡のフィールドに格納する。

図５に戻り、次に、学習部５２は、各物体についてのデータに対し、ユーザが入力装置５１８を介して入力した物体の分類（例えば、異物又は気泡）を取得し、学習データＤＢ５４を更新する（ステップＳ１９）。例えば、学習部５２は、表示装置５１９に、図８（Ａ）に示すような画面ＳＣＲ１を表示する。当該画面ＳＣＲ１の左上には、撮像装置３０が撮像した画像と、学習部５２が抽出した物体とが表示され、右上には、容器Ｃ１が封入する液体の種類及び比重が表示されている。また、下側には、各物体について算出した特徴量が表示されている。ユーザは、画面ＳＣＲ１において画像を確認しながら、図８（Ｂ）に示すように、各物体の分類を入力欄ＥＦ１に入力する。そして、ユーザが保存ボタンＢ１を押すと、入力欄ＥＦ１に入力された分類が、受付部５１を介して学習部５２に入力される。学習部５２は、入力された物体の分類を、図６（Ｃ）に示すように、学習データＤＢ５４の、分類結果のフィールドに格納する。

次に、学習部５２は、物体の識別に使用する識別データの生成に過去の学習データを使用するか否かを判定する（ステップＳ２１）。例えば、学習部５２は、入力装置５１８を介して、過去の学習データを使用する指示をユーザから受け付けた場合に、過去の学習データを識別データの生成に使用すると判定する。

過去の学習データを識別データの生成に使用しない場合（ステップＳ２１／ＮＯ）、学習部５２は、今回の学習データに基づいて、識別データを作成し、識別データＤＢ５６に格納する（ステップＳ２３）。

一方、過去の学習データを識別データの生成に使用する場合（ステップＳ２１／ＹＥＳ）、学習部５２は、今回及び過去の学習データに基づいて、識別データを作成し、識別データＤＢ５６に格納する（ステップＳ２５）。

ステップＳ２３又はＳ２５の処理により、図９に示すような、各特徴量を軸とする空間における各物体の分布状態が識別データとして得られる。図９の例では、例えば異物Ａは、粒子の大きさが大きく、移動方向が下向きで、移動速度が大きい領域に分布している。異物Ｂは、移動方向は上向きでも下向きでもなく、移動速度が小さく、粒子の大きさが小さい領域に分布している。また、気泡は、移動方向が上向きで、粒子の大きさが小さく、移動速度は異物Ａよりも遅い領域に分布している。

（異物検査）
次に、容器Ｃ１に封入された液体中に異物が存在するか否かの検査について説明する。図１０は、検査時に行われる処理を示すフローチャートである。図１０の処理は、容器Ｃ１がステージ２０に配置されると開始される。

ステップＳ２０３～ステップＳ２０７の処理は、識別データ作成時の処理（ステップＳ１０３～Ｓ１０７）と同様であるため、詳細な説明を省略する。

撮像装置３０により所定時間間隔で容器Ｃ１を撮像すると（ステップＳ２０７）、検査部５３が検査処理を実行する（ステップＳ２０８）。

（検査処理）
ここで、検査処理の詳細について、図１１のフローチャート及びその他図面を適宜参照して説明する。

図１１において、ステップＳ５１～ステップＳ５５の処理は、図５のステップＳ１１～Ｓ１５の処理と略同様であるため、詳細な説明を省略する。

検査部５３は、図５のステップＳ１７と同様に、抽出した各物体の形状、面積、比重、及び移動軌跡を算出する（ステップＳ５７）。

続いて、検査部５３は、ステップＳ５７で算出した特徴量と、識別データＤＢ５６に格納されている異物の特徴量とを比較し、異物の有無を検査する（ステップＳ５９）。具体的には、検査部５３は、ステップＳ５５で抽出した物体のそれぞれについて、物体の動き方に関する特徴量と、識別データＤＢ５６に格納されている異物の動き方に関する特徴量とを比較する。さらに、物体の形状、面積、及び比重と、識別データＤＢ５６に格納されている異物の形状、面積、及び比重とを比較する。検査部５３は、例えば、ステップＳ５７で算出した特徴量と識別データＤＢ５６に格納されている異物の特徴量との類似度が閾値以上である場合に、物体が異物であると判定する。これにより、異物の有無を検査できる。上記の類似度は、たとえば、画像間の明るさの違いを正規化相関などにより求めることで、抽出した物体の形状と格納されている異物の形状との間の類似度としたり、移動軌跡の各方向ベクトル同士の成す角度の近さをコサイン演算などにより求めることで、抽出した物体の移動軌跡と格納されている異物の移動軌跡との間の類似度としてもよい。

続いて検査部５３は、検査結果を出力する（ステップＳ６１）。具体的には、検査部５３は、異物の有無を例えば製造ラインの制御装置に出力し、図１０のステップＳ２１０に移行する。これにより、例えば、異物があるという検査結果を受信した製造ラインの制御装置は、液体中に異物を含む容器Ｃ１を製造ラインからはじくことができる。

図１０に戻り、検査処理（ステップＳ２０８）が終了すると、検査部５３は、他の検査対象があるか否か判定する（ステップＳ２１０）。他の検査対象がある場合（ステップＳ２１０／ＹＥＳ）、ステップＳ２０３に戻り、他の検査対象がない場合（ステップＳ２１０／ＮＯ）、図１０の処理を終了する。

以上、詳細に説明したように、本実施例１によれば、情報処理装置５０は、容器Ｃ１内の液体を所定時間間隔で撮像した複数の画像を用い、液体中に含まれる物体の動き方を取得し、取得した物体の動き方と、容器Ｃ１内の液体を所定時間間隔で撮像した複数の画像を用いて予め学習しておいた、異物の動き方と、を比較することにより、液体中に異物が存在するか否かを検査する検査部５３を備える。容器Ｃ１内の液体を所定時間間隔で撮像した複数の画像を用いて取得した物体の動き方を、容器Ｃ１内の液体を所定時間間隔で撮像した複数の画像を用いて予め学習しておいた物体の動き方と比較することによって、液体中の異物の有無を検査するため、異物の有無の検査精度が向上する。

また、本実施例１において、情報処理装置５０は、容器Ｃ１内の液体を所定時間間隔で撮像した複数の画像を用い、液体中に含まれる異物の重心位置を用いて異物の動き方を表す特徴量を算出し、学習する学習部５２を備え、検査部５３は、複数の画像を用いて液体中に含まれる物体の重心位置を用いて物体の動き方を表す特徴量を取得し、取得した物体の動き方を表す特徴量と、学習部５２が学習した異物の動き方を表す特徴量と、を比較することにより、液体中に異物が存在するか否かを検査する。これにより、物体の動きに関する特徴量同士を比較するため、異物の有無の検査精度がより向上する。

また、本実施例１において、学習部５２は、複数の画像を用い、異物の形状、面積、及び比重を学習し、検査部５３は、複数の画像を用い、液体中に含まれる物体の形状、面積、及び比重を取得し、取得した物体の動き方を表す特徴量に加えて、液体中に含まれる物体の形状、面積、及び比重を、学習部５２が学習した異物の形状、面積、及び比重と比較することにより、液体中に異物が存在するか否かを検査する。動きに関する特徴量に加えて、物体の形状、面積、比重を用いるため、異物の有無の検査精度がより向上する。

また、本実施例１において、情報処理装置５０は、容器Ｃ１を通過する透過光に応じて撮像装置３０の露光時間を調整する撮像制御部５７を有する。容器Ｃ１を光源１０により照明する場合、光源の駆動方法に依存して光源１０が暗すぎると画像がちらつくことがある。撮像装置３０の露光時間を調整することにより、画像のちらつきを抑制することができる。

また、本実施例１において、情報処理装置５０は、容器Ｃ１内の液体中の物体が浮遊するように容器Ｃ１を載置するステージ２０を駆動する駆動部５８を備える。これにより、液体中の物体の動き方（動き方に関する特徴量）を取得することができる。

なお、上記実施例１では、識別データ作成時の処理と検査時の処理とを別々に実行していたが、例えば、図１２に示すように、入力装置５１８を介して、検査処理を行うか、学習処理を行うかの選択をユーザから受け付けて（ステップＳ３０９）、選択結果に基づいて、検査処理又は学習処理を行うようにしてもよい。なお、ステップＳ３０３、Ｓ３０５及びＳ３０７の処理は、それぞれステップ１０３、Ｓ１０５及びＳ１０７又はＳ２０３、Ｓ２０５及びＳ２０７の処理と同様であるため、詳細な説明を省略する。

なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体（ただし、搬送波は除く）に記録しておくことができる。

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ（Digital Versatile Disc）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）などの可搬型記録媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。

なお、以上実施形態の説明に関して、更に以下の付記を開示する。
（付記１） 液体封入容器内の液体を所定時間間隔で撮像した複数の第１画像を用い、前記液体中に含まれる物体の動き方を取得し、
取得した前記物体の動き方と、液体封入容器内の液体を所定時間間隔で撮像した複数の第２画像を用いて予め学習しておいた異物の動き方と、を比較することにより、前記液体中に異物が存在するか否かを検査する、
処理をコンピュータが実行する検査方法。
（付記２） 前記複数の第２画像を用い、前記液体中に含まれる前記異物の重心位置を用いて前記異物の動き方を表す特徴量を算出し、学習する、処理をコンピュータが実行し、
前記取得する処理は、前記複数の第１画像を用いて前記液体中に含まれる前記物体の重心位置を用いて前記物体の動き方を表す特徴量を取得する処理を含み、
前記検査する処理は、取得した前記物体の動き方を表す特徴量と、学習した前記異物の動き方を表す特徴量と、を比較することにより、前記液体中に異物が存在するか否かを検査する処理を含む、
ことを特徴とする付記１記載の検査方法。
（付記３） 前記学習する処理は、前記複数の第２画像を用い、前記異物の形状、面積、及び比重を学習する処理を含み、
前記取得する処理は、前記複数の第１画像を用い、前記液体中に含まれる前記物体の形状、面積、及び比重を取得する処理を含み、
前記検査する処理は、取得した前記物体の動き方を表す特徴量に加えて、取得した前記液体中に含まれる前記物体の形状、面積、及び比重を、学習した前記異物の形状、面積、及び比重と比較することにより、前記液体中に異物が存在するか否かを検査する処理を含む、
ことを特徴とする付記２記載の検査方法。
（付記４） 前記液体封入容器内の液体を所定時間間隔で撮像する撮像装置の露光時間を調整する、処理をコンピュータが実行する付記１～３のいずれかに記載の検査方法。
（付記５） 前記液体封入容器内の液体中の物体が浮遊するように前記液体封入容器を載置するステージを駆動する、処理をコンピュータが実行する付記１～４のいずれかに記載の検査方法。
（付記６） 液体封入容器内の液体を所定時間間隔で撮像した複数の第１画像を用い、前記液体中に含まれる物体の動き方を取得する取得部と、
前記取得部が取得した前記物体の動き方と、液体封入容器内の液体を所定時間間隔で撮像した複数の第２画像を用いて予め学習しておいた、異物の動き方と、を比較することにより、前記液体中に異物が存在するか否かを検査する検査部と、
を備える検査装置。
（付記７） 前記複数の第２画像を用い、前記液体中に含まれる前記異物の重心位置を用いて前記異物の動き方を表す特徴量を算出し、学習する学習部を備え、
前記取得部は、前記複数の第１画像を用いて前記液体中に含まれる前記物体の重心位置を用いて前記物体の動き方を表す特徴量を取得し、
前記検査部は、前記取得部が取得した前記物体の動き方を表す特徴量と、前記学習部が学習した前記異物の動き方を表す特徴量と、を比較することにより、前記液体中に異物が存在するか否かを検査する、
ことを特徴とする付記６記載の検査装置。
（付記８） 前記学習部は、前記複数の第２画像を用い、前記異物の形状、面積、及び比重を学習し、
前記取得部は、前記複数の第１画像を用い、前記液体中に含まれる前記物体の形状、面積、及び比重を取得し、
前記検査部は、前記取得部が取得した前記物体の動き方を表す特徴量に加えて、前記取得部が取得した前記液体中に含まれる前記物体の形状、面積、及び比重を、前記学習部が学習した前記異物の形状、面積、及び比重と比較することにより、前記液体中に異物が存在するか否かを検査する、
ことを特徴とする付記７記載の検査装置。
（付記９） 前記液体封入容器内の液体を連続して撮像する撮像装置の露光時間を調整する調整部、
を備える付記６～８のいずれかに記載の検査装置。
（付記１０） 前記液体封入容器内の液体中の物体が浮遊するように前記液体封入容器を載置するステージを駆動する駆動部、
を備える付記６～９のいずれかに記載の検査装置。
（付記１１） 液体封入容器内の液体を所定時間間隔で撮像した複数の第１画像を用い、前記液体中に含まれる物体の動き方を取得し、
取得した前記物体の動き方と、液体封入容器内の液体を所定時間間隔で撮像した複数の第２画像を用いて予め学習しておいた異物の動き方と、を比較することにより、前記液体中に異物が存在するか否かを検査する、
処理をコンピュータに実行させる検査プログラム。

２０ ステージ
３０ 撮像装置
５０ 情報処理装置
５２ 学習部
５３ 検査部
５７ 撮像制御部
５８ 駆動部
Ｃ１ 容器

Claims (8)

1. 容器に封入された第１の液体を所定時間間隔で撮像した複数の第１画像を用い、前記第１の液体中に含まれる第１の物体の第１の動き方及び第１の比重を学習する処理と、
   容器に封入された第２の液体を所定時間間隔で撮像した複数の第２画像を用い、前記第２の液体中に含まれる第２の物体の第２の動き方及び第２の比重を取得する処理と、
   前記第１の動き方及び前記第１の比重と、前記第２の動き方及び前記第２の比重と、をそれぞれ比較する処理と、
   をコンピュータが実行する方法。
2. 前記第１の物体は、前記第１の液体中における異物であり、
   前記比較する処理において、前記第１の動き方と前記第２の動き方との類似度が第１の閾値以上であって、前記第１の比重と前記第２の比重との類似度が第２の閾値以上である場合に、前記第２の物体を前記第２の液体中における異物であると判定する処理、
   をさらに有することを特徴とする請求項１に記載のコンピュータが実行する方法。
3. 前記学習する処理は、前記複数の第１画像を用い、前記第１の液体中に含まれる前記第１の物体の第１の重心位置を特定し、特定された前記第１の重心位置に基づいて前記第１の物体の前記第１の動き方を表す第１の特徴量を算出し、算出された前記第１の特徴量に基づいて前記第１の動き方を学習する処理を含み、
   前記取得する処理は、前記複数の第２画像を用いて前記第２の液体中に含まれる前記第２の物体の第２の重心位置を特定し、特定された前記第２の重心位置に基づいて前記第２の動き方を表す第２の特徴量を取得する処理を含み、
   前記比較する処理において、前記第１の特徴量と、前記第２の特徴量と、を比較する、
   ことを特徴とする請求項１または２に記載のコンピュータが実行する方法。
4. 前記学習する処理は、前記複数の第１画像を用い、前記第１の物体の第１の形状及び第１の面積を学習する処理を含み、
   前記取得する処理は、前記複数の第２画像を用い、前記第２の液体中に含まれる前記第２の物体の第２の形状及び第２の面積を取得する処理を含み、
   前記比較する処理において、前記第２の特徴量に加えて、前記第２の物体の前記第２の形状及び前記第２の面積を、前記第１の物体の前記第１の形状及び前記第１の面積とそれぞれ比較する、
   ことを特徴とする請求項３記載のコンピュータが実行する方法。
5. 前記第１の液体及び前記第２の液体を撮像する撮像装置の露光時間を調整する、
   処理をコンピュータが実行する請求項１～４のいずれか１項記載のコンピュータが実行する方法。
6. 前記第１の液体及び前記第２の液体を載置するステージを駆動する処理、
   をさらに有することを特徴とする請求項１～５のいずれか１項記載のコンピュータが実行する方法。
7. 容器に封入された第１の液体を所定時間間隔で撮像した複数の第１画像を用い、前記第１の液体中に含まれる第１の物体の第１の動き方及び第１の比重を学習する学習部と、
   容器に封入された第２の液体を所定時間間隔で撮像した複数の第２画像を用い、前記第２の液体中に含まれる第２の物体の第２の動き方及び第２の比重を取得する取得部と、
   前記第１の動き方及び前記第１の比重と、前記第２の動き方及び前記第２の比重と、をそれぞれ比較する検査部と、
   を備える装置。
8. 容器に封入された第１の液体を所定時間間隔で撮像した複数の第１画像を用い、前記第１の液体中に含まれる第１の物体の第１の動き方及び第１の比重を学習する処理と、
   容器に封入された第２の液体を所定時間間隔で撮像した複数の第２画像を用い、前記第２の液体中に含まれる第２の物体の第２の動き方及び第２の比重を取得する処理と、
   前記第１の動き方及び前記第１の比重と、前記第２の動き方及び前記第２の比重と、をそれぞれ比較する処理と、
   をコンピュータに実行させるプログラム。
   

Images