JP6044764B2 - 異物監視方法及び異物監視装置 - Google Patents

Description

本発明は、液体中の異物を監視する異物監視方法及び異物監視装置に関し、特に、流下する液体に混入している異物を監視する異物監視方法及び異物監視装置に関する。

例えば、食品加工、排水処理（浄水場）、製鉄所、ガラス溶融等の各分野において、製品の安全性や品質管理のために、検査対象の液体に異物が混入しているか否かを検査することが従来から行われている。かかる検査は、検査対象の液体を流下させて目視や監視カメラの映像を介して作業員が確認（監視）することが一般的であるが、作業員の負担軽減や検査効率の向上の観点から種々の検査装置が既に開発されている（例えば、特許文献１参照）。

特許文献１に記載された異物検出装置は、検査対象の液体が流れる測定管に設けられた外部から視認可能な透過部を照明する光源部の発光と同期して、透過部を流れる液体を撮影した検査画像を取得する撮像部と、所定の閾値で二値化することによって検査画像を高輝度領域と低輝度領域に区分し、その低輝度領域を、異物候補領域として検出する異物候補領域検出手段と、異物候補領域の円形度を表す特徴量を少なくとも一つ抽出する特徴量抽出手段と、特徴量抽出手段で抽出された少なくとも一つの特徴量が所定の条件を満たす場合、異物候補領域は異物の像であると判定する判定手段と、を有している。

また、前記判定手段で判定された異物の検出結果は、通信手段を通じて、判定結果や総検出数等の表示を行う操作表示部や外部機器に出力されたり、前記撮像部により取得した検査画像上で異物の像と判定された異物候補領域の色を変えた画像を作成して操作表示部に表示されたりする。

特許第４７６５８９０号公報

ところで、従来から流下液体を監視カメラの映像等により目視で監視しているのは、異物の分布や異物の出現率の変化をリアルタイムに把握することによって、流下液体又は上位システムの不良や不具合の予兆を検知したいためである。そして、特許文献１に記載されたように、検査画像上に異物の色を変更して表示した場合には、異物の分布をリアルタイムに把握することができるものの、常に作業員が監視し続けなければならないという問題があった。

例えば、ある瞬間の検査画像を見逃してしまった場合には、記録された過去の検査画像を閲覧することによって、その部分を事後的に確認することは可能である。しかしながら、見逃した部分を確認するまでに時間を要するとともに、作業員が一人の場合には、リアルタイム監視を継続しながら過去の検査画像を確認しなければならず、作業員の負担が高くなってしまう。また、作業員を増員した場合には、作業効率が低下してしまう。

本発明は、上述した問題点に鑑み創案されたものであり、作業員の負担軽減及び作業効率の向上を図ることができる、異物監視方法及び異物監視装置を提供することを目的とする。

また、本発明によれば、開口部から流下される流下液体に混入している異物を監視する異物監視方法において、前記流下液体の流下幅を監視する第一監視領域の撮像画像及び前記開口部を監視する第二監視領域の撮像画像を取得する撮像工程と、前記第一監視領域の撮像画像における前記流下幅の変化により認識されるピーク値から前記異物を検出するとともに前記第二監視領域の撮像画像における輝度値から前記異物を検出する検出工程と、前記第一監視領域の前記ピーク値から前記異物の横幅を算出するとともに前記第二監視領域の低輝度部から前記異物の粒径を算出する算出工程と、前記第一監視領域の撮像画像に前記異物の横幅を重ねて表示した監視画像及び前記第二監視領域の撮像画像に前記異物の粒径を重ねて表示した監視画像を出力する監視画像出力工程と、前記異物の検出時間及び大きさをログデータとして出力するデータ出力工程と、前記ログデータのうち閾値以上の大きさを有する監視対象異物のログデータを抽出するデータ抽出工程と、前記監視対象異物のログデータから前記監視対象異物の検出履歴を時間順に表示した履歴表示を行う履歴表示工程と、前記監視対象異物のログデータから単位時間あたりの前記監視対象異物の個数を計数して時間軸に沿って計数された前記監視対象異物の個数を表示した個数表示を行う個数表示工程と、を有することを特徴とする異物監視方法が提供される。

前記監視画像、前記履歴表示及び前記個数表示は、同時閲覧可能に出力されるようにしてもよい。また、前記第一監視領域及び前記第二監視領域を区別して前記履歴表示又は前記個数表示を行うようにしてもよい。また、前記撮像画像に表示された時刻を読み取って前記監視画像と前記異物の検出時間との時刻合わせを行うようにしてもよい。

また、本発明によれば、開口部から流下される流下液体に混入している異物を監視する異物監視装置において、前記流下液体の流下幅を監視する第一監視領域の撮像画像及び前記開口部を監視する第二監視領域の撮像画像を撮像する撮像装置と、該撮像装置により取得した撮像画像から監視画像を作成する演算処理装置と、前記監視画像を出力する監視モニタと、を有し、前記演算処理装置は、前記第一監視領域の撮像画像における前記流下幅の変化により認識されるピーク値から前記異物を検出するとともに前記第二監視領域の撮像画像における輝度値から前記異物を検出し、前記第一監視領域の前記ピーク値から前記異物の横幅を算出するとともに前記第二監視領域の低輝度部から前記異物の粒径を算出し、前記第一監視領域の撮像画像に前記異物の横幅を重ねて表示した監視画像及び前記第二監視領域の撮像画像に前記異物の粒径を重ねて表示した監視画像を作成するとともに、閾値以上の大きさを有する監視対象異物の検出履歴を時間順に表示した履歴表示を前記監視モニタ上に出力し、単位時間あたりの前記監視対象異物の個数を計数して時間軸に沿って計数された前記監視対象異物の個数を表示した個数表示を前記監視モニタに出力する、ことを特徴とする異物監視装置が提供される。

前記演算処理装置は、前記監視画像、前記履歴表示及び前記個数表示を前記監視モニタ上に同時閲覧可能に出力してもよい。また、前記演算処理装置は、前記第一監視領域及び前記第二監視領域を区別して前記履歴表示又は前記個数表示を行ってもよい。また、前記演算処理装置は、前記撮像画像に表示された時刻を読み取って前記監視画像と前記異物の検出時間との時刻合わせを行い、前記監視モニタに前記監視画像、前記履歴表示及び前記個数表示を出力してもよい。

上述した本発明の異物監視方法及び異物監視装置によれば、撮像画像に異物の大きさを重ねて表示した監視画像を出力するようにしたことから、リアルタイムに異物の検出状況及び大きさを把握することができる。

また、監視画像とは別に監視対象異物の履歴表示を行うようにしたことにより、監視対象異物の検出時間及び大きさを容易に把握することができ、ある瞬間の監視画像を見逃した場合であっても、履歴表示を閲覧するだけで監視対象異物の出現状況を容易に把握することができ、作業員は常時監視する必要がなく、過去の監視画像を再確認する必要もない。したがって、作業員の負担軽減及び作業効率の向上を図ることができる。

さらに、監視画像とは別に監視対象異物の個数表示を行うようにしたことにより、単位時間あたりの監視対象異物の出現個数を容易に把握することができ、ある瞬間の監視画像を見逃した場合であっても、個数表示を閲覧するだけで監視対象異物の出現傾向を容易に把握することができ、作業員は常時監視する必要がなく、過去の監視画像を再確認する必要もなく、自分の経験と記憶力に頼りながら監視対象異物の出現傾向を考え出す必要もない。したがって、作業員の負担軽減及び作業効率の向上を図ることができる。

本発明の実施形態に係る異物監視装置の全体構成図である。 監視モニタの画面表示の一例を示す図である。 監視モニタの画面表示の第一変形例を示す図である。 監視モニタの画面表示の第二変形例を示す図である。 本発明の実施形態に係る異物監視方法を示す図であり、（ａ）は全体のフローチャート、（ｂ）は変形例を示すフローチャートの一部、である。

以下、本発明の実施形態について図１〜図５を用いて説明する。ここで、図１は、本発明の実施形態に係る異物監視装置の全体構成図である。図２は、監視モニタの画面表示の一例を示す図である。

本発明の実施形態に係る異物監視装置１は、図１及び図２に示すように、開口部１１から流下される流下液体Ｆに混入している異物Ｐを監視する異物監視装置であって、流下液体Ｆを撮像する撮像装置２と、撮像装置２により取得した撮像画像から監視画像２１を作成する演算処理装置３と、監視画像２１を出力する監視モニタ４と、を有し、演算処理装置３は、撮像画像から異物Ｐを検出し、異物Ｐの大きさを算出し、撮像画像に異物Ｐの大きさを重ねて表示して監視画像２１を作成するとともに、閾値α以上の大きさを有する監視対象異物Ｐｘの検出履歴を時間順に表示した履歴表示４１を監視モニタ４上に出力し、単位時間あたりの監視対象異物Ｐｘの個数を計数して時間軸に沿って計数された監視対象異物Ｐｘの個数を表示した個数表示４２を監視モニタ４に出力するように構成されている。

かかる異物監視装置１は、例えば、食品加工、排水処理（浄水場）、製鉄所、ガラス溶融等の各分野において、製品の安全性や品質管理のために、検査対象の液体に異物Ｐが混入しているか否かを監視するために使用される。かかる監視は、検査対象の液体を流下させる流下槽１２と、流下液体Ｆを収容する収容槽１３と、上述した異物監視装置１と、を有する異物監視システムにより行われる。流下槽１２の底部には流下ノズル１２ａが配置されており、この流下ノズル１２ａが流下液体Ｆを流下させる開口部１１を形成している。収容槽１３は上部に注入口１３ａを有しており、流下液体Ｆの検査が終了した後、一般的には異物が混入しないように蓋をした状態で次工程に搬送される。

撮像装置２は、動画を撮像可能なビデオカメラや静止画を撮像可能なカメラにより構成される。例えば、画素（ピクセル）単位で輝度を出力可能かつ連続的に撮像可能なデジタルビデオカメラであることが好ましい。撮像装置２は、図１に示したように、流下液体Ｆとともに開口部１１から流下される直前の流下液体Ｆを撮像することができるように、例えば、斜め下方から撮像可能な位置に配置されている。撮像装置２により撮像された映像は、撮像時間（時刻）及び輝度情報等のデータとともに演算処理装置３に伝送される。なお、撮像装置２は、流下液体Ｆを撮像する第一撮像装置と開口部１１を撮像する第二撮像装置とに区別して、複数のカメラを配置するようにしてもよい。

演算処理装置３は、いわゆるコンピュータであり、撮像装置２から伝送された映像及びデータに基づいて異物Ｐの有無を検出する。かかる演算処理装置３は、一般に、撮像装置２と有線又は無線により接続されており、流下槽１２や収容槽１３が配置された場所から離れた場所（例えば、監視ルーム等）に配置される。

また、演算処理装置３は、異物Ｐを検出したり検出結果を出力したりするプログラムを備えた演算処理部３１と、設定ファイル３２１やログデータ３２２を保存する記憶装置３２と、を有する。また、演算処理装置３は、撮像装置２の映像を記録したＤＶＤやＵＳＢ等の記録媒体を読み取り可能及びログデータ３２２等をＤＶＤやＵＳＢ等の記録媒体に書き込み可能なドライブを有していてもよい。記憶装置３２は、いわゆるハードディスク等の記録媒体であり、外付式であってもよいし、内蔵式であってもよい。

設定ファイル３２１は、異物Ｐの検出条件を記録したり、監視対象異物Ｐｘを抽出する閾値αの数値を記録したりするファイルである。また、ログデータ３２２は、撮像装置２から伝送された映像に基づいて異物Ｐを検出した結果を記録するファイルである。例えば、図示したように、ログデータ３２２には、日付（例えば、２０１２年３月４日）、撮像装置２の識別番号（例えば、Ｎｏ．００１）、異物Ｐの通し番号、検出時刻、大きさ（粒径又は横幅）、検出位置（例えば、画面上の座標等）等のテキストデータが含まれる。かかるログデータ３２２には、検出された異物Ｐの全ての履歴及びデータが記録される。

監視モニタ４は、ディスプレイ等の動画や静止画の映像信号を出力可能な機器であり、監視画像２１、履歴表示４１及び個数表示４２等を画面上に表示する機器である。図２に示したように、監視画像２１、履歴表示４１及び個数表示４２は、演算処理装置３によって、監視モニタ４上に同時閲覧可能に出力される。監視画像２１、履歴表示４１及び個数表示４２は、図示したように同一のウインドウ（監視ウインドウ４０）上に表示されるようにしてもよいし、個別のウインドウに表示されるようにしてもよい。

ここで、異物Ｐの検出方法の一例について、図２に示した監視画像２１に基づいて説明する。監視画像２１は、撮像装置２により取得した撮像画像に監視対象異物Ｐｘの検出結果を重ねて表示したものである。監視対象異物Ｐｘは、検出した異物Ｐのうち閾値α以上の大きさを有する異物である。閾値αは、例えば、粒径又は横幅が５ｍｍに設定されるが、監視したい監視対象異物Ｐｘの大きさによって任意に設定することができる。

撮像画像には、例えば、日付、時刻、撮像装置２の識別番号、撮像した映像（画像）そのものが含まれる。この撮像画像には、開口部１１から流下する流下液体Ｆと、流下液体Ｆとともに開口部１１から流下される直前の開口部１１近傍の流下液体Ｆと、が表示されており、図の下側における流下液体Ｆの監視領域を第一監視領域Ａ１とし、図の上側の開口部１１の監視領域を第二監視領域Ａ２とする。

第一監視領域Ａ１は、流下液体Ｆの流下幅Ｗを監視する領域である。第一監視領域Ａ１は、異物Ｐが存在しない場合における流下液体Ｆの流下幅Ｗが一定の大きさに安定した状態を監視できる位置に配置されている。この第一監視領域Ａ１の位置は、監視対象の流下液体Ｆの種類、粘性、流下速度等の条件によって適宜調整される。また、第一監視領域Ａ１の位置は、監視画像２１上において、識別可能な色を付してマーキングした状態（図では灰色に塗り潰した部分）で表示される。

かかる第一監視領域Ａ１では、撮像画像における画素の輝度から流下液体Ｆの流下幅Ｗを算出する。第一監視領域Ａ１における流下液体Ｆの流下幅Ｗは、リアルタイムに検出され流下幅Ｗのリアルタイム値Ｗｒｔ（ｍｍ）として画面上に表示される。また、一般に、異物Ｐが第一監視領域Ａ１を通過する場合、流下幅Ｗのリアルタイム値Ｗｒｔは定常値から上昇した後、定常値に戻ることになるから、必ず最大の流下幅Ｗを示すピーク値Ｗｐｅａｋ（ｍｍ）が存在する。この流下幅Ｗのピーク値Ｗｐｅａｋ（ｍｍ）は異物Ｐの横幅に相当する数値であることから、リアルタイム値Ｗｒｔとは区別して画面上に表示されるとともに、ログデータ３２２に異物Ｐの大きさとして記録される。

なお、画面上に表示する流下幅Ｗのピーク値Ｗｐｅａｋ（ｍｍ）についても、閾値α以上の大きさの監視対象異物Ｐｘの数値のみを表示するようにしてもよい。また、ピーク値Ｗｐｅａｋ（ｍｍ）に代えて、流下幅Ｗのリアルタイム値Ｗｒｔの定常値に対する増減の平均値を表示するとともに、ログデータ３２２に異物Ｐの大きさとして記録するようにしてもよい。

第二監視領域Ａ２は、流下直前の流下液体Ｆを監視する領域である。第二監視領域Ａ２は、開口部１１の全体を監視できる位置に配置され、例えば、開口部１１を示す略楕円形状の長径及び短径を辺とする矩形形状に設定される。なお、第二監視領域Ａ２は、開口部１１の形状に合わせた曲線形状（例えば、楕円形状）に設定するようにしてもよい。

かかる第二監視領域Ａ２では、撮像画像における画素の輝度から黒点を検出することによって異物Ｐを検出する。第二監視領域Ａ２に異物Ｐが含まれる場合、異物Ｐの影が撮像されることから輝度が低く表示されることとなり、黒点（すなわち、異物Ｐ）を検出することができる。第二監視領域Ａ２では、ノイズを除去するために、黒点の円形度を算出し、所定の円形度を有するもの（円形状に近いもの）のみを異物Ｐとして検出するようにしてもよい。

検出された異物Ｐは粒径Ｄが算出され、画面上に粒径Ｄのリアルタイム値Ｄｒｔ（ｍｍ）として表示されるとともに、ログデータ３２２に異物Ｐの大きさとして記録される。なお、画面上に表示する粒径Ｄのリアルタイム値Ｄｒｔ（ｍｍ）についても、閾値α以上の大きさの監視対象異物Ｐｘの数値のみを表示するようにしてもよい。

上述した第一監視領域Ａ１では主として大きな異物Ｐを検出し、第二監視領域Ａ２では主として小さな異物Ｐを検出する。また、ここでは、画素の輝度に基づいて異物Ｐを検出する場合について説明したが、輝度以外の情報（例えば、色情報や速度情報等）を利用して異物Ｐを検出するようにしてもよいし、レーザや赤外線等の光学センサを併用するようにしてもよい。また、異物Ｐが検出された場合、撮像画像上で異物Ｐの位置を明確にするために、目立つ色（例えば、赤色、緑色、黄色等）で異物の位置を重ねて表示するようにしてもよい。

そして、撮像画像上に、日付、時刻、撮像装置２の識別番号、第一監視領域Ａ１、第二監視領域Ａ２、流下幅Ｗのリアルタイム値Ｗｒｔ、流下幅Ｗのピーク値Ｗｐｅａｋ、粒径Ｄのリアルタイム値Ｄｒｔ、異物Ｐの位置等を表示したものが監視画像２１として監視モニタ４上に表示される。

履歴表示４１は、ログデータ３２２に含まれる異物Ｐのデータのうち、閾値α以上の大きさを有する異物Ｐである監視対象異物Ｐｘ（図１の一点鎖線で囲ったデータ）を抽出して、検出時間順に監視対象異物Ｐｘの大きさ（粒径のリアルタイム値Ｄｒｔ又はピーク値Ｗｐｅａｋ）を表示したものである。ここでは、上から下に向かって時間が進むように昇順に検出履歴が表示されているが、下から上に向かって時間が進むように降順に表示するようにしてもよいし、表示形式（昇順又は降順）は画面上で切り替え可能に構成されていてもよい。

また、閾値αは、例えば、５ｍｍに設定されるが、画面上で任意の大きさに変更できるようにしてもよい。なお、履歴表示４１は、画面上に表示可能な行数以上の履歴データが蓄積された場合は、スクロール可能な状態にして全履歴を表示するようにしてもよいし、一定数の履歴データが蓄積された場合は古いデータから削除するようにしてもよい。

このように、監視画像２１とは別に監視対象異物Ｐｘの履歴表示４１を行うようにしたことにより、監視対象異物Ｐｘの検出時間及び大きさを容易に把握することができ、ある瞬間の監視画像２１を見逃した場合であっても、履歴表示４１を閲覧するだけで監視対象異物Ｐｘの出現状況を容易に把握することができ、作業員は監視画像２１を常時監視する必要がなく、過去の監視画像２１を再確認する必要もない。したがって、作業員の負担軽減及び作業効率の向上を図ることができる。

個数表示４２は、ログデータ３２２に含まれる異物Ｐのデータのうち、閾値α以上の大きさを有する異物Ｐである監視対象異物Ｐｘを抽出して、単位時間あたりの監視対象異物Ｐｘの個数を表示したもの（いわゆる、ヒストグラム）である。単位時間は、例えば、１分に設定されるが、監視目的に応じて単位時間を短くしてもよいし長くしてもよい。図示した個数表示４２において、横軸は監視開始時刻からの経過時間（分）を示し、縦軸は監視対象異物Ｐｘの個数を示している。

例えば、履歴表示４１に示した監視対象異物Ｐｘの検出履歴を個数表示４２すると、経過時間が１２分のところで１０個の監視対象異物Ｐｘが検出され、経過時間が１３分のところで２個の監視対象異物Ｐｘが検出され、経過時間が２１分のところで４個の監視対象異物Ｐｘが検出され、経過時間が２９分のところで６個の監視対象異物Ｐｘが検出されていることから、各経過時間に対応した箇所に監視対象異物Ｐｘの個数と棒グラフが表示される。このとき、最新の監視対象異物Ｐｘｃについては、図２に示したように、棒グラフ中において、その部分だけ色を変更したり点滅させたりするようにしてもよい。なお、経過時間のうち監視対象異物Ｐｘが検出されなかった箇所には「０（ゼロ）」を表示するようにしてもよい。

また、経過時間は、数時間以上に及ぶ場合もあることから、個数表示４２は、横方向にスクロール可能な状態にしておくことが好ましい。また、個数表示４２の横軸は、３０分単位や６０分単位等の切りのよい時間単位で一ウインドウに表示されるように目盛り幅を調整するようにしてもよいし、監視目的に応じて目盛り幅を切り替えて表示できるようにしてもよい。また、現在時刻を視覚的に把握できるように、個数表示４２の欄に現在時刻線Ｌｔを表示するようにしてもよい。

このように、監視画像２１とは別に監視対象異物Ｐｘの個数表示４２を行うようにしたことにより、単位時間あたりの監視対象異物Ｐｘの出現個数を容易に把握することができ、ある瞬間の監視画像２１を見逃した場合であっても、個数表示４２を閲覧するだけで監視対象異物Ｐｘの出現傾向を容易に把握することができ、作業員は監視画像２１を常時監視する必要がなく、過去の監視画像２１を再確認する必要もなく、自分の経験と記憶力に頼りながら監視対象異物Ｐｘの出現傾向を考え出す必要もない。したがって、作業員の負担軽減及び作業効率の向上を図ることができる。

また、監視モニタ４上に、監視画像２１、履歴表示４１及び個数表示４２を同時閲覧可能に出力することによって、監視画像２１により異物Ｐの分布を視覚的に確認することができ、履歴表示４１により監視対象異物Ｐｘの検出時間と個別の大きさを直接的に数値を確認することができ、個数表示４２により監視対象異物Ｐｘの出現傾向や出現率を視覚的に確認することができる。

上述したように、監視ウインドウ４０には、画面中央左側に監視画像２１が表示され、監視画像２１の右側に履歴表示４１が表示され、画面下部に個数表示４２が表示され、画面上部には基本情報表示部４３や操作ボタン４４が表示される。本実施形態では、監視画像２１、履歴表示４１及び個数表示４２は、同時閲覧可能に出力されるが、その並びは図示した構成に限定されるものではない。また、必要に応じて、監視画像２１のみ、履歴表示４１のみ又は個数表示４２のみを全画面表示に切り替えたり、並び順（配置）を変更したりできるようにしてもよい。

なお、基本情報表示部４３には、現在時刻、異物監視装置１の設置場所、施設名、作業員名等の情報が表示され、操作ボタン４４には、画面切り替え、並び順（配置）の変更、各画像の表示形式の変更、閾値αの変更等に必要なボタンが含まれる。

次に、監視モニタ４の画面表示の変形例について、図３及び図４を参照しつつ説明する。ここで、図３は、監視モニタの画面表示の第一変形例を示す図であり、図４は、監視モニタの画面表示の第二変形例を示す図である。なお、図２に示した実施形態と同じ構成部品については、同じ符号を付して重複した説明を省略する。

図３及び図４に示した監視モニタ４の画面表示の変形例は、履歴表示４１及び個数表示４２において、第一監視領域Ａ１の検出結果と第二監視領域Ａ２の検出結果とを識別可能に表示したものである。このように、撮像画像中に複数の監視領域（第一監視領域Ａ１及び第二監視領域Ａ２）を含む場合には、演算処理装置３によって、監視領域（第一監視領域Ａ１及び第二監視領域Ａ２）を区別して履歴表示４１又は個数表示４２を行うようにしてもよい。かかる処理によって、監視領域ごとに監視対象異物Ｐｘの検出履歴や出現傾向を把握することができる。

図３に示した第一変形例において、履歴表示４１は、第一監視領域Ａ１における監視対象異物Ｐｘの検出履歴を表示する第一履歴表示部４１１と、第二監視領域Ａ２における監視対象異物Ｐｘの検出履歴を表示する第二履歴表示部４１２とにより構成される。ここでは、監視画像２１の右側に第二履歴表示部４１２を表示し、その右側に第一履歴表示部４１１を表示するようにしているが、かかる構成に限定されるものではなく、第一履歴表示部４１１と第二履歴表示部４１２の位置を入れ替えるようにしてもよい。

また、図４に示した第二変形例のように、監視画像２１の左側に第二履歴表示部４１２を表示し、監視画像２１の右側に第一履歴表示部４１１を表示するようにしてもよい。かかる第二変形例においても、第一履歴表示部４１１と第二履歴表示部４１２の位置を入れ替えるようにしてもよい。

図３に示した第一変形例において、個数表示４２は、第一監視領域Ａ１における監視対象異物Ｐｘの個数と第二監視領域Ａ２における監視対象異物Ｐｘの個数とを示す棒グラフの色を変更して表示するように構成されている。このように、同一の棒グラフ上で監視領域ごとに色を変更することにより、視覚的に監視領域を区別することができるとともに、監視領域全体の監視対象異物Ｐｘの出現傾向を把握することもできる。

また、図４に示した第二変形例のように、個数表示４２は、第一監視領域Ａ１における監視対象異物Ｐｘの単位時間あたりの個数を表示する第一個数表示部４２１と、第二監視領域Ａ２における監視対象異物Ｐｘの単位時間あたりの個数を表示する第二個数表示部４２２とにより構成するようにしてもよい。ここでは、下段に第一個数表示部４２１を表示し、上段に第二個数表示部４２２を表示するようにしているが、かかる構成に限定されるものではなく、第一個数表示部４２１と第二個数示部４２２の位置を入れ替えるようにしてもよい。

上述した変形例において、第一変形例における履歴表示４１と第二変形例における個数表示４２とを組み合わせるようにしてもよいし、第一変形例における履歴表示４１と第二変形例における個数表示４２とを組み合わせるようにしてもよいし、各図において履歴表示４１又は個数表示４２のいずれか一方のみを複数の監視領域に対応可能に表示するようにしてもよい。

次に、本発明の実施形態に係る異物監視方法について図５を参照しつつ説明する。ここで、図５は、本発明の実施形態に係る異物監視方法を示す図であり、（ａ）は全体のフローチャート、（ｂ）は変形例を示すフローチャートの一部、である。

本発明の実施形態に係る異物監視方法は、図５（ａ）に示したように、開口部１１から流下される流下液体Ｆに混入している異物Ｐを監視する異物監視方法であって、流下液体Ｆを含む監視領域（第一監視領域Ａ１及び第二監視領域Ａ２）の撮像画像を取得する撮像工程（Ｓｔｅｐ１）と、撮像画像から異物Ｐを検出する検出工程（Ｓｔｅｐ２）と、異物Ｐの大きさを算出する算出工程（Ｓｔｅｐ３）と、撮像画像に異物Ｐの大きさを重ねて表示した監視画像２１を出力する監視画像出力工程（Ｓｔｅｐ４）と、異物Ｐの検出時間及び大きさをログデータ３２２として出力するデータ出力工程（Ｓｔｅｐ５）と、ログデータ３２２のうち閾値α以上の大きさを有する監視対象異物Ｐｘのログデータ３２２を抽出するデータ抽出工程（Ｓｔｅｐ６）と、監視対象異物Ｐｘのログデータ３２２から監視対象異物Ｐｘの検出履歴を時間順に表示した履歴表示４１を行う履歴表示工程（Ｓｔｅｐ７）と、監視対象異物Ｐｘのログデータ３２２から単位時間あたりの監視対象異物Ｐｘの個数を計数して時間軸に沿って計数された監視対象異物Ｐｘの個数を表示した個数表示４２を行う個数表示工程（Ｓｔｅｐ８）と、を有している。これらの処理は、演算処理装置３（演算処理部３１）によって実行される。

撮像工程（Ｓｔｅｐ１）は、図１に示した撮像装置２により開口部１１及び流下液体Ｆを撮像し、監視画像２１の基礎となる撮像画像を取得する工程である。撮像装置２から送信された映像及びデータは、演算処理装置３の記憶装置３２に保管される。

検出工程（Ｓｔｅｐ２）は、例えば、撮像画像における画素の輝度から異物Ｐを検出する工程である。具体的には、上述したように、第一監視領域Ａ１では流下幅Ｗの変化を輝度により認識することによって異物Ｐを検出し、第二監視領域Ａ２では低輝度部（黒点）を抽出することによって異物Ｐを検出する。

算出工程（Ｓｔｅｐ３）は、前工程により検出された異物Ｐの大きさを算出する工程である。例えば、第一監視領域Ａ１では流下幅Ｗを算出し、第二監視領域Ａ２では粒径Ｄを算出する。

監視画像出力工程（Ｓｔｅｐ４）は、監視画像２１を出力する工程である。監視画像２１は、撮像画像に異物Ｐの情報を重ねて表示することによって作成される。ここで、異物Ｐの情報とは、日付、時刻、撮像装置２の識別番号、第一監視領域Ａ１、第二監視領域Ａ２、流下幅Ｗのリアルタイム値Ｗｒｔ、流下幅Ｗのピーク値Ｗｐｅａｋ、粒径Ｄのリアルタイム値Ｄｒｔ、異物Ｐの位置等の情報である。

データ出力工程（Ｓｔｅｐ５）は、ログデータ３２２を出力して記憶装置３２に記録する工程である。ログデータ３２２は、例えば、日付、撮像装置２の識別番号、異物Ｐの通し番号、検出時刻、大きさ（粒径又は横幅）、検出位置（例えば、画面上の座標等）等のテキストデータである。

データ抽出工程（Ｓｔｅｐ６）は、監視対象異物Ｐｘのログデータ３２２を抽出する工程である。監視対象異物Ｐｘは、ログデータ３２２に記録された異物Ｐのうち閾値α以上の大きさを有する異物である。したがって、異物Ｐが閾値α未満の大きさを有する場合（Ｎ）は対象データから除外され、異物Ｐが閾値α以上の大きさを有する場合（Ｙ）は次工程に移行する。なお、閾値α以上の大きさを有する監視対象異物Ｐｘを検出した場合には、監視対象異物Ｐｘの存在を作業員に知らせる検出音（単発音）を鳴らすようにしてもよい。

履歴表示工程（Ｓｔｅｐ７）は、監視対象異物Ｐｘの検出履歴（検出時間及び大きさ）を時間順に監視モニタ４上に表示する工程である。履歴表示工程（Ｓｔｅｐ７）は、例えば、履歴表示４１の要否を確認する確認工程（Ｓｔｅｐ７１）と、時間順（昇順又は降順）に並び替えるソート工程（Ｓｔｅｐ７２）と、監視対象異物Ｐｘの検出時間及び大きさを表示する表示工程（Ｓｔｅｐ７３）と、を有する。

個数表示工程（Ｓｔｅｐ８）は、監視対象異物Ｐｘの単位時間あたりの個数を監視モニタ４上に表示する工程である。個数表示工程（Ｓｔｅｐ８）は、例えば、個数表示４２の要否を確認する確認工程（Ｓｔｅｐ８１）と、監視対象異物Ｐｘの単位時間あたりの個数を計数する計数工程（Ｓｔｅｐ８２）と、監視対象異物Ｐｘの個数及び棒グラフを表示する表示工程（Ｓｔｅｐ８３）と、を有する。

そして、本実施形態では、監視画像出力工程（Ｓｔｅｐ４）による監視画像２１、履歴表示工程（Ｓｔｅｐ７）による履歴表示４１及び個数表示工程（Ｓｔｅｐ８）による個数表示４２は、図２に示したように、同時閲覧可能に出力される。このとき、撮像画像中に複数の監視領域（例えば、第一監視領域Ａ１及び第二監視領域Ａ２）を含む場合には、図３及び図４に示したように、監視領域（第一監視領域Ａ１及び第二監視領域Ａ２）を区別して履歴表示４１及び個数表示４２を行うようにしてもよい。

上述した実施形態では、履歴表示工程（Ｓｔｅｐ７）を実行してから個数表示工程（Ｓｔｅｐ８）を実行する構成を図示しているが、個数表示工程（Ｓｔｅｐ８）を実行してから履歴表示工程（Ｓｔｅｐ７）を実行するようにしてもよいし、履歴表示工程（Ｓｔｅｐ７）と個数表示工程（Ｓｔｅｐ８）とを並列に実行するようにしてもよい。

また、上述した実施形態では、検出された異物Ｐの情報は、全て監視画像２１に反映させるとともにログデータ３２２に出力するように構成されているが、算出工程（Ｓｔｅｐ３）後に、データ抽出工程（Ｓｔｅｐ６）を追加して、所定の大きさの異物Ｐのみを監視画像２１に反映させたり、ログデータ３２２に出力したりするようにしてもよい。

図５（ｂ）に示した変形例は、撮像画像に表示された時刻を読み取って監視画像２１と異物Ｐの検出時間との時刻合わせを行う時刻調整工程（Ｓｔｅｐ９）を有するものである。かかる時刻調整工程（Ｓｔｅｐ９）は、監視画像２１の映像と履歴表示４１の時刻とを同期させる工程であり、図示したように、撮像工程（Ｓｔｅｐ１）と検出工程（Ｓｔｅｐ２）との間に挿入される。通常、リアルタイム監視を行う場合には、撮像装置２の時刻及び演算処理装置３の時刻を標準時刻に一致させたり、手動で同時刻となるように一致させたりしておけばよい。

ところで、流下液体Ｆの映像をＤＶＤやＵＳＢ等の記録媒体に記録しておき、事後的に演算処理装置３を用いて本実施形態に係る異物監視方法を実施し、流下液体Ｆに含まれる異物Ｐを監視したり、異物Ｐの検出状況を解析又は分析したりする場合も少なくない。かかる場合、撮像装置２の時刻は録画した時刻、演算処理装置３の時刻は現在時刻となり、不一致が生じる。

そこで、この時刻合わせの処理の簡略化を図るために、撮像装置２の撮像画像に画像データとして記録されている時刻表示から、ＯＣＲ（Optical Character Reader：光学式文字読取装置）用ソフトウェアを利用してＯＣＲ処理（Ｓｔｅｐ９１）を行い、画像データの時刻情報を電子データに変換し、演算処理装置３の時刻を変更したり、設定ファイル３２１に時刻換算データを記録したりすることによって、時刻合わせ（Ｓｔｅｐ９２）を行うようにすればよい。

上述した本発明の異物監視方法によれば、撮像画像に異物Ｐの大きさを重ねて表示した監視画像２１を出力するようにしたことから、リアルタイムに異物Ｐの検出状況及び大きさを把握することができるとともに、監視画像２１とは別に監視対象異物Ｐｘの履歴表示４１及び個数表示４２を行うようにしたことにより、監視対象異物の出現状況や出現傾向を容易に把握することができ、作業員は常時監視する必要がなく、作業員の負担軽減及び作業効率の向上を図ることができる。特に、監視画像２１、履歴表示４１及び個数表示４２を同時閲覧可能に出力すると効果的である。

本発明は上述した実施形態に限定されず、監視対象異物Ｐを抽出する閾値αは履歴表示４１と個数表示４２とで異なる数値に設定してもよい、個数表示４２は折れ線グラフに変更してもよい等、本発明の趣旨を逸脱しない範囲で種々変更が可能であることは勿論である。

１ 異物監視装置
２ 撮像装置
３ 演算処理装置
４ 監視モニタ
１１ 開口部
２１ 監視画像
４１ 履歴表示
４２ 個数表示
３２２ ログデータ
４１１ 第一履歴表示部
４１２ 第二履歴表示部
４２１ 第一個数表示部
４２２ 第二個数表示部

Claims (8)

1. 開口部から流下される流下液体に混入している異物を監視する異物監視方法において、
   前記流下液体の流下幅を監視する第一監視領域の撮像画像及び前記開口部を監視する第二監視領域の撮像画像を取得する撮像工程と、
   前記第一監視領域の撮像画像における前記流下幅の変化により認識されるピーク値から前記異物を検出するとともに前記第二監視領域の撮像画像における輝度値から前記異物を検出する検出工程と、
   前記第一監視領域の前記ピーク値から前記異物の横幅を算出するとともに前記第二監視領域の低輝度部から前記異物の粒径を算出する算出工程と、
   前記第一監視領域の撮像画像に前記異物の横幅を重ねて表示した監視画像及び前記第二監視領域の撮像画像に前記異物の粒径を重ねて表示した監視画像を出力する監視画像出力工程と、
   前記異物の検出時間及び大きさをログデータとして出力するデータ出力工程と、
   前記ログデータのうち閾値以上の大きさを有する監視対象異物のログデータを抽出するデータ抽出工程と、
   前記監視対象異物のログデータから前記監視対象異物の検出履歴を時間順に表示した履歴表示を行う履歴表示工程と、
   前記監視対象異物のログデータから単位時間あたりの前記監視対象異物の個数を計数して時間軸に沿って計数された前記監視対象異物の個数を表示した個数表示を行う個数表示工程と、
   を有することを特徴とする異物監視方法。
2. 前記監視画像、前記履歴表示及び前記個数表示は、同時閲覧可能に出力される、ことを特徴とする請求項１に記載の異物監視方法。
3. 前記第一監視領域及び前記第二監視領域を区別して前記履歴表示又は前記個数表示を行うようにした、ことを特徴とする請求項１に記載の異物監視方法。
4. 前記撮像画像に表示された時刻を読み取って前記監視画像と前記異物の検出時間との時刻合わせを行うようにした、ことを特徴とする請求項１に記載の異物監視方法。
5. 開口部から流下される流下液体に混入している異物を監視する異物監視装置において、
   前記流下液体の流下幅を監視する第一監視領域の撮像画像及び前記開口部を監視する第二監視領域の撮像画像を撮像する撮像装置と、
   該撮像装置により取得した撮像画像から監視画像を作成する演算処理装置と、
   前記監視画像を出力する監視モニタと、を有し、
   前記演算処理装置は、前記第一監視領域の撮像画像における前記流下幅の変化により認識されるピーク値から前記異物を検出するとともに前記第二監視領域の撮像画像における輝度値から前記異物を検出し、前記第一監視領域の前記ピーク値から前記異物の横幅を算出するとともに前記第二監視領域の低輝度部から前記異物の粒径を算出し、前記第一監視領域の撮像画像に前記異物の横幅を重ねて表示した監視画像及び前記第二監視領域の撮像画像に前記異物の粒径を重ねて表示した監視画像を作成するとともに、閾値以上の大きさを有する監視対象異物の検出履歴を時間順に表示した履歴表示を前記監視モニタ上に出力し、単位時間あたりの前記監視対象異物の個数を計数して時間軸に沿って計数された前記監視対象異物の個数を表示した個数表示を前記監視モニタに出力する、
   ことを特徴とする異物監視装置。
6. 前記演算処理装置は、前記監視画像、前記履歴表示及び前記個数表示を前記監視モニタ上に同時閲覧可能に出力する、ことを特徴とする請求項５に記載の異物監視装置。
7. 前記演算処理装置は、前記第一監視領域及び前記第二監視領域を区別して前記履歴表示又は前記個数表示を行う、ことを特徴とする請求項５に記載の異物監視装置。
8. 前記演算処理装置は、前記撮像画像に表示された時刻を読み取って前記監視画像と前記異物の検出時間との時刻合わせを行い、前記監視モニタに前記監視画像、前記履歴表示及び前記個数表示を出力する、ことを特徴とする請求項５に記載の異物監視装置。