JP4677621B2

JP4677621B2 - 異常検出システムおよび異常検出方法

Info

Publication number: JP4677621B2
Application number: JP2007067155A
Authority: JP
Inventors: 抱石井; 健吉山本
Original assignee: 公益財団法人ひろしま産業振興機構
Priority date: 2007-03-15
Filing date: 2007-03-15
Publication date: 2011-04-27
Anticipated expiration: 2027-03-15
Also published as: JP2008224610A

Description

本発明は、異常検出システムおよび異常検出方法に関するものである。

従来、予め被写体を撮像した参照画像と、現時点での被写体を撮像した計測画像とを比較して、被写体に発生した異常状況を検出する技術が知られている。例えば、特許文献１には、生産分野で、参照画像と計測画像との差分を計算することにより、被写体の試料に対する外観検査を行える旨が記載されている。また、非特許文献１には、医療分野において、参照画像と計測画像との差分を計算することにより、異常検出を行える旨が記載されている。
特開２００６−３０８３７２号公報日本医学放射線学会雑誌第６４巻第１号、「経時的差分画像法を用いた胸部びまん性病変の経時変化の検出に関するROC解析」

しかしながら、例えば特許文献１や非特許文献１を始めとする従来技術では、静止した被写体に対する外観検査や異常検出については考慮されているものの、動作している被写体に対しては考慮されていない。このため、動作している被写体に対して、上記の従来技術をそのまま適用した場合には、参照画像と計測画像との差分が正常動作時といえども著しく大きくなり、適切な外観検査や異常検出を行うことが困難である。

そこで、本発明は上記に鑑みてなされたもので、被写体が動作している場合においても、適切な異常検出を行うことが可能な異常検出システムおよび異常検出方法を提供することを目的とする。

上記課題を解決するために、本発明の異常検出システムは、撮像装置、画像保存装置、および異常検出装置を備え、所定の動作を行う機械システムである被写体の異常動作を検出する異常検出システムであって、前記撮像装置は、前記被写体を撮像するものであり、前記画像保存装置は、前記撮像装置が前記被写体の正常動作時に撮像した画像を保存するものであり、前記被写体の正常動作時に撮像された画像のフレームごとに、前記被写体の動作部分を含む領域をマスク領域として設定するマスク設定手段と、前記マスク設定手段により前記マスク領域が設定された前記画像、および前記マスク設定手段が設定した前記マスク領域を特定するマスク領域特定情報を保存する保存手段と、を備え、前記異常検出装置は、前記被写体の異常動作を検出するものであり、前記撮像装置が前記被写体を撮像した画像を計測画像として前記撮像装置より受信する計測画像受信手段と、前記被写体の動作部分を含む領域がマスク領域としてフレームごとに設定された画像を参照画像として前記画像保存装置より受信し、且つ前記マスク領域を特定するマスク領域特定情報を前記画像保存装置より受信する参照画像受信手段と、前記計測画像受信手段が受信した前記計測画像と、前記参照画像受信手段が受信した前記参照画像との間のフレーム同期をとる同期手段と、前記同期手段によりフレーム同期がとれた計測画像と参照画像との間の差分であって、前記マスク領域特定情報により特定された前記マスク領域以外の領域に対する差分を計算する差分計算手段と、前記差分計算手段が計算した前記差分が閾値以上である場合に、前記被写体の異常動作を検出する異常検出手段と、を備えることを特徴とする。

また、本発明の異常検出方法は、所定の動作を行う機械システムである被写体を撮像する撮像装置と、撮像装置が被写体の正常動作時に撮像した画像を保存する画像保存装置と、被写体の異常動作を検出する異常検出装置と、を備えた異常検出システムにおける異常検出方法であって、前記撮像装置が、前記被写体を撮像する撮像ステップと、前記画像保存装置のマスク設定手段が、前記被写体の正常動作時に撮像された画像のフレームごとに、前記被写体の動作部分を含む領域をマスク領域として設定するマスク設定ステップと、前記画像保存装置の保存手段が、前記マスク設定手段により前記マスク領域が設定された前記画像、および前記マスク設定手段が設定した前記マスク領域を特定するマスク領域特定情報を保存する保存ステップと、異常検出装置の計測画像受信手段が、撮像装置が被写体を撮像した画像を計測画像として撮像装置より受信する計測画像受信ステップと、異常検出装置の参照画像受信手段が、被写体の動作部分を含む領域がマスク領域としてフレームごとに設定された画像を参照画像として画像保存装置より受信し、且つマスク領域を特定するマスク領域特定情報を画像保存装置より受信する参照画像受信ステップと、異常検出装置の同期手段が、計測画像受信手段が受信した計測画像と、参照画像受信手段が受信した参照画像との間のフレーム同期をとる同期ステップと、異常検出装置の差分計算手段が、同期手段によりフレーム同期がとれた計測画像と参照画像との間の差分であって、マスク領域特定情報により特定されたマスク領域以外の領域に対する差分を計算する差分計算ステップと、異常検出装置の異常検出手段が、差分計算手段が計算した差分が閾値以上である場合に、被写体の異常動作を検出する異常検出ステップと、を備えることを特徴とする。

このような本発明の異常検出システムおよび異常検出方法によれば、被写体の正常動作時に撮像された画像のフレームごとに、被写体の動作部分を含む領域がマスク領域として設定されている。マスク領域は、画像のフレームごとに設定されているため、被写体の動作に合わせて時間的に変化するものである。そして、異常検出装置が、マスク領域以外の領域に対して、つまり被写体の動作部分ではない部分に対して、フレーム同期がとれた計測画像と参照画像との間の差分を計算して異常検出を行う。このように、被写体の動作部分に対しては差分計算を行わないため、被写体が動いたことによって差分計算の誤差が発生することを防止することができる。したがって、被写体が動作している場合でも、適切な異常検出を行うことが可能となる。

また、本発明における保存手段は、被写体の動作部分の位置を特定するための第１位置情報を画像のフレームごとに保存しても良い。

また、本発明においては、計測画像受信手段は、被写体の動作部分の位置を特定するための第２位置情報を計測画像のフレームごとに被写体より受信し、参照画像受信手段は、参照画像のフレームごとに保存された被写体の動作部分の位置を特定するための第１位置情報を画像保存装置より受信し、同期手段は、計測画像受信手段が受信した第２位置情報と参照画像受信手段が受信した第１位置情報とを照合することにより、計測画像受信手段が受信した計測画像と参照画像受信手段が受信した参照画像との間のフレーム同期をとっても良い。

この発明によれば、計測画像受信手段が計測画像における第２位置情報を被写体より受信し、参照画像受信手段が参照画像における第１位置情報を画像保存装置より受信すると、同期手段が、当該第２位置情報および第１位置情報に基づいて、計測画像と参照画像との間のフレーム同期をとる。第２位置情報および第１位置情報は、例えば、被写体の機械システムに設けられたモータの位置情報であっても良く、被写体の機械システムに付されたマーカの位置情報であっても良く、被写体の動作部分に対する速度情報または加速度情報であっても良い。同期手段は、例えば、計測画像の一つのフレームにおける第２位置情報に最も近い第１位置情報を有する参照画像のフレームを選ぶことにより、計測画像と参照画像との間のフレーム同期をとることができる。

また、本発明は、撮像装置の撮像環境の誤差レベルに応じて、参照画像受信手段が受信した参照画像に設定されたマスク領域の大きさを調整するマスク領域調整手段を備えても良い。

この場合には、例えば計測画像の撮像位置と参照画像の撮像位置との間のずれなどの、撮像環境の変化に柔軟に対応することができる。例えば撮像環境に変化が発生したことにより撮像環境の誤差レベルが増加した場合には、差分計算を行わない部分を拡大することができる。このことにより、撮像環境での誤差が差分計算結果に影響を与えることを防止することができる。

本発明によれば、被写体が動作している場合においても、適切な異常検出を行うことが可能となる。

以下、添付図面を参照して本発明にかかる異常検出システムおよび異常検出方法の好適な実施形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明のものと必ずしも一致していない。

まず、本発明の一実施形態に係る異常検出システム１の全体構成について説明する。図１は、異常検出システム１の構成概要図である。図１に示すように、異常検出システム１は、撮像装置１０、画像保存装置２０および異常検出装置３０を備えている。異常検出システム１は、所定の繰り返し動作を行う機械システムである被写体４０の異常動作を検出するものである。被写体４０は、例えば生産工程におけるロボットである。被写体４０で発生する異常動作としては、例えばアーム４１により組み立てられるパーツ４２が所定の場所にマウントされずにアーム４１から何らかの理由で飛び出したりすること等が挙げられる。以下、異常検出システム１の各構成要素について詳細に説明する。

撮像装置１０は、入射する光信号を電気信号に変換することで被写体４０を撮像するものであり、本実施形態においては、高速かつ高解像度で動画を連続的に撮像可能なビデオカメラである。撮像装置１０は、２^Ｎ×２^Ｎ[ピクセル]の画素領域を有し、Ｙ[ＦＰＳ]でビデオ撮像を行い、１ピクセルあたりの諧調数はＭ[ｂｉｔ]である。以下、本実施形態においては、例えば、Ｎ＝１０と設定され、Ｙ＝１０００と設定され、Ｍ＝１０と設定されている。撮像装置１０は、例えば周知のＴＭＤＳ（Transition Minimized Differential Signaling）シリアル通信により、撮像した画像データをフレーム単位で画像保存装置２０および異常検出装置３０に送信する。

画像保存装置２０は、撮像装置１０が被写体４０の正常動作時に撮像した画像を保存するものである。画像保存装置２０は、物理的には、ＣＰＵ、メモリ、通信インタフェイス等を備えた通常のコンピュータシステム内に設けられることができる。画像保存装置２０は、機能的には、図１に示されるように、送受信部２１０、マスク設定部２２０（マスク設定手段）および保存部２３０（保存手段）を備えて構成される。

送受信部２１０は、撮像装置１０が被写体４０の正常動作時に撮像した画像（以下、「正常撮像画像」と記載する。）を撮像装置１０より受信する。図２は、被写体４０の正常撮像画像の一つのフレームをイメージした図である。１０２４×１０２４ピクセルの１フレームには、被写体４０が撮像されている。被写体４０は、動作部分４１０と、非動作部分４２０とで構成される。非動作部分４２０は、フレーム内における背景部分（被写体４０が撮像されてない部分）を含む。一つのフレームにおいては、最左上のピクセルを基準点（０，０）とするｈｖ座標を用いて、各ピクセルを表すことができる。すなわち、最右上のピクセルはｈｖ座標上で（１０２３，０）に相当し、最左下のピクセルはｈｖ座標上で（０，１０２３）に相当し、最右下のピクセルはｈｖ座標上で（１０２３，１０２３）に相当する。以下、時刻ｕでの正常撮像画像の一つのフレームをＪ_ｕ（ｈ，ｖ）と記載する。送受信部２１０は、撮像装置１０より受信した正常撮像画像をフレーム単位でマスク設定部２２０に出力する。

図１に戻り、送受信部２１０は、被写体４０が正常動作時に撮像される際の、被写体４０の動作部分の位置を特定するための情報（第１位置情報）を被写体４０より受信する。第１位置情報は、フレーム単位の情報であって、例えば、被写体４０の機械システムに設けられたモータの位置情報であっても良く、被写体４０の機械システムに付されたマーカの位置情報であっても良く、被写体４０の動作部分に対する速度情報または加速度情報であっても良い。本実施形態においては、第１位置情報は、被写体４０に設けられたモータの位置情報、および被写体４０に付されたマーカの位置情報である。以下、時刻ｕでの正常撮像画像の一つのフレームＪ_ｕ（ｈ，ｖ）における第１位置情報をｑ_ｕと記載する。送受信部２１０は、被写体４０より受信した第１位置情報をフレーム単位で保存部２３０に出力する。

マスク設定部２２０は、正常撮像画像のフレームごとに、被写体４０の動作部分４１０を含む領域をマスク領域として設定するものである。図３は、被写体４０の正常撮像画像の一つのフレームに、マスク設定部２２０がマスク領域Ｍを設定したことをイメージした図である。このマスク領域Ｍは、被写体４０の動作部分４１０を表す画素領域より例えば数画素大きい画素領域である。このマスク領域Ｍを特定するためのマスク領域特定情報として、本実施形態では関数ｍ_ｕ（ｈ，ｖ）を用いる。すなわち、時刻ｕでの正常撮像画像の一つのフレームに設定されたマスク領域Ｍに含まれた領域内の画素ではｍ_ｕ（ｈ，ｖ）＝０であり、マスク領域Ｍに含まれていない領域内の画素ではｍ_ｕ（ｈ，ｖ）＝１である。マスク設定部２２０は、例えば、一つのフレーム内の各画素にｍ_ｕ（ｈ，ｖ）の値を書き込むことにより、フレームごとにマスク領域Ｍを設定することができる。マスク設定部２２０は、マスク領域Ｍを設定した正常撮像画像をフレーム単位で保存部２３０に出力する。

図１に戻り、保存部２３０は、正常撮像画像における第１位置情報をフレーム単位で送受信部２１０より入力し、マスク領域Ｍが設定された正常撮像画像をフレーム単位でマスク設定部２２０より入力する。保存部２３０は、入力した第１位置情報を該当する正常撮像画像のフレームの例えばヘッダ情報に書き込んで、当該書き込み後の正常撮像画像を保存する。保存部２３０に保存された正常撮像画像は、前述した送受信部２１０により、異常検出装置３０に送信される。

異常検出装置３０は、被写体４０の異常動作を検出するものであって、物理的には、例えば通常のＦＰＧＡ（Field Programmable Gate Array）ボード上に組み込まれることができる。このＦＰＧＡボードは、ＣＰＵ、メモリ、通信インタフェイス、表示インタフェイス等を備えた通常のコンピュータシステム内に設けられることができる。異常検出装置３０は、機能的には、計測画像受信部３１０（計測画像受信手段）、参照画像受信部３２０（参照画像受信手段）、同期部３３０（同期手段）、マスク拡大部３４０（マスク領域調整手段）、差分計算部３５０（差分計算手段）および異常検出部３６０（異常検出手段）を備えて構成される。以下、異常検出装置３０の各構成要素について詳細に説明する。

計測画像受信部３１０は、撮像装置１０が被写体４０の動作時に撮像した画像を「計測画像」として撮像装置１０より受信する。「計測画像」は、被写体４０の異常状況を検出するために、被写体４０の通常の動作の様子を撮像した画像である。以下、時刻ｔでの計測画像の一つのフレームをＩ_ｔ（ｈ，ｖ）と記載する。計測画像受信部３１０は、撮像装置１０より受信した計測画像をフレーム単位で同期部３３０に出力する。

また、計測画像受信部３１０は、動作中の被写体４０が撮像される際の、被写体４０の動作部分の位置を特定するための情報（第２位置情報）を被写体４０より受信する。第２位置情報は、フレーム単位の情報であって、例えば、被写体４０の機械システムに設けられたモータの位置情報であっても良く、被写体４０の機械システムに付されたマーカの位置情報であっても良く、被写体４０の動作部分に対する速度情報または加速度情報であっても良い。本実施形態においては、第２位置情報は、被写体４０に設けられたモータの位置情報、および被写体４０に付されたマーカの位置情報である。以下、時刻ｔでの計測画像の一つのフレームＩ_ｔ（ｈ，ｖ）における第２位置情報をｐ_ｔと記載する。計測画像受信部３１０は、被写体４０より受信した第２位置情報をフレーム単位で同期部３３０に出力する。

参照画像受信部３２０は、マスク領域Ｍが設定されており、且つ第１位置情報が例えばヘッダ情報に書き込まれた正常撮像画像をフレーム単位で画像保存装置２０より受信する。この正常撮像画像は、後述するように、「参照画像」として採択されるための候補である。参照画像受信部３２０は、画像保存装置２０より受信した正常撮像画像をフレーム単位で同期部３３０に出力する。

同期部３３０は、計測画像受信部３１０より入力した計測画像と、参照画像受信部３２０より入力した正常撮像画像との間のフレーム同期をとるものである。同期部３３０は、計測画像受信部３１０より入力した第２位置情報と、参照画像受信部３２０より入力した正常撮像画像の例えばヘッダ情報に書き込まれた第１位置情報とを照合することにより、計測画像と正常撮像画像との間のフレーム同期をとることができる。

具体的に、計測画像の一つのフレームＩ_ｔ（ｈ，ｖ）における第２位置情報ｐ_ｔに最も近い第１位置情報ｑ_ｕを有する正常撮像画像の一つのフレームを選ぶことにより、計測画像と正常撮像画像との間のフレーム同期をとることができる。このとき、同期部３３０は、例えば、下記の式（１）を使用することができる。
ｕ＝ｎｅａｒ（ｐ_ｔ，ｑ_ｕ）…（１）
ただし、関数ｎｅａｒ（ｐ_ｔ，ｑ_ｕ）は、第２位置情報ｐ_ｔに最も近い値をもつ第１位置情報ｑ_ｕを決定し、当該第１位置情報ｑ_ｕが書き込まれた正常撮像画像における時刻ｕを返す関数である。同期部３３０は、式（１）を使用して、時刻ｔの計測画像Ｉ_ｔ（ｈ，ｖ）に対する「参照画像」として、時刻ｕの正常撮像画像Ｊ_ｕ（ｈ，ｖ）を採択することができる。「参照画像」は、被写体４０の異常状況を検出するための判断基準となる画像であって、被写体４０の正常時の動作を撮像した画像のうちで、計測画像とのフレーム同期がとれたものである。同期部３３０は、採択した参照画像Ｊ_ｕ（ｈ，ｖ）をマスク拡大部３４０に出力し、計測画像Ｉ_ｔ（ｈ，ｖ）を差分計算部３５０に出力する。

マスク拡大部３４０は、同期部３３０により採択した参照画像Ｊ_ｕ（ｈ，ｖ）を入力し、必要に応じて、当該参照画像Ｊ_ｕ（ｈ，ｖ）に設定されたマスク領域Ｍを拡大して設定するものである。マスク拡大部３４０は、例えば計測画像の撮像位置と参照画像の撮像位置との間のずれが発生した場合など、撮像装置１０の撮像環境の誤差レベルが増加した場合に、参照画像Ｊ_ｕ（ｈ，ｖ）に設定されたマスク領域Ｍを拡大して設定する。マスク拡大部３４０は、例えば、マスク領域Ｍとして設定されている画素の周辺の画素について、ｍ_ｕ（ｈ，ｖ）＝０と変更することにより、マスク領域Ｍを拡大して設定することができる。マスク拡大部３４０は、マスク領域Ｍを拡大して設定した参照画像Ｊ_ｕ（ｈ，ｖ）を差分計算部３５０に出力する。なお、撮像装置１０の撮像環境に変化が無かった場合には、マスク拡大部３４０は、同期部３３０により入力た参照画像Ｊ_ｕ（ｈ，ｖ）をそのまま差分計算部３５０に出力する。

差分計算部３５０は、同期部３３０より入力した計測画像Ｉ_ｔ（ｈ，ｖ）と、マスク拡大部３４０より入力した参照画像Ｊ_ｕ（ｈ，ｖ）との間の差分を計算するものである。差分計算部３５０は、特に、マスク領域Ｍ以外の領域に対する差分を計算する。差分計算のために、差分計算部３５０は、まず、例えば下記の式（２）〜（４）を使用して差分画像を取得する。
Ｋ_ｔ（ｈ，ｖ）＝Ｊ_ｕ（ｈ，ｖ）ａｎｄｍ_ｕ（ｈ，ｖ）…（２）
Ｌ_ｔ（ｈ，ｖ）＝Ｉ_ｔ（ｈ，ｖ）ａｎｄｍ_ｕ（ｈ，ｖ）…（３）
Ｍ_ｔ（ｈ，ｖ）＝|Ｋ_ｔ（ｈ，ｖ）−Ｌ_ｔ（ｈ，ｖ）|…（４）
ただし、Ｋ_ｔ（ｈ，ｖ）は参照画像Ｊ_ｕ（ｈ，ｖ）においてマスク領域Ｍ以外の領域を表し、Ｌ_ｔ（ｈ，ｖ）は計測画像Ｉ_ｔ（ｈ，ｖ）においてマスク領域Ｍ以外の領域を表し、Ｍ_ｔ（ｈ，ｖ）はＫ_ｔ（ｈ，ｖ）とＬ_ｔ（ｈ，ｖ）との間の差分画像を表す。

次に、差分計算部３５０は、上記の式（２）〜（４）を使用して取得した差分画像Ｍ_ｔ（ｈ，ｖ）に対して、周知のラベリング処理を行う。差分計算部３５０によるラベリング処理においては、差分画像Ｍ_ｔ（ｈ，ｖ）内の各画素に対して、関数Ｎ_ｉ（ｈ，ｖ）を用いる。すなわち、ラベリングされた画素ではＮ_ｉ（ｈ，ｖ）＝１であり、ラベリングされてない画素ではＮ_ｉ（ｈ，ｖ）＝０である。ここで、ラベル番号ｉ＝１，２，３，…，ｎであり、ｎはラベリングされた画素の総数である。差分計算部３５０は、各ラベルにおける０次モーメントＯ_ｉを下記の式（５）を使用して計算する。

差分計算部３５０は、上記の式（５）を使用して計算した各ラベルの０次モーメントＯ_ｉを、計測画像Ｉ_ｔ（ｈ，ｖ）と参照画像Ｊ_ｕ（ｈ，ｖ）との間の差分であって、マスク領域Ｍ以外の領域に対する差分として、異常検出部３６０に出力する。

異常検出部３６０は、差分計算部３５０による差分計算結果を入力し、当該差分計算結果である０次モーメントＯ_ｉが所定の閾値Θ以上である場合に、当該ラベルにおける時点で被写体４０に異常状況が発生したことを検出するものである。異常検出部３６０は、被写体４０の異常動作を検出した場合（Ｏ_ｉ≧Θ）に、当該ラベルにおけるｈ軸に関しての１次モーメントＰ_ｉ、ｖ軸に関しての１次モーメントＱ_ｉ、および重心（Ｒ_ｉｈ，Ｒ_ｉｖ）を下記の式（６）〜（８）を使用して計算する。

異常検出部３６０は、上記の０次モーメントＯ_ｉ、ｈ軸の１次モーメントＰ_ｉ、ｖ軸の１次モーメントＱ_ｉ、および重心（Ｒ_ｉｈ，Ｒ_ｉｖ）を異常物体のサイズや異常位置として所定の出力装置に出力し、異常検出を完了する。なお、異常物体は、例えば、所定の場所にマウントされずに被写体４０のアーム４１から何らかの理由で飛び出したパーツ４２等である。

続いて、異常検出システム１により行われる動作（異常検出方法）について、図４〜５を参照しながら説明する。まず、参照画像として採択されるための候補である正常撮像画像が画像保存装置２０に保存される際の動作について、図４を参照しながら説明する。図４は、当該動作を示すフローチャートである。

最初に、画像保存装置２０の送受信部２１０が、正常撮像画像を撮像装置１０よりフレーム単位で受信してマスク設定部２２０に出力する。（ステップＳ１０１）。

ステップＳ１０１と並行して、画像保存装置２０の送受信部２１０が、正常撮像画像における第１位置情報を被写体４０よりフレーム単位で受信して保存部２３０に出力する（ステップＳ１０２）。

次に、画像保存装置２０のマスク設定部２２０が、正常撮像画像のフレームごとに、被写体４０の動作部分４１０を含む領域をマスク領域として設定する。マスク設定部２２０は、マスク領域を設定した正常撮像画像を保存部２３０に出力する（ステップＳ１０３）。

次に、画像保存装置２０の保存部２３０が、ステップＳ１０２にて入力した第１位置情報をステップＳ１０３にて入力したマスク領域Ｍが設定された正常撮像画像の例えばヘッダ情報に書き込んで、当該書き込み後の正常撮像画像を保存する（ステップＳ１０４）。

続いて、被写体４０における異常状況を検出するために異常検出システム１にて行われる動作について、図５を参照しながら説明する。図５は、当該動作を示すフローチャートである。

最初に、異常検出装置３０の計測画像受信部３１０が、撮像装置１０が被写体４０の動作時に撮像した画像を計測画像として撮像装置１０よりフレーム単位で受信して同期部３３０に出力する（ステップＳ２０１、計測画像受信ステップ）。

ステップＳ２０１と並行して、異常検出装置３０の計測画像受信部３１０が、計測画像における第２位置情報を被写体４０よりフレーム単位で受信して同期部３３０に出力する（ステップＳ２０２）。

ステップＳ２０１およびステップＳ２０２と並行して、異常検出装置３０の参照画像受信部３２０が、マスク領域が設定されており、且つ第１位置情報が例えばヘッダ情報に書き込まれた正常撮像画像をフレーム単位で画像保存装置２０より受信して同期部３３０に出力する（ステップＳ２０３、参照画像受信ステップ）。

次に、異常検出装置３０の同期部３３０が、計測画像受信部３１０より入力した計測画像と、参照画像受信部３２０より入力した正常撮像画像との間のフレーム同期をとる。このとき、同期部３３０は、例えば、前述した式（１）を使用することができる。同期部３３０は、フレーム同期がとれた参照画像をマスク拡大部３４０に出力し、計測画像を差分計算部３５０に出力する（ステップＳ２０４、同期ステップ）。

次に、異常検出装置３０のマスク拡大部３４０が、例えば計測画像の撮像位置と参照画像の撮像位置との間のずれが発生した場合など、撮像装置１０の撮像環境の誤差レベルが増加した場合に、ステップＳ２０４にて入力した参照画像に設定されたマスク領域を拡大して設定する。マスク拡大部３４０は、マスク領域Ｍを拡大して設定した参照画像を差分計算部３５０に出力する。なお、撮像装置１０の撮像環境に変化が無かった場合には、マスク拡大部３４０は、同期部３３０により入力た参照画像をそのまま差分計算部３５０に出力する（ステップＳ２０５）。

次に、異常検出装置３０の差分計算部３５０が、ステップＳ２０４にて同期部３３０より入力した計測画像と、ステップＳ２０５にてマスク拡大部３４０より入力した参照画像との間の差分を計算する。このとき、差分計算部３５０は、例えば、前述した式（２）〜（５）を使用することができる。差分計算部３５０は、前述した式（２）〜（５）を使用して計算した各ラベルの０次モーメントを、計測画像と参照画像との間の差分であって、マスク領域以外の領域に対する差分として、異常検出部３６０に出力する（ステップＳ２０６、差分計算ステップ）。

次に、異常検出装置３０の異常検出部３６０が、ステップＳ２０６にて差分計算部３５０により入力した差分計算結果である０次モーメントが所定の閾値以上である場合に、当該ラベルにおける時点で被写体４０に異常状況が発生したことを検出する。異常状況を検出した場合に、異常検出部３６０は、前述した式（６）〜（８）を使用して計算した０次モーメント、ｈ軸の１次モーメント、ｖ軸の１次モーメント、および重心を異常物体のサイズや異常位置として所定の出力装置に出力し、異常検出を完了する（ステップＳ２０７、異常検出ステップ）。

続いて、本実施形態にかかる異常検出システム１の作用及び効果について説明する。本実施形態の異常検出システム１によれば、被写体４０の正常動作時に撮像された画像のフレームごとに、被写体４０の動作部分４１０を含む領域がマスク領域として設定されている。マスク領域は、画像のフレームごとに設定されているため、被写体４０の動作に合わせて時間的に変化するものである。そして、異常検出装置３０が、マスク領域以外の領域に対して、つまり被写体４０の動作部分４１０ではない部分に対して、フレーム同期がとれた計測画像と参照画像との間の差分を計算して異常検出を行う。このように、被写体４０の動作部分４１０に対しては差分計算を行わないため、被写体４０が動いたことによって差分計算の誤差が発生することを防止することができる。したがって、被写体４０が動作している場合でも、適切な異常検出を行うことが可能となる。

また、本実施形態によれば、計測画像受信部３１０が計測画像における第２位置情報を被写体４０より受信し、参照画像受信部３２０が参照画像における第１位置情報を画像保存装置２０より受信すると、同期部３３０が、当該第２位置情報および第１位置情報に基づいて、計測画像と参照画像との間のフレーム同期をとる。第２位置情報および第１位置情報は、例えば、被写体４０の機械システムに設けられたモータの位置情報であっても良く、被写体４０の機械システムに付されたマーカの位置情報であっても良く、被写体４０の動作部分４１０に対する速度情報または加速度情報であっても良い。同期部３３０は、例えば、計測画像の一つのフレームにおける第２位置情報に最も近い第１位置情報を有する正常撮像画像のフレームを選ぶことにより、計測画像と参照画像との間のフレーム同期をとることができる。

また、本実施形態によれば、例えば計測画像の撮像位置と参照画像の撮像位置との間のずれなどの、撮像環境の変化に柔軟に対応することができる。例えば撮像環境に変化が発生したことにより撮像環境の誤差レベルが増加した場合には、差分計算を行わない部分を拡大することができる。このことにより、撮像環境での誤差が差分計算結果に影響を与えることを防止することができる。

以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されないことは言うまでもない。

例えば、上記実施形態においては、異常検出装置３０が例えば通常のＦＰＧＡボード上に組み込まれているが、これに限られることなく、異常検出装置３０が例えば画像処理専用のＬＳＩに組み込まれていても良く、また通常のＰＣとして構成されていても良い。

また、第１位置情報および第２位置情報として、被写体の機械システムに設けられたレーザー変位計の位置情報を更に用いても良い。つまり、第１位置情報および第２位置情報としては、機械システムの位置、速度、加速度などをリアルタイムで知ることのできる何れのデバイスを使っても構わない。

異常検出システム１の構成概要図である。被写体４０の正常撮像画像の一つのフレームをイメージした図である。被写体４０の正常撮像画像の一つのフレームにマスク領域Ｍが設定されたことをイメージした図である。異常検出システム１により行われる動作を示すフローチャートである。異常検出システム１により行われる動作を示すフローチャートである。

符号の説明

１…異常検出システム、１０…撮像装置、２０…画像保存装置、２１０…送受信部、２２０…マスク設定部、２３０…保存部、３０…異常検出装置、３１０…計測画像受信部、３２０…参照画像受信部、３３０…同期部、３４０…マスク拡大部、３５０…差分計算部、３６０…異常検出部、４０…被写体。

Claims

撮像装置、画像保存装置、および異常検出装置を備え、所定の動作を行う機械システムである被写体の異常動作を検出する異常検出システムであって、
前記撮像装置は、前記被写体を撮像するものであり、
前記画像保存装置は、前記撮像装置が前記被写体の正常動作時に撮像した画像を保存するものであり、
前記被写体の正常動作時に撮像された画像のフレームごとに、前記被写体の動作部分を含む領域をマスク領域として設定するマスク設定手段と、
前記マスク設定手段により前記マスク領域が設定された前記画像、および前記マスク設定手段が設定した前記マスク領域を特定するマスク領域特定情報を保存する保存手段と、
を備え、
前記異常検出装置は、前記被写体の異常動作を検出するものであり、
前記撮像装置が前記被写体を撮像した画像を計測画像として前記撮像装置より受信する計測画像受信手段と、
前記被写体の動作部分を含む領域がマスク領域としてフレームごとに設定された画像を参照画像として前記画像保存装置より受信し、且つ前記マスク領域を特定するマスク領域特定情報を前記画像保存装置より受信する参照画像受信手段と、
前記計測画像受信手段が受信した前記計測画像と、前記参照画像受信手段が受信した前記参照画像との間のフレーム同期をとる同期手段と、
前記同期手段によりフレーム同期がとれた計測画像と参照画像との間の差分であって、前記マスク領域特定情報により特定された前記マスク領域以外の領域に対する差分を計算する差分計算手段と、
前記差分計算手段が計算した前記差分が閾値以上である場合に、前記被写体の異常動作を検出する異常検出手段と、
を備えることを特徴とする異常検出システム。
前記保存手段は、
前記被写体の前記動作部分の位置を特定するための第１位置情報を前記画像のフレームごとに保存することを特徴とする請求項１記載の異常検出システム。
前記計測画像受信手段は、前記被写体の前記動作部分の位置を特定するための第２位置情報を前記計測画像のフレームごとに前記被写体より受信し、
前記参照画像受信手段は、前記参照画像のフレームごとに保存された前記被写体の前記動作部分の位置を特定するための第１位置情報を前記画像保存装置より受信し、
前記同期手段は、前記計測画像受信手段が受信した前記第２位置情報と前記参照画像受信手段が受信した前記第１位置情報とを照合することにより、前記計測画像受信手段が受信した前記計測画像と前記参照画像受信手段が受信した前記参照画像との間のフレーム同期をとることを特徴とする請求項１記載の異常検出システム。
前記撮像装置の撮像環境の誤差レベルに応じて、前記参照画像受信手段が受信した前記参照画像に設定された前記マスク領域の大きさを調整するマスク領域調整手段を備えることを特徴とする請求項１記載の異常検出システム。
所定の動作を行う機械システムである被写体を撮像する撮像装置と、前記撮像装置が前記被写体の正常動作時に撮像した画像を保存する画像保存装置と、前記被写体の異常動作を検出する異常検出装置と、を備えた異常検出システムにおける異常検出方法であって、
前記撮像装置が、前記被写体を撮像する撮像ステップと、
前記画像保存装置のマスク設定手段が、前記被写体の正常動作時に撮像された画像のフレームごとに、前記被写体の動作部分を含む領域をマスク領域として設定するマスク設定ステップと、
前記画像保存装置の保存手段が、前記マスク設定手段により前記マスク領域が設定された前記画像、および前記マスク設定手段が設定した前記マスク領域を特定するマスク領域特定情報を保存する保存ステップと、
前記異常検出装置の計測画像受信手段が、前記撮像装置が前記被写体を撮像した画像を計測画像として前記撮像装置より受信する計測画像受信ステップと、
前記異常検出装置の参照画像受信手段が、前記被写体の動作部分を含む領域がマスク領域としてフレームごとに設定された画像を参照画像として前記画像保存装置より受信し、且つ前記マスク領域を特定するマスク領域特定情報を前記画像保存装置より受信する参照画像受信ステップと、
前記異常検出装置の同期手段が、前記計測画像受信手段が受信した前記計測画像と、前記参照画像受信手段が受信した前記参照画像との間のフレーム同期をとる同期ステップと、
前記異常検出装置の差分計算手段が、前記同期手段によりフレーム同期がとれた計測画像と参照画像との間の差分であって、前記マスク領域特定情報により特定された前記マスク領域以外の領域に対する差分を計算する差分計算ステップと、
前記異常検出装置の異常検出手段が、前記差分計算手段が計算した前記差分が閾値以上である場合に、前記被写体の異常動作を検出する異常検出ステップと、
を備えることを特徴とする異常検出方法。