JP6195688B1 - 非定常検出装置、非定常検出システムおよび非定常検出方法 - Google Patents

Abstract

監視対象が非定常状態か否かを検出する非定常検出装置（１）であって、監視対象を含み連続して撮影された複数の画像データである連続画像群から、規定された作業単位であるタクト毎の連続画像群の特徴を示す要素を抽出する要素抽出部（１２）と、要素抽出部（１２）で抽出された各タクトの要素に基づいて、監視対象において判定対象のタクトが非定常状態であるかまたは定常状態であるかを判定する判定部（１８）と、を備える。

Description

本発明は、非定常状態を検出する非定常検出装置、非定常検出システムおよび非定常検出方法に関する。

従来、点検または保守が必要な監視対象の場所にカメラなどのセンサを設置し、画像などのセンサ情報から、監視対象が異常の無い定常状態にあるかまたは何らかの異常が有る非定常状態にあるかの判定が行われている。特許文献１には、過去に取得した定常状態のときの複数の画像から抽出した特徴量から、定常状態のときの類似した画像のクラスタを生成し、新たに取得した画像から抽出された特徴量がクラスタに属さない場合、新たに取得した画像で表される監視対象は非定常状態にあると判別する技術が開示されている。

特開２００６−３３０７９７号公報

特許文献１に記載の技術は、非定常状態を検出する監視対象が定常状態において動きが無い、すなわち定常状態の画像が同じときには有効である。しかしながら、定常状態において人、物または機械などが動いている製造現場などの場合、類似した画像のクラスタを生成できないため非定常状態を検出できない、という問題があった。

本発明は、上記に鑑みてなされたものであって、定常状態において動きを伴う監視対象を含む場合に、非定常状態を検出可能な非定常検出装置を得ることを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、監視対象を含み連続して撮影された複数の画像データである連続画像群から、規定された作業単位であるタクト毎の連続画像群の特徴を示す要素を抽出する要素抽出部と、要素抽出部で抽出された各タクトの要素に基づいて、監視対象において判定対象のタクトが非定常状態か定常状態かを判定する判定部と、を備え、要素抽出部は、監視対象の各画像データから各画像データの特徴を示す第１の要素を抽出し、１タクト分の第１の要素から第１の要素の時間的変化の特徴を示す第２の要素を抽出し、判定部は、第２の要素をベクトルで示した場合に、定常状態と判定された複数のタクトの第２の要素を示すベクトルの分布情報を示すデータ群を用いて、判定対象のタクトが非定常状態か定常状態かを判定することを特徴とする。

本発明にかかる非定常検出装置は、定常状態において動きを伴う監視対象を含む場合に、非定常状態を検出できる、という効果を奏する。

実施の形態１にかかる非定常検出装置の構成例を示すブロック図 実施の形態１にかかる非定常検出装置において非定常状態を検出する処理を示すフローチャート 実施の形態１にかかる要素抽出部が抽出する２つの要素を示す図 実施の形態１においてクラスタリング情報記憶部が記憶しているクラスタリング情報と第２の要素記憶部から読み出した判定対象のタクトの第２の要素との関係のイメージを示す図 実施の形態１にかかる表示生成部において、判定部で非定常状態と判定されたタクトにおける監視対象の画像データと定常状態と判定されたタクトにおける監視対象の画像データの差分を強調表示した画像情報の一例を示す図 実施の形態１にかかる表示生成部において、判定部で非定常状態と判定されたタクトの画像データと定常状態と判定されたタクトの画像データの差分を強調表示した画像情報の他の例を示す図 実施の形態１にかかる非定常検出装置の処理回路をＣＰＵおよびメモリで構成する場合の例を示す図 実施の形態２にかかる非定常検出システムの構成例を示す図

以下に、本発明の実施の形態にかかる非定常検出装置、非定常検出システムおよび非定常検出方法を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

実施の形態１．
図１は、本発明の実施の形態１にかかる非定常検出装置１の構成例を示すブロック図である。非定常検出装置１は、例えば、プログラマブル表示器である。本実施の形態では、非定常検出装置１は、製造ラインにおいて製造工程の任意の作業単位、すなわち規定された１タクトを対象にして非定常状態を検出する場合を例にして説明する。１タクトは、監視対象である製造ラインの１つの製造工程でもよいし、複数の製造工程を含むものであってもよい。なお、非定常検出装置１の用途は、製造ラインに限定されるものではない。

非定常検出装置１は、非定常状態を検出するために使用するデータとして、撮像装置２で撮影された画像データを使用する。非定常検出装置１は、製造ラインにおいて製造機器の制御を行うプログラマブルコントローラ、または製造ラインにおいて規定されたイベントを検出する計測器などの外部装置３から取得する情報に基づいて、製造工程の１タクトを検出する。非定常検出装置１は、操作者４から、後述する非定常状態の検出処理において必要な判定閾値などの設定を受け付ける。

非定常検出装置１の構成について説明する。非定常検出装置１は、撮像装置２から画像データを取得するデータ取得部１１と、データ取得部１１で取得された画像データから画像圧縮技術を用いて各画像データの周波数の特徴を示す第１の要素を抽出し、また、後述する第１の要素分割部１５から受け渡された１タクト分の第１の要素から画像圧縮技術を用いて第１の要素の時間的変化の特徴を示す第２の要素を抽出する要素抽出部１２と、要素抽出部１２で抽出された第１の要素を記憶する第１の要素記憶部１３と、を備える。

また、非定常検出装置１は、外部装置３との間でデータなどの送受信を行い、外部装置３からの情報に基づいて監視対象の作業単位である１タクトを検出する外部装置接続インタフェース１４と、外部装置接続インタフェース１４から通知された１タクト毎に、第１の要素記憶部１３から１タクト分の第１の要素を分割して読み出し、１タクト分の第１の要素を要素抽出部１２へ受け渡す第１の要素分割部１５と、を備える。

また、非定常検出装置１は、要素抽出部１２で抽出された第２の要素を記憶する第２の要素記憶部１６と、過去に定常状態であると判定されたタクトの第２の要素をベクトルで示した場合の分布情報を示すデータ群などを含むクラスタリング情報を記憶するクラスタリング情報記憶部１７と、要素抽出部１２で抽出された各タクトの要素、すなわち、第２の要素記憶部１６に記憶されている判定対象のタクトの第２の要素と、クラスタリング情報記憶部１７に記憶されているクラスタリング情報とを用いて、監視対象において判定対象のタクトが非定常状態か定常状態かを判定する判定部１８と、を備える。

また、非定常検出装置１は、操作者４からの操作を受け付けて判定部１８の判定処理において使用される判定閾値を判定部１８に設定する操作受付部１９と、判定部１８の判定結果に基づいて、判定結果を含む表示情報を生成する表示生成部２０と、表示生成部２０で生成された表示情報を表示する表示部２１と、要素抽出部１２で第２の要素を抽出する際に使用された第１の要素を記憶する画像情報記憶部２２と、を備える。なお、第１の要素記憶部１３、第２の要素記憶部１６、クラスタリング情報記憶部１７、および画像情報記憶部２２をまとめて記憶部２３とする。

つぎに、監視対象が非定常状態か否かを検出する非定常検出装置１の非定常検出方法、すなわち非定常状態を検出する処理について説明する。図２は、実施の形態１にかかる非定常検出装置１において非定常状態を検出する処理を示すフローチャートである。

まず、非定常検出装置１では、データ取得部１１が、撮像装置２から、撮像装置２において監視対象を含んで撮影された画像のデータである画像データを取得する（ステップＳ１）。撮像装置２は、例えば、デジタルカメラである。データ取得部１１は、撮像装置２から、複数の画像データである連続画像群を取得する。例えば撮像装置２が１秒間に３０枚の静止画像を連続して撮影している場合、データ取得部１１は、撮像装置２が静止画像を撮影した都度、撮像装置２から静止画像の画像データを取得する。

要素抽出部１２は、データ取得部１１で取得された監視対象の各画像データから画像圧縮技術を用いて各画像データを周波数分解し、各画像データを構成する周波数の特徴を示す要素である第１の要素を抽出する（ステップＳ２）。要素抽出部１２は、画像圧縮技術として、主成分分析またはウェブレット変換といった既存の手法を用いて、画像データから第１の要素を抽出することができる。

図３は、実施の形態１にかかる要素抽出部１２が抽出する２つの要素を示す図である。図３において、時間方向の軸の１枚目、２枚目といった（１）で示す実線は、要素抽出部１２が監視対象の各画像データから抽出した第１の要素であって、各画像を構成する周波数の特徴を示す、周波数の要素である。ここでは、１枚目、２枚目といった枚数によって時間の経過を示している。また、図３において、周波数方向の軸の（２）で示す点線は、後述するように要素抽出部１２が第１の要素から抽出した第２の要素であって、第１の要素の時間的変化の特徴すなわち遷移を示す、周波数の要素の時間的変化の要素である。また、図３において、振幅方向の軸は、周波数の要素の大きさ、すなわち振幅を示す。非定常検出装置１では、製造ラインにおいて、人、物または製造機器などで動きを伴う範囲を非定常状態検出の監視対象としており、撮影時刻毎に静止画像すなわち画像データの内容が異なる。そのため、要素抽出部１２が画像データから抽出した周波数の特徴を示す第１の要素は、１枚目、２枚目によって、すなわち静止画像が撮影された時刻によって異なる周波数の特徴の遷移を示すことになる。監視対象の製造ラインでは、一般的に、１タクト毎に人、物または製造機器が同じ動きを繰り返す。そのため、定常状態の場合であれば、各タクトにおいて１タクト分の画像データから抽出された第１の要素は、各タクト内の同じ時間帯において同様の特徴を示すことになる。

要素抽出部１２は、画像データから第１の要素を抽出する毎に、抽出した第１の要素を第１の要素記憶部１３に記憶させる（ステップＳ３）。

外部装置接続インタフェース１４は、外部装置３から取得する情報に基づいて、非定常状態検出の監視対象の製造ラインの作業単位である１タクトを検出する（ステップＳ４）。１タクトは、監視対象である製造ラインにおける１つまたは複数の製造工程の作業単位である。外部装置接続インタフェース１４は、監視対象の製造ラインにおいて繰り返される作業単位を１タクトとして検出する。外部装置接続インタフェース１４は、例えば、外部装置３がプログラマブルコントローラの場合、プログラマブルコントローラの処理範囲の情報から１タクトを検出する。または、外部装置接続インタフェース１４は、例えば、外部装置３が製造ラインにおいて規定されたイベントを検出する計測器の場合、イベントを検出する間隔の情報から１タクトを検出する。外部装置接続インタフェース１４は、具体的に、計測器が物の流れを検出するセンサの場合、センサが製造工程において特定の物が流れてくることを検出する間隔で１タクトを検出する。外部装置接続インタフェース１４は、１タクトを検出する毎に、１タクトを検出したことを第１の要素分割部１５へ通知する。

第１の要素分割部１５は、外部装置接続インタフェース１４から作業単位である１タクトを検出したことの通知を受ける毎に、第１の要素記憶部１３から、第１の要素記憶部１３に記憶されている第１の要素を読み出す。すなわち、第１の要素分割部１５は、要素抽出部１２で抽出され続けている第１の要素を１タクト毎に分割する（ステップＳ５）。第１の要素分割部１５は、第１の要素記憶部１３から読み出した１タクト分の第１の要素を要素抽出部１２へ受け渡す。

要素抽出部１２は、第１の要素分割部１５から取得した１タクト分の第１の要素に対して画像圧縮技術を用い、規定された周波数について、または規定された周波数間隔毎に、第１の要素の時間的変化の特徴を示す要素として第２の要素を抽出する（ステップＳ６）。要素抽出部１２において第２の要素を抽出する手法は、前述の第１の要素を抽出するときと同様である。

要素抽出部１２が第１の要素から第２の要素を抽出することにより、図３に示す（２）の点線の情報を得ることができる。なお、図３では第２の要素として１本の点線のみ示しているが、これは第２の要素のイメージを分かり易くするためである。要素抽出部１２は、実際には第１の要素から複数の周波数において第２の要素を抽出しているものとする。

要素抽出部１２は、第１の要素から第２の要素を抽出する毎に、抽出した第２の要素を第２の要素記憶部１６に記憶させる（ステップＳ７）。また、要素抽出部１２は、第２の要素を抽出する際に使用した１タクト分の第１の要素を画像情報記憶部２２に記憶させる（ステップＳ８）。

判定部１８は、第２の要素記憶部１６から判定対象のタクトの第２の要素を読み出し、クラスタリング情報記憶部１７のクラスタリング情報を参照し、監視対象において、判定対象のタクトが非定常状態にあるか否かを判定する（ステップＳ９）。判定部１８は、例えば、１タクト分の第２の要素のデータ量が設定されており、第２の要素記憶部１６を定期的に確認して、第２の要素記憶部１６に１タクト分の第２の要素のデータ量が記憶されてから読み出しを行ってもよい。

ここで、クラスタリング情報記憶部１７が記憶しているクラスタリング情報について説明する。図４は、実施の形態１においてクラスタリング情報記憶部１７が記憶しているクラスタリング情報と第２の要素記憶部１６から読み出した判定対象のタクトの第２の要素との関係のイメージを示す図である。

クラスタリング情報には、過去に定常状態であると判定された複数のタクトの第２の要素の分布情報である定常状態データ群４１、および定常状態データ群４１の中心座標４２が含まれる。一般的に、要素抽出部１２で抽出された第２の要素は２次式、３次式といった数式で表すことができ、得られた数式の各次数の係数を用いて、数式の特徴をベクトルの情報で表すことができる。定常状態データ群４１は、過去に定常状態であると判定された複数のタクトの第２の要素のベクトルによって示される点の分布を示すものである。中心座標４２は、過去に定常状態であると判定された複数のタクトの第２の要素のベクトルによって示される点の分布状態から得られる中心の座標位置を示すものである。第２の要素４３は、第２の要素記憶部１６から読み出した判定対象のタクトの第２の要素で表されるベクトルで示される点である。なお、上記の中心座標４２については、定常状態データ群４１の重心としてもよい。

判定部１８には、操作受付部１９を介して、予め操作者４によって判定対象のタクトが非定常状態にあるか否かを判定するための判定閾値が設定されている。判定部１８は、図４に示す中心座標４２と判定対象のタクトの第２の要素４３との距離が判定閾値以上の場合、監視対象において、判定対象のタクトは非定常状態にあると判定する（ステップＳ９：Ｙｅｓ）。判定部１８は、判定対象のタクトが非定常状態にあると判定した場合、表示生成部２０に対して、判定対象のタクトが非定常状態にあることの判定結果を通知する。

表示生成部２０は、判定対象のタクトが非定常状態にあるという判定結果の場合、画像情報記憶部２２から、過去に定常状態と判定されたタクトの１タクト分の第１の要素と、今回の判定で非定常状態と判定された判定対象のタクトの１タクト分の第１の要素とを取得する。表示生成部２０は、過去に定常状態と判定されたタクトの第１の要素から定常状態のタクトの画像データを復元し、今回の判定で非定常状態と判定された判定対象のタクトの第１の要素から非定常状態のタクトの画像データを復元する。表示生成部２０は、定常状態のタクトの画像データと非定常状態のタクトの画像データとの差分を検出し、定常状態のタクトの画像データと非定常状態のタクトの画像データとを重ねて表示した画像に差分を強調表示した画像情報を生成する。表示生成部２０は、判定対象のタクトが非定常状態にあることを示す文字などの判定結果と、画像情報とを含む表示情報を生成して、表示部２１に表示させる制御を行う（ステップＳ１０）。なお、表示生成部２０は、定常状態のタクトの画像データと非定常状態のタクトの画像データとの差分を検出し、非定常状態のタクトの画像データを表示した画像に差分を強調表示した画像情報を生成してもよい。

図５は、実施の形態１にかかる表示生成部２０において、判定部１８で非定常状態と判定されたタクトにおける監視対象の画像データと定常状態と判定されたタクトにおける監視対象の画像データとの差分を強調表示した画像情報の一例を示す図である。非定常検出装置１は、例えば、製造ラインの近くに侵入者５１がいた場合に非定常状態として検出することができる。図６は、実施の形態１にかかる表示生成部２０において、判定部１８で非定常状態と判定されたタクトの画像データと定常状態と判定されたタクトの画像データの差分を強調表示した画像情報の他の例を示す図である。非定常検出装置１は、例えば、常に動きのある製造ラインで流れてくる製品の中に破損などの異常のある製品６１があった場合に非定常状態として検出することができる。

判定部１８は、監視対象において、判定対象のタクトは非定常状態にあると判定した場合（ステップＳ９：Ｙｅｓ）、判定結果を、外部装置接続インタフェース１４を介して外部装置３へ出力してもよい。また、判定部１８は、表示生成部２０で生成された表示情報を表示生成部２０から取得して、外部装置接続インタフェース１４を介して外部装置３へ出力してもよい。

判定部１８は、図４に示す中心座標４２と判定対象のタクトの第２の要素４３との距離が判定閾値より小さい場合、監視対象において、判定対象のタクトは定常状態にあると判定する（ステップＳ９：Ｎｏ）。判定部１８は、判定対象のタクトが定常状態にあると判定した場合、表示生成部２０に対して、判定対象のタクトが定常状態にあることの判定結果を通知する。表示生成部２０は、判定対象のタクトが定常状態にあることを示す文字などの判定結果を含む表示情報を生成して、表示部２１に表示させてもよい。

また、判定部１８は、定常状態にあると判定対象のタクトの第２の要素をクラスタリングする（ステップＳ１１）。具体的に、判定部１８は、定常状態にあると判定した判定対象のタクトの第２の要素によるベクトルの情報をクラスタリング情報記憶部１７に記憶させる。判定部１８は、クラスタリング情報記憶部１７のクラスタリング情報を編集し、定常状態にあると判定した判定対象のタクトの第２の要素によるベクトルの情報を定常状態データ群４１に追加する。判定部１８は、図４に示す定常状態データ群４１に今回定常状態にあると判定したタクトの第２の要素を含ませ、必要な場合は中心座標４２を再計算する。これにより、判定部１８は、クラスタリング情報記憶部１７に記憶されているクラスタリング情報を最新の状態にすることができる。

なお、非定常検出装置１において、製造工程の状態を検出するための情報として画像データを使用する場合について説明したが、製造工程の状態を検出するための情報は画像データに限定されるものではない。非定常検出装置１は、例えば、製造工程に設置されているプレス機などの圧力を計測する圧力計、空気圧で動くピストンに流れる空気を計測する流量計などの計測器から得られる数値などの計測データ、すなわち製造機器の動作の状態を計測した計測器の値を使用することも可能である。また、非定常検出装置１は、製造工程の状態を検出するための情報として、製造工程で使用される各機器のロギングデータを使用してもよい。データ取得部１１は、これらの数値などの計測データ、またはロギングデータを取得する。

また、クラスタリング情報記憶部１７では、過去に定常状態と判定されたタクトの第２の要素の情報を用いた定常状態データ群４１を記憶し、新たに定常状態と判定されたタクトの第２の要素の情報を用いて定常状態データ群４１を更新しているが、データ量が多くなりすぎるおそれがある。そのため、判定部１８は、定常状態データ群４１の容量が一定量に達した場合は取得時期の古い順に第２の要素の情報を定常状態データ群４１から削除してもよいし、一定期間経過後の第２の要素の情報を定常状態データ群４１から削除してもよい。

また、要素抽出部１２は、第２の要素を抽出したときに使用した１タクト分の第１の要素を画像情報記憶部２２に記憶させているが、第１の要素から復元した画像データの状態で画像情報記憶部２２に記憶させてもよい。この場合、画像情報記憶部２２の容量を大きくする必要があるが、表示生成部２０で第１の要素から画像データを復元しなくてよいため、表示生成部２０の構成を簡略化することができる。

また、操作者４が操作受付部１９を介して判定部１８に判定閾値を設定しているが、数値として判定閾値を設定するためには、操作者４が製造工程の非定常検出対象の装置に対して習熟している必要がある。そのため、操作者４は、表示部２１に表示される非定常状態のときの画像情報を参照して判定閾値を変更してもよい。また、操作者４は、判定閾値として設定されていた値が不適であったため非定常状態と誤検出されていたタクトの第２の要素について、操作受付部１９を介して判定部１８を操作し、判定対象のタクトの第２の要素を選択してクラスタリング情報記憶部１７に定常状態データ群４１としてクラスタリングしてもよい。操作者４は、判定部１８の判定結果によって判定閾値を動的に変更してもよいし、判定閾値を一意の値ではなくヒステリシスを設定可能としてもよい。

つづいて、非定常検出装置１のハードウェア構成について説明する。非定常検出装置１において、データ取得部１１は、画像データなどを受信可能なインタフェース回路により実現される。外部装置接続インタフェース１４は、外部装置３との間でデータの送受信が可能なインタフェース回路により実現される。操作受付部１９は、マウス、キーボードなどのデバイスにより実現される。表示部２１は、ＬＣＤ（Liquid Crystal Display）などのディスプレイにより実現される。第１の要素記憶部１３、第２の要素記憶部１６、クラスタリング情報記憶部１７、および画像情報記憶部２２を含む記憶部２３は、メモリにより実現される。要素抽出部１２、第１の要素分割部１５、判定部１８、および表示生成部２０は、処理回路により実現される。処理回路は、専用のハードウェアであってもよいし、メモリに格納されるプログラムを実行するＣＰＵ（Central Processing Unit）およびメモリであってもよい。

図７は、実施の形態１にかかる非定常検出装置１の処理回路をＣＰＵ９１およびメモリ９２で構成する場合の例を示す図である。処理回路がＣＰＵ９１およびメモリ９２で構成される場合、要素抽出部１２、第１の要素分割部１５、判定部１８、および表示生成部２０の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ９２に格納される。処理回路では、メモリ９２に記憶されたプログラムをＣＰＵ９１が読み出して実行することにより、各機能を実現する。

ＣＰＵ９１は、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、またはＤＳＰ（Digital Signal Processor）などであってもよい。また、メモリ９２とは、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically ＥＰＲＯＭ）などの、不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、またはＤＶＤ（Digital Versatile Disc）などが該当する。記憶部２３を実現するメモリは、メモリ９２であってもよい。

以上説明したように、本実施の形態によれば、非定常検出装置１では、製造ラインなどの動きを伴う作業単位である１タクトの監視対象について、監視対象が撮影された連続画像群の各画像データから画像圧縮技術を用いて各画像データの周波数の特徴を示す第１の要素を抽出し、１タクト分の第１の要素から画像圧縮技術を用いて第１の要素の時間的変化の特徴を示す第２の要素を抽出し、判定対象のタクトの第２の要素と、過去に定常状態と判定されたタクトの第２の要素のデータ群を含むクラスタリング情報とを用いて、判定対象のタクトが非定常状態か定常状態かを判定することとした。これにより、非定常検出装置１は、定常状態において動きを伴う監視対象を対象にして非定常状態を検出することができる。また、非定常検出装置１は、定常状態において動きを伴う監視対象を対象にする場合において、２段階で画像圧縮技術による処理を行うことにより、監視対象が撮影された画像データをそのまま使用する場合と比較して、少ない情報量で非定常状態を検出することができる。

実施の形態２．
実施の形態２では、非定常検出装置１が複数の監視対象において非定常状態を検出する場合について説明する。

図８は、実施の形態２にかかる非定常検出システム６の構成例を示す図である。非定常検出システム６は、非定常検出装置１と、複数の外部装置３と、を備え、非定常検出装置１と各外部装置３がネットワーク５を介して接続されているシステムである。実施の形態１では、非定常検出装置１は１つの撮像装置２と接続しており、撮像装置２によって撮影された１つの監視対象の製造ラインについて非定常状態のタクトを検出していた。しかしながら、非定常検出装置１では、要素抽出部１２の処理能力、また記憶部２３の容量などに余裕があれば、複数の製造ラインを監視対象にすることも可能である。監視対象が複数ある場合において、複数の撮像装置２は、各々が規定された監視対象を撮影して得られた画像データを非定常検出装置１に出力する。図８において、撮像装置２を、外部装置３例えばプログラマブルコントローラに含め、非定常検出装置１を、製造ラインを管理する生産管理装置として構成してもよい。この場合、非定常検出装置１は、各製造ラインで稼働時に制御しているデータの時系列の遷移または稼働状況を波形すなわち要素として抽出し、分析することができる。これにより、操作者４は、非定常検出システム６の非定常検出装置１が実施する非定常状態のタクトの検出状況から、各製造工程間のばらつき、ムラ、またムダなどを定量化することができ、各製造工程の最適化を実行することができる。

なお、非定常検出システム６において、非定常検出装置１が個々の監視対象の製造ラインについて非定常状態を検出する処理そのものは、実施の形態１のときと同様である。

以上説明したように、本実施の形態によれば、非定常検出装置１は、複数の監視対象を対象にして非定常状態を検出する。これにより、監視対象分の非定常検出装置１を備える必要が無く、複数の監視対象を対象にして非定常状態を検出するシステムを低コストで実現することができる。

以上の実施の形態に示した構成は、本発明の内容の一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。

１ 非定常検出装置、２ 撮像装置、３ 外部装置、４ 操作者、５ ネットワーク、６ 非定常検出システム、１１ データ取得部、１２ 要素抽出部、１３ 第１の要素記憶部、１４ 外部装置接続インタフェース、１５ 第１の要素分割部、１６ 第２の要素記憶部、１７ クラスタリング情報記憶部、１８ 判定部、１９ 操作受付部、２０ 表示生成部、２１ 表示部、２２ 画像情報記憶部、２３ 記憶部。

Claims (13)

1. 監視対象を含み連続して撮影された複数の画像データである連続画像群から、規定された作業単位であるタクト毎の連続画像群の特徴を示す要素を抽出する要素抽出部と、
   前記要素抽出部で抽出された各タクトの要素に基づいて、前記監視対象において判定対象のタクトが非定常状態か定常状態かを判定する判定部と、
   を備え、
   前記要素抽出部は、監視対象の各画像データから各画像データの特徴を示す第１の要素を抽出し、１タクト分の前記第１の要素から前記第１の要素の時間的変化の特徴を示す第２の要素を抽出し、
   前記判定部は、前記第２の要素をベクトルで示した場合に、定常状態と判定された複数のタクトの第２の要素を示すベクトルの分布情報を示すデータ群を用いて、判定対象のタクトが非定常状態か定常状態かを判定する、
   ことを特徴とする非定常検出装置。
2. 前記要素抽出部は、監視対象の各画像データから画像圧縮技術を用いて前記第１の要素を抽出し、１タクト分の前記第１の要素から前記画像圧縮技術を用いて前記第２の要素を抽出する、
   ことを特徴とする請求項１に記載の非定常検出装置。
3. 前記画像圧縮技術は、主成分分析またはウェブレット変換である、
   ことを特徴とする請求項２に記載の非定常検出装置。
4. 前記判定部は、前記データ群の中心座標または重心の位置と、判定対象のタクトの第２の要素を表したベクトルで示される位置との距離が判定閾値以上の場合、判定対象のタクトは非正常状態と判定する、
   ことを特徴とする請求項１から３のいずれか１つに記載の非定常検出装置。
5. 前記要素抽出部で抽出された複数の第１の要素から、１タクト分の第１の要素に分割して読み出す第１の要素分割部、
   を備え、
   前記要素抽出部は、前記第１の要素分割部で分割された１タクト分の第１の要素から前記第２の要素を抽出する、
   ことを特徴とする請求項１から４のいずれか１つに記載の非定常検出装置。
6. 前記データ群の情報を記憶する記憶部、
   を備え、
   前記判定部は、定常状態と判定したタクトの第２の要素を示すベクトルの情報を前記記憶部に記憶させ、前記データ群に追加する、
   ことを特徴とする請求項１から５のいずれか１つに記載の非定常検出装置。
7. 前記判定部が判定対象のタクトを非定常状態と判定した場合に、判定対象のタクトが非定常状態であることを示す判定結果を含む表示情報を生成して表示させる制御を行う表示生成部、
   を備えることを特徴とする請求項６に記載の非定常検出装置。
8. 前記要素抽出部は、前記第２の要素を抽出する際に使用した前記１タクト分の第１の要素を前記記憶部に記憶させ、
   前記表示生成部は、前記記憶部に記憶されている定常状態と判定されたタクトの１タクト分の第１の要素、および非定常状態と判定された判定対象のタクトの１タクト分の第１の要素から各タクトの監視対象の画像データを復元し、復元した各タクトの監視対象の画像データの差分を示す画像情報を含む前記表示情報を生成する、
   ことを特徴とする請求項７に記載の非定常検出装置。
9. 前記１タクトは、前記監視対象である製造ラインにおける１つまたは複数の製造工程であって、前記製造ラインにおいて製造機器の制御を行うプログラマブルコントローラの処理範囲である、
   ことを特徴とする請求項１から８のいずれか１つに記載の非定常検出装置。
10. 前記１タクトは、前記監視対象である製造ラインにおける１つまたは複数の製造工程であって、前記製造ラインにおいて規定されたイベントを検出する計測器が前記イベントを検出する間隔である、
    ことを特徴とする請求項１から８のいずれか１つに記載の非定常検出装置。
11. 請求項１から１０に記載の非定常検出装置と、
    前記監視対象が複数ある場合において、各々が規定された監視対象を撮影して得られた画像データを出力する複数の撮像装置と、
    を備え、
    前記非定常検出装置および前記複数の撮像装置がネットワーク経由で接続され、前記非定常検出装置が各監視対象についてタクト毎に非定常状態か定常状態かを判定することを特徴とする非定常検出システム。
12. 監視対象が非定常状態か否かを検出する非定常検出装置の非定常検出方法であって、
    監視対象を含み連続して撮影された複数の画像データである連続画像群から、規定された作業単位であるタクト毎の連続画像群の特徴を示す要素を抽出する要素抽出ステップと、
    前記要素抽出ステップで抽出された各タクトの要素に基づいて、前記監視対象において判定対象のタクトが非定常状態か定常状態かを判定する判定ステップと、
    を含み、
    前記要素抽出ステップは、
    監視対象の各画像データから各画像データの特徴を示す第１の要素を抽出する第１の要素抽出ステップと、
    １タクト分の前記第１の要素から前記第１の要素の時間的変化の特徴を示す第２の要素を抽出する第２の要素抽出ステップと、
    を含み、
    前記判定ステップでは、前記第２の要素をベクトルで示した場合に、定常状態と判定された複数のタクトの第２の要素を示すベクトルの分布情報を示すデータ群を用いて、判定対象のタクトが非定常状態か定常状態かを判定する、
    ことを特徴とする非定常検出方法。
13. 前記第１の要素抽出ステップでは、監視対象の各画像データから画像圧縮技術を用いて前記第１の要素を抽出し、
    前記第２の要素抽出ステップでは、１タクト分の前記第１の要素から前記画像圧縮技術を用いて前記第２の要素を抽出する、
    ことを特徴とする請求項１２に記載の非定常検出方法。

Images