JP5859845B2 - 通板異常検出装置 - Google Patents

Description

本発明は、鋼板のプロセスラインにおいて鋼板先端が薄鋼板製造設備に突っ掛る通板異常を検出する通板異常検出装置に関する。

冷延鋼板は、通常、コイル状に巻いて製造設備間を移動させている。
製造設備に鋼板を設置すると、コイル状に巻かれた状態から巻き戻してライン内に通板を開始する。連続ラインにおいては、入側に巻き戻し設備を複数基用意して順次巻き戻し、連続操業する。このとき、先行材尾端と後行材先端とを溶接して設備内で１本にし、連続運転を実現している。

このように鋼板の先端を巻き戻して通板させる際、鋼板先端の反りの癖により、鋼板先端部が操業設備の突起部分（凹凸）に突っ掛ることがある。操業設備の突起部分（凹凸）としては、コンベアの乗せ換え部分やレベラーの凹凸、シャーの凹凸、ピンチロール等がある。また、鋼板の先端の蛇行により通板道の横（サイド）の突起部分（ロールの架構など）に突っ掛ることもある。

鋼板の突っ掛りが発生した場合には、一旦操業を停止し、突っ掛りを解除してから再通板するが、突っ掛りが発生してから早期にラインを停止しないと鋼板の先端が極度に折れ曲がるジャミング状態となり、復旧作業（ジャミング部取り除き、先端カット）に時間を要する。このようにライン停止時間が長くなると、生産性が低下するため、突発的に発生する突っ掛りを早期発見し、ジャミング状態となる前にラインを自動停止することが望まれる。

鋼板の突っ掛りを自動検出する方法としては、製造設備入側の突っ掛りが発生する可能性のある場所に鋼板通過検出器を設置し、予測通過時間と計測時間を比較して鋼板が鋼板通過検出器を設置した場所の前で突っ掛ったことを検出するものがある。例えば、鋼板通過検出器として、磁気式物体検知センサを搬送方向に沿って列設するものがある（例えば、特許文献１参照）。

特開平５−２９４５３４号公報

しかしながら、上記特許文献１に記載の磁気式物体検知センサや、光発生器と受光器とを組み合わせた光電管式の検出器（投受光式検出器や反射式検出器）等、一般的によく用いられる鋼板通過検出器はライン内に設置する必要があるが、設置場所の制約により、当該鋼板通過検出器を突っ掛り検出に適した場所に設置できない場合がある。つまり、ライン内に設置するタイプの鋼板通過検出器を用いた場合、検出することができない突っ掛り異常が存在する。
そこで、本発明は、鋼板のプロセスラインにおける鋼板先端の突っ掛り異常を適切に検出することができる通板異常検出装置を提供することを課題としている。

上記課題を解決するために、本発明に係る通板異常検出装置は、プロセスラインにおける鋼板先端が製造設備に突っ掛る通板異常を検出する通板異常検出装置であって、前記鋼板先端を通板させる画像を連続して撮像する撮像手段と、前記撮像手段で撮像した前記鋼板先端を通板させる画像内のジャミングする前のループ状態である前記鋼板先端の各画素の動きを示す特徴量として、前記撮像手段から取得した時間的に連続する２つの画像の中から輝度情報が一致する画素を抽出し、前記抽出した２つの画素の画像上の位置差から、当該画素を含む画素周辺の移動ベクトルを求めて、前記鋼板の動きを算出する特徴量算出手段と、前記特徴量算出手段で算出した特徴量に基づいて、前記通板異常として前記鋼板の先端が前記プロセスライン内の設備に突っ掛る前記鋼板の前記移動ベクトルによる動きを検出し、前記鋼板がジャミング状態となる前に前記プロセスラインを自動停止する通板異常検出手段と、を備えることを特徴としている。

このように、撮像手段（監視用のカメラ）の映像から鋼板先端の突っ掛りを検出することができる。監視用カメラは操業設備から離して設置することができ、一般的に用いられる光電管式の検出器や磁気式の近接スイッチ等の鋼板通過検出器と比べて設置場所の制約が少ない。そのため、突っ掛りが発生し得る場所の映像を適切に撮像し、異常検出を行うことができる。

また、通板異常として鋼板先端の突っ掛りを検出するので、鋼板先端がジャミングする前にライン停止等の異常時処理を行うことができる。これにより、簡単な復旧作業を行うだけで再運転が可能となるため、ライン停止時間を短縮し、生産性の低下を抑制することができる。さらに、画像内の画素の動きを捉えて異常検出を行うので、例えば鋼板の側面や先端部分の直線をエッジとして捉えて形状認識する方法と比較して、処理時間の問題や誤動作の問題を軽減することができる。
さらに、このように、短時間であれば連続する２つの画像間で画素の輝度が大きく変化しないことを利用し、輝度情報が一致する画素の動きを追いかけるので、比較的簡易に鋼板の異常な動きを検出することができる。

また、上記において、前記特徴量算出手段は、前記撮像手段で撮像した画像領域に前記鋼板先端が前記製造設備に突っ掛る通板異常を検出する所定の検出対象領域を設定し、当該検出対象領域について前記ジャミングする前のループ状態である前記鋼板先端の前記移動ベクトルによる動きの特徴量を算出することを特徴としている。
このように、撮像画像に通板異常の検出対象領域を設け、必要な箇所のみ処理を行うようにするので、外乱影響を低減し誤動作を抑制すると共に処理時間の短縮を図ることができる。

さらにまた、上記において、前記特徴量算出手段は、前記検出対象領域を複数のブロックに分割し、分割したブロック毎に前記ジャミングする前のループ状態である前記鋼板先端の前記移動ベクトルによる動きの特徴量を算出することを特徴としている。
このように、複数のエリアの特徴量を用いて異常判定を行うので、検出対象領域を１エリアとして特徴量を算出し異常判定する場合と比較して誤動作を抑制することができ、適切に鋼板の動作の異常を検出することができる。

また、上記において、前記通板異常検出手段は、前記特徴量算出手段で算出したジャミングする前のループ状態である前記鋼板先端の前記移動ベクトルによる動きの特徴量に基づいて、識別器を用いて前記通板異常を検出するものであって、前記撮像手段で撮像した複数の画像を学習画像とし、当該学習画像から前記通板異常を検出するのに有効な前記ジャミングする前のループ状態である前記鋼板先端の前記移動ベクトルによる動きの特徴量を抽出し、前記識別器を構築する識別器学習手段を備えることを特徴としている。
このように、正常状態の画像や異常状態の画像を複数集めて学習により識別器を構築するので、通板異常の判定ロジックのロバスト性を向上させることができ、安定した異常検出が可能となる。

さらに、上記において、前記識別器学習手段は、Ｒｅａｌ ＡｄａＢｏｏｓｔを用いて前記識別器を構築することを特徴としている。
これにより、高精度な識別器を構築することができ、安定した異常判定を行うことができる。

さらに、上記において、前記特徴量算出手段は、前記撮像手段で撮像した時間的に連続する少なくとも３つの画像から、ＳＴ−ｐａｔｃｈ法を用いて前記ジャミングする前のループ状態である前記鋼板先端の前記移動ベクトルによる動きの特徴量として動きの定常度を算出することを特徴としている。
このように、画像中の物体のアピアランス（見え）とモーション（動き）の２つの情報をもった時空間特徴を用いて鋼板の移動方向識別を行うので、コンベアのキャンパスベルト等の動的な背景をもつ場合であっても鋼板の突っ掛りの異常状態を適切に検出することができる。

本発明によれば、操業設備から離した位置に設置可能な監視用カメラを用いるので、鋼板先端の突っ掛りが発生したことを適切に検出することができる。また、鋼板がジャミングする前に突っ掛りを早期発見することができるので、突っ掛りが発生してから鋼板を再通板するまでの復旧作業時間を短縮し、生産性の低下を抑制することができる。

本実施形態における通板異常検出装置が適用される連続焼鈍設備の入側ラインを示す図である。 鋼板のピンチロールへの流入状況を示す図である。 突っ掛り発生時の鋼板の状態を示す図である。 シャー周辺における突っ掛り発生箇所を示す図である。 通板異常検出装置の構成を示すブロック図である。 カメラ及び照明の設置位置を示す図である。 エリア分割を示す図である。 オプティカルフロー処理による画像解析方法を説明する図である。 第１の実施形態における異常判定の概念を示す図である。 第１の実施形態における識別器構築の概念を示す図である。 オプティカルフロー処理による通板異常検出結果を示す図である。 ＳＴ−ｐａｔｃｈの概要を示す図である。 第２の実施形態における異常判定の概念を示す図である。 第２の実施形態における識別器構築の概念を示す図である。 ＣＲＩＭ演算を行う特徴部分を示す図である。 ＣＲＩＭ演算結果を示す図である。 通板異常検出装置の応用例を示す図である。

以下、本発明の実施の形態を図面に基づいて説明する。
（第１の実施形態）
図１は、本実施形態における通板異常検出装置が適用される連続焼鈍設備の入側ラインを示す図である。
図中、符号１は巻き戻し設備である。この巻き戻し設備１は、ウェルダー１１の入側に複数基（ここでは２基）配置されており、それぞれペイオフリール（ＰＯＲ）２、レベラー３、シャー４等を備え、巻き戻した鋼板１０を、コンベアを介してウェルダー１１に向けて搬送している。そして、この巻き戻し設備１は、通板時に鋼板先端の突っ掛りが発生し得る位置（例えば、符号Ａで示す位置）に、それぞれ通板異常検出装置を備える。
鋼板先端の突っ掛りとは、コイルの反りや腰の弱さによって、コンベアの乗せ換え部分やレベラー、シャー、ピンチロール等の操業設備の凹凸に鋼板１０の先端が突っ掛る現象である。

例えば、ピンチロールを鋼板先端が正常に進行していく状況では、図２（ａ）に示すように突っ掛りは発生しない。ところが、鋼板１０の先端に上向きまたは下向きの反りがあると、図２（ｂ）や図２（ｃ）に示すように先端がピンチロールに突っ掛る。
このように突っ掛りが発生すると、図３（ａ）に示すように余剰の鋼板１０がループ状態となり、その後、図３（ｂ）に示すように先端がジャミングする。本実施形態における通板異常検出装置では、鋼板先端がジャミングする前のループ状態（図３（ａ））を検出する。
なお、鋼板１０の先端の反りが上向きであっても下向きであっても、突っ掛り後も鋼板１０の送り出しはあるため、突っ掛りが発生した箇所の上流では上方向のループが発生する。したがって、通板異常検出装置では、上方向のループ状態を検出するものとする。

次に、通板異常検出装置の具体的構成について説明する。
鋼板１０の突っ掛りは、シャー４の周辺で発生する可能性が高い。シャー４の周辺における突っ掛り発生箇所を図４の星印で示すように、シャー４入側のガイド４ａや刃４ｂ、出側のコンベア４ｃ等、様々な箇所で発生する。ここでは、通板異常検出装置をシャー４の入側に設置した場合について説明する。
図５は、通板異常検出装置の構成を示すブロック図である。
この図５に示すように、通板異常検出装置２０は、カメラ（ビデオカメラ）２１及び照明２２を備える。カメラ２１は、図６（ａ）の平面図に示すように、シャー４の入側で且つラインからやや離れた外側に設置されている。カメラ２１は、シャー４が動いている時間だけ画像採取を行い、撮像した画像データを図５に示すオンライン処理部２３に出力する。このカメラ２１からは、例えば１／３０秒に１画面の画像データが得られる。

また、照明２２は、図６（ｂ）の側面図に示すようにシャー４の入側の上方で天井に固定されており、図６（ａ）に示すように、カメラ２１の撮像範囲をカバーするよう、シャー４入側の所定のエリア２２ａに光を照射する。照明２２は、ハレーションが起こらないような照射角度および輝度に設定するものとし、ここではコリメート式のスポット照明をカメラ２１と同じ方向から照明する方法を採用する。

オンライン処理部２３に入力された画像データは、ノイズ対策や明るさ調整等の処理（入力画像処理２３ａ）が施された後、図７に示すように、突っ掛りを検出する所定領域（検出対象領域）を設定し、さらにその検出対象領域を細分割して複数の細分割エリアを設定する（エリア分割２３ｂ）。図７では、全体画素範囲６４０×４８０の画像に対し、画素領域３００×３００の検出対象領域を設定し、その検出対象領域を６×６分割して細分割エリアを設定した場合を示している。

次に、検出対象領域内の各画素の動きを示す特徴量を算出する（特徴量算出２３ｃ）。本実施形態では、特徴量としてオプティカルフローを用いる。オプティカルフローとは、画像中の物体がどの方向にどの程度移動したかを示す速度ベクトルである。
ここでは、カメラ２１から取得した時間的に連続する２つの画像の中から輝度情報が一致する画素を抽出し、抽出した２つの画素の画像上の位置差から、当該画素を含む物体（画素周辺）の移動ベクトルを求める処理を行う。すなわち、図８に示すように、カメラ２１によって１／３０秒に１画面得られる画像データから明るさの同じ画素を探索し、当該画素の移動ベクトルを求める。これは、微小時間では鋼板１０内の同一箇所の輝度は変化しないことを利用したものであり、同一輝度の画素の動きを捉えることで鋼板１０の通板方向を認識し、鋼板１０の通板異常（ループ発生）の判定を行う。

このとき、画素毎に求めた移動ベクトルは細分割エリア毎に平均化し、代表ベクトルを求める。通板異常判定には、この代表ベクトルを用いる。このように平均化処理を行うことで、ノイズが低減された大きなベクトルを得ることができる。
例えば、図７に示すように検出対象領域を６×６分割して細分割エリアを設定した場合、３６個の細分割エリアの特徴量（方向，大きさの計７２個）が得られる。

なお、鋼板１０の先端を意識するならば、縦方向の６個の細分割エリアの特徴量の加算値（平均値）も通板異常判定に用いることで、特徴量を強化することも可能である（７２個＋６個）。また、水平方向など必要により特徴量を増やすことは縦方向の特徴量を増やすことと同じ理由から任意で可能である。
また、ここでは検出対象領域を６×６分割しているが、分割数はこれに限定されるものではない。例えば１１×１１分割とし、１２１個の細分割エリアと２２個の縦横加算とで１４３個の特徴量を用いることもできる。

次に、細分割エリア毎に、算出した特徴量と事前に設定した異常として検出したい特徴量とを比較し、突っ掛り異常が発生しているか否かを判定する（比較器２３ｄ）。異常として検出したい特徴量は、例えば鋼板上下動等、突っ掛り発生時の鋼板の動きに相当する特徴量である。
図９は、異常判定の概念を示す図である。この図９に示すように、時間的に連続する２つの入力画像から細分割エリア毎に特徴量を算出し、これらを事前に構築した識別器に入力することで正常／異常の判定を行う。ここで、識別器には、細分割エリア毎に異常として検出したい特徴量が比較値として設定されており、入力画像から算出した特徴量を当該比較値と比較し、一致または近似している（比較差の少ない）場合に一定の出力値を返す。

このとき、細分割エリア毎に設定された重み付けに従って、上記出力値に重み付けを行い、その平均値（または合計値）が事前に定めておいた異常判定閾値を超えている場合に突っ掛りの異常が発生していると判断する。この重み付けにより、異常検出に重要なエリアに対して優先的に特徴量の比較を行うことができる。
異常が発生していると判断した場合には、所定の異常時処理を行う（異常動作出力２３ｅ）。異常時処理としては、例えば警報を発してラインを停止し、その後鋼板を再挿入する処理等を行う。

また、通板異常検出装置２０は、カメラ２１で撮像した複数の画像を学習画像とし、当該学習画像から鋼板１０のループを検出するのに有効な特徴量を抽出し、上記識別器を構築する学習機能を有する。
すなわち、カメラ２１からオンライン処理部２３に入力されノイズ対策や明るさ調整等の処理が施された画像データは、オフライン処理部２４に入力されると共に、観察者が認識可能なようにモニター２５に表示される。

オフライン処理部２４に入力された画像データは逐次保存される（録画２４ａ）。また、モニター２５に表示された画像に対しては、観察者が、突っ掛りが発生していない正常画像か突っ掛りが発生している異常画像かを目視により判定し、その結果をオフライン処理部２４に入力する。
録画された画像データは、観察者による判定入力により正常サンプル画像と異常サンプル画像となって、上述したオンライン処理のエリア分割２３ｂと同様に、図７に示すように細分割エリアが設定される（エリア分割２４ｂ）。次に、細分割したエリア毎に画素の動きを示す特徴量を算出する（特徴量算出２４ｃ）。ここでも、特徴量としてオプティカルフローを用いる。

そして、算出した特徴量から識別器を構築する（識別器構築２４ｄ）。ここでは、識別器の構築にＲｅａｌ ＡｄａＢｏｏｓｔの処理を適用する。Ｒｅａｌ ＡｄａＢｏｏｓｔ処理とは、教師付きデータを用いて逐次重みの調整を繰り返すことで複数の学習結果を組み合わせて精度の高い識別器を得る方法である。
図１０は、識別器構築の概念を示す図である。この図１０に示すように、取得した正常サンプル画像（ポジティブサンプル画像）と異常サンプル画像（ネガティブサンプル画像）とからそれぞれ細分割エリア毎に特徴量を算出し、これをＲｅａｌ ＡｄａＢｏｏｓｔによって学習することで、一般的な異常現象に当てはめられる特徴量を算出し、識別器を構築する。
この手法により、比較的容易に異常として検出したい特徴量を求めることができると共に、重み付けも自動的に求めることができるので、最適な特徴量データとすることができる。なお、識別器にＲｅａｌ ＡｄａＢｏｏｓｔを用いなくても、人手を使って多数の特徴量から異常検出に有効なものを選別するようにしてもよい。

次に、本実施形態の動作について説明する。
図１１（ａ）に示すように鋼板１０の先端がシャー４の刃４ｂに突っ掛ると、シャー４の入側で鋼板１０が撓む。このときカメラ２１で撮像した画像から、検出対象領域では図１１（ｂ）の矢印に示すような移動方向ベクトルが細分割エリア毎に得られる。この移動方向ベクトルは、正常な通板状態では通板方向である水平方向に発生する。
突っ掛り発生を早い段階で検出するために、図１１（ａ）に示すような鋼板１０の撓みを通板異常として設定している場合、撮像画像から得られた特徴量と識別器に設定された比較値が一致し、異常判定される。そのため、この場合には異常時処理が行われ、ラインが停止する。
このように、鋼板１０の突っ掛りが発生したとき、撓み発生程度の早い段階で異常出力しラインを停止することで、簡単な手入れ作業のみで再通板の自動制御介入を可能とすることができる。

一方、図１１（ａ）に示す撓み程度ではライン停止を行わなくても操業を続けられるとして、このような撓みを通板異常として設定していない場合には、撮像画像から得られた特徴量と識別器に設定された比較値とは一致せず、正常判定される。そのため、この場合には異常時処理は行われず、鋼板１０の搬送を継続する。
このように、鋼板１０の突っ掛りが発生したとき、撓み発生程度では異常出力しないようにすることで、頻繁にラインが停止されるのを防止し、操業低下を抑制することができる。
この図１１（ａ）に示す状態から鋼板１０の送り出しが継続されると、撓みは徐々に大きくなり、図１１（ｃ）に示すような大きな反りとなる。このときカメラ２１で撮像した画像からは、検出対象領域で図１１（ｄ）の矢印に示すような移動方向ベクトルが細分割エリア毎に得られる。

そして、このとき発生した大きな反りを通板異常として設定している場合には、撮像画像から得られた特徴量と識別器に設定された比較値とが一致するため、異常判定される。したがって、この場合には異常時処理が行われ、ラインが停止する。
このように、鋼板１０の突っ掛りが発生したとき、鋼板１０がジャミングする前の大きな反りが発生した段階で異常出力することで、鋼板の先端を取り除くことが必要な状態となる前の再通板が可能な状態でラインを停止することができる。これにより、復旧処置が早く行えるため、操業設備の停止時間の短縮が図れる。

ところで、シャー設備特有の運転方案として、突っ掛り時にループが発生しても当該ループがシャーに入り込み、ループもまとめてカットできることがあるため、ラインを停止せず運転を続けるというものがある。そこで、図１１（ｃ）に示す反り程度ではライン停止を行わなくても操業を続けられるとして、このような反りを通板異常として設定していない場合には、撮像画像から得られた特徴量と識別器に設定された比較値とは一致せず、正常判定される。そのため、この場合には異常時処理は行われず、鋼板１０の搬送を継続する。

このように、鋼板１０の突っ掛りが発生したとき、反り発生程度では異常出力しないようにすることで、突っ掛りが自然回復するような場合にはラインを停止しないようにすることができるなど、操業の運用状況に合わせた異常判定を行うことができる。
その後、図１１（ｃ）に示す状態から鋼板１０の送り出しが継続されると、図１１（ｅ）に示すように鋼板１０に大きなループが発生する。このときカメラ２１で撮像した画像からは、検出対象領域で図１１（ｆ）の矢印に示すような移動方向ベクトルが細分割エリア毎に得られる。

そして、このとき発生した大きなループを通板異常として設定している場合には、撮像画像から得られた特徴量と識別器に設定された比較値とが一致するため、異常判定される。したがって、この場合には異常時処理が行われ、ラインが停止する。
このように、鋼板１０の突っ掛りが発生したとき、鋼板１０がジャミングする前の大きなループが発生した段階で異常出力することで、鋼板１０がジャミングしてから異常出力した場合と比較して、鋼板１０の取り除き作業等の復旧処置を行う時間を短縮することができる。そのため、この場合にも、操業設備の停止時間の短縮が図れる。
以上のように、異常として検出したい状況にあわせて識別器を設計することで、操業の運用状況にあわせた通板異常検出が可能となる。

また、本実施形態では、鋼板１０の通板異常検出に、設置場所の制約が少ないビデオカメラ２１を利用する。そのため、一般的な通板異常検出に用いられる鋼板通過検出器（光電管スイッチや磁気式の近接スイッチ）のように、通板異常検出に適した場所への設置が困難であるといった問題を解消することができる。したがって、適切に通板異常検出を行うことができる。
また、鋼板１０がジャミングする前の上方向のループ状態を突っ掛り異常として検出するので、再通板の自動制御が可能な状況や復旧処置が早く行える状況でラインを停止することができる。そのため、操業設備の停止時間を短縮することができ、生産性の低下を抑制することができる。

さらに、ビデオカメラ２１で得られた画像内の鋼板画素の動きを特徴量として捉えて異常（ループ発生）の判定を行うので、鋼板側面や先端部分の直線をエッジとして捉えて形状認識する方法を採用する場合と比較して、処理時間の問題や誤動作の問題を解消することができる。このとき、鋼板画素の動きを捉える方法として、オプティカルフロー処理を用いた方法を採用するので、突っ掛り時に発生する鋼板の挙動を比較的簡易に数値化し、正常時の値と比較することができる。
また、特徴量の算出に際し、ビデオカメラ２１で取得した画像に対して検出対象領域を設定し、更に検出対象領域をブロック分割してブロック毎の平均化を行うので、ノイズを低減して大きな特徴量を得ることができる。そのため、外乱による誤判定を低減することができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
この第２の実施形態は、上述した第１の実施形態において、鋼板画素の動きを捉える方法として、オプティカルフロー処理を用いた方法を採用しているのに対し、よりノイズに強い画像処理方法を採用するようにしたものである。
本実施形態では、鋼板画素の動きを捉える方法として、画面間の時間的な動きも捉えて微小空間の動き正常度を演算するロジックにより物体の挙動を判定できる、Ｓｐａｃｅ−Ｔｉｍｅ Ｐａｔｃｈ（ＳＴ−ｐａｔｃｈ）処理を用いた方法を採用する。

図１２は、ＳＴ−ｐａｔｃｈの概要を示す図である。
ＳＴ−ｐａｔｃｈ特徴は、画像を時間方向に重ねた３次元データである時空間画像の局所領域から得られる特徴であり、画像中における物体のアピアランス（見え）とモーション（動き）の２つの情報を持つ。図１２において、ｘ，ｙは画像の座標軸、ｔは時間軸、３つのラインは個々の画素の動き、［ｕ ｖ ｗ］^TはＳＴ−ｐａｔｃｈ中の個々の画素の動き方向ベクトル、▽Ｐ_i（ｉ＝１，２，…）は個々の画素の勾配方向ベクトルである。
画像中の動きが一定の場合、それぞれの画素の勾配▽Ｐ_i＝（Ｐ_xi，Ｐ_yi，Ｐ_ti）は、画素の動き方向ベクトル［ｕ ｖ ｗ］^Tに対して垂直となる。よって、次式の関係が成り立つ。

画素数がｎの場合、上記（１）式は下記（２）式となる。

ここで、ＳＴ−ｐａｔｃｈ中のｎ画素の▽Ｐ_iからなるｎ×３の行列をＧとし、行列Ｇ^Tを掛けると次式のようになる。

このように、行列Ｇ^TＧは３×３の行列となる。ここで、行列Ｇ^TＧを行列Ｍとすると、次式のように表すことができる。

上記（４）式より求められる行列ＭがＳＴ−ｐａｃｔｈ特徴の時空間特性である。この行列Ｍ（３×３）には、左上の２×２の行列にアピアランスの情報、３行目と３列目にモーションの情報を持つ。
また、ＳＴ−ｐａｃｔｈ特徴の画像空間特性は、次式のように表すことができる。

そして、行列Ｍと行列Ｍ^◇とにより決められる固有値を用いてＣＲＩＭ（Continues Rank-Increase Measure）Δｒを算出すると次式のようになる。
Δｒ＝λ₂・λ₃／λ₁ ^◇・λ₂ ^◇ ………（６）
ここで、行列Ｍ、行列Ｍ^◇は共に対称行列であり、行列Ｍの固有値λ₁≧λ₂≧λ₃、行列Ｍ^◇の固有値λ₁ ^◇≧λ₂ ^◇はすべて実数であり、固有値の関係はλ₁≧λ₁ ^◇≧λ₂≧λ₂ ^◇≧λ₃である。また、０≦Δｒ≦１である。
このようにして求められたＣＲＩＭΔｒの値は、ＳＴ−ｐａｔｃｈ内の動きベクトルが一定のときにΔｒ≒０となり、動きが激しいときにΔｒ≒１となる。これにより、ＳＴ−ｐａｔｃｈ内の動きベクトルの定常度を求めることができる。

本実施形態では、画素の動きを示す特徴量としてＣＲＩＭ（動きの定常度）を用いる。すなわち、カメラ２１から図５のオンライン処理部２３に入力された画像データは、ノイズ対策や明るさ調整等の処理（入力画像処理２３ａ）が施された後、図７に示すように複数の細分割エリアが設定される（エリア分割２３ｂ）。次に、細分割したエリア毎にＳＴ−ｐａｔｃｈ特徴を算出し、さらにこれらのＳＴ−ｐａｔｃｈ特徴からそれぞれＣＲＩＭを算出する（特徴量算出２３ｃ）。

次に、細分割エリア毎に、算出した特徴量と事前に設定した異常として検出したい特徴量とを比較し、突っ掛り異常が発生しているか否かを判定する（比較器２３ｄ）。
図１３は、異常判定の概念を示す図である。この図１３に示すように、時間的に連続する少なくとも３つの入力画像から細分割エリア毎に特徴量（ＣＲＩＭ）を算出し、これらを事前に構築した識別器に入力することで正常／異常の判定を行う。ここで、識別器には、細分割エリア毎に異常として検出したい特徴量（ＣＲＩＭ）が比較値として設定されており、入力画像から算出した特徴量を当該比較値と比較し、一致または近似している（比較差の少ない）場合にそのＣＲＩＭ値を返す。

このとき、細分割エリア毎に設定された重み付けに従って、上記出力値に重み付けを行い、その平均値（または合計値）が事前に定めておいた異常判定閾値を超えている場合に突っ掛りの異常が発生していると判断する。この重み付けにより、異常検出に重要なエリアに対して優先的に比較を行うことができる。
異常が発生していると判断した場合には、所定の異常時処理を行う（異常動作出力２３ｅ）。異常時処理としては、例えば警報を発してラインを停止し、その後鋼板を再挿入する処理等を行う。

オフライン処理部２４では、オンライン処理部２３から入力された画像データが逐次保存され（録画２４ａ）、録画された画像データは、観察者による判定入力により正常サンプル画像と異常サンプル画像となって、上述したオンライン処理のエリア分割２３ｂと同様に、図７に示すように細分割エリアが設定される（エリア分割２４ｂ）。次に、細分割したエリア毎に画素の動きの特徴量を算出する（特徴量算出２４ｃ）。ここでも、特徴量としてＣＲＩＭを用いる。

そして、算出した特徴量から、Ｒｅａｌ ＡｄａＢｏｏｓｔにより識別器を構築する（識別器構築２４ｄ）。図１４は、識別器構築の概念を示す図である。この図１４に示すように、取得した正常サンプル画像（ポジティブサンプル画像）と異常サンプル画像（ネガティブサンプル画像）とからそれぞれ細分割エリア毎に特徴量（ＣＲＩＭ）を算出し、これをＲｅａｌ ＡｄａＢｏｏｓｔによって学習することで、一般的な異常現象に当てはめられる特徴量（ＣＲＩＭ）を算出し、識別器を構築する。

次に、本実施形態の動作について説明する。
事前に、図１５（ａ）に示すように、検出対象領域内において鋼板１０の突っ掛り時に発生する反り部分を特徴部分（色つきブロック部分）とし、この部分に重み付けをしてＣＲＩＭを試算した。すなわち、上記特徴部分に相当する各エリアのＣＲＩＭを演算し、それらの平均値を試算した。その結果を図１６（ａ）に示す。

シャー４の入側では、シャー４によるカットタイミングで鋼板１０に撓みが発生するため、図１６（ａ）に示すように、当該カットタイミングでＣＲＩＭ値が大きくなることがわかる。撓みが発生したときのＣＲＩＭの数値は０．６程度であることから、上記異常判定閾値をＣＲＩＭの数値で０．６程度に設定すれば、図１５（ａ）に示すような鋼板１０の反りが発生したことを検出できることがわかった。
すなわち、図１５（ａ）に示すように鋼板１０が撓むと、このときカメラ２１で撮像した画像から、上記特徴部分に相当する各エリアで動きベクトルが一定でないことを示すＣＲＩＭ値が演算される。

そして、このとき発生した撓みを通板異常として設定している場合には、撮像画像から得られたＣＲＩＭ値と識別器に設定された比較値とが一致する。そして、重み付けがされている上記特徴部分のＣＲＩＭ値の平均値が異常判定閾値（０．６程度）を超えるため、異常判定される。したがって、この場合には異常時処理が行われ、ラインが停止する。

一方、図１５（ｂ）に示すように、検出対象領域内において鋼板１０の突っ掛り時に発生する大きなループ部分を特徴部分（色つきブロック部分）とし、この部分に重み付けをしてＣＲＩＭ値を試算した場合には、図１６（ｂ）に示す結果が得られた。
図１６（ｂ）に示すように、図１５（ｂ）の特徴部分にループ画像がはまったときはＣＲＩＭ値が０．８程度と非常に大きくなることがわかる。また、シャー４によるカットタイミングでは鋼板１０に撓みが発生するが、撓み程度ではループ状態となったときに比べてＣＲＩＭ値は小さく、その値は０．４程度であることがわかる。したがって、この場合、上記異常判定閾値をＣＲＩＭの数値で０．８程度（若しくは０．６程度）に設定すれば、図１５（ｂ）に示すような鋼板１０のループが発生したことを検出できることがわかった。
すなわち、図１５（ｂ）に示すように鋼板１０がループ状態となると、このときカメラ２１で撮像した画像から、上記特徴部分に相当する各エリアで動きベクトルが一定でないことを示すＣＲＩＭ値が演算される。

そして、このとき発生したループを通板異常として設定している場合には、撮像画像から得られたＣＲＩＭ値と識別器に設定された比較値とが一致する。そして、重み付けがされている上記特徴部分のＣＲＩＭ値の平均値が異常判定閾値（０．６〜０．８程度）を超えるため、異常判定される。したがって、この場合には異常時処理が行われ、ラインが停止する。
このように、特徴部分の選択と重み付けに応じて、異常として検出できる鋼板１０の状態を選定することができる。本実施形態では、ＣＲＩＭの演算の後でＲｅａｌ ＡｄａＢｏｏｓｔを用い、異常状態を多く学習させることにより、特徴部分の選択と重み付けを最適に行うことができるので、異常として検出したい鋼板１０の状態を効果的に検出することができる。

本実施形態では、カメラで撮像した時間的に連続する少なくとも３つの画像から、ＳＴ−ｐａｔｃｈ法を用いて動きの定常度（ＣＲＩＭ）を算出し、これを画素の動きを示す特徴量として異常検出を行う。このＳＴ−ｐａｔｃｈ法を用いた方法では、３フレームの画像を使用し、時間軸を取り込んだ画像変化から異常状態を検出する。よって第１の実施形態におけるオプティカルフロー処理技術よりもノイズに強く、部分的な特徴抽出を適切に行うことが可能である。
また、ＣＲＩＭ結果をＲｅａｌ ＡｄａＢｏｏｓｔなどの学習可能なプログラムで処理することにより、さらに安定な判定結果を得ることができる。

（応用例）
上述したように、シャー設備では、鋼板１０がループ状態となる突っ掛りが発生しても、ループがシャーに入り込み、ループをまとめてカットできてしまうことがあり、運転を続けると突っ掛りが解消する場合がある。そこで、このような状態をさらに監視するために、ループが発生した後にシャー出側に鋼板１０の先端が出てこないと判定した場合に、完全に突っ掛りが発生したと判断するようにする。

すなわち、図１７に示すように、シャー４の出側にカメラ２６と照明２７とを設置する。カメラ２６は、図１７（ａ）の平面図に示すように、シャー４の出側で且つラインからやや離れた外側に設置されている。また、照明２７は、図１７（ｂ）の側面図に示すようにシャー４の出側の上方で天井に固定されており、図１７（ａ）に示すように、カメラ２６の撮像範囲をカバーするよう、シャー４出側の所定のエリア２７ａに光を照射する。

カメラ２６で撮像した画像は、画像処理装置２８で処理する。画像処理装置２８は、カメラ２６の撮像画像から、シャー４でカットされた鋼板１０が等間隔で整然と流れている状況を監視する。ここでは、検出すべき鋼板１０が検出できない時間（ライン停止判定猶予時間）を予め設定し、この時間を越えても鋼板１０の検出ができないときに鋼板流出停止と判定する。ここで、ライン停止判定猶予時間は４秒以上１０秒以下（例えば５秒）に設定する。

通板異常検出装置２０は、入側のカメラ２１によるループ発生異常の検出と併せて、出側のカメラ２６による鋼板流出停止の検出の複合検出により完全に突っ掛りが発生したと判定し、ラインを停止する。これにより、より操業の運用状況に合致した異常検出とすることができる。
ここではカメラ２６を設置し、画像処理により出側の鋼板を監視する場合について説明したが、出側の鋼板の有無のみを検出可能であればよく、光学式、磁気式の検出器でも設置が可能であれば適用可能である。

（変形例）
なお、上記各実施形態においては、連続焼鈍設備の入側ラインに本発明を適用する場合について説明したが、これに限定されるものではなく、鋼板先端の突っ掛りが発生し得るプロセスラインであれば、連続酸洗設備や連続めっき設備等の入側ライン等にも本発明を適用可能である。

１…巻き戻し設備、２…ペイオフリール（ＰＯＲ）、３…レベラー、４…シャー、１０…鋼板、１１…ウェルダー、２０…通板異常検出装置、２１…カメラ（撮像手段）、２２…照明、２３…オンライン処理部、２３ａ…入力画像処理、２３ｂ…エリア分割、２３ｃ…特徴量算出（特徴量算出手段）、２３ｄ…比較器（通板異常検出手段）、２３ｅ…異常動作出力、２４…オフライン処理部（識別器学習手段）、２５…モニター、２６…カメラ、２７…照明

Claims (6)

1. プロセスラインにおける鋼板先端が製造設備に突っ掛る通板異常を検出する通板異常検出装置であって、
   前記鋼板先端を通板させる画像を連続して撮像する撮像手段と、
   前記撮像手段で撮像した前記鋼板先端を通板させる画像内のジャミングする前のループ状態である前記鋼板先端の各画素の動きを示す特徴量として、前記撮像手段から取得した時間的に連続する２つの画像の中から輝度情報が一致する画素を抽出し、前記抽出した２つの画素の画像上の位置差から、当該画素を含む画素周辺の移動ベクトルを求めて、前記鋼板の動きを算出する特徴量算出手段と、
   前記特徴量算出手段で算出した特徴量に基づいて、前記通板異常として前記鋼板の先端が前記プロセスライン内の設備に突っ掛る前記鋼板の前記移動ベクトルによる動きを検出し、前記鋼板がジャミング状態となる前に前記プロセスラインを自動停止する通板異常検出手段と、を備えることを特徴とする通板異常検出装置。
2. 前記特徴量算出手段は、前記撮像手段で撮像した画像領域に前記鋼板先端が前記製造設備に突っ掛る通板異常を検出する所定の検出対象領域を設定し、当該検出対象領域について前記ジャミングする前のループ状態である前記鋼板先端の前記移動ベクトルによる動きの特徴量を算出することを特徴とする請求項１に記載の通板異常検出装置。
3. 前記特徴量算出手段は、前記検出対象領域を複数のブロックに分割し、分割したブロック毎に前記ジャミングする前のループ状態である前記鋼板先端の前記移動ベクトルによる動きの特徴量を算出することを特徴とする請求項２に記載の通板異常検出装置。
4. 前記通板異常検出手段は、前記特徴量算出手段で算出したジャミングする前のループ状態である前記鋼板先端の前記移動ベクトルによる動きの特徴量に基づいて、識別器を用いて前記通板異常を検出するものであって、
   前記撮像手段で撮像した複数の画像を学習画像とし、当該学習画像から前記通板異常を検出するのに有効な前記ジャミングする前のループ状態である前記鋼板先端の前記移動ベクトルによる動きの特徴量を抽出し、前記識別器を構築する識別器学習手段を備えることを特徴とする請求項１〜３の何れか１項に記載の通板異常検出装置。
5. 前記識別器学習手段は、Ｒｅａｌ ＡｄａＢｏｏｓｔを用いて前記識別器を構築することを特徴とする請求項４に記載の通板異常検出装置。
6. 前記特徴量算出手段は、前記撮像手段で撮像した時間的に連続する少なくとも３つの画像から、ＳＴ−ｐａｔｃｈ法を用いて前記ジャミングする前のループ状態である前記鋼板先端の前記移動ベクトルによる動きの特徴量として動きの定常度を算出することを特徴とする請求項１〜５の何れか１項に記載の通板異常検出装置。

Images