JP4965004B2 - 立ち入り制限領域侵入者検出システム、侵入者検出装置、立ち入り制限領域侵入者検出方法、及びそのプログラム - Google Patents

Description

本発明は、立ち入り制限領域侵入者検出システム、侵入者検出装置、立ち入り制限領域侵入者検出方法、及びそのプログラムに関する。
本願は、２０１０年９月２２日に、日本に出願された特願２０１０−２１２５９８号に基づき優先権を主張し、その内容をここに援用する。

工場には、工場の作業員の立ち入りが制限される領域が多々ある。例えば、製鉄所を例にすれば、作業員に火傷を生じさせる熱片などの高温物体を扱う装置の周辺である。そのような立ち入り制限領域には、作業員の安全を確保するための安全対策がなされている。

例えば、立ち入り制限領域にある装置が運転を開始すると警報色を点灯する警報灯が、立ち入り制限領域の周辺に配置されている。警報灯の色が、例えば、安全色である「緑」から警報色である「赤」に変わることで、作業員は、自分が立ち入り制限領域に居ることを認識することができる。しかしながら、立ち入り制限領域に入るか否かの判断は作業員に任せられており、警報灯が警報色を表示しても、作業員が立ち入り制限領域に入るという不安全行動をとった場合、作業員の安全を確保することができない。

特開２００９−１６９７１８号公報

作業員の安全を確保するために、立ち入り制限領域に赤外線センサー等のセンサーを配置し、作業員が立ち入り制限領域に侵入したことを検出することで、警報等を出力する安全対策がある。しかしながら、立ち入り制限領域が広いと、センサーの数が膨大になり、センサーの配置と、センサー信号線の敷設に多大な費用がかかる。

開示の立ち入り制限領域侵入者検出システムは、操業環境内にセンサーを設置せずに、または、センサーとシステムの直接配線を行わずに、工場の安全性を高めることを目的とする。

（１） 本発明の一態様にかかる立ち入り制限領域侵入者検出システムは、立ち入り制限領域の中に設置された装置と、前記装置の操業中に警報色を表示する警報灯と、を有する操業環境を監視する立ち入り制限領域侵入者検出システムであって：前記警報灯及び前記立ち入り制限領域を撮影するカメラと；前記カメラから画像を受信し、前記画像を解析する侵入者検出装置と；を備え、前記侵入者検出装置が、前記画像の解析によって、前記警報灯が前記警報色を表示していることを判別し、かつ、前記立ち入り制限領域に人が侵入していることを判別した場合、前記立ち入り制限領域侵入者検出システムが異常時処理を行う。

（２） 上記（１）の制限領域侵入者検出システムにおいて、前記異常時処理が、前記人または前記装置の運転者への警告通知を含んでもよい。

（３） 上記（１）または（２）の制限領域侵入者検出システムにおいて、前記異常時処理が、前記装置の停止処理を含んでもよい。

（４） 上記（１）または（２）の制限領域侵入者検出システムにおいて、前記侵入者検出装置は、前記画像内の第１画像領域と第１動作との対応関係、及び、前記画像内の第２画像領域と第２動作との対応関係を含む立ち入り制限領域座標情報を格納する記憶部をさらに備え、前記侵入者検出装置は、前記立ち入り制限領域座標情報を参照して：前記第１画像領域への人の侵入を検知した場合、前記異常時処理として前記第１動作を実施し；前記第２画像領域への人の侵入を検知した場合、前記異常時処理として前記第２動作を実施してもよい。

（５） 上記（１）または（２）の制限領域侵入者検出システムにおいて、前記警報灯は、前記立ち入り制限領域のうち、前記装置の近傍領域である高度立ち入り制限領域への人の侵入に応じて高度警報色を表示するように構成されてもよく、前記侵入者検出装置は、前記警報色と、第１動作との対応関係、及び、前記高度警報色と、第２動作との対応関係を含む警報色特定情報を格納する記憶部をさらに備え、前記侵入者検出装置は、前記警報色特定情報を参照して：前記立ち入り制限領域への人の侵入を前記画像から検知するとともに、前記警報色を前記画像から検知した場合、前記異常時処理として前記第１動作を実施し；前記立ち入り制限領域への人の侵入を前記画像から検知するとともに、前記高度警報色を前記画像から検知した場合、前記異常時処理として前記第２動作を実施してもよい。

（６） 上記（１）または（２）の制限領域侵入者検出システムは、画像統合装置をさらに備えてもよく、前記カメラは、前記警報灯及び前記立ち入り制限領域を撮影する第１カメラと、前記警報灯及び前記立ち入り制限領域を撮影する第２カメラとを含み、前記画像統合装置は、前記第１カメラから受信する画像と、前記第２カメラから受信する画像とを統合して統合画像を作成し、前記統合画像を前記侵入者検出装置に出力するように構成され、前記侵入者検出装置は、前記統合画像を用いて前記解析を行ってもよい。

（７） 上記（１）または（２）の制限領域侵入者検出システムは、表示部をさらに備えてもよく、前記侵入者検出装置は、前記画像内における前記警報灯の位置を表す警報灯位置情報を格納する記憶部を含み、前記侵入者検出装置は、前記画像から検知した前記警報灯の位置が、前記警報灯位置情報に指定される前記警報灯の位置と異なる場合、前記表示部に警報を表示してもよい。

（８） 本発明の別の一態様にかかる侵入者検出装置は、装置が設置された立ち入り制限領域と、前記装置の操業中に警報色を表示する警報灯と、を撮影するカメラに接続される侵入者検出装置であって、前記侵入者検出装置が、前記カメラによって撮影された画像の解析によって、前記警報灯が前記警報色を表示していることを検知し、かつ、前記立ち入り制限領域に人が侵入していることを検知した場合、異常時処理を行う。

（９） 本発明の別の一態様にかかる立ち入り制限領域侵入者検出方法は、装置が設置された立ち入り制限領域と、前記装置の操業中に警報色を表示する警報灯と、を撮影するカメラを用いた立ち入り制限領域侵入者検出方法であって：前記カメラによって撮影された画像を受信する工程と；前記画像の解析によって、前記警報灯の表示色を判別する工程と；前記画像の解析によって、前記立ち入り制限領域への人の侵入を有無を判別する工程と；前記警報灯が前記警報色を表示しており、かつ、前記立ち入り制限領域に前記人が侵入していた場合、異常時処理を行う工程と；を有する。

（１０） 本発明の別の一態様にかかるプログラムは、装置が設置された立ち入り制限領域と、前記装置の操業中に警報色を表示する警報灯と、をカメラで撮影し、前記立ち入り制限領域への人の侵入を検出するプログラムであって、前記警報灯及び前記立ち入り制限領域を撮影するカメラに接続されたコンピュータに：前記カメラによって撮影された画像を受信する手順と；前記画像の解析によって、前記警報灯の表示色を判別する手順と；前記画像の解析によって、前記立ち入り制限領域への人の侵入を有無を判別する手順と；前記警報灯の前記表示色が前記警報色であり、かつ、前記立ち入り制限領域に前記人が侵入していた場合、異常時処理を行う手順と；を実行させる。

開示の立ち入り制限領域侵入者検出システムは、操業環境内にセンサーを設置せずに、またはセンサーとシステムの直接配線を行わずに、工場の安全性を高めるという効果を奏する。

立ち入り制限領域侵入者検出システムの一例を示す図である。 制御装置に接続される機器及び立ち入り制限領域侵入者検出システムのハードウェア構成の一例を示すブロック図である。 カメラ配置の一例を示す図である。 記憶部の記憶領域の一例を示す図である。 立ち入り制限領域座標情報の一例を示す図である。 警報色特定情報の一例を示す図である。 警報灯位置情報の一例を示す図である。 撮影画像における正常時における警報灯位置を示す図である。 カメラが位置ズレを生じたときの警報灯位置を示す図である。 立ち入り制限領域侵入者検出システムによる立ち入り制限領域への侵入者を検出する処理の一例を示すフローチャートである。

以下、本発明の実施形態にかかる〔１〕立ち入り制限領域侵入者検出システム、〔２〕立ち入り制限領域侵入者検出システムのハードウェア構成、〔３〕侵入者検出処理、〔４〕異常時処理、〔５〕カメラ位置検出処理、および〔６〕立ち入り制限領域侵入者検出システムの処理フロー、を説明する。

以下に説明する立ち入り制限領域侵入者検出システム〔１〕は、カメラ、及び侵入者検出装置を備え、侵入者検出装置は、侵入者検出処理〔３〕、異常時処理〔４〕、及びカメラ位置検出処理〔５〕を行う。立ち入り制限領域侵入者検出システム〔１〕は所定の処理フロー〔６〕に従って立ち入り制限領域に侵入する侵入者を検出する。

〔１〕立ち入り制限領域侵入者検出システム
まず、立ち入り制限領域侵入者検出システムと、立ち入り制限領域侵入者検出システムに接続する各装置とについての概要を説明する。

図１は、立ち入り制限領域侵入者検出システムの構成の概要を示す図である。立ち入り制限領域侵入者検出システム１００は、警報灯３０、及び音出力装置１２０に接続するとともに、警報灯３０と立ち入り制限領域を撮影するカメラ１１０、及び侵入者検出装置２００を有する。立ち入り制限領域侵入者検出システム１００は、警報灯３０が警報色を表示しており、且つ作業員が立ち入り制限領域に侵入すると、警報の出力や装置停止等の異常時処理を行って、作業員の安全を確保する。

作業員の接近を制限する必要のある装置の一例として、製鉄所の熱間圧延装置がある。図１に示す熱間圧延装置１は、製鉄所内の操業環境６に配置され、熱を加えて１０００℃以上とした鋼片２を圧延する。熱間圧延装置１は、圧延機３を有し、圧延機３によって鋼片を圧延する。以下、熱間圧延装置１を例として、この装置の周辺である立ち入り制限領域への作業員の侵入を検出する立ち入り制限領域侵入者検出システムを説明する。熱間圧延装置１は、その周囲に立ち入り禁止領域が設けられる装置の一例であり、立ち入り制限領域侵入者検出システム１００は、他の装置に対しても適用可能である。

熱間圧延装置１は、高温の鋼片２が搬送され、大きな作動力を有する圧延機３が作動するので、熱間圧延装置１の起動中に作業員５が熱間圧延装置１に近づくことを制限する必要がある。そのため、操業環境６内で、熱間圧延装置１の周辺には、単数または複数の警報灯３０が配置される。熱間圧延装置１の圧延機３又は鋼片２を搬送する搬送設備（図示せず）が運転を開始すると、警報灯３０は警報色（例えば、「赤」または「黄」）を点灯する。警報色の点灯により、作業員は、熱間圧延装置１が運転を開始しており、熱間圧延装置１への接近が制限されていることを認識できる。

立ち入り制限領域１０は、操業環境６内で熱間圧延装置１に近接する領域であり、立ち入り制限領域２０は、立ち入り制限領域１０よりも熱間圧延装置１から離れた領域である。以下、立ち入り制限領域のうち、立ち入り制限領域１０のような装置の近傍領域を「高度立ち入り制限領域」と称する。また、立ち入り制限領域２０のように、高度立ち入り制限領域より装置の遠方にある立ち入り制限領域を「低度立ち入り禁止領域」と称する。後述するように、立ち入り制限領域侵入者検出システム１００は、立ち入り制限のレベルに従って、異なる異常時処理を行う。

図１に示すように、警報灯３０が警報色を点灯すると、操業環境６内の作業員５は、通常、立ち入り制限領域１０又は２０に侵入しないように作業を行なう。しかしながら、警報灯３０が警報色点灯時において、作業員５が立ち入り制限領域１０又は２０に侵入した場合、作業員５の安全を確保するために、異常時処理を行う必要がある。

立ち入り制限領域侵入者検出システム１００は、このような既存の工場設備の安全性を向上させるために、操業環境６に隣接した制御室などに、新たに設けられるシステムである。立ち入り制限領域侵入者検出システム１００は、単数または複数のカメラ１１０と、侵入者検出装置２００とを有する。カメラ１１０は、警報灯３０とを撮影するように、制御室または工場内に設置される。侵入者検出装置２００は、カメラ１１０の撮影画像を用いて、（１）警報灯３０の点灯・不点灯および点灯色を判定し、（２）立ち入り制限領域への人の侵入を判定する。侵入者検出装置２００は、警報灯３０点灯時の立ち入り制限領域への人の侵入を判定すると、警報出力や装置停止等の異常時処理を、警報灯３０や音出力装置１２０を制御する制御装置３２０に指示する。このように、立ち入り制限領域侵入者検出システム１００は、警報灯３０、音出力装置１２０、及び制御装置３２０等の既存の工場設備を最大限に利用することで、新たに追加する装置の数を最小化することで、追加投資を最小限に抑えて、既存の工場設備の安全性を向上させることができる。

〔２〕制御装置に接続される機器及び立ち入り制限領域侵入者検出システムのハードウェア構成
図２は、制御装置３２０に接続される機器及び立ち入り制限領域侵入者検出システム１００のハードウェア構成の一例を示すブロック図である。図２に示されるように、制御装置３２０は、例えば、警報灯３０、圧延機３、及び音出力装置１２０が配線接続する制御盤５５に接続することで、圧延機３や音出力装置１２０を制御することができる。本発明の実施形態にセンサー４０（赤外線センサなど）は必須ではないが、工場にセンサー４０が設置されている場合は、制御装置３２０をセンサー４０に接続してもよい。立ち入り制限領域侵入者検出システム１００は、カメラ１１０、表示装置１４０、及び侵入者検出装置２００を有するとともに、制御装置３２０を介して、警報灯３０、及び音出力装置１２０を制御する。

〔２．１〕制御装置に接続される機器
以下、既存の工場にある制御装置３２０、及び制御装置３２０に接続される制御盤５５、制御盤５５に接続される機器である警報灯３０、音出力装置１２０について順に説明する。

〔２．１．１〕制御装置
制御装置３２０は、例えば、制御室に配置されるＤＣＳ（Ｄｉｓｔｒｉｂｕｔｅｄ Ｃｏｎｔｒｏｌ Ｓｙｓｔｅｍ）又は現場に配置されるＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒ）である。制御装置３２０は、現場（操業環境６）にある制御盤５５を介して、制御盤５５と配線接続された警報灯３０、圧延機３、音出力装置１２０、センサー４０等の動作制御を行う。制御装置３２０には、音を電気信号に変換するマイクロフォン３３０が備え付けられている。制御室にいる作業員は、マイクロフォン３３０を用いて、音出力装置１２０から作業員に、作業員が立ち入り制限領域１０又は２０に居ることを知らせることもできる。

制御装置３２０により制御される現場機器は、侵入者検出装置２００とは直接配線接続されていないので、現場機器と侵入者検出装置２００との間に信号配線は無い。工場設備に、立ち入り制限領域侵入者検出システム１００を導入する場合、侵入者検出装置２００とカメラ１１０を設置し、カメラ１１０と侵入者検出装置２００との間の配線を敷設するだけでよく、現場機器との配線接続は不要である。このため、立ち入り制限領域侵入者検出システム１００の工場設備への導入を、容易に行うことができる。

〔２．１．２〕警報灯
警報灯３０は、立ち入り制限領域にある制御盤５５における圧延機３への起動信号に従って、警報色を表示する。立ち入り制限領域にある装置の起動によって、警報灯の色が、例えば、安全色の「緑」から警報色の「赤」（後述の変形例では「黄」）に変わるので、作業員は、警報色を見て、装置が動作可能な状態にあるか無いかを判定することができる。警報色は、一般的には「赤」を用いる。なお、下に記載するように警報灯３０とセンサー４０とを組み合わせて複数段階の警報色を用いる場合、警報色を「黄」、高度警報色を「赤」としてもよい。

工場によっては、高度立ち入り制限領域への人の侵入を検出するセンサー４０（赤外線センサーなど）が配置されている場合がある。この場合、警報灯３０を更にこのセンサー４０に接続し、センサー４０の検知結果に応じて複数段階に表示色を変化させてもよい。この場合、警報灯３０は、状況に応じて以下の３色のいずれかを表示する：（１）立ち入り制限領域にある装置が運転していないときは、安全色（例えば「緑」）、（２）上記装置が運転しており、センサー４０が高度立ち入り制限領域への人の侵入を検出していないときは、警報色（例えば「黄」）、（３）上記装置が運転しており、センサー４０が高度立ち入り制限領域への人の侵入を検出したときは、高度警報色（例えば、「赤」）。このように、センサー４０と連動した警報灯が配置されている場合、後で説明する、本実施形態の変形例にかかる侵入者検出装置２００を用いることが出来る。

〔２．１．３〕音出力装置
音出力装置１２０は、警報音や、マイクロフォン３３０の入力音である電気信号を物理振動に変えて、音を出力することで、騒音下で作業する作業員５に警告することができる。

〔２．２〕立ち入り制限領域侵入者検出システム
以下、既存の工場に新設される立ち入り制限領域侵入者検出システムの構成要素である侵入者検出装置２００、カメラ１１０、画像統合装置３００について順に説明する。

〔２．２．１〕侵入者検出装置
侵入者検出装置２００は、プログラムを実行して、立ち入り制限領域への侵入者を検出する侵入者検出処理〔３〕、立ち入り制限領域への侵入者を検出した後に行なう異常時処理〔４〕を行うことで、作業員の安全を確保する。侵入者検出装置２００はさらに、振動などの理由でカメラ１１０が位置ズレを起こした場合、これを検出し、侵入者検出処理〔３〕及び異常時処理〔４〕の動作に弊害が生じることを回避する。

侵入者検出装置２００は、処理部２１０、記憶部（主記憶装置）２２０、通信部２３０、２次記憶装置２４０、ドライブ装置２５０、及び入出力コントローラ２６０を有するとともに、入出力コントローラ２６０を介して表示装置１４０に接続される情報処理装置である。侵入者検出装置２００は、ネットワーク４００を介して、画像統合装置３００に接続される。この統合装置３００は、複数のカメラ１１０でそれぞれ取得した複数の画像を統合して、表示装置１４０の１画面に表示する。

処理部２１０は、記憶部２２０に記憶されたプログラム９９０を実行することで、記憶部２２０からデータをロードし、ロードしたデータを演算して、記憶部２２０に演算結果をストアする装置である。処理部２１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。

入出力コントローラ２６０は、処理部２１０と、他ユニットとの接続を制御するユニットである。入出力コントローラ２６０は、例えば、ＰＣＩ Ｅｘｐｒｅｓｓ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｅｘｐｒｅｓｓ）などの規格に従って動作する。記憶部２２０は、データやプログラム９９０を記憶する装置である。記憶部２２０は、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。記憶部２２０に格納するデータは、図４を用いて後述する。

２次記憶装置２４０は、記憶部２２０に格納されるプログラム９９０及びデータを記憶するとともに、電源供給が無くても情報を保持可能な装置である。２次記憶装置２４０は、磁気ディスクを用いたディスクアレイ、又は、フラッシュメモリを用いたＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等である。通信部２３０は、通信経路としてのネットワーク４００と接続し、ネットワーク４００に接続された他の装置の間で、データを送受信する。

ドライブ装置２５０は、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などの記憶媒体２９０を読み書きする装置である。ドライブ装置２５０は、記憶媒体２９０を回転させるモータや記憶媒体２９０上でデータを読み書きするヘッド等を含む。なお、記憶媒体２９０は、プログラム９９０を格納することができる。ドライブ装置２５０は、ドライブ装置２５０にセットされた記憶媒体２９０からプログラム９９０を読み出す。処理部２１０は、ドライブ装置２５０により読み出されたプログラム９９０を、記憶部２２０又は２次記憶装置２４０に格納する。

表示装置１４０は、例えば、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ（ＬＣＤ）などの表示デバイスである。処理部２１０は、入出力コントローラ２６０を介して、表示装置１４０を駆動するための表示駆動信号を、表示装置１４０に出力する。表示装置１４０は、表示駆動信号に従って、図８Ａに示す警報灯及び立ち入り制限領域を含む現場（操業環境６）の画像などを表示する。

〔２．２．２〕カメラ
単数又は複数のカメラ１１０は、警報灯３０及び立ち入り制限領域１０及び２０を撮影するように現場または制御室に設置される。カメラ１１０は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサなどの個体撮像素子にレンズを通した映像を結像させ、それを複数の画素からなる画像情報として、侵入者検出装置２００にネットワーク４００を介して出力する。例えば、単一のカメラでは警報灯３０及び立ち入り制限領域１０及び２０の全体を撮影できない場合、複数台のカメラ１１０−１、．．．、１１０−ｎ（ｎは自然数）を用いてもよい。また、１つの警報灯３０を複数のカメラで撮影しても良い。複数のカメラ１１０を用いる場合、一部カメラが警報灯３０のみを撮影し、別の一部のカメラが立ち入り制限領域１０及び２０を撮影してもよい。また、それぞれのカメラが、警報灯３０及び立ち入り制限領域１０及び２０を撮影してもよい。

図３は、カメラ配置の一例を示す図である。立ち入り制限領域の全体が１つのカメラの視野に収まらなかったり、遮蔽物による死角が生じて、１つのカメラで立ち入り制限領域の全体を撮影出来ない場合がある。そのような場合、図３に示すように、立ち入り制限領域１０又は２０の近傍には、１つの警報灯３０を撮影する複数台のカメラ１１０ａ〜１１０ｃが設置される。

〔２．２．３〕画像統合装置
図３に示すように、カメラ１１０の数が増えると、侵入者検出装置２００による画像処理の対象となる画像が増加する。そのため、画像統合装置３００は、複数のカメラ１１０から送信される画像情報を統合して、１つの統合画像を作成する。例えば、例えば各カメラ１１０の画像が、統合画像の各部に、格子状、または並列に、並べられるように統合処理を行ってもよい。この統合処理の際、表示装置の解像度や、侵入者検出装置２００で効果的に解析可能な入力画像の解像度に鑑みて、画像統合装置３００は、複数の画像のそれぞれの解像度を下げる変換処理を行ってもよい。画像統合装置３００は、カメラ１１０との接続インターフェースを有するとともに、侵入者検出装置２００と同じハードウェア構成を有してもよい。侵入者検出装置２００の表示装置に統合画像を表示することで、侵入者検出装置２００が画像認識可能なカメラの数を増やすことが出来る。

図４は、記憶部の記憶領域の一例を示す図である。記憶部２２０は、少なくとも、立ち入り制限領域座標情報９１０、警報灯位置情報９２０、及びプログラム９９０を格納する。本実施形態の変形例にかかる侵入者検出装置２００Ｂでは、記憶部２２０が警報色特定情報９３０を更に含む。以下、図４に格納される情報を参照して、処理部２１０により実行される〔３〕侵入者検出処理、〔４〕異常時処理、及び〔５〕カメラ位置検出処理を説明する。

〔３〕侵入者検出処理
次に、侵入者検出装置２００による立ち入り制限領域への侵入者検出処理について説明する。侵入者検出装置２００は、立ち入り制限領域座標情報９１０に基づいて撮影画像内における立ち入り制限領域に相当する画像領域を特定し、特定した画像領域に対して画像処理を行なうことで、立ち入り制限領域への人の侵入を検出する。

図５は、立ち入り制限領域座標情報の一例を示す図である。立ち入り制限領域座標情報９１０は、カメラ列９１１、立ち入り制限領域列９１３、制限レベル列９１４、画像座標列９１５、異常時処理列９１７を有する。立ち入り制限領域座標情報９１０は少なくとも一つのエントリを含み、各エントリは、カメラと、画像領域名と、制限レベルと、画像座標と、異常時処理との対応関係を規定する。

立ち入り制限領域座標情報９１０の第１エントリでは、カメラ１１０−１が、「立ち入り制限領域１０」を撮影し、「立ち入り制限領域１０」は、カメラ１１０−１が撮影した画像中において座標「（ｘ１１，ｙ１１）〜（ｘ１２，ｙ１２）」にあり、この領域の制限レベルは「低」であることが規定される。そして、この第１エントリでは、侵入者検出装置２００が画像座標「（ｘ１１，ｙ１１）〜（ｘ１２，ｙ１２）」で人を検出した場合、侵入者検出装置２００が、動作Ａを行なうように、制御装置３２０に指示することが規定される。動作Ａは、例えば、音出力装置１２０に警報を出力する動作と定義される。

立ち入り制限領域座標情報９１０の第２エントリでは、カメラ１１０−１が、「立ち入り制限領域２０」を撮影し、「立ち入り制限領域２０」は、カメラ１１０−１が撮影した画像中において座標「（ｘ２１，ｙ２１）〜（ｘ２２，ｙ２２）」にあり、この領域の制限レベルは「高」であることが規定される。そして、この第２エントリでは、侵入者検出装置２００が画像座標「（ｘ２１，ｙ２１）〜（ｘ２２，ｙ２２）」で人を検出した場合、侵入者検出装置２００が、動作Ｂを行なうように、制御装置３２０に指示することが規定される。動作Ｂは、例えば圧延機３の停止、あるいは、機械操作しているオペレータへの緊急警報発話、あるいはその両者と定義される。

図５に示す例では、カメラ１１０−１に関する立ち入り制限領域座標情報を例示するが、立ち入り制限領域座標情報９１０は、図５には示さない、他のカメラ１１０−２、．．．、１１０−ｎの立ち入り制限領域座標情報も含む。

立ち入り制限領域への侵入者を検出する画像認識方法には、例えば、背景差分法がある。記憶部２２０には、前回撮影された、立ち入り制限領域の画像座標範囲にある画像が格納されている。侵入者検出装置２００は、この前回撮影された画像と、今回撮影された、同じ座標範囲の画像とを比較して、両者の画像間の変化量が所定値以上であれば、立ち入り制限領域へ作業員が侵入したと判断する。このような背景差分による画像認識によって、侵入者検出装置２００は、立ち入り制限領域１０又は２０への作業員の侵入を検出することができる。

また、侵入者検出装置２００は、カメラ１１０から取得した撮影画像を用いて、警報灯３０の点灯状態が警報色（赤）であるか、安全色（緑）であるかを検出する。
つまり、処理部２１０は、カメラ１１０から送信される画像情報に含まれる画素のうち、後述する警報灯位置情報９２０に含まれる画像座標にある画素を特定する。その特定画素のＲＧＢ値が、（０，２５６，０）又はその近傍値であるなら、警報灯３０の点灯状態が、安全色「緑」であると認識する。その特定画素のＲＧＢ値が、（２５６，０，０）又はその近傍値であるなら、警報灯３０の点灯状態が、警報色「赤」であると判定する。このように、侵入者検出装置２００は、直接の配線接続をしなくても、警報灯の点灯色を判定することができる。このため、検出装置を制御盤５５や制御装置３２０に接続する必要が無く、これらの制御系信号とは独立して、直接圧延装置３の運転状態をモニタできる。以下に説明する異常時処理では、この画像解析結果によって、警報灯の点灯色を判断する。
なお、撮影画像中の警報灯の位置の特定は、上記のように警報灯位置情報９２０に基づいて行うほか、画像の輝度情報や規則的な点滅に基づいて特定してもよい。

〔４〕異常時処理
侵入者検出装置２００は、立ち入り制限領域２０への作業員の侵入を検出すると、作業員の安全を確保するために、異常時処理を実行する。

（１）立ち入り制限領域座標情報を用いた異常時処理
侵入者検出装置２００は、カメラ１１０から送信される画像情報を元に、（ａ）警報灯３０の警報色、（ｂ）立ち入り制限領域１０に人が侵入しているかどうか、（ｃ）立ち入り制限領域２０に人が侵入しているかどうか、をそれぞれ判別する。これらの判定結果に基づいて、対応する異常時処理が選択され、制御装置３２０に指示が与えられる。
侵入者検出装置２００は、警報灯３０が警報色を点灯していることを検出すると、立ち入り制限領域座標情報９１０の各エントリの画像座標列９１５を参照して、その画像座標に人の侵入があるかを検査する。侵入者検出装置２００は、いずれかのエントリに対応する画像座標で人の侵入を検出すると、そのエントリの異常時処理列９１７の内容に従って、異常時処理としての動作Ａ又は動作Ｂを実行するように、制御装置３２０に指示する。

図５の例では、侵入者検出装置２００は、警報灯３０が警報色を点灯している時に、立ち入り制限領域２０への作業員の侵入を検知すると、立ち入り制限領域座標情報９１０の異常時処理列９１７に示される動作Ａを実行するように制御装置３２０に指示する。動作Ａは、例えば、立ち入り制限領域２０に居る作業員５に対する音出力装置１２０による警報音の出力である。動作Ａにおける警告対象は、作業員５の他に熱間圧延装置１を操作しているオペレータ、またはその両方であってもよい。警報の発信方法は、音声によるほか、または表示装置１４０等への警報情報の表示など、映像の発信であってもよい。また、操業環境６内や、制御室内に、異常警告専用の警報灯を設け、これを点灯してもよい。

また、侵入者検出装置２００は、警報灯３０が警報色を点灯している時に、制限レベルが「高」である立ち入り制限領域１０への作業員の侵入を検出すると、立ち入り制限領域座標情報９１０の異常時処理列９１７に示される動作Ｂを実行するように制御装置３２０に指示する。動作Ｂは、例えば、装置の停止、あるいは、機械操作しているオペレータへの緊急警報発話、あるいはその両者である。

（２）２段階の警報色を持つ警報灯を用いた異常時処理
上記のように、立ち入り制限領域座標情報９１０を用いて異常処理方法を選択することもできる。一方で、警報灯３０がセンサー４０と連動して、高度立ち入り制限領域への人の侵入を検出すると警報灯の表示色が変わるタイプである場合、警報灯３０の表示色を用いた異常時処理を行うこともできる。以下、警報灯３０の表示色を用いる侵入者検出装置２００を、本実施形態の変形例として説明する。この変形例にかかる侵入者検出装置２００は、警報灯３０が警報色を点灯している時に、立ち入り制限領域への人の侵入を検出すると、警報色特定情報９３０を参照して、警報色列９３５の警報色に従って、異常時処理としての動作Ａ又は動作Ｂを実行するように、制御装置３２０に指示する。
この変形例にかかる侵入者検出装置２００は、必ずしも立ち入り制限領域１０と２０を区別する必要は無く、立ち入り制限領域全域のどこかに人が侵入しているかどうかを画像処理によって判定する。

図６は、警報色特定情報の一例を示す図である。警報色特定情報９３０は、カメラ列９３１、立ち入り制限領域列９３３、警報色列９３５、異常時処理列（動作列）９３７を有し、１以上のエントリを持つ。各エントリは、カメラと、立ち入り制限領域と、警報色と、動作との対応関係を定義する。

処理部２１０は、カメラ１１０から送信される画像情報に含まれる画素のうち、図７を用いて後述する警報灯位置情報９２０の含まれる画像座標にある画素を特定する。その特定画素のＲＧＢ値が、（２５６，２５６，０）又はその近傍値であるなら、警報灯３０の点灯色は、装置の起動を意味する警報色「黄」であると判定する。一方、その特定画素のＲＧＢ値が、（２５６，０，０）又はその近傍値であるなら、警報灯３０の点灯色は、高度立ち入り制限領域への人の侵入を意味する高度警報色「赤」であると判定する。このように、侵入者検出装置２００は、直接センサー４０や警報灯３０に接続することなく、警報灯３０の点灯色を判定することができる。

図６に示すように、警報色特定情報９３０の１エントリには、カメラ１１０−１の画像情報から検出される警報灯３０の点灯色が「黄」である場合の異常時処理として動作Ａ（警報音出力）が規定されている。また、別のエントリには、カメラ１１０−１の画像情報から検出される警報灯３０の点灯色が「赤」である場合の異常時処理として動作Ｂ（装置停止）が規定されている。

侵入者検出装置２００は、警報灯３０の点灯色がが「黄」である時（例えば、装置起動時）に、立ち入り制限領域への人の侵入を検出すると、警報色特定情報９３０を参照して、異常時処理としての動作Ａを実行するように、制御装置３２０に指示する。

侵入者検出装置２００は、警報灯３０の点灯色が「赤」である時（例えば、高度立ち入り制限領域への人の侵入）に、立ち入り制限領域１０または２０への人の侵入を検出すると、警報色特定情報９３０を参照して、異常時処理としての動作Ｂを実行するように、制御装置３２０に指示する。なお、警報灯３０の点灯色が「赤」であると判定された場合、画像処理による人の侵入判定を行わず、直接、異常時処理を行ってもよい。

このように、警報灯３０が立ち入り制限領域毎に警報色を変えるものである場合、立ち入り制限領域への人の侵入を検出すると、侵入者検出装置２００は、警報色特定情報９３０を用いて、異常時処理の動作を変えてもよい。

〔５〕カメラ位置検出処理
工場内の振動が高い場合などに、工場内に設置したカメラ１１０の位置や方位が、設置時と比較して変化する場合がある。立ち入り制限領域座標情報９１０で撮影画像の画像領域と立ち入り制限領域は対応付けられているので、カメラ１１０が位置ずれを生じると、侵入者検出装置２００は、画像内において立ち入り制限領域を間違って認識する虞がある。そのため、侵入者検出装置２００は、警報灯位置情報９２０を参照し、予め定義した、撮影画像内で正常時に警報灯が点灯しているべき座標を取得する。この正常時の点灯座標と、現在の撮影画像内で、実際に警報灯３０が点灯している位置とを比較することで、カメラの位置ずれを検出する。

図７は、警報灯位置情報の一例を示す図である。警報灯位置情報９２０は、カメラ列９２１、画像座標列９２３を有し、カメラと、警報灯位置との対応関係を同一エントリにおいて規定する。図７に示す例では、カメラ１１０−１に関するエントリを示すが、警報灯位置情報９２０は、図７には示さない、他のカメラ１１０−２、．．．、１１０−ｎのエントリも有する。侵入者検出装置２００は、カメラ１１０−１が受信した画像情報のＲＧＢ値から正常色「緑」又は警報色「黄」又は「赤」に点灯する画像領域を特定し、特定した画像領域が警報灯位置情報９２０の画像座標に一致するか否かを判断する。一致しない場合、処理部２１０は、表示装置１４０にカメラ１１０−１が位置ズレを起こしていることを示す警報を表示する。

図８Ａは、撮影画像における正常時における警報灯位置を示す図である。撮影画像７０１において、点灯により画像認識される警報灯３０の位置は、図７に示す警報灯位置「（ｘ３１，ｙ３１）〜（ｘ３２，ｙ３２）」と一致している。そのため、処理部２１０は、位置ズレ警報を表示装置に出力しない。

図８Ｂは、カメラが位置ズレを生じたときの警報灯位置を示す図である。撮影画像７０２において、点灯により画像認識される警報灯３０の位置は、図７に示す警報灯位置「（ｘ３１，ｙ３１）〜（ｘ３２，ｙ３２）」と一致していない。そのため、図８Ｂに示す例では、カメラ１１０−１は、位置ズレが生じたことになる。カメラ１１０−１が位置ズレを生じると、立ち入り制限領域座標情報９１０の立ち入り制限領域１０及び２０もずれるため、現場の立ち入り制限領域１０及び２０と、処理部２１０が立ち入り制限領域座標情報９１０を用いて認識する立ち入り制限領域１０及び２０との間に相違が生ずる。そのため、処理部２１０は、画像情報において画像認識した警報灯の位置が、警報灯位置情報９２０の画像座標列９２３に一致しない場合、処理部２１０は、表示装置１４０にカメラ１１０−１が位置ズレを起こしていることを示す警報を表示する。

〔６〕立ち入り制限領域侵入者検出システムの処理フロー
図９は、立ち入り制限領域侵入者検出システムの処理の一例を示すフローチャートである。立ち入り制限領域侵入者検出システム１００は、振動等がある工場において、立ち入り制限領域への人の侵入を検出する。

侵入者検出装置２００の処理部２１０は、警報灯３０が、警報灯位置情報９２０に定義される警報灯位置で点灯しているか否かを判断する（Ｓ１００１）。警報灯が警報灯位置情報９２０に定義される警報灯位置で点灯していない場合（Ｓ１００１ Ｎｏ）、処理部２１０は、警報灯３０に異常が生じたと判断して、表示装置に警告を出力する（Ｓ１００２）。

警報灯が警報灯位置情報９２０に定義される警報灯位置で点灯している場合（Ｓ１００１ Ｙｅｓ）、処理部２１０は、警報灯が警報色で点灯しているか否かを判断する（Ｓ１００３）。警報灯が警報色で点灯している場合（Ｓ１００３ Ｙｅｓ）、処理部２１０は、立ち入り制限領域に人が侵入したか否かを判断する（Ｓ１００４）。警報灯が警報色で点灯していない場合（Ｓ１００３ Ｎｏ）、処理部２１０は、ステップＳ１００１を再度行う。

処理部２１０は、立ち入り制限領域への人の侵入を認識すると（Ｓ１００４ Ｙｅｓ）、処理部２１０は、人が侵入した立ち入り制限領域の制限レベルを判断する（Ｓ１００５）。作業員が侵入した立ち入り制限領域の制限レベルが「低」である場合（Ｓ１００５ 低）、処理部２１０は、音出力装置１２０を介して警報を出力する（Ｓ１００６）。作業員が侵入した立ち入り制限領域の制限レベルが「高」である場合（Ｓ１００５ 高）、処理部２１０は、制御装置３２０に制御信号を送信することで、立ち入り制限領域の装置を停止、あるいは、機械操作しているオペレータへの緊急警報発話あるいはその両者を行なう（Ｓ１００７）。

Ｓ１００５で説明した立ち入り制限領域の制限レベルの判断は、立ち入り制限領域座標情報９１０を参照して、制限レベルの判断によって行ってもよいし、警報灯３０が高度立ち入り制限領域への人の侵入を検出して警報色を「赤」に変える場合は、警報色特定情報９３０を参照して、制限レベルの判断を行ってもよい。

なお、装置の停止は、多大な復旧処理を伴う場合がある。例えば、上記説明で用いた熱間圧延装置１の圧延機３が圧延中に、圧延機３が強制停止すると、熱片２の熱が圧延機３のロールに伝導し、ロールが破損する。ロールの交換には多大な労力と時間がかかる。装置の停止を頻繁に行なわないため、制限レベルを分けて、低制限レベルでは警報を出力し、高制限レベルでは装置を停止するように侵入者検出装置２００は動作する。

そのため、ステップＳ１００５では、装置停止の条件を厳格化し、警報灯３０が高度立ち入り制限領域で高度警報色を表示するように構成される場合、立ち入り制限領域１０への人の侵入を画像認識し、且つ、高度警報色を警報灯３０が点灯した場合に、装置を止める（Ｓ１００７）としてもよい。

以上説明した実施形態は典型例として挙げたに過ぎず、その各実施形態の構成要素の組合せ、変形及びバリエーションは当業者にとって明らかであり、当業者であれば本発明の原理及び請求の範囲に記載した発明の範囲を逸脱することなく上述の実施形態の種々の変形を行えることは明らかである。

開示の立ち入り制限領域侵入者検出システムは、操業環境内にセンサーを設置せずに、またはセンサーとシステムの直接配線を行わずに、工場の安全性を高めるという効果を奏するため産業上多大な利用価値がある。

１ 熱間圧延装置
３ 圧延機
５ 作業員
６ 操業環境
１０、２０ 立ち入り制限領域
３０ 警報灯
４０ センサー
５５ 制御盤
１００ 立ち入り制限領域侵入者検出システム
１１０ カメラ
１２０ 音出力装置
１４０ 表示装置
２００ 侵入者検出装置
２１０ 処理部
２２０ 記憶部
２３０ 通信部
２９０ 記憶媒体
３００ 画像統合装置
３２０ 制御装置
４００ ネットワーク
２６０ 入出力コントローラ
９１０ 立ち入り制限領域座標情報
９２０ 警報灯位置情報
９３０ 警報色特定情報
９９０ プログラム

Claims (10)

1. 立ち入り制限領域の中に設置された装置と、前記装置の操業中に警報色を表示する警報灯と、を有する操業環境を監視する立ち入り制限領域侵入者検出システムであって：
   前記警報灯及び前記立ち入り制限領域を撮影するカメラと；
   前記カメラから画像を受信し、前記画像を解析する侵入者検出装置と；を備え、
   前記侵入者検出装置が、前記画像の解析によって、
   前記警報灯が前記警報色を表示していることを判別し、かつ、
   前記立ち入り制限領域に人が侵入していることを判別した場合、
   前記立ち入り制限領域侵入者検出システムが異常時処理を行う、
   ことを特徴とする立ち入り制限領域侵入者検出システム。
2. 前記異常時処理が、前記人または前記装置の運転者への警告通知を含むことを特徴とする請求項１に記載の立ち入り制限領域侵入者検出システム。
3. 前記異常時処理が、前記装置の停止処理を含むことを特徴とする請求項１又は２に記載の立ち入り制限領域侵入者検出システム。
4. 前記侵入者検出装置は、前記画像内の第１画像領域と第１動作との対応関係、及び、前記画像内の第２画像領域と第２動作との対応関係を含む立ち入り制限領域座標情報を格納する記憶部をさらに備え、
   前記侵入者検出装置は、前記立ち入り制限領域座標情報を参照して：
   前記第１画像領域への人の侵入を検知した場合、前記異常時処理として前記第１動作を実施し；
   前記第２画像領域への人の侵入を検知した場合、前記異常時処理として前記第２動作を実施する、
   ことを特徴とする請求項１又は２に記載の立ち入り制限領域侵入者検出システム。
5. 前記警報灯は、前記立ち入り制限領域のうち、前記装置の近傍領域である高度立ち入り制限領域への人の侵入に応じて高度警報色を表示するように構成され、
   前記侵入者検出装置は、前記警報色と、第１動作との対応関係、及び、前記高度警報色と、第２動作との対応関係を含む警報色特定情報を格納する記憶部をさらに備え、
   前記侵入者検出装置は、前記警報色特定情報を参照して：
   前記立ち入り制限領域への人の侵入を前記画像から検知するとともに、前記警報色を前記画像から検知した場合、前記異常時処理として前記第１動作を実施し；
   前記立ち入り制限領域への人の侵入を前記画像から検知するとともに、前記高度警報色を前記画像から検知した場合、前記異常時処理として前記第２動作を実施する、
   ことを特徴とする請求項１又は２に記載の立ち入り制限領域侵入者検出システム。
6. 請求項１又は２に記載の立ち入り制限領域侵入者検出システムであって、画像統合装置をさらに備え、
   前記カメラは、前記警報灯及び前記立ち入り制限領域を撮影する第１カメラと、前記警報灯及び前記立ち入り制限領域を撮影する第２カメラとを含み、
   前記画像統合装置は、前記第１カメラから受信する画像と、前記第２カメラから受信する画像とを統合して統合画像を作成し、前記統合画像を前記侵入者検出装置に出力するように構成され、
   前記侵入者検出装置は、前記統合画像を用いて前記解析を行う、
   ことを特徴とする立ち入り制限領域侵入者検出システム。
7. 請求項１又は２の何れか１項に記載の立ち入り制限領域侵入者検出システムであって、表示部をさらに含み、
   前記侵入者検出装置は、前記画像内における前記警報灯の位置を表す警報灯位置情報を格納する記憶部を含み、
   前記侵入者検出装置は、前記画像から検知した前記警報灯の位置が、前記警報灯位置情報に指定される前記警報灯の位置と異なる場合、前記表示部に警報を表示する、
   ことを特徴とする立ち入り制限領域侵入者検出システム。
8. 装置が設置された立ち入り制限領域と、前記装置の操業中に警報色を表示する警報灯と、を撮影するカメラに接続される侵入者検出装置であって、
   前記侵入者検出装置が、前記カメラによって撮影された画像の解析によって、
   前記警報灯が前記警報色を表示していることを検知し、かつ、
   前記立ち入り制限領域に人が侵入していることを検知した場合、
   異常時処理を行う、
   ことを特徴とする侵入者検出装置。
9. 装置が設置された立ち入り制限領域と、前記装置の操業中に警報色を表示する警報灯と、を撮影するカメラを用いた立ち入り制限領域侵入者検出方法であって：
   前記カメラによって撮影された画像を受信する工程と；
   前記画像の解析によって、前記警報灯の表示色を判別する工程と；
   前記画像の解析によって、前記立ち入り制限領域への人の侵入を有無を判別する工程と；
   前記警報灯が前記警報色を表示しており、かつ、前記立ち入り制限領域に前記人が侵入していた場合、異常時処理を行う工程と；
   を有することを特徴とする立ち入り制限領域侵入者検出方法。
10. 装置が設置された立ち入り制限領域と、前記装置の操業中に警報色を表示する警報灯と、をカメラで撮影し、前記立ち入り制限領域への人の侵入を検出するプログラムであって、前記警報灯及び前記立ち入り制限領域を撮影するカメラに接続されたコンピュータに：
    前記カメラによって撮影された画像を受信する手順と；
    前記画像の解析によって、前記警報灯の表示色を判別する手順と；
    前記画像の解析によって、前記立ち入り制限領域への人の侵入を有無を判別する手順と；
    前記警報灯の前記表示色が前記警報色であり、かつ、前記立ち入り制限領域に前記人が侵入していた場合、異常時処理を行う手順と；
    を実行させることを特徴とする立ち入り制限領域侵入者検出プログラム。

Images