JP4481432B2 - Image-type monitoring method, image-type monitoring device, and safety system using the same - Google Patents

Image-type monitoring method, image-type monitoring device, and safety system using the same Download PDF

Info

Publication number
JP4481432B2
JP4481432B2 JP2000140553A JP2000140553A JP4481432B2 JP 4481432 B2 JP4481432 B2 JP 4481432B2 JP 2000140553 A JP2000140553 A JP 2000140553A JP 2000140553 A JP2000140553 A JP 2000140553A JP 4481432 B2 JP4481432 B2 JP 4481432B2
Authority
JP
Japan
Prior art keywords
monitoring area
image
monitoring
exit
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2000140553A
Other languages
Japanese (ja)
Other versions
JP2001320698A (en
Inventor
白井　　稔人
坂井　　正善
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Signal Co Ltd
Original Assignee
Nippon Signal Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Signal Co Ltd filed Critical Nippon Signal Co Ltd
Priority to JP2000140553A priority Critical patent/JP4481432B2/en
Publication of JP2001320698A publication Critical patent/JP2001320698A/en
Application granted granted Critical
Publication of JP4481432B2 publication Critical patent/JP4481432B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば人等の物体が監視領域内に存在するか否かを画像情報を用いて監視する画像式監視技術に関し、特に、遮蔽物等の陰に物体が隠れてしまっても監視領域内の物体の存在／不在を正しく判定できる、画像式監視方法、並びに、画像式監視装置およびそれを用いた安全システムに関する。
【０００２】
【従来の技術】
例えば、ロボット等の機械装置と人とが協働するような場合に適用される安全システムにおいて、人の受傷事故を防止するための基本的な考え方は、同時刻および同一地点に人と機械が存在するような状況が生じないようにすることとされている。このため、従来の安全システムでは、ロボット等の可動範囲内に人が存在しないことを監視する各種センサが用いられてきた。例えば、カメラ等の撮像装置をセンサとして用いると、かなり広い範囲の領域を1台のカメラで監視することができる。
【０００３】
図９は、撮像装置を用いた安全システムの基本的な構成例を示す図である。
図９の構成例では、ロボット３の可動範囲を含んだ監視領域（危険領域）の様子が撮像装置１により撮像され、得られた画像情報は画像判定装置２に送られる。画像判定装置２では、撮像装置１からの画像情報に基づいて人が監視領域内にいるか否かが判定され、監視領域の安全状態が制御装置４に通報される。制御装置４では、画像判定装置２からの通報に従って、人が監視領域内に存在しないことが確認されるとロボット３の運転を許可し、人が監視領域内に存在することが確認されるとロボット３の運転を停止（または減速）して、監視領域内の人の安全を確保する。図１０には、上記のような監視領域内の人の存在／不在とロボット３の運転状態との関係を示しておく。
【０００４】
図１１は、図１０に示したような関係を実現するための具体的なインタロック構成の一例を示す図である。
図１１において、運転命令は、作業者やシーケンサなどにより発せられる信号であって、例えば、ロボット３の運転開始を指示するときに論理値１をとり、運転停止（または減速）を指示するとき論理値０をとる。一方、信号Ｚは、画像判定装置２の判定結果として出力される信号であって、例えば、人が監視領域内に不在のとき論理値１をとり、存在のとき論理値０をとる２値信号である。運転命令および出力信号Ｚは、ＡＮＤ回路で論理積演算されて、ロボット３の運転を論理値１で開始し、論理値０で停止等する制御信号Ｐｗが生成される。
【０００５】
ここで、撮像装置１および画像判定装置２から構成される従来の画像式監視装置について具体的に説明する。
図１２は、撮像装置１により得られる従来の画像情報の一例を示す図である。また、図１３は、従来の画像判定装置２の判定動作を示すフローチャートである。
【０００６】
図１２において、外枠は撮像装置１の画像フレームであって撮像範囲Ａ（監視領域に相当する）を示し、ここでは、遮蔽物Ｃが撮像範囲内に存在していることがわかる。画像判定装置２では、図１３に示すように、撮像装置１で撮像した画像情報に人が含まれていなければ信号Ｚが論理値１とされる。図１２に示すように、人が左方から撮像範囲内に侵入すると、信号Ｚが論理値０となり、それ以降、人が撮像範囲内で検出される限り、人存在として信号Ｚ＝０が継続する。そして、人が撮像範囲内で検出されなくなると、人不在として信号Ｚが論理値１となる。
【０００７】
なお、画像情報より監視領域内の物体を検出する従来の技術としては、例えば、特開平５−１４８９２号公報等に記載されたものが知られている。
【０００８】
【発明が解決しようとする課題】
ところで、一般的に、ロボット等の機械装置による傷害事故は許容されない事故と見なされることが多く、そのため、上述したようなロボット等に運転の許可／禁止を与える信号Ｚについては、Ｚ＝０側の誤りは許されても、Ｚ＝１側の誤り、いわゆる危険側誤りは許されない。したがって、画像判定装置としては、人存在を人不在と見なす誤りは許されないことになる。
【０００９】
しかしながら、前述の図１２および図１３に示したような従来の画像式監視装置では、侵入してきた人等の物体が遮蔽物Ｃ等の陰に入ってしまうと（図１２）、画像情報上で人は消失するので、画像判定装置２の処理過程では（図１３）、監視領域内に人不在と誤って信号Ｚが論理値１となってしまい、これは許されない危険側誤りであって問題である。このような画像式監視装置を用いた安全システムが適用される、例えば工場内などにおいては、監視領域内に遮蔽物が存在することが多く、また、機械装置の内部へ潜り込んで作業を行う場合もあり、画像情報からの人の消失への対策は安全確保上重要である。
【００１０】
本発明は上記の点に着目してなされたもので、監視領域を撮像した画像情報を用いて、監視領域内における人等の物体の存在を遮蔽物等に関係なく判定し、監視領域内の安全状態を確実に通報できる、画像式監視方法、並びに、画像式監視装置およびそれを用いた安全システムを提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記の目的を達成するため、本発明の画像式監視方法の一態様は、監視領域を撮像する撮像ステップと、該撮像ステップで得られた画像情報に基づいて、監視対象となる物体の前記監視領域内への侵入を検出する侵入検出ステップと、前記画像情報に基づいて、前記物体の監視領域内における移動を追跡することによって、前記物体の監視領域内からの退出を検出する退出検出ステップと、前記侵入検出ステップおよび前記退出検出ステップの各検出結果のみに従って、前記物体が前記監視領域内に存在するか否かを判定し、前記監視領域内の安全状態を外部に通報する安全判定ステップと、を含み、前記安全判定ステップは、前記侵入検出ステップで前記物体の侵入が検出されて以降、前記退出検出ステップで前記物体の退出を検出する以前に、所定時間を超えても前記物体を監視領域内に確認できないときには、それ以降に前記退出検出ステップで前記物体の退出を検出するか否かに拘わらず、前記監視領域内に前記物体が存在すると見なす方法である。
かかる画像式監視方法の一態様によれば、撮像ステップで得られた画像情報を用い、監視領域に対する物体の侵入が検出された後に、該物体の監視領域内における移動が追跡されることで、監視領域内から物体の退出が検出され、該侵入および退出の各検出結果のみに従って、監視領域内の物体の存在または不在が判定される。また、この判定では、物体の侵入が検出されて以降、その退出が検出される以前に、所定時間を超えても該物体が監視領域内で確認されないとき、それ以降に物体の退出が検出される否かに拘わらず、監視領域内に物体が存在すると見なされる。これにより、監視領域内の遮蔽物の陰に物体が入ってしまっても、従来のような誤った判定が行われることがなくなり、監視領域内の安全状態を確実に外部に通報することができると共に、遮蔽物等の陰となった物体が所定時間を超えても確認されないときには、その物体の動作を異常と判断して安全側の判定が強制的に行われるようになる。
【００１２】
また、本発明の画像式監視方法の他の態様は、監視領域の侵入／退出経路に対応する端部から前記監視領域内で監視対象となる物体が遮蔽される遮蔽範囲までの間が、前記物体の移動可能方向について所定の距離を有するように設定した撮像範囲を撮像する撮像ステップと、該撮像ステップで得られた画像情報に基づいて、前記物体の監視領域内への侵入を検出する侵入検出ステップと、前記画像情報に基づいて、前記物体の監視領域内からの退出を検出する退出検出ステップと、前記侵入検出ステップおよび前記退出検出ステップの各検出結果のみに従って、前記物体が前記監視領域内に存在するか否かを判定し、前記監視領域内の安全状態を外部に通報する安全判定ステップと、を含んでなる方法である。
かかる画像式監視方法の他の態様によれば、撮像ステップで、監視領域の侵入／退出経路の端部から遮蔽範囲までの間に所定の距離を持たせた範囲を撮像して得られた画像情報を用い、監視領域に対する物体の侵入および退出の検出結果のみに従って、監視領域内の物体の存在または不在が判定されるようになるため、監視領域内の遮蔽物の陰に物体が入ってしまっても、従来のような誤った判定が行われることがなくなり、監視領域内の安全状態を確実に外部に通報することができるようになる。
【００１３】
本発明の画像式監視装置の一態様は、監視領域を撮像する撮像手段と、該撮像手段で得られた画像情報に基づいて、監視対象となる物体が前記監視領域内に存在するか否かを判定し、前記監視領域内の安全状態を外部に通報する画像判定手段と、を備えた画像式監視装置において、前記画像判定手段が、前記画像情報に基づいて前記物体の監視領域内への侵入を検出した後、前記物体の監視領域内における移動を追跡することによって、前記監視領域内からの退出を検出し、該検出結果のみに従って前記物体が前記監視領域内に存在するか否かを判定すると共に、前記画像情報を基に監視領域内への物体の侵入を検出して以降、当該物体の退出を検出する以前に、所定時間を超えても前記物体を監視領域内に確認できないときには、それ以降に物体の退出を検出するか否かに拘わらず、前記監視領域内に物体が存在すると見なすものである。
かかる画像式監視装置の一態様では、画像判定手段によって、撮像手段で得られた画像情報を用いて監視領域に対する物体の侵入が検出された後に、該物体の監視領域内における移動が追跡されることで、監視領域内から物体の退出が検出され、該侵入および退出の各検出結果のみに従って、監視領域内の物体の存在または不在が判定される。また、画像判定手段では、物体の侵入が検出されて以降、その退出が検出される以前に、所定時間を超えても該物体が監視領域内で確認されないとき、それ以降に物体の退出が検出される否かに拘わらず、監視領域内に物体が存在すると見なされる。これにより、監視領域内の遮蔽物の陰に物体が入ってしまっても、従来のような誤った判定が行われることがなくなり、監視領域内の安全状態を確実に外部に通報することができると共に、遮蔽物等の陰となった物体が所定時間を超えても確認されないときには、その物体の動作を異常と判断して安全側の判定が強制的に行われるようになる。
【００１４】
また、本発明の画像式監視装置の他の態様は、監視領域を撮像する撮像手段と、該撮像手段で得られた画像情報に基づいて、監視対象となる物体が前記監視領域内に存在するか否かを判定し、前記監視領域内の安全状態を外部に通報する画像判定手段と、を備えた画像式監視装置において、前記撮像手段は、前記監視領域の侵入／退出経路に対応する端部から前記監視領域内で前記物体が遮蔽される遮蔽範囲までの間が、前記物体の移動可能方向について所定の距離を有するように、撮像範囲が設定され、前記画像判定手段が、前記画像情報に基づいて前記物体の監視領域内への侵入および監視領域内からの退出を検出し、該検出結果のみに従って前記物体が前記監視領域内に存在するか否かを判定するものである。
かかる画像式監視装置の他の態様では、監視領域の侵入／退出経路の端部から遮蔽範囲までの間に所定の距離を持たせた範囲を撮像手段で撮像して得られた画像情報を用いて、画像判定手段により監視領域に対する物体の侵入および退出が検出され、その検出結果のみに従って、監視領域内の物体の存在または不在が判定されるため、監視領域内の遮蔽物の陰に物体が入ってしまっても、従来のような誤った判定が行われることがなくなり、監視領域内の安全状態を確実に外部に通報することができるようになる。
【００１９】
また、上述したような画像式監視装置を用いた本発明の安全システムは、前記監視領域内に可動範囲を有する機械装置を備え、該機械装置の運転が、少なくとも前記画像式監視装置により監視領域の安全が通報されていることを以って許可される構成としたものである。
【００２０】
かかる構成の安全システムでは、画像式監視装置により監視領域の安全が通報されることで機械装置の運転が許可されるようになるため、機械装置の運転状態を安全側に確実に制御することが可能になる。
【００２１】
さらに、上記の安全システムについては、前記監視領域の侵入／退出経路に、物体の通過を検出する安全装置を設け、該安全装置および前記画像式監視装置の各出力情報に基づいて、前記機械装置の運転が許可されるようにしてもよい。また、前記安全装置は、前記監視領域への物体の侵入および前記監視領域からの物体の退出をそれぞれ検出可能でものとしてもよい。
【００２２】
かかる構成の安全システムでは、画像式監視装置に安全装置を別途設けるようにしたことで、監視領域における物体の侵入および退出が２重系によって監視されるようになるため、安全性のより高い制御が可能になる。
【００２３】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
図１は、本発明の第１実施形態にかかる画像式監視装置により撮像される画像情報を示す図である。なお、本実施形態の画像式監視装置およびそれを用いた安全システムの構成は、上述の図９に示した構成と同様である。具体的には、画像式監視装置が、撮像手段としての撮像装置１および画像判定手段としての画像判定装置２を有し、該画像判定装置２からの出力信号に従って制御装置４によりロボット３（機械装置）の運転状態が制御されるような安全システムである。
【００２４】
図１に示すように、本画像式監視装置により撮像される画像情報は、監視領域に対応した撮像範囲（画像フレーム）Ａが、遮蔽物Ｃ等により画像上で人を確認できない範囲（遮蔽範囲）に対し、人の移動可能方向について所定の距離以上を有するように設定される。ここでは、撮像範囲Ａに対して図で左右方向に人が移動可能であるとすると、上記所定の距離は、点線で示した範囲Ｂの幅に相当し、この範囲Ｂ内に遮蔽物Ｃ等が位置しないように撮像範囲Ａが設定される。この範囲Ｂの幅に相当する距離は、具体的には、人の移動速度と撮像周期に応じて定められる。これは、画像情報を用いて人を検出したり追跡したりする場合、連続して撮像された複数の画像情報に人が存在することが必要となるためである。
【００２５】
上記のようにして撮像範囲Ａを設定することにより、人が遮蔽物Ｃ等の陰になる領域を移動しているときに、監視領域内へ侵入し若しくは監視領域から退出することができなくなる。すなわち、人が遮蔽物Ｃ等の陰になることがあっても、人の監視領域への侵入および監視領域からの退出が範囲Ｂにおいて必ず検出されるようになる。
【００２６】
次に、第１実施形態における判定動作を図２のフローチャートを用いて説明する。
本画像式監視装置では、まず、図２のステップ１０１（図中Ｓ１０１で示し、以下同様とする）において、撮像装置１により監視領域を撮像した画像情報が画像判定装置２に送られる。そして、ステップ１０２では、画像判定装置２において、撮像装置１からの画像情報を用いて、人が監視領域内に侵入したか否かの検出処理が行われる。監視領域への人の侵入は、例えば、画像情報上の範囲Ｂ（図１）について人に相当する画像が検出されることで判断される。監視領域への人の侵入が検出されなかった場合には、ステップ１０３で、上述の図１１に示した画像判定装置２の出力信号Ｚが論理値１となり、該出力信号Ｚが制御装置４に送られ、ステップ１０１に戻る。このとき、ロボット３の運転を許可する運転命令（図１１）が外部から制御装置４に与えられていれば、ロボット３の運転開始を指示する論理値１の制御信号Ｐｗが制御装置４からロボット３に送られる。一方、監視領域への人の侵入が検出された場合には、ステップ１０４で、画像判定装置２の出力信号Ｚが論理値０となって、ロボット３の運転を停止（または減速）させる論理値０の制御信号Ｐｗが制御装置４からロボット３に送られる。
【００２７】
監視領域への人の侵入が検出されると、ステップ１０５に進んで、撮像装置１により監視領域が撮像され、得られた画像情報が画像判定装置２に送られる。そして、ステップ１０６では、画像判定装置２において、撮像装置１からの画像情報を用いて、監視領域への侵入が検出された人が監視領域から退出したか否かの検出処理が行われる。ここでの監視領域からの人の退出とは、単に画像情報上で人が確認されないことを意味するものではなく、人が範囲Ｂ（図１）を通って撮像範囲Ａの外に出たことを意味するものである。すなわち、監視領域への人の侵入が検出された後は、たとえ、その人が遮蔽物の陰になって画像情報上では人不在の状況となっても、範囲Ｂの通過による退出が確認されるまでは、監視領域内に人ありと見なす処理が行われるのである。
【００２８】
具体的には、ステップ１０６において監視領域からの人の退出が検出されなかった場合、画像判定装置２の出力信号Ｚを論理値０に維持してステップ１０５に戻り、再度、監視領域が撮像されて人退出の検出処理が繰り返される。一方、監視領域からの人の退出が検出されると、ステップ１０７で画像判定装置２の出力信号Ｚが論理値１となり、該出力信号Ｚが制御装置４に送られ、ステップ１０１に戻る。このとき、ロボット３の運転を許可する運転命令が制御装置４に与えられていれば、ロボット３の運転を許可する論理値１の制御信号Ｐｗが制御装置４からロボット３に送られる。
【００２９】
このように第１実施形態によれば、画像情報を用いて監視領域に対する人の侵入および退出を検出し、その検出結果のみに従って監視領域内の人の存在／不在を判定するようにしたことで、人が遮蔽物Ｃの陰に入ってしまっても、従来のように人不在という誤った判断が行われることがなくなるため、監視領域内の安全状態を確実に判断することができる。これにより、ロボット３の運転状態を安全側に確実に制御することが可能な安全システムを実現できる。
【００３０】
次に、本発明の第２実施形態について説明する。
前述した第１実施形態では、撮像装置１により得られる画像情報について、図１の範囲Ｂに位置する部分に人に相当する画像が検出されることで、監視領域への人の侵入および監視領域からの人の退出を判定する場合について説明した。第２実施形態では、監視領域内における人の移動を追跡することにより、人の侵入および退出を判定する場合を考える。なお、第２実施形態の画像式監視装置およびそれを用いた安全システムの構成は、第１実施形態の構成と同様であって、画像式監視装置における判定動作のみが第１実施形態の判定動作と異なるため、以下では、その判定動作について具体的に説明することにする。
【００３１】
図３は、第２実施形態の画像式監視装置における具体的な判定動作を示すフローチャートである。
図３において、本画像式監視装置では、撮像装置１により監視領域が撮像され、その画像情報を用いて監視領域への人の侵入が検出されて、画像判定装置の出力信号Ｚが論理値０となるまでの、ステップ２０１〜ステップ２０４の一連の動作は、前述の図２に示したステップ１０１〜ステップ１０４の一連の動作と同様であって、ステップ２０４後の処理動作が、第１実施形態の場合とは異なるものになる。
【００３２】
具体的にステップ２０５では、撮像装置１により監視領域が撮像されて、得られた画像情報が画像判定装置２に送られる。そして、ステップ２０６では、ステップ２０５で得られた画像情報とそれ以前の画像情報とを比較等することにより、人に相当する画像部分が抽出されてその動作（移動）が追跡される。なお、画像情報を用いて人の動作を追跡する具体的な方法は、例えば、上述した特開平５−１４８９２号公報に記載された方法などを利用することが可能である。
【００３３】
次に、ステップ２０７では、ステップ５で得られた画像情報上で人の存在が確認できるか否かの判定が行われる。人の存在が確認できる場合には、ステップ２０６における人の追跡結果には関係なく、監視領域からの人の退出はないものと判断して、ロボット３の運転停止（信号Ｚ＝０）が継続され、ステップ２０５に戻って上記の動作が繰り返される。
【００３４】
一方、ステップ２０７において人の存在が確認できない場合には、前述したように遮蔽物Ｃの陰に人が隠れている状態があり得るため、ステップ２０８に移って、人が遮蔽物Ｃの陰に入ったか否かが判断される。この人が遮蔽物Ｃの陰に入ったか否かの判断は、ステップ２０６における人の追跡結果を用いて行われる。人が遮蔽物Ｃの陰にあると判断された場合には、人は監視領域から退出していないとして、ロボット３の運転停止（信号Ｚ＝０）が継続され、ステップ２０５に戻って上記の動作が繰り返される。一方、人が遮蔽物Ｃの陰にいないと判断された場合には、ステップ２０９に移って、監視領域からの人の退出があったものと判定し、画像判定装置２の出力信号Ｚが論理値１となり、ロボット３の運転を許可する制御が行われ、ステップ２０１に戻って、上記一連の動作が繰り返される。
【００３５】
なお、遮蔽物Ｃの陰に人の一部が入っている場合でも、上述の考え方は同様に有効である。すなわち、人の一部が遮蔽物Ｃに隠れても人の存在が確認される場合には、上述した遮蔽物の陰にある状態と見なさなくてよく、人の一部が遮蔽物Ｃに隠れて人の存在が確認されない場合には、遮蔽物の陰にある状態と見なすことになる。
【００３６】
上記のように第２実施形態によれば、監視領域内における人の移動を追跡することで人の侵入および退出を判定するようにしても、前述の第１実施形態の場合と同様の効果を得ることが可能である。
【００３７】
次に、本発明の第３実施形態について説明する。
第３実施形態は、前述の第２実施形態について、人が遮蔽物Ｃの陰に位置して画像情報上では確認されなくなったときの処理動作の変形例を考える。なお、第３実施形態の画像式監視装置およびそれを用いた安全システムの構成は、第２実施形態の構成と同様であるため説明を省略する。
【００３８】
図４は、第３実施形態の画像式監視装置における判定動作の特徴部分を抜き出して示したフローチャートである。なお、図３のフローチャートと同様の処理ステップについては同じ番号が付してある。
【００３９】
図４において、本画像式監視装置では、図３に示した第２実施形態の場合のステップ２０１〜ステップ２０８の一連の処理動作が実行され、ステップ２０８において、人が遮蔽物Ｃの陰に位置しているか否かが判断された後の処理動作が、第２実施形態の場合とは異なってくる。
【００４０】
具体的には、ステップ２０８で人が遮蔽物Ｃの陰に入ったと判断されると、ステップ３０１において、図示しないタイマーが駆動されて、タイマー時間ｔがΔｔだけ増加される。そして、ステップ３０２では、タイマー時間ｔが予め設定した基準時間Ｔ以上になったか否かの判定が行われる。タイマー時間ｔが基準時間Ｔ未満（ｔ＜Ｔ）であれば、図３のステップ２０５に戻って、再度監視領域の撮像が行われ同様の動作が繰り返される。一方、タイマー時間ｔが基準時間Ｔ以上（ｔ≧Ｔ）であれば、所定の時間以上に亘って人を見失ったことにより、侵入してきた人の動作を異常と見なして、ステップ３０３に移り、画像判定装置２の出力信号Ｚを論理値０に固定してロボット３の運転を停止（または減速）させる。
【００４１】
なお、ステップ２０８で人が遮蔽物Ｃの陰にはいないと判断された場合には、ステップ３０４で、上記のタイマー時間ｔが０にリセットされた後に、ステップ２０９に移って、画像判定装置２の出力信号Ｚを論理値１にしてロボット３の運転を許可する制御が行われる。ただし、タイマー時間ｔを０リセットするステップ３０４は、Ｚ＝０とするステップ２０４の直後としてもよい。
【００４２】
このように第３実施形態によれば、遮蔽物Ｃの陰にいると判断された人が基準時間Ｔ以上に亘って確認されないときには、その人の動作を異常と判断して、ロボット３の運転状態が安全側に固定されるようになるため、より安全性の高い制御を実現することが可能になる。
【００４３】
なお、上述の第２、３実施形態では、遮蔽物Ｃの陰も含めて監視領域内の人移動を追跡することにより、監視領域からの人の退出を判定するようにした。しかし、監視領域からの人の退出は、撮像範囲Ａの周縁部分でのみ人の移動を追跡することでも確認できる。具体的には、図１における範囲Ｂおよびその周辺での人の追跡を行い、撮像範囲Ａからの人の退出、すなわち、監視領域からの人の退出を検出できる。この場合には、遮蔽物Ｃの陰に人がいるか否かを判断することは、必ずしも必要ではなくなる。
【００４４】
次に、本発明の第４実施形態について説明する。
第４実施形態では、上述した第１〜第３実施形態にかかる画像式監視装置の安全性（信頼性）をより一層向上させるための応用例について説明する。
【００４５】
一般に、撮像装置１および画像判定装置２からなる画像式監視装置の安全性が十分でない場合には、危険性の高い安全システムへの適用は控えられる。これは、画像式監視装置に故障などが生じたとき、監視領域から人が退出していないのに退出したとしてしまう危険側の誤りを起こし得るからである。このような危険性の高い安全システムへの適用のためには、画像式監視装置の不足している安全性を補う必要がある。そこで、第４実施形態では、画像式監視装置について別途安全装置を設けた２重系の構成を考えることにする。
【００４６】
図５は、第４実施形態にかかる画像式監視装置の構成を示す図である。なお、図５の上段は監視領域の上面図であって、下段は画像式監視装置の内部構成を示すブロック図である。
【００４７】
図５において、本画像式監視装置は、監視領域の周縁部分に位置する人の侵入／退出経路に光線式安全装置１０を別途設けると共に、該光線式安全装置１０からの出力信号を受けて人の侵入および退出を判定する光ビーム有無判定装置１１と、該光ビーム有無判定装置１１の出力信号Ｑと画像判定装置２の出力信号Ｐとの一致を確認する一致確認回路１２と、光ビーム有無判定装置１１の出力信号Ｑ、画像判定装置２の出力信号Ｚおよび一致確認回路１２の出力信号Ｕの論理積を演算するＡＮＤ回路１３と、を設けた構成である。
【００４８】
光線式安全装置１０は、例えば、人の侵入／退出経路の両サイドに位置する柵にそれぞれ取りつけられた投光器１０ａおよび受光器１０ｂを有し、投光器１０ａから出射される光ビームが受光器１０ｂで受光されるように、投受光器の光軸が調整されている。受光器１０ｂは、投光器１０ａからの光ビームを受光すると、その光ビームのパワーに応じた電気信号を発生し、該電気信号が出力信号として光ビーム有無判定装置１１に送られる。
【００４９】
なお、ここでは、画像式監視装置に別途設けられる安全装置として光線式のものを用いたが、本発明はこれに限定されるものではない。例えば、国際公開公報ＷＯ９７／０１７７３に記載されたマットセンサ等の公知の安全装置を画像式監視装置に別途設けるようにしてもよい。
【００５０】
光ビーム有無判定装置１１は、光線式安全装置１０からの出力信号に応じて論理値が変化する信号Ｑを発生する。信号Ｑは、投光器１０ａからの光ビームが受光器１０ｂで受光されたときを光ビーム有りとして論理値１となり、受光されないときを光ビーム無しとして論理値０となる２値信号である。この信号Ｑは、一致確認回路１２およびＡＮＤ回路１３にそれぞれ送られる。
【００５１】
一致確認回路１２は、光ビーム有無判定装置１１からの出力信号Ｑおよび画像判定装置２からの出力信号Ｐの各論理値が一致しているときに論理値１となり、不一致のときに論理値０となる信号Ｕを発生しＡＮＤ回路１３に出力する。
【００５２】
なお、画像判定装置２からの出力信号Ｐは、撮像装置１で得られた画像情報を用いて、監視領域への人の侵入が検出された時点から所定期間と、監視領域からの人の退出が検出された時点から所定期間とにおいて論理値０となり、その他の期間においては論理値１になる２値信号である。あるいは、画像判定装置２からの出力信号Ｐは、撮像装置１で得られた画像情報を用いて、別途設けられた安全装置で人が検出されていると推定されるときに論理値０となり、人が検出されていないと推定されるときには、論理値１となる２値信号としてもよい。また、画像判定装置２は、上記の信号Ｐとは別に、上述した第１〜第３実施形態の場合と同様の信号Ｚも発生して、該信号ＺはＡＮＤ回路１３に出力される。なお、信号Ｚは、監視領域内に人が存在するとき論理値０となり、不在のときに論理値１となる２値信号である。
【００５３】
ＡＮＤ回路１３は、光ビーム有無判定装置１１、画像判定装置２および一致確認回路１２からの各出力信号の論理積演算を行い、その演算結果を出力信号Ｚ’として、ロボット３の運転状態を制御する制御装置４（図９）に送る。この出力信号Ｚ’は、監視領域内に人が不在でロボット３の運転を許可するときに論理値１となり、監視領域内に人が存在してロボット３の運転を停止（または減速）するときに論理値０となる２値信号である。なお、ここでは、光ビーム有無判定装置１１の出力信号ＱをＡＮＤ回路１３に送るようにしたが、ＡＮＤ回路１３への出力信号Ｑの入力は省略することも可能である。
【００５４】
上記のような構成の画像式監視装置では、図６のタイミング図に示すように、侵入／退出経路を通って、人が監視領域に侵入または監視領域から退出したとき、光線式安全装置１０の光ビームは人により遮断される。したがって、光線式安全装置１０および光ビーム有無判定装置１１並びに撮像装置１および画像判定装置２がそれぞれ正常であれば、光ビーム有無判定装置１１の出力信号Ｑの変化と、画像判定装置２の出力信号Ｐの変化とがほぼ同時に生じるようになる。そこで、一致確認回路１２は、両信号Ｑ，Ｐがほぼ同時に同値になったことを確認して、各装置の正常動作を示す論理値１の信号Ｕを生成する。一方、両信号Ｑ，Ｐに不一致が生じた場合には、いずれかの装置に異常が発生したことを示す論理値０の信号Ｕを生成する。
【００５５】
そして、上記一致確認回路１２の出力信号Ｕと、光ビーム有無判定装置１１の出力信号Ｑおよび画像判定装置２の出力信号ＺとがＡＮＤ回路１３に入力され、論理積演算結果を示す信号Ｚ’が生成される。この信号Ｚ’は、信号Ｕ＝１（正常）の場合、信号Ｚに一致し（Ｚ’＝Ｚ）、信号Ｕ＝０（異常）の場合には、信号Ｚ’＝０となる。このような信号Ｚ’が、ＡＮＤ回路１３から制御装置４に送られることにより、ロボット３の運転状態が信号Ｚ’に従って制御されるようになる。
【００５６】
上記のように第４実施形態によれば、画像式監視装置に光線式安全装置１０等を別途設けるようにしたことで、監視領域における人の侵入および退出が２重系によって監視されるようになるため、画像式監視装置の不足する安全性を補うことができる。これにより、危険性の高い安全システムに対しても本画像式監視装置を適用することが可能になる。
【００５７】
次に、本発明の第５実施形態について説明する。
第４実施形態では、侵入／退出経路の人の通過を光線式安全装置１０を用いて検出する構成について説明した。第５実施形態では、侵入／退出経路を通過する人が、監視領域に侵入するのか、監視領域から退出するのかまでを検出できるようにした応用例について考える。
【００５８】
図７は、第５実施形態にかかる画像式監視装置の監視領域付近の構成を示す上面図である。
図７において、本画像式監視装置の構成が第４実施形態の構成と異なる点は、光線式安全装置１０に代えて、２重の光ビームにより侵入／退出経路を通過する人を検出する光線式安全装置１０’を設けた点である。これ以外の他の部分の構成は、第４実施形態の場合と同様である。
【００５９】
光線式安全装置１０’は、例えば、侵入／退出経路の両サイドに位置する柵に、２組の投光器１０ａ1，１０ａ2および受光器１０ｂ1，１０ｂ2がそれぞれ設けられる。侵入／退出経路上での人の移動方向（図７で左右の方向）に対して監視領域から離れた側（図７で左側）には、投光器１０ａ1および受光器１０ｂ1が配置され、投光器１０ａ1から出射される第１光ビームが受光器１０ｂ1で受光されるように投受光器の光軸が調整されている。また、侵入／退出経路上での人の移動方向に対して監視領域に近い側（図７で右側）には、投光器１０ａ2および受光器１０ｂ2が配置され、投光器１０ａ2から出射される第２光ビームが受光器１０ｂ2で受光されるように投受光器の光軸が調整されている。各受光器１０ｂ1，１０ｂ2は、対応する投光器からの光ビームを受光すると、その光ビームのパワーに応じた電気信号をそれぞれ発生し、各々の電気信号が出力信号として光ビーム有無判定装置１１に送られる。
【００６０】
なお、このような構成の光線式安全装置１０’を用いた侵入／退出の検出技術は、例えば特開平１１−０９０６９６号公報等で公知であるので、ここでは、その概要について簡単に説明しておく。
【００６１】
上記のような光線式安全装置１０’では、第１光ビームと第２光ビームの遮光／通光の時刻差により、侵入／退出経路を通る人が、監視領域に侵入するのか、監視領域から退出するのかが検出される。具体的には、図８のタイミング図に示すように、侵入／退出経路を通って監視領域内に人が侵入する場合、まず、第１光ビームが遮光（受光なし）され、その後に第２光ビームが遮光される。そして、第１光ビームが通光（受光あり）した後、第２光ビームが通光する。このような順序で各光ビームの遮光および通光が生じたときを、監視領域への人の侵入と判定して、光ビーム有無判定装置１１は、図８の下段に示すような論理値０の信号Ｑ’を出力する。この出力信号Ｑ’は、その後、監視領域からの人の退出が検出されるまで論理値０が継続される。
【００６２】
監視領域からの人の退出については、上記のような人の侵入の場合とは逆の順序で各光ビームの遮光および通光が生じる。すなわち、図８に示すように、まず第２光ビームが遮光され、次に、第１ビームが遮光される。続いて、第２光ビームが通光し、第１光ビームが通光する。このような順序で各光ビームの遮光および通光が生じたときを、監視領域からの人の退出と判定して、光ビーム有無判定装置１１は、論理値１の信号Ｑ’を出力する。
【００６３】
このような光線式安全装置１０’を用いる場合には、上述の図５に示した第４実施形態について、光ビーム有無判定装置１１から一致確認回路１２に送られる信号Ｑを信号Ｑ’に代えると共に、画像判定装置２から一致確認回路１２に入力される信号Ｐを信号Ｚと同等の信号Ｐ’に代えるようにする。このようにすることで、各装置が正常に動作していれば信号Ｑ’と信号Ｐ’とがほぼ同時に同値をとるため、一致確認回路１２の出力信号Ｕは正常時に論理値１となる。そして、ＡＮＤ回路１３の出力信号Ｚ’は、正常時において、光ビーム有無判定装置１１からの信号Ｑ’と画像判定装置２からの信号Ｚとが共に論理値１（人退出＝人不在）を示したときにのみ論理値１となって、ロボット３の運転を許可する。一方、信号Ｑ’と信号Ｐ’に不一致が生じると、いずれかの装置の動作が異常と見なして、一致確認回路１２の出力信号Ｕが論理値０となり、ＡＮＤ回路１３の出力信号Ｚ’が論理値０に固定されて、ロボットの運転が停止（または減速）される。
【００６４】
このように第５実施形態によれば、光線式安全装置１０’を用いて、侵入／退出経路を通過する人が監視領域に侵入するのか、監視領域から退出するのかまでを検出できるようにしたことで、画像式監視装置の安全性をより一層向上させることができる。これにより、危険性のより高い安全システムに対しても本画像式監視装置を適用することが可能になる。
【００６５】
なお、上述した第４および第５実施形態では、光線式安全装置が設けられた侵入／退出経路以外からの人の侵入／退出があると、光ビーム有無判定装置１１の出力信号と画像判定装置２の出力信号とは不一致を生じてしまう。それを避けるためには、例えば、侵入／退出が行われる経路を１ヵ所に限定すればよい。あるいは、画像判定装置２の出力信号Ｐ（またはＰ’）は、光線式安全装置が設けられた経路についてのみの人の侵入／退出を判定した結果を示す信号とすればよい。このようにすれば、光線式安全装置が設けられていない経路における人の侵入／退出については、出力信号Ｐ（またはＰ’）の変化は生じず、したがって、信号Ｑ（またはＱ’）との不一致は発生しない。ただし、この場合にはＡＮＤ回路への信号Ｑ’の入力は省く方がよい。
【００６６】
また、上述した第１〜第５実施形態では、監視対象を人として説明してきたが、本発明における監視対象は人に限定されるものではなく、ロボット等の機械装置の運転により事故を発生し得る任意の物体を監視対象としてもよい。さらに、画像式監視装置によりロボットの運転状態を制御するようにしたが、制御対象となる機械装置はロボットに限定されるものではない。加えて、撮像装置によって監視領域を側方から撮像するようにしたが、本発明における撮像方向は側方に限られるものではなく、例えば上方等から監視領域を撮像するようにしても構わない。撮像方向を変える際には、周縁部に設定される範囲Ｂ（図１）を、監視領域に人等が侵入／退出する方向に応じて設定する必要があることに注意する。
【００６７】
また、上述した各実施形態では、監視領域内に侵入する人が１人である場合を想定して説明を行ったが、本発明は監視領域内に複数の人が侵入するような場合にも応用可能である。この場合、第１実施形態のように人が範囲Ｂを通過することで侵入／退出を検出する構成のときには、例えば、画像判定装置２において監視領域に侵入した人の人数と、退出した人の人数とを記憶しておき、各々の人数の差を基に監視領域内の人の存在／不在を判定すればよい。また、第２、３実施形態のように侵入した人を追跡することで侵入／退出を検出する構成のときには、例えば、監視領域に侵入した複数の人を個別に追跡して各々の人の退出を検出すればよい。
【００６８】
また、遮蔽物Ｃ（図１）は、移動する場合もあり得る。例えば、侵入者の陰に別の侵入者が入るような場合である。そのような場合でも、移動する遮蔽物として認識することで、移動遮蔽物による遮蔽範囲に人が存在するか否かを、第２または第３実施形態の方法で同様に検出できる。また、第１実施形態でも同様に検出でき、その場合、監視領域の侵入／退出経路に対応する端部と遮蔽物との間が所定距離以上となるように監視領域が（自動的に）変形されることが望ましい。
【００６９】
さらに、本発明による画像式監視装置およびそれを用いた安全システムは、移動体へ搭載する場合にも有効である。すなわち、例えば移動体の進行方向を監視領域として撮像装置により撮像し、画像判定装置により障害物の有無を判定して移動体の進行／停止を図１０および図１１に示した構成と同様な構成により制御するようにすればよい。
【００７０】
また、上述した各実施形態では、画像情報上で設定される監視領域（危険領域）が撮像範囲（画像フレーム）と一致しているものとして説明したが、監視領域は必ずしも撮像範囲と一致するとは限らず、通常は現実の危険領域に応じてフレキシブルに定められる領域である。
【００７１】
【発明の効果】
以上説明したように、本発明の画像式監視技術は、画像情報を用いて、監視領域に対する物体の侵入を検出した後に、該物体の監視領域内における移動を追跡することで監視領域内から物体の退出を検出するか、または、監視領域の侵入／退出経路に対応する端部から遮蔽範囲までの間に所定の距離を持たせた撮像範囲の画像情報を用いて監視領域に対する物体の侵入および退出を検出し、該侵入および退出の各検出結果のみに従って、監視領域内の物体の存在または不在を判定するようにしたことで、監視領域内の安全状態を遮蔽物等に関係なく確実に外部に通報することができる。また、監視領域内における物体の移動追跡を行う場合に、物体の侵入が検出されて以降、その退出が検出される以前に、所定時間を超えても該物体が監視領域内で確認されないときには監視領域内に物体が存在すると見なすことにより、その物体の動作を異常と判断して安全側の判定を強制的に行うことができる。このような画像式監視技術を適用した安全システムにおいては、機械装置の運転状態を安全側に確実に制御することが可能である。
【図面の簡単な説明】
【図１】本発明の第１実施形態かかる画像式監視装置により撮像される画像情報を示す図である。
【図２】同上第１実施形態における判定動作を説明するフローチャートである。
【図３】本発明の第２実施形態における判定動作を説明するフローチャートである。
【図４】本発明の第３実施形態における判定動作の特徴部分を抜き出して示したフローチャートである。
【図５】本発明の第４実施形態にかかる画像式監視装置の構成を示す図である。
【図６】同上第４実施形態の動作を説明するタイミング図である。
【図７】本発明の第５実施形態にかかる画像式監視装置の監視領域付近の構成を示す上面図である。
【図８】同上第５実施形態の動作を説明するタイミング図である。
【図９】撮像装置を用いた安全システムの基本的な構成例を示す図である。
【図１０】図９の安全システムにおいて、監視領域内の人の存在／不在とロボットの運転状態との関係を示す図である。
【図１１】図１０の関係を実現するためのインタロック構成の一例を示す図である。
【図１２】従来の画像式監視装置において用いられる画像情報の一例を示す図である。
【図１３】従来の画像判定装置の判定動作を示すフローチャートである。
【符号の説明】
１ 撮像装置
２ 画像判定装置
３ ロボット
４ 制御装置
１０，１０’ 光線式安全装置
１０ａ，１０ａ1，１０ａ2 投光器
１０ｂ，１０ｂ1，１０ｂ2 受光器
１１ 光ビーム有無判定装置
１２ 一致確認回路
１３ ＡＮＤ回路
Ａ 撮像範囲
Ｃ 遮蔽物[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image-type monitoring technique for monitoring, for example, whether or not an object such as a person is present in a monitoring area by using image information, and in particular, even if an object is hidden behind a shielding object or the like. The present invention relates to an image-type monitoring method, an image-type monitoring device, and a safety system using the same.
[0002]
[Prior art]
For example, in a safety system that is applied when a machine such as a robot collaborates with a person, the basic concept for preventing human injury is that the person and machine are at the same time and at the same point. It is supposed to prevent the situation that exists. For this reason, in the conventional safety system, various sensors for monitoring the absence of a person within the movable range of a robot or the like have been used. For example, when an imaging device such as a camera is used as a sensor, a considerably wide area can be monitored by one camera.
[0003]
FIG. 9 is a diagram illustrating a basic configuration example of a safety system using an imaging device.
In the configuration example of FIG. 9, the state of the monitoring region (dangerous region) including the movable range of the robot 3 is imaged by the imaging device 1, and the obtained image information is sent to the image determination device 2. In the image determination device 2, it is determined based on the image information from the imaging device 1 whether or not a person is in the monitoring region, and the safety state of the monitoring region is notified to the control device 4. The control device 4 permits the operation of the robot 3 and confirms that the person exists in the monitoring area when it is confirmed that the person does not exist in the monitoring area according to the notification from the image determination apparatus 2. The operation of the robot 3 is stopped (or decelerated) to ensure the safety of people in the monitoring area. FIG. 10 shows the relationship between the presence / absence of a person in the monitoring area as described above and the operating state of the robot 3.
[0004]
FIG. 11 is a diagram showing an example of a specific interlock configuration for realizing the relationship as shown in FIG.
In FIG. 11, an operation command is a signal issued by an operator, a sequencer, or the like, and takes a logical value 1 when instructing operation start of the robot 3, for example, and logic when instructing operation stop (or deceleration). Takes the value 0. On the other hand, the signal Z is a signal that is output as a determination result of the image determination device 2 and is, for example, a binary signal that takes a logical value 1 when a person is not present in the monitoring area and takes a logical value 0 when the person is present. It is. The operation command and the output signal Z are ANDed by an AND circuit to generate a control signal Pw for starting the operation of the robot 3 with the logical value 1 and stopping with the logical value 0.
[0005]
Here, a conventional image type monitoring apparatus constituted by the imaging apparatus 1 and the image determination apparatus 2 will be specifically described.
FIG. 12 is a diagram illustrating an example of conventional image information obtained by the imaging apparatus 1. FIG. 13 is a flowchart showing the determination operation of the conventional image determination apparatus 2.
[0006]
In FIG. 12, an outer frame is an image frame of the imaging apparatus 1 and indicates an imaging range A (corresponding to a monitoring area). Here, it can be seen that the shielding object C exists in the imaging range. In the image determination device 2, as shown in FIG. 13, the signal Z is set to a logical value 1 if no person is included in the image information captured by the imaging device 1. As shown in FIG. 12, when a person enters the imaging range from the left, the signal Z becomes a logical value 0, and thereafter, as long as a person is detected within the imaging range, the signal Z = 0 continues as a human presence. To do. When a person is no longer detected within the imaging range, the signal Z becomes a logical value 1 as the absence of a person.
[0007]
As a conventional technique for detecting an object in a monitoring area from image information, for example, a technique described in JP-A-5-14892 is known.
[0008]
[Problems to be solved by the invention]
By the way, in general, an injury accident caused by a mechanical device such as a robot is often regarded as an unacceptable accident. Therefore, with respect to the signal Z for giving permission / prohibition of operation to the robot as described above, Z = 0 side Are allowed, but Z = 1 errors, so-called dangerous errors are not allowed. Therefore, an error that regards the presence of a person as absence is not allowed for the image determination apparatus.
[0009]
However, in the conventional image-type monitoring apparatus as shown in FIG. 12 and FIG. 13 described above, when an intruding object such as a person enters behind the shielding object C (FIG. 12), the image information is displayed. Since the person disappears, in the process of the image determination apparatus 2 (FIG. 13), the signal Z is erroneously set to the logical value 1 because there is no person in the monitoring area, and this is an unacceptable dangerous side error. It is. When a safety system using such an image-type monitoring device is applied, for example, in a factory, there are many cases where there are shielding objects in the monitoring area, and when working by submerging inside the mechanical device Therefore, measures against human disappearance from image information are important for ensuring safety.
[0010]
The present invention has been made paying attention to the above points. Using image information obtained by imaging the monitoring area, the presence of an object such as a person in the monitoring area is determined regardless of the shielding object, and the like. It is an object of the present invention to provide an image-type monitoring method, an image-type monitoring device, and a safety system using the image-type monitoring device that can reliably report a safe state.
[0011]
[Means for Solving the Problems]
  In order to achieve the above object, the image type monitoring method of the present inventionOne aspectIs based on the imaging step of imaging the monitoring area, the intrusion detection step of detecting the intrusion of the object to be monitored into the monitoring area based on the image information obtained in the imaging step, and the image information AndBy tracking the movement of the object in the monitoring area,Determining whether or not the object exists in the monitoring area according to only the detection results of the exit detection step for detecting the exit of the object from the monitoring area and the intrusion detection step and the exit detection step; A safety judgment step for reporting the safety state in the monitoring area to the outside.In the safety determination step, after the intrusion of the object is detected in the intrusion detection step, the object is detected in the monitoring area even if a predetermined time is exceeded before the exit of the object is detected in the exit detection step. If the object cannot be confirmed, it is assumed that the object exists in the monitoring area regardless of whether or not the object is detected in the exit detection step thereafter.Is the method.
  According to one aspect of the image type monitoring method, the movement of the object in the monitoring area is tracked after the intrusion of the object into the monitoring area is detected using the image information obtained in the imaging step. The exit of the object is detected from within the monitoring area, and the presence or absence of the object in the monitoring area is determined according to only the detection results of the intrusion and the exit. Further, in this determination, when the object is not confirmed in the monitoring area after the predetermined time has elapsed after the entry of the object is detected and before the withdrawal is detected, the withdrawal of the object is detected thereafter. Regardless of whether the object is present or not, it is assumed that an object is present in the monitoring area. As a result, even if an object enters behind the shielding object in the monitoring area, the conventional erroneous determination is not performed, and the safety state in the monitoring area can be reliably notified to the outside. At the same time, when a shadowed object such as an obstruction is not confirmed even after a predetermined time, the operation of the object is determined to be abnormal and a safe determination is performed.
[0012]
  According to another aspect of the image monitoring method of the present invention, the distance from the end corresponding to the entry / exit route of the monitoring area to the shielding range where the object to be monitored is shielded in the monitoring area is An imaging step for imaging an imaging range set to have a predetermined distance in the movable direction of the object, and an intrusion for detecting the intrusion of the object into the monitoring area based on the image information obtained in the imaging step In accordance with each detection result of the detection step, the exit detection step of detecting the exit of the object from the monitoring area based on the image information, and the detection result of the intrusion detection step and the exit detection step, the object is moved to the monitoring area. And a safety determination step of determining whether or not it exists inside and reporting the safety state in the monitoring area to the outside.
  TakeImage monitoringMethodOther aspects ofAccording to the imaging stepImage a range with a predetermined distance between the end of the surveillance area entry / exit route and the shielding areaUsing the obtained image information, the presence or absence of an object in the monitoring area is determined only according to the detection result of the entry and exit of the object to the monitoring area. Even if an error occurs, erroneous determination as in the prior art is not performed, and the safety state in the monitoring area can be reliably notified to the outside.
[0013]
  BookInventive image-type monitoring deviceOne aspectDetermines whether or not an object to be monitored exists in the monitoring area based on the imaging means for imaging the monitoring area, and the image information obtained by the imaging means. An image type monitoring apparatus comprising: an image determination unit that reports a state to the outside; and wherein the image determination unit enters the object into the monitoring area based on the image information.By tracking the movement of the object in the monitoring area,The exit from the monitoring area is detected, and whether or not the object exists in the monitoring area is determined according to only the detection result.In addition, after detecting the intrusion of the object into the monitoring area based on the image information and before detecting the exit of the object, if the object cannot be confirmed in the monitoring area even after a predetermined time, Regardless of whether or not an object exit is subsequently detected, it is assumed that the object exists in the monitoring area.Is.
  In one aspect of such an image-type monitoring device, after the intrusion of the object into the monitoring area is detected by the image determination means using the image information obtained by the imaging means, the movement of the object in the monitoring area is tracked. Thus, the exit of the object from the monitoring area is detected, and the presence or absence of the object in the monitoring area is determined according to only the detection results of the intrusion and the exit. Further, the image determination means detects the object's exit after the intrusion of the object and when the object is not confirmed within the monitoring area even after a predetermined time before the exit is detected. Regardless of whether or not it is done, it is assumed that an object is present in the monitored area. As a result, even if an object enters behind the shielding object in the monitoring area, the conventional erroneous determination is not performed, and the safety state in the monitoring area can be reliably notified to the outside. At the same time, when a shadowed object such as an obstruction is not confirmed even after a predetermined time, the operation of the object is determined to be abnormal and a safe determination is performed.
[0014]
  Further, according to another aspect of the image monitoring apparatus of the present invention, an imaging unit that images a monitoring area, and an object to be monitored exists in the monitoring area based on image information obtained by the imaging unit. And an image determination unit that reports to the outside the safety state in the monitoring area, the imaging unit includes an end corresponding to the entry / exit route of the monitoring area. The imaging range is set so that a predetermined distance is set in the movable direction of the object from the part to the shielding range where the object is shielded in the monitoring area, and the image determination unit The intrusion of the object into the monitoring area and the exit from the monitoring area are detected based on the above, and it is determined whether or not the object exists in the monitoring area only according to the detection result.
  TakePictureImage monitoring deviceOther aspects ofThenThe imaging means captures a range having a predetermined distance between the end of the entry / exit route of the monitoring area and the shielding range.Using the obtained image informationBy image judging meansObject entry and exit from the surveillance areaButdetectionIsThe presence or absence of an object in the monitoring area, according to the detection result onlyButJudgmentBe doneTherefore, even if an object enters behind the shield in the monitoring area, erroneous determination as in the past is not performed, and the safety state in the monitoring area can be reliably notified to the outside. become.
[0019]
The safety system of the present invention using the image-type monitoring device as described above includes a mechanical device having a movable range in the monitoring area, and the operation of the mechanical device is monitored at least by the image-type monitoring device. It is configured to be permitted as a result of being notified of safety.
[0020]
In the safety system having such a configuration, since the operation of the mechanical device is permitted when the safety of the monitoring area is notified by the image type monitoring device, the operation state of the mechanical device can be reliably controlled to the safe side. It becomes possible.
[0021]
Further, with regard to the safety system, a safety device that detects the passage of an object is provided in the intrusion / exit route of the monitoring area, and the mechanical device is based on output information of the safety device and the image monitoring device. The driving may be permitted. The safety device may be capable of detecting the entry of an object into the monitoring area and the exit of the object from the monitoring area.
[0022]
In the safety system having such a configuration, since the safety device is separately provided in the image-type monitoring device, the entry and exit of an object in the monitoring area are monitored by the dual system, so that control with higher safety is possible. Is possible.
[0023]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram illustrating image information captured by the image type monitoring apparatus according to the first embodiment of the present invention. The configuration of the image type monitoring device of the present embodiment and the safety system using the same is the same as the configuration shown in FIG. 9 described above. Specifically, the image type monitoring apparatus has an imaging device 1 as an imaging unit and an image determination device 2 as an image determination unit, and a robot 3 (machine) is controlled by a control device 4 according to an output signal from the image determination device 2. This is a safety system in which the operating state of the device is controlled.
[0024]
As shown in FIG. 1, the image information captured by the present image type monitoring device is a range in which an imaging range (image frame) A corresponding to the monitoring area cannot be confirmed on the image by a shielding object C or the like (shielding range). ) Is set to have a predetermined distance or more in the direction in which the person can move. Here, assuming that a person can move in the horizontal direction in the figure with respect to the imaging range A, the predetermined distance corresponds to the width of the range B indicated by the dotted line, and the shielding object C or the like is included in the range B. The imaging range A is set so that is not located. Specifically, the distance corresponding to the width of the range B is determined according to the movement speed of the person and the imaging cycle. This is because when a person is detected or tracked using image information, it is necessary for the person to be present in a plurality of pieces of image information captured continuously.
[0025]
By setting the imaging range A as described above, when a person is moving in a shadow area such as the shield C, the person cannot enter or leave the monitoring area. That is, even if a person is behind the shield C or the like, the intrusion of the person into the monitoring area and the exit from the monitoring area are always detected in the range B.
[0026]
Next, the determination operation in the first embodiment will be described with reference to the flowchart of FIG.
In this image type monitoring apparatus, first, in step 101 of FIG. 2 (indicated by S101 in the figure, the same shall apply hereinafter), image information obtained by imaging the monitoring area by the imaging apparatus 1 is sent to the image determination apparatus 2. In step 102, the image determination device 2 uses the image information from the imaging device 1 to detect whether a person has entered the monitoring area. The entry of a person into the monitoring area is determined by detecting an image corresponding to a person in a range B (FIG. 1) on the image information, for example. If no intrusion of the person into the monitoring area is detected, the output signal Z of the image determination device 2 shown in FIG. 11 described above becomes a logical value 1 in step 103, and the output signal Z is sent to the control device 4. Return to step 101. At this time, if an operation command (FIG. 11) permitting the operation of the robot 3 is given to the control device 4 from the outside, a control signal Pw having a logical value 1 instructing the operation start of the robot 3 is sent from the control device 4 to the robot. Sent to 3. On the other hand, when the intrusion of a person into the monitoring area is detected, in step 104, the output signal Z of the image determination device 2 becomes a logical value 0, and a logical value that stops (or decelerates) the operation of the robot 3. A control signal Pw of 0 is sent from the control device 4 to the robot 3.
[0027]
When the intrusion of a person into the monitoring area is detected, the process proceeds to step 105, the monitoring area is imaged by the imaging device 1, and the obtained image information is sent to the image determination device 2. In step 106, the image determination device 2 uses the image information from the imaging device 1 to perform detection processing to determine whether or not a person who has detected intrusion into the monitoring region has left the monitoring region. The exit of the person from the monitoring area here does not simply mean that the person is not confirmed on the image information, but the person has gone out of the imaging range A through the range B (FIG. 1). Means. That is, after the intrusion of the person into the monitoring area is detected, even if the person is behind the shielding object and the person is absent on the image information, the exit due to the passage of the range B is confirmed. Until this is done, the process of assuming that there is a person in the monitoring area is performed.
[0028]
Specifically, in the case where the exit of the person from the monitoring area is not detected in step 106, the output signal Z of the image determination device 2 is maintained at the logical value 0 and the process returns to step 105, and the monitoring area is imaged again. The process of detecting the person leaving is repeated. On the other hand, when the exit of a person from the monitoring area is detected, the output signal Z of the image determination device 2 becomes a logical value 1 in step 107, the output signal Z is sent to the control device 4, and the process returns to step 101. At this time, if an operation command permitting the operation of the robot 3 is given to the control device 4, a control signal Pw having a logical value 1 permitting the operation of the robot 3 is sent from the control device 4 to the robot 3.
[0029]
As described above, according to the first embodiment, it is possible to detect the entry and exit of a person from the monitoring area using image information, and to determine the presence / absence of a person in the monitoring area according to only the detection result. Even if a person enters behind the shield C, the erroneous determination that no person is present is not made as in the prior art, so that the safe state in the monitoring area can be reliably determined. Thereby, the safety system which can control the driving | running state of the robot 3 to the safe side reliably is realizable.
[0030]
Next, a second embodiment of the present invention will be described.
In the first embodiment described above, an image corresponding to a person is detected in a portion located in the range B of FIG. 1 with respect to image information obtained by the imaging apparatus 1, and the intrusion of the person into the monitoring area and the monitoring area The case of determining the exit of a person from has been described. In the second embodiment, a case is considered in which intrusion and exit of a person are determined by tracking the movement of the person in the monitoring area. The configuration of the image type monitoring device of the second embodiment and the safety system using the same is the same as the configuration of the first embodiment, and only the determination operation in the image type monitoring device is the determination operation of the first embodiment. Therefore, the determination operation will be specifically described below.
[0031]
FIG. 3 is a flowchart showing a specific determination operation in the image monitoring apparatus according to the second embodiment.
In FIG. 3, in this image type monitoring apparatus, a monitoring area is imaged by the imaging apparatus 1, a person intrusion into the monitoring area is detected using the image information, and the output signal Z of the image determination apparatus is a logical value 0. The series of operations from step 201 to step 204 up to is the same as the series of operations from step 101 to step 104 shown in FIG. 2 described above, and the processing operation after step 204 is the first embodiment. The case will be different.
[0032]
Specifically, in step 205, the monitoring area is imaged by the imaging device 1, and the obtained image information is sent to the image determination device 2. In step 206, by comparing the image information obtained in step 205 with the previous image information, an image portion corresponding to a person is extracted and its operation (movement) is tracked. Note that, as a specific method of tracking a human motion using image information, for example, the method described in Japanese Patent Laid-Open No. 5-14892 described above can be used.
[0033]
Next, in step 207, it is determined whether or not the presence of a person can be confirmed on the image information obtained in step 5. If the presence of a person can be confirmed, it is determined that no person has left the monitoring area regardless of the result of tracking the person in step 206, and the operation of the robot 3 is stopped (signal Z = 0). Then, the process returns to step 205 and the above operation is repeated.
[0034]
On the other hand, if the presence of a person cannot be confirmed in step 207, there may be a state where the person is hidden behind the shield C as described above. It is determined whether it has entered. The determination as to whether or not the person has entered the shadow of the shield C is made using the result of tracking the person in step 206. If it is determined that the person is behind the shield C, the operation of the robot 3 is stopped (signal Z = 0), assuming that the person has not left the monitoring area, and the process returns to step 205 to The operation is repeated. On the other hand, if it is determined that the person is not behind the shield C, the process proceeds to step 209, where it is determined that the person has left the monitoring area, and the output signal Z of the image determination device 2 is logically determined. The value 1 is set, and the control for permitting the operation of the robot 3 is performed.
[0035]
Even when a part of the person is behind the shielding object C, the above-described concept is similarly effective. That is, even if a part of the person is hidden behind the shield C, the presence of the person is confirmed, and it is not necessary to consider the state behind the above-described shield, and a part of the person is hidden behind the shield C. If the presence of a person is not confirmed, it will be considered as a state behind a shield.
[0036]
As described above, according to the second embodiment, even when the intrusion and exit of a person are determined by tracking the movement of the person in the monitoring area, the same effect as in the case of the first embodiment is obtained. It is possible to obtain.
[0037]
Next, a third embodiment of the present invention will be described.
The third embodiment considers a modification of the processing operation when the person is behind the shielding object C and is no longer confirmed on the image information with respect to the above-described second embodiment. In addition, since the structure of the image type monitoring apparatus of 3rd Embodiment and the safety system using the same is the same as that of 2nd Embodiment, description is abbreviate | omitted.
[0038]
FIG. 4 is a flowchart showing extracted characteristic portions of the determination operation in the image type monitoring apparatus of the third embodiment. In addition, the same number is attached | subjected about the process step similar to the flowchart of FIG.
[0039]
In FIG. 4, in this image-type monitoring apparatus, a series of processing operations of Step 201 to Step 208 in the case of the second embodiment shown in FIG. 3 is executed, and in Step 208, the person is behind the shielding object C. The processing operation after it is determined whether or not is different from the case of the second embodiment.
[0040]
Specifically, when it is determined in step 208 that a person has entered the shadow of the shield C, a timer (not shown) is driven in step 301, and the timer time t is increased by Δt. In step 302, it is determined whether or not the timer time t is equal to or greater than a preset reference time T. If the timer time t is less than the reference time T (t <T), the process returns to step 205 in FIG. 3 and the monitoring area is imaged again and the same operation is repeated. On the other hand, if the timer time t is greater than or equal to the reference time T (t ≧ T), the person who has lost sight of the person for a predetermined time or longer is regarded as an abnormal operation of the invading person, and the process proceeds to step 303. The output signal Z of the image determination device 2 is fixed to the logical value 0, and the operation of the robot 3 is stopped (or decelerated).
[0041]
If it is determined in step 208 that the person is not behind the cover C, the timer time t is reset to 0 in step 304, and then the process proceeds to step 209, where the image determination apparatus 2 The output signal Z is set to a logical value 1, and control for permitting operation of the robot 3 is performed. However, the step 304 for resetting the timer time t to 0 may be immediately after the step 204 for setting Z = 0.
[0042]
As described above, according to the third embodiment, when a person who is determined to be behind the shield C is not confirmed over the reference time T or longer, the person's operation is determined to be abnormal, and the robot 3 is operated. Since the state is fixed to the safe side, it is possible to realize control with higher safety.
[0043]
In the second and third embodiments described above, the movement of a person in the monitoring area including the shadow of the shield C is tracked to determine whether the person has left the monitoring area. However, the exit of the person from the monitoring area can also be confirmed by tracking the movement of the person only at the peripheral portion of the imaging range A. Specifically, it is possible to track a person in and around the range B in FIG. 1 to detect a person's exit from the imaging range A, that is, a person's exit from the monitoring area. In this case, it is not always necessary to determine whether or not there is a person behind the shield C.
[0044]
Next, a fourth embodiment of the present invention will be described.
In the fourth embodiment, an application example for further improving the safety (reliability) of the image type monitoring apparatus according to the first to third embodiments described above will be described.
[0045]
In general, when the safety of the image-type monitoring device including the imaging device 1 and the image determination device 2 is not sufficient, application to a safety system with high risk is refrained. This is because when a failure or the like occurs in the image-type monitoring apparatus, a dangerous error may be caused in which a person has left the monitoring area but has not left. In order to apply to such a high-risk safety system, it is necessary to compensate for the lack of safety of the image-type monitoring device. Therefore, in the fourth embodiment, a dual system configuration in which a safety device is separately provided for the image type monitoring device will be considered.
[0046]
FIG. 5 is a diagram illustrating a configuration of an image monitoring apparatus according to the fourth embodiment. Note that the upper part of FIG. 5 is a top view of the monitoring area, and the lower part is a block diagram showing the internal configuration of the image monitoring apparatus.
[0047]
In FIG. 5, this image type monitoring apparatus is provided with a separate light safety device 10 in the intrusion / exit route of a person located in the peripheral portion of the monitoring area, and receives an output signal from the light safety device 10 to generate a person. A light beam presence / absence determination device 11 for determining the intrusion and exit of the image, a coincidence confirmation circuit 12 for confirming a match between the output signal Q of the light beam presence / absence determination device 11 and the output signal P of the image determination device 2, and the presence / absence of a light beam An AND circuit 13 that calculates the logical product of the output signal Q of the determination device 11, the output signal Z of the image determination device 2, and the output signal U of the coincidence confirmation circuit 12 is provided.
[0048]
The light safety device 10 includes, for example, a projector 10a and a light receiver 10b attached to fences located on both sides of a human intrusion / exit route, and a light beam emitted from the projector 10a is received by the light receiver 10b. The optical axis of the light projector / receiver is adjusted so that light is received. When the light receiver 10b receives the light beam from the projector 10a, the light receiver 10b generates an electric signal corresponding to the power of the light beam, and the electric signal is sent to the light beam presence / absence determining device 11 as an output signal.
[0049]
Here, although a light beam type is used as a safety device separately provided in the image type monitoring device, the present invention is not limited to this. For example, a known safety device such as a mat sensor described in International Publication No. WO 97/01773 may be separately provided in the image type monitoring device.
[0050]
The light beam presence / absence determination device 11 generates a signal Q whose logical value changes in accordance with an output signal from the light beam safety device 10. The signal Q is a binary signal having a logical value of 1 when the light beam from the projector 10a is received by the light receiver 10b and having a logical value of 1 when there is no light beam, and having a logical value of 0 when no light beam is received. This signal Q is sent to the coincidence confirmation circuit 12 and the AND circuit 13 respectively.
[0051]
The coincidence confirmation circuit 12 becomes a logical value 1 when the logical values of the output signal Q from the light beam presence / absence judging device 11 and the output signal P from the image judging device 2 match, and a logical value 0 when they do not match. Is generated and output to the AND circuit 13.
[0052]
Note that the output signal P from the image determination device 2 uses the image information obtained by the imaging device 1 for a predetermined period from the time when the entry of a person into the monitoring area is detected, and the person leaving the monitoring area. This is a binary signal that has a logical value of 0 in a predetermined period from the point in time when is detected, and a logical value of 1 in other periods. Alternatively, the output signal P from the image determination device 2 becomes a logical value 0 when it is estimated that a person is detected by a separately provided safety device using the image information obtained by the imaging device 1. When it is estimated that no person is detected, a binary signal having a logical value of 1 may be used. In addition to the signal P, the image determination device 2 also generates a signal Z similar to that in the first to third embodiments described above, and the signal Z is output to the AND circuit 13. The signal Z is a binary signal having a logical value 0 when a person is present in the monitoring area and a logical value 1 when the person is absent.
[0053]
The AND circuit 13 performs a logical product operation of each output signal from the light beam presence / absence determination device 11, the image determination device 2, and the coincidence confirmation circuit 12, and uses the calculation result as an output signal Z ′ to control the operation state of the robot 3. To the control device 4 (FIG. 9). This output signal Z ′ becomes a logical value 1 when the operation of the robot 3 is permitted when there is no person in the monitoring area, and when the operation of the robot 3 is stopped (or decelerated) when the person exists in the monitoring area. Are binary signals having a logical value of 0. Here, the output signal Q of the light beam presence / absence determining device 11 is sent to the AND circuit 13, but the input of the output signal Q to the AND circuit 13 may be omitted.
[0054]
In the image-type monitoring apparatus configured as described above, as shown in the timing diagram of FIG. 6, when a person enters or leaves the monitoring area through the intrusion / exit route, The light beam is interrupted by a person. Therefore, if the light beam safety device 10, the light beam presence / absence determination device 11, the imaging device 1 and the image determination device 2 are normal, the change in the output signal Q of the light beam presence / absence determination device 11 and the output of the image determination device 2 will be described. The change of the signal P occurs almost simultaneously. Accordingly, the coincidence confirmation circuit 12 confirms that both signals Q and P have the same value almost simultaneously, and generates a signal U having a logical value 1 indicating normal operation of each device. On the other hand, when a mismatch between the signals Q and P occurs, a signal U having a logical value 0 indicating that an abnormality has occurred in one of the devices is generated.
[0055]
Then, the output signal U of the coincidence confirmation circuit 12, the output signal Q of the light beam presence / absence determination device 11 and the output signal Z of the image determination device 2 are input to the AND circuit 13, and a signal Z ′ indicating the logical product operation result is obtained. Is generated. The signal Z ′ coincides with the signal Z (Z ′ = Z) when the signal U = 1 (normal), and the signal Z ′ = 0 when the signal U = 0 (abnormal). By sending such a signal Z ′ from the AND circuit 13 to the control device 4, the operation state of the robot 3 is controlled according to the signal Z ′.
[0056]
As described above, according to the fourth embodiment, the optical safety device 10 and the like are separately provided in the image-type monitoring device, so that intrusion and exit of a person in the monitoring area are monitored by the dual system. Therefore, the lack of safety of the image type monitoring device can be compensated. Thereby, it becomes possible to apply this image type monitoring apparatus also to a highly dangerous safety system.
[0057]
Next, a fifth embodiment of the present invention will be described.
In 4th Embodiment, the structure which detects the passage of the person of an intrusion / exit path | route using the light type safety device 10 was demonstrated. In the fifth embodiment, an application example is considered in which it is possible to detect whether a person passing through an intrusion / exit route enters the monitoring area or exits from the monitoring area.
[0058]
FIG. 7 is a top view showing a configuration in the vicinity of the monitoring area of the image monitoring apparatus according to the fifth embodiment.
In FIG. 7, the configuration of the present image type monitoring device is different from the configuration of the fourth embodiment in that a light beam that detects a person who passes through an intrusion / exit route with a double light beam is used instead of the light beam safety device 10. The point is that a safety device 10 'is provided. The structure of other parts other than this is the same as in the case of the fourth embodiment.
[0059]
The light-type safety device 10 'includes, for example, two sets of projectors 10a on a fence located on both sides of the entry / exit route.1, 10a2And light receiver 10b1, 10b2Are provided respectively. On the side (left side in FIG. 7) away from the monitoring area with respect to the movement direction of the person on the entry / exit route (left and right direction in FIG. 7), the projector 10a1And light receiver 10b1Is arranged and the projector 10a1The first light beam emitted from the light receiver 10b1The optical axis of the light projecting / receiving device is adjusted so that the light is received at. Further, on the side closer to the monitoring area with respect to the movement direction of the person on the entry / exit route (on the right side in FIG. 7), the projector 10a.2And light receiver 10b2Is arranged and the projector 10a2The second light beam emitted from the light receiver 10b2The optical axis of the light projecting / receiving device is adjusted so that the light is received at. Each light receiver 10b1, 10b2When receiving a light beam from the corresponding projector, each generates an electric signal corresponding to the power of the light beam, and each electric signal is sent to the light beam presence / absence determining device 11 as an output signal.
[0060]
The intrusion / exit detection technique using the light safety device 10 ′ having such a configuration is known, for example, in Japanese Patent Laid-Open No. 11-090696, and therefore, the outline thereof is briefly described here. deep.
[0061]
In the light safety device 10 ′ as described above, whether a person who passes through the entry / exit route enters the monitoring area due to the time difference between the light shielding / light transmission of the first light beam and the second light beam is determined from the monitoring area. It is detected whether to leave. Specifically, as shown in the timing diagram of FIG. 8, when a person enters the monitoring area through the intrusion / exit route, first, the first light beam is shielded (no light reception), and then the second The light beam is blocked. Then, after the first light beam is transmitted (received), the second light beam is transmitted. When light blocking and light passing through each light beam occurs in this order, it is determined that a person has entered the monitoring area, and the light beam presence / absence determination device 11 has a logical value 0 as shown in the lower part of FIG. The signal Q ′ is output. This output signal Q 'is then kept at a logical value of 0 until a person leaving the monitoring area is detected.
[0062]
Regarding the exit of the person from the monitoring area, the light beams are blocked and transmitted in the reverse order as in the case of the intrusion of the person as described above. That is, as shown in FIG. 8, the second light beam is shielded first, and then the first beam is shielded. Subsequently, the second light beam is transmitted and the first light beam is transmitted. When the light beams are blocked and transmitted in this order, it is determined that a person has left the monitoring area, and the light beam presence / absence determination device 11 outputs a signal Q ′ having a logical value of 1.
[0063]
When such a light beam safety device 10 ′ is used, the signal Q ′ sent from the light beam presence / absence determination device 11 to the coincidence confirmation circuit 12 is replaced with the signal Q ′ in the fourth embodiment shown in FIG. At the same time, the signal P input from the image determination apparatus 2 to the coincidence confirmation circuit 12 is replaced with a signal P ′ equivalent to the signal Z. In this way, if each device is operating normally, the signal Q ′ and the signal P ′ take the same value almost simultaneously, so that the output signal U of the coincidence confirmation circuit 12 becomes a logical value 1 when normal. When the output signal Z ′ of the AND circuit 13 is normal, the signal Q ′ from the light beam presence / absence determination device 11 and the signal Z from the image determination device 2 both have a logical value 1 (person exit = nobody present). Only when indicated, the logical value becomes 1, and the operation of the robot 3 is permitted. On the other hand, if a mismatch occurs between the signal Q ′ and the signal P ′, the operation of one of the devices is regarded as abnormal, the output signal U of the match confirmation circuit 12 becomes a logical value 0, and the output signal Z ′ of the AND circuit 13 is The operation of the robot is stopped (or decelerated) by fixing the logical value to 0.
[0064]
As described above, according to the fifth embodiment, it is possible to detect whether a person who passes through the intrusion / exit route enters the monitoring area or exits from the monitoring area by using the light safety device 10 ′. As a result, the safety of the image-type monitoring device can be further improved. This makes it possible to apply the present image type monitoring apparatus even to a safety system with a higher risk.
[0065]
In the above-described fourth and fifth embodiments, if there is an intrusion / exit from a person other than the intrusion / exit route provided with the light-type safety device, the output signal of the light beam presence / absence determination device 11 and the image determination device This results in a mismatch with the output signal 2. In order to avoid this, for example, the route through which entry / exit is performed may be limited to one place. Alternatively, the output signal P (or P ′) of the image determination device 2 may be a signal indicating the result of determining the entry / exit of a person only for the route provided with the light beam safety device. In this way, there is no change in the output signal P (or P ′) with respect to the entry / exit of a person on a route that is not provided with a light safety device, and therefore the signal Q (or Q ′) is not changed. There is no discrepancy. In this case, however, it is better to omit the input of the signal Q ′ to the AND circuit.
[0066]
In the first to fifth embodiments described above, the monitoring target is described as a person, but the monitoring target in the present invention is not limited to a person, and an accident occurs due to the operation of a mechanical device such as a robot. An arbitrary object to be obtained may be a monitoring target. Furthermore, although the operation state of the robot is controlled by the image type monitoring device, the mechanical device to be controlled is not limited to the robot. In addition, although the monitoring area is imaged from the side by the imaging device, the imaging direction in the present invention is not limited to the side, and the monitoring area may be imaged from above, for example. Note that when changing the imaging direction, it is necessary to set the range B (FIG. 1) set in the peripheral portion according to the direction in which a person or the like enters / exits the monitoring area.
[0067]
Further, in each of the above-described embodiments, the description has been made on the assumption that one person enters the monitoring area. However, the present invention is also applicable to a case where a plurality of persons enter the monitoring area. Applicable. In this case, when the configuration is such that the intrusion / exit is detected by the person passing through the range B as in the first embodiment, for example, the number of persons who have entered the monitoring area in the image determination device 2 and the number of persons who have exited The number of people is stored in advance, and the presence / absence of a person in the monitoring area may be determined based on the difference in the number of people. Further, when the intrusion / exit is detected by tracking the intruder as in the second and third embodiments, for example, a plurality of persons who have entered the monitoring area are individually tracked and each person exits. May be detected.
[0068]
Further, the shield C (FIG. 1) may move. For example, when another intruder enters behind the intruder. Even in such a case, it can be similarly detected by the method of the second or third embodiment whether or not a person exists in the shielding range by the moving shielding object by recognizing it as the moving shielding object. Further, the detection can be performed in the same manner in the first embodiment. In this case, the monitoring area is (automatically) deformed so that the distance between the end corresponding to the entry / exit route of the monitoring area and the shielding object is a predetermined distance or more. It is desirable that
[0069]
Furthermore, the image type monitoring apparatus and the safety system using the same according to the present invention are also effective when mounted on a mobile object. That is, for example, the traveling direction of the moving body is imaged by the imaging device as a monitoring area, the presence / absence of an obstacle is determined by the image determination device, and the traveling / stopping of the moving body is similar to the configuration shown in FIGS. Control may be performed by
[0070]
Further, in each of the above-described embodiments, the monitoring area (dangerous area) set on the image information has been described as matching the imaging range (image frame), but the monitoring area does not necessarily match the imaging range. The region is not limited and is usually a region that is flexibly determined according to the actual dangerous region.
[0071]
【The invention's effect】
  As described above, the image monitoring technique of the present invention uses the image information to intrude an object into the monitoring area.Detecting the exit of the object from within the monitoring area by tracking the movement of the object in the monitoring area, or between the end corresponding to the entry / exit route of the monitoring area and the shielding range Using the image information of the imaging range with a predetermined distance to the object, the intrusion and exit of the object to the monitoring area are detected, and the intrusion and exitBy determining the presence or absence of an object in the monitoring area according to each detection result alone, the safety state in the monitoring area can be reliably notified to the outside regardless of the shielding object or the like.Also, when tracking the movement of an object in the monitoring area, monitoring is performed if the object is not confirmed in the monitoring area even after a predetermined time has elapsed after the intrusion of the object is detected and before the exit is detected. By assuming that an object exists in the region, it is possible to forcibly perform the determination on the safe side by determining that the operation of the object is abnormal.In a safety system to which such an image-type monitoring technique is applied, it is possible to reliably control the operating state of the mechanical device to the safe side.
[Brief description of the drawings]
FIG. 1 is a diagram showing image information captured by an image type monitoring apparatus according to a first embodiment of the present invention.
FIG. 2 is a flowchart illustrating a determination operation in the first embodiment.
FIG. 3 is a flowchart illustrating a determination operation according to the second embodiment of the present invention.
FIG. 4 is a flowchart showing extracted characteristic portions of a determination operation in the third embodiment of the present invention.
FIG. 5 is a diagram showing a configuration of an image type monitoring apparatus according to a fourth embodiment of the present invention.
FIG. 6 is a timing chart for explaining the operation of the fourth embodiment.
FIG. 7 is a top view showing a configuration in the vicinity of a monitoring area of an image type monitoring apparatus according to a fifth embodiment of the present invention.
FIG. 8 is a timing chart for explaining the operation of the fifth embodiment.
FIG. 9 is a diagram illustrating a basic configuration example of a safety system using an imaging apparatus.
10 is a diagram showing the relationship between the presence / absence of a person in the monitoring area and the operating state of the robot in the safety system of FIG. 9. FIG.
11 is a diagram showing an example of an interlock configuration for realizing the relationship of FIG.
FIG. 12 is a diagram showing an example of image information used in a conventional image type monitoring apparatus.
FIG. 13 is a flowchart showing a determination operation of a conventional image determination apparatus.
[Explanation of symbols]
1 Imaging device
2 Image determination device
3 Robot
4 Control device
10,10 'beam safety device
10a, 10a1, 10a2    Floodlight
10b, 10b1, 10b2    Receiver
11 Light beam presence / absence judgment device
12 Match confirmation circuit
13 AND circuit
A Imaging range
C Shield

Claims (8)

監視領域を撮像する撮像ステップと、
該撮像ステップで得られた画像情報に基づいて、監視対象となる物体の前記監視領域内への侵入を検出する侵入検出ステップと、
前記画像情報に基づいて、前記物体の監視領域内における移動を追跡することによって、前記物体の監視領域内からの退出を検出する退出検出ステップと、
前記侵入検出ステップおよび前記退出検出ステップの各検出結果のみに従って、前記物体が前記監視領域内に存在するか否かを判定し、前記監視領域内の安全状態を外部に通報する安全判定ステップと、を含み、
前記安全判定ステップは、前記侵入検出ステップで前記物体の侵入が検出されて以降、前記退出検出ステップで前記物体の退出を検出する以前に、所定時間を超えても前記物体を監視領域内に確認できないときには、それ以降に前記退出検出ステップで前記物体の退出を検出するか否かに拘わらず、前記監視領域内に前記物体が存在すると見なすことを特徴とする画像式監視方法。An imaging step of imaging the monitoring area;
Based on the image information obtained in the imaging step, an intrusion detection step for detecting an intrusion into the monitoring area of the object to be monitored;
An exit detection step of detecting exit of the object from within the monitoring area by tracking movement of the object within the monitoring area based on the image information;
In accordance with only the detection results of the intrusion detection step and the exit detection step, it is determined whether or not the object is present in the monitoring area, and a safety determination step for reporting the safety state in the monitoring area to the outside; only including,
In the safety determination step, the intrusion detection step confirms the object within the monitoring area even after a predetermined time has elapsed since the intrusion detection step has detected the intrusion of the object and before the exit detection step has detected the ingress of the object. An image-type monitoring method characterized in that, when the object cannot be detected, the object is considered to exist in the monitoring region regardless of whether or not the object is detected in the exit detection step thereafter . 監視領域の侵入／退出経路に対応する端部から前記監視領域内で監視対象となる物体が遮蔽される遮蔽範囲までの間が、前記物体の移動可能方向について所定の距離を有するように設定した撮像範囲を撮像する撮像ステップと、
該撮像ステップで得られた画像情報に基づいて、前記物体の監視領域内への侵入を検出する侵入検出ステップと、
前記画像情報に基づいて、前記物体の監視領域内からの退出を検出する退出検出ステップと、
前記侵入検出ステップおよび前記退出検出ステップの各検出結果のみに従って、前記物体が前記監視領域内に存在するか否かを判定し、前記監視領域内の安全状態を外部に通報する安全判定ステップと、
を含んでなることを特徴とする画像式監視方法。 The distance from the end corresponding to the entry / exit route of the monitoring area to the shielding range where the object to be monitored is shielded in the monitoring area is set to have a predetermined distance in the movable direction of the object An imaging step of imaging the imaging range ;
Based on the image information obtained in the imaging step, and intrusion detection step of detecting an intrusion into the object of the monitoring region,
Based on the image information, an exit detection step of detecting exit of the object from within the monitoring area;
In accordance with only the detection results of the intrusion detection step and the exit detection step, it is determined whether or not the object is present in the monitoring area, and a safety determination step for reporting the safety state in the monitoring area to the outside;
An image-type monitoring method comprising: 監視領域を撮像する撮像手段と、該撮像手段で得られた画像情報に基づいて、監視対象となる物体が前記監視領域内に存在するか否かを判定し、前記監視領域内の安全状態を外部に通報する画像判定手段と、を備えた画像式監視装置において、
前記画像判定手段が、前記画像情報に基づいて前記物体の監視領域内への侵入を検出した後、前記物体の監視領域内における移動を追跡することによって、前記監視領域内からの前記物体の退出を検出し、該検出結果のみに従って前記物体が前記監視領域内に存在するか否かを判定すると共に、前記画像情報を基に監視領域内への物体の侵入を検出して以降、当該物体の退出を検出する以前に、所定時間を超えても前記物体を監視領域内に確認できないときには、それ以降に物体の退出を検出するか否かに拘わらず、前記監視領域内に物体が存在すると見なすことを特徴とする画像式監視装置。Based on the imaging means for imaging the monitoring area and the image information obtained by the imaging means, it is determined whether or not an object to be monitored exists in the monitoring area, and the safety state in the monitoring area is determined. In an image-type monitoring device comprising an image determination means for reporting to the outside,
The image determination means detects the intrusion of the object into the monitoring area based on the image information, and then tracks the movement of the object in the monitoring area, thereby leaving the object from the monitoring area. And determining whether or not the object exists in the monitoring area according to only the detection result, and after detecting the intrusion of the object into the monitoring area based on the image information, If the object cannot be confirmed in the monitoring area even after a predetermined time has elapsed before the exit is detected, it is assumed that the object exists in the monitoring area regardless of whether or not the object is detected after that time. An image-type monitoring apparatus characterized by that. 監視領域を撮像する撮像手段と、該撮像手段で得られた画像情報に基づいて、監視対象となる物体が前記監視領域内に存在するか否かを判定し、前記監視領域内の安全状態を外部に通報する画像判定手段と、を備えた画像式監視装置において、
前記撮像手段は、前記監視領域の侵入／退出経路に対応する端部から前記監視領域内で前記物体が遮蔽される遮蔽範囲までの間が、前記物体の移動可能方向について所定の距離を有するように、撮像範囲が設定され、
前記画像判定手段が、前記画像情報に基づいて前記物体の監視領域内への侵入および監視領域内からの退出を検出し、該検出結果のみに従って前記物体が前記監視領域内に存在するか否かを判定することを特徴とする画像式監視装置。Based on the imaging means for imaging the monitoring area and the image information obtained by the imaging means, it is determined whether or not an object to be monitored exists in the monitoring area, and the safety state in the monitoring area is determined. In an image-type monitoring device comprising an image determination means for reporting to the outside,
The imaging means has a predetermined distance in the movable direction of the object between an end corresponding to the entry / exit route of the monitoring area and a shielding range where the object is shielded in the monitoring area. The imaging range is set to
The image determination means detects entry of the object into and out of the monitoring area based on the image information, and whether or not the object exists in the monitoring area only according to the detection result An image-type monitoring apparatus characterized by determining 前記画像判定手段は、前記画像情報を基に監視領域内への物体の侵入を検出した後、前記画像情報上での前記物体に相当する画像部分が、監視領域の侵入／退出経路に対応する所定範囲を通過し、監視領域に相当する画像領域から消失したことによって、監視領域からの物体の退出を検出することを特徴とする請求項４に記載の画像式監視装置。The image determination means detects an intrusion of an object into the monitoring area based on the image information, and then an image portion corresponding to the object on the image information corresponds to an intrusion / exit route of the monitoring area. 5. The image-type monitoring apparatus according to claim 4 , wherein an exit of an object from the monitoring area is detected by passing through a predetermined range and disappearing from the image area corresponding to the monitoring area. 請求項３〜５のいずれか１つに記載の画像式監視装置を用いた安全システムであって、
前記監視領域内に可動範囲を有する機械装置を備え、該機械装置の運転が、少なくとも前記画像式監視装置により監視領域の安全が通報されていることを以って許可される構成としたことを特徴とする安全システム。A safety system using the image-type monitoring device according to any one of claims 3 to 5 ,
A machine apparatus having a movable range in the monitoring area is provided, and the operation of the machine apparatus is permitted at least when the safety of the monitoring area is reported by the image type monitoring apparatus. Feature safety system. 前記監視領域の侵入／退出経路に、物体の通過を検出する安全装置を設け、該安全装置および前記画像式監視装置の各出力情報に基づいて、前記機械装置の運転が許可されることを特徴とする請求項６に記載の安全システム。A safety device that detects the passage of an object is provided in the entry / exit route of the monitoring area, and the operation of the mechanical device is permitted based on output information of the safety device and the image-type monitoring device. The safety system according to claim 6 . 前記安全装置が、前記監視領域への物体の侵入および前記監視領域からの物体の退出をそれぞれ検出可能であることを特徴とする請求項７に記載の安全システム。The safety system according to claim 7 , wherein the safety device can detect an intrusion of an object into the monitoring area and an exit of the object from the monitoring area.
JP2000140553A 2000-05-12 2000-05-12 Image-type monitoring method, image-type monitoring device, and safety system using the same Expired - Lifetime JP4481432B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000140553A JP4481432B2 (en) 2000-05-12 2000-05-12 Image-type monitoring method, image-type monitoring device, and safety system using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000140553A JP4481432B2 (en) 2000-05-12 2000-05-12 Image-type monitoring method, image-type monitoring device, and safety system using the same

Publications (2)

Publication Number Publication Date
JP2001320698A JP2001320698A (en) 2001-11-16
JP4481432B2 true JP4481432B2 (en) 2010-06-16

Family

ID=18647820

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000140553A Expired - Lifetime JP4481432B2 (en) 2000-05-12 2000-05-12 Image-type monitoring method, image-type monitoring device, and safety system using the same

Country Status (1)

Country Link
JP (1) JP4481432B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105006089A (en) * 2015-07-01 2015-10-28 国家电网公司 Safety monitoring alarm method and system based on images
CN108789500A (en) * 2018-05-24 2018-11-13 上海节卡机器人科技有限公司 Man-machine safety guard system and safety protecting method
CN110026977A (en) * 2018-01-12 2019-07-19 株式会社日立制作所 Robot controller and automatic package system

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009000782A (en) * 2007-06-21 2009-01-08 Idec Corp System for controlling robot, and robot hand
JP6229568B2 (en) * 2014-03-25 2017-11-15 富士通株式会社 Image processing apparatus, image processing system, image processing method, and image processing program
JP6177837B2 (en) 2015-06-30 2017-08-09 ファナック株式会社 Robot system using visual sensor
JP6470235B2 (en) * 2016-07-27 2019-02-13 ファナック株式会社 Safety management method and safety management system
JP7361627B2 (en) * 2020-02-18 2023-10-16 東芝三菱電機産業システム株式会社 Safety management system and safety management method
CN114189605B (en) * 2021-11-02 2023-10-27 联想(北京)有限公司 Processing method and device
CN116068956B (en) * 2023-03-07 2023-07-14 深圳华龙讯达信息技术股份有限公司 PLC-based production line process monitoring system and method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58146720A (en) * 1982-02-19 1983-09-01 Mazda Motor Corp Safety work system in machine shop
JPH07249138A (en) * 1994-03-09 1995-09-26 Nippon Telegr & Teleph Corp <Ntt> Residence time measuring method
JPH09330415A (en) * 1996-06-10 1997-12-22 Hitachi Ltd Picture monitoring method and system therefor
JPH10103589A (en) * 1996-09-25 1998-04-21 Nippon Signal Co Ltd:The Entry-exit monitoring device

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58143939A (en) * 1982-02-23 1983-08-26 Mazda Motor Corp Safe working system in machinery plant
JPH0628449B2 (en) * 1985-12-10 1994-04-13 松下電工株式会社 Intrusion monitoring device
JPH0781677B2 (en) * 1987-09-18 1995-09-06 トヨタ自動車株式会社 Self-diagnosis method for safety monitoring device
JPH0460880A (en) * 1990-06-29 1992-02-26 Shimizu Corp Moving body discrimination and analysis controlling system
JPH10282133A (en) * 1997-04-02 1998-10-23 Nikon Corp Monitoring device
JPH11165291A (en) * 1997-12-02 1999-06-22 Yaskawa Electric Corp Safety monitor and method
JP3941227B2 (en) * 1998-05-28 2007-07-04 松下電工株式会社 Abnormality monitoring device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58146720A (en) * 1982-02-19 1983-09-01 Mazda Motor Corp Safety work system in machine shop
JPH07249138A (en) * 1994-03-09 1995-09-26 Nippon Telegr & Teleph Corp <Ntt> Residence time measuring method
JPH09330415A (en) * 1996-06-10 1997-12-22 Hitachi Ltd Picture monitoring method and system therefor
JPH10103589A (en) * 1996-09-25 1998-04-21 Nippon Signal Co Ltd:The Entry-exit monitoring device

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105006089A (en) * 2015-07-01 2015-10-28 国家电网公司 Safety monitoring alarm method and system based on images
CN110026977A (en) * 2018-01-12 2019-07-19 株式会社日立制作所 Robot controller and automatic package system
CN110026977B (en) * 2018-01-12 2022-03-29 株式会社日立制作所 Robot control device and automatic assembly system
CN108789500A (en) * 2018-05-24 2018-11-13 上海节卡机器人科技有限公司 Man-machine safety guard system and safety protecting method
CN108789500B (en) * 2018-05-24 2021-11-05 上海节卡机器人科技有限公司 Human-machine safety protection system and safety protection method

Also Published As

Publication number Publication date
JP2001320698A (en) 2001-11-16

Similar Documents

Publication Publication Date Title
JP4066168B2 (en) Intruder monitoring device
US7729511B2 (en) Method and device for safeguarding a hazardous area
JP4481432B2 (en) Image-type monitoring method, image-type monitoring device, and safety system using the same
RU2439163C2 (en) Production plant with zone relating to safety control
KR101566784B1 (en) Approach monitoring and operation control system for heavy equipment of industry and construction
WO2002101279A1 (en) Machine safety system with mutual exclusion zone
US20030076224A1 (en) Method of, and apparatus for, controlling a safety-specific function of a machine
AU2010288642A1 (en) Monitoring device and method for monitoring an entry or exit area of an access opening of a vehicle to a building component
WO2002073086A1 (en) Object detection
EP3527525A1 (en) Elevator door control system for detection of obstacle trapping
KR101187901B1 (en) System for intelligent surveillance and method for controlling thereof
WO2014042168A1 (en) Image processing device, object detection method, and object detection program
JP2016139343A (en) Crime prevention system
US20230025322A1 (en) Dual use of safety-capable vehicle scanner for collaborative vehicle assembly and driving surveillance
JP6257379B2 (en) Elevator system
JP3125969B2 (en) Target proximity detection method from moving object
KR20050062889A (en) Train emergency control system and method using unexpected accident image detector
JP4117581B2 (en) Crossing obstacle detection device
JP6031908B2 (en) Image processing apparatus, object detection method, and object detection program
KR102008966B1 (en) Response System For a Fall From Railroad Platform
JP2009035339A (en) Control device of passenger conveyor and control method
JPH1049799A (en) Operation controller
JP5087338B2 (en) Elevator door control device and method
KR20170133592A (en) Fall protection system on Platform
WO2014156908A1 (en) Device, method and system for monitoring detection area

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091222

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100316

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100318

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130326

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130326

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140326

Year of fee payment: 4