JP5186973B2 - 作業者安全検査装置 - Google Patents
作業者安全検査装置 Download PDFInfo
- Publication number
- JP5186973B2 JP5186973B2 JP2008079564A JP2008079564A JP5186973B2 JP 5186973 B2 JP5186973 B2 JP 5186973B2 JP 2008079564 A JP2008079564 A JP 2008079564A JP 2008079564 A JP2008079564 A JP 2008079564A JP 5186973 B2 JP5186973 B2 JP 5186973B2
- Authority
- JP
- Japan
- Prior art keywords
- difference
- image
- inter
- background
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、作業者安全検査装置に関する。
近年、室内環境における人の安全検査装置として、浴室における安全検査装置が提案されている。
下記特許文献１では、検査場所を浴室に限定し、浴室天井に設置されたカメラにより鉛直下向き方向を撮影したカメラ画像を用い、人の入っていない背景画像と入力画像との差分を行い、差分画像によって浴室内における人の有無を検出し、タイマーによって人が浴室内に居る時間を計測し、予め決められたリミット時間より長く人が浴室内に留まっている場合はアラーム信号を発生する。
下記特許文献１では、検査場所を浴室に限定し、浴室天井に設置されたカメラにより鉛直下向き方向を撮影したカメラ画像を用い、人の入っていない背景画像と入力画像との差分を行い、差分画像によって浴室内における人の有無を検出し、タイマーによって人が浴室内に居る時間を計測し、予め決められたリミット時間より長く人が浴室内に留まっている場合はアラーム信号を発生する。
また、下記特許文献２では、検査場所を浴室に限定し、浴室天井に設置されたカメラにより鉛直下向き方向を撮影したカメラ画像を用い、入力画像から入浴者の輪郭線を抽出し、さらに輪郭線から体形の識別を行うことで腕・脚・胴体の各領域を取り出し、各領域の重心位置の変化から入浴者の動きを検出し、各重心の静止時間によって動きがないと判断し、入浴者に異常が発生していないか否かを判断する。
また、下記特許文献３では、検査場所を浴室に限定し、赤外線センサによる熱検知により人体を検知し、人体の動きを撮像して画像処理する人体検出センサにより人の動きを検出し、入浴者の動きが一定時間無かった場合、浴槽で寝ているか、又は、倒れたと推測する。画像処理を行う人体検出センサは人口網膜チップで構成し、現在の入力画像と一つ前の時間に撮影した入力画像との間の差分を行うフレーム間差分により画像中の動きの有無を判断する。
また、従来の画像照合装置による方法では、画像を格子状の小領域に分割し、各小領域の状態を差分演算によって調べ、何かが静止している状態にある小領域が人物サイズ以上の数だけ検出された場合に、屋内作業場所において転倒や卒倒等の何らかの理由により動かなくなったものと判断して異常を検出した。
また、作業場所の運用としては複数名作業を義務付ける方法、入退室記録簿を記入する方法がある。また、監視カメラにより撮影した映像を管理室に設置したモニタで監視する方法も用いられる。
しかしながら、上記特許文献１では、浴室内に人が入ったか否かの判断を画像処理により行うことができるが、浴室内の人が動いているか否かの判断ができない。このため、定められた一定時間以上、人が浴室内に居た場合は強制的に異常と判断しアラーム信号を発生してしまう。
また、上記特許文献２では、体形の識別による腕・脚・胴体の各領域の重心の動きを基に入浴者の異常を判断するため、画像中における入浴者のサイズが体形が識別できる程度大きく撮影する必要があり、かつ、体形を腕・脚・胴体の各領域に識別できるよう人の正面から、又は、背面から撮影したカメラ画像でなければならない。
また、上記特許文献３では、赤外線センサによる熱検知により人体を検知するため、衣服着用時には温度分布の違いにより検知精度が低下する。また、安価な赤外線センサは遠距離での感度が悪く間近な検知対象しか検知できないため、狭い屋内範囲に適用が限定される。さらに、画像処理により動きを検知する構成として人口網膜チップという特殊なセンサを用いているため、一般の監視カメラ画像を入力装置として適用することができず、上記特許文献３に用途として挙げている浴室以外に適用することができない。また、人の検知を赤外線センサで行い、人の動き検知を人工網膜チップで行うため、入浴者の安全検査のために複数種類のセンサを必要とする。
また、従来の画像照合装置による方法では、照明の安定した屋内作業場所においては、一般のカメラ画像から比較的広範囲の作業場所の作業者の異常を検出できるが、屋内作業場所において屋外光を取り入れる大きな窓等があった場合は、屋外光により照明状況が急激に変化する場合があり、屋外光による照明状況の急激な変化を検出して、誤って異常と判断する場合がある。
また、複数名作業を義務付ける運用方法では、実際に運用規則を守らない作業者には効果が無く、入退室記録では作業者の事故後の記録として利用できるが、事故発生時直後の判定には効果が無い。また、監視カメラをモニタする方法では、監視員がたまたまモニタを見ていなかった時間帯に事故が発生した場合は、事故発生時直後の短時間で作業員の状態を判定することができない。
以上のことから、本発明は、画像処理により屋内作業場所において単独作業を行う作業者の安全検査を行うことができる作業者安全検査装置を提供することを目的とする。
上記の課題を解決するための第１の発明に係る作業者安全検査装置によれば、
画像を撮像するカメラと、
前記カメラで撮像した画像を差分計算を用いた画像処理により画像上に動いて入って来た対象物が一定時間以上静止した状態を検出した場合に異常と判断する画像処理部と、
前記画像処理部における判断結果を表示する結果表示部と
を備える
作業者の安全検査装置において、
前記画像処理部が、
画像データ、各処理変数、カウンタ、結果データ等を保存する記憶部と、
前記カメラの画像を入力し、前記記憶部へ保存する画像入力部と、
安全検査の判断に必要なパラメータを設定し前記記憶部へ保存する処理設定部と、
入力画像データと一つ前の時間間隔で撮影した入力画像データを前記記憶部から取り出し、前記入力画像データと前記一つ前の時間間隔で撮影した入力画像データを適当な小領域に分割して、一つ一つの小領域毎について差分計算を行い、当該差分計算により算出された値を反転することでフレーム間差分結果を求め、各小領域毎の前記フレーム間差分結果を前記記憶部へ保存し、また、前記入力画像データと予め記憶しておいた背景画像データを前記記憶部から取り出し、その画像を適当な小領域に分割し、一つ一つの小領域毎について差分計算を行い、当該差分計算により算出された値を反転することで背景差分結果を求め、各小領域毎の前記背景差分結果を前記記憶部へ保存する差分演算部と、
前記背景差分結果が、背景差分に関するしきい値以下の場合で、かつ、前記フレーム間差分結果が、フレーム間差分に関するしきい値よりも大きい場合は、小領域上に何かが停止していると判断して予め設定しておいた値に達したときに小領域状態を「静止」とする動作制御部と、
小領域状態が「静止」になっている小領域の数を静止小領域数とし、静止小領域数が予め設定しておいた静止物判定数以上であれば、動いた後停止して動かなくなった何らかの大きな物体があると判断し、異常結果を前記記憶部へ保存する安全検査部と、
異常の有無を前記画像処理部の外部へ出力すると共に、画像データ、各小領域の小領域状態を前記画像処理部の外部へ出力する結果出力部と
を備える
ことを特徴とする。
画像を撮像するカメラと、
前記カメラで撮像した画像を差分計算を用いた画像処理により画像上に動いて入って来た対象物が一定時間以上静止した状態を検出した場合に異常と判断する画像処理部と、
前記画像処理部における判断結果を表示する結果表示部と
を備える
作業者の安全検査装置において、
前記画像処理部が、
画像データ、各処理変数、カウンタ、結果データ等を保存する記憶部と、
前記カメラの画像を入力し、前記記憶部へ保存する画像入力部と、
安全検査の判断に必要なパラメータを設定し前記記憶部へ保存する処理設定部と、
入力画像データと一つ前の時間間隔で撮影した入力画像データを前記記憶部から取り出し、前記入力画像データと前記一つ前の時間間隔で撮影した入力画像データを適当な小領域に分割して、一つ一つの小領域毎について差分計算を行い、当該差分計算により算出された値を反転することでフレーム間差分結果を求め、各小領域毎の前記フレーム間差分結果を前記記憶部へ保存し、また、前記入力画像データと予め記憶しておいた背景画像データを前記記憶部から取り出し、その画像を適当な小領域に分割し、一つ一つの小領域毎について差分計算を行い、当該差分計算により算出された値を反転することで背景差分結果を求め、各小領域毎の前記背景差分結果を前記記憶部へ保存する差分演算部と、
前記背景差分結果が、背景差分に関するしきい値以下の場合で、かつ、前記フレーム間差分結果が、フレーム間差分に関するしきい値よりも大きい場合は、小領域上に何かが停止していると判断して予め設定しておいた値に達したときに小領域状態を「静止」とする動作制御部と、
小領域状態が「静止」になっている小領域の数を静止小領域数とし、静止小領域数が予め設定しておいた静止物判定数以上であれば、動いた後停止して動かなくなった何らかの大きな物体があると判断し、異常結果を前記記憶部へ保存する安全検査部と、
異常の有無を前記画像処理部の外部へ出力すると共に、画像データ、各小領域の小領域状態を前記画像処理部の外部へ出力する結果出力部と
を備える
ことを特徴とする。
上記の課題を解決するための第２の発明に係る作業者安全検査装置によれば、第１の発明に係る作業者安全検査装置において、
前記背景差分に関するしきい値及び前記フレーム間差分に関するしきい値は、予め設定しておくものであることを特徴とする。
前記背景差分に関するしきい値及び前記フレーム間差分に関するしきい値は、予め設定しておくものであることを特徴とする。
上記の課題を解決するための第３の発明に係る作業者安全検査装置によれば、第１の発明に係る作業者安全検査装置において、
前記画像処理部は、
前記差分演算部で計算された各小領域に関する前記フレーム間差分結果と前記背景差分結果を画像について集計し、前記フレーム間差分結果の画像全体における平均値としてフレーム間差分画像平均値、及び、前記背景差分結果の画像全体における平均値として背景差分画像平均値を計算し、次に、前記フレーム間差分画像平均値及び前記背景差分画像平均値からの差分結果の分散を調べ標準偏差を計算し、前記フレーム間差分結果の標準偏差としてフレーム間差分画像標準偏差値、及び、前記背景差分結果の標準偏差として背景差分画像標準偏差値を求め、さらに、予め設定しておいた係数と前記フレーム間差分画像標準偏差値を掛けた値を前記フレーム間差分画像平均値から差し引くことにより前記フレーム間差分に関するしきい値を計算し、また、予め設定しておいた係数と前記背景差分画像標準偏差値を掛けた値を前記背景差分画像平均値から差し引くことにより前記背景差分に関するしきい値を計算する画像状態検査部を備える
ことを特徴とする。
前記画像処理部は、
前記差分演算部で計算された各小領域に関する前記フレーム間差分結果と前記背景差分結果を画像について集計し、前記フレーム間差分結果の画像全体における平均値としてフレーム間差分画像平均値、及び、前記背景差分結果の画像全体における平均値として背景差分画像平均値を計算し、次に、前記フレーム間差分画像平均値及び前記背景差分画像平均値からの差分結果の分散を調べ標準偏差を計算し、前記フレーム間差分結果の標準偏差としてフレーム間差分画像標準偏差値、及び、前記背景差分結果の標準偏差として背景差分画像標準偏差値を求め、さらに、予め設定しておいた係数と前記フレーム間差分画像標準偏差値を掛けた値を前記フレーム間差分画像平均値から差し引くことにより前記フレーム間差分に関するしきい値を計算し、また、予め設定しておいた係数と前記背景差分画像標準偏差値を掛けた値を前記背景差分画像平均値から差し引くことにより前記背景差分に関するしきい値を計算する画像状態検査部を備える
ことを特徴とする。
上記の課題を解決するための第４の発明に係る作業者安全検査装置によれば、第１の発明に係る作業者安全検査装置において、
前記画像処理部は、
各小領域について前記フレーム間差分結果と前記背景差分結果の履歴データを集計し、前記フレーム間差分結果の履歴データにおける平均値としてフレーム間差分定常平均値、及び、前記背景差分結果の履歴データにおける平均値として背景差分定常平均値を計算し、次に、各小領域の履歴データについて前記フレーム間差分定常平均値及び前記背景差分定常平均値からの差分結果の分散を調べ標準偏差を計算し、前記フレーム間差分結果の標準偏差としてフレーム間差分定常標準偏差値、及び、前記背景差分結果の標準偏差として背景差分定常標準偏差値を求め、さらに、各小領域について、予め設定しておいた係数と前記フレーム間差分定常標準偏差値を掛けた値を前記フレーム間差分定常平均値から差し引くことにより、前記フレーム間差分に関するしきい値を計算し、また、各小領域について、予め設定しておいた係数と前記背景差分定常標準偏差値を掛けた値を前記背景差分定常平均値から差し引くことにより、前記背景差分に関するしきい値を計算し、前記フレーム間差分に関するしきい値及び前記背景差分に関するしきい値を前記記憶部へ保存する定常状態検査部を備える
ことを特徴とする。
前記画像処理部は、
各小領域について前記フレーム間差分結果と前記背景差分結果の履歴データを集計し、前記フレーム間差分結果の履歴データにおける平均値としてフレーム間差分定常平均値、及び、前記背景差分結果の履歴データにおける平均値として背景差分定常平均値を計算し、次に、各小領域の履歴データについて前記フレーム間差分定常平均値及び前記背景差分定常平均値からの差分結果の分散を調べ標準偏差を計算し、前記フレーム間差分結果の標準偏差としてフレーム間差分定常標準偏差値、及び、前記背景差分結果の標準偏差として背景差分定常標準偏差値を求め、さらに、各小領域について、予め設定しておいた係数と前記フレーム間差分定常標準偏差値を掛けた値を前記フレーム間差分定常平均値から差し引くことにより、前記フレーム間差分に関するしきい値を計算し、また、各小領域について、予め設定しておいた係数と前記背景差分定常標準偏差値を掛けた値を前記背景差分定常平均値から差し引くことにより、前記背景差分に関するしきい値を計算し、前記フレーム間差分に関するしきい値及び前記背景差分に関するしきい値を前記記憶部へ保存する定常状態検査部を備える
ことを特徴とする。
本発明によれば、以下のような効果を奏する。
（１）一般的なカメラの画像を調べることによって、作業者が一定時間以上静止した状態を検出し異常と判断するため、作業者が転倒や卒倒等の何らかの理由で動かなくなった状態を自動的に検知して異常と判断することができる。
（２）屋内作業場所であれば適用が可能であるため、様々な作業場所において作業者の安全検査を行うことができる。
（３）人体の各部を検出できる程、人物を大きなサイズで撮像する必要が無いため、一台のカメラで広範囲の作業者安全検査を行うことができる。
（４）入力装置として一般的な監視カメラを用いることができるため、特別な入力装置を用意する必要がない。
（５）屋外光を取り入れる大きな窓があるような屋内作業場所においても、屋外光の明かりの変化の影響を受けることなく、照明状況の変化による誤った異常を検出しない。
（６）画像処理により自動で作業者の安全検査を行うため見落としが無く、事故が発生した場合は、事故発生時直後の短時間で作業員の状態を判定することができる。
以上のことから、本発明によれば、画像処理により屋内作業場所において単独作業を行う作業者の安全検査を行うことができる作業者安全検査装置を実現することが可能となる。
（１）一般的なカメラの画像を調べることによって、作業者が一定時間以上静止した状態を検出し異常と判断するため、作業者が転倒や卒倒等の何らかの理由で動かなくなった状態を自動的に検知して異常と判断することができる。
（２）屋内作業場所であれば適用が可能であるため、様々な作業場所において作業者の安全検査を行うことができる。
（３）人体の各部を検出できる程、人物を大きなサイズで撮像する必要が無いため、一台のカメラで広範囲の作業者安全検査を行うことができる。
（４）入力装置として一般的な監視カメラを用いることができるため、特別な入力装置を用意する必要がない。
（５）屋外光を取り入れる大きな窓があるような屋内作業場所においても、屋外光の明かりの変化の影響を受けることなく、照明状況の変化による誤った異常を検出しない。
（６）画像処理により自動で作業者の安全検査を行うため見落としが無く、事故が発生した場合は、事故発生時直後の短時間で作業員の状態を判定することができる。
以上のことから、本発明によれば、画像処理により屋内作業場所において単独作業を行う作業者の安全検査を行うことができる作業者安全検査装置を実現することが可能となる。
以下、本発明に係る作業者安全検査装置の実施例について図を用いて説明する。なお、図１は本発明の第１の実施例に係る作業者安全検査装置の装置構成を示した図、図２は本発明の第１の実施例に係る作業者安全検査装置における作業者安全検査処理の手順を示した図、図３は本発明の第１及び第２の実施例に係る作業者安全検査装置における第１及び第２型動作制御部の処理の流れを示した図、図４は本発明の第２の実施例に係る作業者安全検査装置の装置構成を示した図、図５は本発明の第３の実施例に係る作業者安全検査装置の装置構成を示した図、図６は本発明の第３の実施例に係る作業者安全検査装置における第３型動作制御部の処理の流れを示した図、図７は本発明の第１の比較例に係る作業者安全検査装置の装置構成を示した図、図８は本発明の第１の比較例に係る作業者安全検査装置における作業者安全検査処理の手順を示した図、図９は本発明の第１及び第２の比較例に係る作業者安全検査装置における第４及び第５型動作制御部の処理の流れを示した図、図１０は本発明の第２の比較例に係る作業者安全検査装置の装置構成を示した図、図１１は本発明の第３の比較例に係る作業者安全検査装置の装置構成を示した図、図１２は本発明の第３の比較例に係る作業者安全検査装置における第６型動作制御部の処理の流れを示した図、図１３は本発明の第１〜第３の実施例及び第１〜第３の比較例に係る作業者安全検査装置における画像を小領域に分割して作業者安全監視を行う例を示した図である。
本発明の第１の実施例に係る作業者安全検査装置では、画像処理により画像上に動いて入って来た作業者が一定時間以上静止した状態を検出した場合に異常と判断することで、作業者の安全検査を行う。
はじめに、本実施例に係る作業者安全検査装置における作業者安全検査処理の手順について説明する。
本実施例に係る作業者安全検査装置では、図２に示すように、はじめに、ステップＳ１０において、画像を入力する。
次に、ステップＳ１１において、画像上に動いて入って来たものが静止したことを検出するために、まず、画像を図１３中に矢印Ａで示すように格子状の小領域に分割する。なお、例えば、図１３中に矢印Ｂで示す部分が変化を検出した小領域である。
本実施例に係る作業者安全検査装置では、図２に示すように、はじめに、ステップＳ１０において、画像を入力する。
次に、ステップＳ１１において、画像上に動いて入って来たものが静止したことを検出するために、まず、画像を図１３中に矢印Ａで示すように格子状の小領域に分割する。なお、例えば、図１３中に矢印Ｂで示す部分が変化を検出した小領域である。
次に、ステップＳ１２において、各小領域について小領域の状態が変化を検出しない安定状態であるのか、何かが動いている変化状態であるのか、何かが静止している静止状態であるのかの差分計算による小領域状態の検査を行う。
次に、ステップＳ１３において、静止状態である小領域の数（面積に相当する）を調べ、画面上の人物サイズ程度以上の面積に相当する小領域の数が静止状態であった場合は異常と判断することで、屋内施設で作業する作業者の安全の有無を検査する。
最後に、ステップＳ１４において、検出結果を出力する。
最後に、ステップＳ１４において、検出結果を出力する。
次に、本実施例に係る作業者安全検査装置の装置構成について説明する。
本実施例に係る作業者安全検査装置は、図１に示すように、監視カメラの画像を画像解析することにより屋内作業場所の作業者の安全検査を行うため、監視カメラ１と、第１型画像処理部２と、結果表示部３とにより構成される。
本実施例に係る作業者安全検査装置は、図１に示すように、監視カメラの画像を画像解析することにより屋内作業場所の作業者の安全検査を行うため、監視カメラ１と、第１型画像処理部２と、結果表示部３とにより構成される。
監視カメラ１は、屋内作業場所を見渡せる位置に設置し、屋内作業場所を撮影して、その画像を第１型画像処理部２へ伝送する。
第１型画像処理部２は、画像入力部１０、記憶部１１、処理設定部１２、差分演算部１３、第１型動作制御部１４、安全検査部１５、結果出力部１６により構成される。
第１型画像処理部２は、画像入力部１０、記憶部１１、処理設定部１２、差分演算部１３、第１型動作制御部１４、安全検査部１５、結果出力部１６により構成される。
画像入力部１０は、設定された時間間隔毎に監視カメラ１の画像を入力し、記憶部１１へ保存する。
処理設定部１２は、安全検査の判断に必要なパラメータを設定し記憶部１１へ保存する。
処理設定部１２は、安全検査の判断に必要なパラメータを設定し記憶部１１へ保存する。
差分演算部１３は、入力画像データと一つ前の時間間隔で撮影した入力画像データを記憶部１１から取り出し、入力画像データと一つ前の時間間隔で撮影した入力画像データを適当な小領域に分割し、一つ一つの小領域毎について差分計算を行い（「フレーム間差分」と呼ぶ）、各小領域毎のフレーム間差分結果を記憶部１１へ保存する。
また、差分演算部１３は、入力画像データと予め記憶しておいた背景画像データを記憶部１１から取り出し、入力画像データと背景画像データを適当な小領域に分割し、一つ一つの小領域毎について差分計算を行い（「背景差分」と呼ぶ）、各小領域毎の背景差分結果を記憶部１１へ保存する。なお、差分演算部１３における差分計算には、反転正規化絶対値差分計算を用いる。
ここで、反転正規化絶対値差分計算について説明する。
はじめに、絶対差分値を基準輝度差で正規化した画像領域の正規化絶対差分値Ｄを算出する。正規化絶対差分値Ｄを算出する数式を下記式（１）に示す。
はじめに、絶対差分値を基準輝度差で正規化した画像領域の正規化絶対差分値Ｄを算出する。正規化絶対差分値Ｄを算出する数式を下記式（１）に示す。
上記式（１）において、Ｎは比較領域内の画素数、ｆ（ｉ，ｊ）は比較領域内の点ｐ（ｉ，ｊ）に位置する比較対象となっている画素の輝度値、ｇ（ｉ，ｊ）は比較対象画像内の点ｑ（ｉ，ｊ）に位置する比較対象となっている画素の輝度値、Ｉｍａｘは最大輝度値である。なお、点ｑは、比較領域内の点ｐに対応する点である。
また、ｍａｘ[ｆ（ｉ，ｊ），Ｉｍａｘ−ｆ（ｉ，ｊ）]は基準画像の対象画素の輝度値ｆ（ｉ，ｊ）が最大輝度値Ｉｍａｘの半値より小さい場合、Ｉｍａｘ−ｆ（ｉ，ｊ）を選択し、基準画像の対象画素の輝度値ｆ（ｉ，ｊ）が最大輝度値Ｉｍａｘの半値より大きい場合、ｆ（ｉ，ｊ）を選択するものとする。
上記式（１）から、正規化絶対差分値Ｄは比較領域内の画素数、すなわち、比較領域内の画像領域の大きさや、基準画像の明暗等の輝度の度合に関わらず０〜１の範囲の値をとる。そして、算出した値が０に近いほど画像の類似度が高く、１に近いほど画像の類似度が低いという特徴を有する。
次に、反転正規化絶対差分値ｄを算出する。反転正規化絶対差分値ｄを算出する数式を下記式（２）に示す。
上記式（１）より、正規化絶対差分値Ｄは０〜１の値をとることから、上記式（２）より、反転正規化絶対差分値ｄについても、比較領域の画像領域の大きさや、基準画像の明暗等の輝度の度合に関わらず０〜１の範囲の値を取る。そして、正規化絶対差分値Ｄと異なり、算出された数値が０に近いほど画像の類似度が低く、１に近いほど画像の類似度が高いという特徴がある。
すなわち、反転正規化絶対差分値ｄによれば、比較領域と比較対象画像の類似度が高いほど算出される値が大きくなるため、２つの画像の類似度と反転正規化絶対差分値ｄとの対応関係を作業者が直感的に判断しやすいという利点がある。
以上が、反転正規化絶対値差分計算である。
以上が、反転正規化絶対値差分計算である。
第１型動作制御部１４は、作業者安全検査処理の全体の動作制御を行う。第１型動作制御部１４は、動作モードによって「背景設定モード」、「動き検出モード」及び「停止検出モード」を切り替えて処理を行い、それぞれで小領域状態を設定する。
ここで、本実施例に係る作業者安全検査装置における第１型動作制御部１４の処理の流れについて説明する。
図３に示すように、動作モードが「背景設定モード」の場合、フレーム間差分結果が予め設定しておいたフレーム間差分しきい値よりも大きい場合は、カウンタを増やし、また、フレーム間差分結果が予め設定しておいたフレーム間差分しきい値以下の場合は、カウンタをクリアする。カウンタが予め設定しておいた値に達すれば、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
図３に示すように、動作モードが「背景設定モード」の場合、フレーム間差分結果が予め設定しておいたフレーム間差分しきい値よりも大きい場合は、カウンタを増やし、また、フレーム間差分結果が予め設定しておいたフレーム間差分しきい値以下の場合は、カウンタをクリアする。カウンタが予め設定しておいた値に達すれば、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
動作モードが「動き検出モード」の場合、フレーム間差分結果が予め設定しておいたフレーム間差分しきい値よりも大きい場合は、小領域上に変化が無いと判断し、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
また、フレーム間差分結果が予め設定しておいたフレーム間差分しきい値以下の場合は、小領域上に何らかの変化を検出したとして、小領域状態を「変化」にし、動作モードを「停止検出モード」にする。
動作モードが「停止検出モード」の場合、背景差分結果が予め設定しておいた背景差分しきい値よりも大きい場合は、小領域上に変化が無いと判断し、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
また、背景差分結果が予め設定しておいた背景差分しきい値以下の場合で、かつ、フレーム間差分結果が予め設定しておいたフレーム間差分しきい値よりも大きい場合は、小領域上に何かが停止していると判断してカウンタを増やし、動作モードを「停止検出モード」にする。この時、カウンタが予め設定しておいた静止判定フレーム数に達すれば小領域状態を「静止」にする。
さらに、背景差分結果が予め設定しておいた背景差分しきい値以下の場合で、かつ、フレーム間差分結果が予め設定しておいたフレーム間差分しきい値以下の場合は、小領域上に何かが動いていると判断してカウンタをクリアし、小領域状態を「変化」にし、動作モードを「停止検出モード」にする。
以上が、本実施例に係る作業者安全検査装置における第１型動作制御部１４の処理の流れである。
以上が、本実施例に係る作業者安全検査装置における第１型動作制御部１４の処理の流れである。
安全検査部１５は、小領域状態が「静止」になっている小領域の数（以降「静止小領域数」と呼ぶ）を調べ、静止小領域数が予め設定しておいた静止物判定数以上であれば、動いた後停止して動かなくなった何らかの大きな物体があると判断し、異常結果を記憶部１１へ保存する。
結果出力部１６は、異常の有無を第１型画像処理部２から外部へ出力すると共に、画像データ、各小領域の小領域状態を第１型画像処理部２から外部へ出力する。
記憶部１１は、画像データ、各処理変数、カウンタ、結果データ等を保存する。
結果表示部３は、結果出力部１６より画像データと安全検査結果を受け取り、監視カメラ１により撮影した画像と共に安全検査結果を表示する。
記憶部１１は、画像データ、各処理変数、カウンタ、結果データ等を保存する。
結果表示部３は、結果出力部１６より画像データと安全検査結果を受け取り、監視カメラ１により撮影した画像と共に安全検査結果を表示する。
本実施例に係る作業者安全検査装置によれば、一般的なカメラの画像を調べることによって、作業者が一定時間以上静止した状態を検出し異常と判断するため、作業者が転倒や卒倒等の何らかの理由で動かなくなった状態を自動的に検知して異常と判断することができる。
そして、上記特許文献１に比べ、本実施例に係る作業者安全検査装置では、作業者が動いているか静止しているかの状態を画像から検出しているため、作業者が単に屋内施設へ長時間入って作業しているだけではアラームを発生せず、作業者が何らかの理由により静止している状態が続いた場合のみ異常と判断することができる。
また、上記特許文献２に比べ、本実施例に係る作業者安全検査装置では、人間の体形による領域を検出する方法でなく、画像上の状態によって動きと静止の判断を行うため、人間の体形が識別できる程大きく撮影する必要がなく、ある程度広範囲な屋内作業場所を検査範囲とすることができる。さらに、人間の正面から撮影する必要もないため、作業者の向きを気にすることなくカメラを設置できる。
また、上記特許文献３に比べ、本実施例に係る作業者安全検査装置では、一般のカメラを入力装置として使用するため、赤外線センサや人口網膜チップといった特殊な装置を用いる必要が無く、既存の監視カメラがあればそれを入力装置として流用することができる。さらに、赤外線センサのように着衣時の温度分布の違いにより検知精度影響されることがない。
また、監視カメラのモニタを監視員が視認する方法に比べ、本実施例に係る作業者安全検査装置では、本装置が常時屋内施設を監視して異常を自動で検査するため、監視員がたまたま見ていなかった時間帯が存在せず、事故発生時には短時間での対処が可能となる。
本発明の第２の実施例に係る作業者安全検査装置では、第１の実施例に係る作業者安全検査装置の第１型画像処理部２において「画像状態検査部１７」を加えると共に、第１の実施例に示した「第１型動作制御部１４」の替わりに「第２型動作制御部１８」を用いた「第２型画像処理部４」により構成する。なお、これら以外の構成については、第１の実施例に係る作業者安全検査装置と同様であるため、ここでの説明は省略する。
図４に示すように、画像状態検査部１７では、差分演算部１３で計算された各小領域に関するフレーム間差分結果と背景差分結果を画像について集計し、フレーム間差分結果の画像全体における平均値（以降「フレーム間差分画像平均値」と呼ぶ）、及び、背景差分結果の画像全体における平均値（以降「背景差分画像平均値」と呼ぶ）を計算する。
次に、これら平均値からの差分結果の分散を調べ標準偏差を計算し、フレーム間差分結果の標準偏差（以降「フレーム間差分画像標準偏差値」と呼ぶ）、及び、背景差分結果の標準偏差（以降「背景差分画像標準偏差値」と呼ぶ）を求める。
さらに、予め設定しておいた係数とフレーム間差分画像標準偏差値を掛けた値をフレーム間差分画像平均値から差し引くことにより、第２型動作制御部１８で用いるフレーム間差分に関するしきい値（以降「フレーム間差分画像基準しきい値」と呼ぶ）を計算し、また、予め設定しておいた係数と背景差分画像標準偏差値を掛けた値を背景差分画像平均値から差し引くことにより、第２型動作制御部１８で用いる背景差分に関するしきい値（以降「背景差分画像基準しきい値」と呼ぶ）を計算する。これら計算した各値を記憶部１１へ保存する。
第２型動作制御部１８は、第１の実施例の第１型動作制御部１４で用いた各しきい値の替わりに「フレーム間差分画像基準しきい値」及び「背景差分画像基準しきい値」を用いる。このため、第２型動作制御部１８の各モードの動作は次のようになる。
ここで、本実施例に係る作業者安全検査装置における第２型動作制御部１８の処理の流れについて説明する。
図３に示すように、動作モードが「背景設定モード」の場合、フレーム間差分結果がフレーム間差分画像基準しきい値よりも大きい場合はカウンタを増やし、フレーム間差分結果がフレーム間差分画像基準しきい値以下の場合はカウンタをクリアする。カウンタが予め設定しておいた値に達すれば、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
図３に示すように、動作モードが「背景設定モード」の場合、フレーム間差分結果がフレーム間差分画像基準しきい値よりも大きい場合はカウンタを増やし、フレーム間差分結果がフレーム間差分画像基準しきい値以下の場合はカウンタをクリアする。カウンタが予め設定しておいた値に達すれば、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
動作モードが「動き検出モード」の場合、フレーム間差分結果がフレーム間差分画像基準しきい値よりも大きい場合は、小領域上に変化が無いと判断し、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
また、フレーム間差分結果がフレーム間差分画像基準しきい値以下の場合は、小領域上に何らかの変化を検出したとして、小領域状態を「変化」にし、動作モードを「停止検出モード」にする。
動作モードが「停止検出モード」の場合、背景差分結果が背景差分画像基準しきい値よりも大きい場合は、小領域上に変化が無いと判断し、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
また、背景差分結果が背景差分画像基準しきい値以下の場合で、かつ、フレーム間差分結果がフレーム間差分画像基準しきい値よりも大きい場合は、小領域上に何かが停止していると判断してカウンタを増やし、動作モードを「停止検出モード」にする。この時、カウンタが予め設定しておいた静止判定フレーム数に達すれば小領域状態を「静止」にする。
さらに、背景差分結果が背景差分画像基準しきい値以下の場合で、かつ、フレーム間差分結果がフレーム間差分画像基準しきい値以下の場合は、小領域上に何かが動いていると判断してカウンタをクリアし、小領域状態を「変化」にし、動作モードを「停止検出モード」にする。
以上が、本実施例に係る作業者安全検査装置における第２型動作制御部１８の処理の流れである。
以上が、本実施例に係る作業者安全検査装置における第２型動作制御部１８の処理の流れである。
本実施例に係る作業者安全検査装置によれば、第１の実施例に係る作業者安全検査装置の効果に加え、入力画像の状態を調べて画像上の変化検出のためのしきい値を調整するため、各入力画像の状態に対応したしきい値を設定することができ、環境変化により頑健な作業者安全検査を行うことができる。
本発明の第３の実施例に係る作業者安全検査装置では、第１の実施例に係る作業者安全検査装置の第１型画像処理部２において「定常状態検査部１９」を加えると共に、第１の実施例に示した「第１型動作制御部１４」の替わりに「第３型動作制御部２０」を用いた「第３型画像処理部５」により構成する。なお、これら以外の構成については、第１の実施例に係る作業者安全検査装置と同様であるため、ここでの説明は省略する。
図５に示すように、定常状態検査部１９は、各小領域についてフレーム間差分結果と背景差分結果の履歴データを集計し、フレーム間差分結果の履歴データにおける平均値（以降「フレーム間差分定常平均値」と呼ぶ）、及び、背景差分の履歴データにおける平均値（以降「背景差分定常平均値」）を計算する。
次に、各小領域の履歴データについてこれらの平均値からの差分結果の分散を調べ標準偏差を計算し、フレーム間差分結果の標準偏差（以降「フレーム間差分定常標準偏差値」と呼ぶ）、及び、背景差分結果の標準偏差（以降「背景差分定常標準偏差値」と呼ぶ）を求める。
さらに、各小領域について、予め設定しておいた係数とフレーム間差分定常標準偏差値を掛けた値をフレーム間差分定常平均値から差し引くことにより、第３型動作制御部２０で用いるフレーム間差分に関するしきい値（以降「フレーム間差分定常基準しきい値」と呼ぶ）を計算し、また、各小領域について、予め設定しておいた係数と背景差分定常標準偏差値を掛けた値を背景差分定常平均値から差し引くことにより、第３型動作制御部２０で用いる背景差分に関するしきい値（以降「背景差分定常基準しきい値」と呼ぶ）を計算する。これら計算した各値を記憶部１１へ保存する。
第３型動作制御部２０は、第１の実施例で用いた第１型動作制御部１４の各しきい値の替わりに「フレーム間差分定常基準しきい値」及び「背景差分定常基準しきい値」を用いる。また、各差分結果の履歴データを作るための「データ更新」を行う機能を追加すると共に、初期の履歴データを作るための「初期状態設定モード」を設ける。
ここで、本実施例に係る作業者安全検査装置における第３型動作制御部２０の処理の流れについて説明する。
図６に示すように、動作モードが「初期状態設定モード」の場合、カウンタを増やし、カウンタが予め設定しておいた値に達すれば、小領域状態を「安定」にし、動作モードを「背景設定モード」にする。
図６に示すように、動作モードが「初期状態設定モード」の場合、カウンタを増やし、カウンタが予め設定しておいた値に達すれば、小領域状態を「安定」にし、動作モードを「背景設定モード」にする。
動作モードが「背景設定モード」の場合、フレーム間差分結果がフレーム間差分定常基準しきい値よりも大きい場合は、カウンタを増やし、フレーム間差分結果がフレーム間差分定常基準しきい値以下の場合は、カウンタをクリアする。カウンタが予め設定しておいた値に達すれば、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
動作モードが「動き検出モード」の場合、フレーム間差分結果がフレーム間差分定常基準しきい値よりも大きい場合は、小領域上に変化が無いと判断し、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
また、フレーム間差分結果がフレーム間差分定常基準しきい値以下の場合は、小領域上に何らかの変化を検出したとして、小領域状態を「変化」にし、動作モードを「停止検出モード」にする。
動作モードが「停止検出モード」の場合、背景差分結果が背景差分定常基準しきい値よりも大きい場合は、小領域上に変化が無いと判断し、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
また、背景差分結果が背景差分定常基準しきい値以下の場合で、かつ、フレーム間差分結果がフレーム間差分定常基準しきい値よりも大きい場合は、小領域上に何かが停止していると判断してカウンタを増やし、動作モードを「停止検出モード」にする。この時、カウンタが予め設定しておいた静止判定フレーム数に達すれば小領域状態を「静止」にする。
さらに、背景差分結果が背景差分定常基準しきい値以下の場合で、かつ、フレーム間差分結果がフレーム間差分定常基準しきい値以下の場合は、小領域上に何かが動いていると判断してカウンタをクリアし、小領域状態を「変化」にし、動作モードを「停止検出モード」にする。
また、動作モードが「初期状態設定モード」、「背景設定モード」、「動き検出モード」及び「停止検出モード」それぞれに場合において、フレーム間差分結果と背景差分結果を記憶部１１に保存してあるそれぞれの履歴データヘ追加する。データの追加においては、履歴データが用意してある保存容量に達した場合、最も過去のデータを新しいデータヘ更新する。
以上が、本実施例に係る作業者安全検査装置における第３型動作制御部２０の処理の流れである。
以上が、本実施例に係る作業者安全検査装置における第３型動作制御部２０の処理の流れである。
本実施例に係る作業者安全検査装置によれば、第１の実施例に係る作業者安全検査装置の効果に加え、各小領域のフレーム間差分結果と背景差分結果の履歴を調べて画像上の変化検出のためのしきい値を調整するため、画像上の局部的な定常変化状態に柔軟に適応したしきい値を設定することができ、環境変化や局部的な定常変化に頑健な作業者安全検査を行うことができる。
本発明の第１の比較例に係る作業者安全検査装置では、画像処理により画像上に動いて入って来た作業者が一定時間以上静止した状態を検出した場合に異常と判断することで、作業者の安全検査を行う。
はじめに、本比較例に係る作業者安全検査装置における作業者安全検査処理の手順について説明する。
本比較例に係る作業者安全検査装置では、図７に示すように、はじめに、ステップＳ２０において、画像を入力する。
次に、ステップＳ２１において、画像上に動いて入って来たものが静止したことを検出するために、まず、画像を図１３中に矢印Ａで示すように格子状の小領域に分割する。なお、例えば、図１３中に矢印Ｂで示す部分が変化を検出した小領域である。
本比較例に係る作業者安全検査装置では、図７に示すように、はじめに、ステップＳ２０において、画像を入力する。
次に、ステップＳ２１において、画像上に動いて入って来たものが静止したことを検出するために、まず、画像を図１３中に矢印Ａで示すように格子状の小領域に分割する。なお、例えば、図１３中に矢印Ｂで示す部分が変化を検出した小領域である。
次に、ステップＳ２２において、各小領域について小領域の状態が変化を検出しない安定状態であるのか、何かが動いている変化状態であるのか、何かが静止している静止状態であるのかの相関計算による小領域状態の検査を行う。
次に、ステップＳ２３において、静止状態である小領域の数（面積に相当する）を調べ、画面上の人物サイズ程度以上の面積に相当する小領域の数が静止状態であった場合は異常と判断することで、屋内施設で作業する作業者の安全の有無を検査する。最後に、ステップＳ２４において、検出結果を出力する。
次に、本比較例に係る作業者安全検査装置の装置構成について説明する。
本比較例に係る作業者安全検査装置は、図７に示すように、監視カメラ１の画像を画像解析することにより屋内作業場所の作業者の安全検査を行うため、監視カメラ１と、第４型画像処理部６と、結果表示部３とにより構成される。
本比較例に係る作業者安全検査装置は、図７に示すように、監視カメラ１の画像を画像解析することにより屋内作業場所の作業者の安全検査を行うため、監視カメラ１と、第４型画像処理部６と、結果表示部３とにより構成される。
監視カメラ１は、屋内作業場所を見渡せる位置に設置し、屋内作業場所を撮影してその画像を第４型画像処理部６へ伝送する。
第４型画像処理部６は、画像入力部１０、記憶部１１、処理設定部１２、相関演算部２１、第４型動作制御部２２、安全検査部１５、結果出力部３により構成される。
画像入力部１０では、設定された時間間隔毎に監視カメラ１の画像を入力し、記憶部１１へ保存する。
第４型画像処理部６は、画像入力部１０、記憶部１１、処理設定部１２、相関演算部２１、第４型動作制御部２２、安全検査部１５、結果出力部３により構成される。
画像入力部１０では、設定された時間間隔毎に監視カメラ１の画像を入力し、記憶部１１へ保存する。
処理設定部１２は、安全検査の判断に必要なパラメータを設定し記憶部１１へ保存する。
相関演算部２１は、入力画像データと一つ前の時間間隔で撮影した入力画像データを記憶部１１から取り出し、入力画像データと一つ前の時間間隔で撮影した入力画像データを適当な小領域に分割し、一つ一つの小領域毎について相関計算を行い（「フレーム間相関」と呼ぶ）、各小領域毎のフレーム間相関結果を記憶部１１へ保存する。
相関演算部２１は、入力画像データと一つ前の時間間隔で撮影した入力画像データを記憶部１１から取り出し、入力画像データと一つ前の時間間隔で撮影した入力画像データを適当な小領域に分割し、一つ一つの小領域毎について相関計算を行い（「フレーム間相関」と呼ぶ）、各小領域毎のフレーム間相関結果を記憶部１１へ保存する。
また、相関演算部２１は、入力画像データと背景画像データを記憶部１１から取り出し、入力画像データと予め記憶しておいた背景画像データを適当な小領域に分割し、一つ一つの小領域毎について相関計算を行い（「背景相関」と呼ぶ）、各小領域毎の背景相関結果を記憶部１１へ保存する。相関演算部２１における相関計算には、屋外光による明るさ変化の影響を考慮して、明るさ変化に頑健な正規化相関計算を行う。
第４型動作制御部２２は、作業者安全検査処理の全体の動作制御を行う。第４型動作制御部２２は、動作モードによって「背景設定モード」、「動き検出モード」及び「停止検出モード」を切り替えて処理を行い、それぞれで小領域状態を設定する。
ここで、本比較例に係る作業者安全検査装置における第４型動作制御部２２の処理の流れについて説明する。
図９に示すように、動作モードが「背景設定モード」の場合、フレーム間相関結果が予め設定しておいたフレーム間相関しきい値よりも大きい場合は、カウンタを増やし、フレーム間相関結果が予め設定しておいたフレーム間相関しきい値以下の場合は、カウンタをクリアする。カウンタが予め設定しておいた値に達すれば、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
図９に示すように、動作モードが「背景設定モード」の場合、フレーム間相関結果が予め設定しておいたフレーム間相関しきい値よりも大きい場合は、カウンタを増やし、フレーム間相関結果が予め設定しておいたフレーム間相関しきい値以下の場合は、カウンタをクリアする。カウンタが予め設定しておいた値に達すれば、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
動作モードが「動き検出モード」の場合、フレーム間相関結果が予め設定しておいたフレーム間相関しきい値よりも大きい場合は、小領域上に変化が無いと判断し、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
また、フレーム間相関結果が予め設定しておいたフレーム間相関しきい値以下の場合は、小領域上に何らかの変化を検出したとして、小領域状態を「変化」にし、動作モードを「停止検出モード」にする。
動作モードが「停止検出モード」の場合、背景相関結果が予め設定しておいた背景相関しきい値よりも大きい場合は、小領域上に変化が無いと判断し、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
また、背景相関結果が予め設定しておいた背景相関しきい値以下の場合で、かつ、フレーム間相関結果が予め設定しておいたフレーム間相関しきい値よりも大きい場合は、小領域上に何かが停止していると判断してカウンタを増やし、動作モードを「停止検出モード」にする。この時、カウンタが予め設定しておいた静止判定フレーム数に達すれば小領域状態を「静止」にする。
さらに、背景相関結果が予め設定しておいた背景相関しきい値以下の場合で、かつ、フレーム間相関結果が予め設定しておいたフレーム間相関しきい値以下の場合は、小領域上に何かが動いていると判断してカウンタをクリアし、小領域状態を「変化」にし、動作モードを「停止検出モード」にする。
以上が、本比較例に係る作業者安全検査装置における第４型動作制御部２２の処理の流れである。
以上が、本比較例に係る作業者安全検査装置における第４型動作制御部２２の処理の流れである。
安全検査部１５は、小領域状態が「静止」になっている小領域の数（以降「静止小領域数」と呼ぶ）を調べ、静止小領域数が予め設定しておいた静止物判定数以上であれば、動いた後停止して動かなくなった何らかの大きな物体があると判断し、異常結果を記憶部１１へ保存する。
結果出力部１６は、異常の有無を第４型画像処理部６から外部へ出力すると共に、画像データ、各小領域の小領域状態を第４型画像処理部６から外部へ出力する。
記憶部１１では、画像データ、各処理変数、カウンタ、結果データ等を保存する。
結果表示部３は、結果出力部１６より画像データと安全検査結果を受け取り、監視カメラ１の撮影した画像と共に安全検査結果を表示する。
記憶部１１では、画像データ、各処理変数、カウンタ、結果データ等を保存する。
結果表示部３は、結果出力部１６より画像データと安全検査結果を受け取り、監視カメラ１の撮影した画像と共に安全検査結果を表示する。
本比較例に係る作業者安全検査装置によれば、一般的なカメラの画像を調べることによって、作業者が一定時間以上静止した状態を検出し異常と判断するため、作業者が転倒や卒倒等の何らかの理由で動かなくなった状態を自動的に検知して異常と判断することができる。
そして、上記特許文献１に比べ、本比較例に係る作業者安全検査装置では、作業者が動いているか静止しているかの状態を画像から検出しているため、作業者が単に屋内施設へ長時間入って作業しているだけではアラームを発生せず、作業者が何らかの理由により静止している状態が続いた場合のみ異常と判断することができる。
上記特許文献２に比べ、本比較例に係る作業者安全検査装置では、人間の体形による領域を検出する方法でなく、画像上の状態によって動きと静止の判断を行うため、人間の体形が識別できる程大きく撮影する必要がなく、ある程度広範囲な屋内作業場所を検査範囲とすることができる。さらに、人間の正面から撮影する必要もないため、作業者の向きを気にすることなくカメラを設置できる。
上記特許文献３に比べ、本比較例に係る作業者安全検査装置では、一般のカメラを入力装置として使用するため、赤外線センサや人口網膜チップといった特殊な装置を用いる必要が無く、既存の監視カメラがあればそれを入力装置として流用することができる。さらに、赤外線センサのように着衣時の温度分布の違いにより検知精度影響されることがない。
また、従来の画像照合装置による方法に比べ、本比較例に係る作業者安全検査装置では、各小領域の状態を明るさ変化に頑健な正規化相関計算の結果を基に検出しているため、屋外光を取り入れる大きな窓があるような屋内作業場所においても、屋外光による照明状況の急激な変化等で誤った異常を検出しない。
また、監視カメラのモニタを監視員が視認する方法に比べ、本比較例に係る作業者安全検査装置では、本装置が常時屋内施設を監視して異常を自動で検査するため、監視員がたまたま見ていなかった時間帯が存在せず、事故発生時には短時間での対処が可能となる。
本発明の第２の比較例に係る作業者安全検査装置では、第１の比較例に係る作業者安全検査装置の第４型画像処理部６において「画像状態検査部１７」を加えると共に、第１の比較例に示した「第４型動作制御部２２」の替わりに「第５型動作制御部２３」を用いた「第５型画像処理部７」により構成する。なお、これら以外の構成については、第１の比較例に係る作業者安全検査装置と同様であるため、ここでの説明は省略する。
図１０に示すように、画像状態検査部１７は、相関演算部２１で計算された各小領域に関するフレーム間相関結果と背景相関結果を画像について集計し、フレーム間相関結果の画像全体における平均値（以降「フレーム間相関画像平均値」と呼ぶ）、及び、背景相関結果の画像全体における平均値（以降「背景相関画像平均値」と呼ぶ）を計算する。
次に、これら平均値からの相関結果の分散を調べ標準偏差を計算し、フレーム間相関結果の標準偏差（以降「フレーム間相関画像標準偏差値」と呼ぶ）、及び、背景相関結果の標準偏差（以降「背景相関画像標準偏差値」と呼ぶ）を求める。
さらに、予め設定しておいた係数とフレーム間相関画像標準偏差値を掛けた値をフレーム間相関画像平均値から差し引くことにより、第５型動作制御部２３で用いるフレーム間相関に関するしきい値（以降「フレーム間相関画像基準しきい値」と呼ぶ）を計算し、また、予め設定しておいた係数と背景相関画像標準偏差値を掛けた値を背景相関画像平均値から差し引くことにより、第５型動作制御部２３で用いる背景相関に関するしきい値（以降「背景相関画像基準しきい値」と呼ぶ）を計算する。これら計算した各値を記憶部１１へ保存する。
第５型動作制御部２３は、第１の比較例の第４型動作制御部２２で用いた各しきい値の替わりに「フレーム間相関画像基準しきい値」及び「背景相関画像基準しきい値」を用いる。このため、第５型動作制御部２３の各モードの動作は次のようになる。
ここで、本比較例に係る作業者安全検査装置における第５型動作制御部２３の処理の流れについて説明する。
図９に示すように、動作モードが「背景設定モード」の場合、フレーム間相関結果がフレーム間相関画像基準しきい値よりも大きい場合は、カウンタを増やし、フレーム間相関結果がフレーム間相関画像基準しきい値以下の場合は、カウンタをクリアする。カウンタが予め設定しておいた値に達すれば、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
図９に示すように、動作モードが「背景設定モード」の場合、フレーム間相関結果がフレーム間相関画像基準しきい値よりも大きい場合は、カウンタを増やし、フレーム間相関結果がフレーム間相関画像基準しきい値以下の場合は、カウンタをクリアする。カウンタが予め設定しておいた値に達すれば、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
動作モードが「動き検出モード」の場合、フレーム間相関結果がフレーム間相関画像基準しきい値よりも大きい場合は、小領域上に変化が無いと判断し、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
また、フレーム間相関結果がフレーム間相関画像基準しきい値以下の場合は、小領域上に何らかの変化を検出したとして、小領域状態を「変化」にし、動作モードを「停止検出モード」にする。
動作モードが「停止検出モード」の場合、背景相関結果が背景相関画像基準しきい値よりも大きい場合は、小領域上に変化が無いと判断し、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
また、背景相関結果が背景相関画像基準しきい値以下の場合で、かつ、フレーム間相関結果がフレーム間相関画像基準しきい値よりも大きい場合は、小領域上に何かが停止していると判断してカウンタを増やし、動作モードを「停止検出モード」にする。この時、カウンタが予め設定しておいた静止判定フレーム数に達すれば小領域状態を「静止」にする。
さらに、背景相関結果が背景相関画像基準しきい値以下の場合で、かつ、フレーム間相関結果がフレーム間相関画像基準しきい値以下の場合は、小領域上に何かが動いていると判断してカウンタをクリアし、小領域状態を「変化」にし、動作モードを「停止検出モード」にする。
以上が、本比較例に係る作業者安全検査装置における第５型動作制御部２３の処理の流れである。
以上が、本比較例に係る作業者安全検査装置における第５型動作制御部２３の処理の流れである。
本比較例に係る作業者安全検査装置によれば、第１の比較例に係る作業者安全検査装置の効果に加え、入力画像の状態を調べて画像上の変化検出のためのしきい値を調整するため、各入力画像の状態に対応したしきい値を設定することができ、環境変化により頑健な作業者安全検査を行うことができる。
本発明の第３の比較例に係る作業者安全検査装置では、第１の比較例に係る作業者安全検査装置の第４型画像処理部６において「定常状態検査部１９」を加えると共に、第１の比較例に示した「第４型動作制御部２２」の替わりに「第６型動作制御部２４」を用いた「第６型画像処理部８」により構成する。
図１１に示すように、定常状態検査部１９は、各小領域についてフレーム間相関結果と背景相関結果の履歴データを集計し、フレーム間相関結果の履歴データにおける平均値（以降「フレーム間相関定常平均値」と呼ぶ）、及び、背景相関の履歴データにおける平均値（以降「背景相関定常平均値」）を計算する。
次に、各小領域の履歴データについてこれらの平均値からの相関結果の分散を調べ標準偏差を計算し、フレーム間相関結果の標準偏差（以降「フレーム間相関定常標準偏差値」と呼ぶ）、及び、背景相関結果の標準偏差（以降「背景相関定常標準偏差値」と呼ぶ）を求める。
さらに、各小領域について、予め設定しておいた係数とフレーム間相関定常標準偏差値を掛けた値をフレーム間相関定常平均値から差し引くことにより第６型動作制御部２４で用いるフレーム間相関に関するしきい値（以降「フレーム間相関定常基準しきい値」と呼ぶ）を計算し、また、各小領域について、予め設定しておいた係数と背景相関定常標準偏差値を掛けた値を背景相関定常平均値から差し引くことにより第６型動作制御部２４で用いる背景相関に関するしきい値（以降「背景相関定常基準しきい値」と呼ぶ）を計算する。これら計算した各値を記憶部１１へ保存する。
第６型動作制御部２４は、第１の比較例で用いた第４型動作制御部２２の各しきい値の替わりに「フレーム間相関定常基準しきい値」及び「背景相関定常基準しきい値」を用いる。また、各相関結果の履歴データを作るための「データ更新」を行う機能を追加すると共に、初期の履歴データを作るための「初期状態設定モード」を設ける。
ここで、本比較例に係る作業者安全検査装置における第６型動作制御部２４の処理の流れについて説明する。
図１２に示すように、動作モードが「初期状態設定モード」の場合、カウンタを増やし、カウンタが予め設定しておいた値に達すれば、小領域状態を「安定」にし、動作モードを「背景設定モード」にする。
図１２に示すように、動作モードが「初期状態設定モード」の場合、カウンタを増やし、カウンタが予め設定しておいた値に達すれば、小領域状態を「安定」にし、動作モードを「背景設定モード」にする。
動作モードが「背景設定モード」の場合、フレーム間相関結果がフレーム間相関定常基準しきい値よりも大きい場合は、カウンタを増やし、フレーム間相関結果がフレーム間相関定常基準しきい値以下の場合は、カウンタをクリアする。カウンタが予め設定しておいた値に達すれば、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
動作モードが「動き検出モード」の場合、フレーム間相関結果がフレーム間相関定常基準しきい値よりも大きい場合は、小領域上に変化が無いと判断し、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
また、フレーム間相関結果がフレーム間相関定常基準しきい値以下の場合は、小領域上に何らかの変化を検出したとして、小領域状態を「変化」にし、動作モードを「停止検出モード」にする。
動作モードが「停止検出モード」の場合、背景相関結果が背景相関定常基準しきい値よりも大きい場合は、小領域上に変化が無いと判断し、この小領域の部分画像を背景画像データに保存し、小領域状態を「安定」にし、動作モードを「動き検出モード」にする。
また、背景相関結果が背景相関定常基準しきい値以下の場合で、かつ、フレーム間相関結果がフレーム間相関定常基準しきい値よりも大きい場合は、小領域上に何かが停止していると判断してカウンタを増やし、動作モードを「停止検出モード」にする。この時、カウンタが予め設定しておいた静止判定フレーム数に達すれば小領域状態を「静止」にする。
さらに、背景相関結果が背景相関定常基準しきい値以下の場合で、かつ、フレーム間相関結果がフレーム間相関定常基準しきい値以下の場合は、小領域上に何かが動いていると判断してカウンタをクリアし、小領域状態を「変化」にし、動作モードを「停止検出モード」にする。
また、動作モードが「初期状態設定モード」、「背景設定モード」、「動き検出モード」及び「停止検出モード」それぞれに場合においてフレーム間相関結果と背景相関結果を記憶部１１に保存してあるそれぞれの履歴データヘ追加する。データの追加においては、履歴データが用意してある保存容量に達した場合、最も過去のデータを新しいデータヘ更新する。
以上が、本比較例に係る作業者安全検査装置における第６型動作制御部２４の処理の流れである。
以上が、本比較例に係る作業者安全検査装置における第６型動作制御部２４の処理の流れである。
本比較例に係る作業者安全検査装置によれば、第１の比較例に係る作業者安全検査装置の効果に加え、各小領域のフレーム間相関結果と背景相関結果の履歴を調べて画像上の変化検出のためのしきい値を調整するため、画像上の局部的な定常変化状態に柔軟に適応したしきい値を設定することができ、環境変化や局部的な定常変化に頑健な作業者安全検査を行うことができる。
本発明は、例えば、屋内施設で作業する作業者の安全を検査する装置に利用することが可能であり、特に屋内作業場所において単独作業を行う作業者が、転倒や卒倒等の何らかの理由で動かなくなった状況を、屋内作業場所に設置された監視カメラの画像により検出する、作業者安全検査装置に利用することが可能である。
１ 監視カメラ
２ 第１型画像処理部
３ 結果表示部
４ 第２型画像処理部
５ 第３型画像処理部
６ 第４型画像処理部
７ 第５型画像処理部
８ 第６型画像処理部
１０ 画像入力部
１１ 記憶部
１２ 処理設定部
１３ 差分演算部
１４ 第１型動作制御部
１５ 安全検査部
１６ 結果出力部
１７ 画像状態検査部
１８ 第２型動作制御部
１９ 定常状態検査部
２０ 第３型動作制御部
２１ 相関演算部
２２ 第４型動作制御部
２３ 第５型動作制御部
２４ 第６型動作制御部
２ 第１型画像処理部
３ 結果表示部
４ 第２型画像処理部
５ 第３型画像処理部
６ 第４型画像処理部
７ 第５型画像処理部
８ 第６型画像処理部
１０ 画像入力部
１１ 記憶部
１２ 処理設定部
１３ 差分演算部
１４ 第１型動作制御部
１５ 安全検査部
１６ 結果出力部
１７ 画像状態検査部
１８ 第２型動作制御部
１９ 定常状態検査部
２０ 第３型動作制御部
２１ 相関演算部
２２ 第４型動作制御部
２３ 第５型動作制御部
２４ 第６型動作制御部
Claims (4)
- 画像を撮像するカメラと、
前記カメラで撮像した画像を差分計算を用いた画像処理により画像上に動いて入って来た対象物が一定時間以上静止した状態を検出した場合に異常と判断する画像処理部と、
前記画像処理部における判断結果を表示する結果表示部と
を備える
作業者の安全検査装置において、
前記画像処理部が、
画像データ、各処理変数、カウンタ、結果データ等を保存する記憶部と、
前記カメラの画像を入力し、前記記憶部へ保存する画像入力部と、
安全検査の判断に必要なパラメータを設定し前記記憶部へ保存する処理設定部と、
入力画像データと一つ前の時間間隔で撮影した入力画像データを前記記憶部から取り出し、前記入力画像データと前記一つ前の時間間隔で撮影した入力画像データを適当な小領域に分割して、一つ一つの小領域毎について差分計算を行い、当該差分計算により算出された値を反転することでフレーム間差分結果を求め、各小領域毎の前記フレーム間差分結果を前記記憶部へ保存し、また、前記入力画像データと予め記憶しておいた背景画像データを前記記憶部から取り出し、その画像を適当な小領域に分割し、一つ一つの小領域毎について差分計算を行い、当該差分計算により算出された値を反転することで背景差分結果を求め、各小領域毎の前記背景差分結果を前記記憶部へ保存する差分演算部と、
前記背景差分結果が、背景差分に関するしきい値以下の場合で、かつ、前記フレーム間差分結果が、フレーム間差分に関するしきい値よりも大きい場合は、小領域上に何かが停止していると判断して予め設定しておいた値に達したときに小領域状態を「静止」とする動作制御部と、
小領域状態が「静止」になっている小領域の数を静止小領域数とし、静止小領域数が予め設定しておいた静止物判定数以上であれば、動いた後停止して動かなくなった何らかの大きな物体があると判断し、異常結果を前記記憶部へ保存する安全検査部と、
異常の有無を前記画像処理部の外部へ出力すると共に、画像データ、各小領域の小領域状態を前記画像処理部の外部へ出力する結果出力部と
を備える
ことを特徴とする作業者安全検査装置。 - 前記背景差分に関するしきい値及び前記フレーム間差分に関するしきい値は、予め設定しておくものであることを特徴とする請求項１に記載の作業者安全検査装置。
- 前記画像処理部は、
前記差分演算部で計算された各小領域に関する前記フレーム間差分結果と前記背景差分結果を画像について集計し、前記フレーム間差分結果の画像全体における平均値としてフレーム間差分画像平均値、及び、前記背景差分結果の画像全体における平均値として背景差分画像平均値を計算し、次に、前記フレーム間差分画像平均値及び前記背景差分画像平均値からの差分結果の分散を調べ標準偏差を計算し、前記フレーム間差分結果の標準偏差としてフレーム間差分画像標準偏差値、及び、前記背景差分結果の標準偏差として背景差分画像標準偏差値を求め、さらに、予め設定しておいた係数と前記フレーム間差分画像標準偏差値を掛けた値を前記フレーム間差分画像平均値から差し引くことにより前記フレーム間差分に関するしきい値を計算し、また、予め設定しておいた係数と前記背景差分画像標準偏差値を掛けた値を前記背景差分画像平均値から差し引くことにより前記背景差分に関するしきい値を計算する画像状態検査部を備える
ことを特徴とする請求項１に記載の作業者安全検査装置。 - 前記画像処理部は、
各小領域について前記フレーム間差分結果と前記背景差分結果の履歴データを集計し、前記フレーム間差分結果の履歴データにおける平均値としてフレーム間差分定常平均値、及び、前記背景差分結果の履歴データにおける平均値として背景差分定常平均値を計算し、次に、各小領域の履歴データについて前記フレーム間差分定常平均値及び前記背景差分定常平均値からの差分結果の分散を調べ標準偏差を計算し、前記フレーム間差分結果の標準偏差としてフレーム間差分定常標準偏差値、及び、前記背景差分結果の標準偏差として背景差分定常標準偏差値を求め、さらに、各小領域について、予め設定しておいた係数と前記フレーム間差分定常標準偏差値を掛けた値を前記フレーム間差分定常平均値から差し引くことにより、前記フレーム間差分に関するしきい値を計算し、また、各小領域について、予め設定しておいた係数と前記背景差分定常標準偏差値を掛けた値を前記背景差分定常平均値から差し引くことにより、前記背景差分に関するしきい値を計算し、前記フレーム間差分に関するしきい値及び前記背景差分に関するしきい値を前記記憶部へ保存する定常状態検査部を備える
ことを特徴とする請求項１に記載の作業者安全検査装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008079564A JP5186973B2 (ja) | 2008-03-26 | 2008-03-26 | 作業者安全検査装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008079564A JP5186973B2 (ja) | 2008-03-26 | 2008-03-26 | 作業者安全検査装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012127550A Division JP5418635B2 (ja) | 2012-06-04 | 2012-06-04 | 作業者安全検査装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009237648A JP2009237648A (ja) | 2009-10-15 |
| JP5186973B2 true JP5186973B2 (ja) | 2013-04-24 |
Family
ID=41251559
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008079564A Expired - Fee Related JP5186973B2 (ja) | 2008-03-26 | 2008-03-26 | 作業者安全検査装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5186973B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7111444B2 (ja) * | 2016-07-11 | 2022-08-02 | 株式会社リコー | 判断部及び工程判断装置及び工程判断方法 |
| JP6872704B2 (ja) | 2017-09-14 | 2021-05-19 | パナソニックＩｐマネジメント株式会社 | 監視カメラシステム及び監視方法 |
| JP6887130B2 (ja) | 2017-09-29 | 2021-06-16 | パナソニックＩｐマネジメント株式会社 | 監視カメラシステム及び監視方法 |
| JP6782826B1 (ja) * | 2019-09-18 | 2020-11-11 | 三菱電機インフォメーションシステムズ株式会社 | 画像判定装置、画像判定方法及び画像判定プログラム |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3941227B2 (ja) * | 1998-05-28 | 2007-07-04 | 松下電工株式会社 | 異常監視装置 |
| JP2004070768A (ja) * | 2002-08-08 | 2004-03-04 | Masahiro Isogai | 事故防止監視システム |
-
2008
- 2008-03-26 JP JP2008079564A patent/JP5186973B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009237648A (ja) | 2009-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3263035B2 (ja) | 呼吸モニタリングの関心領域設定装置および呼吸モニタリングシステム | |
| CN101233541B (zh) | 物体检测装置及电梯的物体检测装置 | |
| US8538063B2 (en) | System and method for ensuring the performance of a video-based fire detection system | |
| JP2009266052A (ja) | 異常行動検知装置 | |
| JP2009014712A (ja) | 物体検出装置とそれを適用したゲート装置 | |
| JP2011162312A (ja) | エレベータ滞留物検出装置 | |
| JP5186973B2 (ja) | 作業者安全検査装置 | |
| JP5418635B2 (ja) | 作業者安全検査装置 | |
| Kreković et al. | A method for real-time detection of human fall from video | |
| US7130468B1 (en) | Method for identifying change of scenery and corresponding monitoring device | |
| EP2587462A1 (en) | Image monitoring system and method with false alarm rate reduction | |
| JP5235718B2 (ja) | 映像監視システム | |
| JP4707019B2 (ja) | 映像監視装置及び方法 | |
| JP5710230B2 (ja) | 監視システムおよび監視方法 | |
| JP5167186B2 (ja) | 煙検出装置 | |
| TW201430721A (zh) | 人員激烈行為偵測方法 | |
| CN103974028A (zh) | 人员激烈行为侦测方法 | |
| CN113611029A (zh) | 监测方法、装置、门禁系统和可读存储介质 | |
| JP7166106B2 (ja) | 設置環境推定装置及びプログラム | |
| JPH05300516A (ja) | 動画処理装置 | |
| JPH04111079A (ja) | 移動体識別装置 | |
| JP2002232870A (ja) | 検知装置及び検知方法 | |
| JP2012118716A (ja) | 画像監視装置 | |
| JP2012048675A (ja) | 画像監視装置 | |
| JP3960712B2 (ja) | 複合型監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101108 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120328 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120403 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120604 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121225 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130107 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160201 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5186973 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |