JP4883415B2

JP4883415B2 - 監視装置及びプログラム

Info

Publication number: JP4883415B2
Application number: JP2007252294A
Authority: JP
Inventors: 諒子豊田
Original assignee: サクサ株式会社
Priority date: 2007-09-27
Filing date: 2007-09-27
Publication date: 2012-02-22
Anticipated expiration: 2027-09-27
Also published as: JP2009086748A

Description

本発明は、移動物体上を移動する人等の移動体の動きを検出して監視する監視装置及びプログラムに関する。

エスカレータや動く歩道等の移動物体上を移動する人等の移動体を、それらに向けて設置した監視カメラにより撮影し、その動きを監視して危険行為や違反行為等を検出する監視装置が広く普及している。また、このような監視装置として、従来、乗客コンベアを監視カメラにより撮影し、その撮影画像を解析処理等して、それを利用する乗客等の安全性を高めた乗客コンベアの安全装置が知られている（特許文献１参照）。

この従来の安全装置では、撮影画像を画像処理して乗客コンベアへの搭乗者数を検知し、かつ搭乗者が多いか少ないかを区別して監視し、搭乗者に音声で最適な搭乗案内を行う等して安全性を高めている。しかしながら、この従来の装置は、監視カメラの撮影画像に基づき具体的に搭乗者の危険行為を認識する手段を備えておらず、乗客コンベア上での危険行為等を認識できずに見逃す恐れがあり、監視精度が充分でないという問題がある。

また、従来、カメラによる撮影画像と基準画像とを比較して撮影画像から人物を切り出すとともに、その人物の移動方向から次のフレームに現れる人物の移動位置を予測し、出現が予測された領域に対してフレーム間の対応付けを行う等して、人物の追跡を行う追跡装置も知られている（特許文献２参照）。

ところが、この従来の追跡装置では、エスカレータを監視するときのように、移動物体上の移動体を監視する場合には、それら両方を切り出し処理してしまう等、移動物体上の移動体を切り出すのが困難であり、追跡（監視）精度が低くなる恐れがある。また、この従来の追跡装置では、撮影画面の全体に生じる移動物体や移動体の個々動きに対して、移動予測領域をフレーム毎に求めるための処理が必要であり、計算量が増加して処理負荷が大きくなる、という問題もある。

これらに対し、従来、自動車に搭載したカメラにより車両の周辺を撮影して、その所定領域の所定のオプティカルフローを抽出し、その方向を監視する等して車両の周辺状況を検知及び監視等する車両用の監視装置も知られている（特許文献３参照）。

しかしながら、この従来の監視装置では、車両周辺という限定された状況での検知であるため、画面内に映る監視領域と監視領域内の監視ベクトルを既知の情報として予め入力できるが、どのような条件下で撮影されるか分からない監視装置においては、予め監視領域や監視ベクトルの情報を入力できない。そのため、この従来の監視装置では、その適用可能範囲が狭く、一般的な監視装置のおかれる各状況には対応できず、オプティカルフロー抽出による監視を適切に実行できない、という問題がある。

ところで、オプティカルフローは、画像中の輝度情報等から移動体の動きを検出し、対象とする移動体の移動の方向や程度等の動きや運動を速度ベクトル（動きベクトル）により表したものである。このオプティカルフローの抽出方法としては、勾配法とブロックマッチング法があり、従来、これらを利用して撮影画像を解析処理し、移動物体上における移動体の動き、例えばエスカレータに搭乗した人の動きに関するオプティカルフローを抽出し、抽出したオプティカルフローに基づいて、エスカレータ上の人の動きを検出して危険行為や違反行為を監視等することも行われている。

図１１は、この従来のオプティカルフローによるエスカレータ上の人の監視方法について説明するための模式図であり、図１１Ａは監視カメラにより撮影した画像を、図１１Ｂはオプティカルフロー処理した画像を、それぞれ概略的に示している。
なお、図１１では、上階に向かって移動（図では上方向に移動）する昇りのエスカレータＥＳの全体を、前方から監視カメラにより撮影した画像例を示している。また、ここでは、エスカレータＥＳのステップＳ上に複数の人Ｐが搭乗するとともに、その中の一人（図１１Ａでは格子状のハッチングで示す）がステップＳ上を上に向かって昇る歩行者Ｐ１（図１１Ａでは、その移動を人影を重ねて表す）である例を示している。

このような撮影画像（監視画像）（図１１Ａ参照）をオプティカルフロー処理して移動体のオプティカルフローを抽出すると、図１１Ｂに示すように、ステップＳや人Ｐ及び歩行者Ｐ１の動きがベクトルＶ、Ｖ１（図の矢印）で表されたオプティカルフロー処理画像が得られる。即ち、このオプティカルフロー処理画像では、エスカレータＥＳのステップＳや、その上を歩行していない通常の状態の人Ｐに対しては、主にステップＳの移動に対応する上向きの一定のベクトルＶ（図の黒矢印）が現れる。ただし、その全体が一定値になるわけではなく、監視カメラに近い下側（搭乗口側）では、画像内での各移動量が相対的に大きくなるためベクトルＶも大きくなり、逆に、監視カメラから遠い上側（降り口）側ではベクトルＶが小さくなる。また、人Ｐが多少動くことでノイズのようなベクトルＶも現れるが、周囲のベクトルＶに比べて大きな差は発生しない。

一方、歩行者Ｐ１の部分には、その移動量や速度に応じた、周囲に比べて大きなベクトルＶ１（図の白抜き矢印）が現れる。そのため、この撮影画像のオプティカルフローと、予め取得した人Ｐが搭乗していない状態のステップＳ等の動きに関するオプティカルフロー処理データ（背景データ）とを比較すれば、歩行者Ｐ１に対応するベクトルＶ１が判別でき、これにより、歩行者Ｐ１の動き（ここでは歩行）を検出することができる。このようにして、エスカレータＥＳ上の人の動き等を検出し、危険行為や違反行為を判定等して監視する。

また、図１２は、従来のオプティカルフローによるエスカレータ上の人の監視方法の他の例について説明するための模式図であり、図１２Ａは監視カメラにより撮影した画像を、図１２Ｂはオプティカルフロー処理した画像を、それぞれ概略的に示している。
なお、図１２は、上記した図１１と同様に、複数の人Ｐが搭乗した昇りのエスカレータＥＳの全体を監視カメラにより撮影した画像例を示している。また、ここでは、ステップＳ上の一人（図１２Ａでは格子状のハッチングで示す）がエスカレータＥＳの手すりＨから外側（図１２Ａでは右側）に身を乗り出した危険行為者Ｐ２である例を示している。

このような撮影画像（図１２Ａ参照）のオプティカルフロー処理画像には、図１２Ｂに示すように、通常の状態のベクトルＶに加えて、背景データではベクトルが現れない手すりＨの外側領域Ｊ１０に、危険行為者Ｐ２に対応するベクトルＶ２（図の白抜き矢印）が現れる。このように、オプティカルフローの背景データではベクトルが零である領域にベクトルＶ２が現れたと判定されたときに、その動き（ここでは身の乗り出し行為）を検出することで、上記と同様に、エスカレータＥＳ上の人の動き等を検出し、危険行為や違反行為を判定等して監視する。

ここで、以上説明したオプティカルフローの抽出を、上記したブロックマッチング法で行う場合には、人等の移動体の大きな動きや回転も検出できる等、移動体の動きに対する検出精度を高めることができる。しかしながら、この方法では、撮影画像を縦横複数のブロックに分割し、所定の時間差をおいて撮影した一方の画像の各ブロックを、それぞれ他方の画像の全てのブロックと比較する等して全探索する必要がある。そのため、ブロックマッチング法による場合には、画像毎のオプティカルフローを抽出するための計算量が非常に多くなり、処理負荷が増加するという問題が発生する。これに対し、オプティカルフローの抽出を上記した勾配法で行う場合には、抽出に必要な計算量を比較的少なくできるものの、移動体の大きな動きに対する精度が低くなる、という問題がある。

特開平９−３０１６６４号公報特開２００３−３４６１５９号公報特開平６−３１４３４０号公報

本発明は、前記従来の問題に鑑みなされたものであって、その目的は、監視装置により移動物体上の移動体を簡易かつ精度よく監視できるようにし、その際の計算量を減少させて処理負荷を軽減させることである。

請求項１の発明は、移動物体上の移動体を監視する監視装置であって、監視カメラで撮影された監視領域の撮影画像を複数のブロックに分割する手段と、前記移動物体又は前記移動物体と該移動物体上で静止した前記移動体の画像である基準撮影画像からオプティカルフローを抽出する手段と、該抽出したオプティカルフローから前記複数のブロック毎のオプティカルフローテーブルを設定する手段と、前記オプティカルフローテーブルに基づいて、時間差をおいた前記撮影画像の複数のブロックから比較すべきブロック同士を決定する手段と、該決定された前記ブロック同士の類似度を算出する手段と、前記撮影画像に対して複数のエリアを設定する手段と、前記複数のブロック毎の前記算出された類似度に基づいて、前記複数のエリア毎に前記移動物体上における前記移動体の動きを監視する手段と、を備えたことを特徴とする。
請求項２の発明は、請求項１に記載された監視装置において、前記監視する手段は、前記算出された類似度と予め定められた該類似度の閾値とを比較する手段と、前記複数のエリア毎に前記算出された類似度が前記閾値よりも低いブロックの数をカウントする手段と、前記複数のエリア毎の前記ブロックのカウント数と予め定められた該エリアのカウント数の閾値とを比較する手段と、該カウント数の比較結果に基づいて、前記移動物体上における前記移動体の動きを検出する手段と、を有することを特徴とする。
請求項３の発明は、監視装置のコンピュータを請求項１又は２に記載された監視装置の各手段として機能させるためのプログラムである。

本発明によれば、監視装置により移動物体上の移動体を簡易かつ精度よく監視でき、その際の計算量を減少させて処理負荷を軽減させることができる。

以下、本発明の監視装置の一実施形態について、図面を参照して説明する。
この監視装置は、例えば所定速度で移動するエスカレータや動く歩道等の移動物体上の人や動物等の移動体を監視するための装置であり、移動物体上における移動体の動きを監視して、その危険行為や違反行為を検出等する。
なお、本実施形態では、上記した従来例（図１１、図１２参照）と同様に、移動物体である昇りのエスカレータ上に搭乗する１又は複数（ここでは複数）の移動体である人を監視する監視装置を例に採り説明する。

図１は、本実施形態の監視装置を含む監視システムの概略構成を示す模式図であり、監視対象であるエスカレータへの設置状態も模式的に示している。
この監視システム１は、図示のように、システム全体の制御装置を兼ねる監視装置１０と、監視装置１０にインターフェース等を介して接続された監視カメラ２、及び警告装置３とを備えている。

監視カメラ２は、監視対象の撮影手段であり、昇り用のエスカレータＥＳの全体を撮影可能な斜め上方に設置され、監視対象であるエスカレータＥＳとその周辺、及びエスカレータＥＳに搭乗した人Ｐを含む監視領域の画像を前方側から撮影する。この監視カメラ２は、市販のデジタルカメラやデジタルビデオカメラ等の監視に使用されるカメラであり、監視装置１０により制御されてエスカレータＥＳ等の画像を所定の間隔やタイミング等で撮影し、監視領域の撮影画像を監視装置１０に出力して送信する。

警告装置３は、監視装置１０により制御されて、後述するエスカレータＥＳに搭乗する人Ｐの危険行為や違反行為を検出等したときに、エスカレータＥＳ上の人Ｐやその周囲に対して、例えばアラームや音声、又は警告灯等の可聴又は可視警報を発生して警告するためのものである。ここでは、警告装置３は、エスカレータＥＳに向かって配置されたアラーム発生装置であり、監視装置１０からの制御信号（警告発生指令）を受信したときに、エスカレータＥＳに向かって警告アラームを発生する。

監視装置１０は、ＣＰＵ（Central Processing Unit）１１と、ＣＰＵ１１の処理のためのプログラムやデータ等を一時的に記憶しておくためのＲＡＭ（Random Access Memory）１２及び、ＣＰＵ１１を駆動して演算や処理等を実行させるためのプログラム等を格納したＲＯＭ（Read Only Memory）１３等の各種メモリを備えたコンピュータ等から構成され、接続された装置各部を制御して監視のための動作等を実行させる。また、監視装置１０は、監視プログラム等の所定のプログラムや予め設定された条件等に基づいて、監視カメラ２から受信した撮影画像を画像処理や解析等し、監視に必要な各種処理を実行する画像処理装置や監視処理装置でもある。

図２は、この監視装置１０の概略構成を示す機能ブロック図である。
監視装置１０は、図示のように、監視カメラ２や警告装置３等の外部機器が接続されるインターフェース部２１と、システム全体の制御を行う制御部２２に加えて、入力部２３、表示部２４、背景データ設定部２５、画像処理部２６及び、上記した制御（監視）処理や画像処理等に必要な各種プログラムの他に、撮影画像や処理画像等の画像データ２７Ａを含む各種データを記憶する記憶部２７を備え、これら各部（手段）２１〜２７を互いにバス２９を介して接続している。

入力部２３は、監視装置１０に対する指示や操作、或いは後述する各種閾値の設定や更新等、画像処理や監視に必要な設定データを含む各種データ等を入力するための、例えばマウスやキーボード又はタッチパネル等である。表示部２４は、入力部２３を介して入力されたデータや監視カメラ２による撮影画像、又は各種処理後の処理画像等を表示するためのモニタ等の表示手段であり、エスカレータＥＳの監視や設定データの入力時等に使用される。

背景データ設定部２５は、後述するエスカレータＥＳ上の人Ｐの動きを検出等する監視処理に必要な基準となる背景データを設定するための手段であり、オプティカルフロー抽出部２５Ａとオプティカルフローテーブル設定部２５Ｂとからなり、これらにより、比較する撮影画像同士の比較すべき領域（ここではブロック）を決定等するための背景データを作成する。

図３は、この背景データの設定について説明するための模式図であり、上記した図１１と同様に、図３Ａは監視カメラ２（図１参照）により撮影された画像を、図３Ｂはオプティカルフロー処理した画像を、それぞれ概略的に示している。
ここで、移動するエスカレータＥＳ上の人Ｐの動きを検出して監視等する場合には、個々の人Ｐの厳密な動きベクトルを検出して把握する必要はなく、所定速度及び方向に移動するエスカレータＥＳのステップＳや手すりＨ等の背景の動きを考慮し、それ以外の動きを検出すればよい。そのため、本実施形態では、予め基準となるエスカレータＥＳ等のオプティカルフローを取得して、オプティカルフローの背景データテーブルであるオプティカルフローテーブルを作成し、これを基に推定されるフロー位置でのみブロックマッチングを行うようにしている。

具体的には、予め基準画像として、エスカレータＥＳに人Ｐがいない状態、又は人Ｐが歩行や危険行為、或いは違反行為等なく乗っている通常状態の画像、つまり人Ｐが静止して乗っている通常状態の画像を、監視カメラ２により所定の時間差をおいて複数撮影する。このようにエスカレータＥＳ、又はエスカレータＥＳと人Ｐの基準撮影画像を取得するが、ここでは、図３Ａに示すように、複数の人ＰがエスカレータＥＳに搭乗した状態の基準撮影画像を取得する。

この基準撮影画像から、オプティカルフロー抽出部２５Ａにより、画像内の各部の動きベクトルＶ（図３Ｂ参照）をブロックマッチング法等により求めて基準となるオプティカルフローを抽出する。また、抽出したオプティカルフローから、オプティカルフローテーブル設定部２５Ｂにより、オプティカルフローの背景データテーブル（オプティカルフローテーブル）を作成する。その際、この監視装置１０では、画像処理部２６のブロック分割部２６Ａにより、監視カメラ２で撮影された撮影画像を複数のブロックに分割し、これら複数のブロック毎のオプティカルフローテーブルを設定する。

図４は、このオプティカルフローテーブルの設定について説明するための模式図である。
ブロック分割部２６Ａは、図４Ａに示すように、監視領域の撮影画像Ｇを縦横（Ｘ−Ｙ方向）に所定数ずつの画素からなるブロックＢに分割して、撮影画像Ｇの全体を複数のブロックＢに区画する。このように分割した複数のブロックＢに、前記抽出したオプティカルフローのベクトルＶ（図３Ｂ参照）を対応させ、ブロックＢ毎の各ベクトルを算出して、図４Ｂに示すように、オプティカルフローテーブルＴを設定する。

なお、図４Ｂでは、撮影画像ＧのオプティカルフローテーブルＴの一部を抜き出して、かつ、各ブロックＢ毎に設定したベクトルＷの方向や長さを模式的に示している。また、ここでは、オプティカルフローテーブルＴを、説明のため視覚的に示すが、実際には、設定されるオプティカルフローテーブルＴは、ブロックＢに対応したベクトルに関するデータであり、それぞれブロックＢと対応付けられて記憶部２７のオプティカルフローテーブル２７Ｂに記憶される。更に、図示の例では、オプティカルフローは、現在の撮影画像Ｇ（フレーム）から所定の時間差をつけて撮影された一つ前の撮影画像Ｇへのベクトル方向を表しており、実際の移動方向を示すベクトルＶ（図３Ｂ参照）とは逆向きのベクトルＷになっている。

図５は、このように設定されたオプティカルフローテーブルＴについて説明するための模式図である。
このオプティカルフローテーブルＴは、図示のように、現在の撮影画像の各ブロックＢが一つ前の撮影画像では、どの方向及び位置にあるブロックＢに対応するかを、それぞれＸ方向及びＹ方向の成分からなるベクトルＷにより表している。

具体的には、オプティカルフローテーブルＴの一箇所のブロックＢ１（図の格子状のハッチング領域）に着目すると、同位置のベクトルＷは左斜め下方向を向いている。従って、現在の撮影画像Ｇ１の同位置のブロックＢ１は、一つ前の撮影画像Ｇ２では、ベクトルＷが示す方向及び長さ等に応じて、左斜め下方向に隣接するブロックＢ２に対応する。即ち、この撮影画像Ｇ２のブロックＢ２内のものは、一つ後の撮影画像Ｇ１のブロックＢ１に移動すると推測され、それら各ブロックＢ１、Ｂ２には、基本的に同じか又は対応するものが撮影されることになる。これを利用して、本実施形態の監視装置１０は、このように予め設定したオプティカルフローテーブルＴに基づいて、画像処理部２６（図２参照）により、両画像Ｇ１、Ｇ２のブロックＢの比較を所定の対応するブロックＢ１、Ｂ２同士のみで各々行う等して画像処理負荷の軽減等を図っている。次に、この画像処理部２６について、詳細に説明する。

画像処理部２６は、上記したブロック分割部２６Ａに加えて、比較ブロック決定部２６Ｂ、類似度算出部２６Ｃ、類似度比較部２６Ｄ、カウント部２６Ｅ、カウント数比較部２６Ｆ、及び判定・検出部２６Ｇを有する。

比較ブロック決定部２６Ｂは、オプティカルフローテーブルＴに基づいて、所定の時間差をおいて撮影された撮影画像Ｇの複数のブロックＢから比較すべきブロックＢ同士を決定する。その際、比較ブロック決定部２６Ｂは、上記した記憶部２７のオプティカルフローテーブル２７Ｂに記憶されたデータから、予め設定された所定のオプティカルフローテーブルＴを読み出し、そのベクトルＷに関するデータ等に基づき、両画像Ｇの比較すべきブロックＢ同士を推測して決定する。

図６は、この比較すべきブロックＢ同士の決定について説明するための模式図であり、上から順に新しい撮影画像Ｇを示している。また、図では、各撮影画像Ｇを模式的に複数のブロックＢで表し、各ブロックＢ内にオプティカルフローテーブルＴから取得した各ブロックＢのベクトルＷも示している。
比較ブロック決定部２６Ｂは、上記した図５を用いて説明したのと同様にして、ブロック分割部２６Ａにより複数のブロックＢ（図４Ａ参照）に分割された２つの撮影画像Ｇの比較すべきブロックＢ同士を推定する。

具体的には、図示のように、例えば時刻ｔにおける撮影画像Ｇ（ｔ）でブロックＢ１０にいた人Ｐ等の物体は、その位置のベクトルＷ１０から、一つ前の時刻ｔ−１では、そのときの撮影画像Ｇ（ｔ−１）内でブロックＢ１１の位置にあったと推測される。同様に、撮影画像Ｇ（ｔ）でのブロックＢ２０に対応するのは、その位置のベクトルＷ２０から、時刻ｔ−１の撮影画像Ｇ（ｔ−１）でのブロックＢ２１となる。なお、以上と同様に、時刻ｔ−１における撮影画像Ｇ（ｔ−１）でのブロックＢ１１及びブロックＢ２１に対応するのは、それぞれ一つ前の時刻ｔ−２の撮影画像Ｇ（ｔ−２）でのブロックＢ１２及びブロックＢ２２となる。また、時刻ｔ−２における撮影画像Ｇ（ｔ−２）でのブロックＢ１２及びブロック２２に対応するのは、それぞれ更に一つ前の時刻ｔ−３の撮影画像でのブロックＢ１３及びブロックＢ２３となる。

比較ブロック決定部２６Ｂは、このようにして、オプティカルフローテーブルＴのブロックＢ毎のベクトルＷから、所定の時間差を有する撮影画像Ｇの複数のブロックＢ全体を対象に、それぞれ対応するブロック位置（フロー位置）を推測して両画像Ｇの比較すべきブロックＢ同士を決定する。画像処理部２６（図２参照）は、この比較ブロック決定部２６Ｂの決定に基づき、類似度算出部２６Ｃにより、取得した現在の撮影画像Ｇ（ｔ）と、その一つ前の撮影画像Ｇ（ｔ−１）から、それぞれ決定されたブロックＢ同士の類似度を算出する。

類似度算出部２６Ｃは、一方の撮影画像Ｇ（ｔ）の各ブロックＢを、それぞれ他方の撮影画像Ｇ（ｔ−１）の対応するブロックＢと比較等して類似度を算出する手段であり、撮影画像Ｇ（ｔ）の複数のブロックＢの全体に亘って各類似度を順次算出する。即ち、類似度算出部２６Ｃは、現在のブロックＢと、そのブロック位置のオプティカルフローテーブルＴのデータより、そのブロックＢ内のものが一つ前の撮影画像Ｇ（ｔ−１）内で存在したであろう位置のブロックＢとを探索する。このように、ブロックＢ同士の類似度を、それぞれオプティカルフローテーブルＴをもとに推測されるフロー位置でのみ各々算出する。その際、ここでは、比較すべき両ブロックＢでブロックマッチングを行い、その類似度を算出して取得する。

ここで、ブロックＢ同士の類似度の算出方法について、一般的な画素値の差分絶対値の和を算出するＳＡＤ（Sum of Absolute Difference）を例に説明する。まず、撮影画像Ｇの画面全体の画素数をＭ×Ｎ画素、抽出する各ブロックＢをｍ×ｎ画素とすると、画面全体ではＭ／ｍ×Ｎ／ｎ個のブロックＢができる。これら各ブロックＢに対してブロックマッチングを行う場合に、時刻ｔと、それよりも所定時間前の時刻ｔ−１の撮影画像Ｇの対応するブロックＢ同士のマッチング係数Ｒは、次の式（数１）で表される。

この式で、Ｉ_ｔは時刻ｔでの各画素の階調値（例えば輝度値）、Ｉ_ｔ−１は時刻ｔ−１での各画素の階調値であり、ｘ_ｉ，ｙ_ｊは、対象とするブロックＢ内にある各画素の同ブロック内での座標である。このように表されるマッチング係数Ｒは、小さいほどブロックＢ間の類似度が高く、逆に大きいほどブロックＢ間の類似度が低くなる。

本実施形態の画像処理部２６は、このように複数のブロックＢ毎の算出された類似度に基づいて、その全体的な高低や撮影画像Ｇ内での高低の分布等から、移動するエスカレータＥＳ上における人Ｐの動きを監視する。具体的には、ここでは、この監視するための手段を、上記した類似度比較部２６Ｄ、カウント部２６Ｅ、カウント数比較部２６Ｆ、及び判定・検出部２６Ｇにより構成している。

類似度比較部２６Ｄは、類似度算出部２６Ｃにより算出されたブロックＢ間の各類似度を閾値処理するための手段であり、算出された類似度と予め定められた類似度の閾値とを順次比較する。これにより、類似度比較部２６Ｄは、現在の撮影画像Ｇの複数のブロックＢから、所定時間前の対応するブロックＢと同一とみなせないブロックＢを判別し、エスカレータＥＳによる動き以外のイレギュラーな動きを示すブロックＢを抽出する。

図７は、このブロックＢの類似度の閾値処理によるブロックＢの抽出について説明するための模式図であり、各撮影画像Ｇ等を上記した図６に対応して同様に示している。
また、図では、時刻ｔにおける撮影画像Ｇ（ｔ）の１つのブロックＢ１１と、それに対応する時刻ｔ−１における撮影画像Ｇ（ｔ−１）のブロックＢ１２とでブロックマッチングを行う例を示している。

類似度比較部２６Ｄは、図示のように、両ブロックＢ１１、Ｂ１２間の類似度の閾値処理を行い、類似度が所定の閾値よりも低く２つのブロックＢ１１、Ｂ１２が似ていないと判断されたときには、撮影画像Ｇ（ｔ）のブロックＢ１１を、違反行為や危険行為がなされたブロック候補として抽出する。同様にして、類似度比較部２６Ｄは、撮影画像Ｇ（ｔ）の全てのブロックＢに対して閾値処理により抽出するか否かの判定を行う。

なお、この類似度の閾値は、監視開始前に、ユーザ等により入力部２３（図２参照）を介して入力されて予め設定され、記憶部２７の設定データ２７Ｃに記憶されて、監視時に、類似度比較部２６Ｄにより読み出されて使用される。また、この閾値は、監視領域の各状況等に応じて適宜設定される。その際、例えばブロックＢが４×４画素の計１６画素からなるときに、その階調値が０〜２５５までの値をとる場合には、上記したマッチング係数Ｒは０〜４０８０までの値をとり得る。通常、各階調値の差が２０以上あると同一色とみなせないときには、ブロックＢ内の合計値は２０×１６＝３２０となるので、マッチング係数Ｒの閾値を３２０と設定する。この場合には、類似度を示すマッチング係数Ｒが３２０以上になったときに、そのブロックＢの類似度が所定の類似度の閾値よりも低いとして抽出される。

図８は、以上のようにして類似度が低いブロックＢを抽出した画像の例を示す模式図であり、上記した図１１に示すエスカレータＥＳのステップＳ上を昇る歩行者Ｐ１がいる状態の撮影画像Ｇから、類似度が閾値よりも低いブロックＢを抽出した例を示している。
この撮影画像Ｇでは、図示のように、歩行者Ｐ１が位置する領域Ｊ１（図の斜線で示す領域）内で画像の変化が大きくなるため、その中のブロックＢの類似度が低くなり、違反行為や危険行為等の動きがあるブロックＢとして判定されて抽出される。

画像処理部２６は、この類似度比較部２６Ｄによる比較結果から、算出された類似度が所定の閾値よりも低いブロックＢの数をカウント部２６Ｅ（図２参照）によりカウントし、撮影画像Ｇ内のイレギュラーなベクトルをもつブロックＢの数を集計する。また、画像処理部２６は、カウント数比較部２６Ｆにより、カウント部２６ＥによるブロックＢのカウント数（類似度が低いブロックＢの数）と予め定められたカウント数の閾値とを比較する。更に、画像処理部２６は、このカウント数の比較結果に基づいて、判定・検出部２６Ｇにより、エスカレータＥＳ上における人Ｐの動きを検出し、カウント数が閾値を超えた場合に、エスカレータＥＳ上で違反行為や危険行為が起きている等と判定する。加えて、判定・検出部２６Ｇの判定結果に応じて、例えばインターフェース部２１を介して警告装置３を作動させ、エスカレータＥＳに向かって警告アラームを発生等させる。

その際、判定・検出部２６Ｇは、抽出されたブロックＢ（図８参照）のカウント数から、警告が必要な行為が行われているか否かを判定するが、単純にカウント数が撮影画像Ｇ全体のブロックＢの数の所定割合（例えば５０％）以上であるときに警告したり、或いは監視時刻等に応じて異なる基準（閾値）で判定して警告等してもよい。このように、カウント数の閾値は、監視状況等に応じて適宜設定され、予め記憶部２７の設定データ２７Ｃに記憶される。ただし、実際には、エスカレータＥＳ上で人Ｐは多少動き、それらに対応するブロックＢがノイズのように抽出されるため、カウント数の閾値は、予め通常動作時におけるノイズ分に相当するブロック数をノイズ量として検出し、それらを含めてノイズ量以上に設定する。

次に、以上説明した監視システム１及び監視装置１０（図１参照）によりエスカレータＥＳ上の人Ｐ等を監視する手順や動作等について説明する。
図９は、この監視システム１及び監視装置１０の監視処理や動作に関する手順を示すフローチャートである。

監視開始に先だち、図示のように、まず、監視カメラ２によりエスカレータＥＳ等の基準画像を撮影して取得し、この基準撮影画像から、背景データ設定部２５のオプティカルフロー抽出部２５Ａによりオプティカルフロー（図３参照）を抽出する（Ｓ１０１）。続いて、オプティカルフローテーブル設定部２５Ｂにより、抽出したオプティカルフローから、ブロック分割部２６Ａにより分割された複数のブロックＢ毎のオプティカルフローテーブルＴ（図４参照）を作成し（Ｓ１０２）、背景データとして設定して、記憶部２７のオプティカルフローテーブル２７Ｂに記憶する。また、エスカレータＥＳの通常動作時の撮影画像Ｇを、画像処理部２６により画像処理又は解析処理して、その状態における上記したノイズ量等を検出するとともに、それらを基にして決定及び設定されたブロックＢの類似度（ここではマッチング係数Ｒ）の閾値ＴＨ１及び、前記カウント数の閾値ＴＨ２を設定データ２７Ｃに記憶する（Ｓ１０３）。

監視開始後は、まず、監視カメラ２により所定時間毎にエスカレータＥＳを含む画像を撮影する等して、監視領域の所定の時間差をおいた撮影画像Ｇを順次取得し（Ｓ１０４）、画像データ２７Ａに記憶する。次に、これら撮影画像Ｇから、オプティカルフローテーブルＴを使用した比較ブロック決定部２６Ｂの決定に基づき、類似度算出部２６Ｃにより、現在の撮影画像Ｇの各ブロックＢに対して、それぞれ一つ前の撮影画像Ｇの比較すべきブロックＢとのブロックマッチング（図７参照）を行う。これにより、ここでは、現在の撮影画像Ｇの各ブロックＢの類似度としてマッチング係数Ｒを算出し（Ｓ１０５）、各ブロックＢのマッチング係数Ｒを取得して、それらに基づいてエスカレータＥＳ上における人Ｐの動きを監視等する。

具体的には、本実施形態では、まず、各ブロックＢの類似度を表す算出されたマッチング係数Ｒを、類似度比較部２６Ｄにより、予め設定された閾値ＴＨ１と比較し、マッチング係数Ｒが閾値ＴＨ１以上か否かを判定する（Ｓ１０６）。その結果、マッチング係数Ｒが閾値ＴＨ１よりも小さいときには（Ｓ１０６、ＮＯ）、撮影画像Ｇの全てのブロックＢに対する処理が終了したか否かを判定し（Ｓ１０９）、未終了の場合（Ｓ１０９、ＮＯ）には次のブロックＢに移り（Ｓ１１２）、そのブロックＢのマッチング係数Ｒを算出する（Ｓ１０５）。一方、マッチング係数Ｒが閾値ＴＨ１以上であり、ブロックＢの類似度が所定の閾値よりも低いときには（Ｓ１０６、ＹＥＳ）、そのブロックＢを、ここでは違反行為ブロック候補としてカウント部２６Ｅによりカウントする（Ｓ１０７）。

次に、このブロックＢのカウント数を、カウント数比較部２６Ｆが、予め定められたカウント数の閾値ＴＨ２と比較する。その結果、ここでは違反行為ブロックＢの割合が閾値ＴＨ２以上であるときに（Ｓ１０８、ＹＥＳ）、判定・検出部２６Ｇにより、エスカレータＥＳ上で違反行為がなされていると判定する等して人Ｐの動きを検出し（図８参照）、警告装置３により警告アラームを発する（Ｓ１１１）。これに対し、違反行為ブロックＢの割合が閾値ＴＨ２よりも小さいときには（Ｓ１０８、ＮＯ）、全てのブロックＢの処理が終了したか否かを判定し（Ｓ１０９）、未終了の場合（Ｓ１０９、ＮＯ）には次のブロックＢに移り（Ｓ１１２）、以上の各処理等を、全てのブロックＢの処理が終了（Ｓ１０９、ＹＥＳ）するまで繰り返す。このように、１つの撮影画像Ｇの全ブロックＢの処理が終了したら（Ｓ１０９、ＹＥＳ）、次の時刻の撮影画像の処理に進み（Ｓ１１０）、その画像を取得（Ｓ１０４）して上記各手順を繰り返し、エスカレータＥＳ上の人Ｐの監視を連続して、又は所定時間間隔等で行う。

以上説明した監視処理時に、この監視装置１０では、撮影画像Ｇ毎にオプティカルフローを都度算出せずに、予め設定されたオプティカルフローテーブルＴに基づいて、それにより推測されるフロー位置でのみブロックマッチングを行う等して各ブロックＢの類似度を算出し、それを基に監視処理を実行する。そのため、この監視装置１０では、監視精度を維持しつつ、少ない計算量でエスカレータＥＳ上での人Ｐの動き等を比較的正確に検出することができる。これに伴い、エスカレータＥＳ上で歩く人Ｐ等の歩行者や、手すりから外側に身を乗り出す人Ｐがいるとき等、エスカレータＥＳ上での違反行為や危険行為等を、簡易かつ処理負荷の小さい画像処理により検出でき、エスカレータＥＳの安全性を向上させることもできる。従って、本実施形態によれば、監視装置１０により移動物体上の移動体を簡易かつ精度よく監視でき、その際の計算量を減少させて監視のための処理負荷を軽減させることができる。

ここで、本実施形態では、撮影画像Ｇの全体をブロックＢに分割して類似度等を算出したが、撮影画像Ｇの設定された一部のエリアをブロックＢに分割して、そのエリアのみを監視する等、撮影画像Ｇの一部を監視等するようにしてもよい。また、上記した所定の閾値よりも類似度が低いブロックＢのカウントは、撮影画像Ｇ全体で行ってもよく、撮影画像Ｇを複数のエリアに区画してエリア毎にカウントし、各エリアに対して設定された各々の異なるカウント数の閾値と比較等するようにしてもよい。

図１０は、この撮影画像Ｇに対するエリアの設定例を示す模式図である。
ここでは、図示のように、撮影画像Ｇを、エスカレータＥＳの全体とその周辺（手すりＨ付近）を含む中央側エリアＫ１及び、その両外側に位置する外側エリアＫ２に区画して分割し、撮影画像Ｇに複数のエリアＫ１、Ｋ２を設定している。

これにより、各エリアＫ１、Ｋ２の状況に応じて、人Ｐの動きによりノイズが発生しやすい中央側エリアＫ１ではブロックＢのカウント数の閾値を高く設定し、逆に、通常は動きのない領域である外側エリアＫ２では閾値を低く設定する等して、エリアＫ１、Ｋ２毎に適切な監視を行うことができる。その際、例えば通常動作で生じるカウント数のノイズ量が、中央側エリアＫ１では、その中のブロックＢの数の２５％程度、外側エリアＫ２では、その中のブロックＢの数の８％程度である場合には、各カウント数の閾値を、中央側エリアＫ１ではエリア内のブロック数の３０％、外側エリアＫ２ではエリア内のブロック数の１０％等と設定する。このようにすることで、手すりＨから身を乗り出して外側エリアＫ２内に人Ｐ（図１２参照）が入ったとき等、想定外の又は危険度の大きい行為や動き等を正確かつ確実に検出でき、検出精度を高めることができる。

なお、この場合には、監視装置１０の画像処理部２６（図２参照）等に、撮影画像Ｇに対して複数のエリアを設定する手段を設け、これにより予め設定された複数のエリア毎にエスカレータＥＳ上における人Ｐの動きを監視等する。また、カウント部２６Ｅにより、算出された類似度が閾値よりも低いブロックＢの数を複数のエリア毎にカウントし、カウント数比較部２６Ｆにより、複数のエリア毎のブロックＢのカウント数と、エリア毎に予め定められたカウント数の閾値のうち、対応するエリアのカウント数の閾値とを比較する。

以上、エスカレータＥＳを監視する装置を例に採り説明したが、本発明は、動く歩道やコンベア等、オプティカルフローテーブルＴを設定可能な他の移動物体上の移動体を監視する装置に適用することもできる。また、本発明は、監視装置１０のコンピュータを、上記した監視装置１０の各手段として機能させるためのプログラムとしても実現することができる。

本実施形態の監視装置を含む監視システムの概略構成を示す模式図である。本実施形態の監視装置の概略構成を示す機能ブロック図である。背景データの設定について説明するための模式図である。オプティカルフローテーブルの設定について説明するための模式図である。オプティカルフローテーブルについて説明するための模式図である。比較すべきブロック同士の決定について説明するための模式図である。ブロックの類似度の閾値処理によるブロックの抽出について説明するための模式図である。類似度が低いブロックを抽出した画像の例を示す模式図である。本実施形態の監視システム及び監視装置の監視処理や動作に関する手順を示すフローチャートである。撮影画像に対するエリアの設定例を示す模式図である。従来のオプティカルフローによるエスカレータ上の人の監視方法について説明するための模式図である。従来のオプティカルフローによるエスカレータ上の人の監視方法の他の例について説明するための模式図である。

符号の説明

１・・・監視システム、２・・・監視カメラ、３・・・警告装置、１０・・・監視装置、１１・・・ＣＰＵ、１２・・・ＲＡＭ、１３・・・ＲＯＭ、２１・・・インターフェース部、２２・・・制御部、２３・・・入力部、２４・・・表示部、２５・・・背景データ設定部、２５Ａ・・・オプティカルフロー抽出部、２５Ｂ・・・オプティカルフローテーブル設定部、２６・・・画像処理部、２６Ａ・・・ブロック分割部、２６Ｂ・・・比較ブロック決定部、２６Ｃ・・・類似度算出部、２６Ｄ・・・類似度比較部、２６Ｅ・・・カウント部、２６Ｆ・・・カウント数比較部、２６Ｇ・・・判定・検出部、２７・・・記憶部、２７Ａ・・・画像データ、２７Ｂ・・・オプティカルフローテーブル、２７Ｃ・・・設定データ、２９・・・バス、Ｂ・・・ブロック、Ｇ・・・撮影画像、ＥＳ・・・エスカレータ、Ｐ・・・人、Ｓ・・・ステップ、Ｔ・・・オプティカルフローテーブル、Ｈ・・・手すり、Ｖ・・・ベクトル。

Claims

移動物体上の移動体を監視する監視装置であって、
監視カメラで撮影された監視領域の撮影画像を複数のブロックに分割する手段と、
前記移動物体又は前記移動物体と該移動物体上で静止した前記移動体の画像である基準撮影画像からオプティカルフローを抽出する手段と、
該抽出したオプティカルフローから前記複数のブロック毎のオプティカルフローテーブルを設定する手段と、
前記オプティカルフローテーブルに基づいて、時間差をおいた前記撮影画像の複数のブロックから比較すべきブロック同士を決定する手段と、
該決定された前記ブロック同士の類似度を算出する手段と、
前記撮影画像に対して複数のエリアを設定する手段と、
前記複数のブロック毎の前記算出された類似度に基づいて、前記複数のエリア毎に前記移動物体上における前記移動体の動きを監視する手段と、
を備えたことを特徴とする監視装置。
請求項１に記載された監視装置において、
前記監視する手段は、前記算出された類似度と予め定められた該類似度の閾値とを比較する手段と、前記複数のエリア毎に前記算出された類似度が前記閾値よりも低いブロックの数をカウントする手段と、前記複数のエリア毎の前記ブロックのカウント数と予め定められた該エリアのカウント数の閾値とを比較する手段と、該カウント数の比較結果に基づいて、前記移動物体上における前記移動体の動きを検出する手段と、を有することを特徴とする監視装置。
監視装置のコンピュータを請求項１又は２に記載された監視装置の各手段として機能させるためのプログラム。