JP4663767B2 - 画像監視システム - Google Patents

Description

本発明は、監視領域の画像によって異常を検知する画像監視システムに関する。

監視・セキュリティシステムでは、近年、監視領域における不審人物を発見するためや、侵入区域における侵入者を発見するために、画像認識技術が適用されている。従来、画像認識技術は郵便区分機やファクトリー・オートメーションなどの分野で実用化されている。これらの分野では検知対象が限定されていたり、照明条件が安定したりしており、比較的画像認識処理が動作しやすい環境であった。ところが、監視システムのように一般環境下で画像認識処理を行う場合、様々な外乱が発生し、人物の検知能力や異常動作の認識性能が低下する。例えば、カメラ視野内に生じる照明変動によって、本来正常歩行している人物のシーンにおいて、異常動作が発生したと誤認識する場合がある。このような場合には、必要な画像処理領域だけをマスク設定して、その他の領域は処理を行わないことにより、画像認識性能の劣化を避けている。

画像処理領域を設定する一方法は、マウスで処理エリアを設定する方法である。例えば、特開２００４−９７３８３号公報（特許文献１）に記載されている技術では、画像処理する領域を、規定サイズの矩形を配置するアイコンで選択し、配置した領域をマウスによってドラッグすることにより大きさと位置を変更する。

また、特開２０００−２７２８６３号公報（特許文献２）に記載されている技術では、乗客コンベアの監視装置において、監視画像から画像処理によって踏み段の走行領域を抽出し、その領域の大きさと位置を基にして監視のための検出領域の位置と大きさを設定する。

また、特開２００１−１４５０９２号公報（特許文献３）に記載されている技術では、監視エリアに等間隔に設置された３点のマーカーを画像処理によって検出し、設置したカメラのカメラパラメータの情報とから３点のマーカーを結ぶ直線と、この直線に平行で、かつ一定間隔の平行線とで囲まれた範囲を監視エリアとして設定する。

特開２００４−９７３８３号公報 特開２０００−２７２８６３号公報 特開２００１−１４５０９２号公報

特許文献４に記載の技術の場合は、あらかじめ頻繁に使用する領域サイズをアイコンボタンに登録してあり、配置したあとにマウスのドラッグ操作で処理領域の位置と形状を変更する。また特許文献２に記載の技術の場合は、画像処理によって既設の構造物の領域を自動的に検出して、これに隣接した処理領域を自動的に設定する。しかし、これらの技術は共通して、設定した領域が所望の位置，形状，大きさを満たしていなければ、設定した領域を補正する必要がある。

例えば、初期設定した領域形状を補正するために領域の頂点をマウスでドラッグして形状と位置と大きさを変更する場合、設定領域内に画像認識に不要な背景画像が入ることを防ぐために、領域の頂点をマウスで正確に移動させる必要がある。保守員が保守ツールを使ってこのような領域補正を行う場合、監視現場において保守ツールを手持ちしなければならない状況などでは、マウスなどの外部入力インターフェースを使うことができず、例えばノートパソコンなどのタッチパッドを用いて領域設定しなければならない。この場合、領域の頂点を正確に移動させる操作には操作者の集中力が要求され、メンテナンスする監視エリアが多くなるほど、作業効率が低下する。

このような問題点を軽減するために、特許文献３に記載の技術の場合は、規定の条件で設置されたマーカーを画像処理によって検出し、その検出結果に基づいて処理領域を設定する。しかし、この場合においても、既設マーカーの検出結果に基づく設定領域が所望の位置や形状を満たしていない場合には、マウス操作で領域設定する必要がある。

本発明は、上記の問題点を考慮してなされたものであり、異常を検知するために画像処理を施す処理領域を容易に設定できる画像監視を提供することを目的とする。

上記課題を解決するために、本発明による画像監視システムにおいては、監視領域の画像から、監視領域内に設けられた構造体を抽出し、抽出された構造体に隣接し、かつ異常を検出するための画像処理を施す対象とする初期領域を設定し、設定された初期領域を、構造体に隣接したままで補正する。そして、補正された初期領域に画像処理を施して監視領域内における異常を検出する。

なお、監視領域の画像から、監視領域内に設けられた構造体あるいはその周辺に設置した発光ダイオードを検知して、構造体を抽出したり、初期領域を設定したりしても良い。特に、発光ダイオードを検知して初期領域を設定する場合、構造体の抽出や初期領域の補正を省略することができる。

上記手段によれば、初期領域の補正や設定が容易になり、画像監視システムを使用する操作者や保守員の作業効率が向上する。

以下、本発明の実施形態について説明する。

図１は、本発明の一実施形態である画像監視システムの全体構成を示す機能ブロック図である。図１において１０１は乗客コンベアであるエスカレータのハンドレール、１０２はエスカレータの踏み段、１０３はエスカレータおよびその周辺を含む監視領域の画像を取得するカメラ、１０４はエスカレータの運行を制御するインバータ装置などの制御装置、１０５はカメラ１０３によって撮影した画像を保存する録画装置、１０６はカメラ１０３において撮影した画像を画像処理によって解析し、監視領域における異常の有無を検出する画像処理装置部、１０７は画像処理装置部１０６で異常検出に用いる画像処理領域を設定するメンテナンス装置部である。メンテナンス装置部１０７は画像処理装置部１０６から監視領域の画像を取得し、マウスなどの入力デバイスによって画像処理領域を設定し、画像処理に必要なパラメータを画像処理装置部１０６へ送る。１０８はメンテナンス装置部１０７の作業内容を表示するモニタである。

次に図２を用いてメンテナンス装置部１０７の内部機能について説明する。画像処理装置部１０６から送られてきた画像は画像入力部２０１で受けて、画像処理部２０２へ送り、異常行動を検知するための画像処理を施す画像領域を設定するための予備領域、すなわち監視領域内に設けられたエスカレータのハンドレールなどの構造体の画像領域を画像処理によって検出するか、または入力デバイス２０６を操作することによって選択する。初期領域設定部２０３は画像処理領域の基になる初期領域を設定する。初期領域は、初期領域設定部２０３に予め登録された形状，大きさを有するとともに、予備領域に隣接する領域に設定される。領域補正部２０４は、初期領域設定部２０３で設定された初期領域を入力デバイス２０６からの指令によって所望の位置，形状，大きさに補正する。初期領域設定部２０３で設定された初期領域が所望の位置，形状，大きさを満たしていれば、領域補正部２０４の処理はスキップされる。

奥行き順序設定部２０５は、異常を検出するために用いる画像処理領域を複数設定した場合に、各領域の奥行きの順序を入力デバイス２０６からの指令によって設定する。また、奥行き順序設定部２０５では各領域の属性、例えば、領域が床面なのか壁なのか、あるいはゲートの出入り口なのか窓なのか、なども入力デバイス２０６で設定する。パラメータ記憶部２０７は、画像処理部２０２から奥行き順序設定部２０５までの処理ブロック部において検出されたり、入力デバイス２０６によって設定されたりしたパラメータを、設定したカメラ１０３毎、あるいは画像処理装置部１０６毎に保存する。保存されたパラメータは、経年変化などでカメラ光軸がずれた場合や、カメラまたは画像処理装置部を交換する場合など、再度パラメータ設定が必要になった場合に呼び出され、処理領域の再設定を行う手間を省く。パラメータ出力部２０８は、奥行き順序設定部２０５やパラメータ記憶部２０７から送られてくるパラメータを画像処理装置部１０６へ送る。

次に図３のフローチャート図を使って、図２における画像処理部２０２と初期領域設定部２０３の詳細について説明する。画像処理部２０２では、まず、画像入力部２０１から送られてきた画像を取得する（ステッフ゜３０１）。ステップ３０２では、抽出したい構造体すなわち予備領域の色は一様であると仮定し、モニタ１０８に表示された画像において、予備領域中の一点をマウスなどの入力デバイスで指定して、指定された部分の色を取得する。ステップ３０３では、ステップ３０２で取得した色と同じ色の画素集合を検出することにより、監視領域においてステップ３０２で取得された色と同じ色を有する領域を検出する。例えば、エスカレータのハンドレールは一定の色を持つので、上記処理によって予備領域を抽出することができる。ハンドレールを予備領域とする例を、図４の領域（ａ）（４０１）に示す。実環境下ではハンドレールと同じ色を持つ領域が存在する可能性があるので、複数の予備領域が抽出された場合はクラスタリング操作によって同一色クラスタ毎に面積およびアスペクト比を計算し、これらの値があるしきい値より大きなクラスタを候補としてモニタ部に複数提示し、複数候補の中から初期領域を入力デバイスによって指定する。

次にステップ３０４において、初期領域設定部２０３は、ステップ３０３で検出された予備領域に隣接する一つあるいは複数の領域を初期領域として設定する。例えば、図４の領域４０２のように、エスカレータの外側に位置すると共にハンドレールに接しかつハンドレールに沿って伸びる領域を初期領域として設定する。エスカレータのハンドレールは乗降床部付近で曲線状であるため、ハンドレールに隣接する領域もハンドレールの曲線に沿って曲げて設定する。ステップ３０４でも、予備領域に隣接する初期領域の候補を複数提示し、その中から入力デバイスによって初期領域を指定しても良い。ステップ３０５では、ステップ３０４で設定された初期領域が適切であるか否かを操作者が判定し、判定した結果を操作者が入力デバイスから入力する。もし、適切な初期領域がなければステップ３０２に戻って抽出対象の色抽出を再度行い、ステップ３０２〜３０５までの処理を繰り返す。もし、ステップ３０５において適切な初期領域が設定されれば、それを画像処理領域として面積，形状，位置に関するパラメータが領域補正部２０４に出力される（ステップ３０６）。なお、ステップ３０５においては、モニタ１０８に表示されたアイコンをクリックしたり、キーボードを操作したりすることによって、初期領域の適否を入力することができる。

次に図４を用いて、領域補正部２０４の詳細について説明する。初期領域設定部２０３から出力された初期領域が所望の位置，形状，大きさを有していれば領域補正部２０４の処理をスキップする。もし、そうでなければ初期処理領域の位置，形状，大きさを補正する。ここではエスカレータにおけるハンドレールからの乗客の乗り出しを検知するための領域設定について説明する。エスカレータにおけるハンドレール領域４０１が図３の予備領域抽出ステップ３０３で設定されたとする。さらに、ハンドレール領域４０１に隣接する初期領域４０２が図２の初期領域設定部２０３で得られたとする。初期領域４０２の大きさとアスペクト比はメンテナンス装置部１０７に記憶されているか、または入力デバイス２０６によって設定される。

まず、初期領域４０２の位置を変更する手順について説明する。初期領域４０２は入力デバイスであるマウスでドラッグすることで、その位置を変更できる。このとき、初期領域４０２はハンドレール領域４０１に接したままでハンドレール領域に沿って移動し、かつ初期領域４０２の中心部分である領域４０３をドラッグすることで移動する。領域４０３の位置は初期領域４０２の中心部とし、大きさは初期領域４０２の面積に対する割合で設定する。この設定パラメータはメンテナンス装置部１０７に記憶されているか、または入力デバイス２０６によって設定される。

次に初期領域４０２の大きさと形状を変更する手順について説明する。初期領域４０２はマウスでドラッグすることで、その形状を変更できる。このとき、初期領域４０２はハンドレール領域４０１に沿って拡大または縮小するように変形し、かつ初期領域４０２の周辺である領域（図４（ｃ）（４０４））をドラッグすることで変形する。このとき、ハンドレール領域が図４（ａ）のように直線構造ではなく、曲線部分を含む場合には、初期領域もその曲線部分に接しながらこの曲線部分に沿って変形する。従来は、矩形領域であれば、その領域の移動と変形を行うためには領域の頂点をマウスで正確にドラッグする必要があるが、本実施形態のように大まかな領域を操作することで、領域を移動させるときのマウス操作が容易になり、作業者の作業効率が向上する。

上記のような処理により、領域補正部２０４において画像処理領域が設定された後、奥行き順序設定部２０５によって画像処理領域毎に奥行き順序を設定する。これは、２つの処理領域が重なっている場合に、どちらの領域が実空間中で手前にあるかを設定するものである。この情報は、画像処理をする場合の事前知識として与えることで、画像処理性能を向上することができる。例えば、図７おいて、領域７０１がカメラに近い手前の領域、領域７０２がカメラから遠い奥の領域に設定したとする。ここで、人物、または物体が領域７０３、または領域７０４のように検出された場合、これらの検出結果は奥の領域７０２に存在する人物、または物体として判定でき、領域７０５のように２つの領域境界をまたいで検出された人物、または物体は手前の領域７０１に存在すると判定できる。また、例えば人物の頭部のように、検知対象物体の実際の大きさが予め既知であれば手前の領域ほど対象の見かけの大きさが大きくなるので、手前の領域で検出された小さな検知結果を誤検出として判定できる。なお、操作者は、モニタ１０８に表示された画像を見て、マウスなどの入力デバイスによって奥行き順序を入力する。

図５は、予備領域または初期領域を設定するために、発光ダイオード（以下ＬＥＤと記す）のような発光体をマーカーとして用いた場合の、画像処理部２０２または初期領域設定部２０３による設定手順を示すフローチャートである。本実施形態では、設置するマーカーとしてそれ自体が発光する素子であるＬＥＤを用いているが、各ＬＥＤの発光色または発光パターンを領域毎に変えて設定することにより、３次元空間中における複数の領域を設定することができる。

監視領域の画像を取得し（ステップ５０１）、取得された画像からＬＥＤを検出する（ステップ５０２）。このために、入力ＲＧＢカラー画像を例えばＨＳＶ色空間に変換し、色相空間（Ｈ）において、ＬＥＤが発光している色を持つ画素を抽出し、クラスタリングによってＬＥＤの位置を検出する。クラスタリングによって検出されたラベルには、背景においてＬＥＤ以外にも似た色のラベルが存在する可能性がある。そこで、本実施形態では、ＬＥＤを、連続的に点灯させるのではなく、ある規則パターンによって点滅させ、背景ノイズと区別してＬＥＤを検出する（ステップ５０３）。ＬＥＤの点滅パターンには、例えばカメラに近い手前の領域は速く点滅させ、カメラから遠い領域は遅く点滅させる。同じ色、および同じタイミングで点滅しているＬＥＤは同一領域に設置するので、ＬＥＤ色および点滅タイミング毎にＬＥＤを分離すれば、容易に複数領域に設置したＬＥＤを分離できる。この複数領域の分離は処理領域の設定ステップ５０４において行われる。

図６は、エスカレータおよびその周辺を含む監視領域にＬＥＤを設置した例を示す。ＬＥＤは領域境界に設置するが、図６では、ハンドレールの外側の領域６０２，乗降口の床板部および欄干部を支持するスカートガードの踏み段付近を含む領域６０３、並びにハンドレールを支持する欄干部６０４を含む領域６０４の各周辺部に、複数のＬＥＤ６０１が設けられている。ＬＥＤの電源は、有線あるいは電池で供給する。領域６０２〜６０４のようにＬＥＤで囲まれる各領域のＬＥＤの発光時間間隔を含む点滅パターンとＬＥＤの発光色の少なくともいずれか一方を、カメラからの距離に応じて設定することにより、前述した奥行き順を設定することができる。ＬＥＤの色が単色の場合は、ＬＥＤの点滅パターンを変えて奥行き順を設定する。もしＬＥＤの色を多数用意できる場合でも、色と点滅パターンの両者を用いることにより、より安定したＬＥＤ検知と領域ごとへの分類を行うことができる。

上記の手順によって複数の領域が検出された後、操作者は、これらの領域が予備領域あるいは初期領域として適切であるか否かをモニタ部のＧＵＩ上に表示した領域見て判定し、判定結果を入力デバイスにより入力する（ステップ５０５）。もし、これらの領域が適切であれば領域毎のパラメータ、具体的には位置，形状，大きさ，ＬＥＤの色、点滅パターンを出力する（ステップ５０７）。もし、適切でなければ、例えばＬＥＤの検出漏れがあったり、ＬＥＤでない物体を誤検出してしまったりした場合は、ＬＥＤの位置を入力デバイスにより指定し（ステップ５０６）、ＬＥＤ色およびＬＥＤ点滅パターンを再度検出する（ステップ５０３）。

ＬＥＤを用いて初期領域を設定する場合は、初期領域設定部２０３で設定した領域を、補正すること無くそのまま異常検出のための画像処理領域とすることができる。従って、予備領域の設定を省略できると共に、領域補正部２０４の処理をスキップすることができる。また、初期領域が複数設定される場合、ＬＥＤの発光色および点滅パターンの設定によって、各領域のカメラからの奥行き順序を設定するため、奥行き順序設定部２０５の処理をスキップすることができる。

なお、図５および図６の実施形態により、予備領域の設定精度が向上できるので、初期領域の設定精度も向上する。また、設定精度が、天候や照明等の外的要因や、カメラと構造体の相対的位置関係などに影響されにくくなる。

なお、上述した実施形態に限らず、本発明の技術的思想の範囲内において、種々の実施形態が可能である。例えば、監視領域はエスカレータのハンドレールの付近に限らず、エレベータの扉，エスカレータの踏み段または乗降床，他の乗客コンベアである動く歩道のハンドレール，動く歩道の踏み板または乗降床，建物に設置される階段の手すりなどの付近であっても良い。

本発明の一実施形態である画像監視システムの全体構成の機能ブロック図である。 画像処理領域を設定するメンテナンス装置部の機能ブロック図である。 画像処理領域の基になる初期領域設定部のフローチャートである。 初期領域を補正する領域補正部の動作例を示した図である。 ＬＥＤを用いて画像処理領域を設定する初期領域設定部のフローチャートである。 ＬＥＤマーカーを処理領域毎に設置した例を示した図である。 複数の画像処理領域が設定された例を示した図である。

符号の説明

１０１ ハンドレール
１０２ 踏み段
１０３ カメラ
１０４ 制御装置
１０５ 録画装置
１０６ 画像処理装置部
１０７ メンテナンス装置部
１０８ モニタ
２０１ 画像入力部
２０２ 画像処理部
２０３ 初期領域設定部
２０４ 領域補正部
２０５ 奥行き順序設定部
２０６ 入力デバイス
２０７ パラメータ記憶部
２０８ パラメータ出力部

Claims (5)

1. 監視領域の画像をカメラから取り込んで、取り込まれた前記画像に基づいて前記監視領域内における異常を検出する画像監視システムにおいて、
   前記監視領域の画像から、前記監視領域内に設けられた構造体を抽出する手段と、
   前記構造体に隣接し、かつ画像処理を施す対象とする初期領域を設定する手段と、
   前記初期領域を、前記構造体に隣接したままで補正する手段と、を備え、
   補正された初期領域に画像処理を施して前記監視領域内における前記異常を検出することを特徴とする画像監視システム。
2. 請求項１に記載の画像監視システムにおいて、前記構造体の画像から前記構造体の色を検出し、検出された色を有する領域を抽出することにより前記構造体を抽出することを特徴とする画像監視システム。
3. 請求項１または請求項２に記載の画像監視システムにおいて、前記初期領域の中心部分を入力デバイスでドラッグすると前記初期領域が前記構造体の領域に沿って移動し、前記初期領域の周辺部分をドラッグすると、前記構造物に沿って移動または変形すること特徴とする画像監視システム。
4. 請求項１から３のいずれか１項に記載の画像監視システムにおいて、補正された前記初期領域が複数設定され、補正された前記初期領域毎に奥行き順序を設定する手段を備えることを特徴とする画像監視システム。
5. 請求項１から４のいずれか１項に記載の画像監視システムにおいて、前記監視領域の前記画像から、前記構造体あるいはその周辺に設置した発光ダイオードを検知して、前記構造体を抽出することを特徴とする画像監視システム。

Images