JP5808282B2

JP5808282B2 - 映像信号記録再生装置及び監視方法

Info

Publication number: JP5808282B2
Application number: JP2012067439A
Authority: JP
Inventors: 朋美蓮江
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2012-03-23
Filing date: 2012-03-23
Publication date: 2015-11-10
Anticipated expiration: 2032-03-23
Also published as: JP2013200628A

Description

本発明は、監視カメラ映像中に映る人物等の監視対象の位置により侵入や転倒などの異常判定を行う映像信号記録再生装置及び監視方法に関するものである。

映像中の人物の異常行動の有無を判定する従来の映像信号記録再生装置では、映像中の人物の映像における移動した距離（以降、移動量と呼ぶ）を用いている。人物の移動量は映像中から動きのある部分の抽出を行うことで算出する。従来、算出した距離を人物の移動量とし、異常検出部において、侵入や転倒などの異常行動かどうかを、予め取得しておいた通常動作の移動量と比較することで異常の発生の有無を判定していた（例えば、特許文献１参照）。

また、映像中人物を追跡し、その軌跡を通常動作と比較することで、異常行動かどうかを判定するものもあった（例えば、特許文献２参照）。これは、カメラ映像のフレーム画像から、人物領域を抽出する。抽出された人物領域が複数の場合、距離や色の分布から個々人を判定する。抽出領域の重心を連結して個人個人の映像中においての軌跡を生成する。生成した人物の軌跡から、移動量、平均速度・加速度を算出し、予め取得しておいた「走る」、「人と会う」などの行動を閾値とし、行動判定する。比較した結果、算出した数値が閾値より大幅に外れた場合は、異常行動としてアラームを上げるようにしたものであった。

特開２０１１−７６６３８号公報特開２０１１−１００１７５号公報

映像信号記録再生装置とは、カメラ部より取得した映像を再生、記録するものであり、異常行動の有無を判定するために、従来の映像信号記録再生装置は、異常行動の有無を判定するために、機械学習を用いている。機械学習とは、顔認識、物体検出などで用いられている技術のことである。機械学習は、学習データと呼ばれる事前情報、例えば人と車など２つ以上のカテゴリのデータを機器に与え、カテゴリ毎の大きさや色などの規則を学習させる。新たに与えられたデータがどちらの規則に当てはまるか比較を行い、カテゴリの判定を行う。従来手法である通常動作との比較では、行動毎に学習データが必要となるため、大量の学習データが必要である。そのため、通常行動データの事前収集とデータを格納するためにメモリを大幅に消費しなければならないという問題点があった。

この発明は上記のような課題を解決するためになされたもので、通常行動データの事前収集や学習データを記録するための大きなメモリ容量といったことを必要とせず、演算量とメモリ容量の削減を図ることのできる映像信号記録再生装置及び監視方法を得ることを目的とする。

この発明に係る映像信号記録再生装置は、カメラからの映像データを受信するネットワーク制御部と、監視対象を撮像した映像データから監視対象の特徴を表す所定の特徴量を抽出する特徴点抽出部、特徴点抽出部で抽出された特徴点のうち、移動する特徴点を抽出すると共に、移動する特徴点の中から特定の特徴点を抽出し、特定の特徴点の移動を追跡する特徴点追跡部、特徴点追跡部で追跡された特定の特徴点の位置が所定の位置であった場合は異常と判定する特徴点位置判定部を備えた映像信号処理部と、映像信号処理部が異常と判定した場合にアラーム出力を行うアラーム部とを設け、特徴点追跡部は、移動する特徴点の領域を監視対象の領域として、当該領域の重心点を算出し、重心点に近接した特徴点を特定の特徴点とすると共に、移動する特徴点のうち、一定以上密集している領域をグループ化してブロックとして分割し、各ブロック内で外側に位置する特徴点を抽出して、当該外側の特徴点を全てのブロックで連結して形成される領域を監視対象の領域とするものである。

この発明の映像信号記録再生装置は、移動する特徴点を抽出してこれらの特徴点から特定の特徴点を抽出し、特定の特徴点の移動を追跡して所定の位置に一致した場合は異常と判定するようにしたので、通常行動データの事前収集や学習データを記録するための大きなメモリ容量といったことを必要とせず、演算量とメモリ容量の削減を図ることができる。

この発明の実施の形態１による映像信号記録再生装置を示す構成図である。この発明の実施の形態１による映像信号記録再生装置における異常検知の説明図である。この発明の実施の形態１による映像信号記録再生装置の全体の動作を示すフローチャートである。この発明の実施の形態１による映像信号記録再生装置の特定の特徴点を抽出する処理のフローチャートである。この発明の実施の形態１による映像信号記録再生装置の特徴点をグループ化する処理を示すフローチャートである。この発明の実施の形態１による映像信号記録再生装置の特定の特徴点の抽出例を示す説明図である。この発明の実施の形態２による映像信号記録再生装置の特定の特徴点を抽出する処理のフローチャートである。

実施の形態１．
図１は、この発明の実施の形態１による映像信号記録再生装置を含む監視システムを示す構成図である。
図１に示す監視システムは、カメラ部１、ネットワーク制御部２、映像信号処理部３、記憶部４、アラーム部５を備えており、ネットワーク制御部２〜アラーム部５は、映像信号記録再生装置６に設けられている。カメラ部１は、人物等の監視対象の映像を取得するための撮像装置である。ネットワーク制御部２はカメラ部１からの映像データを映像信号記録再生装置６として受信するためのインタフェースである。映像信号処理部３はネットワーク制御部２で受信した映像データから特徴点の抽出及び追跡を行って異常判定を実施する処理部であり、特徴点抽出部３１、特徴点追跡部３２、特徴点位置判定部３３を備えている。なお、これら機能部については後述する。記憶部４は、立入禁止区域などアラームが発信される位置のデータやカメラ映像データを保存するための記憶部である。アラーム部５は、映像信号処理部３で異常判定が行われた場合に、例えばアラーム音の鳴動やアラーム表示といったアラーム出力を行う装置である。

映像信号処理部３における特徴点抽出部３１は、映像信号処理部３として入力した映像データから監視対象の特徴を表す所定の特徴量を抽出する処理部である。特徴点追跡部３２は、特徴点抽出部３１で抽出された特徴点のうち、移動する特徴点を抽出すると共に、移動する特徴点の中から特定の特徴点を抽出し、特定の特徴点の移動を追跡する処理部である。また、特徴点追跡部３２は、移動する特徴点の領域を監視対象の領域として、領域の重心点を算出し、この重心点に近接した特徴点を特定の特徴点とするよう構成されている。特徴点位置判定部３３は、特徴点追跡部３２で追跡された特定の特徴点の位置が所定の位置であった場合は異常と判定する処理部である。

次に、実施の形態１の映像信号記録再生装置の動作について説明する。なお、監視対象は人物であるとして以下の説明を行う。
監視システムとしての動作は次の通りである。すなわち、カメラ部１で取得した人物の映像は、ネットワーク制御部２を介して映像信号処理部３に入力され、映像信号処理部３において人物の特徴点の算出、追跡を行う。特徴点を追跡することで、人物の映像中における位置を取得する。取得した特徴点の映像中における座標（以降位置情報と呼ぶ）と記憶部４に登録されている立入禁止区域の位置データと比較する。登録されている位置情報と一致した場合、アラーム部５にてアラーム出力を行う。

図２は、異常検知の説明図である。図において、２０１は人物であり、２０２は人物２０１から抽出した特定の特徴点を示している。また、２０３は、移動する特定の特徴点の軌跡である。２０４は立入禁止区域を示しており、軌跡２０３がこの立入禁止区域２０４の位置情報と一致した場合に異常と判定し、アラーム部５が動作する。なお、２０５はカメラ映像例を示している。

図３は、全体の動作を示すフローチャートである。
先ず、特徴点抽出部３１は、カメラ映像中から人物領域を抽出する（ステップＳＴ１）。特徴点追跡部３２は、抽出した人物領域の追跡を行い（ステップＳＴ２）、また、人物の映像中における位置を算出する（ステップＳＴ３）。次に、特徴点位置判定部３３は、算出した位置が、登録されている立入禁止区域位置と一致するかを判定し（ステップＳＴ４）、一致した場合にアラーム部５を作動させるようアラーム駆動信号を送出する（ステップＳＴ５）。

図４は、図３のステップＳＴ３の処理の詳細を示すフローチャートである。
特徴点抽出部３１は、カメラ部１で取得した映像から特徴点抽出を行う（ステップＳＴ３１）。特徴点抽出には公知の画像処理方法を用いることができる。例えばエッジ検出によるコーナー検出法、回転・スケール変化・照明変化による画像の変化にも対応できるＳＩＦＴ（Scale Invariant Feature Transform）特徴量を用いた特徴点抽出などが利用できる。次に、特徴点追跡部３２では、ステップＳＴ３１で抽出した特徴点を用いて、連続した数フレームから特徴点追跡を行い、特徴点の移動量を算出する（ステップＳＴ３２）。そして、特徴点追跡部３２は、移動量を持つ特徴点、即ち、動きがある特徴点のみを人物の特徴点と判定し、追跡対象として保持する（ステップＳＴ３３）。ステップＳＴ３３における移動量算出は、ステップＳＴ３１で抽出した特徴点全てに対し行う。保持した特徴量は、グループ化されて、いくつかのブロックに分割され、ブロック毎に特徴点の相関位置を算出し、より外側に位置する特徴点を算出する（ステップＳＴ３４）。次に、特徴点追跡部３２は、ブロック毎に保持した特徴点を繋げたときできる図形の重心を求め、その重心位置から最も近い特徴点を重要な特徴点として判断する（ステップＳＴ３５）。この特徴点が図２における特定の特徴点２０２であり、図３のステップＳＴ４における特徴点の追跡はこの特定の特徴点について行われることになる。

なお、ステップＳＴ３２の特徴点追跡では公知の画像処理方法を用いることができる。例えば上記で述べたＳＩＦＴ特徴量を用いた追跡、オプティカルフローなどが利用できる。

図５は、図４におけるステップＳＴ３４の詳細を示すフローチャートである。
特徴点追跡部３２は、先ず、抽出した特徴点の一定以上密集している領域を矩形に切り出す（ステップＳＴ３４１）。次に、ステップＳＴ３４２において、切り出した矩形を１：７となる部分で分割することで頭部と身体部に分ける。さらに、ステップＳＴ３４２で２分割したブロック毎に特徴点の数をカウントし、予め定めた閾値以上かを判定し（ステップＳＴ３４３）、数が閾値以下であれば重心の算出（図４のステップＳＴ３５）に移行し、閾値以上であれば、さらに分割を行う（ステップＳＴ３４４）。閾値は抽出された特徴点数に応じてユーザが任意に設定する。ステップＳＴ３４４では、各ブロックを特徴点が閾値以下になるまで４の倍数個に等分割する。

図６は図５のフローチャートで示した人物領域のブロック分割処理の一例を示す。特徴点６０１はステップＳＴ３４１において領域抽出の対象とした特徴点、ブロック６０２，６０３はステップＳＴ３４２で分割した頭部、身体部のブロック、ブロック６０４は、ステップＳＴ３４４の分割例のブロックである。特徴点が密集している箇所はブロック６０４のように細分化される。

次に、特徴点位置判定部３３は、ステップＳＴ３４１で求めた矩形内の特徴点位置を比べ、外側の特徴点を繋げることで人の輪郭として算出し、一般的な人の輪郭と比較することで、大きさを判定する。大きさの情報よりカメラから垂直に伸びる人体までの距離を求め、初期位置として保持する（以降、縦方向位置と呼ぶ）。さらに特徴点追跡によりカメラに対しての横移動（以降、横方向位置と呼ぶ）、垂直移動（以降、垂直方向位置と呼ぶ）の、縦、横、垂直３方向への移動を監視し、人物が、図２で示した立入禁止区域２０４のように登録した場所へ、接近または侵入した場合、アラーム部５の駆動信号を送出する。また、垂直方向の移動位置を監視し、床との距離が零であることを検知することで人物の転倒を監視することもできる。

このように、実施の形態１では、映像人物から抽出した特徴点位置から重要度の高い特徴点を取得し、その特徴点の位置情報を算出して所定の位置であるかを判定することにより異常行動判定をするようにしたので、学習データとしての、メモリから通常行動のデータ、及び演算量を削減できる。また、抽出に用いる映像は人物が明瞭に写っている必要がないため、家電製品に取り付けられた低解像度あるいはサーモカメラからでも追跡・異常判定が可能となる。

以上説明したように、実施の形態１の映像信号記録再生装置によれば、カメラからの映像データを受信するネットワーク制御部と、監視対象を撮像した映像データから監視対象の特徴を表す所定の特徴量を抽出する特徴点抽出部、特徴点抽出部で抽出された特徴点のうち、移動する特徴点を抽出すると共に、移動する特徴点の中から特定の特徴点を抽出し、特定の特徴点の移動を追跡する特徴点追跡部、特徴点追跡部で追跡された特定の特徴点の位置が所定の位置であった場合は異常と判定する特徴点位置判定部を備えた映像信号処理部と、映像信号処理部が異常と判定した場合にアラーム出力を行うアラーム部とを設けたので、通常行動データの事前収集や学習データを記録するための大きなメモリ容量といったことを必要とせず、演算量とメモリ容量の削減を図ることができる。

また、実施の形態１の映像信号記録再生装置によれば、映像信号処理部は、移動する特徴点の領域を監視対象の領域として、領域の重心点を算出し、重心点に近接した特徴点を特定の特徴点とする特徴点追跡部を備えたので、演算量とメモリ容量の削減を図りながら、異常判定の精度を高めることができる。

また、実施の形態１の映像信号記録再生装置によれば、映像信号処理部は、移動する特徴点のうち、一定以上密集している領域をグループ化してブロックとして分割し、各ブロック内で外側に位置する特徴点を抽出して、当該外側の特徴点を全てのブロックで連結して形成される領域を監視対象の領域とする特徴点追跡部を備えたので、監視対象の領域を確実に抽出することができ、異常判定の精度を高めることができる。

また、実施の形態１の監視方法によれば、監視対象を撮像した映像データから監視対象の特徴を表す所定の特徴量を抽出する特徴点抽出処理と、特徴点抽出処理で抽出された特徴点のうち、移動する特徴点を抽出すると共に、移動する特徴点の中から特定の特徴点を抽出し、特定の特徴点の移動を追跡する特徴点追跡処理と、特徴点追跡処理で追跡された特定の特徴点の位置が所定の位置であった場合は異常と判定する特徴点位置判定処理とを含むようにしたので、通常行動データの事前収集や学習データを記録するための大きなメモリ容量といったことを必要とせず、演算量とメモリ容量の削減を図ることができる監視システムを実現することができる。

実施の形態２．
実施の形態１では映像人物から抽出した全ての特徴点から重要度の高い特徴点を算出、追跡することにより位置情報を取得する構成を示したが、重心から最も近い特徴点を重要点として選択するため、近くに特徴点が無い場合、適切でない特徴点が選択される可能性がある。そこで、算出した点を基準にするのではなく、人物領域から取得した特徴点の移動量から重要な特徴点（特定の特徴点）を取得し、異常判定を行うようにした例を実施の形態２として説明する。なお、図面上の構成は図１で示した実施の形態１と同様であるため、図１を用いて説明する。

実施の形態２における特徴点追跡部３２は、移動する特徴点のうち、一定以上密集している領域を監視対象の領域として、領域の特徴点のうち、相対的に移動量が少ない特徴点を特定の特徴点として抽出するよう構成されている。その他の構成は実施の形態１と同様であるため、ここでの説明は省略する。

図７は、実施の形態２における特徴点追跡部３２の動作を示すフローチャートである。
図７において、ステップＳＴ３１，ＳＴ３２は、図４のステップＳＴ３１，ＳＴ３２と同様の処理である。ステップＳＴ３６では、抽出した特徴点の一定以上密集している領域を矩形に切り出し、人物領域と判定する。次に、特徴点追跡部３２は、人物領域内特徴点の追跡より各特徴点の移動量を算出する（ステップＳＴ３７）。そして、人物領域内の各特徴点の移動量を比較し、相対的に移動量が低い上位の特徴点を抽出する（ステップＳＴ３８）。すなわち、移動量が少ない特徴点を、関節や頭など動きが少ない身体の部位であると判断し、この特徴点を重要な特徴点として判定する。その後の特徴点追跡部３２の動作と特徴点位置判定部３３の動作は実施の形態１と同様である。

このように、実施の形態２では、映像人物から抽出した特徴点の相対的な移動量から重要度の高い特徴点を取得して異常行動判定をすることで、学習データとしての、メモリから通常行動のデータ、及び演算量を削減できる。また、抽出に用いる映像は人物が明瞭に写っている必要がないため、家電製品に取り付けられた低解像度あるいはサーモカメラからでも追跡・異常判定が可能となる。

以上説明したように、実施の形態２の映像信号記録再生装置によれば、映像信号処理部は、移動する特徴点のうち、一定以上密集している領域を監視対象の領域として、当該領域の特徴点のうち、相対的に移動量が少ない特徴点を特定の特徴点として抽出する特徴点追跡部を備えたので、演算量とメモリ容量の削減を図ることができると共に、特定の特徴点として適切な点を選択することができ、異常判定の精度を高めることができる。

なお、上記実施の形態１、２では、監視対象として人物としたが、これに限定されるものではなく、移動する物体であればどのようなものであっても適用可能である。また、特定の特徴点としては、一つだけでなく、移動する複数の特徴点から重要度の高い特徴点に絞り込んだものであれば複数の特徴点であってもよい。

また、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１カメラ部、２ネットワーク制御部、３映像信号処理部、４記憶部、５アラーム部、６映像信号記録再生装置、３１特徴点抽出部、３２特徴点追跡部、３３特徴点位置判定部。

Claims

カメラからの映像データを受信するネットワーク制御部と、
監視対象を撮像した映像データから当該監視対象の特徴を表す所定の特徴量を抽出する特徴点抽出部、前記特徴点抽出部で抽出された特徴点のうち、移動する特徴点を抽出すると共に、当該移動する特徴点の中から特定の特徴点を抽出し、当該特定の特徴点の移動を追跡する特徴点追跡部、前記特徴点追跡部で追跡された特定の特徴点の位置が所定の位置であった場合は異常と判定する特徴点位置判定部を備えた映像信号処理部と、
前記映像信号処理部が異常と判定した場合にアラーム出力を行うアラーム部とを設け、
前記特徴点追跡部は、移動する特徴点の領域を監視対象の領域として、当該領域の重心点を算出し、前記重心点に近接した特徴点を特定の特徴点とすると共に、移動する特徴点のうち、一定以上密集している領域をグループ化してブロックとして分割し、各ブロック内で外側に位置する特徴点を抽出して、当該外側の特徴点を全てのブロックで連結して形成される領域を監視対象の領域とすることを特徴とする映像信号記録再生装置。
カメラからの映像データを受信するネットワーク制御部と、
監視対象を撮像した映像データから当該監視対象の特徴を表す所定の特徴量を抽出する特徴点抽出部、前記特徴点抽出部で抽出された特徴点のうち、移動する特徴点を抽出すると共に、当該移動する特徴点の中から特定の特徴点を抽出し、当該特定の特徴点の移動を追跡する特徴点追跡部、前記特徴点追跡部で追跡された特定の特徴点の位置が所定の位置であった場合は異常と判定する特徴点位置判定部を備えた映像信号処理部と、
前記映像信号処理部が異常と判定した場合にアラーム出力を行うアラーム部とを設け、
前記特徴点追跡部は、移動する特徴点のうち、一定以上密集している領域を監視対象の領域として、当該領域の特徴点のうち、相対的に移動量が少ない特徴点を特定の特徴点として抽出すると共に、移動する特徴点のうち、一定以上密集している領域をグループ化してブロックとして分割し、各ブロック内で外側に位置する特徴点を抽出して、当該外側の特徴点を全てのブロックで連結して形成される領域を監視対象の領域とすることを特徴とする映像信号記録再生装置。
監視対象を撮像した映像データから当該監視対象の特徴を表す所定の特徴量を抽出する特徴点抽出処理と、
前記特徴点抽出処理で抽出された特徴点のうち、移動する特徴点を抽出すると共に、当該移動する特徴点の中から特定の特徴点を抽出し、当該特定の特徴点の移動を追跡する特徴点追跡処理と、
前記特徴点追跡処理で追跡された特定の特徴点の位置が所定の位置であった場合は異常と判定する特徴点位置判定処理とを含み、
前記特徴点追跡処理は、移動する特徴点の領域を監視対象の領域として、当該領域の重心点を算出し、前記重心点に近接した特徴点を特定の特徴点とすると共に、移動する特徴点のうち、一定以上密集している領域をグループ化してブロックとして分割し、各ブロック内で外側に位置する特徴点を抽出して、当該外側の特徴点を全てのブロックで連結して形成される領域を監視対象の領域とすることを特徴とする監視方法。
監視対象を撮像した映像データから当該監視対象の特徴を表す所定の特徴量を抽出する特徴点抽出処理と、
前記特徴点抽出処理で抽出された特徴点のうち、移動する特徴点を抽出すると共に、当該移動する特徴点の中から特定の特徴点を抽出し、当該特定の特徴点の移動を追跡する特徴点追跡処理と、
前記特徴点追跡処理で追跡された特定の特徴点の位置が所定の位置であった場合は異常と判定する特徴点位置判定処理とを含み、
前記特徴点追跡処理は、移動する特徴点のうち、一定以上密集している領域を監視対象の領域として、当該領域の特徴点のうち、相対的に移動量が少ない特徴点を特定の特徴点として抽出すると共に、移動する特徴点のうち、一定以上密集している領域をグループ化してブロックとして分割し、各ブロック内で外側に位置する特徴点を抽出して、当該外側の特徴点を全てのブロックで連結して形成される領域を監視対象の領域とすることを特徴とする監視方法。