JP6182607B2 - 映像監視システム、監視装置 - Google Patents

映像監視システム、監視装置 Download PDF

Info

Publication number
JP6182607B2
JP6182607B2 JP2015522362A JP2015522362A JP6182607B2 JP 6182607 B2 JP6182607 B2 JP 6182607B2 JP 2015522362 A JP2015522362 A JP 2015522362A JP 2015522362 A JP2015522362 A JP 2015522362A JP 6182607 B2 JP6182607 B2 JP 6182607B2
Authority
JP
Japan
Prior art keywords
conversion
camera
feature amount
virtual
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015522362A
Other languages
English (en)
Other versions
JPWO2014199505A1 (ja
Inventor
健一 米司
健一 米司
大輔 松原
大輔 松原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of JPWO2014199505A1 publication Critical patent/JPWO2014199505A1/ja
Application granted granted Critical
Publication of JP6182607B2 publication Critical patent/JP6182607B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

本本発明は、映像を用いて監視対象を監視する技術に関する。
近年、凶悪犯罪が増加し、セキュリティの意識が向上している。これに伴い、店舗、空港などの人が集まる場所に、多くの監視カメラが設置されている。これらの監視カメラによって撮影された映像情報は、監視レコーダなどの蓄積装置に格納され、必要に応じて閲覧される。
下記特許文献1には、複数の監視カメラを用いた監視システムが記載されている。この文献においては、監視対象の動き情報を抽出し、抽出した動き情報を複数のカメラ間で比較し、監視対象の情報を得る。
特開2011-193187号公報
Michalis Raptis and Stefano Soatto, "Tracklet Descriptors for Action Modeling and Video Analysis", In Proceedings of the European Conference on Computer Vision, September 2010. S. Baker and I. Matthews " Lucas-kande 20 years on: A unifying framework", International Journal of Computer Vision, vol. 53, no. 3, 2004.。
複数の監視カメラを備える監視システムにおいて、複数の監視カメラで得られた動き情報をカメラ間で比較する場合、各カメラの設置条件の違いを考慮する必要がある。例えば、複数の監視カメラから動き情報を抽出し、同じ動きをしている人物を探すシステムを構築する場合、複数のカメラが同じ条件で設置されている場合には、上記非特許文献1等の方式により実現できる。しかし、各カメラの設置条件が違い、例えば地面に対して水平に設置されているカメラと、地面に向けて設置されているカメラ等が混在している場合においては、各カメラで対象の映り方が違うため、同じ動きをしても違う動き情報となってしまい、カメラ間での動き情報の比較が困難である。
この課題に対し、上記特許文献1ではあるカメラから得られる動き情報を、比較対象のカメラの座標系に変換した後比較を行っている。しかしこの方式では、位置情報を比較対象カメラの座標位置に変換して比較するため、比較するカメラの視野に重なりがなければ比較することができない。
本発明は、上記のような課題を解決するためになされたものであり、カメラの設置条件が違う場合においても、複数の監視カメラから得られる動き情報を比較する事が可能な映像監視技術を提供することを目的とする。
本発明に係る映像監視システムは、複数のカメラからの映像を受信し、映像を構成する複数のフレームから動き特徴量を抽出する抽出部と、抽出部からの抽出結果を蓄積する記憶部と、抽出した動き特徴量を変換する変換部と、変換後の動き特徴量を解析する解析部と、を有し、変換部は、複数のカメラの座標軸とは異なる仮想座標軸を保持し、仮想座標軸系における仮想視点を計算することにより特徴量を変換することを特徴とする。
本発明に係る映像監視装置によれば、設置条件の違う複数の監視カメラから得られる監視対象の動き情報を好適に分析することができる。
実施例1に係る監視システムの模式図である。 実施例1に係る監視システムが備える映像監視装置200の機能ブロック図である。 仮想視点生成部203と変換方法決定部204の構成例を示す機能ブロック図である。 仮想視点生成部203の処理例を示す図である。 特徴量変換部207の構成例を示す機能ブロック図である。 仮想視点生成部203の処理フロー図である。 特徴量変換部207の処理フロー図である。 実施例1に係る映像監視装の構成例を示す図である。 実施例1に係る監視システムの構成例を示す図である。 仮想設置状態情報設定クライアント907の一例を示す図である。 実施例2に係る映像監視装置200の機能ブロック図である。 実施例3に係る映像監視装の構成例を示す図である。 実施例4に係る仮想視点生成部203の処理例を示す図である。
図1は本発明の実施例1に係る監視システムの模式図である。図1において、監視領域内に存在する監視対象101は複数の監視カメラ(102、103)により監視されている。
各監視カメラから得られた映像から画像処理により監視対象の動き特徴量(104、105)を抽出する。動き特徴量とは、対象の動き量を表現可能な特徴量である。例えば、ある一定時間内において、監視対象が画面内で移動した座標の移動量を並べた、動きベクトル等を用いる。また、対象の移動量の算出には非特許文献2に記載されている様な手法等を用いればよい。
それぞれのカメラから得られた動き特徴量(104、105)はカメラの設置状態が違うため、比較困難である。ここで、カメラの設置状態とは例えば、カメラの地面からの設置高さ、地面に対する設置角度、カメラの向き(視線の方角)、カメラの画角、カメラの焦点距離等である。そこで、監視システム全体で統一した仮想設置状態106を与え、それぞれのカメラに対して、カメラの設置状態が、仮想設置状態106のカメラの設置状態と一致する仮想視点(107、108)を設定する。設定された各仮想視点に従い、各カメラの画像座標系から各仮想視点の座標系への変換方法をそれぞれ決定する。この変換方法に従い、動き特徴量(104、105)を変換し、変換された動き特徴量(109、110)を得る。座標系の変換方法は、例えば動きベクトルの座標位置を、回転行列を用いた座標変換によって変換する方法等を用いればよい。変換された動き特徴量(109、110)は、全てのカメラで同じ設置状態の動き特徴量となるため、比較が容易になる。得られた動き特徴量(109、110)はデータベース111等に保存し、分析に用いる。
図2は本実施例1に係る監視システムが備える映像監視装置200の機能ブロック図である。映像監視装置200は、仮想視点生成部203、変換方法決定部204、動き特徴量抽出部206、特徴量変換部207、特徴量解析部208、解析結果提示部209を備える。
仮想視点生成部203は予め与えられた仮想設置状態情報201と複数台の監視カメラ設置情報を受け取る。仮想視点生成部203では受け取った仮想設置状態情報201と複数台の監視カメラ設置情報をもとに、各監視カメラに対する仮想視点情報210を生成する。生成された仮想視点情報210は変換方法決定部204に入力される。変換方法決定部204では入力された仮想視点情報210をもとに、特徴量の変換方法を決定する。決定した変換方法211は特徴量変換部207に入力される。
動き特徴量抽出部206は、複数台の監視カメラの映像205を受け取る。動き特徴量抽出部206では、受け取った監視カメラからの映像205を画像処理し、監視対象の動き特徴量を抽出する。動き特徴量の抽出には非特許文献2の方法などを用いればよい。動き特徴量は、特徴量を抽出した画像上の位置情報と、動きを表す特徴量から構成される。動きを表す特徴量としては、例えば画像座標上の移動量(2次元ベクトル)を時間方向に並べたもの等がある。抽出された動き特徴量は特徴量変換部207に入力される。特徴量変換部208は、動き特徴量と特徴量の変換方法211を受け取り、特徴量の変換方法に従い、動き特徴量を変換する。変換された動き特徴量は特徴量解析部208に入力される。
特徴量解析部208では変換された動き特徴量を解析する。解析された結果は解析結果提示部209に入力される。解析結果提示部209では、解析結果を監視者に提示可能な状態に変換し、提示する。特徴量解析部208の例としては、例えば同様の動きをしている対象を、過去の動き特徴量の中から探し出し、似ている順番に並べ替える処理等が考えられる。この場合、解析結果提示部209では、探し出した動き特徴量を抽出した日時や場所などを順番にリスト化し、ディスプレイ端末に表示する処理等を行う。ここで、特徴量解析部208の処理は動き特徴量を用いた解析処理であれば、別の解析処理でもよい。また解析結果提示部209の提示方法も、特徴量解析部208における解析結果を提示できれば、別の提示方法でもよい。
図3は、仮想視点生成部203と変換方法決定部204の構成例を示す機能ブロック図である。この例ではカメラが2つであった場合の例であり、それぞれカメラA304、カメラB305とする。
まず、予め仮想設置状態情報301を与える。ここでは地面からの高さ302と地面に対する角度303を仮想設置状態として与える例について示す。仮想視点生成部203は、カメラA用視点生成部2031とカメラB用視点生成部2032を備える。カメラA用視点生成部2031では仮想設置状態情報301とカメラA設置状態2033を用いてカメラA用仮想視点306を算出する。同様にして。カメラB用視点生成部2032では仮想設置状態情報301とカメラB設置状態2034を用いてカメラB用仮想視点307を算出する。
変換方法決定部204は、カメラA用座標変換パラメータ決定部2041とカメラB用座標変換パラメータ決定部2042を備える。カメラA用座標変換パラメータ決定部2041では、カメラA用視点生成部2031で生成したカメラA用仮想視点306を用いて、カメラA304からカメラA用仮想視点306への座標変換パラメータを計算する。この座標変換パラメータは、例えば一般的な座標変換行列の各係数等である。座標変換行列の各係数は、カメラA304の設置位置から仮想視点306への並進移動量と、カメラA304の設置角度から仮想設置状態情報301の設置角度への回転量を用いて、簡単に計算することができる。また、カメラの画角や焦点距離を仮想設置状態に含めてもよく、この場合にはカメラの画角や焦点距離を考慮した座標変換行列の各係数を算出してもよい。同様に、カメラB用座標変換パラメータ決定部2042では、カメラB305からカメラB用仮想視点307への座標変換パラメータを計算する。以上により得られた座標変換パラメータは特徴量変換部207に入力される。
図4は、仮想視点生成部203における仮想視点の算出方法の一例を示した図である。まず、各監視カメラ401の設置情報から、カメラの視線と地面の交点402を求める。次に求めた交点402が視線の中心となる設置位置のうち、高さが仮想設置状態301の地面からの高さと一致し、角度404が仮想設置状態301の地面からの角度303と一致する位置を仮想視点405とする。この仮想視点とカメラ401の設置位置の差が、カメラ401から仮想視点405への並進移動量406となる。この例では、仮想視点405からのカメラの視線と地面の交点402が、元のカメラ401の視線と地面との交点402と一致する様に変換している。これにより、元のカメラ401の画像の中心付近に映っていた対象の動き特徴量は、仮想視点においても画像の中心付近となるため、後の分析において扱いやすいといった利点がある。この例では、カメラの向き(視線の方角)は特に指定していないが、カメラの向きを仮想設置状態として指定し、向きが合う様に仮想視点を算出してもよい。
図5は、特徴量変換部207の構成例を示す機能ブロック図である。ここでは、動き特徴量抽出部206で抽出された動き特徴量が、画像座標に対応した2次元の動きベクトル501で表現されている場合の例を示す。特徴量変換部207は、3次元位置推定部2071と座標変換部2072を備える。
特徴量は、前記の通り特徴量を抽出した画像座標上の2次元位置と、動きを表す特徴量から構成される。3次元位置推定部2071では、まず、特徴量を抽出した画像座標上の2次元位置を、実空間における3次元位置に変換する。この変換は、カメラの画角、焦点距離、地面からの高さ、カメラの地面に対する角度、特徴量の実空間上の高さが分かれば、容易に計算することができる。カメラの画角、焦点距離、地面からの高さ、カメラの地面に対する角度は予め設定しておく。この状態で、特徴量の実空間上の高さが分かれば、特徴量を抽出した画像座標上の2次元位置を、実空間における3次元位置に変換する事が可能となる。すなわち、特徴量の抽出位置の実空間上の高さを推定することで、抽出位置の2次元位置を、実空間における3次元位置に変換することができる。
特徴量の高さの推定には、例えば以下の様な監視対象と地面との関係を用いて推定する方法がある。まず、人物が監視対象であった場合には、人物抽出処理等を用いて人物領域を抽出する。この抽出された人物が地面に立っていると仮定すれば、人物の足元の高さは地面の高さと一致する。さらに抽出された人物の身長をある一定値であると仮定することで、この人物領域内に含まれる特徴量の高さ情報を得る事ができる。これにより、各特徴量の抽出位置の3次元位置を推定することができる。人物抽出処理には、例えばテンプレートマッチング等の方法を用いればよい。同様にして、以上の処理を特徴量の2次元動きベクトルの各要素に行うことで、特徴量を3次元動きベクトル502に変換する。
座標変換部2072では、変換方法決定部204で得られた変換方法201に従い、座標変換を行う。この例では、実空間における3次元位置を仮想視点から見た仮想的な画像の2次元座標位置に変換する行列を用いた座標変換を、変換方法201として用いる。この座標変換行列を用いて、3次元位置に変換された3次元動きベクトル502を、仮想視点から見た2次元の動きベクトル503に変換する。以上により、元の特徴量を仮想視点から見た特徴量に変換する。
この例では、特徴量が2次元動きベクトルであった場合の変換方法について示したが、特徴量が動き方向のヒストグラムの様な、画像上の座標位置の2次元ベクトルで与えられていない場合には、別の変換方法が必要となる。この場合には、例えば変換方法として、特徴量の地面からの高さ情報にひも付けされた変換テーブルを用いて、ヒストグラムを変換する方法などを用いればよい。
図6は、仮想視点生成部203における仮想視点生成処理の処理フロー図である。以下、図6の各ステップについて説明する。
(図6:ステップS601〜S602)
仮想視点生成部203は、仮想設置状態情報201が設定されると(S601)、全てのカメラについて以下に説明するステップS603〜S604を実施する(S602)。
(図6:ステップS603〜S604)
仮想視点生成部203は、監視カメラの設置情報202からカメラの視線と地面の交点を算出する(S603)。次に、得られた交点を用いて仮想視点位置を算出する(S604)。
図7は、特徴量変換部207における特徴量変換処理の処理フロー図である。特徴量変換処理では、最初に変換方法を取得する(S701)。次に、特徴量を取得する(S702)。次に、特徴量の3次元位置を推定する(S703)。次に、(S701)にて取得した変換方法に基づき、特徴量を変換し(S704)、特徴量変換処理を終了する。
図8は、本実施例1に係る監視装置800の構成例である。監視装置800は演算処理装置801と記録装置802と入出力装置803を備える。また演算処理装置801と記録装置802は入出力装置803を通じて、ユーザインターフェース804と表示装置805と監視カメラ806と録画装置807と接続されている。演算処理装置801では記録装置802に保存されている処理命令群819から必要な処理を呼び出して実行する。仮想視点生成処理808、変換方法決定処理809、動き特徴量抽出処理810、特徴量変換処理811、特徴量解析処理812はそれぞれ、図2中の仮想視点生成部203、変換方法決定部204、動き特徴量抽出部206、特徴量変換部207、特徴量解析部208に対応した処理を実行する。監視カメラ設定情報814と仮想設置状態情報815はユーザインターフェース804を通して設定され、記録装置802に保存される。仮想視点生成処理808は監視カメラ設定情報814と仮想設置状態情報815を呼び出し、仮想視点を生成し、続いて変換方法決定処理809を実行する。変換方法決定処理809は特徴量変換方法816を決定し、記録装置802に保存する。動き特徴量抽出処理810では監視カメラ806もしくは録画装置807から画像を読み出し、動き特徴量を抽出し、変換前特徴量817として記録装置802に保存する。特徴量変換処理811は、特徴量変換方法816と変換前特徴量817を読み出し、特徴量を変換し、変換後特徴量818として記録装置に保存する。特徴量解析処理812は変換後特徴量818を読み出し、特徴量解析処理を行う。次に解析結果提示映像生成処理813を実行する。解析結果提示映像生成処理813では、特徴量解析処理812の解析結果を表示装置805で表示可能な映像形式に変換し、表示装置805に送る。表示装置805では送られてきた解析結果映像を表示する。
図9は本実施例1に係る監視システムの構成例を示す図である。映像監視装置200は映像解析サーバー901及び監視モニター902及び各機能部を実装したソフトウェアとして構成することができる。監視カメラ群903はネットワーク904を介して映像解析サーバー901と録画装置905に接続される。監視モニター902は動き特徴量の解析結果を表示する表示装置であり、ネットワーク906を介して映像解析サーバー901に接続される。仮想設置状態情報設定クライアント907は仮想視点を決定するための仮想設置状態情報設定908が可能なユーザインターフェース804であり、ネットワーク909を介して映像解析サーバー901に接続される。監視カメラ群903からの映像や、録画装置905からの映像はネットワーク904を通じて映像解析サーバー901に入力される。仮想設置状態設定クライアント907で設定された仮想設置状態情報は、ネットワーク909を通じて映像解析サーバー901に入力される。映像解析サーバー901では図2〜図5で説明した処理を実施し、変換後動き特徴量818を蓄積する。蓄積された変換後動き特徴量818はネットワーク906を通じて監視モニター902に入力され、解析処理を行った後、その結果を表示装置805に表示する。
図9では、特徴量抽出処理を映像解析サーバー901内で実施しているが、監視カメラ群の各カメラ内で実施してもよい。また、特徴量解析処理を監視モニター902内で実施しているが、映像解析サーバー901内で実施し、結果を蓄積してもよい。また仮想設置状態情報設定908を仮想設置状態情報設定クライアント907内で実施しているが、映像解析サーバー901に入出力端末を直接接続して実施してもよい。
図10は仮想設置状態情報設定クライアント907内での仮想設置状態情報設定GUIの例を示す図である。仮想設置状態情報設定GUIは1001の様な入力ウィンドウとして提供される。このGUIは仮想設置状態情報を入力可能な入力ボックス(1002、1003)を備える。図10の例では、高さ及び角度を設置可能な例を示す。また、入力された値を反映するための決定ボタン1004を備え、これを押すことで、本監視システムで用いる仮想設置状態が決定される。また、現在の仮想設置状態を図示したウィンドウ1005を備える。この例は一例であり、設定可能な仮想設置状態情報は適宜増減してもよいし、ウィンドウ1005の代わりに現在の状態をテキストで表示してもよいし、無くしてもよい。また決定ボタンの代わりに、一定タイミング毎に設定内容を自動送信する機能を有してもよい。また、仮想設置状態は、この例の様に自由に入力できる方式に限らず、幾つかの候補から選択して設定してもよいし、既に設置されているカメラから1つを選択し、そのカメラの設置状態を仮想設置状態としてもよい。
以上を踏まえ、本実施例1に記載の監視システムは、複数のカメラからの映像を受信し、映像を構成する複数のフレームから動き特徴量を抽出する抽出部と、抽出部からの抽出結果を蓄積する記憶部と、抽出した動き特徴量を変換する変換部と、変換後の動き特徴量を解析する解析部と、を有し、変換部は、複数のカメラの座標軸とは異なる仮想座標軸を保持し、仮想座標軸系における仮想視点を計算することにより特徴量を変換することを特徴とする。
かかる特徴により、設置条件の違う複数の監視カメラから抽出した動き情報を適切に比較することができる。
図11は、本発明の実施例2に係る映像監視装置200の機能ブロック図である。実施例2は、実施例1において、解析処理が複数ある場合の例について説明する。その他の構成は実施例1と同様であるため、以下では差異点を中心に説明する。
図2で示した監視装置に解析処理が複数ある場合の例を図11に示す。この図11では解析処理が2種類ある場合について説明する。仮想設置状態情報201には、各解析処理(1106、1108)にて必要な仮想設置状態を予め設定しておき、それぞれ仮想視点生成部A1101と仮想視点生成部B1102に入力する。仮想視点生成部A1101と仮想視点生成部B1103では与えられる仮想設置状態のみが違い、処理内容はどちらも実施例1において説明した仮想視点生成部203と同様の処理を行う。これらによって得られたそれぞれの仮想視点情報を用いて、変換方法A決定部1102及び変換方法B決定部1104では、それぞれ特徴量変換部A1105及び特徴量変換部B1107で用いる特徴量変換方法を決定する。変換方法A決定部1102及び変換方法B決定部1104の処理内容については、実施例1において説明した変換方法決定部204と同様の処理を行う。特徴量変換部A1105及び特徴量変換部B1107では、それぞれ決定した変換方法に従い、動き特徴量抽出部206で抽出した動き特徴量を変換する。特徴量解析部A1106及び特徴量解析部B1108では、それぞれ変換された特徴量を用いて解析処理を行う。提示内容選択部1110には、制御信号1109が入力される。この制御信号1109は解析結果提示部209で提示したい解析結果を指定するための制御信号である。この制御信号に従い、特徴量解析部Aと特徴量解析部Bの解析結果のうち、解析結果提示部209に入力する解析結果を選択する。
例えば、対象を真上から見た視点で解析した結果と、真横から見た視点で解析した結果の両方が必要な場合には、特徴量変換部A1105において真上から見た仮想視点を用いて特徴量を変換し特徴量解析部A1106にて解析を行い、特徴量変換部B1107において真横から見た仮想視点を用いて特徴量を変換し特徴量解析部B1108にて解析を行ったのち、真上から見た視点での解析結果を見る際には制御信号1109に特徴量解析部A1106の解析結果を出力する信号を与え、真横から見た視点での解析結果を見る際には制御信号1109に特徴量解析部B1108の解析結果を出力する信号を与えればよい。
本実施例では解析処理が2種類である場合について説明したが、3種類以上解析処理がある場合についても同様の方法で実現できる。また1つの変換された特徴量を複数の解析処理で共用してもよい。
係る特徴により、実施例1の効果に加え、より好適に解析結果を提示することができる。
図12は、本発明の実施例形態3に係る監視装置800の構成例である。本実施例3では、録画装置1201内に演算処理部801と記録部802を構成した。その他の構成は実施例1と同様であるため、以下では差異点を中心に説明する。
映像取得記録処理1202は入出力部803を通して監視カメラ806からの映像を取得する。次に、取得した映像を記録部802内に保存可能な形式に変換し、録画映像1203として保存する。動き特徴量抽出処理は、録画映像1203から抽出対象の映像を取得し、動き特徴量抽出処理を行う。
本実施例ではユーザインターフェース804及び表示装置805は録画装置1201の外にある例を示したが、録画装置内に構成してもよい。
図13は、本発明の実施例4に係る仮想視点生成部203の処理例である。本実施例4では、監視カメラ1305の監視対象領域が屋外の道路1301の様な特殊な環境における場合の仮想視点生成方法の一例を示す。その他の構成は実施例1と同様であるため、以下では差異点を中心に説明する。
図13の様に、監視領域が道路1301である場合には、道路との関係を考慮した形式に特徴量を変換した方が、解析処理で取り扱いやすい場合がある。そこで、道路位置情報1303を地図データベース等から取得し、その道路情報1303を用いて仮想視点1304を構成する。道路位置情報1303から道路1301中の白線1302の位置を抽出し、白線1302が仮想視点の視線の中心となる様に仮想視点を決定する。仮想視点の決定では、まず、各監視カメラ1305の設置情報から、カメラの視線と地面の交点1306を求める。次に求めた交点1306に最も近い白線1302上の点1307を求める。この点1307が視線の中心になるカメラの設置位置のうち、高さが仮想設置状態301の地面からの高さ302に一致し、角度が仮想設置状態301の地面からの角度303と一致する位置を仮想視点1304とする。この仮想視点1304とカメラ1305の設置位置の差が、カメラ1305から仮想視点1304への並進移動量1308となる。ここでは白線1302の位置情報は道路位置情報1303から抽出したが、ハフ変換等を用いた画像処理により、監視映像から自動的に抽出してもよい。
以上の様に、全てのカメラに対する仮想視点を設定することで、実施例1の効果に加え、全てのカメラから得られる特徴量が道路と関連付けられた形に変換されるため、解析処理で特徴量を扱いやすくなる。
本発明は上記した実施例の形態に限定されるものではなく、様々な変形例が含まれる。上記実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることもできる。また、ある実施例の構成に他の実施例の構成を加えることもできる。また、各実施例の構成の一部について、他の構成を追加・削除・置換することもできる。
上記各構成、機能、処理部、処理手段等は、それらの一部や全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、SSD(Solid State Drive)等の記録装置、ICカード、SDカード、DVD等の記録媒体に格納することができる。
101:監視対象、
102:監視カメラ、
104:動き特徴量、
106:仮想設置状態、
107:仮想視点、
109:変換後の動き特徴量、
111:データベース、
200:映像監視装置、
201:仮想設置状態情報、
202:監視カメラ設置情報、
203:仮想視点生成部、
204:変換方法決定部、
205:監視カメラからの映像、
206:動き特徴量抽出部、
207:特徴量変換部、
208:特徴量解析部、
209:解析結果提示部、
210:仮想視点情報、
211:変換方法、
801:演算処理装置、
802:記録装置、
803:入出力装置、
804:ユーザインターフェース、
805:表示装置、
806:監視カメラ、
807:録画装置、
901:映像解析サーバー、
902:監視モニター、
904、906、909:ネットワーク、
907:仮想設置状態情報設定クライアント、
1001:仮想設置状態入力ウィンドウ。

Claims (13)

  1. 複数のカメラからの映像を受信し、前記映像を構成する複数のフレームから動き特徴量を抽出する抽出部と、
    前記抽出部からの抽出結果を蓄積する記憶部と、
    抽出した前記動き特徴量を変換する変換部と、
    変換後の前記動き特徴量を解析する解析部と、を有し、
    前記変換部は、複数のカメラの座標軸とは異なる仮想座標軸を保持し、仮想座標軸系における仮想視点を計算することにより特徴量を変換することを特徴とする映像監視システム。
  2. 請求項1に記載の映像監視システムであって、
    前記変換部は、
    前記カメラの設置情報から、それぞれの前記カメラの視線軸と地面との交点の位置を算出し、前記交点が視線の中心となる前記カメラの位置のうち仮想的な前記カメラの設置状態と実際の前記カメラ設置状態とが一致する位置を前記仮想視点として生成する
    ことを特徴とする映像監視システム。
  3. 請求項1に記載の映像監視システムであって、
    前記変換部は、
    前記抽出部が抽出した前記動き特徴量の実空間上の3次元位置を推定する3次元位置推定部と、
    前記仮想視点を用いて前記動き特徴量の変換に用いる変換方法を決定する変換方法決定部と、
    推定された前記3次元位置と、決定された変換方法を用いて、前記動き特徴量の座標変換を行う座標変換部と、をさらに有する
    ことを特徴とする映像監視システム。
  4. 請求項3に記載の映像監視システムであって、
    複数の前記変換部と、
    前記解析部からの解析結果を提示する提示部と、をさらに備え
    前記提示部で提示する解析結果を、制御信号によって切り替える
    ことを特徴とする映像監視システム。
  5. 請求項2に記載の映像監視システムであって、
    入力された道路情報から白線の位置を抽出し、前記交点と最も近い白線上の点を算出し、前記白線上の点が視線の中心となるカメラの位置のうち仮想的な設置状態と実際の前記カメラの設置状態とが一致する位置を仮想視点として生成する
    ことを特徴とする映像監視システム。
  6. 請求項1記載の映像監視システムであって、
    前記変換部で用いる前記仮想視点を設定するユーザインターフェースと、をさらに有する
    ことを特徴とする映像監視システム。
  7. 複数のカメラからの映像を受信し、前記映像を構成する複数のフレームから動き特徴量を抽出する抽出ステップと、
    前記抽出ステップからの抽出結果を蓄積する記憶ステップと、
    抽出した前記動き特徴量を変換する変換ステップと、
    変換後の前記動き特徴量を解析する解析ステップと、を有し、
    前記変換ステップは、複数のカメラの座標軸とは異なる仮想座標軸を保持し、仮想座標軸系における仮想視点を計算することにより特徴量を変換することを特徴とする映像監視方法。
  8. 請求項7に記載の映像監視方法であって、
    前記変換ステップは、
    前記カメラの設置情報から、それぞれの前記カメラの視線軸と地面との交点の位置を算出し、前記交点が視線の中心となる前記カメラの位置のうち仮想的な前記カメラの設置状態と実際の前記カメラ設置状態とが一致する位置を前記仮想視点として生成する
    ことを特徴とする映像監視方法。
  9. 請求項7に記載の映像監視方法であって、
    前記変換ステップは、
    前記抽出ステップが抽出した前記動き特徴量の実空間上の3次元位置を推定する3次元位置推定ステップと、
    前記仮想視点を用いて前記動き特徴量の変換に用いる変換方法を決定する変換方法決定ステップと、
    推定された前記3次元位置と、決定された変換方法を用いて、前記動き特徴量の座標変換を行う座標変換ステップと、をさらに有する
    ことを特徴とする映像監視方法。
  10. 請求項9に記載の映像監視方法であって、
    複数の前記変換ステップと、
    前記解析ステップによる解析結果を提示する提示ステップと、をさらに備え
    前記提示ステップで提示する解析結果を、制御信号によって切り替える
    ことを特徴とする映像監視方法。
  11. コンピュータに以下のステップを実現させるためのプログラムを記録したコンピュータ読み取り可能な情報記録媒体であって、
    複数のカメラからの映像を受信し、前記映像を構成する複数のフレームから動き特徴量を抽出する抽出ステップと、
    前記抽出ステップからの抽出結果を蓄積する記憶ステップと、
    抽出した前記動き特徴量を変換する変換ステップと、
    変換後の前記動き特徴量を解析する解析ステップと、を有し、
    前記変換ステップは、複数のカメラの座標軸とは異なる仮想座標軸を保持し、仮想座標軸系における仮想視点を計算することにより特徴量を変換すること
    を特徴とするプログラムが記録されている情報記録媒体。
  12. 請求項11に記載の情報記録媒体であって、
    前記変換ステップは、
    前記カメラの設置情報から、それぞれの前記カメラの視線軸と地面との交点の位置を算出し、前記交点が視線の中心となる前記カメラの位置のうち仮想的な前記カメラの設置状態と実際の前記カメラ設置状態とが一致する位置を前記仮想視点として生成する
    ことを特徴とするプログラムが記録されている情報記録媒体。
  13. 請求項11に記載の情報記録媒体であって、
    前記変換ステップは、
    前記抽出ステップが抽出した前記動き特徴量の実空間上の3次元位置を推定する3次元位置推定ステップと、
    前記仮想視点を用いて前記動き特徴量の変換に用いる変換方法を決定する変換方法決定ステップと、
    推定された前記3次元位置と、決定された変換方法を用いて、前記動き特徴量の座標変換を行う座標変換ステップと、をさらに有する
    ことを特徴とするプログラムが記録された情報記録媒体。
JP2015522362A 2013-06-14 2013-06-14 映像監視システム、監視装置 Active JP6182607B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/066418 WO2014199505A1 (ja) 2013-06-14 2013-06-14 映像監視システム、監視装置

Publications (2)

Publication Number Publication Date
JPWO2014199505A1 JPWO2014199505A1 (ja) 2017-02-23
JP6182607B2 true JP6182607B2 (ja) 2017-08-16

Family

ID=52021835

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015522362A Active JP6182607B2 (ja) 2013-06-14 2013-06-14 映像監視システム、監視装置

Country Status (6)

Country Link
US (1) US10491863B2 (ja)
EP (1) EP3010229B1 (ja)
JP (1) JP6182607B2 (ja)
CN (1) CN105284108B (ja)
DK (1) DK3010229T3 (ja)
WO (1) WO2014199505A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6539253B2 (ja) * 2016-12-06 2019-07-03 キヤノン株式会社 情報処理装置、その制御方法、およびプログラム
WO2018123801A1 (ja) * 2016-12-28 2018-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル配信方法、三次元モデル受信方法、三次元モデル配信装置及び三次元モデル受信装置
JP6815935B2 (ja) * 2017-06-05 2021-01-20 日立オートモティブシステムズ株式会社 位置推定装置
JP6482696B2 (ja) 2017-06-23 2019-03-13 キヤノン株式会社 表示制御装置、表示制御方法、およびプログラム
JP2019102907A (ja) * 2017-11-30 2019-06-24 キヤノン株式会社 設定装置、設定方法、及びプログラム
US11113887B2 (en) * 2018-01-08 2021-09-07 Verizon Patent And Licensing Inc Generating three-dimensional content from two-dimensional images
JP7164968B2 (ja) * 2018-05-07 2022-11-02 キヤノン株式会社 画像処理装置、画像処理装置の制御方法及びプログラム
JP7277085B2 (ja) * 2018-07-04 2023-05-18 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP7123736B2 (ja) * 2018-10-23 2022-08-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP7423196B2 (ja) * 2019-05-09 2024-01-29 キヤノン株式会社 撮像装置、撮像システム、およびその制御方法
JP7358078B2 (ja) * 2019-06-07 2023-10-10 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及び、プログラム
JP2021179728A (ja) * 2020-05-12 2021-11-18 株式会社日立製作所 映像処理装置、及び、その方法
JP7482011B2 (ja) * 2020-12-04 2024-05-13 株式会社東芝 情報処理システム

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US5912700A (en) * 1996-01-10 1999-06-15 Fox Sports Productions, Inc. System for enhancing the television presentation of an object at a sporting event
US6567116B1 (en) * 1998-11-20 2003-05-20 James A. Aman Multiple object tracking system
US7796162B2 (en) * 2000-10-26 2010-09-14 Front Row Technologies, Llc Providing multiple synchronized camera views for broadcast from a live venue activity to remote viewers
US6816185B2 (en) * 2000-12-29 2004-11-09 Miki Harmath System and method for judging boundary lines
JP3814779B2 (ja) * 2001-03-27 2006-08-30 三菱電機株式会社 侵入者自動追尾方法および装置並びに画像処理装置
US7143083B2 (en) * 2001-06-12 2006-11-28 Lucent Technologies Inc. Method and apparatus for retrieving multimedia data through spatio-temporal activity maps
US7173672B2 (en) * 2001-08-10 2007-02-06 Sony Corporation System and method for transitioning between real images and virtual images
US6950123B2 (en) * 2002-03-22 2005-09-27 Intel Corporation Method for simultaneous visual tracking of multiple bodies in a closed structured environment
JP4192680B2 (ja) * 2003-05-28 2008-12-10 アイシン精機株式会社 移動体周辺監視装置
EP1757087A4 (en) * 2004-04-16 2009-08-19 James A Aman AUTOMATIC VIDEO RECORDING OF EVENTS, PURSUIT AND CONTENT PRODUCTION SYSTEM
KR100603601B1 (ko) * 2004-11-08 2006-07-24 한국전자통신연구원 다시점 콘텐츠 생성 장치 및 그 방법
EP2200313A1 (en) * 2004-11-12 2010-06-23 Saab Ab Image-based movement tracking
US9182228B2 (en) * 2006-02-13 2015-11-10 Sony Corporation Multi-lens array system and method
EP1862969A1 (en) 2006-06-02 2007-12-05 Eidgenössische Technische Hochschule Zürich Method and system for generating a representation of a dynamically changing 3D scene
US8385658B2 (en) * 2007-07-27 2013-02-26 Sportvision, Inc. Detecting an object in an image using multiple templates
US20090113505A1 (en) * 2007-10-26 2009-04-30 At&T Bls Intellectual Property, Inc. Systems, methods and computer products for multi-user access for integrated video
US8049750B2 (en) * 2007-11-16 2011-11-01 Sportvision, Inc. Fading techniques for virtual viewpoint animations
US8184855B2 (en) * 2007-12-10 2012-05-22 Intel Corporation Three-level scheme for efficient ball tracking
US9185361B2 (en) * 2008-07-29 2015-11-10 Gerald Curry Camera-based tracking and position determination for sporting events using event information and intelligence data extracted in real-time from position information
IL207116A (en) * 2009-08-10 2014-12-31 Stats Llc Location tracking method and method
US9286720B2 (en) * 2009-08-20 2016-03-15 Northrop Grumman Systems Corporation Locative video for situation awareness
JP5470111B2 (ja) 2010-03-15 2014-04-16 オムロン株式会社 監視カメラ端末
US9600760B2 (en) * 2010-03-30 2017-03-21 Disney Enterprises, Inc. System and method for utilizing motion fields to predict evolution in dynamic scenes
JP5645450B2 (ja) * 2010-04-16 2014-12-24 キヤノン株式会社 画像処理装置および方法
US20110298988A1 (en) * 2010-06-04 2011-12-08 Toshiba Alpine Automotive Technology Corporation Moving object detection apparatus and moving object detection method
US8532367B2 (en) * 2010-08-17 2013-09-10 Raytheon Company System and method for 3D wireframe reconstruction from video
JP5525495B2 (ja) * 2011-08-30 2014-06-18 株式会社日立製作所 映像監視装置、映像監視方法およびプログラム
US8457357B2 (en) * 2011-11-09 2013-06-04 Disney Enterprises, Inc. Relative pose estimation of non-overlapping cameras using the motion of subjects in the camera fields of view

Also Published As

Publication number Publication date
DK3010229T3 (en) 2019-03-18
US10491863B2 (en) 2019-11-26
CN105284108B (zh) 2019-04-02
EP3010229A1 (en) 2016-04-20
CN105284108A (zh) 2016-01-27
EP3010229A4 (en) 2017-01-25
US20160127692A1 (en) 2016-05-05
JPWO2014199505A1 (ja) 2017-02-23
WO2014199505A1 (ja) 2014-12-18
EP3010229B1 (en) 2019-02-06

Similar Documents

Publication Publication Date Title
JP6182607B2 (ja) 映像監視システム、監視装置
JP7282851B2 (ja) 装置、方法及びプログラム
US10810438B2 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
CN105493154B (zh) 用于确定增强现实环境中的平面的范围的系统和方法
EP3511903A1 (en) Three-dimensional model generating device and three-dimensional model generating method
RU2607774C2 (ru) Способ управления в системе захвата изображения, устройство управления и машиночитаемый носитель данных
KR101181967B1 (ko) 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템
CN108594999B (zh) 用于全景图像展示系统的控制方法和装置
JP2018160219A (ja) 移動経路予測装置、及び移動経路予測方法
KR20190118619A (ko) 보행자 추적 방법 및 전자 디바이스
JP2014106681A5 (ja)
JP7029902B2 (ja) 映像通話品質測定方法およびシステム
TW201424345A (zh) 相機位置姿態評價裝置、相機位置姿態評價方法
JP2010237804A (ja) 画像検索システム及び画像検索方法
JP2018026064A (ja) 画像処理装置、画像処理方法、システム
WO2014182898A1 (en) User interface for effective video surveillance
JP7043601B2 (ja) 環境モデルを生成するための方法および装置ならびに記憶媒体
JP7103229B2 (ja) 不審度推定モデル生成装置
US20160110909A1 (en) Method and apparatus for creating texture map and method of creating database
KR101563736B1 (ko) 가상자원의 위치정보 매핑 방법 및 장치
KR101036107B1 (ko) 고유식별 정보를 이용한 증강 현실 구현시스템
KR20160039447A (ko) 스테레오 카메라를 이용한 공간분석시스템
KR20210055381A (ko) 스마트 디스플레이를 통해 증강 현실 컨텐츠를 제공하는 장치, 방법 및 컴퓨터 프로그램
CN111754543A (zh) 图像处理方法、装置及系统
US20210248778A1 (en) Image processing apparatus, detection method, and non-transitory computer readable medium

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170718

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170724

R150 Certificate of patent or registration of utility model

Ref document number: 6182607

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150