JP6385601B2 - 歩行者の流動を求める方法及びシステム - Google Patents

歩行者の流動を求める方法及びシステム Download PDF

Info

Publication number
JP6385601B2
JP6385601B2 JP2017566430A JP2017566430A JP6385601B2 JP 6385601 B2 JP6385601 B2 JP 6385601B2 JP 2017566430 A JP2017566430 A JP 2017566430A JP 2017566430 A JP2017566430 A JP 2017566430A JP 6385601 B2 JP6385601 B2 JP 6385601B2
Authority
JP
Japan
Prior art keywords
coopman
flow
operator
rank
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017566430A
Other languages
English (en)
Other versions
JP2018520435A (ja
Inventor
マンソール、ハッサン
ディクル、カグラヤン
ティアン、ドン
ベノスマン、ムハシーン
ヴェトロ、アンソニー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JP2018520435A publication Critical patent/JP2018520435A/ja
Application granted granted Critical
Publication of JP6385601B2 publication Critical patent/JP6385601B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/49Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、包括的には、コンピュータービジョンに関し、より詳細には、ビデオに示さるような流動において歩行者をセグメント化することに関する。
ビデオにおける歩行者の密集した群集内のモーション(motion:動作)フローのセグメンテーションは、群集の安全確保及び雑踏警備の用途において不可欠なツールである。混雑シーンのビデオは、通常の状況下であっても複雑な群集の挙動を示す可能性がある。例えば、鉄道の駅等の大きな密集エリアにおける群集流動は、最初は無秩序に見える可能性がある。しかしながら、一定の構造を持たない流動から識別及びセグメント化することが望ましい低次元の動的構造が流動に存在することはよくあることである。その上、独立した群集流動の自動セグメンテーションは、混雑した環境における危険な状況のモニタリング及び予測に役立つ。
特に関心があることは、ビデオから抽出されたモーション情報を用いた群集流動の検出及び推定である。モーションベクトル(motion vector:動作ベクトル、動きベクトル)は、ビデオにおけるテクスチャ、すなわちピクセル強度に適用されるオプティカルフロー推定を用いて求めることもできるし、モーションベクトルは、ビットストリームから直接抽出することもできる。ビットストリームは、よく知られた符号化標準規格、例えば、MPEG、H.264、HEVC等のうちの任意のものを用いて符号化することができる。
混雑シーンにおける歩行者を流動内の粒子とみなすと、ビデオフレームのモーションベクトルは、その流動における或る時刻の粒子の速度の観測値に対応する。ビデオテクスチャの代わりにモーションベクトルを処理することによって、監視ビデオにおいて観察される個人のプライバシーが保護される。
特許文献1は、監視ビデオにおいて独立したモーションを検出する方法を開示している。この方法は、テクスチャ勾配をモーションベクトルと比較することによってビデオのマクロブロックから線形システムを構築する。独立した流動は、モーションが線形システムに対して統計的異常値としてフラグ付けされるときに検出される。
特許文献2は、形状インデクシングを用いたビデオにおける群集セグメンテーションの方法を開示している。背景差分がビデオに対して実行され、前景シルエット形状が識別される。前景シルエット形状を、予め設定された前景シルエット形状のセットと照合することよって、人々の近似的な数及び位置が求められる。
ダイナミカルシステム(dynamical system:動的システム)のモデル化
歩行者の群集の密度が高いとき、群集内の個人のモーションは、流体流動としてモデル化することができる。群集解析に一般に用いられる1つのそのようなモデルは、ヒューズ(Hughes)モデルである。これについては、非特許文献1を参照されたい。
ヒューズは、以下の式のように、群集流動を密度ρ(x,y,t)と、速度(u(x,y,t)及びv(x,y,t))との関数としてモデル化する。
Figure 0006385601
ここで、u(x,y,t)及びv(x,y,t)は、あらゆる空間点(x,y)及び時刻tの水平方向及び垂直方向におけるそれぞれの速度である。グリーンシールド(Greenshields)モデルも、群集モデル化において密度場と速度場とを関係付けるのに用いることができる。グリーンシールドモデルは、以下のとおりである。
Figure 0006385601
ここで、
Figure 0006385601
及び
Figure 0006385601
は、水平方向及び垂直方向における最大速度を決定するシステムパラメーターであり、
Figure 0006385601
は、シーンにおける最大密度である。
(1)の解は、所与の初期条件及び境界条件を満たす全ての(x,y,t)の群集密度マップρ及び速度場(u,v)を与える。ρ及び(u,v)の展開を律則する微分方程式の次元数は無限であり得るが、流動は低次元の挙動を示す場合が多い。
時刻tにおける低次元状態変数がx(t)であり、このx(t)について、可観測ベクトルy(t)=G(x(t))は、時刻tにおける全ての位置x及びyの密度場及び速度場のスタッキングに対応する。関数Gは、xが展開する低次元多様体から可観測値の空間へのマッピングである。その場合、(1)の解は、以下の式によって一般に特徴付けられる対応するダイナミカルシステムの過渡応答及び安定性を決定する。
Figure 0006385601
ここで、F(・)は、ダイナミカルシステムが展開する低次元多様体における或るマッピングである。離散時間システムの場合、ダイナミカルシステムの展開は、以下の式によって特徴付けられる。
Figure 0006385601
ここで、kは時間インデックスである。
コープマン演算子及び動的モード分解
コープマン演算子は、以下の式を満たす線形演算子Kである。
Figure 0006385601
このダイナミカルシステムは非線形であり、有限次元多様体を展開させるが、コープマン演算子は線形であり、無限(infinitely)次元を有する。コープマン演算子のスペクトル解析は、コープマンモードと、対応するコープマンモードの時間的挙動を求める関連付けられたコープマン固有値との点から流動を分解するのに用いることができる。
動的モード分解(DMD)は、コープマンモードを推定するのに用いることができる。DMDは、流体ダイナミクス(fluid dynamics:流体力学)において、システムダイナミクスを識別するデータ駆動型方程式フリー法として用いられてきた。以下のデータ行列を検討する。
Figure 0006385601
DMDは、以下の関係を満たす最良適合行列Kを求める。
Figure 0006385601
Kの固有ベクトル及び固有値は、コープマンモード及びコープマン固有値を近似する。本明細書において、コープマンモード及びDMDモードという用語は、区別なく用いられる。
米国特許第8773536号 米国特許第8358806号
Hughes、「A continuum theory for the flow of pedestrians」、Transportation Research Part B: Methodological、Volume 36、Issue 6、Pages 507-535、July 2002
本発明の実施の形態は、ビデオカメラによってシーンから取得されたビデオ内のモーションベクトルに基づいて、シーン内の歩行者流動をセグメント化する方法及びシステムを提供する。これらのモーションベクトルは、入力データ行列に編成されたシーン内の流動を規定する基礎をなすダイナミカルシステムの可観測値として扱われる。本方法は、モーションベクトルを用いてダイナミカルシステムを特徴付ける低ランクコープマン演算子を求める。次に、コープマン演算子のスペクトルが解析されて、シーン内の独立した流動がセグメント化される。
本発明の1つの実施の形態では、低ランクコープマン演算子が、動的モード分解(DMD)のワンステップ予測方程式による制約を受ける核ノルム最小化問題を解くことによって求められる。雑音の分布の近似的な正則化項を選択することによって、雑音の影響を最小化することができる。例えば、フロベニウスノルム正則化項又はユークリッドノルム正則化項は、ガウス分布雑音に用いることができる。絶対値和ノルム正則化項又は1ノルム正則化項は、スパースインパルス性雑音に用いることができる。双方のタイプの雑音が存在する場合、最適化中に2つの正則化項を用いることができる。
本発明の1つの実施の形態は、コープマン演算子の特異値分解(SVD)を実行する。次に、非ゼロの特異値に対応する行空間(左側)特異ベクトルを用いて、ビデオ内のブロックが、独立した流動に対応するセグメントとしてクラスタリングされる。別の実施の形態では、コープマン演算子の固有ベクトルが求められ、入力データ行列がこれらの固有ベクトル上に射影される。次に、閾値よりも大きな大きさの射影係数を有する固有ベクトルを用いて、ブロックがクラスタリングされ、独立した流動がセグメント化される。
本発明の別の実施の形態は、各流動のダイナミクスを記述する固有ベクトルの固有値に従って動的レジーム(dynamical regime:動的領域、力学的状態)を識別することによって、セグメント化された歩行者流動を特徴付ける。セグメント化された流動データは、コープマン演算子の固有ベクトル上に射影され、閾値よりも大きな大きさの射影係数を有する固有ベクトルに関連付けられた固有値を用いて、動的レジームが規定される。動的レジームは、例えば、安定又は不安定として流動のタイプを特徴付ける。
本発明の実施形態による、シーンから取得されたビデオにおける歩行者流動をセグメント化するシステム及び方法の概略図である。 本発明の実施形態による、コープマンモードを求める方法のフロー図である。 本発明の実施形態による、コープマンモードを用いて独立した流動をセグメント化する方法のフロー図である。 セグメント化された独立した歩行者流動を特徴付ける方法のフロー図である。
図1に示すように、本発明の実施形態は、シーンから取得されたビデオにおける歩行者流動をセグメント化するシステム及び方法を提供する。これらの実施形態は、符号化ビットストリームから抽出されたモーションベクトルを用いることができる。ただし、モーションベクトルは、他の手段によって取得することもできる。モーションベクトルは、シーン内の流動を特徴付ける幾つかの独立したダイナミクスからなる基礎をなすダイナミカルシステムの可観測値として扱われる。本方法は、モーションベクトルを用いてダイナミカルシステムを特徴付ける低ランクコープマン演算子を求める。次に、コープマン演算子のスペクトルが、特異値分解(SVD)又は固有値分解を用いて解析される。独立した群集流動は、用いられる分解に応じて、支配的な特異ベクトル又は支配的な固有ベクトルをクラスタリングすることによって求められる。
システム及び方法の概略
図1に示すように、ビデオ101は、ビデオカメラ103を用いてシーン102内の歩行者から取得される。このビデオは、フレームのセットを含む。各フレームは、通常はモーションベクトルを符号化したブロックのセットを含む。各フレームk 104は、当該技術分野において知られているように、入力/出力バスによってメモリ及びカメラに接続されたプロセッサ100において動作する方法によって処理される。ビデオは、符号化ビットストリームの形態にある。
一利点として、符号化ビットストリームは、通常、少なくとも2桁以上圧縮される。したがって、ビットストリームを処理するのに要する記憶量及び時間ははるかに少ない。加えて、ピクセルを取得するのにビットストリームを復号化する必要がないように、本方法はブロックレベルにおいて動作することができる。ただし、本方法は、カメラにおいて動作することもでき、他の手段によってモーションベクトルを取得することもできる。
本方法は、ビデオ、例えば、ビットストリーム内のブロックからモーションベクトル105を抽出し(110)、以下でより詳細に説明するように、これらのモーションベクトルをスタックすることによってデータ行列111を構築する。
低ランクコープマン演算子121が、データ行列111から求められる(120)。低ランクコープマン演算子のスペクトルが解析されて、支配的なコープマンモード131が求められる。次に、これらのコープマンモードを用いて、ビデオのフレーム内のブロックをセグメント化し(300)、独立した流動109を取得することができる。
図2は、スペクトルを解析してコープマンモード131を求めるのに用いられるステップ200を示している。これらのステップは、特異ベクトル211を取得するSVD210若しくは固有ベクトルを求める固有値分解、又は双方を含む。ステップ240は、射影係数を求め、次に、これらの射影係数が用いられて、固有ベクトルが選択される(250)。次に、特異ベクトル若しくは選択された固有ベクトル、又は双方を用いて、コープマンモード131を求めることができる。
図3は、ピクセルをセグメント化するステップ200を示している。これらのステップは、入力としてコープマンモード131を取り込む。モーションベクトルが、k平均クラスタリング310又はグラフスペクトルクラスタリング320を用いてクラスタリングされて、独立した流動109が取得される。
図4は、流動の動的レジームを求めることによって、各セグメント化された流動を特徴付けるステップ400を示している。これらの動的レジームは、流動を本質的に特徴付ける。これらのステップは、入力として、コープマン固有ベクトル221と、データ行列111と、セグメント化された流動109とを取り込む。データ行列111の行のサブセット401が、セグメント化された流動109を用いて抽出される。行のサブセット401は、コープマン固有ベクトル221上に射影されて、射影係数411が求められる(410)。固有値選択ステップ420は、閾値よりも大きな大きさを有する射影係数を有する固有ベクトルに対応する固有値を選択する。これらの選択された固有値によって、流動の動的レジーム又は流動特性421が識別される。
次に、上記ステップの詳細を説明する。
モーションベクトル及び可観測データ行列
ビデオフレームk 104内の全ての空間ブロックの水平モーションベクトル及び垂直モーションベクトルは、それぞれ、u及びvである。これらの水平モーションベクトル及び垂直モーションベクトルをデータ行列111にスタックすることによって、データ行列z=[u,v]111が構築される。次に、コープマン演算子Kを用いて、このデータをワンステップ予測モデルに適合させることによって、これらのモーションベクトルの時間的展開(temporal evolution:時間発展)を以下の式のようにモデル化することができる。
Figure 0006385601
(8)は、同じ演算子Kがモーションベクトルu及びvの時間的展開をモデル化することを保証していることに注目されたい。
m+1個のビデオフレームからのモーションベクトルのm+1個の観測値がある場合、(6)と同様のデータ行列Z及びZを形成し、最小二乗適合を達成する演算子Kls、すなわち以下の式を求めることによって、動的モード分解(DMD)を用いて演算子Kを求めることができる。
Figure 0006385601
ここで、上付き文字は、行列のムーア・ペンローズ(Moore-Penrose)擬似逆行列を示す。
モーションベクトルが、ビデオ内の歩行者の真のモーションに対応する場合、演算子Klsは、システムにおける流動の全ダイナミクスを特徴付ける。しかしながら、圧縮領域モーションベクトルは、一般に、非常に雑音が多く、多くの場合、真のモーションに対応していないモーションベクトルを含む。この雑音は、ビデオ符号器による特定のレート歪み最適化に依存する。
低ランクDMD
雑音のない速度観測値yは、シーン内の歩行者の真のモーションを測定したものであり、モーションベクトルzは、雑音を有する観測値に対応し、これらは、以下のような関係となる。
Figure 0006385601
ここで、eは付加雑音である。(6)のようにe及びyの代わりにそれぞれE、E及びY、Yを用いることにする。その場合、雑音のないダイナミクスに対応するコープマン演算子は、以下のように全最小二乗制約によって与えられる。
Figure 0006385601
しかしながら、問題(11)は、非凸かつ不良設定である。なぜならば、Z及びZしか観測されず、K、E及びEは未知であるからである。この状況を修復するために、本発明者らの問題に次の前提条件が与えられる。非常に複雑なシステムは、低次のダイナミクスによって正確にモデル化することができる。これは、換言すれば、雑音のないシステムの展開をモデル化する演算子Kが低ランクを有するという前提条件になる。
第2の前提条件は、行列E及びEの定義から派生するものである。サイズ(m−1)×(m−1)の単位行列をIm−1によって表し、m個の列を有する行列の最初の列及び最後の列を除去する選択演算子を、それぞれ
Figure 0006385601
及び
Figure 0006385601
とすると、E及びEは以下の関係を満たす。
Figure 0006385601
全最小二乗制約を有する低ランクDMD(LR−DMDtls)は、以下のように定義される。
Figure 0006385601
ここで、eは、Eにおける最初の列であり、γは、正則化パラメーターであり、||K||は、行列Kの特異値の和に等しい核ノルムである。
ビデオフレーム内のモーションブロックの数がNである場合、演算子KのサイズはN×Nであり、高解像度ビデオの演算子Kを記憶すること及び求めることが困難になる可能性がある。したがって、計算複雑度を低減するために、Kは、K=LRとなるようなランクrの因数
Figure 0006385601
及び
Figure 0006385601
に置き換えられる。以下の式のように、行列の核ノルムを、その低ランク因数のフロベニウスノルムの二乗の平均に置き換える核ノルムプロキシ(nuclear norm proxy)が用いられる。
Figure 0006385601
その結果、低ランクDMDは、以下のように定式化することができる。
Figure 0006385601
この式は、乗算器の交互方向法(ADMM)を用いて解かれる。
(15)に規定された問題は、雑音がガウス分布である場合を取り扱う。測定値Zが異常値スパース雑音を含む場合、以下の式を用いて、問題が解かれる。
Figure 0006385601
ここで、変数S及びSは、データ内の異常値雑音を表し、γ及びλは、正則化パラメーターである。(16)の解は、ADMM手順を用いて取得することもできる。
流動セグメンテーション
独立したダイナミクスを有する種々の流動をセグメント化する(300)ために、推定された低ランクコープマン演算子K=LRのスペクトルが評価される。ここで、セグメンテーションを実行する種々のシナリオを検討することにする。
特異値分解によるセグメンテーション
第1の手法では、コープマン演算子KのSVD210を実行して、K=UΣ となるような行空間特異ベクトルU211を抽出することができる。行列UはN×r行列であり、ここで、rは演算子Kのランクである。Uの行は、ピクセルを予め設定された個数nのクラスターにセグメント化するために、図3に示すようなk平均クラスタリング310が適用されるビデオフレーム内のあらゆるピクセルの特徴ベクトルとして取り扱われる。次に、クラスタリングされたピクセルを用いて、ビデオ101に観測されるシーン102内の独立した流動109の空間セグメンテーションを求めることができる。
代替的に、スペクトルクラスタリングを行列Uの行に適用することができる。このとき、Uの行は正規化されて、行列
Figure 0006385601
が生成され、アフィニティー行列
Figure 0006385601
が構築される。ここで、指数は、この場合に要素ごとに適用される。次に、以下のステップが適用されて、対応するグラフラプラシアンの主要な固有ベクトルが求められる。
Figure 0006385601
ここで、
Figure 0006385601
は、全てが1のベクトルであり、最初のdiag(・)は、Aの対角エントリーのみを抽出し、2番目の
Figure 0006385601
は、Aの行を加算し、その結果を行列の対角に配置する。
次に、LのSVDを求めて、最初のn個の行空間特異ベクトルUが抽出される。Uの最初の特異ベクトルは全て1であり、そのため、このベクトルは除去され、次に、Uにおける残りのベクトルの行が正規化される。
最後に、k平均クラスタリング310をUの行に適用して、独立した流動109が求められる。スペクトルクラスタリング手法は、k平均クラスタリングをUの行に直接適用するよりも良好な結果を提供するが、大きなN×Nアフィニティー行列を構築するには、より大きなものを必要とする。
固有値分解によるセグメンテーション
第2の手法では、Kの固有値分解220を求めて、K=UΛ となるような固有ベクトルU221及び固有値Λが取得される。Kの固有ベクトルはダイナミカルシステムのコープマンモードを推定することを想起されたい。データ行列Zから、ZをU上に射影し、ベクトル
Figure 0006385601
における射影係数の大きさを平均することによって、アクティブモードが識別される。これらのアクティブモードは、閾値よりも大きな大きさを有するαにおけるエントリーに対応するUの列である。
アクティブモードを含む行列はUである。k平均クラスタリングをUの正規化された行に適用することによって、セグメンテーションが実行される。各クラスターを用いて識別されたピクセルは、ビデオ内の独立した流動に対応する。
流動特徴付け
各セグメント化された流動は、流動のタイプが、例えば、安定又は不安定としてラベル付けされるように、動的レジームに従って特徴付けることができる。動的レジームは、その流動内のモーションに最も大きく寄与するKの固有値の位置に依存する。これらの固有値を求めるために、セグメント化された流動fに関連付けられたデータ行列の行のサブセットZが固有ベクトルU上に射影され、射影係数
Figure 0006385601
が求められる。閾値よりも大きな大きさを有する、αにおけるエントリーに対応する固有値は、流動に関連付けられる。
複素平面における固有値の位置を用いて、流動のレジーム(regime:様式)が求められる。例えば、安定した流動は、単位円に位置する固有値を有する一方、不安定な流動は、単位円の外部に位置する固有値を有する。その上、次第に減衰する過渡流動は、単位円の内部に位置する固有値を有する。また、固有値の複素位相は、流動内のモーションの発振周波数を示す。

Claims (12)

  1. 流動を求める方法であって、
    カメラを用いて前記流動のビデオを取得するステップであって、前記流動はシーン内の歩行者であり、前記ビデオはフレームのセットを含む、ステップと、
    前記セット内の各フレームからモーションベクトルを抽出するステップと、
    前記フレームのセット内の前記モーションベクトルからデータ行列を構築するステップと、
    前記データ行列から低ランクコープマン演算子を求めるステップと、
    前記低ランクコープマン演算子のスペクトルを解析して、コープマンモードのセットを求めるステップと、
    前記コープマンモードのクラスタリングに従って前記フレームを前記流動にセグメント化するステップであって、前記流動は、独立した歩行者流動である、ステップと、
    を含み、前記ステップはプロセッサが実行する、方法。
  2. 前記モーションベクトルは、ガウス分布雑音を含み、
    前記方法は、
    最小二乗制約又は全最小二乗制約を用いて、因数分解核ノルム最小化問題を解くことによって、前記低ランクコープマン演算子を求めることと、
    フロベニウスノルム正則化項によって前記ガウス分布雑音を最小化することと、
    を更に含む、請求項1に記載の方法。
  3. 前記モーションベクトルは、スパース異常値雑音を含み、
    前記方法は、
    1ノルム正則化項によって前記スパース異常値雑音を最小化すること、
    を更に含む、請求項1に記載の方法。
  4. 前記低ランクコープマン演算子の特異値分解(SVD)を実行して、特異ベクトルを生成することと、
    k平均クラスタリング又はグラフスペクトルクラスタリングを前記低ランクコープマン演算子の行空間特異ベクトルに適用することと、
    を更に含む、請求項1に記載の方法。
  5. 前記低ランクコープマン演算子の固有値分解を実行して、固有ベクトルを生成することと、
    前記データ行列を前記固有ベクトル上に射影することによって射影係数ベクトルを求めることと、
    支配的なコープマンモードを、前記射影係数ベクトルにおいて閾値よりも大きな大きさを有する前記低ランクコープマン演算子の前記固有ベクトルとして求めることと、
    k平均クラスタリングを前記支配的なコープマンモードに適用することによって前記セグメントを求めることと、
    を更に含む、請求項1に記載の方法。
  6. 雑音の分布の正則化項を選択することによって前記雑音を最小化すること、
    を更に含み、
    前記正則化項は、フロベニウスノルム正則化項、ユークリッドノルム正則化項、絶対値和ノルム正則化項、1ノルム正則化項及びそれらの組み合わせからなる群から選択される、請求項1に記載の方法。
  7. 各フレームは空間ブロックを含み、
    前記方法は、
    前記フレームのセットの全ての前記空間ブロックの水平モーションベクトル及び垂直モーションベクトルをスタックして、前記データ行列を構築すること、
    を更に含む、請求項1に記載の方法。
  8. 前記コープマン演算子は、動的モード分解(DMD)によって求められる、請求項1に記載の方法。
  9. 各独立した歩行者流動におけるモーションが特徴付けられ、
    前記方法は、
    前記データ行列の行のサブセットを抽出することと、
    前記行のサブセットを前記コープマンモードのセット上に射影することによって射影係数ベクトルを求めることと、
    閾値よりも大きな大きさを有する前記射影係数ベクトル内のエントリーに関連付けられた前記低ランクコープマン演算子の固有値を求めることと、
    複素平面における前記固有値の位置に従って前記独立した歩行者流動を特徴付けることと、
    を更に含む、請求項1に記載の方法。
  10. 前記ビデオは、圧縮ビットストリームの形態にある、請求項1に記載の方法。
  11. 前記セグメント化することは、前記ビットストリーム内のブロックレベルで行われる、請求項10に記載の方法。
  12. 流動を求めるシステムであって、
    前記流動のビデオを取得するように構成されたカメラであって、前記流動はシーン内の歩行者であり、前記ビデオはフレームのセットを含む、カメラと、
    前記カメラに接続されたプロセッサであって、前記セット内の各フレームからモーションベクトルを抽出することと、前記フレームのセット内の前記モーションベクトルからデータ行列を構築することと、前記データ行列から低ランクコープマン演算子を求めることと、前記低ランクコープマン演算子のスペクトルを解析して、コープマンモードのセットを求めることと、前記コープマンモードのクラスタリングに従って前記フレームを前記流動にセグメント化することであって、前記流動は、独立した歩行者流動である、こととを行うように構成されている、プロセッサと、
    を備える、システム。
JP2017566430A 2015-11-04 2016-10-28 歩行者の流動を求める方法及びシステム Active JP6385601B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/932,113 US9600896B1 (en) 2015-11-04 2015-11-04 Method and system for segmenting pedestrian flows in videos
US14/932,113 2015-11-04
PCT/JP2016/082899 WO2017078172A1 (en) 2015-11-04 2016-10-28 Method and system for determining pedestrian flows

Publications (2)

Publication Number Publication Date
JP2018520435A JP2018520435A (ja) 2018-07-26
JP6385601B2 true JP6385601B2 (ja) 2018-09-05

Family

ID=57589103

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017566430A Active JP6385601B2 (ja) 2015-11-04 2016-10-28 歩行者の流動を求める方法及びシステム

Country Status (5)

Country Link
US (2) US9600896B1 (ja)
JP (1) JP6385601B2 (ja)
CN (1) CN108292355B (ja)
GB (1) GB2558480B (ja)
WO (1) WO2017078172A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9600896B1 (en) * 2015-11-04 2017-03-21 Mitsubishi Electric Research Laboratories, Inc. Method and system for segmenting pedestrian flows in videos
US20170169576A1 (en) * 2015-12-09 2017-06-15 National Taiwan University Crowd intelligence on flow velocity measurement
US10210398B2 (en) * 2017-01-12 2019-02-19 Mitsubishi Electric Research Laboratories, Inc. Methods and systems for predicting flow of crowds from limited observations
CN107992449B (zh) * 2017-12-05 2021-04-30 北京工业大学 一种基于低秩表示的地铁异常流量检测方法
US10909387B2 (en) * 2019-03-28 2021-02-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for predicting dynamical flows from control inputs and limited observations
CN110827316A (zh) * 2019-10-29 2020-02-21 贵州民族大学 人群恐慌四散检测方法、系统、可读存储介质和电子设备
CN111242096B (zh) * 2020-02-26 2023-04-18 贵州安防工程技术研究中心有限公司 基于人数梯度的人群聚集的判别方法
CN111523236A (zh) * 2020-04-24 2020-08-11 哈尔滨工业大学 基于Koopman算子的压电陶瓷迟滞模型线性化辨识方法
CN114332762A (zh) * 2021-12-24 2022-04-12 杭州电子科技大学 基于行人组环块特征提取的人群异常检测方法
CN114077811B (zh) * 2022-01-19 2022-04-12 华东交通大学 一种基于图神经网络的电力物联网设备异常检测方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3377180B2 (ja) * 1998-11-30 2003-02-17 松下電器産業株式会社 画像認識装置
US7595817B1 (en) 2003-02-12 2009-09-29 The Research Foundation Of State University Of New York Linear system based, qualitative independent motion detection from compressed MPEG surveillance video
US20050254546A1 (en) 2004-05-12 2005-11-17 General Electric Company System and method for segmenting crowded environments into individual objects
CN101231755B (zh) * 2007-01-25 2013-03-06 上海遥薇(集团)有限公司 运动目标跟踪及数量统计方法
CN101325690A (zh) 2007-06-12 2008-12-17 上海正电科技发展有限公司 监控视频流中人流分析与人群聚集过程的检测方法及系统
US8358806B2 (en) 2007-08-02 2013-01-22 Siemens Corporation Fast crowd segmentation using shape indexing
JP4966820B2 (ja) * 2007-10-29 2012-07-04 パナソニック株式会社 混雑推定装置および方法
US8744124B2 (en) * 2009-04-01 2014-06-03 Curtin University Of Technology Systems and methods for detecting anomalies from data
US8451384B2 (en) * 2010-07-08 2013-05-28 Spinella Ip Holdings, Inc. System and method for shot change detection in a video sequence
JP5400718B2 (ja) * 2010-07-12 2014-01-29 株式会社日立国際電気 監視システムおよび監視方法
KR101179276B1 (ko) * 2011-06-13 2012-09-03 고려대학교 산학협력단 비정상 집단 행동 탐지 방법 및 장치
US20130136298A1 (en) * 2011-11-29 2013-05-30 General Electric Company System and method for tracking and recognizing people
KR101346773B1 (ko) 2012-03-09 2013-12-31 고려대학교 산학협력단 H.264 압축영역에서의 비정상 군중행동 탐지 및 분석 방법
CN105027550B (zh) * 2012-11-06 2018-04-06 阿尔卡特朗讯公司 用于处理视觉信息以检测事件的系统和方法
JP6304473B2 (ja) * 2013-04-23 2018-04-04 日本電気株式会社 画像処理システム、画像処理方法及びプログラム
CN103235944A (zh) 2013-05-15 2013-08-07 青岛科技大学 人群流分割及人群流异常行为识别方法
CN104091351B (zh) * 2014-06-27 2017-03-15 江苏慧眼数据科技股份有限公司 基于聚类法的人数计数方法
US9674406B2 (en) * 2014-08-15 2017-06-06 University Of Washington Using dynamic mode decomposition for real-time background/foreground separation in video
CN104298969B (zh) * 2014-09-25 2018-06-26 电子科技大学 基于颜色与haar特征融合的人群规模统计方法
JP6336952B2 (ja) * 2015-09-30 2018-06-06 セコム株式会社 群衆解析装置
US9600896B1 (en) * 2015-11-04 2017-03-21 Mitsubishi Electric Research Laboratories, Inc. Method and system for segmenting pedestrian flows in videos

Also Published As

Publication number Publication date
GB2558480A (en) 2018-07-11
US20170140546A1 (en) 2017-05-18
JP2018520435A (ja) 2018-07-26
WO2017078172A1 (en) 2017-05-11
CN108292355A (zh) 2018-07-17
GB2558480B (en) 2019-02-06
CN108292355B (zh) 2019-04-30
US9892520B2 (en) 2018-02-13
GB201806464D0 (en) 2018-06-06
US9600896B1 (en) 2017-03-21

Similar Documents

Publication Publication Date Title
JP6385601B2 (ja) 歩行者の流動を求める方法及びシステム
Thanou et al. Graph-based motion estimation and compensation for dynamic 3D point cloud compression
Javed et al. Stochastic decomposition into low rank and sparse tensor for robust background subtraction
CN113632141B (zh) 用于从控制输入和有限观测预测动力学流的方法和系统
JP2018113026A (ja) 物体の流動の状態を求めるシステム及び方法、並びに非一時的コンピューター可読記憶媒体
WO2015012136A1 (en) Method for segmenting data
Biswas et al. Anomaly detection in compressed H. 264/AVC video
Dicle et al. Robust low rank dynamic mode decomposition for compressed domain crowd and traffic flow analysis
Woodworth et al. Non-local crime density estimation incorporating housing information
JP2012058845A (ja) 画像処理装置および方法、並びにプログラム
Padmavathi et al. Empirical evaluation of suitable segmentation algorithms for IR images
Mohanty et al. A survey on moving object detection using background subtraction methods in video
Murdock et al. Building dynamic cloud maps from the ground up
Surana Koopman operator based nonlinear dynamic textures
CN111105438B (zh) 基于动态模式分解的运动检测方法、终端设备及计算机可读存储介质
Keuper et al. Point-wise mutual information-based video segmentation with high temporal consistency
Yamashita et al. Causal flow
Cai et al. Wild Flame Detection Using Weight Adaptive Particle Filter from Monocular Video
Gaura et al. Resistance-geodesic distance and its use in image segmentation
Li et al. A sparse outliers iterative removal algorithm to model the background in the video sequences
Lo Hyperspectral anomaly detection based on a non-uniform partition of the pixel
Cai et al. Moving segmentation in HEVC compressed domain based on logistic regression
Lo Partitioned correlation model for hyperspectral anomaly detection
Lo Hyperspectral anomaly detection based on a generalization of the maximized subspace model
Athisha et al. Separating Moving Objects from Stationary Background using Dynamic Mode Decomposition

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180710

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180807

R150 Certificate of patent or registration of utility model

Ref document number: 6385601

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250