JP6879894B2 - 物体の流動の状態を求めるシステム及び方法、並びに非一時的コンピューター可読記憶媒体 - Google Patents

Description

本開示は、群集（crowd：群衆、クラウド）予測の方法及びシステムに関し、より詳細には、ダイナミカル（dynamical：動的）システム解析を用いたセグメンテーション及び識別に関する。

限られた観測データから動的流動を完成させることは、群集流動（crowd flow）推定、空気流検知、並びに天候及び海流の予測等の多くの分野において生じる共通の問題である。

例えば、群集流動推定に関して、ビデオにおける歩行者の密集した群集内のモーションフローのセグメンテーションは、群集の安全確保及び雑踏警備の用途において不可欠なツールである。混雑シーンのビデオは、通常の状況下であっても複雑な群集の挙動を示すことができる。例えば、鉄道の駅等の大きな密集エリアにおける群集流動は、最初は無秩序に見えることがある。しかしながら、一定の構造を持たない流動から識別及びセグメント化することが望ましい低次元の動的構造が流動内に存在することはよくあることである。その上、独立した群集流動の自動セグメンテーションは、混雑した環境における危険な状況のモニタリング及び予測に役立つ。

特に関心があることは、ビデオから抽出されたモーション情報を用いた群集流動の検出及び推定である。モーションベクトルは、ビデオにおけるテクスチャ、すなわちピクセル強度に適用されるオプティカルフロー推定を用いて求めることもできるし、モーションベクトルは、ビットストリームから直接抽出することもできる。ビットストリームは、よく知られた符号化標準規格、例えば、ＭＰＥＧ、Ｈ．２６４、ＨＥＶＣ等のうちの任意のものを用いて符号化することができる。

混雑シーンにおける歩行者を流動の中の粒子とみなすと、ビデオフレームのモーションベクトルは、その流動における或る時刻の粒子の速度の観測値に対応する。ビデオテクスチャの代わりにモーションベクトルを処理することによって、監視ビデオにおいて観察される個人のプライバシーが保護される。

特許文献１は、監視ビデオにおいて独立したモーションを検出する方法を開示している。この方法は、テクスチャ勾配をモーションベクトルと比較することによってビデオのマクロブロックから線形システムを構築する。独立した流動は、モーションが線形システムに対して統計的異常値としてフラグ付けされるときに、検出される。

歩行者流動の巨視的モデル
群集流動の巨視的モデルは、群集を流動する連続体とみなし、歩行者の平均的挙動を記述する。モデルパラメーターは、グリッドΩ内の各点における群集の密度ρと、グリッドΩ内の各点における水平速度及び垂直速度（ｕ，ｖ）とである。群集流動の巨視的モデルは、流体ダイナミクス（fluid dynamics：流体力学）のモデルに類似しており、次の仮定、すなわち、（１）各点における歩行者の速度は、その点の周囲の群集の密度によってのみ決まる；（２）歩行者は共通の目的地（見込み）を有する；（３）歩行者は、推定される移動時間を最小化したいと同時に、密度の高いエリアを回避したい、という、複数の仮定によって律則される。

これらの仮定は、以下のＰＤＥに変換することができる。

ここで、ρ（ｘ，ｙ）は、全ての点（ｘ，ｙ）∈Ωにおける密度であり、ｕ（ｘ，ｙ）及びｖ（ｘ，ｙ）はそれぞれ、全ての点（ｘ，ｙ）∈Ωにおける水平速度及び垂直速度であり、

は、（ｘ_０，ｙ_０）が目標位置であり、（ｘ，ｙ）が現在位置である場合の歩行者の目的地を符号化したものである。α及びＫ（スカラー数）はモデルパラメーターである。関数

及び

は、速度の大きさを密度に結合するグリーンシールド（Greenshield）のモデルに従う。これによって、速度又は密度のいずれかのみを用いてダイナミカルシステムを駆動することが可能になる。

コープマン（Koopman）及び動的モード分解
コープマン演算子
離散時間ダイナミカルシステムを（Ｍ，ｎ，Ｆ）とする。ここで、Ｍ⊆Ｒ^Ｎは状態空間であり、ｎ∈Ｚは時間パラメーターであり、Ｆ：Ｍ→Ｍはシステム発展演算子である。コープマン演算子Ｋは、以下のように関数Ｆの空間上で定義される。ここで、Ｆ＝｛φ｜φ：Ｍ→Ｃ｝である。

コープマン演算子は、線形無限次元であり、固有値及び固有関数を許容している。ベクトル値の可観測値

について、コープマン演算子は、コープマンモードも許容している。コープマン演算子は、関数空間（Ｆ，ｎ，Ｋ）上に新規の離散時間ダイナミカルシステムを指定する。Ｋの上位Ｋ（スカラー数）個の固有関数をφ_ｋ（ｘ），１≦ｋ≦Ｋ（スカラー数）とする。一般性を失うことなく、システム変数をｘ∈Ｍとし、関数はｇ（ｘ）＝ｘであると仮定する。その場合、

であることを示すことができ、将来の状態Ｆ（ｘ）は、以下のように推定することができる。

ここで、ξ_ｋはコープマンモードであり、λ_ｋはコープマン固有値である。

カーネル動的モード分解
Williams他は、コープマン演算子を近似する低複雑度の方法としてカーネルＤＭＤ（ＫＤＭＤ）アルゴリズムを提案している。カーネル関数をｆ：Ｍ×Ｍ→Ｒとし、以下のデータ行列を定義することにする。

ここで、ｘ_ｉ及びｙ_ｊは、データセットＸ及びＹの列ベクトルである。対称行列

のランクｒのトランケートされた特異値分解の結果、特異ベクトル行列Ｑ及び特異値行列Σが得られる。ＫＤＭＤ演算子

は、その後、以下の式を用いて計算される。

の固有値分解の結果、固有ベクトル行列

及び固有値行列Λが得られる。Λは、コープマン固有値を近似することが示されている。その上、コープマン固有関数は、行列Φ＝Ｖ^ＴΣ^ＴＱ^Ｔによって近似される。あらゆるデータ点が、

であるので、コープマンモードは、行列

によって近似される。ここで、Ｘ＝［ｘ_１．．．ｘ_Ｔ］である。

あらゆる新たなデータ点ｘ^＊について、対応する予測ｙ^＊≒Ｆ（ｘ^＊）は、ＫＤＭＤを用いて、最初に固有関数

を推定し、コープマン予測関係

を用いることによって近似することができる。

米国特許第８７７３５３６号

したがって、データを生成するデバイスの実際の状態の使用を最小化又は回避することができるデータ匿名化方法が必要とされている。

本開示の実施の形態は、ダイナミカルシステム解析を用いた群集予測、セグメンテーション及び識別の分野におけるシステム及び方法を提供する。

本開示は、大きなシーン内の群集の流動を、このシーンの領域内の限られた空間観測値から予測し完成させることを提供する。特定のシーンについて、本システム及び本方法は、最初に、所望のシーンを通って流動する例示の群集のトレーニング速度データを取得する。このトレーニングデータは、完全なシーンの監視ビデオ観測を通じて取得することもできるし、シーン内の流動のコンピューターシミュレーションを通じて取得することもできる。

次に、このトレーニングデータを用いて、シーン内で経験されるダイナミクスを捕捉するカーネル動的モード分解（ＫＤＭＤ）演算子を学習することができる。空間的に限られた領域内で観測されたあらゆる新たな流動について、流動完成問題は、ＫＤＭＤ演算子の予測によって制約される最小二乗逆問題として割り当てられる。ＫＤＭＤ演算子から基底表現を求めることができ、流動完成は、観測された流動の基底展開の係数を推定することによって達成することができる。最後に、これらの係数を用いて、完全な流動を、ＫＤＭＤ基底上への投影によって再構築することができる。

換言すれば、十分に観測されていない空間グリッド又はシーン上で時間的に進展していく流動パラメーターを推定する問題を克服することができる。例えば、本開示は、シーン全体又はグリッド全体をカバーしていない限られた数のセンサーによる限られた観測値を用いてシーンの完全な流動を再構築することを提供することができる。実際に、本開示は、トレーニング段階によって、計算を他の時間又はオフラインで実行することが可能になるので、歩行者の実際の群集の流動の正確な表現を安価で効率的かつ高速に提供することができる。

本開示の一実施の形態では、本システム及び本方法は、シーン内の物体の流動の状態を求める。少なくとも１つのセンサーを用いて、シーンの観測サンプル点における流動の状態を測定することができる。シーンは、観測サンプル点のサブセットと未観測サンプル点のサブセットとを含むサンプル点のセットを含む。コンピューターに接続されたメモリを用いて、シーン内の物体の流動のトレーニング状態の時変ダイナミクスを指定する演算子を記憶することができる。さらに、この演算子は、シーン内のサンプル点における物体の流動の状態の推定される将来の状態を、シーン内のサンプル点のセットにおける物体の流動の状態の現在の測定状態の関数として求めるようにトレーニングすることができる。観測サンプル点のサブセットにおける推定される将来の状態が、観測サンプル点のサブセットにおける測定状態と整合するように、この演算子と、観測サンプル点のサブセットにおける測定状態とを用いて、シーンの未観測サンプル点のサブセットにおける物体の流動の状態を推定するように、メモリと通信するプロセッサを構成することができる。最後に、シーンの未観測サンプル点のサブセットにおける流動の状態を出力するように、プロセッサと通信する出力インターフェースを構成することができる。

本開示は、一般的なシーン（generic scene）の流動推定を行う必要がないという認識に基づいている。このシーンは、事前に知ることができ、このシーンの特性は、オフラインでそのダイナミクスを学習するために検討することができる。

例えば、シーン内の物体の完全な例示的流動のトレーニングデータを用いる際に、シーン内に示されるダイナミクスを学習することが可能である。トレーニングデータは、システム配備前の初期データ収集段階から取得することもできるし、歩行者流動モデル等の流動モデルによって駆動される事前の流動シミュレーションから取得することもできる。基本的に、事前の流動モデル又はシーンの未観測サンプル点のセットにおける流動の状態を求めることを援助することに関連した他のデータは、メモリからの記憶された履歴データを介してアクセスすることができる。

本発明者らは、シーンダイナミクスを捕捉する演算子は、十分に観測されたトレーニングデータから学習することができることを、本発明者らの概念の開発を通じて更に認識している。具体的には、トレーニングされた演算子は、シーン内の或る点における物体の流動の将来の状態を、シーン内の全ての点における流動の現在の状態の関数として求める。

したがって、本発明者らの認識に基づいて、本発明者らは、演算子と、シーン内の可観測点について測定された物体の流動の状態とを用いて推定すると、シーンの可観測点及び不可観測点における流動の状態が、可観測点における推定された状態が可観測点における測定状態と整合するようなものであることを更に認識している。

例えば、既定の境界条件を有する空間シーンが与えられると、異なる初期条件を有する複数の流動様式をシミュレーションすることによってトレーニングデータを生成することができる。具体的には、全ての空間シーンをカバーする実際のビデオ監視データが利用可能であるとき、ビデオモーションベクトルを計算することによって、流動情報を抽出することができる。単一のビデオフレームのモーションベクトルが、流動内の或る時刻における粒子の速度の観測値に対応することはわかっている。モーションベクトルは、ビデオテクスチャに適用されるオプティカルフロー推定を用いて計算することもできるし、符号化ビデオビットストリーム圧縮領域から直接パース（parse）することもできる。

本開示は、非限定的な例として、プロセッサを用いて、１つ以上のセンサーによって生成されたシーンの観測サンプル点における流動の測定状態を入手するステップから開始して実施することができ、そのため、シーンが、観測サンプル点のサブセット及び未観測サンプル点のサブセットを有するサンプル点のセットを含むことができるようになっている。

次のステップは、シーン内の物体の流動のトレーニング状態の時変ダイナミクスを指定する演算子を記憶しているメモリを用いることを含む。この演算子は、シーン内のサンプル点における物体の流動の状態の推定される将来の状態を、シーン内のサンプル点のセットにおける物体の流動の状態の現在の測定状態の関数として求めるようにトレーニングすることができる。

続く次のステップは、観測サンプル点のサブセットにおける推定される将来の状態が、観測サンプル点のサブセットにおける測定状態と整合するように、演算子と、観測サンプル点のサブセットにおける測定状態とを用いて、シーンの未観測サンプル点のサブセットにおける物体の流動の状態を推定することを含む。

最後に、最終ステップは、シーン内の物体の流動の状態を管理するマネージメントを援助するために、シーンの未観測サンプル点のサブセットにおける流動の状態を、プロセッサと通信する出力インターフェースを介して出力することを含む。

本開示の一実施の形態によれば、シーン内の物体の流動の状態を求めるシステムが提供される。本システムは、シーンの観測サンプル点における流動の状態を測定する少なくとも１つのセンサーを備え、シーンは、観測サンプル点のサブセット及び未観測サンプル点のサブセットを有するサンプル点のセットを含む。メモリが、シーン内の物体の流動のトレーニング状態の時変ダイナミクスを指定する演算子を記憶する。この演算子は、シーン内のサンプル点における物体の流動の状態の推定される将来の状態を、シーン内のサンプル点のセットにおける物体の流動の状態の現在の測定状態の関数として求めるようにトレーニングされる。観測サンプル点のサブセットにおける推定される将来の状態が、観測サンプル点のサブセットにおける測定状態と整合するように、メモリと通信するプロセッサが、演算子と、観測サンプル点のサブセットにおける測定状態とを用いて、シーンの未観測サンプル点のサブセットにおける物体の流動の状態を推定するように構成されている。最後に、プロセッサと通信する出力インターフェースが、シーン内の物体の流動の状態を管理するマネージメントを援助するために、シーンの未観測サンプル点のサブセットにおける流動の状態を出力するように構成されている。

本開示の一実施の形態によれば、シーン内の物体の流動の状態を求める方法が提供される。本方法は、少なくとも１つのセンサーによって生成されたシーンの観測サンプル点における流動の測定状態を入手することを含む。シーンは、観測サンプル点のサブセット及び未観測サンプル点のサブセットを有するサンプル点のセットを含む。本方法は、シーン内の物体の流動のトレーニング状態の時変ダイナミクスを指定する演算子を記憶しているメモリを用いることを含む。この演算子は、シーン内のサンプル点における物体の流動の状態の推定される将来の状態を、シーン内のサンプル点のセットにおける物体の流動の状態の現在の測定状態の関数として求めるようにトレーニングされる。本方法は、観測サンプル点のサブセットにおける推定される将来の状態が、観測サンプル点のサブセットにおける測定状態と整合するように、メモリと通信するプロセッサによって、演算子と、観測サンプル点のサブセットにおける測定状態とを用いて、シーンの未観測サンプル点のサブセットにおける物体の流動の状態を推定することを含む。最後に、本方法は、シーン内の物体の流動の状態を管理するマネージメントを援助するために、シーンの未観測サンプル点のサブセットにおける流動の状態を、プロセッサと通信する出力インターフェースを介して出力することを含む。

本開示の別の実施の形態によれば、方法を実行するコンピューターによって実行可能なプログラムが具現化された非一時的コンピューター可読記憶媒体が提供される。上記方法は、少なくとも１つのセンサーによって生成されたシーンの観測サンプル点における流動の測定状態を入手することを含む。シーンは、観測サンプル点のサブセット及び未観測サンプル点のサブセットを有するサンプル点のセットを含む。上記方法は、シーン内の物体の流動のトレーニング状態の時変ダイナミクスを指定する演算子を記憶しているメモリを用いることを含む。この演算子は、シーン内のサンプル点における物体の流動の状態の推定される将来の状態を、シーン内のサンプル点のセットにおける物体の流動の状態の現在の測定状態の関数として求めるようにトレーニングされる。上記方法は、観測サンプル点のサブセットにおける推定される将来の状態が、観測サンプル点のサブセットにおける測定状態と整合するように、メモリと通信するプロセッサによって、演算子と、観測サンプル点のサブセットにおける測定状態とを用いて、シーンの未観測サンプル点のサブセットにおける物体の流動の状態を推定することを含む。最後に、上記方法は、シーン内の物体の流動の状態を管理するマネージメントを援助するために、シーンの未観測サンプル点のサブセットにおける流動の状態を、プロセッサと通信する出力インターフェースを介して出力することを含む。

更なる特徴及び利点は、以下の詳細な説明を添付図面とともに取り入れると、この詳細な説明からより容易に明らかになる。

ここに開示されている実施形態は、添付図面を参照して更に説明される。示されている図面は、必ずしも一律の縮尺というわけではなく、その代わり、一般的に、ここに開示されている実施形態の原理を示すことに強調が置かれている。

本開示の実施形態による、限られた観測値を有するシーン内の物体の流動の状態を求める少なくとも１つの方法を示すブロック図である。 本開示の実施形態による、シーンから入手されたビデオにおいて完全な物体流動を推定する図１Ａのシステム及び方法を示す概略図である。 本開示の実施形態による、コープマン演算子を示すシーンから入手されたビデオにおいて完全な物体流動を推定するシステム及び方法を示す概略図である。 本開示の実施形態による、コープマンモード及び固有値を求め、次に、コープマンモードの基底係数を推定することによって完全な流動パラメーターを求める方法のフロー図である。完全な流動パラメーターは、推定された基底係数をコープマンモードと組み合わせることによって求めることができる。 本開示の実施形態による、演算子モード及び固有値を用いて完全な流動パラメーターを求める別の方法のフロー図である。この方法は、ダイナミカルシステムオブザーバーモデルを利用して、安定化フィードバック利得を推定する。安定化フィードバック利得を演算子モードと組み合わせて、完全な流動パラメーターを求めることができる。 本開示の実施形態による、代替のコンピューター又はプロセッサを用いて実施することができる図１Ａの方法を示すブロック図である。

上記で明らかにされた図面は、ここに開示されている実施形態を記載しているが、この論述において言及されるように、他の実施形態も意図されている。この開示は、限定ではなく代表例として例示の実施形態を提示している。ここに開示されている実施形態の原理の範囲及び趣旨に含まれる非常に多くの他の変更及び実施形態を当業者は考案することができる。

以下の説明は、例示的な実施形態のみを提供し、本開示の範囲も、適用範囲も、構成も限定することを意図していない。そうではなく、例示的な実施形態の以下の説明は１つ以上の例示的な実施形態を実施することを可能にする説明を当業者に提供する。添付の特許請求の範囲に明記されているような開示された主題の趣旨及び範囲から逸脱することなく要素の機能及び配置に行うことができる様々な変更が意図されている。以下の説明では、実施形態の十分な理解を提供するために、具体的な詳細が与えられる。しかしながら、当業者は、これらの具体的な詳細がなくても実施形態を実施することができることを理解することができる。例えば、開示された主題におけるシステム、プロセス、及び他の要素は、実施形態を不必要な詳細で不明瞭にしないように、ブロック図形式の構成要素として示される場合がある。それ以外の場合において、よく知られたプロセス、構造、及び技法は、実施形態を不明瞭にしないように不必要な詳細なしで示される場合がある。さらに、様々な図面における同様の参照符号及び名称は、同様の要素を示す。

また、個々の実施形態は、フローチャート、フロー図、データフロー図、構造図、又はブロック図として描かれるプロセスとして説明される場合がある。フローチャートは、動作を逐次的なプロセスとして説明することができるが、これらの動作の多くは、並列又は同時に実行することができる。加えて、これらの動作の順序は、再配列することができる。プロセスは、その動作が完了したときに終了することができるが、論述されない又は図に含まれない追加のステップを有する場合がある。さらに、特に説明される任意のプロセスにおける全ての動作が全ての実施形態において行われ得るとは限らない。プロセスは、方法、関数、手順、サブルーチン、サブプログラム等に対応することができる。プロセスが関数に対応するとき、その関数の終了は、呼び出し側関数又はメイン関数へのその機能の復帰に対応することができる。

さらに、開示された主題の実施形態は、少なくとも一部は手動又は自動のいずれかで実施することができる。手動実施又は自動実施は、マシン、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はそれらの任意の組み合わせを用いて実行することもできるし、少なくとも援助することができる。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコードで実施されるとき、必要なタスクを実行するプログラムコード又はプログラムコードセグメントは、マシン可読媒体に記憶することができる。プロセッサ（複数の場合もある）が、それらの必要なタスクを実行することができる。

概略
本開示の実施形態は、シーンの領域Γにおける限られた空間観測値から大きなシーンΩ内の物体の流動を予測し完成させるシステム及び方法を提供する。これらの物体は、動物、機械、流体、物質又は電流のうちの１つ又はそれらの組み合わせを含むことができる。

特定のシーンΩについて、本方法及び本システムは、最初に、所望のシーンを通って流動する例示の物体のトレーニング速度データを取得する。このトレーニングデータは、完全なシーンの監視ビデオ観測を通じて取得することもできるし、シーン内の流動のコンピューターシミュレーションを通じて取得することもできる。トレーニングデータを取得する別の手法は、各時刻におけるシーンの１つのサブセットを取り込むパンカメラ（panning camera）を通じたものであってもよい。シーンの観測されたサブセットは、種々の期間にわたって変化し、そのため、長い継続時間にわたって、完全なシーンの全てのサブセットが、カメラによって或る時刻に観測されるようになっている。次に、このトレーニングデータを用いて、シーン内で経験されるダイナミクスを捕捉するカーネル動的モード分解（ＫＤＭＤ）演算子を学習することができる。空間的に限られた領域Γ内で観測されたあらゆる新たな流動について、流動完成問題は、ＫＤＭＤ演算子の予測によって制約される最小二乗逆問題として割り当てることができる。ＫＤＭＤ演算子から基底表現が求められ、流動完成は、観測された流動の基底展開の係数を推定することによって達成することができる。最後に、これらの係数が用いられ、完全な流動が、ＫＤＭＤ基底上への投影によって再構築される。

本開示の一実施形態では、本システム及び本方法は、限られた観測値からシーン内の物体の流動の状態を求める。１つ以上のセンサーを用いて、シーンの観測サンプル点における流動の状態を測定することができる。シーンは、観測サンプル点のサブセットと未観測サンプル点のサブセットとを含むサンプル点のセットを含む。メモリに記憶されているのは、シーン内の物体の流動のトレーニング状態の時変ダイナミクスを指定する演算子である。この演算子は、シーン内のサンプル点における物体の流動の状態の推定される将来の状態を、シーン内のサンプル点のセットにおける物体の流動の状態の現在の測定状態の関数として求めるようにトレーニングすることができる。次に、観測サンプル点のサブセットにおける推定される将来の状態が、観測サンプル点のサブセットにおける測定状態と整合するように、この演算子と、観測サンプル点のサブセットにおける測定状態とを用いて、シーンの未観測サンプル点のサブセットにおける物体の流動の状態を推定することが可能である。最後に、シーンの未観測サンプル点のサブセットにおける流動の状態を出力するように、プロセッサと通信する出力インターフェースを構成することができる。

本発明者らは、一般的なシーンの流動推定を行う必要がないことを、実験を通じて認識している。一般的なシーンは、事前に知ることができ、このシーンの特性は、そのダイナミクスを学習するために検討することができる。例えば、シーン内の物体の完全な例示的流動のトレーニングデータを用いる際に、シーン内に示されるダイナミクスを学習することが可能である。トレーニングデータは、システム配備前の初期データ収集段階から取得することもできるし、歩行者流動モデル等の流動モデルによって駆動される流動シミュレーションから取得することもできる。例えば、メモリには、流動モデルを含む履歴データと、シーンの未観測サンプル点のセットにおける流動の状態を求めることを援助することに関連した他のデータとを記憶することができる。

本発明者らは、シーンダイナミクスを捕捉する演算子は、十分に観測されたトレーニングデータから学習することができることを、概念の開発を通じて更に認識している。具体的には、トレーニングされた演算子は、シーン内の或る点における物体の流動の将来の状態を、シーン内の全ての点における流動の現在の状態の関数として求める。したがって、本発明者らの認識に基づいて、本発明者らは、演算子と、シーン内の可観測点について測定された物体の流動の状態とを用いて推定すると、シーンの可観測点及び不可観測点における流動の状態が、可観測点における推定された状態が可観測点における測定状態と整合するようなものであることを更に知得した。

図１Ａは、本開示の実施形態による、限られた観測値を有するシーン内の物体の流動の状態を求める方法のブロック図である。本開示の方法は、少なくとも１つのセンサーによって生成されたシーンの観測サンプル点における流動の測定状態を入手するステップ１１０を含むことができる。シーンは、観測サンプル点のサブセット及び未観測サンプル点のサブセットを有するサンプル点のセットを含む。１つ以上のセンサーから生成された測定データ１１０ＢＢは、プロセッサ１１２によって受信することができる。

ステップ１１０を参照すると、測定データ１１０ＢＢは、或る期間にわたってセンサー（複数の場合もある）から収集された時系列データを含み、各センサーは、サンプル点のセット内のサンプル点に相互に関連する上記期間内の時点のセットにおいてデータを検知するようになっている。測定データ１１０ＢＢは、送受信機と通信するデバイスによって無線又は有線で受信することができ、コンピューター可読メモリに記憶することができることが意図されている。測定データ１１０ＢＢは、遅延が最大でセグメント時間長までのリアルタイムデータを介してプロセッサ１１２によって収集されてもよい。測定データ１１０ＢＢは、プロセッサ１１２に接続されたセンサー（複数の場合もある）を介して収集することが可能である。

図１Ａのステップ１１５は、シーン内の物体の流動のトレーニング状態の時変ダイナミクスを指定する演算子を記憶しているメモリを用いることを含む。具体的には、この演算子は、コープマン演算子、動的モード分解演算子、拡張動的モード分解演算子及びカーネル動的モード分解演算子からなる群から選択することができる。演算子は、シーン内のサンプル点における物体の流動の状態の推定される将来の状態を、シーン内のサンプル点のセットにおける物体の流動の状態の現在の測定状態の関数として求めるようにトレーニングされる。演算子の選択肢は、シーン内の物体の流動のダイナミクスの複雑度に従って選択することができる。

換言すれば、本発明者らの目標は、観測された観測値又は部分的な観測値から、近似されたコープマンモード、コープマン固有値及びコープマン固有関数を用いて推定を行い、シーン内のサンプル点のセットから未観測の観測値を求めることである。シーン内のサンプル点のセット全体の状態の現在の推定値を所与とし、近似されたコープマンモード、コープマン固有値及びコープマン固有関数を用いて、ステップ１１５が完了すると、シーンのサンプル点のセット全体の将来のサンプル点が求められていることになる。

図１Ａのステップ１１５を更に参照すると、演算子のトレーニングは、（１）シーン内のサンプル点のセットにおいて物体の流動のトレーニング状態の履歴データを取得すること、（２）シーン内のサンプル点のセットにおいて物体の流動のトレーニング状態をモデルに従ってシミュレーションすること、又は（３）シーン内のサンプル点の一連のサブセットにおいて物体の流動のトレーニング状態を取得すること、のうちの１つ又はそれらの組み合わせを含むことができる。シーン内のサンプル点の一連のサブセットにおけるサンプル点の全てのサブセットが、シーン内のサンプル点のセット内の全てのサンプル点を含むように、サンプル点の一連のサブセット内のサンプル点の少なくとも１つのサブセットは、シーン内のサンプル点の一連のサブセットにおけるサンプル点の残りのサブセットの可観測サンプル点の時刻と異なる時刻における観測サンプル点となっている。

図１Ｂは、本開示の実施形態による、シーンから入手されたビデオにおいて物体流動をセグメント化するシステム及び方法の概略図である。ステップ１１５は、シーン内のサンプル点のセットにおける物体の流動のトレーニング状態の履歴データ、例えば、トレーニング流動パラメーター１１５ＢＢを含むことができる。これらのパラメーターは、グラフ１１５ＡＡとして更に表されている。トレーニング流動パラメーターは、一般的なシーンの群集の密度と、一般的なグリッド／シーン内の各点における水平速度及び垂直速度と、一般的なシーンの群集の流量推定値とを含むことができる。

図１Ｂ及び図１Ａを参照すると、図１Ｂは、センサー１０３を更に示し、このセンサーは、物体１０２の流動のビデオ１０１を取り込むカメラとすることができ、物体の流動は、例えば、シーン１０２内の歩行者であってもよく、ビデオ１０１は、フレームのセットを含むようになっており、流動は、シーン１０２の観測サンプル点のサブセットにおけるフレームのセット内の各フレームから取得された独立した歩行者流動であり、シーン１０２の観測サンプル点のサブセットは、速度ベクトルのセット、群集密度のセット、オプティカルフローベクトルのセット又はモーションベクトルのセットからなる群から選択される。

図１Ａ及び図１Ｂのステップ１１５を更に参照すると、物体の流動の状態に関して、物体は、密度、速度又は流量のうちの１つ又はそれらの組み合わせを有することができる。さらに、物体の流動の状態は、電流、電圧、電力又は負荷のうちの１つ又はそれらの組み合わせを含むことができる。またさらに、物体の流動の状態は、特定の用途に応じて、温度、速度又は密度のうちの１つ又はそれらの組み合わせを含むことができる。

図１Ａ及び図１Ｂのステップ１２０は、演算子と、観測サンプル点のサブセットにおける測定状態とを用いることによって、シーンの未観測サンプル点のサブセットにおける物体の流動の状態を推定する。観測サンプル点のサブセットにおける推定される将来の状態は、観測サンプル点のサブセットにおける測定状態と整合している。具体的には、観測サンプル点のサブセットにおける測定状態は、雑音観測値を含む可能性があり、そのため、観測サンプル点のサブセットにおける推定される将来の状態は、観測サンプル点のサブセットにおける測定状態から雑音観測値を引いたものに整合するか又は等しくなるようになっている。

図１Ａ及び図１Ｂのステップ１２０を更に参照すると、シーンの未観測サンプル点のサブセットにおける物体の流動の状態を推定することは、基底行列のセットの係数のセットが、演算子の固有値のセットに従って時間的予測条件に適合することを確保又は確認するとともに、センサー１０３によるシーン１０２の観測サンプル点のセットと、演算子の観測サンプル点のサブセットにおける推定される将来の状態との間の誤差を最小化することによって、基底行列のセットの係数のセットを求めることを含むことができる。

ステップ１２５は、シーンの未観測サンプル点のセットにおける流動の状態を出力することを含む。

本開示は、完全なシーンΩにわたって定義されたトレーニングデータが、このシーン内の流動のダイナミクスを捕捉するカーネルＤＭＤ演算子を学習するのに利用可能である流動完成のための枠組みである。その場合、サブセットΓ⊂Ωにわたって定義された新たな試験流動について、カーネルＤＭＤ演算子のワンステップ予測によって制約される最小二乗最小化問題が解かれる。

図２は、本開示の実施形態による、コープマン演算子２１５を示すシーン１０２から入手されたビデオ１０１において完全な物体流動を推定する方法２００を示す概略図である。センサー１０３は、物体１０２の流動のビデオ１０１を取り込む、すなわち、データを測定するカメラであってもよく、物体の流動は、例えば、シーン１０２内の歩行者であってもよい。測定データは、ステップ２１１における可観測サンプル点が、観測流動パラメーター２１３に示すように測定データから抽出されるように、シーンのサンプル点のセット内の可観測サンプル点を含む。トレーニング流動パラメーター１１５ＢＢは、その後、コープマン演算子を求める（２１４）のに用いられる。コープマン演算子は、シーン内の未観測サンプル点のサブセットにおける物体の流動の状態を推定することによって完全な流動パラメーター２２０を更新することを可能にする。最終的に、完全な流動パラメーター２２５が出力される。

図３Ａは、最初に、コープマンモード及び固有値を求め、次に、コープマンモードの基底係数を推定することによって完全な流動パラメーター２２５を求める方法３００のフロー図である。記憶されたコープマン演算子２１５は、行列Ξ、Φ、及びΛを生成するカーネルＤＭＤ法に従って基底行列及び固有値を求める（３２０）のに用いられる。基底係数３３１は、計算された完全な流動パラメーター３４０と観測された流動パラメーター２１３との間の誤差を最小化する（３３０）ことによって推定される。

最小化ステップ３３０は、コープマン演算子の時間的予測ルールが常に満たされることも確保する。

図３Ｂは、演算子モード及び固有値を用いて完全な流動パラメーター２２５を求める別の方法３１０のフロー図である。この方法は、オブザーバーモデルを含むダイナミカルシステム３５０を利用して、演算子の完全モード、可観測モード、及び固有値を求める（３６０）。

図３Ｂのステップ３７０は、観測された流動パラメーター２１３と計算された完全な流動パラメーター３８０との間の誤差を最小化することによって、完全な流動パラメーター３８０を計算することを可能にする安定化フィードバック利得を求める。

最小化ステップ３７５は、安定化フィードバック利得３７０を利用して、観測された流動パラメーター２１３と計算された完全な流動パラメーター３８０との間の誤差が常に減少していくことを確実にする。

トレーニングデータ生成
既定の境界条件を有する空間シーンΩが与えられると、異なる初期条件を有する複数の流動様式をシミュレーションすることによってトレーニングデータを生成することができる。空間シーンΩの全てをカバーする実際のビデオ監視データが利用可能であるとき、ビデオモーションベクトルを計算することによって、流動情報を抽出することができる。単一のビデオフレームのモーションベクトルは、流動内の或る時刻における粒子の速度の観測値に対応する。モーションベクトルは、ビデオテクスチャに適用されるオプティカルフロー推定を用いて計算することもできるし、符号化ビデオビットストリーム圧縮領域から直接パースすることもできる。

図２に関する本開示の１つの実施形態では、巨視的歩行者流動モデルを用いて、トレーニングデータ又はグラフ１１５ＡＡに見られるようなトレーニング流動パラメーター１１５ＢＢを生成することができる。有限体積法を用いて、既定の空間シーン内の群集の流動を記述する偏微分方程式（ＰＤＥ）が数値的に解かれる。次のように、Ｔ＋１個の時間ステップについてＬ個の異なる初期条件を有するモデルが実行され、データが収集される。ｌ番目（１≦ｌ≦Ｌ）の初期条件について、最初に、Ω内の各空間グリッド点の水平速度及び垂直速度を垂直にスタックすることによって、データ行列Ｚ^ｌ∈Ｒ^{Ｄ×（Ｔ＋１）}が形成される。ここで、シーングリッドは、サイズＮ_ｘ×Ｎ_ｙであり、Ｄ＝２Ｎ_ｘＮ_ｙである。Ｚ^ｌ＝［ｚ^ｌ _１，．．．，ｚ^ｌ _Ｔ＋１］とすると、Ｚ^ｌの列が再配列されて、Ｘ^ｌ _ｔｒ＝［ｚ^ｌ _１，．．．，ｚ^ｌ _Ｔ］及びＹ^ｌ _ｔｒ＝［ｚ^ｌ _２，．．．，ｚ^ｌ _Ｔ＋１］であるような現在のトレーニングデータ行列Ｘ^ｌ _ｔｒ及び将来のトレーニングデータ行列Ｙ^ｌ _ｔｒが構築される。次に、Ｌ個の初期条件のそれぞれに関連付けられたデータ行列はスタックされて、総トレーニングデータ行列Ｘ_ｔｒ＝［Ｘ^１ _ｔｒ，．．．，Ｘ^Ｎ _ｔｒ］及びＹ_ｔｒ＝［Ｙ^１ _ｔｒ，．．．，Ｙ^Ｎ _ｔｒ］が形成される。次に、行列Ξ、Φ、及びΛを計算することによって、カーネルＤＭＤ演算子が学習される。

例えば、演算子のトレーニングは、（１）シーン内のサンプル点のセットにおいて物体の流動のトレーニング状態の履歴データを取得すること、（２）モデルに従って、シーン内のサンプル点のセットにおいて物体の流動のトレーニング状態をシミュレーションすること、又は（３）シーン内のサンプル点の一連のサブセットにおいて物体の流動のトレーニング状態を取得すること、のうちの１つ又はそれらの組み合わせを含むことができることが意図されている。シーン内のサンプル点の一連のサブセットにおけるサンプル点の全てのサブセットが、シーン内のサンプル点のセットにおける全てのサンプル点を含むように、サンプル点の一連のサブセットにおけるサンプル点の少なくとも１つのサブセットは、シーン内のサンプル点の一連のサブセットにおけるサンプル点の残りのサブセットの可観測サンプル点の時刻と異なる時刻における観測サンプル点となっている。

図２を更に参照すると、別の実施形態では、完全なシーンΩからトレーニング流動を捕捉するビデオシーケンスを用いて、トレーニングデータ又はグラフ１１５ＡＡに見られるようなトレーニング流動パラメーター１１５ＢＢを取得することができる。これらのビデオシーケンスは処理されて、シーン内の群集速度を近似するオプティカルフローモーションベクトル又はエンコーダー領域モーションベクトルが抽出される。

更に別の実施形態では、完全なシーンΩ内の適切な位置に配置されたパンカメラを用いて、Ωの複数の部分を記録するビデオを取り込むことができる。これらのカメラは、一度に完全なシーンΩを取り込むことが可能でない場合がある。しかしながら、カメラをパンすることによって、全パン期間にわたってΩの全てが一括してカバーされる。この状況において、モーションベクトルがビデオから計算され、行列Ｚに配置される。カメラのパン特性に起因して、行列Ｚの全てのエントリーが観測されるとは限らない。したがって、ロバストな低ランク行列完成方法を用いて、最初に行列Ｚを完成させ、行列

を生成することができる。次に、完成された行列

を用いて、カーネルＤＭＤ演算子を計算することができる。

トレーニングデータ及びトレーニング流動パラメーターが取得されると、現在のトレーニングデータ行列Ｘ_ｔｒ及び将来のトレーニングデータ行列Ｙ_ｔｒが、前述したように構築される。これらのトレーニングデータ行列を用いて、コープマン演算子２１５が求められ（２１４）、基底行列Ξ、Φ、及び固有値Λが計算される（図３Ａにおける３２０）。トレーニングデータ行列を用いて、完全モード、可観測モード、及び固有値も求められる（図３Ｂにおける３６０）。

流動完成
流動完成３００に関して、領域Γ上で新たな流動Ｘ^＊＝｛ｘ^＊ _１，．．．，ｘ^＊ _Ｔ’｝∈Ｒ^Ｄの速度が観測されるものと仮定する。Ｔ個の時間スナップショットにわたって観測された速度のシーケンスを、Ｏ＝｛ｏ_１，．．．，ｏ_Ｔ’｝⊂Ｒ^ｄ，ｄ＜Ｄによって示す。また、ΩからΓにマッピングするマスク演算子をＭ：Ｒ^Ｄ→Ｒ^ｄによって示す。このマスク演算子を、同じ名称Ｍを有するｄ×Ｄ行列によって表す。その場合、∀１≦ｔ≦Ｔ’，ｏ_ｔ＝Ｍｘ^＊ _ｔである。本発明者らの目標は、部分的な観測値ｏ_ｔから、（７）に示すような近似されたコープマンモード、コープマン固有値及びコープマン固有関数を用いて、ｘ^＊ _ｔを推定することである。

図３Ａを更に参照すると、ベクトルｘ^＊ _ｔは、カーネル関数ｆ（ｘ^＊ _ｔ，ｘ_ｊ），∀ｊ∈｛１，．．．，（Ｔ＋１）Ｌ｝を評価するために入手可能でないので、ｘ^＊ _ｔは、以下のようにモデル化される。

ここで、ａ_ｔは、ΞΦ内のｘ^＊ _ｔの基底展開の係数である。したがって、流動完成問題は、観測値Ｏから係数行列Ａ＝［ａ_１，．．．，ａ_Ｔ’］を推定する問題となる。

方法１
係数行列Ａは、本質的に、カーネル関数評価値ｆ（ｘ^＊ _ｔ，ｘ_ｊ），∀ｊ∈｛１，．．．，（Ｔ＋１）Ｌ｝を近似し、これによって、完全な流動パラメーター２２５を求めることが可能になる。Ａを計算するために、利用しなければ一意の解を見つけることができない追加の構造体を利用する必要がある。そのために、本発明者らは、ｏ_１，ｏ_２，．．．，ｏ_Ｔが連続した時間的観測値であるときに、これらのカーネル評価値が或る期間にわたって概ね平滑である、すなわち、||ａ_ｔ−ａ_ｔ＋１||が小さいことを観測によって確かめた。これは、ＫＤＭＤ演算子の固有値が単位円に近接しているときに特に当てはまる。この観測が動機となって、本発明者らは、（８）を用いて、流動回復問題を以下のように割り当てる。

ここで、Ｅ_１及びＥ_２は、それぞれ、Ａの列１〜Ｔ’−１及び列２〜Ｔ’を選択する制約演算子であり、γは、正則化パラメーターである。上記式によって、完全な流動パラメーターを求めることを可能にする一意のＡを計算することが可能になる。

（９）を解くために、本発明者らは、乗算器の交互方向法（ＡＤＭＭ）に基づくソルバーを開発している。（９）の拡張ラグランジアンは、以下の式によって与えられる。

表記を簡単にするために、

によって表し、Ｄ＝Ｅ_２−Ｅ_１によって有限差分演算子を表し、

によって表すことにし、（１０）を以下のように書き換える。

（１１）のＡＤＭＭアルゴリズムは、アルゴリズム１に示されている。

アルゴリズム１−流動完成

ここで、maxiterは、最大反復回数である。

方法２
ＫＤＭＤ演算子の固有値が単位円に近接していないとき、方法１の時間的平滑正則化（temporal smoothness regularization）はもはや正しくない。一時的な挙動を正しく捕捉するとともに、Ａの時間的平滑への依拠を少なくするために、本発明者らは、代わりに、コープマン予測に関して係数の時間的整合性を検討する。より正確には、（８）から、以下の式であることに留意されたい。

したがって、時間的整合性関係

が、再構築において課されるべきである。Λにおける固有値が全て１であるとき、条件（１３）は、方法１の平滑仮定と同じになる（reduce）ことに留意されたい。

コープマンモード行列ΞはサイズＤ×ｒであることを想起されたい。ここで、ｒは、一般にＤよりも小さくなるように選ばれる（４）における

のトランケートされたＳＶＤランクである。したがって、Ξは、零空間を有さず、そのため、本発明者らは、Ξを（１３）から削除し、流動完成問題を以下のように定式化する。

この式について、本発明者らは、拡張ラグランジアンを形成し、アルゴリズム２に示す対応するＡＤＭＭソルバーを開発する。

アルゴリズム２−流動完成

本開示の一実施形態によれば、完全な空間シーンの未観測空間領域における時変流動パラメーターのセットを求める方法が提供される。本方法は、完全な空間シーンの観測空間領域から時変観測流動パラメーターのセットを取得することを含む。本方法は、完全な空間シーン内の群集の流動のダイナミカルシステム挙動をモデル化する演算子を求めることを含む。本方法は、観測流動パラメーターのセットと観測空間領域内の完全な流動パラメーターのセットとの間の誤差を最小化することによって、ダイナミカルシステムをモデル化する演算子に従って完全な空間シーン内の完全な時変流動パラメーターのセットを更新することを含む。本方法は、完全な空間シーンの未観測空間領域内の完全な時変流動パラメーターのセットを出力することを含む。本方法の少なくとも幾つかのステップは、プロセッサによって実行される。

方法３
完全な流動パラメーターを求める別の方法が、図３Ｂのフロー図に示されている。この方法は、完全な流動パラメーターを求める（３１０）線形オブザーバー設計３５０を記述している。この手法の利点は、この手法が、データを記述する元のＰＤＥにかかわらず、コープマンベースの座標変換に起因したダイナミクスの線形表現を提供するということである。

群集流動ダイナミクスの線形表現をもたらす座標変換が見つけられる。次に、この線形表現に基づいて、群集流動の線形出力フィードバックベースのオブザーバーが設計される。システム（２）を、出力

と関連付けて検討する。ここで、ｈ：Ｍ→Ｒ^ｍは出力マッピングであり、これは、セクション３において定義されたベクトル値の可観測値ｇの役割を演じることになる。

ｘ，ｈ（ｘ）を以下のように記述することができるような有限セットの基底関数φ_ｉ，ｉ＝１，２，．．．，ｎが存在するものと仮定する。

ここで、

は、それぞれｘ及びｈに関連付けられたコープマンモードである。より具体的には、ｘに関連付けられたコープマンモードは、シーン内の全てのサンプル点における物体の流動の状態の完全モードのセットである。他方、ｈに関連付けられたコープマンモードは、シーン内の観測サンプル点における物体の流動の状態の可観測モードのセットである。

次に、以下の変数変換を定義することができる。

ここで、Π：Ｒ^Ｎ→Ｒ^ｎは、以下のように定義される。

なお、上記（１５）において、上式がｉ番目のコープマン関数が実数である場合、下式がｉ番目／ｉ＋１番目のコープマン関数が複素数（共役）である場合である。

この座標変換に基づくと、システム（２）は、コープマン演算子表現（１３）の下で、以下の線形システムとして書き換えることができる。

ここで、完全モード、可観測モード、及び固有値３６０のシステム行列は、以下のように定義される。

なお、上記（１７）において、１番上の式はｉ番目のコープマン関数が実数である場合、下の２つの式は、ｉ番目／ｉ＋１番目のコープマン関数が複素数（共役）である場合である。ここで、θ_ｉ＝ａｒｇ（λ_ｉ）であり、ｃ（・）＝ｃｏｓ（・）であり、ｓ（・）＝ｓｉｎ（・）である。

Ｃ^ｘの列は、以下のように定義される。

なお、上記（１８）において、上式はｉ番目のコープマン関数が実数である場合、下式はｉ番目／ｉ＋１番目のコープマン関数が複素数（共役）である場合である。

Ｃ^ｈの列は、以下のように定義される。

なお、式（１９）において、上式はｉ番目のコープマン関数が実数である場合、下式はｉ番目／ｉ＋１番目のコープマン関数が複素数（共役）である場合である。

この時点で、線形形式（１６）、（１７）、（１８）、及び（１９）をもたらす座標変換が定義されているので、以下の式のように、ルーエンバーガー（luenberger）形式の出力フィードバックベースの線形オブザーバーを記述することができる。

ここで、Ｋは、オブザーバーの収束を確実にするように適切に選択された安定化フィードバック利得３７０である。安定化行列Ｋを計算するために、離散的な極配置を用いて、閉ループオブザーバー誤差ダイナミクス

の極が単位円の内部に配置される。オブザーバーの収束後、簡単な代数マッピング

によってフル状態ｘの推定値

を計算することができる。

前述したように、オブザーバー（２０）の収束を保証するのに、Ｋの選択は重要である。安定化利得行列Ｋの存在は、システム（１６）が可観測であるという仮定によって左右される。線形時間不変システムの可観測性を調べる１つの方法は、次のランク条件である。すなわち、ｒａｎｋ（Ｏ（Ａ，Ｃ^ｈ））＝ｎである場合かつその場合に限り、システム（１６）は可観測である。ここで、Ｏ（Ａ，Ｃ^ｈ）は、以下のように定義される可観測性行列である。

図４は、本開示の実施形態による、代替のコンピューター又はプロセッサを用いて実施することができる図１Ａの方法を示すブロック図である。コンピューター４１１は、プロセッサ４４０と、コンピューター可読メモリ４１２と、記憶装置４５８と、ディスプレイ４５２及びキーボード４５１とのユーザーインターフェース４４９とを備え、これらは、バス４５６を通じて接続されている。例えば、プロセッサ４４０及びコンピューター可読メモリ４１２と通信するユーザーインターフェース４４９は、ユーザーによるユーザーインターフェース４５７の表面、キーボード表面からの入力を受信すると、測定データを入手し、コンピューター可読メモリ４１２内に記憶する。

メモリ４１２は、プロセッサによって実行可能な命令と、履歴データと、本開示の方法及びシステムによって利用することができる任意のデータとを記憶することができることが意図されている。プロセッサ４４０は、シングルコアプロセッサ、マルチコアプロセッサ、コンピューティングクラスター、又は任意の数の他の構成体とすることができる。プロセッサ４４０は、バス４５６を通じて１つ以上の入力デバイス及び出力デバイスに接続することができる。メモリ４１２は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、又は他の任意の適したメモリシステムを含むことができる。

図４を更に参照すると、記憶デバイス４５８は、プロセッサによって用いられる補助データ及び／又はソフトウェアモジュールを記憶するように構成することができる。例えば、記憶デバイス４５８は、履歴デバイスデータと、デバイスのマニュアル等の他の関連したデバイスデータとを記憶することができ、デバイスは、本開示に関して上述したような測定データを取得することが可能な検知デバイスである。加えて又は代替的に、記憶デバイス４５８は、測定データと同様の履歴データを記憶することができる。記憶デバイス４５８は、ハードドライブ、光ドライブ、サムドライブ、ドライブのアレイ、又はそれらの任意の組み合わせを含むことができる。

システムは、任意選択で、バス４５６を通じて、システムをディスプレイデバイス（図示せず）に接続するように構成されたディスプレイインターフェース（図示せず）にリンクすることができ、ディスプレイデバイスは、とりわけ、コンピューターモニター、カメラ、テレビ、プロジェクター、又はモバイルデバイスを含むことができる。

コンピューター４１１は、用途に応じて、電力源４５４を備えることができ、電力源４５４は、任意選択でコンピューター４１１の外部に配置されてもよい。バス４５６を通じて、ディスプレイデバイス４４８に接続するように構成されたユーザー入力インターフェース４５７をリンクすることができ、ディスプレイデバイス４４８は、とりわけ、コンピューターモニター、カメラ、テレビ、プロジェクター、又はモバイルデバイスを含むことができる。プリンターインターフェース４５９も、バス４５６を通じて接続することができ、印刷デバイス４３２に接続するように構成することができる。印刷デバイス４３２は、とりわけ、液体インクジェットプリンター、固体インクプリンター、大規模商用プリンター、感熱式プリンター、ＵＶプリンター、又は昇華型プリンターを含むことができる。ネットワークインターフェースコントローラー（ＮＩＣ）４３４は、バス４５６を通じてネットワーク４３６に接続するように構成され、とりわけ、測定データ又は他のデータは、コンピューター４１１の外部の第三者ディスプレイデバイス、第三者画像デバイス、及び／又は第三者印刷デバイス上にレンダリングすることができる。

図４を更に参照すると、とりわけ、測定データ又は他のデータは、ネットワーク４３６の通信チャネルを介して送信することができ、及び／又は、記憶及び／又は更なる処理のために記憶システム４５８内に記憶することができる。さらに、測定データ又は他のデータは、受信機４４６（又は外部受信機４３８）から無線又は配線接続で受信することもできるし、送信機４４７（又は外部送信機４３９）を介して無線又は配線接続で送信することもでき、受信機４４６及び送信機４４７は、ともにバス４５６を通じて接続されている。コンピューター４１１は、入力インターフェース４０８を介して外部検知デバイス４４４及び外部入力／出力デバイス４４１に接続することができる。コンピューター４１１は、他の外部コンピューター４４２に接続することができる。出力インターフェース４０９は、プロセッサ４４０からの処理データを出力するのに用いることができる。

上述した本開示の実施形態は、数多くの方法のうちの任意のもので実施することができる。例えば、実施形態は、ハードウェア、ソフトウェア又はそれらの組み合わせを用いて実施することができる。請求項の要素を修飾する、特許請求の範囲における「第１」、「第２」等の序数の使用は、それ自体で、１つの請求項の要素の別の請求項の要素に対する優先順位も、優位性も、順序も暗示するものでもなければ、方法の動作が実行される時間的な順序も暗示するものでもなく、請求項の要素を区別するために、単に、或る特定の名称を有する１つの請求項の要素を、同じ（序数の用語の使用を除く）名称を有する別の要素と区別するラベルとして用いられているにすぎない。

Claims (18)

1. シーン内の物体の流動の状態を求めるシステムであって、前記物体は、動物、機械、流体、物質又は電流のうちの１つ又はそれらの組み合わせを含み、前記システムは、
   前記シーンの観測サンプル点における前記流動の前記状態を測定する少なくとも１つのセンサーであって、前記シーンは、前記観測サンプル点のサブセット及び未観測サンプル点のサブセットを有するサンプル点のセットを含む、少なくとも１つのセンサーと、
   前記シーン内の物体の流動を含むトレーニング履歴データと前記シーン内の前記物体の前記流動のトレーニング状態の時変ダイナミクスを指定する非パラメトリックな演算子を記憶するメモリであって、該非パラメトリックな演算子は、演算子固有値のセットと、前記シーンの前記サンプル点のセット内のすべてのサンプル点における前記物体の前記流動の前記状態の完全モードのセットを求める演算子モードのセットとを含み、該非パラメトリックな演算子は、前記シーン内のサンプル点における前記物体の前記流動の前記状態の推定される将来の状態を、前記シーン内の前記サンプル点のセットにおける前記物体の前記流動の前記状態の現在の測定状態の関数として求めるためにトレーニングされる、メモリと、
   前記少なくとも１つのセンサーと通信し、前記シーンの前記観測サンプル点における前記物体の前記流動の前記現在の測定状態を入手する入力インターフェースと、
   前記シーンの前記未観測サンプル点のサブセットにおける前記物体の前記流動の前記状態とともに、前記非パラメトリックな演算子と、前記観測サンプル点のサブセットにおける前記現在の測定状態を用いて、前記観測サンプル点のサブセットと前記未観測サンプル点のサブセットにおける前記推定される将来の状態を推定し、前記観測サンプル点のサブセットにおける前記推定される将来の状態が前記観測サンプル点のサブセットにおける前記測定状態と整合することを確認するように構成された、前記メモリおよび前記入力インターフェースと通信するプロセッサと、
   前記シーン内の前記物体の前記流動の前記状態を管理するマネージメントを援助するために、前記シーンの前記未観測サンプル点のセットにおける前記流動の前記状態を出力するように構成された、前記プロセッサと通信する出力インターフェースと、
   を備える、システム。
2. 前記非パラメトリックな演算子の前記トレーニングは、
   前記シーン内の前記サンプル点のセットにおいて前記物体の前記流動のトレーニング状態の履歴データを取得すること、
   前記シーン内の前記サンプル点のセットにおいて前記物体の前記流動の前記トレーニング状態をモデルに従ってシミュレーションすること、又は、
   前記シーン内のサンプル点の一連のサブセットにおいて前記物体の前記流動の前記トレーニング状態を取得すること、
   のうちの１つ又はそれらの組み合わせを含み、
   前記シーン内の前記サンプル点の一連の前記サンプル点の全ての前記サブセットが、前記シーン内の前記サンプル点のセットにおける全ての前記サンプル点を含むように、前記サンプル点の一連のサブセットにおける前記サンプル点の少なくとも１つのサブセットは、前記シーン内の前記サンプル点の一連のサブセットにおける前記サンプル点の残りの前記サブセットの可観測サンプル点の時刻と異なる時刻における観測サンプル点である、請求項１に記載のシステム。
3. 前記物体の前記流動の前記状態は、密度、速度、温度又は流量のうちの１つ又はそれらの組み合わせを含む、請求項１に記載のシステム。
4. 前記物体の前記流動の前記状態は、電流、電圧、電力又は負荷のうちの１つ又はそれらの組み合わせを含む、請求項１に記載のシステム。
5. 前記非パラメトリックな演算子は、物理量や空間のような、動きを表現するパラメータを必要とすることなく、前記流動の前記状態を直接推定するデータ依存演算子である、請求項１に記載のシステム。
6. 前記シーンの前記未観測サンプル点のサブセットにおける前記物体の前記流動の前記状態を前記推定することは、
   前記センサーによる前記シーンの前記観測サンプル点のセットと、前記非パラメトリックな演算子の前記観測サンプル点のサブセットにおける前記推定される将来の状態との間の誤差を最小化することによって、基底行列のセットの係数のセットを求めることと、
   前記基底行列のセットの前記係数のセットが、前記非パラメトリックな演算子の前記演算子固有値のセットに従って時間的予測条件に適合していることを確認することと、
   を含む、請求項１に記載のシステム。
7. 前記センサーによる前記シーンの前記観測サンプル点のセットを相関させることに関連付けられた前記基底行列のセットの前記係数のセットの係数のサブセットと、前記非パラメトリックな演算子の前記観測サンプル点のサブセットにおける前記推定される状態との間の誤差を最小化すること、
   を更に含む、請求項６に記載のシステム。
8. 前記シーンの前記未観測サンプル点のサブセットにおける前記物体の前記流動の前記状態を前記推定することは、ダイナミカルシステムを求めることを含み、
   前記ダイナミカルシステムはオブザーバーを含み、該オブザーバーは、オブザーバーモデルを含む、請求項１に記載のシステム。
9. 前記シーンの前記未観測サンプル点のサブセットにおける前記物体の前記流動の前記状態を前記推定することは、前記オブザーバーモデルに従うとともに、
   前記非パラメトリックな演算子の前記演算子モードのセットに基づいて、前記シーンの前記サンプル点のセット内の全てのサンプル点における前記物体の前記流動の前記状態の完全モードのセットを求めることと、
   前記シーンの前記観測サンプル点の前記サブセットにおける前記物体の前記流動の前記状態の前記演算子モードのセットの可観測モードのサブセットを求めることと、
   安定化フィードバック利得の固有値極を複素単位円内に割り当てることによって、前記シーンの前記観測サンプル点の前記サブセットにおける前記物体の前記流動の前記オブザーバーモデルの前記安定化フィードバック利得を求めることと、
   基底関数のセットと前記可観測モードの前記セットとの乗算が前記非パラメトリックな演算子の前記演算子固有値のセットに従って時間的予測条件に適合していることを確認することによって、前記基底関数のセットを推定することと、
   前記完全モードのセットに前記基底関数のセットを乗算することによって、前記未観測サンプル点の前記サブセットにおける前記物体の前記流動の前記状態を生成することと、
   前記シーンの前記未観測サンプル点のセットにおける前記流動の前記状態を出力することと、
   を含む、請求項８に記載のシステム。
10. 前記少なくとも１つのセンサーは、前記物体の前記流動のビデオを取り込むカメラであり、前記物体の前記流動は、前記シーン内の歩行者であり、前記ビデオはフレームのセットを含むようになっており、前記流動は、前記シーンの前記観測サンプル点の前記サブセットにおける前記フレームのセット内の各フレームから取得された独立した歩行者流動であるようになっており、前記シーンの前記観測サンプル点の前記サブセットは、速度ベクトルのセット、群集密度のセット、オプティカルフローベクトルのセット又はモーションベクトルのセットからなる群から選択される、請求項１に記載のシステム。
11. 前記シーン内の前記サンプル点のセットにおける前記物体の前記流動のトレーニング状態の時変ダイナミクスを指定する前記非パラメトリックな演算子は、コープマン演算子、動的モード分解演算子、拡張動的モード分解演算子及びカーネル動的モード分解演算子からなる群から選択される、請求項１に記載のシステム。
12. 前記観測サンプル点のサブセットにおける前記測定状態は、雑音観測値を含み、そのため、前記観測サンプル点のサブセットにおける前記推定される将来の状態は、前記観測サンプル点のサブセットにおける前記測定状態から前記雑音観測値を引いたものに整合するか又は等しくなるようになっている、請求項１に記載のシステム。
13. シーン内の物体の流動の状態を求める方法であって、前記物体は、動物、機械、流体、物質又は電流のうちの１つ又はそれらの組み合わせを含み、前記方法は、
    少なくとも１つのセンサーによって生成された前記シーンの観測サンプル点における前記流動の測定状態を入手することであって、前記シーンは、前記観測サンプル点のサブセット及び未観測サンプル点のサブセットを有するサンプル点のセットを含むことと、
    前記シーン内の物体の流動を含むトレーニング履歴データと前記シーン内の前記物体の前記流動のトレーニング状態の時変ダイナミクスを指定する非パラメトリックな演算子を記憶しているメモリを用いることであって、該非パラメトリックな演算子は、演算子固有値のセットと、前記シーンの前記サンプル点のセット内のすべてのサンプル点における前記物体の前記流動の前記状態の完全モードのセットを求める演算子モードのセットとを含み、該非パラメトリックな演算子は、前記シーン内のサンプル点における前記物体の前記流動の前記状態の推定される将来の状態を、前記シーン内の前記サンプル点のセットにおける前記物体の前記流動の前記状態の現在の測定状態の関数として求めるようにトレーニングされる、ことと、
    前記少なくとも１つのセンサーと通信する入力インターフェースを介して、前記シーンの前記観測サンプル点における前記物体の前記流動の前記現在の測定状態を入手する、ことと、
    前記シーンの前記未観測サンプル点のサブセットにおける前記物体の前記流動の前記状態とともに、前記メモリおよび前記入力インターフェースと通信するプロセッサによって、前記非パラメトリックな演算子と、前記観測サンプル点のサブセットにおける前記現在の測定状態とを用いて、前記観測サンプル点のサブセットと前記未観測サンプル点のサブセットにおける前記推定される将来の状態を推定し、前記観測サンプル点のサブセットにおける前記推定される将来の状態が前記観測サンプル点のサブセットにおける前記測定状態と整合することを確認することと、
    前記シーン内の前記物体の前記流動の前記状態を管理するマネージメントを援助するために、前記シーンの前記未観測サンプル点のセットにおける前記流動の前記状態を、前記プロセッサと通信する出力インターフェースを介して出力することと、
    を含む、方法。
14. 前記非パラメトリックな演算子の前記トレーニングは、
    前記シーン内の前記サンプル点のセットにおいて前記物体の前記流動のトレーニング状態の履歴データを取得すること、
    前記シーン内の前記サンプル点のセットにおいて前記物体の前記流動の前記トレーニング状態をモデルに従ってシミュレーションすること、又は、
    前記シーン内のサンプル点の一連のサブセットにおいて前記物体の前記流動の前記トレーニング状態を取得すること、
    のうちの１つ又はそれらの組み合わせを含み、
    前記シーン内の前記一連の前記サンプル点における前記サンプル点の全ての前記サブセットが、前記シーン内の前記サンプル点のセットにおける全ての前記サンプル点を含むように、前記サンプル点の一連のサブセットにおける前記サンプル点の少なくとも１つのサブセットは、前記シーン内の前記サンプル点の一連のサブセットにおける前記サンプル点の残りの前記サブセットの可観測サンプル点の時刻と異なる時刻における観測サンプル点である、請求項１３に記載の方法。
15. 前記シーンの前記未観測サンプル点のサブセットにおける前記物体の前記流動の前記状態を前記推定することは、
    前記センサーによる前記シーンの前記観測サンプル点のセットと、前記非パラメトリックな演算子の前記観測サンプル点のサブセットにおける前記推定される将来の状態との間の誤差を最小化することによって、基底行列のセットの係数のセットを求めることと、
    前記基底行列のセットの前記係数のセットが、前記非パラメトリックな演算子の前記演算子固有値のセットに従って時間的予測条件に適合していることを確認することと、
    前記センサーによる前記シーンの前記観測サンプル点のセットを相関させることに関連付けられた前記基底行列のセットの前記係数のセットの係数のサブセットと、前記非パラメトリックな演算子の前記観測サンプル点のサブセットにおける前記推定される状態との間の誤差を最小化することと、
    を含む、請求項１３に記載の方法。
16. 方法を実行するコンピューターによって実行可能なプログラムが具現化された非一時的コンピューター可読記憶媒体であって、前記方法は、シーン内の物体の流動の状態を求めるものであり、前記物体は、動物、機械、流体、物質又は電流のうちの１つ又はそれらの組み合わせを含み、前記方法は、
    少なくとも１つのセンサーによって生成された前記シーンの観測サンプル点における前記流動の測定状態を入手することであって、前記シーンは、前記観測サンプル点のサブセット及び未観測サンプル点のサブセットを有するサンプル点のセットを含むことと、
    前記シーン内の物体の流動を含むトレーニング履歴データと前記シーン内の前記物体の前記流動のトレーニング状態の時変ダイナミクスを指定する非パラメトリックな演算子を記憶しているメモリを用いることであって、該非パラメトリックな演算子は、演算子固有値のセットと、前記シーンの前記サンプル点のセット内のすべてのサンプル点における前記物体の前記流動の前記状態の完全モードのセットを求める演算子モードのセットとを含み、該非パラメトリックな演算子は、前記シーン内のサンプル点における前記物体の前記流動の前記状態の推定される将来の状態を、前記シーン内の前記サンプル点のセットにおける前記物体の前記流動の前記状態の現在の測定状態の関数として求めるようにトレーニングされ、前記非パラメトリックな演算子は、動きを表現するパラメータを必要とすることなく、前記流動の前記状態を直接推定するデータ依存演算子である、ことと、
    前記少なくとも１つのセンサーと通信する入力インターフェースを介して、前記シーンの前記観測サンプル点における前記物体の前記流動の前記現在の測定状態を入手する、ことと、
    前記シーンの前記未観測サンプル点のサブセットにおける前記物体の前記流動の前記状態とともに、前記メモリおよび前記入力インターフェースと通信するプロセッサによって、前記非パラメトリックな演算子と、前記観測サンプル点のサブセットにおける前記現在の測定状態とを用いて、前記観測サンプル点のサブセットと前記未観測サンプル点のサブセットにおける前記推定される将来の状態を推定し、前記観測サンプル点のサブセットにおける前記推定される将来の状態が前記観測サンプル点のサブセットにおける前記測定状態と整合することを確認することと、
    前記シーン内の前記物体の前記流動の前記状態を管理するマネージメントを援助するために、前記シーンの前記未観測サンプル点のサブセットにおける前記流動の前記状態を、前記プロセッサと通信する出力インターフェースを介して出力することと、
    を含む、非一時的コンピューター可読記憶媒体。
17. 前記非パラメトリックな演算子の前記トレーニングは、
    前記シーン内の前記サンプル点のセットにおいて前記物体の前記流動のトレーニング状態の履歴データを取得すること、
    前記シーン内の前記サンプル点のセットにおいて前記物体の前記流動の前記トレーニング状態をモデルに従ってシミュレーションすること、又は、
    前記シーン内のサンプル点の一連のサブセットにおいて前記物体の前記流動の前記トレーニング状態を取得すること、
    のうちの１つ又はそれらの組み合わせを含み、
    前記シーン内の前記一連の前記サンプル点における前記サンプル点の全ての前記サブセットが、前記シーン内の前記サンプル点のセットにおける全ての前記サンプル点を含むように、前記サンプル点の一連のサブセットにおける前記サンプル点の少なくとも１つのサブセットは、前記シーン内の前記サンプル点の一連のサブセットにおける前記サンプル点の残りの前記サブセットの可観測サンプル点の時刻と異なる時刻における観測サンプル点である、請求項１６に記載の記憶媒体。
18. 前記シーンの前記未観測サンプル点のサブセットにおける前記物体の前記流動の前記状態を推定することは、
    ダイナミカルシステムを求めることを含み、該ダイナミカルシステムは、オブザーバーを含み、該オブザーバーは、前記非パラメトリックな演算子が前記演算子モードのセットと前記演算子固有値のセットとを含むようなオブザーバーモデルを含み、
    前記シーンの前記未観測サンプル点のサブセットにおける前記物体の前記流動の前記状態を前記推定することは、前記オブザーバーモデルに従うとともに、
    前記非パラメトリックな演算子の前記演算子モードのセットに基づいて、前記シーンの前記サンプル点のセット内の全てのサンプル点における前記物体の前記流動の前記状態の完全モードのセットを求めることと、
    前記シーンの前記観測サンプル点の前記サブセットにおける前記物体の前記流動の前記状態の前記演算子モードのセットの可観測モードのサブセットを求めることと、
    安定化フィードバック利得の固有値極を複素単位円内に割り当てることによって、前記シーンの前記観測サンプル点の前記サブセットにおける前記物体の前記流動のオブザーバーモデルの前記安定化フィードバック利得を求めることと、
    基底関数のセットと前記可観測モードの前記セットとの乗算が前記非パラメトリックな演算子の前記演算子固有値のセットに従って時間的予測条件に適合していることを確認することによって、前記基底関数のセットを推定することと、
    前記完全モードのセットに前記基底関数のセットを乗算することによって、前記未観測サンプル点の前記サブセットにおける前記物体の前記流動の前記状態を生成することと、
    前記シーンの前記未観測サンプル点のセットにおける前記流動の前記状態を出力することと、
    を含む、請求項１６に記載の記憶媒体。

Images