JP7146122B2 - 制御入力および限られた観測から動的流動を予測するための方法およびシステム - Google Patents

制御入力および限られた観測から動的流動を予測するための方法およびシステム Download PDF

Info

Publication number
JP7146122B2
JP7146122B2 JP2021572956A JP2021572956A JP7146122B2 JP 7146122 B2 JP7146122 B2 JP 7146122B2 JP 2021572956 A JP2021572956 A JP 2021572956A JP 2021572956 A JP2021572956 A JP 2021572956A JP 7146122 B2 JP7146122 B2 JP 7146122B2
Authority
JP
Japan
Prior art keywords
sample points
scene
flow
state
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021572956A
Other languages
English (en)
Other versions
JP2022521559A (ja
Inventor
マンスール，ハッサン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JP2022521559A publication Critical patent/JP2022521559A/ja
Application granted granted Critical
Publication of JP7146122B2 publication Critical patent/JP7146122B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Description

本開示は、群衆予測のための方法およびシステムに関し、より具体的には動的システム解析を用いたセグメント化および識別に関する。
限られた観測データから動的流動を完成させることは、群衆流動の推定、気流の検知、ならびに気象および海流の予測といった多くの分野で生じる共通の課題である。
たとえば、群衆流動の推定に関して、映像において歩行者からなる高密度の群衆内の動きの流動をセグメント化することは、群衆の安全および群衆管理という用途において必須のツールである。混雑したシーンの映像は、通常の状況であっても複雑な群衆の行動を示す可能性がある。たとえば、鉄道の駅のような密集した大きなエリア内の群衆流動は、最初に無秩序に見える可能性がある。しかしながら、大抵の場合、流動の中には、構造化されていない流動から識別およびセグメント化するのに適した、低次元の動的構造が存在する。加えて、群衆の独立した流動を自動的にセグメント化することは、混雑した環境において危険を伴う状況をモニタリングし予測するのに役立つ。
特に興味深いのは、映像から抽出した動きの情報を用いて群衆流動を検出し推定することである。動きベクトルは、映像における画素強度であるテクスチャに適用されるオプティカルフロー推定を用いて求めることができる。または、動きベクトルは、ビットストリームから直接抽出することができる。ビットストリームは、たとえばＭＰＥＧ、Ｈ．２６４、ＨＥＶＣなどの周知の符号化標準のうちのいずれかを用いて符号化することができる。
混雑したシーン内の歩行者を流動内の粒子とみなすと、映像フレームの動きベクトルは、この流動の中におけるある瞬間の粒子の速度の観測に相当する。映像テクスチャではなく動きベクトルを処理することで、監視映像において観測される個人のプライバシーを保護する。
米国特許第８７７３５３６号は、監視映像内の独立した動きを検出する方法を開示している。この方法は、テクスチャの勾配を動きベクトルと比較することにより、映像のマクロブロックから線形システムを構成する。独立した流動は、線形システムとの比較における統計の外れ値として動きにフラグが立てられたときに検出される。
しかしながら、上記方法は、粒子の流動の変化に影響を与える動的システムに対する制御入力の影響をモデル化していない。
このため、粒子の流動の変化に影響を与える動的システムに対する制御入力の影響をモデル化するシステムおよび方法を開発する必要がある。
本開示は、群衆予測のための方法およびシステムに関し、より具体的には動的システム解析を用いたセグメント化および識別に関する。
本開示の実施形態は、制御入力を用いる動的システム解析を用いた動的流動予測の分野におけるシステムおよび方法を提供する。たとえば、本開示は、初期条件および境界条件等の制御入力から、ならびにシーンの領域内の限られた空間観測から、大きなシーンにおける群衆流動を予測し完成させることを提供する。特定のシーンについて、このシステムおよび方法は、最初に、所望のシーンの中で流れている群衆の例の訓練速度データと、シーン内の流動に影響を与える訓練制御入力とを取得する。訓練データおよび制御入力データは、シーン全体の監視映像観測を通して、または、シーン内の流動のコンピュータシミュレーションを通して取得してもよい。
さらに、次に訓練データおよび制御入力データを用いてシステムダイナミクス作用素および入力－マッピング作用素を学習することができ、これらの作用素は、観測した領域および制御入力を、シーン内の流動を制御する状態変数の発展に関連付ける。システムダイナミクス作用素の少なくとも１つの例は、シーン内で経験されたダイナミクスを捕捉するカーネル動的モード分解（ＫＤＭＤ：kernel dynamic mode decomposition）作用素であってもよい。空間的に限られた領域内で観測された新たな流動ごとに、流動を完成させるという問題が、ＫＤＭＤ作用素、観測される状態変数、および制御入力データの予測により制約される最小二乗逆問題として計算される。シーン内の流動の基本表現および制御入力データの別の基本表現は、ＫＤＭＤ作用素から求めることができる。少なくとも１つの側面は、フローの完成を、制御入力データおよび観測した流動からの基底展開（basis expansion）の係数を推定することで実現できることにある。最後にこの係数を用いてＫＤＭＤ基底への投影により完全な流動を再構成することができる。
言い換えると、実験から学んだのは、十分に観測されていない空間グリッドまたはシーン上の、一時的に発展する流動パラメータを推定するという課題を克服できるということである。たとえば、本開示は、制御入力データのみを用いることで、または、入力データを、シーン全体またはグリッド全体をカバーしない限られた数のセンサにより制限される観測と組み合わせることで、シーンの完全な流動を再構成することを提供する。実際、本開示は、歩行者からなる実際の群衆の流動の正確な表現を、低コストで効率良くかつ迅速に提供することができ、その理由は、訓練段階が、計算を、使用中またはリアルタイムにではなくその他の時間にまたはオフラインで実行できるようにすることにある。
本開示は、流動完成のためのデータ駆動型フレームワークを提供し、完全なシーンΩについて定められた訓練データを、シーン内の流動のダイナミクスを捕捉するカーネルＤＭＤ作用素を学習するために利用することができる。次に、カーネルＤＭＤ作用素の１ステップ予測により制約される最小二乗最小化問題を解くために、サブセットΓ⊂Ωについて定められた新たなテスト流動が展開される。
たとえば、本開示は、群衆流動完成を発見しなかった従来の群衆流動方法の問題のうちのいくつかを解決する。本開示は、マクロスケールの側面を含む、すなわち、流動の密度および速度について流動を特徴付けるモデルの変動を含む。部分的に観測した流動を完成させるための解決策を見出そうとするときに、このような問題は、とりわけ、流動を支配する偏微分方程式（ＰＤＥ：partial differential equation）の初期条件および境界条件、ならびに流動パラメータを特定する逆問題を解くことを要求する。
本開示のある実施形態に従う、シーン内の対象の流動の状態を求めるためのシステムは、シーンの観測サンプルポイントにおける流動の状態を測定する少なくとも１つのセンサを備える。シーンは、観測サンプルポイントおよび未観測サンプルポイントのサブセットを有するサンプルポイントのセットと、制御入力のセットとを含む。さらに、シーン内の対象の流動の訓練状態の時変ダイナミクスを特定する作用素を格納するメモリを備える。作用素は、シーン内のあるサンプルポイントにおける対象の流動の状態の推定される将来の状態を、シーン内のサンプルポイントのセットにおける対象の流動の状態の現在の測定状態と、流動の初期状態および境界状態を定める制御入力のセットとの関数として、求めるように予め訓練される。さらに、プロセッサを備える。プロセッサは、メモリと通信し、作用素と、観測サンプルポイントのサブセットにおける測定状態とを用いて、シーンの未観測サンプルポイントのサブセットにおける対象の流動の状態を推定するように構成される。観測サンプルポイントのサブセットにおける推定される将来の状態は、観測サンプルポイントのサブセットにおける測定状態と一致する。さらに、出力インターフェイスを備える。出力インターフェイスは、プロセッサと通信し、シーンの未観測サンプルポイントのセットにおける流動の状態を出力することにより、シーン内の対象の流動の管理状態の管理を支援するように構成されている。本開示の方法およびシステムは、映像監視システム、電力グリッドシステムのモニタリング、流体および気流のシミュレーションおよびモデリングに使用することができ、この新たな方法は、モデリングにおいて初期条件および境界条件を特定することを可能にする。
本開示の別の実施形態に従う、シーン内の対象の流動の状態を求めるための方法は、シーンの観測サンプルポイントにおける流動の状態を測定するステップを含む。シーンは、観測サンプルポイントおよび未観測サンプルポイントのサブセットを有するサンプルポイントのセットと、制御入力のセットとを含む。さらに、シーン内の対象の流動の訓練状態の時変ダイナミクスを特定する作用素をメモリに格納するステップを含む。作用素は、シーン内のあるサンプルポイントにおける対象の流動の状態の推定される将来の状態を、シーン内のサンプルポイントのセットにおける対象の流動の状態の現在の測定状態と、制御入力のセットとの関数として、求めるように予め訓練される。さらに、メモリと通信するプロセッサを使用するステップを含み、プロセッサは、作用素と、観測サンプルポイントのサブセットにおける測定状態とを用いて、シーンの未観測サンプルポイントのサブセットにおける対象の流動の状態を推定するように構成される。観測サンプルポイントのサブセットにおける推定される将来の状態は、観測サンプルポイントのサブセットにおける測定状態と一致する。さらに、プロセッサと通信する出力インターフェイスを介して、シーンの未観測サンプルポイントのセットにおける流動の状態を出力することにより、シーン内の対象の流動の管理状態の管理を支援するステップを含む。
本開示のもう１つの実施形態に従う、方法を実行するためにプロセッサが実行可能なプログラムが実現された非一時的なコンピュータ読取可能記憶媒体において、この方法はシーン内の対象の流動の状態を求めるための方法である。非一時的なコンピュータ読取可能媒体は、シーンの観測サンプルポイントにおける流動の状態を測定するステップを含み、シーンは、観測サンプルポイントおよび未観測サンプルポイントのサブセットを有するサンプルポイントのセットと、制御入力のセットとを含む。さらに、シーン内の対象の流動の訓練状態の時変ダイナミクスを特定する作用素をメモリに格納するステップを含む。作用素は、シーン内のあるサンプルポイントにおける対象の流動の状態の推定される将来の状態を、シーン内のサンプルポイントのセットにおける対象の流動の状態の現在の測定状態と、制御入力のセットとの関数として、求めるように予め訓練される。さらに、メモリと通信するプロセッサを使用するステップを含み、プロセッサは、作用素と、観測サンプルポイントのサブセットにおける測定状態とを用いて、シーンの未観測サンプルポイントのサブセットにおける対象の流動の状態を推定するように構成される。観測サンプルポイントのサブセットにおける推定される将来の状態は、観測サンプルポイントのサブセットにおける測定状態と一致する。さらに、プロセッサと通信する出力インターフェイスを介して、シーンの未観測サンプルポイントのセットにおける流動の状態を出力することにより、シーン内の対象の流動の管理状態の管理を支援するステップを含む。
ここに開示する実施形態について、添付の図面を参照しながらさらに説明する。示されている図面は、必ずしも正しい縮尺ではなく、代わりに、ここに開示する実施形態の原理を説明するにあたり強調を全体的に加えている。
本開示の実施形態に係る、シーン内の対象の流動の状態を求める方法を実現するためのいくつかの方法ステップを示すフロー図である。 本開示の実施形態に係る、システムおよび方法の実現に使用できるいくつかの構成要素を示すブロック図である。 本開示の実施形態に係る、クープマン作用素および制御入力を示すシーンについて得られた映像内で完全な対象の流動を推定するためのシステムおよび方法を示す概略図である。 本開示のいくつかの実施形態に係る、制御入力を観測し、クープマンモードおよび固有値を求め、次に、クープマンモードおよび制御入力の基底係数を推定することにより、完全流動パラメータを求める方法のフロー図であり、完全流動パラメータは、推定基底係数をクープマンモードと組み合わせることによって求めることができる。 本開示の一実施形態に係る、シーンについて得られた映像内で歩行者の流動をセグメント化するためのいくつかのシステムおよび方法ステップを示す概略図である。 本開示のいくつかの実施形態に係る、クープマンモードを求めるためのいくつかの方法ステップを示すフロー図である。 本開示のある実施形態に係る、クープマンモードを用いて独立した流動をセグメント化する方法のいくつかを示すフロー図である。 本開示のある実施形態に係る、独立したセグメント化された歩行者流動を特徴付ける方法のいくつかを示すフロー図である。 本開示の実施形態に係る、方法およびシステムのいくつかの技術を実現するために使用できるコンピューティング装置を示す概略図である。
［実施形態の説明］
上記図面はここに開示する実施形態を記述しているが、明細書に記載されているようにその他の実施形態も意図されている。本開示は、限定ではなく代表として、例示としての実施形態を示す。当業者は、ここに開示する実施形態の原理の範囲と精神に含まれるその他多数の修正および実施形態を考案することができる。
本開示は、群衆予測のための方法およびシステムに関し、より具体的には動的システム解析を用いたセグメント化および識別に関する。たとえば、本開示のいくつかの実施形態は、流動完成のためのデータ駆動型フレームワークを含み、完全なシーンΩについて定められた訓練データを、シーン内の流動のダイナミクスを捕捉するカーネルＤＭＤ作用素を学習するために利用することができる。次に、とりわけ、カーネルＤＭＤ作用素の１ステップ予測により制約される最小二乗最小化問題を解くために、サブセットΓ⊂Ωについて定められた新たなテスト流動が展開される。
図１Ａは、本開示の実施形態に係る、シーン内の対象の流動の状態を求める方法を実現するためのいくつかの方法ステップを示すフロー図である。
図１Ａのステップ１１５は、シーンの観測サンプルポイントにおける流動の状態を測定することを含み、このシーンは、観測サンプルポイントおよび未観測サンプルポイントのサブセットを有するサンプルポイントのセットを含む。
図１Ａのステップ１２０は、シーン内の対象の流動の訓練状態の時変ダイナミクスを特定する作用素をメモリに格納することを含み、作用素は、シーン内のあるサンプルポイントにおける対象の流動の状態の推定される将来の状態を、シーン内のサンプルポイントのセットにおける対象の流動の状態の現在の測定状態の関数として求めるように、予め訓練される。
図１Ａのステップ１２５は、メモリと通信するプロセッサを使用することを含み、プロセッサは、作用素と、観測サンプルポイントのサブセットにおける測定状態とを用いて、シーンの未観測サンプルポイントのサブセットにおける対象の流動の状態を推定するように構成され、観測サンプルポイントのサブセットにおける推定される将来の状態は、観測サンプルポイントのサブセットにおける測定状態と一致する。
図１Ａのステップ１３０は、プロセッサと通信する出力インターフェイスを介して、シーンの未観測サンプルポイントのセットにおける流動の状態を出力することにより、シーン内の対象の流動の管理状態の管理を支援することを含む。
本開示の実施形態は、非限定的な例として、十分に観測されていない空間グリッドまたはシーン上の、一時的に発展する流動パラメータを推定するという課題を克服できるという、固有の側面を提供する。いくつかの側面は、制御入力データのみを用いることで、または、入力データを、シーン全体またはグリッド全体をカバーしない限られた数のセンサにより制限される観測と組み合わせることで、シーンの完全な流動を再構成することを提供する。
本開示の方法およびシステムのうちのいくつかのその他の利点として、歩行者からなる実際の群衆の流動の正確な表現を、低コストで効率良くかつ迅速に提供できることが挙げられ、その理由は、訓練段階が、計算を、その他の時間にまたはオフラインで実行できるようにすることにある。さらに、本開示のその他の側面はマクロスケールの側面である、すなわち、流動の密度および速度について流動を特徴付けるモデルの変動を含む。たとえば、部分的に観測した流動を完成させるための解決策を見出そうとするときに、このような問題は、とりわけ、流動を支配する偏微分方程式（ＰＤＥ）の初期条件および境界条件、ならびに流動パラメータを特定する逆問題を解くことを要求する。
図１Ｂは、本開示の実施形態に係る、システムおよび方法の実現に使用できるいくつかの構成要素を示すブロック図である。たとえば、システム１０５Ｂは、環境１０２から音響信号を含むデータを収集する音響センサ等のセンサ１０３または複数のセンサと通信するハードウェアプロセッサ１００を含み得る。信号は、１つまたは複数の映像に関連するデータを含み得る。さらに、センサ１０３は、映像またはカメラ入力を信号データに変換することができる。ハードウェアプロセッサ１００は、コンピュータストレージメモリ、すなわちメモリ９と通信し、メモリ９は、ハードウェアプロセッサ１００が実現できるアルゴリズム、命令およびその他のデータを含む格納されたデータを含む。
任意で、ハードウェアプロセッサ１００は、データソース３、コンピュータデバイス４、携帯電話デバイス５、およびストレージデバイス６と通信するネットワーク７に接続することができる。また、任意で、ハードウェアプロセッサ１００は、クライアントデバイス１５に接続されたネットワーク対応サーバ１３に接続することができる。ハードウェアプロセッサ１００は、任意で、外部メモリデバイス１７および送信機１９に接続することができる。さらに、出力２１は、非限定的な例として、完全流動パラメータ（図２の１０９）、または本開示のシステムおよび方法に関連する何らかの他の出力であってもよい。たとえば、いくつかのタイプの出力は、モニタまたはスクリーン等の１つ以上のディスプレイデバイス上に完全流動パラメータ（図２の１０９）を表示すること、またはさらに他の分析などのために完全流動パラメータ（図２の１０９）を他のコンピュータ関連デバイスに入力することに関心があるユーザの意図に関連し得る。
意図されているのは、ハードウェアプロセッサ１００は特定の用途の要件に応じて２つ以上のハードウェアプロセッサを含み得ることであり、プロセッサは、内部プロセッサまたは外部プロセッサのいずれかとすることができる。当然ながら、他のデバイスの中でも特に出力インターフェイスおよびトランシーバを含む他の構成要素をシステム１０５Ｂに組み込んでもよい（図７参照）。
ネットワーク７は、非限定的な例として、１つ以上のローカルエリアネットワーク（ＬＡＮ）および／またはワイドエリアネットワーク（ＷＡＮ）を含み得る。ネットワーク環境は、企業規模のコンピュータネットワーク、イントラネット、およびインターネットと同様であってもよい。意図されているのは、上記構成要素のすべてについて、システム１０５Ｂ内に用いられる、任意の数のクライアントデバイス、ストレージコンポーネント、およびデータソースが存在し得ることである。各々は、単一のデバイスまたは分散環境において協働する複数のデバイスを含み得る。さらに、システム１０５Ｂは、１つ以上のデータソース３を含み得る。データソース３は、ネットワークを訓練するためのデータリソースを含み得る。たとえば、一実施形態において、訓練データをストレージ６に格納することができる。訓練データは、他の環境の信号も含み得る。また、データソース３は、ネットワークを訓練するためのデータリソースを含み得る。データソース３から提供されるデータは、他の映像またはカメラデータ等の他のデータを含み得る。
さらに、データソース３内のいくつかのデータは、１つ以上のフィードバックループによって提供されてもよい。データソースの他の例は、限定ではなく例として、各種画像ソースを含み得るものであり、各種画像ソースは、ストリーミング映像、ウェブクエリ、モバイルデバイスカメラまたは他の情報、ウェブカムフィード、スマートグラスおよびスマートウォッチフィード、顧客対応システム、セキュリティカメラフィード、ウェブ文書、カタログ、ユーザフィード、ＳＭＳログ、インスタントメッセージングログ、発話語のトランスクリプト、ボイスコマンドまたは撮影画像（たとえば、深度カメラ画像）等のゲームシステムユーザインタラクション、ツイート、チャットまたはビデオコール記録、またはソーシャルネットワーキング媒体を含む。使用される特定のデータソース３は、データが本質的に特定クラスのデータ（たとえば、たとえばマシンシステム、エンターテイメントシステムを含む特定種類の音だけに関連するデータ）であるかまたは一般的なもの（クラスに固有でないもの）であるかを含む用途に基づいて決定されてもよい。
システム１０５Ｂはサードパーティデバイス４、５を含み得るものであり、サードパーティデバイスは、コンピューティングデバイス上に自動音声認識（ＡＳＲ：automatic speech recognition）システムが備わっていることが重要である場合等に、任意のタイプのコンピューティングデバイスを含み得る。たとえば、サードパーティデバイスは、コンピュータデバイス４またはモバイルデバイス５を含む。ユーザデバイスは、携帯情報端末（ＰＤＡ：personal data assistant）や、モバイルデバイス、たとえばスマートフォン、スマートウォッチ、スマートグラス（または他のウェアラブルスマートデバイス）、拡張現実ヘッドセット、仮想現実ヘッドセットとして実現し得るものであることが、意図されている。さらに、ユーザデバイスは、タブレット等のラップトップ、リモートコントロール、エンターテイメントシステム、車両コンピュータシステム、埋込型システムコントローラ、電気器具、ホームコンピュータシステム、セキュリティシステム、家庭用電子機器、または他の同様の電子機器であってもよい。一実施形態において、クライアントデバイスは、デバイス上で動作している、本明細書に記載のＡＳＲシステムが使用可能なオーディオおよび画像情報等の入力データを受けることができる。たとえば、サードパーティデバイスは、オーディオ情報を受けるためのマイクもしくはライン入力端子、映像もしくは画像情報を受けるためのカメラ、または、そのような情報をインターネットもしくはデータソース３のような別のソースから受けるための通信コンポーネント（たとえばＷｉ－Ｆｉ（登録商標）機能）を、有し得る。
ストレージ６に関して、ストレージ６は、データ、コンピュータ命令（たとえばソフトウェアプログラム命令、ルーチン、またはサービス）、および／または本明細書に記載の技術の実施形態で使用されるモデルを含む情報を記憶することができる。たとえば、ストレージ６は、１つ以上のデータソース３からのデータ、１つ以上のディープニューラルネットワークモデル、ディープニューラルネットワークモデルを生成し訓練するための情報、および１つ以上のディープニューラルネットワークモデルから出力されたコンピュータで使用可能な情報を、記憶することができる。
図１Ｃは、本開示の実施形態に係る、クープマン作用素および制御入力を示す、得られたシーンの映像内で、完全な対象の流動を推定するためのシステムおよび方法を示す概略図である。たとえば、いくつかの実施形態は、流動を完成させるためのデータ駆動型フレームワークを提供し、完全なシーンΩについて定められた訓練データを、シーン内の流動のダイナミクスを捕捉するカーネルＤＭＤ作用素を学習するために利用することができる。次に、サブセットΓ⊂Ωについて定められた新たなテスト流動について、カーネルＤＭＤ作用素の１ステップ予測により制約される最小二乗最小化問題を解く。
図２は、本開示のいくつかの実施形態に係る、制御入力を観測し、クープマンモードおよび固有値を求め、次に、クープマンモードおよび制御入力の基底係数を推定することにより、完全流動パラメータを求める方法のフロー図であり、完全流動パラメータは、推定基底係数をクープマンモードと組み合わせることによって求めることができる。
図３は、本開示の一実施形態に係る、シーンの得られた映像内で歩行者の流動をセグメント化するためのいくつかのシステムおよび方法ステップを示す概略図である。実施形態は、符号化されたビットストリームから抽出された動きベクトルを使用することができるが、動きベクトルは他の手段で得られるものであってもよい。動きベクトルは、シーン内の流動を特徴付けるいくつかの独立したダイナミクスからなる、基本となる動的システムの観測量として扱われる。この方法は、動きベクトルと制御入力とを用いて、動的システムを特徴付ける低ランクのクープマン作用素を求める。次に、制御クープマン作用素のスペクトルを、特異値分解（ＳＶＤ：singular value decomposition）または固有値分解を用いて解析する。独立した群衆流動を、使用する分解に応じて、主要特異値または主要固有値をクラスタリングすることによって求める。
たとえば、図３の映像１０１は、シーン１０２内の歩行者の、ビデオカメラ１０３で取得した映像である。この映像はフレームのセットを含む。各フレームは、典型的には動きベクトルを符号化するブロックのセットを含む。各フレームｋ１０４は、当該技術では周知の入出力バスでメモリおよびカメラに接続されたプロセッサ３００内で機能する方法によって処理される。この映像は符号化されたビットストリームの形態である。
１つの利点として、符号化されたビットストリームは通常少なくとも２桁以上圧縮されるという点が挙げられる。よって、ビットストリームの処理に必要なストレージおよび時間はかなり少なくなる。加えて、この方法は、ブロックレベルで実行できるので、ビットストリームを復号して画素を得る必要はない。しかしながら、この方法をカメラ内で実行しその他の手段によって動きベクトルを得てもよい。
この方法は、映像、たとえばビットストリーム内のブロックから動きベクトル３０５を抽出し（３１０）、以下で詳述するように動きベクトルを積み重ねることによってデータ行列３１１を構成する。制御入力も動きベクトルとともにデータ行列３１１に加えられる。
低ランク制御クープマン作用素３２１をデータ行列３１１から求める。低ランク制御クープマン作用素のスペクトルを解析することにより、主要クープマンモード３３１を求める。次に、クープマンモードを用いることにより、映像のフレーム内のブロックをセグメント化（５００）して独立した流動３０９を得ることができる。
図４は、スペクトルを解析しクープマンモード３３１を求めるために使用されるステップ４００を示す。ステップは、特異ベクトル４１１を得るためのＳＶＤ４１０、または固有ベクトルを求めるための固有値分解、またはその双方を含む。ステップ４４０は投影係数を求め、次にこれを用いることにより固有ベクトルを選択する（４５０）。次に、特異ベクトルまたは選択した固有ベクトルまたはその双方を用いることにより、クープマンモード３３１を求めることができる。
図５は、クープマンモード４３１を入力として取り込む、画素をセグメント化するステップ５００を示す。動きベクトルを、ｋ平均法クラスタリング５１０またはグラフスペクトラルクラスタリング５２０を用いてクラスタリングすることにより、独立した流動５０９を得る。
図６は、流動の動的レジームを求めることにより、セグメント化された各流動を特徴付けるステップ６００を示す。動的レジームは実質的に流動を特徴付ける。このステップは、クープマン固有ベクトル６２１とデータ行列１１１とセグメント化された流動６０９とを入力として取り込む。セグメント化された流動６０９を用いて、データ行列１１１の行のサブセット６０１を抽出する。行のサブセット６０１をクープマン固有ベクトル６２１上に投影することにより、投影係数６２２を求める（６１０）。固有値選択ステップ６２０は、大きさがしきい値よりも大きい投影係数を有する固有ベクトルに対応する固有値を選ぶ。流動の動的レジームまたは流動の特徴６２３を、選択した固有値によって識別する。
次に上記ステップの詳細を説明する。
訓練データの生成
群衆のダイナミクスは、流体の流れの中の粒子の動きとして、ミクロスケールおよびマクロスケールでモデル化することができる。これに代えて、すべてのΩをカバーする実際の映像監視データを利用できる場合は流動情報を映像の動きベクトルを計算することで抽出することができる。
Figure 0007146122000001
動的システムモデル化
線形モデル
システムダイナミクスが線形である場合、動的システムの状態変数の発展は以下によって与えられる。
Figure 0007146122000002
式中、ｘｔおよびｕｔはそれぞれ、時間ｔにおける状態変数および制御入力である。訓練データ行列Ｙｔｒ、Ｘｔｒ、およびＵｔｒが与えられ、ベクトルｘｔ＋１が行列Ｙｔｒにおいて積み重ねられた場合、以下のように行列ＫおよびＢを最小二乗反転を用いて計算することができる。
Figure 0007146122000003
Figure 0007146122000004
非線形モデル
Figure 0007146122000005
Figure 0007146122000006
Figure 0007146122000007
Figure 0007146122000008
流動の完成
Figure 0007146122000009
動きベクトルおよび観測可能なデータ行列
Figure 0007146122000010
Figure 0007146122000011
Figure 0007146122000012
Figure 0007146122000013
低ランクのＤＭＤ
Figure 0007146122000014
Figure 0007146122000015
Figure 0007146122000016
Figure 0007146122000017
Figure 0007146122000018
Figure 0007146122000019
Figure 0007146122000020
流動のセグメント化
Figure 0007146122000021
特異値分解によるセグメント化
Figure 0007146122000022
Figure 0007146122000023
Figure 0007146122000024
Figure 0007146122000025
固有値分解によるセグメント化
Figure 0007146122000026
Figure 0007146122000027
流動の特徴付け
Figure 0007146122000028
複素平面内の固有値の位置を用いることにより、流動のレジームを求める。たとえば、安定した流動は、単位円上に位置する固有値を有し、不安定な流動は、単位円の外側に位置する固有値を有する。加えて、徐々に崩壊する過渡的な流動は、単位円の内側に位置する固有値を有する。また、固有値の複素相は、流動内の動きの振動周波数を示す。
特徴
本開示のある実施形態に従う、シーン内の対象の流動の状態を求めるためのシステムは、シーンの観測サンプルポイントにおける流動の状態を測定する少なくとも１つのセンサを備える。シーンは、観測サンプルポイントおよび未観測サンプルポイントのサブセットを有するサンプルポイントのセットと、制御入力のセットとを含む。さらに、シーン内の対象の流動の訓練状態の時変ダイナミクスを特定する作用素を格納するメモリを備える。作用素は、シーン内のあるサンプルポイントにおける対象の流動の状態の推定される将来の状態を、シーン内のサンプルポイントのセットにおける対象の流動の状態の現在の測定状態と、流動の初期状態および境界状態を定める制御入力のセットとの関数として、求めるように予め訓練される。さらに、プロセッサを備える。プロセッサは、メモリと通信し、作用素と、観測サンプルポイントのサブセットにおける測定状態とを用いて、シーンの未観測サンプルポイントのサブセットにおける対象の流動の状態を推定するように構成される。観測サンプルポイントのサブセットにおける推定される将来の状態は、観測サンプルポイントのサブセットにおける測定状態と一致する。さらに、出力インターフェイスを備える。出力インターフェイスは、プロセッサと通信し、シーンの未観測サンプルポイントのセットにおける流動の状態を出力することにより、シーン内の対象の流動の管理状態の管理を支援するように構成されている。以下の局面のうちの１つまたは以下の局面の組み合わせが上記実施形態の修正実施形態を構成することが意図されている。
本開示のある局面に従うと、作用素を訓練することは、シーン内のサンプルポイントのセット内の対象の流動の訓練状態および制御入力の履歴データを取得すること、モデルに従い、シーン内のサンプルポイントのセット内の対象の流動の訓練状態をシミュレートすること、または、シーン内のサンプルポイントの一連のサブセット内の対象の流動の訓練状態を取得することを含む。サンプルポイントの一連のサブセット内のサンプルポイントの少なくとも１つのサブセットは、シーン内のサンプルポイントの一連のサブセット内のサンプルポイントの残りのサブセットについての観測可能なサンプルポイントの時点と異なる時点における観測サンプルポイントである。シーン内の一連のサンプルポイント内のサンプルポイントのすべてのサブセットは、シーン内のサンプルポイントのセット内のすべてのサンプルポイントを含む。
本開示の別の局面は以下を含み得る。シーンの未観測サンプルポイントのサブセットにおける対象の流動の状態を推定することは、基底行列のセットについての係数のセットを、センサによるシーンの観測サンプルポイントのセットと、作用素の観測サンプルポイントのサブセットにおける推定される将来の状態との間の誤差を最小にすることにより、求めることと、基底行列のセットについての係数のセットが、作用素の固有値のセットに応じた一時的予測条件に従うことを、確認することとを含む。
本開示の別の局面は、作用素はシステムダイナミクス作用素であり、システムダイナミクス作用素はカーネル動的モード分解（ＫＤＭＤ）作用素であることを、含み得る。
シーン内の対象の流動の状態を求めるための方法は、シーンの観測サンプルポイントにおける流動の状態を測定するステップを含む。シーンは、観測サンプルポイントおよび未観測サンプルポイントのサブセットを有するサンプルポイントのセットと、制御入力のセットとを含む。方法はさらに、シーン内の対象の流動の訓練状態の時変ダイナミクスを特定する作用素をメモリに格納するステップを含む。作用素は、シーン内のあるサンプルポイントにおける対象の流動の状態の推定される将来の状態を、シーン内のサンプルポイントのセットにおける対象の流動の状態の現在の測定状態と、制御入力のセットとの関数として、求めるように予め訓練さる。方法はさらに、メモリと通信するプロセッサを使用するステップを含み、プロセッサは、作用素と、観測サンプルポイントのサブセットにおける測定状態とを用いて、シーンの未観測サンプルポイントのサブセットにおける対象の流動の状態を推定するように構成される。観測サンプルポイントのサブセットにおける推定される将来の状態は、観測サンプルポイントのサブセットにおける測定状態と一致する。方法はさらに、プロセッサと通信する出力インターフェイスを介して、シーンの未観測サンプルポイントのセットにおける流動の状態を出力することにより、シーン内の対象の流動の管理状態の管理を支援するステップを含む。以下の局面のうちの１つまたは以下の局面の組み合わせが上記実施形態の修正実施形態を構成することが意図されている。
本開示のある局面に従うと、作用素を訓練することは、シーン内のサンプルポイントのセット内の対象の流動の訓練状態の履歴データを取得すること、モデルに従い、シーン内のサンプルポイントのセット内の対象の流動の訓練状態をシミュレートすること、または、シーン内のサンプルポイントの一連のサブセット内の対象の流動の訓練状態を取得することを含む。サンプルポイントの一連のサブセット内のサンプルポイントの少なくとも１つのサブセットは、シーン内のサンプルポイントの一連のサブセット内のサンプルポイントの残りのサブセットについての観測可能なサンプルポイントの時点と異なる時点における観測サンプルポイントである。シーン内の一連のサンプルポイント内のサンプルポイントのすべてのサブセットは、シーン内のサンプルポイントのセット内のすべてのサンプルポイントを含む。
本開示の別の局面は以下を含み得る。シーンの未観測サンプルポイントのサブセットにおける対象の流動の状態を推定することは、基底行列のセットについての係数のセットを、センサによるシーンの観測サンプルポイントのセットと、作用素の観測サンプルポイントのサブセットにおける推定される将来の状態との間の誤差を最小にすることにより、求めることと、基底行列のセットについての係数のセットが、作用素の固有値のセットに応じた一時的予測条件に従うことを、確認することとを含む。
本開示の別の局面は、シーンの観測サンプルポイントにおける流動の状態を測定することは、シーンの近くに位置する少なくとも１つのセンサを用いて行われることを、含み得る。
本開示の別の局面は、作用素はシステムダイナミクス作用素であり、システムダイナミクス作用素はカーネル動的モード分解（ＫＤＭＤ）作用素であることを、含み得る。
方法を実行するためにプロセッサが実行可能なプログラムが実現された非一時的なコンピュータ読取可能記憶媒体において、この方法はシーン内の対象の流動の状態を求めるための方法である。非一時的なコンピュータ読取可能媒体は、シーンの観測サンプルポイントにおける流動の状態を測定するステップを含み、シーンは、観測サンプルポイントおよび未観測サンプルポイントのサブセットを有するサンプルポイントのセットと、制御入力のセットとを含む。さらに、シーン内の対象の流動の訓練状態の時変ダイナミクスを特定する作用素をメモリに格納するステップを含む。作用素は、シーン内のあるサンプルポイントにおける対象の流動の状態の推定される将来の状態を、シーン内のサンプルポイントのセットにおける対象の流動の状態の現在の測定状態と、制御入力のセットとの関数として、求めるように予め訓練される。さらに、メモリと通信するプロセッサを使用するステップを含み、プロセッサは、作用素と、観測サンプルポイントのサブセットにおける測定状態とを用いて、シーンの未観測サンプルポイントのサブセットにおける対象の流動の状態を推定するように構成される。観測サンプルポイントのサブセットにおける推定される将来の状態は、観測サンプルポイントのサブセットにおける測定状態と一致する。さらに、プロセッサと通信する出力インターフェイスを介して、シーンの未観測サンプルポイントのセットにおける流動の状態を出力することにより、シーン内の対象の流動の管理状態の管理を支援するステップを含む。以下の局面のうちの１つまたは以下の局面の組み合わせが上記実施形態の修正実施形態を構成することが意図されている。
本開示のある局面に従うと、作用素を訓練することは、シーン内のサンプルポイントのセット内の対象の流動の訓練状態の履歴データを取得すること、モデルに従い、シーン内のサンプルポイントのセット内の対象の流動の訓練状態をシミュレートすること、または、シーン内のサンプルポイントの一連のサブセット内の対象の流動の訓練状態を取得することを含み、サンプルポイントの一連のサブセット内のサンプルポイントの少なくとも１つのサブセットは、シーン内のサンプルポイントの一連のサブセット内のサンプルポイントの残りのサブセットについての観測可能なサンプルポイントの時点と異なる時点における観測サンプルポイントである。シーン内の一連のサンプルポイント内のサンプルポイントのすべてのサブセットは、シーン内のサンプルポイントのセット内のすべてのサンプルポイントを含む。
本開示の別の局面は、作用素はカーネル動的モード分解（ＫＤＭＤ）作用素であることを含み得る。非一時的なコンピュータ読取可能媒体は、流動完成のためのデータ駆動型フレームワークである。メモリから得られる、完全なシーンΩについて定められた訓練データは、シーン内の流動のダイナミクスを捕捉するＫＤＭＤ作用素を学習するために利用できる。
本開示の別の局面は以下を含み得る。シーンの未観測サンプルポイントのサブセットにおける対象の流動の状態を推定することは、基底行列のセットについての係数のセットを、センサによるシーンの観測サンプルポイントのセットと、作用素の観測サンプルポイントのサブセットにおける推定される将来の状態との間の誤差を最小にすることにより、求めることと、基底行列のセットについての係数のセットが、作用素の固有値のセットに応じた一時的予測条件に従うことを、確認することとを含む。
本開示の別の局面は、シーンの観測サンプルポイントにおける流動の状態を測定することは、シーンの近くに位置する少なくとも１つのセンサを用いて行われることを、含み得る。
本開示の別の局面は、作用素はシステムダイナミクス作用素であり、システムダイナミクス作用素はカーネル動的モード分解（ＫＤＭＤ）作用素であることを、含み得る。
定義
本開示の局面に従い、実験から得た知識に基づいて、以下の定義を構築したが、当然ながらこれらは各表現または用語の完全な定義ではない。提供している定義は、実験から得られた概念の理解とさらなる解釈に基づいて一例として提供しているだけであり、その他の解釈、定義、およびその他の側面が適する場合もある。しかしながら、少なくとも、概念、表現または用語の単なる基本的プレビューとして、このような定義を提供している。
請求項１に記載されているプロセッサは、非限定的な例として、コンピュータハードウェアであってもよい、すなわち、コンピュータを駆動して本開示に記載されているアルゴリズムを当該コンピュータに実現させる基本命令に応答してこの命令を処理する論理回路であってもよい。
歩行者の流動のマクロモデル：群衆の流動のマクロモデルは、群衆を流動している連続体とみなし、歩行者の平均的な行動を説明する。モデルパラメータは、群衆ρの密度、ならびに、グリッドΩ内の各ポイントにおける水平および鉛直速度（ｕ，ｖ）である。群衆の流動のマクロモデルは、流体力学のモデルと同様であり、以下の仮定によって支配される。
Ｈ１．各ポイントにおける歩行者の速度は、そのポイントの周囲の群衆の密度のみによって決まる。
Ｈ２．歩行者は共通の目的地を有する（可能性）。
Ｈ３．歩行者は、推定移動時間を最短にすることを望み、それと同時に、密集している大きなエリアを避ける。
これらの仮定は以下のＰＤＥに変換できる。
Figure 0007146122000029
クープマンおよび動的モード分解
クープマン作用素
Figure 0007146122000030
Figure 0007146122000031
カーネル動的モード分解
Figure 0007146122000032
Figure 0007146122000033
Figure 0007146122000034
図７は、本開示の実施形態に係る、方法およびシステムのいくつかの技術を実現するために使用できるコンピューティング装置７００を非限定的な例として示す概略図である。このコンピューティング装置またはデバイス７００は、各種形態のデジタルコンピュータ、たとえばラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、およびその他の適切なコンピュータを表す。
コンピューティングデバイス７００は、電源７０８と、プロセッサ７０９と、メモリ７１０と、ストレージデバイス７１１とを含み得るものであり、これらはすべてバス７５０に接続されている。さらに、高速インターフェイス７１２、低速インターフェイス７１３、高速拡張ポート７１４、および低速接続ポート７１５を、バス７５０に接続することができる。また、低速拡張ポート７１６はバス７５０に接続される。意図されているのは、特定の用途に応じて、非限定的な例として共通のマザーボード７３０上に搭載し得る各種コンポーネント構成である。またさらに、入力インターフェイス７１７をバス７５０を介して外部受信機７０６および出力インターフェイス７１８に接続できる。受信機７１９をバス７５０を介して外部送信機７０７および送信機７２０に接続できる。また、外部メモリ７０４、外部センサ７０３、マシン７０２および環境７０１をバス７５０に接続できる。さらに、１つ以上の外部入出力デバイス７０５をバス７５０に接続できる。ネットワークインターフェイスコントローラ（ＮＩＣ）７１２を、バス７５０を通してネットワーク７２２に接続するように適合させることができ、とりわけ、データまたはその他のデータを、コンピュータデバイス７００の外部にある、サードパーティディスプレイデバイス、サードパーティイメージングデバイス、および／またはサードパーティプリンティングデバイス上でレンダリングすることができる。
意図されているのは、メモリ７１０が、コンピュータデバイス７００が実行可能な命令、履歴データ、ならびに本開示の方法およびシステムが利用できる任意のデータを格納できることである。メモリ７１０は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、またはその他の適切なメモリシステムを含み得る。メモリ７１０は、１つもしくは複数の揮発性メモリユニットおよび／または１つもしくは複数の不揮発性メモリユニットであってもよい。また、メモリ７１０は、磁気または光ディスクのような別の形態のコンピュータ読取可能媒体であってもよい。
引続き図７を参照して、ストレージデバイス７１１は、コンピュータデバイス７００が使用する補足データおよび／またはソフトウェアモジュールを格納するように適合させることができる。たとえば、ストレージデバイス７１１は、本開示に関して先に述べたような履歴データおよびその他の関連データを格納することができる。これに加えてまたはこれに代えて、ストレージデバイス７１１は、本開示に関して先に述べたようなデータと同様の履歴データを格納することができる。ストレージデバイス７１１は、ハードドライブ、光学ドライブ、サムドライブ（thumb-drive）、ドライブのアレイ、またはその任意の組み合わせを含み得る。さらに、ストレージデバイス７１１は、コンピュータ読取可能媒体、たとえば、フロッピー（登録商標）ディスクデバイス、ハードディスクデバイス、光ディスクデバイス、またはテープデバイス、フラッシュメモリまたはその他同様のソリッドステートメモリデバイス、または、ストレージエリアネットワークもしくはその他の構成内のデバイスを含むデバイスのアレイ等を含み得る。命令は情報キャリアに格納できる。命令は、１つ以上の処理デバイス（たとえばプロセッサ７０９）によって実行されると、先に述べた方法のような１つ以上の方法を実行する。
このシステムは、任意で、当該システムをディスプレイデバイス７２５およびキーボード７２４に接続するように適合させたディスプレイインターフェイスまたはユーザインターフェイス（ＨＭＩ）７２３に、バス７５０を通してリンクさせることができ、このディスプレイデバイス７２５は、とりわけ、コンピュータモニタ、カメラ、テレビ、プロジェクタ、またはモバイルデバイスを含み得る。
引続き図７を参照して、コンピュータデバイス７００は、プリンタインターフェイス（図示せず）に適合させたユーザ入力インターフェイス７１７を含み得るものであり、プリンタインターフェイスも、バス７５０を通してプリンティングデバイス（図示せず）に接続するように適合させることができ、プリンティングデバイスは、とりわけ、液体インクジェットプリンタ、固体インクプリンタ、大規模商用プリンタ、サーマルプリンタ、ＵＶプリンタ、または染料昇華型プリンタを含み得る。
高速インターフェイス７１２はコンピューティングデバイス７００の帯域幅集約動作を管理し、低速インターフェイス７１３は低帯域幅集約動作を管理する。このような機能の割当は一例に過ぎない。いくつかの実装形態において、高速インターフェイス７１２は、メモリ７１０、ユーザインターフェイス（ＨＭＩ）７２３、およびキーボード７２４とディスプレイ７２５に、（グラフィックスプロセッサまたはアクセラレータを通して）結合することができ、かつ、バス７５０を介して各種拡張カード（図示せず）を受け入れることができる高速拡張ポート７１４に、結合することができる。この実装形態において、低速インターフェイス７１３は、ストレージデバイス７１１および低速拡張ポート７１５にバス７５０を介して結合される。各種通信ポート（たとえばＵＳＢ、ブルートゥース（登録商標）、イーサネット（登録商標）、無線イーサネット）を含み得る低速拡張ポート７１５は、１つ以上の入出力デバイス７０５に、およびその他のデバイス、キーボード７２４、ポインティングデバイス（図示せず）、スキャナ（図示せず）、または、スイッチもしくはルータ等のネットワーキングデバイスに、たとえばネットワークアダプタを通して結合されてもよい。
引続き図７を参照して、コンピューティングデバイス７００は、図面に示されるようにいくつかのさまざまな形態で実現し得るものである。たとえば、標準サーバ７２６として、または、このようなサーバのグループにおいて複数回、実現されてもよい。加えて、ラップトップコンピュータ７２７のようなパーソナルコンピュータにおいて実現されてもよい。また、ラックサーバシステム７２８の一部として実現されてもよい。これに代えて、コンピューティングデバイス７００のコンポーネントを、モバイルデバイス（図示せず）内のその他のコンポーネントと組み合わせてもよい。このようなデバイスの各々は、コンピューティングデバイスおよびモバイルコンピューティングデバイスのうちの１つ以上を含み得るものであり、システム全体を、相互に通信する複数のコンピューティングデバイスで構成してもよい。
実施形態
以下の説明は、具体例としての実施形態のみを提供し、開示の範囲、適用可能性、または構成を限定することを意図していない。むしろ、具体例としての実施形態の以下の説明は、具体例としての１つ以上の実施形態を実装すること可能にする説明を、当業者に提供するであろう。添付の請求項に記載されている開示された主題の精神および範囲から逸脱することなく、要素の機能および構成に対してなされ得る、各種変更が意図されている。
具体的な詳細事項は、以下の記載において、実施形態の十分な理解のために与えられる。しかしながら、これらの具体的な詳細事項がなくても実施形態を実行できることを、当業者は理解できる。たとえば、開示された主題におけるシステム、プロセス、および他の要素は、実施形態を不必要な詳細で不明瞭にしないために、ブロック図の形態で構成要素として示される場合もある。他の例では、実施形態を不明瞭にしないよう、周知のプロセス、構造、および技術は、不必要な詳細事項を伴わずに示されることがある。さらに、各種図面における同様の参照番号および名称は同様の要素を示す。
また、個々の実施形態は、フローチャート、フロー図、データフロー図、構造図、またはブロック図として示されるプロセスとして説明される場合がある。フローチャートは動作を逐次プロセスとして説明することができるが、動作の多くは並列にまたは同時に実行することができる。さらに、動作の順序は入れ替え可能である。プロセスは、その動作が完了したときに終了されてもよいが、論じられていないかまたは図に含まれていない追加のステップを有する場合がある。さらに、具体的に記載されている何らかのプロセスにおけるすべての動作がすべての実施形態に起こり得る訳ではない。プロセスは、方法、関数、手順、サブルーチン、サブプログラムなどに対応し得る。プロセスが関数に対応する場合、関数の終了は、呼び出し関数または主関数に関数を戻すことに対応し得る。
さらに、開示された主題の実施形態は、少なくとも部分的に手動または自動のいずれかで実現することができる。手動または自動による実現は、マシン、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組み合わせの使用を通して行われてもよく、または少なくとも支援されてもよい。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実現される場合、必要なタスクを実行するプログラムコードまたはコードセグメントは、マシン読取可能媒体に格納されてもよい。プロセッサは必要なタスクを実行できる。
さらに、本開示の実施形態および本明細書に記載の機能的動作は、デジタル電子回路において、有形で実装されるコンピュータソフトウェアもしくはファームウェアにおいて、本明細書に開示される構造およびそれらの構造的均等物を含むコンピュータハードウェアにおいて、または、それらのうちの１つ以上の組み合わせにおいて、実現することができる。さらに、本開示のいくつかの実施形態は、１つ以上のコンピュータプログラムとして、すなわちデータ処理装置が実行するためにまたはデータ処理装置の動作を制御するために、有形の非一時的なプログラムキャリア上に符号化されたコンピュータプログラム命令の１つ以上のモジュールとして、実現することができる。またさらに、プログラム命令は、人為的に生成された伝搬信号上に、たとえば、データ処理装置が実行するために適切な受信装置に送信される情報を符号化するために生成された、マシンによって生成された電気、光学、または電磁信号上に、符号化することができる。コンピュータ記憶媒体は、マシン読取可能なストレージデバイス、マシン読取可能なストレージ基板、ランダムもしくはシリアルアクセスメモリデバイス、またはそれらの１つ以上の組み合わせであってもよい。
本開示の実施形態に従うと、「データ処理装置」という用語は、例として、プログラム可能なプロセッサ、コンピュータ、または複数のプロセッサもしくはコンピュータを含む、データを処理するすべての種類の装置、デバイス、およびマシンを包含し得る。装置は、専用論理回路、たとえばＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）を含み得る。この装置はまた、ハードウェアに加えて、当該コンピュータプログラムの実行環境を生成するコード、たとえば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはそれらの１つ以上の組み合わせを構成するコードを含み得る。
コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、モジュール、ソフトウェアモジュール、スクリプト、またはコードと呼ばれるまたはそういうものとして説明されることもある）は、コンパイルされたもしくは解釈された言語、または宣言的もしくは手続き型言語を含む任意の形態のプログラミング言語で記述することができ、スタンドアロンプログラムとして、またはモジュール、コンポーネント、サブルーチン、もしくはコンピューティング環境での使用に適した他のユニットとして、任意の形態でデプロイすることができる。コンピュータプログラムは、ファイルシステム内のファイルに対応し得るが、対応していなくてもよい。プログラムは、他のプログラムまたはデータを保持するファイルの一部に、たとえばマークアップ言語文書に格納された１つ以上のスクリプト、対象プログラム専用の単一ファイル、またはコーディネートした複数のファイル、たとえば１つ以上のモジュール、サブプログラム、またはコードの一部を格納するファイルに、格納することができる。コンピュータプログラムは、１つのコンピュータ上で、または１つの場所に位置するかもしくは複数の場所に分散され通信ネットワークで相互に接続された複数のコンピュータ上で実行されるようにデプロイすることができる。コンピュータプログラムの実行に適したコンピュータは、一例として、汎用マイクロプロセッサもしくは専用マイクロプロセッサもしくはその両方、または任意の他の種類の中央処理装置に基づいていてもよい。一般的に、中央処理装置は、読出専用メモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受ける。コンピュータの必須要素は、命令を実施または実行するための中央処理装置と、命令およびデータを記憶するための１つ以上のメモリデバイスとである。一般的に、コンピュータはまた、データを記憶するための１つ以上の大容量記憶装置、たとえば、磁気、光磁気ディスク、もしくは光ディスクを含むか、または、それからデータを受けるかまたはそれにデータを転送するかまたはその両方を行うように、上記ディスクに作動的に結合される。しかしながら、コンピュータはそのようなデバイスを有していなくてもよい。さらに、コンピュータは、別のデバイスに埋め込むことができる、たとえば数例を挙げると、携帯電話、携帯情報端末（ＰＤＡ）、モバイルオーディオもしくはビデオプレーヤ、ゲームコンソール、グローバルポジショニングシステム（ＧＰＳ）受信機、または携帯型記憶装置、たとえばユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブに、埋め込むことができる。
ユーザとのやり取りを提供するために、本明細書に記載の主題の実施形態を、ユーザに情報を表示するための表示装置、たとえばＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニタと、ユーザがコンピュータに入力を提供できるようにするキーボードおよびポインティングデバイス、たとえばマウスまたはトラックボールとを有する、コンピュータ上で実現されてもよい。他の種類のデバイスを用いてユーザとのやり取りを提供してもよい。たとえば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック、たとえば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックであってもよく、ユーザからの入力は、音響入力、音声入力、または触覚入力を含む任意の形態で受けることができる。加えて、コンピュータは、ユーザとのやり取りを、ユーザが使用するデバイスに文書を送信し当該デバイスから文書を受信することによって、たとえばユーザのクライアントデバイス上のウェブブラウザに、ウェブブラウザから受信した要求に応じてウェブページを送信することによって、実現することができる。
本明細書に記載の主題の実施形態は、たとえばデータサーバとしてバックエンドコンポーネントを含む、または、ミドルウェアコンポーネント、たとえばアプリケーションサーバを含む、または、フロントエンドコンポーネント、たとえば本明細書に記載の主題の実装形態とユーザがやり取りできるようにするグラフィカルユーザインターフェイスもしくはウェブブラウザを有するクライアントコンピュータを含む、または、そのようなバックエンド、ミドルウェア、もしくはフロントエンドコンポーネントの１つ以上の任意の組み合わせを含む、コンピューティングシステムにおいて実現することができる。システムの構成要素は、デジタルデータ通信の任意の形態または媒体、たとえば通信ネットワークにより、相互に接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）およびワイドエリアネットワーク（「ＷＡＮ」）、たとえばインターネットを含む。
コンピューティングシステムは、クライアントおよびサーバを含み得る。クライアントおよびサーバは、一般的には互いに離れており、典型的には通信ネットワークを通してやり取りする。クライアントとサーバの関係は、各コンピュータ上で実行されクライアントとサーバの相互の関係を有するコンピュータプログラムから発生する。
本開示をいくつかの好ましい実施形態を用いて説明してきたが、その他さまざまな適合化および修正を本開示の精神および範囲の中で実施できることが理解されねばならない。したがって、本開示の真の精神および範囲に含まれるこのような変形および修正形をすべてカバーすることが以下の請求項の局面である。

Claims (15)

  1. シーン内の対象の流動の状態を求めるためのシステムであって、前記システムは、
    前記シーンの観測サンプルポイントにおける前記流動の状態を測定する少なくとも１つのセンサを備え、前記シーンは、観測サンプルポイントおよび未観測サンプルポイントのサブセットを有するサンプルポイントのセットと、制御入力のセットとを含み、前記システムはさらに、
    前記シーン内の前記対象の流動の訓練状態の時変ダイナミクスを特定する作用素を格納するメモリを備え、前記作用素は、前記シーン内のあるサンプルポイントにおける前記対象の流動の状態の推定される将来の状態を、前記シーン内の前記サンプルポイントのセットにおける前記対象の流動の状態の現在の測定状態と、前記流動の初期状態および境界状態を定める前記制御入力のセットとの関数として、求めるように予め訓練され、前記システムはさらに、
    プロセッサを備え、前記プロセッサは、前記メモリと通信し、前記作用素と、前記観測サンプルポイントのサブセットにおける測定状態とを用いて、前記シーンの前記未観測サンプルポイントのサブセットにおける前記対象の流動の状態を推定するように構成され、前記観測サンプルポイントのサブセットにおける前記推定される将来の状態は、前記観測サンプルポイントのサブセットにおける前記測定状態と一致し、前記システムはさらに、
    出力インターフェイスを備え、前記出力インターフェイスは、前記プロセッサと通信し、前記シーンの未観測サンプルポイントのセットにおける前記流動の状態を出力することにより、前記シーン内の対象の流動の管理状態の管理を支援するように構成されている、システム。
  2. 前記作用素を訓練することは、
    前記シーン内の前記サンプルポイントのセット内の前記対象の流動の訓練状態および制御入力の履歴データを取得すること、
    モデルに従い、前記シーン内の前記サンプルポイントのセット内の前記対象の流動の前記訓練状態をシミュレートすること、または、
    前記シーン内のサンプルポイントの一連のサブセット内の前記対象の流動の前記訓練状態を取得することを含み、前記サンプルポイントの一連のサブセット内の前記サンプルポイントの少なくとも１つのサブセットは、前記シーン内の前記サンプルポイントの一連のサブセット内の前記サンプルポイントの残りのサブセットについての観測可能なサンプルポイントの時点と異なる時点における観測サンプルポイントであり、前記シーン内の前記一連のサンプルポイント内の前記サンプルポイントのすべてのサブセットは、前記シーン内の前記サンプルポイントのセット内のすべてのサンプルポイントを含む、請求項１に記載のシステム。
  3. 前記シーンの前記未観測サンプルポイントのサブセットにおける前記対象の流動の状態を推定することは、
    基底行列のセットについての係数のセットを、前記センサによる前記シーンの前記観測サンプルポイントのセットと、前記作用素の前記観測サンプルポイントのサブセットにおける前記推定される将来の状態との間の誤差を最小にすることにより、求めることと、
    前記基底行列のセットについての係数のセットが、前記作用素の固有値のセットに応じた一時的予測条件に従うことを、確認することとを含む、請求項１に記載のシステム。
  4. 前記作用素はシステムダイナミクス作用素であり、前記システムダイナミクス作用素はカーネル動的モード分解（ＫＤＭＤ）作用素である、請求項１に記載のシステム。
  5. シーン内の対象の流動の状態を求めるための方法であって、前記方法は、
    前記シーンの観測サンプルポイントにおける流動の状態を測定するステップを含み、前記シーンは、観測サンプルポイントおよび未観測サンプルポイントのサブセットを有するサンプルポイントのセットと、制御入力のセットとを含み、前記方法はさらに、
    前記シーン内の前記対象の流動の訓練状態の時変ダイナミクスを特定する作用素をメモリに格納するステップを含み、前記作用素は、前記シーン内のあるサンプルポイントにおける前記対象の流動の状態の推定される将来の状態を、前記シーン内の前記サンプルポイントのセットにおける前記対象の流動の状態の現在の測定状態と、前記制御入力のセットとの関数として、求めるように予め訓練され、前記方法はさらに、
    前記メモリと通信するプロセッサを使用するステップを含み、前記プロセッサは、前記作用素と、前記観測サンプルポイントのサブセットにおける測定状態とを用いて、前記シーンの前記未観測サンプルポイントのサブセットにおける前記対象の流動の状態を推定するように構成され、前記観測サンプルポイントのサブセットにおける前記推定される将来の状態は、前記観測サンプルポイントのサブセットにおける前記測定状態と一致し、前記方法はさらに、
    前記プロセッサと通信する出力インターフェイスを介して、前記シーンの未観測サンプルポイントのセットにおける前記流動の状態を出力することにより、前記シーン内の対象の流動の管理状態の管理を支援するステップを含む、方法。
  6. 前記作用素を訓練することは、
    前記シーン内の前記サンプルポイントのセット内の前記対象の流動の訓練状態の履歴データを取得すること、
    モデルに従い、前記シーン内の前記サンプルポイントのセット内の前記対象の流動の前記訓練状態をシミュレートすること、または、
    前記シーン内のサンプルポイントの一連のサブセット内の前記対象の流動の前記訓練状態を取得することを含み、前記サンプルポイントの一連のサブセット内の前記サンプルポイントの少なくとも１つのサブセットは、前記シーン内の前記サンプルポイントの一連のサブセット内の前記サンプルポイントの残りのサブセットについての観測可能なサンプルポイントの時点と異なる時点における観測サンプルポイントであり、前記シーン内の前記一連のサンプルポイント内の前記サンプルポイントのすべてのサブセットは、前記シーン内の前記サンプルポイントのセット内のすべてのサンプルポイントを含む、請求項５に記載の方法。
  7. 前記シーンの前記未観測サンプルポイントのサブセットにおける前記対象の流動の状態を推定することは、
    基底行列のセットについての係数のセットを、センサによる前記シーンの前記観測サンプルポイントのセットと、前記作用素の前記観測サンプルポイントのサブセットにおける前記推定される将来の状態との間の誤差を最小にすることにより、求めることと、
    前記基底行列のセットについての係数のセットが、前記作用素の固有値のセットに応じた一時的予測条件に従うことを、確認することとを含む、請求項５に記載の方法。
  8. 前記シーンの観測サンプルポイントにおける前記流動の状態を測定することは、前記シーンの近くに位置する少なくとも１つのセンサを用いて行われる、請求項５に記載の方法。
  9. 前記作用素はシステムダイナミクス作用素であり、前記システムダイナミクス作用素はカーネル動的モード分解（ＫＤＭＤ）作用素である、請求項５に記載の方法。
  10. 方法を実行するためにプロセッサが実行可能なプログラムが実現された非一時的なコンピュータ読取可能記憶媒体であって、前記方法はシーン内の対象の流動の状態を求めるための方法であり、前記方法は、
    前記シーンの観測サンプルポイントにおける流動の状態を測定するステップを含み、前記シーンは、観測サンプルポイントおよび未観測サンプルポイントのサブセットを有するサンプルポイントのセットと、制御入力のセットとを含み、前記方法はさらに、
    前記シーン内の前記対象の流動の訓練状態の時変ダイナミクスを特定する作用素をメモリに格納するステップを含み、前記作用素は、前記シーン内のあるサンプルポイントにおける前記対象の流動の状態の推定される将来の状態を、前記シーン内の前記サンプルポイントのセットにおける前記対象の流動の状態の現在の測定状態と、前記制御入力のセットとの関数として、求めるように予め訓練され、前記方法はさらに、
    前記メモリと通信するプロセッサを使用するステップを含み、前記プロセッサは、前記作用素と、前記観測サンプルポイントのサブセットにおける測定状態とを用いて、前記シーンの前記未観測サンプルポイントのサブセットにおける前記対象の流動の状態を推定するように構成され、前記観測サンプルポイントのサブセットにおける前記推定される将来の状態は、前記観測サンプルポイントのサブセットにおける前記測定状態と一致し、前記方法はさらに、
    前記プロセッサと通信する出力インターフェイスを介して、前記シーンの未観測サンプルポイントのセットにおける前記流動の状態を出力することにより、前記シーン内の対象の流動の管理状態の管理を支援するステップを含む、非一時的なコンピュータ読取可能媒体。
  11. 前記作用素を訓練することは、
    前記シーン内の前記サンプルポイントのセット内の前記対象の流動の訓練状態の履歴データを取得すること、
    モデルに従い、前記シーン内の前記サンプルポイントのセット内の前記対象の流動の前記訓練状態をシミュレートすること、または、
    前記シーン内のサンプルポイントの一連のサブセット内の前記対象の流動の前記訓練状態を取得することを含み、前記サンプルポイントの一連のサブセット内の前記サンプルポイントの少なくとも１つのサブセットは、前記シーン内の前記サンプルポイントの一連のサブセット内の前記サンプルポイントの残りのサブセットについての観測可能なサンプルポイントの時点と異なる時点における観測サンプルポイントであり、前記シーン内の前記一連のサンプルポイント内の前記サンプルポイントのすべてのサブセットは、前記シーン内の前記サンプルポイントのセット内のすべてのサンプルポイントを含む、請求項１０に記載の非一時的なコンピュータ読取可能媒体。
  12. 前記作用素はカーネル動的モード分解（ＫＤＭＤ）作用素であり、前記非一時的なコンピュータ読取可能媒体は、流動完成のためのデータ駆動型フレームワークであり、前記メモリから得られる、完全なシーンΩについて定められた訓練データは、前記シーン内の流動のダイナミクスを捕捉する前記ＫＤＭＤ作用素を学習するために利用できる、請求項１０に記載の非一時的なコンピュータ読取可能媒体。
  13. 前記シーンの前記未観測サンプルポイントのサブセットにおける前記対象の流動の状態を推定することは、
    基底行列のセットについての係数のセットを、センサによる前記シーンの前記観測サンプルポイントのセットと、前記作用素の前記観測サンプルポイントのサブセットにおける前記推定される将来の状態との間の誤差を最小にすることにより、求めることと、
    前記基底行列のセットについての係数のセットが、前記作用素の固有値のセットに応じた一時的予測条件に従うことを、確認することとを含む、請求項１０に記載の非一時的なコンピュータ読取可能媒体。
  14. 前記シーンの観測サンプルポイントにおける前記流動の状態を測定することは、前記シーンの近くに位置する少なくとも１つのセンサを用いて行われる、請求項１０に記載の非一時的なコンピュータ読取可能媒体。
  15. 前記作用素はシステムダイナミクス作用素であり、前記システムダイナミクス作用素はカーネル動的モード分解（ＫＤＭＤ）作用素である、請求項１０に記載の非一時的なコンピュータ読取可能媒体。
JP2021572956A 2019-03-28 2020-01-29 制御入力および限られた観測から動的流動を予測するための方法およびシステム Active JP7146122B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/367,558 2019-03-28
US16/367,558 US10909387B2 (en) 2019-03-28 2019-03-28 Method and system for predicting dynamical flows from control inputs and limited observations
PCT/JP2020/004208 WO2020195191A1 (en) 2019-03-28 2020-01-29 Method and system for predicting dynamical flows from control inputs and limited observations

Publications (2)

Publication Number Publication Date
JP2022521559A JP2022521559A (ja) 2022-04-08
JP7146122B2 true JP7146122B2 (ja) 2022-10-03

Family

ID=69740474

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021572956A Active JP7146122B2 (ja) 2019-03-28 2020-01-29 制御入力および限られた観測から動的流動を予測するための方法およびシステム

Country Status (5)

Country Link
US (1) US10909387B2 (ja)
JP (1) JP7146122B2 (ja)
KR (1) KR20210126690A (ja)
TW (1) TWI761787B (ja)
WO (1) WO2020195191A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210192681A1 (en) * 2019-12-18 2021-06-24 Ati Technologies Ulc Frame reprojection for virtual reality and augmented reality
CN114139836B (zh) * 2022-01-29 2022-05-31 北京航空航天大学杭州创新研究院 基于重力学多层三维残差网络的城市od人流预测方法
US20230351070A1 (en) * 2022-04-27 2023-11-02 Armored Things, Inc. Simulation-driven localization and tracking of people
CN115330132B (zh) * 2022-07-20 2023-04-07 中交上海航道局有限公司 一种用于突发污染事故中宽浅型河流的水质分布逆时反演的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017532688A (ja) 2015-03-06 2017-11-02 三菱電機株式会社 空調システム、並びに空調システムの動作を制御するためのシステム及び方法
JP2018113026A (ja) 2017-01-12 2018-07-19 三菱電機株式会社 物体の流動の状態を求めるシステム及び方法、並びに非一時的コンピューター可読記憶媒体

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7595817B1 (en) 2003-02-12 2009-09-29 The Research Foundation Of State University Of New York Linear system based, qualitative independent motion detection from compressed MPEG surveillance video
JPWO2007032329A1 (ja) * 2005-09-14 2009-03-19 パナソニック株式会社 位置追跡方法、位置追跡装置および超音波診断装置
US20110205359A1 (en) * 2010-02-19 2011-08-25 Panasonic Corporation Video surveillance system
EP2893422A4 (en) * 2012-09-06 2016-05-18 Interphase Corp SENSOR FUSION WITH ABSOLUTE AND RELATIVE POSITIONING IN AN INTERACTIVE DISPLAY SYSTEM
US9600896B1 (en) * 2015-11-04 2017-03-21 Mitsubishi Electric Research Laboratories, Inc. Method and system for segmenting pedestrian flows in videos
US10212410B2 (en) * 2016-12-21 2019-02-19 Mitsubishi Electric Research Laboratories, Inc. Systems and methods of fusing multi-angle view HD images based on epipolar geometry and matrix completion
US10203214B2 (en) * 2017-02-06 2019-02-12 Here Global B.V. Method and apparatus for filtering device location points in a sampled trajectory while maintaining path reconstructability
CN108399618A (zh) * 2018-02-28 2018-08-14 清华大学 人群的位置和数目获取装置
CN109522854B (zh) * 2018-11-22 2021-05-11 广州众聚智能科技有限公司 一种基于深度学习和多目标跟踪的行人流量统计方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017532688A (ja) 2015-03-06 2017-11-02 三菱電機株式会社 空調システム、並びに空調システムの動作を制御するためのシステム及び方法
JP2018113026A (ja) 2017-01-12 2018-07-19 三菱電機株式会社 物体の流動の状態を求めるシステム及び方法、並びに非一時的コンピューター可読記憶媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Dynamic mode decomposition with control，［online］，2014年09月22日，［令和4年8月12日検索］，インターネット ＜URL：https://arxiv.org/abs/1409.6358＞

Also Published As

Publication number Publication date
TWI761787B (zh) 2022-04-21
US20200311439A1 (en) 2020-10-01
CN113632141A (zh) 2021-11-09
TW202105323A (zh) 2021-02-01
US10909387B2 (en) 2021-02-02
KR20210126690A (ko) 2021-10-20
WO2020195191A1 (en) 2020-10-01
JP2022521559A (ja) 2022-04-08

Similar Documents

Publication Publication Date Title
JP7146122B2 (ja) 制御入力および限られた観測から動的流動を予測するための方法およびシステム
Stoffregen et al. Reducing the sim-to-real gap for event cameras
EP3549102B1 (en) Determining structure and motion in images using neural networks
US9767570B2 (en) Systems and methods for computer vision background estimation using foreground-aware statistical models
Huang et al. Highly accurate moving object detection in variable bit rate video-based traffic monitoring systems
DE102020102230A1 (de) Missbrauchsindex für erklärbare künstliche intelligenz in computerumgebungen
JP6879894B2 (ja) 物体の流動の状態を求めるシステム及び方法、並びに非一時的コンピューター可読記憶媒体
US20180285689A1 (en) Rgb-d scene labeling with multimodal recurrent neural networks
CN113015978B (zh) 处理图像以定位新颖对象
US11789466B2 (en) Event camera based navigation control
CN112639878A (zh) 无监督深度预测神经网络
Vemprala et al. Representation learning for event-based visuomotor policies
Shiba et al. Fast event-based optical flow estimation by triplet matching
Kothandaraman et al. Differentiable frequency-based disentanglement for aerial video action recognition
KR102323671B1 (ko) 동영상내의 이상 물체 탐지 방법 및 그 장치
Rudol et al. Evaluation of human body detection using deep neural networks with highly compressed videos for UAV Search and rescue missions
CN113632141B (zh) 用于从控制输入和有限观测预测动力学流的方法和系统
CN108229320A (zh) 选帧方法和装置、电子设备、程序和介质
CN110753239B (zh) 视频预测方法、视频预测装置、电子设备和车辆
Kothandaraman et al. Diffar: Differentiable frequency-based disentanglement for aerial video action recognition
KR102679399B1 (ko) 고화질 영상을 이용한 객체를 검출하는 전자 장치 및 그 방법
US20240089592A1 (en) Adaptive perceptual quality based camera tuning using reinforcement learning
US20230237675A1 (en) Method, electronic device, and computer program product for processing video
Poonguzhali et al. Enhanced IoT Devices with Intelligent System for Object Detection
Wang et al. Saliency Guided Depth Prediction from a Single Image

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210820

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210820

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220816

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220920

R150 Certificate of patent or registration of utility model

Ref document number: 7146122

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150