TWI761787B - 從控制輸入和有限觀察預測動態流的方法及系統 - Google Patents

從控制輸入和有限觀察預測動態流的方法及系統 Download PDF

Info

Publication number
TWI761787B
TWI761787B TW109108540A TW109108540A TWI761787B TW I761787 B TWI761787 B TW I761787B TW 109108540 A TW109108540 A TW 109108540A TW 109108540 A TW109108540 A TW 109108540A TW I761787 B TWI761787 B TW I761787B
Authority
TW
Taiwan
Prior art keywords
scene
flow
states
operator
subset
Prior art date
Application number
TW109108540A
Other languages
English (en)
Other versions
TW202105323A (zh
Inventor
哈森 曼索爾
Original Assignee
日商三菱電機股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商三菱電機股份有限公司 filed Critical 日商三菱電機股份有限公司
Publication of TW202105323A publication Critical patent/TW202105323A/zh
Application granted granted Critical
Publication of TWI761787B publication Critical patent/TWI761787B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

判定一場景中物體之流動之狀態用之系統及方法。該等方法及系統包括測量該場景之所觀察取樣點處之該流動之狀態，其中該場景含有一取樣點集合，該取樣點子集具有所觀察取樣點子集及未觀察取樣點子集。在一記憶體中儲存一運算子，該運算子指定該場景中該等物體之流動之訓練狀態之時變動態特性。使用該運算子及該所觀察取樣點子集處之該等所測量狀態，估計該場景之該未觀察取樣點子集處之該等物體之該流動之該等狀態。輸出該場景之該未觀察取樣點集合處之該流動之該等狀態，以便有助於管理該場景中物體之流動之狀態。

Description

從控制輸入和有限觀察預測動態流的方法及系統
本揭露係關於用於群眾預測之方法及系統，並且更特別是關於使用動態系統分析之分段及識別。
來自有限觀察資料之動態流動完成(dynamic flow completion)係出現在諸如群眾流動估計、氣流感測及天氣及洋流預測等許多領域中之一常見問題。
舉例而言，關於群眾流動估計，動態影像中密集之行人群眾裡運動流之分段係為群眾安全及群眾控制應用中之一重要工具。即使在正常情況下，擁擠場景之動態影像也會呈現出複雜之群眾行為。舉例而言，諸如火車站等大型擁擠區域中之群眾流動一開始會看起來混亂。然而，通常情況下，流動中存在有欲從非結構化流動中進行識別及分段的低維動態結構。此外，獨立群眾流動之自動分段有助於監視及預測擁擠環境中之危險情況。
使用從動態影像中提取之運動資訊來檢測及估計群眾流動特別令人感興趣。可使用被應用於動態影像(video)中之紋理(texture)(其為像素 強度)的光學流動估計(optical flow estimation)來判定運動向量，或可從位元流直接擷取運動向量。位元流可使用例如MPEG、H.264、HEVC等任何眾所皆知之寫碼標準來編碼。
將一擁擠場景中之行人視為一流動中之粒子，一動態影像框之運動向量對應於粒子在流動中於一時刻之速度之觀察結果。處理運動向量而不是動態影像紋理，來保護監控動態影像中所觀察個人之隱私。
美國專利案號8773536揭示一種用於檢測一監控動態影像中獨立運動之方法。該方法藉由將紋理梯度與運動向量作比較，從動態影像之大區塊建構一線性系統。當將運動標記為相對於線性系統之一統計離群值時偵測獨立流動。
然而，以上方法未建模控制輸入對動態系統之影響，其影響粒子流動之變化。
因此，需要改善其系統及方法，以用來建模控制輸入對動態系統之影響，其影響粒子流動之變化。
本揭露係關於用於群眾預測之方法及系統，並且更特別是關於使用動態系統分析之分段及識別。
本揭露之具體實施例在動態流動預測領域中提供系統及方法，其使用具有控制輸入之動態系統分析。舉例而言，本揭露用來從諸如初始及邊界條件之控制輸入資料、以及從場景之區域中之有限空間觀察來預測並完成大型場景中群眾之流動。對於一特定場景，該等系統及方法首先取得流經一所欲場景之 例示性群眾之訓練速度資料、以及影響場景中流動之訓練控制輸入。訓練資料及控制輸入資料能夠透過一完整場景之監控動態影像觀察、或透過場景內流動之電腦模擬來取得。
再者，訓練資料及控制輸入資料可接著用於學習一系統動態特性運算子及一輸入映射運算子，其使所觀察區域及控制輸入與在場景中控制流動之狀態變數之演變相關。一系統動態特性運算子之至少一項實施例可以是一內核動態模式分解(KDMD)運算子，其擷取場景中經歷之動態特性。對於一空間有限區域中所觀察之每個新流動，流動完成問題係投射為受KDMD運算子之預測、所觀察狀態變數、及輸入資料所限制之一最小平方反算問題。可從KDMD運算子就場景中之流動判定一基礎表徵，並且就控制輸入資料判定另一基礎表徵。至少一項態樣在於，流動完成可藉由從控制輸入資料及所觀察流動估計基礎展開之係數來實現。係數最終可用於藉由對KDMD基數上之一投射來重建完整流動。
換句話說，從實驗學到的是，有可能克服在未完全觀察之一空間網格或場景上估計時間性演變流動參數之問題。舉例而言，本揭露藉由未將整個場景或整個網格覆蓋之有限個感測器，僅使用控制輸入資料、或將輸入資料與有限觀察結果組合，用來重建場景之完整流動。事實上，本揭露能以不昂貴、有效率且快速的方式提供一真實行人群眾之流動之準確表徵，因為訓練階段允許在其它時間或採用離線方式實行計算，而不是在使用期間或採用即時方式實行計算。
本揭露為提供一種用於流動完成之資料驅動框架，其中涵蓋完整場景Ω而定義之訓練資料可供用於學習一內核DMD運算子，該內核DMD運算子係擷取場景中流動之動態特性。接著，對於涵蓋一子集Γ
Figure 109108540-A0305-02-0005-73
Ω而定義之新測 試流動，我們解決受內核DMD運算子之一步式預測限制之一最小平方之最小化問題。
舉例而言，本揭露克服習知無法瞭解群眾流動完成之群眾流動方法之一些問題。本揭露包括巨觀規模之態樣，即依據流動密度及速度對流動進行特性分析之一模型上之變化。其中，當試圖針對完成一部分所觀察流動求出一解答時，此一問題需要解決一反算問題，該反算問題須確認支配流動之偏微分方程式(PDE)之一初始及邊界條件、以及其它態樣中的流動參數。
根據本揭露之一具體實施例，一種用於判定一場景中物體流動狀態之系統。系統包括至少一個感測器，用以測量場景之所觀察取樣點處之流動之狀態。其中，場景含有一取樣點集合、以及一控制輸入集合，該取樣點集合具有所觀察取樣點子及未觀察取樣點子集。用以儲存一運算子之一記憶體，該運算子指定該場景中該等物體之流動之訓練狀態之時變動態特性。其中該運算子受預訓練以判定該場景中一取樣點處之該等物體之流動之該等狀態之一估計未來狀態，並作為該場景中該取樣點集合處之該等物體之流動之該等狀態之目前所測量狀態、及定義該流動之初始與邊界狀態的該控制輸入集合之函數。與該記憶體通訊之一處理器，其係組構成用來使用該運算子及該所觀察取樣點子集處之該等所測量狀態，估計該場景之該未觀察取樣點子集處之該等物體之該流動之該等狀態。使得該所觀察取樣點子集處之該等所估計未來狀態與該所觀察取樣點子集處之該等所測量狀態一致。與該處理器通訊之一輸出介面，其係組構成用於輸出該場景之該未觀察取樣點集合處之該流動之該等狀態，以便有助於管理該場景中物體之流動之狀態。本揭露之方法及系統可用在動態影像監控系統、監視電力網格系統、流體及空氣流動模擬及建模，其中新方法允許在建模中指定初始 及邊界條件。
根據本揭露之另一具體實施例，一種用於判定一場景中物體流動狀態之方法。該方法包括測量該場景之所觀察取樣點處之流動之狀態。其中，該場景含有一取樣點集合、以及一控制輸入集合，該取樣點集合具有所觀察取樣點子集及未觀察取樣點子集。在一記憶體中儲存一運算子，該運算子指定該場景中該等物體之流動之訓練狀態之時變動態特性。其中該運算子受預訓練以判定該場景中一取樣點處之該等物體之流動之該等狀態之一估計未來狀態，並作為該場景中該取樣點集合處之該等物體之流動之該等狀態之目前所測量狀態、及該控制輸入集合之函數。使用與該記憶體通訊之一處理器，該處理器係組構成用來使用該運算子及該所觀察取樣點子集處之該等所測量狀態，估計該場景之該未觀察取樣點子集處之該等物體之該流動之該等狀態。使得該所觀察取樣點子集處之該等所估計未來狀態與該所觀察取樣點子集處之該等所測量狀態一致。經由與該處理器通訊之一輸出介面，輸出該場景之該未觀察取樣點集合處之該流動之該等狀態，以便有助於管理該場景中物體之流動之狀態。
本揭露之另一具體實施例，一種嵌入式非過渡性電腦可讀儲存媒體，可由一處理器執行用於進行一方法之一程式，該方法用於判定一場景中物體之流動之狀態。該非過渡性電腦可讀儲存媒體包括測量該場景之所觀察取樣點處之流動之狀態，其中該場景含有一取樣點集合、以及一控制輸入集合，該取樣點集合具有所觀察取樣點子集及未觀察取樣點子集。在一記憶體中儲存一運算子，該運算子指定該場景中該等物體之流動之訓練狀態之時變動態特性。其中該運算子受預訓練以判定該場景中一取樣點處之該等物體之流動之該等狀態之一估計未來狀態，並作為該場景中該取樣點集合處之該等物體之流動之該等狀態 之目前所測量狀態、及該控制輸入集合之函數。使用與該記憶體通訊之一處理器，該處理器係組構成用來使用該運算子及該所觀察取樣點子集處之該等所測量狀態，估計該場景之該未觀察取樣點子集處之該等物體之該流動之該等狀態。使得該所觀察取樣點子集處之該等所估計未來狀態與該所觀察取樣點子集處之該等所測量狀態一致。經由與該處理器通訊之一輸出介面，輸出該場景之該未觀察取樣點集合處之該流動之該等狀態，以便有助於管理該場景中物體之流動之狀態。
現揭具體實施例將參照附圖進一步闡釋。所示圖式未必按照比例，而是大致著重於說明現揭具體實施例的原理。
3:資料源
4:電腦裝置、第三方裝置
5:行動電話裝置、行動裝置
6、711:儲存裝置、儲存體
7:網路
9、710:記憶體
13:網路啟用式伺服器
15:用戶端裝置
17:外部記憶體裝置
19:傳送器
21:輸出
100:硬體處理器
101:動態影像
102:環境、場景
103:感測器、攝影機
104:框k
105B:方法
109:獨立流動
111:資料矩陣
115、120、125、130、400、440、500、600:步驟
300:處理器
305:運動向量
309:獨立流動
311:資料矩陣
321:低秩控制Koopman運算子
331:Koopman模式
410:SVD
411:歧異向量
421:流動特性
431:Koopman模式
509:已分段流動
601:列子集
700:運算設備
701:環境
702:機器
703:外部感測器
704:外部儲存器
705:外部輸入/輸出裝置
706:外部接收器
707:外部傳送器
708:電源
709:處理器
712:高速介面
713:低速介面
714:高速擴充埠
715:低速擴充埠
716:低速連接埠
717:輸入介面
718:輸出介面
719:接收器
720:傳送器
721:網路介面控制器
722:網路
723:使用者介面
724:鍵盤
725:顯示裝置、顯示器
726:標準伺服器
727:膝上型電腦
728:機架式伺服器系統
750:匯流排
圖1A係為本發明之一流程圖，其根據本揭露之具體實施例，繪示用於實施一方法之一些方法步驟，該方法用於判定一場景中物體之流動之狀態。
圖1B係為本發明之一方塊圖，其根據本揭露之具體實施例，繪示可用於實施該等系統及方法之一些組件。
圖1C係為本發明之一示意圖，其根據本揭露之具體實施例，繪示用於獲得顯示有一Koopman運算子及控制輸入之一場景的一動態影像中估計完整物體流動之一系統及方法。
圖2係為本發明之一方法之一流程圖，根據本揭露之一些具體實施例，該方法用於藉由觀察控制輸入、判定Koopman模式及特徵值，然後估計Koopman模式及控制輸入之基礎係數，來判定完整流動參數，其中該等完整流動參數可藉由 將該等所估計基礎係數與Koopman模式組合來判定。
圖3係為本發明之一示意圖，其根據本揭露之具體實施例，繪示用於在獲得一場景之一動態影像中將行人流動分段之一些系統及方法步驟。
圖4係為本發明之一流程圖，其根據本揭露之一些具體實施例，繪示用於判定Koopman模式之一些方法步驟。
圖5係為本發明之一流程圖，其根據本揭露之一些具體實施例，繪示用於使用該等Koopman模式將獨立流動分段之一方法。
圖6係為本發明之一流程圖，其根據本揭露之一些具體實施例，繪示用於對獨立分段之行人流動進行特性分析之一些方法。
圖7係為本發明之一示意圖，其根據本揭露之具體實施例，繪示可用於實施該等方法及系統之一些技巧的一運算設備。
儘管以上指認之圖式提出現揭具體實施例，其它具體實施例亦列入考量範圍內，如論述中所提。本揭露透過表徵且非限制的方式來介紹說明性具體實施例。所屬技術領域中具有通常知識者可設計出落在現揭具體實施例之原理之範疇與精神內的許多其它修改與具體實施例。
本揭露係關於用於群眾預測之方法及系統，並且更特別的是關於使用動態系統分析之分段及識別。舉例而言，本揭露之一些具體實施例包括一種用於流動完成之資料驅動框架(data-driven framework)，其中涵蓋一完整場景Ω而定義之訓練資料可供用於學習一核心動態模式分解(Dynamic Mode Decomposition,DMD)運算子，該核心動態模式分解運算子擷取一場景中流動之 動態特性。接著，除了其他態樣外，還開發出涵蓋一子集Γ
Figure 109108540-A0305-02-0010-74
Ω而定義的新測試流動，以便解決受核心動態模式分解運算子之一步式預測限制之一最小平方最小化問題。
圖1A係為本發明之一流程圖，其根據本揭露之具體實施例，繪示用於實施一方法之一些方法步驟，該方法用於判定一場景中物體之流動之狀態。
圖1A之步驟115包括測量該場景之所觀察取樣點處之該流動之狀態，其中該場景含有具有所觀察及未觀察取樣點子集之一取樣點集合。
圖1A之步驟120包括在一記憶體中儲存一運算子，該運算子指定該場景中該等物體之流動之訓練狀態之時變動態特性，其中該運算子受預訓練以判定該場景中一取樣點處之該等物體之流動之該等狀態之一估計未來狀態，並作為該場景中該取樣點集合處之該等物體之流動之該等狀態之目前所測量狀態之函數。
圖1A之步驟125包括使用與該記憶體通訊之一處理器，該處理器係組構成用來使用該運算子及該所觀察取樣點子集處之該等所測量狀態來估計該場景之該未觀察取樣點子集處之該等物體之該流動之該等狀態，使得該所觀察取樣點子集處之該等所估計未來狀態與該所觀察取樣點子集處之該等所測量狀態一致。
圖1A之步驟130包括經由與該處理器通訊之一輸出介面，輸出該場景之該未觀察取樣點集合處之該流動之該等狀態，以便有助於管理該場景中物體之流動之狀態。
藉由非限制性實施例，本揭露之具體實施例提供獨特態樣，其能 夠克服在未完全被觀察之一空間網格或場景上估計時間性地演變之流動參數之問題。本揭露提供一些態樣，用來重建場景之完整流動，其係僅使用控制輸入資料，或者將輸入資料與有限觀察結果組合使用，該有限觀察結果係藉由未將整個場景或整個網格覆蓋之有限數目之感測器所為者。
本揭露之一些方法及系統之其它優點能以不昂貴、有效率且快速的方式提供一真實行人群眾之流動之準確表徵，這是因為訓練階段允許在其它時間或採用離線方式實行計算之故。再者，本揭露之其它態樣係為巨觀規模之態樣，亦即依據流動密度及速度對流動進行特性分析之一模型上之變化。舉例而言，當試圖對完成如本揭露中之一部分所觀察流動求出一解答時，此一問題需要解決一反算問題，該反算問題須確認支配流動之偏微分方程式(PDE)之一初始及邊界條件、以及其它態樣中的流動參數。
圖1B係為本發明之一方塊圖，其根據本揭露之具體實施例，繪示可用於實施該等系統及方法之一些組件。舉例而言，方法105B可包括與諸如一聲學感測器從一環境102收集包括一(諸)聲學信號8之資料之一感測器或與感測器103通訊之硬體處理器100。該信號可包括與一動態影像或諸動態影像有關之資料。再者，感測器2可將一動態影像或相機輸入轉換成信號資料。硬體處理器100與一電腦儲存記憶體，即記憶體9，通訊，使得記憶體9包括可藉由硬體處理器100執行所儲存資料，包括演算法、指令及其它資料。
視需要，硬體處理器100可連線至一網路7，其與一資料源3、電腦裝置4、一行動電話裝置5及一儲存裝置6通訊。同樣視需要，硬體處理器100可連線至與一用戶端裝置15連接之一網路啟用式伺服器13。硬體處理器100可視需要連接至一外部記憶體裝置17、一傳送器19。再者，藉由非限制性實施例， 輸出21可以是完整流動參數(圖2之209)或與本揭露之系統及方法有關之一些其它輸出。舉例而言，一些類型之輸出可與一使用者屬意對在諸如一監視器或螢幕之一或多個顯示裝置上顯示完整流動參數(圖2之209)、或將完整流動參數(圖2之209)輸入到與一其它電腦相關裝置裡以供進一步分析等感興趣有關。
可預期的是，硬體處理器100可包括二或更多個硬體處理器，端視特定應用之要求而定，其中該等處理器可以是內部處理器或外部處理器。當然，其它組件可與方法105B合併，其包括輸出介面及收發器，還有其它裝置(請參閱圖7)。
藉由非限制性實施例，網路7有可能可包括一或多個區域網路(LAN)及/或廣域網路(WAN)。其中，網路連結環境可類似於企業電腦網路、內部網路及網際網路。所述所有組件預期在系統105B內可有任何數量之用戶端裝置、儲存組件、及資料源。各組件可包含在一分散式環境中相配合之單一裝置或多個裝置。再者，系統105B可包括一或多個資料源3。資料源3可包含用於訓練一網路之資料資源。舉例而言，在一具體實施例中，訓練資料可儲存在儲存體6中。訓練資料亦可包括其它環境之信號。資料源3亦可包含用於訓練一網路之資料資源。由資料源3所提供之資料可包括其它資料，諸如其它動態影像或相機資料。
再者，資料源3中之一些資料可由一或多個回授迴路提供。資料源之其它實施例可包括(但不受限制於)以下例子，各種影像源包括串流動態影像、網路查詢、行動裝置相機或其它資訊、網路攝影機摘要、智慧眼鏡及智慧手錶摘要、客戶關懷系統、保全攝影機摘要、網路文件、型錄、使用者摘要、SMS日誌、即時訊息傳送日誌、口語轉錄、諸如語音命令或所擷取影像(例如： 深度相機影像)等與使用者互動之遊戲系統、推文、聊天或動態影像通話記錄、或社群網路連結媒體。所使用之特定資料源3可基於包括資料是否係某一類別資料(例如：僅與聲音的特定類型有關之資料，舉例而言，包括機器系統、娛樂系統)或本質是否屬於一般(非特定類別)資料在內之應用來判定。
系統105B可包括第三方裝置4、5，其可包含任何類型之運算裝置，使得可有興趣在運算裝置上具有一自動語音辨識(ASR)系統。舉例而言，第三方裝置包括一電腦裝置4或一行動裝置5。可預期者為，使用者裝置可體現為一個人資料助理器(PDA)、一行動裝置，諸如一智慧型手機、智慧手錶、智慧眼鏡(或其它穿戴式智慧裝置)、擴增實境頭戴式裝置、虛擬實境頭戴式裝置。再者，使用者裝置可以是諸如一平板電腦之一膝上型電腦、遙控器、娛樂系統、車載電腦系統、嵌入式系統控制器、電器、家用電腦系統、安全系統、消費性電子裝置、或其它類似電子裝置。在一項具體實施例中，用戶端裝置能夠接收輸入資料，諸如可由在裝置上操作之本文所述之一ASR系統使用之音訊及影像資訊。舉例而言，第三方裝置可具有用於接收音訊資訊之一麥克風或線路輸入、用於接收動態影像或影像資訊之一相機、或用於從諸如網際網路或一資料源3之另一來源接收此類資訊之一通訊組件(例如：Wi-Fi之功能性)。
關於儲存體6，儲存體6可儲存包括本文所述技術之具體實施例中所用資料、電腦指令(例如：軟體程式指令、常規指令、或服務)、及/或模型在內之資訊。舉例而言，儲存體6可儲存來自一或多個資料源3之資料、一或多個深度神經網路模型、用於產生及訓練深度神經網路模型之資訊、以及由一或多個深度神經網路模型輸出之電腦可用資訊。
圖1C係為一示意圖，其根據本揭露之具體實施例，其繪示用於 估計獲得顯示一Koopman運算子及控制輸入之一場景的一動態影像中完整物體流動之一系統及方法。舉例而言，一些具體實施例提供一種用於流動完成之資料驅動框架，其中涵蓋完整場景Ω而定義之訓練資料可供用於學習一核心動態模式分解運算子，該核心動態模式分解運算子擷取場景中流動之動態特性。接著，對於涵蓋一子集Γ
Figure 109108540-A0305-02-0014-75
Ω而定義之新測試流動，解決受核心動態模式分解運算子之一步式預測限制之一最小平方最小化問題。
圖2係為一方法之一流程圖，根據本揭露之一些具體實施例，該方法用於藉由觀察控制輸入、判定Koopman模式及特徵值，然後估計Koopman模式及控制輸入之基礎係數，來判定完整流動參數，其中該等完整流動參數可藉由將該等所估計基礎係數與Koopman模式組合來判定。
圖3係為一示意圖，其根據本揭露之具體實施例，繪示用於在獲有一場景之一動態影像中將行人流動分段之一些系統及方法步驟。具體實施例可使用從一經編碼位元流擷取之運動向量，但運動向量仍可藉由其它手段來取得。運動向量係視為由對場景中之流動進行特性分析之數個獨立動態特性所組成之一基本動態系統之可觀察向量。該方法使用運動向量及控制輸入來判定對動態系統進行特性分析之一低秩Koopman運算子。控制Koopman運算子之質譜係接著使用歧異值分解(SVD)或特徵值分解來分析。獨立群眾流動係藉由將支配的歧異向量或支配的特徵向量聚類來判定，端視所使用之分解而定。
舉例而言，請參照圖3，以一攝影機103獲得一場景102中行人之一動態影像101。該動態影像包括一框集合。各框包括通常編碼運動向量之一區塊集合。各框k 104係藉由在透過所屬技術領域中已知之輸入/輸出匯流排連接至記憶體及相機之一處理器300中操作之方法來處理。動態影像以一經編碼 位元流之一形式呈現。
作為一優點，一經編碼位元流通常係以至少兩個量值等級或更多量值等級壓縮。因此，位元流佔用之儲存空間及處理時間更少。另外，該方法可於區塊層級操作，以使得不需要對位元流進行解碼以取得像素。然而，該方法可在一相機中操作並藉由其它手段取得運動向量。
該方法從動態影像中擷取運動向量305，例如，位元流中之區塊，並且藉由將運動向量堆疊來建構一資料矩陣311，下面有更詳細的描述。亦連同運動向量將控制輸入附加至資料矩陣311。
一低秩控制Koopman運算子321係從資料矩陣311被判定。分析一低秩控制Koopman運算子之質譜以判定支配的Koopman模式331。Koopman模式可接著用於將動態影像之圖框中之區塊分段以取得獨立流動309。
圖4顯示用於分析質譜並判定Koopman模式131之步驟400。該等步驟包括SVD 410，用來取得歧異向量411或一特徵值分解以判定特徵向量、或兩者。步驟440判定投射係數，其接著用於選擇特徵向量。接著可將歧異向量或所選特徵向量、或兩者用於判定Koopman模式431。
圖5顯示將像素分段之步驟500，其取用Koopman模式431作為輸入。運動向量係使用k均值聚類(k-means clustering)或圖譜聚類(graph spectral clustering)來聚類，以取得已分段流動509。
圖6顯示藉由判定流動之一動態體系來對各已分段流動進行特性分析之步驟600。動態體系實質上對流動進行特性分析。該等步驟取用Koopman特徵向量、資料矩陣111及已分段流動509作為輸入。資料矩陣111之一列子集 601係使用已分段流動509來擷取。將列子集601投射到Koopman特徵向量上，以判定投射係數。一特徵值選擇步驟選擇與特徵向量對應之特徵值，該等特徵向量具有量值大於一閾值之投射係數。流動或流動特性421之動態體系係藉由所選擇特徵值來識別。
現在，我們說明上述步驟之細節。
訓練資料產生
能以微觀及巨觀規模將一群眾之動態特性建模為一流體流動中粒子之運動。或者是，當有涵蓋Ω全部之真實動態影像監控資料可利用時，流動資訊可藉由運算動態影像運動向量來擷取。
當考量巨觀規模時，即依據流動密度及速度對流動進行特性分析之一模型上之變化。一有限體積方法係用於數值求解對應之偏微分方程式(PDE)。模型係針對T+1時間步階以L個不同初始條件執行，並且收集資料如下。藉由l標引之每個訓練序列，1
Figure 109108540-A0305-02-0016-66
l
Figure 109108540-A0305-02-0016-67
L，定義一輸入控制矩陣U l tr 以指定初始及邊界條件、以及訓練序列之輸入及輸出流動。對於第l個條件，1
Figure 109108540-A0305-02-0016-84
l
Figure 109108540-A0305-02-0016-85
L，一資料矩陣Z l
Figure 109108540-A0305-02-0016-1
 係藉由各空間網格點將水平及垂直速度垂直堆疊以Ω所形成，其中場景網格之大小為N x ×N y 且D=2N x N y 。令
Figure 109108540-A0305-02-0016-2
，我們將諸行Z l 重新排列以建構目前及未來訓練資料矩陣X l tr 及Y l tr ，使得
Figure 109108540-A0305-02-0016-3
、
Figure 109108540-A0305-02-0016-5
。接著將與L個初始條件之各者相關聯之資料矩陣堆疊，以形成總訓練資料矩陣X tr =[X l tr ,...,X N tr ]以及Y tr =[Y l tr ,...,Y N tr ]。類似的是，輸入控制矩陣被堆疊以形成訓練輸入矩陣U tr =[U l tr ,...,U N tr ]。
動態系統建模 線性模型
當系統動態特性屬於線性時，動態系統之狀態變數之演變係由下式給定
Figure 109108540-A0305-02-0017-6
其中x t 及u t 係分別為時間t之狀態變數及控制輸入。給定訓練資料矩陣Y tr 、X tr 、及U tr ，其中將向量x t+1堆疊在矩陣Y tr 中，我們可使用最小平方反算來運算矩陣K及B，如下
Figure 109108540-A0305-02-0017-7
其次，考量K=VΛV -1之截斷之特徵值分解及U=P△R T 之截斷之歧異值分解，其中我們僅保持最大特徵值λ的r及對應之特徵向量V，並且類似地保持最大歧異值δ的r及對應之左與右歧異向量P與R。接著，我們可定義一狀態空間係數集合C=V -1 X及一控制輸入係數集合H=△R T 。藉由Ξ：=V、D=P、及藉由
Figure 109108540-A0305-02-0017-8
表示，我們取得以下系統狀態方程式：
Figure 109108540-A0305-02-0017-9
 其中C=[c 1,...c T ]以及H=[h 1,...h T ]。
非線性模型
核心動態模式分解運算子係藉由運算矩陣Ξ及Λ來學習，其接下來之演變描述於章節中。
藉由評估控制輸入之核心內積來定義核心輸入資料矩陣
Figure 109108540-A0305-02-0017-10
，如 下
Figure 109108540-A0305-02-0018-11
其中u i 及u j 係為資料集合U之行向量。對稱矩陣
Figure 109108540-A0305-02-0018-88
之一r秩截斷歧異值分解導致歧異向量矩陣P及歧異值矩陣△2。接著，我們在核心矩陣
Figure 109108540-A0305-02-0018-12
及
Figure 109108540-A0305-02-0018-13
之縮減空間上施用一線性動態系統模型，即
Figure 109108540-A0305-02-0018-14
再者，我們定義狀態空間係數矩陣
Figure 109108540-A0305-02-0018-15
及控制輸入係數矩陣H=△P T =[h 1,...h T ]。
最後，我們對狀態變數x t 及輸入u t 建模，如下
Figure 109108540-A0305-02-0018-16
 其中Ξ係為用於狀態空間變數之一子空間基礎，D係為用於控制輸入變數之一子空間基礎，以及B：=Ξ † D係為從控制輸入之子空間到狀態變數之子空間的一轉換矩陣。從訓練資料給定係數矩陣C及H，我們可將子空間矩陣估計為Ξ=X tr C †及D=U tr H †。
流動完成
假設我們在共享訓練集合之動態特性的區域Γ
Figure 109108540-A0305-02-0018-83
Ω上觀察一新流動
Figure 109108540-A0305-02-0018-17
之速度。橫跨T張快照依時間所觀察速度之序列係表示為O={o 1,...o T' },O
Figure 109108540-A0305-02-0018-68
,d<D。類似地，T張快照之所觀察控制輸入之序列係表示為U={u 1,...u T' }。同樣，令
Figure 109108540-A0305-02-0018-19
為從Ω映射到Γ 之一掩蔽運算子。我們藉由同名稱M之d×D矩陣來表示掩蔽運算子。接著，
Figure 109108540-A0305-02-0019-69
1
Figure 109108540-A0305-02-0019-70
t
Figure 109108540-A0305-02-0019-71
T'，o t =Mx * t 。我們之目的是要從部分觀察結果o t 並使用如(7)中所示之大約Koopman模式、特徵值、及特徵函數來估計x * t。因此，流動完成問題變成從觀察結果O及輸入U估計係數矩陣C=[c 1...c T' ]
Figure 109108540-A0305-02-0019-64
之問題。因此，我們提出以下最佳化問題來恢復矩陣C：
Figure 109108540-A0305-02-0019-20
其中E 1及E 2分別係為選擇行1至C的T'-1及2至C的T'之限制運算子，並且γ係為一正規化參數。正規化項
Figure 109108540-A0305-02-0019-21
係藉由滿足一步式預測關係c t+1
Figure 109108540-A0305-02-0019-82
Λ c t +Bh t 來確保係數c t 表現為核心合成係數。最後，已完成流動x~ t 可藉由將運算出之
Figure 109108540-A0305-02-0019-23
與Koopman模式矩陣
Figure 109108540-A0305-02-0019-25
{1...T'}相乘來恢復。
運動向量及可觀察資料矩陣
框k 104中所有空間區塊之水平及垂直運動向量分別係為u k 及v k 。控制輸入係為c k 。我們藉由在資料矩陣111中將水平及垂直運動向量以及控制輸入堆疊來建構資料矩陣z k =[u k ,v k ,c k ]111。接著，運動向量之時間性演變可使用控制Koopman運算子K，藉由將資料擬合到一步式預測模型來建模z k =Kz k-1.。 (1)
請注意，(1)確保相同運算子K對運動向量u k 及v k 之時間性演變進行建模。
如果我們從m+1個動態影像框具有m+1個運動向量觀察結果，則可藉由形成類似於(6)之資料矩陣Z 1及Z 2以使用一動態模式分解(DMD)來判定運算子K，並判定運算子K ls以實現最小平方擬合，即
Figure 109108540-A0305-02-0020-26
其中上標†指出Moore-Penrose之偽逆矩陣。
如果運動向量對應於動態影像中行人之真實運動，則運算子K ls對系統中流動之完全動態特性進行特性分析。然而，壓縮域運動向量一般具有很多雜訊，並且通常含有不對應於真實運動之運動向量。雜訊取決於動態影像編碼器之特定失真率的最佳化。
低秩DMD
一無雜訊速度觀察結果y k 測量場景中行人之真實運動。並且運動向量z k 對應於有雜訊之觀察結果，使得z k +e k =y k , (3)其中e k 係為添加之雜訊。分別令E 1,E2及Y 1,Y 2如(6)中取代e k 及y k 。接著，對應於無雜訊動態特性之控制Koopman運算子係藉由一總最小平方限制條件來給定
Figure 109108540-A0305-02-0020-27
然而，問題(4)係為非凸型及不適配之問題，因為僅觀察Z 1及Z 2，而K、E 1及E 2係為未知數。為了矯正這種情況，我們在問題中調用以下先決條件。高度複雜之系統可藉由低階動態特性來準確建模。這轉化成對一無雜訊系統之演變進行建模之運算子K具有一低秩之先決條件。
第二先決條件推導自矩陣E 1及E 2之定義。如果我們以I m-1表示大小為(m-1)×(m-1)之特性矩陣，並且令Ⅱ0=[0|I m-1] T 及Ⅱ0=[I m-1|0] T 為分別將具有m行之一矩陣之第一行及最後一行刪除之選擇運算子，則E 1及E 2滿足一關係 E 1Ⅱ0=E 2Ⅱ0. (5)
我們將具有總最小平方限制條件(LR-DMDtls)之低秩DMD定義為
Figure 109108540-A0305-02-0021-28
其中e 0係為E 1中之第一行，γ係唯一正規化參數，並且∥K∥ *係與一矩陣K之歧異值之總和相等之核範數。
如果一動態影像框中之運動區塊數為N，則運算子K之大小為N×N，這對於高解析度之動態影像會變得難以儲存及判定。因此，我們將K取代成r秩因子
Figure 109108540-A0305-02-0021-29
及
Figure 109108540-A0305-02-0021-30
，使得K=LR T ，以降低運算複雜度。我們使用一核範數代理，該核範數代理將一矩陣之核範數取代成其低秩因子之Frobenius範數之平方之一平均
Figure 109108540-A0305-02-0021-31
所以，可將低秩DMD制定為
Figure 109108540-A0305-02-0021-32
其係由我們使用一交替方向乘數法(alternating direction method of multiplier,ADMM)來求解。
(8)中定義之問題表述雜訊係為高斯分布之情況。如果測量結果Z包括離群稀疏雜訊，則我們使用以下公式化來解決問題
Figure 109108540-A0305-02-0022-33
其中變數S 1及S 2代表資料中之離群雜訊，且γ及λ係是正規化參數。(9)之解答亦可使用ADMM程序來取得。
流動分段
為了將具有獨立動態特性之不同流動進行分段，我們評估所估計低秩控制Koopman運算子K=LR T 之質譜。在這裡，我們考量進行不同情境之分段。
藉由歧異值分解進行分段
在一第一方法中，我們可進行Koopman運算子K之SVD 210以提取列空間歧異向量U r 211，使得
Figure 109108540-A0305-02-0022-34
。矩陣U r 係為一N×r矩陣，其中r係為運算子K之秩級。對於我們應用k均值聚類之動態影像框中之每個像素，我們將U r 之諸列視為特徵向量，如圖3所示，以將該等像素分段成預定數量之聚類n。接著，聚類之像素可用於判定場景102中獨立流動109之空間分段，如在動態影像101中所觀察。
或者是，我們可將質譜聚類應用於矩陣U r 之該等列。在這裡，我們對U r 之行進行正規化以產生一矩陣
Figure 109108540-A0305-02-0022-35
並建構一距離矩陣
Figure 109108540-A0305-02-0022-36
，其中指數係在這種情況下予以逐元素應用。我們接著應用以下步驟來判定對應圖拉普拉斯(Laplacian)之主特徵向量。
A=A-diag(A) D=diag(A．1) L G =D -1/2 AD -1/2, (10)
其中1係為全部為一之向量，第一diag(．)僅擷取A之對角線項目內容，而第二diag(A．1)將A之諸列加總並將結果放在一矩陣之對角線上。
再者，我們判定L G 之SVD以擷取第一n列空間歧異向量U G 。U G 之第一歧異向量全都是一，所以，我們將此向量移除，然後對U G 中其餘向量之該等列進行正規化。
最後，我們將k均值聚類應用於U G 之該等列以判定獨立流動109。儘管質譜聚類方法比直接對U r 之該等列應用k均值聚類方法產出更好之結果，其仍需要更大才能建構一大N×N距離矩陣。
藉由特徵值分解進行分段
在一第二方法中，我們判定K之一特徵值分解，以取得特徵向量U e 、及特徵值A e ，使得
Figure 109108540-A0305-02-0023-37
。回想一下，K之特徵向量係估計動態系統之Koopman模式。從資料矩陣Z 2，我們藉由將Z 2投射到U e 上並對一向量
Figure 109108540-A0305-02-0023-38
中投射係數之量值取平均來識別主動模式。主動模式係與所具一量值大於一閾值之α中之項目內容對應之U e 之該等行。
含有主動模式之矩陣係U a 。我們藉由對U a 之正規化列應用k均值聚類來進行分段。像素以對應於動態影像中一獨立流動之各聚類進行識別。
流動特性分析
各已分段流動可根據一動態體系進行特性分析，使得流動之類型係被標記為例如穩定或不穩定。動態體系取決於K之對該流動中之運動貢獻最大 之特徵值之位置。為了判定特徵值，將與一已分段流動f相關聯之資料矩陣之一列子集Z f投射到特徵向量U e 上，以判定投射係數
Figure 109108540-A0305-02-0024-39
。與α f 中所具量值大於一閾值之項目內容對應之特徵值與該流動相關聯。
特徵值在複合平面中之位置係用於判定流動之體系。舉例而言，穩定流動具有位於一單位圓上之特徵值，而不穩定流動具有位於單位圓外之特徵值。此外，逐漸衰減之暫態流動具有位於單位圓內之特徵值。同樣，特徵值之複合相位指出一流動中運動之振盪頻率。
特徵
根據本揭露之另一具體實施例，一種用於判定一場景中物體流動狀態之系統。系統包括至少一個感測器，用以測量場景之所觀察取樣點處之流動之狀態。其中，場景含有一取樣點集合、以及一控制輸入集合，該取樣點集合具有所觀察取樣點子集及未觀察取樣點子集。用以儲存一運算子之一記憶體，該運算子指定該場景中該等物體之流動之訓練狀態之時變動態特性。其中該運算子受預訓練以判定該場景中一取樣點處之該等物體之流動之該等狀態之一估計未來狀態，並作為該場景中該取樣點集合處之該等物體之流動之該等狀態之目前所測量狀態、及定義該流動之初始與邊界狀態的該控制輸入集合之函數。與該記憶體通訊之一處理器，其係組構成用來使用該運算子及該所觀察取樣點子集處之該等所測量狀態，估計該場景之該未觀察取樣點子集處之該等物體之該流動之該等狀態。使得該所觀察取樣點子集處之該等所估計未來狀態與該所觀察取樣點子集處之該等所測量狀態一致。與該處理器通訊之一輸出介面，其係組構成用於輸出該場景之該未觀察取樣點集合處之該流動之該等狀態，以便有助於管 理該場景中物體之流動之狀態。其中，以下態樣之一個或一組合在下文係視為組構以上述具體實施例修改之具體實施例。
根據本揭露之一態樣，運算子之訓練可包括取得該場景中該取樣點集合中物體之該流動之訓練狀態及控制輸入之歷史資料。根據一模型，模擬該場景中該取樣點集合中物體之該流動之該等訓練狀態。或者，取得該場景中一取樣點子集系列中物體之該流動之該等訓練狀態。其中該取樣點子集系列中該等取樣點之至少一個子集為於一時間之所觀察取樣點，該時間有別於該場景中該取樣點子集系列中該等取樣點之其餘子集用之可觀察取樣點時間。使得該場景中該取樣點系列中該等取樣點之所有該等子集都包括該場景中該取樣點集合中之所有該等取樣點。
本揭露之另一態樣可包括：該場景之該未觀察取樣點子集處之該等物體之該流動之該等狀態之該估計包括藉由使透過該等感測器之該場景之該所觀察取樣點集合與該運算子之該所觀察取樣點子集處之該等估計未來狀態之間的誤差達到最小，來判定用於一基礎矩陣集合之一係數集合。根據該運算子之一特徵值集合，確認用於該基礎矩陣集合之該係數集合符合一時間性預測條件。
本揭露之另一態樣可包括：該運算子係為一系統動態特性運算子，使得該系統動態特性運算子係為一核心動態模式分解(kernel dynamic mode decomposition,KDMD)運算子。
一種用於判定一場景中物體之流動之狀態的方法。該方法包括測量該場景之所觀察取樣點處之流動之狀態。其中，該場景含有一取樣點集合、以及一控制輸入集合，該取樣點集合具有所觀察取樣點子集及未觀察取樣點子集。在一記憶體中儲存一運算子，該運算子指定該場景中該等物體之流動之訓練狀 態之時變動態特性。其中該運算子受預訓練以判定該場景中一取樣點處之該等物體之流動之該等狀態之一估計未來狀態，並作為該場景中該取樣點集合處之該等物體之流動之該等狀態之目前所測量狀態、及該控制輸入集合之函數。使用與該記憶體通訊之一處理器，該處理器係組構成用來使用該運算子及該所觀察取樣點子集處之該等所測量狀態，估計該場景之該未觀察取樣點子集處之該等物體之該流動之該等狀態。使得該所觀察取樣點子集處之該等所估計未來狀態與該所觀察取樣點子集處之該等所測量狀態一致。經由與該處理器通訊之一輸出介面，輸出該場景之該未觀察取樣點集合處之該流動之該等狀態，以便有助於管理該場景中物體之流動之狀態。其中，以下態樣之一個或一組合在下文係視為組構以上述之具體實施例修改之具體實施例。
根據本揭露之一態樣，運算子之訓練包括取得該場景中該取樣點集合中物體之該流動之訓練狀態之歷史資料。根據一模型，模擬該場景中該取樣點集合中物體之該流動之該等訓練狀態。或者，取得該場景中一取樣點子集系列中物體之該流動之該等訓練狀態。其中該取樣點子集系列中該等取樣點之至少一個子集為於一時間之所觀察取樣點，該時間有別於該場景中該取樣點子集系列中該等取樣點之其餘子集用之可觀察取樣點時間。使得該場景中該取樣點系列中該等取樣點之所有該等子集都包括該場景中該取樣點集合中之所有該等取樣點。
本揭露之另一態樣可包括：該場景之該未觀察取樣點子集處之該等物體之該流動之該等狀態之該估計包括藉由使透過該等感測器之該場景之該所觀察取樣點集合與該運算子之該所觀察取樣點子集處之該等估計未來狀態之間的誤差達到最小，來判定用於一基礎矩陣集合之一係數集合。根據該運算子之 一特徵值集合，確認用於該基礎矩陣集合之該係數集合符合一時間性預測條件。
本揭露之另一態樣可包括：以接近該場景而配置之至少一個感測器來測量該場景之所觀察取樣點處之流動之該等狀態。
本揭露之另一態樣可包括：該運算子係為一系統動態特性運算子，使得該系統動態特性運算子係為一核心動態模式分解(kernel dynamic mode decomposition,KDMD)運算子。
一種非過渡性電腦可讀儲存媒體，其上體現可由一處理器執行用於進行一方法之一程式，該方法用於判定一場景中物體之流動之狀態。該非過度性電腦可讀儲存媒體包括測量該場景之所觀察取樣點處之流動之狀態，其中該場景含有一取樣點集合、以及一控制輸入集合，該取樣點集合具有所觀察取樣點子集及未觀察取樣點子集。在一記憶體中儲存一運算子，該運算子指定該場景中該等物體之流動之訓練狀態之時變動態特性。其中該運算子受預訓練以判定該場景中一取樣點處之該等物體之流動之該等狀態之一估計未來狀態，並作為該場景中該取樣點集合處之該等物體之流動之該等狀態之目前所測量狀態、及該控制輸入集合之函數。使用與該記憶體通訊之一處理器，該處理器係組構成用來使用該運算子及該所觀察取樣點子集處之該等所測量狀態，估計該場景之該未觀察取樣點子集處之該等物體之該流動之該等狀態。使得該所觀察取樣點子集處之該等所估計未來狀態與該所觀察取樣點子集處之該等所測量狀態一致。經由與該處理器通訊之一輸出介面，輸出該場景之該未觀察取樣點集合處之該流動之該等狀態，以便有助於管理該場景中物體之流動之狀態。其中，以下態樣之一個或一組合在下文係視為組構以上述之具體實施例修改之具體實施例。
根據本揭露之一態樣，運算子之訓練包括取得該場景中該取樣點 集合中物體之該流動之訓練狀態之歷史資料。根據一模型，模擬該場景中該取樣點集合中物體之該流動之該等訓練狀態。或者，取得該場景中一取樣點子集系列中物體之該流動之該等訓練狀態，其中該取樣點子集系列中該等取樣點之至少一個子集係於一時間之所觀察取樣點，該時間有別於該場景中該取樣點子集系列中該等取樣點之其餘子集用之可觀察取樣點時間。使得該場景中該取樣點系列中該等取樣點之所有該等子集都包括該場景中該取樣點集合中之所有該等取樣點。
本揭露之另一態樣可包括：該運算子係一核心動態模式分解(kernel dynamic mode decomposition,KDMD)運算子。使得該非過渡性電腦可讀儲存媒體係用於流動完成之一資料驅動框架。其中從記憶體取得之涵蓋一完整場景Ω而定義之訓練資料可供用於學習用以擷取該場景中流動之動態特性的該KDMD運算子。
本揭露之另一態樣可包括：該場景之該未觀察取樣點子集處之該等物體之該流動之該等狀態之該估計包括藉由使透過該等感測器之該場景之該所觀察取樣點集合與該運算子之該所觀察取樣點子集處之該等估計未來狀態之間的誤差達到最小，來判定用於一基礎矩陣集合之一係數集合。根據該運算子之一特徵值集合，確認用於該基礎矩陣集合之該係數集合符合一時間性預測條件。
本揭露之另一態樣可包括：該測量該場景之所觀察取樣點處之流動之該等狀態係以接近該場景而配置之至少一個感測器來進行。
本揭露之另一態樣可包括：該運算子係為一系統動態特性運算子，使得該系統動態特性運算子係為一核心動態模式分解(kernel dynamic mode decomposition,KDMD)運算子。
定義
根據本揭露之態樣，並且基於來自實驗之學習，已建立以下定義，並且該等定義當然不是各措辭或用語之一完整定義。其中，所提供之定義僅係基於對實驗概念之了解及進一步理解，作為一實施例而提供，其中其它詮釋、定義、及其它態樣可能適用。然而，已經為所介紹概念之至少一僅僅基本預覽、措辭或用語提供此類定義。
藉由非限制性實施例，如請求項第1項所述之處理器可以是電腦硬體，即回應於並處理驅動一電腦以實施本揭露中所述演算法之基本指令的一邏輯電路系統。
行人流動之巨觀模型：用於群眾流動之巨觀模型將群眾視為一流動連續體，並且描述行人之平均行為。模型參數係為群眾之密度ρ、以及網格Ω中各點之水平及垂直速度(u,v)。群眾流動之巨觀模型類似於流體動態特性模型，並且受以下假設支配：
H1.行人在各點之速率僅藉由該點週圍群眾之密度來判定。
H2.行人具有一共同目的(位能)。
H3.行人希望盡量減少估計之行進時間，同時避免大密度區域。 這些假設可轉化成以下偏微分方程式PDE
Figure 109108540-A0305-02-0029-40
其中ρ(x,y)係為密度，u(x,y)係為水平速度，v(x,y)分別係為所有點(x,y)
Figure 109108540-A0305-02-0029-81
Ω之水平及垂直速度，以及 A1[ρ,~ v ]=αu^(ρ)(x 0-x)，A2[ρ,~ v ]=αv^(ρ)(y 0-y)
將行人之目的編碼，其中(x 0,y 0)係為目標位置且(x,y)係為目前位置。α及K係為模型參數。函數u^(ρ)=u o (1-ρ/ρ o )及v^(ρ)=v o (1-ρ/ρ o )遵從將速度之量值耦合至密度之Greenshield模型。這允許僅使用速度或僅使用密度來驅動動態系統。
Koopman及動態模式分解：
Koopman運算子
令(M,n,F)為一離散時間動態系統，其中
Figure 109108540-A0305-02-0030-41
係為狀態空間，n
Figure 109108540-A0305-02-0030-78
Z係為時間參數且F：M→M係為系統演變運算子。Koopman運算子K係於函數
Figure 109108540-A0305-02-0030-42
之空間上定義，如下：
Figure 109108540-A0305-02-0030-43
Koopman運算子係為線性且無限維度之運算子，而且其接納特徵值及特徵函數。對於向量可觀察值
Figure 109108540-A0305-02-0030-44
，Koopman運算子亦接納Koopman模式。Koopman運算子在函數空間(F,n,K)上指定一新離散時間動態系統。令φ k (x),1
Figure 109108540-A0305-02-0030-79
k
Figure 109108540-A0305-02-0030-80
K係為K之前K個特徵函數。不失一般性，令系統變數為x
Figure 109108540-A0305-02-0030-86
M並假設函數g(x)=x。接著，顯示為
Figure 109108540-A0305-02-0030-45
，而未來狀態F(x)可估計為
Figure 109108540-A0305-02-0030-46
其中ξ k 及λ k 係為Koopman模式及Koopman特徵值。
核心動態模式分解
一核心DMD(kernel dynamic mode decomposition,KDMD)演算法係視為一種用於逼近Koopman運算子之低複雜度方法。令f：M×M→R係一核心函數，並且定義以下資料矩陣
Figure 109108540-A0305-02-0031-47
其中x i 及y j 係為資料集X及Y之行向量。對稱矩陣
Figure 109108540-A0305-02-0031-76
之一r秩截斷歧異值分解導致歧異向量矩陣Q及歧異值矩陣Σ 2。KDMD運算子K^接著係使用下式來運算
Figure 109108540-A0305-02-0031-48
Figure 109108540-A0305-02-0031-50
之一特徵值分解導致特徵向量矩陣
Figure 109108540-A0305-02-0031-51
及特徵值矩陣Λ。其顯示Λ逼近Koopman特徵值。此外，Koopman特徵函數係由矩陣
Figure 109108540-A0305-02-0031-52
逼近。由於每個資料點x i =Σ k λ k ξ k φ k ，所以Koopman模式係由矩陣
Figure 109108540-A0305-02-0031-53
逼近，其中X=[x 1...x T ]。
對於每個新資料點x *，對應之預測y *
Figure 109108540-A0305-02-0031-77
F(x *)可先藉由估計特徵函數，使用KDMD來逼近φ(x *)=Φ[f(x *,x 1),f(x *,x 2),...,f(x *,x T )] T (6)以及使用Koopman預測關係來逼近
Figure 109108540-A0305-02-0031-54
圖7係為一示意圖，其根據本揭露之具體實施例，藉由非限制性 實施例，繪示可用於實施該等方法及系統之一些技巧的一運算設備700。運算設備700或運算裝置代表各種形式之數位電腦，諸如膝上型電腦、桌上型電腦、工作站、個人數位助理、伺服器、刀鋒型伺服器、大型主機、以及其它適當之電腦。
運算設備700可包括全部連接至匯流排750之一電源708、一處理器709、一記憶體710、一儲存裝置711。再者，可將一高速介面712、一低速介面713、高速擴充埠714及低速擴充埠715連接至匯流排750。並且，一低速連接埠716亦與匯流排750連接。藉由非限制性實施例，所預期的是可安裝在一共同主機板730上之各種組件組態，端視特定應用而定。又再者，一輸入介面717可經由匯流排750連接至一外部接收器706及一輸出介面718。一接收器719可經由匯流排750連接至一外部傳送器707及一傳送器720。可連接至匯流排750的還有一外部儲存器704、外部感測器703、(諸)機器702及一環境701。再者，一或多個外部輸入/輸出裝置705可連接至匯流排750。一網路介面控制器(network interface controller,NIC)721可透過匯流排750以適配連接至網路722，其中除此之外，資料或其它資料可在運算設備700外側之一第三方顯示裝置、第三方成像裝置、及/或第三方列印裝置上呈現。
記憶體710可被預期儲存由運算設備700執行之指令、歷史資料、以及可由本揭露之方法及系統利用之任何資料。記憶體710可包括隨機存取記憶體(RAM)、唯讀記憶體(ROM)、快閃記憶體、或任何其它合適的記憶體系統。記憶體710可以是一或多個揮發性記憶體單元、及/或一或多個非揮發性記憶體單元。記憶體710也可以是另一形式之電腦可讀媒體，諸如一磁碟或光碟。
仍請參閱圖7，一儲存裝置711可適應於藉由運算設備700所儲存使用之補充資料及/或軟體模組。舉例而言，儲存裝置711可儲存歷史資料及 如以上關於本揭露所述之其它相關資料。額外地，或者替代地，儲存裝置711可儲存與如以上關於本揭露所述資料類似之歷史資料。儲存裝置711可包括一硬碟機、一光碟機、一隨身碟(thumb-drive)、一驅動機陣列、或以上之任何組合。再者，儲存裝置711可含有一電腦可讀媒體，諸如一軟碟裝置、一硬碟裝置、一光碟裝置、或一磁帶裝置、一快閃記憶體或其它類似之固態記憶體裝置、或一裝置陣列，包括一儲存區域網路或其它組態中之裝置。指令可儲存在一資訊載體中。該等指令在由一或多個處理裝置(例如：處理器709)執行時，進行一或多種方法，諸如上述那些方法。
該系統可透過匯流排750可視需要連結至將適應以連接該系統至一顯示裝置725及鍵盤724之一顯示介面或使用者介面(HMI)723，其中顯示裝置725可包括電腦監視器、相機、電視、投影機、或行動裝置等等。
仍請參閱圖7，運算設備700可包括適應於一印表機介面(圖未示)之一使用者輸入介面717，其亦可透過匯流排750連接並且適應於連接至一列印裝置(圖未示)，其中該列印裝置還可包括液體噴墨印表機、噴蠟式印表機、大型商用印表機、熱印表機、UV印表機、或染料昇華印表機。
高速介面712為運算設備700管理頻寬密集型操作，而低速介面713則管理更低頻寬密集型操作。此類功能分配僅係一實施例。在一些實作態樣中，高速介面712可耦合至記憶體710、一使用者介面(HMI)723，以及耦合至一鍵盤724及顯示器725(例如，透過一圖形處理器或加速器耦合)，並且耦合至高速擴充埠714，其可經由匯流排750接受各種擴充卡(圖未示)。在實作態樣中，低速介面713係經由匯流排750，耦合至儲存裝置711及低速擴充埠715。可包括各種通訊埠(例如：USB、藍牙、乙太網路、無線乙太網路)之低速擴充埠715可例 如透過一網路配接器，耦合至一或多個外部輸入/輸出裝置705、以及其它裝置，包括一鍵盤724、一指標裝置(圖未示)、一掃描器(圖未示)、或諸如一交換器或路由器之一網路連結裝置。
仍請參閱圖7，運算設備700可實施成若干不同形式，如圖所示。舉例而言，可將其實施為一標準伺服器726，或可在此類伺服器之一群組中實施多次。另外，可將其實施在諸如一膝上型電腦727之一個人電腦中。亦可將其實施為一機架式伺服器系統728之部分。或者是，來自運算設備700之組件可與一行動裝置(圖未示)中之其它組件組合。此類裝置各可含有運算裝置及行動運算裝置中之一或多者，並且一整個系統可由彼此通訊之多個運算裝置所構成。
具體實施例
以下說明僅提供例示性具體實施例，並且用意不在於限制本揭露之範疇、適用性或組態。反而，以下對於例示性具體實施例之說明將會向所屬技術領域中具有通常知識者提供用於實施一或多項例示性具體實施例之實現說明。所思為元件之功能與配置的各種可能變更，但不脫離如隨附申請專利範圍中所提而揭示之專利標的之精神與範疇。
以下說明中提供特定細節使人透徹理解具體實施例。然而，所屬技術領域中具有通常知識者可瞭解無這些特定細節也可實踐具體實施例。舉例而言，可將所揭示專利標的中之系統、程序與其它元件顯示為呈方塊圖形式之組件，以免非必要的細節混淆具體實施例。在其它實例中，可顯示眾所周知的程序、結構及技巧，但不需要顯示細節，以免混淆具體實施例。再者，各個圖式中相似的數字與符號表示相似的元件。
此外，可將個別具體實施例描述為繪製成流程圖、流動圖、資料 流動圖、結構圖或方塊圖的程序。雖然流程圖可將操作描述為循序的程序，仍可平行或並行地進行該等程序中的許多程序。另外，可重新排列該等操作之順序。一程序可於其操作完成時終止，但可具有圖中未論述或包括之附加步驟。再者，所有具體實施例中並非任何特別說明之程序中的所有操作都可出現。程序可對應於方法、函數、程序、子程序、子程式等。當一程序對應於一函數時，該函數之終止可對應於該函數對呼叫函數或主要函數之回傳。
再者，無論是手動還是自動，皆可至少部分實施所揭示之專利標的之具體實施例。手動或自動實作態樣可透過使用機器、硬體、軟體、韌體、中間軟體、微碼、硬體描述語言、或以上之任何組合來執行、或至少輔助。當時實施於軟體、韌體、中間軟體、或微碼時，用以進行必要工作之程式碼或碼段可儲存於機器可讀媒體中。一(多)個處理器可進行該等必要工作。
再者，本揭露之具體實施例及本說明書中所述之功能操作可予以在數位電子電路系統中、在有形體現之電腦軟體或韌體中、在電腦硬體中實施，包括本說明書中所揭示之結構及其均等結構，或可予以在以上之一或多者之組合中實施。可將本揭露進一步之具體實施例實施為一或多個電腦程式，即在一有形非暫時性程式載體上編碼之電腦程式指令之一或多個模組，以供由資料處理設備執行、或用以控制資料處理設備之操作。又再者，程式指令可予以編碼在一人工產生之傳播信號上，例如一機器產生之電氣、光學、或電磁信號，其係產生來對資訊進行編碼，用於傳輸至合適的接收器設備，以供由一資料處理設備執行。電腦儲存媒體可以是一機器可讀儲存裝置、一機器可讀儲存基板、一隨機或串列存取記憶體裝置、或以上一或多者之一組合。
根據本揭露之具體實施例，「資料處理設備」一詞可含括用於處 理資料之所有種類之設備、裝置、及機器，舉例來說，包括一可編程處理器、一電腦、或多個處理器或電腦。該設備可包括特殊用途邏輯電路系統，例如一場式可程式化閘極陣列(field programmable gate array,FPGA)或一特定應用積體電路(application specific integrated circuit,ASIC)。除了硬體以外，該設備還可包括為所論電腦程式建立一執行環境之符碼，例如，構成處理器韌體、一協定堆疊、一資料庫管理系統、一作業系統、或以上一或多者之組合的符碼。
可將一電腦程式(亦可將其稱為或描述為一程式、軟體、一軟體應用程式、一模組、一軟體模組、一指令碼、或符碼)寫成任何形式之程式語言，包括編譯或解譯語言、或宣告式或程序性語言，並且可將其部署成任何形式，包括部署為一單機型程式或部署為一模組、組件、子程序、或適合在一運算環境中使用之其它單元。一電腦程式可以、但不必對應於一檔案系統中之一檔案。可將一程式儲存在保持例如一標記語言文件中所儲存一或多個指令碼之其它程式或資料的一檔案之一部分中，儲存在專用於所論程式之單一檔案中、或儲存在多個配合檔案中，舉例來說，儲存在儲存一或多個模組、子程式、或部分符碼之檔案中。可部署一電腦程式以在位於一個網站或分布於多個網站並藉由一通訊網路互連之一個電腦或多個電腦上執行。適用於執行一電腦程式之電腦舉例來說，可包括基於通用或特殊用途微處理器或兩者、或者任何其它種類之中央處理單元之電腦。大體上，一中央處理單元將從一唯讀記憶體或一隨機存取記憶體或兩者接收指令及資料。一電腦之基本元件係用於進行或執行指令之一中央處理單元、以及用於儲存指令及資料之一或多個記憶體裝置。大體上，一電腦亦將包括、或經操作性耦合以將資料接收自或轉移至、或暨接收自又轉移至用於儲存資料之一或多個大量儲存裝置，例如磁碟、磁光碟、或光碟。然而，一電腦不必具有此 類裝置。此外，可將一電腦嵌入另一裝置，例如一行動電話、一個人數位助理(personal digital assistant,PDA)、一行動音訊或動態影像播放器、一遊戲機、一全球定位系統(GPS)接收器、或一可攜式儲存裝置，例如一通用序列匯流排(USB)快閃驅動器，僅舉數例。
為了用來與一使用者互動，可將本說明書中所述專利標的之具體實施例實施在一電腦上，該電腦具有例如一陰極射線管(cathode ray tube,CRT)或液晶顯示(LCD)監視器等用於向使用者顯示資訊之一顯示裝置、以及一鍵盤及一指標裝置，例如一滑鼠或一軌跡球，使用者可藉以向電腦提供輸入。還可使用其它種類之裝置以用來與一使用者互動；舉例而言，提供給使用者之回授可以是任何形式之感覺回授，例如視覺回授、聽覺回授、或觸覺回授；以及能以任何形式從使用者接收輸入，包括聲學、語音、或觸覺輸入。另外，一電腦可藉由將文件發送至及接收自由使用者使用之一裝置來與使用者互動；舉例而言，藉由回應於從網頁瀏覽器接收之請求而將網頁發送至一使用者之用戶端裝置上之一網頁瀏覽器。
可將本說明書中所述專利標的之具體實施例實施在一運算系統中，該運算系統包括一後端組件，例如一資料伺服器，或包括一中間軟體組件，例如一應用伺服器，或包括一前端組件，例如具有一圖形使用者介面或網頁瀏覽器之一用戶端電腦，使用者可透過該圖形使用者介面或網頁瀏覽器與本說明書中所述專利標的之一實作態樣互動，或包括一或多個此類後端、中間軟體、或前端組件之任何組合。系統之組件可藉由例如一通訊網路之數位數據通訊之任何形式或媒體來互連。通訊網路之實施例包括一區域網路(「LAN」)及一廣域網路(「WAN」)，例如網際網路。
運算系統可包括用戶端及伺服器。一用戶端及伺服器大致位於彼此遠端處，並且通常透過一通訊網路互動。用戶端與伺服器之間的關係係藉由在各自電腦上執行並彼此具有一用戶端-伺服器關係之電腦程式所產生。
雖然本揭露已參照某些較佳具體實施例作說明，仍要理解的是，可在本揭露之精神及範疇內施作各種其它調適及修改。因此，隨附申請專利範圍之態樣是要涵蓋落入本揭露之真實精神及範疇內之所有此類變化及修改。
115,120,125,130:步驟

Claims (15)

  1. 一種用於判定一場景中物體之流動之狀態的系統，其包含：至少一個感測器，用以測量該場景之所觀察取樣點處之該流動之該等狀態，其中該場景含有一取樣點集合、以及一控制輸入集合，該取樣點集合具有所觀察取樣點子集及未觀察取樣點子集；用以儲存一運算子之一記憶體，該運算子指定該場景中該等物體之流動之訓練狀態之時變動態特性，其中該運算子受預訓練以判定該場景中一取樣點處之該等物體之流動之該等狀態之一估計未來狀態，並作為該場景中該取樣點集合處之該等物體之流動之該等狀態之目前所測量狀態、及定義該流動之初始與邊界狀態的該控制輸入集合之函數；與該記憶體通訊之一處理器，其係組構成用來使用該運算子及該所觀察取樣點子集處之該等所測量狀態來估計該場景之該未觀察取樣點子集處之該等物體之該流動之該等狀態，使得該所觀察取樣點子集處之該等所估計未來狀態與該所觀察取樣點子集處之該等所測量狀態一致；以及與該處理器通訊之一輸出介面，其係組構成用於輸出該場景之該未觀察取樣點集合處之該流動之該等狀態，以便有助於管理該場景中物體之流動之狀態。
  2. 如請求項1所述之系統，其中該運算子之該訓練包括：取得該場景中該取樣點集合中該等物體之該流動之訓練狀態及控制輸入之歷史資料；根據一模型，模擬該場景中該取樣點集合中該等物體之流動之該等訓練狀態；或取得該場景中一取樣點子集系列中該等物體之流動之該等訓練狀態，其中 該取樣點子集系列中該等取樣點之至少一個子集為於一時間之所觀察取樣點，該時間有別於該場景中該取樣點子集系列中該等取樣點之其餘子集用之可觀察取樣點時間，使得該場景中該取樣點系列中該等取樣點之所有子集都包括該場景中該取樣點集合中之所有取樣點。
  3. 如請求項1所述之系統，其中該場景之該未觀察取樣點子集處之該等物體之該流動之該等狀態之該估計包括：藉由使透過該等感測器所得之該場景之該所觀察取樣點集合與該運算子之該所觀察取樣點子集處之該等估計未來狀態之間的誤差達到最小，來為一基礎矩陣集合判定一係數集合；以及根據該運算子之一特徵值集合，確認用於該基礎矩陣集合之該係數集合符合一時間性預測條件。
  4. 如請求項1所述之系統，其中該運算子係為一系統動態特性運算子，使得該系統動態特性運算子係為一核心動態模式分解(kernel dynamic mode decomposition,KDMD)運算子。
  5. 一種由一處理器執行用於判定一場景中物體之流動之狀態的方法，其包含：以至少一個感測器來測量該場景之所觀察取樣點處之流動之狀態，其中該場景含有一取樣點集合、以及一控制輸入集合，該取樣點集合具有所觀察取樣點子集及未觀察取樣點子集；在一記憶體中儲存一運算子，該運算子指定該場景中該等物體之流動之訓練狀態之時變動態特性，其中該運算子受預訓練以判定該場景中一取樣點處之該等物體之流動之該等狀態之一估計未來狀態，並作為該場景中該取樣點集合 處之該等物體之流動之該等狀態之目前所測量狀態、及該控制輸入集合之函數；使用與該記憶體通訊之一處理器，該處理器係組構成用來使用該運算子及該所觀察取樣點子集處之該等所測量狀態來估計該場景之該未觀察取樣點子集處之該等物體之該流動之該等狀態，使得該所觀察取樣點子集處之該等所估計未來狀態與該所觀察取樣點子集處之該等所測量狀態一致；以及經由與該處理器通訊之一輸出介面，輸出該場景之該未觀察取樣點集合處之該流動之該等狀態，以便有助於管理該場景中物體之流動之狀態。
  6. 如請求項5所述之方法，其中該運算子之該訓練包括：取得該場景中該取樣點集合中該等物體之流動之訓練狀態之歷史資料；根據一模型，模擬該場景中該取樣點集合中該等物體之流動之該等訓練狀態；或取得該場景中一取樣點子集系列中該等物體之流動之該等訓練狀態，其中該取樣點子集系列中該等取樣點之至少一個子集為於一時間之所觀察取樣點，該時間有別於該場景中該取樣點子集系列中該等取樣點之其餘子集用之可觀察取樣點時間，使得該場景中該取樣點系列中該等取樣點之所有該等子集都包括該場景中該取樣點集合中之所有該等取樣點。
  7. 如請求項5所述之方法，其中該場景之該未觀察取樣點子集處之該等物體之流動之該等狀態之該估計包括：藉由使透過該等感測器所得之該場景之該所觀察取樣點集合與該運算子之該所觀察取樣點子集處之該等估計未來狀態之間的誤差達到最小，來為一基礎矩陣集合判定一係數集合；以及根據該運算子之一特徵值集合，確認用於該基礎矩陣集合之該係數集合符 合一時間性預測條件。
  8. 如請求項5所述之方法，其中係以接近該場景而配置之至少一個感測器來測量該場景之所觀察取樣點處之流動之該等狀態。
  9. 如請求項5所述之方法，其中該運算子係為一系統動態特性運算子，使得該系統動態特性運算子係為一核心動態模式分解(kernel dynamic mode decomposition,KDMD)運算子。
  10. 一種非暫時性電腦可讀儲存媒體，於其上體現有可由一處理器執行用於執行一方法之一程式，該方法用於判定一場景中物體之流動之狀態，其包含：測量該場景之所觀察取樣點處之流動之狀態，其中該場景含有一取樣點集合、以及一控制輸入集合，該取樣點集合具有所觀察取樣點子集及未觀察取樣點子集；在一記憶體中儲存一運算子，該運算子指定該場景中該等物體之流動之訓練狀態之時變動態特性，其中該運算子受預訓練以判定該場景中一取樣點處之該等物體之流動之該等狀態之一估計未來狀態，並作為該場景中該取樣點集合處之該等物體之流動之該等狀態之目前所測量狀態、及該控制輸入集合之函數；使用與該記憶體通訊之一處理器，該處理器係組構成用來使用該運算子及該所觀察取樣點子集處之該等所測量狀態來估計該場景之該未觀察取樣點子集處之該等物體之該流動之該等狀態，使得該所觀察取樣點子集處之該等所估計未來狀態與該所觀察取樣點子集處之該等所測量狀態一致；以及經由與該處理器通訊之一輸出介面，輸出該場景之該未觀察取樣點集合處之該流動之該等狀態，以便有助於管理該場景中物體之流動之狀態。
  11. 如請求項10所述之非暫時性電腦可讀儲存媒體，其中該運算子之該訓練包括：取得該場景中該取樣點集合中該等物體之流動之訓練狀態之歷史資料；根據一模型，模擬該場景中該取樣點集合中該等物體之流動之該等訓練狀態；或取得該場景中一取樣點子集系列中該等物體之流動之該等訓練狀態，其中該取樣點子集系列中該等取樣點之至少一個子集為於一時間之所觀察取樣點，該時間有別於該場景中該取樣點子集系列中該等取樣點之其餘子集用之可觀察取樣點時間，使得該場景中該取樣點系列中該等取樣點之所有該等子集都包括該場景中該取樣點集合中之所有該等取樣點。
  12. 如請求項10所述之非暫時性電腦可讀儲存媒體，其中該運算子係一核心動態模式分解(kernel dynamic mode decomposition,KDMD)運算子，使得該非暫時性電腦可讀儲存媒體為用於流動完成之一資料驅動框架，其中從記憶體取得之涵蓋一完整場景Ω而定義之訓練資料可供用於學習用以擷取該場景中該流動之動態特性的該KDMD運算子。
  13. 如請求項10所述之非暫時性電腦可讀儲存媒體，其中該場景之該未觀察取樣點子集處之該等物體之該流動之該等狀態之該估計包括：藉由使透過該等感測器所得之該場景之該所觀察取樣點集合與該運算子之該所觀察取樣點子集處之該等估計未來狀態之間的誤差達到最小，來為一基礎矩陣集合判定一係數集合；以及根據該運算子之一特徵值集合，確認用於該基礎矩陣集合之該係數集合符合一時間性預測條件。
  14. 如請求項10所述之非暫時性電腦可讀儲存媒體，其中係以接近該場景而配置之至少一個感測器來測量該場景之所觀察取樣點處之流動之該等狀態。
  15. 如請求項10所述之非暫時性電腦可讀儲存媒體，其中該運算子為一系統動態特性運算子，使得該系統動態特性運算子係為一核心動態模式分解(kernel dynamic mode decomposition,KDMD)運算子。
TW109108540A 2019-03-28 2020-03-16 從控制輸入和有限觀察預測動態流的方法及系統 TWI761787B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US16/367,558 US10909387B2 (en) 2019-03-28 2019-03-28 Method and system for predicting dynamical flows from control inputs and limited observations
US16/367,558 2019-03-28
WOPCT/JP2020/004208 2020-01-29
PCT/JP2020/004208 WO2020195191A1 (en) 2019-03-28 2020-01-29 Method and system for predicting dynamical flows from control inputs and limited observations

Publications (2)

Publication Number Publication Date
TW202105323A TW202105323A (zh) 2021-02-01
TWI761787B true TWI761787B (zh) 2022-04-21

Family

ID=69740474

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109108540A TWI761787B (zh) 2019-03-28 2020-03-16 從控制輸入和有限觀察預測動態流的方法及系統

Country Status (5)

Country Link
US (1) US10909387B2 (zh)
JP (1) JP7146122B2 (zh)
KR (1) KR20210126690A (zh)
TW (1) TWI761787B (zh)
WO (1) WO2020195191A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210192681A1 (en) * 2019-12-18 2021-06-24 Ati Technologies Ulc Frame reprojection for virtual reality and augmented reality
CN114139836B (zh) * 2022-01-29 2022-05-31 北京航空航天大学杭州创新研究院 基于重力学多层三维残差网络的城市od人流预测方法
US20230351070A1 (en) * 2022-04-27 2023-11-02 Armored Things, Inc. Simulation-driven localization and tracking of people
CN115330132B (zh) * 2022-07-20 2023-04-07 中交上海航道局有限公司 一种用于突发污染事故中宽浅型河流的水质分布逆时反演的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180197017A1 (en) * 2017-01-12 2018-07-12 Mitsubishi Electric Research Laboratories, Inc. Methods and Systems for Predicting Flow of Crowds from Limited Observations
CN108399618A (zh) * 2018-02-28 2018-08-14 清华大学 人群的位置和数目获取装置
CN109522854A (zh) * 2018-11-22 2019-03-26 广州众聚智能科技有限公司 一种基于深度学习和多目标跟踪的行人流量统计方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7595817B1 (en) 2003-02-12 2009-09-29 The Research Foundation Of State University Of New York Linear system based, qualitative independent motion detection from compressed MPEG surveillance video
US20100081929A1 (en) * 2005-09-14 2010-04-01 Takao Suzuki Position tracking method, position tracking device, and ultrasonograph
US20110205359A1 (en) * 2010-02-19 2011-08-25 Panasonic Corporation Video surveillance system
WO2014039685A1 (en) * 2012-09-06 2014-03-13 Interphase Corporation Absolute and relative positioning sensor fusion in an interactive display system
US10145576B2 (en) 2015-03-06 2018-12-04 Mitsubishi Electric Research Laboratories, Inc. System and method for controlling operations of air-conditioning system
US9600896B1 (en) * 2015-11-04 2017-03-21 Mitsubishi Electric Research Laboratories, Inc. Method and system for segmenting pedestrian flows in videos
US10212410B2 (en) * 2016-12-21 2019-02-19 Mitsubishi Electric Research Laboratories, Inc. Systems and methods of fusing multi-angle view HD images based on epipolar geometry and matrix completion
US10203214B2 (en) * 2017-02-06 2019-02-12 Here Global B.V. Method and apparatus for filtering device location points in a sampled trajectory while maintaining path reconstructability

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180197017A1 (en) * 2017-01-12 2018-07-12 Mitsubishi Electric Research Laboratories, Inc. Methods and Systems for Predicting Flow of Crowds from Limited Observations
US10210398B2 (en) * 2017-01-12 2019-02-19 Mitsubishi Electric Research Laboratories, Inc. Methods and systems for predicting flow of crowds from limited observations
CN108399618A (zh) * 2018-02-28 2018-08-14 清华大学 人群的位置和数目获取装置
CN109522854A (zh) * 2018-11-22 2019-03-26 广州众聚智能科技有限公司 一种基于深度学习和多目标跟踪的行人流量统计方法

Also Published As

Publication number Publication date
US10909387B2 (en) 2021-02-02
KR20210126690A (ko) 2021-10-20
JP7146122B2 (ja) 2022-10-03
US20200311439A1 (en) 2020-10-01
WO2020195191A1 (en) 2020-10-01
CN113632141A (zh) 2021-11-09
TW202105323A (zh) 2021-02-01
JP2022521559A (ja) 2022-04-08

Similar Documents

Publication Publication Date Title
TWI761787B (zh) 從控制輸入和有限觀察預測動態流的方法及系統
Patil et al. MSFgNet: A novel compact end-to-end deep network for moving object detection
Bucak et al. Incremental subspace learning via non-negative matrix factorization
DE102020102230A1 (de) Missbrauchsindex für erklärbare künstliche intelligenz in computerumgebungen
WO2018019126A1 (zh) 视频类别识别方法和装置、数据处理装置和电子设备
CN108154222B (zh) 深度神经网络训练方法和系统、电子设备
Feng et al. Social force model-based MCMC-OCSVM particle PHD filter for multiple human tracking
JP6385601B2 (ja) 歩行者の流動を求める方法及びシステム
US10210398B2 (en) Methods and systems for predicting flow of crowds from limited observations
JP6236154B2 (ja) 動画コンテンツに現れる物体を表す動画タグクラウドを生成する方法
WO2020093724A1 (zh) 生成信息的方法和装置
Saxena et al. Sign language recognition using principal component analysis
CN112820071A (zh) 一种行为识别方法和装置
Liu Moving object detection technology of line dancing based on machine vision
CN117206063A (zh) 基于深度学习的研磨智能控制系统及方法
Wang et al. A depth estimating method from a single image using foe crf
Basavaiah et al. Robust Feature Extraction and Classification Based Automated Human Action Recognition System for Multiple Datasets.
Du et al. Adaptive visual interaction based multi-target future state prediction for autonomous driving vehicles
CN113632141B (zh) 用于从控制输入和有限观测预测动力学流的方法和系统
Wu Human motion tracking algorithm based on image segmentation algorithm and Kinect depth information
Kothandaraman et al. Differentiable frequency-based disentanglement for aerial video action recognition
Gupta et al. Reconnoitering the Essentials of Image and Video Processing: A Comprehensive Overview
CN111105438B (zh) 基于动态模式分解的运动检测方法、终端设备及计算机可读存储介质
Tripathy et al. A transfer learning-based multi-cues multi-scale spatial–temporal modeling for effective video-based crowd counting and density estimation using a single-column 2D-Atrous Net
Kothandaraman et al. Diffar: Differentiable frequency-based disentanglement for aerial video action recognition