TWI591384B - 目標跟蹤方法、跟蹤裝置和３ｄ顯示方法及顯示裝置 - Google Patents

目標跟蹤方法、跟蹤裝置和３ｄ顯示方法及顯示裝置 Download PDF

Info

Publication number
TWI591384B
TWI591384B TW104126318A TW104126318A TWI591384B TW I591384 B TWI591384 B TW I591384B TW 104126318 A TW104126318 A TW 104126318A TW 104126318 A TW104126318 A TW 104126318A TW I591384 B TWI591384 B TW I591384B
Authority
TW
Taiwan
Prior art keywords
filter
target
tracking
current position
compensation
Prior art date
Application number
TW104126318A
Other languages
English (en)
Other versions
TW201614334A (en
Inventor
楊青
簡培云
李東方
Original Assignee
深圳超多維光電子有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳超多維光電子有限公司 filed Critical 深圳超多維光電子有限公司
Publication of TW201614334A publication Critical patent/TW201614334A/zh
Application granted granted Critical
Publication of TWI591384B publication Critical patent/TWI591384B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Radar Systems Or Details Thereof (AREA)

Description

目標跟蹤方法、跟蹤裝置和3D顯示方法及顯示裝置
本公開屬於立體顯示技術領域，尤其涉及一種目標跟蹤方法和裝置、以及基於目標跟蹤方法和裝置的3D顯示方法和裝置。
習知的基於即時視頻的目標跟蹤預測方法，其技術方案多集中於：根據當前幀的目標跟蹤結果，利用卡爾曼濾波器對下一幀圖像中目標可能出現的區域作出預測，在下一幀時，先在前一次預測的區域內對目標進行搜索。這樣利用前一幀的預測結果來縮小當前幀的搜索範圍，可以大幅減少計算量，加快跟蹤的速度，提高了目標跟蹤的即時性。相關技術參見申請號為CN201210490994，名稱為“一種基於預測的運動跟蹤方法”、以及申請號為CN201410160852，名稱為“人眼跟蹤方法及裝置”的相關專利申請，其內容結合於此作為參考。
圖1是3D顯示原理的示意圖。如圖1中所示，一種3D顯示系統包括：頭部跟蹤器102，用於跟蹤人的頭部的位置；跟蹤模組104，包括計算模組104-2和控制模組104-4，用於根據頭部跟蹤器獲得的人的頭部的位置，進行計算 並且控制顯示模組和可控光學系統，以將正確圖像顯示給用戶；顯示模組106，用於在控制模組的控制下進行顯示；可控光學系統108，用於在控制模組的控制下進行調節，以給用戶提供正確顯示。
圖2是目標跟蹤感測器在t0時刻對被跟蹤目標的原始數據進行採樣的示意圖，此處的被跟蹤目標是人眼，其還可以是人的頭部、臉部、以及其他部位。
但是，在基於即時視頻、紅外探測、深度攝像頭、穿戴設備等方式的目標跟蹤的過程中，由於計算耗時等不可抗因素，當人體快速移動時，習知跟蹤演算法得到的被跟蹤目標位置跟蹤結果具有一定空間上的延遲。如圖3所示，在△t時間內，習知跟蹤演算法對原始數據進行計算，人體繼續移動，導致目標跟蹤結果具有空間上的延遲。將此跟蹤結果應用於裸眼3D立體顯示中時，則可能導致3D立體顯示效果下降，如人體快速移動時可能發生反視現象。
圖4中示出在不對延遲量進行補償的情況下，導致反視現象的示意圖。如圖4中所示，在t0時刻，被跟蹤目標(例如，人眼)處於(x0,y0,z0)位置，此時攝像頭對人物進行拍攝或紅外感測器、深度感測器等對被跟蹤目標數據進行採集，得到原始圖像/數據。習知的跟蹤演算法對該原始圖像/數據進行一系列分析處理，於t0+△t時刻報告出被跟蹤目標的位置座標(x0,y0,z0)(此處，假設習知跟蹤演算法總可以準確無誤地計算得到正確的被跟蹤目標位置)，並根據此被跟蹤目標位置，在顯示設備上顯示對應的3D立體圖像，其左右眼視區分別對準跟蹤演算法得到的左右眼位置，在這個過程中，跟蹤、排圖等演算法的計算、處理共耗時△t。在本實施例中，顯示設備包括顯示模組與分光器件， 分光器件用於將顯示模組上顯示的圖像分別發送到人的左眼和右眼，以顯示立體圖像。
事實上，由於人體在△t時間內可以繼續移動，所以在t0+△t時刻被跟蹤目標的真實位置已經發生了改變，不再是t0時刻的(x0,y0,z0)，而移動到了t0+△t時刻的(x’,y’,z’)。正是由於計算耗時等不可抗因素，習知跟蹤演算法報告的被跟蹤目標位置結果具有△t時間的延遲，其與真實位置的偏差量由△t與被跟蹤目標移動的速度共同決定。在這種情況下，如果在3D顯示排圖時未補償被跟蹤目標位置的延遲量，則很可能發生反視現象，即，人體實際的左眼位於3D立體顯示的右眼視區，而實際的右眼位於3D立體顯示的左眼視區，從而表現出錯誤的顯示效果。
因此，需要一種能夠解決計算耗時等不可抗因素導致的跟蹤結果延遲/滯後的問題的手段。
本發明實施方案的目的在於提供一種目標跟蹤方法和裝置、以及3D顯示方法和裝置，旨在解決由習知技術的局限和缺點引起的上述技術問題。
本發明為解決技術問題而採用的技術方案是提供一種目標跟蹤方法，包括：根據首次跟蹤演算法輸出被跟蹤目標的位置座標，同時初始化作用於時變系統之上的濾波器；以及當所述跟蹤演算法輸出一個新的有延遲的被跟蹤目標的當前位 置座標時，通過所述作用於時變系統之上的濾波器對系統狀態進行更新；比較被跟蹤目標的移動速度與補償判定閾值，確定是否對當前位置座標進行補償；以及如果所述被跟蹤目標的移動速度大於所述補償判定閾值，則通過所述作用於時變系統之上的濾波器對所述有延遲的被跟蹤目標的當前位置座標進行延遲補償，並且輸出補償後的被跟蹤目標的當前位置座標。
根據本發明一優選實施例，其中所述作用於時變系統之上的濾波器為卡爾曼濾波器、平滑濾波器、巴特沃斯濾波器、二項式系數濾波器、或者維納濾波器。
根據本發明一優選實施例，其中所述作用於時變系統之上的濾波器為卡爾曼濾波器，初始化所述卡爾曼濾波器包括：初始化計數器、延遲量補償的系數矩陣、感測器的採樣間隔、系統狀態量的後驗估計、系統狀態轉移系數矩陣、系統狀態雜訊增益矩陣、系統狀態雜訊協方差矩陣、測量系數矩陣、測量雜訊協方差矩陣、系統狀態後驗估計的誤差協方差矩陣。
根據本發明一優選實施例，其中所述作用於時變系統之上的濾波器為卡爾曼濾波器，所述卡爾曼濾波器結合強跟蹤濾波器，對系統狀態進行更新並且對被跟蹤目標的當前位置座標進行補償。
根據本發明一優選實施例，其中所述強跟蹤濾波器是帶多重次優漸消因子的強跟蹤濾波器。
根據本發明一優選實施例，其中所述方法包括通過所述卡爾曼濾波器和所述強跟蹤濾波器進行以下更新處理： 獲取所述被跟蹤目標的當前位置座標；利用所述當前位置座標，計算狀態預測方程對系統狀態量在採樣時刻的先驗估計_；利用所述先驗估計_，計算測量方程的殘差γ；利用所述殘差γ，計算所述強跟蹤濾波器的中間變數V；利用所述中間變數V，計算所述強跟蹤濾波器的中間變數N；利用所述中間變數N，計算所述強跟蹤濾波器的中間變數M；利用所述中間變數M，計算多重次優漸消因子的系數c；利用所述多重次優漸消因子的系數c，計算所述強跟蹤濾波器的多重次優漸消因子λi；利用所述強跟蹤濾波器的多重次優漸消因子λi，計算所述卡爾曼濾波器的系統狀態先驗估計的誤差協方差矩陣P_；利用所述系統狀態先驗估計的誤差協方差矩陣P_，計算所述卡爾曼濾波器的卡爾曼增益Kg；利用所述卡爾曼增益Kg，計算測量更新方程對系統狀態量在採樣時刻的後驗估計；以及利用所述後驗估計，計算所述卡爾曼濾波器的系統狀態後驗估計的誤差協方差矩陣P。
根據本發明一優選實施例，其中通過所述卡爾曼濾波器和所述強跟蹤濾波器進行延遲補償包括： 利用所計算的以上參數，根據公式計算補償之後的被 跟蹤目標的當前位置座標，其中，(xreal,yreal,zreal)是補償之後的被跟蹤目標的當前位置座標，(x,y,z)是卡爾曼濾波器的後驗估計中的位置座標(x,y,z)，∥(vx,vy,vz)∥是速度值(vx,vy,vz)的2-範數，S是延遲補償的系數矩陣，τ是所述補償判定閾值，τ>0。
根據本發明一優選實施例，其中所述被跟蹤目標的當前位置座標是三維座標或二維座標。
本公開的另一目的還提供一種3D顯示方法，包括：根據上述之目標跟蹤方法獲取被跟蹤目標的當前位置座標；以及根據所述被跟蹤目標的當前位置座標進行排圖，在顯示設備上顯示相應立體圖像給用戶。
本發明的另一目的還提供一種目標跟蹤裝置，包括：目標跟蹤單元，用於跟蹤被跟蹤目標位置以獲取被跟蹤目標的當前位置座標；以及更新和補償單元，包括作用於時變系統之上的濾波器，在所述目標跟蹤單元首次輸出被跟蹤目標位置座標時，使所述作用於時變系統之上的濾波器進行初始化，並且當所述目標跟蹤單元輸出一個新的有延遲的被跟蹤目標當前位置座標時，通過所述作用於時變系統之上的濾波器對系統狀態進行更新，當被跟蹤目標的移動速度大於補償判定閾值時，通過所述作用於時變系統之上的濾波器對所述被跟蹤目標的當前位置座標進行延遲補償，並且輸出補償 後的被跟蹤目標的當前位置座標。
根據本發明一優選實施例，其中所述作用於時變系統之上的濾波器為卡爾曼濾波器、平滑濾波器、巴特沃斯濾波器、二項式系數濾波器、或者維納濾波器。
根據本發明一優選實施例，其中所述作用於時變系統之上的濾波器為卡爾曼濾波器，使所述卡爾曼濾波器進行初始化包括：初始化計數器、延遲量補償的系數矩陣、感測器的採樣間隔、系統狀態量的後驗估計、系統狀態轉移系數矩陣、系統狀態雜訊增益矩陣、系統狀態雜訊協方差矩陣、測量系數矩陣、測量雜訊協方差矩陣、系統狀態後驗估計的誤差協方差矩陣。
根據本發明一優選實施例，其中所述更新和補償單元還包括：強跟蹤濾波器，與所述卡爾曼濾波器一起對系統狀態進行更新並且對被跟蹤目標的當前位置座標進行延遲補償。
根據本發明一優選實施例，其中所述強跟蹤濾波器是帶多重次優漸消因子的強跟蹤濾波器。
根據本發明一優選實施例，其中所述更新和補償單元利用所述卡爾曼濾波器和所述強跟蹤濾波器對系統狀態進行更新包括以下處理：從所述目標跟蹤單元獲取所述被跟蹤目標的當前位置座標；利用所述當前位置座標，計算狀態預測方程對系統狀態量在採樣時刻的先驗估計_；利用所述先驗估計_，計算測量方程的殘差γ；利用所述殘差γ，計算所述強跟蹤濾波器的中間變數V； 利用所述中間變數V，計算所述強跟蹤濾波器的中間變數N；利用所述中間變數N，計算所述強跟蹤濾波器的中間變數M；利用所述中間變數M，計算多重次優漸消因子的系數c；利用所述多重次優漸消因子的系數c，計算所述強跟蹤濾波器的多重次優漸消因子λi；利用所述強跟蹤濾波器的多重次優漸消因子λi，計算所述卡爾曼濾波器的系統狀態先驗估計的誤差協方差矩陣P_；利用所述系統狀態先驗估計的誤差協方差矩陣P_，計算所述卡爾曼濾波器的卡爾曼增益Kg；利用所述卡爾曼增益Kg，計算測量更新方程對系統狀態量在採樣時刻的後驗估計；以及利用所述後驗估計，計算所述卡爾曼濾波器的系統狀態後驗估計的誤差協方差矩陣P。
根據本發明一優選實施例，其中所述更新和補償單元利用所述卡爾曼濾波器和所述強跟蹤濾波器對所述被跟蹤目標的當前位置座標進行延遲補償包括： 根據公式計算補償之後的被跟蹤目標的當前位 置座標，其中，(xreal,yreal,zreal)是補償之後的被跟蹤目標的當前位置座標，(x,y,z)是卡爾曼濾波器的後驗估計中的位置座標(x,y,z)，∥(vx,vy,vz)∥是速度值(vx,vy,vz)的2-範數，S是延遲補償的系數矩陣，τ是所述補償判定閾值，τ>0。
根據本發明一優選實施例，其中所述被跟蹤目標的當前位置座標是三維座標或二維座標。
本發明的另一目的還提供一種3D顯示裝置，包括：根據上述之目標跟蹤裝置，用於獲取被跟蹤目標的當前位置座標；控制模組，用於根據所述被跟蹤目標的當前位置座標控制排圖；顯示模組，用於顯示對應於所述排圖的圖像；以及分光器件，用於將所述顯示模組顯示的圖像分別發送到人的左眼與右眼，以顯示立體圖像。
根據本發明一優選實施例，其中所述分光器件為液晶透鏡、液晶微透鏡、微透鏡陣列、或者狹縫光柵。
本發明使用作用於時變系統之上的濾波器和強跟蹤濾波器來補償由於攝像頭等感測器採樣、以及跟蹤、排圖演算法計算時的耗時等因素造成的當前被跟蹤目標位置的跟蹤結果的延遲/滯後，可以進一步提高裸眼3D顯示品質。
102‧‧‧頭部跟蹤器
104‧‧‧跟蹤模組
104-2‧‧‧計算模組
104-4、802‧‧‧控制模組
106、804‧‧‧顯示模組
108‧‧‧可控光學系統
600‧‧‧目標跟蹤裝置
602‧‧‧目標跟蹤單元
604‧‧‧更新和補償單元
800‧‧‧3D顯示裝置
806‧‧‧分光器件
圖1是示出相關技術中的3D顯示原理的示意圖；圖2是示出目標跟蹤感測器在t0時刻對被跟蹤目標的原始數據進行採樣的示意圖；圖3是示出跟蹤等演算法的計算耗時△t時間內人體發生移動的示意圖； 圖4是示出在不對延遲量進行補償的情況下，由於人體移動導致發生反視現象的示意圖；圖5A至圖5B是示出根據本發明的實施例的目標跟蹤方法的流程圖；圖6是示出根據本發明的實施例的目標跟蹤裝置的框圖；圖7是示出根據本發明的實施例的3D顯示方法的流程圖；圖8是示出根據本發明的實施例的3D顯示裝置的框圖；圖9是示出在對延遲量進行補償的情況下的3D顯示示意圖；以及圖10是示出根據本發明的實施例的卡爾曼濾波器和強跟蹤濾波器演算法的流程圖。
為了使本發明要解決的技術問題、技術方案及有益效果更加清楚明白，以下結合附圖及實施方案，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施方式僅僅用以解釋本發明，並不用於限定本發明。
圖5A和圖5B示出根據本發明的實施例的目標跟蹤方法500的流程圖。如圖5A中所示，根據本發明的實施例的目標跟蹤方法500包括以下步驟：S502，根據首次跟蹤演算法輸出被跟蹤目標的位置座標，同時初始化作用於時變系統之上的濾波器；以及S504，當跟蹤演算法輸出一個新的有延遲的被跟蹤目標的當前位置座標時，通過作用於時變系統之上的濾波器對系統狀態進行更新；S506，比較被跟蹤目標的移動速度與補償判定閾值，確定是否對 當前位置座標進行補償；以及S508，如果被跟蹤目標的移動速度大於補償判定閾值，則通過作用於時變系統之上的濾波器對有延遲的被跟蹤目標的當前位置座標進行延遲補償，並且輸出補償後的當前位置座標。
作用於時變系統之上的濾波器可以為卡爾曼濾波器、平滑濾波器、巴特沃斯濾波器、二項式系數濾波器、或者維納濾波器。
在本實施例中，作用於時變系統之上的濾波器為卡爾曼濾波器，以下以卡爾曼濾波器為例進行具體說明。
初始化卡爾曼濾波器包括：初始化計數器、延遲量補償的系數矩陣、感測器的採樣間隔、系統狀態量的後驗估計、系統狀態轉移系數矩陣、系統狀態雜訊增益矩陣、系統狀態雜訊協方差矩陣、測量系數矩陣、測量雜訊協方差矩陣、系統狀態後驗估計的誤差協方差矩陣。
在本實施例中，卡爾曼濾波器可以結合強跟蹤濾波器對系統狀態進行更新並且對被跟蹤目標的當前位置座標進行補償。強跟蹤濾波器可以是帶多重次優漸消因子的強跟蹤濾波器。強跟蹤濾波器使用前，需要對其進行初始化，具體地，初始化強跟蹤濾波器可以包括：初始化多重次優漸消因子的比例系數、強跟蹤濾波器的遺忘因子、強跟蹤濾波器的弱化因子。
進一步地，步驟S504可以通過卡爾曼濾波器和強跟蹤濾波器對系統狀態進行更新。具體地，如圖5B中所示，當步驟S504通過卡爾曼濾波器和強跟蹤濾波器進行更新處理時，可以包括如下步驟：S504-2，獲取被跟蹤目標的當前位置座標，在此可以通過多種習 知的目標跟蹤方法獲取被跟蹤目標的當前位置座標；S504-4，利用當前位置座標，計算狀態預測方程對系統狀態量在採樣時刻的先驗估計_；S504-6，利用先驗估計_，計算測量方程的殘差γ；S504-8，利用殘差γ，計算強跟蹤濾波器的中間變數V；S504-10，利用中間變數V，計算強跟蹤濾波器的中間變數N；S504-12，利用中間變數N，計算強跟蹤濾波器的中間變數M；S504-14，利用中間變數M，計算多重次優漸消因子的系數c；S504-16，利用多重次優漸消因子的系數c，計算強跟蹤濾波器的多重次優漸消因子λi；S504-18，利用強跟蹤濾波器的多重次優漸消因子λi，計算卡爾曼濾波器的系統狀態先驗估計的誤差協方差矩陣P_；S504-20，利用系統狀態先驗估計的誤差協方差矩陣P_，計算卡爾曼濾波器的卡爾曼增益Kg；S504-22，利用卡爾曼增益Kg，計算測量更新方程對系統狀態量在採樣時刻的後驗估計；S504-24利用後驗估計，計算卡爾曼濾波器的系統狀態後驗估計的誤差協方差矩陣P。
卡爾曼濾波器和強跟蹤濾波器對有延遲的被跟蹤目標的當前位置座標進行延遲補償包括： 利用所計算的以上參數，根據公式計算補償之後 的被跟蹤目標的當前位置座標，其中，(xreal,yreal,zreal)是補償之後的被跟蹤目標的當前位置座標，(x,y,z)是卡爾曼濾波器的後驗估計中的位置座標(x,y,z)，∥(vx,vy,vz)∥是速度值(vx,vy,vz)的2-範數，S是延遲補償的系數矩陣，τ是補償判定閾值，τ>0。
被跟蹤目標的當前位置座標可以是三維座標或二維座標，以上是當前位置座標的三維形式，其是示例性的。在採用二維座標的情況下，可以將三維座標轉變為二維座標。
在本實施例中，使用作用於時變系統之上的濾波器對被跟蹤目標的當前位置座標進行濾波去噪，大幅消除了跟蹤演算法的計算誤差和系統雜訊，去除了被跟蹤目標的當前位置座標中的數據抖動。引入強跟蹤濾波器的多重次優漸消因子，提高了作用於時變系統之上的濾波器對移動目標的跟蹤性能，從而得到最接近獲取當前被跟蹤目標位置時刻的目標真實運動狀態的系統狀態量。
圖6是示出根據本發明的實施例的目標跟蹤裝置600的框圖。根據本發明的實施例的目標跟蹤裝置600包括：目標跟蹤單元602，用於跟蹤被跟蹤目標位置以獲取被跟蹤目標的當前位置座標；以及更新和補償單元604，包括作用於時變系統之上的濾波器，在目標跟蹤單元602首次輸出被跟蹤目標的位置座標時，使作用於時變系統之上的濾 波器進行初始化，並且當目標跟蹤單元602輸出一個新的有延遲的被跟蹤目標的當前位置座標時，通過作用於時變系統之上的濾波器對系統狀態進行更新，當被跟蹤目標的移動速度大於補償判定閾值時，通過作用於時變系統之上的濾波器對被跟蹤目標的當前位置座標進行延遲補償，並且輸出補償後的被跟蹤目標的當前位置座標。
作用於時變系統之上的濾波器可以為卡爾曼濾波器、平滑濾波器、巴特沃斯濾波器、二項式系數濾波器、或者維納濾波器。
在作用於時變系統之上的濾波器為卡爾曼濾波器的情況下：卡爾曼濾波器可以利用目標跟蹤單元首次跟蹤的被跟蹤目標的當前位置座標進行初始化，初始化卡爾曼濾波器包括：初始化計數器、延遲量補償的系數矩陣、感測器的採樣間隔、系統狀態量的後驗估計、系統狀態轉移系數矩陣、系統狀態雜訊增益矩陣、系統狀態雜訊協方差矩陣、測量系數矩陣、測量雜訊協方差矩陣、系統狀態後驗估計的誤差協方差矩陣。
在本實施例中，更新和補償單元604可以通過卡爾曼濾波器和強跟蹤濾波器一起對系統狀態進行更新並且對被跟蹤目標的當前位置座標進行延遲補償。強跟蹤濾波器是帶多重次優漸消因子的強跟蹤濾波器。強跟蹤濾波器使用前，需要進行初始化，具體地，初始化強跟蹤濾波器可以包括：初始化多重次優漸消因子的比例系數、強跟蹤濾波器的遺忘因子、強跟蹤濾波器的弱化因子。
更新和補償單元604利用卡爾曼濾波器和強跟蹤濾波器對當前位置座標進行更新，包括以下處理： 從目標跟蹤單元獲取被跟蹤目標的當前位置座標；利用當前位置座標，計算狀態預測方程對系統狀態量在採樣時刻的先驗估計_；利用先驗估計_，計算測量方程的殘差γ；利用殘差γ，計算強跟蹤濾波器的中間變數V；利用中間變數V，計算強跟蹤濾波器的中間變數N；利用中間變數N，計算強跟蹤濾波器的中間變數M；利用中間變數M，計算多重次優漸消因子的系數c；利用多重次優漸消因子的系數c，計算強跟蹤濾波器的多重次優漸消因子λi；利用強跟蹤濾波器的多重次優漸消因子λi，計算卡爾曼濾波器的系統狀態先驗估計的誤差協方差矩陣P_；利用系統狀態先驗估計的誤差協方差矩陣P_，計算卡爾曼濾波器的卡爾曼增益Kg；利用卡爾曼增益Kg，計算測量更新方程對系統狀態量在採樣時刻的後驗估計；利用後驗估計，計算卡爾曼濾波器的系統狀態後驗估計的誤差協方差矩陣P。
更新和補償單元利用卡爾曼濾波器和強跟蹤濾波器對被跟蹤目標的當前位置座標進行延遲補償具體包括： 利用所計算的以上參數，根據公式計算補償之後 的被跟蹤目標的當前位置座標，其中，(xreal,yreal,zreal)是補償之後的被跟蹤目標的當前位置座標，(x,y,z)是卡爾曼濾波器的後驗估計中的位置座標(x,y,z)，∥(vx,vy,vz)∥是速度值(vx,vy,vz)的2-範數，S是延遲補償的系數矩陣，τ是補償判定閾值，τ>0。
在本實施例中，更新和補償單元604使用作用於時變系統之上的濾波器對被跟蹤目標的當前位置座標進行濾波去噪，大幅消除了跟蹤演算法的 計算誤差和系統雜訊，去除了被跟蹤目標的當前位置座標中的數據抖動。引入強跟蹤濾波器的多重次優漸消因子，提高了作用於時變系統之上的濾波器對移動目標的跟蹤性能，從而得到最接近獲取當前被跟蹤目標位置時刻的目標真實運動狀態的系統狀態量。
圖7是根據本發明的實施例的3D顯示方法的流程圖。如圖7中所示，根據本發明的實施例的3D顯示方法700包括以下步驟：S702，根據上述目標跟蹤方法500獲取被跟蹤目標的當前位置座標；以及S704，根據被跟蹤目標的當前位置座標進行排圖，在顯示設備上顯示相應立體圖像給用戶。在本實施例中，顯示設備包括顯示模組與分光器件，通過分光器件將顯示模組顯示的圖像分別發送到人的左眼與右眼，以顯示立體圖像。
圖8是根據本發明的實施例的3D顯示裝置800的框圖。如圖8中所示，根據本發明的實施例的3D顯示裝置800包括：目標跟蹤裝置600，用於獲取被跟蹤目標的當前位置座標；控制模組802，用於根據當前位置座標控制排圖；顯示模組804，用於顯示對應於排圖的圖像；以及分光器件806，用於將顯示模組顯示的圖像分別發送到人的左眼與右眼，以顯示立體圖像。
在本實施例中，目標跟蹤裝置600具體請參見上述實施例所述的目標跟蹤裝置。分光器件806可以是液晶透鏡、液晶微透鏡、微透鏡陣列、或者狹縫光柵。
更具體地，根據本發明的目標跟蹤方法中的具體補償演算法包括以下步驟：首先，在基於即時視頻、紅外探測、深度攝像頭、穿戴設備等方 式的目標跟蹤的過程中，感測器連續且等間隔地採樣，形成了一系列圖像/數據幀。假設跟蹤演算法對每一幀圖像/數據的計算耗時都是一致的，則每一幀計算得出的被跟蹤目標位置都具有相同的時間延遲量△t。
1、補償演算法初始化。首先，習知跟蹤演算法計算t0時刻的原始採樣數據，得到被跟蹤目標的空間座標值(x0,y0,z0)。發生在跟蹤演算法完成對感測器第一幀圖像/數據的處理，輸出第一組被跟蹤目標座標(x0,y0,z0)時，包括以下量的初始化：1.1卡爾曼濾波器初始化：k=0，作為計數器； ，其中O1*3=(0 0 0)，S'=(1△t(△t) 2/2)，△t為因計算耗時等不可抗因素造成的時間上的延遲量，S是延遲量補償的系數矩陣；T=感測器的採樣間隔，例如，感測器採樣速率為30FPS，則T=(1/30)s；=(x0,0,0,y0,0,0,z0,0,0)T，是系統狀態量(x,vx,ax,y,vy,ay,z,vz,az)的後驗估計，此時被初始化為k=0時的初始狀態，其中(x0,y0,z0)是跟蹤演算法輸出的第一個被跟蹤目標的位置座標，vx、vy、vz分別是x、y、z方向上的速度，ax、ay、az分別是x、y、z方向上的加速度，此時均被初始化為0； ，其中，，A是系統狀態轉移系數矩陣； ，其中，，G是 系統狀態雜訊增益矩陣； ，Q是系統狀態雜訊協方差矩陣，此處也就是 加速度雜訊的協方差矩陣(是一個對角矩陣)，q11、q22、q33>0，分別對應於加速度ax、ay、az的雜訊方差，需要根據實際加速度變化的劇烈程度相應地選取q11、q22、q33； ，是測量系數矩陣； ，R是測量雜訊協方差矩陣，此處也就是跟蹤 演算法輸出的被跟蹤目標位置的誤差協方差矩陣(是一個對角矩陣)，r11、r22、r33>0，分別對應於跟蹤演算法計算出的被跟蹤目標位置x、y、z的誤差方差，需要根據實際跟蹤演算法誤差的大小相應地選取r11、r22、r33；P=diag(p11,p12,...,p99)，P是卡爾曼濾波器的系統狀態後驗估計的誤差協方差矩陣，p11、p22、...、p99>0，分別對應系統狀態量(x,vx,ax,y,vy,ay,z,vz,az)的先驗估計誤差方差，初始化時可將p11、p44、p77取為較小的值(分別對應x、y、z)，而將其他pii取為較大的值；1.2帶多重次優漸消因子的強跟蹤濾波器初始化：α=(α1,α2,...,α9)，α是多重次優漸消因子的比例系數，其中，α i 1，分別對應於系統狀態量(x,vx,ax,y,vy,ay,z,vz,az)的變化速率，若從經驗得知這組狀態量中的第j個分量易於突變時，可相應地增大αj的值，若沒有任何經驗 可遵循時，可以取αi=1，i=1,2,...,9，此時多重次優漸消因子退化成單重次優漸消因子；ρ：0<ρ1，ρ為強跟蹤濾波器的遺忘因子，一般取ρ=0.95；β：β1，β為強跟蹤濾波器的弱化因子，目的是使得濾波結果更平滑，根據需要選取一個1的數值；1.3設置補償判定閾值：τ：τ>0，τ為補償演算法的補償判定閾值，當目標的移動速度大於等於補償判定閾值時，認為目標快速移動，對目標的跟蹤結果進行補償運算；否則認為目標靜止或慢速移動，不對跟蹤結果進行補償。
2、跟蹤演算法輸出第二幀的數據及其以後幀的數據，補償演算法開始利用卡爾曼濾波器和強跟蹤濾波器對跟蹤延遲量進行補償，如圖9所示，包括以下步驟：S900-1，跟蹤演算法新輸出一組被跟蹤目標的位置座標數據(x1,y1,z1)，Z=(x1,y1,z1)，Z是當前對被跟蹤目標位置的測量值；S900-2，_=A*,_是狀態預測方程對系統狀態量(x,vx,ax,y,vy,ay,z,vz,az)在攝像頭採樣時刻的先驗估計；S900-3，γ=Z-H*_，γ是測量方程的殘差； S900-4，，V是強跟蹤濾波器的 中間變數，V_是上一次強濾波-卡爾曼濾波迴圈中V的值；S900-5，N=V-H*G*Q*GT*HT-β*R，N是強跟蹤濾波器的中間 變數；S900-6，M=A*P*AT*HT*H，M是強跟蹤濾波器的中間變數； S900-7，，c是多重次優漸消因子的系數；(tr(N) 為求矩陣N的跡，即矩陣N的對角元的和；αi是α的各個元素，Mii即矩陣M的各對角元，i=1,2,...,9)S900-8，λi=max(αi*c,1)，i=1,2,...,9，(λ1,λ2,...,λ9)是強跟蹤濾波器的多重次優漸消因子；S900-9，P_=diag(λ1,λ2,...λ9)*A*P*AT+G*Q*GT，P_是卡爾曼濾波器的系統狀態先驗估計的誤差協方差矩陣；(diag(λ1,λ2,...,λ9)表示生成一個9*9的對角矩陣，其對角元分別為λ1,λ2,...,λ9，其他的元素均為零)S900-10，Kg=P_*HT*(H*P_*HT+R)-，Kg是卡爾曼濾波器的卡爾曼增益；(”-”表示求矩陣的逆)S900-11，=_+Kg*γ，是測量更新方程對系統狀態量(x,vx,ax,y,vy,ay,z,vz,az)在感測器採樣時刻的後驗估計；S900-12，P=(I-Kg*H)*P_，P是卡爾曼濾波器的系統狀態後驗估計的誤差協方差矩陣； S900-13，，(xreal,yreal,zreal)是跟 蹤演算法輸出的被跟蹤目標位置(x1,y1,z1)經過濾波、補償之後得到的真實被跟蹤目標位置的座標；(x,y,z)即卡爾曼濾波器的後驗估計中的位置值(x,y,z)， ∥(vx,vy,vz)∥為速度值(vx,vy,vz)的2-範數，即目標的移動速度大小；當移動速度大於等於預設的閾值τ時，才對跟蹤結果進行補償，否則直接取卡爾曼濾波器的後驗估計中的位置值(x,y,z)；可替換地，也可以通過以下公式，根據中的位置、速度、加速度資訊，結合時間延遲量△t，計算得到t0+△t時刻目標的真實
S900-14，V_=V，更新V_；S900-15，k=k+1，即k增加1，返回(1)；上述步驟S900-13中，得到的(xreal,yreal,zreal)是當前時刻被跟蹤目標位置的真實座標，是在跟蹤演算法輸出的(x1,y1,z1)基礎上，經過濾波、補償得到的值。
以上對各個變數的表示進行了簡化，以便於本領域技術人員更好地理解本發明，但是本領域技術人員能夠想到，在實際演算法中，需要根據迴圈設置k值。
以上的演算法是被跟蹤目標的三維跟蹤補償方法，如果只需要計算被跟蹤目標的二維位置，則將上述的參數縮減至二維的情形即可，如下： =(x0,，0，0，y0，0，0)T，是系統狀態(x,vx,ax,y,vy,ay)的後驗估計； P=diag(p11,p22,...,p66)；α=(α1,α2,...,α6)。
在本發明的以上實施例中，被跟蹤目標可以為人眼、臉部、頭部等，也可以為人體的其他部位。
圖10是示出根據本發明的實施例的在對延遲量進行補償的情況下的3D顯示示意圖。如圖10所示，如果對延遲量進行補償，在t0+△t時刻，跟蹤、補償、排圖等計算完畢，在顯示設備上顯示對應的立體圖像，其左右眼視區對準補償演算法得到的左右眼位置，因為補償演算法對人體在△t時間內的移動導致的延遲量做了補償，所以人體移動時能準確跟蹤並相應地改變排圖，3D顯示正常。顯示設備包括顯示模組與分光器件，分光器件將顯示模組顯示的圖像分別發送至人的左眼和右眼，以給用戶顯示立體圖像。
本發明在利用習知跟蹤方法對被跟蹤目標位置進行跟蹤的跟蹤結果的基礎上，補償了△t時間內的空間延遲量，提高了目標跟蹤的數據準確性和即時性，最終提高了裸眼3D顯示品質。
在上述實施例中，僅對本發明進行了示範性描述，但是本領域技術人員在閱讀本專利申請後可以在不脫離本發明的精神和範圍的情況下對本發明進行各種修改。

Claims (19)

  1. 一種目標跟蹤方法，包括：根據首次跟蹤演算法輸出被跟蹤目標的位置座標，同時初始化作用於時變系統之上的濾波器；以及當所述跟蹤演算法輸出一個新的有延遲的被跟蹤目標的當前位置座標時，通過所述作用於時變系統之上的濾波器對系統狀態進行更新；比較被跟蹤目標的移動速度與補償判定閾值，確定是否對當前位置座標進行補償；以及如果所述被跟蹤目標的移動速度大於所述補償判定閾值，則通過所述作用於時變系統之上的濾波器對所述有延遲的被跟蹤目標的當前位置座標進行延遲補償，並且輸出補償後的被跟蹤目標的當前位置座標。
  2. 如申請專利範圍第1項所述之目標跟蹤方法，其中所述作用於時變系統之上的濾波器為卡爾曼濾波器、平滑濾波器、巴特沃斯濾波器、二項式係數濾波器、或者維納濾波器。
  3. 如申請專利範圍第1項所述之目標跟蹤方法，其中所述作用於時變系統之上的濾波器為卡爾曼濾波器，初始化所述卡爾曼濾波器包括：初始化計數器、延遲量補償的係數矩陣、感測器的採樣間隔、系統狀態量的後驗估計、系統狀態轉移係數矩陣、系統狀態雜訊增益矩陣、系統狀態雜訊協方差矩陣、測量係數矩陣、測量雜訊協方差矩陣、系統狀態後驗估計的誤差協方差矩陣。
  4. 如申請專利範圍第1項所述之目標跟蹤方法，其中所述作用於時變系統之上的濾波器為卡爾曼濾波器，所述卡爾曼濾波器結合強跟蹤濾波器，對系統 狀態進行更新並且對被跟蹤目標的當前位置座標進行補償。
  5. 如申請專利範圍第4項所述之目標跟蹤方法，其中所述強跟蹤濾波器是帶多重次優漸消因子的強跟蹤濾波器。
  6. 如申請專利範圍第5項所述之目標跟蹤方法，其中所述方法包括通過所述卡爾曼濾波器和所述強跟蹤濾波器進行以下更新處理：獲取所述被跟蹤目標的當前位置座標；利用所述當前位置座標，計算狀態預測方程對系統狀態量在採樣時刻的先驗估計_；利用所述先驗估計_，計算測量方程的殘差γ；利用所述殘差γ，計算所述強跟蹤濾波器的中間變數V；利用所述中間變數V，計算所述強跟蹤濾波器的中間變數N；利用所述中間變數N，計算所述強跟蹤濾波器的中間變數M；利用所述中間變數M，計算多重次優漸消因子的係數c；利用所述多重次優漸消因子的係數c，計算所述強跟蹤濾波器的多重次優漸消因子λi；利用所述強跟蹤濾波器的多重次優漸消因子λi，計算所述卡爾曼濾波器的系統狀態先驗估計的誤差協方差矩陣P_；利用所述系統狀態先驗估計的誤差協方差矩陣P_，計算所述卡爾曼濾波器的卡爾曼增益Kg；利用所述卡爾曼增益Kg，計算測量更新方程對系統狀態量在採樣時刻的後驗估計；以及 利用所述後驗估計，計算所述卡爾曼濾波器的系統狀態後驗估計的誤差協方差矩陣P。
  7. 如申請專利範圍第6項所述之目標跟蹤方法，其中通過所述卡爾曼濾波器和所述強跟蹤濾波器進行延遲補償包括：利用所計算的以上參數，根據公式計算補償之後的被跟蹤目標的當前位置座標，其中，(xreal,yreal,zreal)是補償之後的被跟蹤目標的當前位置座標，(x,y,z)是卡爾曼濾波器的後驗估計中的位置座標(x,y,z)，∥(vx,vy,vz)∥是被跟蹤目標的速度值(vx,vy,vz)的2-範數，S是延遲量補償的係數矩陣，τ是所述補償判定閾值，τ>0。
  8. 如申請專利範圍第7項所述之目標跟蹤方法，其中所述被跟蹤目標的當前位置座標是三維座標或二維座標。
  9. 一種3D顯示方法，包括：根據申請專利範圍第1項至第8項中任一項所述之目標跟蹤方法獲取補償後的被跟蹤目標的當前位置座標；以及根據所述補償後的被跟蹤目標的當前位置座標進行排圖，在顯示設備上顯示相應立體圖像給用戶。
  10. 一種目標跟蹤裝置，包括：目標跟蹤單元，用於跟蹤被跟蹤目標位置以獲取被跟蹤目標的當前位置座標；以及更新和補償單元，包括作用於時變系統之上的濾波器，在所述目標跟蹤單 元首次輸出被跟蹤目標位置座標時，使所述作用於時變系統之上的濾波器進行初始化，並且當所述目標跟蹤單元輸出一個新的有延遲的被跟蹤目標當前位置座標時，通過所述作用於時變系統之上的濾波器對系統狀態進行更新，當被跟蹤目標的移動速度大於補償判定閾值時，通過所述作用於時變系統之上的濾波器對所述被跟蹤目標的當前位置座標進行延遲補償，並且輸出補償後的被跟蹤目標的當前位置座標。
  11. 如申請專利範圍第10項所述之目標跟蹤裝置，其中所述作用於時變系統之上的濾波器為卡爾曼濾波器、平滑濾波器、巴特沃斯濾波器、二項式係數濾波器、或者維納濾波器。
  12. 如申請專利範圍第10項所述之目標跟蹤裝置，其中所述作用於時變系統之上的濾波器為卡爾曼濾波器，使所述卡爾曼濾波器進行初始化包括：初始化計數器、延遲量補償的係數矩陣、感測器的採樣間隔、系統狀態量的後驗估計、系統狀態轉移係數矩陣、系統狀態雜訊增益矩陣、系統狀態雜訊協方差矩陣、測量係數矩陣、測量雜訊協方差矩陣、系統狀態後驗估計的誤差協方差矩陣。
  13. 如申請專利範圍第12項所述之目標跟蹤裝置，其中所述更新和補償單元還包括：強跟蹤濾波器，與所述卡爾曼濾波器一起對系統狀態進行更新並且對被跟蹤目標的當前位置座標進行延遲補償。
  14. 如申請專利範圍第13項所述之目標跟蹤裝置，其中所述強跟蹤濾波器是帶多重次優漸消因子的強跟蹤濾波器。
  15. 如申請專利範圍第14項所述之目標跟蹤裝置，其中所述更新和補償單 元利用所述卡爾曼濾波器和所述強跟蹤濾波器對系統狀態進行更新包括以下處理：從所述目標跟蹤單元獲取所述被跟蹤目標的當前位置座標；利用所述當前位置座標，計算狀態預測方程對系統狀態量在採樣時刻的先驗估計_；利用所述先驗估計_，計算測量方程的殘差γ；利用所述殘差γ，計算所述強跟蹤濾波器的中間變數V；利用所述中間變數V，計算所述強跟蹤濾波器的中間變數N；利用所述中間變數N，計算所述強跟蹤濾波器的中間變數M；利用所述中間變數M，計算多重次優漸消因子的係數c；利用所述多重次優漸消因子的係數c，計算所述強跟蹤濾波器的多重次優漸消因子λi；利用所述強跟蹤濾波器的多重次優漸消因子λi，計算所述卡爾曼濾波器的系統狀態先驗估計的誤差協方差矩陣P_；利用所述系統狀態先驗估計的誤差協方差矩陣P_，計算所述卡爾曼濾波器的卡爾曼增益Kg；利用所述卡爾曼增益Kg，計算測量更新方程對系統狀態量在採樣時刻的後驗估計；以及利用所述後驗估計，計算所述卡爾曼濾波器的系統狀態後驗估計的誤差協方差矩陣P。
  16. 如申請專利範圍第15項所述之目標跟蹤裝置，其中所述更新和補償單 元利用所述卡爾曼濾波器和所述強跟蹤濾波器對所述被跟蹤目標的當前位置座標進行延遲補償包括：根據公式計算補償之後的被跟蹤目標的當前位置座標，其中，(xreal,yreal,zreal)是補償之後的被跟蹤目標的當前位置座標，(x,y,z)是卡爾曼濾波器的後驗估計中的位置座標(x,y,z)，∥(vx,vy,vz)∥是被跟蹤目標的速度值(vx,vy,vz)的2-範數，S是延遲量補償的係數矩陣，τ是所述補償判定閾值，τ>0。
  17. 如申請專利範圍第16項所述之目標跟蹤裝置，其中所述被跟蹤目標的當前位置座標是三維座標或二維座標。
  18. 一種3D顯示裝置，其特徵在於，包括：根據申請專利範圍第10項至第17項中任一項所述之目標跟蹤裝置，用於獲取補償後的被跟蹤目標的當前位置座標；控制模組，用於根據所述補償後的被跟蹤目標的當前位置座標控制排圖；顯示模組，用於顯示對應於所述排圖的圖像；以及分光器件，用於將所述顯示模組顯示的圖像分別發送到入的左眼與右眼，以顯示立體圖像。
  19. 如申請專利範圍第18項所述之3D顯示裝置，其中所述分光器件為液晶透鏡、液晶微透鏡、微透鏡陣列、或者狹縫光柵。
TW104126318A 2014-10-11 2015-08-12 目標跟蹤方法、跟蹤裝置和３ｄ顯示方法及顯示裝置 TWI591384B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410535884.0A CN104331902B (zh) 2014-10-11 2014-10-11 目标跟踪方法、跟踪装置和3d显示方法及显示装置

Publications (2)

Publication Number Publication Date
TW201614334A TW201614334A (en) 2016-04-16
TWI591384B true TWI591384B (zh) 2017-07-11

Family

ID=52406622

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104126318A TWI591384B (zh) 2014-10-11 2015-08-12 目標跟蹤方法、跟蹤裝置和３ｄ顯示方法及顯示裝置

Country Status (3)

Country Link
US (1) US9779511B2 (zh)
CN (1) CN104331902B (zh)
TW (1) TWI591384B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104597609A (zh) * 2015-02-06 2015-05-06 京东方科技集团股份有限公司 像素阵列、显示装置以及显示方法
US10248839B2 (en) * 2015-11-30 2019-04-02 Intel Corporation Locating objects within depth images
CN107801014B (zh) 2017-10-25 2019-11-08 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、装置及便携式终端
CN109961478A (zh) * 2017-12-25 2019-07-02 深圳超多维科技有限公司 一种裸眼立体显示方法、装置及设备
CN108600733B (zh) * 2018-05-04 2020-06-30 成都泰和万钟科技有限公司 一种基于人眼跟踪的裸眼3d显示方法
CN109088749B (zh) * 2018-07-23 2021-06-29 哈尔滨理工大学 一种随机通讯协议下复杂网络的状态估计方法
CN111222214A (zh) * 2018-11-08 2020-06-02 长春工业大学 一种改进的强跟踪滤波方法
CN110046368B (zh) * 2018-11-26 2023-06-13 北方工业大学 一种基于自适应ukf的仿生偏振传感器多源误差标定方法
CN109870821A (zh) * 2019-04-03 2019-06-11 冯煜 一种聚焦结构及实现裸眼3d显示的方法
CN112572462B (zh) 2019-09-30 2022-09-20 阿波罗智能技术(北京)有限公司 自动驾驶的控制方法、装置、电子设备及存储介质
WO2021163846A1 (zh) * 2020-02-17 2021-08-26 华为技术有限公司 目标跟踪方法以及目标跟踪装置
CN111639017B (zh) * 2020-05-29 2024-05-07 京东方科技集团股份有限公司 测量眼球追踪设备延迟量的方法、设备、眼球追踪系统
CN111739055B (zh) * 2020-06-10 2022-07-05 新疆大学 一种红外点状目标跟踪方法
CN113630106A (zh) * 2021-08-02 2021-11-09 杭州电子科技大学 基于强跟踪滤波的高阶扩展卡尔曼滤波器设计方法
CN115171384B (zh) * 2022-07-04 2024-05-14 南京四维智联科技有限公司 一种车载显示过程中关键车位置延迟补偿方法及装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6169966B1 (en) * 1996-12-27 2001-01-02 Kabushiki Kaisha Toshiba Apparatus for detecting a moving state of an object
US7000469B2 (en) * 2000-04-21 2006-02-21 Intersense, Inc. Motion-tracking
US9052386B2 (en) * 2002-02-06 2015-06-09 Nice Systems, Ltd Method and apparatus for video frame sequence-based object tracking
US20070092110A1 (en) * 2004-11-08 2007-04-26 Li-Qun Xu Object tracking within video images
KR101112735B1 (ko) * 2005-04-08 2012-03-13 삼성전자주식회사 하이브리드 위치 추적 시스템을 이용한 입체 디스플레이장치
US7761233B2 (en) * 2006-06-30 2010-07-20 International Business Machines Corporation Apparatus and method for measuring the accurate position of moving objects in an indoor environment
DE102006041637B4 (de) 2006-09-05 2010-11-25 Seereal Technologies S.A. Wiedergabevorrichtung und Verfahren zum Nachführen eines Betrachterfensters
JP5230793B2 (ja) 2009-02-24 2013-07-10 三菱電機株式会社 人物追跡装置及び人物追跡プログラム
US9626769B2 (en) * 2009-09-04 2017-04-18 Stmicroelectronics International N.V. Digital video encoder system, method, and non-transitory computer-readable medium for tracking object regions
US20110304737A1 (en) * 2010-06-15 2011-12-15 Flir Systems, Inc. Gimbal positioning with target velocity compensation
AU2011253910B2 (en) * 2011-12-08 2015-02-26 Canon Kabushiki Kaisha Method, apparatus and system for tracking an object in a sequence of images
US9679215B2 (en) * 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
CN102721951B (zh) * 2012-05-04 2013-12-25 西安电子科技大学 一种高机动目标跟踪方法
CN102736636B (zh) * 2012-06-12 2014-12-10 中国科学院光电技术研究所 跟踪系统中基于角度信息的前馈控制方法
CN103268403B (zh) * 2013-04-25 2016-05-18 杭州电子科技大学 一种基于容积强跟踪信息滤波器的目标跟踪方法
AU2013273831B2 (en) * 2013-12-23 2016-02-25 Canon Kabushiki Kaisha A method for improving tracking using dynamic background compensation with centroid compensation
US10181193B2 (en) * 2014-03-10 2019-01-15 Microsoft Technology Licensing, Llc Latency reduction in camera-projection systems

Also Published As

Publication number Publication date
TW201614334A (en) 2016-04-16
US20160105667A1 (en) 2016-04-14
CN104331902A (zh) 2015-02-04
CN104331902B (zh) 2018-10-16
US9779511B2 (en) 2017-10-03

Similar Documents

Publication Publication Date Title
TWI591384B (zh) 目標跟蹤方法、跟蹤裝置和３ｄ顯示方法及顯示裝置
Zhu et al. Realtime time synchronized event-based stereo
US10260862B2 (en) Pose estimation using sensors
CN106803271B (zh) 一种视觉导航无人机的摄像机标定方法及装置
CN107545302B (zh) 一种人眼左右眼图像联合的视线方向计算方法
Qiu et al. Real-time temporal and rotational calibration of heterogeneous sensors using motion correlation analysis
KR101278430B1 (ko) 실시간으로 몇몇 사람들의 눈을 인식하고 추적하기 위한 방법 및 회로 장치
KR20190098003A (ko) 장치의 자세 추정 방법 및 그 장치
JP2015513662A5 (zh)
JP6583734B2 (ja) 角膜反射位置推定システム、角膜反射位置推定方法、角膜反射位置推定プログラム、瞳孔検出システム、瞳孔検出方法、瞳孔検出プログラム、視線検出システム、視線検出方法、視線検出プログラム、顔姿勢検出システム、顔姿勢検出方法、および顔姿勢検出プログラム
CN110310304B (zh) 单目视觉建图和定位方法、装置、存储介质及移动设备
CN101776486A (zh) 一种基于红外焦平面非均匀性指纹模式的校正方法
CN108090921A (zh) 单目视觉和imu融合的自适应室内定位方法
WO2015062149A1 (zh) 运动感知的双目立体视频舒适度获取方法
Spaenlehauer et al. A loosely-coupled approach for metric scale estimation in monocular vision-inertial systems
US9538166B2 (en) Apparatus and method for measuring depth of the three-dimensional image
CN111325736A (zh) 一种基于人眼差分图像的视线角度估计方法
CN110969706A (zh) 增强现实设备及其图像处理方法、系统以及存储介质
JP2022132063A (ja) 拡張現実提供装置のポーズ決定方法及び装置
JPWO2013179905A1 (ja) 医療用３次元観察装置
Lefloch et al. Real-time motion artifacts compensation of tof sensors data on gpu
EP3021287A1 (en) Method for transmitting and receiving stereo information about a viewed space
Šilar et al. Comparison of two optical flow estimation methods using Matlab
Li et al. Blur robust optical flow using motion channel
US10573015B2 (en) Measuring device and operating method of measuring device

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees