TWI512683B - 基於模型之遊戲場對齊技術 - Google Patents

基於模型之遊戲場對齊技術 Download PDF

Info

Publication number
TWI512683B
TWI512683B TW099142781A TW99142781A TWI512683B TW I512683 B TWI512683 B TW I512683B TW 099142781 A TW099142781 A TW 099142781A TW 99142781 A TW99142781 A TW 99142781A TW I512683 B TWI512683 B TW I512683B
Authority
TW
Taiwan
Prior art keywords
video image
key point
estimation
field
intersection
Prior art date
Application number
TW099142781A
Other languages
English (en)
Other versions
TW201142750A (en
Inventor
Xiaofeng Tong
Wenlong Li
Yimin Zhang
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of TW201142750A publication Critical patent/TW201142750A/zh
Application granted granted Critical
Publication of TWI512683B publication Critical patent/TWI512683B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

基於模型之遊戲場對齊技術 發明領域
本領域大致上係有關於運算科學，及更明確言之，係有關視訊影像處理。
 發明背景
視訊序列常見影像對齊問題。典型地，影像對齊常用於影像處理來匹配於不同時間來自不同感測器或來自不同觀看點之二或多視訊序列。但儘管於本影像對齊領域略有進展但仍有影像失真。此等失真包括未對齊(例如影像未對準)。除了無法去除此等常見失真之外，此等影像對齊演算法則耗用大量搜尋空間而只達成少數對齊。又，使用習知影像對齊演算法則執行搜尋並不穩定。
依據本發明之一實施例，係特地提出一種方法，其包含下列步驟：處理一輸入視訊影像，其中該處理之步驟包括擷取與該視訊影像相關之關鍵點，檢測是否擷取與該視訊影像相關之足夠關鍵點，若已擷取足夠關鍵點則執行該視訊影像之直接估算，及基於該直接估算而產生一最終視訊影像之單應變換(homograph)矩陣。
圖式簡單說明
本發明之實施例係於附圖之各幅圖式舉例說明但非限制性，其中類似的元件符號指示類似的元件及附圖中：第1圖顯示一種執行場對齊之方法；第2圖顯示具有一實際點及一虛擬點之場模型之單應變換矩陣之一實施例；第3圖顯示場模型與螢幕影像間之單應變換對映及進一步，螢幕影像間之移動變換之一實施例；第4圖顯示霍夫(Hough)線檢測及交叉點擷取之一實施例；第5A-5G圖顯示運動視訊的基於模型之遊戲場對齊之一實施例；第6圖顯示一種基於增強之互動分布式粒子過濾，用於多物件追蹤處理程序之一實施例；第7圖顯示一種增強之互動分布式粒子過濾之一實施例；第8圖顯示具有彼此互動而形成一群組(例如群組G )之物件；第9圖例示說明當本發明之實施例係在解析度720x576及960x544的二視訊短片實施時，該實施之追蹤結果之一實施例；第10圖例示說明本發明之實施例實施時追蹤結果之另一實施例；及第11圖例示說明本發明之實施例實施為具有軟體與硬體組件之混成體之一種運算系統之一實施例。
 較佳實施例之詳細說明
於一個實施例，揭示一種場對齊技術用以找出螢幕影像與場模型間之幾何形狀對應關係及然後，將該遊戲場自螢幕影像對映至該標準場模型。一般而言，運動及特別足球用於本案全文單純用作為實例以求簡明清晰。預期本案揭示之實施例可應用至任何視訊影像而與其內容無關。繼續以運動實例作說明，運動視訊的關鍵組件為球及球員的移動軌跡對應至場模型。執行此種對映時，各名球員於場座標系的相對位置可得自該對齊場。此等相對位置包括球員的移動方向、約略速度、及活動。此等提示可於視覺運算領域及電腦繪圖領域，協助基於隊伍排隊及戰術分析、基於活動之視野獲取、視訊內容豐富及編輯、互動式及身歷其境式遊戲、增強現實等。
於一個實施例，提供一種基於相關場對齊硬體組件之新穎場對齊演算法則來提供有效且實用的視訊影像之場對齊。本新穎辦法首先進行視野類型分類，及然後應用霍夫變換來檢測場線條標記及其對應交叉點。此等交叉點係取作為場對齊的關鍵點。當有足夠關鍵點(例如大於或等於4個關鍵點)時，進行搜尋最佳對映的直接匹配。為了有效搜尋，藉距離變換產生的距離對映係用來計算匹配誤差。此外，為了加速搜尋，探討數種快速剔除標準且用來加速處理程序。當關鍵點數目不足時(例如少於4個關鍵點)，可能無法直接獲得單應變換矩陣；反而係藉由估算連續圖框間的總體移動，及組合目前移動變換與任何先前場模型對映矩陣推定目前單應變換對映矩陣間接獲得。此項技術及其效果及實用性係進一步說明於先前各段。
此種新穎且實用的場對齊技術可用於具有及不具有足量關鍵點之任何類型與任何數目的視訊影像。此項進階且合理的解決之道簡化執行場對齊工作的困難度。場對齊技術採用距離變換來測量匹配誤差，允許誤差為連續且使得搜尋更為穩定；又，創造數種快速剔除標準來縮小搜尋空間與加速處理程序。
第1圖顯示一種用以執行場對齊之處理程序。於處理方塊102，透過實體介面接收視訊輸入信號，該實體介面係連結至一具有運算系統包括處理器的視訊裝置諸如攝影機。於處理方塊104，執行所接收的視訊之前置處理。前置處理包括於處理方塊106之主色學習及視野類型分類。視訊中的主色係藉累積色調飽和值(HSV)色彩直方圖-其係與遊戲場的青草顏色相對應來執行。如前述，再度須注意運動(及特別為足球)僅祇為了簡明清晰而使用的實例，本發明之實施例並非囿限於運動視訊。舉例言之，替代遊戲場的青草顏色(如此處使用)，該色彩可為政治辯論期間美國國會的地板色彩，或群眾大會期間的綠草顏色，或肥皂劇或電影裡客廳的色彩。然後，使用主色分節及形態過濾連同連結組件分析來擷取遊戲場。隨後各視野分類成下列四型視野中之一者：(1)全面視野；(2)中視野；(3)特寫視野；及(4)從視野裡消失，同時，全面視野可饋至場對齊模組用於進一步計算。
於處理方塊108，執行霍夫線條檢測及交叉關鍵點擷取。經由擷取遊戲場區及然後，保留不符合遊戲場內部主色的任何像素且使其成為二階(二元)影像而執行霍夫變換來檢測線記號。隨後，應用霍夫變換至該二元影像來檢測水平及垂直線記號，然後獲得其交叉關鍵點。又，檢測及使用實際及虛擬交叉點二者。如此例示說明於第4圖。
於決定方塊110，判定是否有足夠關鍵點。若有足夠關鍵點，則在處理方塊112執行新穎直接對映估算。此項新穎直接對映估算係在處理方塊114透過匹配假說的產生執行，接著為處理方塊116的假說評估及最佳對應關係搜尋。若無足夠關鍵點，則在處理方塊118執行間接對映估算。間接對映估算包括於處理方塊120之關鍵點檢測、過濾及總體移動估算；接著為於處理方塊122進行目前對映處理。於任一種情況下(亦即直接或間接對映估算)，繼續進行處理來產生單應變換矩陣(Ht)124。
如前述，當螢幕影像與場模型間有足夠點時(諸如多於4個對應點；隨後，至少二水平線與二垂直線間交叉)，處理方塊112執行間接估算來估算該單應變換矩陣。此直接估算包括判定哪些成對的點彼此相對應及與場模型相對應，及列舉出此等可能情況，及執行透過誤差評估搜尋最佳者。於一個實施例，場模型係指執行此等實施例之視訊影像的任何背景或現場。但繼續足球主題，如國際足球協會聯合會(FIFA)定義，標準運動足球場用於本實施例作為場模型。於一個實施例，實際交叉點(諸如兩條實線諸如水平線及垂直線的交叉點)及任何虛擬交叉點(諸如一條實線與一條延長實線的交叉點，或兩條延長實線的交叉點)二者用於場模型。此等虛擬交叉點也是場模型的關鍵點且可用來校準視訊裝置(例如攝影機)。
又，有關對映假說的產生，為了簡化對映程序，線記號係用來導引任何交叉關鍵點的對應關係。Lh 係指水平線數目，而Lv 係指垂直線數目(例如Lh =10水平線，而Lv =7垂直線)。設有m水平線(Lh =m)及n垂直線(Lv =n)，則有為組合運算，可能的例如4成對點對應關係的組合及4成對點對應關係之可能的組合。各項組合可稱作為一假設，反映出檢測得之影像線與場模型線記號間可能的對應關係。
對各項假設評估，自真實世界座標系至影像平面獲得對映矩陣H。為了評估各項假說之信賴度，場模型係對映至影像平面，及求出對映的影像與原先影像間距。基於檢測線，使用距離變換技術來獲得距離對映而測定任何誤差。
若距離對映係等於「D」，則誤差為。此處N為非零像素總數，及τ為限制最大誤差之一常數。誤差及對映可彼此成反比，例如誤差愈小則對映愈佳。最佳假說係用作為最終匹配。
因搜尋空間巨大，故就運算能力要求而言假說評估需要大量運算能力。於一個實施例，為了縮小搜尋空間，使用下列標準中之一者或多者來快速剔除某些假說：(1)基於檢測得之線(特別為垂直線)角度，可估算場邊長(例如左、右或中邊長)。舉例言之，若踢球位置係在左場側，則場模型欲匹配之線不在右側。同理，反之亦然，右側係相同處理。若干假設使用此項標準過濾掉；(2)若場模型與一給定影像間已經匹配二或多條水平線或二或多條垂直線，則估算場模型大小。又，若估算得之大小係與標準場模型迥異，則可剔除此一假說而使用有不同標準的另一假說；及(3)另一項快速剔除係評估單應變換矩陣本身。單應變換矩陣具有若干(例如8)自由度，但實際影像形成處理程序可能有不同數目之參數(例如7)，諸如攝影機位置3參數，攝影機旋轉3參數，及焦深1參數。剩餘自由度包括β(非各向同性縮放)，其係指水平方向及垂直方向的不等縮放(換言之，典型地於真實世界的「1」)。此一值可基於攝影機校準理論獲得。又，對非完美準確及其計算為數值敏感的該等估算得之攝影機參數而言，設定0.5<β<2之參數接受範圍。
如前述，當於目前圖框並無足夠關鍵點(例如少於4)時，於處理方塊118執行間接對映估算，於處理方塊124，藉由執行自前一圖框至目前圖框的攝影機平移移動來導算出目前單應變換對映矩陣。於一個實施例，此間接對映估算程序包括特徵點檢測、二連續影像間之點匹配、透過隨機抽樣一致性(RANSAC)之過濾成對點，及使用最小平方估算之總體移動計算中之一者或多者。第一處理包括檢測關鍵點，其中可使用角隅點、哈利斯(Harris)點、加速強勁特徵(SURF)等。又復，尺度不變性特徵變換(SIFT)特性可用來決定關鍵點特性。
於分別檢測前一圖框與目前圖框的關鍵點後，設定前一圖框與目前圖框間之對應關係。對前一圖框的各點，算出自前一圖框各點至目前圖框各點之距離，及取其最接近的點或最短距離作為其對應關係。關鍵點對應關係之一集合也包括若干資料異常值，諸如雜訊匹配或錯誤匹配。於該種情況下，應用RANSAC演算法則來過濾出此等異常值。RANSAC演算法則係指在資料異常值存在下且當處理資料異常值時用以強勁匹配場模型之一演算法則。然後，使用最小平方估算，在具有保留一致點對應關係之透視模型下運算總體移動參數。舉例言之，若時間t之單應變換對映矩陣為Ht ，及自時間t-1至t之移動變換矩陣為Mt-1 。一旦此等數值為已知，則可使用下式：Ht =Mt-1 *Ht-1 ，獲得單應變換對映矩陣。
第2圖例示說明具有一實際點202及一虛擬點204之場模型之單應變換矩陣200之一實施例。於一個實施例，有齊次(homogenous)座標之3-D點標示為P =[X,Y,Z,1]’，而平面上的3D點之Z組分為零，故標示為P =[X,Y,1]’。視網膜上的2-D點為p=[x,y,1]’。至於針孔攝影機，真實世界座標系之3-D點P及其對應2-D影像點p具有如下關係式：p=H*P，此處H為以內在參數及外在參數而參數化之3x3矩陣。稱作真實世界之平面及螢幕影像間之單應變換矩陣。
又，矩陣H係定義具有數個(例如8個)獨立參數之一尺規因數。為了決定例如8個參數值，使用影像位置與場模型位置間的至少四對點對應關係。因場通常不具明顯點特徵，使用遊戲場內部之線交叉來估算點對應關係。實線與實線延長(例如虛擬線)交叉的任何實際交叉點202及虛擬交叉點204被視為關鍵點，二者皆可用來校準攝影機。
第3圖例示說明場模型302與螢幕影像304-308間之單應變換對映310-314及又，螢幕影像304-308間之移動變換316-318之一實施例。繼續足球實例，若攝影機聚焦在靠近球門區，則容易找到多於四對之對應點。但對靠近中場區或影像模糊不清(例如因攝影機的快速移動)，則可能略為難以檢測線，原因在於可能沒有足夠可用的關鍵點。為了解決此項問題，於一個實施例，總體移動變換及前一圖框的單應變換矩陣係用來約略推論目前單應變換矩陣310-314。場模型302與螢幕影像304-308間之單應變換矩陣310-314(如箭頭310-314指示)以及連續螢幕影像304-308間之移動變換316-318(如箭頭316-318指示)例示說明於此處。
假設總體移動模型為透視模型，其變換也是3x3矩陣，則自其前一圖框It-1 及總體移動變換Mt-1 而估算目前圖框(第5A-5G圖)可使用下式加以格式化：It =Ht *F(式1)。標示場模型為F，自場模型至影像之對映為：It-1 =Ht-1 *F(式2)及It =Mt-1 *It-1 (式3)。將式2代入式1，獲得下式：It-1 =Mt-1 *Ht-1 *F(式4)。現在比較式1與式4，結果導致下式：Ht =Mt-1 *Ht-1 =Mt-1 *Mt-2 *Ht-2 =...=Mt-1 ...Mt-k *Ht-k 。
第4圖例示說明霍夫線模測及交叉點擷取400之一實施例。於一個實施例，使用霍夫變換來檢測線記號。首先，擷取一遊戲場區402及然後，與主色不一致的像素保留在遊戲場內部402且形成為二階影像404。然後，對二元影像進行霍夫變換檢測任何水平及垂直線記號406。最後，獲得水平線與垂直線之交叉點，且檢測及使用實際及虛擬交叉點二者408。
第5A-5G圖例示說明於運動視訊500，基於模型之遊戲場對齊之一實施例。欄位包括圖框號碼501、原先螢幕影像502、霍夫線檢測結果504(具有垂直線及水平線)、場模型對映至實際影像之結果506、及場對齊結果508。提供於MPEG2格式(例如720x576圖框大小及25框/秒)之視訊短片時執行場對齊之結果。
灰色區為攝影機聚焦區。於所列舉之圖框中：第5A-5B圖，圖框2-26為場模型的左場；第5C-5E圖，圖框120-180為場模型的左中場；及第5F-5G圖，圖框1200-1250為場模型的右場。圖框2、26、120、180、1200及1250之結果係藉直接估算得知，而圖框130之結果係藉間接估算獲得。又，如圖所示，霍夫線影像為遺漏形式圖框130，原因在於影像540弄髒或散焦而所得關鍵點數目不足。
第6圖顯示一種基於增強之互動分布式粒子過濾，用於多物件追蹤處理程序之一實施例。於處理方塊602接收輸入視訊信號。輸入的視訊信號可透過視訊/匯流排介面自一個視訊裝置至另一視訊裝置接收，各裝置具有軟體應用程式，或在同一視訊裝置(例如具有處理器/CPU之攝影機)內部接收。於處理方塊604，執行輸入視訊之背景模型化及前景擷取。於一個實施例，於處理方塊606，增強之物件檢測608及互動分布式粒子過濾610整合而執行強勁有效的多物件追蹤。為了達成此項目的，提供增強之互動分布式粒子過濾(BIDPF)軟體及硬體來解決多項應用(例如球員追蹤應用，諸如足球員追蹤應用)之自動多物件追蹤(MOT)問題。於處理方塊612，獲得且提供影像之物件追蹤資訊(例如位置及數目)。再度，足球在此處僅作為一實例以求簡明，意圖本發明之實施例可用於任何應用而非限於運動或運動應用。
於一個實施例，處理方塊610，採用互動分布式粒子過濾(IDPF)來處理各個目標間的交互嚙合。所提示之分布導入IDPF框架，該分布使用結合自動態模型及增強檢測所得資訊之混合模型。於處理方塊608，所提示之增強分布允許快速檢測目標，而IDPF處理允許於交互嚙合期間保有此等目標之身分。於運動視訊，於處理方塊604，藉由使用一給定遊戲場之自動學習彩色模型來加速增強檢測及減少假警報二者而擷取前景。前景也用來發展一資料驅動可能模型而改良IDPF效能。對若干視訊序列執行此一新穎辦法之部分結果，已經驗證追蹤可變數目之物件及於具有攝影機移動及交互嚙合(如先前各圖所示)之動態景觀維持其身分。
第7圖顯示一種增強之互動分布式粒子過濾之一實施例。該場之彩色模型係藉由累積HSV色彩直方圖學習。然後該場係透過主色臨界值控制、形態過濾、及連結組件分析而擷取702。場的前景係藉由使用主色模型過濾場色彩獲得704。然後，增強檢測器掃描通過多重尺規的前景影像706。此項處理加快檢測速度而減少任何假警報。又，為了處理目標間的互動，採用互動分布式辦法；於此種辦法，各個物件之條件式密度傳播係在分布式體系中，將觀察得各物件間的互動模型化而獲得公式。於粒子過濾實施態樣，任何嚙合問題可藉調整各粒子權值予以解決。
於一個實施例，目標i在時間t之狀態及對應觀察係標示為x i t 及y i t 。直至時間t之狀態設定為x i 0: t ，此處x 0 為初態，及直至時間t 之觀察設定為y i 0:t 。於時間t，y i t 之互動觀察標示以，此處Jt 元件為其觀察得與y i t 互動的物件之指數。追蹤目的係基於全部觀察估算後驗。當yi 與其它物件無互動時，，此一公式係符合常規粒子過濾辦法。使用條件式獨立性質，各個互動追蹤器之密度傳播公式化如下：，此處為當地機率，為狀態變遷密度，其係類似貝葉斯(Bayesian)追蹤辦法。方程式已知為互動機率，其特徵化各目標間之互動。於無任何目標間之整合存在下，此一公式分解成多個貝葉斯追蹤器。
於粒子過濾實施態樣，後驗概率係以一加權樣本集合特徵化，此處(此處N為樣本數)。依據重要性抽樣理論，權值更新為：
第8圖例示說明具有彼此互動而形成一群組(例如群組G )之物件802-806。基於前景觀察來估算互動機率而調整粒子的權值而提出資料驅動的可能模型。又，G 係標示為藉互動物件所形成之影像群組，F G 802作為影像前景，及S G 804作為於G 的全部球員之影像區聯合，p 11 為球員區之像素屬於前景之概率，及p 10 為球員區之像素不屬於前景之概率，及p 01 為球員以外之像素係在前景之概率，及p 00 為球員以外之像素係在背景之概率，此處p 11 +p 10 =1，p 11 >p 10 ，p 01 +p 00 =1，及p 01 <p 00 。
假設像素為獨立，獲得如下機率：
，此處CG為標準化常數，其中λ10 及λ01 分別為取決於p 10 及p 01 的兩個係數，及∩為二區之交叉。機率係取決於N10 及N01 。如806例示說明，矩形808外側的白像素形成N10 ，而矩形810內側的黑像素形成N01 。藉由探討所提示之可能模型，互動機率減低物件的估值無法良好地解譯觀察值的概率；因此，可分開嚙合的觀察值，如此解決合併之問題。
為了解決標籤標示問題，於一個實施例，狀態變遷概率係藉下式估算：，此處為傳統狀態變遷密度，及可經由使用恆定加速模型估算。又復，慣性權重(.)係定義為：，此處σθ 、σv 為先前常數，其分別係特徵化移動向量之方向及速度的容許方差。為第i個物件之第n粒子之移動向量；表示自至之參考移動向量。為與間之夾角。∥‧∥表示L2 常模。
維持粒子過濾有效之問題係如何設計所提示之分布。於一個實施例，高斯模型之混合物組合動態先驗及增強檢測二者：。參數σq 係藉增強檢測與動態先驗之高斯分布間的重疊動態更新。最近鄰近(Nearest Neighbor)演算法則係用於將增強檢測分派予既有軌跡的資料關連。
有關當地機率p ()，目標觀察值係以擷取自取中在位置x i t 的區R (x i t ) 之色彩分布核心密度估算表示。巴特查亞(Bhattacharyya)係數應用來評估目前觀察值K(xt )與參考模型間之相似性
。又，為了編碼觀察值之空間資訊，採用多部分式彩色模型，該模型將一物件垂直割裂成兩部分。如此目標I之當地機率定義為：
第9圖例示說明當本發明之實施例係在解析度720x576及960x544的二視訊短片實施時，該實施之追蹤結果之一實施例。列902-906之例示說明特別聚焦在進入視野內之一位新球員。於一個實施例，新進入的球員快速經檢測且強勁地追蹤，即便有相對重度嚙合亦如此。如圖所示，列904顯示列902中第一影像標示為橢圓區之特寫視圖。於一項技術，若球員與其它球員無互動，則各名球員周圍方框之色彩(例如追蹤器)908-912可為獨特。否則追蹤器色彩可改成黑色。嚙合期間仍然維持正確身分，此乃粒子透過互動機率而自所提示之權值調整方案所得的效果。列904顯示當追蹤器太靠近時合併在一起(諸如自三個追蹤器914-918變成兩個追蹤器914-916等)。又復，若單一追蹤器分裂成兩個追蹤器，使得嚙合後同一目標的標示變不同，則可形成新的軌跡。
第10圖例示說明實施本發明之實施例時追蹤結果之另一實施例。於一個實施例，列1002-1008例示說明球員之追蹤結果。各名球員1010-1019係使用對應的追蹤器1020-1029個別追蹤，及如圖所示，各名球員1010-1019係個別追蹤及其身分仍正確地維持而與任何部分或完全嚙合無關。
第11圖例示說明本發明之實施例實施為具有軟體與硬體組件之混成體之一種運算系統1100之一實施例。實施例之某些功能係於硬體實施，而若干其它功能係於軟體實施。如圖所示，CPU晶片1102係設計來用於視訊共處理器1110工作。視訊共處理器1110可為具有其它處理單元，諸如繪圖處理單元(GPU)之視訊裝置(例如視訊攝影機)之一部分。於一個實施例，視訊共處理器1110採用任何數目之新穎軟體邏輯電路及硬體邏輯電路1100來與習知軟體及硬體邏輯電路工作而執行與任何習知運算協調之本發明之實施例。
隨機存取記憶體(RAM)1106包含具有物件資訊之應用資料庫。記憶體控制器1104存取RAM 1106之資料及前傳至CPU 1102及/或視訊共處理器1110用以處理。RAM 1106可包括雙倍資料率RAM(DDR RAM)、延伸資料輸出RAM(EDO RAM)等。任何資料(例如視訊影像或其它欲處理的輸入資料)皆可儲存於記憶體1108，及後來，任何所得資料(例如最終視訊影像及任何相關資訊)1212移轉至顯示器裝置1112。另外，視訊控制器可位在CPU 1102之相同晶粒上且可採用共享快取記憶體及記憶體控制器。顯示器1112可為各種類型，諸如陰極射線管(CRT)、薄膜電晶體(TFT)、液晶顯示器(LCD)、DPL等。
於一個實施例，如前文敘述之繪圖管線之某些處理程序係於軟體實作，而其餘處理程序係於硬體實作。記憶體208可包含緩衝器之一前置部署區；但熟諳技藝人士瞭解本發明並非囿限於此，可使用儲存低階繪圖管線之任一種記憶體。電腦系統1100進一步包括輸入/輸出(I/O)控制中樞器(ICH)、一或多個I/O裝置等。
CPU 1102可包括一或多個處理器來執行指令而進行運算系統所實施的任何軟體常式。指令經常涉及某些於資料上執行的運算。資料及指令二者係儲存於系統記憶體1108及任何相關快取記憶體。快取記憶體典型地係設計而具有比系統記憶體1108更短的潛在延遲時間；舉例言之，快取記憶體可整合至處理器的同一個矽晶片上及/或組成為較快速靜態RAM(SRAM)單元，而系統記憶體1108可組成為較慢速動態RAM(DRAM)單元。與系統記憶體1108相反，經由意圖儲存較常用的指令及資料於快取記憶體，運算系統1100的總體效能效率改良。
系統記憶體1108蓄意地為運算系統1100內部的其它組件可利用。例如，接收自運算系統1100之各個介面(例如鍵盤及滑鼠、印表機埠、區域網路(LAN)埠、數據機埠等)或取得自運算系統1100之內部儲存元件(例如硬碟機)之資料(例如輸入繪圖資料)在其於軟體程式的實作藉一或多個處理器處理前，經常係暫時地佇列在系統記憶體1108。同理，軟體程式判定須自運算系統1100，透過運算系統介面中之一者送至外部實體或儲存於內部儲存元件之資料在其被發送或被儲存前，經常係暫時地佇列在系統記憶體1108。
ICH可用來確保此等資料係妥善通過系統記憶體1108與其適當對應運算系統介面(及內部儲存裝置，若運算系統係如此設計)間，及介於其本身與觀察得之I/O裝置間可具有雙向點對點鏈接。記憶體控制器1104可用來管理對系統記憶體1108競爭存取CPU 1102、介面裝置、及內部儲存元件之請求，該等請求在時間上相對於彼此可能接近。
一或多個I/O裝置也可實施用來移轉資料至及/或來自運算系統1100(例如網路配接器)；或用於運算系統1100內部之大容量非依電性儲存裝置(例如硬碟機)。
本發明之各個實施例部分可提供作為電腦程式產品，其可包括有電腦程式指令儲存其上之電腦可讀取媒體，其可用來依據本發明之一實施例規劃電腦(或其它電子裝置)來執行處理程序。機器可讀取媒體包括但非限於軟碟、光碟、光碟唯讀記憶體(CD-ROM)，及磁光碟、ROM、RAM、可抹除可規劃唯讀記憶體(EPROM)、電性EPROM(EEPROM)、磁卡或光卡、快閃記憶體，或適合用於儲存電子指令之其它類型媒體/機器可讀取媒體。
於前文說明書已經參考特定具體實施例說明本發明。但顯然可未悖離如隨附之申請專利範圍陳述之本發明之廣義精髓及範圍做出多種修正及改變。如此，說明書及附圖須視為說明性而非限制性意義。
102-124、602-612．．．處理方塊
110．．．決定方塊
200．．．單應變換矩陣
202．．．實際區段間點、實際點
204．．．虛擬區段間點、虛擬點
300．．．實施例
302．．．場模型
304~308、510-576、702~706、728~744．．．螢幕影像
310~314．．．單應變換對映矩陣、單應變換對映
316、318．．．移動變換
400．．．霍夫線模測及交叉點擷取之實施例
402．．．擷取遊戲場區
404．．．變成二階影像
406．．．霍夫變換檢測線記號
408．．．獲得水平線與垂直線之交叉點
500．．．於運算視訊之基於模型之遊戲場對齊之一實施例
501．．．圖框號碼
502．．．原先螢幕影像
504．．．霍夫線檢測結果
506．．．對映場模型至實際影像結果
508．．．場對齊結果
800．．．群組
802、804、806．．．物件
808、810．．．部分
902-906、1002-1008．．．列
1010-1019．．．球員
908-912．．．周圍方框色彩
914-918、1020-1029．．．追蹤器
1100．．．運算系統、硬體邏輯電路
1102．．．中央處理單元、CPU晶片、CPU
1104．．．記憶體控制器
1106．．．RAM、隨機存取記憶體
1108．．．記憶體、系統記憶體
1110．．．繪圖共處理器、視訊共處理器
1112．．．顯示器裝置
1114．．．硬體繪圖管線
1212．．．資料
第1圖顯示一種執行場對齊之方法；
第2圖顯示具有一實際點及一虛擬點之場模型之單應變換矩陣之一實施例；
第3圖顯示場模型與螢幕影像間之單應變換對映及進一步，螢幕影像間之移動變換之一實施例；
第4圖顯示霍夫(Hough)線檢測及交叉點擷取之一實施例；
第5A-5G圖顯示運動視訊的基於模型之遊戲場對齊之一實施例；
第6圖顯示一種基於增強之互動分布式粒子過濾，用於多物件追蹤處理程序之一實施例；
第7圖顯示一種增強之互動分布式粒子過濾之一實施例；
第8圖顯示具有彼此互動而形成一群組(例如群組G )之物件；
第9圖例示說明當本發明之實施例係在解析度720x576及960x544的二視訊短片實施時，該實施之追蹤結果之一實施例；
第10圖例示說明本發明之實施例實施時追蹤結果之另一實施例；及
第11圖例示說明本發明之實施例實施為具有軟體與硬體組件之混成體之一種運算系統之一實施例。
102-124．．．處理方塊
110．．．決定方塊

Claims (16)

  1. 一種用於視訊影像之方法，其包含下列步驟：處理一輸入視訊影像，其中該處理之步驟包括擷取與該視訊影像相關之關鍵點；檢測是否擷取與該視訊影像相關之足夠關鍵點，其中該檢測包括搜尋最佳對映，其中該搜尋包括藉使用由一距離變換產生的一距離對映來計算一匹配誤差，及進一步包括下列中之一者(1)檢測線或一場位置之角度之匹配、(2)一場模型之大小、及(3)將一攝影機參數對一預定範圍之比較；若已擷取足夠關鍵點則執行該視訊影像之直接估算；及基於該直接估算而產生一最終視訊影像之單應變換(homograph)矩陣。
  2. 如申請專利範圍第1項之方法，其中該直接估算包含藉由檢測及評估與穿過至少二垂直點的至少二水平線相關之關鍵點，來產生對映假說，其中該關鍵點包括實際交叉點。
  3. 如申請專利範圍第2項之方法，其中該關鍵點更包含虛擬交叉點，該虛擬交叉點包括在該場模型中之一條實線與一條延長實線的交叉點，或兩條延長實線的交叉點，其中該場模型包括一視訊影像之一背景或一現場。
  4. 如申請專利範圍第1項之方法，其進一步包含若尚未擷取足夠關鍵點則執行該視訊影像之間接估算，其中該間 接估算包括特徵點檢測、二連續影像間之點匹配、透過隨機抽樣一致性(RANSAC)之成對點過濾，及使用最小平方估算之總體移動計算之至少一者，其中成對點過濾包括過濾出含有錯誤匹配之資料異常值，其中該RANSAC包括用以匹配場模型之一演算法而過濾出該等資料異常值之一或多者。
  5. 如申請專利範圍第1項之方法，其進一步包含前置處理該視訊影像，其中該前置處理包括執行該視訊影像之視野類型分類。
  6. 如申請專利範圍第1項之方法，其進一步包含於一顯示器裝置上顯示該最終視訊影像。
  7. 一種具有一儲存媒體及耦接該儲存媒體之一處理器之資料處理系統，該處理器係用以：處理一輸入視訊影像，其中該處理之動作包括擷取與該視訊影像相關之關鍵點；檢測是否擷取與該視訊影像相關之足夠關鍵點，其中該檢測包括搜尋最佳對映，其中該搜尋包括藉使用由一距離變換產生的一距離對映來計算一匹配誤差，及進一步包括下列中之一者(1)檢測線或一場位置之角度之匹配、(2)一場模型之大小、及(3)將一攝影機參數對一預定範圍之比較；若已擷取足夠關鍵點則執行該視訊影像之直接估算；及基於該直接估算而產生一最終視訊影像之單應變 換矩陣。
  8. 如申請專利範圍第7項之資料處理系統，其中該直接估算包含藉由檢測及評估與穿過至少二垂直點的至少二水平線相關之關鍵點，來產生對映假說，其中該關鍵點包括實際交叉點。
  9. 如申請專利範圍第8項之資料處理系統，其中該關鍵點更包含虛擬交叉點，該虛擬交叉點包括在該場模型中之一條實線與一條延長實線的交叉點，或兩條延長實線的交叉點，其中該場模型包括一視訊影像之一背景或一現場。
  10. 如申請專利範圍第7項之資料處理系統，其中該處理器進一步係用以若尚未擷取足夠關鍵點則執行該視訊影像之間接估算，其中該間接估算包括特徵點檢測、二連續影像間之點匹配、透過隨機抽樣一致性(RANSAC)之成對點過濾，及使用最小平方估算之總體移動計算之至少一者，其中成對點過濾包括過濾出含有錯誤匹配之資料異常值，其中該RANSAC包括用以匹配場模型之一演算法而過濾出該等資料異常值之一或多者。
  11. 如申請專利範圍第7項之資料處理系統，其中該處理器進一步係用以前置處理該視訊影像，其中該前置處理包括執行該視訊影像之視野類型分類，且其中該處理器進一步用以於一顯示器裝置顯示該最終視訊影像。
  12. 一種包含有指令之非暫時性機器可讀取媒體，該等指令於受執行時會造成一機器進行下列動作： 處理一輸入視訊影像，其中該處理之動作包括擷取與該視訊影像相關之關鍵點；檢測是否擷取與該視訊影像相關之足夠關鍵點，其中該檢測包括搜尋最佳對映，其中該搜尋包括藉使用由一距離變換產生的一距離對映來計算一匹配誤差，及進一步包括下列中之一者(1)檢測線或一場位置之角度之匹配、(2)一場模型之大小、及(3)將一攝影機參數對一預定範圍之比較；若已擷取足夠關鍵點則執行該視訊影像之直接估算；及基於該直接估算而產生一最終視訊影像之單應變換矩陣。
  13. 如申請專利範圍第12項之機器可讀取媒體，其中該直接估算包含藉由檢測及評估與穿過至少二垂直點的至少二水平線相關之關鍵點，來產生對映假說，其中該關鍵點包括實際交叉點。
  14. 申請專利範圍第12項之機器可讀取媒體，其中該關鍵點更包含虛擬交叉點，該虛擬交叉點包括在該場模型中之一條實線與一條延長實線的交叉點，或兩條延長實線的交叉點，其中該場模型包括一視訊影像之一背景或一現場。
  15. 如申請專利範圍第12項之機器可讀取媒體，其中該等指令於受執行時會進一步造成該機器進行下列動作：若尚未擷取足夠關鍵點則執行該視訊影像之間接估算，其中 該間接估算包括特徵點檢測、二連續影像間之點匹配、透過隨機抽樣一致性(RANSAC)之成對點過濾，及使用最小平方估算之總體移動計算之至少一者，其中成對點過濾包括過濾出含有錯誤匹配之資料異常值，其中該RANSAC包括用以匹配場模型之一演算法而過濾出一或多個該等資料異常值。
  16. 如申請專利範圍第12項之機器可讀取媒體，其中該等指令於受執行時會進一步造成該機器前置處理該視訊影像，其中該前置處理包括執行該視訊影像之視野類型分類，且其中該處理器進一步用以於一顯示器裝置顯示該最終視訊影像。
TW099142781A 2009-12-23 2010-12-08 基於模型之遊戲場對齊技術 TWI512683B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/646,807 US8553982B2 (en) 2009-12-23 2009-12-23 Model-based play field registration

Publications (2)

Publication Number Publication Date
TW201142750A TW201142750A (en) 2011-12-01
TWI512683B true TWI512683B (zh) 2015-12-11

Family

ID=43859766

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099142781A TWI512683B (zh) 2009-12-23 2010-12-08 基於模型之遊戲場對齊技術

Country Status (7)

Country Link
US (1) US8553982B2 (zh)
EP (1) EP2357611A3 (zh)
JP (1) JP5335762B2 (zh)
KR (1) KR101232509B1 (zh)
CN (1) CN102110293B (zh)
RU (1) RU2480832C2 (zh)
TW (1) TWI512683B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8718372B2 (en) 2011-10-19 2014-05-06 Crown Equipment Corporation Identifying and evaluating possible horizontal and vertical lines intersecting potential pallet features
US20130335635A1 (en) * 2012-03-22 2013-12-19 Bernard Ghanem Video Analysis Based on Sparse Registration and Multiple Domain Tracking
US8849041B2 (en) 2012-06-04 2014-09-30 Comcast Cable Communications, Llc Data recognition in content
US20130335579A1 (en) * 2012-06-15 2013-12-19 Palo Alto Research Center Incorporated Detection of camera misalignment
US8873845B2 (en) 2012-08-08 2014-10-28 Microsoft Corporation Contextual dominant color name extraction
CN103684477B (zh) 2012-09-24 2017-02-01 华为技术有限公司 混合极性码的生成方法和生成装置
CN103065311A (zh) * 2012-12-26 2013-04-24 中国土地勘测规划院 基于基准影像库的卫星影像自动配准方法
CN103927507A (zh) * 2013-01-12 2014-07-16 山东鲁能智能技术有限公司 一种改进的变电站巡检机器人的多仪表读数识别方法
US9374532B2 (en) 2013-03-15 2016-06-21 Google Inc. Cascaded camera motion estimation, rolling shutter detection, and camera shake detection for video stabilization
KR102144394B1 (ko) * 2013-08-20 2020-08-13 한화테크윈 주식회사 영상 정합 장치 및 이를 이용한 영상 정합 방법
US10664687B2 (en) * 2014-06-12 2020-05-26 Microsoft Technology Licensing, Llc Rule-based video importance analysis
JP6456244B2 (ja) * 2015-05-25 2019-01-23 Kddi株式会社 カメラキャリブレーション方法および装置
CN105868733A (zh) * 2016-04-21 2016-08-17 腾讯科技（深圳）有限公司 一种人脸活体验证方法及装置
US9990535B2 (en) 2016-04-27 2018-06-05 Crown Equipment Corporation Pallet detection using units of physical length
JP6583923B2 (ja) * 2016-08-19 2019-10-02 Kddi株式会社 カメラのキャリブレーション装置、方法及びプログラム
DE112018002561B3 (de) * 2017-04-21 2022-01-05 Zenimax Media Inc. Systeme und Verfahren zur Spielereingabe-Bewegungskompensation in einem Client-Server-Videospiel
US10210411B2 (en) * 2017-04-24 2019-02-19 Here Global B.V. Method and apparatus for establishing feature prediction accuracy
CN110033476A (zh) * 2018-01-11 2019-07-19 富士通株式会社 目标速度估计方法、装置和图像处理设备
RU2705423C1 (ru) * 2019-01-17 2019-11-07 Общество с ограниченной ответственностью "РАСТР ТЕХНОЛОДЖИ" Способ совмещения одновременно получаемых изображений от матричных фотоприёмников разного спектрального диапазона
EP3912089A4 (en) * 2019-02-28 2022-12-07 Stats Llc SYSTEM AND METHOD FOR RE-IDENTIFYING PLAYERS IN BROADCAST VIDEO
JP7297720B2 (ja) * 2020-07-28 2023-06-26 Kddi株式会社 カメラキャリブレーション方法、装置およびプログラム
US11468578B2 (en) 2020-09-14 2022-10-11 Amazon Technologies, Inc. Systems and methods for video-based sports field registration

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200844795A (en) * 2007-01-12 2008-11-16 Ibm Controlling a document based on user behavioral signals detected from a 3D captured image stream
TW200926820A (en) * 2007-07-26 2009-06-16 Objectvideo Inc Video analytic rule detection system and method

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL108957A (en) * 1994-03-14 1998-09-24 Scidel Technologies Ltd Video sequence imaging system
JP4036328B2 (ja) 2002-09-30 2008-01-23 株式会社Ｋｄｄｉ研究所 動画像データのシーン分類装置
JP2006309529A (ja) 2005-04-28 2006-11-09 Fujitsu Ltd 画像抽出方法、装置、および証明書用写真生成装置
JP4712487B2 (ja) * 2005-08-25 2011-06-29 株式会社リコー 画像処理方法及び装置、デジタルカメラ装置、並びに画像処理プログラムを記録した記録媒体
GB2431717A (en) * 2005-10-31 2007-05-02 Sony Uk Ltd Scene analysis
JP2008219063A (ja) * 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
EP2132682B1 (en) 2007-03-26 2012-03-14 Thomson Licensing Method and apparatus for detecting objects of interest in soccer video by color segmentation and shape anaylsis
JP5084374B2 (ja) * 2007-07-06 2012-11-28 株式会社トプコン 位置計測装置及び位置計測方法
JP2009251940A (ja) 2008-04-07 2009-10-29 Sony Corp 情報処理装置および方法、並びにプログラム
JP5040796B2 (ja) * 2008-05-09 2012-10-03 大日本印刷株式会社 室内調度品購入支援システム、方法、プログラム、媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200844795A (en) * 2007-01-12 2008-11-16 Ibm Controlling a document based on user behavioral signals detected from a 3D captured image stream
TW200926820A (en) * 2007-07-26 2009-06-16 Objectvideo Inc Video analytic rule detection system and method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Yang Liu*a, Qingming Huangb, Qixiang Yeb, Wen Gaoa,b aSchool of Computer Science and Technology, Harbin Institute of Technology, Harbin, China bGraduate School of the Chinese Academy of Sciences Beijing, China, "A new method to calculate the camera focusing area and player position on playfield in soccer video", Visual Communications and Image Processing 2005, edited by Shipeng Li, Fernando Perei *

Also Published As

Publication number Publication date
US8553982B2 (en) 2013-10-08
EP2357611A2 (en) 2011-08-17
CN102110293B (zh) 2014-12-31
TW201142750A (en) 2011-12-01
JP5335762B2 (ja) 2013-11-06
JP2011134322A (ja) 2011-07-07
US20110150275A1 (en) 2011-06-23
CN102110293A (zh) 2011-06-29
RU2480832C2 (ru) 2013-04-27
KR20110073367A (ko) 2011-06-29
KR101232509B1 (ko) 2013-02-12
EP2357611A3 (en) 2012-03-07
RU2011101370A (ru) 2012-07-20

Similar Documents

Publication Publication Date Title
TWI512683B (zh) 基於模型之遊戲場對齊技術
Ammar Abbas et al. A geometric approach to obtain a bird's eye view from an image
Xie et al. Moving object segmentation and detection for robust RGBD-SLAM in dynamic environments
Cannons A review of visual tracking
CN103299610B (zh) 用于视频插入的方法和设备
Taketomi et al. Real-time and accurate extrinsic camera parameter estimation using feature landmark database for augmented reality
US11170246B2 (en) Recognition processing device, recognition processing method, and program
Taiana et al. Tracking objects with generic calibrated sensors: An algorithm based on color and 3D shape features
Morais et al. A multiple camera methodology for automatic localization and tracking of futsal players
Alemán-Flores et al. Camera calibration in sport event scenarios
Romero-Ramirez et al. Tracking fiducial markers with discriminative correlation filters
Karbasi et al. Real-time hands detection in depth image by using distance with Kinect camera
Rekik et al. 3d face pose tracking using low quality depth cameras
Puwein et al. PTZ camera network calibration from moving people in sports broadcasts
Jiang et al. Calibrating lidar and camera using semantic mutual information
Tao et al. An efficient 3D object detection method based on fast guided anchor stereo RCNN
Xiong et al. Camera focal length from distances in a single image
Alturki Principal point determination for camera calibration
Muñoz-Salinas et al. Particle filtering with multiple and heterogeneous cameras
Southey et al. Object discovery through motion, appearance and shape
Ma et al. Robust automatic camera calibration in badminton court recognition
Yoshimoto et al. Cubistic representation for real-time 3D shape and pose estimation of unknown rigid object
Baumgartner et al. Hybrid approach for orientation-estimation of rotating humans in video frames acquired by stationary monocular camera
JP2020126514A (ja) 高さ推定装置及びプログラム
Pramod et al. Techniques in Virtual Reality

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees