TWI822380B - 球體追蹤系統及方法 - Google Patents

球體追蹤系統及方法 Download PDF

Info

Publication number
TWI822380B
TWI822380B TW111138080A TW111138080A TWI822380B TW I822380 B TWI822380 B TW I822380B TW 111138080 A TW111138080 A TW 111138080A TW 111138080 A TW111138080 A TW 111138080A TW I822380 B TWI822380 B TW I822380B
Authority
TW
Taiwan
Prior art keywords
dimensional
sphere
coordinates
coordinate
ball
Prior art date
Application number
TW111138080A
Other languages
English (en)
Other versions
TW202416224A (zh
Inventor
王榮陞
周世俊
張曉珍
Original Assignee
財團法人資訊工業策進會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人資訊工業策進會 filed Critical 財團法人資訊工業策進會
Priority to TW111138080A priority Critical patent/TWI822380B/zh
Priority to CN202211319868.9A priority patent/CN117893563A/zh
Priority to US18/056,260 priority patent/US20240119603A1/en
Application granted granted Critical
Publication of TWI822380B publication Critical patent/TWI822380B/zh
Publication of TW202416224A publication Critical patent/TW202416224A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G06T2207/30224—Ball; Puck
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G06T2207/30228—Playing field
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Multi-Process Working Machines And Systems (AREA)
  • Automobile Manufacture Line, Endless Track Vehicle, Trailer (AREA)
  • Position Input By Displaying (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本揭示內容提供一種球體追蹤系統及方法。球體追蹤系統包含一相機裝置以及一處理裝置。該相機裝置用以產生複數個視訊幀資料，其中該些視訊幀資料包含一球體的影像。該處理裝置電性耦接於該相機裝置，並用以：從該些視訊幀資料中辨識出該球體的影像以獲取該球體在一第一幀時間的一二維預估座標，並利用一二維轉三維矩陣將該二維預估座標轉換成一第一三維預估座標；利用一模型計算該球體在該第一幀時間的一第二三維預估座標；以及依據該第一三維預估座標及該第二三維預估座標進行校正以產生該球體在該第一幀時間的一三維校正座標。

Description

球體追蹤系統及方法
本揭示內容係有關於一種球體追蹤系統及方法，特別是指一種適用於隔網運動的球體追蹤系統及方法。
現行許多球類運動賽事所使用的鷹眼系統，需要在賽事場地的多個方位中建置多台高速攝影機。即使是非賽事使用的球類軌跡偵測系統，也需要至少兩台攝影機以及能負擔高運算量的電腦。由此可知，上述系統的成本高且不易取得，不利於落實在一般民眾的日常使用。
本揭示內容的一態樣為一球體追蹤系統。球體追蹤系統包含一相機裝置以及一處理裝置。該相機裝置用以產生複數個視訊幀資料，其中該些視訊幀資料包含一球體的影像。該處理裝置電性耦接於該相機裝置，並用以：從該些視訊幀資料中辨識出該球體的影像以獲取該球體在一第一幀時間的一二維預估座標，並利用一二維轉三維矩陣將該二維預估座標轉換成一第一三維預估座標；利用一模型計算該球體在該第一幀時間的一第二三維預估座標；以及依據該第一三維預估座標及該第二三維預估座標進行校正以產生該球體在該第一幀時間的一三維校正座標。
本揭示內容的另一態樣為一球體追蹤方法。該球體追蹤方法包含：擷取複數個視訊幀資料，其中該些視訊幀資料包含一球體的影像；從該些視訊幀資料中辨識出該球體的影像以獲取該球體在一第一幀時間的一二維預估座標，並利用一二維轉三維矩陣將該二維預估座標轉換成一第一三維預估座標；利用一模型計算該球體在該第一幀時間的一第二三維預估座標；以及依據該第一三維預估座標及該第二三維預估座標進行校正以產生該球體在該第一幀時間的一三維校正座標。
藉由使用單一顆鏡頭的相機裝置與處理裝置來追蹤球體、重建球體的三維飛行軌跡並分析隔網運動，本揭示內容的球體追蹤系統及方法具有成本低、易於實施的優勢。
下文係舉實施例配合所附圖式作詳細說明，但所描述的具體實施例僅用以解釋本案，並不用來限定本案，而結構操作之描述非用以限制其執行之順序，任何由元件重新組合之結構，所產生具有均等功效的裝置，皆為本揭示內容所涵蓋的範圍。
在全篇說明書與申請專利範圍所使用之用詞(terms)，除有特別註明外，通常具有每個用詞使用在此領域中、在此揭示之內容中與特殊內容中的平常意義。
另外，關於本文中所使用之「耦接」或「連接」，均可指二或多個元件相互直接作實體或電性接觸，或是相互間接作實體或電性接觸，亦可指二或多個元件相互操作或動作。
本文中所使用之「球體」，可指在任意形式的隔網運動或比賽中使用並作為比賽中主要部分的物體。所述球體可從包含羽毛球、網球、桌球及排球的群組中選擇。
請參閱第1圖，第1圖為依據本揭示內容的一些實施例所繪示的一球體追蹤系統100的方塊圖。於一些實施例中，球體追蹤系統100包含一相機裝置10以及一處理裝置20。具體而言，相機裝置10藉由具有單一顆鏡頭的相機來實現，而處理裝置20藉由中央處理單元(CPU)、特殊應用積體電路(ASIC)、微處理器、系統單晶片(SoC)或其他具有資料存取、資料計算、資料儲存、資料傳輸或類似功能的電路或元件來實現。
於一些實施例中，球體追蹤系統100應用於一隔網運動(例如：羽球、網球、桌球、排球等運動)，並用以追蹤隔網運動所使用的球體。如第1圖所示，相機裝置10電性耦接於處理裝置20。於一些實務應用中，相機裝 置10設置於隔網運動所使用的場地周遭，而處理裝置20為獨立於相機裝置10的電腦或是伺服器，並可以無線方式與相機裝置10進行通訊。於另一些實務應用中，相機裝置10與處理裝置20整合為單一裝置設置於隔網運動所使用的場地周遭。
於球體追蹤系統100的操作過程中，相機裝置10用以進行拍攝以產生複數個視訊幀資料Dvf，其中視訊幀資料Dvf包含球體的影像(未繪示於第1圖中)。應當理解，隔網運動通常由至少兩個運動員在具有球網的場地上進行。據此，於一些實施例中，視訊幀資料Dvf還包含至少二個運動員的影像以及場地的影像。由於運動員會移動或擊打球體，在多個視訊幀資料Dvf中，部分視訊幀資料Dvf中的球體可能會被遮蔽。
於第1圖的實施例中，處理裝置20用以從相機裝置10接收視訊幀資料Dvf。應當理解，在此實施例中，單一鏡頭的相機裝置10所產生的視訊幀資料Dvf僅可提供二維資訊，而無法提供三維資訊。據此，如第1圖所示，處理裝置20包含一二維轉三維矩陣201、一動力模型202以及一三維座標校正模組203，以依據視訊幀資料Dvf取得關聯於球體的三維資訊。
具體而言，處理裝置20從視訊幀資料Dvf中辨識出球體的影像，以獲取球體在某一幀時間的一二維預估座標A1。接著，處理裝置20一方面利用二維轉三維矩陣201將二維預估座標A1轉換成一第一三維預估座標B1， 另一方面還利用動力模型202計算球體在所述某一幀時間的一第二三維預估座標B2。最後，處理裝置20利用三維座標校正模組203依據第一三維預估座標B1及第二三維預估座標B2進行校正以產生球體在所述某一幀時間的一三維校正座標C1。依此類推的話，球體追蹤系統100可計算出球體在每一幀時間的三維校正座標C1，從而在之後建立球體的三維飛行軌跡並依據球體的三維飛行軌跡進一步分析隔網運動。
應當理解，本揭示內容的球體追蹤系統並不限於第1圖所示的結構。舉例來說，請參閱第2圖，第2圖為依據本揭示內容的一些實施例所繪示的一球體追蹤系統200的方塊圖。於第2圖的實施例中，球體追蹤系統200包含如第1圖所示的相機裝置10、一處理裝置40以及一顯示裝置30。應當理解，處理裝置40類似但不同於處理裝置20。舉例來說，除了如第1圖所示的二維轉三維矩陣201、動力模型202與三維座標校正模組203以外，處理裝置40還包含一二維座標識別模組204、一擊球瞬間偵測模組205、一三維軌跡建立模組206以及一智慧線審模組207。
如第2圖所示，處理裝置40電性耦接於相機裝置10及顯示裝置30之間。於一些實務應用中，相機裝置10及顯示裝置30設置於隔網運動所使用的場地周遭，而處理裝置40為獨立於相機裝置10及顯示裝置30的伺服器，並可以無線方式與相機裝置10及顯示裝置30進行通訊。 於另一些實務應用中，相機裝置10及顯示裝置30設置於隔網運動所使用的場地周遭，而處理裝置40整合進相機裝置10及顯示裝置30中的一者。於又另一些實務應用中，相機裝置10、處理裝置40及顯示裝置30整合為單一裝置設置於隔網運動所使用的場地周遭。
請一併參閱第3圖，第3圖為依據本揭示內容的一些實施例所繪示球體追蹤系統應用於一隔網運動300的示意圖。於一些實施例中，隔網運動300為一羽毛球運動，並由兩個運動員P1及P2進行。如第3圖所示，一球網(由兩個網柱S1支撐著)在一球場S2上隔出兩個區域供兩個運動員P1及P2以一球體F進行對抗。相機裝置10為一智慧型手機(可由兩個運動員P1及P2中的一者提供)，並設置於球場S2周遭。應當理解，第2圖的顯示裝置30亦可設置於球場S2周遭，但為了簡化說明，顯示裝置30並未被繪示於第3圖中。
接著將搭配第4圖來詳細說明球體追蹤系統200的操作。請參閱第4圖，第4圖為依據本揭示內容的一些實施例所繪示的一球體追蹤方法400的流程圖。於一些實施例中，球體追蹤方法400包含步驟S401~S404，並可由第2圖的球體追蹤系統200執行。然而，本揭示內容並不限於此，球體追蹤方法400亦可由第1圖的球體追蹤系統100執行。
於步驟S401中，如第3圖所示，相機裝置10在球場S2周遭拍攝隔網運動300，並擷取關聯於隔網運動 300的視訊幀資料Dvf(如第2圖所示)。據此，於一些實施例中，視訊幀資料Dvf包含如第3圖所示的複數個二維的幀畫面Vf(以虛線表示)。
於步驟S402中，處理裝置40從視訊幀資料Dvf辨識出球體F的影像以獲取球體F在一幀時間Tf[1]的二維預估座標A1，並利用二維轉三維矩陣201將二維預估座標A1轉換成第一三維預估座標B1。接著將搭配第5圖來詳細說明步驟S402。請參閱第5圖，第5圖為依據本揭示內容的一些實施例所繪示的對應於幀時間Tf[1]的一幀畫面Vf[1]的示意圖。如第5圖所示，幀畫面Vf[1]包含運動員P1的一運動員影像IP1以及球體F的一球體影像IF。
一般來說，隔網運動300中的球體F是一種小型物件，其飛行速度可能超過400km/h，而球體影像IF的尺寸通常為10pixels，故可能因為球體F飛行的速度過快而導致球體影像IF在幀畫面Vf[1]中形變、模糊及/或失真，也可能因為球體F具有與其他物件相近的顏色而使球體影像IF幾乎消失在幀畫面Vf[1]中。據此，於一些實施例中，處理裝置40利用二維座標識別模組204從幀畫面Vf[1]中辨識出球體影像IF。具體而言，二維座標識別模組204藉由一種深度學習網路(例如：TrackNetV2)來實現，此深度學習網路技術可克服模糊、殘像和短期遮擋等低圖像質量問題，且可將一些連續圖像一起輸入此深度學習網路以檢測球體影像IF。利用深度學習網路來從幀 畫面Vf[1]中辨識出球體影像IF的操作為本揭示內容所屬技術領域中具通常知識者所熟知，故不在此贅述。
在辨識出球體影像IF之後，處理裝置40可自行或透過二維座標識別模組204將幀畫面Vf[1]左上方的像素作為座標原點來建立一二維座標系統，並依據球體影像IF於幀畫面Vf[1]中的位置獲取球體影像IF在幀畫面Vf[1]中的二維預估座標A1。應當理解，亦可將幀畫面Vf[1]中其他合適的像素(例如：右上方、左下方或右下方的像素)作為二維座標系統的座標原點。
接著，如第2圖所示，處理裝置40利用二維轉三維矩陣201對二維預估座標A1進行轉換。於一些實施例中，二維轉三維矩陣201可依據隔網運動300中至少一標準物件的二維影像尺寸(此可藉由分析相機裝置10所拍攝的影像畫面得知)與三維標準尺寸(此可參考隔網運動300的標準場地規範)的比例關係預先建立的。據此，二維轉三維矩陣201可用以依據球體影像IF在幀畫面Vf[1]中的二維預估座標A1計算出球體F在隔網運動300的一場地三維模型(圖中未示)中的第一三維預估座標B1。
於一些實施例中，可依據相機裝置10與隔網運動300的相對位置，拍攝並分析影像中隔網運動300中易於辨識的特徵(例如：網柱S1的最高點、球場S2上至少兩條邊界線的交會處)作為相對位置比較基準，再參照上述易於辨識特徵之間的實際尺寸或距離，並依此建立隔網運動300的場地三維模型。
於一些實施例中，即使使用二維座標識別模組204能大幅提高球體影像IF的辨識準確度，還是可能因為前述影像形變、模糊、失真及/或消失的問題而將其餘相近的影像(例如：白色鞋子的影像)錯誤地辨識為球體影像IF，致使於步驟S402中取得的第一三維預估座標B1可能不是對應於球體F。據此，球體追蹤方法400執行步驟S403，以進行校正。
於步驟S403中，處理裝置40利用一模型計算球體F在幀時間Tf[1]的第二三維預估座標B2。於一些實施例中，步驟S403所使用的模型為羽毛球(亦即，球體F)的動力模型202(如第2圖所示)。由於羽毛球的飛行軌跡受到空氣及風向影響，在此實施例中，動力模型202可採用羽球的空氣動力模型，此模型中羽毛球的飛行軌跡取決於一些參數，例如：羽毛球經球拍擊打瞬間的速度及角度、羽毛球的角速度、羽毛球飛行過程中受到的空氣阻力及重力加速度等。於一些實施例中，處理裝置40在計算羽毛球的飛行軌跡時考慮前述全部參數，以計算出較精確的飛行距離和方向。於一些實施例中，處理裝置40在計算羽毛球的飛行軌跡時僅考慮羽毛球經球拍擊打瞬間的速度及角度與羽毛球飛行過程中受到的空氣阻力及重力加速度，以降低處理裝置40的運算負擔並使球體追蹤方法400普及化。一般來說，羽毛球飛行過程中受到的空氣阻力及重力加速度可視為常數。據此，如第2圖所示，動力模型202依據球體F的一擊球瞬間速度Vk及一擊球瞬間三維座標 Bk即可以簡易快速的方式計算球體F的第二三維預估座標B2。
於一些實施例中，如第2圖所示，處理裝置40利用擊球瞬間偵測模組205偵測視訊幀資料Dvf中的一關鍵幀畫面Vf[k]，以依據關鍵幀畫面Vf[k]計算出球體F的擊球瞬間速度Vk及擊球瞬間三維座標Bk。請參閱第6圖，第6圖為依據本揭示內容的一些實施例所繪示的對應於一關鍵幀時間Tf[k]的關鍵幀畫面Vf[k]的示意圖。於一些實施例中，擊球瞬間偵測模組205經由預先準備的訓練資料(圖中未示)訓練過，以從視訊幀資料Dvf中辨識出運動員P1的一擊球姿態AHS。具體而言，前述訓練資料包含複數張訓練影像，且每張訓練影像都對應運動員擊打到球體後的第一個幀畫面。此外，每張訓練影像中的運動員影像均被標記，以讓擊球瞬間偵測模組205能夠正確辨識出運動員的擊球姿態。當從視訊幀資料Dvf辨識出運動員P1的擊球姿態AHS時，擊球瞬間偵測模組205可將視訊幀資料Dvf中對應於擊球姿態AHS的幀畫面作為關鍵幀畫面Vf[k]。
如第2圖所示，處理裝置40接著再次利用二維座標識別模組204辨識關鍵幀畫面Vf[k]中的球體影像IF，並依此取得球體F在關鍵幀畫面Vf[k]中的一擊球瞬間二維座標Ak。在此之後，處理裝置40利用二維轉三維矩陣201將擊球瞬間二維座標Ak進行轉換，以取得球體F在隔網運動300的場地三維模型中的擊球瞬間三維座標 Bk。
於一些實施例中，在取得球體F的擊球瞬間三維座標Bk後，處理裝置40還用以從視訊幀資料Dvf中取得在關鍵幀畫面Vf[k]之後的連續數幀(例如：3~5幀)或某一幀畫面，以計算球體F的擊球瞬間速度Vk。舉例來說，處理裝置40可取得介於關鍵幀畫面Vf[k]與幀畫面Vf[1]之間的至少一幀畫面，並利用二維座標識別模組204及二維轉三維矩陣201取得對應的三維預估座標。換句話說，處理裝置40計算出球體F在關鍵幀時間Tf[k]之後的某一幀時間的三維預估座標。接著，處理裝置40即可將所述某一幀時間的三維預估座標與擊球瞬間三維座標Bk的移動差值除以所述某一幀時間與關鍵幀時間Tf[k]的時間差值來計算出球體F的擊球瞬間速度Vk。另外，處理裝置40亦可以計算出球體F在關鍵幀時間Tf[k]之後的連續數幀時間相對應的多個三維預估座標。接著，將擊球瞬間三維座標Bk分別與所述連續數幀時間的多個三維預估座標相減後計算出複數個移動差值，將關鍵幀時間Tf[k]分別與所述連續數幀時間相減後計算出複數個時間差值，並將所述多個移動差值分別除以所述多個時間差值後取其中最小值作為球體F的擊球瞬間速度Vk，可進一步確認球體F的擊球瞬間速度Vk。由此可知，處理裝置40用以依據關鍵幀畫面Vf[k]及關鍵幀畫面Vf[k]之後的至少一幀畫面計算球體F的擊球瞬間速度Vk。
於一些實施例中，如第2圖所示，在取得球體F 的擊球瞬間速度Vk及擊球瞬間三維座標Bk之後，處理裝置40用以將擊球瞬間速度Vk及擊球瞬間三維座標Bk輸入動力模型202以計算球體F在幀時間Tf[1]的第二三維預估座標B2。
於步驟S404中，處理裝置40依據第一三維預估座標B1及第二三維預估座標B2進行校正以產生球體F在幀時間Tf[1]的三維校正座標C1。於一些實施例中，如第2圖所示，處理裝置40利用三維座標校正模組203進行校正。接著將搭配第7圖來詳細說明步驟S404。請參閱第7圖，第7圖為依據本揭示內容的一些實施例所繪示的步驟S404的流程圖。於一些實施例中，如第7圖所示，步驟S404包含子步驟S701~S706，但本揭示內容並不限於此。
於子步驟S701中，三維座標校正模組203計算第一三維預估座標B1及第二三維預估座標B2的一差值。舉例來說，三維座標校正模組203可使用三維歐幾里德距離(Euclidean distance)公式計算第一三維預估座標B1及第二三維預估座標B2的差值。
於子步驟S702中，三維座標校正模組203將子步驟S701計算出來的差值與一臨界值相比較。
於一些實施例中，當差值小於臨界值時，表示第一三維預估座標B1可能正確地對應於球體F，故執行子步驟S703。於子步驟S703中，處理裝置40獲取球體F在幀時間Tf[1]之後的一幀時間Tf[2]的一第三三維預估座標 B3(如第2圖所示)。具體而言，幀時間Tf[2]為幀時間Tf[1]的下一個。請參閱第8圖，第8圖為依據本揭示內容的一些實施例所繪示的對應於幀時間Tf[2]的一幀畫面Vf[2]的示意圖。如第2及8圖所示，處理裝置40利用二維座標識別模組204取得球體F在幀畫面Vf[2]中的一二維預估座標A3，並利用二維轉三維矩陣201將二維預估座標A3轉換為在隔網運動300的場地三維模型中的第三三維預估座標B3。第三三維預估座標B3的計算類似於第一三維預估座標B1的計算，故不在此贅述。
於子步驟S704中，三維座標校正模組203將第一三維預估座標B1及第二三維預估座標B2分別與第三三維預估座標B3相比較。於子步驟S705中，三維座標校正模組203將第一三維預估座標B1及第二三維預估座標B2中最接近第三三維預估座標B3的一者作為三維校正座標C1。舉例來說，三維座標校正模組203將計算第一三維預估座標B1與第三三維預估座標B3的一第一差值，計算第二三維預估座標B2與第三三維預估座標B3的一第二差值，並將第一差值與第二差值相比較，以找出最接近第三三維預估座標B3的一者。應當理解，第一差值與第二差值的可經由三維歐幾里德距離公式計算出來。當第一差值小於第二差值時，三維座標校正模組203將第一三維預估座標B1作為三維校正座標C1。當第一差值大於第二差值時，三維座標校正模組203將第二三維預估座標B2作為三維校正座標C1。
一般來說，對應於連續的兩個幀時間(亦即，幀時間Tf[1]及幀時間Tf[2])的兩個三維預估座標之間的差異應該極小。因此，如上述說明，當球體F在幀時間Tf[1]的第一三維預估座標B1及第二三維預估座標B2之間的差異不大時，藉由子步驟S703~S705，處理裝置40將選擇較靠近球體F在下一個幀時間Tf[2]的第三三維預估座標B3的一者作為三維校正座標C1。
如第7圖所示，於一些實施例中，當差值大於臨界值時，表示第一三維預估座標B1可能不是對應於球體F，故執行子步驟S706。於子步驟S706中，三維座標校正模組203將第二三維預估座標B2作為三維校正座標C1。換句話說，當第一三維預估座標B1及第二三維預估座標B2之間的差異過大時，藉由子步驟S706，處理裝置40能避免將可能不是對應於球體F的第一三維預估座標B1作為三維校正座標C1。
由上述說明可知，藉由使用經由動力模型202計算出來的第二三維預估座標B2對單純經由影像辨識取得的第一三維預估座標B1進行校正，本揭示內容的球體追蹤系統及球體追蹤方法可大幅減少因為前述影像形變、模糊、失真及/或消失而錯誤地辨識球體影像IF的問題，進而使球體F的三維校正座標C1更為精確。
於前述實施例中，如第2圖所示，動力模型202可從三維座標校正模組接收球體F在幀時間Tf[1]的三維校正座標C1作為起始的座標資料，以計算球體F在幀時 間Tf[1]之後的第二三維預估座標B2。藉由使用三維校正座標C1作為起始的座標資料，所計算的第二三維預估座標B2也會更為精確。
應當理解，第4圖的球體追蹤方法400僅為示例，並非用以限定本揭示內容，以下將以第9及11~12圖的實施例為例進一步說明。
請參閱第9圖，第9圖為依據本揭示內容的一些實施例所繪示的球體追蹤方法的流程圖。於一些實施例中，在步驟S401之前，本揭示內容的球體追蹤方法還包含步驟S901~S902。於步驟S901中，相機裝置10擷取一參考視訊幀資料Rvf。請一併參閱第10圖，第10圖為依據本揭示內容的一些實施例所繪示的參考視訊幀資料Rvf的示意圖。於一些實施例中，參考視訊幀資料Rvf是在隔網運動尚未進行時取得的。因此，如第10圖所示，參考視訊幀資料Rvf包含對應網柱S1的一網柱影像IS1以及對應球場S2的一球場影像IS2，但未包含運動員P1、球體F及/或運動員P2的影像。
於步驟S902中，處理裝置40從參考視訊幀資料Rvf中獲取球體F所在場地中的至少一標準物件的至少一二維尺寸資訊，並依據至少一二維尺寸資訊以及至少一標準物件的至少一標準尺寸資訊建立二維轉三維矩陣201。舉例來說，如第10圖所示，處理裝置40從參考視訊幀資料Rvf辨識出網柱影像IS1及球場影像IS2中的一左發球區R1。處理裝置40依據網柱影像IS1的像素計算網柱 影像IS1對應於一三維高度方向的一二維高度H1，並依據左發球區R1的像素計算左發球區R1對應於一三維長度方向及一三維寬度方向的一二維長度及一二維寬度。接著，處理裝置40依據二維高度H1與隔網運動所規範的網柱S1的一標準高度(例如：1.55公尺)計算一高度比例關係，依據二維長度與隔網運動所規範的左發球區R1的一標準長度計算一長度比例關係，並依據二維寬度與隔網運動所規範的左發球區R1的一標準寬度計算一寬度比例關係。最後，處理裝置40依據高度比例關係、長度比例關係及寬度比例關係進行運算建立二維轉三維矩陣201。
請參閱第11圖，第11圖為依據本揭示內容的一些實施例所繪示的球體追蹤方法的流程圖。於一些實施例中，在步驟S404之後，本揭示內容的球體追蹤方法還包含步驟S1101~S1102。於步驟S1101中，處理裝置40利用三維軌跡建立模組206(如第2圖所示)依據一預設期間內的三維校正座標C1產生球體F的一三維飛行軌跡。雖然球體F的三維飛行軌跡未示於圖式中，但應當理解，步驟S1101即是要依據球體F在預設期間(例如：從關鍵幀時間Tf[k]至幀時間Tf[1])內的多個三維校正座標C1將如第2圖所示的飛行軌跡TL模擬出來。於步驟S1102中，顯示裝置30顯示包含三維飛行軌跡與球體F所在場地的場地三維模型的一運動影像(圖中未示)。如此一來，即使相關人員(例如：運動員P1及P2、觀眾、裁判等)因為球體F速度太快而無法看清楚球體F，藉由步驟 S1102，相關人員也可通過模擬出來的三維飛行軌跡及場地三維模型，來清楚得知球體F的飛行軌跡TL。
承上述，於一些實施例中，除了模擬出來的三維飛行軌跡及場地三維模型，顯示裝置30所顯示的運動影像還包含相機裝置10所拍攝的影像。
請參閱第12圖，第12圖為依據本揭示內容的一些實施例所繪示的球體追蹤方法的流程圖。於一些實施例中，在步驟S404之後，本揭示內容的球體追蹤方法還包含步驟S1201~S1203。於步驟S1201中，處理裝置40利用三維軌跡建立模組206依據預設期間內的三維校正座標C1產生球體F的三維飛行軌跡。步驟S1201的操作與步驟S1101的操作相同或相似，故不在此贅述。
於步驟S1202中，處理裝置40利用智慧線審模組207(如第2圖所示)依據三維飛行軌跡與球體F所在場地的場地三維模型計算球體F在場地三維模型中的一落地座標(圖中未示)。於一些實施例中，智慧線審模組207將三維飛行軌跡與場地三維模型中對應於地面的一參考水平面(圖中未示)相交會的一點作為球體F的落地點，並可計算出其對應的落地座標。
於步驟S1203中，處理裝置40利用智慧線審模組207依據落地座標相對於場地三維模型中複數個邊界線的位置產生一判斷結果。具體而言，智慧線審模組207可依據隔網運動300的規則以及落地座標相對於場地三維模型中多個邊界線的位置判斷球體F屬於界內或界外。於一 些實施例中，第2圖的顯示裝置30可從智慧線審模組207中接收判斷結果，並將判斷結果顯示給相關人員觀看。
由上述本揭示內容的實施方式可知，本發明可藉由使用單一顆鏡頭的相機裝置(亦即，一般相機)與處理裝置來追蹤球體、重建球體的三維飛行軌跡並可輔助判斷球體落地時是否出界。如此一來，使用者僅需使用手機或是普通網路相機即可施行。綜上，本揭示內容的球體追蹤系統及方法具有成本低、易於實施的優勢。
雖然本揭示內容已以實施方式揭露如上，然其並非用以限定本揭示內容，所屬技術領域具有通常知識者在不脫離本揭示內容之精神和範圍內，當可作各種更動與潤飾，因此本揭示內容之保護範圍當視後附之申請專利範圍所界定者為準。
10:相機裝置
20,40:處理裝置
30:顯示裝置
100,200:球體追蹤系統
201:二維轉三維矩陣
202:動力模型
203:三維座標校正模組
204:二維座標識別模組
205:擊球瞬間偵測模組
206:三維軌跡建立模組
207:智慧線審模組
300:隔網運動
400:球體追蹤方法
A1,A3:二維預估座標
Ak:擊球瞬間二維座標
AHS:擊球姿態
B1:第一三維預估座標
B2:第二三維預估座標
B3:第三三維預估座標
Bk:擊球瞬間三維座標
C1:三維校正座標
Dvf:視訊幀資料
F:球體
H1:二維高度
IF:球體影像
IP1:運動員影像
IS1:網柱影像
IS2:球場影像
P1,P2:運動員
R1:左發球區
Rvf:參考視訊幀資料
S1:網柱
S2:球場
Tf[1],Tf[2]:幀時間
Tf[k]:關鍵幀時間
TL:飛行軌跡
Vf,Vf[1],Vf[2]:幀畫面
Vf[k]:關鍵幀畫面
Vk:擊球瞬間速度
S401~S404,S901~S902,S1101~S1102,S1201~S1203:步驟
S701~S706:子步驟
第1圖為依據本揭示內容的一些實施例所繪示的一種球體追蹤系統的方塊圖。 第2圖為依據本揭示內容的一些實施例所繪示的一種球體追蹤系統的方塊圖。 第3圖為依據本揭示內容的一些實施例所繪示球體追蹤系統應用於隔網運動的示意圖。 第4圖為依據本揭示內容的一些實施例所繪示的一種球體追蹤方法的流程圖。 第5圖為依據本揭示內容的一些實施例所繪示的對應於一幀時間的一幀畫面的示意圖。 第6圖為依據本揭示內容的一些實施例所繪示的對應於一關鍵幀時間的一關鍵幀畫面的示意圖。 第7圖為依據本揭示內容的一些實施例所繪示的球體追蹤方法的其中一步驟的流程圖。 第8圖為依據本揭示內容的一些實施例所繪示的對應於另一幀時間的另一幀畫面的示意圖。 第9圖為依據本揭示內容的一些實施例所繪示的一種球體追蹤方法的流程圖。 第10圖為依據本揭示內容的一些實施例所繪示的一種參考視訊幀資料的示意圖。 第11圖為依據本揭示內容的一些實施例所繪示的一種球體追蹤方法的流程圖。 第12圖為依據本揭示內容的一些實施例所繪示的一種球體追蹤方法的流程圖。
10:相機裝置
20:處理裝置
100:球體追蹤系統
201:二維轉三維矩陣
202:動力模型
203:三維座標校正模組
A1:二維預估座標
B1:第一三維預估座標
B2:第二三維預估座標
C1:三維校正座標
Dvf:視訊幀資料

Claims (18)

  1. 一種球體追蹤系統，包含：一相機裝置，用以產生複數個視訊幀資料，其中該些視訊幀資料包含一球體的影像；以及一處理裝置，電性耦接於該相機裝置，並用以：從該些視訊幀資料中辨識出該球體的影像以獲取該球體在一第一幀時間的一二維預估座標，並利用一二維轉三維矩陣將該二維預估座標轉換成一第一三維預估座標；利用一模型計算該球體在該第一幀時間的一第二三維預估座標；以及依據該第一三維預估座標及該第二三維預估座標進行校正以產生該球體在該第一幀時間的一三維校正座標，其中該處理裝置用以計算該第一三維預估座標及該第二三維預估座標的一差值，並用以將該差值與一臨界值相比較，當該差值大於該臨界值時，該處理裝置用以將該第二三維預估座標作為該三維校正座標。
  2. 如請求項1所述之球體追蹤系統，其中該處理裝置用以從一參考視訊幀資料中獲取該球體所在場地中的至少一標準物件的至少一二維尺寸資訊，並依據該至少一二維尺寸資訊以及該至少一標準物件的至少一標準尺寸資訊建立該二維轉三維矩陣。
  3. 如請求項1所述之球體追蹤系統，其中該球 體為一隔網運動所使用的球體，該球體從包含羽毛球、網球、桌球及排球的一群組中選擇，且該模型為該球體的一動力模型。
  4. 如請求項3所述之球體追蹤系統，其中該些視訊幀資料包含一關鍵幀畫面，而該處理裝置用以依據該關鍵幀畫面計算出該球體的一擊球瞬間速度及一擊球瞬間三維座標，並用以將該擊球瞬間速度及該擊球瞬間三維座標輸入該模型以計算該球體的該第二三維預估座標。
  5. 如請求項4所述之球體追蹤系統，其中該處理裝置用以利用一擊球瞬間偵測模組從該些視訊幀資料中辨識出一運動員的一擊球姿態以取得該關鍵幀畫面。
  6. 如請求項4所述之球體追蹤系統，其中該處理裝置用以將該球體在該關鍵幀畫面中的一擊球瞬間二維座標轉換為該擊球瞬間三維座標，並用以依據該關鍵幀畫面及該關鍵幀畫面之後的至少一幀畫面計算該球體的該擊球瞬間速度。
  7. 如請求項1所述之球體追蹤系統，其中當該差值小於該臨界值時，該處理裝置用以獲取該球體在該第一幀時間之後的一第二幀時間的一第三三維預估座標，將該第一三維預估座標及該第二三維預估座標分 別與該第三三維預估座標相比較，並用以將該第一三維預估座標及該第二三維預估座標中最接近該第三三維預估座標的一者作為該三維校正座標。
  8. 如請求項1所述之球體追蹤系統，還包含：一顯示裝置，電性耦接於該處理裝置，並用以顯示包含該球體的一三維飛行軌跡的影像，其中該三維飛行軌跡係該處理裝置依據一預設期間內的該三維校正座標而產生。
  9. 如請求項1所述之球體追蹤系統，其中該處理裝置用以依據一預設期間內的該三維校正座標產生該球體的一三維飛行軌跡，且依據該三維飛行軌跡與該球體所在場地的一場地三維模型計算該球體在該場地三維模型中的一落地座標，並用以依據該落地座標相對於該場地三維模型中複數個邊界線的位置產生一判斷結果。
  10. 一種球體追蹤方法，包含：擷取複數個視訊幀資料，其中該些視訊幀資料包含一球體的影像；從該些視訊幀資料中辨識出該球體的影像以獲取該球體在一第一幀時間的一二維預估座標，並利用一二維轉三維矩陣將該二維預估座標轉換成一第一三維預估座標；利用一模型計算該球體在該第一幀時間的一第二三維預估座標；以及 依據該第一三維預估座標及該第二三維預估座標進行校正以產生該球體在該第一幀時間的一三維校正座標，其中依據該第一三維預估座標及該第二三維預估座標進行校正以產生該球體在該第一幀時間的該三維校正座標的步驟更包含：計算該第一三維預估座標及該第二三維預估座標的一差值，將該差值與一臨界值相比較，以及當該差值大於該臨界值時，將該第二三維預估座標作為該三維校正座標。
  11. 如請求項10所述之球體追蹤方法，更包含：擷取一參考視訊幀資料；以及從該參考視訊幀資料中獲取該球體所在場地中的至少一標準物件的至少一二維尺寸資訊，並依據該至少一二維尺寸資訊以及該至少一標準物件的至少一標準尺寸資訊建立該二維轉三維矩陣。
  12. 如請求項10所述之球體追蹤方法，其中該球體為一隔網運動所使用的球體，該球體從包含羽毛球、網球、桌球及排球的一群組中選擇，且該模型為該球體的一動力模型。
  13. 如請求項12所述之球體追蹤方法，更包含：依據該些視訊幀資料中的一關鍵幀畫面計算出該球體的一擊球瞬間速度及一擊球瞬間三維座標；以及 將該擊球瞬間速度及該擊球瞬間三維座標輸入該模型以計算該球體的該第二三維預估座標。
  14. 如請求項13所述之球體追蹤方法，更包含：利用一擊球瞬間偵測模組從該些視訊幀資料中辨識出一運動員的一擊球姿態以取得該關鍵幀畫面。
  15. 如請求項13所述之球體追蹤方法，其中依據該關鍵幀畫面計算出該球體的該擊球瞬間速度及該擊球瞬間三維座標的步驟包含：將該球體在該關鍵幀畫面中的一擊球瞬間二維座標轉換為該擊球瞬間三維座標；以及依據該關鍵幀畫面及該關鍵幀畫面之後的至少一幀畫面計算該球體的該擊球瞬間速度。
  16. 如請求項10所述之球體追蹤方法，其中依據該第一三維預估座標及該第二三維預估座標進行校正以產生該球體在該第一幀時間的該三維校正座標的步驟更包含：當該差值小於該臨界值時，獲取該球體在該第一幀時間之後的一第二幀時間的一第三三維預估座標，將該第一三維預估座標及該第二三維預估座標分別與該第三三維預估座標相比較，並將該第一三維預估座標及該第二三維預估座標中最接近該第三三維預估座標的一者作為該三維校正 座標。
  17. 如請求項10所述之球體追蹤方法，更包含：依據一預設期間內的該三維校正座標產生該球體的一三維飛行軌跡；以及顯示包含該三維飛行軌跡的影像。
  18. 如請求項10所述之球體追蹤方法，更包含：依據一預設期間內的該三維校正座標產生該球體的一三維飛行軌跡；依據該三維飛行軌跡與該球體所在場地的一場地三維模型計算該球體在該場地三維模型中的一落地座標；以及依據該落地座標相對於該場地三維模型中複數個邊界線的位置產生一判斷結果。
TW111138080A 2022-10-06 2022-10-06 球體追蹤系統及方法 TWI822380B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW111138080A TWI822380B (zh) 2022-10-06 2022-10-06 球體追蹤系統及方法
CN202211319868.9A CN117893563A (zh) 2022-10-06 2022-10-26 球体追踪系统及方法
US18/056,260 US20240119603A1 (en) 2022-10-06 2022-11-17 Ball tracking system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111138080A TWI822380B (zh) 2022-10-06 2022-10-06 球體追蹤系統及方法

Publications (2)

Publication Number Publication Date
TWI822380B true TWI822380B (zh) 2023-11-11
TW202416224A TW202416224A (zh) 2024-04-16

Family

ID=89722556

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111138080A TWI822380B (zh) 2022-10-06 2022-10-06 球體追蹤系統及方法

Country Status (3)

Country Link
US (1) US20240119603A1 (zh)
CN (1) CN117893563A (zh)
TW (1) TWI822380B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101067866A (zh) * 2007-06-01 2007-11-07 哈尔滨工程大学 基于鹰眼技术的网球赛仿真装置及其仿真处理方法
TW201541407A (zh) * 2014-04-21 2015-11-01 Tsu-Li Yang 辨識二維影像產生三維資訊之方法
CN106780620A (zh) * 2016-11-28 2017-05-31 长安大学 一种乒乓球运动轨迹识别定位与跟踪系统及方法
US20210319618A1 (en) * 2018-11-16 2021-10-14 4Dreplay Korea, Inc. Method and apparatus for displaying stereoscopic strike zone

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101067866A (zh) * 2007-06-01 2007-11-07 哈尔滨工程大学 基于鹰眼技术的网球赛仿真装置及其仿真处理方法
TW201541407A (zh) * 2014-04-21 2015-11-01 Tsu-Li Yang 辨識二維影像產生三維資訊之方法
CN106780620A (zh) * 2016-11-28 2017-05-31 长安大学 一种乒乓球运动轨迹识别定位与跟踪系统及方法
US20210319618A1 (en) * 2018-11-16 2021-10-14 4Dreplay Korea, Inc. Method and apparatus for displaying stereoscopic strike zone

Also Published As

Publication number Publication date
TW202416224A (zh) 2024-04-16
US20240119603A1 (en) 2024-04-11
CN117893563A (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
US11263462B2 (en) Non-transitory computer readable recording medium, extraction method, and information processing apparatus
CN107871120B (zh) 基于机器学习的体育赛事理解系统及方法
US9697617B2 (en) True space tracking of axisymmetric object flight using image sensor
US11798318B2 (en) Detection of kinetic events and mechanical variables from uncalibrated video
CN111444890A (zh) 一种基于机器学习的体育数据分析系统和方法
WO2019116495A1 (ja) 技認識プログラム、技認識方法および技認識システム
BR102019000927A2 (pt) Projetar uma projeção de raio a partir de uma vista em perspectiva
CN111184994B (zh) 击球训练方法、终端设备及存储介质
CN111754549A (zh) 一种基于深度学习的羽毛球运动员轨迹提取方法
CN112184807A (zh) 一种高尔夫球落地式检测方法、系统及存储介质
CN115100744A (zh) 一种羽毛球比赛人体姿态估计和球路追踪方法
US10776929B2 (en) Method, system and non-transitory computer-readable recording medium for determining region of interest for photographing ball images
CN105879349A (zh) 显示屏上显示高尔夫球落在果岭上的位置的方法及系统
CN110910489B (zh) 一种基于单目视觉的智能球场运动信息采集系统与方法
TWI822380B (zh) 球體追蹤系統及方法
CN116523962B (zh) 针对目标对象的视觉跟踪方法、装置、系统、设备和介质
KR101703316B1 (ko) 영상을 기반으로 속도를 측정하는 방법 및 장치
CN108854031A (zh) 通过无人摄影技术分析运动数据的方法及相关装置
CN114495254A (zh) 一种动作比对方法、系统、设备及介质
CN114005072A (zh) 一种用于羽毛球运动的智能辅助裁判方法及系统
TWI775637B (zh) 高爾夫揮桿解析系統、高爾夫揮桿解析方法及資訊記憶媒體
US12002214B1 (en) System and method for object processing with multiple camera video data using epipolar-lines
TWI775636B (zh) 高爾夫揮桿解析系統、高爾夫揮桿解析方法及資訊記憶媒體
CN116433767B (zh) 目标对象检测方法、装置、电子设备以及存储介质
WO2023106201A1 (ja) プレイ分析装置、プレイ分析方法、及びコンピュータ読み取り可能な記録媒体