TWI537872B - 辨識二維影像產生三維資訊之方法 - Google Patents

Description

辨識二維影像產生三維資訊之方法

本發明係關於一種辨識二維影像產生三維資訊之方法。

物體的運動軌跡有二維平面運動軌跡也有三維立體運動軌跡。單一物體的運動軌跡可作為運動效能的觀察指標，而複數物體的運動軌跡則可進而作為交互作用程度的觀察指標。

吾人多透過視覺觀察來分辨不同的運動行為會產生甚麼樣的效果，以決定對策。然而，即使可從二維動態影片目視觀查及辨識單一物體的運動軌跡，但卻難以分辨其細部的變化。例如運動員在競逐爭勝時極為關切的一個擊球效能的問題是：以不旋轉的尋常方式擲球時，不難觀察球以拋物線的軌跡行進的路徑和速度。但如改以不同的角度擲球或增加左、右旋轉擲球的力道時，球的運動軌跡便與尋常擲球有很大的不同，然而究竟有何差異呢？遺憾的是：即使科技發達的今日也不能輕易解決這個簡單的問題！如果要剖析、分辨其間的差異，這就需要仰賴兩種輔助觀察的技巧： 將球的分時、連續複數張的運動軌跡用具體的路線陳現在單一張圖上，以及並列陳現尋常擲球的參考軌跡以供對照比對。因此，顯然單憑目視而無輔助工具來分辨物體的運動軌跡和現象是頗為困難的，而欲憑藉現有的解決方法也有相當窒礙之處，闡釋如下：攝錄影技術進步一日千里：高速攝錄影機每秒可拍攝上千張影片，也能以慢速重覆播放讓人有充裕時間檢視細節，但欲肉眼觀察以發現細部動作或關鍵技術仍是緣木求魚。例如棒球投手可運用手腕、手肘、腰部的轉動和手指勾勒以投擲變化球，但即使用慢動作重複播放其投擲動作，多數人還是無法察覺其技巧的細節，自亦當無法揣摩、學習。再如，以摩擦擊打網球上緣使球產生上旋行進，對球的運行軌跡會有甚麼樣的變化又會產生什麼效果呢？答案是：除了會改變球的運動軌跡外，還會在球落地後產生加速、偏移、增高彈跳及弧形投影之彎曲球路等偏移效應，因而讓對手難於應對而產生失誤。但要使上旋球產生足夠的偏移效應以壓迫對手時，旋轉圈數要達到多少RPM(每分鐘旋轉圈數，以下簡稱轉速)，同時球的運動軌跡要產生什麼樣的變化才足以讓對手判斷錯誤？也就是：欲獲得該旋轉圈數的臨界點和產生運動軌跡的變化就很重要了。再如：越來越多的各類重要運動競賽，如籃球、足球、棒球等等，都配置了複數個高速攝影機以對一連串的運動動作攝製影片，以避免遺漏任何資訊造成誤判。這種用配置越來越多的攝影機來減少觀測死角的方式，究竟是一種防標之策，因為越來越專業、激烈的運動 競賽中總會有被遺漏的角度導致無法確知所獲影片是否足夠做判決用。因此，上述這大型且正式運動要比較多角度觀察的需求，以及適合個人或小團體欲進行運動效能的研究，便需要足資信賴、更為周全，且需能輕易獲得運動資訊，以便設法改善、增進運動的效能。然而，現有的技術及設施顯然是無法達成的。

往昔物體的運動軌跡多使用單一或複數個硬體感應裝置，諸如各式攝錄影機、偵測器材以進行追蹤、記錄及計算獲得。近來則有使用軟體輔助感應裝置或攝錄影機等裝置以追蹤、記錄。然而無論採用何種方式，除都需仰賴硬體、投入人力及支出龐大費用外，還需從各種觀測角度規畫適當位置來配置多個硬體感應裝置或攝錄影機，才能有效的記錄、推算運動軌跡。因此，硬體配置相對困難、耗費資源也需要廣闊的配置空間，更不便於記錄即時、迅速移動或無特定活動區間的物體的運動軌跡及資訊，便使得各項科技、學術、運動之研究和應用無法普及和深化。

鑒於傳統獲取物體的運動資訊方法的諸多缺失，發明人乃亟思改善對策：為何不利用人手一機且未來發展無窮的行動裝置來解決這個問題呢？而這個關鍵因素卻是唯一解決途徑：需能透過邏輯演算法將二維資訊即時轉換成在三維空間能即時呈現的三維資訊，也能對照參考物體的運動軌跡。經長年之研究、驗證終能完成本發明。

本發明之主要目的係辨識二維影像產生三維資 訊之方法，其中三維運動資訊包括物體的運動軌跡、角度、旋轉角度、速度、落點等，但不限於所列舉的項目。該運動軌跡且可供三維瀏覽器進行細部觀察。本發明乃應用在一電腦系統上，該電腦系統包含一主機、一連結該主機的使用者介面及一連結該主機的顯示器。其中，上述主機中儲存含有許多人員、物體的運動過程的二維動態影片檔案。該主機可包括但不限於與攝錄影機、感測裝置、景深裝置耦合的個人電腦、筆記型電腦；亦可包括但不限於獨立運作的內建攝錄影機、感測裝置、景深裝置的手機、平板電腦等行動裝置。

本發明辨識二維影像產生三維資訊之方法包括以下之步驟：(A)主機開啟、讀取或使用攝錄影機攝錄影及顯示二維動態影片。(B)使用者從該二維動態影片或其他圖片擇一張選定一或複數個欲追蹤物體、軌跡點、開始追蹤圖片、結束追蹤圖片及篩選條件。(C)主機自動設定一虛擬3D空間及其坐標系。(D)搜尋全部二維動態影片，如有場地資訊便定位場地及人員在虛擬3D空間的坐標。(E)主機依照欲追蹤物體的形態、篩選條件，從首張追蹤圖片進行順向/逆向追蹤。(F)從該追蹤圖片的攝影機位置資訊及攝影資訊紀錄計算該圖片的位置，以定位該圖片在虛擬3D空間的坐標。(G)主機從該追蹤圖片比對、辨識欲追蹤物體。(H)如找到欲追蹤物體，便從追蹤到的物體影像計算景深，或直接擷取景深資訊以決定其軌跡點位置及軌跡點在虛擬3D空間中的坐標。(I)如未找到欲追蹤物體，就推定欲追蹤物體的軌跡點及其3D坐標和景深。(J)如順向追蹤完成且已經完成全部追蹤圖片便 儲存虛擬3D空間及其各追蹤到的物體的三維坐標，否則選定下一張欲追蹤圖片回步驟(F)進行定位該圖片；如是逆向追蹤完成亦儲存虛擬3D空間及其各追蹤到的物體的三維坐標，否則選定下一張欲追蹤圖片回步驟(F)進行定位該圖片及後續作業。(K)顯示連結序列圖片中運動物體之軌跡點所成的三維運動軌跡及該組二維動態影片；複數個欲追蹤物體相互作用的效果和對照資訊；如有場地資訊一併顯示之。

該主機係可以使用軟體從讀取的二維動態影片進行追蹤；也可以直接從攝影作業中逐張產生的二維動態影片來逐張、即時的進行影像分析；也可以將包括攝影日期、鏡頭透光率，及每張影像的光圈、焦距、攝影機位置及追蹤到的物體的影像等攝影資訊記錄於檔案。

藉此，本發明辨識二維影像產生三維資訊之方法，無需人為配置複數個感測元件或攝錄影裝置，而僅需單一攝錄影裝置配置單一或複數個攝錄影鏡頭進行攝錄影，便可即時的從攝錄影中直接從攝錄影機所截取的單一角度或複數角度的複數二維動態影片連續單張進行分析、計算並產生運動軌跡和相關的運動資訊。也可以產生動態影像紀錄片，再即時或事後憑以進行分析、計算並產生三維運動軌跡和相關資訊。若進一步記錄複數個運動物體的交互作用運動過程，便可因兩物體運動程度的差異而產生不同受力程度的運動軌跡和相關資訊。若再進一步攝錄記錄場地的資訊，便可以進一步產生三維運動軌跡和相關資訊，及其與場地相對位 置的相關資訊。

此外，該主機係依照該組二維動態影片之標頭資訊來區分影像屬性，該影像屬性可包含影像類型、影像描述以及影像張數，該組標頭資訊系依照攝錄影機的儲存影片格式編碼。

再者，該主機係可以從讀取的二維動態影片進行追蹤，也可以直接從攝影作業中逐張產生的二維動態影片來逐張、即時的進行影像分析。

再者，該攝錄影機可為單鏡頭數位攝錄影機以攝錄單一組二維動態影片，亦可為雙鏡頭數位攝錄影機以攝錄不同角度的複數組二維動態影片，亦可為雙鏡頭數位攝錄影機，其一為攝錄影鏡頭另一為景深鏡頭，只攝錄單一角度單組二維動態影片。亦可為上述裝置之組合。

再者，該影像類型包含二維靜態圖片和二維動態影片。

再者，該軌跡點是使用者所指定欲追蹤物體上的一點以供決定運動軌跡上的一點。使用者須自既有影片檔選定欲追蹤物體、開始追蹤圖片及結束追蹤圖片。惟系統實際追蹤欲追蹤物體的首張圖片則為所選定欲追蹤物體的該張圖片，進行以影片禎數遞增(順向)或遞減(逆向)來比對。若從攝影中直接進行比對者，使用者亦可從其他圖片來選定欲追蹤物體及軌跡點，此時，實際追蹤的首張圖片便是開始追蹤圖片，需進行順向追蹤直到該序列欲追蹤圖片追蹤完為止。

再者，該篩選條件是使用者畫定概略的欲追蹤 的物體圖片區塊，或選定物體的行進速度、轉速、顏色、文字描述的物體特徵等及其他可追蹤物體的特徵。系統會自動將選定區塊進行二值化、判定閥值(thresh)及分割獲取欲追蹤物體的圖像(排除多餘的背景)。

在進行比對作業前，系統須對欲追蹤影片進行去雜訊調整光影等的優化影片的前置作業。

再者，該虛擬3D空間係供定位二維動態影片各圖片及其中物體的關係位置、運動軌跡及場地資訊等的相關資訊。

再者，該一或複數個欲追蹤物體在該追蹤圖片上的位置可由軌跡點決定二維坐標，再進一步由景深計算獲得該點的三維坐標；或者直接從景深鏡頭、感測裝置所偵測獲得的數據以做為景深數據。

再者，其中該一或複數個欲追蹤物體可以為獨立單一的個體，亦可以為單一個體中不完整顯現的一部分物體。

再者，所述的比對方法從比對的範圍而言，是一種「基準增量比對法」，可包括但不限於下述演算法：欲追蹤物體在前後兩張欲追蹤圖片中，其位置的變更相對於整張圖片是較為微小的，故比對的區間只需從前一欲追蹤圖片所找到的欲追蹤物體的區間向周圍擴張一個「搜尋區增量」，此「搜尋區增量」可以下列算式計算獲得：「該追蹤物體在同狀態下估計之最高運動速度換算的畫素數×(1+寬裕程度(%))」以提升比對效率。該寬裕程度可視實際比對之需要適當修正調 適之。

所述的比對方法從比對的效能言，是因應比對實務狀況之需要加以調適、選擇，可包括但不限於近似比對法、相減法，此比對法之下比對兩物體的圖像無需完全相符，只要達到一定程度的符合便推斷已尋獲欲追蹤物體，此所稱之一定程度可以用百分比值(%)表示之，此值可視實際比對之需要適當修正調適之。

追蹤及比對方法：使用者自欲追蹤圖片序列中選定一欲追蹤物體，系統即以該張欲追蹤圖片為基準圖片搜尋欲追縱物體在該張的位置，並定位獲取其坐標，定此張為基準圖片，則先往前進行順向追蹤，也就是使用前張追蹤到的物體為本張欲追蹤物體，來追蹤本張欲追蹤圖片，以獲得該欲追蹤物體的運動軌跡點，直到順向追蹤直到結束追蹤圖片追蹤完為止。同理從基準圖進行逆向追蹤，也就是使用前張追蹤到的物體為本張欲追蹤物體，來追蹤本張欲追蹤圖片，以獲得該欲追蹤物體的運動軌跡點，直到逆向追蹤到開始追蹤圖片追蹤完為止。

若係沒有既有影片檔而從攝影中直接進行比對判別運動物體的軌跡時，使用者亦可用從其他圖片來選定欲追蹤物體及軌跡點，此時，實際追蹤的首張圖片便是從開始追蹤圖片進行順向追蹤直到該序列欲追蹤圖片追蹤完為止。

此外，因欲追蹤物體移動了位置，致有部分或全部形體遭到遮蔽而顯示不完整，甚至可能連續數張追蹤圖片都遭到遮蔽，或者形體超出畫面，便需透過位置的推定演 算法(可包括但不限於此演算法)來從前後較為完整的欲追蹤物體的位置，並增減欲追蹤物體的推算速度、轉速、角度及其軌跡點的位置和坐標，來推定其位置。若係推定的數值，則瀏覽頁面需以不同之表示方式，例如色澤、註釋等陳現出來以資區別。

再者，該推定方法是從前後最接近可辨識的兩張圖片上的欲追蹤物體間的形態、位置和光圈等來計算軌跡點及其二維坐標和景深。

再者，該軌跡點在虛擬3D空間的坐標的獲得作業，需比對開始追蹤圖片到結束追蹤圖片之間的全部圖片，但並非依照開始追蹤圖片到結束追蹤圖片的順序進行。為了提升比對的效率，首張追蹤圖片可採行自每張追蹤圖片左上第1行的第1個畫素開始比對，再往右逐畫素比對直到最末個畫素完後再移到第2行第1個畫素開始比對直到比對完最末個畫素後再移到第次行，依此類推的一字形比對方式尋找欲追蹤物體，但也不限於這種比對的邏輯。

如果找到欲追蹤物體系統會自動將將追蹤到的物體區塊進行二值化、自動判定閥值及分割獲取追蹤物體的圖像(排除多餘的背景)。

，以便下一張圖片作為欲追縱物體的基準圖。而系統也可憑該張圖片的焦距、光圈和模糊程度加上鏡頭透光率等必須參數，用散焦測距DFD(Depth From Defocus)、聚焦測距DFF(Depth From Focus)或其它景深計算方式獲得欲追蹤物體的景深距離，便可以獲得該追蹤物體的軌跡點在該張 圖片的景深。

再者，該三維運動軌跡是連接各追蹤到的物體的軌跡點的連結所形成的曲線。

所追蹤物體的速度可從該追蹤物體的實際軌跡點，及其前一追蹤物體的實際軌跡點的坐標差及時間差換算獲得距離的增量，亦可從感測裝置偵測獲得。

所追蹤物體的轉速、旋轉角度，可從欲追蹤物體上的紋路變動程度、角度計算獲得。有時為了提升比對的正確性，還可以在攝錄影前預先在物體上適當位置繪製標記，以便攝錄影獲得有標誌的運動物體圖像而易於分辨；亦可於進行感測前在被偵測物體上特定點加上發訊號裝置以便感測裝置偵測獲得相關數據。

兩個欲追蹤物體交互作用，可從該兩個欲追蹤物體觀察主動物體的運動軌跡、速度、角度及轉動的程度，和主動物體對被動物體的運動軌跡、速度、旋轉角度、方向、斜率及轉動的程度的影響程度。

用來做為對照運動軌跡的元件，可以為尋常運動的拋物線軌跡用來與增加旋轉投擲的運動軌跡對照；也可以為從外部載入或繪製的三維運動軌跡所轉換成的三維運動軌跡，再以軟體介面人工操作映射等比定位於虛擬三維空間的三維運動軌跡，惟場地資訊並非必要條件。

因為攝錄影機的位置和高度攸關所攝錄的二維動態影片各圖片的相對位置和角度，故如攝錄影機的位置有所變動，需有足夠的場地資訊，以供定位攝錄影機的位置和 高度。該攝影機的位置則是透過行動裝置來連結GPS定位監控系統或其他相關定位系統，以獲取行動裝置的經緯度及高度等位置資訊，再換算為虛擬3D坐標值定位於該虛擬3D空間中。

如使用自動對焦、自動設定光圈進行攝錄影者，主機須即時擷取每張圖片的光圈、焦距並記錄之，以供推定景深的參考數據。

該一或複數個欲追蹤物體可以為獨立單一的個體，亦可以為單一個體中的一部分，例如使用者可選定觀察整個手臂的動作，也同時選定觀察手脘的動作。

另外，該複數種影像產生流程係經由該使用者介面選擇複數種影像產生元件而組成，該複數種影像產生元件包含：選定瀏覽圖片檔案、從該瀏覽圖片選定欲追蹤物體及軌跡點、設定欲追蹤物體的名稱、設定欲篩選的條件、設定欲陳現的資訊等之設定作業。

本方法前述顯示連結序列圖片中運動物體之軌跡點所成的三維運動軌跡及該組二維動態影片，系統亦可使用習知的二維轉三維演算法，將二維運動物體以轉換為三維物體在三維瀏覽裝置中陳現。

本方法於前述影像處理、辨識前需對影像或圖片做必要之濾波除雜訊、光影等的調整，以獲得較清晰的畫質；或做必要的正規化以使比對的物件能在同一基礎上進行比對，以使比對、辨識作業更有效率、更正確。又復，本方法所使用的演算法，部分為習知或公開的技術，實作時仍當 配合環境或實際之需要適當斟酌調適為之。

以上概述及發明內容係較有效率地對現有技術無法普及、深化尋求解決對策，而非提供精確數據以取代精密之偵測設備及方法。且其與後續的實施方式之較詳細的說明皆為示範性質，是為了明確、進一步說明及列舉本發明的申請專利範圍，而非用來限定專利範圍。本發明仍以所主張之權力範圍所述為準。而有關本發明的其他目的與優點，將在後續的說明與圖示加以闡釋。

11‧‧‧主機

12‧‧‧使用者介面

13‧‧‧顯示器

14‧‧‧儲存媒體

15‧‧‧攝錄影機

16‧‧‧感測裝置

40‧‧‧選定欲追蹤物體圖形檔案

41‧‧‧欲追蹤物體

42‧‧‧軌跡點

43‧‧‧欲追蹤物體選定鈕

44‧‧‧移動圈選鈕

45‧‧‧放大鈕

46‧‧‧軌跡點圈選鈕

47‧‧‧調整光影鈕

48‧‧‧已經選定欲追蹤物體的清單

50‧‧‧影片顯示區

51‧‧‧瀏覽影片操縱桿

52‧‧‧瀏覽影片操縱鈕

53‧‧‧選定開始追蹤物體的張號

54‧‧‧選定結束追蹤物體的張號

55‧‧‧選擇瀏覽圖片的檔案

60‧‧‧開始追蹤圖片

61‧‧‧預計軌跡點

62‧‧‧實際軌跡點

63‧‧‧虛擬3D空間

71‧‧‧首張追蹤圖片

72‧‧‧結束追蹤圖片

73‧‧‧原點

731‧‧‧X軸

732‧‧‧Y軸

733‧‧‧Z軸

74‧‧‧開始追蹤圖片的欲追蹤物體

741‧‧‧軌跡點1

75‧‧‧中間追蹤圖片的欲追蹤物體

751‧‧‧軌跡點2

76‧‧‧結束追蹤圖片的欲追蹤物體

761‧‧‧軌跡點3

77‧‧‧運動軌跡

80‧‧‧網球場地

81‧‧‧擊球點的網球

82‧‧‧揮拍軌跡

83‧‧‧網球第1段運動軌跡

831‧‧‧網球尋常運動軌跡

84‧‧‧網球第2段運動軌跡

85‧‧‧擊球點

86‧‧‧網球拍揮拍資訊

87‧‧‧網球第1段運動資訊

88‧‧‧網球第2段運動資訊

89‧‧‧網球落點

第1圖係辨識二維影像產生三維資訊之方法之第一種系統架構圖。

第2圖係辨識二維影像產生三維資訊之方法之第二種系統架構圖。

第3圖係三維運動軌跡及運動資訊計算、獲取之操作步驟圖。

第4圖係預先定義欲追蹤物體及其形態、區塊、軌跡點位置等及其篩選條件、欲陳現資訊的輸入介面之示意圖。

第5圖係選擇欲追蹤的檔案、開始追蹤圖片和結束追蹤圖片之示意圖。

第6圖係從預計軌跡點產生實際軌跡點的示意圖。

第7圖係一組動態影片產生三維運動軌跡及其在虛擬3D空間之坐標示意圖。

第8圖係本發明方法產生之三維運動軌跡及球速、轉速、 落點、擊球點擊場地等資訊示意圖。

請參照第1圖為本發明辨識二維影像產生三維資訊之方法的第一種實施例系統架構圖，其係使用者經由主機11的使用者介面12輸入一組二維動態影片；或者令主機11從指定位置的儲存媒體14讀入一組二維動態影片，再進行判讀以產生三維運動軌跡，再呈現在顯示器13上。

請參照第2圖為本發明辨識二維影像產生三維資訊之方法的第二種實施例系統架構圖。使用者使用攝錄影機15照攝獲得一組二維動態影片，再由主機11進行景深判讀以產生三維運動軌跡，儲存相關資訊於儲存媒體14；亦可以同步使用輔助感測裝置16偵測景深，再呈現在顯示器13上；或者也可以直接從攝錄影作業中逐張產生的二維動態影片，來逐張、即時的進行影像分析。而該攝錄影機15可為單鏡頭數位攝錄影機15以拍攝一組二維動態影片；亦可為雙鏡頭數位攝錄影機15以拍攝不同角度的兩組二維動態影片；亦可為雙鏡頭數位攝錄影機15但其中一個鏡頭為單純拍攝影像、影片用，而另一個鏡頭則為景深鏡頭，用以輔助蒐集各個物體的景深資訊以加速計算及增加產生三維運動軌跡和資訊的正確性。而該攝錄影機15亦可配合所產生的資訊的需要，使用較高階的高速攝錄影機以截取多於每秒24禎(frame)的影片。上述主機11可包括但不限於與攝錄影機15、感測裝置16、景深裝置耦合的個人電腦、筆記型電腦；亦可包括但不限於獨立運作的內建攝錄影機15、感測裝置16、景深裝置的手機、平板電腦等行動裝 置。

第3圖為本發明之三維運動軌跡及運動資訊計算取得之操作步驟的實施例程序圖，包括以下步驟：(A)主機11開啟、讀取或使用攝錄影機15攝錄影及顯示一或複數組二維動態影片(S100)。(B)使用者從該二維動態影片或其他圖片選定一或複數個欲追蹤物體41、軌跡點42、開始追蹤圖片60和結束追蹤圖片72及篩選條件(S102)。(C)主機11自動設定一虛擬3D空間63及及其坐標系(S104)。(D)搜尋全部二維動態影片，如有場地資訊便定位場地及人員在虛擬3D空間63的坐標(S106)。(E)主機11依照欲追蹤物體41的形態、篩選條件，從首張追蹤圖片71進行順向/逆向追蹤(S108)。(F)從該追蹤圖片的攝影機位置資訊及攝影資訊紀錄計算該圖片的位置，以定位它在虛擬3D空間63的坐標(S110)。(G)主機11從該追蹤圖片比對、辨識欲追蹤物體41(S112)。(H)如找到欲追蹤物體41，便從追蹤到的物體影像計算景深，或直接擷取景深資訊以決定其軌跡點42的位置及軌跡點42在虛擬3D空間63中的坐標。(I)如未找到欲追蹤物體41，就推定欲追蹤物體41的軌跡點42及其3D坐標和景深(S116)。(J)如是順向追蹤完成且已經完成全部追蹤圖片，便儲存虛擬3D空間及其各追蹤到的物體的三維坐標，否則選定下一張欲追蹤圖片回步驟(F)進行定位該圖片；如是逆向追蹤完成亦儲存虛擬3D空間及其各物體的三維坐標，否則選定下一張欲追蹤圖片回步驟(F)進行定位該圖片及後續作業。(K)顯示連結序列圖片中運動物體之軌跡點所成的三維運動軌跡及該組二維動態影 片；顯示複數個欲追蹤物體41相互作用的效果和對照資訊；如有場地資訊一併顯示之(S128)。

請參照第4圖為本發明預先定義欲追蹤物體41及其形態、區塊、軌跡點42的位置等及其篩選條件、欲陳現資訊的輸入介面的實施例示意圖。使用者先用瀏覽功能選定欲追蹤物體的圖片檔案，亦可從欲追蹤圖片的二維動態影片檔選擇追蹤物體圖形檔案，隨後欲追蹤物體圖形會顯示在影像顯示框，使用者便可使用欲追蹤物體選定鈕43劃出欲追蹤物體41的形狀、外框，並按軌跡鈕從圖片中圈選一軌跡點。使用者還可以設定選擇欲篩選的條件及欲陳現的資訊。使用本項介面可設定複數個欲追蹤物體41。

請參照第5圖為本發明方法之選擇欲追蹤的檔案、開始追蹤圖片60和結束追蹤圖片72的實施例示意圖，使用者先用瀏覽功能選擇欲瀏覽圖片的檔案55，隨後該影片會顯示在影像顯示框，便可使用瀏覽影片操縱桿51操作陳現欲觀察的圖片，及選定開始追蹤圖片的張號53和選定結束追蹤圖片的張號54。

請參照第6圖為本發明從預計軌跡點61產生實際軌跡點62的實施例示意圖。從預計軌跡點61的景深可計算獲得實際軌跡點62在虛擬3D空間63的坐標，並標示於虛擬3D空間63中。

請參照第7圖係本發明之一組動態影片產生三維運動軌跡及其在虛擬3D空間63之坐標的實施例示意圖。 從開始追蹤圖片60至結束追蹤圖片72依照第6圖的方法各別計算獲得其實際軌跡點1741、軌跡點2751、軌跡點3761，再計算獲得各實際軌跡點1741、軌跡點2751、軌跡點3761的坐標(x1,y1,z1)、(x2,y2,z2)、(x3,y3,z3)，並標示於虛擬3D空間63中。

請參照第8圖係本發明方法產生之三維運動軌跡及球速、轉速、落點、擊球點及運動場地等資訊的實施例示意圖，從揮拍軌跡82可觀察擊球點85的位置。網球受力後會行進產生如網球第1段運動軌跡83和網球第2段運動軌跡84，此運動軌跡上的軌跡點42可由使用者選擇兩種表示方式之一來呈現(但不限於此兩種方式)：速度表示法和圖片張數表示法。(1)速度表示法之網球第1段運動軌跡83和網球第2段運動軌跡84有疏密之別，用以觀察運動軌跡77中速度快慢的區段；(2)圖片張數表示法的各軌跡點42則是從各追蹤圖片的追蹤物體直接計算獲得，所以各實際軌跡點62之間是等距的。

當球往對手方向前進運動時，除轉速外還可透過演算法計算獲得球速、網球第1段運動軌跡83；當球在對手場區落地後，如果球的轉速超過反彈加速所需的臨界值(critical value)時，網球第2段運動軌跡84便會產生使對手感覺不同程度、較具有壓迫性的加速度及高彈跳。此外，在沒有旋轉的尋常運動中的網球尋常運動軌跡831也能標示於畫面中，以便對照瞭解網球第2段運動軌跡84旋轉所產生的運動軌跡相對尋常運動軌跡831的影響。另外，如果該組二維 動態影片中含有場地的畫面，便可計算獲得該場地在虛擬3D空間63中的坐標。這些相關數據都會標示於虛擬3D空間63中適當的位置，這樣便也就能夠標示出在對手場中的網球落點89的位置，以及判斷其是否出界。從該虛擬3D空間63坐標之各物體的相對位置，我們也可讓使用者自行選擇要觀察的物體及其相關的運動資訊。

上述實施例僅係為了方便說明而列舉的，故以網球為例的狀況、物理特性、演算法等通常也適用於棒球、壘球、桌球、足球、籃球、高爾夫球、保齡球等運動及運動以外的其他物體之移動、交互作用的現象；且圖示並沒有精確地依照真實比例繪製，因此本發明圖示中的比例並不限定與實務完全吻合。此外，實施例的比對方法也僅係列舉，在實際運作時仍需根據實際需要使用最適當的方法。故本發明所主張之權利範圍自應以申請專利範圍所述為準，而非僅限於上述實施例也非僅限於所列舉的項目。熟知本技術者當可在閱讀說明書後，從而更了解請求項中所界定的申請專利發明的其他好處或其他目的。

Claims (12)

1. 一種辨識二維影像產生三維資訊之方法，其係應用在一電腦系統上，該電腦系統包含一主機、一連結該主機的使用者介面，一連結該主機的顯示器，以及連結該主機的攝錄影機、感測裝置和檔案，該方法包括以下步驟：(1)該主機開啟、讀取或使用該攝錄影機攝錄影及顯示二維動態影片；(2)使用者從該二維動態影片或其他圖片擇一張選定一或複數個欲追蹤物體、軌跡點、開始追蹤圖片和結束追蹤圖片及篩選條件，所選定欲追蹤物體之該張圖片便為首張追蹤圖片；(3)該主機自動設定一虛擬3D空間及其坐標系；(4)該主機搜尋全部二維動態影片，如有場地資訊便定位場地及人員在該虛擬3D空間的坐標；(5)該主機依照該選定之一或複數個欲追蹤物體、該篩選條件，從首張追蹤圖片進行順向追蹤/逆向追蹤；(6)從該追蹤圖片的攝影機位置資訊及攝影資訊紀錄計算該追蹤圖片的位置，以定位該追蹤圖片在該虛擬3D空間的坐標；(7)該主機從該追蹤圖片比對、辨識該欲追蹤物體；(8)如找到該欲追蹤物體，便從追蹤到的物體影像計算景深，及計算運動速度、轉速、旋轉角度及二物體相互作用所產生的運動軌跡的變化等運動資訊，或可直接擷取 景深資訊以決定其軌跡點位置及軌跡點在該虛擬3D空間中的坐標；(9)如未找到該欲追蹤物體，就推定該欲追蹤物體的軌跡點及其3D坐標和景深；(10)如順向追蹤完成且已經完成全部追蹤圖片，便儲存該虛擬3D空間及其各追蹤到的物體的三維坐標，如順向追蹤未完成則選定下一張欲追蹤圖片回步驟(6)進行定位該圖片；如順向追蹤完成但未完成全部追蹤圖片便回步驟(5)從首張追蹤圖片進行逆向追蹤；如是逆向追蹤完成亦儲存該虛擬3D空間及其各物體的三維坐標，否則選定下一張欲追蹤圖片回步驟(6)進行定位該圖片及後續作業；以及(11)顯示連結該全部追蹤圖片中運動物體之軌跡點所成的三維運動軌跡及該組二維動態影片；複數個欲追蹤物體相互作用的效果和對照資訊；如有場地資訊一併顯示之。
2. 如申請專利範圍第1項所述之一種辨識二維影像產生三維資訊之方法，其中該主機係可以為與攝錄影機、感測裝置、景深裝置耦合的個人電腦、筆記型電腦等電腦裝置；亦可以為獨立運作的內建攝錄影機、感測裝置、景深裝置的手機、智慧手機、平板電腦等可攜式裝置，其功能則可以從讀取的二維動態影片進行比對、辨識、分析和處理；也可以直接從攝錄影機攝錄影作業中逐張產生的二維動 態影片來逐張來進行比對、辨識、分析和處理；也可以耦合感測裝置作為偵測獲得物體景深的輔助工具。
3. 如申請專利範圍第1項所述之一種辨識二維影像產生三維資訊之方法，其中該攝錄影機可為單鏡頭數位攝錄影機，亦可為雙鏡頭數位攝錄影機以拍攝不同角度的兩組二維動態影片，亦可為雙鏡頭數位攝錄影機，含有一般攝錄影鏡頭和景深鏡頭。
4. 如申請專利範圍第1項所述之一種辨識二維影像產生三維資訊之方法，其中該篩選條件是選定欲追蹤物體的圖樣、形態、顏色、物體行進速度、轉速、文字描述的物體特徵等及其他可追蹤物體的特徵。
5. 如申請專利範圍第1項所述之一種辨識二維影像產生三維資訊之方法，其中該比對方法為基準增量比對法，其比對的區間只需從前一欲追蹤圖片所找到的欲追蹤物體向周圍擴張一個「搜尋區增量」，此「搜尋區增量」可以下列算式計算獲得：「該追蹤物體在同狀態下估計之最高運動速度所換算的畫素數×(1+寬裕程度(%))」以提升比對效率，該寬裕程度可視實際比對之需要適當修正調適之。
6. 如申請專利範圍第1項所述之一種辨識二維影像產生三維資訊之方法，其中該虛擬3D空間是以長、寬、高坐標軸定義的實體空間以三維表示的虛擬空間，一或複數組二維動態影片中的欲追蹤圖片中的物體、場地，和推定的運動軌 跡、參考路線，都可以定位在該虛擬3D空間中，以便使用三維瀏覽裝置從該空間中穿梭進行動態、不同角度的觀察，亦可從使用二維瀏覽裝置從二維空間的角度進行觀察，從而亦可將欲對比的兩組二維對照資訊加以對照陳現。
7. 如申請專利範圍第1項所述之一種辨識二維影像產生三維資訊之方法，其中該對照資訊是將一或複數組不同人、物的同一類動作的運動軌跡放在鄰近坐標空間中以同時陳現，也可讓使用者自行操作運動軌跡使移動、位移、重疊以方便對照比較其間的差異。
8. 如申請專利範圍第1項所述之一種辨識二維影像產生三維資訊之方法，其中該推定方法是用來推定本張欲追蹤物體在欲追蹤圖片的坐標和形體，其坐標/形體之推定方法為：用前張追蹤到的物體為基準物，再往前取最接近的一張欲追蹤圖片為基準圖，進行比對尋找獲取基準物在基準圖中的坐標/形體，再消除張數差異對坐標的影響，及消除移動、旋轉等運動對形體的影響。
9. 如申請專利範圍第1項所述之一種辨識二維影像產生三維資訊之方法，其中該比對方法是使用者自欲追蹤圖片序列中選定一欲追蹤物體，該電腦系統即以該張欲追蹤圖片為首張追蹤圖片，用近似比對法進行比對欲追縱物體在該張的位置，如果找到欲追蹤物體該電腦系統會自動將追蹤到 的物體區塊進行二值化、自動判定閥值及分割獲取追蹤物體的圖像，並定位獲取其坐標，然後該電腦系統會先往前進行順向追蹤，也就是使用前張追蹤到的物體為本張欲追蹤物體，來追蹤本張欲追蹤圖片，以獲得該欲追蹤物體及其運動點，直到順向追蹤到結束追蹤圖片追蹤完為止，同理可從該基準圖進行逆向追蹤，若從攝影中直接進行比對判別運動物體的軌跡時，使用者亦可從其他圖片來選定欲追蹤物體及軌跡點，此時，首張追蹤圖片便是開始追蹤圖片需進行順向追蹤直到該序列欲追蹤圖片追蹤完為止。
10. 如申請專利範第1項所述之一種辨識二維影像產生三維資訊之方法，其中該兩個欲追蹤物體的相互作用，可觀察主動物體的運動軌跡、速度、角度及轉動的程度，和主動物體對被動物體的運動軌跡、速度、旋轉角度、方向、斜率及轉動的程度的影響程度。
11. 如申請專利範圍第2項所述之一種辨識二維影像產生三維資訊之方法，其中該二維動態影片，需有相應的包括攝影日期、鏡頭透光率，及每張影像的光圈、焦距、攝影機位置及追蹤到的物體的影像等包含但不限於所列舉的該攝影資訊紀錄，或於直接從攝錄影機攝錄影作業中逐張產生的一或複數組二維動態影片，需將包括攝影日期、鏡頭透光率、特定物體在同狀態下估計之最高運動速度等，及每 張影像的光圈、焦距、攝影機位置及追蹤到的物體的影像等包含但不限於所列舉的該攝影資訊紀錄。
12. 如申請專利範圍第1項所述之一種辨識二維影像產生三維資訊之方法，其中該攝影機的位置，是透過行動裝置來連結GPS定位監控系統或其他相關定位系統，以獲取行動裝置的經緯度及高度等包含但不限於左列所列舉的該攝影機位置資訊，再換算為虛擬3D坐標值定位於該虛擬3D空間中。