TWI785655B

TWI785655B - 用於運動之攝影系統及其操作方法

Info

Publication number: TWI785655B
Application number: TW110122354A
Authority: TW
Inventors: 黃致豪; 許懷中
Original assignee: 逢甲大學; 國立臺灣體育運動大學
Priority date: 2021-06-18
Filing date: 2021-06-18
Publication date: 2022-12-01
Also published as: TW202301270A

Abstract

本發明為一種攝影系統，包括至少一攝影機、一記憶體、一控制器以及一顯示器。其中該控制器與該至少一攝影機和該記憶體相接，而該顯示器與該記憶體和該控制器相接。

Description

用於運動之攝影系統及其操作方法

本發明是關於一種攝影系統及其操作方法，特別是指一種應用於運動之攝影系統及其操作方法。

通常，與棒球有關的訓練項目大致包含練投、練打及接傳球等。此外，憑藉教練之教學經驗或球員本身之判斷來執行訓練細節上的調整。惟具有此需求時，相關訓練細節之校正適切程度，將相當由現場人員(教練/球員)基於自身經驗對個別球員之強弱點的判斷結果，因而難以普遍適用於所有的訓練場合。

當前的球類運動中，常見以高速攝影機結合運算系統，來對球體之運動軌跡執行分析(如在網球賽事中使用的鷹眼系統)；惟這些系統不僅所費不貲，且皆需要透過後製始能針對其中欲執行分析的影像部份進行提取。也因如此，這種系統將不適用於一般的訓練場合，除價格考量外，其於後製方面之時間局限，亦難以符合訓練時對訓練細節校正之需求為適時回饋的需求。

為解決上述至少一問題，本發明部份實施例提出一種攝影系統及其操作方法，特別係指一種用於運動之攝影系統及其操作方法。

所述攝影系統具有可適時在一顯示器上顯示訓練影片之優點。具體來說，所述攝影系統主要是根據一控制器基於判定程式所發出的通知，來切換至少一攝影機為第二模式/或第一模式，並藉由合併個別模式(第一模式/第二模式)所形成的第一序列影像和第二序列影像來產生一合成影片，用以提供用戶(教練/球員)確認當前訓練之情形，及即時對訓練細節進行校正或調整。

本發明至少一實施例為一種攝影系統，包括至少一攝影機；一記憶體；一控制器，與該攝影機和該記憶體相接以及一顯示器，與該記憶體和該控制器相接。

本發明至少一實施例為一種攝影系統的操作方法。所述的方法包含提供前述攝影系統；一用戶於該顯示器上擇定該虛擬區域；該至少一攝影機係於該第一模式下持續拍攝該場景，以獲得該第一序列影像，並將該第一序列影像暫存至該暫存器；該判定程式持續對該第一序列影像中的該至少一軌跡進行識別，以將該至少一軌跡與該虛擬區域比較，並且，當該至少一軌跡與該虛擬區域至少部份重疊時，即通知該控制器；該控制器將該至少一攝影機的該第一模式切換至該第二模式，直至該判定程式再次通知時，該至少一攝影機即生成該第二序列影像並輸入該控制器；該控制器於該暫存器中提取該第一影像圖框，並合併該第一序列影像和該第二序列影像為一合成影片；以及在該顯示器上顯示該合成影片。

以上對本發明的簡述，目的在於對本發明的數種面向和技術特徵作一基本說明，發明簡述並非對本發明的詳細表述，因此其目的不在特別列舉本發明的關鍵性或重要元件，也不是用來界定本發明的範圍，僅為以簡明的方式呈現本發明的數種概念而已。

為能更進一步瞭解本發明的特徵及技術內容，請參閱以下有關本發明的詳細說明與附圖。

本發明的至少一實施例是關於一種攝影系統及其操作方法，特別是指一種用於運動之攝影系統1及其操作方法。

請搭配參照第1圖到第4圖。第1圖是根據本發明繪示之用於運動之攝影系統1。注意在以下實施例中，攝影系統1主要被敘述為訓練場上的高速攝影系統，例如，使用由Stats Perform(STATS, LLC)公司的SportVU。然而，攝影系統1中的攝影機10亦可應用於數位靜態與動態攝影機、數位動態攝影機。

上述攝影系統1包括至少一攝影機10、一記憶體20、一控制器30以及一顯示器40。其中控制器30與攝影機10和記憶體20相接，而顯示器40與記憶體20和控制器30相接。於本實施例中，攝影機10具有一第一模式及一第二模式，並基於控制器30的一判定程式來判定是否將第一模式切換至第二模式。在本實施例中，判定程式可以是由程式語言所撰寫而成的人工智慧程式，例如以人工神經網路為架構所構成的深度學習(deep learning)程式YOLO，據以對影像資料進行表徵學習的演算法，本發明並不加以限制。

因此，本實施例之攝影機10在一開始係於第一模式下操作對一場景(如棒球訓練場)的持續拍攝以獲得一第一序列影像V1，然後將這個第一序列影像V1暫存至控制器30的一暫存器32，且直至判定的結果為正向時才切換至第二模式。並於以第二模式所進行的操作中，採用區間拍攝同個場景以生成一第二序列影像V2。其中所稱「持續拍攝」和「區間拍攝」是用來修飾或描述一個拍攝動作是否經過暫存器32的相對概念。

另外，為方便描述，在以下的說明中，第一序列影像V1係以複數個第一影像圖框之一集合表示；第二序列影像V2係以複數個第二影像圖框之一集合表示。

在第2圖中，第一影像圖框F1-F3係在傳送至暫存器32時附加第一時戳來傳送。暫存器32可依據這些第一影像圖框F1-F3的個別第一時戳TS1來推導其等的寫入時間，以將最早接收的第一影像圖框F1至最近接收的第一影像圖框F3加以排序，並暫存成一個佇列。其中所稱「佇列」，係指可由一參數值表示其佇列長度的一個線性表。並且，這個參數值係為與時間相關而可由攝影系統1預設及/或用戶自定義的一個值(如N秒)。

接著，針對以前述判定程式執行判定之動作進行說明。首先，控制程式持續於暫存器32所暫存的第一影像圖框F1-F3中識別至少一軌跡，然後比較此等軌跡與經選擇的至少一虛擬區域34以確認是否存在任何重疊。並且，僅於軌跡和虛擬區域34間存在重疊的情況，係進行將攝影機10之第一模式切換至第二模式的動作。而在將攝影機10切換至第二模式之後，當判定程式再次確認軌跡和虛擬區域34間存在重疊時，係將進行將攝影機10之第二模式切換至第一模式的動作。

如此一來，本實施例之攝影機10經由切換之第二模式，向控制器30輸入基於區間拍攝而形成的第二影像圖框S1-S3及附加於其的第二時戳TS2，當將第二影像圖框S1-S3輸入至控制器30時，控制器30亦將提取暫存器32中的所有第一影像圖框F1-F3，繼而，第二影像圖框S1-S3可以與第一影像圖框F1-F3組合為一合成影片V3。例如，控制器30可考慮到此等第一影像圖框F1-F3的第一時戳TS1與此等第二影像圖框S1-S3的第二時戳TS2之間的排序，以便大體上於進行位置對準後形成合成影片V3。

其中所稱「軌跡」，係指從一肢體動作(諸如投擲、揮棒或打擊等)/或一物體(諸如棒球或球棒等)的運動路徑。例如，藉由計算紅外線反射點於三維空間中的位移量以推估此肢體動作/或此物體之軌跡。

在本實施例中，前述記憶體20可包含(但不限於)揮發性記憶體(諸如DRAM、SRAM等)、非揮發性記憶體(諸如PROM、EAROM、EPROM 、EEPROM 等)或其組合的任何儲存裝置，其經配置以用於儲存述虛擬區域34。前述控制器30可係為包含(但不限於)微處理器(MPU)、微控制器(MCU)或其組合的任何處理裝置，其經配置以用於執行前述動作(暫存動作/判定動作/組合動作)，並可基於計算前述合成影片V3中的任何軌跡而獲取前述肢體動作/或前述物體的至少一運動數據 (諸如球速、揮擊速度、揮擊角度或肢體角度等)。前述顯示器40可係為任何平面顯示設備(諸如液晶螢幕、觸控螢幕等)，其經配置以用於顯示、呈現或回放前述合成影片V3。

第2圖是用於表示合成影片V3的示意圖。如第2圖所示，合成影片V3包括3個第一影像圖框F1-F3以及3個介入的第二影像圖框S1-S3。以簡化實例來說，第一影像圖框F1-F3可先被緩存於暫存器32；並且，在前述判定結果為正向時將藉由「組合」第二影像圖像S1-S3以形成前述合成影片V3。

其中所謂的「組合」，係指基於個別第一影像圖框F1-F3的第一時戳TS1及個別第二影像圖框S1-S3的第二時戳TS2，而在推個別第一影像圖框F1-F3及個別第二影像圖像S1-S3的順序後進行合成(影像拼接/影像融合)的過程。舉例來說，可以先基於多個第一影像圖框F1-F3及多個第二影像圖框S1-S3中兩兩之間的影像拼接，將這些圖框F1-F3、S1-S3組合為一個合成影片V3；再基於影像融合以使這些圖框F1-F3、S1-S3之間的過渡(如間隙)能夠更加平滑。

除此之外，亦可基於假定第二影像圖框(如S1)將以具有相鄰時間關係的第一影像圖框(如F3)實際上位於前述佇列中的位置而被記錄下來。再基於第二影像圖框S1與位於其前後的圖框(即第一影像圖框F3及第二影像圖框S2)之間的位置變動，來調整兩兩圖框(F3、S1和S1、S2)之間的間隙寬度，以平滑前述合成影片V3。舉例來說，可先經由前述控制器30計算第二影像圖框S1和第一影像圖框F3及第二影像圖框S2之間的間隙寬度，接著將第二影像圖框S1沿其中圖框寬度較大者的方向平滑地移動，以藉此更新合成影片V3中的排列情況，從而避免顯示時產生重疊/或模糊。其中，這些間隙寬度的值將取決於個別第一時戳TS1及個別第二時戳TS2之間的差。

在本實施例中，前述暫存器32較佳地為先進先出(first in first out，FIFO)暫存器，以依序地緩存待組合的第一影像圖框(如F0-F3)。如第2圖所示，若假定在前述佇列中，第一影像圖框F0是先被緩存至暫存器32的資料；而第一影像圖框F2是最後被緩存至暫存器32的資料，則當另一個第一影像圖框F3正在緩存至暫存器3218時，第一影像圖框F0將首先由此暫存器32中被推除；接著是第一影像圖框F1；然後是第一影像圖框F2。其中，這裡的第一影像圖框F0-F3的緩存順序係依據其等的第一時戳TS1所推定的前述寫入時間來決定。

第3圖是用於表示虛擬區域34的示意圖。如前所述，在本實施例中，用戶可於顯示器40上自由選擇任一個虛擬區域34，其原因在於，記憶體20儲存有這些虛擬區域34。如此使得前述判定程式能夠基於擇定的虛擬區域34，確定一個虛擬邊線36的大小及配置，並在確認到此虛擬邊線36因一個虛擬區域34與一個軌跡部份重疊而產生變化時，通知控制器30對前述攝影機10進行模式切換(即，由第一模式切換至第二模式)。其中，在本實施例中，前述判定程式對此虛擬邊線36的變化確認是持續的。並且，在判定程式再次確認到此虛擬邊線36因一個虛擬區域34與一個軌跡部份重疊而產生變化時，即通知控制器30對前述攝影機10再次進行模式切換(即，由第二模式切換至第一模式)，從而於顯示器40上顯示、呈現或回放並儲存前述合成影片V3。

於此，虛擬區域34可經設計以用於表示在訓練場上的任何位置；且較佳地，位於在發球區與擊球區之間。藉此用戶能夠基於調整虛擬區域34以控制合成影片V3實際顯示、呈現或回放之內容。

又於此，請搭配參照第4圖，第4圖是用於表示在顯示器40上顯示合成影片V3的示意圖。控制器30可經配置以：根據預設以從記憶體20所儲存的一個合成影片V3中提取前述肢體動作(諸如投擲、揮棒或打擊等)/或前述物體(諸如棒球或球棒等)；並經由計算以產生至少一運動數據(諸如球速、揮棒速度或角度、擊球速度或肢體角度等)；以及將所述合成影像及與其相應的運動數據一併顯示在顯示器40上。

綜上所述，雖然本發明已以實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍的基礎上，當可作個別種的更動和潤飾。因此，本發明的保護範圍當視後附的申請專利範圍所界定者為準。

1:攝影系統 10:攝影機 20:記憶體 30:控制器 32:暫存器 34:虛擬區域 36:虛擬邊線 40:顯示器 V1:第一序列影像 V2:第二序列影像 V3:合成影片 F0-F3:第一影像圖框 S1-S3:第二影像圖框 TS1:第一時戳 TS2:第二時戳

第1圖是根據本發明用於運動之攝影系統的示意圖。

第2圖是用於表示合成影片的示意圖。

第3圖是用於表示虛擬區域的示意圖。

第4圖是用於表示在顯示器上顯示合成影片的示意圖。

1:攝影系統

10:攝影機

20:記憶體

30:控制器

32:暫存器

40:顯示器

V1:第一序列影像

Claims

一種攝影系統，係包括：至少一攝影機，係具有一第一模式及一第二模式，於該第一模式中，係藉由持續拍攝一場景以生成一第一序列影像，於該第二模式中，係藉由區間拍攝該場景以生成一第二序列影像；一記憶體，係用以儲存至少一虛擬區域；一控制器，與該攝影機和該記憶體相接，該控制器係包括：一暫存器，係用以暫存有該第一影像序列；以及一判定程式，係使該控制器執行下列處理：持續於該暫存器的該第一序列影像中識別至少一軌跡，將該至少一軌跡與經選擇的該至少一虛擬區域進行比較，在該至少一軌跡至少部份重疊於該至少一虛擬區域時，判定要由該至少一攝影機的該第一模式切換至該第二模式，並合併該第一序列影像和該第二序列影像為一合成影片；以及一顯示器，與該記憶體及該控制器相接，係用以顯示該合成影片。
如請求項1所述的攝影系統，其中該第一序列影像係為複數個第一影像圖框的集合；及該第二序列影像係為複數個第二影像圖框的集合。
如請求項1所述的攝影系統，其中該至少一虛擬區域係與用戶於該顯示器上確定的位置對應而被選擇。
如請求項1所述的攝影系統，其中該至少一虛擬區域係為介於該場景中的發球區與擊球區之間的區域。
如請求項1所述的攝影系統，其中該軌跡係為一肢體動作或一物體的運動路徑。
如請求項1所述的攝影系統，其中該暫存器係為先進先出(FIFO)暫存器。
如請求項2所述的攝影系統，其中任一該第一影像圖框包括一第一時戳；及任一該第二影像圖框包括一第二時戳。
如請求項5所述的攝影系統，其中該肢體動作係為投擲動作、揮棒動作或打擊動作。
如請求項5所述的攝影系統，其中該物體係為棒球或球棒。
一種攝影系統的操作方法，包括以下步驟：提供如請求項1所述的攝影系統；一用戶於該顯示器上擇定該虛擬區域；該至少一攝影機係於該第一模式下持續拍攝該場景，以獲得該第一序列影像，並將該第一序列影像暫存至該暫存器；該判定程式持續對該第一序列影像中的該至少一軌跡進行識別，以將該至少一軌跡與該虛擬區域比較，並且，當該至少一軌跡與該虛擬區域至少部份重疊時，即通知該控制器；該控制器將該至少一攝影機的該第一模式切換至該第二模式，直至該判定程式再次通知時，該至少一攝影機即生成該第二序列影像並輸入該控制器；該控制器於該暫存器中提取該第一影像圖框，並合併該第一序列影像和該第二序列影像為一合成影片；以及在該顯示器上顯示該合成影片。