TW201827788A - 用於計算運動的客體的位置資訊的感測裝置以及利用該裝置的感測 方法 - Google Patents

用於計算運動的客體的位置資訊的感測裝置以及利用該裝置的感測 方法 Download PDF

Info

Publication number
TW201827788A
TW201827788A TW107101649A TW107101649A TW201827788A TW 201827788 A TW201827788 A TW 201827788A TW 107101649 A TW107101649 A TW 107101649A TW 107101649 A TW107101649 A TW 107101649A TW 201827788 A TW201827788 A TW 201827788A
Authority
TW
Taiwan
Prior art keywords
image
difference
difference operation
images
primitive
Prior art date
Application number
TW107101649A
Other languages
English (en)
Other versions
TWI647424B (zh
Inventor
朴賢陳
Original Assignee
南韓商高爾縱股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商高爾縱股份有限公司 filed Critical 南韓商高爾縱股份有限公司
Publication of TW201827788A publication Critical patent/TW201827788A/zh
Application granted granted Critical
Publication of TWI647424B publication Critical patent/TWI647424B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/36—Training appliances or apparatus for special sports for golf
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/10—Positions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本發明提供一種感測裝置以及感測方法，能夠在針對如高爾夫球桿那樣具有無法確定的形狀、大小、材質、反射度等的客體運動進行攝影而得到的圖像中用簡單的方法非常準確且穩定地提取運動的客體，本發明所關係的用於計算運動的客體的位置資訊的感測裝置的感測方法包括：從觀察該運動的客體的視角連續地獲取圖像的步驟；針對基準圖像相對該連續地獲取的各個圖像的各個差分運算圖像，分別形成連續的兩個差分運算圖像的差分運算圖像的步驟；以及根據該連續的兩個差分運算圖像的各個差分運算圖像，計算該運動的客體的位置資訊的步驟。

Description

用於計算運動的客體的位置資訊的感測裝置以及利用該裝置的感測 方法
本發明屬於能夠連續獲取關於運動的客體的圖像並對其進行分析而從各個圖像提取該客體並據此計算該客體的位置資訊的感測(sensing)裝置以及利用該裝置的感測方法，例如關於在使用者手持高爾夫球桿進行高爾夫揮桿來擊打高爾夫球時通過獲取並分析關於該高爾夫球桿以及高爾夫球的圖像來計算關於該高爾夫球和該高爾夫球桿的運動的感測資料的感測裝置以及利用該裝置的感測方法。
分析對運動的客體進行攝影而得到的圖像來計算該客體的位置資訊的技術主要以感測裝置的形態利用於在室內或者特定場所通過模擬以交互體育模擬(Interactive Sports Simulation)的形態進行如棒球、足球、籃球以及高爾夫等的熱門體育比賽的多種多樣的模擬器以及用於其的裝置。
如果能夠針對對運動的客體例如在使用者用高爾夫球桿進行高爾夫揮桿來擊打高爾夫球時運動的高爾夫球桿和高爾夫球進行攝影而得到的每幀，計算處於哪個位置，則能夠利用針對每幀計算出的位置資訊 來計算高爾夫球桿和高爾夫球的軌跡、速度、方向角、高度角等各種運動學上的資訊，還能夠利用該資訊來計算使用者針對高爾夫揮桿的分析資訊、或者在如所謂螢幕高爾夫(screen golf)的虛擬高爾夫類比系統中通過影像實現高爾夫球飛行的類比影像。
通常，在針對某個運動的客體連續獲取的圖像中，運動的客體針對每幀在相互不同的位置出現，另一方面，其背景部分針對每幀不改變而大致固定，所以如果針對一幀的圖像和其他幀的圖像，通過關於各個圖元的圖元值(亮度值)的差分運算(Difference Calculation)形成差值影像(Difference Image)，則在該差值影像中背景部分被去除而僅運動的客體部分留下，在圖像中提取運動的客體時廣泛利用差值影像法。
圖1是用於說明如上述的差值影像法的附圖，表示在時刻ta時間點攝影的圖像(frame_ta)和在時刻tb時間點攝影的圖像(frame_tb)的差值影像Diff(ta，tb)。
差分運算是根據同一位置的圖元之間的圖元值(亮度值)的差而求出的運算，在兩個圖像的同一位置的各圖元的圖元值的差大於0情況下，該差值成為相應圖元的圖元值(亮度值)，在兩個圖像的同一位置的各圖元的圖元值的差是小於0的負數的情況下，用0代替來製作差值影像。
在圖1中，例示針對在x軸方向上14個、在y軸方向上13個的14x13大小的圖像進行差分運算的情況。
這樣的差分運算的目的在於，在frame_ta圖像中提取運動的客體(A部分)。如果為此利用時刻tb時間點的圖像frame_tb針對兩個圖像的所有圖元進行差分運算，則如圖1所示，形成Diff(ta，tb)的差值影 像。
如從圖1可知，在例如frame_ta圖像的第(1，1)圖元和frame_tb圖像的第(1，1)圖元分別具有20的圖元值時，通過差分運算，圖元值成為0而差值影像Diff(ta，tb)上的第(1，1)圖元以黑色顯示。
例如，在frame_ta圖像的第(2，7)圖元的圖元值是50且frame_tb圖像的第(2，7)圖元的圖元值是20時，通過差分運算，圖元值成為50-20=30而差值影像Diff(ta，tb)上的第(2，7)圖元以具有30的圖元值的圖元顯示。
例如，在frame_ta圖像的第(6，10)圖元的圖元值是40且frame_tb圖像的第(6，10)圖元的圖元值是100時，通過差分運算，成為40-100=-60而具有負數值，從而該-60被0代替，圖元值成為0而差值影像Diff(ta，tb)上的第(6，10)圖元以黑色顯示。
在用這樣的方式求出frame_ta圖像相對frame_tb圖像的差值影像時，如果基於照明的運動的客體的反射度等始終恒定且在周邊不存其他變數，則能夠通過差值影像非常準確地提取客體A。
但是，由於客體運動而針對照明的反射度等可能針對每幀不同，所以形成客體的圖元的圖元值針對每幀可能不同，而且，由於其他物體進入到中間或者運動的某個物體被捕捉到圖像等各種變數，無法通過差值影像始終準確地提取客體A的情況較多。如果在圖1中觀察frame_ta圖像相對frame_tb圖像的差值影像Diff(ta，tb)，則觀察到客體A由於差分運算，相當部分受到損傷，而以A'部分顯示。
特別，由於客體的色相或者針對照明的反射度、周邊照度的 差異、針對照明的陰影(Shade)、客體的材質等的影響，還有在圖像上客體與背景部分幾乎相似或者反而具有更暗的圖元值的情況等，存在非常難以在圖像上用差值影像法提取高爾夫球桿，即便提取但據此計算出的位置資訊的準確度非常低的問題。
與高爾夫球桿不同，在高爾夫球的情況下，由於形狀和大小等被整形化，而且大部分是亮的色相，所以能夠通過差值影像法，非常準確地提取圖像，而且在差值影像過程中，即使高爾夫球部分的一部分圖元損失，由於形狀和大小被整形化，所以也能夠非常準確地擬合(fitting)輪廓線。
但是，高爾夫球桿不僅非常難以用差值影像法提取，而且即便提取但用如上述的在高爾夫球的提取中利用的影像處理法也非常難以提取。
為了解決這樣的問題，提出了針對高爾夫球桿的桿身以及桿頭等附加特定標記並在圖像中尋找該特定標記來確定高爾夫球桿的位置的方法所關係的技術，但存在在使用者進行高爾夫練習或者進行虛擬的高爾夫比賽時，必須使用附加有特定標記的特定高爾夫球桿這樣的致命的問題，即便附加有特定標記但根據高爾夫揮桿也有相應標記在圖像上未完整地出現或者被遮擋的情況，所以存在難以準確地確定高爾夫球桿的準確的位置的問題。
作為與本發明關聯的以往的現有技術文獻，有韓國專利申請第10-2011-0025149號、韓國專利申請第10-2011-0111875、日本公開專利第2005-210666號等。
本發明是為了解決如上述的以往的問題而完成的，提供一種用於計算運動的客體的位置資訊的感測裝置以及利用該裝置的感測方法，能夠在針對如高爾夫球桿那樣具有無法確定的形狀、大小、材質、反射度等的客體運動進行攝影而得到的圖像中用簡單的方法非常準確且穩定地提取運動的客體。
本發明的一個實施例所關係的用於計算運動的客體的位置資訊的感測裝置的感測方法的特徵在於，包括：從觀察該運動的客體的視角連續地獲取圖像的步驟；針對基準圖像相對該連續地獲取的各個圖像的各個差分運算圖像，分別形成連續的兩個差分運算圖像的差分運算圖像的步驟；以及根據該連續的兩個差分運算圖像的各個差分運算圖像，計算該運動的客體的位置資訊的步驟。
另外，優選，本發明的用於計算運動的客體的位置資訊的感測裝置的感測方法的特徵在於，該分別形成連續的兩個差分運算圖像的差分運算圖像的步驟包括：將該連續地獲取的圖像中的一幀的圖像決定為該基準圖像的步驟。
另外，優選，本發明的用於計算運動的客體的位置資訊的感測裝置的感測方法的特徵在於，該分別形成連續的兩個差分運算圖像的差分運算圖像的步驟包括：根據基準圖像相對該連續地獲取的各個圖像的差分運算，分別形成包括具有比各圖像上的背景部分更亮的圖元值的圖元及具有比該背景部分更暗的圖元值的圖元這全部的差分運算圖像的步驟；以 及針對該形成的差分運算圖像中的連續的兩個差分運算圖像分別進行差分運算處理，形成差分-差分運算圖像的步驟。
另外，優選，本發明的用於計算運動的客體的位置資訊的感測裝置的感測方法的特徵在於，該分別形成連續的兩個差分運算圖像的差分運算圖像的步驟包括：在該連續地獲取的各個圖像中，形成將各個圖元的圖元值和該基準圖像的對應的位置的各圖元的圖元值的差的絕對值作為圖元值的絕對值差分運算圖像的步驟；以及針對連續的兩個該絕對值差分運算圖像，進行如果各個對應圖元的圖元值的差大於0則將該值作為圖元值且如果小於0則將0作為圖元值的差分運算處理，形成差分-差分運算圖像的步驟。
另一方面，本發明的另一實施例所關係的用於計算運動的客體的位置資訊的感測裝置的感測方法的特徵在於，包括：從觀察該運動的客體的視角連續地獲取圖像的步驟；在該連續地獲取的各個圖像中包括背景部分、針對每幀在新的位置出現的位置移動客體、及在連續的圖像上活動變換位置重疊地出現的運動位置重疊部分，以在該連續地獲取的各個圖像中，提取該位置移動客體及運動位置重疊部分且去除該背景部分的方式，執行影像處理的步驟；針對該影像處理後的圖像，通過連續的兩個圖像的差分運算，去除該運動位置重疊部分而提取與該運動的客體相關的位置移動客體的步驟；以及計算該提取的運動的客體的位置資訊的步驟。
另外，優選，本發明的用於計算運動的客體的位置資訊的感測裝置的感測方法的特徵在於，該以去除背景部分的方式執行影像處理的步驟包括：通過基準圖像相對該連續地獲取的各個圖像的差分運算的絕對 值，以包括具有比各圖像的背景部分更亮的圖元值的圖元以及具有比該背景部分更暗的圖元值的圖元這全部的方式，進行影像處理的步驟。
另一方面，本發明的一個實施例所關係的用於計算根據使用者的高爾夫揮桿運動的高爾夫球桿的位置資訊的感測裝置的感測方法的特徵在於，包括：從觀察該使用者的高爾夫揮桿的視角連續地獲取圖像的步驟；獲取基準圖像相對該連續地獲取的各個圖像的差分運算的絕對值來形成絕對值差分運算圖像的步驟；針對該形成的絕對值差分運算圖像中的連續的兩個絕對值差分運算圖像，分別進行差分運算處理，形成差分-差分運算圖像的步驟；以及根據該形成的各個差分-差分運算圖像，計算該運動的高爾夫球桿的位置資訊的步驟。
另一方面，本發明的一個實施例所關係的用於計算運動的客體的位置資訊的感測裝置的特徵在於，包括：攝像機部，從觀察該運動的客體的視角連續地獲取圖像；影像處理部，針對基準圖像相對該連續地獲取的各個圖像的各個差分運算圖像，為了分別提取連續的兩個差分運算圖像的差分運算圖像而執行影像處理；以及資訊計算部，根據由該影像處理部提取的該連續的兩個差分運算圖像的各個差分運算圖像，計算該運動的客體的位置資訊。
另外，優選，本發明的用於計算運動的客體的位置資訊的感測裝置的特徵在於，該影像處理部構成為將該連續地獲取的圖像中的一幀的圖像決定為該基準圖像，形成將通過該基準圖像相對該連續地獲取的各個圖像的差分運算得到的值的絕對值作為圖元值的絕對值差分運算圖像，通過連續的兩個該絕對值差分運算圖像的差分運算，形成差分-差分運算圖 像。
另一方面，本發明的一個實施例所關係的用於計算根據使用者的高爾夫揮桿運動的高爾夫球桿的位置資訊的感測裝置的特徵在於，包括：攝像機部，從觀察該使用者的高爾夫揮桿的視角連續地獲取圖像；影像處理部，以獲取基準圖像相對該連續地獲取的各個圖像的差分運算的絕對值而形成絕對值差分運算圖像，並針對該形成的絕對值差分運算圖像中的連續的兩個絕對值差分運算圖像分別進行差分運算處理來形成差分-差分運算圖像的方式，執行影像處理；以及資訊計算部，根據該形成的各個差分-差分運算圖像，計算該運動的高爾夫球桿的位置資訊。
本發明所關係的用於計算運動的客體的位置資訊的感測裝置以及利用該裝置的感測方法具有如下效果，即無需附加特別的標記或者準備另外的裝備，而用針對基準圖像相對連續地獲取的各個圖像的各個差分運算圖像，形成連續的兩個差分運算圖像的差分運算圖像的方式，非常準確且穩定地提取運動的客體並據此計算準確的位置資訊，其中，該連續地獲取的各個圖像是針對如高爾夫球桿那樣具有無法確定的形狀、大小、材質、反射度等的客體運動進行攝影而得到的圖像。
S10~S14‧‧‧步驟
M1~Mn‧‧‧物件客體
V1~Vn‧‧‧運動位置重疊部分
VO1~Von‧‧‧運動位置重疊部分
U‧‧‧使用者
GC‧‧‧高爾夫球桿
100‧‧‧攝像機部
110‧‧‧攝像機
120‧‧‧攝像機
200‧‧‧感測處理部
210‧‧‧影像處理部
220‧‧‧資訊計算部
300‧‧‧用戶端
圖1是用於說明一般在影像處理技術領域中利用的差值影像法的附圖；圖2是表示本發明的一個實施例所關係的感測裝置的結構的框圖； 圖3是表示本發明的一個實施例所關係的感測裝置的感測方法所關係的工序的流程圖；圖4是表示在本發明的一個實施例所關係的感測裝置的攝像機部中連續地獲取的圖像的例子的附圖；圖5是表示利用在圖4中圖示的圖像來形成絕對值差分運算圖像的過程的附圖；以及圖6是表示利用在圖5中圖示的絕對值差分運算圖像來形成差分-差分運算圖像的過程的附圖。
參照附圖，說明關於本發明所關係的用於計算運動的客體的位置資訊的感測裝置以及利用該裝置的感測方法的更具體的內容。
首先，參照圖2，說明本發明的一個實施例所關係的感測裝置的結構。圖2是表示本發明的一個實施例所關係的感測裝置的結構的框圖。
本發明作為在分析當使用者用高爾夫球桿進行高爾夫揮桿來擊打高爾夫球時對其進行攝影而得到的圖像並在各個圖像中提取高爾夫球和高爾夫球桿來計算其位置資訊的感測裝置的開發過程中完成的發明，特別提供準確且穩定地提取如高爾夫球桿那樣用以往的影像處理法非常難以在圖像中提取的客體的方法，由於能夠高效地提取如高爾夫球桿那樣難以在圖像中提取的客體，所以不僅是如高爾夫球那樣整形化的客體，而且針對任何不特定的客體，都能夠利用本發明所關係的感測裝置以及感測方 法，通過影像處理，高效地提取基於運動的客體來準確地計算其位置資訊。
以下，關於所述的「運動的客體」，主要以高爾夫球桿為例子進行說明，但如上所述，不僅是高爾夫球桿，而且在難以通過影像處理提取的任意的客體的情況下，當然也能夠同樣地應用本發明。
如圖2所示，本發明的一個實施例所關係的感測裝置包括攝像機部100以及感測處理部200，該感測處理部200構成為包括影像處理部210和資訊計算部220。
該攝像機部100構成為從觀察運動的客體的視角連續地獲取圖像，為了計算關於運動的客體的三維空間上的位置資訊，該攝像機部100優選使從相互不同的視野角針對同一物件分別獲取圖像的多個攝像機、例如如圖2所示使第一攝像機110和第二攝像機120相互同步化而以立體方式構成。
如上所述，攝像機部100的多個攝像機110、120相互同步化而以立體方式構成，從而能夠將在針對同一客體通過第一攝像機110獲取的圖像和通過第二攝像機120獲取的各個圖像中提取的相應客體的二維資訊變換為三維資訊。
在圖2中，表示攝像機部100的多個攝像機110、120針對使用者U手持高爾夫球桿GC進行高爾夫揮桿的情形獲取圖像的情況，但本發明不限定於此，能夠利用於例如使用者進行棒球揮桿的情況等各種體育類比系統等。
該感測處理部200構成為包括：影像處理部210，從該攝像機部100的各攝像機110、120收集圖像並執行預定的影像處理來提取相應 客體；以及資訊計算部220，根據從圖像提取的客體的二維位置資訊計算三維位置資訊等。
該感測處理部200從通過該攝像機部100的各攝像機110、120收集到的各個圖像提取運動的客體，計算相應客體的位置資訊並將該計算出的資訊傳送到用戶端300，該用戶端300執行利用該傳送的客體的位置資訊來計算新的資訊或者計算分析資訊等用戶端300固有的功能。
例如，在將用戶端300構成為在螢幕高爾夫系統中利用的模擬器的情況下，能夠從感測處理部200接受高爾夫球和高爾夫球桿的位置資訊，利用該資訊實現球在虛擬的高爾夫路線上飛行的軌跡的類比影像。
此外，在將該用戶端300構成為高爾夫揮桿分析裝置的情況下，能夠從感測處理部200接受高爾夫球和高爾夫球桿的位置資訊，利用該資訊來提供關於使用者的高爾夫揮桿的分析資訊、揮桿的問題診斷以及用於解決該問題的輔導資訊等。
該影像處理部210構成為為了針對基準圖像相對由該攝像機部100連續地獲取的各個圖像的各個差分運算圖像，分別提取連續的兩個差分運算圖像的差分運算圖像，執行影像處理，該資訊計算部220構成為能夠根據由該影像處理部提取的該連續的兩個差分運算圖像的差分運算圖像分別計算該運動的客體的位置資訊。
雖然如圖2圖示，該資訊計算部220構成為包含於感測裝置，但不限定於此，還能夠包含於用戶端300。即，感測裝置還能夠執行圖像的獲取以及通過影像處理提取運動的客體的功能，將該提取的資訊傳送到用戶端的資訊計算部，計算該提取的運動的客體的位置資訊並且利用該位置 資訊計算各種資訊。
另一方面，參照在圖3中圖示的流程圖，說明本發明的一個實施例所關係的感測裝置的感測方法。
首先，攝像機部從預定的視角，對使用者用高爾夫球桿進行高爾夫揮桿來擊打球的情形進行攝影，連續地獲取圖像(S10)。
該連續地獲取的圖像被傳遞到感測處理部的影像處理部，該影像處理部在連續地獲取的圖像中，依照預先設定的事項，選定用於差分運算的基準圖像(S11)。
該基準圖像是用於去除在差值影像中利用的圖像上的背景部分的圖像，該差值影像用於在圖像中提取想要探測的運動的客體(關注物件客體)。
該基準圖像優選選定成去除作為關注物件的運動的客體而只有背景部分的圖像，至少選定成即便作為關注物件的運動的客體在圖像中顯現但顯現於與在其他圖像上出現的客體不重疊的位置的圖像。
例如，在ta<...<t1<t2<...<tn的時刻，分別連續地獲取關於運動的客體的圖像時，如果為了提取關注物件客體，利用在t1、t2...等時間點獲取的圖像，則作為用於針對在t1、t2...等時間點獲取的各個圖像進行差分運算的基準圖像，能夠選定ta時間點的圖像或者tn時間點的圖像。
在此，為便於說明，將利用基準圖像執行差分運算的t1、t2...等時間點的圖像還稱為「靶心圖表像」。
將在哪個時間點獲取的圖像選定成基準圖像能夠根據運動的客體是什麼且如何運動等而個別地決定，例如在高爾夫揮桿時想要從靶 心圖表像提取運動的高爾夫球桿時，優選使在靶心圖表像上高爾夫球桿出現的位置不與在基準圖像上高爾夫球桿出現的位置重疊，所以在所述的例子中，能夠在感測處理部中，預先設定為將作為非常遠離各靶心圖表像的時間點的tn時間點的圖像選定成基準圖像。
另一方面，如果如上所述選定基準圖像，則通過基準圖像相對各個靶心圖表像的差分運算，提取關注物件客體。然而，本發明所關係的該差分運算並非在前面的背景技術部分說明的一般的差分運算，而是執行兩次差分運算的利用差分運算的差分運算的方法，更具體而言，提供通過針對執行「絕對值差分運算」而形成的「絕對值差分運算圖像」重新執行「差分運算」來形成「差分-差分運算圖像」，準確地提取關注物件客體的方法。
其如在圖3的S12以及S13步驟中該，如果如上所述感測處理部的影像處理部選定基準圖像(S11)，則影像處理部形成將通過基準圖像相對連續地獲取的各個圖像(靶心圖表像)的差分運算得到的值的絕對值作為圖元值的絕對值差分運算圖像(S12)，通過連續的兩個絕對值差分運算圖像的差分運算，形成差分-差分運算圖像(S13)。
即，該「絕對值差分運算」是獲取靶心圖表像上的圖元的圖元值(亮度值)與基準圖像上的對應的位置的圖元的圖元值(亮度值)的差的絕對值的運算，把將所述的兩個圖元值的差的絕對值作為圖元值的圖像稱為「絕對值差分運算圖像」。
另外，將利用所述的絕對值差分運算圖像重新執行差分運算而形成的圖像稱為「差分-差分運算圖像」。
在如上所述執行兩次差分運算而形成的差分-差分運算圖像中，干擾關注物件客體即想提取的運動的客體的要素、即干擾要素被排除，而關注物件客體非常準確地出現，所以能夠從該差分-差分運算圖像容易地提取關注物件客體。
如上所述形成的各差分-差分運算圖像上的與運動的客體相應的部分是利用邊緣資訊來決定輪廓的部分，能夠尋找該決定的輪廓的中心或者重心等特徵位置，將該位置計算為運動的客體的位置資訊(S14)。
能夠從以往利用的技術可知，在圖像中提取與運動的客體相應的部分最重要，如果該部分被提取，則在該提取的部分中計算位置資訊。
以下，參照圖4至圖6，利用具體的例子，說明基於本發明的一個實施例所關係的感測裝置的感測方法的「絕對值差分運算圖像」的形成以及「差分-差分運算圖像」的形成。
圖4表示在本發明的一個實施例所關係的感測裝置的攝像機部中連續地獲取的圖像的例子，圖5表示利用在圖4中圖示的圖像來形成絕對值差分運算圖像的過程，圖6表示利用在圖5中圖示的絕對值差分運算圖像來形成差分-差分運算圖像的過程。
在圖4至圖6中表示的各圖像並非實際上通過攝影獲取的圖像，而是為了更高效地說明本發明所關係的感測裝置的感測方法而示意地製作的圖像，為了便於說明和理解，簡化了圖像的結構。
如圖4所示，將通過攝像機部連續地獲取的各圖像設為在t1、t2、t3...tn時間點分別獲取的圖像，在圖4的(a)中，表示在t1時間點獲取的圖像(Frame_t1)，在(b)中，表示在t2時間點獲取的圖像(Frame_t2)， 在(c)中，表示在t3時間點獲取的圖像(Frame_t3)，進而，在(d)中，表示在作為相當遠離t1、t2、t3...時間點的tn時間點獲取的圖像(Frame_tn)。
在此，在圖4的(a)至(c)中圖示的各圖像(Frame_t1、Frame_t2、Frame_t3等)用選定成靶心圖表像的圖像來定義，而且，作為在(d)中圖示的圖像的Frame_tn用選定成基準圖像的圖像來定義。
如從圖4的(a)至(d)可知，在連續地獲取的圖像中，在圖像上存在同一背景部分BG。
與想要探測的運動的客體相應的關注物件客體M1、M2、M3...Mn在獲取圖像的t1~tn時間的期間移動的同時，在各圖像上存在於相互不同的位置(雖然可能一部分稍微重複，但優選根據客體的運動速度和攝像機的攝影速度等，大體上針對每幀存在於相互不同的位置)。
另外，假設在各圖像上，存在雖然在獲取圖像的t1~tn時間的期間移動但不大幅移動或者搖晃或者原地運動等呈現重疊的活動變換的運動位置重疊部分V1、V2、V3...Vn。
在圖4的(a)至(d)中，可知運動位置重疊部分V1、V2、V3...Vn呈現重疊的活動變換。
例如，在針對使用者用高爾夫球桿進行高爾夫揮桿的情形連續地獲取圖像的情況下，使用者的身體部分、高爾夫墊部分、橡膠球座部分等與呈現重疊的活動變換的運動位置重疊部分相應，高爾夫球桿與針對每幀呈現不重疊的位置變換的關注物件客體相應。
在圖5中，表示利用在圖4的(a)至(d)中表示的各靶心圖表像以及基準圖像，在圖3的S12步驟中形成相應的絕對值差分運算圖 像的過程。
圖5的(a)表示根據t1時間點的靶心圖表像(Frame_t1)相對基準圖像(Frame_tn)的絕對值差分，形成絕對值差分運算圖像AbsDiff(t1，tn)的情況，圖5的(b)表示根據t2時間點的靶心圖表像(Frame_t2)相對基準圖像(Frame_tn)的絕對值差分運算，形成絕對值差分運算圖像AbsDiff(t2，tn)的情況，圖5的(c)表示根據t3時間點的靶心圖表像(Frame_t3)相對基準圖像(Frame_tn)的絕對值差分運算，形成絕對值差分運算圖像AbsDiff(t3，tn)的情況。
如果如上述說明進行絕對值差分運算，則取關於靶心圖表像和基準圖像的圖元值(亮度值)的差的絕對值，所以圖元值的差越大，在絕對值差分運算圖像中，形成越高的圖元值(亮度值)。
於是，靶心圖表像和基準圖像的圖元值實際上相同的背景部分BG如圖5的(a)至(c)所示能夠全部去除，但各個靶心圖表像和基準圖像上的關注物件客體M1、M2、M3和運動位置重疊部分V1、V2、V3、Vn、以及不需要的位置移動客體Mn在絕對值差分運算圖像上非常完整地出現。
如在圖5的(a)中圖示，根據靶心圖表像Frame_t1相對基準圖像Frame_tn的絕對值差分運算，形成絕對值差分運算圖像AbsDiff(t1，tn)，在該絕對值差分運算圖像AbsDiff(t1，tn)中，背景部分BG大部分被刪除，存在於相互不同的位置的關注物件客體M1和不需要的位置移動客體Mn由於差分運算的絕對值而幾乎完整地出現，且還存在運動位置重疊部分VO1(V1和Vn重疊相當部分而出現的部分)。
此時，該運動位置重疊部分VO1在V1和Vn相互重疊的部分中圖元值相同的部分的情況下，該相同的部分通過絕對值差分運算被刪除後出現。即，雖然在附圖上圖示成完整地出現，但一部分被刪除地出現的情況較多。
在圖5的(b)中圖示的根據靶心圖表像Frame_t2相對基準圖像Frame_tn的絕對值差分運算形成絕對值差分運算圖像AbsDiff(t2，tn)的形成中與關注物件客體M2、不需要的位置移動客體Mn以及運動位置重疊部分VO2有關的事項、和在圖5的(c)中圖示的根據靶心圖表像Frame_t3相對基準圖像Frame_tn的絕對值差分運算形成絕對值差分運算圖像AbsDiff(t3，tn)的形成中與關注物件客體M3、不需要的位置移動客體Mn以及運動位置重疊部分VO3有關的事項也與所述的圖5的(a)相同。
於是，通過如上述的絕對值差分運算，與一般的差分運算不同，不僅形成關注物件客體的圖元中的具有高圖元值的部分和具有低的圖元值的部分都在絕對值差分運算圖像上非常完整地出現，而且還能夠使具有低的圖元值的部分成為具有高的圖元值而明顯區別於周邊(即，能夠使在靶心圖表像中較暗地出現的部分在絕對值差分運算圖像中較亮地出現)。
在此，隨著根據絕對值差分運算刪除背景部分，除了關注物件客體M1、M2、M3、不需要的位置移動客體Mn以及運動位置重疊部分VO1、VO2、VO3以外的剩餘部分幾乎大部分成為0的圖元值而以黑色顯示，但在附圖上為了便於說明和理解，成為0的圖元值的部分全部以白色顯示。
作為在圖5的(a)至(c)中分別形成的絕對值差分運算圖 像的AbsDiff(t1，tn)、AbsDiff(t2，tn)以及AbsDiff(t3，tn)等再次通過差分運算形成差分-差分運算圖像，參照圖6對其進行說明。
如參照圖5說明，根據絕對值差分運算，形成AbsDiff(t1，tn)、AbsDiff(t2，tn)以及AbsDiff(t3，tn)等絕對值差分運算圖像，如果針對連續的兩個絕對值差分運算圖像執行差分運算(在此差分運算意味著通常的差分運算)，則如圖6所示，能夠獲得差分-差分運算圖像。
從作為在圖5中圖示的絕對值差分運算圖像的AbsDiff(t1，tn)、AbsDiff(t2，tn)以及AbsDiff(t3，tn)等來看，關注物件客體是M1、M2、M3，運動位置重疊部分VO1、VO2、VO3以及不需要的位置移動客體Mn全部是作為干擾要素而應去除的部分。
這樣的各干擾要素能夠通過連續的兩個絕對值差分運算圖像的差分運算去除，如圖6的(a)所示，通過絕對值差分運算圖像AbsDiff(t1，tn)相對AbsDiff(t2，tn)的差分運算，在兩個圖像上同樣地存在的部分即位置移動客體Mn和幾乎同樣地存在的部分即運動位置重疊部分VO1以及VO2幾乎大部分被刪除，位置不重疊的關注物件客體M1被保存，由於差分運算而具有負的值的M2部分由於圖元值被0代替而在差分-差分運算圖像DOD(t1，t2|tn)上消失。
同樣地，如圖6的(b)所示，通過絕對值差分運算圖像AbsDiff(t2，tn)相對AbsDiff(t3，tn)的差分運算，在兩個圖像上同樣地存在的部分即位置移動客體Mn和幾乎同樣地存在的部分即運動位置重疊部分VO2以及VO3幾乎大部分被刪除，位置不重疊的關注物件客體M2被保存，由於差分運算而具有負的值的M3部分由於圖元值被0代替而在差分-差分 運算圖像DOD(t2，t3|tn)上消失。
在此，通過連續的兩個絕對值差分運算圖像的差分運算，不完全重複的運動位置重疊部分VO1以及VO2、VO2以及VO3在差分-差分運算圖像DOD(t1，t2|tn)以及DOD(t2，t3|tn)中分別剩下非常小的部分而可能成為雜訊NZ。
在此，並非通過所述的差分-差分運算，準確地只留下用NZ表示的部分而去除運動位置重疊部分VO1以及VO2或者VO2以及VO3。
例如，絕對值差分運算圖像AbsDiff(t1，tn)上的運動位置重疊部分VO1和絕對值差分運算圖像AbsDiff(t2，tn)上的運動位置重疊部分VO2並非除了NZ部分以外全部完全相同，在兩個運動位置重疊部分中可能存在相互對應的位置的各圖元的圖元值大小相互不同的部分，所以除了實際上在圖6中出現的各差分-差分運算圖像上出現的NZ部分以外，還可能留下無法確定的各種大小的雜訊。
即，在本說明中，為了簡化說明，在圖6中僅將NZ部分表示為雜訊，但實際上除了NZ部分以外，還可能存在其他雜訊，但這樣的雜訊(NZ部分以及其以外的其他雜訊部分)部分能夠應用一般利用的雜訊去除技術來去除。
於是，如果如上所述通過連續的兩個絕對值差分運算圖像的差分運算，獲得差分-差分運算圖像，則在該差分-差分運算圖像上，關注物件客體非常完整地出現，所以能夠通過適合的影像處理，準確地確定關注物件客體。
如上所述，能夠在差分-差分運算圖像中，在分別提取關注 物件客體、即運動的客體之後，利用關於相應部分的邊緣資訊等，確定輪廓線，確定由該輪廓線決定的部分的中心或者重心等特徵點，計算為位置資訊。
於是，針對如高爾夫球桿那樣具有無法確定的形狀、大小、材質、反射度等的客體，也能夠通過如上述的本發明所關係的絕對值差分運算圖像以及差分-差分運算圖像的形成非常準確地提取，所以能夠用簡單的方法準確且穩定地計算該運動的客體的位置資訊。

Claims (10)

  1. 一種用於計算運動的客體的位置資訊的感測裝置的感測方法，其特徵在於，包括：從觀察該運動的客體的視角連續地獲取圖像的步驟；針對基準圖像相對該連續地獲取的各個圖像的各個差分運算圖像，分別形成連續的兩個差分運算圖像的差分運算圖像的步驟；以及根據該連續的兩個差分運算圖像的各個差分運算圖像，計算該運動的客體的位置資訊的步驟。
  2. 如請求項1所述的用於計算運動的客體的位置資訊的感測裝置的感測方法，其中，該分別形成連續的兩個差分運算圖像的差分運算圖像的步驟包括：將該連續地獲取的圖像中的一幀的圖像決定為該基準圖像的步驟。
  3. 如請求項1所述的用於計算運動的客體的位置資訊的感測裝置的感測方法，其中，該分別形成連續的兩個差分運算圖像的差分運算圖像的步驟包括：根據基準圖像相對該連續地獲取的各個圖像的差分運算，分別形成包括具有比各圖像上的背景部分更亮的圖元值的圖元及具有比該背景部分更暗的圖元值的圖元這全部的差分運算圖像的步驟；以及針對該形成的差分運算圖像中的連續的兩個差分運算圖像分別進行差分運算處理，形成差分-差分運算圖像的步驟。
  4. 如請求項1所述的用於計算運動的客體的位置資訊的感測裝置的感測方法，其中， 該分別形成連續的兩個差分運算圖像的差分運算圖像的步驟包括：在該連續地獲取的各個圖像中，形成將各個圖元的圖元值和該基準圖像的對應的位置的各圖元的圖元值的差的絕對值作為圖元值的絕對值差分運算圖像的步驟；以及針對連續的兩個該絕對值差分運算圖像，進行如果各個對應圖元的圖元值的差大於0則將該值作為圖元值且如果小於0則將0作為圖元值的差分運算處理，形成差分-差分運算圖像的步驟。
  5. 一種用於計算運動的客體的位置資訊的感測裝置的感測方法，其特徵在於，包括：從觀察該運動的客體的視角連續地獲取圖像的步驟；在該連續地獲取的各個圖像中包括背景部分、針對每幀在新的位置出現的位置移動客體、及在連續的圖像上活動變換位置重疊地出現的運動位置重疊部分，以在該連續地獲取的各個圖像中，提取該位置移動客體及運動位置重疊部分且去除該背景部分的方式，執行影像處理的步驟；針對該影像處理後的圖像，通過連續的兩個圖像的差分運算，去除該運動位置重疊部分而提取與該運動的客體相關的位置移動客體的步驟；以及計算該提取的運動的客體的位置資訊的步驟。
  6. 如請求項5所述的用於計算運動的客體的位置資訊的感測裝置的感測方法，其中，該以去除背景部分的方式執行影像處理的步驟包括： 通過基準圖像相對該連續地獲取的各個圖像的差分運算的絕對值，以包括具有比各圖像的背景部分更亮的圖元值的圖元以及具有比該背景部分更暗的圖元值的圖元這全部的方式，進行影像處理的步驟。
  7. 一種用於計算根據使用者的高爾夫揮桿運動的高爾夫球桿的位置資訊的感測裝置的感測方法，其特徵在於，包括：從觀察該使用者的高爾夫揮桿的視角連續地獲取圖像的步驟；獲取基準圖像相對該連續地獲取的各個圖像的差分運算的絕對值來形成絕對值差分運算圖像的步驟；針對該形成的絕對值差分運算圖像中的連續的兩個絕對值差分運算圖像，分別進行差分運算處理，形成差分-差分運算圖像的步驟；以及根據該形成的各個差分-差分運算圖像，計算該運動的高爾夫球桿的位置資訊的步驟。
  8. 一種用於計算運動的客體的位置資訊的感測裝置，其特徵在於，包括：攝像機部，從觀察該運動的客體的視角連續地獲取圖像；影像處理部，針對基準圖像相對該連續地獲取的各個圖像的各個差分運算圖像，為了分別提取連續的兩個差分運算圖像的差分運算圖像而執行影像處理；以及資訊計算部，根據由該影像處理部提取的該連續的兩個差分運算圖像的各個差分運算圖像，計算該運動的客體的位置資訊。
  9. 如請求項8所述的用於計算運動的客體的位置資訊的感測裝置，其中，該影像處理部構成為，將該連續地獲取的圖像中的一幀的圖像決定為該基準圖像，形成將通過該基準圖像相對該連續地獲取的各個圖像的 差分運算得到的值的絕對值作為圖元值的絕對值差分運算圖像，通過連續的兩個該絕對值差分運算圖像的差分運算，形成差分-差分運算圖像。
  10. 一種用於計算根據使用者的高爾夫揮桿運動的高爾夫球桿的位置資訊的感測裝置，其特徵在於，包括：攝像機部，從觀察該使用者的高爾夫揮桿的視角連續地獲取圖像；影像處理部，以獲取基準圖像相對該連續地獲取的各個圖像的差分運算的絕對值而形成絕對值差分運算圖像，並針對該形成的絕對值差分運算圖像中的連續的兩個絕對值差分運算圖像分別進行差分運算處理來形成差分-差分運算圖像的方式，執行影像處理；以及資訊計算部，根據該形成的各個差分-差分運算圖像，計算該運動的高爾夫球桿的位置資訊。
TW107101649A 2017-01-25 2018-01-17 用於計算運動的客體的位置資訊的感測裝置以及利用該裝置的感測方法 TWI647424B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170012196A KR101932525B1 (ko) 2017-01-25 2017-01-25 운동하는 객체의 위치 정보를 산출하기 위한 센싱장치 및 이를 이용한 센싱방법
??10-2017-0012196 2017-01-25

Publications (2)

Publication Number Publication Date
TW201827788A true TW201827788A (zh) 2018-08-01
TWI647424B TWI647424B (zh) 2019-01-11

Family

ID=62978049

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107101649A TWI647424B (zh) 2017-01-25 2018-01-17 用於計算運動的客體的位置資訊的感測裝置以及利用該裝置的感測方法

Country Status (3)

Country Link
KR (1) KR101932525B1 (zh)
TW (1) TWI647424B (zh)
WO (1) WO2018139810A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102256260B1 (ko) * 2020-02-10 2021-05-27 (주) 알디텍 스크린 골프용 스마트 카메라 센서
KR102439549B1 (ko) * 2020-09-14 2022-09-02 주식회사 골프존 골프스윙에 대한 센싱장치 및 이를 이용한 클럽헤드의 임팩트 위치 센싱방법
CN114317675A (zh) * 2022-01-06 2022-04-12 福州大学 基于机器学习定性和定量不同创面细菌的检测方法及系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1158270A1 (en) * 2000-05-24 2001-11-28 Seiko Epson Corporation Mesuring system for sports events
JP2003111880A (ja) * 2001-10-04 2003-04-15 Ditect:Kk ゴルフスイング解析システム及び画像処理方法
JP3782368B2 (ja) * 2002-03-29 2006-06-07 株式会社東芝 物体画像切り出し方法及びプログラム並びに物体画像切り出し装置
WO2008101085A2 (en) * 2007-02-14 2008-08-21 Nike, Inc. Collection and display of athletic information
KR101078954B1 (ko) * 2011-03-22 2011-11-01 (주) 골프존 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법
JP2012212373A (ja) * 2011-03-31 2012-11-01 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
KR20130050405A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 시간 후보자 결정방법
JP6218351B2 (ja) * 2011-12-06 2017-10-25 ダンロップスポーツ株式会社 ゴルフスイングの診断方法
CN104567919A (zh) * 2013-10-12 2015-04-29 北京航天计量测试技术研究所 一种标定摄影测量系统动态测量误差的装置及使用方法
CN103713148A (zh) * 2013-12-13 2014-04-09 柳州市蓝海科技有限公司 高尔夫模拟系统球检测装置

Also Published As

Publication number Publication date
WO2018139810A1 (ko) 2018-08-02
KR20180087748A (ko) 2018-08-02
KR101932525B1 (ko) 2018-12-27
TWI647424B (zh) 2019-01-11

Similar Documents

Publication Publication Date Title
KR101472274B1 (ko) 운동하는 볼에 대한 센싱장치 및 센싱방법
KR101723432B1 (ko) 운동하는 볼에 대한 센싱장치 및 센싱방법
AU2008222933A1 (en) System and method for tracking three dimensional objects
TWI647424B (zh) 用於計算運動的客體的位置資訊的感測裝置以及利用該裝置的感測方法
US20200058167A1 (en) Generation device, generation method and storage medium for three-dimensional model
JP6102002B2 (ja) 運動するボールに対するセンシング装置及びセンシング方法、並びに運動するボールのスピン算出のためのボールイメージのイメージ処理方法
US20180053308A1 (en) Spatial Alignment of Inertial Measurement Unit Captured Golf Swing and 3D Human Model For Golf Swing Analysis Using IR Reflective Marker
US20180053309A1 (en) Spatial Alignment of M-Tracer and 3-D Human Model For Golf Swing Analysis Using Skeleton
US11798233B2 (en) Generation device, generation method and storage medium for three-dimensional model that remove a portion of the three-dimensional model
JP5335574B2 (ja) 画像処理装置及びその制御方法
JP7163049B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP4268497B2 (ja) 距離情報付加装置、付加映像生成装置、付加映像生成方法及び距離情報付加プログラム
JP2022016929A (ja) 情報処理装置、情報処理方法、及びプログラム
JP7080614B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
WO2019053790A1 (ja) 位置座標算出方法及び位置座標算出装置
WO2008073563A1 (en) Method and system for gaze estimation
KR100466587B1 (ko) 합성영상 컨텐츠 저작도구를 위한 카메라 정보추출 방법
KR101551685B1 (ko) 운동하는 볼에 대한 센싱장치 및 센싱방법
JP2020035218A (ja) 画像処理装置、方法及びプログラム
EP4050400B1 (en) Display apparatuses and methods incorporating image masking
US20240005600A1 (en) Nformation processing apparatus, information processing method, and information processing program
JP2024513328A (ja) 打撃されて移動するゴルフボールのスピン算出方法及びこれを用いたスピン算出装置
JP2021051374A (ja) 形状データ生成装置、形状データ生成方法、及び、プログラム
El-Sallam et al. A Low Cost Visual Hull based Markerless System for the Optimization of Athletic Techniques in Outdoor Environments.
KR20220083166A (ko) 인체 추정 방법 및 장치