TWI635255B - 物體追蹤方法及系統 - Google Patents

物體追蹤方法及系統 Download PDF

Info

Publication number
TWI635255B
TWI635255B TW106134271A TW106134271A TWI635255B TW I635255 B TWI635255 B TW I635255B TW 106134271 A TW106134271 A TW 106134271A TW 106134271 A TW106134271 A TW 106134271A TW I635255 B TWI635255 B TW I635255B
Authority
TW
Taiwan
Prior art keywords
image
light
object tracking
area
item
Prior art date
Application number
TW106134271A
Other languages
English (en)
Other versions
TW201915442A (zh
Inventor
柯傑斌
Original Assignee
宏碁股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏碁股份有限公司 filed Critical 宏碁股份有限公司
Priority to TW106134271A priority Critical patent/TWI635255B/zh
Priority to US15/849,639 priority patent/US20190102890A1/en
Application granted granted Critical
Publication of TWI635255B publication Critical patent/TWI635255B/zh
Publication of TW201915442A publication Critical patent/TW201915442A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一種物體追蹤方法及系統。透過多個組裝墊各自的光發射器發射光束。透過攝像裝置持續朝向所述組裝墊來擷取多張影像,其中每一個影像中包括透過所述光束而形成的多個光區。解析第一影像以及第二影像,以計算所述光區的移動變化,其中第一影像以及第二影像為相鄰的兩張影像。之後,基於移動變化來判定攝像裝置的運動狀態。

Description

物體追蹤方法及系統
本發明是有關於一種物體追蹤方法及系統,且特別是有關於一種結合發光組合墊的物體追蹤方法及系統。
隨著科技的進步,虛擬實境(Virtual Reality,VR)、擴增實境(Augmented Reality,AR)、混合實境(Mixed Reality,MR)等技術越來越成熟,越來越多民眾對於AR/VR/MR亦日漸熟悉,使用者對於實體與虛擬空間的輸入需求日增。據此,對應的頭盔、手杖等輸入裝置日漸增多,用於沉浸式體驗的空間定位技術更顯重要。
目前的VR技術是以實體框架或虛擬光學框架來界定使用者的移動,卻也限制使用者的所在位置。例如,利用雷射對空間進行編碼,而對頭盔、手杖等待測物體進行追蹤;或者,掃描快速響應矩陣圖碼(Quick Response(QR)Code)進行辨識來獲取訊息,以將虛擬資訊於現實空間展現。據此,如何提供一個簡單且可適用於各種場地的互動技術是當前重要的課題。
本發明提供一種物體追蹤方法及系統,結合發光的組裝墊來進行空間定位,可在各種場地來實現物體追蹤技術。
本發明的物體追蹤方法,包括底下步驟。透過多個組裝墊各自的光發射器發射光束,其中這些組裝墊拼裝出光發射區域。透過攝像裝置持續在光發射區域內朝向所述組裝墊來擷取多張影像,其中每一個影像中包括透過所述光束而形成的多個光區。解析第一影像以及第二影像,以計算所述光區的移動變化,其中第一影像以及第二影像為所述影像中相鄰的兩張影像。之後,基於移動變化來判定攝像裝置的運動狀態。
在本發明的一實施例中,上述解析第一影像以及第二影像,以計算所述光區的移動變化的步驟包括:在第一影像以及第二影像分別鎖定一指定光區;以及基於第一影像的指定光區的座標位置以及第二影像的光區的座標位置,計算在水平面上的位移方向以及位移量。
在本發明的一實施例中,上述解析第一影像以及第二影像,以計算所述光區的移動變化的步驟包括:在第一影像以及第二影像分別鎖定一成像位置;記錄在第一影像的成像位置的第一光區;記錄在第二影像的成像位置的第二光區;基於第一光區與第二光區兩者的位置關係來獲得在水平面上的位移方向;以及基於第一光區與第二光區之間包括的光區數量來獲得在水平面上的位移量。
在本發明的一實施例中,上述解析第一影像以及第二影像,以計算所述光區的移動變化的步驟包括:在第一影像以及第二影像分別鎖定一指定光區;於第一影像中,在指定光區分別與其相鄰的光區之間相距的間隔皆相等時,記錄第一間隔;於第二影像中,在指定光區分別與其相鄰的光區之間相距的間隔皆相等時,記錄第二間隔;在第一間隔與第二間隔不同的情況下,基於第一間隔與第二間隔的變化關係,獲得在垂直軸上的位移方向以及位移量。
在本發明的一實施例中,在第一間隔與第二間隔相同的情況下,判定移動變化為水平移動。
在本發明的一實施例中,上述解析第一影像以及第二影像,以計算所述光區的移動變化的步驟包括:判斷在第一影像與第二影像中,位於外側的光區所形成的直線之間的斜率是否改變。而基於移動變化來判定攝像裝置的運動狀態的步驟包括:基於該斜率的變化來計算攝像裝置的旋轉角度。
在本發明的一實施例中,上述物體追蹤方法更包括:取得各組裝墊的識別碼;驅使所述組裝墊逐一發出光束;基於接收到的光訊號及擷取影像,獲得各組裝墊所配置的真實空間位置;以及將識別碼與其對應的真實空間位置進行對應而獲得對應地圖。
在本發明的一實施例中,上述物體追蹤方法更包括:透過攝像裝置在光發射區域內朝向所述組裝墊來擷取一校正影像, 並顯示校正影像於螢幕;於螢幕中,在校正影像的上方顯示理想光區域;以及透過理想光區域與校正影像中的光區來進行校正程序。
在本發明的一實施例中,上述各組裝墊在其邊緣具有公母機構接合點,各組裝墊透過公母機構接合點來進行組裝。
在本發明的一實施例中,上述攝像裝置安裝在一物件上,所述物件為頭盔、手杖、遙控器、手套、鞋套以及衣服其中一個。
在本發明的一實施例中,上述各組裝墊更包括力量感測器。
本發明的物體追蹤系統,包括:多個組裝墊,拼裝出光發射區域,其中每一個組裝墊包括用以發射光束的光發射器;以及攝像裝置。攝像裝置包括:影像擷取器,持續在光發射區域內朝向所述組裝墊來擷取多張影像,其中每一個影像中包括透過所述光束而形成的多個光區;以及影像分析單元,耦接至影像擷取器,接收影像以進行解析。影像分析單元解析第一影像以及第二影像,以計算所述光區的移動變化,其中第一影像以及第二影像為所述影像中相鄰的兩張影像;並且,影像分析單元基於移動變化來判定攝像裝置的運動狀態。
基於上述,本發明結合多個發光的組裝墊,利用組裝墊來界定出活動範圍,以在活動範圍內來追蹤特定的物體。據此,可視情況來增減組合墊的數量,在擴充上更為彈性不受場地限 制,不僅組裝方便,亦便於拆卸。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
100、900‧‧‧物體追蹤系統
110‧‧‧攝像裝置
210‧‧‧供電單元
220‧‧‧影像分析單元
230‧‧‧影像擷取器
240‧‧‧光發射器
250‧‧‧微控制器
300‧‧‧影像
510、610、710‧‧‧第一影像
520、620、720‧‧‧第二影像
910‧‧‧電子裝置
a~d‧‧‧長度
A、A11~A14、A21~A24、A31~A34‧‧‧組裝墊
CD‧‧‧擷取距離
CL‧‧‧擷取焦長
F‧‧‧力量感測器
IO‧‧‧電性接合點
IR‧‧‧紅外光源
M、N、P‧‧‧指定光區
MD‧‧‧實際距離
R‧‧‧螢幕
t1、t2‧‧‧直線
U‧‧‧抬頭狀態
V‧‧‧平視狀態
VH‧‧‧實際高度
VP‧‧‧間距像素
WP‧‧‧總像素
Z‧‧‧理想光區域
S305~S320‧‧‧物體追蹤方法各步驟
圖1是依照本發明一實施例的物體追蹤系統的示意圖。
圖2是依照本發明一實施例的物體追蹤系統的方塊圖。
圖3是依照本發明一實施例的物體追蹤方法的流程圖。
圖4是依照本發明一實施例的三角測量的示意圖。
圖5是依照本發明一實施例在水平移動下影像的光區呈現的示意圖。
圖6是依照本發明一實施例在垂直移動下影像的光區呈現的示意圖。
圖7是依照本發明一實施例在轉動情況下影像的光區呈現的示意圖。
圖8A及圖8B是依照本發明一實施例的校正畫面的示意圖。
圖9是依照本發明另一實施例的物體追蹤系統的方塊圖。
圖10A~圖10C是依照本發明一實施例的組裝墊構成的示意圖。
圖11A~圖11C是依照本發明另一實施例的組裝墊構成的示意圖。
有關本發明之前述及其他技術內容、特點與功效,在以下配合參考圖式之各實施例的詳細說明中,將可清楚的呈現。以下實施例中所提到的方向用語,例如:「上」、「下」、「前」、「後」、「左」、「右」等,僅是參考附加圖式的方向。因此,使用的方向用語是用來說明,而並非用來限制本發明。並且,在下列各實施例中,相同或相似的元件將採用相同或相似的標號。
圖1是依照本發明一實施例的物體追蹤系統的示意圖。圖2是依照本發明一實施例的物體追蹤系統的方塊圖。請參照圖1及圖2,物體追蹤系統100包括攝像裝置110以及組裝墊A11~A14、A21~A24、A31~A34(底下統稱為組裝墊A)。在本實施例中,以4×3個組裝墊A為例來進行說明,然,在其他實施例中並不以此為限。
而在每一個組裝墊A中設置有光發射器240以及微控制器250。微控制器250耦接至光發射器240。透過微控制器250來控制光發射器240發射特定頻率的光束,例如紅外光。所述紅外光的波長可設計為850nm或940nm。所述光發射器240例如為紅外光發射器,用以發射紅外光。微控制器(Micro Control Unit,MCU)250為一種積體電路晶片,可視為是一個微型電腦。在本實施例中,各組裝墊A為正方形狀,且光發射器240設置在各組裝墊A的中心位置,且每一個組裝墊A的尺寸相同。透過這些組 裝墊A拼裝出一個光發射區域,並且以攝像裝置110來作為定位設備,利用攝像裝置110來進行空間定位的設定。然,在其他實施例中,亦可以使用三角形、長方形、六角形或其他多邊形的組裝墊,在此並不限制。
攝像裝置110可以安裝在各種物件上,例如,頭盔、手杖、遙控器、手套、鞋套、衣服等。攝像裝置110包括供電單元210、影像分析單元220以及影像擷取器230。供電單元210耦接至影像分析單元220以及影像擷取器230,以進行供電。影像分析單元220耦接至影像擷取器230。
在此,供電單元210例如為電池。影像擷取器230例如為採用電荷耦合元件(Charge coupled device,CCD)鏡頭、互補式金氧半電晶體(Complementary metal oxide semiconductor transistors,CMOS)鏡頭的攝影機、照相機等,用以擷取影像。另外,影像擷取器230也可以是用於立體偵測的三維攝影鏡頭,如雙攝像頭、結構光(光編碼)鏡頭、時差測距(Time-of-Flight,TOF)技術鏡頭或是高速攝影鏡頭(>60Hz,如120Hz、240Hz、960Hz)。影像分析單元220例如為中央處理單元(Central Processing Unit,CPU)、圖像處理單元(Graphic Processing Unit,GPU)、物理處理單元(Physics Processing Unit,PPU)、可程式化之微處理器(Microprocessor)、嵌入式控制晶片、數位訊號處理器(Digital Signal Processor,DSP)、特殊應用積體電路(Application Specific Integrated Circuits,ASIC)或其他類似裝置。
攝像裝置110會持續在光發射區域內朝向組裝墊A來擷取多張影像。即,當攝像裝置110在三度空間中沿三個坐標軸的移動和繞三個坐標軸的轉動時(例如上下移動、水平移動、垂直移動、對應三個座標軸的旋轉等六個自由度),攝像裝置110會接收到具有不同的光區區域的影像,之後,透過影像分析單元220來分析所述影像藉此來追蹤攝像裝置110的運動狀態。
圖3是依照本發明一實施例的物體追蹤方法的流程圖。請參照圖3,在步驟S305中,透過各組裝墊A的光發射器240發射光束。例如,可由攝像裝置110來發出一控制訊號給組裝墊A,以使得微控制器250驅動光發射器240發射光束;或者,組裝墊A以有線或無線的方式連接至外部的一電子裝置(具有運算能力的設備),而由所述電子裝置來發出控制訊號給組裝墊A,使得微控制器250驅動光發射器240發射光束。
接著,在步驟S310中,透過攝像裝置110持續在光發射區域內朝向組裝墊A來擷取多張影像,其中每一張影像中包括透過所述光束而形成的多個光區。攝像裝置110會接收到各組裝墊A的光發射器240所發出的各光束,因而在成像的影像中形成多個光區。在此,光區可由一個或複數個光點構成,複數的光點可視為光點之集合且複數光點為相鄰之光點。
之後,在步驟S315中,透過影像分析單元220來解析第一影像以及第二影像,以計算光區的移動變化。在此,為了方便說明,將相鄰的兩張影像稱為第一影像及第二影像。最後,在步 驟S320中,基於移動變化來判定攝像裝置110的運動狀態。攝像裝置110所接收到的影像,其光區的呈現方式會不同,而透過分析具有不同光區區域的第一影像及第二影像,藉此來判斷攝像裝置110在六個自由度上的運動狀態。
將攝像裝置110安裝在各種不同的目標物上,透過上述步驟S305~S320,便能夠以攝像裝置110的運動狀態來代表目標物的運動狀態。
底下舉例來說明分析光區的移動變化的方式。
圖4是依照本發明一實施例的三角測量的示意圖。請參照圖4,VH表示攝像裝置110與組裝墊A之間的實際高度,CL表示攝像裝置110的擷取焦長,MD表示相鄰的兩個組裝墊A的兩個中心點在指定方向上相距的實際距離,CD為影像擷取器230內部擷取到擷取距離。
影像300為攝像裝置110所接收的影像。在此,影像300中包括9個光區。WP為影像300在縱軸上的總像素,VP為相鄰的兩個光區的兩個中心點在縱軸上相距的間距像素。
計算公式如下: 其中,,CC為畫面轉換常數。
故,
影像分析單元220可利用所述公式(1)來獲得在縱軸上移動的位移量。另外,影像分析單元220也可利用所述公式(1)來獲得在橫軸上移動的位移量。即,將WP設定為影像300在橫軸上的總像素,將VP設定為相鄰的兩個光區的兩個中心點在橫軸上相距的間距像素。
在此,可由使用者輸入自己的身高來決定實際高度VH。例如,使用者輸入其身高為160cm,影像分析單元220便能夠根據一般眼睛與頭頂之間的距離來決定實際高度VH。而擷取焦長CL、總像素WP、畫面轉換常數CC為已知的定值。據此,分析第一影像與第二影像之間的位移量(像素數目),以獲得間距像素VP,之後,利用公式(1)來求出實際距離MD,以實際距離MD代表攝像裝置110在真實空間中所移動的距離。
圖5是依照本發明一實施例在水平移動下影像的光區呈現的示意圖。在本實施例中,使用鎖定光區計算像素法。即,透過影像偵測鎖定一指定光區,將指定光區移動的像素數目帶入公式(1)即可得到移動距離。
請參照圖5,在第一影像510以及第二影像520分別鎖定指定光區M,進而基於第一影像510的指定光區M的座標位置以及第二影像520的指定光區M的座標位置,計算在水平面上的位移方向以及位移量。以圖5為例,位移方向為向前移動,並且位移量例如為1024個像素。
在此,以1600萬(5312×2988)像素來舉例,在縱軸上 的總像素WP為定值2988。並且,假設畫面轉換常數CC為定值7cm、擷取焦長CL定值為12cm、實際高度VH為定值150cm。
將指定光區移動的像素數目,例如1024個像素,帶入公式(1),則獲得對應的實際距離MD為30cm。以此類推,倘若指定光區移動了2048個像素,則對應的實際距離為60cm。而在其他實施例中,亦可以同樣方式來偵測左右移動的位移量。
另外,亦可使用記點方式,即,在第一影像510以及第二影像520分別鎖定一成像位置;記錄在第一影像510的成像位置的第一光區;記錄在第二影像520的成像位置的第二光區;基於第一光區與第二光區兩者的位置關係來獲得在水平面上的位移方向;以及基於第一光區與第二光區之間包括的光區數量來獲得在水平面上的位移量。
例如,假設在第一影像510中將指定光區M所在的位置指定鎖定的成像位置,在前後方向上移動後,在第二影像520中的鎖定的成像位置中位相鄰於指定光區M的另一光區移動至此,則利用上述公式(1)(假設兩個光區之間的間距像素VP為1024個像素)可以得知往前移動了30cm。而倘若移動過程中經過兩個光區最後落在第三光區上,則表示移動了90cm。倘若介於光區與光區之間,亦可按比例計算之。以此類推,亦可判斷左右方向的移動。亮區鎖定與記憶方式並不限制於上述說明。
圖6是依照本發明一實施例在垂直移動下影像的光區呈現的示意圖。本實施例是在光區的間距為一定的情況下來偵測垂 直移動。在第一影像610以及第二影像620分別鎖定一指定光區N。於第一影像610中,在指定光區N分別與其相鄰的4個光區之間相距的間隔皆相等時,記錄第一間隔。於第二影像620中,在指定光區N分別與其相鄰的4個光區之間相距的間隔皆相等時,記錄第二間隔。在第一間隔與第二間隔不同的情況下,基於第一間隔與第二間隔的變化關係,獲得在垂直軸上的位移方向以及位移量。
在第一間隔與第二間隔相同的情況下,判定移動變化為水平移動。即,透過偵測指定光區N與其相鄰的四個光區,偵測指定光區N與其相鄰四個光區之間的間距是否相同,相同代表保持水平狀態。而當攝像裝置110上下移動,譬如使用者配戴著具有攝像裝置110的頭盔進行蹲下起立動作時,相鄰兩張影像的光區間的間距雖相同但是其大小關係會改變。
如圖6所示,假設第一影像610的第一間隔為1024個像素,第二影像620的第二間隔為615個像素,透過所述公式(1)的計算可以得知攝像裝置110在實際空間中從150cm垂直移動至90cm。
圖7是依照本發明一實施例在轉動情況下影像的光區呈現的示意圖。本實施例是在光區的間距為一定的情況下來偵測轉動。在此,使用者配戴著具有攝像裝置110的頭盔。在使用者為抬頭狀態U時,攝像裝置110獲得第一影像710;在使用者為平視狀態V時,攝像裝置110獲得第二影像720。影像分析單元220 判斷在第一影像710與第二影像720中,位於外側的光區所形成的直線t1、t2之間的斜率是否改變,基於斜率的變化來計算攝像裝置110的旋轉角度。例如,可利用正切函數來計算當下的抬頭角度,即攝像裝置110的旋轉角度。
另外,亦可以在第一影像710與第二影像720中鎖定一指定光區P,偵測指定光區P與其相鄰4個光區的間隔,透過第一影像710與第二影像720的指定光區P與其相鄰光區的間距變化,亦可以得知攝像裝置110的旋轉角度改變。在此,第一影像710的指定光區P與其在橫軸上相鄰的光區之間的間距,小於第二影像720的指定光區P與其在橫軸上相鄰的光區之間的間距。由此可知,攝像裝置110在垂直方向上產生了轉動變化。
圖8A及圖8B是依照本發明一實施例的校正畫面的示意圖。在開始使用之前,可先進行校準的動作。即,組裝多個組裝墊A而獲得光發射區域。接著,開啟攝像裝置110。之後,將攝像裝置110移動至光發射區域。在此,使用者例如是戴著安裝有攝像裝置110的頭盔進入光發射區域,或是手持著安裝有攝像裝置110的手杖進入光發射區域。接著,在攝像裝置110的螢幕R中顯示一理想光區域Z,如圖8A所示。攝像裝置110進入光發射區域,並且在固定位置時影像的偏差極小時,便可判定定位不動。
之後,偵測中心的光區與其在縱向上相鄰光區之間的長度a、b以及中心的光區與其在橫向上相鄰光區的長度c、d。判斷縱向長度比a/b以及橫向長度比c/d是否小於預設值。例如,長度 a與長度b兩者的比值應小於5%;長度c與長度d的比值應小於5%。
圖9是依照本發明另一實施例的物體追蹤系統的方塊圖。在本實施例中,物體追蹤系統900更包括電子裝置910,電子裝置910利用有線或無線的方式連結至多個組裝墊A。例如,利用通用序列匯流排(Universal Serial Bus,USB)、藍牙(Bluetooth)、Wi-Fi等來連接電子裝置910與多個組裝墊A。電子裝置910例如為一般桌上型電腦、筆記型電腦、平板電腦、智慧型手機、或其他具有運算功能的各類電子裝置。
在進行物體追蹤之前,可先透過電子裝置910來建立出虛擬空間與真實空間之間的對應地圖。電子裝置910利用有線或無線的方式偵測所有組裝墊A的光束,取得所有組裝墊A的光發射器240的識別碼。並且,要求各組裝墊A根據特定時序或特定強度等閃爍方式來發出光束,攝像裝置110的影像擷取器230接收到光訊號與擷取影像之後,進而可獲得各組裝墊所配置的一真實空間位置,並且將識別碼與對應的真實空間位置進行對應,最後產生最終的對應地圖。另外,在其他實施例中,亦可在攝像裝置110中來建立對應地圖,在此並不限制。
圖10A~圖10C是依照本發明一實施例的組裝墊構成的示意圖。在此,以紅外光源IR做為光發射器,紅外光源IR可為單區、多區於單一組裝墊上,其一區至少為一顆IRLED構成。圖10A的組裝墊A包括1個紅外光源IR;圖10B的組裝墊A包括3 個紅外光源IR;圖10C的組裝墊A包括4個紅外光源IR。每一個組裝墊A為方形,並於邊緣具有公母機構接合點,可單可雙,公母位置可相鄰相對皆可。而電性接合點IO位於機構接合點上,且可單邊全公、全母、或公母混行搭配電性接合點IO進行電性對應。
圖11A~圖11C是依照本發明另一實施例的組裝墊構成的示意圖。在本實施例中,組裝墊A更與力量感測器(force sensor)F結合。圖11A的組裝墊A中設置1個力量感測器F,並且在力量感測器F的中央設置紅外光源IR。圖11B的組裝墊A中設置1個力量感測器F,而紅外光源IR則設置在不與力量感測器F重疊的位置。圖11C的組裝墊A中紅外光源IR設置中央,而力量感測器F以紅外光源IR為中心並與紅外光源IR不重疊地設置為4個。紅外光源IR的擺設位置與數目可隨系統需求的精準度與影像擷取器230的攝像頭的成熟程度而演進,在此並不限定為設置於中央亦不限定為4個。
綜上所述,本發明結合多個發光的組裝墊,利用組裝墊來界定出活動範圍,以在活動範圍內來追蹤特定的物體。而組裝墊結構簡單,可手動組裝,不僅組裝方便,亦便於拆卸。並且,可視情況來增減組合墊的數量,在擴充上更為彈性,另外可符合任何場地域形狀,亦可用於桌面、牆壁等需要戶動的平面。在應用上更為廣泛。不僅可用於虛擬實境或擴增實境的互動,亦可用於居家照顧、人體或寵物位置追蹤等。
雖然本發明已以實施例揭露如上,然其並非用以限定本 發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

Claims (22)

  1. 一種物體追蹤方法,包括: 透過多個組裝墊各自的一光發射器發射一光束,其中該些組裝墊拼裝出一光發射區域; 透過一攝像裝置持續在該光發射區域內朝向該些組裝墊來擷取多張影像,其中每一該些影像中包括透過所述光束而形成的多個光區; 解析一第一影像以及一第二影像,以計算該些光區的移動變化,其中該第一影像以及該第二影像為該些影像中相鄰的兩張影像;以及 基於該移動變化來判定該攝像裝置的運動狀態。
  2. 如申請專利範圍第1項所述的物體追蹤方法,其中解析該第一影像以及該第二影像,以計算該些光區的移動變化的步驟包括: 在該第一影像以及該第二影像分別鎖定一指定光區;以及 基於該第一影像的該指定光區的座標位置以及該第二影像的該指定光區的座標位置,計算在一水平面上的一位移方向以及一位移量。
  3. 如申請專利範圍第1項所述的物體追蹤方法,其中解析該第一影像以及該第二影像,以計算該些光區的移動變化的步驟包括: 在該第一影像以及該第二影像分別鎖定一成像位置; 記錄在該第一影像的該成像位置的第一光區; 記錄在該第二影像的該成像位置的第二光區; 基於該第一光區與該第二光區兩者的位置關係來獲得在一水平面上的一位移方向;以及 基於該第一光區與該第二光區之間包括的光區數量來獲得在該水平面上的一位移量。
  4. 如申請專利範圍第1項所述的物體追蹤方法,其中解析該第一影像以及該第二影像,以計算該些光區的移動變化的步驟包括: 在該第一影像以及該第二影像分別鎖定一指定光區; 於該第一影像中,在該指定光區分別與其相鄰的該些光區之間相距的間隔皆相等時,記錄一第一間隔; 於該第二影像中,在該指定光區分別與其相鄰的該些光區之間相距的間隔皆相等時,記錄一第二間隔; 在該第一間隔與該第二間隔不同的情況下,基於該第一間隔與該第二間隔的變化關係,獲得在一垂直軸上的位移方向以及一位移量。
  5. 如申請專利範圍第4項所述的物體追蹤方法,更包括: 在該第一間隔與該第二間隔相同的情況下,判定該移動變化為一水平移動。
  6. 如申請專利範圍第1項所述的物體追蹤方法,其中解析該第一影像以及該第二影像,以計算該些光區的移動變化的步驟包括: 判斷在該第一影像與該第二影像中,位於外側的所述光區形成的直線之間的斜率是否改變; 其中,基於該移動變化來判定該攝像裝置的運動狀態的步驟包括: 基於該斜率的變化來計算該攝像裝置的一旋轉角度。
  7. 如申請專利範圍第1項所述的物體追蹤方法,更包括: 取得各該些組裝墊的一識別碼; 驅使該些組裝墊逐一發出光束; 基於接收到的一光訊號及一擷取影像,獲得各該些組裝墊所配置的一真實空間位置;以及 將該識別碼與其對應的該真實空間位置進行對應而獲得一對應地圖。
  8. 如申請專利範圍第1項所述的物體追蹤方法,更包括: 透過該攝像裝置在該光發射區域內朝向該些組裝墊來擷取一校正影像,並顯示該校正影像於一螢幕; 於該螢幕中,在該校正影像的上方顯示一理想光區域;以及 透過該理想光區域與該校正影像中的該些光區來進行一校正程序。
  9. 如申請專利範圍第1項所述的物體追蹤方法,其中每一該些組裝墊在其邊緣具有公母機構接合點,每一該些組裝墊透過該公母機構接合點來進行組裝。
  10. 如申請專利範圍第1項所述的物體追蹤方法,其中該攝像裝置安裝在一物件上,其中該物件為頭盔、手杖、遙控器、手套、鞋套以及衣服其中一個。
  11. 如申請專利範圍第1項所述的物體追蹤方法,其中每一該些組裝墊更包括一力量感測器。
  12. 一種物體追蹤系統,包括: 多個組裝墊,拼裝出一光發射區域,其中每一該些組裝墊包括用以發射一光束的一光發射器;以及 一攝像裝置,包括: 一影像擷取器,持續在該光發射區域內朝向該些組裝墊來擷取多張影像,其中每一該些影像中包括透過所述光束而形成的多個光區;以及 一影像分析單元,耦接至該影像擷取器,接收該些影像以解析該些影像,其中,該影像分析單元解析一第一影像以及一第二影像,以計算該些光區的移動變化,其中該第一影像以及該第二影像為該些影像中相鄰的兩張影像;並且,該影像分析單元基於該移動變化來判定該攝像裝置的運動狀態。
  13. 如申請專利範圍第12項所述的物體追蹤系統,其中該影像分析單元在該第一影像以及該第二影像分別鎖定一指定光區,並且基於該第一影像的該指定光區的座標位置以及該第二影像的該指定光區的座標位置,計算在一水平面上的一位移方向以及一位移量。
  14. 如申請專利範圍第12項所述的物體追蹤系統,其中該影像分析單元在該第一影像以及該第二影像分別鎖定一成像位置;記錄在該第一影像的該成像位置的第一光區;記錄在該第二影像的該成像位置的第二光區;基於該第一光區與該第二光區兩者的位置關係來獲得在一水平面上的一位移方向;以及基於該第一光區與該第二光區之間包括的光區數量來獲得在該水平面上的一位移量。
  15. 如申請專利範圍第12項所述的物體追蹤系統,其中該影像分析單元在該第一影像以及該第二影像分別鎖定一指定光區;於該第一影像中,在該指定光區分別與其相鄰的該些光區之間相距的間隔皆相等時,記錄一第一間隔;於該第二影像中,在該指定光區分別與其相鄰的該些光區之間相距的間隔皆相等時,記錄一第二間隔;在該第一間隔與該第二間隔不同的情況下,基於該第一間隔與該第二間隔的變化關係,獲得在一垂直軸上的一位移方向以及一位移量。
  16. 如申請專利範圍第15項所述的物體追蹤系統,其中該影像分析單元在該第一間隔與該第二間隔相同的情況下,判定該移動變化為一水平移動。
  17. 如申請專利範圍第12項所述的物體追蹤系統,其中該影像分析單元判斷在該第一影像與該第二影像中,位於外側的所述光區形成的直線之間的斜率是否改變,並且基於該斜率的變化來計算該攝像裝置的一旋轉角度。
  18. 如申請專利範圍第12項所述的物體追蹤系統,其中該影像分析單元取得各該些組裝墊的一識別碼,驅使該些組裝墊逐一發出光束,基於接收到的一光訊號及一擷取影像,獲得各該些組裝墊所配置的一真實空間位置,並且將該識別碼與其對應的該真實空間位置進行對應而獲得一對應地圖。
  19. 如申請專利範圍第12項所述的物體追蹤系統,其中該影像擷取器在該光發射區域內朝向該些組裝墊來擷取一校正影像,並顯示該校正影像於一螢幕;該影像分析單元於該螢幕中,在該校正影像的上方顯示一理想光區域,並且透過該理想光區域與該校正影像中的該些光區來進行一校正程序。
  20. 如申請專利範圍第12項所述的物體追蹤系統,其中每一該些組裝墊在其邊緣具有公母機構接合點,每一該些組裝墊透過該公母機構接合點來進行組裝。
  21. 如申請專利範圍第12項所述的物體追蹤系統,其中該攝像裝置安裝在一物件上,其中該物件為頭盔、手杖、遙控器、手套、鞋套以及衣服其中一個。
  22. 如申請專利範圍第12項所述的物體追蹤系統,其中每一該些組裝墊更包括一力量感測器。
TW106134271A 2017-10-03 2017-10-03 物體追蹤方法及系統 TWI635255B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW106134271A TWI635255B (zh) 2017-10-03 2017-10-03 物體追蹤方法及系統
US15/849,639 US20190102890A1 (en) 2017-10-03 2017-12-20 Method and system for tracking object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106134271A TWI635255B (zh) 2017-10-03 2017-10-03 物體追蹤方法及系統

Publications (2)

Publication Number Publication Date
TWI635255B true TWI635255B (zh) 2018-09-11
TW201915442A TW201915442A (zh) 2019-04-16

Family

ID=64452995

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106134271A TWI635255B (zh) 2017-10-03 2017-10-03 物體追蹤方法及系統

Country Status (2)

Country Link
US (1) US20190102890A1 (zh)
TW (1) TWI635255B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113923338A (zh) * 2020-07-07 2022-01-11 黑快马股份有限公司 具有画面稳定功能的跟拍系统及具有画面稳定功能的跟拍方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI267806B (en) * 2005-04-28 2006-12-01 Chung Shan Inst Of Science Vehicle control training system and its method
US8547401B2 (en) * 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
WO2016150292A1 (zh) * 2015-03-26 2016-09-29 北京小小牛创意科技有限公司 一种融合真实环境的虚实结合的交互方法及系统
KR101713223B1 (ko) * 2015-10-20 2017-03-22 (주)라스 가상현실 체험 장치
CN106643699A (zh) * 2016-12-26 2017-05-10 影动(北京)科技有限公司 一种虚拟现实系统中的空间定位装置和定位方法
CN107045201A (zh) * 2016-12-27 2017-08-15 上海与德信息技术有限公司 一种基于vr装置的显示方法及系统
US20170236328A1 (en) * 2016-02-12 2017-08-17 Disney Enterprises, Inc. Method for motion-synchronized ar or vr entertainment experience

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160098095A1 (en) * 2004-01-30 2016-04-07 Electronic Scripting Products, Inc. Deriving Input from Six Degrees of Freedom Interfaces
WO2013058978A1 (en) * 2011-10-17 2013-04-25 Kimmel Zebadiah M Method and apparatus for sizing and fitting an individual for apparel, accessories, or prosthetics
US20150097719A1 (en) * 2013-10-03 2015-04-09 Sulon Technologies Inc. System and method for active reference positioning in an augmented reality environment
JP6645687B2 (ja) * 2015-08-31 2020-02-14 キヤノン株式会社 表示装置及び制御方法
US20170374333A1 (en) * 2016-06-27 2017-12-28 Wieden + Kennedy, Inc. Real-time motion capture and projection system
US20190083808A1 (en) * 2017-09-20 2019-03-21 Jessica Iverson Apparatus and method for emitting light to a body of a user

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8547401B2 (en) * 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
TWI267806B (en) * 2005-04-28 2006-12-01 Chung Shan Inst Of Science Vehicle control training system and its method
WO2016150292A1 (zh) * 2015-03-26 2016-09-29 北京小小牛创意科技有限公司 一种融合真实环境的虚实结合的交互方法及系统
KR101713223B1 (ko) * 2015-10-20 2017-03-22 (주)라스 가상현실 체험 장치
US20170236328A1 (en) * 2016-02-12 2017-08-17 Disney Enterprises, Inc. Method for motion-synchronized ar or vr entertainment experience
CN106643699A (zh) * 2016-12-26 2017-05-10 影动(北京)科技有限公司 一种虚拟现实系统中的空间定位装置和定位方法
CN107045201A (zh) * 2016-12-27 2017-08-15 上海与德信息技术有限公司 一种基于vr装置的显示方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113923338A (zh) * 2020-07-07 2022-01-11 黑快马股份有限公司 具有画面稳定功能的跟拍系统及具有画面稳定功能的跟拍方法

Also Published As

Publication number Publication date
US20190102890A1 (en) 2019-04-04
TW201915442A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
US11350997B2 (en) High-speed optical tracking with compression and/or CMOS windowing
US9207773B1 (en) Two-dimensional method and system enabling three-dimensional user interaction with a device
JP5049228B2 (ja) 対話画像システム、対話装置及びその運転制御方法
US8971565B2 (en) Human interface electronic device
US20100201808A1 (en) Camera based motion sensing system
JP6302414B2 (ja) 複数の光源を有するモーションセンサ装置
CN101655739B (zh) 一种三次元虚拟输入与仿真的装置
TW200842665A (en) Cursor controlling device and method for image apparatus and image system
TW201915445A (zh) 用於頭戴式顯示裝置的定位方法、定位器以及定位系統
US9201519B2 (en) Three-dimensional pointing using one camera and three aligned lights
KR100532525B1 (ko) 카메라를 이용한 삼차원 포인팅장치
TWI635255B (zh) 物體追蹤方法及系統
US20040001074A1 (en) Image display apparatus and method, transmitting apparatus and method, image display system, recording medium, and program
US9678583B2 (en) 2D and 3D pointing device based on a passive lights detection operation method using one camera
US10447996B2 (en) Information processing device and position information acquisition method
WO2017163648A1 (ja) 頭部装着装置
JP6633140B2 (ja) 常時キャリブレーションシステム及びその方法
KR101651535B1 (ko) Hmd 디바이스 및 그 제어 방법
CN109688291B (zh) 物体追踪方法及系统
ES2812851T3 (es) Dispositivo de previsualización
WO2021190421A1 (zh) 基于虚拟现实的控制器光球追踪方法和虚拟现实设备
JP2003076488A (ja) 指示位置判断装置及び方法
WO2017163647A1 (ja) 頭部装着装置
TW201735613A (zh) 物體追蹤資訊的傳輸與顯示方法及其系統
KR20120070318A (ko) 스테레오 비전을 이용한 위치검출 시스템 및 위치검출 방법