TWI634344B - 三維軌跡偵測系統 - Google Patents

三維軌跡偵測系統 Download PDF

Info

Publication number
TWI634344B
TWI634344B TW106118953A TW106118953A TWI634344B TW I634344 B TWI634344 B TW I634344B TW 106118953 A TW106118953 A TW 106118953A TW 106118953 A TW106118953 A TW 106118953A TW I634344 B TWI634344 B TW I634344B
Authority
TW
Taiwan
Prior art keywords
moving object
signal
image
injection
displacement amount
Prior art date
Application number
TW106118953A
Other languages
English (en)
Other versions
TW201903431A (zh
Inventor
洪子聖
葉家宏
王復康
唐牧群
陳建綸
林旻慧
Original Assignee
國立中山大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立中山大學 filed Critical 國立中山大學
Priority to TW106118953A priority Critical patent/TWI634344B/zh
Priority to CN201711191673.XA priority patent/CN109001721B/zh
Priority to US15/871,230 priority patent/US10679043B2/en
Application granted granted Critical
Publication of TWI634344B publication Critical patent/TWI634344B/zh
Publication of TW201903431A publication Critical patent/TW201903431A/zh

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Abstract

一種三維軌跡偵測系統包含一影像擷取裝置、一雷達裝置及一計算模組，該影像擷取裝置用以擷取一動態影像並根據該動態影像計算一移動物體影像之一X方向像素位移量及一Y方向像素位移量，同時該雷達裝置發射一無線訊號至一移動物體，並由該移動物體接收一反射訊號，且該雷達裝置根據該反射訊號之都普勒相移量計算該移動物體之一Z軸方向位移，該計算模組根據該移動物體之該X方向像素位移量、該Y方向像素位移量及該移動物體之該Z軸方向位移建立該移動物體之一三維軌跡。

Description

三維軌跡偵測系統
本發明是關於一種三維軌跡偵測系統，特別是關於一種混合電腦視覺(Computer vision)及都普勒雷達(Doppler radar)之三維軌跡偵測系統。
隨著行動裝置的快速發展，其具備之功能及應用越來越廣泛，其中擴增實境(Augmented reality,AR)的應用潛力極高而成為目前行動裝置的發展重點。手勢辨識(Hand gesture recognition,HGR)為擴增實境之一個相當重要的互動技術，行動裝置藉由手勢辨識能讓使用者於顯示器中觀察到自己直接地與虛擬之影像進行互動，目前手勢辨識之主流技術是以3D攝像機(3D camera)進行辨識，如Microsoft Kinect、Intel RealSense及Lead Motion，由於3D攝像機是以RGB攝像機拍攝一圖像，再搭配一紅外線攝像機取得該圖像之深度資訊，而得以進行手勢辨識，使得行動裝置須另外加裝紅外線攝像機才能具備有手勢辨識之功能，這不但會將讓行動裝置的售價更高，還會造成電池電量消耗過快的情形發生，此外，於光線充足之戶外環境紅外線攝像機的深度偵測能力將大幅降低，這些問題均導致行動裝置於手勢辨識上的困難。
本發明的主要目的在於以影像擷取裝置擷取動態影像並計算移動物體影像之X方向像素位移量及Y方向像素位移量，並以雷達裝置偵測同一移動物體之Z軸方向位移，最後計算模組根據X方向像素位移量、Y方向像素位移量及Z軸方向位移進行計算而得到該移動物體之三維軌跡。
本發明之一種三維軌跡偵測系統包含一影像擷取裝置、一雷達裝置及一計算模組，該影像擷取裝置用以擷取一動態影像，該動態影像中具有一移動物體影像，該影像擷取裝置根據該移動物體影像計算該移動物體影像之一X方向像素位移量及一Y方向像素位移量，該雷達裝置發射一無線訊號至一移動物體，並由該移動物體接收一反射訊號，且該雷達裝置根據該反射訊號之都普勒相移量得到該移動物體之一Z軸方向位移，該計算模組耦接該影像擷取裝置及該雷達裝置，且該計算模組根據該移動物體影像之該X方向像素位移量、該Y方向像素位移量及該移動物體之該Z軸方向位移計算該移動物體之一三維軌跡。
本發明之該三維軌跡偵測系統藉由該影像擷取裝置取得該移動物體影像之該X方向像素位移量及該Y方向像素位移量，並藉由該雷達裝置取得該移動物體之該Z軸方向位移，即可透過該計算模組依據該X方向像素位移量、該Y方向像素位移量及該Z軸方向位移求得該移動物體之該三維軌跡。由於該雷達裝置為一被動式雷達，沒有專屬的射頻發射訊號源，而是使用環境中既有之無線訊號進行該移動物體之該Z軸方向位移的偵測，能有效地避免干擾行動裝置的無線通訊，且對於行動裝置之功率消耗上的要求亦較低，此外，使用電磁波進行偵測之雷達裝置並不會受到戶外光線之干擾，使本發明之三維軌跡偵測系統確實能解決目前行動裝置之手勢辨識的困難。
請參閱第1圖，為本發明之一實施例，一種三維軌跡偵測系統100的功能方塊圖，該三維軌跡偵測系統100包含一影像擷取裝置110、一雷達裝置120及一計算模組130，該影像擷取裝置110及該雷達裝置120耦接該計算模組130，在本實施例中，該影像擷取裝置110、該雷達裝置120及該計算模組130為獨立之電子元件。在其他實施例中，較佳的，該影像擷取裝置110、該雷達裝置120及該計算模組130整合於一行動裝置中。
請參閱第2及3圖，該影像擷取裝置110具有一RGB攝像機111及一影像處理模組112，該RGB攝像機111用以擷取一動態影像P，該動態影像P包含一移動物體O之一移動物體影像O P及其背景，請參閱第3圖，該動態影像P中具有該移動物體影像O P，且該移動物體影像O P於該動態影像P中隨著時間改變而移動，在本實施例中，該移動物體影像O P為一使用者之右手，在其他實施例中，該移動物體影像O P可為其他移動之物體。請參閱第2圖，該影像擷取裝置110之該影像處理模組112接收該動態影像P，由於該RGB攝像機111僅能捕捉到二維影像，因此，該影像處理模組112僅可根據該動態影像P計算該移動物體影像O P之一X方向像素位移量 及一Y方向像素位移量 。在本實施例中，該影像擷取裝置110之該影像處理模組112是以一背景減去法(Background subtraction)計算該移動物體影像O P之該X方向像素位移量 及該Y方向像素位移量 ，其中該影像擷取裝置110之該影像處理模組112根據該動態影像P建立一背景模型，以藉由比對該動態影像P之複數個像素與該背景模型之複數個像素之差異，以計算該移動物體影像O P之該X方向像素位移量 及該Y方向像素位移量 ，較佳的，該背景模型為高斯混合模型(Gaussian mixture model)，但本發明不在此限。
請再參閱第1及4圖，該雷達裝置120發射一無線訊號S T至該移動物體O，並由該移動物體O接收一反射訊號S R，由於該反射訊號S R含有該移動物體O之位移所造成之都普勒相移量，因此該雷達裝置120根據該反射訊號S R得到該移動物體O之一Z軸方向位移 。其中，該雷達裝置120可為主動式雷達(Active radar)或被動式雷達(Passive radar)，由於本發明之該三維軌跡偵測系統100欲設置於一行動裝置中，因此，較佳的，本發明之該雷達裝置120為被動式雷達，以降低行動裝置整體之功率消耗。
請參閱第5圖，在本實施例中，該雷達裝置120為一被動式注入鎖定雷達，其中該雷達裝置120具有一耦合器121、一天線122、一注入鎖定振盪器(Injection-locked oscillator)123、一放大器124、一解調電路125、一訊號處理單元126及一帶通濾波器127。
請參閱第5圖，該雷達裝置120的動作為：該耦合器121由環境中接收該無線訊號S T，該無線訊號S T可為該行動裝置發出之一發射訊號或一無線基地台(Wireless Access Point)發出之一發射訊號，在本實施例中，該無線訊號S T為該無線基地台發出之Wi-Fi訊號。該耦合器121將該無線訊號S T耦合至該天線122及該注入鎖定振盪器123，在本實施例中，該耦合器121為一分支線耦合器(Branch-line coupler)，該耦合器121將該無線訊號S T耦合至該注入鎖定振盪器123後，可使該注入鎖定振盪器123處於一注入鎖定狀態(Injection-locked state)。而該耦合器121將該無線訊號S T耦合至該帶通濾波器127濾波後傳送至該天線122，該天線122將該無線訊號S T發射至該移動物體O，且該天線122由該移動物體O接收該反射訊號S R，其中該反射訊號S R含有該移動物體O之位移所造成之都普勒相移量，該天線122接收之該反射訊號S R傳送至該耦合器121，該耦合器121將該反射訊號S R耦合至該放大器124，該解調電路125耦接該注入鎖定振盪器123及該放大器124，以對該注入鎖定振盪器123輸出之一鎖相(lock-in)訊號S L及該放大器124輸出之一射頻放大訊號S O進行正交相位解調。
請參閱第5圖，在本實施例中，該解調電路125為一正交(I/Q)解調電路，其中該解調電路125具有一90度相差功率分配器125a、一功率分配器125b、一第一混波器125c、一第二混波器125d、一第一低通濾波器125e及一第二低通濾波器125f。其中，該90度相差功率分配器125a耦接該注入鎖定振盪器123以接收該鎖相訊號S L，該90度相差功率分配器125a之一0度輸出端輸出一同相本地振盪訊號S LO_I，該90度相差功率分配器125a之一90度輸出端輸出一正交本地振盪訊號S LO_Q。該功率分配器125b耦接該放大器124以接收該射頻放大訊號S O，且該功率分配器125b將該射頻放大訊號S O分為兩個路徑。該第一混波器125c接收該同相本地振盪訊號S LO_I及其中之一路徑之該射頻放大訊號S O以進行混波而得到一第一混波訊號M1，該第二混波器125d接收該正交本地振盪訊號S LO_Q及另一路徑之該射頻放大訊號S O以進行混波而得到一第二混波訊號M2，該第一低通濾波器125e接收該第一混波器125c之該第一混波訊號M1以進行濾波而輸出一同相(In-phase)訊號I，該第二低通濾波器125f接收該第二混波器125d之該第二混波訊號M2以進行濾波而輸出一正交(Quadrature)訊號Q，該訊號處理單元126耦接該解調電路125以接收該同相訊號I及該正交訊號Q，且該訊號處理單元126根據該同相訊號I及該正交訊號Q計算該移動物體O之該Z軸方向位移 ，在本實施例中，該訊號處理單元126是藉由反正切計算(Arctangent calculation)得到該反射訊號S R之都普勒相移量，並進而得到該移動物體O之該Z軸方向位移 。
請參閱第1圖，該計算模組130耦接該影像擷取裝置110及該雷達裝置120，且該計算模組130需要執行一校正程序，請參閱第6及7圖，該校正程序是在該移動物體O沿著一XZ平面上之一第一夾角 做直線運動，以及該移動物體O沿著一YZ平面上之一第二夾角 做直線運動，且該第一夾角 與該第二夾角 為已知固定之夾角，在該移動物體O進行上述兩種直線運動下，該計算模組130根據該移動物體影像O P之該X方向像素位移量 、該Y方向像素位移量 及該移動物體O之該Z軸方向位移 計算該移動物體O之一X軸方向位移 與該移動物體影像O P之該X方向像素位移量 之一第一換算比例 ，以及該移動物體O之一Y軸方向位移 與該移動物體影像O P之該Y方向像素位移量 之一第二換算比例m y 的示意圖，該第一換算比例m x 與該第二換算比例m y 的計算式為：
本發明之該三維軌跡偵測系統100藉由該影像擷取裝置110取得該移動物體影像OP之該X方向像素位移量△P x 及該Y方向像素位移量△P y ，即可透過該計算模組130經過該校正程序所得到之該第一換算比例m x 及該第二換算比例m y ，在該移動物體O之任意運動軌跡下將該移動物體影像OP之該X方向像素位移量△P x 轉換為該移動物體O之該X軸方向位移△x，以及將該移動物體影像OP之該Y方向像素位移量△P y 轉換為該移動物體O之該Y軸方向位移△y，並藉由該雷達裝置120取得該移動物體O之該Z軸方向位移△z，即可建立該移動物體O之該三維軌跡T。由於該雷達裝置120為一被動式雷達，沒有專屬的射頻發射訊號源，而是使用環境既有之無線訊號進行該移動物體O之該Z軸方向位移△z的偵測，能有效地避免干擾行動裝置的無線通訊，且對於行動裝置之功率消耗上的要求亦較低，此外，使用電磁波進行偵測之雷達裝置120並不會受到戶外光線之干擾，使本發明之三維軌跡偵測系統100確實能解決目前行動裝置之手勢辨識的困難。
請參閱第8及9圖，為本發明之該三維軌跡偵測系統100分別對兩個移動手勢所進行之三維軌跡建立，其中該影像擷取裝置110為一智慧型手機，該雷達裝置120為一被動式雷達(圖未繪出)，該雷達裝置120之該天線122為一平板天線，該計算模組130為一筆記型電腦，且該影像擷取裝置110及該雷達裝置120耦接至該計算模組130。請參閱第8圖，使用者之左手(圖未繪出)拿取該影像擷取裝置110，右手由左至右地呈一上凸曲線之路徑移動且逐漸地遠離該影像擷取裝置 110，由建立之三維軌跡可以看到其確實與使用者右手之軌跡相似。請參閱第9圖，使用者之左手(圖未繪出)拿取該影像擷取裝置110，右手首先由左至右地稍微向上移動且逐漸地遠離該影像擷取裝置110，接著進行轉折，由右至左地並向下移動且逐漸地接近該影像擷取裝置110，由建立之三維軌跡可以看到其確實與使用者右手之軌跡相似。可以證明本發明確實可根據影像擷取裝置110所擷取之該動態影像及該雷達裝置120所偵測之該Z軸方向位移建立三維軌跡。
本發明之保護範圍當視後附之申請專利範圍所界定者為準，任何熟知此項技藝者，在不脫離本發明之精神和範圍內所作之任何變化與修改，均屬於本發明之保護範圍。
100‧‧‧三維軌跡偵測系統
110‧‧‧影像擷取裝置
111‧‧‧RGB攝像機
112‧‧‧影像處理模組
120‧‧‧雷達裝置
121‧‧‧耦合器
122‧‧‧天線
123‧‧‧注入鎖定振盪器
124‧‧‧放大器
125‧‧‧解調電路
125a‧‧‧90度相差功率分配器
125b‧‧‧功率分配器
125c‧‧‧第一混波器
125d‧‧‧第二混波器
125e‧‧‧第一低通濾波器
125f‧‧‧第二低通濾波器
126‧‧‧訊號處理單元
127‧‧‧帶通濾波器
130‧‧‧計算模組
P‧‧‧動態影像
OP‧‧‧移動物體影像
‧‧‧X方向像素位移量
‧‧‧Y方向像素位移量
‧‧‧第一換算比例
‧‧‧第二換算比例
‧‧‧X軸方向位移
‧‧‧Y軸方向位移
‧‧‧Z軸方向位移
T‧‧‧三維軌跡
O‧‧‧移動物體
ST‧‧‧無線訊號
SR‧‧‧反射訊號
SL‧‧‧鎖相訊號
SO‧‧‧射頻放大訊號
SLO_I‧‧‧同相本地振盪訊號
SLO_Q‧‧‧正交本地振盪訊號
M1‧‧‧第一混波訊號
M2‧‧‧第二混波訊號
I‧‧‧同相訊號
Q‧‧‧正交訊號
第1圖： 依據本發明之一實施例，一三維軌跡偵測系統的功能方塊圖。 第2圖： 依據本發明之一實施例，一影像擷取裝置的功能方塊圖。 第3圖： 依據本發明之一實施例，一行動裝置擷取一動態影像的示意圖。 第4圖： 依據本發明之一實施例，一雷達裝置偵測一移動物體之位移的示意圖。 第5圖： 依據本發明之一實施例，該雷達裝置的電路圖。 第6圖： 依據本發明之一實施例，該移動物體沿著XZ平面上之固定夾角做直線運動示意圖。 第7圖： 依據本發明之一實施例，該移動物體沿著YZ平面上之固定夾角做直線運動示意圖。 第8圖： 依據本發明之一實施例，該三維軌跡偵測系統建立一三維軌跡之示意圖。 第9圖：依據本發明之一實施例，該三維軌跡偵測系統建立一三維軌跡之示意圖。

Claims (11)

  1. 一種三維軌跡偵測系統，其包含一影像擷取裝置，用以擷取一動態影像，該動態影像中具有一移動物體影像，該影像擷取裝置計算該移動物體影像之一X方向像素位移量及一Y方向像素位移量；一雷達裝置，發射一無線訊號至一移動物體，並由該移動物體接收一反射訊號，且該雷達裝置根據該反射訊號之一都普勒相移量得到該移動物體之一Z軸方向位移；以及一計算模組，耦接該影像擷取裝置及該雷達裝置，且該計算模組根據該移動物體影像之該X方向像素位移量、該Y方向像素位移量及該移動物體之該Z軸方向位移計算該移動物體之一三維軌跡，其中該計算模組具有一校正程序，該校正程序為該移動物體沿著一XZ平面上之一第一夾角做直線運動，以及該移動物體沿著一YZ平面上之一第二夾角做直線運動，且該第一夾角與該第二夾角為已知固定之夾角，其中該計算模組根據直線運動之該移動物體影像之該X方向像素位移量、該Y方向像素位移量、及該移動物體之該Z軸方向位移計算該移動物體之一X軸方向位移與該移動物體影像之該X方向像素位移量之一第一換算比例，以及該移動物體之一Y軸方向位移與該移動物體影像之該Y方向像素位移量之一第二換算比例。
  2. 如申請專利範圍第1項所述之三維軌跡偵測系統，其中該影像擷取裝置是以一背景減去法(Background subtraction)計算該移動物體影像之該X方向像素位移量及該Y方向像素位移量。
  3. 如申請專利範圍第2項所述之三維軌跡偵測系統，其中該影像擷取 裝置根據該動態影像建立一背景模型，以藉由比對該動態影像之複數個像素與該背景模型之複數個像素計算該移動物體影像之該X方向像素位移量及該Y方向像素位移量。
  4. 如申請專利範圍第1項所述之三維軌跡偵測系統，其中該雷達裝置為一被動式雷達(Passive radar)。
  5. 如申請專利範圍第4項所述之三維軌跡偵測系統，其中該雷達裝置具有一耦合器、一天線、一注入鎖定振盪器(Injection-locked oscillator)、一放大器及一解調電路，該耦合器接收該無線訊號，且該耦合器將該無線訊號耦合至該天線及該注入鎖定振盪器，使該注入鎖定振盪器處於一注入鎖定狀態(Injection-locked state)，該天線將該無線訊號發射至該移動物體，且該天線由該移動物體接收一反射訊號，該反射訊號傳送至該耦合器，該耦合器將該反射訊號耦合至該放大器，該解調電路耦接該注入鎖定振盪器及該放大器，以對該注入鎖定振盪器輸出之一鎖相訊號及該放大器輸出之一射頻放大訊號進行正交相位解調。
  6. 如申請專利範圍第5項所述之三維軌跡偵測系統，其中該雷達裝置具有一訊號處理單元，該訊號處理單元耦接該解調電路以接收一同相訊號及一正交訊號，且該訊號處理單元根據該同相訊號及該正交訊號計算該移動物體之該Z軸方向位移。
  7. 如申請專利範圍第5項所述之三維軌跡偵測系統，其中該解調電路具有一90度相差功率分配器、一功率分配器、一第一混波器、一第二混波器、一第一低通濾波器及一第二低通濾波器，該90度相差功率分配器耦接注入鎖定振盪器以接收該鎖相訊號，該90度相差功率分配器輸出一同相本地振盪訊號及一正交本地振盪訊號，該功率分配器耦接該放大器以接收該射頻放大訊號，且該功 率分配器將該射頻放大訊號分為兩個路徑，該第一混波器接收該同相本地振盪訊號及其中之一路徑之該射頻放大訊號以進行混波，該第二混波器接收該正交本地振盪訊號及另一路徑之該射頻放大訊號以進行混波，該第一低通濾波器接收該第一混波器之一第一混波訊號以進行濾波而輸出該同相訊號，該第二低通濾波器接收該第二混波器之一第二混波訊號以進行濾波而輸出該正交訊號。
  8. 如申請專利範圍第1項所述之三維軌跡偵測系統，其中該第一換算比例與該第二換算比例的計算式為： 其中，m x 為該第一換算比例，△z為該移動物體之該Z軸方向位移，△P x 為該移動物體影像之該X方向像素位移量，θ x 為該第一夾角，△x為該移動物體之該X軸方向位移，m y 為該第二換算比例，△P y 為該移動物體影像之該Y方向像素位移量，θ y 為該第二夾角，△y為該移動物體之該Y軸方向位移。
  9. 如申請專利範圍第1至8中任一項所述之三維軌跡偵測系統，其中該影像擷取裝置、該雷達裝置及該計算模組整合於一行動裝置中。
  10. 如申請專利範圍第9項所述之三維軌跡偵測系統，其中該無線訊號可選自為該行動裝置發出之一訊號或一無線基地台發出之一訊號。
  11. 一種三維軌跡偵測系統，其包含一影像擷取裝置，用以擷取一動態影像，該動態影像中具有一移動物體影像，該影像擷取裝置計算該移動物體影像之一X方向像素位移量及一Y方向像素位移量； 一雷達裝置，發射一無線訊號至一移動物體，並由該移動物體接收一反射訊號，且該雷達裝置根據該反射訊號之一都普勒相移量得到該移動物體之一Z軸方向位移，其中該雷達裝置具有一耦合器、一天線、一注入鎖定振盪器(Injection-locked oscillator)、一放大器及一解調電路，該耦合器接收該無線訊號，且該耦合器將該無線訊號耦合至該天線及該注入鎖定振盪器，使該注入鎖定振盪器處於一注入鎖定狀態(Injection-locked state)，該天線將該無線訊號發射至該移動物體，且該天線由該移動物體接收一反射訊號，該反射訊號傳送至該耦合器，該耦合器將該反射訊號耦合至該放大器，該解調電路耦接該注入鎖定振盪器及該放大器，以對該注入鎖定振盪器輸出之一鎖相訊號及該放大器輸出之一射頻放大訊號進行正交相位解調；以及一計算模組，耦接該影像擷取裝置及該雷達裝置，且該計算模組根據該移動物體影像之該X方向像素位移量、該Y方向像素位移量及該移動物體之該Z軸方向位移計算該移動物體之一三維軌跡。
TW106118953A 2017-06-07 2017-06-07 三維軌跡偵測系統 TWI634344B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW106118953A TWI634344B (zh) 2017-06-07 2017-06-07 三維軌跡偵測系統
CN201711191673.XA CN109001721B (zh) 2017-06-07 2017-11-24 三维轨迹侦测系统
US15/871,230 US10679043B2 (en) 2017-06-07 2018-01-15 3-D path detection system for hand gesture recognition application

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106118953A TWI634344B (zh) 2017-06-07 2017-06-07 三維軌跡偵測系統

Publications (2)

Publication Number Publication Date
TWI634344B true TWI634344B (zh) 2018-09-01
TW201903431A TW201903431A (zh) 2019-01-16

Family

ID=64452918

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106118953A TWI634344B (zh) 2017-06-07 2017-06-07 三維軌跡偵測系統

Country Status (3)

Country Link
US (1) US10679043B2 (zh)
CN (1) CN109001721B (zh)
TW (1) TWI634344B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI669913B (zh) * 2019-03-15 2019-08-21 昇雷科技股份有限公司 頻率轉換式自我注入鎖定雷達
TWI682649B (zh) * 2018-09-28 2020-01-11 國立中山大學 具正交混波器之訊號解調裝置及其解調方法
CN113671447A (zh) * 2020-05-13 2021-11-19 中山大学 六端口自我注入锁定雷达

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI756993B (zh) * 2020-12-17 2022-03-01 國立中山大學 使用無線網路訊號之生命徵象雷達感測器
CN115485647A (zh) * 2021-04-16 2022-12-16 华为技术有限公司 肢体识别方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200707257A (en) * 2005-08-10 2007-02-16 Hong-Yi Lin Image interactive story house
WO2012055148A1 (zh) * 2010-10-27 2012-05-03 中国人民解放军第四军医大学 一种多通道基于uwb雷达式生命探测仪及其定位方法
US8258453B2 (en) * 2009-04-29 2012-09-04 Intersil Americas Inc. Long range proximity and/or motion detector with ambient light detection capabilities
US20120249741A1 (en) * 2011-03-29 2012-10-04 Giuliano Maciocci Anchoring virtual images to real world surfaces in augmented reality systems
TW201428346A (zh) * 2013-01-09 2014-07-16 Nat Univ Chung Hsing 具無接觸手勢控制之眼鏡型行動電話

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070099582A1 (en) * 2005-10-31 2007-05-03 Mediatek Inc. Method and apparatus for signal demodulation and transmission
US10481696B2 (en) * 2015-03-03 2019-11-19 Nvidia Corporation Radar based user interface
US10152798B2 (en) * 2017-04-10 2018-12-11 Wisconsin Alumni Research Foundation Systems, methods and, media for determining object motion in three dimensions using speckle images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200707257A (en) * 2005-08-10 2007-02-16 Hong-Yi Lin Image interactive story house
US8258453B2 (en) * 2009-04-29 2012-09-04 Intersil Americas Inc. Long range proximity and/or motion detector with ambient light detection capabilities
WO2012055148A1 (zh) * 2010-10-27 2012-05-03 中国人民解放军第四军医大学 一种多通道基于uwb雷达式生命探测仪及其定位方法
US20120249741A1 (en) * 2011-03-29 2012-10-04 Giuliano Maciocci Anchoring virtual images to real world surfaces in augmented reality systems
TW201428346A (zh) * 2013-01-09 2014-07-16 Nat Univ Chung Hsing 具無接觸手勢控制之眼鏡型行動電話

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI682649B (zh) * 2018-09-28 2020-01-11 國立中山大學 具正交混波器之訊號解調裝置及其解調方法
US11041939B2 (en) 2018-09-28 2021-06-22 National Sun Yat-Sen University Signal demodulation device having IQ mixer and demodulation method using the same
TWI669913B (zh) * 2019-03-15 2019-08-21 昇雷科技股份有限公司 頻率轉換式自我注入鎖定雷達
US10763872B1 (en) 2019-03-15 2020-09-01 Sil Radar Technology Inc. Frequency-converted self-injection-locked radar
CN113671447A (zh) * 2020-05-13 2021-11-19 中山大学 六端口自我注入锁定雷达

Also Published As

Publication number Publication date
CN109001721B (zh) 2021-09-21
US10679043B2 (en) 2020-06-09
TW201903431A (zh) 2019-01-16
CN109001721A (zh) 2018-12-14
US20180357474A1 (en) 2018-12-13

Similar Documents

Publication Publication Date Title
TWI634344B (zh) 三維軌跡偵測系統
CN108682036B (zh) 位姿确定方法、装置及存储介质
CN108682038B (zh) 位姿确定方法、装置及存储介质
CN111127563A (zh) 联合标定方法、装置、电子设备及存储介质
US20170302910A1 (en) Method and apparatus for merging depth maps in a depth camera system
CN110555882A (zh) 界面显示方法、装置及存储介质
CN112270718B (zh) 摄像头标定方法、装置、系统及存储介质
CN111542128B (zh) 一种基于uwb的设备交互方法、装置及设备
US9589359B2 (en) Structured stereo
US11158088B2 (en) Vanishing point computation and online alignment system and method for image guided stereo camera optical axes alignment
CN103020988A (zh) 一种激光散斑图像的运动向量生成方法
US11869195B2 (en) Target object controlling method, apparatus, electronic device, and storage medium
CN208781240U (zh) 3d芯片模组、身份识别装置及电子设备
CN106131454B (zh) 一种影像撷取系统及影像撷取方法
Cheng et al. AR-based positioning for mobile devices
Jiang et al. VisBLE: Vision-enhanced BLE device tracking
CN106774825B (zh) 一种非接触式的手势识别方法和系统
CN110874699A (zh) 记录物品的物流信息方法、装置及系统
CN112835021B (zh) 定位方法、装置、系统及计算机可读存储介质
WO2023109564A1 (zh) 视频图像处理方法、装置、电子设备及存储介质
WO2023077412A1 (zh) 一种物体测距方法及装置
US20200184672A1 (en) Information measuring method and information measuring system
Feng et al. A fine-grained gesture tracking system based on millimeter-wave
WO2022037420A1 (zh) 电磁波成像方法、装置及系统
TWI723574B (zh) 手勢辨識系統及手勢辨識方法