TW201602611A - 使用微功率脈衝雷達之移動顯示位置與方向的測定 - Google Patents

使用微功率脈衝雷達之移動顯示位置與方向的測定 Download PDF

Info

Publication number
TW201602611A
TW201602611A TW104104568A TW104104568A TW201602611A TW 201602611 A TW201602611 A TW 201602611A TW 104104568 A TW104104568 A TW 104104568A TW 104104568 A TW104104568 A TW 104104568A TW 201602611 A TW201602611 A TW 201602611A
Authority
TW
Taiwan
Prior art keywords
radar
image
user
mobile device
environment
Prior art date
Application number
TW104104568A
Other languages
English (en)
Other versions
TWI561841B (en
Inventor
馬克 史布蘭格
保羅 古恩
南生尼爾 奈格
Original Assignee
英特爾股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 英特爾股份有限公司 filed Critical 英特爾股份有限公司
Publication of TW201602611A publication Critical patent/TW201602611A/zh
Application granted granted Critical
Publication of TWI561841B publication Critical patent/TWI561841B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/0209—Systems with very large relative bandwidth, i.e. larger than 10 %, e.g. baseband, pulse, carrier-free, ultrawideband
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G01S13/10—Systems for measuring distance only using transmission of interrupted, pulse modulated waves
    • G01S13/18—Systems for measuring distance only using transmission of interrupted, pulse modulated waves wherein range gates are used
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/46—Indirect determination of position data
    • G01S13/48—Indirect determination of position data using multiple beams at emission or reception
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/69—Spread spectrum techniques
    • H04B1/7163—Spread spectrum techniques using impulse radio
    • H04B1/717—Pulse-related aspects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Abstract

實施例大致上關於使用微功率脈衝雷達之移動顯示位置與方向的測定。設備的實施例包含顯示器以呈現影像；雷達組件以產生雷達訊號脈衝及根據收到的返回訊號而產生距離資料；雷達天線以發送雷達訊號脈衝以及接收返回訊號；以及，處理器以處理訊號及資料，其中，處理器會：處理由雷達天線收到的返回訊號以測定相對於環境中的真實物件之顯示器的位置與方向，以及測定設備的使用者的有利點之位置，以及，產生擴增影像，包含描繪虛擬物件以及將虛擬物件疊加於包含一或更多真實物件的影像上，虛擬影像的描繪至少部份地根據測定之顯示器的位置與方向以及測定之設備的使用者的有利點。

Description

使用微功率脈衝雷達之移動顯示位置與方向的測定
此處揭示的實施例大致上關於電子裝置領域，以及更特別關於使用微功率脈衝雷達之移動顯示位置及方向的測定。
在行動電子裝置操作中，可能需要準確測定裝置的位置與方向。在實例中，擴增實境影像結合含有真實物件的環境之影像與虛擬物件的影像，以提供無縫合併這些影像組件的合併影像。
但是，由於虛擬及真實影像相對於用以顯示擴增影像的顯示之計算位置不準確，所以，習知系統通常難以合併虛擬及真實影像。該計算位置的不準確係導因於用以顯示擴增影像之顯示的位置與方向之測量的不充份準確性。結果，虛擬影像通常與環境無法良好定位，造成這些影像在 環境中經常「漂移」而不是在環境中自然地存在或移動。
此外，真實與虛擬物件的合併會要求準確的阻隔顯示，其中，虛擬物件部份地隱藏於真實物件之後。假使位置與方向未準確地呈現，則在真實物件與虛擬物件之間的邊界將不準確，而在擴增實境影像中產生隙縫，而不是在虛擬與真實物件之間看起來自然寫實。
110‧‧‧行動裝置
120‧‧‧成像元件
125‧‧‧顯示幕
130‧‧‧天線
132‧‧‧天線
134‧‧‧天線
136‧‧‧天線
210‧‧‧行動裝置
300‧‧‧微功率脈衝電射系統
700‧‧‧設備
舉例說明地而非限定顯示此處說明的實施例中，在附圖中，類似的代號意指類似元件。
圖1顯示提供使用微功率脈衝雷達之位置與方向的測定之電子裝置實施例；圖2顯示包含使用微功率脈衝雷達之位置與方向的測定之根據實施例之設備的元件的方塊圖；圖3顯示根據實施例之微功率脈衝雷射組件或系統；圖4A顯示根據實施例之行動裝置的擴增實境影像之產生；圖4B顯示根據實施例之經過調整的環境之相機視野；圖4C顯示根據實施例之擴增實境影像中使用的虛擬物件視圖的描繪；圖4D顯示根據實施例之擴增實境影像的虛擬資訊視 圖；圖4E顯示根據實施例之用於擴增實境影像的產生之合成堆疊；圖4F顯示根據實施例之擴增實境影像的產生之虛擬物件；圖4G顯示根據實施例之結果的合成擴增實境影像；圖5顯示根據實施例之擴增實境影像的虛擬物件之佈置；圖6是流程圖，顯示使用微功率脈衝雷達之裝置位置與方向的測定之處理的實施例；以及圖7顯示電子設備或系統的實施例，其提供使用微功率脈衝雷達之裝置位置與方向的測定。
【發明內容及實施方式】
此處所述的實施例大致上關於使用微功率脈衝雷達之移動顯示位置與方向的測定。
為了本說明之目的：「行動裝置」意指平板電腦、2合1或可拆解電腦、智慧型手機、手持電腦、行動網路裝置、或是包含處理及影像顯示能力的其它行動電子裝置。
「微功率脈衝雷達」或「MIR」意指產生短電磁脈衝之更低功率的雷達系統。MIR組件或系統通常產生使用短 脈衝大無線電頻譜(大於500MHz)以產生超寬頻(UWB)訊號，且這些組件或系統稱為超寬頻微功率脈衝雷達、或「UMIR」。如同此處使用般，雷達系統通常稱為MIR系統或是組件，其包含UMIR。
「機蓋」或「機殼」意指將裝置的內部組件裝入於其中之電子裝置的外部份。
在擴增實境(AR)操作中，可以使用例如行動裝置等電子裝置。擴增實境系統描繪虛擬地疊加於真實世界上之虛擬物件。為了用於嘗試模擬真實、實體的物件而自然呈現給觀視者之擴增實境系統，會要求系統以物件表現得如同真實的、實體的物件而呈現給使用者之方式，描繪虛擬物件。特別地，虛擬物件需要呈現牢固地固定於環境中，以及，假使真實環境有阻隔部份，則這些物件必須以同於真實物件的方式被阻隔。
先前的習知系統以不同程度的成功性，嘗試擴增實境操作。但是，由於相對於環境之顯示位置感測上的誤差以及與使用者佔優勢的眼睛之位置(或有利點)相對於顯示之有關誤差，習知系統的共同問題是被描繪的虛擬物件傾向於「漂移」，或者呈現不良地固定於真實環境中。此外，其它問題是環境的阻隔特點難以辨識及特徵化，因而習知的系統通常不良地表示虛擬物件的阻隔性。
習知的擴增實境系統採用視訊的數位處理以克服物件 位置。但是，與此類系統有關的議題是系統僅提供視見平截頭體的2D投射，其中，視見平截頭體是從特別觀視點觀視的三維空間，例如觀視者經由顯示而觀視的區域。關於場景中的真實深度之資訊會於2D投射中遺失，而且，要解開投射，在計算上是昂貴的。此外，通常不可能不恢復至場景中的參考物件而直接決定視訊場景中的絕對距離或是深度，而且，使用這些參考物件會使得用於擴增實境之自行含有的行動裝置之目的無效。
在某些實施例中，設備、系統及處理提供擴增實境操作，而經由雷達元件(例如微功率脈衝雷達元件)機構主動地詢問真實環境以準確地決定與週圍環境相對之顯示的位置與方向、以及準確地決定相對於使用者的視點之顯示的位置與方向，以克服「漂移」及阻隔問題。
圖1顯示提供使用微功率脈衝雷達之位置與方向的測定之電子裝置實施例。在某些實施例中，裝置的操作係藉由使用超寬頻微功率脈衝雷達以建構移動顯示的視見平截頭體內的環境之深度地圖、以及產生和更新觀視矩陣以準確地設置與裝置有關的使用者的視見平截頭體。位置資料的產生包含下述測定：(a)相對於環境之移動顯示的平面之位置與方向，以及(b)相對於顯示之使用者的觀視點之位置。
如圖1中提供的上視圖所示般，行動裝置110用於擴增實境應用。在某些實施例中，裝置110包含成像元件120以捕捉真實環境的影像，成像元件120包含但不限於背面相機，其中，真實環境包含裝置的相機視見平截頭體160內的真實物件175，其中，圖1也顯示使用者視見平截頭體162。在某些實施例中，行動裝置110產生及提供擴增實境影像給顯示幕125上的使用者150，其中，擴增實境包含加入虛擬影像170。
但是，除非虛擬物件被適當地植根至環境中、且呈現為被從虛擬影像的觀點而言較接近使用者例如物件175等真實物件適當地阻隔，否則，擴增實境影像將不會在其環境中呈現為自然的。如圖1所示，來自相機觀視點182的真實物件輪廓射線顯示虛擬物件170未被真實物件175阻隔，但是，來自使用者的觀視點180之真實物件輪廓射線顯示從使用者的觀視點會有一部份虛擬物件170被阻隔。
在某些實施例中，行動裝置包含多個雷達天線，天線包含多個背向MIR天線130-132，用於測定例如物件175等真實物件的位置及距離，以及，又包含多個前向MIR天線134-136，用於測定使用者150的有利觀點之位置。在某些實施例中，使用天線以發射及接收超微功率脈衝雷達訊號脈衝。MIR在以很小的時間階差決定物件位置時會提供優異的準確度，並因而是執行這些功能的有用及強力 的技術。
一般而言，3D描繪程式使用3D轉換矩陣以將虛擬世界中的虛擬模型定向、以及將虛擬世界內的虛擬相機定位。在擴增實境應用中，視見平截頭體160必須準確地對應於使用者觀視點150以及對應於真實世界中移動顯示的位置與方向。雖然在圖1中的以二維顯示，但是，視見平截頭體具有的形狀幾乎是四邊角錐體而在錐體狀的頂點為使用者觀視點150。圖1又顯示用於相機視見平截頭體及使用者視見平截頭體的不同原點。在某些實施例中，藉由預處理相機視訊而使其呈現為從使用者的觀視點捕捉，以校正觀視點之間的差異。在某些實施例中，為了容納離軸地(亦即不是在顯示器的直線前方)觀看顯示器125的使用者150，相機視見平截頭體160必須比使用者視見平截頭體更寬，以致於相機視訊的預處理能夠選取相機視見平截頭體的適當子集合，以符合使用者的視見平截頭體。在某些實施例中，根據環境中關鍵特點的位置之感測，連續地計算描述此視見平截頭體之視見矩陣。在某些實施例中，接著將視見矩陣作為行動平台作業系統的服務，提供給希望以顯示為良好地定位於真實環境之方式來描繪虛擬物件之應用。
為了處理虛擬物件在擴增實境中由真實物件至少部份地隱藏之阻隔，3D(三維)成像程式典型地包含使用Z 緩衝器或深度緩衝器。在某些實施例中，使用裝置的MIR組件以更新深度地圖而提供目前及準確的深度資訊。在某些實施例中，由MIR收集的深度地圖可以用以預先初始化3D程式的Z緩衝器，因而提供擬真資訊用於由真實物件阻隔虛擬物件。佔據比虛擬物件的深度更接近觀視者的深度之真實世界中的物件將防止虛擬物件被阻隔的部份被描繪，當從移動顯示觀視時，進一步強化虛擬物件抑制真實世界的假象。具體而言，要求預初始化深度是從使用者的眼睛點經過顯示器的各像素而至最接近環境中的真實物件之距離，與從顯示平面至物件的正交距離相反。
MIR技術提供查詢環境及決定絕對距離及角度之直接機構，這提供測定環境中顯示的方向及位置之較佳機構。一般而言，MIR組件以3D描繪格速率的很多倍之速率運轉，因此，MIR系統提供的視見矩陣及深度地圖總是新的且鎖在使用者及顯示器的位置。
此外，如同被動地收集來自場景的光之視訊般，MIR系統通常不會遭受週遭照明條件的變化。由MIR使用的雷達能量是人類觀視者無法看到的，所以，當其被使用時，不會干擾AR環境的使用者經驗。這對於典型上使用人類觀視者可看見的光譜之視訊而言，通常是不可能的。
圖2顯示包含使用微功率脈衝雷達之位置與方向的測定之根據實施例之設備的元件的方塊圖。在某些實施例 中，例如行動裝置210等設備包含微功率脈衝雷達系統，微功率脈衝雷達系統包含一或更多MIR模組或子系統230，其中，該行動裝置又包含多個MIR天線，在圖2中，多個MIR天線顯示為在行動裝置210的機蓋212的各角落之天線，這些天線是在裝置的機蓋212的第一角落的天線220、第二角落的天線222、第三角落的天線224、及第四角落的天線226。在某些實施例中，發射及接收天線可以是一個及相同的。雖然為了易於說明而在圖2中僅顯示用於第一組雷達天線的連接，但是，在某些實施例中，行動裝置包含例如所示的天線220、222、224及226等第一組雷達天線以追蹤第一方向上的物件位置、以及例如其它組天線221、223、225及227等第二組雷達天線以追蹤行動裝置的使用者的有利點(行動裝置的使用者佔優勢的眼睛)的位置。在某些實施例中，行動裝置請求及接收關於使用者的哪一眼睛是使用者佔優勢的眼睛之資訊，例如在使用者作行動裝置的個人化的初始階段中從使用者接收此資訊，或是當使用者第一次利用擴增實境應用時請求此資訊。
在某些實施例中，MIR系統230產生提供給處理單元232之使用者位置資料242及物件位置資料240。在某些實施例中，處理單元232又描繪虛擬影像，這包含使用某些虛擬物件資料244，其中，資料是儲存在記憶體234 中。在某些實施例中，處理單元232產生合併影像資料246，包含利用更新的視見矩陣及深度地圖，其中，合併資料提供給顯示器236以提供擴增實境影像給使用者。舉例而言，請參考圖6中所示及下述說明的處理。
圖3顯示根據實施例之微功率脈衝雷射組件或系統。在某些實施例中，用於擴增實境操作的MIR系統300包含雜訊源302以提供雜訊資料給脈衝重複產生器304，以改變訊號脈衝之間的時間量。為了允許多個MIR雷達同時在相同空間中操作，而提供雜訊源。脈衝之間的可變時間、與極低工作循環(與脈衝重複速率相比之脈衝寬度)一起使得下述情形極度不可能：來自一MIR雷達的脈衝將被接收及被誤認為從相同空間操作的第二MIR雷達發送的脈衝。因此，複數個MIR雷達單元具有所需的特點，即使當多個單元在相同空間中同時操作時，舉例而言，在行動裝置的實施例中多個MIR單元同時操作時，它們也不會彼此干擾。脈衝重複產生器提供脈衝訊號給脈衝產生器及延遲310，該延遲包含範圍控制312。
脈衝產生器306產生脈衝，經由發射/接收器天線308而傳送。發射天線320產生被傳送的訊號330，訊號330在撞擊物件時被反射作為歸返訊號332。在接收天線322接收歸返訊號(與天線320相同單元)。收到的訊號被提供給脈衝接收器316，脈衝接收器316也從由範圍閘314 控制之延遲310接收經過延遲的脈衝。延遲時間被掃描，以在不同時間並因而是以離天線的距離，由脈衝接收器316取樣，因而造成與物件距離相關聯的脈衝記錄。脈衝接收器316提供造成的訊號給處理器318以處理收到的訊號而產生物件位置資料及使用者位置資料中之一或二者。在某些實施例中，在產生用於擴增實境顯示的影像時，處理器根據使用者的觀視點而利用物件位置資料及虛擬物件資料。在虛擬物件的描繪期間，z緩衝器促使虛擬物件的適當部份被阻隔並因而不被產生，這發生在阿爾發合成操作之前，阿爾發合成操作係將相機及虛擬影像資料合併。阿爾發合成操作不需要知道z緩衝器。但是，由於被產生的影像與真實環境在3D描繪處理期間準確的對齊，所以，它們正確地匹配。
當構成時，MIR系統300在尺寸上變化很小並消耗些微功率，因而可以用於具有有限空間及功率容量的行動裝置中。相較於重複率，即使該重複率是數百萬赫茲時，產生的MIR脈衝仍然是很低的。基於此理由，很多MIR系統可以在相同空間同時地操作，其中，由於MIR系統中的雜訊產生，所以，來自一MIR的脈衝與來自另一MIR的脈衝不是時間相關聯的。因此，設有圖3中所示的架構之MIR系統300對於包括來自在相同空間中操作的多個MIR組件的脈衝等外來訊號具有強抗擾性。此特性允許數 個MIR組件協調地操作，在行動裝置中同時地操作而無顯著干擾。又注意，MIR技術使用極為低的功率程度，因而人員曝露於裝置輸出的訊號通常是典型的蜂巢式電話採用的RF功率之一部份。
在某些實施例中，例如平板電腦等行動裝置包含多個以散佈樣式安裝的MIR天線，例如，安裝於行動裝置的機蓋的各角落之天線。在本實施例中，四個天線面對使用者(從裝置的前方)及四個天線背向背離使用者(從裝置的後方)。從各個此天線，能夠記錄用於被反射的脈衝訊號之飛行時間。各雷達脈衝的離散飛行時間表現為球表面，以發射其的特定MIR為球心。在本實施例中，藉由結合來自各角落天線的測量，取得半徑由在各角落的飛行時間決定之四個球的交會。在離任何三個面向相同方向(朝向或遠離使用者)的天線特定距離處之物件將在物件佔據的空間中的點交會之三球中具有回程。因此，藉由檢查適當半徑球中的回程以及藉由使用習知的三點測量演繹法，計算從使用者的眼睛點至環境中的物件之徑向距離並將其用以初始化z緩衝器。
在某些實施例中，藉由假定在作測量的速率下物件相對於平板電腦呈現不動的，以及藉由放棄彼此未維持靜態空間關係之環境中的物件或特點(換言之，藉由放棄移動的物件)，因而能夠準確地測定與由MIR陣列取樣的環 境相對之平板電腦的位置及方向。
圖4A顯示根據實施例由行動裝置產生擴增實境影像。在圖4中，例如平板電腦等行動裝置410用於自然設定的擴增實境。如同所示，虛擬影像420(恐龍)疊加於觀視幕425中的真實環境中。
為了逼真地描繪例如圖4中的恐龍影像420等虛擬物件給觀視者，則必要的是虛擬物件的位置不能相對於環境呈現不自然地移動，例如在此例中相對於地面不自然地移動。雖然恐龍虛擬影像本身呈現在場景中移動，但是，恐龍的腳不應呈現相對於地面移動得與腳與接觸地面一般地長。此外，恐龍影像的尾巴420等虛擬物件的一部份由例如樹等真實物件部份地阻隔。為了提供逼真及自然的擴增實境影像，必要的是樹與尾巴的交會相對於使用者的觀視點準確地對齊，以致於被阻隔的虛擬物件的一部份呈現消失於樹開始之精準位置(有時稱為輪廓邊緣)。
虛擬物件的位置取決於視見矩陣中的數值，其接著取決於視見平截頭體的形狀及方向。在某些實施例中，使用具有將虛擬物件精確地定位在虛擬世界中的值之MIR資料，產生視見矩陣，在由使用者的觀視點(更具體而言，使用者佔優勢的眼睛)界定之視見平截頭體內、以及平板電腦的顯示區的邊緣內之每一處，所述虛擬世界疊加於真實世界上。
圖4B至4G顯示根據實施例之影像產生及疊加以產生圖4A中提供的擴增實境影像。
圖4B顯示根據實施例之經過調整的環境之相機視野，顯示例如環境的樹等真實物件410。在某些實施例中，藉由捕捉真實環境及調整環境的視野，以致於所述視野符合使用者佔優勢的眼睛的視野，而產生經過調整的相機視野。如圖1所示，這可被視為相機視見平截頭體160調整以符合目前的使用者視見平截頭體162。
圖4C顯示根據實施例之擴增實境影像中使用的虛擬物件視圖的描繪。在某些實施例中，根據目前位置資訊，描繪用於擴增實境成像之虛擬影像420，其中，影像的描繪排除將由真實物件阻隔的影像部份。在本實例中，根據影像的虛擬距離與MIR決定之真實物件的距離，一部份虛擬影像未被描繪。在某些實施例中，未被描繪的該部份位於從使用者的觀點為決定的真實物件輪廓處，例如從圖1中所示的使用者觀點180為來自真實物件的輪廓所界定。
圖4D顯示根據實施例之用於擴增實境影像的虛擬資訊視圖。在某些實施例中，3D影像的描繪又包含資訊視圖430的描繪，資訊視圖430提供關於包含於圖4C的虛擬視圖中的一或更多虛擬物件之資訊。在某些實施例中，僅當圖4C中所示的虛擬物件420全部地或大部份地在使 用者的視見平截頭體內時，虛擬視圖才會出現。資訊視圖430不必以同於虛擬物件420的方式定位至環境，因而資訊視圖430會相對於視圖中的真實物件漂移，以及，舉例而言，會被描繪成在擴增影像中的任何真實物件的前方，以致於影像不被真實物件阻隔。
圖4E顯示根據實施例之用於擴增實境影像的產生之合成堆疊。如圖4E所示，用於使用者450之佔優勢的眼睛的視野之擴增實境影像的產生之合成堆疊包含提供含有經過調整的真實物件410(如圖4B所示)之相機視訊之第一層，第一層由含有虛擬的3D恐龍虛擬物件420(如圖4C所示)之第二層覆蓋，而第二層由含有資訊視圖虛擬物件430的第三層覆蓋。
圖4F顯示根據實施例之擴增實境影像的產生之虛擬物件。如同所示，結合的影像包含由資訊視圖430覆蓋的虛擬影像420。
圖4G顯示根據實施例之結果的合成擴增實境影像。如同所示，經過調整的攝影機視圖的真實物件410由虛擬影像420及資訊視圖430疊加。依據經過調整的真實環境之相機視圖，虛擬影像420被描繪成精準地匹配真實物件410的輪廓邊界，以及，虛擬影像420被描繪成將虛擬影像420繫結至環境，以致於虛擬影像不會在真實環境中呈現漂移。
圖5顯示根據實施例之擴增實境影像的虛擬物件之佈置。在某些實施例中，行動裝置利用多個MIR元件520(可包含個別的MIR子系統)以發射雷達訊號530以及接收返回訊號532。如圖5所示，視見平截頭體560是從行動裝置使用者的有利點550(行動裝置使用者的佔優勢之眼睛)之從虛擬物件570(恐龍影像)的後方至右方的透視圖。從相機捕捉圖5的有利點而言，假使虛擬物件570真實地存在於真實世界中，則被阻隔的尾巴部份將被看見，但是，從行動裝置使用者的視野而言，虛擬物件570的此部份會被真實物件575(樹)阻隔。
在某些實施例中，藉由面對使用者(波前朝向圖中的行動裝置使用者移動)之多個天線(在圖5的顯示中為四個天線)，可以準確地決定使用者的佔優勢的眼睛550之位置。位置500是圖5中所示之視見平截頭體560的頂點。在某些實施例中，知道頂點，以及知道行動裝置相對於環境之精準位置與方向(藉由四個天線及離開使用者之波前而取得)，產生視見矩陣，視見矩陣界定與實體世界對齊的虛擬世界中的視見平截頭體560，如同行動裝置使用者瞬時看到般，視見矩陣可由繪製恐龍虛擬物件570之3D描繪程式利用。
在某些實施例中，為了阻隔虛擬物件之適當部份(在本實施例中為尾巴)，使用依深度地圖預先初始化之深度 地圖，描繪在環境中的虛擬物件。在某些實施例中，深度地圖的初始化由MIR組件捕捉，其中，以MIR或是使用3D相機組件，測量視訊光域中各點的深度。
圖6是流程圖，顯示使用微功率脈衝雷達之裝置位置與方向的測定之處理的實施例。在某些實施例中，在電子裝置操作被賦能時(600)以及裝置進入擴增實境應用(602)時，電子裝置的MIR系統被賦能(604)(假使MIR組件或是子系統未被同時賦能時)以及影像深度地圖及視見矩陣被初始化(其中，此初始化是根據MIR操作、攝影機操作、或其它類似操作)。在某些實施例中，假使之前未收到使用者佔優勢的眼睛之資訊時，則擴增實境應用包含請求辨識使用者佔優勢的眼睛。
在某些實施例中，處理包含雷達資料處理610以及3D影像產生處理620。在某些實施例中，雷達資料處理610包含從電子裝置612的多個雷達天線發射雷達訊號，其中，這些傳輸包含朝向真實環境之用於測定顯示的位置及方向之訊號之傳輸、以及朝向使用者之用於使用者的有利點之測定之訊號之傳輸。在某些實施例中，在MIR天線614，接收返回訊號，返回訊號提供來自環境中的真實物件以及來自使用者之反射。在某些實施例中，處理又包含測定顯示位置資料及使用者位置資料(616)、以及深度地圖和視見矩陣的更新(618)，而界定物件在環境中 的深度以及提供用於行動裝置相對於環境中的真實物件之準確位置和方向以及使用者相對於行動裝置之位置。在某些實施例中，將產生的資料儲存，如位置資料所示般(632)，以用於擴增實境影像之產生。在某些實施例中，雷達資料處理(610)快速地操作，因而當需要產生影像時，目前的位置資料可供利用(630)。
在某些實施例中，3D影像產生處理(620)包含虛擬影像物件的描繪(622)，這包含從記憶體取得位置資料(630)及某些虛擬影像資料(632)。在某些實施例中，處理又包含取得數位相機視訊資料(634)以及處理視訊資料以抑制相機資料及使用者的佔優勢的眼睛點(624)，以產生用於使用者的觀視點之經過調整的相機視訊。在某些實施例中，處理包含藉由虛擬影像與經過調整的相機視圖之層疊而產生合併的影像資料(626)，其中，合併的影像資料利用影像深度地圖及視見矩陣，以準確地定位虛擬影像以及提供虛擬影像的準確阻隔，根據使用者的目前視平截頭體而造成虛擬影像在合併的影像資料中之自然佈置。在某些實施例中，處理包含根據合併的影像資料而顯示擴增實境影像(628)。
在某些實施例中，假使未從擴增實境應用退出，則雷達資料處理(610)和3D影像產生處理(620)繼續。假使從擴增實境應用退出(640)，則一或多個MIR系統被 禁能(於適當時)(642)以及處理結束(644)。
圖7顯示電子設備或系統的實施例，其提供使用微功率脈衝電達之顯示位置與方向的測定。在此顯示中，未顯示與本說明不密切之某些標準及習知的組件。顯示為分別的元件之元件可以合併，包含例如在單一晶片上合併多個元件之SoC(系統晶片)。設備或系統包含但不限於例如平板電腦等行動裝置。
在某些實施例之下，設備或系統700(於此大致稱為設備)包含機蓋710。在某些實施例中，設備又包含多個雷達天線以用於發射及接收視訊影像，多個雷達天線包含第一雷達天線720、第二雷達天線722、第三雷達天線724、及第四雷達天線726。雖然為了便於說明，在某些實施例中，僅顯示第一組天線，但是，行動裝置可以包含例如所示的天線720、722、724及726等第一組天線以追蹤第一方向上的物件位置、以及例如其它組的天線721、723、725及727等第二組天線以追蹤第二方向上行動裝置的使用者之有利點的位置(行動裝置的使用者之佔優勢的眼睛)。在某些實施例中，雷達天線在空間上散佈以允許各脈衝訊號的時序之分開，舉例而言，在設備700的各角落之天線的位置。在某些實施例中，各天線在設備中的各位置。在某些實施例中，天線720、722、724、726在複數MIR組件或子系統730中發射及接收雷達資料。在 某些實施例中，天線朝向環境，用於設備700相對於環境中的物件之位置與方向的測定。在某些實施例中，有其它組朝向相反方向(朝向設備的使用者)的天線721、723、725、727，以測定相對於設備700之使用者的有利點之位置。
在某些實施例中，設備700包含互連740或用於傳輸資料之其它通訊機構，MIR組件730與互連740耦合。為了簡明起見，互連740顯示為單一互連，但是可以代表多個不同的互連或是匯流排，以及對這些互連的組件連接可以變化。圖7中所示的互連740是代表任何一或更多分別的實體匯流排、點對點連接、或是由適當的橋接器、適配器、或控制器連接之二者等等的抽象名稱。
在某些實施例中，設備700包含處理機構，例如耦合至互連740之用於處理資訊的一或更多處理器742。處理器742包括一或更多實體處理器及一或更多邏輯處理器。在某些實施例中，處理器包含一或更多一般用途的處理或特定用途處理器。在某些實施例中，處理器742會操作以處理雷達訊號資料而產生描述設備相對於環境中的真實物件之位置與方向、設備700的使用者的有利點、或二者之資料。
在某些實施例中，設備包含例如相機等一或更多影像捕捉元件764，包含捕捉環境的影像以用於產生擴增實境 影像。在某些實施例中，影像捕捉元件包含3D相機，其中，在用於設備700的位置資料之初始化時，使用者3D相機。
在某些實施例中，設備700又包括隨機存取記憶體(RAM)或其它動態儲存裝置或元件，以作為主記憶體744，用於儲存由處理器742執行的資訊及指令。設備700包含一或更多非依電性記憶體元件746，包括例如快閃記憶體，用於儲存某些元件。設備700也包括用於儲存用於處理器742的指令及靜態資訊之唯讀記憶體(ROM)748或是其它靜態儲存裝置、以及例如用於儲存資料的固態驅動器等資料儲存器750。在某些實施例中，設備700的記憶體包含相關資料的儲存，所述相關資料係關於例如哪一使用者眼睛是佔優勢等位置資料測定、以及用於擴增實境影像的呈現之影像資料的產生。
在某些實施例中，設備700包含耦合至互連740之一或更多發射器或接收器752。在某些實施例中，設備700包含一或更多天線756以及一或更多埠754，一或更多天線756用於經由無線通訊而傳送及接收資料，其中，天線包含雙極和單極天線，一或更多埠754用於經由有線通訊而傳送及接收資料。
在某些實施例中，設備700包含一或更多用於資料輸入之輸入裝置758，包含硬及軟按鍵、搖桿、滑鼠或其它 指標裝置、語音命令系統、或姿勢辨認系統。
在某些實施例中，設備700包含輸出顯示器760，其中，顯示器760包含液晶顯示器(LCD)或任何其它顯示技術，以顯示資訊或內容給使用者。在某些實施例中，顯示器760包含觸控螢幕，也作為輸入裝置758的至少一部份。在某些實施例中，輸出顯示器760可以用於擴增實境影像的顯示。
設備700也包括電池或其它電源762，包含太陽能電池、燃料電池、充電電容器、近場電感耦合、或是用於在設備700中用於提供或產生電力的其它系統或裝置。由電源762提供的電力可以依需求而分配給設備700的元件。
在上述說明中，為了說明目的，揭示眾多特定細節，以助於完整瞭解所述的實施例。但是，習於此技藝者將清楚知道，不用這些特定細節中的某些細節，仍可實行實施例。在其它情形中，熟知的結構及裝置以方塊圖形式顯示。在所示的組件之間有中間結構。此處說明或顯示的組件可以具有其它未顯示或說明的輸入或輸出。
不同的實施例可以包含不同的處理。這些處理可以由硬體組件執行或是以電腦程式或機器可執行的指令具體實施，電腦程式或機器可執行的指令用以促使以指令程式化的一般用途或特定用途的處理器或邏輯電路來執行處理。替代地，可以由硬體及軟體的結合來執行處理。
各式各樣的實施例的部份可以為電腦程式產品，包含具有電腦程式指令儲存於上的電腦可讀取的媒體，電腦程式指令可以用以將電腦(或電子裝置)程式化而由一或更處理器執行，以執行依據某些實施例的處理。電腦可讀取媒體句含但不限於磁碟、光碟、光碟唯讀記憶體(CD-ROM)、及磁光碟、唯讀記憶體(ROM)、隨機存取記憶體(RAM)、可抹拭可編程唯讀記憶體(EPROM)、電可抹式可編程唯讀記憶體(EEPROM)、磁卡或光卡、快閃記憶體或適合儲存電子指令之其它型式的電腦可讀取的媒體。此外，實施例也可以作為電腦程式產品被下載，其中，程式可從遠端電腦傳送至請求的電腦。
很多方法是以它們最基本的形式說明，但是，在不悖離本實施例的基本範圍之下，任何方法可以增添或刪除處理，以及，任何說明的訊息可以增添或減掉資訊。習於此技藝者將清楚知道，可以作進一步的修改及適應化。特定實施例並非用以限定概念而是要說明它。實施例的範圍並非由上述提供的特定實例所決定而是僅由下述申請專利範圍決定。
假使說明元件「A」耦合至元件「B」或是元件「A」與元件「B」耦合，則元件A可以直接耦合至元件B或是經由例如元件C而間接地耦合。當說明書或申請專利範圍載述元件、特點、結構、處理、或特徵A「造成」元件、 特點、結構、處理、或特徵B時，則其意指「A」至少是「B」的部份起因，但是，也可以有至少一其它組件、特點、結構、處理或特徵有助於造成「B」。假使說明書表示元件、特點、結構、處理、或特徵「可」、「可能」、或「會」被包含，則不一定要求包含該特定的元件特點、結構、處理、或特徵。假使說明書或申請專利範圍述及「一」元件時，則這並非意指僅有一個所述元件。
實施例是實施或實例。在說明書中述及「實施例」、「一實施例」、「某些實施例」、或「其它實施例」時係意指配合實施例所述的特定特點、結構、或特徵包含於至少某些實施例中，但不一定於所有實施例中。「實施例」、「一實施例」、或「某些實施例」等各種表現形態不一定都意指相同實施例。應瞭解，在上述舉例說明的實施例之說明中，為了使說明流暢及有助於瞭解一或更多各式各樣的新穎態樣，各式各樣的特點有時會在單一實施例、圖形或其說明中分組在一起。但是，本揭示的方法不應被解釋成反應申請專利範圍的實施例比各申請專利範圍中的明確記載要求更多特點。反之，如下述申請專利範圍反應般，新穎態樣比單一上述揭示的實施例的所有特點更少。因此，申請專利範圍於此明確地併入本說明中，以各請求項根據它自己而作為分別的實施例。
在某些實施例中，設備的實施例包含顯示器以呈現訊 息；雷達組件以產生雷達訊號脈衝及根據收到的返回訊號而產生距離資料；雷達天線以發送雷達訊號脈衝以及接收返回訊號；以及，處理器以處理訊號及資料，其中，處理器會：處理由雷達天線收到的返回訊號以測定相對於環境中的真實物件之顯示器的位置與方向，以及測定設備的使用者的有利點之位置，以及，產生擴增影像包含描繪虛擬物件以及將虛擬物件疊加於包含一或更多真實物件的影像上，虛擬影像的描繪至少部份地根據測定之顯示器的位置與方向以及測定之設備的使用者的有利點。
在某些實施例中，雷達組件是微功率脈衝雷達(MIR)組件。
在某些實施例中，雷達天線包含第一組雷達天線以在第一方向上發射雷達訊號脈衝以及第二組雷達天線以在第二方向上發射雷達訊號脈衝。
在某些實施例中，處理返回訊號包含更新提供真實物件的距離之深度地圖。
在某些實施例中，處理返回訊號包含更新視見矩陣，視見矩陣界定設備的使用者之視見平截頭體。
在某些實施例中，描繪虛擬影像會排除由第一真實物件阻隔的一部份虛擬影像，阻隔係根據深度地圖及視見矩陣。
在某些實施例中，處理器是處理環境的影像而呈現為 是從使用者的有利點捕捉。
在某些實施例中，設備是行動裝置，在某些實施例中，各雷達天線是在行動裝置中的不同位置。
在某些實施例中，使用者的有利點是使用者佔優勢的眼睛。
在某些實施例中，方法包含：以相機捕捉環境影像；從行動裝置中的雷達天線發射雷達訊號脈衝；在雷達天線接收返回訊號；處理在雷達天線收到的返回訊號以測定相對於環境中的真實物件之顯示器的位置與方向，以及測定行動裝置的使用者的有利點之位置；描繪3D(三維)虛擬物件，其中，虛擬物件的描繪至少部份地根據測定之顯示器的位置與方向以及測定之使用者的有利點之位置；以及，藉由將虛擬物件疊加於環境影像上而產生擴增實境影像。
在某些實施例中，雷達訊號脈衝是使用微功率脈衝雷達(MIR)系統發射的。
在某些實施例中，發射雷達訊號脈衝包含：從行動裝置的第一組雷達天線朝向環境發射雷達訊號脈衝；以及從行動裝置的第二組雷達天線朝向行動裝置的使用者發射雷達訊號脈衝；以及，在第一組及第二組雷達天線接收返回訊號。
在某些實施例中，方法又包含預處理環境的影像而呈 現為是從使用者的有利點捕捉。
在某些實施例中，處理在雷達天線收到的返回訊號包含更新提供環境中的物件的距離之深度地圖。
在某些實施例中，處理在雷達天線收到的返回訊號包含更新視見矩陣，視見矩陣界定設備的使用者之視見平截頭體。
在某些實施例中，行動裝置包含：觸控顯示器以呈現影像；相機以捕捉環境影像；微功率脈衝雷達(MIR)系統以產生雷達訊號脈衝及根據收到的返回訊號而產生距離資料，MIR系統包含雷達天線以發射及接收雷達訊號脈衝；以及，處理器以處理訊號及資料，其中，處理器會：處理由雷達天線收到的返回訊號以測定相對於環境中的真實物件之顯示器的位置與方向，以及，測定行動裝置的使用者的有利點之位置，以及，產生擴增影像包含描繪一或更多虛擬物件以及將該一或更多虛擬物件疊加於環境的影像上，該一或更多虛擬影像的該描繪至少部份地根據測定之顯示器的位置與方向以及行動裝置的使用者的有利點。
在某些實施例中，處理返回訊號包含更新提供真實物件的距離之深度地圖。
在某些實施例中，處理返回訊號包含更新視見矩陣，視見矩陣界定行動裝置的使用者之視見平截頭體。
在某些實施例中，描繪第一虛擬影像會排除由第一真 實物件阻隔的一部份第一虛擬影像，阻隔係根據深度地圖及視見矩陣。
在某些實施例中，雷達天線包含第一組雷達天線以在第一方向上發射雷達訊號脈衝以及第二組雷達天線以在第二方向上發射雷達訊號脈衝。
在某些實施例中，MIS系統是超寬頻微功率脈衝雷達(UMIR)系統。
在某些實施例中，MIS系統包含複數MIR子系統。
在某些實施例中，一種非暫時電腦可讀取的儲存媒體於其上儲存有代表指令序列的資料，所述資料當由處理器執行時會促使處理器執行包含下述的操作：捕捉環境影像；從雷達天線發射微功率脈衝雷達訊號脈衝；在雷達天線接收返回訊號；處理返回訊號以測定相對於環境中的真實物件之行動裝置的顯示幕之位置與方向以及測定行動裝置的使用者的佔優勢的眼睛之位置；描繪虛擬物件，其中，虛擬物件的描繪至少部份地根據測定之顯示器的位置與方向以及測定之使用者佔優勢的眼睛的位置；以及，藉由將虛擬物件疊加於環境的影像上以產生擴增實境影像。
在某些實施例中，處理在雷達天線收到的返回訊號包含更新提供環境中的物件的距離之深度地圖。
在某些實施例中，處理在雷達天線收到的返回訊號包含更新視見矩陣，視見矩陣界定行動裝置的使用者之視見 平截頭體。
在某些實施例中，指令又包含促使處理器執行包含下述的操作之指令；調整環境的影像以匹配使用者佔優勢的眼睛之視野。
在某些實施例中，指令又包含促使處理器執行包含下述的操作之指令；在顯示幕上顯示擴增影像。
在某些實施例中，指令又包含促使處理器執行包含下述的操作之指令；請求辨認使用者佔優勢的眼睛。
在某些實施例中，設備包含：用於捕捉環境影像之機構；用於從複數雷達天線發射微功率脈衝雷達訊號脈衝之機構；用於在複數雷達天線接收返回訊號之機構；用於處理返回訊號之機構，以測定相對於環境中的真實物件之行動裝置的顯示幕之位置與方向，以及測定行動裝置的使用者的佔優勢之眼睛之位置；用於描繪虛擬物件之機構，其中，虛擬物件的描繪至少部份地根據測定之顯示器的位置與方向以及測定之使用者該佔優勢之眼睛之位置；以及，用於產生擴增實境影像的機構，藉由將虛擬物件疊加於環境的影像上而產生擴增實境。
在某些實施例中，用於處理在複數雷達天線收到的返回訊號之機構包含用於更新提供環境中的物件的距離之深度地圖的機構。
在某些實施例中，用於處理在複數雷達天線收到的返 回訊號之機構包含用於更新視見矩陣的機構，視見矩陣界定行動裝置的使用者之視見平截頭體。
在某些實施例中，設備又包含機構以用於調整環境之影像以匹配使用者佔優勢的眼睛之視野。
在某些實施例中，設備又包含用於在顯示幕上顯示擴增影像之機構。
110‧‧‧行動裝置
120‧‧‧成像元件
125‧‧‧顯示幕
130‧‧‧天線
132‧‧‧天線
134‧‧‧天線
136‧‧‧天線
150‧‧‧使用者
160‧‧‧相機視見平截頭體
162‧‧‧使用者視見平截頭體
170‧‧‧虛擬物件
175‧‧‧真實物件
180‧‧‧真實物件輪廓線使用者觀視點
182‧‧‧真實物件輪廓線相機觀視圖

Claims (25)

  1. 一種設備，包括：顯示器，用以呈現影像；雷達組件，用以產生複數雷達訊號脈衝，以及根據接收的返回訊號而產生距離資料；複數雷達天線，用以發送該複數雷達訊號脈衝以及接收該返回訊號；以及，處理器，用以處理訊號及資料，其中，該處理器係用以：處理由該複數雷達天線接收的返回訊號以測定相對於環境中的真實物件之顯示器的位置與方向，以及測定該設備的使用者的有利點之位置，以及，產生擴增影像，包含描繪虛擬物件以及將該虛擬物件疊加於包含一或更多真實物件的影像上，該虛擬影像的描繪至少部份地根據測定之該顯示器的位置與方向以及測定之該設備的使用者的有利點。
  2. 如申請專利範圍第1項之設備，其中，該雷達組件是微功率脈衝雷達(MIR)組件。
  3. 如申請專利範圍第1項之設備，其中，該複數雷達天線包含第一複數雷達天線以在第一方向上發射雷達訊號脈衝以及第二複數雷達天線以在第二方向上發射雷達訊號脈衝。
  4. 如申請專利範圍第1項之設備，其中，處理該返回訊號包含更新提供真實物件的距離之深度地圖。
  5. 如申請專利範圍第4項之設備，其中，處理該返回訊號包含更新視見矩陣，該視見矩陣界定設備的使用者之視見平截頭體。
  6. 如申請專利範圍第5項之設備，其中，描繪該虛擬影像會排除由第一真實物件阻隔的一部份該虛擬影像，該阻隔係根據該深度地圖及該視見矩陣。
  7. 如申請專利範圍第1項之設備，其中，該處理器處理該環境的影像而呈現為是從使用者的有利點擷取。
  8. 如申請專利範圍第1項之設備，其中，該設備是行動裝置。
  9. 如申請專利範圍第7項之設備，其中，該複數雷達天線之各者是在該行動裝置中的不同位置。
  10. 一種方法，包括：以相機擷取環境影像；從行動裝置中的複數雷達天線發射雷達訊號脈衝；在該複數雷達天線接收返回訊號；處理在該複數雷達天線接收的返回訊號以測定相對於該環境中的真實物件之顯示器的位置與方向，以及測定該行動裝置的使用者的有利點之位置；描繪3D(三維)虛擬物件，其中，該虛擬物件的描 繪至少部份地根據該測定之顯示器的位置與方向以及該測定之使用者的有利點之位置；以及，藉由將虛擬物件疊加於該環境影像上而產生擴增實境影像。
  11. 如申請專利範圍第10項之方法，其中，該雷達訊號脈衝是使用微功率脈衝雷達(MIR)系統發射的。
  12. 如申請專利範圍第10項之方法，其中，發射雷達訊號脈衝包含：從該行動裝置中的第一複數雷達天線朝向環境發射雷達訊號脈衝；從該行動裝置中的第二複數雷達天線朝向該行動裝置的使用者發射雷達訊號脈衝；以及，在該第一複數及該第二複數雷達天線接收返回訊號。
  13. 如申請專利範圍第10項之方法，又包括預處理該環境的影像而呈現為是從該使用者的有利點擷取。
  14. 如申請專利範圍第10項之方法，其中，處理在該複數雷達天線接收的返回訊號包含更新提供該環境中的物件的距離之深度地圖。
  15. 如申請專利範圍第14項之方法，其中，處理在該複數雷達天線接收的返回訊號包含更新視見矩陣，該視見矩陣界定該行動裝置的使用者之視見平截頭體。
  16. 一種行動裝置，包括：觸控顯示器，用以呈現影像； 相機，用以擷取環境影像；微功率脈衝雷達(MIR)系統，用以產生複數雷達訊號脈衝以及根據接收的返回訊號而產生距離資料，該MIR系統包含複數雷達天線以發射及接收雷達訊號脈衝；以及，處理器，用以處理訊號及資料，其中，處理器係用以：處理由該複數雷達天線收到的返回訊號以測定相對於該環境中的真實物件之該顯示器的位置與方向，以及測定該行動裝置的使用者的有利點之位置，以及，產生擴增影像，包含描繪一或更多虛擬物件以及將該一或更多虛擬物件疊加於該環境的影像上，該一或更多虛擬影像的該描繪至少部份地根據該測定之顯示器的位置與方向以及該測定之該行動裝置的使用者的有利點。
  17. 如申請專利範圍第16項之行動裝置，其中，處理該返回訊號包含更新提供真實物件的距離之深度地圖。
  18. 如申請專利範圍第17項之行動裝置，其中，處理該返回訊號包含更新視見矩陣，該視見矩陣界定該行動裝置的使用者之視見平截頭體。
  19. 如申請專利範圍第16項之行動裝置，其中，描繪第一虛擬影像會排除由第一真實物件阻隔的一部份第一虛擬影像，該阻隔係根據該深度地圖及該視見矩陣。
  20. 如申請專利範圍第16項之行動裝置，其中，該複數雷達天線包含第一複數雷達天線以在第一方向上發射雷達訊號脈衝以及第二複數雷達天線以在第二方向上發射雷達訊號脈衝。
  21. 一種非暫時電腦可讀取的儲存媒體，儲存代表指令序列的資料，當該資料由處理器執行時，使該處理器執行包含下述的操作：擷取環境影像；自複數雷達天線發射微功率脈衝雷達訊號脈衝；在該複數雷達天線接收返回訊號；處理該返回訊號以測定相對於該環境中的真實物件之行動裝置的顯示幕之位置與方向以及測定該行動裝置的使用者的佔優勢的眼睛之位置；描繪虛擬物件，其中，該虛擬物件的描繪至少部份地根據該測定之顯示器的位置與方向以及該測定之使用者佔優勢的眼睛的位置；以及，藉由將該虛擬物件疊加於該環境的影像上以產生擴增實境影像。
  22. 如申請專利範圍第21項之媒體，其中，處理在該複數雷達天線接收的返回訊號包含更新提供該環境中的物件的距離之深度地圖。
  23. 如申請專利範圍第22項之媒體，其中，處理在 該複數雷達天線接收的返回訊號包含更新視見矩陣，該視見矩陣界定該行動裝置的使用者之視見平截頭體。
  24. 如申請專利範圍第21項之媒體，其中，又包括當由該處理器執行時，使該處理器執行包括下述的操作之指令：調整該環境的影像以匹配該使用者佔優勢的眼睛之視野。
  25. 如申請專利範圍第21項之媒體，其中，又包括當由該處理器執行時，使該處理器執行包括下述的操作之指令；在該顯示幕上顯示該擴增影像。
TW104104568A 2014-03-28 2015-02-11 Determination of mobile display position and orientation using micropower impulse radar TWI561841B (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/229,630 US9761049B2 (en) 2014-03-28 2014-03-28 Determination of mobile display position and orientation using micropower impulse radar

Publications (2)

Publication Number Publication Date
TW201602611A true TW201602611A (zh) 2016-01-16
TWI561841B TWI561841B (en) 2016-12-11

Family

ID=54191146

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104104568A TWI561841B (en) 2014-03-28 2015-02-11 Determination of mobile display position and orientation using micropower impulse radar

Country Status (6)

Country Link
US (1) US9761049B2 (zh)
EP (1) EP3123200A4 (zh)
KR (1) KR101809067B1 (zh)
CN (1) CN106030335B (zh)
TW (1) TWI561841B (zh)
WO (1) WO2015148014A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI637188B (zh) * 2018-01-31 2018-10-01 位速科技股份有限公司 Micro radar antenna and radar positioning method
TWI745998B (zh) * 2019-06-10 2021-11-11 美商蘋果公司 用於感測之方法及設備

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2754131B1 (en) 2011-09-08 2022-10-26 Nautilus, Inc. System and method for visualizing synthetic objects withinreal-world video clip
EP2972931B1 (en) * 2013-03-13 2018-07-11 Intel Corporation Sharing information between computing devices
US9986225B2 (en) * 2014-02-14 2018-05-29 Autodesk, Inc. Techniques for cut-away stereo content in a stereoscopic display
PT3281250T (pt) 2015-04-08 2022-07-27 Sri int inc Antena de matriz de fases 1d para radar e comunicações
US10068147B2 (en) * 2015-04-30 2018-09-04 Samsung Electronics Co., Ltd. System and method for insertion of photograph taker into a photograph
US9704298B2 (en) * 2015-06-23 2017-07-11 Paofit Holdings Pte Ltd. Systems and methods for generating 360 degree mixed reality environments
US10620300B2 (en) 2015-08-20 2020-04-14 Apple Inc. SPAD array with gated histogram construction
US9767606B2 (en) * 2016-01-12 2017-09-19 Lenovo (Singapore) Pte. Ltd. Automatic modification of augmented reality objects
EP3417307A4 (en) * 2016-02-18 2019-09-11 Edx Technologies, Inc. SYSTEMS AND METHODS FOR AUGMENTED REALITY DISPLAYS OF NETWORKS
US10657674B2 (en) 2016-06-17 2020-05-19 Immersive Robotics Pty Ltd. Image compression method and apparatus
JP2018077644A (ja) 2016-11-08 2018-05-17 富士ゼロックス株式会社 情報処理システム及びプログラム
US10146300B2 (en) 2017-01-25 2018-12-04 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Emitting a visual indicator from the position of an object in a simulated reality emulation
CN110494193A (zh) * 2017-02-08 2019-11-22 因默希弗机器人私人有限公司 向多人游戏场地中的用户显示内容
US9754168B1 (en) * 2017-05-16 2017-09-05 Sounds Food, Inc. Incentivizing foodstuff consumption through the use of augmented reality features
JP6275310B1 (ja) * 2017-05-26 2018-02-07 株式会社テクテック 拡張現実表示システム、プログラム及び方法
US10830879B2 (en) 2017-06-29 2020-11-10 Apple Inc. Time-of-flight depth mapping with parallax compensation
US10698099B2 (en) 2017-10-18 2020-06-30 Leolabs, Inc. Randomized phase and amplitude radar codes for space object tracking
CN111837384A (zh) 2017-11-21 2020-10-27 因默希弗机器人私人有限公司 用于图像压缩的频率分量选择
EP3714602A4 (en) 2017-11-21 2021-07-28 Immersive Robotics Pty Ltd IMAGE COMPRESSION FOR DIGITAL REALITY
CN111465870B (zh) 2017-12-18 2023-08-29 苹果公司 使用可寻址发射器阵列的飞行时间感测
JP6857795B2 (ja) * 2017-12-28 2021-04-14 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、情報処理システム、及び、表示方法
JP6590324B2 (ja) 2017-12-28 2019-10-16 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、情報処理システム、及び、表示方法
CN108182730B (zh) * 2018-01-12 2022-08-12 北京小米移动软件有限公司 虚实对象合成方法及装置
US10921427B2 (en) 2018-02-21 2021-02-16 Leolabs, Inc. Drone-based calibration of a phased array radar
JP7319303B2 (ja) * 2018-05-31 2023-08-01 マジック リープ， インコーポレイテッド レーダ頭部姿勢位置特定
EP3599539B1 (en) * 2018-07-26 2023-08-23 Nokia Technologies Oy Rendering objects in virtual views
US10740987B2 (en) 2018-10-12 2020-08-11 The Boeing Company Augmented reality system for visualizing nonconformance data for an object
WO2020152585A1 (en) 2019-01-21 2020-07-30 Insightness Ag Transparent smartphone
WO2020167338A1 (en) 2019-02-11 2020-08-20 Apple Inc. Depth sensing using a sparse array of pulsed beams
US11378685B2 (en) 2019-02-27 2022-07-05 Leolabs, Inc. Systems, devices, and methods for determining space object attitude stabilities from radar cross-section statistics
JP7225016B2 (ja) * 2019-04-19 2023-02-20 株式会社スクウェア・エニックス Ａｒ空間画像投影システム、ａｒ空間画像投影方法及びユーザ端末
EP3757945A1 (en) * 2019-06-24 2020-12-30 Imec VZW Device for generating an augmented reality image
US11555900B1 (en) 2019-07-17 2023-01-17 Apple Inc. LiDAR system with enhanced area coverage
US20220148490A1 (en) * 2019-07-26 2022-05-12 Hewlett-Packard Development Company, L.P. Setting adjustments based on radar
US11514928B2 (en) * 2019-09-09 2022-11-29 Apple Inc. Spatially informed audio signal processing for user speech
US11733359B2 (en) 2019-12-03 2023-08-22 Apple Inc. Configurable array of single-photon detectors
KR20220147974A (ko) * 2021-04-28 2022-11-04 삼성전자주식회사 측위 통신을 지원하는 전자 장치
CN117242369A (zh) 2021-04-28 2023-12-15 三星电子株式会社 支持定位通信的电子装置
US11681028B2 (en) 2021-07-18 2023-06-20 Apple Inc. Close-range measurement of time of flight using parallax shift
CN113918015B (zh) * 2021-10-08 2024-04-19 三星电子（中国）研发中心 一种增强现实的交互方法和装置
KR102635346B1 (ko) * 2022-11-04 2024-02-08 주식회사 브이알크루 가상 객체의 폐색을 구현하기 위한 방법

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4183088A (en) * 1962-01-31 1980-01-08 The United States Of America As Represented By The Secretary Of The Navy Random number generator
NL302458A (zh) * 1963-01-30
US5523760A (en) 1993-04-12 1996-06-04 The Regents Of The University Of California Ultra-wideband receiver
US5457394A (en) 1993-04-12 1995-10-10 The Regents Of The University Of California Impulse radar studfinder
US5517198A (en) 1993-04-12 1996-05-14 The Regents Of The University Of California Ultra-wideband directional sampler
US5519400A (en) 1993-04-12 1996-05-21 The Regents Of The University Of California Phase coded, micro-power impulse radar motion sensor
US5757320A (en) 1993-04-12 1998-05-26 The Regents Of The University Of California Short range, ultra-wideband radar with high resolution swept range gate
US5361070B1 (en) 1993-04-12 2000-05-16 Univ California Ultra-wideband radar motion sensor
US5345471A (en) 1993-04-12 1994-09-06 The Regents Of The University Of California Ultra-wideband receiver
US5510800A (en) 1993-04-12 1996-04-23 The Regents Of The University Of California Time-of-flight radio location system
US5767953A (en) 1993-04-12 1998-06-16 The Regents Of The University Of California Light beam range finder
US5661490A (en) 1993-04-12 1997-08-26 The Regents Of The University Of California Time-of-flight radio location system
US5774091A (en) 1993-04-12 1998-06-30 The Regents Of The University Of California Short range micro-power impulse radar with high resolution swept range gate with damped transmit and receive cavities
US5465094A (en) 1994-01-14 1995-11-07 The Regents Of The University Of California Two terminal micropower radar sensor
US5573012A (en) 1994-08-09 1996-11-12 The Regents Of The University Of California Body monitoring and imaging apparatus and method
US5576627A (en) 1994-09-06 1996-11-19 The Regents Of The University Of California Narrow field electromagnetic sensor system and method
US5682164A (en) 1994-09-06 1997-10-28 The Regents Of The University Of California Pulse homodyne field disturbance sensor
US5521600A (en) 1994-09-06 1996-05-28 The Regents Of The University Of California Range-gated field disturbance sensor with range-sensitivity compensation
US5581256A (en) 1994-09-06 1996-12-03 The Regents Of The University Of California Range gated strip proximity sensor
US5589838A (en) 1994-09-06 1996-12-31 The Regents Of The University Of California Short range radio locator system
US5630216A (en) 1994-09-06 1997-05-13 The Regents Of The University Of California Micropower RF transponder with superregenerative receiver and RF receiver with sampling mixer
US5610611A (en) 1994-12-19 1997-03-11 The Regents Of The University Of California High accuracy electronic material level sensor
US5661385A (en) 1994-12-19 1997-08-26 The Regents Of The University Of California Window-closing safety system
US5609059A (en) 1994-12-19 1997-03-11 The Regents Of The University Of California Electronic multi-purpose material level sensor
US5832772A (en) 1995-01-27 1998-11-10 The Regents Of The University Of California Micropower RF material proximity sensor
US5563605A (en) 1995-08-02 1996-10-08 The Regents Of The University Of California Precision digital pulse phase generator
US6181302B1 (en) * 1996-04-24 2001-01-30 C. Macgill Lynde Marine navigation binoculars with virtual display superimposing real world image
US5754144A (en) 1996-07-19 1998-05-19 The Regents Of The University Of California Ultra-wideband horn antenna with abrupt radiator
US6166744A (en) * 1997-11-26 2000-12-26 Pathfinder Systems, Inc. System for combining virtual images with real-world scenes
CA2255105C (en) 1997-12-05 2006-01-31 Grove U.S. L.L.C. Luffing angle measurement system
US5883591A (en) 1998-02-27 1999-03-16 The Regents Of The University Of California Ultra-wideband impedance sensor
US20030210228A1 (en) 2000-02-25 2003-11-13 Ebersole John Franklin Augmented reality situational awareness system and method
US6856324B2 (en) 2001-03-27 2005-02-15 Siemens Corporate Research, Inc. Augmented reality guided instrument positioning with guiding graphics
US8115620B2 (en) 2002-06-11 2012-02-14 Intelligent Technologies International, Inc. Asset monitoring using micropower impulse radar
US7894177B2 (en) * 2005-12-29 2011-02-22 Apple Inc. Light activated hold switch
US6914552B1 (en) 2003-06-25 2005-07-05 The Regents Of The University Of California Magneto-radar detector and method
US8965460B1 (en) * 2004-01-30 2015-02-24 Ip Holdings, Inc. Image and augmented reality based networks using mobile devices and intelligent electronic glasses
TW200812683A (en) 2006-09-12 2008-03-16 Yue-Jun Yan Model virtual opposition apparatus combined with navigating orientation receiver
US20150154799A1 (en) * 2013-11-29 2015-06-04 At&T Intellectual Property I, L.P. Replacing A Physical Object Perception With A Modified Perception
US20100045701A1 (en) * 2008-08-22 2010-02-25 Cybernet Systems Corporation Automatic mapping of augmented reality fiducials
US8493412B2 (en) * 2008-10-31 2013-07-23 Honeywell Internatioal Inc. Methods and systems for displaying sensor-based images of an external environment
US8397181B2 (en) * 2008-11-17 2013-03-12 Honeywell International Inc. Method and apparatus for marking a position of a real world object in a see-through display
US20100287500A1 (en) * 2008-11-18 2010-11-11 Honeywell International Inc. Method and system for displaying conformal symbology on a see-through display
US20100182400A1 (en) * 2009-01-16 2010-07-22 World Golf Tour, Inc. Aligning Images
US20110166937A1 (en) 2010-01-05 2011-07-07 Searete Llc Media output with micro-impulse radar feedback of physiological response
US20140063055A1 (en) * 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific user interface and control interface based on a connected external device type
US8610771B2 (en) 2010-03-08 2013-12-17 Empire Technology Development Llc Broadband passive tracking for augmented reality
US20110273437A1 (en) * 2010-05-04 2011-11-10 Dynamic Digital Depth Research Pty Ltd Data Dependent Method of Configuring Stereoscopic Rendering Parameters
US8698843B2 (en) * 2010-11-02 2014-04-15 Google Inc. Range of focus in an augmented reality application
US10972680B2 (en) 2011-03-10 2021-04-06 Microsoft Technology Licensing, Llc Theme-based augmentation of photorepresentative view
US8884809B2 (en) 2011-04-29 2014-11-11 The Invention Science Fund I, Llc Personal electronic device providing enhanced user environmental awareness
WO2013032955A1 (en) * 2011-08-26 2013-03-07 Reincloud Corporation Equipment, systems and methods for navigating through multiple reality models
US20140015858A1 (en) 2012-07-13 2014-01-16 ClearWorld Media Augmented reality system
US9175975B2 (en) * 2012-07-30 2015-11-03 RaayonNova LLC Systems and methods for navigation
US20140067269A1 (en) * 2012-08-30 2014-03-06 Schlumberger Technology Corporation Undisturbed fracture orientation
US9953618B2 (en) * 2012-11-02 2018-04-24 Qualcomm Incorporated Using a plurality of sensors for mapping and localization
KR101409846B1 (ko) * 2012-12-18 2014-06-19 전자부품연구원 3차원 증강현실 기반 헤드 업 디스플레이 장치
US9336629B2 (en) * 2013-01-30 2016-05-10 F3 & Associates, Inc. Coordinate geometry augmented reality process
GB2517143A (en) * 2013-08-07 2015-02-18 Nokia Corp Apparatus, method, computer program and system for a near eye display

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI637188B (zh) * 2018-01-31 2018-10-01 位速科技股份有限公司 Micro radar antenna and radar positioning method
TWI745998B (zh) * 2019-06-10 2021-11-11 美商蘋果公司 用於感測之方法及設備

Also Published As

Publication number Publication date
TWI561841B (en) 2016-12-11
KR101809067B1 (ko) 2017-12-14
KR20160115958A (ko) 2016-10-06
CN106030335A (zh) 2016-10-12
US20150279103A1 (en) 2015-10-01
WO2015148014A1 (en) 2015-10-01
CN106030335B (zh) 2018-09-25
US9761049B2 (en) 2017-09-12
EP3123200A1 (en) 2017-02-01
EP3123200A4 (en) 2017-11-29

Similar Documents

Publication Publication Date Title
TW201602611A (zh) 使用微功率脈衝雷達之移動顯示位置與方向的測定
US11928838B2 (en) Calibration system and method to align a 3D virtual scene and a 3D real world for a stereoscopic head-mounted display
US10977818B2 (en) Machine learning based model localization system
US10242454B2 (en) System for depth data filtering based on amplitude energy values
US8933886B2 (en) Instruction input device, instruction input method, program, recording medium, and integrated circuit
CN107894588B (zh) 移动终端、距离测量方法、尺寸测量方法及装置
CN108475180B (zh) 在多个显示区域之间分布视频
US20130207962A1 (en) User interactive kiosk with three-dimensional display
EP1102211A2 (en) Image processor, method of providing image processing services and order processing method
TWI701941B (zh) 圖像處理方法及裝置、電子設備及儲存介質
US20150009119A1 (en) Built-in design of camera system for imaging and gesture processing applications
KR102197615B1 (ko) 증강 현실 서비스를 제공하는 방법 및 증강 현실 서비스를 제공하기 위한 서버
US20190199992A1 (en) Information processing apparatus, method for controlling the same, and recording medium
CN110377148A (zh) 计算机可读介质、训练对象检测算法的方法及训练设备
CN111164971A (zh) 用于3d内容的视差观察器系统
CN115335894A (zh) 用于虚拟和增强现实的系统和方法
JP5361758B2 (ja) 画像生成方法、画像生成装置、及びプログラム
CN113870213A (zh) 图像显示方法、装置、存储介质以及电子设备
CN110313021B (zh) 增强现实提供方法、装置以及计算机可读记录介质
US9881419B1 (en) Technique for providing an initial pose for a 3-D model
Andersen et al. A hand-held, self-contained simulated transparent display
US20180033200A1 (en) System and method for multiple device augmented surface
Piérard et al. I-see-3d! an interactive and immersive system that dynamically adapts 2d projections to the location of a user's eyes
Ogawa et al. Occlusion Handling in Outdoor Augmented Reality using a Combination of Map Data and Instance Segmentation
US11393434B2 (en) Method, processing device, and display system for information display