TWI691907B

TWI691907B - 行動裝置及其空間中的定位方法

Info

Publication number: TWI691907B
Application number: TW107120241A
Authority: TW
Inventors: 廖蒼雲; 李信傑
Original assignee: 網銀國際股份有限公司
Priority date: 2018-06-12
Filing date: 2018-06-12
Publication date: 2020-04-21
Also published as: TW202001670A

Abstract

本發明提出一種行動裝置及其空間中的定位方法。行動裝置包括運動偵測器、影像感測器、顯示器及處理器。運動偵測器取得行動裝置的運動資訊。影像感測器取得行動裝置周遭的環境資訊，而此環境資訊包括外部特徵點的影像資訊，且這些外部特徵點的影響資訊符合亮度門檻值。顯示器呈現顯示畫面。處理器耦接運動偵測器、影像感測器及顯示器。處理器接收定位操作，且反應於接收此定位操作而依據運動資訊及環境資訊來設定空間中的參考面，並透過顯示器而在顯示畫面中將虛擬物件生成於參考面。藉此，便能快速且直覺地完成參考面定位。

Description

行動裝置及其空間中的定位方法

本發明是有關於一種擴增實境(Augmented Reality，AR)，且特別是有關於一種行動裝置及其空間中的定位方法。

近年來，擴增實境、虛擬實境(Virtual Reality，VR)及混合實境(Mixed Reality，MR)等模擬環境或產生虛擬物件的技術越來越熱門。遊戲、遠端會議、遠端醫療等各種領域都可以應用前述技術。其中，擴增實境是基於相機或攝影機於空間中的位置及拍攝方向而對拍攝的影像進行分析，從而將虛擬物件結合現實場景而呈現在顯示畫面上。

一般而言，虛擬物件通常會生成在一個參考面上，使得虛擬物件在空間中錨定於參考面而不會隨擴增實境裝置的移動而變換位置。而在生成虛擬物件之前，擴增實境裝置通常會先在現實場景中偵測出實體表面(例如，桌面、地面、牆壁等)，再將參考面錨定在偵測到的實體表面。然而，在高亮度的環境下，由於實體表面的反光情形過於嚴重，擴增實境裝置有可能無法準確地在實體表面上偵測出特徵點，從而造成參考面的定位失敗。有鑑於此，現有的定位技術仍有需要改進。

有鑒於此，本發明提供一種行動裝置及其空間中的定位方法，不使用實體平面的資訊，而改用行動裝置自身的位置資訊及周遭非高亮物件的外部特徵點，從而定位出參考面。

本發明空間中的定位方法，其適用於行動裝置，並包括下列步驟。取得此行動裝置的運動資訊及周遭的環境資訊，而此環境資訊包括外部特徵點的影像資訊，且這些外部特徵點的影像資訊符合亮度門檻值。接收定位操作。反應於接收此定位操作，依據運動資訊及環境資訊設定空間中的參考面。在顯示畫面中，將虛擬物件生成於此參考面。

在本發明的一實施例中，上述取得行動裝置的運動資訊及周遭的環境資訊包括下列步驟。取得行動裝置周遭的環境影像。自此環境影像中偵測外部物件。將這些外部物件中於此環境影像中的亮度低於亮度門檻值的至少一者形成外部特徵點。

在本發明的一實施例中，上述依據運動資訊及環境資訊設定空間中的參考面包括下列步驟。取得外部特徵點在空間中的位置資訊。依據運動資訊及該至少一外部特徵點的位置資訊決定參考面。

在本發明的一實施例中，上述取得行動裝置的運動資訊及周遭的環境資訊包括下列步驟。基於行動裝置的運動資訊，記錄行動裝置於空間中的位置資訊。

在本發明的一實施例中，上述依據運動資訊，分析反應於接收定位操作之前一段時間內在空間中的所有位置資訊。依據位置資訊及環境資訊來設定此參考面。

本發明的行動裝置，其包括運動偵測器、影像感測器、顯示器及處理器。運動偵測器取得行動裝置的運動資訊。影像感測器取得行動裝置周遭的環境資訊，而此環境資訊包括外部特徵點的影像資訊，且這些外部特徵點的影響資訊符合亮度門檻值。顯示器呈現顯示畫面。處理器耦接運動偵測器、影像感測器及顯示器。處理器接收定位操作，且反應於接收此定位操作而依據運動資訊及環境資訊來設定空間中的參考面，並透過顯示器而在顯示畫面中將虛擬物件生成於參考面。

在本發明的一實施例中，上述的處理器透過影像感測器取得行動裝置周遭的環境影像，自這些環境影像中偵測外部物件，並將這些外部物件中於環境影像中的亮度低於亮度門檻值的至少一者形成外部特徵點。

在本發明的一實施例中，上述的處理器取得外部特徵點在該空間中的位置資訊，並依據運動資訊及外部特徵點的位置資訊決定參考面。

在本發明的一實施例中，上述的處理器基於行動裝置的運動資訊，記錄行動裝置於空間中的位置資訊。

在本發明的一實施例中，上述處理器依據運動資訊分析反應於接收定位操作之前一段時間內在空間中的所有位置資訊，並依據位置資訊及環境資訊來設定該參考面。

基於上述，本發明實施例的行動裝置及其空間中的定位方法，不會因無法偵測出參考面，而讓使用者花費過多時間來定位。取而代之的是，反應於使用者的定位操作，直接採用行動裝置自身的運動資訊(例如，空間中的位置資訊)及環境資訊(例如，亮度低於亮度門檻值的外部特徵點)來設定參考面在空間中的位置。藉此，便能快速且直覺地完成參考面定位。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

圖1是依據本發明一實施例的行動裝置100的元件方塊圖。請參照圖1，行動裝置100至少包括但不僅限於運動偵測器110、影像感測器130、顯示器150、儲存器170及處理器190。行動裝置100可以是智慧型手機、平板電腦、掌上型遊戲機、多媒體裝置等類型的裝置。

運動偵測器110可以是陀螺儀(gyroscope)、加速度計(accelerometer)、磁力計(magnetometer)、其他偵測行動裝置100的運動行為的偵測器、或其組合。

影像感測器130可以是相機、攝影機、錄影機等感測外界光波而成像的感測器。

顯示器150可以是液晶顯示器(Liquid Crystal Display，LCD)、發光二極體(Light Emitting Diode，LED)顯示器、有機發光二極體(Organic Light Emitting Diode，OLED)等各類型的顯示器。

儲存器170可以是任何型態的固定或可移動隨機存取記憶體（Random Access Memory，RAM）、唯讀記憶體（Read-Only Memory，ROM）、快閃記憶體（Flash Memory）或類似元件或上述元件之組合的儲存器，儲存器170並用於儲存緩衝的或永久的資料、AR平台(例如，ARCore、ARKit、Vuforia等)、軟體模組、應用程式、影像、感測資料、運動資訊、環境資訊等資料，且其詳細內容待後續實施例詳述。

處理器190與運動偵測器110、影像感測器130、顯示器150、及儲存器170耦接，並可以是中央處理單元(Central Processing Unit，CPU)、圖形處理器(Graphic Processing Unit，GPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位信號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuit，ASIC)或其他類似元件或上述元件的組合。在本發明實施例中，處理器190用以執行行動裝置100的所有作業，且可載入並執行儲存器170所記錄的各軟體模組、AR平台、檔案及資料。

為了方便理解本發明實施例的操作流程，以下將舉諸多實施例詳細說明本發明實施例中行動裝置100對於定位參考面的處理流程。下文中，將搭配行動裝置100的各項元件及模組說明本發明實施例所述之方法。本方法的各個流程可依照實施情形而隨之調整，且並不僅限於此。

圖2是依據本發明一實施例說明一種空間中的定位方法之流程圖。請參照圖2，處理器190透過運動偵測器110取得行動裝置100的運動資訊，並透過影像感測器130取得周遭的環境資訊(步驟S210)。具體而言，在透過AR視覺呈現之前，需要先進行運動追蹤，其是偵測行動裝置100在三維空間中的位置。而對行動裝置100定位並建構環境空間的技術有很多，基於不同感測器可能會搭配不同的空間定位技術。例如，同步定位與地圖建構技術(Simultaneous Localization and Mapping，SLAM)透過運動偵測器110所取得的加速度、角速度等運動資訊及/或影像感測器130所生成的環境影像(即，環境資訊)來估測行動裝置100自身的位置、方向及姿態，從而作為空間中的定位資訊。

而於本實施例中，處理器190會基於行動裝置100的運動資訊，隨時間或運動變化記錄行動裝置100於空間中的位置資訊(例如，絕對座標、或與特定實體物件的相對位置等)。另一方面，處理器190透過影像感測器130取得行動裝置100周遭的一張或多張環境影像(即，以影像感測器130的拍攝角度所能拍攝影像)，並自這些環境影像中偵測一個或多個外部物件(例如，相框、電腦、眼鏡、地板等實體物件)。值得注意的是，本實施例的環境資訊包括一個或多個外部特徵點的影像資訊，而這些外部特徵點的影像資訊符合亮度門檻值。由於高亮度的實體物件可能會造成行動裝置100難以偵測出特徵點，因此本發明實施例的處理器190是將外部物件中於環境影像中的亮度低於亮度門檻值(可視需求而調整)的至少一者形成外部特徵點。而處理器190將持續追蹤這些可偵測的外部特徵點的位置，並將偵測所得的位置資訊作為後續定位以及理解實際場景的依據。

接著，處理器190透過輸入裝置(例如，觸控面板、按鈕、壓力感測器)、運動偵測器110、或影像感測器130取得使用者的定位操作(步驟S230)。定位操作例如是，觸控面板偵測到顯示器150所呈現之虛擬按鈕被按壓，運動偵測器110偵測到行動裝置100以觸發行為搖擺、影像感測器130拍攝到特定實體物件等，本發明實施例不加以限制。

而反應於接收此定位操作，處理器190將依據運動資訊及環境資訊設定空間中的參考面(步驟S250)。具體而言，處理器190取得外部特徵點(即，亮度(或是光照度)低於亮度門檻值的實體物件)在空間中的位置資訊(例如，絕對座標、或與行動裝置100的相對位置等)。另一方面，處理器190更依據運動資訊(例如，加速度、角速度等)分析反應於接收定位操作之前一段時間內(例如，自開啟AR相關應用程式開始、特定時間間隔(例如，10、30秒等)等)行動裝置100在空間中的所有位置資訊。最後，處理器190再依據行動裝置的位置資訊(即，運動資訊)及外部特徵點的位置資訊(即，環境資訊)來設定參考面。例如，處理器190會取得AR平台建構參考面所需的參數(例如，錨定中心點在空間中的位置(以行動裝置100的當前位置)、延伸的長寬度等)，再基於前述參數來形成參考面；又或者，處理器190基於行動裝置100的位置資訊及方向來決定自行動裝置100延伸的水平面，再透過行動裝置100在空間中的移動軌跡、外部特徵點與行動裝置100當前的相對位置來修正，從而決定參考面。也就是說，本發明實施例是直接採用行動裝置100自身的位置、方向及姿態、與周遭的非高亮度的實體物件的位置來作為參考面設定的依據。無論行動裝置100所處位置為何處(即便是高亮度的桌面)，處理器190都能反應於使用者的定位操作，迅速地設定參考面。此外，在一些實施例中，處理器190可能還會禁用或停用平面偵測功能，以避免與前述形成的參考面衝突。

接著，處理器190即可透過顯示器150而在顯示畫面中將虛擬物件生成於參考面(步驟S270)。此虛擬物件可能是虛擬人物、虛擬場景、虛擬物品等物件。而虛擬物件於顯示畫面中生成後，將錨定於參考面並不隨行動裝置100移動而改變位置，將更能與現實的實體物件或場景結合為一體，從而增進視覺體驗。

為了方便讀者更加理解本發明精神，以下將另舉一應用情境說明。

圖3A-3C是一應用情境說明定位操作流程。請先參照圖3A，使用者手持行動裝置100，而運動偵測器110隨時記錄行動裝置100的運動資訊，且影像感測器130取得周遭的環境資訊以偵測外部特徵點。接著參照圖3B，使用者將行動裝置100放置於桌子T的桌面上，並按下顯示器150上所呈現「輔助校正」的虛擬按鈕。此時，處理器190會取得行動裝置100於空間中的位置資訊，透過周遭的地板、掛飾(圖未示)等外部特徵點來修正空間定位結果，並將這些資訊輸入至參考面決定軟體模組中，從而直接設定參考面。最後，請參照圖3C，由於行動裝置100是水平放置於桌面，因此參考面RP將大致形成於桌子T的桌面，處理器190即可透過顯示器150呈現虛擬物件VO在參考面RP上。

值得說明的是，本發明實施例不限定於特定面積大小的實體表面，只要行動裝置100經放置(甚至懸空)且接收到使用者的定位操作，即可形成參考面，相當方便。

綜上所述，本發明實施例的構想方式以反向思考手段，考慮到行動裝置既然無法偵測出平面，則不使用平面的資訊。取得代之的是，將行動放在平面上，基於手機本身的位置資訊，加上偵測附近非高亮的物件的外部特徵點，從而定位出參考面的位置。藉此，使用者可隨時隨地決定參考面，不限於現場是否存在實體平面。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100‧‧‧行動裝置110‧‧‧運動偵測器130‧‧‧影像感測器150‧‧‧顯示器170‧‧‧儲存器190‧‧‧處理器S210~S270‧‧‧步驟T‧‧‧桌子RP‧‧‧參考面VO‧‧‧虛擬物件

圖1是依據本發明一實施例的行動裝置的元件方塊圖。圖2是依據本發明一實施例空間中的定位方法的流程圖。圖3A-3C是一應用情境說明定位操作流程。

S210~S270‧‧‧步驟

Claims

一種空間中的定位方法，適用於一行動裝置，該定位方法包括：取得該行動裝置的運動資訊及周遭的環境資訊，其中該環境資訊包括至少一外部特徵點的影像資訊，而該至少一外部特徵點的影像資訊符合一亮度門檻值；接收一定位操作；反應於接收該定位操作，依據該運動資訊及該環境資訊設定一空間中的一參考面；以及在一顯示畫面中，將一虛擬物件生成於該參考面。
如申請專利範圍第1項所述的空間中的定位方法，其中取得該行動裝置的運動資訊及周遭的環境資訊的步驟包括：取得該行動裝置周遭的至少一環境影像；自該至少一環境影像中偵測至少一外部物件；以及將該至少一外部物件中於該至少一環境影像中的亮度低於該亮度門檻值的至少一者形成該至少一外部特徵點。
如申請專利範圍第2項所述的空間中的定位方法，其中依據該運動資訊及該環境資訊設定該空間中的該參考面的步驟包括：取得該至少一外部特徵點在該空間中的位置資訊；以及依據該運動資訊及該至少一外部特徵點的位置資訊決定該參考面。
如申請專利範圍第1項所述的空間中的定位方法，其中取得該行動裝置的運動資訊及周遭的環境資訊的步驟包括：基於該行動裝置的運動資訊，紀錄該行動裝置於該空間中的位置資訊。
如申請專利範圍第4項所述的空間中的定位方法，其中依據該運動資訊及該環境資訊設定該空間中的該參考面的步驟包括：依據該運動資訊，分析反應於接收該定位操作之前一段時間內在該空間中的所有位置資訊；以及依據該行動裝置的位置資訊及該環境資訊來設定該參考面。
一種行動裝置，包括：一運動偵測器，取得該行動裝置的運動資訊；一影像感測器，取得該行動裝置周遭的環境資訊，其中該環境資訊包括至少一外部特徵點的影像資訊，而該至少一外部特徵點的影像資訊符合一亮度門檻值；一顯示器，呈現一顯示畫面；以及一處理器，耦接該運動偵測器、該影像感測器及該顯示器，該處理器接收一定位操作，且反應於接收該定位操作而依據該運動資訊及該環境資訊設定一空間中的一參考面，並透過該顯示器而在該顯示畫面中將一虛擬物件生成於該參考面。
如申請專利範圍第6項所述的行動裝置，其中該處理器透過該影像感測器取得該行動裝置周遭的至少一環境影像，自該至少一環境影像中偵測至少一外部物件，並將該至少一外部物件中於該至少一環境影像中的亮度低於該亮度門檻值的至少一者形成該至少一外部特徵點。
如申請專利範圍第7項所述的行動裝置，其中該處理器取得該至少一外部特徵點在該空間中的位置資訊，並依據該運動資訊及該至少一外部特徵點的位置資訊決定該參考面。
如申請專利範圍第6項所述的行動裝置，其中該處理器基於該行動裝置的運動資訊，紀錄該行動裝置於該空間中的位置資訊。
如申請專利範圍第9項所述的行動裝置，其中該處理器依據該運動資訊分析反應於接收該定位操作之前一段時間內在該空間中的所有位置資訊，並依據該行動裝置的位置資訊及環境資訊來設定該參考面。