TW202001695A

TW202001695A - 預測軌跡的方法及裝置

Info

Publication number: TW202001695A
Application number: TW107119485A
Authority: TW
Inventors: 黃榆君; 陳志誠
Original assignee: 宏碁股份有限公司
Priority date: 2018-06-06
Filing date: 2018-06-06
Publication date: 2020-01-01

Abstract

本揭露提出一種預測軌跡的方法，用於一裝置中，包括：輸入至少一已知路徑至一預測軌跡模型；從上述預測軌跡模型中輸出一預測軌跡；比較上述已知路徑和上述預測軌跡，並基於比較結果調整上述預測軌跡模型；以及顯示上述預測軌跡。

Description

預測軌跡的方法及裝置

本揭露一般涉及軌跡預測領域，且更加具體地說係有關於一種基於神經網路深度學習預測軌跡的方法及裝置。

頭戴式顯示器(Head-Mounted Display，HMD)是圍繞使用者頭部佩戴的可攜式裝置，使得位於距眼睛短距離處的顯示器提供影像以供使用者互動。頭戴式顯示器有時提供混合的現實生活和虛擬生活環境，其中使用者能夠看見由計算裝置創建的影像以及一些現實實況影像。頭戴式顯示器在其他時間提供對使用者阻斷外部世界、同時在頭戴式顯示器上提供虛擬世界的沉浸式體驗。

然而，因為頭戴式顯示器的計算能力可能不足以刷新顯示器上的影像，所以當使用者透過戴式顯示器中的顯示器觀看現實世界或虛擬世界時可能存在問題。這可能導致戴式顯示器使用者出現頭暈症狀或暈眩。當使用者被中斷(例如，接收電話呼叫)並且使用者想要快速離開戴式顯示器的環境時，這種現象尤為嚴重。

因此，需要一種預測軌跡方法及裝置，以改善上述缺點。

以下揭露的內容僅為示例性的，且不意指以任何方式加以限制。除所述說明方面、實施方式和特徵之外，透過參照附圖和下述具體實施方式，其他方面、實施方式和特徵也將顯而易見。即，以下揭露的內容被提供以介紹概念、重點、益處及本文所描述新穎且非顯而易見的技術優勢。所選擇，非所有的，實施例將進一步詳細描述如下。因此，以下揭露的內容並不意旨在所要求保護主題的必要特徵，也不意旨在決定所要求保護主題的範圍中使用。

本揭露提供一種預測軌跡的方法及裝置。

在一些實施例中，上述已知路徑係由複數幀(frame)所組成。

在一些實施例中，上述幀包括一起始幀。

在一些實施例中，上述預測軌跡模型係基於一神經網路(Neural Network)模型。

在一些實施例中，上述裝置係一頭戴式顯示器(Head-Mounted Display，HMD)。

本揭露提出一種預測軌跡的裝置，包括：一或多個處理器；以及一或多個電腦儲存媒體，儲存電腦可讀取指令，其中上述處理器使用上述電腦儲存媒體以執行：輸入至少一已知路徑至一預測軌跡模型；從上述預測軌跡模型中輸出一預測軌跡；比較上述已知路徑和上述預測軌跡，並基於比較結果調整上述預測軌跡模型；以及顯示上述預測軌跡。

110‧‧‧使用者

120‧‧‧頭戴式顯示器

122‧‧‧顯示器

130‧‧‧計算裝置

140‧‧‧遊戲伺服器

150‧‧‧顯示器

160‧‧‧網路

200‧‧‧方法

S205、S210、S215、S220‧‧‧步驟

300‧‧‧神經網路

302‧‧‧輸入層

304‧‧‧隱藏層

306‧‧‧輸出層

400‧‧‧計算裝置

410‧‧‧匯流排

412‧‧‧記憶體

414‧‧‧處理器

416‧‧‧顯示元件

418‧‧‧I/O埠口

420‧‧‧I/O元件

422‧‧‧電源供應器

附圖被包括以提供本揭露進一步理解且被合併並組成本揭露的一部分。附圖係說明本揭露的實施例且連同描述一起用以解釋本揭露的原理。其可理解附圖不一定按比例描繪，一些元件可以超過在實際實施方式的大小來顯示，以清楚地說明本揭露的概念。

第1圖係顯示根據本發明一實施例中使用頭戴式顯示器(Head-Mounted Display，HMD)的使用者與至少一裝置互動的示例性示意圖。

第2圖係顯示根據本揭露一實施例所述之預測軌跡的方法之流程圖。

第3圖係顯示根據本揭露一實施例之神經網路。

第4圖係顯示用以實現本發明實施例的示例性操作環境。

在下文中將參考附圖對本揭露的各方面進行更充分的描述。然而，本揭露可以具體化成許多不同形式且不應解釋為侷限於貫穿本揭露所呈現的任何特定結構或功能。相反地，提供這些方面將使得本揭露周全且完整，並且本揭露將給本領域技術人員充分地傳達本揭露的範圍。基於本文所教導的內容，本領域的技術人員應意識到，無論是單獨還是結合本揭露的任何其它方面實現本文所揭露的任何方面，本揭露的範圍旨在涵蓋本文中所揭露的任何方面。例如，可以使用本文所提出任意數量的裝置或者執行方法來實現。另外，除了本文所提出本揭露的多個方面之外，本揭露的範圍更旨在涵蓋使用其它結構、功能或結構和功能來實現的裝置或方法。應可理解，其可透過申請專利範圍的一或多個元件具體化本文所揭露的任何方面。

詞語「示例性」在本文中用於表示「用作示例、實例或說明」。本揭露的任何方面或本文描述為「示例性」的設計不一定被解釋為優選於或優於本揭露或設計的其他方面。此外，相同的數字在所有若干圖示中指示相同的元件，且除非在描述中另有指定，冠詞「一」和「上述」包含複數的參考。

可以理解，當元件被稱為被「連接」或「耦接」至另一元件時，該元件可被直接地連接到或耦接至另一元件或者可存在中間元件。相反地，當該元件被稱為被「直接連接」或「直接耦接」至到另一元件時，則不存在中間元件。用於描述元件之間的關係的其他詞語應以類似方式被解釋(例如，「在…之間」與「直接在…之間」、「相鄰」與「直接相鄰」等方式)。

第1圖係顯示根據本發明一實施例中使用頭戴式顯示器(Head-Mounted Display，HMD)120的使用者110與至少一裝置互動的示例性示意圖。

使用者110正佩戴頭戴式顯示器120，其包括在使用者110的眼睛近處顯現影像的顯示器122。在一實施例中，影像以3D形式顯示。儘管本文所呈現的實施例參考頭戴式顯示器120上的顯示器來描述，但其他實施例可使用其他視圖顯現方法，諸如將影像投影在使用者110的視網膜上。

在一實施例中，計算裝置130執行在頭戴式顯示器120上顯示的遊戲。因此，計算裝置130可與頭戴式顯示器120合作來顯示圖像以用於操作遊戲。對遊戲操作的處理可在計算裝置130上、頭戴式顯示器120上或計算裝置130和頭戴式顯示器120兩者中完成。在另一實施例中，對遊戲操作的處理可由經由網路160所連接的遊戲伺服器140或一群遠端遊戲伺服器(圖未示出)所執行，其與計算裝置130和/或頭戴式顯示器120合作來顯示用於操作遊戲的影像。在又一實施例中，頭戴式顯示器120可與遊戲伺服器140合作以用於玩遊戲。

在第1圖的實施例中，頭戴式顯示器120與計算裝置130進行無線(例如，Wi-Fi、藍牙等)通訊。在其他實施例中，頭戴式顯示器120可直接電性連接至計算裝置130或透過網路160(例如，網際網路)與計算裝置130通訊。例如，計算裝置130可以是網路上提供遊戲服務的伺服器。在一些實施例中，頭戴式顯示器120係為自主遊戲裝置，且遊戲可直接在頭戴式顯示器120上執行，無需外部裝置來運行遊戲。

在一實施例中，計算裝置130還可連接至可執行一些遊戲操作的顯示器150。例如，顯示器150可在使用者戴上頭戴式顯示器120之前向使用者110提供指令。在另一實施例中，顯示器150提供相同或類似的在頭戴式顯示器120上示出的顯示畫面。

應注意的是，第1圖所顯示的實施例係為示例性的。其他實施例可利用不同裝置及不同數目的裝置，並在不同裝置之間具有或多或少的互動，使用其他通訊方式，及促進多玩家遊戲(其中佩戴相應頭戴式顯示器的兩個使用者操作相同遊戲)等。因此，第1圖所顯示的實施例不應解釋為是排他性或限制性的，而是示例性或說明性的。

應可理解，第1圖所示的每個元件可經由任何類型的計算裝置來實現，像是參考第4圖描述的計算裝置400，如第4圖所示。

第2圖係顯示根據本揭露一實施例所述之預測軌跡的方法200之流程圖。此方法可用於一裝置中，例如，執行於如第1圖所示之頭戴式顯示器120或計算裝置130的處理器中。

在步驟S205中，使用者可先輸入至少一已知路徑至裝置中運行之一預測軌跡模型，其中上述已知路徑係由複數幀(frame)所組成，且上述幀包括一起始幀。在另一實施例中，上述已知路徑係可包括使用者與裝置中遊戲互動時所產生之一互動數據，例如，位置座標及尤拉角(Euler-Angle)等數據。

接著，在步驟S210中，裝置從上述預測軌跡模型中輸出一預測軌跡。在步驟S215中，裝置比較上述已知路徑和上述預測軌跡，並基於比較結果調整上述預測軌跡模型。在步驟S220中，裝置顯示上述預測軌跡。

因此，透過第2圖中之方法200，裝置可訓練出一預測軌跡模型。當裝置接收已知路徑時，裝置即可使用預測軌跡模型即時更新所欲顯示之影像於顯示器的螢幕中。

在一實施例中，預測軌跡模型係基於一神經網路(Neural Network)模型。如第3圖所示，在本發明一較佳的形式中，神經網路300被安排在頭戴式顯示器120或計算裝置130上運行。較佳的神經網路可以用C++、Visual Basic或其他適用於此目的的物件導向程式語言來實現。在頭戴式顯示器120或計算裝置130只包含一個處理器的情況下，每個神經元可被安排在該處理器上運行。在頭戴式顯示器120或計算裝置130包含多個處理器的情況下，神經元可被安排在不同的處理器上運行。理想情況下，每個神經元係在不同的處理器上運行。

較佳的神經網路300係為具有輸入層(Input layer)302、隱藏層(Hidden layer)304及輸出層(Output layer)306的多層感知器。設想神經網路300可包括多於一隱藏層。輸入層302係以n個節點示出，隱藏層304係以l個節點示出，而輸出層306以m個節點示出。應可理解，每層中的節點數量可顯著變動。然而，通常在輸入層中有n個節點的情況下，隱藏層中具有n(n-1)/2個節點。

組成一路徑的幀x ₀~x _n-1由輸入層302中的一或多個節點接收，其中幀x ₀係為一起始幀。這些幀被轉換並輸出到隱藏層304中的節點。如第3圖所示，神經網路300可被安排使得來自輸入層302中每一節點的輸出幀被發送到隱藏層304中的每一節點。

在到達隱藏層304中的節點之前，來自輸入層302 中的每一節點的輸出幀可以乘上一權重。此外，每一節點所乘上的權重可不相同，權重的絕對值也可以變化。

由隱藏層304中節點接收的幀被轉換並輸出至輸出層306中的一或多個節點。隱藏層304中的每個節點可被安排為傳送輸出幀至輸出層306。

較佳的神經網路可使得每一節點的接收作為輸入幀，對該幀執行轉移或激活的功能，並且輸出作為該功能結果的數值。例如，該轉移函數可以是以下邏輯函數：

或是其他適用於此目的的已知函數。

較佳的神經網路300可使得輸入層302中的節點傳送輸出幀至隱藏層304中的節點，並且隱藏層304中的節點傳送輸出幀至輸出層306中的節點。最後，輸出層306中的節點輸出複數輸出幀Out₁~Out_m，其中上述輸出幀Out₁~Out_m係組成預測軌跡。

神經網路300被訓練從所接收的路徑中輸出預測軌跡。換言之，這些層可以生成各種計算機視覺任務的模型。在另一實施例中，神經網路300亦可為一非線性自動迴歸(nonlinear autoregressive)模型。

如上所述，頭戴式顯示器可根據預測軌跡幫助判斷使用者將凝視投向何處。因為當使用者將改變其凝視方向時，存在使頭部在同一方向上移動的自然本能，即使頭部的移動在與眼睛的移動相比時可能是輕微的。例如，如果使用者正看著正前方並且頭部(與頭戴式顯示器一起)開始朝左移動，那麼計算裝置或頭戴式顯示器預測使用者所凝視的方向將要向左移動。回應此預測軌跡，與頭戴式顯示器之螢幕右側上的區域相比，頭戴式顯示器之螢幕左側上的區域將以更高優先順序被顯示。

透過本揭露之預測軌跡的方法及裝置，可給予使用者更好的體驗：聚焦在使用者所看的地方或使用者接著將要看的地方，並且更有效地應用電腦資源以使得使用者所欲關注的視圖能夠更快且以更好品質顯現。

對於本發明已描述的實施例，下文描述了可以實現本發明實施例的示例性操作環境。具體參考第4圖，第4圖係顯示用以實現本發明實施例的示例性操作環境，一般可被視為計算裝置400。計算裝置400僅為一合適計算環境的一個示例，並不意圖暗示對本發明使用或功能範圍的任何限制。計算裝置400也不應被解釋為具有與所示元件任一或組合相關任何的依賴性或要求。

本發明可在電腦程式碼或機器可使用指令來執行本發明，指令可為程式模組的電腦可執行指令，其程式模組由電腦或其它機器，例如個人數位助理或其它可攜式裝置執行。一般而言，程式模組包括例程、程式、物件、元件、數據結構等，程式模組指的是執行特定任務或實現特定抽象數據類型的程式碼。本發明可在各種系統組態中實現，包括可攜式裝置、消費者電子產品、通用電腦、更專業的計算裝置等。本發明還可在分散式運算環境中實現，處理由通訊網路所連結的裝置。

參考第4圖。計算裝置400包括直接或間接耦接以下裝置的匯流排410、記憶體412、一或多個處理器414、一或多個顯示元件416、輸入/輸出(I/O)埠口418、輸入/輸出(I/O)元件420以及說明性電源供應器422。匯流排410表示可為一或多個匯流排之元件(例如，位址匯流排、數據匯流排或其組合)。雖然第4圖的各個方塊為簡要起見以線示出，實際上，各個元件的分界並不是具體的，例如，可將顯示裝置的呈現元件視為I/O元件；處理器可具有記憶體。

計算裝置400一般包括各種電腦可讀取媒體。電腦可讀取媒體可以是可被計算裝置400存取的任何可用媒體，該媒體同時包括易揮發性和非易揮發性媒體、可移動和不可移動媒體。舉例但不侷限於，電腦可讀取媒體可包括電腦儲存媒體和通訊媒體。電腦可讀取媒體同時包括在用於儲存像是電腦可讀取指令、資料結構、程式模組或其它數據之類資訊的任何方法或技術中實現的易揮發性性和非易揮發性媒體、可移動和不可移動媒體。電腦儲存媒體包括但不侷限於RAM、ROM、EEPROM、快閃記憶體或其它記憶體技術、CD-ROM、數位多功能光碟(DVD)或其它光碟儲存裝置、磁片、磁碟、磁片儲存裝置或其它磁儲存裝置，或可用於儲存所需的資訊並且可被計算裝置400存取的其它任何媒體。電腦儲存媒體本身不包括信號。

通訊媒體一般包含電腦可讀取指令、資料結構、程式模組或其它採用諸如載波或其他傳輸機制之類的模組化數據訊號形式的數據，並包括任何資訊傳遞媒體。術語「模組化數據訊號」係指具有一或多個特徵集合或以在訊號中編碼資訊之一方式更改的訊號。舉例但不侷限於，通訊媒體包括像是有線網路或直接有線連接的有線媒體及無線媒體，像是聲頻、射頻、紅外線以及其它無線媒體。上述媒體的組合包括在電腦可讀取媒體的範圍內。

記憶體412包括以易揮發性和非易揮發性記憶體形式的電腦儲存媒體。記憶體可為可移動、不移動或可以為這兩種的組合。示例性硬體裝置包括固態記憶體、硬碟驅動器、光碟驅動器等。計算裝置400包括一或多個處理器，其讀取來自像是記憶體412或I/O元件420各實體的數據。顯示元件416向使用者或其它裝置顯示數據指示。示例性顯示元件包括顯示裝置、揚聲器、列印元件、振動元件等。

I/O埠口418允許計算裝置400邏輯連接到包括I/O元件420的其它裝置，一些此種裝置為內建裝置。示例性元件包括麥克風、搖桿、遊戲台、碟形衛星訊號接收器、掃描器、印表機、無線裝置等。I/O元件420可提供一自然使用者介面，用於處理使用者生成的姿勢、聲音或其它生理輸入。在一些例子中，這些輸入可被傳送到一合適的網路元件以便進一步處理。NUI可實現語言識別、觸摸與手寫筆辨識、面部識別、生物識別、在螢幕上以及鄰近螢幕的姿勢識別、空中手勢、頭部及眼部追蹤以及與計算裝置400所顯示相關聯的觸摸識別的任意組合。計算裝置400可裝備有深度照相機，像是立體照相機系統、紅外線照相機系統、RGB照相機系統和這些系統的組合，以偵測與識別姿勢。另外，計算裝置400可以裝備有偵測運動的加速度計或陀螺儀。加速度計或陀螺儀的輸出可被提供給計算裝置400顯示以呈現沉浸式增強現實或虛擬實境。

此外，計算裝置400中之處理器414也可執行記憶體412中之程式及指令以呈現上述實施例所述之動作和步驟，或其它在說明書中內容之描述。

在此所揭露程序之任何具體順序或分層之步驟純為一舉例之方式。基於設計上之偏好，必須了解到程序上之任何具體順序或分層之步驟可在此文件所揭露的範圍內被重新安排。伴隨之方法權利要求以一示例順序呈現出各種步驟之元件，也因此不應被此所展示之特定順序或階層所限制。

雖然本揭露已以實施範例揭露如上，然其並非用以限定本案，任何熟悉此項技藝者，在不脫離本揭露之精神和範圍內，當可做些許更動與潤飾，因此本案之保護範圍當視後附之申請專利範圍所界定者為準。

200‧‧‧方法

S205、S210、S215、S220‧‧‧步驟

Claims

一種預測軌跡的方法，用於一裝置中，包括：輸入至少一已知路徑至一預測軌跡模型；從上述預測軌跡模型中輸出一預測軌跡；比較上述已知路徑和上述預測軌跡，並基於比較結果調整上述預測軌跡模型；以及顯示上述預測軌跡。
如申請專利範圍第1項所述之預測軌跡的方法，其中上述已知路徑係由複數幀(frame)所組成。
如申請專利範圍第2項所述之預測軌跡的方法，其中上述幀包括一起始幀。
如申請專利範圍第1項所述之預測軌跡的方法，其中，上述預測軌跡模型係基於一神經網路(Neural Network)模型。
如申請專利範圍第1項所述之預測軌跡的方法，其中，上述裝置係一頭戴式顯示器(Head-Mounted Display，HMD)。
一種預測軌跡的裝置，包括：一或多個處理器；以及一或多個電腦儲存媒體，儲存電腦可讀取指令，其中上述處理器使用上述電腦儲存媒體以執行：輸入至少一已知路徑至一預測軌跡模型；從上述預測軌跡模型中輸出一預測軌跡；比較上述已知路徑和上述預測軌跡，並基於比較結果調整上述預測軌跡模型；以及顯示上述預測軌跡。
如申請專利範圍第6項所述之預測軌跡的裝置，其中上述已知路徑係由複數幀(frame)所組成。
如申請專利範圍第7項所述之預測軌跡的裝置，其中上述幀包括一起始幀。
如申請專利範圍第6項所述之預測軌跡的裝置，其中，上述預測軌跡模型係基於一神經網路(Neural Network)模型。
如申請專利範圍第6項所述之預測軌跡的裝置，其中，上述裝置係一頭戴式顯示器(Head-Mounted Display，HMD)。