TWI732342B

TWI732342B - 傳輸眼球追蹤資訊的方法、頭戴式顯示器及電腦裝置

Info

Publication number: TWI732342B
Application number: TW108141313A
Authority: TW
Inventors: 蕭博文; 范富誠
Original assignee: 宏達國際電子股份有限公司
Priority date: 2018-11-25
Filing date: 2019-11-14
Publication date: 2021-07-01
Also published as: US20200166997A1; CN111221410B; CN111221410A; US10969865B2; TW202037152A

Abstract

本發明提供一種傳輸眼球追蹤資訊的方法、頭戴式顯示器及電腦裝置。所述方法包括：接收視覺內容；從接收關聯於各內容物件的物件資訊；顯示視覺內容，並對頭戴式顯示器的穿戴者執行眼球追蹤操作；基於各內容物件的物件資訊判斷注視位置是否對應於前述內容物件之一；反應於判定注視位置對應於前述內容物件的第一內容物件，發送關聯於第一內容物件的第一指示符。

Description

傳輸眼球追蹤資訊的方法、頭戴式顯示器及電腦裝置

本發明是有關於一種眼球追蹤技術，且特別是有關於一種傳輸眼球追蹤資訊的方法、頭戴式顯示器及電腦裝置。

在虛擬實境（virtual reality，VR）系統中，眼球追蹤(eye-tracking)技術已是一項不可或缺的元素。概略而言，眼球追蹤技術可包括以下步驟：（1）向使用者眼球部位照射均勻的紅外光，以相應地在其上產生光點（glint point）；（2）使用紅外線鏡頭擷取使用者眼球部位的紅外線影像（其包括上述光點）；（3）透過運算單元利用平滑化、去雜訊、動態補償、移動補償等眼球演算法，得知瞳孔位置與其他眼部資訊。

因此，對於本領域技術人員而言，如何設計一種在傳輸眼球追蹤資訊時耗用較少頻寬的機制實為一項重要議題。

有鑑於此，本發明提供一種傳輸眼球追蹤資訊的方法、頭戴式顯示器及電腦裝置，其可用以解決上述技術問題。

本發明提供一種傳輸眼球追蹤資訊的方法，適於一頭戴式顯示器。所述方法包括：接收一第一視覺內容，其中第一視覺內容包括多個內容物件；接收關聯於各內容物件的物件資訊；顯示第一視覺內容，並對頭戴式顯示器的一穿戴者執行一眼球追蹤操作，以取得穿戴者對於第一視覺內容的一注視位置；基於各內容物件的物件資訊判斷注視位置是否對應於前述內容物件之一；反應於判定注視位置對應於前述內容物件的一第一內容物件，發送關聯於第一內容物件的一第一指示符。

本發明提供一種頭戴式顯示器，其包括一收發器電路、眼球追蹤電路及處理器。處理器耦接眼球追蹤電路及收發器電路，並經配置以：控制收發器電路接收一第一視覺內容，其中第一視覺內容包括多個內容物件；控制收發器電路接收關聯於各內容物件的物件資訊；顯示第一視覺內容，並控制眼球追蹤電路對頭戴式顯示器的一穿戴者執行一眼球追蹤操作，以取得穿戴者對於第一視覺內容的一注視位置；基於各內容物件的物件資訊判斷注視位置是否對應於前述內容物件之一；反應於判定注視位置對應於前述內容物件的一第一內容物件，控制收發器電路發送關聯於第一內容物件的一第一指示符。

本發明提供一種傳輸眼球追蹤資訊的方法，適於一電腦裝置。所述方法包括：發送一第一視覺內容至一頭戴式顯示器，其中第一視覺內容包括多個內容物件；發送關聯於各內容物件的物件資訊至頭戴式顯示器；從頭戴式顯示器接收關聯於一第一內容物件的一第一指示符，其中第一指示符指示頭戴式顯示器的一穿戴者的注視位置對應於第一內容物件；依據第一指示符產生一第二視覺內容。

本發明提供一種電腦裝置，其包括收發器電路及處理器。處理器耦接收發器電路，並經配置以：控制收發器電路發送一第一視覺內容至一頭戴式顯示器，其中第一視覺內容包括多個內容物件；控制收發器電路發送關聯於各內容物件的物件資訊至頭戴式顯示器；從頭戴式顯示器接收關聯於一第一內容物件的一第一指示符，其中第一指示符指示頭戴式顯示器的一穿戴者的注視位置對應於第一內容物件；依據第一指示符產生一第二視覺內容。

基於上述，本發明提出的傳輸眼球追蹤資訊方法可讓頭戴式顯示器在偵測穿戴者所注視的第一內容物件之後，產生對應的第一指示符，並發送此第一指示符（例如是第一內容物件的索引值）至電腦裝置，以向電腦裝置告知穿戴者正注視第一內容物件。藉此，本發明可在耗用較少頻寬的情況下將眼球追蹤資訊提供予電腦裝置，因而可達到較高的傳輸效率。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

請參照圖1，其是依據本發明之一實施例繪示的VR系統示意圖。如圖1所示，VR系統100包括頭戴式裝置11及電腦裝置12。頭戴式裝置11例如可包括收發器電路111、眼球追蹤電路112及處理器113，而電腦裝置12例如可包括收發器電路121及處理器122。在不同的實施例中，收發器電路111可採有線傳輸或無線傳輸的方式對接於收發器電路121，藉以實現頭戴式顯示器11及電腦裝置12之間的資料傳輸。例如，電腦裝置12可用於產生所需的VR內容，並透過收發器電路121發送至頭戴式顯示器11的收發器電路111。相應地，頭戴式顯示器11可向其穿戴者提供上述VR內容，但本發明可不限於此。

在頭戴式顯示器11中，眼球追蹤電路112例如可採用先前提及的眼球追蹤技術來偵測穿戴者的眼球資訊，例如注視位置、瞳孔位置等，但不限於此。為此，眼球追蹤電路112可包括在執行上述眼球追蹤技術時所需的各式硬體，例如紅外線發射器、紅外線攝影機，以及用於分析紅外線影像的運算單元，但可不限於此。

處理器113可耦接收發器電路111及眼球追蹤電路112，並可以是一般用途處理器、特殊用途處理器、傳統的處理器、數位訊號處理器、多個微處理器（microprocessor）、一個或多個結合數位訊號處理器核心的微處理器、控制器、微控制器、特殊應用集成電路（Application Specific Integrated Circuit，ASIC）、場可程式閘陣列電路（Field Programmable Gate Array，FPGA）、任何其他種類的積體電路、狀態機、基於進階精簡指令集機器（Advanced RISC Machine，ARM）的處理器以及類似品。

另外，在電腦裝置12中，處理器122可耦接收發器電路121，而處理器122的各式可能的實施方式可參照處理器113的相關說明，於此不另贅述。

在本發明的實施例中，頭戴式顯示器11的處理器113可藉由載入特定的模組、程式碼以協同電腦裝置12的處理器122來實現本發明提出的傳輸眼球追蹤資訊的方法，以下將作進一步說明。

請參照圖2，其是依據本發明之一實施例繪示的傳輸眼球追蹤資訊的方法流程圖。本實施例的方法可由圖1的頭戴式顯示器11執行，以下即搭配圖1所示的元件說明圖2各步驟的細節。此外，為使本發明的概念更易於理解，以下將另輔以圖3A及圖3B進行說明。

首先，在步驟S210中，處理器113可控制收發器電路111接收第一視覺內容310。在本實施例中，第一視覺內容310例如是VR服務中的2D/3D影像、畫面等，並可由電腦裝置12提供，但可不限於此。並且，如圖3A所示，第一視覺內容310可包括內容物件311、312、…、31N，其中各內容物件311~31N可以是按鈕、選單中的選項或是其他形式的VR物件，但可不限於此。

之後，在步驟S220中，處理器113可控制收發器電路111接收關聯於各內容物件311~31N的物件資訊。在一實施例中，各內容物件311~31N的物件資訊例如可由電腦裝置12提供，並可包括各內容物件311~31N在第一視覺內容310中的像素分布範圍。例如，若某一部分的像素皆位於內容物件311的範圍內，則電腦裝置12可將前述部分的像素的分布位置（可表示為座標）作為內容物件311的物件資訊而提供予頭戴式顯示器11，但可不限於此。

此外，各內容物件311~31N的物件資訊亦可包括各內容物件311~31N的索引值（或可理解為編號）。舉例而言，內容物件311的索引值（或編號）例如是1，內容物件312的索引值（或編號）例如是2，而內容物件31N的索引值（或編號）例如是N（其例如是一正整數），但可不限於此。在一實施例中，各內容物件311~31N的物件資訊包括各內容物件311~31N在第一視覺內容310中的物件位置。以內容物件311及312為例，其個別物件位置例如位於第一視覺內容310的左上方及右上方等位置，但其僅用以舉例，並非用以限定本發明可能的實施方式。在其他實施例中，各內容物件311~31N的物件資訊還可包括各內容物件311~31N在第一視覺內容310中的深度資訊。

之後，在步驟S230中，處理器113可顯示第一視覺內容310，並控制眼球追蹤電路112對頭戴式顯示器11的穿戴者執行眼球追蹤操作，以取得穿戴者對於第一視覺內容310的注視位置。在一實施例中，眼球追蹤電路112可經配置以採用先前提及的方式而基於所取得的眼部紅外線影像偵測穿戴者的注視位置，但可不限於此。

在取得穿戴者的注視位置之後，在步驟S240中，處理器113可基於各內容物件311~31N的物件資訊判斷注視位置是否對應於前述內容物件311~31N之一。並且，在步驟S250中，反應於判定注視位置對應於前述內容物件的第一內容物件，處理器113可控制收發器電路112發送關聯於第一內容物件的第一指示符FI。在一實施例中，處理器113可控制收發器電路112發送關聯於第一內容物件的第一指示符FI至電腦裝置12，但可不限於此。

為便於說明，以下將以內容物件311作為所考慮的第一內容物件，但其僅用以舉例，並非用以限定本發明可能的實施方式。並且，基於以下教示，本領域具通常知識者應可相應理解以其他內容物件作為所考慮的第一內容物件時的實施方式。

在一實施例中，若處理器113判定穿戴者的注視位置位於內容物件311的像素分布範圍內，則處理器113可將內容物件311視為上述第一內容物件。亦即，處理器113可判定穿戴者正注視內容件311。相應地，處理器113可控制收發器電路112發送關聯於第一內容物件（即，內容物件311）的第一指示符FI至電腦裝置12。

在另一實施例中，若處理器113判定穿戴者的注視位置位於內容物件311的像素分布範圍內達一預設時間（例如2秒），則處理器113可將內容物件311視為上述第一內容物件。亦即，處理器113可判定穿戴者已持續注視內容件311達上述預設時間。相應地，處理器113可控制收發器電路112發送關聯於第一內容物件（即，內容物件311）的第一指示符FI至電腦裝置12。

在一實施例中，處理器113可將第一內容物件的索引值作為第一指示符FI發送至電腦裝置12。承上例，假設內容物件311即為穿戴者所注視的第一內容物件，則處理器113可將內容物件311的索引值（例如，1）作為第一指示符FI發送至電腦裝置12。更仔細地說，在本實施例中其第一視覺內容310與其對應各內容物件之物件資訊係由電腦裝置12傳送至頭戴式顯示器11。因此，電腦裝置12根據其收到之第一指示符FI亦能夠分析出該第一指示符FI所涵蓋之像素位置分布，進而能依據該像素位置分布計算出使用者約略注視區域。在另一實施例中，第一指示符FI可實現為包括各內容物件311~31N的索引值的表單，惟處理器113可將對應於第一內容物件的索引值標示一旗標（flag），以表示第一內容物件已被穿戴者所注視。換言之，若內容物件311為第一內容物件，處理器113可在上述表單中將索引值1標示一旗標，並將表單作為第一指示符FI發送至電腦裝置12。

在又一實施例中，處理器113可將第一內容物件的物件位置作為第一指示符FI發送至電腦裝置12。再以內容物件311為例，處理器113可將其物件位置（例如左上角）作為第一指示符FI發送至電腦裝置12，但可不限於此。

基於所收到的第一指示符FI，電腦裝置12即可據以執行對應的操作。舉例而言，若第一指示符FI指示穿戴者已注視內容物件311，而內容物件311為一選項按鈕時，則電腦裝置12可相應地產生如圖3B所示的第二視覺內容320，並將第二視覺內容320發送至頭戴式顯示器11。如圖3B所示，第二視覺內容320包括對應於內容物件311的另一內容物件311a，惟內容物件311a已被強調（highlight），以代表內容物件311a已被穿戴者所選定，但可不限於此。

之後，電腦裝置12還可再依據所選定的內容物件311a而產生其他的視覺內容供頭戴式顯示器11顯示，以提供後續的VR服務，但本發明可不限於此。

請參照圖4，其是依據本發明另一實施例繪示的傳輸眼球追蹤資訊的方法流程圖。本實施例的方法可由圖1的電腦裝置12執行，以下即搭配圖1所示的元件說明圖4各步驟的細節。

首先，在步驟S410中，處理器122可控制收發器電路121發送第一視覺內容310至頭戴式顯示器11。在步驟S420中，處理器122可控制收發器電路121發送關聯於各內容物件311~31N的物件資訊至頭戴式顯示器11。在步驟S430中，處理器122可控制收發器電路121從頭戴式顯示器11接收關聯於第一內容物件的第一指示符FI。在步驟S440中，處理器122可依據第一指示符FI產生第二視覺內容320。在一實施例中，電腦裝置12可根據接收到的第一指示符FI於當下之影像幀(frame)中之像素位置分布，對應產生該像素位置分布計算出使用者約略注視區域，並以注視區域為中心執行渲染(rendering)之第二視覺內容320。在另一實施例中，電腦裝置12可根據接收到的第一指示符FI於當下之物件深度資訊，對應執行渲染之第二視覺內容320。圖4各步驟的細節可參照先前實施例的教示，於此不另贅述。

綜上所述，本發明提出的傳輸眼球追蹤資訊方法可讓頭戴式顯示器在偵測穿戴者所注視的第一內容物件之後，產生對應的第一指示符，並將此第一指示符（例如是第一內容物件的索引值）發送至電腦裝置，以向電腦裝置告知穿戴者正注視第一內容物件。相應地，電腦裝置即可依據第一指示符得知穿戴者正注視第一內容物件，從而據以產生其他的視覺內容供頭戴式顯示器顯示。藉此，相較於習知直接由頭戴式顯示器傳送瞳孔位置、相關眼部資訊或是眼部紅外線影像的作法，本發明所需耗用的頻寬較少，因而可達到較高的傳輸效率。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100:VR系統 11:頭戴式裝置 111、121:收發器電路 112:眼球追蹤電路 113、122:處理器 12:電腦裝置 310:第一視覺內容 311、312、…、31N、311a:內容物件 320:第二視覺內容 FI:第一指示符 S210~S250、S410~S440:步驟

圖1是依據本發明之一實施例繪示的VR系統示意圖。圖2是依據本發明之一實施例繪示的傳輸眼球追蹤資訊的方法流程圖。圖3A是依據本發明之一實施例繪示的第一視覺內容示意圖。圖3B是依據圖3A繪示的第二視覺內容示意圖。圖4是依據本發明另一實施例繪示的傳輸眼球追蹤資訊的方法流程圖。

S210~S250:步驟

Claims

一種傳輸眼球追蹤資訊的方法，適於一頭戴式顯示器，包括：從一電腦裝置接收一第一視覺內容，其中該第一視覺內容包括多個內容物件；從該電腦裝置接收關聯於各該內容物件的物件資訊；顯示該第一視覺內容，並對該頭戴式顯示器的一穿戴者執行一眼球追蹤操作，以取得該穿戴者對於該第一視覺內容的一注視位置；基於各該內容物件的該物件資訊判斷該注視位置是否對應於該些內容物件之一；反應於判定該注視位置對應於該些內容物件的一第一內容物件，發送關聯於該第一內容物件的一第一指示符至該電腦裝置。
如申請專利範圍第1項所述的方法，其中各該內容物件的該物件資訊包括各該內容物件在該第一視覺內容中的一像素分布範圍以及各該內容物件在該些內容物件中的一索引值。
如申請專利範圍第2項所述的方法，其中各該內容物件的該物件資訊更包括各該內容物件在該第一視覺內容中的一深度資訊。
如申請專利範圍第2項所述的方法，其中反應於判定該注視位置位於該第一內容物件的該像素分布範圍內，判定該注視位置對應於該第一內容物件。
如申請專利範圍第2項所述的方法，其中反應於判定該注視位置停留於該第一內容物件的該像素分布範圍內達一預設時間，判定該注視位置對應於該第一內容物件。
如申請專利範圍第2項所述的方法，其中發送關聯於該第一內容物件的該第一指示符的步驟包括：發送該第一內容物件的該索引值作為該第一指示符。
如申請專利範圍第2項所述的方法，其中該第一指示符為一表單，其包括各該內容物件的該索引值，且僅有該第一內容物件的該索引值被標示有一旗標。
如申請專利範圍第1項所述的方法，其中各該內容物件的該物件資訊包括各該內容物件在該第一視覺內容中的一物件位置以及各該內容物件在該些內容物件中的一索引值。
如申請專利範圍第8項所述的方法，其中反應於判定該注視位置對應於該第一內容物件的該物件位置，判定該注視位置對應於該第一內容物件。
如申請專利範圍第8項所述的方法，其中發送關聯於該第一內容物件的該第一指示符的步驟包括：發送該第一內容物件的該物件位置作為該第一指示符。
一種頭戴式顯示器，包括：一收發器電路；一眼球追蹤電路；一處理器，其耦接該眼球追蹤電路及該收發器電路，並經配置以：控制該收發器電路從一電腦裝置接收一第一視覺內容，其中該第一視覺內容包括多個內容物件；控制該收發器電路從該電腦裝置接收關聯於各該內容物件的物件資訊；顯示該第一視覺內容，並控制該眼球追蹤電路對該頭戴式顯示器的一穿戴者執行一眼球追蹤操作，以取得該穿戴者對於該第一視覺內容的一注視位置；基於各該內容物件的該物件資訊判斷該注視位置是否對應於該些內容物件之一；反應於判定該注視位置對應於該些內容物件的一第一內容物件，控制該收發器電路發送關聯於該第一內容物件的一第一指示符至該電腦裝置。
一種傳輸眼球追蹤資訊的方法，適於一電腦裝置，包括：發送一第一視覺內容至一頭戴式顯示器，其中該第一視覺內容包括多個內容物件；發送關聯於各該內容物件的物件資訊至該頭戴式顯示器；從該頭戴式顯示器接收關聯於一第一內容物件的一第一指示符，其中該第一指示符指示該頭戴式顯示器的一穿戴者的注視位置對應於該第一內容物件；依據該第一指示符產生一第二視覺內容。
如申請專利範圍第12項所述的方法，其中各該內容物件的該物件資訊包括各該內容物件在該第一視覺內容中的一像素分布範圍以及各該內容物件在該些內容物件中的一索引值。
如申請專利範圍第13項所述的方法，其中各該內容物件的該物件資訊更包括各該內容物件在該第一視覺內容中的一深度資訊。
如申請專利範圍第13項所述的方法，其中該第一指示符包括該第一內容物件的該索引值。
如申請專利範圍第13項所述的方法，其中該第一指示符為一表單，其包括各該內容物件的該索引值，且僅有該第一內容物件的該索引值被標示有一旗標。
如申請專利範圍第12項所述的方法，其中各該內容物件的該物件資訊包括各該內容物件在該第一視覺內容中的一物件位置以及各該內容物件在該些內容物件中的一索引值。
如申請專利範圍第17項所述的方法，其中該第一指示符包括該第一內容物件的該物件位置。
如申請專利範圍第12項所述的方法，更包括：將該第二視覺內容發送至該頭戴式顯示器。
一種電腦裝置，包括：一收發器電路；一處理器，其耦接該收發器電路，並經配置以：控制該收發器電路發送一第一視覺內容至一頭戴式顯示器，其中該第一視覺內容包括多個內容物件；控制該收發器電路發送關聯於各該內容物件的物件資訊至該頭戴式顯示器；從該頭戴式顯示器接收關聯於一第一內容物件的一第一指示符，其中該第一指示符指示該頭戴式顯示器的一穿戴者的注視位置對應於該第一內容物件；依據該第一指示符產生一第二視覺內容。