TW202424699A - 控制ｖｒ／ａｒ之頭戴裝置 - Google Patents

Abstract

一種系統，其包含能夠實現虛擬實境(VR)及/或擴增實境(AR)之一頭戴裝置及用於成像真實環境及判定一使用者正面對的一面對方向之一感測器配置。該頭戴裝置經組態以在一虛擬模式中顯示一虛擬場景且提供對應之虛擬音訊給該使用者。該頭戴裝置亦經組態以在一本端模式中展示該真實環境且提供對應之真實音訊給該使用者。回應於偵測到一真人且取決於其位置及該面對方向，該頭戴裝置從該虛擬模式切換至該本端模式。

Description

控制VR/AR之頭戴裝置

本發明係關於能夠實現虛擬實境(virtual reality)/擴增實境(augmented reality)/混合實境(mixed reality)之頭戴裝置的領域。具體而言，本發明係關於使用者在穿戴該等頭戴裝置之一者時與真實環境之互動。

目前的頭戴裝置可分類為三種類型中之一者：僅支援虛擬實境(VR)之頭戴裝置，其中使用者需要取下頭戴裝置才能觀看外部世界；透傳式(pass-through)頭戴裝置，其等具有允許存取外部視覺世界的整合式攝影機；及透視式(see-through)頭戴裝置，其等係例如半透明的，且總是允許來自外部的光穿透到達使用者眼睛。

圖1展示透傳式頭戴裝置的圖。頭戴裝置100具有帶有兩個顯示器（未圖示）之殼體102及條帶106，該條帶用以將頭戴裝置100固持在使用者之頭部上。該頭戴裝置亦具有感測器104，其中該等感測器中之至少一者係攝影機，該攝影機用以將使用者周圍的環境成像。

此等類型之透傳式頭戴裝置具有透傳模式(pass-through mode)，其目前用以防止使用者與房間中之物體碰撞。例如，一旦使用者太靠近房間的牆壁時，便自動開啟透傳模式。

此外，透傳式頭戴裝置及透視式頭戴裝置皆允許將本端擷取或本端可見（亦即，就在頭戴裝置之外部）之影像與如遠端位置處擷取之影像（亦即，虛擬場景）混合。

當多個人存在於一端或兩端上時，在電信設定中便存在混合本端及遠端資料的需要。接下來的挑戰是在任一端上無複雜硬體設置之情況下實現自然通訊體驗。具體而言，需要在無需複雜硬體設置或無需實體上移除頭戴裝置之情況下改善穿戴可實現VR/AR之頭戴裝置的使用者與真人的互動。

US 2022/214743 A1揭示當使用者傾靠或轉動朝向第二使用者時，增加VR/AR頭戴裝置中之虛擬內容的透明度。

本發明由申請專利範圍定義。

根據本發明之一態樣的實例，提供一種系統，其包含能夠實現虛擬實境(VR)及/或擴增實境(AR)之一頭戴裝置及用於成像一真實環境及判定一使用者正面對的一面對方向之一感測器配置，其中該頭戴裝置經組態以： 在一虛擬模式中顯示一虛擬場景且提供對應之虛擬音訊給該使用者； 在一本端模式中展示該真實環境且提供對應之真實音訊給該使用者；及 回應於偵測到一真人且取決於該真人之位置及該使用者正面對的該面對方向，而從該虛擬模式切換至該本端模式。

該虛擬場景係一遠端場景。其可係用真實攝影機所擷取但在遠離該使用者之位置（因此，從該使用者之視點而言係虛擬的）的一真實世界場景，或其可係在軟體中建立的一非真實世界場景/虛擬化身。應據此理解用語「虛擬場景(virtual scene)」。當使用者穿戴VR/AR頭戴裝置時，其視覺及聽覺感官通常無法完全意識到其周圍的真實環境。因此，提議當偵測到一真人（在真實環境中）時，在一本端模式中展示真實環境。當將該真人偵測為在使用者之視覺視場內或附近（即，使用者正面對該真人時）時，可展示真實環境。儘管穿戴AR/VR頭戴裝置，此仍然允許使用者與真人互動。該面對方向對應於該使用者頭部之定向，亦即，其正在注視的方向（相對於臉部平面之法向方向）。

在第一實例中，該頭戴裝置能夠實現擴增實境(AR)。在此情況下，該AR頭戴裝置之鏡片可經組態以在該虛擬模式中顯示該虛擬場景，且接著在該本端模式中轉成透明，以允許該使用者看到該真實環境（例如，猶如其等穿戴的是正常眼鏡）。

在第二實例中，該頭戴裝置能夠實現虛擬實境(VR)。在此情況下，該VR頭戴裝置之螢幕可經組態以在該虛擬模式中顯示該虛擬場景，且在該本端模式中將如由該感測器配置所成像的該真實環境顯示給該使用者。

該虛擬場景例如包括具有其自身的頭戴裝置但位於與該使用者不同之空間位置處的另一使用者。因此，該使用者可使用虛擬實境與該系統的一遠端其他使用者交流，且可在該本端模式中與一本端真人交流。交流取決於該使用者正面對（亦即，在虛擬空間中朝向該遠端其他使用者，在真實空間中朝向該本端真人）的方向。

該頭戴裝置例如允許3D、360度、功能性，藉此該使用者可環視四周，真實使用者可在不同空間位置，包括高處。

該頭戴裝置可經組態以取決於在偵測到該真人之一第一方向與該使用者之該面對方向之間的角度，而從該虛擬模式切換至該本端模式。例如，當在該使用者之該面對方向與從該使用者的該真人之方向之間的角度低於一第一臨限角度時，該頭戴裝置從習知虛擬模式切換至展示該真實環境的一本端模式。

該頭戴裝置可進一步經組態以在一轉變模式中將該虛擬場景之一部分及該真實環境之一部分顯示給該使用者，其中從該虛擬模式切換至該本端模式包含：回應於在該第一方向與該使用者之該面對方向之間的該角度係介於一第一臨限角度與一第二較大臨限角度之間，而從該虛擬模式切換至該轉變模式；及回應於在該第一方向與該使用者之該面對方向之間的該角度小於該第一臨限角度，而從該轉變模式切換至該本端模式。

該轉變模式使得在從該虛擬模式轉變至該本端模式期間，該使用者能夠看到該虛擬場景及該真實環境兩者之一部分。例如，此可向使用者示意附近有一真人，同時仍能夠看到該虛擬場景之一部分。

同時，該轉變模式不需要大量運算資源，因為在該轉變模式期間由該頭戴裝置顯示的影像僅是在該虛擬場景與該真實環境之間的分割。換言之，在該轉變模式中，該虛擬世界及該真實環境係並排地放置。

當然，該虛擬場景與該真實環境之間的邊界可能被模糊化。

在該轉變模式中，在顯示給該使用者的該虛擬場景之該部分與顯示給該使用者的該真實環境之該部分的一比率可取決於在該第一方向與該使用者之該面對方向之間的該角度。

例如，在該轉變模式中，該虛擬部分與該真實部分之該比率可隨著該使用者轉動朝向該真人而變化，使得隨著該使用者越接近該真人（亦即，在該第一方向與該使用者之該面對方向之間的該角度變小），便展示越多該真實環境。

該頭戴裝置可進一步經組態以：識別在從該使用者之一參考方向上出現在該虛擬場景及該真實環境兩者中的一共同參考物體；拼接在該共同參考物體周圍的該虛擬場景及如由該感測器配置所擷取之該真實環境，以產生一轉變影像；及在該轉變模式中顯示該轉變影像。

此提供在該虛擬模式與該本端模式之間的一更自然轉變。另外，在該虛擬場景中之該共同參考物體的存在可在該虛擬模式中將該真實環境之資訊提供給該使用者。

該虛擬場景包含在相對於該使用者之一第二方向上的一虛擬物體，且該第一臨限角度可取決於在該第二方向與該使用者之該面對方向之間的該角度。

例如，該使用者可與呈虛擬人物形式之一虛擬物體（其出現在該虛擬場景中）及一真人進行電話會議。因此，取決於該使用者之該面對方向，該使用者可與該虛擬人物及該真人兩者互動。

例如，該第一臨限角度可等於在該虛擬物體之該第二方向與該使用者之該面對方向之間的角度。因此，當該使用者之該面對方向比該虛擬物體更接近該真人時，該頭戴裝置從該虛擬模式切換至該本端模式。

該頭戴裝置可經組態以僅在若該第二方向與該使用者之該面對方向之間的該角度大於一第三臨限角度時從該虛擬模式切換至該本端模式。

此在當該真人及該虛擬物體（例如，在電話會議中之虛擬人物）皆相對接近時，提供該虛擬模式之一顯示優先順序。例如，該第三臨限角度可等於或類似於該虛擬物體之角度大小。

該頭戴裝置可進一步經組態以：判定如由該感測器配置所成像的該真實環境之色彩特性；及基於該真實環境之該等色彩特性而調適該虛擬場景。

此使得該頭戴裝置能夠調適該虛擬場景之該等色彩特性，以匹配該真實環境之光特性。因此，該虛擬模式與該本端模式之間的切換將對於該使用者而言更加自然。

類似方法可與音訊一起使用。該頭戴裝置可進一步經組態以判定該真實環境之音訊特性，並基於該真實環境之該等音訊特性而調適該虛擬音訊。

當然，使用VR頭戴裝置時，基於該虛擬場景之該等色彩特性來調適如在該VR頭戴裝置上顯示的該真實環境之該等色彩特性係可行的。

本發明亦提供一種用於藉由使用用於成像一真實環境及判定一使用者正面對的一面對方向之一感測器配置來控制能夠實現虛擬實境(VR)及/或擴增實境(AR)之一頭戴裝置的方法，該方法包含： 在一虛擬模式中在該頭戴裝置上顯示一虛擬場景且提供對應之虛擬音訊給該使用者； 在一本端模式中展示該真實環境且提供對應之真實音訊給該使用者；及 回應於偵測到一真人且取決於該真人之位置及該使用者正面對的該面對方向，而從該虛擬模式切換至該本端模式。

從該虛擬模式切換至該本端模式可取決於在偵測到該真人之一第一方向與該使用者之該面對方向之間的角度。

該方法可進一步包含在一轉變模式中將該虛擬場景之一部分及該真實環境之一部分顯示給該使用者。從該虛擬模式切換至該本端模式可包含：回應於在該第一方向與該使用者之該面對方向之間的該角度係介於該第一臨限角度與一第二較大臨限角度之間，而從該虛擬模式切換至該轉變模式；及回應於在該第一方向與該使用者之該面對方向之間的該角度小於一第一臨限角度，而從該轉變模式切換至該本端模式。

在該轉變模式中，在顯示給該使用者的該虛擬場景之該部分與顯示給該使用者的該真實環境之該部分的一比率可取決於在該第一方向與該使用者之該面對方向之間的該角度。

該方法可進一步包含：識別在從該使用者之一參考方向上出現在該虛擬場景及該真實環境兩者中的一共同參考物體；拼接在該共同參考物體周圍的該虛擬場景及如由該感測器配置所擷取之該真實環境，以產生一轉變影像；及在該轉變模式中顯示該轉變影像。

該虛擬場景可包含在相對於該使用者之一第二方向上的一虛擬物體。該方法可包含僅在若該第二方向與該使用者之該面對方向之間的該角度大於一第三臨限角度時從該虛擬模式切換至該本端模式。

本發明亦提供一種包含電腦程式碼之電腦程式載體，當該等電腦程式碼在一處理系統上執行時，使該處理系統執行上述方法的所有步驟。

本發明的此等及其他態樣將參考下文描述的（多個）實施例闡明且將係顯而易見的。

將參考圖式描述本發明。

應該理解到，詳細說明與特定實例雖然指示了設備、系統、與方法的例示性實施例，但僅意圖用於說明的目的，而不意圖限制本發明的範圍。從以下描述、所附申請專利範圍、與附圖，將更佳地理解本發明的設備、系統、與方法的這些與其他特徵、態樣、與優點。應該理解到，圖式僅是示意性的，且未按比例繪製。也應該理解到，整個圖式使用相同的元件符號來表示相同或相似的部分。

本發明提供一種系統，其包含能夠實現虛擬實境(VR)及/或擴增實境(AR)之一頭戴裝置、及用於成像真實環境及判定一使用者正面對的一面對方向之一感測器配置。該頭戴裝置經組態以在一虛擬模式中顯示一虛擬場景且提供對應之虛擬音訊給該使用者。該頭戴裝置亦經組態以在一本端模式中展示該真實環境且提供對應之真實音訊給該使用者。回應於偵測到一真人且取決於其位置及該面對方向，該頭戴裝置從該虛擬模式切換至該本端模式。

穿戴頭戴裝置的使用者與真人之間在相同房間中的自然通訊並非一件微不足道的小事情。此問題繪示在圖2及圖3中。

圖2繪示與虛擬人物204及真人208互動的使用者202。使用者202穿戴VR頭戴裝置100以與虛擬人物204通訊。在此情況下，使用者202實體上位於與虛擬人物204不同的位置（例如，在虛擬會議期間）。因此，頭戴裝置100允許使用者202與虛擬人物204通訊，猶如虛擬人物204位於與使用者202相同的房間中。只要使用者202面對某一方向，便將看到及聽到在頭戴裝置100上顯示的虛擬場景中之虛擬人物204。當使用頭戴裝置100時，虛擬人物204之所擷取視訊可呈現為立體視訊給使用者202，甚至可允許頭部運動視差。此最後一個選項取決於擷取虛擬人物204之攝影機擷取系統。

類似地，使用者202之頭部運動亦可用以演現源自虛擬人物204之語音的正確且更沉浸的聲音。例如，此可藉由使用使用者之頭部定向（例如藉由頭戴裝置100所測量）以選擇用於雙耳(binaural)演現之頭部相關轉移函數(Head Related Transfer Function)來實現。

然而，由於頭戴裝置100的緣故，使用者202被完全關在虛擬世界內。其視覺及聽覺感官無法意識到其周圍的真實世界。使用者202將必須取下頭戴裝置100，才能返回真實世界。具體而言，當使用者202想要和與使用者202位於相同實體房間的真人208通訊時，取下頭戴裝置100並非特別實用的解決方案。

因此，提議將來自虛擬場景之內容及來自真實環境之內容的混合填入使用者202之VR頭戴裝置100的視埠，其中此混合取決於使用者202相對於真人208的幾何組態。此外，該混合可取決於使用者202相對於虛擬人物204（或在虛擬場景中之任何虛擬物體）的幾何組態。因此，在穿戴頭戴裝置時，使用者202可更容易與真人208及遠端虛擬人物204通訊。

具體而言，幾何組態係基於使用者202之定向（亦即，使用者正面對的方向）。例如，若使用者的觀看/面對方向與朝向虛擬人物204相比更朝向真人208，則頭戴裝置100可自動切換至頭戴裝置100上的本端模式（其展示真實環境/世界且提供在使用者202周圍的對應之本端音訊）。具體而言，頭戴裝置100可基於在面對方向206與真人208相對於使用者之方向210（亦即，所謂的第一方向210）之間的角度，而在虛擬模式（其展示虛擬場景且提供對應之虛擬音訊）與本端模式之間切換。例如，在圖2中，使用者202正面對虛擬人物204，且角度係約90度。

圖3展示在轉動朝向真人208之後的圖2之使用者202。因此，在面對方向206與真人208相對於使用者202之第一方向210之間的角度302小於在圖2中的角度。例如，當角度302小於在面對方向206與虛擬人物204相對於使用者202之第二方向304之間的角度時，頭戴裝置100可切換至本端模式。當角度302小於預定臨限（例如，45度）時，頭戴裝置100亦可切換至本端模式。一般而言，切換至本端模式係發生在第一臨限角度下。

亦可加入其他條件，以供頭戴裝置切換至本端模式。例如，條件可為真人208正面對使用者202（或正往接近使用者的方向上注視）。

在本端模式中，將來自真實世界的音訊提供給使用者202（例如，從頭戴裝置100上的麥克風）。同時，在遠端/虛擬模式中，將來自虛擬場景的音訊提供給使用者202（例如，來自虛擬人物204的語音）。本端音訊及虛擬音訊可經由安裝至由使用者202所穿戴之頭戴裝置100的頭戴耳機或換能器(transducer)提供給使用者。

圖2及圖3已以二維(2D)繪示。然而，應瞭解本文中所論述之概念亦適用於三維(3D)之情況。在此等情況下，可考慮兩個角度。例如，可考慮垂直角度（例如，當真人相對於使用者而升高）以及水平角度（例如，角度302）。在3D情形中，面對方向206、第一方向210、及第二方向304亦以3D提供。

圖4繪示在頭戴裝置100上顯示至圖2及圖3之使用者202的影像402、406、及410。影像402展示虛擬場景404，影像406展示在虛擬場景404與真實世界408之影像之間的影像分割，且影像410展示真實世界408。換言之，影像402係在虛擬模式中在頭戴裝置上顯示的影像之實例，且影像410係在本端模式中在頭戴裝置上展示的影像之實例。

亦可提供轉變模式，其包含由頭戴裝置使用以使虛擬模式與本端模式之間的轉變平滑的模式，且警示圖2及圖3之使用者202附近有真人208，而無需將使用者202從虛擬場景404完全移除。影像406係在轉變模式中在頭戴裝置上顯示的影像之實例。在轉變模式中，由頭戴裝置顯示的影像406係在虛擬場景204之一部分與真實世界208之一部分之間的分割。此不需要顯著的運算資源。

在當面對方向與第一方向之間的角度係介於該第一臨限角度與一第二較大臨限角度之間時，頭戴裝置可首先從虛擬模式切換至轉變模式。例如，頭戴裝置可在90度與45度之間切換至轉變模式，接著當該角度小於45度時，切換至本端模式。當然，該第一臨限角度及該第二臨限角度之特定角度可取決於特定使用情況，且可取決於虛擬人物相對於使用者之方向而變化。

虛擬實境頭戴裝置可具有例如120度之大視場。因此，在圖2及圖3中的使用者202遠離虛擬人物204朝向真人208之小幅度頭部旋轉應已使得真人208係可見的。為了達成此，當使用者202轉動遠離虛擬人物204朝向真人208時，可在使用者202之單一視埠影像（亦即，影像406）中組合本端及遠端視覺資料。當使用者202轉動朝向真人208時，頭戴裝置上之視埠可逐漸地填入由例如安裝在頭戴裝置上之攝影機所擷取的資料。

在影像406中，虛擬場景404與真實世界408在視埠中被水平地分割（亦即，在不同水平位置處的區域之間存在垂直轉變），其導致驟然轉變。為了讓使用者產生虛擬人物204與真人208實際上存在於單一空間中的印象，當使用VR頭戴裝置時，硬轉變可被模糊化或以其他方式融合。演算法可藉由以下來達成此：藉由水平地定位虛擬場景及真實世界之影像來建立一視埠圖片，其具有取決於使用者之觀看方向的垂直轉變；及在該垂直轉變周圍以固定寬度之一帶對該視埠影像進行低通濾波或融合。

第二濾波步驟有效地建立從虛擬場景至真實世界的逐漸色彩變化（例如，經由來自頭戴裝置之本端攝影機影像）。由於包含虛擬場景之遠端視訊擷取及本端頭戴裝置攝影機皆可產生立體視訊，因此可針對左眼及右眼影像分開地進行該融合。

亦可使用深度資訊在3D空間中進行該融合。遠端及本端擷取系統皆能夠擷取或計算虛擬場景及/或真實世界的一或多個深度圖。使用此等深度圖，本端與遠端影像資料之間的拼接可基於影像及深度圖。例如，若遠端場景及本端場景皆含有被人就坐之桌子，則可將此桌子選擇作為共同3D參考平面，且可將拼接之接縫定位使得其至少落於該桌子上。

圖5展示在轉變模式中具有作為共同參考物體之桌子的轉變影像500。在轉變模式期間，遠端桌子508a逐漸融合至本端桌子508b。在此情況下，本端及遠端影像均係立體的。因此，接縫/轉變506亦可係立體的。可使用深度圖實行立體正確性。此提供在展示虛擬場景之遠端影像502與展示真實世界之本端影像504之間的平滑轉變。

用於立體上正確之拼接（通常稱為3D拼接）的已知技術一般用於使用多個輸入攝影機來產生180度或360度視訊。在此實例中，拼接涵蓋一會議桌。此桌子可能在遠端（亦即，遠端桌子508a）及本端（亦即，本端桌子508b）情況下係可見的，且很可能具有類似的幾何形狀及顏色。在此情況下，將幾何形狀及顏色融合。接著使用幾何形狀以重新演現針對拼接區域之左眼及右眼影像。

若遠端影像502及本端影像504在空間及/或比例上不匹配，則可首先在「拼接」區域中計算深度轉變（融合），以在桌子之不同比例與高度之間轉變。基於經融合之深度圖，可針對融合區域計算新的立體影像。

圖6繪示與虛擬人物204及真人208互動之使用者202，其中虛擬人物204與真人208重疊。可能不允許虛擬人物204及真人208覆蓋視埠之相同區，且因此兩者應在使用者202的水平視場中分開。例如，角距的有用值可係90、60、或45度。

然而，在諸如圖6所示之情況下，虛擬人物204或真人208中之一者可被給定優先順序。例如，第三臨限角度可經定義，使得若在使用者之面對方向206與第二方向之間的角度小於第三臨限角度，則不使用本端模式。

在圖6中，展示對應於虛擬人物204之視場(FOV) 602。第三臨限角度可經定義為FOV 602之一半，使得當使用者202未正直接注視虛擬人物204時，允許切換至本端模式的發生。當然，第三臨限角度可大於或小於FOV 602之一半。

虛擬場景及本端場景之光條件可實質上不同，使得遠端影像與本端影像之間的轉變更加明顯。可使用本端擷取影像的色彩統計資料來將全域色彩空間轉換施加至傳入的遠端視訊。類似地，可使用傳入遠端視訊的色彩統計資料來將色彩空間轉換施加至本端擷取影像。

在轉變模式期間，可啟動或增強「聲透傳(hear-through)」模式，使得一旦使用者轉動以面對真人時，將來自真實世界的音訊提示以增加的強度混入。此意謂，當使用者之頭部從（大約）面對虛擬人物旋轉朝向面對真人208時，在一經組合聲音信號中增加真實世界音訊信號的相對強度。為了實現本端及遠端聲音之完全控制，使用者較佳地穿戴封閉式頭戴耳機，其中一或多個外部麥克風安裝在頭戴裝置或頭戴耳機上。雙耳音訊可用以演現遠端使用者之聲音。應注意，對於真人之雙耳演現，需要至少兩個麥克風，較佳地安裝在接近使用者之左耳及右耳的頭戴裝置之外部處。當使用者實質上正面對虛擬人物時，取決於使用者之頭部相對於虛擬人物的定向，選擇對應於（在面對方向與第一方向之間的）所測量角度的針對左耳及右耳之適當的頭部相關轉移函數(HRTF)。

有各種判定面對方向之方式。例如，此可藉由使用頭部追蹤器或使用頭戴裝置上之攝影機來達成。

此外，可考量虛擬人物之位置。例如，當虛擬人物向左移動而使用者不移動時，可修改該角度，其導致對應於在真實世界中相同效果的雙耳體驗。

類似於視訊體驗，可藉由在來自遠端及本端位置之音訊信號之間施加交叉淡化(cross fading)來將硬音訊轉變模糊化。較佳地，交叉淡化係使得在使用者正面對虛擬人物之情況下存在來自真人的一些音訊洩漏，使得其能夠獲得使用者之注意。反之亦然，在使用者正面對真人之情況下，較佳地，存在來自虛擬人物的一些音訊洩漏。

亦所欲的是將增益控制施加至遠端及本端音訊中任一者或兩者，以提供音訊信號位準的無縫轉變。

在虛擬人物的位置處之室內聲學可與使用者及真人的位置處之室內聲學實質上不同。取決於使用情況，可係所欲的是在演現虛擬人物及真人兩者時採用遠端及本端環境之聲學（例如，殘響分量），或者允許在不同室內聲學之間的無縫切換。

例如，在使用者沉浸在遊戲情境中且與屬於該遊戲情境之部分的虛擬人物互動之情況下，可係所欲的是當使用者轉動朝向真人時維持遠端環境之聲學。在此情況下，使用者可容易地切換回遠端環境，而不會實質上損失沉浸體驗。

在與本端及遠端參與者進行電話會議之情況下，可係所欲的是在演現本端及遠端使用者兩者時採用本端環境之室內聲學。

在本端及遠端聲學皆相關的情境下，例如當涉及藝術表達（例如音樂表演）時，可係所欲的是提供兩個環境之間的無縫切換。

在多個遠端及/或本端使用者之情況下，亦可施加遠端及本端模式之間的切換。對於真人，視覺及音訊提示可匹配真實世界的視覺及音訊提示。然而，對於虛擬/遠端人員，其等位置（及相對位置）可經適當地選擇以適配現實或所欲布局。例如，虛擬人物不應與真人重合。將來自一個位置的虛擬人物與真人交錯亦係非所欲的，反之亦然。

在一些情況下，將（本端地或遠端地）形成一群組之人員交錯亦係非所欲的，因為該群組中之人員可彼此交談。視訊之縮放/音訊信號之衰減可用以產生距離，以容納更多人。亦可使用特定HRTF距離參數來演現音訊，其比信號之直接衰減更加真實。

已基於虛擬人物之存在來描述以上實例。然而，切換至本端模式而無需識別虛擬人物相對於使用者的方向係可行的，因為切換至本端模式（或切換至轉變模式）可僅取決於在使用者之面對方向與第一方向之間（在使用者與真人之間）的角度來進行。

當然，應瞭解任何虛擬物體（包括虛擬人物）可用於本文所述之方法中。

具有通常知識者將能夠輕易地發展用於實行本文描述之任何方法的處理器。因此，流程圖的各步驟可表示由處理器執行的不同動作，且可藉由該處理器的各別模組執行。

如上文所論述，系統使用處理器以執行資料處理。處理器可使用軟體及/或硬體以許多方式實施，以執行所需的各種功能。處理器一般採用可使用軟體（例如，微碼）程式化以執行所需功能的一或多個微處理器。處理器可實施為用以實行一些功能的專用硬體、及一或多個經程式化微處理器、及執行其他功能的關聯電路系統的組合。

可使用在本揭露的各種實施例中的電路系統的實例包括，但不限於，習知微處理器、特殊應用積體電路(ASIC)、及現場可程式化閘陣列(FPGA)。

在各種實施方案中，處理器可與一或多個儲存媒體關聯，諸如揮發性及非揮發性電腦記憶體，諸如RAM、PROM、EPROM、及EEPROM。儲存媒體可編碼有一或多個程式，當該一或多個程式在一或多個處理器及/或控制器上執行時執行所需功能。各種儲存媒體可係固定在處理器或控制器內或可係可轉移的，使得可將儲存於其上的一或多個程式載入至處理器中。

電腦程式載體可包含相對永久的儲存裝置（例如，硬碟、固態硬碟等）且/或可包含暫時載體（例如，位元流等）。

在實踐所主張的發明時，所屬技術領域中具有通常知識者可藉由研究圖式、本揭露、及所附申請專利範圍而理解與實現所揭示之實施例的變化。在申請專利範圍中，詞語「包含(comprising)」不排除其他元素或步驟，且不定冠詞「一(a)」或「一(an)」不排除複數個。

由處理器實施的功能可藉由單一處理器或藉由多個分開的處理單元而實施，多個分開的處理單元可一起被視為構成「處理器」。此類處理單元可在一些情況下遠離彼此，且以有線或無線方式彼此通訊。

在相互不同的附屬項中所敘述的某些測量的這一事實並未指示此等測量之組合無法用以得利。

電腦程式可儲存/分布在合適的媒體上，諸如光學儲存媒體或固態媒體，其連同其他硬體來供應或作為其他硬體的部分，但亦可以其他形式來分布，諸如經由網際網路或其他有線或無線電信系統。

若用語「經調適以(adapted to)」使用在申請專利範圍或說明書中，應注意用語「經調適以(adapted to)」意圖等效於用語「經組態以(configured to)」。若用語「配置(arrangement)」使用在申請專利範圍或說明書中，應注意用語「配置(arrangement)」意圖等效於用語「系統(system)」，且反之亦然。

申請專利範圍中的任何元件符號不應解釋為限制範圍。

100:頭戴裝置 102:殼體 104:感測器 106:條帶 202:使用者 204:虛擬人物；虛擬場景 206:面對方向 208:真人；真實世界 210:方向；第一方向 302:角度 304:第二方向 402:影像 404:虛擬場景 406:影像 408:真實世界 410:影像 500:轉變影像 502:遠端影像 504:本端影像 506:接縫/轉變 508a:遠端桌子 508b:本端桌子 602:視場(FOV)

為更佳地瞭解本發明，並更清楚顯示可如何使其生效，現在將僅通過實例方式來參考隨附圖式，其中： ［圖1］展示透傳式頭戴裝置之實例； ［圖2］繪示與虛擬人物及真人互動的使用者； ［圖3］展示在轉動朝向真人之後的圖2之使用者； ［圖4］繪示在頭戴裝置上顯示至圖2及圖3之使用者的影像； ［圖5］展示在轉變模式中具有作為共同參考物體之桌子的轉變影像；及 ［圖6］繪示與虛擬人物及真人互動的使用者，其中虛擬人物與真人重疊。

100:頭戴裝置

202:使用者

204:虛擬人物

206:面對方向

208:真人

210:方向；第一方向

302:角度

304:第二方向

Claims (12)

1. 一種系統，其包含能夠實現虛擬實境(VR)及/或擴增實境(AR)之一頭戴裝置(100)及用於成像一真實環境及判定一使用者(202)正面對的一面對方向之一感測器配置(104)，其中該頭戴裝置經組態以： 在一虛擬模式中顯示一虛擬場景(404)且提供對應之虛擬音訊給該使用者； 在一本端模式中展示該真實環境(408)且提供對應之真實音訊給該使用者； 在一轉變模式中將該虛擬場景之一部分及該真實環境之一部分顯示給該使用者；及 回應於偵測到一真人(208)且取決於該真人之位置及該使用者正面對的該面對方向(206)，且進一步取決於在偵測到該真人之一第一方向與該使用者之該面對方向之間的角度(302)，而從該虛擬模式切換至該本端模式， 其中從該虛擬模式切換至該本端模式包含： 回應於在該第一方向與該使用者之該面對方向之間的該角度係介於一第一臨限角度與一第二較大臨限角度之間，而從該虛擬模式切換至該轉變模式；及 回應於在該第一方向與該使用者之該面對方向之間的該角度小於該第一臨限角度，而從該轉變模式切換至該本端模式。
2. 如請求項1之系統，其中在該轉變模式中，在顯示給該使用者的該虛擬場景之該部分與顯示給該使用者的該真實環境之該部分的一比率取決於在該第一方向與該使用者之該面對方向之間的該角度。
3. 如請求項1或2之系統，其中該頭戴裝置進一步經組態以： 識別在從該使用者之一參考方向上出現在該虛擬場景及該真實環境兩者中的一共同參考物體(508)； 拼接在該共同參考物體周圍的該虛擬場景及如由該感測器配置所擷取之該真實環境，以產生一轉變影像(406, 500)；及 在該轉變模式中顯示該轉變影像。
4. 如請求項1至3中任一項之系統，其中該虛擬場景包含在相對於該使用者之一第二方向(304)上的一虛擬物體(204)，且其中該頭戴裝置經組態以僅在若該第二方向與該使用者之該面對方向之間的該角度大於一第三臨限角度時從該虛擬模式切換至該本端模式。
5. 如請求項1至3中任一項之系統，其中該虛擬場景包含在相對於該使用者之一第二方向(304)上的一虛擬物體(204)，且其中該第一臨限角度取決於在該第二方向與該使用者之該面對方向之間的該角度。
6. 如請求項5之系統，其中該頭戴裝置經組態以僅在若該第二方向與該使用者之該面對方向之間的該角度大於一第三臨限角度時從該虛擬模式切換至該本端模式。
7. 如請求項1至6中任一項之系統，其中該頭戴裝置進一步經組態以： 判定如由該感測器配置所成像的該真實環境之色彩特性；及 基於該真實環境之該等色彩特性而調適該虛擬場景。
8. 一種用於藉由使用用於成像一真實環境及判定一使用者(202)正面對的一面對方向之一感測器配置(104)來控制能夠實現虛擬實境(VR)及/或擴增實境(AR)之一頭戴裝置(100)的方法，該方法包含： 在一虛擬模式中在該頭戴裝置上顯示一虛擬場景(404)且提供對應之虛擬音訊給該使用者； 在一本端模式中展示該真實環境(408)且提供對應之真實音訊給該使用者； 在一轉變模式中將該虛擬場景之一部分及該真實環境之一部分顯示給該使用者；及 回應於偵測到一真人(208)且取決於該真人之位置及該使用者正面對的該面對方向(206)，且進一步取決於在偵測到該真人之一第一方向與該使用者之該面對方向之間的角度(302)，而從該虛擬模式切換至該本端模式， 其中從該虛擬模式切換至該本端模式包含： 回應於在該第一方向與該使用者之該面對方向之間的該角度係介於一第一臨限角度與一第二較大臨限角度之間，而從該虛擬模式切換至該轉變模式；及 回應於在該第一方向與該使用者之該面對方向之間的該角度小於該第一臨限角度，而從該轉變模式切換至該本端模式。
9. 如請求項8之方法，其中在該轉變模式中，在顯示給該使用者的該虛擬場景之該部分與顯示給該使用者的該真實環境之該部分的一比率取決於在該第一方向與該使用者之該面對方向之間的該角度。
10. 如請求項8或9之方法，其進一步包含： 識別在從該使用者之一參考方向上出現在該虛擬場景及該真實環境兩者中的一共同參考物體(508)； 拼接在該共同參考物體周圍的該虛擬場景及如由該感測器配置所擷取之該真實環境，以產生一轉變影像(406, 500)；及 在該轉變模式中顯示該轉變影像。
11. 如請求項8至10中任一項之方法，其中該虛擬場景包含在相對於該使用者之一第二方向(304)上的一虛擬物體(204)，且其中方法包含僅在若該第二方向與該使用者之該面對方向之間的該角度大於一第三臨限角度時從該虛擬模式切換至該本端模式。
12. 一種包含電腦程式碼之電腦程式載體，當該等電腦程式碼在一處理系統上執行時，使該處理系統執行如請求項8至11中任一項之方法的所有步驟。