TWI830316B - 虛擬實境中的提醒方法及其裝置 - Google Patents
虛擬實境中的提醒方法及其裝置 Download PDFInfo
- Publication number
- TWI830316B TWI830316B TW111128819A TW111128819A TWI830316B TW I830316 B TWI830316 B TW I830316B TW 111128819 A TW111128819 A TW 111128819A TW 111128819 A TW111128819 A TW 111128819A TW I830316 B TWI830316 B TW I830316B
- Authority
- TW
- Taiwan
- Prior art keywords
- reminder
- virtual reality
- level
- reminder message
- sensor
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012790 confirmation Methods 0.000 claims abstract description 32
- 238000004891 communication Methods 0.000 claims abstract description 13
- 230000007613 environmental effect Effects 0.000 claims description 34
- 230000000007 visual effect Effects 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 10
- 210000001508 eye Anatomy 0.000 claims description 10
- 230000001133 acceleration Effects 0.000 claims description 8
- 238000009877 rendering Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 210000003128 head Anatomy 0.000 claims description 4
- 210000005252 bulbus oculi Anatomy 0.000 claims description 3
- 230000005855 radiation Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 12
- 230000003190 augmentative effect Effects 0.000 description 8
- 238000007654 immersion Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 230000004927 fusion Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/24—Reminder alarms, e.g. anti-loss alarms
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Emergency Management (AREA)
- Computational Linguistics (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本發明提供了一種虛擬實境中的提醒方法包含以下步驟：獲取耳機實時採集的環境音頻；提取環境音頻的對象特徵參數；基於對象特徵參數與音頻安全特徵庫的比對產生第一級提醒訊息；響應於耳機與虛擬實境設備的互相通訊，並播放虛擬實境設備所提供的虛擬實境中的情境音頻，將第一級提醒訊息結合至虛擬實境中；響應於設定時間段內的用戶行為資料不符合預設提醒確認行為，使得第一級提醒訊息轉換為第二級提醒訊息。本發明利用耳機獲得的資料對虛擬實境的使用進行個性化的提醒，並通過用戶行為來調整提醒及確認有效性。
Description
本發明涉及電腦應用領域，更明確地說，涉及一種虛擬實境中的提醒方法及其裝置。
耳機的抑制環境噪音功能趨於成熟，即使在嘈雜的環境中，使用者也能沈浸享受到美妙的音頻訊號。同時，虛實結合的技術也日益成熟，耳機將是沈浸式諸多場景使用體驗的必備之一。
然而，虛擬實境的沈浸式會讓使用者容易忽視現實環境周圍警示音而導致危險，也會存在現實中他人呼喚使用者時，使用者無法注意到等問題。
目前，降噪耳機為了避免上述情況的發生，可以設定關閉降噪的條件。例如：透過採集環境音，以音量的平均幅值作為基準，突變即關閉降噪；事先對指定人聲進行錄製，採集環境音識別人聲，匹配即關閉降噪；通過檢測目標對象運動狀態達到預設條件，匹配即關閉降噪。
然而上述方式存在如下缺陷：對指定人聲進行採集，收集對象範圍較小，不在範圍的人呼叫時將無法有效識別；均以簡單的關閉降噪進入通透模式，存在突然性，體驗不佳；提醒後無法及時獲悉提醒有效性，
是單向提醒，無法針對結果做動態升級提醒。
由此，如何利用耳機獲得的資料對虛擬實境的使用進行個性化的提醒，並通過用戶行為來調整提醒及確認有效性，是本領域亟待解決的技術問題。
本發明為了克服上述相關技術存在的缺陷，提供一種虛擬實境中的提醒方法、裝置、系統及相關設備，利用耳機獲得的資料對虛擬實境的使用進行個性化的提醒，並通過用戶行為來調整提醒及確認有效性。
根據本發明的一個方面，提供一種虛擬實境中的提醒方法，包含：獲取耳機實時採集的環境音頻；提取環境音頻的對象特徵參數；基於對象特徵參數與音頻安全特徵庫的比對產生第一級提醒訊息；響應於耳機與虛擬實境設備的互相通訊，並播放虛擬實境設備所提供的虛擬實境中的情境音頻，將第一級提醒訊息結合至虛擬實境中；以及響應於設定時間段內的用戶行為資料不符合預設提醒確認行為，使得第一級提醒訊息轉換為第二級提醒訊息。
在本發明的一些實施例中，於提取環境音頻的對象特徵參數的步驟中，進一步為：根據耳機中的麥克風陣列提取環境音頻的對象特徵參數。對象特徵參數為環境音頻中的對象的對象類型、環境音頻中的對象相對於耳機所在的方向、環境音頻中的對象與耳機之間的距離以及環境音頻中的對象與耳機之間相對的移動速度之至少一者。
在本發明的一些實施例中，音頻安全特徵庫包含第一對象類型庫以及第一危險條件集合。第一對象類型庫用於環境音頻中的對象的對
象類型的提取。第一危險條件集合包含複數個第一危險條件，每一個第一危險條件包含對象特徵參數與危險閾值之間的邏輯關係。
在本發明的一些實施例中，於響應於耳機與虛擬實境設備的互相通訊，並播放虛擬實境設備所提供的虛擬實境中的情境音頻，將第一級提醒訊息結合至虛擬實境中的步驟中，進一步包含以下步驟：控制虛擬實境設備的影像採集模組以採集對象特徵參數所指示的對象的圖像和/或影像；以及將對象特徵參數所指示的對象的圖像和/或影像嵌入至虛擬實境中。
在本發明的一些實施例中，於將對象特徵參數所指示的對象的圖像和/或影像嵌入至虛擬實境中的步驟中，進一步為：將對象特徵參數中的至少一特徵參數嵌入虛擬實境中。
在本發明的一些實施例中，於將對象特徵參數所指示的對象的圖像和/或影像嵌入至虛擬實境中的步驟中，進一步為：將對象特徵參數所指示的對象的圖像和/或影像轉換為虛擬圖像和/或虛擬影像，並將虛擬圖像和/或虛擬影像嵌入至虛擬實境中。
在本發明的一些實施例中，虛擬實境為虛擬現實場景及增強現實場景之其中一者。
在本發明的一些實施例中，於將對象特徵參數所指示的對象的圖像和/或影像嵌入至虛擬實境中的步驟中，進一步包含以下步驟：暫停虛擬實境設備所提供的虛擬實境的播放。
在本發明的一些實施例中，第一級提醒訊息和第二級提醒訊息關聯不同的虛擬圖形和/或渲染參數。
在本發明的一些實施例中，於基於對象特徵參數與音頻安全
特徵庫的比對產生第一級提醒訊息的步驟中，進一步包含以下步驟：基於對象特徵參數與音頻安全特徵庫的比對獲得第一預警結果；基於虛擬實境設備的感測器的感測器特徵參數與感測器安全特徵庫的比對獲得第二預警結果；以及根據第一預警結果以及第二預警結果產生第一級提醒訊息。
在本發明的一些實施例中，虛擬實境設備的感測器為視覺感測器、距離感測器、光感測器、加速感測器、嗅覺感測器及輻射感測器之至少一者。
在本發明的一些實施例中，感測器安全特徵庫包含第二對象類型庫以及第二危險條件集合。第二對象類型庫用以基於感測器所讀取的感測器資料辨識用戶周圍的對象。第二危險條件集合包含複數個第二危險條件，每一個第二危險條件包含至少一感測器所讀取的感測器資料與危險閾值之間的邏輯關係。
在本發明的一些實施例中，設定時間段內的用戶行為資料基於虛擬實境設備的眼球追蹤儀的採集。預設提醒確認行為係用戶眼球朝向對象特徵參數所指示的對象轉動。
在本發明的一些實施例中，設定時間段內的用戶行為資料基於耳機的加速度感測器的採集。預設提醒確認行為係用戶頭部朝向對象特徵參數所指示的對象轉動。
本發明的一些實施例中，設定時間段內的用戶行為資料基於耳機和/或虛擬實境設備的提醒確認控件的採集。預設提醒確認行為為用戶操作提醒確認控件。
本發明還提供一種虛擬實境中的提醒裝置包含：獲取模組，
用以獲取耳機實時採集的環境音頻；提取模組，用以提取環境音頻的對象特徵參數；提醒訊息產生模組，用以基於對象特徵參數與音頻安全特徵庫的比對產生第一級提醒訊息；提醒結合模組，用以響應耳機與虛擬實境設備的互相通訊，播放虛擬實境設備所提供的虛擬實境中的情境音頻，將第一級提醒訊息結合至虛擬實境中；以及提醒訊息確認模組，用以響應於設定時間段內的用戶行為資料不符合預設提醒確認行為，將第一級提醒訊息轉換為第二級提醒訊息。
根據本發明的又一方面，進一步提供一種虛擬實境中的提醒系統，包含：耳機；虛擬實境設備，用以與耳機互相通訊；以及如上所述的虛擬實境中的提醒裝置。
相比現有技術，本發明的優勢在於：通過獲取耳機實時採集的環境音頻，從而能夠提取環境音頻中的對象特徵參數。基於對象特徵參數的分析產生第一級提醒訊息，並將第一級提醒訊息結合至虛擬實境中，以便於在虛擬實境中的用戶能夠直觀獲知和了解所需提醒的情況，提高用戶在使用虛擬實境設備時的安全性和用戶體驗。同時，響應於設定時間段內的用戶行為資料不符合預設提醒確認行為，則將第一級提醒訊息轉換為第二級提醒訊息，以對用戶是否確認提醒訊息進行判斷。本發明可於用戶未確認提醒訊息時，對提醒訊息進行升級，以確保有效的提醒來讓用戶可以避開危險，並且維持虛擬實境體驗的沈浸感。
1:用戶
101:對象類型
102:距離
103:移動速度
104:方向
105:第一級提醒訊息
11:左耳耳機
111:第一對象類型庫
112:第一危險條件集合
12:右耳耳機
21、401:耳機
220、402:虛擬實境設備
221:眼球追蹤儀
S110~S150、S210~S280、S301~S317:步驟
222:視覺感測器
223:距離感測器
224:電源單元
225:儲存單元
226:通訊單元
227:虛擬訊息渲染單元
228:虛實融合現實單元
229:處理器
230:安全範圍
430:提醒訊息產生模組
440:提醒結合模組
450:提醒訊息轉換模組
通過參照圖式詳細描述其具體實施方法，本發明的上述和其他特徵及優點將變得更加明顯。
圖1係繪示根據本發明之一具體實施例的虛擬實境中的提醒方法的流程圖。
圖2係繪示根據本發明之一具體實施例的耳機的功能方塊圖。
圖3係繪示根據本發明之一具體實施例的提取對象特徵參數並產生第一級提醒訊息的示意圖。
圖4係繪示根據本發明之一具體實施例的虛擬實境設備的功能方塊圖。
圖5係繪示根據本發明之一具體實施例的用戶安全範圍的示意圖。
圖6係繪示根據本發明之一具體實施例的將提醒訊息結合至虛擬實境的流程圖。
圖7係繪示根據本發明之一具體實施例的結合有提醒訊息的虛擬實境的示意圖。
圖8係繪示根據本發明之一具體實施例的虛擬實境中的提醒方法的流程圖。
圖9係繪示根據本發明之一具體實施例的虛擬實境中的提醒裝置的功能方塊圖。
現在將參考圖式更全面地描述具體實施方式。然而，具體實施方式能夠以多種形式實施，且不應被理解為限於在此闡述的範例；相反，提供這些實施方式使得本發明將更加全面和完整，並將具體實施方式的構思全面地傳達給本領域的技術人員。所描述的特徵、結構或特性可以以任何合適的方式結合在一個或更多實施方式中。
此外，圖式僅為本發明的示意性圖解，並非一定是按比例繪製。圖中相同的圖式標記表示相同或類似的部分，因而將省略對它們的重複描述。圖式中所示的一些方框圖是功能實體，不一定必須與物理或邏輯
上獨立的實體相對應。可以採用軟體形式來實現這些功能實體，或在一個或多個硬體模組或積體電路中實現這些功能實體，或在不同網路和/或處理器裝置和/或微控制器裝置中實現這些功能實體。
圖式中所示的流程圖僅是示例性說明，不是必須包括所有的步驟。例如，有的步驟還可以分解，而有的步驟可以合併或部分合併，因此，實際執行的順序有可能根據實際情況改變。
圖1係繪示根據本發明之一具體實施例的虛擬實境中的提醒方法的流程圖。虛擬實境中的提醒方法包含以下步驟：步驟S110：獲取耳機實時採集的環境音頻。步驟S120：提取環境音頻的對象特徵參數。步驟S130：基於對象特徵參數與音頻安全特徵庫的比對產生第一級提醒訊息。步驟S140：響應於耳機與虛擬實境設備的互相通訊，並播放虛擬實境設備所提供的虛擬實境中的情境音頻，將第一級提醒訊息結合至虛擬實境中。步驟S150：響應於設定時間段內的用戶行為資料不符合預設提醒確認行為，使得第一級提醒訊息轉換為第二級提醒訊息。本發明先提供對虛擬實境沈浸體驗影響較小的第一級提醒訊息，以維持虛擬實境體驗的沈浸感；若用戶未確認提醒訊息，再提供對虛擬實境沈浸體驗影響較大的第二級提醒訊息，以使得用戶更容易注意到提醒訊息。
在本發明各實施例中，虛擬實境包括但不限於虛擬現實場景、增強現實場景、元宇宙場景等。
在本發明各實施例中，對象可以指實體物品如車輛、自行車、電動車等，也可以指由實體物品發出的特定聲音，如：車輛引擎聲音、輪胎聲音、自行車鈴聲等，本發明並非以此為限制。
下面參見圖2，圖2係繪示根據本發明之一具體實施例的耳機的功能方塊圖。用戶1佩戴左耳耳機11和右耳耳機12。左耳耳機11和右耳耳機12分別包括麥克風陣列、儲存器、控制器、電池、振動器、音頻發聲器、加速感測器、輸入/輸出模組以及喇叭，以向用戶1提供音頻播放功能。左耳耳機11和右耳耳機12的麥克風陣列可以用於採集用戶1周圍的環境音頻。由於麥克風陣列係以陣列形式布置有多個麥克風，因此，根據麥克風陣列中麥克風之間的位置關係、麥克風接收到環境音頻中聲源的時間差，可以計算獲得聲源相對於耳機的方向、距離。根據聲源持續的變化，還可以計算獲得聲源的移動速度。
結合圖3，圖3係繪示根據本發明之一具體實施例的提取對象特徵參數並產生第一級提醒訊息的示意圖。
基於耳機中的麥克風陣列所提取的環境音頻與第一對象類型庫111中對象的音頻特徵的比對，可以獲得聲源的對象類型101。基於麥克風陣列中麥克風之間的位置關係以及接收到聲源的時間差，可以計算獲得聲源與用戶之間的距離102、方向104以及移動速度103。基於對象類型101、距離102、方向104以及移動速度103與第一危險條件集合112中的第一危險條件的匹配可以產生第一級提醒訊息105。第一危險條件集合112中可以包含多個第一危險條件，每個第一危險條件包含對象特徵參數與危險閾值之間的邏輯關係。例如，第一危險條件可以是當對象類型101為車輛時，車輛與用戶(耳機)之間的距離逐漸縮小到低於10公尺，且車輛的移動速度大於0時，產生第一級提醒訊息105。
下面參見圖4，圖4係繪示根據本發明之一具體實施例的虛擬
實境設備的功能方塊圖。
如圖4所示，耳機21和虛擬實境設備220互相通訊。虛擬實境設備220可以包括多個感測器，諸如眼球追蹤儀221、視覺感測器222、距離感測器223等。虛擬實境設備220還可以包括光感測器、加速感測器、嗅覺感測器、輻射感測器中的一個或多個感測器。進一步地，上述感測器可以整合在虛擬實境設備220內，也可以整合於與虛擬實境設備220互相通訊的其他穿戴設備上。虛擬實境設備220還可以包括電源單元224、儲存單元225、通訊單元226、虛擬訊息渲染單元227、虛實融合現實單元228以及處理器229。其中，各單元與處理器229連接以由處理器229控制。電源單元224用以向各單元供電。儲存單元225用以儲存感測器所採集的感測器資料以及其他需要的參數。通訊單元226用於虛擬實境設備220與耳機21以及其他設備之間的通訊連接。虛擬訊息渲染單元227用以在虛擬實境中顯示虛擬訊息。虛實融合現實單元228用以在虛擬實境中顯示實景圖像/影像。
在上述實施例中，由於虛擬實境設備以及相關的穿戴設備上設置有多種不同的感測器，從而在本發明的一具體實現中，還可結合耳機的音頻資料的預警結果以及感測器的感測器資料的預警結果產生第一級提醒訊息。
在本實施例中，感測器安全特徵庫可以包含第二對象類型庫以及第二危險條件集合。第二對象類型庫用於基於感測器所讀取的感測器資料辨識用戶周圍的對象。第二危險條件集合包含多個第二危險條件，每個第二危險條件包含至少一個感測器所讀取的感測器資料與危險閾值之間的邏輯關係。例如，基於視覺感測器獲得的影像資料，若根據影像資料與
第二對象類型庫匹配，確定影像資料中出現車輛。第二危險條件例如為當距離感測器所讀取的車輛與用戶之間的距離小於10公尺，且根據影像資料中車輛位於用戶的行走方向上，車輛的移動速度大於0。當各感測器所讀取的資料符合第二危險條件時，可以產生第二預警結果。
在一些實施例中，第一預警結果和第二預警結果可以分別具有各自的安全等級。第一預警結果和第二預警結果的安全等級一致時，可以直接根據安全等級產生第一級提醒訊息。當第一預警結果和第二預警結果的安全等級不一致時，可以以安全等級較高(更需要進行預警)的預警結果來產生第一級提醒訊息。例如，第一預警結果的安全等級指示當前不需要進行提醒，而第二預警結果的安全等級指示當前需要進行提醒，則根據第二預警結果來產生第一級提醒訊息。因此，感測器所讀取的資料可以輔助耳機採集的音頻資料進行預警的分析和判斷。
下面參見圖5，圖5係繪示根據本發明之一具體實施例的用戶安全範圍的示意圖。
在本實施例中，虛擬實境設備220可以具有360度視覺感測器222。因此，可以通過360度視覺感測器222採集用戶周圍360度的影像資料。根據視覺感測器222採集的影像資料與第二對象類型庫匹配，辨識出位於用戶的安全範圍230內的物體。安全範圍230例如為用戶周圍10公尺的範圍。根據視覺感測器222辨識的物體以及耳機採集的音頻資料對用戶周遭場景進行評估安全等級。當危險物體進入安全範圍，產生第一級提醒訊息。進一步的，還可以根據危險物體的位置，方向，移動速度，利用視覺感測器採集實景內容。如用戶正處於虛擬實境中，可以在虛擬實境中進行虛實結
合顯示提醒訊息。
下面參見圖6，圖6係繪示根據本發明之一具體實施例中將提醒訊息結合至虛擬實境的流程圖。
在實景中，首先執行步驟S210：基於耳機和/或虛擬實境設備的感測器產生第一級提醒訊息。然後執行步驟S220：採集聲源方向的實景影像。步驟S230：將實景影像插入到虛擬實境中。
在虛擬場景中，可以執行步驟S240：產生虛擬的提醒訊息。步驟S250：將虛擬的提醒訊息插入到虛擬實境中。在一些實施例中，可以僅執行步驟S220和步驟S230。在另一些實施例中，可以僅執行步驟S240和步驟S250。在又一些實施例中，步驟S220至步驟S250皆可執行。
步驟S260：用戶可以從其虛擬實境視野中獲得提醒訊息。步驟S270：確認是否提醒成功。若確認提醒成功，可以不再顯示第一級提醒訊息；若確認提醒未成功，則步驟S280：可以將第一級提醒訊息轉換為第二級提醒訊息。第二級提醒訊息可以關閉當前虛擬實境、關閉耳機的聲音、進行語音提醒等，以更顯著的方式提醒用戶可能存在危險。進一步地，第一級提醒訊息和第二級提醒訊息可以關聯不同的虛擬圖形。第一級提醒訊息和第二級提醒訊息也可以關聯不同的渲染參數。第二級提醒訊息的虛擬圖形和渲染參數相較於第一級提醒訊息更為顯著。
在一些實施例中，可以將對象特徵參數中的一個或多個特徵參數嵌入虛擬實境中。例如，可以將對象相對於用戶的方向、距離、速度也一併顯示在虛擬實境中，供用戶參考。如圖7所示，在虛擬實境中嵌入實景影像，並對應顯示實景影像中的對象(如車輛)在用戶後方30公尺，並結合
中央的提醒訊息的虛擬圖形(三角形)進行安全倒數，以提升用戶看到提醒訊息後的緊張感，從而保證用戶安全。
在一些變化例中，可以將對象特徵參數所指示的對象的圖像/影像轉換為虛擬影像/影像，並嵌入至虛擬實境中。
進一步地，根據提醒訊息的不同安全等級，可以提供不同的輔助提醒方式。例如，對於安全等級較低的提醒訊息，可以無需暫停虛擬實境的顯示；對於安全等級較高的提醒訊息，可以暫停虛擬實境的顯示。
在一些實施例中，可以通過設定時間段內的用戶行為資料是否符合預設提醒確認行為來確認提醒是否成功。設定時間段可以按需求而設置。例如，可以為5秒、10秒等。
具體而言，設定時間段內的用戶行為資料基於虛擬實境設備的眼球追蹤儀221的採集，因此，預設提醒確認行為可為用戶眼球朝向對象特徵參數所指示的對象的轉動。換言之，當虛擬實境設備的眼球追蹤儀221採集的用戶眼動資料指示用戶眼球朝向對象特徵參數所指示的對象轉動，則確定提醒成功；反之，判定為提醒不成功。
具體而言，設定時間段內的用戶行為資料是基於耳機的加速度感測器的採集，因此，預設提醒確認行為可為用戶頭部朝向對象特徵參數所指示的對象轉動。換言之，當耳機的加速度感測器採集的用戶頭部朝向對象特徵參數所指示的對象轉動，則確定提醒成功；反之，判定為提醒不成功。
具體而言，設定時間段內的用戶行為資料基於耳機/虛擬實境設備的提醒確認控件的採集，預設提醒確認行為為用戶操作提醒確認控
件。提醒確認控件可以與其他控件併用。例如，提醒確認控件可以與降噪開關控件併用。在未收到提醒訊息時，降噪開關控件供用戶操作進行降噪控制；在收到提醒訊息時，降噪開關控件供用戶操作進行提醒訊息的確認。因此，當用戶確認提醒訊息後，可以主動操作提醒確認控件以確認提醒收到。
下面參見圖8，圖8係繪示根據本發明之一具體實施例的虛擬實境中的提醒方法的流程圖。圖8共示出以下步驟：步驟S301：檢測耳機正在使用。步驟S302：耳機採集環境音頻。步驟S303：提取環境音頻中的對象特徵參數。步驟S304：基於對象特徵參數和音頻安全特徵庫的匹配產生第一預警結果。在步驟S301至步驟S304執行的同時，可以執行步驟S305：獲取虛擬實境設備的感測器的感測器資料。步驟S306：根據感測器資料與感測器安全特徵庫的匹配獲得第二預警結果。在步驟S304獲得第一預警結果，步驟S306獲得第二預警結構之後，執行步驟S307：根據第一預警結果和第二預警結果產生第一級提醒訊息。
步驟S308：判斷耳機使用狀態。步驟S309：判斷耳機處於純聽音樂的使用狀態，則執行步驟S310：暫停音樂播放，並進行語音提示。步驟S311：判斷耳機處於虛擬實境的使用狀態，則執行步驟S312：將提醒訊息以及實景像結合至虛擬實境中。步驟S313：判斷耳機處於語音模式的使用狀態，則執行步驟S314：進行振動並關閉降噪。在提醒後，執行步驟S315：採集用戶行為資料。步驟S316：根據用戶行為資料判斷提醒是否有效，若步驟S316判斷為無效，則執行步驟S317：升級提醒訊息後，並再次執行步驟S316。因此，實現個性化的提醒的同時，基於用戶的提醒確認，
保證用戶使用耳機時的安全。
在本發明的一個實際應用中，當用戶戴著耳機在馬路上晨跑，用戶左後方有自行車按鈴，且有車輛從正後方逐漸駛近。當耳機偵測到自行車按鈴聲，判斷危險等級較低，在不影響用戶使用的情況下，可以進行諸如耳機振動的輕提醒。當耳機偵測到後方有汽車，根據輪胎噪音和引擎聲音，判斷危險等級高，根據耳機正在聽音樂的使用狀態，可以提供暫停和語音提示的提醒訊息。
在本發明的另一個實際應用中，當用戶走在馬路上，佩戴增強現實眼鏡和耳機，沈浸在虛實結合的場景中，現實中有一輛小汽車從用戶後方駛來鳴笛。耳機通過音頻採集辨識出車輛和方位，結合增強現實眼鏡的360視覺感測器辨識出危險場景。增強現實眼鏡根據危險等級立即產生危險提醒場景。例如，可以使得虛擬實境全景顯示為紅色，並顯示用以進行倒數計時的虛擬圖形(例如，按時間依次顯示3秒、2秒、1秒的倒數計時)，同時，在虛擬實境中閃爍顯示後方實景影像。此外，還可以結合耳機進行諸如`”後方30公尺汽車來了，請立即避讓，，的語音提醒。用戶根據提醒立即注意到後方有汽車和鳴笛聲，回頭時，增強現實眼鏡所顯示的前方虛擬場景切換到了後方實景，同時，增強現實眼鏡的眼球追蹤儀追蹤到用戶轉動眼球看到提醒，且用戶回頭時，眼球追蹤儀追蹤到用戶看到了實際的汽車，確認提醒有效。因此，用戶進行了避讓後可以繼續沈浸增強場景，享受增強現實遊戲。
下面參見圖9，圖9係繪示根據本發明之一具體實施例的虛擬實境中的提醒裝置的功能方塊圖。提醒裝置400應用於虛擬實境中，進行提
醒。提醒裝置400包括獲取模組410、提取模組420、提醒訊息產生模組430、提醒結合模組440以及提醒訊息轉換模組450。獲取模組410用以獲取耳機實時採集的環境音頻；提取模組420用以提取環境音頻的對象特徵參數；提醒訊息產生模組430用以基於對象特徵參數與音頻安全特徵庫的比對產生第一級提醒訊息；提醒結合模組440用以響應耳機與虛擬實境設備的互相通訊，並播放虛擬實境設備所提供的虛擬實境中的情境音頻，將第一級提醒訊息結合至虛擬實境中；提醒訊息轉換模組450用以響應於設定時間段內的用戶行為資料不符合預設提醒確認行為，使得第一級提醒訊息轉換為第二級提醒訊息。
在本發明的示例性實施方式的虛擬實境中的提醒裝置中，通過獲取耳機即時採集的環境音頻，從而能夠提取環境音頻中的對象特徵參數，基於對象特徵參數的分析產生第一級提醒訊息，並將第一級提醒訊息結合至虛擬實境中，以便於在虛擬實境中的用戶能夠直觀獲知和了解所需提醒的情況，提高用戶在使用虛擬實境設備時的安全性和用戶體驗。同時，響應於設定時間段內的用戶行為資料不符合預設提醒確認行為，使得第一級提醒訊息轉換為第二級提醒訊息，以對用戶是否確認提醒訊息進行判斷。當用戶未確認提醒訊息時，對提醒訊息進行升級使得用戶更容易注意到提醒訊息(例如，使得提醒訊息的顯示更為醒目、語音播報提醒訊息等)，以確保有效的提醒來讓用戶可以避開危險。
相較於現有技術，本發明的優勢在於：通過獲取耳機實時採集的環境音頻，從而能夠提取環境音頻中的對象特徵參數。基於對象特徵參數的分析產生第一級提醒訊息，並將第一級提醒訊息結合至虛擬實境
中，以便於在虛擬實境中的用戶能夠直觀獲知和了解所需提醒的情況，提高用戶在使用虛擬實境設備時的安全性和用戶體驗。同時，響應於設定時間段內的用戶行為資料不符合預設提醒確認行為，使得第一級提醒訊息轉換為第二級提醒訊息，以對用戶是否確認提醒訊息進行判斷。當用戶未確認提醒訊息時，對提醒訊息進行升級，以確保有效的提醒來讓用戶可以避開危險。同時，本發明先提供對虛擬實境沈浸體驗影響較小的第一級提醒訊息，以維持虛擬實境體驗的沈浸感；若用戶未確認提醒訊息，再提供對虛擬實境沈浸體驗影響較大的第二級提醒訊息，以使得用戶更容易注意到提醒訊息。
本領域技術人員在考慮說明書及實踐這裡公開的發明後，將容易想到本發明的其它實施方案。本申請旨在涵蓋本發明的任何變型、用途或者適應性變化，這些變型、用途或者適應性變化遵循本發明的一般性原理並包括本發明未公開的本技術領域中的公知常識或慣用技術手段。說明書和實施例僅被視為示例性的，本發明的真正範圍和精神由所附的權利要求指出。
S110~S150:步驟
Claims (13)
- 一種虛擬實境中的提醒方法，應用於一提醒裝置，該提醒裝置包括一獲取模組、一提取模組、一提醒訊息產生模組、一提醒結合模組以及一提醒訊息轉換模組，該虛擬實境中的提醒方法包含以下步驟：該獲取模組獲取一耳機實時採集的一環境音頻；該提取模組提取該環境音頻的一對象特徵參數；該提醒訊息產生模組基於該對象特徵參數與一音頻安全特徵庫的比對產生一第一級提醒訊息；該提醒結合模組響應於該耳機與一虛擬實境設備的互相通訊，播放該虛擬實境設備所提供的一虛擬實境中的一情境音頻，並將該第一級提醒訊息結合至該虛擬實境中；以及該提醒訊息轉換模組響應於一設定時間段內的一用戶行為資料不符合一預設提醒確認行為，使得該第一級提醒訊息轉換為一第二級提醒訊息。
- 如申請專利範圍第1項所述的虛擬實境中的提醒方法，其中於該提取模組提取該環境音頻的該對象特徵參數的步驟中，進一步為：該提取模組根據該耳機中的一麥克風陣列提取該環境音頻的該對象特徵參數，其中該對象特徵參數為該環境音頻中一對象的一對象類型、該對象相對於該耳機所在的方向、該對象與該耳機之間的距離以及該對象的移動速度之至少一者。
- 如申請專利範圍第2項所述的虛擬實境中的提醒方法，其中該音頻安全特徵庫包含一第一對象類型庫以及一第一危險條件集合，其中該第一對象類型庫用於該環境音頻中該對象的該對象類型的提取，該第一危險條件集合包含複數個第一危險條件，每一個第一危險條件包含該對象特徵 參數與一危險閾值之間的邏輯關係。
- 如申請專利範圍第1項所述的虛擬實境中的提醒方法，其中於該提醒結合模組響應於該耳機與該虛擬實境設備的互相通訊，播放該虛擬實境設備所提供的該虛擬實境中的該情境音頻，並將該第一級提醒訊息結合至該虛擬實境中的步驟中，進一步為以下步驟：該提醒結合模組控制該虛擬實境設備的一影像採集模組以採集該對象特徵參數所指示的一對象的一圖像和/或一影像；以及該提醒結合模組將該對象特徵參數所指示的該對象的該圖像和/或該影像嵌入至該虛擬實境中。
- 如申請專利範圍第1項所述的虛擬實境中的提醒方法，其中該第二級提醒訊息為暫停該虛擬實境設備所提供的該虛擬實境的播放。
- 如申請專利範圍第1項所述的虛擬實境中的提醒方法，其中該第一級提醒訊息以及該第二級提醒訊息係關聯不同的虛擬圖形和/或渲染參數。
- 如申請專利範圍第1項所述的虛擬實境中的提醒方法，其中於該提醒訊息產生模組基於該對象特徵參數與該音頻安全特徵庫的比對產生該第一級提醒訊息的步驟中，進一步包含以下步驟：該提醒訊息產生模組基於該對象特徵參數與該音頻安全特徵庫的比對獲得一第一預警結果；該提醒訊息產生模組基於該虛擬實境設備的一感測器的一感測器特徵參數與一感測器安全特徵庫的比對獲得一第二預警結果；以及該提醒訊息產生模組根據該第一預警結果以及該第二預警結果產生該第一級提醒訊息。
- 如申請專利範圍第7項所述的虛擬實境中的提醒方法，其中該虛擬實境設備的該感測器為視覺感測器、距離感測器、光感測器、加速感測器、 嗅覺感測器及輻射感測器之至少一者。
- 如申請專利範圍第8項所述的虛擬實境中的提醒方法，其中該感測器安全特徵庫包含一第二對象類型庫以及一第二危險條件集合，該第二對象類型庫用以基於該感測器所讀取的一感測器資料辨識一用戶周圍的一對象，該第二危險條件集合包含複數個第二危險條件，每一個第二危險條件包含至少一該感測器所讀取的該感測器資料與一危險閾值之間的邏輯關係。
- 如申請專利範圍第1項所述的虛擬實境中的提醒方法，其中該設定時間段內的該用戶行為資料基於該虛擬實境設備的一眼球追蹤儀的採集，該預設提醒確認行為係用戶眼球朝向該對象特徵參數所指示的該對象轉動。
- 如申請專利範圍第1項所述的虛擬實境中的提醒方法，其中該設定時間段內的該用戶行為資料基於該耳機的一加速度感測器的採集，該預設提醒確認行為係用戶頭部朝向該對象特徵參數所指示的該對象轉動。
- 如申請專利範圍第1項所述的虛擬實境中的提醒方法，其中該設定時間段內的該用戶行為資料基於該耳機和/或該虛擬實境設備的一提醒確認控件的採集，該預設提醒確認行為為一用戶操作該提醒確認控件。
- 一種虛擬實境中的提醒裝置，包含有：一獲取模組，用以獲取一耳機實時採集的一環境音頻；一提取模組，用以提取該環境音頻的一對象特徵參數；一提醒訊息產生模組，用以基於該對象特徵參數與一音頻安全特徵庫的比對產生一第一級提醒訊息；一提醒結合模組，用以響應於該耳機與一虛擬實境設備的互相通訊，並播放該虛擬實境設備所提供的一虛擬實境中的一情境音頻，將該 第一級提醒訊息結合至該虛擬實境中；以及一提醒訊息轉換模組，用以響應於一設定時間段內的一用戶行為資料不符合一預設提醒確認行為，使得該第一級提醒訊息轉換為一第二級提醒訊息。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210397392.4A CN114999128A (zh) | 2022-04-15 | 2022-04-15 | 虚实场景中的提醒方法、装置、系统及相关设备 |
| CN202210397392.4 | 2022-04-15 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202343440A TW202343440A (zh) | 2023-11-01 |
| TWI830316B true TWI830316B (zh) | 2024-01-21 |
Family
ID=83023664
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111128819A TWI830316B (zh) | 2022-04-15 | 2022-08-01 | 虛擬實境中的提醒方法及其裝置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114999128A (zh) |
| TW (1) | TWI830316B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201928945A (zh) * | 2017-12-27 | 2019-07-16 | 芬蘭商諾基亞科技公司 | 音訊場景處理技術 |
| US20210074068A1 (en) * | 2017-10-22 | 2021-03-11 | Magical Technologies, Llc | Systems, Methods and Apparatuses of Digital Assistants in an Augmented Reality Environment and Local Determination of Virtual Object Placement and Apparatuses of Single or Multi-directional Lens as Portals Between a Physical World and a Digital World Component of the Augmented Reality Environment |
| US20210092232A1 (en) * | 2016-06-10 | 2021-03-25 | Glen A. Norris | Methods and Apparatus to Assist Listeners in Distinguishing Between Electronically Generated Binaural Sound and Physical Environment Sound |
| TW202127916A (zh) * | 2019-11-22 | 2021-07-16 | 美商高通公司 | 用於虛擬實境音訊的聲場調適 |
| TWI749683B (zh) * | 2020-08-04 | 2021-12-11 | 香港商女媧創造股份有限公司 | 互動式陪伴系統及其方法 |
-
2022
- 2022-04-15 CN CN202210397392.4A patent/CN114999128A/zh active Pending
- 2022-08-01 TW TW111128819A patent/TWI830316B/zh active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210092232A1 (en) * | 2016-06-10 | 2021-03-25 | Glen A. Norris | Methods and Apparatus to Assist Listeners in Distinguishing Between Electronically Generated Binaural Sound and Physical Environment Sound |
| US20210074068A1 (en) * | 2017-10-22 | 2021-03-11 | Magical Technologies, Llc | Systems, Methods and Apparatuses of Digital Assistants in an Augmented Reality Environment and Local Determination of Virtual Object Placement and Apparatuses of Single or Multi-directional Lens as Portals Between a Physical World and a Digital World Component of the Augmented Reality Environment |
| TW201928945A (zh) * | 2017-12-27 | 2019-07-16 | 芬蘭商諾基亞科技公司 | 音訊場景處理技術 |
| TW202127916A (zh) * | 2019-11-22 | 2021-07-16 | 美商高通公司 | 用於虛擬實境音訊的聲場調適 |
| TWI749683B (zh) * | 2020-08-04 | 2021-12-11 | 香港商女媧創造股份有限公司 | 互動式陪伴系統及其方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202343440A (zh) | 2023-11-01 |
| CN114999128A (zh) | 2022-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108028957B (zh) | 信息处理装置、信息处理方法和机器可读介质 | |
| US20240146847A1 (en) | Methods and Apparatus to Assist Listeners in Distinguishing Between Electronically Generated Binaural Sound and Physical Environment Sound | |
| CN112913260B (zh) | 基于环境触发条件的自适应anc | |
| CN105700686B (zh) | 一种控制方法及电子设备 | |
| CN109120790B (zh) | 通话控制方法、装置、存储介质及穿戴式设备 | |
| US20200186912A1 (en) | Audio headset device | |
| GB2501768A (en) | Head mounted display | |
| CN113905320B (zh) | 为考虑语音检测而调节声音回放的方法和系统 | |
| US11551659B2 (en) | Systems and methods for communicating information | |
| EP3541068A1 (en) | Head-mountable apparatus and methods | |
| CN109061903B (zh) | 数据显示方法、装置、智能眼镜及存储介质 | |
| CN113194383A (zh) | 一种声音播放方法、装置、电子设备及可读存储介质 | |
| CN114422935B (zh) | 音频处理方法、终端及计算机可读存储介质 | |
| CN106412751B (zh) | 一种可辨别方向的耳机及其实现方法 | |
| JP2020501275A (ja) | 画像処理システムおよび方法 | |
| TWI830316B (zh) | 虛擬實境中的提醒方法及其裝置 | |
| CN107360500A (zh) | 一种声音输出方法和装置 | |
| JP2019197497A (ja) | ヘッドマウントディスプレイシステム、通知制御装置、通知制御方法、及びプログラム | |
| JP7172999B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| TW202107447A (zh) | 頭盔和在其中播放所欲聲音的方法 | |
| US11163522B2 (en) | Fine grain haptic wearable device | |
| EP4124053A1 (en) | Display system and method | |
| CN117729470A (zh) | 耳机控制方法、装置、耳机及存储介质 | |
| KR20240049565A (ko) | 사용자 전기 신호에 기초한 오디오 조정 | |
| KR20240040737A (ko) | 다수의 마이크로폰들로부터의 오디오 신호들의 프로세싱 |