TWI831175B - 虛擬實境提供裝置與音頻處理方法 - Google Patents

虛擬實境提供裝置與音頻處理方法 Download PDF

Info

Publication number
TWI831175B
TWI831175B TW111113556A TW111113556A TWI831175B TW I831175 B TWI831175 B TW I831175B TW 111113556 A TW111113556 A TW 111113556A TW 111113556 A TW111113556 A TW 111113556A TW I831175 B TWI831175 B TW I831175B
Authority
TW
Taiwan
Prior art keywords
user
sound collection
audio
virtual reality
providing device
Prior art date
Application number
TW111113556A
Other languages
English (en)
Other versions
TW202341748A (zh
Inventor
鄭期成
何宜成
Original Assignee
驊訊電子企業股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 驊訊電子企業股份有限公司 filed Critical 驊訊電子企業股份有限公司
Priority to TW111113556A priority Critical patent/TWI831175B/zh
Priority to US17/993,933 priority patent/US20230328473A1/en
Publication of TW202341748A publication Critical patent/TW202341748A/zh
Application granted granted Critical
Publication of TWI831175B publication Critical patent/TWI831175B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/04—Structural association of microphone with electric circuitry therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Stereophonic System (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本發明公開一種虛擬實境提供裝置與音頻處理方法。虛擬實境提供裝置包括：一第一麥克風、一第一影像資訊擷取裝置、一第二影像資訊擷取裝置、一音頻控制器、一影像資訊播放器、一音頻播放器以及一儲存模組。控制器根據一虛擬收音位置取得一第一收音距離以及一第一收音角度。所述控制器根據第一收音距離以及第一收音角度調整第一音頻訊號，以產生一調整後的第一音頻訊號。音頻播放器播放調整後的第一音頻訊號。

Description

虛擬實境提供裝置與音頻處理方法
本發明涉及一種虛擬實境提供裝置與音頻處理方法，特別是涉及一種提供不同麥克風收音音場的虛擬實境提供裝置與音頻處理方法。
目前的虛擬實境提供裝置，主要都是播放錄製好的音頻資訊，無法呈現不同種類麥克風差異與歌唱者的歌唱時手部技巧造成的差異。
因此，如何提供一種具有多種麥克風音頻模組的虛擬實境提供裝置與音頻處理方法，來克服上述的缺陷，已成為該項事業所欲解決的重要課題之一。
本發明所要解決的技術問題在於，針對現有技術的不足提供一種虛擬實境提供裝置，適用於一使用者配戴，所述虛擬實境提供裝置包括：一殼體；一第一麥克風，設置在所述殼體的一側，接收所述使用者的一第一音頻訊號；一控制器，設置在所述殼體中；一音頻控制器，設置在所述殼體中，所述音頻控制器電性連接所述第一麥克風以及所述控制器；一影像資訊播放器，電性連接所述控制器；一音頻播放器，電性連接所述音頻控制器；以及一儲存模組，電性連接所述音頻控制器以及所述影像資訊播放器，所述 儲存模組儲存有麥克風音頻模組；其中，所述控制器根據一虛擬收音位置取得一第一收音距離以及一第一收音角度，所述虛擬收音位置與所述第一麥克風的設置位置不同；其中，所述控制器根據所述第一收音距離以及所述第一收音角度，調整所述第一音頻訊號，以產生一調整後的第一音頻訊號，所述音頻播放器播放所述調整後的第一音頻訊號。
為了解決上述的技術問題，本發明所採用的其中一技術方案是提供一虛擬實境的音頻處理方法，適用於一虛擬實境提供裝置，所述虛擬實境提供裝置具有一第一麥克風及一音頻播放器，包括：透過該第一麥克風接收一使用者的一第一音頻訊號；根據一虛擬收音位置計算一第一收音距離以及一第一收音角度；根據所述第一收音距離以及所述第一收音角度，調整所述第一音頻訊號，以產生一調整後的第一音頻訊號；以及透過所述音頻播放器播放所述調整後的第一音頻訊號。
本發明的其中一有益效果在於，本發明所提供的虛擬實境提供裝置與音頻處理方法，可以根據使用者手部影像資訊或是攜帶式裝置與使用者嘴部的收音距離與收音角度的變化，有效模擬不同麥克風收音音場的收音效果，並且在虛擬實境提供裝置中進行播放。
為使能更進一步瞭解本發明的特徵及技術內容，請參閱以下有關本發明的詳細說明與圖式，然而所提供的圖式僅用於提供參考與說明，並非用來對本發明加以限制。
1,2:虛擬實境提供裝置
10,20:殼體
3:攜帶式裝置
11,21:控制器
12,22:第一麥克風
18:第一影像資訊擷取裝置
19:第二影像資訊擷取裝置
14,24:影像資訊播放器
15,25:音頻控制器
16:音頻播放器
17:儲存模組
COM:第一通訊模組
RA’:收音區域
V1:縱軸
L1:連線
DR1,DR1’:第一收音距離
θ1,θ1’:第一收音角度
23:第一感測器
31:第二感測器
32:第二通訊模組
33:第二控制器
34:第二儲存模組
35:第二電能提供模組
S110-S140:步驟
9:伺服器
26:音頻播放器
27:儲存模組
28:第一影像資訊擷取模組
圖1是本發明第一實施例的虛擬實境提供裝置的示意圖。
圖2是本發明第一實施例的虛擬實境提供裝置的功能方塊圖。
圖3A是本發明第一實施例的第一收音距離以及第一收音角度 的示意圖。
圖3B是本發明第二實施例的第一收音距離以及第一收音角度的另一示意圖。
圖3C是本發明第二實施例的第一收音距離以及第一收音角度的另一示意圖。
圖4是本發明儲存模組中儲存的多個麥克風音頻模組的示意圖。
圖5是本發明第四實施例的虛擬實境提供裝置的示意圖。
圖6是本發明第四實施例的虛擬實境提供裝置的功能方塊圖。
圖7是本發明第四實施例的攜帶式裝置的功能方塊圖。
圖8A是本發明第四實施例的第一收音距離以及第一收音角度的示意圖。
圖8B是本發明第五實施例的第一收音距離以及第一收音角度的示意圖。
圖8C是本發明第六實施例的第一收音距離以及第一收音角度的示意圖。
圖9是本發明第七實施例的音頻處理方法的流程圖。
以下是通過特定的具體實施例來說明本發明所公開有關“虛擬實境提供裝置與音頻處理方法”的實施方式，本領域技術人員可由本說明書所公開的內容瞭解本發明的優點與效果。本發明可通過其他不同的具體實施例加以施行或應用，本說明書中的各項細節也可基於不同觀點與應用，在不背離本發明的構思下進行各種修改與變更。另外，本發明的附圖僅為簡單示意 說明，並非依實際尺寸的描繪，事先聲明。以下的實施方式將進一步詳細說明本發明的相關技術內容，但所公開的內容並非用以限制本發明的保護範圍。另外，本文中所使用的術語“或”，應視實際情況可能包括相關聯的列出項目中的任一個或者多個的組合。
在本發明中，利用設置有一第一麥克風的第一虛擬實境提供裝置，取得一虛擬收音位置。第一麥克風則是用於接收第一音頻訊號。其中，第一麥克風的位置與虛擬收音位置不同。在本發明的實施例中，則可以利用不同方式取得虛擬收音位置。
虛擬實境提供裝置可以根據虛擬收音位置取得一第一收音距離以及一第一收音角度。虛擬實境提供裝置則可以再根據第一收音距離以及第一收音角度，對第一麥克風所接收的第一音頻訊號進行調整，以產生一調整後的第一音頻訊號。再經由虛擬實境提供裝置中的音頻播放器播放調整後的第一音頻訊號。
[第一實施例]
請參閱圖1、圖2，圖1是本發明第一實施例的虛擬實境提供裝置的示意圖。圖2是本發明第一實施例的虛擬實境提供裝置的功能方塊圖。
在本實施例中，提供一種虛擬實境提供裝置1，連接一伺服器9。虛擬實境提供裝置1適用於一使用者配戴。
虛擬實境提供裝置1包括：一殼體10、一控制器11、一第一麥克風12、一影像資訊播放器14、一音頻控制器15、一音頻播放器16、一儲存模組17、一第一影像資訊擷取裝置18、一第二影像資訊擷取裝置19以及一第一通訊模組COM。
第一麥克風12設置在殼體10上，接收使用者的一第一音頻訊號。第一麥克風12可以持續的收錄使用者的多個第一音頻訊號。
在本實施例中，虛擬收音位置是通過第一影像資訊擷取裝置18以及第二影像擷取裝置19擷取使用者的手部的影像資訊以產生。
第一影像資訊擷取裝置18設置在殼體10的一側，偵測使用者的手部的一第一手部影像資訊。第二影像資訊擷取裝置19設置在殼體10的一側，偵測使用者的手部的一第二手部影像資訊。第一手部影像資訊與第二手部影像資訊是擷取使用者同一隻手的同一部位的影像資訊。如此可以通過演算法得到深度資訊，以進行後續的距離計算。
在本實施例中，第一影像資訊擷取裝置18與第二影像資訊擷取裝置19是相鄰設置的。也就是，第一影像資訊擷取裝置18與第二影像資訊擷取裝置19是設置在殼體10的同一側，並設置在適當取得手部影像資訊的位置。此外，當使用者配戴虛擬實境提供裝置1時，使用者的嘴部位置可以經過預估計算而得到，也就是使用者的嘴部的預定位置可以通過配戴虛擬實境提供裝置1取得。
在本實施例中，虛擬實境提供裝置1是利用第一影像資訊擷取裝置18以及第二影像資訊擷取裝置19分別擷取使用者的多個手部影像資訊以取得使用者手部的距離資訊。
音頻控制器15設置在殼體10中。音頻控制器15電性連接第一麥克風12以及控制器11。所述第一麥克風12收錄的多個第一音頻訊號會傳送到音頻控制器15進行處理。
影像資訊播放器14設置在殼體10中。影像資訊播放器14電性連接控制器11，用於播放控制器11提供的各種影像資訊。
控制器11電性連接第一影像資訊擷取裝置18以及第二影像資訊擷取裝置19。控制器11會接收第一影像資訊擷取裝置18以及第二影像資訊擷取裝置19擷取的第一手部影像資訊以及第二手部影像資訊。第一手部影像 資訊以及第二手部影像資訊是使用者的手部的相同部位的不同影像資訊。
在本實施例中，控制器11根據第一手部影像資訊、第二手部影像資訊以及使用者嘴部的一位置資訊，計算使用者嘴部與手部的一第一收音距離以及第一收音角度。第一收音距離以及第一收音角度則是可變動的。也就是，使用者的嘴部與手部的距離是可以根據使用者的動作而調整。
音頻播放器16電性連接音頻控制器15。儲存模組17電性連接控制器11。儲存模組17儲存有多個麥克風音頻模組，提供多種麥克風音頻收音組態。
請參閱圖3A以及圖4，圖3A是本發明第一收音距離以及第一收音角度的示意圖。圖4是本發明儲存模組中儲存的多個麥克風音頻模組的示意圖。
儲存模組17儲存有多個麥克風音頻模組。在本實施例中，儲存模組17例如儲存有5個麥克風音頻模組。使用者可以通過虛擬實境提供裝置1的設定頁面進行選擇。例如：虛擬實境提供裝置1的虛擬場景中的多個按鈕。每個麥克風音頻模組的收音組態都不同，有些麥克風音頻模組的收音音場是心型，有些麥克風音頻模組的收音音場則是槍型。
麥克風音頻模組可以是模擬一動圈式麥克風、一電容式麥克風、或是一駐極體式麥克風的不同收音音場，以取得各種麥克風音頻模組的指向圖(Polar Diagram)、頻率響應(Frequency Response)或是靈敏度(Sensitivity)等麥克風特性資料。
在本實施例中，多個麥克風音頻模組還可以以表格(table)的方式將各個麥克風音頻模組的特性參數儲存在儲存模組17，音頻控制器15可以利用查表的方式進行音頻訊號的調整。
影像資訊播放器14根據手部影像資訊以及第一收音距離，在虛 擬實境提供裝置1中顯示一麥克風影像資訊在使用者的手部影像資訊上。麥克風影像資訊對應儲存模組17中的其中一個麥克風音頻模組。
音頻控制器15則是根據使用者嘴部與手部影像資訊之間的連線L1上的第一收音距離DR1、第一收音角度θ1，調整第一音頻訊號，以產生一調整後的第一音頻訊號。音頻播放器16則是播放調整後的第一音頻訊號。也就是，在圖3A中，以第一手部影像資訊、第二手部影像資訊與使用者嘴部之間的距離進行計算，以調整第一音頻訊號。例如，當虛擬收音位置距離使用者嘴部較遠時，第一音頻訊號的增益則調至較小。或是，當虛擬收音位置距離使用者嘴部較近時，第一音頻訊號的增益則調至較大。
虛擬實境提供裝置1還包括一第一通訊模組COM。第一通訊模組COM電性連接音頻控制器15以及影像資訊播放器14。虛擬實境提供裝置1可以利用第一通訊模組COM連接一伺服器9或是一行動裝置(圖未示)以利用伺服器9或是行動裝置(圖未示)進行顯示或是計算。
在本實施例中，手部影像資訊是一手部握拳影像資訊或是一手部握持物品影像資訊。也就是，使用者的手部可以實握或是虛握。
當音頻播放器16撥放所述調整後的第一音頻訊號時，虛擬實境提供裝置1播放一第一虛擬實境影像資訊，虛擬實境提供裝置1的一評分程式可以根據調整後的第一音頻訊號進行評分。
控制器11、音頻控制器15以及影像資訊播放器14可以是一數位訊號處理器(DSP)、一中央處理器(CPU)、特殊應用積體電路(ASIC)、一圖型處理器(GPU)或是一數位訊號處理器(DSP)。
儲存模組17是一快閃記憶體、一唯讀記憶體、一可規化唯讀記憶體、一電可改寫唯讀記憶體、一可擦可規化唯讀記憶體或是一電可擦可規化唯讀記憶體。
第一通訊模組COM包括一有線通訊單元(圖未示)以及一無線通訊單元(圖未示)。有線通訊單元(圖未示)也可以獨立設置以與伺服器9進行通信連接，接收伺服器9的控制信號或是伺服器9的資料庫中的資料。當第一通訊模組COM是一無線通訊單元時，第一通訊模組COM可以是一Wi-Fi通訊單元、一藍牙通訊單元、一紫蜂通訊單元(Zigbee)、一LoRa通訊單元、一Sigfox通訊單元、一NB-IoT通訊單元或是一利用專用通訊協定2.4G Hz/5G Hz頻譜的預定通訊單元。
[第二實施例]
在本實施例中，也是利用第一實施例的虛擬實境提供裝置1進行音頻訊號調整，因此虛擬實境提供裝置1的結構與功能在此不做贅述。
請參閱圖3B，在本實施例中，虛擬收音位置是根據顯示在虛擬實境提供裝置1中的麥克風影像資訊而獲取。
因此，控制器11可以根據顯示在虛擬實境提供裝置1中的麥克風影像資訊，以計算虛擬實境提供裝置1中的麥克風影像資訊的收音區域RA’與使用者現實中的嘴部位置的第一收音距離DR1’以及第一收音角度θ1’。再提供給音頻控制器15以調整第一音頻訊號。
音頻控制器15根據麥克風影像資訊中的一第一收音區域RA’與使用者現實中的嘴部的一第一收音距離DR1’以及一第一收音角度θ1’調控第一音頻訊號。第一收音距離DR1’是可變動的，第一收音角度θ1’也是可以變動的。第一收音角度θ1’是設置在經過所述收音區域RA’的一縱軸V1與嘴部與收音區域RA’的連線L1之間。影像資訊播放器也就是，在圖3B中，是以虛擬實境提供裝置1中的麥克風影像資訊的第一收音距離DR1’以及第一收音角度θ1’進行調整第一音頻訊號。
[第三實施例]
請參閱圖3C，在本實施例中，也是利用第一實施例的虛擬實境提供裝置1進行音頻訊號調整，因此虛擬實境提供裝置1的結構與功能在此不做贅述。
在本實施例中，虛擬收音位置是根據顯示在虛擬實境提供裝置1中的麥克風影像資訊而獲取。此外，使用者的嘴部位置是根據虛擬環境中的使用者虛擬身體而取得。
控制器11則可以根據顯示在虛擬實境提供裝置1中的麥克風影像資訊以及使用者在虛擬實境提供裝置1中虛擬身體的一嘴部位置，以計算虛擬實境提供裝置1中的麥克風影像資訊的收音區域RA’與使用者虛擬實境中的嘴部位置的第一收音距離DR1’以及第一收音角度θ1’。之後控制器11再提供給音頻控制器15以調整第一音頻訊號。其中，人物以虛線表示，是表示使用者在虛擬實境提供裝置1中的虛擬身體。
[第四實施例]
請參閱圖5、圖6、圖7以及圖8A，圖5是本發明第四實施例的虛擬實境提供裝置的示意圖。圖6是本發明第四實施例的虛擬實境提供裝置的功能方塊圖。圖7是本發明第四實施例的攜帶式裝置的功能方塊圖。圖8A是本發明第四實施例的第一收音距離以及第一收音角度的示意圖。
在本實施例中，虛擬收音位置是利用一攜帶式裝置3而取得。
虛擬實境提供裝置2適用於一使用者配戴。虛擬實境提供裝置2包括一殼體20、一控制器21、一第一麥克風22、一第一感測器23、一影像資訊播放器24、一音頻控制器25、一音頻播放器26、一儲存模組27以及一第一通訊模組COM。
控制器21電性連接音頻控制器25、第一通訊模組COM、第一感測器23、影像資訊播放器24、儲存模組27以及第一影像資訊擷取模組28。 音頻控制器25電性連接音頻播放器26、第一麥克風22、控制器21以及第一通訊模組COM。
攜帶式裝置3包括一第二感測器31以及第二通訊模組32。第二感測器31電性連接第二通訊模組32。在本實施例中，攜帶式裝置3可以是一握持式裝置、一手錶型穿戴式電子裝置或是一智能手機。
攜帶式裝置3還可以包括一第二控制器33、一第二儲存模組34以及一第二電能提供模組35。第二控制器33電性連接第二儲存模組34、第二電能提供模組35以及第二感測器31以及第二通訊模組32。
第一麥克風22設置在殼體20的一側。第一麥克風22接收使用者的一第一音頻訊號。
第一感測器23設置在殼體20中且電性連接控制器21。
控制器21根據第一感測器23以及所述攜帶式裝置3的第二感測器31的訊號傳遞以產生一相對空間關係。控制器21傳送第一感測器23與第二感測器31的相對空間關係給控制器21。第一感測器23與第二感測器31之間的相對空間關係可以例如是：第一感測器23與第二感測器31之間的距離與一參考線的夾角，其可根據兩個感測器的訊號強度進行計算。
也就是，控制器21通過第一通訊模組COM以及第二通訊模組32連接第二感測器31，以判斷第一感測器23與第二感測器31的一相對空間關係。
請參閱圖8A，虛擬收音位置是根據攜帶式裝置3的第二感測器31的位置而取得。也就是，控制器21可以根據第一感測器23與第二感測器31的相對空間關係(第一感測器23與第二感測器31之間的距離與相對位置)，產生一第一收音距離DR1以及一第一收音角度θ1。控制器21再提供第一收音距離DR1以及第一收音角度θ1給音頻控制器25。音頻控制器25根據所述第一收音 距離DR1以及第一收音角度θ1，調整第一音頻訊號，以產生一調整後的第一音頻訊號。第一收音距離DR1是可變動的，第一收音角度θ1也是可以變動的。音頻播放器26則是播放調整後的第一音頻訊號。在本實施例中，第一感測器23與第二感測器31的相對空間關係可以利用第一感測器23與第二感測器31彼此的訊號強度進行計算，或是利用三角定位演算法以進行計算。
控制器21會提供第一感測器23與第二感測器31的相對空間關係(第一收音距離DR1以及第一收音角度θ1)給影像資訊播放器24，以在虛擬實境提供裝置2中，顯示一麥克風影像資訊在攜帶式裝置3的位置。在本實施例中，攜帶式裝置3可以是手持式電子裝置或是手錶式電子裝置。
請參閱圖4，儲存模組27儲存有多個麥克風音頻模組。在本實施例中，儲存模組27儲存有5個麥克風音頻模組。使用者可以通過虛擬實境提供裝置1的設定頁面進行選擇。每個麥克風音頻模組的收音組態都不同，有些麥克風音頻模組的收音音場是心型，有些麥克風音頻模組的收音音場則是槍型。
麥克風音頻模組可以是模擬一動圈式麥克風、一電容式麥克風、或是一駐極體式麥克風的不同收音音場，以取得各種麥克風音頻模組的指向圖(Polar Diagram)、頻率響應(Frequency Response)或是靈敏度(Sensitivity)等麥克風特性資料。
在本實施例中，麥克風影像資訊對應儲存模組27中的其中一個麥克風音頻模組。
接著，音頻播放器26則是播放調整後的第一音頻訊號。
第一通訊模組COM電性連接音頻控制器25以及影像資訊播放器24。虛擬實境提供裝置2利用第一通訊模組COM連接一伺服器9或是一行動裝置(圖未示)，以利用伺服器9或是行動裝置(圖未示)進行顯示或是計算。
當音頻播放器26播放所述調整後的第一音頻訊號時，虛擬實境提供裝置2播放一第一虛擬實境影像資訊，虛擬實境提供裝置2的一評分程式可以根據調整後的第一音頻訊號進行評分。在本實施例中，虛擬實境提供裝置2還包括一第一影像資訊擷取模組28，電性連接控制器21。
控制器21、音頻控制器25以及影像資訊播放器24可以是一中央處理器(CPU)、特殊應用積體電路(ASIC)、一圖型處理器(GPU)或是一微處理器(MCU)。
儲存模組27是一快閃記憶體、一唯讀記憶體、一可規化唯讀記憶體、一電可改寫唯讀記憶體、一可擦可規化唯讀記憶體或是一電可擦可規化唯讀記憶體。
第一通訊模組COM以及第二通訊模組32可以分別包括一有線通訊單元(圖未示)以及一無線通訊單元(圖未示)。有線通訊單元(圖未示)也可以獨立設置以與伺服器(圖未示)進行通信連接，接收伺服器(圖未示)的控制信號或是伺服器(圖未示)的資料庫中的資料。當第一通訊模組COM是一無線通訊單元時，第一通訊模組COM可以是一Wi-Fi通訊單元、一藍牙通訊單元、一紫蜂通訊單元(Zigbee)、一LoRa通訊單元、一Sigfox通訊單元、一NB-IoT通訊單元或是一利用專用通訊協定以及2.4G Hz/5G Hz頻譜的預定通訊單元。
[第五實施例]
在本實施例中，也是利用第四實施例的虛擬實境提供裝置2進行音頻訊號調整，因此虛擬實境提供裝置2以及攜帶式裝置3的結構與功能在此不做贅述。
請參閱圖8B，在本實施例中，虛擬收音位置是根據顯示在虛擬實境提供裝置2中的麥克風影像資訊而取得。而虛擬實境提供裝置2中的麥克 風影像資訊則是根據虛擬收音位置(攜帶式裝置3的第二感測器31的位置)顯示。
因此，控制器21可以根據顯示在虛擬實境提供裝置2中的麥克風影像資訊，以計算虛擬實境提供裝置2中的麥克風影像資訊的收音區域RA’與使用者現實中的嘴部位置的第一收音距離DR1’以及第一收音角度θ1’。再提供給音頻控制器25以調整第一音頻訊號。
音頻控制器25根據麥克風影像資訊中的一第一收音區域RA’與使用者現實中的嘴部的一第一收音距離DR1’以及一第一收音角度θ1’調控第一音頻訊號。第一收音距離DR1’是可變動的，第一收音角度θ1’也是可以變動的。第一收音角度θ1’是設置在經過所述收音區域RA’的一縱軸V1與嘴部與收音區域RA’的連線L1之間。也就是，在圖8B中，是以虛擬實境提供裝置2中的麥克風影像資訊的第一收音距離DR1’以及第一收音角度θ1’進行調整第一音頻訊號。
第一感測器23以及第二感測器31是一陀螺儀感測器、一加速度感測器或其組合。
[第六實施例]
請參閱圖8C，在本實施例中，也是利用第四實施例的虛擬實境提供裝置2進行音頻訊號調整，因此虛擬實境提供裝置2以及攜帶式裝置3的結構與功能在此不做贅述。
在本實施例中，虛擬收音位置是根據顯示在虛擬實境提供裝置1中的麥克風影像資訊而獲取。
控制器21可以根據顯示在虛擬實境提供裝置2中的麥克風影像資訊以及使用者在虛擬實境提供裝置2中虛擬身體的一嘴部位置，以計算虛擬實境提供裝置1中的麥克風影像資訊的收音區域RA’與使用者虛擬實境中的嘴 部位置的第一收音距離DR1’以及第一收音角度θ1’。之後控制器21再提供給音頻控制器25以調整第一音頻訊號。其中，人物以虛線表示，是表示使用者在虛擬實境提供裝置2中的虛擬身體。
[第七實施例]
請參閱圖9，圖9是本發明第七實施例的音頻處理方法的流程圖。
本實施例的音頻處理方法例如適用於第一實施例至第三實施例的虛擬實境提供裝置1以及第四實施例至第六實施例的虛擬實境提供裝置2。
本實施例的虛擬實境的音頻處理方法，包括下列步驟：透過該第一麥克風接收一使用者的一第一音頻訊號(步驟S110)；根據一虛擬收音位置計算一第一收音距離以及一第一收音角度(步驟S120)；根據所述第一收音距離以及所述第一收音角度，調整所述第一音頻訊號，以產生一調整後的第一音頻訊號(步驟S130)；以及透過所述音頻播放器播放所述調整後的第一音頻訊號(步驟S140)。
本實施例中的音頻處理方法適用於第一實施例至第六實施例的虛擬實境提供裝置。當音頻播放器撥放調整後的第一音頻訊號時，虛擬實境提供裝置1播放一虛擬實境影像資訊，虛擬實境提供裝置1、2的一評分程式可以根據調整後的第一音頻訊號進行評分。
[實施例的有益效果]
本發明的其中一有益效果在於，本發明所提供的虛擬實境提供 裝置與音頻處理方法，可以根據使用者手部影像資訊或是攜帶式裝置與使用者嘴部的收音距離與收音角度的變化，有效模擬不同麥克風收音音場的收音效果，並且在虛擬實境提供裝置中進行播放。
以上所公開的內容僅為本發明的優選可行實施例，並非因此侷限本發明的申請專利範圍，所以凡是運用本發明說明書及圖式內容所做的等效技術變化，均包含於本發明的申請專利範圍內。
1:虛擬實境提供裝置
10:殼體
9:伺服器

Claims (19)

  1. 一種虛擬實境提供裝置，適用於一使用者配戴，所述虛擬實境提供裝置包括：一殼體；一第一麥克風，設置在所述殼體的一側，接收所述使用者的一第一音頻訊號；一控制器，設置在所述殼體中；一音頻控制器，設置在所述殼體中，所述音頻控制器電性連接所述第一麥克風以及所述控制器；一影像資訊播放器，電性連接所述控制器；一音頻播放器，電性連接所述音頻控制器；以及其中，所述控制器根據一虛擬收音位置取得一第一收音距離以及一第一收音角度，所述虛擬收音位置與所述第一麥克風的設置位置不同，所述控制器在所述虛擬實境提供裝置中顯示一麥克風影像資訊，所述控制器根據所述麥克風影像資訊取得所述虛擬收音位置；其中，所述控制器根據所述虛擬收音位置以及所述使用者的一嘴部的一位置產生的所述第一收音距離以及所述第一收音角度，調整所述第一音頻訊號，以產生一調整後的第一音頻訊號，所述音頻播放器播放所述調整後的第一音頻訊號。
  2. 如請求項1所述的虛擬實境提供裝置，其中，所述麥克風影像資訊是根據所述使用者的一第一手部影像資訊以及一第二手部影像資訊而設置。
  3. 如請求項1所述的虛擬實境提供裝置，其中，所述虛擬收音位置是可以變動的，所述第一音頻訊號的一增益根據所述虛擬收音位置與所述使用者的所述嘴部的距離而調整。
  4. 如請求項1所述的虛擬實境提供裝置，其中，所述使用者的 所述嘴部位置是現實中所述使用者的一嘴部位置。
  5. 如請求項1所述的虛擬實境提供裝置，其中，所述使用者的所述嘴部位置是所述虛擬實境提供裝置中所述使用者的一嘴部位置。
  6. 如請求項1所述的虛擬實境提供裝置，其中，所述麥克風影像資訊是根據一攜帶式裝置而設置。
  7. 如請求項6所述的虛擬實境提供裝置，其中，所述虛擬收音位置是可以變動的，所述第一音頻訊號的一增益根據所述虛擬收音位置與所述使用者的所述嘴部的距離而調整。
  8. 如請求項6所述的虛擬實境提供裝置，其中，所述使用者的所述嘴部位置是現實中所述使用者的一嘴部位置。
  9. 如請求項6所述的虛擬實境提供裝置，其中，所述使用者的所述嘴部位置是所述虛擬實境提供裝置中所述使用者的一嘴部位置。
  10. 如請求項1所述的虛擬實境提供裝置，還包括一儲存模組，電性連接所述音頻控制器以及所述影像資訊播放器，所述儲存模組儲存有麥克風音頻模組。
  11. 一虛擬實境的音頻處理方法，適用於一虛擬實境提供裝置，所述虛擬實境提供裝置具有一第一麥克風及一音頻播放器，包括：透過該第一麥克風接收一使用者的一第一音頻訊號；根據一虛擬收音位置計算一第一收音距離以及一第一收音角度，所述第一收音距離以及所述第一收音角度至少根據所述虛擬收音位置與所述使用者的一嘴部的一位置而決定，所述虛擬收音位置根據所述虛擬實境提供裝置的一麥克風影像資訊而取得；根據所述虛擬收音位置以及所述使用者的所述嘴部的所述位置產生的所述第一收音距離以及所述第一收音角度，調整所述第 一音頻訊號，以產生一調整後的第一音頻訊號；以及透過所述音頻播放器播放所述調整後的第一音頻訊號。
  12. 如請求項11所述的音頻處理方法，其中，所述麥克風影像資訊是根據所述使用者的一手部與一嘴部的一相對空間關係而設置。
  13. 如請求項11所述的音頻處理方法，其中，所述虛擬收音位置是可以變動的，所述第一音頻訊號的一增益根據所述虛擬收音位置與所述使用者的所述嘴部的距離而調整。
  14. 如請求項11所述的音頻處理方法，其中，所述使用者的所述嘴部的所述位置是現實中所述使用者的一嘴部位置。
  15. 如請求項11所述的音頻處理方法，其中，所述使用者的所述嘴部的所述位置是所述虛擬實境提供裝置中所述使用者的一嘴部位置。
  16. 如請求項11所述的音頻處理方法，其中，所述麥克風影像資訊是根據一攜帶式裝置而設置。
  17. 如請求項16所述的音頻處理方法，其中，所述虛擬收音位置是可以變動的，所述第一音頻訊號的一增益根據所述虛擬收音位置與所述使用者的所述嘴部的距離而調整。
  18. 如請求項16所述的音頻處理方法，其中，所述使用者的所述嘴部位置是現實中所述使用者的一嘴部位置。
  19. 如請求項16所述的音頻處理方法，其中，所述使用者的所述嘴部位置是所述虛擬實境提供裝置中所述使用者的一嘴部位置。
TW111113556A 2022-04-08 2022-04-08 虛擬實境提供裝置與音頻處理方法 TWI831175B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW111113556A TWI831175B (zh) 2022-04-08 2022-04-08 虛擬實境提供裝置與音頻處理方法
US17/993,933 US20230328473A1 (en) 2022-04-08 2022-11-24 Virtual reality providing device and audio processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111113556A TWI831175B (zh) 2022-04-08 2022-04-08 虛擬實境提供裝置與音頻處理方法

Publications (2)

Publication Number Publication Date
TW202341748A TW202341748A (zh) 2023-10-16
TWI831175B true TWI831175B (zh) 2024-02-01

Family

ID=88239068

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111113556A TWI831175B (zh) 2022-04-08 2022-04-08 虛擬實境提供裝置與音頻處理方法

Country Status (2)

Country Link
US (1) US20230328473A1 (zh)
TW (1) TWI831175B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9769584B1 (en) * 2014-06-23 2017-09-19 Glen A. Norris Head-mounted display providing binaural sound to localize at an image during a telephone call
TW202134856A (zh) * 2019-12-12 2021-09-16 美商高通公司 選擇性調整聲音播放
CN113556501A (zh) * 2020-08-26 2021-10-26 华为技术有限公司 音频处理方法及电子设备
US20220030375A1 (en) * 2019-01-08 2022-01-27 Telefonaktiebolaget Lm Ericsson (Publ) Efficient spatially-heterogeneous audio elements for virtual reality

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9769584B1 (en) * 2014-06-23 2017-09-19 Glen A. Norris Head-mounted display providing binaural sound to localize at an image during a telephone call
US20220030375A1 (en) * 2019-01-08 2022-01-27 Telefonaktiebolaget Lm Ericsson (Publ) Efficient spatially-heterogeneous audio elements for virtual reality
TW202134856A (zh) * 2019-12-12 2021-09-16 美商高通公司 選擇性調整聲音播放
CN113556501A (zh) * 2020-08-26 2021-10-26 华为技术有限公司 音频处理方法及电子设备

Also Published As

Publication number Publication date
US20230328473A1 (en) 2023-10-12
TW202341748A (zh) 2023-10-16

Similar Documents

Publication Publication Date Title
CN107967706B (zh) 多媒体数据的处理方法、装置及计算机可读存储介质
CN108008930B (zh) 确定k歌分值的方法和装置
JP5992210B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
US20180123813A1 (en) Augmented Reality Conferencing System and Method
US20180124497A1 (en) Augmented Reality Sharing for Wearable Devices
CN109300485B (zh) 音频信号的评分方法、装置、电子设备及计算机存储介质
KR20140062892A (ko) 운동 서비스를 제공하기 위한 웨어러블 디바이스와 디스플레이 장치 및 이를 포함하는 운동 서비스 제공 시스템과 그 방법
WO2022111168A1 (zh) 视频的分类方法和装置
CN107707825B (zh) 一种全景拍摄方法、移动终端和计算机可读存储介质
CN109448761B (zh) 播放歌曲的方法和装置
CN113365085B (zh) 一种直播视频生成方法及装置
CN109059929A (zh) 导航方法、装置、穿戴式设备及存储介质
CN109224432A (zh) 娱乐应用的操控方法、装置、存储介质及穿戴式设备
CN111338474B (zh) 虚拟对象位姿校准方法及装置、存储介质和电子设备
CN109978996B (zh) 生成表情三维模型的方法、装置、终端及存储介质
CN109145847A (zh) 识别方法、装置、穿戴式设备及存储介质
CN108881544A (zh) 一种拍照的方法及移动终端
CN110913140A (zh) 一种拍摄信息提示方法及电子设备
CN114543313A (zh) 空调控制方法、服务器、空调及用户终端
CN113746983A (zh) 助听方法及装置、存储介质、智能终端
TWI831175B (zh) 虛擬實境提供裝置與音頻處理方法
JP6801657B2 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
CN105509691B (zh) 多传感器组融合的检测方法及支持头部跟踪的环绕声方法
KR20150104588A (ko) 사용 중인 귀에 오디오 신호를 맞추기 위한 시스템
CN111294626A (zh) 歌词显示的方法和装置