TWI731472B - 電子裝置與音量自動調整方法 - Google Patents

電子裝置與音量自動調整方法 Download PDF

Info

Publication number
TWI731472B
TWI731472B TW108141359A TW108141359A TWI731472B TW I731472 B TWI731472 B TW I731472B TW 108141359 A TW108141359 A TW 108141359A TW 108141359 A TW108141359 A TW 108141359A TW I731472 B TWI731472 B TW I731472B
Authority
TW
Taiwan
Prior art keywords
sound
volume
gain
audio
value
Prior art date
Application number
TW108141359A
Other languages
English (en)
Other versions
TW202118544A (zh
Inventor
陳恩芯
吳政澤
李安正
洪英士
Original Assignee
宏碁股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏碁股份有限公司 filed Critical 宏碁股份有限公司
Priority to TW108141359A priority Critical patent/TWI731472B/zh
Priority to US16/826,476 priority patent/US11301202B2/en
Priority to EP20169029.4A priority patent/EP3821962A1/en
Publication of TW202118544A publication Critical patent/TW202118544A/zh
Application granted granted Critical
Publication of TWI731472B publication Critical patent/TWI731472B/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/424—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers
    • H03G3/20—Automatic control
    • H03G3/30—Automatic control in amplifiers having semiconductor devices
    • H03G3/3005—Automatic control in amplifiers having semiconductor devices in amplifiers suitable for low-frequencies, e.g. audio amplifiers
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers
    • H03G3/20—Automatic control
    • H03G3/30—Automatic control in amplifiers having semiconductor devices
    • H03G3/3089—Control of digital or coded signals
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G7/00—Volume compression or expansion in amplifiers
    • H03G7/007—Volume compression or expansion in amplifiers of digital or coded signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A63F2300/6081—Methods for processing data by generating or executing the game program for sound processing generating an output signal, e.g. under timing constraints, for spatialization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

一種音量自動調整方法包含：識別當前遊戲的音訊資料是否包含複數預定聲音類別中之一者；於音訊資料包含複數預定聲音類別中之一者時，根據音訊資料所包含的預定聲音類別得到音量增益；以及根據音量增益調整音訊資料的音量。

Description

電子裝置與音量自動調整方法
本發明係關於音量調整技術，特別是一種自動調整遊戲之音量的電子裝置與音量自動調整方法。
近年來，隨著科技與網路的進步，各式遊戲類型的電子遊戲亦隨之蓬勃發展。在電子遊戲中，電子遊戲的遊戲聲音可用以提升遊戲的互動性，並營造出相應的遊戲氛圍而帶給玩家極強的臨場感。此外，玩家於電子遊戲的過程中，甚至可根據是否出現某些遊戲聲音、某些遊戲聲音的大小來進行相關反應與判斷，以成為遊戲贏家。
舉例而言，在第一人稱射擊遊戲（First-person shooter，FPS）中，玩家可以透過槍聲快速辨別出敵人的關鍵位置和武器種類，以於第一時間找到敵人的準確方位與距離，並給予反擊。因此，在電子遊戲中，玩家能否分辨某些類別的聲音（例如，槍聲、爆炸聲等等）是相當重要的一環。
本發明之一實施例揭露一種音量自動調整方法。音量自動調整方法包含：識別當前遊戲的音訊資料是否包含複數預定聲音類別中之一者；於音訊資料包含複數預定聲音類別中之一者時，根據音訊資料所包含的預定聲音類別得到音量增益；以及根據音量增益調整音訊資料的音量。
本發明之一實施例揭露一種電子裝置。電子裝置包含音訊識別模組以及音訊調整模組。音訊識別模組用以識別當前遊戲的音訊資料是否包含複數預定聲音類別中之一者。於音訊資料包含複數預定聲音類別中之一者時，音訊調整模組用以根據音訊資料所包含的預定聲音類別得到音量增益，並且根據音量增益調整音訊資料的音量。
為使本發明之實施例之上述目的、特徵和優點能更明顯易懂，下文配合所附圖式，作詳細說明如下。
必須了解的是，使用於本說明書中的「包含」、「包括」等詞，是用以表示存在特定的技術特徵、數值、方法步驟、作業處理、元件以及/或組件，但並不排除可加上更多的技術特徵、數值、方法步驟、作業處理、元件、組件，或以上的任意組合。
「第一」、「第二」等詞是用來修飾元件，並非用來表示之間優先順序或先行關係，而僅用來區別具有相同名字的元件。
第1圖為本發明一實施例之電子裝置的方塊示意圖。值得注意的是，為了清楚闡述本發明，第1圖為一簡化的方塊圖，其中僅顯示出與本發明相關之元件。熟悉此項技藝者應了解系統亦可能包含其他元件，用以提供特定之功能。
請參閱第1圖，電子裝置100可用以運行各種軟體、程式，特別是遊戲軟體。此外，使用者可透過電子裝置100啟動遊戲軟體來進行遊戲，並透過遊戲獲得視覺、聽覺等遊戲體驗。在一實施例中，電子裝置100可包含音訊識別模組110以及音訊調整模組120，且音訊調整模組120耦接於音訊識別模組110。電子裝置100可執行本發明任一實施例之音量自動調整方法，以自動針對符合預訂遊戲類型之遊戲中的特定聲音之音量進行適當調整，使得使用者於聽覺上的體驗得以受到優化。
第2圖為本發明一實施例之音量自動調整方法的流程圖。請參閱第1圖與第2圖，在音量自動調整方法之一實施例中，電子裝置100可透過音訊識別模組110識別當前遊戲的音訊資料D1中是否包含複數預定聲音類別中之一者（步驟S10）。在一些實施例中，複數預定聲音類別可包含槍聲、爆炸聲、引擎聲等，但本發明並非僅限於此，預定聲音類別可視使用者欲加強的聲音類別來進行設定。當音訊識別模組110之識別結果為此音訊資料D1中包含複數預定聲音類別中之一者時，電子裝置100可透過音訊調整模組120根據此音訊資料D1中所包含的預定聲音類別得到一音量增益（步驟S20），並且透過音訊調整模組120根據所得到的音量增益去適度調整音訊資料D1的音量（步驟S30）。
如此一來，於當前遊戲中符合預定聲音類別的聲音可被適度調整，例如預定聲音類別的聲音之音量放大，使得使用者於遊戲過程中對於符合預定聲音類別的聲音之掌握度可更高，並且更優化了使用者的遊戲體驗。
在一些實施例中，當電子裝置100中僅運行了一個遊戲時，此遊戲即為所述的當前遊戲。而當電子裝置100中運行了多個遊戲時，其遊戲視窗切換至最上層（Top Most）的遊戲即為所述的當前遊戲。
在一些實施例中，電子裝置100可更包含遊戲偵測模組130，且遊戲偵測模組130耦接於音訊識別模組110。遊戲偵測模組130可用以偵測電子裝置100目前是否運行了任何遊戲。在一些實施態樣中，遊戲偵測模組130可自動啟用偵測功能。在另一些實施態樣中，使用者亦可於應用程式介面控制遊戲偵測模組130之偵測功能的啟用與否。
第3圖為本發明一實施例之音量自動調整方法的流程圖。請參閱第1圖與第3圖，在音量自動調整方法之一實施例中，於步驟S10之前，電子裝置100可先透過遊戲偵測模組130判斷電子裝置100目前是否運行了任何遊戲（步驟S40）。當遊戲偵測模組130判定電子裝置100運行了遊戲時，音訊識別模組110可執行步驟S10以根據電子裝置100所運行之遊戲（可稱為當前遊戲）的音訊資料D1進行識別，以確認當前遊戲的音訊資料D1中是否包含預定聲音類別中之任一者。但本發明並非以此為限。隨著遊戲的遊戲類型之不同，某些預定聲音類別亦可能不會被包含於某些遊戲的音訊資料中。舉例而言，當預定聲音類別為槍聲、爆炸聲及/或引擎聲時，且當前遊戲的遊戲類型為體育類遊戲（Sports Game， SPT）時，當前遊戲的所有音訊資料中便可能不會包含到預定聲音類別中之任一者，而無需對其音訊資料進行任何識別。而倘若當前遊戲的遊戲類型為第一人稱射擊遊戲（First-person shooter，FPS）或賽車競速遊戲（Race Car Game，RCG）等時，當前遊戲的音訊資料便可能包含了預定聲音類別而需要進一步的識別。
因此，音量自動調整方法之另一實施例中，如第4圖所示，當遊戲偵測模組130於步驟S40中判定電子裝置100運行了遊戲時，電子裝置130可更透過遊戲偵測模組130取得當前遊戲的遊戲類型（步驟S51），並且透過遊戲偵測模組130判斷當前遊戲的遊戲類型是否符合預定遊戲類型（步驟S52）。之後，當遊戲偵測模組130判定遊戲類型符合預定遊戲類型時，電子裝置100再接續執行後續步驟，例如執行步驟S10來利用音訊識別模組110根據當前遊戲的音訊資料D1進行識別，以確認此音訊資料D1中是否包含預定聲音類別中之任一者。反之，當遊戲偵測模組130於步驟S52中判定遊戲類型不符合預定遊戲類型時，電子裝置100可不接續執行後續步驟，例如不利用音訊識別模組110對當前遊戲的音訊資料D1進行識別，以避免耗費資源。
在步驟S40之一些實施例中，遊戲偵測模組130可藉由第一提取函式取得電子裝置100中的操作視窗之標題，並且藉由第二提取函式取得操作視窗的程式名稱（process name）。之後，遊戲偵測模組130便可依據所得的標題以及程式名稱和資料庫140中的複數預儲標題和複數預儲程式名稱進行比對，以藉此判斷電子裝置100中目前是否運行了任何遊戲。
在一些實施例中，資料庫140中所儲的複數預儲標題和複數預儲程式名稱可為遊戲偵測模組130於先前藉由第一提取函式與第二提取函式所取得並儲存的，但本發明並非以此為限，在另一些實施例中，亦可由製造商將常用的複數預儲標題和複數預儲程式名稱預先儲存至資料庫140中。此外，複數預儲標題和複數預儲程式名稱可以一對一的表格方式儲存於資料庫140中，如下方表一所示之一範例。 表一
預儲標題 預儲程式名稱
Racing Classics: Drag Race Simulator RacingClassicsDragRaceSimulator.exe
Team Sonic Racing™ TeamSonicRacing™.exe
F1 2018 F12018.exe
Project CARS 2 ProjectCARS2.exe
GTFO GTFO.exe
Splitgate: Arena Warfare SplitgateArenaWarfare.exe
Black Squad BlackSquad.exe
RAGE 2 RAGE2.exe
NBA 2K19 NBA2K19.exe
Vampyr Vampyr.exe
Katana ZERO KatanaZERO.exe
Death Jump DeathJump.exe
在一些實施態樣中，第一提取函數與第二提取函數可為電子裝置100之作業系統所支援的動態連接程式庫（Dynamic Link Library，DLL）中的函數。舉例而言，作業系統為微軟作業系統時，第一提取函數可包含GetForegroundWindow函數、GetWindowTextLength函數、GetWindowText函數、其組合或其他任何適用的函數。第二提取函數可包含GetWindowThreadProcessId函數、GetModuleBaseName函數、其組合或其他任何適用的函數。此外，資料庫140可以表格方式儲存複數預儲標題和複數預儲程式名稱。再者，資料庫140可為雲端資料庫，而以遠端連線方式連接至遊戲偵測模組130。但本發明並非以此為限，資料庫140亦可為本地資料庫而設置於電子裝置100之中。
在步驟S10之一實施例中，音訊識別模組110是利用一選定演算法A1來對音訊資料D1進行識別。在一些實施例中，電子裝置100可更包含效能評估模組150，且效能評估模組150耦接於遊戲偵測模組130與音訊識別模組110之間。效能評估模組150可用以評估電子裝置100的運算效能，並從預設的複數演算法中決定出合適的一演算法來作為音訊識別模組110所用的選定演算法A1，以確保演算法的即時性，並避免對遊戲聲音的輸出造成延遲。
因此，在音量自動調整方法之一實施例中，如第5圖所示，於步驟S10之前，電子裝置100可更利用效能評估模組150評估出電子裝置100當前的運算效能，並根據評估的結果產生出合適的選定演算法A1給音訊識別模組110（步驟S60）。
第6圖為步驟S60之一實施例的流程示意圖。請參閱第6圖，在步驟S60之一實施例中，效能評估模組150可執行第一運算量的第一效能運算以獲得第一運算時間（步驟S61），並且執行第二運算量的第二效能以獲得第二運算時間（步驟S62）。接續，效能評估模組150可根據第一運算時間與第二運算時間以複數演算法中之一者作為測試演算法（步驟S63），並且執行此測試演算法所對應的測試程式以獲得一測試時間（步驟S64）。之後，效能評估模組150可將步驟S64所得的測試時間與預定的測試閥值進行比較（步驟S65）。當測試時間小於測試閥值時，表示此測試演算法對遊戲聲音輸出的延遲影響還在可容忍範圍內，效能評估模組150便可以此測試演算法作為選定演算法A1並且提供給音訊識別模組110（步驟S66）。而當測試時間大於或等於測試閥值時，表示此測試演算法對遊戲聲音輸出的延遲影響已超出容忍範圍，此時效能評估模組150可返回步驟S63中，以重新選定另一個演算法作為測試演算法來再次進行測試。依此類推，效能評估模組150可藉由步驟的重複循環最終決定出選定演算法A1。
在步驟S63之一實施例中，各演算法都具有對應的第一效能運算時間閥值以及第二效能運算時間閥值。效能評估模組150可將步驟S61中所得第一運算時間與某一演算法的第一效能運算時間閥值進行比較，並且將步驟S62中所得第二運算時間與此演算法的第二效能運算時間閥值進行比較，以確認是否以此演算法作為測試演算法。於此，當效能評估模組150判定第一運算時間與第二運算時間皆小於此演算法的第一效能運算時間閥值與第二效能運算時間閥值時，效能評估模組150便以此演算法作為測試演算法。反之，效能評估模組150則接續以另一演算法的第一效能運算時間閥值與第二效能運算時間閥值與第一運算時間與第二運算時間進行比較，以此類推最終決定出測試演算法。
在一些實施例中，步驟S61與步驟S62之順序可互換。第一效能運算可為浮點運算，且第二效能運算可為整數運算。此外，第一運算量可相等於第二運算量，且第一運算量與第二運算量可為使用者或製造商等預設的固定量，但本發明並非以此為限。
在一些實施例中，複數演算法的核心技術分別可包含人工智慧（例如，深層類神經網路）、統計模型（例如，隱藏式馬可夫模型）、集群分析（例如，K-means）等，但本發明並非以此為限。
在步驟S10之一實施例中，音訊識別模組110是利用選定演算法A1對音訊資料D1中的複數音框進行識別。在一些實施例中，電子裝置100可更包含預處理模組160，且預處理模組160耦接於音訊識別模組110。預處理模組160可用以取得當前遊戲的音訊資料D1，並且可對音訊資料D1進行適當的預處理，以確保所提取的音訊資料D1可被有效地分析。
因此，在音量自動調整方法之一實施例中，於步驟S10之前，電子裝置100可利用預處理模組160從前端，例如音訊驅動程式（Audio driver），取得當前遊戲的音訊資料D1（步驟S71），並且自音訊資料D1擷取出複數個音框（步驟S72）。之後，預處理模組160便可對此些音框進行適當地預處理以取得各音框的特徵係數（步驟S73），並輸出經預處理後之各音框的特徵係數給音訊識別模組110（步驟S74），以便步驟S10之執行。需注意的是，第7圖中雖未示出步驟S40、步驟S51、步驟S52，但步驟S40、步驟S51、步驟S52實際上亦可組合於第7圖所示的流程中。
在步驟S72之一實施例中，預處理模組160可每隔一第一數量的取樣點從音訊資料D1中擷取出一第二數量的取樣點來作為一個音框（即一個分析單位）。換言之，預處理模組160所擷取出的此些音框會依序彼此間隔第一數量的取樣點，且各音框包含第二數量的取樣點。在一些實施態樣中，第一數量可為192，且第二數量可為256，但本發明並非以此為限，第一數量、第二數量可分別為其他合適的任意數值。
在步驟S73之一實施例中，預處理可包含利用傅立葉轉換將各音框從時域轉換至頻域。此外，預處理可更包含利用係數轉換，例如梅爾頻率倒譜係數（Mel-Frequency Cepstral Coefficients，MFCCs），將已轉換至頻域的各音框轉成具有代表性的特徵係數，但本發明並非以此為限。
請參閱第1圖至第7圖，在步驟S10之一實施例中，音訊識別模組110可將預處理模組160所產生的各音框之特徵係數餵入效能評估模組150所決定的選定演算法A1，以分別識別音訊資料D1中的各個音框是否包含預定聲音類別。於此，音訊識別模組110可依序以多個音框中之一者作為當前音框，並且識別當前音框中是否包含複數預定聲音類別中之一者。其中，當前音框即為音訊識別模組110正在處理的音框。
在步驟S20之一實施例中，於當前音框包含複數預定聲音類別中之一者時，音訊調整模組120可更取得複數個先前音框與當前音框的複數預估增益值。其中，先前音框是指早於當前音框出現的音框。此外，此些先前音框與當前音框可分別對應到此些預估增益值中之一，並且分別對應到一增益調整係數。於此，音訊調整模組120可透過將各先前音框之預估增益值和各先前音框對應之增益調整係數的乘積以及當前音框之預估增益值和當前音框對應之增益調整係數的乘積全部加總起來，來得到當前音框的音量增益。
在一些實施例中，當前音框的音量增益可以下方的式一來表示：
Figure 02_image001
（式一）
其中，
Figure 02_image003
為當前音框的音量增益，
Figure 02_image005
為增益調整係數，
Figure 02_image007
為第(i-j)個音框的預估增益值。此外， x為列入考量的音框數量。例如， x=5時，表示由目前處理的當前音框再往前考量四個先前音框。
在一些實施例中，由於越近期所觀測到的數值具有越高的代表性，故此些增益調整係數可為一遞增數列（其中，最早出現之先前音框的增益調整係數最小，而當前音框的增益調整係數最大），以藉由漸增方式來調整音量。在一些實施態樣中，此些增益調整係數的總和可為1。
在一些實施例中，若音框中不包含任一預定聲音類別的聲音時，則此音框的預估增益值為0。而若音框中包含任一預定聲音類別的聲音時，則此音框的預估增益值主要相關於其所包含的預定聲音類別。其中，各音框之預估增益值的詳細取得方式將留待後方介紹。
以下，以五個音框（即四個先前音框與當前音框）之一實施例來說明如何計算出當前音框的音量增益，但音框的數量並非以此為限。在一實施例中，各音框與對應之預估增益值、增益調整係數之一實施例可如下方表二所示。 表二
音框 預估增益值 增益調整係數 係數值
G 4 2（槍聲） C 0 0.7
G 3 2（槍聲） C 1 0.2
G 2 0（無） C 2 0.05
G 1 0（無） C 3 0.03
G 0 0（無） C 4 0.02
在本實施例中，音訊調整模組120可將表二的數值帶入式一中而得到當前音框的音量增益為1.8，其詳細計算式如後方所式：
Figure 02_image009
。
在一些實施例中，各預定聲音類別具有對應的平均辨識率以及自訂增益Gcn。其中，平均辨識率之值可在訓練音訊識別模組110的演算法時，餵入測試資料庫（Test Database）來求得。各預定聲音類別之自訂增益Gcn可為預設的增益數值，且使用者可於應用程式介面中設定各預定聲音類別的增益數值。此外，各音框可具有對應的信心分數。此信心分數可由音訊識別模組110在針對第i個音框做識別時產生。
在一些實施例中，於音框（當前音框或先前音框）中包含任一預定聲音類別的聲音時，音訊調整模組120可先將所包含的預定聲音類別之自訂增益Gcn減去1，之後再乘上所包含的預定聲音類別之平均辨識率以及此音框的信心分數，最後再加上1來得到此音框的預估增益值。
在一些實施例中，包含任一預定聲音類別的音框之預估增益值可以下方的式二來表示：
Figure 02_image011
（式二）
其中，
Figure 02_image013
為第i個音框的預估增益值，
Figure 02_image015
為第n個預定聲音類別的平均識別率，
Figure 02_image017
為第i個音框的信心分數，
Figure 02_image019
為第n個預定聲音類別的自訂增益。
在一些實施例中，音訊識別模組110所採用的選定演算法A1不一定會自動產生對應的信心分數，例如當選定演算法A1為以人工智慧或統計模型為核心技術的演算法時，針對每次識別結果都會產生相應的信心分數，而當選定演算法A1為以集群分析為核心技術的演算法時，則預設不會自動產生相應的信心分數。因此，在不會自動產生相應的信心分數之情況下，音訊調整模組120可更透過下方一實施例的式三來計算出信心分數：
Figure 02_image021
（式三）
其中，
Figure 02_image017
為第i個音框的信心分數，
Figure 02_image023
為音訊樣本與第1個預定聲音類別的歐幾里得距離。
在步驟S30之一實施例中，音訊調整模組120可利用S函數（Sigmoid()）根據當前音框的輸入音量值、輸入調整係數、音訊最大輸出值以及步驟S20中所得的音量增益來產生一輸出音量值。之後，音訊調整模組120便可根據S函數所產生的輸出音量值來調整當前音框的音量。其中，音訊最大輸出值是指音訊驅動程式的最大輸出值。例如，電子裝置100之音訊處理器為8位元時，其輸出範圍可為-128到+127，則音訊最大輸出值可為127。此外，輸入調整係數是用以使得S函數的輸出範圍可更符合所需。在一些實施例中，由於S函數的特性，其輸出飽和區約在輸入為
Figure 02_image025
0.5的地方，因此，輸入調整係數可設為0.2（輸出/輸入=1/5=0.2）。
第8圖為步驟S30之一實施例的流程示意圖。請參閱第8圖，在步驟S30之一實施例中，音訊調整模組120可先將音量增益與輸入音量值之乘積除以輸入調整係數與最大輸出值之乘積，以得到一S函數輸入（步驟S31）。接續，利用S函數根據S函數輸入得到一S函數輸出（步驟S32）。為了抵銷S函數的輸出偏移，音訊調整模組120可將步驟S32中所得的S函數輸出減去一位移值（步驟S33）。之後，音訊調整模組120再將減去位移值後的S函數輸出和音訊輸出最大值以及預定常數相乘，以產生輸出音量值（步驟S34），並且音訊調整模組120再根據步驟S34所得的輸出音量值調整當前音框的音量（步驟S35）。
在一些實施態樣中，由於S函數的特性，若輸入為0時，輸出為0.5。因此，步驟S33中的位移值可設定為0.5，以抵銷輸出偏移。此外，由於S函數輸出的最大值為1，並且位移值設定為0.5，因此步驟S34中的預定常數可設定為2。
在一些實施例中，輸出音量值可以下方的式四來表示：
Figure 02_image027
（式四）
其中，
Figure 02_image029
為輸出音量值，
Figure 02_image031
為音訊輸出最大值，
Figure 02_image003
為音量增益，
Figure 02_image033
為輸入音量值，
Figure 02_image035
為輸入調整係數，且
Figure 02_image037
為位移值。
以下，以一實施例來說明輸出音量值的實例演算。在一實施例中，假設輸入音量值為60，音量增益為1.8（可由式二得到），音訊最大輸出值為127，輸入調整係數為0.2且位移值為0.5時，音訊調整模組120可以先得到S函式輸入為4.25（即，
Figure 02_image039
）。接續，音訊調整模組120再將4.25帶入S函數而可得到S函數輸出為0.9859。之後，音訊調整模組120便可將0.9859帶入至完整的式四中，而求得輸出音量值為123.41（即，
Figure 02_image041
）。基於此，可知透過本發明一實施例之音量自動調整方法及其電子裝置處理後，音量可從原先的60調整至123.41。需注意的是，本案的輸出音量值因可利用特殊的計算公式來產生，而更可避免因辨識錯誤或突然放大而造成使用者體驗不佳。
對於本發明任一實施例的音量自動調整方法及其電子裝置而言，任一種維度的遊戲聲音，例如1維（1D）、2維（2D）、三維（3D）等，都可適用。再者，本發明任一實施例的音量自動調整方法及其電子裝置的作用時間點可在遊戲聲音合成之後以及撥放之前作用。此外，本發明任一實施例的音量自動調整方法及其電子裝置的調整主要是依據遊戲聲音中所含的預定聲音類別來調整音量的大小。
在一些實施例中，音訊識別模組110、音訊調整模組120、遊戲偵測模組130、效能評估模組150以及預處理模組160可透過中央處理器（CPU）及/或圖形處理器（GPU）來實現各模組的功能，但本發明並非以此為限。
綜上所述，本發明之實施例提供一種音量自動調整方法及其電子裝置，其可即時對當前遊戲的音訊資料進行分析，並於識別到當前遊戲的音訊資料中包含預定聲音類別時，根據所包含的預定聲音類別得到相應的音量增益並據此適當調整音訊資料的音量，使得使用者於遊戲過程中對於符合預定聲音類別的聲音之掌握度可更高，並更優化了使用者的遊戲體驗。再者，本發明任一實施例之音量自動調整方法及其電子裝置可根據電子裝置當前的運算效能選擇出合適的選定演算法來對音訊資料進行分析。此外，本發明任一實施例之音量自動調整方法及其電子裝置利用特殊的計算公式可避免因辨識錯誤或突然放大而造成使用者體驗不佳。
本發明之實施例揭露如上，然其並非用以限定本發明的範圍，任何所屬技術領域中具有通常知識者，在不脫離本發明實施例之精神和範圍內，當可做些許的更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100           電子裝置 110           音訊識別模組 120           音訊調整模組 130           遊戲偵測模組 140           資料庫 150           效能評估模組 160           預處理模組 A1            選定演算法 D1            音訊資料 Gcn           自訂增益 S10~S74     步驟
第1圖為本發明一實施例之電子裝置的方塊示意圖。 第2圖為本發明一實施例之音量自動調整方法的流程圖。 第3圖為本發明一實施例之音量自動調整方法的流程圖。 第4圖為本發明另一實施例之音量自動調整方法的流程圖。 第5圖為本發明一實施例之音量自動調整方法的流程圖。 第6圖為步驟S60之一實施例的流程示意圖。 第7圖為本發明一實施例之音量自動調整方法的流程圖。 第8圖為步驟S30之一實施例的流程示意圖。
S10~S30     步驟。

Claims (16)

  1. 一種音量自動調整方法，包含：識別一當前遊戲的一音訊資料是否包含複數預定聲音類別中之一者；取得該當前遊戲的該音訊資料；自該音訊資料中擷取複數音框，其中該些音框依序彼此間隔一第一數量的取樣點，各該音框包含一第二數量的該取樣點，其中識別該當前遊戲的該音訊資料之步驟包含以該些音框中之一者作為一當前音框，以及識別該當前音框是否包含該些預定聲音類別中之一者；於該音訊資料包含該些預定聲音類別中之一者時，根據該音訊資料所包含之該預定聲音類別得到一音量增益；及根據該音量增益調整該音訊資料之音量。
  2. 如申請專利範圍第1項所述的音量自動調整方法，更包含：取得該當前遊戲的一遊戲類型；及判斷該遊戲類型是否符合一預定遊戲類型，其中識別該當前遊戲的該音訊資料之步驟係於判斷該遊戲類型符合該預定遊戲類型時執行。
  3. 如申請專利範圍第1項所述的音量自動調整方法，更包含：執行一第一運算量的一第一效能運算，以獲得一第一運算時間； 執行一第二運算量的一第二效能運算，以獲得一第二運算時間；根據該第一運算時間與該第二運算時間以複數演算法中之一者作為一測試演算法；執行該測試演算法所對應的一測試程式，以獲得一測試時間；及於該測試時間小於一測試閥值時，以該測試演算法作為一選定演算法，其中識別該音訊資料之步驟係利用該選定演算法去執行。
  4. 如申請專利範圍第1項所述的音量自動調整方法，其中得到該音量增益之步驟包含：於該當前音框包含該些預定聲音類別中之一者時，取得複數先前音框與該當前音框的複數預估增益值，其中該些先前音框為早於該當前音框的該些音框，且該些先前音框與該當前音框分別對應到一增益調整係數；及將各該先前音框之該預估增益值與對應的該增益調整係數的乘積以及該當前音框之該預估增益值與對應的該增益調整係數的乘積加總以得到該當前音框的該音量增益。
  5. 如申請專利範圍第4項所述的音量自動調整方法，其中該些增益調整係數的總和為1。
  6. 如申請專利範圍第4項所述的音量自動調整方法，其中各該預定聲音類別具有對應的一平均辨識率與一自訂增益，且各該音框具有對應的一信心分數，其中包含該些預定聲音類別中之一者的該先前音框之該預估增益值與該當前音框之該預估增益值係 藉由將該自訂增益減1之後乘以該平均辨識率以及該信心分數並且再加上1來產生，其中不包含該些預定聲音類別中之任一者的該先前音框之該預估增益值為0。
  7. 如申請專利範圍第1項所述的音量自動調整方法，其中根據該音量增益調整該音訊資料之該音量之步驟包含：利用S函數根據該音訊資料中之一當前音框的一輸入音量值、一輸入調整係數、一音訊最大輸出值與該音量增益產生一輸出音量值；及根據該輸出音量值調整該音訊資料中的該當前音框之該音量。
  8. 如申請專利範圍第7項所述的音量自動調整方法，其中產生該輸出音量值之步驟包含：將該音量增益與該輸入音量值之乘積除以該輸入調整係數與該音訊最大輸出值之乘積，以得到一S函數輸入；利用該S函數根據該S函數輸入得到一S函數輸出；將該S函數輸出減去一位移值；及將減去該位移值的該S函數輸出與該音訊最大輸出值及一預定常數相乘，以產生該輸出音量值。
  9. 一種電子裝置，包含：一音訊識別模組，用以識別一當前遊戲的一音訊資料是否包含複數預定聲音類別中之一者；一預處理模組，用以取得該當前遊戲的該音訊資料，並從該音訊資料中擷取出複數音框，其中該些音框依序彼此間隔一第一數量 的取樣點，且各該音框包含一第二數量的該取樣點，以及其中該音訊識別模組係以該些音框中之一者作為一當前音框，並且識別該當前音框是否包含該些預定聲音類別中之一者；及一音訊調整模組，於該音訊資料包含該些預定聲音類別中之一者時，用以根據該音訊資料所包含之該預定聲音類別得到一音量增益，並根據該音量增益調整該音訊資料之音量。
  10. 如申請專利範圍第9項所述的電子裝置，更包含：一遊戲偵測模組，用以取得該當前遊戲的一遊戲類型，並判斷該遊戲類型是否符合一預定遊戲類型，其中該音訊識別模組係於該遊戲偵測模組判斷該遊戲類型符合該預定遊戲類型時對該當前遊戲的該音訊資料進行識別。
  11. 如申請專利範圍第9項所述的電子裝置，更包含：一效能評估模組，用以執行一第一運算量的一第一效能運算以獲得一第一運算時間，並且執行一第二運算量的一第二效能運算以獲得一第二運算時間，該效能評估模組根據該第一運算時間與該第二運算時間以複數演算法中之一者作為一測試演算法，並且執行該測試演算法所對應的一測試程式以獲得一測試時間，其中該效能評估模組於該測試時間小於該測試閥值時以該測試演算法作為一選定演算法，其中該音訊識別模組係利用該選定演算法識別該音訊資料。
  12. 如申請專利範圍第9項所述的電子裝置，其中於該當前音框包含該些預定聲音類別中之一者時，該音訊調整模組更取得複數先前音框與該當前音框的複數預估增益值，其中該些先前音 框為早於該當前音框的該些音框，且該些先前音框與該當前音框分別對應到一增益調整係數，以及該音訊調整模組係將各該先前音框之該預估增益值與對應的該增益調整係數的乘積以及該當前音框之該預估增益值與對應的該增益調整係數的乘積加總起來以得到該當前音框的該音量增益。
  13. 如申請專利範圍第12項所述的電子裝置，其中該些增益調整係數的總和為1。
  14. 如申請專利範圍第12項所述的電子裝置，其中各該預定聲音類別具有對應的一平均辨識率與一自訂增益，且各該音框具有對應的一信心分數，其中包含該些預定聲音類別中之一者的該先前音框之該預估增益值與該當前音框之該預估增益值係該音訊調整模組藉由將該自訂增益減1之後乘以該平均辨識率以及該信心分數並且再加上1來產生，其中不包含該些預定聲音類別中之任一者的該先前音框之該預估增益值為0。
  15. 如申請專利範圍第9項所述的電子裝置，其中該音訊調整模組更利用S函數根據該音訊資料中之一當前音框的的一輸入音量值、一輸入調整係數、一音訊最大輸出值與該音量增益產生一輸出音量值，並且該音訊調整模組係根據該輸出音量值調整該音訊資料中的該當前音框之該音量。
  16. 如申請專利範圍第15項所述的電子裝置，其中該音訊調整模組係將該音量增益與該輸入音量值之乘積除以該輸入調整係數與該音訊最大輸出值之乘積以得到一S函數輸入，並利用該S 函數根據該S函數輸入得到一S函數輸出，該音訊調整模組更將該S函數輸出減去一位移值，並且將減去該位移值的該S函數輸出與該音訊最大輸出值及一預定常數相乘以產生該輸出音量值。
TW108141359A 2019-11-14 2019-11-14 電子裝置與音量自動調整方法 TWI731472B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW108141359A TWI731472B (zh) 2019-11-14 2019-11-14 電子裝置與音量自動調整方法
US16/826,476 US11301202B2 (en) 2019-11-14 2020-03-23 Electronic device and automatic volume-adjustment method
EP20169029.4A EP3821962A1 (en) 2019-11-14 2020-04-09 Electronic device and automatic volume-adjustment method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108141359A TWI731472B (zh) 2019-11-14 2019-11-14 電子裝置與音量自動調整方法

Publications (2)

Publication Number Publication Date
TW202118544A TW202118544A (zh) 2021-05-16
TWI731472B true TWI731472B (zh) 2021-06-21

Family

ID=70285497

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108141359A TWI731472B (zh) 2019-11-14 2019-11-14 電子裝置與音量自動調整方法

Country Status (3)

Country Link
US (1) US11301202B2 (zh)
EP (1) EP3821962A1 (zh)
TW (1) TWI731472B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160078879A1 (en) * 2013-03-26 2016-03-17 Dolby Laboratories Licensing Corporation Apparatuses and Methods for Audio Classifying and Processing
TW201820315A (zh) * 2016-11-21 2018-06-01 法國國立高等礦業電信學校聯盟 改良型音訊耳機裝置及其聲音播放方法、電腦程式
TW201928945A (zh) * 2017-12-27 2019-07-16 芬蘭商諾基亞科技公司 音訊場景處理技術

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7338373B2 (en) * 2002-12-04 2008-03-04 Nintendo Co., Ltd. Method and apparatus for generating sounds in a video game
US7164076B2 (en) * 2004-05-14 2007-01-16 Konami Digital Entertainment System and method for synchronizing a live musical performance with a reference performance
US8826133B2 (en) 2006-03-06 2014-09-02 Razer (Asia-Pacific) Pte. Ltd. Enhanced 3D sound
US8740701B2 (en) * 2009-06-15 2014-06-03 Wms Gaming, Inc. Controlling wagering game system audio
US8629342B2 (en) * 2009-07-02 2014-01-14 The Way Of H, Inc. Music instruction system
US9364750B2 (en) 2009-09-11 2016-06-14 Steelseries Aps Apparatus and method for enhancing a condition in a gaming application
US9067135B2 (en) 2013-10-07 2015-06-30 Voyetra Turtle Beach, Inc. Method and system for dynamic control of game audio based on audio analysis
CN104869524B (zh) 2014-02-26 2018-02-16 腾讯科技（深圳）有限公司 三维虚拟场景中的声音处理方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160078879A1 (en) * 2013-03-26 2016-03-17 Dolby Laboratories Licensing Corporation Apparatuses and Methods for Audio Classifying and Processing
TW201820315A (zh) * 2016-11-21 2018-06-01 法國國立高等礦業電信學校聯盟 改良型音訊耳機裝置及其聲音播放方法、電腦程式
TW201928945A (zh) * 2017-12-27 2019-07-16 芬蘭商諾基亞科技公司 音訊場景處理技術

Also Published As

Publication number Publication date
TW202118544A (zh) 2021-05-16
US11301202B2 (en) 2022-04-12
EP3821962A1 (en) 2021-05-19
US20210149619A1 (en) 2021-05-20

Similar Documents

Publication Publication Date Title
JP7460600B2 (ja) 現在のゲームシナリオに基づくストリーミングゲームのためのグラフィカルオーバレイの実施
Wan et al. Towards audio to scene image synthesis using generative adversarial network
US9077949B2 (en) Content search device and program that computes correlations among different features
US11875807B2 (en) Deep learning-based audio equalization
CN108305643B (zh) 情感信息的确定方法和装置
US11511200B2 (en) Game playing method and system based on a multimedia file
JP2022171662A (ja) ドメイン分類器を使用したニューラルネットワークにおけるドメイン適応のためのシステム及び方法
CN110209869B (zh) 一种音频文件推荐方法、装置和存储介质
JP7086521B2 (ja) 情報処理方法および情報処理装置
US20140067385A1 (en) Sound processing device, sound processing method, and sound processing program
CN109144610B (zh) 音频播放方法、装置、电子装置及计算机可读存储介质
CN109640112B (zh) 视频处理方法、装置、设备及存储介质
JP2022509485A (ja) クロスドメインバッチ正規化を使用したニューラルネットワークにおけるドメイン適応のためのシステム及び方法
CN111147871B (zh) 直播间歌唱识别方法、装置及服务器、存储介质
TWI740315B (zh) 聲音分離方法、電子設備和電腦可讀儲存媒體
US11615814B2 (en) Video automatic editing method and system based on machine learning
CN103793447A (zh) 音乐与图像间语义相识度的估计方法和估计系统
US20160210988A1 (en) Device and method for sound classification in real time
WO2019153382A1 (zh) 智能音箱及播放控制方法
CN115062678A (zh) 设备故障检测模型的训练方法、故障检测方法及装置
WO2019127940A1 (zh) 视频分类模型训练方法、装置、存储介质及电子设备
TWI731472B (zh) 電子裝置與音量自動調整方法
JP6856115B2 (ja) 情報処理方法および情報処理装置
CN113010137B (zh) 电子装置与音量自动调整方法
US20210225408A1 (en) Content Pushing Method for Display Device, Pushing Device and Display Device