JP2024510367A - 音声データ処理方法と装置及びコンピュータ機器とプログラム - Google Patents

音声データ処理方法と装置及びコンピュータ機器とプログラム Download PDF

Info

Publication number
JP2024510367A
JP2024510367A JP2023544240A JP2023544240A JP2024510367A JP 2024510367 A JP2024510367 A JP 2024510367A JP 2023544240 A JP2023544240 A JP 2023544240A JP 2023544240 A JP2023544240 A JP 2023544240A JP 2024510367 A JP2024510367 A JP 2024510367A
Authority
JP
Japan
Prior art keywords
signal processing
result
processing policy
optimization
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023544240A
Other languages
English (en)
Inventor
カオ，ムーヨン
Original Assignee
テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド filed Critical テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド
Publication of JP2024510367A publication Critical patent/JP2024510367A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers without distortion of the input signal
    • H03G3/20—Automatic control
    • H03G3/30—Automatic control in amplifiers having semiconductor devices
    • H03G3/3005—Automatic control in amplifiers having semiconductor devices in amplifiers suitable for low-frequencies, e.g. audio amplifiers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85—Providing additional services to players
    • A63F13/87—Communicating with other players during game play, e.g. by e-mail or chat
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers without distortion of the input signal
    • H03G3/20—Automatic control
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Telephone Function (AREA)
  • Optical Recording Or Reproduction (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Control Of Amplification And Gain Control (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本出願の実施例では音声データ処理方法と装置及びコンピュータ機器とプログラムが開示されており、該方法はゲーム音声モードで、業務アプリケーションのアプリケーション層内の第一前置信号処理ポリシーと関連付けられる信号処理結果を取得し（S101）；信号処理結果に基づいて、アプリケーション層で、端末システム層内の第二前置信号処理ポリシーにおける第二最適化コンポーネントのオンオフ状態を制御し、又は、第一前置信号処理ポリシーにおける第二最適化コンポーネントのオンオフ状態を制御し、第一前置信号処理ポリシーにおいてオンされる第一最適化コンポーネントは第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントとは異なり（S102）；及び、第一ユーザのゲーム音声モードでの上りリンク音声データを得たときに、オンされる第一最適化コンポーネント及びオンされる第二最適化コンポーネントに基づいて上りリンク音声データに対して音声最適化を行うステップ（S103）を含む。

Description

本出願は、2021年01月22日に中国専利局に出願した、出願番号が202110088769．3、発明の名称が「音声データ処理方法、装置、機器及び可読記憶媒体」である中国特許出願に基づく優先権を主張するものであり、その全内容を参照によりここに援用する。
本出願は、コンピュータの技術分野に関し、特に、音声データ処理方法と装置及びコンピュータ機器とプログラムに関する。
今のところ、移動端末（モバイル端末ともいう）を使用する或るユーザ（例えば、ユーザA）がシステム通話モードを通じて他のユーザ（例えば、ユーザB）とシステム通話を行うことができる。例えば、ユーザAは電話通話シナリオで前述のシステム通話モードを通じてユーザBとシステム通話を行う（即ち、電話をかける）ことができる。
よって、該ユーザAが移動端末により或るゲームアプリケーション（例えば、ゲームアプリケーションX）を実行し、かつユーザBとシステム通話を行う（即ち、電話をかける）ときに、該ゲームアプリケーションXのアプリケーション層は往々にして該移動端末の端末システム層のシステム通話モードを共有する必要がある。これに基づいて、該移動端末が該システム通話モードでの音声前置信号処理スキームにおける各信号処理ユニット（即ち、各音声最適化コンポーネント）を無差別にオンにするときに、該アプリケーション層及び該端末システム層は何れも同一の機能類型の信号処理ユニット（即ち、同じ機能を持つ音声最適化コンポーネント）により、収集した該ユーザAの音声に対して音声最適化を行うことができる。これにより、同じ機能を有する音声最適化コンポーネントが繰り返し実行されるという現象が存在するため、システムのオーバーヘッドを増加させることができ、また、複数回の重複処理が原因で音質損傷などの問題が発生し得るため、音声最適化効果を低下させることもできる。
本出願の実施例は、ゲームシナリオにおける音声最適化効果を向上させることができる、音声データ処理方法と装置及びコンピュータ機器とプログラムを提供することを課題とする。
本出願の実施例の一側面によれば、音声データ処理方法が提供され、前記方法はコンピュータ機器により実行され、前記方法は、
ゲーム音声モードで、業務（サービスともいう）アプリケーションのアプリケーション層内の第一前置（pre）信号処理ポリシーと関連付けられる信号処理結果を取得し、そのうち、第一前置信号処理ポリシーには少なくとも１つの第一最適化コンポーネントが含まれ；
信号処理結果に基づいて、アプリケーション層で、端末システム層内の第二前置信号処理ポリシーにおける第二最適化コンポーネントのオンオフ（開閉）状態を制御し、又は、第一前置信号処理ポリシーにおける第一最適化コンポーネントのオンオフ状態を制御し、そのうち、第一前置信号処理ポリシーにおいてオンされる第一最適化コンポーネントは第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントとは異なり；及び
業務アプリケーションに対応する第一ユーザのゲーム音声モードでの上りリンク音声データを取得し、第一前置信号処理ポリシーにおいてオンされる第一最適化コンポーネント及び第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントに基づいて、ゲーム音声モードでの上りリンク音声データに対して音声最適化を行うステップを含む。
本出願の実施例の一側面によれば、音声データ処理方法が提供され、前記方法はコンピュータ機器により実行され、前記方法は、
ゲーム音声モードで、業務アプリケーションのアプリケーション層内の第一前置信号処理ポリシーと関連付けられる信号処理結果を取得し、そのうち、前記第一前置信号処理ポリシーには少なくとも１つの第一最適化コンポーネントが含まれ；及び
前記信号処理結果に基づいて、前記アプリケーション層で、端末システム層内の第二前置信号処理ポリシーにおける第二最適化コンポーネントのオンオフ状態を制御し、そのうち、前記第二前置信号処理ポリシーには少なくとも１つの第二最適化コンポーネントが含まれるステップを含む。
本出願の実施例の一側面によれば、音声データ処理方法が提供され、前記方法はコンピュータ機器により実行され、前記方法は、
ゲーム音声モードで、業務アプリケーションのアプリケーション層内の第一前置信号処理ポリシーと関連付けられる信号処理結果を取得し、そのうち、前記第一前置信号処理ポリシーには少なくとも１つの第一最適化コンポーネントが含まれ；及び
前記信号処理結果に基づいて、端末システム層内の第二前置信号処理ポリシーにおける第二最適化コンポーネントのオンオフ状態を制御し、又は、前記第一前置信号処理ポリシーにおける第一最適化コンポーネントのオンオフ状態を制御し、そのうち、前記第一前置信号処理ポリシーにおいてオンされる第一最適化コンポーネントは前記第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントとは異なるステップを含む。
本出願の実施例の一側面によれば、音声データ処理装置が提供され、前記装置は、
ゲーム音声モードで、業務アプリケーションのアプリケーション層内の第一前置信号処理ポリシーと関連付けられる信号処理結果を取得する処理結果取得モジュールであって、そのうち、第一前置信号処理ポリシーには少なくとも１つの第一最適化コンポーネントが含まれる、処理結果取得モジュール；
信号処理結果に基づいて、アプリケーション層で、端末システム層内の第二前置信号処理ポリシーにおける第二最適化コンポーネントのオンオフ状態を制御し、又は、第一前置信号処理ポリシーにおける第一最適化コンポーネントのオンオフ状態を制御するコンポーネント制御モジュールであって、第一前置信号処理ポリシーにおいてオンされる第一最適化コンポーネントは第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントとは異なる、コンポーネント制御モジュール；及び
業務アプリケーションに対応する第一ユーザのゲーム音声モードでの上りリンク音声データを取得し、第一前置信号処理ポリシーにおいてオンされる第一最適化コンポーネント及び第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントに基づいて、ゲーム音声モードでの上りリンク音声データに対して音声最適化を行う音声最適化モジュールを含む。
本出願の実施例の一側面によれば、音声データ処理装置が提供され、前記装置は、
ゲーム音声モードで、業務アプリケーションのアプリケーション層内の第一前置信号処理ポリシーと関連付けられる信号処理結果を取得する処理結果取得モジュールであって、前記第一前置信号処理ポリシーには少なくとも１つの第一最適化コンポーネントが含まれる、処理結果取得モジュール；及び
前記信号処理結果に基づいて、前記アプリケーション層で、端末システム層内の第二前置信号処理ポリシーにおける第二最適化コンポーネントのオンオフ状態を制御するコンポーネント制御モジュールであって、前記第二前置信号処理ポリシーには少なくとも１つの第二最適化コンポーネントが含まれる、コンポーネント制御モジュールを含む。
本出願の実施例の一側面によれば、音声データ処理装置が提供され、前記装置は、
ゲーム音声モードで、業務アプリケーションのアプリケーション層内の第一前置信号処理ポリシーと関連付けられる信号処理結果を取得する処理結果取得モジュールであって、前記第一前置信号処理ポリシーには少なくとも１つの第一最適化コンポーネントが含まれる、処理結果取得モジュール；及び
前記信号処理結果に基づいて、端末システム層内の第二前置信号処理ポリシーにおける第二最適化コンポーネントのオンオフ状態を制御し、又は、前記第一前置信号処理ポリシーにおける第一最適化コンポーネントのオンオフ状態を制御するコンポーネント制御モジュールであって、前記第一前置信号処理ポリシーにおいてオンされる第一最適化コンポーネントは前記第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントとは異なる、コンポーネント制御モジュールを含む。
本出願の実施例の一側面によれば、コンピュータ機器が提供され、それは処理器及び記憶器を含み、
処理器は記憶器に接続され、記憶器にはコンピュータプログラムを記憶しており、コンピュータプログラムは処理器により実行されるときに、該コンピュータ機器に、本出願の実施例で提供される方法を実行させる。
本出願の実施例の一側面によれば、コンピュータ可読記憶媒体が提供され、コンピュータ可読記憶媒体にはコンピュータプログラムが記憶されており、該コンピュータプログラムは処理器によりロードされ実行されることで、該処理器を有するコンピュータ機器に、本出願の実施例で提供される方法を実行させる。
本出願の実施例の一側面によれば、コンピュータプログラムプロダクト又はコンピュータプログラムが提供され、該コンピュータプログラムプロダクト又はコンピュータプログラムはコンピュータ命令を含み、該コンピュータ命令はコンピュータ可読記憶媒体に記憶されており、コンピュータ機器の処理器はコンピュータ可読記憶媒体から該コンピュータ命令を読み取り、該処理器は該コンピュータ命令を実行することで、該コンピュータ機器に、本出願の実施例で提供される方法を実行させる。
本出願の実施例では、コンピュータ機器（例えば、移動端末）はゲーム音声モードで、信号処理結果に基づいて、アプリケーション層で、端末システム層内の第二前置信号処理ポリシーにおける第二最適化コンポーネント（即ち、第二前置信号処理ポリシーにおける音声最適化コンポーネント）のオン及びオフを制御し、又は、第一前置信号処理ポリシーにおける第一最適化コンポーネント（即ち、第一前置信号処理ポリシーにおける音声最適化コンポーネント）のオン及びオフを制御でき、そのうち、理解できるように、第一前置信号処理ポリシーにおいてオンされる第一最適化コンポーネントは第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントとは異なる。これによって、分かるように、本出願の実施例では次のようなことが提案されており、即ち、前述の信号処理結果（即ち、同じ機能を持つ音声最適化コンポーネントのそれぞれに対応するアルゴリズムの比較結果）に基づいて、アプリケーション層で端末システム層における１つ又は複数の音声最適化コンポーネントのオン又はオフを制御することで、同じ最適化機能を有する音声最適化コンポーネントがアプリケーション層又は端末システム層で実行されるようにさせることができ、このようにして、上りリンク音声データの音質損傷を根本的に減少させることができる。理解できるように、ここでは端末システム層においてオン又はオフされる第二最適化コンポーネントの数及び類型について限定しない。また、コンピュータ機器は第一ユーザのゲーム音声モードでの上りリンク音声データを得るときに、異なる機能を有する第一最適化コンポーネント及び第二最適化コンポーネントに基づいて、ゲーム音声モードでの上りリンク音声データに対して音声最適化を迅速に行うことができるため、音質損傷を低減させながら、ゲームシナリオにおける音声最適化効果を向上させる。
本出願の実施例で提供されるネットワークアーキテクチャの構成を示す図である。 本出願の実施例で提供される業務モードの分割を示す図である。 本出願の実施例で提供される音声データ処理のフローチャートである。 本出願の実施例で提供される、ゲームシナリオで音声インタラクションを行うシナリオを示す図である。 本出願の実施例で提供される音声データ処理方法のフローチャートである。 本出願の実施例で提供されるテストリストのシナリオを示す図である。 本出願の実施例で提供される、音質パラメータと関連付けられる最適信号処理ポリシーを決定するシナリオを示す図である。 本出願の実施例で提供される、音声前置信号処理スキームにおける各音声最適化コンポーネントのオン及びオフを制御するシナリオを示す図である。 本出願の実施例で提供される音声データ処理方法を示す図である。 本出願の実施例で提供されるリソース設定インターフェースのシナリオを示す図である。 本出願の実施例で提供される、異なる類型の言語のダブルトークサービスを提供するのためのフローチャートである。 本出願の実施例で提供されるもう１つの音声データ処理方法のフローチャートである。 本出願の実施例で提供されるもう１つの音声データ処理方法のフローチャートである。 本出願の実施例で提供される音声データ処理装置の構成を示す図である。 本出願の実施例で提供されるコンピュータ機器の構成を示す図である。
本出願で提供される各実施例は単独で実現されも良く、任意の組み合わせにより新しい実施例として実現されても良く、そのすべては本出願の保護の範囲に属する。
本出願の実施例について説明する前に、まず、本出願に係る幾つかの技術用語について紹介する。
1．ゲーム音声モード（Game Voice Mode）：端末システムがゲームアプリケーションシナリオにおける音声のニーズ及び特徴に応じて提供する、メディアモード及び通話モードと並列する音声モードである。
2．サンプリング率（Sample Rate）：サンプリング率はサンプリング周波数とも呼ばれ、1秒当たり、連続信号のうちから抽出され、かつ離散信号を構成するサンプル数であり、単位はヘルツ(Hz)である。サンプリング率が高いほど、データが正確になる。良く用いられているサンプリング率は8khz、16khz、44.1khz及び48khzである。
3．サンプルのビット数（Bits of Samples）：サンプルのビット数はサンプルの値であり、音声の波動（変化）を評価するためのパラメータであり、サウンドカードが音声ファイルを収集及び再生するときに使用するデジタル音声信号のバイナリビット数である。良く用いられているサンプルのビット数は8ビット、16ビット及び32ビットであり、また、携帯電話のプラットフォームでは通常、サンプルのビット数が16ビットである。
4．チャンネル数（Number of Channels）：チャンネル数はチャネル数とも呼ばれ、即ち、音声のチャンネルの数であり、通常、ハードウェアデバイスに関連している。良く見られているチャンネル数はモノラル及びデュアルチャンネル（ステレオ）があり、モノラル音声は１つのスピーカーからしか出せず、デュアルチャンネル音声は2つのスピーカーから出すことができ、一般的には、左右の2つのチャンネルで分業することで、空間効果をより良く感じるようにさせることができる。
5．ノイズ抑制（Noise Suppression）：音声収集ツールを経由して収集した音声データには通常、人間の声や音楽などの有効な音声データだけでなく、環境音などの不要なノイズデータも含まれる。ノイズ抑制は音声データの特徴に基づいて、ノイズが音声全体の効果に与える影響をできるだけ除去又は低減する技術である。
6．自動利得制御（Automatic Gain Control）：増幅回路の利得が信号強度に応じて自動的に調整されるようにさせる自動制御方法であり、主に、有効な音声データの信号強度を高めるために使用される。
7．エコー除去（Acoustic Echo Cancellation）：エコーとは音波によって反射され又は繰り返れる音声を指し、又は、音声信号がネットワークを介して伝送され再生された後に受信端によって収集され再び伝送され、話者に到達する音声を指し、信号処理アルゴリズム又は装置によりこれらの音声を除去することはエコー除去である。
8．動的制御（Dynamic Range Compression）：動的制御はダイナミックレンジコントロールであり、音声の出力振幅を動的調整し、例えば、音量が大きいときに、音量を適切に抑え、音量が小さいときに、音量を適切に上げることで、音量が常に１つの適切な範囲内に制御されるようにさせることができる。通常、音声の出力パワーを制御することで、スピーカーが音割れせず、小さな音量で再生するときにもはっきりと聞こえるようにさせるために用いられる。
9．フロントエンド処理（前処理ともいう）（Front-End Process）：音声フロントエンド処理技術とは符号化及び送信を行う前に、先に、オリジナル音声データを処理することで、処理後の音声信号が音声の本質的な特徴をより良く反映し得るようにさせる技術である。音声フロントエンド処理技術は通常、主にノイズ抑制、エコー除去、自動利得制御などの技術を含む。
図1を参照し、図1は本出願の実施例で提供されるネットワークアーキテクチャの構成図である。図1に示すように、該ネットワークアーキテクチャは業務サーバー2000及びユーザ端末群を含んでも良い。
ユーザ端末群は１つ又は複数のユーザ端末を含んでも良く、ここではユーザ端末の数について限定しない。図1に示すように、ここでの複数のユーザ端末は具体的にはユーザ端末3000a、ユーザ端末3000b、ユーザ端末3000c、…、ユーザ端末3000nを含んでも良い。図1に示すように、ユーザ端末3000a、…、ユーザ端末3000nはそれぞれ、業務サーバー2000とネットワーク接続されることで、該ユーザ端末群のうちの各ユーザ端末が該ネットワーク接続により業務サーバー2000との間でデータインタラクションを行うようにさせることができる。
図1に示す業務サーバー2000は独立した物理サーバーであっても良く、複数の物理サーバーからなるサーバー群又は分散システムであっても良く、さらに、クラウドサービス、クラウドデータベース、クラウドコンピューティング、クラウド関数、クラウドストレージ、ネットワークサービス、クラウド通信、ミドルウェアサービス、ドメインネームサービス、安全サービス、CDN（Content Delivery Network、配信ネットワーク）、ビッグデータ、人工知能プラットフォームなどの基本的なクラウドコンピューティングサービスを提供するクラウドサーバーであっても良い。
理解しやすくするために、本出願の実施例では図1に示すユーザ端末群のうちから１つのユーザ端末（例えば、ユーザAが使用するユーザ端末）を目標ユーザ端末として選択しても良く、例えば、本出願の実施例では図1に示すユーザ端末3000aを目標ユーザ端末としても良く、該目標ユーザ端末には音声データ処理機能（例えば、音声データ収集及び再生機能）を具備する業務アプリケーションが統合され得る。そのうち、業務アプリケーションは具体的には娯楽クライアント（例えば、ゲームクライアント）、ソーシャルクライアント、オフィスクライアント、生放送クライアントなどの、音声データ収集及び再生機能を有するアプリケーションクライアントを含んでも良い。そのうち、目標ユーザ端末（例えば、ユーザ端末3000a）は具体的にはスマートフォン、タブレットコンピュータ、ノートパソコン、ウェアラブルデバイスなどの、音声データ処理機能を持つ移動端末を含んでも良い。そのうち、本出願の実施例では娯楽クライアント（例えば、ゲームクライアント）に対応するアプリケーション類型をゲーム類型と総称しても良く、ソーシャルクライアント（例えば、QQ、WeChatなどのクライアント）、オフィスクライアント（例えば、エンタープライズクライアント）、生放送クライアントなどのそれぞれに対応するアプリケーション類型を非ゲーム類型と総称しても良い。
理解できるように、上述の業務アプリケーションが実行されるユーザ端末（例えば、前述の目標ユーザ端末）について言えば、業務アプリケーションのアプリケーション類型の違いに基づいて、異なる業務モードを適応的に選択することで、異なる業務シナリオで異なる類型の音声インタラクション業務を行うことができる。
図2に示すように、ここでの業務モードは具体的にはシステムメディアモード21a（“メディアモード”とも呼ばれる）、システム通話モード21b（“音声通話モード”又は“通話モード”とも呼ばれる）及びゲーム音声モード21cを含んでも良い。
理解できるように、目標ユーザ端末はユーザ（即ち、第一ユーザ）が音声ダブルトークを必要としない（即ち、音声インタラクションを行う必要がない）場合、デフォルトで該業務アプリケーションの業務モードをシステムメディアモード21aに設定できる。オプションとして、該目標ユーザ端末はさらに、ユーザ（即ち、第一ユーザ）がダブルトークを必要とする（即ち、音声インタラクションを行う必要がある）場合、音声インタラクションを行う必要のある業務アプリケーションのアプリケーション類型をインテリジェントに識別することで、業務アプリケーションのアプリケーション類型の違いに基づいて、異なる業務モードを適応的に選択できる。例えば、業務アプリケーションのアプリケーション類型がゲーム類型である場合、該業務アプリケーションの業務モードをゲーム音声モード21cに設定し、業務アプリケーションのアプリケーション類型が非ゲーム類型である場合、該業務アプリケーションの業務モードをシステム通話モード21bに設定する。
システムメディアモード21aは目標ユーザ端末が現在のユーザ（即ち、第一ユーザ）のために音楽又はビデオプログラムの音声データを再生するように指示するために用いられ得る。
システム通話モード21bは目標ユーザ端末が非ゲームシナリオで該システム通話モード21bを通じて、現在のユーザ（即ち、第一ユーザ）に、もう１つのユーザ（即ち、第二ユーザであり、該第二ユーザは第一ユーザが業務アプリケーションで選択する、システム通話を行うように要求するユーザであっても良い）とシステム通話を行わせるように指示するために用いられ得る。
ゲーム音声モード21cは目標ユーザ端末がゲームシナリオで新しい音声インタラクションサービスを提供するように指示するために用いられても良く、例えば、ゲーム音声モード21cで該ユーザ（即ち、第一ユーザ）は直接、もう１つのユーザ（例えば、第三ユーザであり、該第三ユーザはゲーム音声モード21cで第一ユーザと同じゲーム陣営（チーム）にあるゲームユーザであっても良い）とゲーム音声通話を行うことができる。
チャットソフトウェアとは異なり、ゲームシナリオにおける音声環境はより複雑であり、音声通話品質及びメディア再生音質の両方を考慮する必要がある。既存のユーザ端末は通話シナリオに適したシステム通話モード21b及び音楽再生シナリオに適したシステムメディアモード21aのみを提供しており、両方を統合したシナリオを考慮せず、ゲームシナリオでは適用効果は良好ではない。よって、如何に、音声双方向通話の体験を確保しながら、システムメディア再生音質を向上させるかは、ゲームユーザ音声の体験を向上させる鍵となっている。図2に示すように、本出願では、スマート移動端末はシステム通話モード21b及びシステムメディアモード21aと並列するゲーム音声モード21cを提供することで、ゲームアプリケーションシナリオにおける音声サービスに対して最適化を行う目的を実現できる。モバイルアプリケーションも自身の業務の特徴及び要求に応じて、最適な音声モードを選択することで、アプリケーション内で音声サービスを迅速かつ効率的に統合できる。ゲーム音声モード21cはゲームサービス又はゲームシナリオに適用される音声モードであり、該モードはゲームシナリオについてプレイヤーの音声体験を最適化することを目的とする。ゲーム音声モード21cでは、ゲームアプリケーションシナリオについて、音声収集、処理、設定などの各段階に対して有効な最適化措置を行うことで、ゲームプレイヤーに、滑らかなゲーム音声及び高品質のゲーム音響効果の体験を提供できる。
なお、本出願は主にゲーム音声業界で使用されるので、本出願で新たに提案されている音声モードは“ゲーム音声モード”と称される。理解できるように、該“ゲーム音声モード”はゲームシナリオだけでなく、ゲームシナリオと同じ又は類似した音声処理要求を有する業務シナリオにも適用され、例えば、音声通話品質及びメディア再生音質を同時に考慮する必要のあるすべての音声業務シナリオ、例えば、ビデオ生放送シナリオ、ビデオ会議シナリオなどにも適用され得るが、本出願ではこれについて限定しない。
ゲームシナリオを例とし、ゲームの音声は主に、音声データ収集段階及び音声データ再生段階の2つの段階を経つ。図3を参照し、それは音声データ処理のフローを示す図である。
音声データ収集段階では、以下のことが順次含まれる。
1．音声信号収集：音声が通常、マイクロフォンを介して携帯電話に入力される。マイクロフォンは主に、音波を電圧信号に変換し、その後、電圧信号に対してサンプリングを行うことで、連続した電圧信号をコンピュータ処理可能なデジタル信号に変換するために用いられる。収集した音声信号の品質に影響し得る指標は主に、サンプリング率、サンプルのビット数及びチャンネル数を含む。サンプリング率が高いほど、１秒当たり音声サンプルを得る回数が多くなり、最終的に得られる音声の品質が高くなる。
2．音声信号フロントエンド処理（前処理）：マイクロフォンが収集したデータをプリ処理し、音声データの品質を上げる。フロントエンド処理プロセスは通常、エコー除去、自動利得制御、ノイズ抑制などの音声処理アルゴリズムを含む。
3．符号化：音声符号化とは収集したデジタル音声信号を、伝送符号率を下げてデジタル伝送を行うために圧縮することを指す。
4．伝送：伝送は符号化後の音声データを、ネットワークを介して指定の音声サーバーに伝送することで、他のユーザがサーバーを介して該ユーザの音声データを聞くことができるようにさせることを指す。
音声データ再生段階では、以下のことが順次含まれる。
5．音声データ受信：指定の音声サーバーから他のユーザの音声データを、再生のプロセスに用いるために取得する。
6．復号化：復号化は符号化に対応するプロセスであり、即ち、受信した符号化後の音声データに対して復号化を行ってデジタル信号をアナログ信号に変換することである。
7．後処理（ポスト処理）：復号化後の音声データは、パケット紛失などの問題が原因で、再生された音声データに、途切れなどの、音声再生効果に影響し得る現象が存在する可能性があるため、後処理プロセスにより復号化後の音声データに対して調整及び最適化を行う必要がある。
8．再生：音声データをスピーカー、イヤホンなどの装置によって再生する。
理解できるように、目標ユーザ端末は該ゲーム音声モードでアプリケーション層と端末システム層との間の連携メカニズム（coordination mechanism）を起動することで、該連携メカニズムに従って、アルゴリズムの比較結果（即ち、信号処理結果）に基づいて、アプリケーション層の音声最適化コンポーネント及び端末システム層の音声最適化コンポーネントのうちから、同じ最適化機能を有する１つの音声最適化コンポーネントをオンするように適応的に選択できる。このようにして、アプリケーション層と端末システム層が前述の連携メカニズムに従って連携してワーキングするときに、該ゲームシナリオで、リアルタイムで収集した現在のユーザ（即ち、上述の第一ユーザ）の上りリンク音声データに対してリアルタイムな人間の音声の処理を行うことで、上りリンク音声データの音声最適化効果を向上させ、そして、ゲームユーザ間の音声インタラクションの体験を向上させることができる。
理解しやすくするために、図4を参照し、図4は本出願の実施例で提供される、ゲームシナリオで音声インタラクションを行うシナリオを示す図である。そのうち、理解できるように、ゲームシナリオでは、図4に示すユーザ端末10aにおける業務アプリケーションのアプリケーション類型が上述のゲーム類型であっても良い。このときに、該ユーザ端末10aは該業務アプリケーションの業務モードをシステムメディアモードからゲーム音声モードに切り替えることで、図4に示すユーザ1（即ち、上述の第一ユーザ）が該ゲーム音声モードで図4に示すユーザ2（即ち、上述の第三ユーザ）とゲーム音声通話を行うようにさせることができる。
理解できるように、図4に示すユーザ端末10aは音声データ処理機能を持つ上述の目標ユーザ端末であっても良い。理解できるように、図4に示すユーザ1が該ユーザ端末10aを通じて図4に示すユーザ2に対応するユーザ端末20aと音声インタラクションを行う必要があるときに、予め、該ユーザ端末10aで、収集したユーザ1の音声に対して音声最適化を行うことで、音声最適化後のユーザ1の音声を上りリンク音声データに対応する目標音声最適化結果としてユーザ2に対応するユーザ端末20aに送信でき、これによって、ユーザ端末20aでは、図4に示すスピーカーにより該音声最適化後のユーザ1の音声を再生できる。そのうち、理解できるように、本出願の実施例ではユーザ端末10aのマイクロフォン（図4に示すアプリケーション表示インターフェース100aにおける音声コントロールに対応する）により収集されたユーザ1の音声を音声上りリンク信号と総称しても良く、即ち、マイクロフォンにより収集された音声信号に対して周波数スペクトル分析を行って得られた音声フレームを上りリンク音声データと総称しても良い。また、理解できるように、本出願の実施例ではさらに、ユーザ端末20aのスピーカー（図4に示すアプリケーション表示インターフェース200aにおける再生コントロールに対応する）により再生された音声最適化後のユーザ1の音声を音声下りリンク信号と総称しても良く、即ち、スピーカーに伝播して再生された音声信号の音声フレームを下りリンク音声データと総称しても良く、同様に、ユーザ端末10aのスピーカーにより再生された音声最適化後の他のユーザ（例えば、ユーザ2）の音声をも音声下りリンク信号と総称しても良い。
理解できるように、ゲームシナリオで、図4に示すユーザ端末10aはマイクロフォンによりリアルタイムでユーザ1の音声（即ち、上述のあ音声上りリンク信号）を取集した後に、該音声上りリンク信号に対応する上りリンク音声データを得ることができるため、上述の業務アプリケーションのアプリケーション層及び端末システム層が共同でネゴシエートして得た最適信号処理ポリシーにより、例えば、共同でネゴシエートして得た、アプリケーション層においてオンされる第一最適化コンポーネント及び端末システムにおいてオンされる第二最適化コンポーネントにより、該ユーザ1の上りリンク音声データに対して音声最適化を行うことができる。なお、ここでの第二最適化コンポーネントは第一最適化コンポーネントとは異なり、また、アプリケーション層においてオンされる第一最適化コンポーネント（即ち、第一前置信号処理ポリシーにおいてオンされる第一最適化コンポーネント）は第二前置信号処理ポリシーにおいてオフされる第二最適化コンポーネントと同じ最適化機能を有し、かつ端末システムにおいてオンされる第二最適化コンポーネントは前述の第一前置信号処理ポリシーにおいてオフされる第一最適化コンポーネントと同じ最適化機能を有する。理解できるように、本出願の実施例では第一前置信号処理ポリシーにおける音声最適化コンポーネントを第一最適化コンポーネントと総称しても良く、第二前置信号処理ポリシーにおける音声最適化コンポーネントを第二最適化コンポーネントと総称しても良い。このようにして、アプリケーション層と端末システム層との間の連携メカニズムにより、同じ最適化機能を有する音声最適化コンポーネントがアプリケーション層又は端末システム層で実行されるように有効に確保できるため、同じ最適化機能を有する音声最適化コンポーネントが重複して実行される問題を効果的に避けることができる。
ここでの音声最適化を行うことは上述のフロントエンド処理プロセスであり、主に、エコー除去（Acoustic Echo Cancellation、AEC）、ノイズ抑制（noise suppression、NS）、及び自動利得制御（Auto Gain Control、AGC）を行うことを含むが、これらに限定されない。
エコー除去（AEC）を行うプロセスでは、エコーとは主に、話者（例えば、前述のユーザ1）が自分の通信機器（例えば、前述のユーザ端末10a）を通じて他の人（例えば、前述のユーザ2）に送信する音声が再び自分のイヤーピースに戻った現象を指す。本出願の実施例に係るエコー除去とは主に、目標ユーザ端末（例えば、前述のユーザ端末10a）が所定の演算デバイス（例えば、エコー除去コンポーネント）によりこのようなエコーを除去するための処理スキームを指す。
ノイズ抑制（NS）を行うプロセスでは、ノイズとは主に、目標ユーザ端末（例えば、前述のユーザ端末10a）により収集された話者（例えば、前述のユーザ1）以外の他の物体から発した音声信号を指す。これに基づいて、本出願の実施例に係るノイズ抑制とは主に、目標ユーザ端末（例えば、前述のユーザ端末10a）が所定の演算デバイス（例えば、ノイズ抑制コンポーネント）によりこのようなノイズを除去するための処理スキームを指す。
自動利得制御(AGC)を行うプロセスでは、目標ユーザ端末（例えば、前述のユーザ端末10a）が所定の演算デバイス（例えば、利得制御コンポーネント）により、人間の音声に対しての聴覚感知範囲に基づいて音声信号のエネルギーをインテリジェントに調整することで、音声信号がより良く感知されるようにさせるための処理スキームを指す。
理解できるように、ユーザ端末10aはアルゴリズムの比較結果によりアプリケーション層で第一前置信号処理ポリシーにおける第一最適化コンポーネント11（例えば、エコー抑制コンポーネント）をオンすることを選択する場合、端末システム層で該第一最適化コンポーネント11（例えば、エコー抑制コンポーネント）と同じ最適化機能を有する第二最適化コンポーネント21を同期してオフする必要があり、該第二最適化コンポーネント21はアプリケーション層により制御されオフされる端末システム層内の第二前置信号処理ポリシーにおけるエコー抑制コンポーネントであっても良い。これは、本出願の実施例において目標ユーザ端末がマイクロフォンによりリアルタイムで該ゲームシナリオにおけるユーザ1の音声（即ち、第一ユーザの上りリンク音声データ）を収集したときに、アプリケーション層又は端末システム層で同じ最適化機能を有する１つの音声最適化コンポーネントを実行するだけで良いことを意味し、これによって、同じ最適化機能を有する音声最適化コンポーネントの機能が1回だけ実行されるように確保できるため、同じ最適化機能を有する音声最適化コンポーネントの機能が重複して実行されることによる計算リソースの浪費の問題を根本的に解決できる。
理解できるように、図4に示すように、ユーザ1（ここでは主に或るゲームユーザ、例えば、ゲームユーザAを指す）が図4に示すアプリケーション表示インターフェース100aで図4に示す音声コントロールをオンすることを選択する（即ち、オフ状態にある音声コントロールのときに、該ユーザ端末10aで実行される業務アプリケーションの業務モードはシステムメディアモードであり得る）ときに、該ユーザ1が使用する端末（例えば、図4に示すユーザ端末10a）は該ユーザ端末10aで実行される業務アプリケーションのアプリケーション類型を決定できるため、該業務アプリケーションの業務モードをシステムメディアモードからゲーム音声モードに切り替えることで、該ユーザ端末10aが該ゲーム音声モードで該ユーザ1の音声をリアルタイムで収集及び最適化して図4に示す音声最適化後のユーザ1の音声を得るようにさせることができる。さらに、該ユーザ端末10aは音声最適化後のユーザ1の音声を該ユーザ1の所在する陣営における他のチームメイト（例えば、ユーザ2であり、該ユーザ2は該ユーザ1と同じ陣営にある他のゲームユーザであり得る）にブロードキャストできる。このようにして、同じ陣営における他のチームメイト（例えば、ユーザ2）が使用する端末（例えば、図4に示すユーザ端末20a）は図4に示す再生コントロールをオンする（例えば、ゲームシナリオにおけるスピーカーをオンする）ときに、受信した該音声最適化後のユーザ1の音声を再生できる。
オプションとして、上述のユーザ端末10aは上述の業務アプリケーションのアプリケーション類型が非ゲーム類型に属する（例えば、ソーシャル類型である）と検出したときに、該ユーザ端末10a（即ち、上述の目標ユーザ端末）は該業務アプリケーションの業務モードをシステムメディアモードからシステム通話モードにインテリジェントに切り替えることで、該システム通話モードで第二種類の音声通話業務を行うことができ、該第二種類の音声通話業務は非ゲームシナリオにおけるシステム通話類型に対応する音声インタラクション業務であっても良い。例えば、ソーシャルシナリオでは、図4に示すユーザ1が図4に示すユーザ2にシステム通話類型に対応するシステム通話要求を送信することを許可でき、これによって、図4に示すユーザ2に対応する端末（即ち、上述のユーザ端末20a）は該システム通話要求に応じて（例えば、該ユーザ2がユーザ1の通話要求の受信を確認したときに）、該ユーザ1とユーザ2との間のシステム通信チャンネルを、該システム通信チャンネルを通じてシステム通話を行うために確立できる。
なお、目標ユーザ端末（例えば、図4に示すユーザ端末10a）は上述のアプリケーション層で、端末システム層内の第二前置信号処理ポリシーにおける第二最適化コンポーネントのオン及びオフを制御し、及び該第一ユーザの上りリンク音声データに対して音声最適化を行う具体的な実現方式については以下の図5～図15に対応する実施例を参照できる。
図5を参照し、図5は本出願の実施例で提供される音声データ処理方法のフローチャートである。該方法はコンピュータ機器により実行され、例えば、該方法はユーザ端末（例えば、上述の目標ユーザ端末であり、該目標ユーザ端末は上述の図4に対応する実施例におけるユーザ端末10aであっても良い）により実行されても良く、業務サーバー（例えば、上述の図1に示す業務サーバー2000である）により実行されても良く、さらに、ユーザ端末及び業務サーバーの連携により実行されても良い。理解しやすくするために、本実施例では該方法がユーザ端末により実行されることを例にして説明を行う。そのうち、該音声データ処理方法は以下のステップS101～ステップS103のうちの少なくとも１つのステップを含んでも良い。
ステップS101：ゲーム音声モードで、業務アプリケーションのアプリケーション層内の第一前置信号処理ポリシーと関連付けられる信号処理結果を取得する。
具体的には、目標ユーザ端末はゲーム音声モードで、業務アプリケーションの音質指標を取得し、そして、業務アプリケーションの音質指標に基づいて、業務アプリケーションの音質パラメータ（ここでの音質パラメータは音声サンプリング率及び音声チャンネル数を含んでも良いが、これらに限定されない）を設定できる。また、目標ユーザ端末は業務アプリケーションの属する端末の端末類型を取得し、業務アプリケーションと関連付けられるテストリストにおいて端末類型とマッチしたテスト類型を見つける。テストリストにおいて端末類型とマッチしたテスト類型を見つけた場合、目標ユーザ端末は音質パラメータに基づいてテストリストのうちから、第一前置信号処理ポリシーを採用して得られる第一テスト処理結果を取得し、かつ第二前置信号処理ポリシーを採用して得られる第二テスト処理結果を取得できる。そのうち、第一前置信号処理ポリシーは業務アプリケーションのアプリケーション層内の前置信号処理ポリシーである。第二前置信号処理ポリシーはテスト端末類型に対応する端末システム内の前置信号処理ポリシーである。また、目標ユーザ端末は第一テスト処理結果及び第二テスト処理結果に基づいて、第一前置信号処理ポリシー及び第二前置信号処理ポリシーのうちから、音質パラメータと関連付けられる最適信号処理ポリシーを決定し、そして、決定した最適信号処理ポリシーを第一前置信号処理ポリシーと関連付けられる信号処理結果とすることができる。
理解できるように、目標ユーザ端末はステップS101を実行する前に、さらに、予め、該目標ユーザ端末で該業務アプリケーションのシステムリソースパケットをロードすることで、システムリソースパケットに対して解析処理を行った後に、該業務アプリケーションのシステムリソースデータを得ることができ、このようにして、目標ユーザ端末は該システムリソースデータに対して初期化処理を行った後に、初期化処理後のシステムリソースデータに基づいて該業務アプリケーションの業務モードをシステムメディアモードに初期設定できる。理解できるように、本出願の実施例ではシステムリソースデータの初期化処理を完了した後に、デフォルトで該システムメディアモードに入ることで、該システムメディアモードでは初期化処理後のシステムリソースデータに基づいて業務アプリケーションのアプリケーション表示インターフェースを出力できるため、該アプリケーション表示インターフェースでは該業務アプリケーションのマルチメディアデータ（例えば、ビデオフレームデータ及び音声フレームデータなど）を出力できる。理解できるように、該アプリケーション表示インターフェースには第一ユーザが音声インタラクション業務を開始するように指示するための音声コントロールが含まれても良く、このようにして、第一ユーザは他のユーザと音声インタラクションを行う必要があるときに、現在オフ状態にある音声コントロールをトリガーするように選択することで、該目標ユーザ端末に、第一ユーザが該音声コントロールに対して実行した音声オン操作に応じて、音声インタラクション業務を開始する業務アプリケーションのアプリケーション類型を自動的に検出させることができる。
理解できるように、目標ユーザ端末により、該音声インタラクション業務を開始する業務アプリケーションのアプリケーション類型がゲーム類型に属すると決定した場合、該目標ユーザ端末は現在の業務シナリオがゲームシナリオであると決定できるため、該目標ユーザ端末で実行される業務アプリケーションの業務モードをシステムメディアモードからゲーム音声モードに切り替えることができ、例えば、ゲームシナリオでは該ゲーム類型と関連付けられる第一音声通話命令を生成し、第一音声通話命令に基づいて該目標ユーザ端末で実行される業務アプリケーションの業務モードをシステムメディアモードからゲーム音声モードに切り替えることで、その後、該ゲーム音声モードでは上述の第一種類の音声通話業務を実行できる。そのうち、理解できるように、該目標ユーザ端末は該ゲーム音声モードで該業務アプリケーションの音質指標に基づいて、上述の音声ダブルトークニーズと関連付けられる幾つかの音質パラメータをリファイン（refine）できる。例えば、該目標ユーザ端末は、上述の第一ユーザ（即ち、該目標ユーザ端末を使用するユーザ）が該ゲーム音声モードで該目標ユーザ端末に対応する音声サンプリング率及び音声チャンネル数を設定することを許可できる。
オプションとして、理解できるように、該目標ユーザ端末により、現在、該音声インタラクション業務を開始する業務アプリケーションのアプリケーション類型が非ゲーム類型に属すると決定した場合、該目標ユーザ端末は現在の業務シナリオが非ゲームシナリオであると決定できるため、該目標ユーザ端末で実行される業務アプリケーションの業務モードをシステムメディアモードからシステム音声モードに切り替えることができ、例えば、該非ゲームシナリオでは該非ゲーム類型と関連付けられる第二音声通話命令を生成し、第二音声通話命令に基づいて該目標ユーザ端末で実行される業務アプリケーションの業務モードをシステムメディアモードからシステム音声モードに切り替えることで、システム音声モードでは他のユーザ（例えば、上述の第二ユーザ）と音声インタラクションを行い、上述の第二種類の音声通話業務を実行できる。
よって、分かるように、本出願の実施例で提供されるゲーム音声モード及びシステム音声モードは上述の音声ダブルトークシナリオで異なる類型の音声通話サービスを提供するための2種類の業務モードである。このようにして、目標ユーザ端末は該音声通話業務を開始する業務アプリケーションのアプリケーション類型を判断することで、アプリケーション類型がゲーム類型であるときに、上述のゲーム音声モードにインテリジェントに入ることで、上述の第一種類の音声通話業務を行うことができる。オプションとして、該目標ユーザ端末はさらに、アプリケーション類型が非ゲーム類型であるときに、上述のシステム音声モードにインテリジェントに入ることで、上述の第二種類の音声通話業務を行うこともできる。
理解できるように、本出願の実施例に係る目標ユーザ端末は上述の音声データ処理機能を具備する移動端末を含むが、これに限定されない。よって、本出願の実施例に係る目標ユーザ端末に対応する音声サンプリング率の設定は主に端末の上りリンクサンプリング率及び下りリンクサンプリング率の設定を含み得る。また、本出願の実施例に係る目標ユーザ端末の音声チャンネル数の設定は主に、音声のチャンネル数の設定を指し、例えば、目標ユーザ端末の音質指標に基づいてチャンネル数をデュアルチャンネルに設定できる。
理解できるように、ここでの音声サンプリング率（例えば、上りリンクサンプリング率及び下りリンクサンプリング率）は目標ユーザ端末の録音コンポーネントが単位サンプリング周期内で音声信号に対してサンプリングを行うサンプリング回数であっても良い。該音声サンプリング率は4kHZ、8kHZ及び48kHZを含んでも良いが、これらに限定されない。理解できるように、音声サンプリング率の値の大きさは録音コンポーネントが復元し得るユーザの音声の真実さ及び自然さを反映するために用いられ得る。
例えば、該ゲーム音声モードで、第一ユーザは該目標ユーザ端末における音声インタラクションシステムが提供する音声ダブルトークサービスによって音声インタラクションを行うことができる。即ち、該目標ユーザ端末におけるマイクロフォンは該第一ユーザの音声信号を収集した（即ち、第一ユーザの音声を収取するために用いられ得る）ときに、該ゲーム音声モードで、上述の上りリンクサンプリング率に基づいて、該第一ユーザの音声信号に対して周波数スペクトル分析を行うことで、該第一ユーザの該ゲーム音声モードでの上りリンク音声データをサンプリングして得ることができる。このときに、目標ユーザ端末は該上りリンク音声データに対して音声最適化を行い、音声最適化後の第一ユーザの音声信号（即ち、上述の音声最適化後の第一ユーザの音声）を他の通信先（例えば、上述の第三ユーザに対応する端末）に送信でき、これによって、他の通信先ではそれぞれのスピーカーにより上述の音声最適化後の第一ユーザの音声を再生できる。同様に、該目標ユーザ端末はさらに、他の通信先から伝送されて来た音声最適化後の第三ユーザの音声信号を受信するために用いられても良く、これによって、上述の下りリンクサンプリング率に従って該音声最適化後の第三ユーザの音声信号に対して周波数スペクトル分析を行った後に、該目標ユーザ端末のスピーカーに伝播するための下りリンク音声データを得ることができ、このようにして、該目標ユーザ端末のスピーカーにより該下りリンク音声データを再生するときに、該第一ユーザのために音声最適化後の第三ユーザの音声をできるだけ正確に復元できる。
理解しやすくするために、図6を参照し、図6は本出願の実施例で提供されるテストリストのシナリオを示す図である。そのうち、テストリスト301aにおけるテスト端末類型は１つ又は複数のテスト端末に対応するテスト類型であっても良い。理解できるように、ここでのテスト端末類型は１つ又は複数のブランドの機種（モデルともいう）を含んでも良いが、これらに限定されず、オプションとして、ここでのテスト端末類型はさらに、これらの機種に対応する端末環境システムのシステム類型、ステムバージョンなどを含んでも良い。
理解できるように、業務アプリケーションに対応する開発者は上述のゲーム音声モードを有する業務アプリケーションを開発するときに、予め、該業務アプリケーションを各テスト用の既知の機種に対応するテスト端末に統合してインストールでき、これによって、これらの既知の機種に対応するテスト端末で複数の種類の前置信号処理ポリシー（例えば、上述のアプリケーション層内の第一前置信号処理ポリシー及び上述の端末システム層内の第二前置信号処理ポリシー）をそれぞれ使用してパフォーマンスのテストを行い、同一の既知の機種（即ち、同一のテスト類型）の特定の音質パラメータの下でのアプリケーション層内の各音声最適化コンポーネントの最適化パフォーマンス、及び端末システム層内の対応機能の音声最適化コンポーネントの最適化パフォーマンスをテストにより取得する。
理解しやすくするために、ここではテスト端末の類型が単一のブランドの機種であることを例とし、該ブランドの下でのn（ここでのnは正の整数である）個の機種は図6に示すテスト類型T1、…、テスト類型Tnであっても良い。例えば、テスト類型T1はブランドAの機種1、テスト類型T2はブランドAの機種2であっても良く、これに基づいて類推して、テスト類型TnはブランドAの機種nであっても良い。
理解できるように、アプリケーション層内の各音声テストコンポーネント及び端末システム層内の各音声テストコンポーネントの、同一の機種の異なる音質パラメータの下での最適化パフォーマンスをテストするために、開発者は設定音質パラメータが音質パラメータD1（例えば、上りリンク音声サンプリング率8kHz、下りリンク音声サンプリング率8kHz、左チャンネルなどのモノラル数）である場合、アプリケーション層内の第一前置信号処理ポリシー及び端末システム層内の第二前置信号処理ポリシーを使用し、該機種がテスト類型T1であるテスト端末の該音質パラメータD1のときの音声テスト効果をテストにより得ることができる。
例えば、パフォーマンスのテストを行うプロセスでは、上述のアプリケーション層内の各音声最適化コンポーネント（例えば、エコー除去を行うための第一エコー除去コンポーネント、ノイズ抑制を行うための第一ノイズ抑制コンポーネント、利得調整を行うための第一利得制御コンポーネントなどの第一最適化コンポーネント）を使用し、上りリンク音声データ（例えば、パフォーマンスのテストを行うための上りリンク音声データR1）に対してテスト最適化を行うことで得られるテスト処理結果は図6に示す、音質パラメータD1と関連付けられるアプリケーション層のテスト処理結果であっても良い。また、上述の端末システム層内の各音声最適化コンポーネント（例えば、エコー除去を行うための第二エコー除去コンポーネント、ノイズ抑制を行うための第二ノイズ抑制コンポーネント、利得調整を行うための第一利得制御コンポーネントなどの第二最適化コンポーネント）を使用して、同一の上りリンク音声データR1に対してテスト最適化を行うことで得られるテスト処理結果は図6に示す、音質パラメータD1と関連付けられる端末システム層のテスト処理結果であっても良い。
理解しやすくするために、本出願の実施例ではアプリケーション層内の第一エコー除去コンポーネントに対応するテスト処理結果は図6に示す第一テスト結果31aであるとしても良く、このときに、端末システム層内で前述の第一エコー除去コンポーネントと同じ最適化機能を有する音声最適化コンポーネントは上述の第二エコー除去コンポーネントであっても良く、図6に示すように、該第二エコー除去コンポーネントを使用して上りリンク音声データR1に対してエコー除去を行った後に得られるテスト処理結果は図6に示す第二テスト結果31bであっても良い。
また、例えば、アプリケーション層内の第一ノイズ抑制コンポーネントに対応するテスト処理結果は図6に示す第一テスト結果32aであっても良く、このときに、端末システム層内で前述の第一ノイズ抑制コンポーネントと同じ最適化機能を有する音声最適化コンポーネントは上述の第二ノイズ抑制コンポーネントであっても良く、図6に示すように、該第二ノイズ抑制コンポーネントを使用して上りリンク音声データR1に対してノイズ抑制を行った後に得られるテスト処理結果は図6に示す第二テスト結果32bであっても良い。
また、例えば、アプリケーション層内の第一利得制御コンポーネントに対応するテスト処理結果は図6に示す第一テスト結果33aであっても良い。このときに、端末システム層内で前述の第一利得制御コンポーネントと同じ最適化機能を有する音声最適化コンポーネントは上述の第二利得制御コンポーネントであっても良く、図6に示すように、該第二ノイズ抑制コンポーネントを使用して上りリンク音声データR1に対して利得調整を行った後に得られるテスト処理結果は図6に示す第二テスト結果33bであっても良い。
また、これに基づいて類推して、図6に示すように、開発者はさらに、設定音質パラメータが音質パラメータD2（例えば、上りリンク音声サンプリング率8kHz、下りリンク音声サンプリング率16kHz、左チャンネルなどのモノラル数）である場合、アプリケーション層内の第一前置信号処理ポリシー及び端末システム層内の第二前置信号処理ポリシーを使用して、該機種がテスト類型Tnであるもう1つのテスト端末の該音質パラメータD2のときの音声テスト効果をテストにより得ることもできる。
例えば、もう1つのパフォーマンスのテストを行うプロセスでは、上述のアプリケーション層内の各音声最適化コンポーネント（例えば、エコー除去を行うための第一エコー除去コンポーネント、ノイズ抑制を行うための第一ノイズ抑制コンポーネント、利得調整を行うための第一利得制御コンポーネントなどの第一最適化コンポーネント）を使用し、もう1つの上りリンク音声データ（例えば、パフォーマンスのテストを行うための上りリンク音声データR2）に対してテスト最適化を行うことで得られるテスト処理結果は図6に示す、音質パラメータD2と関連付けられるアプリケーション層のテスト処理結果であっても良い。また、上述の端末システム層内の各音声最適化コンポーネント（例えば、エコー除去を行うための第二エコー除去コンポーネント、ノイズ抑制を行うための第二ノイズ抑制コンポーネント、利得調整を行うための第一利得制御コンポーネントなどの第二最適化コンポーネント）を使用し、同一の上りリンク音声データR2に対してテスト最適化を行うことで得られるテスト処理結果は図6に示す、音質パラメータD2と関連付けられる端末システム層のテスト処理結果であっても良い。
同様に、理解しやすくするために、本出願の実施例ではアプリケーション層内の第一エコー除去コンポーネントに対応するテスト処理結果は図6に示す第一テスト結果34aであるとしても良く、このときに、端末システム層内で前述の第一エコー除去コンポーネントと同じ最適化機能を有する音声最適化コンポーネントは上述の第二エコー除去コンポーネントであっても良く、図6に示すように、該第二エコー除去コンポーネントを使用し、上りリンク音声データR2に対してエコー除去を行った後に得られるテスト処理結果は図6に示す第二テスト結果34bであっても良い。
同様に、アプリケーション層内の第一ノイズ抑制コンポーネントに対応するテスト処理結果は図6に示す第一テスト結果35aであっても良く、このときに、端末システム層内で前述の第一ノイズ抑制コンポーネントと同じ最適化機能を有する音声最適化コンポーネントは上述の第二ノイズ抑制コンポーネントであっても良く、図6に示すように、該第二ノイズ抑制コンポーネントを使用し、上りリンク音声データR1に対してノイズ抑制を行った後に得られるテスト処理結果は図6に示す第二テスト結果35bであっても良い。
同様に、アプリケーション層内の第一利得制御コンポーネントに対応するテスト処理結果は図6に示す第一テスト結果36aであっても良い。このときに、端末システム層内で前述の第一利得制御コンポーネントと同じ最適化機能を有する音声最適化コンポーネントは上述の第二利得制御コンポーネントであっても良く、図6に示すように、該第二利得制御コンポーネントを使用し、上りリンク音声データR2に対して利得調整を行った後に得られるテスト処理結果は図6に示す第二テスト結果36bであっても良い。
要するに、目標ユーザ端末は、アプリケーション層内の第一最適化コンポーネント、及び端末システム層内の同じ最適化機能を有する第二最適化コンポーネントに対してパフォーマンステストを行った後に、予めテストにより各既知の機種の異なる音質パラメータの下でのテスト処理結果を得ることができる。その後、開発者は上述のテスト端末類型、音質パラメータ、アプリケーション層のテスト処理結果及び端末システム層のテスト処理結果に従って、上述の図6に示すテストリスト301aを構築して得ることができる。このようにして、第一ユーザが上述のゲーム音声モードで他のユーザと上述の音声インタラクション業務を行う必要があるときに、該業務アプリケーションの現在属する端末（即ち、上述の目標ユーザ端末）の端末類型に基づいて、該テストリスト301において該端末類型とマッチしたテスト類型を迅速かつインテリジェントにルックアップすることができる。例えば、該目標ユーザ端末は、現在のユーザ（即ち、上述の第一ユーザ）が業務アプリケーションの音質指標に基づいて設定した音質パラメータ（例えば、該第一ユーザにより設定された音質パラメータは上述の音質パラメータD1である）に基づいて、該テストリスト301aのうちから、上述の第一前置信号処理ポリシーを採用して得られる第一テスト処理結果及び上述の第二前置信号処理ポリシーを採用して得られる第二テスト処理結果を迅速に取得できる。理解できるように、このときに、目標ユーザ端末は同じ最適化機能を有する音声最適化コンポーネントのテスト結果の比較を行った後に、同じ最適化機能を有する音声最適化コンポーネントの音声テスト効果に基づいて、上述の第一前置信号処理ポリシー及び第二前置信号処理ポリシーのうちから、現在の端末類型（即ち、現在の機種）の特定の音質パラメータの下での各最適化機能に対応する最適信号処理ポリシーを迅速に判断でき、そして、決定した最適信号処理ポリシーを第一前置信号処理ポリシーと関連付けられる信号処理結果とすることができ、これによって、その後、引き続き後述のステップS102を実行できる。
例えば、第一ユーザ（即ち、現在のユーザ）が音質指標に基づいて設定した音質パラメータが上述の図6に示す音質パラメータD1である場合、ここでの第一テスト処理結果は具体的には上述の第一エコー除去コンポーネント（即ち、アプリケーション層内のAECコンポーネント）に対応する第一テスト結果31a、上述の第一ノイズ抑制コンポーネント（即ち、アプリケーション層内のNSコンポーネント）に対応する第一テスト結果32a、及び上述の第一利得制御コンポーネント（アプリケーション層内のAGCコンポーネント）に対応する第一テスト結果33aを含んでも良い。そのうち、ここでの第二テスト処理結果は具体的には上述の第二エコー除去コンポーネント（即ち、端末システム層内のAECコンポーネント）に対応する第二テスト結果31b、上述の第二ノイズ抑制コンポーネント（即ち、端末システム層内のNSコンポーネント）に対応する第二テスト結果32b、及び上述の第二利得制御コンポーネント（即ち、端末システム層内のAGCコンポーネント）に対応する第二テスト結果33bを含んでも良い。
同様に、第一ユーザが音質指標に基づいて設定した音質パラメータが上述の図6に示す他の音質パラメータ（例えば、上述の音質パラメータD2）である場合、同様に上述のテストリスト301aのうちから、第一前置信号処理ポリシーを採用して得られる第一テスト処理結果及び第二前置信号処理ポリシーを採用して得られる第二テスト処理結果を迅速に得ることができる。なお、ここでは他の音質パラメータと関連付けられる第一テスト処理結果、及び他の音質パラメータと関連付けられる第二テスト処理結果についての詳しい説明を省略する。
ステップS102：信号処理結果に基づいて、アプリケーション層で端末システム層内の第二前置信号処理ポリシーにおける第二最適化コンポーネントのオンオフ状態を制御し、又は、第一前置信号処理ポリシーにおける第一最適化コンポーネントのオンオフ状態を制御する。
オプションとして、信号処理結果に基づいて、アプリケーション層で端末システム層内の第二前置信号処理ポリシーにおける第二最適化コンポーネントのオン及びオフを制御し、又は、第一前置信号処理ポリシーにおける第一最適化コンポーネントのオン及びオフを制御し、そのうち、第一前置信号処理ポリシーには少なくとも１つの第一最適化コンポーネントが含まれ、第二前置信号処理ポリシーには少なくとも１つの第二最適化コンポーネントが含まれる。幾つかの実施例において、第一前置信号処理ポリシーに含まれる第一最適化コンポーネントの数と第二前置信号処理ポリシーに含まれる第二最適化コンポーネントの数は同じであり、例えば、すべて3つである。また、第一前置信号処理ポリシーにおける各第一最適化コンポーネントは、第二前置信号処理ポリシーにおいて、それと同じ最適化機能を有する第二最適化コンポーネントがあり、それ相応に、第二前置信号処理ポリシーにおける各第二最適化コンポーネントは、第一前置信号処理ポリシーにおいて、それと同じ最適化機能を有する第一最適化コンポーネントがある。
オプションとして、第一前置信号処理ポリシーにおいてオンされる第一最適化コンポーネントは第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントとは異なる。
オプションとして、第一前置信号処理ポリシーにおいてオンされる第一最適化コンポーネントは第二前置信号処理ポリシーにおいてオフされる音声最適化コンポーネントと同じ最適化機能を有し、第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントは第一前置信号処理ポリシーにおいてオフされる第一最適化コンポーネントと同じ最適化機能を有する。
具体的には、目標ユーザ端末は信号処理結果に基づいて、第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントを決定し、また、第二前置信号処理ポリシーにおいてオフされる第二最適化コンポーネントを決定する。例えば、目標ユーザ端末は前述の信号処理結果に基づいて、アプリケーション層と、業務アプリケーションの属する端末の端末システム層との間の連携メカニズムを起動でき、そして、連携メカニズムに基づいてアプリケーション層で端末システム層内の第二前置信号処理ポリシーにおける第二最適化コンポーネントのオン及びオフを制御できる。また、目標ユーザ端末はアプリケーション層内で、第二前置信号処理ポリシーにおいてオフされる第二最適化コンポーネントを第一連携コンポーネントとし、かつ第一前置信号処理ポリシーにおいて第一連携コンポーネントと同じ最適化機能を有する第一最適化コンポーネントをオンできる。また、目標ユーザ端末はアプリケーション層内で、第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントを第二連携コンポーネントとして、かつ第一前置信号処理ポリシーにおいて第二連携コンポーネントと同じ最適化機能を有する第一最適化コンポーネントをオフできる。
理解できるように、上述の第一前置信号処理ポリシーにおける第一最適化コンポーネントの音声最適化アルゴリズムは次のようなもののうちの少なくとも１つを含んでも良く、即ち、アプリケーション層でエコー除去を行うための第一エコー除去アルゴリズム（該第一エコー除去アルゴリズムに対応する第一最適化コンポーネントは上述の第一エコー除去コンポーネントである）、アプリケーション層でノイズ抑制を行うための第一ノイズ抑制アルゴリズム（該第一ノイズ抑制アルゴリズムに対応する第一最適化コンポーネントは上述の第一ノイズ抑制コンポーネントである）、及びアプリケーション層で利得調整を行うための第一利得制御アルゴリズム（該第一利得制御アルゴリズムに対応する第一最適化コンポーネントは上述の第一利得制御コンポーネントである）である。同様に、上述の第二前置信号処理ポリシーにおける第二最適化コンポーネントの音声最適化アルゴリズムは次のようなもののうちの少なくとも1つを含んでも良く、即ち、端末システム層でエコー除去を行うための第二エコー除去アルゴリズム（該第二エコー除去アルゴリズムに対応する第二最適化コンポーネントは上述の第二エコー除去コンポーネントである）、端末システム層でノイズ抑制を行うための第二ノイズ抑制アルゴリズム（該第二ノイズ抑制アルゴリズムに対応する第二最適化コンポーネントは上述の第二ノイズ抑制コンポーネントである）、及び端末システム層で利得調整を行うための第二利得制御アルゴリズム（該第二利得制御アルゴリズムに対応する第二最適化コンポーネントは上述の第二利得制御コンポーネントである）である。
このときに、目標ユーザ端末が取得する信号処理結果は次のようなステップにより得られても良く、即ち、第一テスト処理結果のうちから第一エコー除去アルゴリズムに対応する第一エコー除去結果を取得し、また、第二テスト処理結果のうちから第二エコー除去アルゴリズムに対応する第二エコー除去結果を取得し、そして、第一エコー除去結果及び第二エコー除去結果に基づいて、第一エコー除去アルゴリズム及び第二エコー除去アルゴリズムのうちから最適エコー除去アルゴリズムを選択し、該最適エコー除去アルゴリズムを音質パラメータと関連付けられる第一最適信号処理ポリシーとすることができる。また、目標ユーザ端末はさらに、第一テスト処理結果のうちから第一ノイズ抑制アルゴリズムに対応する第一ノイズ抑制結果を取得し、また、第二テスト処理結果のうちから第二ノイズ抑制アルゴリズムに対応する第二ノイズ抑制結果を取得し、そして、第一ノイズ抑制結果及び第二ノイズ抑制結果に基づいて、第一ノイズ抑制アルゴリズム及び第二ノイズ抑制アルゴリズムのうちから最適ノイズ抑制アルゴリズムを選択し、該最適ノイズ抑制アルゴリズムを音質パラメータと関連付けられる第二最適信号処理ポリシーとすることができる。また、目標ユーザ端末は第一テスト処理結果のうちから第一利得制御アルゴリズムに対応する第一利得制御結果を取得し、また、第二テスト処理結果のうちから第二利得制御アルゴリズムに対応する第二利得制御結果を取得し、そして、第一利得制御結果及び第二利得制御結果に基づいて、第一利得制御アルゴリズム及び第二利得制御アルゴリズムのうちから最適利得制御アルゴリズムを選択し、該最適利得制御アルゴリズムを音質パラメータと関連付けられる第三最適信号処理ポリシーとすることができる。また、目標ユーザ端末は第一最適信号処理ポリシー、第二最適信号処理ポリシー及び第三最適信号処理ポリシーを、第一前置信号処理ポリシーと関連付けられる信号処理結果とすることができる。
理解しやすくするために、図7を参照し、図7は本出願の実施例で提供される、音質パラメータと関連付けられる最適信号処理ポリシーを決定するシナリオを示す図である。そのうち、図7に示す第一テスト処理結果401aは上述の図6に対応する実施例において音質パラメータD1と関連付けられるアプリケーション層のテスト処理結果（即ち、音質パラメータD1と関連付けられる第一テスト処理結果）であっても良い。そのうち、該第一テスト処理結果401aにおけるテスト結果41aは上述の図6に対応する実施例における第一テスト結果31aであっても良く、即ち、図7に示すテスト結果41aは第一テスト処理結果401aのうちから得られる第一エコー除去アルゴリズムに対応する第一エコー除去結果であっても良い。そのうち、該第一テスト処理結果401aにおけるテスト結果42aは上述の図6に対応する実施例における第一テスト結果32aであっても良く、即ち、図7に示すテスト結果42aは第一テスト処理結果401aのうちから取得される第一ノイズ抑制アルゴリズムに対応する第一ノイズ抑制結果であっても良い。そのうち、該第一テスト処理結果401aにおけるテスト結果43aは上述の図6に対応する実施例における第一テスト結果33aであっても良く、即ち、図7に示すテスト結果43aは第一テスト処理結果401aのうちから取得される第一利得制御アルゴリズムに対応する第一利得制御結果であっても良い。
図7に示すような第二テスト処理結果401bは上述の図6に対応する実施例において音質パラメータD1と関連付けられる端末システム層のテスト処理結果（即ち、音質パラメータD1と関連付けられる第二テスト処理結果）であっても良い。そのうち、該第二テスト処理結果401bにおけるテスト結果41bは上述の図6に対応する実施例における第二テスト結果31bであっても良く、即ち、図7に示すテスト結果41bは第二テスト処理結果401bのうちから取得される第二エコー除去アルゴリズムに対応する第二エコー除去結果であっても良い。そのうち、該第二テスト処理結果401bにおけるテスト結果42bは上述の図6に対応する実施例における第二テスト結果32bであっても良く、即ち、図7に示すテスト結果42bは第二テスト処理結果401bのうちから取得される第二ノイズ抑制アルゴリズムに対応する第二ノイズ抑制結果であっても良い。そのうち、該第二テスト処理結果401bにおけるテスト結果43bは上述の図6に対応する実施例における第二テスト結果33bであっても良く、即ち、図7に示すテスト結果43bは第二テスト処理結果401bのうちから取得される第二利得制御アルゴリズムに対応する第二利得制御結果であっても良い。
理解できるように、該目標ユーザ端末は第一エコー除去結果（例えば、上述の図7に示すテスト結果41a）及び第二エコー除去結果（例えば、上述の図7に示すテスト結果41b）に基づいて、第一最適信号処理ポリシーを決定する具体的なプロセスは次のように記述されても良く、即ち、目標ユーザ端末は第一テスト処理結果のうちから第一エコー除去アルゴリズムに対応する第一エコー除去結果を取得し、また、第二テスト処理結果のうちから第二エコー除去アルゴリズムに対応する第二エコー除去結果を取得でき、そして、目標ユーザ端末は第一エコー除去結果に対応する最適化品質と、第二エコー除去結果に対応する最適化品質との第一比較を行い、第一比較結果を取得できる。そのうち、理解できるように、図7に示すように、目標ユーザ端末はテスト結果41a及びテスト結果41bに基づいて、同じ最適化機能を有する第一最適化コンポーネント及び第二最適化コンポーネントの音声テスト効果を決定できる。例えば、上述のアプリケーション層内の第一エコー除去コンポーネントのアプリケーション層での音声テスト効果V11と、上述の端末システム層内の第二エコー除去コンポーネントの端末システム層での音声テスト効果V12とを比較することで、テスト結果41aがテスト結果41bよりも良いかを判断できる。このようにして、図7に示す第一比較結果により、テスト結果41aがテスト結果41bよりも良いと指示される場合、前述の第一エコー除去結果に対応する最適化品質が前述の第二エコー除去結果に対応する最適化品質よりも良いことを表し、そして、第一前置信号処理ポリシーにおける第一エコー除去アルゴリズムを音質パラメータと関連付けられる第一最適信号処理ポリシーとしても良く、逆に、図7に示す第一比較結果により、テスト結果41bがテスト結果41aよりも良いと指示される場合、第二エコー除去結果に対応する最適化品質が第一エコー除去結果に対応する最適化品質よりも良いことを表し、そして、第二前置信号処理ポリシーにおける第二エコー除去アルゴリズムを音質パラメータと関連付けられる第一最適信号処理ポリシーとしても良い。オプションとして、理解できるように、テスト結果41aがテスト結果41bと同じである場合、第一前置信号処理ポリシーにおける第一エコー除去アルゴリズム又は第二前置信号処理ポリシーにおける第二エコー除去アルゴリズムを第一最適信号処理ポリシーとすることができる。
理解できるように、該目標ユーザ端末は第一ノイズ抑制結果（例えば、上述の図7に示すテスト結果42a）及び第二ノイズ抑制結果（例えば、上述の図7に示すテスト結果42b）に基づいて、第二最適信号処理ポリシーを決定する具体的なプロセスは次のように記述されても良く、即ち、目標ユーザ端末は第一テスト処理結果のうちから第一ノイズ抑制アルゴリズムに対応する第一ノイズ抑制結果を取得し、また、第二テスト処理結果のうちから第二ノイズ抑制アルゴリズムに対応する第二ノイズ抑制結果を取得でき、そして、目標ユーザ端末は第一ノイズ抑制結果に対応する最適化品質と、第二ノイズ抑制結果に対応する最適化品質との第二比較を行い、第二比較結果を得ることができる。そのうち、理解できるように、図7に示すように、目標ユーザ端末はテスト結果42a及びテスト結果42bに基づいて同じ最適化機能を有する各音声最適化コンポーネントの音声テスト効果を決定できる。例えば、上述のアプリケーション層内の第一ノイズ抑制コンポーネントのアプリケーション層での音声テスト効果V21と上述の端末システム層内の第二ノイズ抑制コンポーネントの端末システム層での音声テスト効果V22とを比較することにより、該テスト結果42aがテスト結果42bよりも良いかを判断できる。このようにして、図7に示す第二比較結果により、テスト結果42aがテスト結果42bよりも良いと指示される場合、前述の第一ノイズ抑制結果に対応する最適化品質が前述の第二ノイズ抑制結果に対応する最適化品質よりも良いことを表し、そして、第一前置信号処理ポリシーにおける第一ノイズ抑制アルゴリズムを音質パラメータと関連付けられる第二最適信号処理ポリシーとしても良く、逆に、図7に示す第二比較結果により、テスト結果42bがテスト結果42aよりも良いと指示される場合、第二ノイズ抑制結果に対応する最適化品質が第一ノイズ抑制結果に対応する最適化品質よりも良いことを表し、この場合、該目標ユーザ端末は第二前置信号処理ポリシーにおける第二ノイズ抑制アルゴリズムを音質パラメータと関連付けられる第二最適信号処理ポリシーとしても良い。同様に、オプションとして、テスト結果42aがテスト結果42bと同じである場合、第一前置信号処理ポリシーにおける第一ノイズ抑制アルゴリズム又は第二前置信号処理ポリシーにおける第二ノイズ抑制アルゴリズムを第二最適信号処理ポリシーとすることができる。
理解できるように、該目標ユーザ端末は第一利得制御結果（例えば、上述の図7に示すテスト結果43a）及び第二利得制御結果（例えば、上述の図7に示すテスト結果43b）に基づいて、第三最適信号処理ポリシーを決定する具体的なプロセスは次のように記述されても良く、即ち、目標ユーザ端末は第一テスト処理結果のうちから第一利得制御アルゴリズムに対応する第一利得制御結果を取得し、また、第二テスト処理結果のうちから第二利得制御アルゴリズムに対応する第二利得制御結果を取得でき、そして、目標ユーザ端末は第一利得制御結果に対応する最適化品質と、第二利得制御結果に対応する最適化品質との第三比較を行い、第三比較結果を得ることができる。そのうち、理解できるように、図7に示すように、目標ユーザ端末はテスト結果43a及びテスト結果43bに基づいて同じ最適化機能を有する各音声最適化コンポーネントの音声テスト効果を決定できる。例えば、上述のアプリケーション層内の第一利得制御コンポーネントのアプリケーション層での音声テスト効果V31と上述の端末システム層内の第二利得制御コンポーネントの端末システム層での音声テスト効果V32とを比較することで、テスト結果43aがテスト結果43bよりも良いかを判断できる。このようにして、図7に示す第三比較結果により、テスト結果43aがテスト結果43bよりも良いと指示される場合、前述の第一利得制御結果に対応する最適化品質が前述の第二利得制御結果に対応する最適化品質よりも良いことを表し、そして、第一前置信号処理ポリシーにおける第一利得制御アルゴリズムを音質パラメータと関連付けられる第三最適信号処理ポリシーとしても良く、逆に、図7に示す第二比較結果により、テスト結果43bがテスト結果43aよりも良いと指示される場合、第二利得制御結果に対応する最適化品質が第一利得制御結果に対応する最適化品質よりも良いことを表し、そして、第一前置信号処理ポリシーにおける第二利得制御アルゴリズムを音質パラメータと関連付けられる第三最適信号処理ポリシーとしても良い。同様に、オプションとして、テスト結果43aがテスト結果43bと同じである場合、第一前置信号処理ポリシーにおける第一利得制御アルゴリズム又は第二前置信号処理ポリシーにおける第二利得制御アルゴリズムを第三最適信号処理ポリシーとすることができる。
オプションとして、理解できるように、目標ユーザ端末はテストリスト（例えば、上述のテストリスト301a）において現在の端末類型とマッチしたテスト類型を見つけない場合、該目標ユーザ端末は現在の端末類型が新しい機種に属すると決定し、そして、ゲーム音声モードでマイクロフォンにより第一ユーザの上りリンク音声データ（例えば、上述の音声データR3）を得るときに、第一前置信号処理ポリシーにより上りリンク音声データ（例えば、上述の音声データR3）に対して音声最適化を行い（即ち、リアルタイムな音声最適化を行う）、第一音声最適化結果をリアルタイムで取得し、かつ第二前置信号処理ポリシーにより上りリンク音声データ（例えば、上述の音声データR3）に対して音声最適化を行い（即ち、リアルタイムな音声最適化を行う）、第二音声最適化結果をリアルタイムで取得し、それから、該目標ユーザ端末は第一音声最適化結果及び第二音声最適化結果に基づいて、第一前置信号処理ポリシー及び第二前置信号処理ポリシーのうちから音質パラメータと関連付けられる最適信号処理ポリシーを決定し、決定した最適信号処理ポリシーを第一前置信号処理ポリシーと関連付けられる信号処理結果とすることができる。
理解できるように、該目標ユーザ端末は自分の機種が新しい機種に属しないと決定する場合、上述のゲームシナリオでアプリケーション層内の各音声最適化コントロールによりリアルタイムで取得された該第一ユーザの上述の音声データに対してリアルタイムな音声最適化を行い、アプリケーション層内の各音声最適化コントロールに対応する第一音声最適化結果を得ることができる。同様に、該目標ユーザ端末はさらに、上述のゲームシナリオで端末システム層内の各音声最適化コントロールによりリアルタイムで取得された該第一ユーザの上述の音声データに対してリアルタイムな音声最適化を行い、端末システム層内の各音声最適化コントロールに対応する第二音声最適化結果を得ることができる。そのうち、該目標ユーザ端末は同じ最適化機能を有する音声最適化コンポーネントの音声最適化効果に対して比較を行う具体的な実現方式については、上述の同じ最適化機能を有する音声最適化コンポーネントの音声テスト効果についての説明を参照でき、ここではその詳しい説明を省略する。
第一前置信号処理ポリシーにおける第一最適化コンポーネントは次のようなもののうちの少なくとも1つを含んでも良く、即ち、上述の第一エコー除去コンポーネント、上述の第一ノイズ抑制コンポーネント及び上述の第一利得制御コンポーネントである。第二前置信号処理ポリシーにおける第二最適化コンポーネントは次のようなもののうちの少なくとも1つを含んでも良く、即ち、上述の第二エコー除去コンポーネント、上述の第二ノイズ抑制コンポーネント及び上述の第二利得制御コンポーネントである。そのうち、第一エコー除去コンポーネント及び第二エコー除去コンポーネントはすべてエコー除去を行うために用いられ、第一ノイズ抑制コンポーネント及び第二ノイズ抑制コンポーネントはすべてノイズ抑制を行うために用いられ、第一利得制御コンポーネント及び第二利得制御コンポーネントはすべて利得調整を行うために用いられる。
同じ最適化機能を有する音声最適化コンポーネントがアプリケーション層及び端末システム層内で重複して実行されることを避けるために、本出願の実施例では次のようなことが提案されており、即ち、ゲーム音声モードで、対応するスチッチを、前述のアプリケーション層で前置信号処理スキームにおける各部分（即ち、各音声最適化コンポーネント）のオン及びオフを制御するために提供することで、同じ最適化機能を有する音声最適化コンポーネントがアプリケーション層又は端末システム層で実行されることを確保でき、このようにして、ゲームシナリオにおけるリアルタイムな音声最適化（即ち、リアルタイムな人間の声の最適化）プロセスでは、人間の声の最適化フローの全体のパフォーマンス消費を低減できるため、ゲームシナリオにおける音声インタラクションの体験を向上でき、また、本出願の実施例はさらに該ゲーム音声モードで端末システムリソース（例えば、CPU（Central Processing Unit、中央処理器）の計算リソース）の浪費を避けることができるため、端末の消費電力を効果的に節約できる。
理解しやすくするために、図8を参照し、図8は本出願の実施例で提供される、音声前置信号処理スキームにおける各音声最適化コンポーネントのオン及びオフを制御するシナリオを示す図である。理解できるように、ここでの音声前置信号処理スキームは上述の目標ユーザ端末が上りリンク音声データの明晰性、ラウドネスなどを向上させるために行う関連処理であっても良く、例えば、関連処理はエコー除去、ノイズ抑制、自動利得などを含んでも良い。理解しやすくするために、ここでは音声前置信号処理スキームが上述の第一前置信号処理ポリシー及び上述の第二前置信号処理ポリシーを含むことを例にして、アプリケーション層内で音声前置信号処理スキームにおける各音声最適化コンポーネントのオン及びオフを制御する具体的なプロセスを説明する。
図8に示すアプリケーション層601aは上述の業務アプリケーションのアプリケーション層であっても良く、該アプリケーション層601aに対応する音声前置信号処理スキームは上述の第一前置信号処理ポリシーであっても良く、このようにして、該第一前置信号処理ポリシーにおける第一最適化コンポーネントは少なくとも、図8に示す音声最適化コンポーネント61a、音声最適化コンポーネント62a及び音声最適化コンポーネント63aを含む。理解できるように、そのうち、図8に示す音声最適化コンポーネント61aは上述のエコー除去を行うための第一エコー除去コンポーネントであって良く、同様に、図8に示す音声最適化コンポーネント62aは上述のノイズ抑制を行うための第一ノイズ抑制コンポーネントであっても良く、同様に、図8に示す音声最適化コンポーネント63aは上述の利得調整を行うための第一利得制御コンポーネントであっても良い。
図8に示す端末システム層602aは上述の業務アプリケーションの属する端末（即ち、上述の目標ユーザ端末）の下位層のシステム層であっても良く、該端末システム層602aに対応する音声前置信号処理スキームは上述の第二前置信号処理ポリシーであっても良く、このようにして、該第二前置信号処理ポリシーにおける第二最適化コンポーネントは少なくとも、図8に示す音声最適化コンポーネント61b、音声最適化コンポーネント62b及び音声最適化コンポーネント63bを含む。理解できるように、そのうち、図8に示す音声最適化コンポーネント61bは上述のエコー除去を行うための第二エコー除去コンポーネントであっても良く、同様に、図8に示す音声最適化コンポーネント62bは上述のノイズ抑制を行うための第二ノイズ抑制コンポーネントであっても良く、同様に、図8に示す音声最適化コンポーネント63bは上述の利得調整を行うための第二利得制御コンポーネントであっても良い。
理解できるように、同じ機能を持つ各音声最適化コンポーネントの重複実行を避けるために、本出願の実施例では次のようなことが提案されており、即ち、図8に示すアプリケーション層601aにおいて、対応するスチッチを、該アプリケーション層601aが図8に示す端末システム層602aにおける各音声最適化コンポーネントのオン及びオフを制御することを助けるために提供する。
例えば、図8に示すアプリケーション層601a内のスチッチK11は図8に示す音声最適化コンポーネント61aを制御するために用いられ、アプリケーション層内のスチッチK12は図8に示す端末システム層602aにおける音声最適化コンポーネント61bを制御するために用いられても良い。理解できるように、図8に示すアプリケーション層601aにおける音声最適化コンポーネント61aと図8に示す端末システム層602aにおける音声最適化コンポーネント61bが同じ最適化機能を有するので、該目標ユーザ端末はアプリケーション層601aと端末システム層602aとの間の連携メカニズム（ネゴシエートメカニズムともいう）に基づいて、該アプリケーション層601aで端末システム層602a内の第二前置信号処理ポリシーにおける音声最適化コンポーネント61bのオン（又はオフ）を制御するかを選択できる。例えば、図8に示すように、目標ユーザ端末はアプリケーション層601aで第一前置信号処理ポリシーにおける音声最適化コンポーネント61aをオンするように制御でき、即ち、該目標ユーザ端末は、業務スチッチ64aがスチッチK11をオフし、かつスチッチK12をオフするように制御するための第一制御命令を生成しても良く、このときに、該第一制御命令は、該目標ユーザ端末が第二前置信号処理ポリシーにおいてオフされる第二最適化コンポーネント（例えば、図8の音声最適化コンポーネント61b）を第一連携コンポーネントとし、また、第一前置信号処理ポリシーにおいて該第一連携コンポーネントと同じ最適化機能を有する第一最適化コンポーネント（例えば、図8に示す音声最適化コンポーネント61a）をオンするように指示するために用いられ得る。
同様に、アプリケーション層601a内のスチッチK21は図8に示す音声最適化コンポーネント62aを制御するために用いられ、アプリケーション層内のスチッチK22は図8に示す端末システム層602aにおける音声最適化コンポーネント62bを制御するために用いられても良い。理解できるように、図8に示すアプリケーション層601aにおける音声最適化コンポーネント62aと図8に示す端末システム層602aにおける音声最適化コンポーネント62bが同じ最適化機能を有するので、該目標ユーザ端末はアプリケーション層601aと端末システム層602aとの間の連携メカニズム（ネゴシエートメカニズムともいう）に基づいて、該アプリケーション層601aで端末システム層602a内の第二前置信号処理ポリシーにおける音声最適化コンポーネント62bをオン（又はオフ）するように制御するかを選択できる。例えば、図8に示すように、目標ユーザ端末はアプリケーション層601aで第二前置信号処理ポリシーの音声最適化コンポーネント62aのオンを制御でき、即ち、該目標ユーザ端末は業務スチッチ64bがスチッチK22をオフし、かつスチッチK21をオフするように制御するための第二制御命令を生成でき、このときに、該第二制御命令は該目標ユーザ端末が第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネント（例えば、図8の音声最適化コンポーネント62b）を第二連携コンポーネントとし、また、第一前置信号処理ポリシーにおいて該第二連携コンポーネントと同じ最適化機能を有する第一最適化コンポーネント（例えば、図8に示す音声最適化コンポーネント62a）をオフするように指示するために用いられ得る。
同様に、アプリケーション層601a内のスチッチK31は図8に示す音声最適化コンポーネント63aを制御するために用いられ、アプリケーション層内のスチッチK32は図8に示す端末システム層602aにおける音声最適化コンポーネント63bを制御するために用いられても良い。理解できるように、図8に示すアプリケーション層601aにおける音声最適化コンポーネント63aと図8に示す端末システム層602aにおける音声最適化コンポーネント63bが同じ最適化機能を有するので、該目標ユーザ端末はアプリケーション層601aと端末システム層602aとの間の連携メカニズム（ネゴシエートメカニズムともいう）に基づいて、該アプリケーション層601aで端末システム層602a内の第二前置信号処理ポリシーにおける音声最適化コンポーネント63bをオン（又はオフ）するように制御するかを選択できる。そのうち、該目標ユーザ端末は業務スチッチ64cがスチッチK31をオフし、かつスチッチK32をオフするように制御するための第三制御命令を生成できる。その具体的な実現方式については、上述の第一制御命令などについての説明を参照でき、ここではその詳しい説明を省略する。このときに、目標ユーザ端末は第二前置信号処理ポリシーにおいてオフされる第二最適化コンポーネント（例えば、図8の音声最適化コンポーネント63b）を新しい第一連携コンポーネントとし、第一前置信号処理ポリシーにおいて該新しい第一連携コンポーネントと同じ最適化機能を有する第一最適化コンポーネント（例えば、図8に示す音声最適化コンポーネント63a）をオンすることができる。
ステップS103：業務アプリケーションに対応する第一ユーザのゲーム音声モードでの上りリンク音声データを取得し、第一前置信号処理ポリシーにおいてオンされる第一最適化コンポーネント及び第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントに基づいて、ゲーム音声モードでの上りリンク音声データに対して音声最適化を行う。
理解できるように、該目標ユーザ端末はさらに、上述の第一前置信号処理ポリシーにおいてオンされる第一最適化コンポーネント及び上述の第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントに基づいて、該ゲームシナリオにおいてリアルタイムで収集された第一ユーザの上りリンク音声データに対して音声最適化を行うことで、該目標ユーザ端末に現在入力される上りリンク音声データの清晰度及びラウドネスを確保できる。このようにして、該目標ユーザ端末は該ゲーム音声モードで、高い清晰度及びラウドネスを有する第一ユーザの音声を通信先（即ち、上述の第三ユーザに対応する端末）に伝送できる。このようにして、該通信先のスピーカーにより再生された下りリンク音声データは音声最適化処理後の第一ユーザの音声であっても良い。
本出願の実施例では、コンピュータ機器（例えば、移動端末としての目標ユーザ端末）はゲーム音声モードで、業務アプリケーションのアプリケーション層内の第一前置信号処理ポリシーと関連付けられる信号処理結果を取得でき、そのうち、理解できるように、該第一前置信号処理ポリシーにおける各第一最適化コンポーネントは第二前置信号処理ポリシーにおいて対応する第二最適化コンポーネントと同じ最適化機能を有する。よって、後続のゲームのリアルタイムな音声の人間の声の処理（即ち、上りリンク音声データの音声最適化）プロセスでは、該ゲーム音声モードで同一の機能を有する音声最適化コンポーネントが重複して実行される現象を効果的に解決できる。例えば、本出願の実施例では次のことが提案されており、即ち、前述の信号処理結果（即ち、同じ機能を持つ音声最適化コンポーネントに対応するアルゴリズムの比較結果）に基づいて、アプリケーション層で端末システム層内の１つ又は複数の第二最適化コンポーネントのオン又はオフを制御することで、同一の機能を有する音声最適化コンポーネントがゲームアプリケーション層又は端末システム層で実行されるようにさせることができ、このようにして、上りリンク音声データの音質損傷を根本的に減少させることができる。理解できるように、ここでは端末システム層においてオン又はオフされる第二最適化コンポーネントの数及び類型について限定しない。さらに、コンピュータ機器は第一ユーザのゲーム音声モードでの上りリンク音声データを得たときに、オンされる第一最適化コンポーネント及びオンされる第二最適化コンポーネントに基づいて、収集した上りリンク音声データに対して共同で（連携して）音声最適化を迅速に行うことができるため、音質損傷を低減しながら、ゲームシナリオにおける音声最適化効果を向上させることができる。
図9を参照し、図9は本出願の実施例で提供される音声データ処理方法を示す図である。図9に示すように、該方法はユーザ端末（例えば、目標ユーザ端末であり、該目標ユーザ端末は上述の図1に示すユーザ端末3000aであっても良い）により実行されても良く、該方法は具体的には以下のステップS201～S213のうちの少なくとも１つのステップを含み得る。
ステップS201：第一ユーザが業務アプリケーションにアクセスするときに、業務アプリケーションをロードするためのシステムリソースパケットを取得し、システムリソースパケットに対して解析処理を行い、業務アプリケーションのシステムリソースデータを取得する。
ステップS202：システムリソースデータに対して初期化処理を行い、初期化処理後のシステムリソースデータに基づいて業務アプリケーションの業務モードをシステムメディアモードに初期設定する。
理解しやすくするために、図10を参照し、図10は本出願の実施例で提供されるリソース設定インターフェースのシナリオを示す図である。理解できるように、ゲームシナリオでは、図10に示すゲームユーザAは上述の図4に対応する実施例におけるユーザ1であっても良い。
図10に示すように、該ゲームユーザAが該目標ユーザ端末で図10に示す業務アプリケーションを起動するときに、図10に示す業務サーバーから、該業務アプリケーションをロードするためのシステムリソースパケットを取得でき、そして、該目標ユーザ端末における符号化器により、取得したシステムリソースパケットに対して解析処理を行い、該業務アプリケーションのシステムリソースデータを得ることができる。また、該目標ユーザ端末はさらに、該システムリソースデータに対して初期化処理を行うことができ、そして、初期化処理後のシステムリソースデータに基づいて図10のリソース設定インターフェースを出力でき、図10に示すように、該リソース設定インターフェースは初期化処理後のシステムリソースデータにおけるマルチメディアデータを動的に出力するために用いられ、ここでのマルチメディアデータは図10に示す画像フレーム及び音声フレームを含んでも良いが、これらに限定されない。理解できるように、本出願の実施例では初期化処理後のシステムリソースデータに基づいて該業務アプリケーションの業務モードをシステムメディアモードに初期設定することで、図10に示すリソース設定インターフェースではスピーカーにより図10に示すメディア音声データ（即ち、前述の音声フレームデータ及びビデオフレームデータ）を再生できる。理解できるように、該目標ユーザ端末はさらに、システム設定完了後に、後述のステップS103を実行することで、該業務アプリケーションの表示インターフェースを図10に示すリソース設定インターフェース800aから音声コントロールを含むアプリケーション表示インターフェースに切り替えることができる。このようにして、該ゲームユーザAがアプリケーション表示インターフェースでオフ状態にある該音声コントロールをトリガーするときに、該業務アプリケーションの業務モードを現在のシステムメディアモードから上述のゲーム音声モードに切り替えることで、該ゲーム音声モードで音声インタラクションを行うことができる。
ステップS203：初期化処理後のシステムリソースデータに基づいて業務アプリケーションのアプリケーション表示インターフェースを出力する。
そのうち、アプリケーション表示インターフェースには第一ユーザが音声インタラクション業務を開始するように指示するための音声コントロールを含む。
ステップS204：第一ユーザの音声コントロールに対しての音声オン操作に応じて、業務アプリケーションのアプリケーション類型を検出する。
ステップS205：業務アプリケーションのアプリケーション類型がゲーム類型であると検出するときに、ゲーム類型と関連付けられる第一音声通話命令を生成し、そして、第一音声通話命令に基づいて業務アプリケーションの業務モードをシステムメディアモードからゲーム音声モードに切り替える。
オプションとして、目標ユーザ端末は上述のステップS204を実行した後に、さらに、業務アプリケーションのアプリケーション類型がゲーム類型であると検出したときに、直接、業務アプリケーションの業務モードをシステムメディアモードからゲーム音声モードに切り替えることができる。
ステップS206：ゲーム音声モードで、業務アプリケーションのアプリケーション層内の第一前置信号処理ポリシーと関連付けられる信号処理結果を取得する。
ステップS207：信号処理結果に基づいて、アプリケーション層で端末システム層内の第二前置信号処理ポリシーにおける第二最適化コンポーネントのオン及びオフを制御し、又は、第一前置信号処理ポリシーにおける第一最適化コンポーネントのオン及びオフを制御する。
そのうち、理解できるように、目標ユーザ端末はアプリケーション層内でアルゴリズムの比較結果に基づいて第一前置信号処理ポリシーにおける第一最適化コンポーネントをオン及びオフするように制御する具体的な実現方式については、上述の図5に対応する実施例において端末システム層内の第二前置信号処理ポリシーにおける第二最適化コンポーネントをオン及びオフするように制御する具体的なプロセスの説明を参照できるため、ここではその詳しい説明を省略する。
ステップS208：業務アプリケーションに対応する第一ユーザのゲーム音声モードでの上りリンク音声データを取得し、第一前置信号処理ポリシーにおいてオンされる第一最適化コンポーネント及び第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントに基づいて、ゲーム音声モードでの上りリンク音声データに対して音声最適化を行う。
そのうち、ステップS205～ステップS208の具体的な実現方式については、上述の図5に対応する実施例におけるステップS101～ステップS104の説明を参照でき、ここではその詳しい説明を省略する。
ステップS209：音声最適化後の上りリンク音声データを上りリンク音声データに対応する目標音声最適化結果とする。
ステップS210：目標音声最適化結果を第一ユーザと関連付けられる第三ユーザに対応する端末に送信することで、第三ユーザに対応する端末がゲーム音声モードでスピーカーにより音声最適化後の上りリンク音声データを再生するようにさせる。
オプションとして、第一ユーザ及び第三ユーザはすべてゲーム音声モードで同じゲーム陣営にあるゲームユーザである。
オプションとして、理解できるように、コンピュータ機器が上述のステップS204を実行した後に、目標ユーザ端末により、現在実行の業務アプリケーションのアプリケーション類型が非ゲーム類型に属すると検出されたときに、さらに、後述のステップS211～ステップS213の実行にジャンプでき、これによって、システム通話モードで上述の第一ユーザに他のユーザ（例えば、第二ユーザ）とシステム通話を行わせることができる。
ステップS211：業務アプリケーションのアプリケーション類型が非ゲーム類型であると検出するときに、ゲーム類型と関連付けられる第二音声通話命令を生成し、そして、第二音声通話命令に基づいて業務アプリケーションの業務モードをシステムメディアモードからシステム通話モードに切り替える。
ステップS212：システム通話モードに基づいて音声インタラクション業務の通話類型をシステム通話類型として決定するときに、業務アプリケーションにより第二ユーザにシステム通話類型に対応するシステム通話要求を送信する。
そのうち、第二ユーザは第一ユーザが業務アプリケーションで選択する、システム通話を行うように要求するユーザである。
ステップS213：第二ユーザがシステム通話要求に応答したときに、第一ユーザと第二ユーザとの間のシステム通信チャンネルを確立し、システム通信チャンネルに基づいてシステム通話を行う。
理解しやすくするために、さらに、図11を参照し、図11は本出願の実施例で提供される、異なる類型の言語のダブルトークのサービスを提供するためのフローチャートである。そのうち、図11に示すように、第一ユーザが該目標ユーザ端末で上述の業務アプリケーションを起動した後に、図11に示すステップS1を実行することで、システムリソースの初期化を行うことができ、例えば、該目標ユーザ端末は上述の解析により得られたシステムリソースデータに対して初期化処理を行うことができ、そして、初期化処理後のシステムリソースデータに基づいて図11に示すステップS2を実行することで、該目標ユーザ端末がデフォルトでシステムメディアモードに入るようにさせることができ、具体的には、目標ユーザ端末は業務アプリケーションの業務モードをシステムメディアモードに初期設定できる。さらに、第一ユーザが他のユーザと音声インタラクションを行う必要があるときに、図11に示すステップS3を実行することで、該目標ユーザ端末のアプリケーション層で音声通話を開始できる。このときに、該目標ユーザ端末は図11に示すステップS4を実行することで、該音声通話を開始する業務アプリケーションのアプリケーション類型を判断でき、業務アプリケーションのアプリケーション類型がゲーム類型である場合、図11に示すステップS5を実行することで、ゲーム音声モードに入ることができ、即ち、第一ユーザは該システム通話モードで他のユーザ（例えば、上述の第三ユーザ）とゲームシナリオでの音声通話を行うことができる。そうでない場合、図11に示すように、図11に示すステップS11を実行することで、システム通話モードに入ることができ、即ち、第一ユーザは該システム通話モードで他のユーザ（例えば、上述の第二ユーザ）と非ゲームシナリオでのシステム通話を行うことができる。
図11に示すように、該目標ユーザ端末はステップS5を実行した後に、さらに、ステップS6を実行することで、該目標ユーザ端末で端末の音声サンプリング率を設定でき（例えば、図11に示す上りリンク、下りリンクサンプリング率を設定することで、サンプリング率を確保する）及びチャンネル数を設定でき（これによって、上りリンク、下りリンクの音声品質を保証できる）、ここでの音声サンプリング率及びチャンネル数は上述の音質パラメータであっても良い。さらに、図11に示すように、目標ユーザ端末はステップS7を実行でき、即ち、目標ユーザ端末は上述のアルゴリズムの比較効果に基づいて、アプリケーション層の音声前置音声処理アルゴリズムをオンし、かつ端末システム層の前置音声処理アルゴリズムをオフできる。オプションとして、目標ユーザ端末はさらに、端末システム層の前置音声処理アルゴリズムをオンすると同時に、アプリケーション層の音声前置音声処理アルゴリズムをオフできる。このようにして、該目標ユーザ端末において同じ最適化機能を有する音声最適化コンポーネントがアプリケーション層又は端末システム層でワーキングするように確保でき、即ち、本出願の実施例ではできるだけ、アプリケーション層における第一最適化コンポーネント及び端末システム層における同じ最適化機能を有する第二最適化コンポーネントのうちの1つのみの音声最適化コンポーネントの音声処理アルゴリズムが同時にワーキングするように確保でき、このようにして、電力消費を最大限に低減でき、かつ最適な音質効果を提供できる。
また、図11に示すように、第一ユーザがゲームシナリオで他のユーザと図11に示すステップS8を実行するときに、該ゲーム音声シナリオで多端間のゲーム音声通話を行うことができ、即ち、ゲーム音声通話のプロセスでは、該目標ユーザ端末は上述のネゴシエートにより決定された第一最適化コンポーネント及び第二最適化コンポーネントによってリアルタイムで収集された第一ユーザの上りリンク音声データに対して最適化処理を行うことで、最適化処理後の第一ユーザの音声を他のユーザに送信できる。また、理解できるように、第一ユーザが同じ陣営における他のゲームユーザに最適化処理後の音声を送信する必要がないときに、ゲームシナリオで図11に示すステップS9を実行でき、例えば、該目標ユーザ端末は該第一ユーザの上述の音声コントロールに対しての音声オフ操作に応じて、業務アプリケーションの業務モードを前述のゲーム音声モードから図11に示すシステムメディアモードに切り替えることができる。理解できるように、本出願の実施例ではさらにゲームシナリオで該システムメディアモードを通じて他のユーザに対応する端末から伝送されて来た最適化処理後の他のユーザの音声を再生でき、例えば、目標ユーザ端末に対応する第一ユーザは該システムメディアモードで最適化処理後の他のユーザ（即ち、上述の第三ユーザ）の音声を聞くことができる。このときに、該第一ユーザは音声コントロールをオフした場合、該第一ユーザの上りリンク音声データに対して継続して音声最適化を行う必要がなく、即ち、該第一ユーザはこのときにゲームシナリオでの他のユーザに最適化処理後の第一ユーザの音声を送信する必要がない。
理解できるように、図11に示すように、第一ユーザが上述の業務アプリケーションにおけるゲームを実行した後に、図11に示すステップS10を実行することで、現在のゲームシステムから出ることができ、このときに、該目標ユーザ端末は関連するシステムリソースデータをリリースできる。
理解できるように、第一ユーザが該目標ユーザ端末で音楽を聴くときに、該目標ユーザ端末は上述のシステムメディアモードでワーキングでき、第一ユーザが該目標ユーザ端末で電話通話を行うときに、該目標ユーザ端末は上述のシステム通話モードでワーキングでき、オプションとして、第一ユーザが該目標ユーザ端末でゲーム音声を行うときに、該目標ユーザ端末は上述のゲーム音声モードでワーキングできる。理解できるように、本出願の実施例に係る音声インタラクションシステムは次のような2つのモジュールを含んでも良く、１つのモジュールは目標ユーザ端末内のゲーム音声モードであり、それは前述のシステム通話モード及びシステムメディアモードと並列して目標ユーザ端末に存在し得る。理解できるように、該ゲーム音声モードで、該目標ユーザ端末の音質指標に基づいて設定される音声の上りリンク、下りリンク音声サンプリング率、チャンネル数の間に互いに影響しない。もう１つのモジュールはアプリケーション層で実行される前置信号処理スキームであり、例えば、目標ユーザ端末は端末システム層の音声処理効果に基づいてアプリケーション層の前置信号処理スキームをインテリジェントに調整できる。このようにして、この2つのモジュールの連携ワーキングにより、該目標ユーザ端末はゲームシナリオでゲームユーザの間の音声インタラクションの体験を向上させることができる。
本出願の実施例では、コンピュータ機器（例えば、目標ユーザ端末）により、業務アプリケーションのアプリケーション類型がゲーム類型であると検出されたきに、ゲーム音声モードに入ることができ、そして、ゲーム音声モードで、適応的に、前述の信号処理結果（即ち、同じ機能を持つ音声最適化コンポーネントに対応するアルゴリズムの比較結果）に基づいて、アプリケーション層で端末システム層内の１つ又は複数の第二最適化コンポーネントをオン又はオフするように制御することで、同じ最適化機能を有する音声最適化コンポーネントがゲームアプリケーション層又は端末システム層で実行されるようにさせることができ、このようにして、上りリンク音声データの音質損傷を根本的に減少させることができる。理解できるように、ここでは端末システム層内でオン又はオフされる第二最適化コンポーネントの数及び類型について限定しない。また、コンピュータ機器（例えば、目標ユーザ端末）はさらに、第一ユーザのゲーム音声モードでの上りリンク音声データを得たときに、オンされる第一最適化コンポーネント及びオンされる第二最適化コンポーネントに基づいて、ゲーム音声モードでの上りリンク音声データに対して音声最適化を迅速に行うことで、音質損傷を低減しながら、ゲームシナリオでの音声最適化効果を向上させることができる。オプションとして、本出願の実施例ではさらに、業務アプリケーションのアプリケーション類型が非ゲーム類型であると検出されたときに、システム音声モードに入ることができ、そして、システム音声モードで該第一ユーザが他のユーザとシステム通話を行うようにさせることができる。
図12を参照し、図12は本出願の実施例で提供されるもう１つの音声データ処理方法のフローチャートである。該方法はコンピュータ機器により実行され、例えば、該方法はユーザ端末（例えば、上述の目標ユーザ端末であり、該目標ユーザ端末は上述の図4に対応する実施例におけるユーザ端末10aであっても良い）により実行されても良く、業務サーバー（例えば、上述の図1に示す業務サーバー2000）により実行されても良く、さらに、ユーザ端末及び業務サーバーの連携により実行されても良い。理解しやすくするために、本実施例では該方法がユーザ端末により実行されることを例にして説明を行う。そのうち、該音声データ処理方法は以下のステップS301～ステップS302のうちの少なくとも１つのステップを含み得る。
ステップS301：ゲーム音声モードで、業務アプリケーションのアプリケーション層内の第一前置信号処理ポリシーと関連付けられる信号処理結果を取得する。
ステップS302：信号処理結果に基づいて、アプリケーション層で端末システム層内の第二前置信号処理ポリシーにおける第二最適化コンポーネントのオンオフ状態を制御する。
そのうち、第一前置信号処理ポリシーには少なくとも１つの第一最適化コンポーネントが含まれ、第二前置信号処理ポリシーには少なくとも１つの第二最適化コンポーネントが含まれる。
例えば、信号処理結果に基づいて、アプリケーション層で、端末システム層内の第二前置信号処理ポリシーにおいてオンされる必要のある第二最適化コンポーネントを決定し、及び/又は、信号処理結果に基づいて、アプリケーション層で、端末システム層内の第二前置信号処理ポリシーにおいてオフされる必要のある第二最適化コンポーネントを決定する。その後、第二前置信号処理ポリシーにおいてオンされる必要のある第二最適化コンポーネントについて、該第二最適化コンポーネントの現在の状態がオフ状態である場合、アプリケーション層で該第二最適化コンポーネントをオンするように制御し、該第二最適化コンポーネントの現在の状態がオン状態である場合、該第二最適化コンポーネントをオンするように保持し、第二前置信号処理ポリシーにおいてオフされる必要のある第二最適化コンポーネントについて、該第二最適化コンポーネントの現在の状態がオン状態である場合、アプリケーション層で該第二最適化コンポーネントをオフするように制御し、該第二最適化コンポーネントの現在の状態がオフ状態である場合、該第二最適化コンポーネントをオフするように保持する。
オプションとして、信号処理結果に基づいて、アプリケーション層で第一前置信号処理ポリシーにおける第一最適化コンポーネントのオンオフ状態を制御する。
幾つかの実施例において、上述のステップS302は信号処理結果に基づいて、第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントを決定し、かつ第二前置信号処理ポリシーにおいてオフされる第二最適化コンポーネントを決定し、アプリケーション層内で、第二前置信号処理ポリシーにおいてオフされる第二最適化コンポーネントを第一連携コンポーネントとし、かつ第一前置信号処理ポリシーにおいて該第一連携コンポーネントと同じ最適化機能を有する第一最適化コンポーネントをオンし、そして、アプリケーション層内で、第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントを第二連携コンポーネントとし、かつ第一前置信号処理ポリシーにおいて該第二連携コンポーネントと同じ最適化機能を有する第一最適化コンポーネントをオフすることを含む。
幾つかの実施例において、上述のステップS301は業務アプリケーションの属する端末の端末類型を取得し、業務アプリケーションと関連付けられるテストリストにおいて端末類型とマッチしたテスト類型を見つけ、テストリストにおいて端末類型とマッチしたテスト類型を見つけた場合、音質パラメータに基づいて、テストリストのうちから、第一前置信号処理ポリシーを採用して得られる第一テスト処理結果を取得し、かつ第二前置信号処理ポリシーを採用して得られる第二テスト処理結果を取得し、第一テスト処理結果及び第二テスト処理結果に基づいて、第一前置信号処理ポリシー及び第二前置信号処理ポリシーのうちから音質パラメータと関連付けられる最適信号処理ポリシーを決定し、該最適信号処理ポリシーを第一前置信号処理ポリシーと関連付けられる信号処理結果とすることを含む。
オプションとして、テストリストにおいて端末類型とマッチしたテスト類型を見つけない場合、ゲーム音声モードでマイクロフォンにより第一ユーザの上りリンク音声データを得たときに、第一前置信号処理ポリシーにより上りリンク音声データに対して音声最適化を行い、第一音声最適化結果を取得し、かつ第二前置信号処理ポリシーにより上りリンク音声データに対して音声最適化を行い、第二音声最適化結果を取得し、そして、第一音声最適化結果及び第二音声最適化結果に基づいて、第一前置信号処理ポリシー及び第二前置信号処理ポリシーのうちから音質パラメータと関連付けられる最適信号処理ポリシーを決定し、該最適信号処理ポリシーを、第一前置信号処理ポリシーと関連付けられる信号処理結果とする。
幾つかの実施例において、上述の方法はさらに、業務アプリケーションに対応する第一ユーザのゲーム音声モードでの上りリンク音声データを取得し、第一前置信号処理ポリシーにおいてオンされる第一最適化コンポーネント及び第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントに基づいて、ゲーム音声モードでの上りリンク音声データに対して音声最適化を行うことを含む。
幾つかの実施例において、上述の方法はさらに、第一ユーザが前記業務アプリケーションにアクセスするときに、業務アプリケーションをロードするためのシステムリソースパケットを取得し、システムリソースパケットに対して解析処理を行い、業務アプリケーションのシステムリソースデータを取得し、システムリソースデータに対して初期化処理を行い、初期化処理後のシステムリソースデータに基づいて業務アプリケーションの業務モードをシステムメディアモードに初期設定することを含む。
幾つかの実施例において、上述の方法はさらに、音声最適化後の上りリンク音声データを上りリンク音声データに対応する目標音声最適化結果とし、目標音声最適化結果を第一ユーザと関連付けられる第三ユーザに対応する端末に送信することで、第三ユーザに対応する端末がゲーム音声モードでスピーカーにより前記音声最適化後の上りリンク音声データを再生するようにさせることを含む。
本出願の実施例では、ゲーム音声モードを提供し、該モードで、業務アプリケーションのアプリケーション層が端末システム層内の音声最適化コンポーネントのオンオフ状態を制御する権限を有し、これによって、業務アプリケーションは実際の業務の要求又はニーズに基づいて、端末システム層内の音声最適化コンポーネントのオンオフ状態を柔軟に制御し、該モードでの音声最適化効果を保証できる。
図13を参照し、図13は本出願の実施例で提供されるもう１つの音声データ処理方法のフローチャートである。該方法はコンピュータ機器により実行され、例えば、該方法はユーザ端末（例えば、上述の目標ユーザ端末であり、該目標ユーザ端末は上述の図4に対応する実施例におけるユーザ端末10aであっても良い）により実行されても良く、業務サーバー（例えば、上述の図1に示す業務サーバー2000）により実行されても良く、さらに、ユーザ端末及び業務サーバーの連携により実行されても良い。理解しやすくするために、本実施例では該方法がユーザ端末により実行されることを例にして説明を行う。そのうち、該音声データ処理方法は以下のステップS401～ステップS402のうちの少なくとも１つのステップを含む。
ステップS401：ゲーム音声モードで、業務アプリケーションのアプリケーション層内の第一前置信号処理ポリシーと関連付けられる信号処理結果を取得する。
ステップS402：信号処理結果に基づいて、端末システム層内の第二前置信号処理ポリシーにおける第二最適化コンポーネントのオンオフ状態を制御し、又は、第一前置信号処理ポリシーにおける第一最適化コンポーネントのオンオフ状態を制御し、そのうち、第一前置信号処理ポリシーにおいてオンされる第一最適化コンポーネントは第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントとは異なる。
そのうち、第一前置信号処理ポリシーには少なくとも１つの第一最適化コンポーネントが含まれ、第二前置信号処理ポリシーには少なくとも１つの第二最適化コンポーネントが含まれる。
オプションとして、第一前置信号処理ポリシーにおいてオンされる第一最適化コンポーネントは第二前置信号処理ポリシーにおいてオフされる音声最適化コンポーネントと同じ最適化機能を有し、かつ第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントは第一前置信号処理ポリシーにおいてオフされる第一最適化コンポーネントと同じ最適化機能を有する。
オプションとして、ステップS402は業務アプリケーションのアプリケーション層により実行されても良く、端末システム層により実行されても良く、又は、アプリケーション層及び端末システム層の連携により実行されても良い。例えば、アプリケーション層により第一前置信号処理ポリシーにおける第一最適化コンポーネントのオンオフ状態を制御し、端末システム層により第二前置信号処理ポリシーにおける第二最適化コンポーネントのオンオフ状態を制御する。このような場合、アプリケーション層と端末システム層の間は信号処理結果を同期させる必要があり、又は、オン及びオフされる必要のある第一最適化コンポーネント及び/又は第二最適化コンポーネントを同期させる必要がある。
幾つかの実施例において、上述のステップS402は、信号処理結果に基づいて、第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントを決定し、かつ第二前置信号処理ポリシーにおいてオフされる第二最適化コンポーネントを決定し、第二前置信号処理ポリシーにおいてオフされる第二最適化コンポーネントをオフし、かつ第一前置信号処理ポリシーにおいてオフされる第二最適化コンポーネントと同じ最適化機能を有する第一最適化コンポーネントをオンし、第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントをオンし、かつ第一前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントと同じ最適化機能を有する第一最適化コンポーネントをオフすることを含む。オプションとして、第二前置信号処理ポリシーにおいてオンされる必要のある第二最適化コンポーネントについて、該第二最適化コンポーネントの現在の状態がオフ状態である場合、該第二最適化コンポーネントをオンするように制御し、該第二最適化コンポーネントの現在の状態がオン状態である場合、該第二最適化コンポーネントをオンするように保持し、第二前置信号処理ポリシーにおいてオフされる必要のある第二最適化コンポーネントについて、該第二最適化コンポーネントの現在の状態がオン状態である場合、該第二最適化コンポーネントをオフするように制御し、該第二最適化コンポーネントの現在の状態がオフ状態である場合、該第二最適化コンポーネントをオフするように保持する。
幾つかの実施例において、上述のステップS401は、業務アプリケーションの属する端末の端末類型を取得し、業務アプリケーションと関連付けられるテストリストにおいて端末類型とマッチしたテスト類型を見つけ、テストリストにおいて端末類型とマッチしたテスト類型を見つけた場合、音質パラメータに基づいて、テストリストのうちから、第一前置信号処理ポリシーを採用して得られる第一テスト処理結果を取得し、かつ第二前置信号処理ポリシーを採用して得られる第二テスト処理結果を取得し、第一テスト処理結果及び第二テスト処理結果に基づいて、第一前置信号処理ポリシー及び第二前置信号処理ポリシーのうちから音質パラメータと関連付けられる最適信号処理ポリシーを決定し、該最適信号処理ポリシーを、第一前置信号処理ポリシーと関連付けられる信号処理結果とすることを含む。
オプションとして、テストリストにおいて端末類型とマッチしたテスト類型を見つけない場合、ゲーム音声モードでマイクロフォンにより第一ユーザの上りリンク音声データを得たときに、第一前置信号処理ポリシーにより上りリンク音声データに対して音声最適化を行い、第一音声最適化結果を取得し、かつ第二前置信号処理ポリシーにより上りリンク音声データに対して音声最適化を行い、第二音声最適化結果を取得し、第一音声最適化結果及び第二音声最適化結果に基づいて、第一前置信号処理ポリシー及び第二前置信号処理ポリシーのうちから音質パラメータと関連付けられる最適信号処理ポリシーを決定し、該最適信号処理ポリシーを、第一前置信号処理ポリシーと関連付けられる信号処理結果とする。
幾つかの実施例において、上述の方法はさらに、第一ユーザが前記業務アプリケーションにアクセスするときに、業務アプリケーションをロードするためのシステムリソースパケットを取得し、システムリソースパケットに対して解析処理を行い、業務アプリケーションのシステムリソースデータを取得し、システムリソースデータに対して初期化処理を行い、初期化処理後のシステムリソースデータに基づいて業務アプリケーションの業務モードをシステムメディアモードに初期設定する。
オプションとして、上述のステップS402の後に、さらに、業務アプリケーションに対応する第一ユーザのゲーム音声モードでの上りリンク音声データを取得し、第一前置信号処理ポリシーにおいてオンされる第一最適化コンポーネント及び第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントに基づいて、ゲーム音声モードでの上りリンク音声データに対して音声最適化を行うことを含む。
本出願の実施例では、前述の信号処理結果に基づいて、端末システム層内の１つ又は複数の音声最適化コンポーネントのオン又はオフを制御することで、同じ最適化機能を有する音声最適化コンポーネントがアプリケーション層又は端末システム層で実行されるようにさせることができ、このようにして、上りリンク音声データの音質損傷を根本的に減少させ、ゲームシナリオにおける音声最適化効果を向上させることができる。
なお、図12及び図13の実施例で詳細に説明されていない内容については、本出願の他の実施例における関連内容についての説明を参照でき、ここではその詳しい説明を省略する。
図14を参照し、図14は本出願の実施例で提供される音声データ処理装置の構成図である。そのうち、該音声データ処理装置1は次のようなもののうちの少なくとも1つを含んでも良く、即ち、処理結果取得モジュール12、コンポーネント制御モジュール13及び音声最適化モジュール14である。オプションとして、該音声データ処理装置はさらに、次のようなもののうちの少なくとも1つを含んでも良く、即ち、リソースパケット取得モジュール15、初期化モジュール16、アプリケーションインターフェース出力モジュール17、音声オンモジュール18、ゲームモード切り替えモジュール11、通話モード切り替えモジュール19、通話要求送信モジュール20、通信チャンネル確立モジュール21、目標結果決定モジュール22、目標結果送信モジュール23及び音声オフモジュール24である。
処理結果取得モジュール12はゲーム音声モードで、業務アプリケーションのアプリケーション層内の第一前置信号処理ポリシーと関連付けられる信号処理結果を取得するために用いられ、そのうち、第一前置信号処理ポリシーには少なくとも１つの第一最適化コンポーネントが含まれる。
そのうち、処理結果取得モジュール12は音質指標取得ユニット121、端末類型ルックアップユニット122、テスト結果取得ユニット123、最適ポリシー決定ユニット124、最適化結果取得ユニット125及び処理結果決定ユニット126を含む。
音質指標取得ユニット121はゲーム音声モードで、業務アプリケーションの音質指標を取得し、業務アプリケーションの音質指標に基づいて、業務アプリケーションの音質パラメータを設定するために用いられる。
端末類型ルックアップユニット122は業務アプリケーションの属する端末の端末類型を取得し、業務アプリケーションと関連付けられるテストリストにおいて端末類型とマッチしたテスト類型を見つけるために用いられる。
テスト結果取得ユニット123はテストリストにおいて端末類型とマッチしたテスト類型を見つけた場合、音質パラメータに基づいてテストリストのうちから第一前置信号処理ポリシーを採用して得られる第一テスト処理結果を取得し、かつ第二前置信号処理ポリシーを採用して得られる第二テスト処理結果を取得するために用いられ、第一前置信号処理ポリシーは業務アプリケーションのアプリケーション層内の前置信号処理ポリシーであり、第二前置信号処理ポリシーはテスト端末類型に対応するシステム端末内の前置信号処理ポリシーである。
最適ポリシー決定ユニット124は第一テスト処理結果及び第二テスト処理結果に基づいて、第一前置信号処理ポリシー及び第二前置信号処理ポリシーのうちから音質パラメータと関連付けられる最適信号処理ポリシーを決定し、決定した最適信号処理ポリシーを第一前置信号処理ポリシーと関連付けられる信号処理結果とするために用いられる。
そのうち、第一前置信号処理ポリシーにおける第一最適化コンポーネントの音声最適化アルゴリズムは次のようなもののうちの少なくとも1つを含み、即ち、アプリケーション層でエコー除去を行うための第一エコー除去アルゴリズム、アプリケーション層でノイズ抑制を行うための第一ノイズ抑制アルゴリズム、及びアプリケーション層で利得調整を行うための第一利得制御アルゴリズムであり、第二前置信号処理ポリシーにおける第二最適化コンポーネントの音声最適化アルゴリズムは次のようなもののうちの少なくとも1つを含み、即ち、端末システム層でエコー除去を行うための第二エコー除去アルゴリズム、端末システム層でノイズ抑制を行うための第二ノイズ抑制アルゴリズム、及び端末システム層で利得調整を行うための第二利得制御アルゴリズムである。
そのうち、最適決定ユニット124は第一選択サブユニット1241、第二選択サブユニット1242、第三選択サブユニット1243及び最適ポリシー決定サブユニット1244を含む。
第一選択サブユニット1241は第一テスト処理結果のうちから第一エコー除去アルゴリズムに対応する第一エコー除去結果を取得し、第二テスト処理結果のうちから第二エコー除去アルゴリズムに対応する第二エコー除去結果を取得し、第一エコー除去結果及び第二エコー除去結果に基づいて、第一エコー除去アルゴリズム及び第二エコー除去アルゴリズムのうちから最適エコー除去アルゴリズムを選択し、最適エコー除去アルゴリズムを、音質パラメータと関連付けられる第一最適信号処理ポリシーとするために用いられる。
そのうち、第一選択サブユニット1241は具体的には、第一テスト処理結果のうちから第一エコー除去アルゴリズムに対応する第一エコー除去結果を取得し、第二テスト処理結果のうちから第二エコー除去アルゴリズムに対応する第二エコー除去結果を取得するために用いらる。
第一選択サブユニット1241はさらに、第一エコー除去結果に対応する最適化品質と第二エコー除去結果に対応する最適化品質との第一比較を行い、第一比較結果を得るために用いられる。
第一選択サブユニット1241はさらに、第一比較結果により、第一エコー除去結果に対応する最適化品質が第二エコー除去結果に対応する最適化品質よりも良いと指示される場合、第一前置信号処理ポリシーにおける第一エコー除去アルゴリズムを、音質パラメータと関連付けられる第一最適信号処理ポリシーとするために用いられる。
オプションとして、第一選択サブユニット1241はさらに、第一比較結果により、第二エコー除去結果に対応する最適化品質が第一エコー除去結果に対応する最適化品質よりも良いと指示される場合、第二前置信号処理ポリシーにおける第二エコー除去アルゴリズムを、音質パラメータと関連付けられる第一最適信号処理ポリシーとするために用いられる。
第二選択サブユニット1242は第一テスト処理結果のうちから第一ノイズ抑制アルゴリズムに対応する第一ノイズ抑制結果を取得し、第二テスト処理結果のうちから第二ノイズ抑制アルゴリズムに対応する第二ノイズ抑制結果を取得し、第一ノイズ抑制結果及び第二ノイズ抑制結果に基づいて、第一ノイズ抑制アルゴリズム及び第二ノイズ抑制アルゴリズムのうちから最適ノイズ抑制アルゴリズムを選択し、最適ノイズ抑制アルゴリズムを、音質パラメータと関連付けられる第二最適信号処理ポリシーとするために用いられる。
そのうち、第二選択サブユニット1242は具体的には、第一テスト処理結果のうちから第一ノイズ抑制アルゴリズムに対応する第一ノイズ抑制結果を取得し、第二テスト処理結果のうちから第二ノイズ抑制アルゴリズムに対応する第二ノイズ抑制結果を取得するために用いられる。
第二選択サブユニット1242はさらに、第一ノイズ抑制結果に対応する最適化品質と第二ノイズ抑制結果に対応する最適化品質との第二比較を行い、第二比較結果を取得するために用いられる。
第二選択サブユニット1242はさらに、第二比較結果により、第一ノイズ抑制結果に対応する最適化品質が第二ノイズ抑制結果に対応する最適化品質よりも良いと指示される場合、第一前置信号処理ポリシーにおける第一ノイズ抑制アルゴリズムを、音質パラメータと関連付けられる第二最適信号処理ポリシーとするために用いられる。
オプションとして、第二選択サブユニット1242はさらに、第二比較結果により、第二ノイズ抑制結果に対応する最適化品質が第一ノイズ抑制結果に対応する最適化品質よりも良いと指示される場合、第二前置信号処理ポリシーにおける第二ノイズ抑制アルゴリズムを、音質パラメータと関連付けられる第二最適信号処理ポリシーとするために用いられる。
第三選択サブユニット1243は第一テスト処理結果のうちから第一利得制御アルゴリズムに対応する第一利得制御結果を取得し、第二テスト処理結果のうちから第二利得制御アルゴリズムに対応する第二利得制御結果を取得し、第一利得制御結果及び第二利得制御結果に基づいて、第一利得制御アルゴリズム及び第二利得制御アルゴリズムのうちから最適利得制御アルゴリズムを選択し、最適利得制御アルゴリズムを、音質パラメータと関連付けられる第三最適信号処理ポリシーとするために用いられる。
そのうち、第三選択サブユニット1243は具体的には、第一テスト処理結果のうちから第一利得制御アルゴリズムに対応する第一利得制御結果を取得し、第二テスト処理結果のうちから第二利得制御アルゴリズムに対応する第二利得制御結果を取得するために用いられる。
第三選択サブユニット1243はさらに、第一利得制御結果に対応する最適化品質と第二利得制御結果に対応する最適化品質との第三比較を行い、第三比較結果を取得するために用いられる。
第三選択サブユニット1243はさらに、第三比較結果により、第一利得制御結果に対応する最適化品質が第二利得制御結果に対応する最適化品質よりも良いと指示される場合、第一前置信号処理ポリシーにおける第一利得制御アルゴリズムを、音質パラメータと関連付けられる第三最適信号処理ポリシーとするために用いられる。
オプションとして、第三選択サブユニット1243はさらに、第三比較結果により、第二利得制御結果に対応する最適化品質が第一利得制御結果に対応する最適化品質よりも良いと指示される場合、第一前置信号処理ポリシーにおける第二利得制御アルゴリズムを、音質パラメータと関連付けられる第三最適信号処理ポリシーとするために用いられる。
最適ポリシー決定サブユニット1244は第一最適信号処理ポリシー、第二最適信号処理ポリシー及び第三最適信号処理ポリシーを、第一前置信号処理ポリシーと関連付けられる信号処理結果と決定するために用いられる。
そのうち、第一選択サブユニット1241、第二選択サブユニット1242、第三選択サブユニット1243及び最適ポリシー決定サブユニット1244の具体的な実現方式については、上述の信号処理結果を決定する具体的な実施方式についての説明を参照描述、ここではその詳しい説明を省略する。
オプションとして、最適化結果取得ユニット125はテストリストにおいて端末類型とマッチしたテスト類型を見つけない場合、ゲーム音声モードでマイクロフォンにより第一ユーザの上りリンク音声データを得たときに、第一前置信号処理ポリシーにより上りリンク音声データに対して音声最適化を行い、第一音声最適化結果を取得し、かつ第二前置信号処理ポリシーにより上りリンク音声データに対して音声最適化を行い、第二音声最適化結果を取得するために用いられる。
処理結果決定ユニット126は第一音声最適化結果及び第二音声最適化結果に基づいて、第一前置信号処理ポリシー及び第二前置信号処理ポリシーのうちから音質パラメータと関連付けられる最適信号処理ポリシーを決定し、決定した最適信号処理ポリシーを、第一前置信号処理ポリシーと関連付けられる信号処理結果とするために用いられる。
そのうち、音質指標取得ユニット121、端末類型ルックアップユニット122、テスト結果取得ユニット123、最適ポリシー決定ユニット124、最適化結果取得ユニット125及び処理結果決定ユニット126の具体的な実現方式については、上述の図5に対応する実施例におけるステップS101及びステップS102についての説明を参照でき、ここではその詳しい説明を省略する。
コンポーネント制御モジュール13は信号処理結果に基づいて、アプリケーション層で、端末システム層内の第二前置信号処理ポリシーにおける第二最適化コンポーネントのオンオフ状態を制御し、又は、第一前置信号処理ポリシーにおける第一最適化コンポーネントのオンオフ状態を制御するために用いられる。
そのうち、第一前置信号処理ポリシーにおいてオンされる第一最適化コンポーネントは第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントとは異なり、第一前置信号処理ポリシーにおいてオンされる第一最適化コンポーネントは第二前置信号処理ポリシーにおいてオフされる音声最適化コンポーネントと同じ最適化機能を有し、かつ第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントは第一前置信号処理ポリシーにおいてオフされる第一最適化コンポーネントと同じ最適化機能を有する。
そのうち、コンポーネント制御モジュール13は連携メカニズム起動ユニット131、コンポーネント制御ユニット132、第一コンポーネントオンユニット133及び第二コンポーネントオンユニット134を含む。
連携メカニズム起動ユニット131は信号処理結果に基づいてアプリケーション層と業務アプリケーションの属する端末の端末システム層との間の連携メカニズムを起動するために用いられる。
コンポーネント制御ユニット132は連携メカニズムに基づいてアプリケーション層で端末システム層内の第二前置信号処理ポリシーにおける第二最適化コンポーネントをオン及びオフするように制御するために用いられる。
第一コンポーネントオンユニット133はアプリケーション層内で、第二前置信号処理ポリシーにおいてオフされる第二最適化コンポーネントを第一連携コンポーネントとし、かつ第一前置信号処理ポリシーにおいて第一連携コンポーネントと同じ最適化機能を有する第一最適化コンポーネントをオンするために用いられる。
第二コンポーネントオンユニット134はアプリケーション層内で、第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントを第二連携コンポーネントとし、かつ第一前置信号処理ポリシーにおいて第二連携コンポーネントと同じ最適化機能を有する第一最適化コンポーネントをオフするために用いられる。
そのうち、連携メカニズム起動ユニット131、コンポーネント制御ユニット132、第一コンポーネントオンユニット133及び第二コンポーネントオンユニット134の具体的な実現方式については、上述の図5に対応する実施例におけるステップS102につきましての説明を参照でき、ここではその詳しい説明を省略する。
音声最適化モジュール14は業務アプリケーションに対応する第一ユーザのゲーム音声モードでの上りリンク音声データを取得し、第一前置信号処理ポリシーにおいてオンされる第一最適化コンポーネント及び第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントに基づいて、ゲーム音声モードでの上りリンク音声データに対して音声最適化を行うために用いられる。
そのうち、第一前置信号処理ポリシーにおける第一最適化コンポーネントは少なくとも、第一エコー除去コンポーネント、第一ノイズ抑制コンポーネント及び第一利得制御コンポーネントを含み、第二前置信号処理ポリシーにおける第二最適化コンポーネントは少なくとも、第二エコー除去コンポーネント、第二ノイズ抑制コンポーネント及び第二利得制御コンポーネントを含み、第一エコー除去コンポーネント及び第二エコー除去コンポーネントはすべてエコー除去を行うために用いられ、第一ノイズ抑制コンポーネント及び第二ノイズ抑制コンポーネントはすべてノイズ抑制を行うために用いられ、第一利得制御コンポーネント及び第二利得制御コンポーネントはすべて利得調整を行うために用いられる。
オプションとして、リソースパケット取得モジュール15は第一ユーザが業務アプリケーションにアクセスするときに、業務アプリケーションをロードするためのシステムリソースパケットを取得し、システムリソースパケットに対して解析処理を行い、業務アプリケーションのシステムリソースデータを取得するために用いられる。
初期化モジュール16はシステムリソースデータに対して初期化処理を行い、初期化処理後のシステムリソースデータに基づいて業務アプリケーションの業務モードをシステムメディアモードに初期設定するために用いられる。
アプリケーションインターフェース出力モジュール17は初期化処理後のシステムリソースデータに基づいて業務アプリケーションのアプリケーション表示インターフェースを出力するために用いられ、アプリケーション表示インターフェースは第一ユーザが音声インタラクション業務を開始するように指示するための音声コントロールを含む。
音声オンモジュール18は第一ユーザの音声コントロールに対しての音声オン操作に応じて、業務アプリケーションのアプリケーション類型を検出するために用いられる。
理解できるように、該音声オンモジュール18は、該業務アプリケーションのアプリケーション類型がゲーム類型であると検出された場合、ゲームモード切り替えモジュール11が、業務アプリケーションのアプリケーション類型がゲーム類型であると検出されたときに、ゲーム類型と関連付けられる第一音声通話命令を生成し、第一音声通話命令に基づいて業務アプリケーションの業務モードをシステムメディアモードからゲーム音声モードに切り替えるように通知するために用いられる。
オプションとして、該音声オンモジュール18はさらに、該業務アプリケーションのアプリケーション類型が非ゲーム類型（例えば、ソーシャル類型）であると検出された場合、通話モード切り替えモジュール19が、業務アプリケーションのアプリケーション類型が非ゲーム類型であると検出されたときに、ゲーム類型と関連付けられる第二音声通話命令を生成し、第二音声通話命令に基づいて業務アプリケーションの業務モードをシステムメディアモードからシステム通話モードに切り替えるように通知するために用いられる。
通話要求送信モジュール20はシステム通話モードに基づいて音声インタラクション業務の通話類型をシステム通話類型と決定したときに、業務アプリケーションにより第二ユーザにシステム通話類型に対応するシステム通話要求を送信するために用いられ、第二ユーザは第一ユーザが業務アプリケーションで選択する、システム通話を行うように要求するユーザである。
通信チャンネル確立モジュール21は第二ユーザがシステム通話要求に応答したとき、第一ユーザと第二ユーザとの間のシステム通信チャンネルを確立し、システム通信チャンネルに基づいてシステム通話を行うために用いられる。
オプションとして、目標結果決定モジュール22は音声最適化後の上りリンク音声データを、上りリンク音声データに対応する目標音声最適化結果とするために用いられる。
目標結果送信モジュール23は目標音声最適化結果を第一ユーザと関連付けられる第三ユーザに対応する端末に送信することで、第三ユーザに対応する端末がゲーム音声モードでスピーカーにより音声最適化後の上りリンク音声データを再生するようにさせるために用いられ、オプションとして、第一ユーザ及び第三ユーザはすべてゲーム音声モードで同一のゲーム陣営にあるゲームユーザである。
オプションとして、音声オフモジュール24は第一ユーザの音声コントロールに対しての音声オフ操作に応じて、業務アプリケーションの業務モードをゲーム音声モードからシステムメディアモードに切り替えるために用いられる。
そのうち、処理結果取得モジュール12、コンポーネント制御モジュール13及び音声最適化モジュール14の具体的な実現方式については、上述の図5に対応する実施例におけるステップ101～ステップS103についての説明を参照でき、ここではその詳しい説明を省略する。なお、リソースパケット取得モジュール15、初期化モジュール16、アプリケーションインターフェース出力モジュール17、音声オンモジュール18、ゲームモード切り替えモジュール11、通話モード切り替えモジュール19、通話要求送信モジュール20、通信チャンネル確立モジュール21、目標結果決定モジュール22、目標結果送信モジュール23及び音声オフモジュール24の具体的な実現方式については、上述の図9に対応する実施例におけるステップ201～ステップS213についての説明を参照でき、ここではその詳しい説明を省略する。また、ここでは、同じ方法を採用することによる有利な効果についての説明についても省略する。
本出願の1つの例示的な実施例ではさらに音声データ処理装置が提供され、該装置は図12に示す方法の実施例を実行するために用いられ、該装置は次のようなもののうちの少なくとも1つを含んでも良く、即ち、処理結果取得モジュール及びコンポーネント制御モジュールである。
処理結果取得モジュールはゲーム音声モードで、業務アプリケーションのアプリケーション層内の第一前置信号処理ポリシーと関連付けられる信号処理結果を取得するために用いられ、そのうち、第一前置信号処理ポリシーには少なくとも１つの第一最適化コンポーネントが含まれる。
コンポーネント制御モジュールは信号処理結果に基づいて、アプリケーション層で端末システム層内の第二前置信号処理ポリシーにおける第二最適化コンポーネントのオンオフ状態を制御するために用いられ、そのうち、第二前置信号処理ポリシーには少なくとも１つの第二最適化コンポーネントが含まれる。
本出願の1つの例示的な実施例ではさらに音声データ処理装置が提供され、該装置は図13に示す方法の実施例を実行するために用いられ、該装置は次のようなもののうちの少なくとも1つを含んでも良く、即ち、処理結果取得モジュール及びコンポーネント制御モジュールである。
処理結果取得モジュールはゲーム音声モードで、業務アプリケーションのアプリケーション層内の第一前置信号処理ポリシーと関連付けられる信号処理結果を取得するために用いられ、そのうち、第一前置信号処理ポリシーには少なくとも１つの第一最適化コンポーネントが含まれる。
コンポーネント制御モジュールは信号処理結果に基づいて、端末システム層内の第二前置信号処理ポリシーにおける第二最適化コンポーネントのオンオフ状態を制御し、又は第一前置信号処理ポリシーにおける第一最適化コンポーネントのオンオフ状態を制御するために用いられ、そのうち、第一前置信号処理ポリシーにおいてオンされる第一最適化コンポーネントは第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントとは異なる。
なお、これらの装置の実施例で詳細に説明されていない内容については、対応する方法の実施例を参照できる。
さらに、図15を参照し、図15は本出願の実施例で提供されるコンピュータ機器の構成図である。図15に示すように、該コンピュータ機器1000はユーザ端末であっても良く、該ユーザ端末は上述の目標ユーザ端末であっても良い。このときに、該コンピュータ機器1000は処理器1001、ネットワークインターフェース1004及び記憶器1005を含んでも良く、また、該コンピュータ機器1000はさらに、ユーザインターフェース1003、及び少なくとも１つの通信バス1002を含んでも良い。そのうち、通信バス1002はこれらのコンポーネントの間の通信接続を実現するために用いられる。そのうち、ユーザインターフェース1003はディスプレイ（Display）やキーボード（Keyboard）を含んでも良く、オプションとして、ユーザインターフェース1003はさらに、規格に準じた有線インターフェースや無線インターフェースを含んでも良い。ネットワークインターフェース1004はオプションとして、規格に準じた有線インターフェースや無線インターフェース（例えば、WI-FIインターフェース）を含んでも良い。記憶器1005は高速RAMであっても良く、非一時的記憶器（non-volatile memory）、例えば、少なくとも１つの磁気ディスク記憶器であって良い。記憶器1005はオプションとして、さらに、前述の処理器1001を離れた少なくとも１つの記憶装置であって良い。図15に示すように、コンピュータ記憶媒体としての記憶器1005にはオペレーティングシステム、ネットワーク通信モジュール、ユーザインターフェースモジュール及び機器制御アプリケーションプログラムが含まれても良い。
そのうち、該コンピュータ機器1000におけるネットワークインターフェース1004はさらに、ネットワーク通信機能を提供しても良く、かつ、オプションとして、ユーザインターフェース1003はさらに、ディスプレイ（Display）やキーボード（Keyboard）を含んでも良い。図15に示すコンピュータ機器1000では、ネットワークインターフェース1004はネットワーク通信機能を提供でき、ユーザインターフェース1003は主に、ユーザが入力するためのインターフェースを提供し、処理器1001は記憶器1005に記憶された機器制御アプリケーションプログラムを呼び出すことで、前述の図5又は図9又は図12又は図13に対応する実施例又は他の方法の実施例における音声データ処理方法のステップを実行でき、又は、前述の図14に対応する実施例における音声データ処理装置1の処理を実行でき、ここではその詳しい説明を省略する。また、ここでは同じ方法を参照することによる有利な効果についての説明も省略する。
また、本出願の実施例ではさらにコンピュータ記憶媒体が提供され、かつコンピュータ記憶媒体には前述の音声データ処理装置1が実行するコンピュータプログラムが記憶されており、かつコンピュータプログラムはプログラム命令を含み、処理器はプログラム命令を実行するときに、前述の図5又は図9又は図12又は図13に対応する実施例又は他の方法の実施例における音声データ処理方法のステップを実行できるため、ここではその詳しい説明を省略する。また、ここでは同じ方法を参照することによる有利な効果についての説明も省略する。なお、本出願に係るコンピュータ記憶媒体の実施例で詳細に説明されていない技術的内容については、本出願の方法の実施例についての説明を参照できる。
理解できるように、本出願の実施例ではさらにコンピュータプログラムプロダクト又はコンピュータプログラムが提供され、該コンピュータプログラムプロダクト又はコンピュータプログラムはコンピュータ命令を含み、該コンピュータ命令はコンピュータ可読記憶媒体に記憶されている。コンピュータ機器の処理器はコンピュータ可読記憶媒体のうちから該コンピュータ命令を読み取り、処理器は該コンピュータ命令を実行することで、該コンピュータ機器に、前述の図5又は図9又は図12又は図13に対応する実施例又は他の方法の実施例における音声データ処理方法のステップを実現させるので、ここではその詳しい説明を省略する。また、ここでは同じ方法を参照することによる有利な効果についての説明も省略する。なお、本出願に係るにコンピュータプログラムプロダクト又はコンピュータプログラムの実施例で詳細に説明されていない技術的内容については、本出願の方法の実施例についての説明を参照できる。
当業者が理解できるように、上述の実施例の方法における全部又は一部を実現するフローはコンピュータプログラムが関連ハードウェアを命令することにより完了でき、該プログラムはコンピュータ可読取記憶媒体に記憶でき、該プログラムは実行されるときに、上述のような各方法の実施例のフローを含み得る。そのうち、該記憶媒体は磁気ディスク、光ディスク、ROM（Read-Only Memory）、RAM（Random Access Memory）などであっても良い。
以上、本出願の好ましい実施例を説明したが、本出願はこの実施例に限定されず、本出願の趣旨を離脱しない限り、本出願に対するあらゆる変更は本出願の技術的範囲に属する。

Claims (33)

  1. コンピュータ機器が実行する、音声データを処理する方法であって、
    ゲーム音声モードで、業務アプリケーションのアプリケーション層内の第一前置信号処理ポリシーと関連付けられる信号処理結果を取得するステップであって、前記第一前置信号処理ポリシーには少なくとも１つの第一最適化コンポーネントが含まれる、ステップ；
    前記信号処理結果に基づいて、前記アプリケーション層で、端末システム層内の第二前置信号処理ポリシーにおける第二最適化コンポーネントのオンオフ状態を制御し、又は、前記第一前置信号処理ポリシーにおける第一最適化コンポーネントのオンオフ状態を制御するステップであって、前記第一前置信号処理ポリシーにおいてオンされる第一最適化コンポーネントは前記第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントとは異なる、ステップ；及び
    前記業務アプリケーションに対応する第一ユーザの前記ゲーム音声モードでの上りリンク音声データを取得し、前記第一前置信号処理ポリシーにおいてオンされる第一最適化コンポーネント及び前記第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントに基づいて、前記ゲーム音声モードでの上りリンク音声データに対して音声最適化を行うステップを含む、方法。
  2. 請求項1に記載の方法であって、
    前記信号処理結果に基づいて、前記アプリケーション層で、端末システム層内の第二前置信号処理ポリシーにおける第二最適化コンポーネントのオンオフ状態を制御するステップは、
    前記信号処理結果に基づいて、前記第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントを決定し、かつ前記第二前置信号処理ポリシーにおいてオフされる第二最適化コンポーネントを決定するステップ；
    前記アプリケーション層で、前記第二前置信号処理ポリシーにおいてオフされる第二最適化コンポーネントを第一連携コンポーネントとし、かつ前記第一前置信号処理ポリシーにおいて、前記第一連携コンポーネントと同じ最適化機能を有する第一最適化コンポーネントをオンするステップ；及び
    前記アプリケーション層で、前記第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントを第二連携コンポーネントとし、かつ前記第一前置信号処理ポリシーにおいて、前記第二連携コンポーネントと同じ最適化機能を有する第一最適化コンポーネントをオフするステップを含む、方法。
  3. 請求項1に記載の方法であって、
    前記第一前置信号処理ポリシーにおける第一最適化コンポーネントは次のもののうちの少なくとも1つを含み、即ち、第一エコー除去コンポーネント、第一ノイズ抑制コンポーネント及び第一利得制御コンポーネントであり、
    前記第二前置信号処理ポリシーにおける第二最適化コンポーネントは次のもののうちの少なくとも1つを含み、即ち、第二エコー除去コンポーネント、第二ノイズ抑制コンポーネント及び第二利得制御コンポーネントであり、
    前記第一エコー除去コンポーネント及び前記第二エコー除去コンポーネントは何れもエコー除去を行うために用いられ、前記第一ノイズ抑制コンポーネント及び前記第二ノイズ抑制コンポーネントは何れもノイズ抑制を行うために用いられ、前記第一利得制御コンポーネント及び前記第二利得制御コンポーネントは何れも利得調整を行うために用いられる、方法。
  4. 請求項1に記載の方法であって、
    前記ゲーム音声モードで、前記業務アプリケーションのアプリケーション層内の第一前置信号処理ポリシーと関連付けられる信号処理結果を取得するステップは、
    前記ゲーム音声モードで、前記業務アプリケーションの音質指標に基づいて、前記業務アプリケーションの音質パラメータを設定するステップ；
    前記業務アプリケーションの属する端末の端末類型を取得し、前記業務アプリケーションと関連付けられるテストリストにおいて前記端末類型とマッチしたテスト類型を見つけるステップ；
    前記テストリストにおいて前記端末類型とマッチしたテスト類型を見つけた場合、前記音質パラメータに基づいて前記テストリストのうちから前記第一前置信号処理ポリシーを用いて得られる第一テスト処理結果を取得し、かつ前記第二前置信号処理ポリシーを用いて得られる第二テスト処理結果を取得するステップ；及び
    前記第一テスト処理結果及び前記第二テスト処理結果に基づいて、前記第一前置信号処理ポリシー及び前記第二前置信号処理ポリシーのうちから前記音質パラメータと関連付けられる最適信号処理ポリシーを決定し、前記最適信号処理ポリシーを前記第一前置信号処理ポリシーと関連付けられる信号処理結果とするステップを含む、方法。
  5. 請求項4に記載の方法であって、
    前記第一前置信号処理ポリシーにおける第一最適化コンポーネントの音声最適化アルゴリズムは次のもののうちの少なくとも1つを含み、即ち、前記アプリケーション層でエコー除去を行うための第一エコー除去アルゴリズム、前記アプリケーション層でノイズ抑制を行うための第一ノイズ抑制アルゴリズム、及び前記アプリケーション層で利得調整を行うための第一利得制御アルゴリズムであり、
    前記第二前置信号処理ポリシーにおける第二最適化コンポーネントの音声最適化アルゴリズムは次のもののうちの少なくとも1つを含み、即ち、前記端末システム層でエコー除去を行うための第二エコー除去アルゴリズム、前記端末システム層でノイズ抑制を行うための第二ノイズ抑制アルゴリズム、及び前記端末システム層で利得調整を行うための第二利得制御アルゴリズムである、方法。
  6. 請求項5に記載の方法であって、
    前記第一テスト処理結果及び前記第二テスト処理結果に基づいて、前記第一前置信号処理ポリシー及び前記第二前置信号処理ポリシーのうちから前記音質パラメータと関連付けられる最適信号処理ポリシーを決定し、前記最適信号処理ポリシーを前記第一前置信号処理ポリシーと関連付けられる信号処理結果とするステップは、
    前記第一テスト処理結果のうちから前記第一エコー除去アルゴリズムに対応する第一エコー除去結果を取得し、前記第二テスト処理結果のうちから前記第二エコー除去アルゴリズムに対応する第二エコー除去結果を取得し、前記第一エコー除去結果及び前記第二エコー除去結果に基づいて、前記第一エコー除去アルゴリズム及び前記第二エコー除去アルゴリズムのうちから最適エコー除去アルゴリズムを選択し、前記最適エコー除去アルゴリズムを前記音質パラメータと関連付けられる第一最適信号処理ポリシーとするステップ；
    前記第一テスト処理結果のうちから前記第一ノイズ抑制アルゴリズムに対応する第一ノイズ抑制結果を取得し、前記第二テスト処理結果のうちから前記第二ノイズ抑制アルゴリズムに対応する第二ノイズ抑制結果を取得し、前記第一ノイズ抑制結果及び前記第二ノイズ抑制結果に基づいて、前記第一ノイズ抑制アルゴリズム及び前記第二ノイズ抑制アルゴリズムのうちから最適ノイズ抑制アルゴリズムを選択し、前記最適ノイズ抑制アルゴリズムを前記音質パラメータと関連付けられる第二最適信号処理ポリシーとするステップ；
    前記第一テスト処理結果のうちから前記第一利得制御アルゴリズムに対応する第一利得制御結果を取得し、前記第二テスト処理結果のうちから前記第二利得制御アルゴリズムに対応する第二利得制御結果を取得し、前記第一利得制御結果及び前記第二利得制御結果に基づいて、前記第一利得制御アルゴリズム及び前記第二利得制御アルゴリズムのうちから最適利得制御アルゴリズムを選択し、前記最適利得制御アルゴリズムを前記音質パラメータと関連付けられる第三最適信号処理ポリシーとするステップ；及び
    前記第一最適信号処理ポリシー、前記第二最適信号処理ポリシー及び前記第三最適信号処理ポリシーを前記第一前置信号処理ポリシーと関連付けられる信号処理結果として決定するステップを含む、方法。
  7. 請求項6に記載の方法であって、
    前記第一テスト処理結果のうちから前記第一エコー除去アルゴリズムに対応する第一エコー除去結果を取得し、前記第二テスト処理結果のうちから前記第二エコー除去アルゴリズムに対応する第二エコー除去結果を取得し、前記第一エコー除去結果及び前記第二エコー除去結果に基づいて、前記第一エコー除去アルゴリズム及び前記第二エコー除去アルゴリズムのうちから最適エコー除去アルゴリズムを選択し、前記最適エコー除去アルゴリズムを前記音質パラメータと関連付けられる第一最適信号処理ポリシーとするステップは、
    前記第一テスト処理結果のうちから前記第一エコー除去アルゴリズムに対応する第一エコー除去結果を取得し、前記第二テスト処理結果のうちから前記第二エコー除去アルゴリズムに対応する第二エコー除去結果を取得するステップ；
    前記第一エコー除去結果に対応する最適化品質と前記第二エコー除去結果に対応する最適化品質との比較を行い、第一比較結果を取得するステップ；
    前記第一比較結果により、前記第一エコー除去結果に対応する最適化品質が前記第二エコー除去結果に対応する最適化品質よりも良いと指示される場合、前記第一前置信号処理ポリシーにおける前記第一エコー除去アルゴリズムを前記音質パラメータと関連付けられる第一最適信号処理ポリシーとするステップ；及び
    前記第一比較結果により、前記第二エコー除去結果に対応する最適化品質が前記第一エコー除去結果に対応する最適化品質よりも良いと指示される場合、前記第二前置信号処理ポリシーにおける前記第二エコー除去アルゴリズムを前記音質パラメータと関連付けられる第一最適信号処理ポリシーとするステップを含む、方法。
  8. 請求項6に記載の方法であって、
    前記第一テスト処理結果のうちから前記第一ノイズ抑制アルゴリズムに対応する第一ノイズ抑制結果を取得し、前記第二テスト処理結果のうちから前記第二ノイズ抑制アルゴリズムに対応する第二ノイズ抑制結果を取得し、前記第一ノイズ抑制結果及び前記第二ノイズ抑制結果に基づいて、前記第一ノイズ抑制アルゴリズム及び前記第二ノイズ抑制アルゴリズムのうちから最適ノイズ抑制アルゴリズムを選択し、前記最適ノイズ抑制アルゴリズムを前記音質パラメータと関連付けられる第二最適信号処理ポリシーとするステップは、
    前記第一テスト処理結果のうちから前記第一ノイズ抑制アルゴリズムに対応する第一ノイズ抑制結果を取得し、前記第二テスト処理結果のうちから前記第二ノイズ抑制アルゴリズムに対応する第二ノイズ抑制結果を取得するステップ；
    前記第一ノイズ抑制結果に対応する最適化品質と前記第二ノイズ抑制結果に対応する最適化品質との比較を行い、第二比較結果を取得するステップ；
    前記第二比較結果により、前記第一ノイズ抑制結果に対応する最適化品質が前記第二ノイズ抑制結果に対応する最適化品質よりも良いと指示される場合、前記第一前置信号処理ポリシーにおける前記第一ノイズ抑制アルゴリズムを前記音質パラメータと関連付けられる第二最適信号処理ポリシーとするステップ；及び
    前記第二比較結果により、前記第二ノイズ抑制結果に対応する最適化品質が前記第一ノイズ抑制結果に対応する最適化品質よりも良いと指示される場合、前記第二前置信号処理ポリシーにおける前記第二ノイズ抑制アルゴリズムを前記音質パラメータと関連付けられる第二最適信号処理ポリシーとするステップを含む、方法。
  9. 請求項6に記載の方法であって、
    前記第一テスト処理結果のうちから前記第一利得制御アルゴリズムに対応する第一利得制御結果を取得し、前記第二テスト処理結果のうちから前記第二利得制御アルゴリズムに対応する第二利得制御結果を取得し、前記第一利得制御結果及び前記第二利得制御結果に基づいて、前記第一利得制御アルゴリズム及び前記第二利得制御アルゴリズムのうちから最適利得制御アルゴリズムを選択し、前記最適利得制御アルゴリズムを前記音質パラメータと関連付けられる第三最適信号処理ポリシーとするステップは、
    前記第一テスト処理結果のうちから前記第一利得制御アルゴリズムに対応する第一利得制御結果を取得し、前記第二テスト処理結果のうちから前記第二利得制御アルゴリズムに対応する第二利得制御結果を取得するステップ；
    前記第一利得制御結果に対応する最適化品質と前記第二利得制御結果に対応する最適化品質との比較を行い、第三比較結果を取得するステップ；
    前記第三比較結果により、前記第一利得制御結果に対応する最適化品質が前記第二利得制御結果に対応する最適化品質よりも良いと指示される場合、前記第一前置信号処理ポリシーにおける前記第一利得制御アルゴリズムを前記音質パラメータと関連付けられる第三最適信号処理ポリシーとするステップ；及び
    前記第三比較結果により、前記第二利得制御結果に対応する最適化品質が前記第一利得制御結果に対応する最適化品質よりも良いと指示される場合、前記第一前置信号処理ポリシーにおける前記第二利得制御アルゴリズムを前記音質パラメータと関連付けられる第三最適信号処理ポリシーとするステップを含む、方法。
  10. 請求項4に記載の方法であって、さらに、
    前記テストリストにおいて前記端末類型とマッチしたテスト類型を見つけない場合、前記ゲーム音声モードでマイクロフォンにより前記第一ユーザの上りリンク音声データを取得したときに、前記第一前置信号処理ポリシーにより前記上りリンク音声データに対して音声最適化を行い、第一音声最適化結果を取得し、かつ前記第二前置信号処理ポリシーにより前記上りリンク音声データに対して音声最適化を行い、第二音声最適化結果を取得するステップ；及び
    前記第一音声最適化結果及び前記第二音声最適化結果に基づいて、前記第一前置信号処理ポリシー及び前記第二前置信号処理ポリシーのうちから前記音質パラメータと関連付けられる最適信号処理ポリシーを決定し、前記最適信号処理ポリシーを前記第一前置信号処理ポリシーと関連付けられる信号処理結果とするステップを含む、方法。
  11. 請求項1に記載の方法であって、さらに、
    前記第一ユーザが前記業務アプリケーションにアクセスするときに、前記業務アプリケーションをロードするためのシステムリソースパケットを取得し、前記システムリソースパケットに対して解析処理を行い、前記業務アプリケーションのシステムリソースデータを取得するステップ；及び
    前記システムリソースデータに対して初期化処理を行い、初期化処理後のシステムリソースデータに基づいて前記業務アプリケーションの業務モードをシステムメディアモードに初期設定するステップを含む、方法。
  12. 請求項11に記載の方法であって、さらに、
    前記初期化処理後のシステムリソースデータに基づいて前記業務アプリケーションのアプリケーション表示インターフェースを出力するステップであって、前記アプリケーション表示インターフェースには前記第一ユーザが音声インタラクション業務を開始するように指示するための音声コントロールが含まれる、ステップ；
    前記第一ユーザの、前記音声コントロールに対しての音声オン操作に応じて、前記業務アプリケーションのアプリケーション類型を検出するステップ；及び
    前記業務アプリケーションのアプリケーション類型がゲーム類型であると検出したときに、前記業務アプリケーションの業務モードを前記システムメディアモードから前記ゲーム音声モードに切り替えるステップを含む、方法。
  13. 請求項12に記載の方法であって、さらに、
    前記業務アプリケーションのアプリケーション類型が非ゲーム類型であると検出したときに、前記業務アプリケーションの業務モードを前記システムメディアモードからシステム通話モードに切り替えるステップ；
    前記システム通話モードに基づいて前記音声インタラクション業務の通話類型をシステム通話類型として決定したときに、前記業務アプリケーションにより、前記システム通話類型に対応するシステム通話要求を第二ユーザに送信するステップであって、前記第二ユーザは前記第一ユーザが前記業務アプリケーションで選択する、システム通話を行うように要求するユーザである、ステップ；及び
    前記第二ユーザが前記システム通話要求に応答したときに、前記第一ユーザと前記第二ユーザとの間のシステム通信チャンネルを確立し、前記システム通信チャンネルに基づいてシステム通話を行うステップを含む、方法。
  14. 請求項12に記載の方法であって、さらに、
    前記第一ユーザの、前記音声コントロールに対しての音声オフ操作に応じて、前記業務アプリケーションの業務モードを前記ゲーム音声モードから前記システムメディアモードに切り替えるステップを含む、方法。
  15. 請求項1～14のうちの何れか1項に記載の方法であって、さらに、
    音声最適化後の上りリンク音声データを前記上りリンク音声データに対応する目標音声最適化結果とするステップ；及び
    前記目標音声最適化結果を前記第一ユーザと関連付けられる第三ユーザに対応する端末に送信し、前記第三ユーザに対応する端末が前記ゲーム音声モードでスピーカーにより前記音声最適化後の上りリンク音声データを再生するようにさせるステップを含む、方法。
  16. コンピュータ機器が実行する、音声データを処理する方法であって、
    ゲーム音声モードで、業務アプリケーションのアプリケーション層内の第一前置信号処理ポリシーと関連付けられる信号処理結果を取得するステップであって、前記第一前置信号処理ポリシーには少なくとも１つの第一最適化コンポーネントが含まれる、ステップ；及び
    前記信号処理結果に基づいて、前記アプリケーション層で、端末システム層内の第二前置信号処理ポリシーにおける第二最適化コンポーネントのオンオフ状態を制御するステップであって、前記第二前置信号処理ポリシーには少なくとも１つの第二最適化コンポーネントが含まれる、ステップを含む、方法。
  17. 請求項16に記載の方法であって、
    前記信号処理結果に基づいて、前記アプリケーション層で、端末システム層内の第二前置信号処理ポリシーにおける第二最適化コンポーネントのオンオフ状態を制御するステップは、
    前記信号処理結果に基づいて、前記第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントを決定し、かつ前記第二前置信号処理ポリシーにおいてオフされる第二最適化コンポーネントを決定するステップ；
    前記アプリケーション層で、前記第二前置信号処理ポリシーにおいてオフされる第二最適化コンポーネントを第一連携コンポーネントとし、かつ前記第一前置信号処理ポリシーにおいて、前記第一連携コンポーネントと同じ最適化機能を有する第一最適化コンポーネントをオンするステップ；及び
    前記アプリケーション層で、前記第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントを第二連携コンポーネントとし、かつ前記第一前置信号処理ポリシーにおいて、前記第二連携コンポーネントと同じ最適化機能を有する第一最適化コンポーネントをオフするステップを含む、方法。
  18. 請求項16に記載の方法であって、
    前記ゲーム音声モードで、業務アプリケーションのアプリケーション層内の第一前置信号処理ポリシーと関連付けられる信号処理結果を取得するステップは、
    前記業務アプリケーションの属する端末の端末類型を取得し、前記業務アプリケーションと関連付けられるテストリストにおいて前記端末類型とマッチしたテスト類型を見つけるステップ；
    前記テストリストにおいて前記端末類型とマッチしたテスト類型を見つけた場合、前記音質パラメータに基づいて前記テストリストのうちから前記第一前置信号処理ポリシーを用いて得られる第一テスト処理結果を取得し、かつ前記第二前置信号処理ポリシーを用いて得られる第二テスト処理結果を取得するステップ；及び
    前記第一テスト処理結果及び前記第二テスト処理結果に基づいて、前記第一前置信号処理ポリシー及び前記第二前置信号処理ポリシーのうちから前記音質パラメータと関連付けられる最適信号処理ポリシーを決定し、前記最適信号処理ポリシーを前記第一前置信号処理ポリシーと関連付けられる信号処理結果とするステップを含む、方法。
  19. 請求項18に記載の方法であって、
    前記第一前置信号処理ポリシーにおける第一最適化コンポーネントの音声最適化アルゴリズムは次のもののうちの少なくとも1つを含み、即ち、前記アプリケーション層でエコー除去を行うための第一エコー除去アルゴリズム、前記アプリケーション層でノイズ抑制を行うための第一ノイズ抑制アルゴリズム、及び前記アプリケーション層で利得調整を行うための第一利得制御アルゴリズムであり、
    前記第二前置信号処理ポリシーにおける第二最適化コンポーネントの音声最適化アルゴリズムは次のもののうちの少なくとも1つを含み、即ち、前記端末システム層でエコー除去を行うための第二エコー除去アルゴリズム、前記端末システム層でノイズ抑制を行うための第二ノイズ抑制アルゴリズム、及び前記端末システム層で利得調整を行うための第二利得制御アルゴリズムである、方法。
  20. 請求項19に記載の方法であって、
    前記第一テスト処理結果及び前記第二テスト処理結果に基づいて、前記第一前置信号処理ポリシー及び前記第二前置信号処理ポリシーのうちから前記音質パラメータと関連付けられる最適信号処理ポリシーを決定し、前記最適信号処理ポリシーを前記第一前置信号処理ポリシーと関連付けられる信号処理結果とするステップは、
    前記第一テスト処理結果のうちから前記第一エコー除去アルゴリズムに対応する第一エコー除去結果を取得し、前記第二テスト処理結果のうちから前記第二エコー除去アルゴリズムに対応する第二エコー除去結果を取得し、前記第一エコー除去結果及び前記第二エコー除去結果に基づいて、前記第一エコー除去アルゴリズム及び前記第二エコー除去アルゴリズムのうちから最適エコー除去アルゴリズムを選択し、前記最適エコー除去アルゴリズムを前記音質パラメータと関連付けられる第一最適信号処理ポリシーとするステップ；
    前記第一テスト処理結果のうちから前記第一ノイズ抑制アルゴリズムに対応する第一ノイズ抑制結果を取得し、前記第二テスト処理結果のうちから前記第二ノイズ抑制アルゴリズムに対応する第二ノイズ抑制結果を取得し、前記第一ノイズ抑制結果及び前記第二ノイズ抑制結果に基づいて、前記第一ノイズ抑制アルゴリズム及び前記第二ノイズ抑制アルゴリズムのうちから最適ノイズ抑制アルゴリズムを選択し、前記最適ノイズ抑制アルゴリズムを前記音質パラメータと関連付けられる第二最適信号処理ポリシーとするステップ；
    前記第一テスト処理結果のうちから前記第一利得制御アルゴリズムに対応する第一利得制御結果を取得し、前記第二テスト処理結果のうちから前記第二利得制御アルゴリズムに対応する第二利得制御結果を取得し、前記第一利得制御結果及び前記第二利得制御結果に基づいて、前記第一利得制御アルゴリズム及び前記第二利得制御アルゴリズムのうちから最適利得制御アルゴリズムを選択し、前記最適利得制御アルゴリズムを前記音質パラメータと関連付けられる第三最適信号処理ポリシーとするステップ；及び
    前記第一最適信号処理ポリシー、前記第二最適信号処理ポリシー及び前記第三最適信号処理ポリシーを前記第一前置信号処理ポリシーと関連付けられる信号処理結果として決定するステップを含む、方法。
  21. 請求項18に記載の方法であって、さらに、
    前記テストリストにおいて前記端末類型とマッチしたテスト類型を見つけない場合、前記ゲーム音声モードでマイクロフォンにより前記第一ユーザの上りリンク音声データを取得したときに、前記第一前置信号処理ポリシーにより前記上りリンク音声データに対して音声最適化を行い、第一音声最適化結果を取得し、かつ前記第二前置信号処理ポリシーにより前記上りリンク音声データに対して音声最適化を行い、第二音声最適化結果を取得するステップ；及び
    前記第一音声最適化結果及び前記第二音声最適化結果に基づいて、前記第一前置信号処理ポリシー及び前記第二前置信号処理ポリシーのうちから前記音質パラメータと関連付けられる最適信号処理ポリシーを決定し、前記最適信号処理ポリシーを前記第一前置信号処理ポリシーと関連付けられる信号処理結果とするステップを含む、方法。
  22. コンピュータ機器が実行する、音声データを処理する方法であって、
    ゲーム音声モードで、業務アプリケーションのアプリケーション層内の第一前置信号処理ポリシーと関連付けられる信号処理結果を取得するステップであって、前記第一前置信号処理ポリシーには少なくとも１つの第一最適化コンポーネントが含まれる、ステップ；及び
    前記信号処理結果に基づいて、端末システム層内の第二前置信号処理ポリシーにおける第二最適化コンポーネントのオンオフ状態を制御し、又は、前記第一前置信号処理ポリシーにおける第一最適化コンポーネントのオンオフ状態を制御するステップであって、前記第一前置信号処理ポリシーにおいてオンされる第一最適化コンポーネントは前記第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントとは異なる、ステップを含む、方法。
  23. 請求項22に記載の方法であって、
    前記信号処理結果に基づいて、端末システム層内の第二前置信号処理ポリシーにおける第二最適化コンポーネントのオンオフ状態を制御し、又は、前記第一前置信号処理ポリシーにおける第一最適化コンポーネントのオンオフ状態を制御ステップは、
    前記信号処理結果に基づいて、前記第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントを決定し、かつ前記第二前置信号処理ポリシーにおいてオフされる第二最適化コンポーネントを決定するステップ；
    前記第二前置信号処理ポリシーにおいてオフされる第二最適化コンポーネントをオフし、かつ前記第一前置信号処理ポリシーにおいて、前記オフされる第二最適化コンポーネントと同じ最適化機能を有する第一最適化コンポーネントをオンするステップ；及び
    前記第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントをオンし、かつ前記第一前置信号処理ポリシーにおいて、前記オンされる第二最適化コンポーネントと同じ最適化機能を有する第一最適化コンポーネントをオフするステップを含む、方法。
  24. 請求項22に記載の方法であって、
    前記ゲーム音声モードで、業務アプリケーションのアプリケーション層内の第一前置信号処理ポリシーと関連付けられる信号処理結果を取得するステップは、
    前記業務アプリケーションの属する端末の端末類型を取得し、前記業務アプリケーションと関連付けられるテストリストにおいて前記端末類型とマッチしたテスト類型を見つけるステップ；
    前記テストリストにおいて前記端末類型とマッチしたテスト類型を見つけた場合、前記音質パラメータに基づいて前記テストリストのうちから前記第一前置信号処理ポリシーを用いて得られる第一テスト処理結果を取得し、かつ前記第二前置信号処理ポリシーを用いて得られる第二テスト処理結果を取得するステップ；及び
    前記第一テスト処理結果及び前記第二テスト処理結果に基づいて、前記第一前置信号処理ポリシー及び前記第二前置信号処理ポリシーのうちから前記音質パラメータと関連付けられる最適信号処理ポリシーを決定し、前記最適信号処理ポリシーを前記第一前置信号処理ポリシーと関連付けられる信号処理結果とするステップを含む、方法。
  25. 請求項24に記載の方法であって、
    前記第一前置信号処理ポリシーにおける第一最適化コンポーネントの音声最適化アルゴリズムは次のもののうちの少なくとも1つを含み、即ち、前記アプリケーション層でエコー除去を行うための第一エコー除去アルゴリズム、前記アプリケーション層でノイズ抑制を行うための第一ノイズ抑制アルゴリズム、及び前記アプリケーション層で利得調整を行うための第一利得制御アルゴリズムであり、
    前記第二前置信号処理ポリシーにおける第二最適化コンポーネントの音声最適化アルゴリズムは次のもののうちの少なくとも1つを含み、即ち、前記端末システム層でエコー除去を行うための第二エコー除去アルゴリズム、前記端末システム層でノイズ抑制を行うための第二ノイズ抑制アルゴリズム、及び前記端末システム層で利得調整を行うための第二利得制御アルゴリズムである、方法。
  26. 請求項25に記載の方法であって、
    前記第一テスト処理結果及び前記第二テスト処理結果に基づいて、前記第一前置信号処理ポリシー及び前記第二前置信号処理ポリシーのうちから前記音質パラメータと関連付けられる最適信号処理ポリシーを決定し、前記最適信号処理ポリシーを前記第一前置信号処理ポリシーと関連付けられる信号処理結果とするステップは、
    前記第一テスト処理結果のうちから前記第一エコー除去アルゴリズムに対応する第一エコー除去結果を取得し、前記第二テスト処理結果のうちから前記第二エコー除去アルゴリズムに対応する第二エコー除去結果を取得し、前記第一エコー除去結果及び前記第二エコー除去結果に基づいて、前記第一エコー除去アルゴリズム及び前記第二エコー除去アルゴリズムのうちから最適エコー除去アルゴリズムを選択し、前記最適エコー除去アルゴリズムを前記音質パラメータと関連付けられる第一最適信号処理ポリシーとするステップ；
    前記第一テスト処理結果のうちから前記第一ノイズ抑制アルゴリズムに対応する第一ノイズ抑制結果を取得し、前記第二テスト処理結果のうちから前記第二ノイズ抑制アルゴリズムに対応する第二ノイズ抑制結果を取得し、前記第一ノイズ抑制結果及び前記第二ノイズ抑制結果に基づいて、前記第一ノイズ抑制アルゴリズム及び前記第二ノイズ抑制アルゴリズムのうちから最適ノイズ抑制アルゴリズムを選択し、前記最適ノイズ抑制アルゴリズムを前記音質パラメータと関連付けられる第二最適信号処理ポリシーとするステップ；
    前記第一テスト処理結果のうちから前記第一利得制御アルゴリズムに対応する第一利得制御結果を取得し、前記第二テスト処理結果のうちから前記第二利得制御アルゴリズムに対応する第二利得制御結果を取得し、前記第一利得制御結果及び前記第二利得制御結果に基づいて、前記第一利得制御アルゴリズム及び前記第二利得制御アルゴリズムのうちから最適利得制御アルゴリズムを選択し、前記最適利得制御アルゴリズムを前記音質パラメータと関連付けられる第三最適信号処理ポリシーとするステップ；及び
    前記第一最適信号処理ポリシー、前記第二最適信号処理ポリシー及び前記第三最適信号処理ポリシーを前記第一前置信号処理ポリシーと関連付けられる信号処理結果として決定するステップを含む、方法。
  27. 請求項24に記載の方法であって、さらに、
    前記テストリストにおいて前記端末類型とマッチしたテスト類型を見つけない場合、前記ゲーム音声モードでマイクロフォンにより前記第一ユーザの上りリンク音声データを取得したときに、前記第一前置信号処理ポリシーにより前記上りリンク音声データに対して音声最適化を行い、第一音声最適化結果を取得し、かつ前記第二前置信号処理ポリシーにより前記上りリンク音声データに対して音声最適化を行い、第二音声最適化結果を取得するステップ；及び
    前記第一音声最適化結果及び前記第二音声最適化結果に基づいて、前記第一前置信号処理ポリシー及び前記第二前置信号処理ポリシーのうちから前記音質パラメータと関連付けられる最適信号処理ポリシーを決定し、前記最適信号処理ポリシーを前記第一前置信号処理ポリシーと関連付けられる信号処理結果とするステップを含む、方法。
  28. 請求項22～27のうちの何れか1項に記載の方法であって、さらに、
    前記業務アプリケーションに対応する第一ユーザの前記ゲーム音声モードでの上りリンク音声データを取得し、前記第一前置信号処理ポリシーにおいてオンされる第一最適化コンポーネント及び前記第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントに基づいて、前記ゲーム音声モードでの上りリンク音声データに対して音声最適化を行うステップを含む、方法。
  29. 音声データを処理する装置であって、
    ゲーム音声モードで、業務アプリケーションのアプリケーション層内の第一前置信号処理ポリシーと関連付けられる信号処理結果を取得するための処理結果取得モジュールであって、前記第一前置信号処理ポリシーには少なくとも１つの第一最適化コンポーネントが含まれる、処理結果取得モジュール；
    前記信号処理結果に基づいて、前記アプリケーション層で、端末システム層内の第二前置信号処理ポリシーにおける第二最適化コンポーネントのオンオフ状態を制御し、又は、前記第一前置信号処理ポリシーにおける第一最適化コンポーネントのオンオフ状態を制御するためのコンポーネント制御モジュールであって、前記第一前置信号処理ポリシーにおいてオンされる第一最適化コンポーネントは前記第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントとは異なる、コンポーネント制御モジュール；及び
    前記業務アプリケーションに対応する第一ユーザの前記ゲーム音声モードでの上りリンク音声データを取得し、前記第一前置信号処理ポリシーにおいてオンされる第一最適化コンポーネント及び前記第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントに基づいて、前記ゲーム音声モードでの上りリンク音声データに対して音声最適化を行うための音声最適化モジュールを含む、装置。
  30. 音声データを処理する装置であって、
    ゲーム音声モードで、業務アプリケーションのアプリケーション層内の第一前置信号処理ポリシーと関連付けられる信号処理結果を取得するための処理結果取得モジュールであって、前記第一前置信号処理ポリシーには少なくとも１つの第一最適化コンポーネントが含まれる、処理結果取得モジュール；及び
    前記信号処理結果に基づいて、前記アプリケーション層で、端末システム層内の第二前置信号処理ポリシーにおける第二最適化コンポーネントのオンオフ状態を制御するためのコンポーネント制御モジュールであって、前記第二前置信号処理ポリシーには少なくとも１つの第二最適化コンポーネントが含まれる、コンポーネント制御モジュールを含む、装置。
  31. 音声データを処理する装置であって、
    ゲーム音声モードで、業務アプリケーションのアプリケーション層内の第一前置信号処理ポリシーと関連付けられる信号処理結果を取得するための処理結果取得モジュールであって、前記第一前置信号処理ポリシーには少なくとも１つの第一最適化コンポーネントが含まれる、処理結果取得モジュール；及び
    前記信号処理結果に基づいて、端末システム層内の第二前置信号処理ポリシーにおける第二最適化コンポーネントのオンオフ状態を制御し、又は、前記第一前置信号処理ポリシーにおける第一最適化コンポーネントのオンオフ状態を制御するためのコンポーネント制御モジュールであって、前記第一前置信号処理ポリシーにおいてオンされる第一最適化コンポーネントは前記第二前置信号処理ポリシーにおいてオンされる第二最適化コンポーネントとは異なる、コンポーネント制御モジュールを含む、装置。
  32. 処理器及び記憶器を含むコンピュータ機器であって、
    前記処理器は前記記憶器に接続され、
    前記記憶器にはコンピュータプログラムが記憶されており、
    前記処理器は前記コンピュータプログラムを実行することで、請求項1～15のうちの何れか1項に記載の方法、又は、請求項16～21のうちの何れか1項に記載の方法、又は、請求項22～28のうちの何れか1項に記載の方法を実現するように構成される、コンピュータ機器。
  33. コンピュータに、請求項1～15のうちの何れか1項に記載の方法、又は、請求項16～21のうちの何れか1項に記載の方法、又は、請求項22～28のうちの何れか1項に記載の方法を実行させるためのプログラム。
JP2023544240A 2021-01-22 2021-11-18 音声データ処理方法と装置及びコンピュータ機器とプログラム Pending JP2024510367A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202110088769.3 2021-01-22
CN202110088769.3A CN114822570B (zh) 2021-01-22 2021-01-22 一种音频数据处理方法、装置、设备及可读存储介质
PCT/CN2021/131404 WO2022156336A1 (zh) 2021-01-22 2021-11-18 音频数据处理方法、装置、设备、存储介质及程序产品

Publications (1)

Publication Number Publication Date
JP2024510367A true JP2024510367A (ja) 2024-03-07

Family

ID=82524619

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023544240A Pending JP2024510367A (ja) 2021-01-22 2021-11-18 音声データ処理方法と装置及びコンピュータ機器とプログラム

Country Status (6)

Country Link
US (1) US20230146871A1 (ja)
EP (1) EP4283617A1 (ja)
JP (1) JP2024510367A (ja)
KR (1) KR20230130730A (ja)
CN (1) CN114822570B (ja)
WO (1) WO2022156336A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115430156A (zh) * 2022-08-16 2022-12-06 中国联合网络通信集团有限公司 游戏期间的呼叫方法、呼叫装置及主叫用户终端

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7102615B2 (en) * 2002-07-27 2006-09-05 Sony Computer Entertainment Inc. Man-machine interface using a deformable device
US7142335B2 (en) * 2002-07-22 2006-11-28 Eastman Kodak Company Method and apparatus for transparency scanning with a duplex reflective scanner
US8713440B2 (en) * 2008-02-13 2014-04-29 Microsoft Corporation Techniques to manage communications resources for a multimedia conference event
US20120310652A1 (en) * 2009-06-01 2012-12-06 O'sullivan Daniel Adaptive Human Computer Interface (AAHCI)
JP2012238964A (ja) * 2011-05-10 2012-12-06 Funai Electric Co Ltd 音分離装置、及び、それを備えたカメラユニット
CN106920559B (zh) * 2017-03-02 2020-10-30 奇酷互联网络科技（深圳）有限公司 通话音的优化方法、装置及通话终端
CN107610698A (zh) * 2017-08-28 2018-01-19 深圳市金立通信设备有限公司 一种实现语音控制的方法、机器人及计算机可读存储介质
CN107920176A (zh) * 2017-11-19 2018-04-17 天津光电安辰信息技术股份有限公司 一种用于语音通信系统的音质优化装置
CN108762607A (zh) * 2018-04-28 2018-11-06 努比亚技术有限公司 一种游戏交流方法、终端及计算机可读存储介质
CN108762926A (zh) * 2018-05-29 2018-11-06 努比亚技术有限公司 一种系统优化方法、终端及计算机可读存储介质
CN108854062B (zh) * 2018-06-24 2019-08-09 广州银汉科技有限公司 一种移动游戏的语音聊天模块
CN109165091A (zh) * 2018-07-03 2019-01-08 南昌黑鲨科技有限公司 一种优化应用运行质量的方法、移动终端及存储介质
CN109147784B (zh) * 2018-09-10 2021-06-08 百度在线网络技术（北京）有限公司 语音交互方法、设备以及存储介质
CN109343902B (zh) * 2018-09-26 2021-08-03 Oppo广东移动通信有限公司 音频处理组件的运行方法、装置、终端及存储介质
CN109065065A (zh) * 2018-09-27 2018-12-21 南昌努比亚技术有限公司 通话方法、移动终端及计算机可读存储介质
CN110704191A (zh) * 2019-09-29 2020-01-17 Oppo广东移动通信有限公司 一种游戏优化方法、游戏优化装置及移动终端
CN111739549B (zh) * 2020-08-17 2020-12-08 北京灵伴即时智能科技有限公司 声音优化方法及声音优化系统
CN111933184B (zh) * 2020-09-29 2021-01-08 平安科技（深圳）有限公司 一种语音信号处理方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN114822570A (zh) 2022-07-29
KR20230130730A (ko) 2023-09-12
WO2022156336A1 (zh) 2022-07-28
US20230146871A1 (en) 2023-05-11
CN114822570B (zh) 2023-02-14
EP4283617A1 (en) 2023-11-29

Similar Documents

Publication Publication Date Title
US11929088B2 (en) Input/output mode control for audio processing
JP5085556B2 (ja) エコー除去の構成
US10644972B2 (en) Media connection channel quality testing system
US10097902B2 (en) System and method for using multiple audio input devices for synchronized and position-based audio
JP6849797B2 (ja) 音響信号の聴取試験および変調
KR101970370B1 (ko) 오디오 신호의 처리 기법
JP2020038375A (ja) ダッキング制御のためのメタデータ
US10085102B2 (en) Detection of device configuration
US9749474B2 (en) Matching reverberation in teleconferencing environments
JP2011512694A (ja) 通信システムの少なくとも２人のユーザ間の通信を制御する方法
US20160180863A1 (en) Intelligent volume control interface
JP2024510367A (ja) 音声データ処理方法と装置及びコンピュータ機器とプログラム
US20120148059A1 (en) Controlling Audio Signals
CN111951813A (zh) 语音编码控制方法、装置及存储介质
CN108449498B (zh) 语音通话数据处理方法、装置、存储介质及移动终端
JP6954905B2 (ja) オーディオ信号を出力するためのシステム及びそれぞれの方法と設定装置
US11562761B2 (en) Methods and apparatus for enhancing musical sound during a networked conference
CN116036591A (zh) 音效优化方法、装置、设备及存储介质
CN114024992A (zh) 一种云手机语音通话方法、装置、设备和系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230721