JP7476327B2 - オーディオデータ処理方法、遅延時間取得方法、サーバ、及びコンピュータプログラム - Google Patents

Description

（関連出願の相互参照）
本願は、２０２０年７月２３日に中国国家知識産権局に提出された、出願番号２０２０１０７１６９７８．３、出願の名称「オーディオデータ処理方法、サーバ及び記憶媒体」の中国特許出願の優先権を主張し、その内容のすべてが参照によって本願に組み込まれる。

（技術分野）
本願は、コンピュータ技術分野に関し、特にオーディオデータの処理に関する。

クラウドアプリケーションプログラムは、サーバで実行されるアプリケーションプログラムであり、サーバは、クラウドアプリケーションプログラムを実行し、対応するオーディオデータを生成し、当該オーディオデータを端末のローカルにおけるアプリケーションプログラムに配信して再生し、端末のローカルにおけるアプリケーションプログラムは当該オーディオデータを再生すればよい。

現在、サーバは、オーディオ収集プログラムにＡｕｄｉｏＲｅｃｏｒｄ（オーディオ録音）インタフェースを提供する。クラウドアプリケーションプログラムの実行中に、サーバは、録音スレッドによってオーディオデータを録音すると、オーディオ収集プログラムは、ＡｕｄｉｏＲｅｃｏｒｄインタフェースを呼び出し、録音されたオーディオデータを録音スレッドから読み取り、続いて端末のローカルにおけるアプリケーションプログラムに送信することができる。

一態様において、本願の実施例は、クラウドアプリケーションプログラムと、システムフレームと、中継プログラムと、オーディオ収集プログラムとを含むサーバが実行するオーディオデータ処理方法であって、クラウドアプリケーションプログラムの第１のオーディオデータをシステムフレームに入力するステップと、システムフレームにより第１のオーディオデータを処理し、第２のオーディオデータを得て、第２のオーディオデータを中継プログラムに送信するステップと、中継プログラムにより、中継プログラムとオーディオ収集プログラムとの間の通信接続に基づいて、第２のオーディオデータをオーディオ収集プログラムに送信するステップであって、オーディオ収集プログラムは第２のオーディオデータを端末のローカルにおけるアプリケーションプログラムに送信するために用いられるステップと、を含む、オーディオデータ処理方法を提供する。

別の態様において、本願の実施例は、検出アプリケーションプログラムと、システムフレームと、中継プログラムと、オーディオ収集プログラムとを含むサーバが実行する遅延時間取得方法であって、検出アプリケーションプログラムの第１の検出オーディオデータをシステムフレームに入力し、第１の検出オーディオデータの送信時間を記録するステップと、システムフレームにより第１の検出オーディオデータを処理し、第２の検出オーディオデータを得て、第２の検出オーディオデータを中継プログラムに送信するステップと、中継プログラムにより、中継プログラムとオーディオ収集プログラムとの間の通信接続に基づいて、第２の検出オーディオデータをオーディオ収集プログラムに送信し、オーディオ収集プログラムが第２の検出オーディオデータを受信する第１の受信時間を記録するステップであって、オーディオ収集プログラムは、第２の検出オーディオデータを端末のローカルにおけるアプリケーションプログラムに送信するために用いられるステップと、送信時間と第１の受信時間との間の第１の時間差を取得するステップであって、第１の時間差は、検出オーディオデータが検出アプリケーションプログラムからオーディオ収集プログラムに伝送される遅延時間を表すステップと、を含む、遅延時間取得方法を提供する。

別の態様において、本願の実施例は、アプリケーション実行モジュールと、フレーム実行モジュールと、中継モジュールと、収集モジュールとを含み、アプリケーション実行モジュールは、クラウドアプリケーションプログラムの第１のオーディオデータをフレーム実行モジュールに入力するために用いられ、フレーム実行モジュールは、第１のオーディオデータを処理し、第２のオーディオデータを得て、第２のオーディオデータを中継モジュールに送信するために用いられ、中継モジュールは、中継モジュールと収集モジュールとの間の通信接続に基づいて、第２のオーディオデータを収集モジュールに送信するために用いられ、収集モジュールは、第２のオーディオデータを端末のローカルにおけるアプリケーションプログラムに送信するために用いられるサーバを提供する。

一態様において、本願の実施例は、アプリケーション実行モジュールと、フレーム実行モジュールと、中継モジュールと、収集モジュールと、記録モジュールと、取得モジュールとを含み、アプリケーション実行モジュールは、検出アプリケーションプログラムの第１の検出オーディオデータをフレーム実行モジュールに入力するために用いられ、記録モジュールは、第１の検出オーディオデータの送信時間を記録するために用いられ、フレーム実行モジュールは、第１の検出オーディオデータを処理し、第２の検出オーディオデータを取得し、第２の検出オーディオデータを中継モジュールに送信するために用いられ、中継モジュールは、中継モジュールと収集モジュールとの間の通信接続に基づいて、第２の検出オーディオデータを収集モジュールに送信するために用いられ、収集モジュールは、第２の検出オーディオデータを端末のローカルにおけるアプリケーションプログラムに送信するために用いられ、記録モジュールは、さらに、収集モジュールが第２の検出オーディオデータを受信する第１の受信時間を記録するために用いられ、取得モジュールは、送信時間と第１の受信時間との第１の時間差を取得するために用いられ、第１の時間差は、検出オーディオデータがアプリケーション実行モジュールから収集モジュールに伝送される遅延時間を表すサーバを提供する。

別の態様において、本願の実施例は、上記態様に記載のオーディオデータ処理方法を実行するために用いられ、又は、上記態様に記載の遅延時間取得方法を実行するために用いられるコンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体を提供する。

さらに別の態様において、本願の実施例は、コンピュータ読み取り可能な記憶媒体に記憶されるコンピュータプログラムコードを含むコンピュータプログラムを提供する。コンピュータ機器のプロセッサは、コンピュータ読み取り可能な記憶媒体からコンピュータプログラムコードを読み取り、プロセッサは、コンピュータプログラムコードを実行することにより、コンピュータ機器は上記態様に記載のオーディオデータ処理方法を実現し、又は、上記態様に記載の遅延時間取得方法を実現する。

さらに別の態様において、本願の実施例は、
プロセッサと、通信インタフェースと、メモリと、通信バスとを含み、
そのうち、プロセッサ、通信インタフェース及びメモリは、通信バスを介して相互間の通信を完成し、通信インタフェースは通信モジュールのインタフェースであり、
メモリは、プログラムコードを記憶し、プログラムコードをプロセッサに伝送するために用いられ、
プロセッサは、メモリにおけるプログラムコードの命令を呼び出して上記態様に記載のオーディオデータ処理方法を実行し、又は、上記態様に記載の遅延時間取得方法を実行するために用いられるサーバを提供する。

本願の実施例にて提供される実施環境概略図である。 本願の実施例にて提供されるブロックチェーンシステムに適用される分散システムの１つの選択可能な構造概略図である。 本願の実施例にて提供されるオーディオデータ処理方法のフローチャートである。 本願の実施例にて提供されるサーバが端末にオーディオデータを配信するプロセスにおけるオーディオデータの伝送のフローチャートである。 本願の実施例にて提供されるオーディオデータ処理方法のフローチャートである。 本願の実施例にて提供されるハードウェア抽象化レイヤーがオーディオデータをオーディオデータ収集プログラムに送信するフローチャートである。 本願の実施例にて提供されるサーバが端末にオーディオデータを配信するプロセスにおけるオーディオデータの伝送のフローチャートである。 本願の実施例にて提供されるオーディオデータ処理方法のフローチャートである。 本願の実施例にて提供される遅延時間取得方法のフローチャートである。 本願の実施例にて提供される遅延時間取得方法のフローチャートである。 本願の実施例にて提供される検出アプリケーションプログラムから出力された複数のオーディオデータの概略図である。 本願の実施例にて提供されるサーバにおける複数のプログラムがオーディオデータを取得する遅延時間の概略図である。 本願の実施例にて提供される遅延時間取得方法のフローチャートである。 本願の実施例にて提供されるサーバにおける複数のプログラムがオーディオデータを取得する遅延時間の概略図である。 本願の実施例にて提供されるサーバにおける複数のプログラムがオーディオデータを取得する遅延時間の概略図である。 本願の実施例にて提供されるオーディオデータの処理装置の構造概略図である。 本願の実施例にて提供される別のオーディオデータの処理装置の構造概略図である。 本願の実施例にて提供される別のオーディオデータの処理装置の構造概略図である。 本願の実施例にて提供される遅延時間取得装置の構造概略図である。 本願の実施例にて提供される端末の構造ブロック図である。 本願の実施例にて提供されるサーバの構造概略図である。

以下、本願の目的、技術的解決手段及び利点をより明確にするために、図面を参照しながら本願の実施形態について一層詳細に説明する。

本願に使用される用語の「第１」、「第２」などは、様々な概念を説明するために本明細書で使用され得るが、特に明記しない限り、これらの概念はこれらの用語によって限定されないことが理解される。これらの用語は、ある概念を別の概念と区別するためにのみ使用される。例えば、本願の範囲から逸脱することなく、第１のオーディオデータを第２のオーディオデータと呼んでもよく、同様に、第２のオーディオデータを第１のオーディオデータと呼んでもよい。

本願の実施例を詳細に説明する前に、関連する概念について以下に説明する。

１．クラウドアプリケーションプログラム：サーバで実行されるアプリケーションプログラムであって、選択可能に、当該クラウドアプリケーションプログラムはゲームアプリケーションプログラム又はオーディオ処理アプリケーションプログラムなどである。

２．コンテナ：コンテナには、例えばオペレーティングシステムなど、アプリケーションプログラムを実行するために必要な関連詳細がカプセル化され、一台のサーバは複数のコンテナを実行することができ、各コンテナ内にはクラウドアプリケーションプログラム及びオペレーティングシステムを実行することができ、そのうち、オペレーティングシステムは、例えばアンドロイドオペレーティングシステム、ｉＯＳ（ｉＰｈｏｎｅ Ｏｐｅｒａｔｉｏｎ Ｓｙｓｔｅｍ、アイフォーンオペレーティングシステム）など、いずれかのオペレーティングシステムである。

３．ハードウェア抽象化レイヤー（ＡｕｄｉｏＨａｌ）：システムフレームとハードウェアドライバとの間に位置するものであり、システムフレームから配信されたオーディオデータを受信し、当該オーディオデータをハードウェアドライバによってハードウェアに出力することを担当する。

４．システムフレーム：オペレーティングシステムから提供されるフレームであり、選択可能に、オペレーティングシステム内のオーディオ処理フレーム（ＡｕｄｉｏＦｌｉｎｇｅｒ）である。

５．リサンプリングプログラム（ＲｅｍｏｔｅＳｕｂｍｉｘ）：オペレーティングシステム内の１つのモジュールであり、オペレーティングシステム内のオーディオをミキシング処理した後にネットワークを介して遠位端に送信するために用いられる。

６．オーディオ収集プログラム：サーバのオペレーティングシステムからオーディオデータを収集するためのプログラムであり、収集したオーディオデータを符号化モジュール（ＷｅｂｒｔｃＰｒｏｘｙ）に送信し、符号化モジュールにより当該オーディオデータを符号化した後に端末のアプリケーションプログラムに配信することができ、選択可能に、クラウドアプリケーションプログラムがクラウドゲームプログラムの場合、当該オーディオ収集プログラムはＣｌｏｕｄＧａｍｅクラウドゲームバックエンドである。

７．オーディオ録音インタフェース（ＡｕｄｉｏＲｅｃｏｒｄ）：オペレーティングシステムにおけるオーディオデータ収集のインタフェースであり、オーディオデータのソースはマイク、ＲｅｍｏｔｅＳｕｂｍｉｘなどである。

８．ミキシングスレッド（ＭｉｘｅｒＴｈｒｅａｄ）：システムフレームにおけるミキシングを担当するスレッドである。

９．録音スレッド（ＲｅｃｏｒｄＴｈｒｅａｄ）：システムフレームにおける録音を担当するスレッドである。

図１は、本願の実施例にて提供される実施環境概略図であり、図１に示すように、当該実施環境は、端末１０１とサーバ１０２とを含み、端末１０１とサーバ１０２は有線又は無線通信方式により直接又は間接的に接続することができ、ここでは、本願は制限しない。

ここで、端末１０１は、スマートフォン、タブレットコンピュータ、ノートパソコン、デスクトップコンピュータ、スマートスピーカボックス、スマートウォッチなどの機器であってもよいが、これらに限定されるものではない。選択可能に、サーバ１０２は独立した物理サーバであり、選択可能に、サーバ１０２は、複数の物理サーバで構成されたサーバクラスタ又は分散システムであり、選択可能に、サーバ１０２はクラウドサービス、クラウドデータベース、クラウドコンピューティング、クラウド関数、クラウドストレージ、ネットワークサービス、クラウド通信、ミドルウェアサービス、ドメイン名サービス、セキュリティサービス、ＣＤＮ（Ｃｏｎｔｅｎｔ Ｄｅｌｉｖｅｒｙ Ｎｅｔｗｏｒｋ、コンテンツ配信ネットワーク）、及びビッグデータと人工知能プラットフォームなどの基礎クラウドコンピューティングサービスを提供するクラウドサーバである。

ここで、サーバ１０２にはクラウドアプリケーションプログラムが実行されており、クラウドアプリケーションプログラムの実行中に、クラウドアプリケーションプログラムは、オーディオデータを生成し、サーバ１０２は、当該オーディオデータを端末１０１に送信することにより、端末１０１は、アプリケーションプログラムを実行しなくても、アプリケーションプログラムが生成したオーディオデータを再生することができる。

選択可能に、端末１０１にはローカルアプリケーションプログラムがインストールされており、ユーザは、ローカルアプリケーションプログラムによりサーバ１０２に制御命令を送信することができ、サーバ１０２内のクラウドアプリケーションプログラムは、当該制御命令に従って実行され、当該制御命令に対応するオーディオデータを生成し、サーバ１０２は、当該オーディオデータを端末１０１に配信することにより、ユーザは、端末１０１上のローカルアプリケーションプログラムによりオーディオデータを再生する。

選択可能に、本願の実施例に係る端末とサーバとは接続して分散システムを形成する。分散システムがブロックチェーンシステムの場合を例とし、図２に示すように、図２は、本願の実施例にて提供されるブロックチェーンシステムに適用される分散システム２００の１つの選択可能な構造概略図であり、複数のノード２０１（例えばサーバ、端末のような、アクセスネットワークにおける任意の形態の計算機器）とクライアント２０２で形成され、ノード間は構成されるピアツーピア（Ｐ２Ｐ、Ｐｅｅｒ Ｔｏ Ｐｅｅｒ）ネットワークを形成し、Ｐ２Ｐプロトコルは、トランスミッションコントロールプロトコル（ＴＣＰ、Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）上で実行されるアプリケーションレイヤープロトコルである。分散システムにおいて、サーバや、端末のような、任意の機器は参加してノードとなることができる。

図２に示すブロックチェーンシステム内の各ノードの機能を参照すると、関連する機能は以下を含む。

（１）ルーティングであって、ノードが有する基本機能であり、ノード間の通信をサポートするために用いられる。
ノードはルーティング機能を有する以外、さらに以下の機能を有してもよい。

（２）アプリケーションであって、ブロックチェーンに配置され、実際のサービスニーズに応じて特定のサービスを実現し、機能実現に関連するデータを記録して記録データを形成し、記録データにデジタル署名を付けてタスクデータのソースを示し、記録データをブロックチェーンシステム内の他のノードに送信することにより、他のノードが記録データのソース及び完全性を検証することに成功した時に、記録データを一時ブロックに追加するようにするために用いられる。

例えば、複数のサーバにはクラウドアプリケーションプログラムがそれぞれ実行され、各サーバはブロックチェーン内の１つのノードであり、当該複数のサーバがクラウドアプリケーションプログラムを実行して得たデータは同期的である。

本願の実施例はクラウドゲームのシーンに適用することができる。

例えば、ユーザは、端末によりクラウドゲームの実行を制御し、本願の実施例にて提供されるオーディオデータ処理方法を用い、クラウドゲームの実行中に生成されたオーディオデータを端末に送信し、端末により当該オーディオデータを再生することで、ユーザはゲーム中にオーディオデータを聞くことができる。

本願の実施例にて提供されるオーディオデータ処理方法を用いるため、サーバは端末にオーディオデータをより速く送信し、オーディオデータの遅延時間を低減することができることで、ユーザは、オーディオデータをより速く聞くことができる。

本願の実施例は、さらにサーバによりクラウドアプリケーションプログラムを実行する他のシーンに適用することができ、本願の実施例は、適用シーンについて限定しない。

図３は本願の実施例にて提供されるオーディオデータ処理方法のフローチャートである。本願の実施例の実行主体はサーバであり、図３に示すように、当該方法は以下のステップ３０１～３０３を含む。

３０１において、クラウドアプリケーションプログラムの第１のオーディオデータをシステムフレームに入力する。

ここで、クラウドアプリケーションプログラムは、サーバで実行されるアプリケーションプログラムのいずれかであり、選択可能に、当該クラウドアプリケーションプログラムはゲームアプリケーションプログラムであり、又は当該クラウドアプリケーションプログラムは、オーディオ処理アプリケーションプログラムなどである。本願の実施例は、クラウドアプリケーションプログラムのタイプについて限定しない。第１のオーディオデータは、クラウドアプリケーションプログラムが実行中に生成したオーディオデータである。

３０２において、システムフレームにより、第１のオーディオデータを処理し、第２のオーディオデータを得て、第２のオーディオデータを中継プログラムに送信する。

システムフレームは、サーバのオペレーティングシステムにおけるフレームであり、オーディオデータを処理するために用いられる。中継プログラムは、システムフレームとオーディオ収集プログラムとの間のプログラムであり、システムフレームによって処理されたオーディオデータをオーディオ収集プログラムに伝送するために用いられ、当該中継プログラムは、オーディオデータを転送する機能を有し、選択可能に、中継プログラムは、さらに他の機能を有してもよく、本願の実施例は、これについて限定しない。

３０３において、中継プログラムにより、中継プログラムとオーディオ収集プログラムとの間の通信接続に基づいて、第２のオーディオデータをオーディオ収集プログラムに送信し、オーディオ収集プログラムは、第２のオーディオデータを端末のローカルにおけるアプリケーションプログラムに送信するために用いられる。

ここで、中継プログラムとオーディオ収集プログラムとの間に通信接続が確立され、中継プログラムは、当該通信接続により、第２のオーディオデータをオーディオ収集プログラムに直接送信することができる。

端末にローカルアプリケーションプログラムがインストールされており、当該ローカルアプリケーションプログラムは端末とサーバとのインタラクションをサポートするアプリケーションプログラムであり、オーディオ収集プログラムは、第２のオーディオデータを受信した後、第２のオーディオデータを端末のローカルアプリケーションプログラムに送信して、端末に当該第２のオーディオデータを再生させ、ただし、当該ローカルアプリケーションプログラムは、ステップ３０３における、端末のローカルにおけるアプリケーションプログラムである。

本願の実施例にて提供されるオーディオデータ処理方法は、システムフレームとオーディオ収集プログラムとの間に中継プログラムを設置し、かつ中継プログラムとオーディオ収集プログラムとの間の通信接続を確立し、当該通信接続によりシステムフレームによって処理されたオーディオデータを当該オーディオ収集プログラムに直接送信することができる。オーディオ収集プログラムがオーディオ録音インタフェースを呼び出すことによって録音スレッドからオーディオデータを読み取ることに比べ、通信接続によりオーディオデータを直接送信する上記方式は、オーディオデータの伝送リンクを減少させ、オーディオ収集プログラムがオーディオデータを取得する時間を短縮し、サーバがオーディオデータを配信する遅延時間を低減する。

なお、上記ステップ３０２及びステップ３０３における中継プログラムは、ハードウェア抽象化レイヤーであり、又はオペレーティングシステム内に固有のリサンプリングプログラムであり、又は他のプログラムであり、本願の実施例はこれについて限定しない。

まず、本願の実施例は中、継プログラムがハードウェア抽象化レイヤーの場合を例とし、サーバについて説明する。図４に示すように、当該サーバ４００は、クラウドアプリケーション４０１と、システムフレーム４０２と、ハードウェア抽象化レイヤー４０３と、オーディオ収集プログラム４０４と、を含む。

そのうち、クラウドアプリケーションプログラム４０１はシステムフレーム４０２のインタフェースを呼び出し、オーディオデータを例えばミキシングスレッドによりシステムフレーム４０２に書き込むことができ、システムフレーム４０２は、ハードウェア抽象化レイヤー４０３のインタフェースを呼び出し、オーディオデータをハードウェア抽象化レイヤー４０３に書き込むことができる。ハードウェア抽象化レイヤー４０３とオーディオ収集プログラム４０４との間には、オーディオデータをオーディオ収集プログラム４０４に送信可能な通信接続が確立される。

なお、上記クラウドアプリケーションプログラム４０１、システムフレーム４０２、ハードウェア抽象化レイヤー４０３及びオーディオ収集プログラム４０４は、いずれもサーバ４００のオペレーティングシステムコンテナで実行される。

選択可能に、当該サーバ４００は、符号化プログラム４０５をさらに含み、オーディオ収集プログラム４０４は、オーディオデータを符号化プログラム４０５に送信し、符号化プログラム４０５により当該オーディオデータを符号化し、符号化されたオーディオデータを端末のローカルにおけるアプリケーションプログラムに送信する。

上記図４に示すサーバに加えて、本願の実施例は、オーディオデータ処理方法をさらに提供し、図５は、本願の実施例にて提供されるオーディオデータ処理方法のフローチャートであり、本願の実施例の実行主体は図４に示すサーバであり、図５に示すように、当該方法は、以下のステップ５０１～５０６を含む。

５０１において、クラウドアプリケーションプログラムの第１のオーディオデータをシステムフレームに入力する。

ここで、クラウドアプリケーションプログラムは、サーバで実行されるアプリケーションプログラムであり、ローカルアプリケーションプログラムは、端末にインストールされたアプリケーションプログラムであり、当該ローカルアプリケーションプログラムは、端末とサーバとのインタラクションをサポートするアプリケーションプログラムであり、サーバは、クラウドアプリケーションプログラムの実行中に生成されたデータを端末のローカルアプリケーションプログラムに送信して、端末に当該データを表示させることができ、そのため、端末は、当該クラウドアプリケーションプログラムを実行しなくても、クラウドアプリケーションプログラムによって生成されたデータを取得することができる。

選択可能に、ユーザは、さらに端末のローカルアプリケーションプログラムによりサーバに命令を送信することができ、サーバは、当該命令に従ってクラウドアプリケーションプログラムを実行し、クラウドアプリケーションプログラムによって生成されたデータを端末のローカルアプリケーションプログラムに送信することで、端末は、サーバ内のクラウドアプリケーションプログラムの実行を制御することができ、端末はさらにクラウドアプリケーションプログラムが実行された後に生成したデータを取得することができ、そのため、端末は、クラウドアプリケーションプログラムをインストール及び実行しなくても、当該クラウドアプリケーションプログラムを使用することができる。

例えば、ユーザは、端末のローカルアプリケーションプログラムにおいて仮想キャラクターＡがスキルａをリリースする操作をトリガし、端末のローカルアプリケーションプログラムは、当該操作に応答して、サーバ内のクラウドアプリケーションプログラムにスキルリリース命令を送信し、当該スキルリリース命令には仮想キャラクターＡの仮想識別子及びスキルａに対応するスキル識別子が付き、クラウドアプリケーションプログラムは、スキルリリース命令を受信した後、当該スキルリリース命令に基づいて仮想キャラクターＡがスキルａをリリースするビデオデータをレンダリングし、当該ビデオデータを端末のローカルアプリケーションプログラムに送信し、端末のローカルアプリケーションプログラムにより当該ビデオデータを表示することで、ユーザは、仮想キャラクターＡがスキルａをリリースする画面を見ることになる。これから分かるように、本願の実施例では、サーバ内のクラウドアプリケーションプログラムと端末のローカルアプリケーションプログラムとの相互の組み合わせにより仮想キャラクターＡがスキルａをリリースする操作を実現する。

ここで、クラウドアプリケーションプログラムの実行中に、当該クラウドアプリケーションプログラムは、オーディオデータを生成し、サーバは、当該オーディオデータを端末のローカルアプリケーションプログラムに送信して、端末に当該オーディオデータを再生させたり、当該オーディオデータを記憶させたりすることができる。

例えば、クラウドアプリケーションプログラムは、当該スキルリリース命令における仮想識別子及びスキル識別子に基づいて、第１のオーディオデータを取得し、第１のオーディオデータを端末のローカルアプリケーションプログラムに送信し、当該第１のオーディオデータは、仮想キャラクターＡがスキルａをリリースすることに対応するスキルリリース効果音であり、端末のローカルアプリケーションプログラムは、第１のオーディオデータを受信した後、当該第１のオーディオデータを再生することで、ユーザは、仮想キャラクターＡがスキルａをリリースすることを見る時に対応するスキルリリース効果音を聞くようになる。

選択可能に、当該クラウドアプリケーションプログラムには複数種類のオーディオデータが記憶されており、当該複数種類のオーディオデータは以下の種類を含む。

バックグラウンドミュージック：当該バックグラウンドミュージックは、クラウドアプリケーションプログラムの実行に伴って再生されるオーディオデータであり、選択可能に、当該クラウドアプリケーションプログラムに１つのバックグラウンドミュージックが記憶され、当該バックグラウンドミュージックは、クラウドアプリケーションプログラムの実行に伴って繰り返し再生され、選択可能に、当該クラウドアプリケーションプログラムに複数のバックグラウンドミュージックが記憶され、当該複数のバックグラウンドミュージックは、クラウドアプリケーションプログラムの実行に伴って繰り返し再生され、又は、異なるバックグラウンドミュージックは異なる実行段階に適用され、クラウドアプリケーションプログラムは、実行段階に応じて複数のバックグラウンドミュージックから、当該実行段階に対応するバックグラウンドミュージックを選択して繰り返し再生する。選択可能に、当該クラウドアプリケーションプログラムは、実行中に、さらにビデオデータをレンダリングすることができ、クラウドアプリケーションプログラムは、レンダリングしたビデオデータに応じて、複数のバックグラウンドミュージックから、当該ビデオデータに対応するバックグラウンドミュージックを選択して繰り返し再生する。

オーディオシステム通知：当該オーディオシステム通知は、クラウドアプリケーションプログラムの実行中に、端末に送信したオーディオ通知メッセージであり、例えば、クラウドアプリケーションプログラムがゲームアプリケーションプログラムの場合、当該オーディオシステム通知は、「敵がＸＸ秒後に戦場に到着する」、「味方チームメイトのＸＸＸが包囲攻撃される」などであり、端末は、当該オーディオシステム通知を受信すると、当該オーディオシステム通知を再生する。

操作効果音：当該操作効果音は、ユーザに臨場感を感じさせるために、操作に伴って再生されるオーディオデータである。例えば、ユーザがスキルをリリースするように仮想キャラクターＡを操作すると、スキルをリリースする効果音を再生し、ユーザに自分がスキルをリリースする操作を行ったことを明確に知覚させることにより、ユーザに臨場感を感じさせる。

なお、上記バックグラウンドミュージック、オーディオシステム通知、操作効果音は複数種類のオーディオデータを例示的に説明するものにすぎず、当該複数種類のオーディオデータを限定するものではない。

ここで、クラウドアプリケーションプログラムの実行中に、クラウドアプリケーションプログラムは、現在の実行状態に応じて複数種類のオーディオデータから現在の実行状態に対応するオーディオデータを選択して端末に送信することができ、当該第１のオーディオデータは、現在の実行状態に対応するオーディオデータである。ただし、クラウドアプリケーションプログラムの実行状態は、クラウドアプリケーションプログラムの起動状態、クラウドアプリケーションプログラムが操作命令を実行する状態又はクラウドアプリケーションプログラムのシーンロード状態などを含む。

選択可能に、クラウドアプリケーションプログラムの起動プロセスにおいて、クラウドアプリケーションプログラムは、複数種類のオーディオデータから起動状態に対応するオーディオデータを選択し、当該オーディオデータを第１のオーディオデータとする。ただし、クラウドアプリケーションプログラムの起動プロセスとは、当該クラウドアプリケーションプログラムが既に起動しているが、まだ起動が完了しておらず、この時、クラウドアプリケーションプログラムは、例えば、オーディオデータを取得し、オーディオデータを配信するなど、機能の一部を実現することができる。選択可能に、起動状態に対応するオーディオデータはバックグラウンドミュージックのオーディオデータである。

例えば、クラウドアプリケーションプログラムは、ゲームアプリケーションプログラムであり、いくつかの比較的大規模なゲームアプリケーションプログラムに対して、起動プロセスは一定の時間がかかり、そのため、クラウドアプリケーションプログラムの起動プロセスにおいて、ユーザが待っているうちに退屈な気分を生じることを回避するために、端末にオーディオデータを送信し、端末により当該オーディオデータを再生する。

選択可能に、クラウドアプリケーションプログラムは実行中に、端末のローカルアプリケーションプログラムから送信された操作命令を受信し、当該クラウドアプリケーションプログラムは、当該操作命令に応答して、当該操作命令に対応する操作を実行し、複数種類のオーディオデータから当該操作命令に対応するオーディオデータを選択し、当該オーディオデータを第１のオーディオデータとする。

例えば、クラウドアプリケーションプログラムは、ゲームアプリケーションプログラムであり、当該クラウドアプリケーションプログラムは、実行中に、端末から送信されたスキルリリース命令を受信し、当該スキルリリース命令には仮想キャラクター識別子及びスキル識別子が付き、クラウドアプリケーションプログラムは、当該スキルリリース命令に応答して、当該スキルリリース命令における仮想キャラクター識別子及びスキル識別子に基づいて、対応するスキルをリリースするように対応する仮想キャラクターを制御し、複数種類のオーディオデータから当該スキルリリースに対応するオーディオデータを選択する。

選択可能に、クラウドアプリケーションプログラムは、１つ以上のオーディオソースを含み、当該複数種類のオーディオデータが当該１つ以上のオーディオソースに記憶される。選択可能に、各オーディオソースは一種類のオーディオデータを記憶し、異なるオーディオソースが記憶するオーディオデータの種類は異なる。

それに対応して、クラウドアプリケーションプログラムは、現在の実行状態に応じて複数種類のオーディオデータから現在の実行状態に対応する第１のオーディオデータを選択して端末に送信することができることは、クラウドアプリケーションプログラムは、いずれかのオーディオソースから、現在の実行状態に対応する第１のオーディオデータを読み取って端末に送信するステップ、又は、クラウドアプリケーションプログラムは、現在の実行状態に応じて、目標オーディオソースを決定し、目標オーディオソースから現在の実行状態に対応する第１のオーディオデータを読み取って端末に送信するステップを含む。

また、クラウドアプリケーションプログラムは、第１のオーディオデータを端末に配信する過程において、まず第１のオーディオデータをシステムフレームに入力して処理する。

５０２において、システムフレームにより、第１のオーディオデータをミキシング処理し、第３のオーディオデータを得る。

ここで、システムフレームは、オペレーティングシステム内のフレームであり、当該オペレーティングシステムは、アンドロイドシステム又はＩＯＳ（ｉＰｈｏｎｅ Ｏｐｅｒａｔｉｏｎ Ｓｙｓｔｅｍ、アイフォーンオペレーティングシステム）などであり、選択可能に、当該システムフレームは、オーディオ処理フレーム（ＡｕｄｉｏＦｌｉｎｇｅｒ）である。

選択可能に、第１のオーディオデータは、マルチチャネルのオーディオデータを含み、第１のオーディオデータをミキシング処理することは、当該マルチチャネルのオーディオデータを１つのオーディオデータに混合することであり、このように、ミキシング処理により得られた第３のオーディオデータは、１つのチャネルのオーディオデータである。

例えば、第１のオーディオデータは、バックグラウンドミュージックに対応するオーディオデータと操作効果音に対応するオーディオデータとを含み、すなわち、第１のオーディオデータは、２つのチャネルのオーディオデータを含み、端末が再生するオーディオデータをよりスムーズにするために、当該バックグラウンドミュージックに対応するオーディオデータと操作効果音に対応するオーディオデータを１チャネルのオーディオデータに混合し、第３のオーディオデータを得ることで、後続してユーザが聞く第３のオーディオデータをよりスムーズにし、ユーザの聴覚効果を保証する。

また、第１のオーディオデータがマルチチャネルのオーディオデータを含まれば、ユーザがそのうちあるチャネルのオーディオデータにより注目する状況が存在する可能性があり、例えば、第１のオーディオデータはバックグラウンドミュージックに対応するオーディオデータと操作効果音に対応するオーディオデータとを含み、バックグラウンドミュージックはクラウドアプリケーションプログラムの実行に伴って常に再生されるオーディオデータであり、操作効果音は、ユーザの操作に伴って再生されるオーディオデータであるため、ユーザは操作効果音に対応するオーディオデータにより注目する可能性がある。そのため、第１のオーディオデータは、マルチチャネルのオーディオデータを含み、第１のオーディオデータをミキシング処理し、第３のオーディオデータを得るステップは、第１のオーディオデータ中の各チャネルのオーディオデータの重みを決定し、各チャネルのオーディオデータの重みに基づいて、当該マルチチャネルのオーディオデータを１チャネルのオーディオデータに混合し、第３のオーディオデータを得るステップを含む。

選択可能に、各チャネルのオーディオデータの重みは、当該オーディオデータの種類に応じて決定され、例えば、システム通知の重みが最も大きく、操作効果音の重みが次に大きく、バックグラウンドミュージックの重みが最も小さく、又は、操作効果音の重みが最も大きく、システム通知の重みが次に大きく、バックグラウンドミュージックの重みが最も小さい。

選択可能に、システムフレームが処理スレッドを含むと、システムフレームにより、第１のオーディオデータをミキシング処理し、第３のオーディオデータを得るステップは、処理スレッドにより第１のオーディオデータをミキシング処理し、第３のオーディオデータを得るステップを含む。選択可能に、当該処理スレッドはミキシングスレッドである。

５０３において、システムフレームによりハードウェア抽象化レイヤーからオーディオパラメータを取得し、当該ハードウェア抽象化レイヤーにはオーディオパラメータが記憶されている。

本願の実施例は、ハードウェア抽象化レイヤーをカスタマイズし、当該ハードウェア抽象化レイヤーは、端末におけるハードウェア抽象化レイヤーと異なり、端末におけるハードウェア抽象化レイヤーはスピーカなどのハードウェアのインタフェースを呼び出し、オーディオデータをハードウェアに入力して再生するために用いられ、本願の実施例におけるハードウェア抽象化レイヤーは、ハードウェアに接続されず、オーディオ収集プログラムと通信接続を確立し、オーディオデータをオーディオ収集プログラムに送信する。

なお、オーディオ収集プログラムにはオーディオパラメータが配置され、当該オーディオパラメータは、当該オーディオ収集プログラムが受信するオーディオデータが当該オーディオパラメータを満たす必要があることを示し、例えば、オーディオパラメータが２４ＫＨｚ（キロヘルツ）デュアルチャンネルであれば、オーディオ収集プログラムが２４ＫＨｚデュアルチャンネルのオーディオデータを受信するように配置されることが示される。

ハードウェア抽象化レイヤーから送信されたオーディオデータのオーディオパラメータがオーディオ収集プログラムの要件を満たさなければ、オーディオ収集プログラムは、当該オーディオデータを順調に受信できない可能性があり、選択可能に、当該ハードウェア抽象化レイヤーにはオーディオパラメータが記憶され、当該オーディオパラメータは、オーディオ収集プログラムの要件に基づいて設定され、このように、システムフレームは、ハードウェア抽象化レイヤーからオーディオパラメータを取得し、当該オーディオパラメータを満たすオーディオデータを生成することができ、それにより、ハードウェア抽象化レイヤーは、オーディオデータをオーディオ収集プログラムに送信することに成功する。

例えば、オーディオ収集プログラムは、２４ＫＨｚ（キロヘルツ）のオーディオデータを受信し、当該オーディオパラメータは、サンプリングレートが２４ＫＨｚであることを含む。

選択可能に、当該オーディオパラメータは、目標サンプリングレート、目標チャネル数又は目標サンプリング深度のうち少なくとも１つを含む。

なお、選択可能に、当該ステップ５０３をステップ５０２の前に実行し、又は、当該ステップ５０３をステップ５０２と同時に実行し、又は、当該ステップ５０３をステップ５０２の後に実行する。

選択可能に、クラウドアプリケーションプログラムの実行中に、当該ステップ５０３を一回のみ実行し、又は、システムフレームは、オーディオデータを処理するたびに、当該ステップ５０３を実行する必要があり、本願の実施例はこれについて限定しない。

５０４において、システムフレームにより、当該オーディオパラメータに基づいて第３のオーディオデータを処理し、第２のオーディオデータを得る。

システムフレームから出力されたオーディオデータのオーディオパラメータがオーディオ収集プログラムの要件を満たすように、ハードウェア抽象化レイヤー内のオーディオパラメータに従って、第３のオーディオデータを処理し、第２のオーディオデータを得るとしてもよく、それにより、第２のオーディオデータのオーディオパラメータがハードウェア抽象化レイヤー内のオーディオパラメータに一致し、第２のオーディオデータのオーディオパラメータがオーディオ収集プログラムの要件を満たすようになる。すなわち、システムフレームにより、当該オーディオパラメータに従って第３のオーディオデータを処理し、第２のオーディオデータを得ることは、オーディオデータのオーディオパラメータを調整することに相当する。

選択可能に、オーディオパラメータは、目標サンプリングレート、目標チャネル数又は目標サンプリング深度のうち少なくとも１つを含み、システムフレームにより、当該オーディオパラメータに従って第３のオーディオデータを処理し、第２のオーディオデータを得ることは、以下の（１）乃至（３）のうち少なくとも１つを含む。

（１）オーディオパラメータは、目標サンプリングレートを含み、システムフレームにより、目標サンプリングレートに従って第３のオーディオデータをリサンプリング処理し、第２のオーディオデータを得る。

例えば、目標サンプリングレートが２４ＫＨｚであり、第３のオーディオデータのサンプリングレートが４８ＫＨｚであれば、第３のオーディオデータをリサンプリング処理し、サンプリングレートが２４ＫＨｚの第２のオーディオデータを得る。

（２）オーディオパラメータは、目標チャンネル数を含み、システムフレームにより、目標チャンネル数に従って第３のオーディオデータに対してチャンネル数変換処理を行い、第２のオーディオデータを得る。

例えば、目標チャンネル数がデュアルチャンネルであり、第３のオーディオデータがシングルチャンネルのオーディオデータであれば、第３のオーディオデータに対してチャンネル数変換処理を行い、デュアルチャンネルの第２のオーディオデータを得る。

（３）オーディオパラメータは目標サンプリング深度を含み、システムフレームにより、目標サンプリング深度に従って第３のオーディオデータをリサンプリング処理し、第２のオーディオデータを得る。

例えば、目標サンプリング深度が８ｂｉｔであり、第３のオーディオデータのサンプリング深度が１６ｂｉｔであれば、第３のオーディオデータをリサンプリング処理し、サンプリング深度が８ｂｉｔの第２のオーディオデータを得る。

選択可能に、システムフレームは処理スレッドを含み、システムフレームにより、当該オーディオパラメータに従って第３のオーディオデータを処理し、第２のオーディオデータを得るステップは、処理スレッドにより、オーディオパラメータに従って第３のオーディオデータを処理し、第２のオーディオデータを得るステップを含む。システムフレームにおいて、第１のオーディオデータをミキシング処理すること、及びオーディオパラメータに従って第３のオーディオデータを処理することは、いずれも同一のスレッドにより完成され、複数のスレッドによりそれぞれ処理する必要がなく、処理過程におけるオーディオデータの伝送を減らし、さらにオーディオデータの処理速度を速める。

選択可能に、当該処理スレッドは、ミキシングスレッドである。

５０５において、システムフレームにより、第２のオーディオデータをハードウェア抽象化レイヤーに送信する。

システムフレームにより、第２のオーディオデータをハードウェア抽象化レイヤーに送信すると、ハードウェア抽象化レイヤーは、当該第２のオーディオデータをオーディオ収集プログラムに送信するが、オーディオ収集プログラムがまだ起動していなければ、又はハードウェア抽象化レイヤーがオーディオ収集プログラムと通信接続を確立していなければ、第２のオーディオデータをハードウェア抽象化レイヤーに送信しても、ハードウェア抽象化レイヤーは、第２のオーディオデータをオーディオ収集プログラムに送信することができず、したがって、システムフレームにより、ハードウェア抽象化レイヤーとオーディオ収集プログラムとの通信接続の確立が成功した場合に、第２のオーディオデータをハードウェア抽象化レイヤーに送信する。

１つの可能な実現形態において、システムフレームにより、第２のオーディオデータをハードウェア抽象化レイヤーに送信するステップは、ハードウェア抽象化レイヤーがオーディオ収集プログラムと通信接続が確立された場合、システムフレームにより第２のオーディオデータをハードウェア抽象化レイヤーに送信するステップと、ハードウェア抽象化レイヤーがまだオーディオ収集プログラムと通信接続を確立していない場合、オーディオ収集プログラムと通信接続を確立するようにハードウェア抽象化レイヤーを制御し、ハードウェア抽象化レイヤーとオーディオ収集プログラムとの通信接続の確立が成功した場合に、システムフレームにより、第２のオーディオデータをハードウェア抽象化レイヤーに送信するステップとを含む。

ここで、オーディオ収集プログラムと通信接続を確立するようにハードウェア抽象化レイヤーを制御するステップは、オーディオ収集プログラムに通信接続確立要求を送信するようにハードウェア抽象化レイヤーを制御し、オーディオ収集プログラムは当該通信接続確立要求を傍受した場合、ハードウェア抽象化レイヤーとオーディオ収集プログラムとの間の通信接続を確立するステップを含む。

しかし、オーディオ収集プログラムがハードウェア抽象化レイヤーから送信された通信接続確立要求を傍受しなければ、ハードウェア抽象化レイヤーとオーディオ収集プログラムが通信接続を確立できない場合、システムフレームは当該第２のオーディオデータを廃棄し、当該第２のオーディオデータをハードウェア抽象化レイヤーに送信しない。

ただし、オーディオ収集プログラムがハードウェア抽象化レイヤーから送信された通信接続確立要求を傍受しないのは、オーディオ収集プログラムがまだ起動に成功していないためである可能性がある。１つの可能な実現形態において、当該オーディオ収集プログラムはクラウドアプリケーションプログラムが生成したオーディオデータを端末のローカルアプリケーションプログラムに送信するために用いられるだけでなく、さらにクラウドアプリケーションプログラムが生成したビデオデータを端末のローカルアプリケーションプログラムに送信するために用いられる。オーディオ収集プログラムがまだ起動に成功していなければ、当該オーディオ収集プログラムは、クラウドアプリケーションプログラムが生成したビデオデータを端末のローカルアプリケーションプログラムに送信することがなく、それにより、端末はビデオデータに基づいてクラウドアプリケーションプログラムの画面をレンダリングできず、この場合、クラウドアプリケーションプログラムの第２のオーディオデータを廃棄しても、ユーザに影響を及ぼすことはできない。

選択可能には、ハードウェア抽象化レイヤーは、書き込みインタフェースを含み、第２のオーディオデータをハードウェア抽象化レイヤーに送信するステップは、システムフレームによりハードウェア抽象化レイヤーの書き込みインタフェースを呼び出し、第２のオーディオデータをハードウェア抽象化レイヤーに書き込むステップを含む。

例えば、システムフレームはハードウェア抽象化レイヤーの書き込みインタフェースを周期的に呼び出し、当該書き込みインタフェースにおいてハードウェア抽象化レイヤーがオーディオ収集プログラムと通信接続を確立するか否かを決定し、通信接続が確立された場合、第２のオーディオデータをハードウェア抽象化レイヤーに書き込み、通信接続を確立していない場合、オーディオ収集プログラムと通信接続を確立してみるようにハードウェア抽象化レイヤーを制御し、通信接続の確立が成功すれば、第２のオーディオデータをハードウェア抽象化レイヤーに書き込み、通信接続の確立が失敗すれば、当該第２のオーディオデータを廃棄する。

５０６において、ハードウェア抽象化レイヤーにより、ハードウェア抽象化レイヤーとオーディオ収集プログラムとの間の通信接続に基づいて、第２のオーディオデータをオーディオ収集プログラムに送信し、オーディオ収集プログラムは第２のオーディオデータを端末のローカルにおけるアプリケーションプログラムに送信するために用いられる。

ここで、ハードウェア抽象化レイヤーとオーディオ収集プログラムとの間に通信接続が確立され、当該通信接続は、いずれかの形態の通信接続であってもよい。

選択可能に、ハードウェア抽象化レイヤーとオーディオ収集プログラムとの間の通信接続はｓｏｃｋｅｔ（ソケット）接続である。

ここで、図６に示すように、ハードウェア抽象化レイヤー６０１は、ｓｏｃｋｅｔのクライアントとし、オーディオ収集プログラム６０２は、ｓｏｃｋｅｔのサーバ側とし、オーディオ収集プログラム６０２において、ｓｏｃｋｅｔとバインドされる１つの単独なスレッドが存在し、当該スレッドにおいて傍受し、ｓｏｃｋｅｔのａｃｃｅｐｔ（受け入れ）関数呼び出しはブロッキング呼び出しであり、接続するｓｏｃｋｅｔのクライアントがあるまで待ち、ハードウェア抽象化レイヤー６０１とオーディオ収集プログラム６０２がｓｏｃｋｅｔ接続を確立した後、オーディオ収集プログラム６０２は、ｓｏｃｋｅｔのｒｅａｄ（読み取り）関数を呼び出し、当該ｒｅａｄ関数はブロッキング関数として配置され、ハードウェア抽象化レイヤー６０１がオーディオデータを送信してくるまで待つ。ハードウェア抽象化レイヤー６０１とオーディオ収集プログラム６０２は、いずれも同一のコンテナ内で実行し、したがって、ハードウェア抽象化レイヤー６０１により第２のオーディオデータをオーディオ収集プログラム６０２に送信することは、ローカル送信に相当し、遅延時間はマイクロ秒レベルであり、第２のオーディオデータの伝送時間を大幅に減らし、サーバがオーディオデータを取得する遅延時間を短縮する。

選択可能に、ハードウェア抽象化レイヤーとオーディオ収集プログラムとの間の通信接続は、共有メモリ接続である。ここで、プログラムＡ及びプログラムＢを例とし、共有メモリ接続とは、プログラムＡとプログラムＢが１つのメモリを共有し、プログラムＡはデータを当該メモリに記憶し、プログラムＢは、当該メモリからデータを読み取ることができ、プログラムＡとプログラムＢとの接続が実現され、プログラムＡがデータをプログラムＢに送信する効果も実現されることである。

１つの可能な実現形態において、システムフレームにより、第２のオーディオデータをハードウェア抽象化レイヤーに送信するステップは、システムフレームにより、第２のオーディオデータをハードウェア抽象化レイヤーの目標メモリに送信するステップであって、当該目標メモリはハードウェア抽象化レイヤーとオーディオ収集プログラムとの共有メモリであるステップを含む。したがって、ハードウェア抽象化レイヤーにより、ハードウェア抽象化レイヤーとオーディオ収集プログラムとの間の通信接続に基づいて、第２のオーディオデータをオーディオ収集プログラムに送信するステップは、オーディオ収集プログラムが目標メモリから第２のオーディオデータを読み取るステップを含む。

なお、ハードウェア抽象化レイヤーとオーディオ収集プログラムとの間は、いずれかの通信接続を確立することができ、本願の実施例は両者間の通信接続形態を限定せず、かつ本願の実施例はｓｏｃｋｅｔ接続及び共有メモリ接続のみで例示的に説明し、両者の通信接続形態を限定しない。

選択可能に、オーディオ収集プログラムは、第２のオーディオデータを取得した後、第２のオーディオデータを符号化プログラムに送信し、符号化プログラムにより第２のオーディオデータを符号化し、その後、符号化プログラムにより符号化された第２のオーディオデータを端末のローカルにおけるアプリケーションプログラムに送信する。

選択可能に、符号化プログラムと端末は、通信接続を確立することができ、当該通信接続に基づいて、符号化された第２のオーディオデータを端末のローカルにおけるアプリケーションプログラムに送信し、端末のローカルにおけるアプリケーションプログラムにより復号して再生する。選択可能に、当通信接続はｗｅｂｒｔｃピアツーピア接続である。

なお、本願の実施例は、クラウドアプリケーションプログラムが第１のオーディオデータを出力し、オーディオ収集プログラムが第２のオーディオデータを取得することを例とし、サーバ内の複数のプログラムの間におけるオーディオデータの処理過程及び伝送過程を例示的に説明するものにすぎず、１つの可能な実現形態において、クラウドアプリケーションプログラムの実行中に、クラウドアプリケーションプログラムは、オーディオデータを常に生成し、又はオーディオデータを複数回生成することができ、毎回オーディオデータをクラウドアプリケーションプログラムからオーディオ収集プログラムに伝送する過程が上記ステップ５０１からステップ５０６の過程に類似し、本願の実施例は、ここで一つ一つ説明しない。

なお、クラウドアプリケーションプログラムがオーディオデータを継続的に出力すれば、当該クラウドアプリケーションプログラムは目標サイズのオーディオデータを周期的に出力する。選択可能に、当該オーディオデータの目標サイズは、端末のオーディオデータキャッシュメモリのサイズにより決定され、選択可能に、当該オーディオデータの目標サイズは、システムフレーム、ハードウェア抽象化レイヤー、又はオーディオ収集プログラム内のキャッシュメモリのサイズにより決定される。例えば、当該オーディオデータは、再生時間が１０ｍｓのオーディオデータである。

本願の実施例にて提供されるオーディオデータ処理方法は、システムフレームとオーディオ収集プログラムとの間に中継プログラムを設置し、かつ中継プログラムとオーディオ収集プログラムとの間の通信接続を確立し、当該通信接続によりシステムフレームによって処理されたオーディオデータを当該オーディオ収集プログラムに直接送信することができる。オーディオ収集プログラムがオーディオ録音インタフェースを呼び出すことによって録音スレッドからオーディオデータを読み取ることに比べ、通信接続によりオーディオデータを直接送信する上記方式は、オーディオデータの伝送リンクを減少させ、オーディオ収集プログラムがオーディオデータを取得する時間を短縮し、サーバがオーディオデータを配信する遅延時間を低減する。

また、システムフレームにおける、ミキシング処理を行うスレッド及びオーディオパラメータに従って処理を行うスレッドは、いずれも処理スレッドであるため、１つのスレッドにより処理を２回行うことができ、オーディオデータの伝送を減少させ、それにより、ハードウェア抽象化レイヤーがオーディオデータを取得する時間を短縮し、さらに、サーバがオーディオデータを配信する遅延時間を低減する。

また、ハードウェア抽象化レイヤーとオーディオ収集プログラムとの間の通信接続の確立が失敗すると、ハードウェア抽象化レイヤーは、第２のオーディオデータをオーディオ収集プログラムに送信することができないため、システムフレームは、第２のオーディオデータをハードウェア抽象化レイヤーに送信する時に、ハードウェア抽象化レイヤーとオーディオ収集プログラムが通信接続を確立するか否かを確定し、例えば、図６に示すように、ハードウェア抽象化レイヤーとオーディオ収集プログラムがまだ通信接続を確立していない場合、オーディオ収集プログラムと通信接続を確立してみるようにハードウェア抽象化レイヤーを制御し、通信接続の確立が成功してはじめて、第２のオーディオデータをハードウェア抽象化レイヤーに送信し、通信接続の確立が失敗すると、第２のオーディオデータを廃棄することになり、不要なデータの送信を減少させ、サーバのために負担を軽減する。

１つの可能な実現形態において、中継プログラムは、リサンプリングプログラムであり、図７に示すように、当該サーバ７００は、クラウドアプリケーションプログラム７０１と、システムフレーム７０２と、リサンプリングプログラム７０３と、オーディオ収集プログラム７０４と、を含む。

ここで、クラウドアプリケーションプログラム７０１は、システムフレーム７０２のインタフェースを呼び出し、オーディオデータをシステムフレーム７０２に書き込むことができ、システムフレーム７０２は、オーディオデータを処理した後、得たオーディオデータをリサンプリングプログラム７０３に送信する。リサンプリングプログラム７０３とオーディオ収集プログラム７０４との間には通信接続が確立され、オーディオデータをオーディオ収集プログラム７０４に直接送信することができる。

なお、上記クラウドアプリケーションプログラム７０１、システムフレーム７０２、リサンプリングプログラム７０３及びオーディオ収集プログラム７０４はいずれもサーバ７００のオペレーティングシステムコンテナ内で実行される。

選択可能に、当該サーバ７００は、符号化プログラム７０５をさらに含み、オーディオ収集プログラム７０４は、オーディオデータを符号化プログラム７０５に送信し、符号化プログラム７０５により当該オーディオデータを符号化し、符号化されたオーディオデータを端末のローカルにおけるアプリケーションプログラムに送信する。

上記図７に示すサーバに加えて、本願の実施例はオーディオデータ処理方法をさらに提供し、図８は本願の実施例にて提供されるオーディオデータ処理方法のフローチャートであり、本願の実施例の実行主体は図７に示すサーバであり、図８に示すように、当該方法は以下のステップ８０１～８０６を含む。

８０１において、クラウドアプリケーションプログラムの第１のオーディオデータをシステムフレームに入力する。

当該ステップ８０１が上記ステップ５０１に類似するため、ここでは一つ一つ説明しない。

８０２において、システムフレームにより、第１のオーディオデータをミキシング処理し、第３のオーディオデータを得る。

当該ステップ８０２が上記ステップ５０２に類似するため、ここでは一つ一つ説明しない。

８０３において、システムフレームにより、リサンプリングプログラムからオーディオパラメータを取得する。

ここで、リサンプリングプログラムにはオーディオパラメータが配置され、当該オーディオパラメータは、当該リサンプリングプログラムが受信したオーディオデータが当該オーディオパラメータを満たす必要があることを示し、例えば、オーディオパラメータが４８ＫＨｚデュアルチャンネルであれば、当該リサンプリングプログラムが４８ＫＨｚデュアルチャンネルのオーディオデータを受信するように配置されることが示される。したがって、システムフレームは、リサンプリングプログラムの要件に合致するオーディオデータを生成するために、リサンプリングプログラムからオーディオデータを取得する。

８０４において、システムフレームにより、当該オーディオパラメータに基づいて第３のオーディオデータを処理し、第２のオーディオデータを得る。

当該ステップ８０４が上記ステップ５０４に類似するため、ここでは一つ一つ説明しない。

８０５において、システムフレームにより、第２のオーディオデータをリサンプリングプログラムに送信する。

ここで、システムフレームにより、第２のオーディオデータをリサンプリングプログラムに送信すると、リサンプリングプログラムは、当該第２のオーディオデータをオーディオ収集プログラムに送信するが、オーディオ収集プログラムがまだ起動していなければ、又はリサンプリングプログラムがオーディオ収集プログラムと通信接続を確立していなければ、第２のオーディオデータをリサンプリングプログラムに送信しても、リサンプリングプログラムは、第２のオーディオデータをオーディオ収集プログラムに送信することができず、選択可能に、システムフレームにより、リサンプリングプログラムとオーディオ収集プログラムとの通信接続の確立が成功した場合に、第２のオーディオデータをリサンプリングプログラムに送信する。

１つの可能な実現形態において、システムフレームにより、第２のオーディオデータをリサンプリングプログラムに送信するステップは、リサンプリングプログラムがオーディオ収集プログラムと通信接続が確立された場合、システムフレームにより第２のオーディオデータをリサンプリングプログラムに送信するステップと、リサンプリングプログラムがまだオーディオ収集プログラムと通信接続を確立していない場合、オーディオ収集プログラムと通信接続を確立するようにリサンプリングプログラムを制御し、リサンプリングプログラムとオーディオ収集プログラムとの通信接続の確立が成功した場合に、システムフレームにより、第２のオーディオデータをリサンプリングプログラムに送信するステップとを含む。

ここで、オーディオ収集プログラムと通信接続を確立するようにリサンプリングプログラムを制御するステップは、オーディオ収集プログラムに通信接続確立要求を送信するようにリサンプリングプログラムを制御し、オーディオ収集プログラムは当該通信接続確立要求を傍受した場合、リサンプリングプログラムとオーディオ収集プログラムとの間の通信接続を確立するステップを含む。

しかし、オーディオ収集プログラムがリサンプリングプログラムから送信された通信接続確立要求を傍受しなければ、リサンプリングプログラムとオーディオ収集プログラムが通信接続を確立できない場合、システムフレームは当該第２のオーディオデータを廃棄し、当該第２のオーディオデータをリサンプリングプログラムに送信しない。

ただし、オーディオ収集プログラムがリサンプリングプログラムから送信された通信接続確立要求を傍受しないのは、オーディオ収集プログラムがまだ起動に成功していないためである可能性がある。１つの可能な実現形態において、当該オーディオ収集プログラムはクラウドアプリケーションプログラムが生成したオーディオデータを端末のローカルアプリケーションプログラムに送信するために用いられるだけでなく、さらにクラウドアプリケーションプログラムが生成したビデオデータを端末のローカルアプリケーションプログラムに送信するために用いられる。オーディオ収集プログラムがまだ起動に成功していなければ、当該オーディオ収集プログラムはクラウドアプリケーションプログラムが生成したビデオデータを端末のローカルアプリケーションプログラムに送信することがなく、それにより、端末はビデオデータに基づいてクラウドアプリケーションプログラムの画面をレンダリングできず、この場合、クラウドアプリケーションプログラムの第２のオーディオデータを廃棄しても、ユーザに影響を及ぼすことはできない。

なお、本願の実施例は、リサンプリングプログラムとオーディオ収集プログラムが通信接続の確立に成功した場合に、システムフレームが第２のオーディオデータをリサンプリングプログラムに送信することを例とし、サーバにおけるオーディオデータの伝送過程を例示的に説明するものにすぎず、別の実施例において、リサンプリングプログラムとオーディオ収集プログラムが通信接続を確立するか否かに関わらず、システムフレームは第２のオーディオデータをリサンプリングプログラムに送信する。

選択可能に、リサンプリングプログラムは、受信スレッドを含み、システムフレームにより、第２のオーディオデータをハードウェア抽象化レイヤーに送信するステップは、システムフレームにより、第２のオーディオデータをリサンプリングプログラムの受信スレッドに送信するステップを含む。

選択可能に、システムフレームは、処理スレッドにより第１のオーディオデータを処理し、第２のオーディオデータを得て、したがって、１つの可能な実現形態において、システムフレームにより、第２のオーディオデータをリサンプリングプログラムの受信スレッドに送信するステップは、処理スレッドにより、第２のオーディオデータをリサンプリングプログラムの受信スレッドに送信するステップを含む。

８０６において、リサンプリングプログラムにより、リサンプリングプログラムとオーディオ収集プログラムとの間の通信接続に基づいて、第２のオーディオデータをオーディオ収集プログラムに送信し、オーディオ収集プログラムは第２のオーディオデータを端末のローカルにおけるアプリケーションプログラムに送信するために用いられる。

ここで、リサンプリングプログラムとオーディオ収集プログラムとの間に通信接続が確立され、当該通信接続はいずれかの形態の通信接続である。

選択可能に、リサンプリングプログラムとオーディオ収集プログラムとの間の通信接続は、ｓｏｃｋｅｔ接続であり、ここで、リサンプリングプログラムは、ｓｏｃｋｅｔのクライアントとし、オーディオ収集プログラムはサーバ側とする。ここで、リサンプリングプログラムにより、リサンプリングプログラムとオーディオ収集プログラムとの間のｓｏｃｋｅｔ接続に基づいて、第２のオーディオデータをオーディオ収集プログラムに送信する方式は、ステップ５０６において、ハードウェア抽象化レイヤーにより、ハードウェア抽象化レイヤーとオーディオ収集プログラムとの間のｓｏｃｋｅｔ接続に基づいて、第２のオーディオデータをオーディオ収集プログラムに送信する方式に類似し、ここでは一つ一つ説明しない。

選択可能に、リサンプリングプログラムとオーディオ収集プログラムとの間の通信接続は、共有メモリ接続である。ここで、リサンプリングプログラムにより、リサンプリングプログラムとオーディオ収集プログラムとの間の共有メモリ接続に基づいて、第２のオーディオデータをオーディオ収集プログラムに送信する方式は、ステップ５０６において、ハードウェア抽象化レイヤーにより、ハードウェア抽象化レイヤーとオーディオ収集プログラムとの間の共有メモリ接続に基づいて、第２のオーディオデータをオーディオ収集プログラムに送信する方式に類似し、ここでは一つ一つ説明しない。

選択可能に、リサンプリングプログラムは、受信スレッドを含み、リサンプリングプログラムとオーディオ収集プログラムとの間の通信接続は、受信スレッドとオーディオ収集プログラムとの間の通信接続であり、又は、リサンプリングプログラムは、受信スレッドと第１の送信スレッドと、を含み、そのうち、受信スレッドは、システムフレームから送信された第２のオーディオデータを受信するために用いられ、第１の送信スレッドは、受信スレッドが受信した第２のオーディオデータをオーディオ収集プログラムに送信するために用いられる。リサンプリングプログラムとオーディオ収集プログラムとの間の通信接続は、第１の送信スレッドとオーディオ収集プログラムとの間の通信接続。

また、上記ステップ８０３から分かるように、第２のオーディオデータのオーディオパラメータは、リサンプリングプログラムの要件に合致し、当該第２のオーディオデータのオーディオパラメータがオーディオ収集プログラムの要件にも合致すれば、リサンプリングプログラムは、第２のオーディオデータをオーディオ収集プログラムに直接送信することができ、第２のオーディオデータのオーディオパラメータがオーディオ収集プログラムの要件に合致しなければ、リサンプリングプログラムは、処理後の第２のオーディオデータがオーディオ収集プログラムの要件に合致するように、当該第２のオーディオデータをリサンプリング処理する必要があり、そして処理後の第２のオーディオデータをオーディオ収集プログラムに送信する。

例えば、リサンプリングプログラムに配置されたオーディオパラメータは、４８ＫＨｚデュアルチャンネルであり、オーディオ収集プログラムのオーディオパラメータが４８ＫＨｚデュアルチャンネルであれば、リサンプリングプログラムは、第２のオーディオデータをリサンプリング処理する必要がなく、第２のオーディオデータをオーディオ収集プログラムに直接送信し、オーディオ収集プログラムのオーディオパラメータが１６ＫＨｚデュアルチャンネルであれば、リサンプリングプログラムは、処理後の第２のオーディオデータのサンプリングレートが１６ＫＨｚになるように、第２のオーディオデータをリサンプリング処理する必要がある。

リサンプリングプログラムに配置されたオーディオパラメータとオーディオ収集プログラムに配置されたオーディオパラメータが同じである場合に、リサンプリングプログラムは、リサンプリング処理を行う必要がなく、そのため、リサンプリングプログラムに配置されたオーディオパラメータとオーディオ収集プログラムに配置されたオーディオパラメータが同じとなるように、オーディオ収集プログラムに配置されたオーディオパラメータに基づいてリサンプリングプログラムを配置してもよい。

なお、１つの可能な実現形態において、システムフレームは、録音スレッドと検出スレッドとをさらに含み、システムフレーム内の検出スレッドは現在録音スレッドにおけるデータを読み取る他のプログラムがあるか否かを検出し、録音スレッドにおけるデータを読み取る他のプログラムがなければ、システムフレームは、リサンプリングプログラムにデータを送信しない。当該検出スレッドの設計は、不要な演算を省き、消費電力を低減することに初心がある。

また、システムフレームが録音スレッドをさらに含めば、サーバはさらに以下のステップ８０７からステップ８１０を実行する必要がある。システムフレームが録音スレッドを含まなければ、オーディオ収集プログラムは、第２のオーディオデータを取得した後、当該第２のオーディオデータを端末のローカルアプリケーションプログラムに送信する。

８０７において、リサンプリングプログラムにより、第２のオーディオデータを録音スレッドに送信する。

ここで、リサンプリングプログラムにより、第２のオーディオデータを録音スレッドに送信すると、録音スレッドは受信した第２のオーディオデータを録音し、録音スレッドは、第２のオーディオデータを受信しながら第２のオーディオデータを録音し、かつ当該録音過程に一定の時間がかかるため、リサンプリングプログラムは、第２のオーディオデータを録音スレッドに送信することにも一定の時間がかかる。選択可能に、リサンプリングプログラムは受信スレッドと第２の送信スレッドとを含み、そのうち、受信スレッドは、システムフレームから第２のオーディオデータを受信するために用いられ、第２の送信スレッドに利用可能なキャッシュメモリが存在する場合、第２のオーディオデータを第２の送信スレッドに送信する。第２の送信スレッドは、第２のオーディオデータを受信した後、録音スレッドに配置されたオーディオパラメータに基づいて当該第２のオーディオデータをリサンプリング処理するか否かを決定し、当該第２のオーディオデータをリサンプリング処理する必要がある場合、録音スレッドに配置されたオーディオパラメータに従って、第２のオーディオデータをリサンプリング処理し、処理後の第２のオーディオデータを得て、処理後の第２のオーディオデータを録音スレッドに送信し、第２のオーディオデータをリサンプリング処理する必要がない場合、第２のオーディオデータを録音スレッドに直接送信する。

ただし、第２の送信スレッドに利用可能なキャッシュメモリが存在することは、第２の送信スレッドがリサンプリングプログラムの前回受信したオーディオデータを全て録音スレッドに送信することである。

また、第２のオーディオデータのオーディオパラメータと録音スレッドに配置されたオーディオパラメータが同じであれば、リサンプリングプログラムは、第２のオーディオデータを録音スレッドに直接送信すると、当該録音スレッドは、当該第２のオーディオデータを録音することができ、第２のオーディオデータのオーディオパラメータと録音スレッドに配置されたオーディオパラメータが同じでなければ、リサンプリングプログラムは、第２のオーディオデータを録音スレッドに直接送信しても、当該録音スレッドは、該第２のオーディオデータを順次受信することができない可能性がある。ここで、第２の送信スレッドは、録音スレッドに配置されたオーディオパラメータに基づいて当該第２のオーディオデータをリサンプリング処理するか否かを決定するステップは、第２の送信スレッドは第２のオーディオデータのオーディオパラメータと録音スレッドに配置されたオーディオパラメータが同じであるか否かを決定し、第２のオーディオデータのオーディオパラメータと録音スレッドに配置されたオーディオパラメータが同じであれば、第２のオーディオデータをリサンプリング処理する必要がないと決定するステップと、第２のオーディオデータのオーディオパラメータと録音スレッドに配置されたオーディオパラメータが異なれば、第２のオーディオデータをリサンプリング処理する必要があると決定するステップとを含む。

８０８において、システムフレームにより、第２のオーディオデータを録音し、第３のオーディオデータを得る。

システムフレームは、録音スレッドに対応するキャッシュメモリをさらに含み、録音スレッドにより第２のオーディオデータを録音し、第３のオーディオデータを得るステップは、録音スレッドにより第２のオーディオデータを対応するキャッシュメモリにコピーし、第３のオーディオデータを得るステップであって、第３のオーディオデータのデータ内容は、第２のオーディオデータのデータ内容と同じであるステップを含む。

８０９において、オーディオ収集プログラムにより、オーディオ録音インタフェースを呼び出して録音スレッドから第３のオーディオデータを読み取る。

ここで、録音スレッドは、第３のオーディオデータを対応するキャッシュメモリにコピーし、オーディオ収集プログラムにより、オーディオ録音インタフェースを呼び出して録音スレッドから第３のオーディオデータを読み取るステップは、オーディオ収集プログラムにより、オーディオ録音インタフェースを呼び出して録音スレッドに対応するキャッシュメモリから第３のオーディオデータを読み取るステップを含む。

選択可能に、オーディオ録音インタフェースはｒｅａｄ（読み取り）関数を含み、オーディオ収集プログラムにより、オーディオ録音インタフェースを呼び出して録音スレッドから第３のオーディオデータを読み取るステップは、オーディオ収集プログラムがオーディオ録音インタフェースのｒｅａｄ関数を呼び出し、録音スレッドに対応するキャッシュメモリから第３のオーディオデータを読み取り、録音スレッドに対応するキャッシュメモリに第３のオーディオデータが存在しなければ、当該オーディオ収集プログラムが、録音スレッドが第３のオーディオデータをキャッシュメモリにコピーするまで待ち、そして読み取るステップを含む。

８１０において、オーディオ収集プログラムにより、第３のオーディオデータを廃棄し、第２のオーディオデータを端末のローカルにおけるアプリケーションプログラムに送信する。

ここで、第２のオーディオデータのデータ内容は、第３のオーディオデータのデータ内容と同じであるが、第２のオーディオデータは、リサンプリングプログラムからオーディオ収集プログラムに直接送信されるものであり、第３のオーディオデータはリサンプリングプログラムから録音スレッドに送信され、そして、オーディオ収集プログラムにより録音スレッドから読み取られるものであり、そのため、第３のオーディオデータに比べて、第２のオーディオデータは、オーディオ収集プログラムにより速く到達することができ、サーバがオーディオデータを配信する遅延時間を低減するために、オーディオ収集プログラムは、第２のオーディオデータを端末のローカルにおけるアプリケーションプログラムに送信し、第３のオーディオデータを廃棄する。

また、オーディオ収集プログラムとリサンプリングプログラムとの間に通信接続が確立され、第２のオーディオデータは通信接続に基づいて取得されたオーディオデータであり、第３のオーディオデータはオーディオ収集プログラムがオーディオ録音インタフェースを呼び出すことにより取得されたオーディオデータであり、そのため、第２のオーディオデータと第３のオーディオデータは取得方式が異なり、選択可能に、取得方式に基づいて第２のオーディオデータと第３のオーディオデータを区別し、第２のオーディオデータを端末のローカルにおけるアプリケーションプログラムに送信する。

例えば、オーディオ収集プログラムは、第１の収集スレッドと第２の収集スレッドとを含み、第１の収集スレッドは、第２のオーディオデータを収集するために用いられ、当該第１の収集スレッドとリサンプリングプログラムとの間に通信接続が確立され、リサンプリングプログラムは、リサンプリングプログラムと当該第１の収集プログラムとの間の通信接続に基づいて、第２のオーディオデータを第１の収集スレッドに送信し、第２の収集スレッドは第３のオーディオデータを収集するために用いられ、当該第２の収集スレッドは、オーディオ録音インタフェースを呼び出して録音スレッドから第３のオーディオデータを読み取る。ここで、サーバは、第１の収集スレッドが収集したオーディオデータを端末のローカルアプリケーションプログラムに送信し、第２の収集スレッドが収集したオーディオデータを廃棄する。

なお、本願の実施例におけるリサンプリングプログラムは、オペレーティングシステム内のプログラムであり、すなわち、当該リサンプリングプログラムは、オペレーティングシステムに標準装備されるプログラムであり、本願は、オペレーティングシステムに固有のプログラムを改善することにより上記オーディオデータ処理方法を実現する。

なお、本願の実施例は、クラウドアプリケーションプログラムが第１のオーディオデータを出力し、オーディオ収集プログラムが第２のオーディオデータを取得することを例とし、サーバ内の複数のプログラムの間におけるオーディオデータの処理過程及び伝送過程を例示的に説明するものにすぎず、１つの可能な実現形態において、クラウドアプリケーションプログラムの実行中に、クラウドアプリケーションプログラムはオーディオデータを常に生成し、又はオーディオデータを複数回生成することができ、毎回オーディオデータをクラウドアプリケーションプログラムからオーディオ収集プログラムに伝送する過程は上記ステップ８０１からステップ８１０の過程に類似し、本願の実施例はここで一つ一つ説明しない。

なお、クラウドアプリケーションプログラムがオーディオデータを継続的に出力すれば、当該クラウドアプリケーションプログラムは、目標サイズのオーディオデータを周期的に出力する。選択可能に、当該オーディオデータの目標サイズは、端末のオーディオデータキャッシュメモリのサイズにより決定され、選択可能に、当該オーディオデータの目標サイズはシステムフレーム、リサンプリングプログラム、又はオーディオ収集プログラム内のキャッシュメモリのサイズにより決定される。例えば、当該オーディオデータは、再生時間が１０ｍｓのオーディオデータである。

本願の実施例にて提供されるオーディオデータ処理方法は、オペレーティングシステム内のリサンプリングプログラムを改善し、リサンプリングプログラムとオーディオ収集プログラムとの間に通信接続を確立し、当該リサンプリングプログラムが当該通信接続に基づいて、第２のオーディオデータをオーディオ収集プログラムに直接送信できるようにする。オーディオ収集プログラムがオーディオ録音インタフェースを呼び出すことによって録音スレッドからオーディオデータを読み取ることに比べ、通信接続によりオーディオデータを直接送信する上記方式は、オーディオデータの伝送リンクを減少させ、オーディオ収集プログラムがオーディオデータを取得する時間を短縮し、サーバがオーディオデータを配信する遅延時間を低減する。

また、システムフレームがリサンプリングプログラムにオーディオデータを継続的に送信することを保証するために、リサンプリングプログラムは、オーディオデータを録音スレッドに送信し、オーディオ収集プログラムは、録音スレッドからオーディオデータを読み取り、オーディオデータの継続的な処理及び送信が保証され、また、オーディオ収集プログラムは、リサンプリングプログラムから送信されたオーディオデータを送信し、録音スレッドから読み取られたオーディオデータを廃棄し、オーディオデータを配信する遅延時間が短いことが保証される。

また、本願の実施例は、上記オーディオデータ処理方法におけるサーバがオーディオデータを取得する遅延時間を取得するため遅延時間取得方法をさらに提供する。図９は本願の実施例にて提供される遅延時間取得方法のフローチャートであり、本願の実施例の実行主体はサーバであり、図９に示すように、当該方法は以下のステップ９０１～９０４を含む。

９０１において、検出アプリケーションプログラムの第１の検出オーディオデータをシステムフレームに入力し、第１の検出オーディオデータの送信時間を記録する。

ここで、当該検出アプリケーションプログラムは、サーバで実行され、かつサーバがオーディオデータを配信する遅延時間を検出するために用いられるアプリケーションプログラムである。当該検出アプリケーションプログラムは検出オーディオデータを出力することができ、後続して、サーバ内の他のプログラムが当該検出オーディオデータを受信する時間を取得することにより、他のプログラムにおける検出オーディオデータの伝送がかかる時間を取得し、ただし、サーバ内の他のプログラムは検出アプリケーションプログラム以外のプログラムである。

ここで、第１の検出オーディオデータは検出アプリケーションプログラムから出力されたいずれかの検出オーディオデータであり、選択可能に、検出アプリケーションプログラムはオーディオデータを継続的に出力することができ、かつ検出オーディオデータを出力する以外に、他のオーディオデータをさらに出力し、ただし、検出オーディオデータと他のオーディオデータを区別することにより、プログラムが検出オーディオデータを受信する時間を取得するために、検出オーディオデータは他のオーディオデータと異なる。

９０２において、システムフレームにより第１の検出オーディオデータを処理し、第２の検出オーディオデータを得て、第２の検出オーディオデータを中継プログラムに送信する。

ただし、システムフレームは、オペレーティングシステムにおけるフレームであり、オーディオデータを処理するために用いられる。中継プログラムは、システムフレームとオーディオ収集プログラムとの間のプログラムであり、システムフレームによって処理されたオーディオデータをオーディオ収集プログラムに伝送するために用いられ、当該中継プログラムは、オーディオデータを転送する機能を有し、選択可能に、中継プログラムは、さらに他の機能を有し、本願の実施例は、これについて限定しない。

第２の検出オーディオデータは、システムフレームにより第１の検出オーディオデータを処理した後のオーディオデータであるが、当該第２の検出オーディオデータと第１の検出オーディオデータは、いずれも他のオーディオデータと区別できるオーディオデータであり、そのため、第１の検出オーディオデータを処理し、第２の検出オーディオデータを得ても、第２の検出オーディオデータと他のオーディオデータを区別でき、それにより、プログラムが第２の検出オーディオデータを受信する時間を得る。

９０３において、中継プログラムにより、中継プログラムとオーディオ収集プログラムとの間の通信接続に基づいて、第２の検出オーディオデータをオーディオ収集プログラムに送信し、オーディオ収集プログラムが第２の検出オーディオデータを受信する第１の受信時間を記録し、オーディオ収集プログラムは、第２の検出オーディオデータを端末のローカルにおけるアプリケーションプログラムに送信するために用いられる。

ここで、オーディオ収集プログラムは、サーバ内のオーディオデータを収集し、オーディオデータを端末に送信するために用いられるプログラムであり、中継プログラムとオーディオ収集プログラムとの間に通信接続が確立され、中継プログラムは、当該通信接続により、第２のオーディオデータをオーディオ収集プログラムに直接送信する。

９０４において、送信時間と第１の受信時間との間の第１の時間差を取得し、第１の時間差は検出オーディオデータが検出アプリケーションプログラムからオーディオ収集プログラムに伝送される遅延時間を表す。

送信時間は、検出アプリケーションプログラムが検出オーディオデータを出力する時間であり、第１の受信時間はオーディオ収集プログラムが当該検出オーディオデータを受信する時間であり、かつオーディオ収集プログラムはサーバ内のオーディオデータを収集し、オーディオデータを端末に送信するために用いられるプログラムであるため、オーディオ収集プログラムが当該検出オーディオデータを受信する時間は、サーバがオーディオデータを取得する時間と考えることができ、したがって、送信時間と第１の受信時間との間の第１の時間差はサーバがオーディオデータを取得することがかかる時間、すなわちサーバがオーディオデータを配信する遅延時間をさらに示す。

本願の実施例にて提供される遅延時間取得方法は、検出アプリケーションプログラムにより検出オーディオデータを送信し、オーディオ収集プログラムが検出オーディオデータを受信する受信時間を取得し、送信時間と受信時間との間の時間差に基づいて、オーディオデータが検出アプリケーションプログラムからオーディオ収集プログラムに伝送されることがかかる時間を正確に得ることができ、すなわちサーバがオーディオデータを取得する時間を得て、当該時間はサーバがオーディオデータを配信する遅延時間を表すことができ、後続して、当該時間に基づいてサーバがオーディオデータを取得する遅延時間がオーディオデータの再生効果に影響を与えるか否か、端末のユーザの聴覚効果に影響を与えるか否かを決定することができ、さらにサーバを改善し続けるか否かを決定し、開発者に好適な改善根拠を提供する。

なお、上記ステップ９０２及びステップ９０３における中継プログラムは、ハードウェア抽象化レイヤーであり、又はオペレーティングシステム内の既存のリサンプリングプログラムであり、又は他のプログラムであり、本願の実施例は、これについて限定しない。

選択可能に、当該中継プログラムは、ハードウェア抽象化レイヤーであり、図４に示すように、当該サーバ４００は、クラウドアプリケーション４０１と、システムフレーム４０２と、ハードウェア抽象化レイヤー４０３と、オーディオ収集プログラム４０４と、を含む。上記図４に示すサーバに加えて、本願の実施例は、図４に示すサーバがオーディオデータを配信する遅延時間を検出するために用いることができる遅延時間取得方法をさらに提供する。図１０は本願の実施例にて提供される遅延時間取得方法のフローチャートであり、本願の実施例の実行主体は図４に示すサーバであり、図１０に示すように、当該方法は以下のステップ１００１～１００５を含む。

１００１において、検出アプリケーションプログラムの第１の検出オーディオデータをシステムフレームに入力し、第１の検出オーディオデータの送信時間を記録する。

ここで、当該検出アプリケーションプログラムは、サーバで実行され、かつサーバがオーディオデータを配信する遅延時間を検出するために用いられるアプリケーションプログラムである。当該検出アプリケーションプログラムは、検出データを出力することができ、後続して、サーバ内の他のプログラムが当該検出データを受信する時間を取得することにより、他のプログラムにおける検出データの伝送がかかる時間を取得し、ただし、サーバ内の他のプログラムは、検出アプリケーションプログラム以外のプログラムである。

サーバ内の複数のプログラムの間におけるオーディオデータの伝送がかかる時間をより正確に取得するために、検出アプリケーションプログラムから出力された検出データは、検出オーディオデータとし、検出オーディオデータがオーディオデータであるため、検出オーディオデータをシステムフレームなど他のプログラムに出力した後、当該他のプログラムは、真のオーディオデータ処理過程を模擬することができ、このように、後続して、他のプログラムが検出オーディオデータを受信する時間を取得することにより遅延時間を決定することはより正確になる。

選択可能に、検出アプリケーションプログラムは上記ステップ５０１におけるクラウドアプリケーションプログラムと異なり、クラウドアプリケーションプログラムは受信した操作命令に従ってオーディオデータを出力し、検出アプリケーションプログラムは、配置された検出ロジックに従ってオーディオデータを出力する。選択可能に、配置された検出ロジックは第１の時間おきに検出オーディオデータを１回送信することである。ただし、第１の時間は４秒、５秒など、いずれかの時間であってもよい。

ここで、第１の検出オーディオデータは、検出アプリケーションプログラムから出力されたいずれかの検出オーディオデータであり、選択可能に、検出アプリケーションプログラムはオーディオデータを継続的に出力することができ、かつ検出オーディオデータを出力する以外に、他のオーディオデータをさらに出力し、ただし、検出オーディオデータと他のオーディオデータを区別することにより、プログラムが検出オーディオデータを受信する時間を取得するために、検出オーディオデータは他のオーディオデータと異なる。

選択可能に、第１の検出オーディオデータは、タグ付きのオーディオデータであり、後続して、第１の検出オーディオデータに付くタグに基づいて第１の検出オーディオデータを受信するか否かを決定することができる。

選択可能に、第１の検出オーディオデータは、固定値のオーディオデータであり、かつ当該第１の検出オーディオデータは検出アプリケーションプログラムから出力された他のオーディオデータと異なる。例えば、第１の検出オーディオデータの値は、０ｘｆｆｆｆ（０ｘは１６進数、ｆｆｆｆは、１６進数の値を表す）、検出アプリケーションプログラムから出力された他のオーディオデータの値は、０であり、図１１に示すように、当該検出アプリケーションプログラムは、値が０のオーディオデータを出力するとともに、値が０ｘｆｆｆｆの検出オーディオデータ１１０１を周期的に出力する。

選択可能に、サーバは、検出アプリケーションプログラムが第１の検出オーディオデータをシステムフレームに入力する時、第１の検出オーディオデータの送信時間である現在時間を記録する記録プログラムをさらに含む。選択可能に、検出アプリケーションプログラムは、第１の検出オーディオデータをシステムフレームに入力する時、記録プログラムにメッセージを送信し、当該メッセージは検出アプリケーションプログラムが第１の検出オーディオデータをシステムフレームに入力することを指示し、当該記録プログラムは、当該メッセージを受信する時間を記録し、第１の検出オーディオデータの送信時間とする。

なお、当記録プログラムは、検出アプリケーションプログラム以外のプログラムであり、又は検出アプリケーションプログラムにおける記録機能を有するプログラムである。

選択可能に、当該記録プログラムは、他のプログラムを検出する機能をさらに有し、当該記録プログラムは、システムフレーム内のデータを検出することができ、システムフレーム内に検出オーディオデータが含まれることを検出した時、現在時間を記録し、当該現在時間を第１の検出オーディオデータの送信時間とする。

１００２において、システムフレームにより第１の検出オーディオデータを処理し、第２の検出オーディオデータを得て、第２の検出オーディオデータをハードウェア抽象化レイヤーに送信する。

なお、システムフレームにより第１の検出オーディオデータを処理する方式は、上記ステップ５０２におけるシステムフレームにより第１のオーディオデータを処理する方式に類似し、システムフレームにより第２の検出オーディオデータをハードウェア抽象化レイヤーに送信する方式は、上記ステップ５０５におけるシステムフレームにより第２のオーディオデータをハードウェア抽象化レイヤーに送信する方式に類似し、ここでは一つ一つ説明しない。

なお、システムフレームにより第１の検出オーディオデータを処理した後に得られた第２の検出オーディオデータは第１の検出オーディオデータに類似し、いずれも他のオーディオデータと区別できるオーディオデータである。

例えば、第１の検出オーディオデータがタグ付きのオーディオデータであれば、第２の検出オーディオデータにも当該タグが付く。第１の検出オーディオデータの値が０ｘｆｆｆｆであり、他のオーディオデータの値が０であれば、第２の検出オーディオデータは値が０でない値であり、他のオーディオデータは、処理された後に、値が依然として０であり、すなわち検出オーディオデータを処理するため、検出オーディオデータの検出機能を無効にすることはない。

１００３において、ハードウェア抽象化レイヤーが第２の検出オーディオデータを受信する第２の受信時間を記録し、送信時間と第２の受信時間との間の第２の時間差を取得し、第２の時間差は検出オーディオデータが検出アプリケーションプログラムからハードウェア抽象化レイヤーに伝送される遅延時間を表す。

ここで、記録プログラムはさらにハードウェア抽象化レイヤーが第２の検出オーディオデータを受信する第２の受信時間を記録するために用いられ、第２の受信時間を記録する前に、まずハードウェア抽象化レイヤーが第２の検出オーディオデータを受信したと決定する。選択可能に、ハードウェア抽象化レイヤーは、第２の検出オーディオデータを受信した後、記録プログラムにメッセージを報告し、記録プログラムに第２の検出オーディオデータを既に受信したことを通知し、記録プログラムが報告されたメッセージを受信した時、現在時間を記録し、当該現在時間は、ハードウェア抽象化レイヤーが第２の検出オーディオデータを受信する第２の受信時間である。

選択可能に、当該記録プログラムは、他のプログラムを検出する機能をさらに有し、当該記録プログラムは、ハードウェア抽象化レイヤーのコードに第２の検出オーディオデータが含まれるか否かを検出し、第２の検出オーディオデータを検出した時、現在時間を記録し、当該現在時間をハードウェア抽象化レイヤーが第２の検出オーディオデータを受信する第２の受信時間とする。

１００４において、ハードウェア抽象化レイヤーにより、ハードウェア抽象化レイヤーとオーディオ収集プログラムとの間の通信接続に基づいて、第２の検出オーディオデータをオーディオ収集プログラムに送信し、オーディオ収集プログラムが第２の検出オーディオデータを受信する第１の受信時間を記録し、オーディオ収集プログラムは、第２の検出オーディオデータを端末のローカルにおけるアプリケーションプログラムに送信するために用いられる。

ここで、ハードウェア抽象化レイヤーにより、ハードウェア抽象化レイヤーとオーディオ収集プログラムとの間の通信接続に基づいて、第２の検出オーディオデータをオーディオ収集プログラムに送信するステップは、上記ステップ５０６におけるハードウェア抽象化レイヤーにより、ハードウェア抽象化レイヤーとオーディオ収集プログラムとの間の通信接続に基づいて、第２のオーディオデータをオーディオ収集プログラムに送信するステップに類似し、ここでは一つ一つ説明しない。

ここで、記録プログラムはさらにオーディオ収集プログラムが第２の検出オーディオデータを受信する第１の受信時間を記録するために用いられ、第１の受信時間を記録する前に、まずオーディオ収集プログラムが第２の検出オーディオデータを受信したと決定する。選択可能に、オーディオ収集プログラムは、第２の検出オーディオデータを受信した後、記録プログラムにメッセージを報告し、記録プログラムに第２の検出オーディオデータを既に受信したことを通知し、記録プログラムが報告されたメッセージを受信した時、現在時間を記録し、当該現在時間は、オーディオ収集プログラムが第２の検出オーディオデータを受信する第１の受信時間である。

選択可能に、当該記録プログラムは、他のプログラムを検出する機能をさらに有し、例えば、当該記録プログラムは、オーディオ収集プログラムのコードに第２の検出オーディオデータが含まれるか否かを検出し、第２の検出オーディオデータを検出した時、現在時間を記録し、当該現在時間をオーディオ収集プログラムが第２の検出オーディオデータを受信する第１の受信時間とする。

１００５において、送信時間と第１の受信時間との間の第１の時間差を取得し、第１の時間差は、検出オーディオデータが検出アプリケーションプログラムからオーディオ収集プログラムに伝送される遅延時間を表す。

なお、本願の実施例は、検出アプリケーションプログラムが第１の検出オーディオデータを出力し、サーバに内の複数のプログラムの間における第１の検出オーディオデータの伝送がかかる時間を取得することを例とし、サーバがオーディオデータを配信する遅延時間を取得することを例示的に説明するものにすぎず、１つの可能な実現形態において、検出アプリケーションプログラムの実行中に、当該検出アプリケーションプログラムはオーディオデータを常に出力することができ、かつ一定時間おきに検出オーディオデータを１回出力し、各検出オーディオデータに基づいて、いずれもサーバがオーディオデータを配信する遅延時間を取得することができ、選択可能に、複数の遅延時間に対して統計処理を行い、サーバがオーディオデータを配信する目標遅延時間を得て、当該目標遅延時間は複数の検出オーディオデータの伝送過程を考慮するため、当該目標遅延時間はより正確である。選択可能に、統計処理は平均処理である。

例えば、検出アプリケーションプログラムは、一定時間おきに検出オーディオデータを１回送信し、後続して、複数の第１の時間差及び第２の時間差を取得することができ、複数の第１の時間差に対して統計処理を行うことにより、得られた時間差は検出オーディオデータが検出アプリケーションプログラムからオーディオ収集プログラムに伝送される遅延時間をより正確に表すことができ、複数の第２の時間差に対して統計処理を行うことにより、得られた時間差は検出オーディオデータが検出アプリケーションプログラムからハードウェア抽象化レイヤーに伝送される遅延時間をより正確に表すことができる。

なお、隣接する２つの検出オーディオデータが明確に区別できることを確保するために、例えば４秒、５秒など、より大きな時間間隔を設定することができる。

図１２に示すように、実際に遅延時間を取得するプロセスにおいて、検出アプリケーションプログラム１２０１が第１の検出オーディオデータを送信する送信時間はｔ０であり、ハードウェア抽象化レイヤー１２０２が第２の検出オーディオデータを受信する第２の受信時間はｔ１であり、ｔ０及びｔ１から分かるように、検出アプリケーションプログラム１２０１からハードウェア抽象化レイヤー１２０２までの検出オーディオデータの遅延時間は約４０ｍｓ（ミリ秒）であり、オーディオ収集プログラム１２０３が第２の検出オーディオデータを受信する時間はｔ２であり、ｔ１及びｔ２から分かるように、ハードウェア抽象化レイヤー１２０２からオーディオ収集プログラム１２０３が第２の検出オーディオデータを受信するまでの第２の検出オーディオデータの遅延時間は約０ｍｓである。そのため、サーバがオペレーティングシステムからオーディオデータを取得することがかかる時間を４０ｍｓ程度に制御し、サーバがオーディオデータを取得することがかかる時間を大幅に短縮する。

なお、１つの可能な実現形態において、サーバはクラウドアプリケーションプログラムが生成したオーディオデータを端末に送信するだけでなく、さらにクラウドアプリケーションプログラムが生成したビデオデータを端末に送信し、端末が再生したオーディオ及びビデオに対して遅延時間検出を行うことにより、オーディオとビデオが同期せず、ビデオの再生から当該ビデオに対応するオーディオの再生まで、遅延時間は約０．３７秒程度であることが見つけられる。ビデオとオーディオの遅延時間が０．３秒より大きい場合、人の耳は、顕著な遅延を感じることができ、それにより、ユーザの体験に影響を与える。本願の実施例にて提供されるオーディオデータ処理方法を用いれば、サーバがオーディオデータを配信する遅延時間を低減し、ビデオからオーディオまでの遅延時間を０．２４２秒程度に低減することができ、それにより人の耳が顕著な遅延を感じることはなく、ユーザの体験を向上させる。

本願の実施例にて提供される遅延時間取得方法は、検出アプリケーションプログラムにより検出オーディオデータを送信し、オーディオ収集プログラムが検出オーディオデータを受信する受信時間を取得し、送信時間と受信時間との時間差に基づいて、オーディオデータが検出アプリケーションプログラムからオーディオ収集プログラムに伝送されることがかかる時間を正確に得ることができ、すなわち、サーバがオーディオデータを取得する時間を得て、当該時間は、サーバがオーディオデータを配信する遅延時間を表すことができ、後続して、当該時間に基づいてサーバがオーディオデータを取得する遅延時間がオーディオデータの再生効果に影響を与えるか否か、端末のユーザの聴覚効果に影響を与えるか否かを決定することができ、さらにサーバを改善し続けるか否かを決定し、開発者に好適な改善根拠を提供する。

また、ハードウェア抽象化レイヤーが検出オーディオデータを受信する受信時間を取得することもでき、さらに検出オーディオデータが検出アプリケーションプログラムからハードウェア抽象化レイヤーに伝送されることにかかる時間、及び検出オーディオデータがハードウェア抽象化レイヤーからオーディオ収集プログラムに伝送されることにかかる時間を得て、それにより、開発者は狙いがはっきりしてサーバを改善するように、オーディオデータが各伝送段階でかかる時間を正確に得る。

選択可能に、サーバ内の中継プログラムは、リサンプリングプログラムであり、図７に示すように、当該サーバ７００は、クラウドアプリケーションプログラム７０１と、システムフレーム７０２と、リサンプリングプログラム７０３と、オーディオ収集プログラム７０４と、を含む。上記図７に加えて、本願の実施例は、図７に示すサーバがオーディオデータを配信する遅延時間を検出するために用いることができる遅延時間取得方法をさらに提供する。図１３は本願の実施例にて提供される遅延時間取得方法のフローチャートであり、本願の実施例の実行主体は図７に示すサーバであり、図１３に示すように、当該方法は以下のステップ１３０１～１３０５を含む。

１３０１において、検出アプリケーションプログラムの第１の検出オーディオデータをシステムフレームに入力し、第１の検出オーディオデータの送信時間を記録する。

１３０２において、システムフレームにより第１の検出オーディオデータを処理し、第２の検出オーディオデータを得て、第２の検出オーディオデータをリサンプリングプログラムに送信する。

１３０３において、リサンプリングプログラムが第２の検出オーディオデータを受信する第２の受信時間を記録し、送信時間と第２の受信時間との間の第２の時間差を取得し、第２の時間差は検出オーディオデータが検出アプリケーションプログラムからハードウェア抽象化レイヤーに伝送される遅延時間を表す。

１３０４において、リサンプリングプログラムにより、リサンプリングプログラムとオーディオ収集プログラムとの間の通信接続に基づいて、第２の検出オーディオデータをオーディオ収集プログラムに送信し、オーディオ収集プログラムが第２の検出オーディオデータを受信する第１の受信時間を記録し、オーディオ収集プログラムは第２の検出オーディオデータを端末のローカルにおけるアプリケーションプログラムに送信するために用いられる。

１３０５において、送信時間と第１の受信時間との間の第１の時間差を取得し、第１の時間差は検出オーディオデータが検出アプリケーションプログラムからオーディオ収集プログラムに伝送される遅延時間を表す。

なお、上記ステップ１３０１からステップ１３０５は、上記ステップ１１０１からステップ１１０５に類似し、上記ステップ１１０１からステップ１１０５において第２の検出オーディオデータをハードウェア抽象化レイヤーに送信するが、上記ステップ１３０１からステップ１３０５において第２の検出オーディオデータをリサンプリングプログラムに送信することのみに違いがある。

図１４に示すように、実際に遅延時間を取得するプロセスにおいて、検出アプリケーションプログラム１４０１が第１の検出オーディオデータを送信する送信時間はｔ０であり、リサンプリングプログラム１４０２が第２の検出オーディオデータを受信する第２の受信時間はｔ１であり、検出アプリケーションプログラム１４０１からリサンプリングプログラム１４０２までの検出オーディオデータの遅延時間は約４０ｍｓ（ミリ秒）であり、オーディオ収集プログラム１４０３が第２の検出オーディオデータを受信する第１の受信時間はｔ２であり、リサンプリングプログラム１４０２からオーディオ収集プログラム１４０３までのオーディオデータの遅延時間は約０ｍｓである。そのため、サーバがオペレーティングシステムからオーディオデータを取得することがかかる時間を４０ｍｓ程度に制御し、サーバがオーディオデータを取得することがかかる時間を大幅に短縮する。

なお、１つの可能な実現形態において、リサンプリングプログラムは、さらに第２の検出オーディオデータを録音スレッドに送信するために用いられる。録音スレッドは、第２の検出オーディオデータを録音し、第３の検出オーディオデータを得て、オーディオ収集プログラムは録音スレッドから第３の検出オーディオデータを読み取る。

１つの可能な実現形態において、記録プログラムは、さらにオーディオ収集プログラムが第３のオーディオデータを受信する第３の受信時間を記録するために用いられ、サーバは、送信時間と第３の受信時間との間の第３の時間差を取得し、第３の時間差は、検出オーディオデータが検出アプリケーションプログラム、リサンプリングプログラム及び録音スレッドからオーディオ収集プログラムに伝送される遅延時間を表す。

記録した第３の受信時間をより正確にするために、選択可能に、リサンプリングプログラムとオーディオ収集プログラムが通信接続を確立していない場合に、オーディオデータが検出アプリケーションプログラムから出力し、リサンプリングプログラム及び録音スレッドを経てオーディオ収集プログラムに到達する遅延時間を取得する。このように、オーディオ収集プログラムは、第３の検出オーディオデータのみを受信し、第２の検出オーディオデータを受信しないため、得た第３の受信時間はより正確になる。

図１５に示すように、実際に遅延時間を取得するプロセスにおいて、検出アプリケーションプログラム１５０１が第１の検出オーディオデータを送信する送信時間はｔ０であり、リサンプリングプログラム１５０２が第２の検出オーディオデータを受信する第２の受信時間はｔ１であり、検出アプリケーションプログラム１５０１からリサンプリングプログラム１５０２までの検出オーディオデータの遅延時間は約４０ｍｓ（ミリ秒）であり、オーディオ収集プログラム１５０３が第２の検出オーディオデータを受信する第３の受信時間はｔ２であり、リサンプリングプログラム１５０２からオーディオ収集プログラム１５０３までのオーディオデータの遅延時間は約９０ｍｓである。

なお、１つの可能な実現形態において、サーバはクラウドアプリケーションプログラムが生成したオーディオデータを端末に送信するだけでなく、さらにクラウドアプリケーションプログラムが生成したビデオデータを端末に送信し、端末が再生したオーディオ及びビデオに対して遅延時間検出を行うことにより、オーディオとビデオが同期せず、ビデオの再生から当該ビデオに対応するオーディオの再生まで、遅延時間は約０．３７秒程度であることが見つけられる。ビデオとオーディオの遅延時間が０．３秒より大きい場合、人の耳は、顕著な遅延を感じることができ、それにより、ユーザの体験に影響を与える。本願の実施例にて提供されるオーディオデータ処理方法を用いれば、サーバがオーディオデータを配信する遅延時間を低減し、ビデオからオーディオまでの遅延時間を０．２４２秒程度に低減することができ、それにより人の耳が顕著な遅延を感じることはなく、ユーザの体験を向上させる。

本願の実施例にて提供される遅延時間取得方法は、検出アプリケーションプログラムにより検出オーディオデータを送信し、オーディオ収集プログラムが検出オーディオデータを受信する受信時間を取得し、送信時間と受信時間との時間差に基づいて、オーディオデータが検出アプリケーションプログラムからオーディオ収集プログラムに伝送されることがかかる時間を正確に得ることができ、すなわちサーバがオーディオデータを取得する時間を得て、当該時間はサーバがオーディオデータを配信する遅延時間を表すことができ、後続して、当該時間に基づいてサーバがオーディオデータを取得する遅延時間がオーディオデータの再生効果に影響を与えるか否か、 端末のユーザの聴覚効果に影響を与えるか否かを決定することができ、さらにサーバを改善し続けるか否かを決定し、開発者に好適な改善根拠を提供する。

また、リサンプリングプログラムが検出オーディオデータを受信する受信時間を取得することもでき、さらに検出オーディオデータが検出アプリケーションプログラムからリサンプリングプログラムに伝送されることにかかる時間、及び検出オーディオデータがリサンプリングプログラムからオーディオ収集プログラムに伝送されることにかかる時間を得て、それにより、開発者は狙いがはっきりしてサーバを改善するように、オーディオデータが各伝送段階でかかる時間を正確に得る。

なお、本願の実施例にて提供される二種類のオーディオデータ処理方法は、サーバがオーディオデータを配信する遅延時間を低減する効果がほぼ同じであり、表１は本願の実施例にて提供されるいずれかのオーディオデータ処理方法を用いて得られたビデオからオーディオまでの遅延時間、及び関連技術における他のオーディオデータ処理方法を用いて得られたビデオからオーディオまでの遅延時間であり、表１に示すように、

ここで、製品Ａは、本願の実施例にて提供されるオーディオデータ処理方法を用い、製品Ｂと製品Ｃは他のオーディオデータ処理方法を用いる。ここで、製品Ａ、製品Ｂ及び製品Ｃは、少なくとも１種のゲームを提供し、当該少なくとも１種のゲームのアプリケーションプログラムは、サーバで実行され、すなわち、サーバに少なくとも１種のクラウドアプリケーションプログラムが実行されている。

図１６は本願の実施例にて提供されるサーバの構造概略図であり、図１６に示すように、当該サーバは、アプリケーション実行モジュール１６０１と、フレーム実行モジュール１６０２と、中継モジュール１６０３と、収集モジュール１６０４と、を含む。

当該アプリケーション実行モジュール１６０１は、クラウドアプリケーションプログラムの第１のオーディオデータを当該フレーム実行モジュール１６０２に入力するために用いられる。

当該フレーム実行モジュール１６０２は、当該第１のオーディオデータを処理し、第２のオーディオデータを得て、当該第２のオーディオデータを当該中継モジュール１６０３に送信するために用いられる。

当該中継モジュール１６０３は、当該中継モジュール１６０３と当該収集モジュール１６０４との間の通信接続に基づいて、当該第２のオーディオデータを当該収集モジュール１６０４に送信するために用いられ、当該収集モジュール１６０４は、当該第２のオーディオデータを端末のローカルにおけるアプリケーションプログラムに送信するために用いられる。

選択可能に、当該フレーム実行モジュール１６０２は、当該中継モジュール１６０３と当該収集モジュール１６０４との通信接続が確立された場合、当該第２のオーディオデータを当該中継モジュール１６０３に送信するために用いられる。

当該フレーム実行モジュール１６０２は、当該中継モジュール１６０３が当該収集モジュール１６０４と通信接続が確立されていない場合、当該収集モジュール１６０４と通信接続を確立するように当該中継モジュール１６０３を制御し、当該中継モジュール１６０３が当該収集モジュール１６０４と通信接続を確立することに成功した場合に、当該第２のオーディオデータを当該中継モジュール１６０３に送信するために用いられる。

選択可能には、当該フレーム実行モジュール１６０２は、当該第１のオーディオデータをミキシング処理し、第３のオーディオデータを得て、オーディオパラメータに従って当該第３のオーディオデータを処理し、当該第２のオーディオデータを得るために用いられる。

選択可能に、当該フレーム実行モジュール１６０２は、
当該オーディオパラメータは目標サンプリングレートを含み、当該目標サンプリングレートに従って当該第３のオーディオデータをリサンプリング処理し、当該第２のオーディオデータを得ることと、
当該オーディオパラメータは、目標チャンネル数を含み、当該目標チャンネル数に従って当該第３のオーディオデータに対してチャンネル数変換処理を行い、当該第２のオーディオデータを得ることと、
当該オーディオパラメータは目標サンプリング深度を含み、当該目標サンプリング深度に従って当該第３のオーディオデータをリサンプリング処理し、当該第２のオーディオデータを得ることとのうち少なくとも１つを実行するために用いられる。

図１７に示すように、選択可能に、当該フレーム実行モジュール１６０２は、処理ユニット１６１２を含み、当該処理ユニット１６１２は、当該第１のオーディオデータをミキシング処理し、当該第３のオーディオデータを得るために用いられる。

当該処理ユニット１６１２は、オーディオパラメータに従って、当該第３のオーディオデータを処理し、当該第２のオーディオデータを得るために用いられる。

選択可能に、当該中継モジュール１６０３は、ハードウェア抽象化レイヤー実行モジュール１６１３であり、当該フレーム実行モジュール１６０２は、当該ハードウェア抽象化レイヤー実行モジュール１６１３から当該オーディオパラメータを取得するために用いられ、当該ハードウェア抽象化レイヤー実行モジュール１６１３にはオーディオパラメータが記憶されている。

選択可能に、当該中継モジュール１６０３は、ハードウェア抽象化レイヤー実行モジュール１６１３であり、当該フレーム実行モジュール１６０２は、当該ハードウェア抽象化レイヤー実行モジュール１６１３の書き込みインタフェースを呼び出し、当該第２のオーディオデータを当該ハードウェア抽象化レイヤー実行モジュール１６１３に書き込むために用いられる。

図１８に示すように、選択可能に、当該中継モジュール１６０３は、リサンプリングモジュール１６２３であり、当該フレーム実行モジュール１６０２は、さらに当該リサンプリングモジュール１６２３から当該オーディオパラメータを取得するために用いられ、当該リサンプリングモジュール１６２３にはオーディオパラメータが配置されている。選択可能に、当該中継モジュール１６０３はリサンプリングモジュール１６２３である。
当該リサンプリングモジュール１６２３は、さらに当該第２のオーディオデータをリサンプリング処理し、処理後の第２のオーディオデータを得るために用いられる。

当該リサンプリングモジュール１６２３は、当該リサンプリングモジュール１６２３と当該収集モジュール１６０４との間の通信接続に基づいて、当該処理後の第２のオーディオデータを当該収集モジュール１６０４に送信するために用いられる。

選択可能に、当該フレーム実行モジュール１６０２は、録音ユニット１６２２を含む。

当該リサンプリングモジュール１６２３は、当該第２のオーディオデータを当該録音ユニット１６２２に送信するために用いられる。

当該録音ユニット１６２２は、当該第２のオーディオデータを録音し、第３のオーディオデータを得るために用いられる。

当該収集モジュール１６０４は、オーディオ録音インタフェースを呼び出し、当該記録ユニット１６２２から当該第３のオーディオデータを読み取るために用いられる。

選択可能には、当該収集モジュール１６０４は、当該第３のオーディオデータを廃棄し、当該第２のオーディオデータを端末のローカルにおけるアプリケーションプログラムに送信するために用いられる。

図１９は本願の実施例にて提供されるサーバの構造概略図であり、図１９に示すように、当該サーバは、アプリケーション実行モジュール１９０１と、フレーム実行モジュール１９０２と、中継モジュール１９０３と、収集モジュール１９０４と、記録モジュール１９０５と、取得モジュール１９０６とを含む。

当該アプリケーション実行モジュール１９０１は、検出アプリケーションプログラムの第１の検出オーディオデータを当該フレーム実行モジュール１９０２に入力するために用いられる。

当該記録モジュール１９０５は、当該第１の検出オーディオデータの送信時間を記録するために用いられる。

当該フレーム実行モジュール１９０２は、当該第１の検出オーディオデータを処理し、第２の検出オーディオデータを取得し、当該第２の検出オーディオデータを当該中継モジュール１９０３に送信するために用いられる。

当該中継モジュール１９０３は、当該中継モジュール１９０３と当該収集モジュール１９０４との間の通信接続に基づいて、当該第２の検出オーディオデータを当該収集モジュール１９０４に送信するために用いられ、当該収集モジュール１９０４は当該第２の検出オーディオデータを端末のローカルにおけるアプリケーションプログラムに送信するために用いられる。

当該記録モジュール１９０５は、さらに当該収集モジュール１９０４が当該第２の検出オーディオデータを受信する第１の受信時間を記録するために用いられる。

当該取得モジュール１９０６は、当該送信時間と当該第１の受信時間との第１の時間差を取得するために用いられ、当該第１の時間差は当該検出オーディオデータが当該アプリケーション実行モジュール１９０１から当該収集モジュール１９０４に伝送される遅延時間を表す。

選択可能に、当該記録モジュール１９０５は、さらに当該中継モジュールが当該第２の検出オーディオデータを受信する第２の受信時間を記録するために用いられる。

当該取得モジュール１９０６は、当該送信時間と当該第２の受信時間との間の第２の時間差を取得するために用いられ、当該第２の時間差は当該検出オーディオデータが当該アプリケーション実行モジュール１９０１から当該中継モジュール１９０３に伝送される遅延時間を表す。

選択可能に、当該中継モジュール１９０３は、ハードウェア抽象化レイヤー実行モジュールであり、又は、当該中継モジュール９０３は、リサンプリングモジュールである。

図２０は、本願の実施例にて提供される端末の構造ブロック図である。端末２０００は、上記実施例における端末が実行するステップを実行するために用いられ、当該端末２０００は、ポータブルモバイル端末であり、例えば、スマートフォン、タブレットコンピュータ、ＭＰ３プレーヤ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＩＩ、動画専門家グループオーディオレイヤー３）、ＭＰ４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＶ、動画専門家グループオーディオレイヤー４）プレーヤ、ノートパソコン又はデスクトップパソコンである。端末２０００は、さらに、ユーザ機器、ポータブル端末、ラップトップ端末、デスクトップ端末など、他の名称と呼ばれることもある。

通常、端末２０００はプロセッサ２００１と、メモリ２００２とを含む。

プロセッサ２００１は、例えば、４コアプロセッサ、８コアプロセッサなどのような１つ以上のプロセッシングコアを含んでもよい。プロセッサ２００１は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、デジタル信号処理）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、フィールドプログラマブルゲートアレイ）、ＰＬＡ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ａｒｒａｙ、プログラマブルロジックアレイ）のうち少なくとも１つのハードウェア形式で実現することができる。プロセッサ２００１は、ウェイクアップ状態でのデータを処理するためのプロセッサであって、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、中央処理装置）とも呼ばれるメインプロセッサと、待機状態でのデータを処理するための低消費電力プロセッサであるコプロセッサとを含んでもよい。いくつかの実施例では、プロセッサ２００１にはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、グラフィック処理ユニット）が集積されてもよく、ＧＰＵは表示画面によって表示される必要があるコンテンツのレンダリング及びプロットを担当するために用いられる。いくつかの実施例では、プロセッサ２００１はＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、人工知能）プロセッサをさらに含んでもよく、当該ＡＩプロセッサは機械学習に関連するコンピューティング操作を処理するために用いられる。

メモリ２００２は、非一時的であってもよいコンピュータ読み取り記憶媒体を１つ以上含んでもよい。メモリ２００２は、さらに、高速ランダムメモリと、例えば少なくとも１つの磁気記憶装置、フラッシュメモリのような不揮発性メモリを含んでもよい。いくつかの実施例では、メモリ２００２における非一時的なコンピュータ読み取り記憶媒体は少なくとも１つのプログラムコードを記憶するために用いられ、当該少なくとも１つプログラムコードはプロセッサ２００１に実行されて本願における方法の実施例にて提供されるオーディオデータ処理方法、又は遅延時間取得方法を実現するために用いられる。

いくつかの実施例では、端末２０００は、選択可能に、周辺機器インタフェース２００３と、少なくとも１つの周辺機器とを含んでもよい。プロセッサ２００１とメモリ２００２と周辺機器インタフェース２００３との間は、バス又は信号線によって接続されてもよい。各周辺機器はバス、信号線又は回路基板を介して周辺機器インタフェース２００３に接続されてもよい。具体的には、周辺装置は、無線周波数回路２００４と、表示画面２００５と、カメラアセンブリ２００６と、オーディオ回路２００７と、ポジショニングアセンブリ２００８と、電源２００９とのうち少なくとも１つを含む。

当業者であれば、図２０に示された構造は、端末２０００を限定するものではなく、図示されたものよりも多い又は少ないアセンブリを含んでもよく、或いは、いくつかのアセンブリを組み合わせてもよく、或いは異なるアセンブリ配置を採用してもよいことを理解することができる。

図２１は本願の実施例にて提供されるサーバの構造概略図であり、当該サーバ２１００は配置又は性能によって大きく異なってもよく、１つ以上のプロセッサ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ、ＣＰＵ）２１０１と、１つ以上のメモリ２１０２と、を含んでもよく、ここで、当該メモリ２１０２に少なくとも１つのプログラムコードが記憶され、少なくとも１つのプログラムコードは、プロセッサ２１０１によりロードされ実行されて、上記各方法の実施例にて提供される方法を実現する。当然のことながら、当該サーバは、さらに、入出力を行うように、有線又は無線ネットワークインタフェース、キーボード及び入出力インタフェースなどの部材を有してもよく、当該サーバは、さらに、機器の機能を実現するための他の部材を含んでもよく、ここでは詳細は再度説明しない。

サーバ２１００は、上記オーディオデータ処理方法におけるサーバが実行するステップを実行するために用いられ、又は、上記遅延時間取得方法におけるサーバが実行するステップを実行するために用いられる。

本願の実施例は、コンピュータ機器をさらに提供し、当該コンピュータ機器は、プロセッサとメモリとを含み、当該メモリに少なくとも１つのプログラムコードが記憶されており、当該少なくとも１つのプログラムコードは、当該プロセッサによってロードされ実行されて、上記実施例に記載のオーディオデータ処理方法において実行される操作を実現し、又は上記実施例に記載の遅延時間取得方法において実行される操作を実現する。

また、本願の実施例は記憶媒体をさらに提供し、前記記憶媒体は、コンピュータプログラムを記憶するために用いられ、前記コンピュータプログラムは、上記実施例にて提供される方法を実行するために用いられる。

本願の実施例は、命令を含むコンピュータプログラムをさらに提供し、それがコンピュータで実行されると、コンピュータに上記実施例にて提供される方法を実行させる。

当業者であれば、上記実施例のステップの全部又は一部はハードウェアによって完成されてもよく、プログラムによってプログラムコードに関連するハードウェアを命令して完成されてもよく、前記プログラムはコンピュータ読み取り記憶媒体に記憶されてもよく、以上言及した記憶媒体はリードオンリーメモリ、磁気ディスク又は光ディスクなどであってもよいことを理解することができる。

以上は本願の選択可能な実施例にすぎず、本願を限定するものではなく、本願の精神及び原則内で行われる任意の修正、同等の置換、及び改善などは、いずれも本願の保護範囲内に含まれるべきである。

Claims (16)

1. サーバが実行するオーディオデータ処理方法であって、
   前記サーバは、クラウドアプリケーションプログラムと、システムフレームと、中継プログラムと、オーディオ収集プログラムとを含み、
   前記クラウドアプリケーションプログラムの第１のオーディオデータを前記システムフレームに入力するステップと、
   前記システムフレームにより前記第１のオーディオデータを処理し、第２のオーディオデータを得て、前記第２のオーディオデータを前記中継プログラムに送信するステップと、
   前記中継プログラムにより、前記中継プログラムと前記オーディオ収集プログラムとの間の通信接続に基づいて、前記第２のオーディオデータを前記オーディオ収集プログラムに送信するステップであって、前記オーディオ収集プログラムは、前記第２のオーディオデータを端末のローカルにおけるアプリケーションプログラムに送信するために用いられるステップと、を含む、
   オーディオデータ処理方法。
2. 前記第２のオーディオデータを前記中継プログラムに送信する前記ステップは、
   前記中継プログラムが前記オーディオ収集プログラムと通信接続が確立された場合、前記第２のオーディオデータを前記中継プログラムに送信するステップと、
   前記中継プログラムが前記オーディオ収集プログラムと通信接続が確立されていない場合、前記オーディオ収集プログラムと通信接続を確立するように前記中継プログラムを制御し、前記中継プログラムが前記オーディオ収集プログラムと通信接続を確立することに成功した場合に、前記第２のオーディオデータを前記中継プログラムに送信するステップと、を含む、
   請求項１に記載のオーディオデータ処理方法。
3. 前記システムフレームにより前記第１のオーディオデータを処理し、第２のオーディオデータを得る前記ステップは、
   前記システムフレームにより、前記第１のオーディオデータをミキシング処理し、第３のオーディオデータを得るステップと、
   前記システムフレームにより、オーディオパラメータに従って前記第３のオーディオデータを処理し、前記第２のオーディオデータを得るステップと、を含む、
   請求項１に記載のオーディオデータ処理方法。
4. 前記システムフレームにより、オーディオパラメータに従って前記第３のオーディオデータを処理し、前記第２のオーディオデータを得る前記ステップは、
   前記オーディオパラメータは、目標サンプリングレートを含み、前記システムフレームにより、前記目標サンプリングレートに従って前記第３のオーディオデータをリサンプリング処理し、前記第２のオーディオデータを得るステップと、
   前記オーディオパラメータは、目標チャンネル数を含み、前記システムフレームにより、前記目標チャンネル数に従って前記第３のオーディオデータに対してチャンネル数変換処理を行い、前記第２のオーディオデータを得るステップと、
   前記オーディオパラメータは、目標サンプリング深度を含み、前記システムフレームにより、前記目標サンプリング深度に従って前記第３のオーディオデータをリサンプリング処理し、前記第２のオーディオデータを得るステップとのうち少なくとも１つを含む、
   請求項３に記載のオーディオデータ処理方法。
5. 前記システムフレームは、処理スレッドを含み、前記システムフレームにより、前記第１のオーディオデータをミキシング処理し、第３のオーディオデータを得る前記ステップは、
   前記処理スレッドにより、前記第１のオーディオデータをミキシング処理し、前記第３のオーディオデータを得るステップを含み、
   前記システムフレームにより、オーディオパラメータに従って前記第３のオーディオデータを処理し、前記第２のオーディオデータを得る前記ステップは、
   前記処理スレッドにより、前記オーディオパラメータに従って前記第３のオーディオデータを処理し、前記第２のオーディオデータを得るステップを含む
   請求項３に記載のオーディオデータ処理方法。
6. 前記中継プログラムは、ハードウェア抽象化レイヤーであり、前記システムフレームにより、オーディオパラメータに従って前記第３のオーディオデータを処理し、前記第２のオーディオデータを得る前記ステップの前に、
   前記システムフレームにより前記ハードウェア抽象化レイヤーから前記オーディオパラメータを取得するステップであって、前記ハードウェア抽象化レイヤーには前記オーディオパラメータが記憶されているステップを含む、
   請求項３に記載のオーディオデータ処理方法。
7. 前記中継プログラムは、ハードウェア抽象化レイヤーであり、前記第２のオーディオデータを前記中継プログラムに送信する前記ステップは、
   前記システムフレームにより前記ハードウェア抽象化レイヤーの書き込みインタフェースを呼び出し、前記第２のオーディオデータを前記ハードウェア抽象化レイヤーに書き込むステップを含む、
   請求項１に記載のオーディオデータ処理方法。
8. 前記中継プログラムは、リサンプリングプログラムであり、前記中継プログラムにより、前記中継プログラムと前記オーディオ収集プログラムとの間の通信接続に基づいて、前記第２のオーディオデータを前記オーディオ収集プログラムに送信する前記ステップは、
   前記リサンプリングプログラムにより、前記第２のオーディオデータをリサンプリング処理し、処理後の第２のオーディオデータを得るステップと、
   前記リサンプリングプログラムにより、前記リサンプリングプログラムと前記オーディオ収集プログラムとの間の通信接続に基づいて、前記処理後の第２のオーディオデータを前記オーディオ収集プログラムに送信するステップと、を含む、
   請求項１に記載のオーディオデータ処理方法。
9. 前記中継プログラムは、リサンプリングプログラムであり、前記システムフレームは、録音スレッドを含み、前記第２のオーディオデータを前記中継プログラムに送信する前記ステップの後に、当該オーディオデータ処理方法は、
   前記リサンプリングプログラムにより、前記第２のオーディオデータを前記録音スレッドに送信するステップと、
   前記録音スレッドにより、前記第２のオーディオデータを録音し、第３のオーディオデータを得るステップと、
   前記オーディオ収集プログラムにより、オーディオ録音インタフェースを呼び出して前記録音スレッドから前記第３のオーディオデータを読み取るステップと、
   前記第２のオーディオデータと前記第３のオーディオデータとを区別するステップと、をさらに含む、
   請求項１に記載のオーディオデータ処理方法。
10. 前記オーディオ収集プログラムにより、前記第３のオーディオデータを廃棄し、前記第２のオーディオデータを前記端末のローカルにおけるアプリケーションプログラムに送信するステップをさらに含む、請求項９に記載のオーディオデータ処理方法。
11. サーバが実行する遅延時間取得方法であって、
    前記サーバは、検出アプリケーションプログラムと、システムフレームと、中継プログラムと、オーディオ収集プログラムとを含み、
    前記検出アプリケーションプログラムの第１の検出オーディオデータを前記システムフレームに入力し、前記第１の検出オーディオデータの送信時間を記録するステップと、
    前記システムフレームにより前記第１の検出オーディオデータを処理し、第２の検出オーディオデータを得て、前記第２の検出オーディオデータを前記中継プログラムに送信するステップと、
    前記中継プログラムにより、前記中継プログラムと前記オーディオ収集プログラムとの間の通信接続に基づいて、前記第２の検出オーディオデータを前記オーディオ収集プログラムに送信し、前記オーディオ収集プログラムが前記第２の検出オーディオデータを受信する第１の受信時間を記録するステップであって、前記オーディオ収集プログラムは前記第２の検出オーディオデータを端末のローカルにおけるアプリケーションプログラムに送信するために用いられるステップと、
    前記送信時間と前記第１の受信時間との間の第１の時間差を取得するステップであって、前記第１の時間差は検出オーディオデータが前記検出アプリケーションプログラムから前記オーディオ収集プログラムに伝送される遅延時間を表すステップと、を含む、
    遅延時間取得方法。
12. 前記第２の検出オーディオデータを前記中継プログラムに送信する前記ステップの後に、
    前記中継プログラムが前記第２の検出オーディオデータを受信する第２の受信時間を記録するステップと、
    前記送信時間と前記第２の受信時間との間の第２の時間差を取得するステップであって、前記第２の時間差は検出オーディオデータが前記検出アプリケーションプログラムから前記中継プログラムに伝送される遅延時間を表すステップと、を含む、
    請求項１１に記載の遅延時間取得方法。
13. アプリケーション実行モジュールと、フレーム実行モジュールと、中継モジュールと、収集モジュールとを含む、サーバであって、
    前記アプリケーション実行モジュールは、クラウドアプリケーションプログラムの第１のオーディオデータを前記フレーム実行モジュールに入力するために用いられ、
    前記フレーム実行モジュールは、前記第１のオーディオデータを処理し、第２のオーディオデータを得て、前記第２のオーディオデータを前記中継モジュールに送信するために用いられ、
    前記中継モジュールは、前記中継モジュールと前記収集モジュールとの間の通信接続に基づいて、前記第２のオーディオデータを前記収集モジュールに送信するために用いられ、前記収集モジュールは前記第２のオーディオデータを端末のローカルにおけるアプリケーションプログラムに送信するために用いられる、
    サーバ。
14. アプリケーション実行モジュールと、フレーム実行モジュールと、中継モジュールと、収集モジュールと、記録モジュールと、取得モジュールとを含む、サーバであって、
    前記アプリケーション実行モジュールは、検出アプリケーションプログラムの第１の検出オーディオデータを前記フレーム実行モジュールに入力するために用いられ、
    前記記録モジュールは、前記第１の検出オーディオデータの送信時間を記録するために用いられ、
    前記フレーム実行モジュールは、前記第１の検出オーディオデータを処理し、第２の検出オーディオデータを取得し、前記第２の検出オーディオデータを前記中継モジュールに送信するために用いられ、
    前記中継モジュールは、前記中継モジュールと前記収集モジュールとの間の通信接続に基づいて、前記第２の検出オーディオデータを前記収集モジュールに送信するために用いられ、前記収集モジュールは、前記第２の検出オーディオデータを端末のローカルにおけるアプリケーションプログラムに送信するために用いられ、
    前記記録モジュールは、さらに前記収集モジュールが前記第２の検出オーディオデータを受信する第１の受信時間を記録するために用いられ、
    前記取得モジュールは、前記送信時間と前記第１の受信時間との第１の時間差を取得するために用いられ、前記第１の時間差は、検出オーディオデータが前記アプリケーション実行モジュールから前記収集モジュールに伝送される遅延時間を表す、
    サーバ。
15. プロセッサと、通信インタフェースと、メモリと、通信バスとを含み、
    前記プロセッサ、前記通信インタフェース及び前記メモリは、前記通信バスを介して相互間の通信を完成し、前記通信インタフェースは、通信モジュールのインタフェースであり、
    前記メモリは、プログラムコードを記憶し、前記プログラムコードを前記プロセッサに伝送するために用いられ、
    前記プロセッサは、メモリにおけるプログラムコードの命令を呼び出して請求項１から１０のいずれか一項に記載のオーディオデータ処理方法を実行するために用いられ、又は、請求項１１又は１２に記載の遅延時間取得方法を実行するために用いられる、
    サーバ。
16. コンピュータで実行されると、前記コンピュータに請求項１から１０のいずれか一項に記載のオーディオデータ処理方法を実行させ、又は、請求項１１又は１２に記載の遅延時間取得方法を実行させる命令を含むコンピュータプログラム。
    

Images