JP2024514800A - クラウドアプリケーションに基づく機器制御方法、装置、電子機器、及びコンピュータプログラム - Google Patents

Abstract

本願は、クラウドアプリケーションに基づく機器制御方法、装置、電子機器、及び可読媒体を提供する。該方法は、端末機器上のクラウドアプリケーションクライアントとの間の通信接続を確立するステップであって、前記クラウドアプリケーションクライアントは、受信されたクラウドアプリケーションビデオストリームを提示することに用いられる、ステップと、前記クラウドアプリケーションクライアントと対応するクラウドアプリケーションに対してシーン認識を行って、シーン認識結果を得るステップであって、前記シーン認識結果は、認識されたクラウドアプリケーションシーンに関連付けられたメディアコンテンツを含む、ステップと、前記シーン認識結果に基づき、前記クラウドアプリケーションシーンと対応する振動フィードバック情報を生成するステップと、前記クラウドアプリケーションクライアントに前記クラウドアプリケーションシーンに対応するビデオストリームと前記振動フィードバック情報とを送信するステップであって、前記クラウドアプリケーションクライアントが前記クラウドアプリケーションシーンのビデオストリームを提示するときに、前記振動フィードバック情報に基づき、前記クラウドアプリケーションクライアントに関連付けられた物理機器を制御して振動フィードバック操作を実行する、ステップと、を含む。

Description

本願は、コンピュータの技術分野に関し、特にクラウドアプリケーションに基づく機器制御方法、装置、電子機器、及び可読媒体に関する。

本願は、２０２１年７月２１日に中国特許局に提出され、出願番号が２０２１１０８２７４０４．８であり、出願の名称が「クラウドゲームに基づく機器制御方法、装置、電子機器、及び可読媒体」である中国特許出願の優先権を主張する。

インターネット技術の急速な発展に伴って、娯楽形式に対する人々の要求は、ますます高くなっている。ゲームは、その中の重要な娯楽形式であり、特に現在人気のあるクラウドゲームについては、ユーザーが高度な構成のハードウェアを持つ必要がなく、ユーザーに優れた娯楽体験を提供することができる。

このタイプのクラウドアプリケーションについては、クラウドアプリケーションの動作過程は、サーバ上で発生するため、サーバ上のアプリケーションクライアントは、アプリケーションの画面、及びシーンをビデオにレンダリングしてユーザー端末に送信し、ユーザー端末上に再生することでインタフェースコンテンツを表示する必要がある。

しかし、クラウドアプリケーションがサーバ上で動作するため、端末機器では、レンダリング後のオーディオビデオストリームのみを受信することができ、提供することができるインタラクション方式は、限られている。そのため豊かで没入型の体験を提供しにくく、クラウドアプリケーションとユーザーとの間のインタラクション効果に影響を与える。

上記技術的問題に基づいて、本願は、クラウドアプリケーションに基づく機器制御方法、装置、電子機器、及び可読媒体を提供することにより、クラウドアプリケーションのシーンでは、サーバによりアプリケーションコンテンツと一致する振動フィードバックをトリガーすることができ、それにより振動フィードバックの精度を向上させ、それによりユーザー体験を向上させる。

本願のその他の特性、及び利点は、以下の詳細な記述によって明らかになり、又は、部分的に本願の実践によって学習されることになる。

本願の実施例の１つの態様に基づき、クラウドアプリケーションに基づく機器制御方法を提供し、電子機器により実行され、
端末機器上のクラウドアプリケーションクライアントとの間の通信接続を確立するステップであって、前記クラウドアプリケーションクライアントは、受信されたクラウドアプリケーションビデオストリームを提示することに用いられる、ステップと、
前記クラウドアプリケーションクライアントと対応するクラウドアプリケーションに対してシーン認識を行って、シーン認識結果を得るステップであって、前記シーン認識結果は、認識されたクラウドアプリケーションシーンに関連付けられたメディアコンテンツを含む、ステップと、
前記シーン認識結果に基づき、前記クラウドアプリケーションシーンと対応する振動フィードバック情報を生成するステップと、
前記クラウドアプリケーションクライアントに前記クラウドアプリケーションシーンに対応するビデオストリームと前記振動フィードバック情報とを送信するステップであって、前記クラウドアプリケーションクライアントが前記クラウドアプリケーションシーンのビデオストリームを提示するときに、前記振動フィードバック情報に基づき、前記クラウドアプリケーションクライアントに関連付けられた物理機器を制御して振動フィードバック操作を実行する、ステップと、を含む。

本願の実施例の他の態様に基づき、クラウドアプリケーションに基づく機器制御装置を提供し、
端末機器上のクラウドアプリケーションクライアントとの間の通信接続を確立することに用いられる通信確立モジュールであって、前記クラウドアプリケーションクライアントは、受信されたクラウドアプリケーションビデオストリームを提示することに用いられる、通信確立モジュールと、
前記クラウドアプリケーションクライアントと対応するクラウドアプリケーションに対してシーン認識を行って、シーン認識結果を得ることに用いられるシーン認識モジュールであって、前記シーン認識結果は、認識されたクラウドアプリケーションシーンに関連付けられたメディアコンテンツを含む、シーン認識モジュールと、
前記シーン認識結果に基づき、前記クラウドアプリケーションシーンと対応する振動フィードバック情報を生成することに用いられる振動フィードバック情報生成モジュールと、
前記クラウドアプリケーションクライアントに前記クラウドアプリケーションシーンに対応するビデオストリームと前記振動フィードバック情報とを送信することに用いられる振動フィードバック情報送信モジュールであって、前記クラウドアプリケーションクライアントが前記クラウドアプリケーションシーンのビデオストリームを提示するときに、前記振動フィードバック情報に基づき、前記クラウドアプリケーションクライアントに関連付けられた物理機器を制御して振動フィードバック操作を実行する、振動フィードバック情報送信モジュールと、を含む。

本願の実施例の他の態様に基づき、クラウドアプリケーションに基づく機器制御方法を提供し、電子機器により実行され、前記方法は、
クラウドアプリケーションサーバとの間の通信接続を確立するステップと、
前記クラウドアプリケーションサーバから送信されたクラウドアプリケーションシーンに対応するビデオストリームと振動フィードバック情報とを受信するステップであって、前記振動フィードバック情報は、サーバ上のアプリケーションクライアントによって前記クラウドアプリケーションシーンに基づき生成されるものである、ステップと、
前記クラウドアプリケーションシーンに対応するビデオストリームを再生し、且つ前記振動フィードバック情報に基づき、クラウドアプリケーションクライアントに関連付けられた物理機器を制御して振動フィードバック操作を実行するステップと、を含む。

本願の実施例の他の態様に基づき、クラウドアプリケーションに基づく機器制御装置を提供し、
クラウドアプリケーションサーバとの間の通信接続を確立することに用いられる通信接続確立モジュールと、
前記クラウドアプリケーションサーバから送信されたクラウドアプリケーションシーンに対応するビデオストリームと振動フィードバック情報とを受信することに用いられる振動フィードバック情報受信モジュールであって、前記振動フィードバック情報は、サーバ上のアプリケーションクライアントによって前記クラウドアプリケーションシーンに基づき生成されるものである、振動フィードバック情報受信モジュールと、
前記クラウドアプリケーションシーンに対応するビデオストリームを再生することに用いられる再生モジュールと、
前記振動フィードバック情報に基づき、クラウドアプリケーションクライアントに関連付けられた物理機器を制御して振動フィードバック操作を実行することに用いられる振動フィードバック実行モジュールと、を含む。

本願の実施例の１つの態様に基づき、電子機器を提供し、該電子機器は、プロセッサと、プロセッサの実行可能な指令を記憶することに用いられるメモリとを含み、該プロセッサは、実行可能な指令の実行を経由して以上の技術的解決手段におけるクラウドアプリケーションに基づく機器制御方法を実行するように構成される。

本願の実施例の１つの態様に基づき、コンピュータ可読記憶媒体を提供し、それにはコンピュータプログラムが記憶され、該コンピュータプログラムがプロセッサに実行されるときに、以上の技術的解決手段におけるクラウドアプリケーションに基づく機器制御方法を実現する。

本願の実施例の１つの態様に基づき、コンピュータプログラム製品、又は、コンピュータプログラムを提供しており、該コンピュータプログラム製品、又は、コンピュータプログラムは、コンピュータ指令を含み、該コンピュータ指令は、コンピュータ可読記憶媒体において記憶される。コンピュータ機器のプロセッサは、コンピュータ可読記憶媒体から該コンピュータ指令を読み取り、プロセッサは、該コンピュータ指令を実行することで、該コンピュータ機器に前記各種の選択可能な実現方式において提供されたクラウドアプリケーションに基づく機器制御方法を実行させる。

理解すべき点としては、以上の一般的な記述、及び後文の細部についての記述は、例示的で解釈的なものに過ぎず、本願を制限することができない。

ここでの図面は、明細書中に組み込まれ、且つ本明細書の一部を構成し、本願と合致する実施例を示し、且つ明細書とともに本願の原理を解釈することに用いられる。明らかなように、以下の記述における図面は、本願のいくつかの実施例に過ぎず、当業者にとっては、創造的な労働を必要としない前提下で、さらにこれらの図面に基づきその他の図面を取得することができる。図面において以下の通りである。

本願の実施例におけるクラウドアプリケーションに基づく機器制御システムの例示的なネットワークアーキテクチャ図である。 本願の実施例におけるクラウドアプリケーション機器制御フレームワークの模式図である。 本願における振動特殊効果設計プロセスの模式図である。 本願の実施例により提供されるクラウドアプリケーションに基づく機器制御方法のフローチャートである。 本願の実施例における振動フィードバックをトリガーする過程である。 本願の実施例におけるクラウドアプリケーションクライアントと通信接続を確立する過程である。 本願の他の実施例により提供されるクラウドアプリケーションに基づく機器制御方法のフローチャートである。 本願の実施例におけるクラウドアプリケーションに基づく機器制御装置の構成ブロック図を模式的に示す。 本願の他の実施例におけるクラウドアプリケーションに基づく機器制御装置の構成ブロック図を模式的に示す。 本願の実施例を実現することに用いるのに適する電子機器の構造模式図を示す。

現在、図面を参照しながら例示的な実施形態をより全面的に記述する。しかしながら、例示的な実施形態は、複数の種類の形式で実施することができ、且つここで論述された例に制限されると理解すべきではなく、逆には、これらの実施形態を提供することで、本願をより全面的で完全にし、且つ例示的な実施形態の発想を当業者に全面的に伝える。

また、記述された特徴、構造、又は、特性は、任意の適切な方式により、１つ、又は、より多くの実施例として結合することができる。以下の記述において、多くの具体的な細部を提供することにより、本願の実施例に対する十分な理解を与える。しかしながら、当業者は、特定の細部のうちの１つ、又は、より多くがなくても本願の技術的解決手段を実践することができるか、又は、その他の方法、コンポーネント、装置、ステップ等を採用することができることを認識することとなる。その他の状況において、公知の方法、装置、実現、又は、操作を詳細には示しておらず、又は、記述しないことで、本願の各態様の不明瞭さを回避する。

図面において示されたブロック図は、単に機能実体であり、必ずしも物理的に独立した実体と対応する必要はない。すなわち、ソフトウェア形式を採用してこれらの機能実体を実現することができるか、又は、１つ、又は、複数のハードウェアモジュール、又は、統合回路においてこれらの機能実体を実現することができるか、又は、異なるネットワーク、及び／又は、プロセッサ装置、及び／又は、マイクロコントローラ装置においてこれらの機能実体を実現することができる。

図面において示されたフローチャートは、例示的な説明に過ぎず、必ずしもすべてのコンテンツ、及び操作／ステップを含む必要はなく、必ずしも記述された順序で実行する必要もない。例えば、ある操作／ステップは、さらに分解することができるが、ある操作／ステップは、合併するか、又は、部分的に合併することができ、従って、実際の実行順序は、実際の状況に基づき変更する可能性がある。

本願の各実施例は、クラウドアプリケーションのアプリケーションシーンに応用される。いわゆる「クラウドアプリケーション」とは、クラウドコンピューティング技術をアプリケーション層に具現化したものを指す。「クラウドアプリケーション」の作動原理は、従来のアプリケーションプログラム（又は、ソフトウェア）の「ローカルインストール、ローカル演算」の使用方式を、「インストールせずに使える」サービスに変え、インターネット、又は、ローカルエリアネットワークを通じて遠隔サーバクラスターに接続し、且つ操作することで、ビジネスロジック、又は、演算タスクを完了する。

「クラウドアプリケーション」の主なキャリアは、インターネット技術であり、クラウドアプリケーションクライアントは、シンクライアント（Ｔｈｉｎ Ｃｌｉｅｎｔ）、又は、スマートクライアント（Ｓｍａｒｔ Ｃｌｉｅｎｔ）をディスプレイの形式とし、そのインタフェースは、ＨＴＭＬ５、Ｊａｖａｓｃｒｉｐｔ、又は、Ｆｌａｓｈ等の技術を統合したものである。クラウドアプリケーションは、ユーザーのためにＩＴコストの低減に役立つことができるだけでなく、さらに作業効率を大幅に向上させることができる。

具体的には、クラウドアプリケーションに基づく機器制御システムは、図１に示されたネットワークアーキテクチャにおいて動作することができる。図１に示すように、クラウドアプリケーションに基づく機器制御システムは、クラウド側サーバ１０１と複数の種類のタイプの端末機器１０２－１０６とを含み、クラウド側サーバ１０１は、各種の端末機器１０２－１０６のクラウドアプリケーションの制御過程、すなわち、ユーザーの端末機器１０２－１０６側での制御操作に基づきクラウド側サーバ１０１に送信された操作指令を提供することができる。クラウド側サーバ１０１は、操作指令に対してクラウドアプリケーションインスタンスの制御、シーン認識、操作結果計算、及びオーディオビデオレンダリング等の処理を行うことで、操作指令に対応する情報、例えば画面、音楽等を端末機器１０２－１０６に返信する。

理解することができる点としては、図１において複数の種類の端末機器１０２－１０６を示しており、端末機器は、コンピュータ機器であってもよい。実際のシーンにおいては、より多く、又は、より少ない種類の端末機器がクラウドアプリケーションの制御過程に関与することができるが、具体的な数量、及び種類は、実際のシーンにより決められるため、ここでは限定しない。

また、図１において１つのクラウド側サーバ１０１を示しているが、実際のシーンにおいて、複数のクラウド側サーバが関与することもでき、特に複数の異なるクラウドゲームインスタンスが動作するシーンにおいては、具体的なクラウド側サーバの数量は、実際のシーンにより決められる。

クラウド側サーバは、独立した物理サーバであってもよく、複数の物理サーバからなるサーバクラスター、又は、分散型システムであってもよく、さらにクラウドサービス、クラウドデータベース、クラウドコンピューティング、クラウド関数、クラウド記憶、ネットワークサービス、クラウド通信、ミドルウェアサービス、ドメイン名サービス、セキュリティサービス、ＣＤＮ、ビッグデータ、及び人工知能プラットフォーム等の基礎的なクラウドコンピューティングサービスを提供するクラウド側サーバであってもよい。端末は、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、スマートスピーカー、スマートウォッチ等であってもよいが、これらに制限されない。端末とクラウド側サーバは、有線、又は、無線通信方式を通じて直接、又は、間接的に接続することができ、端末とクラウド側サーバは、接続してブロックチェーンネットワークを構成することができるが、本願においては、ここで制限しない。

各種の具体的なクラウドアプリケーションにおいて、クラウドゲーム（Ｃｌｏｕｄ ｇａｍｉｎｇ）は、クラウドコンピューティング技術を基礎とする一種のオンラインゲーム技術であり、ゲームオンデマンド（ｇａｍｉｎｇ ｏｎ ｄｅｍａｎｄ）とも呼称されてもよい。クラウドゲーム技術により、グラフィックス処理、及びデータ演算能力が相対的に制限されたライトエンド機器（例えば、シンクライアントｔｈｉｎ ｃｌｉｅｎｔ）は高品質のゲームを動作させることができる。

理解すべき点として、本願の技術的解決手段は、クラウドゲームシーン、例えばクラウドゲームプラットフォーム等に応用することができ、クラウド側サーバとゲーム端末機器とを含む。ここで、クラウド側サーバにおいて、クラウドゲームの制御機能の機器システム、又は、プログラムを含み、ゲーム端末は、ユーザーがゲームをする過程においてユーザーの各種の操作を制御することに用いられる。

クラウドゲームシーンでは、ゲームは、プレイヤーのゲーム端末機器で動作するのではなく、クラウド側サーバにおいて動作し、且つクラウド側サーバによりゲームシーンをオーディオビデオストリームにレンダリングし、ネットワークを通じてプレイヤーのゲーム端末機器に伝送する。プレイヤーのゲーム端末機器は、強力なグラフィックス演算、及びデータ処理能力を持つ必要がないが、基本的なストリームメディア再生能力、及びプレイヤーからの入力指令を取得し、且つクラウド側サーバに送信する能力のみを持つ必要があるようにすればよい。

本願の実施例に基づき、クラウドアプリケーションがクラウドゲームであるときに、クラウドゲームに基づく機器制御方法は、個人移動端末に動作してもよく、クラウド側サーバに動作してもよく、さらにサードパーティ機器に動作してもよいことで、クラウドゲームの制御を提供する。具体的なクラウドゲームの機器制御システムは、プログラム形式で上記機器において動作してもよく、上記機器におけるシステム部材として動作してもよく、さらにクラウド側サービスプログラムの一種としてもよく、具体的な動作モードは、実際のシーンにより決められるため、ここでは限定しない。

本願は、クラウドアプリケーションに基づく機器制御方法を提案し、該方法は、図２に示されたクラウドアプリケーション機器制御フレームワークにおいて応用することができる。図２は、本願の実施例におけるクラウドアプリケーション機器制御フレームワークの模式図であり、サーバ上のアプリケーションクライアント２１０と、クラウドアプリケーションサーバ２２０と、端末機器上のクラウドアプリケーションクライアント２３０とを含む。

ここで、アプリケーションクライアント２１０は、端末認識モジュール２１１を通じて、クラウドアプリケーションサーバ２２０に指令を発行し、指令は、最終的にクラウドアプリケーションクライアント２３０に到達し、それによりクラウドアプリケーションクライアント２３０が現在所在している端末機器（例えばスマート端末）、又は、クラウドアプリケーションクライアント２３０に関連付けられた物理機器が振動フィードバックをサポートするかどうか、及びサポートされた振動フィードバックのフォーマットコンテンツを容易に問い合わせることができる。

端末制御モジュール２１３は、端末認識モジュール２１１から提供された情報に基づき、クラウドアプリケーションクライアント２３０と通信を確立する。該通信は、クラウドアプリケーションサーバ２２０を通じて中継され、確立された通信を通じて振動フィードバック情報を発行する。

アプリケーションクライアント２１０の振動フィードバック制御モジュール２１２は、アプリケーションシーンの違いに基づき、相応な振動フィードバックをトリガーして、振動フィードバック情報の実際のファイルを取得し、且つ端末制御モジュール２１３を通じて、該ファイルをクラウドアプリケーションサーバ２２０に発行し、クラウドアプリケーションサーバ２２０により中継し、最終的にクラウドアプリケーションクライアント２３０に発行する。

クラウドアプリケーションサーバ２２０は、端末通信モジュール２２１を通じてクラウドアプリケーションクライアント２３０とリンクを確立し、クラウドアプリケーションクライアント２３０から振動フィードバックのサポート情報を取得し、且つクラウドアプリケーションクライアント２３０に振動フィードバックの制御プロトコルを発行する。振動プロトコルパッケージ化モジュール２２２は、アプリケーションクライアント２１０から発行された振動フィードバック情報を受信し、且つ定義されたプロトコルに基づき、該振動フィードバック情報をパッケージ化し、且つ端末通信モジュール２２１を通じてクラウドアプリケーションクライアント２３０に伝送することに用いられる。

クラウドアプリケーションクライアント２３０は、通信モジュール２３１を通じて、クラウドアプリケーションサーバ２２０の要求に基づき、それと通信接続を確立し、且つクラウドアプリケーションサーバ２２０から発行されたハードウェア問い合わせ指令、及び振動フィードバック指令等の情報を受信する。振動フィードバック解析モジュール２３２は、通信モジュール２３１の振動フィードバック指令を受信した後に、定義されたプロトコルに基づき解析を行い、且つハードウェア制御モジュール２３３を呼び出すことに用いられる。ハードウェア制御モジュール２３３は、振動フィードバック解析モジュール２３２の指令を受信し、端末機器の対応するインタフェースを呼び出して実際のハードウェア駆動を行うことで、振動フィードバックを実現することに用いられる。

具体的には、クラウドアプリケーションがクラウドゲームであるときに、アプリケーションクライアント２１０とは、ゲームクライアントを指し、クラウドアプリケーションサーバ２２０とは、クラウドゲームサーバを指し、クラウドアプリケーションクライアント２３０とは、クラウドゲームクライアントを指す。

アプリケーションシーンを結合して振動フィードバックをトリガーするために、特殊効果設計は、通常、アプリケーションシーンに基づき専用の効果を表示する必要がある。具体的には、説明を容易にするために図３を参照すると、図３は、本願の実施例における振動特殊効果設計プロセスの模式図であり、サーバ上のアプリケーションクライアント３１０と、クラウドアプリケーションサーバ３２０と、端末機器上のクラウドアプリケーションクライアント３３０との間のインタラクションを含む。

ここで、効果設計３１１とは、サーバ、又は、サーバ上のアプリケーションクライアント３１０が特定のシーンのために、専用の振動フィードバック効果を設計することを指す。

シーン認識３１２とは、アプリケーション（例えばゲーム）動作過程において、サーバ、又は、アプリケーションクライアント３１０が、相応なシーンを認識し、且つ関連する特殊効果記述ファイルをマッチングすることを指す。例えば、シューティング類ゲームにおいて、ユーザーは、異なる銃器を使用して異なる振動フィードバックをトリガーすることができ、ユーザーの仮想キャラクターが攻撃されると、ヒットポイント減少量の違いに基づいて異なる強度の振動をトリガーすることで、ユーザーは、振動を通じてヒットポイント減少量を直接感知することができるため、ユーザーが敵に遭遇したときに、高頻度の短い振動をトリガーして、ユーザーに危険が迫っていることをプロンプトする。

振動トリガー３１３とは、サーバ上のアプリケーションクライアント３１０が振動要求を発行することで、物理機器の振動トリガーインタフェースを呼び出すように要求することを指す。しかし、クラウドアプリケーションがクラウドアプリケーションサーバ３２０でレンダリングするため、この要求は、物理機器に直接伝達することができず、従って、クラウドアプリケーションサーバ３２０を経由して中継する必要がある。

トランスペアレント伝送端末３２１とは、クラウドアプリケーションサーバ３２０がアプリケーションクライアント３１０から発行された振動要求を受信した後に、通信接続を通じてクラウドアプリケーションクライアント３３０にトランスペアレント伝送することを指す。

システムトリガー３３１とは、クラウドアプリケーションクライアント３３０がクラウドアプリケーションサーバ３２０からトランスペアレント伝送された振動要求を受信した後に、物理機器のインタフェースを呼び出して端末機器上のハードウェアの振動をトリガーすることを指す。

理解することができる点としては、本願が提供した方法は、一種のプログラムとして書き込まれてもよく、ハードウェアシステムにおける一種の処理ロジックとしてもよく、さらに一種のクラウドアプリケーションの制御装置としてもよく、統合、又は、外付け方式を採用して上記処理ロジックを実現する。

上記プロセスアーキテクチャを結合して、以下、本願におけるクラウドアプリケーションに基づく機器制御方法を説明する。図４に参照されるように、図４は、本願の実施例により提供されるクラウドアプリケーションに基づく機器制御方法のフローチャートであり、電子機器により実行され、例えば、図２におけるサーバ上のアプリケーションクライアント２１０により実行され、以下のステップを含む。

ステップＳ３０１：端末機器上のクラウドアプリケーションクライアントとの間の通信接続を確立し、クラウドアプリケーションクライアントは、受信されたクラウドアプリケーションビデオストリームを提示することに用いられる。

本実施例において、サーバ上のアプリケーションクライアントは、端末機器上のクラウドアプリケーションクライアントと通信接続を確立する。アプリケーションクライアントは、サーバ上で動作する具体的なアプリケーションプログラムであり、クラウドアプリケーションクライアントは、端末機器上の、受信されたクラウドアプリケーションビデオストリームを提示することに用いられるアプリケーションである。

具体的には、アプリケーションクライアントがゲームクライアントであるときに、クラウドアプリケーションクライアントは、クラウドゲームクライアントである。例えば、レースゲームを例とすると、クラウドゲームクライアントは、具体的に携帯端末上のブラウザ、プレーヤー、又は、専用のクライアントであってもよく、主にサーバから提供されたゲーム画面を再生することに用いられ、ゲームクライアントは、サーバ上で動作したレースゲームの実際のアプリケーションプログラムである。

本実施例における通信接続は、主に振動フィードバックに関連する情報を伝送することに用いられ、該通信接続は、専用の通信チャネルであってもよく、同時にアプリケーションクライアントとクラウドアプリケーションクライアントとの間のビデオストリーム通信、及び制御情報通信に用いられてもよい。

ステップＳ３０２：クラウドアプリケーションクライアントと対応するクラウドアプリケーションに対してシーン認識を行い、シーン認識結果を得て、シーン認識結果は、認識されたクラウドアプリケーションシーンに関連付けられたメディアコンテンツを含む。

本実施例において、クラウドアプリケーションは、実際には、サーバ上のアプリケーションクライアントにより動作する。アプリケーションクライアントは、クラウドアプリケーションの実行状況、及びユーザーの操作に基づき、クラウドアプリケーションが位置するシーンに対して認識を行うことができる。例えば、ゲームシーンは、通常、ゲーム進度、ゲーム画面、ゲームデータ等のコンテンツを含み、ゲームを行う過程における各種のデータの変化は、いずれもゲームシーンの変化を引き起こす可能性があり、例えば、ゲームにおける仮想キャラクターが位置する環境が変化すること、ヒットポイント等の属性が変化すること、仮想キャラクターが各種のイベントに遭遇すること、又は、環境とインタラクションすること等が挙げられる。

アプリケーションクライアントは、クラウドアプリケーションのデータコンテンツ、及びデータ変化に基づき具体的なクラウドアプリケーションシーンを認識することができ、それによりシーン認識結果を得る。シーン認識結果は、認識されたクラウドアプリケーションシーンに関連付けられたメディアコンテンツを含み、クラウドアプリケーションの次の時間帯における仮想キャラクターの表現を指示することに用いられる。例えば、クラウドゲームにおいて、仮想キャラクターが高所から落下すれば、シーン認識結果は、次の１つの時間帯において、仮想キャラクターが地面に落下すること、及び高所からの落下によるダメージを指示することができる。

ステップＳ３０３：シーン認識結果に基づき、クラウドアプリケーションシーンと対応する振動フィードバック情報を生成する。

具体的には、シーン認識結果において識別されたクラウドアプリケーションシーンは、次の１つの時間帯でクラウドアプリケーションにおいて発生しようとする変化、又は、イベントを決定することができ、それにより該クラウドアプリケーションシーンにおいてトリガーする必要がある振動フィードバックを決定することができ、さらに認識されたクラウドアプリケーションシーンと対応する振動フィードバック情報を生成する。振動フィードバック情報は、行う必要がある振動フィードバックの種類、及び振動フィードバックを実行するパラメータ、例えば実行時間等を含む。

クラウドアプリケーションクライアントに関連付けられた物理機器がサポートした振動フィードバックの種類によって、振動フィードバック情報には、一種、又は、複数の種類の振動フィードバックに対応するパラメータを含むことができる。

クラウドアプリケーションシーンの具体的なコンテンツによって、振動フィードバック情報には、複数回の振動フィードバックを行うために必要なパラメータを含むことができる。例えば、もしクラウドゲームシーンにおいて、ターゲットキャラクターが下降する期間に障害物との間で３回の衝撃が発生することとなり、毎回の衝撃がいずれも振動フィードバックを行う必要があれば、振動フィードバック情報は、３回の衝撃と対応する３組の振動の振動フィードバックパラメータを含むことになる。

ステップＳ３０４：クラウドアプリケーションクライアントにクラウドアプリケーションシーンに対応するビデオストリームと振動フィードバック情報とを送信することで、クラウドアプリケーションクライアントがクラウドアプリケーションシーンのビデオストリームを提示するときに、振動フィードバック情報に基づき、クラウドアプリケーションクライアントに関連付けられた物理機器を制御して振動フィードバック操作を実行する。

具体的には、説明を容易にするために、図５を参照すると、図５は、本願の実施例における振動フィードバックをトリガーする過程であり、下記ステップを含む。

ステップ５０１：アプリケーションクライアントは、クラウドアプリケーションサーバを通じてクラウドアプリケーションクライアントにクラウドアプリケーションシーンに対応するビデオストリームと振動フィードバック情報とを送信する。

ここで、クラウドアプリケーションシーンのビデオストリームは、クラウドアプリケーションシーンにおいてディスプレイされようとするアプリケーション画面に基づきレンダリングされたビデオストリームである。

ステップ５０２：クラウドアプリケーションクライアントは、ビデオストリームを受信した後に、ユーザーに該ビデオストリームを再生する。

本ステップにおいて、クラウドアプリケーションクライアントは、ユーザーにビデオコンテンツ、例えばユーザー操作により発生した結果を表示する。

ステップ５０３：ビデオストリームを再生するときに、クラウドアプリケーションクライアントは、さらに受信された振動フィードバック情報に基づき、関連付けられた物理機器を制御して振動フィードバック操作を実行することができる。

ここで、クラウドアプリケーションクライアントに関連付けられた物理機器は、クラウドアプリケーションクライアントが位置するスマート端末であってもよい。

例えば、クラウドアプリケーションは、レーシング類ゲームであり、クラウドアプリケーションクライアントが位置するスマート端末は、携帯端末である。該レーシング類ゲームにおいて、ユーザーが携帯端末上で運転された車両を操作して対戦相手に衝突させると、サーバ上のゲームクライアントが送信したクラウドゲームシーンのビデオストリームにおいて車両が対戦相手と衝突する画面をディスプレイすることができ、ビデオストリームにおいて車両が対戦相手に衝突したことを再生するときに、クラウドゲームクライアントは、さらに携帯端末を制御して１秒間の振動を行うことができ、それにより衝突の衝撃力を表現し、ユーザー体験、及び没入感を向上させる。

このことから分かるように、振動フィードバック操作を通じて、提示されたクラウドアプリケーションシーンのビデオストリームと組み合わせることで、より立体的なゲーム体験を達成することができる。

ステップ５０４：物理機器は、振動フィードバックを完了した後に、クラウドアプリケーションクライアントに振動の実行結果を返信する。

ステップ５０５：クラウドアプリケーションクライアントは、該振動の実行結果を含む振動フィードバック応答メッセージを生成し、且つ振動フィードバック応答メッセージをクラウドアプリケーションサーバを通じてアプリケーションクライアントに送信する。

本願の実施例において、シーン認識を通じてシーン認識結果を得て、クラウドアプリケーションシーンに対応する振動フィードバック情報を生成し、且つクラウドアプリケーションクライアントとの間の通信接続を通じて、クラウドアプリケーションクライアントに振動フィードバック情報を送信することで、関連付けられた物理機器を制御して振動フィードバック操作を行う。上記方式を通じて、以下のメリットを取得することができる。

１）クラウドアプリケーションのシーンでは、クラウドアプリケーションのフルリンクを開くことにより、振動の駆動信号をリアルタイムに発行するが、その遅延がクラウドアプリケーションのビデオストリームと一致している状態を保持することにより、ユーザーは遅延のない振動を体験することができ、振動フィードバックの精度を向上させ、それによりユーザー体験を向上させる。

２）シーンに対する認識に基づいて、相応な振動フィードバック情報を設計することで、ユーザーの実際の操作により適合することができ、ユーザーの操作、及び体験に対する援助になることで、ユーザーがよりアプリケーションコンテンツ（例えばゲームコンテンツ）自体に没入し、同時にさらに物理機器のハードウェア長所を最大限に発揮することができる。

本願の１つの実施例において、端末機器上のクラウドアプリケーションクライアントとの間の通信接続を確立する上記ステップＳ３０１は、下記ステップを含むことができる。

上記クラウドアプリケーションクライアントに通信確立要求を送信する。

上記クラウドアプリケーションクライアントから返信された通信応答メッセージを受信する。

上記通信応答メッセージに基づき、上記クラウドアプリケーションクライアントと通信接続を確立する。

ここで、上記通信応答メッセージには、上記物理機器がサポートした振動フィードバックタイプと振動フィードバックのプロトコルバージョンとを含む。

上記シーン認識結果に基づき、上記クラウドアプリケーションシーンと対応する振動フィードバック情報を生成する上記ステップは、
上記シーン認識結果、及び上記振動フィードバックタイプと上記振動フィードバックのプロトコルバージョンに基づき、上記振動フィードバック情報を生成するステップを含む。

具体的には、サーバ上のアプリケーションクライアントは、クラウドアプリケーションクライアントに通信確立要求を送信する。該通信確立要求は、アプリケーションクライアントとクラウドアプリケーションクライアントとの間の既に確立されたオーディオビデオ通信リンク、又は、制御通信リンクに基づいて送信することができ、且つクラウドアプリケーションを正式に起動する前の任意の時刻で行うことができる。例えば、クラウドアプリケーションクライアントがアカウントにログインするときに、又は、クラウドアプリケーションクライアントにその他の通信接続を確立するときに、振動フィードバックに用いられる通信接続を一緒に確立する。

具体的には、説明を容易にするために、図６を参照すると、図６は、本願の実施例におけるクラウドアプリケーションクライアントと通信接続を確立する過程であり、下記ステップを含む。

ステップ６０１：アプリケーションクライアントは、サーバに既にログインしたクラウドアプリケーションクライアントのリストに基づき、クラウドアプリケーションサーバを通じて、クラウドアプリケーションクライアントに通信確立要求を送信する。

ステップ６０２：クラウドアプリケーションクライアントは、該通信確立要求を受信したときに、該要求に基づきアプリケーションクライアントと通信接続を確立する。

具体的には、接続確立方式は、ネットワーク接続のクエリ、及びアクノリッジのスリーウェイハンドシェイク過程等と類似する方式であってもよく、又は、サーバのインターネットプロトコルアドレス等を保存する方式を通じて行ってもよい。

ステップ６０３：クラウドアプリケーションクライアントは、関連付けられた物理機器がサポートした振動フィードバックタイプ、及び振動フィードバックのプロトコルバージョンを問い合わせ、且つ問い合わせた情報を通信応答メッセージに加える。

ここで、振動フィードバックタイプとは、主に物理機器が有する、振動フィードバックを行うことに用いることができる機能、又は、モジュールを指す。振動フィードバックのプロトコルバージョンは、振動フィードバックが実行可能な具体的なモードを規定し、例えば、振動は、長い振動、短い振動、長い振動と短い振動とを融合する振動、及び異なる頻度と強度の振動等を含むことができ、その他のタイプの振動フィードバックも類似する。

ステップ６０４：クラウドアプリケーションクライアントは、通信応答メッセージをクラウドアプリケーションサーバを通じてアプリケーションクライアントに送信する。

ステップ６０５：アプリケーションクライアントは、受信した振動フィードバックタイプ、振動フィードバックのプロトコルバージョン、及び認識されたアプリケーションシーンに基づき、振動フィードバック情報を生成する。

本願の実施例において、サーバ上のアプリケーションクライアントとクラウドアプリケーションクライアントとの間に振動フィードバック情報を伝送することに用いられる通信接続を確立することで、振動フィードバックをサーバから端末機器にタイムリーに送信することができ、サーバが端末を制御して振動フィードバックを行うために基礎を提供し、手段の実施可能性を向上させる。

本願の１つの実施例において、クラウドアプリケーションクライアントと対応するクラウドアプリケーションに対してシーン認識を行って、シーン認識結果を得る上記ステップＳ３０２は、下記ステップを含むことができる。

上記クラウドアプリケーションにおけるターゲット仮想キャラクターの現時刻におけるキャラクター属性値を取得する。

上記キャラクター属性値に基づき、上記クラウドアプリケーションシーンを認識して、上記シーン認識結果を得る。

具体的には、クラウドアプリケーションタイプの違いによって、シーン認識結果は、クラウドアプリケーションにおけるターゲット仮想キャラクター自体に発生したイベントに基づき決定されてもよく、クラウドアプリケーションにおける時間帯に基づき決定されてもよい。

ターゲット仮想キャラクターは、通常、クラウドアプリケーションのユーザーが制御したキャラクターであるか、又は、表示する必要がある、ユーザーにより制御されないキャラクター等である。キャラクター属性値は、キャラクターのヒットポイント、体力値等の、アプリケーションコンテンツに関連するデータ、又は、キャラクターがアプリケーションにおいて位置する空間位置、行った段階等の、アプリケーション動作に関連するデータを含むことができる。

ターゲット仮想キャラクターの現時刻におけるキャラクター属性値に基づき、クラウドアプリケーションのシーンを認識して、シーン認識結果を得ることができる。具体的には、キャラクター属性値が所定の数値よりも高いか、又は、より低ければ、ある特定のシーンとして認識されてもよく、又は、キャラクターの属性値に所定の幅の変化が発生すると、振動をトリガーする必要があるシーンとして認識されてもよい。

例えば、キャラクターのヒットポイントについて、ヒットポイントが設定された閾値よりも低い場合に、ヒットポイントが低すぎるというシーンを認識することができ、該シーンにおいて、端末機器を制御して所定の頻度に応じて振動させるか、又は、点滅させることができ、それによりユーザーにプロンプトして、且つ緊張した雰囲気を作り出す。

又は、クラウドアプリケーションクライアントと対応するクラウドアプリケーションに対してシーン認識を行って、シーン認識結果を得る上記ステップＳ３０２は、下記ステップを含むことができる。

予め設定した時間帯とシーン識別子との間のマッピング関係に基づき、ターゲット仮想キャラクターの現時刻におけるシーン識別子を取得し、上記シーン識別子は、上記ターゲット仮想キャラクターが位置する周辺環境を表すことに用いられる。

予め設定したシーン識別子とシーンタイプとの間のマッピング関係、及び現時刻における上記シーン識別子に基づき、上記シーン認識結果を決定する。

ここで、クラウドアプリケーションが位置する時間帯とシーン識別子との間のマッピング関係を予め設定する。時間帯とは、クラウドアプリケーションが位置する進度を指すことができ、シーン識別子は、上記ターゲット仮想キャラクターが位置する周辺環境を表すことに用いられる。

具体的には、クラウドアプリケーションのシーンは、それが行った進度（時間の長さ）との間に関連関係が存在し得る。例えば、パルクールタイプのゲームについて、ゲーム進度は時間に伴って推移し、異なる時間帯に達したときに異なるゲームシーンに到達してて異なるシーン識別子と対応し、時間帯に基づきターゲット仮想キャラクターの現時刻におけるシーン識別子を決定することができる。

又は、時間帯は、クラウドアプリケーションの、１つの特定の時点から記録し始める時間帯であってもよく、例えば、仮想キャラクターがゲームにおいてあるルームに入った後にタイミングし始めることにより記録された時間帯である。

予め設定したシーン識別子とシーンタイプとの間のマッピング関係に基づき、アプリケーションクライアントは、シーン認識結果を決定することができる。具体的には、シーンタイプは、異なるシーンの具体的な分類を識別することに用いられ、各シーンタイプは、複数のシーン識別子と対応することができ、且つ各種の異なる振動フィードバックを行う必要がある。

例えば、アプリケーションクライアントは、時間帯とシーン識別子との間のマッピング関係に基づき、ユーザーの仮想キャラクターのあるゲームシーン内での時間が長すぎると、トラップに陥ることになると決定し、シーン識別子は、トラップに陥るシーンを識別する。該シーン識別子と対応するシーンタイプは、下降タイプであり、従って、さらに下降タイプに基づき対応するシーン認識結果がダメージを受けることであると決定することができる。

また、ターゲットシーンタイプは、振動フィードバックを行う必要があるシーンを識別することに用いられる。従って、もしシーン認識結果がターゲットシーンタイプに属さなければ、続いて物理機器を制御して振動フィードバックのモーションを行うことはしない。例えば、シーンタイプが回復、又は、休息等の相対的に穏やかなシーンであれば、振動フィードバックを行わず、続いて物理機器の振動フィードバックを制御することもしない。

本願の実施例において、シーン認識を行う具体的な方式を提供し、それにより応用シーンに対して目標的な認識を行うことができ、続いて行う必要がある振動フィードバックと現在のシーンコンテンツとの間のマッチング程度の向上に有利である。

本願の１つの実施例において、上記クラウドアプリケーションにおける、ターゲット仮想キャラクターの現時刻におけるキャラクター属性値を取得する上記ステップは、下記ステップを含むことができる。

上記クラウドアプリケーションクライアントから送信された、上記ターゲット仮想キャラクターに対するキャラクター制御指令を受信する。

上記キャラクター制御指令に基づき、上記ターゲット仮想キャラクターに対して制御を行って、上記ターゲット仮想キャラクターの上記現時刻におけるキャラクター属性値を得る。

上記キャラクター属性値に基づき、上記クラウドアプリケーションシーンを認識して上記シーン認識結果を得る上記ステップは、下記ステップを含むことができる。

上記ターゲット仮想キャラクターの前の時刻におけるキャラクター属性値、及び上記現時刻におけるキャラクター属性値に基づき、属性値変化幅を決定する。

上記属性値変化幅に基づき、上記シーン認識結果を決定する。

本実施例において、シーン認識結果は、ターゲット仮想キャラクターに対するユーザーの操作に基づき決定することができる。具体的には、ゲームクライアント、及びクラウドゲームクライアントを例とすると、ゲームクライアントは、クラウドゲームクライアントから送信された、ターゲット仮想キャラクターに対するキャラクター制御指令を受信する。キャラクター制御指令は、移動、攻撃、又は、回避等のモーション制御であってもよく、又は、シーン内のその他の物理とのインタラクション制御等のモーションであってもよい。

ゲームクライアントは、キャラクター制御指令に基づき、クラウドゲームにおいてターゲット仮想キャラクターに対して制御を行い、且つさらに制御により生じた結果を得ることができ、それによりターゲット仮想キャラクターの現時刻におけるキャラクター属性値を得る。例えば、ターゲット仮想キャラクターが移動を行うと、キャラクターが攻撃されてヒットポイントの低下を引き起こし、それによりターゲット仮想キャラクターの現時刻におけるヒットポイントを得ることができる。

次に、ゲームクライアントは、ターゲット仮想キャラクターの前の時刻におけるキャラクター属性値、及び現時刻におけるキャラクター属性値に基づき、属性値変化幅を決定する。前の時刻とは、ゲームクライアントがターゲット仮想キャラクターに対して制御を行う前の時刻を指す。２つの時刻におけるキャラクター属性値の比較に基づき、属性値変化幅を決定することができる。

さらに、属性値変化幅に基づき、シーン認識結果を決定する。例えば、もしヒットポイントが大幅に低減すれば、シーン認識結果が大量のダメージを受けると決定することができ、それにより、続いて端末上に接続された物理機器が振動するようにトリガーしてユーザーにプロンプトする。

本願の実施例において、ターゲット仮想キャラクターの属性値の変化を通じてシーン認識結果を決定し、それによりクラウドゲーム過程においてシーン認識結果をタイムリーに決定し、シーン認識の粒度を向上させることができ、それにより、振動フィードバックを行う必要がある状況をより精度よくに決定することができる。

本願の１つの実施例においては、上記実施例に基づき、振動フィードバック情報は、振動フィードバックタイプを含み、上記クラウドアプリケーションクライアントは、上記物理機器を制御して、上記振動フィードバックタイプで指示された振動フィードバック操作を実行する。

具体的には、異なる物理機器がサポートした振動フィードバックタイプは、異なる可能性がある。例えば、携帯端末とその他のゲームの周辺機器がサポートすることができる振動特殊効果の強度、及び種類は、異なることとなる。ゲームクライアントは、振動フィードバック情報を生成するときに、記録された、物理機器がサポートした振動フィードバックタイプ、及び認識されたシーンにおいて行う必要がある振動フィードバックに基づき、振動フィードバック情報を生成する。

クラウドゲームクライアントは、振動フィードバック情報を受信した後に、振動フィードバックを行う必要があるときに、物理機器を制御して振動フィードバックタイプで指示された振動フィードバック操作を実行する。例えば、ゲームクライアントは、現在のシーンにおいて１回の長い振動、及び複数回の短い振動を行う必要があると判断すれば、長い振動特殊効果タイプ、及び短い振動特殊効果タイプを含む振動フィードバック情報を生成し、クラウドゲームクライアントは、該振動フィードバック情報を受信した後に、携帯端末を制御して長い振動、及び短い振動を行う。

本願の実施例において、振動フィードバック情報において振動フィードバックタイプを限定し、それにより異なる種類の振動フィードバックを行うことができ、振動フィードバックの多様性を向上させる。

本願の１つの実施例において、上記実施例に基づいて、振動フィードバック情報は、振動フィードバックの時間パラメータを含み、時間パラメータは、振動フィードバックを行う時間帯を指示することに用いられ、上記クラウドアプリケーションクライアントは、上記物理機器を制御して、上記時間パラメータで指示された時間帯内で、振動フィードバック操作を実行する。

具体的には、振動フィードバックの時間パラメータは、振動の開始時刻と持続時間とを含むことができ、振動の開始時刻、及び持続時間は、異なるシーンのニーズに応じて決めることができる。ここで、振動の開始時刻は、通常、１つの相対時刻であり、それは、対応するビデオストリームの開始時刻に対して設定され、それによりいつ振動フィードバック操作を実行し始めるかを決定する。

例えば、振動特殊効果の開始時刻は、１０ｍｓに設定されていれば、クラウドゲームクライアントは、対応するビデオストリームを１０ｍｓ再生した後に物理機器が振動するように制御し始める。振動の持続時間は、振動フィードバックの終了時刻を決定する。１つの実施例において、振動持続時間を含まず、予め決められた統一した持続時間で代替することができる。

理解すべき点としては、振動の持続時間は、持続時間内で振動フィードバックモーションが連続的に行う必要があることを表すものではない。例えば、振動フィードバックモーションは、断続的な振動であってもよく、持続時間内で、物理機器は、断続的に振動し、合計時間長さが持続時間により限定された数値に達する。

本願の実施例において、振動フィードバック情報は、振動フィードバックの時間パラメータを含み、それによりビデオストリームを再生するときに、振動フィードバック操作の開始時刻、及び終了時刻を調整することができ、それにより、振動フィードバック操作をより柔軟にトリガーし、手段の柔軟性を向上させる。

本願の１つの実施例において、上記実施例に基づいて、振動フィードバック情報は、振動フィードバックの実行頻度を含み、上記クラウドアプリケーションクライアントは、上記物理機器を制御して、上記振動フィードバックの実行頻度に応じて、上記振動フィードバック操作を実行する。

具体的には、振動フィードバックの実行頻度は、振動フィードバック操作が終了するときまでに、振動フィードバックに関するモーションが達する必要がある頻度を規定する。振動フィードバックの実行頻度は、異なるシーンのニーズに応じて決めることができ、例えば、緊急度が異なると、異なる振動実行頻度を設定することができる。

例えば、振動実行頻度は、振動フィードバックが終了するときに達する必要がある振動頻度を表し、取り得る値の範囲を０～１００の相対値に設定することができる。１つの実施例において、前の時刻で実行された振動フィードバックは、現時刻で実行されようとする振動フィードバックと連続する可能性があり、もし実行頻度が異なれば、頻度に対して調整を行うことで、それを連続的に変化させることができるが、停止後に再開する必要がない。例えば、前の時刻の振動頻度は、５０であり、現時刻で実行する必要がある振動頻度は、７０である場合、振動頻度を予め設定したステップのサイズに応じて５０から７０に均一に調整することができる。

第１の期間に対して、又は、前の時刻で同じタイプの振動フィードバックを行っていない状況に対しては、前の時刻の実行頻度は０であると黙認する。

本願の実施例において、振動フィードバック情報は、振動フィードバックの実行頻度を含むことにより、異なるシーンの表現に基づき異なる頻度の振動フィードバックを行うことができ、それにより異なる雰囲気を作り出し、特殊効果の柔軟性、及び表現力を向上させる。

本願の１つの実施例において、上記実施例に基づいて、振動フィードバック情報は、振動フィードバックの実行強度を含み、上記クラウドアプリケーションクライアントは、上記物理機器を制御して、上記振動フィードバックの実行強度に応じて、上記振動フィードバック操作を実行する。

具体的には、振動フィードバックの実行強度は、振動フィードバック操作が終了するときに、振動フィードバックに関するモーションが達する必要がある振動強度を規定する。振動フィードバックの実行強度は、異なるシーンのニーズに応じて決めることができ、例えば、深刻さの程度の違いにより、異なる振動実行強度を設定することができる。

実行強度は、振幅等の情報として表すことができ、取り得る値の範囲を０～１００の相対値に設定することができる。

１つの実施例において、前の時刻で実行された振動フィードバックは、現時刻で実行されようとする振動フィードバックと連続する可能性があり、もし実行強度が異なれば、強度を調整することで、それを連続的に変化させることができるが、停止後に再開する必要がない。

例えば、前の時刻の振動強度は、５０であり、現時刻で実行する必要がある振動強度は、７０である場合、振動強度を予め設定したステップのサイズに応じて５０から７０に均一に調整することができる。

第１の期間、又は、前の時刻で同じタイプの振動フィードバックを行っていない状況に対しては、前の時刻の実行強度は０であると黙認する。

本願の実施例において、振動フィードバック情報は、振動フィードバックの実行強度を含むことにより、異なるシーンの表現に基づき異なる強度の振動フィードバックを行うことができ、それによりゲームのコンテンツとより一致し、振動フィードバックの多様性を向上させる。

本願の１つの実施例において、上記実施例に基づいて、上記クラウドアプリケーションクライアントに上記クラウドアプリケーションシーンに対応するビデオストリームと上記振動フィードバック情報とを送信する上記ステップＳ３０４は、
クラウドアプリケーションサーバに上記クラウドアプリケーションシーンに対応するビデオストリームと上記振動フィードバック情報とを送信することで、上記クラウドアプリケーションサーバが振動プロトコルに基づき上記振動フィードバック情報をパッケージ化し、且つパッケージ化結果と上記ビデオストリームとを上記クラウドアプリケーションクライアントに送信することを含む。

本実施例において、アプリケーションクライアントは、単独のサーバ上で動作することができるが、クラウドアプリケーションサーバは、他のサーバである。アプリケーションクライアントのサーバとクラウドアプリケーションサーバとは、有線、又は、無線ネットワークを通じて通信を行う。アプリケーションクライアントは、レンダリングされたクラウドアプリケーションシーンに対応するビデオストリームと、生成された振動フィードバック情報とをクラウドアプリケーションサーバに送信し、クラウドアプリケーションサーバは、振動プロトコルに基づき振動フィードバック情報に対してパッケージ化を行い、且つパッケージ化結果とビデオストリームとをクラウドアプリケーションクライアントに送信する。

具体的には、振動特殊効果の振動プロトコルに対しては、以下の表１に示すように定義されてもよい。

クラウドアプリケーションサーバは、アプリケーションクライアントから送信された振動フィードバック情報に基づき、上記プロトコルに応じて振動特殊効果を開始時刻、持続時間、振動頻度、及び振動強度からなるデータパケットとしてパッケージ化し、次にビデオストリームとともにクラウドアプリケーションクライアントに送信し、それにより振動特殊効果の制御を行う。

本願の実施例において、アプリケーションクライアントは、クラウドアプリケーションサーバを通じてビデオストリームと振動フィードバック情報とをクラウドアプリケーションクライアントに送信することで、複数のアプリケーションクライアントが同一のクラウドアプリケーションサーバを共有することができ、それにより、クラウドアプリケーションの運営コストを低減させる。

以下、本願におけるクラウドアプリケーションに基づく機器制御方法に対して説明を行う。該方法は、クラウドアプリケーションクライアントに応用され、図７に示されるものは、本願の他の実施例により提供されるクラウドアプリケーションに基づく機器制御方法のフローチャートであり、以下のステップを含む。

ステップＳ７０１：クラウドアプリケーションサーバとの間の通信接続を確立する。

ステップＳ７０２：クラウドアプリケーションサーバから送信されたクラウドアプリケーションシーンに対応するビデオストリームと振動フィードバック情報とを受信し、振動フィードバック情報は、サーバ上のアプリケーションクライアントによりクラウドアプリケーションシーンに基づき生成されるものである。

ステップＳ７０３：クラウドアプリケーションシーンに対応するビデオストリームを再生し、且つ振動フィードバック情報に基づき、クラウドアプリケーションクライアントに関連付けられた物理機器を制御して振動フィードバック操作を実行する。

具体的には、クラウドアプリケーションクライアントは、クラウドアプリケーションサーバとの間の通信接続を確立する。該通信確立過程は、通常、アプリケーションクライアントにより開始される。クラウドアプリケーションクライアントは、クラウドアプリケーションプラットフォームにログインした後に、クラウドアプリケーションを起動する。クラウドアプリケーションプラットフォームは、サーバ上の対応するアプリケーションクライアントを起動することとなり、アプリケーションクライアントは、クラウドアプリケーションクライアントと通信を能動的に確立する。クラウドアプリケーションクライアントは、アプリケーションクライアントから送信された通信確立要求を受信し、且つローカルに保存することで、後続の制御情報、及び各種の応答メッセージを送信することに用いられる。

通信を確立した後に、クラウドアプリケーションクライアントは、クラウドアプリケーションサーバからクラウドアプリケーションシーンに対応するビデオストリームと振動フィードバック情報とを受信することとなる。クラウドゲームを例とすると、クラウドゲームにおけるゲームの行いは、クラウドゲームクライアントにより制御され、サーバ上のゲームクライアントは、ユーザーの操作に基づきゲームコンテンツを実行し、且つクラウドゲームのゲームシーンをビデオストリームにレンダリングし、さらにゲームシーンのコンテンツに基づき振動フィードバック情報を生成する。クラウドゲームクライアントは、ユーザーにクラウドゲームシーンのビデオストリームを再生することとなることによって、ユーザーにゲーム画面と操作結果とを表示して後続のゲームを行い、且つクラウドゲームクライアントに関連付けられた物理機器を制御して振動フィードバック操作を実行することとなる。例えば、振動フィードバック情報における振動情報に基づき携帯端末を制御して振動を行う。

本願の実施例において、クラウドアプリケーションクライアントは、クラウドアプリケーションサーバと通信接続を確立し、且つ受信されたビデオストリームと振動フィードバック情報とに基づきアプリケーションコンテンツを表示し、且つ振動フィードバック操作を実行することにより、クラウドアプリケーションのシーンでは、サーバ上のアプリケーションクライアントによりクラウドアプリケーションクライアントに関連する物理機器の振動を直接トリガーすることを実現することができ、オーディオ、又は、ビデオコンテンツに基づき振動を行うときに生じていた、アプリケーションコンテンツとマッチングしない状況を回避し、振動フィードバックの精度を向上させる。

本願の１つの実施例において、上記実施例に基づいて、クラウドアプリケーションサーバとの間の通信接続を確立する上記ステップは、下記ステップを含むことができる。

上記クラウドアプリケーションサーバから送信された通信確立要求を受信する。

上記通信確立要求に基づき、上記物理機器がサポートした振動フィードバックタイプと振動フィードバックのプロトコルバージョンとを問い合わせる。

上記クラウドアプリケーションサーバに通信応答メッセージを送信し、上記通信応答メッセージには、上記振動フィードバックタイプと上記振動フィードバックのプロトコルバージョンとを含まれることにより、上記アプリケーションクライアントは、上記振動フィードバックタイプと上記振動フィードバックのプロトコルバージョンとに基づき、上記振動フィードバック情報を生成する。

具体的には、クラウドゲームを例とすると、クラウドゲームクライアントは、クラウドゲームサーバから送信された通信確立要求を受信する。通信確立要求には、通常、通信に必要な通信パラメータを含み、クラウドゲームクライアントは、通信確立要求に基づきクラウドゲームサーバと通信接続を確立する。通信確立要求には、特殊効果問い合わせ指令をさらに含み、クラウドゲームクライアントは、該問い合わせ指令に基づき、クラウドゲームクライアントに関連付けられた物理機器がサポートした振動フィードバックタイプと振動フィードバックのプロトコルバージョンとを問い合わせることとなる。振動フィードバックタイプは、主に物理機器が行うことができる振動種類、例えば振動の長さ、モード等を識別することに用いられる。プロトコルバージョンは、主に振動フィードバック操作を定義する時に用いる必要があるパラメータと通信フォーマット等を規定することに用いられる。

クラウドゲームクライアントは、クラウドゲームサーバに通信応答メッセージを送信し、通信応答メッセージは、振動フィードバックタイプと振動フィードバックのプロトコルバージョンとを含み、通信応答メッセージは、クラウドゲームサーバにクラウドゲームクライアントとの通信接続を確立させることに用いられる。具体的には、通信応答メッセージには、クラウドゲームクライアントの通信パラメータ、例えばインターネットアドレス等を搭載することができ、それにより、クラウドゲームサーバは、相応な通信接続を確立する。

本願の実施例において、具体的には、クラウドゲームクライアントとクラウドゲームサーバとの間に通信を確立するための具体的な方式を紹介しており、手段の実施可能性を向上させる。

本願の１つの実施例において、上記実施例に基づいて、クラウドアプリケーションクライアントに関連付けられた物理機器は、サードパーティ機器をさらに含み、上記振動フィードバック情報に基づき、クラウドアプリケーションクライアントに関連付けられた物理機器を制御して振動フィードバック操作を実行する上記ステップは、
振動フィードバック情報に基づき、サードパーティ機器に対する振動制御指令を生成するステップと、
サードパーティ機器に振動制御指令を送信することで、サードパーティ機器が振動フィードバック情報に基づき、振動フィードバック操作を実行するステップと、を含む。

サードパーティ機器とは、アプリケーション制御とクラウドアプリケーションコンテンツ表示とを行うことに用いられるもの以外の機器を指す。該サードパーティ機器は、材料ネットワーク機器であってもよく、且つクラウドアプリケーションクライアントが位置する端末機器とネットワークを通じて通信する。クラウドアプリケーションクライアントは、振動フィードバック情報に基づき、サードパーティ機器に対する振動制御指令を生成する。振動制御指令には、振動フィードバック情報に基づき生成された、振動を実行することに用いられるパラメータを含む。例えば、振動の開始時刻と終了時刻、表示方式と強度等の数値が含まれる。クラウドアプリケーションクライアントは、サードパーティ機器に振動制御指令を送信することで、サードパーティ機器が振動フィードバック情報に基づき、振動フィードバック操作を実行する。

クラウドゲームを例として説明し、ユーザーが携帯端末を利用して探検類ゲームをプレイし、且つキャラクターが比較的でこぼこした環境に入るように制御すると仮定すると、ゲームクライアントがクラウドゲームクライアントに送信した振動フィードバック情報には、シート揺れ制御に関する情報を含むことができ、クラウドゲームクライアントは、該振動フィードバック情報に基づき、シート揺れ制御に用いられる振動制御指令を生成し、且つ部屋内のスマートシートに送信し、スマートシートは受信された振動制御指令に基づき低く調整して揺れることにより、ユーザーにより高い没入感を与える。

本願の実施例において、クラウドゲームクライアントは、さらに、サードパーティ機器を制御して共同で振動フィードバックを行い、それにより振動の表示過程をより豊かにし、振動の表示効果を向上させる。

注意すべき点としては、図面においては特定の順序で本願における方法の各ステップを記述している。しかしながら、これは、所望の結果を実現するには該特定の順序に応じてこれらのステップを実行しなければならないこと、又は、示されたすべてのステップを実行しなければならないことを要求、又は、暗示しない。追加、又は、予備オプションとして、あるいくつかのステップを省略し、複数のステップを１つのステップに合併して実行し、及び／又は、１つのステップを複数のステップに分解して実行してもよい。

以下、本願の上記実施例におけるクラウドアプリケーションに基づく機器制御方法を実行することに用いることができる、本願の装置の実施例を紹介する。図８Ａは、本願の実施例におけるクラウドアプリケーションに基づく機器制御装置の構成ブロック図を模式的に示しており、上記実施例におけるサーバ上のアプリケーションクライアントに関連する処理を実行することに用いられる。図８Ａに示すように、機器制御装置８００は、
端末機器上のクラウドアプリケーションクライアントとの間の通信接続を確立することに用いられる通信確立モジュール８０１であって、上記クラウドアプリケーションクライアントは、受信されたクラウドアプリケーションビデオストリームを提示することに用いられる、通信確立モジュール８０１と、
上記クラウドアプリケーションクライアントと対応するクラウドアプリケーションに対してシーン認識を行って、シーン認識結果を得ることに用いられるシーン認識モジュール８０２であって、上記シーン認識結果は、認識されたクラウドアプリケーションシーンに関連付けられたメディアコンテンツを含む、シーン認識モジュール８０２と、
上記シーン認識結果に基づき、上記クラウドアプリケーションシーンと対応する振動フィードバック情報を生成することに用いられる振動フィードバック情報生成モジュール８０３と、
上記クラウドアプリケーションクライアントに上記クラウドアプリケーションシーンに対応するビデオストリームと上記振動フィードバック情報とを送信することに用いられる振動フィードバック情報送信モジュールであって、上記クラウドアプリケーションクライアントが上記クラウドアプリケーションシーンのビデオストリームを提示するときに、上記振動フィードバック情報に基づき、上記クラウドアプリケーションクライアントに関連付けられた物理機器を制御して振動フィードバック操作を実行する、振動フィードバック情報送信モジュール８０４と、を含む。

本願のいくつかの実施例において、以上の技術的解決手段に基づいて、通信確立モジュール８０１は、
上記クラウドアプリケーションクライアントに通信確立要求を送信することに用いられる通信確立要求送信ユニットと、
上記クラウドアプリケーションクライアントから返信された通信応答メッセージを受信し、上記通信応答メッセージに基づき、上記クラウドアプリケーションクライアントと通信接続を確立することに用いられる通信応答メッセージ受信ユニットと、を含み、
ここで、上記通信応答メッセージには、上記物理機器がサポートした振動フィードバックタイプと振動フィードバックのプロトコルバージョンとを含み、
シーン認識モジュール８０２は、上記シーン認識結果、及び上記振動フィードバックタイプと上記振動フィードバックのプロトコルバージョンに基づき、上記振動フィードバック情報を生成することに用いられる。

本願のいくつかの実施例において、以上の技術的解決手段に基づいて、シーン認識モジュール８０２は、
上記クラウドアプリケーションにおけるターゲット仮想キャラクターの現時刻におけるキャラクター属性値を取得することに用いられるキャラクター属性値取得ユニットと、
上記キャラクター属性値に基づき、上記クラウドアプリケーションシーンを認識して、上記シーン認識結果を得ることに用いられるシーン認識ユニットと、を含む。

本願のいくつかの実施例において、以上の技術的解決手段に基づいて、シーン認識モジュール８０２は、
予め設定した時間帯とシーン識別子との間のマッピング関係に基づき、ターゲット仮想キャラクターの現時刻におけるシーン識別子を取得することに用いられるシーン識別子取得ユニットであって、上記シーン識別子は、上記ターゲット仮想キャラクターが位置する周辺環境を表すことに用いられる、シーン識別子取得ユニットと、
予め設定したシーン識別子とシーンタイプとの間のマッピング関係、及び現時刻における上記シーン識別子に基づき、上記シーン認識結果を決定することに用いられるシーン認識結果決定ユニットと、を含む。

本願のいくつかの実施例において、以上の技術的解決手段に基づいて、キャラクター属性値取得ユニットは、
上記クラウドアプリケーションクライアントから送信された、上記ターゲット仮想キャラクターに対するキャラクター制御指令を受信することに用いられるキャラクター制御指令受信サブユニットと、
上記キャラクター制御指令に基づき、上記ターゲット仮想キャラクターに対して制御を行って、上記ターゲット仮想キャラクターの上記現時刻におけるキャラクター属性値を得ることに用いられる仮想キャラクター制御サブユニットと、を含み、
シーン認識ユニットは、
上記ターゲット仮想キャラクターの前の時刻におけるキャラクター属性値、及び上記現時刻におけるキャラクター属性値に基づき、属性値変化幅を決定することに用いられる属性値変化幅決定サブユニットと、
上記属性値変化幅に基づき、上記シーン認識結果を決定することに用いられる認識結果決定サブユニットと、を含む。

本願のいくつかの実施例において、以上の技術的解決手段に基づいて、上記振動フィードバック情報は、振動フィードバックタイプを含み、上記クラウドアプリケーションクライアントは、上記物理機器を制御して、上記振動フィードバックタイプで指示された振動フィードバック操作を実行する。

本願のいくつかの実施例において、以上の技術的解決手段に基づいて、上記振動フィードバック情報は、振動フィードバックの時間パラメータを含み、上記時間パラメータは、振動フィードバックを行う時間帯を指示することに用いられ、上記クラウドアプリケーションクライアントは、上記物理機器を制御して、上記時間パラメータで指示された時間帯内で、振動フィードバック操作を実行する。

本願のいくつかの実施例において、以上の技術的解決手段に基づいて、上記振動フィードバック情報には、振動フィードバックの実行頻度を含み、上記クラウドアプリケーションクライアントは、上記物理機器を制御して、上記振動フィードバックの実行頻度に応じて、上記振動フィードバック操作を実行する。

本願のいくつかの実施例において、以上の技術的解決手段に基づいて、上記振動フィードバック情報には、振動フィードバックの実行強度を含み、上記クラウドアプリケーションクライアントは、上記物理機器を制御して、上記振動フィードバックの実行強度に応じて、上記振動フィードバック操作を実行する。

本願のいくつかの実施例において、以上の技術的解決手段に基づいて、振動フィードバック情報送信モジュール８０４は、
クラウドアプリケーションサーバに上記クラウドアプリケーションシーンに対応するビデオストリームと上記振動フィードバック情報とを送信することで、上記クラウドアプリケーションサーバが振動プロトコルに基づき上記振動フィードバック情報をパッケージ化し、且つパッケージ化結果と上記ビデオストリームとを上記クラウドアプリケーションクライアントに送信することに用いられるサーバ通信ユニットを含む。

本願の実施例の他の態様に基づき、クラウドアプリケーションに基づく機器制御装置を提供する。図８Ｂは、本願の他の実施例におけるクラウドアプリケーションに基づく機器制御装置の構成ブロック図を模式的に示しており、該機器制御装置は、上記実施例におけるクラウドアプリケーションクライアントに関連する処理を実行することに用いられる。図８Ｂに示すように、機器制御装置８１０は、
クラウドアプリケーションサーバとの間の通信接続を確立することに用いられる通信接続確立モジュール８１１と、
上記クラウドアプリケーションサーバから送信されたクラウドアプリケーションシーンに対応するビデオストリームと振動フィードバック情報とを受信することに用いられる振動フィードバック情報受信モジュール８１２であって、上記振動フィードバック情報は、サーバ上のアプリケーションクライアントによって上記クラウドアプリケーションシーンに基づき生成されるものである、振動フィードバック情報受信モジュール８１２と、
上記クラウドアプリケーションシーンに対応するビデオストリームを再生することに用いられる再生モジュール８１３と、
上記振動フィードバック情報に基づき、クラウドアプリケーションクライアントに関連付けられた物理機器を制御して振動フィードバック操作を実行することに用いられる振動フィードバック実行モジュール８１４と、を含む。

本願のいくつかの実施例において、以上の技術的解決手段に基づいて、通信接続確立モジュール８１１は、
上記クラウドアプリケーションサーバから送信された通信確立要求を受信することに用いられる通信確立要求受信ユニットと、
上記通信確立要求に基づき、上記物理機器がサポートした振動フィードバックタイプと振動フィードバックのプロトコルバージョンとを問い合わせることに用いられる振動フィードバック問い合わせユニットと、
上記クラウドアプリケーションサーバに通信応答メッセージを送信することに用いられる通信応答メッセージ送信ユニットであって、上記通信応答メッセージには、上記振動フィードバックタイプと上記振動フィードバックのプロトコルバージョンとを含み、それにより上記アプリケーションクライアントが上記振動フィードバックタイプと上記振動フィードバックのプロトコルバージョンとに基づき、上記振動フィードバック情報を生成する、通信応答メッセージ送信ユニットと、を含む。

本願のいくつかの実施例において、以上の技術的解決手段に基づいて、上記クラウドアプリケーションクライアントに関連付けられた物理機器は、サードパーティ機器をさらに含み、上記振動フィードバック実行モジュールは、
上記振動フィードバック情報に基づき、上記サードパーティ機器に対する振動制御指令を生成する振動制御指令生成モジュールと、
上記サードパーティ機器に上記振動制御指令を送信することで、上記サードパーティ機器が上記振動フィードバック情報に基づき振動フィードバック操作を実行することに用いられる振動制御指令送信モジュールと、をさらに含む。

説明する必要がある点としては、上記実施例が提供した装置と上記実施例が提供した方法とは同一の思想に属するものであり、ここで、各モジュールが操作を実行するための具体的な方式は既に方法実施例において詳細に記述されているため、ここでは詳しい説明を省略する。

図９は、本願の実施例を実現することに用いることに適する電子機器の構造模式図を示す。

説明する必要がある点としては、図９に示された電子機器９００は単に１つの例であり、本願の実施例の機能、及び使用範囲に対していかなる制限をもたらすべきではない。

図９に示すように、電子機器９００は、中央処理ユニット（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）９０１を含み、それは読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）９０２において記憶されたプログラム、又は、記憶部分９０８からランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）９０３中にロードされたプログラムに基づき各種の適切なモーションと処理とを実行することができる。ＲＡＭ９０３においては、システム操作に必要な各種のプログラムとデータとがさらに記憶されている。ＣＰＵ９０１、ＲＯＭ９０２、及びＲＡＭ９０３はバス９０４を通じて互いに連結される。入力／出力（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ、Ｉ／Ｏ）インタフェース９０５もバス９０４に接続される。

以下の部材はＩ／Ｏインタフェース９０５に接続される。キーボード、マウス等を含む入力部分９０６、例えば、陰極線管（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ、ＣＲＴ）、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤ）等、及びスピーカ等を含む出力部分９０７、ハードディスク等を含む記憶部分９０８、及び、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ローカルエリアネットワーク）カード、モデム等のネットワークインタフェースカードを含む通信部分９０９。通信部分９０９は、例えばインターネットのネットワークを経由して通信処理を実行する。ドライバ９１０も必要に応じてＩ／Ｏインタフェース９０５に接続される。取り外し可能な媒体９１１、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等は、必要に基づきドライバ９１０にインストールされ、それにより、その上から読み出されたコンピュータプログラムが必要に応じて記憶部分９０８にインストールされる。

特に、本願の実施例に基づき、各方法のフローチャートにおいて記述された過程は、コンピュータソフトウェアプログラムとして実現することができる。例えば、本願の実施例は、一種のコンピュータプログラム製品を含み、それは、コンピュータ可読媒体に搭載されたコンピュータプログラムを含み、該コンピュータプログラムは、フローチャートに示された方法を実行することに用いられるプログラムコードを含む。このような実施例において、該コンピュータプログラムは、通信部分９０９を通じてネットワークからダウンロード及びインストールし、及び／又は、取り外し可能な媒体９１１からインストールすることができる。該コンピュータプログラムは、中央処理ユニット（ＣＰＵ）９０１に実行されるときに、本願のシステムにおいて限定された各種の機能を実行する。

説明する必要がある点としては、本願の実施例に示されたコンピュータ可読媒体は、コンピュータ可読信号媒体であってもよく、又は、コンピュータ可読記憶媒体であってもよく、又は、上記両者の任意の組み合わせであってもよい。コンピュータ可読記憶媒体は、例えば、電気、磁気、光、電磁、赤外線、又は、半導体のシステム、装置、又は、デバイス、又は、以上の任意の組み合わせであってもよいがそれらに制限されない。コンピュータ可読記憶媒体のより具体的な例は、１つ、又は、複数の導線を有する電気的接続、携帯型コンピュータ磁気ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＥＰＲＯＭ）、フラッシュメモリ、光ファイバー、携帯型コンパクト磁気ディスク読み取り専用メモリ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、又は、上記の任意の適切な組み合わせを含むことができるがそれらに制限されない。本願において、コンピュータ可読記憶媒体は、プログラムを含むか、又は、記憶するいかなる有形媒体であってもよく、該プログラムは指令実行システム、装置、又は、デバイスに使用されるか、又は、それらと結合して使用することができる。本願において、コンピュータ可読信号媒体は、ベースバンドにおいて、又は、搬送波の一部として伝播するデータ信号を含むことができ、その中にはコンピュータ可読プログラムコードが搭載される。このように伝播されるデータ信号は、複数の種類の形式を採用することができ、電磁信号、光信号、又は、上記の任意の適切な組み合わせを含むがそれらに制限されない。コンピュータ可読信号媒体は、さらに、コンピュータ可読記憶媒体以外のいかなるコンピュータ可読媒体であってもよく、該コンピュータ可読媒体は、指令実行システム、装置、又は、デバイスに使用されるか、又は、それらと結合して使用することに用いられるプログラムを送信、伝播、又は、伝送することができる。コンピュータ可読媒体に含まれたプログラムコードは、任意の適切な媒体で伝送することができ、無線、有線等、又は、上記の任意の適切な組み合わせを含むがそれらに制限されない。

図面におけるフローチャート、及びブロック図は、本願の各種の実施例に応じたシステム、方法、及びコンピュータプログラム製品の実現可能な体系アーキテクチャ、機能、及び操作を図示する。この点について、フローチャート、又は、ブロック図における各ブロックは、１つのモジュール、プログラムセグメント、又は、コードの一部を代表することができ、上記モジュール、プログラムセグメント、又は、コードの一部は、規定されたロジック機能を実現することに用いられる１つ、又は、複数の実行可能な指令を含む。さらに注意すべき点としては、いくつかの置換としての実現において、ブロックにおいてマークされた機能は図面においてマークされた順序と異なる順序で発生してもよい。例えば、連続的に表された２つのブロックは、実際には、基本的に並行して実行することができ、それらは反対の順序で実行することができる場合もあり、これは関連する機能により決められる。さらに注意する必要がある点としては、ブロック図、又は、フローチャートにおける各ブロック、及びブロック図、又は、フローチャートにおけるブロックの組み合わせは、規定された機能、又は、操作を実行する専用のハードウェアに基づくシステムで実現されてもよいか、又は、専用ハードウェアとコンピュータ指令との組み合わせで実現されてもよい。

注意すべき点としては、上記の詳細な記述において、モーション実行に用いられる機器の若干のモジュール、又は、ユニットが言及されているが、このような区分は、必須ではない。実際には、本願の実施形態に基づき、以上に記述された２つ、又は、より多くのモジュール、又は、ユニットの特徴、及び機能は１つのモジュール、又は、ユニットにおいて具体化することができる。逆に、以上に記述された１つのモジュール、又は、ユニットの特徴、及び機能は、複数のモジュール、又は、ユニットにより具体化されるようにさらに区分することができる。

以上の実施形態の記述を通じて、当業者が理解しやすいように、ここで記述された例示的な実施形態は、ソフトウェアを通じて実現されてもよく、ソフトウェアが必要なハードウェアと結合する方式を通じて実現されてもよい。従って、本願の実施形態による技術的解決手段は、ソフトウェア製品の形式で具現化することができ、該ソフトウェア製品は、１つの不揮発性記憶媒体（ＣＤ－ＲＯＭ、Ｕディスク、モバイルディスク等であってもよい）、又は、ネットワークに記憶することができ、若干の指令を含み、それにより１台の計算機器（パーソナルコンピュータ、サーバ、タッチ端末、又は、ネットワーク装置等であってもよい）が、本願の実施形態に従う方法を実行する。

当業者は、明細書を考慮し、且つここで開示されている発明を実践した後に、本願のその他の実施手段を容易に想到できることになる。本願は、本願のいかなる変形、用途、又は、適応的変化をもカバーすることを目的としており、これらの変形、用途、又は、適応的変化は本願の一般的原理に従うものであり、且つ本願に開示されていない本技術分野における公知の常識、又は、慣用する技術的手段を含む。

理解すべき点としては、本願は、上記において既に記述され、且つ図面において示された正確な構造に制限されず、且つその範囲から逸脱せずに、各種の改定及び変更を行うことができる。本願の範囲は、添付した特許請求の範囲のみにより制限される。

１０１ クラウド側サーバ
２１０ アプリケーションクライアント
２１１ 端末認識モジュール
２１２ 振動フィードバック制御モジュール
２１３ 端末制御モジュール
２２０ クラウドアプリケーションサーバ
２２１ 端末通信モジュール
２２２ 振動プロトコルパッケージ化モジュール
２３０ クラウドアプリケーションクライアント
２３１ 通信モジュール
２３２ 振動フィードバック解析モジュール
２３３ ハードウェア制御モジュール
３１０ アプリケーションクライアント
３２０ クラウドアプリケーションサーバ
３２１ トランスペアレント伝送端末
３３０ クラウドアプリケーションクライアント
８００ 機器制御装置
８０１ 通信確立モジュール
８０２ シーン認識モジュール
８０３ 振動フィードバック情報生成モジュール
８０４ 振動フィードバック情報送信モジュール
８１０ 機器制御装置
８１１ 通信接続確立モジュール
８１２ 振動フィードバック情報受信モジュール
８１３ 再生モジュール
８１４ 振動フィードバック実行モジュール
９００ 電子機器
９０１ 中央処理ユニット
９０３ ランダムアクセスメモリ
９０４ バス
９０５ Ｉ／Ｏインタフェース
９０６ 入力部分
９０７ 出力部分
９０８ 記憶部分
９０９ 通信部分
９１０ ドライバ
９１１ 媒体

Claims (20)

1. 電子機器により実行される、クラウドアプリケーションに基づく機器制御方法であって、
   端末機器上のクラウドアプリケーションクライアントとの間の通信接続を確立するステップであって、前記クラウドアプリケーションクライアントは、受信されたクラウドアプリケーションビデオストリームを提示することに用いられる、ステップと、
   前記クラウドアプリケーションクライアントと対応するクラウドアプリケーションに対してシーン認識を行って、シーン認識結果を得るステップであって、前記シーン認識結果は、認識されたクラウドアプリケーションシーンに関連付けられたメディアコンテンツを含む、ステップと、
   前記シーン認識結果に基づき、前記クラウドアプリケーションシーンと対応する振動フィードバック情報を生成するステップと、
   前記クラウドアプリケーションクライアントに前記クラウドアプリケーションシーンに対応するビデオストリームと前記振動フィードバック情報とを送信するステップであって、前記クラウドアプリケーションクライアントが前記クラウドアプリケーションシーンのビデオストリームを提示するときに、前記振動フィードバック情報に基づき、前記クラウドアプリケーションクライアントに関連付けられた物理機器を制御して振動フィードバック操作を実行する、ステップと、を含む、クラウドアプリケーションに基づく機器制御方法。
2. 端末機器上のクラウドアプリケーションクライアントとの間の通信接続を確立する前記ステップは、
   前記クラウドアプリケーションクライアントに通信確立要求を送信するステップと、
   前記クラウドアプリケーションクライアントから返信された通信応答メッセージを受信するステップと、
   前記通信応答メッセージに基づき、前記クラウドアプリケーションクライアントと通信接続を確立するステップと、を含み、
   前記通信応答メッセージには、前記物理機器がサポートした振動フィードバックタイプと振動フィードバックのプロトコルバージョンとを含み、
   前記シーン認識結果に基づき、前記クラウドアプリケーションシーンと対応する振動フィードバック情報を生成する前記ステップは、
   前記シーン認識結果、及び前記振動フィードバックタイプと前記振動フィードバックのプロトコルバージョンに基づき、前記振動フィードバック情報を生成するステップを含む請求項１に記載の方法。
3. 前記クラウドアプリケーションクライアントと対応するクラウドアプリケーションに対してシーン認識を行って、シーン認識結果を得る前記ステップは、
   前記クラウドアプリケーションにおけるターゲット仮想キャラクターの現時刻におけるキャラクター属性値を取得するステップと、
   前記キャラクター属性値に基づき、前記クラウドアプリケーションシーンを認識して、前記シーン認識結果を得るステップと、を含む請求項１に記載の方法。
4. 前記クラウドアプリケーションクライアントと対応するクラウドアプリケーションに対してシーン認識を行って、シーン認識結果を得る前記ステップは、
   予め設定した時間帯とシーン識別子との間のマッピング関係に基づき、ターゲット仮想キャラクターの現時刻におけるシーン識別子を取得するステップであって、前記シーン識別子は、前記ターゲット仮想キャラクターが位置する周辺環境を表すことに用いられる、ステップと、
   予め設定したシーン識別子とシーンタイプとの間のマッピング関係、及び現時刻における前記シーン識別子に基づき、前記シーン認識結果を決定するステップと、を含む、請求項１に記載の方法。
5. 前記クラウドアプリケーションにおけるターゲット仮想キャラクターの現時刻におけるキャラクター属性値を取得する前記ステップは、
   前記クラウドアプリケーションクライアントから送信された、前記ターゲット仮想キャラクターに対するキャラクター制御指令を受信するステップと、
   前記キャラクター制御指令に基づき、前記ターゲット仮想キャラクターに対して制御を行って、前記ターゲット仮想キャラクターの前記現時刻におけるキャラクター属性値を得るステップと、を含み、
   前記キャラクター属性値に基づき、前記クラウドアプリケーションシーンを認識して、前記シーン認識結果を得る前記ステップは、
   前記ターゲット仮想キャラクターの前の時刻におけるキャラクター属性値、及び前記現時刻におけるキャラクター属性値に基づき、属性値変化幅を決定するステップと、
   前記属性値変化幅に基づき、前記シーン認識結果を決定するステップと、を含む、請求項３に記載の方法。
6. 前記振動フィードバック情報は、振動フィードバックタイプを含み、前記クラウドアプリケーションクライアントは、前記物理機器を制御して、前記振動フィードバックタイプで指示された振動フィードバック操作を実行する、請求項１に記載の方法。
7. 前記振動フィードバック情報は、振動フィードバックの時間パラメータを含み、前記時間パラメータは、振動フィードバックを行う時間帯を指示することに用いられ、前記クラウドアプリケーションクライアントは、前記物理機器を制御して、前記時間パラメータで指示された時間帯内で、振動フィードバック操作を実行する、請求項１に記載の方法。
8. 前記振動フィードバック情報には、振動フィードバックの実行頻度を含み、前記クラウドアプリケーションクライアントは、前記物理機器を制御して、前記振動フィードバックの実行頻度に応じて、前記振動フィードバック操作を実行する、請求項１に記載の方法。
9. 前記振動フィードバック情報には、振動フィードバックの実行強度を含み、前記クラウドアプリケーションクライアントは、前記物理機器を制御して、前記振動フィードバックの実行強度に応じて、前記振動フィードバック操作を実行する、請求項１に記載の方法。
10. 前記クラウドアプリケーションクライアントに前記クラウドアプリケーションシーンに対応するビデオストリームと前記振動フィードバック情報とを送信する前記ステップは、
    クラウドアプリケーションサーバに前記クラウドアプリケーションシーンに対応するビデオストリームと前記振動フィードバック情報とを送信することで、前記クラウドアプリケーションサーバが振動プロトコルに基づき前記振動フィードバック情報をパッケージ化し、且つパッケージ化結果と前記ビデオストリームとを前記クラウドアプリケーションクライアントに送信すること、を含む、請求項１～９のいずれか一項に記載の方法。
11. 電子機器により実行される、クラウドアプリケーションに基づく機器制御方法であって、前記方法は、
    クラウドアプリケーションサーバとの間の通信接続を確立するステップと、
    前記クラウドアプリケーションサーバから送信されたクラウドアプリケーションシーンに対応するビデオストリームと振動フィードバック情報とを受信するステップであって、前記振動フィードバック情報は、サーバ上のアプリケーションクライアントによって前記クラウドアプリケーションシーンに基づき生成されるものである、ステップと、
    前記クラウドアプリケーションシーンに対応するビデオストリームを再生し、且つ前記振動フィードバック情報に基づき、クラウドアプリケーションクライアントに関連付けられた物理機器を制御して振動フィードバック操作を実行するステップと、を含む、クラウドアプリケーションに基づく機器制御方法。
12. クラウドアプリケーションサーバとの間の通信接続を確立する前記ステップは、
    前記クラウドアプリケーションサーバから送信された通信確立要求を受信するステップと、
    前記通信確立要求に基づき、前記物理機器がサポートした振動フィードバックタイプと振動フィードバックのプロトコルバージョンとを問い合わせるステップと、
    前記クラウドアプリケーションサーバに通信応答メッセージを送信するステップであって、前記通信応答メッセージには、前記振動フィードバックタイプと前記振動フィードバックのプロトコルバージョンとを含み、それにより前記アプリケーションクライアントが前記振動フィードバックタイプと前記振動フィードバックのプロトコルバージョンとに基づき、前記振動フィードバック情報を生成する、ステップと、を含む、請求項１１に記載の方法。
13. 前記物理機器は、サードパーティ機器を含み、
    前記振動フィードバック情報に基づき、クラウドアプリケーションクライアントに関連付けられた物理機器を制御して振動フィードバック操作を実行する前記ステップは、
    前記振動フィードバック情報に基づき、前記サードパーティ機器に対する振動制御指令を生成するステップと、
    前記サードパーティ機器に前記振動制御指令を送信することで、前記サードパーティ機器が前記振動フィードバック情報に基づき、振動フィードバック操作を実行するステップと、を含む、請求項１２に記載の方法。
14. クラウドアプリケーションに基づく機器制御装置であって、
    端末機器上のクラウドアプリケーションクライアントとの間の通信接続を確立することに用いられる通信確立モジュールであって、前記クラウドアプリケーションクライアントは、受信されたクラウドアプリケーションビデオストリームを提示することに用いられる、通信確立モジュールと、
    前記クラウドアプリケーションクライアントと対応するクラウドアプリケーションに対してシーン認識を行って、シーン認識結果を得ることに用いられるシーン認識モジュールであって、前記シーン認識結果は、認識されたクラウドアプリケーションシーンに関連付けられたメディアコンテンツを含む、シーン認識モジュールと、
    前記シーン認識結果に基づき、前記クラウドアプリケーションシーンと対応する振動フィードバック情報を生成することに用いられる振動フィードバック情報生成モジュールと、
    前記クラウドアプリケーションクライアントに前記クラウドアプリケーションシーンに対応するビデオストリームと前記振動フィードバック情報とを送信することに用いられる振動フィードバック情報送信モジュールであって、前記クラウドアプリケーションクライアントが前記クラウドアプリケーションシーンのビデオストリームを提示するときに、前記振動フィードバック情報に基づき、前記クラウドアプリケーションクライアントに関連付けられた物理機器を制御して振動フィードバック操作を実行する、振動フィードバック情報送信モジュールと、を含む、クラウドアプリケーションに基づく機器制御装置。
15. 前記通信確立モジュールは、
    前記クラウドアプリケーションクライアントに通信確立要求を送信することに用いられる通信確立要求送信ユニットと、
    前記クラウドアプリケーションクライアントから返信された通信応答メッセージを受信し、前記通信応答メッセージに基づき、前記クラウドアプリケーションクライアントと通信接続を確立することに用いられる通信応答メッセージ受信ユニットと、を含み、
    前記通信応答メッセージには、前記物理機器がサポートした振動フィードバックタイプと振動フィードバックのプロトコルバージョンとを含み、
    前記シーン認識モジュールは、前記シーン認識結果、及び前記振動フィードバックタイプと前記振動フィードバックのプロトコルバージョンに基づき、前記振動フィードバック情報を生成することに用いられる、請求項１４に記載の装置。
16. 前記振動フィードバック情報送信モジュールは、クラウドアプリケーションサーバに前記クラウドアプリケーションシーンに対応するビデオストリームと前記振動フィードバック情報とを送信することで、前記クラウドアプリケーションサーバが振動プロトコルに基づき前記振動フィードバック情報をパッケージ化し、且つパッケージ化結果と前記ビデオストリームとを前記クラウドアプリケーションクライアントに送信することに用いられる、請求項１４、又は、１５に記載の装置。
17. クラウドアプリケーションに基づく機器制御装置であって、
    クラウドアプリケーションサーバとの間の通信接続を確立することに用いられる通信接続確立モジュールと、
    前記クラウドアプリケーションサーバから送信されたクラウドアプリケーションシーンに対応するビデオストリームと振動フィードバック情報とを受信することに用いられる振動フィードバック情報受信モジュールであって、前記振動フィードバック情報は、サーバ上のアプリケーションクライアントによって前記クラウドアプリケーションシーンに基づき生成されるものである、振動フィードバック情報受信モジュールと、
    前記クラウドアプリケーションシーンに対応するビデオストリームを再生することに用いられる再生モジュールと、
    前記振動フィードバック情報に基づき、クラウドアプリケーションクライアントに関連付けられた物理機器を制御して振動フィードバック操作を実行することに用いられる振動フィードバック実行モジュールと、を含む、クラウドアプリケーションに基づく機器制御装置。
18. 前記物理機器は、サードパーティ機器を含み、前記振動フィードバック実行モジュールは、前記振動フィードバック情報に基づき、前記サードパーティ機器に対する振動制御指令を生成し、前記サードパーティ機器に前記振動制御指令を送信することで、前記サードパーティ機器が前記振動フィードバック情報に基づき、振動フィードバック操作を実行することに用いられる、請求項１７に記載の装置。
19. 電子機器であって、
    プロセッサと、
    前記プロセッサの実行可能な指令を記憶することに用いられるメモリと、を含み、
    前記プロセッサは、前記実行可能な指令の実行を経由して請求項１～１３のいずれか一項に記載のクラウドアプリケーションに基づく機器制御方法を実行するように構成される、電子機器。
20. コンピュータ可読媒体であって、コンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサに実行されるときに、請求項１～１３のいずれか一項に記載のクラウドアプリケーションに基づく機器制御方法を実現する、コンピュータ可読媒体。

Images