WO2023001086A1 - 基于云应用的设备控制方法、装置、电子设备和可读介质 - Google Patents

基于云应用的设备控制方法、装置、电子设备和可读介质 Download PDF

Info

Publication number
WO2023001086A1
WO2023001086A1 PCT/CN2022/106151 CN2022106151W WO2023001086A1 WO 2023001086 A1 WO2023001086 A1 WO 2023001086A1 CN 2022106151 W CN2022106151 W CN 2022106151W WO 2023001086 A1 WO2023001086 A1 WO 2023001086A1
Authority
WO
WIPO (PCT)
Prior art keywords
cloud application
vibration feedback
scene
vibration
cloud
Prior art date
Application number
PCT/CN2022/106151
Other languages
English (en)
French (fr)
Inventor
徐士立
Original Assignee
腾讯科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 腾讯科技（深圳）有限公司 filed Critical 腾讯科技（深圳）有限公司
Priority to KR1020237033698A priority Critical patent/KR20230150392A/ko
Priority to JP2023561072A priority patent/JP2024514800A/ja
Publication of WO2023001086A1 publication Critical patent/WO2023001086A1/zh
Priority to US18/239,665 priority patent/US20230398443A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/358—Adapting the game course according to the network or server load, e.g. for reducing latency due to different connection speeds between clients
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an MPEG-stream for transmitting to a mobile phone or a thin client
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供一种基于云应用的设备控制方法、装置、电子设备和可读介质。该方法包括：建立与终端设备上的云应用客户端之间的通信连接，所述云应用客户端用于呈现所接收到的云应用视频流；对所述云应用客户端所对应的云应用进行场景识别，得到场景识别结果，所述场景识别结果包括与识别到的云应用场景相关联的媒体内容；根据所述场景识别结果，生成与所述云应用场景所对应的振动反馈信息；及，向所述云应用客户端发送所述云应用场景对应的视频流以及所述振动反馈信息，以使所述云应用客户端在呈现所述云应用场景的视频流时，根据所述振动反馈信息，控制与所述云应用客户端相关联的物理设备执行振动反馈操作。

Description

基于云应用的设备控制方法、装置、电子设备和可读介质
本申请要求于2021年7月21日提交中国专利局、申请号为202110827404.8、申请名称为“基于云游戏的设备控制方法、装置、电子设备和可读介质”的中国专利申请的优先权。
技术领域
本申请涉及计算机技术领域，尤其涉及一种基于云应用的设备控制方法、装置、电子设备和可读介质。
发明背景
随着互联网技术的迅速发展，人们对娱乐形式的要求越来越高。游戏就是其中重要的娱乐形式，特别是对于当下热门的云游戏，不需要用户拥有高配置的硬件就可以为用户提供优秀的娱乐体验。
对于这种类型的云应用，由于云应用的运行过程发生在服务器上，服务器上的应用客户端需要将应用的画面和场景渲染成视频发送给用户终端，在用户终端上播放来向展示界面内容。
但是，由于云应用运行在服务器上，终端设备上仅能接收到渲染后的音视频流，所能提供的互动方式有限，难以提供丰富、沉浸的体验，影响了云应用与用户之间的互动效果。
发明内容
基于上述技术问题，本申请提供一种基于云应用的设备控制方法、装置、电子设备和可读介质，以能够在云应用的场景下，由服务器触发与应用内容相符合的振动反馈，从而提升振动反馈的准确性，从而提升用户体验。
本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
根据本申请实施例的一个方面，提供一种基于云应用的设备控制方法，由电子设备执行，包括：
建立与终端设备上的云应用客户端之间的通信连接，所述云应用客户端用于呈现所接收到的云应用视频流；
对所述云应用客户端所对应的云应用进行场景识别，得到场景识别结果，所述场景识别结果包括与识别到的云应用场景相关联的媒体内容；
根据所述场景识别结果，生成与所述云应用场景所对应的振动反馈信息；及，
向所述云应用客户端发送所述云应用场景对应的视频流以及所述振动反馈信息，以使所述云应用客户端在呈现所述云应用场景的视频流时，根据所述振动反馈信息，控制与所述云应用客户端相关联的物理设备执行振动反馈操作。
根据本申请实施例的另一个方面，提供一种基于云应用的设备控制装置，包括：
通信建立模块，用于建立与终端设备上的云应用客户端之间的通信连接，所述云应用客户端用于呈现所接收到的云应用视频流；
场景识别模块，用于对所述云应用客户端所对应的云应用进行场景识别，得到场景识别结果，所述场景识别结果包括与识别到的云应用场景相关联的媒体内容；
振动反馈信息生成模块，用于根据所述场景识别结果，生成与所述云应用场景所对应 的振动反馈信息；及，
振动反馈信息发送模块，用于向所述云应用客户端发送所述云应用场景对应的视频流以及所述振动反馈信息，以使所述云应用客户端在呈现所述云应用场景的视频流时，根据所述振动反馈信息，控制与所述云应用客户端相关联的物理设备执行振动反馈操作。
根据本申请实施例的另一个方面，提供一种基于云应用的设备控制方法，由电子设备执行，所述方法包括：
建立与云应用服务器之间的通信连接；
接收所述云应用服务器发送的云应用场景对应的视频流和振动反馈信息，所述振动反馈信息是由服务器上的应用客户端根据所述云应用场景生成的；及，
播放所述云应用场景对应的视频流，并根据所述振动反馈信息，控制与云应用客户端相关联的物理设备执行振动反馈操作。
根据本申请实施例的另一个方面，提供一种基于云应用的设备控制装置，包括：
通信连接建立模块，用于建立与云应用服务器之间的通信连接；
振动反馈信息接收模块，用于接收所述云应用服务器发送的云应用场景对应的视频流和振动反馈信息，所述振动反馈信息是由服务器上的应用客户端根据所述云应用场景生成的；
播放模块，用于播放所述云应用场景对应的视频流；及，
振动反馈执行模块，用于根据所述振动反馈信息，控制与云应用客户端相关联的物理设备执行振动反馈操作。
根据本申请实施例的一个方面，提供一种电子设备，该电子设备包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，该处理器配置为经由执行可执行指令来执行如以上技术方案中的基于云应用的设备控制方法。
根据本申请实施例的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，当该计算机程序被处理器执行时，实现如以上技术方案中的基于云应用的设备控制方法。
根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供基于云应用的设备控制方法。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图简要说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本申请实施例中的一种基于云应用的设备控制系统的示例网络架构图；
图2为本申请实施例中的一种云应用设备控制框架的示意图；
图3为本申请中振动特效设计流程的示意图；
图4为本申请实施例提供的一种基于云应用的设备控制方法的流程图；
图5为本申请实施例中触发振动反馈的过程；
图6为本申请实施例中与云应用客户端建立通信连接的过程；
图7为本申请另一实施例提供的基于云应用的设备控制方法的流程图；
图8A示意性地示出了本申请实施例中基于云应用的设备控制装置的组成框图；
图8B示意性地示出了本申请另一实施例中基于云应用的设备控制装置的组成框图；
图9示出了适于用来实现本申请实施例的电子设备的结构示意图。
实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
本申请各实施例应用于云应用的应用场景。所谓的“云应用”，是指云计算技术在应用层的体现。“云应用”的工作原理是把传统应用程序(或软件)“本地安装、本地运算”的使用方式，变为“即取即用”的服务，通过互联网或局域网连接并操控远程服务器集群，完成业务逻辑或运算任务。
“云应用”的主要载体为互联网技术，云应用客户端是以瘦客户端(Thin Client)或智能客户端(Smart Client)为展现形式，其界面是HTML5、Javascript或Flash等技术的集成。云应用不但可以帮助用户降低IT成本，更能大大提高工作效率。
具体地，基于云应用的设备控制系统可以运行于如图1所示的网络架构中。如图1所示，基于云应用的设备控制系统包括云端服务器101以及多种类型的终端设备102-106，云端服务器101可以提供各类终端设备102-106的云应用的控制过程，即根据用户在终端设备102-106侧的控制操作向云端服务器101发送的操作指令，云端服务器101针对操作指令进行云应用实例的控制、场景识别、操作结果计算以及音视频渲染等处理，向终端设备102-106返回操作指令对应的信息，例如画面、音乐等。
可以理解的是，图1中示出了多种终端设备102-106，终端设备可以为计算机设备，在实际场景中可以有更多或更少种类的终端设备参与到云应用的控制的过程中，具体数量和种类因实际场景而定，此处不做限定。
另外，图1中示出了一个云端服务器101，但在实际场景中，也可以有多个云端服务器的参与，特别是在多个不同的云游戏实例运行的场景中，具体云端服务器数量因实际场景而定。
云端服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云端服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及云端服务器可以通过有线或无线通信方式进行直接或间接地连接，终端以及云端服务器可以连接组成区块链网络，本申请在此不做限制。
在各类具体的云应用中，云游戏(Cloud gaming)是一种以云计算技术为基础的在线游戏技术，也可称为游戏点播(gaming on demand)。云游戏技术使图形处理与数据运算能力相对有限的轻端设备(如瘦客户端thin client)能运行高品质游戏。
应理解，本申请的技术方案可以应用于云游戏场景，例如云游戏平台等，包括云端服务器和游戏终端设备，其中，云端服务器中包含云游戏的控制功能的设备系统或程序，游戏终端用于在用户游戏的过程中控制用户的各种操作。
在云游戏场景下，游戏并不在玩家的游戏终端设备运行，而是在云端服务器中运行，并由云端服务器将游戏场景渲染为音视频流，通过网络传输给玩家的游戏终端设备。玩家的游戏终端设备无需拥有强大的图形运算与数据处理能力，仅需拥有基本的流媒体播放能力，以及获取玩家输入指令并发送给云端服务器的能力即可。
根据本申请实施例中，当云应用为云游戏时，基于云游戏的设备控制方法可以运行于个人移动终端，也可以运行于云端服务器，还可以运行于第三方设备以提供云游戏的控制。具体的云游戏的设备控制系统可以是以程序的形式在上述设备中运行，也可以作为上述设备中的系统部件进行运行，还可以作为云端服务程序的一种，具体运作模式因实际场景而定，此处不做限定。
本申请提出一种基于云应用的设备控制方法，该方法可以应用于图2所示的云应用设备控制框架中。图2为本申请实施例中的一种云应用设备控制框架的示意图，包括服务器上的应用客户端210、云应用服务器220和终端设备上的云应用客户端230。
其中，应用客户端210通过终端识别模块211，向云应用服务器220下发指令，指令最终到达云应用客户端230，以便查询云应用客户端230当前所在的终端设备(如智能终端)或者与云应用客户端230相关联的物理设备，是否支持振动反馈，以及支持的振动反馈的格式内容。
终端控制模块213根据终端识别模块211提供的信息，与云应用客户端230建立通信，该通信通过云应用服务器220中转，以通过建立的通信下发振动反馈信息。
应用客户端210的振动反馈控制模块212，根据应用场景的不同，触发相应的振动反馈，获取振动反馈信息的实际文件，并通过终端控制模块213，将该文件下发到云应用服务器220，由云应用服务器220中转，最终下发到云应用客户端230。
云应用服务器220通过终端通信模块221与云应用客户端230建立链接，从云应用客户端230获取振动反馈的支持信息，以及向云应用客户端230下发振动反馈的控制协议。振动协议打包模块222用于接收应用客户端210下发的振动反馈信息，并根据定义好的协议，将该振动反馈信息打包，并通过终端通信模块221传送到云应用客户端230。
云应用客户端230通过通信模块231，根据云应用服务器220的请求，与其建立通信连接，并且接收云应用服务器220下发的硬件查询指令和振动反馈指令等信息。振动反馈解析模块232用于在接收到通信模块231的振动反馈指令后，根据定义好的协议进 行解析，并调用硬件控制模块233。硬件控制模块233用于接收振动反馈解析模块232的指令，调用终端设备的对应接口进行实际的硬件驱动，以实现振动反馈。
具体地，当云应用为云游戏时，应用客户端210指游戏客户端，云应用服务器220指云游戏服务器，云应用客户端230指云游戏客户端。
为了结合应用场景触发振动反馈，特效设计通常需要根据应用场景展示专属的效果。具体地，为了便于介绍，请参阅图3，图3为本申请实施例中振动特效设计流程的示意图，包括了服务器上的应用客户端310、云应用服务器320和终端设备上的云应用客户端330之间的交互。
其中，效果设计311是指，服务器或者服务器上的应用客户端310为特定的场景，设计专属的振动反馈效果。
场景识别312是指，在应用(如游戏)运行过程中，服务器或者应用客户端310识别出相应的场景，并匹配出相关的特效描述文件。比如在射击类游戏中，用户使用不同的枪械可以触发不同的振动反馈；用户的虚拟角色被击中，根据掉血量不同，触发不同强度的振动，让用户通过振动就可以直接感知到掉血量；用户在遭遇到敌人时，触发高频短促的振动，提示用户危险来临。
振动触发313是指，服务器上的应用客户端310下发振动请求，以请求调用物理设备的振动触发接口。但是，因为云应用是在云应用服务器320渲染，此请求无法直接送达物理设备，因此需要经由云应用服务器320进行中转。
透传终端321是指，云应用服务器320收到应用客户端310下发的振动请求后，通过通讯连接透传到云应用客户端330。
系统触发331是指，云应用客户端330收到云应用服务器320透传的振动请求后，调用物理设备的接口来触发终端设备上硬件的振动。
可以理解的是，本申请所提供的方法可作为一种程序写入，作为硬件系统中的一种处理逻辑，也可以作为一种云应用的控制装置，采用集成或外接的方式实现上述处理逻辑。
结合上述流程架构，下面将对本申请中基于云应用的设备控制方法进行介绍，请参阅图4，图4为本申请实施例提供的一种基于云应用的设备控制方法的流程图，由电子设备执行，例如，由图2中服务器上的应用客户端210来执行，包括以下步骤：
步骤S301，建立与终端设备上的云应用客户端之间的通信连接，云应用客户端用于呈现所接收到的云应用视频流。
在本实施例中，服务器上的应用客户端与终端设备上的云应用客户端，建立通信连接。应用客户端为运行在服务器上的具体应用程序，而云应用客户端为终端设备上用于呈现所接收到的云应用视频流的应用。
具体地，当应用客户端为游戏客户端时，云应用客户端为云游戏客户端。例如，以赛车游戏为例，云游戏客户端具体可以是手机上浏览器、播放器或者专用的客户端，主要用于播放服务器提供的游戏画面，而游戏客户端则是在服务器上运行的赛车游戏的实际应用程序。
本实施例中的通信连接主要用于传输振动反馈相关的信息，该通信连接可以是专用的通信信道，也可以同时用于应用客户端与云应用客户端之间的视频流通信以及控制信息通信。
步骤S302，对云应用客户端所对应的云应用进行场景识别，得到场景识别结果，场 景识别结果包括与识别到的云应用场景相关联的媒体内容。
在本实施例中，云应用实际上由服务器上的应用客户端运行。应用客户端会根据云应用的执行情况以及用户的操作，对云应用所处的场景进行识别。例如，游戏场景通常包括游戏进度、游戏画面、游戏数据等内容，游戏在进行过程中的各种数据的变化均有可能导致游戏场景的变化，例如，游戏中虚拟角色所处的环境变化、生命值等属性发生变化、虚拟角色遭遇各种事件或者与环境互动等。
应用客户端可以根据云应用的数据内容和数据变化来识别到具体的云应用场景，从而得到场景识别结果。场景识别结果包括与识别到的云应用场景相关联的媒体内容，用于指示云应用在接下来的一段时间段内虚拟角色的表现。例如，在云游戏中，虚拟角色从高处掉落，则场景识别结果可以指示，在接下来的一个时间段中，虚拟角色掉落在地面上、以及由于高处掉落受到的伤害。
步骤S303，根据场景识别结果，生成与云应用场景所对应的振动反馈信息。
具体地，场景识别结果中所标识出的云应用场景，可以确定在接下来的一个时间段云应用中将会发生的变化或者事件，从而可以确定在该云应用场景中需要触发的振动反馈，进而生成与识别到的云应用场景所对应的振动反馈信息。振动反馈信息包括所需要进行的振动反馈的种类以及执行振动反馈的参数，例如执行时间等。
取决于与云应用客户端相关联的物理设备支持的振动反馈的种类，振动反馈信息中可以包括一种或多种振动反馈对应的参数。
取决于云应用场景的具体内容，振动反馈信息中可以包括进行多次振动反馈所需要的参数。例如，若云游戏场景中，目标角色在下落期间会与障碍物发生三次碰撞，而每次碰撞均需要进行振动反馈，则振动反馈信息中将会包括对应于三次碰撞的三组振动的振动反馈参数。
步骤S304，向云应用客户端发送云应用场景对应的视频流以及振动反馈信息，以使云应用客户端在呈现云应用场景的视频流时，根据振动反馈信息，控制与云应用客户端相关联的物理设备执行振动反馈操作。
具体地，为了便于介绍，请参阅图5，图5为本申请实施例中触发振动反馈的过程，包括如下步骤：
步骤501，应用客户端通过云应用服务器向云应用客户端发送云应用场景对应的视频流以及振动反馈信息。
其中，云应用场景的视频流是根据云应用场景中将会展现的应用画面渲染出的视频流。
步骤502，云应用客户端在接收到视频流后，向用户播放该视频流。
本步骤中，云应用客户端向用户展示视频内容，例如用户操作所发生的结果。
步骤503，在播放视频流时，云应用客户端还会根据接收到的振动反馈信息，控制相关联的物理设备执行振动反馈操作。
其中，与云应用客户端相关联的物理设备可以是云应用客户端所处的智能终端。
例如，云应用为竞速类游戏，云应用客户端所处的智能终端为手机。在该竞速类游戏中，用户在手机上操控所驾驶的车辆向对手冲撞，则服务器上的游戏客户端所发送的云游戏场景的视频流中会展现车辆撞击对手的画面，而在视频流播放到车辆撞击到对手时，云游戏客户端还会控制手机进行1秒钟的振动，从而展现撞击的冲击力，提升用户的体验和沉浸感。
可见，通过振动反馈操作，配合所呈现的云应用场景的视频流，能够达到更加立体的 游戏体验。
步骤504，物理设备完成振动反馈后，向云应用客户端返回振动的执行结果。
步骤505，云应用客户端生成包括该振动的执行结果的振动反馈响应消息，并将振动反馈响应消息通过云应用服务器发送给应用客户端。
在本申请的实施例中，通过场景识别得到场景识别结果，生成云应用场景对应的振动反馈信息，并且通过与云应用客户端之间的通信连接，向云应用客户端发送振动反馈信息，以控制相关联的物理设备进行振动反馈操作。通过上述的方式，能够获得如下好处：
1)在云应用的场景下，通过打通云应用的全链路，实时下发振动的驱动信号，其延时和云应用的视频流保持一致，从而让用户体验到零延时的振动，提升了振动反馈的精准性，从而提升用户体验。
2)基于对场景的识别，设计相应的振动反馈信息，可以更加贴合用户的实际操作，对用户的操作和体验形成助力，使得用户更加沉浸于应用内容(例如游戏内容)本身，同时还能够最大化地发挥物理设备的硬件优势。
在本申请一个实施例中，上述步骤S301，建立与终端设备上的云应用客户端之间的通信连接，可以包括如下步骤：
向所述云应用客户端发送通信建立请求；
接收所述云应用客户端返回的通信响应消息；
根据所述通信响应消息，与所述云应用客户端建立通信连接；
其中，所述通信响应消息中包含所述物理设备所支持的振动反馈类型和振动反馈的协议版本；
所述根据所述场景识别结果，生成与所述云应用场景所对应的振动反馈信息，包括：
根据所述场景识别结果、以及所述振动反馈类型和所述振动反馈的协议版本，生成所述振动反馈信息。
具体地，服务器上的应用客户端向云应用客户端发送通信建立请求。该通信建立请求可以基于应用客户端与云应用客户端之间已经建立的音视频通信链路或者控制通信链路来发送，并且可以在正式启动云应用之前的任一时刻进行。例如，在云应用客户端登录账户时或者在云应用客户端建立其他通信连接时，一同建立用于振动反馈的通信连接。
具体地，为了便于介绍，请参阅图6，图6为本申请实施例中与云应用客户端建立通信连接的过程，包括如下步骤：
步骤601，应用客户端根据已经登录到服务器的云应用客户端的列表，通过云应用服务器，向云应用客户端发送通信建立请求。
步骤602，云应用客户端在接收到该通信建立请求时，根据该请求与应用客户端建立通信连接。
具体地，建立连接的方式可以是类似于网络连接的问询和应答的三握手过程等方式，或者通过保存服务器的互联网协议地址等方式进行。
步骤603，云应用客户端查询相关联的物理设备所支持的振动反馈类型和振动反馈的协议版本，并且将所查询到的信息加入到通信响应消息中。
其中，振动反馈类型主要指的是物理设备所具有的可以用于进行振动反馈的功能或者模块，而振动反馈的协议版本则规定了振动反馈可以执行的具体模式，例如振动可以包括长振动、短振动、长短融合振动，以及不同频率和强度的振动等，其他类型的振动反馈也是类似。
步骤604，云应用客户端将通信响应消息通过云应用服务器发送给应用客户端。
步骤605，应用客户端根据接收到的振动反馈类型和振动反馈的协议版本，以及识别到的应用场景，生成振动反馈信息。
在本申请的实施例中，服务器上的应用客户端与云应用客户端之间建立用于传送振动反馈信息的通信连接，使得振动反馈可以及时地从服务器发送到终端设备，为服务器控制终端进行振动反馈提供基础，提高了方案的可实施性。
在本申请一个实施例中，上述步骤S302，对云应用客户端所对应的云应用进行场景识别，得到场景识别结果，可以包括如下步骤：
获取所述云应用中的目标虚拟角色在当前时刻下的角色属性值；
根据所述角色属性值，识别所述云应用场景，得到所述场景识别结果。
具体地，取决于云应用类型的不同，场景识别结果可以根据云应用中目标虚拟角色本身所发生的事件确定，也可以根据云应用中的时间段来确定。
目标虚拟角色通常是云应用的用户所控制的角色，或者是需要进行展示的非用户控制的角色等。角色属性值可以包括角色的生命值、体力值等与应用内容相关的数据，或者是角色在应用中所处的空间位置、所进行到的阶段等与应用运行相关的数据。
根据目标虚拟角色在当前时刻下的角色属性值，可以识别云应用的场景，得到场景识别结果。具体地，角色属性值高于或者低于一定数值，可以被识别为某个特定场景，或者角色的属性值发生一定幅度的变化，也可以被识别为需要触发振动的场景。
例如，对于角色生命值，在生命值低于设定阈值的情况下，可以识别到生命值过低场景，在该场景中，可以控制终端设备按照一定频率进行振动或者闪烁，从而提示用户并且营造紧张氛围。
或者，上述步骤S302，对云应用客户端所对应的云应用进行场景识别，得到场景识别结果，可以包括如下步骤：
根据预设的时间段与场景标识之间的映射关系，获取目标虚拟角色在当前时刻下的场景标识，所述场景标识用于表示所述目标虚拟角色所处的周边环境；
根据预设的场景标识与场景类型之间的映射关系、以及所述在当前时刻下的场景标识，确定所述场景识别结果。
其中，预先设置云应用所处的时间段与场景标识之间的映射关系。时间段可以指的是云应用所处的进度，而场景标识用于表示所述目标虚拟角色所处的周边环境。
具体地，云应用的场景可以与其进行的进度(即时间长度)之间存在关联关系。例如，对于跑酷类这样的游戏，游戏进度随着时间进行推移，在达到不同的时间段时，就会到达不同的游戏场景，对应于不同的场景标识，根据时间段则可以确定目标虚拟角色在当前时刻下的场景标识。
或者，时间段可以是云应用的从一个特定时间点开始记录的时间段，例如，虚拟角色在游戏中进入某个房间后开始计时所记录下的时间段。
根据预设的场景标识与场景类型之间的映射关系，应用客户端可以确定场景识别结果。具体地，场景类型用于标识不同场景的具体分类，每个场景类型可以对应多个场景标识并且需要进行各种不同的振动反馈。
例如，应用客户端根据时间段与场景标识之间的映射关系，确定用户的虚拟角色在某个游戏场景内时间过长而将会落入陷阱，场景标识会标识出落入陷阱的场景。该场景标识所对应的场景类型为下落类型，因此，可以进一步根据下落类型确定对应的场景识别结果 为受到伤害。
此外，目标场景类型用于标识出需要进行振动反馈的场景，因此，若场景识别结果不属于目标场景类型，则后续不会控制物理设备进行振动反馈的动作。例如，场景类型为恢复或者休息等相对缓和的场景，则不进行振动反馈，也不会后续对物理设备的振动反馈进行控制。
在本申请的实施例中，提供了进行场景识别的具体方式，从而能够对应用场景进行针对性的识别，有利于提升后续需要进行的振动反馈与当前场景内容之间的匹配度。
在本申请一个实施例中，上述步骤，获取所述云应用中的目标虚拟角色在当前时刻下的角色属性值，可以包括如下步骤：
接收所述云应用客户端发送的针对所述目标虚拟角色的角色控制指令；
根据所述角色控制指令，对所述目标虚拟角色进行控制，得到所述目标虚拟角色在所述当前时刻下的角色属性值；
上述步骤，根据所述角色属性值，识别所述云应用场景，得到所述场景识别结果，可以包括如下步骤：
根据所述目标虚拟角色在前一时刻下的角色属性值以及在所述当前时刻下的角色属性值，确定属性值变化幅度；
根据所述属性值变化幅度，确定所述场景识别结果。
在本实施例中，场景识别结果可以根据用户对目标虚拟角色的操作来确定。具体地，以游戏客户端和云游戏客户端为例，游戏客户端接收云游戏客户端发送的针对目标虚拟角色的角色控制指令。角色控制指令可以是移动、攻击或者回避等动作控制，或者与场景内的其他物理的互动控制等动作。
游戏客户端根据角色控制指令，在云游戏中对目标虚拟角色进行控制，并且还会得到控制所产生的结果，以得到目标虚拟角色在当前时刻下的角色属性值。例如，目标虚拟角色进行移动可以导致角色受到攻击而导致生命值下降，从而得到目标虚拟角色在当前时刻下的生命值。
然后，游戏客户端根据目标虚拟角色在前一时刻下的角色属性值以及在当前时刻下的角色属性值，确定属性值变化幅度。前一时刻指的是游戏客户端对目标虚拟角色进行控制之前的时刻。根据两个时刻下角色属性值的比较，可以确定属性值变化幅度。
进一步地，根据属性值变化幅度，确定场景识别结果。例如，若生命值发生大幅度降低，可以确定场景识别结果为受到大量伤害，以便后续触发终端上连接的物理设备振动来提示用户。
在本申请的实施例中，通过目标虚拟角色的属性值的变化来确定场景识别结果，从而能够在云游戏过程中及时地确定场景识别结果，提升场景识别的粒度，从而更精确地确定需要进行振动反馈情况。
在本申请一个实施例中，基于上述实施例，振动反馈信息包括振动反馈类型，所述云应用客户端控制所述物理设备，执行所述振动反馈类型所指示的振动反馈操作。
具体地，不同物理设备所支持的振动反馈类型可能不同。例如，手机和其他游戏外设可以支持振动特效的强度和种类会有所不同。游戏客户端在生成振动反馈信息时，根据记录的物理设备所支持的振动反馈类型以及识别出的场景需要进行的振动反馈，来生成振动反馈信息。
云游戏客户端在接收到振动反馈信息后，在需要进行振动反馈时，则控制物理设备执 行振动反馈类型所指示的振动反馈操作。例如，游戏客户端判断当前场景需要进行一次长振动和多次短振动，，则生成包括长振动特效类型和短振动特效类型的振动反馈信息，而云游戏客户端在接收到该振动反馈信息后，则控制手机进行长振动和短振动。
在本申请的实施例中，通过在振动反馈信息中限定振动反馈类型，从而可以进行不同种类的振动反馈，提升了振动反馈的多样性。
在本申请一个实施例中，基于上述实施例，振动反馈信息包括振动反馈的时间参数，时间参数用于指示进行振动反馈的时间段，所述云应用客户端控制所述物理设备，在所述时间参数所指示的时间段内，执行振动反馈操作。
具体地，振动反馈的时间参数可以包括振动的开始时刻和持续时间，振动的开始时刻和持续时间可以按照不同场景的需求而定。其中，振动的开始时刻通常是一个相对时刻，其相对于对应的视频流的开始时刻设置，从而确定在何时开始执行振动反馈操作。
例如，振动特效的开始时刻定为10ms，则云游戏客户端在播放对应的视频流10ms之后，开始控制物理设备进行振动。振动的持续时间决定了振动反馈的结束时刻。在一个实施例中，可以不包括振动持续时间，而采用预先预定的统一的持续时间来代替。
应理解的是，振动的持续时间不代表在持续时间内振动反馈动作需要持续进行，例如振动反馈动作可以是间歇振动，则在持续时间内，物理设备会间歇振动，而总时长达到持续时间所限定的数值。
在本申请的实施例中，振动反馈信息包括振动反馈的时间参数，从而可以在播放视频流时，调整振动反馈操作的开始时刻和结束时刻，从而更加灵活地触发振动反馈操作，提升方案灵活性。
在本申请一个实施例中，基于上述实施例，振动反馈信息包括振动反馈的执行频率，所述云应用客户端控制所述物理设备，按照所述振动反馈的执行频率，执行所述振动反馈操作。
具体地，振动反馈的执行频率规定了在振动反馈操作结束时，振动反馈涉及的动作所需要达到的频率。振动反馈的执行频率可以按照不同场景的需求而定，例如紧迫程度的不同可以设定不同的振动执行频率。
例如，振动执行频率表示在振动反馈结束时需要达到的振动频率，可以将取值范围设为0到100的相对值。在一个实施例中，在上一个时刻执行振动反馈可能与当前时刻要执行的振动反馈出现连续，如果执行频率不同，则可以对频率进行调整，使其连续变化，而不需要停止后再重新进行。例如，上一个时刻的振动频率为50，而当前时刻需要执行的振动频率为70，则可以将振动频率按照预设步长从50均匀调整到70。
对于第一个时段，或者对于上一个时刻未进行同类型的振动反馈的情况，则默认上一个时刻的执行频率为0。
在本申请的实施例中，振动反馈信息包括振动反馈的执行频率，从而可以根据不同的场景展现进行不同频率的振动反馈，从而营造出不同的氛围，提升特效的灵活性和表现力。
在本申请一个实施例中，基于上述实施例，振动反馈信息包括振动反馈的执行强度，所述云应用客户端控制所述物理设备，按照所述振动反馈的执行强度，执行所述振动反馈操作。
具体地，振动反馈的执行强度规定了在振动反馈操作结束时，振动反馈涉及的动作所需要达到的振动强度。振动反馈的执行强度可以按照不同场景的需求而定，例如，依照严重程度的不同，可以设定不同的振动执行强度。
执行强度可以表示为振幅等信息，可以将取值范围设为0到100的相对值。
在一个实施例中，在上一个时刻执行的振动反馈可能与当前时刻要执行的振动反馈出现连续，如果执行强度不同，则可以对强度进行调整，使其连续变化，而不需要停止后再重新进行。
例如，上一个时刻的振动强度为50，而当前时刻需要执行的振动强度为70，则可以将振动强度按照预设步长从50均匀调整到70。
对于第一个时段，或者对于上一个时刻未进行同类型的振动反馈的情况，则默认上一个时刻的执行强度为0。
在本申请的实施例中，振动反馈信息包括振动反馈的执行强度，从而可以根据不同的场景展现进行不同强度的振动反馈，从而与游戏的内容更加符合，提升振动反馈的多样性。
在本申请一个实施例中，基于上述实施例，上述步骤S304，向所述云应用客户端发送所述云应用场景对应的视频流以及所述振动反馈信息，包括：
向云应用服务器发送所述云应用场景对应的视频流以及所述振动反馈信息，以使所述云应用服务器根据振动协议对所述振动反馈信息进行打包，并将打包结果和所述视频流发送给所述云应用客户端。
在本实施例中，应用客户端可以运行在单独的服务器上，而云应用服务器则是另一台服务器。应用客户端的服务器与云应用服务器通过有线或者无线网络进行通信。应用客户端将渲染好的云应用场景对应的视频流以及所生成的振动反馈信息发送给云应用服务器，而云应用服务器则根据振动协议对振动反馈信息进行打包，并将打包结果和视频流发送给云应用客户端。
具体地，对于振动特效的振动协议，其定义可以如下表1所示：
Figure PCTCN2022106151-appb-000001
表1，振动特效协议
云应用服务器根据应用客户端发送的振动反馈信息，按照上述的协议将振动特效打包为开始时刻、持续时间、振动频率和振动强度组成的数据包，然后和视频流一起发送给云应用客户端，从而进行振动特效的控制。
在本申请的实施例中，应用客户端通过云应用服务器将视频流以及振动反馈信息发送给云应用客户端，使得多个应用客户端可以共享同一个云应用服务器，从而降低了云应用运营成本。
下面将对本申请中基于云应用的设备控制方法进行介绍，该方法应用于云应用客户端，图7所示为本申请另一实施例提供的基于云应用的设备控制方法的流程图，包括以下 步骤：
步骤S701，建立与云应用服务器之间的通信连接；
步骤S702，接收云应用服务器发送的云应用场景对应的视频流和振动反馈信息，振动反馈信息是由服务器上的应用客户端根据云应用场景生成的；
步骤S703，播放云应用场景对应的视频流，并根据振动反馈信息，控制与云应用客户端相关联的物理设备执行振动反馈操作。
具体地，云应用客户端建立与云应用服务器之间的通信连接。该通信建立过程通常是由应用客户端发起的。云应用客户端在登录云应用平台后启动云应用，云应用平台则会在服务器上启动对应的应用客户端，应用客户端则主动与云应用客户端建立通信。云应用客户端则接收应用客户端发送的通信建立请求，并且在本地保存，以用于后续发送控制信息和各类响应消息。
在建立通信后，云应用客户端则会从云应用服务器接收云应用场景对应的视频流和振动反馈信息。以云游戏为例，云游戏中游戏的进行是由云游戏客户端来控制，服务器上的游戏客户端则根据用户的操作来执行游戏内容，并且将云游戏的游戏场景渲染成视频流，还根据游戏场景的内容生成振动反馈信息。云游戏客户端会向用户播放云游戏场景的视频流，以便向用户展示游戏画面和操作结果来进行后续的游戏，并且会控制与云游戏客户端相关联的物理设备执行振动反馈操作。例如，根据振动反馈信息中的振动信息来控制手机进行振动。
在本申请的实施例中，云应用客户端与云应用服务器建立通信连接，并且根据接收到的视频流和振动反馈信息来展示应用内容并且执行振动反馈操作，从而能够实现在云应用的场景下，由服务器上的应用客户端直接触发云应用客户端关联的物理设备的振动，避免了根据音频或者视频内容进行振动时产生的与应用内容不匹配的情况，提升了振动反馈的准确性。
在本申请一个实施例中，基于上述实施例，上述步骤，建立与云应用服务器之间的通信连接，可以包括如下步骤：
接收所述云应用服务器发送的通信建立请求；
根据所述通信建立请求，查询所述物理设备所支持的振动反馈类型和振动反馈的协议版本；
向所述云应用服务器发送通信响应消息，所述通信响应消息中包含所述振动反馈类型和所述振动反馈的协议版本，以使所述应用客户端根据所述振动反馈类型和所述振动反馈的协议版本，生成所述振动反馈信息。
具体地，以云游戏为例，云游戏客户端接收云游戏服务器发送的通信建立请求。通信建立请求中通常会包含通信所需要的通信参数，云游戏客户端则根据通信建立请求与云游戏服务器建立通信连接。通信建立请求中还会包含特效查询指令，云游戏客户端会根据该查询指令，查询与云游戏客户端相关联的物理设备所支持的振动反馈类型和振动反馈的协议版本。振动反馈类型主要用于标识物理设备能够进行的振动种类，例如振动长短、模式等等。协议版本则主要用于规定在定义振动反馈操作时需要用到的参数和通信格式等。
云游戏客户端向云游戏服务器发送通信响应消息，通信响应消息中包含振动反馈类型和振动反馈的协议版本，通信响应消息用于使云游戏服务器建立与云游戏客户端的通信连接。具体地，通信响应消息中可以携带云游戏客户端的通信参数，例如互联网地址等，以供云游戏服务器建立相应的通信连接。
在本申请的实施例中，具体介绍了云游戏客户端与云游戏服务器之间建立通信的具体方式，提升了方案的可实施性。
在本申请一个实施例中，基于上述实施例，与云应用客户端相关联的物理设备还包括第三方设备；所述根据所述振动反馈信息，控制与云应用客户端相关联的物理设备执行振动反馈操作，包括：
根据振动反馈信息，生成针对于第三方设备的振动控制指令；
向第三方设备发送振动控制指令，以使第三方设备根据振动反馈信息，执行振动反馈操作。
第三方设备指的是用于进行应用控制和云应用内容展示之外的设备。该第三方设备可以是物料网设备并且与云应用客户端所处的终端设备通过网络通信。云应用客户端根据振动反馈信息，生成针对于第三方设备的振动控制指令。振动控制指令中包括根据振动反馈信息所生成的用于执行振动的参数。例如，振动的开始时刻和结束时刻、展示方式和强度等数值。云应用客户端向第三方设备发送振动控制指令，以使第三方设备根据振动反馈信息，执行振动反馈操作。
以云游戏为例进行说明，假定用户利用手机玩探险类游戏，并且控制角色进入了较颠簸的环境，则游戏客户端发送给云游戏客户端的振动反馈信息中可以包括关于座椅晃动控制的信息，而云游戏客户端根据该振动反馈信息，生成用于座椅晃动控制的振动控制指令，并且发送给屋内的智能座椅，而智能座椅则根据收到的振动控制指令调低进行晃动，从而给用户更加身临其境的感觉。
在本申请的实施例中，云游戏客户端还控制第三方设备来协同进行振动反馈，从而使得振动的展示过程更加丰富，提升振动的展示效果。
应当注意，尽管在附图中以特定顺序描述了本申请中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
以下介绍本申请的装置实施，可以用于执行本申请上述实施例中的基于云应用的设备控制方法。图8A示意性地示出了本申请实施例中基于云应用的设备控制装置的组成框图，用于执行上述实施例中服务器上的应用客户端相关的处理。如图8A所示，设备控制装置800包括：
通信建立模块801，用于建立与终端设备上的云应用客户端之间的通信连接，所述云应用客户端用于呈现所接收到的云应用视频流；
场景识别模块802，用于对所述云应用客户端所对应的云应用进行场景识别，得到场景识别结果，所述场景识别结果包括与识别到的云应用场景相关联的媒体内容；
振动反馈信息生成模块803，用于根据所述场景识别结果，生成与所述云应用场景所对应的振动反馈信息；
振动反馈信息发送模块804，用于向所述云应用客户端发送所述云应用场景对应的视频流以及所述振动反馈信息，以使所述云应用客户端在呈现所述云应用场景的视频流时，根据所述振动反馈信息，控制与所述云应用客户端相关联的物理设备执行振动反馈操作。
在本申请的一些实施例中，基于以上技术方案，通信建立模块801包括：
通信建立请求发送单元，用于向所述云应用客户端发送通信建立请求；
通信响应消息接收单元，用于接收所述云应用客户端返回的通信响应消息；根据所述 通信响应消息，与所述云应用客户端建立通信连接；
其中，所述通信响应消息中包含所述物理设备所支持的振动反馈类型和振动反馈的协议版本；
场景识别模块802用于，根据所述场景识别结果、以及所述振动反馈类型和所述振动反馈的协议版本，生成所述振动反馈信息。
在本申请的一些实施例中，基于以上技术方案，场景识别模块802包括：
角色属性值获取单元，用于获取所述云应用中的目标虚拟角色在当前时刻下的角色属性值；
场景识别单元，用于根据所述角色属性值，识别所述云应用场景，得到所述场景识别结果。
在本申请的一些实施例中，基于以上技术方案，场景识别模块802包括：
场景标识获取单元，用于根据预设的时间段与场景标识之间的映射关系，获取目标虚拟角色在当前时刻下的场景标识，所述场景标识用于表示所述目标虚拟角色所处的周边环境；
场景识别结果确定单元，用于根据预设的场景标识与场景类型之间的映射关系、以及所述在当前时刻下的场景标识，确定所述场景识别结果。
在本申请的一些实施例中，基于以上技术方案，角色属性值获取单元包括：
角色控制指令接收子单元，用于接收所述云应用客户端发送的针对所述目标虚拟角色的角色控制指令；
控制虚拟角色子单元，用于根据所述角色控制指令，对所述目标虚拟角色进行控制，得到所述目标虚拟角色在所述当前时刻下的角色属性值；
场景识别单元包括：
属性值变化幅度确定子单元，用于根据所述目标虚拟角色在前一时刻下的角色属性值以及在所述当前时刻下的角色属性值，确定属性值变化幅度；
识别结果确定子单元，用于根据所述属性值变化幅度，确定所述场景识别结果。
在本申请的一些实施例中，基于以上技术方案，所述振动反馈信息包括振动反馈类型，所述云应用客户端控制所述物理设备，执行所述振动反馈类型所指示的振动反馈操作。
在本申请的一些实施例中，基于以上技术方案，所述振动反馈信息包括振动反馈的时间参数，所述时间参数用于指示进行振动反馈的时间段，所述云应用客户端控制所述物理设备，在所述时间参数所指示的时间段内，执行振动反馈操作。
在本申请的一些实施例中，基于以上技术方案，所述振动反馈信息中包括振动反馈的执行频率，所述云应用客户端控制所述物理设备，按照所述振动反馈的执行频率，执行所述振动反馈操作。
在本申请的一些实施例中，基于以上技术方案，所述振动反馈信息中包括振动反馈的执行强度，所述云应用客户端控制所述物理设备，按照所述振动反馈的执行强度，执行所述振动反馈操作。
在本申请的一些实施例中，基于以上技术方案，振动反馈信息发送模块804包括：
服务器通信单元，用于向云应用服务器发送所述云应用场景对应的视频流以及所述振动反馈信息，以使所述云应用服务器根据振动协议对所述振动反馈信息进行打包，并将打包结果和所述视频流发送给所述云应用客户端。
根据本申请实施例的另一个方面，提供一种基于云应用的设备控制装置。图8B示意 性地示出了本申请另一实施例中基于云应用的设备控制装置的组成框图，用于执行上述实施例中云应用客户端相关的处理。如图8B所示，设备控制装置810包括：
通信连接建立模块811，用于建立与云应用服务器之间的通信连接；
振动反馈信息接收模块812，用于接收所述云应用服务器发送的云应用场景对应的视频流和振动反馈信息，所述振动反馈信息是由服务器上的应用客户端根据所述云应用场景生成的；
播放模块813，用于播放所述云应用场景对应的视频流；
振动反馈执行模块814，用于根据所述振动反馈信息，控制与云应用客户端相关联的物理设备执行振动反馈操作。
在本申请的一些实施例中，基于以上技术方案，通信连接建立模块811包括：
通信建立请求接收单元，用于接收所述云应用服务器发送的通信建立请求；
振动反馈查询单元，用于根据所述通信建立请求，查询所述物理设备所支持的振动反馈类型和振动反馈的协议版本；
通信响应消息发送单元，用于向所述云应用服务器发送通信响应消息，所述通信响应消息中包含所述振动反馈类型和所述振动反馈的协议版本，以使所述应用客户端根据所述振动反馈类型和所述振动反馈的协议版本，生成所述振动反馈信息。
在本申请的一些实施例中，基于以上技术方案，与所述云应用客户端相关联的物理设备还包括第三方设备；所述振动反馈执行模块还包括：
振动控制指令生成模块，根据所述振动反馈信息，生成针对于所述第三方设备的振动控制指令；
振动控制指令发送模块，用于向所述第三方设备发送所述振动控制指令，以使所述第三方设备根据所述振动反馈信息执行振动反馈操作。
需要说明的是，上述实施例所提供的装置与上述实施例所提供的方法属于同一构思，其中各个模块执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。
图9示出了适于用来实现本申请实施例的电子设备的结构示意图。
需要说明的是，图9示出的电子设备900仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图9所示，电子设备900包括中央处理单元(Central Processing Unit，CPU)901，其可以根据存储在只读存储器(Read-Only Memory，ROM)902中的程序或者从储存部分908加载到随机访问存储器(Random Access Memory，RAM)903中的程序而执行各种适当的动作和处理。在RAM 903中，还存储有系统操作所需的各种程序和数据。CPU 901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(Input/Output，I/O)接口905也连接至总线904。
以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分907；包括硬盘等的储存部分908；以及包括诸如LAN(Local Area Network，局域网)卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入储存部分908。
特别地，根据本申请的实施例，各个方法流程图中所描述的过程可以被实现为计算 机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(CPU)901执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它 实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (20)

  1. 一种基于云应用的设备控制方法，由电子设备执行，包括：
    建立与终端设备上的云应用客户端之间的通信连接，所述云应用客户端用于呈现所接收到的云应用视频流；
    对所述云应用客户端所对应的云应用进行场景识别，得到场景识别结果，所述场景识别结果包括与识别到的云应用场景相关联的媒体内容；
    根据所述场景识别结果，生成与所述云应用场景所对应的振动反馈信息；及，
    向所述云应用客户端发送所述云应用场景对应的视频流以及所述振动反馈信息，以使所述云应用客户端在呈现所述云应用场景的视频流时，根据所述振动反馈信息，控制与所述云应用客户端相关联的物理设备执行振动反馈操作。
  2. 根据权利要求1所述的方法，其中，所述建立与终端设备上的云应用客户端之间的通信连接，包括：
    向所述云应用客户端发送通信建立请求；
    接收所述云应用客户端返回的通信响应消息；
    根据所述通信响应消息，与所述云应用客户端建立通信连接；
    其中，所述通信响应消息中包含所述物理设备所支持的振动反馈类型和振动反馈的协议版本；
    所述根据所述场景识别结果，生成与所述云应用场景所对应的振动反馈信息，包括：
    根据所述场景识别结果、以及所述振动反馈类型和所述振动反馈的协议版本，生成所述振动反馈信息。
  3. 根据权利要求1所述的方法，其中，所述对所述云应用客户端所对应的云应用进行场景识别，得到场景识别结果，包括：
    获取所述云应用中的目标虚拟角色在当前时刻下的角色属性值；
    根据所述角色属性值，识别所述云应用场景，得到所述场景识别结果。
  4. 根据权利要求1所述的方法，其中，所述对所述云应用客户端所对应的云应用进行场景识别，得到场景识别结果，包括：
    根据预设的时间段与场景标识之间的映射关系，获取目标虚拟角色在当前时刻下的场景标识，所述场景标识用于表示所述目标虚拟角色所处的周边环境；
    根据预设的场景标识与场景类型之间的映射关系、以及所述在当前时刻下的场景标识，确定所述场景识别结果。
  5. 根据权利要求3所述的方法，其中，所述获取所述云应用中的目标虚拟角色在当前时刻下的角色属性值，包括：
    接收所述云应用客户端发送的针对所述目标虚拟角色的角色控制指令；
    根据所述角色控制指令，对所述目标虚拟角色进行控制，得到所述目标虚拟角色在所述当前时刻下的角色属性值；
    所述根据所述角色属性值，识别所述云应用场景，得到所述场景识别结果，包括：
    根据所述目标虚拟角色在前一时刻下的角色属性值以及在所述当前时刻下的角色属性值，确定属性值变化幅度；
    根据所述属性值变化幅度，确定所述场景识别结果。
  6. 根据权利要求1所述的方法，其中，所述振动反馈信息包括振动反馈类型，所述云应用客户端控制所述物理设备，执行所述振动反馈类型所指示的振动反馈操作。
  7. 根据权利要求1所述的方法，其中，所述振动反馈信息包括振动反馈的时间参数，所述时间参数用于指示进行振动反馈的时间段，所述云应用客户端控制所述物理设备，在所述时间参数所指示的时间段内，执行振动反馈操作。
  8. 根据权利要求1所述的方法，其中，所述振动反馈信息中包括振动反馈的执行频率，所述云应用客户端控制所述物理设备，按照所述振动反馈的执行频率，执行所述振动反馈操作。
  9. 根据权利要求1所述的方法，其中，所述振动反馈信息中包括振动反馈的执行强度，所述云应用客户端控制所述物理设备，按照所述振动反馈的执行强度，执行所述振动反馈操作。
  10. 根据权利要求1至9中任一项所述的方法，其中，所述向所述云应用客户端发送所述云应用场景对应的视频流以及所述振动反馈信息，包括：
    向云应用服务器发送所述云应用场景对应的视频流以及所述振动反馈信息，以使所述云应用服务器根据振动协议对所述振动反馈信息进行打包，并将打包结果和所述视频流发送给所述云应用客户端。
  11. 一种基于云应用的设备控制方法，由电子设备执行，所述方法包括：
    建立与云应用服务器之间的通信连接；
    接收所述云应用服务器发送的云应用场景对应的视频流和振动反馈信息，所述振动反馈信息是由服务器上的应用客户端根据所述云应用场景生成的；及，
    播放所述云应用场景对应的视频流，并根据所述振动反馈信息，控制与云应用客户端相关联的物理设备执行振动反馈操作。
  12. 根据权利要求11所述的方法，其中，所述建立与云应用服务器之间的通信连接，包括：
    接收所述云应用服务器发送的通信建立请求；
    根据所述通信建立请求，查询所述物理设备所支持的振动反馈类型和振动反馈的协议版本；
    向所述云应用服务器发送通信响应消息，所述通信响应消息中包含所述振动反馈类型和所述振动反馈的协议版本，以使所述应用客户端根据所述振动反馈类型和所述振动反馈的协议版本，生成所述振动反馈信息。
  13. 根据权利要求12所述的方法，其中，所述物理设备包括第三方设备，所述根据所述振动反馈信息，控制与云应用客户端相关联的物理设备执行振动反馈操作，包括：
    根据所述振动反馈信息，生成针对于所述第三方设备的振动控制指令；
    向所述第三方设备发送所述振动控制指令，以使所述第三方设备根据所述振动反馈信息，执行振动反馈操作。
  14. 一种基于云应用的设备控制装置，包括：
    通信建立模块，用于建立与终端设备上的云应用客户端之间的通信连接，所述云应用客户端用于呈现所接收到的云应用视频流；
    场景识别模块，用于对所述云应用客户端所对应的云应用进行场景识别，得到场景识别结果，所述场景识别结果包括与识别到的云应用场景相关联的媒体内容；
    振动反馈信息生成模块，用于根据所述场景识别结果，生成与所述云应用场景所对应的振动反馈信息；及，
    振动反馈信息发送模块，用于向所述云应用客户端发送所述云应用场景对应的视频流以及所述振动反馈信息，以使所述云应用客户端在呈现所述云应用场景的视频流时，根据所述振动反馈信息，控制与所述云应用客户端相关联的物理设备执行振动反馈操作。
  15. 根据权利要求14所述的装置，其中，所述通信建立模块包括：
    通信建立请求发送单元，用于向所述云应用客户端发送通信建立请求；
    通信响应消息接收单元，用于接收所述云应用客户端返回的通信响应消息；根据所述通信响应消息，与所述云应用客户端建立通信连接；
    其中，所述通信响应消息中包含所述物理设备所支持的振动反馈类型和振动反馈的协议版本；
    所述场景识别模块用于，根据所述场景识别结果、以及所述振动反馈类型和所述振动反馈的协议版本，生成所述振动反馈信息。
  16. 根据权利要求14或15所述的装置，其中，所述振动反馈信息发送模块用于，向云应用服务器发送所述云应用场景对应的视频流以及所述振动反馈信息，以使所述云应用服务器根据振动协议对所述振动反馈信息进行打包，并将打包结果和所述视频流发送给所述云应用客户端。
  17. 一种基于云应用的设备控制装置，包括：
    通信连接建立模块，用于建立与云应用服务器之间的通信连接；
    振动反馈信息接收模块，用于接收所述云应用服务器发送的云应用场景对应的视频流和振动反馈信息，所述振动反馈信息是由服务器上的应用客户端根据所述云应用场景生成的；
    播放模块，用于播放所述云应用场景对应的视频流；及，
    振动反馈执行模块，用于根据所述振动反馈信息，控制与云应用客户端相关联的物理设备执行振动反馈操作。
  18. 根据权利要求17所述的装置，其中，所述物理设备包括第三方设备，所述振动反 馈执行模块用于，根据所述振动反馈信息，生成针对于所述第三方设备的振动控制指令；向所述第三方设备发送所述振动控制指令，以使所述第三方设备根据所述振动反馈信息，执行振动反馈操作。
  19. 一种电子设备，包括：
    处理器；
    存储器，用于存储所述处理器的可执行指令；
    其中，所述处理器配置为经由执行所述可执行指令来执行如权利要求1至13中任一项所述的基于云应用的设备控制方法。
  20. 一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1至13中任一项所述的基于云应用的设备控制方法。
PCT/CN2022/106151 2021-07-21 2022-07-18 基于云应用的设备控制方法、装置、电子设备和可读介质 WO2023001086A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020237033698A KR20230150392A (ko) 2021-07-21 2022-07-18 클라우드 애플리케이션에 기초한 디바이스 제어 방법 및 장치, 그리고 전자 디바이스 및 저장 매체
JP2023561072A JP2024514800A (ja) 2021-07-21 2022-07-18 クラウドアプリケーションに基づく機器制御方法、装置、電子機器、及びコンピュータプログラム
US18/239,665 US20230398443A1 (en) 2021-07-21 2023-08-29 Cloud application-based device control method and apparatus, electronic device and readable medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110827404.8 2021-07-21
CN202110827404.8A CN115671711B (zh) 2021-07-21 2021-07-21 基于云游戏的设备控制方法、装置、电子设备和可读介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/239,665 Continuation US20230398443A1 (en) 2021-07-21 2023-08-29 Cloud application-based device control method and apparatus, electronic device and readable medium

Publications (1)

Publication Number Publication Date
WO2023001086A1 true WO2023001086A1 (zh) 2023-01-26

Family

ID=84978922

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/106151 WO2023001086A1 (zh) 2021-07-21 2022-07-18 基于云应用的设备控制方法、装置、电子设备和可读介质

Country Status (5)

Country Link
US (1) US20230398443A1 (zh)
JP (1) JP2024514800A (zh)
KR (1) KR20230150392A (zh)
CN (2) CN115671711B (zh)
WO (1) WO2023001086A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116036578A (zh) * 2023-01-28 2023-05-02 腾讯科技（深圳）有限公司 数据处理方法、装置及相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160082356A1 (en) * 2013-04-19 2016-03-24 Ukida Kensetsu Co., Ltd. Game system control method and game system
CN111729293A (zh) * 2020-08-28 2020-10-02 腾讯科技（深圳）有限公司 一种数据处理方法、装置及存储介质
CN112354176A (zh) * 2020-11-27 2021-02-12 Oppo广东移动通信有限公司 云游戏实现方法、云游戏实现装置、存储介质与电子设备
CN112755530A (zh) * 2020-12-31 2021-05-07 西安万像电子科技有限公司 一种云游戏的数据处理方法、装置、系统及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150052253A1 (en) * 2014-09-22 2015-02-19 Weaved, Inc. Multi-server fractional subdomain dns protocol
US11565172B2 (en) * 2018-07-02 2023-01-31 Sony Corporation Information processing apparatus, information processing method, and information processing apparatus-readable recording medium
CN111420395B (zh) * 2020-04-08 2023-04-18 网易（杭州）网络有限公司 游戏中的交互方法及装置、可读存储介质、电子设备
CN111957039A (zh) * 2020-09-04 2020-11-20 Oppo（重庆）智能科技有限公司 一种游戏特效实现方法、装置及计算机可读存储介质
CN112090060B (zh) * 2020-09-16 2021-07-13 深圳未来游戏设备科技有限公司 云服务器的游戏外设的通讯方式以及适配方法
CN112044078A (zh) * 2020-10-13 2020-12-08 腾讯科技（深圳）有限公司 虚拟场景应用的接入方法、装置、设备及存储介质
CN112604271A (zh) * 2020-12-07 2021-04-06 杭州雾联科技有限公司 一种云游戏系统控制方法、装置、设备及可读存储介质
CN112657186B (zh) * 2020-12-28 2024-02-02 网易（杭州）网络有限公司 一种游戏的交互方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160082356A1 (en) * 2013-04-19 2016-03-24 Ukida Kensetsu Co., Ltd. Game system control method and game system
CN111729293A (zh) * 2020-08-28 2020-10-02 腾讯科技（深圳）有限公司 一种数据处理方法、装置及存储介质
CN112354176A (zh) * 2020-11-27 2021-02-12 Oppo广东移动通信有限公司 云游戏实现方法、云游戏实现装置、存储介质与电子设备
CN112755530A (zh) * 2020-12-31 2021-05-07 西安万像电子科技有限公司 一种云游戏的数据处理方法、装置、系统及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116036578A (zh) * 2023-01-28 2023-05-02 腾讯科技（深圳）有限公司 数据处理方法、装置及相关设备
CN116036578B (zh) * 2023-01-28 2023-06-13 腾讯科技（深圳）有限公司 数据处理方法、装置及相关设备

Also Published As

Publication number Publication date
KR20230150392A (ko) 2023-10-30
CN115671711A (zh) 2023-02-03
JP2024514800A (ja) 2024-04-03
CN117861194A (zh) 2024-04-12
US20230398443A1 (en) 2023-12-14
CN115671711B (zh) 2023-11-21

Similar Documents

Publication Publication Date Title
US11717749B2 (en) Cloud gaming device handover
US11012338B2 (en) Network adaptive latency reduction through frame rate control
US10771565B2 (en) Sending application input commands over a network
US11213743B2 (en) Method, system and electronic device for achieving remote control of computer game by game controller
CN105611364B (zh) 便携数码设备与大屏幕互动的方法、装置及系统
WO2016180135A1 (zh) 直播互动系统、信息发送方法、信息接收方法及设备
CN108243151B (zh) 一种自动动画播放方法、装置、客户端以及视频直播系统
EP4029582A1 (en) Information processing method, system and apparatus, and device and storage medium
JP2017510862A (ja) 描画システム、制御方法、及び記憶媒体
CN112245904B (zh) 支持跨服游戏的方法、系统、存储介质及计算机设备
JP2009523268A (ja) ネットワークを介するアプリケーションの提供
US20230398443A1 (en) Cloud application-based device control method and apparatus, electronic device and readable medium
CN112169327A (zh) 一种云游戏的控制方法以及相关装置
WO2023093698A1 (zh) 游戏直播的交互方法、存储介质、程序产品及电子设备
CN111880845A (zh) 控制目标应用的方法、系统及装置
WO2024061243A1 (en) Live stream interactive method, device, apparatus and storage medium
JP2002085850A (ja) ゲームシステムおよび情報記憶媒体
CN103716550B (zh) 用于减少呈现等待时间的方法和装置
CN112565657A (zh) 通话互动方法、装置、设备及存储介质
US9056250B2 (en) Systems and methods for handling communication events in a computer gaming system
CN112755536A (zh) 一种基于手机的多人在线游戏app
CN112206514A (zh) 一种游戏画面渲染方法及装置
CN112735463A (zh) 一种音频播放延迟ai修正方法和装置
WO2023207941A1 (zh) 数据传输方法、装置、电子设备、存储介质及程序产品
WO2023226851A1 (zh) 三维效果形象的生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22845251

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20237033698

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2023561072

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE