WO2022166338A1 - 显示设备 - Google Patents

Abstract

本申请公开的显示设备，控制器在获取图像采集器采集的包括用户手势的用户图像，对用户图像进行手势识别；识别到用户图像中的用户手势为音量调节手势，则启动通过滑动音量调节手势实现对显示设备音量的智能调节功能，以及，在用户界面中显示音量条；用户基于音量调节手势执行指定动作时产生位置变化，生成对应的音量调节指令，控制器响应该音量调节指令开始调节音量条对应的音量值。

Description

显示设备

本申请要求在2021年2月8日提交中国专利局、申请号为202110179119.X、名称为“一种音量调节方法及显示设备”的中国专利申请的优先权，以及在2021年2月8日提交中国专利局、申请号为202110184228.0、名称为“一种显示设备及其控制方法”的中国专利申请的优先权,以及在2021年2月8日提交中国专利局、申请号为202110184152.1、名称为“一种基于多人手势识别的音量调节方法及显示设备”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。

技术领域

本申请涉及智能电视交互技术领域，尤其涉及显示设备。

背景技术

随着显示设备的快速发展，显示设备的功能将越来越丰富，性能也越来越强大，目前，显示设备包括智能电视、智能机顶盒、智能盒子，以及其他带有智能显示屏幕的产品等。以智能电视为例，智能电视提供有传统电视功能，可播放不同的电视节目。

在使用显示设备过程中，用户可基于使用需求调节显示设备的输出音量，以便用户能够沉浸在电视节目中。目前，显示设备的音量调节方式通常是利用其配置的遥控器来实现，通过触发遥控器的左键或右键，实现减小音量或增加音量。但是，这种音量调节方式需借助另一设备，不够便利，影响用户体验。

发明内容

第一方面，本申请提供的显示设备，包括：显示器，被配置为呈现用户界面；图像采集器或者可连接图像采集器的用户接口，所述图像采集器被配置为采集用户图像；分别与所述显示器和图像采集器连接的控制器，所述控制器被配置为：获取图像采集器采集的包括用户手势的用户图像；识别到所述用户图像中的用户手势为音量调节手势，则在所述用户界面中显示音量条；响应于用户基于所述音量调节手势执行指定动作时产生的音量调节指令，调节所述音量条对应的音量值。

第二方面，本申请还提供的音量调节方法，所述方法包括：获取图像采集器采集的包括用户手势的用户图像；识别到所述用户图像中的用户手势为音量调节手势，则在所述用户界面中显示音量条；响应于用户基于所述音量调节手势执行指定动作时产生的音量调节指令，调节所述音量条对应的音量值。

第三方面，本申请提供的显示设备，包括：显示器，被配置为呈现用户界面；图像采集器或者可连接图像采集器的用户接口，所述图像采集器被配置为采集用户图像；分别与所述显示器和图像采集器连接的控制器，所述控制器被配置为：响应于触发所述用户界面中全局手势开关时产生的开关开启指令，检测所述图像采集器是否被需要启动所述图像采集器的指定应用所占用；如果所述图像采集器被需要启动所述图像采集器的指定应用所占用，则不开启全局手势检测功能；如果所述图像采集器未被需要启动所述图像采集器的指定应用所占用，则开启全局手势检测功能，所述全局手势检测功能用于对包括用户手势的用户图像进行检测，基于所述用户手势对显示设备进行相应控制。

第四方面，本申请还提供的显示设备，包括：显示器，被配置为呈现显示有视频文件的用户界面；图像采集器或者可连接图像采集器的用户接口，所述图像采集器被配置为采集用户图像；分别与所述显示器和图像采集器连接的控制器，所述控制器被配置为：在全局手势检测功能开启的情况下，获取图像采集器采集的包括用户手势的用户图像；在检测到所述用户图像中的用户手势为播放暂停控制手势时，获取播放所述视频文件的播放形式广播；如果所述播放形式广播表征全屏播放形式，则响应所述播放暂停控制手势产生的控制指令，对所述视频文件进行播放操作或暂停操作；如果所述播放形式广播表征小窗口播放形式，则不响应所述播放暂停控制手势产生的控制指令。

第五方面，本申请还提供的显示设备，包括：显示器，被配置为呈现用户界面；

图像采集器或者可连接图像采集器的用户输入接口，所述图像采集器被配置为采集用户图像；分别与所述显示器和图像采集器连接的控制器，所述控制器被配置为：在全局手势检测功能开启的情况下，获取图像采集器采集的包括用户手势的用户图像；如果所述用户手势为播放暂停控制手势，则响应于所述播放暂停控制手势对应的控制指令执行播放操作或暂停操作；如果所述用户手势为静音控制手势，则响应于所述静音控制手势对应的控制指令执行静音操作或反静音操作。

第六方面，本申请还提供的显示设备的控制方法，所述方法包括：响应于触发所述用户界面中全局手势开关时产生的开关开启指令，检测所述图像采集器是否被需要启动所述图像采集器的指定应用所占用；如果所述图像采集器被需要启动所述图像采集器的指定应用所占用，则不开启全局手势检测功能；如果所述图像采集器未被需要启动所述图像采集器的指定应用所占用，则开启全局手势检测功能，所述全局手势检测功能用于对包括用户手势的用户图像进行检测，基于所述用户手势对显示设备进行相应控制。

第七方面，本申请还提供的显示设备的控制方法，所述方法包括：在全局手势检测功能开启的情况下，获取图像采集器采集的包括用户手势的用户图像；在检测到所述用户图像中的用户手势为播放暂停控制手势时，获取播放所述视频文件的播放形式广播；如果所述播放形式广播表征全屏播放形式，则响应所述播放暂停控制手势产生的控制指令，对所述视频文件进行播放操作或暂停操作；如果所述播放形式广播表征小窗口播放形式，则不响应所述播放暂停控制手势产生的控制指令。

第八方面，本申请还提供的显示设备的控制方法，所述方法包括：在全局手势检测功能开启的情况下，获取图像采集器采集的包括用户手势的用户图像；如果所述用户手势为播放暂停控制手势，则响应于所述播放暂停控制手势对应的控制指令执行播放操作或暂停操作；如果所述用户手势为静音控制手势，则响应于所述静音控制手势对应的控制指令执行静音操作或反静音操作。

第九方面，本申请提供的显示设备，包括：显示器，被配置为呈现用户界面；图像采集器或者可连接图像采集器的用户接口，所述图像采集器被配置为采集用户图像；分别与所述显示器和图像采集器连接的控制器，所述控制器被配置为：获取图像采集器采集的包括至少一个用户手势的用户图像，以及，所述用户图像中与音量调节手势匹配的第一个用户手势的指定手势ID；计算在第一时长内采集的数帧用户图像中与所述指定手势ID对应的音量调节手势的识别成功率；如果所述音量调节手势的识别成功 率超过第一阈值，则在所述用户界面中显示音量条；响应于所述指定手势ID对应的用户基于音量调节手势执行指定动作时产生的音量调节指令，调节所述音量条对应的音量值。

第十方面，本申请还提供的基于多人手势识别的音量调节方法，所述方法包括：获取图像采集器采集的包括至少一个用户手势的用户图像，以及，所述用户图像中与音量调节手势匹配的第一个用户手势的指定手势ID；计算在第一时长内采集的数帧用户图像中与所述指定手势ID对应的音量调节手势的识别成功率；如果所述音量调节手势的识别成功率超过第一阈值，则在所述用户界面中显示音量条；响应于所述指定手势ID对应的用户基于音量调节手势执行指定动作时产生的音量调节指令，调节所述音量条对应的音量值。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据一些实施例的显示设备的使用场景；

图2示出了根据一些实施例的控制装置100的硬件配置框图；

图3示出了根据一些实施例的显示设备200的硬件配置框图；

图4示出了根据一些实施例的显示设备200中软件配置图；

图5示出了根据一些实施例的显示设备200中应用程序的图标控件界面显示图；

图6示出了根据一些实施例的显示设备的控制方法的第一种流程图；

图7示出了根据一些实施例的用户界面中呈现全局手势开关的界面示意图；

图8示出了根据一些实施例的显示设备的控制方法的第二种流程图；

图9示出了根据一些实施例的控制显示设备执行播放操作或暂停操作的方法流程图；

图10示出了根据一些实施例的控制显示设备执行播放操作或暂停操作的数据流图；

图11示出了根据一些实施例的播放暂停场景下手势检测提示界面的一种示意图；

图12示出了根据一些实施例的播放暂停场景下手势检测提示界面的另一种示意图；

图13示出了根据一些实施例的用户界面中呈现操作完成提示界面的示意图；

图14示出了根据一些实施例的控制显示设备执行静音操作或反静音操作的方法流程图；

图15示出了根据一些实施例的静音场景下手势检测提示界面的一种示意图；

图16示出了根据一些实施例的静音场景下手势检测提示界面的另一种示意图；

图17示出了根据一些实施例的音量调节方法的一种流程图；

图18示出了根据一些实施例的音量调节方法的数据流图；

图19示出了根据一些实施例的用户界面显示音量条的方法流程图；

图20示出了根据一些实施例的用户界面中显示音量调节手势提示界面的示意图；

图21示出了根据一些实施例的用户界面中显示音量调节界面的示意图；

图22示出了根据一些实施例的调节音量条对应音量的方法流程图；

图23示出了根据一些实施例的计算横坐标变化量的示意图；

图24示出了根据一些实施例的用户界面中显示音量调节状态提示信息的示意图；

图25示出了根据一些实施例的用户界面中显示音量调节完成界面的示意图；

图26示出了根据一些实施例的音量调节方法的另一种流程图；

图27示出了根据一些实施例的基于多人手势识别的音量调节方法的流程图；

图28示出了根据一些实施例的用户图像中存在多个用户手势的示意图；

图29示出了根据一些实施例的计算识别成功率的方法流程图。

具体实施方式

为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。

术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

图1示出了根据一些实施例的显示设备的使用场景。如图1所示，显示设备200还与服务器400进行数据通信，用户可通过智能设备300或控制装置100操作显示设备200。

在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式中的至少一种，通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等至少一种输入用户指令，来控制显示设备200。

在一些实施例中，显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制，例如，可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制，也可以通过显示设备200设备外部设置的语音控制装置来接收用户的语音指令控制。

在一些实施例中，显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。

图2示出了根据一些实施例的控制装置100的硬件配置框图。如图2所示，控制 装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。

在一些实施例中，通信接口130用于和外部通信，包含WIFI芯片，蓝牙模块，NFC或可替代模块中的至少一种。用户输入/输出接口140包含麦克风，触摸板，传感器，按键或可替代模块中的至少一种。

图3示出了根据一些实施例的显示设备200的硬件配置框图。参见图3，在一些实施例中，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。

显示器260包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面等。

显示器260可为液晶显示器、OLED显示器、以及投影显示器中的至少一种，还可以为一种投影装置和投影屏幕。

通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括Wifi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。显示设备200可以通过通信器220与控制装置100或服务器400建立控制信号和数据信号的发送和接收。

检测器230用于采集外部环境或与外部交互的信号。例如，检测器230包括光接收器，用于采集环境光线强度的传感器；或者，检测器230包括图像采集器，如摄像头，可以用于采集外部环境场景、用户的属性或用户交互手势，再或者，检测器230包括声音采集器，如麦克风等，用于接收外部声音。

外部装置接口240可以包括但不限于如下：高清多媒体接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。

在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器260上显示UI对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。

在一些实施例中，“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素中的至少一种。

图4示出了根据一些实施例的显示设备200中软件配置图。参见图4，在一些实施例中，将系统分为四层，从上至下分别为应用程序(Applications)层(简称“应用层”)，应用程序框架(Application Framework)层(简称“框架层”)，安卓运行时(Android runtime)和系统库层(简称“系统运行库层”)，以及内核层。

在一些实施例中，应用程序层中运行有至少一个应用程序，这些应用程序可以是操作系统自带的窗口(Window)程序、系统设置程序或时钟程序等；也可以是第三方开发者所开发的应用程序。在具体实施时，应用程序层中的应用程序包不限于以上举例。

框架层为应用程序提供应用编程接口(application programming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心，这个中心决定让应用层中的应用程序做出动作。应用程序通过API接口，可在执行中访问系统中的资源和取得系统的服务。

在一些实施例中，系统运行库层为上层即框架层提供支撑，当框架层被使用时，安卓操作系统会运行系统运行库层中包含的C/C++库以实现框架层要实现的功能。

在一些实施例中，内核层是硬件和软件之间的层。如图4所示，内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。

图5示出了根据一些实施例的显示设备200中应用程序的图标控件界面显示图。在一些实施例中，显示设备启动后可以直接进入预置的视频点播程序的界面，视频点播程序的界面可以如图5中所示，至少包括导航栏510和位于导航栏510下方的内容显示区，内容显示区中显示的内容会随导航栏中被选中控件的变化而变化。应用程序层中的程序可以被集成在视频点播程序中通过导航栏的一个控件进行展示，也可以在导航栏中的应用控件被选中后进行进一步显示。

在一些实施例中，在利用显示设备实现智能电视功能或视频播放功能时，显示设备中可播放电视节目或视频文件、音频文件等。在使用显示设备过程中，用户可对显示设备进行控制，例如，播放视频、暂停视频、静音或反静音操作等。其中，反静音操作是指取消静音的操作，即将静音状态切换为输出音量状态。

目前对显示设备的控制方式通常是利用其配置的遥控器来实现，若遥控器丢失或在紧急情况下无法及时通过遥控器进行相应操作，导致对显示设备的控制不够便利，影响用户体验。

当前显示设备已大量支持外置摄像头，或者显示设备自带内置摄像头，这为通过摄像头拍摄图像，图像识别以及检测手势提供基础。因此，为提高显示设备的控制效率，本发明实施例提供一套通过摄像头识别手势控制静音(反静音)、视频播放暂停的手势识别方法。

本发明实施例提供的基于手势识别实现全局静音、反静音、以及在全屏场景下控制视频播放暂停的智能方法，可实现对显示设备的高效控制，并能够在手势检测过中通过计算有效帧率来判断是否取消或继续执行相应操作。

需要说明的是，本申请提出通过手势去实现特定的指令，如全局静音、反静音、以及在全屏场景下控制视频播放暂停等指令，当然，这些指令仅仅是示例性的说明，用户也可以通过同样一个手势赋予另一个指令含义。当时往往为了使得指令具有对应性，一个手势仅对应一个指令。而对于某个特定的指令，用户也可以选择其他的手势去触发。对此，本申请只明确手势和指令一一对应，具体确定什么样的指令对应何种手势，以及如何将手势和对应的指令结合起来本申请不作特殊的规定。

图6示出了根据一些实施例的显示设备的控制方法的第一种流程图。本发明实施 例提供的显示设包括：显示器，被配置为呈现用户界面；图像采集器或者可连接图像采集器的用户接口，图像采集器被配置为采集用户图像；用户接口用于通过外部的语音、触摸、手势、按压等动作实现用户指令输入功能；分别与显示器和图像采集器连接的控制器，在执行图6所示的显示设备的控制方法时，控制器被配置为执行下述步骤：

S11、响应于触发用户界面中全局手势开关时产生的开关开启指令，检测图像采集器是否已被需要启动图像采集器的指定应用所占用。

在实现基于手势识别对显示设备进行控制时，需要显示设备中配置手势检测功能入口，手势检测功能的实现方式可以配置在显示设备的手势开关来实现。如果手势开关被开启，则可开启显示设备的手势检测功能，以根据检测到的用户手势实现对显示设备的相应控制；如果手势开关被关闭，则可关闭显示设备的手势检测功能。

图7示出了根据一些实施例的用户界面中呈现手势开关的界面示意图。参见图7中(a)，如果显示设备中配置手势检测功能，在用户界面中显示AI设置按钮，触发AI设置按钮，在用户界面中显示AI设置界面，AI设置界面中呈现全局手势开关控制按钮。点击全局手势开关控制按钮，在用户界面中显示如图7中(b)所示的全局手势设置界面，全局手势设置界面中呈现手势控制开关，即为全局手势开关。点击手势控制开关，可将显示设备的全局手势开关开启。为实现基于手势识别的方式来控制显示设备，则可开启全局手势开关。

手势开关被开启后，显示设备可执行手势检测功能。但是，由于实现手势检测功能需要调用图像采集器(摄像头)实时采集包括用户手势的用户图像，通过识别用户图像中的用户手势的类型，以对显示设备进行控制，如播放、暂停、静音、反静音等。因此，需要保证实现手势检测功能时，图像采集器处于未被占用状态。

可调用图像采集器的应用为需要启动图像采集器的指定应用所，该指定应用是指在运行时，需要利用摄像头实现相应功能的应用，如拍照应用。如果图像采集器被需要启动图像采集器的指定应用所占用，说明图像采集器虽然在执行图像采集，但是用途不是手势检测，因此，只有在图像采集器未被需要启动图像采集器的指定应用所占用时，才可实现手势检测功能。

例如，如果用户已经进入拍照功能app，此时的图像采集器所采集到的图像供拍照或者预览使用，无法再进入手势检测功能，否则，用户在拍照的过程中，单纯的POSE摆拍被理解为指令执行，无形中打断了拍摄过程，无用户的本意不符。

为准确判断在全局手势开关被开启后，显示设备是否可实现手势检测功能，需要先判断图像采集器是否被需要启动图像采集器的指定应用所占用。具体地，在一些实施例中，控制器在执行检测图像采集器是否被需要启动图像采集器的指定应用所占用，被进一步配置为执行下述步骤：

步骤111、获取图像采集器的属性状态值。

步骤112、如果属性状态值为第一数值，则确定图像采集器被需要启动图像采集器的指定应用所占用。

步骤113、如果属性状态值为第二数值，则确定图像采集器未被需要启动图像采集器的指定应用所占用。

图像采集器是否被需要启动图像采集器的指定应用所占用可依据其属性状态值进 行判断，在全局手势开关处于开启状态的情况下，获取图像采集器的属性状态值。属性状态值可根据其是否被占用的情况包括两种数值，即第一数值和第二数值。在一些实施例中，第一数值可为1，第二数值可为0。

如果属性状态值为第一数值，即为1时，则确定图像采集器被需要启动图像采集器的指定应用所占用。如果属性状态值为第二数值，即为0时，则确定图像采集器未被需要启动图像采集器的指定应用所占用。

S12、如果图像采集器被需要启动图像采集器的指定应用所占用，则不开启手势检测功能。

S13、如果图像采集器未被需要启动图像采集器的指定应用所占用，则开启手势检测功能，手势检测功能用于对包括用户手势的用户图像进行检测，基于用户手势对显示设备进行相应控制。

在图像采集器被需要启动图像采集器的指定应用所占用时，说明图像采集器无法采集用户图像，此时，则不开启手势检测功能，即不进行手势检测过程。在图像采集器未被需要启动图像采集器的指定应用所占用时，说明图像采集器可以实时采集用户图像，此时，则开启手势检测功能，即进行手势检测过程。

显示设备在进行手势检测时，可通过图像采集器实时采集包括用户手势的用户图像，并对用户图像中的用户手势进行手势识别，以根据识别出的指定手势实现对显示设备的相应控制。

在一些实施例中，为实现基于手势识别对显示设备的控制，可预先配置每种控制所对应的控制手势。例如，在实现控制显示设备的静音和反静音操作时，可预设控制手势为单手比数字1(静音控制手势)，如用食指代表数字1；在实现控制显示设备的播放和暂停操作时，可预设控制手势为单手五指手势(播放暂停控制手势)，如单手的手掌。

例如，在显示设备正常运行下，通过单手比数字1实现全局静音，再次单手比数字1实现反静音操作；在除物理信道以外的全屏播放形式播放视频时，通过比单手五指手势，实现当前播放的暂停，再次比单手五指手势，则继续播放视频。

可见，通过手势识别实现显示设备的控制，可无需遥控器的参与，通过用户用手部做出相应的手势即可实现对显示设备的控制，使得对显示设备的控制效率提高，用户体验好。

在一些实施例中，由于利用显示设备播放视频文件时，可采用两种播放形式，即全屏播放形式和小窗口播放形式。全屏播放形式是指在用户界面中全局显示视频画面(全屏界面)，小窗口播放形式是指在用户界面中生成小窗口，在局部显示视频画面。

为便于对视频文件的播放和暂停进行准确控制，可设定在全屏播放形式下，才可基于手势识别的方式对显示设备进行播放或暂停操作。因此，在识别到用户图像中的用户手势为播放暂停控制手势时，需判断当前显示设备中的视频文件的播放形式。

图8示出了根据一些实施例的显示设备的控制方法的第二种流程图。本发明实施例提供的显示设备，包括：显示器，被配置为呈现显示有视频文件的用户界面；图像采集器或者可连接图像采集器的用户接口，图像采集器被配置为采集用户图像，用户接口用于通过外部的语音、触摸、手势、按压等动作实现用户指令输入功能；分别与显示器和图像采集器连接的控制器，在执行图8所示的显示设备的控制方法时，控制 器被配置为执行下述步骤：

S21、在手势检测功能开启的情况下，获取图像采集器采集的包括用户手势的用户图像。

在基于手势识别实现显示设备的控制时，需先开启手势开关，且在图像采集器未被占用的情况下，启动手势检测流程。此时，由图像采集器实时采集在检测区域内的用户图像。

在用户使用显示设备过程中，如果需要利用手势对显示设备进行控制，则用户可站在图像采集器(摄像头)的检测区域内，并利用手指摆出手势。图像采集器在检测区域内采集到用户图像，且用户图像中包括用户手势，控制器对包括用户手势的用户图像进行手势识别，判断用户手势是否为播放暂停控制手势或静音控制手势。

播放暂停控制手势用于实现对显示设备进行视频播放或暂停操作，在一些实施例中，播放暂停控制手势可设定为单手比五指手势。静音控制手势用于实现对显示设备进行静音和反静音操作，在一些实施例中，静音控制手势可设定为单手比数字1手势。播放暂停控制手势或静音控制手势还可根据用户的使用习惯进行自定义，本实施例不做具体限定。

图像采集器按照预设频率实时采集器检测区域内的用户图像，并依次发送至控制器。控制器对每一帧用户图像进行手势识别。在一些实施例中，图像采集器的预设频率为30-40ms/帧，即图像采集器采集一帧用户图像的耗时为30-40ms。

S22、在检测到用户图像中的用户手势为播放暂停控制手势时，获取播放视频文件的播放形式广播。

在一些实施例中，实现对用户图像中的用户手势进行识别的设备可为图像采集器，图像采集器在检测到用户图像中的用户手势为播放暂停控制手势时，可将检测的结果发送至控制器，由控制器基于播放暂停控制手势控制显示设备实现对应的操作。

在一些实施例中，实现对用户图像中的用户手势进行识别的设备还可为控制器，控制器接收到图像采集器实时采集的用户图像后，对用户图像进行手势识别。若检测到用户图像中的用户手势为播放暂停控制手势时，可基于播放暂停控制手势控制显示设备实现对应的操作。

由于基于手势控制显示设备的视频播放或暂停操作，需要在全屏播放场景下。因此，在判断出用户图像中的用户手势为播放暂停控制手势时，说明用户需要对显示设备中播放的视频文件进行播放或暂停操作，此时，需获取显示设备在播放视频文件时所采用的播放形式，以便确定是否可基于播放暂停控制手势产生的控制指令，对视频文件进行播放操作或暂停操作。

视频文件的播放形式可以广播的形式获取，控制器获取播放视频文件的播放形式广播。例如，若接收到的播放形式广播为：com.hisense.show.fivefingermenu，说明此时播放视频文件的形式为全屏播放形式。若接收到的播放形式广播为：com.hisense.hide.fivefingermenu，说明此时播放视频文件的形式为小窗口播放形式。

S23、如果播放形式广播表征全屏播放形式，则响应播放暂停控制手势产生的控制指令，对视频文件进行播放操作或暂停操作。

S24、如果播放形式广播表征小窗口播放形式，则不响应播放暂停控制手势产生的控制指令。

由于本发明对播放暂停操作场景只限定在全屏播放的情况下，因此，若在图像采集器采集的用户图像中检测到单手五指手势(播放暂停控制手势)时需要对应用场景做判断。

在判断出视频文件的播放形式广播表征全屏播放形式，说明该场景下可基于手势实现对显示设备的控制，即可响应播放暂停控制手势产生的控制指令，对视频文件进行播放操作或暂停操作。在判断出视频文件的播放形式广播表征小窗口播放形式，说明该场景下不可基于手势实现对显示设备的控制，此时，不响应播放暂停控制手势产生的控制指令，无法对视频文件进行播放操作或暂停操作。

在一些实施例中，判断当前播放形式是否为全屏播放界面的方式可通过获取播放形式广播和信道监听的方式来确定，通过监听信道来判断当前是物理信道还是安卓信道，通过播放形式广播判断此时是全屏窗口播放还是小窗口播放。

物理信道是指显示设备实现画面输出时连接信号源的通道，例如，HDMI接口、机顶盒等。安卓信道是指连接安卓系统实现画面输出的通道。

如果播放视频文件时的显示设备采用安卓信道并且为全屏广播的情况下，则判断为全屏播放界面，此时单手比五指手势才起作用，即可响应播放暂停控制手势产生的控制指令，对视频文件进行播放操作或暂停操作。

如果接收到小窗口播放广播，或是监听到信道切到物理信道下，则单手五指手势不在起作用，即不响应播放暂停控制手势产生的控制指令，无法对视频文件进行播放操作或暂停操作，只能执行全局静音非静音操作。

在一些实施例中，控制器在执行获取播放视频文件的播放形式广播之前，被进一步配置为执行下述步骤：

步骤221、获取用于标识信道类型的信号源ID。

步骤222、如果信号源ID表征第一信道类型，则获取播放视频文件的播放形式广播，基于播放形式广播表征的播放形式，确定是否响应播放暂停控制手势产生的控制指令。

步骤223、如果信号源ID表征第二信道类型，则不响应播放暂停控制手势产生的控制指令。

在检测到用户图像中的用户手势为播放暂停控制手势时，说明当前应用场景为需要对显示设备进行视频播放或暂停控制。此时，需判断显示设备是否为全屏界面播放视频文件。

在一些实施例中，通过获取播放形式广播和信道监听的方式来确定是否在全屏播放场景，即先确定显示设备的信道类型，再确定视频文件的播放形式广播。

在确定显示设备的信道类型时，可直接获取系统中用于标识信道类型的信号源ID。信道类型包括物理信道和安卓信道，安卓信道的信号源ID为2562，物理信道的信号源ID为64或其他除2562以外的数值。

如果获取到的信号源ID表征第一信道类型，例如，2562，说明当前显示设备的信道类型为安卓信道，此时，可继续判断播放视频文件的方式是全屏播放形式还是小窗口播放形式。具体地，获取播放视频文件的播放形式广播，基于播放形式广播表征的播放形式，确定是否响应播放暂停控制手势产生的控制指令。判断播放形式的具体实现过程可参照前述实施例内容，此处不再赘述。

若在安卓信道且为全屏播放形式播放视频文件时，则可响应播放暂停控制手势产生的控制指令，对视频文件进行播放操作或暂停操作。若在安卓信道，但为小窗口播放形式播放视频文件时，则不可响应播放暂停控制手势产生的控制指令，无法对视频文件进行播放操作或暂停操作。

如果获取到的信号源ID表征第二信道类型，例如，64或其他除2562以外的数值，说明当前显示设备的信道类型为物理信道，此时，无需再判断播放视频文件的方式是全屏播放形式还是小窗口播放形式，即可直接不响应播放暂停控制手势产生的控制指令，无法对视频文件进行播放操作或暂停操作。

可见，本发明实施例提供的显示设备，在利用手势对显示设备进行控制时，若基于图像采集器采集的用户图像识别到用户手势为播放暂停控制手势，则监听信号类型并获取播放视频的播放形式广播，以判断视频文件的播放形式是全屏播放形式还是小窗口播放形式。在安卓信道并且为全屏广播的情况下，可响应播放暂停控制手势产生的控制指令，对视频文件进行播放操作或暂停操作；若为小窗口播放形式或是在物理信道下，不响应播放暂停控制手势产生的控制指令。因此，在控制显示设备的播放或暂停场景下，基于信道类型和播放形式判断是否可响应播放暂停控制手势的控制指令，以便对显示设备进行高效控制，提高用户体验。

在基于手势识别方法对显示设备进行控制时，若对采集到的用户图像进行手势识别，识别到的用户手势为播放暂停控制手势，则控制显示设备进行播放操作或暂停操作；若识别到的用户手势为静音控制手势，则控制显示设备进行静音操作或反静音操作。上述手势识别方法可实现对显示设备的高效控制，即使在没有遥控器的情况下，用户也可便利地控制显示设备，提高用户体验。

图9示出了根据一些实施例的控制显示设备执行播放操作或暂停操作的方法流程图；图10示出了根据一些实施例的控制显示设备执行播放操作或暂停操作的数据流图。参见图9和图10，在一些实施例中，控制器在执行步骤S32，即执行如果用户手势为播放暂停控制手势，则响应于播放暂停控制手势对应的控制指令执行播放操作或暂停操作，被进一步配置为：

S321、识别用户图像中的用户手势，判断用户手势是否为播放暂停控制手势。

S322、在用户手势为播放暂停控制手势时，计算播放暂停控制手势的第一有效成功帧率。

S323、如果播放暂停控制手势的第一有效成功帧率超过第一有效阈值，则响应于播放暂停控制手势对应的控制指令执行播放操作或暂停操作。

由于虽然用户位于图像采集器的检测区域内，例如用户站立在显示设备的前方，图像采集器采集到包括用户手势的用户图像以进行AI智能检测。但如果用户摆出的用户手势并非是要实现显示设备控制的手势，而是其他不经意摆出的手势，此时将无需启动控制显示设备的手势检测过程。

在一些实施例中，控制器在执行步骤S321，即执行判断用户手势是否为播放暂停控制手势，被进一步配置为执行下述步骤：

步骤3211、匹配用户手势与预设控制手势，预设控制手势包括播放暂停控制手势和静音控制手势。

步骤3212、如果用户手势与播放暂停控制手势匹配一致，则计算用户手势与播放 暂停控制手势的播放暂停手势置信度。

步骤3213、如果播放暂停手势置信度超过手势成功阈值，则确定用户手势为播放暂停控制手势。

由于可对用户图像进行手势识别的主体可为图像采集器，也可为控制器。因此，由图像采集器或控制器识别每一帧用户图像中的用户手势时，将每一帧用户图像中的用户手势分别与预设控制手势进行匹配，预设控制手势包括播放暂停控制手势和静音控制手势，以确定当前帧用户图像中的用户手势是要控制显示设备进行播放(暂停)操作或静音(反静音)操作。

如果识别到用户手势与播放暂停控制手势匹配一致，说明用户想要控制显示设备执行播放或暂停操作。但是，若用户手势摆出的效果不到位，例如，播放暂停控制手势为单手五指手势时，如果用户的至少一根手指以弯曲的状态摆出，导致用户摆出的手势不像单手五指手势。此时，这种模棱两可的用户手势，将导致无法准确确定是否将该用户手势识别为播放暂停控制手势，产生误识别，将导致无法及时进行显示设备控制。

因此，为保证能够对显示设备进行及时有效控制，需判断该识别出用户手势的用户图像是否为播放暂停控制手势的手势成功帧，即需要用户手势为播放暂停控制手势的相似度超过阈值时，才将其确定为播放暂停控制手势。

计算每一帧用户图像中的用户手势与播放暂停控制手势的播放暂停手势置信度，即相似度。判断每一个播放暂停手势置信度是否超过手势成功阈值，在一些实施例中，手势成功阈值可设定为99％，如果某个播放暂停手势置信度未超过99％，则确定用户手势不是播放暂停控制手势；如果某个播放暂停手势置信度超过99％，则将该播放暂停手势置信度对应的用户手势确定为播放暂停控制手势，以避免产生误识别。

同时，将播放暂停手势置信度超过手势成功阈值的用户手势所属用户图像确定为手势成功帧。在手势检测过程中，统计手势成功帧的帧数和所有采集到的用户图像的总手势识别帧数。

在手势检测过程中，并非在某一帧用户图像中的用户手势识别为播放暂停控制手势时即视为手势识别成功，即执行对应的控制指令，控制显示设备执行相应操作。而是需要连续检测数帧用户图像后，将播放暂停控制手势对应的手势成功帧的比率超过一定阈值后，才可判断为手势识别成功，再执行对应的控制指令，控制显示设备执行相应操作。

在判断是否手势识别成功时，以连续采集的数帧用户图像进行计算，可以保证显示设备的高效控制，避免用户在作出一个播放暂停控制手势后又马上放下，而显示设备已识别到该手势即响应对应的控制指令执行对应的操作，而实际上用户将手势马上放下的场景是不需要对显示设备进行控制，影响用户体验。

因此，在识别到用户手势为播放暂停控制手势时，计算播放暂停控制手势的第一有效成功帧率，以判断当前场景是否可视为手势识别成功，以准确地对显示设备进行控制。

在一些实施例中，控制器在执行步骤S322，即执行在用户手势为播放暂停控制手势时，计算播放暂停控制手势的第一有效成功帧率，被进一步配置为：

步骤3221、在用户手势为播放暂停控制手势时，获取第一检测时长内采集的用户 图像的总手势识别帧数和用户手势为播放暂停控制手势时对应的用户图像的手势成功帧数。

步骤3222、计算手势成功帧数和总手势识别帧数的比率，将比率确定为播放暂停控制手势的第一有效成功帧率。

在用户手势对应的播放暂停手势置信度超过99％时，可将对应的用户手势确定为播放暂停控制手势，该用户手势所在的用户图像为手势成功帧，计算从检测到手势成功帧的时刻开始接下来的第一检测时长内，图像采集器所采集的所有用户图像中，播放暂停控制手势的第一有效成功帧率。

为此，获取第一检测时长内采集的用户图像的总手势识别帧数和用户手势为播放暂停控制手势时对应的用户图像的手势成功帧数，在一些实施例中，手势检测过程中判断是否手势识别成功的过程所对应的时长为第一检测时长，第一检测时长的起始时刻为检测到手势成功帧的时刻，第一检测时长可设定为500ms。第一检测时长还可根据实际应用设定为其他时长，此处不做具体限定。

第一检测时长为在手势检测过程中图像采集器持续采集包括用户手势的用户图像的最大时长，图像采集器将在第一检测时长内采集到的多帧用户图像依次发送至控制器，控制器可统计在第一检测时长内接收到的多帧用户图像的总手势识别帧数。

计算手势成功帧数和总手势识别帧数的比率，即计算在第一检测时长内控制器检测到播放暂停控制手势的成功帧数占总手势识别帧数的比率，将比率确定为播放暂停控制手势的第一有效成功帧率。

例如，在AI智能检测方法检测到某帧用户图像中的用户手势为播放暂停控制手势时，启动一个500ms(第一检测时长)的计数器，并对500ms内每一帧用户图像进行检测，如果检测到播放暂停控制手势，则播放暂停控制手势对应的手势成功帧数(DetectedFrames)和总手势识别帧数(TotalFrames)分别加一，如果检测到的手势不是播放暂停控制手势，则只将总手势识别帧数(TotalFrames)加一，待500ms时间到达时，计算手势成功帧数与总帧数的比率(SuccessRate＝DetectedFrames/TotalFrames)，确定为播放暂停控制手势的第一有效成功帧率。

在一些实施例中，为避免用户在摆出播放暂停控制手势后，仅停留短暂时间便将该手势放下，导致控制器无法确定是否需要执行对应的操作。因此，为便于准确地对显示设备进行控制，可设定第一有效阈值，使得图像采集器在第一检测时长内采集的多帧用户图像中，只有播放暂停控制手势的第一有效成功帧率超过第一有效阈值，才可视为手势识别成功。

如果播放暂停控制手势的第一有效成功帧率未超过第一有效阈值，说明用户仅短暂作出播放暂停控制手势又放下，此时说明手势识别未成功，不可执行后续的控制操作；如果播放暂停控制手势的第一有效成功帧率超过第一有效阈值，说明手势识别成功，此时，则响应于播放暂停控制手势对应的控制指令执行播放操作或暂停操作，同时将DetectedFrames和TotalFrames的计数清零，以待下次检测。

在一些实施例中，第一有效阈值可设定为95％，如果识别成功率超过第一有效阈值95％，说明在当前的手势检测过程中(第一检测时长内)，手势识别成功，此时，可响应于播放暂停控制手势对应的控制指令执行播放操作或暂停操作。第一有效阈值还可根据实际应用情况设定为其他数值，此处不做具体限定。

在一些实施例中，在用户图像中的播放暂停控制手势的手势识别成功时，为及时提示用户当前手势识别成功，请保持播放暂停控制手势，避免播放暂停操作被中途取消，可在用户界面中呈现手势检测提示界面。

图11示出了根据一些实施例的播放暂停场景下手势检测提示界面的一种示意图。此时，参见图11，控制器被进一步配置为：在确定用户手势为播放暂停控制手势时，在用户界面中呈现手势检测提示界面，手势检测提示界面中呈现手势识别成功提示信息和手势图案。

在第一检测时长内采集的用户图像中的播放暂停控制手势的第一有效成功帧率超过第一有效阈值，说明手势识别成功，此时，在用户界面中呈现手势检测提示界面。手势检测提示界面中呈现手势识别成功提示信息和手势图案，手势识别成功提示信息用于提示用户当前正处于手势检测过程，提示信息内容可为“试着比手势，暂停播放视频”。手势识别成功提示信息可选择性配置，也可不进行显示。手势图案用于标识播放暂停控制手势的UI形式，通常情况下，该图案的UI形式与用户用手指摆出的姿势相同。例如，如果播放暂停控制手势为单手五指手势，则播放暂停控制手势图案为“手掌”图案。

在一些实施例中，在手势识别成功后，即可响应播放暂停控制手势对应的控制指令执行播放操作或暂停操作。但是，为了进一步保证在手势识别成功后，用户是否一直保持播放暂停控制手势，而未中途放下，可在手势识别成功后，再次计算500ms内的播放暂停控制手势的第二有效成功帧率。

具体地，控制器在执行步骤S323，即执行响应于播放暂停控制手势对应的控制指令执行播放操作或暂停操作，被进一步配置为执行下述步骤：

步骤3241、在播放暂停控制手势的第一有效成功帧率超过第一有效阈值时，获取第二检测时长内采集的用户图像。

步骤3242、计算第二检测时长内采集的用户图像中播放暂停控制手势的第二有效成功帧率。

步骤3243、如果播放暂停控制手势的第二有效成功帧率超过第三有效阈值，则响应于播放暂停控制手势对应的控制指令执行播放操作或暂停操作。

步骤3244、如果播放暂停控制手势的第二有效成功帧率未超过第三有效阈值，则取消响应于播放暂停控制手势对应的控制指令进行播放操作或暂停操作的执行。

在手势识别成功时，即检测到播放暂停控制手势的第一有效成功帧率超过第一有效阈值时，再计算第二检测时长内播放暂停控制手势的第二有效成功帧率，此时，获取第二检测时长内图像采集器采集的用户图像。第二有效成功帧率的计算方法与第一有效成功帧率的计算方法相同，此处不再赘述。

第二检测时长的起始时刻为检测到手势识别成功的时刻，第二检测时长可设定为500ms。第二检测时长还可根据实际应用设定为其他时长，此处不做具体限定。

在第二次计算有效成功帧率过程中，为便于准确地对显示设备进行控制，可设定第三有效阈值，使得图像采集器在第二检测时长内采集的多帧用户图像中，只有播放暂停控制手势的第二有效成功帧率超过第三有效阈值，则可响应于播放暂停控制手势对应的控制指令执行播放操作或暂停操作。

在一些实施例中，第三有效阈值可设定为70％，如果识别成功率超过第三有效阈 值70％，说明在当前的手势检测过程中(第二检测时长内)，手势识别成功，此时，可响应于播放暂停控制手势对应的控制指令执行播放操作或暂停操作。第三有效阈值还可根据实际应用情况设定为其他数值，此处不做具体限定。

因此，在判断出播放暂停控制手势的第二有效成功帧率超过第三有效阈值，则响应于播放暂停控制手势对应的控制指令执行播放操作或暂停操作。在判断出播放暂停控制手势的第二有效成功帧率未超过第三有效阈值，说明用户中途放下手势，则判定为用户取消相应的操作，此时，取消响应于播放暂停控制手势对应的控制指令进行播放操作或暂停操作的执行。

在第二次计算有效成功帧率过程中，为提示用户当前正在进行手势识别，可在手势检测提示界面中呈现缓冲动画。即在手势识别成功之后，在用户界面中呈现手势检测提示界面后立即执行一个500ms的缓冲动画，缓冲动画的显示时长即为第二次判断手势识别成功的时长，即第二检测时长。

图12示出了根据一些实施例的播放暂停场景下手势检测提示界面的另一种示意图。此时，参见图12，控制器被配置为执行：在获取第二检测时长内采集的用户图像时，将手势图案以缓冲动画的形式进行展示，缓冲动画的展示时长为第二检测时长。

此场景下的手势检测提示界面中的手势识别成功提示信息用于告知用户当前可实现播放暂停操作控制的指定手势识别成功，其提示信息内容可为“手势识别中…”，用户在看到该提示信息后，即可获知可控制显示设备基于播放暂停控制手势执行播放操作或暂停操作。例如，手势图案以缓冲动画的形式进行展示，展示形式可为转圈的形式，从手势图案的顶点开始，沿顺时针转一圈，缓冲动画转动一圈的时长即为第二检测时长。

需要说明的是，图11所示的手势检测提示界面和图12所示的手势检测提示界面为连续显示的状态，在手势识别成功时，在用户界面中显示图11所示的手势检测提示界面，且在手势识别成功后，在用户界面中立即显示图12所示的手势检测提示界面，即在用户界面中出现手势图案后，立即进行缓存动画的转圈效果。图12所示的手势检测提示界面的展示过程即为进行第二次手势识别的过程。

在一些实施例中，在判断出播放暂停控制手势的第二有效成功帧率未超过第三有效阈值，说明用户中途放下手势，则判定为用户取消相应的操作，此时，手势图案的缓冲动画不再执行，手势检测提示界面取消显示，后续不再执行相应操作，即取消响应于播放暂停控制手势对应的控制指令进行播放操作或暂停操作的执行。

在一些实施例中，在第二次的手势识别成功后，显示设备即可响应播放暂停控制手势对应的控制指令，执行播放操作或暂停操作。由于在播放暂停场景下，只限定在全屏播放的情况下，因此，需根据当前视频文件的播放形式确定是否可响应播放暂停控制手势对应的控制指令。

具体地，控制器在执行响应于播放暂停控制手势对应的控制指令执行播放操作或暂停操作，被进一步配置为：

步骤3251、响应于在播放暂停控制手势的第二有效成功帧率超过第三有效阈值时产生的播放暂停控制指令，获取播放视频文件的播放形式广播。

步骤3252、如果播放形式广播表征全屏播放形式，则响应于播放暂停控制指令，对所述视频文件执行播放操作或暂停操作。

步骤3253、如果播放形式广播表征小窗口播放形式，则不响应播放暂停控制指令。

若在第二次的手势识别成功后，即在播放暂停控制手势的第二有效成功帧率超过第三有效阈值时，说明可对显示设备进行播放操作或暂停操作，此时，产生播放暂停控制指令。播放暂停控制指令以遥控器虚拟按键的形式进行发送。

控制器响应于播放暂停控制指令，获取播放视频文件的播放形式广播。在判断出视频文件的播放形式广播表征全屏播放形式，说明该场景下可基于手势实现对显示设备的控制，即可响应播放暂停控制手势产生的控制指令，对视频文件进行播放操作或暂停操作。在判断出视频文件的播放形式广播表征小窗口播放形式，说明该场景下不可基于手势实现对显示设备的控制，此时，不响应播放暂停控制手势产生的控制指令，无法对视频文件进行播放操作或暂停操作。

在一些实施例中，判断当前播放形式是否为全屏播放界面的方式可通过获取播放形式广播和信道监听的方式来确定，通过监听信道来判断当前是物理信道还是安卓信道，通过播放形式广播判断此时是全屏窗口播放还是小窗口播放。

若在安卓信道且为全屏播放形式播放视频文件时，则可响应播放暂停控制手势产生的控制指令，对视频文件进行播放操作或暂停操作。若在安卓信道，但为小窗口播放形式播放视频文件时，则不可响应播放暂停控制手势产生的控制指令，无法对视频文件进行播放操作或暂停操作。若显示设备的信道类型为物理信道，此时，无需再判断播放视频文件的方式是全屏播放形式还是小窗口播放形式，即可直接不响应播放暂停控制手势产生的控制指令，无法对视频文件进行播放操作或暂停操作。具体的实现过程可参照前述实施例提供的步骤S21至S23及其相关内容，此处不再赘述。

而为具体确定是执行播放操作还是暂停操作，需先判断当前显示设备的所处状态。若当前显示设备处于播放状态，则响应播放暂停控制手势对应的控制指令，执行暂停操作；若当前显示设备处于暂停状态，则响应播放暂停控制手势对应的控制指令，执行播放操作。

在一些实施例中，控制器在执行步骤3252，即执行如果播放形式广播表征全屏播放形式，则响应于播放暂停控制指令，对视频文件执行播放操作或暂停操作，被进一步配置为执行下述步骤：

步骤3261、在播放形式广播表征全屏播放形式，获取视频文件的当前播放状态。

步骤3262、如果当前播放状态为视频播放状态，则响应于播放暂停控制指令，对视频文件执行暂停操作。

步骤3263、如果当前播放状态为视频暂停状态，则响应于播放暂停控制指令，对视频文件执行播放操作。

在判断当前显示设备播放视频文件的播放形式为全屏播放形式时，获取显示设备播放视频文件时的当前播放状态。如果当前播放状态为视频播放状态，说明当前用户做出的手势可进行暂停操作，即可响应于播放暂停控制指令，对视频文件执行暂停操作。如果当前播放状态为视频暂停状态，说明当前用户做出的手势可进行播放操作，即可响应于播放暂停控制指令，对视频文件执行播放操作。

显示设备的当前播放状态可通过模拟发送遥控器center键值的形式确定。当在全屏视频播放的时候，用户做出播放暂停控制手势，如五指手势，并且检测成功后，此时模拟发送遥控器Center键值，系统在收到Center键时会根据接口videoview.isplaying 是否为true来判断当前视频是否为播放状态。

如果videoview.isplaying是true的情况，则表明此时是视频播放状态，此时系统会响应播放暂停控制指令，调用videoview.pause接口再执行暂停操作；如果videoview.isplaying为false的情况，则表明当前视频为视频暂停状态，此时系统会响应播放暂停控制指令，调用videoview.start执行播放操作。

在一些实施例中，在基于前述方式完成一次控制显示设备执行播放操作或暂停操作的过程后，为提示用户已完成控制，可在用户界面中呈现操作完成提示界面。

图13示出了根据一些实施例的用户界面中呈现操作完成提示界面的示意图。参见图13，在完成一次显示设备控制后，在用户界面中呈现操作完成提示界面。操作完成提示界面中显示有操作完成图案和操作完成提示信息，操作完成图案可为“对号”UI形式，操作完成提示信息的内容可为“操作成功”等。

可见，本发明实施例提供的显示设备，在基于手势识别方法对显示设备进行控制时，若对采集到的用户图像进行手势识别，识别到的用户手势为播放暂停控制手势，则控制显示设备进行播放操作或暂停操作。且在控制操作时，需播放暂停手势置信度超过手势成功阈值，在第一检测时长内播放暂停控制手势的第一有效成功帧率超过第一有效阈值，在第二检测时长内播放暂停控制手势的第二有效成功帧率超过第三有效阈值，以及，处于全屏播放形式的场景下，才可响应播放暂停控制手势对应的控制指令，执行播放操作或暂停操作，使控制操作更为准确。上述手势识别方法可实现对显示设备的高效控制，即使在没有遥控器的情况下，用户也可便利地控制显示设备，提高用户体验。

图14示出了根据一些实施例的控制显示设备执行静音操作或反静音操作的方法流程图；图15示出了根据一些实施例的控制显示设备执行静音操作或反静音操作的数据流图。参见图14和图15，在一些实施例中，控制器在执行步骤S33，即执行如果用户手势为静音控制手势，则响应于静音控制手势对应的控制指令执行静音操作或反静音操作，被进一步配置为执行下述步骤：

S331、识别用户图像中的用户手势，判断用户手势是否为静音控制手势。

S332、在用户手势为静音控制手势时，计算静音控制手势的第一有效成功帧率。

S333、如果静音控制手势的第一有效成功帧率超过第二有效阈值，则响应于静音控制手势对应的控制指令执行静音操作或反静音操作。

具体的实现方案与图像识别确定视频播放和暂停的方案类似，再次不做具体的说明。

图15示出了根据一些实施例的静音场景下手势检测提示界面的一种示意图。此时，参见图15，控制器被进一步配置为：在确定用户手势为静音控制手势时，在用户界面中呈现手势检测提示界面，手势检测提示界面中呈现手势识别成功提示信息和手势图案。

图16示出了根据一些实施例的静音场景下手势检测提示界面的另一种示意图。此时，参见图16，控制器被配置为执行：在获取第二检测时长内采集的用户图像时，将手势图案以缓冲动画的形式进行展示，缓冲动画的展示时长为第二检测时长。

此场景下的手势检测提示界面中的手势识别成功提示信息用于告知用户当前可实现静音操作控制的指定手势识别成功，其提示信息内容可为“手势识别中…”，用户在 看到该提示信息后，即可获知可控制显示设备基于静音控制手势执行静音操作或反静音操作。

手势图案以缓冲动画的形式进行展示，展示形式可为转圈的形式，从手势图案的顶点开始，沿顺时针转一圈，缓冲动画转动一圈的时长即为第二检测时长。

需要说明的是，图15所示的手势检测提示界面和图16所示的手势检测提示界面为连续显示的状态，在第一次手势识别成功时，在用户界面中显示图15所示的手势检测提示界面，且在第一次手势识别成功后，在用户界面中立即显示图16所示的手势检测提示界面，即在用户界面中出现手势图案后，立即进行缓存动画的转圈效果。图16所示的手势检测提示界面的展示过程即为进行第二次手势识别的过程。

而为具体确定是执行静音操作还是反静音操作，需先判断当前显示设备的所处状态。若当前显示设备处于静音状态，则响应静音控制手势对应的控制指令，执行反静音操作；若当前显示设备处于反静音状态，则响应静音控制手势对应的控制指令，执行静音操作。

控制器响应于静音控制指令，获取系统的当前静音标志位。如果当前静音标志位为True，说明当前系统处于静音状态，因此用户做出的手势可进行反静音操作，此时显示设备即可响应于静音控制指令执行反静音操作。如果当前静音标志位为False，说明当前系统处于反静音状态，因此用户做出的手势可进行静音操作，此时显示设备即可响应于静音控制指令执行静音操作。

当用户手势为静音控制手势，如比数字1时，在手势识别成功后，模拟发送遥控器静音键(mute)键值，系统收到遥控器的mute键值后，调用getmuteflag来获取当前的muteflag(静音标志位)，如果当前muteflag为True，则表明此时显示设备处于静音状态，显示设备收到mute键值后取消掉静音，即执行反静音操作，并将muteflge设成False。如果获取的当前muteflag为False，则表明此时显示设备处于非静音状态，显示设备收到mute键值后执行静音操作，并将muteflag设置成True。

在一些实施例中，在基于前述方式完成一次控制显示设备执行静音操作或反静音操作的过程后，为提示用户已完成控制，可在用户界面中呈现操作完成提示界面。操作完成提示界面可如图13所示，操作完成提示界面中显示有操作完成图案和操作完成提示信息，操作完成图案可为“对号”UI形式，操作完成提示信息的内容可为“操作成功”等。

可见，本发明实施例提供的显示设备，在基于手势识别方法对显示设备进行控制时，若对采集到的用户图像进行手势识别，识别到的用户手势为静音控制手势，则控制显示设备进行静音操作或反静音操作。且在控制操作时，需静音手势置信度超过手势成功阈值，在第一检测时长内静音控制手势的第一有效成功帧率超过第二有效阈值，以及，在第二检测时长内静音控制手势的第二有效成功帧率超过第三有效阈值，才可响应静音控制手势对应的控制指令，执行静音操作或反静音操作，使控制操作更为准确。上述手势识别方法可实现对显示设备的高效控制，即使在没有遥控器的情况下，用户也可便利地控制显示设备，提高用户体验。

在一些实施例中，为避免连续响应播放暂停控制指令或静音控制指令，本发明执行的控制方法在执行一次操作过程之后，需间隔预设时长后，才可执行下一次操作。

具体地，在完成一次操作控制后，控制器被进一步配置为执行下述步骤：

步骤41、在执行一次播放操作或暂停操作，或者，静音操作或反静音操作的控制过程后，间隔预设时长，获取图像采集器采集的包括用户手势的下一帧用户图像。

步骤42、在下一帧用户图像中的用户手势为播放暂停控制手势时，则响应于播放暂停控制手势对应的控制指令执行下一次的播放操作或暂停操作。

步骤43、在下一帧用户图像中的用户手势为静音控制手势时，则响应于静音控制手势对应的控制指令执行下一次的静音操作或反静音操作。

在当前次的播放操作或暂停操作，或者，静音操作或反静音操作过程被完整完成后，若用户在图像采集器的检测区域内再次做出用户手势，则图像采集器采集包括用户手势的下一帧用户图像，并发送至控制器。控制器在接收到新的一帧用户图像后，重新进行控制手势的判断，并在判断该新的用户图像中的用户手势为播放暂停控制手势时，响应于播放暂停控制手势对应的控制指令执行下一次的播放操作或暂停操作；判断该新的用户图像中的用户手势为静音控制手势时，响应于静音控制手势对应的控制指令执行下一次的静音操作或反静音操作。具体的播放操作或暂停操作，或者，静音操作或反静音操作控制过程可参照前述实施例的内容，此处不再赘述。

在一些实施例中，间隔的预设时长可设定为2秒，也可根据实际应用情况设定为其他数值，此处不做具体限定。

无论是成功完成一次控制操作后，还是未成功完成控制操作，即在中途取消操作，均需间隔2秒后进行下一帧用户图像的采集，避免用户短时间内频繁启动基于手势控制显示设备的操作。

由以上技术方案可知，本发明实施例提供的显示设备，在全局手势开关被开启后，如果图像采集器未被需要启动图像采集器的指定应用所占用，则开启手势检测功能，并获取图像采集器采集的包括用户手势的用户图像。在检测到用户图像中的用户手势为播放暂停控制手势时，播放形式广播表征全屏播放形式，则响应播放暂停控制手势产生的控制指令，对视频文件进行播放操作或暂停操作；在检测到的用户图像中的用户手势为静音控制手势时，则响应静音控制手势对应的控制指令，执行静音操作或反静音操作。可见，本发明实施例提供的显示设备，基于手势识别实现对显示设备的高效控制，即使在没有遥控器的情况下，用户也可便利地控制显示设备，提高用户体验。

【H2020G0921CN音量调节方法】在一些实施例中，在利用显示设备实现智能电视功能或视频播放功能时，显示设备中可播放不同的电视节目或不同的视频文件、音频文件等。在使用显示设备过程中，用户可基于使用需求调节显示设备的输出音量，以便用户能够沉浸在电视节目或音视频中。

由于显示设备的音量调节方式通常是利用其配置的遥控器来实现，不够便利，影响用户体验。因此，为提高显示设备输出音量的调节效率，本发明实施例提供一套通过手势识别实现音量调节的智能算法，使用AI图像检测技术识别图像中的人物手势以及在图像中的位置，通过图像中人物手势的位置变化，实现对音量的调节。而当前智能电视已大量支持外置摄像头，内置自带摄像头，这为通过摄像头拍摄图像检测手势提供基础。

本发明实施例提供的基于手势识别实现音量调节的智能算法，在能够实现音量调节的同时，还可在即使系统CPU负荷过大时，也不会出现手势检测过程中丢帧、卡 顿、检测过慢而导致的音量调节不流畅问题，能够通过识别滑动手势流畅的在显示设备上实现音量调节。

图17示出了根据一些实施例的音量调节方法的一种流程图；图18示出了根据一些实施例的音量调节方法的数据流图。为实现利用电视自带摄像头通过对拍摄图像进行手势互动识别，在电视上实现通过识别滑动手势智能调节音量，本发明实施例提供的显示设备，包括：显示器，被配置为呈现用户界面；图像采集器或者可连接图像采集器的用户接口，图像采集器被配置为采集用户图像，用户接口用于通过语音、触摸、手势、按压等动作实现用户指令输入功能；分别与显示器和图像采集器连接的控制器，在执行图17和图18所示的音量调节方法时，控制器被配置为执行下述步骤：

S41、获取图像采集器采集的包括用户手势的用户图像。

在用户使用显示设备过程中，如果需要调节显示设备的音量，则用户可站在图像采集器(摄像头)的检测区域内，并利用手指摆出手势。图像采集器在检测区域内采集到用户图像，且用户图像中包括用户手势，控制器对包括用户手势的用户图像进行手势识别，判断用户手势是否为音量调节手势。

音量调节手势用于实现对显示设备音量的智能调节，在一些实施例中，音量调节手势可设定为OK手势。音量调节手势还可根据用户的使用习惯进行自定义，例如，还可设定为手掌手势、手指弯曲手势等，本实施例不做具体限定。

图像采集器按照预设频率实时采集器检测区域内的用户图像，并依次发送至控制器。控制器对每一帧用户图像进行手势识别，若在第一时长内被识别的音量调节手势的成功率大于第一阈值，则视为手势识别成功，即可根据识别出的音量调节手势实现对显示设备音量的智能调节。

在一些实施例中，图像采集器的预设频率为30-40ms/帧，即图像采集器采集一帧用户图像的耗时为30-40ms。

S42、识别到用户图像中的用户手势为音量调节手势，则在用户界面中显示音量条。

控制器对接收到的每一帧用户图像进行手势识别，判断用户图像中的用户手势是否为音量调节手势，以在将用户手势识别为音量调节手势时，启动通过滑动音量调节手势实现对显示设备音量的智能调节功能，同时，调起音量条控件，显示在用户界面中，便于用户能够感知当前对音量调节的直观效果。

图19示出了根据一些实施例的用户界面显示音量条的方法流程图。参见图19，在一些实施例中，控制器在执行识别到用户图像中的用户手势为音量调节手势，则在用户界面中显示音量条，被进一步配置为：

S421、识别用户图像中的用户手势。

S422、在用户手势为音量调节手势时，计算音量调节手势的识别成功率。

S423、如果音量调节手势的识别成功率超过第一阈值，在用户界面中显示音量条。

由于虽然在检测区域内，图像采集器采集到包括用户手势的用户图像，但如果用户摆出的用户手势并非是要实现音量调节的手势，而是其他不经意摆出的手势，此时将无需启动音量调节的手势检测过程，即无需调起音量条进行音量调节。

另外，如果用户摆出的手势是要进行音量调节的手势，但因其手势摆出的效果不到位，例如，音量调节手势为OK手势时，用户的中指、无名指和小拇指本应是直的状态，但用户却将此三根手指以弯曲的状态摆出，导致用户摆出的手势不像OK手势。 此时，这种模棱两可的用户手势，将导致无法准确确定是否将该用户手势识别为音量调节手势，产生误识别，将导致无法及时进行音量调节。

因此，控制器在对每一帧用户图像进行手势识别时，需先判断用户图像中的用户手势是否为音量调节手势，即需要用户手势为音量调节手势的相似度超过阈值时，才将其确定为音量调节手势。并且，在手势检测过程中，被识别为音量调节手势的用户手势所属用户图像需要占总的用户图像的比率超过阈值，才可说明用户是需要调起音量调节功能，否则不进行音量调节过程。

在一些实施例中，控制器在执行在用户手势为音量调节手势时，计算音量调节手势的识别成功率，被进一步配置为：

步骤4221、匹配用户手势与音量调节手势，计算用户手势与音量调节手势的手势置信度。

步骤4222、如果手势置信度超过第二阈值，则确定用户手势为音量调节手势。

步骤4223、获取第一时长内采集的用户图像的总手势识别帧数和用户手势为音量调节手势时对应的用户图像的手势成功帧数。

步骤4224、计算手势成功帧数和总手势识别帧数的比率，将比率确定为音量调节手势的识别成功率。

控制器在识别每一帧用户图像中的用户手势时，将每一帧用户图像中的用户手势分别与音量调节手势进行匹配，以计算每一个用户手势与音量调节手势的手势置信度，即相似度。

判断每一个手势置信度是否超过第二阈值，在一些实施例中，第二阈值可设定为95％，如果某个手势置信度超过95％，则将该手势置信度对应的用户手势确定为音量调节手势，以避免产生误识别。

同时，将手势置信度超过第二阈值的用户手势所属用户图像确定为手势成功帧。在手势检测过程中，统计手势成功帧的帧数和所有采集到的用户图像的总手势识别帧数。

在一些实施例中，手势检测过程所对应的时长为第一时长，可设定为1秒。第一时长还可根据实际应用设定为其他时长，此处不做具体限定。

第一时长为图像采集器持续采集包括用户手势的用户图像的最大时长，图像采集器将在第一时长内采集到的多帧用户图像依次发送至控制器，控制器可统计在第一时长内接收到的多帧用户图像的总手势识别帧数。

控制器分别对每帧用户图像进行手势识别，如果识别到某帧用户图像的用户手势与音量调节手势的手势置信度超过第二阈值，确定该用户手势为音量调节手势，并统计在第一时长内的用户手势为音量调节手势时对应的用户图像的手势成功帧数。

计算手势成功帧数和总手势识别帧数的比率，即计算在第一时长内控制器检测到OK手势的成功帧数占总手势识别帧数的比率，将比率确定为音量调节手势的识别成功率。

在一些实施例中，为避免用户在摆出音量调节手势后，仅停留短暂时间便将该手势放下，导致控制器无法确定是否需要调出音量条进行音量调节。因此，为便于控制器能够及时调出音量条，以进行音量调节，可设定第一阈值，使得图像采集器在第一时长内采集的多帧用户图像中，只有音量调节手势的识别成功率超过第一阈值，才可 视为手势识别成功，进而再调起音量条控件，以进行后续的音量调节过程。

因此，在确定出第一时长内对应的音量调节手势的识别成功率，判断音量调节手势的识别成功率是否超过第一阈值，在一些实施例中，第一阈值可设定为90％，如果识别成功率超过第一阈值90％，说明在当前的手势检测过程中(第一时长内)，手势识别成功，此时，可在用户界面中显示音量条。第一阈值还可根据实际应用情况设定为其他数值，此处不做具体限定。

如果音量调节手势的识别成功率小于第一阈值，则说明手势识别检测失败，当前检测的同一用户的音量调节手势可能丢失，此时立即重新检测。

控制器在调出音量条控件进行显示之前，由于需先执行手势识别成功的步骤判断，因此，为便于用户能够清楚地知道当前手势识别成功，控制器可在用户界面中显示音量调节手势提示界面。

在一些实施例中，控制器在执行如果音量调节手势的识别成功率超过第一阈值，在用户界面中显示音量条，被进一步配置为：

步骤4231、如果音量调节手势的识别成功率超过第一阈值，则在用户界面中呈现音量调节手势提示界面，音量调节手势提示界面中呈现手势识别成功提示信息和音量调节手势图案。

步骤4232、在音量调节手势提示界面的显示时长超过第二时长时，取消音量调节手势提示界面的显示，以及，在用户界面中显示音量调节界面，音量调节界面包括音量条和音量调节操作提示信息。

在音量调节手势的识别成功率超过第一阈值时，说明当前手势识别成功，可进行后续的基于音量调节手势进行滑动操作后触发音量调节的过程，此时，为对用户做出的音量调节手势提供一个反馈，可生成音量调节手势提示界面，并显示在用户界面中。

图20示出了根据一些实施例的用户界面中显示音量调节手势提示界面的示意图。参见图20，在手势识别成功时，音量调节手势提示界面中呈现手势识别成功提示信息和音量调节手势图案，手势识别成功提示信息用于告知用户当前可实现音量调节的指定手势识别成功，其提示信息内容可为“手势识别中…”，用户在看到该提示信息后，即可获知可进行后续的基于音量调节手势进行滑动操作后触发音量调节的过程。

音量调节手势图案用于标识音量调节手势的UI形式，通常情况下，该图案的UI形式与用户用手指摆出的姿势相同。例如，如果音量调节手势为OK手势，则音量调节手势图案为“OK”图案。

用户在看到手势识别成功提示信息和音量调节手势图案后，便可知音量调节手势的检测过程的结果为手势识别成功。此时，控制器在用户界面中呈现音量调节手势提示界面的同时，以发送广播的方式通知系统调出音量条控件。将音量条控件显示在用户界面中，以提示用户当前音量调节过程开始启动。

由于在手势识别成功时，用户界面中先显示音量调节手势提示界面，为便于系统在调出音量条后能够自动显示在用户界面中，可为音量调节手势提示界面设定显示时长。在音量调节手势提示界面的显示时长达到阈值时，取消音量调节手势提示界面的显示，并同时将音量条显示在用户界面中。在该实现过程中，用户的观看效果为用户界面呈现的内容由音量调节手势提示界面切换显示为音量条。

在一些实施例中，设定音量调节手势提示界面的显示时长为第二时长，第二时长 可为500ms，在音量调节手势提示界面的显示时长超过500ms后，便可取消音量调节手势提示界面的显示，以及，在用户界面中显示音量调节界面，音量调节界面包括音量条和音量调节操作提示信息。

图21示出了根据一些实施例的用户界面中显示音量调节界面的示意图。参见图21，在音量调节手势提示界面的显示时长达到阈值时，在用户界面中切换显示音量调节界面，音量调节界面包括音量条和音量调节操作提示信息，音量条用于呈现当前显示设备的输出音量，音量调节操作提示信息用于提示用户在利用音量调节手势调节显示设备音量的操作步骤，例如，该提示信息内容可为“左右移动手势调节音量”。

用户在用户界面中看到音量调节操作提示信息后，便可根据其提示内容执行对应的手势操作，以开始启动音量调节过程。

S43、响应于用户基于音量调节手势执行指定动作时产生的音量调节指令，调节音量条对应的音量值。

在用户做出的音量调节手势满足启动音量调节过程的需求时，用户可按照用户界面中呈现的音量调节操作提示信息进行对应操作。即在手势识别检测成功后，用户保持音量调节手势，通过执行指定动作来调节音量，在一些实施例中，指定动作可为左右滑动手势。

例如，用户用手指保持OK手势，在显示设备前方(图像采集器的检测区域内)，沿水平方向左右滑动，即可进行音量调节。

用户保持音量调节手势执行指定动作，如水平方向左右滑动时，用户的手指产生位置变化，而在用户图像中呈现的效果为手势产生横坐标变化。此时，在发生位置变化时，即可产生音量调节指令，控制器响应该音量调节指令，便可根据横坐标变化，实时调节音量条的音量。此时，音量条上显示的音量数值随之发生变化，如增加或减小。

图22示出了根据一些实施例的调节音量条对应音量的方法流程图。参见图22，在一些实施例中，控制器在执行响应于用户基于音量调节手势执行指定动作时产生的音量调节指令，调节音量条对应的音量值，被进一步配置为：

S431、接收用户基于音量调节手势执行指定动作时产生的音量调节指令，指定动作是指用户基于音量调节操作提示信息产生的动作。

S432、响应于音量调节指令，获取在第三时长内，用户图像中呈现的用户执行指定动作时的起始坐标值和终止坐标值。

S433、基于起始坐标值和终止坐标值，计算用户基于音量调节手势执行指定动作时产生的横坐标变化量。

S434、基于横坐标变化量，确定音量条的音量调节值和音量调节方向。

S435、基于音量条的音量调节值和音量调节方向，调节音量条对应的音量值。

用户按照用户界面中呈现的音量调节操作提示信息执行指定动作，例如，用户用手指保持OK手势，在显示设备前方(图像采集器的检测区域内)，沿水平方向左右滑动，产生位置变化，此时产生音量调节指令。

由于通常情况下，图像采集器采集一帧用户图像的耗时为30-40ms，因此，为保证音量调节的实时性，在进行手势检测算法时，按照每100ms计算用户保持音量调节手势执行指定动作产生的位置变化，以便根据位置变化信息线性调节音量大小。

因此，控制器在响应音量调节指令后，可获取在第三时长内，用户图像中呈现的用户执行指定动作时的起始坐标值和终止坐标值，以计算用户基于音量调节手势执行指定动作时产生的横坐标变化量。在一些实施例中，第三时长可设定为100ms，用户滑动手势产生的位置变化可等同于用户图像中产生的横坐标变化量。

图像采集器实时采集用户执行指定动作的初始时刻的用户图像和在第三时长内的终止时刻的用户图像。以用户图像的左上角为坐标原点，由左至右为X轴正向，由上至下为Y轴正向，建立直角坐标系。

在直角坐标系中，初始时刻采集的用户图像中音量调节手势的像素坐标值为起始坐标值，终止时刻采集的用户图像中音量调节手势的像素坐标值为终止坐标值，基于起始坐标值的横坐标值和终止坐标值的横坐标值，计算横坐标变化量。其中，坐标值均以像素坐标来表示。

其中，终止时刻是指在第三时长内每经过一次图像采集过程对应的时刻，例如，在初始时刻后，经过30-40ms后，图像采集器采集一帧用户图像，完成图像采集的时刻为终止时刻；再经过30-40ms后，图像采集器又采集一帧用户图像，完成第二次图像采集的时刻为另一终止时刻。由于每采集一帧用户图像，均会产生一个终止时刻，因此，最终的终止时刻为产生横坐标变化率满足阈值条件时对应的时刻。

图23示出了根据一些实施例的计算横坐标变化量的示意图。参见图23，在用户执行指定动作的初始时刻时，其对应的音量调节手势的位置为A点，此时，起始坐标值为A(x0，y0)；在第三时长内，若经过两次图像采集过程，用户滑动手势到达的位置分别为B1和B2点，此时，终止坐标值分别为B1(x1，y1)、B2(x2，y2)。

以B1为终止坐标值时，其对应的用户基于音量调节手势执行指定动作时产生的横坐标变化量L1＝x1-x0。以B2为终止坐标值时，其对应的用户基于音量调节手势执行指定动作时产生的横坐标变化量L2＝x2-x0。

在一些实施例中，为避免图像采集器在采集图像过程中出现抖动，出现丢帧、卡顿现象，可在基于横坐标变化量，确定音量条的音量调节值和音量调节方向时，设定阈值条件。

具体地，控制器在执行基于横坐标变化量，确定音量条的音量调节值和音量调节方向，被进一步配置为执行下述步骤：

步骤4341、如果横坐标变化量大于第三阈值，则确定音量条的音量调节值为指定调节量，以及，调节方向为增加音量。

步骤4342、如果横坐标变化量小于第四阈值，则确定音量条的音量调节值为指定调节量，以及，调节方向为减少音量。

在一些实施例中，可根据增加音量和减少音量的调节效果，设定第三阈值和第四阈值，第三阈值可为8，第四阈值可为-8。阈值8代表8个像素点。

如果横坐标变化率大于第三阈值8，说明用户保持音量调节手势向右滑动，此时，确定音量条的调节方向为增加音量。如果横坐标变化率小于第四阈值-8，说明用户保持音量调节手势向左滑动，此时，确定音量条的调节方向为减少音量。

为实现音量的线性调节，可设定每次音量被调节的音量调节值为3个音量值。例如，如果横坐标变化量大于第三阈值，则将音量条的音量值在当前数值的基础上增加3个音量值；如果横坐标变化量小于第四阈值，则将音量条的音量值在当前数值的基 础上减少3个音量值。

以图23所示的状态为例，用户基于音量调节手势向左滑动，而在第三时长内图像采集器又采集到两帧用户图像，此时，计算第一帧图像(对应B1点位置)与起始时刻对应的用户图像(对应A点位置)中呈现的用户基于音量调节手势执行指定动作时所产生的横坐标变化量为L1＝x1-x0，以及，计算第二帧图像(对应B2点位置)与起始时刻对应的用户图像(对应A点位置)中呈现的用户基于音量调节手势执行指定动作时所产生的横坐标变化量为L2＝x2-x0。

如果L2<-8(第四阈值)，说明用户保持音量调节手势由A点滑动到B2点的位置变化量，足以触发音量调节过程，此时，可调节音量条的音量值。

在确定出音量条的音量调节值和音量调节方向后，即可实现音量条对应音量的调节，例如，在音量调节值为3，音量调节方向为增加音量时，则在音量条的当前音量数值基础上增加3个音量值。在音量调节值为3，音量调节方向为减少音量时，则在音量条的当前音量数值基础上减少3个音量值。

在一些实施例中，控制器在第三时长内根据横坐标变化量线性调节音量条的音量时，即在100ms内每检测到用户在滑动手势时对应的横坐标变化产生8个像素点的变化时，则进行一次音量的调节过程，且每次调节3个音量值。

而音量的调节方向可根据检测到的8个像素点变化的正负数来确定，例如，若检测到的8个像素点对应的数值为负数，则说明需要减少音量；若检测到的8个像素点对应的数值为正数，则说明需要增加音量。

需要说明的是，设定的手势检测时长(第三时长)、8个像素点的位置变化阈值(第三阈值、第四阈值)、3个音量的调节值(指定调节量)，还可根据实际应用情况设定为其他数值，此处仅作为举例说明，不做具体限定。

在一些实施例中，在音量调节过程中，往往会出现因显示设备CPU占用过大，而导致在手势滑动中引起手势检测丢帧、卡顿现象，使得在第三时长(100ms)内用户手势移动但未在用户图像中对应产生横坐标变化，导致音量不调节现象，影响音量调节的准确度。

因此，为保证即使存在丢帧、卡顿现象也能进行精准的音量调节，在确定起始坐标值和终止坐标值时，控制器被进一步配置为：

步骤4321、如果在第三时长内，横坐标变化量为零，则按照第三时长，延长手势检测时长。

步骤4322、基于手势检测时长对应的总时长，获取用户基于音量调节手势执行指定动作时的起始坐标值和终止坐标值，手势检测时长的总时长是指数个所述第三时长对应的总时长，起始坐标值为第一个第三时长对应的起始坐标值，终止坐标值为最后一个第三时长对应的终止坐标值。

在启动音量调节过程时，控制器实时根据图像采集器采集的用户图像进行手势检测，以确定手势滑动时产生的横坐标变化量。如果在手势检测过程中，在第三时长(100ms)内检测到无位置变化，即横坐标变化量为零，将会继续延时第三时长(100ms)的时长，直到达到音量调节阈值(横坐标变化量满足第三阈值或第四阈值)为止。

此时，总的手势检测时长为所延长第三时长后对应的时长，此时，用户基于音量调节手势执行指定动作时产生的起始坐标值依然为初始时刻对应的起始坐标值，初始 时刻为第一个第三时长中手势开始滑动对应的时刻；终止坐标值为位于最后一个第三时长内的终止时刻对应的终止坐标值，终止时刻是指在最后一个第三时长内产生横坐标变化率满足阈值条件时对应的时刻。

例如，如果在手势检测过程中，在第一个100ms内未检测到横坐标变化量，则再次延时100ms，若在第150ms的时刻(第二个100ms内)产生的横坐标变化量满足阈值条件，则在第一个100ms内产生手势滑动的初始时刻检测到的手势位置对应的像素坐标为起始坐标值，在150ms(终止时刻)检测到的手势位置对应的像素坐标为终止坐标值。

可见，在手势检测时长(第三时长)内若未检测到横坐标变化量，则继续延时第三时长对应的时长，直到横坐标变化量达到音量调节阈值(第三阈值或第四阈值)为止，该方法能够有效解决图像采集器采集的用户图像中丢帧、卡顿过程中导致的音量调节跟随性差的现象，进而提高音量调节的准确性。

在一些实施例中，在用户基于音量调节手势执行滑动动作调节显示设备音量时，为提示用户当前正处于音量调节过程中，可在用户界面中显示音量调节状态提示信息。

图24示出了根据一些实施例的用户界面中显示音量调节状态提示信息的示意图。参见图24，在音量调节过程中，控制器被进一步配置为：响应于音量调节指令，将用户界面中呈现的音量调节操作提示信息切换显示为音量调节状态提示信息。

在音量调节过程中，音量调节界面始终显示在用户界面中，具体地，音量条始终显示在用户界面中，音量条对应的音量数值随着用户的音量调节手势的滑动操作产生相应变化，例如增加或减少。

而为提示用户当前正处于音量调节过程中，可将音量调节界面中的音量调节操作提示信息取消显示，代替显示音量调节状态提示信息，音量调节状态提示信息的提示内容可为“音量调节中……”等。

在一些实施例中，用户将显示设备的音量调节到自己需求的音量后，用户会将保持的音量调节手势放下，此时，图像采集器在采集的下一帧用户图像中将不再包括音量调节手势，即可说明用户的音量调节过程完成。

因无手势滑动，音量条的音量不再跟随手势左右滑动，即不再调节音量。因此，在用户完成音量调节过程后，将用户界面中显示的音量调节界面(音量条)取消显示，控制器监听到音量条消失广播后，同时生成音量调节完成界面，并显示在用户界面中，以提示用户音量调节完成。

图25示出了根据一些实施例的用户界面中显示音量调节完成界面的示意图。参见图25，为提示用户音量调节完成，在音量调节完成界面中显示有音量调节完成图案和音量调节完成提示信息，音量调节完成图案可为“对号”UI形式，音量调节完成提示信息的内容可为“音量调节成功”等。

在一些实施例中，在用户基于音量调节手势进行滑动操作以调节音量时，若该用户保持音量调节手势但未进行滑动，此时，横坐标变化量为零，说明音量条的音量没有增加或减少。由于当前状态并未进行音量调节，因此，控制器可将该状态识别为音量调节完成状态，避免音量调节界面一直显示在用户界面中，影响用户正常使用显示设备。

为保证控制器能够准确地检测到音量调节过程是否完成，可对横坐标变化率为零 的状态持续时长进行限定，具体地，控制器被进一步配置为：在第四时长内，用户基于音量调节手势执行指定动作时产生的横坐标变化量为零时，则取消音量条的显示，以及，在用户界面中呈现音量调节完成界面，音量调节完成界面包括音量调节完成图案和音量调节完成提示信息。

在一些实施例中，设定横坐标变化率为零的状态的持续时长为第四时长，第四时长是指从音量条的音量最后一次产生变化的时刻到当前时刻所经过的时长，也是指用户保持音量调节手势进行滑动操作后停止滑动对应的时刻到当前时刻所经过的时长。第四时长可设定为2秒，也可为其他数值，可根据实际应用情况进行设定，此处不做具体限定。

若用户在进行一次音量调节后，经过第四时长后，横坐标变化量始终为零，则说明在2秒内用户的手势未滑动，进而没有音量的增加或减少。因此，将用户界面中显示的音量调节界面(音量条)取消显示，控制器监听到音量条消失广播后，同时生成音量调节完成界面，并显示在用户界面中，以提示用户音量调节完成。音量调节完成界面如图25所示。

在一些实施例中，如果用户完成一次完整的音量调节过程，即在用户界面中显示音量调节完成界面之后，若用户再次做出音量调节手势，控制器可立即响应该手势的滑动操作以调节显示设备的音量值。一次完整的音量调节过程是指经过用户图像采集、手势识别、音量调节手势识别成功、启动通过滑动手势调节音量功能、开启手势滑动调节音量、完成音量调节的过程。

具体地，在完成一次完整的音量调节过程后，控制器被进一步配置为执行下述步骤：

步骤441、在当前音量调节过程完成后，获取图像采集器采集的包括用户手势的下一帧用户图像。

步骤442、在下一帧用户图像中的用户手势为音量调节手势时，执行下一音量调节过程。

在当前次的音量调节过程被完整完成后，若用户在图像采集器的检测区域内再次做出用户手势，则图像采集器采集包括用户手势的下一帧用户图像，并发送至控制器。控制器在接收到新的一帧用户图像后，重新进行音量调节手势的判断，并在判断该新的用户图像中的用户手势为音量调节手势时，根据用户基于音量调节手势执行指定动作产生的音量调节指令，立即响应该音量调节指令，以执行下一次的音量调节过程。具体的音量调节过程可参照前述实施例的内容，此处不再赘述。

在一些实施例中，如果在手势识别阶段，用户在摆出某个手势后又立即放下，用户保持手势的时长未达到第一时长，但在放下手势之后又立即摆出手势，造成控制器频繁对每帧用户图像中的用户手势进行识别，影响显示设备的正常运行。因此，在启动音量调节的过程被强行终止，存在用户频繁调起音量调节功能的状态时，控制器将不立即对用户图像进行手势识别，而是在间隔一段时间后再进行手势识别。

具体地，在存在用户短时间内频繁作出手势，使音量调节过程中途停止的情况下，控制器被进一步配置为：如果在第一时长内，获取的用户图像中未包括用户手势，则在间隔第五时长后，获取图像采集器采集的下一帧用户图像。

用户在摆出某个手势后又立即放下，此时，用户保持手势的时长未达到第一时长， 因此，用户在第一次摆出手势后，控制器还未检测到其是否为音量调节手势，音量调节手势的识别成功率可能还未超过第一阈值，也就是说，还未启动音量调节过程。

为避免用户短时间内频繁启动音量调节过程，可在摆出某个手势后又立即放下的时刻之后，间隔第五时长的时间，然后再由图像采集器采集下一帧用户图像，或者，在图像采集器实时采集用户图像时，控制器可获取间隔第五时长之后对应的用户图像。

在一些实施例中，第五时长是指从用户做出某个手势，被图像采集器采集到包括该手势的用户图像的时刻起，至采集到下一帧包括手势的用户图像的时间间隔。第五时长可设定为3秒，也可根据实际应用情况设定为其他数值，此处不做具体限定。

例如，用户在8:05的时刻做出手势，此时图像采集器在8:05的时刻采集到包括该手势的用户图像。如果用户立即放下手势后又举起该手势，此时间隔3秒，则图像采集器可在8:08的时刻之后再采集包括该手势的用户图像，或者，控制器获取图像采集器在8:08的时刻之后采集的包括该手势的用户图像。

在一些实施例中，为保证音量调节过程的正常进行，在用户界面中显示音量条时，则执行音量调节过程，以及，不重复启动音量调节的手势检测过程。控制器对图像采集器采集到的用户图像进行手势识别，并在手势识别成功后启动通过滑动手势调节音量的过程。在该过程中，音量条被调起并始终显示在用户界面中，且不再对后续采集到的包括音量调节手势的用户图像进行重复的手势检测过程，即不再重复启动通过滑动手势调节音量的过程。

在一些实施例中，若完成一次完整的音量调节过程，则在用户界面中不显示音量条时，则启动音量调节的手势检测过程，以进行音量调节过程。一次完整的音量调节过程是指经过用户图像采集、手势识别、音量调节手势识别成功、启动通过滑动手势调节音量功能、开启手势滑动调节音量、完成音量调节的过程。

在完成一次完整的音量调节过程后，用户界面中将取消显示音量条，可说明本次音量调节完成，此时，可开始进行下一次的音量调节过程，即再次采集用户图像及后续检测过程。

可见，本发明实施例提供的显示设备，由图像采集器实时采集用户图像，控制器在获取图像采集器采集的包括用户手势的用户图像，对用户图像进行手势识别；识别到用户图像中的用户手势为音量调节手势，则启动通过滑动音量调节手势实现对显示设备音量的智能调节功能，以及，在用户界面中显示音量条；用户基于音量调节手势执行指定动作时产生位置变化，生成对应的音量调节指令，控制器响应该音量调节指令开始调节音量条对应的音量值。可见，本发明实施例提供的显示设备，使用AI图像检测技术识别图像中的人物手势以及在图像中的位置，通过图像中人物手势的位置变化，实现对音量的智能调节，这种音量调节方式无需借助另一设备，音量调节便利且高效，用户体验好。

在一些实施例中，基于前述内容可知，完成一次音量调节过程包括完整的音量调节过程和中途停止的音量调节过程，而根据不同形式的音量调节过程，在进行下一次音量调节时，显示设备的执行步骤不同。

图26示出了根据一些实施例的音量调节方法的另一种流程图。本发明实施例提供一种显示设备，包括：显示器，被配置为呈现用户界面；图像采集器，被配置为采集用户图像；分别与显示器和图像采集器连接的控制器，在执行图26所示的音量调节方 法时，控制器被配置为执行下述步骤：

S51、接收用户完成前一音量调节过程时产生的音量调节终止通知。

显示设备每执行一次音量调节过程，均会产生音量调节终止通知，音量调节终止通知可在控制器检测到用户图像中不再有手势场景或手势无滑动场景时生成。

用户图像中不再有手势场景可能是已经完整完成一次音量调节过程后，用户将音量调节手势放下的场景，或者，用户在刚刚举起手势又迅速放下(此时还未启动音量调节过程)的场景。

手势无滑动场景可能是用户已经滑动过一次完成音量调节的场景，或者，在手势识别成功后，启动音量调节功能，但用户并未通过滑动手势调节音量的场景。

根据不同的场景，系统会生成不同的音量调节终止通知，并以广播的方式发送给控制器，以便控制器根据不同场景下的音量调节终止通知，采用不同的策略执行下一次音量调节过程。

S52、响应于音量调节终止通知，获取图像采集器采集的包括用户手势的下一帧用户图像。

由于音量调节终止通知生成于不同的场景，因此，在不同场景下，音量调节终止通知包括音量调节完成通知和音量调节未进行通知，音量调节完成通知生成在显示设备已完整执行一次音量调节过程的过程中，音量调节未进行通知生成在显示设备因中途手势消失，音量调节过程被强行终止的过程中。

在一些实施例中，在完整完成一次音量调节过程时，音量调节终止通知为音量调节完成通知，此时，控制器在执行响应于音量调节终止通知，获取图像采集器采集的包括用户手势的下一帧用户图像，被进一步配置为执行下述步骤：

步骤5211、在前一音量调节过程中，如果在第四时长内，用户基于音量调节手势执行指定动作时产生的横坐标变化量为零时，则产生音量调节完成通知。

步骤5212、响应于音量调节完成通知，获取图像采集器采集的包括用户手势的下一帧用户图像。

在前一音量调节过程中，如果在第四时长内，用户基于音量调节手势执行指定动作时产生的横坐标变化量为零时，说明显示设备已正常完成一次音量调节过程，此时，音量条取消显示，并同时生成音量调节完成通知。

控制器响应该音量调节完成通知，可将音量调节完成界面显示在用户界面中，并立即获取图像采集器采集的下一帧用户图像，以根据下一帧用户图像进行手势识别，便于立即启动下一次的音量调节过程。

在一些实施例中，在未完整完成一次音量调节过程时，音量调节终止通知为音量调节未进行通知，此时，控制器在执行响应于音量调节终止通知，获取图像采集器采集的包括用户手势的下一帧用户图像，被进一步配置为执行下述步骤：

步骤5221、在前一音量调节过程中，如果采集的下一帧用户图像中不包括音量调节手势，则产生音量调节未进行通知。

步骤5222、响应于音量调节未进行通知，间隔第五时长后，获取图像采集器采集的包括用户手势的下一帧用户图像。

在前一音量调节过程中，如果采集的下一帧用户图像中不包括音量调节手势，例如，在手势识别阶段，用户在摆出某个手势后又立即放下，此时，用户保持手势的时 长未达到第一时长，因此，用户在第一次摆出手势后，控制器还未检测到其是否为音量调节手势，音量调节手势的识别成功率可能还未超过第一阈值，也就是说，还未启动音量调节过程。

如果图像采集器采集的下一帧用户图像中不包括音量调节手势，说明在启动音量调节过程的中途手势消失，此时，启动音量调节的过程被强行终止，并产生音量调节未进行通知。

为避免用户短时间内频繁启动音量调节过程，可在摆出某个手势后又立即放下的时刻之后，间隔第五时长的时间，然后再由图像采集器采集下一帧用户图像，或者，在图像采集器实时采集用户图像时，控制器可获取间隔第五时长之后对应的用户图像。

控制器响应该音量调节未进行通知，在间隔第五时长后再获取图像采集器采集的包括用户手势的下一帧用户图像。该方法可避免控制器频繁对每帧用户图像中的用户手势进行识别，影响显示设备的正常运行。

S53、如果下一帧用户图像中的用户手势为音量调节手势，则在用户界面中显示音量条。

S54、响应于用户基于音量调节手势执行指定动作时产生的音量调节指令，调节音量条对应的音量，以执行下一音量调节过程。

在完成一次音量调节过程后，进入下一次的音量调节过程，此时，控制器根据获取到的下一帧用户图像执行相应的识别手势即后续过程，以根据用户通过滑动手势产生的位置变化来调节音量条的音量，相关具体实现内容可参照前述实施例步骤S11至S13及相关部分的内容，此处不再赘述。

可见，本发明实施例提供的显示设备，在完成一次音量调节过程后，接收用户完成前一音量调节过程时产生的音量调节终止通知，在音量调节终止通知为音量调节完成通知时，控制器可立即响应下一次的音量调节过程，在音量调节终止通知为音量调节未进行通知时，控制器在可间隔第五时长后，再响应下一次的音量调节过程。可见，该显示设备可根据接收到的音量调节终止通知的不同形式，在进行下一次音量调节时，显示设备执行对应的处理过程，提高音量调节效率，用户体验好。

图17示出了根据一些实施例的音量调节方法的一种流程图。参见图17，本申请还提供的音量调节方法，由前述实施例提供的显示设备中的控制器执行，所述方法包括：

S41、获取图像采集器采集的包括用户手势的用户图像；

S42、识别到所述用户图像中的用户手势为音量调节手势，则在所述用户界面中显示音量条；

S43、响应于用户基于所述音量调节手势执行指定动作时产生的音量调节指令，调节所述音量条对应的音量值。

图26示出了根据一些实施例的音量调节方法的另一种流程图。参见图26，本申请还提供的音量调节方法，由前述实施例提供的显示设备中的控制器执行，所述方法包括：

S51、接收用户完成前一音量调节过程时产生的音量调节终止通知；

S52、响应于所述音量调节终止通知，获取图像采集器采集的包括用户手势的下一帧用户图像；

S53、如果所述下一帧用户图像中的用户手势为音量调节手势，则在所述用户界面中显示音量条；

S54、响应于用户基于所述音量调节手势执行指定动作时产生的音量调节指令，调节所述音量条对应的音量，以执行下一音量调节过程。

由以上技术方案可知，本发明实施例提供的音量调节方法及显示设备，由图像采集器实时采集用户图像，控制器在获取图像采集器采集的包括用户手势的用户图像，对用户图像进行手势识别；识别到用户图像中的用户手势为音量调节手势，则启动通过滑动音量调节手势实现对显示设备音量的智能调节功能，以及，在用户界面中显示音量条；用户基于音量调节手势执行指定动作时产生位置变化，生成对应的音量调节指令，控制器响应该音量调节指令开始调节音量条对应的音量值。可见，本发明实施例提供的方法及显示设备，使用AI图像检测技术识别图像中的人物手势以及在图像中的位置，通过图像中人物手势的位置变化，实现对音量的智能调节，这种音量调节方式无需借助另一设备，音量调节便利且高效，用户体验好。

在一些情况下，显示设备前可能存在多个用户，这样图像采集器也会采集到多个用户。如果多个人都使用手势控制该显示设备时，无法在同一时刻执行多个并行的指令。因此，针对多人手势控制的场景，需提供可基于多人手势识别的音量调节方法的方法及显示设备。

本发明实施例提供的显示设备，包括：显示器，被配置为呈现用户界面；图像采集器或者可连接图像采集器的用户接口，图像采集器被配置为采集用户图像，用户接口用于通过语音、触摸、手势、按压等动作实现用户指令输入功能；分别与显示器和图像采集器连接的控制器，在执行图27所示的基于多人手势识别的音量调节方法时，控制器被配置为执行下述步骤：

S61、获取图像采集器采集的包括至少一个用户手势的用户图像，以及，用户图像中与音量调节手势匹配的第一个用户手势的指定手势ID。

在一些实施例中，若存在多人同时使用显示设备的情况，那么在图像采集器的检测区域内，会采集到包括多个用户手势的用户图像。此时，为避免音量调节出现混乱，可以其中一个用户手势作为基准用户手势进行调节，因此，需在用户图像中的多个用户手势中确定指定用户手势。

为便于对每个用户手势进行标识，可为每个用户手势配置对应的手势ID，手势ID用于表征用户图像中每个用户手势的序号，随机分配，以对不同的用户手势进行区分。例如，若同一帧用户图像中存在3个用户手势，则三个用户手势的手势ID分别为1、2、3。

在对图像采集器采集到的当前帧用户图像进行识别检测时，若识别到多个用户手势，则将第一个识别到的音量调节手势的信息为准，即以第一个识别到的音量调节手势的手势ID作为指定手势ID，以便后续仅响应指定手势ID对应的音量调节指令，实现对显示设备音量的顺畅调节，防止出现多人手势干扰的情况。

在一些实施例中，控制器在执行获取用户图像中与音量调节手势匹配的第一个用户手势的指定手势ID，被进一步配置为执行下述步骤：

在一些实施例中，控制器在执行获取用户图像中与音量调节手势匹配的第一个用户手势的指定手势ID，被进一步配置为执行下述步骤：

步骤611、识别用户图像中的至少一个用户手势。

步骤612、判断每个用户手势与音量调节手势是否匹配。

步骤613、若存在与音量调节手势匹配一致的用户手势，将第一个产生匹配一致的用户手势确定为指定用户手势。

步骤614、获取指定用户手势的手势ID，将手势ID确定为指定手势ID。

由于虽然在检测区域内，图像采集器采集到包括用户手势的用户图像，但如果用户摆出的用户手势并非是要实现音量调节的手势，而是其他不经意摆出的手势，例如五指手势或一根手指比数字1手势，此时将无需启动音量调节的手势检测过程，即无需调起音量条进行音量调节。

因此，需调用AI智能检测功能对用户图像进行手势识别，若存在多个用户手势，则依次判断每个用户手势是否与音量调节手势匹配。

由于虽然在检测区域内，图像采集器采集到包括用户手势的用户图像，但如果用户摆出的用户手势并非是要实现音量调节的手势，而是其他不经意摆出的手势，此时将无需启动音量调节的手势检测过程。

基于AI图像检测技术的手势识别实现音量调节的智能算法包括字节算法和手势算法。字节算法用于检测用户图像中的用户手势，如果检测到同一帧用户图像中包括多个用户手势，则将这些识别到的用户手势都传给手势算法，每个用户手势的发送顺序没有先后顺序。

手势算法用于将每个用户手势与音量调节手势进行匹配。如果这一帧用户图像中只要发现有一个是音量调节手势，就记录该手势的手势ID。手势算法匹配每个用户手势与音量调节手势的顺序是随机的，如果先识别的用户手势是非音量调节手势，则会轮询检查第二个用户手势，直到检查到有一个用户手势是音量调节手势时止，此时，不再对这一帧用户图像中的后续手势进行轮询检测。

基于此智能算法，若同一帧用户图像中存在与音量调节手势匹配一致的用户手势，则将第一个产生匹配一致的用户手势确定为指定用户手势，同时，获取指定用户手势的手势ID，将手势ID确定为指定手势ID。

图28示出了根据一些实施例的用户图像中存在多个用户手势的示意图。例如，参见图28，若同一个用户图像中存在3个用户手势，用户手势1为单手五指手势，对应手势ID为1；用户手势2为手指比数字1手势，对应手势ID为2；用户手势3为OK手势，对应手势ID为3。

手势算法随机选择第一个进行匹配的用户手势为用户手势2，用户手势2为手指比数字1手势，其与音量调节手势不匹配。此时，再选择第二个用户手势与音量调节手势进行匹配，如果第二个进行匹配的是用户手势3，其与音量调节手势匹配一致，则不再匹配第三个用户手势(用户手势1)与音量调节手势，无论第三个用户手势是否为音量调节手势。

在匹配到第二个用户手势与音量调节手势匹配一致时，此时，若第二个用户手势(用户手势3)的手势ID为3，则当前音量调节过程对应的指定手势ID为3。

指定手势ID用于表征第一个与音量调节手势匹配的用户手势，利用指定手势ID可标定同一个用户的手势，使得后续在响应音量调节指令时，仅以指定手势ID对应的用户产生的音量调节指令实现显示设备的音量调节。进而保证即使在调节过程中，其 他用户的手势产生干扰，也不响应其他用户的手势，保证音量调节的顺滑，避免出现混乱，以进行准确的音量调节。

S62、计算在第一时长内采集的数帧用户图像中与指定手势ID对应的音量调节手势的识别成功率。

在当前帧用户图像中识别到存在一个音量调节手势时，记录该手势的指定手势ID，同时，开启一个计时器，计时器的时长为第一时长，从确定出指定手势ID的时刻起计时。在一些实施例中，第一时长用于进行手势检测过程，可设定为1秒。第一时长还可根据实际应用设定为其他时长，此处不做具体限定。

在确定出指定手势ID后，图像采集器在第一时长内采集数帧用户图像，并发送至控制器，以对每一帧用户图像进行手势检测识别。为实现准确的基于手势调节显示设备的音量，并非在识别到存在音量调节手势即对显示设备进行音量调节，而是需要指定手势ID对应的音量调节手势持续一段时间后才可实现对显示设备进行音量调节，避免用户在摆出音量调节手势后，仅停留短暂时间便将该手势放下，导致控制器无法确定是否需要进行音量调节。

为此，需计算指定手势ID对应的音量调节手势的识别成功率，只有指定手势ID对应的音量调节手势在第一时长内的识别成功帧数满足条件时，才可确定手势识别成功，进而才可根据音量调节手势对显示设备进行音量调节。

为此，需计算指定手势ID对应的音量调节手势的识别成功率，只有指定手势ID对应的音量调节手势在第一时长内的识别成功帧数满足条件时，才可确定手势识别成功，进而才可根据音量调节手势对显示设备进行音量调节。

图29示出了根据一些实施例的计算识别成功率的方法流程图。参见图29，在一些实施例中，控制器在执行计算在第一时长内采集的数帧用户图像中与指定手势ID对应的音量调节手势的识别成功率，被进一步配置为：

S621、在确定指定手势ID后，获取在第一时长内采集的数帧用户图像，将存在音量调节手势的用户图像确定为指定用户图像。

S622、对比指定手势ID与每帧指定用户图像中音量调节手势的手势ID，将对比一致对应的音量调节手势所属指定用户图像确定为手势识别成功帧。

S623、统计第一时长内的手势识别成功帧的总手势识别成功帧数和采集的用户图像的总识别帧数。

S624、计算总手势识别成功帧数和总识别帧数的比率，将比率确定为与指定手势ID对应的音量调节手势的识别成功率。

在获取到第一时长内采集的数帧用户图像后，将每帧用户图像中的每个用户手势信息与指定手势ID进行对比，若存在手势ID相同，且是音量调节手势，说明检测到的同一个用户的手势。

因此，先匹配每帧用户图像中的每个用户图像与音量调节手势，以判断每帧用户图像中的每个用户图像中是否存在音量调节手势，将存在音量调节手势的用户图像确定为指定用户图像。具体的匹配和判断方式可参照前述实施例的内容，此处不再赘述。

例如，在第一时长内采集到10帧用户图像，每帧用户图像中均存在至少一个用户手势，将每个用户手势与音量调节手势进行匹配，若判断出存在8帧用户图像中存在音量调节手势，则确定该8帧用户图像为指定用户图像。

由于即使用户图像中存在音量调节手势，但也可能为其他用户做出的手势，因此，为保证仅以一个用户的手势实现显示设备的音量调节，需再次判断每个用户手势的手势ID与指定手势ID是否一致。

获取每帧指定用户图像中的音量调节手势的手势ID，以指定手势ID作为基准，与每帧指定用户图像中音量调节手势的手势ID进行对比，将手势ID对比一致时对应的音量调节手势所属指定用户图像确定为手势识别成功帧。即使同一帧指定用户图像中存在多个音量调节手势，但由于不同用户的手势ID不同，因此，可根据指定手势ID确定出存在与指定手势ID一致的音量调节手势，进而确定出手势识别成功帧。

将第一时长内检测出的所有手势识别成功帧进行汇总，统计手势识别成功帧的总手势识别成功帧数，同时，统计第一时长内采集的所有用户图像的总识别帧数，计算总手势识别成功帧数和总识别帧数的比率，将比率确定为与指定手势ID对应的音量调节手势的识别成功率。

例如，在AI智能检测方法检测到某帧用户图像中的用户手势为音量调节手势时，启动一个1s(第一时长)的计数器，并对1s内每一帧用户图像进行检测。如果检测到音量调节手势，且其对应的手势ID与指定手势ID相同，说明是同一只手作出的手势，则音量调节手势对应的手势识别成功帧的总手势识别成功帧数(DetectedFrames)和总识别帧数(TotalFrames)分别加一。如果检测到的用户手势不是音量调节手势或者用户手势的手势ID与指定手势ID不相同，则只将总识别帧数(TotalFrames)加一。循环此过程，待1s(第一时长)时间到达时，计算总手势识别成功帧数和总识别帧数的比率(SuccessRate＝DetectedFrames/TotalFrames)，将该比率确定为指定手势ID对应的音量调节手势的识别成功率。

S63、如果音量调节手势的识别成功率超过第一阈值，则在用户界面中显示音量条。

在一些实施例中，为避免用户在摆出音量调节手势后，仅停留短暂时间便将该手势放下，导致控制器无法确定是否需要调出音量条进行音量调节。因此，为便于控制器能够及时调出音量条，以进行音量调节，可设定第一阈值，使得图像采集器在第一时长内采集的多帧用户图像中，只有指定手势ID对应的音量调节手势的识别成功率超过第一阈值，才可视为手势识别成功，进而再调起音量条控件，以进行后续的音量调节过程。

即在手势检测过程(第一时长内)中，被识别为音量调节手势的用户手势所属用户图像需要占总的用户图像的比率超过阈值，才可说明用户是需要调起音量调节功能，否则不进行音量调节过程。

因此，在确定出第一时长内对应的音量调节手势的识别成功率，判断音量调节手势的识别成功率是否超过第一阈值，在一些实施例中，第一阈值可设定为90％，如果识别成功率超过第一阈值90％，说明在当前的手势检测过程中(第一时长内)，手势识别成功，此时，可在用户界面中显示音量条。第一阈值还可根据实际应用情况设定为其他数值，此处不做具体限定。

如果指定手势ID对应的音量调节手势的识别成功率小于第一阈值，则说明手势识别检测失败，当前检测的同一用户的音量调节手势可能丢失，此时立即重新检测。

在一些实施例中，控制器在调出音量条控件进行显示之前，由于需先执行手势识别成功的步骤判断，因此，为便于用户能够清楚地知道当前手势识别成功，控制器可 在用户界面中显示音量调节手势提示界面。

S64、响应于指定手势ID对应的用户基于音量调节手势执行指定动作时产生的音量调节指令，调节音量条对应的音量值。

在用户做出的音量调节手势满足启动音量调节过程的需求时，用户可按照用户界面中呈现的音量调节操作提示信息进行对应操作。即在手势识别检测成功后，指定手势ID对应的用户保持音量调节手势，通过执行指定动作来调节音量，在一些实施例中，指定动作可为左右滑动手势。

例如，用户用手指保持OK手势，在显示设备前方(图像采集器的检测区域内)，沿水平方向左右滑动，即可进行音量调节。

控制器仅响应指定手势ID对应用户产生的指令，而如果其他用户也基于音量调节手势执行指定动作时，由于其他用户的手势ID与之前确定的指定手势ID不同，因此，控制器不会响应其他用户基于音量调节手势的音量调节指令，防止一个人在滑动音量的时候音量随其他人的音量调节手势而晃动，影响用户体验。

指定手势ID对应的用户保持音量调节手势执行指定动作，如水平方向左右滑动时，用户的手指产生位置变化，而在用户图像中呈现的效果为手势产生横坐标变化。此时，在发生位置变化时，即可产生音量调节指令，控制器响应该音量调节指令，便可根据横坐标变化，实时调节音量条的音量。此时，音量条上显示的音量数值随之发生变化，如增加或减小。

可见，本发明实施例提供的显示设备，由图像采集器实时采集用户图像，控制器获取图像采集器采集的包括至少一个用户手势的用户图像，确定用户图像中与音量调节手势匹配的第一个用户手势的指定手势ID；计算在第一时长内采集的数帧用户图像中与指定手势ID对应的音量调节手势的识别成功率，如果音量调节手势的识别成功率超过第一阈值，在用户界面中显示音量条；指定手势ID对应的用户基于音量调节手势执行指定动作时产生位置变化，生成对应的音量调节指令，控制器响应该音量调节指令开始调节音量条对应的音量值。可见，本发明实施例提供的显示设备，在用户图像中识别到多个用户手势时，通过确定指定手势ID的方式对该用户进行标定，以指定手势ID对应的用户手势为基准进行音量调节，有效地解决手势识别过程中的丢失、错乱等问题，以保证能够通过识别滑动手势流畅的调节显示设备的音量值，提高用户体验。

具体实现中，本发明还提供一种计算机非非易失性存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的显示设备的控制方法、音量调节方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于显示设备的控制方法、音量调节方法实施例而言，由于其基本相似于显示设备实施例，所以描述的比较简单，相关之处参见显示设备实施例中的说明即可。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请 各实施例技术方案的范围。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (12)

1. 一种显示设备，其特征在于，包括：

   显示器，被配置为呈现用户界面；

   图像采集器或者可连接图像采集器的用户输入接口，所述图像采集器被配置为采集用户图像；

   分别与所述显示器和图像采集器连接的控制器，所述控制器被配置为：

   获取图像采集器采集的包括用户手势的用户图像；

   识别到所述用户图像中的用户手势为音量调节手势，则在所述用户界面中显示音量条；

   响应于用户基于所述音量调节手势执行指定动作时产生的音量调节指令，调节所述音量条对应的音量值。
2. 根据权利要求1所述的显示设备，其特征在于，所述控制器在执行所述识别到所述用户图像中的用户手势为音量调节手势，则在所述用户界面中显示音量条，被进一步配置为：

   识别所述用户图像中的用户手势；

   在所述用户手势为音量调节手势时，计算所述音量调节手势的识别成功率；

   如果所述音量调节手势的识别成功率超过第一阈值，在所述用户界面中显示音量条。
3. 根据权利要求2所述的显示设备，其特征在于，所述控制器在执行所述在所述用户手势为音量调节手势时，计算所述音量调节手势的识别成功率，被进一步配置为：

   匹配所述用户手势与音量调节手势，计算所述用户手势与音量调节手势的手势置信度；

   如果所述手势置信度超过第二阈值，则确定所述用户手势为音量调节手势；

   获取第一时长内采集的所述用户图像的总手势识别帧数和所述用户手势为音量调节手势时对应的用户图像的手势成功帧数；

   计算所述手势成功帧数和总手势识别帧数的比率，将所述比率确定为音量调节手势的识别成功率。
4. 根据权利要求2所述的显示设备，其特征在于，所述控制器在执行所述如果所述音量调节手势的识别成功率超过第一阈值，在所述用户界面中显示音量条，被进一步配置为：

   如果所述音量调节手势的识别成功率超过第一阈值，则在所述用户界面中呈现音量调节手势提示界面，所述音量调节手势提示界面中呈现手势识别成功提示信息和音量调节手势图案；

   在所述音量调节手势提示界面的显示时长超过第二时长时，取消所述音量调节手势提示界面的显示，以及，在所述用户界面中显示音量调节界面，所述音量调节界面包括音量条和音量调节操作提示信息。
5. 根据权利要求1所述的显示设备，其特征在于，所述控制器在执行所述响应于用户基于所述音量调节手势执行指定动作时产生的音量调节指令，调节所述音量条对应的音量值，被进一步配置为：

   接收用户基于所述音量调节手势执行指定动作时产生的音量调节指令，所述指定 动作是指用户基于音量调节操作提示信息产生的动作；

   响应于所述音量调节指令，获取在第三时长内，所述用户图像中呈现的用户执行指定动作时的起始坐标值和终止坐标值；

   基于所述起始坐标值和终止坐标值，计算用户基于所述音量调节手势执行指定动作时产生的横坐标变化量；

   基于所述横坐标变化量，确定所述音量条的音量调节值和音量调节方向；

   基于所述音量条的音量调节值和音量调节方向，调节所述音量条对应的音量值。
6. 根据权利要求5所述的显示设备，其特征在于，所述控制器在执行所述基于所述横坐标变化量，确定所述音量条的音量调节值和音量调节方向，被进一步配置为：

   如果所述横坐标变化量大于第三阈值，则确定音量条的音量调节值为指定调节量，以及，所述调节方向为增加音量；

   如果所述横坐标变化量小于第四阈值，则确定音量条的音量调节值为指定调节量，以及，所述调节方向为减少音量。
7. 根据权利要求5所述的显示设备，其特征在于，所述控制器被进一步配置为：

   如果在第三时长内，所述横坐标变化量为零，则按照所述第三时长，延长手势检测时长；

   基于所述手势检测时长对应的总时长，获取用户基于所述音量调节手势执行指定动作时的起始坐标值和终止坐标值，所述手势检测时长的总时长是指数个所述第三时长对应的总时长，所述起始坐标值为第一个第三时长对应的起始坐标值，所述终止坐标值为最后一个第三时长对应的终止坐标值。
8. 根据权利要求1所述的显示设备，其特征在于，所述控制器被进一步配置为：

   若在采集的下一帧用户图像中不包括音量调节手势，或者，在第四时长内，用户基于所述音量调节手势执行指定动作时产生的横坐标变化量为零时，则取消所述音量条的显示，以及，在所述用户界面中呈现音量调节完成界面，所述音量调节完成界面包括音量调节完成图案和音量调节完成提示信息。
9. 根据权利要求8所述的显示设备，其特征在于，所述控制器被进一步配置为：

   在当前音量调节过程完成后，获取图像采集器采集的包括用户手势的下一帧用户图像；

   在所述下一帧用户图像中的用户手势为音量调节手势时，执行下一次音量调节过程。
10. 根据权利要求1所述的显示设备，其特征在于，所述控制器被进一步配置为：

    如果在第一时长内，获取的用户图像中未包括用户手势，则在间隔第五时长后，获取图像采集器采集的下一帧用户图像。
11. 根据权利要求1所述的显示设备，其特征在于，所述控制器被进一步配置为：

    在所述用户界面中显示音量条时，则执行音量调节过程，以及，不重复启动音量调节的手势检测过程；

    在所述用户界面中不显示音量条时，则启动音量调节的手势检测过程，以进行音量调节过程。
12. 一种音量调节方法，其特征在于，所述方法包括：

    获取图像采集器采集的包括用户手势的用户图像；

    识别到所述用户图像中的用户手势为音量调节手势，则在所述用户界面中显示音量条；

    响应于用户基于所述音量调节手势执行指定动作时产生的音量调节指令，调节所述音量条对应的音量值。

Images