WO2023029822A1

WO2023029822A1 - 一种显示设备及其智能触控的方法

Info

Publication number: WO2023029822A1
Application number: PCT/CN2022/108148
Authority: WO
Inventors: 王子锋; 揭育顺
Original assignee: 京东方科技集团股份有限公司
Priority date: 2021-08-31
Filing date: 2022-07-27
Publication date: 2023-03-09
Also published as: CN113703640A

Abstract

本公开公开了一种显示设备及其智能触控的方法，用于减少通过菜单调用小窗口进行触控切换的步骤，提升人机交互的效率。包括显示屏、触控组件、控制器，其中：所述显示屏用于进行内容的显示；所述触控组件用于接收用户输入的触控信号；所述控制器被配置为执行：根据检测的用户位置，在所述显示设备的显示屏上触发控制窗口的显示，并控制所述控制窗口处于第一状态，所述第一状态表征根据接收的用户输入的触控信号判断是否向第二状态转换的过渡状态；根据检测的用户输入的触控信号的触控位置与所述控制窗口的位置关系，控制所述控制窗口由第一状态向第二状态转换；确定所述控制窗口处于第二状态，通过所述控制窗口对所述显示屏进行控制。

Description

一种显示设备及其智能触控的方法

相关申请的交叉引用

本申请要求在2021年08月31日提交中国专利局、申请号为202111016337.8、申请名称为“一种显示设备及其智能触控的方法”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本公开涉及人机交互技术领域，特别涉及一种显示设备及其智能触控的方法。

背景技术

显示屏作为人机交互最重要的界面，越来越多的应用到生活中的各个方面，随着技术的发展，显示屏本身增加了很多交互功能，例如用户可以通过音控、触控等方式与显示屏进行人机交互，其中触控方式包括红外、电容等多种方式。随着显示屏的功能更加全面，应用的场景更加多变，在不同场景中能够选择的显示屏的尺寸也更多样化。

而针对目前大尺寸显示屏，例如超过86寸的会议白板等，由于显示屏的尺寸较大，不便于用户进行全屏的触控操作，目前提供的触控方式，一种是通过显示屏上的操作菜单打开小窗口，用户在小窗口中进行触控操作并同步到显示屏，但是该方式中需要通过操作菜单进行多项选择后才能切换到小窗口，在固定的小窗口内进行小屏操作，人机交互效率较低；另一种是通过其他设备和显示设备进行联机触控，实现两者的同步操作，但是该方式需要其他设备，不便于直接进行人机交互，操作繁琐、体验较差。

发明内容

本公开提供一种显示设备及其智能触控的方法，用于减少通过菜单调用小窗口进行触控切换的步骤，提供更智能便携的人机交互，同时提升人机交互的效率。

第一方面，本公开实施例提供的一种显示设备，包括显示屏、触控组件、控制器，其中：

所述显示屏用于进行内容的显示；

所述触控组件用于接收用户输入的触控信号；

所述控制器被配置为执行：

根据检测的用户位置，在所述显示设备的显示屏上触发控制窗口的显示，并控制所述控制窗口处于第一状态，所述第一状态表征根据接收的用户输入的触控信号判断是否向第二状态转换的过渡状态；

根据检测的用户输入的触控信号的触控位置与所述控制窗口的位置关系，控制所述控制窗口由第一状态向第二状态转换；

确定所述控制窗口处于第二状态，通过所述控制窗口对所述显示屏进行控制。

本实施例提供的显示设备能够根据用户的行为预估用户的下一行为，从而根据用户位置、触控信号的触控位置逐步判断出用户是否具有使用控制窗口的需求，从而提供一种无感的打开控制窗口的方式，提高用户的交互效率。

作为一种可选的实施方式，所述处理器具体被配置为执行：

根据检测的用户位置，确定所述用户和所述显示设备的距离；

若所述距离小于距离阈值，则在显示设备的显示屏上触发控制窗口的显示。

作为一种可选的实施方式，所述处理器具体被配置为执行：

根据所述用户位置的横坐标，确定所述控制窗口中心的横坐标；

根据所述控制窗口中心的横坐标，确定所述控制窗口在所述显示屏上显示的位置。

作为一种可选的实施方式，所述处理器具体被配置为执行：

若所述触控位置位于所述控制窗口所在区域内，则控制所述控制窗口处于第二状态。

作为一种可选的实施方式，所述处理器具体被配置为执行：

根据检测的用户操作的触控位置与所述控制窗口的位置关系，以及，以所述触控位置为中心的第一范围内生成的触控内容，控制所述控制窗口处于第二状态。

作为一种可选的实施方式，所述处理器具体还被配置为执行：

若所述触控位置位于所述控制窗口所在区域内，则确定所述显示屏上与所述触控位置对应的显示位置，若所述触控内容与所述显示屏上，以所述显示位置为中心的第二范围内显示的显示内容匹配，则控制所述控制窗口处于第二状态；或，

若所述触控位置位于所述控制窗口所在区域内，则获取以所述触控位置为中心的第三范围内所述显示屏上显示的展示内容，若以所述触控位置为中心的范围内生成的触控内容，与所述展示内容匹配，则关闭所述控制窗口，并删除与所述触控位置对应的显示位置显示的内容。

作为一种可选的实施方式，所述处理器具体被配置为通过如下方式确定所述触控内容与所述显示内容匹配：

根据所述触控内容和所述显示内容的尺寸、数据类型中的至少一种，确定所述触控内容与所述显示内容匹配；或，

作为一种可选的实施方式，根据所述触控内容和所述展示内容的尺寸、数据类型中的至少一种，确定所述触控内容与所述展示内容匹配。

所述处理器具体被配置为执行：

按预设规则放大所述触控内容或按预设规则缩小所述显示内容后，根据所述触控内容和所述显示内容的尺寸，确定所述触控内容与所述显示内容匹配；或，

按预设规则放大所述触控内容或按预设规则缩小所述展示内容后，根据所述触控内容和所述展示内容的尺寸，确定所述触控内容与所述展示内容匹配。

作为一种可选的实施方式，所述根据检测的用户位置，在所述显示设备的显示屏上触发控制窗口的显示，所述处理器具体还被配置为执行：

将所述显示屏上的至少部分内容缩放后映射到所述控制窗口进行显示。

所述控制窗口从所述第一状态转换到所述第二状态的过程中，控制所述控制窗口中映射的内容的透明度逐级降低。

作为一种可选的实施方式，所述处理器具体被配置为执行：

若根据检测的用户位置，将所述显示屏上的至少部分内容缩放后映射到所述控制窗口进行显示，则按照一级透明度显示所述映射的内容；或，

若所述触控位置位于所述控制窗口所在区域内，则按照二级透明度显示所述映射的内容，其中所述二级透明度低于所述一级透明度；或，

若所述触控位置位于所述控制窗口所在区域内，且所述触控内容与所述显示内容匹配，则按照非透明方式显示所述映射的内容。

作为一种可选的实施方式，在所述显示设备的显示屏上触发控制窗口的显示之后，所述处理器具体还被配置为执行：

若超过预设时段未检测到触控信号，则关闭所述控制窗口；或，

若所述触控信号的检测时间，与所述用户位置的检测时间的差值大于时间阈值，则关闭所述控制窗口。

作为一种可选的实施方式，所述处理器具体被配置为通过如下方式确定所述用户位置：

根据所述显示设备拍摄的用户的深度图像中的深度信息，确定所述用户位置；或，

利用所述显示设备的数字雷达阵列进行扫描，根据扫描结果确定所述用户位置。

作为一种可选的实施方式，所述处理器具体还被配置为：

若所述控制窗口处于第一状态，则通过所述控制窗口进行内容的显示，通过所述显示屏接收触控信号；

若所述控制窗口处于第二状态，则通过所述控制窗口接收触控信号，通过所述控制窗口以外的区域进行内容的显示。

第二方面，本公开实施例提供的一种智能触控的方法，包括：

作为一种可选的实施方式，所述根据检测的用户位置，在显示设备的显示屏上触发显示控制窗口，包括：

作为一种可选的实施方式，所述在所述显示设备的显示屏上触发显示控制窗口，包括：

作为一种可选的实施方式，所述根据检测的用户输入的触控信号的触控位置与所述控制窗口的位置关系，控制所述控制窗口处于第二状态，包括：

作为一种可选的实施方式，根据检测的用户输入的触控信号的触控位置与所述控制窗口的位置关系，控制所述控制窗口处于第二状态，包括：

根据检测的用户操作的触控位置与所述控制窗口的位置关系，以及以所述触控位置为中心的第一范围内生成的触控内容，控制所述控制窗口处于第二状态。

作为一种可选的实施方式，所述根据检测的用户操作的触控位置与所述控制窗口的位置关系，以及以所述触控位置为中心的第一范围内生成的触控内容，控制所述控制窗口处于第二状态，包括：

作为一种可选的实施方式，通过如下方式确定内容匹配：

根据所述触控内容和所述展示内容的尺寸、数据类型中的至少一种，确定所述触控内容与所述展示内容匹配。

作为一种可选的实施方式，通过如下方式确定内容匹配：

作为一种可选的实施方式，所述根据检测的用户位置，在所述显示设备的显示屏上触发控制窗口的显示，还包括：

作为一种可选的实施方式，所述将所述显示屏上的至少部分内容缩放后映射到所述控制窗口进行显示，还包括：

作为一种可选的实施方式，所述控制所述控制窗口中映射的内容的透明度逐级降低，包括：

作为一种可选的实施方式，所述在所述显示设备的显示屏上触发控制窗口的显示之后，还包括：

作为一种可选的实施方式，通过如下方式确定所述用户位置：

作为一种可选的实施方式，还包括：

第三方面，本公开实施例还提供一种智能触控的装置，包括：

显示单元，用于根据检测的用户位置，在所述显示设备的显示屏上触发控制窗口的显示，并控制所述控制窗口处于第一状态，所述第一状态表征根据接收的用户输入的触控信号判断是否向第二状态转换的过渡状态；

转换单元，用于根据检测的用户输入的触控信号的触控位置与所述控制窗口的位置关系，控制所述控制窗口由第一状态向第二状态转换；

控制单元，用于确定所述控制窗口处于第二状态，通过所述控制窗口对所述显示屏进行控制。

作为一种可选的实施方式，所述显示单元具体用于：

作为一种可选的实施方式，所述转换单元具体用于：

作为一种可选的实施方式，所述显示单元具体还用于：

作为一种可选的实施方式，所述在所述显示设备的显示屏上触发控制窗口的显示之后，还包括关闭单元具体用于：

作为一种可选的实施方式，所述显示单元具体用于通过如下方式确定所述用户位置：

作为一种可选的实施方式，还包括判断单元具体用于：

第四方面，本公开实施例还提供计算机存储介质，其上存储有计算机程序，该程序被处理器执行时用于实现上述第一方面所述方法的步骤。

本公开的这些方面或其他方面在以下的实施例的描述中会更加简明易懂。

附图说明

为了更清楚地说明本公开实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的一种现有的触控方式示意图；

图2为本公开实施例提供的一种显示设备示意图；

图3A为本公开实施例提供的第一种控制窗口显示示意图；

图3B为本公开实施例提供的第二种控制窗口显示示意图；

图4A为本公开实施例提供的一种检测用户位置的示意图；

图4B为本公开实施例提供的一种检测用户位置的示意图；

图5为本公开实施例提供的一种控制窗口显示位置的示意图；

图6A为本公开实施例提供的第一种控制窗口显示的示意图；

图6B为本公开实施例提供的第二种控制窗口显示的示意图；

图6C为本公开实施例提供的第三种控制窗口显示的示意图；

图7A为本公开实施例提供的第一种触控内容匹配的示意图；

图7B为本公开实施例提供的第二种触控内容匹配的示意图；

图7C为本公开实施例提供的第三种触控内容匹配的示意图；

图7D为本公开实施例提供的第四种触控内容匹配的示意图；

图8A为本公开实施例提供的第五种触控内容匹配的示意图；

图8B为本公开实施例提供的第六种触控内容匹配的示意图；

图8C为本公开实施例提供的第七种触控内容匹配的示意图；

图8D为本公开实施例提供的第八种触控内容匹配的示意图；

图9为本公开实施例提供的一种详细的智能触控的方法实施流程图；

图10为本公开实施例提供的一种智能触控的方法实施流程图；

图11为本公开实施例提供的一种智能触控的装置示意图。

具体实施方式

为了使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开作进一步地详细描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。

本公开实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

本公开实施例描述的应用场景是为了更加清楚的说明本公开实施例的技术方案，并不构成对于本公开实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本公开实施例提供的技术方案对于类似的技术问题，同样适用。其中，在本公开的描述中，除非另有说明，“多个”的含义是两个或两个以上。

显示屏作为人机交互最重要的界面，越来越多的应用到生活中的各个方面，随着技术的发展，显示屏本身增加了很多交互功能，例如用户可以通过音控、触控等方式与显示屏进行人机交互，其中触控方式包括红外、电容等多种方式。随着显示屏的功能更加全面，应用的场景更加多变，在不同场景中能够选择的显示屏的尺寸也更多样化。而针对目前大尺寸显示屏，例如超过86寸的会议白板等，由于显示屏的尺寸较大，不便于用户进行全屏的触控操作，目前提供的触控方式，如图1所示，一种是通过显示设备上的操作菜单100打开小窗口101，用户在小窗口101中进行触控操作并同步到显示设备，但是该方式中需要通过操作菜单100进行多项选择后才能切换到小窗口101，并且小窗口101的位置是固定的，在固定的小窗口101内进行触控操作，人机交互效率较低；另一种是通过其他设备102和显示设备进行联机触控，实现两者的同步操作，但是该方式需要其他设备，例如终端、平板等，不便于直接进行人机交互，操作繁琐、体验较差。为了减小用户在操作显示设备的过程中频繁通过操作菜单打开小窗口的使用步骤，本实施例针对大尺寸显示设备，提供一种自动判断是否需要使用小窗口接收触控信号并控制显示屏进行对应操作的方法及其显示设备。

本实施例提供的显示设备包括但不限于大尺寸显示屏、大尺寸智能平板、大尺寸电子白板等显示设备。本实施例中的显示设备还可以配置摄像组件，用于对用户进行拍摄，也可以配置数字阵列雷达，用于对用户进行扫描并确认用户的位置。其中，摄像组件和/或数字阵列雷达可集成于显示设备上，也可以作为单独的组件与显示设备进行通信连接，对此本实施例不作过多限定。

本实施例提供的智能触控的方法的核心思想是利用对用户的检测判断用户是否即将进行触控操作，并且根据接收到的触控信号来具体判断用户的行为，例如用户此时输入的触控操作是对控制窗口进行触控操作从而控制显示屏进行相应的显示，还是对显示屏进行的触控操作，准确地分辨出用户是否需要利用控制窗口实现对显示屏的控制，从而在用户无需进行主动操作菜单打开控制窗口的情况下，显示设备自动确认用户的行为，在确定用户使用控制窗口和显示设备进行交互的情况下，为用户提供配置触控功能的控制窗口，以用于使用该控制窗口对显示屏进行控制。其中，本实施例中的控制窗口和上述内容中的小窗口在本实施例中是同一概念，都是指用于接收触控信号并实现对显示屏进行控制的功能。

需要说明的是，本实施例中的显示设备在开机启动后初始状态下，设置默认的控制方式为通过显示设备的显示屏接收触控信号，并进行显示，此时的显示屏即可以接收触控信号，也可以进行与该触控信号对应的显示。如果控制方式切换至控制窗口控制的方式，则当前显示屏虽然也可以接收触控信号，但主要通过控制窗口接收触控信号，在控制窗口和显示屏上进行同步显示。其中，控制窗口位于显示屏上与用户对应的位置上，并且该控制窗口的尺寸小于显示屏的尺寸，可设置为便于用户在不移动的情况下实现对全屏进行控制的尺寸。

如图2所示，本实施例提供的一种显示设备，包括显示屏200、触控组件201、控制器202，其中：

所述显示屏200用于进行内容的显示；

所述触控组件201用于接收用户输入的触控信号；

所述控制器202被配置为执行：

根据检测的用户位置，在所述显示设备的显示屏200上触发控制窗口的显示，并控制所述控制窗口处于第一状态，所述第一状态表征根据接收的用户输入的触控信号判断是否向第二状态转换的过渡状态；需要说明的是，控制窗口的第一状态用于表示控制窗口具备显示功能但还不具备控制功能。

其中，本实施例中控制窗口的区域如图3A、图3B所示。本实施例对控制窗口的区域的形状、大小、线条不作过多限定。

确定所述控制窗口处于第二状态，通过所述控制窗口对所述显示屏200进行控制。需要说明的是，本实施例中的第二状态用于表征控制窗口具备控制功能和显示功能，用于实现对全屏的控制显示。

在一些实施例中，若所述控制窗口处于第一状态，则通过所述控制窗口进行内容的显示，通过所述显示屏接收触控信号；此时，仍处于全屏触控状态，通过全屏接收触控信号，而控制窗口只具备显示功能。若所述控制窗口处于第二状态，则通过所述控制窗口接收触控信号，通过所述控制窗口以外的区域进行内容的显示，此时，控制窗口具备控制功能，能接收触控信号，并同步在控制窗口和控制窗口以外的区域进行内容的显示。

若所述控制窗口处于第一状态，则通过所述控制窗口进行内容的显示；该状态下，控制窗口仅用于显示内容，包括全屏缩放后映射的内容以及用户在该控制窗口内书写的内容；通过显示屏接收控制信号进行控制显示。

若所述控制窗口处于第二状态，则通过所述控制窗口进行内容的显示，并接收触控信号。该状态下，控制窗口不仅可以显示内容，还可以接收用户输入的触控信号并对显示屏进行全屏的控制显示。

实施中，本实施例中的显示设备能检测到用户位置，通过用户位置来判断用户实际与显示屏之间的距离，从而预估用户的行为，判断用户是否即将进行显示屏的触控操作，从而根据用户位置确定用户即将进行显示屏的触控操作时，在显示屏上显示控制窗口，且将显示屏上的内容进行缩放后在所述控制窗口进行显示，此时在显示屏上显示控制窗口，并且在控制窗口内显示全屏映射的内容。在实际应用的过程中，当用户接近显示屏且进行触控操作之前，在显示屏上预先显示控制窗口，从而根据用户进行触控操作的实际行为，判断用户是否需要通过控制窗口实现对全屏的控制。具体的判断方式是根据用户输入的触控信号的触控位置与所述控制窗口的位置关系。

在一些示例中，若所述触控位置位于所述控制窗口所在区域内，则确定控制窗口处于第二状态，为所述控制窗口配置触控功能，通过所述控制窗口接收触控信号，并利用所述触控信号对所述显示屏进行控制。容易理解的是，如果用户需要使用控制窗口，那么用户输入的触控信号的触控位置必然位于控制窗口内，否则认为用户不需要使用控制窗口。

在一些示例中，为了准确地判断出用户的行为，即用户是否即将使用显示设备进行触控操作，本实施例通过用户位置来确定用户和显示设备的距离，最终判断用户是否具有即将触控操作的行为。实施中，根据检测的用户位置，确定所述用户和所述显示设备的距离；若所述距离小于距离阈值，则在显示设备的显示屏上触发控制窗口的显示。

在一些示例中，本实施例中的显示设备可以通过摄像组件，和/或，数字雷达阵列来检测用户位置，具体通过如下任一或任多方式确定所述用户位置：

方式1、根据所述显示设备拍摄的用户的深度图像中的深度信息，确定所述用户位置；

实施中，摄像组件包括但不限于双目摄像头，该双目摄像头安装于显示设备上，利用拍摄的包含用户的深度图像中的深度信息，确定用户位置以及用户到显示设备(双目摄像头)的距离。为判断用户的行为提供准确地判断依据。

方式2、利用所述显示设备的数字雷达阵列进行扫描，根据扫描结果确定所述用户位置。

实施中，根据数字雷达阵列的发射波束和接收波束之间的波动信息，确定是否扫描到用户，并确定用户位置，进一步确定出用户和显示设备之间的距离。

如图4A所示，显示设备上安装有数字雷达阵列400，用于对用户进行扫描；如图4B所示，L2表示数字雷达阵列400相对于用户的位置，显示设备通过发射波束和接收波束之间的波动信息，确定用户的位置，进而确定用户和显示设备之间的距离为X。若所述距离小于距离阈值L1，则说明用户即将对显示设备进行触控操作，在显示设备的显示屏上触发显示控制窗口，若距离X小于距离阈值L1，则说明用户还没有即将进行触控操作的行为，此时显示屏仍默认为显示屏触控。

方式3、根据所述显示设备拍摄的用户的深度图像中的深度信息，确定所述用户第一位置，利用所述显示设备的数字雷达阵列进行扫描，根据扫描结果确定所述用户第二位置，根据与用户第一位置和用户第二位置分别对应的权重，对所述用户第一位置和用户第二位置进行加权求和，确定最终的用户位置。

该方式下，显示设备根据摄像组件和数字雷达阵列分别确定用户位置，最终根据对应的权重，对摄像组件和数字雷达阵列分别确定的用户位置进行加权求和，从而确定最终的用户位置。

在一些示例中，为了提高判断用户行为的准确率，本实施例不仅基于用户位置、触控位置和控制窗口的位置关系，还结合接收触控信号的时间，进一步判断用户是否具有即将进行触控操作的行为。

在一些示例中，若超过预设时段未检测到对所述控制窗口的操作，则关闭所述控制窗口；或，若所述触控信号的检测时间，与所述用户位置的检测时间的差值大于时间阈值，则关闭所述控制窗口。

实施中，接收到用户的触控信号之后，确定用户输入的触控信号的触控位置与所述控制窗口的位置关系之前，先确定所述触控信号的检测时间，与所述用户位置的检测时间的差值小于时间阈值。实施中，通过显示设备中的时钟记录检测时间，并自定义时间阈值。本实施例中引入检测时间作为判断依据，从而更加准确地判断出用户操作的行为，为控制窗口的触控功能的配置和关闭提供更多的依据，提高用户的无感体验。

在一些示例中，若相邻两次检测的用户输入的触控信号的时间间隔大于预设时间，则关闭所述控制窗口以及为所述控制窗口配置的触控功能。这样能够避免用户长时间未操作后仍然显示控制窗口，导致控制窗口无法在用户不操作后进行自动关闭。通过时间阈值的设定，能够判断用户长时间不使用控制窗口进行触控操作后，自动关闭控制窗口，返回显示屏控制的状态。

在一些示例中，如图5所示，本实施例中的控制窗口的位置并不是固定的，为了提高用户的使用体验，方便用户在进行大尺寸显示屏的触控操作时，能够减少移动，本实施例设置的控制窗口的位置是依据用户的位置确定的，当用户位置移动时，控制窗口的位置也随之移动。

在一些实施例中，根据所述用户位置的横坐标，确定所述控制窗口中心的横坐标；根据所述控制窗口中心的横坐标，确定所述控制窗口在所述显示屏上显示的位置。

实施中，通过如下步骤确定控制窗口的在显示屏上显示的位置：

步骤1)根据所述用户位置的横坐标，确定所述控制窗口中心的横坐标；

步骤2)根据预设纵坐标，确定所述控制窗口中心的纵坐标；

步骤3)根据所述横坐标和所述纵坐标，确定所述控制窗口在所述显示屏上显示的位置。

其中，控制窗口的中心位置的中心横坐标X与用户位置的横坐标对齐，控制窗口的中心位置的中心纵坐标Y，可以根据用户的平均身高预设的纵坐标，或者根据用户需求预设的纵坐标，此处不作过多限定。

容易理解的是，本实施例中的控制窗口的位置可随着用户的移动而移动，为了方便用户减少移动的次数，设置控制窗口始终位于用户的正前方，便于用户进行操作。

在一些实施例中，为了提示用户是否需要进行控制窗口的触控操作，在确定用户的位置信息后，若用户和显示屏的距离小于距离阈值，则将所述显示屏上的至少部分内容缩放后映射到所述控制窗口进行显示。可选的，将所述显示屏上的至少部分内容进行等比例缩放后映射到所述控制窗口进行显示。

在一些实施例中，所述控制窗口从所述第一状态转换到所述第二状态的过程中，所述控制窗口中映射的内容的透明度是逐级降低的。

在一些实施例中，控制窗口具体可基于如下方式逐级变化透明度：

具体实施中，由于仅通过用户位置预估用户即将对显示屏进行触控操作，因此可以通过透明显示的方式将控制窗口中映射的内容进行显示，这样能够在显示屏本身内容不被完全遮挡的情况下，提醒用户可以使用控制窗口进行触控显示。可选的，还可以通过逐级透明显示的方式显示控制窗口本身。需要说明的是，此时显示的控制窗口处于第一状态，只具备显示功能，并不具备接收触控信号的功能。如果用户需要使用控制窗口，则用户必然会在透明显示的控制窗口内进行触控操作，如果用户在控制窗口外进行触控操作，则认为用户不需要使用控制窗口，则关闭透明显示的控制窗口。

更进一步地，如图6A所示，如果检测到用户位置和显示设备的距离L小于距离阈值，则按照一级透明度显示控制窗口的内容，如图6B所示，如果检测到用户进一步向显示设备移动，并检测到输入触控信号位于控制窗口所在区域内，则按照二级透明度显示控制窗口的内容，其中所述二级透明度低于所述一级透明度，容易理解的是，当用户行为满足的判断条件越多，说明此时判断结果越准确，则调整控制窗口的内容的显示的透明度越低，从而确定最终确定用户使用控制窗口时，如图6C所示，将控制窗口非透明的完全显示出来。

在一些实施例中，如果检测到用户位置和显示设备的距离小于距离阈值，则按照一级透明度显示控制窗口的内容，若用户继续向前移动，并输入触控信号，且此时触控信号的检测时间和用户位置的检测时间的差值小于时间阈值，触控信号的触控位置位于所述控制窗口所在区域内，则按照设置的二级透明度显示所述映射的内容。确定通过所述控制窗口对所述显示屏进行控制之后，按照非透明方式，在所述控制窗口显示所述映射的内容。通过不同透明度的显示方式，提醒用户并强化控制窗口的内容，从而提高用户的使用体验。

在一些示例中，本实施例还根据检测的用户操作的触控位置与所述控制窗口的位置关系，以及以所述触控位置为中心的第一范围内生成的触控内容，控制所述控制窗口处于第二状态，确定为所述控制窗口配置触控功能。当确定用户的触控信号的触控位置位于控制窗口所在区域内后，为了避免误判，本实施例还根据用户输入的具体的触控内容，进一步判断用户是否使用控制窗口进行触控操作，提高判断的准确性。

在一些示例中，通过将触控位置生成的触控内容与显示屏上显示内容进行匹配，确定此时通过控制窗口接收触控信号，并将该触控信号显示的内容同步显示在显示屏上，具体通过如下步骤结合触控位置和触控内容进行判断：

步骤2-1)若所述触控位置位于所述控制窗口所在区域内，则确定所述显示屏上与所述触控位置对应的显示位置；

步骤2-2)若所述触控内容与所述显示屏上，以所述显示位置为中心的第二范围内显示的显示内容匹配，则控制所述控制窗口处于第二状态。

需要说明的是，本实施例中触控位置对应的触控内容包括：以所述触控位置为中心，第一范围内用户输入的触控内容；显示位置对应的显示内容包括：以所述显示位置为中心，第二范围内所述显示屏上的显示内容。

实施中，在还未确定用户是否使用控制窗口时，当在控制窗口内接收到用户输入的触控内容时，仍会将该触控内容同步在显示屏上进行显示。并且进一步根据触控位置对应的触控内容和显示内容是否匹配，来判断是否为控制窗口配置触控功能，为了判断的准确性，实施中触控位置对应的触控内容包括用户在预设区域内输入的所有的触控内容，即预设区域内显示的与该触控内容对应的显示内容，触控内容具体是指用户在控制窗口中输入的内容，显示内容具体是指在显示屏上显示的内容，该显示的内容包括根据用户在触控窗口中输入的内容进行放大后，在显示屏上进行显示的内容。例如，如图7A所示，如果用户在触控位置上输入“吗”，并且在显示位置显示“吗”，进一步，判断触控位置对应的触控内容“您好吗”与显示位置对应的显示内容“吗”不匹配，则如图7B所示，确定此时用户并不需要使用控制窗口，用户实际上是在显示屏上进行触控操作，关闭控制窗口以及显示位置上显示的“吗”；如图7C所示，如果用户在触控位置上输入“吗”，并且在显示位置显示“吗”，进一步，判断触控位置对应的触控内容“您好吗”与显示位置对应的显示内容“您好吗”匹配，则如图7D所示，确定此时用户需要使用控制窗口，为所述控制窗口配置触控功能，还可以将控制窗口非透明的进行显示。

需要说明的是，如果检测到用户输入的触控信号之前，显示屏上没有用户输入的触控内容，则直接根据检测的用户输入的触控信号的触控位置与所述控制窗口的位置关系，确定为所述控制窗口配置触控功能，此时不需要进行触控位置生成的触控内容与显示位置对应的显示内容的匹配，只需确定用户输入的触控信号的触控位置是否在控制窗口所在区域内。

在一些实施例中，通过如下方式确定所述触控内容与所述显示内容匹配：

根据所述触控内容和所述显示内容的尺寸、数据类型中的至少一种，确定所述触控内容与所述显示内容匹配。需要说明的是，由于本实施例中的控制窗口中的内容是将显示屏的内容进行等比例缩放得到的，则在进行内容匹配时，能够提供更准确地匹配依据，可以进行尺寸的等比例匹配。例如显示屏内容和控制窗口中内容的比例为5：1，则将触控内容的尺寸放大5倍后，判断是否等于显示内容的尺寸。

可选的，本实施例中的数据类型包括但不限于：文字、图形、表格中的至少一种。

在一些实施例中，按预设规则放大所述触控内容或按预设规则缩小所述显示内容后，根据所述触控内容和所述显示内容的尺寸，确定所述触控内容与所述显示内容匹配。

在一些实施例中，本实施例除了提供触控内容与显示内容的匹配，为了更准确地判断用户的触控行为，还根据触控内容与触控位置周围显示屏上显示的展示内容是否匹配，进一步确定触控行为，具体实施如下：

步骤3-1)若所述触控位置位于所述控制窗口所在区域内，则获取以所述触控位置为中心，第三范围内所述显示屏上显示的展示内容；

需要说明的是，本实施例中触控位置的第一范围内生成的触控内容包括：以所述触控位置为中心的第一范围内用户输入的触控内容；展示内容包括：以所述触控位置为中心的第三范围内所述显示屏上的展示内容。展示内容表示显示屏上原有的显示的内容，即展示内容包括显示屏上原本显示的内容且恰好该展示内容位于控制窗口内，也就是说，展示内容是显示屏上在该控制窗口后面没有被遮挡的显示的内容。

步骤3-2)若所述触控内容与所述展示内容匹配，则关闭所述控制窗口以及为所述控制窗口配置的触控功能，并删除与所述触控位置对应的显示位置的所述显示内容。

实施中，如图8A所示，如果用户在触控位置上输入“吗”，并且在显示位置显示“吗”，进一步，判断触控位置对应的触控内容“您好吗”与展示内容“您好吗”匹配，则如图8B所示，确定此时用户并不需要使用控制窗口，用户实际上是在显示屏上进行触控操作，关闭控制窗口以及显示位置上显示的“吗”；如图8C所示，如果用户在触控位置上输入“吗”，并且在显示位置显示“吗”，进一步，判断触控位置对应的触控内容“您好吗”与显示位置对应的显示内容不匹配，此时，显示内容为显示屏在控制窗口内显示的内容，实际上是没有任何内容只有显示屏的背景，则如图8D所示，确定此时用户需要使用控制窗口，为所述控制窗口配置触控功能，还可以将控制窗口非透明的进行显示，其中包括将控制窗口的内容和/或背景按照非透明的方式显示。

在一些实施例中，按预设规则放大所述触控内容或按预设规则缩小所述展示内容后，根据所述触控内容和所述展示内容的尺寸，确定所述触控内容与所述展示内容匹配。

本实施例通过用户在控制窗口内输入的触控内容与不同区域(包括显示区域和展示区域)的内容进行匹配，若用户在控制窗口输入的触控内容与显示区域的显示内容匹配，则说明此时用户需要使用控制窗口进行触控显示，则为所述控制窗口配置触控功能；若用户在控制窗口输入的触控内容与展示内容匹配，则说明此时用户只是在显示屏上进行触控操作，而触控操作恰好位于控制窗口内，因此删除触控位置对应的显示位置的所述显示内容，并关闭控制窗口。通过增加判断依据，进一步避免误判，提高判断的准确性，提供一种准确无感的交互体验。

本实施例还提供一种详细的智能触控的方法，核心思想是利用检测的用户位置，判断用户和显示设备的距离，在确定该距离小于距离阈值时，按照一级透明度在显示屏的该用户位置对应的位置上显示控制窗口，并且将显示屏上的内容等比例缩放后映射到控制窗口显示，若进一步检测到用户输入的触控信号，且触控信号的检测时间和用户位置的检测时间的差值小于时间阈值，则判断该触控信号的触控位置和控制窗口的位置关系，若触控位置位于控制窗口所在区域内，则进一步判断触控位置对应的触控内容和显示内容、展示内容的匹配关系，若触控内容和显示内容匹配，则说明此时用户需要使用控制窗口，则为控制窗口配置触控功能并进行非透明显示，若触控内容和展示内容匹配，则说明此时用户使用显示屏进行触控操作，则关闭控制窗口和控制窗口配置的触控功能，并删除与该触控位置对应的显示位置的显示内容。需要说明的是，如果在接收用户输入的触控信号之前，显示屏上没有用户输入的触控内容，则只需判断用户输入的触控信号的触控位置与所述控制窗口的位置关系，来确定是否为控制窗口配置触控功能并进行非透明显示，不需要进行触控内容的匹配。通过上述流程，对于用户操作显示屏的操作过程而言，能够实现对控制窗口打开、关闭的无感操作，在用户操作显示屏的过程中，不需要多余的步骤对控制窗口进行打开关闭，能够根据用户的行为、触控位置、触控内容实现对控制窗口的打开、显示、配置触控功能、关闭等。为用户提供一种高效、便捷的使用体验。

如图9所示，上述方法的实施流程具体如下所示：

步骤900、开机启动后默认设置为显示屏接收触控信号并控制显示；

步骤901、检测到用户位置；

步骤902、判断检测的用户位置和显示设备的距离是否小于距离阈值，若是执行步骤903，否则执行步骤911；

步骤903、在显示屏上触发显示控制窗口，并按照一级透明度将显示屏上的内容等比例缩放后在控制窗口进行显示。

步骤904、检测到用户输入的触控信号；

步骤905、判断触控信号的检测时间和用户位置的检测时间的差值是否小于时间阈值，若是执行步骤906，否则执行步骤911；

步骤906、判断触控信号的触控位置是否位于控制窗口所在区域内，若是执行步骤907，否则执行步骤911；

步骤907、按照设置的二级透明度显示控制窗口中的内容，其中所述二级透明度低于所述一级透明度。

步骤908、判断显示屏上触控位置对应的触控内容，与显示位置对应的显示内容匹配还是与展示内容匹配，若与显示内容匹配则执行步骤909，否则执行步骤911。

其中，显示内容包括：以所述显示位置为中心的第二范围内所述显示屏上的显示内容。

展示内容包括：以所述触控位置为中心的第三范围内所述显示屏上的展示内容。

步骤909、确定为所述控制窗口配置触控功能，并非透明显示所述控制窗口中的内容；

步骤910、判断相邻两次检测的用户输入的触控信号的时间间隔是否大于预设时间，若是执行步骤911，否则执行步骤906。

步骤911、关闭所述控制窗口并删除与所述触控位置对应的显示位置的所述显示内容，返回显示屏接收触控信号并控制显示。

基于相同的发明构思，本公开实施例还提供了一种智能触控的方法，由于该方法即是本公开实施例中的设备对应的方法，并且该方法解决问题的原理与该设备相似，因此该方法的实施可以参见设备的实施，重复之处不再赘述。

如图10所示，本实施例提供的一种智能触控的方法的实施流程如下所示：

步骤1000、根据检测的用户位置，在所述显示设备的显示屏上触发控制窗口的显示，并控制所述控制窗口处于第一状态，所述第一状态表征根据接收的用户输入的触控信号判断是否向第二状态转换的过渡状态；

步骤1001、根据检测的用户输入的触控信号的触控位置与所述控制窗口的位置关系，控制所述控制窗口由第一状态向第二状态转换；

步骤1002、确定所述控制窗口处于第二状态，通过所述控制窗口对所述显示屏进行控制。

作为一种可选的实施方式，通过如下方式确定内容匹配：

作为一种可选的实施方式，还包括：

基于相同的发明构思，本公开实施例还提供了一种智能触控的装置，由于该设备即是本公开实施例中的方法中的设备，并且该设备解决问题的原理与该方法相似，因此该设备的实施可以参见方法的实施，重复之处不再赘述。

如图11所示，该装置包括：

显示单元1100，用于根据检测的用户位置，在所述显示设备的显示屏上触发控制窗口的显示，并控制所述控制窗口处于第一状态，所述第一状态表征根据接收的用户输入的触控信号判断是否向第二状态转换的过渡状态；

转换单元1101，用于根据检测的用户输入的触控信号的触控位置与所述控制窗口的位置关系，控制所述控制窗口由第一状态向第二状态转换；

控制单元1102、用于确定所述控制窗口处于第二状态，通过所述控制窗口对所述显示屏进行控制。

作为一种可选的实施方式，所述显示单元1100具体用于：

作为一种可选的实施方式，所述转换单元1101具体用于：

作为一种可选的实施方式，所述显示单元具体还用于：

作为一种可选的实施方式，所述显示单元1100具体还用于：

作为一种可选的实施方式，所述显示单元1100具体用于通过如下方式确定所述用户位置：

作为一种可选的实施方式，还包括判断单元具体用于：

基于相同的发明构思，本公开实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如下步骤：

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本公开的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本公开范围的所有变更和修改。

显然，本领域的技术人员可以对本公开实施例进行各种改动和变型而不脱离本公开实施例的精神和范围。这样，倘若本公开实施例的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。

Claims

一种显示设备，其中，包括显示屏、触控组件、控制器，其中：

所述显示屏用于进行内容的显示；

所述触控组件用于接收用户输入的触控信号；

所述控制器被配置为执行：

根据检测的用户位置，在所述显示设备的显示屏上触发控制窗口的显示，并控制所述控制窗口处于第一状态，所述第一状态表征根据接收的用户输入的触控信号判断是否向第二状态转换的过渡状态；

根据检测的用户输入的触控信号的触控位置与所述控制窗口的位置关系，控制所述控制窗口由第一状态向第二状态转换；

确定所述控制窗口处于第二状态，通过所述控制窗口对所述显示屏进行控制。
根据权利要求1所述的显示设备，其中，所述处理器具体被配置为执行：

根据检测的用户位置，确定所述用户和所述显示设备的距离；

若所述距离小于距离阈值，则在显示设备的显示屏上触发控制窗口的显示。
根据权利要求1所述的显示设备，其中，所述处理器具体被配置为执行：

根据所述用户位置的横坐标，确定所述控制窗口中心的横坐标；

根据所述控制窗口中心的横坐标，确定所述控制窗口在所述显示屏上显示的位置。
根据权利要求1所述的显示设备，其中，所述处理器具体被配置为执行：

若所述触控位置位于所述控制窗口所在区域内，则控制所述控制窗口处于第二状态。
根据权利要求1所述的显示设备，其中，所述处理器具体被配置为执行：

根据检测的用户操作的触控位置与所述控制窗口的位置关系，以及，以所述触控位置为中心的第一范围内生成的触控内容，控制所述控制窗口处于第二状态。
根据权利要求5所述的显示设备，其中，所述处理器具体被配置为执行：

若所述触控位置位于所述控制窗口所在区域内，则确定所述显示屏上与所述触控位置对应的显示位置，若所述触控内容与所述显示屏上，以所述显示位置为中心的第二范围内显示的显示内容匹配，则控制所述控制窗口处于第二状态；或，

若所述触控位置位于所述控制窗口所在区域内，则获取以所述触控位置为中心的第三范围内所述显示屏上显示的展示内容，若以所述触控位置为中心的范围内生成的触控内容，与所述展示内容匹配，则关闭所述控制窗口，并删除与所述触控位置对应的显示位置显示的内容。
根据权利要求6所述的显示设备，其中，所述处理器具体被配置为：

根据所述触控内容和所述显示内容的尺寸、数据类型中的至少一种，确定所述触控内容与所述显示内容匹配；或，

根据所述触控内容和所述展示内容的尺寸、数据类型中的至少一种，确定所述触控内容与所述展示内容匹配。
根据权利要求6所述的显示设备，其中，所述处理器具体被配置为执行：

按预设规则放大所述触控内容或按预设规则缩小所述显示内容后，根据所述触控内容和所述显示内容的尺寸，确定所述触控内容与所述显示内容匹配；或，

按预设规则放大所述触控内容或按预设规则缩小所述展示内容后，根据所述触控内容和所述展示内容的尺寸，确定所述触控内容与所述展示内容匹配。
根据权利要求1～8任一所述的显示设备，其中，所述根据检测的用户位置，在所述显示设备的显示屏上触发控制窗口的显示，所述处理器具体还被配置为执行：

将所述显示屏上的至少部分内容缩放后映射到所述控制窗口进行显示。
根据权利要求9所述的显示设备，其中，所述处理器还被配置为执行：

所述控制窗口从所述第一状态转换到所述第二状态的过程中，控制所述控制窗口中映射的内容的透明度逐级降低。
根据权利要求10所述的显示设备，其中，所述处理器具体被配置为执行：

若根据检测的用户位置，将所述显示屏上的至少部分内容缩放后映射到所述控制窗口进行显示，则按照一级透明度显示所述映射的内容；或，

若所述触控位置位于所述控制窗口所在区域内，则按照二级透明度显示所述映射的内容，其中所述二级透明度低于所述一级透明度；或，

若所述触控位置位于所述控制窗口所在区域内，且所述触控内容与所述显示内容匹配，则按照非透明方式显示所述映射的内容。
根据权利要求1～8、10-11任一所述的显示设备，其中，所述在所述显示设备的显示屏上触发控制窗口的显示之后，所述处理器具体还被配置为执行：

若超过预设时段未检测到触控信号，则关闭所述控制窗口；或，

若所述触控信号的检测时间，与所述用户位置的检测时间的差值大于时间阈值，则关闭所述控制窗口。
根据权利要求1～8、10-11任一所述的显示设备，其中，所述处理器具体被配置为通过如下方式确定所述用户位置：

根据所述显示设备拍摄的用户的深度图像中的深度信息，确定所述用户位置；或，

利用所述显示设备的数字雷达阵列进行扫描，根据扫描结果确定所述用户位置。
根据权利要求1～8、10-11任一所述的显示设备，其中，所述处理器具体还被配置为：

若所述控制窗口处于第一状态，则通过所述控制窗口进行内容的显示，通过所述显示屏接收触控信号；

若所述控制窗口处于第二状态，则通过所述控制窗口接收触控信号，通过所述控制窗口以外的区域进行内容的显示。
一种智能触控的方法，其中，该方法包括：

根据检测的用户位置，在所述显示设备的显示屏上触发控制窗口的显示，并控制所述控制窗口处于第一状态，所述第一状态表征根据接收的用户输入的触控信号判断是否向第二状态转换的过渡状态；

根据检测的用户输入的触控信号的触控位置与所述控制窗口的位置关系，控制所述控制窗口由第一状态向第二状态转换；

确定所述控制窗口处于第二状态，通过所述控制窗口对所述显示屏进行控制。
根据权利要求15所述的方法，其中，所述根据检测的用户位置，在所述显示设备的显示屏上触发控制窗口的显示，包括：

根据检测的用户位置，确定所述用户和所述显示设备的距离；

若所述距离小于距离阈值，则在显示设备的显示屏上触发控制窗口的显示。
根据权利要求15所述的方法，其中，通过如下方式确定所述控制窗口的位置：

根据所述用户位置的横坐标，确定所述控制窗口中心的横坐标；

根据所述控制窗口中心的横坐标，确定所述控制窗口在所述显示屏上显示的位置。
根据权利要求15所述的方法，其中，所述根据检测的用户输入的触控信号的触控位置与所述控制窗口的位置关系，控制所述控制窗口处于第二状态，包括：

若所述触控位置位于所述控制窗口所在区域内，则控制所述控制窗口处于第二状态。
根据权利要求15所述的方法，其中，所述根据检测的用户输入的触控信号的触控位置与所述控制窗口的位置关系，控制所述控制窗口处于第二状态，包括：

根据检测的用户操作的触控位置与所述控制窗口的位置关系，以及，以所述触控位置为中心的第一范围内生成的触控内容，控制所述控制窗口处于第二状态。
根据权利要求15～19任一所述的方法，其中，所述所述根据检测的用户位置，在所述显示设备的显示屏上触发控制窗口的显示，还包括：

将所述显示屏上的至少部分内容缩放后映射到所述控制窗口进行显示。
根据权利要求20所述的方法，其中，所述将所述显示屏上的至少部分内容缩放后映射到所述控制窗口进行显示，还包括：

所述控制窗口从所述第一状态转换到所述第二状态的过程中，控制所述控制窗口中映射的内容的透明度逐级降低。
一种计算机存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如权利要求15～21任一所述方法的步骤。