WO2022078172A1 - 一种显示设备和内容展示方法 - Google Patents

Abstract

本申请提供的显示设备和内容展示方法，所述显示设备包括：显示器；控制器，所述控制器与所述显示器通信连接，所述控制器被配置为：接收用户发送的截图指令；响应于所述截图指令，对所述显示器所显示的界面内容进行截图操作，获得截图图像；将所述截图图像发送至内容识别服务器；接收所述内容识别服务器发送的响应信息，所述响应信息中包含从所述截图图像中识别出的目标对象的识别结果；控制所述显示器按照与所述识别结果的置信度对应的显示方式，显示所述识别结果。

Description

一种显示设备和内容展示方法

相关申请的交叉引用

本申请要求在2020年10月16日提交的申请号为202011110556.8、发明名称为“显示设备及图像识别方法”的中国专利申请的优先权，在2020年12月11日提交的申请号为202011459807.3、发明名称为“一种显示设备和图像内容识别方法”的中国专利申请的优先权，以及在2020年12月11日提交的申请号为202011442801.5、发明名称为“一种显示设备和图像识别结果的展示方法”的中国专利申请的优先权，在2020年12月11日提交的申请号为202011461720.X、发明名称为“显示设备和内容展示方法”的中国专利申请的优先权，上述申请的全部内容通过引用结合在本申请中。

技术领域

本申请实施例涉及显示技术。更具体地讲，涉及一种显示设备和内容展示方法。

背景技术

显示设备，如智能电视，可以为用户提供诸如音频、视频、图片等播放画面。相比于通过数据广播为用户提供直播电视节目的传统电视，智能电视一般侧重于在线互动媒体、互联网电视和点播式流媒体，其能为用户更加丰富的内容和服务，如网络视频、网络游戏等各种应用和服务内容。

因此，为了提升用户对智能电视产品的使用体验，如何通过用户界面为用户提供更加精确、丰富的信息内容，显得尤为重要。

发明内容

一方面，本申请提供的显示设备，所述显示设备包括：显示器与控制器，所述控制器与所述显示器通信连接，所述控制器被配置为用以执行如下步骤：接收用户发送的截图指令；响应于所述截图指令，对所述显示器所显示的界面内容进行截图操作，获得截图图像；将所述截图图像发送至内容识别服务器；接收所述内容识别服务器发送的响应信息，所述响应信息中包含从所述截图图像中识别出的目标对象的识别结果；控制所述显示器按照与所述识别结果的置信度对应的显示方式，显示所述识别结果。

另一方面，本申请还提供的内容展示方法，该展示方法可以应用于显示设备，所述显示设备可以包括显示器与控制器，所述控制器被配置为执行以下程序步骤：接收用户发送的截图指令；响应于所述截图指令，对所述显示器所显示的界面内容进行截图操作，获得截图图像；将所述截图图像发送至内容识别服务器；接收所述内容识别服务器发送的响应信息，所述响应信息中包含从所述截图图像中识别出的目标对象的识别结果；控制所述显示器按照与所述识别结果的置信度对应的显示方式，显示所述识别结果。

附图说明

为了更清楚地说明本申请实施例或相关技术中的实施方式，下面将对实施例或相 关技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1示出了根据一些实施例的显示设备的使用场景；

图2示出了根据一些实施例的控制装置100的硬件配置框图；

图3示出了根据一些实施例的显示设备200的硬件配置框图；

图4示出了根据一些实施例的显示设备200中软件配置图；

图5示出了根据一些实施例的显示设备200中应用程序的图标控件界面显示图；

图6示出了一些实施例的网络架构图；

图7A至图7D为本申请一个实施例中对象识别框的显示效果示意图；

图8A至图8D为本申请另一个实施例中对象识别框的显示效果示意图；

图9为本申请图像识别结果一个实施例的流程示意图；

图10A至图10J为本申请实施例中局部识别框的显示效果示意图；

图11A至图11C为本申请实施例提中内容信息的显示效果示意图；

图11D为本申请实施例中图层结构示意图；

图12为本申请实施例提供的一种图像内容识别方法的流程示意图；

图13A至13F示出了一些实施例的推荐内容显示效果示意图；

图14示出了另一些实施例的推荐内容显示效果示意图；

图15示出了一些实施例中内容展示方法的流程示意图；

图16a至图16c为本申请在一些实施例中示出的一种用户界面；

图17a至图17f为本申请在一些实施例中示出的一种用户界面；

图18a至图18j为本申请在一些实施例中示出的一种用户界面；

图19为本申请在一些实施例中示出的一种图像识别方法流程图。

具体实施方式

为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。

术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

图1为根据实施例中显示设备的使用场景的示意图。如图1所示，显示设备200 还与服务器400进行数据通信，用户可通过智能设备300或控制装置100操作显示设备200。

控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式，通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等输入用户指令，来控制显示设备200。

在一些实施例中，也可以使用智能设备300(如移动终端、平板电脑、计算机、笔记本电脑等)以控制显示设备200。例如，使用在智能设备上运行的应用程序控制显示设备200。

在一些实施例中，显示设备可以不使用上述的智能设备或控制设备接收指令，而是通过触摸或者手势等接收用户的控制。

在一些实施例中，显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制，例如，可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制，也可以通过显示设备200设备外部设置的语音控制设备来接收用户的语音指令控制。

在一些实施例中，显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。

控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。

图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。

图3示出了根据示例性实施例中显示设备200的硬件配置框图。

在一些实施例中，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。

在一些实施例中，显示器260包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面等。

显示器260可为液晶显示器、OLED显示器、以及投影显示器中的至少一种，还可以为一种投影装置和投影屏幕。

检测器230用于采集外部环境或与外部交互的信号。例如，检测器230包括光接收器，用于采集环境光线强度的传感器；或者，检测器230包括图像采集器，如摄像头，可以用于采集外部环境场景、用户的属性或用户交互手势，再或者，检测器230包括声音采集器，如麦克风等，用于接收外部声音。

控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器260上显示UI对象的用户命令，控制器250便可以执行与由用户命 令选择的对象有关的操作。

在一些实施例中，用户可在显示器260上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。

在一些实施例中，“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素中的至少一种。

参见图4，在一些实施例中，将系统分为四层，从上至下分别为应用程序(Applications)层(简称“应用层”)，应用程序框架(Application Framework)层(简称“框架层”)，安卓运行时(Android runtime)和系统库层(简称“系统运行库层”)，以及内核层。

框架层为应用程序层的应用程序提供应用编程接口(application programming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心，这个中心决定让应用层中的应用程序做出动作。应用程序通过API接口，可在执行中访问系统中的资源和取得系统的服务。

系统运行库层为上层即框架层提供支撑，当框架层被使用时，安卓操作系统会运行系统运行库层中包含的C/C++库以实现框架层要实现的功能。

内核层是硬件和软件之间的层。如图4所示，内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。

在一些实施例中，显示设备启动后可以直接进入预置的视频点播程序的界面，视频点播程序的界面可以如图5中所示，至少包括导航栏510和位于导航栏510下方的内容显示区，内容显示区中显示的内容会随导航栏中被选中控件的变化而变化。应用程序层中的程序可以被集成在视频点播程序中通过导航栏的一个控件进行展示，也可以在导航栏中的应用控件被选中后进行进一步显示。

图6为本申请实施例提供的一种网络架构示意图，用于识别语音指令。下面对基于图6所示架构处理输入智能设备的信息的过程进行举例描述，以输入智能设备的信息为通过语音输入的查询语句为例，上述过程可包括如下三个阶段：

语音识别阶段：智能设备可在接收到通过语音输入的查询语句后，将该查询语句的音频上传至语音识别服务设备，以由语音识别服务设备通过语音识别服务将该音频识别为文本后返回至智能设备。在一个实施例中，将查询语句的音频上传至语音识别服务设备前，智能设备可对查询语句的音频进行去噪处理，这里的去噪处理可包括去除回声和环境噪声等步骤。

语义理解阶段：智能设备将语音识别服务识别出的查询语句的文本上传至语义服务设备，以由语义服务设备通过语义服务对该文本进行语义解析，得到文本的业务 领域、意图等。

响应阶段：语义服务设备根据对查询语句的文本的语义解析结果，向相应的业务服务设备下发查询指令以获取业务服务给出的查询结果。智能设备可从语义服务设备获取该查询结果并输出，例如无线、红外等形式将查询结果输出至显示设备。作为一个实施例，语义服务设备还可将对查询语句的语义解析结果发送至智能设备，以由智能设备输出该语义解析结果中的反馈语句。语义服务设备也可将对查询语句的语义解析结果发送至显示设备，以由智能设备输出该语义解析结果中的反馈语句。

需要说明的是，图6所示架构只是一种示例，并非对本申请保护范围的限定。本申请实施例中，也可采用其他架构来实现类似功能，在此不做赘述。

本申请实施例中的显示设备200能够实现用户可以根据自身需要选择目标显示界面中的任意区域进行内容识别，识别效果较好，显示设备200中的控制器250与显示器275通信连接，并被配置为执行图像内容识别的过程。

本申请实施例中的显示设备200能够可以控制显示器在对象识别框的附近显示识别出的对象的名称信息或文字提示信息，即可以通过文字提示信息提示用户可能存在识别错误的风险，避免对用户产生误导。显示设备200中的控制器250与显示器275通信连接，并被配置为执行图像识别结果的展示的过程。下面结合附图来介绍本申请实施例提供的图像识别结果的展示的过程。如果无特殊说明，以下实施例中显示设备所执行的步骤均可以理解为由所述控制器250执行或者由所述控制器250或所述控制器250与所述显示设备200的其他组成部分配合执行.

本申请示例性示出了一种显示设备，该显示设备可以具有显示画面图像识别功能。在一些实施例中，在显示任何内容的情况下，用户可以输入触发图像识别的指令，以控制显示设备对当前显示的部分或者全部内容进行图像识别。例如，用户在观看视频节目时，通过输入触发图像识别的指令，控制显示设备对当前显示的视频画面进行图像识别；再如，用户在观看不包含视频画面的系统主页时，通过输入触发图像识别的指令，控制显示设备对当前显示的用户界面进行图像识别。又如，用户在浏览本地图片时，通过输入触发图像识别的指令，控制显示设备对当前播放的本地图片文件进行图像识别。

在进行图像识别时，显示设备需要对当前显示界面进行截图操作，获得截图图像。所述截图图像可以包含当前显示界面所显示的全部内容，也可以仅包含当前显示界面所显示的部分内容，例如可以仅包含当前显示界面中部分界面元素或部分区域所显示的内容。所述截图图像可以是静态图片、动态图片、视频等。

在获得截图图像后，显示设备可以将截图图像上传至内容识别服务器，由内容识别服务器进行内容识别。内容识别服务器则可以对截图图像进行识别，并生成识别结果，然后将反馈信息发送给显示设备。

本申请中的对当前显示界面进行截图操作，指对显示器当前显示的部分或者全部内容的画面进行截取，获得截图图像。用于触发截图的用户输入可以是按键形式的用户输入、语音形式的用户输入或者用户手势输入。

在一些实施例中，用户可以触发图像识别指令，显示设备响应于该图像识别指令触发截图操作。用户也可以直接触发截图指令，显示设备响应于截图指令，直接执行截图操作。当然，在一些实施例中，用于触发截图的用户输入，同时也是上述用户触发图像识别的用户输入。

当接收到用户在不同场景下指示截图的用户输入时，根据场景的不同，执行相同或者不同的截图流程。比如，当在显示任何内容的情况下接收到截图指令时，获取与当前显示内容完全一致的截图内容，也可以是当显示图片或者视频的情况下接收到截图指令时，获取与当前显示图片或者视频画面一致的截图内容。不同的是，前者截图操作在视频层与OSD层合成后执行，或者是分别截取视频层与OSD层的画面后再整合得到的内容，后者截图操作在视频层与与OSD层合成前执行，或者仅对视频层画面进行截图。

触发截图的指令可以由用户直接向显示设备发送，也可以由用户通过手机、遥控器等设备向显示设备发送。例如，用户可以通过操作遥控器的指定截图按键，向显示设备发送截图指令。或者，用户可以通过语音的方式向显示设备输出截图指令。例如，用户可以语音输出“这个人是谁？”、“这件衣服从哪里买？”、“画面中有什么/谁？”，此时显示设备会接收到图像识别指令，触发截图。显示设备接收到截图指令之后会唤起内容识别功能。

显示设备响应于接收到的触发截图的指令，可以对当前显示界面进行截图操作，获得截图图像。所述截图图像可以包含当前显示界面所显示的全部内容，也可以仅包含当前显示界面所显示的部分内容，例如可以仅包含当前显示界面中部分界面元素或部分区域所显示的内容。所述截图图像可以是静态图片、动态图片、视频等。

本申请涉及的内容识别服务器可以包括一个也可以包括多个，不同内容服务器的类型和相同也可以不同，通常情况下，不同内容识别服务器可以拥有对不同目标对象进行识别，例如，不同内容识别服务器可以分别用于人脸识别、动物识别、植物识别。显示设备可以同时将截图图像发送给多个内容识别服务器，例如，可以先将截图图像发送给第一内容识别服务器，如果在预定时长内未收到该第一内容识别服务器的响应信息，或者第一内容识别服务器的反馈的响应信息中为包括可用给的识别结果，那么可以基于用户的操作或自动再将所述截图图像发送给第二内容识别服务器。本申请不对截图图像的发送方式或发送过程进行限定。

所述反馈信息中可以包含所述目标对象的识别结果。所述目标对象可以为一个也可以为多个；相应的，所述识别结果也可以为一个或多个，其中，每一个识别结果可以对应一个目标对象，每一个目标对象则可以对应多个识别结果。不同的内容识别服务器所识别的目标对象可以有所不同，同一个内容谁别服务器可以用于识别截图图像中的一类或几类目标对象。根据所述内容识别服务器的不同，所述目标对象的类别可以包括人脸、人像、物品、动物、植物、建筑、文字、图形，当从所述截图图像中识别出的所述目标对象为多个时，不同目标对象的类型可以相同也可以不同。

根据所述目标对象的不同，所述识别结果也相应有所不同，所述识别结果是指用于描述从所述目标对象的信息，通常情况下所述识结果可以包括目标对象的名称信息、描述信息等。除此之外所述识别结果中还可以包括目标对象的定位信息，所述定位信息用于指示所述目标对象在所述截图图像中的位置或位置范围，本申请不对所述定位信息的形式进行限定。所述识别结果中也可以包括更多或更少的信息，可以由同一服务器将识别结果的全部内容发送给显示设备，也可以由不同的服务器分别将识别结果的不同部分分别发送给显示设备，对此本申请也不做限定。

例如，当所述目标对象为人脸或人像时，所述识别结果可以包括该人的人名，以及人脸的图像轮廓位置；当所述目标对象为物品时，所述识别结果可以包括目标对象 的物品名，以及物品的图像轮廓位置；当所述目标对象为建筑物时，所述识别结果可以包括建筑物坐在地的地名；当所述目标对象为文字时，所述识别结果可以为该段文字的出处或翻译结果等。

所述反馈信息中除包含所述识别结果之外，还可以包含其他用于辅助显示设备对所述识别结果进行显示的辅助信息，例如，可以包括所述识别结果的置信度、置信度阈值、所述识别结果的置信度是否超过置信度阈值、所述目标对象在所述截图图像中的位置、所述识别结果的显示方式参数、与置信度对应的附加信息等多种信息中的一个或多个。其中，所述识别结果的置信度是指识别结果的可靠程度，置信度越高表示该识别结果越可靠，置信度越低表示该识别结果越不可靠。所述识别结果的置信度超过置信度阈值可以表示识别结果可靠，置信度未超过置信度阈值则可以表示识别结果不可靠，甚至有可能出错。

例如，如果所述内容识别服务器为人物识别服务器，内容识别服务器对截图图像进行内容识别之后，识别出第一对象和第二对象两个目标对象，也即从截图图像中识出两个人物。第一对象对应的第一对象所在区域的坐标基点为(X1，Y1)、第一对象所在区域的高度为H1、第一对象所在区域的宽度为W1、识别出的第一对象的名称信息为“星辰”、第一对象的识别结果置信度为95％。第二对象对应的第二对象所在区域的坐标基点为(X2，Y2)、第二对象所在区域的高度为H2、第二对象所在区域的宽度为W2、识别出的第二对象的名称信息为“婉婉”、第二对象的识别结果置信度为60％。其中，坐标基点是在对象所在区域定中某个特定点，例如所在区域的中心点，所在区域某一个定点等，所述长度和宽度的单位均可以为像素数量。

相应的，所述响应信息中可以包括：第一对象所在区域的坐标基点(X1，Y1)、第一对象所在区域的高度H1、第一对象所在区域的宽度W1、第一对象的名称信息“星辰”、第一对象的识别结果置信度95％；第二对象所在区域的坐标基点(X2，Y2)、第二对象所在区域的高度H2、第二对象所在区域的宽度W2、第二对象的名称信息“婉婉”、第二对象的识别结果置信度60％；以及预设置信度阈值可以为75％。

所述辅助信息也可全部或部分由所述显示设备生成或从所述内容识别服务器之外的服务器获取，显示设备可以在接收到所述响应信息前生成或获取所述辅助信息，也可以在接收到所述响应信息后再生成或获取所述辅助信息。例如所述置信度阈值也可以预先设置在所述现实设备上，所述置信度也可以由所述控制器根据所述截图图像的特征参数生成。

例如，显示设备可以根据截图图像的分辨率生成识别结果的置信度，当所述截图图像的分辨率越高时所述置信度也越高，当所述截图图像的分辨率越低时所述置信度也相应越低。或者，也可以根据目标对象所在区域的长度和宽度生成识别结果的置信度，也即目标对象占整个显示界面中的大小。当所述长度和宽度值越大时，目标人物在显示界面上的比例较大，所述置信度也越高，当所述长度和宽度值越小时，目标对象在显示界面上的比例较小，所述置信度也越低。还可以基于所述目标对象在所述截图图像中位置或占比，生成所述识别结果的置信度，具体方式在此就不再赘述。在另一些实施例中，也可以不生成所述置信度，而直接生成所述置信度是否超过信度阈值的判断结果，或者直接生成所述置信度在哪个信度阈值区间的分析结果。

所述辅助信息中也可以包括更多或更少的信息，所述辅助信息中的全部或部分可 以由同一服务器(例如内容识别服务器)将辅助信息的全部内容发送给显示设备，也可以由不同的服务器分别将辅助信息的不同部分分别发送给显示设备，或者也可以由所述显示设备自行生成，对此本申请也不做限定。

在接收到所述识别结果后，显示设备可以控制显示器在截图图像中显示所述识别结果。

所述识别结果的显示位置可以基于所述识别结果中的定位信息确定，所述定位信息用于指示所述目标对象在所述截图图像中的位置或位置范围。例如，为指示所述目标对象，显示设备可以显示对象识别框，所述对象识别框所包围区域中的内容即为所述目标对象。

所示识别结果的显示方式和显示效果等，则可以根据所述置信度或所述辅助信息确定。

例如，如果所述置信度不大于预设阈值，则采用提示性显示效果显示所述识别结果，或同时显示所述识别结果及预设提示性信息，以表示该识别结果可能并不可靠或并不准确，即所述提示性信息用于表示所述识别结果存在有错误的可能性，其中，使用提示性显示效果显示是指使用闪烁、使用特定色彩等能提醒用户注意的效果进行显示，所述提示性信息是指提示性文字、提示性图像等；如果所述置信度大于预设阈值，则采用非提示性显示效果显示所述识别结果，或显示所述识别结果且不显示所述预设提示性信息，表示该识别结果较为可靠。

又如，只在所述识别结果的置信度大于预设阈值时，才显示所述识别结果；如果所述置信度不大于预设阈值，则不显示所述识别结果而只显示预设的提示信息，例如，在所述置信度不大于预设阈值时显示“识别结果可能不准确，所以未予显示”等文字。

再如，可以预先划定一系列置信度区间，并且为每一个置信度区间分别配置不同的提示性信息和/或提示性显示效果。当所述置信度处于某个置信度区间时，采用该置信度区间所对应的提示性显示效果显示所述识别结果，或者显示与该置信度区间对应的提示性信息。

下面结合从截图图像中识别出第一对象和第二对象两个目标对象的示例，对识别结果的显示方式进行说明。

在一些实现方式中，显示设备可以根据第一对象对应的第一对象所在区域的坐标基点(X1，Y1)、第一对象所在区域的高度H1、第一对象所在区域的宽度W1，在截图图像中显示第一对象对应的第一对象识别框；并根据第二对象对应的第二对象所在区域的坐标基点(X2，Y2)、第二对象所在区域的高度H2、第二对象所在区域的宽度W2，在截图图像中显示第二对象对应的第二对象识别框。

在另一些实现方式中，显示设备可以基于第一对象的识别结果置信度大于预设置信度阈值这个判断结果，根据第一对象对应的第一对象所在区域的坐标基点(X1，Y1)、第一对象所在区域的高度H1、第一对象所在区域的宽度W1，在截图图像中显示第一对象对应的第一对象识别框；而基于第二对象的识别结果置信度不大于预设置信度阈值这个判断结果，不显示第二对象对应的第二对象识别框。

除显示所述对象识别框之外，所述显示设备还可以显示目标对象的名称信息等信息，所述名称信息可以显示在所述对象识别框的范围之内，也可以显示在所述对象识别框之外的一定范围之内。

在一些实现方式中，由于第一对象的识别结果置信度大于预设置信度阈值，而第二对象的识别结果置信度不大于预设置信度阈值，显示设备可以如图7A所示，先显示第一对象识别框和第二对象识别框；当焦点移动到第一对象识别框上，如图7B所示，用加粗效果显示所述第一对象识别框，并在第一对象识别框的附近显示了第一对象的名称信息“星辰”。焦点移动到第二对象识别框上时，如图7C所示，用加粗效果显示所述第二对象识别框，并在第二对象识别框的附近显示识别出的第二对象的名称信息“婉婉”，以及预设提示性信息“可能是”，也即显示设备可以在第二对象识别框的附近显示“可能是婉婉”。由于在第二对象识别框的附近显示了“可能是婉婉”，用户就可以根据文字信息“可能是”知晓第二对象识别框所包围的第二对象可能是“婉婉”，也可能并不是“婉婉”而是其他人物。显示设备还可以显式预设的的提示性内容，例如“人脸的角度、尺寸、清晰度等因素可能导致识别有误”，对识别结果可能存在的错误给予提示，避免对用户产生误导。

在另一些实现方式中，由于第一对象的识别结果置信度大于预设置信度阈值，而第二对象的识别结果置信度不大于预设置信度阈值，显示设备也可以如图7D所示，同时显示第一对象识别框和第二对象识别框，并在第一对象识别框的附近显示了第一对象的名称信息“星辰”，并同时在第二对象识别框的附近用特定字体或特定颜色显示“可能是婉婉”。显示设备利用显式方式的不同，对识别结果可能存在的错误给予提示，避免对用户产生误导。

如前所述，前述实施例均以人脸为例说明图像识别结果的展示过程，在一些实施例中，还可以利用植物、动物或者建筑物为例说明图像识别结果的展示过程。并且，用于提示用户的文字信息除了为“像”之外，还可以为“与……相似”等等。从截图图像中识别出一个目标对象或更多个目标对象的技术方案可以参见前述，在此就不再一一赘述。

例如，如图8A所示，为一种显示加粗效果的植物识别框以及非加粗效果的植物识别框的示意图。在图8A中，加粗效果的植物识别框的附近还显示了“芦荟”，非加粗效果的植物识别框的附近显示了“与绿萝相似”。

此时，植物识别框的加粗效果表明该植物识别框所包围的对象的识别结果是“芦荟”，并且识别结果的置信度录落入了较高的置信度区间，目标对象是芦荟的可信度很高，如果识别结果的置信度录落入了更低的置信度区间，则可以如图8B显示“可能是芦荟”。类似的，植物识别框的非加粗效果以及文字信息“与……相似”表明该植物识别框所包围的对象的识别结果是“绿萝”，但是该识别结果的置信度录落入了较低的置信度区间，目标对象是绿萝的可信度不高，如果识别结果的置信度录落入了更高的置信度区间，则可以如图8B显示“可能是绿萝”。

或者，如图8C所示，为一种显示实线效果的动物识别框以及虚线效果的动物识别框的示意图。在图8C中，实线效果的动物识别框的附近还显示“东北虎”，虚线效果的动物识别框的附近显示“与美洲豹相似”。此时，动物识别框的实线效果表明该动物识别框所包围的对象是“东北虎”的可信度很高；动物识别框的虚线效果以及文字信息“与……相似”表明该动物识别框所包围的对象是“美洲豹”的可信度不高。

或者，如图8D所示，为一种显示花边效果的建筑物识别框以及非花边效果的建筑物识别框的示意图。在图8D中，花边效果的建筑物识别框的附近还显示了“图片 中的建筑位于上海”，非花边效果的建筑物识别框的附近用斜体字显示了“图片中建筑可能位于巴黎”。此时，建筑物识别框的花边效果表明该建筑物在“上海”的可信度很高；建筑物识别框的非花边效果以及斜体文字信息表明该建筑物在“巴黎”的可信度不高。

由以上技术方案可知，本申请实施例提供的一种显示设备，所述显示设备包括：显示器；控制器，所述控制器与所述显示器通信连接，所述控制器被配置为：接收截图指令；响应于所述截图指令，对所述显示器所显示的当前显示界面进行截图操作，获得截图图像；将所述截图图像上传至内容识别服务器进行内容识别；接收所述截图图像的内容识别结果，所述内容识别结果包含从所述截图图像中识别出的对象的名称信息；控制所述显示器在所述截图图像中显示对象识别框，以及控制所述显示器在所述对象识别框的附近显示所述识别出的对象的名称信息或文字提示信息。这样，可以控制显示器在对象识别框的附近显示识别出的对象的名称信息或文字提示信息，即可以通过文字提示信息提示用户可能存在识别错误的风险，避免对用户产生误导。

参见图9，本申请还示例性示出了一种内容展示方法的流程示意图，如图8所示，包括以下步骤：

步骤101、接收截图指令。

步骤102、响应于所述截图指令，对显示器所显示的界面内容进行截图操作，获得截图图像。

在接收到截图指令后，显示设备响应于接收到的截图指令，可以对当前显示界面进行截图操作，获得截图图像。

步骤103、将所述截图图像发送至内容识别服务器。

显示设备可以将截图图像上传至内容识别服务器进行内容识别，获得内容识别结果。在一些实施例中，假设内容识别服务器对截图图像进行内容识别之后，识别出12个对象。12个对象中的第三对象对应的第三对象所在区域的坐标为(X3，Y3)、第三对象所在区域的高度为H3＝40像素、第三对象所在区域的宽度为W3＝45像素、识别出的第三对象的名称信息为“芊芊”、第三对象的识别结果置信度为48％。需要说明的是，显示设备还可以接收内容识别服务器下发的预设置信度阈值，该预设置信度阈值可以为75％。

步骤104、接收所述内容识别服务器发送的响应信息，所述响应信息中包含从所述截图图像中识别出的目标对象的识别结果。

所述内容识别服务器可以为一个也可以为多个，相应的所述响应信息也可以为一个或多个。所述响应信息可以包括多个部分，不同部分可以由同一个服务器发送，也可以由不同的服务器，所述服务器可以是所述内容识别服务器，可以是所述内容识别服务器之外的其他服务器。

步骤105、按照与所述识别结果的置信度对应的显示方式，显示所述识别结果。

在显示所述识别结果之前，显示设备还可以先生成或获取所述识别结果的置信度。例如，如果内容识别服务器具有生成置信度的功能，则所述置信度由内容识别服务器；如果内容识别服务器不具有生成置信度的功能，则所述置信度可以由所述显示设备或其他服务器生成。

以显示自行设成所述置信度为例，显示设备可以基于所述截图图像的特征信息或 基于所述响应信息中所包含的信息生成所述置信度。例如，可以基于所述截图图像的分辨率，或者基于所述目标对象所在区域在所述截图图像中位置或占比，生成所述识别结果的置信度。内容识别服务器也可以采用前述方式生成所述置信度。当所述目标对象为多个时，不同目标对象的置信度可以共同确定，即每个目标对象的置信度都是同一值；不同目标对象的置信度也可以分别确定，在分别确定不同目标对象的置信度时，所采用的确定方式可以相同也可以不同。

在显示所述识别结果时，如果所述置信度不大于预设阈值，则可以采用提示性显示效果显示所述识别结果，或者，也可以显示所述识别结果及预设提示性信息，或者也可以将两种显示方式相和合；如果所述置信度大于预设阈值，则可以采用非提示性显示效果显示所述识别结果，或者可以显示所述识别结果且不显示所述预设提示性信息。

由以上技术方案可知，本申请实施例提供的一种内容展示方法，接收用户发送的截图指令；响应于所述截图指令，对所述显示器所显示的界面内容进行截图操作，获得截图图像；将所述截图图像发送至内容识别服务器；接收所述内容识别服务器发送的响应信息，所述响应信息中包含从所述截图图像中识别出的目标对象的识别结果；控制所述显示器按照与所述识别结果的置信度对应的显示方式，显示所述识别结果。这样，除可以在对象识别框的附近显示识别出的对象的名称信息之外，还可以显示相应的提示信息，通过提示信息提示用户识别结果存在错误的可能性，避免对用户产生误导。

在本申请的另一些实施例中，如图7A所示，响应于用户输入的截图(或者图像识别)指令，对当前显示画面进行截图，以及，呈现局部识别控件和原图识别控件。其中，原图识别可用于对当前显示画面的所有内容进行图像识别；局部识别控件可以根据用户在截图图片上框定的区域进行局部图像识别。例如，在接收到所述识别指令后，控制器250响应于接收到的图片识别请求，控制所述显示器275在其所显示的目标显示界面中显示局部识别框。

所述目标显示界面可以是显示器275当前正在显示的界面，例如用户菜单界面、影音播放界面、资讯展示界面等，对此本申请不做限定。所述局部识别框601可以是一个也可以为多个，多个局部识别框的大小或形状可以相同也可以不同；不同局部识别框之间可以互不重合，也可以全部或部分重合。本申请不对局部识别框在所述显示器275进行显示的位置进行限定，也不对局部识别框的形状、大小、数量、显示方式等进行限定。所述目标显示界面可以如图10A的示例所示。

所述局部识别框可以以线框的方式显示，或者也可以特定显示效果(例如相对高亮度显示、三维效果等)的方式显示或体现。为便于表述，本申请实施例中仅仅以线框的为例进行说明，并不代表对本申请方案的限定，线框形式的局部识别框的显示效果可以如图10B及图10C的示例所示。

在一些实施例中，所述显示器275除了在目标显示界面中显示局部识别框之外，还可以显示其他信息。例如，还可以显示与局部识别框相应的提示信息框及提示信息，所述提示信息可以用于提示用户可以进行的下一步操作，或者也可以用于对局部识别框可以实现的功能进行说明。提示信息可以显示在提示信息框602中，提示信息框602可以显示在预订位置，也可以显示在基于局部识别框确定的位置，其显示效果可以如 图10D的示例所示。需要说明的是，所述局部识别框与所述提示信息可以显示在同一个图层，也可以显示在不同的图层。

在另一些实施例中，所述提示信息框602中可以显示“重新截取”按钮或“原图识别”按钮。用户可以通过操作遥控器方向键移动焦点至“重新截取”按钮，通过点击该“重新截取”按钮可以返回至图10A所示的状态。或者，用户可以通过操作遥控器方向键移动焦点至“原图识别”按钮，通过点击该“原图识别”将目标显示界面的全图发送给内容识别服务器进行识别，控制器250在收到所述确认指令后，将目标显示界面的全图发送至内容识别服务器。采用该实施例所提供的方式，用户可以方便的在全屏图像识别和局部图像识别功能之间做选择。

在目标显示界面中显示局部识别框后，用户还可以发送调整指令，所述调整指令可以用于对局部识别框的形状、大小、位置、数量进行调整。所述控制器250在接收到所述调整指令后，基于调整指令的内容调整所述局部识别框的大小、形状、位置、数量等，并控制显示器275显示调整后的局部识别框。

在一些实施例中，所述局部识别框的位置、大小等可以根据目标显示界面中的焦点所在位置确定，并随着焦点位置的变化而变化，即，所述局部选择框所选择的区域始终是焦点所在的区域。例如，当焦点位于目标显示界面中某个内容显示窗口时，所述局部识别框选定的区域可以与内容显示窗口重合或包含该内容显示窗口，其效果可以如图10D所示。当所述焦点的位置发生变化，从一个内容显示窗口转移到另一个内容显示窗口时，所述局部识别框的位置和大小也随之发生变化，其效果可以例如图10E所示。采用此方式，用户可以通过对焦点的位置调整，实现对局部识别框的位置调整，便于用户使用。

在另一些实施例中，所述局部识别框可以以初始大小显示在目标显示界面中的初始位置，而控制器250可以响应于调整指令，调整所述局部识别框的位置或大小。例如，在接收到用户的识别指令之后，显示器275可以在目标显示界面的默认位置(例如目标显示界面边缘处或正中央)显示局部识别框，其效果可以例如入图10F所示。如果局部识别框的位置不符合用户的需要，那么用户可以发送局部识别框的位置或大小调整指令，控制器250则响应于调整指令，调整局部识框的位置和大小，从而使局部识别框选定用户想要进行搜索的图像内容，其效果可以例如入图10G所示。

在又一些实施例中，所述局部识别框的位置和大小可以根据目标显示界面所包含的界面元素而确定，其中，所述界面元素可以是内容视图、窗口、菜单、图片、文本框等。当所述目标显示界面中显示有多个界面元素时，可以针对一个或多个界面元素显示一个局部识别框，其效果可以如图10H所示。每一个局部识别框对应一个界面元素，局部识别框所选定的区域即为相应界面元素所在的区域。进一步，控制器250可以响应于用户发送的调整指令，增加或减少所述局部识别框的数量，从而通过局部选择框选定用户想要进行搜索的图像内容。

在再一些实施例中，所述局部识别框的位置和大小可以根据目标显示界面所显示的内容而确定。例如，控制器250可以预先对目标界面进行才初步识别，然后根据控制器250从目标显示界面中识别出来的目标物(例如初步识别出的人物头像、动物图像或物品图像)而定。当所述目标显示界面中显示有多个目标物时，可以针对每一个目标物显示一个局部识别框，例如图10I所示。每一个局部识别框对应一个目标物， 局部识别框所选定的区域即为目标物所在的区域。同样的，控制器250可以响应于用户发送的调整指令，增加或减少所述局部识别框的数量、调整所述局部识别框的形状或位置，从而通过局部选择框选定想要进行搜索的图像内容，例如图10J所示。

用户在通过局部识别框选择了要进行搜索的选定图像后，可以向控制器250发送确认指令。控制器250在收到所述确认指令后，将选定图像发送至内容识别服务器。

其中，所述选定图像是指所述目标显示界面中由所述局部识别框所选定区域的图像，所述确认指令，可以由用户直接发送或通过其他设备(例如遥控器)间接发送，所述确认指令可以是单独的一条指令可以是多条指令的组合。用户可以通过按压遥控器指定的按键或操作移动终端，实现通过遥控器或移动终端向显示设备发送确认指令；或者，用户也可以向显示设备输出语音确认指令，例如，用户可以向显示设备发送“识别这个区域”“确认”等语音指令。本申请不对确认指令的具体形式和获取途径进行限定。

例如，在图10D所示的状态下，用户通过操作遥控器方向键将局部识别框左移至图10E所示位置，用户可以通过点击遥控器确认按键，向显示设备发出局部识别指令。显示设备可以根据接收到的局部识别指令，截取选定图像中局部识别框所包围的显示有文字和图形的选定图像，并发送至内容识别服务器。

在一些实施例中，所述局部识别框只有一个。在此情况下，控制器250在接收到确认指令后，可以将目标显示界面中该局部识别框所选定区域的图像发送给内容识别服务器。例如，当局部识别框如图10E所示时，控制器250如果接收到用户按压遥控器“OK”键时，遥控器所发送的遥控信号，那么就可以将选定图像发送给内容识别服务器。

在另一些实施例中，所述局部识别框可能有多个。在此情况下，控制器250在接收到确认指令后，可以根据确认指令的内容，从所有局部识别框中选出至少一个作为选定局部识别框，然后将选定局部识别框所选定区域的图像发送给内容识别服务器。例如，当局部识别框如图10I所示时，控制器250每接收到用户短按遥控器“OK”键时遥控器所发送的遥控信号，那么就可以将当前焦点所在的一个选定图像发送给内容识别服务器；如果接收到用户长按遥控器“OK”键时遥控器所发送的遥控信号，那么就可以将所有选定图像发送给内容识别服务器。

根据应用场景或预先设置不同，所述内容识别服务器也可以同时存在多个，所述多个内容识别服务器可以是多种不同类型，不同类型的内容识别服务器可以分别用于识别不同的目标对象，所反馈的识别结果各不相同。例如，所述内容识别服务器可以是人物识服务器、图像识别服务器、多媒体服务器、媒资服务器、搜索引擎服务器等多种类型中的一个或几个。所述内容识别服务器可以用于对所述选定图像中的文字、图像、物品、人物等不同类型的识别目标进行识别，反馈相应的识别结果，为便于表述，以下分别用第一内容识别服务器与第二内容识别服务器分别指代不同类型的内容识别服务器。

所述选定图像可以仅发送给一个内容识别服务器，也可以同时发送给两个或两个以上的内容识别服务器；当所述选定图像为多个时，多个选定图像可以发送给同一个内容识别服务器，也可以分别发送给不同的内容识别服务器，例如将第一选定图像发送给第一内容服务器，将第二选定图像发送给第二内容服务器。在将选定图像发送给 内容识别服务器时，既可以同时发送给多个内容识别服务器，也可以在接收到第一内容识别服务器反馈的识别结果后，再根据识别结果将，确定第二内容识别服务器，并选定图像发送给第二内容识别服务器。例如，控制器250可以先将选定图像发送给人物识服务器，如果人物识服务器所反馈的识别结果中未包含有效的内容(例如未包人物信息)，那么可以再将该选定图像发送给图像识别服务器。

内容识别服务器在接收到所述选定图像后，可以对所述选定图像进行识别或其他相应处理，进而生成识别结果，然后将所述识别结果发送给控制器250，所述控制器250则相应接收所述内容识别服务器返回的识别结果。其中，所述识别结果除可以包括从所述选定图像中识别出的信息之外，还可以包括基于所述识别出的信息进行进一步处理或搜索所得的信息，例如包括基于从所述选定图像中识别出的文字进行检索所得的检索结果，或，基于从所述选定图像中识别出的演员进行确定额推荐媒资。

同一个目标对象则可以对应多组结果信息。例如，当内容识别服务器从所述选定图像中识别出两个人物时，所述识别结果中可以包含两组人物信息，每一组人物信息与其中的一个人物相对应；当内容识别服务器从所述选定图像中识别出一个人物与一个物品时，所述识别结果中则可以包含一组人物信息、一组物品简介信息及一组物品购买链接信息，所述人物信息与所述人物相对应，所述物品信息及所述物品购买链接信息则与所述物品相对应。

在一些实施例中，所述识别结果可以包括至少一组人物信息，其中每一组人物信息与所述选定图像中的一个人脸图像对应，每一组人物信息可以包含用于选定图像中人脸图像所在区域的信息(例如坐标、人脸图像所在区域的高度H、人脸图像所在区域的宽度W等)以及识别出的人物的身份信息，还可以包括基于所述身份信息所获取到的媒资信息等其他信息。如图10A所示，为一种识别出的人脸区域的示意图。在图10A中，人脸所在区域为一个包围人脸的矩形区域，该人脸图像所在区域的早左上角在显示器275坐标系中的坐标(X0，Y0)；该人脸所在区域的高度H0；该人脸所在区域的宽度W0。显示设备可以根据该坐标(X0，Y0)、高度H0、宽度W0确定内容信息的展示位置。

在另一些实施例中，所述识别结果可以包括至少一组物品信息，其中，每一组物品信息与所述选定图像中的一个物品对应，每一组物品信息可以包含选定图像中物品名称信息，还可以包括该物品或与该物品相似的其他物品的商品简介或购买链接信息。类似的，还可以包括用于选定图像中物品图像所在区域的坐标信息。

在再一些实施例中，所述识别结果可以包括至少一组媒资推荐信息，其中，每一组媒资推荐信息与一个选定图像相对应，每一组媒资推荐信息用于推荐至少一组基于所述选定图像推荐媒资。例如，基于所述选定图像中所包含演员的信息确定的推荐媒资，或者根据所述选定图像中所包含的人物服饰或场景确定的推荐媒资。

在收到所述识别结果之后，所述控制器250则可以控制显示器275显示与所述识别结果对应的内容信息。所述内容信息的显示位置、显示方式、显示时长等与内容信息显示相关的参数都可以预先设定，也可以根据所述选定图像的类型、所述识别结果所包含的内容等确定。

在一些实施例中，当所述识别结果中包括前述实施例中所述的人物信息时，可以根据人脸所在区域的坐标、人脸所在区域的高度H或人脸所在区域的宽度W等信息， 在选定图像上显示人脸识别框，并在人脸识别框的附近显示识别出的人物的身份信息等。如图11A所示，为一种在选定图像上显示人脸识别框701，并在人脸识别框的附近显示识别出的人物的身份信息的示意图。在图11A中，选定图像中显示了一个人脸识别框，并在该人脸识别框的附近显示了识别出的人物的身份信息“张三”。在图11B中，则分别显示了“张三”“李四”这两个身份信息。

在另一些实施例中，当所述识别结果包括至少一组物品信息时，可以根据物品图像所在区域的坐标信息显示物品识别框，并在预先设定的区域显示该物品的商品简介或购买链接信息。具体显示方式在此就不再赘述。

在一些实施例中，如果所述识别结果中包含多组结果信息，那么控制器250则可以控制显示器275按照预设规则或显示方式同时显示各组结果信息；也可以控制显示器275按照预设规则或显示方式显示其中一组或几组结果信息，进而还可以自动切换显示或根据用户发送的切换指令切换显示其他组的结果信息，或者切换其他服务器所反馈的识别结果中结果信息。

例如，当所述识别结果中包含“张三”“李四”两组人物信息，每一组人物信息与一个人物相对应时，控制器250则可以控制显示器275显示其中一组人物信息，其显示方式可以如图11A的示例所示；或者，可以控制显示器275仅显示“张三”的人物信息，其显示方式可以如图11B的示例所示，当接收到切换指令后再显示“李四”的人物信息，而不再显示“张三”的人物信息，其显示方式可以如图11C的示例所示。

又如，当所述识别结果中则与同一个物品对应的一组物品简介信息及一组物品购买链接信息时，控制器250则可以控制显示器275按照预设规则或显示方式显示由图像识别服务器所反馈的识别结果中所包含的物品简介信息；而在收到用户发送的切换指令后，控制器250则可以控制显示器275按照预设规则或显示方式显示购物搜索引擎所反馈的识别结果中。

需要说明的是，所述局部识别框、内容信息及其他信息的显示均可以通过增加新的图层实现，例如图11D所示，用于显示目标显示界面的图层为图层B，而用于显示局部识别框的图层为图层M，所述图层M层叠显示与图层B之上，用于显示内容信息的图层T则可以层叠于图层M之上。以Android系统定义的坐标系规则为例，所述图层M的Z轴坐标值大于图层B的Z轴坐标值，所述图层T的Z轴坐标值大于图层M的Z轴坐标值。通过对图层M或图层T的显示参数进行调整，可以达到不同的显示效果。例如，可以将图层M中除所述局部识别框所在的区域之外的其他区域均设置为半透明，从而实现局部识别框的突出实现。

例如，目标显示界面所在的图形可以为图层B，局部识别框位于图层M，内容信息则位于图层T。局部识别框大小为产品定义的固定大小或可根据后台下发的尺寸大小；当在局部识别选择状态，用户通过方向键移等动局部识别框时，当前自定义View通过固定的步长在onDraw()方法中重绘刷新显示局部识别框，以达到局部识别框实时跟随用户按键操作移动的效果。图层M和图层T均可以为局部镂空四周半透明样式遮罩控件所在的图层，通过自定义View，中间镂空位置与局部识别框的区域保持一致，颜色为透明；其他位置通过半透明的颜色填充。图层P可以为按钮及提示文字所在的图层，该图层位于所有图层的最上层，根据预先设计定义，可以在指定位置区域填充相应的文字、颜色、图案实现，其他位置保持透明状态。

在另一些实施例中，也可以将图层M由显示局部识别框改变成显示所述内容信息，从而无需再显示图层T；或者还可以在图层T之上再层叠显示用于实现其他功能或效果的图层P。采用此方式，可以在不改变目标显示界面所显示的内容的情况下显示，局部识别框、内容信息及其他信息，降低局部识别框等信息的显示复杂度。

本发明实施例提供的一种显示设备，可以从显示设备所显示的图像截取部分图像作为选定图像，并利用内容识别服务器对选定图像进行内容识别，获得识别结果，进而显示与识别结果对应的内容信息。即用户可以根据自身需要选择选定图像中的任意区域进行内容识别，识别效果较好。而且，利用局部识别框选择想要进行内容识别的局部区域，相对于使用整张图像进行内容识别的方式，缩小了识别区域，提高了识别的成功率和准确率，也增加了趣味性。进一步的，由于缩小了识别区域，在利用内容识别服务器进行内容识别时，可以降低数据传输量和并降低带宽压力，提高内容识别结果的返回速度。

与前述显示设备的实施例相对应，本申请还提供了一种显示方法的实施例。下面结合附图对本申请显示方法的实施例进行说明。

参见图12，为本申请提供的一种图像内容识别方法的流程图。如图14所示，包括以下步骤：

步骤201，响应于局部识别指令，在所述显示器所显示的目标显示界面中显示局部识别框。

显示设备可以接收用户发送的识别指令，当所述识别指令是局部识别指令时，在所述显示器所显示的目标显示界面中显示局部识别框。所述局部识别指令的接收方式，可以参见前述实施例，在此就不再赘述。

所述局部识别框的显示方式有多种，可以在所述目标显示界面所包含的内容中添加至少一个局部识别框，或者可以在所述显示器所显示的目标显示界面上叠加显示一个具有局部识别框的图层，对此本申请不做限定。

所述局部识别框在显示器中的显示位置可以根据应用场景的不同而不同。例如，所述局部识别框可以显示在预先设定的位置；或者显示在基于所述目标界面中所包含的界面元素确定的位置；或者显示在基于所述控制器从所述目标显示界面中识别出的目标物所在的位置所确定的位置，对此本申请也不做限定。

在显示出所述局部识别框之后，还可以接收局部识别框调整指令，所述局部识别框调整指令用于调整所述局部识别框的显示位置、大小或显示方式等。调整后的局部识别框的显示方式、实现局部识别框调整的方式等均可以参见前述实施例，在此也不再赘述。

步骤202，响应于确认指令，将至少一个选定图像发送至内容识别服务器。

在接收倒确认指令之后，显示设备可以响应于确认指令，将至少一个选定图像发送至内容识别服务器。

本申请对选定图像的数量和内容识别服务器的数量都不做限定，可以是一个也可以是多个，不同选定图像所包含的内容可以相互独立，也可以有重叠。所述识别服务器也可以是一个或多个，不同识别服务器可以也用于从图像中识别不同类型的内容或用于提供不同个信息。

步骤203，接收所述内容识别服务器返回的识别结果。

所述识别结果既可以包括一个识别服务器返回的一个识别结果，也可以包括一个识别服务器同时或先后返回的多个识别结果，还可以包括多个识别服务器同时或先后返回的多个识别结果。每一个所述识别结果中可以包含多组结果信息，每一组信息与从所述选定图像中识别出的一个目标对象相对应，与同一个目标对象对应的结果信息则可以为多组。

步骤204，控制所述显示器显示与所述识别结果对应的内容信息。

所述内容信息可以是所述结果信息所包含的内容，即，可以仅显示结果信息本身所包含的内容。例如，所述内容信息可以所述内容信息中包含的文本、图形、图像等内容。或者，所述内容信息也可以是基于所述结果信息进一步生成或获取到的信息。例如，所述内容信息可以是基于所述结果信息所包含的参数生成的图形、图像，或者是基于所述结果信息所包含的链接获取到的页面内容。对此本申请也不做限定。

本申请的图像识别是否如用户所愿还受另一个因素的影响，及用户操作时延或者数据处理延时，尤其是在视频播放过程中。例如，当前正在播放一个视频，当用户对第一时间的画面感兴趣时，从用户眼睛所见到用户触发图像识别操作，具有一定的延时，该延时可理解为是用户的操作延时。在用户触发图像识别动作，到显示设备接收到指令触发截图操作，也具有一定的延时，该延时即为数据处理延时。

由于受到用户操作时延或显示设备200数据处理时延的影响，截图图像中可能并不包含目标对象，其中，目标对象是指用户可能感兴趣的对象。例如，从用户观看到显示器275所显示的画面，到用户发出截图指令，再到显示设备200实际进行截图操作，可能会存在一个较长的时延。该处时延的存在也可能会导致最终得到的截图图像与用户想要截取的显示画面并不一致，也可能会导致截图图像中目标对象的图像不清楚甚至不包含目标对象的情况。服务器400对这样的截图图像进行内容识别，可能无法从中目标对象，进而导致无法为用户提供用户可能感兴趣的信息。

为避免此类情况发生，在显示设备200在获取截图图像时，还可以获取与所述截图图像对应的场景信息，然后将所述场景信息发送给服务器400。所述服务器400则可以基于所述场景信息生成推荐内容或完成图像识别，进而生成相应的响应信息，通过响应信息为用户提供用户可能感兴趣的信息。这样无论截图图像的内容或质量如何，也无论服务器400是否能从截图图像中识别出目标对象，服务器400都可以反馈可能感兴趣的推荐内容或识别结果给显示设备200，以供显示设备200进行显示。

此外，由于显示器在触发截图指令时，画面场景有可能是是一帧包含有高速运动对象的图像，在这种情况下，截取的图像很有可能会出现拖影或者抖动。这样会影响后续的图像识别工作。

在显示设备200在获取截图图像时，还可以获取与所述截图图像对应的场景信息，然后将所述场景信息发送给服务器400。所述服务器400则可以基于所述场景信息生成推荐内容或完成图像识别，进而生成相应的响应信息，通过响应信息为用户提供用户可能感兴趣的信息。这样无论截图图像的内容或质量如何，也无论服务器400是否能从截图图像中识别出目标对象，服务器400都可以反馈可能感兴趣的推荐内容或识别结果给显示设备200，以供显示设备200进行显示。

在本申请一些实施例中，所述场景信息是服务器400提供推荐内容的依据，服务器400在获取到所述场景信息后，可以提供与所述场景信息对应的推荐内容或识别结 果等。即，服务器400在获取到所述场景信息后，可以根据场景信息的内容不同，向显示设备200提供不同的推荐内容或识别结果。所述场景信息可以是指除所述截图图像之外的任何信息，通常情况下，所述场景信息可以包括与所述视频相关联的信息、与所述截图图像相关联的信息、或者所述显示设备200的运行状态信息等。

例如，所述场景信息可以包括显示设备200正在播放视频的视频ID、所述视频名称、所述视频播放进度、或者所述视频是否为本地视频等一个或多个与所述视频相关联的信息；也可以包括显示设备200接收到所述截图指令的时间、截图图像的分辨率、用于实现所述视频播放的APP名称等一个或多个与截图图像相关联的信息；或者也可以包括显示设备200正在运行的APP的信息、显示设备200的已持续运行的时间等一个或多个与运行状态相关的信息。

除通过信息获取请求将所述场景信息发送给服务器400之外，所述显示设备200还可以通过信息获取请求将截图图像等其他信息发送至服务器400，以便于所述服务器400对所述截图图像进行内容识别，进而向显示设备200反馈识别结果或反馈基于识别结果所确定的推荐内容。为提升截图图像的识别效果，除将截图图像发送至服务器400之外，还可以将用于辅助服务器400对所述截图图像进行内容识别的辅助信息发送至服务器400。所述辅助信息也可以有多种类型，例如，可以包括与所述截图图像相关的图像(例如所述视频中与所述截图图像最近的关键帧、所述截图图像临近的图像帧、包含所述截图图像的视频片段等)，或者也可以包括所述视频的视频ID、名称、来源等与所述视频相关的信息。

显示设备200发送信息获取请求方式可以有多种，通常情况下，显示设备200可以在获取到所述截图图像之后，向服务器400发送包含有所述场景信息的信息获取请求，从而通过信息获取请求将场景信息发送给所述服务器400。除包含有所述场景信息之外，所述信息获取请求中还可以同时包含有所述截图图像或辅助信息等其他信息。所述信息获取请求中也可以只包含截图图像及辅助信息而不包含场景信息，对此本申请不做限定。

在一些实施例中，显示设备200可以仅在符合预定条件时，才向服务器400发送信息获取请求。例如，显示设备200可以仅在所述截图图像包括播放视频所产生的画面时，向服务器400发送信息获取请求，如果所述截图图像中不包含播放视频所产生的画面，则可以按照通常方式，将截图图像发送给内容识别服务器进行内容识别。

在另一些实施例中，显示设备200也可以仅在接收到用户发送的确认指令后，才向服务器400发送信息获取请求；如果未接收到用户的确认指令，则可以在获取到截图图像后按照通常方式，仅将截图图像以信息获取请求之外的形式发送给内容识别服务器进行内容识别，而不发送信息获取请求；或者也可以既不发送信息获取请求，也不发送截图图像给服务器400。对此本申请不做限定。

在本申请各个实施例中，所述视频可以是预先已经保存在所述显示设备200中的视频，也可以是显示设备200即时生成(例如游戏画面)或即时采集的视频(例如通过摄像头拍摄到的图像)，或者可以是流媒体、直播信号或电视信号对应的视频，本申请不对所述视频的类型进行限定。述显示设备200本地所保存的视频、也可以是所述显示设备200所播放流媒体视频、所述显示设备200所显示电视直播画面、所述显示设备200的本地摄像头所采集到的视频图像等各类视频。

确定所述截图图像中是否包括播放视频所产生的画面的确定的方式可以有多种，所述显示设备200可以根据显示设备200的工作状态、正在运行的程序或已经接收到的指令等确定确定所述截图图像中是否包括播放视频所产生的画面。例如，当所述显示设备200处于视频播放状态(即正在播放某个视频时)，即可确定所述截图图像中包含播放视频所产生的画面；或者，当所述当前显示画面包含视频播放窗口，即可确定所述截图图像中包含播放视频所产生的画面；或者，还可以由显示设备200通过图像识别来确定所述截图图像中是否包含播放视频所产生的画面。各种，确定方式的具体实现过程在此就不再赘述。

下面结合一些具体的实施例，对本申请的技术方案进行进一步说明。

在一些实施例中，所述信息获取请求中包含截图图像，所述响应信息中可以包含从所述截图图像中识别得到目标对象的识别结果；相应的所述服务器400则可以包括内容识别服务器。

在该实施例中，所述内容识别服务器用于对截图图像进行内容识别，并生成响应信息。所述内容识别服务器可以为多个，每一个所述内容识别服务器可以仅用于对一个特定类型的目标对象进行识别，例如可以仅对文字、人物、物品等一类目标对象进行识别。显示设备200可以根据截图指令的内容、确认指令的内容等信息，选择一个或多个内容识别服务器作为选定服务器，然后将信息获取请求发送给选定服务器。例如，将截图指令是“这个演员是谁”的语音指令时，可以从多个服务器400中选定用于人物识别的人物识别服务器400，将所述信息获取请求发送至人物识别服务器400。进一步，所述响应信息中还可以包括内容推荐服务器则根据所述识别结果确定推荐内容，然后由内容识别服务器或内容推荐服务器将所述响应信息发送给显示设备200，所述响应信息中则可以包含所述识别结果和/或所述推荐内容。

采用该实施例中的技术方案，可以选择使用符合用户信息获取意图的服务器400对截图图像进行识别，从而可以使得识别得到的结果更符合用户的预期。

在另一些实施例中，所述信息获取请求中包含视频ID及视频的播放进度等场景信息，所述响应信息中可以包含目标对象的识别结果，所述服务器400则可以包括内容识别服务器。

用户在进行在线视频播放时，受制于流量或带宽等限制性条件，可能会选择清晰度较低(即分辨率较低或码率较低)的版本进行播放，而不选择清晰度最高(即分辨率最高或码率最高)的版本进行播放。在此情况下，截图图像清晰度相应也会比较差，导致图像识别难度增加或图像识别的准确率下降。在此情况下，所述内容识别服务器在接收到信息获取请求后，可以根据所述视频的视频ID的找到所述视频的最高清晰度版本，然后根据所述视频的播放进度，从所述视频的最高清晰度版本中获取所述截图图像的最高清晰度版本，进而对所述截图图像的最高清晰度版本进行内容识别，得到相应的识别结果。进一步，所述响应信息中也可以包括内容推荐服务器则根据所述识别结果确定推荐内容。

采用该实施例中的技术方案，所述服务器400可以无需直接从显示设备200获取截图图像，显示设备200可以仅发送视频的视频ID及所述视频的播放进度，就可以实现截图图像的内容识别，从而可以减少数据传输量，节省所述显示设备200在无线网络场景下流量消耗。

在另一些实施例中，所述信息获取请求中包含视频的视频ID及视频描述信息等场景信息，所述响应信息中可以包含从所述截图图像中识别得到目标对象的识别结果，所述服务器400则可以包括内容识别服务器。

由于同一个目标对象在不同的场景中可能有不同的含义，如果仅仅通过对截图图像进行内容识别，所得的识别结果可能非常简单或有限。例如，同一个演员在不同的剧集中会扮演不同的角色，如果仅仅通过对截图图像进行内容识别，那么通常只能识别出该演员是谁，但是并不能确定截图图像来自哪部剧集，以及该演员在该剧集中扮演的角色是谁。在此情况下，显示设备200可以将所述视频的视频ID、名称、来源等描述信息作为辅助信息。当信息获取请求中包含所述描述信息时，服务器400就可以先对截图图像进行识别，生成初步结果，然后再基于所述辅助信息对所述初步结果进行扩充或处理，得到识别结果。例如，服务器400就可以先对截图图像进行识别，得到截图图像中演员是“张三”的初步识别结果，然后通过所述描述信息确定所述截图图像所对应的剧集，进而根据所述剧集，确定该演员在剧集中所扮演的角色为“李四”，这样，最终得到的识别结果可以为“截图图像中演员是张三，他在该剧中扮演的角色是李四”。进一步，所述响应信息中还可以包括内容推荐服务器则根据所述识别结果确定推荐内容，例如将具有与“李四”相同或同类角色的剧集作为推荐内容，然后由内容识别服务器或内容推荐服务器将所述响应信息发送给显示设备200，所述响应信息中则可以包含所述识别结果和/或所述推荐内容，从而丰富识别结果所包含的内容。

在另一些实施例中，所述信息获取请求中包含截图图像及至少一个关键帧等辅助信息，所述响应信息中可以包含目标对象的识别结果，所述服务器400则可以包括内容识别服务器。

根据编码方式的不同，所述视频中可能会包含关键帧和过渡帧(非关键帧)，如截图图像是过渡帧对应的图像，那么可能会出现截图图像中目标对象的不清晰的情况，从而导致目标对象的识别成功率较低。在此情况下，在接收到所述信息获取请求后，所述内容识别服务器可以不对截图图像进行识别，而直接对关键帧进行内容识别；或者也可以在未从截图图像中识别出目标对象时，再对所述关键帧进行内容识别。如果从所述关键帧中识别到目标对象，则可以生成包含关键帧中目标对象的识别结果的响应信息。

进一步，所述服务器400还可以包括内容识别服务器，所述响应信息中则还可以包含基于所述识别结果确定的推荐内容。所述内容推荐服务器则可以根据所述识别结果确定推荐内容，然后由内容识别服务器或内容推荐服务器将所述响应信息发送给显示设备200。需要说明的是，在该实施例中，所述关键帧也可以被替换为所述截图图像所对应帧的相邻帧，具体过程在此就不再赘述。在该实施例中，当截图图像是过渡帧对应的图像时，可以将所述过渡帧最近的关键帧或相邻帧作为辅助信息，从而使得服务器400在对截图图像进行内容识别之外，还可以对关键帧进行内容识别，从而提升目标对象的识别成功率，避免因为用户截图操作时机不佳等原因导致无法得到识别结果。

在另一些实施例中，所述信息获取请求中包含所述视频的播放进度等场景信息，所述响应信息中则可以包含基于所述视频的播放进度确定的推荐内容，所述服务器400则可以包括内容推荐服务器。

在该实施例中，所述内容推荐服务器可以预先保存有与所述视频不同的播放进度区间相关联的预设内容。所述播放进度区间可以是一个时间段可以是一个时间点，不同的播放进度区间之间可以不连续也可以相互重合，不同播放进度区间关联的预设内容类型可以相同也可以不同，各个播放进度区间关联的预设内容可以随着用户操作和时间变化而变化。

例如，所述视频的第一进度区间(例如视频的第0分钟～第15分钟)可以关联一些推荐视频作为推荐内容、第二进度区间(例如视频的第5分钟～第20分钟)则可以关联一些商品推荐信息或购买连链接作为推荐内容，第三进度区间(例如视频的第25分钟～第30分钟)则可以关联一些关键词，该关键词可以用来确定推荐内容。所述视频的播放进度可以以视频ID加播放时长的形式表示。在获取到所述信息获取请求后，所述内容推荐服务器首先根据视频ID和播放时长确定所述视频的播放进度落入哪个播放进度区间，然后将其所落入的播放进度区间相关联的预设内容作为推荐内容。例如，如果所述播放进度落入第一进度区间，则可以将所述推荐视频作为推荐内容；如果所述播放进度落入第二进度区间，则可以将所述商品推荐信息或购买连链接作为推荐内容；如果所述播放进度落入第三进度区间，则可以使用所述关键词进行内容搜索，然后将搜索结果作为所述推荐内容。

又如，可以为视频中的特定视频段关联一组预设内容，所述预设内容可以包括该视频段中出现的的演员及相应角色信息，还可以包括基于该视频段中界面内容确定的媒资推荐信息、商品购买链接等。如果所述播放进度对应的视频段是所述特定视频段，则可以将所述预设内容作为推荐内容。

采用该实施例的技术方案，可以将截图图像识别与内容推荐功能相分离，使得即便是不对截图图像进行识别，或者采用本申请实施例之外的其他方式对截图图像进行识别，也可以实现与截图图像进行识别相同或类似的效果。

需要说明的是，以上实施例仅仅是本申请部分实施例，并不代表本申请的全部技术方案，不同实施例中的方案或步骤可以相互结合，从而形成新的技术方案，对此本申请不做限定，也不再一一赘述。

显示设备200在接收到所述响应信息后，还可以通过显示器275显示所述响应信息所包含的推荐内容等内容。除显示所述响应信息中包含的所述推荐内容等内容之外，所述显示设备200还可以显示所述截图图像或所述截图图像的缩略图，或者显示设备200已经生成或获取的其他信息。

根据应用场景或内容推荐服务器不同，所述推荐内容的类型也可以有多种，所述响应信息中可以包含多个类型不同的推荐内容。例如，所述推荐内容可以包含媒资推荐信息、商品购买链接、旅游推介信息等。根据推荐内容的类型不同，所述推荐内容的展示方式也可以有所不同。

在一些实施例中，所述显示设备200的响应于一次图像识别操作，可以通过内容推荐界面显示识别结果以及相关的推荐内容。所述内容推荐界面中可以有至少一个显示区域用于显示所述推荐内容，当所述推荐内容较多或有多种不同类型时，可以分别使用不同的显示区域显示不同类型的推荐内容，例如如图13A所示，或者也可以使用同一显示区域循环显示不同的推荐内容，例如如图13B至图13C所示；除显示所述推荐内容的显示区域之外，所述内容推荐界面还可以有至少一个显示区域，用于显示所 述截图图像的缩略图等其他信息，例如图13D所示。所述内容推荐界面中还包含一个用于显示截图图像的缩略图的显示区域，以及一个用于显示操作按钮及提示信息的显示区域，例如图13E所示。

所述内容推荐界面的显示方式也可以有多种，以下仅以一些示例进行说明。

在一些实施例中，所述内容推荐界面可以以图层的形式叠加显示在其他界面上。所述图层可以是半透明、不透明或部分区域透明的图层，例如图13F所示。当所述内容推荐界面叠加显示在其他界面上时，其他界面所显示的内容或内容显示方式可以保持不变，或者也可以暂停发生变化直至不再显示所述内容推荐界面。例如，如果内容推荐界面叠加在视频播放界面上，所述视频播放界面可以仍然保持视频的播放状态(即不暂停或退出视频播放)，或者也可以不暂停或退出视频播放；如果内容推荐界面叠加在菜单界面上，所述菜单界面仍可以保持窗口内容或控件内容的周期性切换，或者也可以冻结菜单界面的内容，使菜单界面不再发生变化。

在另一些实施例中，所述内容推荐界面可以以弹出窗口的形式显示，即，或者所述内容推荐界面可以只占据所述显示屏的部分区域，例如图14所示。当内容推荐界面以弹出窗口的形式显示时，所述弹出窗口也可以叠加显示在其他界面上。同样的，在显示所述弹出窗口时，其他界面所显示的内容或内容显示方式可以保持不变。

在另一些实施例中，所述内容推荐界面可以是一个特定的显示界面，显示设备200可以从当前所显示的界面跳转至内容推荐界面，在界面跳转过程中，显示设备200还可以显示相应的过渡效果或过渡动画。在此就不再详细说明。

如图15所示，内容展示方法包括以下步骤：

步骤301、接收截图指令。

显示设备接收截图指令的方式可以参见前述，在此就不再赘述。

步骤302、响应于所述截图指令，对所述显示器所显示当前显示画面进行截图操作。

在接收到截图指令之后，显示设备可以对显示器所显示当前显示画面进行截图操作，获得截图图像。截图操作的具体实现方式和截图图像的获取方式，本申请不做限定，在此也不做赘述。

步骤303，向服务器发送信息获取请求。

显示设备可以在符合预定条件时，向服务器发送信息获取请求。所述预定条件可以包括所述截图图像中包含视频播放所产生的图形、接收到了用户的确认操作等。所述信息获取请求中可以包含与所述截图图像对应的场景信息，还可以包括所述截图图像及辅助信息等信息。

步骤304、接收所述服务器响应于所述信息获取请求发送的响应信息。

所述响应信息可以仅为一个也可以为多个，当所述相应信息为多个时，不同的响应信息可以由不同的服务器发送。所述服务器的数量可以为多个，类型可以为多种。所述响应信息中可以包含与所述场景信息对应的推荐内容，也可以包含所述截图图像的识别结果，或者可以包含其他信息。相关之处参见前述实施例即可，在此就不再赘述。

步骤305、显示所述响应信息所包含的内容。

显示设备在接收到所述响应信息后，可以显示所述响应信息所包含的全部或部分 内容。例如，可以显示所述响应信息所包含的推荐内容或识别结果等内容。

在一些实施例中，对当前播放内容进行截图的时间点可以是接收到截图输入时的时间，也可以是提前或延迟预设时长后的时间。

图16a为本申请在一些实施例中示出的用户界面示意图，如图16a所示，视频在显示器上全屏播放。当显示设备播放视频节目时，可以通过遥控器按键、触摸屏软键、语音指令、手势等多种方式，触发截图，和/或，截图图像的识别。

在一些实施例中，对截图图像的识别可以是对图像中商品的识别，如图16b所示，图16b中的a和b为待识别的商品对象，当显示设备接收到触发截图的用户输入后，显示通过识别截图图像中的商品对象所得到的识别结果。

在一些实施例中，对截图图像的识别也可是对图像中人物对象等的识别，如人脸识别，如图16c所示，A和B为待识别的人物对象，当显示设备接收到触发截图的用户输入后，显示通过识别截图图像中的人物对象所得到的识别结果。

在一些实施例中，当显示如图16a的视频播放画面时，若接收到触发截图的用户输入，则响应于该用户输入，通过截图获取前视频播放画面的截图图像，并显示通过对截图图像中商品对象进行图像识别而得到的商品信息，即显示与截图图像中的商品对象匹配的商品信息。

在一些实施例中，在显示与截图图像中的商品对象匹配的商品信息的同时，还可以显示通过对截图图像中人物对象进行图像识别而得到的人物信息。

在一些实施例中，为了在显示商品信息的同时，不影响用户继续观看播放内容，在继续播放当前播放内容的同时，在用于显示播放内容画面的图层的上一层的局部区域中显示商品信息。

在一些实施例中，将与截图图像中商品对象匹配的商品信息以选项栏的形式，显示在当前播放内容画面的上层。用户可以通过操作选项栏，触发显示更加详细的商品信息和/或购买页面等。

例如，若接收到触发截图的用户输入，显示包含当前播放内容显示区和识别内容显示区的用户界面，其中，在当前播放内容显示区中继续显示当前播放内容的画面，其可以是继续进行当前视频内容的播放，也可以暂停当前视频内容的播放后而显示的暂停画面；在识别内容显示区中显示多个选项栏，多个选项栏中，至少一个选项栏用于显示对截图中商品对象(如物品、服饰等等)的识别结果，即与商品对象匹配的商品信息，如展示商品外观、细节的图片、介绍商品的文字、售卖商品的价格、和/或用于跳转到购买页面的购买链接等等，其他选项栏则可以用于显示截图图像的缩略图、对截图中人物对象的人物识别结果或表征人物识别结果的文字/图像，与人物或商品识别结果(对象)相关的推荐内容、和/或与截图关联功能的操作控件。

在对图像中的商品对象进行识别的实施场景中，首先提取图像特征，然后通过将图片特征与商品特征数库进行匹配，确定与图像中商品对象匹配的商品，对图像中商品对象的识别结果即为匹配到商品对应的商品信息。

在一些实施例中，若识别出截图图像中包含多个商品对象，则可以根据商品对象与对应商品的特征相似程度，显示部分商品识别结果，或者显示全部商品识别结果。比如，若识别出的商品与图像中商品对象的相似程度大于预设值，则展示该商品对应的商品信息，否则不展示该商品对应的商品信息。

在一些实施例中，若识别出截图图像中包含多个商品对象，则优先显示第一商品的商品信息，该第一商品是指与截图图像中第一商品对象对应的商品，该第一商品对象是截图中多个商品对象中的一个，值得注意的是，第一商品与第一商品对象的相似度高于其他相对应的商品与商品对象的相似度。例如，当识别出截图图像中存在“包”和“外套”两个商品对象时，若商品对象“包”与识别出的商品“包”的相似度大于商品对象“外套”与识别出的商品“外套”时，则显示商品“包”的商品信息。

为便于区分和说明，将识别内容显示区中用于显示商品识别结果的选项栏称为商品信息选项栏，将用于显示人物识别结果的选项栏称为人物信息选项栏。

图17a为本申请在一些实施例中示出的用户界面示意图，具体为在显示图16a所示画面时接收用户输入的截图指令时显示的一种用户界面。如图17a所示，该用户界面包括当前内容显示区810和识别内容显示区820。当前内容显示区810中继续显示当前播放视频的画面，识别内容显示区820中显示有多个选项栏，其中，商品信息选项栏821中显示与截图图像中商品对象a匹配的商品信息，具体为商品图片、商品价格“129元”以及商品信息标题“夏装女款连衣裙中长款显瘦”；选项栏822中显示截图图像的缩略图；人物信息选项栏823中显示与截图图像中人物对象A匹配的人物信息，具体为人物对象A对应的截图区域(面部区域图像)、人物名称“关某某”；选项栏824中显示截图图像中人物对象A的相关人物信息“李某某”及其图像。

在一些实施例中，以内容选择焦点框指示出用户选择或者预选择的项目，如商品信息选项栏或功能控件。内容选择焦点框的显示位置可以响应于移动焦点的用户输入而移动。

在另一些实施例中，在显示的截图图像缩略图上还显示对象识别焦点框，在不同场景中，对象识别焦点框显示在不同的对象上，以突出或标识出对象。例如，当在识别内容显示区显示且仅显示一个对象识别结果时，对象识别焦点框显示在该对象识别结果对应的对象上。

在一些实施例中，对象识别焦点框在缩略图上的显示位置，与内容选择焦点框的显示位置相关联，或者说，对象识别焦点框的显示位置随内容选择焦点框的移动而移动，从而保证对象识别焦点框所框出的人物对象或者商品对象，与用户选择或者预选择的识别结果选项栏相对应。例如，若在识别内容显示区显示一个或多个显示对象识别结果的选项栏，则当内容选择焦点框落在显示对象识别结果的选项栏上时，对象识别焦点框显示在内容选择焦点框所在选项栏对应的对象上。

在一些实施例中，对象识别焦点框不可获取焦点，内容选择焦点框可以获取焦点。

图17b为本申请在一些实施例中示出的用户界面示意图，具体为在显示图16a所示画面时接收用户输入的截图指令时显示的一种用户界面。与图17a所示用户界面不同的是，在识别内容显示区820中，还显示有与截图图像中商品对象b匹配的商品信息，具体是在商品信息选项栏825中显示商品图片、商品价格“119元”以及商品信息标题“秋装男款条纹衬衫”；另外，如图17b所示，在显示的截图图像缩略图上，还显示有对象识别焦点框8221，且由于内容选择焦点框落在与商品对象a对应的商品信息选项栏上，因此对象识别焦点框8221显示在缩略图中商品对象a的四周，以框出商品对象a，提示用户其当前选择的商品信息选项栏与截图图像中的商品对象a相对应。如图17c所示，当内容选择焦点框移动到商品信息选项栏825上时，对象识别焦点框移动到商品对象b所在区域的四周。

需要说明的是，如图17b和8c所示，对象识别焦点框可以是显示在商品对象所在区域四 周的方框，内容选择焦点框可以是显示在选项栏周围的方框。应当理解，虽然本申请说明书中以方框的形式示例性示出了对象识别焦点框和内容选择焦点框，但对象识别焦点框和内容选择焦点框也可以是其他形式的、可以标识出对象和用户选择的内容的图标。例如，除方框外，内容选择焦点框还可以基于各式的图标、文本、背景，因而具有不同的颜色、阴影或色彩。

在一些实施例中，商品信息选项栏中可以不显示商品信息标题，例如图17d所示，商品信息选项栏821和825中只显示出商品图片和价格，以简化用户界面。

在一些实施例中，用户可以通过操作商品信息选项栏(如选中选项栏并按下确定按键)，触发打开商品信息中的购买链接。显示设备响应于用户对商品信息选项栏的操作，在当前播放画面的上层，显示商品信息详情页面，商品信息详情页面中可以包含更为详细的商品信息和用于购买商品的控件。

图17e为本申请在一些实施例中示出的用户界面示意图，具体为在显示图17d所示画面时接收到用户对商品信息选项栏821的操作后而显示的用户界面。如图17e所示，在当前播放画面的上层显示有商品详情信息页830，商品详情信息页830中显示有商品图片、商品信息标题“夏装女款连衣裙中长款显瘦”、商品价格“129元”以及颜色选择控件、尺码选择控件、加入购物车控件和立即购买控件。

在一些实施例中，当显示设备接收到输入的截图指令时，响应于截图指令，显示商品展示控件，用户可以通过操作该商品展示控件，触发显示设备显示与截图图像中商品对象匹配的商品信息。

在一些实施例中，商品展示控件中可以加载目标商品图片。

在一些实施例中，目标商品图片可以是待显示的商品信息中的一张图片，或者多张图片的拼图。

在另一些实施例中，目标商品图像可以是待显示的商品信息对应的截图图像中上商品对象的局部图像。

图17f为本申请在一些实施例中示出的用户界面示意图，如图17f所示，与图17a至8e不同的是，在识别内容显示区中，不直接显示识别的商品信息，而是显示商品展示控件825，用户可以通过操作商品展示控件，触发显示商品信息。具体的，显示设备接收用户输入的对商品展示栏的确认操作时，显示与截图图像中商品对象匹配的商品信息。

需要说明的是，响应于对商品展示栏的确认操作，可以显示如图17e所示的商品信息详情页面，也可以显示仍在如图17a-8d所示识别内容显示区中显示加载有商品信息的选项栏，如图17a-8d中示出的选项栏821。

在一些实施例中，若截图图像中同时包含商品对象和人物对象，则在接收到用户输入的截图指令后，显示与商品对象和人物对象同时匹配的商品信息，具体可以是与商品对象的图像特征和人物对象的名称同时匹配的商品的商品信息，其中，人物对象的名称通过识别截图图像中人物对象的人脸区域得到。

在一些实施例中，人物对象的名称包括通过识别人物对象的人脸区域得到的人物真实姓名，如演员姓名，以及，该演员在播放内容中所饰演角色的姓名。当然，也可以是该演员在其他影视作品中所饰演角色的姓名。

在一些实施例中，商品信息包括商品信息标题，与商品对象和人物对象的名称同时匹配的商品信息，其商品信息标题中包含人物对象的名称。

例如，当显示设备当前播放的视频内容为综艺节目或者影视节目，则显示与截图中出现的商品及演员或角色同时匹配的商品信息，即该演员或角色在该节目中的同款商品信息。图18a为本申请在一些实施例中示出的用户界面示意图，具体为在显示图16a所示画面时接收到截图指令后显示的用户界面。如图18a所示，该用户界面包括当前内容显示区910和识别内容显示区920，当前内容显示区910显示当前播放内容电视剧《二十不惑》的画面，识别内容显示区920中显示商品展示控件和多个选项栏，其中，商品展示控件921中显示有目标商品图片和商品价格标识，其中，该目标商品图片可以是与截图中人物对象A和商品对象a同时匹配的商品信息所包含的商品图片，商品价格标识“139元”显示在目标商品图片的上层。选项栏922中显示截图图像的缩略图；人物信息选项栏923中显示截图中人物对象A的截图区域、与人物对象A匹配的人物名称“关某某”以及“关某某”在当前播放电视剧“二十不惑”中饰演的角色名称“梁爽”，以及相关人物信息“金某某”。

当用户显示如图18a所示用户界面时，用户可以通过操作商品展示控件921查看具体的商品信息。在一些实施例中，响应于接收到对商品展示栏的确认操作，显示与人物对象的名称和商品对象同时匹配的商品信息。

在一些实施例中，可以将加载有商品信息的选项栏显示在识别内容显示区中。其中，识别内容显示区中可以仍然如图18a中的截图图像的缩略图和/或人物识别结果，也可以不显示如图18a中的截图图像的缩略图和/或人物识别结果。

图18b为本申请在一些实施例中示出的用户界面，具体为在如图18a所示用户界面时接收到对商品展示控件921的确认操作后显示的用户界面。如图18b所示，在识别内容显示区中，显示有加载有截图图像缩略图的选项栏922和加载有商品信息的选项栏925，其加载的商品信息包括：商品图片，商品信息标题和商品价格，商品信息标题“二十不惑关某梁爽同款连衣裙夏装女款中长显瘦”中包含人物对象A对应的演员名称“关某某”和角色名称“梁爽”。

在一些实施例中，用户可以通过操作截图图像的缩略图所在选项栏，查看截图图像的原图文件，以及输入用于分享、下载截图图像的操作等。

需要说明的是，用于显示商品识别结果的选项栏、用于显示截图缩略图的选项栏和用于显示人物识别结果的选项栏，在用户界面中的布局可以不仅限于本申请说明书所提供示例已示出的布局方式，也可以是其他布局方式，本申请对此不予限定。

在一些实施例中，可以仅显示与人物对象的名称和商品对象同时匹配的商品信息，如图18b所示。在这些实施例中，若显示设备从服务器侧获取到与人物对象的名称和商品对象同时匹配的商品信息，则显示获取的商品信息，若显示设备从服务器侧未获取到与人物对象的名称和商品对象同时匹配的商品信息，则不显示商品信息，或者，显示指示无识别结果的用户提示。

在另一些实施例中，显示设备优先显示与人物对象的名称和商品对象同时匹配的商品信息。在这些实施例中，若显示设备可以从服务器侧获取到与人物对象的名称和商品对象同时匹配的商品信息，则显示与人物对象的名称和商品对象同时匹配的商品信息，若显示设备从服务器侧未获取到与人物对象的名称和商品对象同时匹配的商品信息，则显示仅与商品对象匹配的商品信息。

图18c为本申请在一些实施例中示出的用户界面示意图，具体为在显示图18a所示画面时接收到对商品展示控件921的确认操作后显示的用户界面。不同的是，图18c中，显示的 截图缩略图上，还显示对象识别焦点框，用于标识出内容选择焦点框所在选项栏对应的人物对象和/或商品对象，或者标识出当前显示的商品信息对应的商品对象。

图18d为本申请在一些实施例中示出的用户界面示意图，具体为在显示图18a所示画面时接收到对商品展示控件921的确认操作后显示的用户界面。与图18b所示用户界面不同的是，图18d中，在识别内容显示区同时显示多个不同来源且同时与截图中人物对象和商品对象匹配的商品信息，其中，在商品信息选项栏925中显示第一来源的商品信息，包括商品图片、价格“139元”、商品标题“二十不惑关某梁爽同款连衣裙夏装女款中长显瘦”、发货地“杭州”和销量“199人付款”；在商品信息选项栏926中显示第二来源的商品信息，包括商品图片、价格“129元”、商品标题“二十不惑梁爽同款连衣裙白色蕾丝显瘦”、发货地“广州”和销量“157人付款”。需要说明的是，不同来源的商品信息可以是由不同店铺/卖家发布的商品信息，也可以是发布在不同网络平台上的商品信息，或者是包含不同的价格、质量、发货地的商品信息等等。

在一些实施例中，上述多个不同来源的商品信息对应的选项栏可以按照销量、运输距离、价格或者与对应商品对象的相似度顺序显示。

在一些实施例中，不同来源的商品信息对应的商品与截图图像中商品对象的相似程度需要满足预定相似条件。在一些实施例中，在一些实施例中，若截图图像中存在多组相关联的商品对象和人物对象，则可以显示多项分别与多组不同的商品对象和人物对象同时匹配的商品信息。其中，相关联的人物对象和商品对象可以是某人物对象和该人物对象所穿戴的商品对象，比如，与图16a中人物对象A和人物对象A身着的商品对象a是相关联的，人物对象B和人物对象B身着的商品对象b是相关联的。

图18e为本申请在一些实施例中示出的用户界面示意图，具体为在显示图18a所示画面时接收到对商品展示控件921的确认操作后显示的用户界面。不同的是，图18e中，还显示商品信息选项栏927，商品信息选项栏927中显示与人物对象B和商品对象b同时匹配的商品信息，具体为商品图片、价格“129元”、商品信息标题“二十不惑周寻同款衬衫条纹男款”、发货地“广州”和销量“157人付款”。

在一些实施例中，当内容选择焦点款落在商品信息选项栏上时，在截图缩略图上显示对象识别焦点框，且对象识别焦点框显示在内容选择焦点框所在选项栏对应的商品对象区域四周。例如，在图18e所示用户界面中，内容选择焦点框落在商品信息选项栏927上，对象识别焦点框显示在商品对象b上。应当理解，当内容选择焦点框移动到商品信息选项栏925上时，对象识别焦点框移动对商品对象a上。

在一些实施例中，在截图图像中存在多个人物对象时，优先显示第二商品的商品信息，其中，第二商品的商品信息与截图图像中第二人物对象的名称及第二商品对象同时匹配，数据库中与第二人物对象的人脸信息匹配的参照人物为第二参照人物，值得注意的是，第二人物对象与第二参照人物的相似度高于其他相对应的人物对象与参照人物的相似度。例如，以图16所示截图图像作为示例，在该截图图像中存在两个人物对象，分别为A和B，还存在两个商品对象，分别为人物对象A身穿的“连衣裙”，即商品对象a，和人物对象B身穿的“衬衫”，即商品对象b，假设人物对象A的人脸信息与数据库中“关某某”的人脸信息最为匹配，且相似度为90％，人物对象B与数据库中“金某某”的人脸信息最为匹配，且相似度为85％，则优先显示与人物对象A的名称和商品对象a同时匹配的商品信息。

图18f为本申请在一些实施例中示出的用户界面示意图，具体为在显示图18a所示画面 时接收到对商品展示控件921的确认操作后显示的用户界面。不同的是，在图18f所示用户界面中，在识别内容显示区不仅显示商品信息选项栏和用于显示截图缩略图的选项栏，还显示人物信息选项栏。

在一些实施例中，在识别内容显示区中设置用于触发显示指定分类下商品信息的控件，用户通过选择对应的控件，浏览所选择控件对应分类下的商品信息。比如，在识别内容显示区显示第一控件和第二控件，当用户选择第一控件时，在识别内容显示区显示与截图中人物对象A和商品对象a同时匹配的一条或者多条商品信息，即人物对象A的同款商品信息，当用户选择第二控件时，在识别内容显示区显示与截图中人物对象B和商品对象b同时匹配的一条或者多条商品信息，即人物对象B的同款商品信息。

图18g为本申请在一些实施例中示出的用户界面示意图，具体为在显示图18a所示画面时接收到对商品展示控件921的确认操作后显示的用户界面。在图18fg所示用户界面中，内容识别显示区920中显示第一控件“梁爽同款”和第二控件“周寻同款”，其中，第一控件“梁爽同款”用于触发显示与人物对象A匹配的商品信息，第二控件“周寻同款”用于触发显示与人物对象B匹配的商品信息。这样，用户便可以通过操作不同的控件查看不同人物对象的同款商品信息。例如，在图18g中，用户选择第一控件“梁爽同款”，则在识别内容显示区中显示与人物对象A和商品对象a同时匹配的一条或多条商品信息，此时，对象识别焦点框显示在商品对象a的对应区域；在图18h中，用户选择第二控件“周寻同款”，在识别内容显示区中显示与商品对象b同时匹配的一条或多条商品信息，此时，对象识别焦点框显示在人物对象B和商品对象b的对应区域。

图18i为本申请在一些实施例中示出的用户界面示意图，具体为在显示图18a所示画面时接收到对商品展示控件921的确认操作后显示的用户界面。不同的是，在图18i所示用户界面中，商品信息选项栏中仅显示商品图片和价格，而不显示商品信息标题，也不显示商品来源等信息。

图18j为本申请在一些实施例中示出的用户界面示意图，具体为接收用户对商品信息选项栏925的操作后而显示的用户界面。如图18j所示，在当前播放画面的上层显示有商品详情信息页930，商品详情信息页930中显示有商品图片、商品信息标题“二十不惑关某梁爽同款连衣裙夏装女款中长显瘦”、商品价格“139元”以及颜色选择控件、尺码选择控件、加入购物车控件和立即购买控件。

在一些实施例中，本申请还提供的图像识别方法，应用于显示设备，该方法的执行主体可以是显示设备的控制器250，该方法包括本申请实施例中提及的显示设备行为的部分或者全部步骤。

在对图像中的商品对象进行识别的实施场景中，首先提取图像特征，然后将提取的图像特征与全局特征库进行匹配，从而得到与图像中商品对象特征匹配的商品信息。其中，全局特征库中包括所有商品的特征，这里的所有商品可以是指某一个购物网站上的所有商品信息所描述的商品，如淘宝网，也可以是所有购物网站上的商品信息的集合。应当理解，将提取的图片特征与全局特征库进行匹配，相当于将提取的图片特征与每个商品的特征进行匹配，进而得到与图像特征最为匹配的商品的商品信息。

本申请提供的图像识别方法，图19为本申请根据示例性实施例示出的一种图像识别方法流程图，如图19所示，该方法可以包括：

步骤401，获取显示设备通过截取播放内容的当前画面得到的目标图像，所述目标图 像包括待识别的商品对象。

在一些实施例中，目标图像可以是显示设备响应于截图指令而截取的显示画面，即截图图像。

示例性的，当视频在显示器上全屏播放时，用户可以通过遥控器按键、触摸屏软键、语音指令、手势等多种方式，触发截图及对截图图像中的商品对象进行识别。显示设备响应于用户输入，对当前显示的播放内容画面进行截图，得到截图图像。

在一些实施例中，显示设备通过截图得到截图图片后，将截图图片发送给服务器，由服务器完成对截图图片中商品对象的识别，并将识别出的商品信息返回给显示设备。

在另一些实施例中，显示设备通过截图得到截图图片后，将截图图片和和播放内容的信息发送给服务器，由服务器根据播放内容的信息完成对截图图片中商品对象的识别，并将识别出的商品信息返回给显示设备。其中，播放内容的信息包括播放内容的类型、媒资名称等等，播放内容的类型包括：电影、电视剧、综艺、新闻等等。

步骤402，识别所述目标图像中是否存在人物对象。

在一些实施例中，识别所述目标图像中是否存在人物对象之前，所述方法还包括：判断所述播放内容是否为预定类型的内容；若所述播放内容是预定类型的内容，则执行所述识别所述目标图像中是否存在人物对象的步骤。

在一些实施例中，由显示设备判断当前播放内容的类型是否为预设类型；在判定当前播放内容是预设类型是，将截图图片和播放内容的媒体资源名称发送给服务器，以由服务器根据截图图片和播放内容的媒体资源名称识别截图图片中的商品对象。其中，预定类型的播放内容包括可以查到出演人员信息的播放内容，如电视剧、电影和一些综艺节目。

在另一些实施例中，显示设备不对当前播放内容的类型进行判断，而是将截图图片和播放内容的信息发送给服务器，由服务器根据显示设备发送的播放内容的信息判断播放内容是否为预定类型的内容。

步骤403，在所述目标图像中存在人物对象的情况下，获取与所述人物对象的名称和商品对象同时匹配的商品信息。

在一些实施例中，通过识别截图图像中的人物对象，获取人物对象的名称，将人物对象的名称用于缩小识别截图中商品对象的特征匹配范围，进而可以减少特征匹配的出错概率，提高识别结果的准确性，同时提高识别效率。

在一些实施例中，人物对象的名称包括演员名称和/或播放内容相应的角色名称。演员名称一般是演员的真实姓名，播放内容相应的角色名称则可以是该名演员在该播放内容中所饰演的角色姓名。对于电影或者电视剧类型的播放内容，若截图图像中存在人物对象，通过图像识别，可以识别出人物对象的演员名称，即该演员的真实姓名。再根据播放内容的媒资名称，如电视剧名或者电影名，可以查找到该播放内容的演员表，进而获取到该播放内容形影的角色名称，即该演员在该播放内容中所饰演角色的姓名。可以理解的是，人物对象的名称包括但不限于与人物对象匹配的演员名称和/或播放内容相应的角色名称，例如，还可以包括与演员相关的内容简述、内容来源等，还可以包括与角色相关的内容简述、来源等，还可以包括与演员和/或角色相关的推荐信息，如该演员所饰演的其他角色名称、饰演该角色的其他演员名称等等。

相关技术方案中，首先提取图像特征，然后将提取的图像特征与全局特征库进行匹配，从而得到与图像中的商品对象特征匹配的商品信息。将提取的图片特征与全局特征库进行 匹配，相当于将提取的图片特征与每个商品的特征进行匹配，匹配计算量大，出错率高，因此不利于对商品对象的准确识别。

而在本申请实施例中，若播放内容是预设类型的内容，且截图图像中存在人物对象，则首先识别人物对象以获取人物对象的名称，然后以人物对象的名称作为检索关键词，从所有商品信息中检索出与人物对象相匹配的商品信息，如包含人物对象的名称的商品信息。由于全局特征库包括所有商品的特征信息，即其包括与人物对象相匹配的商品信息对应的特征信息，因此，可以从全局特征库中获取到与人物对象相匹配的商品信息的特征信息，这些与人物对象相匹配的商品信息的特征信息，构成局部特征库。最后，将截图的图片特征与局部特征库进行匹配，即从与人物对象相匹配的商品中获取与商品对象最为匹配的商品，从而得到同时与人物对象和商品对象相匹配的商品信息。

在上述实施例中，在播放内容为预设类型的内容且截图中存在人物对象时，通过图像识别，为用户展示既与人物对象匹配，又与商品对象匹配的商品信息，可以满足用户搜索剧中人物同款商品和/或相似商品的需求，提高用户体验。并且，由于是基于局部特征库对截图中的商品对象进行识别，而局部特征库中的特征信息量远小于全局特征库中的特征信息量，因此大大降低了特征匹配计算量，降低了匹配出错的概率，提高了识别结果的准确性。此外，由于在特征匹配前，已经剔除了其他与人物对象无关的商品的特征信息，进一步提高了为用户提供人物同款商品的精准度。

示例性的，若在播放如图16a所示的画面时接收到触发截图及图像识别的用户输入，响应于该用户输入，显示设备执行截图操作，获得与图16a一致的截图图片，同时获取播放内容的信息，如指示播放类型为“电视剧”、媒资名称为“二十不惑”的字段信息，将截图图片和播放内容的信息发送给服务器。

服务器接收截图图片和播放内容的信息，首先根据播放内容的信息判定截图图片属于“电视剧”“二十不惑”的一帧画面，由于“电视剧”符合预定类型，因此执行判断截图图片中是否存在人物对象的步骤，例如，服务器可以通过预置的人脸识别模型对截图图片进行处理，判定出截图图片是否存在人物对象，且识别出与该人物对象相匹配的演员关键词是“关某某”，还可以根据“二十不惑”的演员表确定“关某某”饰演的角色是“梁爽”；接着，以“二十不惑”、“关某某”和/或“梁爽”为检索关键词，对包含所有商品信息的数据库进行检索，得到与“梁爽”和/或“关某某”匹配的商品信息，即商品标题中包含“梁爽”和/或“关某某”的商品信息。然后，根据检索出的商品信息，从包含所有商品的特征信息的全局特征库中抽取与检索出的商品信息对应的特征信息，得到局部特征库；最后，提取截图的图片特征，并将提取出的图片特征与局部特征库进行匹配，得到与截图中商品对象匹配的商品信息，如图18a中标题为“二十不惑关某某梁爽同款连衣服……”的商品购买链接。

在一些实施例中，若播放内容不是预定类型的内容，或者截图图片中不存在人物对象，或者无法识别出截图图片中的人物对象，或者根据人物对象的名称无法检索到与人物对象匹配的商品信息，则基于全局特征库识别截图图像中的商品对象，以获取仅与商品对象匹配的商品信息。

由以上实施例可知，本申请提供的图像识别方法，在播放内容为预设类型的内容且截图中存在人物对象时，通过图像识别，为用户展示既与人物对象匹配，又与商品对象匹配的商品信息，可以满足用户搜索剧中人物同款商品和/或相似商品的需求，提高用户体验。 并且，由于是基于局部特征库对截图中的商品对象进行识别，而局部特征库中的特征信息量远小于全局特征库中的特征信息量，因此大大降低了特征匹配计算量，降低了匹配出错的概率，提高了识别结果的准确性。此外，由于在特征匹配前，已经剔除了其他与人物对象无关的商品的特征信息，进一步提高了为用户提供人物同款商品的精准度。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。尤其对于方法实施例而言，由于其与显示设备的实施例相对应，相关之处参见显示设备实施例即可。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (10)

1. 一种显示设备，其特征在于，所述显示设备包括：

   显示器；

   控制器，所述控制器与所述显示器通信连接，所述控制器被配置为：

   接收用户发送的截图指令；

   响应于所述截图指令，对所述显示器所显示的界面内容进行截图操作，获得截图图像；

   将所述截图图像发送至内容识别服务器；

   接收所述内容识别服务器发送的响应信息，所述响应信息中包含从所述截图图像中识别出的目标对象的识别结果；

   控制所述显示器按照与所述识别结果的置信度对应的显示方式，显示所述识别结果。
2. 如权利要求1所述的显示设备，其特征在于，在控制所述显示器按照与所述识别结果的置信度对应的显示方式，显示所述识别结果步骤中，所述控制器被进一步配置为：

   如果所述置信度不大于预设阈值，则控制所述显示器采用提示性显示效果显示所述识别结果；或者，

   如果所述置信度大于预设阈值，则控制所述显示器采用非提示性显示效果显示所述识别结果。
3. 如权利要求1所述的显示设备，其特征在于，在控制所述显示器按照与所述识别结果的置信度对应的显示方式，显示所述识别结果步骤中，所述控制器被进一步配置为：

   如果所述置信度不大于预设阈值，则控制所述显示器显示所述识别结果及预设提示性信息；或者，

   如果所述置信度大于预设阈值，则控制所述显示器显示所述识别结果且不显示所述预设提示性信息。
4. 如权利要求1所述的显示设备，其特征在于，在控制所述显示器按照与所述识别结果的置信度对应的显示方式，显示所述识别结果步骤中，所述控制器被进一步配置为：

   控制所述显示器使用与所述置信度所在的置信度区间所对应的显示方式，显示所述识别结果。
5. 如权利要求1至4中任一项所述的显示设备，其特征在于，

   所述响应信息中还包括所述识别结果的置信度。
6. 如权利要求1至4中任一项所述的显示设备，其特征在于，在控制所述显示器按照与所述识别结果的置信度对应的显示方式，显示所述识别结果的步骤前，所述控制器还被配置为：

   生成或获取所述识别结果的置信度。
7. 如权利要求5所述的显示设备，其特征在于，在生成或获取所述识别结果的置信度的步骤中，所述控制器还被配置为：

   基于所述截图图像的分辨率，生成所述识别结果的置信度；或者，

   基于所述目标对象所在区域在所述截图图像中位置或面积占比，生成所述识别结果的置信度。
8. 如权利要求1所述的显示设备，其特征在于，

   所述识别结果中包含所述目标对象的名称信息及所述目标对象的定位信息，所述定位 信息用于指示所述目标对象在所述截图图像中的位置或位置范围。
9. 如权利要求8所述的显示设备，其特征在于，在控制所述显示器按照与所述识别结果的置信度对应的显示方式，显示所述识别结果步骤中，所述控制器被进一步配置为：

   在基于所述定位信息确定的名称信息显示位置，显示所述识别结果。
10. 一种内容展示方法，其特征在于，包括：

    接收用户发送的截图指令；

    响应于所述截图指令，对所显示的界面内容进行截图操作，获得截图图像；

    将所述截图图像发送至内容识别服务器；

    接收所述内容识别服务器发送的响应信息，所述响应信息中包含从所述截图图像中识别出的目标对象的识别结果；

    按照与所述识别结果的置信度对应的显示方式，显示所述识别结果。

Images