WO2023087915A1

WO2023087915A1 - 应用推荐方法、装置、设备和计算机可读存储介质

Info

Publication number: WO2023087915A1
Application number: PCT/CN2022/120921
Authority: WO
Inventors: 陈科鑫; 谭维; 张晓帆
Original assignee: 杭州逗酷软件科技有限公司
Priority date: 2021-11-22
Filing date: 2022-09-23
Publication date: 2023-05-25
Also published as: CN113901337A

Abstract

本申请实施例公开了一种应用推荐方法、装置、设备和计算机可读存储介质。该方法包括：获取作用于用户界面的触控操作信息；基于触控操作信息，获取用户界面对应的屏幕元素信息；屏幕元素信息和触控操作信息均是与用户当前操作相关的交互数据，能够满足用户的即时服务需求。基于触控操作信息和屏幕元素信息，获取屏幕元素信息与多个应用的关联度，多个应用为同一类型应用；对关联度满足预设条件的应用进行推荐显示。本申请实施例通过结合屏幕元素信息和触控操作信息的双重模态信息，从两个维度对用户界面的交互数据进行考虑，然后结合与多个应用的关联度，提高了应用推荐结果的准确性。

Description

应用推荐方法、装置、设备和计算机可读存储介质

相关申请的交叉引用

本申请基于申请号为202111387371.6、申请日为2021年11月22日、申请名称为“应用推荐方法、装置、设备和计算机可读存储介质”的中国专利申请提出，并要求该中国专利申请的优先权，该中国专利申请的全部内容在此引入本申请作为参考。

技术领域

本申请涉及计算机技术领域，尤其涉及一种应用推荐方法、装置、设备和计算机可读存储介质。

背景技术

随着智能交互技术的不断发展，以智能设备为中心的交互模式，逐渐向以人为中心的服务交互模式发展。通过在智能设备上向用户进行智能推荐服务，提高了用户操作的便捷性。

相关技术中，通过采集用户对智能设备的历史行为数据，并结合热门服务使用数据，生成应用推荐结果。

然而，相关技术中依赖于用户的历史行为数据和热门服务使用数据，使得用户在进行当前操作，实现与屏幕的交互时，只能被动接收应用推荐，应用推荐结果往往与当前操作没有关联，不能满足用户的即时服务需求，降低了应用推荐结果的准确性。

发明内容

本申请实施例期望提供一种应用推荐方法、装置、设备和计算机可读存储介质，通过结合屏幕元素信息和触控操作信息的双重模态信息，从两个维度对用户界面的交互数据进行考虑，然后结合与多个应用的关联度，提高了应用推荐结果的准确性。

第一方面，本申请实施例提供一种应用推荐方法，所述方法包括：获取作用于用户界面的触控操作信息；基于所述触控操作信息，获取所述用户界面对应的屏幕元素信息；基于所述触控操作信息和所述屏幕元素信息，获取所述屏幕元素信息与多个应用的关联度，所述多个应用为同一类型应用；对所述关联度满足预设条件的应用进行推荐显示。

第二方面，本申请实施例提供一种应用推荐方法，所述方法包括：获取针对用户界面的触控操作信息，以及获取所述用户界面对应的屏幕元素信息；基于所述屏幕元素信息和所述触控操作信息进行联合学习，并与预设的样本融合信息和预设的各个应用的样本序列行为信息进行关联处理，获取所述屏幕元素信息与多个应用的关联度；对所述关联度满足预设条件的应用进行推荐显示。

第三方面，本申请实施例提供一种应用推荐装置，所述装置包括：第一获取部分，被配置为获取作用于用户界面的触控操作信息；以及基于所述触控操作信息，获取所述用户界面对应的屏幕元素信息；第一关联部分，被配置为基于所述触控操作信息和所述屏幕元素信息，获取所述屏幕元素信息与多个应用的关联度，所述多个应用为同一类型应用；第一显示部分，被配置为对所述关联度满足预设条件的应用进行推荐显示。

第四方面，本申请实施例提供一种应用推荐装置，所述装置包括：第二获取部分，被配置为获取针对用户界面的触控操作信息，以及获取所述用户界面对应的屏幕元素信息；第二关联部分，被配置为基于所述屏幕元素信息和所述触控操作信息进行联合学习，并与预设的样本融合信息和预设的各个应用的样本序列行为信息进行关联处理，获取所述屏幕元素信息与多个应用的关联度；第二显示部分，被配置为对所述关联度满足预设条件的应用进行推荐显示。

第五方面，本申请实施例提供一种应用推荐设备，所述应用推荐设备包括存储器和处理器；所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述第一方面或第二方面所述的应用推荐方法。

第六方面，本申请实施例提供一种计算机可读存储介质，其上存储有可执行指令，被配置为被处理器执行时，实现上述第一方面或第二方面所述的应用推荐方法。

本申请实施例提供了一种应用推荐方法、装置、设备和计算机可读存储介质。根据本申请实施例提供的方案，获取作用于用户界面的触控操作信息；基于触控操作信息，获取用户界面对应的屏幕元素信息；屏幕元素信息和触控操作信息均是与用户当前操作相关的交互数据，能够满足用户的即时服务需求。基于触控操作信息和屏幕元素信息，获取屏幕元素信息与多个应用的关联度，多个应用为同一类型应用；对关联度满足预设条件的应用进行推荐显示。本申请实施例通过结合屏幕元素信息和触控操作信息的双重模态信息，从两个维度对用户界面的交互数据进行考虑，然后结合与多个应用的关联度，提高了应用推荐结果的准确性。

附图说明

图1为本申请实施例提供的一种应用推荐结果的示例性的示意图；

图2为本申请实施例提供的一种应用推荐方法的可选的步骤流程图；

图3为本申请实施例提供的另一种应用推荐方法的可选的步骤流程图；

图4为本申请实施例提供的再一种应用推荐方法的可选的步骤流程图；

图5为本申请实施例提供的一种计算屏幕元素隐向量的可选的流程图；

图6为本申请实施例提供的一种计算触控动作隐向量的可选的流程图；

图7为本申请实施例提供的又一种应用推荐方法的可选的步骤流程图；

图8为本申请实施例提供的一种生成推荐结果的可选的流程图；

图9为本申请实施例提供的一种应用推荐结果的示例性的表现形式示意图；

图10为本申请实施例提供的另一种应用推荐结果的示例性的表现形式示意图；

图11为本申请实施例提供的又一种应用推荐方法的可选的步骤流程图；

图12为本申请实施例提供的一种应用推荐装置的结构示意图；

图13为本申请实施例提供的另一种应用推荐装置的结构示意图；

图14为本申请实施例提供的一种应用推荐设备组成结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。应当理解的是，此处所描述的一些实施例仅仅用以解释本申请的技术方案，并不用于限定本申请的技术范围。

为了更好地理解本申请实施例中提供的应用推荐方法，在对本申请实施例的技术方案进行介绍之前，先对相关技术进行说明。

相关技术中，智能应用推荐设备通过采集用户对智能设备的历史行为数据，并结合热门使用服务数据，生成应用推荐结果，如图1所示，图1为本申请实施例提供的一种应用推荐结果的示例性的示意图。图1以终端是手机为例，展示手机屏幕的应用推荐场景，图1中的“应用建议”和“热门应用”栏目中所展示的内容，属于终端的智能应用推荐设备通过计算分析得到的应用推荐结果。其中，“应用建议”是根据采集到的用户对智能设备的历史行为数据生成的应用推荐，即基于用户历史行为的服务推荐，“热门应用”是根据智能设备联网到的热门使用服务数据生成的应用推荐，即基于热门服务的服务推荐，在图1中分别以不同的字母表示不同的推荐内容。

智能应用推荐方法包括以下特点：在推荐数据的使用上，通常采用用户的历史浏览、点击等交互数据，以及互联网热门数据，作为对用户进行应用推荐时的参考依据。在推荐服务的内容上，主要为用户提供应用推荐，广告推荐或资讯类消息等推荐。在推荐服务的性质上，主要是为了提高应用软件的点击率与活跃率，因此，侧重于引导用户使用智能应用推荐设备想要让用户使用的应用软件。

基于相关技术中的上述特征，智能应用推荐在用户服务需求、产品表现上至少存在以下一个或多个缺点：(1)由于相关技术中依赖于用户的历史行为数据和热门使用服务数据，对用户即将要使用的服务进行推荐，难以覆盖到用户即时的服务需求。(2)由于相关技术中只是使用了用户的历史行为数据，并不考虑用户的主动意图操作，也就是说，智能应用推荐设备与用户的主动行为之间无交互，用户只能被动的接收应用推荐。(3)由于相关技术中仅使用了用户的历史行为数据，信息模态单一，从而降低了相关技术中应用推荐结果的准确性。

本申请实施例提供一种应用推荐方法，如图2所示，图2为本申请实施例提供的一种应用推荐方法的步骤流程图，应用推荐方法包括以下步骤：

S201、获取作用于用户界面的触控操作信息。

在本申请实施例中，用户与应用推荐设备进行交互时，用户在用户界面上对其感兴趣的信息进行操作，操作过程中产生触控操作信息。该触控操作信息是作用于用户界面的信息，应用推荐设备可以获取到该触控操作信息。

在本申请实施例中，用户界面为用户与应用推荐设备进行交互时的页面，用户界面可以理解为当前页面、当前用户界面。触控操作信息表征用户对于用户界面之间的交互数据。触控操作信息可以包括：操作内容和触摸操作。触摸操作包括但不限于点击、双击、长按、双指捏合、双指方法、滑动和拖拽；操作内容包括但不限于复制、转发、分享、拖拽、提醒、保存、收藏和停留等。其中，停留指的是用户对用户界面上的控件进行操作，且操作内容为除其他用户操作的所有内容，以操作系统弹出的子菜单中的可选控件包括复制、转发、分享、拖拽、提醒、保存和收藏为例进行说明，用户未对子菜单中的可选控件进行选择，而是选择了其他控件，或者用户选中了除子菜单之外的控件。

在一些实施例中，触控操作信息包括：触摸操作和操作内容；上述S201可以通过以下三个示例实现。第一个示例，获取作用于用户界面的触摸操作；显示与触摸操作对应的操作内容。

在本申请实施例中，在获取触控操作信息时，是由用户的触摸操作触发的，先获取作用于用户界面的触摸操作，在用户界面中显示与触摸操作对应的操作内容。示例性的，以触摸操作是触控手势为例进行说明，用户需要对某一文本信息进行复制操作，当检测到用户的触控手势是“长按”时，生成与“长按”对应的操作内容，操作内容是复制、分享、转发、保存、收藏等，用户选择操作内容“复制”。

在本申请实施例中，获取作用于用户界面的触摸操作，显示与触摸操作对应的操作内容，若用户对操作内容进行选择，则获取操作内容，从而获得触控操作信息，相较于直接获取触控操作信息的方案，减少了资源消耗。

在一些实施例中，触控操作信息包括：触摸操作和操作内容；上述S201通过以下第二个示例实现。第二个示例，获取作用于用户界面的触摸操作；基于触摸操作，获取用户界面对应的屏幕元素信息；基于触摸操作和屏幕元素信息，显示对应的操作内容。

在本申请实施例中，在获取触控操作信息时，是由用户的触摸操作触发的，触摸操作反映用户需要对用户界面中的某些内容进行操作，以便接下来选择操作内容，屏幕元素信息反映能够支持的操作内容。因此，显示的操作内容是与触摸操作和屏幕元素信息相关的内容，基于触摸操作和屏幕元素信息，显示对应的操作内容，提高了操作内容的准确性。示例性的，以触摸操作是触控手势为例进行说明，用户需要对某一文本信息进行复制操作，当检测到用户的触控手势“长按”时，获取用户界面对应的屏幕元素信息，基于触控手势所在的位置和屏幕元素信息生成操作内容，操作内容是复制、分享、转发、保存、收藏等，用户选择操作内容“复制”。

在本申请实施例中，先获取作用于用户界面的触摸操作，基于触摸操作，获取用户界面对应的屏幕元素信息；基于触摸操作和屏幕元素信息，显示对应的操作内容，若用户对操作内容进行选择，则获取操作内容，从而获得触控操作信息，相较于直接获取触控操作信息的方案，减少了资源消耗。

在一些实施例中，触控操作信息包括：触摸操作和操作内容；上述S201通过以下第三个示例实现。第三个示例，在针对用户界面的选择操作的作用下，显示被选中的内容对应的操作内容；在预设时间范围内，获取针对操作内容的触摸操作；触摸操作包括选择操作。

在本申请实施例中，用户与应用推荐设备进行交互的过程中，操作系统会一直产生数据，包括触控操作信息和屏幕元素信息，本申请实施例并不是一直获取触控操作信息和屏幕元素信息，也不会一直向用户进行应用推荐，操作系统也不会一直获取触摸操作和屏幕元素信息。可以理解为，用户可以一直对应用推荐设备进行触摸操作，但是应用推荐设备并不是响应所有的触摸操作。在针对用户界面的选择操作的作用下，显示被选中的内容对应的操作内容，例如被选中的操作内容是复制、转发、分享、拖拽、提醒、保存和收藏中的至少一项时，检测到用户具有表征想要超级分享、转发或打开等的强意图，才会在该选择操作的前后一段时间范围内，获取针对操作内容的触摸操作。同时也说明了本申请实施例的应用推荐方法是由操作内容触发的应用推荐。

在本申请实施例中，在针对用户界面的选择操作的作用下，显示被选中的内容对应的操作内容；从而在预设时间范围内，获取针对操作内容的触摸操作，相较于一直获取触摸操作的方法，减少了资源消耗。

S202、基于触控操作信息，获取用户界面对应的屏幕元素信息。

在本申请实施例中，随着用户与用户界面之间的实时交互，用户界面对应屏幕元素信息是变化的。操作系统会一直产生数据，包括触控操作信息和屏幕元素信息，应用推荐设备并不是一直向用户进行应用推荐。基于触控操作信息，获取用户界面对应的屏幕元素信息，该屏幕元素信息是与用户触控操作信息对应的屏幕元素，提高了屏幕元素信息的准确性。

在本申请实施例中，屏幕元素信息表征用户界面中显示的所有元素的信息，包括但不限于控件信息、文本类信息和图像类信息。

在一些实施例中，上述S202中在获取用户界面对应的屏幕元素信息时，可以通过以下方式实现。对用户界面或待识别区域进行控件信息识别，得到结构型知识；对用户界面或待识别区域进行文字内容识别，得到文本型知识；对用户界面或待识别区域进行图像内容识别，得到视觉型知识；对用户界面进行服务解析，确定当前应用服务集合；文本型知识、视觉型知识和当前应用服务集合中的至少一种，以及结构型知识作为屏幕元素信息。

在本申请实施例中，结构型知识表征实体和实体之间的联系，也可以理解为控件和控件之间的联系，文本型知识表征电影、文字或链接之类的文本内容，视觉型知识表征封面或海报之类的图像内容。

示例性的，通过对当前用户界面进行服务解析确定当前应用服务集合，可以理解为选择与当前用户界面相关的应用，作为当前应用服务集合，减少需要编码的应用的数量，从而减少资源消耗。

需要说明的是，待识别区域可以是由本领域技术人员根据实际需求，在用户界面对应的全部区域中选取的其中部分区域，也可以是根据用户操作区域确定待识别区域，从而提高待识别区域的准确性，对此本申请实施例不作限制。

在本申请实施例中，对于任意一次应用推荐过程，在获取用户界面对应的屏幕元素信息时，均需要上述的控件信息识别，但是由于有些用户界面中不存在图像和/或文本，因此，在进行解析时，不一定需要文字内容识别和图像内容识别，也就是用户界面中不一定包括文本型知识、视觉型知识和当前应用服务集合，因此，将文本型知识、视觉型知识和当前应用服务集合中的至少一种，以及结构型知识作为屏幕元素信息，提高了屏幕元素信息的丰富性和准确性。

在一些实施例中，在对用户界面或待识别区域进行控件信息识别，得到结构型知识时，可以包括以下步骤：通过无障碍服务接口，获取用户界面或待识别区域对应的控件树的结构信息；对控件树的结构信息进行控件信息识别，得到结构型知识。

在本申请实施例中，无障碍服务(Accessibility Service)是一套可以模拟操作的系统级别的应用程序接口(Application Programming Interface，API)。用户同意应用获取无障碍服务的权限之后就可以模拟操作，依次控制用户的应用推荐设备。无障碍服务可以用于抢红包、自动回复、一键获取权限等应用程序中，实现一键操作。示例性的，控件信息的识别方法可以采用操作系统提供的无障碍服务接口，获取用户界面或待识别区域对应的整个控件树的结构信息，在用户界面或待识别区域刷新时，可以通过调用无障碍服务接口，获取更新后的界面的整个控件树的结构。然后根据整个控件树的结构信息，通过拓扑技术对控件树的结构信息进行控件信息识别，得到结构型知识。

在本申请实施例中，通过无障碍服务接口，获取用户界面或待识别区域对应的控件树的结构信息；对控件树的结构信息进行控件信息识别，得到结构型知识，提高了结构型知识的准确性。

S203、基于触控操作信息和屏幕元素信息，获取屏幕元素信息与多个应用的关联度，多个应用为同一类型应用。

在本申请实施例中，应用推荐设备是为了满足用户即时的服务需求，因此需要获得用户界面的触控操作信息以及用户界面对应的屏幕元素信息。屏幕元素信息和触控动作信息反映了与用户即时需求相关的强意图，可以理解为用户相关的即时信息，在获取即时信息之后，需要计算屏幕元素信息与多个应用之间的关联度。

在本申请实施例中，多个应用可以为同一类型应用。同一类型的应用可以理解为应用所对应功能的表现形式为同一类型，例如，用于向用户播放图像或视频的多个不同的播放软件，为同一类型的应用；用于进行购物的多个不同的购物软件，为同一类型的应用；用于进行社交的多个不同的社交软件，为同一类型的应用。

示例性的，基于触控操作信息和屏幕元素信息可以确定多个应用，多个应用为同一类型的应用，该类型的应用均能够支持当前用户界面中触控操作信息中的操作内容和屏幕元素信息，然后将屏幕元素信息与多个应用之间进行协同联合学习和相似度处理，得到多个关联度。

在本申请实施例中，协同联合学习(collaborative joint learning)是将屏幕元素隐信息、触控动作隐信息进行融合的过程，相似度处理是将融合后的信息与协同过滤(collaborative filtering)相结合的过程。以产品推荐为例进行说明，协同过滤算法是基于对用户历史行为数据的挖掘发现用户的喜好偏向，并预测用户可能喜好的产品进行推荐。可以理解为“猜你喜欢”，和“购买了该商品的人也喜欢”等功能。可以通过以下方式实现：根据和你有共同喜好的人给你推荐、根据你喜欢的物品给你推荐相似物品，以及根据以上条件综合推荐。

在一些实施例中，应用包括：应用类型，和/或，应用服务。

在本申请实施例中，应用的表现形式有很多，应用可以是应用类型、应用服务，或者应用类型和应用服务的结合，应用类型可以理解为应用软件的类型，如图1中列出的应用建议以及热门应用的各个不同的应用服务。应用服务可以理解为在应用软件中对用户界面中的文本或图像进行展示，例如，在播放软件中打开图像、视频等文件，在购物软件中打开该购物链接，在浏览器中打开普通链接，在拨号软件中向其他用户拨打电话，在办公软件中打开文档。不同用户在面对每条交互数据时会产生不同的选择结果，例如，选择不同类型的应用软件；选择在应用软件中打开图像或文本；或者，先选中不同类型的应用软件，再进行图像或文本的打开。对应的，应用推荐结果也可以是应用类型和应用服务的结合。本申请实施例中的应用推荐也可以理解为服务推荐、应用服务推荐、应用软件推荐等，对此本申请实施例不作限制。

在本申请实施例中，应用或应用推荐结果包括应用类型，和/或，应用服务，提高了应用推荐结果的丰富性。

在本申请实施例中，触控操作信息和屏幕元素信息与当前用户界面相关，能够满足用户的即时需求，基于触控操作信息和屏幕元素信息，确定多个同一类型的应用，相较于直接获取屏幕元素信息与所有应用的关联度，获取屏幕元素信息与多个同一类型的应用的关联度，减少了资源消耗，提高了关联度的准确性。

S204、对关联度满足预设条件的应用进行推荐显示。

在本申请实施例中，将S203得到的多个关联度中，满足预设条件的关联度对应的应用作为应用推荐结果，并对该应用进行推荐显示。示例性的，先向用户显示是否需要打开应用的标志，该标志可以是以窗口、文本、图画、文件夹等形式示出，以窗口为例，若用户点击窗口，则显示关联度满足预设条件的应用。也可以直接向用户显示关联度满足预设条件的应用，用户直接对应用进行选择即可。

在本申请实施例中，预设条件可以由本领域技术人员根据实际需求进行适当设置，例如，若预设条件为关联度大于预设阈值，则向用户推荐一个或多个应用，若预设条件为关联度最大值，则向用户推荐一个应用，对此本申请实施例不作限制。

在一些实施例中，上述S204可以通过以下方式实现。在用户界面，推荐显示各个应用的相似度最高的应用；或者，在用户界面，推荐显示各个应用的相似度最高的预设数量的应用。

在本申请实施例中，向用户界面推荐显示相似度最高的应用，示例性的，直接进入该应用，不需要用户进行再次操作即可跳转到该应用，提高了应用推荐效率。或者，将该应用在用户界面上推荐给用户，用户只用选择是否打开或进入该应用，不需要用户在多个应用中进行选择，提高了应用推荐效率。

在本申请实施例中，推荐显示各个应用的相似度最高的预设数量的应用，向用户推荐预设数量的应用，用户可以选择与自身需求强相关的应用，提高了应用推荐的多样性。需要说明的是，预设数量可以由本领域技术人员根据实际情况进行适当设置，例如，2个、3个、4个等，对此本申请实施例不作限制。

根据本申请实施例提供的方案，获取作用于用户界面的触控操作信息；基于触控操作信息，获取用户界面对应的屏幕元素信息；屏幕元素信息和触控操作信息均是与用户当前操作相关的交互数据，能够满足用户的即时服务需求。基于触控操作信息和屏幕元素信息，获取屏幕元素信息与多个应用的关联度，多个应用为同一类型应用；对关联度满足预设条件的应用进行推荐显示。本申请实施例通过结合屏幕元素信息和触控操作信息的双重模态信息，从两个维度对用户界面的交互数据进行考虑，然后结合与多个应用的关联度，提高了应用推荐结果的准确性。

在一些实施例中，触控操作信息包括操作内容；获取用户界面对应的屏幕元素信息；上述S202可以通过以下两个示例实现。第一个示例，在满足触控操作信息表征其操作内容满足预设触发推荐条件的情况下，获取用户界面对应的全界面的屏幕元素信息；预设触发推荐条件表征预期的操作意图。

在本申请实施例中，用户与应用推荐设备进行实时交互的过程中，应用推荐设备并不是一直向用户进行应用推荐。在满足触控操作信息表征其操作内容未达到预期的操作意图的情况下，表示用户没有强意图，此时并不会对用户进行应用推荐，不需要获取用户界面对应的全界面的屏幕元素信息。在满足触控操作信息表征其操作内容达到预期的操作意图的情况下，表示用户具有表征想要超级分享、转发或打开等强意图，则获取用户界面对应的全界面的屏幕元素信息。

需要说明的是，用户界面对应的全界面可以理解为用户界面的全部区域，预设触发推荐条件可以由本领域技术人员根据实际需求进行适当设置，能够对用户是否具有强意图进行区分即可。

在一些实施例中，预设触发推荐条件表征预期的操作意图，示例的，预设触发条件可以是预设的操作内容，预设的操作内容可以是复制、转发、分享、拖拽、提醒、保存或收藏，即，预设触发推荐条件可以为以下至少一个：复制、转发、分享、拖拽、提醒、保存和收藏，但对此本申请实施例不作限制。当触控操作信息的操作内容或其所对应的功能，满足预设触发推荐条件时，获取用户界面对应的全界面的屏幕元素信息。

例如，示例性的，预设触发条件是操作内容中的“复制”，用户对于某一链接的触摸操作是“长按”，然后操作系统弹出子菜单，用户操作内容是选择了子菜单中的“复制”，表示用户具有表征想要超级分享、转发或打开等的强意图，说明用户的操作内容满足预设触发推荐条件。

在本申请实施例中，通过设置预设触发条件，相较于直接获取用户界面对应的全界面的屏幕元素信息的方式，减少了资源消耗。

在一些实施例中，上述S202通过以下第二个示例实现。第二个示例，在触控操作信息作用的触控位置，确定当前待识别区域；对当前待识别区域进行识别，确定屏幕元素信息。

在本申请实施例中，屏幕元素信息是针对用户界面中显示的各个不同类型的元素的信息，触控操作信息作用的触控位置是用户界面中的其中部分界面，也就是说用户触摸操作针对的并不是用户界面的全部区域，因此，根据触控操作信息作用的触控位置，确定当前待识别区域，当前待识别区域的面积小于用户界面的全部区域，然后对当前待识别区域进行识别，确定待识别区域中屏幕元素信息。

在本申请实施例中，根据触控操作信息作用的触控位置确定当前待识别区域，然后对当前待识别区域进行识别，确定屏幕元素信息，不需要获取用户界面的全部区域的屏幕元素信息，减少了数据处理量，提高了应用推荐效率。

在一些实施例中，上述第二个示例中在触控操作信息作用的触控位置，确定当前待识别区域之后，该应用推荐方法还包括以下步骤：在满足当前待识别区域中未识别出屏幕元素信息的情况下，确定下一个待识别区域，在下一个待识别区域进行识别，直至得到存在屏幕元素信息或者识别完全界面时为止；下一个待识别区域大于当前待识别区域。

在本申请实施例中，以触控操作信息作用的触控位置为中心，将预设范围内的区域确定为当前待识别区域，在满足当前待识别区域中未识别出屏幕元素信息的情况下，说明需要进一步扩大待识别区域的面积，例如，扩大预设范围，或者，以当前待识别区域为基准，向某个方向或四周进行扩展，从而确定下一个待识别区域，下一个待识别区域大于当前待识别区域。然后在下一个待识别区域进行识别，直至得到存在屏幕元素信息或者识别完全界面时为止。

在本申请实施例中，根据是否识别出屏幕元素信息的结果，判断是否需要对待识别区域进行范围扩大，直至得到屏幕元素信息，通过循序渐进的方式确定待识别区域，提高了待识别区域的准确性，当得到屏幕元素信息之后，不再对待识别区域进行扩大，相交于直接对用户界面的全部区域进行识别，获取屏幕元素信息的方式，减少了资源消耗。

在一些实施例中，触控操作信息包括：触摸操作和操作内容；上述S203可以通过以下方式实现。响应于对操作内容的选择，获得用户界面对应的屏幕元素信息与多个应用的关联度。

在本申请实施例中，应用推荐设备向用户显示对应的操作内容之后，用户对操作内容进行选择，从而获得操作内容。响应于对操作内容的选择，获得用户界面对应的屏幕元素信息与多个应用的关联度。可以理解为，应用推荐方法是由操作内容触发的，在用户对操作内容进行选择之后，根据操作内容、触摸操作以及屏幕元素信息，确定多个应用，多个应用是能够支持当前用户界面中触控操作信息和屏幕元素信息的应用，从而获取屏幕元素信息与多个应用的关联度，相较于直接获取屏幕元素信息与所有应用的关联度，减少了资源消耗，提高了关联度的准确性。

在一些实施例中，上述S203还可以通过以下方式实现。基于屏幕元素信息和触控操作信息，在各个应用上与预设的样本融合信息和预设的各个应用的样本序列行为信息进行关联，从而得到屏幕元素信息与多个应用的各个应用的关联度。

在本申请实施例中，预设的样本融合信息和预设的各个应用的样本序列行为信息可以理解为预设的训练数据，预设的训练数据是在进行应用推荐之前，获取的用户与手机交互产生的数据，可以作为此次应用推荐的参考依据。预设的训练数据包括多条训练样本，对于预设的训练数据进行知识库嵌入和协同联合学习之后，得到预设的样本融合信息。预设的训练数据中还包括多个训练样本的样本服务信息，多个样本服务信息中会存在相同的应用，根据多个样本服务信息预测各个应用的偏好概率，从而得到预设的各个应用的样本序列行为信息。一个训练样本包括一条样本融合信息和该样本融合信息对应的样本服务信息，样本服务信息表征训练样本中用户对于每条交互数据(交互数据对应于样本融合信息)后续选择的应用，样本服务信息可以理解为应用真值。

在本申请实施例中，根据多条样本融合信息和每条样本融合信息对应的样本服务信息，得到各个应用的样本序列行为信息。各个应用的样本序列行为信息表征针对不同的样本融合信息，用户对各个应用的偏好概率。示例性的，第i条样本融合信息对第j个应用的样本序列行为信息，也可以理解为第i条样本融合信息对第j个应用的偏好概率。偏好概率由训练数据中样本融合信息对应的样本服务信息的数量确定，也可以理解为在同一样本融合信息下，用户对各个应用的偏好概率，偏好概率越高，样本序列行为信息的值越大。例如，假设只存在两种应用，即，j＝1或2，第i条交互数据选择了第一种应用3次，第二种应用1次，则第i条样本融合信息对第1个应用的样本序列行为信息为3/(1+3)＝0.75，相应的，第i条样本融合信息对第2个应用的样本序列行为信息为0.25。对融合信息集合中的所有样本融合信息进行上述计算，可以得到各个应用的样本序列行为信息。

在本申请实施例中，基于屏幕元素信息和触控操作信息进行知识库嵌入和协同联合学习，得到待分析融合数据，然后与在各个应用上与预设的样本融合信息和预设的各个应用的样本序列行为信息进行协同联合学习和相关性处理，从而得到屏幕元素信息与多个应用的各个应用的关联度，提高了关联度的准确性。

在一些实施例中，在上述S203之前，该应用推荐方法还包括以下步骤：根据预设的训练数据，确定各个训练样本对应的样本屏幕元素隐信息、样本触控动作隐信息和样本服务信息；对样本屏幕元素隐信息和样本触控动作隐信息进行协同联合学习，得到各个训练样本的预设的样本融合信息；根据各个训练样本的样本服务信息，确定预设的各个应用的样本序列行为信息。

在本申请实施例中，预设的训练数据包括多个训练样本，一个训练样本包括样本屏幕元素信息、样本触控动作信息，以及样本服务信息。通过对样本屏幕元素信息和样本触控动作信息分别进行编码，得到样本屏幕元素隐信息和样本触控动作隐信息。

在本申请实施例中，对于各个训练样本的样本屏幕元素隐信息、样本触控动作隐信息，通过知识库嵌入方法分别进行解析和编码，得到样本屏幕元素隐信息和样本触控动作隐信息，然后通过协同联合学习，将样本屏幕元素隐信息和样本触控动作隐信息进行融合，得到样本融合信息。

在本申请实施例中，根据多个训练样本的样本融合信息，以及多个样本服务信息中应用的选择结果，得到各个应用被选择的次数(或概率)，从而确定各个应用的样本序列行为信息。

在本申请实施例中，根据预设的训练数据，确定各个训练样本的样本融合信息，以及各个应用的样本序列行为信息，以便与用户界面对应的屏幕元素信息和触控操作信息进行协同联合学习和相似度处理，从而得到各个应用的关联度。

在一些实施例中，上述基于屏幕元素信息和触控操作信息，在各个应用上与预设的样本融合信息、预设的各个应用的样本序列行为信息进行关联，从而得到屏幕元素信息与多个应用的各个应用的关联度，可以包括S301-S303。如图3所示，图3为本申请实施例提供的另一种应用推荐方法的可选的步骤流程图。

S301、对屏幕元素信息进行编码，得到屏幕元素隐信息。

在本申请实施例中，可以采用自编码器(auto encoder)对屏幕元素信息进行编码，得到屏幕元素隐信息，自编码器是一种能够通过无监督学习，学到输入数据高效表示的人工神经网络，输入数据的这一高效表示称为编码(codings)，其维度一般远小于输入数据，使得自编码器可用于降维。本申请实施例中自编码器可以是任意形式的编码器，对于采用的自编码器的结构不作限制，只要是能够对屏幕元素信息和触控操作信息分别进行编码即可，包括但不限于vanilla自编码器、多层自编码器、卷积自编码器和正则自编码器。其中，正则自编码器包括稀疏自编码器和降噪自编码器，降噪自编码器可以是堆叠降噪自动编码器(stacked denoising auto-encoders，SDAE)，卷积自编码器可以是堆叠卷积自编码器(stacked convolutional auto-encoders，SCAE)。

需要说明的是，自编码器通常包括两部分：encoder(也称为识别网络)将输入转换成内部表示，decoder(也称为生成网络)将内部表示转换成输出，输出是在设法重建输入，损失函数是重建损失(reconstruction loss)。在训练过程中，采用自编码器的编码部分(即encoder)对原始图像的信息进行编码，得到高维向量，再采用自编码器的解码部分(即decoder)对高维向量进行解码，得到原始图像。在应用过程中，使用训练完成的自编码器的编码部分(即encoder)对待编码图像进行编码，得到高维向量，高维向量中可以包括带编码图像的全部信息。

S302、对触控操作信息进行编码，得到触控动作隐信息。

在本申请实施例中，可以采用普通的编码方式对触控操作信息进行编码，得到触控动作隐信息。本申请实施例对于编码方式不作限制，只要编码方式能区分开用户进行了哪些触摸操作即可。

示例性的，使用0-1编码方式进行编码，1代表目前用户进行了该项触摸操作，0代表目前用户未进行该项触摸操作。在本申请实施例中，也可以采用其他形式的编码方法对进行和未进行该项触摸操作进行区分，对此本申请实施例不作限制。

S303、基于屏幕元素隐信息、触控动作隐信息、样本融合信息和各个应用的样本序列行为信息进行各个应用的关联，得到各个应用的关联度。

在本申请实施例中，由于屏幕元素信息是与用户界面相关的数据，触控操作信息是与用户当前操作相关的交互数据，因此，采用不同的编码形式对双重模态信息(屏幕元素隐信息和触控动作隐信息)进行编码，得到的屏幕元素隐信息和触控动作隐信息均是与用户当前操作相关的交互数据，能够满足用户的即时服务需求。基于屏幕元素隐信息、触控动作隐信息、样本融合信息和各个应用的样本序列行为信息进行各个应用的关联，得到各个应用的关联度，提高了各个关联度的准确性。

在一些实施例中，屏幕元素信息包括：用户界面对应的结构型知识；上述S301可以通过以下方式实现。对结构型知识进行编码，得到屏幕元素隐信息。

由于有些用户界面中不存在图像和文本，但是用户界面中一定存在结构型知识，因此本申请实施例对结构型知识进行编码，得到结构信息，将结构信息作为屏幕元素隐信息。示例性的，以编码得到的结构信息是结构向量的表达形式为例进行说明，对于结构型知识，采用关系翻译(Translating Relationship，TransR)方法将结构型知识转化为结构向量，TransR模型能够表征结构型的特征。

在本申请实施例中，对结构型知识进行编码，得到屏幕元素隐信息，提高了屏幕元素隐信息的准确性。

在一些实施例中，屏幕元素信息包括：用户界面对应的结构型知识、文本型知识、视觉型知识和用户界面相关的当前应用服务集合；当前应用服务集合是通过对用户界面进行服务解析确定的。上述图3中的S301可以包括S3011-S3013，如图4所示，图4为本申请实施例提供的再一种应用推荐方法的可选的步骤流程图。

S3011、对结构型知识、文本型知识和视觉型知识分别进行编码，得到结构信息、文本信息和视觉信息。

在本申请实施例中，视觉型知识、文本型知识和结构型知识需要分别通过视觉嵌入、文本嵌入和结构嵌入转换为编码信息。采用数据嵌入方法确定屏幕元素隐信息。示例性的，数据嵌入方法可以是协作知识库嵌入(Collaborative Knowledge base Embedding，CKE)算法，其中，CKE算法包括知识库嵌入(knowledge base embedding)和协同联合学习，其中，知识库嵌入也可以理解为知识图谱嵌入。采用知识库嵌入方法确定屏幕元素隐信息，在后续获得触控动作隐信息之后，可以采用协同联合学习将屏幕元素隐信息和触控动作隐信息进行融合，得到待分析融合信息。以下分别对视觉信息、文本信息和结构信息的编码过程进行说明。其中，对结构型知识进行编码，得到结构信息，具体如上所描述，在此不再赘述。

示例性的，以编码得到的视觉信息是视觉向量的表达形式为例进行说明，对于视觉型知识，可以采用的嵌入方法是堆叠卷积自编码器SCAE，SCAE在训练过程中通过堆叠的卷积神经网络，将原始图像的信息映射(编码)到高维向量，再使用高维向量重建(解码)原始图像，因此，高维向量中包括了原始图像的全部信息。在应用过程中，使用训练完成的SCAE的编码部分对视觉型知识进行编码，得到高维向量。将该高维向量与图像来源分析结果的编码向量进行拼接，得到视觉向量。

示例性的，以编码得到的文本信息是文本向量的表达形式为例进行说明，对于文本型知识，可以采用的嵌入方法是堆叠降噪自动编码器SDAE，SDAE与SCAE的思想类似，在此不再赘述。在应用过程中，使用训练完成的SDAE的编码部分对文本型知识进行编码，得到高维向量，将该高维向量与文本的额外信息的编码向量进行拼接，得到文本向量。

需要说明的是，可以采用任意结构的自编码器对结构型知识、文本型知识进行编码，上述示例仅是以SDAE与SCAE为例进行示例性说明，并不代表本申请实施例局限于此。

在一些实施例中，上述S3011中的结构型知识包括：控件类型、控件功能和控件结构分布的至少一种；文本型知识包括：字符识别信息和特殊符号识别信息中的至少一种，以及文本原始信息；视觉型知识包括：图像内容识别信息和图像来源信息中的至少一种，以及原始图像信息。

在本申请实施例中，控件信息识别得到用户界面上的控件种类、控件功能、控件结构分布等。示例性的，控件种类包括按钮、文本、lable和图像点等，以视频选集为例，控件结构分布包括选集按钮的分布。

在本申请实施例中，文字内容识别得到字符识别信息、链接识别信息和特殊符号识别信息等，并且，对于含有额外信息的文本，示例性的，来自某应用软件的分享链接，会将其额外信息也编码到识别结果中，例如，对于普通网址和购物链接所对应的额外信息是不同的。因此，相对于结构型知识，文本型知识还包括文本原始信息，可以理解为文本本身的信息，不仅能反映字符、特殊符号，还可以反映链接等额外信息。

在本申请实施例中，图像内容识别是图像内容的分析描述(例如，图像本身内容的描述)，以及图像内容标签(例如，识别图像中的风景照是哪一个具体的旅游景点，图像是否是表情包等)。图像内容识别还可以包括图像来源分析，图像来源分析会根据图像的样式数据分析图像的来源(例如，分析图像是否来自于拨号界面，分析图像是否是来自某一应用软件界面的截屏)。因此，相对于结构型知识，视觉型知识还包括图像原始信息，可以理解为图像本身的信息，不仅能反映图像内容和图像标签，还可以反映图像来源等原始信息。

需要说明的是，结构型知识只包括识别得到的结构型数据，也就是说，结构型知识不包括用户界面中与用户交互有关的实质内容，而文本型知识既包括识别得到的字符识别信息和特殊符号识别信息，还包括文本原始信息，视觉型知识既包括识别得到的图像内容识别信息和图像来源信息，还包括原始图像信息。

在本申请实施例中，结构型知识包括控件类型、控件功能和控件结构分布的至少一种；文本型知识包括字符识别信息和特殊符号识别信息中的至少一种，以及文本原始信息；视觉型知识包括图像内容识别信息和图像来源信息中的至少一种，以及原始图像信息，提高了结构型知识、文本型知识、视觉型知识的丰富性。

在一些实施例中，图4中S3011可以包括以下步骤：对结构型知识进行向量化编码，得到结构信息；对字符识别信息和特殊符号识别信息中的至少一种进行向量化编码，得到文本内容理解编码信息；以及对文本原始信息进行堆叠自编码，得到文本高维信息；将文本高维信息和文本内容理解编码信息进行拼接，得到文本信息；对图像内容识别信息和图像来源信息中的至少一种进行信息化编码，得到图像内容理解编码信息；以及对原始图像信息进行堆叠自编码，得到图像高维信息；将图像高维信息和图像内容理解编码信息进行拼接，得到视觉信息。

在本申请实施例中，由于结构型知识包括控件类型、控件功能和控件结构分布的至少一种，没有与用户交互有关的实质内容，因此，在对结构型知识进行编码时，对结构型知识进行向量化编码，即可得到结构信息，提高了结构信息的编码效率。

在本申请实施例中，由于文本型知识包括字符识别信息和特殊符号识别信息中的至少一种，以及文本原始信息，因此，在对文本型知识进行编码时，需要对字符识别信息和特殊符号识别信息中的至少一种进行向量化编码，得到文本内容理解编码信息；并且，对文本原始信息进行堆叠自编码，得到文本高维信息，该文本高维信息能够反映文本原始信息。将文本高维信息和文本内容理解编码信息进行拼接，得到文本信息，提高了文本信息的准确性。

在本申请实施例中，由于视觉型知识包括图像内容识别信息和图像来源信息中的至少一种，以及原始图像信息，因此，在对视觉型知识进行编码时，需要对图像内容识别信息和图像来源信息中的至少一种进行信息化编码，得到图像内容理解编码信息；以及对原始图像信息进行堆叠自编码，得到图像高维信息，该图像高维信息能够反映图像原始信息。将图像高维信息和图像内容理解编码信息进行拼接，得到视觉信息，提高了视觉信息的准确性。

S3012、对当前应用服务集合进行编码，得到服务偏置信息。

在本申请实施例中，由于当前应用需要编码的数据固定，且更新频率低，变化性通常不大，因此，直接简单的将当前应用服务集合进行编码，得到服务偏置信息。

示例性的，由于应用服务集合中包括的应用的数量有多个，并不是所有的应用均与当前用户界面相关，例如，当前用户界面为A聊天界面，在A聊天界面中，对于一个对方发来的购物链接，若用户的触摸操作是“长按”，操作内容是“复制”，则与当前A聊天界面相关的应用服务集合可以包括另一个B应用软件(用于在另一个社交软件中进行链接分享)、C应用软件(用于打开该购物链接，了解该链接中物品的详细信息)、D应用软件(用于在网站中进行查询)。在本申请实施例中，通过对当前用户界面进行服务解析确定当前应用服务集合，可以理解为选择与当前用户界面相关的应用，作为当前应用服务集合，减少需要编码的应用的数量，从而减少资源消耗。由于当前应用服务需要编码的数据固定，且更新频率低，例如，某种浏览器支持打开并解析某一类型的链接，因此，直接简单的对当前应用服务集合进行编码，得到服务偏置信息。采用不同的编号对应用进行区分即可，示例性的，以应用是应用服务、服务偏置信息是向量的表达形式为例进行说明，对应用服务A进行编码得到服务偏置向量0001，对应用服务B进行编码得到服务偏置向量0010。将服务偏置信息和屏幕元素编码信息进行拼接，得到屏幕元素隐信息。

S3013、对文本信息、视觉信息和服务偏置信息中的至少一种，以及结构信息进行拼接，得到屏幕元素隐信息。

在本申请实施例中，由于有些用户界面中不存在图像和文本，即，屏幕元素信息不包括文本信息和视觉信息；有些用户界面中没有与用户界面相关的应用服务集合，即当前应用服务集合为空。可以理解为用户界面中包括结构信息；或者，用户界面中包括结构信息，以及文本信息、视觉信息和服务偏置信息中至少一种。因此，在得到屏幕元素隐信息时，示例性的，可以是对文本信息、视觉信息和服务偏置信息中的至少一种，以及结构信息进行拼接，得到屏幕元素隐信息。也可以是对结构信息、文本信息、视觉信息和服务偏置信息进行拼接，得到屏幕元素隐信息；对此本申请实施例不作限制。其中，在对结构信息、文本信息、视觉信息和服务偏置信息进行拼接，得到屏幕元素隐信息时，若用户界面中不存在图像、文本，以及对应的当前应用服务集合，则依旧分别对文本型知识、视觉型知识和当前应用服务集合进行编码，编码结果为表征没有实质内容的信息，可以理解为文本信息、视觉信息和服务偏置信息均表征空。由于预设的训练数据中样本融合信息是对结构信息、文本信息、视觉信息和服务偏置信息分别编码后拼接得到的，因此，对待分析数据经过与训练数据一致的处理方法，得到的屏幕元素隐信息，可以保证与样本融合信息的维度一致，在后续计算相似度时，提高计算结果的准确性。

在本申请实施例中，对结构型知识、文本型知识、视觉型知识和当前应用服务集合进行编码分别进行编码，并对编码得到的各个信息进行拼接，得到屏幕元素隐信息，提高了屏幕元素隐信息的准确性。

下面，通过屏幕元素隐向量获取模块，说明本申请实施例在一个实际的应用场景中的示例性应用。以屏幕元素隐信息、触控动作隐信息、服务偏置信息、结构信息、视觉信息、文本信息的表达形式均是向量，以及屏幕元素信息是手机屏幕元素信息为例进行说明。

在本申请实施例中，屏幕元素隐向量获取模块用于获取用户界面的手机屏幕元素的向量表达形式，此处的向量表达形式可以看作是一种基于知识图谱的向量嵌入表达。如图5所示，图5为本申请实施例提供的一种计算屏幕元素隐向量的可选的流程图。图5以应用推荐设备是手机为例进行说明，图5中在计算屏幕元素隐向量时所用到的数据集合，包括当前手机屏幕的用户界面对应的屏幕元素信息，以及当前手机的用户界面所能提供的应用服务集合。

在本申请实施例中，对于手机屏幕元素信息，通过以下三个维度进行解析：控件信息识别、文字内容识别和图像内容识别。图5中以结构型知识表示控件信息识别得到的树状结构型的知识，以文本型知识表示文字内容识别到的信息，以视觉型知识表示图像内容识别到的信息。

需要说明的是，上述手机屏幕元素信息的解析识别，是由用户触控动作中用户操作内容触发的，当用户触控动作满足预设触发条件时，触发上述手机屏幕元素信息的解析识别步骤。

在本申请实施例中，是对控件信息、图像内容和文本内容均进行识别和编码，若用户界面中不存在图像和/或文本，则图像内容和/或文本内容对应的编码向量为表征没有内容的向量，可以理解为编码向量为空，例如，编码向量为0000。在文字内容理解和图像内容理解之前，可以先判断用户界面中是否存在图像和/或文本，若存在图像和/或文本，则对手机屏幕元素信息，进行文字内容理解和/或图像内容理解。

在本申请实施例中，图5中的视觉型知识通过视觉嵌入(embedding)、文本型知识通过文本嵌入(embedding)、结构型知识通过结构嵌入(embedding)，转换为对应的编码向量，编码向量包括视觉向量、文本向量和结构向量。并且简单对当前应用服务集合进行编码，得到服务偏置向量，例如，采用不同的编号对应用进行区分即可。将服务偏置向量、视觉向量、文本向量和结构向量进行拼接，得到屏幕元素隐向量。

在一些实施例中，触控操作信息包括：操作内容和触摸操作；在对触控操作信息进行编码，得到触控动作隐信息时，可以通过以下方式实现。对触摸操作和操作内容分别进行编码，得到触摸操作信息和操作内容信息；对触摸操作信息和操作内容信息进行拼接，得到触控动作隐信息。

在本申请实施例中，可以采用普通的编码方式对操作内容和触摸操作进行编码，只要能区分开用户进行了哪些操作，以及哪些手势即可。

示例性的，触摸操作包括但不限于点击、双击、长按、双指捏合、双指放大、滑动和拖拽；使用0-1编码方式进行编码，1代表目前用户做了该项手势，0代表目前用户未做该项手势，在本申请实施例中，也可以采用其他形式的编码方法对是否做了该项手势进行区分。对此本申请实施例不作限制。

示例性的，操作内容包括但不限于复制、转发、分享、拖拽、提醒、保存、收藏和停留等。使用0-1编码方式进行编码，1代表目前用户选择了该项操作，0代表目前用户未选择该项操作，在本申请实施例中，也可以采用其他形式的编码方法对是否选择了该项操作进行区分。对此本申请实施例不作限制。

在本申请实施例中，在对操作内容和触摸操作进行编码，得到操作内容信息和触摸操作信息之后，采用拼接的方式，将操作内容信息和触摸操作信息进行拼接，得到触控动作隐信息，提高了触控动作隐信息的准确性。

下面，通过触控动作隐向量获取模块，说明本申请实施例在一个实际的应用场景中的示例性应用。以触控动作隐信息的表达形式是向量、触控操作信息是用户触控动作为例进行说明。在本申请实施例中，触控动作隐向量获取模块用于获取用户触控动作的向量表达形式，用户触控动作包括用户操作内容和用户触摸操作，如图6所示，图6为本申请实施例提供的一种计算触控动作隐向量的可选的流程图。图6中触控手势表示触摸操作，用户触控手势支持的操作手势包括但不限于点击、双击、长按、双指捏合、双指放大、滑动和拖拽；用户操作内容支持的用户操作包括但不限于复制、转发、分享、拖拽、提醒、保存、收藏和停留等。在对用户操作内容和用户触控手势进行编码，得到用户操作内容向量和用户触控手势向量之后，采用向量拼接的方式，将用户操作内容向量和用户触控手势向量进行拼接，得到触控动作隐向量。

在一些实施例中，上述图3中S303可以包括S3031-S3033。如图7所示，图7为本申请实施例提供的又一种应用推荐方法的可选的步骤流程图。

S3031、对屏幕元素隐信息和触控动作隐信息进行协同联合学习，得到待分析融合信息。

在本申请实施例中，协同联合学习是将屏幕元素隐信息、触控动作隐信息进行融合，得到待分析融合信息的过程。协同联合学习的主要作用是特征映射和特征降维，采用协同联合学习方法，实现将触控动作隐信息和屏幕元素隐信息作为输入，输出表征用户意图的融合信息，即待分析融合信息。

示例性的，协同联合学习的过程可以理解为采用协同联合模型实现隐信息融合的过程，将屏幕元素隐信息、触控动作隐信息输入训练完成的协同联合模型，输出融合信息，将输出的融合信息作为待分析融合信息，本申请实施例中的协同联合模型可以是任意形式的网络，对于采用的协同联合模型的结构不作限制，只要是能够对屏幕元素隐信息和触控动作隐信息进行融合，得到正确表示融合后的信息即可。包括但不限于映射结构为全卷积网络(fully convolutional network，FCN)。

S3032、获取基于历史行为数据，确定的各个应用的历史序列行为信息。

在本申请实施例中，历史行为数据是用户的历史行为数据，能够反映用户对于各个应用的偏好概率，针对各个应用，结合历史行为数据，得到各个应用的历史序列行为信息。

示例性的，以m个应用为例，针对第k个应用，根据用户的历史行为数据生成历史序列行为信息，记为w _k，由此可生成m个历史序列行为信息，历史序列行为信息w _k的维度为1×m。

在一些实施例中，图7中S3032可以通过以下方式实现。基于历史行为数据，确定多个应用的历史行为参数；针对每个应用，将该应用对应的历史行为参数，设置为预设参数，结合多个应用中除去该应用之外的历史行为参数，得到该应用的历史序列行为信息。

示例性的，以m个应用、应用对应的历史行为参数是偏好概率、预设参数是预设概率为例。若该用户是新用户，并没有该用户的历史行为数据，也就没有该用户的偏好记录，则该历史序列行为信息中m个应用的偏好概率均相等。若该用户不是新用户，则根据历史行为数据计算m个应用的偏好概率，即，计算历史行为数据中用户选择每个应用的概率。对于m个应用中的第k个应用，将第k个应用的偏好概率设置为预设概率，并结合剩下的m-1个应用的偏好概率，确定第k个应用的历史序列行为信息w _k，也就是，针对第k个应用，仅将m个应用中第k个应用的偏好概率设置为预设概率，其他m-1个偏好概率不变，从而形成第k个应用的历史序列行为信息。其中，预设参数可以由本领域技术人员根据实际需求进行适当设置，能够有效对该条应用进行推荐得分的计算即可，以此类推，可以得到m个历史序列行为信息。

在本申请实施例中，针对每个应用，将该应用对应的行为数据，设置为预设参数，结合历史行为数据中除去该应用之外的行为数据，得到该应用的历史序列行为信息，便于后续采用该应用的历史序列行为信息计算相似度，提高相似度的准确性。

S3033、基于各个应用的历史序列行为信息、样本序列行为信息进行相似度处理，以及基于待分析融合信息和各个训练样本的样本融合信息进行相似度处理，得到各个应用的相似度。

在本申请实施例中，基于各个应用的历史序列行为信息、样本序列行为信息进行相似度处理，以及基于待分析融合信息和各个训练样本的样本融合信息进行相似度处理。由于训练样本中样本融合信息和样本序列行为信息一一对应，根据以上两次相似度处理，可以得到各个应用的相似度，提高了相似度的准确性。

在一些实施例中，图7中S3033可以包括以下步骤：基于各个应用的历史序列行为信息和样本序列行为信息进行相似度处理，确定各个应用针对各个训练样本的第一相似度信息；将待分析融合信息与各个训练样本的样本融合信息进行相似度处理，得到与各个训练样本对应的第二相似度信息；基于各个应用针对各个训练样本的第一相似度信息，以及各个训练样本对应的第二相似度信息，得到各个应用的相似度。

示例性的，以m个应用为例进行说明，对于m个应用中的第k个应用，在样本序列行为信息中确定各个训练样本的样本序列行为信息，计算该应用的历史序列行为信息，与各个训练样本的样本序列行为信息的相似度，若训练样本的数量为n个，则可以得到n个第一相似度信息。计算待分析融合信息与各个训练样本的样本融合信息的相似度，若训练样本的数量为n个，则可以得到n个第二相似度信息。并基于n个第一相似度信息和n个第二相似度信息，得到第k个应用相似度。重复以上步骤，可以得到m个应用的相似度。

在本申请实施例中，以融合信息和序列行为信息的表达形式均是向量、相似度信息是相似度得分为例进行说明，示例性的，相似度得分可以采用皮尔森相关系数表示。如公式(1)所示：

示例性的，上述公式(1)中向量x1、x2的相似度表示为sim(x1,x2)，皮尔森相关系数定义为两个向量的协方差除以其标准差的乘积。cov(x1,x2)和E[(X1-μx1)(X2-μx2)]表示两个向量的协方差，公式(1)中X1和X2分别表示两个向量，μx1和μx2分别表示两个向量的标量(例如，均值)，σ _x1和σ _x2分别表示两个向量的标准差。

在本申请实施例中，基于历史序列行为信息、样本融合信息分别进行相似度计算，并综合考虑两个维度的相似度信息，得到各个应用的相似度，提高了相似度的准确性。

在一些实施例中，在基于各个应用针对各个训练样本的第一相似度信息，以及各个训练样本对应的第二相似度信息，得到各个应用的相似度时，可以包括以下步骤：基于各个应用针对各个训练样本的第一相似度信息，以及各个训练样本对应的第二相似度信息，得到各个应用针对各个训练样本的第三相似度；针对各个应用，将各个训练样本的第三相似度求和，得到各个应用的相似度。

示例性的，以训练样本的数量为n个为例进行说明，将训练样本的第一相似度信息和该训练样本对应的第二相似度信息相乘，得到第三相似度，由于第一相似度信息和第二相似度信息后的数量均为n个，因此，相乘后可以得到n个第三相似度，一个训练样本对应一个第三相似度，将n个第三相似度求和，得到每个应用的相似度。

在本申请实施例中，以融合信息的表达形式均是向量、相似度信息是相似度得分、历史序列行为信息和样本序列行为信息均是操作序列向量、相似度是推荐得分、训练样本对应各个应用的样本序列行为信息是序列行为矩阵为例进行说明，示例性的，以应用是应用服务为例，待分析数据对应用服务集合中的第k个应用服务的推荐得分可以通过公式(2)进行计算。

score＝∑(sim(w _k,v _i)*sim(s,t _i)) (2)

示例性的，上述公式(2)中score表示推荐得分，sim(w _k,v _i)表示第k个应用服务的操作序列向量w _k，与序列行为矩阵中第i条操作序列向量v _i的相似度得分，sim(s,t _i)表示待分析融合向量s，与融合向量集合中第i条样本融合向量ti的相似度得分，∑表示对n个相似度乘积进行求和。

在本申请实施例中，基于两个维度的相似度信息，得到各个应用的相似度，提高了相似度的准确性。

下面，通过协同联合学习模块和推荐结果生成模块说明本申请实施例在一个实际的应用场景中的示例性应用。以屏幕元素隐信息、触控动作隐信息和融合信息的表达形式均是向量，以及训练样本对应各个应用的样本序列行为信息是序列行为矩阵、历史序列行为信息和样本序列行为信息均是操作序列向量、相似度信息是相似度得分、相似度是推荐得分、各个应用的关联度是应用推荐结果为例进行说明，生成应用推荐结果的流程可以包括：根据手机屏幕元素信息与用户触控动作确定表征用户意图的融合向量，通过协同过滤算法确定得分最高的推荐结果。

在本申请实施例中，协同联合学习模块用于根据触控动作隐向量和屏幕元素隐向量确定待分析融合向量。将触控动作隐向量和屏幕元素隐向量作为输入，输出表征用户意图的融合向量，即待分析融合向量。可以根据推荐结果的反向梯度对协同联合学习模块进行训练。

需要说明的是，本申请实施例中的协同联合学习模块是训练完成的模型，待分析数据以及训练数据均需要进行协同联合学习，以得到融合向量，不同的是，待分析数据经过协同联合学习后得到的是待分析融合向量，训练数据中训练样本经过协同联合学习后得到的是样本融合向量。

在本申请实施例中，应用推荐结果生成模块，用于根据待分析融合向量和预设的训练数据生成应用推荐结果。

示例性的，从根据用户触控动作和手机屏幕元素信息生成应用推荐结果的整体流程的角度，对上述协同联合学习模块和应用推荐结果生成模块分别进行介绍，如图8所示，图8为本申请实施例提供的一种生成推荐结果的可选的流程图。图8中上半部分为训练数据的流程图，训练数据可以表征用户与手机交互产生的数据，图8中下半部分是待分析数据的流程图。以应用是应用服务为例进行说明。

在本申请实施例中，图8中可以通过协同联合学习将样本屏幕元素隐向量和样本触控动作隐向量进行融合，得到表征用户意图的样本融合向量。训练数据包括样本屏幕元素隐向量、样本触控动作隐向量和样本服务信息，样本融合向量与样本服务信息一一对应。示例性的，如果训练数据中包括n条用户交互数据，即n个训练样本，那么在知识库嵌入和协同联合学习进行之后，会得到n条样本融合向量，图8中以融合向量集合包括n条交互数据的样本融合向量。n条交互数据对应的样本服务信息的数量为n，该n个样本服务信息中会存在相同的应用服务。将应用推荐设备所支持的所有应用服务的集合作为应用服务集，其包括的应用服务总数量为m，该m个应用服务中各个应用服务不相同，m远小于n。

需要说明的是，对于训练数据中每个训练样本的样本触控动作信息和样本屏幕元素信息，通过知识库嵌入方法进行解析和编码，得到屏幕元素隐向量和触控动作隐向量，图8中仅示出了训练数据中每个训练样本的样本屏幕元素隐向量和样本触控动作隐向量。

在本申请实施例中，训练数据中包括n个训练样本，一个训练样本包括一条样本融合向量和其对应的样本服务信息。根据n条样本融合向量和其对应的n个样本服务信息，确定各个应用服务的样本序列行为信息，即，图8中右上角的维度为n×m的序列行为矩阵。图8中的Rij表示第i条样本融合向量对第j个应用服务的偏好概率，也可以理解为第i条交互数据对第j个应用服务的交互得分。交互得分由训练数据中样本融合向量对应的样本服务信息的数量确定，也可以理解为在同一交互数据下，用户对各个应用服务的偏好概率(即选择频率)，偏好概率越高，Rij值越大。

示例性的，假设只存在两种应用服务，即，j＝1或2，第i条交互数据选择了第一种应用服务3次，第二种应用服务1次，则Ri1为3/(1+3)＝0.75，相应的，Ri2为0.25。对融合向量集合中的所有交互数据进行上述计算，可以得到维度为n×m的序列行为矩阵。将序列行为矩阵中的每一行的行向量作为一条操作序列向量，可以得到n条操作序列向量，第i条操作序列向量记为v _i，图8中v _n表示第n条操作序列向量。

在本申请实施例中，对于待分析数据，获取触控动作信息和屏幕元素信息，通过知识库嵌入方法进行解析和编码，得到屏幕元素隐向量和触控动作隐向量对屏幕元素隐向量和触控动作隐向量进行协同联合学习，得到待分析融合向量，记为s。其中，待分析融合向量s与第i条样本融合向量的维度相同。

在本申请实施例中，对于待分析数据，在图8的组合服务模块中，针对m个应用服务中的第k个应用服务，根据用户的历史行为数据生成待分析数据的操作序列向量，记为w _k，由此可生成m个操作序列向量。操作序列向量w _k的维度与上述序列行为矩阵中每一行的行向量的维度一致，也就是与第i条操作序列向量v _i的维度一致，即1×m。在组合服务模块生成待分析数据的操作序列向量时，示例性的，对于m个应用服务中的第k个应用服务，根据用户的历史行为数据计算m个应用服务的偏好概率，将第k个应用服务的偏好概率设置为预设峰值(即预设参数)，并结合剩下的m-1个应用服务偏好概率，确定第k个应用服务的操作序列向量w _k。以此类推，可以得到m个操作序列向量。

在本申请实施例中，推荐结果生成模块使用协同过滤算法可以生成最可能的应用推荐。示例性的，对于m个应用服务中的第k个应用服务，需要计算待分析数据的操作序列向量w _k，与融合向量集合中的每条样本融合向量对应的操作序列向量v _i的相似度得分，n条样本融合向量对应的n个操作序列向量，因此可以得到n个相似度得分。还需要计算待分析融合向量s与融合向量集合中每条样本融合向量(记为t _i)的相似度得分，融合向量集合中包括n条样本融合向量，因此可以得到n个相似度得分。

在本申请实施例中，将上述n个操作序列向量的相似度得分和n个融合向量的相似度得分，对应的相乘后求和，得到第k个应用服务的推荐得分。重复以上步骤，计算待分析数据对应用服务集合中的m个应用服务的推荐得分，可以得到m个应用服务的推荐得分。选取推荐得分最高的应用服务，得到应用推荐结果，实现了结合手机屏幕元素信息和用户触控动作得到应用推荐结果。

本申请实施例提出了一种结合手机屏幕元素信息与用户触控动作的应用推荐方法，综合考虑用户的具体触控动作和用户正在交互的屏幕内容对应的元素信息。通过提取屏幕元素信息与用户触控动作所代表的意图隐向量，并将其应用到基于协同过滤算法的智能应用推荐中，推测用户的强交互需求，再进行相应的应用推荐，能够满足用户即时需求。且结合触控模态信息以及用户界面的屏幕元素信息，采用与用户强相关的双重模态信息向用户进行智能推荐服务，提高了应用推荐结果的准确性。

在本申请实施例中，结合智能交互场景中用户触控动作与相应的屏幕元素信息中蕴含的用户主动强需求，充分考虑了用户的主动意图，相较于相关技术中由用户被动接收智能推荐服务，提供了一种用户意图主动触发的智能推荐服务，提高了推荐结果的准确性。通过识别用户意图，向用户提供个性化、定制化的服务，提高了用户与设备之间的交互效率。

在一些实施例中，上述图2中S204还可以通过以下方式实现。基于满足预设条件的应用，生成服务提示信息；在用户界面上，推荐显示服务提示信息。

在本申请实施例中，基于满足预设条件的应用，生成服务提示信息，服务提示信息可以是不同类型的应用软件列表，在用户界面推荐显示服务提示信息，以供用户进行选择。服务提示信息可以以悬浮窗或按钮形式显示在用户界面中的任意位置，本申请实施例对于服务提示信息的形式和位置不作限制。

示例性的，如图9和图10所示，图9和图10为本申请实施例提供了一种应用推荐结果的示例性的表现形式示意图。图9和图10中的智能服务推荐悬浮窗是服务提示信息的一种表现形式。在图9中，识别到当前用户界面(User Interface，UI)显示用户接收到其他用户(刘总)发送来的某购物应用程序的分享链接，同时检测到用户的交互强意图：用户长按了该分享链接，并点击复制，本申请实施例的应用推荐方法能够准确分析到用户的潜在交互意图：用户想要在该购物应用程序中打开该分享链接。因此，应用推荐设备作出推荐服务，并在手机屏幕下方通过悬浮窗的形式显示应用推荐结果，用户点击智能服务推荐悬浮窗的控件1，即可跳转到对应购物应用软件A中打开链接。

示例性的，在图10中，应用推荐设备识别到当前用户界面接收到一个来自王哥的社交会话提供的某视频网站的截图分享，同时检测到用户的交互强意图：用户长按了该链接并点击了查看原图。本申请实施例的应用推荐方法能够识别到用户的潜在意图：在该视频应用中打开该视频。因此，应用推荐设备做出推荐服务，并在手机屏幕下方通过悬浮窗的形式显示应用推荐结果，用户点击智能服务推荐悬浮窗的控件2，即可跳转到该视频应用的对应视频界面，查看视频。

在申请实施例中，还基于满足预设条件的应用，生成服务提示信息；在用户界面上，推荐显示服务提示信息，实现了快速有效的转发用户在用户界面中选中的数据。

本申请实施例还提供一种应用推荐方法，如图11所示，图11为本申请实施例提供的又一种应用推荐方法的可选的步骤流程图，应用推荐方法包括以下步骤：

S1101、获取针对用户界面的触控操作信息，以及获取用户界面对应的屏幕元素信息。

S1102、基于屏幕元素信息和触控操作信息进行联合学习，并与预设的样本融合信息和预设的各个应用的样本序列行为信息进行关联处理，获取屏幕元素信息与多个应用的关联度。

S1103、对关联度满足预设条件的应用进行推荐显示。

在本申请实施例中，上述多个应用可以为同一类型应用，也可以为不同类型的应用，对此本申请实施例不作限制。

在一些实施例中，上述S1102还可以包括以下步骤：对屏幕元素信息进行编码，得到屏幕元素隐信息；对触控操作信息进行编码，得到触控动作隐信息；对屏幕元素隐信息和触控动作隐信息进行协同联合学习，得到待分析融合信息；获取基于历史行为数据，确定的各个应用的历史序列行为信息；基于各个应用的历史序列行为信息、样本序列行为信息进行相似度处理，以及基于待分析融合信息和各个训练样本的样本融合信息进行相似度处理，得到各个应用的相似度。

在一些实施例中，上述在基于各个应用的历史序列行为信息、样本序列行为信息进行相似度处理，以及基于待分析融合信息和各个训练样本的样本融合信息进行相似度处理，得到各个应用的相似度时，可以通过以下方式实现。基于各个应用的历史序列行为信息和样本序列行为信息进行相似度处理，确定各个应用针对各个训练样本的第一相似度信息；将待分析融合信息与各个训练样本的样本融合信息进行相似度处理，得到与各个训练样本对应的第二相似度信息；基于各个应用针对各个训练样本的第一相似度信息，以及各个训练样本对应的第二相似度信息，得到各个应用的相似度。

为实现本申请实施例的应用推荐方法，本申请实施例还提供一种应用推荐装置，如图12所示，图12为本申请实施例提供的一种应用推荐装置的结构示意图，该应用推荐装置120包括：第一获取部分1201，被配置为获取作用于用户界面的触控操作信息；以及基于触控操作信息，获取用户界面对应的屏幕元素信息；第一关联部分1202，被配置为基于触控操作信息和屏幕元素信息，获取屏幕元素信息与多个应用的关联度，多个应用为同一类型应用；第一显示部分1203，被配置为对关联度满足预设条件的应用进行推荐显示。

在一些实施例中，触控操作信息包括：触摸操作和操作内容；

第一获取部分1201，还被配置为获取作用于用户界面的触摸操作；显示与触摸操作对应的操作内容。

在一些实施例中，触控操作信息包括：触摸操作和操作内容，第一获取部分1201，还被配置为获取作用于用户界面的触摸操作；基于触摸操作，获取用户界面对应的屏幕元素信息；基于触摸操作和屏幕元素信息，显示对应的操作内容。

在一些实施例中，第一关联部分1202，还被配置为响应于对操作内容的选择，获得用户界面对应的屏幕元素信息与多个应用的关联度。

第一获取部分1201，还被配置为在针对用户界面的选择操作的作用下，显示被选中的内容对应的操作内容；在预设时间范围内，获取针对操作内容的触摸操作；触摸操作包括选择操作。

在一些实施例中，第一关联部分1202，还被配置为基于屏幕元素信息和触控操作信息，在各个应用上与预设的样本融合信息和预设的各个应用的样本序列行为信息进行关联，从而得到屏幕元素信息与多个应用的各个应用的关联度。

在一些实施例中，第一关联部分1202包括第一屏幕元素隐信息编码部分、第一触控动作隐信息编码部分和第一关联度处理部分；

第一屏幕元素隐信息编码部分，被配置为对屏幕元素信息进行编码，得到屏幕元素隐信息；

第一触控动作隐信息编码部分，被配置为对触控操作信息进行编码，得到触控动作隐信息；

第一关联度处理部分，被配置为基于屏幕元素隐信息、触控动作隐信息、样本融合信息和各个应用的样本序列行为信息进行各个应用的关联，得到各个应用的关联度。

在一些实施例中，屏幕元素信息包括：用户界面对应的结构型知识；

第一屏幕元素隐信息编码部分，还被配置为对结构型知识进行编码，得到屏幕元素隐信息。

在一些实施例中，屏幕元素信息包括：用户界面对应的结构型知识、文本型知识、视觉型知识和用户界面相关的当前应用服务集合；当前应用服务集合是通过对用户界面进行服务解析确定的；

第一屏幕元素隐信息编码部分，还被配置为对结构型知识、文本型知识和视觉型知识分别进行编码，得到结构信息、文本信息和视觉信息；对当前应用服务集合进行编码，得到服务偏置信息；对文本信息、视觉信息和服务偏置信息中的至少一种，以及结构信息进行拼接，得到屏幕元素隐信息。

在一些实施例中，结构型知识包括：控件类型、控件功能和控件结构分布的至少一种；文本型知识包括：字符识别信息和特殊符号识别信息中的至少一种，以及文本原始信息；视觉型知识包括：图像内容识别信息和图像来源信息中的至少一种，以及原始图像信息。

在一些实施例中，第一屏幕元素隐信息编码部分，还被配置为对结构型知识进行向量化编码，得到结构信息；对字符识别信息和特殊符号识别信息中的至少一种进行向量化编码，得到文本内容理解编码信息；以及对文本原始信息进行堆叠自编码，得到文本高维信息；将文本高维信息和文本内容理解编码信息进行拼接，得到文本信息；对图像内容识别信息和图像来源信息中的至少一种进行信息化编码，得到图像内容理解编码信息；以及对原始图像信息进行堆叠自编码，得到图像高维信息；将图像高维信息和图像内容理解编码信息进行拼接，得到视觉信息。

在一些实施例中，触控操作信息包括：操作内容和触摸操作；

第一触控动作隐信息编码部分，还被配置为对触摸操作和操作内容分别进行编码，得到触摸操作信息和操作内容信息；对触摸操作信息和操作内容信息进行拼接，得到触控动作隐信息。

在一些实施例中，第一获取部分1201，还被配置为对用户界面或待识别区域进行控件信息识别，得到结构型知识；对用户界面或待识别区域进行文字内容识别，得到文本型知识；对用户界面或待识别区域进行图像内容识别，得到视觉型知识；对用户界面进行服务解析，确定当前应用服务集合；文本型知识、视觉型知识和当前应用服务集合中的至少一种，以及结构型知识作为屏幕元素信息。

在一些实施例中，第一获取部分1201，还被配置为通过无障碍服务接口，获取用户界面或待识别区域对应的控件树的结构信息；对控件树的结构信息进行控件信息识别，得到结构型知识。

在一些实施例中，第一关联部分1202还包括第一协同联合学习部分(对应于上述协同联合学习模块)；

第一协同联合学习部分，被配置为对屏幕元素隐信息和触控动作隐信息进行协同联合学习，得到待分析融合信息；

第一获取部分1201，还被配置为获取基于历史行为数据，确定的各个应用的历史序列行为信息；

第一关联度处理部分，还被配置为基于各个应用的历史序列行为信息、样本序列行为信息进行相似度处理，以及基于待分析融合信息和各个训练样本的样本融合信息进行相似度处理，得到各个应用的相似度。

在一些实施例中，第一关联度处理部分，还被配置为基于历史行为数据，确定多个应用的历史行为参数；针对每个应用，将该应用对应的历史行为参数，设置为预设参数，结合多个应用中除去该应用之外的历史行为参数，得到该应用的历史序列行为信息。

在一些实施例中，第一关联度处理部分，还被配置为基于各个应用的历史序列行为信息和样本序列行为信息进行相似度处理，确定各个应用针对各个训练样本的第一相似度信息；将待分析融合信息与各个训练样本的样本融合信息进行相似度处理，得到与各个训练样本对应的第二相似度信息；基于各个应用针对各个训练样本的第一相似度信息，以及各个训练样本对应的第二相似度信息，得到各个应用的相似度。

在一些实施例中，第一关联度处理部分，还被配置为基于各个应用针对各个训练样本的第一相似度信息，以及各个训练样本对应的第二相似度信息，得到各个应用针对各个训练样本的第三相似度；针对各个应用，将各个训练样本的第三相似度求和，得到各个应用的相似度。

在一些实施例中，应用推荐装置120还包括训练部分，训练部分，被配置为根据预设的训练数据，确定各个训练样本对应的样本屏幕元素隐信息、样本触控动作隐信息和样本服务信息；对样本屏幕元素隐信息和样本触控动作隐信息进行协同联合学习，得到各个训练样本的预设的样本融合信息；根据各个训练样本的样本服务信息，确定预设的各个应用的样本序列行为信息。

在一些实施例中，第一显示部分1203，还被配置为在用户界面，推荐显示各个应用的相似度最高的应用；或者，在用户界面，推荐显示各个应用的相似度最高的预设数量的应用。

在一些实施例中，应用包括：应用类型，和/或，应用服务。

在一些实施例中，第一显示部分1203，还被配置为基于满足预设条件的应用，生成服务提示信息；在用户界面上，推荐显示服务提示信息。

在一些实施例中，第一获取部分1201，还被配置为在满足触控操作信息表征其操作内容满足预设触发推荐条件的情况下，获取用户界面对应的全界面的屏幕元素信息；预设触发推荐条件表征预期的操作意图。

在一些实施例中，第一获取部分1201，还被配置为在触控操作信息作用的触控位置，确定当前待识别区域；对当前待识别区域进行识别，确定屏幕元素信息。

在一些实施例中，应用推荐装置120包括识别部分，识别部分，被配置为在满足当前待识别区域中未识别出屏幕元素信息的情况下，确定下一个待识别区域，在下一个待识别区域进行识别，直至得到存在屏幕元素信息或者识别完全界面时为止；下一个待识别区域大于当前待识别区域。

为实现本申请实施例的应用推荐方法，本申请实施例还提供另一种应用推荐装置，如图13所示，图13为本申请实施例提供的一种应用推荐装置的结构示意图，该应用推荐装置130包括：第二获取部分1301，被配置为获取针对用户界面的触控操作信息，以及获取用户界面对应的屏幕元素信息；第二关联部分1302，被配置为基于屏幕元素信息和触控操作信息进行联合学习，并与预设的样本融合信息和预设的各个应用的样本序列行为信息进行关联处理，获取屏幕元素信息与多个应用的关联度；第二显示部分1303，被配置为对关联度满足预设条件的应用进行推荐显示。

在一些实施例中，第二关联部分1302包括第二屏幕元素隐信息编码部分、第二触控动作隐信息编码部分、第二协同联合学习部分(对应于上述协同联合学习模块)和第二关联度处理部分；

第二屏幕元素隐信息编码部分，被配置为对屏幕元素信息进行编码，得到屏幕元素隐信息；

第二触控动作隐信息编码部分，被配置为对触控操作信息进行编码，得到触控动作隐信息；

第二协同联合学习部分，被配置为对屏幕元素隐信息和触控动作隐信息进行协同联合学习，得到待分析融合信息；

第二获取部分1301，还被配置为获取基于历史行为数据，确定的各个应用的历史序列行为信息；

第二关联度处理部分，被配置为基于各个应用的历史序列行为信息、样本序列行为信息进行相似度处理，以及基于待分析融合信息和各个训练样本的样本融合信息进行相似度处理，得到各个应用的相似度。

在一些实施例中，第二关联度处理部分，被配置为基于各个应用的历史序列行为信息和样本序列行为信息进行相似度处理，确定各个应用针对各个训练样本的第一相似度信息；将待分析融合信息与各个训练样本的样本融合信息进行相似度处理，得到与各个训练样本对应的第二相似度信息；基于各个应用针对各个训练样本的第一相似度信息，以及各个训练样本对应的第二相似度信息，得到各个应用的相似度。

需要说明的是，上述实施例提供的应用推荐装置在进行应用推荐时，仅以上述各程序部分的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序部分完成，即将装置的内部结构划分成不同的程序部分，以完成以上描述的全部或者部分处理。另外，上述实施例提供的应用推荐装置与应用推荐方法实施例属于同一构思，其具体实现过程及有益效果详见方法实施例，这里不再赘述。对于本装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

在本申请实施例中，图14为本申请实施例提出的应用推荐设备组成结构示意图，如图14所示，本申请实施例提出的应用推荐设备140还可以包括处理器1401和存储器1402，存储器1402存储有可在处理器1401上运行的计算机程序，在一些实施例中，应用推荐设备140还可以包括通信接口1403和总线1404，总线1404被配置为连接处理器1401、存储器1402以及通信接口1403。

在本申请实施例中，总线1404，被配置为连接通信接口1403、处理器1401以及存储器1402以及这些器件之间的相互通信。

在本申请实施例中，上述处理器1401，被配置为获取作用于用户界面的触控操作信息；基于触控操作信息，获取用户界面对应的屏幕元素信息；基于触控操作信息和屏幕元素信息，获取屏幕元素信息与多个应用的关联度，多个应用为同一类型应用；对关联度满足预设条件的应用进行推荐显示。

在本申请实施例中，上述处理器1401，还被配置为获取针对用户界面的触控操作信息，以及获取用户界面对应的屏幕元素信息；基于屏幕元素信息和触控操作信息进行联合学习，并与预设的样本融合信息和预设的各个应用的样本序列行为信息进行关联处理，获取屏幕元素信息与多个应用的关联度，多个应用为同一类型应用；对关联度满足预设条件的应用进行推荐显示。

在本申请实施例中，上述处理器1401可以为特定用途集成电路(Application Specific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(ProgRAMmable Logic Device，PLD)、现场可编程门阵列(Field ProgRAMmable Gate Array，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。

应用推荐设备140中存储器1402可以与处理器1401连接，存储器1402被配置为存储可执行程序代码和数据，该程序代码包括计算机操作指令。存储器1402均可能包括高速RAM存储器，也可能还包括非易失性存储器，例如，至少两个磁盘存储器。在实际应用中，上述存储器1402均可以是易失性存储器(volatile memory)，例如随机存取存储器(Random-Access Memory，RAM)；或者非易失性存储器(non-volatile memory)，例如只读存储器(Read-Only Memory，ROM)，快闪存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合，并向处理器1401提供指令和数据。

另外，在本实施例中的各功能部分可以集成在一个处理部分中，也可以是各个部分单独物理存在，也可以两个或两个以上部分集成在一个部分中。上述集成的部分既可以采用硬件的形式实现，也可以采用软件功能部分的形式实现。

集成的部分如果以软件功能部分的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请实施例提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如上任一实施例的应用推荐方法。示例性的，本实施例中的一种应用推荐方法对应的程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与一种应用推荐方法对应的程序指令被一电子设备读取或被执行时，可以实现如上述任一实施例的应用推荐方法。

本领域内的技术人员应明白，本申请实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包括有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的实现流程示意图和/或方框图来描述的。应理解可由计算机程序指令实现流程示意图和/或方框图中的每一流程和/或方框、以及实现流程示意图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。以上，为本申请的较佳实施例而已，并非用于限定本申请的保护范围。

工业实用性

本申请实施例公开了一种应用推荐方法、装置、设备及计算机可读存储介质。该方法包括：获取作用于用户界面的触控操作信息；基于触控操作信息，获取用户界面对应的屏幕元素信息；屏幕元素信息和触控操作信息均是与用户当前操作相关的交互数据，能够满足用户的即时服务需求。基于触控操作信息和屏幕元素信息，获取屏幕元素信息与多个应用的关联度，多个应用为同一类型应用；对关联度满足预设条件的应用进行推荐显示。本申请实施例通过结合屏幕元素信息和触控操作信息的双重模态信息，从两个维度对用户界面的交互数据进行考虑，然后结合与多个应用的关联度，提高了应用推荐结果的准确性。

Claims

一种应用推荐方法，所述方法包括：

获取作用于用户界面的触控操作信息；

基于所述触控操作信息，获取所述用户界面对应的屏幕元素信息；

基于所述触控操作信息和所述屏幕元素信息，获取所述屏幕元素信息与多个应用的关联度，所述多个应用为同一类型应用；

对所述关联度满足预设条件的应用进行推荐显示。
根据权利要求1所述的方法，其中，所述触控操作信息包括：触摸操作和操作内容；所述获取作用于用户界面的触控操作信息，包括：

获取作用于用户界面的所述触摸操作；

显示与所述触摸操作对应的所述操作内容。
根据权利要求1所述的方法，其中，所述触控操作信息包括：触摸操作和操作内容；所述获取作用于用户界面的触控操作信息，包括：

获取作用于用户界面的所述触摸操作；

基于所述触摸操作，获取所述用户界面对应的所述屏幕元素信息；

基于所述触摸操作和所述屏幕元素信息，显示对应的所述操作内容。
根据权利要求2或3所述的方法，其中，所述基于所述触控操作信息和所述屏幕元素信息，获取所述屏幕元素信息与多个应用的关联度，包括：

响应于对所述操作内容的选择，获得所述用户界面对应的所述屏幕元素信息与所述多个应用的关联度。
根据权利要求1所述的方法，其中，所述触控操作信息包括：触摸操作和操作内容；所述获取作用于用户界面的触控操作信息，包括：

在针对所述用户界面的选择操作的作用下，显示被选中的内容对应的所述操作内容；

在预设时间范围内，获取针对所述操作内容的所述触摸操作；所述触摸操作包括所述选择操作。
根据权利要求1至5任一项所述的方法，其中，所述基于所述触控操作信息和所述屏幕元素信息，获取所述屏幕元素信息与多个应用的关联度，包括：

基于所述屏幕元素信息和所述触控操作信息，在各个应用上与预设的样本融合信息和预设的各个应用的样本序列行为信息进行关联，从而得到所述屏幕元素信息与所述多个应用的各个应用的所述关联度。
根据权利要求6所述的方法，其中，所述基于所述屏幕元素信息和所述触控操作信息，在各个应用上与预设的样本融合信息、预设的各个应用的样本序列行为信息进行关联，从而得到所述屏幕元素信息与所述多个应用的各个应用的关联度，包括：

对所述屏幕元素信息进行编码，得到屏幕元素隐信息；

对所述触控操作信息进行编码，得到触控动作隐信息；

基于所述屏幕元素隐信息、所述触控动作隐信息、所述样本融合信息和各个应用的所述样本序列行为信息进行各个应用的关联，得到所述各个应用的关联度。
根据权利要求7所述的方法，其中，所述屏幕元素信息包括：用户界面对应的结构型知识；

所述对所述屏幕元素信息进行编码，得到屏幕元素隐信息，包括：

对所述结构型知识进行编码，得到所述屏幕元素隐信息。
根据权利要求7所述的方法，其中，所述屏幕元素信息包括：用户界面对应的结构型知识、文本型知识、视觉型知识和用户界面相关的当前应用服务集合；所述当前应用服务集合是通过对所述用户界面进行服务解析确定的；

所述对所述屏幕元素信息进行编码，得到屏幕元素隐信息，包括：

对所述结构型知识、所述文本型知识和所述视觉型知识分别进行编码，得到结构信息、文本信息和视觉信息；

对所述当前应用服务集合进行编码，得到服务偏置信息；

对所述文本信息、所述视觉信息和所述服务偏置信息中的至少一种，以及所述结构信息进行拼接，得到所述屏幕元素隐信息。
根据权利要求9所述的方法，其中，

所述结构型知识包括：控件类型、控件功能和控件结构分布的至少一种；

所述文本型知识包括：字符识别信息和特殊符号识别信息中的至少一种，以及文本原始信息；

所述视觉型知识包括：图像内容识别信息和图像来源信息中的至少一种，以及原始图像信息。
根据权利要求9或10所述的方法，其中，所述对所述结构型知识、所述文本型知识和所述视觉型知识分别进行编码，得到结构信息、文本信息和视觉信息，包括：

对所述结构型知识进行向量化编码，得到所述结构信息；

对字符识别信息和特殊符号识别信息中的至少一种进行向量化编码，得到文本内容理解编码信息；以及对文本原始信息进行堆叠自编码，得到文本高维信息；

将所述文本高维信息和所述文本内容理解编码信息进行拼接，得到所述文本信息；

对图像内容识别信息和图像来源信息中的至少一种进行信息化编码，得到图像内容理解编码信息；以及对原始图像信息进行堆叠自编码，得到图像高维信息；

将所述图像高维信息和所述图像内容理解编码信息进行拼接，得到所述视觉信息。
根据权利要求7所述的方法，其中，所述触控操作信息包括：操作内容和触摸操作；

所述对所述触控操作信息进行编码，得到触控动作隐信息，包括：

对所述触摸操作和所述操作内容分别进行编码，得到触摸操作信息和操作内容信息；

对所述触摸操作信息和所述操作内容信息进行拼接，得到所述触控动作隐信息。
根据权利要求1至12任一项所述的方法，其中，所述获取所述用户界面对应的屏幕元素信息，包括：

对所述用户界面或待识别区域进行控件信息识别，得到结构型知识；

对所述用户界面或待识别区域进行文字内容识别，得到文本型知识；

对所述用户界面或待识别区域进行图像内容识别，得到视觉型知识；

对所述用户界面进行服务解析，确定当前应用服务集合；

所述文本型知识、所述视觉型知识和所述当前应用服务集合中的至少一种，以及所述结构型知识作为所述屏幕元素信息。
根据权利要求13所述的方法，其中，所述对所述用户界面或待识别区域进行控件信息识别，得到结构型知识，包括：

通过无障碍服务接口，获取所述用户界面或所述待识别区域对应的控件树的结构信息；

对所述控件树的结构信息进行控件信息识别，得到所述结构型知识。
根据权利要求7所述的方法，其中，所述基于所述屏幕元素隐信息、所述触控动作隐信息、所述样本融合信息和各个应用的所述样本序列行为信息进行各个应用的关联，得到所述各个应用的关联度，包括：

对所述屏幕元素隐信息和所述触控动作隐信息进行协同联合学习，得到待分析融合信息；

获取基于历史行为数据，确定的各个应用的历史序列行为信息；

基于各个应用的所述历史序列行为信息、所述样本序列行为信息进行相似度处理，以及基于所述待分析融合信息和各个训练样本的样本融合信息进行相似度处理，得到所述各个应用的相似度。
根据权利要求15所述的方法，其中，所述获取基于历史行为数据，确定的各个应用的历史序列行为信息，包括：

基于所述历史行为数据，确定多个应用的历史行为参数；

针对每个应用，将该应用对应的历史行为参数，设置为预设参数，结合所述多个应用中除去该应用之外的历史行为参数，得到该应用的历史序列行为信息。
根据权利要求15所述的方法，其中，所述基于各个应用的所述历史序列行为信息、所述样本序列行为信息进行相似度处理，以及基于所述待分析融合信息和各个训练样本的样本融合信息进行相似度处理，得到所述各个应用的相似度，包括：

基于各个应用的所述历史序列行为信息和所述样本序列行为信息进行相似度处理，确定各个应用针对各个训练样本的第一相似度信息；

将所述待分析融合信息与所述各个训练样本的样本融合信息进行相似度处理，得到与所述各个训练样本对应的第二相似度信息；

基于各个应用针对各个训练样本的第一相似度信息，以及所述各个训练样本对应的第二相似度信息，得到所述各个应用的相似度。
根据权利要求17所述的方法，其中，所述基于各个应用针对各个训练样本的第一相似度信息，以及所述各个训练样本对应的第二相似度信息，得到所述各个应用的相似度，包括：

基于各个应用针对各个训练样本的第一相似度信息，以及所述各个训练样本对应的第二相似度信息，得到各个应用针对各个训练样本的第三相似度；

针对各个应用，将各个训练样本的第三相似度求和，得到所述各个应用的相似度。
根据权利要求6所述的方法，其中，所述基于所述屏幕元素信息和所述触控操作信息，在各个应用上与预设的样本融合信息和预设的各个应用的样本序列行为信息进行关联，从而得到所述屏幕元素信息与所述多个应用的各个应用的所述关联度之前，所述方法还包括：

根据预设的训练数据，确定各个训练样本对应的样本屏幕元素隐信息、样本触控动作隐信息和样本服务信息；

对所述样本屏幕元素隐信息和所述样本触控动作隐信息进行协同联合学习，得到所述各个训练样本的预设的所述样本融合信息；

根据各个训练样本的所述样本服务信息，确定预设的各个应用的所述样本序列行为信息。
根据权利要求1至19任一项所述的方法，其中，所述对所述关联度满足预设条件的应用进行推荐显示，包括：

在所述用户界面，推荐显示所述各个应用的相似度最高的应用；

或者，

在所述用户界面，推荐显示所述各个应用的相似度最高的预设数量的应用。
根据权利要求1至19任一项所述的方法，其中，

应用包括：应用类型，和/或，应用服务。
根据权利要求1至19任一项所述的方法，其中，所述对所述关联度满足预设条件的应用进行推荐显示，包括：

基于所述满足预设条件的应用，生成服务提示信息；

在所述用户界面上，推荐显示所述服务提示信息。
根据权利要求1至19任一项所述的方法，其中，所述基于所述触控操作信息，获取所述用户界面对应的屏幕元素信息，包括：

在满足所述触控操作信息表征其操作内容满足预设触发推荐条件的情况下，获取所述用户界面对应的全界面的屏幕元素信息；所述预设触发推荐条件表征预期的操作意图。
根据权利要求1至19任一项所述的方法，其中，所述基于所述触控操作信息，获取所述用户界面对应的屏幕元素信息，包括：

在所述触控操作信息作用的触控位置，确定当前待识别区域；

对所述当前待识别区域进行识别，确定所述屏幕元素信息。
根据权利要求24所述的方法，其中，所述在所述触控操作信息作用的触控位置，确定当前待识别区域之后，所述方法还包括：

在满足所述当前待识别区域中未识别出屏幕元素信息的情况下，确定下一个待识别区域，在所述下一个待识别区域进行识别，直至得到存在所述屏幕元素信息或者识别完全界面时为止；所述下一个待识别区域大于所述当前待识别区域。
一种应用推荐方法，所述方法包括：

获取针对用户界面的触控操作信息，以及获取所述用户界面对应的屏幕元素信息；

基于所述屏幕元素信息和所述触控操作信息进行联合学习，并与预设的样本融合信息和预设的各个应用的样本序列行为信息进行关联处理，获取所述屏幕元素信息与多个应用的关联度；

对所述关联度满足预设条件的应用进行推荐显示。
根据权利要求26所述的方法，其中，所述基于所述屏幕元素信息和所述触控操作信息进行联合学习，并与预设的样本融合信息和预设的各个应用的样本序列行为信息进行关联处理，获取所述屏幕元素信息与多个应用的关联度，包括：

对所述屏幕元素信息进行编码，得到屏幕元素隐信息；

对所述触控操作信息进行编码，得到触控动作隐信息；

对所述屏幕元素隐信息和所述触控动作隐信息进行协同联合学习，得到待分析融合信息；

获取基于历史行为数据，确定的各个应用的历史序列行为信息；

基于各个应用的所述历史序列行为信息、所述样本序列行为信息进行相似度处理，以及基于所述待分析融合信息和各个训练样本的样本融合信息进行相似度处理，得到所述各个应用的相似度。
根据权利要求27所述的方法，其中，所述基于各个应用的所述历史序列行为信息、所述样本序列行为信息进行相似度处理，以及基于所述待分析融合信息和各个训练样本的样本融合信息进行相似度处理，得到所述各个应用的相似度，包括：

基于各个应用的所述历史序列行为信息和所述样本序列行为信息进行相似度处理，确定各个应用针对各个训练样本的第一相似度信息；

将所述待分析融合信息与所述各个训练样本的样本融合信息进行相似度处理，得到与所述各个训练样本对应的第二相似度信息；

基于各个应用针对各个训练样本的第一相似度信息，以及所述各个训练样本对应的第二相似度信息，得到所述各个应用的相似度。
一种应用推荐装置，所述装置包括：

第一获取部分，被配置为获取作用于用户界面的触控操作信息；以及基于所述触控操作信息，获取所述用户界面对应的屏幕元素信息；

第一关联部分，被配置为基于所述触控操作信息和所述屏幕元素信息，获取所述屏幕元素信息与多个应用的关联度，所述多个应用为同一类型应用；

第一显示部分，被配置为对所述关联度满足预设条件的应用进行推荐显示。
一种应用推荐装置，所述装置包括：

第二获取部分，被配置为获取针对用户界面的触控操作信息，以及获取所述用户界面对应的屏幕元素信息；

第二关联部分，被配置为基于所述屏幕元素信息和所述触控操作信息进行联合学习，并与预设的样本融合信息和预设的各个应用的样本序列行为信息进行关联处理，获取所述屏幕元素信息与多个应用的关联度；

第二显示部分，被配置为对所述关联度满足预设条件的应用进行推荐显示。
一种应用推荐设备，所述应用推荐设备包括存储器和处理器；

所述存储器存储有可在所述处理器上运行的计算机程序；

所述处理器执行所述计算机程序时实现权利要求1至25任一项所述的方法，或者权利要求26至28任一项所述的方法。
一种计算机可读存储介质，其上存储有可执行指令，被配置为被处理器执行时，实现权利要求1至25任一项所述的方法，或者权利要求26至28任一项所述的方法。