WO2025107888A1

WO2025107888A1 - 应用调试的方法、信息查询的方法、应用评测的方法

Info

Publication number: WO2025107888A1
Application number: PCT/CN2024/122387
Authority: WO
Inventors: 黄巍; 姚璨; 黄树炫; 马进; 蒋世豪; 孟德森
Original assignee: Beijing Zitiao Network Technology Co Ltd
Current assignee: Beijing Zitiao Network Technology Co Ltd
Priority date: 2023-11-22
Filing date: 2024-09-29
Publication date: 2025-05-30
Anticipated expiration: 2026-05-22
Also published as: CN119003326A; JP2026512314A; CN119003326B

Abstract

本公开的实施例提供了应用调试的方法、信息查询的方法、应用评测的方法、装置、设备和存储介质。应用调试的方法包括：执行针对目标应用的测试查询；呈现执行测试查询的多个阶段的相应第一运行信息，多个阶段的运行信息至少指示多个阶段各自的输出；以及基于测试查询的多个阶段的相应第一运行信息，生成针对目标应用的运行参考用例，运行参考用例包括测试查询和多个阶段的运行信息，运行参考用例在目标应用的运行中被参考用于确定用户查询的结果。以此方式，应用创建用户无需修改代码就可以提升目标应用提供服务的质量，简化了目标应用的调试过程。

Description

应用调试的方法、信息查询的方法、应用评测的方法

本申请要求2023年11月22日递交的、标题为“应用调试的方法、信息查询的方法、应用评测的方法”、申请号为202311570383.1的中国发明专利申请的优先权，该申请的全部内容通过引用结合在本申请中。

技术领域

本公开的示例实施例总体涉及计算机领域，特别地涉及用于应用调试的方法、信息查询的方法、应用评测的方法、装置、设备和计算机可读存储介质。

背景技术

随着信息技术的发展，各种终端设备可以在工作和生活等方面向人们提供各种服务。终端设备中可以部署有提供服务的应用。终端设备通过应用的用户界面呈现相应的内容并实现与用户之间的交互，满足用户的各类需求。在一些情况下，用户可能在应用内发起查询请求。因此，如何提高向用户提供的查询服务的质量是所关注的问题。

发明内容

在本公开的第一方面，提供了一种应用调试的方法。该方法包括：执行针对目标应用的测试查询；呈现执行测试查询的多个阶段的相应第一运行信息，多个阶段的运行信息至少指示多个阶段各自的输出；以及基于测试查询的多个阶段的相应第一运行信息，生成针对目标应用的运行参考用例，运行参考用例包括测试查询和多个阶段的运行信息，运行参考用例在目标应用的运行中被参考用于确定用户查询的结果。

在本公开的第二方面，提供了一种信息查询的方法。该方法包括：响应于接收到针对目标应用的用户查询，基于用户查询与测试查询之间的相似度超过阈值相似度，将包括测试查询的运行参考用例确定为用户查询的目标运行参考用例，其中运行参考用例包括测试查询和测试查询的多个阶段的相应运行信息；以及基于目标运行参考用例来执行所述用户查询。

在本公开的第三方面，提供了一种应用评测的方法。该方法包括：生成用于所述目标应用的评测参考用例，所述评测参考用例包括评测查询、所述目标应用针对所述评测查询而生成的第一结果和对所述第一结果的评测反馈；基于所述评测查询与评测样本集中的查询之间的相似度，从所述评测样本集中选择目标评测样本，所述目标评测样本包括样本查询和由所述目标应用针对所述样本查询生成的第二结果；以及基于所述第一结果、所述评测反馈和所述第二结果，生成针对所述目标应用的评测结果。

在本公开的第四方面，提供了一种用于应用调试的装置。该装置包括：测试查询执行模块，被配置为执行针对目标应用的测试查询；第一运行信息呈现模块，被配置为呈现执行测试查询的多个阶段的相应第一运行信息，多个阶段的运行信息至少指示多个阶段各自的输出；以及运行参考用例生成模块，被配置为基于测试查询的多个阶段的相应第一运行信息，生成针对目标应用的运行参考用例，运行参考用例包括测试查询和多个阶段的运行信息，运行参考用例在目标应用的运行中被参考用于确定用户查询的结果。

在本公开的第五方面，提供了一种用于信息查询的装置。该装置包括：运行参考用例确定模块，被配置为响应于接收到针对目标应用的用户查询，基于所述用户查询与测试查询之间的相似度超过阈值相似度，将包括所述测试查询的运行参考用例确定为所述用户查询的目标运行参考用例，其中所述运行参考用例包括所述测试查询和所述测试查询的多个阶段的相应运行信息；以及用户查询执行模块，被配置为基于所述目标运行参考用例来执行所述用户查询。

在本公开的第六方面，提供了一种用于应用评测的装置。该装置包括：评测参考用例生成模块，被配置为生成用于所述目标应用的评测参考用例，所述评测参考用例包括评测查询、所述目标应用针对所述评测查询而生成的第一结果和对所述第一结果的评测反馈；目标评测样本选择模块，被配置为基于所述评测查询与评测样本集中的查询之间的相似度，从所述评测样本集中选择目标评测样本，所述目标评测样本包括样本查询和由所述目标应用针对所述样本查询生成的第二结果；以及评测结果生成模块，被配置为基于所述第一结果、所述评测反馈和所述第二结果，生成针对所述目标应用的评测结果。

在本公开的第七方面，提供了一种电子设备。该设备包括至少一个处理单元；以及至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。指令在由至少一个处理单元执行时使电子设备执行第一方面和第二方面的方法。

在本公开的第八方面，提供了一种计算机可读存储介质。介质上存储有计算机程序，计算机程序被处理器执行时实现第一方面和第二方面的方法。

应当理解，该部分中所描述的内容并非旨在限定本公开的实施例的关键特征或重要特征，也不用于限制本公开的范围。本公开的其他特征将通过以下的描述而变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示出了能够在其中实现本公开的实施例的示例环境的示意图；

图2示出了根据本公开的一些实施例的目标应用中各个功能的调试入口的页面的示例；

图3示出了根据本公开的一些实施例的针对目标应用中特定功能的测试查询记录的页面的示例；

图4示出了根据本公开的一些实施例的对目标应用进行调试的页面的示例；

图5示出了根据本公开的一些实施例的展示数据信息的页面的示例；

图6A示出了根据本公开的一些实施例的针对目标应用中特定功能的用例库的页面的示例；

图6B示出了根据本公开的一些实施例的用例详情的页面的示例；

图7A示出了根据本公开的一些实施例的应用调试的过程的流程图；

图7B示出了根据本公开的一些实施例的信息查询的过程的流程图；

图7C示出了根据本公开的一些实施例的应用评测的过程的流程图；

图8A示出了根据本公开的一些实施例的用于应用调试的装置的示意性结构框图；

图8B示出了根据本公开的一些实施例的用于信息查询的装置的示意性结构框图；

图8C示出了根据本公开的一些实施例的用于应用评测的装置的示意性结构框图；以及

图9示出了可以实现本公开的一个或多个实施例的电子设备的框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中示出了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“一些实施例”应当理解为“至少一些实施例”。下文还可能包括其他明确的和隐含的定义。

在本文中，除非明确说明，“响应于A”执行一个步骤并不意味着在“A”之后立即执行该步骤，而是可以包括一个或多个中间步骤。

可以理解的是，本技术方案所涉及的数据(包括但不限于数据本身、数据的获得、使用、存储或删除)应当遵循相应法律法规及相关规定的要求。

可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当根据相关法律法规通过适当的方式对本公开所涉及信息的类型、使用范围、使用场景等告知相关用户并获得相关用户的授权，其中，相关用户可以包括任何类型的权利主体，例如个人、企业、团体。

例如，在响应于接收到用户的主动请求时，向相关用户发送提示信息，以明确地提示相关用户，其请求执行的操作将需要获得和使用到相关用户的信息，从而使得相关用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供信息。

作为一种可选的但非限制性的实现方式，响应于接收到相关用户的主动请求，向相关用户发送提示信息的方式，例如可以是弹窗的方式，弹窗中可以以文字的方式呈现提示信息。此外，弹窗中还可以承载供用户选择“同意”或“不同意”向电子设备提供信息的选择控件。

可以理解的是，上述通知和获得用户授权过程仅是示意性的，不对本公开的实现方式构成限定，其他满足相关法律法规的方式也可应用于本公开的实现方式中。

可以理解的是，本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相应法律法规及相关规定的要求。本公开实施例数字助手相关功能的启用、获取的数据、数据的处理和存储方式等，均应获得所述用户、以及与所述用户关联的其他权利主体的提前授权，并应符合相关法律法规、权利主体间协议规则的约定。

如本文中所使用的，术语“模型”可以从训练数据中学习到相应的输入与输出之间的关联关系，从而在训练完成后可以针对给定的输入，生成对应的输出。模型的生成可以基于机器学习技术。深度学习是一种机器学习算法，通过使用多层处理单元来处理输入和提供相应输出。神经网络模型是基于深度学习的模型的一个示例。在本文中，“模型”也可以被称为“机器学习模型”、“学习模型”、“机器学习网络”或“学习网络”，这些术语在本文中可互换地使用。

图1示出了本公开的实施例能够在其中实现的示例环境100的示意图。环境100涉及应用管理平台110，其可以支持应用的创建和/或应用的运行。在一些实施例中，应用管理平台110中用于支持应用创建的部分也可以称为应用创建部分。在一些实施例中，应用管理平台110中用于支持应用运行的部分也可以称为应用运行部分。

如图1所示，应用创建部分可以为用户105提供应用的创建和发布环境。用户105可以被称为应用创建用户、创建者。在一些实施例中，应用创建部分可以是低代码平台，其提供应用创建的工具合集。应用创建部分可以支持对各类应用的可视化开发，从而使开发人员可以跳过手工编码的过程，加快应用的开发周期和成本。应用创建部分可以支持用户开发一个或多个类型的应用的任何适当平台，例如可以包括基于应用平台即服务(aPaaS)的平台。这样的平台能够支持用户对应用进行高效开发，实现应用创建、应用功能调整等操作。

应用创建部分可以被部署在用户105的终端设备本地，和/或可以由服务端设备来支持。例如，用户105的终端设备可以运行有应用创建部分的客户端，该客户端可以支持用户与服务端所提供的应用创建部分的交互。在应用创建部分运行在用户的终端设备本地的情况下，用户105可以直接利用终端设备与本地的应用创建部分进行交互。在应用创建部分运行在服务端设备的情况下，服务端设备可以基于与终端设备之间的通信连接，实现对终端设备中运行的客户端的服务供应。应用创建部分可以基于用户105的操作而向用户105呈现相应的页面130，以向用户105输出和/或从用户105接收与应用创建相关的信息。

在一些实施例中，应用创建部分可以关联到相应的数据库，其中存储应用创建部分所支持的应用创建过程所需的数据或信息。例如，数据库可以存储用于组成应用的各个功能模块对应的代码和描述信息等。应用创建部分还可以对数据库中的功能模块执行调用、增加、删除、更新等操作。数据库还可以存储对不同功能块可执行的操作。示例性的，在要创建应用的场景，应用创建部分可以从数据库中调用相应的功能块来搭建应用。

在本公开的实施例中，用户105可以在应用创建部分上根据需要创建目标应用120，并发布目标应用120。目标应用120可被发布到任一适当的应用运行部分，只要应用运行部分能够支持目标应用120的运行。在发布后，目标应用120可以用于由一个或多个用户145进行操作。用户145可以被称目标应用120的终端用户。在一些实施例中，目标应用120可以包括或者被实现为数字助手122。

数字助手122可以被配置为具有智能对话。在图1所示的示例中，数字助手122可以被集成在目标应用120内，作为目标应用120的一一部分来协助执行目标应用120内的任务处理。在其他示例中，数字助手122可以被配置为独立运行的应用，例如网页应用或其他类型的应用。在这样的示例中，数字助手122与目标应用120可以被视为同一应用。数字助手122被提供用于协助用户在不同应用、场景下的各类任务处理需求。在与数字助手122的交互过程中，用户输入交互消息，并且数字助手122响应于用户输入来提供回复消息。通常，数字助手122能够支持用户以自然语言方式输入提问，并基于对自然语言输入的理解和逻辑推理能力来执行任务和提供回复。

在一些实施例中，数字助手122可以作为用户145的联系人与之交互。例如，数字助手122可以被实现在即时消息(IM)应用中。数字助手122可以在与用户145的单聊会话中与用户145交互。在一些实施例中，数字助手122可以在包括多个用户的群聊会话中与多个用户交互。

对于每个用户145，应用运行部分的客户端可以在客户端界面中呈现目标应用 120或数字助手122的交互窗口142，例如与数字助手122的会话窗口。用户145可以在会话窗口中输入会话消息，目标应用120可以基于所创建的配置信息，来确定数字助手122的回复消息并在交互窗口142中呈现给用户。在一些实施例中，取决于目标应用120的配置，与目标应用120的交互消息可以包括多模态形式的消息，诸如文本消息(例如，自然语言文本)、语音消息、图像消息、视频消息，等等。

与应用创建部分类似，应用运行部分可以被部署在每个用户145的终端设备本地，和/或可以由服务端设备来支持。例如，用户145的终端设备可以运行有应用运行部分的客户端，该客户端可以支持用户与服务端所提供的应用运行部分的交互。在应用运行部分运行在用户的终端设备本地的情况下，用户145可以直接利用终端设备与本地的应用运行部分进行交互。在应用运行部分运行在服务端设备的情况下，服务端设备可以基于与终端设备之间的通信连接，实现对终端设备中运行的客户端的服务供应。应用运行部分可以基于用户145的操作而向用户145呈现相应的应用页面，以向用户145输出和/或从用户145接收与应用使用相关的信息。

在一些实施例中，目标应用120的至少部分功能的实现，和/或目标应用120中的数字助手122的至少部分功能的实现可以基于模型来实现。在目标应用120的创建或运行过程中，可以调用一个或多个模型155，例如模型155的能力。在目标应用120中，数字助手122可以利用模型155来理解用户输入，并基于模型155的输出来提供对用户的回复。

在创建过程中，应用创建平台110对目标应用120的测试需要利用模型155来确定目标应用120的运行结果符合预期。在运行过程中，响应于目标应用120的用户的不同操作请求，应用运行部分可能需要利用模型155来确定对用户的响应结果。

虽然被示出为独立于应用管理平台110，但一个或多个模型155可以运行在应用管理平台110上，或者其他远端服务器。在一些实施例中，模型155可以是机器学习模型、深度学习模型、学习模型、神经网络等。在一些实施例中，模型可以基于语言模型(LM)。语言模型通过从大量语料中学习，能够具备问答能力。模型155也可以基于其他适当的模型。

管理平台110可以运行在适当的电子设备。这里的电子设备可以是任何类型的具有计算能力的设备，包括终端设备或服务端设备。终端设备可以是任何类型的移动终端、固定终端或便携式终端，包括移动手机、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、媒体计算机、多媒体平板、个人通信系统(PCS)设备、个人导航设备、个人数字助理(PDA)、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或者前述各项的任何组合，包括这些设备的配件和外设或者其任何组合。服务端设备例如可以包括计算系统/服务器，诸如大型机、边缘计算节点、云环境中的计算设备，等等。在一些实施例中，管理平台110可以基于云服务来实现。

应当理解，仅出于示例性的目的描述环境100的结构和功能，而不暗示对于本公开的范围的任何限制。例如，虽然图1示出了与应用创建部分交互的单个用户和与应用运行部分交互的单个用户，但实际上可以多个用户访问应用管理平台110来各自创建数字助手，并且每个数字助手可以被用于与多个用户进行交互。

用户在应用内发起查询请求时，该应用可以利用机器学习模型来提供查询服务。在一开始该应用提供的查询服务的质量在可能并不高，需要经过多轮优化来提升查询服务的效果。传统的优化需要在代码层面对系统进行改进，存在成本高、耗时长、容易出现错误的问题。

为此，根据本公开的实施例提供了一种应用调试的方案。根据本公开的各种实施例，执行针对目标应用的测试查询。呈现执行测试查询的多个阶段的相应第一运行信息，多个阶段的运行信息至少指示多个阶段各自的输出。基于测试查询的多个阶段的相应第一运行信息，生成针对目标应用的运行参考用例，运行参考用例包括测试查询和多个阶段的运行信息，运行参考用例在目标应用的运行中被参考用于确定用户查询的结果。

在本公开的各种实施例中，应用创建用户只需要依据执行测试查询的多个阶段相应的运行信息，就可以生成针对目标应用的运行参考用例。在针对终端用户发起的用户查询来生成查询结果时，可以参考该运行参考用例。以此方式，应用创建用户无需修改代码就可以提升目标应用提供服务的质量，简化了目标应用的调优过程。

以下将参考附图的示例来详细描述本公开的一些示例实施例。应当理解，附图中示出的页面仅仅是示例，实际可以存在各种页面设计。页面中的各个图形元素可以具有不同的布置和不同的视觉表示，其中的一个或多个元素可以省略或被替换，并且还可以存在一个或多个其他元素。本公开的实施例在此方面不受限制。

下面继续参考附图来描述本公开的示例实施例。在下文的示例中，出于讨论的需要，从应用管理平台的角度来描述，例如图1所示的应用管理平台110。应用管理平台110所呈现的页面，可以经由用户105的终端设备被呈现，并且可以经由用户105的终端设备来接收用户输入。

图2示出了根据本公开的一些实施例的目标应用120中各个功能的调试入口的页面200的示例。如图2所示，在用户105的终端设备呈现有目标应用120中各个功能的调试入口的页面200。页面200给出了功能区域210，其可以用于目标应用中的各种功能。目标应用中的功能例如可以包括应用数据分析功能、应用数据更新功能、知识问答功能等。但应当理解，这仅是示例性的功能，而无意任何限制。这里的目标应用可以是任何合适的应用，例如人力资源应用、CRM(Customer Relationship Management，客户关系管理)应用、财务应用等。以对目标应用中的应用数据分析功能调试为例，用户105触发了数据分析功能的调试控件220，例如，用户105点击了调试控件220。响应于此，可以向用户105呈现测试查询记录的页面。

图3示出了根据本公开的一些实施例的针对目标应用中特定功能的测试查询记录的页面300的示例。如图3所示，可以在用户105的终端设备呈现针对目标应用中特定功能的测试查询记录的页面300。页面300记录了用户105之前创建的测试查询，用户105通过输入测试查询来对相应的功能进行调试。在一些实施例中，用户105可以重新调试先前创建的测试查询。例如，用户105点击了控件310即可重新执行测试查询“单价低于XX元的商品的数量是多少？”，以对目标应用中相应的功能进行调试。响应于此，可以向用户105呈现调试页面。在一些实施例中，用户105可以触发执行新的测试查询。例如，用户105点击了新增控件320即可输入新的测试查询，以对目标应用中相应的功能进行调试。响应于此，用户105可以进入调试页面。

图4示出了根据本公开的一些实施例的对目标应用进行调试的页面400的示例。应用管理平台110可以执行针对目标应用的测试查询。参考图4，例如，用户105在测试查询对应的文本区域410输入测试查询语句，并点击控件420，来执行针对目标应用的测试查询。用户105输入的测试查询语句例如可以是“单价低于XX元的商品的数量是多少？”、“产地是XX的商品的占比是多少？画一个饼状图”。应用管理平台110可以在分阶段调试区域430呈现执行测试查询的多个阶段的相应第一运行信息，多个阶段的运行信息至少指示多个阶段各自的输出。

应用管理平台110在执行针对目标应用的测试查询之后，可以在分阶段调试区域430呈现执行测试查询的多个阶段的相应第一运行信息，多个阶段的运行信息至少指示多个阶段各自的输出。例如，在分阶段调试区域430中示出了5个阶段的运行信息，这5个阶段需要执行各自的任务。在任务执行完成后，生成对应的输出440、442、444、446和448。例如，第三阶段的输出444可以包括需要执行测试查询所需的数据表。

在一些实施例中，多个阶段的运行信息还可以指示以下至少一项：多个阶段各自的输入，多个阶段各自的运行耗时，多个阶段各自的运行日志，多个阶段各自的运行状态(即，是否运行完成)。在一些实施例中，由于机器学习模型的输入信息(例如，输入信息的长度)存在限制，因此，多个阶段的运行信息还可以指示多个阶段中的至少一个阶段中调用机器学习模型时，被提供给所述机器学习模型的输入信息。以此方式，用户105可以使提供给机器学习模型的输入信息满足机器学习模型的要求，从而保证机器学习模型稳定运行。

在一些实施例中，分阶段调试区域430中展示的多个阶段可以包括至少一个预定义阶段，至少一个预定义阶段包括生成数据库查询请求的阶段。该至少一个预定义阶段可以是应用管理平台110根据目标应用的特性和/或对应的功能预先设置的一些调试阶段。应用管理平台110执行针对目标应用的测试查询的目的可以是生成一个更好的数据库查询请求，以向用户返回更加精确的查询结果。因此，该至少一个预定义阶段还可以包括生成数据库查询请求的阶段，该阶段可以基于之前的预定义阶段的输出生成准确和高效的数据库查询请求。这里的数据库查询请求例如可以是SQL(Structured Query Language，结构化查询语言)语句。

在一些实施例中，分阶段调试区域430中展示的多个阶段除了至少一个预定义阶段，还可以包括基于测试查询确定的至少一个阶段。在应用管理平台110运行数据库查询请求获取到对应的数据之后，还可以基于测试查询的要求确定至少一个阶段。在一个示例中，测试查询是“单价低于XX元的商品的数量是多少？”，该测试查询并没有附加的数据分析要求，因此应用管理平台110可以只确定一个阶段，例如，数据查看阶段，应用管理平台110可以将单价低于XX元的商品的数量在该阶段输出。在另一示例中，测试查询是“产地是XX的商品的占比是多少？画一个饼状图”，该测试查询有附加的数据分析要求，因此应用管理平台110可以生成多个阶段，例如，生成图表阶段、数据洞察阶段等，应用管理平台110可以将产地是XX的商品的占比是多少的饼图输出到生成图表阶段，应用管理平台110还可以将产地是XX的商品的占比的数据的挖掘和分析输出到数据洞察阶段。以此方式，应用管理平台110可以基于测试查询在预定义阶段之后确定不同的阶段，可以满足用户不同的查询需求，提升用户的查询体验。

在一些实施例中，应用管理平台110执行的针对目标应用的测试查询是针对目标应用中的第一功能的查询。由于目标应用中不同的功能具有较大的差异性，针对目标应用中一个功能的调试可能对目标应用中另一个功能并不适用，因此测试查询是针对目标应用中一个特定功能的查询。

在一些实施例中，对于目标应用中的不同功能而言，预定义阶段可以是不同的。例如，以第一功能为例，至少一个预定义阶段可以是针对目标应用中的第一功能来配置的。应用管理平台110可以基于目标应用中不同功能的特性，来配置不同的至少一个预定义阶段。示例性地，针对目标应用中的应用数据分析功能，应用管理平台110可以配置5个预定义阶段，分别是召回并选择术语阶段、召回并选择运行参考用例阶段、召回并选择目标数据集阶段、召回并选择目标数据集所属字段阶段、生成并执行数据库查询请求阶段。在召回并选择术语阶段可以召回并选择测试查询中使用的术语的解释。在召回并选择运行参考用例阶段可以召回并选择与测试查询相似的运行参考用例。在召回并选择目标数据集阶段可以召回并选择执行测试查询所需的数据集。在召回并选择目标数据集所属字段阶段可以召回并选择执行测试查询所需的数据集中的字段。在生成并执行数据库查询请求阶段可以基于前面4个阶段的输出，生成并执行数据库查询请求。

上文以数据分析功能作为示例描述了阶段的划分，但这种划分仅是示例性的。此外，针对其他的功能(例如，数据更新、知识问答等)可以根据相应功能的特性进行合适的阶段划分。以此方式，使用测试查询对目标应用中的不同功能分别进行调试，充分考虑到了不同功能之间的差异性，可以有效地提升不同功能提供的服务质量。

在呈现了执行测试查询的多个阶段的相应第一运行信息之后，应用管理平台110可以基于测试查询的多个阶段的相应第一运行信息，生成针对目标应用的运行参考用例。运行参考用例包括测试查询和多个阶段的运行信息，运行参考用例在目标应用的运行中被参考用于确定用户查询的结果。例如，用户105可以在页面400中先将点击已调优控件450，将测试查询和对应的运行信息确定已经完成了调优，再点击保存控件460以生成运行参考用例。在生成了运行参考用例之后，应用管理平台110在接收到用户145的用户查询时，可以参考运行参考用例来确定用户查询的结果。

在一些实施例中，应用管理平台110基于测试查询的多个阶段的相应第一运行信息，可以确定对多个阶段中的至少一个阶段的第一运行信息的调整。而后，应用管理平台110可以基于经调整的至少一个阶段的第一运行信息，重新执行测试查询。应用管理平台110可以呈现重新执行测试查询的多个阶段的相应第二运行信息。如果接收到用例生成确认，应用管理平台110可以基于相应第二运行信息，生成所运行参考用例。在至少一个阶段的第一运行信息调整之后，应用管理平台110可以重新执行测试查询，并在分阶段调试区域430中呈现重新执行测试查询的多个阶段的相应第二运行信息。参考图4，应用管理平台110可以通过用户105对已调优控件450和保存控件460的触发接收到用例生成确认，以基于第二运行信息生成运行参考用例。

在一些实施例中，应用管理平台110可以接收到用户105针对多个阶段中的第一阶段的术语调整信息，并基于术语调整信息重新执行测试查询。该术语调整信息指示向第一阶段添加术语集或移除在所述第一阶段中选择的术语集。术语集包括对目标应用的用户群体所使用的术语的解释。用户群体所使用的术语可能是在该群体的范围内被使用的，但并不是一种通用术语，因此需要帮助机器学习模型理解这样的术语。对这种术语的解释可以包括对该术语的文字性解释，也可以包括与该术语相对应的通用术语。

示例性地，执行测试查询的第一阶段可以选择与测试查询相关的术语集，用户105可以在第一阶段添加术语集，也可以移除术语集。例如，用户105针对目标应用的测试查询为“通过C2C渠道销售的商品的数量是多少？”，其中C2C是专用术语，第一阶段选择的术语集可以包括对C2C的解释，用户105可以添加其他术语集或删除第一阶段选择的术语集。在调整完术语集后，应用管理平台110可以基于术语调整信息，确定在第一阶段中使用的一个或多个术语集，然后基于该一个或多个术语集重新执行测试查询。

在一些实施例中，应用管理平台110可以接收针对多个阶段中的第二阶段的用例调整信息，并基于用例调整信息重新执行测试查询。用例调整信息指示向第二阶段添加参考用例或移除所述第二阶段中所选择的参考用例。示例性地，执行测试查询的第二阶段可以选择与该测试查询相似的用例，用户105可以在第二阶段添加参考用例，也可以移除参考用例。例如，用户105针对目标应用的测试查询为“单价小于5000元的商品的数量是多少？”，第二阶段可以基于相似度计算选择与该测试查询相似的参考用例，第二阶段选择的参考用例可以是“单价小于8000元的商品的数量是多少？”，用户105可以添加其他参考用例或移动第二阶段选择的参考用例。在调整完参考用例之后，应用管理平台110可以基于用例调整信息，确定在第二阶段中使用的一个或多个参考用例，然后基于该一个或多个参考用例，重新执行测试查询。

在一些实施例中，应用管理平台110可以接收针对多个阶段中的第三阶段的数据集调整信息，并基于数据集调整信息重新执行测试查询。示例性地，执行测试查询的第三阶段可以选择执行测试查询所需的数据集，用户105可以在第三阶段添加数据集，也可以移除数据集。例如，用户105针对目标应用的测试查询为“单价小于5000元的商品的数量是多少？”，第三阶段选择的数据集可以是商品分析表，用户105可以添加其他数据集，也可以删除第三阶段选择的数据集。

在一些实施例中，应用管理平台110还可以接收针对多个阶段中的第四阶段的数据集字段调整信息，并基于数据集字段调整信息重新执行测试查询。示例性地，执行测试查询的第四阶段可以选择执行测试查询所需的数据集的字段，用户105可以在第四阶段添加字段，也可以移除字段。例如，用户105针对目标应用的测试查询为“单价小于5000元的商品的数量是多少？”，第四阶段选择的数据集的字段是商品分析表中的商品号字段、单价字段、产地字段和生产日期字段，用户105可以添加其他字段，也可以删除第四阶段选择的字段。以此方式，用户可以通过图形界面的方式对测试查询的各个阶段进行调整，方便用户对于调试的理解，简化了目标应用的调试过程。

在一些实施例中，应用管理平台110在确定对至少一个阶段的第一运行信息的调整之后，可以接收阶段运行请求。阶段运行请求指示从多个阶段中的指定阶段起执行测试查询，指定阶段在至少一个阶段之前或被包括在至少一个阶段中，并且基于经调整的至少一个阶段的第一运行信息，重新执行多个阶段中的指定阶段以及指定阶段之后的阶段。示例性地，用户105对第二阶段进行了调整，此时指定阶段可以是第二阶段之前的第一阶段，也可以是第二阶段。在指定阶段是第一阶段的情况下，应用管理平台110可以基于经调整的至少第二阶段的第一运行信息，执行第一阶段和第一阶段之后的阶段(即，全部的阶段)。

例如，参考图4，针对这五个阶段中的每个阶段都提供了用于该阶段开始重新执行的触发入口，例如触发控件421、422、423、424、425。用户105可以触发控件420来从头开始执行全部的阶段。在指定阶段是第二阶段的情况下，应用管理平台110可以基于经调整的至少第二阶段的第一运行信息，执行第二阶段和第二阶段之后的阶段。例如，继续参考图4，用户105可以触发控件422来执行第二阶段和第二阶段之后的阶段。以此方式，用户可以灵活地运行不同的阶段，通过对比运行不同阶段的输出结果，可以验证对不同阶段进行调整的有效性。可以理解的是，尽管图4示出了通过控件421、422、423、424、425的触发来执行相应的阶段，但该触发方式仅仅是示意性的。用户105还可以通过其他的方式来进行相应的触发，例如，通过表征自然语言的用户输入，来触发相应阶段的执行。

在一些实施例中，在重新执行测试查询之后，应用管理平台110可以在分阶段调试区域430呈现与指定阶段以及在指定阶段之后的阶段的重新运行相关联的运行信息。例如，指定阶段是第二阶段，则可以在分阶段调试区域430呈现与第二阶段和第二阶段之后的阶段重新运行相关联的运行信息。

在一些实施例中，应用管理平台110还可以在呈现多个阶段的相应第一运行信息的同时呈现数据信息，数据信息至少指示用于执行测试查询的至少一个数据集，并且基于多个阶段的相应第一运行信息和数据信息，生成运行参考用例。参考图4，应用管理平台110可以在数据信息展示区域470用于执行测试查询的数据信息。此外，应用管理平台110可以基于该数据信息或对该数据信息的调整来生成运行参考用例。

在一些实施例中，对数据信息的调整可以包括对用于执行所述测试查询的所述至少一个数据集的更新。例如，在数据信息展示区域470展示了用于执行测试查询的一个数据集，即商品分析表。参考图4，用户105可以触发添加控件472以对该数据集进行更新。

在一些实施例中，对数据信息的调整可以包括对用于执行测试查询的至少一个数据集中的至少一部分的更新。在这里数据集中的一部分可以指示数据集中的字段描述。例如，在数据信息展示区域470展示了用于执行测试查询的一个数据集，即商品分析表。参考图4，用户105可以触发修改控件474以对该数据集中的字段描述进行更新。

在一些实施例中，数据信息还指示用于执行测试查询所参考的术语集，术语集包括对目标应用的用户群体所使用的术语的解释。参考图5，图5示出了根据本公开的一些实施例的展示数据信息的页面500的示例。页面500包括术语集展示区域510，用户105可以调整术语集展示区域510中的内容。

在一些实施例中，数据信息还指示用于执行测试查询所参考的用户与数字助手之间的对话记录。继续参考图5，页面500包括对话记录展示区域520，用户105可以调整对话记录展示区域520中的内容。

在一些实施例中，数据信息还指示用于执行所述测试查询的参考提示词。继续参考图5，页面500包括参考提示词展示区域530，用户105可以调整参考提示词展示区域530中的内容。通过调整参考提示词，可以给机器学习模型提供更好的指引，帮助机器学习模型更好地完成用户的任务。

在一些实施例中，数据信息还指示用于确定测试查询的候选结果的条件。继续参考图5，页面500包括条件区域540，用户105可以调整条件区域540中的相似度和单词搜索数量。例如，在知识问答场景下，数字助手会基于相似度搜索与用户相似的提问，并根据单次搜索数量向用户145提供预定数量的搜索结果。

参考图6A，图6A示出了根据本公开的一些实施例的针对目标应用中特定功能用例库的页面600的示例。页面600呈现了用例库，用例库中包含了已经生成的参考用例。用户105触发详情控件602可以跳转至该用例对应的用例详情的页面，参考图6B。图6B示出了根据本公开的一些实施例的用例详情的页面610的示例。页面610可以包括测试查询以及多个阶段的相应第一运行信息614。

可以理解的是，根据上文所描述的实施例，可以生成包括一个或多个运行参考用例的运行参考用例集合。

在一些实施例中，在目标应用120被发布之后，在目标应用120的运行中，可以利用运行参考用例来向用户145提供服务。示例性的，响应于接收到针对目标应用的用户查询，应用管理平台110可以从运行参考用例集合中查找与用户查询相似或匹配的测试查询。基于用户查询与某一测试查询之间的相似度超过阈值相似度，应用管理平台110可以确定运行参考用例为用户查询的目标运行参考用例，并基于目标运行参考用例来执行用户查询。在生成运行参考用例之后，应用管理平台110接收到用户145发起的针对目标应用的用户查询，可以通过相似度计算确定用户查询与测试查询之间的相似度，并基于该相似度确定运行参考用例为用户查询的目标运行参考用例，在确定出目标运行参考用例之后，应用管理平台110可以使用该目标运行参考用例来执行用户查询。以此方式，参考运行参考用例来确定用户查询的结果，可以提供给用户更加精确的查询结果，提高用户的满意度。

在一些实施例中，可以利用机器学习模型来执行用户查询。例如，应用管理平台110可以将所确定的目标参考用例作为针对用户查询的提示词的一部分提供给机器学习模型。而后，应用管理平台110可以从机器学习模型获取用户查询的执行结果。需要注意的是，这里的目标参考用例是从应用创建阶段或者应用测试阶段所生成的运行参考用例集合中所选择的。这样的目标参考用例是出于调试的目的而生成的，而不是来自用户真实使用该应用时的用例。

在一些实施例中，使用目标应用120的用户可以是测试人员，也即用户查询可以来自测试人员。在这种情况下，如果测试人员针对某个查询结果给出了正面反馈，可以基于该用户查询和对应的查询结果生成运行参考用例。例如，可以将得出该查询结果的运行过程的多个阶段的运行信息存储作为运行参考用例。以此方式，利用用户反馈丰富了运行参考用例的来源。

在一些实施例中，目标应用包括至少一个功能，并且测试查询和用户查询均为针对至少一个功能中的第一功能的查询。目标应用可以包括应用数据分析、应用数据更新、知识问答等功能。测试查询和用户查询需要针对同一功能，例如，测试查询和用户查询均是针对应用数据分析功能。

在目标应用120的创建或测试期间，可能需要评测目标应用120的性能。例如，在目标应用包括多个功能的情况下，可能需要评测这些功能中的某个功能或某些功能。

为此，在一些实施例中，应用管理平台110可以维护评测样本集，以用于评测目标应用120，例如评测目标应用120的一个或多个功能，诸如数据分析功能、数据更新功能、知识问答功能等。评测样本集中的每个评测样本可以包括样本查询和目标应用120针对样本查询生成的结果(也称为样本查询结果、第二结果)。

在一些实施例中，为了获得对目标应用120中的某个功能的评测结果，可以利用机器学习模型获取针对评测样本中的样本查询结果的反馈。例如，机器学习模型可以从一个或多个维度对目标应用120生成的样本查询结果打分。

机器学习模型可以采用任何合适的方式给出反馈。作为示例，描述一种自动评测方式。可以将目标应用120提供服务所使用的数据源(例如，知识库、数据集等)提供给机器学习模型，使得机器学习模型从其中提取查询和对应的查询结果作为正确示例。例如，对于知识问答功能，可以提取问题和对应的答案。而后，可以在目标应用120中执行所提取的查询，并且由目标应用120生成执行结果。进而，机器学习模型可以基于答案和执行结果在各种合适的维度来对执行结果给出反馈，例如打分。评测维度的示例可以包括但不限于对用户的帮助性、语言流畅度、事实正确度、逻辑性等。

由此，通过机器学习模型针对所提取的各个问题和执行结果给出的反馈，可以确定对目标应用120的评测结果。例如，如果评测样本集用于知识问答功能，可以获得对知识问答功能的评测结果。这样，用户105可以根据评测结果来调试目标应用120，例如调试一个或多个功能。

在目标应用120的创建或测试期间，创建人员或测试人员可能输入一些评测查询。目标应用120可以针对评测查询生成对应的查询结果，也称为第一结果或评测查询结果。而后，创建人员或测试人员可以对评测查询结果给出反馈，也称为评测反馈。

在一些实施例中，评测反馈可以与评测样本集结合使用，以针对目标应用120给出更准确的评测结果。示例性的，运行管理平台110可以基于创建人员或测试人员给出的评测查询，生成用于目标应用120的评测参考用例。评测参考用例包括来自创建人员或测试人员的评测查询、目标应用120针对该评测查询而生成的评测查询结果和对该评测查询结果的评测反馈。评测反馈可以是正面反馈或负面反馈，也可以指示用户145对查询结果的满意程度。

通常而言，针对相似的查询，期望评测结果与评测反馈是一致的或匹配的。有鉴于此，可以从评测样本集中找出与评测查询相似的样本查询，例如相似度超过阈值相似度。包括这种相似的样本查询的评测样本也称为目标评测样本，目标评测样本还包括目标应用120针对该样本查询而生成的样本结果。

应用管理平台110可以基于评测查询结果、评测反馈和样本查询结果，生成针对目标应用120的评测结果。例如，可以使对目标评测样本中的样本查询结果的打分与评测反馈是匹配的。可以理解的是，评测参考用例给出了什么样的结果是创建人员或测试人员满足的或什么样的结果是创建人员或测试人员不满意的示例。

在一些实施例中，如上文所描述的，可以利用机器学习模型执行对目标应用120的评测。相应地，可以基于评测参考用例的至少一部分(例如，评测反馈和评测查询结果)生成提示词，并且将提示词提供给机器学习模型。机器学习模型可以生成针对目标评测样本中的样本查询结果的反馈。例如，机器学习模型可以对样本查询结果进行打分。而后可以基于该反馈，确定针对目标应用120的评测结果。可以理解的是，评测参考用例给出了什么样的结果是创建人员或测试人员满足的或什么样的结果是创建人员或测试人员不满意的示例。这样，机器学习模型在生成针对样本结果的反馈(例如，打分)中可以参考这样的示例。注意，在评测中所利用的机器学习模型与目标应用120的运行中所利用的机器学习模型可以相同，也可以不同。

在一些实施例中，如果目标应用120包括至少一个功能，上述用于评测的样本查询和评测查询可以是针对同一功能的查询。例如，评测样本集可以是专用于评测目标应用120的知识问答功能的。在这种情况下，所收集的用户查询也是针对知识问答功能的。

图7A示出了根据本公开的一些实施例的应用调试的过程700的流程图。过程700可以被实现在应用管理平台110处。下面参考图7描述过程700。

在框701，应用管理平台110执行针对目标应用的测试查询。

在框702，应用管理平台110呈现执行所述测试查询的多个阶段的相应第一运行信息，多个阶段的运行信息至少指示多个阶段各自的输出。

在框703，应用管理平台110基于所述测试查询的多个阶段的相应第一运行信息，生成针对目标应用的运行参考用例，运行参考用例包括测试查询和多个阶段的运行信息，运行参考用例在目标应用的运行中被参考用于确定用户查询的结果。

在一些实施例中，生成运行参考用例包括：确定对多个阶段中的至少一个阶段的第一运行信息的调整；基于经调整的至少一个阶段的第一运行信息，重新执行测试查询；呈现重新执行测试查询的多个阶段的相应第二运行信息；以及响应于接收到用例生成确认，基于相应第二运行信息，生成运行参考用例。

在一些实施例中，重新执行测试查询包括：接收阶段运行请求，阶段运行请求指示从多个阶段中的指定阶段起执行测试查询，指定阶段在至少一个阶段之前或被包括在至少一个阶段中；基于经调整的至少一个阶段的第一运行信息，重新执行多个阶段中的指定阶段以及所述指定阶段之后的阶段。

在一些实施例中，呈现重新执行测试查询的所述多个阶段的相应第二运行信息包括：呈现与指定阶段以及在所述指定阶段之后的阶段的重新运行相关联的运行信息。

在一些实施例中，多个阶段的运行信息还指示以下至少一项：多个阶段各自的输入，多个阶段各自的运行耗时，多个阶段各自的运行日志，多个阶段各自的运行状态，在多个阶段中的至少一个阶段中调用机器学习模型时，被提供给机器学习模型的输入信息。

在一些实施例中，确定对多个阶段中的至少一个阶段的第一运行信息的调整包括：接收针对多个阶段中的第一阶段的术语调整信息，术语调整信息指示向第一阶段添加术语集或移除在第一阶段中选择的术语集，术语集包括对目标应用的用户群体所使用的术语的解释，并且重新执行测试查询包括：基于术语调整信息，确定在第一阶段中使用的一个或多个术语集；以及基于一个或多个术语集，重新执行测试查询。

在一些实施例中，确定对多个阶段中的至少一个阶段的第一运行信息的调整包括：接收针对多个阶段中的第二阶段的用例调整信息，用例调整信息指示向第二阶段添加参考用例或移除第二阶段中所选择的参考用例，并且重新执行测试查询包括：基于用例调整信息，确定在第二阶段中使用的一个或多个参考用例；以及基于一个或多个参考用例，重新执行测试查询。

在一些实施例中，生成针对目标应用的运行参考用例包括：在呈现多个阶段的相应第一运行信息的同时呈现数据信息，数据信息至少指示用于执行所述测试查询的至少一个数据集；以及基于多个阶段的相应第一运行信息和数据信息，生成运行参考用例。

在一些实施例中，数据信息还指示以下至少一项：用于执行测试查询所参考的术语集(其中，术语集包括对目标应用的用户群体所使用的术语的解释)，用于执行测试查询所参考的用户与数字助手之间的对话记录，用于执行测试查询的参考提示词，用于确定测试查询的候选结果的条件。

在一些实施例中，对数据信息的调整包括以下至少一项：对用于执行测试查询的至少一个数据集的更新，或对用于执行测试查询的至少一个数据集中的至少一部分的更新。

在一些实施例中，过程700还包括：响应于接收到针对目标应用的用户查询，基于用户查询与测试查询之间的相似度超过阈值相似度，确定运行参考用例为用户查询的目标运行参考用例；以及基于目标运行参考用例来执行用户查询。

在一些实施例中，目标应用包括至少一个功能，并且其中测试查询和用户查询均为针对至少一个功能中的第一功能的查询。

在一些实施例中，多个阶段包括：至少一个预定义阶段，至少一个预定义阶段包括生成数据库查询请求的阶段；以及基于所述测试查询确定的至少一个阶段。

在一些实施例中，测试查询是针对目标应用中的第一功能的查询，并且其中至少一个预定义阶段针对第一功能来配置。

图7B示出了根据本公开的一些实施例的信息查询的过程710的流程图。过程710可以被实现在应用管理平台110处。下面参考图7描述过程710。

在框711，应用管理平台110响应于接收到针对目标应用的用户查询，基于用户查询与测试查询之间的相似度超过阈值相似度，将包括测试查询的运行参考用例确定为用户查询的目标运行参考用例，其中运行参考用例包括测试查询和测试查询的多个阶段的相应运行信息。

在框712，应用管理平台110基于目标运行参考用例来执行用户查询。

在一些实施例中，基于目标运行参考用例来执行用户查询包括：将目标参考用例作为针对用户查询的提示词的一部分提供给机器学习模型；以及从机器学习模型获取用户查询的执行结果。

在一些实施例中，如果用户查询是来自测试人员并且在应用测试阶段实施，那么过程710还包括：获取对用户查询的执行结果的用户反馈；以及响应于用户反馈是正向反馈，基于多个阶段的用于执行用户查询的相应执行信息，生成另外的运行参考用例。

图7C示出了根据本公开的一些实施例的应用评测的过程720的流程图。过程720可以被实现在应用管理平台110处。下面参考图7描述过程720。

在框721，应用管理平台110生成用于所述目标应用的评测参考用例，所述评测参考用例包括评测查询、所述目标应用针对所述评测查询而生成的第一结果和对所述第一结果的评测反馈。

在框722，应用管理平台110基于所述评测查询与评测样本集中的查询之间的相似度，从所述评测样本集中选择目标评测样本，所述目标评测样本包括样本查询和由所述目标应用针对所述样本查询生成的第二结果。

在框723，应用管理平台110基于所述第一结果、所述评测反馈和所述第二结果，生成针对所述目标应用的评测结果。

在一些实施例中，生成针对所述目标应用的评测结果包括：将基于所述第一结果和所述评测反馈而生成的提示词提供给机器学习模型；从所述机器学习模型获得针对所述目标评测样本中的所述第二结果的反馈；以及基于针对所述第二结果的反馈，确定针对所述目标应用的评测结果。

在一些实施例中，目标应用包括至少一个功能，并且其中样本查询和用户查询均为针对至少一个功能中的第二功能的查询。

图8A示出了根据本公开的一些实施例的用于应用调试的装置800的示意性结构框图。装置800例如可以被实现在或被包括在应用管理平台110中。装置800中的各个模块/组件可以由硬件、软件、固件或者它们的任何组合来实现。

如图所示，装置800包括测试查询执行模块801，被配置为执行针对目标应用的测试查询。装置800还包括第一运行信息呈现模块802，被配置为呈现执行所述测试查询的多个阶段的相应第一运行信息，多个阶段的运行信息至少指示多个阶段各自的输出。装置800还包括运行参考用例生成模块803，被配置为基于所述测试查询的多个阶段的相应第一运行信息，生成针对目标应用的运行参考用例，运行参考用例包括测试查询和多个阶段的运行信息，运行参考用例在目标应用的运行中被参考用于确定用户查询的结果。

在一些实施例中，参考用例生成模块803包括：测试查询重新执行模块，被配置为确定对多个阶段中的至少一个阶段的第一运行信息的调整；基于经调整的至少一个阶段的第一运行信息，重新执行测试查询；呈现重新执行测试查询的多个阶段的相应第二运行信息；以及响应于接收到用例生成确认，基于相应第二运行信息，生成运行参考用例。

在一些实施例中，测试查询重新执行模块包括：阶段执行模块，被配置为接收阶段运行请求，阶段运行请求指示从多个阶段中的指定阶段起执行所述测试查询，指定阶段在至少一个阶段之前或被包括在至少一个阶段中；基于经调整的至少一个阶段的第一运行信息，重新执行多个阶段中的指定阶段以及指定阶段之后的阶段。

在一些实施例中，阶段执行模块包括：重新执行信息呈现模块，被配置为呈现与指定阶段以及在所述指定阶段之后的阶段的重新运行相关联的运行信息。

在一些实施例中，测试查询重新执行模块包括：第一调整信息接收模块，被配置为接收针对多个阶段中的第一阶段的术语调整信息，术语调整信息指示向第一阶段添加术语集或移除在第一阶段中选择的术语集，术语集包括对目标应用的用户群体所使用的术语的解释，并且测试查询重新执行模块进一步被配置为基于术语调整信息，确定在第一阶段中使用的一个或多个术语集；以及基于一个或多个术语集，重新执行测试查询。

在一些实施例中，测试查询重新执行模块包括：第二调整信息接收模块，被配置接收针对多个阶段中的第二阶段的用例调整信息，用例调整信息指示向第二阶段添加参考用例或移除第二阶段中所选择的参考用例，并且测试查询重新执行模块进一步被配置为基于用例调整信息，确定在第二阶段中使用的一个或多个参考用例；以及基于一个或多个参考用例，重新执行测试查询。

在一些实施例中，装置800还包括：数据信息呈现模块，被配置为在呈现多个阶段的相应第一运行信息的同时呈现数据信息，数据信息至少指示用于执行所述测试查询的至少一个数据集；以及基于多个阶段的相应第一运行信息和数据信息，生成运行参考用例。

在一些实施例中，数据信息还指示以下至少一项：用于执行测试查询所参考的术语集，术语集包括对目标应用的用户群体所使用的术语的解释，用于执行测试查询所参考的用户与数字助手之间的对话记录，用于执行测试查询的参考提示词，用于确定测试查询的候选结果的条件。

在一些实施例中，数据信息呈现模块包括：数据更新模块，被配置为对用于执行测试查询的至少一个数据集的更新，或对用于执行测试查询的至少一个数据集中的至少一部分的更新。

在一些实施例中，装置800还包括：用户查询执行模块，被配置为响应于接收到针对目标应用的用户查询，基于用户查询与测试查询之间的相似度超过阈值相似度，确定运行参考用例为用户查询的目标运行参考用例；以及基于目标运行参考用例来执行用户查询。

图8B示出了根据本公开的一些实施例的用于信息查询的装置810的示意性结构框图。装置810例如可以被实现在或被包括在应用管理平台110中。装置810中的各个模块/组件可以由硬件、软件、固件或者它们的任何组合来实现。

如图所示，装置810包括运行参考用例确定模块811，被配置为响应于接收到针对目标应用的用户查询，基于用户查询与测试查询之间的相似度超过阈值相似度，将包括测试查询的运行参考用例确定为用户查询的目标运行参考用例，其中运行参考用例包括测试查询和测试查询的多个阶段的相应运行信息。装置810还包括用户查询执行模块812，被配置为基于目标运行参考用例来执行用户查询。

在一些实施例中，用户查询执行模块812包括执行结果获取模块，被配置为将目标参考用例作为针对用户查询的提示词的一部分提供给机器学习模型；以及从机器学习模型获取用户查询的执行结果。

在一些实施例中，装置810还包括附加运行参考用例生成模块，被配置为获取对用户查询的执行结果的用户反馈；以及响应于用户反馈是正向反馈，基于多个阶段的用于执行用户查询的相应执行信息，生成另外的运行参考用例。

图8C示出了根据本公开的一些实施例的用于应用评测的装置820的示意性结构框图。装置820例如可以被实现在或被包括在应用管理平台110中。装置820中的各个模块/组件可以由硬件、软件、固件或者它们的任何组合来实现。

如图所示，装置820包括评测参考用例生成模块821，被配置为生成用于所述目标应用的评测参考用例，所述评测参考用例包括评测查询、所述目标应用针对评测查询而生成的第一结果和对第一结果的评测反馈。装置820还包括目标评测样本选择模块822，被配置为基于评测查询与评测样本集中的查询之间的相似度，从评测样本集中选择目标评测样本，目标评测样本包括样本查询和由目标应用针对样本查询生成的第二结果。装置820还包括评测结果生成模块823，被配置为基于第一结果、评测反馈和第二结果，生成针对目标应用的评测结果。

在一些实施例中，评测结果生成模块823包括模型反馈获得模块，被配置为将基于第一结果和评测反馈而生成的提示词提供给机器学习模型；从机器学习模型获得针对目标评测样本中的第二结果的反馈；以及基于针对第二结果的反馈，确定针对目标应用的评测结果。

图9示出了其中可以实现本公开的一个或多个实施例的电子设备900的框图。应当理解，图9所示出的电子设备900仅仅是示例性的，而不应当构成对本文所描述的实施例的功能和范围的任何限制。图9所示出的电子设备900可以包括或被实现为图1的应用管理平台110、图8A的装置800、图8B的装置810，或图8C的装置820。

如图9所示，电子设备900是通用电子设备的形式。电子设备900的组件可以包括但不限于一个或多个处理器或处理单元910、存储器920、存储设备930、一个或多个通信单元940、一个或多个输入设备950以及一个或多个输出设备960。处理单元910可以是实际或虚拟处理器并且能够根据存储器920中存储的程序来执行各种处理。在多处理器系统中，多个处理单元并行执行计算机可执行指令，以提高电子设备900的并行处理能力。

电子设备900通常包括多个计算机存储介质。这样的介质可以是电子设备900可访问的任何可以获取的介质，包括但不限于易失性和非易失性介质、可拆卸和不可拆卸介质。存储器920可以是易失性存储器(例如寄存器、高速缓存、随机访问存储器(RAM))、非易失性存储器(例如，只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存)或它们的某种组合。存储设备930可以是可拆卸或不可拆卸的介质，并且可以包括机器可读介质，诸如闪存驱动、磁盘或者任何其他介质，其可以能够用于存储信息和/或数据并且可以在电子设备900内被访问。

电子设备900可以进一步包括另外的可拆卸/不可拆卸、易失性/非易失性存储介质。尽管未在图9中示出，可以提供用于从可拆卸、非易失性磁盘(例如“软盘”)进行读取或写入的磁盘驱动和用于从可拆卸、非易失性光盘进行读取或写入的光盘驱动。在这些情况中，每个驱动可以由一个或多个数据介质接口被连接至总线(未示出)。存储器920可以包括计算机程序产品925，其具有一个或多个程序模块，这些程序模块被配置为执行本公开的各种实施例的各种方法或动作。

通信单元940实现通过通信介质与其他电子设备进行通信。附加地，电子设备900的组件的功能可以以单个计算集群或多个计算机器来实现，这些计算机器能够通过通信连接进行通信。因此，电子设备900可以使用与一个或多个其他服务器、网络个人计算机(PC)或者另一个网络节点的逻辑连接来在联网环境中进行操作。

输入设备950可以是一个或多个输入设备，例如鼠标、键盘、追踪球等。输出设备960可以是一个或多个输出设备，例如显示器、扬声器、打印机等。电子设备900还可以根据需要通过通信单元940与一个或多个外部设备(未示出)进行通信，外部设备诸如存储设备、显示设备等，与一个或多个使得用户与电子设备900交互的设备进行通信，或者与使得电子设备900与一个或多个其他电子设备通信的任何设备(例如，网卡、调制解调器等)进行通信。这样的通信可以经由输入/输出(I/O)接口(未示出)来执行。

根据本公开的示例性实现方式，提供了一种计算机可读存储介质，其上存储有计算机可执行指令，其中计算机可执行指令被处理器执行以实现上文描述的方法。根据本公开的示例性实现方式，还提供了一种计算机程序产品，计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括计算机可执行指令，而计算机可执行指令被处理器执行以实现上文描述的方法。

这里参照根据本公开实现的方法、装置、设备和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实现的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实现，上述说明是示例性的，并非穷尽性的，并且也不限于所公开的各实现。在不偏离所说明的各实现的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实现的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文公开的各个实现方式。

Claims

一种应用调试的方法，包括：

执行针对目标应用的测试查询；

呈现执行所述测试查询的多个阶段的相应第一运行信息，所述多个阶段的运行信息至少指示所述多个阶段各自的输出；以及

基于所述测试查询的多个阶段的相应第一运行信息，生成针对所述目标应用的运行参考用例，所述运行参考用例包括所述测试查询和所述多个阶段的运行信息，所述运行参考用例在所述目标应用的运行中被参考用于确定用户查询的结果。
根据权利要求1所述的方法，其中生成所述运行参考用例包括：

确定对所述多个阶段中的至少一个阶段的第一运行信息的调整；

基于经调整的所述至少一个阶段的第一运行信息，重新执行所述测试查询；

呈现重新执行所述测试查询的所述多个阶段的相应第二运行信息；以及

响应于接收到用例生成确认，基于所述相应第二运行信息，生成所述运行参考用例。
根据权利要求2所述的方法，其中重新执行所述测试查询包括：

接收阶段运行请求，所述阶段运行请求指示从所述多个阶段中的指定阶段起执行所述测试查询，所述指定阶段在所述至少一个阶段之前或被包括在所述至少一个阶段中；以及

基于经调整的所述至少一个阶段的第一运行信息，重新执行所述多个阶段中的所述指定阶段以及所述指定阶段之后的阶段。
根据权利要求3所述的方法，其中呈现重新执行所述测试查询的所述多个阶段的相应第二运行信息包括：

呈现与所述指定阶段以及在所述指定阶段之后的阶段的重新运行相关联的运行信息。
根据权利要求1所述的方法，其中所述多个阶段的运行信息还指示以下至少一项：

所述多个阶段各自的输入，

所述多个阶段各自的运行耗时，

所述多个阶段各自的运行日志，

所述多个阶段各自的运行状态，

在所述多个阶段中的至少一个阶段中调用机器学习模型时，被提供给所述机器学习模型的输入信息。
根据权利要求2所述的方法，其中确定对所述多个阶段中的至少一个阶段的第一运行信息的调整包括：

接收针对所述多个阶段中的第一阶段的术语调整信息，所述术语调整信息指示向所述第一阶段添加术语集或移除在所述第一阶段中选择的术语集，术语集包括对所述目标应用的用户群体所使用的术语的解释，并且

其中重新执行所述测试查询包括：

基于所述术语调整信息，确定在所述第一阶段中使用的一个或多个术语集；以及

基于所述一个或多个术语集，重新执行所述测试查询。
根据权利要求2所述的方法，其中确定对所述多个阶段中的至少一个阶段的第一运行信息的调整包括：

接收针对所述多个阶段中的第二阶段的用例调整信息，所述用例调整信息指示向所述第二阶段添加参考用例或移除所述第二阶段中所选择的参考用例，并且

其中重新执行所述测试查询包括：

基于所述用例调整信息，确定在所述第二阶段中使用的一个或多个参考用例；以及

基于所述一个或多个参考用例，重新执行所述测试查询。
根据权利要求1所述的方法，其中生成针对所述目标应用的运行参考用例包括：

在呈现所述多个阶段的相应第一运行信息的同时呈现数据信息，所述数据信息至少指示用于执行所述测试查询的至少一个数据集；以及

基于所述多个阶段的相应第一运行信息和所述数据信息，生成所述运行参考用例。
根据权利要求8所述的方法，其中所述数据信息还指示以下至少一项：

用于执行所述测试查询所参考的术语集，所述术语集包括对所述目标应用的用户群体所使用的术语的解释，

用于执行所述测试查询所参考的用户与数字助手之间的对话记录，

用于执行所述测试查询的参考提示词，

用于确定所述测试查询的候选结果的条件。
根据权利要求8所述的方法，其中对所述数据信息的调整包括以下至少一项：

对用于执行所述测试查询的所述至少一个数据集的更新，或

对用于执行所述测试查询的所述至少一个数据集中的至少一部分的更新。
根据权利要求1所述的方法，还包括：

响应于接收到针对所述目标应用的用户查询，基于所述用户查询与所述测试查询之间的相似度超过阈值相似度，确定所述运行参考用例为所述用户查询的目标运行参考用例；以及

基于所述目标运行参考用例来执行所述用户查询。
根据权利要求11所述的方法，其中所述目标应用包括至少一个功能，并且其中所述测试查询和所述用户查询均为针对所述至少一个功能中的第一功能的查询。
根据权利要求1所述的方法，其中所述多个阶段包括：

至少一个预定义阶段，所述至少一个预定义阶段包括生成数据库查询请求的阶段；以及

基于所述测试查询确定的至少一个阶段。
根据权利要求13所述的方法，其中所述测试查询是针对所述目标应用中的第一功能的查询，并且其中所述至少一个预定义阶段针对所述第一功能来配置。
一种信息查询的方法，包括：

响应于接收到针对目标应用的用户查询，基于所述用户查询与测试查询之间的相似度超过阈值相似度，将包括所述测试查询的运行参考用例确定为所述用户查询的目标运行参考用例，其中所述运行参考用例包括所述测试查询和所述测试查询的多个阶段的相应运行信息；以及

基于所述目标运行参考用例来执行所述用户查询。
根据权利要求15所述的方法，其中基于所述目标运行参考用例来执行所述用户查询包括：

将所述目标参考用例作为针对所述用户查询的提示词的一部分提供给机器学习模型；以及

从所述机器学习模型获取所述用户查询的执行结果。
一种应用评测的方法，包括：

生成用于所述目标应用的评测参考用例，所述评测参考用例包括评测查询、所述目标应用针对所述评测查询而生成的第一结果和对所述第一结果的评测反馈；

基于所述评测查询与评测样本集中的查询之间的相似度，从所述评测样本集中选择目标评测样本，所述目标评测样本包括样本查询和由所述目标应用针对所述样本查询生成的第二结果；以及

基于所述第一结果、所述评测反馈和所述第二结果，生成针对所述目标应用的评测结果。
根据权利要求17所述的方法，其中生成针对所述目标应用的评测结果包括：

将基于所述第一结果和所述评测反馈而生成的提示词提供给机器学习模型；

从所述机器学习模型获得针对所述目标评测样本中的所述第二结果的反馈；以及

基于针对所述第二结果的反馈，确定针对所述目标应用的评测结果。
根据权利要求17所述的方法，其中所述目标应用包括至少一个功能，并且其中所述样本查询和所述用户查询均为针对所述至少一个功能中的第二功能的查询。
一种用于应用调试的装置，包括：

测试查询执行模块，被配置为执行针对目标应用的测试查询；

第一运行信息呈现模块，被配置为呈现执行所述测试查询的多个阶段的相应第一运行信息，所述多个阶段的运行信息至少指示所述多个阶段各自的输出；以及

运行参考用例生成模块，被配置为基于所述测试查询的多个阶段的相应第一运行信息，生成针对所述目标应用的运行参考用例，所述运行参考用例包括所述测试查询和所述多个阶段的运行信息，所述运行参考用例在所述目标应用的运行中被参考用于确定用户查询的结果。
一种用于信息查询的装置，包括：

运行参考用例确定模块，被配置为响应于接收到针对目标应用的用户查询，基于所述用户查询与测试查询之间的相似度超过阈值相似度，将包括所述测试查询的运行参考用例确定为所述用户查询的目标运行参考用例，其中所述运行参考用例包括所述测试查询和所述测试查询的多个阶段的相应运行信息；以及

用户查询执行模块，被配置为基于所述目标运行参考用例来执行所述用户查询。
一种用于应用评测的装置，包括：

评测参考用例生成模块，被配置为生成用于所述目标应用的评测参考用例，所述评测参考用例包括评测查询、所述目标应用针对所述评测查询而生成的第一结果和对所述第一结果的评测反馈；

目标评测样本选择模块，被配置为基于所述评测查询与评测样本集中的查询之间的相似度，从所述评测样本集中选择目标评测样本，所述目标评测样本包括样本查询和由所述目标应用针对所述样本查询生成的第二结果；以及

评测结果生成模块，被配置为基于所述第一结果、所述评测反馈和所述第二结果，生成针对所述目标应用的评测结果。
一种电子设备，包括：

至少一个处理单元；以及

至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令在由所述至少一个处理单元执行时使所述电子设备执行根据权利要求1至19中任一项所述的方法。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序可由处理器执行以实现根据权利要求1至19中任一项所述的方法。