WO2022198835A1 - 电子地图的测试方法、装置、电子设备及存储介质 - Google Patents

电子地图的测试方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
WO2022198835A1
WO2022198835A1 PCT/CN2021/104795 CN2021104795W WO2022198835A1 WO 2022198835 A1 WO2022198835 A1 WO 2022198835A1 CN 2021104795 W CN2021104795 W CN 2021104795W WO 2022198835 A1 WO2022198835 A1 WO 2022198835A1
Authority
WO
WIPO (PCT)
Prior art keywords
scenario
strategy
componentized
hit
module
Prior art date
Application number
PCT/CN2021/104795
Other languages
English (en)
French (fr)
Inventor
郭太苹
徐玲
孙建丽
Original Assignee
北京百度网讯科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京百度网讯科技有限公司 filed Critical 北京百度网讯科技有限公司
Priority to KR1020227019059A priority Critical patent/KR20220133856A/ko
Priority to US17/757,773 priority patent/US20230304828A1/en
Priority to JP2022531523A priority patent/JP2023522516A/ja
Priority to EP21895911.2A priority patent/EP4092538A4/en
Publication of WO2022198835A1 publication Critical patent/WO2022198835A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863—Structures of map data
    • G01C21/387—Organisation of map data, e.g. version management or database structures
    • G01C21/3874—Structures specially adapted for data searching and retrieval
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3676—Test management for coverage analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3684—Test management for test design, e.g. generating new test cases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3692—Test management for test results analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries

Definitions

  • FIG. 2 is a schematic flowchart of another electronic map testing method provided by an embodiment of the present application. As shown in Figure 2, the test method of the electronic map may include the following steps:
  • FIG. 4 is a schematic structural diagram of a testing device for an electronic map provided by an embodiment of the present application.
  • the device 400 includes: an input module 401, a determination module 402, an association module 403 and a test module 404; wherein, the input module 401 is configured to obtain N search terms input by a user through an electronic map; Wherein, N is a natural number greater than or equal to 1; the determination module 402 is configured to determine the correspondence between N search terms and the strategy scenarios; the association module 403 is configured to be based on the predetermined N search terms and user scenarios and the corresponding relationship between N search terms and strategy scenarios, obtain the user scenarios and strategy scenarios corresponding to each retrieval term; the testing module 404 is set to be based on the user scenarios and strategy scenarios corresponding to each retrieval term, The electronic map is tested.
  • the electronic device 600 includes a computing unit 601, which can be loaded into a random access memory (Random Access Memory) according to a computer program stored in a read-only memory (Read-Only Memory, ROM) 602 or from a storage unit 608, A computer program in RAM) 603 to perform various appropriate actions and processes.
  • ROM Read-Only Memory
  • RAM random access memory
  • various programs and data required for the operation of the electronic device 600 can also be stored.
  • the computing unit 601, the ROM 602, and the RAM 603 are connected to each other through a bus 604.
  • An Input/Output (I/O) interface 605 is also connected to the bus 604 .

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种电子地图的测试方法、装置、电子设备及存储介质，该电子地图的测试方法包括：通过电子地图获取用户输入的N个检索词；其中，N为大于或等于1的自然数；确定所述N个检索词与策略场景的对应关系；基于预先确定的所述N个检索词与用户场景的对应关系，以及所述N个检索词与策略场景的对应关系，得到每个检索词对应的用户场景和策略场景；基于每个检索词对应的用户场景和策略场景，对电子地图进行测试。

Description

电子地图的测试方法、装置、电子设备及存储介质
本申请要求在2021年03月22日提交中国专利局、申请号为202110302416.9的中国专利申请的优先权，该申请的全部内容通过引用结合在本申请中。
技术领域
本申请涉及电子地图技术领域，例如涉及地图检索技术，例如是一种电子地图的测试方法、装置、电子设备及存储介质。
背景技术
电子地图的测试主要应用于电子地图的升级场景。利用测试数据对升级前后不同版本的电子地图进行测试，得到电子地图的测试结果。电子地图的测试方法主要包括以下三种：(1)功能测试：需借助自动化实例(case)回归、随机差异、高频差异、技术指标差异等手段，输出批量随机的检索词(query)在系统级或者字段级或者大粒度策略上的差异(diff)，然后结合上述差异人工分析，判断项目改动对整体检索系统的影响是否符合预期。(2)性能测试：该方法通过复制线上的流量在线下回放实现，而且需要使用大词表长时间压测。(3)差异测试：该方法使用一个大词表覆盖所有的场景和策略。
上述的电子地图的测试方法分别存在如下技术问题：(1)功能测试：缺少细粒度的策略划分和场景的覆盖度衡量，测试完整性无法保证；当电子地图的检索策略发生改动时，例如是多个小粒度策略改动时，反推每个业务场景对应的精准的检索词，则没有方法或比较盲目。(2)性能测试：词表覆盖情况尚未论证，而且不存在持续提升的手段。(3)差异测试缺少针对每个策略场景的针对性抽象方案。
发明内容
本申请提供了一种电子地图的测试方法、装置、电子设备以及存储介质，针对不同的策略场景可以更加精细准确地进行测试，不仅可以提高测试充分度和覆盖率，还可以提高测试效率，降低测试成本。
提供了一种电子地图的测试方法，所述方法包括：
通过电子地图获取用户输入的N个检索词；其中，N为大于或等于1的自然数；
确定所述N个检索词与策略场景的对应关系；
基于预先确定的所述N个检索词与用户场景的对应关系，以及所述N个检索词与策略场景的对应关系，得到每个检索词对应的用户场景和策略场景；
基于每个检索词对应的用户场景和策略场景，对所述电子地图进行测试。
还提供了一种电子地图的测试装置，所述装置包括：输入模块、确定模块、关联模块和测试模块；其中，
所述输入模块，设置为通过电子地图获取用户输入的N个检索词；其中，N为大于或等于1的自然数；
所述确定模块，设置为确定所述N个检索词与策略场景的对应关系；
所述关联模块，设置为基于预先确定的所述N个检索词与用户场景的对应关系，以及所述N个检索词与策略场景的对应关系，得到每个检索词对应的用户场景和策略场景；
所述测试模块，设置为基于每个检索词对应的用户场景和策略场景，对所述电子地图进行测试。
还提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器设置为存储可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够实现上述的电子地图的测试方法。
还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机实现上述的电子地图的测试方法。
还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述的电子地图的测试方法。
附图说明
图1是本申请实施例提供的一种电子地图的测试方法的流程示意图；
图2是本申请实施例提供的另一种电子地图的测试方法的流程示意图；
图3是本申请实施例提供的另一种电子地图的测试方法的流程示意图；
图4是本申请实施例提供的一种电子地图的测试装置的结构示意图；
图5是本申请实施例提供的一种确定模块的结构示意图；
图6是本申请实施例提供的一种用来实现电子地图的测试方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的多种细节以助于理解，应当将它们认为仅仅是示范性的。以下的描述中省略了对公知功能和结构的描述。
实施例一
图1是本申请实施例提供的一种电子地图的测试方法的流程示意图，该方法可以由电子地图的测试装置或者电子设备来执行，该装置或者电子设备可以由软件和/或硬件的方式实现，该装置或者电子设备可以集成在任何具有网络通信功能的智能设备中。如图1所示，电子地图的测试方法可以包括以下步骤：
S101、通过电子地图获取用户输入的N个检索词；其中，N为大于或等于1的自然数。
在本步骤中，电子设备可以通过电子地图获取用户输入的N个检索词；其中，N为大于或等于1的自然数。当用户在电子地图的检索框或者其他检索入口中输入检索词时，电子设备可以将用户输入的检索词保存到数据库中，这样，电子设备就可以通过电子地图批量获取多个检索词。这里的检索词可以是彼此关联的检索词，也可以是彼此无关的检索词，在此不作限制。
S102、确定N个检索词与策略场景的对应关系。
在本步骤中，电子设备可以确定N个检索词与策略场景的对应关系。在策略场景的数量为多个的情况下，当多个策略场景的维度分布不满足预先设置的收敛条件时，电子设备可以在N个检索词中提取出M个检索词作为当前批次的检索词；其中，M为大于或等于1且小于或等于N的自然数；然后基于当前批次的检索词得到至少一个组件化的策略场景和/或至少一个非组件化的策略场景对应的命中结果；再基于该至少一个组件化的策略场景和/或该至少一个非组件化的策略场景对应的命中结果，确定检索词与策略场景的对应关系；重复执行上述操作，直到多个策略场景的维度分布满足收敛条件。
S103、基于预先确定的N个检索词与用户场景的对应关系，以及N个检索词与策略场景的对应关系，得到每个检索词对应的用户场景和策略场景。
在本步骤中，电子设备可以基于预先确定的N个检索词与用户场景的对应关系，以及N个检索词与策略场景的对应关系，得到每个检索词对应的用户场景和策略场景。电子设备可以在用户输入的N个检索词中提取出一个检索词作 为当前检索词，然后根据预先确定的当前检测词与至少一个用户场景的对应关系，以及当前检测词与至少一个策略场景的对应关系，得到当前检索词对应的用户场景和策略场景；重复执行上述操作，直到得到每个检索词对应的用户场景和策略场景；该步骤相当于是建立检索词、用户场景和策略场景这三者的对应关系。在本申请的具体实施例中，电子设备可以预先构建出多个用户场景和多个策略场景；其中，策略场景还可以划分为组件化的策略场景和非组件化的策略场景；用户场景和策略场景的数量可以预先设定；此外，组件化的策略场景和非组件化的策略场景的数量也可以预先设定。例如，组件化的策略场景的数据可以为132个；非组件化的策略场景的数量可以为38个。
本申请实施例中的用户场景可以包括但不限于以下至少之一：需求类型、行业、查询类型(Query Type，QT)、地图大框提示推荐(suggestion)来源、结果形态、是否强展、是否行政区化；非组件化的策略场景可以包括但不限于以下至少之一：检索词分析策略、数据分析(Data Analysis，DA)查询计划、召回队列类型、基础检索(Basic Search，BS)召回类型；组件化的策略场景可以包括但不限于以下至少之一：语义召回特征打平(近似最近邻解码(Approximate Nearest Neighbor Decode，AnnDecode))分析策略、排序学习(Learn To Rank，LTR)粗排策略、LTR后置处理策略、重新排列(Rearrange)策略、预过滤策略、LTR质量控制模型、城市精排策略、优先级策略、城市粗排策略、LTR粗排后过滤策略、平衡模型策略、LTR预处理策略、LTR精排策略、已废弃/暂时可用(Deprecated)精排策略。
S104、基于每个检索词对应的用户场景和策略场景，对电子地图进行测试。
在本步骤中，电子设备可以基于每个检索词对应的用户场景和策略场景，对电子地图进行测试。电子设备可以基于每个检索词对应的用户场景和策略场景，得到目标测试项目对应的预定格式的入口词表；其中，目标测试项目包括但不限于以下至少之一：功能测试、专项场景差异测试、专项场景性能测试和专项场景稳定性测试；然后将目标测试项目对应的预定格式的入口词表对接目标测试项目对应的测试流水线，得到电子地图在目标测试项目中的测试结果。
本申请实施例提出的电子地图的测试方法，先通过电子地图获取用户输入的N个检索词；然后确定N个检索词与策略场景的对应关系；再基于预先确定的N个检索词与用户场景的对应关系，以及N个检索词与策略场景的对应关系，得到每个检索词对应的用户场景和策略场景；最后基于每个检索词对应的用户场景和策略场景，对电子地图进行测试。也就是说，本申请可以建立每个检索词与用户场景和策略场景的对应关系，然后基于每个检索词与用户场景和策略场景的对应关系对电子地图进行测试。当一个用户场景或者策略场景发生改动 时，即可快速地获知该用户场景或者策略场景相关的检索词；同样地，当一个检索词发生改动时，也可快速地获知该检索词相关的用户场景或者策略场景，从而可以针对不同的策略场景实现更加精细准确地测试。而在电子地图的测试方法中，通常采用功能测试、性能测试或者差异测试等方案，但是上述方案无法全面、充分、高效、精准地测试。本申请采用了建立每个检索词与用户场景和策略场景的对应关系，以及基于每个检索词对应的用户场景和策略场景对电子地图进行测试的技术手段，克服了相关技术中的功能测试缺少细粒度的策略划分和场景的覆盖度衡量，测试完整性无法保证的技术问题；性能测试中词表覆盖情况尚未论证，而且不存在持续提升的手段的技术问题，以及差异测试缺少针对每个策略场景的针对性抽象方案的技术问题，本申请提供的技术方案，针对不同的策略场景可以更加精细准确地进行测试，不仅可以提高测试充分度和覆盖率，还可以提高测试效率，降低测试成本；并且，本申请实施例的技术方案实现简单方便、便于普及，适用范围更广。
实施例二
图2是本申请实施例提供的另一种电子地图的测试方法的流程示意图。如图2所示，电子地图的测试方法可以包括以下步骤：
S201、通过电子地图获取用户输入的N个检索词；其中，N为大于或等于1的自然数。
S202、当多个策略场景的维度分布不满足预先设置的收敛条件时，在N个检索词中提取出M个检索词作为当前批次的检索词；其中，M为大于或等于1且小于或等于N的自然数。
在本步骤中，当多个策略场景的维度分布不满足预先设置的收敛条件时，电子设备可以在N个检索词中提取出M个检索词作为当前批次的检索词；其中，M为大于或等于1且小于或等于N的自然数。该步骤的目的是找到多个策略场景的维度分布趋于稳定的时间边界，随着时间或者流量的增加，策略覆盖增加、场景维度增加，到一时间边界策略覆盖度和对应场景维度分布趋于稳定。
S203、基于当前批次的检索词得到至少一个组件化的策略场景和/或至少一个非组件化的策略场景对应的命中结果。
在本步骤中，电子设备可以基于当前批次的检索词得到至少一个组件化的策略场景和/或至少一个非组件化的策略场景对应的命中结果。电子设备可以将当前批次的检索词输入至组件化的策略场景对应的检索模块和非组件化 的策略场景对应的检索模块中；通过组件化的策略场景对应的检索模块获取至少一个组件化的策略场景对应的命中结果；通过非组件化的策略场景对应的检索模块获取至少一个非组件化的策略场景对应的命中结果；其中，命中结果包括：被命中或者未被命中。例如，1表示被命中，0表示未被命中。本申请实施例中的组件化的策略场景对应的检索模块可以为选取检索(Acquisition Search，AS)模块；非组件化的策略场景对应的检索模块可以是除上述AS模块以外的其他模块。
S204、基于该至少一个组件化的策略场景和/或该至少一个非组件化的策略场景对应的命中结果，确定检索词与策略场景的对应关系；重复执行上述操作，直到多个策略场景的维度分布满足收敛条件。
在本步骤中，电子设备可以基于该至少一个组件化的策略场景和/或该至少一个非组件化的策略场景对应的命中结果，确定检索词与策略场景的对应关系；重复执行上述操作，直到多个策略场景的维度分布满足收敛条件。组件化的策略场景对应的命中结果包括：被命中或者未被命中；非组件化的策略场景对应的命中结果也包括：被命中或者未被命中。例如，1表示被命中，0表示未被命中。因此，电子设备基于上述组件化的策略场景对应的命中结果和/或上述非组件化的策略场景对应的命中结果，确定检索词与策略场景的对应关系。
S205、基于预先确定的N个检索词与用户场景的对应关系，以及N个检索词与策略场景的对应关系，得到每个检索词对应的用户场景和策略场景。
S206、基于每个检索词对应的用户场景和策略场景，对电子地图进行测试。
在本申请的具体实施例中，一个用户场景可以对应于多个策略场景；一个策略场景也可以对应于多个用户场景，所以基于用户场景和策略场景的对应关系可以进行A×B组合定制，其中，A为用户场景的数量，B为策略场景的数量；然后基于用户场景和策略场景的A×B组合定制能力，对电子地图进行功能测试、专项场景差异测试、专项场景性能测试或者专项场景稳定性测试。下面针对上述多个测试进行详细说明：(1)功能测试：依据上述提供的用户场景和策略场景的A×B组合定制能力，可根据项目改动做抽象，按需要定制特定用户场景和策略场景的系统级入口明文词表，此方法用于反推功能测试实例。另外，已定制的功能测试实例，也可以根据策略场景的命中结果判断有没有未覆盖的策略，辅助设计实例对项目改动的覆盖情况，辅助补充未覆盖策略的测试实例。(2)专项场景差异测试：依据上述提供的用户场景和策略场景的A×B组合定制能力，可根据项目改动做抽象，按需要定制特定 用户场景和策略场景的子系统级入口mcpack词表，对接差异测试平台(diff平台)或者第三级差异测试流水线(top3-diff流水线)，执行专项场景差异测试。专项场景差异测试的词表与默认词表相比，核心测试的覆盖率提升6％，分支测试的覆盖率提升3％。(3)专项场景性能和稳定性测试：依据上述提供的用户场景和策略场景的A×B组合定制能力，可根据项目改动做抽象，按需要定制特定的用户场景和策略场景的子系统级入口mcpack词表，并自动推送至性能平台，执行专项场景性能测试和专项场景稳定性测试。经过覆盖率验证的会话(session)大词表可为沙盒预上线环境提供天级压测词表更新补给，以稳定例行10个月，填补了检索性能测试无持续引流方案的空白。另外，通过定制特定的用户场景和策略场景的压测词表，可辅助定位项目变更导致的性能问题。
本申请实施例提出的电子地图的测试方法，先通过电子地图获取用户输入的N个检索词；然后确定N个检索词与策略场景的对应关系；再基于预先确定的N个检索词与用户场景的对应关系，以及N个检索词与策略场景的对应关系，得到每个检索词对应的用户场景和策略场景；最后基于每个检索词对应的用户场景和策略场景，对电子地图进行测试。也就是说，本申请可以建立每个检索词与用户场景和策略场景的对应关系，然后基于每个检索词与用户场景和策略场景的对应关系对电子地图进行测试。当一个用户场景或者策略场景发生改动时，即可快速地获知该用户场景或者策略场景相关的检索词；同样地，当一个检索词发生改动时，也可快速地获知该检索词相关的用户场景或者策略场景，从而可以针对不同的策略场景实现更加精细准确地测试。而在电子地图的测试方法中，通常采用功能测试、性能测试或者差异测试等方案，但是上述方案无法全面、充分、高效、精准地测试。本申请采用了建立每个检索词与用户场景和策略场景的对应关系，以及基于每个检索词对应的用户场景和策略场景对电子地图进行测试的技术手段，克服了相关技术中的功能测试缺少细粒度的策略划分和场景的覆盖度衡量，测试完整性无法保证的技术问题；性能测试中词表覆盖情况尚未论证，而且不存在持续提升的手段的技术问题，以及差异测试缺少针对每个策略场景的针对性抽象方案的技术问题，本申请提供的技术方案，针对不同的策略场景可以更加精细准确地进行测试，不仅可以提高测试充分度和覆盖率，还可以提高测试效率，降低测试成本；并且，本申请实施例的技术方案实现简单方便、便于普及，适用范围更广。
实施例三
图3是本申请实施例提供的另一种电子地图的测试方法的流程示意图。如图3所示，电子地图的测试方法可以包括以下步骤：
S301、通过电子地图获取用户输入的N个检索词；其中，N为大于或等于1的自然数。
S302、当多个策略场景的维度分布不满足预先设置的收敛条件时，在N个检索词中提取出M个检索词作为当前批次的检索词；其中，M为大于或等于1且小于或等于N的自然数。
S303、将当前批次的检索词输入至组件化的策略场景对应的检索模块和非组件化的策略场景对应的检索模块中。
在本步骤中，电子设备可以将当前批次的检索词输入至组件化的策略场景对应的检索模块和非组件化的策略场景对应的检索模块中。电子设备可以将当前批次的检索词输入至组件化的策略场景对应的AS模块中；将当前批次的检索词输入至组件化的策略场景对应的AS模块以外的一个或者多个检索模块中。
S304、通过组件化的策略场景对应的检索模块获取至少一个组件化的策略场景对应的命中结果；通过非组件化的策略场景对应的检索模块获取至少一个非组件化的策略场景对应的命中结果；其中，命中结果包括：被命中或者未被命中。
在本步骤中，电子设备可以通过组件化的策略场景对应的检索模块获取至少一个组件化的策略场景对应的命中结果；通过非组件化的策略场景对应的检索模块获取至少一个非组件化的策略场景对应的命中结果；其中，命中结果包括：被命中或者未被命中。电子设备在通过组件化的策略场景对应的检索模块获取至少一个组件化的策略场景对应的命中结果的过程中，可以先在服务端侧获取组件化的策略场景对应的检索模块输出的至少一个组件化的策略场景对应的调度解析结果；然后在至少一个组件化的策略场景对应的调度解析结果中提取出表示至少一个组件化的策略场景被命中或者未被命中的字段；再基于表示至少一个组件化的策略场景被命中或者未被命中的字段，确定出至少一个组件化的策略场景对应的命中结果。例如，表示至少一个组件化的策略场景被命中或者未被命中的字段可以为ret字段。此外，电子设备在通过非组件化的策略场景对应的检索模块获取至少一个非组件化的策略场景对应的命中结果的过程中，可以先在客户端侧获取非组件化的策略场景对应的检索模块输出的至少一个非组件化的策略场景对应的日志返回结果；然后基于至少一个非组件化的策略场景对应的日志返回结果，确定出至少一个非组件化的策略场景对应的命中结果。
S305、基于至少一个组件化的策略场景和/或至少一个非组件化的策略场景对应的命中结果，确定检索词与策略场景的对应关系；重复执行上述操作，直到多个策略场景的维度分布满足收敛条件。
S306、基于预先确定的N个检索词与用户场景的对应关系，以及N个检索词与策略场景的对应关系，得到每个检索词对应的用户场景和策略场景。
S307、基于每个检索词对应的用户场景和策略场景，对电子地图进行测试。
本申请实施例提出的电子地图的测试方法，先通过电子地图获取用户输入的N个检索词；然后确定N个检索词与策略场景的对应关系；再基于预先确定的N个检索词与用户场景的对应关系，以及N个检索词与策略场景的对应关系，得到每个检索词对应的用户场景和策略场景；最后基于每个检索词对应的用户场景和策略场景，对电子地图进行测试。也就是说，本申请可以建立每个检索词与用户场景和策略场景的对应关系，然后基于每个检索词与用户场景和策略场景的对应关系对电子地图进行测试。当一个用户场景或者策略场景发生改动时，即可快速地获知该用户场景或者策略场景相关的检索词；同样地，当一个检索词发生改动时，也可快速地获知该检索词相关的用户场景或者策略场景，从而可以针对不同的策略场景实现更加精细准确地测试。而在电子地图的测试方法中，通常采用功能测试、性能测试或者差异测试等方案，但是上述方案无法全面、充分、高效、精准地测试。本申请采用了建立每个检索词与用户场景和策略场景的对应关系，以及基于每个检索词对应的用户场景和策略场景对电子地图进行测试的技术手段，克服了相关技术中的功能测试缺少细粒度的策略划分和场景的覆盖度衡量，测试完整性无法保证的技术问题；性能测试中词表覆盖情况尚未论证，而且不存在持续提升的手段的技术问题，以及差异测试缺少针对每个策略场景的针对性抽象方案的技术问题，本申请提供的技术方案，针对不同的策略场景可以更加精细准确地进行测试，不仅可以提高测试充分度和覆盖率，还可以提高测试效率，降低测试成本；并且，本申请实施例的技术方案实现简单方便、便于普及，适用范围更广。
实施例四
图4是本申请实施例提供的一种电子地图的测试装置的结构示意图。如图4所示，所述装置400包括：输入模块401、确定模块402、关联模块403和测试模块404；其中，所述输入模块401，设置为通过电子地图获取用户输入的N个检索词；其中，N为大于或等于1的自然数；所述确定模块402， 设置为确定N个检索词与策略场景的对应关系；所述关联模块403，设置为基于预先确定的N个检索词与用户场景的对应关系，以及N个检索词与策略场景的对应关系，得到每个检索词对应的用户场景和策略场景；所述测试模块404，设置为基于每个检索词对应的用户场景和策略场景，对所述电子地图进行测试。
图5是本申请实施例提供的一种确定模块的结构示意图。如图5所示，在所述策略场景的数量为多个的情况下，所述确定模块402包括：提取子模块4021、命中子模块4022和确定子模块4023；其中，所述提取子模块4021，设置为当多个策略场景的维度分布不满足预先设置的收敛条件时，在所述N个检索词中提取出M个检索词作为当前批次的检索词；其中，M为大于或等于1且小于或等于N的自然数；所述命中子模块4022，设置为基于所述当前批次的检索词得到至少一个组件化的策略场景和/或至少一个非组件化的策略场景对应的命中结果；所述确定子模块4023，设置为基于所述至少一个组件化的策略场景和/或所述至少一个非组件化的策略场景对应的命中结果，确定检索词与策略场景的对应关系；重复执行上述操作，直到多个策略场景的维度分布满足所述收敛条件。
所述命中子模块4022，设置为将所述当前批次的检索词输入至组件化的策略场景对应的检索模块和非组件化的策略场景对应的检索模块中；通过所述组件化的策略场景对应的检索模块获取至少一个组件化的策略场景对应的命中结果；通过所述非组件化的策略场景对应的检索模块获取至少一个非组件化的策略场景对应的命中结果；其中，所述命中结果包括：被命中或者未被命中。
所述命中子模块4022，设置为在服务端侧获取所述组件化的策略场景对应的检索模块输出的至少一个组件化的策略场景对应的调度解析结果；在至少一个组件化的策略场景对应的调度解析结果中提取出表示至少一个组件化的策略场景被命中或者未被命中的字段；基于表示至少一个组件化的策略场景被命中或者未被命中的字段，确定出至少一个组件化的策略场景对应的命中结果。
所述命中子模块4022，设置为在客户端侧获取所述非组件化的策略场景对应的检索模块输出的至少一个非组件化的策略场景对应的日志返回结果；基于至少一个非组件化的策略场景对应的日志返回结果，确定出至少一个非组件化的策略场景对应的命中结果。
所述测试模块404，设置为基于每个检索词对应的用户场景和策略场景，得到目标测试项目对应的预定格式的入口词表；其中，所述目标测试项目包 括但不限于以下至少之一：功能测试、专项场景差异测试、专项场景性能测试和专项场景稳定性测试；将所述目标测试项目对应的预定格式的入口词表对接所述目标测试项目对应的测试流水线，得到所述电子地图在所述目标测试项目中的测试结果。
上述电子地图的测试装置可执行本申请任意实施例所提供的方法，具备执行方法相应的功能模块和效果。未在本实施例中详尽描述的技术细节，可参见本申请任意实施例提供的电子地图的测试方法。
本申请的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
实施例五
根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图6是本申请实施例提供的一种用来实现电子地图的测试方法的电子设备的框图。电子设备600旨在表示多种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备600还可以表示多种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示，电子设备600包括计算单元601，其可以根据存储在只读存储器(Read-Only Memory，ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(Random Access Memory，RAM)603中的计算机程序，来执行多种适当的动作和处理。在RAM 603中，还可存储电子设备600操作所需的多种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(Input/Output，I/O)接口605也连接至总线604。
电子设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如多种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许电子设备600通过诸如因特网的计算机网络和/或多种电信网络与其他设备交换信息/数据。
计算单元601可以是多种具有处理和计算能力的通用和/或专用处理组 件。计算单元601的一些示例包括但不限于中央处理单元(Central Processing Unit，CPU)、图形处理单元(Graphics Processing Unit，GPU)、多种专用的人工智能(Artificial Intelligence，AI)计算芯片、多种运行机器学习模型算法的计算单元、数字信号处理器(Digital Signal Processor，DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的方法和处理，例如电子地图的测试方法。例如，在一些实施例中，电子地图的测试方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到电子设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的电子地图的测试方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行电子地图的测试方法。
本文中以上描述的系统和技术的多种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(Field Programmable Gate Array，FPGA)、专用集成电路(Application Specific Integrated Circuit，ASIC)、专用标准产品(Application Specific Standard Parts，ASSP)、芯片上系统的系统(System on Chip，SoC)、复杂可编程逻辑设备(Complex Programming Logic Device，CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些多种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可 读存储介质的示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：设置为向用户显示信息的显示装置(例如，阴极射线管(Cathode Ray Tube，CRT)或者液晶显示器(Liquid Crystal Display，LCD)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以设置为提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)、区块链网络和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与虚拟专用服务器(Virtual Private Server，VPS)服务中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
可以使用上面所示的多种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的多个步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

Claims (15)

  1. 一种电子地图的测试方法，包括：
    通过电子地图获取用户输入的N个检索词；其中，N为大于或等于1的自然数；
    确定所述N个检索词与策略场景的对应关系；
    基于预先确定的所述N个检索词与用户场景的对应关系，以及所述N个检索词与策略场景的对应关系，得到每个检索词对应的用户场景和策略场景；
    基于每个检索词对应的用户场景和策略场景，对所述电子地图进行测试。
  2. 根据权利要求1所述的方法，其中，在所述策略场景的数量为多个的情况下，所述确定所述N个检索词与策略场景的对应关系，包括：
    在多个策略场景的维度分布不满足预先设置的收敛条件的情况下，在所述N个检索词中提取出M个检索词作为当前批次的检索词；其中，M为大于或等于1且小于或等于N的自然数；
    基于所述当前批次的检索词得到以下至少之一：至少一个组件化的策略场景对应的命中结果、至少一个非组件化的策略场景对应的命中结果；
    基于得到的命中结果，确定所述当前批次的检索词与策略场景的对应关系；重复执行上述操作，直到所述多个策略场景的维度分布满足所述收敛条件。
  3. 根据权利要求2所述的方法，其中，所述基于所述当前批次的检索词得到以下至少之一：至少一个组件化的策略场景对应的命中结果、至少一个非组件化的策略场景对应的命中结果，包括：
    将所述当前批次的检索词输入至组件化的策略场景对应的检索模块和非组件化的策略场景对应的检索模块中；
    通过所述组件化的策略场景对应的检索模块获取所述至少一个组件化的策略场景对应的命中结果；通过所述非组件化的策略场景对应的检索模块获取所述至少一个非组件化的策略场景对应的命中结果；其中，所述命中结果包括：被命中或者未被命中。
  4. 根据权利要求3所述的方法，其中，所述通过所述组件化的策略场景对应的检索模块获取所述至少一个组件化的策略场景对应的命中结果，包括：
    在服务端侧获取所述组件化的策略场景对应的检索模块输出的所述至少一个组件化的策略场景对应的调度解析结果；
    在所述至少一个组件化的策略场景对应的调度解析结果中提取出表示所述至少一个组件化的策略场景被命中或者未被命中的字段；
    基于所述表示所述至少一个组件化的策略场景被命中或者未被命中的字段，确定出所述至少一个组件化的策略场景对应的命中结果。
  5. 根据权利要求3所述的方法，其中，所述通过所述非组件化的策略场景对应的检索模块获取所述至少一个非组件化的策略场景对应的命中结果，包括：
    在客户端侧获取所述非组件化的策略场景对应的检索模块输出的所述至少一个非组件化的策略场景对应的日志返回结果；
    基于所述至少一个非组件化的策略场景对应的日志返回结果，确定出所述至少一个非组件化的策略场景对应的命中结果。
  6. 根据权利要求1所述的方法，其中，所述基于每个检索词对应的用户场景和策略场景，对所述电子地图进行测试，包括：
    基于每个检索词对应的用户场景和策略场景，得到目标测试项目对应的预定格式的入口词表；其中，所述目标测试项目包括以下至少之一：功能测试、专项场景差异测试、专项场景性能测试和专项场景稳定性测试；
    将所述目标测试项目对应的预定格式的入口词表对接所述目标测试项目对应的测试流水线，得到所述电子地图在所述目标测试项目中的测试结果。
  7. 一种电子地图的测试装置，包括：输入模块、确定模块、关联模块和测试模块；其中，
    所述输入模块，设置为通过电子地图获取用户输入的N个检索词；其中，N为大于或等于1的自然数；
    所述确定模块，设置为确定所述N个检索词与策略场景的对应关系；
    所述关联模块，设置为基于预先确定的所述N个检索词与用户场景的对应关系，以及所述N个检索词与策略场景的对应关系，得到每个检索词对应的用户场景和策略场景；
    所述测试模块，设置为基于每个检索词对应的用户场景和策略场景，对所述电子地图进行测试。
  8. 根据权利要求7所述的装置，其中，在所述策略场景的数量为多个的情况下，所述确定模块包括：提取子模块、命中子模块和确定子模块；
    所述提取子模块，设置为在多个策略场景的维度分布不满足预先设置的收敛条件的情况下，在所述N个检索词中提取出M个检索词作为当前批次的检索词；其中，M为大于或等于1且小于或等于N的自然数；
    所述命中子模块，设置为基于所述当前批次的检索词得到以下至少之一：至少一个组件化的策略场景对应的命中结果、至少一个非组件化的策略场景对 应的命中结果；
    所述确定子模块，设置为基于得到的命中结果，确定所述当前批次的检索词与策略场景的对应关系；重复执行上述操作，直到所述多个策略场景的维度分布满足所述收敛条件。
  9. 根据权利要求8所述的装置，其中，所述命中子模块，设置为：
    将所述当前批次的检索词输入至组件化的策略场景对应的检索模块和非组件化的策略场景对应的检索模块中；
    通过所述组件化的策略场景对应的检索模块获取所述至少一个组件化的策略场景对应的命中结果；通过所述非组件化的策略场景对应的检索模块获取所述至少一个非组件化的策略场景对应的命中结果；其中，所述命中结果包括：被命中或者未被命中。
  10. 根据权利要求9所述的装置，其中，所述命中子模块，设置为通过如下方式通过所述组件化的策略场景对应的检索模块获取所述至少一个组件化的策略场景对应的命中结果：
    在服务端侧获取所述组件化的策略场景对应的检索模块输出的所述至少一个组件化的策略场景对应的调度解析结果；
    在所述至少一个组件化的策略场景对应的调度解析结果中提取出表示所述至少一个组件化的策略场景被命中或者未被命中的字段；
    基于所述表示所述至少一个组件化的策略场景被命中或者未被命中的字段，确定出所述至少一个组件化的策略场景对应的命中结果。
  11. 根据权利要求9所述的装置，其中，所述命中子模块，设置为通过如下方式通过所述非组件化的策略场景对应的检索模块获取所述至少一个非组件化的策略场景对应的命中结果：
    在客户端侧获取所述非组件化的策略场景对应的检索模块输出的所述至少一个非组件化的策略场景对应的日志返回结果；
    基于所述至少一个非组件化的策略场景对应的日志返回结果，确定出所述至少一个非组件化的策略场景对应的命中结果。
  12. 根据权利要求7所述的装置，其中，所述测试模块，设置为：
    基于每个检索词对应的用户场景和策略场景，得到目标测试项目对应的预定格式的入口词表；其中，所述目标测试项目包括以下至少之一：功能测试、专项场景差异测试、专项场景性能测试和专项场景稳定性测试；
    将所述目标测试项目对应的预定格式的入口词表对接所述目标测试项目对 应的测试流水线，得到所述电子地图在所述目标测试项目中的测试结果。
  13. 一种电子设备，包括：
    至少一个处理器；以及
    与所述至少一个处理器通信连接的存储器；其中，
    所述存储器设置为存储可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的电子地图的测试方法。
  14. 一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的电子地图的测试方法。
  15. 一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的电子地图的测试方法。
PCT/CN2021/104795 2021-03-22 2021-07-06 电子地图的测试方法、装置、电子设备及存储介质 WO2022198835A1 (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020227019059A KR20220133856A (ko) 2021-03-22 2021-07-06 전자 지도의 테스트 방법, 장치, 전자 설비 및 저장 매체
US17/757,773 US20230304828A1 (en) 2021-03-22 2021-07-06 Method and apparatus for testing an electronic map and storage medium
JP2022531523A JP2023522516A (ja) 2021-03-22 2021-07-06 電子地図のテスト方法、装置、電子機器、および記憶媒体
EP21895911.2A EP4092538A4 (en) 2021-03-22 2021-07-06 METHOD AND DEVICE FOR TESTING AN ELECTRONIC CARD AND ELECTRONIC DEVICE AND STORAGE MEDIUM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110302416.9 2021-03-22
CN202110302416.9A CN113032258B (zh) 2021-03-22 2021-03-22 一种电子地图的测试方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
WO2022198835A1 true WO2022198835A1 (zh) 2022-09-29

Family

ID=76472332

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/104795 WO2022198835A1 (zh) 2021-03-22 2021-07-06 电子地图的测试方法、装置、电子设备及存储介质

Country Status (6)

Country Link
US (1) US20230304828A1 (zh)
EP (1) EP4092538A4 (zh)
JP (1) JP2023522516A (zh)
KR (1) KR20220133856A (zh)
CN (1) CN113032258B (zh)
WO (1) WO2022198835A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113032258B (zh) * 2021-03-22 2022-11-25 北京百度网讯科技有限公司 一种电子地图的测试方法、装置、电子设备及存储介质
CN114338472B (zh) * 2021-12-31 2024-05-07 北京百度网讯科技有限公司 地图服务器的容量测试方法、装置、设备、介质及产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140059060A1 (en) * 2012-08-22 2014-02-27 Institute For Information Industry Systems and methods for presenting point of interest (poi) information in an electronic map, and storage medium
CN103631813A (zh) * 2012-08-24 2014-03-12 富士通株式会社 场所搜索装置、场所搜索方法以及电子设备
CN110388933A (zh) * 2019-07-22 2019-10-29 上海图聚智能科技股份有限公司 兴趣点搜索方法、装置、服务器及存储介质
CN111737127A (zh) * 2020-06-19 2020-10-02 北京百度网讯科技有限公司 用于测试地图服务的方法和装置
CN112015845A (zh) * 2020-09-29 2020-12-01 北京百度网讯科技有限公司 地图检索测试的方法、装置、设备以及存储介质
CN113032258A (zh) * 2021-03-22 2021-06-25 北京百度网讯科技有限公司 一种电子地图的测试方法、装置、电子设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101691245B1 (ko) * 2012-05-11 2017-01-09 삼성에스디에스 주식회사 웹 서비스 모니터링 시스템 및 방법
KR20140053542A (ko) * 2012-10-26 2014-05-08 삼성전자주식회사 내장형 소프트웨어의 자동 테스트 장치, 자동 테스트 방법 및 테스트 시나리오 작성방법
WO2015017726A1 (en) * 2013-07-31 2015-02-05 The Regents Of The University Of California App to build maps of research findings
CN105808627A (zh) * 2014-12-31 2016-07-27 高德软件有限公司 Poi信息更新、检索、poi数据包生成方法及装置
US20170168922A1 (en) * 2015-12-09 2017-06-15 International Business Machines Corporation Building coverage metrics and testing strategies for mobile testing via view enumeration
CN106909665A (zh) * 2017-02-28 2017-06-30 兰州大学淮安高新技术研究院 一种基于本体的专利检索方法
US11341257B1 (en) * 2018-09-21 2022-05-24 Palantir Technologies Inc. Query indexing with permissions integration and federated search
CN112256552B (zh) * 2020-12-22 2021-10-08 智道网联科技(北京)有限公司 地图引擎的压力测试方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140059060A1 (en) * 2012-08-22 2014-02-27 Institute For Information Industry Systems and methods for presenting point of interest (poi) information in an electronic map, and storage medium
CN103631813A (zh) * 2012-08-24 2014-03-12 富士通株式会社 场所搜索装置、场所搜索方法以及电子设备
CN110388933A (zh) * 2019-07-22 2019-10-29 上海图聚智能科技股份有限公司 兴趣点搜索方法、装置、服务器及存储介质
CN111737127A (zh) * 2020-06-19 2020-10-02 北京百度网讯科技有限公司 用于测试地图服务的方法和装置
CN112015845A (zh) * 2020-09-29 2020-12-01 北京百度网讯科技有限公司 地图检索测试的方法、装置、设备以及存储介质
CN113032258A (zh) * 2021-03-22 2021-06-25 北京百度网讯科技有限公司 一种电子地图的测试方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
EP4092538A1 (en) 2022-11-23
EP4092538A4 (en) 2023-10-25
US20230304828A1 (en) 2023-09-28
CN113032258B (zh) 2022-11-25
CN113032258A (zh) 2021-06-25
JP2023522516A (ja) 2023-05-31
KR20220133856A (ko) 2022-10-05

Similar Documents

Publication Publication Date Title
WO2022198835A1 (zh) 电子地图的测试方法、装置、电子设备及存储介质
EP3958130A1 (en) Intelligent software testing
US10339035B2 (en) Test DB data generation apparatus
EP4141697A1 (en) Method and apparatus of processing triple data, method and apparatus of training triple data processing model, device, and medium
JP2023007369A (ja) 翻訳方法、分類モデルの訓練方法、装置、デバイス及び記憶媒体
US20220128372A1 (en) Method for path planning, electronic device and storage medium
CN113849581A (zh) 告警信息的处理方法、装置、设备和存储介质
EP4246365A1 (en) Webpage identification method and apparatus, electronic device, and medium
CN115328891A (zh) 数据迁移方法、装置、存储介质及电子设备
JP2023012541A (ja) テーブルに基づく質問応答方法、装置及び電子機器
CN114443493A (zh) 一种测试案例生成方法、装置、电子设备和存储介质
CN115455091A (zh) 数据生成方法、装置、电子设备和存储介质
CN107229487B (zh) 代码处理方法及装置
KR20220024251A (ko) 이벤트 라이브러리를 구축하는 방법 및 장치, 전자 기기, 및 컴퓨터 판독가능 매체
CN111859985A (zh) Ai客服模型测试方法、装置、电子设备及存储介质
CN110750569A (zh) 数据提取方法、装置、设备及存储介质
CN116401410B (zh) 多场景图数据库接入图谱数据的方法、装置、存储介质和设备
CN116628004B (zh) 信息查询方法、装置、电子设备及存储介质
US20210326514A1 (en) Method for generating interpretation text, electronic device and storage medium
US20230132618A1 (en) Method for denoising click data, electronic device and storage medium
EP4089592A1 (en) Method for determining annotation capability information, related apparatus and computer program product
US20220374603A1 (en) Method of determining location information, electronic device, and storage medium
CN116306964A (zh) 样本数据的生成方法和装置
CN113962382A (zh) 训练样本的构建方法、装置、电子设备和可读存储介质
CN116361556A (zh) 一种调查问卷推送方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2022531523

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2021895911

Country of ref document: EP

Effective date: 20220530

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21895911

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE