WO2020006878A1 - 语音识别测试方法、装置、计算机设备及存储介质 - Google Patents

语音识别测试方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
WO2020006878A1
WO2020006878A1 PCT/CN2018/106256 CN2018106256W WO2020006878A1 WO 2020006878 A1 WO2020006878 A1 WO 2020006878A1 CN 2018106256 W CN2018106256 W CN 2018106256W WO 2020006878 A1 WO2020006878 A1 WO 2020006878A1
Authority
WO
WIPO (PCT)
Prior art keywords
speech recognition
voice
target platform
word
recognition model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2018/106256
Other languages
English (en)
French (fr)
Inventor
岳鹏昱
李秀丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of WO2020006878A1 publication Critical patent/WO2020006878A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/01—Assessment or evaluation of speech recognition systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Definitions

  • the present application relates to the field of speech recognition technology, and in particular, to a speech recognition test method, device, computer equipment, and storage medium.
  • speech recognition technology has been widely used.
  • Many platforms can provide voice recognition service interfaces to external users. Users can use the voice recognition function of each platform through the service interface provided by the platform.
  • the speech recognition models used on different platforms generally have differences, which results in the same sound file recognition results on different platforms are often different, sometimes even very different. Therefore, when the platform develops a speech recognition model, it is necessary to test the speech recognition effect of different platforms and compare it with itself, and analyze the advantages and disadvantages in order to better improve the platform's speech recognition function.
  • a speech recognition test method includes:
  • a voice recognition test device includes:
  • a platform determination module configured to determine each target platform to be voice tested
  • a file text obtaining module configured to obtain each voice file used for testing and a standard text corresponding to each voice file
  • a voice recognition module for invoking a voice recognition service interface of each target platform, sending each of the voice files to each target platform for voice recognition, and obtaining a recognition result output by each target platform;
  • the word error rate calculation module is configured to calculate, for each of the target platforms, the word error rate corresponding to each voice file on the target platform according to the recognition result corresponding to each voice file and the corresponding standard text;
  • the first report generating module is configured to generate a first test report of a voice test according to a word error rate corresponding to each voice file on each target platform.
  • a computer device includes a memory, a processor, and computer-readable instructions stored in the memory and executable on the processor.
  • the processor implements the computer-readable instructions to implement the voice recognition test method described above. A step of.
  • One or more nonvolatile readable storage media storing computer readable instructions, the computer readable storage medium storing computer readable instructions, so that the one or more processors execute the above-mentioned speech recognition test method step.
  • FIG. 1 is a schematic diagram of an application environment of a speech recognition test method according to an embodiment of the present application
  • FIG. 2 is a flowchart of a speech recognition test method according to an embodiment of the present application.
  • FIG. 3 is a schematic flowchart of a speech recognition test method step S105 in an application scenario according to an embodiment of the present application
  • FIG. 4 is a schematic flowchart of a method for testing a speech recognition model on a target platform in an application scenario of a speech recognition test method according to an embodiment of the present application;
  • FIG. 5 is a schematic flowchart of a method for determining a weakly supported area of a speech recognition model in a speech recognition test method according to an embodiment of the present application
  • FIG. 6 is a schematic structural diagram of a speech recognition test apparatus according to an embodiment of the present application.
  • FIG. 7 is a schematic diagram of a computer device in an embodiment of the present application.
  • the speech recognition test method provided in this application can be implemented through a speech test platform, and can be applied in the application environment shown in FIG. 1, where the server of the speech test platform communicates with the servers of each target platform through the network.
  • the server may be implemented by an independent server or a server cluster composed of multiple servers.
  • a voice recognition test method is provided.
  • the method is applied to the server of the voice test platform in FIG. 1 as an example, and includes the following steps:
  • each target platform is a plurality of different speech recognition platforms, which is beneficial to compare the speech recognition effects of these target platforms horizontally.
  • the voice test platform of this solution can provide an interface window for the tester to choose. In the test window, the tester can specifically select which target platforms are targeted for this test. In a voice test, one can choose one, Two or more target platforms.
  • each voice file used for testing and the standard text corresponding to these voice files can be collected in advance and stored on the voice test platform. Of course, it can also be manually uploaded by the tester before the start of this voice test Or it can be obtained from other databases through the network, which is not specifically limited in this embodiment.
  • the standard text refers to the text content corresponding to the audio content of the voice file.
  • the standard text has been revised and confirmed before the voice test to ensure the text content and the content expressed by the audio of the corresponding voice file. Consistent.
  • S103 Call the voice recognition service interface of each target platform, send each of the voice files to each target platform for voice recognition, and obtain the recognition results output by each target platform;
  • each target platform of the voice test After determining each target platform of the voice test and obtaining the various voice files and standard texts for the test, the voice recognition service interface of each target platform can be called, and each of the voice files is sent to each target platform for voice recognition. . It can be understood that each target platform provides a voice recognition service interface to the outside. By connecting these interfaces, the voice test platform of this solution can use the voice recognition function provided by each target platform. After sending each voice file to each target platform, each voice file will complete the transliteration of words in each target platform, and then each target platform will output the recognition result corresponding to each voice file, that is, the recognized text.
  • each voice file may also be pre-processed, such as noise reduction processing.
  • the tester can manually select whether to reduce noise and the specific processing method of noise reduction; or the voice test platform can also set the default noise reduction processing method and perform noise reduction processing on each voice file by default.
  • the recognition result corresponding to the voice file may be compared with the standard text corresponding to the voice file, and the word error rate of the recognition result relative to the standard text, that is, the error ratio of the text content may be calculated.
  • the word error rate corresponding to each voice file needs to be calculated separately. Therefore, assuming a total of N voice files participating in this voice test and M target platforms, the number of word error rates calculated for each target platform is N, and a total of M * N needs to be calculated for M target platforms Rate of wrong words.
  • S105 Generate a first test report of the voice test according to a word error rate corresponding to each voice file on each target platform.
  • this voice test is basically completed, and finally a first test report of this voice test needs to be generated and provided to the tester for reference.
  • the specific content of the first test report can be determined according to the actual situation. For example, if the focus of this speech test is the ranking of the average word error rate of each target platform, the word error rate of each target platform can be calculated according to the word error rate corresponding to each voice file on each target platform, and then based on The platform's word error rate ranks each target platform from large to small or from small to large, and is reflected in the first test report generated. In this way, the tester can clearly know the pros and cons of each target platform in terms of word error rate by viewing the first test report.
  • the step S105 may specifically include:
  • the platform word error rate of the target platform may specifically be an average value of the word error rates corresponding to each voice file. Assuming there are N voice files, each The word error rate corresponding to the voice file is expressed as Wn, then the platform word error rate of the target platform is equal to (W1 + W2 + ... Wn) / N.
  • the preset sorting rule may specifically be sorted according to the preset platform order of the target platform, or may be sorted according to the word error rate of the platform. It is understandable that in this voice test, testers may pay more attention to the word error rate of some well-known platforms. Therefore, testers can preset the ordering among various platforms and prioritize the platforms that focus on. The other platforms are sorted later, so that the first test report generated can more prominently reflect the word error rate of several platforms that the testers focus on. Or, if the tester wishes to compare and see which target platforms have higher or lower word error rates among the target platforms, by sorting by the word error rate of the platforms, the first test report generated at last can reflect each target platform more prominently. Pros and cons in terms of platform word errors.
  • step S203 it can be known that after sorting the platform word error rates corresponding to each target platform, the platform word error rates corresponding to each target platform and the corresponding target platform information can be imported into the first test according to the sorted order. In the report.
  • the speech recognition test method of this embodiment can analyze the platform word error rate of each target platform, and rank each target platform according to a preset sorting rule. In this way, the tester can use the platform word error rate Comparing the pros and cons of speech recognition services on these target platforms makes the horizontal comparison between each target platform more prominent and efficient.
  • the method can also specify a specific speech recognition model on the platform for testing during testing.
  • the voice recognition test method further includes:
  • S301 Determine designated speech recognition models of the target platforms, respectively.
  • step S301 it can be understood that during this voice test, it is possible to specify which specific voice recognition model is used for testing on each target platform, and the designated voice recognition model is the above-mentioned designated voice recognition model.
  • these specified speech recognition models can be specified by the speech test platform, or the testers can manually select the speech recognition model on each target platform as the specified speech recognition model, and each target platform can also specify the speech recognition model by itself. Not specifically limited.
  • Step S302 is similar to the above step S103.
  • the speech recognition service interface of each target platform When the speech recognition service interface of each target platform is called to perform speech recognition on each of the voice files, it can be sent to a specified speech recognition model on each target platform for recognition, and can be obtained after recognition. Recognized text feedback from each target platform.
  • step S303 after obtaining the recognition text output by each target platform, similar to the above step S104, the corresponding corresponding text of the specified speech recognition model on each target platform can be calculated according to the recognition text corresponding to each voice file and the corresponding standard text. Misspelling rate.
  • step S304 after obtaining the word error rate corresponding to the specified speech recognition model on each target platform, the same as the above step S105, a second test report of the speech test can be generated from this.
  • the difference from step S105 is that the second test report generated in step S304 is mainly for the specified speech recognition model on each target platform.
  • the second test report focuses on the horizontal comparison of the specified speech recognition models on different platforms. The differences and advantages and disadvantages, therefore, the generated second test report needs to reflect the word error rate corresponding to each specified speech recognition model.
  • the method can determine not only the target platform from the first dimension (that is, the platform dimension), but also the second dimension (that is, the dimension of the speech recognition model on the platform) during the voice test.
  • the speech recognition model under each target platform is determined in two dimensions, so that the results of this speech test can reflect the effects and advantages of specific speech recognition models.
  • the voice recognition test method may further include:
  • the weakly supported field refers to that the effect of the speech recognition model on speech recognition has not reached the expected value. Sphere of words.
  • steps S401 to S404 are processes performed for each designated speech recognition model respectively. For convenience of explanation, the following description of steps S401 to S404 will not be emphasized.
  • step S401 similar to step S103, it can be understood that each of the voice files is input into the designated voice recognition model for voice recognition. After recognition, the designated voice recognition models output corresponding recognition texts to obtain the recognition texts.
  • step S402 after obtaining the recognition text corresponding to each voice file, comparing these recognition texts with the corresponding standard text, it can be known which texts in the standard text are inconsistent with the recognition text, and the words in the standard text that are not consistent with the recognition text Can be considered as the error-prone word of the standard text.
  • the error-prone words mentioned here refer to the text content that is easy to identify errors.
  • step S403 it can be understood that different texts have their word fields.
  • texts such as BYD, BMW, Mercedes, and four-wheel drive belong to the word field of automobiles; seven words, quiet night thinking, and watching the sea Belongs to the field of words of poetry. Therefore, after the error-prone words of each of the standard texts are determined, the word field to which these error-prone words belong can be further determined.
  • the word field of the error-prone words can be determined through a network search method. When a result cannot be obtained through the network search, it can be provided to a designated worker for manual confirmation, which is not limited in this embodiment.
  • the error-prone words in the standard text represent that the speech recognition model has a poor recognition effect on these error-prone words. It can be understood that, because the speech recognition model is obtained by training the samples, and the selection of the samples often distinguishes between the domains, it is more common for certain speech recognition models to have “partial subjects”. For example, the samples used for training a speech recognition model are all text in the field of poetry, and the text in the field rarely contains numerical values. Therefore, the error-prone words recognized by the speech recognition model in standard text are likely to be numerical texts, such as "Is mistakenly identified as" 1 mind and 1 mind ", and the error word” one "is determined by the standard text of" 1 mind and 1 mind ".
  • the recognition text also has a similar situation, that is, other speech files.
  • the error-prone words of the corresponding standard text also contain numerical values, it can be determined that the speech recognition model has weak support for numerical word fields.
  • the weak support field refers to a word field where the effect of the speech recognition model on speech recognition has not reached the desired value. Specifically, the recognition accuracy rate of the weak support field for the speech recognition model is below a preset threshold.
  • the weakly supported field of a specified language recognition model may be determined by the following steps:
  • determining the determined word field as a weakly supported field of the specified speech recognition model is specifically: determining the word field to which the error-prone word of the target standard text belongs Specify a weakly supported field for the speech recognition model.
  • a model word error rate when the specified speech recognition model recognizes each of the speech files may be calculated according to the recognized text and corresponding standard text corresponding to each of the speech files.
  • the model word error rate refers to the word error rate of this speech recognition model when recognizing a certain speech file. It should be noted that step S501 needs to calculate the model word error rate when a speech recognition model recognizes each speech file. Assuming there are N speech files, for a speech recognition model, it is necessary to calculate N model word errors. rate.
  • step S502 it can be understood that when the model word error rate of a certain voice file exceeds a preset word error rate threshold, it can be considered that the word recognition rate when the voice recognition model recognizes the voice file is too high, that is, the recognition is accurate The rate is too low, which reflects that the recognition rate of the speech recognition model is too low when recognizing the word field described in this speech file. Therefore, after screening the speech files whose word error rate exceeds a preset word error threshold, , The weakly supported areas of the speech recognition model can be confirmed based on the filtered speech files.
  • step S503 it is easy to understand that after the voice file is filtered, it is easy to determine the standard text corresponding to it.
  • the recognition result obtained in the above step S103 may further include a recognition time corresponding to each voice file, and the recognition time refers to a time required for the platform to perform voice recognition on a certain voice file. It is understandable that the recognition time and the word error rate are often relative. When optimizing the speech recognition model, it is necessary to consider the model's word error rate and recognition speed first. Generally speaking, the shorter the recognition time, that is, the faster the recognition speed, the higher the rate of word errors; on the other hand, the lower the rate, the higher the accuracy rate, the slower the recognition speed and the longer the recognition time. long.
  • the identification time of each target platform can be added to the first test report, so that the first test report can reflect the time consumption of each target platform when providing speech recognition services, and the tester can As a reference factor for evaluating the platform's speech recognition capabilities.
  • the voice recognition test method may further include: sending the test report to a pre-designated target terminal.
  • the target terminal can be set in advance, for example, an email address is set. After the test report is generated, the test report is automatically sent to the email address by email, so that the tester can easily receive the test report. And make it easy for testers to view test reports.
  • the speech recognition test method provided in this embodiment does not require personnel to handle the entire speech test process, which not only improves the efficiency of the speech recognition test, but also eliminates human interference factors, and can achieve a unified standardization of test reports; in addition, By performing speech recognition tests of speech files on multiple target platforms and calculating the word error rate when each target platform recognizes these speech files, the test performance of each target platform can be compared horizontally, and the performance of the speech recognition functions of each target platform can be more intuitively reflected. Pros and cons.
  • a voice recognition test device is provided.
  • the voice recognition test device corresponds to the voice recognition test method in the above embodiment.
  • the voice recognition test apparatus includes a platform determination module 601, a document text acquisition module 602, a voice recognition module 603, a word error rate calculation module 604, and a first report generation module 605.
  • the detailed description of each function module is as follows:
  • a file text obtaining module 602 configured to obtain each voice file for testing and a standard text corresponding to each voice file;
  • a voice recognition module 603, configured to call a voice recognition service interface of each target platform, send each of the voice files to each target platform for voice recognition, and obtain a recognition result output by each target platform;
  • the word error rate calculation module 604 is configured to calculate, for each of the target platforms, a word error rate corresponding to each voice file on the target platform according to a recognition result corresponding to each voice file and a corresponding standard text;
  • the first report generating module 605 is configured to generate a first test report of a voice test according to a word error rate corresponding to each voice file on each target platform.
  • the first report generating module may include:
  • a platform word error rate calculation unit configured to calculate, for each target platform, the platform word error rate of the target platform according to the word error rate corresponding to each voice file on the target platform;
  • a sorting unit configured to sort the platform word error rate corresponding to each target platform according to a preset sorting rule after calculating the platform word error rate corresponding to each target platform;
  • An import report unit is configured to generate a blank first test report, and import the sorted word error rate corresponding to each target platform after sorting into the first test report.
  • the voice recognition test apparatus may further include:
  • a designation module determination module configured to respectively determine a designation speech recognition model of each target platform
  • a model recognition module for invoking a voice recognition service interface of each target platform, sending each of the voice files to a designated voice recognition model on each target platform for voice recognition, and obtaining recognition text output by each target platform;
  • a model word error rate calculation module configured to calculate, for each of the target platforms, the word error rate corresponding to the specified speech recognition model on each target platform according to the recognition text and corresponding standard text corresponding to each voice file;
  • the second report generating module is configured to generate a second test report of the speech test according to the word error rate corresponding to the specified speech recognition model on each target platform.
  • the voice recognition test apparatus may further include:
  • a recognition text acquisition module configured to obtain, for each specified speech recognition model, the recognition text corresponding to each of the speech files obtained after each of the speech files is input to the specified speech recognition model for speech recognition;
  • the error-prone word determination module is configured to compare the recognized text corresponding to each of the voice files with the standard text for each specified speech recognition model, and determine the error-prone words of each of the standard texts. After the recognition text is compared with the standard text, the text in the standard text is inconsistently compared;
  • a word field determination module configured to determine, for each specified speech recognition model, a word field to which each error-prone word of the standard text belongs;
  • a weak support field determination module is configured to determine, for each specified speech recognition model, the identified word field as a weak support field of the specified speech recognition model.
  • the weak support field refers to a speech recognition model used for speech. Recognize word areas that are not as effective as expected.
  • the voice recognition test apparatus may further include:
  • Each model wrong word calculation module is configured to calculate, for each specified speech recognition model, a model when the specified speech recognition model recognizes each of the speech files according to the recognized text and corresponding standard text corresponding to each of the speech files. Misspelling rate
  • a voice file screening module configured to screen, for each specified voice recognition model, the voice files whose model word error rate exceeds a preset word error rate threshold;
  • a target standard text determination module for each specified speech recognition model, determining a standard text corresponding to the filtered voice file as a target standard text
  • the weak support field determination module may be specifically configured to determine a word field to which the error-prone word of the target standard text belongs as the weak support field of the specified speech recognition model.
  • Each module in the above-mentioned speech recognition test device may be implemented in whole or in part by software, hardware, and a combination thereof.
  • the above-mentioned modules may be embedded in the hardware in or independent of the processor in the computer device, or may be stored in the memory of the computer device in the form of software, so that the processor can call and execute the operations corresponding to the above modules.
  • a computer device is provided.
  • the computer device may be a server, and its internal structure diagram may be as shown in FIG. 7.
  • the computer device includes a processor, a memory, a network interface, and a database connected through a system bus.
  • the processor of the computer device is used to provide computing and control capabilities.
  • the memory of the computer device includes a non-volatile storage medium and an internal memory.
  • the non-volatile storage medium stores an operating system, computer-readable instructions, and a database.
  • the internal memory provides an environment for the operation of the operating system and computer-readable instructions in a non-volatile storage medium.
  • the database of the computer equipment is used to store data involved in the speech recognition test method.
  • the network interface of the computer device is used to communicate with an external terminal through a network connection.
  • the computer-readable instructions are executed by a processor to implement a speech recognition test method.
  • a computer device which includes a memory, a processor, and computer-readable instructions stored on the memory and executable on the processor.
  • the processor executes the computer-readable instructions
  • the speech in the foregoing embodiment is implemented.
  • the steps of the identification test method are, for example, steps S101 to S105 shown in FIG. 2.
  • the processor executes the computer-readable instructions
  • the functions of the modules / units of the speech recognition test apparatus in the foregoing embodiment are implemented, for example, the functions of modules 601 to 605 shown in FIG. 6. To avoid repetition, we will not repeat them here.
  • a computer-readable storage medium is provided, the one or more non-volatile storage mediums storing computer-readable instructions, and the computer-readable instructions are executed by one or more processors.
  • the steps of the speech recognition test method in the foregoing method embodiment are implemented, or the one or more non-volatile readable storage media storing computer-readable instructions.
  • the computer-readable instructions are executed by one or more processors, the computer-readable instructions are executed by one or more processors to implement the functions of each module / unit in the speech recognition test apparatus in the foregoing device embodiment. To avoid repetition, we will not repeat them here.
  • Non-volatile memory may include read-only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), or flash memory.
  • Volatile memory can include random access memory (RAM) or external cache memory.
  • RAM is available in various forms, such as static RAM (SRAM), dynamic RAM (DRAM), synchronous DRAM (SDRAM), dual data rate SDRAM (DDRSDRAM), enhanced SDRAM (ESDRAM), synchronous chain (Synchlink) DRAM (SLDRAM), memory bus (Rambus) direct RAM (RDRAM), direct memory bus dynamic RAM (DRDRAM), and memory bus dynamic RAM (RDRAM).

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Telephonic Communication Services (AREA)
  • Machine Translation (AREA)

Abstract

一种语音识别测试方法、语音识别测试装置、计算机设备及存储介质，用于解决现有语音识别测试流程容易受到人为因素干扰，难以做到规范统一的问题。方法包括：确定待语音测试的各个目标平台（S101）；获取测试用的各个语音文件以及各个语音文件对应的标准文本（S102）；调用各个目标平台的语音识别服务接口，分别将各个语音文件发送给各个目标平台进行语音识别，并获取各个目标平台输出的识别结果（S103）；针对每个目标平台，根据各个语音文件对应的识别结果和对应的标准文本计算出在目标平台上各个语音文件对应的错词率（S104）；根据各个目标平台上各个语音文件对应的错词率生成语音测试的第一测试报告（S105）。

Description

语音识别测试方法、装置、计算机设备及存储介质
本申请以2018年07月06日提交的申请号为201810735475.3，名称为“语音识别测试方法、装置、计算机设备及存储介质”的中国发明专利申请为基础，并要求其优先权。
技术领域
本申请涉及语音识别技术领域，尤其涉及语音识别测试方法、装置、计算机设备及存储介质。
背景技术
目前，语音识别技术已经应用极为广泛，很多平台可以对外提供语音识别的服务接口，用户可以通过平台提供的服务接口使用各个平台的语音识别功能。但是，不同平台使用的语音识别模型一般都会存在差异，这就导致同一个声音文件在不同的平台上识别出来的结果往往并不相同，有时候甚至差别很大。为此，平台在开发语音识别模型时，需要测试不同平台的语音识别效果与自身的进行对比，分析其中的优劣，以便更好地改进平台的语音识别功能。
然而，现有语音识别测试流程上不同环节需要由不同的处理人员进行处理，由于不同处理人员往往有各自的测试习惯，难以做到规范统一，给语音识别的测试工作带来诸多不便，不利于测试流程的数据记录和测试数据的横向比对。
发明内容
基于此，有必要针对上述技术问题，提供一种可以提高语音识别测试的效率、排除人为干扰因素的语音识别测试方法、装置、计算机设备及存储介质。
一种语音识别测试方法，包括：
确定待语音测试的各个目标平台；
获取测试用的各个语音文件以及所述各个语音文件对应的标准文本；
调用各个目标平台的语音识别服务接口，分别将各个所述语音文件发送给各个目标平台进行语音识别，并获取各个目标平台输出的识别结果；
针对每个所述目标平台，根据各个语音文件对应的识别结果和对应的标准文本计算出在所述目标平台上各个语音文件对应的错词率；
根据各个目标平台上各个语音文件对应的错词率生成语音测试的第一测试报告。
一种语音识别测试装置，包括：
平台确定模块，用于确定待语音测试的各个目标平台；
文件文本获取模块，用于获取测试用的各个语音文件以及所述各个语音文件对应的标准文本；
语音识别模块，用于调用各个目标平台的语音识别服务接口，分别将各个所述语音文件发送给各个目标平台进行语音识别，并获取各个目标平台输出的识别结果；
错词率计算模块，用于针对每个所述目标平台，根据各个语音文件对应的识别结果和对应的标准文本计算出在所述目标平台上各个语音文件对应的错词率；
第一报告生成模块，用于根据各个目标平台上各个语音文件对应的错词率生成语音测试的第一测试报告。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现上述语音识别测试方法的步骤。
一个或多个存储有计算机可读指令的非易失性可读存储介质，所述计算机可读存储介质存储有计算机可读指令，使得所述一个或多个处理器执行上述语音识别测试方法的步骤。
本申请的一个或多个实施例的细节在下面的附图和描述中提出，本申请的其他特征和优点将从说明书、附图以及权利要求变得明显。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例中语音识别测试方法的一应用环境示意图；
图2是本申请一实施例中语音识别测试方法的一流程图；
图3是本申请一实施例中语音识别测试方法步骤S105在一个应用场景下的流程示意图；
图4是本申请一实施例中语音识别测试方法在一个应用场景下测试目标平台上语音识别模型的流程示意图；
图5是本申请一实施例中语音识别测试方法在一个应用场景下确定语音识别模型的 弱支持领域的流程示意图；
图6是本申请一实施例中语音识别测试装置的结构示意图；
图7是本申请一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提供的语音识别测试方法可以通过语音测试平台实施，可应用在如图1的应用环境中，其中，该语音测试平台的服务器通过网络与各个目标平台的服务器进行通信。其中，上述服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图2所示，提供一种语音识别测试方法，以该方法应用在图1中语音测试平台的服务器为例进行说明，包括如下步骤：
S101、确定待语音测试的各个目标平台；
本方案中，在开始语音测试时，需要先确定出本次待语音测试的各个目标平台。一般来说，所述各个目标平台为多个各不相同的语音识别平台，这样有利于横向对比这些目标平台的语音识别效果。具体地，本方案的语音测试平台可以提供一界面窗口给测试人员选择，在测试窗口中，测试人员可以具体选择本次测试所针对的各个目标平台有哪些，在一次语音测试中可以选择一个、两个或多个目标平台。
S102、获取测试用的各个语音文件以及所述各个语音文件对应的标准文本；
可以理解的是，测试用的各个语音文件以及与这些语音文件对应的标准文本可以是预先收集好并存储在语音测试平台上的，当然，也可以由测试人员在本次语音测试开始之前手动上传或者通过网络从其它数据库中提取得到，对此本实施例不作具体限定。
需要说明的是，标准文本是指所述语音文件的音频内容对应的文本内容，该标准文本在本次语音测试之前均经过修正、确认，确保了文本内容与对应语音文件的音频所表达的内容一致。
S103、调用各个目标平台的语音识别服务接口，分别将各个所述语音文件发送给各个目标平台进行语音识别，并获取各个目标平台输出的识别结果；
在确定本次语音测试的各个目标平台以及获取到测试用的各个语音文件、标准文本之后，可以调用各个目标平台的语音识别服务接口，分别将各个所述语音文件发送给各个目标平台进行语音识别。可以理解的是，各个目标平台对外提供语音识别服务接口，本方案的语音测试平台通过对接这些接口，可以使用各个目标平台提供的语音识别功能。在将各个语音文件发送给各个目标平台之后，各个语音文件会分别在各个目标平台中完成音转字，然后各个目标平台分别输出各个语音文件对应的识别结果，也即识别得到的文本。
进一步地，在调用语音识别服务接口对语音文件进行语音识别之前，还可以先对各个语音文件进行预处理，比如降噪处理。在预处理之前，测试人员可以手动选择是否降噪以及降噪的具体处理方式；或者，语音测试平台也可以设置默认的降噪处理方式，并默认对各个语音文件进行降噪处理。
S104、针对每个所述目标平台，根据各个语音文件对应的识别结果和对应的标准文本计算出在所述目标平台上各个语音文件对应的错词率；
具体地，针对每个语音文件，可以将该语音文件对应的识别结果与该语音文件对应的标准文本进行比对，计算识别结果相对标准文本的错词率，也即文本内容的误差比例。而对于每个目标平台来说，则需要分别计算各个语音文件对应的错词率。因此，假设一共N个参与本次语音测试的语音文件，M个目标平台，则针对每个目标平台计算得到的错词率个数为N个，对M个目标平台则总共需要计算M*N个错词率。
S105、根据各个目标平台上各个语音文件对应的错词率生成语音测试的第一测试报告。
可以理解的是，在得到各个目标平台上各个语音文件对应的错词率之后，本次语音测试基本上完成，最后需要生成本次语音测试的第一测试报告提供给测试人员查阅。需要说明的是，该第一测试报告的具体内容可以根据实际情况来确定。比如，若本次语音测试关注的重点是各个目标平台平均错词率的排行，则可以根据各个目标平台上各个语音文件对应的错词率分别计算出各个目标平台的平台错词率，然后依据平台错词率从大到小或从小到大对各个目标平台进行排序，并在生成的第一测试报告中体现。这样，测试人员查看该第一测试报告即可清楚地得知各个目标平台在错词率方面的优劣。
进一步地，如图3所示，所述步骤S105具体可以包括：
S201、针对每个目标平台，根据所述目标平台上各个语音文件对应的错词率计算所述目标平台的平台错词率；
S202、在计算得到各个目标平台对应的平台错词率后，按照预设的排序规则对所述各 个目标平台对应的平台错词率进行排序；
S203、生成空白的第一测试报告，并将排序后的所述各个目标平台对应的平台错词率导入所述第一测试报告。
对于上述步骤S201，可以理解的是，对于一个目标平台来说，该目标平台的平台错词率具体可以是各个语音文件对应的错词率的平均值，假设有N个语音文件，则每个语音文件对应的错词率表示为Wn，则该目标平台的平台错词率等于(W1+W2+……Wn)/N。
对于步骤S202，该预设的排序规则具体可以是按照目标平台的预设平台顺序进行排序，也可以按照平台错词率进行排序。可以理解的是，本次语音测试中，测试人员有可能更加关注某些著名平台的平台错词率，因此，测试人员可以预设设置各个平台之间的排序，将重点关注的平台排序在前，其它平台排序在后，从而在生成的第一测试报告可以更加突出反映测试人员重点关注的几个平台的平台错词率。或者，测试人员若希望对比查看这些目标平台之间哪些目标平台的平台错词率更高或者更低，通过按照平台错词率进行排序，最后生成的第一测试报告可以更突出反映各个目标平台之间在平台错词率方面的优劣。
对于步骤S203，可知，在对各个目标平台对应的平台错词率进行排序之后，即可依据排序后的顺序将各个目标平台对应的平台错词率以及相应的目标平台信息导入至该第一测试报告中。
通过上述步骤S201-S203，本实施例的语音识别测试方法可以分析各个目标平台的平台错词率，并按照预设的排序规则对各个目标平台进行排序，这样，测试人员可以依据平台错词率对比这些目标平台上语音识别服务的优劣，使得各个目标平台之间的横向对比更加突出和高效。
进一步地，本方法还可以在测试时，指定平台上的特定语音识别模型进行测试。具体地，如图4所示，所述语音识别测试方法还包括：
S301、分别确定所述各个目标平台的指定语音识别模型；
S302、调用各个目标平台的语音识别服务接口，分别将各个所述语音文件发送至各个目标平台上的指定语音识别模型进行语音识别，并获取各个目标平台输出的识别文本；
S303、针对每个所述目标平台，根据各个语音文件对应的识别文本和对应的标准文本计算出在各个目标平台上所述指定语音识别模型对应的错词率；
S304、根据各个目标平台上所述指定语音识别模型对应的错词率生成语音测试的第二测试报告。
对于步骤S301，可以理解的是，在本次语音测试时，可以指定各个目标平台上用来 测试的语音识别模型具体是哪个，被指定的语音识别模型即为上述的指定语音识别模型。具体地，这些指定语音识别模型可以由语音测试平台指定，也可以由测试人员手动选择各个目标平台上的语音识别模型作为指定语音识别模型，还可以由各个目标平台自行指定语音识别模型，对此不做具体限定。
步骤S302与上述步骤S103类似，在调用各个目标平台的语音识别服务接口对各个所述语音文件进行语音识别时，发送给各个目标平台上的指定语音识别模型来识别即可，识别后可以获取到各个目标平台反馈的识别文本。
对于步骤S303，在得到各个目标平台输出的识别文本后，与上述步骤S104类似，可以根据各个语音文件对应的识别文本和对应的标准文本计算出在各个目标平台上所述指定语音识别模型对应的错词率。
对于步骤S304，在得到各个目标平台上所述指定语音识别模型对应的错词率之后，与上述步骤S105同理，可以由此生成语音测试的第二测试报告。其中，与步骤S105存在区别的地方是，步骤S304生成的第二测试报告主要针对各个目标平台上所述指定语音识别模型的，该第二测试报告重点横向对比的是不同平台上指定语音识别模型之间的差异和优劣，因此在生成的第二测试报告中需要体现出各个指定语音识别模型对应的错词率。
通过上述步骤S301-S304，本方法在本次语音测试时，不仅可以从第一维度(即平台的维度)确定各个目标平台，还可以从第二维度(即平台上语音识别模型的维度)确定每个目标平台下的语音识别模型，通过两个维度的确定，使得本次语音测试的结果可以反映出具体语音识别模型的效果和优劣。
进一步地，在针对第二维度，即目标平台下具体的语音识别模型进行测试时，还可以具体评估这些语音识别模型在词语领域的支持力度如何。目前，在语音识别领域，由于语音识别模型往往需要极其大量的训练样本完成训练，而语言的领域过于宽泛，为了提高训练效率同时也为了提升语音识别模型的准确性，目前训练的语音识别模型均会区分不同的应用领域，比如财经、新闻、体育、电影对话等。因此，测试语音识别模型对某个应用领域的支持力度存在重大意义。为此，如图5所示，在步骤S302之后，该语音识别测试方法还可以包括：
S401、针对每个指定语音识别模型，获取各个所述语音文件输入所述指定语音识别模型进行语音识别后得到的各个所述语音文件所对应识别文本；
S402、针对每个指定语音识别模型，将各个所述语音文件所对应识别文本与标准文本进行对比，确定各个所述标准文本的易错词，所述易错词是指识别文本与标准文本对比后、 所述标准文本中对比不一致的文本；
S403、针对每个指定语音识别模型，确定各个所述标准文本的易错词所属的词语领域；
S404、针对每个指定语音识别模型，将确定出的所述词语领域确定为所述指定语音识别模型的弱支持领域，所述弱支持领域是指语音识别模型用于语音识别的效果未达到期望值的词语领域。
上述步骤S401～S404均是分别针对每个指定语音识别模型进行的处理，为了便于说明，下述对步骤S401～S404的说明中不再强调。
对于步骤S401，类似步骤S103，可以理解的是，将各个所述语音文件输入所述指定语音识别模型进行语音识别，识别后，这些指定语音识别模型会输出对应的识别文本，获取这些识别文本。
对于步骤S402，在获取到各个语音文件对应识别文本后，将这些识别文本与相应的标准文本进行对比，可以得知标准文本中哪些文本与识别文本不一致，该标准文本中与识别文本不一致的词语可以认为就是该标准文本的易错词。这里说的易错词是指容易识别错误的文本内容。
对于步骤S403，可以理解的是，不同的文本均有其所述的词语领域，例如，比亚迪、宝马、奔驰、四轮驱动等文本属于汽车的词语领域；七言、静夜思、观沧海等文本属于诗词的词语领域。因此，在确定出各个所述标准文本的易错词之后，可以进一步确定这些易错词所属的词语领域。具体地，可以通过网络检索的方式确定易错词的词语领域，当网络检索无法得到结果时，可以提供给指定工作人员人工确认，本实施例对此不作限定。
对于步骤S404，对于一个语音识别模型来说，标准文本中的易错词，代表了该语音识别模型对这些易错词的识别效果较差。可以理解的是，由于语音识别模型是通过样本训练得到的，而且往往样本的选择均会区分领域，因此对于特定的语音识别模型来说，存在“偏科”现象是较为常见的。例如，某个语音识别模型训练用的样本均为诗词领域的文本，该领域文本中很少包含数值，从而该语音识别模型识别标准文本的易错词很可能是数值类文本，比如将“一心一意”错误识别为“1心1意”，通过标准文本“一心一意”确定出易错词为“一”，当该语音识别模型识别其它语音文件得出的识别文本也有类似情况时，即其它语音文件对应的标准文本的易错词也包含数值时，则可以确定该语音识别模型对数值类词语领域为弱支持。需要说明的是，弱支持领域是指语音识别模型用于语音识别的效果未达到期望值的词语领域，具体地，可以是该语音识别模型对弱支持领域的识别准确率在预设的阈值以下。
为便于理解，在步骤S404将确定出的所述词语领域确定为所述指定语音识别模型的弱支持领域之前，可以通过如下步骤确定某个指定语言识别模型的弱支持领域：
S501、针对每个指定语音识别模型，根据各个所述语音文件所对应的识别文本和对应的标准文本计算出所述指定语音识别模型识别各个所述语音文件时的模型错词率；
S502、针对每个指定语音识别模型，筛选模型错词率超过预设错词率阈值的所述语音文件；
S503、针对每个指定语音识别模型，确定出与筛选出的所述语音文件对应的标准文本作为目标标准文本；
在上述步骤S501-S503的基础上，所述将确定出的所述词语领域确定为所述指定语音识别模型的弱支持领域具体为：将所述目标标准文本的易错词所属的词语领域确定为所述指定语音识别模型的弱支持领域。
对于步骤S501，针对单个指定语音识别模型，可以根据各个所述语音文件所对应的识别文本和对应的标准文本计算出所述指定语音识别模型识别各个所述语音文件时的模型错词率，这里所说的模型错词率是指这个语音识别模型在识别某个语音文件时的错词率。需要说明的是，步骤S501需要分别计算出一个语音识别模型识别各个语音文件时的模型错词率，假设存在N个语音文件，则对于一个语音识别模型来说，需要计算出N个模型错词率。
对于步骤S502，可以理解的是，当某个语音文件的模型错词率超过预设错词率阈值时，可以认为该语音识别模型识别这个语音文件时的错词率过高，也即识别准确率过低，这反映了该语音识别模型在识别这个语音文件所述的词语领域时识别准确率过低，因此，筛选出这些模型错词率超过预设错词率阈值的所述语音文件后，即可依据这些筛选出的语音文件来确认该语音识别模型的弱支持领域。
对于步骤S503，容易理解的是，在筛选出语音文件后，容易确定出与之对应的标准文本。
在步骤S501-S503的基础上，确定出目标标准文本之后，由于上述步骤S403已经确定出了各个标准文本的易错词所述的词语领域，因此直接可以得知目标标准文本所对应的词语领域，这些词语领域就是该指定语音识别模型的弱支持领域。
进一步地，上述步骤S103中得出的识别结果还可以包括各个语音文件对应的识别耗时，识别耗时是指平台对某个语音文件进行语音识别所需的时间。可以理解的是，识别耗时与错词率之间往往是相对的，在优化语音识别模型时，需要考量模型的错词率优先还有 识别速度优先。一般来说，识别耗时越短，即识别速度越快，则往往错词率越高；反之，错词率越低，即识别准确率越高，则往往识别速度越慢、识别耗时越长。本实施例中，可以将各个目标平台的识别耗时加入至该第一测试报告中，使得第一测试报告上可以反映各个目标平台在提供语音识别服务时的耗时，测试人员可以将耗时作为评估平台语音识别能力的参考因素。
进一步地，在步骤S105之后，本语音识别测试方法还可以包括：将所述测试报告发送至预先指定的目标终端。可以理解的是，所述目标终端可以预先设定，比如设定邮件地址，在生成得到测试报告后，将该测试报告自动通过邮件发送给该邮件地址，从而测试人员可以方便地接收到测试报告，并方便测试人员查看测试报告。
由上述内容可知，本实施例提供的语音识别测试方法在整个语音测试流程中无需人员处理，不仅提高了语音识别测试的效率，而且排除了人为干扰因素，可以实现测试报告的规范统一；另外，通过在多个目标平台上进行语音文件的语音识别测试并计算各个目标平台识别这些语音文件时的错词率，可以横向对比各个目标平台的测试性能，更直观地反映各个目标平台语音识别功能的优劣。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
在一实施例中，提供一种语音识别测试装置，该语音识别测试装置与上述实施例中语音识别测试方法一一对应。如图6所示，该语音识别测试装置包括平台确定模块601、文件文本获取模块602、语音识别模块603、错词率计算模块604和第一报告生成模块605。各功能模块详细说明如下：
平台确定模块601，用于确定待语音测试的各个目标平台；
文件文本获取模块602，用于获取测试用的各个语音文件以及所述各个语音文件对应的标准文本；
语音识别模块603，用于调用各个目标平台的语音识别服务接口，分别将各个所述语音文件发送给各个目标平台进行语音识别，并获取各个目标平台输出的识别结果；
错词率计算模块604，用于针对每个所述目标平台，根据各个语音文件对应的识别结果和对应的标准文本计算出在所述目标平台上各个语音文件对应的错词率；
第一报告生成模块605，用于根据各个目标平台上各个语音文件对应的错词率生成语音测试的第一测试报告。
进一步地，所述第一报告生成模块可以包括：
平台错词率计算单元，用于针对每个目标平台，根据所述目标平台上各个语音文件对应的错词率计算所述目标平台的平台错词率；
排序单元，用于在计算得到各个目标平台对应的平台错词率后，按照预设的排序规则对所述各个目标平台对应的平台错词率进行排序；
导入报告单元，用于生成空白的第一测试报告，并将排序后的所述各个目标平台对应的平台错词率导入所述第一测试报告。
进一步地，所述语音识别测试装置还可以包括：
指定模块确定模块，用于分别确定所述各个目标平台的指定语音识别模型；
模型识别模块，用于调用各个目标平台的语音识别服务接口，分别将各个所述语音文件发送至各个目标平台上的指定语音识别模型进行语音识别，并获取各个目标平台输出的识别文本；
模型错词率计算模块，用于针对每个所述目标平台，根据各个语音文件对应的识别文本和对应的标准文本计算出在各个目标平台上所述指定语音识别模型对应的错词率；
第二报告生成模块，用于根据各个目标平台上所述指定语音识别模型对应的错词率生成语音测试的第二测试报告。
进一步地，所述语音识别测试装置还可以包括：
识别文本获取模块，用于针对每个指定语音识别模型，获取各个所述语音文件输入所述指定语音识别模型进行语音识别后得到的各个所述语音文件所对应识别文本；
易错词确定模块，用于针对每个指定语音识别模型，将各个所述语音文件所对应识别文本与标准文本进行对比，确定各个所述标准文本的易错词，所述易错词是指识别文本与标准文本对比后、所述标准文本中对比不一致的文本；
词语领域确定模块，用于针对每个指定语音识别模型，确定各个所述标准文本的易错词所属的词语领域；
弱支持领域确定模块，用于针对每个指定语音识别模型，将确定出的所述词语领域确定为所述指定语音识别模型的弱支持领域，所述弱支持领域是指语音识别模型用于语音识别的效果未达到期望值的词语领域。
进一步地，所述语音识别测试装置还可以包括：
各模型错词计算模块，用于针对每个指定语音识别模型，根据各个所述语音文件所对应的识别文本和对应的标准文本计算出所述指定语音识别模型识别各个所述语音文件时的模型错词率；
语音文件筛选模块，用于针对每个指定语音识别模型，筛选模型错词率超过预设错词率阈值的所述语音文件；
目标标准文本确定模块，用于针对每个指定语音识别模型，确定出与筛选出的所述语 音文件对应的标准文本作为目标标准文本；
所述弱支持领域确定模块具体可以用于将所述目标标准文本的易错词所属的词语领域确定为所述指定语音识别模型的弱支持领域。
关于语音识别测试装置的具体限定可以参见上文中对于语音识别测试方法的限定，在此不再赘述。上述语音识别测试装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机可读指令和数据库。该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。该计算机设备的数据库用于存储语音识别测试方法中涉及到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机可读指令被处理器执行时以实现一种语音识别测试方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可读指令，处理器执行计算机可读指令时实现上述实施例中语音识别测试方法的步骤，例如图2所示的步骤S101至步骤S105。或者，处理器执行计算机可读指令时实现上述实施例中语音识别测试装置的各模块/单元的功能，例如图6所示模块601至模块605的功能。为避免重复，这里不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，该一个或多个存储有计算机可读指令的非易失性可读存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行计算机可读指令时实现上述方法实施例中语音识别测试方法的步骤，或者，该一个或多个存储有计算机可读指令的非易失性可读存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行计算机可读指令时实现上述装置实施例中语音识别测试装置中各模块/单元的功能。为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一非易失性计 算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (20)

  1. 一种语音识别测试方法，其特征在于，包括：
    确定待语音测试的各个目标平台；
    获取测试用的各个语音文件以及所述各个语音文件对应的标准文本；
    调用各个目标平台的语音识别服务接口，分别将各个所述语音文件发送给各个目标平台进行语音识别，并获取各个目标平台输出的识别结果；
    针对每个所述目标平台，根据各个语音文件对应的识别结果和对应的标准文本计算出在所述目标平台上各个语音文件对应的错词率；
    根据各个目标平台上各个语音文件对应的错词率生成语音测试的第一测试报告。
  2. 根据权利要求1所述的语音识别测试方法，其特征在于，所述根据各个目标平台上各个语音文件对应的错词率生成语音测试的第一测试报告包括：
    针对每个目标平台，根据所述目标平台上各个语音文件对应的错词率计算所述目标平台的平台错词率；
    在计算得到各个目标平台对应的平台错词率后，按照预设的排序规则对所述各个目标平台对应的平台错词率进行排序；
    生成空白的第一测试报告，并将排序后的所述各个目标平台对应的平台错词率导入所述第一测试报告。
  3. 根据权利要求1或2所述的语音识别测试方法，其特征在于，所述语音识别测试方法还包括：
    分别确定所述各个目标平台的指定语音识别模型；
    调用各个目标平台的语音识别服务接口，分别将各个所述语音文件发送至各个目标平台上的指定语音识别模型进行语音识别，并获取各个目标平台输出的识别文本；
    针对每个所述目标平台，根据各个语音文件对应的识别文本和对应的标准文本计算出在各个目标平台上所述指定语音识别模型对应的错词率；
    根据各个目标平台上所述指定语音识别模型对应的错词率生成语音测试的第二测试报告。
  4. 根据权利要求3所述的语音识别测试方法，其特征在于，在分别将各个所述语音文件发送至各个目标平台上的指定语音识别模型进行语音识别之后，还包括：
    针对每个指定语音识别模型，获取各个所述语音文件输入所述指定语音识别模型进行 语音识别后得到的各个所述语音文件所对应识别文本；
    针对每个指定语音识别模型，将各个所述语音文件所对应识别文本与标准文本进行对比，确定各个所述标准文本的易错词，所述易错词是指识别文本与标准文本对比后、所述标准文本中对比不一致的文本；
    针对每个指定语音识别模型，确定各个所述标准文本的易错词所属的词语领域；
    针对每个指定语音识别模型，将确定出的所述词语领域确定为所述指定语音识别模型的弱支持领域，所述弱支持领域是指语音识别模型用于语音识别的效果未达到期望值的词语领域。
  5. 根据权利要求4所述的语音识别测试方法，其特征在于，在将确定出的所述词语领域确定为所述指定语音识别模型的弱支持领域之前，还包括：
    针对每个指定语音识别模型，根据各个所述语音文件所对应的识别文本和对应的标准文本计算出所述指定语音识别模型识别各个所述语音文件时的模型错词率；
    针对每个指定语音识别模型，筛选模型错词率超过预设错词率阈值的所述语音文件；
    针对每个指定语音识别模型，确定出与筛选出的所述语音文件对应的标准文本作为目标标准文本；
    所述将确定出的所述词语领域确定为所述指定语音识别模型的弱支持领域具体为：将所述目标标准文本的易错词所属的词语领域确定为所述指定语音识别模型的弱支持领域。
  6. 一种语音识别测试装置，其特征在于，包括：
    平台确定模块，用于确定待语音测试的各个目标平台；
    文件文本获取模块，用于获取测试用的各个语音文件以及所述各个语音文件对应的标准文本；
    语音识别模块，用于调用各个目标平台的语音识别服务接口，分别将各个所述语音文件发送给各个目标平台进行语音识别，并获取各个目标平台输出的识别结果；
    错词率计算模块，用于针对每个所述目标平台，根据各个语音文件对应的识别结果和对应的标准文本计算出在所述目标平台上各个语音文件对应的错词率；
    第一报告生成模块，用于根据各个目标平台上各个语音文件对应的错词率生成语音测试的第一测试报告。
  7. 根据权利要求6所述的语音识别测试装置，其特征在于，所述第一报告生成模块包括：
    平台错词率计算单元，用于针对每个目标平台，根据所述目标平台上各个语音文件对 应的错词率计算所述目标平台的平台错词率；
    排序单元，用于在计算得到各个目标平台对应的平台错词率后，按照预设的排序规则对所述各个目标平台对应的平台错词率进行排序；
    导入报告单元，用于生成空白的第一测试报告，并将排序后的所述各个目标平台对应的平台错词率导入所述第一测试报告。
  8. 根据权利要求6或7所述的语音识别测试装置，其特征在于，所述语音识别测试装置还包括：
    指定模块确定模块，用于分别确定所述各个目标平台的指定语音识别模型；
    模型识别模块，用于调用各个目标平台的语音识别服务接口，分别将各个所述语音文件发送至各个目标平台上的指定语音识别模型进行语音识别，并获取各个目标平台输出的识别文本；
    模型错词率计算模块，用于针对每个所述目标平台，根据各个语音文件对应的识别文本和对应的标准文本计算出在各个目标平台上所述指定语音识别模型对应的错词率；
    第二报告生成模块，用于根据各个目标平台上所述指定语音识别模型对应的错词率生成语音测试的第二测试报告。
  9. 根据权利要求8所述的语音识别测试装置，其特征在于，所述语音识别测试装置还包括：
    识别文本获取模块，用于针对每个指定语音识别模型，获取各个所述语音文件输入所述指定语音识别模型进行语音识别后得到的各个所述语音文件所对应识别文本；
    易错词确定模块，用于针对每个指定语音识别模型，将各个所述语音文件所对应识别文本与标准文本进行对比，确定各个所述标准文本的易错词，所述易错词是指识别文本与标准文本对比后、所述标准文本中对比不一致的文本；
    词语领域确定模块，用于针对每个指定语音识别模型，确定各个所述标准文本的易错词所属的词语领域；
    弱支持领域确定模块，用于针对每个指定语音识别模型，将确定出的所述词语领域确定为所述指定语音识别模型的弱支持领域，所述弱支持领域是指语音识别模型用于语音识别的效果未达到期望值的词语领域。
  10. 根据权利要求9所述的语音识别测试装置，其特征在于，所述语音识别测试装置还包括：
    各模型错词计算模块，用于针对每个指定语音识别模型，根据各个所述语音文件所对 应的识别文本和对应的标准文本计算出所述指定语音识别模型识别各个所述语音文件时的模型错词率；
    语音文件筛选模块，用于针对每个指定语音识别模型，筛选模型错词率超过预设错词率阈值的所述语音文件；
    目标标准文本确定模块，用于针对每个指定语音识别模型，确定出与筛选出的所述语音文件对应的标准文本作为目标标准文本；
    所述弱支持领域确定模块具体可以用于将所述目标标准文本的易错词所属的词语领域确定为所述指定语音识别模型的弱支持领域。
  11. 一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现如下步骤：
    确定待语音测试的各个目标平台；
    获取测试用的各个语音文件以及所述各个语音文件对应的标准文本；
    调用各个目标平台的语音识别服务接口，分别将各个所述语音文件发送给各个目标平台进行语音识别，并获取各个目标平台输出的识别结果；
    针对每个所述目标平台，根据各个语音文件对应的识别结果和对应的标准文本计算出在所述目标平台上各个语音文件对应的错词率；
    根据各个目标平台上各个语音文件对应的错词率生成语音测试的第一测试报告。
  12. 根据权利要求11所述的计算机设备，其特征在于，所述根据各个目标平台上各个语音文件对应的错词率生成语音测试的第一测试报告包括：
    针对每个目标平台，根据所述目标平台上各个语音文件对应的错词率计算所述目标平台的平台错词率；
    在计算得到各个目标平台对应的平台错词率后，按照预设的排序规则对所述各个目标平台对应的平台错词率进行排序；
    生成空白的第一测试报告，并将排序后的所述各个目标平台对应的平台错词率导入所述第一测试报告。
  13. 根据权利要求11或12所述的计算机设备，其特征在于，所述处理器执行所述计算机可读指令时还实现如下步骤：
    分别确定所述各个目标平台的指定语音识别模型；
    调用各个目标平台的语音识别服务接口，分别将各个所述语音文件发送至各个目标平 台上的指定语音识别模型进行语音识别，并获取各个目标平台输出的识别文本；
    针对每个所述目标平台，根据各个语音文件对应的识别文本和对应的标准文本计算出在各个目标平台上所述指定语音识别模型对应的错词率；
    根据各个目标平台上所述指定语音识别模型对应的错词率生成语音测试的第二测试报告。
  14. 根据权利要求13所述的计算机设备，其特征在于，在分别将各个所述语音文件发送至各个目标平台上的指定语音识别模型进行语音识别之后，所述处理器执行所述计算机可读指令时还实现如下步骤：
    针对每个指定语音识别模型，获取各个所述语音文件输入所述指定语音识别模型进行语音识别后得到的各个所述语音文件所对应识别文本；
    针对每个指定语音识别模型，将各个所述语音文件所对应识别文本与标准文本进行对比，确定各个所述标准文本的易错词，所述易错词是指识别文本与标准文本对比后、所述标准文本中对比不一致的文本；
    针对每个指定语音识别模型，确定各个所述标准文本的易错词所属的词语领域；
    针对每个指定语音识别模型，将确定出的所述词语领域确定为所述指定语音识别模型的弱支持领域，所述弱支持领域是指语音识别模型用于语音识别的效果未达到期望值的词语领域。
  15. 根据权利要求14所述的计算机设备，其特征在于，在将确定出的所述词语领域确定为所述指定语音识别模型的弱支持领域之前，所述处理器执行所述计算机可读指令时还实现如下步骤：
    针对每个指定语音识别模型，根据各个所述语音文件所对应的识别文本和对应的标准文本计算出所述指定语音识别模型识别各个所述语音文件时的模型错词率；
    针对每个指定语音识别模型，筛选模型错词率超过预设错词率阈值的所述语音文件；
    针对每个指定语音识别模型，确定出与筛选出的所述语音文件对应的标准文本作为目标标准文本；
    所述将确定出的所述词语领域确定为所述指定语音识别模型的弱支持领域具体为：将所述目标标准文本的易错词所属的词语领域确定为所述指定语音识别模型的弱支持领域。
  16. 一个或多个存储有计算机可读指令的非易失性可读存储介质，其特征在于，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如下步骤：
    确定待语音测试的各个目标平台；
    获取测试用的各个语音文件以及所述各个语音文件对应的标准文本；
    调用各个目标平台的语音识别服务接口，分别将各个所述语音文件发送给各个目标平台进行语音识别，并获取各个目标平台输出的识别结果；
    针对每个所述目标平台，根据各个语音文件对应的识别结果和对应的标准文本计算出在所述目标平台上各个语音文件对应的错词率；
    根据各个目标平台上各个语音文件对应的错词率生成语音测试的第一测试报告。
  17. 根据权利要求16所述的非易失性可读存储介质，其特征在于，所述根据各个目标平台上各个语音文件对应的错词率生成语音测试的第一测试报告包括：
    针对每个目标平台，根据所述目标平台上各个语音文件对应的错词率计算所述目标平台的平台错词率；
    在计算得到各个目标平台对应的平台错词率后，按照预设的排序规则对所述各个目标平台对应的平台错词率进行排序；
    生成空白的第一测试报告，并将排序后的所述各个目标平台对应的平台错词率导入所述第一测试报告。
  18. 根据权利要求16或17所述的非易失性可读存储介质，其特征在于，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器还执行如下步骤：
    分别确定所述各个目标平台的指定语音识别模型；
    调用各个目标平台的语音识别服务接口，分别将各个所述语音文件发送至各个目标平台上的指定语音识别模型进行语音识别，并获取各个目标平台输出的识别文本；
    针对每个所述目标平台，根据各个语音文件对应的识别文本和对应的标准文本计算出在各个目标平台上所述指定语音识别模型对应的错词率；
    根据各个目标平台上所述指定语音识别模型对应的错词率生成语音测试的第二测试报告。
  19. 根据权利要求18所述的非易失性可读存储介质，其特征在于，在分别将各个所述语音文件发送至各个目标平台上的指定语音识别模型进行语音识别之后，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器还执行如下步骤：
    针对每个指定语音识别模型，获取各个所述语音文件输入所述指定语音识别模型进行语音识别后得到的各个所述语音文件所对应识别文本；
    针对每个指定语音识别模型，将各个所述语音文件所对应识别文本与标准文本进行对比，确定各个所述标准文本的易错词，所述易错词是指识别文本与标准文本对比后、所述 标准文本中对比不一致的文本；
    针对每个指定语音识别模型，确定各个所述标准文本的易错词所属的词语领域；
    针对每个指定语音识别模型，将确定出的所述词语领域确定为所述指定语音识别模型的弱支持领域，所述弱支持领域是指语音识别模型用于语音识别的效果未达到期望值的词语领域。
  20. 根据权利要求19所述的非易失性可读存储介质，其特征在于，在将确定出的所述词语领域确定为所述指定语音识别模型的弱支持领域之前，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器还执行如下步骤：
    针对每个指定语音识别模型，根据各个所述语音文件所对应的识别文本和对应的标准文本计算出所述指定语音识别模型识别各个所述语音文件时的模型错词率；
    针对每个指定语音识别模型，筛选模型错词率超过预设错词率阈值的所述语音文件；
    针对每个指定语音识别模型，确定出与筛选出的所述语音文件对应的标准文本作为目标标准文本；
    所述将确定出的所述词语领域确定为所述指定语音识别模型的弱支持领域具体为：将所述目标标准文本的易错词所属的词语领域确定为所述指定语音识别模型的弱支持领域。
PCT/CN2018/106256 2018-07-06 2018-09-18 语音识别测试方法、装置、计算机设备及存储介质 Ceased WO2020006878A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810735475.3A CN109102797B (zh) 2018-07-06 2018-07-06 语音识别测试方法、装置、计算机设备及存储介质
CN201810735475.3 2018-07-06

Publications (1)

Publication Number Publication Date
WO2020006878A1 true WO2020006878A1 (zh) 2020-01-09

Family

ID=64845576

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/106256 Ceased WO2020006878A1 (zh) 2018-07-06 2018-09-18 语音识别测试方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN109102797B (zh)
WO (1) WO2020006878A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115132173A (zh) * 2021-03-24 2022-09-30 华为技术有限公司 语音交互系统的测试方法、音频识别方法及相关设备
CN115171657A (zh) * 2022-05-26 2022-10-11 青岛海尔科技有限公司 语音设备的测试方法和装置、存储介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109523990B (zh) * 2019-01-21 2021-11-05 未来电视有限公司 语音检测方法和装置
CN110164474B (zh) * 2019-05-08 2021-09-14 北京百度网讯科技有限公司 语音唤醒自动化测试方法及系统
CN110136717A (zh) * 2019-05-22 2019-08-16 北京汽车股份有限公司 语音识别处理方法、装置、系统及车辆
CN110335628B (zh) * 2019-06-28 2022-03-18 百度在线网络技术（北京）有限公司 智能设备的语音测试方法、装置及电子设备
CN110415681B (zh) * 2019-09-11 2022-02-18 北京声智科技有限公司 一种语音识别效果测试方法及系统
CN111797011A (zh) * 2020-06-24 2020-10-20 深圳壹账通智能科技有限公司 性能指标的对比方法、装置、计算机设备和存储介质
CN112447167B (zh) * 2020-11-17 2024-07-12 康键信息技术（深圳）有限公司 语音识别模型验证方法、装置、计算机设备和存储介质
CN112562724B (zh) * 2020-11-30 2024-05-17 携程计算机技术（上海）有限公司 语音质量的评估模型、训练评估方法、系统、设备及介质
CN112929231A (zh) * 2021-01-27 2021-06-08 思必驰科技股份有限公司 实时语音识别服务压测方法
CN116665648A (zh) * 2022-02-18 2023-08-29 马上消费金融股份有限公司 语音识别测试方法及装置
CN115497453A (zh) * 2022-08-31 2022-12-20 海尔优家智能科技（北京）有限公司 识别模型的评估方法及装置、存储介质及电子装置
CN116168722A (zh) * 2022-12-08 2023-05-26 北京声智科技有限公司 语音测试方法、装置、设备及介质
CN116863922A (zh) * 2023-06-02 2023-10-10 北京明略昭辉科技有限公司 用于语音转写的方法、装置、开发平台和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110061987A (ko) * 2009-12-02 2011-06-10 한국생산기술연구원 로봇의 음성인식 성능 평가장치 및 평가 방법
CN103578463A (zh) * 2012-07-27 2014-02-12 腾讯科技（深圳）有限公司 自动化测试方法及测试装置
CN103745731A (zh) * 2013-12-31 2014-04-23 安徽科大讯飞信息科技股份有限公司 一种语音识别效果自动化测试系统及测试方法
JP2014202781A (ja) * 2013-04-01 2014-10-27 日本電信電話株式会社 音声認識性能推定装置とその方法とプログラム
CN104538042A (zh) * 2014-12-22 2015-04-22 南京声准科技有限公司 终端智能语音测试系统和方法
CN106228986A (zh) * 2016-07-26 2016-12-14 北京奇虎科技有限公司 一种语音识别引擎的自动化测试方法、装置和系统
CN107039050A (zh) * 2016-02-04 2017-08-11 阿里巴巴集团控股有限公司 对待测试语音识别系统的自动测试方法和装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6622121B1 (en) * 1999-08-20 2003-09-16 International Business Machines Corporation Testing speech recognition systems using test data generated by text-to-speech conversion
US9659559B2 (en) * 2009-06-25 2017-05-23 Adacel Systems, Inc. Phonetic distance measurement system and related methods
US9053087B2 (en) * 2011-09-23 2015-06-09 Microsoft Technology Licensing, Llc Automatic semantic evaluation of speech recognition results
CN102723080B (zh) * 2012-06-25 2014-06-11 惠州市德赛西威汽车电子有限公司 一种语音识别测试系统及方法
CN102930866B (zh) * 2012-11-05 2014-05-21 广州市神骥营销策划有限公司 一种用于口语练习的学生朗读作业的评判方法
JP2015045689A (ja) * 2013-08-27 2015-03-12 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 音声認識システムについての音声認識結果を評価する方法、並びに、そのコンピュータ及びコンピュータ・プログラム
CN105653517A (zh) * 2015-11-05 2016-06-08 乐视致新电子科技（天津）有限公司 一种识别率确定方法及装置
CN105302795B (zh) * 2015-11-11 2018-03-20 河海大学 基于汉语模糊发音和语音识别的中文文本校验系统及方法
CN107305768B (zh) * 2016-04-20 2020-06-12 上海交通大学 语音交互中的易错字校准方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110061987A (ko) * 2009-12-02 2011-06-10 한국생산기술연구원 로봇의 음성인식 성능 평가장치 및 평가 방법
CN103578463A (zh) * 2012-07-27 2014-02-12 腾讯科技（深圳）有限公司 自动化测试方法及测试装置
JP2014202781A (ja) * 2013-04-01 2014-10-27 日本電信電話株式会社 音声認識性能推定装置とその方法とプログラム
CN103745731A (zh) * 2013-12-31 2014-04-23 安徽科大讯飞信息科技股份有限公司 一种语音识别效果自动化测试系统及测试方法
CN104538042A (zh) * 2014-12-22 2015-04-22 南京声准科技有限公司 终端智能语音测试系统和方法
CN107039050A (zh) * 2016-02-04 2017-08-11 阿里巴巴集团控股有限公司 对待测试语音识别系统的自动测试方法和装置
CN106228986A (zh) * 2016-07-26 2016-12-14 北京奇虎科技有限公司 一种语音识别引擎的自动化测试方法、装置和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115132173A (zh) * 2021-03-24 2022-09-30 华为技术有限公司 语音交互系统的测试方法、音频识别方法及相关设备
CN115171657A (zh) * 2022-05-26 2022-10-11 青岛海尔科技有限公司 语音设备的测试方法和装置、存储介质

Also Published As

Publication number Publication date
CN109102797B (zh) 2024-01-26
CN109102797A (zh) 2018-12-28

Similar Documents

Publication Publication Date Title
WO2020006878A1 (zh) 语音识别测试方法、装置、计算机设备及存储介质
CN110457431B (zh) 基于知识图谱的问答方法、装置、计算机设备和存储介质
CN109992601B (zh) 待办事项信息的推送方法、装置和计算机设备
CN110765295A (zh) 基于图数据库的查询方法、装置、计算机设备及存储介质
WO2020119419A1 (zh) 基于图像识别的测试方法、装置、计算机设备及存储介质
WO2020181808A1 (zh) 一种文本标点预测方法、装置、计算机设备及存储介质
CN110109824B (zh) 大数据自动回归测试方法、装置、计算机设备和存储介质
CN109473093A (zh) 语音识别方法、装置、计算机设备及存储介质
CN110442513A (zh) 功能测试用例的执行方法、装置、计算机设备和存储介质
WO2017074834A1 (en) Methods and computing devices relating to translation of a single word speech input
CN111475628A (zh) 会话数据处理方法、装置、计算机设备和存储介质
CN114185791A (zh) 一种数据映射文件的测试方法、装置、设备及存储介质
CN119336885A (zh) 对话质检方法、装置及存储介质
CN108399125A (zh) 自动化测试方法、装置、计算机设备和存储介质
CN114742522B (zh) 一种勘察设计图自动对比方法、系统、装置及存储介质
WO2020215693A1 (zh) 软件测试方法、装置、计算机设备和可读存储介质
CN108986786B (zh) 语音交互设备评级方法、系统、计算机设备和存储介质
WO2020057023A1 (zh) 自然语言的语义解析方法、装置、计算机设备和存储介质
CN113645357B (zh) 通话质检方法、装置、计算机设备和计算机可读存储介质
CN120407635A (zh) 一种检索优化方法以及检索优化装置
CN109542782B (zh) 基于机器学习的nfc测试方法、装置和计算机设备
CN119807220A (zh) 用于生成结构化查询语句的方法、装置、设备和存储介质
US12554699B2 (en) Method and system for implementing a data corruption detection test
CN114971926B (zh) 保费计算模型测试方法、系统、设备及存储介质
CN111666301B (zh) 业务接口测试方法、计算机装置和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18925138

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18925138

Country of ref document: EP

Kind code of ref document: A1