WO2021003930A1

WO2021003930A1 - 客服录音的质检方法、装置、设备及计算机可读存储介质

Info

Publication number: WO2021003930A1
Application number: PCT/CN2019/117539
Authority: WO
Inventors: 张超; 汤耀华
Original assignee: 深圳前海微众银行股份有限公司
Priority date: 2019-07-10
Filing date: 2019-11-12
Publication date: 2021-01-14
Also published as: CN110334241A; CN110334241B

Abstract

本申请公开了一种客服录音的质检方法、装置、设备及计算机可读存储介质，所述方法包括：当获取到客服录音转化的待质检文本后，按照预设初步查找模型在所述待质检文本中查找质检要素，得到初步查找结果；根据所述初步查找结果确定是否对所述质检要素进行深度查找；当确定对所述质检要素进行深度查找时，按照预设深度查找模型在所述待质检文本中，查找所述初步查找结果中未查找到的目标要素，得到深度查找结果；根据所述深度查找结果得到所述待质检文本的质检结果。本申请实现了在保证质检准确率同时，降低整个质检系统的时间复杂度，提高质检效率。

Description

客服录音的质检方法、装置、设备及计算机可读存储介质

本申请要求于2019年7月10日提交中国专利局、申请号为201910620601.5、发明名称为“客服录音的质检方法、装置、设备及计算机可读存储介质”的中国专利申请的优先权，其全部内容通过引用结合在申请中。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种客服录音的质检方法、装置、设备及计算机可读存储介质。

背景技术

随着企业对客服服务质量要求的提高，对客服录音进行质检的需求越来越大。传统的质检方式是靠人工听客服录音，进行抽查和评估，这种质检方式不仅耗费大量的人力、质检效率低，抽查的覆盖率也低，质检效果不佳。为解决人工质检效果不佳的问题，目前提出了基于人工智能技术对客服录音进行智能质检的质检系统。但是，目前的质检系统中对录音文本数据进行分析的过程，考虑到实际录音文本的复杂程度，以及为了提高质检的准确率，采用了时间复杂度较高的分析方式，从而使得整个质检系统的时间复杂度提高。

发明内容

本申请的主要目的在于提供一种客服录音的质检方法、装置、设备及计算机可读存储介质，旨在解决目前客服质检系统对录音文本进行分析，为保证质检准确率而导致的分析过程时间复杂度高的技术问题。

为实现上述目的，本申请提供一种客服录音的质检方法，所述客服录音的质检方法包括步骤：

当获取到客服录音转化的待质检文本后，按照预设初步查找模型在所述待质检文本中查找质检要素，得到初步查找结果；

根据所述初步查找结果确定是否对所述质检要素进行深度查找；

当确定对所述质检要素进行深度查找时，按照预设深度查找模型在所述待质检文本中，查找所述初步查找结果中未查找到的目标要素，得到深度查找结果；

根据所述深度查找结果得到所述待质检文本的质检结果。

可选地，所述预设初步查找模型为模式匹配模型，所述按照预设初步查找模型在所述待质检文本中查找质检要素的步骤包括：

获取所述质检要素的预设文本模式；

将所述预设文本模式与所述待质检文本进行匹配；

若匹配到符合所述预设文本模式的目标文本，则确定查找到所述预设文本模式对应的所述质检要素。

可选地，所述根据所述初步查找结果确定是否对所述质检要素进行深度查找的步骤包括：

检测所述初步查找结果中未查找到的所述目标要素的要素数量是否大于预设数量；

若所述要素数量大于所述预设数量，则确定对所述质检要素进行深度查找；

若所述要素数量不大于所述预设数量，则确定不对所述质检要素进行深度查找。

可选地，所述预设深度查找模型包括文本匹配模型，所述按照预设深度查找模型在所述待质检文本中，查找所述初步查找结果中未查找到的目标要素的步骤包括：

获取所述待质检文本中的待质检文本片段，以及获取所述目标要素的预设标准话术文本；

按照所述文本匹配模型计算所述预设标准话术文本和所述待质检文本片段之间的文本相似度；

检测所述文本相似度是否大于预设相似度；

若所述文本相似度大于所述预设相似度，则确定查找到所述目标要素。

可选地，所述获取所述待质检文本中的待质检文本片段的步骤包括：

按照预设无监督切分模型或预设有监督切分模型，对所述待质检文本进行文本切分，得到待质检文本片段。

可选地，所述预设深度查找模型还包括阅读理解模型，所述检测所述文本相似度是否大于预设相似度的步骤之后，还包括：

若所述文本相似度不大于所述预设相似度，则按照所述阅读理解模型在所述待质检文本中对所述目标要素进行定位；

若定位到所述目标要素，则确定查找到所述目标要素。

可选地，所述根据所述深度查找结果得到所述待质检文本的质检结果的步骤包括：

根据所述深度查找结果，以及预设打分规则给各所述质检要素进行打分；

根据各所述质检要素的分值统计各质检项的分值，其中，所述质检项包括至少一个所述质检要素；

将各所述质检项的分值作为所述待质检文本的质检结果。

此外，为实现上述目的，本申请还提供一种客服录音的质检装置，所述客服录音的质检装置包括：

初步查找模块，设置为当获取到客服录音转化的待质检文本后，按照预设初步查找模型在所述待质检文本中查找质检要素，得到初步查找结果；

确定模块，设置为根据所述初步查找结果确定是否对所述质检要素进行深度查找；

深度查找模块，设置为当确定对所述质检要素进行深度查找时，按照预设深度查找模型在所述待质检文本中，查找所述初步查找结果中未查找到的目标要素，得到深度查找结果；

质检结果生成模块，设置为根据所述深度查找结果得到所述待质检文本的质检结果。

此外，为实现上述目的，本申请还提供一种客服录音的质检设备，所述客服录音的质检设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的客服录音的质检程序，所述客服录音的质检程序被所述处理器执行时实现如上所述的客服录音的质检方法的步骤。

此外，为实现上述目的，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有客服录音的质检程序，所述客服录音的质检程序被处理器执行时实现如上所述的客服录音的质检方法的步骤。

本申请通过当获取到客服录音转化的待质检文本后，按照预设初步查找模型在待质检文本中对质检要素进行初步查找，得到初步查找结果；根据初步查找结果确定是否对质检要素进行深度查找；若确定对质检要素进行深度查找，则按照预设深度查找模型，在待质检文本中查找初步查找结果中未查找到的目标要素，得到深度查找结果；根据深度查找结果，得到待质检文本的质检结果，实现了在保证质检准确率同时，降低整个质检系统的时间复杂度，提高质检效率。

附图说明

图1是本申请实施例方案涉及的硬件运行环境的结构示意图；

图2为本申请客服录音的质检方法第一实施例的流程示意图；

图3为本申请实施例涉及的一种质检流程示意图；

图4本申请客服录音的质检装置较佳实施例的功能示意图模块图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供了一种客服录音的质检设备，参照图1，图1是本申请实施例方案涉及的硬件运行环境的结构示意图。

需要说明的是，图1即可为客服录音的质检设备的硬件运行环境的结构示意图。本申请实施例客服录音的质检设备可以是PC，也可以是智能手机、智能电视机、平板电脑、便携计算机等具有显示功能的终端设备。

如图1所示，该客服录音的质检设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。存储器1005可以是高速RAM存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，客服录音的质检设备还可以包括摄像头、RF（Radio Frequency，射频）电路，传感器、音频电路、WiFi模块等等。本领域技术人员可以理解，图1中示出的客服录音的质检设备结构并不构成对客服录音的质检设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及客服录音的质检程序。

在图1所示的客服录音的质检设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端（用户端），与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的客服录音的质检程序，并执行以下操作：

根据所述所述深度查找结果得到所述待质检文本的质检结果。

进一步地，所述预设初步查找模型为模式匹配模型，所述按照预设初步查找模型在所述待质检文本中查找质检要素的步骤包括：

获取所述质检要素的预设文本模式；

将所述预设文本模式与所述待质检文本进行匹配；

进一步地，所述根据所述初步查找结果确定是否对所述质检要素进行深度查找的步骤包括：

进一步地，所述预设深度查找模型包括文本匹配模型，所述按照预设深度查找模型在所述待质检文本中，查找所述初步查找结果中未查找到的目标要素的步骤包括：

检测所述文本相似度是否大于预设相似度；

进一步地，所述获取所述待质检文本中的待质检文本片段的步骤包括：

进一步地，所述预设深度查找模型还包括阅读理解模型，所述检测所述文本相似度是否大于预设相似度的步骤之后，处理器1001可以调用存储器1005中存储的客服录音的质检程序，还执行以下操作：

若定位到所述目标要素，则确定查找到所述目标要素。

进一步地，所述根据所述深度查找结果得到所述待质检文本的质检结果的步骤包括：

将各所述质检项的分值作为所述待质检文本的质检结果。

基于上述的硬件结构，提出本申请客服录音的质检方法的各个实施例。

参照图2，本申请客服录音的质检方法第一实施例提供一种客服录音的质检方法，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。为便于描述，在以下各实施例中省略执行主体进行阐述。所述客服录音的质检方法包括：

步骤S10，当获取到客服录音转化的待质检文本后，按照预设初步查找模型在所述待质检文本中查找质检要素，得到初步查找结果；

在本实施例中，预先可以对客服的电话服务过程进行录音，并将录音文件保存在数据库中。在需要对客服录音进行质检时，如接收到质检指令时，从数据库中获取客服的录音文件，对录音文件采用语音识别技术进行识别，将语音数据转化为文本数据。待质检文本是客服录音文件中，客服的语音转成的文本，而非用户的语音转成的文本，具体地，可以根据说话人的语音特征(如声纹特征)，对录音数据中客服的语音和用户的语音进行区分。

可以预先设置质检项和质检要素作为质检指标。其中，质检项是指待质检文本中应当包括的开头语、安全提醒、身份证核实或确认本人等话术文本，例如：开头语的话术文本是“您好！这里是微众银行工作人员给您致电。感谢您使用微粒贷产品！本次来电主要是与您确认借款的相关信息，请问您现在通话方便吗？为了保证服务质量，本次通话可能会被录音，请您了解”。对于不同服务对象或服务类型的客服录音，可设置不同的质检项，如可设置4个质检项：开头语、安全提醒、身份核实和确认本人。质检要素是质检项的话说文本中的一个或几个片段，例如，开头语作为质检项时，可以包括“微众银行工作人员”、“与您确认借款”和“本次通话可能会被录音”这三个质检要素。待质检文本中是否出现各个质检要素，以及出现的多少是体现客服的服务质量好坏的评价标准。

当获取到客服录音转化的待质检文本后，按照预设初步查找模型在待质检文本中查找质检要素，得到初步查找结果。其中，预设初步查找模型可以是预先设置的能够对质检要素进行初步查找的模型，如预先设置模式匹配模型作为初步查找模型，初步查找所耗费的时间较少，对于复杂程度较低的客服录音，能够查找到大部分或全部的质检要素。在待质检文本中查找质检要素是指查找所有质检项下的质检要素。根据是否查找到各质检要素，得到初步查找结果，初步查找结果可能是包括未查找到的质检要素和查找到的质检要素，也可能是查找到所有的质检要素，也可能各质检要素都未查找到。

步骤S20，根据所述初步查找结果确定是否对所述质检要素进行深度查找；

根据初步查找结果确定是否对质检要素进行深度查找。具体地，可以是计算初步查找结果中，查找到的质检要素的数量占总质检要素数量的比例；当比例大于一个预设比例时，确定不进行深度查找，因为，当对待质检文本进行评分时，若该比例大于预设比例，说明待质检文本出现的质检要素很多，在此基础上，已经可以确定该待质检文本符合质量要求，即可不进行后续的深度查找，从而减少文本分析的时间，进而降低了整个质检系统的时间复杂度，提高了质检效率。当该比例不大于该预设比例时，说明待质检文本中出现的质检要素的个数不够确定该待质检文本符合质量要求，但是由于采用的是初步查找模型，待质检文本中可能还出现了其他质检要素，但是未被初步查找模型查找出来，此时可确定对质检要素进行深度深度，以通过后续的深度查找模型对质检要素进行进一步的查找，以确定初步查找未查找到的质检要素是否确实未出现在待质检文本中，从而提高质检系统的准确率。

进一步地，步骤S20包括：

步骤S201，检测所述初步查找结果中未查找到的所述目标要素的要素数量是否大于预设数量；

在得到初步查找结果后，将初步查找结果中未查找到的质检要素作为目标要素，检测目标要素的要素数量是否大于预设数量。其中，预设数量可根据具体需要进行设置，当对质检的准确率要求较高时，可将预设数量设置得较小。

步骤S202，若所述要素数量大于所述预设数量，则确定对所述质检要素进行深度查找；

若检测到要素数量大于预设数量，则确定对质检要素进行深度查找。当要素数量大于预设数量时，说明还有较多的质检要素没有查找到，此时，待质检文本中可能还出现了其他质检要素，但是未被初步查找模型查找出来，不能够直接确定待质检文本不符合质量要求，因此，可确定对质检要素进行深度查找。

步骤S203，若所述要素数量不大于所述预设数量，则确定不对所述质检要素进行深度查找。

若检测到要素数量不大于预设数量，则确定不对质检要素进行深度查找，即由于未查找到的质检要素数量不多，此时已经可以确定待质检文本中出现了较多的质检要素，可以确定待质检文本符合质量要求，因此，不需要进行继续查找，从而节约文本分析时间，降低质检系统的时间复杂度。

进一步地，当对质检的准确率要求较高时，如当待质检文本中必须出现所有的质检要素才能够确定待质检文本符合质量要求时，可将预设数量设置为零，即检测初步查找结果是否有未查找到的质检要素，当大于零时，说明有未查找到的质检要素，只要有未查找到的质检要素，即采用后续的深度查找模型进行深度查找，以更准确地确定目标要素是否出现在待质检文本中。

步骤S30，当确定对所述质检要素进行深度查找时，按照预设深度查找模型在所述待质检文本中，查找所述初步查找结果中未查找到的目标要素，得到深度查找结果；

当确定对质检要素进行深度查找时，按照预设深度查找模型在待质检文本中进行质检要素的查找，此时，查找的是初步查找结果中未查找到的目标要素，得到深度查找结果。其中，预设深度查找模型可以是预先设置的能够对待质检文本中的质检要素进行精确查找的模型，如设置文本匹配模型或机器阅读理解模型作为深度查找模型，深度查找所耗费的时间较长，但是对于复杂程度较高的客服语音，能够更准确地确定待质检文本中是否出现质检要素。深度查找结果中可以是仅包括各目标要素是否查找到的情况，也可以包括所有质检要素的查找情况，如当一共预设有10个质检要素时，初步查找结果中，查找到5个质检要素，5个质检要素未查找到，则对未查找到的5个质检要素进行深度查找，找到3个质检要素，得到的深度查找结果可以是仅包括这3个质检要素，也可以是包括一共查找到的8个质检要素。

若对于待质检文本，直接使用深度查找模型进行质检要素的查找，虽然能够保证质检的准确率，但是将耗费较长的时间，特别对于复杂程度较低的客服语音，采用深度查找模型会浪费较多时间。而若仅使用初步查找模型进行质检要素的查找，虽然能够减低时间复杂度，但是质检的准确率低。在本实施例中，通过先按照预设初步查找模型进行初步查找，查找到大部分的质检要素，若初步查找结果能够满足对待质检文本做出质量评价的条件，则不需进行后续的深度查找，如查找到大部分或者全部的质检要素时，不再进行后续的深度查找，从而减少了文本分析时间，降低了时间复杂度；若初步查找结果不能够满足对待质检文本做出质量评价的条件，如大部分质检要素都未查找到，则再对未查找到的质检要素采用预设深度查找模型进行深度查找,由于不是对全部的质检要素均采用深度查找模型进行查找，使得保证质检的准确率的同时，降低了时间复杂度，从而提高了质检效率。

步骤S40，根据所述深度查找结果得到所述待质检文本的质检结果。

当未进行后续的深度查找时，可根据初步查找结果得到待质检文本的质检结果，当进行了后续的深度查找时，可根据深度查找结果得到待质检文本的质检结果，或根据深度查找结果和初步查找结果得到待质检文本的质检结果。具体地，可将初步查找结果中各质检要素是否查找到的情况，以报表的形式进行记录，将报表作为质检结果。并可以将各客服录音对应的质检结果进行汇总，一并推送给质检人员，使得质检人员能够获知各个客服录音中质检要素的查找情况。

在本实施例中，通过当获取到客服录音转化的待质检文本后，按照预设初步查找模型在待质检文本中对质检要素进行初步查找，得到初步查找结果；根据初步查找结果确定是否对质检要素进行深度查找；若确定对质检要素进行深度查找，则按照预设深度查找模型，在待质检文本中查找初步查找结果中未查找到的目标要素，得到深度查找结果；根据深度查找结果，得到待质检文本的质检结果。本申请实现了在保证质检准确率同时，降低整个质检系统的时间复杂度，提高质检效率。

进一步的，基于上述第一实施例，本申请客服录音的质检方法第二实施例提供一种客服录音的质检方法。在本实施例中，所述预设初步查找模型为模式匹配模型，所述按照预设初步查找模型在所述待质检文本中查找质检要素的步骤包括：

步骤A10，获取所述质检要素的预设文本模式；

模式匹配模型是指通过描述某个句法规则的文本模式在文本中匹配符合该句法规则的目标文本的模型。其中，文本模式可以是正则表达式，正则表达式使用单个字符串来描述、匹配一系列符合某个句法规则的字符串。预先可以设置每个质检要素对应的文本模式，如“微众银行工作人员”这一质检要素，可以设置对应的正则表达式：r"(.*)(这里)(.*)(微众银行工作人员|微众银行)(.*)(给您致电)(.*)"，一个质检要素也可以对应设置多个文本模式。预先可以将各质检要素的预设文本模式保存在数据库中。

当预设初步查找模型为模式匹配模型时，初步查找的过程为：获取质检要素的预设文本模型，如可从数据库中获取每一个质检要素对应的预设文本模式。

步骤A20，将所述预设文本模式与所述待质检文本进行匹配；

将预设文本模式与待质检文本进行匹配。如将r"(.*)(这里)(.*)(微众银行工作人员|微众银行)(.*)(给您致电)(.*)"这一正则表达式与待质检文本进行匹配，这一模式具有一定的泛化性，可以覆盖多种表达方式，如可以覆盖“这里微众银行给您致电”这样的文本，若待质检文本中出现符合这个句法规则的文本，则匹配成功，若未出现符合这个句法规则的文本，则匹配失败。

步骤A30，若匹配到符合所述预设文本模式的目标文本，则确定查找到所述预设文本模式对应的所述质检要素。

若匹配到符合预设文本模式的目标文本，则确定查找到与预设文本模式对应的质检要素。如通过上述正则表达式进行匹配，匹配到“这里微众银行给您致电”这一目标文本，则可以确定待质检文本中出现了“微众银行工作人员”这一质检要素，也即查找到了该质检要素。

在本实施例中，通过时间复杂度低的模式匹配模式对质检要素进行初步查找，能够覆盖大部分的质检要素，从而降低了整个质检系统的时间复杂度，提高了质检效率。

步骤B10，获取所述待质检文本中的待质检文本片段，以及获取所述目标要素的预设标准话术文本；

文本匹配模型是计算文本与文本之间相似度的模型，文本匹配模型计算相似度的算法可以有多种，如逻辑回归算法和词袋算法。当预设深度查找模型包括文本匹配模型时，深度查找的过程可以是：获取待质检文本中的待质检文本片段。其中，将识别客服录音转化为待质检文本时，可根据客服语音的断句，在待质检文本中通过预设的断句符进行断句，如通过“，”进行断句，则获取待质检文本片段可以是根据断句符对待质检文本进行切分，切分多个待质检文本片段。文本匹配模型要求计算相似度的两个文本的长度相隔不大，因此，通过待质检文本进行切分为待质检文本片段，可以使得相似度计算结果更加准确。

对于每个质检要素可预先设置对应的标准话术文本，如“微众银行工作人员”这个质检要素，可设置对应的标准话术文本：“这里是微众银行工作人员给您致电”，也可以将标准话术文本保存在数据库中。当确定进行深度查找时，确定初步查找结果中未查找到的目标要素，从数据库中获取目标要素的预设标准话术文本。

步骤B101，按照预设无监督切分模型或预设有监督切分模型，对所述待质检文本进行文本切分，得到待质检文本片段。

若待质检文本中未通过断句符进行断句，或者，通过根据断句符进行切分得到的待质检文本片段仍然很长时，可按照预设无监督切分模型或预设有监督切分模型，对待质检文本进行文本切分，得到待质检文本片段。其中，预设无监督切分模型可采用编辑距离算法，编辑距离算法可确定标准质检文本跟待质检文本之间的对应关系，根据对应关系来对待质检文本进行切分。预设有监督切分模型可以是，预先通过训练人工标注的数据，训练得到一个深度学习模型，通过该深度学习模型来对待质检文本进行切分，例如，将“您好这里是微众银行给您致电请问您是*先生吗”，切分为“您好”，“这里是微众银行给您致电”，“请问您是*先生吗”3个待质检文本片段。

步骤B20，按照所述文本匹配模型计算所述预设标准话术文本和所述待质检文本片段之间的文本相似度；

按照文本匹配模型计算预设标准话术文本和待质检文本片段之间的文本相似度。如按照逻辑回归算法计算预设标准话术文本“这里是微众银行工作人员给您致电”与“这里是微众银行给您致电”这一待质检文本片段之间的文本相似度。

步骤B30，检测所述文本相似度是否大于预设相似度；

检测计算得到的文本相似度是否大于预设相似度，其中，预设相似度根据具体需要进行设置，如相似度取值范围是0~1，则预设相似度可设置为0.8。

步骤B40，若所述文本相似度大于所述预设相似度，则确定查找到所述目标要素。

若检测到文本相似度大于预设相似度，则说明待质检文本片段与预设标准话术文本之间的相似度高，则可确定查找到了预设标准话术文本对应的目标要素。

在本实施例中，通过对初步查找结果中未查找到的目标要素，按照文本匹配模型进行深度查找，可提高质检的准确率，降低误检率、误召回率；并且通过文本模型对剩余未找到的目标要素进行查找，也降低了质检系统的时间复杂度，提高了质检效率。

需要说明的是，按照文本匹配模型进行深度查找后，可得到深度查找结果，此时，可以将深度查找结果作为最终的查找结果，也可以是根据深度查找结果中质检要素的查找情况，确定是否继续进行进一步的深度查找，若质检要素全部查找到，则可以不再进行后续的深度查找，若查找到的质检要素的数量较少，不够对待质检文本作出服务质量评价时，可继续进行后续的深度查找。

进一步的，所述预设深度查找模型还包括阅读理解模型，所述步骤B30之后，还包括：

步骤B50，若所述文本相似度不大于所述预设相似度，则按照所述阅读理解模型在所述待质检文本中对所述目标要素进行定位；

预设深度查找模型还包括阅读理解模型，阅读理解模型是检测一小段文本是否出现在一篇文章中的一种模型，如R-NET模型。当确定需要进一步对未查找到的目标要素进行深度查找时，可采用阅读理解模型进行深度查找。如在本实施例中，若检测到文本相似度不大于预设相似度，则说明待质检文本片段与预设标准话术文本之间的相似度不高，则说明通过文本匹配模型未查找到该预设标准话术文本对应的目标要素。此时可对该目标要素采用阅读理解模型进行进一步地查找，按照阅读理解模型在待质检文本中对目标要素进行定位。如在从“您好这里是微众银行工作人员给您致电感谢您使用微粒贷产品本次来电主要是与您确认借款的相关信息请问您现在通话方便吗为了保证服务质量本次通话可能会被录音请您了解”中对“微众银行工作人员”这一目标要素进行定位。

步骤B60，若定位到所述目标要素，则确定查找到所述目标要素。

阅读理解模型可以找出目标要素在待质检文本中的位置，并给出一个分类标签0或1，其中0表示质检要素不存在于待质检文本中，1表示质检要素存在于待质检文本中。如找出“微众银行工作人员”出现在待质检文本的第6个字开始的、长度为8的小段文本中，即位置是(6，14)，并给出标签1。根据阅读理解模型输出的分类标签，即可确定是否定位到目标要素。若定位到目标要素，则确定查找到目标要素，此时，可更新深度查找结果，将更新后的深度查找结果作为最终的查找结果。

在本实施例中，通过对文本匹配模型未查找到的目标要素，按照阅读理解模型进行更进一步的查找，由于阅读理解模型的查找准确率要优于文本匹配模型和模式匹配模型，使得质检的准确率进一步提高，也进一步降低了误检率和误召回率；此外，由于阅读理解模型是对未查找到的目标要素进行查找，因此，降低了整个质检系统的时间复杂度，提高了质检效率。

进一步地，也可以是在按照模式匹配模型进行初步查找后，确定需要进行后续的深度查找时，跳过按照文本匹配模型进行深度查找的过程，直接采用阅读理解模型进行深度查找。

进一步的，基于上述第一或第二实施例，本申请客服录音的质检方法第三实施例提供一种客服录音的质检方法。在本实施例中，所述步骤S40包括：

步骤S401，根据所述深度查找结果，以及预设打分规则给各所述质检要素进行打分；

当未进行后续的深度查找时，根据初步查找结果得到待质检文本的质检结果，当进行了后续的深度查找时，可根据深度查找结果得到待质检文本的质检结果，或根据深度查找结果和初步查找结果得到待质检文本的质检结果。以下，将初步查找结果和深度查找结果统称为查找结果。根据查找结果，以及预设打分规则，给各个质检要素进行打分。其中，查找结果包括各个质检要素的是否查找到的结果，预设打分规则可以是根据需要进行设置，如对于每个质检要素，查找到则给该质检要素打1分，若未查找到，则给该质检要素打0分，每个质检要素对应的分值也可以不同，如对于重要的质检要素，查找到时其得分可以更高。

步骤S402，根据各所述质检要素的分值统计各质检项的分值，其中，所述质检项包括至少一个所述质检要素；

根据各质检要素的分值统计各质检项的分值，其中，质检项包括至少一个质检要素。具体地，可以是将质检项下的各个质检要素的分值相加，得到该质检项的分值，也可以是将质检项下的各个质检要素进行加权平均，得到该质检项的分值，各个质检要素的权重可以预先根据质检要素的重要程度进行设置。

步骤S403，将各所述质检项的分值作为所述待质检文本的质检结果。

将计算得到的各个质检项的分值作为待质检文本的质检结果。具体地，可以将各质检项的分值以表格的形式进行保存，作为质检结果，将表格推送给质检人员或者是该待质检文本对应的客服人员。各个质检项的得分越高，说明客服的服务质量越高。

在本实施例中，通过对待质检文本中各个质检要素进行打分，得到各个质检项的分值，将质检项的分值作为最终的质检结果，使得质检结果更加直观、易懂，便于质检人员的对质检结果的统一管理。

进一步地，如图3所示，为本申请实施例提供的一种优选质检流程，按照该优选质检流程对待质检文本进行质检：通过模式匹配模型对质检要素进行初步查找；若有未查找到的质检要素，则对待质检文本进行文本切分得到待质检文本片段，按照文本匹配模型计算待质检文本片段和标准话术文本之间的文本相似度，根据相似度确定质检要素的查找情况；若还有未查找到的质检要素，则按照阅读理解模型再对未查找到的质检要素进行进一步的查找；最后根据查找结果进行打分，得到待质检文本各质检项的分值，作为质检结果。按照该质检流程对待质检文本进行分析和打分，可以适应复杂程度不一的客服录音，在保证质检准确率的同时，降低质检系统的时间复杂度，同时得到直观的质检结果，方便质检人员对质检结果的统一管理。

此外，本申请实施例还提出一种客服录音的质检装置，参照图4，所述客服录音的质检装置包括：

初步查找模块10，设置为当获取到客服录音转化的待质检文本后，按照预设初步查找模型在所述待质检文本中查找质检要素，得到初步查找结果；

确定模块20，设置为根据所述初步查找结果确定是否对所述质检要素进行深度查找；

深度查找模块30，设置为当确定对所述质检要素进行深度查找时，按照预设深度查找模型在所述待质检文本中，查找所述初步查找结果中未查找到的目标要素，得到深度查找结果；

质检结果生成模块40，设置为根据所述深度查找结果得到所述待质检文本的质检结果。

进一步地，所述预设初步查找模型为模式匹配模型，所述初步查找模块10包括：

第一获取单元，设置为获取所述质检要素的预设文本模式；

匹配单元，设置为将所述预设文本模式与所述待质检文本进行匹配；

第一确定单元，设置为若匹配到符合所述预设文本模式的目标文本，则确定查找到所述预设文本模式对应的所述质检要素。

进一步地，所述确定模块20包括：

第一检测单元，设置为检测所述初步查找结果中未查找到的所述目标要素的要素数量是否大于预设数量；

第二确定单元，设置为若所述要素数量大于所述预设数量，则确定对所述质检要素进行深度查找；若所述要素数量不大于所述预设数量，则确定不对所述质检要素进行深度查找。

进一步地，所述预设深度查找模型包括文本匹配模型，所述深度查找模块30包括：

第二获取单元，设置为获取所述待质检文本中的待质检文本片段，以及获取所述目标要素的预设标准话术文本；

计算单元，设置为按照所述文本匹配模型计算所述预设标准话术文本和所述待质检文本片段之间的文本相似度；

第二检测单元，设置为检测所述文本相似度是否大于预设相似度；

第三确定单元，设置为若所述文本相似度大于所述预设相似度，则确定查找到所述目标要素。

进一步地，所述第二获取单元包括：

切分子单元，设置为按照预设无监督切分模型或预设有监督切分模型，对所述待质检文本进行文本切分，得到待质检文本片段。

进一步地，所述预设深度查找模型还包括阅读理解模型，所述深度查找模块30还包括：

定位单元，设置为若所述文本相似度不大于所述预设相似度，则按照所述阅读理解模型在所述待质检文本中对所述目标要素进行定位；

第四确定单元，设置为若定位到所述目标要素，则确定查找到所述目标要素。

进一步地，所述质检结果生成模块40包括：

打分单元，设置为根据所述深度查找结果，以及预设打分规则给各所述质检要素进行打分；

统计单元，设置为根据各所述质检要素的分值统计各质检项的分值，其中，所述质检项包括至少一个所述质检要素；

结果生成单元，设置为将各所述质检项的分值作为所述待质检文本的质检结果。

本申请客服录音的质检装置的具体实施方式的拓展内容与上述客服录音的质检方法各实施例基本相同，在此不做赘述。

此外，本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有客服录音的质检程序，所述客服录音的质检程序被处理器执行时实现如上所述客服录音的质检方法的步骤。

本申请客服录音的质检设备和计算机可读存储介质的具体实施方式的拓展内容与上述客服录音的质检方法各实施例基本相同，在此不做赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims

一种客服录音的质检方法，其中，所述客服录音的质检方法包括：

当获取到客服录音转化的待质检文本后，按照预设初步查找模型在所述待质检文本中查找质检要素，得到初步查找结果；

根据所述初步查找结果确定是否对所述质检要素进行深度查找；

当确定对所述质检要素进行深度查找时，按照预设深度查找模型在所述待质检文本中，查找所述初步查找结果中未查找到的目标要素，得到深度查找结果；以及，

根据所述深度查找结果得到所述待质检文本的质检结果。
如权利要求1所述的客服录音的质检方法，其中，所述预设初步查找模型为模式匹配模型，所述按照预设初步查找模型在所述待质检文本中查找质检要素的步骤包括：

获取所述质检要素的预设文本模式；

将所述预设文本模式与所述待质检文本进行匹配；

若匹配到符合所述预设文本模式的目标文本，则确定查找到所述预设文本模式对应的所述质检要素。
如权利要求1所述的客服录音的质检方法，其中，所述根据所述初步查找结果确定是否对所述质检要素进行深度查找的步骤包括：

检测所述初步查找结果中未查找到的所述目标要素的要素数量是否大于预设数量；

若所述要素数量大于所述预设数量，则确定对所述质检要素进行深度查找；

若所述要素数量不大于所述预设数量，则确定不对所述质检要素进行深度查找。
如权利要求1所述的客服录音的质检方法，其中，所述预设深度查找模型包括文本匹配模型，所述按照预设深度查找模型在所述待质检文本中，查找所述初步查找结果中未查找到的目标要素的步骤包括：

获取所述待质检文本中的待质检文本片段，以及获取所述目标要素的预设标准话术文本；

按照所述文本匹配模型计算所述预设标准话术文本和所述待质检文本片段之间的文本相似度；

检测所述文本相似度是否大于预设相似度；

若所述文本相似度大于所述预设相似度，则确定查找到所述目标要素。
如权利要求4所述的客服录音的质检方法，其中，所述获取所述待质检文本中的待质检文本片段的步骤包括：

按照预设无监督切分模型或预设有监督切分模型，对所述待质检文本进行文本切分，得到待质检文本片段。
如权利要求5所述的客服录音的质检方法，其中，所述预设深度查找模型还包括阅读理解模型，所述检测所述文本相似度是否大于预设相似度的步骤之后，还包括：

若所述文本相似度不大于所述预设相似度，则按照所述阅读理解模型在所述待质检文本中对所述目标要素进行定位；

若定位到所述目标要素，则确定查找到所述目标要素。
如权利要求1所述的客服录音的质检方法，其中，所述根据所述深度查找结果得到所述待质检文本的质检结果的步骤包括：

根据所述深度查找结果，以及预设打分规则给各所述质检要素进行打分；

根据各所述质检要素的分值统计各质检项的分值，其中，所述质检项包括至少一个所述质检要素；

将各所述质检项的分值作为所述待质检文本的质检结果。
一种客服录音的质检装置，其中，所述客服录音的质检装置包括：

初步查找模块，设置为当获取到客服录音转化的待质检文本后，按照预设初步查找模型在所述待质检文本中查找质检要素，得到初步查找结果；

确定模块，设置为根据所述初步查找结果确定是否对所述质检要素进行深度查找；

深度查找模块，设置为当确定对所述质检要素进行深度查找时，按照预设深度查找模型在所述待质检文本中，查找所述初步查找结果中未查找到的目标要素，得到深度查找结果；以及，

质检结果生成模块，设置为根据所述深度查找结果得到所述待质检文本的质检结果。
如权利要求8所述的客服录音的质检装置，其中，所述预设初步查找模型为模式匹配模型，所述初步查找模块10包括：

第一获取单元，设置为获取所述质检要素的预设文本模式；

匹配单元，设置为将所述预设文本模式与所述待质检文本进行匹配；

第一确定单元，设置为若匹配到符合所述预设文本模式的目标文本，则确定查找到所述预设文本模式对应的所述质检要素。
如权利要求8所述的客服录音的质检装置，其中，所述确定模块包括：

第一检测单元，设置为检测所述初步查找结果中未查找到的所述目标要素的要素数量是否大于预设数量；

第二确定单元，设置为若所述要素数量大于所述预设数量，则确定对所述质检要素进行深度查找；若所述要素数量不大于所述预设数量，则确定不对所述质检要素进行深度查找。
如权利要求8所述的客服录音的质检装置，其中，所述预设深度查找模型包括文本匹配模型，所述深度查找模块包括：

第二获取单元，设置为获取所述待质检文本中的待质检文本片段，以及获取所述目标要素的预设标准话术文本；

计算单元，设置为按照所述文本匹配模型计算所述预设标准话术文本和所述待质检文本片段之间的文本相似度；

第二检测单元，设置为检测所述文本相似度是否大于预设相似度；

第三确定单元，设置为若所述文本相似度大于所述预设相似度，则确定查找到所述目标要素。
一种客服录音的质检设备，其中，所述客服录音的质检设备包括存储器、处理器和存储在所述存储器上并可在所述处理器上运行的客服录音的质检程序，所述客服录音的质检程序被所述处理器执行时实现如下步骤：

当获取到客服录音转化的待质检文本后，按照预设初步查找模型在所述待质检文本中查找质检要素，得到初步查找结果；

根据所述初步查找结果确定是否对所述质检要素进行深度查找；

当确定对所述质检要素进行深度查找时，按照预设深度查找模型在所述待质检文本中，查找所述初步查找结果中未查找到的目标要素，得到深度查找结果；以及，

根据所述深度查找结果得到所述待质检文本的质检结果。
如权利要求12所述的客服录音的质检设备，其中，所述预设初步查找模型为模式匹配模型，所述按照预设初步查找模型在所述待质检文本中查找质检要素的步骤包括：

获取所述质检要素的预设文本模式；

将所述预设文本模式与所述待质检文本进行匹配；

若匹配到符合所述预设文本模式的目标文本，则确定查找到所述预设文本模式对应的所述质检要素。
如权利要求12所述的客服录音的质检设备，其中，所述根据所述初步查找结果确定是否对所述质检要素进行深度查找的步骤包括：

检测所述初步查找结果中未查找到的所述目标要素的要素数量是否大于预设数量；

若所述要素数量大于所述预设数量，则确定对所述质检要素进行深度查找；

若所述要素数量不大于所述预设数量，则确定不对所述质检要素进行深度查找。
如权利要求12所述的客服录音的质检设备，其中，所述预设深度查找模型包括文本匹配模型，所述按照预设深度查找模型在所述待质检文本中，查找所述初步查找结果中未查找到的目标要素的步骤包括：

获取所述待质检文本中的待质检文本片段，以及获取所述目标要素的预设标准话术文本；

按照所述文本匹配模型计算所述预设标准话术文本和所述待质检文本片段之间的文本相似度；

检测所述文本相似度是否大于预设相似度；

若所述文本相似度大于所述预设相似度，则确定查找到所述目标要素。
如权利要求15所述的客服录音的质检设备，其中，所述获取所述待质检文本中的待质检文本片段的步骤包括：

按照预设无监督切分模型或预设有监督切分模型，对所述待质检文本进行文本切分，得到待质检文本片段。
如权利要求16所述的客服录音的质检设备，其中，所述预设深度查找模型还包括阅读理解模型，所述检测所述文本相似度是否大于预设相似度的步骤之后，还包括：

若所述文本相似度不大于所述预设相似度，则按照所述阅读理解模型在所述待质检文本中对所述目标要素进行定位；

若定位到所述目标要素，则确定查找到所述目标要素。
如权利要求12所述的客服录音的质检设备，其中，所述根据所述深度查找结果得到所述待质检文本的质检结果的步骤包括：

根据所述深度查找结果，以及预设打分规则给各所述质检要素进行打分；

根据各所述质检要素的分值统计各质检项的分值，其中，所述质检项包括至少一个所述质检要素；

将各所述质检项的分值作为所述待质检文本的质检结果。
一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有客服录音的质检程序，所述客服录音的质检程序被处理器执行时实现如下步骤：

当获取到客服录音转化的待质检文本后，按照预设初步查找模型在所述待质检文本中查找质检要素，得到初步查找结果；

根据所述初步查找结果确定是否对所述质检要素进行深度查找；

当确定对所述质检要素进行深度查找时，按照预设深度查找模型在所述待质检文本中，查找所述初步查找结果中未查找到的目标要素，得到深度查找结果；以及，

根据所述深度查找结果得到所述待质检文本的质检结果。
如权利要求19所述的计算机可读存储介质，其中，所述预设初步查找模型为模式匹配模型，所述按照预设初步查找模型在所述待质检文本中查找质检要素的步骤包括：

获取所述质检要素的预设文本模式；

将所述预设文本模式与所述待质检文本进行匹配；

若匹配到符合所述预设文本模式的目标文本，则确定查找到所述预设文本模式对应的所述质检要素。