WO2018103602A1 - 一种基于用户注册信息的人机对话控制方法及系统 - Google Patents

一种基于用户注册信息的人机对话控制方法及系统 Download PDF

Info

Publication number
WO2018103602A1
WO2018103602A1 PCT/CN2017/114433 CN2017114433W WO2018103602A1 WO 2018103602 A1 WO2018103602 A1 WO 2018103602A1 CN 2017114433 W CN2017114433 W CN 2017114433W WO 2018103602 A1 WO2018103602 A1 WO 2018103602A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
state
topic
machine
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2017/114433
Other languages
English (en)
French (fr)
Inventor
贺前华
叶卓贤
吴俊峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Publication of WO2018103602A1 publication Critical patent/WO2018103602A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Definitions

  • the present invention relates to the field of identity verification, and in particular, to a human-machine dialog control method and system based on user registration information.
  • biometrics such as faces, pupils, and sounds.
  • voiceprint authentication has the advantages of high user acceptance, low equipment cost, and convenient acquisition. It is the first choice for off-site identity authentication. It is the only choice for telephone network-based applications. Therefore, voiceprint authentication It plays a very important role in biometric authentication technology.
  • voiceprint verification has so many advantages, it is also faced with a variety of system attacks.
  • the most easy to implement, lowest cost, and most effective type of attack is the replay attack, which is the reality of the recording authentication entity.
  • the voice sample, and then the attacker plays back the sound sample at the time of authentication, thereby achieving the purpose of deceiving the system.
  • the main purpose of the present invention is to overcome the shortcomings and deficiencies of the prior art, and to provide a human-machine dialog control method and system based on user registration information.
  • This method is used in the field of identity authentication to improve the randomness of machine challenges and the natural nature of human-machine dialogue, to ensure that the dialogue process is not easily attacked by recording and playback, and that users can smoothly complete man-machine dialogue based on the machine's ideas.
  • the human-machine dialog control method based on user registration information of the present invention comprises the following steps:
  • step S1 the probability-based multi-level topic state machine is generated by the information collected by the user information registrar.
  • the probability-based multi-level topic state machine is composed of a state and a transition probability, each state corresponding to a type of topic, and each large state is derived with a layer of sub-state machines, representing The sub-molecular topic under this broad topic, and the sub-state machine can continue to derive the next sub-state machine, each state has a corresponding transition probability; some states have an entry problem set, enter this state Before the child state machine, the user will first ask the entry question, and then decide the next jump according to the user's answer.
  • step S1 the specific process of the state jump in step S1 is as follows:
  • Initializing the current state Sc is an initial state of the current hierarchical state machine.
  • step S15 If the state Sc has no entry problem set, directly enter the sub state machine, and Sc is assigned to the initial state of the sub state machine, and the process proceeds to step S12.
  • step S2 the knowledge topic tree is as follows:
  • the trunk is a first-level theme, the trunk continues to extend downward, and the second, third, ..., and n-level themes are further subdivided.
  • the leaf theme is the theme without any sub-themes, under the leaf theme.
  • the content consists of a regular statement template library and an extended material library;
  • the regular sentence template library is composed of a template statement, and the template sentence is written by using a template syntax, and the template structure has multiple selection branches, optional branches and category items;
  • the extended material library is composed of a series of simple sentences of specific topics collected from the Internet, and may be current affairs materials, profile introductions or knowledge representing a certain theme.
  • step S2 is specifically as follows:
  • step S3 the strategy for converting the template into a text sentence is to use different replacement operations for different template structures:
  • step S3 the strategy for converting the extended material into a text sentence is as follows:
  • the invention also provides a human-machine dialogue control system based on user registration information, comprising:
  • a user information registration module configured to collect user identity information
  • a statement generator for converting a statement template or a knowledge material into a text statement, consisting of a regular statement template processor and an extended material processor;
  • a regular statement template processor for converting a regular statement template into a normal text statement
  • a speech synthesis module for synthesizing text statements into a voice play to a user
  • a voice input module for taking in user voice input and converting it into text
  • the user information registration module, the probability-based multi-level topic state machine, the knowledge subject tree, the statement generator, and the speech synthesis module are sequentially connected, and the voice input module is connected to the probability-based multi-level topic state machine.
  • the knowledge subject tree is divided by a topic tree, and is composed of a regular sentence template library and an extended material library;
  • a regular statement template library that employs templating techniques for storing general questions directly related to user registration information
  • An extended library for storing extended material collected from the Internet.
  • the present invention has the following advantages and beneficial effects:
  • the human-machine dialog control method based on user registration information of the present invention can be used in the field of identity authentication, and generates conversation content familiar to the user according to the user identity information, and leads the human-machine dialogue in a natural and friendly manner, and the user has low psychological defense. Collect user voiceprints in case.
  • FIG. 1 is a flow chart showing an embodiment of a human-machine dialog control method based on user registration information according to the present invention
  • FIG. 2 is a structural diagram showing an embodiment of a probability-based multi-level topic state machine in a human-machine dialog control method based on user registration information according to the present invention
  • FIG. 3 is a structural diagram showing an embodiment of a user information registration module in a human-machine dialog device based on user registration information according to the present invention
  • FIG. 4 is a flowchart showing a jump of an embodiment of a multi-level topic state machine based on probability in a human-machine dialog control method based on user registration information according to the present invention
  • FIG. 5 is a structural diagram showing an embodiment of a knowledge topic tree in a human-machine dialog control method based on user registration information according to the present invention
  • Fig. 6 is a block diagram showing an embodiment of a human-machine dialog device based on user registration information according to the present invention.
  • FIG. 1 is a flowchart of an embodiment of the present invention, including the following steps:
  • Step 11 Control the probability-based multi-level topic state machine to jump to the next sub-state
  • Step 12 Extract a dialog template or a knowledge material from a knowledge topic tree according to a current state
  • Step 13 using a statement generator to convert the template or material into a text statement
  • Step 14 synthesize the text statement into a voice play to the user
  • step 15 wait for and obtain the user voice answer, convert the voice reply into text, and jump to step 11.
  • the state jump in step 11 can be performed by a probability based multi-level topic state machine.
  • FIG. 2 is a structural diagram of an embodiment of a multi-level topic state machine based on probability in a human-machine dialog control method based on user registration information according to the present invention. To visually explain the present invention relating to rule ideas, FIG. 2 only shows Part of the state machine.
  • the probability-based multi-level topic state machine can be composed of state and transition probability. As shown in Figure 2, each circle represents a state, each state represents a category of topics, and each state has a substate.
  • the machine represents the fine-molecule topic under the topic, and the sub-state machine can continue to derive the next-level sub-state machine; the arc represents the state transition relationship, and the weight on the arc represents the transition probability between states.
  • the substate can have an entry problem set.
  • the problem set contains multiple entry questions. Before entering the substate machine of the state, the user will first ask the entry question, and then decide the next jump according to the user response.
  • the probability-based multi-level topic state machine is generated by the information collected by the user information registrar.
  • Figure 3 is a structure diagram of the user information registrar for collecting the age of the user itself, the wife (if any), and all children (if any). Information such as birthplace, education level, date of birth, etc.
  • the device can be deployed on a server, the user accesses the registration page from the Internet, fills in the information, and submits the information, and then the user information registrar saves the information to a specific storage medium.
  • FIG. 4 is a flow chart of a jump based on a probability multi-level topic state machine, including the following steps:
  • Step 32 if there is no sub-state machine under S c , return to state Sc, otherwise perform step 33;
  • Step 34 if the state S c has an entry problem set, select a question to ask the user, according to the user answer to select whether to enter the sub-state machine, if it enters the sub-state machine, then S c is assigned to the initial state S j0 of the sub-state machine; Go to step 32;
  • Step 35 If the state S c has no entry problem set, directly enter the sub state machine, and S c is assigned to the initial state S j0 of the sub state machine; and the process proceeds to step 32.
  • the user jumps from the first state machine initial state S 10 to S 14 to enter the hobby topic. Since the S 14 has no entry problem set, the user directly enters the next sub-state machine of S 14 and jumps to The initial state of the sub-state machine S 20 , then jump to S 22 , enter the travel topic, since S 22 also has no entry problem set, so directly enter the next sub-state machine of S 22 , jump to the initial state of the sub-state machine State S 30 , then jump to S 31 , enter the Hunan topic, there is a set of entry questions in this state, select a user question, such as "Have you ever traveled to Hunan?", if the user answers "Yes", then continue to enter S 31 , and so on, goes deep into the lowest substate machine.
  • Figure 5 is an example structure diagram of the knowledge topic tree.
  • the trunk is a first-level theme.
  • the trunk continues to extend downwards, and the branches are broken, and the secondary, tertiary, ..., and n levels are further subdivided.
  • the theme, the leaf theme is the theme without any subtopics.
  • the matching topic is searched from the knowledge topic tree according to the topic to which the current state belongs, and the search mode may adopt a depth-first search, starting from the first-level topic and comparing the topic to the current state. If they are the same, they will find a matching topic. Otherwise, they will continue to search. If they encounter a leaf theme, they should go back to the parent topic.
  • a statement template may be selected from the regular sentence template library corresponding to the topic, or a dialog material may be selected from the extended material library.
  • the selection strategy can adopt a random selection strategy.
  • the general statement template library template statement is composed, and the template statement is written by using the template syntax.
  • the template structure has multiple selection branches, optional branches, and category items. The structure can be seen below.
  • the extended material library consists of a series of simple sentences from specific topics collected from the Internet, which can be current affairs materials, profile introductions, etc., representing knowledge under a certain topic.
  • step 13 the statement generator first determines the input, and if the input is a statement template, calls the regular statement template processor for processing; if the input is the dialog material, the extended material processor is called. deal with.
  • the regular statement template processor is used to replace the template structure in the statement template with regular text.
  • the template structure and the corresponding replacement strategy are as follows:
  • Multiple-choice branch Separate each selection branch with “
  • Optional branch Use "?” as the symbol. You can choose to use this branch when you replace it, or don't use this branch. For example, "(Plain)? Do you like to travel?" Can you change it to "Like travel?" Become “I like to travel in peacetime”;
  • the extended material processor is used to convert the extended material into a conventional problem, the extended material is obtained from the extended material library, and the extended material library pre-records a simple sentence extracted from the Internet.
  • the extended material processor The conversion strategy is as follows:
  • FIG. 6 is a device diagram of a human-machine dialogue method for implementing user registration information according to the present invention.
  • the figure shows the connection relationship of each module, and the device includes the following modules:
  • a user information registration module configured to collect user identity information
  • a regular statement template library that employs templating techniques for storing general questions directly related to user registration information
  • An extended material library for storing extended material collected from the Internet
  • a statement generator for converting a statement template or a knowledge material into a text statement, consisting of a regular statement template processor and an extended material processor;
  • a regular statement template processor that converts a regular statement template into a plain text statement
  • a speech synthesis module that synthesizes text statements into a voice play to a user
  • the voice input module takes the user's voice input and converts it into text.
  • the two modules of the speech synthesis module and the speech input module can be implemented by using an open source library or a dedicated speech-to-text conversion chip, or can be developed by the implementation party.
  • Each of the above functional modules may be integrated into one processing module, or each module may exist physically separately, or two or more modules may be integrated into one module.
  • the above-described integrated modules can be implemented in hardware, software or firmware stored in a memory and executed by a suitable instruction execution system, or a combination thereof.
  • the integrated modules if implemented in the form of software functional modules and sold or used as stand-alone products, may also be stored in a computer readable storage medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种基于用户注册信息的人机对话控制方法及系统。方法包括下述步骤：控制基于概率的多层次话题状态机跳转至下一个子状态；根据当前状态从知识主题树提取对话模板或知识素材；利用语句生成器将模板或素材转换成文字语句；将文字语句合成为语音播放给用户听；等待并获取用户语音回答，将语音回复转换成文字，并跳转至第一步。基于用户注册信息的人机对话控制方法可用于身份验证领域，根据用户身份信息产生用户所熟悉的对话内容，以一种自然亲切的方式主导人机对话，在用户防备心理较低的情况下采集用户声纹。

Description

一种基于用户注册信息的人机对话控制方法及系统 技术领域
本发明涉及身份验证的领域，特别涉及一种基于用户注册信息的人机对话控制方法及系统。
 背景技术
近年来，社会对于身份验证问题的需求越来越迫切，尤其是在携程、虚拟信用卡等安全问题爆发，各互联网公司加强产品中的安全认证设施，国家开展网络安全宣传周以后，人们对于网络认证的安全意识大大地增强。
用于验证身份的特征主要是人脸、瞳孔、声音等生物特征。而与其他生物特征相比，声纹认证具有用户接受程度高、设备成本低、方便采集等优势，是非现场身份认证的首选，对于基于电话网络的应用，是唯一的选择，因此，声纹认证在生物认证技术中占有非常重要的地位。
 技术问题
然而，尽管声纹验证具有如此多的优点，它也面临着各种各样的系统攻击，其中最易施行、成本最低、也最有成效的一种攻击是回放攻击，就是录制认证实体的真实语音样本，然后攻击者在认证的时候把声音样本回放出来，从而达到欺骗系统的目的。
为抵御录音回防攻击攻击，需要采取人机挑战-响应策略，由机器主导与用户的对话，这带来了以下几个方面的难点：首先，为了保证系统提出的问题具有很高的随机性，需要实现准备丰富的问题库，问题涉及面广，需要牵涉到语言学、心理学、人们日常生活习惯等，因此建设一个合格的问题库具有很高的难度；其次，问题之间的关联度也是一个问题，假如用户需要回答一系列没有关联的随机问题，这会极大的提高用户的心理防御，用户接受度低；第三，在人机会话不合拍的情况下，勉强地应对将影响发音质量，提升系统拒识概率，从而进一步提高人们的抗拒心理。
 技术解决方案
本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于用户注册信息的人机对话控制方法及系统。该方法用于身份认证领域，提高机器挑战的随机性和人机对话的自然性，确保对话过程不易被录音回放攻击和用户能顺利依据机器的思路完成人机对话。
为了达到上述目的，本发明采用以下技术方案：
本发明基于用户注册信息的人机对话控制方法，包括下述步骤：
S1、控制基于概率的多层次话题状态机跳转至下一个子状态；
S2、根据当前状态从知识主题树提取对话模板或知识素材；
S3、利用语句生成器将模板或素材转换成文字语句；
S4、将文字语句合成为语音播放给用户听；
S5、等待并获取用户语音回答，将语音回复转换成文字，并跳转至S1。
作为优选的技术方案，步骤S1中，基于概率的多层次话题状态机由用户信息注册器采集到的信息生成。
作为优选的技术方案，步骤S1中，基于概率的多层次话题状态机由状态和转移概率组成，每一个状态对应一类话题，而每个大状态下又会派生出一层子状态机，代表该大类话题下的细分子话题，而子状态机又可以继续派生出再下一层子状态机，每个状态之间有对应的转移概率；部分状态有一个入口问题集，进入这类状态的子状态机之前，会先向用户提问入口问题，然后再依据用户回答决定下一步跳转。
作为优选的技术方案，步骤S1中，状态跳转的具体过程如下：
S11、初始化当前状态Sc为当前层级状态机的初始状态；
S12、若Sc下没有子状态机，则将Sc作为提取知识主体树的状态；否则执行S13；
S13、从Sc开始，依据其所连弧线上概率转移至下一级子状态机中的任意一个状态Sk，则此时Sc = Sk；
S14、若状态Sc有入口问题集，则随机选出一条问题询问用户，根据用户回答选择是否进入子状态机，若是进入子状态机，则Sc赋值为子状态机的初始状态，跳转至步骤S12；
S15、若状态Sc没有入口问题集，则直接进入子状态机，Sc赋值为子状态机的初始状态，跳转至步骤S12。
作为优选的技术方案，步骤S2中，知识主题树具体如下：
按树状划分，主干为一级主题，主干继续向下延伸，继续往下细分二级、三级、...、n级主题，叶子主题为没有任何子主题的主题，叶子主题下的内容由常规语句模板库和扩展素材库组成；
其中，所述常规语句模板库由模板语句组成，模板语句采用模板语法进行编写，模板结构有多选分支、可选分支和类别项三种；
所述扩展素材库由一系列从互联网搜集到的特定主题下简单句组成，可以是时事素材、人物简介或者代表某一主题下的知识。
作为优选的技术方案，步骤S2流程具体为：
S21、采用深度优先搜索从知识主题树中搜索与当前状态所属话题相匹配的主题；
S22、搜索到与前状态所属话题相匹配的知识主题后，采用随机选择策略从该主题对应的常规语句模板库选择一条语句模板，或者从扩展素材库选择一个对话素材。
作为优选的技术方案，步骤S3中，将模板转换成文字语句的策略为，针对不同模板结构，采用不同的替换操作：
（1）多选分支：替换时选择根据用户的身份信息选择一个分支替代；
（2）可选分支：替换时可以选择用这个分支，或者不用这个分支；
（3）类别项：替换时可以用该类别下的任意对象替换。
作为优选的技术方案，步骤S3中，将扩展素材转换成文字语句的策略具体如下：
（1）针对人名进行转换，利用实体命名工具找到素材句子中的人名，然后进行替换；
（2）针对地名进行转换，利用实体命名工具找到素材句子中的地名，然后进行替换；
（3）针对原因进行转换，把陈述句转换成疑问句。
本发明还提供了一种基于用户注册信息的人机对话控制系统，包括：
用户信息注册模块，用于采集用户身份信息；
基于概率的多层次话题状态机，利用用户身份信息生成，用于控制人机对话过程中的话题转换；
知识主题树，用于存储话题知识；
语句生成器，用于将语句模板或知识素材转换成文字语句，由常规语句模板处理器和扩展素材处理器组成；
常规语句模板处理器，用于将常规语句模板转换成普通文字语句；
扩展素材处理器，用于将扩展素材语句转换成问题；
语音合成模块，用于将文字语句合成为语音播放给用户；
语音输入模块，用于录取用户语音输入，并将其转化成文字；
所述用户信息注册模块、基于概率的多层次话题状态机、知识主体树、语句生成器以及语音合成模块顺序连接，所述语音输入模块与基于概率的多层次话题状态机连接。
作为优选的技术方案，所述知识主体树，按主题树划分，由常规语句模板库和扩展素材库组成；
常规语句模板库，采用模板化技术，用于存储与用户登记信息直接相关的常规问题；
扩展素材库，用于存储从互联网搜集的扩展性素材。
 有益效果
本发明与现有技术相比，具有如下优点和有益效果：
本发明的基于用户注册信息的人机对话控制方法可用于身份认证领域，根据用户身份信息产生用户所熟悉的对话内容，以一种自然亲切的方式主导人机对话，在用户防备心理较低的情况下采集用户声纹。
 附图说明
图1示出本发明基于用户注册信息的人机对话控制方法一个实施例的流程图；
图2示出本发明基于用户注册信息的人机对话控制方法中基于概率的多层次话题状态机的一个实施例的结构图；
图3示出本发明基于用户注册信息的人机对话装置中用户信息注册模块一个实施例的结构图；
图4示出本发明基于用户注册信息的人机对话控制方法中基于概率的多层次话题状态机一个实施例的跳转流程图；
图5示出本发明基于用户注册信息的人机对话控制方法中知识主题树一个实施例的结构图；
图6示出本发明基于用户注册信息的人机对话装置一个实施例的结构图。
 本发明的最佳实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
如图1所示为本发明实施例的流程图，包括下述步骤：
步骤11，控制基于概率的多层次话题状态机跳转至下一个子状态；
步骤12，根据当前状态从知识主题树提取对话模板或知识素材；
步骤13，利用语句生成器将模板或素材转换成文字语句；
步骤14，将文字语句合成为语音播放给用户听；
步骤15，等待并获取用户语音回答，将语音回复转换成文字，并跳转至步骤11。
根据本发明的优选实施例，步骤11中的状态跳转可以由基于概率的多层次话题状态机执行。
如图2所示为本发明基于用户注册信息的人机对话控制方法中基于概率的多层次话题状态机的一个实施例的结构图，为了直观地阐述本发明涉及规则思想，图2仅示出状态机的一部分。
基于概率的多层次话题状态机可以由状态和转移概率组成，如图2所示，每一个圆圈代表一个状态，每个状态代表对应于一类话题，而每个状态下又会有一层子状态机，代表该类话题下的细分子话题，而子状态机又可以继续派生出下一层子状态机；而弧线代表状态转移关系，弧线上的权重表示状态之间的转移概率。此外，子状态可以有一个入口问题集，问题集内含多个入口问题，进入该状态的子状态机之前，会先向用户提问入口问题，然后再依据用户回答决定下一步跳转。
基于概率的多层次话题状态机由用户信息注册器采集到的信息生成，图3为用户信息注册器的结构图，用于采集用户本身、妻子（假如有）、所有孩子（假如有）的年龄、籍贯、受教育程度、出生日期等信息。该装置可以部署在一台服务器上，用户从互联网访问注册页面，填写信息，并提交信息，然后用户信息注册器将信息保存至特定的存储介质中。
图4为基于概率的多层次话题状态机的跳转流程图，包括以下步骤：
步骤31，初始化当前状态变量S c = S 10，其中，表示第一层状态机的初始状态S 10；
步骤32，若S c下没有子状态机，则返回状态Sc，否则执行步骤33；
步骤33，从S c开始，依据其所连弧线上概率转移至下一级子状态机中的任意一个状态S k，则此时S c = S k；
步骤34，若状态S c有入口问题集，则选出一条问题询问用户，根据用户回答选择是否进入子状态机，若是进入子状态机，则S c赋值为子状态机的初始状态S j0；跳转至步骤32；
步骤35，若状态S c没有入口问题集，则直接进入子状态机，S c赋值为子状态机的初始状态S j0；跳转至步骤32。
举例来说，用户从第一层状态机初始状态S 10开始跳转至S 14，进入爱好话题，由于S 14没有入口问题集，因此直接进入S 14的下一层子状态机，跳转至子状态机的初始状态S 20，然后跳转至S 22，进入旅游话题，由于S 22同样没有入口问题集，因此直接进入S 22的下一层子状态机，跳转至子状态机的初始状态S 30，然后跳转至S 31，进入湖南话题，该状态下有入口问题集，选择一条用户提问，如“你有去过湖南旅游吗？”，若用户回答“是”，则继续进入S 31，以此类推，一直深入至最底层的子状态机。
图5为知识主题树的示例结构图，按树状划分，主干为一级主题，主干继续向下延伸，开枝散叶，继续往下细分二级、三级、...、n级主题，叶子主题为没有任何子主题的主题。
根据本发明的优选实施例，步骤12中，根据当前状态所属话题从知识主题树中搜索相匹配的主题，搜索方式可以采用深度优先搜索，从第一级主题开始和当前状态所属话题比较，若相同，则认为找到匹配主题，否则，继续往下搜索，若遇到叶子主题，则应回溯至父级主题。
根据本发明的优选实施例，步骤12中，搜索到与前状态所属话题相匹配的知识主题后，可从该主题对应的常规语句模板库选择一条语句模板，或者从扩展素材库选择一个对话素材，选择策略可以采用随机选择策略。
常规语句模板库模板语句组成，模板语句采用模板语法进行编写，模板结构有多选分支、可选分支、类别项三种，结构具体可参见下文。
扩展素材库由一系列从互联网搜集到的特定主题下简单句组成，可以是时事素材，人物简介等，代表某一主题下的知识。
根据本发明的优选实施例，步骤13中，语句生成器先对输入作出判断，若输入为语句模板，则调用常规语句模板处理器进行处理；若输入为对话素材，则调用扩展素材处理器进行处理。
常规语句模板处理器用于将语句模板中的模板结构替换为常规文字。本实施例的一种实现方式中，模板结构和对应的替换策略如下：
（1）多选分支：用“|”分隔各个选择分支，替换时选择根据用户的身份信息选择一个分支替代，例如“小学|中学”表明可以用“小学”或“中学”进行替代；
（2）可选分支：用“?”作为符号，替换时可以选择用这个分支，或者不用这个分支，例如“(平时)?喜欢旅游吗”，替换后可以变成“喜欢旅游吗”，或者变成“平时喜欢旅游吗”；
（3）类别项：用“<>”包含类型，替换时可以用该类别下的任意对象替换，例如“<运动>”，替换时可以用属于“运动”类别的任意一个名词替换，可以替换成“足球”或者“篮球”等等。
扩展素材处理器用于将扩展素材转换成常规的问题，扩展素材从扩展素材库获取，扩展素材库预先收录从互联网上摘录下来的简单句，本实施例的一种实现方式中，扩展素材处理器的转换策略如下：
（1）针对人名进行转换，可以利用实体命名工具找到素材句子中的人名，然后用“谁”进行替换，例如，“三国时，诸葛亮大摆空城计”，可将“诸葛亮”替换成“谁”，转换结果为“三国时，谁大摆空城计”；
（2）针对地名进行转换，可以利用实体命名工具找到素材句子中的地名，然后用“哪里”进行替换，例如，“广交会在广州举行”，可将“广州”替换成“哪里”，转换结果为“广交会在哪里举行”；
（3）针对原因进行转换，可以在陈述句前面加上“为什么”转换成疑问句，例如，“海水是咸的”，加上“为什么”后，转换结果为“为什么海水是咸的”。
图6为实现本发明基于用户注册信息的人机对话方法的一个装置图，图中表明了各模块的连线关系，该装置包括如下模块：
用户信息注册模块，用于采集用户身份信息；
基于概率的多层次话题状态机，利用用户身份信息生成，用于控制人机对话过程中的话题转换；
知识主题树，用于存储话题知识，按主题树划分，由常规语句模板库和扩展素材库组成；
常规语句模板库，采用模板化技术，用于存储与用户登记信息直接相关的常规问题；
扩展素材库，用于存储从互联网搜集的扩展性素材；
语句生成器，用于将语句模板或知识素材转换成文字语句，由常规语句模板处理器和扩展素材处理器组成；
常规语句模板处理器，将常规语句模板转换成普通文字语句；
扩展素材处理器，将扩展素材语句转换成问题；
语音合成模块，将文字语句合成为语音播放给用户；
语音输入模块，录取用户语音输入，并将其转化成文字。
根据本发明的优选实施例，语音合成模块和语音输入模块这两个模块可以采用开源库或专用的语音-文字转换芯片完成，也可以由实施方自行研发实现。
上述各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件、存储在存储器中且由合适的指令执行系统执行的软件或固件或它们的组合来实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

  1. 基于用户注册信息的人机对话控制方法，其特征在于，包括下述步骤：
    S1、控制基于概率的多层次话题状态机跳转至下一个子状态；
    S2、根据当前状态从知识主题树提取对话模板或知识素材；
    S3、利用语句生成器将模板或素材转换成文字语句；
    S4、将文字语句合成为语音播放给用户听；
    S5、等待并获取用户语音回答，将语音回复转换成文字，并跳转至S1。
  2. 根据权利要求1所述的基于用户注册信息的人机对话控制方法，其特征在于，步骤S1中，基于概率的多层次话题状态机由用户信息注册器采集到的信息生成。
  3. 根据权利要求1所述的基于用户注册信息的人机对话控制方法，其特征在于，步骤S1中，基于概率的多层次话题状态机由状态和转移概率组成，每一个状态对应一类话题，而每个大状态下又会派生出一层子状态机，代表该大类话题下的细分子话题，而子状态机又可以继续派生出再下一层子状态机，每个状态之间有对应的转移概率；部分状态有一个入口问题集，进入这类状态的子状态机之前，会先向用户提问入口问题，然后再依据用户回答决定下一步跳转。
  4. 根据权利要求1所述的基于用户注册信息的人机对话控制方法，其特征在于，步骤S1中，状态跳转的具体过程如下：
    S11、初始化当前状态Sc为当前层级状态机的初始状态；
    S12、若Sc下没有子状态机，则将Sc作为提取知识主体树的状态；否则执行S13；
    S13、从Sc开始，依据其所连弧线上概率转移至下一级子状态机中的任意一个状态Sk，则此时Sc = Sk；
    S14、若状态Sc有入口问题集，则随机选出一条问题询问用户，根据用户回答选择是否进入子状态机，若是进入子状态机，则Sc赋值为子状态机的初始状态，跳转至步骤S12；
    S15、若状态Sc没有入口问题集，则直接进入子状态机，Sc赋值为子状态机的初始状态，跳转至步骤S12。
  5. 根据权利要求1所述的基于用户注册信息的人机对话控制方法，其特征在于，步骤S2中，知识主题树具体如下：
    按树状划分，主干为一级主题，主干继续向下延伸，继续往下细分二级、三级、...、n级主题，叶子主题为没有任何子主题的主题，叶子主题下的内容由常规语句模板库和扩展素材库组成；
    其中，所述常规语句模板库由模板语句组成，模板语句采用模板语法进行编写，模板结构有多选分支、可选分支和类别项三种；
    所述扩展素材库由一系列从互联网搜集到的特定主题下简单句组成，可以是时事素材、人物简介或者代表某一主题下的知识。
  6. 根据权利要求1所述的基于用户注册信息的人机对话控制方法，其特征在于，步骤S2流程具体为：
    S21、采用深度优先搜索从知识主题树中搜索与当前状态所属话题相匹配的主题；
    S22、搜索到与前状态所属话题相匹配的知识主题后，采用随机选择策略从该主题对应的常规语句模板库选择一条语句模板，或者从扩展素材库选择一个对话素材。
  7. 根据权利要求1所述的基于用户注册信息的人机对话控制方法，其特征在于，步骤S3中，将模板转换成文字语句的策略为，针对不同模板结构，采用不同的替换操作：
    （1）多选分支：替换时选择根据用户的身份信息选择一个分支替代；
    （2）可选分支：替换时可以选择用这个分支，或者不用这个分支；
    （3）类别项：替换时可以用该类别下的任意对象替换。
  8. 根据权利要求1所述的基于用户注册信息的人机对话控制方法，其特征在于，步骤S3中，将扩展素材转换成文字语句的策略具体如下：
    （1）针对人名进行转换，利用实体命名工具找到素材句子中的人名，然后进行替换；
    （2）针对地名进行转换，利用实体命名工具找到素材句子中的地名，然后进行替换；
    （3）针对原因进行转换，把陈述句转换成疑问句。
  9. 基于用户注册信息的人机对话控制系统，其特征在于，包括：
    用户信息注册模块，用于采集用户身份信息；
    基于概率的多层次话题状态机，利用用户身份信息生成，用于控制人机对话过程中的话题转换；
    知识主题树，用于存储话题知识；
    语句生成器，用于将语句模板或知识素材转换成文字语句，由常规语句模板处理器和扩展素材处理器组成；
    常规语句模板处理器，用于将常规语句模板转换成普通文字语句；
    扩展素材处理器，用于将扩展素材语句转换成问题；
    语音合成模块，用于将文字语句合成为语音播放给用户；
    语音输入模块，用于录取用户语音输入，并将其转化成文字；
    所述用户信息注册模块、基于概率的多层次话题状态机、知识主体树、语句生成器以及语音合成模块顺序连接，所述语音输入模块与基于概率的多层次话题状态机连接。
  10. 根据权利要求9所述基于用户注册信息的人机对话控制系统，其特征在于，所述知识主体树，按主题树划分，由常规语句模板库和扩展素材库组成；
    常规语句模板库，采用模板化技术，用于存储与用户登记信息直接相关的常规问题；
    扩展素材库，用于存储从互联网搜集的扩展性素材。
PCT/CN2017/114433 2016-12-07 2017-12-04 一种基于用户注册信息的人机对话控制方法及系统 Ceased WO2018103602A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201611114768.7A CN106653019B (zh) 2016-12-07 2016-12-07 一种基于用户注册信息的人机对话控制方法及系统
CN201611114768.7 2016-12-07

Publications (1)

Publication Number Publication Date
WO2018103602A1 true WO2018103602A1 (zh) 2018-06-14

Family

ID=58819196

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/114433 Ceased WO2018103602A1 (zh) 2016-12-07 2017-12-04 一种基于用户注册信息的人机对话控制方法及系统

Country Status (2)

Country Link
CN (1) CN106653019B (zh)
WO (1) WO2018103602A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108989341A (zh) * 2018-08-21 2018-12-11 平安科技（深圳）有限公司 语音自主注册方法、装置、计算机设备及存储介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106653019B (zh) * 2016-12-07 2019-11-15 华南理工大学 一种基于用户注册信息的人机对话控制方法及系统
CN108415932B (zh) * 2018-01-23 2023-12-22 思必驰科技股份有限公司 人机对话方法及电子设备
CN108932278B (zh) * 2018-04-28 2021-05-18 厦门快商通信息技术有限公司 基于语义框架的人机对话方法及系统
CN109446509B (zh) * 2018-09-06 2023-04-07 厦门快商通信息技术有限公司 一种对话语料意图分析方法、系统及电子设备
CN109410933B (zh) * 2018-10-18 2021-02-19 珠海格力电器股份有限公司 设备的控制方法及装置、存储介质和电子装置
CN109473101B (zh) * 2018-12-20 2021-08-20 瑞芯微电子股份有限公司 一种差异化随机问答的语音芯片结构和方法
CN109510844B (zh) * 2019-01-16 2022-02-25 中民乡邻投资控股有限公司 一种基于声纹的对话交流式的账号注册方法及装置
CN109961786B (zh) * 2019-01-31 2023-04-14 平安科技（深圳）有限公司 基于语音分析的产品推荐方法、装置、设备和存储介质
CN110072019A (zh) * 2019-04-26 2019-07-30 深圳市大众通信技术有限公司 一种屏蔽骚扰电话的方法及装置
CN111143529A (zh) * 2019-12-24 2020-05-12 北京赤金智娱科技有限公司 一种与对话机器人进行对话的方法与设备
CN112652378B (zh) * 2020-12-30 2023-08-08 天津航旭科技发展有限公司 饮食推荐方法及装置
CN115952356A (zh) * 2022-12-30 2023-04-11 联想(北京)有限公司 信息推送方法、装置和电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005074503A2 (en) * 2004-01-30 2005-08-18 Matsushita Electric Industrial Co., Ltd. Multiple choice challenge-response user authorization system and method
CN1965350A (zh) * 2004-06-04 2007-05-16 皇家飞利浦电子股份有限公司 用于用户验证的方法和对话系统
EP1884924A1 (de) * 2006-08-03 2008-02-06 Siemens Aktiengesellschaft Verfahren zum Erzeugen einer kontextbasierten Sprachdialogausgabe in einem Sprachdialogsystem
CN104036780A (zh) * 2013-03-05 2014-09-10 阿里巴巴集团控股有限公司 一种人机识别方法及系统
CN105590626A (zh) * 2015-12-29 2016-05-18 百度在线网络技术（北京）有限公司 持续语音人机交互方法和系统
CN106653019A (zh) * 2016-12-07 2017-05-10 华南理工大学 一种基于用户注册信息的人机对话控制方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1581293A (zh) * 2003-08-07 2005-02-16 王东篱 基于有限集语音识别的人机交互方法与装置
CN1547191A (zh) * 2003-12-12 2004-11-17 北京大学 结合语义和声纹信息的说话人身份确认系统
JP5055007B2 (ja) * 2007-04-17 2012-10-24 株式会社富士通アドバンストエンジニアリング 取引管理プログラム及び取引管理方法
US7917368B2 (en) * 2008-02-25 2011-03-29 Mitsubishi Electric Research Laboratories, Inc. Method for interacting with users of speech recognition systems
JP2012168614A (ja) * 2011-02-10 2012-09-06 Fujitsu Ltd 情報処理装置
CN104361127B (zh) * 2014-12-05 2017-09-26 广西师范大学 基于领域本体和模板逻辑的多语种问答接口快速构成方法
CN105138710B (zh) * 2015-10-12 2019-02-19 金耀星 一种聊天代理系统及方法
CN105513593B (zh) * 2015-11-24 2019-09-17 南京师范大学 一种语音驱动的智能人机交互方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005074503A2 (en) * 2004-01-30 2005-08-18 Matsushita Electric Industrial Co., Ltd. Multiple choice challenge-response user authorization system and method
CN1965350A (zh) * 2004-06-04 2007-05-16 皇家飞利浦电子股份有限公司 用于用户验证的方法和对话系统
EP1884924A1 (de) * 2006-08-03 2008-02-06 Siemens Aktiengesellschaft Verfahren zum Erzeugen einer kontextbasierten Sprachdialogausgabe in einem Sprachdialogsystem
CN104036780A (zh) * 2013-03-05 2014-09-10 阿里巴巴集团控股有限公司 一种人机识别方法及系统
CN105590626A (zh) * 2015-12-29 2016-05-18 百度在线网络技术（北京）有限公司 持续语音人机交互方法和系统
CN106653019A (zh) * 2016-12-07 2017-05-10 华南理工大学 一种基于用户注册信息的人机对话控制方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108989341A (zh) * 2018-08-21 2018-12-11 平安科技（深圳）有限公司 语音自主注册方法、装置、计算机设备及存储介质
CN108989341B (zh) * 2018-08-21 2023-01-13 平安科技（深圳）有限公司 语音自主注册方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN106653019A (zh) 2017-05-10
CN106653019B (zh) 2019-11-15

Similar Documents

Publication Publication Date Title
CN106653019B (zh) 一种基于用户注册信息的人机对话控制方法及系统
Demopoulos Logicism and its philosophical legacy
CN111625639B (zh) 一种基于多轮响应生成的上下文建模方法
WO2024164728A1 (zh) 一种知识图谱事件抽取方法、装置、设备和存储介质
Faizan et al. Automatic generation of multiple choice questions from slide content using linked data
WO2025118396A1 (zh) 自然语言处理模型的训练方法及生成对话下文的方法
CN113836273B (zh) 基于复杂语境的法律咨询方法及相关设备
US20250078982A1 (en) System and methods for automatically generating cognitive exercises
CN118486293A (zh) 基于检索增强生成的语音合成方法及装置
Leem et al. Describe where you are: Improving noise-robustness for speech emotion recognition with text description of the environment
Galougah et al. Aura: A fine-grained benchmark and decomposed metric for audio-visual reasoning
Olsson et al. A thesis that writes itself: On the threat of AI-generated essays within academia
Aksu et al. Velocidapter: Task-oriented dialogue comprehension modeling pairing synthetic text generation with domain adaptation
Liu et al. Stylerec: A benchmark dataset for prompt recovery in writing style transformation
CN114398901B (zh) 一种基于自描述网络的信息抽取方法及装置
Jin et al. Generating Natural Video Descriptions via Multimodal Processing.
Ge et al. From text to sound: A preliminary study on retrieving sound effects to radio stories
Ragui Confessing Community: An Entryway to Theological Interpretation in North East India
Shawar et al. Chatbots: can they serve as natural language interfaces to QA corpus?
Szymanski et al. Semantic memory knowledge acquisition through active dialogues
Smith et al. Psychological Needs as Credible Song Signals: Testing Large Language Models to Annotate Lyrics.
Lee Comparative Religious Ethics Among the Ruins: A Response to B ucar and S talnaker
Cai et al. Transcribing southern min speech corpora with a web-based language learning system
Bhogal The hermeneutics of Sikh music (Rāg) and word (Shabad)
Langhammer A debating ontology for argumentative dialogue systems

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17877889

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS (EPO FORM 1205A DATED 20.09.2019)

122 Ep: pct application non-entry in european phase

Ref document number: 17877889

Country of ref document: EP

Kind code of ref document: A1