WO2020199701A1 - 对话交互方法、图形用户界面、终端设备以及网络设备 - Google Patents

对话交互方法、图形用户界面、终端设备以及网络设备 Download PDF

Info

Publication number
WO2020199701A1
WO2020199701A1 PCT/CN2020/070344 CN2020070344W WO2020199701A1 WO 2020199701 A1 WO2020199701 A1 WO 2020199701A1 CN 2020070344 W CN2020070344 W CN 2020070344W WO 2020199701 A1 WO2020199701 A1 WO 2020199701A1
Authority
WO
WIPO (PCT)
Prior art keywords
dialogue
semantic
semantic entity
data
user interface
Prior art date
Application number
PCT/CN2020/070344
Other languages
English (en)
French (fr)
Inventor
陈晓
钱莉
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Priority to EP20782878.1A priority Critical patent/EP3920043A4/en
Publication of WO2020199701A1 publication Critical patent/WO2020199701A1/zh
Priority to US17/486,943 priority patent/US20220012432A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/9032Query formulation
    • G06F16/90332Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • G06F40/35Discourse or dialogue representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367Ontology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04803Split screen, i.e. subdividing the display area or the window area into separate subareas

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

对话交互方法、图形用户界面(31,41)、终端设备(101,200)以及网络设备(102,300)。其中,方法包括:终端设备(101,200)在目标对话用户界面(51)的第一区域中显示对话视图(506),并在所述目标对话用户界面(51)的第二区域中显示概念视图(505),所述目标对话用户界面(51)为目标对话对应的图形用户界面(31,41),所述对话视图(506)用于显示所述目标对话的对话数据(507,511,512,513,515,516,518,520,521,529),所述概念视图(505)用于显示目标对话对应的知识图谱子图(508,509,510,513,514,517,519,522),所述知识图谱子图(508,509,510,513,514,517,519,522)包括多个语义实体(531),以及,所述多个语义实体(531)中的各个语义实体(531)相互之间的语义关系,所述多个语义实体(531)包括第一语义实体,所述第一语义实体为所述对话数据(507,511,512,513,515,516,518,520,521,529)中存在的语义实体(531)。该技术方案可提高用户的对话交互体验。

Description

对话交互方法、图形用户界面、终端设备以及网络设备 技术领域
本申请涉及人工智能领域,尤其涉及对话交互方法、图形用户界面、终端设备以及网络设备。
背景技术
对话系统,又可以称之为问答系统,问答机器人等,是近年来随着人工智能(artificial intelligence,AI)技术的出现而开发和发展起来的系统。它可以用准确、简洁的自然语言回答用户利用自然语言提出的问题,其可以满足用户对于快速、准确地获取信息的需求。
对话系统可以通过图形用户界面(graphical user interface,GUI)显示用户与对话系统之间的对话数据,即用户与对话系统之间的对话数据可以在对话系统对应的GUI中以对话视图的方式呈现。GUI中显示的对话视图可以将用户与对话系统之间的对话数据直观地显示出来,以便用户查看。随着用户与对话系统之间的对话数据增多,由于显示空间有限,对话视图中无法显示全部的对话数据,用户需要通过往前翻看(如向上翻看)、查找等方式才能回顾历史对话数据,这样不利于用户快速了解对话的全部内容,也不利于用户基于对话内容快速做决定。
发明内容
本申请提供对话交互方法、图形用户界面、终端设备以及网络设备,解决目前的对话系统不利于用户快速了解对话的全部内容的问题。
第一方面,提供一种对话交互方法,该方法可应用于对话系统中的终端设备上,该方法包括:终端设备在目标对话用户界面的第一区域中显示对话视图,并在目标对话用户界面的第二区域中显示概念视图,目标对话用户界面为目标对话对应的图形用户界面,对话视图用于显示目标对话的对话数据,概念视图用于显示目标对话对应的知识图谱子图,目标对话对应的知识图谱子图包括多个语义实体,以及,这多个语义实体中的各个语义实体相互之间的语义关系,多个语义实体包括第一语义实体,第一语义实体为目标对话的对话数据中存在的语义实体。
其中,目标对话为对话系统中具备关联关系的对话双方或对话多方之间的对话,目标对话用户界面为用于展示该对话双方或对话多方各自发出的对话数据的图形用户界面。
在技术方案中,对话系统中的终端设备在显示对话用户界面时,除了显示目标对话的对话数据外,还显示目标对话对应的知识图谱子图,该目标对话对应的知识图谱子图包括对话数据中存在的语义实体,这些语义实体相当于是对目标对话的对话数据的摘要和概括,有助于用户快速了解历史对话内容的概要,从而达到回顾历史对话内容的目的。
结合第一方面,在一种可能的实现方式中,目标对话对应的知识图谱子图包括的多个语义实体还包括与第一语义实体相关联的一个或多个第二语义实体。
在一种可行的实施方式中,上述第二语义实体可以包括在知识图谱中与第一语义实体相邻的语义实体。进一步地,第二语义实体包括这些在知识图谱中与第一语义实体相邻的语义实体中的部分语义实体。该部分语义实体可以为在知识图谱中与第一语义实体相邻的并且在对话过程中使用频率高于第一频率阈值的语义实体,其中,对话过程可以是指目标对话的对话过程,也可以是指整个对话系统中的对话过程(即包括对话系统中的多个对话的对话过程)。该部分语义实体也可以为在知识图谱中与第一语义实体相邻的并且基于用户画像确定的语义实体。在知识图谱中与第一语义实体相邻的语义实体中的部分语义实体不限于上述两种情况,本申请不做限制。
在另一种可行的实施方式中,上述的第二语义实体也可以包括在知识图谱子图中与第一语义实体的路径距离小于第一距离阈值的语义实体,即在知识图谱中与第一语义实体邻近的语义实体。进一步地,第二语义实体可以包括这些与第一语义实体邻近的语义实体中的部分语义实体。该部分语义实体可以为在对话过程中使用频率与第一语义实体邻近的并且在对话过程中使用频率高于第二频率阈值的语义实体,其中,对话过程可以是指目标对话的对话过程,也可以是指整个对话系统中的对话过程。该部分语义实体也可以为在知识图谱中与第一语义实体相邻的并且基于用户画像确定的语义实体。与第一语义实体邻近的语义实体中的部分语义实体不限于上述两种情况,本申请不做限制。
在上述几种可能的实现方式中,目标对话对应的知识图谱子图中除了包括用于概括对话数据的概要的第一语义实体外,还包括第二语义实体,第二语义实体与第一语义实体相关联,第二语义实体起到了引导对话话题的作用,增强了用户的对话体验。
结合第一方面,在一种可能的实现方式中,上述方法还包括:在获取到新的对话数据的情况下,终端设备更新概念视图,更新后的概念视图用于显示根据新的对话数据更新的知识图谱子图,更新后的知识图谱子图包括新的对话数据中存在的语义实体,或,新的对话数据中存在的语义实体以及与新的对话数据中存在的语义实体相关联的语义实体。概念视图中显示的知识图谱子图会随着对话数据的产生而更新,实现了对话数据与知识图谱子图的同步;更新后的知识图谱子图中还包括与新的对话数据中存在的语义实体相关联的语义实体,起到了引导话题的作用。
结合第一方面,在一种可能的实现方式中,上述方法还包括:在知识图谱子图中的语义实体的数量大于第一数量的情况下,终端设备在知识图谱子图中删除一个或多个语义实体。通过删除知识图谱子图中的语义实体,实现了对语义实体的动态删除,保证了概念视图的简洁。
结合第一方面,在一种可能的实现方式中,上述方法还包括:在检测到作用于对话视图中显示的第一对话数据的第一操作的情况下,终端设备响应于第一操作,在概念视图中突出显示第三语义实体,第三语义实体包括第一对话数据中存在的语义实体,和/或,与第一对话数据中存在的语义实体相关联的语义实体。可选地,该第三语义实体也可以包括与第一对话数据的话题关联度高于关联度阈值的语义实体。
结合第一方面,在一种可能的实现方式中,上述方法还包括:在检测到作用于概念视图中显示的第四语义实体的第二操作的情况下,终端设备响应于第二操作,在对话视图中显示第二对话数据,第四语义实体为第二对话数据中存在的语义实体,或,与第二对话数 据中存在的语义实体相关联的语义实体。可选地,该第二对话数据也可以为与第四语义实体的话题关联度高于关联度阈值的历史对话数据。
结合第一方面,在一种可能的实现方式中,上述方法还包括:在检测到作用于概念视图中显示的第四语义实体的第二操作的情况下,终端设备响应于第二操作,在概念视图中显示第二对话数据的摘要信息,第四语义实体为第二对话数据中存在的语义实体,或,与第二对话数据中存在的语义实体相关联的语义实体。进一步地,终端设备可以在概念视图中显示产生时间最晚的第二对话数据的摘要信息。
在上述几种可能的实现方式中,当对话视图中的对话数据被选中时,终端设备在概念视图中突出显示与该对话数据对应的语义实体;当概念视图中的语义实体时,终端设备在对话视图中显示与该语义实体对应的对话数据,实现了对话视图与概念视图之间的协同交互,有助于帮助用户定位到语义实体和历史对话内容,可以提升用户的对话体验。
结合第一方面,在一种可能的实现方式中,上述方法还包括:在检测到作用于概念视图中显示的任务语义实体的第三操作的情况下,终端设备响应于第三操作,在概念视图中显示任务语义实体对应的关键信息。
结合第一方面,在一种可能的实现方式中,终端设备响应于第三操作,在概念视图中显示任务语义实体对应的关键信息之后,还包括:在检测到作用于关键信息的第四操作并获取到针对关键信息的用户意图的情况下,终端设备响应于第四操作,触发执行符合用户意图的对话任务。
结合第一方面,在一种可能的实现方式中,终端设备响应于第四操作,触发执行符合用户意图的对话任务之后,还包括:终端设备根据执行符合用户意图的对话任务得到的结果,在概念视图中更新关键信息。
在上述几种可能的实现方式中,概念视图中显示的知识图谱子图除了包括对话视图中的对话数据中存在的语义实体外,还包括了任务语义实体,任务语义实体起到了明确对话系统的功能边界的作用,使得用户可以根据这些任务语义实体获知对话系统具备的功能。
结合第一方面,在一种可能的实现方式中,上述方法还包括:当识别到与历史对话数据中的语义实体在知识图谱中存在语义关系的新的语义实体,并且,所述新的语义实体不存在于历史对话数据中,终端设备根据历史对话数据中的语义实体和新的语义实体发起对话。终端设备根据历史对话数据中各个概念之间的关联关系,主动发起对话,起到了引导话题的作用,使得对话内容更加丰富。
第二方面,提供另一种对话交互方法,该方法可应用于对话系统中的网络设备上,该方法包括:网络设备根据目标对话的对话数据生成目标对话对应的知识图谱子图,目标对话对应的知识图谱子图包括多个语义实体,以及,这多个语义实体中的各个语义实体相互之间的语义关系,多个语义实体包括第一语义实体,第一语义实体为所述对话数据中存在的语义实体;网络设备将目标对话对应的知识图谱子图发送给终端设备,目标对话对应的知识图谱子图被终端设备用于在目标对话用户界面的第一区域中显示对话视图,并在目标对话用户界面的第二区域中显示概念视图,对话视图用于显示目标对话的对话数据,概念视图用于显示目标对话对应的知识图谱子图,目标对话用户界面为目标对话对应的图形用户界面。
其中,目标对话为对话系统中具备关联关系的对话双方或对话多方之间的对话,目标对话用户界面为用于展示该对话双方或对话多方各自发出的对话数据的图形用户界面。
在技术方案中,网络设备根据目标对话的对话数据生成目标对话对应的知识图谱子图,并将生成的知识图谱子图发送给终端设备,使得终端设备在显示对话用户界面时,除了显示目标对话的对话数据外,还显示目标对话对应的知识图谱子图,该目标对话对应的知识图谱子图包括对话数据中存在的语义实体,这些语义实体相当于是对目标对话的对话数据的摘要和概括,有助于用户快速了解历史对话内容的概要,达到了回顾历史对话内容的目的。
结合第二方面,在一种可能的实现方式中,上述方法还包括:网络设备根据新的对话数据更新目标对话对应的知识图谱子图,并将更新后的知识图谱子图发送给终端设备,该更新后的知识图谱子图被终端设备用于更新概念视图,更新后的知识图谱子图包括新的对话数据中存在的语义实体,或,新的对话数据中存在的语义实体以及与该新的对话数据中存在的语义实体相关联的语义实体。
第三方面,提供一种终端设备上的图形用户界面,上述终端设备具有显示屏、存储器以及一个或多个处理器,上述一个或多个处理器用于执行存储在上述存储器中的一个或多个计算机程序,该图形用户界面为目标对话对应的图形用户界面,该图形用户界面可包括:在图形用户界面的第一区域中显示对话视图,并在图形用户界面的第二区域中显示概念视图,对话视图用于显示目标对话的对话数据,概念视图用于显示目标对话对应的知识图谱子图,目标对话对应的知识图谱子图包括多个语义实体,以及,这多个语义实体中的各个语义实体相互之间的语义关系,多个语义实体包括第一语义实体,第一语义实体为目标对话的对话数据中存在的语义实体。
其中,目标对话为对话系统中具备关联关系的对话双方或对话多方之间的对话,目标对话用户界面为用于展示该对话双方或对话多方各自发出的对话数据的图形用户界面。
结合第三方面,在一种可能的实现方式中,目标对话对应的知识图谱子图包括的多个语义实体还包括与第一语义实体相关联的一个或多个第二语义实体。
在一种可行的实施方式中,上述的第二语义实体可以包括在知识图谱中与第一语义实体相邻的语义实体。进一步地,第二语义实体包括这些在知识图谱中与第一语义实体相邻的语义实体中的部分语义实体。该部分语义实体可以为在知识图谱中与第一语义实体相邻的并且在对话过程中使用频率高于第一频率阈值的语义实体,其中,对话过程可以是指目标对话的对话过程,也可以是指整个对话系统中的对话过程(即包括对话系统中的多个对话的对话过程)。该部分语义实体也可以为在知识图谱中与第一语义实体相邻的并且基于用户画像确定的语义实体。在知识图谱中与第一语义实体相邻的语义实体中的部分语义实体不限于上述两种情况,本申请不做限制。
在一种可行的实施方式中,上述的第二语义实体也可以包括在知识图谱子图中与第一语义实体的路径距离小于第一距离阈值的语义实体,即在知识图谱字体中与第一语义实体邻近的语义实体。进一步地,第二语义实体可以包括这些与第一语义实体邻近的语义实体中的部分语义实体。该部分语义实体可以为在对话过程中使用频率与第一语义实体邻近的并且在对话过程中使用频率高于第二频率阈值的语义实体,其中,对话过程可以是指目标 对话的对话过程,也可以是指整个对话系统中的对话过程。该部分语义实体也可以为在知识图谱中与第一语义实体相邻的并且基于用户画像确定的语义实体。与第一语义实体邻近的语义实体中的部分语义实体不限于上述两种情况,本申请不做限制。
结合第三方面,在一种可能的实现方式中,在获取到新的对话数据的情况下,更新概念视图,更新后的概念视图用于显示根据新的对话数据更新的知识图谱子图,更新后的知识图谱子图包括新的对话数据中存在的语义实体,或,新的对话数据中存在的语义实体以及与新的对话数据中存在的语义实体相关联的语义实体。概念视图中显示的知识图谱子图会随着对话数据的产生而更新,实现了对话数据与知识图谱子图的同步;更新后的知识图谱子图中还包括与新的对话数据中存在的语义实体相关联的语义实体,起到了引导话题的作用。
结合第三方面,在一种可能的实现方式中,在知识图谱子图中的语义实体的数量大于第一数量的情况下,在知识图谱子图中删除一个或多个语义实体。
结合第三方面,在一种可能的实现方式中,在检测到作用于对话视图中显示的第一对话数据的第一操作的情况下,响应于第一操作,在概念视图中突出显示第三语义实体,第三语义实体包括第一对话数据中存在的语义实体,和/或,与第一对话数据中存在的语义实体相关联的语义实体。可选地,该第三语义实体也可以包括与第一对话数据的话题关联度高于关联度阈值的语义实体。
结合第三方面,在一种可能的实现方式中,在检测到作用于概念视图中显示的第四语义实体的第二操作的情况下,响应于第二操作,在对话视图中显示第二对话数据,第四语义实体为第二对话数据中存在的语义实体,或,与第二对话数据中存在的语义实体相关联的语义实体。可选地,该第二对话数据也可以为与第四语义实体的话题关联度高于关联度阈值的历史对话数据。
结合第三方面,在一种可能的实现方式中,在检测到作用于概念视图中显示的第四语义实体的第二操作的情况下,响应于第二操作,在概念视图中显示第二对话数据的摘要信息,第四语义实体为第二对话数据中存在的语义实体,或,与第二对话数据中存在的语义实体相关联的语义实体。进一步地,可以在概念视图中显示产生时间最晚的第二对话数据的摘要信息。
结合第三方面,在一种可能的实现方式中,在检测到作用于概念视图中显示的任务语义实体的第三操作的情况下,响应于第三操作,在概念视图中显示任务语义实体对应的关键信息。
结合第三方面,在一种可能的实现方式中,在响应于第三操作,在概念视图中显示任务语义实体对应的关键信息之后,在检测到作用于关键信息的第四操作并获取到针对关键信息的用户意图的情况下,响应于第四操作,触发执行符合用户意图的对话任务。
结合第一方面,在一种可能的实现方式中,在响应于第四操作,触发执行符合用户意图的对话任务之后,根据执行符合用户意图的对话任务得到的结果,在概念视图中更新关键信息。
结合第三方面,在一种可能的实现方式中,当识别到与历史对话数据中的语义实体在知识图谱中存在语义关系的新的语义实体,并且,所述新的语义实体不存在于历史对话数 据中,根据历史对话数据中的语义实体和新的语义实体发起对话。
第四方面,提供一种终端设备,该终端设备可包括显示屏、存储器以及一个或多个处理器,上述一个或多个处理器被用于执行存储在上述存储器中的一个或多个计算机程序,上述一个或多个处理器在执行该一个或多个计算机程序时,使得终端设备实现上述第一方面或第一方面的实现方式中的任意一种方法。
第五方面,提供另一种终端设备,该终端设备可包括一种装置,该装置可实现上述第一方面或第一方面的实现方式中的任意一种方法。
第六方面,提供一种网络设备,该网络设备可包括存储器以及一个或多个处理器,上述一个或多个处理器被用于执行存储在上述存储器中的一个或多个计算机程序,上述一个或多个处理器在执行该一个或多个计算机程序时,使得网络设备实现上述第二方面或第二方面的实现方式中的任意一种方法。
第七方面,提供另一种网络设备,该网络设备可包括一种装置,该装置可实现上述第二方面或第二方面的实现方式中的任意一种方法。
第八方面,提供一种包含指令的计算机程序产品,当上述计算机程序产品在终端设备上运行时,使得上述终端设备执行如第一方面或第一方面的实现方式中的任意一种方法。
第九方面,提供一种包含指令的计算机程序产品,当上述计算机程序产品在网络设备上运行时,使得上述网络设备执行如第二方面或第二方面的实现方式中的任意一种方法。
第十方面,提供一种计算机可读存储介质,包括指令,当上述指令在终端设备上运行时,使得上述终端设备执行如第一方面或第一方面的实现方式中的任意一种方法。
第十一方面,提供一种计算机可读存储介质,包括指令,当上述指令在网络设备上运行时,使得上述网络设备执行如第一方面或第一方面的实现方式中的任意一种方法。
第十二方面,提供一种通信系统,该通信系统可包括终端设备,还可以包括网络设备。其中终端设备可以为如第四方面或第五方面的终端设备,网络设备可以为如第六方面或第七方面的网络设备。
附图说明
图1是本申请实施例提供的对话系统的系统架构示意图;
图2是本申请实施例提供的终端设备的结构示意图;
图3A-图3F是本申请实施例提供的进入目标对话用户界面过程中终端设备上实现的一些图形用户界面;
图4A-图4H是本申请实施例提供的进入目标对话用户界面后终端设备上实现的一些图形用户界面;
图5A-图5B是本申请实施例提供的对话交互方法的一种流程示意图;
图6A-图6E是本申请实施例提供的对话交互方法的另一种流程示意图;
图7A-图7B是本申请实施例提供的对话交互方法的又一种流程示意图;
图8A-图8B是本申请实施例提供的对话交互方法的又一种流程示意图;
图9A-图9B是本申请实施例提供的对话交互方法的又一种流程示意图;
图10A-图10B是本申请实施例提供的对话交互方法的又一种流程示意图;
图11A-图11B是本申请实施例提供的对话交互方法的又一种流程示意图;
图12A-图12C是本申请实施例提供的对话交互方法的又一种流程示意图;
图13A-图13B是本申请实施例提供的对话交互方法的又一种流程示意图;
图14是本申请实施例提供的一种网络设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
本申请的技术方案可以应用于利用用户界面来展示对话数据的对话系统。
本申请中,对话数据是对话系统中的对话多方或对话双方就所处的对话场景或对话环境所发出的语音数据或文本数据等用于表达对话多方或对话双方各自的观点或思想或逻辑的数据,对话数据又可以称之为会话数据,聊天数据,问答数据,等等,本申请不做限制。
用户界面(user interface,UI)是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。应用程序的用户界面是通过java、可扩展标记语言(extensible markup language,XML)等特定计算机语言编写的源代码,界面源代码在终端设备上经过解析,渲染,最终呈现为用户可以识别的内容,比如图片、文字、按钮等控件。控件(control)也称为部件(widget),是用户界面的基本元素,典型的控件有工具栏(toolbar)、菜单栏(menu bar)、文本框(text box)、按钮(button)、滚动条(scrollbar)、图片和文本。界面中的控件的属性和内容是通过标签或者节点来定义的,比如XML通过<Textview>、<ImgView>、<VideoView>等节点来规定界面所包含的控件。一个节点对应界面中一个控件或属性,节点经过解析和渲染之后呈现为用户可视的内容。此外,很多应用程序,比如混合应用(hybrid application)的界面中通常还包含有网页。网页,也称为页面,可以理解为内嵌在应用程序界面中的一个特殊的控件,网页是通过特定计算机语言编写的源代码,例如超文本标记语言(hyper text markup language,HTML),层叠样式表(cascading style sheets,CSS),java脚本(JavaScript,JS)等,网页源代码可以由浏览器或与浏览器功能类似的网页显示组件加载和显示为用户可识别的内容。网页所包含的具体内容也是通过网页源代码中的标签或者节点来定义的,比如HTML通过<p>、<img>、<video>、<canvas>来定义网页的元素和属性。用户界面常用的表现形式是GUI,是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在终端设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
在一些实施例中,利用用户界面来展示对话数据的对话系统可以为基于人机交互的对话系统,基于人机交互的对话系统中涉及的对话方可以为人与机器,即用户与设备,该设备可以为用户持有的设备。具体地,基于人机交互的对话系统可以为面向个体用户,用于为个体用户提供服务的对话系统,其可以为安装于终端设备上的各种辅助应用(application,APP),如Siri、Cortana、Alexa、Google Now或其他用于为独立的个体用户提供助理性质的服务的辅助APP。基于人机交互的对话系统也可以为面向所有用户,用于为所有用户提供某种服务的对话系统,其可以为各个企业或公司为解决员工或用户的问题而设计的各类客服助手、工作助手、智能机器人等,例如可以为阿里小蜜。
可选地,利用用户界面来展示对话数据的对话系统也可以为基于即时通信的对话系统,基于即时通信的对话系统中涉及的对话方可以为两个或多个用户。基于即时通信的对话系统为用于建立两个或多个用户之间的即时通信的通信系统,具体可以为QQ、微信、钉钉、飞信等使用网络实时地传递对话数据的通信工具。
在一些可能的实施场景,该对话系统的系统架构可以如图1所示。该对话系统10可以由终端设备101和网络设备102组成。终端设备101面向用户,可以与用户进行交互,终端设备101可以通过输入外设(如显示屏、麦克风等)获取用户发起的各种操作,并基于用户发起的操作向网络设备发起请求,以获取网络设备根据用户发起的操作所产生的响应,并通过输出外设(如显示屏、扬声器等)向用户输出该响应。例如,该终端设备为基于人机交互的对话系统中的终端设备,则该终端设备可以获取用户输入的对话数据,将该对话数据发送给网络设备,然后接收该网络设备根据该对话数据产生的回复数据,并通过显示屏向用户显示该回复数据。具体地,该终端设备可以为手机、电脑、IPAD、电子阅读器等具备显示功能的设备。网络设备102用于为该对话系统提供与对话相关的后台支持,网络设备102可以接收终端设备基于用户发起的操作所发起的请求,根据该请求执行相应操作并产生响应,将该响应返回给终端设备,以完成对话系统与用户之间的交互。例如,该网络设备为基于即时通信的对话系统,该网络设备可以接收第一终端设备发送的对话数据A,网络设备可以将该对话数据A发送给第二用户终端,该第二用户终端为该对话数据A的目的端,然后在接收到该第二用户终端发送给该第一用户终端的对话数据B的情况下,将该对话数据B发送给第一用户终端,以此完成第一用户终端与第二用户终端之间的对话交互。具体地,网络设备102可包括实时通信服务器、数据库服务器等,实时通信服务器可以用于与终端设备101交互,数据库服务器用于存储用以实现对话系统所实现的功能的各种数据。例如,该对话系统为基于人机交互的对话系统,该基于人机交互的对话系统利用知识图谱产生回复数据,则该数据库服务器可用于存储对话数据和用以产生回复数据的知识图谱。又如,该对话系统为基于即时通信的对话系统,则该数据库服务器可用于存储该即时通信系统中的各个即时通信账号,以及各个即时通信账号相互之间的即时通信关系(如好友关系)。
在另一些可能的实施场景中,在该对话系统为基于人机交互的对话系统的情况下,该对话系统还可以由终端设备这一独立设备组成。终端设备除了可以执行上述图1所示的系统架构中的终端设备101执行的操作外,还可以执行上述图1所示的系统架构中的网络设备102所执行的全部或部分操作。
在上述对话系统中,用于实现与用户之间的交互和信息交换的用户界面在终端设备中进行显示,为便于理解,首先介绍本申请所涉及的终端设备。参见图2,图2示例性地示出了终端设备200的结构示意图。
终端设备200可以包括处理器210,存储器220,显示屏230,音频模块240,扬声器240A,受话器240B,麦克风240C、传感器模块250、通信部件260等,其中,传感器模块250可以包括压力传感器250A,指纹传感器250B,触摸传感器250C等。可以理解的是,本申请实施例示意的结构并不构成对终端设备200的具体限定。
处理器210可以包括一个或多个处理单元,例如:处理器210可以包括应用处理器 (application processor,AP),调制解调处理器,图形处理器(graphics processing unit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。在一些实施例中,用户200也可以包括一个或多个处理器210。
处理器210中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器210中的存储器为高速缓冲存储器。该存储器可以保存处理器210刚用过或循环使用的指令或数据。如果处理器210需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器210的等待时间,因而提高了终端设备200的效率。
在一些实施例中,处理器210可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuit sound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purpose input/output,GPIO)接口等。
存储器220可以用于存储一个或多个计算机程序,该一个或多个计算机程序包括指令。处理器210可以通过运行存储在存储器220的上述指令,从而使得终端设备200执行本申请一些实施例中所提供的对话交互的方法,以及各种功能应用以及数据处理等。存储器220可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统;该存储程序区还可以存储一个或多个应用程序(比如图库、联系人等)等。存储数据区可存储终端设备200使用过程中所创建的数据(比如照片,联系人等)。此外,存储器220可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
终端设备200通过GPU,显示屏230,以及应用处理器等可以实现显示功能。GPU为图像处理的微处理器,连接显示屏230和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器210可包括一个或多个GPU,其执行指令以生成或改变显示信息。
显示屏230用于显示图像,视频等。显示屏230包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emitting diode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的,AMOLED),柔性发光二极管(flex light-emitting diode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot light emitting diodes,QLED)等。在一些实施例中,终端设备200可以包括2个或N个显示屏230,N为大于2的正整数。
终端设备200可以通过音频模块240,扬声器240A,受话器240B,麦克风240C以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块240用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块240还可以用于对音频信号编码和解码。在一些实施例中,音频模块240可以设置于处理器210中,或将音频模块240的部分功能模块设置于处理器210中。扬声器240A,也称“喇叭”,用于将音频电信号转换为声音信号。终端设备200可以通过扬声器240A收听音乐,或收听免提通话。
受话器240B,也称“听筒”,用于将音频电信号转换成声音信号。当终端设备200接听电话或语音信息时,可以通过将受话器240B靠近人耳接听语音。
麦克风240C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风240C发声,将声音信号输入到麦克风240C。终端设备200可以设置至少一个麦克风240C。在另一些实施例中,终端设备200可以设置两个麦克风240C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,终端设备200还可以设置三个,四个或更多麦克风240C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
压力传感器250A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器250A可以设置于显示屏230。压力传感器250A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器250A,电极之间的电容改变。终端设备200根据电容的变化确定压力的强度。当有触摸操作作用于显示屏230,终端设备200根据压力传感器250A检测所述触摸操作强度。终端设备200也可以根据压力传感器250A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
指纹传感器250B用于采集指纹。终端设备200可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
触摸传感器250C,也可称触控面板或触敏表面。触摸传感器250C可以设置于显示屏230,由触摸传感器250C与显示屏230组成触摸屏,也称“触控屏”。触摸传感器250C用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏230提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器250C也可以设置于终端设备200的表面,与显示屏230所处的位置不同。
通信部件260可用于终端设备200与其他通信设备通信,其他通信设备例如可以为网络设备(如服务器)等。通信部件260可包括有线通信接口,例如为以太网口、光纤接口等。可选地,通信部件260还可以包括无线通信接口。具体实现中,该通信部件260以包括射频接口以及射频电路,以用于实现无线通信接口所实现的功能。射频电路可包括收发机以及用于在无线通信时在自由空间中发送和接收电磁波的部件(如导体、导线等)等。
应理解的是,终端设备200可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
图2示例性所示的终端设备200可以通过显示屏230显示以下各个实施例中所描述的各个用户界面。终端设备200也可以通过触摸传感器230C在各个用户界面中检测触控操作,例如在各个用户界面中的点击操作(如在图标上的触摸操作、双击操作),又例如在各个用户界面中的向上或向下的滑动操作,或执行画圆圈手势的操作,等等。在一些实施例中, 终端设备也可以通过除触摸传感器之外的其他输入外设检测用户在用户界面中的操作,例如,终端设备可以通过麦克风240C检测用户在用户界面中的语音操作。又如,终端设备还可以通过图2中未示出的摄像头检测用户在用户界面中的非触控的手势操作或动作操作。又如,终端设备还可以通过图2中未示出的鼠标、触控板等输入外设检测手势操作,如移动鼠标、点击鼠标等操作,不限于这里的描述。
接下来结合本申请的应用场景来描述终端设备200上实现的与对话系统有关的图形用户界面的一些实施例。
在对话系统中,对话双方或对话多方中的其中一个对话方可通过进入目标对话用户界面以进行与对话数据有关的操作,如发送对话数据,查看对话数据,删除对话数据,等等。先介绍进入目标对话用户界面过程中终端设备上实现的一些图形用户界面,参见图3A-图3F。
本申请中,对话用户界面是指终端设备200上的用于展示对话双方或对话多方各自发出的对话数据的图形用户界面。对于基于人机交互的对话系统来说,该对话用户界面可以是终端设备200上的用于展示对话系统与用户各自发出的对话数据的用户界面。对于基于即时通信的对话系统来说,该对话用户界面可以是终端设备200上的用于展示两个或多个用户各自发出的对话数据的用户界面。目标对话用户界面为目标对话的对话用户界面,目标对话是指具备关联关系的对话双方或对话多方之间的对话。对于基于人机交互的对话系统来说,目标对话指终端设备的持有用户或使用用户与对话系统之间的对话,也即终端设备的持有用户或使用用户与终端设备之间的对话。对于基于即时通信的对话系统来说,目标对话指的是存在即时通信关系的两个或多个即时通信用户之间的对话。例如,即时通信用户1与即时通信用户2、即时通信用户3以及即时通信用户4之间均存在好友的关系,即时通信用户1组建了一个即时通信群组,该即时通信群组包括即时通信用户1、即时通信用户2、即时通信用户3,则目标对话可以为即时通信用户1与即时通信用户2之间的单独对话,也可以为即时通信用户1与即时通信用户3之间的单独对话,也可以为即时通信用户1与即时通信用户4之间的单独对话,也可以是即时通信1、即时通信用户2、即时通信用户3之间的即时通信群组对话。
在一些实施例中,用户可以从用于应用程序菜单的用户界面进入目标对话用户界面。以下介绍用户从用于应用程序菜单的用户界面进入目标对话用户界面的过程中,终端设备上的一些图形用户界面。
首先参见图3A,图3A示例性示出了终端设备上的用于应用程序菜单的示例性图形用户界面31。图形用户界面31可包括:状态栏301,具有常用应用程序图标的托盘302,其他应用程序图标303。其中:
状态栏301可包括:移动通信信号(又可称为蜂窝信号)的一个或多个信号强度指示符304、无线高保真(wireless fidelity,Wi-Fi)信号的一个或多个信号强度指示符305,电池状态指示符306、时间指示符307等。
具有常用应用程序图标的托盘302可以用于显示在终端设备200上使用频率较高的或用户自行设置的或系统默认设置的应用程序图标,例如图3A所示的电话图标308、联系人图标309、短信图标310、相机图标311。在一些实施例中,该常用应用程序图标的托盘302 还可用于显示对话系统对应的应用程序(以下将对话系统对应的应用程序称之为目标应用程序)的图标,例如可以用于显示一些基于即时通信的聊天工具(如钉钉、飞信)的图标等。
其他应用程序图标303指终端设备200上安装的除常用应用程序之外的应用程序的图标,例如图3A所示的微信(Wechat)的图标312、QQ的图标313、推特(Twitter)的图标314、脸书(Facebook)的图标315、邮箱的图标316、云服务的图标317、备忘录的图标318、支付宝的图标319、图库的图标320、设置的图标321。在一些实施例中,该其他应用程序图标303可以包括目标应用程序的图标,该目标应用程序的图标例如可以为图3A所示的微信的图标312、QQ的图标313等。
其他应用程序图标303可分布在多个页面,图形用户界面31还可包括页面指示符322,页面指示符322可用于指示用户当前浏览的是哪一个页面中的应用程序。用户可以左右滑动其他应用程序图标的区域,来浏览其他页面中的应用程序图标。
在一些实施例中,图3A示例性所示的图形用户界面31可以为主界面(Home screen)。
在其他一些实施例中,终端设备200还可以包括主屏幕键323。该主屏幕键323可以是实体按键,也可以是虚拟按键。该主屏幕键可用于接收用户的指令,将当前显示的用户界面返回到主界面,这样可以方便用户随时查看主屏幕。用户的指令具体可以是用户单次按下主屏幕键的操作指令,也可以是用户在短时间内连续两次按下主屏幕键的操作指令,还可以是用户在预订时间内长按主屏幕键的操作指令。在本申请其他一些实施例中,主屏幕键还可以集成指纹识别器,以便用于在按下主屏幕键的时候,随之进行指纹采集和识别。
接着请参见图3B-图3C,图3B-图3C示例性示出了用户从用于应用程序菜单的用户界面进入终端设备200上的目标对话用户界面时终端设备实现上的图形用户界面。
如图3B所示,当检测到在目标应用程序的图标(如微信的图标312)上的点击操作时,响应于该点击操作,终端设备200显示该目标应用程序的图形用户界面41。
如图3B所示,图形用户界面41可包括:状态栏401,标题栏402,选项导航栏403、页面内容显示区域404。其中:
状态栏401可参考图3A所示的用户界面31中的状态栏301,这里不再赘述。
标题栏402可包括:返回键416,以及当前页面指示符417,返回键416可用于返回菜单上一级。本领域技术人员可以理解,一个页面的逻辑上一级是固定的,在应用程序设计时便已确定。当前页面指示符417可用于指示当前页面,例如文本信息“微信”,不限于文本信息,当前页面指示符还可以是图标。
选项导航栏403用于显示目标应用程序的多个应用选项,选项导航栏403包括应用选项405(“微信”),应用选项406(“通讯录”),应用选项407(“发现”)和应用选项408(“我”)。
页面内容显示区域404用于显示被用户选中的应用选项的下一级菜单或内容。选项内容显示区域404显示的内容可随着被用户选中的应用选项的变化而变化。当终端设备200检测到在选项导航栏403中的应用选项的点击操作时,可响应于该点击操作,终端设备200可以在选项内容显示区域404显示该应用选项的下一级菜单或内容,并在选项标题栏显示该应用选项的标题。
页面内容显示区域404中显示的内容为应用选项405(“微信”)对应的内容,包括选项 409(“QQ邮箱提醒”)、选项410(“订阅号”)、选项411(“XXX”)、选项412(“YYY”)、选项413(“小张”)选项414(“小李”)、选项415(“小赵”)。其中,选项411、选项412、选项413以及选项414为对话选中。本申请中,应用选项405(“微信”)可以被称之为对话应用选项,对话应用选项对应的页面内容显示区域可用于显示一个或多个对话选项。在即时通信场景中,一个对话选项对应一个即时通信会话。可选地,对话应用选项还可以称为“朋友”(如目标应用程序为支付宝)、“消息”(如目标应用程序为QQ、淘宝等)、“聊天”,等等,不限于这里的描述。
如图3C所示,当检测到在对话应用选项(“微信”)对应的页面内容显示区域中的对话选项(如对话选项411)上的点击操作时,响应于该点击操作,终端设备200显示目标对话用户界面51。目标对话用户界面51可包括:状态栏501,标题栏502、对话区域503以及对话输入区域504。其中:
状态栏501可参考图3A所示的图形用户界面31中的状态栏301,标题栏502可参考图3B所示的图形用户界面41中的标题栏402,这里不再赘述。
对话区域503可包括对话视图506和概念视图505。本申请中,对话视图506在目标对话用户界面51中占据的区域可称为第一区域,概念视图505在目标对话用户界面51中占据的区域可称为第二区域。对话视图506用于显示目标对话的对话数据。概念视图505用于显示目标对话对应的知识图谱子图。目标对话对应的知识图谱子图可包括多个语义实体,以及,这多个语义实体中的各个语义实体相互之间的语义关系,多个语义实体可包括目标对话的对话数据中存在的语义实体。关于目标对话对应的知识图谱子图的各种情况,可参考后续描述。
对话输入区域504为持有或使用该终端设备200的用户输入对话数据的区域,持有或使用该终端设备200的用户可以通过文字和/或语音的方式输入对话数据。
结合图3B-图3C可知,用户通过多次点击操作依次选择要显示的图形用户界面的方式实现了从用于应用程序菜单的图形用户界面进入目标对话用户界面。不限于通过多次点击操作依次选择要显示的图形用户界面的方式,在可选实施方式中,用户还可以通过其他方式依次选择要显示的图形用户界面的方式以实现从用于应用程序菜单的图形用户界面进入目标对话用户界面,例如还可以通过双击、画圈、语音等方式依次选择要显示的图形用户界面,本申请不做限制。另外,对于具体选择的次数,即通过几次才能进入目标对话用户界面,其与目标应用程序的用户界面设计有关,本申请不做限制。
再请参见图3D,图3D示例性示出了示出了用户从用于应用程序菜单的用户界面进入终端设备200上的目标对话用户界面时终端设备实现上的图形用户界面。
如图3D所示,当检测到用户在主屏幕键的按压操作并且该按压操作的持续的时间长度大于时间长度阈值时,响应于该按压操作,终端设备200显示目标对话用户界面51。目标对话用户界面51的介绍可参考图3C对应的介绍,这里不再赘述。
结合图3D可知,终端设备通过长按主屏幕键直接唤起目标对话用户界面的方式实现了从用于应用程序菜单的用户界面进入目标对话用户界面。不限于长按的方式,在可选实施方式中,用户还可以通过其他方式直接唤起对话用户界面以实现从用于应用程序菜单的用户界面进入对话用户界面,例如还可以通过在用于应用程序菜单的用户界面画圈唤起、 双击或三击主屏幕键唤起、语音唤起等方式唤起目标对话用户界面,本申请不做限制。
可选地,用户还可以通过终端设备200上显示的其他用户界面进入目标对话用户界面,本申请不做限制,该其他用户界面可以为终端设备上的其他不为目标应用程序的用户界面。例如,该其他用户界面可以为终端设备上的备忘录的用户界面。
在一些实施例中,在进入目标对话用户界面之前,已经有目标对话的对话数据在对话系统中产生,对话系统具有显示产生于本次对话之前的一次或多次对话的对话数据的功能。其中,一次对话的开始和结束可以通过是否进入目标对话用户界面或目标应用程序的开启和关闭来衡量,即,进入目标对话用户界面则代表一次对话的开始,退出目标对话用户界面则代表一次对话的结束;又或者,目标应用程序开启则代表一次对话的开始,目标应用程序关闭则代表一次对话的结束。终端设备200上显示的目标对话用户界面还可以参见图3E,图3E示例性示出了终端设备200实现上的一种示例性目标对话用户界面。如图3E所示,目标对话用户界面51可包括状态栏501,标题栏502,对话区域503以及对话输入区域504。其中,状态栏501、标题栏502以及对话输入区域504可参考图3C对应的描述。图3E所示的目标对话用户界面51与图3C或图3D所示的目标对话用户界面51的不同之处在于,对话区域503中的对话视图506显示有历史对话数据507(“深圳今天天气怎么样啊?”,“深圳今天晴转多云,温度为16-28摄氏度”),历史对话数据507为产生于进入目标对话用户界面之前的对话数据,对话区域504中的概念视图505显示有知识图谱子图508,知识图谱子图508包括历史对话数据507中存在的语义实体(“深圳”,“天气”,“温度”)。
在一些实施例中,对话系统不具有显示产生于本次对话之前的一次或多次对话的对话数据的功能,或者,在进入目标对话用户界面之前,还未有目标对话的对话数据在对话系统中产生,其中,一次对话的定义可参考前述描述。终端设备200上显示的目标对话用户界面还可以参见图3F,图3F示例性示出了终端设备200上实现的一种示例性目标对话用户界面。如图3F所示,目标对话用户界面51可包括状态栏501,标题栏502,对话区域503以及对话输入区域504。其中,状态栏501、标题栏502以及对话输入区域504可参考图3C对应的描述。图3F所示的目标对话用户界面51与图3E所示的目标对话用户界面51的不同之处在于,对话区域503中的对话视图506未显示有对话数据,对话区域503中的概念视图505显示有知识图谱子图509,知识图谱子图509可以称之为初始的知识图谱子图,初始的知识图谱子图可包括多个初始的语义实体(“深圳”,“天气”,“温度”,“深圳大学”,“马化腾”,“腾讯”,“华为”,“5G”)。其中,初始的语义实体可以为以下一种或多种:
初始的语义实体为产生于本次对话之前的一次或多次对话的对话数据中存在的语义实体;
初始的语义实体为对话系统中热度较高的语义实体;
初始的语义实体为与用户日程中待办事项相关的语义实体;
初始的语义实体为基于用户的用户画像确定的语义实体。
不限于上述几种情况,在可选实施方式中,初始的语义实体还可以有其他的情况,本申请不做限制。有关于以上所述的几种初始的语义实体的具体介绍,请参见后续方法实施例的描述。
图3C-图3F示例性示出了目标对话用户界面的一些可能的情况。不限于上述情况,在 可选的实施方式中,目标对话用户界面还可以包括视图切换按钮,该视图切换按钮起的作用可以是切换对话区域中显示的视图种类,即通过该视图切换按钮,可以使对话区域中只显示对话视图,或者,只显示概念视图,或者,显示对话视图和概念视图。可选地,该视图切换按钮所起的作用也可以是开启或关闭概念视图,即通过该视图切换按钮,可以关闭概念视图,使对话区域中只显示对话视图,或者,开启概念视图,使对话区域中显示对话视图和概念视图。可选地,该视图切换按钮还可以是图标、选项栏、悬浮窗等界面元素。在可选的实施方式中,目标对话视图界面51也可以不含图3C-图3F所示的标题栏502。对于进入目标视图界面时目标对话用户界面具体是何种呈现,本申请不做限制。
应理解的是,上述图3A-图3F所示的图形用户界面仅为本申请为了解释进入目标对话用户界面过程中终端设备上实现的一些图形用户界面所举出的几种示例,不对本申请造成限制。
进入目标对话用户界面后,用户可以进行与对话数据有关的操作,目标对话用户界面显示的内容与用户操作相关。以下介绍进入目标对话用户界面后,终端设备上实现的一些图形用户界面。
在一些实施例中,对话视图和概念视图中显示的内容会随着新的对话数据在对话系统中的产生而发生变化。参见图4A,图4A示例性示出了新的对话数据产生时终端设备200上实现的图形用户界面。
图4A中的A1是进入目标对话用户界面时终端设备200上实现的目标对话用户界面。如图4A中的A2所示,当新的对话数据511(“97-98赛季NBA的MVP是谁?”,“是迈克尔乔丹”)在对话系统中产生时,终端设备200获取到该新的对话数据511,终端设备200更新对话视图506和概念视图505,更新后的对话视图506显示有该新的对话数据511,更新后的概念视图505显示有知识图谱子图510,知识图谱子图510包括新的对话数据511中存在的语义实体(“NBA”,“MVP”,“迈克尔乔丹”)。
结合图4A可知,在获取到新的对话数据的情况下,终端设备更新对话视图和概念视图,更新后的对话视图中显示有该新的对话数据,更新后的概念视图显示有根据新的对话数据更新的知识图谱子图,更新后的知识图谱子图包括新的对话数据中存在的语义实体。
在一些实施例中,概念视图中显示的知识图谱子图除了对话数据中存在的语义实体外,还可以包括与对话数据中存在的语义实体相关联的语义实体。参见图4B,图4B示例性示出了终端设备上实现的显示包含与对话数据中存在的语义实体相关联的语义实体的图形用户界面。
如图4B所示,对话视图506中显示有对话数据512(“97-98赛季NBA的MVP是谁?”,“是迈克尔乔丹”),概念视图505中显示有知识图谱子图513,知识图谱子图513包括第一语义实体(“NBA”,“MVP”,“迈克尔乔丹”),第一语义实体为对话数据512中存在的语义实体,和与第一语义实体相关联的第二语义实体(“体育”,“篮球”,“足球”,“西甲”,“梅西”,“詹姆斯哈登”)。
结合4B可知,概念视图中显示的知识图谱子图除了包括对话视图中显示的对话数据中存在的第一语义实体外,还可以包括第二语义实体,第二语义实体为与第一语义实体相关 联的语义实体。关于第二语义实体具体有哪些情况,请参见后续方法实施例的描述。
在一些实施例中,概念视图中显示的知识图谱子图包括的语义实体和语义实体的数量可随着对话数据的变化而变化,该知识图谱子图的形态、知识图谱子图中的语义实体的展示方式也可以随着知识图谱子图中的语义实体的数量的变化而发生变化。参见图4C,图4C示例性示出了概念视图中显示的知识图谱子图随着对话数据的变化而变化时终端设备200上实现的一些图形用户界面。
如图4C中的C1所示,对话视图506中显示有对话数据513(“97-98赛季NBA的MVP是谁”,“是迈克尔乔丹”),对话数据513较少,概念视图505中显示有知识图谱子图514,知识图谱子图514中的语义实体的数量也较少,知识图谱子图514中的语义实体以较为稀松舒展的方式呈现在概念视图505中。
如图4C中的C2所示,对话视图506中显示有对话数据515,相较C1中的对话数据513,增加了新的对话数据516(“哈登也得过MVP?”,“没错,哈登是本赛季的MVP”,“哈登和乔丹都效力于芝加哥公牛队”),对话数据增多,概念视图505中显示有知识图谱子图517,相较C1中的知识图谱子图514,知识图谱子图517中的语义实体的数量增加,增加了“芝加哥”和“芝加哥公牛”这两个语义实体,相较于知识图谱子图514中的语义实体的展示方式,知识图谱子图517中的语义实体以相对更为密集的方式呈现在概念视图505中。
如图4C中的C3所示,对话视图506中已经显示过多轮对话数据,对话视图506中显示有对话数据518(“好想去看巴萨的比赛”,“好啊,现在刚好是西班牙的旅游季节,11月3日有巴萨的比赛,需要我为您订一张球票么?”,“好的”,“已经帮您定好了11月3日的巴萨比赛球票,前排的位置已经订满,已经尽可能为您挑选好的座位”,“那就帮我把酒店和机票一起订了吧”,“好的,帮您预订了11月2日的机票,以及三天的酒店,就住在球场附近,酒店的名称是巴萨X酒店,联系方式是1234567。”),对话数据增多,概念视图505中显示有知识图谱519,相较于C2中的知识图谱子图517,知识图谱子图519中的语义实体的数量进一步增加,相较于知识图谱517中的语义实体的展示方式,知识图谱子图519中的语义实体以平行铺设的方式呈现在概念视图505中。
如图4C中的C4所示,对话视图506中显示有对话数据520,相较C3中的对话数据518,增加了新的对话数521(“巴塞罗那最近气候怎么样?”,“巴塞罗那最近气候不错,温度和湿度适宜,温度保持在8-17摄氏度”),对话数据进一步增多,概念视图505中显示有知识图谱子图522,相较于C3中的知识图谱子图519,删除了部分语义实体(“篮球”),新增了新的对话数据521中的语义实体(“气候”,“温度”,“湿度”),知识图谱子图522中的语义实体以平行铺设的方式呈现在概念视图505中。
结合图4C可知,随着对话数据的增多,概念视图中显示的语义实体的数量增多,当以稀松舒展的方式不能呈现数量较多的语义实体时,语义实体可以以密集紧凑的方式(如图4C中的C3和C4所示的平行铺设的方式)呈现在概念视图中,随着语义实体的进一步增多,当语义实体的数量较多时,可以在删除知识图谱子图中的一个或多个语义实体,以使得新的对话数据中存在的语义实体得以呈现在概念视图中。关于删除语义实体的具体逻辑和方式,请参见后续方法实施例的描述。
应理解的是,图4C仅为本申请为了解释念视图中显示的知识图谱子图包含的语义实体 和语义实体的数量可随着对话数据的变化而发生变化以及在语义实体的数量较多时以密集紧凑的方式呈现语义实体所举出的示例,不对本申请造成限制。在可选的实施方式中,还可以有其他的密集紧凑的方式,例如,随着知识图谱子图中的语义实体的数量的增多,在概念视图中显示该知识图谱子图时,可以缩小部分或全部语义实体在概念视图中占据的区域以达到显示更多语义实体的效果,或者,还可以缩小部分或全部语义实体在概念视图上的距离以达到显示更多语义实体的效果,本申请不做限制。
在一些实施例中,概念视图与对话视图可以协同交互。参见图4D-图4F,图4D-图4F示例性示出了概念视图与对话视图协同交互时终端设备200上实现的图形用户界面。
如图4D所示,当检测到在对话视图506中显示的第一对话数据523(如对话数据“那就帮我把酒店和机票一起订了吧”)上的点击操作时,响应于该点击操作,终端设备200在概念视图505中高亮显示第三语义实体524(“巴塞罗那”,“旅游”,“酒店”,“机票”),第三语义实体524为与第一对话数据523相关的语义实体,关于第三语义实体的具体定义,可参考后续方法实施例的描述。
如图4E所示,当检测到在概念视图505中显示的第四语义实体525(如语义实体“巴塞罗那”)上的点击操作时,响应于该点击操作,终端设备200在对话视图506中显示第二对话数据526(“好啊,现在刚好是西班牙的旅游季节,11月3日正好有巴萨的比赛,需要我为您订一张机票么?”,“已经帮您定好了11月3日的巴萨比赛球票,前排的位置已经订满,已经尽可能为您挑选好的座位”,“好的,帮您预订了11月2日的机票,以及三天的酒店,就住在球场附近,酒店的名称是巴萨X酒店,联系方式是1234567”、“巴塞罗那气候怎么样”、“巴塞罗那最近气候不错,温度和湿度适宜,温度保持在8-17摄氏度”),第二对话数据526为与第四语义实体相关的对话数据,关于第二对话数据的具体定义,可参考后续方法实施例的描述。
如图4F所示,当检测到在概念视图505中显示的第四语义实体525(如语义实体“酒店”)的点击操作时,响应于该点击操作,终端设备200在概念视图505显示第二对话数据(“好的,帮您预订了11月2日的机票,以及三天的酒店,就住在球场附近,酒店的名称是巴萨X酒店,联系方式是1234567”)的摘要信息526(酒店名称:巴萨X酒店,联系方式:1234567)。第二对话数据为与第四语义实体525相关的对话数据,关于第二对话数据的具体定义,可参考后续方法实施例的描述.
结合图4D-图4F可知,对话视图中显示的对话数据和概念视图中显示的语义实体可以具备联动关系,当检测到作用于对应有语义实体的对话数据或对应有对话数据的语义实体的用户操作时,终端设备会联动显示与之相对应的语义实体或对话数据。关于确定与对话数据相对应的语义实体或与语义实体相对应的对话数据的方式,可参见后续描述。
应理解的是,图4D-图4F所示的图形用户界面仅为本申请为了解释概念视图与对话视图协同交互所举出的几种示例,不对本申请造成限制。在可选实施方式中,概念视图与对话视图协同交互还可以有更多的实现方式。例如,上述图4D-图4F涉及的点击操作也可以为双击操作、长按操作、语音指示操作等用于进行选中某一视图元素的用户操作。又如,除了上述图4D所涉及的高亮显示的方式外,还可以通过弹窗显示、悬浮窗显示或者单独显示(即只在概念视图中显示与用户选中的对话数据相关的语义实体)等方式对与用户选 中的对话数据相关的语义实体进行突出显示。又如,概念视图中显示的知识图谱子图还可以随着对话视图中的对话数据的切换而切换,切换得到的知识图谱子图对应于对话视图中显示的对话数据;对话视图中的对话数据也可以随着概念视图中的知识图谱子图的切换而切换,切换得到的对话数据对应于概念视图中显示的知识图谱子图。对于概念视图与对话视图协同交互的具体方式,本申请不做限制。
在一些实施例中,概念视图中还可以显示用于触发对话任务的任务语义实体,每个任务语义实体可对应一种或多种对话任务。参见图4G,图4G示例性示出了触发对话任务时终端设备200上实现的图形用户界面。
如图4G中的G1和G2所示,当检测到在概念视图505中显示的任务语义实体527(如“机票”)的点击操作时,响应于该点击操作,终端设备200在概念视图505中显示关键信息528(“航班号:xx1起飞时间:h1时m1分座位:待选”)。
如图4G中的G3和G4所示,当检测到在概念视图505中显示的关键信息528的点击操作和获取到对话数据529(“我想订国航的航班”),响应于该点击操作,终端设备200触发执行预订国航航班的机票这一符合对话数据529的用户意图的对话任务。在触发执行预订国航航班的机票这一符合对话数据529的用户意图的对话任务之后,终端设备200在概念视图505中更新关键信息528(“北京-巴塞罗那航班号:国航xxx起飞时间:h2时m2分座位:待选”)。
结合图4G可知,概念视图中除了可以用于显示知识图谱子图外,还可以用于显示该知识图谱子图中用于触发对话任务的任务语义实体。根据用户作用于任务语义实体的关键信息的操作和用户意图,终端设备响应于用户的操作,触发执行符合用户意图的对话任务。应理解的是,图4G所示的图形用户界面仅为本申请为了解释功能语义实体和触发功能语义实体对应的系统功能所举出的示例,不对本申请造成限制。在可选实施方式中,还可以有触发执行符合用户意图的对话任务的方式。例如,上述涉及的关键信息还可以以图标、按钮、悬浮窗、弹框等视图元素存在,点击该关键信息对应的视图元素触发显示该关键信息的下一级菜单或详细内容,进而通过依次点选的方式触发符合用户意图的对话任务。对于通过任务语义实体触发对话任务的具体方式,本申请不做限制。
在一些实施例中,在对话系统为基于人机交互的对话系统的情况下,对话系统还可以主动发起。参见图4H,图4H示例性示出了对话系统发起对话时终端设备200上实现的一些图形用户界面。如图4H所示,当识别到与历史对话数据530(“97-98赛季NBA的MVP是谁”,“是迈克尔乔丹”,“哈登也得过MVP?”)中的语义实体531(“哈登”、“乔丹”)在知识图谱子图中存在语义关系的新的语义实体532(“芝加哥公牛”),并且,新的语义实体532不存在于历史对话数据530中,终端设备根据历史对话数据530中存在的语义实体531和新的语义实体532发起对话,将发起的第三对话数据533(“哈登和乔丹都效力于芝加哥公牛队”)显示在对话视图506中。
结合图4H可知,当查询到历史对话中涉及的各个语义实体存在历史对话中涉及的路径联系外,还有历史对话中未涉及的路径联系时,终端设备还可以主动发起对话,从而生成引导话题的对话数据。
不限于上述图3A-图3F和图4A-图4H示出的图形用户界面实施例,在可选的实施方 式中,对话系统对应的图形用户界面可以有其他的呈现方式,例如,目标对话用户界面中的概念视图和对话视图还可以以左右排列的方式呈现。又或者,目标对话用户界面中可不含有状态栏、标题栏等视图元素。对话系统对应的图形用户界面具体是何种呈现方式,本申请不做限制。
结合图4A-图4H的图形用户界面实施例可知,本申请的方案基于知识图谱,在目标对话用户界面中增加了用于显示目标对话对应的知识图谱子图的概念视图,对话视图与概念视图之间的协同交互起到了回顾历史对话数据、引导话题走向、提示用户对话系统的功能边界等作用,提高了用户的对话交互体验。以下介绍实现上述图形用户界面实施例的技术方案。
先对本申请技术方案中将涉及的一些概念进行说明。
1、知识图谱
知识图谱又可以称之为科学知识图谱,是以图的结构存储真实世界中存在的各种实体以及这些实体相互之间的关联的知识库。知识图谱由节点和边组成,其中,节点代表真实世界中存在的实体,边代表实体与实体之间的关联关系。本申请中,知识图谱可以是通用领域知识图谱,通用领域知识图谱又可以称之为开放领域知识图谱,是指包含有多种领域中的实体和关系,强调融合更多的实体,且侧重知识的广度的知识图谱,可应用于智能搜索等领域。本申请中,知识图谱也可以是垂直领域知识图谱,垂直领域知识图谱又可以称之为行业知识图谱,是指依靠特定行业的数据来构建的知识图谱,行业知识图谱侧重于知识的深度的知识图谱,可以理解为基于语义技术的行业知识库。
2、知识图谱子图
知识图谱子图是知识图谱的子图,即知识图谱子图是知识图谱的一部分,知识图谱子图中包含的节点和关系均来源于知识图谱,基于某种选择规则从知识图谱中选择一个或多个节点以及一个或多个关联关系进行组合即可形成知识图谱子图。本申请中,目标对话对应的知识图谱子图是根据预先建立的知识图谱和目标对话的对话数据确定的知识图谱子图,关于根据预先建立的知识图谱和目标对话的对话数据确定目标对话对应的知识图谱子图的具体实现方式,可参考后续描述。
3、语义实体和语义关系
语义实体,可以是指具有可区别性且独立存在的某个或某种事物,具体地,语义实体可以是指某一个人(如姚明),某一个城市(如深圳),某一本书(如名人传),某一种植物(如吊兰),等等,不限于这里的描述。也可以是指具有同种特性的实体的集合,为集合、类别、种类等的统称,如国家、民族、人物、地理等。还可以是指对具有可区别性且独立存在的某个或某种事物的描述或解释,或者,具有同种特性的实体的集合的描述或解释。一个语义实体在知识图谱或知识图谱子图中可以以一个节点的形式存在。
语义关系用于连接两个语义实体,用于描述两个实体之间的关联或内在特性,其表示了两个语义实体之间在真实世界中的关联。一种语义关系在知识图谱或知识图谱子图中可以以一条边的形式的存在。
接下来介绍本申请提供的对话交互方法,该对话交互方法可实现在前述介绍的对话系统上,其中,对话交互方法在终端设备侧的总流程可以为:终端设备在目标对话用户界面 的第一区域中显示对话视图,并在目标对话用户界面的第二区域中显示概念视图。
这里,关于目标对话用户界面、第一区域、对话视图、第二区域以及概念视图的说明,可参见前述3C所示的图形用户实施例部分的有关描述,这里不再赘述。
目标对话用户界面的具体实现可参考前述图3C-图3F或图4A-图4H实施例中所示的目标对话用户界面51。
其中,对于终端设备上实现的目标对话用户界面的不同情况,对应具有不同实现流程的对话交互方法,以下展开描述。
一、用于实现终端设备在目标对话用户界面的概念视图中显示目标对话对应的知识图谱子图的对话交互方法的一些流程。终端设备在目标对话用户界面的概念视图中显示知识图谱子图的图形用户界面实施例可参见图3E-图3F、图4A-图4C以及图4H实施例。
1、图3F实施例对应的对话交互方法的实现流程,该实现流程可应用于进入目标对话用户界面时终端设备在目标对话用户界面的概念视图中显示目标对话对应的知识图谱子图的场景中。
图3F所示的实施例对应的一种对话交互方法的流程示意图可以如图5A所示,该流程可适用于由网络设备和终端设备组成的对话系统,具体包括如下步骤:
S511,网络设备生成目标对话对应的知识图谱子图。
这里,关于目标对话的说明,可参考前述描述。示例性地,目标对话对应的知识图谱子图可以为图3F所示的知识图谱子图509。本申请实施例中,目标对话对应的知识图谱子图为初始的知识图谱子图,初始的知识图谱子图包括一个或多个初始的语义实体,初始的语义实体可以为前述图3F实施例中描述的初始的语义实体中的任意一种或多种。
具体地,产生于本次对话之前的一次或多次对话的对话数据中存在的语义实体具体可以为用户对话历史中经常提及的语义实体,也即经常出现在历史对话记录中的语义实体,此处的历史对话记录是指目标对话对应的产生于当前对话之前的对话记录。例如,目标对话为即时通信用户A和即时通信用户B之间的对话,那么,产生于本次对话之前的一次或多次对话的对话数据中存在的语义实体为经常出现在即时通信用户A和即时通信用户B的历史对话记录中的语义实体。又如,目标对话为用户与对话系统之间的对话,那么,产生于本次对话之前的一次或多次对话的对话数据中存在的语义实体为经常出现在用户与对话系统的历史对话记录中的语义实体。这里,“经常”的含义可以是指出现或被提及的频率超过预设的频率阈值,关于频率阈值的取值,本申请不做限制。
具体地,对话系统中热度较高的语义实体具体可以为在对话系统中被使用该对话系统的大多数用户经常提及的语义实体,也即经常出现在大多数用户的历史对话记录中的语义实体,此处的历史对话记录是指目标对话对应的产生于当前对话之前的大多数用户的对话记录。例如,对话系统为基于即时通信的对话系统,那么,对话系统中热度较高的语义实体为经常出现在使用该对话系统的大多数即时通信用户的历史对话记录中的语义实体。又如,对话系统为基于人机交互的对话系统,那么,对话系统中热度较高的语义实体为经常出现在使用该对话系统的所有用户的历史对话记录中的语义实体。这里,“大多数用户”的含义可以是指与使用该对话系统的所有用户的比例超过第一比例的用户,其中,第一比例为大于二分之一的比例值。“经常”的含义可以是指出现或被提及的频率超过预设的频率阈 值,关于频率阈值的取值,本申请不做限制。
在初始的语义实体为上述两种情况下,对话系统具有保存产生于本次对话之前的一次或多次对话的对话数据的功能。具体实现中,网络设备可根据对话系统中保存的产生于本次对话之前的一次或多次对话的对话数据,确定初始的语义实体,再根据对话系统中保存的知识图谱和该初始的语义实体,生成目标对话对应的知识图谱子图。
具体地,与用户日程中待办事项相关的语义实体具体可以为记录在终端设备上的备忘录、便签、待办事项、记事本等用于记录用户的日程安排或计划的应用程序上的计划或安排中的语义实体。例如,终端设备上的待办事项记录有用户未来几天的日程安排,则与用户日程中待办事项相关的语义实体可以为该未来几天的日程安排中存在的语义实体,如会议时间、会议室、联系人等。
具体地,基于用户的用户画像确定的语义实体具体可以为根据与用户的日常行为(如购物行为、搜索行为、外出记录、运动记录等)有关的数据确定的符合用户某一方面特征的语义实体。例如,根据与用户的日常有关的数据确定用户经常去健身房,则基于用户的用户画像确定的语义实体可以为与健身有关的语义实体,如跑步机、健美操等。
在初始的语义实体为上述两种情况下,终端设备可以采集用户记录的日程安排或计划,或者与用户的日常行为有关的数据,并将采集用户记录的日程安排或计划,或者与用户的日常行为有关的数据发送给网络设备。网络设备可根据该日程安排或计划或者与用户的日常行为有关的数据,确定初始的语义实体,再根据对话系统中保存的知识图谱和该初始的语义实体,生成目标对话对应的知识图谱子图。
在一种具体实现方式中,根据对话系统中保存的知识图谱和初始的语义实体,生成目标对话对应的知识图谱子图的方式可以为:根据该初始的语义实体查询该知识图谱,以确定该初始的语义实体相互之间的语义关系,根据该初始的语义实体和该初始的语义实体相互之间的语义关系,生成目标对话对应的知识图谱子图。
S512,网络设备将目标对话对应的知识图谱子图发送给终端设备。
示例性地,网络设备可以将生成的知识图谱子图直接发送给终端设备,或者通过其他网络设备发送给终端设备,或者将知识图谱子图存储在存储器或其他设备中由终端设备读取。
S513,终端设备在目标对话用户界面的概念视图中显示目标对话对应的知识图谱子图。
示例性地,终端设备在目标对话用户界面的概念视图中显示目标对话对应的知识图谱子图可以如图3F所示。
图3F实施例对应的另一种对话交互方法的流程示意图可以如图5B所示,该流程可适用于仅由终端设备组成的对话系统,具体包括如下步骤:
S521,终端设备生成目标对话对应的知识图谱子图。
这里,关于目标对话的说明,可参考前述描述。目标对话对应的知识图谱子图的一种示例可以为图3F所示的知识图谱子图509。本申请实施例中,目标对话对应的知识图谱子图可参考步骤S511所描述的目标对话对应的知识图谱子图,此处不再赘述。
终端设备生成目标对话对应的知识图谱子图的具体实现方式,可参考前述步骤S511中网络设备生成目标对话对应的知识图谱子图的具体实现方式,此处不再赘述。
S522,终端设备在目标对话用户界面的概念视图中显示目标对话对应的知识图谱子图。
示例性地,终端设备在目标对话用户界面的概念视图中显示目标对话对应的知识图谱子图可以如图3F所示。
结合图3F,以及,图5A-图5B对应的任一方法实施例可知,在对话系统不具有显示产生于本次对话之前的一次或多次对话的对话数据的功能,或者,在进入目标对话用户界面之前,还未有目标对话的对话数据在对话系统中产生的情况下,终端设备在目标对话用户界面中显示目标对话对应的知识图谱子图,该目标对话对应的知识图谱子图为初始的知识图谱子图,初始的知识图谱子图中的语义实体可以起到引导对话话题的作用,增强了用户体验。
2、图3E、图4A-图4C以及图4H实施例对应的对话交互方法的实现流程。该实现流程可应用于进入目标对话用户界面后终端设备在目标对话用户界面的概念视图中显示目标对话对应的知识图谱子图的场景中。
图3E、图4A以及图4C实施例对应的一种对话交互方法的流程示意图可以如图6A所示,该流程可适用于由网络设备和终端设备组成的基于人机交互的对话系统,具体包括如下步骤:
S611,终端设备获取用户输入的输入对话数据。
这里,用户输入的输入对话数据可以为语音数据,也可以为文本数据。具体地,终端设备可以通过麦克风采集声音信号,以获取用户输入的输入对话数据。终端设备也可以通过触摸屏或键盘等获取用户输入文字的操作,以获取用户输入的输入对话数据。示例性地,用户输入的输入对话数据可以为图3E所示的对话数据“深圳天气怎么样啊?”。
S612,终端设备将输入对话数据发送给网络设备,网络设备接收输入对话数据。
S613,网络设备根据输入对话数据生成回复对话数据。
具体地,网络设备可以识别输入对话数据中存在的语义实体,根据识别得到的语义实体查询对话系统中保存的知识图谱,以确定该识别得到的语义实体相互之间的语义关系,然后将识别得到语义实体和查询得到的语义关系输入预先训练得到的编码-解码(Encoder-Decoder)模型中,将该Encoder-Decoder模型输出的对话数据确定为回复对话数据。
其中,网络设备可以通过实体抽取的方式识别输入对话数据中存在的语义实体。实体抽取又可以称为命名实体学习(named entity learning)或命名实体识别(named entity recognition)。实体抽取的方式可以为基于规则与词典的方式、基于统计机器学习的方式或面向开放域的方式中的任意一种方式,本申请实施例不做限制。
示例性地,网络设备生成的回复对话数据可以为图3E所示的对话数据“深圳今天晴转多云,温度为16-28摄氏度”,或者,图4A-图4C所示的对话数据“是迈克尔乔丹”。
S614,网络设备根据输入对话数据和回复对话数据生成目标对话对应的知识图谱子图。
这里,目标对话对应的知识图谱子图包括输入对话数据和回复对话数据中存在的语义实体。网络设备可以识别输入对话数据和回复对话数据中存在的语义实体,然后根据识别得到的语义实体生成目标对话对应的知识图谱子图。根据识别得到的语义实体生成的目标对话对应的知识图谱子图的一种示例可以为图3E所示的知识图谱子图508。
网络设备识别输入对话数据和回复对话数据中存在的语义实体的具体实现方式,可参考步骤S613中网络设备可以通过实体抽取的方式识别输入对话数据中存在的语义实体的方式;网络设备根据识别得到的语义实体生成目标对话对应的知识图谱子图的具体实现方式可参考步骤S511中网络设备根据对话系统中保存的知识图谱和初始的语义实体,生成目标对话对应的知识图谱子图的具体实现方式,此处不再赘述。
S615,网络设备将回复对话数据和目标对话对应的知识图谱子图发送给终端设备,终端设备接收回复对话数据和目标对话对应的知识图谱子图。
S616,终端设备在目标对话用户界面的对话视图中显示回复对话数据,并在目标对话用户界面的概念视图中显示目标对话对应的知识图谱子图。
示例性地,终端设备在目标对话用户界面的对话视图中显示回复对话数据,并在目标对话用户界面的概念视图中显示目标对话对应的知识图谱子图可以如图3E、图4A-图4C所示。
图3E、图4A以及图4C实施例对应的另一种对话交互方法的流程示意图可以如图6B所示,该流程可适用于仅由终端设备组成的基于人机交互的对话系统,具体包括如下步骤:
S621,终端设备获取用户输入的输入对话数据。
这里,步骤S621的具体实现方式,可参考步骤S611的描述,此处不再赘述。
S622,终端设备根据输入对话数据生成回复对话数据。
S623,终端设备根据输入对话数据和回复对话数据生成目标对话对应的知识图谱子图。
这里,步骤S622~S623的具体实现方式,可参考步骤S613~S614的具体实现方式,此处不再赘述。
S624,终端设备在目标对话用户界面的对话视图中显示回复对话数据,并在目标对话用户界面的概念视图中显示目标对话对应的知识图谱子图。
示例性地,终端设备在目标对话用户界面的对话视图中显示回复对话数据,并在目标对话用户界面的概念视图中显示目标对话对应的知识图谱子图可以如图3E、图4A或图4C所示。
图3E、图4A以及图4C实施例对应的又一种对话交互方法的流程示意图可以如图6C所示,该流程可适用于由终端设备和网络设备组成的基于即时通信的对话系统,具体包括如下步骤:
S631,终端设备获取用户输入的输入对话数据。
这里,步骤S621的具体实现方式,可参考步骤S611的描述,此处不再赘述。
S632,终端设备将输入对话数据发送给网络设备,网络设备接收输入对话数据。
S633,网络设备根据输入对话数据生成目标对话对应的知识图谱子图。
这里,网络设备根据输入对话数据生成目标对话对应的知识图谱子图的具体实现方式,可参考步骤S614中网络设备根据输入对话数据和回复对话数据生成目标对话对应的知识图谱子图的描述,此处不再赘述。
S634,网络设备将目标对话对应的知识图谱子图发送给终端设备,终端设备接收目标对话对应的知识图谱子图。
S635,终端设备在目标对话用户界面的概念视图中显示目标对话对应的知识图谱子图。
示例性地,终端设备在目标对话用户界面的对话视图中显示回复对话数据,并在目标对话用户界面的概念视图中显示目标对话对应的知识图谱子图可以如图3E或图4A-图4C所示。
在一些可能的实施例中,在对话系统为基于人机交互的对话系统的情况下,对话系统除了根据用户输入的输入对话数据生成对话回复数据外,对话系统还可以主动生成发起对话。示例性地,对话系统主动发起对话的图形用户界面实施例可以参考图4H。图4H实施例对应的一种对话交互方法的流程示意图可以如图6D所示,该流程可适用于由网络设备和终端设备组成的基于人机交互的对话系统,具体包括如下步骤:
S641,网络设备生成第三对话数据。
这里,第三对话数据为网络设备主动发起的对话数据,也即对话系统主动发起的对话数据。网络设备生成第三对话数据的具体实现方式,将在后续方法实施例中进行详细介绍,此处不做过多描述。
S642,网络设备根据第三对话数据生成目标对话的对应的知识图谱子图。
这里,网络设备根据第三对话数据生成目标对话对应的知识图谱子图的具体实现方式,可参考步骤S614中网络设备根据输入对话数据和回复对话数据生成目标对话对应的知识图谱子图的描述,此处不再赘述。
S643,网络设备将目标对话对应的知识图谱子图和第三对话数据发送给终端设备,终端设备接收目标对话对应的知识图谱子图和第三对话数据。
S644,终端设备在目标对话用户界面的对话视图中显示第三对话数据,并在目标对话用户界面的概念视图中显示目标对话对应的知识图谱子图。
图4H实施例对应的另一种对话交互方法的流程示意图可以如图6E所示,该流程可适用于仅终端设备组成的基于人机交互的对话系统,具体包括如下步骤:
S651,终端设备生成第三对话数据。
这里,终端设备生成第三对话数据的具体实现方式,将在后续方法实施例中进行详细介绍,此处不做过多描述。
S652,终端设备根据第三对话数据生成目标对话的对应的知识图谱子图。
这里,终端设备根据第三对话数据生成目标对话对应的知识图谱子图的具体实现方式,可参考步骤S614中网络设备根据输入对话数据和回复对话数据生成目标对话对应的知识图谱子图的描述,此处不再赘述。
S653,终端设备在目标对话用户界面的对话视图中显示第三对话数据,并在目标对话用户界面的概念视图中显示目标对话对应的知识图谱子图。
上述图6A-图6B实施例涉及的输入对话数据和回复对话数据、上述图6C实施例涉及的对话数据以及上述图6D-图6E实施例涉及的第三对话数据,可统称为对话数据。结合图3E、图4A、图4H以及图6A-图6E对应的任一方法实施例可知,目标对话对应的知识图谱子图中包括第一语义实体,第一语义实体为对话数据中存在的语义实体,第一语义实体相当于是对目标对话的对话数据的摘要和概括,有助于快读了解历史对话内容的概要,从而达到回复历史对话内容的目的。在上述图6A-图6B实施例涉及的输入对话数据和回复对话数据、上述图6C的涉及的对话数据以及上述图6D-图6E涉及的第三对话数据为新的对 话数据的情况下,结合图4C以及图6A-图6E对应的任一方法实施例可知,当获取到新的对话数据时,终端设备会更新概念视图,更新后的概念视图用于显示根据新的对话数据中更新的知识图谱子图,更新后的知识图谱子图包括该新的对话数据中存在的语义实体。
在一些可能的实施例中,目标对话对应的知识图谱子图还可以包括与第一语义实体相关联的一个或多个第二语义实体。包括第二语义实体的目标对话对应的知识图谱子图的一种示例可以为图4B所示的知识图谱子图511。
具体地,与第一语义实体相关联的第二语义实体可以有以下情况:
在一种可能的情况中,第二语义实体可以包括在知识图谱中与第一语义实体相邻的语义实体,即在知识图谱中与第一语义实体存在语义关系的语义实体。示例性地,在知识图谱中与第一语义实体相邻的语义实体例如可以为图4B所示的语义实体“詹姆斯哈登”、“NBA”、“西甲”和“梅西”,其中,“詹姆斯哈登”、“西甲”、“NBA”和“梅西”为与语义实体“MVP”存在语义关系的语义实体。
进一步地,第二语义实体可以包括在知识图谱中与第一语义实体相邻的部分语义实体。
在一种可行的实施方式中,该在知识图谱中与第一语义实体相邻的部分语义实体可以为在对话过程中使用频率高于第一频率阈值的并且在知识图谱中与第一语义实体相邻的语义实体。其中,该使用频率可以是指在该目标对话中的使用频率,该在对话过程中使用频率高于第一频率阈值的并且在知识图谱中与第一语义实体相邻的语义实体是指与经常出现在目标对话对应的历史对话记录中的并且在知识图谱中与第一语义实体相邻的语义实体。该使用频率也可以是指在对话系统中的所有对话中的使用频率,该在对话过程中使用频率高于第一频率阈值的并且在知识图谱中与第一语义实体相邻的语义实体是指经常出现在对话系统中所有对话对应的历史对话记录中的并且在知识图谱中与第一语义实体相邻的语义实体。此处的历史对话记录为可以为目标对话对应的本次对话的历史对话记录,也可以为目标对话对应的所有历史对话记录(即本次对话的历史对话记录和产生于本次对话之前的历史对话记录)。
举例来对在对话过程中使用频率高于第一频率阈值的并且在知识图谱中与第一语义实体相邻的语义实体进行说明。例如,在知识图谱中与第一语义实体相邻的语义实体分别有“任正非”、“手机”、“5G”、“网络设备”、“荣耀”、“海思”。
(1)使用频率为在目标对话中的使用频率,第一频率阈值为20次/周。“任正非”在目标对话的历史对话记录中出现的频率为1次/周,“手机”在目标对话的历史对话记录中出现的频率为25次/周,“5G”在目标对话的历史对话记录中出现的频率为18次/周,“荣耀”在目标对话的历史对话记录中出现的频率为10次/周,“海思”在目标对话的历史对话记录中出现的频率为3次/周,则将语义实体“手机”确定为在对话过程中使用频率高于第一频率阈值的并且在知识图谱中与第一语义实体相邻的语义实体。
(2)使用频率为对话系统中的所有对话中的使用频率,第一频率阈值为200次/天。“任正非”在目标对话的历史对话记录中出现的频率为10次/天,“手机”在目标对话的历史对话记录中出现的频率为250次/天,“5G”在目标对话的历史对话记录中出现的频率为300次/天,“荣耀”在目标对话的历史对话记录中出现的频率为220次/天,“海思”在目标对话的历史对话记录中出现的频率为30次/天,则将语义实体“手机”、“5G”和“荣耀”确定为在对话过 程中使用频率高于第一频率阈值的并且在知识图谱中与第一语义实体相邻的语义实体。
在另一种可行的实施方式中,该在知识图谱中与第一语义实体相邻的部分语义实体可以为基于用户画像确定的并且在知识图谱中与第一语义实体相邻的语义实体。关于基于用户画像确定的语义实体的定义,可参考前述步骤S511的描述,此处不再赘述。
在知识图谱中与第一语义实体相邻的部分语义实体不限于上述两种可行的实施方式,关于具体将在知识图谱中与第一语义实体相邻的语义实体中的哪部分语义实体作为第二语义实体,本申请实施例不做限制。
在另一种可能的情况中,第二语义实体也可以包括在知识图谱中与第一语义实体的语义关系路径距离小于第一距离阈值的语义实体。其中,两个语义实体之间的语义关系路径距离可以用两个语义实体在知识图谱中的语义关系路径所包括的语义实体的数量来衡量,语义关系路径可以等于两个语义实体在知识图谱子图中的最短语义关系路径所包含的语义实体的数量减一。
举例对语义关系路径距离进行说明。例如,知识图谱的一部分如图4B中的知识图谱子图513所示,则语义实体“篮球”与语义实体“迈克尔乔丹”之间存在两条语义关系路径,分别为“篮球—NBA—迈克尔乔丹”和“篮球—NBA—MVP—迈克尔乔丹”,最短语义关系路径为“篮球—NBA—迈克尔乔丹”,则确定语义实体“篮球”与语义实体“迈克尔乔丹”之间的语义关系路径距离为2。
进一步地,第二语义实体可以包括在知识图谱中与第一语义实体的语义关系路径距离小于第一距离阈值的部分语义实体。在一种可行的实施方式中,该在知识图谱中与第一语义实体的语义关系路径距离小于第一距离阈值的部分语义实体可以为在对话过程中使用频率高于第二频率阈值的并且在知识图谱中与第一语义实体的语义关系路径距离小于第一距离阈值的语义实体。关于使用频率的说明,可参考前述描述,此处不再赘述。在另一种可行的实施方式中,该在知识图谱中与第一语义实体的语义关系路径距离小于第一距离阈值的部分语义实体可以为基于用户画像确定的并且在知识图谱中与第一语义实体的语义关系路径距离小于第一距离阈值的语义实体。关于语义关系路径距离的说明,可参考前述描述,此处不再赘述。
与第一语义实体相关联的第二语义实体不限于上述情况,具体将知识图谱中的何种语义实体确定为与第一语义实体相关联的语义实体,本申请实施例不做限制。
结合图4B以及图6A-图6E对应的任一方法实施例可知,目标对话对应的知识图谱除了包括第一语义实体外,还包括根据与第一语义实体相关联的第二语义实体,第二语义实体起到了引导对话话题的作用,可以增强用户的对话体验。
二、用于实现终端设备上显示的对话视图和概念视图协同交互的对话交互方法的一些流程,这些流程可应用于目标对话用户界面中已经显示有对话数据和知识图谱子图的场景中,即已经进行了一轮或多轮对话的场景中。终端设备上显示的对话视图和概念视图协同交互的图形用户界面实施例可参见图4D-图4G实施例。
1、图4D实施例对应的对话交互方法的实现流程。
图4D实施例对应的一种对话交互方法的流程示意图可以如图7A所示,该流程可适用于由仅终端设备组成的对话系统,具体包括如下步骤:
S711,终端设备检测到作用于第一对话数据的第一操作。
第一对话数据为目标对话用户界面中的对话视图中显示的任一对话数据。示例性地,第一对话数据例如可以为图4D所示的对话数据“那就帮我把酒店和机票一起订了吧”。
作用于第一对话数据的第一操作具体是指选中第一对话数据的操作,第一操作可以有多种形式。例如,第一操作可以是在对话视图中点击该第一对话数据的操作,第一操作也可以是在对话视图中双击该第一对话数据的操作,第一操作还可以是在对话视图中拖拽该第一对话数据的操作,等等,不限于这里的描述。对于第一操作具体是何种形式,本申请实施例不做限制。
S712,终端设备根据第一对话数据确定第三语义实体。
这里,第三语义实体为目标对话用户界面的概念视图中显示的并且与第一对话数据相关或对应的语义实体。
在一种可行的实施方式中,与第一对话数据相关或对应的语义实体可以包括第一对话数据中存在的语义实体。终端设备可以识别该第一对话数据中存在的语义实体,将其确定为第三语义实体。关于终端设备识别第一对话数据中存在的语义实体,可参考前述步骤S613中网络设备识别输入对话数据中存在的语义实体的方式,此处不再赘述。
在另一种可行的实施方式中,与第一对话数据相关或对应的语义实体也可以包括与第一对话数据中存在的语义实体相关联的语义实体。关于与第一对话数据中存在的语义实体相关联的语义实体的概念,可参考前述对与第一语义实体相关联的第二语义实体的描述,此处不再赘述。终端设备可以识别该第一对话数据中存在的语义实体,然后将概念视图中显示的知识图谱子图中与第一对话数据中存在的语义实体相关联的语义实体确定为第三语义实体。
在又一种可行的实施方式中,与第一对话数据相关或对应的语义实体可以包括第一对话数据中存在的语义实体和与第一对话数据中存在的语义实体相关联的语义实体。
在又一种可行的实施方式中,与第一对话数据相关或对应的语义实体还可以包括话题标签与第一对话数据对应的话题标签的相似度高于关联度阈值的语义实体,即第三语义实体对应的话题标签与第一对话数据对应的话题标签的相似度高于关联度阈值。终端设备可以确定第一对话数据对应的话题标签,以及,分别确定概念视图中显示的知识图谱子图中的各个语义实体对应的话题标签,然后将该各个语义实体对应的话题标签与第一对话数据对应的话题标签进行相似度匹配,以确定话题标签与第一对话数据对应的话题标签的相似度高于关联度阈值的语义实体,进而将话题标签与第一对话数据对应的话题标签的相似度高于关联度阈值的语义实体确定为第一语义实体。在一种具体实现方式中,终端设备可以通过预先训练得到的话题识别器确定第一对话数据对应的话题标签和对话视图中显示的知识图谱子图中的各个语义实体对应的话题标签。
与第一对话数据相关或对应的语义实体不限于上述描述,具体以概念视图中显示的何种语义实体作为与第一对话数据相关或对应的语义实体取决于对话系统中的有关于概念视图中的语义实体与对话视图中的对话数据之间的对应关系的具体设计,本申请实施例不做限制。
S713,终端设备在目标对话用户界面的概念视图中突出显示第三语义实体。
这里,终端设备在目标对话用户界面的概念视图中突出显示第三语义实体可以是指以区别于目标对话用户界面中的概念视图中显示的其他语义实体的方式在目标对话用户界面的概念视图中显示该第三语义实体,该其他语义实体是指目标对话用户界面中的概念视图中显示的除去该第三语义实体以外的语义实体。
终端设备在目标对话用户界面的概念视图中突出显示第三语义实体的具体方式,可参考前述4D实施例的有关描述,此处不再赘述。
示例性地,终端设备在目标对话用户界面的概念视图中突出显示第三语义实体时的目标对话用户界面可以如图4D中的D2所示。
图4D实施例对应的另一种对话交互方法的流程示意图可以如图7B所示,该流程可适用于由终端设备和网络设备组成的对话系统,具体包括如下步骤:
S721,终端设备检测到作用于第一对话数据的第一操作。
这里,步骤S721的相关描述可参考步骤S711,此处不再赘述。
S722,终端设备向网络设备发送语义实体确认请求,语义实体确认请求用于请求获取待突出显示的语义实体,语义实体确认请求包括第一对话数据,网络设备接收语义实体确认请求。
S723,网络设备根据第一对话数据确定第三语义实体。
这里,有关于第三语义实体以及网络设备根据第一对话数据确定第三语义实体的具体实现方式,可参考步骤S712的描述,此处不再赘述。
S724,网络设备将第三语义实体发送给终端设备,终端设备接收第三语义实体。
S725,终端设备在目标对话用户界面的概念视图中突出显示第三语义实体。
这里,步骤S725的相关描述,可参考步骤S715,此处不再赘述。
结合图4D,以及,图7A-图7B对应的任一方法实施例可知,在进行了一轮或多轮对话后,目标对话用户界面中已经显示有对话数据和知识图谱子图,当对话视图中的对话数据被选中时,终端设备会在目标对话用户界面的概念视图中突出显示与该对话数据相关的语义实体,实现了对话视图与概念视图之间的协同交互,有助于帮助用户定位到具体的语义实体,提升了用户体验。
2、图4E实施例对应的对话交互方法的实现流程。
图4E实施例对应的一种对话交互方法的流程示意图可以如图8A所示,该流程可适用于仅由终端设备组成的对话系统,具体包括如下步骤:
S811,终端设备检测到作用于第四语义实体的第二操作。
第四语义实体为目标对话用户界面中的概念视图中显示的语义实体。示例性地,第四语义实体例如可以为图4E所示的语义实体“巴塞罗那”。
作用于第四语义实体的第二操作具体是指选中第四语义实体的操作,第二操作可以有多种形式。例如,第二操作可以是在概念视图中点击该第四语义实体的操作,第二操作也可以是在概念视图中双击第四语义实体的操作,第二操作还可以是在概念视图中以第四语义实体为中心画圈的操作,第二操作还可以是在概念视图中拖拽该第四语义实体的操作,第二操作还可以是是语音控制第四语义实体的操作(即用户说出查看第四语义实体的语音指令),等等,不限于这里的描述。对于第二操作具体是何种形式,本申请实施例不做限制。
S812,终端设备根据第四语义实体确定第二对话数据。
这里,第二对话数据为与第四语义实体相关或对应的历史对话数据。历史对话数据是指已经在对话系统中产生的目标对话的对话数据。这里的历史对话数据为目标对话对应的本次对话的历史对话数据,其具体是指该已经进行的一轮或多轮对话的对话数据。
在一种可行的实施方式中,与第四语义实体相关或对应的历史对话数据可以为存在该第二语义实体的历史对话数据,即第四语义实体存在于第二对话数据中。终端设备可以在已经进行的一轮或多轮对话的对话数据中查找存在第四语义实体的对话数据,将其确定为第二对话数据。具体实现中,终端设备可以已经进行的一轮或多轮对话的对话数据对应的文本数据与第四语义实体进行比较,从而确定存在第二语义实体的历史对话数据。
在另一种可行的实施方式中,与第四语义实体相关或对应的历史对话数据也可以为存在与第四语义实体相关联的语义实体的历史对话数据,即与第四语义实体相关联的语义实体存在于第二对话数据中,关于与第四语义实体相关联的语义实体的概念,可参考前述对与第一语义实体相关联的第二语义实体的描述。终端设备可以在已经进行的一轮或多轮对话的对话数据中查找存在与第四语义实体相关联的语义实体的对话数据,将其确定为第二对话数据。
在又一种可行的实施方式中,与第四语义实体相关或对应的历史对话数据还可以为话题标签与第四语义实体对应的话题标签的相似度高于关联度阈值的历史对话数据,即第二对话数据对应的话题标签与第二语义实体对应的话题标签的相似度高于关联度阈值。终端设备可以确定第二语义实体的话题标签,和各历史对话数据对应的话题标签,然后将各历史对话数据的话题标签与第二语义实体的话题标签进行相似度匹配,以确定话题标签与第二语义实体对应的话题标签的相似度高于关联度阈值的历史对话数据,进而将话题标签与第二语义实体对应的话题标签的相似度高于关联度阈值的历史对话数据确定为第二对话数据。关于确定第二语义实体的话题标签和各历史对话数据对应的话题标签的具体实现方式,可参考前述步骤S712中确定第一对话数据对应的话题标签和对话视图中显示的知识图谱子图中的各个语义实体对应的话题标签的方式,此处不再赘述。
与第四语义实体相关或对应的历史对话数据不限于上述描述,具体以何种历史对话数据作为与第四语义实体相关或对应的对话取决于对话系统中的有关于概念视图中的语义实体与对话视图中的对话数据之间的对应关系的具体设计,本申请实施例不做限制。
S813,终端设备在目标对话用户界面的对话视图中显示第二对话数据。
示例性地,终端设备在目标对话用户界面的对话视图中显示第二对话数据时的目标对话用户界面可以如图4E中的E2所示。
图4E实施例对应的另一种对话交互方法的流程示意图如图8B所示,该流程可适用于由终端设备和网络设备组成的对话系统,具体包括如下步骤:
S821,终端设备检测到作用于第四语义实体的第二操作。
这里,步骤S821的相关描述可参考步骤S811,此处不再赘述。
S822,终端设备将第四语义实体发送给网络设备,网络设备接收第四语义实体。
S823,网络设备根据第四语义实体确定第二对话数据。
这里,有关于第二对话数据的描述以及网络设备根据第四语义实体确定第二对话数据 的具体实现方式,可参考步骤S812的描述,此处不再赘述。
S824,网络设备将第二对话数据发送给终端设备,终端设备接收第二对话数据。
S825,终端设备在目标对话用户界面的对话视图中显示第二对话数据。
示例性地,终端设备在目标对话用户界面的对话视图中显示第二对话数据时的目标对话用户界面可以如图4E中的E2所示。
结合图4E,以及,图8A-图8B对应的任一方法实施例可知,在进行了一轮或多轮对话后,目标对话用户界面中已经显示有对话数据和知识图谱子图,当概念视图中的语义实体被选中时,终端设备会显示与该语义实体相关的对话数据,实现了对话视图与概念视图之间的系统交互,有助于帮助用户定位历史对话内容,提升了用户体验。
3、图4F实施例对应的对话交互方法的实现流程。
图4F实施例对应的一种对话交互方法的流程示意图可以如图9A所示,该流程可适用于仅由终端设备组成的对话系统,具体包括如下步骤:
S911,终端设备检测到作用于第四语义实体的第二操作。
这里,步骤S911的相关描述可参考步骤S811,此处不再赘述。
S912,终端设备根据第二语义实体确定第二对话数据。
这里,有关于第二对话数据的描述,可参考步骤S812的描述,此处不再赘述。产生时间最晚的第二对话数据是指与第二语义实体的话题关联度高于关联度阈值的历史对话数据中最新的历史对话数据。该产生时间最晚的第二对话数据可以为一个,也可以为多个。
具体实现中,终端设备可以根据步骤S812描述的方式确定第二对话数据。
S913,终端设备在目标对话用户界面的概念视图中显示第二对话数据的摘要信息。
这里,第二对话数据的摘要信息为对第二对话数据的内容概括或内容总结,其用于简明扼要地描述第二对话数据,反映第二对话数据的主要内容。
具体实现中,终端设备可以识别第二对话数据的主要内容,以确定第二对话数据的摘要信息。其中,识别第二对话数据的主要内容的方法,本申请不做限制。例如,可通过预先训练得到的摘要信息提取模型识别第二对话数据的主要内容。
示例性地,终端设备在目标对话用户界面的概念视图中显示第二对话数据的摘要信息时的目标对话用户界面可以如图4F中的F2所示。
进一步地,终端设备可以在目标对话用户界面的概念视图中显示产生时间最晚的第二对话数据的摘要信息。
图4F实施例对应的另一种对话交互方法的流程示意图如图9B所示,该流程可适用于由终端设备和网络设备组成的对话系统,具体包括如下步骤:
S921,终端设备检测到作用于第四语义实体的第二操作。
这里,步骤S911的相关描述可参考步骤S811,此处不再赘述。
S922,终端设备将第四语义实体发送给网络设备,网络设备接收第二语义实体。
S923,网络设备根据第二语义实体确定第二对话数据。
这里,有关于第二对话数据以及网络设备根据第四语义实体确定第二对话数据的具体实现方式,可参考步骤S912的描述,此处不再赘述。
S924,网络设备将第二对话数据发送给终端设备,终端设备接收第二对话数据。
S925,终端设备在目标对话用户界面的概念视图中显示第二对话数据的摘要信息。
这里,步骤S925的相关描述可参考步骤S913,此处不再赘述。
结合图4F,以及,图9A-图9B对应的任一方法实施例可知,在进行了一轮或多轮对话后,目标对话用户界面中已经显示有对话数据和知识图谱子图,当概念视图中的语义实体被选中时,终端设备会显示与该语义实体相关的对话数据的摘要信息,有助于帮助用户快速了解与语义实体相关的对话数据的主要内容。
4、图4G实施例对应的对话交互方法的实现流程。
图4G实施例对应的一种对话交互方法的流程示意图可以如图10A所示,该流程可适用于由终端设备和网络设备组成的对话系统,具体包括如下步骤:
1)触发显示功能语义实体对应的功能选项的步骤,触发显示功能语义实体对应的功能选项的步骤包括步骤S1011~S1012。
S1011,终端设备检测到作用于任务语义实体的第三操作。
这里,任务语义实体为目标对话用户界面中的概念视图中显示的语义实体,一个任务语义实体可用于触发一个或多个对话任务,任务语义实体用于指示对话系统的功能边界。具体地,任务语义实体可以为用于描述各种出行工具的语义实体,如飞机、火车、汽车等,也可以为与各种出行工具有关的语义实体,如机票、车票、船票等,用于描述各种出行工具的语义实体或与各种出行工具有关的语义实体可以用于指示对话系统具备的与出行有关的对话任务,如预订机票/车票/船票,取消机票/车票/船票等。任务语义实体也可以为用于描述某种预期发生的事务的语义实体,如旅行、会议、餐饮等,也可以为与该预期发生的事务相关的语义实体,如酒店、会议室、各种旅游景点或餐饮店的名称等,用于描述某种预期发生的事务的语义实体或与该预期发生的事务相关的语义实体可以用于指示对话系统具备的“计划”类对话任务,如预订酒店、预订会议室、预订门票、导航、预订酒店包间等。任务语义实体不限于这里的描述,具体哪些语义实体可以用作任务语义实体,以对话系统中的一个或多个对话任务,本申请不做限制。
作用于任务语义实体的第三操作具体是指选中功能语义实体的操作。第三操作可以有多种形式。第三操作的具体形式可以参考参考作用于第二语义实体的第二操作的形式,此处不再赘述。对于第三操作具体是何种形式,本申请实施例不做限制。
S1012,终端设备在目标对话用户界面的概念视图中显示任务语义实体对应的关键信息。
任务语义实体对应的关键信息是指该任务语义实体对应的对话任务的各个槽位和槽位上的取值。其中,槽位是指对话任务对应的各种核心信息(如时间、地理位置)等,槽位上的取值为该核心信息的具体内容。例如,任务语义实体对应的对话任务为订机票,那么订机票这一对话任务的槽位可包括“航空公司”、“起飞时间”、“座位号”、“登机口”等核心信息,槽位上的取值可可包括航空公司的具体内容,起飞时间的具体内容、座位号的具体内容以及登机口的具体内容,等等。
示例性地,终端设备在目标对话用户界面的概念视图中显示任务语义实体对应的关键信息时的目标对话用户界面可以如图4G中的G2所示。
可选地,在触发显示任务语义实体对应的关键信息之后,还可以触发该任务语义实体 对应的对话任务。
2)触发功能语义实体对应的对话任务的步骤,触发功能语义实体对应的系统功能的步骤包括步骤S1013~S1015。
S1013,终端设备检测到作用于任务语义实体对应的关键信息的第四操作,并获取针对任务语义实体的关键信息的用户意图。
作用于关键信息的第四操作是指选中任务语义实体对应的关键信息的操作。第四操作可以有多种形式。第四操作的具体形式可以参考参考作用于第二语义实体的第二操作的形式,此处不再赘述。对于第三操作具体是何种形式,本申请实施例不做限制。
在一种可能的实现方式中,可以通过在检测到第四操作之后获取用户输入的对话数据以获取针对该关键信息的用户意图,其中,该用户输入的对话数据可以为用户输入的语音数据,也可以为用户输入的文本数据。例如,图4G所示的点击操作即为第四操作,通过获取对话数据“我想订国航”即获取到针对关键信息的用户意图。
在另一种可能的实现方式中,也可以根据第四操作获取针对该关键信息的用户意图。例如,该第四操作为语音控制的操作(即用户说出与关键信息有关的语音指令),则可以获取该语音操作的操作对应的语音内容,以获取针对该关键信息的用户意图。
S1014,终端设备向网络设备发送对话任务执行请求,对话任务执行请求用于请求网络设备执行符合用户意图的对话任务。
具体地,终端设备可以将该针对任务语义实体的关键信息的用户意图所对应的对话数据发送给网络设备。
例如,该用户意图为“将会议时间从上午九点改为上午十点”,那么根据该用户意图确定的符合用户意图的对话任务为“修改会议时间”,对话任务的具体内容为“修改会议时间为上午十点”。
S1015,网络设备执行符合用户意图的对话任务。
具体地,网络设备根据该针对任务语义实体的关键信息的用户意图所对应的对话数据执行符合用户意图的对话任务。
可选地,在执行符合用户意图的对话任务后,终端设备还可以更新任务语义实体对应的关键信息。
3)更新任务语义实体对应的关键信息的步骤,更新任务语义实体对应的关键信息的步骤包括S1016~S1017。
S1016,网络设备将执行符合用户意图的对话任务的结果发送给终端设备,终端设备接收执行功能语义实体对应的对话任务的结果。
S1017,终端设备根据执行符合用户意图的对话任务的结果,在目标对话用户界面的概念视图中更新任务语义实体对应的关键信息。
这里,终端设备在目标对话用户界面的概念视图中更新任务语义实体对应的关键信息,是指终端设备根据执行符合用户意图的对话任务的结果,在该任务语义实体对应的关键信息中添加该执行符合用户意图的对话任务的结果,或者,利用该符合用户意图的对话任务的结果替换与该结果相对应的原始结果。
例如,如图4G中的G3所示,原始结果为“航班号:xx1起飞时间:h1时m1分”,经 过执行符合用户意图的对话任务(即航班改签)后,得到的结果为“航班号:国航xx2起飞时间:h2时m2分”,则利用执行该符合用户意图的对话任务的结果替换与该结果相对应的原始结果,即利用“航班号:国航xxx起飞时间:h2时m2分”替换“航班号:xx1起飞时间:h1时m1分”,替换后的目标对话用户界面如图4G中的G4所示。
图4G实施例对应的另一种对话交互方法的流程示意图如图10B所示,该流程可适用于仅由终端设备组成的对话系统,具体包括如下步骤:
S1021,终端设备检测到作用于任务语义实体的第三操作。
S1022,终端设备在目标对话用户界面的概念视图中显示任务语义实体对应的关键信息。
S1023,终端设备检测到作用于任务语义实体对应的关键信息的第四操作,并获取针对任务语义实体的关键信息的用户意图。
这里,步骤S1021~S1023的相关描述可参考步骤S1011~S1013,此处不再赘述。
S1024,终端设备执行符合用户意图的对话任务。
这里,有关于符合用户意图的对话任务的具体描述,以及,终端设备执行符合用户意图的对话任务的具体实现方式,可参考步骤S1014~S1015的描述,此处不再赘述。
S1025,终端设备根据执行符合用户意图的对话任务的结果,在目标对话用户界面的概念视图中更新任务语义实体对应的关键信息。
这里,终端设备根据执行功能语义实体对应的对话任务的结果,在目标对话用户界面的概念视图中更新任务语义实体对应的关键信息的具体实现方式,可参考步骤S1017的描述,此处不再赘述。
结合图4G,以及,图10A-图10B对应的任一方法实施例可知,概念视图中显示的知识图谱子图除了包括对话视图中的对话数据中存在的语义实体外,还包括了用于触发对话任务的任务语义实体,这些任务语义实体起到了指示对话系统的功能边界的作用,使得用户可以根据这些任务语义实体获知对话系统具备的功能。
三、用于实现其他功能的对话交互方法的实现流程,这些流程可应用于目标对话用户界面中已经显示有对话数据和知识图谱子图的场景中,即已经进行了一轮或多轮对话的场景中。终端设备上实现的其他功能的图形用户界面实施例可参见图4C和图4H实施例。
1、用于实现对话系统发起对话数据的对话交互方法的流程。对话系统发起对话数据时终端设备上显示的图形用户界面实施例可参见图4H实施例。
图4H实施例对应的一种对话交互方法的示意图可以如图11A所示,该流程可适用于由网络设备和终端设备组成的基于人机交互的对话系统,具体包括如下步骤:
S1111,网络设备检测到在知识图谱中存在语义关系的第五语义实体和第六语义实体,第五语义实体存在于历史对话数据中,第六语义实体不存在于历史对话数据中。
历史对话数据是指已经在对话系统中产生的目标对话的对话数据。这里的历史对话数据可以是指目标对话对应的本次对话的历史对话数据,关于一次对话的定义和说明,可参考前述描述,此处不再赘述。这里的历史对话数据也可以是目标对话对应的所有历史对话数据(即本次对话的历史对话数据和产生于本次对话之前的历史对话数据)。
这里,在知识图谱中存在语义关系的第五语义实体和第六语义实体可以有如下情况:
第一种情况,在历史对话数据中存在一个语义实体,该语义实体与另一个不存在于历史对话数据中的语义实体存在语义关系,那么,该语义实体可称为第五语义实体,该另一个不存在于历史对话数据中的语义实体可称为第五语义实体。
第二种情况,在历史对话数据中存在至少两个语义实体,该至少两个语义实体与历史对话数据中的同一个语义实体存在语义关系,并且,该至少两个语义实体与另一个不存在于历史对话数据中的语义实体,那么,该至少两个语义实体可称为第五语义实体,该另一个不存在于历史对话数据中的语义实体可称为第六语义实体。
举例来对上述两种情况的第五语义实体和第六语义实体进行说明。参见图4C中的C2,历史对话数据为“97-98赛季NBA的MVP是谁?”和“是迈克尔乔丹”,存在于历史对话数据中的语义实体为“NBA”、“MVP”、“迈克尔乔丹”。
根据上述第一种情况的定义,语义实体“NBA”与语义实体“篮球”、“迈克尔乔丹”存在语义关系,语义实体“篮球”不存在于历史对话数据中,则语义实体“NBA”为第五语义实体,语义实体“篮球”为与语义实体“NBA”存在语义关系的第六语义实体;语义实体“MVP”与语义实体“詹姆斯哈登”、“迈克尔乔丹”、“梅西”、“西甲”存在语义关系,语义实体“詹姆斯哈登”、“梅西”、“西甲”不存在于历史对话数据中,则语义实体“MVP”为第五语义实体,语义实体“詹姆斯哈登”、“梅西”、“西甲”为与语义实体“MVP”存在语义关系的第六语义实体。
根据上述第二种情况的定义,语义实体“NBA”与“迈克尔乔丹”均与“MVP”存在语义关系,假设在知识图谱中,语义实体“NBA”与“迈克尔乔丹”还与语义实体“比尔卡赖特”存在语义关系,则语义实体“NBA”和“迈克尔乔丹”为第五语义实体,语义实体“比尔卡赖特”为与语义实体“NBA”和“迈克尔乔丹”存在语义关系的第六语义实体。
不限于上述情况,在知识图谱中存在语义关系的第五语义实体和第六语义实体还可以为其他情况,本申请实施例不做限制。
S1112,网络设备根据第五语义实体、第六语义实体以及第五语义实体与第六语义实体之间的语义关系,生成第三对话数据。
具体地,网络设备可以将第五语义实体、第六语义实体以及第五语义实体与第六语义实体之间的语义关系输入预先训练得到的Encoder-Decoder模型中,将Encoder-Decoder模型输出的数据确定为第三对话数据。第三对话数据为对话系统主动发起的对话数据。
S1113,网络设备将第三对话数据发送给终端设备,终端设备接收第三对话数据。
S1114,终端设备在目标对话用户界面的对话视图中显示第三对话数据。
示例性地,终端设备在目标对话用户界面的对话视图中显示第三对话数据可参考图4C中的C2,其中,对话数据“哈登和乔丹都效力于芝加哥公牛队”为第三对话数据。
图4H实施例对应的另一种对话交互方法的示意图可以如图11B所示,该流程可适用于仅由终端设备组成的基于人机交互的对话系统,具体包括如下步骤:
S1121,终端设备在知识图谱中检测到存在语义关系的第五语义实体和第六语义实体,第五语义实体存在于历史对话数据中,第六语义实体不存在于历史对话数据中。
这里,有关于第五语义实体、第六语义实体以及历史对话数据的定义和说明,可参考步骤S1111的有关描述,此处不再赘述。
S1122,终端设备根据第五语义实体、第六语义实体以及第五语义实体与第六语义实体 之间的语义关系,生成第三对话数据。
这里,步骤S1122的具体实现方式,可参考步骤S1112的具体实现方式,此处不再赘述。
S1123,终端设备在目标对话用户界面的对话视图中显示第三对话数据。
结合图4C,以及,图11A-图11B对应的任一方法实施例可知,基于人机交互的对话系统还可以根据历史对话数据中各个概念之间的关联关系,主动发起对话数据,对话系统主动发起的第三对话数据起到了引导话题的作用,使得对话内容更加丰富。
2、用于实现删除语义实体的对话交互方法的实现流程。
删除语义实体的一种对话交互方法的流程可以如图12A所示,该流程可适用于由网络设备和终端设备组成的对话系统,具体包括如下步骤:
S1211,网络设备生成目标对话对应的知识图谱子图。
S1212,网络设备将目标对话对应的知识图谱子图发送给终端设备,终端设备接收目标对话对应的知识图谱子图。
这里,步骤S1211~S1212的具体实现方式可参考前述步骤S611~S615或步骤S631~S634或步骤S641~S643的描述,此处不再赘述。
S1213,在目标对话对应的知识图谱子图中的语义实体的数量大于第一数量的情况下,终端设备在目标对话对应的知识图谱子图中一个或多个语义实体。
这里,第一数量可以为终端设备上显示的概念视图中能够显示的语义实体的最大数量,第一数量的数值与终端设备上显示的概念视图的尺寸有关,其中,终端设备上显示的概念视图的尺寸越大,第一数量的数值则越大。
本申请实施例中,在目标对话对应的知识图谱子图中删除语义实体的过程中,终端设备可以删除目标对话对应的知识图谱子图中的以下一种或多种语义实体:
a1、未出现在历史对话数据中的语义实体,其中,历史对话数据可以是指本次对话的历史对话数据,也可以是指已经产生在对话系统中的目标对话对应的所有历史对话数据。未出现在历史对话数据中的语义实体是指这些语义实体未存在于历史对话数据中,也即历史对话数据中未涉及的语义实体。
a2、在目标对话对应的知识图谱子图中与第七语义实体的语义关系路径距离大于第二距离阈值的语义实体,第七语义实体为对话视图中显示的最新的对话数据中存在的语义实体,该对话视图中显示的最新的对话数据为目标对话对应的在对话系统中产生时间最晚的一个或多个对话数据。其中,有关于语义关系路径距离的相关定义,可参考前述步骤S614的有关描述,此处不再赘述。
a3、在对话过程中使用频率最低的一个或多个目标对话对应的知识图谱子图中的语义实体,关于对话过程中的使用频率的定义和说明,可参考前述步骤S614的有关描述,此处不再赘述。
不限于上述情况,对于在目标对话对应的知识图谱子图中删除语义实体的过程中,终端设备具体删除目标对话对应的知识图谱子图中的哪些语义实体,本申请实施例不做限制。
S1214,终端设备在目标对话用户界面的概念视图中显示删除语义实体后的目标对话对应的知识图谱子图。
示例性地,终端设备在目标对话用户界面的概念视图中显示删除语义实体后的目标对话对应的知识图谱子图时的目标对话用户界面可以如图4C中的C4所示。
删除概念视图中显示的语义实体的另一种对话交互方法的流程可以如图12B所示,该方法可适用于由网络设备和终端设备组成的对话系统,具体包括如下步骤:
S1221,网络设备生成目标对话对应的知识图谱子图。
这里,步骤S1221的具体实现方式可参考前述步骤S611~S614或步骤S631~S634或步骤S641~S642的描述,此处不再赘述。
S1222,在目标对话对应的知识图谱子图中的语义实体的数量大于第一数量的情况下,网络设备目标对话对应的知识图谱子图中删除一个或多个语义实体。
这里,在目标对话对应的知识图谱子图中删除语义实体的过程中,网络设备可以删除的目标对话对应的知识图谱子图中的语义实体可参考步骤S1213的描述,此处不再赘述。
S1223,网络设备将删除语义实体后的目标对话对应的知识图谱子图发送给终端设备,终端设备接收删除语义实体后的目标对话对应的知识图谱子图。
S1224,终端设备在目标对话用户界面的概念视图中显示删除语义实体后的目标对话对应的知识图谱子图。
示例性地,终端设备在目标对话用户界面的概念视图中显示删除语义实体后的目标对话对应的知识图谱子图时的目标对话用户界面可以如图4C中的C4所示。
删除概念视图中显示的语义实体的又一种对话交互方法的流程可以如图11C所示,该流程可适用于仅由终端设备组成的对话系统,具体包括如下步骤:
S1231,终端设备生成目标对话对应的知识图谱子图。
这里,步骤S1231的具体实现方式可参考前述步骤S621~S623或步骤S651~S652的描述,此处不再赘述。
S1232,在目标对话对应的知识图谱子图中的语义实体的数量大于第一数量的情况下,终端设备在目标对话对应的知识图谱子图中删除一个或多个语义实体。
S1233,终端设备在目标对话用户界面的概念视图中显示删除语义实体后的目标对话对应的知识图谱子图。
这里,步骤S1232~S1233的具体实现方式,可参考前述步骤S1213~S1214的描述,此处不再赘述。
结合图4C,以及,图12A-图12C对应的任一方法实施例可知,当目标对话对应的知识图谱子图中的语义实体的数量过多时,通过删除目标对话对应的知识图谱子图中的语义实体,实现了对语义实体的动态删除,保持了目标对话视图界面的简洁。
3、用于实现调整语义实体在概念视图中展示方式的对话交互方法的流程。
调整语义实体在概念视图中的展示方式的一种对话交互方法的流程可以如图13A所示,该流程可适用于由网络设备和终端设备组成的对话系统,具体包括如下步骤:
S1311,网络设备生成目标对话对应的知识图谱子图。
S1312,网络设备将目标对话对应的知识图谱子图发送给终端设备,终端设备接收目标对话对应的知识图谱子图。
这里,步骤S1311~S1312的具体实现方式可参考前述步骤S611~S615或步骤S631~S634 或步骤S641~S643的描述,此处不再赘述。
S1313,在目标对话对应的知识图谱子图中的语义实体的数量大于第二数量的情况下,终端设备在目标对话用户界面的概念视图中以密集紧凑的方式显示目标对话对应的知识图谱子图中的语义实体。
这里,第二数量小于步骤S1213中的第一数量。在目标对话用户界面的概念视图中以密集紧凑的方式显示目标对话对应的知识图谱子图中的语义实体具体是指,通过改变语义实体在概念视图中占据的区域的尺寸、语义实体在概念视图中占据的区域的位置、两个语义实体在概念视图中的距离中的一种或多种方式,使得更多的语义实体能够得以完全显示在目标对话用户界面的概念视图中。
示例性地,在目标对话用户界面的概念视图中以密集紧凑的方式显示目标对话对应的知识图谱子图中的语义实体可以是如图4C中的C3或C4所示的以平行铺设的方式显示目标对话对应的知识图谱子图。
调整语义实体在概念视图中的展示方式的一种对话交互方法的流程可以如图13B所示,该流程可适用于仅由终端设备组成的对话系统,具体包括如下步骤:
S1321,终端设备生成目标对话对应的知识图谱子图。
这里,步骤S1331的具体实现方式可参考前述步骤S621~S623或步骤S651~S652的描述,此处不再赘述。
S1322,在目标对话对应的知识图谱子图中的语义实体的数量大于第二数量的情况下,终端设备在目标对话用户界面的概念视图中以密集紧凑的方式显示目标对话对应的知识图谱子图中的语义实体。
这里,步骤S1322的具体实现方式,可参考步骤S1313的描述,此处不再赘述。
结合图4C,以及图13A-图13B对应的任一方法实施例可知,当目标对话对应的知识图谱子图中的语义实体的数量较多时,通过在目标对话用户界面的概念视图中以密集紧凑的方式显示目标对话对应的知识图谱子图中的语义实体,保证了概念视图的可视化效果。
上述详细描述了本申请的方法,为了更好地实施本申请的方法,下面还提供了本申请的其他装置。
参见图14,图14是本申请实施例提供的一种网络设备的结构框图,如图所示,该网络设1400可包括处理器1401、存储器1402以及通信接口1403和任意其他类似或合适的部件,这些部件可在一个或多个通信总线上通信,该总线可以为内存总线、外设总线,等等。
处理器1401可以是通用处理器,例如中央处理器(central processing unit,CPU),处理器302还可包括硬件芯片,上述硬件芯片可以是以下一种或多种的组合:专用集成电路(application specific integrated circuit,ASIC)、现场可编程逻辑门阵列(field programmable gate array,FPGA),复杂可编程逻辑器件(complex programmable logic device,CPLD)。处理器1401可处理通信接口1403接收到的数据,处理器1401还可处理将被发送到通信接口1403以通过有线传输介质传送的数据。
本申请实施例中,处理器1401可用于读取和执行计算机可读指令。具体的,处理器1401可用于调用存储于存储器1402中的程序,例如本申请的一个或多个实施例提供的对 话交互方法在网络设备侧的实现程序,并执行该程序包含的指令。
存储器1402与处理器1401耦合,用于存储各种软件程序和/或多组指令。具体实现中,存储器1402可包括高速随机存取的存储器,并且也可包括非易失性存储器,例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。存储器1402中内置有操作系统,例如Linux、Windows等操作系统。存储器1402还可以内置网络通信程序,该网络通信程序可用于与其他设备进行通信。
在本申请的一些实施例中,存储器1402可用于存储本申请的一个或多个实施例提供的对话交互方法在网络设备侧的实现程序。关于本申请提供的对话交互方法的实现,请参考前述方法实施例。
通信接口1403可用于网络设备300与其他设备通信,例如终端设备等。通信接口1403可包括有线通信接口。例如可以为以太网接口、光纤接口等。可选地,通信接口1403还可以包括无线通信接口。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机指令可以存储在计算机可读存储介质中,或者通过所述计算机可读存储介质进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务、数据中心等数据存储设备。所述可用介质可以是半导体介质(例如SSD)等。
本领域普通技术人员可以意识到,结合本申请中所公开的实施例描述的各示例的模块及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
需说明,本申请实施例所涉及的第一、第二、第三以及各种数字编号仅为描述方便进行的区分,并不用来限制本申请实施例的范围。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (30)

  1. 一种对话交互方法,其特征在于,包括:
    终端设备在目标对话用户界面的第一区域中显示对话视图,并在所述目标对话用户界面的第二区域中显示概念视图,所述目标对话用户界面为目标对话对应的图形用户界面,所述对话视图用于显示所述目标对话的对话数据,所述概念视图用于显示目标对话对应的知识图谱子图,所述知识图谱子图包括多个语义实体,以及,所述多个语义实体中的各个语义实体相互之间的语义关系,所述多个语义实体包括第一语义实体,所述第一语义实体为所述对话数据中存在的语义实体。
  2. 根据权利要求1所述的方法,其特征在于,所述多个语义实体还包括与所述第一语义实体相关联的一个或多个第二语义实体。
  3. 根据权利要求2所述的方法,其特征在于,所述第二语义实体包括在知识图谱中与所述第一语义实体相邻的语义实体或在所述知识图谱中与所述第一语义实体的路径距离小于第一距离阈值的语义实体。
  4. 根据权利要求1-3任一项所述的方法,其特征在于,所述方法还包括:
    在获取到新的对话数据的情况下,所述终端设备更新所述概念视图,更新后的所述概念视图用于显示根据所述新的对话数据更新的知识图谱子图,更新后的知识图谱子图包括所述新的对话数据中存在的语义实体,或,所述新的对话数据中存在的语义实体以及与所述新的对话数据中存在的语义实体相关联的语义实体。
  5. 根据权利要求1-4任一项所述的方法,其特征在于,所述方法还包括:
    在所述知识图谱子图中的语义实体的数量大于第一数量的情况下,所述终端设备在所述知识图谱子图中删除一个或多个语义实体。
  6. 根据权利要求1-5任一项所述的方法,其特征在于,所述方法还包括:
    在检测到作用于所述对话视图中显示的第一对话数据的第一操作的情况下,所述终端设备响应于所述第一操作,在所述概念视图中突出显示第三语义实体,所述第三语义实体包括所述第一对话数据中存在的语义实体,和/或,与所述第一对话数据中存在的语义实体相关联的语义实体。
  7. 根据权利要求1-6任一项所述的方法,其特征在于,所述方法还包括:
    在检测到作用于所述概念视图中显示的第四语义实体的第二操作的情况下,所述终端设备响应于所述第二操作,在所述对话视图中显示第二对话数据,所述第四语义实体为所述第二对话数据中存在的语义实体,或,与所述第二对话数据中存在的语义实体相关联的语义实体。
  8. 根据权利要求1-7任一项所述的方法,其特征在于,所述方法还包括:
    在检测到作用于所述概念视图中显示的第四语义实体的第二操作的情况下,所述终端设备响应于所述第二操作,在所述概念视图中显示第二对话数据的摘要信息,所述第四语义实体为所述第二对话数据中存在的语义实体,或,与所述第二对话数据中存在的语义实体相关联的语义实体。
  9. 根据权利要求1-8任一项所述的方法,其特征在于,所述方法还包括:
    在检测到作用于所述概念视图中显示的任务语义实体的第三操作的情况下,所述终端设备响应于所述第三操作,在所述概念视图显示所述任务语义实体对应的关键信息。
  10. 根据权利要求9所述的方法,其特征在于,所述终端设备响应于所述第三操作,在所述概念视图显示所述任务语义实体对应的关键信息之后,还包括:
    在检测到作用于所述关键信息的第四操作并获取到针对所述关键信息的用户意图的情况下,所述终端设备响应于所述第四操作,触发执行符合所述用户意图的对话任务。
  11. 根据权利要求10所述的方法,其特征在于,所述终端设备响应于所述第四操作,触发执行符合所述用户意图的对话任务之后,还包括:
    所述终端设备根据执行所述符合所述用户意图的对话任务得到的结果,在所述概念视图中更新所述关键信息。
  12. 根据权利要求1-11任一项所述的方法,其特征在于,所述方法还包括:
    当识别到与历史对话数据中的语义实体在知识图谱中存在语义关系的新的语义实体,并且,所述新的语义实体不存在于所述历史对话数据中,所述终端设备根据所述历史对话数据中的语义实体和所述新的语义实体发起对话。
  13. 一种对话交互方法,其特征在于,包括:
    网络设备根据目标对话的对话数据生成目标对话对应的知识图谱子图,所述知识图谱子图包括多个语义实体,以及,所述多个语义实体中的各个语义实体相互之间的语义关系,所述多个语义实体包括第一语义实体,所述第一语义实体为所述对话数据中存在的语义实体;
    所述网络设备将所述知识图谱子图发送给终端设备,所述知识图谱子图被所述终端设备用于在目标对话用户界面的第一区域中显示对话视图,并在所述目标对话用户界面的第二区域中显示概念视图,所述对话视图用于显示所述对话数据,所述概念视图用于显示所述知识图谱子图,所述目标对话用户界面为目标对话对应的图形用户界面。
  14. 根据权利要求13所述的方法,其特征在于,所述方法还包括:
    所述网络设备根据新的对话数据更新所述目标对话对应的知识图谱子图,并将更新后的知识图谱子图发送给所述终端设备,所述更新后的知识图谱子图被所述终端设备用于更新所述概念视图,所述更新后的知识图谱子图包括所述新的对话数据中存在的语义实体,或,所述新的对话数据中存在的语义实体以及与所述新的对话数据中存在的语义实体相关联的语义实体。
  15. 一种终端设备上的图形用户界面,所述终端设备具有显示屏、存储器以及一个或多 个处理器,所述一个或多个处理器用于执行存储在所述存储器中的一个或多个计算机程序,其特征在于,所述图形用户界面为目标对话对应的图形用户界面,所述图形用户界面包括:
    在所述图形用户界面的第一区域中显示对话视图,并在所述图形用户界面的第二区域中显示概念视图,所述对话视图用于显示所述目标对话的对话数据,所述概念视图用于显示目标对话对应的知识图谱子图,所述知识图谱子图包括多个语义实体,以及,所述多个语义实体中的各个语义实体相互之间的语义关系,所述多个语义实体包括第一语义实体,所述第一语义实体为所述对话数据中存在的语义实体。
  16. 根据权利要求15所述的图形用户界面,其特征在于,所述多个语义实体还包括与所述第一语义实体相关联的一个或多个第二语义实体。
  17. 根据权利要求16所述的图形用户界面,其特征在于,所述第二语义实体包括在知识图谱中与所述第一语义实体相邻的语义实体或在所述知识图谱中与所述第一语义实体的路径距离小于第一距离阈值的语义实体。
  18. 根据权利要求15-17任一项所述的图形用户界面,其特征在于,所述图形用户界面还包括:
    在获取到新的对话数据的情况下,在所述概念视图中更新所述概念视图,更新后的所述概念视图用于显示根据所述新的对话数据更新的知识图谱子图,更新后的知识图谱子图包括所述新的对话数据中存在的语义实体,或,所述新的对话数据中存在的语义实体以及与所述新的对话数据中存在的语义实体相关联的语义实体。
  19. 根据权利要求15-18任一项所述的图形用户界面,其特征在于,所述图形用户界面还包括:
    在所述知识图谱子图中的语义实体的数量大于第一数量的情况下,在所述更新后的知识图谱子图中删除一个或多个语义实体。
  20. 根据权利要求15-19任一项所述的图形用户界面,其特征在于,所述图形用户界面还包括:
    在检测到作用于所述对话视图中显示的第一对话数据的第一操作的情况下,响应于所述第一操作,在所述概念视图中突出显示第三语义实体,所述第三语义实体包括所述第一对话数据中存在的语义实体,和/或,与所述第一对话数据中存在的语义实体相关联的语义实体。
  21. 根据权利要求15-20任一项所述的图形用户界面,其特征在于,所述图形用户界面还包括:
    在检测到作用于所述概念视图中显示的第四语义实体的第二操作的情况下,响应于所述第二操作,在所述对话视图中显示第二对话数据,所述第四语义实体为所述第二对话数据中存在的语义实体,或,与所述第二对话数据中存在的语义实体相关联的语义实体。
  22. 根据权利要求15-21任一项所述的图形用户界面,其特征在于,所述图形用户界面还包括:
    在检测到作用于所述概念视图中显示的第四语义实体的第二操作的情况下,响应于所述第二操作,在所述概念视图中显示第二对话数据的摘要信息,所述第四语义实体为所述第二对话数据中存在的语义实体,或,与所述第二对话数据中存在的语义实体相关联的语义实体。
  23. 根据权利要求15-22任一项所述的图形用户界面,其特征在于,所述图形用户界面还包括:
    在检测到作用于所述概念视图中显示的任务语义实体的第三操作的情况下,响应于所述第三操作,在所述概念视图显示所述任务语义实体对应的关键信息。
  24. 根据权利要求23所述的图形用户界面,其特征在于,所述响应于所述第三操作,在所述概念视图显示所述任务语义实体对应的关键信息之后,还包括:
    在检测到作用于所述关键信息的第四操作并获取到针对所述关键信息的用户意图的情况下,响应于所述第四操作,触发执行符合所述用户意图的对话任务。
  25. 根据权利要求24所述的图形用户界面,其特征在于,所述响应于所述第四操作,触发执行符合所述用户意图的对话任务之后,还包括:
    根据执行所述符合所述用户意图的对话任务得到的结果,在所述概念视图中更新所述关键信息。
  26. 根据权利15-25任一项所述的图形用户界面,其特征在于,所述图形用户界面还包括:
    当识别到与历史对话数据中的语义实体在知识图谱中存在语义关系的新的语义实体,并且,所述新的语义实体不存在于所述历史对话数据中,所述终端设备根据所述历史对话数据中的语义实体和所述新的语义实体发起对话。
  27. 一种终端设备,其特征在于,包括显示屏、存储器以及一个或多个处理器,所述一个或多个处理器用于执行存储在所述存储器中的一个或多个计算机程序,其中,所述一个或多个程序被存储在所述存储器中;所述一个或多个处理器在执行所述一个或多个程序时,使得所述终端设备实现如权利要求1-12任一项所述的方法。
  28. 一种网络设备,其特征在于,其特征在于,包括存储器以及一个或多个处理器,所述一个或多个处理器用于执行存储在所述存储器中的一个或多个计算机程序,其中,所述一个或多个程序被存储在所述存储器中;所述一个或多个处理器在执行所述一个或多个程序时,使得所述网络设备实现如权利要求13或14所述的方法。
  29. 一种计算机可读存储介质,包括指令,其特征在于,当所述指令在终端设备上运行时,使得所述终端设备执行如权利要求1-12中任一项所述的方法。
  30. 一种计算机可读存储介质,包括指令,其特征在于,当所述指令在网络设备上运行时,使得所述网络设备执行如权利要求13所述的方法。
PCT/CN2020/070344 2019-03-29 2020-01-03 对话交互方法、图形用户界面、终端设备以及网络设备 WO2020199701A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP20782878.1A EP3920043A4 (en) 2019-03-29 2020-01-03 DIALOG INTERACTION METHOD, GRAPHIC USER INTERFACE, TERMINAL DEVICE AND NETWORK DEVICE
US17/486,943 US20220012432A1 (en) 2019-03-29 2021-09-28 Dialog interaction method, graphical user interface, terminal device, and network device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910256287.7A CN110046238B (zh) 2019-03-29 2019-03-29 对话交互方法、图形用户界面、终端设备以及网络设备
CN201910256287.7 2019-03-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/486,943 Continuation US20220012432A1 (en) 2019-03-29 2021-09-28 Dialog interaction method, graphical user interface, terminal device, and network device

Publications (1)

Publication Number Publication Date
WO2020199701A1 true WO2020199701A1 (zh) 2020-10-08

Family

ID=67275725

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/070344 WO2020199701A1 (zh) 2019-03-29 2020-01-03 对话交互方法、图形用户界面、终端设备以及网络设备

Country Status (4)

Country Link
US (1) US20220012432A1 (zh)
EP (1) EP3920043A4 (zh)
CN (1) CN110046238B (zh)
WO (1) WO2020199701A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112650854A (zh) * 2020-12-25 2021-04-13 平安科技(深圳)有限公司 基于多知识图谱的智能答复方法、装置及计算机设备
CN113326367A (zh) * 2021-06-30 2021-08-31 四川启睿克科技有限公司 基于端到端文本生成的任务型对话方法和系统

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110046238B (zh) * 2019-03-29 2024-03-26 华为技术有限公司 对话交互方法、图形用户界面、终端设备以及网络设备
CN110580284B (zh) * 2019-07-31 2023-08-18 平安科技(深圳)有限公司 一种实体消歧方法、装置、计算机设备及存储介质
CN112328800A (zh) * 2019-08-05 2021-02-05 上海交通大学 自动生成编程规范问题答案的系统及方法
CN111737481B (zh) * 2019-10-10 2024-03-01 北京沃东天骏信息技术有限公司 知识图谱的降噪方法、装置、设备和存储介质
CN110764671B (zh) * 2019-11-06 2022-07-12 北京字节跳动网络技术有限公司 信息展示方法、装置、电子设备和计算机可读介质
CN111177339B (zh) * 2019-12-06 2023-07-25 百度在线网络技术(北京)有限公司 对话生成方法、装置、电子设备及存储介质
CN111128184B (zh) * 2019-12-25 2022-09-02 思必驰科技股份有限公司 一种设备间的语音交互方法和装置
CN111639169A (zh) * 2020-05-29 2020-09-08 京东方科技集团股份有限公司 人机交互方法及装置、计算机可读存储介质及电子设备
CN111917708B (zh) * 2020-05-31 2023-04-18 上海纽盾科技股份有限公司 多目标协同的网络安全监控方法、客户端及系统
CN111753100A (zh) * 2020-06-30 2020-10-09 广州小鹏车联网科技有限公司 一种针对车载应用的知识图谱生成方法和服务器
CN112988994B (zh) * 2021-03-04 2023-03-21 网易(杭州)网络有限公司 对话处理方法、装置及电子设备
CN113420125B (zh) * 2021-06-25 2023-09-19 深圳索信达数据技术有限公司 基于行业类型的问答对确定方法、系统、存储介质及设备
CN116501285B (zh) * 2023-05-06 2024-01-05 祝语未来科技(北京)有限公司 基于虚拟数字形象交互的ai对话处理方法及数字化系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609189A (zh) * 2012-01-13 2012-07-25 百度在线网络技术(北京)有限公司 一种移动终端的消息的内容的处理方法及客户端
US20120304089A1 (en) * 2011-05-26 2012-11-29 International Business Machines Corporation Method for tagging elements in a user interface
CN103699576A (zh) * 2013-11-29 2014-04-02 百度在线网络技术(北京)有限公司 一种用于提供搜索结果的方法与设备
CN106933809A (zh) * 2017-03-27 2017-07-07 三角兽(北京)科技有限公司 信息处理装置及信息处理方法
CN108846030A (zh) * 2018-05-28 2018-11-20 苏州思必驰信息科技有限公司 访问官方网站的方法、系统、电子设备及存储介质
CN110046238A (zh) * 2019-03-29 2019-07-23 华为技术有限公司 对话交互方法、图形用户界面、终端设备以及网络设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2935855B1 (fr) * 2008-09-11 2010-09-17 Alcatel Lucent Procede et systeme de communication pour la determination d'une sequence de services lies a une conversation.
CN104102713B (zh) * 2014-07-16 2018-01-19 百度在线网络技术(北京)有限公司 推荐结果的展现方法和装置
US10769826B2 (en) * 2014-12-31 2020-09-08 Servicenow, Inc. Visual task board visualization
US9996532B2 (en) * 2016-06-17 2018-06-12 Microsoft Technology Licensing, Llc Systems and methods for building state specific multi-turn contextual language understanding systems
US10909441B2 (en) * 2017-06-02 2021-02-02 Microsoft Technology Licensing, Llc Modeling an action completion conversation using a knowledge graph
US11645314B2 (en) * 2017-08-17 2023-05-09 International Business Machines Corporation Interactive information retrieval using knowledge graphs
US10725982B2 (en) * 2017-11-20 2020-07-28 International Business Machines Corporation Knowledge graph node expiration
CN108000526B (zh) * 2017-11-21 2021-04-23 北京光年无限科技有限公司 用于智能机器人的对话交互方法及系统
US10845937B2 (en) * 2018-01-11 2020-11-24 International Business Machines Corporation Semantic representation and realization for conversational systems
US10825227B2 (en) * 2018-04-03 2020-11-03 Sri International Artificial intelligence for generating structured descriptions of scenes
CN109102809B (zh) * 2018-06-22 2021-06-15 北京光年无限科技有限公司 一种用于智能机器人的对话方法及系统
CN109033223B (zh) * 2018-06-29 2021-09-07 北京百度网讯科技有限公司 用于跨类型对话的方法、装置、设备以及计算机可读存储介质
US11275791B2 (en) * 2019-03-28 2022-03-15 International Business Machines Corporation Automatic construction and organization of knowledge graphs for problem diagnoses

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120304089A1 (en) * 2011-05-26 2012-11-29 International Business Machines Corporation Method for tagging elements in a user interface
CN102609189A (zh) * 2012-01-13 2012-07-25 百度在线网络技术(北京)有限公司 一种移动终端的消息的内容的处理方法及客户端
CN103699576A (zh) * 2013-11-29 2014-04-02 百度在线网络技术(北京)有限公司 一种用于提供搜索结果的方法与设备
CN106933809A (zh) * 2017-03-27 2017-07-07 三角兽(北京)科技有限公司 信息处理装置及信息处理方法
CN108846030A (zh) * 2018-05-28 2018-11-20 苏州思必驰信息科技有限公司 访问官方网站的方法、系统、电子设备及存储介质
CN110046238A (zh) * 2019-03-29 2019-07-23 华为技术有限公司 对话交互方法、图形用户界面、终端设备以及网络设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3920043A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112650854A (zh) * 2020-12-25 2021-04-13 平安科技(深圳)有限公司 基于多知识图谱的智能答复方法、装置及计算机设备
CN113326367A (zh) * 2021-06-30 2021-08-31 四川启睿克科技有限公司 基于端到端文本生成的任务型对话方法和系统
CN113326367B (zh) * 2021-06-30 2023-06-16 四川启睿克科技有限公司 基于端到端文本生成的任务型对话方法和系统

Also Published As

Publication number Publication date
US20220012432A1 (en) 2022-01-13
EP3920043A4 (en) 2022-03-30
CN110046238A (zh) 2019-07-23
CN110046238B (zh) 2024-03-26
EP3920043A1 (en) 2021-12-08

Similar Documents

Publication Publication Date Title
WO2020199701A1 (zh) 对话交互方法、图形用户界面、终端设备以及网络设备
US11099812B2 (en) Device and method for performing functions
JP6975304B2 (ja) 構造化された提案
JP7003170B2 (ja) タッチ感知デバイス上におけるインタラクティブ通知の表示
JP7037602B2 (ja) デジタルアシスタントサービスの遠距離拡張
KR102090918B1 (ko) 착신 통화를 거절하기 위한 지능형 디지털 어시스턴트
KR102104194B1 (ko) 자동화된 상태 리포트를 제공하는 디지털 어시스턴트
CN105320736B (zh) 用于提供信息的装置和方法
JP2019528492A (ja) メディア探索用のインテリジェント自動アシスタント
CN107608998A (zh) 具有数字助理的应用集成
CN107491295A (zh) 具有数字助理的应用集成
CN107491285A (zh) 智能设备仲裁和控制
CN107257950A (zh) 虚拟助理连续性
CN107195306A (zh) 识别提供凭据的语音输入
CN107949823A (zh) 零延迟数字助理
CN113190300A (zh) 分布式个人助理
CN110442319A (zh) 对语音触发进行响应的竞争设备
CN106233237B (zh) 一种处理与应用关联的新消息的方法和装置
CN107710131A (zh) 内容浏览用户界面
KR102367132B1 (ko) 디바이스 및 디바이스의 기능 수행 방법
CN118056172A (zh) 用于提供免提通知管理的数字助理
CN117170485A (zh) 基于上下文的任务执行

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20782878

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020782878

Country of ref document: EP

Effective date: 20210902

NENP Non-entry into the national phase

Ref country code: DE