WO2023095629A1 - 対話管理装置、対話管理システム及び対話管理方法 - Google Patents

対話管理装置、対話管理システム及び対話管理方法 Download PDF

Info

Publication number
WO2023095629A1
WO2023095629A1 PCT/JP2022/041906 JP2022041906W WO2023095629A1 WO 2023095629 A1 WO2023095629 A1 WO 2023095629A1 JP 2022041906 W JP2022041906 W JP 2022041906W WO 2023095629 A1 WO2023095629 A1 WO 2023095629A1
Authority
WO
WIPO (PCT)
Prior art keywords
topic
dialogue
record
digital
interface
Prior art date
Application number
PCT/JP2022/041906
Other languages
English (en)
French (fr)
Inventor
遼 曾我
英人 山本
雅彦 安井
秀行 柏瀬
実 河野
正彦 井上
大輔 福井
英美 斎藤
Original Assignee
株式会社日立ソリューションズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立ソリューションズ filed Critical 株式会社日立ソリューションズ
Publication of WO2023095629A1 publication Critical patent/WO2023095629A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Definitions

  • the present invention relates to a dialogue management device, a dialogue management system, and a dialogue management method.
  • Patent Document 1 Japanese Patent Laying-Open No. 2021-175155 (Patent Document 1) exists as one of the technologies related to the online interview system.
  • a mobile phone device smarttphone 100 having an imaging unit and a communication unit functions as an interview unit.
  • the communication unit can communicate with other devices via a telephone network and the Internet.
  • the interview unit has an interview control unit which, when the telephone number of the person to be interviewed is input, sends connection information for live distribution regarding the interview to the person to be interviewed via the communication unit and the telephone network.
  • connection information When there is a connection from the person to be interviewed via the connection information, transmission and reception of voice in live distribution regarding the interview with the person to be interviewed via the communication unit and telephone network is performed using the telephone unit of the mobile phone device.
  • An interview control unit controls transmission and reception of images in live distribution regarding an interview with an interview partner via a communication unit and the Internet.
  • Patent Document 1 the content of the call is converted to text based on the recorded data of the call in the live distribution related to the interview, and the text data obtained by this is analyzed. Disclosed is a means for determining the atmosphere of a Based on the results of this analysis, the participants can modify their facial expressions, manner of speaking, content of speech, etc. in the next interview, and conduct the interview in a better atmosphere.
  • Patent Document 1 it is not assumed that records of dialogues conducted by telephone, online conference system, etc. are organized by topic. In order to obtain a record of the dialogue progressing for each topic, it is conceivable to record the dialogue while conducting it for each topic. , Returning to the original topic from another topic, etc., the topic may be developed in various ways. For this reason, if an attempt is made to organize the contents of the dialogue using a system, it may become difficult to analyze the topics, or different topics may be mixed. As a result, there is a problem that it becomes difficult to quickly specify the part of interest when viewing the dialogue record.
  • an object of the present disclosure is to provide a dialogue management means that can quickly identify an interesting part in a dialogue record even when topics are developed in various ways.
  • a typical dialogue management device of the present invention provides a dialogue interface for conducting digital dialogue with a plurality of speakers, and obtains a dialogue record of the digital dialogue.
  • an interface unit a topic management unit that receives input of topic designation information for designating a topic in the digital dialogue during the digital dialogue, and editing the dialogue record based on the topic designation information, a dialogue editor for generating edited dialogue records organized by topic.
  • FIG. 1 is a diagram illustrating a computer system for implementing embodiments of the present disclosure.
  • FIG. 2 is a diagram illustrating an example configuration of a dialogue management system according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating an example of the flow of topic-based dialogue record generation processing according to the embodiment of the present disclosure.
  • FIG. 4 is a diagram illustrating an example of a dialog interface and a dialog recording portion for each topic according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram illustrating an example of the flow of interactive interface drawing processing according to an embodiment of the present disclosure.
  • FIG. 6 is a diagram for explaining topic shaping processing and related information shaping processing according to the embodiment of the present disclosure.
  • FIG. 7 is a diagram illustrating an example of the flow of dialogue recording timing correction processing according to the embodiment of the present disclosure.
  • FIG. 8 is a diagram illustrating an example of the flow of useful topic transition data registration processing according to the embodiment of the present disclosure.
  • a menu for selecting the current topic from candidates prepared in advance is displayed on the interface while the dialogue is being carried out, and the topic tag indicating the current topic is displayed.
  • topics are developed in various ways, it is possible to quickly identify an interesting part in the dialogue record.
  • the mechanisms and apparatus of various embodiments disclosed herein may be applied to any suitable computing system.
  • the major components of computer system 100 include one or more processors 102 , memory 104 , terminal interfaces 112 , storage interfaces 113 , I/O (input/output) device interfaces 114 , and network interfaces 115 . These components may be interconnected via memory bus 106 , I/O bus 108 , bus interface unit 109 and I/O bus interface unit 110 .
  • Computer system 100 may include one or more general-purpose programmable central processing units (CPUs) 102A and 102B, collectively referred to as processors 102. In some embodiments, computer system 100 may include multiple processors, and in other embodiments, computer system 100 may be a single CPU system. Each processor 102 executes instructions stored in memory 104 and may include an on-board cache.
  • CPUs general-purpose programmable central processing units
  • memory 104 may include random access semiconductor memory, storage devices, or storage media (either volatile or non-volatile) for storing data and programs. Memory 104 may store all or part of the programs, modules, and data structures that implement the functions described herein. For example, memory 104 may store interaction management application 150 . In some embodiments, interaction management application 150 may include instructions or descriptions that cause processor 102 to perform the functions described below.
  • interaction management application 150 may be implemented in semiconductor devices, chips, logic gates, circuits, circuit cards, and/or other physical hardware devices instead of or in addition to processor-based systems. may be implemented in hardware via In some embodiments, interaction management application 150 may include data other than instructions or descriptions. In some embodiments, a camera, sensor, or other data input device (not shown) may be provided in direct communication with bus interface unit 109, processor 102, or other hardware of computer system 100. .
  • Computer system 100 may include bus interface unit 109 that provides communication between processor 102 , memory 104 , display system 124 , and I/O bus interface unit 110 .
  • I/O bus interface unit 110 may be coupled to I/O bus 108 for transferring data to and from various I/O units.
  • I/O bus interface unit 110 connects via I/O bus 108 a plurality of I/O interface units 112, 113, 114, also known as I/O processors (IOPs) or I/O adapters (IOAs); and 115.
  • IOPs I/O processors
  • IOAs I/O adapters
  • the display system 124 may include a display controller, display memory, or both.
  • the display controller can provide video, audio, or both data to display device 126 .
  • Computer system 100 may also include devices such as one or more sensors configured to collect data and provide such data to processor 102 .
  • the computer system 100 may include a biometric sensor that collects heart rate data, stress level data, etc., an environmental sensor that collects humidity data, temperature data, pressure data, etc., and a motion sensor that collects acceleration data, motion data, etc. may include Other types of sensors can also be used.
  • the display system 124 may be connected to a display device 126 such as a single display screen, television, tablet, or handheld device.
  • the I/O interface unit has the function of communicating with various storage or I/O devices.
  • the terminal interface unit 112 may be a user output device such as a video display, speaker television, or user input device such as a keyboard, mouse, keypad, touchpad, trackball, button, light pen, or other pointing device.
  • user I/O devices 116 can be attached.
  • the user interface uses the user interface, the user inputs input data and instructions to the user I/O device 116 and the computer system 100 by manipulating the user input devices, and receives output data from the computer system 100. good too.
  • the user interface may be displayed on a display device, played by speakers, or printed via a printer, for example, via user I/O device 116 .
  • Storage interface 113 connects to one or more disk drives or direct access storage devices 117 (typically magnetic disk drive storage devices, but arrays of disk drives or other storage devices configured to appear as a single disk drive). ) can be attached.
  • storage device 117 may be implemented as any secondary storage device.
  • the contents of memory 104 may be stored in storage device 117 and read from storage device 117 as needed.
  • I/O device interface 114 may provide an interface to other I/O devices such as printers, fax machines, and the like.
  • Network interface 115 may provide a communication pathway to allow computer system 100 and other devices to communicate with each other. This communication path may be, for example, network 130 .
  • computer system 100 is a device that receives requests from other computer systems (clients) that do not have a direct user interface, such as multi-user mainframe computer systems, single-user systems, or server computers. There may be. In other embodiments, computer system 100 may be a desktop computer, handheld computer, laptop, tablet computer, pocket computer, phone, smart phone, or any other suitable electronic device.
  • FIG. 2 is a diagram showing an example of the configuration of the dialogue management system 200 according to the embodiment of the present disclosure.
  • the dialogue management system 200 according to the embodiment of the present disclosure is a system for generating an edited dialogue record organized by topic regarding digital dialogues between multiple people. As shown in FIG. It is mainly composed of a management device 210 , a first dialogue device 220 and a second dialogue device 230 .
  • the dialogue management device 210, the first dialogue device 220, and the second dialogue device 230 are communicably connected to each other via a communication network 225 such as the Internet.
  • the dialogue management device 210 provides a platform for digital dialogue between the first dialogue device 220 and the second dialogue device 230, and generates an edited dialogue record organized by topic for the digital dialogue.
  • It is a device for Digital interaction means the verbal sharing of information between at least two speakers via telephone, online conferencing system, app, or the like.
  • the digital dialogue here may be performed by sharing only audio information, such as by telephone, or may be performed by sharing both audio information and video information, such as by video call.
  • “speaker” here means a person who participates in a digital dialogue.
  • a digital dialogue performed by two speakers (a first speaker and a second speaker) will be described as an example, but the present disclosure is not limited to this, and the number of speakers can be may be arbitrary.
  • the dialogue management device 210 includes a dialogue interface section 212, a topic management section 214, and a dialogue editing section 216.
  • the dialogue interface unit 212 is a functional unit that provides a dialogue interface for conducting a digital dialogue between the first speaker and the second speaker and acquires the dialogue record of the digital dialogue.
  • the dialogue interface here means a GUI (Graphical User Interface) screen that is displayed on, for example, the displays of the first dialogue device 220 and the second dialogue device 230, which will be described later, and provides information and settings regarding dialogue.
  • the dialogue interface may include, for example, images of each speaker captured by a camera, text chat windows, camera and microphone settings, and the like.
  • the dialog interface according to the embodiment of the present disclosure may display a menu for selecting the current topic from candidates prepared in advance, or related materials related to the current topic.
  • the topic management unit 214 is a functional unit that receives input of topic designation information for designating a topic in the digital dialogue during the digital dialogue. More specifically, the topic management unit 214 displays a topic selection list including a plurality of topic candidates in the dialogue interface generated by the dialogue management device 210, and based on input from the speaker (for example, an interviewer, etc.) Then, the first topic tag selected from the topic selection list, the first start time of the first topic, and the first end time of the first topic may be received as the topic designation information.
  • the topic management unit 214 assigns the first topic tag to the first dialogue record portion corresponding to the first start time and the first end time of the received first topic. may be associated.
  • the topic management unit 214 accepts input of topic designation information from the speaker until the digital dialogue ends, and associates the designated topic tag with the designated dialogue recording part, thereby creating a label for each topic. You can get the attached dialogue record.
  • the dialogue record part here means a part of the dialogue record.
  • the dialogue editing unit 216 edits the dialogue record recorded by the dialogue management device 210 based on the topic designation information acquired by the topic management unit 214, thereby creating an edited edited record arranged for each topic. It is a functional part that generates a dialogue record. More specifically, the dialogue editing unit 216 extracts dialogue record portions associated with the same topic tag (for example, the first topic tag) from the dialogue records labeled for each topic, and puts them together. Thus, an edited dialogue record organized by topic may be generated.
  • the same topic tag for example, the first topic tag
  • the expression ⁇ extracting and summarizing the dialogue recorded parts'' means, for example, extracting the dialogue recorded parts corresponding to each topic tag from the dialogue recordings using existing video or audio editing means, It means combining the dialogue record parts corresponding to the topic tag as one group.
  • the dialogue recorded portions in each group may be arranged in chronological order, or may be arranged based on a predetermined priority of topics.
  • the term “unit” means, for example, hardware resources implemented by circuits in a broad sense, and software specifically implemented by these hardware resources (for example, the dialog management application 150 shown in FIG. 1). ) combined with information processing.
  • various information is handled in the present embodiment, and these information are, for example, physical values of signal values representing voltage and current, and signal values as binary bit aggregates composed of 0 or 1. It is represented by high and low, or quantum superposition (so-called quantum bit), and communication and operation can be performed on a circuit in a broad sense.
  • the first dialogue device 220 and the second dialogue device 230 are terminals used by the speakers participating in the digital dialogue and connect to the digital dialogue platform provided by the dialogue manager 210 via the communication network 225 .
  • the first dialogue device 220 and the second dialogue device 230 are terminals having functions for acquiring and providing audio information and/or video information transmitted and received in digital dialogue. There may be. More specifically, the first dialogue device 220 and the second dialogue device 230 display the dialogue interface generated by the dialogue interface unit 212 on the screen, and input information (for example, input of topic designation information) from the user. may be configured to accept In FIG. 2, for convenience of explanation, the configuration of the dialogue management system 200 including two dialogue devices is shown as an example. can be determined by
  • the dialog management device 210 is an example in which the functions of the dialog interface unit 212, the topic management unit 214, and the dialog editing unit 216 are implemented in the dialog management device 210 accessible via the communication network 225.
  • the present disclosure is not limited to this. Implemented configurations are also possible.
  • topic-based dialogue record generation processing (hereinafter sometimes referred to as “topic-based dialogue record generation processing") according to the embodiment of the present disclosure will be described.
  • FIG. 3 is a diagram showing an example of the flow of topic-based dialogue record generation processing 300 according to the embodiment of the present disclosure.
  • the topic-by-topic dialogue record generation process 300 shown in FIG. 3 is a process for generating an edited dialogue record organized by topic. 216.
  • the dialogue interface unit 212 acquires the information of the topic selection list 302 and draws the dialogue interface 306 including the acquired topic selection list 302.
  • the topic selection list 302 is information containing a plurality of topic candidates, and may be created in advance, for example, by a digital organizer or the like, before conducting a digital interaction.
  • the topic candidates included in the topic selection list 302 may be generated, for example, based on agenda information scheduled to be discussed in a particular digital dialogue.
  • the topic selection list 302 may include, for example, "friendship at previous job", "project handled at previous job", and the like.
  • the dialog interface unit 212 may generate a dialog interface 306 including the acquired topic selection list 302 in addition to the video of each speaker, text chat window, camera and microphone setting items, and the like. As noted above, this dialogue interface 306 may be displayed on the dialogue devices (first dialogue device 220 and second dialogue device 230) of the speakers participating in the digital dialogue.
  • step S ⁇ b>312 the dialogue interface unit 212 acquires the dialogue record 308 and the topic management unit 214 acquires topic designation information 310 .
  • a set of information including dialogue record 308 and topic designation information 310 is collectively referred to as "dialogue information 314".
  • Interaction recording 308 is information recording digital interactions and may include audio information, video information, or both.
  • the interaction record 308 may be a recorded record of audio information from the speakers who participated in the digital interaction; , it may be a record obtained by recording/recording audio information and video information from the speaker who participated in the digital dialogue.
  • the topic designation information 310 includes a first topic tag selected from the topic selection list 302 displayed on the dialog interface 306, a first start time of the first topic, and a first end time of the first topic. It is information that includes
  • the topic management unit 214 selects the first topic tag from the topic selection list 302 based on the input from the speaker (for example, the interviewer) to the topic selection list 302, and the first topic tag of the first topic. 1 start time and the first end time of the first topic may be accepted as the topic designation information. After that, the topic management unit 214 assigns the first topic tag to the first dialogue record portion corresponding to the first start time and the first end time of the received first topic. may be associated. The topic management unit 214 accepts input of topic designation information from the speaker until the digital dialogue ends, and associates the designated topic tag with the designated dialogue recording part, thereby creating a label for each topic. You can get the attached dialogue record. Note that, in the present disclosure, a set of all topic designation information obtained from a particular speaker during a digital dialogue is referred to as a "topic selection history.”
  • step S316 the dialogue editing unit 216 generates an edited dialogue record organized by topic based on the dialogue information acquired in step S312.
  • the dialogue editing unit 216 edits the dialogue record 308 based on the topic designation information 310 to generate an edited dialogue record organized by topic. More specifically, the dialogue editing unit 216 extracts dialogue record portions associated with the same topic tag (for example, the first topic tag) from the dialogue records labeled for each topic, and puts them together. Thus, an edited dialogue record organized by topic may be generated.
  • per-topic dialogue record generation processing 300 it is possible to generate an edited dialogue record organized by topic. It becomes possible to quickly specify a certain portion.
  • FIG. 4 is a diagram illustrating an example of an interaction interface 306 and an edited interaction record 318 according to an embodiment of the present disclosure.
  • an image 405 of the digital dialogue partner and the topic selection list 302 described above are displayed on the dialogue interface 306 .
  • the topic selection list 302 includes topic tags of topic candidates such as "friendship at previous job” and "problem handled at previous job”.
  • a speaker e.g., a first speaker participating in a digital dialogue using the dialogue interface 306 responds to a current topic (the first topic) while the digital dialogue is in progress in real time.
  • a topic tag (first topic tag) may be selected.
  • the selected first topic tag is associated with the current time (the first start time of the first topic) in the dialogue record.
  • the speaker may select a new topic tag (second topic tag) from the topic selection list 302 each time the topic changes. Then, the selected second topic tag is associated with the current time (the first end time of the first topic and the first start time of the second topic) in the dialogue record, and the first topic tag is assumed to have terminated. Until the end of the digital dialogue, input of topic designation information from the speaker is accepted, and the designated topic tag is associated with the designated dialogue record part, thereby creating a dialogue record labeled for each topic. Obtainable.
  • the dialogue editing unit 216 selects the same topic tag (for example, the first topic tag and the second topic tag) from the dialogue record labeled for each topic. By extracting and putting together the dialogue record parts that are present, the edited dialogue record 318 organized by topic shown in FIG. 4 may be generated.
  • the same topic tag for example, the first topic tag and the second topic tag
  • the first topic tag "friendship at previous job” corresponds to the first dialogue record portion corresponding to 00:00-02:00 and the first dialogue record portion corresponding to 03:30-04:00.
  • the dialogue editing unit 216 edits the dialogue record to link the first dialogue record part and the third dialogue record part associated with the first topic tag based on the time order, and
  • the second dialogue record portion associated with the two topic tags may be concatenated behind the third dialogue record portion to generate an edited dialogue record 318 organized by topic.
  • the order of the topics in the dialogue record 318 may be, for example, the order in which the topics appear in the digital dialogue, or may be the order based on a predetermined priority.
  • FIG. 5 is a diagram showing an example of the flow of interactive interface drawing processing 500 according to the embodiment of the present disclosure.
  • the dialog interface drawing process 500 shown in FIG. 5 is a process for generating a dialog interface including the topic selection list 302 and images of the conversation partners. 214.
  • the dialogue interface 306 displays the topic selection list 302 for selecting the current topic from candidates prepared in advance while the dialogue is being conducted.
  • Topic tags indicating topics and input of topic specifying information specifying the start time and end time of the current topic are accepted from the dialogue participants.
  • topic shaping process 500 relates to topic shaping process for highlighting topic candidates highly relevant to the current topic in the topic selection list 302 .
  • the speakers who participate in the dialogue may want to evaluate or analyze specific contents of the dialogue.
  • the dialogue is a job interview for a company
  • the interviewer who is the speaker participating in the dialogue, may want to evaluate the candidate's aptitude, ability, etc. using predetermined evaluation items.
  • another aspect of the interactive interface rendering process 500 relates to displaying relevant material (eg, evaluation criteria for evaluation items, etc.) in the interactive interface 306 that is highly relevant to the current topic. As a result, the participants of the dialogue can easily confirm highly relevant materials while conducting the dialogue.
  • step S510 the topic management unit 214 inputs the topic transition data 502 and the topic selection list 302, and based on the input topic transition data 502 and topic selection list 302, the current topic is highly relevant. Topic shaping processing for highlighting the topic candidate in the topic selection list 302 is performed. Further, here, the topic management unit 214 may input previously acquired dialogue information 524 in addition to the input information described above.
  • the topic transition data 502 here is information relating to the transition from one topic (first topic) to another topic (second topic).
  • a transition ID for identifying a transition ID for identifying each topic, a topic ID for identifying each topic, dialogue content indicating the content of the dialogue also referred to as “matching text information” in the present disclosure
  • topic start time before correction first start time of first topic
  • topic end time before correction first end time of first topic
  • topic start time after correction (second start time of first topic)
  • the topic end time after correction (the second end time of the first topic) may be included. Since the topic selection list 302 has been described above, its description is omitted here. Details of the topic shaping process for highlighting topic candidates highly relevant to the current topic in the topic selection list 302 will be described later, so description thereof will be omitted here.
  • step S512 the topic management unit 214 inputs the related material 506 and the evaluation item/topic correspondence table 508, and based on the input related material 506 and the evaluation item/topic correspondence table 508, the current topic.
  • Related information shaping processing for displaying related materials with high relevance on the dialog interface 306 is performed.
  • the topic management unit 214 may input previously acquired dialogue information 524 in addition to the input information described above.
  • the related materials 506 are materials created prior to the digital dialogue and related to the digital dialogue, and may be, for example, presentation materials related to the topic of the digital dialogue, reference materials, and the like. As an example, if the digital interaction is a job interview, this related material 506 may include responses to questionnaires given to the candidate, the candidate's resume, and the like.
  • the evaluation item/topic correspondence table 508 is tabular information indicating the correspondence between topics and evaluation items.
  • the evaluation item/topic correspondence table 508 may indicate that the topic of "projects handled in previous job” corresponds to the evaluation item of "work experience.” Since the details of the related information shaping process for displaying related materials highly related to the current topic on the dialog interface 306 will be described later, the description thereof will be omitted here.
  • step S514 the dialog interface unit 212 draws the dialog interface 306 based on the information obtained from the topic shaping process of step S510 and the related information shaping process of step S512. As described above, the dialog interface unit 212 highlights topic candidates highly relevant to the current topic in addition to the video of each speaker, the text chat window, camera and microphone setting items, etc.
  • An interactive interface 306 may be generated that includes a topic selection list 302 and relevant information that is highly relevant to the current topic. This dialogue interface 306 may be displayed on the dialogue devices (first dialogue device 220 and/or second dialogue device 230) of the speakers participating in the digital dialogue.
  • step S516 the dialogue interface unit 212 acquires the dialogue record 308 and the participant memo 522, and the topic management unit 214 acquires the topic designation information 310.
  • FIG. The set of information including the interaction record 308 , participant notes 522 and topic designation information 310 is collectively referred to herein as “interaction information” 524 .
  • interaction record 308 is information recording a digital interaction and may include audio information, video information, or both.
  • the topic designation information 310 includes the first topic tag selected from the topic selection list 302 displayed on the dialog interface 306, the first start time of the first topic, and the first topic tag. It is information including the first end time of the topic.
  • Participant notes 522 are notes entered in dialogue interface 306 by speakers participating in the digital dialogue. The information of this participant memo 522 may be recorded for each topic.
  • the dialogue information 524 acquired here is fed back to the topic shaping process in step S510 and the related information shaping process in step S512. In this way, by using the dialog information 524, the topic shaping process and the related information shaping process performed thereafter can provide more accurate topic shaping results and related information shaping results.
  • FIG. 6 is a diagram for explaining topic shaping processing and related information shaping processing according to the embodiment of the present disclosure.
  • FIG. 6 shows an example of a dialog interface 610 created using the topic shaping process and an example of a dialog interface 620 created using the related information shaping process.
  • the topic shaping process is a process for highlighting topic candidates highly relevant to the current topic in the topic selection list 302, and is performed by the topic management unit 214.
  • the dialog interface unit 212 acquires a first utterance (eg, an utterance made within the last 10 seconds) that satisfies a predetermined proximity criterion (eg, a criterion specifying a predetermined period of time going back from the current time), and
  • the first utterance text information is generated by converting the first utterance into text information.
  • This first utterance may be an utterance uttered by any of the speakers participating in the digital dialogue.
  • existing automatic speech recognition means may be used to convert this first utterance into text information.
  • the topic management unit 214 determines the degree of relevance between the first utterance text information and topic candidates included in the topic selection list 302 .
  • either of the following two methods may be used as a method of determining the degree of association.
  • the topic management unit 214 searches for topic transition data corresponding to the current topic transition from topic transition data collected in advance. After that, the topic management unit 214 compares the matching text information included in the searched topic transition data and associated with each topic candidate in the topic selection list 302 with the first utterance text information. , the relevance of the first utterance to each of the plurality of topic candidates is calculated based on the number of matching words.
  • the matching text here is preliminarily prepared text information that is determined to be highly relevant to a specific topic candidate, and is predicted to appear when the topic is spoken. The information it contains.
  • the degree of similarity of semantic information determined by natural language processing is used to determine the relationship between the first uttered text information and the topic candidates included in the topic selection list 302. degree can be determined.
  • the topic management unit 214 searches for topic transition data corresponding to the current topic transition from the topic transition data collected in advance, and uses the searched topic transition data to A topic candidate corresponding to the designated next transition destination may be output as a topic candidate with a high degree of relevance. In this way, it is possible to determine the relevance between the content of the current dialogue and the topic candidate based on the first utterance text information and the topic transition data.
  • the topic management unit 214 determines a topic candidate whose degree of relevance to the first utterance satisfies a predetermined degree of relevance criterion (for example, a candidate with the highest degree of relevance, etc.), and the dialog interface unit 212 determines Topic candidates are highlighted in the topic selection list 302 .
  • a predetermined degree of relevance criterion for example, a candidate with the highest degree of relevance, etc.
  • the dialog interface unit 212 selects a topic candidate whose degree of relevance to the first utterance satisfies a predetermined degree of relevance standard in the dialogue interface 610 created using the topic reshaping process. , may be highlighted by changing the color, or may be highlighted by adding a character tag such as "recommended", and the method of highlighting is not particularly limited. Further, as shown in the dialog interface 610, the dialog interface unit 212 may display a character tag such as "candidate" for other topic candidates having a certain degree of relevance.
  • the related information shaping process is a process for displaying related materials highly related to the current topic on the dialog interface, and is performed by the topic management unit 214 .
  • the topic management unit 214 selects a second utterance (for example, uttered within the last 10 seconds) that satisfies a predetermined proximity criterion (for example, a criterion specifying a predetermined period of time going back from the current time).
  • Second utterance text information may be generated by acquiring the second utterance and converting the second utterance into text information.
  • This second utterance may be an utterance uttered by any of the speakers participating in the digital dialogue.
  • existing automatic speech recognition means may be used to convert this second utterance into text information.
  • the topic management unit 214 compares the second utterance text information with related materials related to the current digital dialogue to determine the degree of relevance of the second utterance to each of the items included in the related materials. calculate.
  • the dialogue interface unit 212 reads the second utterance text information for each item included in the related material. may be calculated based on the number of words that match , or may be calculated based on the similarity of semantic information obtained by natural language processing.
  • the topic management unit 214 determines an item of the related material whose degree of relevance to the second utterance satisfies a predetermined degree of relevance standard (for example, the item with the highest degree of relevance), and the dialogue interface unit 212 The determined items are displayed in interactive interface 306 .
  • a predetermined degree of relevance standard for example, the item with the highest degree of relevance
  • the dialogue interface unit 212 generates related material items 626 whose degree of relevance to the second utterance satisfies a predetermined degree of relevance standard in a dialogue interface 620 created using the related information shaping process. , may display responses to questionnaires conducted in advance. Dialogue interface unit 212 may also display a window in dialogue interface 620 for entering participant notes 522 entered by speakers participating in the digital dialogue.
  • the interaction interface component 212 may generate related material items based on the content of the current topic of the digital interaction. 626 may be automatically scrolled.
  • the dialogue interface unit 212 converts the utterances uttered within a predetermined period of time going back to the current time into text information, and the number of words that match the text information and the related material item 626 is Scrolling may be performed so that the highest related material item 626 is in an easily visible position.
  • topic candidates that are highly relevant to the current topic are selected from the topic selection list. It can be highlighted at 302 .
  • the trouble of searching for and selecting a desired topic can be saved, and the dialogue participant who inputs the topic designation information can easily select topic candidates highly relevant to the current topic.
  • related materials highly related to the current topic can be displayed on the dialogue interface 306 . As a result, the participants of the dialogue can easily confirm highly relevant materials while conducting the dialogue.
  • FIG. 7 is a diagram showing an example of the flow of dialogue recording timing correction processing 700 according to the embodiment of the present disclosure.
  • Dialogue recording timing correction processing 700 shown in FIG. This is a process for correcting the start and end times), and is executed by the dialogue editing unit 216 in the dialogue management device 210.
  • FIG. 7 is a diagram showing an example of the flow of dialogue recording timing correction processing 700 according to the embodiment of the present disclosure.
  • Dialogue recording timing correction processing 700 shown in FIG. This is a process for correcting the start and end times), and is executed by the dialogue editing unit 216 in the dialogue management device 210.
  • FIG. 7 is a diagram showing an example of the flow of dialogue recording timing correction processing 700 according to the embodiment of the present disclosure.
  • the dialogue interface 306 displays the topic selection list 302 for selecting the current topic from candidates prepared in advance while the dialogue is being conducted.
  • Topic tags indicating topics and input of topic specifying information specifying the start time and end time of the current topic are accepted from the dialogue participants.
  • the topic designation information is input, the start time and end time of the topic designated by the speaker may deviate from the actual start time and end time of the topic. This may occur, for example, when the speaker erroneously selects the start time of a new topic early, or when the speaker forgets to select the start time of the topic and selects it later.
  • one aspect of the dialogue recording timing correction processing 700 relates to correcting the start and end times of the topic specified by the speaker who is a participant in the digital dialogue to more accurate times.
  • a more accurate change time of the topic can be determined, for example, by analyzing changes in the speaker's facial expressions, mouth movements, word changes, etc. shown in the dialogue record.
  • a more accurately labeled edited interaction record can be generated.
  • step S ⁇ b>704 the dialogue editing unit 216 calculates a minimum topic time 706 used for topic invalidity determination, which will be described later, based on the topic transition data 502 and the minimum topic time calculation coefficient 702 .
  • the minimum topic time 706 is information indicating a length threshold for distinguishing valid topics and invalid topics in performing timing correction.
  • topic time the time from the start time to the end time of a specific topic.
  • This minimum topic time 706 may be set in advance by an administrator or the like, or may be calculated from the topic transition data 502 and the minimum topic time calculation coefficient 702. In this case, the dialog editing unit 216 determines the shortest topic time from the topic transition data collected in advance based on the pre-correction and post-correction times included in the topic transition data. The minimum topic time 706 may be calculated by multiplying the short topic time by a preset minimum topic time calculation coefficient 702 .
  • step S ⁇ b>708 the dialogue editing unit 216 calculates the topic change timing difference 710 before and after correction based on the topic transition data 502 .
  • the dialog recording timing correction processing 700 When the dialog recording timing correction processing 700 is performed, a topic change that has a small difference between the start and end times of the topic specified by the speaker who is a participant in the digital dialog and the start and end time of the topic specified by the speaker It is desirable to correct to the timing candidate. Therefore, here, the dialog editing unit 216 sets the topic change timing candidates before and after correction as a threshold value for excluding topic change timing candidates having a large difference from the start and end times of the topic specified by the speaker. A change timing difference 710 is calculated.
  • the dialogue editing unit 216 calculates the topic change timing difference 710 before and after correction as the difference between the topic start time and topic end time before correction in the past topic transition data 502 and the topic start time and topic end time after correction. , and the calculated average value may be used as the topic change timing difference before and after correction 710 (time difference threshold).
  • step S714 the dialogue editing unit 216 selects topics for each topic based on the topic selection history 712 of the target dialogue record (that is, information indicating all topic start times and topic end times specified for the dialogue record). Calculate time. As an example, the dialogue editing unit 216 determines that the first topic has a topic time of 3 minutes and 47 seconds, the second topic has a topic time of 27 seconds, and the third topic has a topic time of 8 minutes and 16 seconds. It may be determined that there is, and such information may be output as topic hourly 716 .
  • step S718 the dialog editing unit 216 determines whether the topic is invalid based on the minimum topic time 706 calculated in step S704 and the topic hourly 716 calculated in step S714.
  • the topic invalidity determination is a determination for distinguishing valid topics and invalid topics in performing timing correction.
  • the dialogue editing unit 216 compares the topic time per hour 716 calculated in step S714 with the minimum topic time 706 calculated in step S704 to determine the minimum topic time for each topic included in the dialogue record. It is determined whether or not the topic time 706 is satisfied. Topics that do not satisfy the minimum topic time 706 are excluded as invalid topics, and a valid topic selection history 720 containing only topics that satisfy the minimum topic time 706 is output.
  • the dialogue editing unit 216 analyzes the dialogue record 308 to determine the new start and end times of the topic (that is, the start and end times of the topic specified by the speaker who is a participant in the digital dialogue).
  • Topic change timing candidates 726 which are candidates for more accurate start and end times, are determined.
  • the dialogue editing unit 216 may analyze the dialogue record 308 using predetermined face recognition means or voice analysis means.
  • the dialogue editing unit 216 determines the topic change timing candidates 726 by analyzing the speaker's speech, changes in facial expressions, and/or changes in words using analysis means such as speaker separation, speech analysis, and automatic speech recognition. You may
  • step S730 the dialogue editing unit 216 generates the topic change timing difference before and after correction 710 calculated in step S708, the effective topic selection history 720 generated in step S718, and the topic change timing candidates 726 calculated in step S724. Based on, the post-correction topic selection history 732 is generated. More specifically, if the effective topic selection history 720 includes a topic start/end time whose difference from the topic change timing candidate 726 is within the topic change timing difference 710 before and after correction, the dialogue editing unit 216 selects the topic start/end time. - Correct the end time to the topic change timing candidate 726 .
  • the effective topic selection history 720 includes "01:30" as the start time of the first topic specified by the speaker, and the topic change timing candidates 726 include the start time of the first topic.
  • the topic change timing candidates 726 include the start time of the first topic.
  • the start and end times of the topic specified by the speaker who is a participant in the digital dialogue can be changed to A post-correction topic selection history 732 corrected to a more accurate time can be generated.
  • step S316 the dialogue editing unit 216 edits the dialogue record 308 based on the corrected topic selection history 732 generated in step S730 to Generates an edited dialogue record 318 with topic start and end times corrected to more accurate times and organized by topic.
  • the topic specified by the speaker is corrected.
  • the topic specified by the speaker is corrected.
  • FIG. 8 is a diagram showing an example of the flow of useful topic transition data registration processing 800 according to the embodiment of the present disclosure.
  • Useful topic transition data registration processing 800 shown in FIG. 8 is processing for registering useful topic transition data, and is performed by dialogue editing unit 216 in dialogue management device 210 .
  • topic transition data 502 indicating information on transition from a certain topic (first topic) to another topic (second topic) is used.
  • the topic transition data 502 is used in topic shaping process for highlighting topic candidates highly relevant to the current topic in the topic selection list 302 .
  • the topic transition data 502 is used to calculate an appropriate topic change timing difference 710 before and after correction.
  • topic transition data 502 with inappropriate topic transitions for example, topic transitions that are logically unnatural
  • the useful topic transition data registration process 800 selects useful topic transition data that includes appropriate topic transitions and improves the accuracy of the dialogue interface drawing process 500 and the dialogue recording timing correction process 700. , regarding to register.
  • step S802 based on the edited dialogue record 318, the related material 506, the evaluation item/topic correspondence table 508, and the participant memo 522, the dialogue editing unit 216 prepares evaluations, which are dialogue records arranged for each evaluation item.
  • a per-item interaction record 804 is generated.
  • This dialogue record for each evaluation item 804 differs from the edited dialogue record 318 arranged for each topic in that it is arranged for each evaluation item. More specifically, dialogue editing unit 216 identifies topics that correspond to the same evaluation item based on edited dialogue record 318, related material 506, evaluation item/topic correspondence table 508, and participant memo 522.
  • the dialog record for each evaluation item 804 may be generated by collecting the dialog record portions corresponding to the specified topic. In this evaluation item interaction record 804, when multiple different topics correspond to the same evaluation item, these multiple topics may be combined as one "topic group".
  • step S806 based on the dialogue record 804 for each evaluation item, the dialog editing unit 216 calculates the confidence for each evaluation item 808, which is the confidence of the topic group for each evaluation item.
  • the evaluation item-by-item certainty factor 808 is a scale indicating the usefulness of each topic group in the evaluation-item-by-dialogue record 804 for evaluating a predetermined evaluation item by the topic group.
  • the dialog editing unit 216 converts feature amounts (e.g., facial expression features, voice features) from past evaluation item-based dialog records 804 and evaluation results corresponding to the evaluation item-based dialog records 804 into learning data.
  • feature amounts e.g., facial expression features, voice features
  • a prediction model is learned using xgboost or the like.
  • the dialogue record for each evaluation item 804 to be processed is input to the prediction model learned in this way, and the feature amount of the dialogue record for each evaluation item 804 is calculated (identifying facial expressions and voices for each frame, Alternatively, the certainty factor of the prediction model when calculating the number of frames for each speech may be used as the certainty factor 808 for each evaluation item.
  • the dialog editing unit 216 uses the prediction model learned as described above to calculate new feature amounts (e.g., facial expression features, voice features) from the evaluation item-specific dialog record 804,
  • new feature amounts e.g., facial expression features, voice features
  • the evaluation result may be predicted, and the prediction probability of the prediction model may be used as the confidence factor 808 for each evaluation item.
  • step S 810 the dialog editing unit 216 calculates a certainty factor for each topic 812 based on the certainty factor for each evaluation item 808 .
  • the degree of certainty for each evaluation item 808 is a value indicating the degree of certainty for each topic group that combines a plurality of topics that correspond to each evaluation item. , it is desirable to calculate the degree of certainty for each topic.
  • the dialogue editing unit 216 may calculate the topic-specific certainty factor 812 by averaging the certainty factors for each topic group shown in the certainty factor for each evaluation item 808 for each topic.
  • the confidence level of the first topic group consisting of the first topic and the third topic is "0.3"
  • the second topic and Assume that the certainty factor of the second topic group consisting of the third topic is "0.8".
  • the certainty factor is "0.3”.
  • the certainty factor is "0.8”.
  • the confidence factor is "0.3”. and "0.8", which is "0.55".
  • step S816 the dialog editing unit 216 combines the topic-specific confidence factor 812 calculated in step S810, the preset topic-specific confidence factor transition threshold value 814, and the Useful topic transition data 502 is selected based on the corrected topic selection history 732 .
  • the dialogue editing unit 216 generates all combinations using the topics for which the topic-specific certainty factors 812 were calculated in step S810, and calculates the average value of the topic-specific certainty factors 812 for each combination as a topic transition indicator. It is the topic transition confidence that indicates the usefulness in the case of
  • the first topic transitions to the second topic.
  • the topic transition certainty factor indicating the effectiveness in this case is "0.55" which is the average value of "0.3” and "0.8".
  • the second topic transitioned to the third topic.
  • the topic transition certainty factor indicating the effectiveness of the case is "0.675” which is the average value of "0.8” and "0.55".
  • the dialogue editing unit 216 registers, as valid topic transition data 502, combinations of topics having topic transition certainty greater than or equal to the preset per-topic certainty transition threshold 814, and Combinations of topics having topic transition confidences less than the topic-by-topic confidence transition threshold 814 are removed from the dialogue recording timing correction processing 700 .
  • the dialog editing unit 216 saves the topic transition data 502 determined to be valid, for example, in a database that can be used in the dialog interface rendering process 500 and the dialog recording timing correction process 700, thereby generating the topic transition data 502. may be registered.
  • useful topic transition data registration process 800 it is possible to select and register useful topic transition data that includes appropriate topic transitions and improves the accuracy of the dialogue interface drawing process 500 and dialogue recording timing correction process 700. can.
  • the dialogue management means for example, even if the dialogue develops on various topics, it is possible to generate an edited dialogue record that is arranged for each topic. Further, according to one aspect of the embodiments of the present disclosure, topic candidates highly relevant to the current topic can be highlighted in the topic selection list. As a result, the trouble of searching for and selecting a desired topic can be saved, and the dialogue participant who inputs the topic designation information can easily select topic candidates highly relevant to the current topic. In addition, according to one aspect of the embodiments of the present disclosure, related materials that are highly relevant to the current topic (eg, evaluation criteria for evaluation items, etc.) can be displayed in the interactive interface. As a result, the participants of the dialogue can easily confirm highly relevant materials while conducting the dialogue.
  • related materials that are highly relevant to the current topic eg, evaluation criteria for evaluation items, etc.
  • the start and end times of the topic specified by the speaker who is a participant in the digital dialogue can be adjusted, for example, by changing the expression of the speaker shown in the dialogue record, It can be corrected to a more accurate time determined by movement, word changes, and the like. This allows the generation of edited interaction recordings that are more accurately labeled.
  • 200 dialogue management system
  • 210 dialogue management device
  • 212 dialogue interface unit
  • 214 topic management unit
  • 216 dialogue editing unit
  • 220 first dialogue device
  • 225 communication network
  • 230 second dialogue device
  • 300 dialogue record generation processing for each topic
  • 500 dialogue interface drawing processing
  • 700 dialogue recording timing correction processing
  • 800 useful topic transition data registration processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

話題が様々に展開される場合であっても、対話記録において、関心のある部分を速やかに特定することが可能な対話管理手段を提供するため、複数の話者との間でデジタル対話を行うための対話インターフェースを提供し、前記デジタル対話の対話記録を取得する対話インターフェース部（２１２）と、前記デジタル対話の最中に、前記デジタル対話における話題を指定するための話題指定情報の入力を受け付ける話題管理部（２１４）と、前記話題指定情報に基づいて前記対話記録を編集することで、話題毎に整理した編集済み対話記録を生成する対話編集部（２１６）とを含む対話管理装置（２１０）。

Description

対話管理装置、対話管理システム及び対話管理方法
　本発明は、対話管理装置、対話管理システム及び対話管理方法に関する。
　近年、インターネット回線等の通信ネットワークを介したオンライン上での会議や面談が行われている。特に最近では、テレワークの普及等により、人と人とが直接対面することなく、オンライン上で会議や面談を行うことが一般的となりつつある。
　このようなオンライン会議システム（オンライン面談システム）については、様々な機能が提案されている。例えば、オンライン会議システム上で行われた会議の動画を記録し、保存しておき、会議が終了してからも再び見返す機能が知られている。
　このように録画した会議動画を見返す際、関心のある部分を速やかに特定し、視聴を容易にすることが望まれている。
　オンライン面談システムの関連技術の一つとして、例えば特開２０２１－１７５１５５号公報（特許文献１）が存在する。
　特許文献１には、「撮像部と、通信部と、を有する携帯電話装置（スマートフォン１００）を、面談部として機能させる。通信部は、電話網及びインターネットを介して他の装置と通信可能に構成される。面談部は、面談制御部を有する。面談制御部は、面談相手の電話番号が入力された場合、面談に関するライブ配信の接続情報を、通信部及び電話網を介して面談相手に送信する。接続情報を介して面談相手から接続があった場合、通信部及び電話網を介した面談相手との面談に関するライブ配信における音声の送受信は、携帯電話装置の電話部を用いて行われる。面談制御部は、通信部及びインターネットを介して面談相手との面談に関するライブ配信における画像の送受信を制御する。」技術が開示されている。
特開２０２１－１７５１５５号公報
　特許文献１には、面談に関するライブ配信における通話の録音データに基づき通話の内容をテキスト化し、これにより得られたテキストデータを解析することで、面談の参加者に発言内容等に基づいて、面談の雰囲気を判断する手段が開示されている。この解析の結果に基づいて、参加者は、次の面談の際、表情、話し方、話す内容等を修正し、より良い雰囲気で面談を実施することができる。
　しかしながら、特許文献１には、電話やオンライン会議システム等で行われた対話の記録を話題毎に整理することが想定されていない。話題毎に進む対話記録を得るために、話題毎に対話を実施しながら記録することが考えられるが、実際には、複数人で行われる対話においては、話題が他の話題に飛んだり、また、他の話題から元の話題に戻るなど、話題が様々に展開されることがある。このため、対話の内容をシスステムを用いて整理しようとすると、話題の分析が困難となったり、異なる話題が混じりあってしまうことがある。この結果、対話記録を視聴する際、関心のある部分を速やかに特定することが困難となる課題が存在する。
　そこで、本開示は、話題が様々に展開される場合であっても、対話記録において、関心のある部分を速やかに特定することが可能な対話管理手段を提供することを目的とする。
　上記の課題を解決するために、代表的な本発明の対話管理装置は、複数の話者との間でデジタル対話を行うための対話インターフェースを提供し、前記デジタル対話の対話記録を取得する対話インターフェース部と、前記デジタル対話の最中に、前記デジタル対話における話題を指定するための話題指定情報の入力を受け付ける話題管理部と、前記話題指定情報に基づいて前記対話記録を編集することで、話題毎に整理した編集済み対話記録を生成する対話編集部とを含む。
　本開示によれば、話題が様々に展開される場合であっても、対話記録において、関心のある部分を速やかに特定することが可能な対話管理手段を提供することができる。
　上記以外の課題、構成及び効果は、以下の発明を実施するための形態における説明により明らかにされる。
図１は、本開示の実施形態を実施するためのコンピュータシステムを示す図である。 図２は、本開示の実施形態に係る対話管理システムの構成の一例を示す図である。 図３は、本開示の実施形態に係る話題毎対話記録生成処理の流れの一例を示す図である。 図４は、本開示の実施形態に係る対話インターフェース及び話題毎の対話記録部分の一例を示す図である。 図５は、本開示の実施形態に係る対話インターフェース描画処理の流れの一例を示す図である。 図６は、本開示の実施形態に係る話題整形処理及び関連情報整形処理を説明するための図である。 図７は、本開示の実施形態に係る対話記録タイミング補正処理の流れの一例を示す図である。 図８は、本開示の実施形態に係る有用話題遷移データ登録処理の流れの一例を示す図である。
　以下、図面を参照して、本発明の実施例について説明する。なお、この実施例により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
　上述したように、電話やオンライン会議システム等で行われた対話の記録において、関心のある部分を速やかに特定することが望まれている。
　そこで、本開示では、対話を実施している最中に、現在の話題を予め用意された候補から選択するためのメニュー（話題選択一覧）をインターフェースにおいて表示し、現在の話題を示す話題タグと、現在の話題の開始時刻及び終了時刻とを指定する入力を対話の参加者から受け付ける。この入力に基づいて、話題毎にラベル付けされた対話記録を得ることができる。そして、この話題毎にラベル付けされた対話記録を編集し、同一の話題に対応する部分（対話記録部分）をまとめることで、話題毎に整理した、編集済み対話記録を生成することができる。
　これにより、話題が様々に展開される場合であっても、対話記録において、関心のある部分を速やかに特定することが可能となる。
　まず、図１を参照して、本開示の実施例を実施するためのコンピュータシステム１００について説明する。本明細書で開示される様々な実施例の機構及び装置は、任意の適切なコンピューティングシステムに適用されてもよい。コンピュータシステム１００の主要コンポーネントは、１つ以上のプロセッサ１０２、メモリ１０４、端末インターフェース１１２、ストレージインタフェース１１３、Ｉ／Ｏ（入出力）デバイスインタフェース１１４、及びネットワークインターフェース１１５を含む。これらのコンポーネントは、メモリバス１０６、Ｉ／Ｏバス１０８、バスインターフェースユニット１０９、及びＩ／Ｏバスインターフェースユニット１１０を介して、相互的に接続されてもよい。
　コンピュータシステム１００は、プロセッサ１０２と総称される１つ又は複数の汎用プログラマブル中央処理装置（ＣＰＵ）１０２Ａ及び１０２Ｂを含んでもよい。ある実施例では、コンピュータシステム１００は複数のプロセッサを備えてもよく、また別の実施例では、コンピュータシステム１００は単一のＣＰＵシステムであってもよい。各プロセッサ１０２は、メモリ１０４に格納された命令を実行し、オンボードキャッシュを含んでもよい。
　ある実施例では、メモリ１０４は、データ及びプログラムを記憶するためのランダムアクセス半導体メモリ、記憶装置、又は記憶媒体（揮発性又は不揮発性のいずれか）を含んでもよい。メモリ１０４は、本明細書で説明する機能を実施するプログラム、モジュール、及びデータ構造のすべて又は一部を格納してもよい。例えば、メモリ１０４は、対話管理アプリケーション１５０を格納していてもよい。ある実施例では、対話管理アプリケーション１５０は、後述する機能をプロセッサ１０２上で実行する命令又は記述を含んでもよい。
　ある実施例では、対話管理アプリケーション１５０は、プロセッサベースのシステムの代わりに、またはプロセッサベースのシステムに加えて、半導体デバイス、チップ、論理ゲート、回路、回路カード、および/または他の物理ハードウェアデバイスを介してハードウェアで実施されてもよい。ある実施例では、対話管理アプリケーション１５０は、命令又は記述以外のデータを含んでもよい。ある実施例では、カメラ、センサ、または他のデータ入力デバイス（図示せず）が、バスインターフェースユニット１０９、プロセッサ１０２、またはコンピュータシステム１００の他のハードウェアと直接通信するように提供されてもよい。
　コンピュータシステム１００は、プロセッサ１０２、メモリ１０４、表示システム１２４、及びＩ／Ｏバスインターフェースユニット１１０間の通信を行うバスインターフェースユニット１０９を含んでもよい。Ｉ／Ｏバスインターフェースユニット１１０は、様々なＩ／Ｏユニットとの間でデータを転送するためのＩ／Ｏバス１０８と連結していてもよい。Ｉ／Ｏバスインターフェースユニット１１０は、Ｉ／Ｏバス１０８を介して、Ｉ／Ｏプロセッサ（ＩＯＰ）又はＩ／Ｏアダプタ（ＩＯＡ）としても知られる複数のＩ／Ｏインタフェースユニット１１２，１１３，１１４、及び１１５と通信してもよい。
　表示システム１２４は、表示コントローラ、表示メモリ、又はその両方を含んでもよい。表示コントローラは、ビデオ、オーディオ、又はその両方のデータを表示装置１２６に提供することができる。また、コンピュータシステム１００は、データを収集し、プロセッサ１０２に当該データを提供するように構成された1つまたは複数のセンサ等のデバイスを含んでもよい。
　例えば、コンピュータシステム１００は、心拍数データやストレスレベルデータ等を収集するバイオメトリックセンサ、湿度データ、温度データ、圧力データ等を収集する環境センサ、及び加速度データ、運動データ等を収集するモーションセンサ等を含んでもよい。これ以外のタイプのセンサも使用可能である。表示システム１２４は、単独のディスプレイ画面、テレビ、タブレット、又は携帯型デバイスなどの表示装置１２６に接続されてもよい。
　Ｉ／Ｏインタフェースユニットは、様々なストレージ又はＩ／Ｏデバイスと通信する機能を備える。例えば、端末インタフェースユニット１１２は、ビデオ表示装置、スピーカテレビ等のユーザ出力デバイスや、キーボード、マウス、キーパッド、タッチパッド、トラックボール、ボタン、ライトペン、又は他のポインティングデバイス等のユーザ入力デバイスのようなユーザＩ／Ｏデバイス１１６の取り付けが可能である。ユーザは、ユーザインターフェースを使用して、ユーザ入力デバイスを操作することで、ユーザＩ／Ｏデバイス１１６及びコンピュータシステム１００に対して入力データや指示を入力し、コンピュータシステム１００からの出力データを受け取ってもよい。ユーザインターフェースは例えば、ユーザＩ／Ｏデバイス１１６を介して、表示装置に表示されたり、スピーカによって再生されたり、プリンタを介して印刷されたりしてもよい。
　ストレージインタフェース１１３は、１つ又は複数のディスクドライブや直接アクセスストレージ装置１１７（通常は磁気ディスクドライブストレージ装置であるが、単一のディスクドライブとして見えるように構成されたディスクドライブのアレイ又は他のストレージ装置であってもよい）の取り付けが可能である。ある実施例では、ストレージ装置１１７は、任意の二次記憶装置として実装されてもよい。メモリ１０４の内容は、ストレージ装置１１７に記憶され、必要に応じてストレージ装置１１７から読み出されてもよい。Ｉ／Ｏデバイスインタフェース１１４は、プリンタ、ファックスマシン等の他のＩ／Ｏデバイスに対するインターフェースを提供してもよい。ネットワークインターフェース１１５は、コンピュータシステム１００と他のデバイスが相互的に通信できるように、通信経路を提供してもよい。この通信経路は、例えば、ネットワーク１３０であってもよい。
　ある実施例では、コンピュータシステム１００は、マルチユーザメインフレームコンピュータシステム、シングルユーザシステム、又はサーバコンピュータ等の、直接的ユーザインターフェースを有しない、他のコンピュータシステム（クライアント）からの要求を受信するデバイスであってもよい。他の実施例では、コンピュータシステム１００は、デスクトップコンピュータ、携帯型コンピューター、ノートパソコン、タブレットコンピュータ、ポケットコンピュータ、電話、スマートフォン、又は任意の他の適切な電子機器であってもよい。
　次に、図２を参照して、本開示の実施形態に係る対話管理システムについて説明する。
　図２は、本開示の実施形態に係る対話管理システム２００の構成の一例を示す図である。本開示の実施形態に係る対話管理システム２００は、複数人の間で行われるデジタル対話について、話題毎に整理した編集済み対話記録を生成するためのシステムであり、図２に示すように、対話管理装置２１０と、第１の対話装置２２０と、第２の対話装置２３０とから主に構成される。対話管理装置２１０と、第１の対話装置２２０と、第２の対話装置２３０とは、例えばインターネット等の通信ネットワーク２２５を介して互いに通信可能に接続されている。
　対話管理装置２１０は、第１の対話装置２２０と、第２の対話装置２３０との間でのデジタル対話を行うプラットフォームを提供すると共に、デジタル対話について、話題毎に整理した編集済み対話記録を生成するための装置である。ここでのデジタル対話とは、電話、オンライン会議システム、アプリ等を介して、少なくとも二人の話者間で言葉を用いて行われる情報の共有を意味する。ここでのデジタル対話は、例えば電話等のように音声情報の共有のみで行われてもよく、動画通話等のように音声情報及び映像情報の両方の共有で行われてもよい。
　また、ここでの「話者」とは、デジタル対話に参加する人を意味する。以下、説明の便宜上、二人の話者（第１の話者及び第２の話者）で行われるデジタル対話を一例として説明するが、本開示はこれに限定されず、話者の人数は任意であってもよい。
　図２に示すように、対話管理装置２１０は、対話インターフェース部２１２と、話題管理部２１４と、対話編集部２１６とを含む。
　対話インターフェース部２１２は、第１の話者と第２の話者との間でデジタル対話を行うための対話インターフェースを提供し、当該デジタル対話の対話記録を取得する機能部である。ここでの対話インターフェースは、例えば後述する第１の対話装置２２０及び第２の対話装置２３０のディスプレイ等に表示され、対話に関する情報及び設定を提供するＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）画面を意味する。一例として、対話インターフェースは、例えばカメラによって取得されている各話者の映像、テキストチャットのウインドウ、カメラ及びマイクロフォンの設定項目等を含んでもよい。また、後述するように、本開示の実施形態に係る対話インターフェースには、現在の話題を予め用意された候補から選択するためのメニューや、現在の話題に関する関連資料を表示してもよい。
　話題管理部２１４は、デジタル対話の最中に、デジタル対話における話題を指定するための話題指定情報の入力を受け付ける機能部である。より具体的には、話題管理部２１４は、複数の話題候補を含む話題選択一覧を対話管理装置２１０によって生成されている対話インターフェースにおいて表示し、話者（例えば面接官等）からの入力に基づいて、話題選択一覧から選択された第１の話題タグと、第１の話題の第１の開始時刻と、第１の話題の第１の終了時刻とを話題指定情報として受け付けてもよい。
　その後、話題管理部２１４は、受け付けた第１の話題の第１の開始時刻と、第１の話題の第１終了時刻とに対応する第１の対話記録部分に対して、第１の話題タグを対応付けてもよい。話題管理部２１４は、デジタル対話が終了するまで、話者からの話題指定情報の入力を受け付け、指定されている話題タグを指定されている対話記録部分に対して対応付けることで、話題毎にラベル付けされた対話記録を得ることができる。ここでの対話記録部分とは、対話記録における一部分を意味する。
　対話編集部２１６は、デジタル対話が終了した後、話題管理部２１４によって取得された話題指定情報に基づいて対話管理装置２１０によって記録された対話記録を編集することで、話題毎に整理した編集済み対話記録を生成する機能部である。より具体的には、対話編集部２１６は、話題毎にラベル付けされた対話記録から、同一の話題タグ（例えば、第１の話題タグ）に対応付けられている対話記録部分を抽出し、まとめることで、話題毎に整理した編集済み対話記録を生成してもよい。
　ここで、「対話記録部分を抽出し、まとめる」との表現は、例えば、各話題タグに対応している対話記録部分を、既存の映像又は音声編集手段を用いて対話記録から切り出し、同一の話題タグに対応する対話記録部分を一つのグループとして結合することを意味する。それぞれのグループにおける対話記録部分は時間順に並べられてもよく、予め決まった話題の優先順位に基づいて並べられてもよい。
　なお、以上では、対話管理装置２１０に含まれる機能部の概要及び主な機能について説明したが、本開示はこれに限定されず、後述するように、他の機能を有してもよい。
　また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェア（例えば、図１に示す対話管理アプリケーション１５０）の情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、０又は１で構成される２進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行されうる。
　第１の対話装置２２０及び第２の対話装置２３０は、デジタル対話に参加する話者によって用いられる端末であり、通信ネットワーク２２５を介して対話管理装置２１０によって提供されるデジタル対話プラットフォームに接続する。第１の対話装置２２０及び第２の対話装置２３０は、デジタル対話において送受信される音声情報及び／又は映像情報を取得・提供するための機能を有する端末であり、例えばスマートフォン、タブレット、パソコン等であってもよい。より具体的には、第１の対話装置２２０及び第２の対話装置２３０は、対話インターフェース部２１２によって生成される対話インターフェースを画面に表示し、ユーザからの情報入力（例えば話題指定情報の入力）を受け付けるように構成されてもよい。
　なお、図２では、説明の便宜上、対話装置を２つ含む対話管理システム２００の構成を一例として示しているが、実際には、対話装置の数はデジタル対話に参加する話者の人数に応じて決まってもよい。
　以上説明したように構成した対話管理システム２００によれば、話題毎に整理した編集済み対話記録を生成することで、話題が様々に展開される場合であっても、対話記録において、関心のある部分を速やかに特定することが可能となる。
　なお、図２では、対話管理装置２１０は、対話インターフェース部２１２と、話題管理部２１４及び対話編集部２１６の機能が通信ネットワーク２２５を介してアクセス可能な対話管理装置２１０において実施される場合を一例として説明したが、本開示はこれに限定されず、例えば対話インターフェース部２１２と、話題管理部２１４及び対話編集部２１６が第１の対話装置２２０及び第２の対話装置２３０上に作動するソフトウェアによって実施される構成も可能である。
　次に、図３を参照して、本開示の実施形態に係る話題毎の対話記録生成処理（以下、「話題毎対話記録生成処理」ということがある。）について説明する。
　図３は、本開示の実施形態に係る話題毎対話記録生成処理３００の流れの一例を示す図である。図３に示す話題毎対話記録生成処理３００は、話題毎に整理した編集済み対話記録を生成するための処理であり、上述した対話管理装置２１０における対話インターフェース部２１２、話題管理部２１４及び対話編集部２１６によって実施される。
　まず、ステップＳ３０４では、対話インターフェース部２１２は、話題選択一覧３０２の情報を取得し、取得した話題選択一覧３０２を含む対話インターフェース３０６を描画する。話題選択一覧３０２は、複数の話題候補を含む情報であり、デジタル対話を行う前に、例えばデジタルの主催者等によって予め作成されてもよい。話題選択一覧３０２に含まれる話題候補は、例えば、特定のデジタル対話において議論する予定の議題情報等に基づいて作成されてもよい。一例として、デジタル対話が企業の採用面接の場合、話題選択一覧３０２は、例えば「前職での人付き合い」や「前職で担当した案件」等を含んでもよい。
　ここで、対話インターフェース部２１２は、各話者の映像、テキストチャットのウインドウ、カメラ及びマイクロフォンの設定項目等に加えて、取得した話題選択一覧３０２を含む対話インターフェース３０６を生成してもよい。上述したように、この対話インターフェース３０６は、デジタル対話に参加している話者の対話装置（第１の対話装置２２０及び第２の対話装置２３０）に表示されてもよい。
　次に、ステップＳ３１２では、対話インターフェース部２１２は、対話記録３０８を取得し、話題管理部２１４は、話題指定情報３１０を取得する。ここで、対話記録３０８及び話題指定情報３１０を含む情報のセットは、「対話情報３１４」と総称する。
　対話記録３０８は、デジタル対話を記録した情報であり、音声情報、映像情報、又はその両方を含んでもよい。例えば、デジタル対話が電話で行われた場合、対話記録３０８は、デジタル対話に参加した話者からの音声情報を録音した記録であってもよく、デジタル対話が動画通話の場合、対話記録３０８は、デジタル対話に参加した話者からの音声情報及び映像情報を録音・録画した記録であってもよい。
　話題指定情報３１０は、対話インターフェース３０６において表示される話題選択一覧３０２から選択された第１の話題タグと、第１の話題の第１の開始時刻と、第１の話題の第１の終了時刻とを含む情報である。
　ここで、話題管理部２１４は、話題選択一覧３０２に対する話者（例えば面接官等）からの入力に基づいて、話題選択一覧３０２から選択された第１の話題タグと、第１の話題の第１の開始時刻と、第１の話題の第１の終了時刻とを話題指定情報として受け付けることとしてもよい。その後、話題管理部２１４は、受け付けた第１の話題の第１の開始時刻と、第１の話題の第１終了時刻とに対応する第１の対話記録部分に対して、第１の話題タグを対応付けてもよい。話題管理部２１４は、デジタル対話が終了するまで、話者からの話題指定情報の入力を受け付け、指定されている話題タグを指定されている対話記録部分に対して対応付けることで、話題毎にラベル付けされた対話記録を得ることができる。
　なお、本開示では、デジタル対話中、特定の話者から取得した全ての話題指定情報の集合を「話題選択履歴」という。
　次に、ステップＳ３１６では、対話編集部２１６は、ステップＳ３１２で取得された対話情報に基づいて、話題毎に整理した編集済み対話記録を生成する。デジタル対話が終了した後、対話編集部２１６は、話題指定情報３１０に基づいて対話記録３０８を編集することで、話題毎に整理した編集済み対話記録を生成する。より具体的には、対話編集部２１６は、話題毎にラベル付けされた対話記録から、同一の話題タグ（例えば、第１の話題タグ）に対応付けられている対話記録部分を抽出し、まとめることで、話題毎に整理した編集済み対話記録を生成してもよい。
　以上説明した話題毎対話記録生成処理３００によれば、話題毎に整理した編集済み対話記録を生成することができるため、話題が様々に展開される場合であっても、対話記録において、関心のある部分を速やかに特定することが可能となる。
　次に、図４を参照して、本開示の実施形態に係る対話インターフェース及び編集済み対話記録について説明する。
　図４は、本開示の実施形態に係る対話インターフェース３０６及び編集済み対話記録３１８の一例を示す図である。
　図４に示すように、対話インターフェース３０６において、デジタル対話の相手の映像４０５や、上述した話題選択一覧３０２が表示される。また、話題選択一覧３０２において、「前職での人付き合い」や「前職で担当した案件」等の話題候補の話題タグが含まれる。対話インターフェース３０６を用いてデジタル対話に参加している話者（例えば、第１の話者）は、デジタル対話がリアルタイムで進んでいる最中に、現在の話題（第１の話題）に対応する話題タグ（第１の話題タグ）を選択してもよい。これにより、選択された第１の話題タグが、対話記録における現在時刻（第１の話題の第１の開始時刻）に対応付けられる。
　また、デジタル対話が進むにつれて、話題が変わる度に、話者は、話題選択一覧３０２から新たな話題タグ（第２の話題タグ）を選択してもよい。そして、選択された第２の話題タグが、対話記録における現在時刻（第１の話題の第１の終了時刻及び第２の話題の第１の開始時刻）に対応付けられると共に、第１の話題が終了したと仮定される。
　デジタル対話が終了するまで、話者からの話題指定情報の入力を受け付け、指定されている話題タグを指定されている対話記録部分に対して対応付けることで、話題毎にラベル付けされた対話記録を得ることができる。
　また、デジタル対話が終了した後、対話編集部２１６は、話題毎にラベル付けされた対話記録から、同一の話題タグ（例えば、第１の話題タグや第２の話題タグ）に対応付けられている対話記録部分を抽出し、まとめることで、図４に示す話題毎に整理した編集済み対話記録３１８を生成してもよい。
　例えば、対話記録において、「前職での人付き合い」との第１の話題タグが、００：００－０２：００に対応する第１の対話記録部分と、０３：３０－０４：００に対応する第３の対話記録部分に対応付けられ、「前職で担当した案件」との第２の話題タグが０２：００－０３：３０に対応する第２の対話記録部分に対応付けられている場合があるとする。この場合、対話編集部２１６は、対話記録を編集することで、第１の話題タグに対応付けられている第１の対話記録部分及び第３の対話記録部分を時間順に基づいて連結させ、第２の話題タグに対応付けられている第２の対話記録部分を第３の対話記録部分の後方に連結させ、話題毎に整理した編集済み対話記録３１８を生成してもよい。
　なお、対話記録３１８における話題の順番は、例えば話題がデジタル対話において登場した順番としてもよいし、予め決定された優先順位に基づいた順番としてもよい。
　次に、図５を参照して、本開示の実施形態に係る対話インターフェース描画処理の流れについて説明する。
　図５は、本開示の実施形態に係る対話インターフェース描画処理５００の流れの一例を示す図である。図５に示す対話インターフェース描画処理５００は、話題選択一覧３０２や対話の相手の映像等を含む対話インターフェースを生成するための処理であり、上述した対話管理装置２１０における対話インターフェース部２１２及び話題管理部２１４によって実施される。
　上述したように、本開示の一態様では、対話を実施している最中に、現在の話題を予め用意された候補から選択するための話題選択一覧３０２を対話インターフェース３０６において表示し、現在の話題を示す話題タグと、現在の話題の開始時刻及び終了時刻とを指定する話題指定情報の入力を対話の参加者から受け付ける。
　しかし、話題指定情報を入力する際、話題選択一覧３０２において多数の話題候補が表示される場合、所望の話題を探して選択することは手間を要することがある。そこで、本開示の実施形態に係る対話インターフェース描画処理５００の一態様は、現在の話題に関連性が高い話題候補を話題選択一覧３０２において強調表示するための話題整形処理に関する。これにより、所望の話題を探して選択する手間が省け、話題指定情報を入力する対話の参加者は、現在の話題に関連性が高い話題候補を容易に選択することができる。
　また、対話を行う際、対話に参加する話者は、対話における特定の内容を評価又は分析したい場合がある。一例として、対話が企業の採用面接の場合、対話に参加する話者である面接官は、候補者の適正や能力等について、所定の評価項目を評価したい場合が考えられる。したがって、対話インターフェース描画処理５００のもう一態様は、現在の話題に関連性が高い関連資料（例えば、評価項目の評価基準等）を対話インターフェース３０６において表示することに関する。これにより、対話の参加者は、対話を行いながら関連性の高い資料を容易に確認することが可能となる。
　まず、ステップＳ５１０では、話題管理部２１４は、話題遷移データ５０２と、話題選択一覧３０２とを入力し、入力した話題遷移データ５０２及び話題選択一覧３０２に基づいて、現在の話題に関連性が高い話題候補を話題選択一覧３０２において強調表示するための話題整形処理を行う。また、ここで、話題管理部２１４は、上述した入力情報に加えて、以前に取得した対話情報５２４を入力してもよい。
　ここでの話題遷移データ５０２は、ある話題（第１の話題）から別の話題（第２の話題）への遷移に関する情報であり、例えば現在の話題を識別するための対話ＩＤと、当該遷移を識別するための遷移ＩＤと、それぞれの話題を識別するための話題ＩＤと、対話の内容を示す対話内容（本開示において、「照合テキスト情報」ともいう）と、補正前の話題開始時刻（第１の話題の第１の開始時刻）、補正前の話題終了時刻（第１の話題の第１の終了時刻）、補正後の話題開始時刻（第１の話題の第２の開始時刻）、補正後の話題終了時刻（第１の話題の第２の終了時刻）を含んでもよい。
　話題選択一覧３０２については、上述したため、ここではその説明を省略する。
　なお、現在の話題に関連性が高い話題候補を話題選択一覧３０２において強調表示するための話題整形処理の詳細については後述するため、ここではその説明を省略する。
　ステップＳ５１２では、話題管理部２１４は、関連資料５０６と、評価項目・話題対応表５０８とを入力し、入力した関連資料５０６と、評価項目・話題対応表５０８とに基づいて、現在の話題に関連性が高い関連資料を対話インターフェース３０６に表示するための関連情報整形処理を行う。
　また、ここで、話題管理部２１４は、上述した入力情報に加えて、以前に取得した対話情報５２４を入力してもよい。
　ここでの関連資料５０６は、デジタル対話より前に作成され、デジタル対話に関連する資料であり、例えばデジタル対話の議題に関連するプレゼンテーション資料や、参考資料等であってもよい。一例として、デジタル対話が採用面接の場合、この関連資料５０６は、候補者に対して実施したアンケートへの回答や、候補者の職務経歴書等を含んでもよい。
　評価項目・話題対応表５０８は、話題と評価項目との対応関係を示す表形式の情報である。一例として、デジタル対話が採用面接の場合、評価項目・話題対応表５０８は、「前職で担当した案件」との話題が「業務経験」との評価項目に対応することを示してもよい。
　なお、現在の話題に関連性が高い関連資料を対話インターフェース３０６に表示するための関連情報整形処理の詳細については後述するため、ここではその説明を省略する。
　次に、ステップＳ５１４では、対話インターフェース部２１２は、ステップＳ５１０の話題整形処理及びステップＳ５１２の関連情報整形処理から取得した情報に基づいて、対話インターフェース３０６を描画する。
　上述したように、ここで、対話インターフェース部２１２は、各話者の映像、テキストチャットのウインドウ、カメラ及びマイクロフォンの設定項目等に加えて、現在の話題に関連性が高い話題候補を強調表示した話題選択一覧３０２と、現在の話題に関連性が高い関連情報とを含む対話インターフェース３０６を生成してもよい。この対話インターフェース３０６は、デジタル対話に参加している話者の対話装置（第１の対話装置２２０及び／又は第２の対話装置２３０）に表示されてもよい。
　次に、ステップＳ５１６では、対話インターフェース部２１２は、対話記録３０８及び参加者メモ５２２を取得し、話題管理部２１４は、話題指定情報３１０を取得する。ここで、対話記録３０８、参加者メモ５２２及び話題指定情報３１０を含む情報のセットは、「対話情報」５２４と総称する。
　上述したように、対話記録３０８は、デジタル対話を記録した情報であり、音声情報、映像情報、又はその両方を含んでもよい。
　また、上述したように、話題指定情報３１０は、対話インターフェース３０６において表示される話題選択一覧３０２から選択された第１の話題タグと、第１の話題の第１の開始時刻と、第１の話題の第１の終了時刻とを含む情報である。
　参加者メモ５２２は、対話インターフェース３０６において、デジタル対話に参加している話者によって入力されたノートである。この参加者メモ５２２の情報は、話題毎に記録されてもよい。
　ここで取得される対話情報５２４は、ステップＳ５１０の話題整形処理及びステップＳ５１２の関連情報整形処理へフィードバックされる。このように、以降に実施された話題整形処理及び関連情報整形処理は、対話情報５２４を用いることで、より精度の高い話題整形の結果及び関連情報整形の結果を提供することができる。
　次に、図６を参照して、本開示の実施形態に係る話題整形処理及び関連情報整形処理について説明する。
　図６は、本開示の実施形態に係る話題整形処理及び関連情報整形処理を説明するための図である。図６には、話題整形処理を用いて作成された対話インターフェース６１０の一例と、関連情報整形処理を用いて作成された対話インターフェース６２０の一例とが示されている。
　上述したように、話題整形処理は、現在の話題に関連性が高い話題候補を話題選択一覧３０２において強調表示するための処理であり、話題管理部２１４によって実施される。
　ここで、対話インターフェース部２１２は、所定の親近基準（例えば現時点から遡って所定の期間を指定する基準）を満たす第１の発話（例えば、直近１０秒間以内に発せられた発言）を取得し、この第１の発話をテキスト情報に変換することで第１の発話テキスト情報を生成する。この第１の発話は、デジタル対話に参加している話者のいずれかに発せられた発言であってもよい。また、この第１の発話をテキスト情報に変換するために、既存の自動音声認識手段を用いてもよい。
　次に、話題管理部２１４は、第１の発話テキスト情報と、話題選択一覧３０２に含まれる話題候補との関連度を判定する。ここで、関連度を判定する方法として、以下の２通りの内のいずれかを用いてもよい。
　１通り目の関連度判定方法では、話題管理部２１４は、事前に収集された話題遷移データの中から、現在の話題遷移に対応する話題遷移データを検索する。その後、話題管理部２１４は、検索した話題遷移データに含まれ、話題選択一覧３０２の話題候補のそれぞれに対応付けられている照合テキスト情報と、第１の発話テキスト情報とを、比較することで、第１の発話の、複数の話題候補のそれぞれに対する関連度を一致する単語数に基づいて計算する。ここでの照合テキストは、特定の話題候補に関連性が高いと判断され、当該話題を話す際に登場する確率が高いと予測され、事前に用意したテキスト情報であり、上述した話題遷移データに含まれる情報である。
　また、ここでは、一致する単語数の他にも、自然言語処理によって判定される意味的情報の類似度を用いて第１の発話テキスト情報と、話題選択一覧３０２に含まれる話題候補との関連度を判定してもよい。
　また、２通り目の関連度判定方法では、話題管理部２１４は、事前に収集された話題遷移データの中から、現在の話題遷移に対応する話題遷移データを検索し、検索した話題遷移データによって指定される次の遷移先に対応する話題候補を関連度の高い話題候補として出力してもよい。
　このように、第１の発話テキスト情報と、話題遷移データとに基づいて、現在の対話の内容と、話題候補との関連性を判定することができる。
　次に、話題管理部２１４は、第１の発話との関連度が所定の関連度基準を満たす話題候補（例えば、関連度が最も高い候補等）を判定し、対話インターフェース部２１２は、判定した話題候補を話題選択一覧３０２において強調表示する。
　図６に示すように、対話インターフェース部２１２は、話題整形処理を用いて作成された対話インターフェース６１０において、第１の発話との関連度が所定の関連度基準を満たす話題候補について、上位の位置に表示してもよく、色を変えて強調表示してもよく、「推奨」等の文字タグを追加して強調表示してもよく、強調表示の方法は特に限定されない。また、対話インターフェース６１０に示すように、対話インターフェース部２１２は、一定の関連度を有する他の話題候補について「候補」等の文字タグを表示してもよい。
　また、上述したように、関連情報整形処理は、現在の話題に関連性が高い関連資料を対話インターフェースに表示するための処理であり、話題管理部２１４によって実施される。
　ここで、話題管理部２１４は、話題整形処理と同様に、所定の親近基準（例えば現時点から遡って所定の期間を指定する基準）を満たす第２の発話（例えば、直近１０秒間以内に発せられた発言）を取得し、当該第２の発話をテキスト情報に変換することで第２の発話テキスト情報を生成してもよい。この第２の発話は、デジタル対話に参加している話者のいずれかに発せられた発言であってもよい。また、この第２の発話をテキスト情報に変換するために、既存の自動音声認識手段を用いてもよい。
　次に、話題管理部２１４は、第２の発話テキスト情報を、現在のデジタル対話に関連する関連資料に比較することで、第２の発話の、関連資料に含まれる項目のそれぞれに対する関連度を計算する。ここで、第２の発話の、関連資料に含まれる複数の項目のそれぞれに対する関連度を計算するためには、対話インターフェース部２１２は、関連資料に含まれる項目毎に、第２の発話テキスト情報と一致する単語数に基づいて計算してもよく、自然言語処理によって得られる意味的情報の類似度に基づいて計算してもよい。
　次に、話題管理部２１４は、第２の発話との関連度が所定の関連度基準を満たす関連資料の項目（例えば、関連度が最も高い項目等）を判定し、対話インターフェース部２１２は、判定した項目を対話インターフェース３０６において表示する。
　図６に示すように、対話インターフェース部２１２は、関連情報整形処理を用いて作成された対話インターフェース６２０において、第２の発話との関連度が所定の関連度基準を満たす関連資料の項目６２６として、事前に実施されたアンケートへの回答を表示してもよい。また、対話インターフェース部２１２は、対話インターフェース６２０において、デジタル対話に参加している話者によって入力された参加者メモ５２２を入力するウインドウを表示してもよい。
　更に、本開示の一態様において、表示される関連資料の項目６２６の情報が対話インターフェース６２０に収まらない場合、対話インターフェース部２１２は、デジタル対話の現在の話題の内容に基づいて、関連資料の項目６２６を自動的にスクロールしてもよい。ここで、対話インターフェース部２１２は、上述したように、現時点から遡って所定の時間以内に発せられた発話をテキスト情報に変換し、当該テキスト情報と関連資料の項目６２６とで一致する単語数が最も高い関連資料の項目６２６を容易に視認可能な位置となるようにスクロールを行ってもよい。
　上述した話題整形処理によれば、話題指定情報を入力する際、話題選択一覧３０２において多数の話題候補が表示される場合であっても、現在の話題に関連性が高い話題候補を話題選択一覧３０２において強調表示することができる。これにより、所望の話題を探して選択する手間が省け、話題指定情報を入力する対話の参加者は、現在の話題に関連性が高い話題候補を容易に選択することができる。
　また、上述した関連情報整形処理によれば、現在の話題に関連性が高い関連資料を対話インターフェース３０６において表示することができる。これにより、対話の参加者は、対話を行いながら関連性の高い資料を容易に確認することが可能となる。
　次に、図７を参照して、本開示の実施形態に係る対話記録タイミング補正処理について説明する。
　図７は、本開示の実施形態に係る対話記録タイミング補正処理７００の流れの一例を示す図である。図７に示す対話記録タイミング補正処理７００は、デジタル対話の参加者である話者によって指定された話題の開始及び終了時刻（第１の開始及び終了時刻）を、より正確な時刻（第２の開始及び終了時刻）に補正するための処理であり、対話管理装置２１０における対話編集部２１６によって実施される。
　上述したように、本開示の一態様では、対話を実施している最中に、現在の話題を予め用意された候補から選択するための話題選択一覧３０２を対話インターフェース３０６において表示し、現在の話題を示す話題タグと、現在の話題の開始時刻及び終了時刻とを指定する話題指定情報の入力を対話の参加者から受け付ける。
　しかし、話題指定情報を入力する際、話者によって指定された話題の開始時刻及び終了時刻が実際の話題の開始時刻及び終了時刻からずれてしまうことがある。これは、例えば、話者が誤って新たな話題の開始時刻を早く選択した場合や、話者が話題の開始時刻の選択を忘れてしまい、遅れて選択した場合等が考えられる。
　そこで、本開示の実施形態に係る対話記録タイミング補正処理７００の一態様は、デジタル対話の参加者である話者によって指定された話題の開始及び終了時刻を、より正確な時刻に補正することに関する。話題のより正確な変更時刻は、例えば対話記録に示される話者の表情の変化、口の動き、単語の変化等を解析することで判定することができる。このように、話題の開始及び終了時刻を、より正確な時刻に補正することで、より正確にラベル付けされた編集済み対話記録を生成することができる。
　まず、ステップＳ７０４では、対話編集部２１６は、後述する話題無効判定に用いられる最小話題時間７０６を、話題遷移データ５０２及び最小話題時間算出係数７０２に基づいて計算する。
　対話記録タイミング補正処理７００を行う際、デジタル対話の参加者である話者によって指定された話題の開始及び終了時刻を、より正確な時刻に補正するためには、所定の長さ閾値を満たさない話題（つまり、話が短すぎる話題）を排除することが望ましい。最小話題時間７０６は、タイミング補正を行うに当たって有効な話題及び無効な話題を区別するための長さ閾値を示す情報である。以下では、説明の便宜上、特定の話題の開始時刻から終了時刻までの時間を「話題時間」という。
　この最小話題時間７０６は、事前に管理者等により設定されてもよく、話題遷移データ５０２及び最小話題時間算出係数７０２から計算されてもよい。この場合、対話編集部２１６は、事前に収集された話題遷移データの中から、最も短い話題時間を、当該話題遷移データに含まれる補正前・補正後の時刻に基づいて判定し、判定した最も短い話題時間に対して、予め設定された最小話題時間算出係数７０２を掛算することで最小話題時間７０６を計算してもよい。
　ステップＳ７０８では、対話編集部２１６は、話題遷移データ５０２に基づいて、補正前後話題変更タイミング差分７１０を計算する。
　対話記録タイミング補正処理７００を行う際、デジタル対話の参加者である話者によって指定された話題の開始及び終了時刻を、話者によって指定された話題の開始及び終了時刻との差分が小さい話題変更タイミング候補に補正することが望ましい。したがって、ここでは、対話編集部２１６は、話題変更タイミング候補の内、話者によって指定された話題の開始及び終了時刻との差分が大きい話題変更タイミング候補を排除するための閾値として、補正前後話題変更タイミング差分７１０を計算する。
　ここで、対話編集部２１６は、補正前後話題変更タイミング差分７１０を、過去の話題遷移データ５０２における補正前の話題開始時刻及び話題終了時刻と、補正後の話題開始時刻及び話題終了時刻との差分の平均値を算出し、算出した平均値を補正前後話題変更タイミング差分７１０（時刻差分閾値）としてもよい。
　ステップＳ７１４では、対話編集部２１６は、対象の対話記録の話題選択履歴７１２（つまり、当該対話記録について指定された全ての話題開始時刻及び話題終了時刻を示す情報）に基づいて、話題毎の話題時間を算出する。一例として、対話編集部２１６は、第１の話題の話題時間が３分４７秒であり、第２の話題の話題時間が２７秒であり、第３の話題の話題時間が８分１６秒であると判定し、これらの情報を話題毎時間７１６として出力してもよい。
　ステップＳ７１８では、対話編集部２１６は、ステップＳ７０４で計算された最小話題時間７０６と、ステップＳ７１４で計算された話題毎時間７１６とに基づいて、話題無効判定を行う。ここでの話題無効判定とは、タイミング補正を行うに当たって有効な話題及び無効な話題を区別するための判定である。対話編集部２１６は、ステップＳ７１４で計算された話題毎時間７１６を、ステップＳ７０４で計算された最小話題時間７０６に比較することで、対話記録に含まれる話題毎に、当該話題の話題時間が最小話題時間７０６を満たすか否かを判定する。最小話題時間７０６を満たさない話題を無効な話題として排除し、最小話題時間７０６を満たす話題のみを含む有効話題選択履歴７２０を出力する。
　ステップＳ７２４では、対話編集部２１６は、対話記録３０８を解析することで、話題の新たな開始時刻及び終了時刻（つまり、デジタル対話の参加者である話者によって指定された話題の開始及び終了時刻より正確な開始時刻及び終了時刻）の候補である話題変更タイミング候補７２６を判定する。ここで、対話編集部２１６は、所定の顔認識手段や音声分析手段を用いて対話記録３０８を解析してもよい。例えば、対話編集部２１６は、話者の話し出し、表情の変化、及び／又は単語の変化を話者分離、音声分析、自動音声認識等の解析手段で解析することで話題変更タイミング候補７２６を判定してもよい。
　ステップＳ７３０では、対話編集部２１６は、ステップＳ７０８で計算された補正前後話題変更タイミング差分７１０と、ステップＳ７１８で生成された有効話題選択履歴７２０と、ステップＳ７２４で計算された話題変更タイミング候補７２６とに基づいて、補正後話題選択履歴７３２を生成する。
　より具体的には、対話編集部２１６は、有効話題選択履歴７２０において、話題変更タイミング候補７２６との差分が補正前後話題変更タイミング差分７１０以内の話題開始・終了時刻が存在する場合、当該話題開始・終了時刻を、話題変更タイミング候補７２６に補正する。
　一例として、有効話題選択履歴７２０において、話者によって指定された第１の話題の開始時刻として「０１：３０」が含まれており、話題変更タイミング候補７２６において、第１の話題の開始時刻の変更タイミング候補として「０１：２８」、「０２：３０」、「０３：３０」が含まれており、補正前後話題変更タイミング差分７１０が「５秒」である場合を検討する。この場合、「０１：２８」との変更タイミング候補は、「０１：３０」との話者によって指定された第１の話題の開始時刻との差分が補正前後話題変更タイミング差分７１０に規定される「５秒」以内であるため、「０１：２８」との変更タイミング候補が採用され、「０１：３０」との第１の話題の開始時刻が「０１：２８」へ補正される。
　以上説明した処理を、有効話題選択履歴７２０に含まれる全ての話題開始・終了時刻に対して実施することで、デジタル対話の参加者である話者によって指定された話題の開始及び終了時刻を、より正確な時刻に補正した補正後話題選択履歴７３２を生成することができる。
　次に、ステップＳ３１６では、対話編集部２１６は、ステップＳ７３０で生成された補正後話題選択履歴７３２に基づいて対話記録３０８を編集することで、デジタル対話の参加者である話者によって指定された話題の開始及び終了時刻がより正確な時刻に補正され、且つ話題毎に整理した編集済み対話記録３１８を生成する。
　上述した対話記録タイミング補正処理７００によれば、話者によって指定された話題の開始時刻及び終了時刻が実際の話題の開始時刻及び終了時刻からずれてしまった場合において、話者によって指定された話題の開始時刻及び終了時刻を、顔認識や音声分析等の解析手段によって判定された時刻に補正することで、より正確にラベル付けされた編集済み対話記録を生成することができる。
　次に、図８を参照して、本開示の実施形態に係る有用話題遷移データ登録処理について説明する。
　図８は、本開示の実施形態に係る有用話題遷移データ登録処理８００の流れの一例を示す図である。図８に示す有用話題遷移データ登録処理８００は、有用話題遷移データを登録するための処理であり、対話管理装置２１０における対話編集部２１６によって実施される。
　上述した対話インターフェース描画処理５００及び対話記録タイミング補正処理７００において、ある話題（第１の話題）から別の話題（第２の話題）への遷移に関する情報を示す話題遷移データ５０２が用いられる。例えば、対話インターフェース描画処理５００においては、話題遷移データ５０２は、現在の話題に関連性が高い話題候補を話題選択一覧３０２において強調表示するための話題整形処理に用いられる。また、対話記録タイミング補正処理７００においては、話題遷移データ５０２は、適切な補正前後話題変更タイミング差分７１０を計算するために用いられる。
　しかし、話題遷移が適切でない（例えば、話題遷移が論理的に不自然な）話題遷移データ５０２を用いると、上述した処理の精度が低下してしまうことがある。そこで、本開示の実施形態に係る有用話題遷移データ登録処理８００は、適切な話題遷移を含み、対話インターフェース描画処理５００及び対話記録タイミング補正処理７００の精度を向上させる有用な話題遷移データを選別し、登録することに関する。
　まず、ステップＳ８０２では、対話編集部２１６は、編集済み対話記録３１８、関連資料５０６、評価項目・話題対応表５０８及び参加者メモ５２２とに基づいて、評価項目毎に整理した対話記録である評価項目毎対話記録８０４を生成する。この評価項目毎対話記録８０４は、評価項目毎に整理されている点において、話題毎に整理した編集済み対話記録３１８と異なる。
　より具体的には、対話編集部２１６は、編集済み対話記録３１８、関連資料５０６、評価項目・話題対応表５０８及び参加者メモ５２２とに基づいて、同一の評価項目に該当する話題を特定し、特定した話題に対応する対話記録部分をまとめることで評価項目毎対話記録８０４を生成してもよい。この評価項目毎対話記録８０４において、複数の異なる話題が同一の評価項目に対応する場合、これらの複数の話題が１つの「話題グループ」として結合されてもよい。
　次に、ステップＳ８０６では、対話編集部２１６は、評価項目毎対話記録８０４に基づいて、評価項目毎の話題グループの確信度である評価項目毎確信度８０８を計算する。ここでの評価項目毎確信度８０８は、評価項目毎対話記録８０４における各話題グループ毎に、当該話題グループが所定の評価項目を評価するための有用性を示す尺度である。
　ここで、評価項目毎確信度８０８を計算する方法として、以下の２通りの内のいずれかを用いてもよい。
　１通り目では、対話編集部２１６は、過去の評価項目毎対話記録８０４からの特徴量（例えば、表情の特徴、音声の特徴）及び当該評価項目毎対話記録８０４に対応する評価結果を学習データとして、ｘｇｂｏｏｓｔ等を用いて予測モデルを学習しておく。その後、このように学習した予測モデルに対して、処理対象の評価項目毎対話記録８０４を入力し、評価項目毎対話記録８０４の特徴量を算出する（フレームごとに表情や音声を識別し、表情又は音声毎のフレーム数を算出する）際の予測モデルの確信度を評価項目毎確信度８０８としてもよい。
　２通り目では、対話編集部２１６は、上述したように学習した予測モデルを用いて、評価項目毎対話記録８０４からの新規の特徴量（例えば、表情の特徴、音声の特徴）を算出し、評価結果を予測し、予測モデルの予測確率を評価項目毎確信度８０８としてもよい。
　次に、ステップＳ８１０では、対話編集部２１６は、評価項目毎確信度８０８に基づいて、話題毎の確信度を示す話題毎確信度８１２を計算する。上述したように、評価項目毎確信度８０８は、各評価項目に該当する複数の話題を結合した話題グループ毎の確信度を示す値であるが、有用性の高い話題遷移データを選別するためには、各話題毎の確信度を算出することが望ましい。
　ここで、対話編集部２１６は、評価項目毎確信度８０８に示す話題グループ毎の確信度を話題毎に平均することで話題毎確信度８１２を計算してもよい。
　一例として、第１の評価項目について、第１の話題及び第３の話題からなる第１の話題グループの確信度が「０．３」であり、第２の評価項目について、第２の話題及び第３の話題からなる第２話題グループの確信度が「０．８」であるとする。
　この場合、第１の話題は、第１の評価項目に対応する第１の話題グループのみに登場するため、確信度が「０.３」となる。また、第２の話題は、第２の評価項目に対応する第２の話題グループのみに登場するため、確信度が「０.８」となる。また、第３の話題は、第１の評価項目に対応する第１の話題グループ及び第２の評価項目に対応する第２の話題グループの両方に登場するため、確信度が「０．３」と「０．８」との平均値である「０．５５」となる。
　次に、ステップＳ８１６では、対話編集部２１６は、ステップＳ８１０で計算した話題毎確信度８１２と、予め設定される話題毎確信度遷移閾値８１４と、上述した対話記録タイミング補正処理７００において生成された補正後話題選択履歴７３２とに基づいて、有用な話題遷移データ５０２を選別する。ここで、対話編集部２１６は、ステップＳ８１０で話題毎確信度８１２を計算した話題を用いて全ての組み合わせを生成し、各組み合わせについて、話題毎確信度８１２の平均値を、当該組み合わせを話題遷移とした場合の有用性を示す話題遷移確信度とする。
　一例として、確信度が「０．３」である第１の話題と確信度が「０．８」である第２の話題とからなる組み合わせの場合、第１の話題から第２の話題へ遷移した場合の有効性を示す話題遷移確信度は、「０．３」と「０．８」との平均値である「０．５５」となる。また、確信度が「０．８」である第２の話題と確信度が「０．５５」である第３の話題とからなる組み合わせの場合、第２の話題から第３の話題へ遷移した場合の有効性を示す話題遷移確信度は、「０．８」と「０．５５」との平均値である「０．６７５」となる。
　話題遷移確信度を計算した後、対話編集部２１６は、予め設定した話題毎確信度遷移閾値８１４以上の話題遷移確信度を有する話題の組み合わせを有効な話題遷移データ５０２として登録し、予め設定した話題毎確信度遷移閾値８１４未満の話題遷移確信度を有する話題の組み合わせを対話記録タイミング補正処理７００から除去する。
　ここで、対話編集部２１６は、例えば、有効と判定された話題遷移データ５０２を、対話インターフェース描画処理５００及び対話記録タイミング補正処理７００において使用可能なデータベースに保存しておくことで話題遷移データ５０２を登録してもよい。
　以上説明した有用話題遷移データ登録処理８００によれば、適切な話題遷移を含み、対話インターフェース描画処理５００及び対話記録タイミング補正処理７００の精度を向上させる有用話題遷移データを選別し、登録することができる。
　本開示の実施形態に係る対話管理手段によれば、例えば話題が様々に展開される対話であっても、話題毎に整理した、編集済み対話記録を生成することができる。
　また、本開示の実施形態の一態様によれば、現在の話題に関連性が高い話題候補を話題選択一覧において強調表示することができる。これにより、所望の話題を探して選択する手間が省け、話題指定情報を入力する対話の参加者は、現在の話題に関連性が高い話題候補を容易に選択することができる。
　また、本開示の実施形態の一態様によれば、現在の話題に関連性が高い関連資料（例えば、評価項目の評価基準等）を対話インターフェースにおいて表示することができる。これにより、対話の参加者は、対話を行いながら関連性の高い資料を容易に確認することが可能となる。
　更に、本開示の実施形態の一態様によれば、デジタル対話の参加者である話者によって指定された話題の開始及び終了時刻を、例えば対話記録に示される話者の表情の変化、口の動き、単語の変化等によって判定したより正確な時刻に補正することができる。これにより、より正確にラベル付けされた編集済み対話記録を生成することができる。
　以上、本発明の実施の形態について説明したが、本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
２００：対話管理システム、２１０：対話管理装置、２１２：対話インターフェース部、２１４：話題管理部、２１６：対話編集部、２２０：第１の対話装置、２２５：通信ネットワーク、２３０：第２の対話装置、３００：話題毎対話記録生成処理、５００：対話インターフェース描画処理、７００：対話記録タイミング補正処理、８００：有用話題遷移データ登録処理

Claims (12)

  1. 　対話管理装置であって、
    　複数の話者との間でデジタル対話を行うための対話インターフェースを提供し、前記デジタル対話の対話記録を取得する対話インターフェース部と、
    　前記デジタル対話の最中に、前記デジタル対話における話題を指定するための話題指定情報の入力を受け付ける話題管理部と、
    　前記話題指定情報に基づいて前記対話記録を編集することで、話題毎に整理した編集済み対話記録を生成する対話編集部と、
    　を含むことを特徴とする対話管理装置。
  2. 　前記対話記録は、
    　前記デジタル対話に対応する音声情報又は映像情報又はその両方を含む、
    　ことを特徴とする、請求項１に記載の対話管理装置。
  3. 　前記話題管理部は、
    　複数の話題候補を含む話題選択一覧を前記対話インターフェースにおいて表示し、
    　前記話者からの入力に基づいて、前記話題選択一覧から選択された第１の話題タグと、第１の話題の第１の開始時刻と、前記第１の話題の第１の終了時刻とを前記話題指定情報として受け付け、
    　前記第１の話題の第１の開始時刻と、前記第１の話題の第１終了時刻とに対応する第１の対話記録部分に対して、前記第１の話題タグを対応付ける、
    　ことを特徴とする、請求項１に記載の対話管理装置。
  4. 　前記対話編集部は、
    　前記対話記録を所定の解析手段によって解析することで、前記第１の話題の第２の開始時刻と、前記第１の話題の第２の終了時刻とを判定し、
    　前記第１の話題の第２の開始時刻と、前記話題指定情報に含まれる前記第１の話題の第１の開始時刻とを比較することで、前記第１の話題の第２の開始時刻と、前記第１の話題の第１の開始時刻との時刻差分を計算し、
    　過去の対話における話題間の遷移に関する情報を示す話題遷移データに基づいて、時刻差分閾値を計算し、
    　前記時刻差分が前記時刻差分閾値を満たす場合、前記第１の対話記録部分から前記第１の話題タグを削除すると共に、前記第１の話題タグを、前記第１の話題の第２の開始時刻と、前記第１の話題の第２の終了時刻とに対応する第２の対話記録部分に対して対応付ける、
    　ことを特徴とする、請求項３に記載の対話管理装置。
  5. 　前記対話編集部は、
    　前記対話記録から、前記第１の話題タグに対応付けられている対話記録部分を抽出し、まとめることで、話題毎に整理した編集済み対話記録を生成する、
    　ことを特徴とする、請求項３に記載の対話管理装置。
  6. 　前記解析手段は、
    　前記話者の表情の変化、口の動き、及び単語の変化のいずれか一方を解析するように構成された解析手段である、
    　ことを特徴とする、請求項４に記載の対話管理装置。
  7. 　前記話題管理部は、
    　前記話題遷移データの中から、前記第１の話題タグに対応する第１の話題遷移データを検索し、
    　検索した前記第１の話題遷移データによって指定される遷移先に対応する話題候補を判定し、
    　前記対話インターフェース部は、
    　判定した前記話題候補を前記話題選択一覧において強調表示する、
    　ことを特徴とする、請求項４に記載の対話管理装置。
  8. 　前記話題管理部は、
    　前記デジタル対話において、所定の親近基準を満たす第１の発話を取得し、前記第１の発話をテキスト情報に変換することで第１の発話テキスト情報を生成し、
    　前記話題遷移データの中から、前記第１の話題タグに対応し、前記話題選択一覧に含まれる前記複数の話題候補のそれぞれに対応付けられている照合テキスト情報を含む第２の話題遷移データを検索し、
    　前記第１の発話テキスト情報を、前記第２の話題遷移データに含まれる前記照合テキスト情報に比較することで、前記第１の発話の前記複数の話題候補のそれぞれに対する関連度を計算し、
    　前記第１の発話との前記関連度が所定の関連度基準を満たす話題候補を判定し、
    　前記対話インターフェース部は、
    　判定した前記話題候補を前記話題選択一覧において強調表示する、
    　ことを特徴とする、請求項４に記載の対話管理装置。
  9. 　前記話題管理部は、
    　前記デジタル対話において、所定の親近基準を満たす第２の発話を取得し、前記第２の発話をテキスト情報に変換することで第２の発話テキスト情報を生成し、
    　前記第２の発話テキスト情報を、前記デジタル対話に関連する関連資料に比較することで、前記第２の発話の、前記関連資料に含まれる複数の項目のそれぞれに対する関連度を計算し、
    　前記第２の発話との前記関連度が所定の関連度基準を満たす項目を判定し、
    　前記対話インターフェース部は、
    　判定した前記項目を前記対話インターフェースにおいて表示する、
    　ことを特徴とする、請求項１に記載の対話管理装置。
  10. 　前記対話編集部は、
    　話題毎に整理した前記編集済み対話記録と、評価の対象となる評価項目及び話題の対応関係を示す評価項目・話題対応表とに基づいて、評価項目毎に整理した評価項目毎対話記録を生成し、
    　前記評価項目毎対話記録を所定の解析手段によって解析することで、第１の話題及び第２の話題からなる話題グループの、評価項目を評価するための有用性を示す評価項目毎確信度を計算し、
    　前記評価項目毎確信度に基づいて、前記評価項目を評価するための有用性を示す第１の話題毎確信度及び第２の話題毎確信度を計算し、
    　前記第１の話題毎確信度と、前記第２の話題毎確信度とに基づいて、前記第１の話題から前記第２の話題への第１の話題遷移に関する第１の話題遷移確信度を計算し、
    　前記第１の話題遷移確信度が所定の話題遷移確信度基準を満たす場合、前記第１の話題遷移を、所定の評価項目を評価するため有用な話題遷移として判定し、登録する、
    　ことを特徴とする、請求項１に記載の対話管理装置。
  11. 　第１の話者に用いられる第１の対話装置と、第２の話者に用いられる第２の対話装置と、前記第１の話者及び前記第２の話者との間でデジタル対話を行うための対話管理装置とが通信ネットワークを介して接続される対話管理システムにおいて、
    　前記対話管理装置は、
    　前記第１の話者及び前記第２の話者との間でデジタル対話を行うための対話インターフェースを前記第１の対話装置及び前記第２の対話装置へ提供し、前記デジタル対話の対話記録を取得する対話インターフェース部と、
    　前記デジタル対話の最中に、前記デジタル対話における話題を指定するための話題指定情報の入力を受け付ける話題管理部と、
    　前記話題指定情報に基づいて前記対話記録を編集することで、話題毎に整理した編集済み対話記録を生成する対話編集部と、
    　を含むことを特徴とする対話管理システム。
  12. 　対話管理方法であって、
    　複数の話者との間でデジタル対話を行うための対話インターフェースを提供する工程と、
    　複数の話題候補を含む話題選択一覧を前記対話インターフェースにおいて表示する工程と、
    　前記デジタル対話の記録を開始する工程と、
    　前記話者からの入力に基づいて、前記話題選択一覧から選択された第１の話題タグと、第１の話題の第１の開始時刻と、前記第１の話題の第１の終了時刻とを話題指定情報として受け付ける工程と、
    　前記第１の話題の第１の開始時刻と、前記第１の話題の第１終了時刻とに対応する第１の対話記録部分に対して、前記第１の話題タグを対応付ける工程と、
    　前記デジタル対話の記録を終了し、対話記録を取得する工程と、
    　前記対話記録から、前記第１の話題タグに対応付けられている対話記録部分を抽出し、まとめることで、話題毎に整理した編集済み対話記録を生成する工程と、
    　を含むことを特徴とする対話管理方法。
PCT/JP2022/041906 2021-11-29 2022-11-10 対話管理装置、対話管理システム及び対話管理方法 WO2023095629A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021192783A JP2023079353A (ja) 2021-11-29 2021-11-29 対話管理装置、対話管理システム及び対話管理方法
JP2021-192783 2021-11-29

Publications (1)

Publication Number Publication Date
WO2023095629A1 true WO2023095629A1 (ja) 2023-06-01

Family

ID=86539492

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/041906 WO2023095629A1 (ja) 2021-11-29 2022-11-10 対話管理装置、対話管理システム及び対話管理方法

Country Status (2)

Country Link
JP (1) JP2023079353A (ja)
WO (1) WO2023095629A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000259389A (ja) * 1999-03-09 2000-09-22 Fuji Xerox Co Ltd 対話記録システム及び対話記録合成装置
JP2004007561A (ja) * 2002-04-15 2004-01-08 Sumitomo Electric Ind Ltd テレビ会議システム、それに含まれる端末装置、及びデータ配信方法
US20190132265A1 (en) * 2017-11-02 2019-05-02 Google Llc Automated assistants with conference capabilities
JP2019139572A (ja) * 2018-02-13 2019-08-22 キヤノン株式会社 会議システム、要約装置、会議システムの制御方法、要約装置の制御方法、並びにプログラム
JP2021117759A (ja) * 2020-01-27 2021-08-10 株式会社日立製作所 テキスト情報編集装置及びテキスト情報編集方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000259389A (ja) * 1999-03-09 2000-09-22 Fuji Xerox Co Ltd 対話記録システム及び対話記録合成装置
JP2004007561A (ja) * 2002-04-15 2004-01-08 Sumitomo Electric Ind Ltd テレビ会議システム、それに含まれる端末装置、及びデータ配信方法
US20190132265A1 (en) * 2017-11-02 2019-05-02 Google Llc Automated assistants with conference capabilities
JP2019139572A (ja) * 2018-02-13 2019-08-22 キヤノン株式会社 会議システム、要約装置、会議システムの制御方法、要約装置の制御方法、並びにプログラム
JP2021117759A (ja) * 2020-01-27 2021-08-10 株式会社日立製作所 テキスト情報編集装置及びテキスト情報編集方法

Also Published As

Publication number Publication date
JP2023079353A (ja) 2023-06-08

Similar Documents

Publication Publication Date Title
JP7464098B2 (ja) 電子会議システム
CN106685916B (zh) 电子会议智能装置及方法
US10860985B2 (en) Post-meeting processing using artificial intelligence
EP3309730A1 (en) Creating agendas for electronic meetings using artificial intelligence
EP3309731A1 (en) Managing electronic meetings using artificial intelligence and meeting rules templates
US20170169822A1 (en) Dialog text summarization device and method
US20220156296A1 (en) Transition-driven search
KR20210095609A (ko) 회의록 열람 문서 생성 방법 및 그 장치
US20220172147A1 (en) System and method for facilitating an interviewing process
CN116368785A (zh) 智能查询缓冲机制
WO2023095629A1 (ja) 対話管理装置、対話管理システム及び対話管理方法
TW202109388A (zh) 依據同目標求職者履歷產生履歷修改建議之系統及方法
JP6913995B1 (ja) 情報処理システム、情報処理方法及びプログラム
US11514913B2 (en) Collaborative content management
JP2023079353A5 (ja)
US11983637B2 (en) Electronic meeting intelligence
US20230334427A1 (en) Information processing system
US20230230588A1 (en) Extracting filler words and phrases from a communication session
US20230394860A1 (en) Video-based search results within a communication session
US20230177275A1 (en) Natural language processing of structured interactions
CN114936001A (zh) 交互方法、装置及电子设备
WO2023235580A1 (en) Video-based chapter generation for a communication session
CN116756348A (zh) 数据处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22898413

Country of ref document: EP

Kind code of ref document: A1