WO2021095262A1 - 表示制御プログラム、表示制御方法および情報処理装置 - Google Patents

表示制御プログラム、表示制御方法および情報処理装置 Download PDF

Info

Publication number
WO2021095262A1
WO2021095262A1 PCT/JP2019/044963 JP2019044963W WO2021095262A1 WO 2021095262 A1 WO2021095262 A1 WO 2021095262A1 JP 2019044963 W JP2019044963 W JP 2019044963W WO 2021095262 A1 WO2021095262 A1 WO 2021095262A1
Authority
WO
WIPO (PCT)
Prior art keywords
word
inquiry
sentence
input
words
Prior art date
Application number
PCT/JP2019/044963
Other languages
English (en)
French (fr)
Inventor
貴宏 前川
洋晃 村岡
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to PCT/JP2019/044963 priority Critical patent/WO2021095262A1/ja
Priority to JP2021555771A priority patent/JP7272458B2/ja
Publication of WO2021095262A1 publication Critical patent/WO2021095262A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9038—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification

Definitions

  • the present invention relates to a display control program, a display control method, and an information processing device.
  • chatbot is a computer system that uses artificial intelligence to interact with humans and exchange messages.
  • the attention of the node is raised based on the success keyword that hits the node, and the failure keyword that does not hit the node.
  • Is associated with the node that hits the success keyword, and the node specified based on the degree of attention and the failure keyword associated with the specified node are presented.
  • the present invention aims to identifiable whether a word or sentence that has no corresponding answer among the input words or sentences is a question or a free talk.
  • the word or sentence having no corresponding answer among the input words or sentences is based on the feature amount of the word or sentence. , It is determined whether it is an inquiry or a non-inquiry, and when displaying a list of words or sentences for which there is no corresponding answer, the word or sentence determined to be the inquiry is determined to be other than the inquiry.
  • a display control program is provided that displays in a manner different from words or sentences.
  • FIG. 1 is an explanatory diagram showing an embodiment of a display control method according to an embodiment.
  • FIG. 2 is an explanatory diagram showing a system configuration example of the information processing system 200.
  • FIG. 3 is a block diagram showing a hardware configuration example of the information processing device 101.
  • FIG. 4 is a block diagram showing a hardware configuration example of the worker terminal 201.
  • FIG. 5 is an explanatory diagram showing an example of the stored contents of the FAQ master 220.
  • FIG. 6 is an explanatory diagram showing an example of the stored contents of the conversation text master 230.
  • FIG. 7 is an explanatory diagram showing an example of the stored contents of the resolution failure table 240.
  • FIG. 8 is a block diagram showing a functional configuration example of the information processing device 101.
  • FIG. 8 is a block diagram showing a functional configuration example of the information processing device 101.
  • FIG. 9 is an explanatory diagram showing a specific example of teacher data.
  • FIG. 10 is an explanatory diagram showing a determination example using the feature degree.
  • FIG. 11 is an explanatory diagram showing a specific example of the classification result by the learning model.
  • FIG. 12 is an explanatory diagram (No. 1) showing a screen example of the management screen MS.
  • FIG. 13 is an explanatory diagram (No. 2) showing a screen example of the management screen MS.
  • FIG. 14 is an explanatory diagram (No. 3) showing a screen example of the management screen MS.
  • FIG. 15 is an explanatory diagram (No. 4) showing a screen example of the management screen MS.
  • FIG. 16 is a flowchart showing an example of the display control processing procedure of the information processing apparatus 101.
  • FIG. 17 is a flowchart showing an example of a specific processing procedure of the feature degree determination processing.
  • FIG. 1 is an explanatory diagram showing an embodiment of a display control method according to an embodiment.
  • the information processing device 101 is a computer that displays a list of words or sentences for which there is no answer corresponding to the word or sentence as a result of searching for an answer corresponding to the input word or sentence.
  • the input word or sentence is, for example, a word or sentence input to the information processing terminal.
  • the information processing terminal is, for example, a computer of a user who uses the FAQ system.
  • the sentence may be one or more sentences, or may be a phrase.
  • the word or sentence to be input is, for example, a query.
  • An inquiry is equivalent to a question that asks for the answer to some question.
  • the answer is, for example, the answer registered as FAQ.
  • FAQ is a "frequently asked question", which is a collection of questions and answers to questions that are expected in advance.
  • a word or sentence for which there is no corresponding answer is, for example, one in which the answer related to the entered word or sentence could not be identified, that is, no answer was searched (zero hits).
  • a word or sentence for which there is no corresponding answer may be a negative evaluation of the searched answer.
  • a negative evaluation is, for example, an item such as "not in this” because none of the answers are selected even though the relevant answer is presented for the entered word or sentence. Has been selected (no conforming answer).
  • FAQ maintenance is performed as a countermeasure against zero hits and no conforming answers. For example, if there is an inquiry in which zero hits occur frequently, the administrator of the FAQ system prepares a new answer corresponding to the inquiry and registers it in the FAQ.
  • the input word is, for example, a word or sentence input to the information processing terminal of the user of the FAQ system.
  • displaying a list of input words for zero hits there is one that ranks and displays them in descending order of the number of zero hits.
  • the input word that hits zero may include not only questions (inquiries) but also free talks (chat).
  • Free talk is, for example, a conversation with a chatbot such as "Good morning” or "Hello”. Free talk is less necessary to prepare an answer than an inquiry.
  • the information processing device 101 finds a feature amount of the word or sentence for a word or sentence having no corresponding answer among the input words or sentences. Based on, it is determined whether it is an inquiry or a non-inquiry.
  • a word or sentence for which there is no corresponding answer is a word or sentence for which the answer related to the input word or sentence could not be specified, that is, a zero hit.
  • the word or sentence for which there is no corresponding answer may be a word or sentence for which the searched answer is negatively evaluated, that is, the word or sentence for which there is no conforming answer.
  • the feature amount of a word or sentence is information representing the feature of the word or sentence.
  • a feature amount of a word or a sentence is a feature amount vector obtained by vectorizing a word or a sentence.
  • the feature amount what kind of feature of the word or sentence is extracted can be arbitrarily set.
  • the information processing device 101 uses the learning model M to determine whether the word or sentence is an inquiry or a non-inquiry based on the feature amount of the word or sentence.
  • the learning model M is a classifier that classifies whether it is an inquiry or a non-inquiry based on the feature amount of the input data.
  • the learning model M may be generated by performing machine learning using, for example, question data with a label indicating an inquiry as teacher data. Further, the learning model M may be generated by performing machine learning using question data to which a label indicating an inquiry is attached and conversation data to which a label indicating other than an inquiry is attached as teacher data.
  • an existing FAQ a set of question data and answer data
  • a conversation text collection that collects daily conversations conducted in chat can be used.
  • Input words 110 and 120 are examples of input words or sentences that do not have a corresponding answer.
  • the information processing device 101 sets the words or sentences that are determined to be inquiries to words or sentences that are determined to be other than inquiries. Is displayed in a different manner.
  • the information processing device 101 may display a word or sentence determined to be an inquiry so that the background color is different from the word or sentence determined to be other than an inquiry. Further, the information processing device 101 may display the word or sentence determined to be an inquiry and hide the word or sentence determined to be other than the inquiry.
  • the input word 110 for which the classification result 111 indicating an inquiry is obtained is the input for which the classification result 121 indicating other than the inquiry is obtained. It is displayed in a mode different from that of word 120.
  • the information processing apparatus 101 when displaying a list of input words or sentences that do not have a corresponding answer, it is a question (inquiry) or a free talk (other than an inquiry). Can be displayed in an identifiable manner. Therefore, for example, when performing FAQ maintenance, the administrator of the FAQ system should prioritize the preparation of answers among the words or sentences with zero hits or no matching answers (inquiries). Can be easily determined.
  • the administrator of the FAQ system should preferentially prepare an answer among the input words 110 and 120 that have zero hits or no matching answer. It can be easily judged.
  • Example of system configuration of information processing system 200 Next, a system configuration example of the information processing system 200 including the information processing device 101 shown in FIG. 1 will be described.
  • the information processing system 200 is applied to, for example, an FAQ system using a chatbot.
  • FIG. 2 is an explanatory diagram showing a system configuration example of the information processing system 200.
  • the information processing system 200 includes an information processing device 101, a worker terminal 201, and a plurality of information processing terminals 202.
  • the information processing device 101, the worker terminal 201, and the information processing terminal 202 are connected via a wired or wireless network 210.
  • the network 210 is, for example, a LAN (Local Area Network), a WAN (Wide Area Network), the Internet, or the like.
  • the information processing device 101 has a FAQ master 220, a conversation text master 230, and a resolution failure table 240.
  • the stored contents of the FAQ master 220, the conversation text master 230, and the resolution failure table 240 will be described later with reference to FIGS. 5 to 7.
  • the information processing device 101 is, for example, a server.
  • the worker terminal 201 is a computer used by the worker.
  • the worker is a person who maintains the FAQ, and is, for example, an administrator of the information processing system 200.
  • the worker terminal 201 is, for example, a PC (Personal Computer), a tablet-type PC, or the like.
  • the information processing terminal 202 is a computer used by the user.
  • the user is, for example, a user of the FAQ system.
  • the information processing terminal 202 is, for example, a smartphone, a PC, a tablet-type PC, or the like.
  • the information processing device 101 may have a response processing function.
  • the response processing function is, for example, a function of searching and outputting answer data corresponding to an input word (word or sentence) input to the FAQ system.
  • the answer data corresponding to the input word is searched using, for example, an existing search algorithm adopted in the FAQ system.
  • the information processing device 101 refers to the FAQ master 220 and searches for a question that matches the input input word (word or sentence). Then, when a question matching the input word is searched, the information processing device 101 outputs the answer corresponding to the searched question as the answer corresponding to the input word.
  • the answer corresponding to the searched question is, for example, an answer related to a question with the same title as the searched question, that is, an answer related to a question having the same FAQ-ID as the searched question (for example,). See FIG. 5 below).
  • the information processing apparatus 101 outputs a search result (zero hits) indicating that there is no answer corresponding to the input word.
  • the information processing apparatus 101 may analyze the input word in morphological analysis and decompose it into morphemes. Then, the information processing apparatus 101 may refer to the FAQ master 220 and search for the FAQ corresponding to the decomposed morpheme according to a predetermined search condition.
  • the response processing function may be executed by another computer different from the information processing device 101.
  • the FAQ master 220 and the conversation text master 230 may be included in, for example, another computer (for example, a database server) accessible to the information processing apparatus 101.
  • FIG. 3 is a block diagram showing a hardware configuration example of the information processing device 101.
  • the information processing device 101 includes a CPU (Central Processing Unit) 301, a memory 302, a disk drive 303, a disk 304, a communication I / F (Interface) 305, and a portable recording medium I / F 306. , And a portable recording medium 307. Further, each component is connected by a bus 300.
  • CPU Central Processing Unit
  • the CPU 301 controls the entire information processing device 101.
  • the CPU 301 may have a plurality of cores.
  • the memory 302 includes, for example, a ROM (Read Only Memory), a RAM (Random Access Memory), a flash ROM, and the like.
  • the flash ROM stores the OS (Operating System) program
  • the ROM stores the application program
  • the RAM is used as the work area of the CPU 301.
  • the program stored in the memory 302 is loaded into the CPU 301 to cause the CPU 301 to execute the coded process.
  • the disk drive 303 controls data read / write to the disk 304 according to the control of the CPU 301.
  • the disk 304 stores the data written under the control of the disk drive 303. Examples of the disk 304 include a magnetic disk and an optical disk.
  • the communication I / F 305 is connected to the network 210 through a communication line, and is connected to an external computer (for example, the worker terminal 201 and the information processing terminal 202 shown in FIG. 2) via the network 210.
  • the communication I / F 305 controls the interface between the network 210 and the inside of the device, and controls the input / output of data from an external computer.
  • a modem, a LAN adapter, or the like can be adopted for the communication I / F 305.
  • the portable recording medium I / F 306 controls data read / write to the portable recording medium 307 according to the control of the CPU 301.
  • the portable recording medium 307 stores the data written under the control of the portable recording medium I / F 306.
  • Examples of the portable recording medium 307 include a CD (Compact Disc) -ROM, a DVD (Digital Versatile Disc), and a USB (Universal Versatile Bus) memory.
  • the information processing device 101 may include, for example, an SSD (Solid State Drive), an input device, a display, or the like, in addition to the above-described components. Further, the information processing device 101 does not have to have, for example, a disk drive 303, a disk 304, a portable recording medium I / F 306, and a portable recording medium 307 among the above-described components.
  • SSD Solid State Drive
  • FIG. 4 is a block diagram showing a hardware configuration example of the worker terminal 201.
  • the worker terminal 201 has a CPU 401, a memory 402, a communication I / F 403, a display 404, an input device 405, a portable recording medium I / F 406, and a portable recording medium 407. .. Further, each component is connected by a bus 400.
  • the CPU 401 controls the entire worker terminal 201.
  • the CPU 401 may have a plurality of cores.
  • the memory 402 is a storage unit having, for example, a ROM, a RAM, a flash ROM, and the like. Specifically, for example, a flash ROM or ROM stores various programs, and the RAM is used as a work area of the CPU 401.
  • the program stored in the memory 402 is loaded into the CPU 401 to cause the CPU 401 to execute the coded process.
  • the communication I / F 403 is connected to the network 210 through a communication line, and is connected to an external computer (for example, the information processing device 101) via the network 210. Then, the communication I / F 403 controls the interface between the network 210 and the inside of the own device, and controls the input / output of data from the external device.
  • an external computer for example, the information processing device 101
  • the display 404 is a display device that displays data such as a cursor, an icon, a toolbox, a document, an image, and functional information.
  • a liquid crystal display for example, a liquid crystal display, an organic EL (Electroluminescence) display, or the like can be adopted.
  • the input device 405 has keys for inputting characters, numbers, various instructions, etc., and inputs data.
  • the input device 405 may be a keyboard, a mouse, or the like, or may be a touch panel type input pad, a numeric keypad, or the like.
  • the portable recording medium I / F 406 controls data read / write to the portable recording medium 407 according to the control of the CPU 401.
  • the portable recording medium 407 stores data written under the control of the portable recording medium I / F 406.
  • the worker terminal 201 may have, for example, an HDD (Hard Disk Drive), an SSD, a scanner, a printer, or the like, in addition to the above-mentioned components. Further, the worker terminal 201 does not have to have, for example, the portable recording medium I / F 406 and the portable recording medium 407 among the above-mentioned components. Further, the information processing terminal 202 shown in FIG. 2 can also be realized by the same hardware configuration as the worker terminal 201.
  • the FAQ master 220 is realized by, for example, a storage device such as the memory 302 and the disk 304 shown in FIG.
  • FIG. 5 is an explanatory diagram showing an example of the stored contents of the FAQ master 220.
  • the FAQ master 220 has fields for FAQ-ID, question, and answer, and stores FAQ (for example, FAQ500-1,500-2) as a record by setting information in each field.
  • the FAQ-ID is an identifier that identifies the FAQ.
  • the question is question data indicating the question forming the FAQ.
  • the answer is the answer data indicating the answer corresponding to the question. Questions and answers may be represented by words or combinations of words, and may be represented by one or more sentences.
  • FAQ500-1 includes the question “What is the definition of cloudiness?" With FAQ-ID "1" and the answer “Cloudy over 90% of the amount of clouds”.
  • the conversation text master 230 is realized by, for example, a storage device such as the memory 302 and the disk 304 shown in FIG.
  • FIG. 6 is an explanatory diagram showing an example of the stored contents of the conversation text master 230.
  • the conversation text master 230 has fields of conversation-ID and conversation text, and by setting information in each field, conversation data (for example, conversation data 600-1 to 600-4) is used as a record.
  • conversation data for example, conversation data 600-1 to 600-4.
  • the conversation-ID is an identifier that identifies the conversation text.
  • the conversation text indicates the content of the conversation.
  • daily conversations for example, greetings, hobby stories, etc.
  • the conversation data 600-1 indicates the conversation text "Good morning” with the conversation-ID "1".
  • the resolution failure table 240 is realized by, for example, a storage device such as the memory 302 and the disk 304 shown in FIG.
  • FIG. 7 is an explanatory diagram showing an example of the stored contents of the resolution failure table 240.
  • the resolution defect table 240 has fields for input words, zero hits, and no matching answer, and by setting information in each field, resolution defect data (for example, resolution defect data 700-1 to 700) can be set. -3) is stored as a record.
  • the input word is the input word or sentence.
  • Zero hits indicate the number of zero hits.
  • An input word with zero hits is an input word for which an answer related to the input word could not be identified.
  • No conforming answer indicates the number of cases without conforming answer.
  • No matching answer is an input word that has been negatively evaluated for the searched answer.
  • the poor resolution data 700-1 indicates zero hits "3" and no matching answer "0" in the input word "typhoon forecast”.
  • FIG. 8 is a block diagram showing a functional configuration example of the information processing device 101.
  • the information processing device 101 includes an acquisition unit 801, a learning unit 802, a determination unit 803, and a display control unit 804.
  • the acquisition unit 801 to the display control unit 804 cause the CPU 301 to execute a program stored in a storage device such as the memory 302, the disk 304, and the portable recording medium 307 shown in FIG.
  • the function is realized by the communication I / F 305.
  • the processing result of each functional unit is stored in a storage device such as a memory 302 or a disk 304, for example.
  • the acquisition unit 801 acquires the information of the word or sentence having no corresponding answer among the input words or sentences.
  • the word or sentence for which there is no corresponding answer is a word or sentence with zero hits.
  • the word or sentence for which there is no corresponding answer may be a word or sentence for which there is no conforming answer.
  • the acquisition unit 801 may acquire resolution failure data from an administrator's operation input using an input device (not shown) or from an external computer.
  • Poor resolution data is information about input words (words or sentences) that have zero hits or no matching answers. For example, the number of hits for the input word or zero matching answers, or the input word has no matching answers. Includes the number of cases that have become.
  • the resolution failure data may be generated from a chat log DB (Data) (not shown) in the information processing device 101, for example.
  • the chat log is a log related to a chat performed in the FAQ system, and includes, for example, an input word, FAQ-ID, and FAQ-LIST.
  • the input word is a word or sentence input to the FAQ system.
  • the FAQ-ID is the FAQ-ID of the selected answer from the answers (answer candidates) presented to the input word.
  • the FAQ-LIST is a list of answers presented for an input word. If no answer is presented for the input word, "-(Null)" is set in the FAQ-ID.
  • the information processing device 101 refers to the chat log DB and specifies an input word in which "Not Found” is set in the FAQ-ID as an input word without a conforming answer. Further, the information processing device 101 refers to the chat log DB and specifies an input word in which "Not Found” is set in the FAQ-LIST as an input word with zero hits.
  • the information processing device 101 generates resolution failure data regarding the specified zero hits and input words for which there is no matching answer.
  • the acquisition unit 801 acquires the generated resolution failure data.
  • the period of the chat log in the chat log DB can be arbitrarily set.
  • the acquired resolution failure data is stored in, for example, the resolution failure table 240 shown in FIG. 7.
  • the learning unit 802 performs machine learning using question data with a label indicating an inquiry as teacher data to generate a learning model M. Further, the learning unit 802 decides to generate the learning model M by performing machine learning using the question data with the label indicating the inquiry and the conversation data with the label indicating other than the inquiry as teacher data. May be good.
  • the learning model M is a classifier that classifies whether it is an inquiry or a non-inquiry based on the feature amount of the input data.
  • a support vector machine SVM: Support Vector Machine
  • SVM Support Vector Machine
  • the learning unit 802 refers to the FAQ master 220 shown in FIG. 5 and generates a feature amount vector from the texts of each FAQ and answer. More specifically, for example, the learning unit 802 morphologically analyzes the text of each question and answer of the FAQ, divides it into words, and vectorizes the divided words. Existing techniques such as word2vec can be used for word vectorization.
  • the learning unit 802 generates the sum of the vectors of each word as a feature vector (vector value of the sentence). Then, the learning unit 802 uses the generated feature amount vector with the label “_QUERY_” as the teacher data.
  • the label "_QUERY_” is a label indicating an inquiry (query).
  • the learning unit 802 refers to the conversation text master 230 shown in FIG. 6, morphologically analyzes each conversation text, divides it into words, and vectorizes the divided words. Next, the learning unit 802 generates the sum of the vectors of each word as a feature vector (vector value of a sentence). Then, the learning unit 802 uses the generated feature amount vector with the label “_OTHER_” as the teacher data.
  • the label "_OTHER_” is a label indicating something other than an inquiry.
  • FIG. 9 is an explanatory diagram showing a specific example of teacher data.
  • the dataset 900 is a set of teacher data.
  • Each teacher data (eg, teacher data 901, 902) in the dataset 900 includes a text vector value and a label.
  • the sentence vector value is a feature vector generated from FAQ text or conversation text.
  • the label is a label (correct answer) indicating an inquiry (_QUERY_) or a non-inquiry (_OTHER_).
  • the learning unit 802 performs supervised learning using a support vector machine based on the data set 900. At this time, the learning unit 802 adopts, for example, a value that can obtain good accuracy by using the cross-validation method for the parameter C that controls the soft margin (constraint relaxation).
  • the machine learning (supervised learning) by the learning unit 802 may be performed every time the stored contents of the FAQ master 220 are updated, for example.
  • the determination unit 803 refers to the acquired information and refers to the input word or sentence for which there is no corresponding answer, based on the feature amount of the word or sentence. Determine if it is an inquiry or a non-inquiry. Specifically, for example, the determination unit 803 uses the learning model M to determine whether the word or sentence is an inquiry or a non-inquiry based on the feature amount of the word or sentence. ..
  • the determination unit 803 refers to the resolution failure table 240 and identifies an input word that has zero hits or no matching answer (an input word that does not have a corresponding answer). Then, the determination unit 803 divides the specified input word into words and vectorizes the divided words.
  • the determination unit 803 generates the sum of the vectors of each word as a feature vector (vector value of the sentence). Then, the determination unit 803 determines whether the input word is an inquiry or a non-inquiry from the classification result obtained by inputting the generated feature vector into the generated learning model M (classifier). Is determined.
  • the determined result is stored in association with, for example, an input word (word or sentence) that has zero hits or no matching answer.
  • the display control unit 804 displays a list of input words or sentences that do not have a corresponding answer
  • the words or sentences determined to be inquiries are referred to as words or sentences determined to be other than inquiries. Display in different modes.
  • the display control unit 804 makes the word or sentence determined to be an inquiry different from the word or sentence determined to be non-inquiry in at least one of the background color, background pattern, character color, and font. It may be displayed in. Further, the display control unit 804 may display the word or sentence determined to be an inquiry and hide the word or sentence determined to be other than the inquiry.
  • the display control unit 804 displays the management screen MS as shown in FIGS. 13 to 15 described later on the worker terminal 201 shown in FIG. 2 with reference to the resolution failure table 240. You may decide to do it.
  • the management screen MS is a screen displayed when performing FAQ maintenance.
  • the display control unit 804 may display the management screen MS as shown in FIGS. 13 to 15 described later on a display (not shown) of the own device.
  • the display control unit 804 may highlight the input words determined to be inquiries when displaying a list of input words with zero hits or no matching answers on the management screen MS ((). See FIG. 13 below). At this time, the display control unit 804 may sort the input words in descending order of the number of times of zero hits or no matching answers and display them in a ranking format. Further, when the display control unit 804 displays a list of input words for which zero hits or no matching answers are found on the management screen MS, the input words determined to be other than the inquiry are hidden and determined to be an inquiry. Only the input words may be narrowed down and displayed (see FIG. 14 described later).
  • a screen example of the management screen MS will be described later with reference to FIGS. 12 to 15.
  • the information processing device 101 uses a characteristic degree that serves as a measure of the FAQ-likeness of the word, and the input word is an inquiry or a non-inquiry. It may be determined whether or not.
  • the feature level is calculated so that the more it appears in the FAQ, the higher the value, and the more it appears in the conversation textbook, the lower the value.
  • the feature degree may be calculated by using a TF (Term Frequency) -IDF (Inverse Document Frequency) algorithm.
  • the determination unit 803 is based on a set of sets of question data and answer data and a set of conversation data. , Calculate the characteristic degree of the word included in the input word.
  • the predetermined number can be arbitrarily set, and is set to, for example, a value of about 1, 2.
  • the set of question data and answer data is a set of question data and answer data corresponding to the question data, for example, FAQ.
  • the conversation data is, for example, a conversation text indicating a daily conversation conducted in a chat.
  • the characteristic degree of a word is an index value indicating the characteristic degree of a word.
  • the determination unit 803 can calculate the characteristic degree (i) of the word i included in the input word by using the following formula (1). All documents are, for example, a combination of the FAQ in the FAQ master 220 and the conversation text in the conversation text master 230.
  • Characteristic degree (i) frequency of appearance of word i in FAQ x log (reciprocal of the number of documents in which word i appears in all documents) ... (1)
  • the "frequency of appearance of word i in FAQ" in the above equation (1) is, for example, the frequency of appearance of word i in all FAQs in the FAQ master 220, and corresponds to the TF value in the TF-IDF value.
  • the TF value indicates the frequency of occurrence of the word i in a specific document.
  • the “log (the reciprocal of the number of documents in which the word i appears in all documents)” in the above formula (1) corresponds to the IDF value in the TF-IDF value.
  • the IDF value is the reciprocal of the number of documents in which the word i appears in all documents.
  • the determination unit 803 determines whether the input word is an inquiry or a non-inquiry based on the calculated feature degree (i). Specifically, for example, the determination unit 803 determines that the input word is an inquiry when the feature degree (i) exceeds the threshold value. Further, the determination unit 803 determines that the input word is other than the inquiry when the feature degree (i) or less is obtained.
  • the threshold value can be set arbitrarily.
  • the determination unit 803 determines that the input word is an inquiry when the feature level of any one of the plurality of words exceeds the threshold value. It may be. Further, the determination unit 803 may determine that the input word is an inquiry when the average value of the feature degrees of each of the plurality of words exceeds the threshold value. Further, the determination unit 803 may determine that the input word is an inquiry when the feature degrees of each of the plurality of words all exceed the threshold value.
  • FIG. 10 is an explanatory diagram showing a determination example using the characteristic degree.
  • the word i included in the input word is referred to as "Stevenson screen”.
  • Each document 1011-1013 in the dotted frame 1010 indicates an individual FAQ.
  • Each document 1021 to 1032 in the dotted frame 1020 indicates an individual conversation text.
  • the word i included in the input word is set to "today”.
  • Each document 1041 to 1043 in the dotted frame 1040 indicates an individual FAQ.
  • Each document 1051 to 1062 in the dotted frame 1050 indicates an individual conversation text.
  • the IDF value of a general word is calculated to be smaller, so that the calculation result of the feature degree (i) is obtained. It will appear clearly.
  • FIG. 11 is an explanatory diagram showing a specific example of the classification result by the learning model.
  • the classification result information 1110 shows the result of classification using the learning model M (classifier) generated using only the teacher data (label “_QUERY_”) generated from the FAQ text.
  • classification result information 1120 is a learning model M (classifier) generated by using the teacher data (label "_QUERY_”) generated from the FAQ text and the teacher data (label "_OTHER_”) generated from the conversation text. The results of classification using are shown.
  • the classification result 1111 indicates that the input word “hello” is other than the inquiry ("Talk” in FIG. 11). Further, the classification result 1112 indicates that the input word “Today is good weather” is an inquiry ("Query” in FIG. 11).
  • the classification result 1113 indicates that the input word "I had a hard time yesterday due to the pouring rain” is an inquiry.
  • the input words “It's nice weather today” and “I had a hard time yesterday due to the pouring rain” should be classified as "other than inquiry (Talk)”.
  • the classification result 1121 indicates that the input word "Today is good weather” is something other than an inquiry.
  • the classification result 1122 indicates that the input word "I had a hard time yesterday due to the pouring rain” is not an inquiry.
  • FIG. 12 to 15 are explanatory views showing a screen example of the management screen MS.
  • a display example in which an input word determined to be an inquiry (_QUERY_) and an input word determined to be other than an inquiry (_OTHER_) are displayed in the same manner will be described.
  • the management screen MS is an example of the management screen displayed when performing FAQ maintenance.
  • the input words for which there are zero hits or no matching answer are listed in descending order of the number of occurrences (number of zero hits + number of no matching answers).
  • the FAQ system administrator can easily determine which of the input words of the question (inquiry) should be used for maintenance by referring to the ranking. For example, the administrator can determine that maintenance should be performed from the frequently appearing high-ranked input words.
  • the FAQ system administrator can easily identify the input word of the question (inquiry) among the input words with zero hits or no matching answer, and the FAQ that should be prioritized for maintenance. It becomes easier to judge.
  • the icons 1501 to the input words of ranks 1, 2, 3, and 7 determined to be inquiries (_QUERY_). 1504 is displayed.
  • the icons 1501 to 1504 are marks indicating that they are input words for inquiries.
  • the information processing device 101 may switch the display mode of the management screen MS shown in FIGS. 12 to 15 according to the operation input of the user of the worker terminal 201.
  • the display control unit 804 may switch the display mode of the management screen MS from the management screen MS shown in FIG. 12 to the management screen MS shown in FIG. 13 in response to the operation input of the user.
  • the display control unit 804 may switch the display mode of the management screen MS from the management screen MS shown in FIG. 13 to the management screen MS shown in FIG. 14 in response to the operation input of the user.
  • the FAQ system administrator can narrow down and display only the input words of inquiries (questions) that should be prioritized for maintenance, for example, after confirming the entire input words that have zero hits or no matching answers. Can be made to.
  • the display control process of the information processing device 101 is executed, for example, in response to a request from the worker terminal 201.
  • FIG. 16 is a flowchart showing an example of the display control processing procedure of the information processing device 101.
  • the information processing apparatus 101 refers to the resolution failure table 240 and displays the zero hit ranking on the management screen MS (step S1601).
  • the zero hit ranking is a sort of input words that have zero hits or no matching answers, sorted in descending order of the number of occurrences (number of zero hits + number of no matching answers).
  • the information processing device 101 determines whether or not the Queen highlight function is effective (step S1602).
  • the enable / disable of the Query highlight function may be set in advance, for example, or may be set by an operation input such as pressing an operation button (not shown) on the management screen MS.
  • the information processing device 101 waits for the Queen highlight function to become effective (step S1602: No). Then, when the Queen highlight function is enabled (step S1602: Yes), the information processing device 101 selects an unselected input word that has not been selected from the zero hit ranking (step S1603).
  • the information processing device 101 divides the selected input word into words (step S1604). Then, the information processing device 101 determines whether or not the number of words included in the input word is equal to or less than a predetermined number (step S1605).
  • step S1605 when the number of words is larger than a predetermined number (step S1605: No), the information processing apparatus 101 generates a sum of the vectors of the vectors of each word divided from the input words as a feature quantity vector (vector value of a sentence) (step). S1606). Then, the information processing device 101 inputs the generated feature vector to the learning model M (classifier), and determines whether the input word belongs to the Query (inquiry) or the OTHER (other than the inquiry). (Step S1607), the process proceeds to step S1609.
  • the learning model M classifier
  • step S1605 when the number of words is equal to or less than a predetermined number (step S1605: Yes), the information processing apparatus 101 executes the feature degree determination process (step S1608).
  • the characteristic degree determination process is a process of determining whether the input word is an inquiry or a non-inquiry by using the characteristic degree of the word.
  • step S1609 determines whether or not there is an unselected input word that has not been selected from the zero hit ranking.
  • step S1609: Yes the information processing apparatus 101 returns to step S1603.
  • step S1609 when there is no unselected input word (step S1609: No), the information processing apparatus 101 highlights the input word belonging to the query (inquiry) on the management screen MS (step S1610), and according to this flowchart. Ends a series of processes.
  • the information processing device 101 may skip the processes of steps S1601 and S1602. Further, in step S1610, the information processing apparatus 101 may hide the input words belonging to Other (other than the inquiry) and display only the input words belonging to the Queen (inquiry) on the management screen MS.
  • FIG. 17 is a flowchart showing an example of a specific processing procedure of the feature degree determination process.
  • the information processing apparatus 101 refers to the FAQ master 220 and the conversation text master 230, and uses the above equation (1) to divide the word characteristics in step S1604 shown in FIG. Is calculated (step S1701).
  • the information processing device 101 determines whether or not the calculated feature degree of the word exceeds the threshold value (step S1702).
  • the information processing apparatus 101 determines that the input word belongs to the query (inquiry) (step S1703), and performs the feature degree determination process. Return to the step that called.
  • step S1702 determines that the input word belongs to Other (other than the inquiry) (step S1704), and calls the feature degree determination process. Return to the step.
  • the input word is an inquiry or an inquiry depending on whether a characteristic word appears in the input word. It is possible to determine whether it is other than.
  • the input word or sentence has no corresponding answer. It is possible to determine whether the inquiry is made or not based on the feature amount of the word or sentence.
  • the input word or sentence is, for example, a word or sentence input to the information processing terminal 202 of the user of the FAQ system. Then, according to the information processing device 101, when displaying a list of input words or sentences for which there is no corresponding answer, the words or sentences determined to be inquiries are determined to be other than inquiries. It can be displayed in a different manner from.
  • the question (inquiry) or free talk (other than the inquiry) is displayed. Can be displayed in an identifiable manner. Therefore, for example, when performing FAQ maintenance, the administrator of the FAQ system can easily select an input word (inquiry) for which an answer should be prepared with priority among the input words that have zero hits or no matching answer. It becomes possible to judge.
  • machine learning is performed using question data with a label indicating an inquiry and conversation data with a label indicating other than an inquiry as teacher data, and based on the feature amount of the input data.
  • the word or sentence is an inquiry or an inquiry based on the features of the word or sentence using a learning model M (classifier) that classifies whether the word or sentence is an inquiry or a non-inquiry. It is possible to determine whether it is other than.
  • the information processing device 101 when the number of words included in a word or sentence is a predetermined number or less, it is included in the word or sentence based on a set of sets of question data and answer data and a set of conversation data. It is possible to calculate the characteristic degree indicating the characteristic degree of the word. The feature degree is calculated using, for example, the TF-IDF algorithm. Then, according to the information processing device 101, it can be determined whether the word or sentence is an inquiry or a non-inquiry based on the calculated characteristic degree.
  • the input word is an inquiry or an inquiry depending on whether a characteristic word appears in the input word. It is possible to determine whether it is other than.
  • the TF-IDF algorithm it is possible to obtain a characteristic degree in which the value increases as the number of occurrences in the FAQ increases and the value decreases as the value appears in the conversation textbook, which is appropriate for evaluating the FAQ-likeness of a word. Index value can be obtained.
  • the word or sentence determined to be an inquiry may be displayed so that at least one of the background color, the background pattern, the character color, and the font is different from the word or sentence determined to be other than the inquiry. it can.
  • the information processing device 101 it is possible to display the word or sentence determined to be an inquiry and hide the word or sentence determined to be other than the inquiry.
  • the information processing apparatus 101 it is possible to reduce the labor and time required for the FAQ maintenance work for presenting an appropriate answer to the input question. As a result, it is possible to suppress the increase in the number of zero hits and no matching answers while suppressing the human load and cost required for the FAQ maintenance work, and it is possible to improve the user's satisfaction.
  • the display control method described in the present embodiment can be realized by executing a program prepared in advance on a computer such as a personal computer or a workstation.
  • This display control program is recorded on a computer-readable recording medium such as a hard disk, a flexible disk, a CD-ROM, a DVD, or a USB memory, and is executed by being read from the recording medium by the computer. Further, this display control program may be distributed via a network such as the Internet.
  • the information processing apparatus 101 described in the present embodiment can also be realized by a standard cell, an IC for a specific purpose such as a structured ASIC (Application Specific Integrated Circuit), or a PLD (Programmable Logic Device) such as an FPGA.
  • a standard cell an IC for a specific purpose such as a structured ASIC (Application Specific Integrated Circuit), or a PLD (Programmable Logic Device) such as an FPGA.
  • Information processing device 110 120 Input word 111, 121 Classification result 200 Information processing system 201 Worker terminal 202 Information processing terminal 210 Network 220 FAQ master 230 Conversation text master 240 Resolution failure table 300, 400 Bus 301, 401 CPU 302,402 Memory 303 Disk drive 304 Disk 305,403 Communication I / F 306,406 Portable recording medium I / F 307,407 Portable recording medium 404 Display 405 Input device 801 Acquisition unit 802 Learning unit 803 Judgment unit 804 Display control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

管理画面（ＭＳ）は、ＦＡＱのメンテナンスを行う際に表示される管理画面の一例である。管理画面（ＭＳ）では、ゼロ件ヒットまたは適合回答無しとなった入力ワードが、出現回数（ゼロ件ヒットの件数＋適合回答無しの件数）の多い順に一覧表示されている。また、管理画面ＭＳでは、ゼロ件ヒットまたは適合回答無しとなった入力ワードのうち、問い合わせ（ＱＵＥＲＹ）と判定された順位１，２，３，７の入力ワードのみがハイライト表示されている。このため、ＦＡＱシステムの管理者は、ゼロ件ヒットまたは適合回答無しとなった入力ワードのうち、どの入力ワードが質問（問い合わせ）であり、どの入力ワードがフリートーク（問い合わせ以外）なのかを容易に識別可能となり、優先的にメンテナンスを行うべきＦＡＱを判断しやすくなる。

Description

表示制御プログラム、表示制御方法および情報処理装置
　本発明は、表示制御プログラム、表示制御方法および情報処理装置に関する。
　近年、チャットボットと呼ばれる技術を利用したＦＡＱ（Ｆｒｅｑｕｅｎｔｌｙ　Ａｓｋｅｄ　Ｑｕｅｓｔｉｏｎ）システムを導入するコールセンタが増えている。チャットボットは、人工知能を利用して、人間との対話やメッセージのやりとりを行うコンピュータシステムである。
　先行技術としては、例えば、ユーザのアクションに応じてノードグラフデータに関連付けられた複数のキーワードのうち、ノードにヒットした成功キーワードに基づいてノードの注目度を上げ、ノードにヒットしなかった失敗キーワードを、成功キーワードにヒットしたノードに関連付け、注目度に基づいて特定したノードと、特定したノードに関連付けられた失敗キーワードとを提示するものがある。
特開２０１４－９２８２２号公報
　しかしながら、従来技術では、入力される質問に対して適切な回答を提示するためのＦＡＱのメンテナンス作業に手間や時間がかかるという問題がある。
　一つの側面では、本発明は、入力された単語または文章のうち対応する回答がない単語または文章を、質問であるかフリートークであるかを識別可能に表示することを目的とする。
　一つの実施態様では、入力された単語または文章に対応する回答を検索した結果、前記入力された単語または文章のうち対応する回答がない単語または文章について、当該単語または文章の特徴量に基づいて、問い合わせであるか、または、問い合わせ以外であるかを判定し、前記対応する回答がなかった単語または文章を一覧表示する際に、前記問い合わせと判定した単語または文章を、前記問い合わせ以外と判定した単語または文章とは異なる態様で表示する、表示制御プログラムが提供される。
　本発明の一側面によれば、入力された単語または文章のうち対応する回答がない単語または文章を、質問であるかフリートークであるかを識別可能に表示することができる。
図１は、実施の形態にかかる表示制御方法の一実施例を示す説明図である。 図２は、情報処理システム２００のシステム構成例を示す説明図である。 図３は、情報処理装置１０１のハードウェア構成例を示すブロック図である。 図４は、作業者端末２０１のハードウェア構成例を示すブロック図である。 図５は、ＦＡＱマスタ２２０の記憶内容の一例を示す説明図である。 図６は、会話テキストマスタ２３０の記憶内容の一例を示す説明図である。 図７は、解決不良テーブル２４０の記憶内容の一例を示す説明図である。 図８は、情報処理装置１０１の機能的構成例を示すブロック図である。 図９は、教師データの具体例を示す説明図である。 図１０は、特徴度を用いた判定例を示す説明図である。 図１１は、学習モデルによる分類結果の具体例を示す説明図である。 図１２は、管理画面ＭＳの画面例を示す説明図（その１）である。 図１３は、管理画面ＭＳの画面例を示す説明図（その２）である。 図１４は、管理画面ＭＳの画面例を示す説明図（その３）である。 図１５は、管理画面ＭＳの画面例を示す説明図（その４）である。 図１６は、情報処理装置１０１の表示制御処理手順の一例を示すフローチャートである。 図１７は、特徴度判定処理の具体的処理手順の一例を示すフローチャートである。
　以下に図面を参照して、本発明にかかる表示制御プログラム、表示制御方法および情報処理装置の実施の形態を詳細に説明する。
（実施の形態）
　図１は、実施の形態にかかる表示制御方法の一実施例を示す説明図である。図１において、情報処理装置１０１は、入力された単語または文章に対応する回答を検索した結果、当該単語または文章に対応する回答がなかった単語または文章を一覧表示するコンピュータである。
　ここで、入力された単語または文章は、例えば、情報処理端末に入力される単語または文章である。情報処理端末は、例えば、ＦＡＱシステムを利用するユーザのコンピュータである。文章は、１または複数の文であってもよいし、句（フレーズ）であってもよい。入力される単語または文章は、例えば、問い合わせ（クエリ）である。問い合わせは、何らかの問題の答えを問いただす質問に相当する。
　回答は、例えば、ＦＡＱとして登録される回答である。ＦＡＱは、「頻繁に尋ねられる質問」であり、予め予想される質問に対して、質問と回答をまとめたものである。対応する回答がなかった単語または文章は、例えば、入力された単語または文章に関連する回答を特定できなかった、すなわち、１件も回答が検索されなかったものである（ゼロ件ヒット）。
　また、対応する回答がなかった単語または文章は、検索した回答について否定的な評価がなされたものであってもよい。否定的な評価がなされたものとは、例えば、入力された単語または文章に対して関連する回答を提示したにもかかわらず、いずれの回答も選択されず、「この中にはない」といった項目の選択がなされたものである（適合回答無し）。
　ＦＡＱシステムにおいて、ゼロ件ヒットや適合回答無しの件数が増えると、ユーザの満足度の低下を招くおそれがある。このため、ゼロ件ヒットや適合回答無しの対策として、ＦＡＱのメンテナンスが行われる。例えば、ＦＡＱシステムの管理者は、頻繁にゼロ件ヒットが発生している問い合わせがあれば、その問い合わせに対応する回答を新たに用意してＦＡＱに登録するといった作業を行う。
　このようなメンテナンス作業を支援する機能として、例えば、ゼロ件ヒットの入力ワードを一覧表示するものがある。入力ワードは、例えば、ＦＡＱシステムのユーザの情報処理端末に入力された単語または文章である。また、ゼロ件ヒットの入力ワードを一覧表示する際に、ゼロ件ヒットの件数が多い順に順位付けして表示するものがある。
　しかし、ゼロ件ヒットとなった入力ワードには、質問（問い合わせ）だけでなく、フリートーク（雑談）も含まれることがある。フリートークは、例えば、「おはようございます」や「こんにちは」などのチャットボットでの会話である。フリートークは、問い合わせに比べて、回答を用意する必要性が低いものである。
　このため、ゼロ件ヒットの入力ワードを一覧表示する際に、回答を用意する必要性が高いものと低いものとが混在する場合がある。この場合、管理者は、例えば、一覧表示された入力ワードの内容を一つ一つ確認して、問い合わせなのかフリートークなのかを判断することになり、ＦＡＱのメンテナンス作業にかかる手間や時間が増大するおそれがある。
　そこで、本実施の形態では、入力された単語または文章のうち対応する回答がない単語または文章を一覧表示する際に、当該単語または文章が、質問なのかフリートークなのかを識別可能に表示して、ＦＡＱのメンテナンス作業を支援する表示制御方法について説明する。以下、情報処理装置１０１の処理例について説明する。
　（１）情報処理装置１０１は、入力された単語または文章に対応する回答を検索した結果、当該入力された単語または文章のうち対応する回答がない単語または文章について、当該単語または文章の特徴量に基づいて、問い合わせであるか、または、問い合わせ以外であるかを判定する。
　ここで、対応する回答がない単語または文章は、入力された単語または文章に関連する回答を特定できなかった、すなわち、ゼロ件ヒットとなった単語または文章である。また、対応する回答がない単語または文章は、検索した回答について否定的な評価がなされたもの、すなわち、適合回答無しとなった単語または文章であってもよい。
　単語または文章の特徴量とは、単語または文章の特徴をあらわす情報である。例えば、単語または文章の特徴量は、単語または文章をベクトル化して得られる特徴量ベクトルである。なお、特徴量として、単語または文章のどのような特徴を抽出するかは任意に設定可能である。
　具体的には、例えば、情報処理装置１０１は、学習モデルＭを用いて、単語または文章の特徴量に基づいて、当該単語または文章が、問い合わせであるか、または、問い合わせ以外であるかを判定する。学習モデルＭは、入力データの特徴量から、問い合わせ、または、問い合わせ以外のいずれであるかを分類する分類器である。
　学習モデルＭは、例えば、問い合わせを示すラベルが付与された質問データを教師データとして機械学習を行って生成されることにしてもよい。また、学習モデルＭは、問い合わせを示すラベルが付与された質問データと、問い合わせ以外を示すラベルが付与された会話データとを教師データとして機械学習を行って生成されることにしてもよい。
　問い合わせを示すラベルが付与された質問データとしては、例えば、既存のＦＡＱ（質問データと回答データとの組）を用いることができる。また、問い合わせ以外を示すラベルが付与された会話データとしては、例えば、チャットで行われた日常会話などを集めた会話テキスト集を用いることができる。
　図１の例では、入力ワード１１０（降水確率を教えて）の特徴量を学習モデルＭに与えた結果、問い合わせを示す分類結果１１１が出力されている。また、入力ワード１２０（いい天気ですね）の特徴量を学習モデルＭに与えた結果、問い合わせ以外を示す分類結果１２１が得られている。入力ワード１１０，１２０は、入力された単語または文章のうち対応する回答がない単語または文章の一例である。
　（２）情報処理装置１０１は、入力された単語または文章のうち対応する回答がない単語または文章を一覧表示する際に、問い合わせと判定した単語または文章を、問い合わせ以外と判定した単語または文章とは異なる態様で表示する。
　具体的には、例えば、情報処理装置１０１は、問い合わせと判定した単語または文章を、問い合わせ以外と判定した単語または文章と背景色が異なるように表示することにしてもよい。また、情報処理装置１０１は、問い合わせと判定した単語または文章を表示し、問い合わせ以外と判定した単語または文章を非表示とすることにしてもよい。
　図１の例では、ゼロ件ヒットや適合回答無しの入力ワードを一覧表示する際に、問い合わせを示す分類結果１１１が得られた入力ワード１１０が、問い合わせ以外を示す分類結果１２１が得られた入力ワード１２０と異なる態様で表示される。
　このように、情報処理装置１０１によれば、入力された単語または文章のうち対応する回答がない単語または文章を一覧表示する際に、質問（問い合わせ）であるか、フリートーク（問い合わせ以外）であるかを識別可能に表示することができる。このため、例えば、ＦＡＱシステムの管理者は、ＦＡＱのメンテナンスを行う際に、ゼロ件ヒットや適合回答無しとなった単語または文章のうち、優先して回答を用意すべき単語または文章（問い合わせ）を容易に判断することが可能となる。
　図１の例では、例えば、ＦＡＱシステムの管理者は、ゼロ件ヒットまたは適合回答無しとなった入力ワード１１０，１２０のうち、入力ワード１１０が、優先して回答を用意すべきものであることを容易に判断することができる。
（情報処理システム２００のシステム構成例）
　つぎに、図１に示した情報処理装置１０１を含む情報処理システム２００のシステム構成例について説明する。情報処理システム２００は、例えば、チャットボットを利用したＦＡＱシステムに適用される。
　図２は、情報処理システム２００のシステム構成例を示す説明図である。図２において、情報処理システム２００は、情報処理装置１０１と、作業者端末２０１と、複数の情報処理端末２０２と、を含む。情報処理システム２００において、情報処理装置１０１、作業者端末２０１および情報処理端末２０２は、有線または無線のネットワーク２１０を介して接続される。ネットワーク２１０は、例えば、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットなどである。
　情報処理装置１０１は、ＦＡＱマスタ２２０、会話テキストマスタ２３０および解決不良テーブル２４０を有する。ＦＡＱマスタ２２０、会話テキストマスタ２３０および解決不良テーブル２４０の記憶内容については、図５～図７を用いて後述する。情報処理装置１０１は、例えば、サーバである。
　作業者端末２０１は、作業者が使用するコンピュータである。作業者は、ＦＡＱのメンテナンスを行う者であり、例えば、情報処理システム２００の管理者である。作業者端末２０１は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、タブレット型ＰＣなどである。
　情報処理端末２０２は、ユーザが使用するコンピュータである。ユーザは、例えば、ＦＡＱシステムの利用者である。情報処理端末２０２は、例えば、スマートフォン、ＰＣ、タブレット型ＰＣなどである。
　なお、情報処理システム２００において、情報処理装置１０１は、応答処理機能を有していてもよい。応答処理機能は、例えば、ＦＡＱシステムに入力された入力ワード（単語または文章）に対応する回答データを検索して出力する機能である。入力ワードに対応する回答データは、例えば、ＦＡＱシステムにおいて採用されている既存の検索アルゴリズムを用いて検索される。
　具体的には、例えば、情報処理装置１０１は、ＦＡＱマスタ２２０を参照して、入力された入力ワード（単語または文章）に一致する質問を検索する。そして、情報処理装置１０１は、入力ワードに一致する質問が検索された場合に、検索された質問に対応する回答を、入力ワードに対応する回答として出力する。
　検索された質問に対応する回答は、例えば、検索された質問と同一のタイトルの質問に関連する回答、すなわち、検索された質問とＦＡＱ－ＩＤが同一の質問に関連する回答である（例えば、後述の図５参照）。一方、入力ワードに対応する回答が検索されなかった場合は、情報処理装置１０１は、入力ワードに対応する回答がないことを示す検索結果（ゼロ件ヒット）を出力する。
　また、入力ワードに対応する回答を検索するにあたり、情報処理装置１０１は、入力ワードを形態素解析して形態素に分解することにしてもよい。そして、情報処理装置１０１は、ＦＡＱマスタ２２０を参照して、所定の検索条件にしたがって、分解した形態素に対応するＦＡＱを検索することにしてもよい。
　ただし、応答処理機能は、情報処理装置１０１とは異なる他のコンピュータにより実行されることにしてもよい。また、ＦＡＱマスタ２２０や会話テキストマスタ２３０は、例えば、情報処理装置１０１がアクセス可能な他のコンピュータ（例えば、データベースサーバ）が有することにしてもよい。
（情報処理装置１０１のハードウェア構成例）
　図３は、情報処理装置１０１のハードウェア構成例を示すブロック図である。図３において、情報処理装置１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）３０１と、メモリ３０２と、ディスクドライブ３０３と、ディスク３０４と、通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３０５と、可搬型記録媒体Ｉ／Ｆ３０６と、可搬型記録媒体３０７と、を有する。また、各構成部は、バス３００によってそれぞれ接続される。
　ここで、ＣＰＵ３０１は、情報処理装置１０１の全体の制御を司る。ＣＰＵ３０１は、複数のコアを有していてもよい。メモリ３０２は、例えば、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）およびフラッシュＲＯＭなどを有する。具体的には、例えば、フラッシュＲＯＭがＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）のプログラムを記憶し、ＲＯＭがアプリケーションプログラムを記憶し、ＲＡＭがＣＰＵ３０１のワークエリアとして使用される。メモリ３０２に記憶されるプログラムは、ＣＰＵ３０１にロードされることで、コーディングされている処理をＣＰＵ３０１に実行させる。
　ディスクドライブ３０３は、ＣＰＵ３０１の制御に従ってディスク３０４に対するデータのリード／ライトを制御する。ディスク３０４は、ディスクドライブ３０３の制御で書き込まれたデータを記憶する。ディスク３０４としては、例えば、磁気ディスク、光ディスクなどが挙げられる。
　通信Ｉ／Ｆ３０５は、通信回線を通じてネットワーク２１０に接続され、ネットワーク２１０を介して外部のコンピュータ（例えば、図２に示した作業者端末２０１、情報処理端末２０２）に接続される。そして、通信Ｉ／Ｆ３０５は、ネットワーク２１０と装置内部とのインターフェースを司り、外部のコンピュータからのデータの入出力を制御する。通信Ｉ／Ｆ３０５には、例えば、モデムやＬＡＮアダプタなどを採用することができる。
　可搬型記録媒体Ｉ／Ｆ３０６は、ＣＰＵ３０１の制御に従って可搬型記録媒体３０７に対するデータのリード／ライトを制御する。可搬型記録媒体３０７は、可搬型記録媒体Ｉ／Ｆ３０６の制御で書き込まれたデータを記憶する。可搬型記録媒体３０７としては、例えば、ＣＤ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ）－ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）メモリなどが挙げられる。
　なお、情報処理装置１０１は、上述した構成部のほかに、例えば、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）、入力装置、ディスプレイ等を有することにしてもよい。また、情報処理装置１０１は、上述した構成部のうち、例えば、ディスクドライブ３０３、ディスク３０４、可搬型記録媒体Ｉ／Ｆ３０６、可搬型記録媒体３０７を有していなくてもよい。
（作業者端末２０１のハードウェア構成例）
　図４は、作業者端末２０１のハードウェア構成例を示すブロック図である。図４において、作業者端末２０１は、ＣＰＵ４０１と、メモリ４０２と、通信Ｉ／Ｆ４０３と、ディスプレイ４０４と、入力装置４０５と、可搬型記録媒体Ｉ／Ｆ４０６と、可搬型記録媒体４０７と、を有する。また、各構成部はバス４００によってそれぞれ接続される。
　ここで、ＣＰＵ４０１は、作業者端末２０１の全体の制御を司る。ＣＰＵ４０１は、複数のコアを有していてもよい。メモリ４０２は、例えば、ＲＯＭ、ＲＡＭおよびフラッシュＲＯＭなどを有する記憶部である。具体的には、例えば、フラッシュＲＯＭやＲＯＭが各種プログラムを記憶し、ＲＡＭがＣＰＵ４０１のワークエリアとして使用される。メモリ４０２に記憶されるプログラムは、ＣＰＵ４０１にロードされることで、コーディングされている処理をＣＰＵ４０１に実行させる。
　通信Ｉ／Ｆ４０３は、通信回線を通じてネットワーク２１０に接続され、ネットワーク２１０を介して外部のコンピュータ（例えば、情報処理装置１０１）に接続される。そして、通信Ｉ／Ｆ４０３は、ネットワーク２１０と自装置内部とのインターフェースを司り、外部装置からのデータの入出力を制御する。
　ディスプレイ４０４は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する表示装置である。ディスプレイ４０４としては、例えば、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどを採用することができる。
　入力装置４０５は、文字、数字、各種指示などの入力のためのキーを有し、データの入力を行う。入力装置４０５は、キーボードやマウスなどであってもよく、また、タッチパネル式の入力パッドやテンキーなどであってもよい。
　可搬型記録媒体Ｉ／Ｆ４０６は、ＣＰＵ４０１の制御に従って可搬型記録媒体４０７に対するデータのリード／ライトを制御する。可搬型記録媒体４０７は、可搬型記録媒体Ｉ／Ｆ４０６の制御で書き込まれたデータを記憶する。
　なお、作業者端末２０１は、上述した構成部のほかに、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、ＳＳＤ、スキャナ、プリンタ等を有することにしてもよい。また、作業者端末２０１は、上述した構成部のうち、例えば、可搬型記録媒体Ｉ／Ｆ４０６、可搬型記録媒体４０７を有していなくてもよい。また、図２に示した情報処理端末２０２についても、作業者端末２０１と同様のハードウェア構成により実現することができる。
（ＦＡＱマスタ２２０の記憶内容）
　つぎに、図５を用いて、情報処理装置１０１が有するＦＡＱマスタ２２０の記憶内容について説明する。ＦＡＱマスタ２２０は、例えば、図３に示したメモリ３０２、ディスク３０４などの記憶装置により実現される。
　図５は、ＦＡＱマスタ２２０の記憶内容の一例を示す説明図である。図５において、ＦＡＱマスタ２２０は、ＦＡＱ－ＩＤ、質問および回答のフィールドを有し、各フィールドに情報を設定することで、ＦＡＱ（例えば、ＦＡＱ５００－１，５００－２）をレコードとして記憶する。
　ここで、ＦＡＱ－ＩＤは、ＦＡＱを識別する識別子である。質問は、ＦＡＱを形成する質問を示す質問データである。回答は、質問に対応する回答を示す回答データである。質問および回答は、単語または複数の単語の組み合わせによって表現されてもよく、また、１または複数の文によって表現されてもよい。
　例えば、ＦＡＱ５００－１は、ＦＡＱ－ＩＤ「１」の質問「曇りの定義は？」と、回答「雲の量が９割以上が曇り」と、を含む。
（会話テキストマスタ２３０の記憶内容）
　つぎに、図６を用いて、情報処理装置１０１が有する会話テキストマスタ２３０の記憶内容について説明する。会話テキストマスタ２３０は、例えば、図３に示したメモリ３０２、ディスク３０４などの記憶装置により実現される。
　図６は、会話テキストマスタ２３０の記憶内容の一例を示す説明図である。図６において、会話テキストマスタ２３０は、会話－ＩＤおよび会話テキストのフィールドを有し、各フィールドに情報を設定することで、会話データ（例えば、会話データ６００－１～６００－４）をレコードとして記憶する。
　ここで、会話－ＩＤは、会話テキストを識別する識別子である。会話テキストは、会話内容を示す。会話テキストとしては、例えば、チャットで行われた日常会話（例えば、挨拶、趣味の話など）が記憶される。例えば、会話データ６００－１は、会話－ＩＤ「１」の会話テキスト「おはようございます」を示す。
（解決不良テーブル２４０の記憶内容）
　つぎに、図７を用いて、情報処理装置１０１が有する解決不良テーブル２４０の記憶内容について説明する。解決不良テーブル２４０は、例えば、図３に示したメモリ３０２、ディスク３０４などの記憶装置により実現される。
　図７は、解決不良テーブル２４０の記憶内容の一例を示す説明図である。図７において、解決不良テーブル２４０は、入力ワード、ゼロ件ヒットおよび適合回答無しのフィールドを有し、各フィールドに情報を設定することで、解決不良データ（例えば、解決不良データ７００－１～７００－３）をレコードとして記憶する。
　ここで、入力ワードは、入力された単語または文章である。ゼロ件ヒットは、ゼロ件ヒットの件数を示す。ゼロ件ヒットの入力ワードは、入力ワードに関連する回答を特定できなかった入力ワードのことである。適合回答無しは、適合回答無しの件数を示す。適合回答無しは、検索した回答について否定的な評価がなされた入力ワードのことである。
　例えば、解決不良データ７００－１は、入力ワード「台風の予報」のゼロ件ヒット「３」および適合回答無し「０」を示す。
（情報処理装置１０１の機能的構成例）
　図８は、情報処理装置１０１の機能的構成例を示すブロック図である。図８において、情報処理装置１０１は、取得部８０１と、学習部８０２と、判定部８０３と、表示制御部８０４と、を含む。具体的には、例えば、取得部８０１～表示制御部８０４は、図３に示したメモリ３０２、ディスク３０４、可搬型記録媒体３０７などの記憶装置に記憶されたプログラムをＣＰＵ３０１に実行させることにより、または、通信Ｉ／Ｆ３０５により、その機能を実現する。各機能部の処理結果は、例えば、メモリ３０２、ディスク３０４などの記憶装置に記憶される。
　取得部８０１は、入力された単語または文章に対応する回答を検索した結果、当該入力された単語または文章のうち対応する回答がない単語または文章の情報を取得する。ここで、対応する回答がなかった単語または文章は、ゼロ件ヒットとなった単語または文章である。また、対応する回答がない単語または文章は、適合回答無しとなった単語または文章であってもよい。
　具体的には、例えば、取得部８０１は、不図示の入力装置を用いた管理者の操作入力により、または、外部のコンピュータから、解決不良データを取得することにしてもよい。解決不良データは、ゼロ件ヒットや適合回答無しとなった入力ワード（単語または文章）に関する情報であり、例えば、当該入力ワードがゼロ件ヒットとなった件数や、当該入力ワードが適合回答無しとなった件数を含む。
　また、解決不良データは、例えば、情報処理装置１０１において、不図示のチャットログＤＢ（Ｄａｔａｂａｓｅ）から生成されることにしてもよい。チャットログは、ＦＡＱシステムで行われたチャットに関するログであり、例えば、入力ワード、ＦＡＱ－ＩＤおよびＦＡＱ－ＬＩＳＴを含む。
　入力ワードは、ＦＡＱシステムに入力された単語または文章である。ＦＡＱ－ＩＤは、入力ワードに対して提示された回答（回答候補）のうち、選択された回答のＦＡＱ－ＩＤである。ＦＡＱ－ＬＩＳＴは、入力ワードに対して提示された回答のリストである。入力ワードに対して回答が提示されなかった場合、ＦＡＱ－ＩＤには「－（Ｎｕｌｌ）」が設定される。
　また、回答が提示されたにもかかわらず、いずれの回答も選択されなかった場合は、ＦＡＱ－ＩＤに「Ｎｏｔ　Ｆｏｕｎｄ」が設定される。ＦＡＱ－ＩＤ「Ｎｏｔ　Ｆｏｕｎｄ」の入力ワードは、適合回答無しの入力ワードを示す。入力ワードに対して回答が提示されなかった場合、ＦＡＱ－ＬＩＳＴフィールドには「Ｎｏｔ　Ｆｏｕｎｄ」が設定される。ＦＡＱ－ＬＩＳＴ「Ｎｏｔ　Ｆｏｕｎｄ」の入力ワードは、ゼロ件ヒットとなった入力ワードを示す。
　例えば、情報処理装置１０１は、チャットログＤＢを参照して、ＦＡＱ－ＩＤに「Ｎｏｔ　Ｆｏｕｎｄ」が設定された入力ワードを、適合回答無しの入力ワードとして特定する。また、情報処理装置１０１は、チャットログＤＢを参照して、ＦＡＱ－ＬＩＳＴに「Ｎｏｔ　Ｆｏｕｎｄ」が設定された入力ワードを、ゼロ件ヒットの入力ワードとして特定する。
　そして、情報処理装置１０１は、特定したゼロ件ヒットや適合回答無しとなった入力ワードに関する解決不良データを生成する。この場合、取得部８０１は、生成された解決不良データを取得する。なお、チャットログＤＢ内のどの期間のチャットログを用いるかは任意に設定可能である。取得された解決不良データは、例えば、図７に示した解決不良テーブル２４０に記憶される。
　学習部８０２は、問い合わせを示すラベルが付与された質問データを教師データとして機械学習を行って、学習モデルＭを生成する。また、学習部８０２は、問い合わせを示すラベルが付与された質問データと、問い合わせ以外を示すラベルが付与された会話データとを教師データとして機械学習を行って、学習モデルＭを生成することにしてもよい。
　ここで、学習モデルＭは、入力データの特徴量から、問い合わせ、または、問い合わせ以外のいずれであるかを分類する分類器である。学習モデルＭとしては、例えば、サポートベクターマシン（ＳＶＭ：Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ）を用いることができる。
　具体的には、例えば、学習部８０２は、図５に示したＦＡＱマスタ２２０を参照して、ＦＡＱの各質問および回答のテキストから特徴量ベクトルを生成する。より詳細に説明すると、例えば、学習部８０２は、ＦＡＱの各質問および回答のテキストを形態素解析して単語に分割して、分割した単語をベクトル化する。単語のベクトル化には、例えば、ｗｏｒｄ２ｖｅｃなどの既存の技術を用いることができる。
　つぎに、学習部８０２は、各単語のベクトルの和を特徴量ベクトル（文章のベクトル値）として生成する。そして、学習部８０２は、生成した特徴量ベクトルにラベル「＿ＱＵＥＲＹ＿」を付与したものを教師データとする。ラベル「＿ＱＵＥＲＹ＿」は、問い合わせ（クエリ）を示すラベルである。
　同様に、学習部８０２は、図６に示した会話テキストマスタ２３０を参照して、各会話テキストを形態素解析して単語に分割して、分割した単語をベクトル化する。つぎに、学習部８０２は、各単語のベクトルの和を特徴量ベクトル（文章のベクトル値）として生成する。そして、学習部８０２は、生成した特徴量ベクトルにラベル「＿ＯＴＨＥＲ＿」を付与したものを教師データとする。ラベル「＿ＯＴＨＥＲ＿」は、問い合わせ以外を示すラベルである。
　ここで、図９を用いて、教師データの具体例について説明する。
　図９は、教師データの具体例を示す説明図である。図９において、データセット９００は、教師データの集合である。データセット９００内の各教師データ（例えば、教師データ９０１，９０２）は、文章のベクトル値とラベルとを含む。文章のベクトル値は、ＦＡＱのテキストや会話テキストから生成した特徴量ベクトルである。ラベルは、問い合わせ（＿ＱＵＥＲＹ＿）、または、問い合わせ以外（＿ＯＴＨＥＲ＿）を示すラベル（正解）である。
　例えば、学習部８０２は、データセット９００に基づいて、サポートベクターマシンを用いた教師あり学習を行う。この際、学習部８０２は、例えば、ソフトマージン（制約緩和）を制御するパラメタＣには交差検証法を用いて良好な精度が得られる値を採用する。なお、学習部８０２による機械学習（教師あり学習）は、例えば、ＦＡＱマスタ２２０の記憶内容が更新される度に行われることにしてもよい。
　これにより、入力データの特徴量ベクトルから、問い合わせ、または、問い合わせ以外のいずれであるかを分類する学習モデルＭ（分類器）を生成することができる。なお、学習モデルＭ（分類器）による分類結果の具体例については、図１１を用いて後述する。
　図８の説明に戻り、判定部８０３は、取得された情報を参照して、入力された単語または文章のうち対応する回答がない単語または文章について、当該単語または文章の特徴量に基づいて、問い合わせであるか、または、問い合わせ以外であるかを判定する。具体的には、例えば、判定部８０３は、学習モデルＭを用いて、単語または文章の特徴量に基づいて、当該単語または文章が、問い合わせであるか、または、問い合わせ以外であるかを判定する。
　より詳細に説明すると、例えば、判定部８０３は、解決不良テーブル２４０を参照して、ゼロ件ヒットまたは適合回答無しとなった入力ワード（対応する回答がない入力ワード）を特定する。そして、判定部８０３は、特定した入力ワードを単語に分割して、分割した単語をベクトル化する。
　つぎに、判定部８０３は、各単語のベクトルの和を特徴量ベクトル（文章のベクトル値）として生成する。そして、判定部８０３は、生成した特徴量ベクトルを、生成された学習モデルＭ（分類器）に入力することにより得られる分類結果から、入力ワードが、問い合わせであるか、または、問い合わせ以外であるかを判定する。
　なお、判定された結果は、例えば、ゼロ件ヒットまたは適合回答無しとなった入力ワード（単語または文章）と対応付けて記憶される。
　表示制御部８０４は、入力された単語または文章のうち対応する回答がない単語または文章を一覧表示する際に、問い合わせと判定された単語または文章を、問い合わせ以外と判定された単語または文章とは異なる態様で表示する。
　具体的には、例えば、表示制御部８０４は、問い合わせと判定された単語または文章を、問い合わせ以外と判定された単語または文章と背景色、背景模様、文字色、フォントの少なくともいずれかが異なるように表示することにしてもよい。また、表示制御部８０４は、問い合わせと判定された単語または文章を表示し、問い合わせ以外と判定された単語または文章を非表示とすることにしてもよい。
　より詳細に説明すると、例えば、表示制御部８０４は、解決不良テーブル２４０を参照して、後述の図１３～図１５に示すような管理画面ＭＳを、図２に示した作業者端末２０１に表示することにしてもよい。管理画面ＭＳは、ＦＡＱのメンテナンスを行う際に表示される画面である。また、表示制御部８０４は、後述の図１３～図１５に示すような管理画面ＭＳを、自装置の不図示のディスプレイに表示することにしてもよい。
　例えば、表示制御部８０４は、管理画面ＭＳにおいて、ゼロ件ヒットまたは適合回答無しとなった入力ワードを一覧表示する際に、問い合わせと判定された入力ワードをハイライト表示することにしてもよい（後述の図１３参照）。この際、表示制御部８０４は、例えば、ゼロ件ヒットまたは適合回答無しとなった回数が多い順に入力ワードをソートしてランキング形式で表示してもよい。また、表示制御部８０４は、管理画面ＭＳにおいて、ゼロ件ヒットまたは適合回答無しとなった入力ワードを一覧表示する際に、問い合わせ以外と判定された入力ワードを非表示として、問い合わせと判定された入力ワードのみを絞り込み表示することにしてもよい（後述の図１４参照）。
　なお、管理画面ＭＳの画面例については、図１２～図１５を用いて後述する。
（単語数が少ない入力ワードについて）
　同じ単語であっても、会話の状況によっては、問い合わせ（クエリ）とも雑談（フリートーク）とも受け取ることができることがある。したがって、入力ワードに含まれる単語数が少ないと（例えば、１個や２個）、上述した学習モデルＭ（分類器）を用いた手法では、問い合わせであるかどうかの判定精度が低下するおそれがある。
　ここで、ＦＡＱには、雑談などの会話に比べて、特徴的な単語が出現する傾向がある。そこで、情報処理装置１０１は、入力ワードに含まれる単語数が少ないときは、単語のＦＡＱらしさを示す尺度となる特徴度を用いて、入力ワードが、問い合わせであるか、または、問い合わせ以外であるかを判定することにしてもよい。
　特徴度は、ＦＡＱで多く出現するほど値が高くなり、会話テキスト集に多く出現するほど値が低くなるように算出される。例えば、特徴度は、ＴＦ（Ｔｅｒｍ　Ｆｒｅｑｕｅｎｃｙ）－ＩＤＦ（Ｉｎｖｅｒｓｅ　Ｄｏｃｕｍｅｎｔ　Ｆｒｅｑｕｅｎｃｙ）アルゴリズムを用いて算出されることにしてもよい。
　具体的には、例えば、判定部８０３は、入力ワード（単語または文章）に含まれる単語数が所定数以下の場合、質問データと回答データとの組の集合と会話データの集合とに基づいて、入力ワードに含まれる単語の特徴度を算出する。ここで、所定数は、任意に設定可能であり、例えば、１、２程度の値に設定される。
　質問データと回答データとの組は、質問データと当該質問データに対応する回答データとの組であり、例えば、ＦＡＱである。会話データは、例えば、チャットで行われた日常会話を示す会話テキストである。単語の特徴度は、単語の特徴的な度合いを示す指標値である。
　より具体的には、例えば、判定部８０３は、下記式（１）を用いて、入力ワードに含まれる単語ｉの特徴度（ｉ）を算出することができる。全文書は、例えば、ＦＡＱマスタ２２０内のＦＡＱと、会話テキストマスタ２３０内の会話テキストを合わせたものである。
　　特徴度（ｉ）＝ＦＡＱ内での単語ｉの出現頻度　×　ｌｏｇ（全文書中での単語ｉが出現する文書数の逆数）　　　・・・（１）
　上記式（１）の「ＦＡＱ内での単語ｉの出現頻度」は、例えば、ＦＡＱマスタ２２０内の全ＦＡＱでの単語ｉの出現頻度であり、ＴＦ－ＩＤＦ値におけるＴＦ値に対応する。ＴＦ値は、特定の文書中での単語ｉの出現頻度を示す。上記式（１）の「ｌｏｇ（全文書中での単語ｉが出現する文書数の逆数）」は、ＴＦ－ＩＤＦ値におけるＩＤＦ値に対応する。ＩＤＦ値は、全文書中で単語ｉが出現する文書数の逆数である。
　そして、判定部８０３は、算出した特徴度（ｉ）に基づいて、入力ワードが、問い合わせであるか、または、問い合わせ以外であるかを判定する。具体的には、例えば、判定部８０３は、特徴度（ｉ）が閾値を超えている場合、入力ワードが問い合わせであると判定する。また、判定部８０３は、特徴度（ｉ）以下の場合には、入力ワードが問い合わせ以外であると判定する。閾値は、任意に設定可能である。
　なお、入力ワードに複数の単語が含まれる場合、例えば、判定部８０３は、複数の単語のいずれかの単語の特徴度が閾値を超えている場合に、入力ワードが問い合わせであると判定することにしてもよい。また、判定部８０３は、複数の単語それぞれの特徴度の平均値が閾値を超えている場合に、入力ワードが問い合わせであると判定することにしてもよい。また、判定部８０３は、複数の単語それぞれの特徴度が全て閾値を超えている場合に、入力ワードが問い合わせであると判定することにしてもよい。
　ここで、図１０を用いて、単語ｉの特徴度（ｉ）から、入力ワードが、問い合わせであるか、または、問い合わせ以外であるかを判定する場合の判定例について説明する。
　図１０は、特徴度を用いた判定例を示す説明図である。図１０に示すケース１では、入力ワードに含まれる単語ｉを「百葉箱」とする。点線枠１０１０（ＦＡＱ）内の各文書１０１１～１０１３は、個々のＦＡＱを示す。点線枠１０２０（会話テキスト集）内の各文書１０２１～１０３２は、個々の会話テキストを示す。
　「百葉箱」は、ＦＡＱに多く登場する一方で、会話テキスト集にはあまり登場していないため、ＦＡＱらしい単語とみなす。上記式（１）を用いた計算では、ＦＡＱを対象とした単語ｉの出現頻度が高くなるため、特徴度（ｉ）は大きくなる。
　図１０に示すケース２では、入力ワードに含まれる単語ｉを「今日」とする。点線枠１０４０（ＦＡＱ）内の各文書１０４１～１０４３は、個々のＦＡＱを示す。点線枠１０５０（会話テキスト集）内の各文書１０５１～１０６２は、個々の会話テキストを示す。
　「今日」は、会話テキスト集に多く登場するため、一般的な単語とみなす。上記式（１）を用いた計算では、ＦＡＱと会話テキスト集とを対象としたＩＤＦ（ＤＦの逆数）値に対応する部分が低くなるため、特徴度（ｉ）は小さくなる。
　なお、ＦＡＱテキストと会話テキストの量に差をつけ、ＦＡＱよりも大量の会話テキストを設けることで、一般的な単語のＩＤＦ値がより小さく計算されるため、特徴度（ｉ）の計算結果が鮮明に表れるようになる。
　ここで、図１１を用いて、学習モデルＭ（分類器）による分類結果の具体例について説明する。
　図１１は、学習モデルによる分類結果の具体例を示す説明図である。図１１において、分類結果情報１１１０は、ＦＡＱのテキストから生成した教師データ（ラベル「＿ＱＵＥＲＹ＿」）のみを使用して生成した学習モデルＭ（分類器）を用いて分類した結果を示している。
　また、分類結果情報１１２０は、ＦＡＱのテキストから生成した教師データ（ラベル「＿ＱＵＥＲＹ＿」）とともに、会話テキストから生成した教師データ（ラベル「＿ＯＴＨＥＲ＿」）を使用して生成した学習モデルＭ（分類器）を用いて分類した結果を示している。
　分類結果情報１１１０において、例えば、分類結果１１１１は、入力ワード「こんにちは」が、問い合わせ以外（図１１中、「Ｔａｌｋ」）であることを示す。また、分類結果１１１２は、入力ワード「今日はいい天気ですね」が、問い合わせ（図１１中、「Ｑｕｅｒｙ」）であることを示す。
　また、分類結果１１１３は、入力ワード「昨日は土砂降りの雨で苦労しました」が、問い合わせであることを示す。ここで、入力ワード「今日はいい天気ですね」や「昨日は土砂降りの雨で苦労しました」は、「問い合わせ以外（Ｔａｌｋ）」と分類されるべきものである。
　これに対して、分類結果情報１１２０において、分類結果１１２１は、入力ワード「今日はいい天気ですね」が、問い合わせ以外であることを示している。また、分類結果１１２２は、入力ワード「昨日は土砂降りの雨で苦労しました」が、問い合わせ以外であることを示している。
　このように、学習モデルＭ（分類器）の生成にあたり、ＦＡＱのテキストから生成した教師データ（ラベル「＿ＱＵＥＲＹ＿」）だけでなく、会話テキストから生成した教師データ（ラベル「＿ＯＴＨＥＲ＿」）も使用することで、分類精度が向上していることがわかる。
（管理画面ＭＳの画面例）
　つぎに、図１２～図１５を用いて、作業者端末２０１のディスプレイ４０４（図４参照）に表示される管理画面ＭＳの画面例について説明する。
　図１２～図１５は、管理画面ＭＳの画面例を示す説明図である。まず、図１２を用いて、問い合わせ（＿ＱＵＥＲＹ＿）と判定された入力ワードと、問い合わせ以外（＿ＯＴＨＥＲ＿）と判定された入力ワードとを、同じ態様で表示する場合の表示例について説明する。
　図１２において、管理画面ＭＳは、ＦＡＱのメンテナンスを行う際に表示される管理画面の一例である。管理画面ＭＳには、ゼロ件ヒットまたは適合回答無しとなった入力ワードが、出現回数（ゼロ件ヒットの件数＋適合回答無しの件数）の多い順に一覧表示されている。
　つぎに、図１３～図１５を用いて、問い合わせと判定された入力ワードを、問い合わせ以外と判定された入力ワードとは異なる態様で表示する場合の表示例について説明する。
　図１３に示す管理画面ＭＳでは、ゼロ件ヒットまたは適合回答無しとなった順位１～７の入力ワードのうち、問い合わせ（＿ＱＵＥＲＹ＿）と判定された順位１，２，３，７の入力ワードのみがハイライト表示されている。
　これにより、ＦＡＱシステムの管理者は、ゼロ件ヒットまたは適合回答無しとなった入力ワードのうち、どの入力ワードが質問（問い合わせ）なのかを容易に識別することが可能となり、優先的にメンテナンスを行うべきＦＡＱを判断しやすくなる。例えば、管理者は、順位１の「台風」は質問（問い合わせ）であり、順位４の「土砂降りの雨で憂鬱です」はフリートーク（問い合わせ以外）であることを容易に判断することができる。
　また、ＦＡＱシステムの管理者は、順位を参照することで、質問（問い合わせ）の入力ワードのうち、どの入力ワードからメンテナンスを行うべきかを判断しやすくなる。例えば、管理者は、頻繁に出現している高順位の入力ワードからメンテナンスを行うべきであると判断することができる。
　図１４に示す管理画面ＭＳでは、ゼロ件ヒットまたは適合回答無しとなった入力ワードのうち、問い合わせ（＿ＱＵＥＲＹ＿）と判定された順位１，２，３，７の入力ワードのみが表示されている。すなわち、問い合わせ以外（＿ＯＴＨＥＲ＿）と判定された入力ワードが非表示となっている。
　これにより、ＦＡＱシステムの管理者は、ゼロ件ヒットまたは適合回答無しとなった入力ワードのうち、質問（問い合わせ）の入力ワードを容易に特定することが可能となり、優先的にメンテナンスを行うべきＦＡＱを判断しやすくなる。
　図１５に示す管理画面ＭＳでは、ゼロ件ヒットまたは適合回答無しとなった入力ワードのうち、問い合わせ（＿ＱＵＥＲＹ＿）と判定された順位１，２，３，７の入力ワードに対して、アイコン１５０１～１５０４が表示されている。アイコン１５０１～１５０４は、問い合わせの入力ワードであることを示すマークである。
　これにより、ＦＡＱシステムの管理者は、ゼロ件ヒットまたは適合回答無しとなった入力ワードのうち、どの入力ワードが質問（問い合わせ）なのかを容易に識別することが可能となり、優先的にメンテナンスを行うべきＦＡＱを判断しやすくなる。
　なお、情報処理装置１０１（表示制御部８０４）は、作業者端末２０１のユーザの操作入力に応じて、図１２～図１５に示した管理画面ＭＳの表示態様を切替可能にしてもよい。例えば、表示制御部８０４は、ユーザの操作入力に応じて、管理画面ＭＳの表示態様を、図１２に示した管理画面ＭＳから、図１３に示した管理画面ＭＳに切り替えることにしてもよい。
　また、表示制御部８０４は、ユーザの操作入力に応じて、管理画面ＭＳの表示態様を、図１３に示した管理画面ＭＳから、図１４に示した管理画面ＭＳに切り替えることにしてもよい。これにより、ＦＡＱシステムの管理者は、例えば、ゼロ件ヒットまたは適合回答無しとなった入力ワード全体を一旦確認した上で、優先的にメンテナンスを行うべき問い合わせ（質問）の入力ワードのみを絞り込み表示させることができる。
（情報処理装置１０１の表示制御処理手順）
　つぎに、図１６を用いて、情報処理装置１０１の表示制御処理手順について説明する。情報処理装置１０１の表示制御処理は、例えば、作業者端末２０１からの要求に応じて実行される。
　図１６は、情報処理装置１０１の表示制御処理手順の一例を示すフローチャートである。図１６のフローチャートにおいて、まず、情報処理装置１０１は、解決不良テーブル２４０を参照して、管理画面ＭＳにゼロ件ヒットランキングを表示する（ステップＳ１６０１）。ゼロ件ヒットランキングは、ゼロ件ヒットまたは適合回答無しとなった入力ワードを、出現回数（ゼロ件ヒットの件数＋適合回答無しの件数）が多い順にソートしたものである。
　つぎに、情報処理装置１０１は、Ｑｕｅｒｙハイライト機能が有効であるか否かを判断する（ステップＳ１６０２）。Ｑｕｅｒｙハイライト機能の有効／無効は、例えば、予め設定されていてもよく、また、管理画面ＭＳ上の操作ボタン（不図示）を押下するなどの操作入力により設定されてもよい。
　ここで、情報処理装置１０１は、Ｑｕｅｒｙハイライト機能が有効となるのを待つ（ステップＳ１６０２：Ｎｏ）。そして、情報処理装置１０１は、Ｑｕｅｒｙハイライト機能が有効となった場合（ステップＳ１６０２：Ｙｅｓ）、ゼロ件ヒットランキングから選択されていない未選択の入力ワードを選択する（ステップＳ１６０３）。
　つぎに、情報処理装置１０１は、選択した入力ワードを単語に分割する（ステップＳ１６０４）。そして、情報処理装置１０１は、入力ワードに含まれる単語数が所定数以下であるか否かを判断する（ステップＳ１６０５）。
　ここで、単語数が所定数より大きい場合（ステップＳ１６０５：Ｎｏ）、情報処理装置１０１は、入力ワードから分割した各単語のベクトルの和を特徴量ベクトル（文章のベクトル値）として生成する（ステップＳ１６０６）。そして、情報処理装置１０１は、生成した特徴量ベクトルを学習モデルＭ（分類器）に入力して、入力ワードが、Ｑｕｅｒｙ（問い合わせ）に属するか、ＯＴＨＥＲ（問い合わせ以外）に属するかを判定して（ステップＳ１６０７）、ステップＳ１６０９に移行する。
　また、ステップＳ１６０５において、単語数が所定数以下の場合（ステップＳ１６０５：Ｙｅｓ）、情報処理装置１０１は、特徴度判定処理を実行する（ステップＳ１６０８）。特徴度判定処理は、単語の特徴度を用いて、入力ワードが、問い合わせであるか、または、問い合わせ以外であるかを判定する処理である。
　なお、特徴度判定処理の具体的な処理手順については、図１７を用いて後述する。
　つぎに、情報処理装置１０１は、ゼロ件ヒットランキングから選択されていない未選択の入力ワードがあるか否かを判断する（ステップＳ１６０９）。ここで、未選択の入力ワードがある場合（ステップＳ１６０９：Ｙｅｓ）、情報処理装置１０１は、ステップＳ１６０３に戻る。
　一方、未選択の入力ワードがない場合（ステップＳ１６０９：Ｎｏ）、情報処理装置１０１は、管理画面ＭＳにおいて、Ｑｕｅｒｙ（問い合わせ）に属する入力ワードをハイライト表示して（ステップＳ１６１０）、本フローチャートによる一連の処理を終了する。
　これにより、管理画面ＭＳにおいて、ゼロ件ヒットまたは適合回答無しとなった入力ワードのうち、ＱＵＥＲＹに属すると判定された入力ワードのみをハイライト表示して、どの入力ワードが問い合わせ（質問）なのかを容易に識別可能にすることができる。
　なお、Ｑｕｅｒｙハイライト機能が予め有効に設定されている場合、情報処理装置１０１は、ステップＳ１６０１，Ｓ１６０２の処理をスキップすることにしてもよい。また、ステップＳ１６１０において、情報処理装置１０１は、管理画面ＭＳにおいて、Ｏｔｈｅｒ（問い合わせ以外）に属する入力ワードを非表示とし、Ｑｕｅｒｙ（問い合わせ）に属する入力ワードのみを表示することにしてもよい。
　つぎに、図１７を用いて、図１６に示したステップＳ１６０８の特徴度判定処理の具体的な処理手順について説明する。
　図１７は、特徴度判定処理の具体的処理手順の一例を示すフローチャートである。図１７のフローチャートにおいて、まず、情報処理装置１０１は、ＦＡＱマスタ２２０および会話テキストマスタ２３０を参照して、上記式（１）を用いて、図１６に示したステップＳ１６０４において分割した単語の特徴度を算出する（ステップＳ１７０１）。
　つぎに、情報処理装置１０１は、算出した単語の特徴度が閾値を超えているか否かを判断する（ステップＳ１７０２）。ここで、単語の特徴度が閾値を超えている場合（ステップＳ１７０２：Ｙｅｓ）、情報処理装置１０１は、入力ワードが、Ｑｕｅｒｙ（問い合わせ）に属すると判定して（ステップＳ１７０３）、特徴度判定処理を呼び出したステップに戻る。
　一方、単語の特徴度が閾値以下の場合（ステップＳ１７０２：Ｎｏ）、情報処理装置１０１は、入力ワードが、Ｏｔｈｅｒ（問い合わせ以外）に属すると判定して（ステップＳ１７０４）、特徴度判定処理を呼び出したステップに戻る。
　これにより、入力ワードに含まれる単語数が少ないときに（例えば、１個や２個）、入力ワードに特徴的な単語が出現するかどうかで、入力ワードが、問い合わせであるか、または、問い合わせ以外であるかを判定することができる。
　以上説明したように、実施の形態にかかる情報処理装置１０１によれば、入力された単語または文章に対応する回答を検索した結果、入力された単語または文章のうち対応する回答がない単語または文章について、当該単語または文章の特徴量に基づいて、問い合わせであるか、または、問い合わせ以外であるかを判定することができる。入力された単語または文章は、例えば、ＦＡＱシステムのユーザの情報処理端末２０２に入力された単語または文章である。そして、情報処理装置１０１によれば、入力された単語または文章のうち対応する回答がない単語または文章を一覧表示する際に、問い合わせと判定した単語または文章を、問い合わせ以外と判定した単語または文章とは異なる態様で表示することができる。
　これにより、ユーザの情報処理端末２０２に入力された入力ワードのうち、ゼロ件ヒットまたは適合回答無しとなった入力ワードを一覧表示する際に、質問（問い合わせ）であるか、フリートーク（問い合わせ以外）であるかを識別可能に表示することができる。このため、例えば、ＦＡＱシステムの管理者は、ＦＡＱのメンテナンスを行う際に、ゼロ件ヒットまたは適合回答無しとなった入力ワードのうち、優先して回答を用意すべき入力ワード（問い合わせ）を容易に判断することが可能となる。
　また、情報処理装置１０１によれば、問い合わせを示すラベルが付与された質問データと、問い合わせ以外を示すラベルが付与された会話データとを教師データとして機械学習を行って、入力データの特徴量から、問い合わせ、または、問い合わせ以外のいずれであるかを分類する学習モデルＭ（分類器）を用いて、単語または文章の特徴量に基づいて、当該単語または文章が、問い合わせであるか、または、問い合わせ以外であるかを判定することができる。
　これにより、学習モデルＭ（分類器）の生成にあたり、ＦＡＱのテキストから生成した教師データ（ラベル「＿ＱＵＥＲＹ＿」）だけでなく、会話テキストから生成した教師データ（ラベル「＿ＯＴＨＥＲ＿」）も使用することで、分類精度の向上を図ることができる。
　また、情報処理装置１０１によれば、単語または文章に含まれる単語数が所定数以下の場合、質問データと回答データとの組の集合と会話データの集合とに基づいて、単語または文章に含まれる単語の特徴的な度合いを示す特徴度を算出することができる。特徴度は、例えば、ＴＦ－ＩＤＦアルゴリズムを用いて算出される。そして、情報処理装置１０１によれば、算出した特徴度に基づいて、単語または文章が、問い合わせであるか、または、問い合わせ以外であるかを判定することができる。
　これにより、入力ワードに含まれる単語数が少ないときに（例えば、１個や２個）、入力ワードに特徴的な単語が出現するかどうかで、入力ワードが、問い合わせであるか、または、問い合わせ以外であるかを判定することができる。また、ＴＦ－ＩＤＦアルゴリズムを用いることで、ＦＡＱで多く出現するほど値が高くなり、会話テキスト集に多く出現するほど値が低くなる特徴度を求めることができ、単語のＦＡＱらしさを評価する適切な指標値を得ることができる。
　また、情報処理装置１０１によれば、問い合わせと判定した単語または文章を、問い合わせ以外と判定した単語または文章と背景色、背景模様、文字色、フォントの少なくともいずれかが異なるように表示することができる。
　これにより、ゼロ件ヒットまたは適合回答無しとなった入力ワードのうち、質問（問い合わせ）に属する入力ワードを直感的に判断可能にすることができる。
　また、情報処理装置１０１によれば、問い合わせと判定した単語または文章を表示し、問い合わせ以外と判定した単語または文章を非表示とすることができる。
　これにより、ゼロ件ヒットまたは適合回答無しとなった入力ワードのうち、回答を用意する必要性が低い入力ワードを非表示にして、優先して回答を用意すべき入力ワードの判断ミスを防ぐことができる。
　これらのことから、情報処理装置１０１によれば、入力される質問に対して適切な回答を提示するためのＦＡＱのメンテナンス作業にかかる手間や時間を削減することができる。これにより、ＦＡＱのメンテナンス作業にかかる人的負荷やコストを抑えつつ、ゼロ件ヒットや適合回答無しの件数の増加を抑えることが可能となり、ひいては、ユーザの満足度を向上させることができる。
　なお、本実施の形態で説明した表示制御方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本表示制御プログラムは、ハードディスク、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ、ＵＳＢメモリ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、本表示制御プログラムは、インターネット等のネットワークを介して配布してもよい。
　また、本実施の形態で説明した情報処理装置１０１は、スタンダードセルやストラクチャードＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）などの特定用途向けＩＣやＦＰＧＡなどのＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）によっても実現することができる。
　１０１　情報処理装置
　１１０，１２０　入力ワード
　１１１，１２１　分類結果
　２００　情報処理システム
　２０１　作業者端末
　２０２　情報処理端末
　２１０　ネットワーク
　２２０　ＦＡＱマスタ
　２３０　会話テキストマスタ
　２４０　解決不良テーブル
　３００，４００　バス
　３０１，４０１　ＣＰＵ
　３０２，４０２　メモリ
　３０３　ディスクドライブ
　３０４　ディスク
　３０５，４０３　通信Ｉ／Ｆ
　３０６，４０６　可搬型記録媒体Ｉ／Ｆ
　３０７，４０７　可搬型記録媒体
　４０４　ディスプレイ
　４０５　入力装置
　８０１　取得部
　８０２　学習部
　８０３　判定部
　８０４　表示制御部

Claims (9)

  1. 　入力された単語または文章に対応する回答を検索した結果、前記入力された単語または文章のうち対応する回答がない単語または文章について、当該単語または文章の特徴量に基づいて、問い合わせであるか、または、問い合わせ以外であるかを判定し、
    　前記対応する回答がない単語または文章を一覧表示する際に、前記問い合わせと判定した単語または文章を、前記問い合わせ以外と判定した単語または文章とは異なる態様で表示する、
    　処理をコンピュータに実行させることを特徴とする表示制御プログラム。
  2. 　前記判定する処理は、
    　問い合わせを示すラベルが付与された質問データと、問い合わせ以外を示すラベルが付与された会話データとを教師データとして機械学習を行って、入力データの特徴量から、問い合わせ、または、問い合わせ以外のいずれであるかを分類する分類器を用いて、前記単語または文章の特徴量に基づいて、当該単語または文章が、問い合わせであるか、または、問い合わせ以外であるかを判定する、ことを特徴とする請求項１に記載の表示制御プログラム。
  3. 　前記単語または文章に含まれる単語数が所定数以下の場合、質問データと回答データとの組の集合と会話データの集合とに基づいて、前記単語または文章に含まれる単語の特徴的な度合いを示す特徴度を算出し、
    　算出した前記特徴度に基づいて、前記単語または文章が、問い合わせであるか、または、問い合わせ以外であるかを判定する、ことを特徴とする請求項１または２に記載の表示制御プログラム。
  4. 　前記表示する処理は、
    　前記問い合わせと判定した単語または文章を、前記問い合わせ以外と判定した単語または文章と背景色、背景模様、文字色、フォントの少なくともいずれかが異なるように表示する、ことを特徴とする請求項１～３のいずれか一つに記載の表示制御プログラム。
  5. 　前記表示する処理は、
    　前記問い合わせと判定した単語または文章を表示し、前記問い合わせ以外と判定した単語または文章を非表示とする、ことを特徴とする請求項１～３のいずれか一つに記載の表示制御プログラム。
  6. 　前記特徴度は、ＴＦ（Ｔｅｒｍ　Ｆｒｅｑｕｅｎｃｙ）－ＩＤＦ（Ｉｎｖｅｒｓｅ　Ｄｏｃｕｍｅｎｔ　Ｆｒｅｑｕｅｎｃｙ）アルゴリズムを用いて算出される、ことを特徴とする請求項３に記載の表示制御プログラム。
  7. 　前記入力された単語または文章は、ユーザの情報処理端末に入力された単語または文章である、ことを特徴とする請求項１～６のいずれか一つに記載の表示制御プログラム。
  8. 　入力された単語または文章に対応する回答を検索した結果、前記入力された単語または文章のうち対応する回答がない単語または文章について、当該単語または文章の特徴量に基づいて、問い合わせであるか、または、問い合わせ以外であるかを判定し、
    　前記対応する回答がない単語または文章を一覧表示する際に、前記問い合わせと判定した単語または文章を、前記問い合わせ以外と判定した単語または文章とは異なる態様で表示する、
    　処理をコンピュータが実行することを特徴とする表示制御方法。
  9. 　入力された単語または文章に対応する回答を検索した結果、前記入力された単語または文章のうち対応する回答がない単語または文章について、当該単語または文章の特徴量に基づいて、問い合わせであるか、または、問い合わせ以外であるかを判定する判定部と、
    　前記対応する回答がない単語または文章を一覧表示する際に、前記判定部によって前記問い合わせと判定された単語または文章を、前記判定部によって前記問い合わせ以外と判定された単語または文章とは異なる態様で表示する表示制御部と、
    　を有することを特徴とする情報処理装置。
PCT/JP2019/044963 2019-11-15 2019-11-15 表示制御プログラム、表示制御方法および情報処理装置 WO2021095262A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2019/044963 WO2021095262A1 (ja) 2019-11-15 2019-11-15 表示制御プログラム、表示制御方法および情報処理装置
JP2021555771A JP7272458B2 (ja) 2019-11-15 2019-11-15 表示制御プログラム、表示制御方法および情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/044963 WO2021095262A1 (ja) 2019-11-15 2019-11-15 表示制御プログラム、表示制御方法および情報処理装置

Publications (1)

Publication Number Publication Date
WO2021095262A1 true WO2021095262A1 (ja) 2021-05-20

Family

ID=75912109

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/044963 WO2021095262A1 (ja) 2019-11-15 2019-11-15 表示制御プログラム、表示制御方法および情報処理装置

Country Status (2)

Country Link
JP (1) JP7272458B2 (ja)
WO (1) WO2021095262A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005190232A (ja) * 2003-12-26 2005-07-14 Seiko Epson Corp 質問回答装置の精度向上支援装置及び精度向上支援方法ならびにそのプログラム
JP2016099968A (ja) * 2014-11-26 2016-05-30 株式会社ユニバーサルエンターテインメント 情報提供システム、情報提供方法、プログラム、及びデータ構造

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005190232A (ja) * 2003-12-26 2005-07-14 Seiko Epson Corp 質問回答装置の精度向上支援装置及び精度向上支援方法ならびにそのプログラム
JP2016099968A (ja) * 2014-11-26 2016-05-30 株式会社ユニバーサルエンターテインメント 情報提供システム、情報提供方法、プログラム、及びデータ構造

Also Published As

Publication number Publication date
JP7272458B2 (ja) 2023-05-12
JPWO2021095262A1 (ja) 2021-05-20

Similar Documents

Publication Publication Date Title
CN108647205B (zh) 细粒度情感分析模型构建方法、设备及可读存储介质
WO2021093755A1 (zh) 问题的匹配方法及装置、问题的回复方法及装置
US11645317B2 (en) Recommending topic clusters for unstructured text documents
WO2020077824A1 (zh) 异常问题的定位方法、装置、设备及存储介质
CN111767716B (zh) 企业多级行业信息的确定方法、装置及计算机设备
KR20160026892A (ko) 논팩토이드형 질의 응답 시스템 및 방법
KR102285142B1 (ko) 챗봇을 위한 학습 데이터 추천 장치 및 방법
US11023503B2 (en) Suggesting text in an electronic document
JP6818706B2 (ja) 情報提供装置、情報提供方法、およびプログラム
JP2008084151A (ja) 情報表示装置および情報表示方法
US11182540B2 (en) Passively suggesting text in an electronic document
CN111209372B (zh) 一种关键词的确定方法、装置、电子设备和存储介质
CA3138556A1 (en) Apparatuses, storage medium and method of querying data based on vertical search
CN116501960B (zh) 内容检索方法、装置、设备及介质
US20170154294A1 (en) Performance evaluation device, control method for performance evaluation device, and control program for performance evaluation device
JP5218409B2 (ja) 関連情報検索システム及び関連情報検索方法
CN114116997A (zh) 知识问答方法、装置、电子设备及存储介质
CN111460114A (zh) 检索方法、装置、设备及计算机可读存储介质
JP2009053743A (ja) 文書類似性導出装置、文書類似性導出方法、及び、文書類似性導出プログラム
WO2021095262A1 (ja) 表示制御プログラム、表示制御方法および情報処理装置
US20230143777A1 (en) Semantics-aware hybrid encoder for improved related conversations
CN115660695A (zh) 客服人员标签画像构建方法、装置、电子设备及存储介质
CN116414940A (zh) 标准问题的确定方法、装置及相关设备
JPWO2021095262A5 (ja)
KR20220099690A (ko) 문서를 요약하는 장치, 방법 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19952526

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021555771

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19952526

Country of ref document: EP

Kind code of ref document: A1