WO2021065034A1 - 文生成装置、文生成学習装置、文生成方法、文生成学習方法及びプログラム - Google Patents

文生成装置、文生成学習装置、文生成方法、文生成学習方法及びプログラム Download PDF

Info

Publication number
WO2021065034A1
WO2021065034A1 PCT/JP2020/008955 JP2020008955W WO2021065034A1 WO 2021065034 A1 WO2021065034 A1 WO 2021065034A1 JP 2020008955 W JP2020008955 W JP 2020008955W WO 2021065034 A1 WO2021065034 A1 WO 2021065034A1
Authority
WO
WIPO (PCT)
Prior art keywords
sentence
unit
content selection
generation
learning
Prior art date
Application number
PCT/JP2020/008955
Other languages
English (en)
French (fr)
Inventor
いつみ 斉藤
京介 西田
光甫 西田
久子 浅野
準二 富田
淳史 大塚
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US17/764,186 priority Critical patent/US11954435B2/en
Priority to JP2021551110A priority patent/JP7347530B2/ja
Publication of WO2021065034A1 publication Critical patent/WO2021065034A1/ja
Priority to JP2023142658A priority patent/JP2023159453A/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G06F40/56—Natural language generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates

Definitions

  • the present invention relates to a sentence generation device, a sentence generation learning device, a sentence generation method, a sentence generation learning method, and a program.
  • the generation technique is a technique for generating a predetermined target sentence (for example, a summary sentence) based on a neural network model that has been learned in advance by inputting a text.
  • Non-Patent Document 1 proposes a method of reflecting the word-level importance obtained by multiplying the importance of a sentence contained in an input document and the importance of a word at the time of sentence generation.
  • Non-Patent Document 1 information to be considered when generating a sentence is given in the form of importance score, length embedding, etc., and cannot be given as a text.
  • the present invention has been made in view of the above points, and an object of the present invention is to make it possible to add information to be considered when generating a sentence as a text.
  • the sentence generator sets a content selection unit for acquiring a reference text based on the input sentence and information different from the input sentence, and a sentence based on the input sentence and the reference text. It has a generation unit to generate, and the content selection unit and the generation unit are neural networks based on learned parameters.
  • FIG. 1 is a diagram showing a hardware configuration example of the sentence generator 10 according to the first embodiment.
  • the sentence generation device 10 of FIG. 1 includes a drive device 100, an auxiliary storage device 102, a memory device 103, a CPU 104, an interface device 105, and the like, which are connected to each other by a bus B, respectively.
  • the program that realizes the processing in the sentence generator 10 is provided by a recording medium 101 such as a CD-ROM.
  • a recording medium 101 such as a CD-ROM.
  • the program is installed in the auxiliary storage device 102 from the recording medium 101 via the drive device 100.
  • the program does not necessarily have to be installed from the recording medium 101, and may be downloaded from another computer via the network.
  • the auxiliary storage device 102 stores the installed program and also stores necessary files, data, and the like.
  • the memory device 103 reads and stores the program from the auxiliary storage device 102 when the program is instructed to start.
  • the CPU 104 executes the function related to the statement generation device 10 according to the program stored in the memory device 103.
  • the interface device 105 is used as an interface for connecting to a network.
  • the sentence generator 10 may have a GPU (Graphics Processing Unit) instead of the CPU 104 or together with the CPU 104.
  • GPU Graphics Processing Unit
  • FIG. 2 is a diagram showing a functional configuration example of the sentence generator 10 according to the first embodiment.
  • the sentence generation device 10 has a content selection unit 11 and a generation unit 12. Each of these parts is realized by a process of causing the CPU 104 or the GPU to execute one or more programs installed in the sentence generator 10.
  • the source text (input sentence) and information different from the input sentence (conditions or information to be considered in summarizing the source text (hereinafter referred to as “considered information”)) are input to the sentence generator 10 as text.
  • the length (number of words) K hereinafter, referred to as “output length K”
  • output length K the length (number of words) K (hereinafter, referred to as “output length K”) of the sentence (summary sentence) generated by the sentence generator 10 based on the source text.
  • the content selection unit 11 estimates the importance [0,1] for each word constituting the source text.
  • the content selection unit 11 extracts a predetermined number of words (up to the Kth order of importance) based on the output length K, and outputs the result of concatenating the extracted words as reference text.
  • the importance is the probability that a word is included in a summary sentence.
  • the generation unit 12 generates a target text (summary sentence) based on the source text and the reference text output from the content selection unit 11.
  • the content selection unit 11 and the generation unit 12 are based on a neural network that executes a sentence generation task (summary in the present embodiment). Specifically, the content selection unit 11 is based on BERT (Bidirectional Encoder Representations from Transformers), and the generation unit 12 is a Transformer-based pointer generator model “Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszko). Based on N Gomez, Lukasz Kaiser, and Illia Polosukhin. 2017. Attention is all you need. In Advances in Neural Information Processing Systems 30, pages 5998-6008. ”(Hereinafter referred to as“ Reference 1 ”). Therefore, the processing by the content selection unit 11 and the generation unit 12 executes the processing based on the learned value (learned parameter) of the learning parameter for the neural network.
  • BERT Bidirectional Encoder Representations from Transformers
  • the generation unit 12 is a Transformer-based pointer generator model “Ashish Vaswani, Noam Shazeer, N
  • FIG. 3 is a diagram showing a configuration example of the generation unit 12 in the first embodiment.
  • the generation unit 12 includes a source text coding unit 121, a reference text coding unit 122, a decoding unit 123, a synthesis unit 124, and the like. The functions of each part will be described later.
  • FIG. 4 is a flowchart for explaining an example of a processing procedure executed by the sentence generator 10 in the first embodiment.
  • step S101 the content selection unit 11, for each word in the source text X C, to estimate the severity (calculated).
  • the content selection unit 11 uses BERT (Bidirectional Encoder Representations from Transformers). BERT has achieved SOTA (State-of-the-Art) in many sequence tagging tasks. In this embodiment, the content selection unit 11 divides the source text into words using a BERT tokenizer, a fine-tuned BERT model, and a feed forward network added uniquely to the task. Content selection unit 11, based on the following equation to calculate the importance p ext n words x C n. Note that pext n indicates the importance of the nth word x Cn in the source text X C.
  • BERT () is the last hidden state of the pre-trained BERT.
  • b 1 are learning parameters of the content selection unit 11.
  • ⁇ is a sigmoid function.
  • d bert is the last hidden dimension of the pre-learned BERT.
  • FIG. 5 is a diagram for explaining the estimation of the importance for each word.
  • Figure 5 there is shown an example that contains N number of words in the source text X C.
  • the content selection unit 11 calculates the importance value pext n of each of the N words.
  • the contents selecting unit 11 extracts the degree of importance p ext n sets from a larger word in order of the K words (word string) (S102).
  • K is an output length as described above.
  • the extracted word string is output to the generation unit 12 as reference text.
  • step S101 the importance may be calculated as pextw n of the following equation (2).
  • a set (word string) of K words is extracted as a reference text in order from the word having the largest pextw n.
  • N Sj is the number of words in the j-th sentence S j ⁇ X C.
  • the length of the summary sentence can be controlled according to the number of words in the reference text.
  • generation unit 12 reference texts and on the basis of the source text X C, to produce a summary (S103).
  • FIG. 6 is a diagram for explaining the process by the generation unit 12 in the first embodiment.
  • Source text encoding unit 121 receives the source text X C,
  • dmodel is a model size of Transformer.
  • the buried layer using a fully connected layers, and maps embedded words d word dimension vector of d model dimensions, and passes the embedded mapped to ReLU function.
  • the embedding layer also adds location encoding to the word embedding (Reference 1).
  • the Transformer Endcoder Block of the source text coding unit 121 has the same structure as that of Reference 1.
  • the TransformerEndcoder Block consists of a Multi-head self-attention network and a fully connected feedforward network. Each network applies a residual connection.
  • Reference text encoding unit 122 receives the reference texts X p is a top K of word strings with respective importance. The order of words in the reference text X p is re-arranged in the order they appear in the source text. The output from the reference text coding unit 122 is as follows.
  • the embedded layer of the reference text coding unit 122 is the same as the embedded layer of the source text coding unit 121 except for the input.
  • the Transformer Decoder Block of the reference text coding unit 122 is almost the same as that of Reference 1.
  • the reference text coding unit 122 has, in addition to the two sublayers of each encoder layer, an interactive alignment layer that performs multi-head attention at the output of the encoder stack.
  • the residual connection is applied in the same way as the Transformer Endcoder Block of the source text coding unit 121.
  • Decoding unit 123 receives a word string of summary Y generated as M p and autoregressive process.
  • M p t is used as a guide vector for generating the summary.
  • the output from the decoding unit 123 is as follows.
  • Buried layer decoding section 123 using pre-trained weight matrix W e t, mapping the t-th word y t in summary Y to M y t.
  • the buried layer connects the M y t and M p t, passes it highway network (highway network) ( "Rupesh Kumar Srivastava, Klaus Greff, and Jurgen Schmidhuber. 2015. Highway networks. CoRR, 1505.00387. ”) To .. Therefore, the concatenated embedding is
  • the W merge is mapped to a vector of model dimensions and passes through the ReLU like the source text coding unit 121 and the reference text coding unit 122. Position encoding is added to the mapped vector.
  • the Transformer Decoder Block of the decoding unit 123 has the same structure as that of Reference 1. This component is used in stages during testing, so subsequent masks are used.
  • the synthesis unit 124 uses the Pointer-Generator to select either the source text or the information of the decoding unit 123 based on the distribution of the copy, and generates a summary sentence based on the selected information.
  • the first attention head of the decoding unit 123 is used as the copy distribution. Therefore, the final vocabulary distribution is as follows.
  • the generation probability is defined as follows.
  • p (z t ) is a copy probability representing the weight of whether y t is copied from the source text.
  • p (z t ) is defined as follows.
  • step S101 of FIG. 4 The importance estimation in step S101 of FIG. 4 is based on “Tsumi Saito, Kyosuke Nishida, Atsushi Otsuka, Mitsutoshi Nishida, Hisako Asano, Junji Tomita”, “Document summarization model considering query / output length", language processing. It may be realized by the method disclosed in the 25th Annual Meeting of the Society (NLP2019), https://www.anlp.jp/proceedings/annual_meeting/2019/pdf_dir/P2-11.pdf.
  • FIG. 7 is a diagram showing an example of a functional configuration during learning of the sentence generator 10 according to the first embodiment.
  • the same parts as those in FIG. 3 are designated by the same reference numerals, and the description thereof will be omitted.
  • the sentence generation device 10 further has a parameter learning unit 13.
  • the parameter learning unit 13 is realized by a process of causing the CPU 104 or the GPU to execute one or more programs installed in the sentence generator 10.
  • M is the number of learning examples.
  • the main loss of the generator 12 is the cross entropy loss.
  • This attention guide loss of the reference text coding unit 122 and the decoding unit 123 is added. This attention guide loss is designed to guide the estimated attention distribution to the reference attention.
  • n (t) indicates the absolute position in the source text corresponding to the t-th word in the summary word string.
  • the overall loss of the generator 12 is a linear combination of the above three losses.
  • ⁇ 1 and ⁇ 2 were set to 0.5 in the experiments described below.
  • the parameter learning unit 13 evaluates the processing results of the content selection unit 11 and the generation unit 12 based on the learning data by the above loss function, and the content selection unit 11 and the generation unit until the loss function converges. Update each of the 12 learning parameters. The value of the learning parameter when the loss function converges is used as the learned parameter.
  • the content selection unit 11 was trained in the Newsroom data set (Reference 3).
  • Newsroom includes a variety of news sources (38 different news sites).
  • 300,000 training pairs were sampled from all the training data. The size of the test pair is 106349.
  • the content selection unit 11 used a pre-learned BERT large model ("Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2018. Bert: Pre-training of deep bidirectional transformers for language understanding. CoRR.” . ").
  • the BERTs of the two epochs were fine-tuned.
  • the default settings were used for other parameters for fine-tuning.
  • the content selection unit 11 and the generation unit 12 used a pre-learned 300-dimensional GloVe embedding.
  • the model size of the Transformer d model was set to 512.
  • the Transformer includes four Transformer blocks for the source text coding unit 121, the reference text coding unit 122, and the decoding unit 123.
  • the number of heads was eight and the number of dimensions of the feed forward network was 2048.
  • the dropout rate was set to 0.2.
  • the learning rate was changed during learning.
  • the warm-up step was set to 8000.
  • the size of the input vocabulary was set to 100,000 and the size of the output vocabulary was set to 1000.
  • Table 1 shows the ROUGE scores of Non-Patent Document 1 and the first embodiment.
  • the first embodiment is the non-patent document in all the viewpoints of ROUGE-1 (R-1), ROUGE-2 (R-2) and ROUGE-L (RL). It turns out that it is better than 1.
  • the first embodiment it is possible to add information (output length) to be considered when generating a sentence as text. As a result, it becomes possible to treat the source text (input sentence) and the feature amount of the information to be considered equivalently.
  • the second embodiment will be described which is different from the first embodiment.
  • the points not particularly mentioned in the second embodiment may be the same as those in the first embodiment.
  • FIG. 8 is a diagram showing a configuration example of the generation unit 12 in the second embodiment.
  • the same parts as those in FIG. 3 are designated by the same reference numerals, and the description thereof will be omitted.
  • FIG. 8 is different from FIG. 3 in that the source text coding unit 121 and the reference text coding unit 122 cross-reference with each other. This cross-reference is made when the source text and reference text are encoded.
  • the configuration of the generation unit 12 is different.
  • step S103 also the procedure of generating a summary based on the reference text and the source text X C different from the first embodiment.
  • FIG. 9 is a diagram for explaining the process by the generation unit 12 in the second embodiment. As shown in FIG. 9, in the second embodiment, the source text coding unit 121 and the reference text coding unit 122 are collectively referred to as a joint coding unit 125.
  • the buried layer using a fully connected layers, and maps embedded word d word dimension vector of d model dimensions, and passes the embedded mapped to ReLU function.
  • the embedding layer also adds location encoding to the word embedding (Reference 1).
  • the Transformer Endcoder Block of the joint coding unit 125 encodes the embedded source text and reference text with a stack of Transformer blocks.
  • This block has the same architecture as that of Reference 1. It consists of two sub-components, a multi-head self-attention network and a fully connected feedforward network. Each network applies a residual connection.
  • both the source text and the reference text are individually encoded in the encoder stack. Each of these outputs
  • the Transformer dual encoder blocks of the joint coding unit 125 calculate the interactive attention between the encoded source text and the reference text. More specifically, first encodes the source text and reference text, other output of the encoder stack (i.e., E C s and E P S) to perform the multi-head attention respect. Output of dual encoder stack of source text and reference text, respectively
  • Decoding unit 123 The embedded layer of the decoding unit 123 receives the word string of the summary sentence Y generated as an autoregressive process. Decoding unit 123, in the decoding step t, in the same way as the buried layer of the joint coding unit 125, projecting a respective one-hot vector word y t.
  • the Transformer Decoder Block of the decoding unit 123 has the same architecture as that of Reference 1. This component is used in stages during testing, so subsequent masks are used.
  • Decoding unit 123 uses a stack of decoder block that performs a multi-head attention relative expression M p which reference text is encoded.
  • Decoding unit 123 uses a different stack of decoder block that performs a multi-head attention representation M C the source text is encoded on top of the first stack. The first is to rewrite the reference text, and the second is to supplement the rewritten reference text with the original source information. The output of the stack is
  • the synthesis unit 124 uses the Pointer-Generator to select any information of the source text, the reference text, and the decoding unit 123 based on the distribution of the copy, and generates a summary sentence based on the selected information.
  • the copy distribution of the source text and reference text is as follows.
  • ⁇ p tk and ⁇ C tn are the first attention head of the last block of the first stack in the decoding unit 123 and the first attention head of the last block of the second stack in the decoding unit 123, respectively. is there.
  • the final vocabulary distribution is as follows.
  • the parameter learning unit 13 functions during learning as in the first embodiment.
  • the learning data of each of the content selection unit 11 and the generation unit 12 may be the same as in the first embodiment.
  • M is the number of learning examples.
  • the main loss of the generator 12 is the cross entropy loss.
  • This attention guide loss is designed to guide the estimated attention distribution to the reference attention.
  • n (t) is the first attention head of the last block of the joint encoder stack in the reference text.
  • n (t) indicates the absolute position in the source text corresponding to the t-th word in the summary word string.
  • the overall loss of the generator 12 is a linear combination of the above three losses.
  • ⁇ 1 and ⁇ 2 were set to 0.5 in the experiments described below.
  • the parameter learning unit 13 evaluates the processing results of the content selection unit 11 and the generation unit 12 based on the learning data by the above loss function, and the content selection unit 11 and the generation unit until the loss function converges. Update each of the 12 learning parameters. The value of the learning parameter when the loss function converges is used as the learned parameter.
  • Table 2 shows the ROUGE scores of Non-Patent Document 1 and the second embodiment.
  • the second embodiment is the non-patent document. It turns out that it is better than 1.
  • the words included in the reference text can also be used to generate the summary sentence.
  • the third embodiment will be described which is different from the first embodiment.
  • the points not particularly mentioned in the third embodiment may be the same as those in the first embodiment.
  • information similar to the source text is searched from the knowledge source DB 20 in which external knowledge, which is a text-format document (a set of sentences), is stored, and the information is related to the source text.
  • external knowledge which is a text-format document (a set of sentences)
  • the degree of relevance indicating the degree of relevance as reference texts
  • FIG. 10 is a diagram showing a functional configuration example of the sentence generator 10 according to the third embodiment.
  • the same or corresponding parts as those in FIG. 2 are designated by the same reference numerals, and the description thereof will be omitted as appropriate.
  • the sentence generator 10 further has a search unit 14.
  • the search unit 14 searches for information from the knowledge source DB 20 using the source text as a query.
  • the information searched by the search unit 14 corresponds to the consideration information in each of the above embodiments. That is, in the third embodiment, the consideration information is external knowledge (from, reference text created based on the relevance to the source text).
  • FIG. 11 is a flowchart for explaining an example of a processing procedure executed by the sentence generator 10 in the third embodiment.
  • step S201 the search unit 14 searches the knowledge source DB 20 using the source text as a query.
  • FIG. 12 is a diagram showing a configuration example of the knowledge source DB 20.
  • FIG. 12 shows two examples of (1) and (2).
  • FIG. 12 (1) shows an example in which a pair of documents that becomes an input sentence and an output sentence of a task executed by the sentence generator 10 is stored in the knowledge source DB 20.
  • FIG. 12 (1) shows an example in which a pair of a news article and a headline (or a summary) is stored as an example of the case where the task is the generation of a title or a summary.
  • step S201 the search unit 14 searches the knowledge source DB 20 for a group of documents having a rerankable number K'(about 30 to 1000), which will be described later, using a high-speed search module such as elasticsearch.
  • search by the similarity between the source text and the headline search by the similarity between the source text and the news article, or the similarity between the source text and the news article + headline.
  • search by degree search by degree.
  • the similarity is a known index for evaluating the similarity between documents, such as the number of words containing the same word and the cosine similarity.
  • the content selection unit 11 calculates the degree of relevance at the sentence level (for each knowledge source text) for each knowledge source text by using the relevance calculation model which is a neural network that has been learned in advance (S202).
  • the relevance calculation model may form a part of the content selection unit 11.
  • the degree of relevance is an index indicating the degree of relevance, similarity or correlation with the source text, and corresponds to the degree of importance in the first or second embodiment.
  • FIG. 13 is a diagram for explaining the first example of the relevance calculation model.
  • the source text and the knowledge source text are input to the LSTM, respectively.
  • Each LSTM transforms each word that constitutes each text into a vector of a predetermined dimension.
  • each text becomes an array of vectors of a predetermined dimension.
  • the number of vectors (that is, the array length of the vectors) I is determined based on the number of words. For example, I is set to 300 or the like, and when the number of words is less than 300, a predetermined word such as "PAD" is used to align the number of words to 300 words.
  • the number of words the number of vectors. Therefore, the array length of the vector, which is the conversion result of the text containing I words, is I.
  • the matching network takes the vector array of the source text and the vector array of the knowledge source text as inputs, and calculates the sentence-level relevance ⁇ (0 ⁇ ⁇ ⁇ 1) for the knowledge source text.
  • a co-attention network (“Caiming Xiong, Victor Zhong, Richard Socher, DYNAMIC COATTENTION NETWORKS FOR QUESTION ANSWERING, Published as a conference paper at ICLR 2017”) may be used.
  • FIG. 14 is a diagram for explaining a second example of the relevance calculation model. In FIG. 14, only the points different from those in FIG. 13 will be described.
  • the matching network calculates the word-level relevance pi (0 ⁇ pi ⁇ 1) for each word i (that is, for each element of the vector array) contained in the knowledge source text. different.
  • Such a matching network may also be realized by using a co-attention network.
  • the content selection unit 11 extracts as a reference text the result of concatenating a predetermined number (K) of knowledge source texts of 2 or more in descending order of the degree of relevance ⁇ calculated by the method as shown in FIG. 13 or FIG. (S203).
  • the generation unit 12 generates a summary sentence based on the reference text and the source text (S204).
  • the processing content executed by the generation unit 12 may be basically the same as that of the first or second embodiment.
  • the attention probability ⁇ p tk to each word of the reference text, using the relevance of the word level of relevance or sentence level may be weighted in the following manner.
  • the variable alpha p tk has been defined as the attention head, here, because it refers to the value of ⁇ p tk, ⁇ p tk corresponds to the attention probability.
  • the sentence-level relevance or the word-level relevance will be represented by ⁇ for convenience. Either word-level relevance or sentence-level relevance may be used, or both may be used.
  • attention probability alpha p tk is updated as follows.
  • ⁇ S (k) is the degree of relevance ⁇ of the sentence S including the word k.
  • FIG. 15 is a diagram showing an example of a functional configuration during learning of the sentence generator 10 according to the third embodiment.
  • the same or corresponding parts as those in FIG. 7 or 10 are designated by the same reference numerals, and the description thereof will be omitted as appropriate.
  • the learning of the content selection unit 11 and the generation unit 12 may be basically the same as in each of the above embodiments.
  • two methods for learning the relevance calculation model used in the third embodiment will be described.
  • the first method there is a method of defining the correct answer information of the relevance degree ⁇ at the sentence level by using the calculation result of the relevance degree ⁇ and the score such as Rouge from the correct answer target text.
  • the correct answer information of the word-level relevance by 1/0 whether or not the word is included in the correct answer sentence for example, a target text such as a summary sentence.
  • the third embodiment by using external knowledge, it is possible to efficiently generate a summary sentence including words that are not in the source text.
  • the word is a word included in the knowledge source text, and the knowledge source text is a text as its name suggests. Therefore, according to the third embodiment, it is possible to add information to be considered when generating a sentence as a text.
  • the fourth embodiment will be described which is different from the first embodiment.
  • the points not particularly mentioned in the fourth embodiment may be the same as those in the first embodiment.
  • FIG. 16 is a diagram showing a functional configuration example of the sentence generator 10 according to the fourth embodiment.
  • the same or corresponding parts as those in FIG. 2 are designated by the same reference numerals.
  • the content selection unit 11 does not input the consideration information.
  • the content selection unit 11 includes a Transformer Encoder block (Encoder sal ) of the M layer and a linear conversion layer of the l layer.
  • the content selection unit 11 calculates the importance value pext n of the nth word x C n in the source text X C based on the following formula.
  • Encoder sal () represents the output vector of the final layer of Encoder sal.
  • W 1 , b 1 , and ⁇ are as described in relation to Equation 1.
  • the content selection unit 11 extracts K words from X C as reference text X p in descending order of importance p ext n obtained by inputting source text X C into Encoder sal. At this time, the order of words in reference texts X p holds the order in the source text X C.
  • the content selection unit 11 inputs the reference text Xp into the generation unit 12. That is, in the fourth embodiment, the word string extracted based on the predicted value of the importance of the word by the content selection unit 11 is explicitly given to the generation unit 12 as additional text information.
  • FIG. 17 is a diagram showing a configuration example of the generation unit 12 in the fourth embodiment.
  • the generation unit 12 includes a coding unit 126 and a decoding unit 123.
  • the coding unit 126 and the decoding unit 123 will be described in detail with reference to FIG.
  • FIG. 18 is a diagram showing a model configuration example in the fourth embodiment.
  • the same or corresponding parts as those in FIG. 16 or 17 are designated by the same reference numerals.
  • the model shown in FIG. 18 is called a CIT (Conditional summarization model with Important Tokens) model for convenience.
  • the coding unit 126 is composed of a Transformer Encoder block of the M layer.
  • the coding unit 126 inputs X C + X p.
  • X C + X p is a character string in which a special token representing a delimiter is inserted between X C and X p.
  • RoBERTa (“Y. Liu et al. ArXiv, 1907.11692, 2019.”) is used as the initial value as the Encoder sal.
  • the coding unit 126 receives the input X C + X p and acts on the M layer block.
  • N is the number of words included in X C.
  • N + K is substituted for N.
  • K is a number of words contained in X p.
  • the coding unit 126 includes a self-attention and a two-layer feedforward network (FFN).
  • H M e is input to the context-attention of the decoding unit 123 to be described later.
  • the decoding unit 123 may be the same as in the first embodiment. That is, the decoding unit 123 is composed of a Transformer Decoda block of the M layer. Series Encoder output H M e and model outputs until one step before ⁇ y 1, ..., y t -1 ⁇ as input, allowed to act blocks of M layer representation
  • the decoding unit 123 performs a linear conversion to the vocabulary size V dimension for h M dt , and outputs y t having the maximum probability as the next token.
  • the decoding unit 123 includes a self-attention (block b1 in FIG. 18), a context-attention, and a two-layer FFN.
  • Multi-head Attention is used for all attention processing in the Multi-headAttentionTransformer block ("A. Vaswani et al. In NIPS, pages 5998-6008, 2017.").
  • Hm the self-attention of the mth layer of the coding unit 126 and the decoding unit 123
  • Q is H. It gives m d, K and V to the H M e, respectively.
  • the weight matrix A in is expressed by the following equation.
  • FIG. 19 is a diagram showing an example of a functional configuration during learning of the sentence generator 10 according to the fourth embodiment.
  • the same parts as those in FIG. 7 are designated by the same reference numerals, and the description thereof will be omitted.
  • the learning data of the generation unit 12 may be the same as that of the first embodiment.
  • the loss function of the generation unit 12 is defined as follows using cross entropy. M represents the number of training data.
  • the loss function of the content selection unit 11 is defined as follows using the binary cross entropy.
  • r m n represents the n-th of the importance of correct words in the source text in the m-th data.
  • the parameter learning unit 13 learns the content selection unit 11 using the learning data of the importance, and learns the generation unit 12 using the correct answer information of the summary sentence Y. That is, the learning of the content selection unit 11 and the generation unit 12 is performed independently.
  • the "importance of words according to the output length" was learned by aligning the length of the target text (summary sentence) in the training data with the output length which is the consideration information. ..
  • the learning data does not include the output length as the consideration information. Therefore, the output length is not particularly considered in the calculation of the importance of the word in the content selection unit 11, and the importance is calculated only from the viewpoint of "whether or not the word is important for summarization".
  • the summary length can be controlled by inputting the output length as consideration information and determining the number of extracted tokens based on the output length.
  • the fifth embodiment will be described which is different from the fourth embodiment.
  • the points not particularly mentioned in the fifth embodiment may be the same as those in the fourth embodiment.
  • FIG. 20 is a diagram showing a functional configuration example of the sentence generator 10 according to the fifth embodiment.
  • the same parts as those in FIG. 16 are designated by the same reference numerals.
  • the importance p ext Sj sentence level calculated using the importance degree p ext n word level obtained from Encoder sal learned individually, in the source text X C p ext Sj is input to the generating unit 12 as an input text X s what combines the statements to the upper P th.
  • the sentence-level importance pext Sj can be calculated based on Equation 3.
  • FIG. 21 is a diagram showing a configuration example of the generation unit 12 in the fifth embodiment.
  • the same parts as those in FIG. 17 are designated by the same reference numerals.
  • FIG. 22 is a diagram showing a model configuration example according to the fifth embodiment. In FIG. 22, the same parts as those in FIG. 18 are designated by the same reference numerals.
  • the coding unit 126 in the fifth embodiment receives the input text X s as an input.
  • the model shown in FIG. 22 is referred to as an SEG (Sentence Extraction then Generation) model for convenience.
  • FIG. 23 is a diagram showing a functional configuration example of the sentence generator 10 according to the sixth embodiment.
  • the sentence generator 10 does not have the content selection unit 11.
  • the generation unit 12 has a content selection coding unit 127 instead of the coding unit 126.
  • the content selection coding unit 127 also has the functions of the coding unit 126 (encoder) and the content selection unit 11. In other words, the coding unit 126 that also serves as the content selection unit 11 corresponds to the content selection coding unit 127.
  • FIG. 24 is a diagram showing a model configuration example in the sixth embodiment.
  • the same or corresponding parts as those in FIG. 23 or 18 are designated by the same reference numerals.
  • FIG. 24 shows examples of the three models (a) to (c).
  • (a) is referred to as an MT (Multi-Task) model
  • (b) is referred to as an SE (Selective Encoding) model
  • (c) is referred to as an SA (Selective Attention) model.
  • the MT models (a) the importance of adding utilizing correct answer data for the p ext n, the contents selecting encoding unit 127 and decoding unit 123 (i.e., generator 12) to learn simultaneously. That is, the importance model and the sentence generation model are learned at the same time. This point is common to the SE model and the SA model, and each model described below (that is, other than the CIT model and the SEG model).
  • the Encoder sal of the content selection coding unit 127 shares the parameters of the coding unit 126 in the fourth embodiment. As apparent from FIG. 24, the MT model, only the encoded result (H M e) is input to the decoding unit 123.
  • the decoding unit 123 may be the same as in the fourth embodiment.
  • SE model (b) biases the encoding result of the content selection coding unit 127 by using the importance degree p ext n ( "Q. Zhou et al. In ACL, pages 1095-1104, 2017. "). Specifically, the decoding unit 123 performs weighted by importance as described below with respect to the final output of Encoder block content selection coding unit 127 coding result h M en.
  • the SA model (c) weights the attention on the decoding unit 123 side.
  • the decoding unit 123 is a weight matrix of the i-th head of the context-attention.
  • a model in which the MT model and the SE model or the MT model are combined is also effective as the sixth embodiment.
  • the correct answer data for the importance value pext n is additionally used in the learning of the SE model, and simultaneous learning with the summary is performed.
  • the correct answer data for the importance value pext n is additionally used to perform simultaneous learning with the summary.
  • FIG. 25 is a diagram showing an example of a functional configuration at the time of learning of the sentence generation device 10 according to the sixth embodiment.
  • the same or corresponding parts as those in FIG. 23 or 19 are designated by the same reference numerals.
  • the parameter learning unit 13 of the sixth embodiment learns the content selection coding unit 127 and the decoding unit 123 at the same time.
  • the parameter learning unit 13 does not give the correct answer information of the importance Pext n , and uses only the correct answer information of the summary sentence Y to generate the generation unit 12 (content selection coding unit 127 and content selection coding unit 127).
  • the decoding unit 123) is learned.
  • the parameter learning unit 13 uses the correct answer information of the importance S and the correct answer information of the summary sentence Y, and the content selection coding unit 127 and the generation unit 12 (that is, the content selection coding unit). 127 and the decoding unit 123) are multitask-learned. That is, when learning the content selection coding unit 127 as the importance model (content selection unit 11), the correct answer information (whether important or not) of the importance ext n is used as teacher data and is important from Xc. The task of predicting the degree Pext n is learned.
  • the generator 12 content selection coding unit 127Tasu decoding section 123) as Seq2Seq (Encoder-Decoder) model
  • the task of predicting is learned.
  • the parameters of the content selection coding unit 127 are shared by both tasks.
  • the correct answer information (pseudo correct answer) of importance Pext n is as described in the fourth embodiment.
  • FIG. 26 is a diagram showing a functional configuration example of the sentence generator 10 according to the seventh embodiment.
  • the sentence generation device 10 of FIG. 26 has a content selection unit 11 and a generation unit 12.
  • the generation unit 12 includes a content selection coding unit 127 and a decoding unit 123. That is, the sentence generation device 10 of the seventh embodiment has both a content selection unit 11 and a content selection coding unit 127.
  • Such a configuration can be realized by combining the CIT model (or SEG model) described above with the SE model or SA model (or MT model).
  • the combination of the CIT model and the SE model (CIT + SE model) and the combination of the CIT model and the SA model (CIT + SA model) will be described.
  • the importance of the SE model is higher than that of the CIT model X C + X p.
  • X C + X p of CIT model is the input of the content selection coding unit 127 of the SA models 27 that importance p ext for X C + X p is estimated the generated sentence of the seventh embodiment
  • FIG. 27 shows the functional structure example at the time of learning of the apparatus 10.
  • the same or corresponding parts as those in FIG. 26 or 19 are designated by the same reference numerals.
  • the process executed by the parameter learning unit 13 in the seventh embodiment may be the same as in the sixth embodiment.
  • CNN / DM is summary data with a high extraction rate of about 3 sentences
  • XSum is summary data with a short extraction rate of about 1 sentence.
  • the evaluation was performed using the ROUGE value that is standardly used in the automatic summarization evaluation.
  • the outline of each data is shown in Table 3.
  • the average length of the summary is a unit in which the dev set of each data is divided into subwords by byte-level BPE ("A. Radford et al. Language models are unsupervised multi-task learners. Technical report, OpenAI, 2019.”) of fairseq1. Calculated.
  • the average summarization length of the dev set was set to K for CNN / DM, and 30 for XSum, which was the same as at the time of learning.
  • the important word strings are set so as not to include duplicates.
  • K at the time of learning there are a method of setting an arbitrary fixed value, a method of setting an arbitrary threshold value and setting it to a value equal to or higher than the threshold value, and a method of making it dependent on the length L of the correct answer summary.
  • the summary length can be controlled by changing the length of K at the time of the test.
  • Tables 4 and 5 show the experimental results (ROUGE values of each model) regarding "Does the summarization accuracy improve by combining the importance models?".
  • CIT + SE gave the best results in both datasets.
  • the accuracy of CIT alone is improved, it can be seen that the combination of important words is excellent as a method of giving important information to the sentence generation model (generation unit 12). Since it was confirmed that the accuracy was further improved by combining CIT with the SE and SA models, it is considered that noise is included in the important words, but it is improved by combining soft weighting.
  • Table 6 shows the results of evaluating the ROUGE value of short text token string selected higher by severity p ext of CIT.
  • the sentence generation device 10 at the time of learning is an example of the sentence generation learning device.
  • Sentence generator 11 Content selection unit 12 Generation unit 13 Parameter learning unit 14 Search unit 15 Content selection coding unit 20 Knowledge source DB 100 Drive device 101 Recording medium 102 Auxiliary storage device 103 Memory device 104 CPU 105 Interface device 121 Source text coding unit 122 Reference text coding unit 123 Decoding unit 124 Synthesis unit 125 Joint coding unit 126 Coding unit B bus

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

文生成装置は、入力文と、前記入力文とは異なる情報とに基づき、参考テキストを取得する内容選択部と、前記入力文及び前記参考テキストに基づいて文を生成する生成部とを有し、前記内容選択部及び前記生成部は、学習済みのパラメータに基づくニューラルネットワークであることで、文を生成する際に考慮すべき情報をテキストとして付加可能とする。

Description

文生成装置、文生成学習装置、文生成方法、文生成学習方法及びプログラム
　本発明は、文生成装置、文生成学習装置、文生成方法、文生成学習方法及びプログラムに関する。
　ニューラルネットに基づく文の生成技術は進展している。当該生成技術は、テキストを入力として、予め学習済みのニューラルネットワークモデルに基づき、所定の目的の文（例えば要約文）を生成する技術である。
　例えば、非特許文献１では、入力文書に含まれる文の重要度（ａｔｔｅｎｔｉｏｎ）と単語の重要度を掛け合わせて求めた単語レベルの重要度を文生成時に反映させる手法が提案されている。
Wan-Ting Hsu, Chieh-Kai Lin, Ming-Ying Lee, Kerui Min, Jing Tang, Min Sun. 2018. A Unified Model for Extractive and Abstractive Summarization using Inconsistency Loss.
　しかしながら、非特許文献１では、文を生成する際に考慮すべき情報を、重要度のスコアや、長さＥｍｂｅｄｄｉｎｇ等の形式で与えており、テキストとして与えることができない。
　本発明は、上記の点に鑑みてなされたものであって、文を生成する際に考慮すべき情報をテキストとして付加可能とすることを目的とする。
　そこで上記課題を解決するため、文生成装置は、入力文と、前記入力文とは異なる情報とに基づき、参考テキストを取得する内容選択部と、前記入力文及び前記参考テキストに基づいて文を生成する生成部とを有し、前記内容選択部及び前記生成部は、学習済みのパラメータに基づくニューラルネットワークである。
　文を生成する際に考慮すべき情報をテキストとして付加可能とすることができる。
第１の実施の形態における文生成装置１０のハードウェア構成例を示す図である。 第１の実施の形態における文生成装置１０の機能構成例を示す図である。 第１の実施の形態における生成部１２の構成例を示す図である。 第１の実施の形態における文生成装置１０が実行する処理手順の一例を説明するためのフローチャートである。 各単語に対する重要度の推定を説明するための図である。 第１の実施の形態における生成部１２による処理を説明するための図である。 第１の実施の形態における文生成装置１０の学習時における機能構成例を示す図である。 第２の実施の形態における生成部１２の構成例を示す図である。 第２の実施の形態における生成部１２による処理を説明するための図である。 第３の実施の形態における文生成装置１０の機能構成例を示す図である。 第３の実施の形態における文生成装置１０が実行する処理手順の一例を説明するためのフローチャートである。 知識源ＤＢ２０の構成例を示す図である。 関連度計算モデルの第１の例を説明するための図である。 関連度計算モデルの第２の例を説明するための図である。 第３の実施の形態における文生成装置１０の学習時における機能構成例を示す図である。 第４の実施の形態における文生成装置１０の機能構成例を示す図である。 第４の実施の形態における生成部１２の構成例を示す図である。 第４の実施の形態におけるモデル構成例を示す図である。 第４の実施の形態における文生成装置１０の学習時における機能構成例を示す図である。 第５の実施の形態における文生成装置１０の機能構成例を示す図である。 第５の実施の形態における生成部１２の構成例を示す図である。 第５の実施の形態におけるモデル構成例を示す図である。 第６の実施の形態における文生成装置１０の機能構成例を示す図である。 第６の実施の形態におけるモデル構成例を示す図である。 第６の実施の形態における文生成装置１０の学習時における機能構成例を示す図である。 第７の実施の形態における文生成装置１０の機能構成例を示す図である。 第７の実施の形態における文生成装置１０の学習時における機能構成例を示す図である。
　以下、図面に基づいて本発明の実施の形態を説明する。図１は、第１の実施の形態における文生成装置１０のハードウェア構成例を示す図である。図１の文生成装置１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ１０４、及びインタフェース装置１０５等を有する。
　文生成装置１０での処理を実現するプログラムは、ＣＤ－ＲＯＭ等の記録媒体１０１によって提供される。プログラムを記憶した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
　メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従って文生成装置１０に係る機能を実行する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。
　なお、文生成装置１０は、ＣＰＵ１０４の代わりに、又はＣＰＵ１０４と共にＧＰＵ（Graphics Processing Unit）を有してもよい。
　図２は、第１の実施の形態における文生成装置１０の機能構成例を示す図である。図２において、文生成装置１０は、内容選択部１１及び生成部１２を有する。これら各部は、文生成装置１０にインストールされた１以上のプログラムが、ＣＰＵ１０４又はＧＰＵに実行させる処理により実現される。
　文生成装置１０には、ソーステキスト（入力文）及び入力文とは異なる情報（ソーステキストの要約において考慮すべき条件又は情報（以下、「考慮情報」という。））がテキストとして入力される。考慮情報として、第１の実施の形態では、ソーステキストに基づいて文生成装置１０が生成する文（要約文）の長さ（単語数）Ｋ（以下、「出力長Ｋ」という。）が採用される例について説明する。
　内容選択部１１は、ソーステキストを構成する各単語について、重要度［０，１］を推定する。内容選択部１１は、出力長Ｋに基づいて、所定数（重要度が上位Ｋ番目まで）の単語を抽出し、抽出した単語を連結した結果を参考テキストとして出力する。なお、重要度とは、単語が要約文に含まれる確率をいう。
　生成部１２は、ソーステキストと、内容選択部１１から出力される参考テキストとに基づいてターゲットテキスト（要約文）を生成する。
　なお、内容選択部１１及び生成部１２は、文生成タスク（本実施の形態では、要約）を実行するニューラルネットワークに基づく。具体的には、内容選択部１１は、ＢＥＲＴ（Bidirectional Encoder Representations from Transformers）に基づき、生成部１２は、Ｔｒａｎｓｆｏｒｍｅｒ－ｂａｓｅｄ　ｐｏｉｎｔｅｒ　ｇｅｎｅｒａｔｏｒモデル「Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. 2017. Attention is all you need. In Advances in Neural Information Processing Systems 30, pages 5998-6008.」（以下、「参考文献１」という。）に基づく。したがって、内容選択部１１及び生成部１２による処理は、当該ニューラルネットワークについての学習パラメータの学習済みの値（学習済みパラメータ）に基づいて処理を実行する。
　図３は、第１の実施の形態における生成部１２の構成例を示す図である。図３に示されるように、生成部１２は、ソーステキスト符号化部１２１、参考テキスト符号化部１２２、復号化部１２３及び合成部１２４等を含む。各部の機能については後述される。
　以下、文生成装置１０が実行する処理手順について説明する。図４は、第１の実施の形態における文生成装置１０が実行する処理手順の一例を説明するためのフローチャートである。
　ステップＳ１０１において、内容選択部１１は、ソーステキストＸＣに含まれる各単語について、重要度を推定（計算）する。
　本実施の形態において、内容選択部１１は、ＢＥＲＴ（Bidirectional Encoder Representations from Transformers）を用いる。ＢＥＲＴは、多くのシーケンスタギングタスクでＳＯＴＡ（State-of-the-Art）を達成している。本実施の形態において、内容選択部１１は、ＢＥＲＴトークナイザ、ｆｉｎｅ－ｔｕｎｉｎｇされたＢＥＲＴモデル、及びタスク固有に追加されたfeed forward network（フィードフォワードネットワーク）を用いてソーステキストを単語に分割する。内容選択部１１は、以下の式に基づいて、単語ｘＣ ｎの重要度ｐｅｘｔ ｎを計算する。なお、ｐｅｘｔ ｎは、ソーステキストＸＣにおけるｎ番目の単語ｘＣ ｎの重要度を示す。
Figure JPOXMLDOC01-appb-M000001
 但し、ＢＥＲＴ（）は、事前トレーニングされたＢＥＲＴの最後の隠れ状態である。
Figure JPOXMLDOC01-appb-M000002
 とｂ１は、内容選択部１１の学習パラメータである。σは、シグモイド関数である。ｄｂｅｒｔは、事前学習済みＢＥＲＴの最後の隠れ状態の次元である。
　図５は、各単語に対する重要度の推定を説明するための図である。図５では、ソーステキストＸＣにＮ個の単語が含まれている例が示されている。この場合、内容選択部１１は、Ｎ個の単語のそれぞれの重要度ｐｅｘｔ ｎを計算する。
　続いて、内容選択部１１は、重要度ｐｅｘｔ ｎの大きい単語から順にＫ個の単語の集合（単語列）を抽出する（Ｓ１０２）。なお、Ｋは、上記したように出力長である。抽出された単語列は、参考テキストとして生成部１２に出力される。
　但し、ステップＳ１０１において、重要度は、以下の式（２）のｐｅｘｔw nとして計算されてもよい。この場合、ｐｅｘｔw nの大きい単語から順にＫ個の単語の集合（単語列）が参考テキストとして抽出される。
Figure JPOXMLDOC01-appb-M000003
 但し、ＮＳｊは、ｊ番目の文Ｓｊ∈ＸＣの単語数である。この重み付けを使用することにより、文レベルの重要度を組み込むことができ、単語レベルの重要度ｐｅｘｔ ｎのみを使用する場合よりも流暢な参考テキストを抽出することができる。
　式（１）又は式（２）のいずれを使用する場合であっても、本実施の形態によれば、参考テキスト内の単語の数に応じて要約文の長さを制御できる。
　続いて、生成部１２は、参考テキスト及びソーステキストＸＣに基づいて、要約文を生成する（Ｓ１０３）。
　ステップＳ１０３の詳細について以下に説明する。図６は、第１の実施の形態における生成部１２による処理を説明するための図である。
　［ソーステキスト符号化部１２１］
　ソーステキスト符号化部１２１は、ソーステキストＸＣを受け取り、
Figure JPOXMLDOC01-appb-M000004
 を出力する。ここで、ｄｍｏｄｅｌは、Ｔｒａｎｓｆｏｒｍｅｒのモデルサイズである。
　ソーステキスト符号化部１２１の埋め込み層は、各単語ｘＣ ｎ（サイズＶ）のｏｎｅ－ｈｏｔベクトルを、Ｇｌｏｖｅ（「Jeffrey Pennington, Richard Socher, and Christopher D. Manning. 2014. Glove: Global vectors for word representation. In In EMNLP.」（以下、「参考文献２」という。））のような事前学習された重み行列
Figure JPOXMLDOC01-appb-M000005
 によって、ｄｗｏｒｄ次元のベクトル列へ投影する。
　次に、埋め込み層は、完全に接続されたレイヤを使用して、ｄｗｏｒｄ次元の単語埋め込みをｄｍｏｄｅｌ次元のベクトルにマッピングし、マッピングされた埋め込みをＲｅＬＵ関数に渡す。埋め込み層は、また、単語の埋め込みに位置エンコードを追加する（参考文献１）。
　ソーステキスト符号化部１２１のTransformer Endcoder Blockは、参考文献１のそれと同じ構造を有する。Transformer Endcoder Blockは、Multi-head self-attentionネットワークと、完全に接続されたfeed forward network（フィードフォワードネットワーク）とから構成される。各ネットワークは、residual connection（リジジュアル　コネクション）を適用する。
　［参考テキスト符号化部１２２］
　参考テキスト符号化部１２２は、それぞれの重要度を伴った上位Ｋ個の単語列である参考テキストＸｐを受け取る。参考テキストＸｐにおける単語の並び順は、ソーステキストの出現順に再配置される。参考テキスト符号化部１２２からの出力は、以下の通りである。
Figure JPOXMLDOC01-appb-M000006
 　参考テキスト符号化部１２２の埋め込み層は、入力を除いてソーステキスト符号化部１２１の埋め込み層と同じである。
　参考テキスト符号化部１２２のTransformer Decoder Blockは、参考文献１のそれとほぼ同じである。参考テキスト符号化部１２２は、各エンコーダレイヤの２つのサブレイヤに加えて、エンコーダスタックの出力でマルチヘッドアテンションを実行するインタラクティブなアライメントレイヤを有する。residual connection（リジジュアル　コネクション）は、ソーステキスト符号化部１２１のTransformer Endcoder Blockと同じ方法で適用される。
　［復号化部１２３］
　復号化部１２３は、Ｍｐと自己回帰プロセスとして生成された要約文Ｙの単語列とを受け取る。ここで、Ｍｐ ｔは、要約文を生成するためのガイドベクトルとして使用される。復号化部１２３からの出力は、以下の通りである。
Figure JPOXMLDOC01-appb-M000007
 但し、ｔ∈Ｔは、各デコードステップである。
　復号化部１２３の埋め込み層は、事前学習済みの重み行列Ｗｅ ｔを使用して、要約文Ｙにおけるｔ番目の単語ｙｔをＭｙ ｔにマッピングする。埋め込み層は、Ｍｙ ｔとＭｐ ｔとを連結し、それをハイウェイネットワーク（highway network）（「Rupesh Kumar Srivastava, Klaus Greff, and Jurgen Schmidhuber. 2015. Highway networks. CoRR, 1505.00387.」）に引き渡す。したがって、連結された埋め込みは、
Figure JPOXMLDOC01-appb-M000008
 である。Ｗｍｅｒｇｅは、モデル次元のベクトルにマップされ、ソーステキスト符号化部１２１及び参考テキスト符号化部１２２のようにＲｅＬＵを通過する。マッピングされたベクトルには位置エンコードが追加される。
　復号化部１２３のTransformer Decoder Blockは、参考文献１のそれと同じ構造を有する。このコンポーネントはテスト時に段階的に使用されるため、後続のマスクが使用される。
　［合成部１２４］
　合成部１２４は、Pointer-Generatorを用いて、コピーの分布に基づいてソーステキスト及び復号化部１２３のいずれかの情報を選択し、選択された情報に基づいて要約文を生成する。
　本実施の形態では、コピー分布として、復号化部１２３の最初のアテンションヘッドが使用される。 したがって、最終的な語彙の分布は以下の通りである。
Figure JPOXMLDOC01-appb-M000009
 ここで、生成確率は、以下の通りに定義される。
Figure JPOXMLDOC01-appb-M000010
 ｐ（ｙｔ｜ｚｔ＝１，ｙ１：ｔ-１，ｘ）は、コピー分布である。ｐ（ｚｔ）は、ｙｔがソーステキストからコピーされるかどうかの重みを表すコピー確率である。ｐ（ｚｔ）は、以下の通り定義される。
Figure JPOXMLDOC01-appb-M000011
 　なお、図４のステップＳ１０１における重要度の推定は、「斉藤いつみ, 西田京介, 大塚淳史, 西田光甫, 浅野久子, 富田準二、"クエリ・出力長を考慮可能な文書要約モデル"、言語処理学会第25回年次大会(NLP2019)、https://www.anlp.jp/proceedings/annual_meeting/2019/pdf_dir/P2-11.pdf」にて開示されている方法によって実現されてもよい。
　続いて、学習について説明する。図７は、第１の実施の形態における文生成装置１０の学習時における機能構成例を示す図である。図７中、図３と同一部分には同一符号を付し、その説明は省略する。
　学習時において、文生成装置１０は、更に、パラメータ学習部１３を有する。パラメータ学習部１３は、文生成装置１０にインストールされた１以上のプログラムが、ＣＰＵ１０４又はＧＰＵに実行させる処理により実現される。
　［内容選択部１１の学習データ］
　例えば、「Sebastian Gehrmann, Yuntian Deng, and Alexander Rush. 2018. Bottom-up abstractive summarization. In EMNLP, pages 4098-4109.」（以下、「参考文献３」という。）のような擬似トレーニングデータを学習データとして用いる。当該学習データは、全てのソーステキストＸＣ ｎの単語ｘＣ ｎ及びラベルｒｎのペア（ｘＣ ｎ，ｒｎ）で構成される。要約文でｘＣ ｎが選択される場合、ｒｎは１である。このペアのデータを自動的に作成するには、まず、「Wan-Ting Hsu, Chieh-Kai Lin, Ming-Ying Lee, Kerui Min, Jing Tang, and Min Sun. 2018. A unified model for extractive and abstractive summarization using inconsistency loss. In ACL (1), pages 132- 141.」と同じ方法でＲＯＵＧＥ－Ｒスコアを最大化するオラクルのソース文Ｓｏｒａｃｌｅを抽出する。次に、動的プログラミングアルゴリズムを使用して、リファレンスサマリとＳｏｒａｃｌｅ間の単語ごとのアライメントを計算する。最後に、アライメントが取れた全ての単語に１のラベルを付与し、他の単語に０のラベルを付与する。
　［生成部１２の学習データ］
　生成部１２の学習のためには、ソーステキスト、抽出された単語のゴールドセット、及びターゲットテキスト（要約文）の３つの組のデータ（ＸＣ，Ｘｐ，Ｙ）を作成する必要がある。具体的には、内容選択部１１を使用してオラクル文Ｓｏｒａｃｌｅを選択し、Ｓｏｒａｃｌｅの全ての単語ｘＣ ｎに対してｐｅｘｔ ｎをスコアリングする。次に、ｐｅｘｔ ｎに従って上位Ｋ個の単語を選択する。なお、元の単語の順序はＸｐで保持される。Ｋは、リファレンスサマリ長Ｔを使用して計算される。目的の長さに近い自然な要約文を取得するには、リファレンスサマリ長Ｔを個別のサイズ範囲に量子化する。本実施の形態では、サイズ範囲は５に設定される。
　［内容選択部１１の損失関数］
　内容選択部１１が実行する処理は、単純なバイナリ分類タスクであるため、バイナリクロスエントロピー損失を使用する。
Figure JPOXMLDOC01-appb-M000012
 但し、Ｍは、学習例の数である。
　［生成部１２の損失関数］
　生成部１２の主な損失は、クロスエントロピー損失である。
Figure JPOXMLDOC01-appb-M000013
 　更に、参考テキスト符号化部１２２及び復号化部１２３のアテンションガイド損失を追加する。このアテンションガイド損失は、推定されたアテンション分布を参照アテンションに導くように設計されている。
Figure JPOXMLDOC01-appb-M000014
 ｐ（ａｓｕｍ ｔ）及びｐ（ａｓａｌ ｌ）は、それぞれ復号化部１２３及び参考テキスト符号化部１２２のアテンションヘッドのトップである。ｎ（ｔ）は、要約単語列のｔ番目の単語に対応するソーステキスト内の絶対位置を示す。
　生成部１２の全体的な損失は、上記３つの損失の線形結合である。
Figure JPOXMLDOC01-appb-M000015
 　λ１及びλ２は、後述の実験では０．５に設定された。
　上記より、パラメータ学習部１３は、上記した学習データに基づく内容選択部１１及び生成部１２の処理結果を、上記の損失関数によって評価し、当該損失関数が収束するまで内容選択部１１及び生成部１２のそれぞれの学習パラメータを更新する。当該損失関数が収束した際の学習パラメータの値が、学習済みパラメータとして利用される。
　［実験］
　第１の実施の形態について行った実験について説明する。
　＜データセット＞
　ニュース要約の標準コーパスであるＣＮＮ－ＤＭデータセット（「Karl Moritz Hermann, Tomas Kocisky, Edward Grefenstette, Lasse Espeholt, Will Kay, Mustafa Suleyman, and Phil Blunsom. 2015. Teaching machines to read and comprehend. In Advances in Neural Information Processing Systems 28, pages 1693-1701.」（以下、「参考文献４」という。））を使用した。要約は、それぞれのＷｅｂサイトに表示される記事の箇条書きである。「Abigail See, Peter J. Liu, and Christopher D. Manning. 2017. Get to the point: Summarization with pointergenerator networks. In ACL (1), pages 1073-1083. （2017）」に従い、コーパスの匿名化されていないバージョンを使用し、ソースドキュメントを４００トークンに、ターゲットサマリーを１２０トークンに切り詰めた。データセットは、２８６８１７個のトレーニングペア、１３３６８個の検証ペア、及び１１４８７個のテストペアを含む。モデルのドメイン移転能力を評価するために、Ｎｅｗｓｒｏｏｍデータセットも使用した（「Max Grusky, Mor Naaman, and Yoav Artzi. 2018. Newsroom: A dataset of 1.3 million summaries with diverse extractive strategies. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pages 708-719. Association for Computational Linguistics.」）。
　ＣＮＮ／ＤＭデータセットで学習された生成部１２を使用しながら、Ｎｅｗｓｒｏｏｍデータセットで内容選択部１１を学習させた（参考文献３）。Ｎｅｗｓｒｏｏｍには、さまざまなニュースソース（３８の異なるニュースサイト）が含まれている。内容選択部１１の学習のために、全ての学習データから３０００００トレーニングペアをサンプリングした。テストペアのサイズは１０６３４９である。
　＜モデル構成＞
　２つのデータセットに同じ構成を使用した。 内容選択部１１は、事前に学習されたＢＥＲＴラージモデルを使用した（「Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2018. Bert: Pre-training of deep bidirectional transformers for language understanding. CoRR.」）。２つのエポックのＢＥＲＴをｆｉｎｅ－ｔｕｎｉｎｇした。デフォルト設定は、ｆｉｎｅ－ｔｕｎｉｎｇのための他のパラメータに使用した。内容選択部１１及び生成部１２は、事前に学習された３００次元のＧｌｏＶｅ埋め込みを使用した。Ｔｒａｎｓｆｏｒｍｅｒ　ｄｍｏｄｅｌのモデルサイズは５１２に設定された。Ｔｒａｎｓｆｏｒｍｅｒは、ソーステキスト符号化部１２１、参考テキスト符号化部１２２及び復号化部１２３のための４つのＴｒａｎｓｆｏｒｍｅｒブロックを含む。ヘッドの数は８で、feed forward network（フィードフォワードネットワーク）の次元の数は２０４８にした。ドロップアウト率は０．２に設定した。最適化には、β１＝０．９、β２＝０．９８、ε＝ｅ－９であるＡｄａｍオプティマイザー（「Diederik P. Kingma and Jimmy Ba. 2015. Adam: A method for stochastic optimization. In International Conference on Learning Representations (ICLR).」）を使用した。参考文献１に従い、学習中に学習率を変化させた。ウォームアップステップを８０００に設定した。入力ボキャブラリのサイズを１０００００に、出力ボキャブラリのサイズを１０００に設定した。
　＜実験結果＞
　表１に、非特許文献１と第１の実施の形態とのそれぞれのＲＯＵＧＥスコアを示す。
Figure JPOXMLDOC01-appb-T000016
 　表１によれば、ＲＯＵＧＥ－１（Ｒ－１）、ＲＯＵＧＥ－２（Ｒ－２）及びＲＯＵＧＥ－Ｌ（Ｒ－Ｌ）の全ての観点において、第１の実施の形態の方が非特許文献１よりも優れていることが分かる。
　上述したように、第１の実施の形態によれば、文を生成する際に考慮すべき情報（出力長）をテキストとして付加可能とすることができる。その結果、ソーステキスト（入力文）と、考慮すべき情報の特徴量と等価に扱うことが可能となる。
　なお、「Yuta Kikuchi, Graham Neubig, Ryohei Sasano, Hiroya Takamura, and Manabu Okumura. 2016. Controlling output length in neural encoder-decoders. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pages 1328-1338. Association for Computational Linguistics.」では、長さｅｍｂｅｄｄｉｎｇを用いて長さの制御を行う．この方法では，長さに応じた単語の重要度を明示的に考慮することができず，長さの制御において出力文に含めるべき情報を適切にコントロールすることができない。一方、本実施の形態によれば、長さｅｍｂｅｄｄｉｎｇを用いずに、より直接的に出力長Ｋに応じて重要な情報をコントロールしながら高精度な要約文の生成が可能である。
　次に、第２の実施の形態について説明する。第２の実施の形態では第１の実施の形態と異なる点について説明する。第２の実施の形態において特に言及されない点については、第１の実施の形態と同様でもよい。
　図８は、第２の実施の形態における生成部１２の構成例を示す図である。図８中、図３と同一部分には同一符号を付し、その説明は省略する。
　図８では、ソーステキスト符号化部１２１及び参考テキスト符号化部１２２が相互参照する点が、図３と異なる。この相互参照は、ソーステキスト及び参考テキストが符号化される際に行われる。
　このように、第２の実施の形態では、生成部１２の構成が異なる。したがって、第２の実施の形態では、ステップＳ１０３における、参考テキスト及びソーステキストＸＣに基づいて要約文を生成する手順も第１の実施の形態と異なる。
　図９は、第２の実施の形態における生成部１２による処理を説明するための図である。図９に示されるように、第２の実施の形態では、ソーステキスト符号化部１２１及び参考テキスト符号化部１２２をまとめてジョイント符号化部１２５という。
　［ジョイント符号化部１２５］
　まず、ジョイント符号化部１２５の埋め込み層は、単語ｘＣ ｌ（サイズＶ）の各ｏｎｅ－ｈｏｔベクトルを、ＧｌｏＶｅなどの事前学習済みの重み行列
Figure JPOXMLDOC01-appb-M000017
 を使用して、ｄｗｏｒｄ次元のベクトル列に投影する（参考文献２）。
　次に、埋め込み層は、完全に接続されたレイヤを使用して、ｄｗｏｒｄ次元の単語の埋め込みをｄｍｏｄｅｌ次元のベクトルにマッピングし、マッピングされた埋め込みをＲｅＬＵ関数に渡す。埋め込み層は、また、単語の埋め込みに位置エンコードを追加する（参考文献１）。
　ジョイント符号化部１２５のTransformer Endcoder Blockは、埋め込まれたソーステキスト及び参考テキストを、Ｔｒａｎｓｆｏｒｍｅｒブロックのスタックでエンコードする。このブロックは、参考文献１のそれと同じアーキテクチャを備える。これは、Multi-head self-attentionネットワークと完全に接続されたfeed forward network（フィードフォワードネットワーク）の２つのサブコンポーネントで構成される。各ネットワークは、residual connection（リジジュアル　コネクション）を適用する。このモデルでは、ソーステキストと参考テキストの両方がエンコーダスタックで個別にエンコードされる。これらの出力をそれぞれ、
Figure JPOXMLDOC01-appb-M000018
 で示す。
　ジョイント符号化部１２５のTransformer dual encoder blocksは、エンコードされたソーステキストと参考テキストとの間のインタラクティブなアテンションを計算する。具体的には、最初にソーステキスト及び参考テキストをエンコードし、エンコーダスタックの他の出力（つまり、ＥＣ ｓ及びＥＰ Ｓ）に対してマルチヘッドアテンションを実行する。ソーステキストと参考テキストのデュアルエンコーダスタックの出力を、それぞれ、
Figure JPOXMLDOC01-appb-M000019
 で示す。
　［復号化部１２３］
　復号化部１２３の埋め込み層は、自己回帰プロセスとして生成された要約文Ｙの単語列を受け取る。復号化部１２３は、各デコードステップｔで、ジョイント符号化部１２５の埋め込み層と同じ方法で、単語ｙｔの各ｏｎｅ－ｈｏｔベクトルを投影する。
　復号化部１２３のTransformer Decoder Blockは、参考文献１のそれと同じアーキテクチャを備える。このコンポーネントはテスト時に段階的に使用されるため、後続のマスクが使用される。復号化部１２３は、参考テキストがエンコードされた表現Ｍｐに対してマルチヘッドアテンションを実行するデコーダブロックのスタックを使用する。復号化部１２３は、最初のスタックの上にあるソーステキストがエンコードされた表現ＭＣのマルチヘッドアテンションを実行するデコーダブロックの別のスタックを使用する。１つ目は参考テキストの書き換えを実行し、２つ目は書き換えられた参考テキストを元のソース情報で補完する。スタックの出力は、
Figure JPOXMLDOC01-appb-M000020
 である。
　［合成部１２４］
　合成部１２４は、Pointer-Generatorを用いて、コピーの分布に基づいてソーステキスト、参考テキスト及び復号化部１２３のいずれかの情報を選択し、選択された情報に基づいて要約文を生成する。
　ソーステキスト及び参考テキストのコピー分布は、以下の通りである。
Figure JPOXMLDOC01-appb-M000021
 但し、αｐ ｔｋとαＣ ｔｎは、それぞれ復号化部１２３における最初のスタックの最後のブロックの最初のアテンションヘッドと、復号化部１２３における２番目のスタックの最後のブロックの最初のアテンションヘッドである。
　最終的な語彙の分布は以下の通りである。
Figure JPOXMLDOC01-appb-M000022
 　続いて、学習について説明する。学習時においてパラメータ学習部１３が機能するのは、第１の実施の形態と同様である。
　［内容選択部１１及び生成部１２の学習データ］
　内容選択部１１及び生成部１２のそれぞれの学習データは、第１の実施の形態と同様でよい。
　［内容選択部１１の損失関数］
　内容選択部１１が実行する処理は、単純なバイナリ分類タスクであるため、バイナリクロスエントロピー損失を使用する。
Figure JPOXMLDOC01-appb-M000023
 但し、Ｍは、学習例の数である。
　［生成部１２の損失関数］
　生成部１２の主な損失は、クロスエントロピー損失である。
Figure JPOXMLDOC01-appb-M000024
 　更に、復号化部１２３のアテンションガイド損失を追加する。 このアテンションガイド損失は、推定されたアテンション分布を参照アテンションに導くように設計されている。
Figure JPOXMLDOC01-appb-M000025
 αｐｒｏｔｏ ｔ，ｎ（ｔ）は、参考テキストのジョイントエンコーダスタックの最後のブロックの最初のアテンションヘッドである。ｎ（ｔ）は、要約単語列のｔ番目の単語に対応するソーステキスト内の絶対位置を示す。
　生成部１２の全体的な損失は、上記３つの損失の線形結合である。
Figure JPOXMLDOC01-appb-M000026
 　λ１及びλ２は、後述の実験では０．５に設定された。
　上記より、パラメータ学習部１３は、上記した学習データに基づく内容選択部１１及び生成部１２の処理結果を、上記の損失関数によって評価し、当該損失関数が収束するまで内容選択部１１及び生成部１２のそれぞれの学習パラメータを更新する。当該損失関数が収束した際の学習パラメータの値が、学習済みパラメータとして利用される。
　［実験］
　第２の実施の形態について行った実験について説明する。第２の実施の形態の実験に用いたデータセットは、第１の実施の形態と同じである。
　＜実験結果＞
　表２に、非特許文献１と第２の実施の形態とのそれぞれのＲＯＵＧＥスコアを示す。
Figure JPOXMLDOC01-appb-T000027
 　表２によれば、ＲＯＵＧＥ－１（Ｒ－１）、ＲＯＵＧＥ－２（Ｒ－２）及びＲＯＵＧＥ－Ｌ（Ｒ－Ｌ）の全ての観点において、第２の実施の形態の方が非特許文献１よりも優れていることが分かる。
　上述したように、第２の実施の形態によれば、第１の実施の形態と同様の効果を得ることができる。
　また、第２の実施の形態によれば、参考テキストに含まれる単語も、要約文の生成に用いることができる。
　次に、第３の実施の形態について説明する。第３の実施の形態では第１の実施の形態と異なる点について説明する。第３の実施の形態において特に言及されない点については、第１の実施の形態と同様でもよい。
　第３の実施の形態では、テキスト形式の文書（文の集合）である外部知識が格納された知識源ＤＢ２０から、ソーステキストに類似する情報を検索し、当該情報においてソーステキストとの関連性が高い上記Ｋ件のテキスト文及びその関連性の度合いを示す関連度を参考テキストとして用いることで、外部知識を考慮した要約を可能とし、入力文中で重要となる情報を外部知識に応じて直接的にコントロール可能とする例について説明する。
　図１０は、第３の実施の形態における文生成装置１０の機能構成例を示す図である。図１０中、図２と同一又は対応する部分には同一符号を付し、その説明は適宜省略する。
　図１０において、文生成装置１０は、更に検索部１４を有する。検索部１４は、ソーステキストをクエリとして知識源ＤＢ２０から情報を検索する。検索部１４によって検索された情報は、上記各実施の形態における考慮情報に相当する。すなわち、第３の実施の形態において、考慮情報は、外部知識（から、ソーステキストとの関連性に基づき作成される参考テキスト）である。
　図１１は、第３の実施の形態における文生成装置１０が実行する処理手順の一例を説明するためのフローチャートである。
　ステップＳ２０１において、検索部１４は、ソーステキストをクエリとして知識源ＤＢ２０を検索する。
　図１２は、知識源ＤＢ２０の構成例を示す図である。図１２には、（１）及び（２）の２つの例が示されている。
　（１）は、文生成装置１０が実行するタスクの入力文と出力文となるような文書のペアが知識源ＤＢ２０に記憶されている例を示す。図１２（１）では、当該タスクがタイトルの生成又は要約文の生成である場合の例として、ニュース記事とヘッドライン（又は要約文）とのペアが記憶されている例が示されている。
　（２）は、上記ペアのいずれか一方の文書（図１２の例ではヘッドラインのみ）が知識源ＤＢ２０記憶されている例を示す。
　いずれの場合であっても、知識源ＤＢ２０には大規模な知識（情報）が記憶されていることを想定する。
　ステップＳ２０１において、検索部１４は、このような知識源ＤＢ２０から、後述のリランキング可能な個数Ｋ'（３０～１０００個程度）の文書群をｅｌａｓｔｉｃｓｅａｒｃｈなどの高速な検索モジュールを用いて検索する。
　知識源ＤＢ２０が（１）のような構成を有する場合、ソーステキストとヘッドラインの類似度で検索、ソーステキストと、ニュース記事の類似度で検索、又はソーステキストと、ニュース記事＋ヘッドラインの類似度で検索、のいずれかの検索方法が考えられる。
　一方、知識源ＤＢ２０が（２）のような構成を有する場合、ソーステキストとヘッドラインの類似度で検索することが考えられる。類似度とは、例えば、同じ単語を含んでいる個数やコサイン類似度等、文書間の類似性を評価する公知の指標である。
　なお、本実施の形態では、（１）及び（２）のいずれの場合であっても、類似度が上記Ｋ'件のヘッドラインが検索結果として得られるとし、ヘッドラインは一つの文であるとする。以下、検索結果であるＫ'件の各文（ヘッドライン）を「知識源テキスト」という。
　続いて、内容選択部１１は、予め学習済みのニューラルネットワークである関連度計算モデルを用いて、各知識源テキストについて文レベル（知識源テキストごと）の関連度を計算する（Ｓ２０２）。なお、関連度計算モデルは、内容選択部１１の一部を構成してもよい。また、関連度は、ソーステキストとの関連性、類似性又は相関性の高さを示す指標であり、第１又は第２の実施の形態における重要度に相当する。
　図１３は、関連度計算モデルの第１の例を説明するための図である。図１３に示されるように、ソーステキスト及び知識源テキストは、それぞれＬＳＴＭに入力される。各ＬＳＴＭは、各テキストを構成する各単語を所定次元のベクトルに変換する。その結果、各テキストは、所定次元のベクトルの配列となる。なお、ベクトルの数（すなわち、ベクトルの配列長）Ｉは、単語数に基づいて定められる。例えば、Ｉは、３００等に設定され、単語数が３００に満たない場合は「ＰＡＤ」等、所定の単語を用いて３００単語に揃えるようにする。ここでは、便宜上、単語数＝ベクトル数とする。したがって、Ｉ個の単語を含むテキストの変換結果であるベクトルの配列長はＩとなる。
　マッチングネットワークは、ソーステキストのベクトル配列と知識源テキストのベクトル配列とを入力として、当該知識源テキストについての文レベルの関連度β（０≦β≦１）を計算する。なお、マッチングネットワークには、例えば、co-attention network（「Caiming Xiong, Victor Zhong, Richard Socher、DYNAMIC COATTENTION NETWORKS FOR QUESTION ANSWERING、Published as a conference paper at ICLR 2017」）等が用いられてもよい。
　図１４は、関連度計算モデルの第２の例を説明するための図である。図１４では、図１３と異なる点についてのみ説明する。
　図１４においては、マッチングネットワークが、知識源テキストに含まれる単語ｉごと（すなわち、ベクトルの配列の要素ごと）に、単語レベルの関連度ｐｉ（０≦ｐｉ≦１）を計算する点が異なる。このようなマッチングネットワークも、co-attention networkを用いて実現されてもよい。
　関連度計算モデルは、単語レベルの関連度ｐｉの加重和によって、文レベルの関連度βを計算する。したがって、β＝Σｗｉｐｉ（ｉ＝１，…，単語数）となる。なお、ｗｉは、ニューラルネットワークの学習可能なパラメータである。
　図１３又は図１４において説明した処理は、Ｋ'個の知識源テキストに対して実行される。したがって、各知識源テキストに対して関連度βが計算される。
　続いて、内容選択部１１は、図１３又は図１４のような方法によって計算した関連度βの大きい順に２以上の所定数（Ｋ個）の知識源テキストを連結した結果を参考テキストとして抽出する（Ｓ２０３）。
　続いて、生成部１２は、参考テキスト及びソーステキストに基づいて、要約文を生成する（Ｓ２０４）。生成部１２が実行する処理内容は、基本的に第１又は第２の実施の形態と同様でよい。但し、参考テキストの各単語へのアテンション確率αｐ ｔｋを、単語レベルの関連度又は文レベルの関連度を用いて次のように重みづけしてもよい。なお、上記において、変数αｐ ｔｋを、アテンションヘッドとして定義したが、ここでは、αｐ ｔｋの値について言及しているため、αｐ ｔｋは、アテンション確率に相当する。また、以下では、文レベルの関連度又は単語レベルの関連度を、便宜上、βによって表記する。単語レベルの関連度及び文レベルの関連度のいずれか一方が使用されてもよいし、双方が使用されてもよい。
　文レベルの関連度を使う場合、例えば、アテンション確率αｐ ｔｋは以下のように更新される。
Figure JPOXMLDOC01-appb-M000028
 左辺が、更新後のアテンション確率である。βＳ（ｋ）は、単語ｋを含む文Ｓの関連度βである。
　なお、単語レベルの関連度を使う場合は、上記の式のβＳ（ｋ）に対して、単語ｋに対応する単語レベルの関連度ｐｉを当てはめればよい。両方用いる場合は、例えば、上記の式（２）のように、文レベルの関連度で単語レベルの関連度に重みづけを行う等が考えられる。なお、ｐｉは、文Ｓ単位に計算される。また、ｐｉは、第１の実施の形態における重要度（式（１））と同じ役割を有する。更に、ｋは、参考テキスト（抽出された文Ｓの集合）の単語に対して振られる単語番号である。
　続いて、学習について説明する。図１５は、第３の実施の形態における文生成装置１０の学習時における機能構成例を示す図である。図１５中、図７又は図１０と同一又は対応する部分には同一符号を付し、その説明は適宜省略する。
　第３の実施の形態において、内容選択部１１及び生成部１２の学習は、基本的に上記各実施の形態と同様でよい。ここでは、第３の実施の形態で用いられる関連度計算モデルの学習について２つの方法を説明する。
　第１の方法として、関連度βの計算結果と、正解ターゲットテキストからＲｏｕｇｅ等のスコアを用いて文レベルの関連度βの正解情報を定義する方法がある。
　第２の方法として、単語レベルの関連度の正解情報を、正解文（例えば、要約文等のターゲットテキスト）に、その単語が含まれているか否かの１／０で決定する方法がある。
　なお、上記では、文生成装置１０が検索部１４を有する例を示したが、知識源ＤＢ２０に含まれている外部知識が予め絞り込まれている場合、当該外部知識に含まれている全ての知識源テキストが内容選択部１１に入力されてもよい。この場合、文生成装置１０は検索部１４を有さなくてよい。
　上述したように、第３の実施の形態によれば、外部知識を用いることで、ソーステキストにない単語を含む要約文を効率的に生成することができる。当該単語は、知識源テキストに含まれる単語であり、知識源テキストはその名の通りテキストである。したがって、第３の実施の形態によっても、文を生成する際に考慮すべき情報をテキストとして付加可能とすることができる。
　なお、「Ziqiang Cao,Wenjie Li, Sujian Li, and FuruWei. 2018. Retrieve, rerank and rewrite: Soft template based neural summarization. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 152-161. Association for Computational Linguistics.」に開示された技術では、外部知識を考慮してターゲットテキストを生成できるものの、（１）外部知識に含まれる単語を、そのまま文生成に用いることができない。また、（２）外部知識の内容ごとの重要度を考慮できない。一方、第３の実施の形態では、（１）外部知識の文レベル・単語レベルの関連度を考慮し、（２）ＣｏｐｙＮｅｔｗｏｒｋ（合成部１２４）を用いることで、外部知識の重要個所を出力文に含めることが可能となる。
　次に、第４の実施の形態について説明する。第４の実施の形態では第１の実施の形態と異なる点について説明する。第４の実施の形態において特に言及されない点については、第１の実施の形態と同様でもよい。
　図１６は、第４の実施の形態における文生成装置１０の機能構成例を示す図である。図１６中、図２と同一又は対応する部分には同一符号を付している。図１６に示されるように、第４の実施の形態において、内容選択部１１は、考慮情報を入力しない。
　内容選択部１１は、Ｍ層のＴｒａｎｓｆｏｒｍｅｒＥｎｃｏｄｅｒブロック（Ｅｎｃｏｄｅｒｓａｌ）とｌ層の線形変換層からなる。内容選択部１１は、ソーステキストＸＣ中のｎ番目の単語ｘＣ ｎの重要度ｐｅｘｔ ｎを以下の式に基づいて計算する。
Figure JPOXMLDOC01-appb-M000029
 ここで、Ｅｎｃｏｄｅｒｓａｌ（）はＥｎｃｏｄｅｒｓａｌの最終層の出力ベクトルを表す。Ｗ１、ｂ１、σは、数１に関連して説明した通りである。
　内容選択部１１は、ソーステキストＸＣをＥｎｃｏｄｅｒｓａｌに入力して得られる重要度ｐｅｘｔ ｎの高い順にＫ個の単語を参考テキストＸｐとしてＸＣから抽出する。このとき、参考テキストＸｐにおける単語の順序は、ソーステキストＸＣ内の順序を保持する。内容選択部１１は、参考テキストＸｐを生成部１２へ入力する。すなわち、第４の実施の形態では、内容選択部１１による単語の重要度の予測値に基づいて抽出された単語列が追加のテキスト情報として生成部１２に明示的に与えられる。
　図１７は、第４の実施の形態における生成部１２の構成例を示す図である。図１７中、図３と同一又は対応する部分には同一符号を付している。図１７において、生成部１２は、符号化部１２６及び復号化部１２３を含む。符号化部１２６及び復号化部１２３については、図１８を参照して詳細に説明する。
　図１８は、第４の実施の形態におけるモデル構成例を示す図である。図１８中、図１６又は図１７と同一又は対応する部分には同一符号を付している。なお、図１８に示されるモデルを、便宜上、ＣＩＴ（Conditionalsummarization model with Important Tokens）モデルと呼ぶ。
　符号化部１２６は、Ｍ層のＴｒａｎｓｆｏｒｍｅｒ　Ｅｎｃｏｄｅｒブロックからなる。符号化部１２６は、ＸＣ＋Ｘｐを入力とする。ＸＣ＋Ｘｐは、ＸＣとＸｐの間には区切りを表す特殊トークンが挿入された文字列である。本実施の形態ではＥｎｃｏｄｅｒｓａｌとしてＲｏＢＥＲＴａ（「Y. Liu et al. arXiv, 1907.11692, 2019.」）が初期値として用いられる。符号化部１２６は、入力ＸＣ＋Ｘｐを受け付け、Ｍ層のブロックを作用させた表現
Figure JPOXMLDOC01-appb-M000030
 を得る。なお、Ｎは、ＸＣに含まれる単語数である。但し、第４の実施の形態では、Ｎに対してＮ＋Ｋが代入される。ここで、Ｋは、Ｘｐに含まれる単語数である。ここで、符号化部１２６はｓｅｌｆ－ａｔｔｅｎｔｉｏｎと２層のフィードフォワードネットワーク（ＦＦＮ）からなる。ＨＭ ｅは、後述される復号化部１２３のｃｏｎｔｅｘｔ－ａｔｔｅｎｔｉｏｎに入力される。
　復号化部１２３は、第１の実施の形態と同様でよい。すなわち、復号化部１２３は、Ｍ層のＴｒａｎｓｆｏｒｍｅｒ　Ｄｅｃｏｄｅｒブロックからなる。Ｅｎｃｏｄｅｒの出力ＨＭ ｅとモデルが１ステップ前までに出力した系列｛ｙ１，...，ｙｔ－１｝を入力とし、Ｍ層のブロックを作用させた表現
Figure JPOXMLDOC01-appb-M000031
 を得る。復号化部１２３は、各ステップｔにおいて、ｈＭ ｄｔに対し、語彙サイズＶ次元への線形変換を行い、確率が最大となるｙｔを次のトークンとして出力する。復号化部１２３は、ｓｅｌｆ－ａｔｔｅｎｔｉｏｎ（図１８のブロックｂ１）、ｃｏｎｔｅｘｔ－ａｔｔｅｎｔｉｏｎ、２層のＦＦＮからなる。
　なお、Ｍｕｌｔｉ－ｈｅａｄＡｔｔｅｎｔｉｏｎＴｒａｎｓｆｏｒｍｅｒブロックにおけるアテンション処理はすべてＭｕｌｔｉ－ｈｅａｄＡｔｔｅｎｔｉｏｎを用いる（「A. Vaswani et al. In NIPS, pages 5998-6008, 2017.」）。本処理はｋ個のアテンションヘッドの結合からなり、Ｍｕｌｔｉｈｅａｄ（Ｑ，Ｋ，Ｖ）＝Ｃｏｎｃａｔ（ｈｅａｄ１，...，ｈｅａｄｋ）Ｗｏと表される。各ヘッドはｈｅａｄｉ＝Ａｔｔｅｎｔｉｏｎ（ＱＷＱ ｉ，ＫＷＫ ｉ，ＶＷＶ ｉ）である。ここで、符号化部１２６及び復号化部１２３の第ｍ層のｓｅｌｆ－ａｔｔｅｎｔｉｏｎでは、Ｑ，Ｋ，Ｖに同じベクトル表現Ｈｍを与え、復号化部１２３のｃｏｎｔｅｘｔ－ａｔｔｅｎｔｉｏｎにおいては、ＱにＨｍ ｄ、ＫとＶにＨＭ ｅをそれぞれ与える。
　各ヘッドのアテンション
Figure JPOXMLDOC01-appb-M000032
 における重み行列Ａは以下の式にて表される。
Figure JPOXMLDOC01-appb-M000033
 ここで、
Figure JPOXMLDOC01-appb-M000034
 である。
　続いて、学習について説明する。図１９は、第４の実施の形態における文生成装置１０の学習時における機能構成例を示す図である。図１９中、図７と同一部分には同一符号を付し、その説明は省略する。
　［生成部１２の学習データ及び損失関数］
　生成部１２の学習データは、第１の実施の形態と同様でよい。生成部１２の損失関数は、ｃｒｏｓｓ　ｅｎｔｒｏｐｙを用いて次のように定義される。Ｍは学習データの個数を表す。
Figure JPOXMLDOC01-appb-M000035
 　［内容選択部１１の学習データ及び損失関数］
　内容選択部１１はソーステキストの各単語位置ｎに対して予測ｐｅｘｔ ｎの出力を行うものであるため、疑似的に正解を与えることで教師あり学習が可能になる。通常、要約文の正解は、ソーステキストと要約文のペアのみであるため、ソーステキストの各トークンに１／０の正解は与えられていない。しかし、ソーステキストと要約文の双方に含まれている単語が重要な単語である、とみなして両者のトークン系列のアライメントをとることで重要トークンの正解を疑似的に作成できる（「S. Gehrmann et al. In EMNLP, pages 4098-4109, 2018.」）。
　内容選択部１１の損失関数は、ｂｉｎａｒｙ　ｃｒｏｓｓ　ｅｎｔｒｏｐｙを用いて次のように定義される。
Figure JPOXMLDOC01-appb-M000036
 　ここで、ｒｍ ｎは、ｍ番目のデータにおけるソーステキストのｎ番目の単語の重要度正解を表す。
　［パラメータ学習部１３］
　第４の実施の形態において、パラメータ学習部１３は、重要度の学習データを用いて内容選択部１１を学習し、要約文Ｙの正解情報を用いて生成部１２を学習する。すなわち、内容選択部１１と生成部１２の学習は独立して行われる。
　パラメータ学習部１３は、損失関数Ｌｇｅｎ＝Ｌｅｎｃｄｅｃ＋Ｌｓａｌとして、Ｌｇｅｎが最小化されるように学習を行う。
　第１の実施の形態では、学習データ中のターゲットテキスト（要約文）の長さと、考慮情報である出力長とを揃えることで、「出力長に応じた単語の重要度」を学習していた。一方、第４の実施の形態では、学習データに考慮情報としての出力長は含まれない。そのため、内容選択部１１における単語の重要度の算出には出力長は特に考慮されず、「要約に重要な単語であるか否か」という観点のみで重要度が算出される。
　但し、第４の実施の形態にいても考慮情報として出力長を入力とし、出力長に基づいて抽出トークン数を定めることで、要約長を制御することができる。
　次に、第５の実施の形態について説明する。第５の実施の形態では第４の実施の形態と異なる点について説明する。第５の実施の形態において特に言及されない点については、第４の実施の形態と同様でもよい。
　図２０は、第５の実施の形態における文生成装置１０の機能構成例を示す図である。図２０中、図１６と同一部分には同一符号を付している。
　第５の実施の形態における内容選択部１１は、個別に学習したＥｎｃｏｄｅｒｓａｌから得られる単語レベルの重要度ｐｅｘｔ ｎを用いて文レベルの重要度ｐｅｘｔ Ｓｊを計算し、ソーステキストＸＣにおいてｐｅｘｔ Ｓｊが上位Ｐ番目までの文を結合したものを入力テキストＸｓとして生成部１２へ入力する。文レベルの重要度ｐｅｘｔ Ｓｊは、数３に基づいて計算可能である。
　図２１は、第５の実施の形態における生成部１２の構成例を示す図である。図２１中、図１７と同一部分には同一符号を付している。また、図２２は、第５の実施の形態におけるモデル構成例を示す図である。図２２中、図１８と同一部分には同一符号を付している。
　図２１及び図２２に示されるように、第５の実施の形態における符号化部１２６は、入力テキストＸｓを入力とする。なお、図２２に示されるモデルを、便宜上、ＳＥＧ（Sentence Extraction then Generation）モデルという。
　その他の点については、第４の実施の形態と同様である。
　次に、第６の実施の形態について説明する。第６の実施の形態では第４の実施の形態と異なる点について説明する。第６の実施の形態において特に言及されない点については、第４の実施の形態と同様でもよい。
　図２３は、第６の実施の形態における文生成装置１０の機能構成例を示す図である。図２３中、図１６又は図１７と同一又は対応する部分には同一符号を付している。第６の実施の形態において、文生成装置１０は、内容選択部１１を有さない。一方、生成部１２は、符号化部１２６の代わりに内容選択符号化部１２７を有する。内容選択符号化部１２７は、符号化部１２６（エンコーダ）及び内容選択部１１のそれぞれの機能を兼ねる。換言すれば、内容選択部１１を兼ねた符号化部１２６が内容選択符号化部１２７に相当する。
　図２４は、第６の実施の形態におけるモデル構成例を示す図である。図２４中、図２３又は図１８と同一又は対応する部分には同一符号を付している。図２４には、（ａ）～（ｃ）の３つのモデルの例が示されている。便宜上、（ａ）をＭＴ（Multi-Task）モデルといい、（ｂ）をＳＥ（Selective Encoding）モデルといい、（ｃ）をＳＡ（Selective Attention）モデルという。
　（ａ）のＭＴモデルは、重要度ｐｅｘｔ ｎに対する正解データを追加利用し、内容選択符号化部１２７及び復号化部１２３（すなわち、生成部１２）を同時に学習する。すなわち、重要度モデルと文生成モデルとが同時に学習される。この点は、ＳＥモデル及びＳＡモデル、並びに以降に説明される各モデル（すなわち、ＣＩＴモデル及びＳＥＧモデル以外）において共通である。ＭＴモデルにおいて、内容選択符号化部１２７のＥｎｃｏｄｅｒｓａｌは、第４の実施の形態における符号化部１２６のパラメータを共有する。なお、図２４より明らかなように、ＭＴモデルでは、符号化結果（ＨＭ ｅ）のみが復号化部１２３に入力される。
　復号化部１２３は、第４の実施の形態と同様でよい。
　ＳＥモデル（ｂ）は、重要度ｐｅｘｔ ｎを用いて内容選択符号化部１２７の符号化結果にバイアスをかける（「Q. Zhou et al. In ACL, pages 1095-1104, 2017.」）。具体的には、復号化部１２３は、内容選択符号化部１２７のＥｎｃｏｄｅｒブロックの最終出力である符号化結果ｈＭ ｅｎに対して下記のように重要度によって重み付けを行う。
Figure JPOXMLDOC01-appb-M000037
 　ＳＥモデル（ｂ）では、復号化部１２３に入力するｈＭ ｅｎをｈ～Ｍ ｅｎで置き換える（但し、ｈ～は、ｈの上の～が付された記号を示す）。「Q. Zhou et al. In ACL, pages 1095-1104, 2017.」ではＢｉＧＲＵを用いているが、本実施の形態では公平な比較のためＴｒａｎｓｆｏｒｍｅｒを用いて復号化部１２３が実装される。ＳＥモデルにおいて、内容選択符号化部１２７のＥｎｃｏｄｅｒｓａｌは、第４の実施の形態における符号化部１２６のパラメータを共有する。なお、図２４より明らかなように、ＳＥモデルでは、符号化結果（ＨＭ ｅ）及び重要度Ｐｅｘｔ ｎのみが復号化部１２３に入力される。また、ＳＥモデルでは、重要度の正解が与えられない。
　ＳＡモデル（ｃ）は、ＳＥモデルと異なり復号化部１２３側のアテンションを重み付けする。具体的には、復号化部１２３は、ｃｏｎｔｅｘｔ－ａｔｔｅｎｔｉｏｎの第ｉヘッドの重み行列
Figure JPOXMLDOC01-appb-M000038
 の各ステップｔのアテンション確率
Figure JPOXMLDOC01-appb-M000039
 （Ａｉの第ｔ行）をｐｅｘｔ ｎにより重み付けする。
Figure JPOXMLDOC01-appb-M000040
 　なお、Ｇｅｈｒｍａｎｎらが提案した類似手法ではｐｏｉｎｔｅｒｇｅｎｅｒａｔｏｒのコピー確率を重み付けしている（「S. Gehrmann et al. In EMNLP, pages 4098-4109, 2018.」）。一方、事前学習Ｓｅｑ－ｔｏ－Ｓｅｑモデルはコピー機構を有さないため、本実施の形態では復号化部１２３の全ての層のｃｏｎｔｅｘｔ－ａｔｔｅｎｔｉｏｎ計算において、上記の重み付けされたアテンション確率を用いて計算が行われる。ＭＴモデルにおいて、内容選択符号化部１２７のＥｎｃｏｄｅｒｓａｌは、第４の実施の形態における符号化部１２６のパラメータを共有する。なお、図２４より明らかなように、ＳＡモデルでは、符号化結果（ＨＭ ｅ）及び重要度Ｐｅｘｔ ｎのみが復号化部１２３に入力される。また、ＳＡモデルでは、重要度の正解が与えられない。
　なお、ＭＴモデルとＳＥモデル又はＭＴモデルとを組み合わせたモデルも、第６の実施の形態として有効である。
　ＳＥ＋ＭＴモデルは、ＳＥモデルの学習において重要度ｐｅｘｔ ｎに対する正解データを追加利用して要約との同時学習を行う。
　ＳＡ＋ＭＴ本モデルは、ＳＡモデルの学習において重要度ｐｅｘｔ ｎに対する正解データを追加利用して要約との同時学習を行う。
　図２５は、第６の実施の形態における文生成装置１０の学習時における機能構成例を示す図である。図２５中、図２３又は図１９と同一又は対応する部分には同一符号を付している。
　上記したように、第６の実施の形態のパラメータ学習部１３は、内容選択符号化部１２７と復号化部１２３とを同時に学習する。
　また、パラメータ学習部１３は、ＳＥモデル及びＳＡモデルの場合は、重要度Ｐｅｘｔ ｎの正解情報を与えず、要約文Ｙの正解情報のみを用いて生成部１２（内容選択符号化部１２７及び復号化部１２３）を学習する。この場合、パラメータ学習部１３は、損失関数Ｌｇｅｎ＝Ｌｅｎｃｄｅｃとし、Ｌｇｅｎが最小化されるように学習を行う。
　一方、ＭＴモデルの場合、パラメータ学習部１３は、重要度Ｓの正解情報と、要約文Ｙの正解情報とを用いて、内容選択符号化部１２７及び生成部１２（すなわち、内容選択符号化部１２７及び復号化部１２３）をマルチタスク学習する。すなわち、内容選択符号化部１２７を重要度モデル（内容選択部１１）として学習する際には、重要度Ｐｅｘｔ ｎの正解情報（重要か否か）が教師データとされて、Ｘｃから重要度Ｐｅｘｔ ｎを予測するタスクの学習が行われる。また、生成部１２（内容選択符号化部１２７＋復号化部１２３）をＳｅｑ２Ｓｅｑ（Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ）モデルとして学習する場合は、入力文ＸＣに対する正解要約文を教師データとして、ＸＣから要約文Ｙを予測するタスクの学習が行われる。このマルチタスク学習の際に、内容選択符号化部１２７のパラメータが両タスクで共有される。なお、重要度Ｐｅｘｔ ｎの正解情報（疑似的な正解）は、第４の実施の形態において説明した通りである。この場合、パラメータ学習部１３は、損失関数Ｌｇｅｎ＝Ｌｅｎｃｄｅｃ＋Ｌｓａｌとして、Ｌｇｅｎが最小化されるように学習を行う。
　次に、第７の実施の形態について説明する。第７の実施の形態では第４の実施の形態と異なる点について説明する。第７の実施の形態において特に言及されない点については、第４の実施の形態と同様でもよい。
　図２６は、第７の実施の形態における文生成装置１０の機能構成例を示す図である。図２６中、図１６又は図２３と同一又は対応する部分には同一符号を付している。図２６の文生成装置１０は、内容選択部１１及び生成部１２を有する。生成部１２は、内容選択符号化部１２７及び復号化部１２３を含む。すなわち、第７の実施の形態の文生成装置１０は、内容選択部１１及び内容選択符号化部１２７の双方を有する。
　このような構成は、上記におけるＣＩＴモデル（又はＳＥＧモデル）と、ＳＥモデル若しくはＳＡモデル（又はＭＴモデル）との組み合わせにより実現可能である。以下においてはＣＩＴモデルとＳＥモデルとの組み合わせ（ＣＩＴ＋ＳＥモデル）と、ＣＩＴモデルとＳＡモデルとの組み合わせ（ＣＩＴ＋ＳＡモデル）とについて説明する。
　ＣＩＴ＋ＳＥモデルでは、ＣＩＴモデルのＸＣ＋Ｘｐに対して、ＳＥモデルにより重要度
Figure JPOXMLDOC01-appb-M000041
 が教師無しで学習され、
Figure JPOXMLDOC01-appb-M000042
 に重み付けが行われる。すなわち、ＸＣ＋ＸｐがＳＥモデルの内容選択符号化部１２７の入力とされ（ＸＣは内容選択部１１によって選択される）、ＸＣ＋Ｘｐに対する重要度ｐｅｘｔが推定される。
　ＣＩＴ＋ＳＡモデルでは、ＣＩＴ＋ＳＥモデルと同様に、
Figure JPOXMLDOC01-appb-M000043
 が教師無しで学習され、
Figure JPOXMLDOC01-appb-M000044
 に重み付けが行われる。すなわち、ＣＩＴモデルのＸＣ＋ＸｐがＳＡモデルの内容選択符号化部１２７の入力とされ、ＸＣ＋Ｘｐに対する重要度ｐｅｘｔが推定される
　図２７は、第７の実施の形態における文生成装置１０の学習時における機能構成例を示す図である。図２７中、図２６又は図１９と同一又は対応する部分には同一符号を付している。
　第７の実施の形態においてパラメータ学習部１３が実行する処理は、第６の実施の形態と同様でよい。
　［実験］
　第４の実施の形態から第７の実施の形態について行った実験について説明する。
　＜データセット＞
　要約データセットにおいて代表的なＣＮＮ／ＤＭ（「K. M. Hermann et al. In NIPS, pages 1693-1701, 2015.」）とＸＳｕｍ（「S. Narayan et al. In EMNLP, pages 1797-1807, 2018.」）を用いた。ＣＮＮ／ＤＭは、３文程度の抽出率が高い要約データであり、ＸＳｕｍは、１文程度の短く抽出率が低い要約データである。評価は、要約自動評価で標準的に用いられるＲＯＵＧＥ値を用いて行った。各データの概要を表３に示す。要約平均長は、各データのｄｅｖセットをｆａｉｒｓｅｑ１のｂｙｔｅ－ｌｅｖｅｌＢＰＥ（「A. Radford et al. Language models are unsupervised multi-task learners. Technical report, OpenAI, 2019.」）にてサブワードに分割した単位で計算した。
Figure JPOXMLDOC01-appb-T000045
 　＜学習設定＞
　ｆａｉｒｓｅｑを用いて各モデルの実装を行った。７枚のNVIDIA V100 32GB GPUにより学習を行った。ＣＮＮ／ＤＭの学習では、「M. Lewis et al. arXiv, 1910.13461, 2019.」と同じ設定を用いた。ＸＳｕｍの学習については著者らに確認を取り、ＣＮＮ／ＤＭの設定からミニバッチの勾配累積に関するパラメータＵＰＤＡＴＥＦＲＥＱを２に変更した。また、学習時におけるＣＩＴモデルの内容選択部１１の抽出単語数Ｋは、ｄｅｖセットの精度を確認し、ＣＮＮ／ＤＭでは正解要約長を５単位でｂｉｎ分割した値、ＸＳｕｍでは固定長３０と決定した。なお、評価時はＣＮＮ／ＤＭではｄｅｖセットの平均要約長をＫとし、ＸＳｕｍでは学習時と同じ３０とした。また、ＸＳｕｍでは、重要単語列に重複を含まないように設定した。なお、学習時のＫの設定については、任意の固定値とする方法、任意の閾値を定め当該閾値以上の値とする方法、正解要約の長さＬに依存させる方法がある。Ｋの設定を正解要約の長さＬに依存させて学習を行う場合には、テスト時にＫの長さを変えることによって要約長をコントロールすることができる。
　＜実験結果＞
　「重要度モデルを組み合わせることによって要約精度は向上するか？」に関する実験結果（各モデルのＲＯＵＧＥ値）を表４、表５に示す。
Figure JPOXMLDOC01-appb-T000046
Figure JPOXMLDOC01-appb-T000047
 　表４、表５に示す通り、両方のデータセットにおいてＣＩＴ＋ＳＥが最も良い結果となった。まず、ＣＩＴ単体でも精度が向上したことから、重要単語の結合が重要な情報を文生成モデル（生成部１２）に与える方法として優れていることがわかる。そして、ＣＩＴをＳＥやＳＡモデルと組み合わせることでさらなる精度の向上が確認できたことから、重要単語の中にはノイズも含まれるが、ソフトな重み付けを組み合わせることによって改善されていると考える。
　ＳＥ、ＳＡはいずれのデータでも精度が向上した。重要度正解を同時学習するＭＴ、ＳＥ＋ＭＴ、ＳＡ＋ＭＴはＣＮＮ／ＤＭでは精度が向上したが、ＸＳｕｍでは精度が低下した。これは重要度の疑似的正解の質の影響と考える。ＣＮＮ／ＤＭは要約が比較的長く抽出要素が強いため、疑似的正解を作成する際に単語同士のアライメントが取り易い。一方で、ＸＳｕｍデータは要約が短く、ソーステキスト以外の表現で記述されることが多いため、アライメントが取り難く、疑似的正解がノイズとして働いた。ＣＩＴにおいても、この影響によりＸＳｕｍにおける精度の向上幅はＣＮＮ／ＤＭよりも狭いが、性質の異なるデータでいずれも最も高い性能を示していることから、頑健に動作する手法と言える。
　なお、"our fine-tuning"は、本願発明者によるFine-tuning結果（ベースライン）を表す。また、表５における下線は、ベースラインモデルの改善の中での最高精度を表す。
　「重要度モデル単体のトークン抽出精度はどの程度か？」に関する実験結果を表６に示す。
　表６はＣＩＴの重要度ｐｅｘｔによって上位に選択されたトークン列と要約テキストのＲＯＵＧＥ値を評価した結果である。
Figure JPOXMLDOC01-appb-T000048
 　ＣＮＮ／ＤＭにおいては、重要単語の特定が適切に行われていることがわかる。抽出型要約の従来手法のＳＯＴＡであるＰｒｅｓｕｍ（「Y. Liu et al. In EMNLP-IJCNLP, pages 3728-3738, 2019.」）と比較しても、Ｒ１やＲ２で高い精度を出しており、単語レベルで重要な要素を抽出できていることがわかる。ＳＥモデルやＳＡモデルの内部的に学習されたｐｅｘｔでは各単語の重要度に大きな差がなかったが、本モデルでは重要な単語を明示的に考慮することができる。一方で、ＸＳｕｍは抽出率の低いデータであるため、全体的に重要度モデルの精度が低い。このことが要約精度の向上がＣＮＮ／ＤＭよりも低くなっている原因と考える。今回検証した疑似的正解を与える手法は抽出率の高いデータにおいて特に効果を発揮したが、抽出率の低いデータにおいても重要度モデルの精度を向上させることでさらに精度向上が期待できる。
　なお、上記各実施の形態では、要約文の生成タスクを例として説明したが、他の各種の文生成タスクに対して上記各実施の形態が適用されてもよい。
　なお、上記各実施の形態において、学習時の文生成装置１０は、文生成学習装置の一例である。
　以上、本発明の実施の形態について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
１０　　　　　文生成装置
１１　　　　　内容選択部
１２　　　　　生成部
１３　　　　　パラメータ学習部
１４　　　　　検索部
１５　　　　　内容選択符号化部
２０　　　　　知識源ＤＢ
１００　　　　ドライブ装置
１０１　　　　記録媒体
１０２　　　　補助記憶装置
１０３　　　　メモリ装置
１０４　　　　ＣＰＵ
１０５　　　　インタフェース装置
１２１　　　　ソーステキスト符号化部
１２２　　　　参考テキスト符号化部
１２３　　　　復号化部
１２４　　　　合成部
１２５　　　　ジョイント符号化部
１２６　　　　符号化部
Ｂ　　　　　　バス

Claims (10)

  1. 　入力文と、前記入力文とは異なる情報とに基づき、参考テキストを取得する内容選択部と、
    　前記入力文及び前記参考テキストに基づいて文を生成する生成部とを有し、
    　前記内容選択部及び前記生成部は、学習済みのパラメータに基づくニューラルネットワークである、
    ことを特徴とする文生成装置。
  2. 　前記入力文とは異なる情報は、前記生成部が生成する文の長さに関する情報であり、
    　前記内容選択部は、前記入力文を構成する各単語について重要度を推定し、前記重要度と前記文の長さに基づく情報とに基づいて前記参考テキストに含める単語を選択する、
    ことを特徴とする請求項１記載の文生成装置。
  3. 　入力文と、前記入力文とは異なる情報とに基づき、参考テキストを取得する内容選択部と、
    　前記入力文及び前記参考テキストに基づいて文を生成する生成部とを有し、
    　前記内容選択部及び前記生成部は、学習済みのパラメータに基づくニューラルネットワークであり、
    　前記パラメータを学習するパラメータ学習部を更に有する、
    ことを特徴とする文生成学習装置。
  4. 　入力文と、前記入力文とは異なる情報とに基づき、参考テキストを取得する内容選択手順と、
    　前記入力文及び前記参考テキストに基づいて文を生成する生成手順とをコンピュータが実行し、
    　前記内容選択手順及び前記生成手順は、学習済みのパラメータに基づくニューラルネットワークを用いる、
    ことを特徴とする文生成方法。
  5. 　入力文と、前記入力文とは異なる情報とに基づき、参考テキストを取得する内容選択手順と、
    　前記入力文及び前記参考テキストに基づいて文を生成する生成手順とをコンピュータが実行し、
    　前記内容選択手順及び前記生成手順は、学習済みのパラメータに基づくニューラルネットワークを用い、
    　前記パラメータを学習する学習手順を前記コンピュータが更に実行する、
    ことを特徴とする文生成学習方法。
  6. 　入力文を構成する各単語について重要度を推定し、前記重要度に基づいて前記入力文から参考テキストに含める単語を選択する内容選択部と、
    　前記入力文及び前記参考テキストに基づいて文を生成する生成部とを有し、
    　前記内容選択部及び前記生成部は、学習済みのパラメータに基づくニューラルネットワークである、
    ことを特徴とする文生成装置。
  7. 　入力文を構成する各単語について重要度を推定し、前記重要度に基づいて前記入力文から参考テキストに含める単語を選択する内容選択部と、
    　前記入力文及び前記参考テキストに基づいて文を生成する生成部とを有し、
    　前記内容選択部及び前記生成部は、学習済みのパラメータに基づくニューラルネットワークであり
    　前記パラメータを学習するパラメータ学習部を更に有する、
    ことを特徴とする文生成学習装置。
  8. 　入力文を構成する各単語について重要度を推定し、前記重要度に基づいて前記入力文から参考テキストに含める単語を選択する内容選択手順と、
    　前記入力文及び前記参考テキストに基づいて文を生成する生成手順とをコンピュータが実行し、
    　前記内容選択手順及び前記生成手順は、学習済みのパラメータに基づくニューラルネットワークを用いる、
    ことを特徴とする文生成方法。
  9. 　入力文を構成する各単語について重要度を推定し、前記重要度に基づいて前記入力文から参考テキストに含める単語を選択する内容選択手順と、
    　前記入力文及び前記参考テキストに基づいて文を生成する生成手順とをコンピュータが実行し、
    　前記内容選択手順及び前記生成手順は、学習済みのパラメータに基づくニューラルネットワーク用い、
    　前記パラメータを学習する学習手順を前記コンピュータが更に実行する、
    ことを特徴とする文生成学習方法。
  10. 　請求項１、２若しくは６記載の文生成装置、又は請求項３若しくは７記載の文生成学習装置としてコンピュータを機能させることを特徴とするプログラム。
PCT/JP2020/008955 2019-10-02 2020-03-03 文生成装置、文生成学習装置、文生成方法、文生成学習方法及びプログラム WO2021065034A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/764,186 US11954435B2 (en) 2019-10-02 2020-03-03 Text generation apparatus, text generation learning apparatus, text generation method, text generation learning method and program
JP2021551110A JP7347530B2 (ja) 2019-10-02 2020-03-03 文生成装置、文生成学習装置、文生成方法、文生成学習方法及びプログラム
JP2023142658A JP2023159453A (ja) 2019-10-02 2023-09-04 文生成装置、文生成学習装置、文生成方法、文生成学習方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/JP2019/038948 WO2021064907A1 (ja) 2019-10-02 2019-10-02 文生成装置、文生成学習装置、文生成方法、文生成学習方法及びプログラム
JPPCT/JP2019/038948 2019-10-02

Publications (1)

Publication Number Publication Date
WO2021065034A1 true WO2021065034A1 (ja) 2021-04-08

Family

ID=75336851

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2019/038948 WO2021064907A1 (ja) 2019-10-02 2019-10-02 文生成装置、文生成学習装置、文生成方法、文生成学習方法及びプログラム
PCT/JP2020/008955 WO2021065034A1 (ja) 2019-10-02 2020-03-03 文生成装置、文生成学習装置、文生成方法、文生成学習方法及びプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/038948 WO2021064907A1 (ja) 2019-10-02 2019-10-02 文生成装置、文生成学習装置、文生成方法、文生成学習方法及びプログラム

Country Status (3)

Country Link
US (1) US11954435B2 (ja)
JP (2) JP7347530B2 (ja)
WO (2) WO2021064907A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113590790A (zh) * 2021-07-30 2021-11-02 北京壹心壹翼科技有限公司 应用于多轮问答的问题检索方法、装置、设备及介质
JP7377900B2 (ja) 2022-03-15 2023-11-10 エヌ・ティ・ティ・コムウェア株式会社 対話テキスト生成装置、対話テキスト生成方法、およびプログラム
JP7377898B2 (ja) 2022-03-15 2023-11-10 エヌ・ティ・ティ・コムウェア株式会社 テキスト生成装置、テキスト生成方法、およびプログラム
JP7377899B2 (ja) 2022-03-15 2023-11-10 エヌ・ティ・ティ・コムウェア株式会社 テキスト変換装置、テキスト変換方法、およびプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160798B (zh) * 2021-04-28 2024-04-16 厦门大学 一种中文民航空中交通管制语音识别方法及系统
CN113486395A (zh) * 2021-07-02 2021-10-08 南京大学 一种采用多元信息融合的科研数据匿名化方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6205466B1 (ja) * 2016-07-19 2017-09-27 ヤフー株式会社 生成装置、生成方法、及び生成プログラム
JP2019016239A (ja) * 2017-07-07 2019-01-31 富士通株式会社 学習プログラム、学習方法及び学習装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7778837B2 (en) * 2006-05-01 2010-08-17 Microsoft Corporation Demographic based classification for local word wheeling/web search
KR102206588B1 (ko) * 2016-05-06 2021-01-22 이베이 인크. 인공신경망 기계 번역시 메타 정보를 이용하는 기법
US10699062B2 (en) * 2017-08-01 2020-06-30 Samsung Electronics Co., Ltd. Apparatus and method for providing summarized information using an artificial intelligence model
CN108153864A (zh) * 2017-12-25 2018-06-12 北京牡丹电子集团有限责任公司数字电视技术中心 基于神经网络生成文本摘要的方法
JP7072178B2 (ja) * 2018-02-28 2022-05-20 日本電信電話株式会社 自然言語処理のための装置、方法及びプログラム
US20200090034A1 (en) * 2018-09-18 2020-03-19 Salesforce.Com, Inc. Determining Intent from Unstructured Input to Update Heterogeneous Data Stores
US10521655B1 (en) * 2019-02-11 2019-12-31 Google Llc Generating and provisioning of additional content for biased portion(s) of a document
US11520971B2 (en) * 2019-03-30 2022-12-06 The Regents Of The University Of California System and method for artificial intelligence story generation allowing content introduction
CN110209801B (zh) * 2019-05-15 2021-05-14 华南理工大学 一种基于自注意力网络的文本摘要自动生成方法
US11176330B2 (en) * 2019-07-22 2021-11-16 Advanced New Technologies Co., Ltd. Generating recommendation information

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6205466B1 (ja) * 2016-07-19 2017-09-27 ヤフー株式会社 生成装置、生成方法、及び生成プログラム
JP2019016239A (ja) * 2017-07-07 2019-01-31 富士通株式会社 学習プログラム、学習方法及び学習装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SAITO, ITSUMI ET AL.: "Document Summary Model Capable of Considering Query/Output Length", PROCEEDINGS OF THE 25TH ANNUAL MEETING OF THE NATURAL LANGUAGE PROCESSING SOCIETY, 3 March 2019 (2019-03-03), pages 497 - 500 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113590790A (zh) * 2021-07-30 2021-11-02 北京壹心壹翼科技有限公司 应用于多轮问答的问题检索方法、装置、设备及介质
CN113590790B (zh) * 2021-07-30 2023-11-28 北京壹心壹翼科技有限公司 应用于多轮问答的问题检索方法、装置、设备及介质
JP7377900B2 (ja) 2022-03-15 2023-11-10 エヌ・ティ・ティ・コムウェア株式会社 対話テキスト生成装置、対話テキスト生成方法、およびプログラム
JP7377898B2 (ja) 2022-03-15 2023-11-10 エヌ・ティ・ティ・コムウェア株式会社 テキスト生成装置、テキスト生成方法、およびプログラム
JP7377899B2 (ja) 2022-03-15 2023-11-10 エヌ・ティ・ティ・コムウェア株式会社 テキスト変換装置、テキスト変換方法、およびプログラム

Also Published As

Publication number Publication date
JPWO2021065034A1 (ja) 2021-04-08
JP2023159453A (ja) 2023-10-31
US20220366140A1 (en) 2022-11-17
JP7347530B2 (ja) 2023-09-20
US11954435B2 (en) 2024-04-09
WO2021064907A1 (ja) 2021-04-08

Similar Documents

Publication Publication Date Title
WO2021065034A1 (ja) 文生成装置、文生成学習装置、文生成方法、文生成学習方法及びプログラム
WO2021064906A1 (ja) 文生成装置、文生成学習装置、文生成方法、文生成学習方法及びプログラム
JP7087938B2 (ja) 質問生成装置、質問生成方法及びプログラム
CN110019471B (zh) 从结构化数据生成文本
CN111310471B (zh) 一种基于bblc模型的旅游命名实体识别方法
Yi et al. Distilling Knowledge from an Ensemble of Models for Punctuation Prediction.
CN111125333B (zh) 一种基于表示学习与多层覆盖机制的生成式知识问答方法
JP2022111261A (ja) 質問生成装置、質問生成方法及びプログラム
CN111145914B (zh) 一种确定肺癌临床病种库文本实体的方法及装置
Li et al. Abstractive text summarization with multi-head attention
CN114780411B (zh) 一种面向性能调优的软件配置项预选方法
Zheng et al. Abstractive meeting summarization by hierarchical adaptive segmental network learning with multiple revising steps
Qin et al. A new joint CTC-attention-based speech recognition model with multi-level multi-head attention
CN113673241B (zh) 一种基于范例学习的文本摘要生成框架系统及方法
WO2021176549A1 (ja) 文生成装置、文生成学習装置、文生成方法、文生成学習方法及びプログラム
Jang et al. Cross-language neural dialog state tracker for large ontologies using hierarchical attention
Zalake et al. Generative chat bot implementation using deep recurrent neural networks and natural language understanding
CN116662502A (zh) 基于检索增强的金融问答文本生成方法、设备及存储介质
Tomer et al. STV-BEATS: skip thought vector and bi-encoder based automatic text summarizer
CN115906879A (zh) 一种垂直领域的翻译模型训练方法和存储介质
Wan et al. Abstractive document summarization via bidirectional decoder
Wang et al. Distill-AER: Fine-Grained Address Entity Recognition from Spoken Dialogue via Knowledge Distillation
Liu et al. A Method Combining Text Classification and Keyword Recognition to Improve Long Text Information Mining
Roul et al. Abstractive text summarization using enhanced attention model
Yan et al. Transformer with prior language knowledge for image captioning

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20871572

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021551110

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20871572

Country of ref document: EP

Kind code of ref document: A1