WO2020158409A1 - 要約生成装置、方法、プログラム、及び記憶媒体 - Google Patents

要約生成装置、方法、プログラム、及び記憶媒体 Download PDF

Info

Publication number
WO2020158409A1
WO2020158409A1 PCT/JP2020/001250 JP2020001250W WO2020158409A1 WO 2020158409 A1 WO2020158409 A1 WO 2020158409A1 JP 2020001250 W JP2020001250 W JP 2020001250W WO 2020158409 A1 WO2020158409 A1 WO 2020158409A1
Authority
WO
WIPO (PCT)
Prior art keywords
lattice
sequence
programming problem
candidate words
integer programming
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/001250
Other languages
English (en)
French (fr)
Inventor
平尾　努
小川　厚徳
中谷　智広
永田　昌明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to US17/425,696 priority Critical patent/US11869491B2/en
Publication of WO2020158409A1 publication Critical patent/WO2020158409A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/19—Grammatical context, e.g. disambiguation of the recognition hypotheses based on word sequence rules
    • G10L15/193—Formal grammars, e.g. finite state automata, context free grammars or word networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/083—Recognition networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G06F40/56—Natural language generation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/081—Search algorithms, e.g. Baum-Welch or Viterbi

Definitions

  • the disclosed technology relates to an abstract generation device, a method, a program, and a storage medium, and particularly to an abstract generation device, a method, a program, and a storage medium that automatically summarizes a voice recognition result.
  • the conventional speech recognition result summarization technology generates a summary by 1-best speech recognition results by sentence extraction or word extraction. For example, for a 1-best speech recognition result, a method is proposed in which a subword string that maximizes the sum of word importance, speech recognition reliability, and language likelihood is generated as a summary under a certain length constraint. (See Non-Patent Document 1).
  • the performance of the current voice recognition technology is high, but it is not 100%. Therefore, if a summary is generated using only the 1-best voice recognition result, there is a high possibility that the summary will include a recognition error.
  • the conventional speech recognition result summarization technique does not use the concept of covering important words, which is often used in the conventional text summarization technique and whose effectiveness has been verified. Therefore, when trying to summarize an utterance sequence that has a long overlapping content such as a lecture, it is likely to be a redundant summary.
  • the disclosed technology has been made in view of the above circumstances, and provides a summary generation device, a method, and a program capable of generating a high-quality summary with few speech recognition errors and low redundancy. To aim.
  • a digest generation device includes a speech recognition unit that converts an input utterance sequence into a confusion network sequence formed by k-best of candidate words of a speech recognition result. From the confusion network sequence, the candidate word is an internal node, and a group of k candidate words for the same speech is an external node, and between internal nodes other than internal nodes included in the same external node.
  • a lattice generator that generates an edged lattice sequence, and a route that maximizes an objective function that includes at least the coverage score of an important word from among the routes that trace the edged internal nodes in the lattice sequence.
  • An integer programming problem generation unit that generates an integer programming problem to solve the above problem, and the internal node included in the path selected by solving the integer programming problem under the constraint on the length of the generated summary.
  • a summary generation unit that generates a summary of the utterance sequence using the candidate words.
  • the voice recognition unit converts the input utterance sequence into a confusion network sequence formed by k-best of candidate words of the voice recognition result, and the lattice generation unit ,
  • a candidate word from the confusion network sequence is an internal node
  • a group of k candidate words for the same speech is an external node
  • edges are formed between internal nodes other than internal nodes included in the same external node.
  • a lattice sequence is generated, and the integer programming problem generation unit selects a route that maximizes the objective function including at least the coverage score of the important word among the routes that trace the edged internal nodes in the lattice sequence.
  • An integer programming problem is generated, and the utterance sequence is generated using a candidate word indicated by an internal node included in the path selected by solving the integer programming problem, with the summary generation unit constraining the length of the generated summary. Generate a summary of.
  • the voice recognition error can be reduced by using the candidate words of the k-best voice recognition result instead of the candidate words of the 1-best voice recognition result.
  • a summary with low redundancy can be generated. That is, according to the abstract generation device according to the disclosed technique, it is possible to generate a high-quality abstract with few voice recognition errors and low redundancy.
  • the coverage score of the important word may be a score that increases as the number of candidate words included in the generated summary among the candidate words that are independent words included in the lattice series increases.
  • the objective function is further the score of the internal node represented by the importance of the candidate word included in the generated summary, and the goodness of connection between the candidate words at both ends of the edge included in the generated summary.
  • a score of the edge indicating
  • the score of the internal node may include the appearance frequency and the reverse document frequency of the candidate word, and the reliability of speech recognition for the candidate word.
  • the score of the edge may include a bigram appearance rate of candidate words at both ends of the edge. In this way, by maximizing the objective function, it is possible to generate a summary including important words and connections between the words.
  • a summary generation method is a summary generation method executed in a summary generation device including a speech recognition unit, a lattice generation unit, an integer programming problem generation unit, and a summary generation unit,
  • the speech recognition unit converts the input utterance sequence into a confusion network sequence composed of k-best of candidate words of the speech recognition result
  • the lattice generation unit converts the candidate word from the confusion network sequence.
  • the integer programming problem generation unit selects an integer programming problem for selecting a route that maximizes an objective function including at least the coverage score of an important word among routes that follow the edged internal nodes.
  • the summary generation unit generates, using the candidate word indicated by the internal node included in the path selected by solving the integer programming problem, under the constraint on the length of the generated summary, This is a method of generating an utterance sequence summary.
  • the abstract generation program according to the disclosed technology is a program for causing a computer to function as each unit that constitutes the above abstract generation device.
  • the storage medium according to the disclosed technology is a storage medium that stores a program that causes a computer to function as each unit that constitutes the above-described abstract generation device.
  • candidate words of the k-best speech recognition result are used and the objective function including the coverage score of the important word is maximized.
  • the summary so as to be converted, it is possible to generate a high-quality summary with few speech recognition errors and low redundancy.
  • FIG. 6 is a flowchart showing an example of the flow of processing by the abstract generation program according to the present embodiment.
  • the abstract generation device is configured as a computer including a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), an HDD (Hard Disk Drive), and the like.
  • the ROM stores a summary generation program according to this embodiment.
  • the abstract generation program may be stored in the HDD.
  • the abstract generation program may be installed in advance in the abstract generation device, for example.
  • This abstract generation program may be realized by storing it in a non-volatile storage medium or by distributing it via a network and installing it appropriately in the abstract generation device.
  • the non-volatile storage medium include a CD-ROM (Compact Disc Read Only Memory), a magneto-optical disc, a DVD-ROM (Digital Versatile Disc Read Only Memory), a flash memory, and a memory card.
  • the CPU functions as each functional unit of the later-described summary generation device by reading and executing the summary generation program stored in the ROM.
  • an utterance sequence (speech data) that includes U utterances, that is, a utterance sequence having a length U, is input to the summary generation device 10 according to the present embodiment. To be done. Then, each functional unit executes a process of generating a summary and outputs a summary (text data) of the input utterance sequence.
  • the summary generation device 10 includes a speech recognition unit 12, a lattice generation unit 14, an integer programming problem generation unit 16, and a summary generation unit 18, as shown in FIG. Further, a language model database (DB) 20 and an IDF_DB 22 are stored in a predetermined storage area of the abstract generating device 10 or an external storage device capable of communicating with the abstract generating device 10.
  • the language model DB 20 stores the bigram appearance rate of words calculated in advance using a large number of corpora.
  • the IDF_DB 22 stores the idf (Inverse Document Frequency) of a word calculated in advance using a large amount of corpus.
  • the voice recognition unit 12 converts the input utterance sequence into a k-best confusion network sequence.
  • a confusion network is a collective representation of multiple voice recognition candidates as one network.
  • FIG. 2 shows an example of a confusion network for the i-th utterance included in the utterance sequence.
  • w i,j,k represents a word that is a recognition result having the k-th reliability with respect to the j-th word of the i-th confusion network.
  • selecting a highly reliable edge results in a 1-best speech recognition result.
  • the method of the existing speech recognition system can be used as a method of converting the utterance sequence into the confusion network sequence.
  • the voice recognition unit 12 transfers the converted confusion network sequence to the lattice generation unit 14.
  • the lattice generation unit 14 uses the confusion network sequence passed from the speech recognition unit 12 as a lattice sequence in which candidate words of the speech recognition result are internal nodes and k candidate words for the same speech are collected as external nodes. Convert to. In addition, the lattice generation unit 14 prepares nodes BOU and EOU as special nodes representing the start and end of the utterance. The lattice generation unit 14 forms an edge between an arbitrary internal node and each of the internal node and BOU on the left side of the arbitrary internal node, and forms an edge between each of the internal node and EOU of the right side. No edge is placed between internal nodes that belong to the same external node.
  • the lattice generation unit 14 generates a lattice sequence with an edge for obtaining all paths that follow the internal nodes from BOU to EOU.
  • FIG. 3 shows an example in which the confusion network sequence shown in FIG. 2 is converted into a lattice sequence.
  • the lattice generation unit 14 transfers the generated lattice sequence to the integer programming problem generation unit 16.
  • the integer programming problem generation unit 16 generates an integer programming problem that selects the path of the internal node that maximizes the objective function from the lattice sequence passed from the lattice generation unit 14 under the constraint of the number of characters of the generated summary. ..
  • an integer programming problem is generated in which a route that maximizes the sum of the importance of internal nodes, the sum of the importance of edges, and the coverage score of important words is selected from the lattice sequence.
  • i be the index of the lattice
  • j be the index of the external node in the i-th lattice
  • k be the index of the internal node contained in the j-th external node of the i-th lattice.
  • the lattice set is U
  • the set of external nodes in the i-th lattice is V i
  • the set of internal nodes included in the j-th external node in the i-th lattice is N i,j .
  • W be a set of independent words included in U.
  • the first term of the equation (1) represents a node score
  • the second term represents an edge score
  • the third term represents an important word coverage score.
  • n i,j,k is a binary variable indicating whether to include the k-th word included in the j-th external node of the i-th lattice in the summary
  • f i,j,k is for w i,j,k This is the importance score.
  • the definition of f i,j,k is as shown in the following equation (13).
  • Tfidf() is the tfidf score of a word
  • tf(TermFrequency) is the frequency of appearance of the word in the utterance sequence.
  • idf is acquired from the IDF_DB 22.
  • conf() is a word recognition reliability score, which is a value obtained when the voice recognition unit 12 performs voice recognition.
  • e i,s,p i,t,q is a binary variable that determines whether the edges between w i,s,p and w i,t,q are included in the summary.
  • g i,s,p i,t,q is an importance score of e i,s,p i,t,q , and word w i,s,p and word w i, acquired from the language model DB 20 . It can be a bigram appearance probability with t and q .
  • the definitions of g i,s,p i,t,q are as shown in the following formula (14). Note that g i,s,p i,t,q is not limited to the example shown in Expression (14) as long as it is a score of the goodness of connection between words.
  • ⁇ and ⁇ are parameters for adjusting the sum of the score of the node and the sum of the score of the edge, and the optimum value is determined using the verification data.
  • z h is, if included in the h-th independent word summary of W 1, a binary variable becomes zero otherwise, that the score is high indicates that covers a number of important words. That is, the redundancy of the generated summary is low because it has the effect of covering many important words.
  • Expression (2) is a constraint regarding the length of the digest, and guarantees that the number of characters in the digest is L or less.
  • Expression (3) indicates that at most one internal node (word) is selected from any external node. As shown in FIG. 4, expressions (4) and (5) always select one edge at each end (one from the input edge and one from the output edge) in order to include any internal node in the summary. Indicates what must be done.
  • Expressions (6) and (7) are constraints to avoid extracting a short path from one utterance, and the number of words is K in order to select a word string from the i-th lattice as a summary. Indicates that it must be above.
  • n i,j,k corresponding to the word may be set to 1.
  • Integer programming problem generator 16 passes the generated integer programming problem to summary generator 18.
  • FIG. 5 is a flowchart showing an example of the flow of the summary generation processing by the summary generation program according to the present embodiment.
  • step S12 the voice recognition unit 12 converts the input utterance sequence into a k-best confusion network sequence.
  • the voice recognition unit 12 transfers the converted confusion network sequence to the lattice generation unit 14.
  • step S14 the lattice generation unit 14 collects the confusion network sequence passed from the speech recognition unit 12 into candidate words of the speech recognition result as internal nodes and k candidate words for the same speech. Is converted to a lattice series with as an external node. The lattice generation unit 14 also prepares nodes BOU and EOU that represent the start and end of the utterance, respectively, and establishes edges between internal nodes other than internal nodes belonging to the same external node. The lattice generation unit 14 transfers the generated lattice sequence to the integer programming problem generation unit 16.
  • step S16 the integer programming problem generation unit 16 generates the internal node score, the edge score, and the important word from the lattice sequence passed from the lattice generation unit 14 under the constraint of the number of characters of the summary to be generated. Generate an integer programming problem that selects the paths of internal nodes that maximize the objective function including the covering score of.
  • the integer programming problem generator 16 transfers the generated integer programming problem to the summary generator 18.
  • step S18 the summary generation unit 18 solves the integer programming problem passed from the integer programming problem generation unit 16 using an existing dedicated solver, and an internal node included in the path selected from the lattice series is generated. Generates a summary using the candidate words indicated by and outputs the generated summary. Then, the summary generation process ends.
  • the input utterance sequence is converted into the confusion network sequence formed by k-best of the candidate words of the voice recognition result, and the confusion network is obtained. From the sequence, candidate words are used as internal nodes, k candidate words for the same speech are collected as external nodes, and a lattice sequence with edges between internal nodes other than internal nodes included in the same external node is generated.
  • an integer programming problem is generated to select the path that maximizes the objective function including at least the coverage score of the important word among the paths that follow the internal nodes with edges, and the generated summary Under the constraint on the length of, the utterance sequence summary is generated using the candidate words indicated by the internal nodes included in the path selected by solving the integer programming problem.
  • the process according to the embodiment is realized by the software configuration using the computer by executing the program has been described, but the present invention is not limited to this.
  • the embodiment may be realized by, for example, a hardware configuration or a combination of a hardware configuration and a software configuration.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

音声認識部（１２）が、入力された発話系列を、音声認識結果の候補単語のｋ－ｂｅｓｔで構成されるコンフュージョンネットワーク系列に変換し、ラティス生成部（１４）が、コンフュージョンネットワーク系列から、候補単語を内部ノード、同じ音声に対するｋ個の候補単語をまとめたものを外部ノードとし、同一の外部ノードに含まれる内部ノード間以外の内部ノード間にエッジを張ったラティス系列を生成し、整数計画問題生成部（１６）が、ラティス系列において、エッジを張られた内部ノードを辿る経路のうち、少なくとも重要単語の被覆スコアを含む目的関数を最大化する経路を選択するための整数計画問題を生成し、要約生成部が、生成される要約の長さに関する制約の下、整数計画問題を解くことにより選択される経路に含まれる内部ノードが示す候補単語を用いて、音声認識誤りが少なく、かつ冗長性の低い高品質な要約を生成する。

Description

要約生成装置、方法、プログラム、及び記憶媒体
　開示の技術は、要約生成装置、方法、プログラム、及び記憶媒体に係り、特に、音声認識結果を自動的に要約する要約生成装置、方法、プログラム、及び記憶媒体に関する。
　従来の音声認識結果の要約技術は、１－ｂｅｓｔの音声認識結果を対象として、文抽出あるいは単語抽出によって要約を生成する。例えば、１－ｂｅｓｔの音声認識結果に対して、ある長さの制約の下、単語重要度、音声認識信頼度、言語尤度の和を最大化する部分単語列を要約として生成する手法が提案されている（非特許文献１参照）。
C. Hori and S. Furui, "Speech summarization: Anapproach through word extraction and a method for evaluation," IEICETrans. on Inf. & Syst., vol. E87-D, no. 1, pp. 1525, Jan. 2004.
　しかしながら、現状での音声認識技術の性能は高いものの１００％ではないため、１－ｂｅｓｔの音声認識結果だけを利用して要約を生成すると、要約に認識誤りが含まれる可能性が高くなる。また、従来の音声認識結果の要約技術には、従来のテキスト要約技術によく用いられ、その有効性が実証されている重要単語の被覆という概念が利用されていない。このため、講演のように長く内容に重複があるような発話系列を要約しようとした際、冗長な要約になる可能性が高い。
　開示の技術は、上記の事情に鑑みてなされたもので、音声認識誤りが少なく、かつ冗長性の低い高品質な要約を生成することができる要約生成装置、方法、及びプログラムを提供することを目的とする。
　上記目的を達成するために、開示の技術に係る要約生成装置は、入力された発話系列を、音声認識結果の候補単語のｋ－ｂｅｓｔで構成されるコンフュージョンネットワーク系列に変換する音声認識部と、前記コンフュージョンネットワーク系列から、前記候補単語を内部ノード、同じ音声に対するｋ個の前記候補単語をまとめたものを外部ノードとし、同一の前記外部ノードに含まれる内部ノード間以外の内部ノード間にエッジを張ったラティス系列を生成するラティス生成部と、前記ラティス系列において、前記エッジを張られた内部ノードを辿る経路のうち、少なくとも重要単語の被覆スコアを含む目的関数を最大化する経路を選択するための整数計画問題を生成する整数計画問題生成部と、生成される要約の長さに関する制約の下、前記整数計画問題を解くことにより選択される前記経路に含まれる前記内部ノードが示す前記候補単語を用いて、前記発話系列の要約を生成する要約生成部と、を含んで構成される。
　開示の技術に係る要約生成装置によれば、音声認識部が、入力された発話系列を、音声認識結果の候補単語のｋ－ｂｅｓｔで構成されるコンフュージョンネットワーク系列に変換し、ラティス生成部が、コンフュージョンネットワーク系列から、候補単語を内部ノード、同じ音声に対するｋ個の候補単語をまとめたものを外部ノードとし、同一の外部ノードに含まれる内部ノード間以外の内部ノード間にエッジを張ったラティス系列を生成し、整数計画問題生成部が、ラティス系列において、エッジを張られた内部ノードを辿る経路のうち、少なくとも重要単語の被覆スコアを含む目的関数を最大化する経路を選択するための整数計画問題を生成し、要約生成部が、生成される要約の長さに関する制約の下、整数計画問題を解くことにより選択される経路に含まれる内部ノードが示す候補単語を用いて、発話系列の要約を生成する。
　このように、１－ｂｅｓｔの音声認識結果の候補単語ではなく、ｋ－ｂｅｓｔの音声認識結果の候補単語を用いることで、音声認識誤りを低減することができる。また、重要単語を多く被覆することで冗長性の低い要約が生成できる。すなわち、開示の技術に係る要約生成装置によれば、音声認識誤りが少なく、かつ冗長性の低い高品質な要約を生成することができる。
　また、前記重要単語の被覆スコアは、前記ラティス系列に含まれる自立語である候補単語のうち、生成される要約に含まれる候補単語の数が多いほど高くなるスコアとすることができる。これにより、目的関数を最大化することで、重要単語としての自立語を多く被覆する要約を生成することができる。
　また、前記目的関数は、さらに、生成される要約に含まれる候補単語の重要度で表される前記内部ノードのスコアと、生成される要約に含まれるエッジの両端の候補単語間のつながりの良さを示す前記エッジのスコアとを含むことができる。また、前記内部ノードのスコアは、前記候補単語の出現頻度及び逆文書頻度と、前記候補単語についての音声認識の信頼度とを含むことができる。また、前記エッジのスコアは、前記エッジの両端の候補単語のバイグラム出現率を含むことができる。これにより、目的関数を最大化することで、重要な単語及び単語間のつながりを含む要約を生成することができる。
　また、開示の技術に係る要約生成方法は、音声認識部と、ラティス生成部と、整数計画問題生成部と、要約生成部とを含む要約生成装置において実行される要約生成方法であって、前記音声認識部が、入力された発話系列を、音声認識結果の候補単語のｋ－ｂｅｓｔで構成されるコンフュージョンネットワーク系列に変換し、前記ラティス生成部が、前記コンフュージョンネットワーク系列から、前記候補単語を内部ノード、同じ音声に対するｋ個の前記候補単語をまとめたものを外部ノードとし、同一の前記外部ノードに含まれる内部ノード間以外の内部ノード間にエッジを張ったラティス系列を生成し、前記整数計画問題生成部が、前記ラティス系列において、前記エッジを張られた内部ノードを辿る経路のうち、少なくとも重要単語の被覆スコアを含む目的関数を最大化する経路を選択するための整数計画問題を生成し、前記要約生成部が、生成される要約の長さに関する制約の下、前記整数計画問題を解くことにより選択される前記経路に含まれる前記内部ノードが示す前記候補単語を用いて、前記発話系列の要約を生成する方法である。
　また、開示の技術に係る要約生成プログラムは、コンピュータを、上記の要約生成装置を構成する各部として機能させるためのプログラムである。
　また、開示の技術に係る記憶媒体は、コンピュータを、上記の要約生成装置を構成する各部として機能させるためのプログラムを記憶した記憶媒体である。
　以上説明したように、開示の技術に係る要約生成装置、方法、プログラム、及び記憶媒体によれば、ｋ－ｂｅｓｔの音声認識結果の候補単語を用い、重要単語の被覆スコアを含む目的関数を最大化するように要約を生成することで、音声認識誤りが少なく、かつ冗長性の低い高品質な要約を生成することができる。
本実施形態に係る要約生成装置の機能ブロック図である コンフュージョンネットワーク系列を説明するための図である。 ラティス系列を説明するための図である。 内部ノード及びエッジの選択を説明するための図である。 本実施形態に係る要約生成プログラムによる処理の流れの一例を示すフローチャートである。
　以下、図面を参照して、開示の技術を実施するための形態の一例について詳細に説明する。
　本実施形態に係る要約生成装置は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、及びＨＤＤ（Hard Disk Drive）等を備えたコンピュータとして構成される。ＲＯＭには、本実施形態に係る要約生成プログラムが記憶される。なお、要約生成プログラムは、ＨＤＤに記憶されてもよい。
　また、要約生成プログラムは、例えば、要約生成装置に予めインストールされていてもよい。この要約生成プログラムは、不揮発性の記憶媒体に記憶して、又は、ネットワークを介して配布して、要約生成装置に適宜インストールすることで実現してもよい。なお、不揮発性の記憶媒体の例としては、ＣＤ-ＲＯＭ（Compact Disc Read Only Memory）、光磁気ディスク、ＤＶＤ-ＲＯＭ（Digital Versatile Disc Read Only Memory）、フラッシュメモリ、メモリカード等が挙げられる。
　ＣＰＵは、ＲＯＭに記憶された要約生成プログラムを読み込んで実行することにより、後述する要約生成装置の各機能部として機能する。
　図１に示すように、本実施形態に係る要約生成装置１０には、例えば、講演などの発話系列であって、Ｕ個の発話を含む、すなわち長さＵの発話系列（音声データ）が入力される。そして、各機能部により要約生成の処理が実行されて、入力された発話系列の要約（テキストデータ）が出力される。
　要約生成装置１０は、機能的には、図１に示すように、音声認識部１２と、ラティス生成部１４と、整数計画問題生成部１６と、要約生成部１８とを含む。また、要約生成装置１０の所定の記憶領域、又は、要約生成装置１０と通信可能な外部の記憶装置には、言語モデルデータベース（ＤＢ）２０と、ＩＤＦ＿ＤＢ２２とが記憶される。言語モデルＤＢ２０には、大量のコーパスを用いて予め計算された単語のバイグラム出現率が記憶されている。ＩＤＦ＿ＤＢ２２には、大量のコーパスを用いて予め計算された単語のｉｄｆ（Inverse Document Frequency）が記憶されている。
　音声認識部１２は、入力された発話系列をｋ－ｂｅｓｔのコンフュージョンネットワーク系列に変換する。コンフュージョンネットワークとは、複数ある音声認識候補をひとつのネットワークとしてまとめて表現したものである。発話系列に含まれるｉ番目の発話に対するコンフュージョンネットワークの一例を図２に示す。ｗｉ，ｊ，ｋは、ｉ番目のコンフュージョンネットワークのｊ番目の単語に対するｋ番目の信頼度を持つ認識結果である単語を表す。ノードからノードへ遷移するエッジが複数ある場合、信頼度が高いエッジを選択していくと１－ｂｅｓｔの音声認識結果となる。発話系列をコンフュージョンネットワーク系列に変換する手法としては、既存の音声認識システムの手法を用いることができる。
　音声認識部１２は、変換したコンフュージョンネットワーク系列をラティス生成部１４へ受け渡す。
　ラティス生成部１４は、音声認識部１２から受け渡されたコンフュージョンネットワーク系列を、音声認識結果の候補単語を内部ノード、同じ音声に対するｋ個の候補単語をまとめたものを外部ノードとするラティス系列に変換する。また、ラティス生成部１４は、発話の開始及び終了の各々を表す特別なノードとして、ＢＯＵ及びＥＯＵというノードを用意する。ラティス生成部１４は、任意の内部ノードとそれよりも左側の内部ノード及びＢＯＵの各々との間にエッジを張り、右側の内部ノード及びＥＯＵの各々との間にエッジを張る。同じ外部ノードに属する内部ノード間にはエッジは張らない。ラティス生成部１４は、このようにして、ＢＯＵからＥＯＵまでの内部ノードを辿る全ての経路を得るためのエッジを張ったラティス系列を生成する。図２に示すコンフュージョンネットワーク系列をラティス系列に変換した例を図３に示す。
　ラティス生成部１４は、生成したラティス系列を整数計画問題生成部１６へ受け渡す。
　整数計画問題生成部１６は、ラティス生成部１４から受け渡されたラティス系列から、生成する要約の文字数の制約の下、目的関数を最大化する内部ノードの経路を選択する整数計画問題を生成する。本実施形態では、内部ノードの重要度の和、エッジの重要度の和、及び重要単語の被覆スコアを最大化する経路を、ラティス系列から選択する整数計画問題を生成する。
　要約生成の目的関数を、下記（１）式に示す。
Figure JPOXMLDOC01-appb-M000001
　ｉをラティスのインデックス、ｊをｉ番目のラティスにおける外部ノードのインデックス、ｋをｉ番目のラティスのｊ番目の外部ノードに含まれる内部ノードのインデックスとする。ラティス集合をＵ、ｉ番目のラティスにおける外部ノードの集合をＶｉ、ｉ番目のラティスにおけるｊ番目の外部ノードに含まれる内部ノードの集合をＮｉ，ｊとする。また、ＷをＵに含まれる自立語の集合とする。
　（１）式の第１項はノードのスコア、第２項はエッジのスコア、第３項は重要単語の被覆スコアを表す。ｎｉ，ｊ，ｋはｉ番目のラティスのｊ番目の外部ノードに含まれるｋ番目の単語を要約に含めるか否かを表すバイナリ変数、ｆｉ，ｊ，ｋはｗｉ，ｊ，ｋに対する重要度スコアである。ｆｉ，ｊ，ｋの定義は下記（１３）式に示すとおりである。
Figure JPOXMLDOC01-appb-M000002
　ｔｆｉｄｆ（）は単語のｔｆｉｄｆスコアであり、ｔｆ（Term Frequency）は発話系列における単語の出現頻度である。ｉｄｆはＩＤＦ＿ＤＢ２２から取得する。ｃｏｎｆ（）は単語の認識信頼度スコアであり、音声認識部１２が音声認識を行う際に得られる値である。
　ｅｉ，ｓ，ｐ ｉ，ｔ，ｑは、ｗｉ，ｓ，ｐとｗｉ，ｔ，ｑとの間のエッジを要約に含めるか否かのバイナリ変数である。ｇｉ，ｓ，ｐ ｉ，ｔ，ｑは、ｅｉ，ｓ，ｐ ｉ，ｔ，ｑの重要度スコアであり、言語モデルＤＢ２０から取得される単語ｗｉ，ｓ，ｐと単語ｗｉ，ｔ，ｑとのバイグラム出現確率とすることができる。ｇｉ，ｓ，ｐ ｉ，ｔ，ｑの定義は下記（１４）式に示すとおりである。なお、ｇｉ，ｓ，ｐ ｉ，ｔ，ｑは、単語と単語とのつながりの良さをスコア化したものであれば、（１４）式に示す例に限定されない。
Figure JPOXMLDOC01-appb-M000003
　α及びβは、ノードのスコアの和とエッジのスコアの和とを調整するパラメータであり、検証用データを用いて最適値を決める。ｚｈは、Ｗにおけるｈ番目の自立語が要約に含まれれば１、そうでない場合に０となるバイナリ変数であり、このスコアが高いことは多くの重要単語を被覆することを表す。つまり、多くの重要単語を被覆する作用があるため、生成された要約の冗長性は低くなる。
　（２）式は、要約長に関する制約であり、要約の文字数がＬ以下であることを保証する。（３）式は、任意の外部ノードからは高々ひとつの内部ノード（単語）しか選択されないことを表す。（４）式及び（５）式は、図４に示すように、任意の内部ノードを要約に含めるためには、その両端のエッジを必ずひとつずつ（入力エッジからひとつ、出力エッジからひとつ）選択しなければならないことを表す。（６）式及び（７）式は、ひとつの発話から短い経路を抽出することを避けるための制約であり、ｉ番目のラティスから単語列を要約として選択するためには、その単語数がＫ以上でなければならないことを示す。
　また、上記以外にも言語知識として要約文に必要な単語があれば、その単語に対応するｎｉ，ｊ，ｋを１にしておけばよい。
　整数計画問題生成部１６は、生成した整数計画問題を要約生成部１８へ受け渡す。
　要約生成部１８は、整数計画問題生成部１６から受け渡された整数計画問題を、既存の専用ソルバを用いて解き、ｎｉ，ｊ，ｋ＝１となるｗｉ，ｊ，ｋを抽出することで要約を生成し、生成した要約を出力する。
　次に、図５を参照して、本実施形態に係る要約生成装置１０の作用を説明する。なお、図５は、本実施形態に係る要約生成プログラムによる要約生成処理の流れの一例を示すフローチャートである。
　ステップＳ１２で、音声認識部１２が、入力された発話系列をｋ－ｂｅｓｔのコンフュージョンネットワーク系列に変換する。音声認識部１２は、変換したコンフュージョンネットワーク系列をラティス生成部１４へ受け渡す。
　次に、ステップＳ１４で、ラティス生成部１４が、音声認識部１２から受け渡されたコンフュージョンネットワーク系列を、音声認識結果の候補単語を内部ノード、同じ音声に対するｋ個の候補単語をまとめたものを外部ノードとするラティス系列に変換する。また、ラティス生成部１４は、発話の開始及び終了の各々を表すＢＯＵ及びＥＯＵというノードを用意し、同じ外部ノードに属する内部ノード間以外の内部ノード間にエッジを張る。ラティス生成部１４は、生成したラティス系列を整数計画問題生成部１６へ受け渡す。
　次に、ステップＳ１６で、整数計画問題生成部１６が、ラティス生成部１４から受け渡されたラティス系列から、生成する要約の文字数の制約の下、内部ノードのスコア、エッジのスコア、及び重要単語の被覆スコアを含む目的関数を最大化する内部ノードの経路を選択する整数計画問題を生成する。整数計画問題生成部１６は、生成した整数計画問題を要約生成部１８へ受け渡す。
　次に、ステップＳ１８で、要約生成部１８が、整数計画問題生成部１６から受け渡された整数計画問題を、既存の専用ソルバを用いて解き、ラティス系列から選択された経路に含まれる内部ノードが示す候補単語を用いて要約を生成し、生成した要約を出力する。そして、要約生成処理は終了する。
　以上説明したように、本実施形態に係る要約生成装置によれば、入力された発話系列を、音声認識結果の候補単語のｋ－ｂｅｓｔで構成されるコンフュージョンネットワーク系列に変換し、コンフュージョンネットワーク系列から、候補単語を内部ノード、同じ音声に対するｋ個の候補単語をまとめたものを外部ノードとし、同一の外部ノードに含まれる内部ノード間以外の内部ノード間にエッジを張ったラティス系列を生成し、ラティス系列において、エッジを張られた内部ノードを辿る経路のうち、少なくとも重要単語の被覆スコアを含む目的関数を最大化する経路を選択するための整数計画問題を生成し、生成される要約の長さに関する制約の下、整数計画問題を解くことにより選択される経路に含まれる内部ノードが示す候補単語を用いて、発話系列の要約を生成する。これにより、音声認識誤りが少なく、かつ冗長性の低い高品質な要約を生成することができる。
　なお、上記実施形態で説明した要約生成装置の各々の構成及び処理は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。
　また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
　また、上記実施形態では、プログラムを実行することにより、実施形態に係る処理がコンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。実施形態は、例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって実現してもよい。
１０ 要約生成装置
１２ 音声認識部
１４ ラティス生成部
１６ 整数計画問題生成部
１８ 要約生成部
２０ 言語モデルＤＢ
２２ ＩＤＦ＿ＤＢ

Claims (8)

  1. 　入力された発話系列を、音声認識結果の候補単語のｋ－ｂｅｓｔで構成されるコンフュージョンネットワーク系列に変換する音声認識部と、
    　前記コンフュージョンネットワーク系列から、前記候補単語を内部ノード、同じ音声に対するｋ個の前記候補単語をまとめたものを外部ノードとし、同一の前記外部ノードに含まれる内部ノード間以外の内部ノード間にエッジを張ったラティス系列を生成するラティス生成部と、
    　前記ラティス系列において、前記エッジを張られた内部ノードを辿る経路のうち、少なくとも重要単語の被覆スコアを含む目的関数を最大化する経路を選択するための整数計画問題を生成する整数計画問題生成部と、
    　生成される要約の長さに関する制約の下、前記整数計画問題を解くことにより選択される前記経路に含まれる前記内部ノードが示す前記候補単語を用いて、前記発話系列の要約を生成する要約生成部と、
    　を含む要約生成装置。
  2. 　前記重要単語の被覆スコアは、前記ラティス系列に含まれる自立語である候補単語のうち、生成される要約に含まれる候補単語の数が多いほど高くなるスコアである請求項１に記載の要約生成装置。
  3. 　前記目的関数は、さらに、生成される要約に含まれる候補単語の重要度で表される前記内部ノードのスコアと、生成される要約に含まれるエッジの両端の候補単語間のつながりの良さを示す前記エッジのスコアとを含む請求項１又は請求項２に記載の要約生成装置。
  4. 　前記内部ノードのスコアは、前記候補単語の出現頻度及び逆文書頻度と、前記候補単語についての音声認識の信頼度とを含む請求項３に記載の要約生成装置。
  5. 　前記エッジのスコアは、前記エッジの両端の候補単語のバイグラム出現率を含む請求項３に記載の要約生成装置。
  6. 　音声認識部と、ラティス生成部と、整数計画問題生成部と、要約生成部とを含む要約生成装置において実行される要約生成方法であって、
    　前記音声認識部が、入力された発話系列を、音声認識結果の候補単語のｋ－ｂｅｓｔで構成されるコンフュージョンネットワーク系列に変換し、
    　前記ラティス生成部が、前記コンフュージョンネットワーク系列から、前記候補単語を内部ノード、同じ音声に対するｋ個の前記候補単語をまとめたものを外部ノードとし、同一の前記外部ノードに含まれる内部ノード間以外の内部ノード間にエッジを張ったラティス系列を生成し、
    　前記整数計画問題生成部が、前記ラティス系列において、前記エッジを張られた内部ノードを辿る経路のうち、少なくとも重要単語の被覆スコアを含む目的関数を最大化する経路を選択するための整数計画問題を生成し、
    　前記要約生成部が、生成される要約の長さに関する制約の下、前記整数計画問題を解くことにより選択される前記経路に含まれる前記内部ノードが示す前記候補単語を用いて、前記発話系列の要約を生成する
    　要約生成方法。
  7. 　コンピュータを、請求項１～請求項５のいずれか１項に記載の要約生成装置を構成する各部として機能させるための要約生成プログラム。
  8. 　コンピュータを、請求項１～請求項５のいずれか１項に記載の要約生成装置を構成する各部として機能させるための要約生成プログラムを記憶した記憶媒体。
PCT/JP2020/001250 2019-01-28 2020-01-16 要約生成装置、方法、プログラム、及び記憶媒体 Ceased WO2020158409A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/425,696 US11869491B2 (en) 2019-01-28 2020-01-16 Abstract generation device, method, program, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-012210 2019-01-28
JP2019012210A JP7028198B2 (ja) 2019-01-28 2019-01-28 要約生成装置、方法、プログラム、及び記憶媒体

Publications (1)

Publication Number Publication Date
WO2020158409A1 true WO2020158409A1 (ja) 2020-08-06

Family

ID=71842255

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/001250 Ceased WO2020158409A1 (ja) 2019-01-28 2020-01-16 要約生成装置、方法、プログラム、及び記憶媒体

Country Status (3)

Country Link
US (1) US11869491B2 (ja)
JP (1) JP7028198B2 (ja)
WO (1) WO2020158409A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112765344A (zh) * 2021-01-12 2021-05-07 哈尔滨工业大学 一种基于会议记录生成会议摘要的方法、装置及存储介质
CN113282336A (zh) * 2021-06-11 2021-08-20 重庆大学 一种基于质量保证框架的代码摘要集成方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220023211A (ko) * 2020-08-20 2022-03-02 삼성전자주식회사 대화 텍스트에 대한 요약 정보를 생성하는 전자 장치 및 그 동작 방법
CN115188382B (zh) * 2022-05-17 2026-02-17 贝壳找房(北京)科技有限公司 一种语音识别方法及装置
TWI893682B (zh) * 2024-03-01 2025-08-11 台達電子工業股份有限公司 摘要生成裝置及摘要生成方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012037797A (ja) * 2010-08-10 2012-02-23 Nippon Telegr & Teleph Corp <Ntt> 対話学習装置、要約装置、対話学習方法、要約方法、プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10255346B2 (en) * 2014-01-31 2019-04-09 Verint Systems Ltd. Tagging relations with N-best
US11488604B2 (en) * 2020-08-19 2022-11-01 Sorenson Ip Holdings, Llc Transcription of audio
US11562731B2 (en) * 2020-08-19 2023-01-24 Sorenson Ip Holdings, Llc Word replacement in transcriptions

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012037797A (ja) * 2010-08-10 2012-02-23 Nippon Telegr & Teleph Corp <Ntt> 対話学習装置、要約装置、対話学習方法、要約方法、プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FEI, LIU ET AL.: "Towards Abstractive Speech Summarization: Exploring Unsupervised and Supervised Approaches for Spoken Utterance Compression", IEEE TRANSACTIONS ON AUDIO, SPEECH, AND LANGUAGE PROCESSING, vol. 21, no. 7, 27 March 2013 (2013-03-27), XP011500100 *
YANG, LIU ET AL.: "USING N-BEST RECOGNITION OUTPUT FOR EXTRACTIVE SUMMARIZATION AND KEYWORD EXTRACTION IN MEETING SPEECH", ICASSP 2010, 28 July 2010 (2010-07-28), XP031696947, Retrieved from the Internet <URL:https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=5494972&tag=1> *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112765344A (zh) * 2021-01-12 2021-05-07 哈尔滨工业大学 一种基于会议记录生成会议摘要的方法、装置及存储介质
CN112765344B (zh) * 2021-01-12 2022-07-08 哈尔滨工业大学 一种基于会议记录生成会议摘要的方法、装置及存储介质
CN113282336A (zh) * 2021-06-11 2021-08-20 重庆大学 一种基于质量保证框架的代码摘要集成方法
CN113282336B (zh) * 2021-06-11 2023-11-10 重庆大学 一种基于质量保证框架的代码摘要集成方法

Also Published As

Publication number Publication date
US20220189468A1 (en) 2022-06-16
JP2020118929A (ja) 2020-08-06
US11869491B2 (en) 2024-01-09
JP7028198B2 (ja) 2022-03-02

Similar Documents

Publication Publication Date Title
WO2020158409A1 (ja) 要約生成装置、方法、プログラム、及び記憶媒体
JP4571822B2 (ja) テキストおよび音声の分類のための言語モデルの判別トレーニング
US8504367B2 (en) Speech retrieval apparatus and speech retrieval method
US7480612B2 (en) Word predicting method, voice recognition method, and voice recognition apparatus and program using the same methods
US12387051B2 (en) Dialogue processing apparatus, learning apparatus, dialogue processing method, learning method and program
US20030216905A1 (en) Applying a structured language model to information extraction
US8849668B2 (en) Speech recognition apparatus and method
US11270061B2 (en) Automatic generation of training data for scientific paper summarization using videos
US20220300719A1 (en) System and method for generating multilingual transcript from multilingual audio input
US20160365093A1 (en) System and method for automatic language model selection
JP6810580B2 (ja) 言語モデル学習装置およびそのプログラム
JP6552999B2 (ja) テキスト補正装置、テキスト補正方法、およびプログラム
JP5253317B2 (ja) 要約文作成装置、要約文作成方法、プログラム
Khassanov et al. Enriching rare word representations in neural language models by embedding matrix augmentation
CN116129907A (zh) 指令识别方法及装置、设备、计算机可读存储介质
US8438029B1 (en) Confidence tying for unsupervised synthetic speech adaptation
JP4008344B2 (ja) クラス同定モデル生成方法、装置、およびプログラム、クラス同定方法、装置、およびプログラム
JP4405542B2 (ja) 音素モデルをクラスタリングする装置、方法およびプログラム
JP5980142B2 (ja) 学習データ選択装置、識別的音声認識精度推定装置、学習データ選択方法、識別的音声認識精度推定方法、プログラム
JP4475628B2 (ja) 会話制御装置、会話制御方法並びにこれらのプログラム
JP6002598B2 (ja) 強調位置予測装置、その方法、およびプログラム
JP2008293098A (ja) 応答スコア情報生成装置、対話処理装置
JP6549064B2 (ja) 音声認識装置、音声認識方法、プログラム
JP6309852B2 (ja) 強調位置予測装置、強調位置予測方法及びプログラム
JP7556395B2 (ja) データ処理装置、データ処理方法及びデータ処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20749638

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20749638

Country of ref document: EP

Kind code of ref document: A1