WO2020153159A1 - 系列ラベリング装置、系列ラベリング方法、およびプログラム - Google Patents

系列ラベリング装置、系列ラベリング方法、およびプログラム Download PDF

Info

Publication number
WO2020153159A1
WO2020153159A1 PCT/JP2020/000696 JP2020000696W WO2020153159A1 WO 2020153159 A1 WO2020153159 A1 WO 2020153159A1 JP 2020000696 W JP2020000696 W JP 2020000696W WO 2020153159 A1 WO2020153159 A1 WO 2020153159A1
Authority
WO
WIPO (PCT)
Prior art keywords
symbol
fixed
series
voice
length vector
Prior art date
Application number
PCT/JP2020/000696
Other languages
English (en)
French (fr)
Inventor
智大 田中
亮 増村
隆伸 大庭
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US17/425,246 priority Critical patent/US20220093079A1/en
Publication of WO2020153159A1 publication Critical patent/WO2020153159A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue

Definitions

  • This invention relates to a series labeling technique for texts.
  • a bidirectional recursive neural network (RNN: Recurrent Neural Network) is widely used as a technique for performing series labeling on text (see, for example, Non-Patent Document 1).
  • a bidirectional RNN is a neural network that can consider the context of the entire text.
  • each input symbol character or word
  • each symbol is labeled in consideration of the context.
  • K kinds of labels ⁇ l 1 , l 2 , ..., l k , ..., l K ⁇ are given will be described.
  • the label probability for the symbol c s in the sequence is estimated as follows.
  • E s is a distributed representation of the symbol c s .
  • NN (•) is a function having the function of a neural network (NN: Neural Network).
  • h ⁇ s and h ⁇ s are fixed-length continuous value vectors obtained by converting the distributed representation of symbols by NN.
  • h s is a fixed-length continuous value vector that integrates two vectors h ⁇ s and h ⁇ s .
  • h ⁇ s is also called a forward fixed-length vector
  • h ⁇ s is also called a backward fixed-length vector.
  • O s is an output representing the probabilities corresponding to all labels.
  • EMBEDDING(•) is a function having a function of converting a symbol into a fixed length vector, and for example, a linear conversion function can be used.
  • CONCAT(•) is a function that integrates a plurality of vectors, and a differentiable function that can be converted into one vector can be used.
  • DISTRIBUTE(•) is a function that calculates the occurrence probabilities of all labels from a fixed-length vector, and for example, the softmax function can be used. Since the softmax function is a known technique, its explanation is omitted here. Probabilities for all of the labels in the calculated O s above is calculated, a value corresponding to the label l k, and the probability of label l k is given as a label for the symbol c s.
  • Non-Patent Document 2 As a method of using the acoustic information and the language information in combination, there is a method of dividing the acoustic signal into units such as words and characters to use (for example, see Non-Patent Document 2). In such a method, the correspondence between the audio signal and the text is acquired in advance, and the subsequent processing such as labeling is performed. As a simple method, an audio signal can be divided by performing speech recognition once using a speech recognition system constructed in advance.
  • an object of the present invention is a series labeling technique capable of labeling a text corresponding to a voice without dividing the voice into units of words or characters. Is to be realized.
  • a sequence labeling device includes a voice distributed expression sequence conversion unit that converts an acoustic feature amount sequence into a voice distributed representation, and a symbol sequence corresponding to the acoustic feature amount sequence.
  • a symbol distribution representation conversion unit that converts each symbol to a symbol distribution representation, and a fixed length vector of the symbol generated using the voice distribution representation, the symbol distribution representation, and the fixed length vector of the preceding and following symbols, corresponding to the symbol.
  • a label estimation unit that estimates a label.
  • sequence labeling technology of the present invention it is possible to label the text corresponding to the voice without dividing the voice into units of words or characters.
  • FIG. 1 is a diagram illustrating a functional configuration of a series labeling device.
  • FIG. 2 is a diagram illustrating a processing procedure of the sequence labeling method.
  • the present invention solves the above-mentioned problems by using the attention mechanism described in Reference Document 1 below.
  • the attention mechanism is one of the technologies related to neural networks, and is used for a model that predicts another series of different length from one series. At the same time, it is known that the correspondence between the two sequences can be learned. By using this attention mechanism, it becomes possible to label texts in consideration of the relation between speech and language.
  • the problem to which the present invention is directed is to give a label to each symbol (word or character) in the text when the audio signal and the corresponding text are given.
  • the first embodiment of the present invention is a sequence labeling device and method that inputs an acoustic feature amount sequence and a symbol sequence corresponding to the acoustic feature amount sequence, and outputs a label sequence in which each symbol in the symbol sequence is labeled.
  • the sequence labeling device 1 of the first embodiment includes a speech distributed expression sequence conversion unit 11, a symbol distributed expression conversion unit 12, and a label estimation unit 13.
  • the series labeling apparatus 1 implements the series labeling method of the first embodiment by performing the processing of each step illustrated in FIG.
  • the sequence labeling device 1 is a special program configured by loading a special program into a known or dedicated computer having, for example, a central processing unit (CPU: Central Processing Unit) and a main storage device (RAM: Random Access Memory). It is a device.
  • the series labeling device 1 executes each process under the control of the central processing unit, for example.
  • the data input to the series labeling device 1 and the data obtained by each process are stored in, for example, the main storage device, and the data stored in the main storage device is read out to the central processing unit as necessary. It is used for other processing.
  • At least a part of each processing unit of the serial labeling device 1 may be configured by hardware such as an integrated circuit.
  • step S11 the voice distributed expression sequence conversion unit 11 receives the acoustic feature amount sequence that is the input of the sequence labeling device 1 as an input, and converts the acoustic feature amount sequence into one voice dispersed expression and outputs it.
  • the voice distribution representation output by the voice distribution representation series conversion unit 11 is input to the label estimation unit 13.
  • NN(•) is a function that has the function of converting a variable-length continuous-value vector sequence into a fixed-length continuous-value vector, and any function with that function can be used. Can be used.
  • C ⁇ s and C ⁇ s are fixed-length continuous value vectors converted by NN, and different vectors are calculated depending on the input order of the acoustic feature sequence ⁇ x 1 , x 2 , ..., x T ⁇ .
  • C ⁇ s is also referred to as forward voice distributed representation
  • C ⁇ s is also referred to as backward voice distributed representation.
  • h ⁇ s ⁇ 1 and h ⁇ s+1 are fixed-length continuous value vectors calculated by the label estimation unit 13 described later.
  • step S12 the symbol distributed expression conversion unit 12 inputs each symbol included in the symbol series that is the input of the series labeling device 1, converts the symbol into a fixed length distributed expression, and outputs the fixed length distributed expression.
  • the symbol distribution representation output by the symbol distribution representation conversion unit 12 is input to the label estimation unit 13.
  • step S13 the label estimation unit 13 inputs the voice distributed expression C s output by the voice distributed expression sequence conversion unit 11 and the symbol distributed expression E s output by the symbol distributed expression conversion unit 12, and with respect to that symbol. Estimate the label to be given.
  • the label estimation unit 13 estimates the label l ⁇ s given to the symbol c s based on the calculated label probability O s .
  • the sequence labeling apparatus 1 applies the procedure of steps S11 to S13 to all the symbols ⁇ c 1 , c 2 , ..., c s , ..., c S ⁇ in the input symbol sequence, thereby Generates and outputs a label series ⁇ l ⁇ 1 , l ⁇ 2 ,..., l ⁇ s ,..., l ⁇ S ⁇ that labels the symbols.
  • the voice distributed expression sequence conversion unit 11 of the second embodiment calculates the voice distributed expression for the acoustic feature quantity sequence as follows. Note that h s-1 is a fixed-length continuous value vector calculated by the label estimation unit 13.
  • Label estimation unit 13 of the second embodiment is calculated as follows probability O s label for the symbol c s.
  • g s is a fixed-length continuous value vector corresponding to h s in the first embodiment.
  • the program describing this processing content can be recorded in a computer-readable recording medium.
  • the computer-readable recording medium may be, for example, a magnetic recording device, an optical disc, a magneto-optical recording medium, a semiconductor memory, or the like.
  • Distribution of this program is performed by selling, transferring, or lending a portable recording medium such as a DVD or a CD-ROM in which the program is recorded. Further, the program may be stored in a storage device of a server computer and transferred from the server computer to another computer via a network to distribute the program.
  • a computer that executes such a program first stores, for example, the program recorded in a portable recording medium or the program transferred from the server computer in its own storage device. Then, when executing the process, this computer reads the program stored in its own storage device and executes the process according to the read program.
  • a computer may directly read the program from a portable recording medium and execute processing according to the program, and the program is transferred from the server computer to this computer. Each time, the processing according to the received program may be sequentially executed.
  • the above-mentioned processing is executed by a so-called ASP (Application Service Provider) type service that realizes the processing function only by executing the instruction and acquiring the result without transferring the program from the server computer to this computer. May be Note that the program in this embodiment includes information that is used for processing by an electronic computer and that conforms to the program (such as data that is not a direct command to a computer but has the property of defining computer processing).
  • the device is configured by executing a predetermined program on the computer, but at least a part of the processing contents may be realized by hardware.

Abstract

音声を単語や文字の単位に分割することなく、その音声に対応するテキストに対してラベル付けする。音声分散表現系列変換部１１は、音響特徴量系列を音声分散表現に変換する。シンボル分散表現変換部１２は、音響特徴量系列に対応するシンボル系列に含まれる各シンボルをシンボル分散表現に変換する。ラベル推定部１３は、音声分散表現とシンボル分散表現と前後のシンボルの固定長ベクトルとを用いて生成した当該シンボルの固定長ベクトルから当該シンボルに対応するラベルを推定する。

Description

系列ラベリング装置、系列ラベリング方法、およびプログラム
　この発明は、テキストに対する系列ラベリング技術に関する。
　テキストに対して系列ラベリングを行う技術として、双方向再帰型ニューラルネットワーク（RNN: Recurrent Neural Network）が広く利用されている（例えば、非特許文献１参照）。双方向RNNはテキスト全体の文脈を考慮することができるニューラルネットワークである。双方向RNNを用いた系列ラベリングでは、入力されたシンボル（文字や単語）をそれぞれ固定長連続値ベクトルに変換し、前後の文脈を考慮しながらそれぞれのシンボルに対してラベル付けを行う。ここではK種類のラベル{l1, l2, …, lk, …, lK}を付与する場合について説明する。入力されるシンボル系列を{c1, c2, …, cs, …, cS}と表す場合、系列内のシンボルcsに対するラベルの確率は以下のように推定される。
Figure JPOXMLDOC01-appb-M000001
ここで、Esはシンボルcsの分散表現である。NN（・）はニューラルネットワーク（NN: Neural Network）の機能を持つ関数である。h→ sおよびh← sはシンボルの分散表現をNNにより変換した固定長連続値ベクトルである。hsは２つのベクトルh→ sおよびh← sを統合した固定長連続値ベクトルである。以下、h→ sは前向き固定長ベクトル、h← sは後向き固定長ベクトルとも呼ぶ。Osはすべてのラベルに対応した確率を表す出力である。
　EMBEDDING(・)はシンボルを固定長ベクトルに変換する機能を持つ関数であり、例えば線形変換の関数を利用することができる。CONCAT(・)は複数のベクトルを統合する関数であり、１つのベクトルに変換できる微分可能な関数を利用することができる。DISTRIBUTE(・)は固定長化されたベクトルからすべてのラベルの生起確率を計算する関数であり、例えばsoftmax関数を用いることができる。softmax関数は公知の技術であるため、ここでは説明を省略する。上記で計算されたOsではすべてのラベルに対する確率が計算され、ラベルlkに対応する値を、ラベルlkがシンボルcsに対するラベルとして付与される確率とする。
　音響情報と言語情報を組み合わせて利用する方法として、音響信号を単語や文字等の単位に分割して利用するものがある（例えば、非特許文献２参照）。このような方法では、あらかじめ音響信号とテキストの対応付けを獲得し、ラベリング等の後段の処理を行う。単純な方法としては、事前に構築した音声認識システムを用いて一度音声認識をすることで、音響信号の分割を行うことができる。
Jason P. C. Chiu and Eric Nichols, "Named entity recognition with bidirectional LSTM-CNNs," Transactions of the Association for Computational Linguistics (TACL), vol. 4, pp. 357-370, 2016. Yu-Wun Wang, Hen-Hsen Huang, Kuan-Yu Chen, and Hsin-Hsi Chen, "Discourse marker detection for hesitation events on mandarin conversation," In Proc. Annual Conference of the International Speech Communication Association (INTERSPEECH), pp. 1721-1725, 2018.
　音響信号を単語や文字の単位に分割するためには、音声認識等のシステムを事前に構築する必要がある。しかしながら、この方法では音声とテキストとを対応付けるモデルとラベル付けを行うモデルとを別々に最適化する必要があるため、非常に正確な対応付けが必要になる。また、別々にモデルを構築するコストや別々にチューニングを行うコストがかかることが課題である。
　この発明の目的は、上記のような技術的課題に鑑みて、音声を単語や文字の単位に分割することなく、その音声に対応するテキストに対してラベル付けすることを可能とする系列ラベリング技術を実現することである。
　上記の課題を解決するために、この発明の一態様の系列ラベリング装置は、音響特徴量系列を音声分散表現に変換する音声分散表現系列変換部と、音響特徴量系列に対応するシンボル系列に含まれる各シンボルをシンボル分散表現に変換するシンボル分散表現変換部と、音声分散表現とシンボル分散表現と前後のシンボルの固定長ベクトルとを用いて生成した当該シンボルの固定長ベクトルから当該シンボルに対応するラベルを推定するラベル推定部と、を含む。
　この発明の系列ラベリング技術によれば、音声を単語や文字の単位に分割することなく、その音声に対応するテキストに対してラベル付けすることが可能となる。
図１は、系列ラベリング装置の機能構成を例示する図である。 図２は、系列ラベリング方法の処理手順を例示する図である。
　以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
　文中で使用する記号「→」「←」「^」は、本来直前の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直後に記載する。数式中においてはこれらの記号は本来の位置、すなわち文字の真上に記述している。例えば、「a→」は数式中では次式で表される。
Figure JPOXMLDOC01-appb-M000002
　本発明では、下記参考文献１に記載された注意機構を用いることで、上述した課題を解決する。注意機構はニューラルネットワークに関する技術の一つであり、ある系列から異なる長さの別の系列を予測するモデルに利用される。それと同時に２つの系列の対応関係を学習できることが知られている。この注意機構を利用することで、音声と言語間の関係を考慮しながらテキストに対してラベル付けを行うことが可能となる。
　〔参考文献１〕Minh-Thang Luong, Hieu Pham, Christopher D. Manning, “Effective Approaches to Attention-based Neural Machine Translation”, In Proc. EMNLP, pp. 1412-1421, 2015.
　［第一実施形態］
　本発明が対象とする問題は、音声信号とそれに対応するテキストが与えられた場合に、そのテキスト内の各シンボル（単語や文字）に対してラベルを付与するものである。
　本発明の第一実施形態は、音響特徴量系列とその音響特徴量系列に対応するシンボル系列とを入力とし、シンボル系列内の各シンボルにラベルを付与したラベル系列を出力する系列ラベリング装置および方法である。第一実施形態の系列ラベリング装置１は、図１に示すように、音声分散表現系列変換部１１、シンボル分散表現変換部１２、およびラベル推定部１３を備える。この系列ラベリング装置１が、図２に例示する各ステップの処理を行うことにより第一実施形態の系列ラベリング方法が実現される。
　系列ラベリング装置１は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。系列ラベリング装置１は、例えば、中央演算処理装置の制御のもとで各処理を実行する。系列ラベリング装置１に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。系列ラベリング装置１の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。
　ステップＳ１１において、音声分散表現系列変換部１１は、系列ラベリング装置１の入力である音響特徴量系列を入力とし、その音響特徴量系列を１つの音声分散表現に変換して出力する。音声分散表現系列変換部１１が出力する音声分散表現はラベル推定部１３へ入力される。
　音響特徴量系列を{x1, x2, …, xT}、対応するシンボル系列内のシンボルをcsと表す場合、シンボルcsに対応する音声分散表現は以下のように計算する。
Figure JPOXMLDOC01-appb-M000003
ここで、NN(・)は可変長の連続値ベクトル系列を固定長の連続値ベクトルに変換する機能を持つ関数であり、その機能を持つ関数であれば任意のものを利用でき、例えばRNNを用いることができる。C→ sおよびC← sはNNによって変換した固定長の連続値ベクトルであり、音響特徴量系列{x1, x2, …, xT}の入力順序により異なるベクトルが計算される。以下、C→ sは前向き音声分散表現、C← sは後向き音声分散表現とも呼ぶ。h→ s-1およびh← s+1は後述するラベル推定部１３で計算される固定長連続値ベクトルである。
　ステップＳ１２において、シンボル分散表現変換部１２は、系列ラベリング装置１の入力であるシンボル系列に含まれる各シンボルを入力とし、そのシンボルを固定長の分散表現に変換して出力する。シンボル分散表現変換部１２が出力するシンボル分散表現はラベル推定部１３へ入力される。
　テキスト内のシンボル系列を{c1, c2, …, cs, …, cS}と表す場合、シンボルcsのシンボル分散表現は以下のように計算する。
Figure JPOXMLDOC01-appb-M000004
　ステップＳ１３において、ラベル推定部１３は、音声分散表現系列変換部１１が出力する音声分散表現Csとシンボル分散表現変換部１２が出力するシンボル分散表現Esとを入力とし、そのシンボルに対して付与されるラベルを推定する。
　まず、固定長連続値ベクトルh→ sおよびh← sを以下のように計算する。
Figure JPOXMLDOC01-appb-M000005
　次に、計算された２つのベクトルh→ sおよびh← sを以下のように結合し、１つのベクトルhsとする。
Figure JPOXMLDOC01-appb-M000006
　最後に、結合したベクトルhsを用いて各ラベルが付与される確率Osを計算する。
Figure JPOXMLDOC01-appb-M000007
　ラベル推定部１３は、計算したラベルの確率Osに基づいて、シンボルcsに付与されるラベルl^sを推定する。
　系列ラベリング装置１は、ステップＳ１１～Ｓ１３の手順を、入力されたシンボル系列内のすべてのシンボル{c1, c2, …, cs, …, cS}に対して適用することで、各シンボルに対してラベル付けしたラベル系列{l^1, l^2, …, l^s, …, l^S}を生成し、出力する。
　［第二実施形態］
　第二実施形態では、第一実施形態と異なるラベル推定方法を説明する。第二実施形態の方法の方が第一実施形態の方法と較べて計算量を削減することができる。以下、第一実施形態との相違点を中心に説明する。
　第二実施形態の音声分散表現系列変換部１１は、音響特徴量系列に対する音声分散表現を以下のように計算する。なお、hs-1はラベル推定部１３で計算される固定長連続値ベクトルである。
Figure JPOXMLDOC01-appb-M000008
　第二実施形態のラベル推定部１３は、シンボルcsに対するラベルの確率Osを以下のように計算する。
Figure JPOXMLDOC01-appb-M000009
ここで、gsは第一実施形態のhsに相当する固定長連続値ベクトルである。
　その他の手順については第一実施形態と同様に行う。
　［第三実施形態］
　第一実施形態あるいは第二実施形態で示した系列ラベリング技術は以下の設定において利用可能である。
　（１）音声と書き起こしテキストに対する利用
　音声認識システムを構築するためには、音声とその書き起こしテキストの組が大量に必要である。それらの組は大量に蓄積されているが、様々なメタ情報に関するラベルは付与するコストが大きいため、すべてのデータに人手で付与することは現実的でない。一方で、蓄積されているデータにメタ情報が付与されていれば、より高度な音声認識システムや、音声対話システムの構築を行うことが可能となる。第一実施形態あるいは第二実施形態に従い、音声と書き起こしテキストの組から書き起こしテキストにラベル付けを行うことで、メタ情報のラベル付きのデータを大量に作成することが可能となる。
　（２）音声認識の後段処理としての利用
　第一実施形態あるいは第二実施形態の入力として、音声と音声認識結果（テキスト）を用いることで音声認識の後処理として利用することが可能である。音声認識結果には意味の理解や後段処理には不要な箇所が含まれたり、単なるテキストに変換されたりしてしまうため、メタ情報が抜け落ちてしまう。第一実施形態あるいは第二実施形態に従い、音声認識結果にラベル付けを行うことで、音声認識結果の不要箇所の特定や削除、音声認識では抜け落ちてしまう情報を付与することが可能になる。すなわち、音声認識結果の整形や、音声認識の後段のアプリケーションの高度化を目的とした利用が可能である。
　以上、この発明の実施の形態について説明したが、具体的な構成は、これらの実施の形態に限られるものではなく、この発明の趣旨を逸脱しない範囲で適宜設計の変更等があっても、この発明に含まれることはいうまでもない。実施の形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
　［プログラム、記録媒体］
　上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
　この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
　また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
　このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
　また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
１　系列ラベリング装置
１１　音声分散表現系列変換部
１２　シンボル分散表現変換部
１３　ラベル推定部

Claims (5)

  1. 　音響特徴量系列を音声分散表現に変換する音声分散表現系列変換部と、
    　上記音響特徴量系列に対応するシンボル系列に含まれる各シンボルをシンボル分散表現に変換するシンボル分散表現変換部と、
    　上記音声分散表現と上記シンボル分散表現と前後のシンボルの固定長ベクトルとを用いて生成した当該シンボルの固定長ベクトルから当該シンボルに対応するラベルを推定するラベル推定部と、
    　を含む系列ラベリング装置。
  2. 　請求項１に記載の系列ラベリング装置であって、
    　上記音声分散表現系列変換部は、上記音響特徴量系列と前のシンボルの前向き固定長ベクトルとを用いて生成する前向き音声分散表現と、上記音響特徴量系列と後のシンボルの後向き固定長ベクトルとを用いて生成する後向き音声分散表現とを生成するものであり、
    　上記ラベル推定部は、上記前向き音声分散表現と上記シンボル分散表現と前のシンボルの前向き固定長ベクトルとを用いて生成する当該シンボルの前向き固定長ベクトルと、上記後向き音声分散表現と上記シンボル分散表現と後のシンボルの後向き固定長ベクトルとを用いて生成する当該シンボルの後向き固定長ベクトルとを結合して当該シンボルの固定長ベクトルを生成するものである、
    　系列ラベリング装置。
  3. 　請求項１に記載の系列ラベリング装置であって、
    　上記音声分散表現系列変換部は、上記音響特徴量系列と前のシンボルの固定長ベクトルとを用いて上記音声分散表現を生成するものであり、
    　上記ラベル推定部は、上記シンボル分散表現と前のシンボルの前向き固定長ベクトルとを用いて生成する当該シンボルの前向き固定長ベクトルと、上記シンボル分散表現と後のシンボルの後向き固定長ベクトルとを用いて生成する当該シンボルの後向き固定長ベクトルとを結合して当該シンボルの固定長ベクトルを生成した上で、上記音声分散表現と当該シンボルの固定長ベクトルとを用いて生成した固定長ベクトルから当該シンボルに対応するラベルを推定するものである、
    　系列ラベリング装置。
  4. 　音声分散表現系列変換部が、音響特徴量系列を音声分散表現に変換し、
    　シンボル分散表現変換部が、上記音響特徴量系列に対応するシンボル系列に含まれる各シンボルをシンボル分散表現に変換し、
    　ラベル推定部が、上記音声分散表現と上記シンボル分散表現と前後のシンボルの固定長ベクトルとを用いて生成した当該シンボルの固定長ベクトルから当該シンボルに対応するラベルを推定する、
    　系列ラベリング方法。
  5. 　請求項１から３のいずれかに記載の系列ラベリング装置としてコンピュータを機能させるためのプログラム。
PCT/JP2020/000696 2019-01-24 2020-01-10 系列ラベリング装置、系列ラベリング方法、およびプログラム WO2020153159A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/425,246 US20220093079A1 (en) 2019-01-24 2020-01-10 Sequence labeling apparatus, sequence labeling method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019009891A JP7211103B2 (ja) 2019-01-24 2019-01-24 系列ラベリング装置、系列ラベリング方法、およびプログラム
JP2019-009891 2019-01-24

Publications (1)

Publication Number Publication Date
WO2020153159A1 true WO2020153159A1 (ja) 2020-07-30

Family

ID=71736031

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/000696 WO2020153159A1 (ja) 2019-01-24 2020-01-10 系列ラベリング装置、系列ラベリング方法、およびプログラム

Country Status (3)

Country Link
US (1) US20220093079A1 (ja)
JP (1) JP7211103B2 (ja)
WO (1) WO2020153159A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112420016A (zh) * 2020-11-20 2021-02-26 四川长虹电器股份有限公司 一种合成语音与文本对齐的方法、装置及计算机储存介质
CN112417875A (zh) * 2020-11-17 2021-02-26 深圳平安智汇企业信息管理有限公司 配置信息的更新方法、装置、计算机设备及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015230384A (ja) * 2014-06-05 2015-12-21 クラリオン株式会社 意図推定装置、及び、モデルの学習方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004163541A (ja) 2002-11-11 2004-06-10 Mitsubishi Electric Corp 音声応答装置
JP5621993B2 (ja) 2009-10-28 2014-11-12 日本電気株式会社 音声認識システム、音声認識要求装置、音声認識方法、及び音声認識用プログラム
US10867597B2 (en) * 2013-09-02 2020-12-15 Microsoft Technology Licensing, Llc Assignment of semantic labels to a sequence of words using neural network architectures

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015230384A (ja) * 2014-06-05 2015-12-21 クラリオン株式会社 意図推定装置、及び、モデルの学習方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112417875A (zh) * 2020-11-17 2021-02-26 深圳平安智汇企业信息管理有限公司 配置信息的更新方法、装置、计算机设备及介质
CN112417875B (zh) * 2020-11-17 2023-08-15 深圳平安智汇企业信息管理有限公司 配置信息的更新方法、装置、计算机设备及介质
CN112420016A (zh) * 2020-11-20 2021-02-26 四川长虹电器股份有限公司 一种合成语音与文本对齐的方法、装置及计算机储存介质
CN112420016B (zh) * 2020-11-20 2022-06-03 四川长虹电器股份有限公司 一种合成语音与文本对齐的方法、装置及计算机储存介质

Also Published As

Publication number Publication date
JP2020119271A (ja) 2020-08-06
US20220093079A1 (en) 2022-03-24
JP7211103B2 (ja) 2023-01-24

Similar Documents

Publication Publication Date Title
JP6897879B2 (ja) 音声特徴補償装置、方法およびプログラム
KR20180001889A (ko) 언어 처리 방법 및 장치
WO2020052069A1 (zh) 用于分词的方法和装置
WO2020153159A1 (ja) 系列ラベリング装置、系列ラベリング方法、およびプログラム
WO2023020262A1 (en) Integrating dialog history into end-to-end spoken language understanding systems
JP2023541472A (ja) ハイパーパラメータ最適化システム、方法およびプログラム
JP2021033995A (ja) テキスト処理装置、方法、デバイス及びコンピューター読み取り可能な記憶媒体
CN110675863A (zh) 语音语料生成方法及装置、语音识别方法及装置
CN113362811A (zh) 模型的训练方法、语音识别方法、装置、介质及设备
CN111326144B (zh) 语音数据处理方法、装置、介质和计算设备
CN113868368A (zh) 用于信息处理的方法、电子设备和计算机程序产品
CN113963715A (zh) 语音信号的分离方法、装置、电子设备及存储介质
CN113947091A (zh) 用于语言翻译的方法、设备、装置和介质
CN113362804A (zh) 一种合成语音的方法、装置、终端及存储介质
CN113160820A (zh) 语音识别的方法、语音识别模型的训练方法、装置及设备
CN114023309A (zh) 语音识别系统、相关方法、装置及设备
CN110675865B (zh) 用于训练混合语言识别模型的方法和装置
Tan et al. Four-in-One: a joint approach to inverse text normalization, punctuation, capitalization, and disfluency for automatic speech recognition
JP6633556B2 (ja) 音響モデル学習装置、音声認識装置、音響モデル学習方法、音声認識方法、およびプログラム
WO2020162240A1 (ja) 言語モデルスコア計算装置、言語モデル作成装置、それらの方法、プログラム、および記録媒体
CN115240696A (zh) 一种语音识别方法及可读存储介质
Shafran et al. Efficient determinization of tagged word lattices using categorial and lexicographic semirings
JP7375943B2 (ja) 変換装置、変換方法、およびプログラム
WO2022086640A1 (en) Fast emit low-latency streaming asr with sequence-level emission regularization
CN109065016B (zh) 语音合成方法、装置、电子设备及非暂态计算机存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20744894

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20744894

Country of ref document: EP

Kind code of ref document: A1