WO2022123742A1 - 話者ダイアライゼーション方法、話者ダイアライゼーション装置および話者ダイアライゼーションプログラム - Google Patents

話者ダイアライゼーション方法、話者ダイアライゼーション装置および話者ダイアライゼーションプログラム Download PDF

Info

Publication number
WO2022123742A1
WO2022123742A1 PCT/JP2020/046117 JP2020046117W WO2022123742A1 WO 2022123742 A1 WO2022123742 A1 WO 2022123742A1 JP 2020046117 W JP2020046117 W JP 2020046117W WO 2022123742 A1 WO2022123742 A1 WO 2022123742A1
Authority
WO
WIPO (PCT)
Prior art keywords
speaker
frame
vector
label
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/046117
Other languages
English (en)
French (fr)
Inventor
厚志 安藤
有実子 村田
岳至 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to PCT/JP2020/046117 priority Critical patent/WO2022123742A1/ja
Priority to US18/266,166 priority patent/US20240038255A1/en
Priority to JP2022567984A priority patent/JP7505582B2/ja
Publication of WO2022123742A1 publication Critical patent/WO2022123742A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/18—Artificial neural networks; Connectionist approaches
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/028—Voice signal separating using properties of sound source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/04—Training, enrolment or model building

Definitions

  • the present invention relates to a speaker dialing method, a speaker dialing device, and a speaker dialing program.
  • EEND End-to-End Neural Diarization
  • the acoustic signal is divided into frames, and a speaker label indicating whether or not a specific speaker exists in the frame is estimated for each frame from the acoustic features extracted from each frame.
  • the speaker label for each frame is an S-dimensional vector, and in the frame, 1 when a speaker is speaking and 1 when not speaking. It becomes 0. That is, in EEND, speaker dialization is realized by performing multi-label binary classification of the number of speakers.
  • the EEND model used in EEND to estimate the speaker label sequence for each frame is a model based on deep learning composed of layers capable of backpropagation of errors, and the speaker label sequence for each frame is changed at once from the acoustic feature sequence. It can be estimated by through.
  • the EEND model includes an RNN (Recurrent Neural Network) layer for time-series modeling. As a result, in EEND, it is possible to estimate the speaker label for each frame by using the acoustic features of not only the frame but also the surrounding frames. Bidirectional LSTM (Long Short-Term Memory) -RNN or Transformer Encoder is used for this RNN layer.
  • Non-Patent Document 2 describes RNN Transducer. Further, Non-Patent Document 3 describes acoustic features.
  • the present invention has been made in view of the above, and an object of the present invention is to perform online speaker dialiation.
  • the speaker dialification method uses a series of acoustic features for each frame of the latest acoustic signal to represent the speaker characteristics of each frame.
  • a model for estimating the speaker label of the speaker vector of each frame is learned by using the extraction process for extracting the speaker vector and the speaker label representing the speaker of the speaker vector estimated as the speaker vector. It is characterized by including a learning process generated by.
  • FIG. 1 is a diagram for explaining an outline of a speaker dialyrating device.
  • FIG. 2 is a schematic diagram illustrating a schematic configuration of a speaker dialyration device.
  • FIG. 3 is a diagram for explaining the processing of the speaker dialyration device.
  • FIG. 4 is a flowchart showing a speaker dialization processing procedure.
  • FIG. 5 is a flowchart showing a speaker dialization processing procedure.
  • FIG. 6 is a diagram illustrating a computer that executes a speaker dialyration program.
  • FIG. 1 is a diagram for explaining an outline of a speaker dialyrating device.
  • the EEND model (online EEND model) of the speaker dialylation device of the present embodiment uses a series of acoustic features for each frame of the latest acoustic signal as an input, and features of the speaker of the latest frame.
  • An online EEND model 14a that outputs a speaker vector representing the above is constructed. Specifically, the online EEND model 14a estimates the speaker label of the t-frame using the acoustic characteristics of each frame from the current t-frame to the (t-N) frame continuously traced back (t-N). ..
  • This online EEND model 14a has a speaker feature extraction block, a speaker feature update block, and a speaker label estimation block.
  • the speaker feature extraction block extracts a speaker vector representing the speaker characteristics of the t-frame using the acoustic features of each frame from the (t-N) th frame to the t-frame.
  • the speaker feature extraction block includes, but is not limited to, a Linear (fully connected) layer and an RNN layer, and for example, an input vector is averaged instead of the RNN layer. Layers may be included.
  • the speaker feature update block stores the speaker vector in the t-frame and the estimated value of the speaker label estimated by the speaker label estimation block described later with respect to this speaker vector by vector coupling. Further, the speaker feature update block outputs a speaker vector containing information for identifying the speaker as a memorized speaker vector for the input of the vector obtained by vector-coupling the memorized speaker vector and the estimated value of the speaker label. Update the parameters of the model to be used.
  • the model includes a Linear (fully connected) layer and an RNN layer.
  • the speaker label estimation block outputs the estimated value of the speaker label at the t-frame using the speaker vector and the memory speaker vector.
  • the speaker label estimation block includes a Linear (fully connected) layer and a sigmoid layer.
  • the speaker dialyration device estimates the speaker label, for example, by determining the estimated value of the output speaker label as a threshold value.
  • the speaker dialyration device estimates the speaker label frame by frame using the online EEND model 14a having an autoregressive structure. This allows the speaker dialyration device to estimate the speaker label while updating the memory speaker vector each time a frame is input. Therefore, it is possible to realize online speaker dialification.
  • FIG. 2 is a schematic diagram illustrating a schematic configuration of a speaker dialyration device. Further, FIG. 3 is a diagram for explaining the processing of the speaker dialyration device.
  • the speaker dialyration device 10 of the present embodiment is realized by a general-purpose computer such as a personal computer, and has an input unit 11, an output unit 12, a communication control unit 13, a storage unit 14, and a control. A unit 15 is provided.
  • the input unit 11 is realized by using an input device such as a keyboard or a mouse, and inputs various instruction information such as processing start to the control unit 15 in response to an input operation by the practitioner.
  • the output unit 12 is realized by a display device such as a liquid crystal display, a printing device such as a printer, an information communication device, and the like.
  • the communication control unit 13 is realized by a NIC (Network Interface Card) or the like, and controls communication via a network between an external device such as a server or a device for acquiring an acoustic signal and the control unit 15.
  • NIC Network Interface Card
  • the storage unit 14 is realized by a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk.
  • the storage unit 14 may be configured to communicate with the control unit 15 via the communication control unit 13.
  • the storage unit 14 stores, for example, the online EEND model 14a used for the speaker dialylation process described later.
  • the control unit 15 is realized by using a CPU (Central Processing Unit), an NP (Network Processor), an FPGA (Field Programmable Gate Array), etc., and executes a processing program stored in a memory.
  • the control unit 15 serves as an acoustic feature extraction unit 15a, a speaker vector extraction unit 15b, a speaker label generation unit 15c, a learning unit 15d, an estimation unit 15e, and an utterance section estimation unit 15f. Function.
  • these functional units may be implemented in different hardware.
  • the learning unit 15d may be mounted as a learning device
  • the estimation unit 15e may be mounted as an estimation device.
  • the control unit 15 may include other functional units.
  • the acoustic feature extraction unit 15a extracts the acoustic features for each frame of the acoustic signal including the utterance of the speaker. For example, the acoustic feature extraction unit 15a receives an input of an acoustic signal via the input unit 11 or from a device or the like that acquires an acoustic signal via the communication control unit 13. Further, the acoustic feature extraction unit 15a divides the acoustic signal into frames, extracts the acoustic feature vector by performing discrete Fourier transform or filter bank multiplication on the signal from each frame, and combines the acoustic signals in the frame direction. Output the feature series. In this embodiment, the frame length is 25 ms and the frame shift width is 10 ms.
  • the acoustic feature vector is, for example, a 24-dimensional MFCC (Mel Frequency Cepstrum Coefficient), but is not limited to this, and may be, for example, an acoustic feature amount for each other frame such as a mel filter bank output.
  • MFCC Mel Frequency Cepstrum Coefficient
  • the speaker vector extraction unit 15b extracts a speaker vector representing the speaker characteristics of each frame by using the acoustic feature series for each frame of the latest acoustic signal. Specifically, the speaker vector extraction unit 15b generates a speaker vector by inputting the acoustic feature series acquired from the acoustic feature extraction unit 15a into the speaker feature extraction block shown in FIG.
  • the speaker vector extraction unit 15b may be included in the learning unit 15d and the estimation unit 15e, which will be described later.
  • FIG. 3 which will be described later, shows an example in which the learning unit 15d and the estimation unit 15e process the speaker vector extraction unit 15b.
  • the speaker label generation unit 15c generates a speaker label for each frame using the acoustic feature series. Specifically, as shown in FIG. 3, the speaker label generation unit 15c generates a speaker label for each frame by using the acoustic feature series and the correct answer label of the speaker's utterance section. As a result, a set of the acoustic feature series and the speaker label for each frame is generated as the teacher data used for the processing of the learning unit 15d described later.
  • the learning unit 15d generates an online EEND model 14a that estimates the speaker label of the speaker vector of each frame by learning using the speaker vector and the speaker label representing the speaker of the estimated speaker vector. do. Specifically, as shown in FIG. 3, the learning unit 15d learns the online EEND model 14a by using the set of the acoustic feature sequence and the speaker label for each frame as teacher data.
  • the online EEND model 14a is composed of a plurality of layers including the RNN layer as shown in FIG.
  • a unidirectional LSTM-RNN is applied as the RNN layer.
  • N 10
  • t—N is a negative value
  • the acoustic feature vector is a zero vector.
  • the online EEND model 14a outputs the posterior probability of the speaker label for each frame of T ⁇ S dimension.
  • the learning unit 15d uses the posterior probability of the speaker label for each frame and the multi-label binary cross entropy with the speaker label for each frame as a loss function, and uses the error back propagation method to obtain the parameters of each layer of the online EEND model 14a. Perform optimization.
  • the learning unit 15d uses an online optimization algorithm using a stochastic gradient descent method for optimizing the parameters.
  • the learning unit 15d is the t-frame extracted by the speaker vector extraction unit 15b, which is a speaker feature extraction block, using the acoustic features of each of the (tN) th to t-frames of the teacher data.
  • the speaker vector of the above and the estimated value of the speaker label estimated by the speaker label estimation block with respect to this speaker vector are connected in a vector and stored.
  • the learning unit 15d inputs a vector obtained by vector-coupling the stored speaker vector and the estimated value of the speaker label into the speaker feature update block, and outputs a stored speaker vector including information for identifying the speaker. Update model parameters. Further, the learning unit 15d inputs the speaker vector of the t-frame and the stored speaker vector into the speaker label estimation block, and updates the parameters of the model that outputs the estimated value of the speaker label of the t-frame.
  • the learning unit 15d generates the online EEND model 14a by using a plurality of stored combinations of the speaker vector and the speaker label of the estimated speaker vector. This makes it possible to estimate the speaker label while updating the memory speaker vector each time a frame is input.
  • the estimation unit 15e estimates the speaker label for each frame of the acoustic signal using the generated online EEND model 14a. Specifically, as shown in FIG. 3, in the estimation unit 15e, each frame from the current t-frame in which the speaker vector extraction unit 15b is continuously traced back (t-N) from the current t-frame of the acoustic feature series. The speaker vector of the t-frame extracted using the acoustic feature of is forward-propagated to the online EEND model 14a.
  • the speaker label posterior probability estimate of the speaker label for each frame of the acoustic feature series is output by sequentially propagating from the first frame of the acoustic feature series. do.
  • the utterance section estimation unit 15f estimates the utterance section of the speaker in the acoustic signal by using the output speaker label posterior probability. Specifically, the utterance section estimation unit 15f estimates the speaker label using the moving averages of a plurality of frames. That is, the utterance section estimation unit 15f first calculates a moving average of the length 6 of the own frame and the 5 frames immediately before it with respect to the speaker label posterior probability for each frame. This makes it possible to prevent erroneous detection of an unrealistic short utterance section such as an utterance with only one frame.
  • the utterance section estimation unit 15f estimates that the frame is the utterance section of the speaker of the dimension when the calculated moving average value is larger than 0.5. Further, the utterance section estimation unit 15f considers a continuous utterance section frame group as one utterance for each speaker, and back-calculates the start time and end time of the utterance section up to a predetermined time from the frame. As a result, it is possible to obtain the utterance start time and the utterance end time up to a predetermined time for each utterance of each speaker.
  • FIG. 4 shows a learning processing procedure.
  • the flowchart of FIG. 4 is started, for example, at the timing when there is an input instructing the start of the learning process.
  • the acoustic feature extraction unit 15a extracts the acoustic features for each frame of the acoustic signal including the speaker's utterance, and outputs the acoustic feature series (step S1).
  • the speaker vector extraction unit 15b extracts a speaker vector representing the speaker characteristics of each frame by using the acoustic feature series for each frame of the latest acoustic signal. (Step S2).
  • the learning unit 15d has a self-regression structure and estimates the speaker label of the speaker vector of each frame by using the speaker vector and the speaker label representing the speaker of the estimated speaker vector.
  • the online EEND model 14a is generated by learning (step S3). As a result, a series of learning processes are completed.
  • FIG. 5 shows an estimation processing procedure.
  • the flowchart of FIG. 5 is started, for example, at the timing when there is an input instructing the start of the estimation process.
  • the acoustic feature extraction unit 15a extracts the acoustic features for each frame of the acoustic signal including the speaker's utterance, and outputs the acoustic feature series (step S1).
  • the speaker vector extraction unit 15b extracts a speaker vector representing the speaker characteristics of each frame by using the acoustic feature series for each frame of the latest acoustic signal (step S2).
  • the estimation unit 15e estimates the speaker label for each frame of the acoustic signal using the generated online EEND model 14a (step S4). Specifically, the estimation unit 15e outputs the speaker label posterior probability (estimated value of the speaker label) for each frame of the acoustic feature series.
  • the utterance section estimation unit 15f estimates the utterance section of the speaker in the acoustic signal using the output speaker label posterior probability (step S5). This completes a series of estimation processes.
  • the speaker vector extraction unit 15b expresses the speaker characteristics of each frame by using the acoustic feature series for each frame of the latest acoustic signal. Extract the speaker vector. Further, the learning unit 15d learns the online EEND model 14a that estimates the speaker label of the speaker vector of each frame by using the speaker vector and the speaker label representing the speaker of the estimated speaker vector. Generated by.
  • the speaker dialyration device 10 can estimate the speaker label each time a frame is input by the online EEND model 14a having an autoregressive structure. Therefore, it is possible to realize online speaker dialification.
  • the learning unit 15d generates an online EEND model 14a by using a plurality of stored combinations of the speaker vector and the speaker label of the estimated speaker vector. This allows the speaker dialyration device 10 to estimate the speaker label while updating the memory speaker vector each time a frame is input. Therefore, online speaker dialiation can be realized with higher accuracy.
  • the estimation unit 15e estimates the speaker label for each frame of the acoustic signal using the generated online EEND model 14a. This enables online speaker dialification.
  • the utterance section estimation unit 15f estimates the speaker label using the moving average of a plurality of frames. This makes it possible to prevent erroneous detection of an unrealistic short utterance section.
  • the speaker dialing device 10 can be implemented by installing a speaker dialing program that executes the above-mentioned speaker dialing process as package software or online software on a desired computer.
  • the information processing device can be made to function as the speaker dialyration device 10.
  • the information processing device includes a smartphone, a mobile communication terminal such as a mobile phone and a PHS (Personal Handyphone System), and a slate terminal such as a PDA (Personal Digital Assistant).
  • the function of the speaker dialyration device 10 may be implemented in the cloud server.
  • FIG. 6 is a diagram showing an example of a computer that executes a speaker dialyration program.
  • the computer 1000 has, for example, a memory 1010, a CPU 1020, a hard disk drive interface 1030, a disk drive interface 1040, a serial port interface 1050, a video adapter 1060, and a network interface 1070. Each of these parts is connected by a bus 1080.
  • the memory 1010 includes a ROM (Read Only Memory) 1011 and a RAM 1012.
  • the ROM 1011 stores, for example, a boot program such as a BIOS (Basic Input Output System).
  • BIOS Basic Input Output System
  • the hard disk drive interface 1030 is connected to the hard disk drive 1031.
  • the disk drive interface 1040 is connected to the disk drive 1041.
  • a removable storage medium such as a magnetic disk or an optical disk is inserted into the disk drive 1041.
  • a mouse 1051 and a keyboard 1052 are connected to the serial port interface 1050.
  • a display 1061 is connected to the video adapter 1060.
  • the hard disk drive 1031 stores, for example, the OS 1091, the application program 1092, the program module 1093, and the program data 1094. Each of the information described in the above embodiment is stored in, for example, the hard disk drive 1031 or the memory 1010.
  • the speaker dialyration program is stored in the hard disk drive 1031 as, for example, a program module 1093 in which a command executed by the computer 1000 is described.
  • the program module 1093 in which each process executed by the speaker dialyration device 10 described in the above embodiment is described is stored in the hard disk drive 1031.
  • the data used for information processing by the speaker dialyration program is stored as program data 1094 in, for example, the hard disk drive 1031.
  • the CPU 1020 reads the program module 1093 and the program data 1094 stored in the hard disk drive 1031 into the RAM 1012 as needed, and executes each of the above-mentioned procedures.
  • the program module 1093 and the program data 1094 related to the speaker dialyration program are not limited to the case where they are stored in the hard disk drive 1031. For example, they are stored in a removable storage medium and are stored in the CPU 1020 via the disk drive 1041 or the like. May be read by.
  • the program module 1093 and the program data 1094 related to the speaker dialyration program are stored in another computer connected via a network such as LAN (Local Area Network) or WAN (Wide Area Network), and are stored in the network interface 1070. It may be read out by the CPU 1020 via.
  • LAN Local Area Network
  • WAN Wide Area Network

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

話者ベクトル抽出部（１５ｂ）が、直近の音響信号のフレームごとの音響特徴の系列を用いて、各フレームの話者特徴を表す話者ベクトルを抽出する。学習部（１５ｄ）が、話者ベクトルと推定された該話者ベクトルの話者を表す話者ラベルとを用いて、各フレームの話者ベクトルの話者ラベルを推定するオンラインＥＥＮＤモデル（１４ａ）を学習により生成する。

Description

話者ダイアライゼーション方法、話者ダイアライゼーション装置および話者ダイアライゼーションプログラム
　本発明は、話者ダイアライゼーション方法、話者ダイアライゼーション装置および話者ダイアライゼーションプログラムに関する。
　近年、音響信号を入力とし、音響信号に含まれる全ての話者の発話区間を同定する話者ダイアライゼーション技術が期待されている。話者ダイアライゼーション技術によれば、例えば、会議において誰がいつ発言したかを記録する自動書き起こしや、コンタクトセンタにおいて通話からオペレータと顧客との発話の自動切り出し等、様々な応用が可能となる。
　従来、話者ダイアライゼーション技術として、深層学習に基づくＥＥＮＤ（End-to-End　Neural　Diarization）と呼ばれる技術が開示されている（非特許文献１参照）。ＥＥＮＤでは、音響信号をフレームごとに分割し、各フレームから抽出した音響特徴から、当該フレームにおいて特定の話者が存在するか否かを表す話者ラベルをフレームごとに推定する。音響信号内の最大話者数Ｓである場合に、フレームごとの話者ラベルはＳ次元のベクトルであり、当該フレームにおいて、ある話者が発話している場合に１、発話していない場合に０となる。すなわち、ＥＥＮＤでは、話者数のマルチラベル二値分類を行うことにより、話者ダイアライゼーションを実現している。
　ＥＥＮＤでフレームごとの話者ラベル系列の推定に用いられるＥＥＮＤモデルは、誤差逆伝搬可能な層で構成される深層学習に基づくモデルであって、音響特徴系列からフレームごとの話者ラベル系列を一気通貫で推定できる。ＥＥＮＤモデルには、時系列モデル化を行うＲＮＮ（Recurrent　Neural　Network）層が含まれる。これにより、ＥＥＮＤでは当該フレームだけでなく周囲のフレームの音響特徴量を用いて、フレームごとの話者ラベルを推定することが可能となる。このＲＮＮ層には、双方向ＬＳＴＭ（Long　Short-Term　Memory）－ＲＮＮやＴｒａｎｓｆｏｒｍｅｒ　Ｅｎｃｏｄｅｒが用いられる。
　なお、非特許文献２には、ＲＮＮ　Ｔｒａｎｓｄｕｃｅｒについて記載されている。また、非特許文献３には、音響特徴量について記載されている。
Yusuke　Fujita,　Naoyuki　Kanda,　Shota　Horiguchi,　Yawen　Xue,　Kenji　Nagamatsu,　Shinji　Watanabe,　"END-TO-END　NEURAL　SPEAKER　DIARIZATION　WITH　SELF-ATTENTION",　Proc.　ASRU,　2019年,　pp.　296-303 Alex　Graves,　"Sequence　Transduction　with　Recurrent　Neural　Networks",　Proc.　ICML,　2012 鹿野　清宏,　伊藤　克亘,　河原　達也,　武田　一哉,　山本　幹雄,　"音声認識システム",　オーム社,　2001年,　pp.13-14
　しかしながら、従来技術では、オンラインでの話者ダイアライゼーションが困難であった。つまり、従来のＥＥＮＤモデルは、音響特徴系列の全体を参照する双方向ＬＳＴＭ－ＲＮＮやＴｒａｎｓｆｏｒｍｅｒを用いるため、オンラインで話者ダイアライゼーションを実現することが困難であった。
　本発明は、上記に鑑みてなされたものであって、オンラインでの話者ダイアライゼーションを行うことを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る話者ダイアライゼーション方法は、直近の音響信号のフレームごとの音響特徴の系列を用いて、各フレームの話者特徴を表す話者ベクトルを抽出する抽出工程と、前記話者ベクトルと推定された該話者ベクトルの話者を表す話者ラベルとを用いて、各フレームの話者ベクトルの話者ラベルを推定するモデルを学習により生成する学習工程と、を含んだことを特徴とする。
　本発明によれば、オンラインでの話者ダイアライゼーションが可能となる。
図１は、話者ダイアライゼーション装置の概要を説明するための図である。 図２は、話者ダイアライゼーション装置の概略構成を例示する模式図である。 図３は、話者ダイアライゼーション装置の処理を説明するための図である。 図４は、話者ダイアライゼーション処理手順を示すフローチャートである。 図５は、話者ダイアライゼーション処理手順を示すフローチャートである。 図６は、話者ダイアライゼーションプログラムを実行するコンピュータを例示する図である。
　以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
［話者ダイアライゼーション装置の概要］
　図１は、話者ダイアライゼーション装置の概要を説明するための図である。図１に示すように、本実施形態の話者ダイアライゼーション装置のＥＥＮＤモデル（オンラインＥＥＮＤモデル）は、直近の音響信号のフレームごとの音響特徴の系列を入力として、最新のフレームの話者の特徴を表す話者ベクトルを出力するオンラインＥＥＮＤモデル１４ａを構築する。具体的には、オンラインＥＥＮＤモデル１４ａは、現在のｔフレーム目から連続して遡った（ｔ－Ｎ）フレーム目までの各フレームの音響特徴を用いて、ｔフレーム目の話者ラベルを推定する。
　このオンラインＥＥＮＤモデル１４ａは、話者特徴抽出ブロックと、話者特徴更新ブロックと、話者ラベル推定ブロックとを有する。ここで、話者特徴抽出ブロックは、（ｔ－Ｎ）フレーム目～ｔフレーム目の各フレームの音響特徴を用いて、ｔフレーム目の話者の特徴を表す話者ベクトルを抽出する。なお、図１に示す例では、話者特徴抽出ブロックは、Ｌｉｎｅａｒ（全結合）層とＲＮＮ層とを含むが、これに限定されず、例えばＲＮＮ層の代わりに入力されたベクトルを平均化する層が含まれてもよい。
　話者特徴更新ブロックは、ｔフレーム目の話者ベクトルと、この話者ベクトルに対して後述する話者ラベル推定ブロックが推定した話者ラベルの推定値とをベクトル結合して記憶する。また、話者特徴更新ブロックは、記憶した話者ベクトルと話者ラベルの推定値とをベクトル結合したベクトルの入力に対し、話者を識別する情報を含む話者ベクトルを記憶話者ベクトルとして出力するモデルのパラメータを更新する。図１に示す例では、モデルはＬｉｎｅａｒ（全結合）層とＲＮＮ層とを含む。
　話者ラベル推定ブロックは、話者ベクトルと記憶話者ベクトルとを用いて、ｔフレーム目の話者ラベルの推定値を出力する。図１に示す例では、話者ラベル推定ブロックは、Ｌｉｎｅａｒ（全結合）層とｓｉｇｍｏｉｄ層とを含む。話者ダイアライゼーション装置は、例えば、出力された話者ラベルの推定値を閾値判定することにより、話者ラベルを推定する。
　このように、話者ダイアライゼーション装置は、自己回帰構造をもつオンラインＥＥＮＤモデル１４ａを用いて、１フレームずつ話者ラベルを推定する。これにより、話者ダイアライゼーション装置は、フレームが入力されるたびに記憶話者ベクトルを更新しながら話者ラベルを推定することが可能となる。したがって、オンラインでの話者ダイアライゼーションを実現することが可能となる。
［話者ダイアライゼーション装置の構成］
　図２は、話者ダイアライゼーション装置の概略構成を例示する模式図である。また、図３は、話者ダイアライゼーション装置の処理を説明するための図である。まず、図２に例示するように、本実施形態の話者ダイアライゼーション装置１０は、パソコン等の汎用コンピュータで実現され、入力部１１、出力部１２、通信制御部１３、記憶部１４、および制御部１５を備える。
　入力部１１は、キーボードやマウス等の入力デバイスを用いて実現され、実施者による入力操作に対応して、制御部１５に対して処理開始などの各種指示情報を入力する。出力部１２は、液晶ディスプレイなどの表示装置、プリンター等の印刷装置、情報通信装置等によって実現される。通信制御部１３は、ＮＩＣ（Network　Interface　Card）等で実現され、サーバや、音響信号を取得する装置等の外部の装置と制御部１５とのネットワークを介した通信を制御する。
　記憶部１４は、ＲＡＭ（Random　Access　Memory）、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。なお、記憶部１４は、通信制御部１３を介して制御部１５と通信する構成でもよい。本実施形態において、記憶部１４には、例えば、後述する話者ダイアライゼーション処理に用いられるオンラインＥＥＮＤモデル１４ａ等が記憶される。
　制御部１５は、ＣＰＵ（Central　Processing　Unit）やＮＰ（Network　Processor）やＦＰＧＡ（Field　Programmable　Gate　Array）等を用いて実現され、メモリに記憶された処理プログラムを実行する。これにより、制御部１５は、図２に例示するように、音響特徴抽出部１５ａ、話者ベクトル抽出部１５ｂ、話者ラベル生成部１５ｃ、学習部１５ｄ、推定部１５ｅおよび発話区間推定部１５ｆとして機能する。なお、これらの機能部は、それぞれが異なるハードウェアに実装されてもよい。例えば、学習部１５ｄは学習装置として実装され、推定部１５ｅは、推定装置として実装されてもよい。また、制御部１５は、その他の機能部を備えてもよい。
　音響特徴抽出部１５ａは、話者の発話を含む音響信号のフレームごとの音響特徴を抽出する。例えば、音響特徴抽出部１５ａは、入力部１１を介して、あるいは音響信号を取得する装置等から通信制御部１３を介して、音響信号の入力を受け付ける。また、音響特徴抽出部１５ａは、音響信号をフレームごとに分割し、各フレームからの信号に対して離散フーリエ変換やフィルタバンク乗算を行うことにより音響特徴ベクトルを抽出し、フレーム方向に結合した音響特徴系列を出力する。本実施形態では、フレーム長は２５ｍｓ、フレームシフト幅は１０ｍｓとする。
　ここで、音響特徴ベクトルは、例えば、２４次元のＭＦＣＣ（Mel　Frequency　Cepstral　Coefficient）であるが、これに限定されず、例えば、メルフィルタバンク出力等の他のフレームごとの音響特徴量でもよい。
　話者ベクトル抽出部１５ｂは、直近の音響信号のフレームごとの音響特徴系列を用いて、各フレームの話者特徴を表す話者ベクトルを抽出する。具体的には、話者ベクトル抽出部１５ｂは、音響特徴抽出部１５ａから取得した音響特徴系列を、図１に示した話者特徴抽出ブロックに入力することにより、話者ベクトルを生成する。
　なお、話者ベクトル抽出部１５ｂは、後述する学習部１５ｄおよび推定部１５ｅに内包されてもよい。例えば、後述する図３では、学習部１５ｄおよび推定部１５ｅが話者ベクトル抽出部１５ｂの処理を行う例が示されている。
　話者ラベル生成部１５ｃは、音響特徴系列を用いて、各フレームの話者ラベルを生成する。具体的には、話者ラベル生成部１５ｃは、図３に示すように、音響特徴系列と話者の発話区間の正解ラベルとを用いて、フレームごとの話者ラベルを生成する。これにより、後述する学習部１５ｄの処理に用いられる教師データとして、音響特徴系列とフレームごとの話者ラベルとの組が生成される。
　ここで、話者数がＳである（話者１、話者２、…、話者Ｓ）場合に、ｔフレーム目（ｔ＝０，１，…，Ｔ）の話者ラベルはＳ次元のベクトルとなる。例えば、時刻ｔ×フレームシフト幅のフレームがいずれかの話者の発話区間に含まれる場合には、当該話者に対応する次元の値が１、それ以外の次元の値が０となる。したがって、フレームごとの話者ラベルは、Ｔ×Ｓ次元の二値［０，１］のマルチラベルとなる。
　図２の説明に戻る。学習部１５ｄは、話者ベクトルと推定された該話者ベクトルの話者を表す話者ラベルとを用いて、各フレームの話者ベクトルの話者ラベルを推定するオンラインＥＥＮＤモデル１４ａを学習により生成する。具体的には、学習部１５ｄは、図３に示すように、音響特徴系列とフレームごとの話者ラベルとの組を教師データとして用いて、オンラインＥＥＮＤモデル１４ａの学習を行う。
　ここで、オンラインＥＥＮＤモデル１４ａは、図１に示したようにＲＮＮ層を含む複数の層で構成されている。本実施形態において、ＲＮＮ層としては単方向ＬＳＴＭ－ＲＮＮが適用される。また、オンラインＥＥＮＤモデル１４ａには、Ｎ＝１０として、ｔフレーム目から（ｔ－Ｎ）フレーム目までの各フレームの音響特徴ベクトルを統合したスーパーベクトルが入力されるものとする。ただし、ｔ－Ｎが負の値である場合には、音響特徴ベクトルはゼロベクトルとする。
　また、オンラインＥＥＮＤモデル１４ａは、Ｔ×Ｓ次元のフレームごとの話者ラベルの事後確率を出力する。学習部１５ｄは、フレームごとの話者ラベルの事後確率と、フレームごとの話者ラベルとのマルチラベル二値交差エントロピーを損失関数として、誤差逆伝搬法により、オンラインＥＥＮＤモデル１４ａの各層のパラメータの最適化を行う。学習部１５ｄは、パラメータの最適化には、確率的勾配降下法を用いたオンライン最適化アルゴリズムを用いる。
　すなわち、学習部１５ｄは、話者特徴抽出ブロックである話者ベクトル抽出部１５ｂが、教師データの（ｔ－Ｎ）フレーム目～ｔフレーム目の各フレームの音響特徴を用いて抽出したｔフレーム目の話者ベクトルと、この話者ベクトルに対して話者ラベル推定ブロックが推定した話者ラベルの推定値とをベクトル結合して記憶する。また、学習部１５ｄは、記憶した話者ベクトルと話者ラベルの推定値とをベクトル結合したベクトルを話者特徴更新ブロックに入力し、話者を識別する情報を含む記憶話者ベクトルを出力するモデルのパラメータを更新する。また、学習部１５ｄは、ｔフレーム目の話者ベクトルと記憶話者ベクトルとを話者ラベル推定ブロックに入力し、ｔフレーム目の話者ラベルの推定値を出力するモデルのパラメータを更新する。
　このように、学習部１５ｄは、話者ベクトルと推定された該話者ベクトルの話者ラベルとの記憶された複数の組み合わせを用いて、オンラインＥＥＮＤモデル１４ａを生成する。これにより、フレームが入力されるたびに記憶話者ベクトルを更新しながら話者ラベルを推定することが可能となる。
　図２の説明に戻る。推定部１５ｅは、生成されたオンラインＥＥＮＤモデル１４ａを用いて、音響信号のフレームごとの話者ラベルを推定する。具体的には、推定部１５ｅは、図３に示すように、話者ベクトル抽出部１５ｂが音響特徴系列の現在のｔフレーム目から連続して遡った（ｔ－Ｎ）フレーム目までの各フレームの音響特徴を用いて抽出したｔフレーム目の話者ベクトルを、オンラインＥＥＮＤモデル１４ａに順伝搬させる。
　オンラインＥＥＮＤモデル１４ａは、自己回帰構造を持つことから、音響特徴系列の先頭フレームから逐次順伝搬させることにより、音響特徴系列のフレームごとの話者ラベル事後確率（話者ラベルの推定値）を出力する。
　発話区間推定部１５ｆは、出力された話者ラベル事後確率を用いて、音響信号中の話者の発話区間を推定する。具体的には、発話区間推定部１５ｆは、複数のフレームの移動平均を用いて、話者ラベルを推定する。すなわち、発話区間推定部１５ｆは、まず、フレームごとの話者ラベル事後確率に対し、自フレームとその直前の５フレームとの長さ６での移動平均を算出する。これにより、１フレームしかない発話等、現実的ではない短い発話区間の誤検出を防止することが可能となる。
　次に、発話区間推定部１５ｆは、算出した移動平均の値が０．５より大きい場合に、当該フレームが、当該次元の話者の発話区間と推定する。また、発話区間推定部１５ｆは、各話者について、連続する発話区間フレーム群を１つの発話とみなし、所定の時刻までの発話区間の開始時刻と終了時刻とをフレームから逆算する。これにより、話者ごとの発話ごとの所定の時刻までの発話開始時刻と発話終了時刻とを得ることができる。
［話者ダイアライゼーション処理］
　次に、話者ダイアライゼーション装置１０による話者ダイアライゼーション処理について説明する。図４よび図５は、話者ダイアライゼーション処理手順を示すフローチャートである。本実施形態の話者ダイアライゼーション処理は、学習処理と推定処理とを含む。まず、図４は、学習処理手順を示す。図４のフローチャートは、例えば、学習処理の開始を指示する入力があったタイミングで開始される。
　まず、音響特徴抽出部１５ａが、話者の発話を含む音響信号のフレームごとの音響特徴を抽出し、音響特徴系列を出力する（ステップＳ１）。
　次に、話者ベクトル抽出部１５ｂが、直近の音響信号のフレームごとの音響特徴系列を用いて、各フレームの話者特徴を表す話者ベクトルを抽出する。（ステップＳ２）。
　そして、学習部１５ｄが、話者ベクトルと推定された該話者ベクトルの話者を表す話者ラベルとを用いて、自己回帰構造を持ち、各フレームの話者ベクトルの話者ラベルを推定するオンラインＥＥＮＤモデル１４ａを、学習により生成する（ステップＳ３）。これにより、一連の学習処理が終了する。
　次に、図５は、推定処理手順を示す。図５のフローチャートは、例えば、推定処理の開始を指示する入力があったタイミングで開始される。
　まず、音響特徴抽出部１５ａが、話者の発話を含む音響信号のフレームごとの音響特徴を抽出し、音響特徴系列を出力する（ステップＳ１）。
　また、話者ベクトル抽出部１５ｂが、直近の音響信号のフレームごとの音響特徴系列を用いて、各フレームの話者特徴を表す話者ベクトルを抽出する（ステップＳ２）。
　次に、推定部１５ｅが、生成されたオンラインＥＥＮＤモデル１４ａを用いて、音響信号のフレームごとの話者ラベルを推定する（ステップＳ４）。具体的には、推定部１５ｅは、音響特徴系列のフレームごとの話者ラベル事後確率（話者ラベルの推定値）を出力する。
　そして、発話区間推定部１５ｆが、出力された話者ラベル事後確率を用いて、音響信号中の話者の発話区間を推定する（ステップＳ５）。これにより、一連の推定処理が終了する。
　以上、説明したように、本実施形態の話者ダイアライゼーション装置１０において、話者ベクトル抽出部１５ｂが、直近の音響信号のフレームごとの音響特徴系列を用いて、各フレームの話者特徴を表す話者ベクトルを抽出する。また、学習部１５ｄが、話者ベクトルと推定された該話者ベクトルの話者を表す話者ラベルとを用いて、各フレームの話者ベクトルの話者ラベルを推定するオンラインＥＥＮＤモデル１４ａを学習により生成する。
　このように、話者ダイアライゼーション装置１０は、自己回帰構造を持つオンラインＥＥＮＤモデル１４ａにより、フレームが入力されるたびに話者ラベルを推定することが可能となる。したがって、オンラインでの話者ダイアライゼーションを実現することが可能となる。
　また、学習部１５ｄは、話者ベクトルと推定された該話者ベクトルの話者ラベルとの記憶された複数の組み合わせを用いて、オンラインＥＥＮＤモデル１４ａを生成する。これにより、話者ダイアライゼーション装置１０は、フレームが入力されるたびに記憶話者ベクトルを更新しながら話者ラベルを推定することが可能となる。したがって、オンラインでの話者ダイアライゼーションがより高精度に実現可能となる。
　また、推定部１５ｅが、生成されたオンラインＥＥＮＤモデル１４ａを用いて、音響信号のフレームごとの話者ラベルを推定する。これにより、オンラインでの話者ダイアライゼーションが可能となる。
　また、発話区間推定部１５ｆが、複数のフレームの移動平均を用いて、話者ラベルを推定する。これにより、現実的ではない短い発話区間の誤検出を防止することが可能となる。
［プログラム］
　上記実施形態に係る話者ダイアライゼーション装置１０が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。一実施形態として、話者ダイアライゼーション装置１０は、パッケージソフトウェアやオンラインソフトウェアとして上記の話者ダイアライゼーション処理を実行する話者ダイアライゼーションプログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の話者ダイアライゼーションプログラムを情報処理装置に実行させることにより、情報処理装置を話者ダイアライゼーション装置１０として機能させることができる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal　Handyphone　System）等の移動体通信端末、さらには、ＰＤＡ（Personal　Digital　Assistant）等のスレート端末等がその範疇に含まれる。また、話者ダイアライゼーション装置１０の機能を、クラウドサーバに実装してもよい。
　図６は、話者ダイアライゼーションプログラムを実行するコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。
　メモリ１０１０は、ＲＯＭ（Read　Only　Memory）１０１１およびＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０３１に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１０４１に接続される。ディスクドライブ１０４１には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、例えば、マウス１０５１およびキーボード１０５２が接続される。ビデオアダプタ１０６０には、例えば、ディスプレイ１０６１が接続される。
　ここで、ハードディスクドライブ１０３１は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。上記実施形態で説明した各情報は、例えばハードディスクドライブ１０３１やメモリ１０１０に記憶される。
　また、話者ダイアライゼーションプログラムは、例えば、コンピュータ１０００によって実行される指令が記述されたプログラムモジュール１０９３として、ハードディスクドライブ１０３１に記憶される。具体的には、上記実施形態で説明した話者ダイアライゼーション装置１０が実行する各処理が記述されたプログラムモジュール１０９３が、ハードディスクドライブ１０３１に記憶される。
　また、話者ダイアライゼーションプログラムによる情報処理に用いられるデータは、プログラムデータ１０９４として、例えば、ハードディスクドライブ１０３１に記憶される。そして、ＣＰＵ１０２０が、ハードディスクドライブ１０３１に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した各手順を実行する。
　なお、話者ダイアライゼーションプログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０３１に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１０４１等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、話者ダイアライゼーションプログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ＬＡＮ（Local　Area　Network）やＷＡＮ（Wide　Area　Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
　以上、本発明者によってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述および図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例および運用技術等は全て本発明の範疇に含まれる。
　１０　話者ダイアライゼーション装置
　１１　入力部
　１２　出力部
　１３　通信制御部
　１４　記憶部
　１４ａ　オンラインＥＥＮＤモデル
　１５　制御部
　１５ａ　音響特徴抽出部
　１５ｂ　話者ベクトル抽出部
　１５ｃ　話者ラベル生成部
　１５ｄ　学習部
　１５ｅ　推定部
　１５ｆ　発話区間推定部

Claims (6)

  1. 　話者ダイアライゼーション装置が実行する話者ダイアライゼーション方法であって、
    　直近の音響信号のフレームごとの音響特徴の系列を用いて、各フレームの話者特徴を表す話者ベクトルを抽出する抽出工程と、
    　前記話者ベクトルと推定された該話者ベクトルの話者を表す話者ラベルとを用いて、各フレームの話者ベクトルの話者ラベルを推定するモデルを学習により生成する学習工程と、
    　を含んだことを特徴とする話者ダイアライゼーション方法。
  2. 　前記学習工程は、前記話者ベクトルと推定された該話者ベクトルの話者ラベルとの記憶された複数の組み合わせを用いて、前記モデルを生成することを特徴とする請求項１に記載の話者ダイアライゼーション方法。
  3. 　生成された前記モデルを用いて、音響信号のフレームごとの話者ラベルを推定する推定工程を、さらに含んだことを特徴とする請求項１に記載の話者ダイアライゼーション方法。
  4. 　前記推定工程は、複数のフレームの移動平均を用いて、前記話者ラベルを推定することを特徴とする請求項３に記載の話者ダイアライゼーション方法。
  5. 　直近の音響信号のフレームごとの音響特徴の系列を用いて、各フレームの話者特徴を表す話者ベクトルを抽出する抽出部と、
    　前記話者ベクトルと推定された該話者ベクトルの話者を表す話者ラベルとを用いて、各フレームの話者ベクトルの話者ラベルを推定するモデルを学習により生成する学習部と、
    　を有することを特徴とする話者ダイアライゼーション装置。
  6. 　直近の音響信号のフレームごとの音響特徴の系列を用いて、各フレームの話者特徴を表す話者ベクトルを抽出する抽出ステップと、
    　前記話者ベクトルと推定された該話者ベクトルの話者を表す話者ラベルとを用いて、各フレームの話者ベクトルの話者ラベルを推定するモデルを学習により生成する学習ステップと、
    　をコンピュータに実行させるための話者ダイアライゼーションプログラム。
PCT/JP2020/046117 2020-12-10 2020-12-10 話者ダイアライゼーション方法、話者ダイアライゼーション装置および話者ダイアライゼーションプログラム Ceased WO2022123742A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2020/046117 WO2022123742A1 (ja) 2020-12-10 2020-12-10 話者ダイアライゼーション方法、話者ダイアライゼーション装置および話者ダイアライゼーションプログラム
US18/266,166 US20240038255A1 (en) 2020-12-10 2020-12-10 Speaker diarization method, speaker diarization device, and speaker diarization program
JP2022567984A JP7505582B2 (ja) 2020-12-10 2020-12-10 話者ダイアライゼーション方法、話者ダイアライゼーション装置および話者ダイアライゼーションプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/046117 WO2022123742A1 (ja) 2020-12-10 2020-12-10 話者ダイアライゼーション方法、話者ダイアライゼーション装置および話者ダイアライゼーションプログラム

Publications (1)

Publication Number Publication Date
WO2022123742A1 true WO2022123742A1 (ja) 2022-06-16

Family

ID=81973450

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/046117 Ceased WO2022123742A1 (ja) 2020-12-10 2020-12-10 話者ダイアライゼーション方法、話者ダイアライゼーション装置および話者ダイアライゼーションプログラム

Country Status (3)

Country Link
US (1) US20240038255A1 (ja)
JP (1) JP7505582B2 (ja)
WO (1) WO2022123742A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102815144B1 (ko) * 2022-04-29 2025-06-04 광주과학기술원 보조 손실을 이용한 단대단 화자 분리 시스템 및 방법
US12198677B2 (en) * 2022-05-27 2025-01-14 Tencent America LLC Techniques for end-to-end speaker diarization with generalized neural speaker clustering

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019527370A (ja) * 2017-06-13 2019-09-26 ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド 話者照合の方法、装置、及びシステム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3033675C (en) * 2016-07-11 2022-11-15 FTR Labs Pty Ltd Method and system for automatically diarising a sound recording
WO2019209569A1 (en) * 2018-04-23 2019-10-31 Google Llc Speaker diarization using an end-to-end model
US11031017B2 (en) * 2019-01-08 2021-06-08 Google Llc Fully supervised speaker diarization

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019527370A (ja) * 2017-06-13 2019-09-26 ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド 話者照合の方法、装置、及びシステム

Also Published As

Publication number Publication date
JPWO2022123742A1 (ja) 2022-06-16
US20240038255A1 (en) 2024-02-01
JP7505582B2 (ja) 2024-06-25

Similar Documents

Publication Publication Date Title
CN108630190B (zh) 用于生成语音合成模型的方法和装置
JP6712642B2 (ja) モデル学習装置、その方法、及びプログラム
CN110689879B (zh) 端到端语音转写模型的训练方法、系统、装置
US11264044B2 (en) Acoustic model training method, speech recognition method, acoustic model training apparatus, speech recognition apparatus, acoustic model training program, and speech recognition program
US11551708B2 (en) Label generation device, model learning device, emotion recognition apparatus, methods therefor, program, and recording medium
CN107680597B (zh) 语音识别方法、装置、设备以及计算机可读存储介质
US11270686B2 (en) Deep language and acoustic modeling convergence and cross training
JP2018128659A (ja) 音声対話システム、音声対話方法、および音声対話システムを適合させる方法
JP2012037619A (ja) 話者適応化装置、話者適応化方法および話者適応化用プログラム
CN112259089A (zh) 语音识别方法及装置
KR20200044388A (ko) 음성을 인식하는 장치 및 방법, 음성 인식 모델을 트레이닝하는 장치 및 방법
JP2020042257A (ja) 音声認識方法及び装置
US12057105B2 (en) Speech recognition device, speech recognition method, and program
CN111797220A (zh) 对话生成方法、装置、计算机设备和存储介质
JP2020034683A (ja) 音声認識装置、音声認識プログラムおよび音声認識方法
JP2021026050A (ja) 音声認識システム、情報処理装置、音声認識方法、プログラム
CN111557010A (zh) 学习装置和方法以及程序
JP7505584B2 (ja) 話者ダイアライゼーション方法、話者ダイアライゼーション装置および話者ダイアライゼーションプログラム
CN114333790B (zh) 数据处理方法、装置、设备、存储介质及程序产品
KR101120765B1 (ko) 스위칭 상태 스페이스 모델과의 멀티모덜 변동 추정을이용한 스피치 인식 방법
JP7505582B2 (ja) 話者ダイアライゼーション方法、話者ダイアライゼーション装置および話者ダイアライゼーションプログラム
JP7700801B2 (ja) 話者認識方法、話者認識装置および話者認識プログラム
JP7212596B2 (ja) 学習装置、学習方法および学習プログラム
JP2016122110A (ja) 音響スコア算出装置、その方法及びプログラム
JP2018128500A (ja) 形成装置、形成方法および形成プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20965124

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022567984

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18266166

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20965124

Country of ref document: EP

Kind code of ref document: A1