KR20230088434A

KR20230088434A - 스피치 인식을 사용한 교차 언어 스피치 합성 개선

Info

Publication number: KR20230088434A
Application number: KR1020237016231A
Authority: KR
Inventors: 제후아이 첸; 부바나 라마바드란; 앤드류 로젠버그; 유 장; 페드로 제이. 모레노 멘기바
Original assignee: 구글 엘엘씨
Priority date: 2020-10-21
Filing date: 2021-10-20
Publication date: 2023-06-19
Also published as: WO2022087180A1; US11990117B2; CN116457871A; EP4218006A1; US20220122581A1; JP2023546930A

Abstract

스피치 인식 모델(200)을 트레이닝하는 방법(800)은 다국어 TTS(text-to-speech) 모델(310)을 획득하는 단계를 포함한다. 상기 방법은 또한 상기 다국어 TTS 모델(310)을 사용하여, 제1 언어의 원어민의 화자 특성(304)에 따라 조정되는 제1 언어의 입력 텍스트 시퀀스(302)에 대한 네이티브 합성 스피치 표현(306)을 생성하는 단계를 포함한다. 상기 방법은 또한 다국어 TTS 모델을 사용하여, 상이한 제2 언어의 원어민의 화자 특성에 따라 조정되는 상기 제1 언어의 입력 텍스트 시퀀스에 대한 교차 언어 합성 스피치 표현을 생성하는 단계를 포함한다. 상기 방법은 또한 네이티브 및 교차 언어 합성 스피치 표현에 대한 제1 및 제2 스피치 인식 결과(312)를 생성하는 단계를 포함한다. 상기 방법은 또한 제1 및 제2 스피치 인식 결과에 기초하여 일관성 손실 항(352)을 결정하는 단계 및 상기 일관성 손실 항에 기초하여 스피치 인식 모델의 파라미터를 업데이트하는 단계를 포함한다.

Description

스피치 인식을 사용한 교차 언어 스피치 합성 개선

본 발명은 교차 언어 스피치 합성을 개선하기 위해 스피치 인식을 사용하는 것에 관한 것이다.

일반적으로, 자동 스피치 인식(ASR)은 오디오 입력(예: 음성 발화)을 취하고 오디오 입력을 텍스트로 전사하여 사람이 말한 것의 정확한 전사를 제공하려고 시도한다. 오늘날 거의 사용되지 않거나 제한된 양의 발화 및 텍스트 리소스가 있는 언어는 제한된 양의 레이블링된 트레이닝 데이터만 존재하기 때문에 ASR 시스템을 트레이닝하는 데 어려움이 있다. 셀프-지도(self-supervision)로 ASR 모델을 트레이닝하면 ASR 모델을 트레이닝하는 데 필요한 레이블링된 트레이닝 데이터의 양이 줄어들 수 있다. 종종 ASR 모델에 레이블링된 트레이닝 데이터가 충분하더라도 언어마다 고유한 ASR 모델이 필요하다. 언어별로 별도의 ASR 모델을 저장하려면 상당한 양의 메모리가 필요하다.

본 개시의 일 양태는 데이터 프로세싱 하드웨어에서 실행될 때 상기 데이터 프로세싱 하여금 스피치 인식 모델을 트레이닝하기 위한 동작들을 수행하게 하는 컴퓨터로 구현되는 방법을 제공한다. 상기 동작들은 다국어 TTS(text-to-speech) 모델을 획득하는 동작을 포함한다. 또한 상기 동작들은 상기 다국어 TTS 모델을 사용하여, 제1 언어의 원어민의 화자 특성에 따라 조정되는 제1 언어의 입력 텍스트 시퀀스에 대한 네이티브 합성 스피치 표현을 생성하는 동작을 포함한다. 또한 상기 동작들은 스피치 인식 모델을 사용하여, 상기 네이티브 합성 스피치 표현에 대한 제1 스피치 인식 결과 및 상기 교차 언어 합성 스피치 표현. 에 대한 제2 스피치 인식 결과를 생성하는 동작을 포함한다. 또한 상기 동작들은 제1 스피치 인식 결과 및 제2 스피치 인식 결과에 기초하여 일관성 손실 항을 결정하는 동작 및 상기 일관성 손실 항에 기초하여 스피치 인식 모델의 파라미터를 업데이트하는 동작을 포함한다.

본 개시의 구현예는 다음 구성들 중 하나 이상을 포함할 수 있다. 일부 실시예에서, 상기 동작들은 상기 제1 스피치 인식 결과 및 상기 제1 언어의 입력 텍스트 시퀀스에 기초하여 제1 교차 엔트로피 손실 항을 생성하는 동작, 상기 제2 스피치 인식 결과 및 상기 제1 언어의 입력 텍스트 시퀀스에 기초하여 제2 교차 엔트로피 손실 항(342)을 결정하는 동작 및 상기 제1 및 제2 교차 엔트로피 손실 항에 기초하여 스피치 인식 모델의 파라미터를 업데이트하는 동작을 더 포함한다. 일부 예시에서, 상기 스피치 인식 모델의 파라미터는 상기 제1 및 제2 교차 엔트로피 손실 항과 독립적으로 일관성 손실 항에 기초하여 업데이트된다. 상기 동작들은 다국어 TTS 모델을 통해 제1 및 제2 교차 엔트로피 손실을 역전파하는 동작을 더 포함할 수 있다. 선택적으로, 상기 동작들은 네이티브 합성 스피치 표현 또는 교차 언어 합성 스피치 표현 중 적어도 하나에 데이터 증강을 적용하는 동작을 더 포함할 수 있다.

일부 구현예에서, 다국어 TTS 모델은 상기 제1 및 제2 언어에 걸쳐 언어 임베딩을 공유하는 인코더 부분 및 상기 제1 언어와 제2 언어에 걸쳐 상기 언어 임베딩을 공유하고 상기 제1 언어의 원어민과 상기 제2 언어의 원어민 모두에 대한 화자 임베딩을 공유하는 디코더 부분을 포함한다. 이러한 구현예들에서, 상기 제1 언어의 원어민에 대한 화자 임베딩의 수는 상기 제2 언어의 원어민에 대한 화자 임베딩의 수보다 적을 수 있다. 상기 디코더 부분은 변형 자동 인코더를 사용하여 합성 스피치 표현으로부터 추출된 운율 정보에 따라 추가로 조정될 수 있다. 여기서, 상기 변형 자동 인코더를 사용하여 합성된 스피치 표현으로부터 추출된 상기 운율 정보는 화자 분류에 적대적 손실을 적용함으로써 화자 정보로부터 분리된다.

일부 예에서, 상기 네이티브 및 교차 언어 합성 스피치 표현을 생성하기 전에, 상기 동작들은: 상기 제1 언어의 입력 텍스트 시퀀스를 네이티브 스크립트로 바꾸어 쓰는 동작(transliterating); 상기 네이티브 스크립트를 음소 시퀀스로 토큰화하는 동작; 상기 다국어 TTS 모델의 인코더를 사용하여, 상기 음소 시퀀스를 인코딩하는 동작; 및 상기 다국어 TTS 모델의 디코더를 사용하여, 상기 인코딩된 음소 시퀀스를 디코딩하여 상기 네이티브 합성 스피치 표현 또는 상기 교차 언어 합성 스피치 표현 중 각각을 생성하는 동작을 더 포함한다. 일부 실시예에서, 상기 동작들은: 변형 자동 인코더를 사용하여, 상기 네이티브 합성 스피치 표현에 대한 네이티브 오디오 인코더 임베딩을 생성하는 동작; 변형 자동 인코더를 사용하여, 상기 교차 언어 합성 스피치 표현에 대한 교차 언어 오디오 인코더 임베딩을 생성하는 동작; 상기 네이티브 및 교차 언어 오디오 인코더 임베딩에 기초하여 상기 제1 언어에 따라 조정되는 적대적 손실 항(adversarial loss term)을 결정하는 동작; 및 상기 적대적 손실 항에 기초하여 상기 다국어 TTS 모델의 파라미터를 업데이트하는 동작을 더 포함한다.

본 개시의 다른 양태는 스피치 인식 모델을 트레이닝하기 위한 시스템을 제공하며, 상기 시스템은 데이터 프로세싱 하드웨어 및 메모리 하드웨어를 포함하고, 상기 메모리 하드웨어는 명령어들을 저장하며, 상기 명령어들은 데이터 프로세싱 하드웨어에서 실행될 때, 상기 데이터 프로세싱 하드웨어로 하여금 동작들은 수행하게 한다. 상기 동작들은 다국어 TTS(text-to-speech) 모델을 획득하는 동작을 포함한다. 또한 상기 동작들은 상기 다국어 TTS 모델을 사용하여, 제1 언어의 원어민의 화자 특성에 따라 조정되는 제1 언어의 입력 텍스트 시퀀스에 대한 네이티브 합성 스피치 표현을 생성하는 동작을 포함한다. 또한 상기 동작들은 스피치 인식 모델을 사용하여, 상기 네이티브 합성 스피치 표현에 대한 제1 스피치 인식 결과 및 상기 교차 언어 합성 스피치 표현. 에 대한 제2 스피치 인식 결과를 생성하는 동작을 포함한다. 또한 상기 동작들은 제1 스피치 인식 결과 및 제2 스피치 인식 결과에 기초하여 일관성 손실 항을 결정하는 동작 및 상기 일관성 손실 항에 기초하여 스피치 인식 모델의 파라미터를 업데이트하는 동작을 포함한다.

본 개시의 하나 이상의 구현예의 세부 내용이 첨부 도면과 아래의 설명에서 기술된다. 다른 양태, 구성, 객체 및 이점은 아래의 설명, 도면 및 청구항으로부터 명백해질 것이다.

도 1은 스피치 인식 모델을 포함하는 예시적인 스피치 인식 시스템의 개략도이다.
도 2는 RNN-T(Recurrent Neural Network-Transducer) 모델 아키텍처의 개략도이다.
도 3은 스피치 인식 모델 및/또는 다국어 텍스트-투-스피치 모델을 트레이닝하기 위한 예시적인 트레이닝 프로세스의 개략도이다.
도 4는 다국어 텍스트-투-스피치 모델을 트레이닝하기 위한 예시적인 트레이닝 프로세스의 개략도이다.
도 5는 다수의 스피치 인식 모델을 트레이닝하는 다국어 텍스트-투-스피치 모델의 개략도이다.
도 6은 예시적인 스피치 인식 시스템의 개략도이다.
도 7은 자동 스피치 인식 모델을 트레이닝하는 방법에 대한 예시적인 동작 구성의 흐름도이다.
도 8는 본 명세서에 기술된 시스템 및 방법을 구현하는데 사용될 수 있는 예시적 컴퓨팅 디바이스의 개략도이다.
다양한 도면들에서 기호들은 동일한 엘리먼트를 표시한다.

자동 스피치 인식(Automatic Speech Recognition, ASR) 모델을 트레이닝하기 위해서는 막대한 양의 기록된 데이터가 필요하다. 즉, ASR 모델은 오디오 데이터와 대응하는 오디오 데이터의 전사를 포함하는 트레이닝 데이터 쌍이 필요하다. 오디오 데이터 및 대응하는 전사(예: 트레이닝 데이터 쌍)와 함께 ASR 모델을 트레이닝한다. ASR 모델은 오디오 데이터를 수신하고, 오디오 데이터의 전사(또는, 표기)를 예측하고, 예측된 전사를 대응하는 전사(즉, 실측 라벨)와 비교한다. 그러나 ASR 모델을 트레이닝하는 데 필요한 트레이닝 데이터 쌍의 양은 수집하기 어렵다. 일부 경우에는, 트레이닝 데이터 쌍에 액세스하려면 사용자 권한이 필요하다. 다른 경우에, 리소스가 적은 언어는 사용 가능한 화자들의 수가 제한되어, ASR 모델을 트레이닝하기 위한 음향 다양성이 거의 없어서, ASR 모델 성능을 약간만 개선한다. 예를 들어, 인도어(예: 칸나다어, 텔루구어, 타밀어, 벵골어)와 같은 리소스가 적은 언어의 경우 형식적이고 제한된 말하기 스타일을 가진 제한된 수의 화자만이 인도어 ASR 모델을 트레이닝하는데 사용될 수 있다. 대조적으로 영어와 같은 리소스가 많은 언어의 경우 영어 ASR 모델을 트레이닝하는데 사용할 수 있는 다양한 말하기 스타일을 가진 수천 명의 화자들이 있을 수 있다.

본 명세서에서의 구현은 ASR 모델을 트레이닝하는 시스템 및 방법에 관한 것이다. 특히, 다국어 TTS 모델에 입력되는 입력 텍스트 시퀀스에 대해 TTS 모델은 제1 언어로 네이티브 합성 스피치 표현을 생성한다. 네이티브 합성 스피치 표현은 모국어 원어민의 화자 특성에 따라 달라진다. TTS 모델은 또한 동일한 입력 텍스트 시퀀스에 대해 제1 언어로 교차 언어 합성 스피치 표현을 생성한다. 여기서, 교차 언어 합성 스피치 표현은 제2 언어 원어민의 화자 특성에 따라 달라진다. 즉, 교차 언어 합성 스피치 표현은 제1 언어의 비원어민 화자에 따라 달라진다. ASR 모델은 네이티브 및 교차 언어 합성 스피치 표현을 수신하고, 네이티브 합성 스피치 표현에 대한 제1 스피치 인식 결과 및 교차 언어 합성 스피치 표현에 대한 제2 스피치 인식 결과를 생성한다. 일관성 손실 항 모듈은 제1 및 제2 스피치 인식 결과의 비교에 기초하여, 일관성 손실 항을 결정하고, ASR 모델은 일관성 손실 항에 기초하여 파라미터를 업데이트한다.

본 명세서에서의 구현은 또한 다국어 TTS 모델을 트레이닝하기 위해 다국어 TTS 모델에 의해 생성된 합성 스피치 표현으로부터 화자 임베딩, 언어 임베딩 및 운율 임베딩을 분리하는 시스템 및 방법에 관한 것이다. VAE(variational autoencoder)는 네이티브 및 교차 언어 합성 스피치 표현을 수신하고 네이티브 및 교차 언어 합성 스피치 표현에 대한 네이티브 오디오 인코더 임베딩 및 교차 언어 오디오 인코더 임베딩을 각각 생성할 수 있다. 그런 다음 분류기는 상기 네이티브 및 교차 언어 오디오 인코더 임베딩에 기초하여 상기 제1 언어에 따라 조정되는 적대적 손실 항(adversarial loss term)을 결정할 수 있다. 적대적 손실 항은 악센트가 있는 합성 스피치 표현을 생성하지 않도록 파라미터를 업데이트하기 위해 다국어 TTS 모델에 의해 사용될 수 있다. 즉, 적대적 손실 항은 합성된 스피치 표현이 화자 임베딩, 언어 임베딩, 및/또는 합성된 스피치 표현에 따라 조정되는 화자 특성의 운율 임베딩과 밀접하게 유사하지 않도록 한다.

도 1은 사용자(104)의 사용자 디바이스(102) 및/또는 사용자 디바이스(102)와 통신하는 원격 컴퓨팅 디바이스(201)(예를 들어, 클라우드 컴퓨팅 환경에서 실행되는 분산 시스템의 하나 이상의 서버)에 상주하는 ASR 모델(200)을 구현하는 자동 스피치 인식(ASR) 시스템(100)을 도시한다. 사용자 디바이스(102)가 모바일 컴퓨팅 디바이스(예: 스마트폰)로 도시되어 있지만, 사용자 디바이스(102)는 제한 없이 태블릿 디바이스, 랩톱/데스크톱 컴퓨터, 웨어러블 디바이스, 디지털 어시스턴트 디바이스, 스마트 스피커/디스플레이, 스마트 기기, 자동차 인포테인먼트 시스템 또는 사물 인터넷(IoT) 디바이스와 같은 임의의 유형의 컴퓨팅 디바이스에 대응할 수 있다.

사용자 디바이스(102)는 사용자(104)가 말한 발화(106)을 수신하고(예를 들어, 사용자 디바이스(102)는 음성 발화(106)를 기록하기 위한 하나 이상의 마이크로폰을 포함할 수 있음), 상기 발화(106)를 ASR 시스템(100)에 의해 프로세싱될 수 있는 입력 음향 프레임(110)과 연관된 대응하는 디지털 형식으로 변환하도록 구성된 오디오 서브시스템(108)을 포함한다. 도시된 예에서, 사용자(104)는 각각의 발화(106)를 "What is the weather in New York City?"라는 영어 자연어 문구로 말하고, 오디오 서브시스템(108)은 ASR 시스템(100)에 대한 입력을 위해 발화(106)를 대응하는 음향 프레임들(110)로 변환한다. 그 후, ASR 모델(200)은 발화(106)에 대응하는 음향 프레임(110)을 입력으로 수신하고, 발화(106)의 대응하는 전사(예를 들어, 인식 결과/가설)(120)를 출력으로서 생성/예측한다. 도시된 예에서, 사용자 디바이스(102) 및/또는 원격 컴퓨팅 디바이스(201)는 또한 사용자 디바이스(102)의 사용자(104)에게 발화(106)에 대한 전사(120)의 표현을 제시하도록 구성된 사용자 인터페이스 생성기(107)를 실행한다. 일부 구성에서, ASR 시스템(100)으로부터 출력된 전사(120)는 예를 들어 사용자 명령을 실행하기 위해 사용자 디바이스(102) 또는 원격 컴퓨팅 디바이스(201) 상에서 실행되는 자연어 이해(NLU) 모듈에 의해 프로세싱된다. 추가적으로 또는 대안적으로, 텍스트-투-스피치 시스템(예를 들어, 사용자 디바이스(102) 또는 원격 컴퓨팅 디바이스(201)의 임의의 조합에서 실행)은 상기 전사(120)를 다른 사용자 디바이스에 의한 가청 출력을 위한 합성 스피치로 변환할 수 있다. 예를 들어, 원본 발화(106)는 전사(120)가 원본 발화(106)에서 전달된 메시지를 듣기 위해 친구에게 가청 출력을 위해 합성된 스피치로 변환되는 사용자(104)가 친구에게 보내는 메시지에 대응할 수 있다.

도 2를 참조하면, ASR 모델(200)은 E2E(end-to-end) 시퀀스-투-시퀀스 모델을 포함할 수 있다. E2E 시퀀스-투-시퀀스 모델은 인터렉티브 애플리케이션과 연관된 지연 제약을 준수하는 RNN-T(Recurrent Neural Network-Transducer) 모델 아키텍처를 포함한다. RNN-T 모델(200)은 작은 계산 공간을 제공하고 기존의 ASR 아키텍처보다 적은 메모리 요구사항을 활용하여, RNN-T 모델 아키텍처를 사용자 디바이스(102)에서 완전히 스피치 인식을 수행하는데 적합하게 한다(예를 들어, 원격 서버와의 통신이 필요하지 않다). RNN-T 모델(200)은 인코더 네트워크(210), 예측 네트워크(220) 및 조인트 네트워크(230)를 포함한다. 종래의 ASR 시스템의 음향 모델(AM)과 대략 유사 인코더 네트워크(210)는 적층된 LSTM(Long Short-Term Memory) 레이어(216)의 순환 네트워크를 포함한다. 예를 들어, 인코더는 d-차원 피처 벡터의 시퀀스(예를 들어, 음향 프레임(110)(도 1)) x = (x ₁ , x ₂ , · · · , x _T )를 판독하고, 여기서 xt ∈ Rd이고 각 시간 단계에서 고차 피처 표현을 생성한다. 이 고차 피처 표현은

로 표시될 수 있다.

유사하게, 예측 네트워크(220)는 또한 언어 모델(LM)과 유사하고, 지금까지 최종 소프트맥스 레이어(240)에 의해 출력된 비-공백 심볼의 시퀀스, y ₀ , . . . , y _ui-1 를 조밀한 표현

로 프로세싱하는 LSTM 네트워크이다. 마지막으로, RNN-T 모델 아키텍처에서, 인코더 및 예측 네트워크(210, 220)에 의해 생성된 표현은 조인트 네트워크(230)에 의해 결합된다. 그 다음, 조인트 네트워크는 다음 출력 심볼에 대한 분포인

를 예측한다. 달리 말하면, 조인트 네트워크(230)는 각각의 출력 단계(예를 들어, 시간 단계)에서 가능한 스피치 인식 가설에 대한 확률 분포를 생성한다. 여기서, "가능한 스피치 인식 가설"은 지정된 자연어에서 기호/문자를 각각 나타내는 출력 레이블의 세트에 대응한다. 예를 들어, 자연어가 영어인 경우, 출력 레이블의 세트는 27개의 기호, 예를 들어 영어 알파벳의 26자 각각에 대한 하나의 레이블과 공백을 지정하는 하나의 레이블을 포함할 수 있다. 따라서, 조인트 네트워크(230)는 미리 결정된 출력 레이블 세트 각각의 발생 가능성을 나타내는 값 세트를 출력할 수 있다. 이 값 세트는 벡터가 될 수 있으며, 출력 레이블 세트에 대한 확률 분포를 나타낼 수 있다. 일부 경우에, 출력 레이블이 자소(예: 개별 문자, 잠재적으로 구두점 및 기타 기호)이지만, 출력 레이블 세트는 그렇게 제한되지 않다. 예를 들어, 출력 레이블 세트는 자소에 추가로 또는 대신에 단어 조각 및/또는 전체 단어를 포함할 수 있다. 조인트 네트워크(230)의 출력 분포는 상이한 출력 레이블들 각각에 대한 사후 확률 값을 포함할 수 있다. 따라서, 상이한 자소 또는 다른 기호를 나타내는 100개의 상이한 출력 레이블이 있는 경우, 조인트 네트워크(230)의 출력 yi는 각 출력 레이블에 대해 하나씩 100개의 상이한 확률 값을 포함할 수 있다. 그 다음, 확률 분포는 전사(120)를 결정하기 위한 빔 검색 프로세스(예를 들어, 소프트맥스 레이어(240)에 의해)에서 후보 정법 엘리먼트(예를 들어, 자소, 단어 조각 및/또는 단어)에 점수를 선택하고 할당하는데 사용될 수 있다.

소프트맥스 레이어(240)는 대응하는 출력 단계에서 RNN-T모델(200)에 의해 예측된 다음 출력 심볼로서 분포에서 가장 높은 확률을 갖는 출력 레이블/심볼을 선택하기 위해 임의의 기법을 사용할 수 있다. 이와 같이, RNN-T 모델(200)은 조건부 독립 가정을 하지 않고, 각 심볼의 예측은 음향뿐만 아니라 지금까지 출력된 레이블들의 시퀀스에 따라 조절된다. RNN-T 모델(200)은 출력 심볼이 미래의 음향 프레임(110)과 독립적이라고 가정하며, 이는 RNN-T 모델(200)이 스트리밍 방식으로 사용될 수 있게 한다.

일부 예에서, RNN-T 모델(200)의 인코더 네트워크(210)는 8개의 2,048-차원 LSTM 레이어들로 구성되고, 그 각각은 640-차원 투영 레이어가 뒤따른다. 예측 네트워크(220)는 2개의 2,048-차원 LSTM 레이어들을 가질 수 있고, 이들 각각은 또한 640-차원 투영 레이어가 뒤따른다. 마지막으로, 조인트 네트워크(230)는 또한 640개의 히든 유닛을 가질 수 있다. 소프트맥스 레이어(240)는 복수의 트레이닝 텍스트 발화들에서 모든 고유한 단어 조각 또는 자소를 사용하여 생성되는 통합된 단어 조각 또는 자소 세트로 구성될 수 있다.

도 3은 ASR 모델(200) 및/또는 다국어 TTS 모델(310)(TTS 모델(310)이라고도 함)을 트레이닝하기 위한 예시적인 트레이닝 프로세스(300)를 도시한다. TTS 모델(310)은 복수의 시간 단계들 각각에서, 복수의 비음성 트레이닝 텍스트 발화들(302)(입력 텍스트 시퀀스들(302)이라고도 함) 각각에 대한 합성 스피치 표현(306)을 생성하도록 구성된다. 입력 텍스트 시퀀스(302)는 각 입력 텍스트 시퀀스(302)가 임의의 합성 스피치 비합성 스피치 표현과 페어링되지 않도록 텍스트 전용 데이터인 비음성 텍스트, 즉 페어링되지 않은 데이터를 포함한다. 즉, 입력 텍스트 시퀀스(302)는 사람 스피치의 대응하는 발화와 페어링되지 않는다. 따라서, TTS 모델(310)은 각각의 입력 텍스트 시퀀스(302)에 대해 대응하는 합성 스피치 표현(306)을 생성한다. 즉, TTS 모델(310)은 페어링되지 않은 입력 텍스트 시퀀스(302)에 대한 합성 스피치 표현(306)을 예측함으로써 셀프-지도를 통해 페어링된 데이터를 생성한다. 특히, 합성된 스피치 표현(306)은 ASR 모델(200)을 트레이닝하기 위한 멜-주파수 스펙트로그램 프레임들을 포함할 수 있고, 이에 의해 TTS 모델(310)이 멜-주파수 스펙트로그램 프레임들을 합성된 스피치로 합성하기 위해 보코더 및/또는 합성기를 포함할 필요성을 제거한다.

일부 예에서, TTS 모델(310)은 각각의 입력 텍스트 시퀀스(302)에 대한 다수의 합성 스피치 표현들(306)을 생성한다. 합성된 스피치 표현(306) 각각은 상이한 언어의 원어민의 화자 특성(304)에 따라 조정될 수 있다. 일부 예에서, 각각의 언어의 각 원어민에 대한 화자 특성(304)은 화자 임베딩(305)(도 6), 언어 임베딩(303)(도 6) 및/또는 액센트/방언 정보를 나타내는 로컬 임베딩(307)(도 6)을 포함하며, 도 6을 참조하여 아래에서 더 자세히 논의된다.

도시된 예에서, TTS 모델(310)은 제1 언어로 된 입력 텍스트 시퀀스(302)를 수신한다. 예를 들어, 입력 텍스트 시퀀스(302)는 칸나다어의 저자원 언어(즉, 제1 언어)로 된 입력 텍스트를 나타낼 수 있다. 그 후, TTS 모델(310)은 제1 언어의 원어민의 화자 특성(304, 304a)에 따라 조정되는 제1 언어의 입력 텍스트 시퀀스(302)에 대한 네이티브 합성 스피치 표현(306, 306a)을 생성한다. 제1 언어 원어민의 화자 특성(304a)은 제1 조건 입력(304a)으로 지칭될 수 있다. 예를 계속하면, TTS 모델(310)은 칸나다어 원어민의 화자 특성(304)에 따라 칸나다어로 네이티브 합성 스피치 표현(306a)을 생성한다. 따라서, 네이티브 합성 스피치 표현(306a)은 입력 텍스트 시퀀스(302)의 대응하는 언어의 원어민 화자의 화자 특성(304a)에 따라 조정된다.

일부 구현예에서, 트레이닝 프로세스(300)는 네이티브 합성 스피치 표현(306a)을 대응하는 입력 텍스트 시퀀스(302)에 대한 제1 언어의 원어민 화자의 실측 오디오와 비교함으로써 C2F(coarse-to-fine) 손실(315)을 생성한다. 따라서, C2F 손실(315)은 원어민으로부터의 비합성 스피치(예를 들어, 실측 오디오)와 네이티브 합성 스피치 표현(306a) 사이의 차이를 나타낸다. 트레이닝 프로세스(300)는 C2F 손실(315)을 TTS 모델(310)에 제공하고 C2F 손실(315)에 기초하여 TTS 모델(310)의 파라미터를 업데이트한다.

그러나 일부 경우에, 특정 저자원 언어에 대한 제1 언어의 원어민 화자의 수가 제한되기 때문에 네이티브 합성 스피치 표현(306a)의 음향 다양성이 제한된다. 즉, 칸나다어와 같은 인도어는 TTS 모델(310)이 합성된 스피치 표현(306)을 조정할 수 있는 칸나다어 원어민 한 명 또는 두 명에 대한 화자 특성(예: 조건 입력)(304)만을 가질 수 있다. 합성된 스피치 표현(306)의 제한된 음향 다양성은 ASR 모델을 트레이닝할 때 점진적인 개선만을 제공한다. 대조적으로, 영어와 고자원 언어는 다양한 말하기 스타일을 가진 수천 명의 원어민이 있으므로 트레이닝 동안 ASR 모델을 크게 개선한다.

일부 구현예에서, TTS 모델(310)은 제1 언어와 상이한 제2 언어의 원어민의 화자 특성(304a, 304b)에 따라 조정된 제1 언어로 된 동일한 입력 텍스트 시퀀스(302)에 대한 교차 언어 합성 스피치 표현(306, 306b)을 생성한다. 즉, TTS 모델(310)은 제2 언어의 원어민의 화자 특성(304b)을 전달하는 제1 언어의 입력 텍스트 시퀀스(302)에 대한 교차 언어 합성 스피치 표현(306b)을 생성한다. 제2 언어 원어민의 화자 특성(304b)은 제2 조건 입력(304a)으로 지칭될 수 있다. 예를 들어, TTS 모델(310)은 영어 원어민의 화자 특성(304b)에 따라 조정된 칸나다어로 된 동일한 입력 텍스트 시퀀스(302)에 대한 교차 언어 합성 스피치 표현(306b)을 생성한다. 다른 말로 하면, 교차 언어 합성 스피치 표현(306b)은 영어 원어민으로서 말하는 칸나다어 음성을 나타낸다. 따라서, 교차 언어 합성 스피치 표현(306b)은 입력 텍스트 시퀀스(302)의 언어와 다른 언어의 원어민 화자 특성(304b)에 따라 조정된다.

상이한 언어의 원어민의 화자 특성에 따라 합성된 스피치 표현(306)을 조정함으로써, TTS 모델(310)은 합성된 스피치 표현(306) 사이의 음향 다양성을 증가시키기 위해 제1 언어의 각각의 입력 텍스트 시퀀스(302)에 대해 다수의 합성된 스피치 표현들(306)을 생성할 수 있다. 즉, TTS 모델(310)은 제2 언어 화자가 제1언어를 말하지 않는 경우에도, 제1 언어(예를 들어, 칸나다어)의 입력 텍스트 시퀀스(302)를 합성하기 위해 제2 언어(예를 들어, 영어)로부터 하나 이상의 화자들을 활용할 수 있다. 따라서, TTS 모델(310)은 영어와 같은 고자원 언어를 활용하여 영어 원어민의 화자 특성을 획득하여 저자원 언어에 대해 생성된 합성 스피치 표현 간의 음향 다양성을 증가시켜 ASR 모델을 트레이닝할 수 있다. 더욱이, TTS 모델(310)은 비음성 입력 텍스트 시퀀스(302)에 대한 합성된 스피치 표현(306)을 생성하여 ASR 모델(200)에 대한 트레이닝 데이터의 어휘 다양성을 증가시킬 수 있다.

일부 구현예에서 트레이닝 프로세스(300)는 스펙트로그램 일관성 손실(미도시)을 생성한다. 즉, 트레이닝 프로세스는 제2 언어 원어민의 화자 특성(304b)에 따라 조정된 교차 언어 합성 스피치 표현(306b)에 대해 교사 강요를 수행하기 위해 제1 언어 원어민의 실측 오디오로부터 잠재 변수를 추출할 수 있다. 그 후, 대응하는 입력 텍스트 시퀀스(302)에 대해, 트레이닝 프로세스(300)는 스펙트로그램 일관성 손실을 결정하기 위해, 교차 언어 합성 스피치 표현(306b)(예를 들어, 교사 강요에 기초함)과 제1 언어의 원어민의 실측 오디오 사이의 평균 제곱 오차(Mean Squared Error, MSE)를 계산한다. 따라서, 스펙트로그램 일관성 손실은 교차 언어 합성 스피치 표현(306b)과 제1 언어 원어민의 실측 오디오 사이의 일관성을 촉진한다. 스펙트로그램 일관성 손실은 TTS 모델(310)의 파라미터를 업데이트하기 위해 TTS 모델(310)에 대한 피드백으로서 제공될 수 있다.

도시된 예에서, TTS 모델(310)은 명료함을 위해 단지 2명의 화자(304a, 304b)의 화자 특성(304a, 304b)에 따라 조정된 합성된 스피치 표현들(306)을 생성한다. 즉, TTS 모델(310)은 임의의 수의 화자의 화자 특성(304)에 따라 조정된 임의의 수의 합성 스피치 표현들(306)을 생성할 수 있다. 예를 들어, TTS 모델(310)은 제3 언어의 원어민(예를 들어, 스페인에서 사용되는 스페인어의 원어민)의 화자 특성에 따라 조정되는 칸나다어로 제3 합성 스피치 표현(306)을 생성할 수 있다. 선택적으로, TTS 모델(310)은 제1 언어의 제2 원어민의 화자 특성에 따라 조정된 칸나다어로 제4 합성 스피치 표현(306)을 생성할 수 있다.

일부 구현예에서, 트레이닝 프로세스(300)는 네이티브 합성 스피치 표현(306a) 및/또는 교차 언어 합성 스피치 표현(306b) 중 적어도 하나에 데이터 증강을 적용하는 데이터 증강 모듈(360)을 포함한다. 합성된 스피치 표현(306)의 데이터 증강은 ASR 모델(200)을 트레이닝하는데 사용되는 트레이닝 샘플의 음향 다양성을 추가하도록 구성된다. 일부 예에서, 데이터 증강 모듈(360)은 잡음 추가/주입, 반향 추가 또는 합성된 스피치 표현(306)의 타이밍 조작 중 적어도 하나를 포함하는 데이터 증강 기법을 적용한다. 또 다른 데이터 증강 기법은 MTR(Multistyle Training)을 사용하여 합성된 스피치 표현에 다양한 환경 소음을 주입하는 것을 포함한다. 데이터 증강 모듈(360)이 MTR에 추가하여 또는 MTR 대신에 적용할 수 있는 또 다른 데이터 증강 기법은 합성된 스피치 표현의 음향을 더 가깝게 만들기 위해 스펙트럼 증강(SpecAugment)를 사용하는 것을 포함한다. 조합하여, MTR 및 SpecAugment는 합성 스피치 표현(306)에 노이즈를 주입하고, 시간에 따라 무작위 외부 노이즈 소스를 타일링하고 표현 이전에 삽입되고 중첩되며, ASR 모델(200)을 트레이닝하기 전에 노이즈 주입 합성 스피치 표현(306)을 필터링할 수 있다.

예시적인 트레이닝 프로세스(400)는 다국어 TTS 모델(310)에 의해 생성된 다수의 합성 스피치 표현들(306)을 사용하여 ASR 모델(200)을 트레이닝한다. 도시된 예에서, ASR 모델(200)은 제1 언어(예를 들어, 칸나다어)로 말한 스피치를 인식하도록 트레이닝된다. 각각의 합성된 스피치 표현(306)에 대해 ASR 모델(200)은 대응하는 스피치 인식 결과(312)를 생성한다. 스피치 인식 결과(312)는 가능한 스피치 인식 가설에 대한 확률 분포를 나타낼 수 있다. ASR 모델(200)은 네이티브 합성 스피치 표현(306a)에 대한 제1 스피치 인식 결과(312, 312a) 및 교차 언어 합성 스피치 표현(306b)에 대한 제2 스피치 인식 결과(312, 312b)를 생성한다. 위의 예에서 계속해서, ASR 모델(200)은 제1 조건 입력(306a)(예를 들어, 칸나다어 원어민의 화자 특성(306a))에 따라 조정된 네이티브 합성 스피치 표현(306a)에 대한 멜-주파수 스펙트로그램 프레임들을 수신하고, 제1 스피치 인식 결과(312a)를 생성한다. ASR 모델은 또한 제2 조건 입력(304b)(예를 들어, 영어 원어민의 화자 특성(304b))에 따라 조정된 교차 언어 합성 스피치 표현(306b)에 대한 멜-주파수 스펙트로그램 프레임들을 수신하고, 제2 스피치 인식 결과(312b)를 생성한다.

일부 예에서, 트레이닝 프로세스(300)는 제1 및 제2 스피치 인식 결과(312a, 312b)에 기초하여 일관성 손실 항(352)을 결정한다. 예를 들어, 트레이닝 프로세스(300)는 복수의 시간 단계들 중 각각의 단계에서 ASR 모델(200)에 의해 출력된 대응하는 스피치 인식 결과(312a, 312b)를 수신하고, 상기 복수의 시간 단계들 중 각각의 단계에서 대응하는 스피치 인식 결과들(312a, 312b) 사이의 일관성 손실 항(352)을 결정하도록 구성된 일관성 손실 항 모듈(350)을 이용할 수 있다. 일관성 손실 항 모듈(350)은 가능한 제1 합성 스피치 결과 가설에 대한 제1 확률 분포와 가능한 제2 합성 스피치 결과 가설에 대한 제2 확률 분포 사이의 쿨백-라이블러 발산(Kullback-Leibler Divergence, DKL)에 기초하여 일관성 손실 항(352)을 결정할 수 있다.

일관성 손실 항(352)은 ASR 모델(200)의 정확도와 무관하고, 네이티브 합성 스피치 표현(306a)으로부터 인식된 제1 스피치 인식 결과(312a)와 교차 언어 합성 스피치 표현(306b)으로부터 인식된 제2 스피치 인식 결과(312b) 사이의 일관성을 촉진하기 위해 ASR 모델(200)의 파라미터를 업데이트하기 위해 사용될 수 있는 "비지도(unsupervised)" 손실 항을 제공한다. 특히, 합성된 스피치 표현(306a, 306b)은 ASR 모델(200)에 대한 실측 정보 역할을 하는 동일한 입력 텍스트 시퀀스(302)로부터 생성된다. 다시 말해, 일관성 손실 항(352)은 ASR 모델(200)이 동일하게 행동하는 것을 학습하게 하며, 예를 들어, 동일한 입력 텍스트 시퀀스(302)에 대해 제1 언어 원어민의 화자 특성(304a)에 따라 조정된 네이티브 합성 스피치 표현(306a)과 제2 언어 원어민의 화자 특성(304b)에 따라 조정된 교차 언어 합성 스피치 표현(306b) 모두에 대해 일관된 예측을 한다. 트레이닝 동안, 일관성 손실 항 모듈(350)은 일관성 손실 항(352)에 기초하여 ASR 모델(200)의 파라미터를 업데이트하기 위해 일관성 손실 항(352)을 ASR 모델(200)에 다시 제공할 수 있다.

일부 구현예에서, 트레이닝 프로세스(300)는 스피치 인식 결과(312)를 입력으로서 수신하고, 실측 정보(ground-truth)로 역할하는 입력 텍스트 시퀀스(302)에 기초하여 지도 손실 용어(342)를 출력으로서 생성하도록 구성된 지도 손실 항 모듈(340)을 실행한다. 도시된 예에서, 트레이닝 지도 손실 항 모듈(340)은 입력 텍스트 시퀀스(302)(즉, 실측 전사)를 수신하고, 제1 스피치 인식 결과(312a)는 제1 지도 손실 항(342, 342a)(제1 교차 엔트로피 손실 항(342a)이라고도 함)을 출력한다. 따라서, 제1 지도 손실 항(342a)은 제1 스피치 인식 결과(312a)와 대응하는 입력 텍스트 시퀀스(302)(예를 들어, 목표 스피치 인식 결과) 사이의 비교에 기초한다. 제1 지도 손실 항(342a)은 네이티브 합성 스피치 표현(306a)에 기초한 제1 스피치 인식 결과(312a)의 정확도를 나타낸다.

또한, 지도 손실 항 모듈(340)은 입력 텍스트 시퀀스(302) 및 제2 스피치 인식 결과(312b)를 수신하고 제2 지도 손실 항(342, 342b)(제2 교차 엔트로피 손실 항(342b)이라고도 함)을 출력한다. 제2 지도 손실 항(342b)은 제2 스피치 인식 결과(312b)와 대응하는 입력 텍스트 시퀀스(302)(예를 들어, 목표 스피치 인식 결과) 사이의 비교에 기초한다. 따라서, 제2 지도 손실 항은 교차 언어 합성 스피치 표현(306b)에 기초한 제2 스피치 인식 결과(312b)의 정확도를 나타낸다.

지도 손실 항 모듈(340)은 제1 지도 손실 항(342a) 및 제2 지도 손실 항(342b)을 다시 ASR 모델(200)에 제공할 수 있고, ASR 모델(200)은 제1 지도 손실 항(342a) 및 제2 지도 손실 항(342b)에 기초하여 파라미터를 업데이트한다. 일부 예에서, 트레이닝 프로세스(300)는 제1 지도 손실 항(342a) 및 제2 지도 손실 항(342b)과 독립적으로 일관성 손실 항(352)에 기초하여 ASR 모델(200)의 파라미터를 업데이트한다. 선택적으로, 트레이닝 프로세스(300)는 TTS 모델(310)의 파라미터를 업데이트하기 위해 제1 지도 손실 항(342a) 및 제2 지도 손실 항(342b)을 TTS 모델(310)로 역전파할 수 있다. 여기서, ASR 모델(200)은 ASR 모델(200)의 파라미터가 정적이고(예를 들어, 업데이트되지 않음) 제1 및 제2 지도 손실 항(342a, 342b)에 기초하여 TTS 모델(310)의 파라미터를 업데이트하도록 고정된다.

도 4는 다국어 TTS 모델(310)을 트레이닝하기 위한 예시적인 트레이닝 프로세스(400)를 도시한다. 일부 구현예에서, TTS 모델(310)은 특정 화자의 화자 특성에 밀접하게 대응하는 합성 스피치 표현(306)을 생성한다. 예를 들어, 제1 언어(304a)의 제한된 수의 원어민은 제한된 수의 화자의 화자 특성과 매우 유사한 네이티브 합성 스피치 표현(306a)을 생성하는 TTS 모델(310)을 초래할 수 있다. 이와 같이, ASR 모델(200)(도 3)은 제한된 수의 화자에 대한 화자 특성과 유사한 합성 스피치 표현(306)에 대해서만 트레이닝한다. 따라서, 트레이닝 프로세스(400)는 합성된 스피치 표현(306)으로부터 화자, 언어, 및/또는 운율 정보를 분리하도록 구성된 계층적 변이 자동 인코더(Variational AutoEncoder, VAE)(410)를 포함한다.

일부 예에서, TTS 모델(310)은 각각의 입력 텍스트 시퀀스(302)에 대한 다수의 합성 스피치 표현들(306)을 생성한다. 각각의 합성 스피치 표현(306)은 상이한 화자 특성(304)을 갖는 상이한 화자를 나타내는 조건 입력(304)에 따라 조정될 수 있다. 일부 예에서, 화자는 특정 화자의 화법을 나타내는 화자 특성(304)을 포함한다. 즉, 특정 화자에 대한 화자 특성(304)은 화자 임베딩(305)(도 6), 언어 임베딩(303)(도 6) 및/또는 악센트/방언 정보를 나타내는 로컬 임베딩(307)(도 6)을 포함할 수 있으며, 도 6을 참조하여 더 자세히 논의된다.

도시된 예에서, TTS 모델(310)은 제1 언어로 된 입력 텍스트 시퀀스(302)를 수신한다. 예를 들어, 입력 텍스트 시퀀스(302)는 칸나다어의 저자원 언어(즉, 제1 언어)로 된 입력 텍스트를 나타낼 수 있다. 그 후, TTS 모델(310)은 제1 언어(304, 304a)의 원어민의 화자 특성(304a)에 따라 조정되는 제1 언어의 입력 텍스트 시퀀스(302)에 대한 네이티브 합성 스피치 표현(306, 306a)을 생성한다. 예를 계속하면, TTS 모델(310)은 칸나다어(304a) 원어민의 화자 특성(304a)에 따라 칸나다어로 네이티브 합성 스피치 표현(306a)을 생성한다. 따라서, 네이티브 합성 스피치 표현(306a)은 입력 텍스트 시퀀스(302)의 대응하는 언어의 원어민 화자의 화자 특성(304a)에 따라 조정된다.

일부 구현예에서, 도 3a의 트레이닝 프로세스(300)와 관련하여 상기 기술된 바와 같이, 도 4a의 트레이닝 프로세스(400)는 네이티브 합성 스피치 표현(306a)을 대응하는 입력 텍스트 시퀀스(302)에 대한 제1 언어의 원어민 화자의 실측 오디오와 비교함으로써 C2F(coarse-to-fine) 손실(315)을 생성한다. 따라서, C2F 손실(315)은 원어민으로부터의 비합성 스피치(예를 들어, 실측 오디오)와 네이티브 합성 스피치 표현(306a) 사이의 차이를 나타낸다. 트레이닝 프로세스(400)는 C2F 손실(315)을 TTS 모델(310)에 제공하고 C2F 손실(315)에 기초하여 TTS 모델(310)의 파라미터를 업데이트한다.

일부 구현예에서, TTS 모델(310)은 또한 제1 언어와 상이한 제2 언어의 원어민의 화자 특성(304a, 304b)에 따라 조정된 제1 언어로 된 동일한 입력 텍스트 시퀀스(302)에 대한 교차 언어 합성 스피치 표현(306, 306b)을 생성한다. 즉, TTS 모델(310)은 제2 언어의 원어민이 제1 언어로 말할 것이기 때문에 입력 텍스트 시퀀스(302)에 대한 교차 언어 합성 스피치 표현(306b)을 생성한다. 예를 들어, TTS 모델(310)은 영어 원어민의 화자 특성(304b)에 따라 조정된 칸나다어로 된 동일한 입력 텍스트 시퀀스(302)에 대한 교차 언어 합성 스피치 표현(306b)을 생성한다. 다른 말로 하면, 교차 언어 합성 스피치 표현(306b)은 영어 원어민으로서 말할 칸나다어 스피치를 나타낸다. 따라서, 교차 언어 합성 스피치 표현(306b)은 입력 텍스트 시퀀스(302)의 언어와 다른 언어의 원어민 화자 특성(304b)에 따라 조정된다.

다수의 화자들(304)에 따라 합성된 스피치 표현(306)을 조정함으로써, TTS 모델(310)은 합성된 스피치 표현(306)의 음향 다양성을 증가시키기 위해 제1 언어의 각각의 입력 텍스트 시퀀스(302)에 대해 다수의 합성된 스피치 표현들(306)을 생성할 수 있다. 즉, TTS 모델(310)은 제2 언어 화자가 제1언어를 말하지 않는 경우에도, 제1 언어(예를 들어, 칸나다어)로부터 입력 텍스트 시퀀스(302)를 합성하기 위해 제2 언어(예를 들어, 영어)로부터 하나 이상의 화자들을 활용할 수 있다. 따라서, TTS 모델(310)은 영어와 같은 고자원 언어를 활용하여 저자원 언어에 대한 합성된 스피치 표현을 생성하여 ASR 모델을 트레이닝할 수 있다. 더욱이, TTS 모델(310)은 비음성 입력 텍스트 시퀀스(302)에 대한 합성된 스피치 표현(306)을 생성하여 ASR 모델(200)에 대한 트레이닝 데이터의 어휘 다양성을 증가시킬 수 있다.

일부 구현예에서 트레이닝 프로세스(400)는 스펙트로그램 일관성 손실(미도시)을 생성한다. 즉, 트레이닝 프로세스는 제2 언어(304b)의 원어민에 대한 교사 강요를 수행하기 위해 제1 언어의 원어민의 실측 오디오로부터 잠재 변수를 추출할 수 있다. 그 후, 대응하는 입력 텍스트 시퀀스(302)에 대해, 트레이닝 프로세스(400)는 스펙트로그램 일관성 손실을 결정하기 위해, 교차 언어 합성 스피치 표현(306b)(예를 들어, 교사 강요에 기초함)과 제1 언어의 원어민의 실측 오디오 사이의 평균 제곱 오차(Mean Squared Error, MSE)를 계산한다. 따라서, 스펙트로그램 일관성 손실은 교차 언어 합성 스피치 표현(306b)과 제1 언어 원어민의 실측 오디오 사이의 일관성을 촉진한다. 스펙트로그램 일관성 손실은 TTS 모델(310)의 파라미터를 업데이트하기 위해 TTS 모델(310)에 대한 피드백으로서 제공될 수 있다.

도시된 예에서, TTS 모델(310)은 명료함을 위해 단지 2명의 화자(304a, 304b)에 따라 조정된 합성된 스피치 표현들(306)을 생성한다. 즉, TTS 모델(310)은 임의의 수의 화자들(304)의 화자 특성(304)에 따라 조정된 임의의 수의 합성 스피치 표현들(306)을 생성할 수 있다. 예를 들어, TTS 모델(310)은 제3 언어의 원어민(예를 들어, 스페인에서 사용되는 스페인어의 원어민)의 화자 특성에 따라 조정되는 칸나다어로 제3 합성 스피치 표현(306)을 생성할 수 있다. 선택적으로, TTS 모델(310)은 제1 언어의 제2 원어민의 화자 특성에 따라 조정된 칸나다어로 제4 합성 스피치 표현(306)을 생성할 수 있다.

일부 구현예에서, 트레이닝 프로세스(400)는 네이티브 합성 스피치 표현(306a) 및/또는 교차 언어 합성 스피치 표현(306b) 중 적어도 하나에 데이터 증강을 적용하는 데이터 증강 모듈(360)을 포함한다. 합성된 스피치 표현(306)의 데이터 증강은 ASR 모델(200)을 트레이닝하는데 사용되는 트레이닝 샘플의 음향 다양성을 추가하도록 구성된다. 일부 예에서, 데이터 증강 모듈(360)은 잡음 추가/주입, 반향 추가 또는 합성된 스피치 표현(306)의 타이밍 조작 중 적어도 하나를 포함하는 데이터 증강 기법을 적용한다. 또 다른 데이터 증강 기법은 MTR(Multistyle Training)을 사용하여 합성된 스피치 표현에 다양한 환경 소음을 주입하는 것을 포함한다. 데이터 증강 모듈(360)이 MTR에 추가하여 또는 MTR 대신에 적용할 수 있는 또 다른 데이터 증강 기법은 합성된 스피치 표현의 음향을 더 가깝게 만들기 위해 스펙트럼 증강(SpecAugment)를 사용하는 것을 포함한다. 조합하여, MTR 및 SpecAugment는 합성 스피치 표현(306)에 노이즈를 주입하고, 시간에 따라 무작위 외부 노이즈 소스를 타일링하고 표현 이전에 삽입되고 중첩되며, ASR 모델(200)을 트레이닝하기 전에 노이즈 주입 합성 스피치 표현(306)을 필터링할 수 있다.

예시적인 트레이닝 프로세스(400)는 다국어 TTS 모델(310)에 의해 생성된 다수의 합성 스피치 표현들(306)을 사용하여 ASR 모델(200)을 트레이닝한다. 도시된 예에서, ASR 모델(200)은 제1 언어(예를 들어, 칸나다어)로 스피치를 인식하도록 트레이닝된다. 각각의 합성된 스피치 표현(306)에 대해 ASR 모델(200)은 대응하는 스피치 인식 결과(312)를 생성한다. 스피치 인식 결과(312)는 가능한 스피치 인식 가설에 대한 확률 분포를 나타낼 수 있다. ASR 모델(200)은 네이티브 합성 스피치 표현(306a)에 대한 제1 스피치 인식 결과(312, 312a) 및 교차 언어 합성 스피치 표현(306b)에 대한 제2 스피치 인식 결과(312, 312b)를 생성한다. 위의 예에서 계속해서, ASR 모델(200)은 제1 조건 입력(304a)(예를 들어, 칸나다어 원어민의 화자 특성)에 따라 조정된 네이티브 합성 스피치 표현(306a)에 대한 멜-주파수 스펙트로그램 프레임들을 수신하고, 제1 스피치 인식 결과(312a)를 생성한다. ASR 모델은 또한 제2 조건 입력(304b)(예를 들어, 영어 원어민의 화자 특성)에 따라 조정된 교차 언어 합성 스피치 표현(306b)에 대한 멜-주파수 스펙트로그램 프레임들을 수신하고, 제2 스피치 인식 결과(312b)를 생성한다.

트레이닝 프로세스(400)는 또한 합성된 스피치 표현(306)에 대한 인코더 임베딩(412)을 생성하도록 구성된 계층적 VAE(VAE로 상호 교환적으로 지칭됨)(410)를 포함한다. VAE(410)는 각각의 합성된 스피치 표현(306)의 고정된 2초 청크를 1초 중첩으로 인코딩하도록 구성된 로컬 인코더 및 전체 합성된 스피치 표현(306)을 인코딩하도록 구성된 글로벌 인코더를 포함한다. 도시된 예에서, VAE(410)는 네이티브 합성 스피치 표현(306a)을 수신하고 네이티브 오디오 인코더 임베딩(412, 412a)을 생성한다. 네이티브 오디오 인코더 임베딩(412a)은 네이티브 합성 스피치 표현(306a)으로부터 추출된 잠재 변수를 나타낸다. 예를 들어, 네이티브 오디오 인코더 임베딩(412)은 네이티브 합성 스피치 표현(306a)으로부터 추출된 운율/악센트 정보를 나타낼 수 있다. 또한, VAE(410)는 교차 언어 합성 스피치 표현(306b)을 위한 교차 언어 오디오 인코더 임베딩(412, 412b)을 생성한다. 교차 언어 오디오 인코더 임베딩(412b)은 교차 언어 합성 스피치 표현(306b)으로부터 추출된 잠재 변수(예를 들어, 운율/악센트 정보)를 나타낸다.

트레이닝 프로세스(400)는 또한 네이티브 오디오 인코더 임베딩(412a) 및 교차 언어 오디오 인코더 임베딩(412b)을 수신하는 분류기(420)를 실행한다. 분류기(420)는 언어 분류기일 수 있다. 분류기(420)는 네이티브 오디오 인코더 임베딩(412a) 및 교차 언어 오디오 인코더 임베딩(412b)에 기초하여 적대적 손실 항(422)을 결정한다. TTS 모델(310)은 분류기(420)로부터 적대적 손실 항(422)을 수신하고 적대적 손실 항(422)에 기초하여 TTS 모델(310)의 파라미터를 업데이트한다. 즉, 적대적 손실 항(422)은 TTS 모델(310)이 화자(304)의 운율/악센트 정보와만 유사한 합성 스피치 표현(306)을 생성하지 못하게 한다. 달리 말하면, VAE(410)를 사용하여 합성된 스피치 표현(306)으로부터 추출된 인코더 임베딩(412)은 화자 분류에 적대적 손실 항(422)을 적용함으로써 화자 정보로부터 분리된다.

이제 도 5를 참조하면, 일부 구현예에서, TTS 모델(310)은 다수의 단일 언어 ASR 모델(200)을 개별적으로 트레이닝하기 위해 상이한 언어로 합성된 스피치 표현(306)을 생성한다. 도시된 예에서, 제1 ASR 모델(200, 200a)은 제1 언어로 음성을 인식하기 위해 제1 언어로 TTS 모델(310)에 의해 생성된 합성된 스피치 표현(306, 306A)에 대해 트레이닝되고, 제2 ASR 모델(200, 200b)은 제2 언어의 음성을 인식하기 위해 제2 언어의 TTS 모델(310)에 의해 생성된 합성된 스피치 표현(306, 306B)에 대해 트레이닝되고, 제3 ASR 모델(200, 200c)은 제3 언어로 된 음성을 인식하기 위해 제3 언어로 된 TTS 모델(310)에 의해 생성된 합성된 스피치 표현(306, 306C)에 대해 트레이닝된다. 다른 예에서, TTS 모델(310)은 단일 다국어 ASR 모델(200)이 다수의 언어로 된 스피치를 인식하도록 트레이닝하기 위해 다수의 언어들로 합성된 스피치 표현(306)을 생성한다. 이와 같이, 다국어 TTS 모델(310)은 하나 이상의 단일 언어 ASR 모델(200) 및/또는 다국어 ASR 모델(200)을 트레이닝하기 위한 트레이닝 오디오 데이터로서 사용하기 위해 다수의 상이한 언어로 된 입력 텍스트 시퀀스로부터 합성된 스피치 표현을 생성한다. 각각의 언어의 합성 스피치 표현은 각각의 언어의 원어민 화자의 화자 특성(304a)에 따라 조정되는 각각의 언어의 네이티브 합성 스피치 표현(306a) 및/또는 상이한 언어의 원어민의 화자 특성(304b)에 따라 조정되는 각각의 언어의 교차 언어 스피치 표현(306b)(도 3) 모두를 포함할 수 있다. 도시된 예는 멜-주파수 스펙트로그램을 포함할 수 있는 합성 스피치 표현에 대해 트레이닝되는 ASR 모델(200)을 도시하지만, ASR 모델(200)은 예를 들어, 보코더(도시되지 않음) 또는 다른 합성기 디바이스(도시되지 않음)를 통해 합성된 스피치 표현으로부터 변환된 합성된 스피치의 시간-도메인 오디오 파형에 대해 유사하게 트레이닝될 수 있다.

도시된 예에서, TTS 모델(310)은 입력 텍스트 시퀀스(302) 및 하나 이상의 조건 입력(304)을 입력으로 수신하고, 각각의 언어로 ASR 모델(200)을 트레이닝하기 위해 각각의 언어로 합성 스피치 표현(306)을 출력으로 생성한다. 여기서, 각각의 언어로 입력 텍스트 시퀀스(302)로부터 생성된 합성 스피치 표현(306)을 조정하기 위해 TTS 모델(310)에 의해 수신된 조정 입력(304)은 각 언어와 연관된 언어 임베딩(303), 각 화자의 목소리 특성을 지정하는 화자 임베딩(305) 또는 악센트/방언 정보를 지정하는 로컬 임베딩(307) 중 적어도 하나를 포함할 수 있다. 이와 같이, 결과적인 합성 스피치 표현(306)은 화자 임베딩(305)에 의해 지정되는 타겟 화자의 목소리에서 로컬 임베딩에 의해 지정되는 악센트/방언을 갖는 화법을 전달할 수 있다.

도 6은 예시적인 스피치 인식 시스템(600)의 개략도를 도시한다. 여기에서, TTS 모델(310)은 대응하는 입력 텍스트 시퀀스(302)에 대한 각각의 화자의 화자 특성(304)에 따라 각각 조정되는 합성된 스피치 표현(306)을 생성한다. 화자 특성(304)은 언어 임베딩(303), 화자 임베딩(305) 및/또는 로컬 임베딩(307)을 포함할 수 있다. 즉, 언어 임베딩(303)은 생성될 합성 스피치 표현(306)의 언어와 연관된 언어 정보를 지정할 수 있고, 화자 임베딩(305)은 타겟 화자의 목소리 특성을 나타낼 수 있으며, 로컬 임베딩(307)은 생성될 합성 스피치 표현(306)과 연관된 악센트/방언을 지정할 수 있다.

음소 토크나이저(610)는 입력 텍스트 시퀀스(302)를 수신하고 텍스트 시퀀스(302)의 언어를 네이티브 스크립트로 바꾸어 쓴다(transliterating). 일부 구현예에서, 음소 토크나이저(610)는 언어 임베딩(303)에 기초하여 텍스트 시퀀스(302)의 언어를 네이티브 스크립트로 바꾸어 쓴다. 음소 토크나이저(610)는 네이티브 스크립트를 음소 시퀀스(612)로 토큰화한다. 음소 토크나이저(610)의 모든 언어는 SAMPA(Speech Assessment Methods Phonetic Alphabet) 파생 음소 세트를 공유한다. 음소 토크나이저(610)는 입력된 텍스트 시퀀스(302)에 대응하는 음소 시퀀스(612)를 TTS 모델(310)의 입력으로 제공한다.

TTS 모델(310)은 제1 및 제2 언어에 걸쳐 언어 임베딩(즉, 언어 식별자)(303)을 공유하는 인코더 부분(316)을 포함한다. 언어 임베딩(303)은 음소 임베딩 추출을 개선하기 위해 인코더 부분(316)에 입력될 수 있다. 여기서, 언어 임베딩은 TTS 모델(310)과 공동으로 트레이닝될 수 있다. TTS 모델(310)은 또한 제1 및 제2 언어에 걸쳐 언어 임베딩(303)을 공유하고 상이한 화자에 대한 화자 임베딩(305)을 공유하는 디코더 부분(318)을 포함한다. 디코더 부분(318)은 또한 로컬 임베딩(307)을 공유할 수 있다.

인코더 부분(316)은 음소 시퀀스(612)를 인코딩하여 인코딩된 음소 시퀀스(612, 612E)를 생성하도록 구성된다. 일부 구현예에서, 인코더 부분(316)은 디코더 부분(318)의 각각의 출력 단계에 대한 고정 길이 컨텍스트 벡터로서 대응하는 인코딩된 음소 시퀀스(612E)를 생성하기 위해 음소 시퀀스(612)를 수신하도록 구성된 어텐션 네트워크를 포함한다. 즉, 인코더 부분(316)에서의 어텐션 네트워크는 디코더 부분(318)이 나중에 생성할 멜-주파수 스펙트로그램(예를 들어, 합성 스피치 표현(306))의 각 프레임에 대한 고정 길이 벡터를 생성할 수 있다. 어텐션 네트워크는 인코더 부분(316) 출력의 각 요소에 대한 가중치를 결정할 수 있고 각 요소의 가중 합을 결정함으로써 고정 길이 벡터를 생성할 수 있다. 어텐션 가중치는 각각의 디코더 부분(318) 시간 단계에 대해 변경될 수 있다.

따라서, 디코더 부분(318)은 합성된 스피치 표현(306)을 생성하기 위해 인코더 부분(316), 화자 임베딩(305) 및 언어 임베딩(303)(및 선택적으로 로컬 임베딩(317))으로부터 인코딩된 음소 시퀀스(317)를 입력으로 수신하도록 구성된다. 일부 예에서, 디코더 부분(318)은 합성된 스피치 표현(306)으로부터 추출된 운율 정보(즉, 인코더 임베딩(412))에 따라 추가로 조절된다. 합성된 스피치 표현(306)은 언어 임베딩(303)에 의해 지정된 언어로 되어 있고, 화자 임베딩(303)에 의해 지정된 타겟 화자의 음성을 나타낸다(예를 들어, 제1 언어(304a)의 원어민 또는 제2 언어(304b)의 원어민일 수 있음).

디코더 부분(318)은 인코딩된 음소 시퀀스(312E)를 디코딩하여 네이티브 합성 스피치 표현(306a) 또는 교차 언어 합성 스피치 표현(306b) 중 각각을 생성한다. 예를 들어, 디코더 부분(318)이 제1 언어에 대한 언어 임베딩(303) 및 제1 언어(304a)의 원어민에 대한 화자 임베딩(305)을 수신하는 경우, 디코더 부분(318)은 인코딩된 음소 시퀀스(612E)를 디코딩하고 네이티브 합성 스피치 표현(306a)을 생성한다. 대안적인 예에서, 디코더 부분(318)이 제1 언어에 대한 언어 임베딩(303) 및 제2 언어(304b)의 원어민에 대한 화자 임베딩(305)을 수신하는 경우, 디코더 부분(318)은 인코딩된 음소 시퀀스(612E)를 디코딩하고 교차 언어 합성 스피치 표현(306b)을 생성한다.

도시된 예에서, TTS 모델(310)은 합성된 스피치 표현(306)을 VAE(410)에 대한 입력으로서 제공한다. VAE(410)는 합성된 스피치 표현(306)을 소비하고 네이티브 오디오 인코더 임베딩(412a) 또는 교차 언어 오디오 인코더 임베딩(412b) 중 각각을 출력하도록 구성된다. 즉, VAE(410)는 합성 스피치 표현(306)으로부터 잠재 변수(예를 들어, 운율 정보)를 추출한다. 예를 들어, VAE(410)가 네이티브 합성 스피치 표현(306a)을 수신하는 경우, VAE(410)는 네이티브 합성 스피치 표현(306a)의 잠재 변수를 추출하고 네이티브 오디오 인코더 임베딩(412a)을 생성한다. 대안적으로, VAE(410)가 교차 언어 합성 스피치 표현(306b)을 수신하는 경우, VAE(410)는 교차 언어 합성 스피치 표현(306b)의 잠재 변수를 추출하고 교차 언어 오디오 인코더 임베딩(412b)을 생성한다. 일부 구현예에서, 디코더 부분(318)은 합성된 스피치 표현(306)으로부터 VAE(410)에 의해 추출된 운율 정보에 따라 추가로 조정된다. 즉, 디코더 부분(318)은 오디오 인코더 임베딩(412)을 수신하고 오디오 인코더 임베딩(412)에 기초하여 합성된 스피치 표현(306)을 추가로 조정한다. 적대적 손실(422)은 화자 정보로부터 운율을 분리하기 위해 인코딩된 음소 시퀀스(612E)에 적용될 수 있다.

분류기(420)는 오디오 인코더 임베딩(412)을 수신하고 적대적 손실(422)을 생성한다. 일부 예에서, 분류기(420)는 언어 분류기를 포함한다. 다른 예에서, 분류기(420)는 적대적 또는 화자 분류기를 포함한다. 분류기(420)는 화자 분류에 적대적 손실을 적용함으로써 합성된 스피치 표현(306)으로부터 추출된 운율 정보를 분리하도록 구성될 수 있다. TTS 모델(310)은 적대적 손실(422)을 수신하고 적대적 손실(422)에 기초하여 파라미터를 업데이트할 수 있다.

도 7은 자동 스피치 인식(ASR) 모델(200)을 트레이닝하기 위한 컴퓨터 구현 방법(700)에 대한 예시적인 동작 배열의 흐름도이다. 동작(702)에서, 방법(700)은 다국어 TTS(text-to-speech) 모델(310)을 획득하는 것을 포함한다. 동작(704)에서, 방법(700)은 다국어 TTS 모델(310)을 사용하여, 제1 언어 원어민의 화자 특성(304a)에 따라 조정되는 제1 언어의 입력 텍스트 시퀀스(302)에 대한 네이티브 합성 스피치 표현(306, 306a)을 생성하는 것을 포함한다. 여기서 제1 언어는 칸나다어일 수 있는데, 이는 제한된 말하기 스타일을 가진 소수의 원어민만 있는 저자원 언어이다. 동작(706)에서, 방법(700)은 TTS 모델(310)을 사용하여, 다른 제2 언어의 원어민의 화자 특성(304b)에 따라 조정되는 제1 언어의 입력 텍스트 시퀀스(302)에 대한 교차 언어 합성 스피치 표현(306, 306b)을 생성하는 것을 포함한다. 제2 언어는 다양한 말하기 스타일을 가진 수천 명의 원어민(304b)이 있는 영어일 수 있다.

동작(708)에서, 방법(700)은, ASR 모델(200)을 사용하여, 네이티브 합성 스피치 표현(306a)에 대한 제1 스피치 인식 결과(312, 312a) 및 교차 언어 합성 스피치 표현(306b)에 대한 제2 스피치 인식 결과(312, 312b)를 생성하는 것을 포함한다. 동작(710)에서, 방법(700)은 제1 스피치 인식 결과(312a) 및 제2 스피치 인식 결과(312b)에 기초하여 일관성 손실 항(352)을 결정하는 것을 포함한다. 동작(712)에서, 방법(700)은 일관성 손실 항(352)에 기초하여 ASR 모델(200)의 파라미터를 업데이트하는 것을 포함한다. 선택적으로, 일관성 손실 항(352)이 일관성 손실 항(352)에 기초하여 TTS 모델(310)의 파라미터를 업데이트하기 위해 TTS 모델(310)을 통해 역전파되는 동안 ASR 모델(200)의 파라미터는 고정될 수 있다.

도 8는 본 문서에 기술된 시스템 및 방법을 구현하는데 사용될 수 있는 예시적 컴퓨팅 디바이스(800)의 개략도이다. 컴퓨팅 디바이스(800)는 랩톱, 데스크톱, 워크 스테이션, 개인 휴대 정보 단말기, 서버, 블레이드 서버, 메인 프레임 및 다른 적절한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터들을 나타내기 위한 것이다. 여기에 도시된 컴포넌트들, 그들의 연결 및 관계, 및 그들의 기능은 단지 예시적인 것을 의미하며, 본 명세서에 기술된 및/또는 청구된 발명의 구현을 제한하는 것을 의미하지는 않는다.

컴퓨팅 디바이스(800)는 프로세서(810), 메모리(820), 저장 디바이스(830), 메모리(820) 및 고속 확장 포트(850)에 연결되는 고속 인터페이스/제어기(840) 및 저속 버스(870) 및 저장 디바이스(830)에 연결되는 저속 인터페이스/제어기(860)를 포함한다. 컴포넌트들(810, 820, 830, 840, 850 및 860) 각각은 다양한 버스들을 사용하여 상호 연결되고, 공통 마더 보드 상에 또는 적절한 다른 방식으로 장착될 수 있다. 프로세서(810)는 메모리(820) 또는 저장 디바이스(830)에 저장된 명령어들을 포함하는, 컴퓨팅 디바이스(800) 내에서 실행하기 위한 명령어들을 프로세싱하여, 고속 인터페이스(840)에 연결된 디스플레이(880)와 같은 외부 입/출력 디바이스상에 그래픽 사용자 인터페이스(GUI)에 대한 그래픽 정보를 디스플레이할 수 있다. 다른 구현예에서, 다수의 프로세서들 및/또는 다수의 버스들이 다수의 메모리들 및 다수의 유형의 메모리와 함께, 적절하게 사용될 수 있다. 또한, 다수의 컴퓨팅 디바이스들(800)은 필요한 동작의 부분들을 제공하는 각 디바이스와 연결될 수 있다(예를 들어, 서버 뱅크, 블레이드 서버 그룹 또는 멀티 프로세서 시스템).

메모리(820)는 컴퓨팅 디바이스(800) 내에 비일시적으로 정보를 저장한다. 메모리(820)는 컴퓨터 판독가능 매체, 휘발성 메모리 유닛(들), 비휘발성 메모리 유닛(들)일 수 있다. 비일시적 메모리(820)는 컴퓨팅 디바이스(800)에 의해 사용하기 위해 일시적 또는 영구적으로 프로그램(예를 들어, 명령어 시퀀스) 또는 데이터(예를 들어, 프로그램 상태 정보)를 저장하는데 사용되는 물리적 디바이스일 수 있다. 비휘발성 메모리의 예는 플래시 메모리 및 읽기 전용 메모리(ROM)/프로그래밍 가능한 읽기 전용 메모리(PROM)/지울 수 있는 프로그램 가능한 읽기 전용 메모리(EPROM)/전자적으로 지울 수 있는 프로그래밍 가능한 읽기 전용 메모리(EEPROM)(예: 일반적으로 부팅 프로그램과 같은 펌웨어에 사용됨)를 포함하지만, 이에 한정되지 않는다. 휘발성 메모리의 예는 RAM(Random Access Memory), DRAM(Dynamic Random Access Memory), SRAM(Static Random Access Memory), PCM(Phase Change Memory), 디스크 또는 테이프 등을 포함하지만, 이에 한정되지 않는다.

저장 디바이스(830)는 컴퓨팅 디바이스(800)에 대한 대형 스토리지를 제공할 수 있다. 일부 구현예에서, 저장 디바이스(830)는 컴퓨터 판독가능 매체이다. 다양한 상이한 구현예에서, 저장 디바이스(830)는 플로피 디스크 디바이스, 하드 디스크 디바이스, 광 디스크 디바이스 또는 테이프 디바이스, 플래시 메모리 또는 다른 유사한 고체 상태 메모리 디바이스, 또는 저장 영역 네트워크 또는 다른 구성의 디바이스를 포함하는 디바이스의 어레이일 수 있다. 일 구현예에서, 컴퓨터 프로그램 제품은 정보 캐리어에 유형적으로 수록된다. 컴퓨터 프로그램 제품은 또한 실행될 때 상기 기술된 바와 같은 하나 이상의 방법을 수행하는 명령어들을 포함한다. 정보 캐리어는 메모리(820), 저장 디바이스(830) 또는 프로세서(810)상의 메모리와 같은 컴퓨터 또는 기계 판독가능 매체이다.

고속 제어기(840)는 컴퓨팅 디바이스(800)에 대한 대역폭 집중 동작들을 관리하는 반면, 저속 제어기(860)는 낮은 대역폭 집중 동작들을 관리한다. 이러한 기능들의 할당은 단지 예시적인 것이다. 일부 구현예에서, 고속 제어기(840)는 메모리(820), 디스플레이(880)(예를 들어, 그래픽 프로세서 또는 가속기를 통해) 및 다양한 확장 카드(도시되지 않음)를 수용할 수 있는 고속 확장 포트(850)에 연결된다. 일부 구현예에서, 저속 제어기(860)는 저장 디바이스(830) 및 저속 확장 포트(890)에 연결된다. 다양한 통신 포트(예를 들어, USB, 블루투스, 이더넷, 무선 이더넷)를 포함할 수 있는 저속 확장 포트(890)는 키보드, 포인팅 디바이스, 스캐너와 같은 하나 이상의 입력/출력 디바이스 또는 예를 들어 네트워크 어댑터를 통해 스위치 또는 라우터와 같은 네트워킹 디바이스에 결합될 수 있다.

컴퓨팅 디바이스(800)는 도면에 도시된 바와 같이 다수의 상이한 형태로 구현될 수 있다. 예를 들어, 표준 서버(800a)로서 또는 그러한 서버(800a)의 그룹에서 여러 번, 랩톱 컴퓨터(800b)로서 또는 랙 서버 시스템(800c)의 일부로서 구현될 수 있다.

본 명세서에 기술된 시스템들 및 기법들의 다양한 구현예들은 디지털 전자 및/또는 광학 회로, 집적 회로, 특수하게 설계된 ASIC들(application specific integrated circuits), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합으로 구현될 수 있다. 이들 다양한 구현예들은 적어도 하나의 프로그래머블 프로세서를 포함하는 프로그래머블 시스템 상에서 실행가능하고 및/또는 인터프리트가능한 하나 이상의 컴퓨터 프로그램들에서의 구현예를 포함할 수 있고, 이는 전용 또는 범용일 수 있고, 저장 시스템, 적어도 하나의 입력 디바이스 및 적어도 하나의 출력 디바이스로부터 데이터 및 명령어들을 수신하고 그에 데이터 및 명령어들을 전송하기 위해 연결될 수 있다.

소프트웨어 애플리케이션(즉, 소프트웨어 리소스)은 컴퓨팅 디바이스가 작업을 수행하게 하는 컴퓨터 소프트웨어를 지칭할 수 있다. 일부 예에서, 소프트웨어 애플리케이션은 "애플리케이션", "앱" 또는 "프로그램"으로 지칭될 수 있다. 예시적 애플리케이션은 시스템 진단 애플리케이션, 시스템 관리 애플리케이션, 시스템 유지보수 애플리케이션, 워드 프로세싱 애플리케이션, 스프레드시트 애플리케이션, 메시징 애플리케이션, 미디어 스트리밍 애플리케이션, 소셜 네트워킹 애플리케이션 및 게임 애플리케이션을 포함하지만 이에 한정되지는 않는다.

이들 컴퓨터 프로그램들(프로그램, 소프트웨어, 소프트웨어 애플리케이션 또는 코드로도 알려짐)은 프로그래머블 프로세서에 대한 기계 명령어들을 포함하며, 하이레벨 절차어 및/또는 객체 지향 프로그래밍 언어 및/또는 어셈블리/기계어에서 구현될 수 있다. 본 명세서에서 사용된 바와 같이, 용어 "기계 판독가능 매체", "컴퓨터 판독가능 매체"는 기계 판독가능 신호로서 기계 명령어들을 수신하는 기계 판독가능 매체를 포함하여, 기계 명령어들 및/또는 데이터를 프로그래머블 프로세서에 제공하는데 사용되는 임의의 컴퓨터 프로그램 물, 장치 및/또는 디바이스 예를 들어, 자기 디스크, 광학 디스크, 메모리, 비일시적 컴퓨터 판독가능 매체, 프로그래머블 로직 디바이스(PLD)를 지칭한다. 용어 "기계 판독가능 신호"는 기계 명령어들 및/또는 데이터를 프로그래머블 프로세서에 제공하는데 사용되는 임의의 신호를 지칭한다.

본 명세서에 기술된 프로세스들 및 논리 흐름들은 입력 데이터를 동작하고 출력을 생성함으로써 기능들을 수행하기 위해 하나 이상의 컴퓨터 프로그램들을 실행하는 데이터 프로세싱 하드웨어로도 지칭되는 하나 이상의 프로그래머블 프로세서들에 의해 수행될 수 있다. 프로세스들 및 논리 흐름들은 또한 FPGA 또는 ASIC와 같은 특수 목적 논리 회로에 의해 수행될 수 있다. 컴퓨터 프로그램의 실행에 적절한 프로세서들은, 예시로서, 범용 및 전용 마이크로프로세서들과 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 읽기-전용 메모리 또는 랜덤 액세스 메모리 또는 둘 모두로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 필수 엘리먼트들은 명령어들을 수행하기 위한 프로세서 및 명령어들 및 데이터를 저장하기 위한 하나 이상의 메모리 디바이스들이다. 일반적으로, 컴퓨터는 데이터를 저장하기 위한 하나 이상의 대형 저장 디바이스들 예를 들면, 자기적, 자기-광학 디스크들 또는 광학적 디스크들 또한 포함하거나 또는 그로부터 데이터를 수신하거나 그에 데이터를 전송하기 위해 동작적으로 결합될 수 있다. 그러나, 컴퓨터는 상기 디바이스들을 반드시 가져야 하는 것은 아니다. 컴퓨터 프로그램 명령어들 및 데이터를 저장하기에 적합한 컴퓨터 판독가능 매체는 예를 들어, EPROM, EEPROM 및 플래시 메모리 디바이스들과 같은 반도체 메모리 디바이스들; 예를 들어, 내부 하드 디스크들 또는 이동식 디스크들과 같은 자기 디스크들; 및 CD-ROM 및 DVD-ROM 디스크들을 포함하는 모든 형태의 비휘발성 메모리, 매체 및 메모리 디바이스들을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로에 의해 보충되거나 그 안에 통합될 수 있다.

사용자와의 인터렉션을 제공하기 위해, 본 개시의 하나 이상의 양태는 사용자에게 정보를 디스플레이하기 위해 예를 들어, CRT(cathode ray tube) 또는 LCD(liquid crystal display) 모니터 또는 터치 스크린과 같은 디스플레이 디바이스 및 선택적으로 사용자가 컴퓨터에 입력을 제공할 수 있는 키보드 및 포인팅 디바이스 예를 들어, 마우스 또는 트랙볼을 갖는 컴퓨터에서 구현될 수 있다. 다른 종류의 디바이스들도 사용자와의 인터렉션을 제공하는데 사용될 수 있다. 예를 들어, 사용자에게 제공되는 피드백은 시각 피드백, 청각 피드백 또는 촉각 피드백과 같은 임의의 형태의 감각적 피드백일 수 있고, 사용자로부터의 입력은 음향, 음성 또는 촉각 입력을 포함하는 임의의 형태로 수신될 수 있다. 추가로, 컴퓨터는 사용자에 의해 사용되는 디바이스에 문서를 송수신함으로써 예를 들어, 웹브라우저로부터 수신된 요청에 응답하여, 사용자의 사용자 디바이스상의 웹브라우저에 웹페이지를 전송함으로써 사용자와 인터렉션할 수 있다.

다수의 구현예들이 기술되었다. 그럼에도 불구하고, 다양한 수정들이 본 발명의 정신과 범위로부터 벗어나지 않고 이루어질 수 있다는 것이 이해될 것이다. 따라서, 다른 구현예들도 다음의 청구항들의 범위 내에 있다.

Claims

데이터 프로세싱 하드웨어(810)에서 실행될 때 상기 데이터 프로세싱 하드웨어(810)로 하여금 스피치 인식 모델(200)을 트레이닝하기 위한 동작들을 수행하게 하는 컴퓨터로 구현되는 방법(700)으로서, 상기 동작들은:
다국어 TTS(text-to-speech) 모델을 획득하는 동작(310);
상기 다국어 TTS 모델(310)을 사용하여, 제1 언어의 원어민의 화자 특성(304)에 따라 조정되는 제1 언어의 입력 텍스트 시퀀스(302)에 대한 네이티브 합성 스피치 표현(306)을 생성하는 동작;
다국어 TTS 모델(310)을 사용하여, 상이한 제2 언어의 원어민의 화자 특성(304)에 따라 조정되는 상기 제1 언어의 입력 텍스트 시퀀스(302)에 대한 교차 언어 합성 스피치 표현(306)을 생성하는 동작;
스피치 인식 모델(200)을 사용하여, 상기 네이티브 합성 스피치 표현(306)에 대한 제1 스피치 인식 결과(312) 및 상기 교차 언어 합성 스피치 표현(306)에 대한 제2 스피치 인식 결과(312)를 생성하는 동작;
상기 제1 스피치 인식 결과(312) 및 상기 제2 스피치 인식 결과(312)에 기초하여 일관성 손실 항을 결정하는 동작 (352); 및
상기 일관성 손실 항(352)에 기초하여 스피치 인식 모델(200)의 파라미터를 업데이트하는 동작을 포함하는, 컴퓨터로 구현되는 방법.
청구항 1에 있어서,
상기 제1 스피치 인식 결과(312) 및 상기 제1 언어의 입력 텍스트 시퀀스(302)에 기초하여 제1 교차 엔트로피 손실 항(342)을 생성하는 동작;
상기 제2 스피치 인식 결과(312) 및 상기 제1 언어의 입력 텍스트 시퀀스(302)에 기초하여 제2 교차 엔트로피 손실 항(342)을 결정하는 동작; 및
상기 제1 및 제2 교차 엔트로피 손실 항(342)에 기초하여 스피치 인식 모델의 파라미터를 업데이트하는 동작을 더 포함하는, 컴퓨터로 구현되는 방법.
청구항 2에 있어서, 상기 스피치 인식 모델(200)의 파라미터는 상기 제1 및 제2 교차 엔트로피 손실 항(342)과 독립적으로 일관성 손실 항(352)에 기초하여 업데이트되는, 컴퓨터로 구현되는 방법.
청구항 2 또는 3에 있어서, 상기 다국어 TTS 모델(310)을 통해 상기 제1 및 제2 교차 엔트로피 손실 항(342)을 역전파하는 동작을 더 포함하는, 컴퓨터로 구현되는 방법.
청구항 1 내지 4 중 어느 한 항에 있어서, 상기 네이티브 합성 스피치 표현(306) 또는 상기 교차 언어 합성 스피치 표현(306) 중 적어도 하나에 데이터 증강을 적용하는 동작을 더 포함하는, 컴퓨터로 구현되는 방법.
청구항 1 내지 5 중 어느 한 항에 있어서, 상기 다국어 TTS 모델(310)은:
상기 제1 및 제2 언어에 걸쳐 언어 임베딩(303)을 공유하는 인코더 부분(316); 및
상기 제1 언어와 제2 언어에 걸쳐 상기 언어 임베딩(303)을 공유하고 상기 제1 언어의 원어민과 상기 제2 언어의 원어민 모두에 대한 화자 임베딩(303)을 공유하는 디코더 부분(318)을 포함하는, 컴퓨터로 구현되는 방법.
청구항 6에 있어서, 상기 제1 언어의 원어민에 대한 화자 임베딩의 수(303)는 상기 제2 언어의 원어민에 대한 화자 임베딩의 수(303)보다 적은, 컴퓨터로 구현되는 방법.
청구항 6 또는 7에 있어서, 상기 디코더 부분(318)은 변형 자동 인코더(410)를 사용하여 합성 스피치 표현(306)으로부터 추출된 운율 정보에 따라 추가로 조정되는, 컴퓨터로 구현되는 방법.
청구항 8에 있어서, 상기 변형 자동 인코더(410)를 사용하여 합성된 스피치 표현(306)으로부터 추출된 상기 운율 정보는 화자 분류에 적대적 손실을 적용함으로써 화자 정보로부터 분리되는, 컴퓨터로 구현되는 방법.
청구항 1 내지 9 중 어느 한 항에 있어서, 상기 동작들은 상기 네이티브 및 교차 언어 합성 스피치 표현(306)을 생성하기 전에:
상기 제1 언어의 입력 텍스트 시퀀스(302)를 네이티브 스크립트로 바꾸어 쓰는 동작(transliterating);
상기 네이티브 스크립트를 음소 시퀀스로 토큰화하는 동작;
상기 다국어 TTS 모델(310)의 인코더를 사용하여, 상기 음소 시퀀스를 인코딩하는 동작; 및
상기 다국어 TTS 모델(310)의 디코더를 사용하여, 상기 인코딩된 음소 시퀀스를 디코딩하여 상기 네이티브 합성 스피치 표현(306) 또는 상기 교차 언어 합성 스피치 표현(306) 중 각각을 생성하는 동작을 더 포함하는, 컴퓨터로 구현되는 방법.
청구항 1 내지 11 중 어느 한 항에 있어서,
변형 자동 인코더(410)를 사용하여, 상기 네이티브 합성 스피치 표현(306)에 대한 네이티브 오디오 인코더 임베딩(412)을 생성하는 동작;
변형 자동 인코더(410)를 사용하여, 상기 교차 언어 합성 스피치 표현(306)에 대한 교차 언어 오디오 인코더 임베딩(412)을 생성하는 동작;
상기 네이티브 및 교차 언어 오디오 인코더 임베딩(412)에 기초하여 상기 제1 언어에 따라 조정되는 적대적 손실 항(adversarial loss term)(422)을 결정하는 동작; 및
상기 적대적 손실 항(422)에 기초하여 상기 다국어 TTS 모델(310)의 파라미터를 업데이트하는 동작을 더 포함하는, 컴퓨터로 구현되는 방법.
스피치 인식 모델(200)을 트레이닝하는 시스템(800)으로서,
데이터 프로세싱 하드웨어(810); 및
상기 데이터 프로세싱 하드웨어와 통신하는 메모리 하드웨어(820)를 포함하고, 상기 메모리 하드웨어(820)는 명령어를 저장하며, 상기 명령어는 상기 데이터 프로세싱 하드웨어에서 실행될 때 상기 데이터 프로세싱 하드웨어로 하여금 동작들을 수행하게 하며, 상기 동작들은:
다국어 TTS(text-to-speech) 모델을 획득하는 동작(310);
상기 다국어 TTS 모델(310)을 사용하여, 제1 언어의 원어민의 화자 특성(304)에 따라 조정되는 제1 언어의 입력 텍스트 시퀀스(302)에 대한 네이티브 합성 스피치 표현(306)을 생성하는 동작;
다국어 TTS 모델(310)을 사용하여, 상이한 제2 언어의 원어민의 화자 특성(304)에 따라 조정되는 상기 제1 언어의 입력 텍스트 시퀀스(302)에 대한 교차 언어 합성 스피치 표현(306)을 생성하는 동작;
스피치 인식 모델(200)을 사용하여, 상기 네이티브 합성 스피치 표현(306)에 대한 제1 스피치 인식 결과(312) 및 상기 교차 언어 합성 스피치 표현(306)에 대한 제2 스피치 인식 결과(312)를 생성하는 동작;
상기 제1 스피치 인식 결과(312) 및 상기 제2 스피치 인식 결과(312)에 기초하여 일관성 손실 항을 결정하는 동작 (352); 및
상기 일관성 손실 항(352)에 기초하여 스피치 인식 모델(200)의 파라미터를 업데이트하는 동작을 포함하는, 시스템.
청구항 12에 있어서,
상기 제1 스피치 인식 결과(312) 및 상기 제1 언어의 입력 텍스트 시퀀스(302)에 기초하여 제1 교차 엔트로피 손실 항(342)을 생성하는 동작;
상기 제2 스피치 인식 결과(312) 및 상기 제1 언어의 입력 텍스트 시퀀스(302)에 기초하여 제2 교차 엔트로피 손실 항(342)을 결정하는 동작; 및
상기 제1 및 제2 교차 엔트로피 손실 항(342)에 기초하여 스피치 인식 모델(200)의 파라미터를 업데이트하는 동작을 더 포함하는, 시스템.
청구항 13에 있어서, 상기 스피치 인식 모델(200)의 파라미터는 상기 제1 및 제2 교차 엔트로피 손실 항(342)과 독립적으로 일관성 손실 항(352)에 기초하여 업데이트되는, 시스템.
청구항 13 또는 14에 있어서, 상기 다국어 TTS 모델(310)을 통해 상기 제1 및 제2 교차 엔트로피 손실 항(342)을 역전파하는 동작을 더 포함하는, 시스템.
청구항 12 내지 15 중 어느 한 항에 있어서, 상기 네이티브 합성 스피치 표현(306) 또는 상기 교차 언어 합성 스피치 표현(306) 중 적어도 하나에 데이터 증강을 적용하는 동작을 더 포함하는, 시스템.
청구항 12 내지 15 중 어느 한 항에 있어서, 상기 다국어 TTS 모델(310)은:
상기 제1 및 제2 언어에 걸쳐 언어 임베딩(303)을 공유하는 인코더 부분(316); 및
상기 제1 언어와 제2 언어에 걸쳐 상기 언어 임베딩(303)을 공유하고 상기 제1 언어의 원어민과 상기 제2 언어의 원어민 모두에 대한 화자 임베딩(303)을 공유하는 디코더 부분(318)을 포함하는, 시스템.
청구항 17에 있어서, 상기 제1 언어의 원어민에 대한 화자 임베딩의 수(303)는 상기 제2 언어의 원어민에 대한 화자 임베딩의 수(303)보다 적은, 시스템.
청구항 17 또는 18에 있어서, 상기 디코더 부분(318)은 변형 자동 인코더(410)를 사용하여 합성 스피치 표현(306)으로부터 추출된 운율 정보에 따라 추가로 조정되는, 시스템.
청구항 19에 있어서, 상기 변형 자동 인코더(410)를 사용하여 합성된 스피치 표현(306)으로부터 추출된 상기 운율 정보는 화자 분류에 적대적 손실을 적용함으로써 화자 정보로부터 분리되는, 시스템.
청구항 12 내지 20 중 어느 한 항에 있어서, 상기 동작들은 상기 네이티브 및 교차 언어 합성 스피치 표현(306)을 생성하기 전에:
상기 제1 언어의 입력 텍스트 시퀀스(302)를 네이티브 스크립트로 바꾸어 쓰는 동작(transliterating);
상기 네이티브 스크립트를 음소 시퀀스로 토큰화하는 동작;
상기 다국어 TTS 모델(310)의 인코더를 사용하여, 상기 음소 시퀀스를 인코딩하는 동작; 및
상기 다국어 TTS 모델(310)의 디코더를 사용하여, 상기 인코딩된 음소 시퀀스를 디코딩하여 상기 네이티브 합성 스피치 표현(306) 또는 상기 교차 언어 합성 스피치 표현(306) 중 각각을 생성하는 동작을 더 포함하는, 시스템.
청구항 12 내지 21 중 어느 한 항에 있어서,
변형 자동 인코더(410)를 사용하여, 상기 네이티브 합성 스피치 표현(306)에 대한 네이티브 오디오 인코더 임베딩(412)을 생성하는 동작;
변형 자동 인코더(410)를 사용하여, 상기 교차 언어 합성 스피치 표현(306)에 대한 교차 언어 오디오 인코더 임베딩(412)을 생성하는 동작;
상기 원어민 및 교차 언어 오디오 인코더 임베딩(412)에 기초하여 상기 제1 언어에 따라 조정되는 적대적 손실 항(adversarial loss term)(422)을 결정하는 동작; 및
상기 적대적 손실 항(422)에 기초하여 상기 다국어 TTS 모델(310)의 파라미터를 업데이트하는 동작을 더 포함하는, 시스템.